CN115552891A - 远程控制系统和其远程作业装置、影像处理装置及程序 - Google Patents

远程控制系统和其远程作业装置、影像处理装置及程序 Download PDF

Info

Publication number
CN115552891A
CN115552891A CN202180035011.1A CN202180035011A CN115552891A CN 115552891 A CN115552891 A CN 115552891A CN 202180035011 A CN202180035011 A CN 202180035011A CN 115552891 A CN115552891 A CN 115552891A
Authority
CN
China
Prior art keywords
unit
data
video
remote
detection data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180035011.1A
Other languages
English (en)
Inventor
中藏聪哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Communications Corp
Original Assignee
NTT Communications Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Communications Corp filed Critical NTT Communications Corp
Publication of CN115552891A publication Critical patent/CN115552891A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Manipulator (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

不进行复杂的影像处理而减轻VR晕动。具有可动部的远程作业装置，该可动部能够根据从与显示部连接的用户装置经由网络发送来的控制信号而执行动作，并且使姿态变化，所述远程作业装置具有：影像数据获取部，其从设置于所述可动部的照相机获取利用该照相机获得的影像数据；动作检测数据获取部，其从动作传感器获取表示所述可动部的所述姿态的变化的动作检测数据；以及数据发送部，其将获取到的所述影像数据以及所述动作检测数据经由所述网络而向所述用户装置发送。

Description

远程控制系统和其远程作业装置、影像处理装置及程序
技术领域
本发明的实施方式涉及例如用户装置经由网络而对配置于远处的远程作业装置进行控制的远程控制系统、在该系统中使用的远程作业装置、影像处理装置及程序。
背景技术
开发了如下系统，即，用户一边观看在显示装置显示的影像，一边经由网络对处于远处的作业装置进行远程控制。这种系统例如在用户的头部安装头戴式显示器(HeadMount Display：HMD)(此后也称为头戴式套件)。而且，以如下方式构成，即，用户一边利用头戴式套件观看存在于远处的机器人拍摄的影像，一边使自己的身体执行动作或者对控制器进行操作，由此对上述机器人的动作进行远程控制。
但是，关于这种系统，例如利用增强现实(Augmented Reality；AR)的技术或者虚拟现实(Virtual Reality：VR)的技术，基于从机器人输送的影像而生成AR影像或者VR影像并在头戴式套件进行显示。另外，此时，用户进行追随自己身体的动作或者控制器的操作而使得显示影像变化的所谓追踪控制。其结果，用户在操作中能够获得高度的沉浸感。
然而，从生成AR影像或者VR影像起直至显示为止存在扫描延迟(Latency)。扫描延迟(Latency)包含由远处的机器人生成的影像经由网络而向头戴式套件侧的装置传送时的传送延迟。而且，该传送延迟不恒定，例如延迟量因网络的复杂程度、各装置的处理器的负荷变动而变化。因此，在用户使身体执行动作或者对控制器进行操作之后，在直至与此相应的影像在头戴式套件显示为止的期间产生时间的偏差，因此有时使得用户陷入眩晕的感觉的所谓“VR晕动(称为VirtualReality Sickness)”等)。在延迟量恒定的情况下也产生该VR晕动，特别是在包含上述传送延迟的延迟量引起时间变动的所谓抖动的情况下表现明显。
因此，为了减弱从上述用户的动作或者控制器的操作时刻起直至与此相应地对影像进行显示为止的时间偏差的影响，例如提出了在头戴式套件侧的装置中对影像进行重投影处理的技术(例如参照专利文献1)。
专利文献1：日本特开2019-106628号公报
发明内容
但是，在重投影处理中，例如进行如下处理。其中之一是，利用影像显示时刻的视点位置以及视线方向对以影像的生成时刻的用户的视点位置及视线方向为前提而生成的影像进行校正，由此吸收从生成影像起直至进行显示为止的时间差。另外，其他处理如下，即，在信息流分发中，在产生了视频信息流未按时到达的错误的情况下，重新利用上一次的解密影像以与头戴式套件的最新的位置/姿态一致的方式对上一次的解密影像实施重投影处理，由此应对通信延迟。即，重投影处理是在头戴式套件侧的装置中进行复杂的影像处理而对显示影像进行校正。因此，在头戴式套件侧的装置中，有时重投影处理的处理器的处理负荷非常大，需要高性能的处理器，装置价格昂贵。
本发明就是着眼于上述情形而提出的，一个技术方案要提供不进行复杂的影像处理而减弱VR晕动的技术。
为了解决上述问题，本发明的第1方式是一种远程控制系统，具有：用户装置，其与显示部连接；以及远程作业装置，其根据从所述用户装置经由网络发送来的控制信号而执行动作，在所述远程作业装置具有：可动部，其能够使姿态变化；影像数据获取部，其从设置于所述可动部的照相机获取利用该照相机获得的影像数据；动作检测数据获取部，其从动作传感器获取表示所述可动部的所述姿态的变化的动作检测数据；以及数据发送部，其将获取到的所述影像数据以及所述动作检测数据经由所述网络而向所述用户装置发送。另一方面，在所述用户装置具有：数据接收部，其经由所述网络而接收从所述远程作业装置发送来的所述影像数据以及所述动作检测数据；判定部，其基于接收到的所述动作检测数据而判定所述可动部的所述姿态变化的期间；影像处理部，其基于所述判定部的判定结果，进行针对在所述可动部的姿态变化的期间接收到的所述影像数据使沉浸感降低的处理；以及输出部，其将进行使所述沉浸感降低的处理之后的数据向所述显示部输出。
本发明的第2方式是一种远程作业装置，该远程作业装置具有可动部，该可动部能够根据从与显示部连接的用户装置经由网络发送来的控制信号而执行动作，并且使姿态变化，所述远程作业装置具有：影像数据获取部，其从设置于所述可动部的照相机获取利用该照相机获得的影像数据；动作检测数据获取部，其从动作传感器获取表示所述可动部的所述姿态的变化的动作检测数据；以及数据发送部，其将获取到的所述影像数据以及所述动作检测数据经由所述网络而向所述用户装置发送。
本发明的第3方式是一种影像处理装置，该影像处理装置设置于用户装置以及远程作业装置中的任一者，该用户装置与显示部连接，该远程作业装置具有能够根据从所述用户装置经由网络发送来的控制信号而执行动作并且使姿态变化的可动部，所述影像处理装置具有：影像数据获取部，其获取利用设置于所述可动部的照相机而获得的影像数据；动作检测数据获取部，其获取利用动作传感器而获得的表示所述可动部的所述姿态的变化的动作检测数据；判定部，其基于获取到的所述动作检测数据而判定所述可动部的所述姿态变化的期间；影像处理部，其基于所述判定部的判定结果，进行针对在所述可动部的姿态变化的期间获取到的所述影像数据使沉浸感降低的处理；以及输出部，其将进行使所述沉浸感降低的处理之后的数据向所述显示部输出。
发明的效果
根据本发明的第1方式，将远程作业装置中获取到的影像数据、以及表示远程作业装置的姿态的变化的动作检测数据，经由网络而从远程作业装置向用户装置发送。与此相对，在用户装置中，基于上述动作检测数据而判定上述远程作业装置的姿态变化的期间，进行针对在该期间从上述远程作业装置接收到的影像数据使沉浸感降低的处理，将该处理后的数据向显示部输出而进行显示。因此，即使从远程作业装置发送来的影像数据存在传送延迟，另外，即使用户装置的显示处理动作存在扫描延迟，也能减轻因该影响使得用户引起VR晕动的不良情况。
根据本发明的第2方式，在远程作业装置中，基于动作检测数据而判定远程作业装置执行动作的期间，进行针对在远程作业装置的姿态变化的期间利用照相机获得的影像数据使沉浸感降低的处理。而且，将进行了该沉浸感的降低处理的数据从远程作业装置向用户装置发送。
因此，在远程作业装置执行动作的期间，将以使得沉浸感降低的方式实施了处理的影像数据从远程作业装置向用户装置发送而在显示部进行显示。因此，即使从远程作业装置发送来的影像数据存在传送延迟，另外，即使在用户装置或者显示部中存在影像显示处理的扫描延迟，也能减轻因该影响而使得用户引起VR晕动的不良情况。
另外，根据第2方式，在远程作业装置中进行针对影像使沉浸感降低的处理，因此能够减轻用户装置的处理负荷，另外，能够使用不具有用于使沉浸感降低的处理功能的通用的用户装置。
根据本发明的第3方式，在远程作业装置或者用户装置的任一者中，针对在远程作业装置的姿态变化的期间获得的影像数据，进行用于使沉浸感降低的处理，将该处理后的数据从用户装置向显示部输出。因此，即使从远程作业装置发送的影像数据存在传送延迟，另外，即使在用户装置或者显示部中存在影像显示处理的扫描延迟，也能减轻因该影响使得用户引起VR晕动的不良情况。
即，根据本发明的各方式，能够提供不进行复杂的影像处理而减轻VR晕动的技术。
附图说明
图1是表示本发明的第1实施方式所涉及的远程控制系统的整体结构的图。
图2是表示图1所示的远程控制系统中作为远程作业装置而使用的机器人的硬件结构的框图。
图3是表示图1所示的远程控制系统中用户佩戴的头戴式显示器的硬件结构的框图。
图4是表示图1所示的远程控制系统中作为用户装置而使用的信息处理装置的硬件结构的框图。
图5是表示图1所示的远程控制系统中作为用户装置而使用的信息处理装置的软件结构的框图。
图6是表示图5所示的信息处理装置的处理次序及处理内容的流程图。
图7是表示本发明的第2实施方式所涉及的远程控制系统中作为远程作业装置而使用的机器人的软件结构的框图。
图8是表示图7所示的机器人的处理次序及处理内容的流程图。
具体实施方式
下面，参照附图对本发明所涉及的几个实施方式进行说明。
[第1实施方式]
(结构例)
(1)系统
图1是表示本发明的第1实施方式所涉及的远程控制系统的整体结构的图。
第1实施方式所涉及的远程控制系统具有：头戴式显示器(HMD)
1；作为用户装置而执行动作的信息处理装置2；以及能够与上述信息处理装置2之间经由网络4而通信的远程作业装置3。此外，在这里，以用户装置仅包含信息处理装置2的情况为例进行说明，用户装置也可以包含信息处理装置2以及HMD1这两者。
网络4例如由互联网等公共IP(Internet Protocol)网、以及用于接入该公共IP网的接入网构成，接入网中使用LAN(Local AreaNetwork)、无线LAN、公共有线网络、公共移动通信网络、CATV(CableTelevision)网络。
(2)装置
(2-1)远程作业装置3
远程作业装置3例如由在远处执行动作的人型的机器人构成。此外，此后也将远程作业装置3称为机器人。机器人3由主体部、头部、臂部以及腿部构成，头部、臂部以及腿部分别构成为利用具有伺服机构的驱动部在规定的可动范围内执行动作，由此使得姿态发生各种变化。
在机器人3A的头部前面部、即相当于脸部的部位设置有作为拍摄设备的照相机34。另外，在机器人3A的头部内，为了对其动作进行检测而设置动作传感器。此外，在相当于机器人3A的侧头部的部位还设置有麦克风36。
图2是表示机器人3A的硬件结构的框图。
机器人3A例如具有控制部31。控制部31具有中央处理单元(Central ProcessingUnit：CPU)等硬件处理器。在该控制部31经由总线30而连接有存储部32、传感器接口(传感器I/F)33、驱动接口(驱动I/F)37以及通信接口(通信I/F)39。
存储部32作为存储介质而例如利用Solid State Drive(SSD)等能够随时写入及读出的非易失性存储器，具有程序存储区域以及数据存储区域。在程序存储区域储存有用于实现机器人3A的动作的各种应用/程序。数据存储区域用于保存在机器人3A的动作过程中获取或生成的各种数据。此外，作为存储介质，除此以外，还可以同时使用ReadOnlyMemory(ROM)、Random Access Memory(RAM)等。
上述照相机34、动作传感器35以及麦克风36与传感器I/F33连接。照相机34例如由双摄像头照相机构成，在规定的视场角(例如130度)的范围对机器人3A的前方进行拍摄，将获得的立体影像数据向传感器I/F33输出。动作传感器35例如由6轴的加速度传感器构成，对机器人3A的头部的6轴方向的动作进行检测并将其检测数据向传感器I/F33输出。此外，麦克风36对机器人3A的周围的声音进行检测并将获得的语音数据向传感器I/F33输出。
用于对上述头部、臂部以及腿部进行驱动的驱动部38与驱动I/F37连接。驱动I/F37将从控制部31输出的控制信号变换为驱动信号，将变换后的驱动信号向驱动部38输出而使驱动部38进行动作。
通信I/F39例如具有与无线LAN、近距离无线数据通信标准(例如Bluetooth(注册商标))、或者公共移动通信网络对应的接口，经由网络4而与信息处理装置2之间进行数据传送。此外，通信I/F30可以具有与公共有线网、有线LAN、CATV网络等有线网对应的接口。
控制部31根据从信息处理装置2传送的远程控制信号而使驱动部38进行动作，使上述机器人3A的头部、臂部以及腿部的姿态变化。作为成为控制对象的动作，例如，使头部分别在平面方向或者倾斜方向等上转动而对照相机34的拍摄方向进行可变控制。另外，设想如下各种动作，即，对腿部进行驱动而使机器人3A在前后方向或者左右方向上进行步行动作、或者在上下方向上进行屈伸动作。此外，除了人型的机器人3A以外，远程作业装置例如也可以是产业用机器人、仅设置有监视照相机的架台。
另外，控制部31经由传感器I/F33而接收利用上述照相机34获得的立体影像数据。而且，进行如下处理，即，根据规定的格式对接收到的上述立体影像数据实施数据包数据化，将该数据包数据从通信I/F39朝向信息处理装置2发送。此外，此时，还能够将由麦克风36检测出的语音数据多重化而发送至上述立体影像数据。
并且，控制部31经由传感器I/F33而接收利用上述动作传感器35检测出的表示头部的姿态变化的数据。而且，进行如下处理，即，对接收到的上述检测数据附加表示检测时刻的时刻数据而生成动作检测数据，将该动作检测数据从通信I/F39朝向信息处理装置2发送。上述时刻数据在后述的信息处理装置2中对上述立体影像数据进行显示时，用于控制用户针对该立体影像的沉浸感。
(2-2)头戴式显示器(HMD)1
HMD1例如形成为护目镜型，拆装自由地安装于用户的头部。图3是表示HMD1的硬件结构的框图。
HMD1例如相对于具有CPU的控制部11经由总线10而将存储部12、显示接口(显示I/F)13、传感器接口(传感器I/F)15、通信接口(通信I/F)17连接。此外，除此以外，在上述控制部11还可以连接各种开关、麦克风、扬声器、照相机、位置传感器等设备。
存储部12作为存储介质例如利用SSD等能够随时写入及读出的非易失性存储器，具有程序存储区域以及数据存储区域。在程序存储区域储存有用于实现HMD1的动作的各种应用/程序。数据存储区域用于对HMD1的动作过程中获取或生成的各种数据。此外，作为存储介质，除此以外，还能够同时使用ROM、RAM等。
显示部14与显示I/F13连接。显示部14例如为了应对虚拟现实(Virtual Reality：VR)显示而与用户的左右眼对应地具有2片由有机EL(Electro Luminescence)显示器构成的显示面板。此外，显示面板可以为1片。另外，显示部14并不局限于有机EL显示器，例如也可以是液晶显示器(Liquid Cristal Display：LCD)、利用7段(segment)的显示器等其他类型的显示器。显示I/F13在显示部14对利用后述的信息处理装置2生成的影像数据进行显示。
动作传感器16与传感器I/F15连接。动作传感器16例如由6轴的角速度传感器(陀螺仪传感器)构成，用于对HMD1的动作、即用户的头部的动作进行检测。此外，优选地，作为检测对象的头部的动作例如为6轴方向的动作，也可以仅是平面以及倾斜的2轴方向的动作。传感器I/F15基于上述动作传感器16的输出信号而生成表示用户的头部的动作的动作数据。
此外，除了上述动作传感器16以外，在传感器I/F15也可以连接磁传感器、加速度传感器、位置传感器、红外传感器、亮度传感器、接近传感器、照相机等。另外，除了用户的头部的动作以外，用于检测用户的视线的动作的传感器也可以与传感器I/F15连接。例如可以利用对用户的眼球进行拍摄的照相机而检测用户的视线的动作。
对于通信I/F17采用例如使用Universal Serial Bus(USB)线缆等信号线缆的有线接口。而且，通信I/F17在控制部11的控制下接收从信息处理装置2发送的影像数据，并且将利用上述传感器I/F15生成的动作数据等向信息处理装置2传送。此外，对于通信I/F17可以使用近距离无线数据通信标准(例如Bluetooth(注册商标))。
此外，在该例子中，作为HMD1而以具有控制部11以及存储部12的多功能型的设备为例进行说明。然而，HMD1可以是仅具有显示部14、显示I/F13、动作传感器16以及传感器I/F15的标准型或者简易型的设备。
(2-3)信息处理装置2
图4及图5分别是表示作为用户装置而使用的信息处理装置2的硬件以及软件的结构的框图。
信息处理装置2例如由智能手机、平板型终端等的便携信息终端、或者笔记本型或者固定型的个人计算机构成。信息处理装置2在具有CPU等硬件处理器的控制部21经由总线20而连接有存储部22、输入输出接口(输入输出I/F)23以及通信接口(通信I/F)24。
上述HMD1经由上述USB线缆或者无线接口而与输入输出I/F23连接。另外，控制器等操作部256与输入输出I/F23连接。操作部25用于在用户对机器人3A的动作进行控制时输入该控制对象部位、控制方向以及控制量。
通信I/F24例如具有与无线LAN、近距离无线数据通信标准(例如Bluetooth(注册商标))或者公共移动通信网络对应的接口，经由网络4而与机器人3A之间进行数据传送。此外，通信I/F24可以具有与公共有线网、有线LAN、CATV网络等有线网对应的接口。
存储部22作为存储介质例如通过HDD或者SSD等能够随时写入以及读出的非易失性存储器、ROM等非易失性存储器、以及RAM等易失性存储器组合而构成。在该存储区域设置有程序存储区域以及数据存储区域。在OS等中间件的基础上，为了执行本发明的第1实施方式所涉及的各种控制处理所需的应用/程序储存于程序存储区域。
在数据存储区域设置有影像内容存储部221。影像内容存储部221在对从机器人3A发送的立体影像数据进行显示时，作为用于对该立体影像数据进行规定的处理的缓冲存储器而使用。
作为用于实现本发明的第1实施方式的控制处理功能，控制部21具有操作数据获取部211、动作控制数据生成部212、远程控制信号发送部213、影像内容接收部214、影像处理部215以及影像显示控制部216。上述控制处理功能均通过使控制部21的硬件处理器执行上述存储部22内的程序存储区域中储存的应用/程序而实现。
操作数据获取部211经由输入输出I/F23而接收在操作部25中输入的操作数据。另外，与此同时，经由输入输出I/F23而接收由HMD1的动作传感器16获得的动作检测数据。而且，操作数据获取部211将接收到的上述操作数据以及动作检测数据交接至动作控制数据生成部212。
动作控制数据生成部212基于上述操作数据以及动作检测数据，生成用于对机器人3A的动作进行控制的动作控制数据。在动作控制数据中包含表示机器人3A的控制对象部位、控制方向以及控制量的信息。
远程控制信号发送部213进行如下处理，即，将包含利用上述动作控制数据生成部212生成的上述动作控制数据在内的远程控制信号，从通信I/F24朝向机器人3A发送。
影像内容接收部214经由通信I/F24而接收从机器人3A经由网络4发送的影像内容、即立体影像数据。而且，进行如下处理，即，在将接收到的立体影像数据进行解压以及解密处理之后保存于影像内容存储部221。
影像处理部215从上述影像内容存储部221读出立体影像数据而生成用于AR或者VR显示的显示数据，将所生成的显示数据从输入输出I/F23向HMD1输出。
影像显示控制部216经由通信I/F24而接收从机器人3A发送来的动作检测数据。而且，基于接收到的动作检测数据而判定机器人3A的头部的姿态变化的期间，在该头部的姿态变化的期间，进行用于针对利用上述影像处理部215生成的显示数据使沉浸感降低的处理。
(动作例)
接下来，对以上述方式构成的远程控制系统的动作例进行说明。图6是表示信息处理装置2的处理次序及处理内容的流程图。
如果用户在将HMD1安装于自己头部之后启动信息处理装置2，则首先对HMD1的通信I/F17与信息处理装置2的输入输出I/F23之间进行连接，并且在信息处理装置2的通信I/F24与机器人3A的通信I/F39之间经由网络4而形成通信链接。
在该状态下，用户将为了使机器人3A执行动作而对操作部25进行操作，将该操作数据输入至信息处理装置2。此外，即使在用户使自己的头执行动作的情况下，也利用动作传感器16对该动作进行检测而输入至信息处理装置2。信息处理装置2在操作数据获取部211的控制下通过步骤S11而获取上述操作数据以及动作检测数据。而且，信息处理装置2在动作控制数据生成部212的控制下，在步骤S12中基于获取到的上述各数据而生成用于对机器人3A的动作进行控制的动作控制数据。
例如，动作控制数据生成部212根据操作数据而识别机器人3A的控制对象部位及其控制方向以及控制量。对一个例子进行叙述，识别腿部的前后方向或者左右方向的移动量。另外，根据动作检测数据而识别机器人3A的头部的朝向的变化量。
信息处理装置2在远程控制信号发送部213的控制下，在步骤S13中生成包含利用上述动作控制数据生成部212生成的动作控制数据在内的远程控制信号，将所生成的上述远程控制信号从通信I/F24向机器人3A发送。
与此相对，如果机器人3A在控制部31的控制下接收到从上述信息处理装置2发送来的远程控制信号，则从该远程控制信号提取出动作控制数据，基于在该动作控制数据中包含的对控制对象部位、控制方向以及控制量进行指定的信息，利用驱动I/F37使对应的驱动部38执行动作。例如，如果控制对象部位是腿部或者头部，则使与这些部位对应的驱动部38执行动作。其结果，机器人3A例如沿前后方向或者左右方向进行步行移动、或者使头部的朝向变化。
另外，机器人3A的控制部31在使上述腿部或者头部执行动作的状态下，从安装于头部的照相机34经由传感器I/F33而导入立体影像数据。另外，与此同时，从动作传感器35经由传感器I/F33而导入头部的动作检测数据。而且，将导入的上述影像数据以及动作检测数据从通信I/F39向信息处理装置2发送。此外，还能够将由麦克风36检测出的语音数据实施多重化而发送至上述立体影像数据。另外，对上述检测数据赋予表示检测时刻的时刻数据。
与此相对，信息处理装置2在影像内容接收部214的控制下，通过步骤S14而接收从上述机器人3A发送来的立体影像数据。在该步骤S14中，例如，在对接收到的上述立体影像数据进行解压以及解密处理之后进行保存于影像内容存储部221的处理。而且，信息处理装置2在影像处理部215的控制下从上述影像内容存储部221读出立体影像数据，对读出的立体影像数据进行根据需要附加附加信息等的信息附加处理而生成显示数据。而且，通过步骤S18而将所生成的显示数据从输入输出I/F23向HMD1输出。其结果，在HMD1的显示部14大致实时地对利用机器人3A的照相机34拍摄到的立体影像进行显示。
但是，在上述立体影像的显示处理时，信息处理装置2以下面的方式执行控制用户针对所显示的立体影像的沉浸感的处理。
即，信息处理装置2在影像显示控制部216的控制下，在步骤S15中接收从上述机器人3A发送来的动作检测数据。而且，在步骤S16中，基于接收到的上述动作检测数据而判定机器人3A的头部执行动作的期间、即姿态变化的期间。该判定的结果，检测出机器人3A的姿态变化的期间。在该情况下，影像显示控制部216在步骤S17中，针对利用上述影像处理部215生成的显示数据，在检测出的上述头部姿态变化的期间使用户的沉浸感降低。
作为降低沉浸感的处理，例如，考虑使上述立体影像的显示静止或者消除的处理。作为消除处理，例如考虑将显示数据置换为白色、黑色、灰色或者规定颜色的单一颜色图像数据、置换为预先存储于存储部32的规定的待机图像数据等。此时，机器人3A执行动作中这一状况的消息或者标记、图标、麻点可以与上述单一颜色的图像数据或者待机图像数据重叠。
另外，作为降低沉浸感的其他处理，例如，考虑使显示数据形成为半透明或者像素密度较粗的状态、或者缩小显示数据的尺寸而在HMD1的显示部14的任意位置进行显示。在该情况下，显示数据的显示位置并不局限于中央部，可以是任意位置。总之，如果是能够降低用户针对显示影像的沉浸感的显示方法，则可以采用任何方法。
并且，可以置换为从机器人3A发送来的语音数据或者与其重叠，将机器人3A执行动作中这一状况的语音消息或者旋律、鸣叫声从内置于HMD1的扬声器输出。
(作用/效果)
如以上所述，关于第1实施方式所涉及的远程控制系统，在机器人3A中，利用动作传感器35对其头部、臂部或者腿部等规定部位的姿态的变化进行检测，将表示检测出的动作的数据与利用照相机34获得的立体影像数据一起，经由网络4而向信息处理装置2发送。另一方面，在信息处理装置2中，将包含从上述机器人3A发送来的立体影像数据在内的显示数据向HMD1输出而进行显示，并且基于同时从机器人3A发送来的动作检测数据而判定机器人3A的姿态变化的期间，在该期间进行降低用户针对上述显示数据感受到的沉浸感的处理。
因此，在机器人3A执行动作的期间，将以降低沉浸感的方式实施了处理的显示数据供给至HMD1并进行显示。因此，即使从机器人3A发送来的影像数据存在传送延迟，另外，即使由于信息处理装置2或者HMD1而显示处理动作存在扫描延迟，也能减轻因该影响而导致用户引起VR晕动的不良情况。
[第2实施方式]
关于本发明的第2实施方式，在作为远程作业装置的机器人中，基于动作传感器的检测数据而判定机器人是否处于动作中，在机器人的姿态变化的期间进行针对利用照相机获得的影像数据使沉浸感降低的处理。而且，将进行了该沉浸感的降低处理的影像数据从机器人向作为用户装置的信息处理装置发送。
(结构例)
图7是表示本发明的第2实施方式所涉及的作为远程作业装置的机器人3B的软件结构的框图。此外，关于机器人3B的硬件结构，与图2相同，因此省略图示。
作为本发明的第2实施方式所涉及的控制处理部，机器人3B的控制部31具有远程控制信号接收部311、动作控制数据提取部312、驱动控制部313、影像数据获取部314、动作检测数据获取部315以及影像处理部316。上述控制处理部均通过使上述控制部31的硬件处理器执行存储部32中存储的程序而实现。
远程控制信号接收部311进行如下处理，即，经由通信I/F39而接收从信息处理装置2发送来的远程控制信号，将接收到的远程控制信号交接至动作控制数据提取部312。
动作控制数据提取部312进行从上述远程控制信号提取动作控制数据而交接至驱动控制部313的处理。
驱动控制部313基于对提取出的上述动作控制数据中包含的控制对象部位进行指定的信息而选择对应的驱动部38，基于对上述动作控制数据中包含的控制方向以及控制量进行指定的信息，生成用于对上述选择出的驱动部38进行驱动的驱动控制信号。而且，进行将所生成的上述驱动控制信号从驱动I/F37向驱动部38输出的处理。
影像数据获取部314进行如下处理，即，经由传感器I/F33而接收利用照相机34拍摄到的立体影像数据，为了后述的影像处理而暂时保存于影像数据存储部321。
动作检测数据获取部315经由传感器I/F33而导入表示利用动作传感器35检测出的机器人3B的头部的动作的数据。而且，进行如下处理，即，基于导入的上述动作检测数据而判定机器人3B的头部的姿态变化的期间，将表示该判定结果的信息通知给影像处理部316。
影像处理部316进行如下处理，即，根据从上述动作检测数据获取部315通知的表示判定结果的信息，在头部的姿态未变化的期间，将保存于影像数据存储部321的立体影像数据直接从通信I/F39向信息处理装置2发送。另一方面，进行如下处理，即，在头部的姿态变化的期间，影像处理部316实施针对保存于影像数据存储部321的立体影像数据使沉浸感降低的处理，将该处理后的数据从通信I/F39向信息处理装置2发送。
(动作例)
接下来，对以上述方式构成的机器人3B的动作进行说明。图8是表示该控制处理的次序及处理内容的流程图。
如果从信息处理装置2发送来包含动作控制数据在内的远程控制信号，则机器人3B在远程控制信号接收部311的控制下，通过步骤S21经由通信I/F39而接收上述远程控制信号。而且，在动作控制数据提取部312的控制下，通过步骤S22而从上述远程控制信号提取动作控制数据。
接下来，机器人3B在驱动控制部313的控制下，在步骤S23中基于上述动作控制数据中包含的对控制对象部位的信息而选择对应的驱动部38。而且，基于上述动作控制数据中包含的对控制方向以及控制量进行指定的信息而生成用于对上述选择出的驱动部38进行驱动的驱动控制信号，将所生成的上述驱动控制信号从驱动I/F37向驱动部38输出。其结果，驱动部38被驱动而使得对应的部位执行动作。
例如，如果控制对象部位是腿部，则与此对应的驱动部38被驱动而使得机器人3B例如在前后方向上进行步行动作。另外，如果控制对象部位是头部，则与此对应的驱动部38被驱动而使得头部的朝向在平面方向或者倾斜方向上变化。
另一方面，在上述腿部或者头部执行动作的状态下，机器人3B的控制部31在影像数据获取部314的控制下，在步骤S24中从安装于头部的照相机34经由传感器I/F33而导入立体影像数据，将该立体影像数据暂时保存于影像数据存储部321。
另外，与此同时，机器人3B的控制部31在动作检测数据获取部315的控制下，在步骤S25中从动作传感器35经由传感器I/F33而导入表示机器人3B的头部的动作、即姿态的变化的动作检测数据。而且，基于导入的上述动作检测数据，通过步骤S26而判定机器人3B的头部执行动作的期间。
机器人3B的控制部31接下来在影像处理部316的控制下，基于上述判定结果而以下述方式进行影像数据的发送处理。即，在通过上述步骤S26获得的判定结果表示机器人3B的头部的姿态未变化的情况下，从影像数据存储部321读出立体影像数据，通过步骤S28将该立体影像数据从通信I/F39向信息处理装置2发送。
与此相对，上述步骤S26的判定的结果，在机器人3B的头部的姿态变化的期间，影像处理部316在步骤S27中进行针对保存于影像数据存储部321的立体影像数据而使沉浸感降低的处理。而且，将该处理后的数据从通信I/F39向信息处理装置2发送。
这里，作为使沉浸感降低的处理，例如采用如下处理。例如，使上述立体影像数据静止、或者置换为白色、黑色、灰色或者规定颜色的单一颜色图像数据。或者，可以将上述立体影像数据置换为另外预先存储于存储部32的规定的待机图像数据。此时，机器人3B移动这一状况的消息或者标记、图标、麻点可以与上述待机图像数据重叠。
并且，作为使沉浸感降低的其他处理，例如，可以进行加工处理而使立体影像数据形成为半透明或者像素密度较粗的状态、或者缩小立体影像的帧尺寸。另外，在缩小帧尺寸的情况下，立体影像数据的位置并不局限于中央部，可以是任意位置。总之，如果是能够使用户针对从机器人3B发送来的影像数据的沉浸感降低的影像处理的方法，则可以使用任意方法。
此外，可以辅助性地利用控制部31进行将机器人3B处于动作中这一状况的语音消息、旋律或者鸣叫声置换为利用麦克风36检测出的机器人3B周围的声音或使其重叠的处理，将该处理后的语音数据从通信I/F39向信息处理装置2发送。
(作用/效果)
如上所述，在本发明的第2实施方式中，在机器人3B中，基于动作传感器35的动作检测数据而判定机器人3B的姿态变化的期间，在机器人3B的姿态变化的期间进行针对利用照相机34获得的立体影像数据使沉浸感降低的处理，将进行了该沉浸感的降低处理的影像数据从机器人3B向信息处理装置2发送。
因此，在机器人3B的姿态变化的期间，以使得沉浸感降低的方式实施了处理的影像数据从机器人3B向信息处理装置2发送，在HMD1进行显示。因此，即使从机器人3B发送来的影像数据存在传送延迟，另外，即使在信息处理装置2或者HMD1中存在影像显示处理的扫描延迟，也因该影响而减轻用户引起VR晕动的不良情况。
另外，根据第2实施方式，在机器人3B中进行针对立体影像而使沉浸感降低的处理，因此具有如下优点，即，能够减轻信息处理装置2的处理负荷，另外能够使用不具有用于使沉浸感降低的处理功能的通用的信息处理装置。
[其他实施方式]
(1)在第1以及第2实施方式中，在检测出机器人3A、3B的向前后或者左右方向的步行动作、使头部的朝向向平面方向或者倾斜方向改变的动作时，以进行针对利用照相机34获得的立体影像使沉浸感降低的处理的情况为例进行了说明。然而，本发明并不局限于此，在检测出使机器人3A、3B的头部左右倾斜的动作、礼仪动作、利用腿部进行屈伸的动作时，可以进行针对利用照相机34获得的立体影像使沉浸感降低的处理。
(2)在第1以及第2实施方式中，利用动作传感器35对根据从信息处理装置2发送来的远程控制信号而使得机器人3A、3B进行动作时的动作进行检测，针对在检测出该动作的期间获得的影像数据进行使沉浸感降低的处理。然而，本发明并不局限于此，可以进行如下处理，即，检测机器人3A、3B不根据来自信息处理装置2的远程控制信号而自主动作的情况下、根据从其他信息处理装置或者附属于机器人的控制器发送来的远程控制信号执行动作的情况下的机器人3A、3B的动作，针对在检测出该动作的期间获得的影像数据而使沉浸感降低。
(3)在第1实施方式中，利用与HMD1不同地设置的信息处理装置2，进行与机器人3A之间的数据通信以及影像显示控制。然而，在HMD1具有信息处理装置2的功能的情况下、即使用与信息处理装置一体型的HMD的情况下，可以构成为在HMD1中进行与机器人3A之间的数据通信以及影像显示控制。
(4)除此以外，对于远程作业装置的种类和结构、拍摄设备、动作传感器的种类和结构、信息处理装置的结构、使沉浸感降低的处理等，可以不脱离本发明的主旨而进行各种改良、变形。即，在实施本发明时，可以适当地采用与实施方式相应的具体结构。
总之，本发明并不直接限定于上述各实施方式，在实施阶段可以在不脱离其主旨的范围内对结构要素进行变形而实现具体化。另外，可以通过上述各实施方式中公开的多个结构要素的适当的组合而形成各种发明。例如，可以从各实施方式所示的所有结构要素删除几个结构要素。并且，可以适当地对不同的实施方式的结构要素进行组合。
标号的说明
1…头戴式显示器(HMD)
2…信息处理装置
3A、3B…机器人
4…网络
10、20、30…总线
11、21、31…控制部
12、22、32…存储部
13…显示接口(显示I/F)
14…显示部
15、33…传感器接口(传感器I/F)
16、35…动作传感器
17、24、39…通信接口(通信I/F)
23…输入输出接口(输入输出I/F)
25…操作部
34…照相机
36…麦克风
37…驱动接口(驱动I/F)
38…驱动部
211…操作数据获取部
212…动作控制数据生成部
213…远程控制信号发送部
214…影像内容接收部
215、316…影像处理部
216…影像显示控制部
221…影像内容存储部
311…远程控制信号接收部
312…动作控制数据提取部
313…驱动控制部
314…影像数据获取部
315…动作检测数据获取部
321…影像数据存储部。

Claims (6)

1.一种远程控制系统，其具有：用户装置，其与显示部连接；以及远程作业装置，其根据从所述用户装置经由网络发送来的控制信号而执行动作，其中，
所述远程作业装置具有：
可动部，其能够使姿态变化；
影像数据获取部，其获取从设置于所述可动部的照相机输出的影像数据；
动作检测数据获取部，其从动作传感器获取表示所述可动部的所述姿态的变化的动作检测数据；以及
数据发送部，其将获取到的所述影像数据以及所述动作检测数据经由所述网络而向所述用户装置发送，
所述用户装置具有：
数据接收部，其经由所述网络而接收从所述远程作业装置发送来的所述影像数据以及所述动作检测数据；
判定部，其基于接收到的所述动作检测数据而判定所述可动部的所述姿态变化的期间；
影像处理部，其基于所述判定部的判定结果，进行针对在所述可动部的姿态变化的期间接收到的所述影像数据使沉浸感降低的处理；以及
输出部，其将进行使所述沉浸感降低的处理之后的数据向所述显示部输出。
2.一种远程作业装置，其具有可动部，该可动部能够根据从与显示部连接的用户装置经由网络发送来的控制信号而执行动作，并且使姿态变化，其中，
所述远程作业装置具有：
影像数据获取部，其获取从设置于所述可动部的照相机输出的影像数据；
动作检测数据获取部，其从动作传感器获取表示所述可动部的所述姿态的变化的动作检测数据；以及
数据发送部，其将获取到的所述影像数据以及所述动作检测数据经由所述网络而向所述用户装置发送。
3.一种影像处理装置，其设置于用户装置以及远程作业装置中的任一者，该用户装置与显示部连接，该远程作业装置具有能够根据从所述用户装置经由网络发送来的控制信号而执行动作并且使姿态变化的可动部，其中，
所述影像处理装置具有：
影像数据获取部，其获取从设置于所述可动部的照相机输出的影像数据；
动作检测数据获取部，其获取利用动作传感器而获得的表示所述可动部的所述姿态的变化的动作检测数据；
判定部，其基于获取到的所述动作检测数据而判定所述可动部的所述姿态变化的期间；
影像处理部，其基于所述判定部的判定结果，进行针对在所述可动部的姿态变化的期间获取到的所述影像数据使沉浸感降低的处理；以及
输出部，其将进行使所述沉浸感降低的处理之后的数据向所述显示部输出。
4.根据权利要求3所述的影像处理装置，其中，
所述影像处理部针对在所述可动部的姿态变化的期间获取到的所述影像数据，进行影像的静止、向单一颜色的静止图像数据的置换、影像的半透明化、像素的低密度化以及帧尺寸的缩小中的任一处理。
5.根据权利要求3所述的影像处理装置，其中，
所述影像处理部将在所述可动部的姿态变化的期间获取到的所述影像数据，置换为附加有所述远程作业装置执行动作这一状况的信息的待机图像数据。
6.一种程序，其中，
所述程序使权利要求3至5中任一项所述的影像处理装置所具有的处理器执行所述影像处理装置所具有的各部分的处理。
CN202180035011.1A 2020-05-14 2021-05-14 远程控制系统和其远程作业装置、影像处理装置及程序 Pending CN115552891A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-085315 2020-05-14
JP2020085315A JP6801136B1 (ja) 2020-05-14 2020-05-14 遠隔制御システムとその遠隔作業装置、映像処理装置およびプログラム
PCT/JP2021/018476 WO2021230364A1 (ja) 2020-05-14 2021-05-14 遠隔制御システムとその遠隔作業装置、映像処理装置およびプログラム

Publications (1)

Publication Number Publication Date
CN115552891A true CN115552891A (zh) 2022-12-30

Family

ID=73741043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180035011.1A Pending CN115552891A (zh) 2020-05-14 2021-05-14 远程控制系统和其远程作业装置、影像处理装置及程序

Country Status (5)

Country Link
US (1) US20230076335A1 (zh)
EP (1) EP4152310A4 (zh)
JP (1) JP6801136B1 (zh)
CN (1) CN115552891A (zh)
WO (1) WO2021230364A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010050645A (ja) * 2008-08-20 2010-03-04 Olympus Corp 画像処理装置、画像処理方法及び画像処理プログラム
CN104280884A (zh) * 2013-07-11 2015-01-14 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CN106019584A (zh) * 2015-03-27 2016-10-12 精工爱普生株式会社 显示装置、显示装置的控制方法以及程序
US20180338132A1 (en) * 2017-05-18 2018-11-22 Samsung Electronics Co., Ltd. Method for providing 360-degree video and device for supporting the same
CN109426345A (zh) * 2017-08-31 2019-03-05 北京网秦天下科技有限公司 Vr设备及其自适应显示方法
CN109643466A (zh) * 2016-09-14 2019-04-16 史克威尔·艾尼克斯有限公司 影像显示系统以及影像显示方法、影像显示程序
WO2019176035A1 (ja) * 2018-03-14 2019-09-19 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像生成システム、および画像生成方法
US20190385376A1 (en) * 2019-08-12 2019-12-19 Lg Electronics Inc. Xr device for providing ar mode and vr mode and method for controlling the same

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05228855A (ja) * 1992-02-19 1993-09-07 Yaskawa Electric Corp テレイグジスタンス視覚装置
JP2002135641A (ja) * 2000-10-27 2002-05-10 Nippon Telegr & Teleph Corp <Ntt> 視点・視線自由移動カメラシステム
US9999835B2 (en) * 2015-02-05 2018-06-19 Sony Interactive Entertainment Inc. Motion sickness monitoring and application of supplemental sound to counteract sickness
JP6580516B2 (ja) * 2016-05-02 2019-09-25 株式会社ソニー・インタラクティブエンタテインメント 処理装置および画像決定方法
JP6944863B2 (ja) 2017-12-12 2021-10-06 株式会社ソニー・インタラクティブエンタテインメント 画像補正装置、画像補正方法およびプログラム
JP6655751B1 (ja) * 2019-07-25 2020-02-26 エヌ・ティ・ティ・コミュニケーションズ株式会社 映像表示制御装置、方法およびプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010050645A (ja) * 2008-08-20 2010-03-04 Olympus Corp 画像処理装置、画像処理方法及び画像処理プログラム
CN104280884A (zh) * 2013-07-11 2015-01-14 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CN106019584A (zh) * 2015-03-27 2016-10-12 精工爱普生株式会社 显示装置、显示装置的控制方法以及程序
CN109643466A (zh) * 2016-09-14 2019-04-16 史克威尔·艾尼克斯有限公司 影像显示系统以及影像显示方法、影像显示程序
US20180338132A1 (en) * 2017-05-18 2018-11-22 Samsung Electronics Co., Ltd. Method for providing 360-degree video and device for supporting the same
CN109426345A (zh) * 2017-08-31 2019-03-05 北京网秦天下科技有限公司 Vr设备及其自适应显示方法
WO2019176035A1 (ja) * 2018-03-14 2019-09-19 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像生成システム、および画像生成方法
US20190385376A1 (en) * 2019-08-12 2019-12-19 Lg Electronics Inc. Xr device for providing ar mode and vr mode and method for controlling the same

Also Published As

Publication number Publication date
US20230076335A1 (en) 2023-03-09
EP4152310A4 (en) 2023-11-08
EP4152310A1 (en) 2023-03-22
JP2021180425A (ja) 2021-11-18
WO2021230364A1 (ja) 2021-11-18
JP6801136B1 (ja) 2020-12-16

Similar Documents

Publication Publication Date Title
JP6266736B1 (ja) 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP2006209664A (ja) システム、画像処理装置、情報処理方法
US10609437B2 (en) Method for providing content using a head-mounted device, system for executing the method, and content display device
JP6212666B1 (ja) 情報処理方法、プログラム、仮想空間配信システム及び装置
US20230071690A1 (en) Remote control system, remote operation apparatus, video image processing apparatus, and computer-readable medium
JP7242448B2 (ja) 仮想現実制御装置、仮想現実制御方法およびプログラム
CN115552891A (zh) 远程控制系统和其远程作业装置、影像处理装置及程序
JP2018094086A (ja) 情報処理装置および画像生成方法
CN112753066B (zh) 影像显示控制装置、方法以及程序记录介质
US20180247612A1 (en) Method executed on computer for communicating via virtual space, program for executing the method on computer, and computer apparatus therefor
KR102044003B1 (ko) 영상 회의를 위한 전자 장치 및 그의 동작 방법
JP2022056043A (ja) 表示システム、表示方法及びプログラム
CN115552892A (zh) 远程作业装置及其程序
WO2022220049A1 (ja) システム、情報処理方法および情報処理プログラム
WO2023243024A1 (ja) セパレート型スマートデバイス
WO2022113834A1 (ja) システム、撮像装置、情報処理装置、情報処理方法および情報処理プログラム
WO2022149496A1 (ja) エンタテインメントシステムおよびロボット
WO2022149497A1 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
JP2018097879A (ja) 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
US20230221794A1 (en) Head mounted display device and display content control method
WO2024042842A1 (ja) アバター制御装置、アバター制御方法、及びアバター制御プログラム
WO2022220048A1 (ja) システム、情報処理方法および情報処理プログラム
JP2018036974A (ja) 情報処理システム
WO2021130986A1 (ja) 映像表示装置及び映像表示方法
JP2018128817A (ja) 仮想空間を介して通信するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報制御装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination