CN112753066B - 影像显示控制装置、方法以及程序记录介质 - Google Patents

影像显示控制装置、方法以及程序记录介质 Download PDF

Info

Publication number
CN112753066B
CN112753066B CN202080005035.8A CN202080005035A CN112753066B CN 112753066 B CN112753066 B CN 112753066B CN 202080005035 A CN202080005035 A CN 202080005035A CN 112753066 B CN112753066 B CN 112753066B
Authority
CN
China
Prior art keywords
display
change
user
auxiliary pattern
video content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080005035.8A
Other languages
English (en)
Other versions
CN112753066A (zh
Inventor
中蔵聪哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Communications Corp
Original Assignee
NTT Communications Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Communications Corp filed Critical NTT Communications Corp
Publication of CN112753066A publication Critical patent/CN112753066A/zh
Application granted granted Critical
Publication of CN112753066B publication Critical patent/CN112753066B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明的一个方案提供一种影像显示装置，经由网络接收根据用户的控制动作而由控制对象设备生成的影像内容，并使接收到的影像内容显示于所述用户所佩戴的头戴式显示器，所述影像显示装置具备检测部和第1显示控制部。检测部检测与所述用户的所述控制动作关联的面部或者视线的方向的变化。第1显示控制部生成显示位置以及显示形态中的至少一方追随检测到的与所述用户的所述控制动作关联的面部或者视线的方向的变化而发生变化的辅助图案，并使该辅助图案与所述影像内容重叠地显示于所述头戴式显示器。

Description

影像显示控制装置、方法以及程序记录介质
技术领域
本发明的一个方案涉及例如用于使从远程地点传送的影像显示的影像显示控制装置、方法以及程序记录介质。
背景技术
如下系统被开发：用户将头戴式显示器(Head Mount Display：HMD)(以下还称为头戴设备)佩戴到头部，一边观察显示于该头戴设备的影像，一边对控制对象进行控制。与上述系统相当的系统例如是：用户一边利用头戴设备观察由存在于远程地点的机器人摄像的影像一边使自身的身体活动从而对机器人的活动进行远程控制的系统、一边利用头戴设备观察从Web站点或者游戏机发送的游戏影像一边操作控制器来进行游戏设置的系统等。
然而，在这种系统中，一般使用增强现实(Augmented Reality；AR)的技术或者虚拟现实(Virtual Reality：VR)的技术，AR影像或者VR影像被显示于头戴设备。另外，此时当用户活动头部时进行追随该活动而使显示影像变化的所谓的跟踪控制。其结果，用户能够在操作过程中得到高的沉浸感。
但是，另一方面，从AR影像或者VR影像的生成至显示为止存在描绘延迟(Latency，时延)。作为描绘延迟(Latency)，包括由处于远程地点的装置生成的VR影像经由网络传送到头戴设备侧的装置时的传送延迟。而且，该传送延迟并非是恒定的，例如由于网络的拥挤的程度、各装置的处理器的负荷变动而延迟量发生变化。因此，在生成影像时作为前提的用户的头部的朝向与将影像显示于头戴设备的时间点的用户的头部的朝向之间产生偏差，用户有时陷入晕眩那样的感觉(被称为所谓的“VR晕眩(Virtual Reality Sickness，虚拟现实病)”等)。该VR晕眩即使在延迟量为恒定的情况下也发生，特别是在上述传送延迟的延迟量包含引起时间变动的所谓抖动(Jitter)的情况下显著地出现。
因而，为了减少从上述影像的生成至显示为止的时间差的影响，例如提出了由头戴设备侧的装置对影像进行重投影(Reprojection)处理的技术(例如参照专利文献1)。
现有技术文献
专利文献1：日本特开2019-106628号公报
发明内容
然而，重投影处理例如是如下处理：通过使用影像显示时间点的视点位置以及视线方向来校正以影像的生成时间点的用户的视点位置和视线方向为前提而生成的影像，从而吸收从影像生成至显示为止的时间差；在流传输中发生了视频流未按时到达的错误的情况下，重新利用前次的解码影像，以与头戴设备的最新的位置及姿势相匹配的方式对前次的解码影像实施重投影处理，从而应对通信延迟。即，重投影处理是在头戴设备侧的装置中进行复杂的图像处理来校正显示影像的处理。因此，在头戴设备侧的装置中，有时基于重投影处理的处理器的处理负荷变得非常大，需要高性能的处理器，装置变得昂贵。
本发明是着眼于上述情形而完成的，在一个方面提供一种不使头戴式显示器侧的装置中的处理负荷增加而减少VR晕眩的技术。
本发明的一个方案提供一种影像显示装置，经由网络接收根据用户的控制动作而由控制对象设备生成的影像内容，并使接收到的影像内容显示于所述用户所佩戴的头戴式显示器，所述影像显示装置具备检测部和第1显示控制部。检测部检测与所述用户的所述控制动作关联的面部或者视线的方向的变化。第1显示控制部生成显示位置以及显示形态中的至少一方追随检测到的与所述用户的所述控制动作关联的面部或者视线的方向的变化而发生变化的辅助图案，并使该辅助图案与所述影像内容重叠地显示于所述头戴式显示器。
根据本发明的一个方案，能够提供一种不使头戴式显示器侧的装置中的处理负荷增加而减少VR晕眩的发生的技术。
附图说明
图1是示出具备本发明的第1实施方式的影像显示控制装置的远程控制系统整体结构的图。
图2是示出在图1所示的系统中使用的头戴式显示器的硬件结构的框图。
图3是示出在图1所示的系统中使用的信息处理装置的硬件结构的框图。
图4是示出在图1所示的系统中使用的信息处理装置的软件结构的框图。
图5是示出图4所示的信息处理装置的影像显示控制的处理过程和处理内容的流程图。
图6A是示出通过图5所示的影像显示控制而在时刻t0显示的影像的一个例子的图。
图6B是示出通过图5所示的影像显示控制而在时刻t1显示的影像的一个例子的图。
图6C是示出通过图5所示的影像显示控制而在时刻t1’显示的影像的一个例子的图。
图7是示出本发明的变形例(1)中的辅助图案的显示例的图。
图8是示出本发明的变形例(2)中的辅助图案的显示例的图。
图9是示出本发明的变形例(3)中的辅助图案的显示例的图。
(符号说明)
1：头戴式显示器(HMD)；2：信息处理装置；3：控制对象设备；4：网络；10、20：总线；11、21：控制部；12、22：存储部；13：显示接口(显示I/F)；14：显示部；15：传感器接口(传感器I/F)；16：传感器；17、24：通信接口(通信I/F)；23：输入输出接口(输入输出I/F)；211：活动数据取得部；212：面部方向检测部；213：面部方向检测数据发送部；214：影像内容接收部；215：影像合成部；216：辅助图案显示数据生成部；221：影像内容存储部；222：辅助图案存储部。
具体实施方式
以下，参照附图，说明本发明的实施方式。
[第1实施方式]
(结构例)
(1)系统
图1是示出具备本发明的第1实施方式的影像显示控制装置的远程控制系统的整体结构的图。
第1实施方式的远程控制系统具备：头戴式显示器(HMD)1、具有作为影像显示控制装置的功能的信息处理装置2、以及能够在与上述信息处理装置2之间经由网络4进行通信的控制对象设备3。
控制对象设备3例如由在远程地点进行动作的人型机器人构成。根据从上述信息处理装置2发送的远程控制信号，对控制对象设备3的动作进行远程控制。作为成为控制对象的动作，例如有如下动作：通过远程控制与人型机器人的面部相当的部位的朝向，从而对由设置于该部位的相机摄像的监视对象范围进行可变控制。
此外，控制对象设备3除了是人型机器人以外，例如也可以是工业用机器人或监视相机。另外，控制对象设备3不限于硬件，也可以为软件。例如，如联机的对战游戏那样通过用户终端的操作而使在服务器上动作的角色(Character)活动、且用户利用用户终端对在服务器上合成的VR影像进行视觉辨认的情况也包含于本发明的实施方式。
网络4例如包括因特网等公用IP网以及用于接入到该公用IP网的接入网，作为接入网，使用LAN(Local Area Network，局域网)、无线LAN、公用有线网络、公用移动通信网络、CATV(Cable Television，有线电视)网络。
(2)头戴式显示器1
头戴式显示器1例如如图1所示呈护目镜型，装卸自如地佩戴于用户的头部。
头戴式显示器1例如如图2所示具备控制部11。控制部11具有中央处理单元(Central Processing Unit：CPU)等硬件处理器。存储部12、显示接口(显示I/F)13、传感器接口(传感器I/F)15以及通信接口(通信I/F)17经由总线10而连接于该控制部11。另外，除此之外各种开关、麦克风、扬声器、相机、位置传感器等器件也可以连接于上述控制部11。
存储部12例如使用固态驱动器(Solid State Drive(SSD))等能够随时写入以及读出的非易失性存储器作为存储介质，存储部12具有程序存储区域和数据存储区域。在程序存储区域中，储存用于实现头戴式显示器1的动作的各种应用程序。数据存储区域用于保存在头戴式显示器1的动作过程中取得或者生成的各种数据。此外，除此之外还能够并用只读存储器(Read Only Memory(ROM))、随机存取存储器(Random Access Memory(RAM))等作为存储介质。
显示部14连接于显示I/F13。显示部14例如为了应对虚拟现实(Virtual Reality：VR)显示，而与用户的左右的眼对应地配备两张由有机EL(Electro Luminescence，电致发光)显示器构成的显示面板。此外，显示面板也可以为1张，显示部14并不限于有机EL显示器，例如也可以是液晶显示器(Liquid Crystal Display：LCD)、使用了7段(7-segment)的显示器等其它类型的显示器。显示I/F13使由后述的信息处理装置2生成的影像显示于显示部14。
传感器16连接于传感器I/F15。传感器16例如由角速度传感器(陀螺仪传感器)构成，用于检测头戴式显示器1的活动、即用户的头部的活动。具体而言，检测头部的六轴方向的活动。传感器I/F15根据上述传感器16的输出信号，生成表示用户的头部的活动的活动数据。此外，作为传感器16，也可以包括磁传感器、加速度传感器、位置传感器、红外传感器、亮度传感器、接近传感器(proximity sensor)、相机等。另外，除了用户的头部的活动之外，还可以检测用户的视线的活动。例如能够通过使用对用户的眼球进行摄像的相机来检测用户的视线的活动。
通信I/F17在控制部11的控制下，例如由使用了通用串行总线(Universal SerialBus(USB))线缆等信号线缆的有线接口构成。并且，通信I/F17接收从信息处理装置2发送的影像数据，并且将由上述传感器I/F15生成的活动数据等转送到信息处理装置2。此外，通信I/F17也可以使用近距离无线数据通信标准(例如蓝牙(Bluetooth(日本注册商标)))。
此外，在该例子中，作为头戴式显示器1，以具备控制部11以及存储部12的多功能型的头戴式显示器为例而进行了说明。但是，头戴式显示器1也可以是仅具有显示部14、显示I/F13、传感器16、传感器I/F15以及通信I/F17的标准型或者简易型的头戴式显示器。
(3)信息处理装置2
图3以及图4分别是示出信息处理装置2的硬件以及软件的结构的框图。
信息处理装置2例如由智能手机等便携信息终端或者个人计算机构成。在信息处理装置2中，经由总线20将存储部22、输入输出接口(输入输出I/F)23以及通信接口(通信I/F)24连接于具有CPU等硬件处理器的控制部21。
上述头戴式显示器1连接于输入输出I/F23。另外，也可以将用于对控制对象设备3进行远程控制的控制器等连接于输入输出I/F23。
通信I/F24例如具备与无线LAN、近距离无线数据通信标准(例如Bluetooth(注册商标))或者公用移动通信网络对应的接口，经由网络4而与控制对象设备3之间进行数据传送。此外，通信I/F24也可以具备与公用有线网、有线LAN、CATV网络等有线网对应的接口。
存储部22是作为存储介质例如将HDD(Hard Disk Drive)或者SSD等能够随时写入和读出的非易失性存储器、ROM等非易失性存储器、以及RAM等易失性存储器进行组合而构成的。在其存储区域中设置程序存储区域和数据存储区域。在程序存储区域中，除了OS(Operating System，操作系统)等中间件(Middleware)之外，还储存用于执行本发明的第1实施方式的各种控制处理而所需的应用程序。
在数据存储区域中设置有影像内容存储部221和辅助图案存储部222。影像内容存储部221用于临时保存从控制对象设备3发送的摄像影像数据(以后还称为影像内容)。在辅助图案存储部222中存储有用于减少用户的VR晕眩的辅助图案的图像数据。此外，关于辅助图案及其显示处理方法，在后面详细叙述。
在控制部21中，作为用于实现本发明的第1实施方式的控制功能而具备活动数据取得部211、面部方向检测部212、面部方向检测数据发送部213、影像内容接收部214、影像合成部215以及辅助图案显示数据生成部216。这些控制功能均通过使控制部21的硬件处理器执行上述存储部22内的程序存储区域中所储存的应用程序来实现。
活动数据取得部211进行如下处理：经由输入输出I/F23，从上述头戴式显示器1取得表示由传感器16检测到的用户的头部的活动的活动数据。
面部方向检测部212例如进行如下处理：根据所取得的上述活动数据，检测用户的面部的朝向的变化。例如，进行如下处理：根据上述活动数据，计算用户的面部的摇动方向以及倾斜方向的朝向(角度)的变化。此外，在成为检测对象的面部的方向中，除了摇动方向以及倾斜方向以外，也可以包括头部的左右方向的倾斜度、伸缩方向等其它方向。
此外，在头戴式显示器1设置有对用户的面部进行摄像的相机的情况下，面部方向检测部212也可以具有根据该相机的影像来检测用户的视线方向的变化的功能。
面部方向检测数据发送部213进行如下处理：从通信I/F24经由网络4向控制对象设备3发送由上述面部方向检测部212得到的面部方向的检测数据。
影像内容接收部214进行如下处理：经由通信I/F24接收从控制对象设备3经由网络4发送的影像内容，并临时保存于影像内容存储部221。
辅助图案显示数据生成部216从辅助图案存储部222读出辅助图案的图像数据，生成该辅助图案的图像数据的头戴式显示器1中的显示位置实时地追随由上述面部方向检测部212检测到的面部方向的变化那样的图像数据。
影像合成部215生成将由上述辅助图案显示数据生成部216生成的辅助图案的图像数据重叠到从上述影像内容存储部221读出的影像内容而成的合成影像，将该合成影像从输入输出I/F23发送到头戴式显示器1。
(动作例)
接下来，以信息处理装置2的动作为中心，说明如以上那样构成的远程控制系统的动作。
图5是示出信息处理装置2的影像显示控制的处理过程和处理内容的流程图。
(1)辅助图案的存储
在动作的开始之前，系统管理者例如使用自身的终端装置来生成辅助图案或者从外部取得辅助图案，并使其图像数据存储到辅助图案存储部222。例如，作为辅助图案，生成如图6A～图6C所示的由水平线和垂直线构成的格子状的线状图案L1。
在该例子中示出了将实线与虚线交替地配置的图案，但既可以仅为实线，或者也可以仅为虚线。另外，关于格子的尺寸、即构成格子的各线的间隔、粗细、颜色、浓度，也能够任意地设定。但是，作为其设定条件，优选为在维持影像内容的视觉辨认性的基础上，用户能够识别辅助图案。
(2)并用辅助图案的影像内容的显示控制
当启动系统时，由控制对象设备3将包含由头部的相机摄像得到的影像的影像内容经由网络4传送到信息处理装置2。在信息处理装置2中在影像内容接收部214的控制下接收该影像内容之后，将该影像内容从影像合成部215转送到头戴式显示器1，并显示于显示部14。
在该状态下，用户使自身的头部活动而使面部的方向变化。于是，该头部的活动被头戴式显示器1的传感器16所检测，其活动数据被输入到信息处理装置2。信息处理装置2在活动数据取得部211的控制下，通过步骤S11取得上述活动数据，在步骤S12中通过面部方向检测部212的控制而从上述活动数据检测用户的面部的方向的变化。
例如，面部方向检测部212根据从角速度传感器(陀螺仪传感器)输出的6轴的角速度检测信号，计算表示用户的面部的方向的矢量的变化。信息处理装置2在面部方向检测数据发送部213的控制下，通过步骤S13从通信I/F24向控制对象设备3发送表示上述用户的面部的朝向的变化的检测数据。
控制对象设备3在接收到上述面部的方向的检测数据时，根据该面部的方向的检测数据，例如使伺服机构进行动作而使相机的摄像方向变化。其结果，相机的摄像对象区域发生变化，向信息处理装置2送回包含其变化的过程以及变化后的摄像对象区域的摄像影像的影像内容。
另一方面，信息处理装置2在从向上述控制对象设备3发送上述用户的面部的方向的检测数据起至与其相应地从控制对象设备3送回包含摄像影像的影像内容为止的期间，进行以下的处理。
即，信息处理装置2在辅助图案显示数据生成部216的控制下，首先通过步骤S14从辅助图案存储部222读出辅助图案的图像数据。然后，在步骤S15中，信息处理装置2在辅助图案显示数据生成部216的控制下，根据通过上述步骤S12得到的表示用户的面部的方向的变化的检测数据，生成头戴式显示器1中的上述辅助图案的显示位置实时地追随检测到的上述面部的方向的变化那样的图像数据。
信息处理装置2在影像内容接收部214的控制下，在步骤S16中接收从上述控制对象设备3送回的影像内容。然后，在影像合成部215的控制下，通过步骤S17，将由上述辅助图案显示数据生成部216生成的辅助图案的图像数据重叠到从上述控制对象设备3送回的影像内容而生成合成影像。然后，通过步骤S18将该合成影像的数据从输入输出I/F23输出到头戴式显示器1。
其结果，在头戴式显示器1中，从上述信息处理装置2输出的合成影像显示于显示部14。合成影像是辅助图案的图像重叠到从控制对象设备3送回的影像内容而成的影像。辅助图案的图像是以实时地追随上述用户的面部方向的变化而使显示位置变化的方式生成的图像。
信息处理装置2在系统进行动作的期间中重复进行上述步骤S11～步骤S18的处理。
图6A～图6C是用于说明上述头戴式显示器1中的合成影像的显示的变化的一个例子的图。
首先，在时刻t0，例如如图6A所示显示有辅助图案L1(t0)重叠到影像内容VD(t0)而成的合成影像。在该状态下，用户在时刻t1使面部向左斜上方向活动。于是，此时的用户的面部的方向的变化从信息处理装置2被通知到控制对象设备3，由此控制对象设备3的相机的摄像对象区域向左斜上方向变化。然后，包含与该摄像对象区域的变化相应的摄像图像的影像内容被送回到信息处理装置2，由信息处理装置2显示到头戴式显示器1。
此时，上述影像内容在用户的面部的方向的变化开始之后，其检测数据从信息处理装置2经由网络4被通知给控制对象设备3。然后，在控制对象设备3中生成与上述检测数据相应的影像内容。该影像内容经由网络4被传送到信息处理装置2，并在信息处理装置2中接受辅助图案的合成处理之后，在头戴式显示器1中被显示。因此，直至反映了用户的面部的方向的变化的影像内容显示于头戴式显示器1为止，发生包含传送延迟的描绘延迟(Latency)。并且，该描绘延迟的延迟量由于网络的拥挤程度、CPU的负荷变动的影响等而引起时间变动(抖动)。该影像内容的描绘延迟(Latency)及其抖动对于用户而言成为VR晕眩的重要原因。
然而，在第1实施方式中，辅助图案L1(t0)的显示位置实时地追随上述用户的面部的方向的变化而在头戴式显示器1的显示画面上移动。图6B示出此时的影像内容VD(t0)和辅助图案L1(t1)的显示例。
因而，即使影像内容VD(t0)的变化并非实时地追随用户自身的面部的朝向的移动，辅助图案L1(t1)的显示位置仍实时追随地进行移动，从而减轻影像内容VD(t0)的描绘延迟(Latency)的影响，由此抑制VR晕眩的发生。
图6C示出经过与上述描绘延迟相当的时间后的影像内容VD(t1’)和辅助图案L1(t1)的显示结果的一个例子。这样，在描绘延迟后的时刻t1’，影像内容VD(t1’)的显示位置赶上与用户的面部的方向的变化后对应的位置。
(作用及效果)
如以上所叙述那样，在第1实施方式中，在连接有头戴式显示器1的信息处理装置2中，辅助图案存储于存储部22。并且，信息处理装置2在使上述辅助图案与从控制对象设备3传送的影像内容重叠地显示于头戴式显示器1时，基于根据用户的头部的活动的检测信号而检测到的用户的面部的方向的变化，以使上述辅助图案的显示位置实时地追随上述用户的面部的方向的变化而移动的方式进行控制。
因而，即使影像内容的显示位置并非实时地追随用户的面部的朝向的变化，重叠于上述影像内容的辅助图案的显示位置也实时追随地进行变化。因此，即使在发生包含影像内容的传送延迟的描绘延迟(Latency)的情况下，另外即使在其延迟量随时间变化的情况、即描绘延迟含有抖动的情况下，上述描绘延迟(Latency)的影响也不易影响到用户，能够减少用户的VR晕眩的发生。
并且，在第1实施方式中，通过使预先存储的辅助图案的显示位置追随用户的面部的朝向的变化而移动，从而减少用户的VR晕眩的发生。因此，相比于对显示影像进行重投影处理的情况，能够将装置的CPU的处理负荷抑制得低，由此无需使用具备处理能力高的CPU的昂贵的装置，就能够得到VR晕眩的减少效果。
[第2实施方式]
也可以使信息处理装置2具备针对头戴式显示器1、信息处理装置2以及控制对象设备3中的至少一个而监视其动作状态的功能，通过使辅助图案的显示形态变化，从而显示表示其监视结果的消息。
例如，监视头戴式显示器1以及信息处理装置2的电池剩余量，在检测到电池剩余量下降到预定水平以下的情况下，使辅助图案的显示颜色、浓度或者形状变化，从而报告上述电池剩余量的下降。此时，作为显示形态的变化图案，可以使用与追随用户的动作或者操作的显示形态的变化不同的变化图案、例如闪烁等。另外，成为监视对象的头戴式显示器1、信息处理装置2以及控制对象设备3的动作状态不限于电池剩余量，例如也可以将信号线缆的连接异常、通信故障、控制对象设备3的动作异常等其它异常的动作状态作为对象。
[变形例]
在本发明中考虑以下那样的各种变形例。
(1)作为辅助图案，例如也可以如图7所示，使用采用了相对显示画面为倾斜方向的多个实线以及虚线的格子状的图案L2。在该情况下，构成格子的多条线既可以仅为实线，或者也可以仅为虚线。另外，关于格子的尺寸、即构成格子的各线的间隔、粗细、颜色、浓度，也能够任意地设定。
(2)作为辅助图案，例如也可以如图8所示，使用将呈圆弧状的多条线例如如地球的经度线那样进行了配置的图案L3。在该情况下，关于各线的间隔、粗细、颜色、浓度，也能够任意地设定。
(3)作为辅助图案，例如也可以如图9所示，使用将多个圆在二维方向上等间隔地进行了配置的水珠状的图案L4。在该情况下，关于圆，既可以是椭圆状也可以是方形，关于其尺寸、颜色、浓度、配置间隔，能够任意地设定。另外，关于图案的圆的数量也不限于多个，还可以是1个，而且配置多个圆时的配置间隔不限于等间隔而也可以随机地设定。
(4)作为上述辅助图案，除了线、圆等图形以外，也可以使用角色。例如，在影像内容为游戏内容的情况下，使用在其场景中登场的角色或者与该角色关联的副角色。由此，能够在抑制对于辅助图案的用户的不协调感的基础上，减少VR晕眩的发生。
(5)在所述第1实施方式中，追随用户的面部的朝向的变化而使辅助图案的显示位置移动，但除此之外，例如也可以追随用户的面部的朝向的变化而使辅助图案的颜色或者浓度变化。由此，也能够减轻包含影像内容的传送延迟的描绘延迟(Latency)及其抖动对用户造成的影响，减少VR晕眩的发生。
(6)在所述第1实施方式中，由与头戴式显示器1独立地设置的信息处理装置2进行影像显示控制。但是，在头戴式显示器1具备信息处理装置2的功能的情况、即使用与信息处理装置一体型的头戴式显示器的情况下，也可以构成为在头戴式显示器中执行本发明的影像显示控制。
(7)在所述第1实施方式中，以显示从存在于远程地点的控制对象设备3传送的影像内容的情况为前提而进行了说明。但是，本发明并不限定于此，例如也可以以如游戏内容、游览地介绍内容、博物馆或者美术馆内的展示物的介绍内容、不动产的介绍内容等那样内容的影像根据用户的动作或者操作而发生变化的系统为对象。在这样的情况下，通过在头戴式显示器或者附属于该头戴式显示器的信息处理装置中将本发明的辅助图案合成到影像内容，也能够减少显示影像内容时的包含传送延迟的描绘延迟(Latency)及其抖动的影响，由此减少用户的VR晕眩。
(8)除此之外，关于头戴式显示器的种类、结构、作为影像显示控制装置的信息处理装置的结构、影像内容的种类以及辅助图案的结构及其显示控制处理过程和处理内容等，能够在不脱离本发明的要点的范围中进行各种变形来实施。
总之，本发明并不限定于上述各实施方式本身，在实施阶段中能够在不脱离其要点的范围中对构成要素进行变形而使其具体化。另外，能够通过上述各实施方式所公开的多个构成要素的适当的组合来形成各种发明。例如，也可以从实施方式所示的所有的构成要素中去除若干个构成要素。而且，也可以将涉及不同实施方式的构成要素适当地进行组合。

Claims (6)

1.一种影像显示控制装置，经由网络接收根据用户的控制动作而由控制对象设备生成的影像内容，并使接收到的影像内容显示于所述用户所佩戴的头戴式显示器，其中，所述影像显示控制装置具备：
检测部，检测与所述用户的所述控制动作关联的面部或者视线的方向的变化；
通信部，将检测到的与所述用户的所述控制动作关联的面部或者视线的方向的变化发送给所述控制对象设备，接收追随所述变化而由所述控制对象设备生成的影像内容；以及
第1显示控制部，生成显示位置以及显示形态中的至少一方追随检测到的与所述用户的所述控制动作关联的面部或者视线的方向的变化而发生变化的辅助图案，并使该辅助图案与所述影像内容重叠地显示于所述头戴式显示器，
由所述控制对象设备生成的所述影像内容以及由所述第1显示控制部生成的所述辅助图案是针对前一个的由所述控制对象设备生成的影像内容以及由所述第1显示控制部生成的辅助图案追加与所述检测到的所述变化对应的同样的位置变化而得到的影像内容以及辅助图案，
已接收的影像内容是由于传送延迟的影响而追随在所述检测到的变化之前的时间点下的变化而生成的影像内容，
所述影像显示控制装置还具备第2显示控制部，该第2显示控制部接收所述影像显示控制装置以及所述头戴式显示器中的至少一方的包括电池剩余量、连接异常、通信故障或者动作异常的动作状态的检测结果，使由所述第1显示控制部生成的所述辅助图案按照与追随与所述用户的所述控制动作关联的面部或者视线的方向的变化的显示形态的变化不同的变化图案进一步变化。
2.根据权利要求1所述的影像显示控制装置，其中，
所述第1显示控制部生成所述头戴式显示器的显示画面的由水平、垂直、倾斜以及曲线的各线状图案中的至少一个线状图案构成的辅助图案，并使该辅助图案的显示位置以及显示形态中的至少一方追随与所述用户的所述控制动作关联的面部或者视线的方向的变化而变化。
3.根据权利要求1所述的影像显示控制装置，其中，
所述第1显示控制部生成由在二维方向上配置的圆、椭圆、方形或者角色构成的图案图像作为所述辅助图案，并使所生成的所述辅助图案的显示位置以及显示形态中的至少一方追随与所述用户的所述控制动作关联的面部或者视线的方向的变化而变化。
4.根据权利要求1至3中的任意一项所述的影像显示控制装置，其中，
作为所述辅助图案的显示形态，所述第1显示控制部使显示颜色以及显示浓度中的至少一方变化。
5.一种影像显示控制方法，是由影像显示控制装置执行的影像显示控制方法，所述影像显示控制装置经由网络接收根据用户的控制动作而由控制对象设备生成的影像内容，并使接收到的影像内容显示于所述用户所佩戴的头戴式显示器，其中，所述影像显示控制方法具备：
第1过程，检测与所述用户的所述控制动作关联的面部或者视线的方向的变化；
通信过程，将检测到的与所述用户的所述控制动作关联的面部或者视线的方向的变化发送给所述控制对象设备，接收追随所述变化而由所述控制对象设备生成的影像内容；以及
第2过程，生成显示位置以及显示形态中的至少一方追随检测到的与所述用户的所述控制动作关联的面部或者视线的方向的变化而发生变化的辅助图案，并使该辅助图案与所述影像内容重叠地显示于所述头戴式显示器，
由所述控制对象设备生成的所述影像内容以及通过所述第2过程生成的所述辅助图案是针对前一个的由所述控制对象设备生成的影像内容以及通过所述第2过程生成的辅助图案追加与所述检测到的所述变化对应的同样的位置变化而得到的影像内容以及辅助图案，
已接收的影像内容是由于传送延迟的影响而追随在所述检测到的变化之前的时间点下的变化而生成的影像内容，
所述影像显示控制方法还具备第3过程，在该第3过程中，接收所述影像显示控制装置以及所述头戴式显示器中的至少一方的包括电池剩余量、连接异常、通信故障或者动作异常的动作状态的检测结果，使通过所述第2过程而生成的所述辅助图案按照与追随与所述用户的所述控制动作关联的面部或者视线的方向的变化的显示形态的变化不同的变化图案进一步变化。
6.一种程序记录介质，记录有程序，该程序使硬件处理器执行权利要求1至4中的任意一项所述的影像显示控制装置所具备的所述各部的处理。
CN202080005035.8A 2019-07-25 2020-03-11 影像显示控制装置、方法以及程序记录介质 Active CN112753066B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-137237 2019-07-25
JP2019137237A JP6655751B1 (ja) 2019-07-25 2019-07-25 映像表示制御装置、方法およびプログラム
PCT/JP2020/010533 WO2021014673A1 (ja) 2019-07-25 2020-03-11 映像表示制御装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
CN112753066A CN112753066A (zh) 2021-05-04
CN112753066B true CN112753066B (zh) 2024-03-22

Family

ID=69624462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080005035.8A Active CN112753066B (zh) 2019-07-25 2020-03-11 影像显示控制装置、方法以及程序记录介质

Country Status (5)

Country Link
US (1) US11610343B2 (zh)
EP (1) EP4006894A4 (zh)
JP (1) JP6655751B1 (zh)
CN (1) CN112753066B (zh)
WO (1) WO2021014673A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6801136B1 (ja) * 2020-05-14 2020-12-16 エヌ・ティ・ティ・コミュニケーションズ株式会社 遠隔制御システムとその遠隔作業装置、映像処理装置およびプログラム

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013200440A (ja) * 2012-03-26 2013-10-03 Mitsubishi Electric Corp 映像表示装置
JP2014131094A (ja) * 2012-12-28 2014-07-10 Seiko Epson Corp 表示装置、および、表示装置の制御方法
CN103926694A (zh) * 2013-01-15 2014-07-16 精工爱普生株式会社 头戴式显示装置及其控制方法、以及图像显示系统
CN104423583A (zh) * 2013-09-05 2015-03-18 精工爱普生株式会社 头部佩戴型显示装置、控制头部佩戴型显示装置的方法、图像显示系统及信息处理装置
JP2015099184A (ja) * 2013-11-18 2015-05-28 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
CN104781873A (zh) * 2012-11-13 2015-07-15 索尼公司 图像显示装置、图像显示方法、移动装置、图像显示系统、以及计算机程序
CN104823152A (zh) * 2012-12-19 2015-08-05 高通股份有限公司 使用视线追踪实现扩增实境
CN105301771A (zh) * 2014-06-06 2016-02-03 精工爱普生株式会社 头部佩戴型显示装置、检测装置、控制方法以及计算机程序
CN105319716A (zh) * 2014-07-31 2016-02-10 精工爱普生株式会社 显示装置、显示装置的控制方法及程序
CN105589199A (zh) * 2014-11-06 2016-05-18 精工爱普生株式会社 显示装置、显示装置的控制方法以及程序
CN107209959A (zh) * 2016-01-15 2017-09-26 株式会社ｍｅｌｅａｐ 图像显示系统、图像显示系统的控制方法、图像分发系统以及头戴式显示器
CN109690633A (zh) * 2016-09-14 2019-04-26 株式会社万代南梦宫娱乐 模拟系统、处理方法以及信息存储介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6497649B2 (en) * 2001-01-21 2002-12-24 University Of Washington Alleviating motion, simulator, and virtual environmental sickness by presenting visual scene components matched to inner ear vestibular sensations
JP4366943B2 (ja) * 2003-01-31 2009-11-18 株式会社ニコン ヘッドマウントディスプレイ
WO2004061519A1 (ja) 2002-12-24 2004-07-22 Nikon Corporation ヘッドマウントディスプレイ
JP2004233903A (ja) * 2003-01-31 2004-08-19 Nikon Corp ヘッドマウントディスプレイ
US7918781B1 (en) * 2006-03-22 2011-04-05 The United States Of America As Represented By The Secretary Of The Army Systems and methods for suppressing motion sickness
GB201103705D0 (en) * 2011-03-04 2011-04-20 Smoker Elizabeth A Apparatus for, and method of, detecting, measuring and assessing operator fatigue
US11266919B2 (en) * 2012-06-29 2022-03-08 Monkeymedia, Inc. Head-mounted display for navigating virtual and augmented reality
JP6353214B2 (ja) 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
US9787895B2 (en) 2014-02-17 2017-10-10 Sony Corporation Information processing device, information processing method, and program for generating circumferential captured images
JP2016031439A (ja) * 2014-07-28 2016-03-07 ソニー株式会社 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像表示システム
JP6642432B2 (ja) * 2014-07-31 2020-02-05 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム
EP3216023A4 (en) * 2014-11-07 2018-07-18 Eye Labs, LLC Visual stabilization system for head-mounted displays
JP2017054457A (ja) * 2015-09-11 2017-03-16 株式会社コーエーテクモゲームス 情報処理装置、表示制御方法、及び表示制御プログラム
US10089725B2 (en) * 2016-02-09 2018-10-02 Google Llc Electronic display stabilization at a graphics processing unit
US10455184B2 (en) * 2016-03-14 2019-10-22 Sony Corporation Display device and information processing terminal device
JP6620063B2 (ja) * 2016-04-21 2019-12-11 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置および画像処理方法
US10204395B2 (en) * 2016-10-19 2019-02-12 Microsoft Technology Licensing, Llc Stereoscopic virtual reality through caching and image based rendering
KR20180075732A (ko) 2016-12-26 2018-07-05 엘지디스플레이 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
US11025918B2 (en) * 2016-12-29 2021-06-01 Sony Interactive Entertainment Inc. Foveated video link for VR, low latency wireless HMD video streaming with gaze tracking
JP2018157319A (ja) * 2017-03-16 2018-10-04 本田技研工業株式会社 コンテンツ視聴装置、コンテンツ提供方法、及び移動体
CN110637326A (zh) * 2017-05-24 2019-12-31 古野电气株式会社 影像生成装置
JP6278546B1 (ja) * 2017-06-02 2018-02-14 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6944863B2 (ja) 2017-12-12 2021-10-06 株式会社ソニー・インタラクティブエンタテインメント 画像補正装置、画像補正方法およびプログラム
US20210065427A1 (en) * 2019-08-30 2021-03-04 Shopify Inc. Virtual and augmented reality using light fields

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013200440A (ja) * 2012-03-26 2013-10-03 Mitsubishi Electric Corp 映像表示装置
CN104781873A (zh) * 2012-11-13 2015-07-15 索尼公司 图像显示装置、图像显示方法、移动装置、图像显示系统、以及计算机程序
CN104823152A (zh) * 2012-12-19 2015-08-05 高通股份有限公司 使用视线追踪实现扩增实境
JP2014131094A (ja) * 2012-12-28 2014-07-10 Seiko Epson Corp 表示装置、および、表示装置の制御方法
CN103926694A (zh) * 2013-01-15 2014-07-16 精工爱普生株式会社 头戴式显示装置及其控制方法、以及图像显示系统
CN104423583A (zh) * 2013-09-05 2015-03-18 精工爱普生株式会社 头部佩戴型显示装置、控制头部佩戴型显示装置的方法、图像显示系统及信息处理装置
JP2015099184A (ja) * 2013-11-18 2015-05-28 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
CN105301771A (zh) * 2014-06-06 2016-02-03 精工爱普生株式会社 头部佩戴型显示装置、检测装置、控制方法以及计算机程序
CN105319716A (zh) * 2014-07-31 2016-02-10 精工爱普生株式会社 显示装置、显示装置的控制方法及程序
CN105589199A (zh) * 2014-11-06 2016-05-18 精工爱普生株式会社 显示装置、显示装置的控制方法以及程序
CN107209959A (zh) * 2016-01-15 2017-09-26 株式会社ｍｅｌｅａｐ 图像显示系统、图像显示系统的控制方法、图像分发系统以及头戴式显示器
CN109690633A (zh) * 2016-09-14 2019-04-26 株式会社万代南梦宫娱乐 模拟系统、处理方法以及信息存储介质

Also Published As

Publication number Publication date
US20210192805A1 (en) 2021-06-24
EP4006894A4 (en) 2022-07-13
CN112753066A (zh) 2021-05-04
EP4006894A1 (en) 2022-06-01
JP6655751B1 (ja) 2020-02-26
US11610343B2 (en) 2023-03-21
WO2021014673A1 (ja) 2021-01-28
JP2021022075A (ja) 2021-02-18

Similar Documents

Publication Publication Date Title
CN108292489B (zh) 信息处理装置和图像生成方法
JP6899875B2 (ja) 情報処理装置、映像表示システム、情報処理装置の制御方法、及びプログラム
US10306211B2 (en) Remote control of pivotable stereoscopic camera
JP6751205B2 (ja) ディスプレイ装置及びその制御方法
CN110825333A (zh) 显示方法、装置、终端设备及存储介质
CN112753066B (zh) 影像显示控制装置、方法以及程序记录介质
JP6949475B2 (ja) 画像処理装置、画像処理方法およびプログラム
US20230071690A1 (en) Remote control system, remote operation apparatus, video image processing apparatus, and computer-readable medium
JP2013105195A (ja) 表示装置、撮像装置、および映像表示システム
JP2018094086A (ja) 情報処理装置および画像生成方法
JP2020177608A (ja) 仮想シーン及び現実環境のマップをピクチャ・イン・ピクチャモードで表示可能なヘッドマウントディスプレイシステム、関連する方法及び関連する非一時的なコンピュータ可読記憶媒体
JP7247371B2 (ja) 画像処理装置、システム、画像処理方法、および画像処理プログラム
GB2582106A (en) Display device and display device control method
JP2004363987A (ja) 画像提示システム
JP6820376B2 (ja) 仮想シーン及び現実シーンをピクチャ・イン・ピクチャモードで表示可能なヘッドマウントディスプレイシステム、関連する方法及び関連する非一時的なコンピュータ可読記憶媒体
US20200342833A1 (en) Head mounted display system and scene scanning method thereof
US11372473B2 (en) Information processing apparatus and information processing method
CN112630964A (zh) 头戴式显示系统及其场景扫描方法
EP3382505A1 (en) Improved method and system for vr interaction
WO2021230364A1 (ja) 遠隔制御システムとその遠隔作業装置、映像処理装置およびプログラム
US20230206546A1 (en) Terminal device, method, and computer program
JP7470063B2 (ja) ディスプレイとネットワークを介して接続される複数のコントローラとを連動させて画面操作するシステム、及びプログラム
EP4252871A1 (en) System, imaging device, information processing device, information processing method, and information processing program
CN113497910A (zh) 视讯系统及视讯系统的画面产生方法
JP2020048134A (ja) 表示装置およびその制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant