CN112119451A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN112119451A
CN112119451A CN201980032291.3A CN201980032291A CN112119451A CN 112119451 A CN112119451 A CN 112119451A CN 201980032291 A CN201980032291 A CN 201980032291A CN 112119451 A CN112119451 A CN 112119451A
Authority
CN
China
Prior art keywords
display
video
user
information processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980032291.3A
Other languages
English (en)
Inventor
石川毅
清水惇一
清水孝悌
高桥慧
安田亮平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112119451A publication Critical patent/CN112119451A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/371—Image reproducers using viewer tracking for tracking viewers with different interocular distances; for tracking rotational head movements around the vertical axis
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/373—Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/38—Image reproducers using viewer tracking for tracking vertical translational head movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

[问题]提供了信息处理装置、信息处理方法和程序，使得由用户的动作引起的视频改变不太可能使用户感到异常。[解决方案]根据本发明的信息处理装置包括显示控制单元。显示控制单元控制显示装置，以在显示空间中显示具有与用户头部的位置改变相对应的运动视差的对象，在该显示空间中视点位置被基本上独立于用户头部的位置改变而控制。

Description

信息处理装置、信息处理方法和程序
技术领域
本技术涉及用于显示诸如全向视频的视频的信息处理装置、信息处理方法和程序，该视频的显示范围根据用户头部的定向来改变。
背景技术
近年来，全向视频的使用已经在VR(虚拟现实)等领域中得到了发展。全向视频由能够捕获360°周围环境的成像装置捕获，并且在网站等上向公众开放。这些全向视频是没有左右视差的视频或者是具有能够立体观看的视差的立体视频。
用户可以通过使用头戴式显示器(下文中称为“HMD”)或者智能电话的简化HMD来观看和收听这样的全向视频。当用户改变头部在真实空间上的定向时，检测到HMD的旋转，并且根据该旋转剪切出全向视频的一部分，并且将这一部分显示在显示装置上(例如，参见专利文献1)。因此，当用户使头部运动以观看周围环境时，可以观看全向视频。
引用列表
专利文献
专利文献1：日本专利申请公开第2017-102297号。
发明内容
技术问题
然而，在专利文献1中描述的显示方法中，针对用户的平衡感与根据用户在真实空间中的运动的视频改变之间的关系，用户可能感到不舒适。
因此，本公开内容提供了能够抑制用户对根据用户运动的视频改变的不舒适感的信息处理设装置、信息处理方法和程序。
问题的解决方案
根据本技术的实施方式的信息处理装置包括显示控制单元。
显示控制单元控制显示装置，以在显示空间中显示具有根据用户头部的位置改变的运动视差的对象，在显示空间中，相对于用户头部的位置改变，视点的位置基本上被独立地控制。
通过这种配置，在显示空间中显示具有与用户头部的位置改变对应的运动视差的对象。因此，即使显示空间的视点位置相对于用户头部的位置改变基本上不变，用户也可以通过视觉地识别具有运动视差的对象来抑制相对于显示空间的不舒适感。
显示控制单元可以根据用户头部的位置改变将对象从非显示状态改变为显示状态。
如果在对象的状态改变为显示状态之后用户头部的位置基本上没有改变，则显示控制单元可以将对象的状态从显示状态改变为非显示状态。
显示控制单元可以将用户头部的位置的平移运动检测为用户头部的位置改变，并且可以相对于用户头部的旋转运动来改变显示空间，而相对于用户头部的平移运动基本上不改变显示空间。
显示控制单元可以根据显示空间的改变将对象从非显示状态改变为显示状态。
显示控制单元可以根据视点的位置改变来改变显示空间。
视点的位置改变可以对应于获取显示空间的摄像装置的抖动。
对象可以是用于操作的用户界面。
显示控制单元可以将对象定位在显示空间中。
显示控制单元可以将对象固定在距显示空间的视点的预定距离内。
显示空间可以是比用户的视野宽的视频。
显示空间可以是全向视频。
显示装置可以是头戴式显示器。
显示控制单元可以基于用于检测头戴式显示器的旋转和运动的六自由度传感器的输出来生成运动视差。
在根据本技术的实施方式的信息处理方法中，显示控制单元控制显示装置，以在显示空间中显示具有根据用户头部的位置改变的运动视差的对象，在显示空间中，相对于用户头部的位置改变，视点的位置基本上被独立地控制。
根据本技术的实施方式的程序使得信息处理装置用作显示控制单元，显示控制单元控制显示装置，以在显示空间中显示具有根据用户头部的位置改变的运动视差的对象，在显示空间中，相对于用户头部的位置改变，视点的位置基本上被独立地控制。
发明的有益效果
如上所述，根据本技术，可以提供能够抑制用户对根据用户的运动的显示空间改变的不舒适感的信息处理装置、信息处理方法和程序。请注意，这里描述的效果不一定是限制性的，并且可以提供本公开内容中描述的任何效果。
附图说明
[图1]图1是示出根据本技术的实施方式的视频显示系统的配置的示意图。
[图2]图2是示出视频显示系统的功能配置的框图。
[图3]图3是由视频显示系统的视野内视频(in-field video)生成单元生成的视野内视频的示例。
[图4]图4是由视频显示系统的对象生成单元生成的对象的示例。
[图5]图5是由视频显示系统的视频合成单元生成的显示视频的示例。
[图6]图6是示出视频显示系统的操作的流程图。
[图7]图7是示出视频显示系统中的用户与对象之间的虚拟位置关系的示意图。
[图8]图8是示出视频显示系统中的显示视频的改变以及用户的平移的示意图。
[图9]图9是示出视频显示系统中的全向视频中发生抖动的情况下的显示视频的示意图。
[图10]图10是示出视频显示系统中用于抑制VR疾病的对象的类型的示意图。
[图11]图11是示出视频显示系统中用于操作的对象的示意图。
[图12]图12是示出视频显示系统中的对象的显示模式的曲线图。
[图13]图13是示出视频显示系统中的用于抑制VR疾病的对象和用于操作的对象的示意图。
[图14]图14是示出视频显示系统中的对象的显示位置的示意图。
[图15]图15是示出视频显示系统中的对象的显示位置的示意图。
[图16]图16是示出视频显示系统中包括的信息处理装置的硬件配置的框图。
具体实施方式
首先，将描述根据本发明的实施方式的视频显示系统的概要。视频显示系统包括显示装置和信息处理装置。如稍后将描述的，信息处理装置相对于用户头部的位置改变基本上独立地控制显示空间(虚拟空间)中的视点的位置。另外，信息处理装置控制显示装置(HMD(头戴式显示器))，该显示装置显示具有取决于用户头部的位置改变的运动视差的对象。请注意，本公开内容的视频显示系统可以包括被配置为基本上覆盖用户的全部视野的各种显示装置，来代替HMD。“基本上覆盖用户的全部视野”可以被认为是提供具有比用户的视野宽的视角的视频。例如，视频显示系统可以包括将虚拟空间投影在真实空间上的头戴式投影仪，来代替HMD。替选地，视频显示系统可以包括与信息处理装置分开设置的投影仪，该投影仪根据用户的运动在虚拟空间中投影视频。
接下来，将描述要由根据本公开内容的信息处理装置解决的问题的示例。
在通过普通的HMD观看和收听视频时，针对用户的平衡感与根据用户在真实空间中的运动(运动状态)的视频(例如，全向视频)改变之间的关系，用户可能感到不舒适。由于用户在真实空间中的平衡感与视频改变之间的差异，用户的不舒适可以被认为是自主烦躁不安的状态(VR疾病)。
例如，在观看和收听全向视频时，即使用户在不改变头部方向的情况下运动(平移)，全向视频的视点位置也不改变，因此，显示视频不改变。因此，由于在用户的运动中不发生视觉反馈，所以容易发生VR疾病。
替选地，如果在捕获全向视频等时由捕获装置的抖动而在显示视频中出现抖动，则用户误以为用户自己抖动，并且在视频改变与平衡感之间存在差异，并且容易发生VR疾病。
鉴于上述情况，根据本公开内容的视频显示系统解决了和显示空间的改变与用户的平衡感之间的差异有关的问题。在下文中，将详细描述视频显示系统包括HMD的情况。
[视频显示系统的配置]
图1是示出根据本实施方式的视频显示系统100的配置的示意图，并且图2是视频显示系统100的功能配置的框图。
如图1和图2所示，视频显示系统100包括HMD 110和信息处理装置120。
HMD 110是附接到用户头部的显示器，并且包括显示装置111和传感器112。HMD110可以是普通HMD，或者包括智能电话以及用于将智能电话附接到用户头部的装置的简化HMD。
显示装置111是诸如液晶显示器或者有机EL显示器的显示装置。显示装置111可以包括用于用户的右眼和左眼的不同显示屏幕，或者可以仅包括一个显示屏幕。
传感器112检测HMD 110的运动。传感器112可以利用六自由度(6DoF)传感器，其能够检测横摆、滚动和俯仰三个轴的旋转以及前后、左右、上下三个方向的移动。在下文中，将传感器112的检测结果称为传感器信息。顺便提及的是，传感器112可以是IMU(惯性测量单元)或者诸如陀螺仪传感器与加速度传感器的各种组合。应当注意的是，检测传感器112的加速度的功能可以由安装在HMD 110上的摄像装置或者诸如与HMD 110分开设置的外部传感器的各种传感器替代。
信息处理装置120是诸如智能电话、平板型计算机和个人计算机的信息处理装置，并且通过有线通信或者无线通信连接至HMD 110。信息处理装置120包括视频解码器121、视野内视频生成单元122、平移检测单元123、视频抖动检测单元124、对象生成单元125和视频合成单元126。
视频解码器121获取全向视频数据(以下称为视频数据)并且将全向视频数据进行解码。全向视频是以某一点为中心的360°全向视频、由全向摄像装置捕获的视频、以及通过将使用多个摄像装置捕获的视频进行合成而获得的视频。
视频解码器121可以通过读取存储在信息处理装置120中的视频数据来获取视频数据，或者可以经由网络获取视频数据。
当视频解码器121获取视频数据时，视频解码器121对视频数据进行解码并且生成全向视频。视频解码器121将生成的全向视频提供给视野内视频生成单元122和视频抖动检测单元124。
视野内视频生成单元122从由视频解码器121提供的全向视频生成视野内视频，该视野内视频是要在显示装置111上显示的视频。图3示出了作为视野内视频的示例的视野内视频G1。
视野内视频生成单元122从传感器112获取传感器信息，并且可以通过根据HMD110的定向提取全向视频的一部分来生成视野内视频。当传感器112检测到横摆、滚动和俯仰三个轴的旋转时，视野内视频生成单元122根据旋转将范围移动至全向视频中的视野内视频。
因此，当用户使头部运动时，全向视频中的视野内视频的区域跟随HMD 110的运动而运动，并且用户可以观看和收听全向视频，就像用户环顾四周一样。也就是说，通过由视野内视频实现的全向视频，形成了下述显示空间，在该显示空间中，相对于用户头部的位置改变，视点的位置基本上被独立地控制。
平移检测单元123从传感器112获取传感器信息，并且检测HMD 110的平移。HMD110的平移是在没有旋转的情况下的HMD 110的运动，特别是在传感器112没有检测到横摆、侧滚和俯仰三个轴的旋转并且检测到前后、左右、上下三个方向的运动的情况下HMD 110的运动。应当注意的是，HMD 110的平移可以被认为对应于用户头部的平移运动。此外，HMD110的旋转也可以被认为对应于用户头部的旋转运动。
平移检测单元123保存用于运动的预定阈值，并且如果运动的阈值超过预定值，则可以确定HMD 110正在平移。可以将用于运动的预定阈值设置为使得不将用户头部的无意识摆动检测为平移运动并且检测到用户的明显窥视运动。平移检测单元123将确定的结果提供给对象生成单元125。顺便提及的是，平移检测单元123可以保存用于旋转的预定阈值，并且仅在旋转的阈值小于预定值的情况下确定HMD 110的平移。
视频抖动检测单元124从视频解码器121获取全向视频，并且检测全向视频的抖动。全向视频的抖动是由捕获全向视频时摄像装置等的抖动引起。
视频抖动检测单元124可以通过对全向视频的图像处理来检测全向视频的抖动。例如，视频抖动检测单元124可以使用光流来检测全向视频的抖动。光流是指由对象或摄像装置的运动引起的对象在相邻帧之间的位移矢量。
此外，视频抖动检测单元124还可以使用包括在全向视频中的IMU传感器日志来检测全向视频的视频。IMU传感器日志是在捕获全向视频时在捕获摄像装置中设置的IMU传感器的日志，并且可以从IMU传感器日志中检测捕获摄像装置的抖动，即，全向视频的抖动。
在基于图像处理、IMU传感器日志等检测到的全向视频的抖动超过阈值的情况下，视频抖动检测单元124可以确定在全向视频中发生了抖动。视频抖动检测单元124将确定的结果提供给对象生成单元125。
对象生成单元125生成要在显示装置111上显示的虚拟对象。图4是示出由对象生成单元125生成的对象P的示意图。
对象生成单元125生成对象P(其是各自在显示空间中具有根据用户头部的位置改变的运动视差的对象)，并且将对象P定位在显示空间中。对象生成单元125将生成的对象P提供给视频合成单元126。因此，即使配戴HMD 110的用户在真实空间中平移，对象P也基本上相对于显示空间的视点固定在预定位置处，并且对象P不会随着用户一起运动。例如，当从用户观看时，对象P可以被固定在距显示空间的视点(中心)的预定距离内。
对象生成单元125可以在由平移检测单元123检测到HMD 110的平移的条件下生成对象P，使得不妨碍用户观看和收听视频。另外，对象生成单元125可以在视频抖动检测单元124检测到全向视频抖动的条件下生成对象P。顺便提及的是，代替平移检测单元123或者视频抖动检测单元124，对象生成单元125可以依照对于与HMD 110分离的移动控制器的手动操作来切换对象P的显示状态和非显示状态。
视频合成单元126合成从视野内视频生成单元122提供的视野内视频G1和从对象生成单元125提供的对象P，并且生成显示视频。
图5是由视频合成单元126生成的显示视频G2的示例。如图5所示，视频合成单元126将视野内视频G1与对象P叠加以生成显示视频G2。视频合成单元126将合成的显示视频G2提供给显示装置111以显示所述显示视频G2。
视频显示系统100具有上述配置。请注意，视野内视频生成单元122、平移检测单元123、视频抖动检测单元124、对象生成单元125以及视频合成单元126控制显示装置111，以将包括对象P的显示视频显示在显示装置上111上。视野内视频生成单元122、平移检测单元123、视频抖动检测单元124、对象生成单元125以及视频合成单元126中的至少一个可以被认为是用作本公开内容的显示控制单元。更具体地，本公开内容的显示控制单元可以被认为包括至少视野内视频生成单元122、对象生成单元125以及视频合成单元126。优选地，显示控制单元可以被认为包括平移检测单元123与视频抖动检测单元124中的至少一个。顺便提及的是，显示控制单元可以至少包括稍后描述的处理器(CPU 1001或者GPU 1002)。
此外，视频显示系统100可以仅包括平移检测单元123和视频抖动检测单元124中的一个。
视频解码器121、视野内视频生成单元122、平移检测单元123、视频抖动检测单元124、对象生成单元125和视频合成单元126是由将在后面描述的硬件和程序协作实现的功能配置。
[视频显示系统的操作]
图6是示出视频显示系统100的操作的流程图。
如图6所示，视频解码器121获取并且解码全向视频的视频数据(St101)。
视野内视频生成单元122从传感器112获取传感器信息(St102)，并且基于传感器信息从全向视频生成视野内视频。
随后，当平移检测单元123检测到HMD 110的平移(St103：是)或者视频抖动检测单元124检测到全向视频的抖动(St104：是)时，对象生成单元125生成对象P(St105)。
另外，如果未检测到HMD 110的平移和全向视频的抖动(St103：否，St104：否)，则对象生成单元125不生成对象P(106)。
如果生成了对象P，则视频合成单元126将对象P与视野内视频进行合成以生成显示视频(St107)。此外，如果未生成对象P，则视频合成单元126将视野内视频设置为显示视频(St107)。视频合成单元126将生成的显示视频输出至显示装置111并且将显示视频显示在显示装置111上。
如上所述，在视频显示系统100中，如果未检测到HMD 110的平移与全向视频的抖动，则生成不包括对象P的显示视频，并且如果检测到HMD 110的平移，则生成包括对象P的显示视频。
也就是说，视频显示系统100根据用户头部的位置改变，将对象P从非显示状态改变为显示状态。请注意，在非显示状态下，对象生成单元125可以生成具有完全不可见性的对象P，或者可以生成具有比显示状态下的可见度小的可见度的对象P。例如，可以通过物体P的透明度来调节对象P的可见度。
此外，在视频显示系统100中，即使在检测到全向视频的抖动的情况下，也生成包括对象P的显示视频。
也就是说，视频显示系统100根据与视点的位置改变对应的显示空间的改变，将对象P从非显示状态改变为显示状态。此外，在这种情况下，在非显示状态下，对象生成单元125可以生成具有完全不可见性的对象P，或者可以生成具有比在显示状态下的可见度小的可见度的对象P。
[图像显示系统的效果]
将描述视频显示系统100。如果配戴HMD 110的用户平移地运动，即，不旋转HMD110，由于传感器112未检测到HMD 110的旋转，因此视野内视频生成单元122不将范围移动至全向视频中的视野内视频。
因此，尽管用户在运动，但是视野内视频不改变，并且根据视野内视频，在用户的运动中也不会发生视觉反馈。这里，在视频显示系统100中，如上所述定位在显示空间中的对象P被显示在显示视频中。
图7是示出配戴HMD 110的用户U与对象P之间的虚拟位置关系的示意图。图8示出了在HMD 110上显示的显示视频G2的示例。
如图7的(a)所示，如果用户U开始平移，则在显示装置111上显示图8的(a)所示的显示视频G2。即使用户U运动至图7的(b)的位置，如图8的(b)所示，视野内视频G1不会改变。
另一方面，如图7的(b)所示，由于对象P在真实空间中的位置不会改变，因此如图8的(b)所示，对象P被显示成与用户U的平移一起接近用户U。
用户U可以通过对象P的接近来识别自己的运动，即，可以通过对象P获得视觉反馈，从而防止VR疾病。
此外，如果在捕获全向视频时由摄像装置抖动等引起全向视频中的抖动，则在作为全向视频的一部分的视野内视频中也会发生抖动。因此，用户U由于视野内视频会误以为用户自己抖动。
这里，在视频显示系统100中，与视野内视频分开生成的对象P与视野内视频一起被呈现给用户U。图9示出了在全向视频中发生抖动的情况下的显示视频G2的示例。如图9所示，即使在视野内视频G1中发生抖动，在对象P中也不会发生抖动，并且用户可以识别到用户自己没有抖动，因此可以防止VR疾病。
[对象类型]
如上所述，对象P可以是各自在显示空间中具有根据用户头部的位置改变的运动视差的虚拟对象，并且可以利用两种类型的对象来用于抑制VR疾病以及用于操作。
图10是示出用于抑制VR疾病的对象P的示例的示意图。如图10的(a)所示，对象P可以是围绕用户U布置的颗粒对象。颗粒对象P优选地具有不妨碍用户U的视野的大小和密度。
此外，如图10的(b)所示，对象P可以是布置在用户前面的铁格子对象。因此，可以做出使得用户正在从笼子里观看全向视频的表达。
此外，如图10的(c)所示，对象P可以是围绕用户U布置的手柄状对象。这使得用户U可以强烈地感知到在全向视频中发生了抖动时用户U本身没有运动。
另外，可以根据全向视频的内容以及呈现全向视频的应用的类型来适当地选择用于抑制VR疾病的对象P。还可以根据内容以及应用的类型来调整对象P的可见度。
图11是示出用于操作的对象P的示例的示意图。如图11所示，对象P可以是用作诸如虚拟键盘或者虚拟控制面板的操作UI(用户界面)的对象。
还可以根据内容以及应用的类型来调整用于操作的对象P的类型与可见度。
此外，对象生成单元125可以同时生成用于抑制VR疾病的对象以及用于操作的对象两者作为对象P。
[显示对象]
如上所述，对象生成单元125在平移检测单元123检测到HMD 110的平移的情况下或者在视频抖动检测单元124检测到全向视频的抖动的情况下生成对象P。
图12是示出对象生成单元125的对象P的显示模式的曲线图。如图12所示，当检测到HMD 110的平移或者全向视频的抖动时，对象生成单元125通过将检测用作触发来使对象P进入显示状态。这时，对象生成单元125可以做出使得对象P的可见度相对于显示视频逐渐增加并且淡入的表达。
在将对象P置于显示状态之后用户头部的位置在某一段时间内基本不改变并且全向视频中没有检测到抖动的情况下，对象生成单元125可以将对象P从显示状态改变为非显示状态。
此时，对象生成单元125可以做出使得对象P的可见度逐渐降低并且对象P从显示视频中淡出的表达。
请注意，对象生成单元125可以不必通过使用HMD 110的平移或者全向视频的抖动作为触发来生成对象P。例如，在对象P是用于操作的对象的情况下，对象生成单元125可以使用用户U的手势或者输入到信息处理装置120的操作作为触发来生成对象P。
在对象P处于非显示状态之后再次发生触发的情况下，对象生成单元125重新显示对象P。这里，如果对象P是用于抑制VR疾病的对象，则可以在先前显示的位置处重新显示对象P，或者可以相对于用户U的当前位置重新显示对象P。
此外，如果对象P是用于操作的对象，则对象生成单元125优选地相对于用户U的当前位置重新显示对象P，使得用户U容易操作。请注意，当在显示时间段期间将用于操作的对象显示在固定于用户U的位置处时，该用于操作的对象是不合适的。这是因为，如果在固定于用户U的位置处继续显示，则对用户U的平移没有视觉反馈。
在这种情况下，优选的是，对象生成单元125根据用于操作的对象生成用于抑制VR疾病的对象。图13是示出其中布置了用于抑制VR疾病的对象P与用于操作的对象Q的状态的示意图。如图13的(a)与图13的(b)所示，用于操作的对象Q未被定位在与对象P不同的显示空间中，并且在显示空间中相对于HMD 110的位置关系是固定的。
请注意，例如，当对象P的可见度小时，对象生成单元125还可以在显示视野内视频的同时一直生成对象P。
图14和图15是示出对象P的适当布置的示意图。由于当将对象P布置在用户U的前方时阻碍了用户U的视野，因此优选地，如图14所示，对象生成单元125布置对象P同时避免在用户U的前方。
此外，在全向视频是具有视差的全向视频的情况下，可以获取视频中的对象与用户U之间的距离。在这种情况下，如图15所示，优选地，对象生成单元125布置对象P同时避免视频中对象T存在的位置。
[硬件配置]
图16是示出信息处理装置120的硬件配置的示意图。如图16所示，信息处理装置120包括CPU 1001、GPU 1002、存储器1003、存储装置1004以及输入/输出单元(I/O)1005作为硬件配置。上述部件通过总线1006彼此连接。
CPU(中央处理单元)1001根据存储在存储器1003中的程序来控制其他配置，根据程序执行数据处理，并且将处理结果存储在存储器1003中。CPU 1001可以是微处理器。
GPU(图形处理单元)1002在CPU 1001的控制下执行图像处理。GPU 1002可以是微处理器。
存储器1003存储将由CPU 1001执行的程序和数据。存储器1003可以是RAM(随机存取存储器)。
存储装置1004存储程序和数据。存储装置1004可以是HDD(硬盘驱动器)或者SSD(固态驱动器)。
输入/输出单元1005接收至信息处理装置120的输入，并且将信息处理装置120的输出提供给外部。输入/输出单元1005包括诸如触摸面板或者键盘的输入装置、诸如显示器的输出装置以及诸如网络的连接接口。
信息处理装置120的硬件配置不限于这里示出的硬件配置，并且可以是能够实现信息处理装置120功能配置的任何硬件配置。此外，以上硬件配置的部分或者全部可以存在于网络上。
[修改例]
如上所述，尽管视频显示系统100包括HMD 110和信息处理装置120，但是信息处理装置120的部分或者全部功能配置可以被包括在HMD 110中。例如，HMD 110是包括智能电话的简化HMD，并且可以设置有信息处理装置120的功能配置。
此外，在视频显示系统100的功能配置中，可以将除显示装置111以外的配置安装在信息处理装置120上。此外，可以通过经由网络连接至HMD或者信息处理装置120的服务器来实现除显示装置111以外的配置。
传感器112也不限于安装在HMD 110上的传感器，并且可以是设置在HMD 110周围并且能够检测HMD 110的位置和定向的传感器。
此外，尽管已经将视频显示系统100的显示目标视频描述为全向视频，但是显示目标视频不限于全向视频，并且可以是具有至少比用户的视野宽的范围并且具有根据用户头部的定向来改变的显示范围的视频。
本技术还可以具有以下结构。
(1)一种信息处理装置，包括：
显示控制单元，其控制显示装置，以在显示空间中显示具有根据用户头部的位置改变的运动视差的对象，在所述显示空间中，相对于所述用户头部的位置改变，视点的位置基本上被独立地控制。
(2)根据(1)所述的信息处理装置，其中，
所述显示控制单元根据所述用户头部的位置改变将所述对象从非显示状态改变为显示状态。
(3)根据(1)或(2)所述的信息处理装置，其中，
如果在所述对象的状态改变为所述显示状态之后所述用户头部的位置基本上没有改变，则所述显示控制单元将所述对象的状态从所述显示状态改变为所述非显示状态。
(4)根据(2)所述的信息处理装置，其中，
所述显示控制单元将所述用户头部的位置的平移运动检测为所述用户头部的位置改变，并且相对于所述用户头部的旋转运动来改变所述显示空间，而相对于所述用户头部的平移运动基本上不改变所述显示空间。
(5)根据(1)至(4)中任意一项所述的信息处理装置，其中，
所述显示控制单元根据所述显示空间的改变将所述对象从所述非显示状态改变为所述显示状态。
(6)根据(5)所述的信息处理装置，其中，
所述显示控制单元根据所述视点的位置改变来改变所述显示空间。
(7)根据(6)所述的信息处理装置，其中，
所述视点的位置改变对应于获取所述显示空间的摄像装置的抖动。
(8)根据(1)至(7)中任意一项所述的信息处理装置，其中，
所述对象是用于操作的用户界面。
(9)根据(1)至(8)中任意一项所述的信息处理装置，其中，
所述显示控制单元将所述对象定位在所述显示空间中。
(10)根据(1)至(9)中任意一项所述的信息处理装置，其中，
所述显示控制单元将所述对象固定在距所述显示空间的视点的预定距离内。
(11)根据(1)至(10)中任意一项所述的信息处理装置，其中，
所述显示空间是比所述用户的视野宽的视频。
(12)根据(1)至(11)中任意一项所述的信息处理装置，其中，
所述显示空间是全向视频。
(13)根据(1)至(12)中任意一项所述的信息处理装置，其中，
所述显示装置是头戴式显示器。
(14)根据(1)至(13)中任意一项所述的信息处理装置，其中，
所述显示控制单元基于用于检测所述头戴式显示器的旋转和运动的六自由度传感器的输出来生成所述运动视差。
(15)一种信息处理方法，包括：
由显示控制单元控制显示装置，以在显示空间中显示具有根据用户头部的位置改变的运动视差的对象，在所述显示空间中，相对于所述用户头部的位置改变，视点的位置基本上被独立地控制。
(16)一种程序，使信息处理装置用作显示控制单元，所述显示控制单元控制显示装置，以在显示空间中显示具有根据用户头部的位置改变的运动视差的对象，在所述显示空间中，相对于所述用户头部的位置改变，视点的位置基本上被独立地控制。
附图标记列表
100 视频显示系统
110 HMD
111 显示装置
112 传感器
120 信息处理装置
121 视频解码器
122 视野内视频生成单元
123 平移检测单元
124 视频抖动检测单元
125 对象生成单元
126 视频合成单元

Claims (16)

1.一种信息处理装置，包括：
显示控制单元，其控制显示装置，以在显示空间中显示具有根据用户头部的位置改变的运动视差的对象，在所述显示空间中，相对于用户头部的位置改变，视点的位置基本上被独立地控制。
2.根据权利要求1所述的信息处理装置，其中，
所述显示控制单元根据所述用户头部的位置改变将所述对象从非显示状态改变为显示状态。
3.根据权利要求2所述的信息处理装置，其中，
如果在所述对象的状态改变为所述显示状态之后所述用户头部的位置基本上没有改变，则所述显示控制单元将所述对象的状态从所述显示状态改变为所述非显示状态。
4.根据权利要求2所述的信息处理装置，其中，
所述显示控制单元将所述用户头部的位置的平移运动检测为所述用户头部的位置改变，并且相对于所述用户头部的旋转运动来改变所述显示空间，而相对于所述用户头部的平移运动基本上不改变所述显示空间。
5.根据权利要求1所述的信息处理装置，其中，
所述显示控制单元根据所述显示空间的改变将所述对象从所述非显示状态改变为所述显示状态。
6.根据权利要求5所述的信息处理装置，其中，
所述显示控制单元根据所述视点的位置改变来改变所述显示空间。
7.根据权利要求6所述的信息处理装置，其中，
所述视点的位置改变对应于获取所述显示空间的摄像装置的抖动。
8.根据权利要求1所述的信息处理装置，其中，
所述对象是用于操作的用户界面。
9.根据权利要求1所述的信息处理装置，其中，
所述显示控制单元将所述对象定位在所述显示空间中。
10.根据权利要求1所述的信息处理装置，其中，
所述显示控制单元将所述对象固定在距所述显示空间的视点的预定距离之内。
11.根据权利要求1所述的信息处理装置，其中，
所述显示空间是比用户的视野宽的视频。
12.根据权利要求11所述的信息处理装置，其中，
所述显示空间是全向视频。
13.根据权利要求1所述的信息处理装置，其中，
所述显示装置是头戴式显示器。
14.根据权利要求13所述的信息处理装置，其中，
所述显示控制单元基于用于检测所述头戴式显示器的旋转和运动的六自由度传感器的输出来生成所述运动视差。
15.一种信息处理方法，包括：
由显示控制单元控制显示装置，以在显示空间中显示具有根据用户头部的位置改变的运动视差的对象，在所述显示空间中，相对于所述用户头部的位置改变，视点的位置基本上被独立地控制。
16.一种程序，使信息处理装置用作显示控制单元，所述显示控制单元控制显示装置，以在显示空间中显示具有根据用户头部的位置改变的运动视差的对象，在所述显示空间中，相对于所述用户头部的位置改变，视点的位置基本上被独立地控制。
CN201980032291.3A 2018-05-22 2019-05-10 信息处理装置、信息处理方法和程序 Pending CN112119451A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-098130 2018-05-22
JP2018098130 2018-05-22
PCT/JP2019/018720 WO2019225354A1 (ja) 2018-05-22 2019-05-10 情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
CN112119451A true CN112119451A (zh) 2020-12-22

Family

ID=68617318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980032291.3A Pending CN112119451A (zh) 2018-05-22 2019-05-10 信息处理装置、信息处理方法和程序

Country Status (6)

Country Link
US (1) US20210314557A1 (zh)
EP (1) EP3799027A4 (zh)
JP (1) JPWO2019225354A1 (zh)
KR (1) KR20210011369A (zh)
CN (1) CN112119451A (zh)
WO (1) WO2019225354A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112021007014T5 (de) 2021-04-09 2023-12-07 Mitsubishi Electric Corporation Bewegungsübelkeit-regulierungsvorrichtung, bewegungsübelkeit-regulierungsverfahren und bewegungsübelkeit-regulierungsprogramm
WO2023148434A1 (fr) * 2022-02-01 2023-08-10 Boarding Ring Procédé d'affichage d'un repère visuel de confort, notamment anti-cinétose

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7646394B1 (en) * 2004-03-05 2010-01-12 Hrl Laboratories, Llc System and method for operating in a virtual environment
US20150170422A1 (en) * 2013-12-16 2015-06-18 Konica Minolta, Inc. Information Display System With See-Through HMD, Display Control Program and Display Control Method
US20150381974A1 (en) * 2014-06-27 2015-12-31 Craig Lee Hoffman Stereoscopic image display
JP2016025633A (ja) * 2014-07-24 2016-02-08 ソニー株式会社 情報処理装置、管理装置、情報処理方法、およびプログラム
CN106575153A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 虚拟现实环境内基于注视的对象放置
CN106575156A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 虚拟对象的智能放置以停留在头戴式显示器的视野中
JP6181842B1 (ja) * 2016-11-30 2017-08-16 グリー株式会社 アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム
US20180053337A1 (en) * 2016-08-19 2018-02-22 Colopl, Inc. Information processing method and system for executing the same

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012105153A (ja) * 2010-11-11 2012-05-31 Sharp Corp 立体画像表示装置、立体画像表示方法、立体画像表示方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体
JP2014071499A (ja) * 2012-09-27 2014-04-21 Kyocera Corp 表示装置および制御方法
JP6355978B2 (ja) * 2014-06-09 2018-07-11 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
WO2016157923A1 (ja) * 2015-03-30 2016-10-06 ソニー株式会社 情報処理装置及び情報処理方法
JP6532393B2 (ja) 2015-12-02 2019-06-19 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
JP6322659B2 (ja) * 2016-02-17 2018-05-09 株式会社コーエーテクモゲームス 情報処理プログラム及び情報処理装置
US10175487B2 (en) * 2016-03-29 2019-01-08 Microsoft Technology Licensing, Llc Peripheral display for head mounted display device
JP6689694B2 (ja) * 2016-07-13 2020-04-28 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
JP2017138973A (ja) * 2017-01-18 2017-08-10 株式会社コロプラ 仮想空間の提供方法、およびプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7646394B1 (en) * 2004-03-05 2010-01-12 Hrl Laboratories, Llc System and method for operating in a virtual environment
US20150170422A1 (en) * 2013-12-16 2015-06-18 Konica Minolta, Inc. Information Display System With See-Through HMD, Display Control Program and Display Control Method
US20150381974A1 (en) * 2014-06-27 2015-12-31 Craig Lee Hoffman Stereoscopic image display
JP2016025633A (ja) * 2014-07-24 2016-02-08 ソニー株式会社 情報処理装置、管理装置、情報処理方法、およびプログラム
CN106575153A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 虚拟现实环境内基于注视的对象放置
CN106575156A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 虚拟对象的智能放置以停留在头戴式显示器的视野中
US20180053337A1 (en) * 2016-08-19 2018-02-22 Colopl, Inc. Information processing method and system for executing the same
JP6181842B1 (ja) * 2016-11-30 2017-08-16 グリー株式会社 アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム

Also Published As

Publication number Publication date
WO2019225354A1 (ja) 2019-11-28
US20210314557A1 (en) 2021-10-07
KR20210011369A (ko) 2021-02-01
EP3799027A1 (en) 2021-03-31
EP3799027A4 (en) 2021-06-16
JPWO2019225354A1 (ja) 2021-07-26

Similar Documents

Publication Publication Date Title
US11030771B2 (en) Information processing apparatus and image generating method
US10627628B2 (en) Information processing apparatus and image generating method
US10692300B2 (en) Information processing apparatus, information processing method, and image display system
US11202008B2 (en) Head mounted display having a plurality of display modes
EP3117290B1 (en) Interactive information display
CN110546601B (zh) 信息处理装置、信息处理方法和程序
US11590415B2 (en) Head mounted display and method
WO2016163183A1 (ja) 没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラム
WO2019065846A1 (ja) プログラム、情報処理方法、情報処理システム、頭部装着型表示装置、情報処理装置
CN112119451A (zh) 信息处理装置、信息处理方法和程序
US11474595B2 (en) Display device and display device control method
EP2919094A1 (en) Interactive information display
CN108140357B (zh) 信息处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination