CN109407822B - 协作虚拟现实的防恶心和视频流式传输技术 - Google Patents

协作虚拟现实的防恶心和视频流式传输技术 Download PDF

Info

Publication number
CN109407822B
CN109407822B CN201810623345.0A CN201810623345A CN109407822B CN 109407822 B CN109407822 B CN 109407822B CN 201810623345 A CN201810623345 A CN 201810623345A CN 109407822 B CN109407822 B CN 109407822B
Authority
CN
China
Prior art keywords
video
virtual reality
output
nausea
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810623345.0A
Other languages
English (en)
Other versions
CN109407822A (zh
Inventor
S·J·迪维尔迪
A·P·赫茨曼
B·D·威廉姆斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Adobe Inc
Original Assignee
Adobe Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Adobe Systems Inc filed Critical Adobe Systems Inc
Publication of CN109407822A publication Critical patent/CN109407822A/zh
Application granted granted Critical
Publication of CN109407822B publication Critical patent/CN109407822B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/101—Collaborative creation, e.g. joint development of products or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

描述了支持作为虚拟现实视频的部分的协作交互的技术和系统。在一个示例中，生成视口以使得审阅用户设备的审阅用户可以查看由源用户设备的源用户查看的VR视频。例如，视口可以被配置为边界，其至少部分围绕由审阅VR设备输出的VR视频的部分。在另一实例中，视口被配置为支持在由审阅VR设备的VR视频输出内的缩略图的输出。还描述了用于支持在源VR设备与审阅VR设备之间的注释的通信的技术和系统。还描述了用于支持在内容编辑应用的上下文中的VR视频的有效分发的技术和系统。

Description

协作虚拟现实的防恶心和视频流式传输技术
背景技术
虚拟现实(VR)视频最近已经作为创造性艺术形式出现，以扩展用户与视频进行交互的能力，诸如观看通过渲染VR视频所输出的虚拟现实场景的不同部分。然而，可用于同VR视频交互的扩展能力限制了用户以其他方式彼此交互的能力。因此，VR视频在扩展与VR视频的用户交互的优点可能限制和干扰用户在该视图“外部”的其他交互，诸如与其他用户进行通信。
作为创建VR视频的过程的部分，例如，创意专业人员希望参与协作审阅以交换反馈，例如指定对特定对象、对话等的包括和修改。然而，针对传统二维视频所使用的用于支持协作审阅和反馈的传统技术面临很多挑战，并且因此不适合与VR视频结合使用。这是因为用于与VR视频交互的扩展技术本身限制了用户在VR视频的视图“外部”彼此交互的能力，即用户使在同一房间中。例如，用户可以佩戴相应的头戴式VR设备来查看VR视频。因此，这些用户各自被限于VR视频的各自独立的视图，这些视图可能不同并且不容易彼此共享。
在用于解决这种隔离的一个传统协作示例中，多个VR设备共享由VR设备之一所控制的VR视频的单个视图。然而，这种共享视图通常会给没有控制该视图的VR设备带来恶心，并且因此通常被避免用于VR视频的协作审阅和反馈。例如，源用户可以通过相应源VR设备所检测到的头部移动来控制关于VR视频的导航。然而，这个VR视频在被其他VR设备的其他用户查看时可能导致恶心。这是因为VR视频输出不跟随这些其他用户的头部移动，而是由源用户所控制。因此，这个传统示例限制了其他用户可以查看由源用户控制的VR视频输出而不会感到不舒服的时间量。因此，VR视频呈现了作为对其他类型的数字内容(诸如二维视频)的协作审阅的部分没有遇到的很多挑战。
用于共享VR视频的其他传统技术和系统通常涉及将VR视频加载到VR设备可直接访问的存储装置上，或者将VR视频上传到VR设备经由互联网可访问的远程数据库中。例如，这些传统技术和系统可能涉及发布到远程数据库，这可能使得难以保持私密性。支持本地存储的传统技术和系统需要下载视频，并且然后打开播放器应用，这也可能需要手动输入统一资源定位符(URL)，因此这令人沮丧并且容易出错。此外，这些传统技术是模态的，并且因此要求用户导航远离用于创建和编辑VR视频的用户界面以与其他设备共享该内容，这也是令人沮丧和低效的。
发明内容
本文描述了支持作为虚拟现实视频的部分的协作交互的技术和系统。在一个示例中，生成视口以使得审阅用户设备的审阅用户可以确定由源用户设备的源用户查看的VR视频的部分。视口也被配置为防止作为传统共享技术的部分所遇到的恶心(反胃)。
例如，视口可以被配置为至少部分地围绕由审阅VR设备输出的VR视频的部分的边界。该边界用于标识VR视频的哪个部分也是由源VR设备输出。此外，关于由审阅VR设备输出的VR视频的导航由审阅VR设备进行控制，诸如经由头部移动来看不同部分。然而，视口的位置由源VR设备控制。因此，视口防止传统VR视频共享技术遇到的恶心，因为VR视频的不同部分之间的移动跟随由审阅VR设备检测到的头部移动。
在另一实例中，视口被配置为支持在由审阅VR设备的VR视频输出内的缩略图的输出。缩略图对应于由源VR设备输出的VR视频。与以上示例相似，关于视口外部的VR视频的导航仍然由审阅VR设备控制，并且从而防止恶心。另外，在该示例中，在视口内的VR视频的缩略图的输出可以关于在视口外部所输出的VR视频输出中的时间来异步地执行，即，显示不同帧的不同部分。还可以包括将由审阅VR设备和源VR设备输出的VR视频的时间或部分彼此同步的选项。
本文还描述了用于支持源VR设备和审阅VR设备之间注释的通信的技术和系统。例如，注释可以包括在不需要源VR设备的用户干预(例如，检测到的笑)的情况下自动收集的被动反馈、或通过用户的手动交互收集的主动反馈。例如，作为主动反馈的注释可以包括自由形式的线条(freeform lines)、口头发言、文本等。
这些注释(无论是被动的还是主动的)与关于VR视频的部分的取向(例如，使用球体的2D等矩形投影的坐标)以及指示帧的时间戳相关联。描述这种关联的取向数据、时间戳和注释数据作为协作数据的一部分而被传送给审阅VR设备。然后审阅VR设备基于该据来控制注释的生成和输出。
本文还描述了支持VR视频在内容编辑应用的上下文内的有效分发的技术和系统。例如，内容编辑应用可以支持在应用的上下文内分发VR视频并且接收作为这种共享的结果的评论(例如，点评)的功能，该评论然后在内容编辑应用的用户界面中被输出。以这种方式，用户可以保持在内容编辑应用的上下文中，并且以非模态的方式共享和接收评论。本文也构想了各种其他示例，其在相应部分中更详细地描述。
本“发明内容”以简化的形式介绍了将在下面的详细描述中进一步描述的概念的选择。同样，本“发明内容”既不旨在标识所要求保护的主题的基本特征，也不旨在用作确定所要求保护的主题的范围的辅助手段。
附图说明
参考附图来描述“具体实施方式”。在附图中表示的实体可以指示至少一个实体，并且因此可以在讨论中对单数或复数形式的实体可互换地进行引用。
图1描绘了可操作以采用如本文中描述的关于虚拟现实视频的输出的协作交互的技术的示例实现中的系统；
图2描绘了示出源VR设备在渲染VR视频以及生成用于与图1的审阅VR设备进行通信的协作数据时的操作的示例实现；
图3描绘了被配置为输出由取向确定模块可用以跟踪源用户的头部的可能取向的跟踪数据的取向跟踪传感器；
图4描绘了可用于确定要关于由图3的取向数据限定的取向来输出的VR视频的部分的VR视频帧和相应的坐标系的一个示例实现；
图5描绘了审阅VR设备在渲染VR视频以及根据从源VR设备接收的协作数据来生成视口时的操作的示例实现；
图6A、图6B、图6C、图6D描绘了其中基于源VR设备的取向来生成视口以指示由审阅VR设备和源VR设备两者输出的并且支持审阅VR设备关于VR视频的导航的VR视频的部分的示例实现；
图7A、图7B、图7C、图7D描绘了其中基于源VR设备的取向和移动来生成视口以通过视口的移动来指示VR视频的部分的示例实现；
图8描绘了支持关于VR视频输出中的时间和取向的异步输出的视口的另一示例实现；
图9描绘了其中视口被配置用于在时间线附近显示以指示在由审阅VR设备和源VR设备的VR视频输出中的时间位置的差异的示例实现；
图10描绘了一种系统，并且图11描绘了其中生成防恶心部分以支持用户之间关于VR视频的协作的示例实现中的过程；
图12描绘了其中协作模块还被配置为通过使用注释模块来收集注释数据的示例实现；
图13描绘了通过包括注释的审阅VR设备输出VR视频的示例实现；
图14描绘了其中在局域网上共享VR视频并且接收涉及与内容的交互(例如，审阅)的协作数据的示例协作系统；
图15描绘了其中在由计算设备对内容编辑应用的执行的上下文内执行通过无线网络连接的协作的示例实现中的过程；以及
图16示出了包括用于实现本文中描述的技术的实现的可以被实现为如参考图1-15所描述的和/或所使用的任何类型的计算设备的示例设备的各种部件的示例系统。
具体实施方式
概述
相较于传统二维视频，虚拟现实(VR)视频扩展了用户与视频进行交互的能力，诸如查看通过渲染VR视频而输出的虚拟现实场景的不同部分。然而，如前所述，可用于同VR视频交互的这些扩展的能力限制了用户彼此交互的能力，即使用户在同一房间中。此外，用于支持多个VR设备共享VR视频输出的传统技术可能导致恶心，并且因此通常被避免。因此，VR视频呈现了作为二维视频或其他类型的数字内容的协作审阅的部分没有遇到的很多挑战。
例如，VR视频可以被配置用于使用被配置为阻挡外部世界的全部视图的头戴式耳机(例如，沉浸式头戴式显示器)的VR设备来输出。因此，在提供VR视频的沉浸式视图的同时，这会干扰和阻止佩戴这些设备的用户之间几乎所有类型的协作。这是因为经由传统系统能够获得的对于在VR视频输出中其他用户的动作的感知的可供性(affordance)很少。例如，不同VR设备的两个用户难以指向VR视频中的特定元素，因为每个用户被各自的VR设备限制在VR视频的视图内并且被隔离在该视图。例如，即使两个用户在同一房间中并且因此可以彼此交谈，每个用户都被限制在VR视频相应的隔离视图中。因此，这些用户可以查看VR视频输出中的不同部分和时间，这从而可以使得该输出的“外部”的口头通信既令人沮丧又低效。
尽管已经开发了使用化身(avatar)来表示VR场景内的用户的技术，但是这些技术不能够有效地指示在场景内“用户在看哪里”，而是仅限于提供用户在VR场景内的存在的指示。例如，查看VR视频内的另一用户的化身的用户可能不能容易地确定其他人正在看VR视频的哪个部分。这种精度的缺乏可能迫使用户重复地来回看化身和化身定位的大体方向，以确定“其他用户在看哪里”，这既低效又令人沮丧。
另外，在另一传统系统中，VR视频的帧在二维用户界面中显示为球体的2D等矩形投影。因此，这个视图可以容易地由多个用户共享。然而，由于因球体被重新定义为跟随这两个维度而出现失真，所以直接由用户直观地观察和容易地理解这个2D等矩形投影通常是困难的。因此，这样的系统的用户被迫在查看二维等距矩形投影和使用头戴式耳机之间来回切换，以理解正在被观看的帧的部分的内容，例如通过由投影形成的立体图像来提供具有深度的外观。结果，这种传统技术由于需要多个设备而不能支持用户之间的有效协作审阅。
此外，共享VR视频的视图的传统技术导致恶心并且因此被避免。在一个传统示例中，如上所述，各个源VR设备和查看VR设备的源用户和查看用户共享VR视频输出中的视图，该VR视频被配置为支持VR视频的帧内的不同视图的输出，如上所述。源用户和相应的源VR设备控制关于VR视频的导航。因此，源用户头部的移动可以用于控制关于VR视频的帧“用户在看哪里”。因此，源用户不会经历恶心，因为源用户头部的移动跟随作为VR视频的部分被输出的VR场景内的移动。另一方面，审阅用户在这种传统技术中经历恶心，因为审阅用户头部的移动不跟随由审阅VR设备输出的VR视频的VR场景内的移动。因此，这个传统示例限制了审阅用户可以查看由源用户控制的VR视频输出而没有不舒服的时间量。
因此，描述了用于支持VR视频输出中的VR设备之间的协作并且减少其之间的恶心的技术和系统。在一个示例中，视口被配置用于与VR视频一起输出。视口被配置为使得审阅VR设备的审阅用户可以容易地确定源VR设备的源用户在VR视频输出内正在看的位置而不会经历恶心。
例如，源VR设备包括取向跟踪传感器，其用于限定关于源VR设备的VR视频输出的取向。取向跟踪传感器可以以各种方式配置以检测该取向，包括光学跟踪、加速度计、磁力计、惯性传感器、相机(例如，用于眼睛跟踪的前向或后向)等。例如，如关于图3进一步描述的，取向可以用于使用六个自由度来限定源用户的头部在三维空间中的可能取向，例如横向轴、纵向轴和垂直轴上的旋转作为俯仰、滚动和偏转。
然后使用该取向与VR视频的帧的坐标(例如，作为球体)进行比较，以生成由源VR设备渲染的2D部分，例如作为立体图像以用于由源用户的相应的左右眼基于由显示设备支持的视场来查看。例如，该帧可以被配置为球体的2D等矩形投影。坐标系可以使用与用于地球仪和世界地图的坐标类似的标准纬度(phi)和经度(lambda)坐标。因此，由取向限定的取向限定了关于帧“用户在看哪里”。以这种方式，源用户的头部的移动可以用于限定源用户关于VR视频的VR场景在看“哪里”。还可以设想其他示例，诸如源VR设备本身在三维空间中的取向，诸如当被配置为被配置为由源用户的一只或多只手握住的移动电话或平板电脑时。
在该示例中，描述该取向的取向数据也用于支持与审阅VR设备的审阅用户的协作，即不同VR设备之间的协作。用于控制源VR设备的VR视频输出的取向数据也被传送给审阅用户的审阅VR设备。在该示例中，通过传送取向数据而不是VR视频本身来增加网络和计算效率，从而防止在由审阅设备的VR视频输出中经历的“滞后”。
然后，由审阅VR设备使用该取向数据来生成视口，其指示由源VR设备输出的VR视频的部分。以这种方式，审阅VR设备的审阅用户可以有效且准确地确定由源VR设备输出的VR视频的部分。此外，视口可以被配置为减少审阅用户恶心的可能性，并且从而克服传统的共享VR查看技术的挑战。
在一个示例中，视口限定了由审阅VR设备输出的VR视频中也由源VR设备输出的部分。例如，视口可以使用审阅VR设备的VR视频输出内的边界来限定。边界限定了VR视频的哪个部分也由源VR设备输出。因此，审阅VR设备的审阅用户可以容易地确定VR视频的哪个部分由源VR设备输出。可以在视觉上区分边界以指示与多个源VR设备中的相应源VR设备的对应关系，例如相关联的颜色。
另外，该视口还防止否则将由使用传统的共享技术的审阅用户体验到的恶心。例如，视口关于VR视频输出的移动由从源VR设备接收的取向数据所控制。然而，视口在其上被显示的VR视频的移动基于由审阅VR设备本身检测到的取向数据来控制。因此，由审阅VR设备输出的VR视频的移动跟随查看用户的头部的移动。以这种方式，VR视频的移动跟随审阅用户头部的预期移动，并且因此不会引起审阅用户的恶心。
在实现中，当由源VR设备输出的VR视频的部分当前也不由审阅VR设备输出时，用户界面元素用于引导审阅用户。例如，审阅VR设备和源VR设备可以输出VR视频的帧的不交叠的不同部分。因此，作为边界的视口当前不被审阅VR设备显示。因此，由审阅VR设备来生成用户界面元素以指示这些部分之间的关系，并且由此向审阅用户指示“要看哪里”(例如，朝哪个方向转头)以查看视口。
例如，用户界面元素可以被配置为视觉用户界面元素以指示“要看哪里”方向以便在VR视频输出中定位视口，例如配置为箭头。在另一实例中，至少部分使用音频来输出用户界面元素，以例如使用空间音频技术来还指示审阅用户的头部要转向以查看视口的方向。空间音频技术包括使用HRTF(头部相关传递函数)来渲染单声道音频声道，该HRTF描述当声音进入耳道时该声音如何被耳朵的形状所修改。这提供了以从审阅用户的前方、后方、上方和下方呈现来渲染音频数据的能力，即使由该渲染产生的声音在左耳和右耳中可以具有相等的响度。因此，通过审阅VR设备经由空间音频技术所输出的用户界面元素可以用于提供音频线索，以在审阅VR设备当前不显示视口的实例中引导审阅用户关于在VR视频输出中在哪定位视口。
在另一示例中，由审阅VR设备将视口配置为缩略图，其包括由源VR设备输出的VR视频的部分。因此，与以上示例相似，视口内的VR视频的不同部分之间的移动由源VR设备所接收的取向数据来控制。另一方面，审阅设备的用户界面内的视口“外部”的不同部分之间的移动由审阅VR设备本身检测到的取向数据来控制。以这种方式，恶心的可能性也被降低，并且在关于在视口外部的VR视频的移动跟随审阅用户的头部的预期移动的情况下，甚至可以防止恶心的可能性。在这个其他示例中，作为缩略图的视口的输出保持显示在用户界面中，而不管在由审阅VR设备对VR视频输出内审阅用户导航到哪里。
视口还可以包括以下选项，该选项用于自动同步源VR设备和审阅VR设备之间的VR视频的时间和/或显示。例如，同步时间的选项可以由审阅VR设备选择，以将审阅VR设备处的VR视频输出中的时间与关联于源VR设备输出的VR视频的时间进行同步。以这种方式，在VR视频输出内的导航仍然可以通过审阅VR设备的移动来控制，例如以通过用户头部的移动来看不同的部分，并且从而防止恶心。
用于同步时间和显示的选项由审阅VR设备可选择，以对由审阅VR设备输出的VR视频的时间和显示两者进行同步。由审阅VR设备输出的VR视频的部分因此由从源VR设备获得的取向数据来控制，并且因此两个设备都显示VR视频的相同部分。但是，如前所述，这可能会导致恶心。因此，在该示例中也生成防恶心部分，并且其与VR视频一起输出，例如作为沿用户界面的外围的一系列半透明圆圈。防恶心部分的移动基于审阅VR设备的取向数据来控制，并且因此跟随设备的预期移动。这起到了减少甚至防止由审阅VR设备的审阅用户所经历的恶心，即使当由源VR设备指定的VR视频输出消耗了由审阅VR设备的输出设备所支持的整个视场。
例如，防恶心部分可以被配置为布置在VR视频输出上方的一系列半透明用户界面元素(例如，圆圈)。用户界面元素被配置为跟随审阅用户的头部的移动而在用户界面内移动(例如，滚动)，从而关于审阅用户的物理环境显得静止。换言之，用户界面元素在相反的方向上移动，并且相当于审阅用户的头部的移动。因此，用户界面元素可以通过在相反的方向上移动用户头部的移动量来呈现为关于审阅用户的物理环境“保持静止”。
例如，审阅用户的头部移动可以用于在VR视频的VR场景中“查找”。作为响应，审阅VR设备使得用户界面元素在用户界面中向下滚动相应的距离，使得用户界面元素各自显得静止以模仿关于用户的物理环境的移动。例如，审阅VR设备将用户界面配置为使得连续的用户界面元素出现在用户界面的顶部，并且在用户界面的底部以由用户头部的移动所限定的移动量被移除。同时，VR视频中的移动由源VR设备控制。因此，防恶心部分降低了由审阅VR设备的审阅用户经历的恶心的可能性，即使当关于VR视频的移动本身由源VR设备控制时。
还描述了以下技术和系统，注释作为协作数据的部分被包括在该技术和系统中以支持源和审阅VR设备之间的协作审阅。以这种方式，协作数据的通信(而不是如上所述的传统共享视图技术中所执行的VR视频本身的流式传输)可以通过有效利用网络和计算资源来支持设备之间的实时交互。协作数据130例如可以用于由审阅VR设备在输出中与VR视频的本地存储的版本结合生成注释。因此，在设备之间传送的协作数据130的数量明显少于对包括注释作为视频的部分的VR视频进行流式传输。
例如，如前所述，源VR设备可以输出VR视频用于由源用户查看。由源VR设备接收用户输入以输入注释。例如，源用户可以在用户界面中选择选项以提供注释。作为响应，在这种情况下，源VR设备暂停VR视频输出。还由源VR设备接收指定注释的用户输入，注释例如限定VR视频的部分的自由形式或其他系列线、口头发声、姿势等。在该示例中，源VR设备将用户输入与对应于在VR视频中被暂停的帧的时间戳进行关联。注释还与以下取向数据相关联，该取向数据描述由源VR设备使用的取向。在这种情况下，取向用于将注释与VR视频的坐标系进行关联，例如如通过自由曲线所绘制的。还设想了其他示例，诸如自动第收集被动输入以及无需用户干预作为注释，例如检测指示用户情绪(诸如叹息或笑)的音频。
然后，由源VR设备将包括注释、时间戳和取向数据的协作数据传送给审阅VR设备。因此，与之前相似，协作数据可以提升网络效率和计算效率，而不是VR视频本身的传送。这个协作数据然后被审阅VR设备用来控制注释的输出。例如，审阅VR设备可以显示关于指示注释与相应时间戳相关联的时间线的指示。指示的选择然后可以使得基于时间戳在VR视频输出中的相应时间(例如，帧)处输出注释并且基于取向数据输出VR的该帧中的相应部分。以这种方式，审阅用户可以高效且准确地查看注释，并且从而在审阅设备和源VR设备之间与源用户进行协作。
注释还可以在没有用户干预的情况下由审阅VR设备自动地输出。例如，审阅VR设备可以正常地输出VR视频，其中VR视频内的导航由审阅VR设备控制。协作数据然后可以用于基于取向数据以及时间戳来输出如上所述的视口。例如，可以基于时间戳在多个帧上输出视口，使得审阅用户能够在不中止VR视频输出的情况下查看视口。注释被显示在该视口内，例如在多个帧上。这可以被执行以模仿源用户如何输入注释(例如，以模仿一系列帧上的自由形式的线的绘制)，或者示出在VR视频输出中的连续帧上所复制的注释的完整版本。以这种方式，注释以直观的方式关于VR视频被输出，可以通过上述的用户界面元素来定位，并且降低了传统技术和系统的恶心的可能性。
还描述了用于支持VR视频的有效分发的技术和系统。例如，视频制作者可以与内容编辑应用交互以创建VR视频，例如VR视频，并且希望得到几个审阅者的想法。用于这样做的传统技术涉及将VR视频发布到网站(例如，或/>)，将视频本地“侧面加载”到VR设备，并且然后访问媒体播放器以查看视频等。因此，这些传统技术中的每一种都是模态的，因为审阅者被迫在内容编辑应用的用户界面的“外部”导航，以共享内容并且接收从视频的审阅者得到的评论。
因此，在下面的部分中描述了非模态技术，其支持在内容编辑应用的上下文内共享和审阅VR视频。继续前面的示例，视频制作者创建VR视频，并且希望从一些审阅者接收评论。为此，视频制作者选择作为内容编辑应用的部分的选项来使得VR视频可用于共享，例如由局域网(LAN)在本地进行共享。作为响应，内容编辑应用被执行以无线地传送指示VR视频的可用性的用户界面元素(例如，信标数据)。审阅者通过在各个VR设备处的各个本地应用处的交互来发起与视频制作者的计算设备的直接无线连接(例如经由Wi-Fi)。一旦发起，视频审阅者可以通过在用户界面中选择以下选项来授予对该访问的许可(例如，验证审阅者将接收该内容)，该选项使得VR视频能够被流式传输到各个VR设备。在实现中，这经由被配置用于由多个VR设备同时接收的广播来执行。
然后审阅者经由各自的VR设备查看VR视频，并且将通过与内容的用户交互而生成的协作数据传送到视频制作者的计算设备。例如，协作数据可以包括如上所述的注释、与VR视频内的相应时间或坐标相关联的“拇指向上”或“拇指向下”等。该协作数据然后由计算设备在用户界面中输出给视频制作者。以这种方式，视频制作者可以保持在内容编辑应用的上下文中，并且以非模态的方式共享和接收评论。也构想了各种其他示例，其在相应的部分中更详细地描述。
示例环境
图1是在可操作以采用本文中描述的技术的示例实现中的数字介质环境100的图示。所示出的环境100包括与相应的审阅用户和源用户106、108相关联的审阅VR设备和源VR设备102、104。审阅VR设备和源VR设备102、104经由网络132彼此通信地耦合。审阅VR设备和源VR设备102、104可以以多种方式来配置，诸如将由如图所示的审阅用户和源用户160、108的相应头部佩戴的眼镜或护目镜、移动电话或平板电脑、可穿戴设备、独立设备(例如，标志)等。
审阅VR设备和源VR设备102、104各自被图示为包括相应的VR内容模块110、112。VR内容模块110、112被配置为支持VR视频114(1)、114(2)的捕获和/或用于输出到相应的审阅用户和源用户106、108的呈现，其被示出为由相应的存储设备116、118存储。VR视频114(1)、114(2)在本示例中用相似的附图标记表示以指示VR视频包括匹配的主题，例如是“相同的”VR视频、捕捉相同的VR场景等。因此，VR视频114可以指代VR视频114(1)、114(2)的任一个或两个实例。
该输出可以由VR设备102、104的输出设备来完成，该输出设备可以各种方式配置，诸如以支持视觉输出(例如，经由显示设备)、音频输出(例如，经由扬声器)、触觉输出(例如，经由触觉设备)等。以这种方式，VR视频114(1)、114(2)的输出可以被配置为支持沉浸式体验，在该沉浸式体验中用户“感觉他们在那里”。
如前所述，用于支持这种沉浸式体验的传统技术可能限制审阅用户和源用户106、108相互通信的能力。在所示的示例中，VR视频114被配置为支持VR数字场景的三百六十度视图120。因此，由审阅VR设备102输出的部分122可以不同于由源VR设备104输出的部分124。因此，即使审阅VR设备和源VR设备102、104可以输出同一项VR视频114，由这些设备执行的与VR视频114的交互可以以多种方式变化。因此，用于在这些设备之间进行通信(例如，参与协作审阅)的传统技术可能由于这些复杂性而失败。
因此，VR内容模块108、110包括相应的协作模块126、128，其被配置为在设备之间传送协作数据130。在所示的实例中，协作数据130从源VR设备104传送到审阅VR设备102，源VR设备104和审阅VR设备102被这样命名以指示协作数据130起源的位置。应当容易明白，这些角色也可以改变，以支持相反方向的通信。
协作模块126、128可以被配置为基于协作数据130来支持各种不同类型的协作，诸如视口、注释、同步查看、防恶心、非模态审阅等。在下面的讨论中，首先描述VR设备的支持与VR内容的交互的操作。然后首先通过在相应部分中使用视口、防恶心部分、注释和非模态交互来描述协作数据130的使用。
一般而言，关于以上和以下示例所描述的功能、特征和概念可以在本部分中描述的示例过程的上下文中使用。此外，关于本文档中的不同附图和示例描述的功能、特征和概念可以彼此互换，并且不限于在特定图或过程的上下文中的实现。此外，与不同的代表性过程和相应的附图相关联的框可以以不同的方式一起应用和/或组合。因此，关于本文中的不同示例环境、设备、部件、图和过程描述的单独的功能、特征和概念可以以任何合适的组合来使用，并且不限于在本说明书中列举的示例所表示的特定组合。
基于取向的视口生成
在该部分中，由审阅VR设备102基于由源VR设备104用来查看VR视频的取向来生成视口。视口被配置为使得审阅VR设备102的查看用户106可以查看源VR设备104的源用户108正在查看哪个部分而不经历恶心。此外，协作数据130而不是VR视频本身的传送可以增加网络和计算资源的效率，以支持实时输出并且与传统的共享流式传输技术相比减少滞后。讨论开始于如何基于使用取向跟踪传感器确定的取向来确定VR视频的帧的用于输出的部分。然后讨论描述该取向的取向数据的共享，其用于以防止传统VR视频共享技术所经历的恶心的方式来生成视口。
图2描绘了示出源VR设备104在渲染VR视频114(2)以及生成协作数据130用于传送给审阅VR设备102时的操作的示例实现200。首先，VR内容模块112包括取向跟踪传感器202，取向跟踪传感器202被配置为生成跟踪数据204，其可以被取向确定模块206使用以生成描述取向的取向数据208。由VR内容渲染模块210将取向与VR视频114(2)的坐标系进行比较，以确定VR视频114(2)的哪个部分将由源VR设备104的输出设备214在用户界面212中渲染。
如图3所示，例如，取向跟踪传感器202被配置为输出跟踪数据204，其可以由取向确定模块206使用以例如在三维空间中跟踪源用户108的头部的可能取向。在该图示的示例中，这被执行以支持作为绕横向轴线210(即，俯仰)、垂直轴线212(即，偏航)以及纵向轴线214(即，滚动)旋转的六个自由度(6DoF)。因此，取向数据208可用于将头部移动描述为前后、一侧到另一侧、肩并肩。
跟踪数据204可以单独地或组合地从各种类型的取向跟踪传感器202输出。例如，取向跟踪传感器202可以被配置为陀螺仪、加速度计、磁力计、惯性传感器等，以确定与源VR设备104相关联的移动。这可以包括源VR设备104本身的整体移动(例如，头部移动)和/或通信地耦合到源VR设备104的控制器的移动，例如通过使用一个或多个手持式控制器。在头戴式耳机的另一示例中，发光二极管(LED)被布置围绕头戴式耳机的外围，以通过使用检测从这些二极管发射的光的外部相机来支持360度头部跟踪。
其他示例包括使用相机来检测物理环境中的界标，源VR设备104被布置在该物理环境中(例如，桌子的角落)，并且通过捕获连续的数字图像来检测与那些界标相关的移动。还构想了各种其他示例，包括其中相机指向源用户108的眼睛(例如，作为红外传感器)以关于输出设备214的部分来确定“用户在看哪里”的眼睛跟踪。
不管跟踪数据204的格式如何，取向确定模块206被配置为将跟踪数据204抽象成取向数据208，其描述将由VR内容渲染模块210用来渲染VR视频114(2)的相应部分的取向。取向数据208例如可以指示对可用于在VR视频114(2)的帧的相应部分之间进行导航的取向的改变。如以下进一步描述的，以这种方式，取向数据208可用于控制VR视频114(2)的哪些部分被输出设备214渲染和不被输出设备214渲染。
图4描绘了VR视频114的帧402和相应的坐标系404的示例实现400，该VR视频114的帧402和相应的坐标系404可用于确定要关于由图3的取向数据208限定的取向来输出的VR视频114的部分。在该示例中，帧402被配置为球体406的2D等矩形投影。坐标系404使用与用于地球仪和世界地图的坐标类似的标准纬度(phi)和经度(lambda)坐标。可以在不脱离本文中描述的技术和系统的范围的情况下使用任何其他坐标系。
所示出的坐标系404还包含视觉引导，其显示VR视频114的帧402的哪些部分关于由取向数据208限定的取向来被布置。在所示出的示例中，帧402中的草在查看者面前，混凝土人行道/码头跑到查看者的左右，海洋在查看者的后面。也可以考虑全景示例，例如以支持如图1所示三百六十度的“左”和“右”移动。
取向数据208由VR内容渲染模块210用来生成帧402的部分，用于由输出设备214进行渲染和输出。例如，取向数据208可以将用户头部的初始取向指定为如图所示向“前”看。如随后的多个取向数据集合208所指定的对该取向的后续改变被用于：基于取向与相应坐标402的比较来导航到VR视频114的不同部分。
从这个取向，VR内容渲染模块210确定由输出设备214支持的与取向有关的视场，并且基于坐标和视场来选择帧402的部分408。这被执行以支持用户的双眼的立体查看，以支持深度的外观。因此，取向数据208被用于控制VR视频114(2)的帧402的哪些部分由源VR设备104输出。
再次回到图2，取向数据208还作为协作数据130的部分被包括而被提供给协作模块128。然后，包括取向数据208的协作数据130被传送到审阅VR设备102，以支持设备之间的协作。
图5描绘了示例实现500，其示出了审阅VR设备104在渲染VR视频114(1)以及根据从源VR设备104接收的协作数据130来生成视口时的操作。与之前相似，VR内容模块110包括取向跟踪传感器502，其被配置为生成跟踪数据504，跟踪数据504可以由取向确定模块506用来生成描述取向的取向数据508。
由VR内容渲染模块510将取向与VR视频114(1)的坐标系进行比较，以确定VR视频114(1)的帧的哪个部分将由审阅VR设备102的输出设备514在用户界面512中渲染。因此，与源VR设备相似，审阅VR设备102被配置为基于以下取向来控制VR视频114(1)的部分的输出，该取向由审阅VR设备102本地生成的取向数据508所描述。
审阅VR设备102还从源VR设备104接收协作数据130。协作数据130包括取向数据208，其描述由源VR设备104用来控制VR视频114(2)的输出的取向。由协作模块126使用源VR设备104的取向以及由审阅VR设备102在取向数据508中限定的取向来生成视图516，以结合VR视频114(1)在用户界面512中输出。视口516被配置为通过指示VR视频114(1)的哪个部分由源VR设备104输出来支持协作审阅，并且与传统共享技术相比可以减少恶心。
图6A、图6B、图6C、图6D描绘了其中基于源VR设备104的取向来生成视口以指示由审阅VR设备和源VR设备102、104两者输出的VR视频114的部分的示例实现。在该示例中，视口516基于取向数据208来限定包含由源VR设备104输出的VR视频114的部分的边界。例如，视口516可以被显示为使用源VR设备104查看的VR视频114(2)的部分的缩小尺寸视图。在实现中，视口516外部的部分关于视口516内部的VR视频114的部分在视觉上进行区分，例如以降低的显示亮度。因此，视口516限定正在使用源VR设备104查看VR视频114的哪个部分。
因此，审阅用户106可以容易地确定源用户108在“看”什么。然后，审阅用户和源用户106、108可以参与协作审阅，例如通过也可以作为协作数据130的部分而实时传送的以下内容来在用户之间来回提供反馈，该内容例如口头发言、当在同一房间中时的大声朗读、在相应部分中更详细地描述的使用注释等。此外，与从源VR设备104流式传输VR视频114(2)相反，使用协作数据130支持更高的网络和计算效率，同时减少了审阅VR设备102的输出中的滞后。
视口516布置在由审阅VR设备102输出的VR视频114(1)的部分602的显示上方。因此，VR视频114(1)的部分602和导航由审阅VR设备102控制，而视口516关于该输出的位置基于从源VR设备104接收的取向数据206来控制。因为由审阅VR设备102输出的VR视频114(1)的帧的部分之间的导航由审阅VR设备102生成的取向数据508来控制，所以该输出防止审阅VR用户106经历的恶心，因为这些部分之间的移动跟随用户头部的移动。
如图6A所示，例如，由审阅VR设备102输出的VR视频114的部分602也包括如由视口516所指示的由源VR设备104输出的VR视频114的部分。换言之，视口516如被配置为以下边界，该边界限定VR视频114的哪些部分被审阅VR设备和源VR设备102、104共享。
审阅用户106头部的向右移动604导致相应的向右移动以输出VR视频的不同部分606，如图6B所示。如图6C所示，该移动608可以继续，使得由审阅VR设备102输出的VR视频114的部分610不与由源VR设备104输出的VR视频114的部分(如由视口516所指示)交叠。因此，在图6C中视口516不再输出。
在这种情况下，由审阅VR设备102的协作模块126生成用户界面元素，以用于在由源VR设备104输出的VR视频的部分当前不由审阅VR设备102输出时引导审阅用户106。在所示出的示例中，用户界面元素612被配置为用于指示“要看哪里”的方向，以便在VR视频114的输出中定位视口516(例如，如箭头所示)的视觉用户界面元素。在该示例中，用户界面元素612指示审阅用户106要“向左看”以找到视口516，并且因此找到使用源VR设备104正在查看的VR视频114(2)的部分。
在另一实例中，至少部分使用音频来输出用户界面元素，以还指示审阅用户的头部将转向以查看视口的方向，例如使用空间音频技术。空间音频技术包括使用HRTF(头部相关传递函数)来渲染单声道音频声道，该HRTF描述声音耳朵进入耳道时声音如何被耳朵的形状所修改。这提供了以从审阅用户的前方、后方、上方和下方呈现来渲染音频数据的能力，即使由该渲染产生的声音在左耳和右耳中可能具有相等的响度。结果，由审阅VR设备经由空间音频技术输出的用户界面元素也可以被用于提供音频线索，以引导审阅用户106的导航以在VR视频114的输出中定位视口516。还设想了各种其他示例，包括经由触觉输出设备的触觉输出。
图6D是VR视频114(1)的全帧612的图示。帧612包括视口516，以指示帧612的哪个部分由源VR设备104输出。如图6A-6C所示，帧612还包括由审阅VR设备102响应于审阅用户106的头部的连续的向右移动604、608而输出的连续部分602、606、610。因此，由审阅VR设备102输出的关于帧612的移动也由审阅VR设备102控制，其防止审阅用户106恶心。在该示例中，视口516关于VR视频114(1)的帧612保持静止，而VR视频114(1)的帧612的不同部分602、606、610在视口516内输出。也可以执行相反的操作，其中视口516关于由源VR设备104控制的帧移动，但是由审阅VR设备102输出的部分保持静止。
图7A、图7B、图7C、图7D描绘了其中基于源VR设备104的取向和移动来生成视口516以指示VR视频114的部分702的示例实现。与前面的示例相似，由审阅VR设备102输出的VR视频114的部分702还包括如由视口516(1)所指示的由源VR设备104输出的VR视频114的部分。在该示例中，如图7B所示的源用户108的头部的向左移动704基于由审阅VR设备102从源VR设备104接收到的取向数据130来导致视口516(2)的相应的向左移动。如图7C所示，该移动706继续，使得视口不再能够与由审阅VR设备102输出的VR视频114的部分702的输出一起看到。用户界面元素再次用于帮助审阅用户106定位视口516，例如作为视觉用户界面元素708、音频用户界面元素等。
因此，与前面的示例相似，视口516(1)、516(2)、516(3)关于帧的位置由作为协作数据130的部分从源VR设备104接收的取向数据208来控制。然而，由审阅VR设备102输出的VR视频114的帧的部分702由审阅VR设备102控制，并且因此防止了使用传统共享技术所经历的恶心。因此，关于图6A-6D描述审阅用户关于VR视频的移动，并且关于图7A-7D描述由源VR设备104控制的视口516的移动。应当容易明白，由审阅VR设备和源VR设备102、104两者检测到的移动以及VR视频114和视口516的相应导航也被设想，其也防止恶心。
图8描绘了视图516的另一示例实现800，其支持关于VR视频114的输出中的时间和取向的异步输出。在先前实例中，由审阅VR设备和源VR设备102、104两者输出的VR视频114关于时间同步，使得两个设备输出VR视频114的相同帧。在该示例中，视口516被配置为支持VR视频114中由源VR设备104输出的部分的异步输出。
如上所述，审阅VR设备102从源VR设备104接收协作数据130。协作数据130包括如前所述的取向数据208，其可用于确定关于VR视频的帧的取向，并且由此确定帧的哪个部分由源VR设备104渲染。
在该示例中，协作数据130还包括时间戳802，其指示VR视频114的哪个帧也被源VR设备104渲染。据此，协作模块126配置视口516以包括VR视频114的以下部分：该部分如由时间戳802所指示的从VR视频114的帧取得的取向数据208所指示。例如，视口516可以在接收到来自审阅用户106的用户输入时被输出以“偷看”源用户108在看什么。
在所示出的示例中，视口516被配置为支持由协作数据130指定的VR视频114(2)的这部分的输出作为缩略图。因此，视口516被配置为在该示例中持续，而不管关于VR视频114“审阅用户106在看哪里”。例如，审阅用户106可以通过头部移动在VR视频114(1)的不同部分之间导航，并且使得该运动由VR视频114(1)的输出在用户界面中反映，并且从而防止恶心。由源VR设备104输出的VR视频114(2)的各个部分之间的移动被显示为视口516内的缩略图。因此，视口516内的VR视频114(2)的输出可以在该视口516外部的VR视频114(1)的输出时被执行(即，不同的帧)，并且因此关于取向和时间两者是异步的。
图9描绘了示例实现900，其中视口516被配置用于接近时间线902显示以指示由审阅VR设备和源VR设备102、104的VR视频114的输出中的时间位置的差异。协作模块126还接收协作数据130，其包括取向数据208和时间戳802。协作模块126然后生成如关于图8所述的视口516，其包括由源VR设备104输出的VR视频114(2)的缩略图。多个视口和缩略图可以被包括在多个源VR设备104的实例中。
在所示出的示例中，显示时间线902，其可用于通过审阅VR设备102在VR视频114(1)内的不同时间位置(例如，帧)之间进行导航。时间线902包括用户界面元件904，其指示当前正在VR视频114(1)中输出的时间位置。
时间线902还包括时间位置的用户界面元素906，在该时间位置处由源VR设备104基于时间戳802来输出VR视频114(2)。以这种方式，审阅用户106很容易知道关于VR视频114的输出中的审阅VR设备和源VR设备102、104的时间关系。用户界面元素906也是用户可选择的，以使得输出视口516作为被显示在用户界面元素906附近的缩略图。如关于图8所描述的，视口802包括由源VR设备104输出的VR视频114(2)的显示。在另一示例中，视口802被显示为用户界面元素906本身，即，其本身被布置在关于时间线902的时间位置。因此，该示例中的视口516描述审阅VR设备和源VR设备102、104的VR视频114的输出彼此之间的时间关系。
在该示例中，视口516还包括用于对由审阅设备和源设备102、104的VR视频114的输出进行同步的选项。“同步时间”908选项是可选择的，其用于基于时间戳802来将由审阅设备102对VR视频114的输出中的时间与源设备104进行同步。结果，由审阅VR设备和源VR设备102、104两者输出VR视频的相同帧。因此，该选项的选择支持关于VR视频114的输出的同步时间和异步取向。
另一选项也是用户可选择的，即在VR视频114的输出中的“同步时间和显示”910。该选项的选择使得协作模块126将由审阅用户106控制的VR视频114(1)的输出替换为VR视频114(2)的以下输出，该输出由源VR设备104输出并且由源VR设备104控制。如前所述，这样做的传统技术引起恶心，因为在由审阅VR设备102对VR视频114的输出内的移动不跟随审阅用户106头部的移动。因此，在这种情况下也可以输出防恶心部分，其示例在以下部分中进一步描述。
VR视频的共享显示中的防恶心部分
图10描绘了系统1000，并且图11描绘了其中生成防恶心部分以支持关于VR视频114的用户之间的协作的示例实现中的过程1100。如先前关于图6A-7D所描述的，VR视频114可以支持来查看和导航到VR视频114的VR场景的不同位置的能力。然而，当作为审阅用户106与源用户108之间的协作的部分完成时，由源用户108控制的导航可能导致审阅用户106恶心，尤其是当审阅VR设备102的整个视场被源用户108控制时。这是因为由审阅用户106正在查看的移动没有被例如审阅用户106的内耳感觉到。此外，审阅用户106的移动也可以与源用户108的移动相反，这可以进一步加剧该问题，例如审阅用户和源用户106、108可以在不同的方向上移动。
因此，在该示例中，协作模块126包括防恶心生成模块1002，其被配置为生成用于与由另一用户控制的VR视频114(2)的输出同时显示的防恶心部分1004。例如，审阅VR设备102被示出为接收协作数据130，其描述如前所述的VR视频114(2)的输出内的取向。这个取向用于控制VR视频114(2)的输出。因此，审阅用户106经由源VR设备104来查看由源用户108查看的VR视频114(2)。
由防恶心生成模块1002例如通过用户输入设备来检测审阅VR设备的移动(框1704)。这可以包括用户头部的移动(例如，通过陀螺仪、惯性传感器)或如之前关于图3所描述的其他导航输入。作为响应，防恶心部分1004被生成以用于在用户界面中显示(框1706)。生成的恶心部分1004与由源VR设备104控制的虚拟现实视频114(2)的显示同时显示在用户界面中。因此，虚拟现实视频114(2)的移动跟随由源VR设备104指定的移动。
然而，生成的防恶心部分1004的移动跟随由审阅VR设备102指定的移动(框1708)。这可以通过各种方式来完成。在所示出的示例中，防恶心部分1004连同VR视频114(2)的部分一起显示在用户界面的外围部分1006、1008处。在该示例中，防恶心部分1004是圆形的并且是半透明的，使得VR视频114(2)的部分可以“透过”这些部分，并且从而限制了对VR视频114(2)的显示的干扰。
防恶心部分1004被配置为对由审阅VR设备102而不是源VR设备104限定的移动进行响应。这可以包括防恶心部分1004的生成以显得响应于审阅用户106的移动而在外围部分1006、1008内滚动，使得这些部分关于用户的环境(例如，用户头部的上下或左右移动)显得静止。这提供了响应于该移动的用户的反馈，并且从而降低了审阅用户106经历恶心的可能性，即使当由源VR设备104来执行用于显示VR视频114(2)的审阅VR设备102的视场的控制时。因此，可以执行VR设备之间的协作以支持完全沉浸，这在使用缺少这种反馈的传统技术的情况下是不可能的。
协作数据和注释
在之前的部分中，协作数据130被配置为通过指示由源VR设备104向审阅VR设备输出的VR视频114的部分来支持协作。在该部分中，描述了被用作协作数据130的部分的注释，其支持审阅VR设备和源VR设备102、104的审阅用户和源用户106、108在VR视频114的输出中的这些相应的时间和取向处的彼此之间的通信。以这种方式，协作数据130的通信而不是VR视频114本身的流式传输可以通过有效地使用网络和计算资源来支持设备之间的实时交互。协作数据130例如可以用于由审阅VR设备在输出中生成注释，以结合VR视频的本地存储的版本。因此，在设备之间传送的协作数据130的数量明显少于包括注释作为视频的部分的VR视频的流式传输。
图12描绘了其中协作模块128还被配置为通过使用注释模块1204来收集注释数据1202的示例实现1200。在前面的示例中，协作数据130通过取向数据208和时间戳802分别描述关于VR视频114(2)的输出的取向和/或时间(例如，时间戳)。在该示例中，注释数据1202也被注释模块1204收集，注释数据1202用于描述源用户108关于VR视频114(2)的输出内的那些取向和时间的想法和交互。然后，由审阅VR设备102使用注释数据1202来生成注释，以用于结合VR视频114(1)输出。
由注释模块1204可收集的注释类型的示例包括：由主动注释模块1206可收集的主动注释和由被动注释模块1208可收集的被动注释。被动注释是被动注释模块1208观察到的非用户主动发起的注释。例如，被动注释模块1208可以采用用户输入设备202作为麦克风来自动生成数据，并且无需用户干预，该数据基于由源用户108做出的声音(例如，鼓掌、叹息、笑等)来描述喜欢或不喜欢。
在另一实例中，用户输入设备202被配置为捕捉源用户108的面部表情，并且由此生成描述喜欢和不喜欢的注释数据1204。以这种方式，注释数据1204可以扩展作为协作数据130的部分的用户交互的描述范围。然后，如关于图13进一步描述的，注释数据1202与用于生成注释的取向数据208和/或时间戳802相关联。
另一方面，主动注释是由源用户108经由由用户输入设备202接收的用户输入210来主动发起的注释。例如，源用户108可以发起作为语音剪辑、自由绘制、用户分级(例如，选择“拇指向上”(赞扬)或“拇指向下”(贬损))等的注释的生成。因此，主动注释涉及由源用户108主动参与提供由注释数据1202限定的注释。
如前所述，例如，源VR设备104可以输出VR视频114(2)用于由源用户108查看。由源VR设备104经由用户输入设备202来从源用户108接收用户输入以输入注释。例如，源用户108可以选择用户界面206中的用于提供注释的选项。
作为响应，在这种情况下，源VR设备104暂停VR视频114(2)的输出。指定注释的用户输入210也由源VR设备接收，例如限定VR视频114(2)的部分的自由形式或其他系列线、口头发声、姿势等。在该示例中，用户输入210被活动注释模块120关联作为注释数据1202，以结合对应于在VR视频114(2)中被暂停的帧的时间戳802。注释数据1202还与描述关于VR视频114(2)的输出的注释取向的取向数据208(例如，如关于图3所描述的坐标)相关联。
然后，由源VR设备104将包括注释数据1202、时间戳802和取向数据208的协作数据130传输给审阅VR设备102。因此，如之前相似，协作数据130可以提升网络和计算效率而不是VR视频本身的传送。该协作数据然后被审阅VR设备102用来控制注释的输出，如下面进一步描述的。
图13描绘了由审阅VR设备102对包括注释1304的VR视频114(1)的输出的示例实现1300。如前所述，审阅VR设备102包括具有协作模块126和VR内容渲染模块226的VR内容模块110。在这种情况下，注释模块1302被配置为生成用户界面元素222，其包括用于作为VR视频114(1)的部分进行查看的注释1304。
如先前所描述的，注释1306分别与由作为协作数据130的部分的取向数据208和时间戳802限定的取向和时间关联。因此，注释1306可以被配置为对应于关于VR视频114(1)的输出(例如，自由形式的线1306和文本1308)与取向数据208相对应的VR视频114(1)的特定部分和与时间戳802相对应的时间(例如，帧)。
注释1304还可以经由相应用户界面元素1310来指定VR视频114(1)的输出内的时间位置。例如，注释1304的用户界面元素1310可以对应于作为用于导航到VR视频114(1)的输出内的不同时间位置的时间线1312的部分的帧，例如不同的帧。因此，用户界面元素1310可以在VR视频114(1)的输出中临时地指示“要看哪里”，例如针对自由形式的线1306或文本1308。以这种方式，协作模块126可以支持高效导航并且作为使用VR视频114的协作的部分来输出注释1306。
例如，审阅VR设备104可以关于时间线1312显示用户界面元素1310，其指示注释1304与相应的时间戳802相关联。用户界面元素1310的选择然后可以导致基于时间戳802在VR视频114(1)的输出中的相应时间(例如，帧)处以及基于取向数据208在VR的那个帧中的相应部分处输出注释1304。以这种方式，审阅用户106可以高效且准确地查看注释1304并且因此在审阅VR设备和源VR设备102、104之间与源用户108协作。
注释1304还可以被自动地输出，而没有审阅VR设备102的用户干预。例如，审阅VR设备102可以照常输出VR视频114(1)，其中VR视频114(1)内的导航由审阅VR设备102控制，例如通过审阅用户106的头部的移动。如上所述，协作数据130然后可以用于基于取向数据208以及时间戳802来输出视口516。
例如，视口516可以基于时间戳802而在VR视频114(1)的多个帧上输出，使得审阅用户106能够查看视口516而不暂停VR视频114(1)的输出。注释1304(例如，自由形式的线1306、文本1308、口头发声等)在该视口516内(例如，在多个帧上)显示。这可以被执行以模仿源用户108如何输入注释数据1202(例如，以模仿一系列帧上的自由形式的线的绘制)，或者示出在VR视频输出中的连续帧上复制的注解的完整版本。以这种方式，注释1304以直观的方式关于VR视频114(1)被输出，可以通过上述用户界面元素来定位，并且降低传统技术和系统的恶心的可能性。
注释的附加示例包括用于选择“喜欢”1316或“不喜欢”1318VR视频114(1)的相应部分的选项的能力。这使得注释1320与相应的时间戳802和取向数据208相关联，以便关于时间轴1312进行查看。也设想了各种其他示例，包括音频注释和音频注释的可用性的相应指示，作为关于时间线1312的注释。以这种方式，注释支持在VR视频114的上下文中的由源用户108对审阅用户106执行的活动的可视化。
非模态协作
图14描绘了其中VR视频在局域网上共享并且接收涉及与内容(例如，审阅)的交互的协作数据的协作的示例系统1400。图15描绘了在其中由计算设备在内容编辑应用的执行的上下文内执行通过无线网络连接的协作的示例实现中的过程1500。
在该部分中，描述了用于支持作为内容编辑应用的上下文内的协作的部分的VR视频的有效分发的技术和系统。以这种方式，可以共享VR视频，并且可以经由从该共享产生的协作数据来接收评论，而不需要用户在内容编辑应用的用户界面的上下文的“外部”导航，并且因此被认为是“非模态”的。如下面进一步描述的，以这种方式，内容编辑应用支持提高的用户效率，并且还提高了计算资源效率。
如图所示，审阅VR设备102包括VR内容模块110和协作模块126，如上所述。协作模块126被配置为生成用于与计算设备802共享的协作数据130。在该示例中，计算设备802包括内容编辑应用804，内容编辑应用804可以由处理系统执行并且可以存储在计算机可读存储介质中以修改VR视频114，例如创建、编辑、修改、存储和/或输出内容。
首先，由计算设备1402执行内容编辑应用1404以修改VR视频(框1502)。内容编辑应用1404的执行还支持应用的上下文内的非模态协作。例如，视频制作者可以与内容编辑应用1404的用户界面1408进行交互，以创建VR视频114并且希望得到几个审阅者的想法。用于这样做的传统技术涉及将VR视频发布到网站(例如，或/>)，将视频本地“侧面加载”到VR设备，并且然后访问媒体播放器以查看视频等。因此，这些传统技术中的每一种都是模态的，因为审阅者被迫在内容编辑应用的用户界面的“外部”导航，以共享视频并且接收从视频的审阅者得到的评论。
因此，由内容编辑应用1404实现非模态技术，其支持在内容编辑应用214的上下文中共享和查看VR视频114。为此，视频制作者选择作为内容编辑应用的部分的一个选项，以使得VR视频114可用于共享。例如，共享可以使用无线局域网来执行，诸如根据一个或多个无线标准(例如，Wi-Fi，诸如IEEE 802.11)配置的网络、局域网(LAN)等。
作为响应，由计算设备1402执行内容编辑应用1404以无线地传送指示VR视频114的可用性的用户界面元素(例如，信标数据)(框1504)。例如，审阅者通过与相应的审阅VR设备102处的协作模块126的交互来在用户界面中查看用户界面元素，例如“视频制作者希望你审阅VR电影”。作为响应，审阅者经由与协作模块126的用户界面的交互来提供用户输入，以请求与视频制作者的计算设备1402的直接无线连接，例如经由Wi-Fi、经由局域网(LAN)等。用户界面元素可以被广播为可用于任何本地VR设备或被传送到由视频制作者标识的VR设备。
然后，请求可以在用户界面1408中输，以出用于由视频制作者在发起无线网络连接之前验证访问，和/或可以被自动发起并且没有内容编辑应用1404的用户干预。因此，在这一点上，计算设备1402与审阅VR设备102之间的无线网络连接响应于接收到网络连接请求而被发起(框1506)。
一旦发起无线网络连接，VR视频经由LAN被流式传输到审阅VR设备102(框1508)。以这种方式，与需要下载整个内容的技术相比，可以节省审阅VR设备102的存储器和网络资源，但是该技术也可以在不脱离本文中描述的技术的精神和范围的情况下执行。
审阅者然后经由相应的VR设备102与VR视频114交互。协作数据130由协作模块126生成，并且经由网络132传回给计算设备802。协作数据130可以采取各种形式。例如，协作数据130可以包括如上所述的注释、与VR视频内的各个时间或位置相关联的“拇指向上”或“拇指向下”、被动反馈等。
因此，视频制作者的计算设备1402然后接收协作数据(框1510)，并且在内容编辑应用1402的用户界面1410中输出协作数据(框1512)。例如，用户界面1408可以将协作数据130配置为在用户界面1410中结合VR视频114同时显示变化、建议、注释等。以这种方式，视频制作者可以保持在内容编辑应用804的上下文内，并且从其他VR设备(例如，VR设备102)以非模态方式共享和接收审阅。
示例系统和设备
图16总体上以1600示出了示例性系统，其包括示例计算设备1602，该示例计算设备1602代表可以实现本文中描述的各种技术的一个或多个计算系统和/或设备。这通过包括协作模块126来示出。例如，计算设备1602可以是：服务提供商的服务器、与客户端(例如，客户端设备)相关联的设备、片上系统、和/或者任何其他合适的计算设备或计算系统。
如图所示的示例计算设备1602包括处理系统1604、一个或多个计算机可读介质1606以及一个或多个I/O接口1608，它们彼此通信地耦合。虽然未示出，但是计算设备1602还可以包括将各种部件彼此耦合的系统总线或其他数据和命令传输系统。系统总线可以包括不同总线结构中的任何一个或组合，诸如存储器总线或存储器控制器、外围总线、通用串行总线和/或利用各种总线架构中的任一个的处理器或本地总线。也设想了各种其他示例，诸如控制和数据线。
处理系统1604表示使用硬件来执行一个或多个操作的功能。因此，处理系统1604被图示为包括可以被配置为处理器、功能块等的硬件元件1610。这可以包括以硬件实现为专用集成电路或使用一个或多个半导体形成的其他逻辑器件。硬件元件1610不受形成其的材料或其中采用的处理机制的限制。例如，处理器可以包括半导体和/或晶体管(例如，电子集成电路(IC))。在这种情况下，处理器可执行指令可以是电子可执行指令。
计算机可读存储介质1606被图示为包括存储器/存储装置1612。存储器/存储装置1612表示与一个或多个计算机可读介质相关联的存储器/存储装置。存储器/存储部件1612可以包括易失性介质(诸如随机存取存储器(RAM))和/或非易失性介质(诸如只读存储器(ROM)、闪存、光盘、磁盘等)。存储器/存储部件1612可以包括固定介质(例如，RAM、ROM、固定硬盘驱动器等)以及可移除介质(例如，闪存、可移除硬盘驱动器、光盘等)。计算机可读介质1606可以以下面进一步描述的各种其他方式来配置。
输入/输出接口1608表示允许用户向计算设备1602输入命令和信息的功能，并且还允许使用各种输入/输出设备来将信息呈现给用户和/或其他部件或设备。输入设备的示例包括键盘、光标控制设备(例如，鼠标)、麦克风、扫描仪、触摸功能(例如，被配置为检测物理触摸的电容或其他传感器)、相机(例如，其可以使用诸如红外频率等可见或不可见波长来将移动识别为不涉及触摸的手势)等。输出设备的示例包括显示设备(例如，显示器或投影仪)、扬声器、打印机、网卡、触觉响应设备等。因此，可以以如下面进一步描述的各种方式来配置计算设备1602以支持用户交互。
本文中可以在软件、硬件元件或程序模块的一般上下文中描述各种技术。通常，这样的模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元素、部件、数据结构等。本文中使用的术语“模块”、“功能”和“部件”通常表示软件、固件、硬件或其组合。本文中描述的技术的特征是独立于平台的，这表示可以在具有各种处理器的各种商业计算平台上实现这些技术。
所描述的模块和技术的实现可以存储在某种形式的计算机可读介质上或者通过其来传输。计算机可读介质可以包括可以由计算设备1602访问的各种介质。作为示例而非限制，计算机可读介质可以包括“计算机可读存储介质”和“计算机可读信号介质“。
“计算机可读存储介质”可以是指与单纯的信号传输、载波或信号本身相反的能够实现信息的持久和/或非暂态存储的介质和/或设备。因此，计算机可读存储介质是指非信号承载介质。计算机可读存储介质包括以适合于存储诸如计算机可读指令、数据结构、程序模块、逻辑元件/电路或其他数据等信息的方法或技术实现的诸如易失性和非易失性、可移除和不可移除介质和/或存储设备等硬件。计算机可读存储介质的示例可以包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光存储器、硬盘、磁带盒、磁带、磁盘存储器或其他磁存储设备或其他存储设备、有形介质、或适于存储期望信息并且可以由计算机访问的制品。
“计算机可读信号介质”可以指代被配置为诸如经由网络向计算设备1602的硬件传输指令的信号承载介质。信号介质通常可以在诸如载波、数据信号或其他传输机制等调制数据信号中设施计算机可读指令、数据结构、程序模块或其他数据。信号介质也包括任何信息传递媒体。术语“调制数据信号”表示以能够在信号中对信息进行编码的方式设置或改变其特征中的一个或多个的信号。作为示例而非限制，通信介质包括诸如有线网络或直接有线连接等有线介质、以及诸如声学、RF、红外线和其他无线介质等无线介质。
如前所述，硬件元件1610和计算机可读介质1606是以硬件形式实现的模块、可编程设备逻辑和/或固定设备逻辑的代表，其在一些实施例中可以用于实现至少一些本文中描述的技术，诸如执行一个或多个指令。硬件可以包括集成电路或片上系统、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)、以及硅或其他硬件的其他实现的部件。在这种情况下，硬件可以用作执行由指令定义的程序任务和/或由硬件实施的逻辑的处理设备、以及用于存储用于执行的指令的硬件，例如前面描述的计算机可读存储介质。
前述的组合也可以用于实现本文中描述的各种技术。因此，可以将软件、硬件或可执行模块实现为在某种形式的计算机可读存储介质上和/或由一个或多个硬件元件1610实施的一个或多个指令和/或逻辑。计算设备1602可以被配置为实现对应于软件和/或硬件模块的特定指令和/或功能。因此，例如通过使用处理系统1604的计算机可读存储介质和/或硬件元件1610，可以至少部分以硬件来实现作为软件的由计算设备1602可执行的模块的实现。指令和/或功能可以由一个或多个制造品(例如，一个或多个计算装置1602和/或处理系统1604)可执行/可操作以实现本文中描述的技术、模块和示例。
本文中描述的技术可以由计算设备1602的各种配置来支持，并且不限于本文中描述的技术的具体示例。该功能还可以全部或部分地通过使用分布式系统来实现，诸如经由平台1616在“云”1614上实现，如下所述。
云1614包括和/或代表资源1618的平台1616。平台1616抽象云1614的硬件(例如，服务器)和软件资源的底层功能。资源1618可以包括在远离计算设备1602的服务器上执行计算机处理时可以使用的应用和/或数据。资源1618还可以包括通过因特网和/或通过订户网络提供的服务，诸如蜂窝或Wi-Fi网络。
平台1616可以对用以将计算设备1602与其他计算设备连接的资源和功能进行抽象。平台1616还可以用于对资源的缩放进行抽象，以提供针对经由平台1616实现的资源1618遇到的需求的相应缩放水平。因此，在互连的设备实施例中，本文中描述的功能的实现可以遍布系统1600。例如，功能可以部分地在计算设备1602上以及经由抽象云1614的功能的平台1616来实现。
结论
虽然已经以特定于结构特征和/或方法动作的语言描述了本发明，但是应当理解，所附权利要求中限定的本发明不一定限于所描述的具体特征或动作。相反，具体特征和行为被公开作为实现所要求保护的发明的示例形式。

Claims (20)

1.一种在输出虚拟现实视频的数字介质环境中由审阅虚拟现实VR设备实施的方法，所述方法包括：
由所述审阅VR设备接收取向数据，所述取向数据描述关于由源VR设备的虚拟现实视频输出的取向；
由所述审阅VR设备将所述取向与所述虚拟现实视频的坐标系的坐标进行比较；
由所述审阅VR设备基于所述比较确定在所述源VR设备的源用户界面中渲染的所述虚拟现实视频的帧的一部分；
由所述审阅VR设备生成防恶心部分以用于在所述审阅VR设备的用户界面中显示；
由所述审阅VR设备在所述用户界面中与所述虚拟现实视频同时显示所述防恶心部分，所述虚拟现实视频被配置为通过基于在所述源用户界面中渲染的所述帧的所述一部分的所述取向数据，在所述用户界面中移动，所述防恶心部分由所述审阅VR设备控制在所述用户界面中移动，并且相对于所述审阅VR设备的物理环境，所述防恶心部分被显示为静止。
2.根据权利要求1所述的方法，其中所述防恶心部分被显示在所述用户界面中的所述虚拟现实视频的上方。
3.根据权利要求1所述的方法，其中所述防恶心部分是至少部分地半透明的，并且所述虚拟现实视频的所述帧的所述一部分通过所述防恶心部分可视。
4.根据权利要求1所述的方法，还包括：检测所述审阅VR设备的移动，并且其中所述防恶心部分基于所述审阅VR设备的所述移动而移动。
5.根据权利要求1所述的方法，其中所述虚拟现实视频与由所述源VR设备的所述虚拟现实视频的输出同步。
6.根据权利要求1所述的方法，其中所述审阅VR设备不对所述虚拟现实视频的输出进行控制。
7.根据权利要求1所述的方法，其中所述防恶心部分是视口。
8.根据权利要求7所述的方法，其中所述视口限定所述虚拟现实视频的所述帧的所述一部分。
9.根据权利要求7所述的方法，其中所述视口被配置为至少部分地围绕在所述用户界面中显示的所述虚拟现实视频的一部分的边界。
10.一种在输出虚拟现实视频的数字介质环境中的虚拟现实VR设备，包括：
输出设备；
取向跟踪传感器，以输出跟踪数据以跟踪所述VR设备的取向；
处理系统；以及
计算机可读存储介质，其上存储有指令，响应于由所述处理系统的执行，使所述处理系统执行操作，所述操作包括：
接收取向数据，所述取向数据描述关于由源VR设备的虚拟现实视频输出的取向；
将所述取向与所述虚拟现实视频的坐标系的坐标进行比较；
确定在所述源VR设备的源用户界面中渲染的所述虚拟现实视频的帧的一部分；
生成防恶心部分以用于在所述VR设备的用户界面中显示；
由所述输出设备在所述用户界面中的外围部分处与所述虚拟现实视频同时显示所述防恶心部分，所述虚拟现实视频被配置为通过基于在所述源用户界面中渲染的所述帧的所述一部分的所述取向数据，在所述用户界面中移动，所述防恶心部分由所述VR设备控制在所述用户界面的所述外围部分内中移动，并且相对于所述VR设备的物理环境，所述防恶心部分被显示为静止。
11.根据权利要求10所述的VR设备，其中所述防恶心部分被显示在所述用户界面中的所述虚拟现实视频的上方。
12.根据权利要求10所述的VR设备，其中所述防恶心部分是至少部分地半透明的，并且所述虚拟现实视频的所述帧的所述一部分通过所述防恶心部分可视。
13.根据权利要求10所述的VR设备，还包括：使用所述取向跟踪传感器检测移动，并且其中所述防恶心部分基于所述移动而移动。
14.根据权利要求10所述的VR设备，其中所述虚拟现实视频与由所述源VR设备的所述虚拟现实视频的输出同步。
15.根据权利要求10所述的VR设备，其中所述VR设备的所述取向不对由所述VR设备的所述虚拟现实视频的输出进行控制。
16.根据权利要求10所述的VR设备，其中所述防恶心部分是视口。
17.根据权利要求16所述的VR设备，其中所述视口限定所述虚拟现实视频的所述帧的所述一部分。
18.一个或多个非瞬态计算机可读存储介质，其上存储有指令，响应于由计算设备的执行，使所述计算设备执行操作，所述操作包括：
接收取向数据，所述取向数据描述关于由源虚拟现实VR设备的虚拟现实视频输出的取向；
将所述取向与所述虚拟现实视频的坐标系的坐标进行比较；
基于所述取向数据生成防恶心部分以用于在用户界面中显示；以及
在所述用户界面中与所述虚拟现实视频同时显示作为视口的所述防恶心部分，所述视口指示基于所述比较的由所述源VR设备输出的所述虚拟现实视频的一部分，所述虚拟现实视频被配置为通过所述取向数据在所述用户界面中移动，所述防恶心部分由所述计算设备控制在所述用户界面中移动，并且相对于所述计算设备的物理环境，所述防恶心部分被显示为静止。
19.根据权利要求18所述的一个或多个非瞬态计算机可读存储介质，其中所述防恶心部分是至少部分地半透明的，并且所述虚拟现实视频的所述一部分通过所述防恶心部分可视。
20.根据权利要求18所述的一个或多个非瞬态计算机可读存储介质，其中所述视口被配置为至少部分地围绕在所述用户界面中显示的所述虚拟现实视频的所述一部分的边界。
CN201810623345.0A 2017-08-18 2018-06-15 协作虚拟现实的防恶心和视频流式传输技术 Active CN109407822B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/680,523 2017-08-18
US15/680,523 US10803642B2 (en) 2017-08-18 2017-08-18 Collaborative virtual reality anti-nausea and video streaming techniques

Publications (2)

Publication Number Publication Date
CN109407822A CN109407822A (zh) 2019-03-01
CN109407822B true CN109407822B (zh) 2024-04-02

Family

ID=65235223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810623345.0A Active CN109407822B (zh) 2017-08-18 2018-06-15 协作虚拟现实的防恶心和视频流式传输技术

Country Status (4)

Country Link
US (1) US10803642B2 (zh)
CN (1) CN109407822B (zh)
AU (1) AU2018203947B2 (zh)
DE (1) DE102018004721A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10788948B2 (en) * 2018-03-07 2020-09-29 Quantum Interface, Llc Systems, apparatuses, interfaces and implementing methods for displaying and manipulating temporal or sequential objects
GB2563635A (en) 2017-06-21 2018-12-26 Nokia Technologies Oy Recording and rendering audio signals
US10613703B2 (en) 2017-08-18 2020-04-07 Adobe Inc. Collaborative interaction with virtual reality video
GB2566992A (en) * 2017-09-29 2019-04-03 Nokia Technologies Oy Recording and rendering spatial audio signals
JP2019152980A (ja) * 2018-03-01 2019-09-12 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
RU2759012C1 (ru) * 2018-04-24 2021-11-08 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Аппаратура и способ для воспроизведения аудиосигнала для проигрывания пользователю
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
US11808941B2 (en) * 2018-11-30 2023-11-07 Google Llc Augmented image generation using virtual content from wearable heads up display
US11805176B1 (en) * 2020-05-11 2023-10-31 Apple Inc. Toolbox and context for user interactions
US20220308341A1 (en) 2021-03-29 2022-09-29 Tencent America LLC Towards subsiding motion sickness for viewport sharing for teleconferencing and telepresence for remote terminals
CN115883900A (zh) * 2022-11-29 2023-03-31 优酷网络技术（北京）有限公司 一种视频在线审阅方法、装置、设备和程序产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005135161A (ja) * 2003-10-30 2005-05-26 Gifu Prefecture 協調設計システムおよび方法
CN101285935A (zh) * 2007-04-05 2008-10-15 张光荣 用于图像显示器的防晕装置
US8914472B1 (en) * 2011-07-20 2014-12-16 Google Inc. Experience sharing for training
CN106164952A (zh) * 2014-03-31 2016-11-23 微软技术许可有限责任公司 经由电子用户接口的协作共同编著
CN106601198A (zh) * 2016-11-03 2017-04-26 京东方科技集团股份有限公司 一种防眩晕显示装置及其控制方法和车窗
CN106687886A (zh) * 2014-07-25 2017-05-17 微软技术许可有限责任公司 三维混合现实视口

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5742264A (en) 1995-01-24 1998-04-21 Matsushita Electric Industrial Co., Ltd. Head-mounted display
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
US7737965B2 (en) 2005-06-09 2010-06-15 Honeywell International Inc. Handheld synthetic vision device
US9250703B2 (en) * 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
US8692845B2 (en) * 2010-10-28 2014-04-08 Eastman Kodak Company Head-mounted display control with image-content analysis
US20120249416A1 (en) * 2011-03-29 2012-10-04 Giuliano Maciocci Modular mobile connected pico projectors for a local multi-user collaboration
US9897805B2 (en) * 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
GB2501761A (en) * 2012-05-04 2013-11-06 Sony Comp Entertainment Europe Head mountable display
US10009644B2 (en) * 2012-12-04 2018-06-26 Interaxon Inc System and method for enhancing content using brain-state data
US10660542B2 (en) 2013-01-26 2020-05-26 Cianna Medical, Inc. RFID markers and systems and methods for identifying and locating them
US20140214629A1 (en) * 2013-01-31 2014-07-31 Hewlett-Packard Development Company, L.P. Interaction in a virtual reality environment
US9645395B2 (en) * 2013-03-15 2017-05-09 Mark Bolas Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments
EP2983138A4 (en) 2013-04-04 2017-02-22 Sony Corporation Display control device, display control method and program
US20140320529A1 (en) 2013-04-26 2014-10-30 Palo Alto Research Center Incorporated View steering in a combined virtual augmented reality system
KR102233223B1 (ko) 2014-01-20 2021-03-29 소니 주식회사 화상 표시 장치 및 화상 표시 방법, 화상 출력 장치 및 화상 출력 방법과, 화상 표시 시스템
US9742995B2 (en) 2014-03-21 2017-08-22 Microsoft Technology Licensing, Llc Receiver-controlled panoramic view video share
JP6610546B2 (ja) 2014-07-03 2019-11-27 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9959591B2 (en) 2014-07-31 2018-05-01 Seiko Epson Corporation Display apparatus, method for controlling display apparatus, and program
EP3216023A4 (en) 2014-11-07 2018-07-18 Eye Labs, LLC Visual stabilization system for head-mounted displays
US9407865B1 (en) * 2015-01-21 2016-08-02 Microsoft Technology Licensing, Llc Shared scene mesh data synchronization
WO2016179401A1 (en) 2015-05-06 2016-11-10 Haworth, Inc. Virtual workspace viewport follow mode and location markers in collaboration systems
US20160358383A1 (en) * 2015-06-05 2016-12-08 Steffen Gauglitz Systems and methods for augmented reality-based remote collaboration
DE112016003352T5 (de) * 2015-07-24 2018-04-12 Max Andaker Reibungslose Benutzeroberfläche für virtuelle Kollaboration, Kommunikation und Cloud-Computing
US20170132845A1 (en) * 2015-11-10 2017-05-11 Dirty Sky Games, LLC System and Method for Reducing Virtual Reality Simulation Sickness
US10613703B2 (en) 2017-08-18 2020-04-07 Adobe Inc. Collaborative interaction with virtual reality video

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005135161A (ja) * 2003-10-30 2005-05-26 Gifu Prefecture 協調設計システムおよび方法
CN101285935A (zh) * 2007-04-05 2008-10-15 张光荣 用于图像显示器的防晕装置
US8914472B1 (en) * 2011-07-20 2014-12-16 Google Inc. Experience sharing for training
CN106164952A (zh) * 2014-03-31 2016-11-23 微软技术许可有限责任公司 经由电子用户接口的协作共同编著
CN106687886A (zh) * 2014-07-25 2017-05-17 微软技术许可有限责任公司 三维混合现实视口
CN106601198A (zh) * 2016-11-03 2017-04-26 京东方科技集团股份有限公司 一种防眩晕显示装置及其控制方法和车窗

Also Published As

Publication number Publication date
US10803642B2 (en) 2020-10-13
DE102018004721A1 (de) 2019-02-21
US20190057529A1 (en) 2019-02-21
AU2018203947B2 (en) 2021-07-22
CN109407822A (zh) 2019-03-01
AU2018203947A1 (en) 2019-03-07

Similar Documents

Publication Publication Date Title
CN109407822B (zh) 协作虚拟现实的防恶心和视频流式传输技术
CN109407821B (zh) 与虚拟现实视频的协作交互
EP3465620B1 (en) Shared experience with contextual augmentation
US9992429B2 (en) Video pinning
US20210034222A1 (en) Computing device and extended reality integration
KR102085181B1 (ko) 데이터 전송 방법, 데이터 수신 방법, 및 디바이스
US8893010B1 (en) Experience sharing in location-based social networking
TWI571130B (zh) 體積式視訊呈現
JP5784818B2 (ja) 拡張現実システムにおける実世界表面への仮想画像のアンカリング
US11770599B2 (en) Techniques to set focus in camera in a mixed-reality environment with hand gesture interaction
KR20170011190A (ko) 이동 단말기 및 그것의 제어방법
US10841534B2 (en) Real-world awareness for virtual reality
US20220253195A1 (en) Integrating artificial reality and other computing devices
US11647260B2 (en) Content event mapping
GB2566142A (en) Collaborative virtual reality anti-nausea and video streaming techniques
TWI839532B (zh) 計算裝置及延伸實境整合
WO2024012106A1 (zh) 信息交互方法、装置、电子设备和存储介质
KR101923640B1 (ko) 가상 현실 방송을 제공하는 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant