CN112292726B - 用于沉浸式环境中对象分组和操纵的方法、系统和介质 - Google Patents

用于沉浸式环境中对象分组和操纵的方法、系统和介质 Download PDF

Info

Publication number
CN112292726B
CN112292726B CN201980005556.0A CN201980005556A CN112292726B CN 112292726 B CN112292726 B CN 112292726B CN 201980005556 A CN201980005556 A CN 201980005556A CN 112292726 B CN112292726 B CN 112292726B
Authority
CN
China
Prior art keywords
video object
video
objects
group
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980005556.0A
Other languages
English (en)
Other versions
CN112292726A (zh
Inventor
布赖斯·吉卜森·雷德
迈克尔·肯特
德温·曼库索
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN202210120150.0A priority Critical patent/CN114582377A/zh
Publication of CN112292726A publication Critical patent/CN112292726A/zh
Application granted granted Critical
Publication of CN112292726B publication Critical patent/CN112292726B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665—Gathering content from different sources, e.g. Internet and satellite
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了用于沉浸式环境中的对象分组和操纵的方法、系统和介质。在一些实施例中，该方法包括：在沉浸式环境中显示多个视频对象；经由第一输入检测到第一视频对象已经被虚拟地定位在第二视频对象上方；响应于检测到第一视频对象已经被虚拟地定位在第二视频对象上方，生成包括第一视频对象和第二视频对象的组视频对象，其中，组视频对象包括用于与该组视频对象交互的手柄接口元素和表示第一视频对象和第二视频对象的可选指示符；在沉浸式环境中显示随手柄接口元素和可选指示符一起的组视频对象、以及一个或多个剩余的视频对象，其中，在沉浸式环境内组视频对象替换第一视频对象和第二视频对象；以及响应于检测到对可选指示符的选择，显示用于与组视频对象交互的用户界面。

Description

用于沉浸式环境中对象分组和操纵的方法、系统和介质
技术领域
公开的主题涉及用于沉浸式环境中对象分组和操纵的方法、系统和介质。
背景技术
许多用户喜欢在沉浸式环境中观看视频内容，诸如虚拟现实内容、增强现实内容、三维内容、180度内容或360度内容，这些内容可以为观看者提供沉浸式体验。例如，虚拟现实系统可以为用户生成沉浸式虚拟现实环境，其中用户可以与一个或多个虚拟对象进行交互。在更具体的示例中，可以使用诸如虚拟现实耳机设备或头戴式显示设备之类的设备来提供沉浸式虚拟现实环境。在另一示例中，增强现实系统可以为用户生成沉浸式增强现实环境，其中可以将计算机生成的内容(例如，一个或多个图像)叠加在用户的当前视图上(例如，使用移动设备的相机)。
应该注意的是，用户可以以多种方式导航和/或与沉浸式环境交互。例如，用户可以使用手部移动与沉浸式环境中的虚拟对象进行交互。在另一个示例中，用户可以操作诸如基于射线的输入控制器的控制器，以通过指向对象来与沉浸式环境中的虚拟对象进行交互和/或通过按下位于控制器上的按钮来选择对象。但是，放置、组织、聚类、操纵或以其他方式与沉浸式环境中的对象组进行交互仍然是繁琐而困难的任务。
因此，期望提供用于沉浸式环境中对象分组和操纵的新方法、系统和介质。
发明内容
提供了用于沉浸式环境中对象分组和操纵的方法、系统和介质。
根据所公开的主题的一些实施例，提供了一种与沉浸式视频内容交互的方法，该方法包括：在沉浸式环境中显示多个视频对象；经由第一输入，检测到第一视频对象已经被虚拟地定位在第二视频对象上方；响应于检测到第一视频对象已经被虚拟地定位在第二视频对象上方，生成包括第一视频对象和第二视频对象的组视频对象，其中，组视频对象包括用于与该组视频对象交互的手柄接口元素和表示第一视频对象和第二视频对象的可选指示符；在沉浸式环境中显示随手柄接口元素和可选指示符一起的组视频对象、以及一个或多个剩余的视频对象，其中，在沉浸式环境内组视频对象替换第一视频对象和第二视频对象；以及响应于检测到对可选指示符的选择，显示用于与组视频对象交互的用户界面。
在一些实施例中，沉浸式环境是在物理环境中操作的头戴式显示设备中生成的虚拟现实环境，并且手柄接口元素是通过检测在虚拟现实环境中由手部执行的抓握手势来进行交互的三维手柄元素。
在一些实施例中，第一视频对象由第一缩略图表示来表示，第二视频对象由第二缩略图表示来表示，并且组视频对象由堆叠缩略图表示来表示，其中，(i)第一缩略图表示和第二缩略图表示自动对齐以生成堆叠缩略图表示，并且(ii)响应于检测到第一视频对象被交互并且被虚拟地定位在第二视频对象上方，第一缩略图表示处于堆叠缩略图表示的顶部位置。
在一些实施例中，可选指示符指示包含在组视频对象中的视频对象的数量。
在一些实施例中，用户界面包括用于创建播放列表的选项，该播放列表包括组视频对象中的第一视频对象和第二视频对象，并且其中，在选择组视频对象后，第一视频对象和第二视频对象在沉浸式环境中被回放。
在一些实施例中，用户界面包括用于重新排列与组视频对象相关联的至少第一视频对象和第二视频对象的顺序的选项。
在一些实施例中，用户界面包括用于从组视频对象中移除第一视频对象和第二视频对象中的至少一个的选项。
在一些实施例中，用户界面包括用于从沉浸式环境中移除组视频对象以及第一视频对象和第二视频对象的选项。
在一些实施例中，该方法进一步包括：响应于检测到与手柄接口元素的特定手部交互，使包括在组视频对象内的视频对象的网格被呈现，其中，视频对象的网格中的每个视频对象是能够修改的。
在一些实施例中，所述方法进一步包括：响应于检测到与手柄接口元素的特定手部交互，使组视频对象以及第一视频对象和第二视频对象从沉浸式环境中被移除。
根据所公开主题的一些实施例，提供了一种用于与沉浸式视频内容交互的系统，该系统包括存储器和硬件处理器，当执行存储在存储器中的计算机可执行指令时，该硬件处理器被配置为：在沉浸式环境中显示多个视频对象；经由第一输入，检测到第一视频对象已经被虚拟地定位在第二视频对象上方；响应于检测到第一视频对象已经被虚拟地定位在第二视频对象上方，生成包括第一视频对象和第二视频对象的组视频对象，其中，组视频对象包括用于与该组视频对象交互的手柄接口元素和表示第一视频对象和第二视频对象的可选指示符；在沉浸式环境中显示随手柄接口元素和可选指示符一起的组视频对象、以及一个或多个剩余的视频对象，其中，在沉浸式环境内组视频对象替换第一视频对象和第二视频对象；以及响应于检测到对可选指示符的选择，显示用于与组视频对象交互的用户界面。
根据所公开的主题的一些实施例，提供了一种包含计算机可执行指令的非暂时性计算机可读介质，该计算机可执行指令在由处理器执行时使处理器执行用于与沉浸式视频内容交互的方法，该方法包括：在沉浸式环境中显示多个视频对象；经由第一输入，检测到第一视频对象已经被虚拟地定位在第二视频对象上方；响应于检测到第一视频对象已经被虚拟地定位在第二视频对象上方，生成包括第一视频对象和第二视频对象的组视频对象，其中，组视频对象包括用于与该组视频对象交互的手柄接口元素和表示第一视频对象和第二视频对象的可选指示符；在沉浸式环境中显示随手柄接口元素和可选指示符一起的组视频对象、以及一个或多个剩余的视频对象，其中，在沉浸式环境内组视频对象替换第一视频对象和第二视频对象；以及响应于检测到对可选指示符的选择，显示用于与组视频对象交互的用户界面。
根据所公开的主题的一些实施例，提供了一种用于生成沉浸式视频内容的系统，该系统包括：用于在沉浸式环境中显示多个视频对象的装置；用于经由第一输入检测到第一视频对象已经被虚拟地定位在第二视频对象上方的装置；用于响应于检测到第一视频对象已经被虚拟地定位在第二视频对象上方而生成包括第一视频对象和第二视频对象的组视频对象的装置，其中，组视频对象包括用于与该组视频对象交互的手柄接口元素和表示第一视频对象和第二视频对象的可选指示符；用于在沉浸式环境中显示随手柄接口元素和可选指示符一起的组视频对象、以及一个或多个剩余的视频对象的装置，其中，组视频对象在沉浸式环境内替换第一视频对象和第二视频对象；以及用于响应于检测到对可选指示符的选择而显示用于与组视频对象交互的用户界面的装置。
可以在特定实施例中实现本说明书中描述的主题，以实现以下优点中的一个或多个。通过提供手柄接口元素和可选指示符，可以在沉浸式环境中将第一视频对象和第二视频对象分组，以更有效地使用沉浸式环境内的空间，同时确保用户可以容易和高效地与分组的视频对象交互。通过将第一视频对象和第二视频对象替换为组视频对象，对视频对象进行分组提供了减少显示视频对象所需的处理能力的附加优势。手柄接口元素为用户提供了一种直观的机制，以用于用户使用自然手势——诸如抓握手势、摇动手势等——与组视频对象交互。这避免了为每个潜在交互提供沉浸式环境内的专用用户界面元素的需要，从而允许以更有效地利用沉浸式环境内的不动产的在计算上更有效的方式来表示分组的视频对象并与该分组的视频对象交互。
附图说明
当结合以下附图考虑时，参考对所公开主题的以下详细描述，可以更加充分地理解所公开主题的各种目的、特征和优点，其中，相似的附图标记表示相似的元素。
图1示出了根据所公开主题的一些实施例的用于沉浸式环境中的对象分组和操纵的过程的说明性示例。
图2A示出了根据所公开的主题的一些实施例的沉浸式环境中的视频对象的说明性示例。
图2B示出了根据所公开的主题的一些实施例的沉浸式环境中具有手柄接口元素和可选指示符元素的所生成的组视频对象的说明性示例。
图2C示出了根据所公开主题的一些实施例的使用手柄接口元素(例如，使用手柄接口元素检测手势，使用基于射线的控制器来接收对手柄接口元素的选择等)在沉浸式环境中与所生成的组视频对象的交互的说明性示例。
图2D示出了根据所公开的主题的一些实施例的将来自沉浸式环境的附加视频对象添加到组视频对象的说明性示例。
图2E示出了根据所公开的主题的一些实施例的响应于与组视频对象的可选指示符元素的交互而呈现的用户界面的说明性示例。
图2F示出了根据所公开的主题的一些实施例的在沉浸式环境中从组视频对象创建播放列表的说明性示例。
图2G示出了根据所公开的主题的一些实施例的被呈现以修改(例如，添加、移除、重新排列等)包含在组视频对象中的视频对象的网格界面的说明性示例。
图2H示出了根据所公开的主题的一些实施例的被呈现以修改(例如，添加、移除、重新排列等)包含在组视频对象中的视频对象的网格界面的说明性示例。
图3A示出了根据所公开的主题的一些实施例的包括用于接收一个或多个视频对象的处于空状态的组视频对象的沉浸式环境的说明性示例，其中手柄接口元素提供用于与组视频对象交互或操纵组视频对象的接口。
图3B示出了根据所公开的主题的一些实施例的包括用于回放包含在组视频对象中的视频对象的处于缩略图播放状态的组视频对象的沉浸式环境的说明性示例，其中手柄接口元素提供用于与组视频对象交互或操纵组视频对象的接口。
图3C示出了根据所公开主题的一些实施例的包括处于缩略图播放状态的组视频对象以及附加内容信息的沉浸式环境的说明性示例，其中手柄接口元素提供用于与组视频对象交互或操纵组视频对象的接口。
图4示出了根据所公开的主题的一些实施例的适用于实现本文所述的用于沉浸式环境中的对象分组和操纵的机制的说明性系统的示意图。
图5示出了根据所公开主题的一些实施例的可以在图4的服务器和/或用户设备中使用的硬件的详细示例。
具体实施方式
根据各种实施例，提供用于沉浸式环境中的对象分组和操纵的机制(其可以包括方法、系统和介质)。
在一些实施例中，本文描述的机制可以提供用于在沉浸式环境中创建和/或操纵包括一个或多个视频对象的组视频对象的分组交互。例如，在包括均由缩略图表示来表示的多个视频对象的沉浸式环境中，这些机制可以接收将第一视频对象的缩略图表示放置在第二视频对象的缩略图表示上的用户交互。响应于接收到将第一视频对象的缩略图表示放置在第二视频对象的缩略图表示上的用户交互，这些机制可以创建包括第一视频对象和第二视频对象的组视频对象，其中组视频对象可以由堆叠缩略图表示来表示。
应当注意，可以使用任何合适的方法来生成堆叠缩略图表示。例如，响应于接收到将第一视频对象的缩略图表示放置在第二视频对象的缩略图表示上的用户交互，这些机制可以自动将缩略图表示对齐为表示包含在组视频对象中的视频对象的堆叠缩略图表示。在另一示例中，响应于接收到将第一视频对象的缩略图表示放置在第二视频对象的缩略图表示上的用户交互，这些机制可以呈现示出第一视频对象和第二视频对象被合并到组视频对象中的动画。
还应注意，堆叠缩略图表示可以任何合适的方法表示组视频对象。例如，可以在第二视频对象的缩略图表示上方选择和操纵的第一视频对象的缩略图表示可以被定位于堆叠缩略图表示的顶部，从而将第一视频对象的缩略图表示呈现为堆叠缩略图表示中的第一缩略图表示。在另一示例中，可以将在第二视频对象上方选择和操纵的第一视频对象排序为由堆叠缩略图表示来表示的组视频对象中的最后一个视频对象。在又一示例中，堆叠缩略图表示可以包括每个缩略图表示的马赛克缩略图视图或组视频对象中包括的每个视频对象的屏幕快照。在另一个示例中，堆叠缩略图表示可以轮换组视频对象中包括的每个视频对象的每个缩略图表示。
在一些实施例中，组视频对象的堆叠缩略图表示可以与手柄接口元素同时呈现。手柄接口元素可以，例如，允许用户在沉浸式环境中操纵组视频对象。例如，可以在沉浸式环境中与手柄接口元素交互(例如，使用抓握手部动作)，以将组视频对象从一个位置移动到另一位置。在另一个示例中，响应于接收到特定手势，诸如，抓握手部动作然后是摇动手部动作，这些机制可以使组视频对象扩展，从而呈现与包含在组视频对象内的视频对象相对应的缩略图表示。在又一示例中，响应于接收到特定手势，诸如，抓握手部动作(例如，手掌朝下的拳头手势)然后是手掌朝上手势，该机制可以通过取消对组视频对象的分组而使组视频对象被移除，从而分别呈现包含在组视频对象内的每个视频对象的每个缩略图表示以进行交互。
应当注意，手柄接口元素可以在沉浸式环境内的一种或多种回放状态中使用。例如，手柄接口元素可以与处于空播放状态的视频对象一起呈现，该空播放状态允许用户将视频对象的一个或多个缩略图表示放置到当前处于空播放状态的视频对象上。在该示例中，手柄接口元素可以向用户提供将处于空播放状态的视频对象移动到例如在其中用户可以将视频对象的一个或多个缩略图表示放置到处于空播放状态的视频对象上的区域的能力。在另一示例中，手柄接口元素可以与处于回放状态的视频对象一起呈现，该回放状态允许用户移动当前正在回放的视频对象和/或将附加视频对象添加到组视频对象中。
在一些实施例中，组视频对象的堆叠缩略图表示可以与计数器元素、任何其他合适的可选标识符元素或提供用于与组视频对象交互的入口点的任何其他合适的功能可见元素同时呈现。例如，计数器元素可以指示包含在组视频对象内的视频对象的数量。在继续此示例时，响应于接收到对与组视频对象相对应的计数器元素的用户选择，这些机制可以提供用于与组视频对象和/或包含在组视频对象内的视频对象中的每一个交互的选项——例如，删除组视频对象、将组视频对象转换为包括包含在组视频对象中的视频对象的播放列表对象、对包含在组视频对象中的视频对象进行重新排序或以其他方式排列包含在组视频对象中的视频对象、呈现包含在组视频对象中的视频对象的网格视图、呈现与包含在组视频对象中的每个视频对象相关联的详细信息、移除包含在组视频对象中的视频对象中的至少一个、提供与包含在组视频对象中的视频对象中的至少一个相关联的评级等。
应注意，尽管本文所述的实施例通常涉及操纵包含一个或多个视频的组视频对象和/或与包含一个或多个视频的组视频对象交互，但这仅是说明性的。例如，在一些实施例中，这些机制可以被用来操纵对应于合适的内容项(例如，视频文件、音频文件、电视节目、电影、实时流送的媒体内容、动画、视频游戏内容、图形、文档和/或任何其他合适的媒体内容)的虚拟对象和/或与该内容项交互。在另一个示例中，在一些实施例中，这些机制可以用于操纵沉浸式环境的操作系统中的由应用图标表示的应用组。在继续该示例时，可以将多个应用图标放置到组应用对象中，其中该组应用对象与用于操纵该组应用对象的手柄接口元素和用于指示包含在该组应用对象内的应用的数量并用于与该组应用对象交互的计数器元素同时呈现。在又一个示例中，在一些实施例中，这些机制可以用于操纵沉浸式环境中的内容集合和/或以其他方式与沉浸式环境中的内容集合交互。在继续该示例中，可以将多个内容文件放置到组内容对象中，其中该组内容对象与用于操纵该组内容对象的手柄接口元素和用于指示包含在该组内容对象内的内容文件的数量并用于与该组内容对象交互的计数器元素同时呈现。
结合图1-5进一步描述用于沉浸式环境中的对象分组和操纵的这些和其他特征。
转向图1，根据所公开主题的一些实施例示出了用于沉浸式环境中的对象分组和操纵的过程的说明性示例。在一些实施例中，过程100的框可以由任何合适的设备执行，诸如虚拟现实耳机、头戴式显示设备、游戏机、移动电话、平板计算机、电视和/或任何其他合适类型的用户设备。
在102处，过程100可以提供一种在其中用户可以与一个或多个虚拟对象交互的沉浸式环境。例如，沉浸在增强现实和/或虚拟现实环境中的戴着头戴式显示设备的用户可以探索沉浸式环境并通过各种不同类型的输入与沉浸式环境中的虚拟对象等交互。这些输入可以包括例如，物理交互，该物理交互包括例如头戴式显示设备和/或与头戴式显示设备分离的电子设备的物理运动和/或操纵，和/或手势、手臂姿势、头部运动和/或头部和/或眼睛定向注视等。用户可以实现这些不同类型的交互中的一个或多个，以执行特定动作以虚拟地在虚拟环境中移动，或从第一虚拟环境移动到第二虚拟环境。在虚拟环境中或从一个虚拟环境移动到另一虚拟环境的移动可以包括在用户保持静止的同时相对于用户移动虚拟环境的特征，以生成在虚拟环境中移动的感知。
在更特定的示例中，沉浸式环境可以包括与视频(例如，可用于回放的视频)相对应的一个或多个虚拟视频对象，并且用户可以与这些虚拟视频对象中的一个或多个交互。如图2A所示，可以在沉浸式环境200内显示多个虚拟视频对象210、220和230。同样如图2A所示，虚拟视频对象210、220和230中的每一个可以由缩略图表示来表示。缩略图表示可以包括例如与虚拟视频对象相对应的视频的代表性图像(例如，屏幕快照)、与虚拟视频对象相对应的视频的标题等。应注意，缩略图表示可以包括任何合适的内容，诸如与对应于虚拟视频对象的视频相关联的元数据、与对应于虚拟视频对象的视频相关联的创建者信息、与对应于虚拟视频对象的视频相关联的关键字等。应注意，缩略图表示可以以任何合适的方式显示。例如，在一些实施例中，每个虚拟视频对象可以被显示为体积缩略图表示。
在这种沉浸式环境中，用户可以与这些视频对象中的一个或多个交互。例如，如图2A-2H所示，用户可以操纵这些视频对象中的一个或多个。在更特定的示例中，用户可以将从连接到头戴式显示设备的手持电子设备延伸的虚拟光束或射线朝向虚拟视频对象定向，以选择或识别该虚拟视频对象。在继续该示例中，用户可以致动手持电子设备的操纵设备或按钮以指示对虚拟视频对象的选择。在一些实施例中，用户可以提供特定手势(例如，抓握手势)以物理地抓握手柄接口元素以用于操纵虚拟视频对象。
在一些实施例中，在104处，过程100可以经由第一输入检测到第一视频对象已经被虚拟地定位在第二视频对象上方。例如，如图2A所示，过程100可以经由合适的输入检测到视频对象210已经被选择并且虚拟地定位在视频对象220上方。如上所述，输入可以包括对头戴式显示设备和/或与从头戴式显示设备分离的电子设备的操纵。例如，用户可以将从连接到头戴式显示设备的手持电子设备延伸的虚拟光束或射线朝向第一视频对象定向，以识别虚拟视频对象，提供抓握手势以选择第一视频对象，并且提供将第一视频对象放置在第二视频对象上方的拖动手势。
在一些实施例中，响应于检测到第一视频对象已经被虚拟地定位在第二视频对象上方，过程100可以在106处生成包含第一视频对象和第二视频对象的组视频对象，并在108处显示该组视频对象以代替第一视频对象和第二视频对象。
例如，如图2B所示，过程100可以生成由堆叠缩略图表示来表示的组视频对象240，同时继续显示其余的视频对象，诸如视频对象230。在更特定的示例中，同样如图2B所示，第一视频对象210可以由第一缩略图表示来表示，第二视频对象220可以由第二缩略图表示来表示，并且组视频对象240可以由堆叠缩略图表示来表示，在该堆叠缩略图表示中第一缩略图表示和第二缩略图表示可以自动对齐以生成堆叠缩略图表示。表示组视频对象240的堆叠缩略图表示可以包括任意合适数量的层——例如，两层，以指示它是包含多个视频对象的组视频对象，一个层对应于包含在组视频对象中的每个视频对象，等等。
在另一示例中，如图2D所示，响应于检测到第三视频对象230已经虚拟地定位于组视频对象240上方，过程100可以生成由堆叠缩略图表示来表示的更新的组视频对象260，同时继续显示任何剩余的视频对象，其中组视频对象260包含第一视频对象210、第二视频对象220和第三视频对象230。
可替代地，在一些实施例中，除了第一视频对象和第二视频对象之外，还可以在沉浸式环境中显示所生成的组视频对象。例如，这可以允许用户在沉浸式环境内操纵视频对象，以创建不同的组视频对象，每个组视频对象可以包含相同的视频对象中的一个或多个。在继续该示例时，可以将这些组视频对象转换为播放列表，每个播放列表包含在沉浸式环境中显示的视频对象中的一个或多个，其中某些播放列表可能包含相同的内容项。
应注意，可以以任何合适的方式来表示组视频对象。例如，响应于检测到第一视频对象210虚拟地定位于第二视频对象220上方，可以将第一视频对象210的缩略图表示排列在组视频对象的顶部位置。在另一个示例中，响应于检测到第一视频对象210虚拟地定位于第二视频对象220上方，可以将第一视频对象210的缩略图表示排序为由堆叠缩略图表示来表示的组视频对象中的最后一个视频对象。在又一示例中，响应于检测到第一视频对象210虚拟地定位于第二视频对象220上方，堆叠缩略图表示可以包括每个缩略图表示的马赛克缩略图视图或包括在组视频对象中的每个视频对象的屏幕快照。在另一个示例中，堆叠缩略图表示可以轮换包括在组视频对象中的每个视频对象的每个缩略图表示。应当注意，过程100可以使用任何合适的准则来排列包含在组视频对象内的视频对象(例如，每个视频的流行度、每个视频的观看次数、每个视频的评分等)。
在一些实施例中，可以将组视频对象与手柄接口元素一起显示。例如，如图2B所示，手柄接口元素245可以是与组视频对象一起显示的三维手柄元素。手柄接口元素245可以通过利用手柄接口元素245接收特定手势来允许用户与组视频对象交互。例如，使用手柄接口元素245，对应的组视频对象可以被操纵——例如，被拾取、抛掷、重新定位、放置在仪表板界面上等。图2C示出了说明性示例，其中响应于接收到抓握手势或任何其他合适的手势以指示与组视频对象240的交互，手柄接口元素245可以用于将组视频对象240从第一位置虚拟地移动到第二位置。
返回参考图1，过程100可以在110处检测已经利用手柄接口元素接收到特定手势，并且响应于接收到特定手势，过程100可以在112处确定特定操纵动作并执行该特定操纵动作。例如，如图2C所示，手柄接口元素245可用于虚拟地将组视频对象从一个虚拟位置移动到另一虚拟位置。应当注意的是，手柄接口元素245可以响应于不同的手势。例如，在一些实施例中，响应于接收到手掌翻转的手势，手柄接口元素245可以使组视频对象被删除，其中包含在组视频对象中的视频对象显示在沉浸式环境中。在另一示例中，在一些实施例中，响应于在与手柄接口元素245接涉时接收到摇动或从一边到另一边手势，手柄接口元素245可以使组视频对象扩展以显示包含在组视频对象中的视频对象。在又一示例中，在一些实施例中，响应于在与手柄接口元素245接涉时接收到上下手势，手柄接口元素245可以使最后添加的视频对象从组视频对象中移除(例如，利用动画，其中视频对象从组视频对象中弹出)。
应当注意，可以在任何合适的状态下与组视频对象一起显示手柄接口元素245。
图3A示出了根据本发明的一些实施例的用于将视频对象放置在沉浸式环境300中的处于空状态的组视频对象310的说明性示例，其中手柄接口元素245提供用于与组视频对象310交互或操纵组视频对象310的接口。同样如图3A所示，可以提示导航沉浸式环境的用户与当前处于空状态的组视频对象交互，其中，该组视频对象通过显示诸如“在此处放置视频”的消息来指示其处于空状态。在继续该示例中，用户可以与视频对象或其他合适的虚拟对象交互，并将这些视频对象放置、抛掷或以其他方式移动到当前处于空状态的组视频对象310上。作为响应，视频对象可以被添加到组视频对象310中(例如，其中每个视频对象的缩略图表示被自动对齐为堆叠缩略图表示)。
图3B示出了根据所公开的主题的一些实施例的处于视频对象已经被添加到处于空状态的图3A的组视频对象310中的缩略图状态中的组视频对象320的说明性示例。类似于图3A，组视频对象320可以继续与手柄接口元素245一起显示，该手柄接口元素245提供用于与组视频对象320交互或操纵组视频对象320的接口。如图3B所示，用户可以与组视频对象320交互，其中可以以缩略图状态回放包含在组视频对象320中的视频对象。例如，响应于选择组视频对象320，组视频对象320可以在回放和暂停包含在组视频对象320中的一个或多个视频之间切换。
此外，在一些实施例中，可以显示回放选项界面322，以允许用户修改视频的回放控件——例如，播放、暂停、快进、退回、重复、增加音量、减小音量等，应当注意，回放选项界面322可以包括任何合适的回放选项，诸如用户可以使用任何合适的手势或输入来操纵以选择包含在组视频对象中的视频的特定回放位置的时间线。还应当注意，回放选项界面322可以包括用于在组视频对象中包含的视频中进行导航的任何合适的导航选项(例如，导航至上一个视频，导航至下一个视频，自动滚动包含在组视频对象中的视频等)。
在一些实施例中，组视频对象320的缩略图状态还可以包括附加的媒体信息界面322和/或相关的媒体界面324。
例如，如图3C所示，响应于选择图3B的附加媒体信息界面322，可以呈现包括与正在回放的视频有关的任何合适信息的用户界面332。在一个更特定的示例中，如图3C所示，用户界面332可以包括与缩略图状态下正在回放的视频相对应的标题信息、用于对缩略图状态下正在回放的视频进行评级的选项(例如，拇指向上选项、拇指向下选项、接收到拇指向上评级的数量、接收到拇指向下评级的数量等)、用于下载缩略图状态下正在回放的视频的选项、用于将缩略图状态下正在回放的视频添加到播放列表的选项、用于将缩略图状态下正在回放的视频排队以供以后回放的选项、用于订阅与缩略图状态下正在回放的视频的内容创建者相关联的频道的选项、用于订阅包括缩略图状态下正在回放的视频的频道的选项、与缩略图状态下正在回放的视频相对应的发布信息、缩略图状态下正在回放的视频的详细说明(例如，由内容创建者提供)等。应该注意的是，用户界面332可以包括与缩略图状态正在回放的视频有关的任何合适信息，诸如由观看用户提供的评论。
在另一个示例中，同样如图3C所示，响应于选择图3B的相关媒体界面324，可以呈现包括与正在回放的视频有关的内容项(例如，视频A至视频F)的用户界面336。在继续该示例中，用户可以与相关内容项之一交互，例如，以缩略图状态回放相关视频、将相关视频添加到组视频对象中(例如，通过对相关视频对象之一提供抓握手势并将相关视频对象抛掷到组视频对象上)、接收有关相关内容项的附加信息等等。
返回参考图1，除了或替代显示组视频对象以及手柄接口元素，过程100还可以在108处呈现组视频对象以及用于与组视频对象交互的可选指示符元素。例如，如图2B所示，可以在组视频对象240的右上角呈现可选指示符元素250，其中，可选指示符元素250可以在被选择时向用户提供用于查看、修改组视频对象和包含在组视频对象内的视频对象和/或以其他方式与组视频对象和包含在组视频对象内的视频对象交互的入口点。
在一些实施例中，可选指示符元素250可以被显示为包含在组视频对象中的视频对象的数量的视频计数器。例如，如图2A和图2B所示，响应于检测到第一视频对象210已经虚拟地定位于第二视频对象220上方，过程100可以生成组视频对象240，其中可选指示符元素250定位于组视频对象240的右上角，并且其中可选指示符元素250被表示为2的视频计数，以指示在组视频对象中包含两个视频。在另一个示例中，如图2D所示，响应于检测到第一视频对象230已经虚拟地定位于组视频对象240上方，过程100可以生成或更新组视频对象260，其中可选指示符元素250定位于组视频对象260的右上角，并且其中可选指示符元素250被表示为3的视频计数，以指示在组视频对象中存在三个视频。
应当注意，可选指示符元素250可以定位于组视频对象240的任何合适的位置。例如，在一些实施例中，可选指示符元素250可以沿着组视频对象240的顶部边界居中。在另一个示例下，在一些实施例中，可选指示符元素250可以定位于组视频对象240的左上角。
还应注意，在一些实施例中，组视频对象240的堆叠缩略图表示可以保持相同的大小或相同的体积，而可选指示符元素250可以增长或减缩以指示包含在组视频对象240中的视频对象的数量。可替代地，在一些实施例中，组视频对象240的堆叠缩略图表示可以保持相对相同的大小，而在深度上扩展以大致指示包含在组视频对象240中的视频对象的数量(例如，在堆叠有十层而不是两层的堆叠缩略图表示)。
返回图1，在一些实施例中，响应于在114处检测到对可选指示符元素的选择，过程100可以在116处显示包括用于与组视频对象交互的一个或多个选项的用户界面。例如，响应于接收到合适的手势或使用与头戴式显示设备分离的电子设备接收到合适的输入，过程可以在沉浸式环境内显示用于与组视频对象交互的对应的用户界面。在更特定的示例中，响应于接收到手指按下组视频对象上的可选指示符元素的手势，用户界面可以从组视频对象中滑出以用于与组视频对象交互。
例如，如图2E所示，响应于检测到选择可选指示符元素250的用户交互，过程100可以呈现用户界面270，该用户界面270包括用于对包含在组视频对象240中的视频创建播放列表的选项、用于删除组视频对象240的选项以及用于显示包含在组视频对象240中的视频对象的网格视图的选项。
在一些实施例中，响应于检测到选择用于对包含在组视频对象240中的视频创建播放列表的选项的用户交互，组视频对象240可以被转换为播放列表对象280。例如，如图2F所示，响应于检测到选择用于对包含在组视频对象240中的视频创建播放列表的选项的用户交互，包含在组视频对象240中的视频对象被转换为播放列表对象280，其中，当前由视频A标识为最顶部视频的组视频对象240的堆叠缩略图表示(例如，堆叠缩略图表示上的视频A的“标题A”)被播放列表标题(例如“列表A-B”)替换。另外，在一些实施例中，播放列表对象280可以包括与播放列表中的每个视频相关联的附加元数据(例如，标题信息、创建者信息、定时信息、源信息等)。
在一些实施例中，响应于检测到选择用于删除组视频对象240的选项的用户交互，组视频对象240可以从沉浸式环境中移除。例如，可以从沉浸式环境中移除组视频对象240和包含在组视频对象240内的视频对象。在另一个示例中，可以移除组视频对象240，并且可以在沉浸式环境中单独显示包含在组视频对象240内的视频对象。在又一示例中，组视频对象240可以以空状态呈现(例如，具有“在此处放置视频”消息)，并且先前包含在组视频对象240内的视频对象可以定位于沉浸式环境的远程区域中(例如，扔置一边)。
在一些实施例中，响应于检测到选择用于显示包含在组视频对象240中的视频对象的网格视图的选项的用户交互，组视频对象240可以提供详细的用户界面，该详细的用户界面示出包含在组视频对象240内的视频。
例如，如图2G所示，响应于检测到选择用于显示包含在组视频对象240中的视频对象的网格视图的选项的用户交互，组视频对象240可以水平扩展以提供示出包含在组视频对象240内的视频A和视频B的详细用户界面290。在继续本示例时，用户界面290可提供包含在组视频对象240中的视频对象的可滚动网格视图，其中用户可以操纵用户界面290依次滚动包含在组视频对象240中的视频对象。
在另一示例中，如图2H所示，响应于检测到选择用于显示包含在组视频对象240中的视频对象的网格视图的选项的用户交互，详细用户界面295示出包含在组视频对象240内的视频A和视频B并且示出包含在组视频对象240内的视频的数量。
在这些用户界面中，用户可以查看每个视频和/或与包含在组视频对象240内的每个视频有关的附加信息，提供用于重新排列包含在组视频对象240内的视频的顺序的输入，提供用于从组视频对象240中移除至少一个视频的输入，将组视频对象240转换为播放列表对象等。例如，在一些实施例中，可以接收手势以用于通过以下来操纵组视频对象240：经由利用用户的手部直接操纵视频对象来移除和/或重新排列包含在组视频对象240中的视频。
在一些实施例中，响应于在详细用户界面(例如，图2G的详细用户界面290、图2H的详细用户界面295)时检测到选择可选指示符元素250的用户交互，过程100可以关闭或以其他方式折叠用户界面，并恢复到组视频对象240的堆叠缩略图表示(例如，包括手柄接口元素和可选指示符元素)。可替代地，在一些实施例中，过程100可以响应于检测到选择保存选项或详细用户界面(例如，图2G的详细的用户界面290、图2H的详细的用户界面295)内的其他合适的选项的用户交互而关闭或以其他方式折叠用户界面，并恢复到组视频对象240的堆叠缩略图表示(例如，包括手柄接口元素和可选指示符元素)。
转向图4，示出了根据所公开的主题的一些实施例用于可以使用的沉浸式环境中的对象分组和操纵的硬件的说明性示例400。如图所示，硬件400可以包括内容服务器402、通信网络404和/或一个或多个用户设备406，诸如用户设备408和410。
内容服务器402可以是用于存储媒体内容和/或向用户设备406提供媒体内容的任何合适的服务器。例如，在一些实施例中，内容服务器402可以存储媒体内容，诸如视频、电视节目、电影、实时流媒体内容、音频内容、动画、视频游戏内容、图形和/或任何其他合适的媒体内容。在一些实施例中，内容服务器402可以例如经由通信网络404将媒体内容传输到用户设备406。在一些实施例中，内容服务器402可以与要由客户端设备(例如，用户设备406)使用的任何合适信息相关联地存储视频内容(例如，实时视频内容、计算机生成的视频内容和/或任何其他合适类型的视频内容)以将该视频内容渲染为沉浸式内容。在一些实施例中，内容服务器402可以发送由诸如视频的内容项的缩略图表示来表示的虚拟对象。
在一些实施例中，通信网络404可以是一个或多个有线和/或无线网络的任何合适的组合。例如，通信网络404可以包括互联网、内部网、广域网(WAN)、局域网(LAN)、无线网络、数字订户线(DSL)网络、帧中继网络、异步传输模式(ATM)网络、虚拟专用网络(VPN)和/或任何其他合适的通信网络中的任何一个或多个。用户设备406可以通过一个或多个通信链路(例如，通信链路412)连接到通信网络404，该通信网络404可以经由一个或多个通信链路(例如，通信链路414)连接到内容服务器402。通信链路可以是适合于在用户设备406和内容服务器402之间传送数据的任何通信链路，诸如网络链路、拨号链路、无线链路、硬连线链路、任何其他合适的通信链路、或这样的链路的任何合适的组合。
用户设备406可以包括适合于请求视频内容、将请求的视频内容渲染为沉浸式视频内容(例如，渲染为虚拟现实内容、三维内容，360度视频内容、180度视频内容和/或任何其他合适的方式)和/或执行任何其他合适的功能的任何一个或多个用户设备。例如，在一些实施例中，用户设备406可以包括移动设备，诸如移动电话、平板计算机、可穿戴计算机、膝上型计算机、虚拟现实耳机、车辆(例如，汽车、船艇、飞机或任何其他合适的车辆)信息或娱乐系统和/或任何其他合适的移动设备和/或任何合适的非移动设备(例如，台式计算机、游戏机和/或任何其他合适的非移动设备)。作为另一示例，在一些实施例中，用户设备406可以包括媒体回放设备，诸如电视、投影仪设备、游戏机、台式计算机和/或任何其他合适的非移动设备。
在其中用户设备406是用户佩戴的头戴式显示设备的更特定示例中，用户设备406可以包括连接到便携式手持电子设备的头戴式显示设备。便携式手持电子设备可以是例如控制器、智能电话、操纵杆或可以与头戴式显示设备配对并与之通信的另一便携式手持电子设备，以在由头戴式显示设备生成的沉浸式环境中进行交互，并且例如在头戴式显示设备的显示器上显示给用户。
应注意，便携式手持式电子设备可以经由例如有线连接或无线连接——诸如，例如，WiFi或蓝牙连接——与头戴式显示设备可操作地耦合或与之配对。便携式手持电子设备和头戴式显示设备的这种配对或可操作的耦合可以提供便携式手持式电子设备和头戴式显示设备之间的通信以及便携式手持式电子设备和头戴式显示设备之间的数据交换。例如，这可以允许便携式手持电子设备用作与头戴式显示设备通信的控制器，以在由头戴式显示设备生成的沉浸式虚拟环境中进行交互。例如，可以将对便携式手持电子设备的操纵和/或在便携式手持电子设备的触摸表面上接收的输入和/或便携式手持电子设备的移动转换成由头戴式显示设备生成和显示的虚拟环境中的对应的选择、或者移动或其他类型的交互。
还应注意，在一些实施例中，便携式手持电子设备可包括壳体，设备的内部组件容纳在该壳体中。可以在壳体上提供用户可访问的用户接口。用户接口可以包括例如配置为接收用户触摸输入、触摸和拖动输入等的触敏表面。用户接口还可包括用户操纵设备，诸如，例如，致动触发器、按钮、旋钮、拨动开关、操纵杆等。
应进一步注意，在一些实施例中，头戴式显示设备可包括耦合至框架的壳体，其中音频输出设备包括例如也耦合至框架的耳机中安装的扬声器。例如，壳体的前部可以旋转离开壳体的基部，使得容纳在壳体中的组件中的一些是可见的。显示器可以安装在壳体的前部的面向内部的侧面上。在一些实施例中，可以将镜头安装在壳体中，当前部处于抵靠壳体的基部的关闭位置时，在用户的眼睛和显示器之间。头戴式显示设备可以包括：感测系统，其包括各种传感器；以及控制系统，其包括处理器和各种控制系统设备，以促进头戴式显示设备的操作。
例如，在一些实施例中，感测系统可包括惯性测量单元，该惯性测量单元包括各种不同类型的传感器，诸如，例如，加速度计、陀螺仪、磁力计和其他此类传感器。可以基于由包括在惯性测量单元中的传感器提供的数据来检测和跟踪头戴式显示装置的位置和定向。继而，所检测的头戴式显示设备的位置和定向可以允许系统检测和跟踪用户的头部注视方向和头部注视移动以及与头戴式显示设备的位置和定向有关的其他信息。
在一些实施方式中，头戴式显示设备可以包括注视跟踪设备，该注视跟踪设备包括例如一个或多个传感器，以检测和跟踪眼睛注视方向和移动。由传感器捕获的图像可以被处理以检测和跟踪用户的眼睛注视的方向和移动。所检测和跟踪的眼睛注视可以作为用户输入进行处理，以转换为沉浸式虚拟体验中的相应交互。相机可以捕获静止和/或移动图像，该静止和/或移动图像可以用于帮助跟踪与头戴式显示设备通信/可操作地耦合的用户和/或其他外部设备的物理位置。所捕获的图像也可以以直通模式在显示器上显示给用户。
尽管将内容服务器402图示为一个设备，但是，在一些实施例中，可以使用任何合适数量的设备来执行由内容服务器402执行的功能。例如，在一些实施例中，可以使用多个设备来实现由内容服务器402执行的功能。在更特定的示例下，在一些实施例中，第一内容服务器可以存储媒体内容项并响应对媒体内容的请求，第二内容服务器可以生成与所请求的媒体内容项相对应的虚拟对象的缩略图表示。
尽管在图4中示出了两个用户设备408和410以避免使附图过于复杂，但是，在一些实施例中，可以使用任何合适数量的用户设备和/或任何合适类型的用户设备。
在一些实施例中，内容服务器402和用户设备406可以使用任何合适的硬件来实现。例如，在一些实施例中，可以使用任何合适的通用计算机或专用计算机来实现设备402和406。例如，可以使用专用计算机来实现移动电话。任何这样的通用计算机或专用计算机可以包括任何合适的硬件。例如，如在图5的示例硬件500中所图示的，这样的硬件可以包括硬件处理器502、存储器和/或存储装置504、输入设备控制器506、输入设备508、显示/音频驱动器510、显示和音频输出电路512、通信接口514、天线516和总线518。
在一些实施例中，硬件处理器502可以包括任何合适的硬件处理器，诸如微处理器、微控制器、数字信号处理器、专用逻辑和/或任何其他合适的电路，以控制通用计算机或专用计算机的运行。在一些实施例中，硬件处理器502可以由存储在服务器(例如，诸如内容服务器402)的存储器和/或存储504中的服务器程序控制。例如，在一些实施例中，服务器程序可以使硬件处理器502向用户设备206传输媒体内容项，传输用于将视频流呈现渲染为沉浸式视频内容和/或执行任何其他合适的动作的指令。在一些实施例中，硬件处理器502可以由存储在用户设备406的存储器和/或存储504中的计算机程序控制。例如，计算机程序可以使硬件处理器502将视频流渲染为沉浸式视频内容和/或执行任何其他合适的动作。
在一些实施例中，存储器和/或存储504可以是用于存储程序、数据、媒体内容和/或任何其他合适的信息的任何合适的存储器和/或存储。例如，存储器和/或存储504可以包括随机存取存储器、只读存储器、闪存、硬盘存储器、光学介质和/或任何其他合适的存储器。
在一些实施例中，输入设备控制器506可以是用于控制和接收来自一个或多个输入设备508的输入的任何合适的电路。例如，输入设备控制器506可以是用于接收来自触摸屏、来自键盘、来自鼠标、来自一个或多个按钮、来自语音识别电路、来自麦克风、来自相机、来自光学传感器、来自加速度计、来自温度传感器、来自近场传感器和/或任何其他类型的输入设备的输入的电路。
在一些实施例中，显示/音频驱动器510可以是用于控制和驱动到一个或多个显示/音频输出设备512的输出的任何合适的电路。例如，显示/音频驱动器510可以是用于驱动触摸屏、平板显示器、阴极射线管显示器、投影仪、一个或多个扬声器和/或任何其他合适的显示和/或呈现设备的电路。
通信接口514可以是用于与一个或多个诸如图4所示的网络404的通信网络接合的任何合适的电路。例如，接口514可以包括网络接口卡电路、无线通信电路和/或任何其他合适类型的通信网络电路。
在一些实施例中，天线516可以是用于与通信网络(例如，通信网络204)无线通信的任何合适的一个或多个天线。在一些实施例中，可以省略天线516。
在一些实施例中，总线518可以是用于在两个或更多个组件502、504、506、510和514之间进行通信的任何合适的机制。
根据一些实施例，任何其他合适的组件可以被包括在硬件500中。
在一些实施例中，图1的过程的上述框中的至少一些可以以不限于在附图中示出并结合附图描述的顺序和次序的任何顺序或次序来实行或执行。同样，图1的上述框中的一些在合适时可以基本同时实行或执行，或并行实行或执行，以减少时延和处理时间。另外或可替代地，可以省略图1的过程的上述框中的一些。
在一些实施例中，任何合适的计算机可读介质可以用于存储用于执行本文的功能和/或过程的指令。例如，在一些实施例中，计算机可读介质可以是暂时性的或非暂时性的。例如，非暂时性计算机可读介质可以包括介质，诸如，非暂时性形式的磁性介质(诸如硬盘、软盘和/或任何其他合适的磁性介质)、非暂时性形式的光学介质(诸如光盘、数字视频光盘、蓝光光盘和/或其他任何合适的光学介质)、非暂时性形式的半导体介质(诸如闪存、电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)和/或任何其他合适的半导体介质)、在传输期间不是短暂的或缺乏永久性的任何表相的合适的介质和/或任何合适的有形介质。作为另一示例，暂时性计算机可读介质可以包括网络、电线、导体、光纤、电路、在传输期间短暂且缺乏永久性的任何表相的任何合适的介质和/或任何合适的无形介质中的信号。
在本文描述的系统收集有关用户的个人信息或利用个人信息的情况下，可以为用户提供控制程序或功能是否收集用户信息(例如，有关用户社交网络、社交动作或活动、职业、用户的偏好或用户的当前位置的信息)的机会。另外，在存储或使用某些数据之前，可能会以一种或多种方式处理某些数据，以便删除个人信息。例如，可以对户的身份进行处理，使得无法针对该用户确定任何个人身份信息，或者可以在获得位置信息的情况下将用户的地理位置概括化(诸如，概括化为城市、邮政编码或州级别)，使得无法确定用户的特定位置。因此，用户可以控制如何收集有关用户的信息以及如何由内容服务器使用有关用户的信息。
因此，提供了用于沉浸式环境中的对象分组和操纵的方法、系统和介质。
尽管已经在前述说明性实施例中描述和说明了本发明，但是应该理解，本公开仅是通过示例的方式进行的，并且在不脱离本发明的精神和范围的情况下，可以对本发明的实施方式的细节进行许多改变，本发明的精神和范围仅由所附权利要求书限定。所公开的实施例的特征可以以各种方式组合和重新排列。

Claims (21)

1.一种用于与沉浸式视频内容交互的方法，包括：
在沉浸式环境中显示多个视频对象；
经由第一输入，检测到第一视频对象已经被虚拟地定位在第二视频对象上方；
响应于检测到所述第一视频对象已经被虚拟地定位在所述第二视频对象上方，生成包括所述第一视频对象和所述第二视频对象的组视频对象，其中，所述组视频对象包括用于与所述组视频对象交互的手柄接口元素和表示所述第一视频对象和所述第二视频对象的可选指示符；
在所述沉浸式环境中显示随所述手柄接口元素和所述可选指示符一起的所述组视频对象、以及一个或多个剩余的视频对象，其中，在所述沉浸式环境内所述组视频对象替换所述第一视频对象和所述第二视频对象；以及
响应于检测到对所述可选指示符的选择，显示用于与所述组视频对象交互的用户界面。
2.根据权利要求1所述的方法，其中，所述沉浸式环境是在物理环境中操作的头戴式显示设备中生成的虚拟现实环境，并且其中，所述手柄接口元素是通过检测在所述虚拟现实环境中由手部执行的抓握手势来交互的三维手柄元素。
3.根据权利要求1所述的方法，其中，所述第一视频对象由第一缩略图表示来表示，所述第二视频对象由第二缩略图表示来表示，并且所述组视频对象由堆叠缩略图表示来表示，其中，(i)所述第一缩略图表示和所述第二缩略图表示被自动对齐以生成所述堆叠缩略图表示，并且(ii)响应于检测到所述第一视频对象被交互并且被虚拟地定位在所述第二视频对象上方，所述第一缩略图表示处于所述堆叠缩略图表示的顶部位置。
4.根据权利要求1所述的方法，其中，所述可选指示符指示包含在所述组视频对象中的视频对象的数量。
5.根据权利要求1所述的方法，其中，所述用户界面包括用于创建播放列表的选项，所述播放列表包括所述组视频对象中的所述第一视频对象和所述第二视频对象，并且其中，在选择所述组视频对象之后，所述第一视频对象和所述第二视频对象在所述沉浸式环境中被回放。
6.根据权利要求1所述的方法，其中，所述用户界面包括用于重新排列与所述组视频对象相关联的至少所述第一视频对象和所述第二视频对象的顺序的选项。
7.根据权利要求1所述的方法，其中，所述用户界面包括用于从所述组视频对象中移除所述第一视频对象和所述第二视频对象中的至少一个的选项。
8.根据权利要求1所述的方法，其中，所述用户界面包括用于从所述沉浸式环境中移除所述组视频对象以及所述第一视频对象和所述第二视频对象的选项。
9.根据权利要求1至8中的任一项所述的方法，进一步包括：响应于检测到与所述手柄接口元素的特定手部交互，使包括在所述组视频对象内的视频对象网格被呈现，其中，所述视频对象网格中的每个视频对象是能够修改的。
10.根据权利要求1至8中的任一项所述的方法，进一步包括：响应于检测到与所述手柄接口元素的特定手部交互，使所述组视频对象以及所述第一视频对象和所述第二视频对象从所述沉浸式环境中被移除。
11.一种用于与沉浸式视频内容交互的系统，所述系统包括：
存储器；和
硬件处理器，所述硬件处理器当执行存储在所述存储器中的计算机可执行指令时，被配置为：
在沉浸式环境中显示多个视频对象；
经由第一输入，检测到第一视频对象已经被虚拟地定位在第二视频对象上方；
响应于检测到所述第一视频对象已经被虚拟地定位在所述第二视频对象上方，生成包括所述第一视频对象和所述第二视频对象的组视频对象，其中，所述组视频对象包括用于与所述组视频对象交互的手柄接口元素和表示所述第一视频对象和所述第二视频对象的可选指示符；
在所述沉浸式环境中显示随所述手柄接口元素和所述可选指示符一起的所述组视频对象、以及一个或多个剩余的视频对象，其中，在所述沉浸式环境内所述组视频对象替换所述第一视频对象和所述第二视频对象；以及
响应于检测到对所述可选指示符的选择，显示用于与所述组视频对象交互的用户界面。
12.根据权利要求11所述的系统，其中，所述沉浸式环境是在物理环境中操作的头戴式显示设备中生成的虚拟现实环境，并且其中，所述手柄接口元素是通过检测在所述虚拟现实环境中由手部执行的抓握手势来交互的三维手柄元素。
13.根据权利要求11所述的系统，其中，所述第一视频对象由第一缩略图表示来表示，所述第二视频对象由第二缩略图表示来表示，并且所述组视频对象由堆叠缩略图表示来表示，其中，(i)所述第一缩略图表示和所述第二缩略图表示被自动对齐以生成所述堆叠缩略图表示，并且(ii)响应于检测到所述第一视频对象被交互并被虚拟地定位在所述第二视频对象上方，所述第一缩略图表示处于所述堆叠缩略图表示的顶部位置。
14.根据权利要求11所述的系统，其中，所述可选指示符指示包含在所述组视频对象中的视频对象的数量。
15.根据权利要求11所述的系统，其中，所述用户界面包括用于创建播放列表的选项，所述播放列表包括所述组视频对象中的所述第一视频对象和所述第二视频对象，并且其中，在选择所述组视频对象之后，所述第一视频对象和所述第二视频对象在所述沉浸式环境中被回放。
16.根据权利要求11所述的系统，其中，所述用户界面包括用于重新排列与所述组视频对象相关联的至少所述第一视频对象和所述第二视频对象的顺序的选项。
17.根据权利要求11所述的系统，其中，所述用户界面包括用于从所述组视频对象中移除所述第一视频对象和所述第二视频对象中的至少一个的选项。
18.根据权利要求11所述的系统，其中，所述用户界面包括用于从所述沉浸式环境中移除所述组视频对象以及所述第一视频对象和所述第二视频对象的选项。
19.根据权利要求11至18中的任一项所述的系统，其中，所述硬件处理器进一步被配置为：响应于检测到与所述手柄接口元素的特定手部交互，使得包括在所述组视频对象内的视频对象网格被呈现，其中，所述视频对象网格中的每个视频对象是能够修改的。
20.根据权利要求11至18中的任一项所述的系统，其中，所述硬件处理器进一步被配置为：响应于检测到与所述手柄接口元素的特定手部交互，使所述组视频对象以及所述第一视频对象和所述第二视频对象从所述沉浸式环境中被移除。
21.一种包含计算机可执行指令的非暂时性计算机可读介质，所述计算机可执行指令在由处理器执行时使所述处理器执行用于与沉浸式视频内容交互的方法，所述方法包括：
在沉浸式环境中显示多个视频对象；
经由第一输入，检测到第一视频对象已经被虚拟地定位在第二视频对象上方；
响应于检测到所述第一视频对象已经被虚拟地定位在所述第二视频对象上方，生成包括所述第一视频对象和所述第二视频对象的组视频对象，其中，所述组视频对象包括用于与所述组视频对象交互的手柄接口元素和表示所述第一视频对象和所述第二视频对象的可选指示符；
在所述沉浸式环境中显示随所述手柄接口元素和所述可选指示符一起的所述组视频对象、以及一个或多个剩余的视频对象，其中，在所述沉浸式环境内所述组视频对象替换所述第一视频对象和所述第二视频对象；以及
响应于检测到对所述可选指示符的选择，显示用于与所述组视频对象交互的用户界面。
CN201980005556.0A 2019-05-22 2019-05-22 用于沉浸式环境中对象分组和操纵的方法、系统和介质 Active CN112292726B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210120150.0A CN114582377A (zh) 2019-05-22 2019-05-22 用于沉浸式环境中对象分组和操纵的方法、系统和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2019/033529 WO2020236171A1 (en) 2019-05-22 2019-05-22 Methods, systems, and media for object grouping and manipulation in immersive environments

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210120150.0A Division CN114582377A (zh) 2019-05-22 2019-05-22 用于沉浸式环境中对象分组和操纵的方法、系统和介质

Publications (2)

Publication Number Publication Date
CN112292726A CN112292726A (zh) 2021-01-29
CN112292726B true CN112292726B (zh) 2022-02-22

Family

ID=66912920

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210120150.0A Pending CN114582377A (zh) 2019-05-22 2019-05-22 用于沉浸式环境中对象分组和操纵的方法、系统和介质
CN201980005556.0A Active CN112292726B (zh) 2019-05-22 2019-05-22 用于沉浸式环境中对象分组和操纵的方法、系统和介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210120150.0A Pending CN114582377A (zh) 2019-05-22 2019-05-22 用于沉浸式环境中对象分组和操纵的方法、系统和介质

Country Status (4)

Country Link
US (3) US11297366B2 (zh)
EP (2) EP4170654A1 (zh)
CN (2) CN114582377A (zh)
WO (1) WO2020236171A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110825289A (zh) * 2019-10-31 2020-02-21 北京字节跳动网络技术有限公司 操作用户界面的方法、装置、电子设备及存储介质
US11182136B1 (en) * 2020-08-20 2021-11-23 Ebay Inc. Control bar for element activation
US11695971B2 (en) * 2020-10-15 2023-07-04 Prezi, Inc. Real-time video feed presentation enhancement system
CN112395022B (zh) * 2020-11-04 2023-08-08 北京字节跳动网络技术有限公司 信息显示方法、装置、电子设备及计算机可读存储介质
US20240103684A1 (en) * 2022-09-23 2024-03-28 Apple Inc. Methods for displaying objects relative to virtual surfaces

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107632705A (zh) * 2017-09-07 2018-01-26 歌尔科技有限公司 沉浸式交互方法、设备、系统及虚拟现实设备
CN109407821A (zh) * 2017-08-18 2019-03-01 奥多比公司 与虚拟现实视频的协作交互

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8713439B2 (en) * 2006-12-15 2014-04-29 Yahoo! Inc. Systems and methods for providing a video playlist
KR20120012541A (ko) * 2010-08-02 2012-02-10 삼성전자주식회사 터치 디바이스에서 폴더 운용 방법 및 장치
KR101752897B1 (ko) * 2010-09-30 2017-06-29 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US9317835B2 (en) * 2011-03-08 2016-04-19 Bank Of America Corporation Populating budgets and/or wish lists using real-time video image analysis
CN102799343B (zh) * 2011-05-27 2016-08-24 阿里巴巴集团控股有限公司 一种显示索引图标内容的方法和装置
US9367136B2 (en) * 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US9965800B1 (en) * 2013-07-12 2018-05-08 Amazon Technologies, Inc. Display of an electronic representation of a physical object in a virtual environment
KR20150012010A (ko) * 2013-07-24 2015-02-03 조용보 사용자 단말에 표시되는 아이콘 그룹핑 수행장치, 수행방법 및 그 기록매체
JP6277626B2 (ja) * 2013-08-08 2018-02-14 株式会社リコー 再生システム、再生制御システム、情報端末、表示装置、再生制御プログラム及び再生制御方法
CN103970414B (zh) * 2014-03-18 2017-06-13 深圳市艾优尼科技有限公司 一种管理应用程序图标的方法及终端
WO2016018287A1 (en) * 2014-07-30 2016-02-04 Hewlett-Packard Development Company, L.P. Interacting with user interface elements representing files
US10409457B2 (en) * 2014-10-06 2019-09-10 Zynga Inc. Systems and methods for replenishment of virtual objects based on device orientation
US20160330522A1 (en) * 2015-05-06 2016-11-10 Echostar Technologies L.L.C. Apparatus, systems and methods for a content commentary community
JP6344311B2 (ja) * 2015-05-26 2018-06-20 ソニー株式会社 表示装置、情報処理システム及び制御方法
US10101803B2 (en) 2015-08-26 2018-10-16 Google Llc Dynamic switching and merging of head, gesture and touch input in virtual reality
US11010972B2 (en) * 2015-12-11 2021-05-18 Google Llc Context sensitive user interface activation in an augmented and/or virtual reality environment
KR20170081366A (ko) * 2016-01-04 2017-07-12 엘지전자 주식회사 이동 단말기
EP3206121A1 (en) * 2016-02-09 2017-08-16 Nokia Technologies Oy Methods and apparatuses relating to the handling of visual virtual reality content
US10802695B2 (en) * 2016-03-23 2020-10-13 Youar Inc. Augmented reality for the internet of things
US10509487B2 (en) * 2016-05-11 2019-12-17 Google Llc Combining gyromouse input and touch input for navigation in an augmented and/or virtual reality environment
KR101871751B1 (ko) * 2016-09-28 2018-08-02 주식회사 엔씨소프트 디스플레이 디바이스 및 그 제어 방법
US10754529B2 (en) * 2016-10-28 2020-08-25 Adobe Inc. Facilitating editing of virtual-reality content using a virtual-reality headset
US20180130264A1 (en) * 2016-11-04 2018-05-10 Arnoovo Inc. Virtual reality editor
US10147460B2 (en) 2016-12-28 2018-12-04 Immersion Corporation Haptic effect generation for space-dependent content
US20180204276A1 (en) * 2017-01-17 2018-07-19 David M. Tumey Brain actuated control of an e-commerce application
US20180231973A1 (en) * 2017-02-16 2018-08-16 Wal-Mart Stores, Inc. System and Methods for a Virtual Reality Showroom with Autonomous Storage and Retrieval
US10768693B2 (en) * 2017-04-19 2020-09-08 Magic Leap, Inc. Multimodal task execution and text editing for a wearable system
EP4235263A3 (en) 2017-09-29 2023-11-29 Apple Inc. Gaze-based user interactions
WO2019084325A1 (en) * 2017-10-27 2019-05-02 Magic Leap, Inc. VIRTUAL RETICLE FOR INCREASED REALITY SYSTEMS
KR102354274B1 (ko) * 2017-11-17 2022-01-20 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 Vr 시나리오에서의 롤 플레이 시뮬레이션 방법 및 단말 기기
US10671239B2 (en) * 2017-12-18 2020-06-02 Sony Interactive Entertainment America Llc Three dimensional digital content editing in virtual reality
US10606364B2 (en) * 2018-06-14 2020-03-31 Dell Products, L.P. Two-handed gesture sequences in virtual, augmented, and mixed reality (xR) applications
JP7236529B2 (ja) * 2019-03-18 2023-03-09 マクセル株式会社 ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム
US11354728B2 (en) * 2019-03-24 2022-06-07 We.R Augmented Reality Cloud Ltd. System, device, and method of augmented reality based mapping of a venue and navigation within a venue

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109407821A (zh) * 2017-08-18 2019-03-01 奥多比公司 与虚拟现实视频的协作交互
CN107632705A (zh) * 2017-09-07 2018-01-26 歌尔科技有限公司 沉浸式交互方法、设备、系统及虚拟现实设备

Also Published As

Publication number Publication date
US20220191570A1 (en) 2022-06-16
US11627360B2 (en) 2023-04-11
EP3759711A1 (en) 2021-01-06
US20230209118A1 (en) 2023-06-29
EP3759711B1 (en) 2023-01-04
CN112292726A (zh) 2021-01-29
CN114582377A (zh) 2022-06-03
US20210352348A1 (en) 2021-11-11
US11297366B2 (en) 2022-04-05
WO2020236171A1 (en) 2020-11-26
EP4170654A1 (en) 2023-04-26

Similar Documents

Publication Publication Date Title
CN112292726B (zh) 用于沉浸式环境中对象分组和操纵的方法、系统和介质
US10671239B2 (en) Three dimensional digital content editing in virtual reality
CN108604175B (zh) 装置和关联方法
NL2004670C2 (nl) Werkwijze voor multimodale afstandsbediening.
US11380021B2 (en) Image processing apparatus, content processing system, and image processing method
US20120102438A1 (en) Display system and method of displaying based on device interactions
US20090262091A1 (en) Information Processing Apparatus and Vibration Control Method in Information Processing Apparatus
EP2558924B1 (en) Apparatus, method and computer program for user input using a camera
WO2012066591A1 (ja) 電子機器、メニュー表示方法、コンテンツ画像表示方法、機能実行方法
JP2015501468A (ja) 多次元インターフェース
US11825177B2 (en) Methods, systems, and media for presenting interactive elements within video content
CN106796810B (zh) 在用户界面上从视频选择帧
US20120075267A1 (en) Information processing apparatus capable of associating data with each other, information processing system, and storage medium storing information processing program
CN116301485A (zh) 一种图标显示方法及其装置
US11474661B2 (en) Methods, systems, and media for presenting media content previews
EP2341412A1 (en) Portable electronic device and method of controlling a portable electronic device
JP2020135130A (ja) 画像表示装置、画像表示装置の制御方法及びプログラム
US12001645B2 (en) Methods, systems, and media for presenting media content previews
JP2024025272A (ja) 情報処理装置、情報処理方法、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant