CN113796088A - 基于观众参与的内容生成 - Google Patents

基于观众参与的内容生成 Download PDF

Info

Publication number
CN113796088A
CN113796088A CN202080034398.4A CN202080034398A CN113796088A CN 113796088 A CN113796088 A CN 113796088A CN 202080034398 A CN202080034398 A CN 202080034398A CN 113796088 A CN113796088 A CN 113796088A
Authority
CN
China
Prior art keywords
audience
implementations
content
engagement level
engagement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080034398.4A
Other languages
English (en)
Inventor
J·格里斯利
P·M·西蒙斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN113796088A publication Critical patent/CN113796088A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/33—Arrangements for monitoring the users' behaviour or opinions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/252—Processing of multiple end-users' preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本文所公开的各种具体实施包括用于执行基于观众参与的内容生成的设备、系统和方法。在一些具体实施中，一种方法包括呈现内容的第一部分。在呈现所述内容的第一部分的同时，针对包括多个人的观众获取参与数据。基于参与数据，针对内容的第一部分确定观众的总体参与水平。基于针对内容的第一部分的观众的总体参与水平来调整内容的尚未被呈现的第二部分，以便满足参与阈值。在调整内容的第二部分之后，将内容的第二部分呈现给观众。

Description

基于观众参与的内容生成
相关申请的交叉引用
本申请要求于2019年9月27日提交的美国临时专利申请第62/906,789号的权益，该申请全文以引用方式并入。
技术领域
本公开整体涉及计算机生成的图形和内容的生成。
背景技术
一些设备能够生成并呈现扩展现实(XR)内容，该XR内容是物理事物的模拟替换或物理事物的修改型式。有时，内容的定时和呈现是预先确定的。有时，内容的定时和呈现受从用户获取的运行时输入的影响。
附图说明
因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。
图1示出了用于在包括虚拟现实和混合现实的各种计算机扩展现实技术中使用的示例性系统。
图2示出了根据各种具体实施的执行内容生成的示例性系统。
图3A是根据一些具体实施的示例性内容生成设备的框图。
图3B是根据一些具体实施的形成图3A的内容生成设备的一部分的神经网络的框图。
图4A至图4C是根据一些具体实施的用于执行内容生成的方法的流程图表示。
图5是根据一些具体实施的服务器系统的框图。
根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。
发明内容
本文所公开的各种具体实施包括用于执行基于观众参与的内容生成的设备、系统和方法。在各种具体实施中，一种设备包括非暂态存储器以及与非暂态存储器耦接的一个或多个处理器。在一些具体实施中，一种方法包括呈现内容的第一部分。在呈现所述内容的第一部分的同时，针对包括多个人的观众获取参与数据。基于参与数据，针对内容的第一部分确定观众的总体参与水平。基于针对内容的第一部分的观众的总体参与水平来调整内容的尚未被呈现的第二部分，以便满足参与阈值。在调整内容的第二部分之后，将内容的第二部分呈现给观众。
根据一些具体实施，设备包括一个或多个处理器、非暂态存储器以及一个或多个程序。在一些具体实施中，一个或多个程序存储在非暂态存储器中并由一个或多个处理器执行。在一些具体实施中，一个或多个程序包括用于执行或促使执行本文描述的任何方法的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，该指令当由设备的一个或多个处理器执行时使该设备执行或导致执行本文所述方法中的任一种。根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器，以及用于执行或导致执行本文所述方法中的任一种的装置。
具体实施方式
描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。
呈现XR布景的一些设备在呈现由多人一次观看的XR内容方面是无效的。例如，当多个人一起观看设备上的内容时，一些设备不能产生足够的感官刺激以保持观众中所有人的兴趣。
在一些具体实施中，设备生成并呈现内容的第一部分。该设备可以确定包括观看内容的多个人的观众的总体参与水平，并基于该总体参与水平修改内容。在一些具体实施中，通过对个体参与水平进行平均来确定总体参与水平。
可通过监测一个或多个量度来确定个体参与水平。这些量度可以包括例如观众中的一个或多个成员的面部表情、观众中的一个或多个成员所产生的发声或其他声音、来自输入设备的输入、观众中的一个或多个成员所表现出的身体姿势或移动，和/或成员进入和/离开观众中。
本公开提供了用于执行基于观众参与的内容生成的方法、系统和/或设备。在各种具体实施中，一种设备包括非暂态存储器以及与非暂态存储器耦接的一个或多个处理器。在一些具体实施中，一种方法包括呈现内容的第一部分。在呈现所述内容的第一部分的同时，针对包括多个人的观众获取参与数据。基于参与数据，针对内容的第一部分确定观众的总体参与水平。基于针对内容的第一部分的观众的总体参与水平来调整内容的尚未被呈现的第二部分，以便满足参与阈值。在调整内容的第二部分之后，将内容的第二部分呈现给观众。
在一些具体实施中，在试错法的基础上修改内容。例如，设备可继续修改内容，直到总体参与水平满足参与阈值。
在一些具体实施中，基于在内容的先前部分期间与观众成员相关联的参与数据(例如，面部表情)来修改内容。例如，如果总体参与数据指示观众成员在看到特定角色(例如，特定角色目标实现器的XR表示)时看起来很愉快，则设备可修改内容以使该角色在内容的剩余部分中发挥更大的作用(例如，具有更多的屏幕时间)(例如，通过为该角色目标实现器生成更多动作)。相反地，如果总体参与数据指示观众成员在看到特定角色时看起来不愉快，则设备可修改内容以减少该角色在内容的剩余部分中的屏幕时间(例如，通过为该角色目标实现器生成更少动作)。
描述了用于与各种扩展现实技术相关地使用此类系统的电子系统和技术的各种示例。
物理布景是人们可在不使用电子系统的情况下感测和/或交互的世界中的那些布景。例如，房间是包括物理元素诸如物理椅子、物理桌子、物理灯等的物理布景。人可通过直接触觉、味觉、视觉、嗅觉和听觉来感测物理布景的这些物理元素并与这些物理元素进行交互。
与物理布景相比，扩展现实(XR)布景是指部分或完全使用计算机产生的内容生成的计算机产生的环境。虽然人可使用各种电子系统与XR布景进行交互，但这种交互利用各种电子传感器来监视人的动作，并将那些动作转换为XR布景中的对应动作。例如，如果XR系统检测到人物正向上看，则XR系统可以改变其图形和音频输出，从而以与向上移动一致的方式呈现XR内容。XR布景可结合物理定律来模拟物理布景。
XR的概念包括虚拟现实(VR)和增强现实(AR)。XR的概念还包括混合现实(MR)，其有时用于指代一端的物理布景(但不包括物理布景)与另一端的VR之间的现实的范围。XR的概念还包括增强虚拟(AV)，其中虚拟或计算机产生的布景集成了来自物理布景的感官输入。这些输入可表示物理布景的特征。例如，虚拟对象能够以使用图像传感器从物理布景捕获的颜色来显示。又如，AV布景可以采用物理布景的当前天气状况。
一些用于实现XR的电子系统与不透明显示器和用于捕获物理布景的视频和/或图像的一个或多个成像传感器一起操作。在一些具体实施中，当系统捕获物理布景的图像并且使用所捕获的图像在不透明显示器上显示物理布景的表示时，所显示的图像被称为视频透传。用于实现XR的一些电子系统与可为透明或半透明的光学透视显示器(并且任选地与一个或多个成像传感器)一起操作。此类显示器允许人通过显示器直接查看物理布景，并且允许通过将内容叠加在物理布景的光学直通部上而将虚拟内容添加到人的视场中。用于实现XR的一些电子系统与将虚拟对象投影到物理布景上的投影系统一起操作。例如，投影仪可将全息图呈现到物理布景上，或者可将图像投影到物理表面上，或者可投影到人的眼睛(例如，视网膜)上。
提供XR布景的电子系统可具有各种形状因数。智能电话或平板电脑可结合成像和显示部件以呈现XR布景。可头戴系统可包括成像和显示部件以呈现XR布景。这些系统可提供用于生成XR布景的计算资源，并且可彼此结合工作以生成和/或呈现XR布景。例如，智能电话或平板电脑可与头戴式显示器连接以呈现XR布景。又如，计算机可与家庭娱乐部件或车辆系统连接以提供车载显示器或平视显示器。显示XR布景的电子系统可利用显示技术，诸如LED、OLED、QD-LED、硅基液晶、激光扫描光源、数字光投影仪或它们的组合。显示技术可采用透射光的基板，包括光波导、全息基板、光学反射器和合路器或它们的组合。
在一些具体实施中，电子设备包括与非暂态存储器一起工作的一个或多个处理器。在一些具体实施中，非暂态存储器存储由一个或多个处理器执行的可执行指令的一个或多个程序。在一些具体实施中，可执行指令执行本文所述的技术和过程。根据一些具体实施，计算机(可读)存储介质具有指令，当由电子设备的一个或多个处理器执行时，这些指令使得该电子设备执行或使得执行本文所述的技术和过程中的任一种技术和过程。计算机(可读)存储介质是非暂态的。在一些具体实施中，设备包括一个或多个处理器、非暂态存储器和用于执行或使得执行本文所述的技术和过程中的任一种技术和过程的装置。
头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置为接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理布景的图像或视频的一个或多个成像传感器和/或用于捕获物理布景的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个具体实施中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理布景中，例如作为全息图或投影在物理表面上。
根据一些具体实施，设备包括一个或多个处理器、非暂态存储器以及一个或多个程序。在一些具体实施中，一个或多个程序存储在非暂态存储器中并由一个或多个处理器执行。在一些具体实施中，一个或多个程序包括用于执行或促使执行本文描述的任何方法的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，该指令当由设备的一个或多个处理器执行时使该设备执行或导致执行本文所述方法中的任一种。根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器，以及用于执行或导致执行本文所述方法中的任一种的装置。
图1示出了根据一些具体实施的示例性操作环境100。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，操作环境100包括电子设备102和控制器104。在一些具体实施中，电子设备102是或包括智能电话、平板电脑、膝上型计算机和/或台式计算机。电子设备102可由用户106a、106b或106c(为简明起见，统称为一个或多个用户106)穿戴或携带。
如图1所示，电子设备102呈现扩展现实(XR)布景108。在一些具体实施中，XR布景108由电子设备102和/或控制器104生成。在一些具体实施中，XR布景108包括虚拟布景，该虚拟布景是物理布景的模拟替换。例如，XR布景108可由电子设备102和/或控制器104模拟。在此类具体实施中，XR布景108不同于电子设备102所在的物理布景。
在一些具体实施中，XR布景108包括作为物理布景的修改型式的增强布景。例如，在一些具体实施中，电子设备102和/或控制器104修改(例如，增强)电子设备102所在的物理布景以便生成XR布景108。在一些具体实施中，电子设备102和/或控制器104通过模拟电子设备102所在的物理布景的副本来生成XR布景108。在一些具体实施中，电子设备102和/或控制器104通过从电子设备102所在的物理布景的模拟副本中移除和/或向其中添加项目来生成XR布景108。
在一些具体实施中，XR布景108包括各种目标实现器的XR表示，诸如角色表示110a、角色表示110b、机器人表示112和无人机表示114。在一些具体实施中，目标实现器表示来自虚构材料诸如电影、视频游戏、漫画和小说的角色。例如，角色表示110a可表示来自虚构漫画的角色，并且角色表示110b表示来自虚构视频游戏的角色的行为并对其行为进行建模。在一些具体实施中，XR布景108包括表示来自不同虚构材料(例如，来自不同电影/游戏/漫画/小说)的角色的目标实现器。在各种具体实施中，目标实现器对对应实体(例如，有形对象或虚构对象)的行为进行建模。例如，在一些具体实施中，目标实现器对装备(例如，诸如飞机、坦克、机器人、汽车等机械)的行为进行建模。在图1的示例中，机器人表示112对机器人的行为进行建模，并且无人机表示114对无人机的行为进行建模。在一些具体实施中，目标实现器表示来自虚构材料的实体(例如，角色或装备)。在一些具体实施中，目标实现器表示来自物理布景的实体，包括位于XR布景108内部和/或外部的实体。在一些具体实施中，目标实现器被称为虚拟智能代理(VIA)、智能代理或代理。
在各种具体实施中，目标实现器执行一个或多个动作。在一些具体实施中，目标实现器执行一系列动作。在一些具体实施中，电子设备102和/或控制器104确定目标实现器要执行的动作。在一些具体实施中，目标实现器的动作与虚构材料中对应实体(例如，虚构角色或虚构装备)执行的动作在一定程度内相似。在图1的示例中，角色表示110b正在执行施加魔咒的动作(例如，因为对应角色能够在虚构材料中施加魔咒)。在图1的示例中，无人机表示114正在执行悬停动作(例如，因为物理布景中的无人机能够悬停)。在一些具体实施中，电子设备102和/或控制器104获得目标实现器的动作。例如，在一些具体实施中，电子设备102和/或控制器104从确定(例如，选择)这些动作的远程服务器接收目标实现器的动作。
在各种具体实施中，目标实现器执行动作以便满足(例如，完成或实现)目标。在一些具体实施中，目标实现器与特定目标相关联，并且目标实现器执行改善满足该特定目标的可能性的动作。在一些具体实施中，目标实现器称为对象表示，例如，因为目标实现器表示各种对象(例如，物理布景中的对象或虚构对象)。在一些具体实施中，对角色的行为进行建模的目标实现器被称为角色目标实现器、虚拟角色或角色代理。在一些具体实施中，角色目标实现器执行动作以实现角色目标。在一些具体实施中，对设备的行为进行建模的目标实现器被称为装备目标实现器、虚拟装备或装备代理。在一些具体实施中，装备目标实现器执行动作以实现装备目标。在一些具体实施中，对环境的行为进行建模的目标实现器被称为环境目标实现器。在一些具体实施中，环境目标实现器执行环境动作以实现环境目标。
在一些具体实施中，基于来自用户106的用户输入生成XR布景108。例如，在一些具体实施中，移动设备(未示出)接收指示XR布景108的地形的用户输入。在此类具体实施中，电子设备102和/或控制器104配置XR布景108，使得XR布景108包括经由用户输入指示的地形。在一些具体实施中，该用户输入指示环境条件。在此类具体实施中，电子设备102和/或控制器104将XR布景108配置为具有由用户输入指示的环境条件。在一些具体实施中，环境条件包括温度、湿度、压力、可见度、环境光线水平、环境声音水平、一天中的时间(例如，上午、下午、晚上或夜间)和降水(例如，多云、降雨或降雪)中的一者或多者。
在一些具体实施中，基于来自用户106的用户输入来确定(例如，生成)目标实现器的动作。例如，在一些具体实施中，移动设备接收指示目标实现器的放置的用户输入。在此类具体实施中，电子设备102和/或控制器104根据用户输入所指示的放置来定位目标实现器。在一些具体实施中，用户输入指示允许目标实现器执行的特定动作。在此类具体实施中，电子设备102和/或控制器104从用户输入所指示的特定动作中选择目标实现器的动作。在一些具体实施中，电子设备102和/或控制器104放弃不在用户输入所指示的特定动作之中的动作。
在一些具体实施中，电子设备102和/或控制器104从XR内容源118接收现有XR内容116。XR内容116可包括待由一个或多个目标实现器执行以满足(例如，完成或实现)一个或多个目标的一个或多个动作。
在一些具体实施中，电子设备102和/或控制器104生成XR内容并向包括多个人的观众呈现XR内容。电子设备102和/或控制器104可以确定观看XR内容的观众的总体参与水平，并且基于该总体参与水平修改XR内容。在一些具体实施中，通过对个体参与水平进行平均来确定总体参与水平。
电子设备102和/或控制器104可通过获取参与数据来确定个体参与水平。在一些具体实施中，参与数据包括例如观众的一个或多个成员的面部表情、观众的一个或多个成员所产生的发声或其他声音、来自输入设备的输入、观众的一个或多个成员所表现出的身体姿势或移动，和/或成员进入和/或离开观众。在将XR内容的第一部分呈现给观众时，可以获取参与数据。基于参与数据，电子设备102和/或控制器104可以在呈现XR内容的第一部分期间确定观众的总体参与水平。
在一些具体实施中，电子设备102和/或控制器104基于在XR内容的第一部分的呈现期间确定的观众的总体参与水平来调整XR内容的未呈现给观众的第二部分。在调整XR内容的第二部分之后，电子设备102和/或控制器104可以向观众呈现XR内容的第二部分，以便满足参与阈值。
在一些具体实施中，电子设备102和/或控制器104在试错法基础上修改XR内容。例如，电子设备102和/或控制器104可以继续修改XR内容，直到总体参与水平满足参与阈值。又如，电子设备102和/或控制器104可以修改XR内容，确定修改对总体参与水平的影响，并且基于所确定的先前修改的影响再次修改XR内容。
在一些具体实施中，电子设备102和/或控制器104基于在XR内容的先前部分期间与观众成员相关联的参与数据(例如，面部表情)来修改XR内容。例如，如果总体参与数据指示观众成员在看到特定角色时看起来很愉快，则电子设备102和/或控制器104可修改XR内容以使该角色在XR内容的剩余部分中发挥更大的作用(例如，具有更多的屏幕时间)。例如，电子设备102和/或控制器104为表示角色行为并对其进行建模的角色目标实现器生成更多动作。相反，如果总体参与数据指示观众成员在看到特定角色时看起来不愉快，则电子设备102和/或控制器104可修改XR内容以减少该角色在XR内容的剩余部分中的屏幕时间。例如，电子设备102和/或控制器104为表示角色行为并对其进行建模的角色目标实现器生成较少动作。
在一些具体实施中，由用户穿戴的可头戴设备(HMD)根据各种具体实施分别呈现(例如，显示)扩展现实(XR)布景108。在一些具体实施中，每个HMD为其相应用户显示自定义XR布景108。例如，一个HMD可从第一用户的角度显示XR布景108，而另一个HMD可从第二用户的角度显示XR布景108。又如，HMD可在XR布景108中显示用户可见的元素，同时放弃显示用户不可见的元素。
在一些具体实施中，每个HMD包括显示XR布景108的集成显示器(例如，内置显示器)。在一些具体实施中，每个HMD包括可头戴壳体。在各种具体实施中，可头戴壳体包括附接区，具有显示器的另一设备可附接到该附接区。例如，在一些具体实施中，图1的电子设备102可附接到可头戴壳体。在各种具体实施中，可头戴壳体被成形为形成用于接收包括显示器的另一个设备(例如，电子设备102)的接收器。例如，在一些具体实施中，电子设备102滑动或卡扣到可头戴壳体中或以其他方式附接到该可头戴壳体。在一些具体实施中，附接到可头戴壳体的设备的显示器呈现(例如，显示)XR布景108。在各种具体实施中，电子设备102的示例包括智能电话、平板电脑、媒体播放器、膝上型计算机等。
图2示出了根据各种具体实施的执行XR内容生成的示例性系统200。在一些具体实施中，显示器202向包括多个人的观众呈现XR内容，例如，XR内容项204。在显示器202呈现XR内容项204的同时，在一些具体实施中，新兴内容引擎206获取来自观众的参与数据208，该参与数据指示观众中的人正在体验XR内容项204的参与程度。具体地，新兴内容引擎206可以在显示器202呈现XR内容项204的同时获取与XR内容项204的第一部分相关的参与数据208。
在一些具体实施中，新兴内容引擎206从一个或多个源接收参与数据208。例如，新兴内容引擎206可以从相机210接收参与数据208。在一些具体实施中，参与数据208包括与观众的一个或多个成员相关的面部表情数据212。参与数据208可包括身体位置数据214，该身体位置数据可描述例如观众中的一个或多个成员的身体姿态、姿势和/或运动。在一些具体实施中，参与数据208包括指示人们是否正在进入和/或离开观众的观众进入/离开数据216。观众进入/离开数据216可以指示观众中的人数的净变化。在一些具体实施中，观众进入/离开数据216指示观众中各个成员的进入和/或离开。
又如，在一些具体实施中，新兴内容引擎206从音频传感器218诸如麦克风接收参与数据208。例如，参与数据208可包括音频数据220，诸如由观众中的一个或多个成员产生的发声或其他声音。
又如，在一些具体实施中，新兴内容引擎206从用户输入设备222(例如，输入设备)诸如键盘、鼠标或触摸屏接收参与数据208作为用户输入数据224。例如，观众中的成员可以使用键盘或鼠标输入来指示其参与XR内容项204的水平。在一些具体实施中，观众中的成员可以使用例如由鼠标或触摸屏界面访问的图形用户界面中的屏幕控件来指示对XR内容项204的满意或不满意。
在一些具体实施中，新兴内容引擎206确定在XR内容项204的第一部分的呈现期间观众的总体参与水平。总体参与水平可整体量化观众的参与水平。在一些具体实施中，新兴内容引擎206通过对个体参与水平进行平均(例如，通过对从相机210、音频传感器218和/或用户输入设备222中的一者或多者接收的参与数据208进行平均)来确定总体参与水平。更一般地，在各种具体实施中，总体参与水平是个体参与水平的函数(例如，简单平均值、加权平均值、中值等)。
在一些具体实施中，某些观众成员(例如，比阈值年龄更年轻/更年长的观众成员)的个体参与水平被给予比其他观众成员的个体参与水平更大的权重。在一些具体实施中，与阈值数量的积分相关联的观众成员的个体参与水平被给予比不与阈值数量的积分相关联的观众成员的个体参与水平更大的权重。
基于总体参与水平，新兴内容引擎206可以修改XR内容项204。在一些具体实施中，在总体参与水平突破阈值(例如，低于目标总体参与水平)的条件下，新兴内容引擎206修改XR内容项204。例如，在一些具体实施中，如果总体参与水平低于目标总体参与水平，则新兴内容引擎206调整XR内容的尚未被呈现给观众的第二部分。
在一些具体实施中，新兴内容引擎206通过调整XR内容项204的尚未被呈现给观众的一部分(例如，XR内容项204的第二部分)来修改XR内容项204。例如，新兴内容引擎206可以用第二动作例如替换动作226来替换XR内容项204的第二部分中的第一动作。
在一些具体实施中，新兴内容引擎206获取替换动作226。新兴内容引擎206可获取一个或多个候选替换动作228。新兴内容引擎206可从数据存储库230检索一个或多个候选替换动作228。在一些具体实施中，新兴内容引擎206合成一个或多个候选替换动作228。
在一些具体实施中，新兴内容引擎206获取一组候选替换动作228。新兴内容引擎206可基于一个或多个标准从候选动作中选择替换动作226。在一些具体实施中，新兴内容引擎206基于特定候选动作与待替换动作之间的相似性程度来选择替换动作226。在一些具体实施中，新兴内容引擎206基于特定候选动作满足待替换动作所满足的目标的程度来选择替换动作226。
在一些具体实施中，替换动作226与待替换动作在一定程度内相似。例如，新兴内容引擎206可查询数据存储库230以返回与待替换动作在阈值程度内相似的候选替换动作228。因此，例如如果待替换动作是枪击，则该组候选替换动作228可包括拳打或脚踢但可排除例如礼物交换，因为礼物交换与枪击太相异。
在一些具体实施中，替换动作226满足(例如，完成或实现)与待替换动作相同的目标。例如，新兴内容引擎206可查询数据存储库230以返回满足与待替换动作相同的目标的候选替换动作228。在一些具体实施中，例如，如果元数据未指示动作所满足的目标，则新兴内容引擎206确定该动作所满足的目标并且基于该目标来选择替换动作226。
在一些具体实施中，新兴内容引擎206在试错法基础上修改XR内容项204。例如，新兴内容引擎206可以继续修改XR内容项204的部分，直到总体参与水平满足参与阈值。又如，新兴内容引擎206可以修改XR内容项204的一部分，确定修改对总体参与水平的影响，并且基于所确定的先前修改的影响来修改XR内容项204的另一部分。
在一些具体实施中，新兴内容引擎206基于XR内容的先前部分期间的总体参与数据来修改XR内容项204。例如，如果总体参与数据指示观众成员在看到特定角色时看起来很愉快，则新兴内容引擎206可以修改XR内容项204，以使该角色在XR内容项204的剩余部分中发挥更大的作用(例如，具有更多的屏幕时间)。相反地，如果总体参与数据指示观众成员在看到特定角色时看起来不愉快，则新兴内容引擎206可以修改XR内容项204，以减少该角色在XR内容项204的剩余部分中的屏幕时间。
在一些具体实施中，新兴内容引擎206向显示引擎232提供替换动作226。显示引擎232通过将原始动作替换为替换动作226来修改XR内容项204以生成经修改的XR内容项234。例如，显示引擎232修改XR内容项204的像素和/或音频数据以表示替换动作226。这样，系统200生成满足参与阈值(例如，目标总体参与水平)的经修改的XR内容项234。
在利用XR内容项204的经调整的第二部分生成经修改的XR内容项234之后，显示引擎232将经修改的XR内容项234提供给渲染和显示引擎。在一些具体实施中，显示器202向观众呈现经修改的XR内容项234(其中具有XR内容项204的经调整的第二部分)，以便满足参与阈值，例如目标总体参与水平。在一些具体实施中，显示引擎232将经修改的XR内容项234传输到另一个设备，该设备显示经修改的XR内容项234。
图3A是根据一些具体实施的示例性新兴内容引擎300的框图。在一些具体实施中，新兴内容引擎300实现图2所示的新兴内容引擎206。在一些具体实施中，新兴内容引擎300为在XR布景中实例化的各种目标实现器(例如，角色或装备表示，诸如图1所示的角色表示110a、角色表示110b、机器人表示112和/或无人机表示114)生成候选替换动作。
在各种具体实施中，新兴内容引擎300包括神经网络系统310(为简明起见下文称“神经网络310”)、训练(例如，配置)神经网络310的神经网络训练系统330(为简明起见下文称“训练模块330”)以及向神经网络310提供候选替换动作360的擦除器350。在各种具体实施中，神经网络310生成替换动作，例如图2所示的替换动作226，以替换动作以生成经修改的XR内容项，以满足参与阈值，例如目标总体参与水平。
在一些具体实施中，神经网络310包括长短期记忆(LSTM)递归神经网络(RNN)。在各种具体实施中，神经网络310基于候选替换动作360的函数来生成替换动作226。例如，在一些具体实施中，神经网络310通过选择候选替换动作360的一部分来生成替换动作226。在一些具体实施中，神经网络310生成替换动作226，使得替换动作226与候选替换动作360和/或与待替换动作在一定程度内相似。
在各种具体实施中，神经网络310基于表征XR布景108的上下文信息362来生成替换动作226。如图3A所示，在一些具体实施中，上下文信息362包括实例化装备表示364和/或实例化角色表示366。例如，神经网络310可生成替换动作226以增加或减少角色表示的屏幕时间。神经网络310可基于目标总体参与水平生成替换动作226。
在一些具体实施中，神经网络310基于实例化装备表示364，例如基于给定实例化装备表示364的能力，来生成替换动作226。在一些具体实施中，实例化装备表示364是指位于XR布景108中的装备表示。例如，参见图1，实例化装备表示364包括XR布景108中的机器人表示112和无人机表示114。在一些具体实施中，替换动作226可由实例化装备表示364中的一者执行。例如，参见图1，在一些具体实施中，XR内容项可包括机器人表示112发射晕眩射线的动作。如果总体参与水平指示观众对该动作的参与水平较低(例如，如果总体参与水平低于阈值参与水平)，则神经网络310可以生成替换动作226，例如，发射崩解射线，其被选择以将总体参与水平增加到高于目标总体参与水平。
在一些具体实施中，神经网络310基于实例化角色表示366，例如基于给定实例化装备表示366的能力，来生成针对角色表示的替换动作226。例如，参见图1，实例化角色表示366包括角色表示110a和110b。在一些具体实施中，替换动作226可由实例化角色表示366中的一者执行。例如，参见图1，在一些具体实施中，XR内容项可包括实例化角色表示366开枪的动作。如果总体参与水平指示观众对该动作的参与水平较低(例如，如果总体参与水平低于阈值参与水平)，则神经网络310可生成替换动作226，该替换动作在实例化角色表示366的能力内并且被选择以将总体参与水平增加到高于目标总体参与水平。在一些具体实施中，不同的实例化角色表示366可具有不同的能力并且可导致生成不同的替换动作226。例如，如果角色表示110a表示正常人的行为并对其进行建模，则神经网络310可生成拳击作为替换动作226。另一方面，如果角色表示110b表示具有超能力的人的行为并对其进行建模，则神经网络310可替代地生成非致命能量攻击作为替换动作226。
在各种具体实施中，训练模块330训练神经网络310。在一些具体实施中，训练模块330向神经网络310提供神经网络(NN)参数312。在一些具体实施中，神经网络310包括神经元模型，并且神经网络参数312表示模型的权重。在一些具体实施中，训练模块330生成(例如，初始化或发起)神经网络参数312，并且基于由神经网络310生成的替换动作226来细化(例如，调整)神经网络参数312。
在一些具体实施中，训练模块330包括回报函数332，该回报函数利用强化学习来训练神经网络310。在一些具体实施中，回报函数332将正回报分配给期望的替换动作226，并且将负回报分配给不期望的替换动作226。在一些具体实施中，在训练阶段期间，训练模块330将替换动作226与验证数据进行比较，该验证数据包括经验证的动作，例如，已知满足目标实现器的目标的动作。在此类具体实施中，如果替换动作226与经验证的动作在一定程度内相似，则训练模块330停止训练神经网络310。然而，如果替换动作226与经验证的动作不在一定程度内相似，则训练模块330继续训练神经网络310。在各种具体实施中，训练模块330在训练期间/之后更新神经网络参数312。
在各种具体实施中，擦除器350擦除内容352以识别候选替换动作360，例如，在由表示所表示的角色的能力内的动作。在一些具体实施中，内容352包括电影、视频游戏、漫画、小说和粉丝创建的内容诸如博客和评论。在一些具体实施中，擦除器350利用与内容擦除相关联的各种方法、系统和/或设备来擦除内容352。例如，在一些具体实施中，擦除器350利用文本模式匹配、HTML(超文本标记语言)解析、DOM(文档对象模型)解析、图像处理和音频分析中的一者或多者来擦除内容352并识别候选替换动作360。
在一些具体实施中，目标实现器与表示类型354相关联，并且神经网络310基于与目标实现器相关联的表示类型354来生成替换动作226。在一些具体实施中，表示类型354指示目标实现器的物理特性(例如，颜色、材料类型、纹理等)。在此类具体实施中，神经网络310基于目标实现器的物理特性来生成替换动作226。在一些具体实施中，表示类型354指示目标实现器的行为特性(例如，攻击性、友好性等)。在此类具体实施中，神经网络310基于目标实现器的行为特性来生成替换动作226。例如，神经网络310响应于包括攻击性的行为特性而为角色表示110a生成出拳的替换动作226。在一些具体实施中，表示类型354指示目标实现器的功能和/或性能特性(例如，强度、速度、柔韧性等)。在此类具体实施中，神经网络310基于目标实现器的功能特性来生成替换动作226。例如，神经网络310响应于包括投射晕眩射线的能力的功能和/或性能特性而为角色表示110b生成投射晕眩射线的替换动作226。在一些具体实施中，表示类型354基于用户输入来确定。在一些具体实施中，表示类型354基于规则的组合来确定。
在一些具体实施中，神经网络310基于指定动作356来生成替换动作226。在一些具体实施中，指定动作356由控制(例如，拥有或创建)角色或装备所源自的虚构材料的实体提供。例如，在一些具体实施中，指定动作356由电影制片方、视频游戏制作方、小说家等提供。在一些具体实施中，候选替换动作360包括指定动作356。因此，在一些具体实施中，神经网络310通过选择指定动作356的一部分来生成替换动作226。
在一些具体实施中，目标实现器的候选替换动作360由限制器370限制。在一些具体实施中，限制器370限制神经网络310选择候选替换动作360的一部分。在一些具体实施中，限制器370由拥有(例如，控制)角色或装备所源自的虚构材料的实体控制。例如，在一些具体实施中，限制器370由电影制片方、视频游戏制作方、小说家等控制。在一些具体实施中，限制器370和神经网络310由不同实体控制/操作。
在一些具体实施中，限制器370限制神经网络310生成违反由控制虚构材料的实体定义的标准的替换动作。例如，限制器370可限制神经网络310生成将与表示所表示的角色不一致的替换动作。在一些具体实施中，限制器370限制神经网络310生成将动作的内容分级改变超过阈值量的替换动作。例如，限制器370可限制神经网络310生成具有与原始动作的内容分级相差超过阈值量的内容分级的替换动作。在一些具体实施中，限制器370限制神经网络310针对特定动作生成替换动作。例如，限制器370可限制神经网络310替换被指定为例如拥有(例如，控制)角色或装备所源自的虚构材料的实体所必需的特定动作。
图3B是根据一些具体实施的神经网络310的框图。在图3B的示例中，神经网络310包括输入层320、第一隐藏层322、第二隐藏层324、分类层326以及替换动作选择模块328。虽然作为示例，神经网络310包括两个隐藏层，但是本领域的普通技术人员将从本公开理解，在各种具体实施中，也存在一个或多个附加隐藏层。添加附加隐藏层会增加计算复杂性和存储器需求，但可改善某些应用的性能。
在各种具体实施中，输入层320接收各种输入。在一些具体实施中，输入层320接收上下文信息362作为输入。在图3B的示例中，输入层320从目标实现器引擎接收指示实例化装备表示364、实例化角色表示366和/或目标信息368的输入。在一些具体实施中，神经网络310包括基于实例化装备表示364、实例化角色表示366和/或目标信息368来生成特征流(例如，特征向量)的特征提取模块(未示出)。在此类具体实施中，特征提取模块将特征流提供到输入层320。因此，在一些具体实施中，输入层320接收作为实例化装备表示364、实例化角色表示366和/或目标信息368的函数的特征流。在各种具体实施中，输入层320包括一个或多个LSTM逻辑单元320a，这些逻辑单元也被本领域的普通技术人员称为神经元或神经元的模型。在一些此类具体实施中，从特征到LSTM逻辑单元320a的输入矩阵包括矩形矩阵。此矩阵的大小是特征部流中包含的特征部数量的函数。
在一些具体实施中，第一隐藏层322包括一个或多个LSTM逻辑单元322a。在一些具体实施中，LSTM逻辑单元322a的数量在约10-500之间的范围内。本领域的普通技术人员将会理解，在此类具体实施中，每层的LSTM逻辑单元的数量比先前已知的方法小几个数量级(约为0(101)-0(102))，这有利于将此类具体实施嵌入高度资源受限的设备中。如图3B的示例所示，第一隐藏层322从输入层320接收其输入。
在一些具体实施中，第二隐藏层324包括一个或多个LSTM逻辑单元324a。在一些具体实施中，LSTM逻辑单元324a的数量与输入层320中的LSTM逻辑单元320a的数量或第一隐藏层322中的LSTM逻辑单元322a的数量相同或类似。如图3B的示例所示，第二隐藏层324从第一隐藏层322接收其输入。附加地或另选地，在一些具体实施中，第二隐藏层324从输入层320接收其输入。
在一些具体实施中，分类层326包括一个或多个LSTM逻辑单元326a。在一些具体实施中，LSTM逻辑单元326a的数量与输入层320中的LSTM逻辑单元320a的数量、第一隐藏层322中的LSTM逻辑单元322a的数量或第二隐藏层324中的LSTM逻辑单元324a的数量相同或类似。在一些具体实施中，分类层326包括多项式逻辑函数(例如，柔性最大值函数)的具体实施，该多项式逻辑函数产生的输出数量大约等于候选替换动作360的数量。在一些具体实施中，每个输出包括由所讨论的替换动作满足的对应目标的概率或置信度测量。在一些具体实施中，输出不包括已被限制器370的操作排除的目标。
在一些具体实施中，替换动作选择模块328通过选择由分类层326提供的前N个替换动作候选而生成替换动作226。在一些具体实施中，前N个替换动作候选可能满足目标实现器的目标，满足参与阈值(例如，目标总体参与水平)和/或与待替换动作在一定程度内相似。在一些具体实施中，替换动作选择模块328将替换动作226提供给渲染和显示管线(例如，图2所示的显示引擎232)。在一些具体实施中，替换动作选择模块328将替换动作226提供给一个或多个目标实现器引擎。
图4A至图4C是根据一些具体实施的用于执行基于观众参与的扩展现实(XR)内容生成的方法400的流程图表示。在一些具体实施中，方法400由设备(例如，图2所示的系统200)执行。在一些具体实施中，方法400由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法400由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。简而言之，在各种具体实施中，方法400包括：呈现XR内容的第一部分；在呈现XR内容的第一部分的同时，针对包括多个人的观众获取参与数据；以及针对XR内容的第一部分基于参与数据确定观众的总体参与水平。在各种具体实施中，方法400包括基于针对XR内容的第一部分的观众的总体参与水平来调整XR内容的尚未被呈现的第二部分以满足参与阈值，并且在调整XR内容的第二部分之后，将XR内容的第二部分呈现给观众。
如框410所示，在各种具体实施中，方法400包括呈现XR内容的第一部分。XR内容的第一部分可使用多种设备中的一种或多种设备来呈现，包括例如移动设备显示器、平板显示器、膝上型计算机显示器、台式计算机显示器、电视机、投影仪和/或一个或多个HMD中的一种或多种。在一些具体实施中，可以使用多个设备将XR内容的自定义版本呈现给观众中的相应成员，例如，观众中的多个人中的每一个人使用的相应HMD。例如，每个设备可为其相应用户显示自定义XR布景。例如，第一观众成员使用的HMD可以从第一观众成员的角度显示XR布景，而第二观众成员使用的HMD可以从第二观众成员的角度显示XR布景。又如，在游戏应用中，一个观众成员拥有的游戏中项目可以允许该观众成员观看XR布景中对其他观众成员不可见的元素。在一些具体实施中，不同观众成员使用的HMD在XR布景中显示或隐藏元素，取决于该元素对与特定HMD相关联的相应观众成员是否可见。
如框420所示，在一些具体实施中，方法400包括在呈现XR内容的第一部分的同时，针对包括多个人的观众获取参与数据。参与数据可包括来自一个或多个输入的数据。例如，参见图4B，如框420a所示，参与数据可包括由相机和/或触觉输入设备捕获的面部表情数据。微笑或其他积极面部表情可被解释为指示高参与水平(例如，高于阈值参与水平的参与水平)。相比之下，皱眉或其他消极面部表情可被解释为指示低参与水平(例如，低于阈值参与水平的参与水平)。
又如，如框420b所示，参与数据可包括由音频传感器诸如麦克风捕获的音频数据。音频数据可包括观众产生的发声。例如，大笑可被解释为指示高参与水平(例如，高于阈值参与水平的参与水平)。抱怨或打哈欠可被解释为指示低参与水平(例如，低于阈值参与水平的参与水平)。
在一些具体实施中，如框420c所示，参与数据可包括由用户输入设备接收的输入。如框420d所示，用户输入设备可包括例如鼠标、键盘和/或触摸屏中的一者或多者。例如，在一些具体实施中，观众中的一个或多个成员使用触摸屏上提供的图形用户界面来提供关于XR内容的第一部分的反馈。
在一些具体实施中，如框420e所示，参与数据包括观众眼睛注视数据。如框420f所示，参与数据可包括与观众相关联的视点位置数据。例如，面向观众的图像传感器可用于捕获观众成员的眼睛的图像。可分析图像以确定与观众成员和/或观众成员正在观看的对象或位置相关联的注视向量。
在一些具体实施中，如框420g所示，获取参与数据包括检测人进入观众和/或人离开观众。可例如使用相机或其他传感器来检测人进出观众的情况。
在一些具体实施中，如框420h所示，参与数据包括运动捕获数据。运动捕获数据可包括例如与观众中的一个或多个成员的身体姿态、姿势和/或运动相关的信息。例如，观众中的成员表现出的坐立不安可以指示低参与水平(例如，低于阈值参与水平的参与水平)。
如框430所示，在一些具体实施中，方法400包括基于参与数据针对XR内容的第一部分确定观众的总体参与水平。例如，可以对观众中各个成员的参与数据进行平均。如框430a所示，在一些具体实施中，基于面部表情数据来确定总体参与水平。例如，与观众中各个成员相关联的相应设备相机可以捕获响应于XR内容的第一部分而产生的面部表情。可分析每个面部表情以确定个体参与水平。可对个体参与水平进行平均以确定总体参与水平。
如框430b所示，在一些具体实施中，基于音频数据确定总体参与水平。例如，与观众中各个成员相关联的相应音频传感器(例如，麦克风)可以捕获响应于XR内容的第一部分而产生的发声。可以分析由每个个体观众成员所生成的发声来确定个体参与水平。可对个体参与水平进行平均以确定总体参与水平。
在一些具体实施中，如框430c所示，基于来自一个或多个用户输入设备的输入来确定总体参与水平。例如，观众中的多个成员可以使用相应设备上的图形用户界面来指示他们对XR内容的第一部分的个体参与水平。可对这些个体参与水平进行平均以确定总体参与水平。
如框430d所示，在一些具体实施中，可以基于观众中的人数的变化来确定观众的总体参与水平。例如，如框430e所示，如果观众中的人数已减少，则可以确定观众的总体参与水平较低。又如，如框430f所示，如果观众中的人数已增加，则可以确定观众的总体参与水平较高(例如，高于阈值参与水平的参与水平)。又如，如框430g所示，如果观众中的人数保持不变，则可以确定观众的总体参与水平处于中等水平。
在一些具体实施中，如框430h所示，可基于运动捕获数据来确定观众的总体参与水平。例如，如果运动捕获数据指示观众中的一个或多个成员坐立不安，则可确定观众的总体参与水平较低。又如，如果运动捕获数据指示观众中的一个或多个成员保持专注的坐姿，则可确定观众的总体参与水平较高(例如，高于阈值参与水平的参与水平)。
如框440所示，在一些具体实施中，方法400包括基于针对XR内容的第一部分确定的观众的总体参与水平来调整XR内容的尚未被呈现的第二部分，以便满足参与阈值(例如，阈值参与水平)。如本文结合图3A至图3B所公开的，调整XR内容的第二部分可包括将XR内容的第二部分中的一个或多个动作替换为被选择用于增加观众的总体参与水平的替换动作。在一些具体实施中，调整(例如，自动调整)XR内容的第二部分增大了保持或增加观众对XR内容的第二部分的兴趣的可能性，由此增强了设备的功能。在一些具体实施中，调整(例如，自动调整)XR内容的第二部分增大了在呈现XR内容的第二部分期间刺激观众的可能性，从而改善了观众的用户体验。
现在参见图4C，如框440a所示，在一些具体实施中，方法400包括响应于总体参与水平满足阈值而生成用于增加目标实现器的屏幕时间的动作。相反地，在一些具体实施中，如框440b所示，方法400包括响应于总体参与水平突破阈值而生成用于减少目标实现器的屏幕时间的动作。例如，如果特定角色在屏幕上可见时总体参与水平小于目标总体参与水平，则新兴内容引擎可生成减少该角色的屏幕时间的动作。
在一些具体实施中，如框440c所示，该方法包括响应于总体参与水平满足阈值而生成增加一种类型的动作的屏幕时间的动作。例如，如果每当汽车追逐序列可见时总体参与水平满足目标总体参与水平，则新兴内容引擎可以在XR内容的第二部分中生成更多汽车追逐序列。相反，如框440d所示，方法400可包括响应于总体参与水平突破阈值而生成减少一种类型的动作的屏幕时间的动作。例如，如果反派角色进行独白时总体参与水平小于目标总体参与水平，则新兴内容引擎可以在XR内容的第二部分中缩短或者从其移除此类独白。
在一些具体实施中，如框450所示，方法400包括在调整XR内容的第二部分之后向观众呈现第二部分。例如，在一些具体实施中，可将XR内容的经调整的第二部分提供给渲染和显示引擎。在一些具体实施中，显示器向观众呈现XR内容项的经调整的第二部分。在一些具体实施中，将XR内容项的经调整的第二部分传输到显示XR内容项的经调整的第二部分的另一设备。
图5是根据一些具体实施的利用设备的一个或多个部件(例如，图1A所示的电子设备102和/或控制器104)启用的服务器系统500的框图。尽管示出了一些具体特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，服务器系统500包括一个或多个处理单元(CPU)501、网络接口502、编程接口503、存储器504、一个或多个输入/输出(I/O)设备508(例如，图2所示的显示器202、相机210、音频传感器218和/或用户输入设备222)，以及用于使这些部件和各种其他部件互连的一条或多条通信总线505。
在一些具体实施中，提供了网络接口502以便除其他用途之外，在云托管的网络管理系统与包括一个或多个兼容设备的至少一个专用网络之间建立和维护元数据隧道。在一些具体实施中，一个或多个通信总线505包括互连和控制在系统部件之间的通信的电路。存储器504包括高速随机存取存储器，诸如DRAM、ERAM、DDR RAM或其他随机存取固态存储器设备，并且可包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器504任选地包括与一个或多个CPU 501远程地定位的一个或多个存储设备。存储器504包括非暂态计算机可读存储介质。
在一些具体实施中，存储器504或者存储器504的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，包括任选的操作系统506、新兴内容引擎206、数据存储库230和/或显示引擎232。如本文所述，新兴内容引擎206可以包括指令206a和/或启发法和元数据206b，以用于从观众获取指示观众中的人体验内容项的参与程度的参与数据。如本文所述，数据存储库230可包括指令230a和/或启发法和元数据230b，以用于向新兴内容引擎206提供一个或多个候选替换动作。如本文所述，显示引擎232可包括指令232a和/或启发法和元数据232b，以用于通过将原始动作替换为替换动作来修改内容项以生成经修改的内容项。
将理解的是，图5旨在作为可存在于特定具体实施中的各种特征的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图5中单独示出的一些功能块可以作为单个块实施，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实施。块的实际数量和特定功能的划分以及如何在其中分配特征部将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。
虽然上文描述了在所附权利要求书范围内的具体实施的各个方面，但是应当显而易见的是，上述具体实施的各种特征可通过各种各样的形式体现，并且上述任何特定结构和/或功能仅是例示性的。基于本公开，本领域的技术人员应当理解，本文所述的方面可以独立于任何其他方面来实现，并且这些方面中的两个或更多个可以采用各种方式组合。例如，可以使用本文阐述的任何数量的方面来实现装置和/或可以实践方法。另外，除了本文阐述的一个或多个方面之外或者不同于本文阐述的一个或多个方面，可以使用其他结构和/或功能来实现这样的装置和/或可以实践这样的方法。

Claims (24)

1.一种方法，包括：
在包括非暂态存储器以及与所述非暂态存储器耦接的一个或多个处理器的设备处：
呈现内容的第一部分；
在呈现所述内容的所述第一部分的同时，针对包括多个人的观众获取参与数据；
基于所述参与数据针对所述内容的所述第一部分确定所述观众的总体参与水平；
基于针对所述内容的所述第一部分的所述观众的所述总体参与水平来调整所述内容的尚未被呈现的第二部分，以便满足参与阈值；以及
在调整所述内容的所述第二部分之后，呈现所述内容的所述第二部分。
2.根据权利要求1所述的方法，其中所述参与数据包括面部表情数据。
3.根据权利要求2所述的方法，还包括基于所述面部表情数据来确定所述观众的所述总体参与水平。
4.根据权利要求1-3中任一项所述的方法，其中所述参与数据包括音频数据。
5.根据权利要求4所述的方法，还包括基于所述音频数据确定所述观众的所述总体参与水平。
6.根据权利要求1-5中任一项所述的方法，其中所述参与数据包括来自输入设备的输入。
7.根据权利要求6所述的方法，其中所述输入设备包括触摸屏、键盘或鼠标中的至少一者。
8.根据权利要求6所述的方法，还包括基于来自所述输入设备的所述输入来确定所述观众的所述总体参与水平。
9.根据权利要求1-8中任一项所述的方法，其中所述参与数据包括观众眼睛注视数据。
10.根据权利要求1-9中任一项所述的方法，其中所述参与数据包括与所述观众相关联的视点位置数据。
11.根据权利要求1-10中任一项所述的方法，其中在呈现所述内容的所述第一部分的同时获取所述参与数据包括检测人进入所述观众或人离开所述观众中的至少一者。
12.根据权利要求1-11中任一项所述的方法，还包括基于所述观众中的人数的变化来确定所述观众的所述总体参与水平。
13.根据权利要求12所述的方法，其中基于所述观众中的人数的变化来确定所述观众的所述总体参与水平包括在所述观众中的人数已减少的条件下确定所述观众的所述总体参与水平低于阈值参与水平。
14.根据权利要求12和13中任一项所述的方法，其中基于所述观众中的人数的变化来确定所述观众的所述总体参与水平包括在所述观众中的人数已增加的条件下确定所述观众的所述总体参与水平高于阈值参与水平。
15.根据权利要求12-14中任一项所述的方法，其中基于所述观众中的人数的变化来确定所述观众的所述总体参与水平包括在所述观众中的人数保持不变的条件下确定所述观众的所述总体参与水平处于中等。
16.根据权利要求1-15中任一项所述的方法，其中所述参与数据包括运动捕获数据。
17.根据权利要求16所述的方法，还包括基于所述运动捕获数据来确定所述观众的所述总体参与水平。
18.根据权利要求1-17中任一项所述的方法，还包括响应于所述总体参与水平满足阈值而生成增加目标实现器的屏幕时间的动作。
19.根据权利要求1-18中任一项所述的方法，还包括响应于所述总体参与水平突破阈值而生成减少目标实现器的屏幕时间的动作。
20.根据权利要求1-19中任一项所述的方法，还包括响应于所述总体参与水平满足阈值而生成增加一种类型的动作的屏幕时间的动作。
21.根据权利要求1-20中任一项所述的方法，还包括响应于所述总体参与水平突破阈值而生成减少一种类型的动作的屏幕时间的动作。
22.一种设备，包括：
一个或多个处理器；
非暂态存储器；和
存储在所述非暂态存储器中的一个或多个程序，所述一个或多个程序在由所述一个或多个处理器执行时致使所述设备执行根据权利要求1-21所述的方法中的任一种方法。
23.一种非暂态存储器，所述非暂态存储器存储一个或多个程序，所述一个或多个程序在由设备的一个或多个处理器执行时致使所述设备执行根据权利要求1-21所述的方法中的任一种方法。
24.一种设备，包括：
一个或多个处理器；
非暂态存储器；和
用于致使所述设备执行根据权利要求1-21所述的方法中的任一种方法的装置。
CN202080034398.4A 2019-09-27 2020-09-15 基于观众参与的内容生成 Pending CN113796088A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962906789P 2019-09-27 2019-09-27
US62/906,789 2019-09-27
PCT/US2020/050885 WO2021061449A1 (en) 2019-09-27 2020-09-15 Content generation based on audience engagement

Publications (1)

Publication Number Publication Date
CN113796088A true CN113796088A (zh) 2021-12-14

Family

ID=72659947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080034398.4A Pending CN113796088A (zh) 2019-09-27 2020-09-15 基于观众参与的内容生成

Country Status (4)

Country Link
US (1) US11949949B2 (zh)
EP (1) EP3918451B1 (zh)
CN (1) CN113796088A (zh)
WO (1) WO2021061449A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021061450A1 (en) * 2019-09-27 2021-04-01 Qsinx Management Llc Scene-to-text conversion
WO2023038781A1 (en) * 2021-09-09 2023-03-16 Chinook Labs Llc Audience engagement
WO2023128841A1 (en) * 2021-12-27 2023-07-06 Telefonaktiebolaget Lm Ericsson (Publ) Methods and means for rendering extended reality

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130298146A1 (en) * 2012-05-04 2013-11-07 Microsoft Corporation Determining a future portion of a currently presented media program
US8769557B1 (en) * 2012-12-27 2014-07-01 The Nielsen Company (Us), Llc Methods and apparatus to determine engagement levels of audience members
US20150070516A1 (en) * 2012-12-14 2015-03-12 Biscotti Inc. Automatic Content Filtering
US20150074698A1 (en) * 2013-09-12 2015-03-12 Blizzard Entertainment, Inc. Selectively incorporating feedback from a remote audience
US20150121246A1 (en) * 2013-10-25 2015-04-30 The Charles Stark Draper Laboratory, Inc. Systems and methods for detecting user engagement in context using physiological and behavioral measurement
US20160021412A1 (en) * 2013-03-06 2016-01-21 Arthur J. Zito, Jr. Multi-Media Presentation System
US9392212B1 (en) * 2014-04-17 2016-07-12 Visionary Vr, Inc. System and method for presenting virtual reality content to a user
CN105898429A (zh) * 2011-02-25 2016-08-24 英派尔科技开发有限公司 能够增强现实演出的方法、设备和增强现实设备
US20160299563A1 (en) * 2015-04-10 2016-10-13 Sony Computer Entertainment Inc. Control of Personal Space Content Presented Via Head Mounted Display
US20160300388A1 (en) * 2015-04-10 2016-10-13 Sony Computer Entertainment Inc. Filtering And Parental Control Methods For Restricting Visual Activity On A Head Mounted Display
CN107750005A (zh) * 2017-09-18 2018-03-02 迈吉客科技（北京）有限公司 虚拟互动方法和终端
US20180091574A1 (en) * 2016-09-29 2018-03-29 International Business Machines Corporation Dynamically altering presentations to maintain or increase viewer attention
CN108629821A (zh) * 2018-04-20 2018-10-09 北京比特智学科技有限公司 动画生成方法和装置
US20190286890A1 (en) * 2018-03-19 2019-09-19 Microsoft Technology Licensing, Llc System and Method for Smart Presentation System

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6585521B1 (en) * 2001-12-21 2003-07-01 Hewlett-Packard Development Company, L.P. Video indexing based on viewers' behavior and emotion feedback
US8654937B2 (en) 2005-11-30 2014-02-18 International Business Machines Corporation System and method for call center agent quality assurance using biometric detection technologies
US8098273B2 (en) 2006-12-20 2012-01-17 Cisco Technology, Inc. Video contact center facial expression analyzer module
US8963987B2 (en) 2010-05-27 2015-02-24 Microsoft Corporation Non-linguistic signal detection and feedback
US9031222B2 (en) 2011-08-09 2015-05-12 Cisco Technology, Inc. Automatic supervisor intervention for calls in call center based upon video and/or speech analytics of calls
US20130205314A1 (en) * 2012-02-07 2013-08-08 Arun Ramaswamy Methods and apparatus to select media based on engagement levels
US9600711B2 (en) 2012-08-29 2017-03-21 Conduent Business Services, Llc Method and system for automatically recognizing facial expressions via algorithmic periocular localization
WO2014130748A1 (en) 2013-02-20 2014-08-28 Emotient Automatic analysis of rapport
US9465435B1 (en) * 2013-08-26 2016-10-11 Google Inc. Segmentation of a video based on user engagement in respective segments of the video
US9820004B1 (en) * 2013-12-03 2017-11-14 Google Inc. Optimizing timing of display of a video overlay
WO2020005277A1 (en) * 2018-06-29 2020-01-02 Wondra Dylan Matthew Systems and methods for providing synchronized supplemental content to a subset of users that are disinterested in live content
US10834445B2 (en) * 2018-12-27 2020-11-10 Oath Inc. Annotating extended reality presentations
US10916061B2 (en) * 2019-04-24 2021-02-09 Disney Enterprises, Inc. Systems and methods to synchronize real-world motion of physical objects with presentation of virtual content
WO2020263671A1 (en) * 2019-06-27 2020-12-30 Raitonsa Dynamics Llc Modifying existing content based on target audience

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105898429A (zh) * 2011-02-25 2016-08-24 英派尔科技开发有限公司 能够增强现实演出的方法、设备和增强现实设备
US20130298146A1 (en) * 2012-05-04 2013-11-07 Microsoft Corporation Determining a future portion of a currently presented media program
US20150070516A1 (en) * 2012-12-14 2015-03-12 Biscotti Inc. Automatic Content Filtering
US8769557B1 (en) * 2012-12-27 2014-07-01 The Nielsen Company (Us), Llc Methods and apparatus to determine engagement levels of audience members
US20160021412A1 (en) * 2013-03-06 2016-01-21 Arthur J. Zito, Jr. Multi-Media Presentation System
US20150074698A1 (en) * 2013-09-12 2015-03-12 Blizzard Entertainment, Inc. Selectively incorporating feedback from a remote audience
US20150121246A1 (en) * 2013-10-25 2015-04-30 The Charles Stark Draper Laboratory, Inc. Systems and methods for detecting user engagement in context using physiological and behavioral measurement
US9392212B1 (en) * 2014-04-17 2016-07-12 Visionary Vr, Inc. System and method for presenting virtual reality content to a user
US20160299563A1 (en) * 2015-04-10 2016-10-13 Sony Computer Entertainment Inc. Control of Personal Space Content Presented Via Head Mounted Display
US20160300388A1 (en) * 2015-04-10 2016-10-13 Sony Computer Entertainment Inc. Filtering And Parental Control Methods For Restricting Visual Activity On A Head Mounted Display
US20180091574A1 (en) * 2016-09-29 2018-03-29 International Business Machines Corporation Dynamically altering presentations to maintain or increase viewer attention
CN107750005A (zh) * 2017-09-18 2018-03-02 迈吉客科技（北京）有限公司 虚拟互动方法和终端
US20190286890A1 (en) * 2018-03-19 2019-09-19 Microsoft Technology Licensing, Llc System and Method for Smart Presentation System
CN108629821A (zh) * 2018-04-20 2018-10-09 北京比特智学科技有限公司 动画生成方法和装置

Also Published As

Publication number Publication date
US20210400342A1 (en) 2021-12-23
WO2021061449A1 (en) 2021-04-01
EP3918451B1 (en) 2023-11-29
EP3918451A1 (en) 2021-12-08
US11949949B2 (en) 2024-04-02

Similar Documents

Publication Publication Date Title
JP7366196B2 (ja) 広範囲同時遠隔ディジタル提示世界
US11372655B2 (en) Computer-generated reality platform for generating computer-generated reality environments
CN113796088A (zh) 基于观众参与的内容生成
CN115769174A (zh) 用于最佳注视辨别的化身定制
CN113692563A (zh) 基于目标观众来修改现有内容
US11532137B2 (en) Method and device for utilizing physical objects and physical usage patterns for presenting virtual content
KR20230048554A (ko) 3차원 환경들과의 상호작용을 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들
US20210150774A1 (en) Method, device, and system for delivering recommendations
KR20210031957A (ko) 프로세스 데이터 공유 방법 및 디바이스
US20230377237A1 (en) Influencing actions of agents
US20220262081A1 (en) Planner for an objective-effectuator
US20210027164A1 (en) Objective-effectuators in synthesized reality settings
KR102484333B1 (ko) 합성된 현실 설정들에서 오브젝티브 실행기들에 대한 오브젝티브들의 생성
US11823343B1 (en) Method and device for modifying content according to various simulation characteristics
US11436813B2 (en) Generating directives for objective-effectuators
US11797889B1 (en) Method and device for modeling a behavior with synthetic training data
US11645797B1 (en) Motion control for an object
CN113646733A (zh) 辅助表情
CN113906370A (zh) 为物理元素生成内容

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination