CN113821337A - 基于参与度分数改变与媒体对象相关联的资源利用率 - Google Patents

基于参与度分数改变与媒体对象相关联的资源利用率 Download PDF

Info

Publication number
CN113821337A
CN113821337A CN202110598980.XA CN202110598980A CN113821337A CN 113821337 A CN113821337 A CN 113821337A CN 202110598980 A CN202110598980 A CN 202110598980A CN 113821337 A CN113821337 A CN 113821337A
Authority
CN
China
Prior art keywords
media object
electronic device
resource utilization
utilization value
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110598980.XA
Other languages
English (en)
Inventor
S·辛哈尔
Y·S·H·里汉
J·I·怀特
Y·S·摩尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN113821337A publication Critical patent/CN113821337A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Analytical Chemistry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及基于参与度分数改变与媒体对象相关联的资源利用率。根据一些具体实施，在具有一个或多个处理器、非暂态存储器和显示器的电子设备处执行一种方法。该方法包括在该显示器上显示媒体对象的第一部分的表示，其中该媒体对象的第一部分与第一资源利用率值相关联。该第一资源利用率值表征该电子设备对相应资源的利用率。该方法包括确定参与度分数，该参与度分数表征相对于该媒体对象的第一部分的表示的用户参与度水平。该方法包括基于参与度分数的函数将相应资源的利用率从第一资源利用率值改变为第二资源利用率值。该第二资源利用率值与媒体对象的第二部分相关联。

Description

基于参与度分数改变与媒体对象相关联的资源利用率
相关申请的交叉引用
本申请要求于2020年6月19日提交的美国临时专利申请第63/041287号的优先权，该申请据此全文以引用方式并入。
技术领域
本公开涉及呈现媒体对象，并且具体地涉及改变与呈现媒体对象相关联的设备资源利用率。
背景技术
在各种情况下，设备呈现媒体对象，诸如显示与共存会话相关联的视频流或头像。为了显示媒体对象，设备获取媒体对象并渲染该媒体对象以便生成用于显示的对应显示数据。获取和渲染媒体对象利用设备的通信链路、处理和存储器资源的组合。
此外，用户相对于媒体对象的参与度是各种特征的函数，诸如用户专注程度或媒体对象在显示器的视场内的位置。然而，设备不基于用户参与度水平的函数来改变与媒体对象相关联的资源利用率。因此，该设备利用过多的资源。
发明内容
根据一些具体实施，在具有一个或多个处理器、非暂态存储器和显示器的电子设备处执行一种方法。该方法包括在该显示器上显示媒体对象的第一部分的表示，其中该媒体对象的第一部分与第一资源利用率值相关联。该第一资源利用率值表征该电子设备对相应资源的利用率。该方法包括确定参与度分数，该参与度分数表征相对于该媒体对象的第一部分的表示的用户参与度水平。该方法包括基于参与度分数的函数将相应资源的利用率从第一资源利用率值改变为第二资源利用率值。该第二资源利用率值与媒体对象的第二部分相关联。
根据一些具体实施，一种电子设备包括一个或多个处理器、非暂态存储器和显示器。一个或多个程序被存储于非暂态存储器中并且被配置为由一个或多个处理器执行。该一个或多个程序包括用于执行或促使执行本文描述的任何方法的操作的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，当由电子设备的一个或多个处理器执行时，这些指令使得该设备执行或导致执行本文所述方法中的任一种方法的操作。根据一些具体实施，一种电子设备包括用于执行或导致执行本文所述的方法中的任一种方法的操作的装置。根据一些具体实施，一种用于在电子设备中使用的信息处理装置包括用于执行或导致执行本文所述方法中的任一种方法的操作的装置。
附图说明
为了更好地理解各种所述具体实施，应结合以下附图参考下面的具体实施方式，其中类似的附图标号在所有附图中指示对应的部分。
图1是根据一些具体实施的便携式多功能设备的示例的框图。
图2A至图2K是根据一些具体实施的基于参与度分数来改变与媒体对象相关联的资源利用率的示例。
图3A至图3H是根据一些具体实施的基于参与度分数来改变与媒体对象相关联的资源利用率的另一示例。
图4是根据一些具体实施的基于参与度分数来改变与媒体对象相关联的资源利用率的方法的流程图的示例。
发明内容
在各种情况下，设备呈现媒体对象。例如，设备显示对象或视频流的三维(3D)表示。又如，设备通过集成扬声器播放音频内容。为了呈现媒体对象，设备初始地获取媒体对象。例如，设备可经由通信链路从本地存储装置或从单独的内容分发服务器获取媒体对象。为了显示特定的媒体对象，设备还渲染特定的媒体对象以便生成用于显示的对应的显示数据。获取和渲染媒体对象利用设备的通信链路、处理和存储器资源的组合。此外，相对于媒体对象的用户参与度可以是各种特征的函数。例如，相对于媒体对象的专注程度(例如，用户的眼睛注视)可随时间而变化。又如，响应于设备的位置改变(例如，穿戴头戴式设备(HMD)的用户转动头部)，设备将媒体对象移动到显示器上的不同位置或完全停止显示该媒体对象。然而，设备不基于用户参与度水平的变化来改变与媒体对象相关联的资源利用率。因此，设备例如不响应于用户参与度水平的降低而降低资源利用率。因此，该设备在呈现媒体对象时利用过多的资源。
相比之下，本文所公开的各种具体实施包括用于基于与媒体对象相关联的参与度分数的函数来改变电子设备对相应资源的利用率的方法、电子设备和系统。例如，媒体对象对应于完整的电视节目剧集或昆虫的移动三维(3D)表示的完整序列。参与度分数表征相对于所显示的该媒体对象的第一部分的表示的用户参与度水平。在一些具体实施中，参与度分数随指示用户注视的眼睛跟踪数据而变化。在一些具体实施中，参与度分数随媒体对象的第一部分的表示位于显示器上的位置而变化。例如，基于改变该电子设备的位置的位置改变输入，该电子设备停止显示该媒体对象的第一部分的表示。因此，该电子设备可将参与度分数设置为标称值。基于该标称值，该电子设备降低与该媒体对象的第二部分相关联的资源利用率，因为该媒体对象的第二部分不在该显示器的视场内，因此无法被用户看到。与其他设备相比，通过基于参与度分数改变相应资源的利用率，该电子设备降低了资源利用率。
在一些具体实施中，相应资源可包括与渲染媒体对象相关联的渲染资源和与获取媒体对象相关联的通信链路资源的组合。例如，响应于确定参与度分数的减少，该电子设备指示内容分发服务器以输出速率来提供该媒体对象的第二部分，该输出速率低于内容分发服务提供媒体对象的第一部分的输出速率。又如，响应于确定参与度分数的增加，该电子设备提高图形处理单元(GPU)资源的利用率，以便与渲染该媒体对象的第一部分相比，以更高分辨率(例如，更多信息)渲染该媒体对象的第二部分。
具体实施方式
现在将详细地参考具体实施，这些具体实施的实施例在附图中示出。下面的详细描述中示出许多具体细节，以便提供对各种所描述的具体实施的充分理解。但是，对本领域的普通技术人员将显而易见的是，各种所描述的具体实施可以在没有这些具体细节的情况下被实践。在其他情况下，没有详细地描述众所周知的方法、过程、部件、电路和网络，从而不会不必要地使具体实施的各个方面晦涩难懂。
还将理解的是，虽然在一些情况下，术语“第一”、“第二”等在本文中用于描述各种元件，但是这些元件不应受到这些术语限制。这些术语只是用于将一个元件与另一元件区分开。例如，第一接触可被命名为第二接触，并且类似地，第二接触可被命名为第一接触，而不脱离各种所描述的具体实施的范围。第一接触和第二接触均为接触，但它们不是同一个接触，除非上下文另外明确指示。
在本文中对各种所述具体实施的描述中所使用的术语只是为了描述特定具体实施的目的，而并非旨在进行限制。如在对各种所述具体实施的描述中和所附权利要求书中所使用的那样，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文另外明确地指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”(“includes”、“including”、“comprises”和/或“comprising”)在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其分组。
如本文中所使用，根据上下文，术语“如果”任选地被解释为意指“当……时”或“在……时”或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定……”或“如果检测到[所陈述的条件或事件]”任选地被解释为意指“在确定……时”或“响应于确定……”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
物理环境是指人们在没有电子设备帮助的情况下能够感测和/或交互的物理世界。物理环境可包括物理特征，诸如物理表面或物理对象。例如，物理环境对应于包括物理树木、物理建筑物和物理人的物理公园。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。相反，扩展现实(XR)环境是指人们经由电子设备感测和/或交互的完全或部分模拟的环境。例如，XR环境可包括增强现实(AR)内容、混合现实(MR)内容、虚拟现实(VR)内容等。在XR系统的情况下，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在XR系统中模拟的一个或多个虚拟对象的一个或多个特征。例如，XR系统可以检测头部移动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。又如，XR系统可以检测呈现XR环境的电子设备(例如，移动电话、平板电脑、膝上型电脑等)的移动，并且作为响应，以类似于此类视图和声音在物理环境中将如何改变的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，XR系统可响应于物理运动的表示(例如，声音命令)来调节XR环境中图形内容的特征。
有许多不同类型的电子系统使人能够感测和/或与各种XR环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为设计用于放置在人的眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或不具有触觉反馈的可穿戴或手持式控制器)、智能电话、平板电脑、以及台式/膝上型计算机。头戴式系统可具有集成不透明显示器和一个或多个扬声器。另选地，头戴式系统可被配置为接受外部不透明显示器(例如，智能电话)。头戴式系统可结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一些具体实施中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。
图1是根据一些具体实施的便携式多功能设备100(为了简洁起见，在本文中有时也称为“电子设备100”)的示例的框图。电子设备100包括存储器102(其任选地包括一个或多个计算机可读存储介质)、存储器控制器122、一个或多个处理单元(CPU)120、外围设备接口118、输入/输出(I/O)子系统106、扬声器111、触敏显示系统112、惯性测量单元(IMU)130、图像传感器143(例如，相机)、接触强度传感器165、音频传感器113(例如麦克风)、眼睛跟踪传感器164(例如，包括在头戴式设备(HMD)内)、肢体跟踪传感器150以及其他输入或控制设备116。在一些具体实施中，电子设备100对应于移动电话、平板电脑、膝上型电脑、可穿戴计算设备、头戴式设备(HMD)、头戴式壳体(例如，电子设备100滑动到或以其他方式附接到头戴式壳体)等中的一者。在一些具体实施中，头戴式壳体被成形为形成用于接收具有显示器的电子设备100的接收器。
在一些具体实施中，外围设备接口118、一个或多个处理单元120和存储器控制器122任选地在单个芯片诸如芯片103上实现。在一些其他具体实施中，它们任选地在独立的芯片上实现。
I/O子系统106将电子设备100上的输入/输出外围设备诸如触敏显示系统112和其他输入或控制设备116与外围设备接口118耦接。I/O子系统106任选地包括显示控制器156、图像传感器控制器158、强度传感器控制器159、音频控制器157、眼睛跟踪控制器160、用于其他输入或控制设备的一个或多个输入控制器152、IMU控制器132、肢体跟踪控制器180和隐私子系统170。一个或多个输入控制器152从其他输入或控制设备116接收电信号/将电信号发送到该其他输入或控制设备。其他输入控制设备116任选地包括物理按钮(例如，下压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击轮等。在一些另选的具体实施中，一个或多个输入控制器152任选地与以下各项中的任一者耦接(或不与以下各项中的任一者耦接)：键盘、红外线端口、通用串行总线(USB)端口、触笔和/或指针设备诸如鼠标。一个或多个按钮任选地包括用于扬声器111和/或音频传感器113的音量控制的增大/减小按钮。一个或多个按钮任选地包括下压按钮。在一些具体实施中，其他输入或控制设备116包括获取关于电子设备100相对于操作环境的位置和/或取向的信息的定位系统(例如，GPS)。
在一些具体实施中，其他输入或控制设备116包括获取表征操作环境的深度信息的深度传感器和/或飞行时间传感器。
触敏显示系统112提供电子设备100与用户之间的输入接口和输出接口。显示控制器156从触敏显示系统112接收电信号和/或将电信号发送至触敏显示系统。触敏显示系统112向用户显示视觉输出。视觉输出任选地包括图形、文本、图标、视频以及它们的任何组合(统称为“图形”)。在一些具体实施中，一些视觉输出或全部视觉输出对应于用户界面对象。如本文所用，术语“示能表示”是指用户交互式图形用户界面对象(例如，被配置为对被引向图形用户界面对象的输入进行响应的图形用户界面对象)。用户交互式图形用户界面对象的示例包括但不限于按钮、滑块、图标、可选择菜单项、开关、超链接、或其他用户界面控件。
触敏显示系统112具有基于触觉和/或触感接触来接受来自用户的输入的触敏表面、传感器或传感器组。触敏显示系统112和显示控制器156(与存储器102中的任何相关联的模块和/或指令集一起)检测触敏显示系统112上的接触(和该接触的任何移动或中断)，并且将检测到的接触转换为与被显示在触敏显示系统112上的用户界面对象(例如，一个或多个软按键、图标、网页或图像)的交互。在示例性具体实施中，触敏显示系统112和用户之间的接触点对应于用户的手指或触笔。
触敏显示系统112任选地使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术、或LED(发光二极管)技术，但是在其他具体实施中使用其他显示技术。触敏显示系统112和显示控制器156任选地使用现在已知的或以后将开发出的多种触摸感测技术中的任何技术以及其他接近传感器阵列或用于确定与触敏显示系统112接触的一个或多个点的其他元件来检测接触及其任何移动或中断，该多种触摸感测技术包括但不限于电容性技术、电阻性技术、红外线技术和表面声波技术。
用户任选地使用任何合适的物体或附加物诸如触笔、手指等来与触敏显示系统112接触。在一些具体实施中，将用户界面设计成与基于手指的接触和手势一起工作，由于手指在触摸屏上的接触区域较大，因此这可能不如基于触笔的输入精确。在一些具体实施中，电子设备100将基于手指的粗略输入转化为精确的指针/光标位置或命令以用于执行用户所期望的动作。
扬声器111和音频传感器113提供用户与电子设备100之间的音频接口。音频电路从外围设备接口118接收音频数据，将音频数据转换为电信号，并且将电信号传输到扬声器111。扬声器111将电信号转换为人类可听到的声波。音频电路还接收由音频传感器113(例如，麦克风)从声波转换的电信号。音频电路将电信号转换为音频数据，并且将音频数据传输到外围设备接口118以用于处理。音频数据任选地由外围设备接口118检索自和/或传输到存储器102和/或RF电路。在一些具体实施中，音频电路还包括耳麦插孔。该耳麦插孔提供音频电路与可移除的音频输入/输出外围设备之间的接口，该可移除的音频输入/输出外围设备为诸如仅输出的耳机或者具有输出(例如，单耳耳机或双耳耳机)和输入(例如，麦克风)两者的耳麦。
惯性测量单元(IMU)130包括加速度计、陀螺仪和/或磁力仪，以便测量相对于电子设备100的各种力、角速率和/或磁场信息。因此，根据各种具体实施，IMU 130检测电子设备100的一个或多个位置改变输入，诸如电子设备100被摇动、旋转、沿特定方向移动等。
图像传感器143捕获静态图像和/或视频。在一些具体实施中，光学传感器143位于电子设备100的背面上，与电子设备100正面上的触摸屏相背对，使得触摸屏能够用作用于静态图像和/或视频图像采集的取景器。在一些具体实施中，另一图像传感器143位于电子设备100的正面上，使得获取该用户的图像(例如，用于自拍、用于当用户在触摸屏上观看其他视频会议参与者时进行视频会议等等)。在一些具体实施中，图像传感器集成在HMD内。
接触强度传感器165检测电子设备100上的接触的强度(例如，电子设备100的触敏表面上的触摸输入)。接触强度传感器165与I/O子系统106中的强度传感器控制器159耦接。接触强度传感器165任选地包括一个或多个压阻应变仪、电容式力传感器、电气力传感器、压电力传感器、光学力传感器、电容式触敏表面或其他强度传感器(例如，用于测量触敏表面上的接触的力(或压力)的传感器)。接触强度传感器165从物理环境接收接触强度信息(例如，压力信息或压力信息的代用物)。在一些具体实施中，至少一个接触强度传感器165与电子设备100的触敏表面并置排列或邻近。在一些具体实施中，至少一个接触强度传感器165位于电子设备100的侧面上。
眼睛跟踪传感器164检测电子设备100的用户的眼睛注视，并且生成指示用户的眼睛注视的眼睛跟踪数据。在各种具体实施中，眼睛跟踪数据包括指示用户在显示面板上的固定点(例如，关注点)的数据，该显示面板为诸如头戴式设备(HMD)、头戴式壳体或平视显示器内的显示面板。
肢体跟踪传感器150获取指示用户的肢体位置的肢体跟踪数据。例如，在一些具体实施中，肢体跟踪传感器150对应于获取指示操作环境内用户的手或手指的位置的手部跟踪数据的手部跟踪传感器。在一些具体实施中，肢体跟踪传感器150利用计算机视觉技术以基于相机图像来估计肢体的姿态。
在各种具体实施中，电子设备100包括隐私子系统170，该隐私子系统包括与用户信息相关联的一个或多个隐私设置滤波器，诸如包括在与用户相关联的肢体跟踪数据、眼睛跟踪数据和/或身体位置数据中的用户信息。在一些具体实施中，隐私子系统170选择性地防止和/或限制电子设备100或其部分获取和/或传输用户信息。为此，隐私子系统170响应于提示用户进行用户偏好和/或选择来从用户接收用户偏好和/或选择。在一些具体实施中，隐私子系统170防止电子设备100获取和/或传输用户信息，除非并且直到隐私子系统170从用户获取到知情同意。在一些具体实施中，隐私子系统170匿名化(例如，加扰或模糊)某些类型的用户信息。例如，隐私子系统170接收指定隐私子系统170匿名化哪些类型的用户信息的用户输入。作为另一示例，隐私子系统170独立于用户指定(例如，自动地)匿名化可能包括敏感和/或识别信息的某些类型的用户信息。
图2A至图2K是根据一些具体实施的基于参与度分数来改变与媒体对象相关联的资源利用率的示例。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。
如图2A所示，电子设备210与操作环境200相关联。例如，在一些具体实施中，操作环境200包括计算机生成的对象和物理对象的组合，诸如增强现实(AR)或混合现实(MR)环境。又如，在一些具体实施中，操作环境200包括物理侧壁204和物理后壁202，并且电子设备210通过显示器212显示计算机生成的显示屏220。在一些具体实施中，操作环境200是虚拟现实(VR)环境，其中整个操作环境200由计算机生成的元素构成。
电子设备210由用户50握持。在一些具体实施中，电子设备210对应于移动设备，诸如智能电话、膝上型电脑、平板电脑等。在一些具体实施中，电子设备210与图1中的电子设备100类似并且从其修改而来。
在一些具体实施中，电子设备210对应于包括集成显示器(例如，内置显示器)的头戴式设备(HMD)，该集成显示器显示操作环境200的表示。在一些具体实施中，电子设备210包括头戴式壳体。在各种具体实施中，头戴式壳体包括附接区，具有显示器的另一设备可附接到该附接区。在各种具体实施中，头戴式壳体被成形为形成用于接收包括显示器的另一设备(例如，电子设备210)的接收器。例如，在一些具体实施中，电子设备210滑动/卡扣到头戴式壳体中或以其他方式附接到该头戴式壳体。在一些具体实施中，附接到头戴式壳体的设备的显示器呈现(例如，显示)操作环境200的表示。例如，在一些具体实施中，电子设备210对应于可附接到头戴式壳体的移动电话。在各种具体实施中，电子设备210的示例包括智能电话、平板电脑、媒体播放器、膝上型电脑等。
电子设备210包括显示器212。该电子设备212与视场214相关联，该视场包括操作环境200的一部分。操作环境200的该部分包括显示屏220和显示屏220内的视频流。视频流表示媒体对象，包括狗221。例如，在一些具体实施中，电子设备210获取媒体对象，并且渲染该媒体对象以便生成用于在显示器212上显示的视频流。
在一些具体实施中，显示屏220对应于由显示器212显示的虚拟显示屏(例如，计算机生成的电视)，并且电子设备210在虚拟显示屏内显示视频流。在一些具体实施中，显示屏220对应于物理显示屏(例如，真实世界电视)，并且电子设备210在该物理显示屏内显示视频流。为此，在一些具体实施中，电子设备210相对于操作环境200执行语义分割，以便在语义上识别例如“电视”或“观看区域”。本领域的普通技术人员将理解，在一些具体实施中，电子设备210显示视频流而不显示虚拟显示屏，或者显示与物理显示屏在操作环境200内的位置无关的视频流。
如图2B所示，显示器212显示显示屏220内的视频流的第一部分。该视频流的第一部分表示媒体对象的第一部分。该视频流的第一部分通过相对较高分辨率值来表征，诸如狗221的4K视频流。因此，该媒体对象的第一部分与相对较高的第一资源利用率值相关联。第一资源利用值表征电子设备210对相应资源的利用率。
例如，在一些具体实施中，第一资源利用率值表征电子设备210利用相对较高级别的通信链路资源以便获取媒体对象的第一部分。例如，电子设备210利用通信链路资源以便满足相对于与获取媒体对象的第一部分相关联的服务质量(QoS)度量(例如，带宽、分组丢失、抖动等)的性能度量。
又如，在一些具体实施中，第一资源利用率值表征电子设备210利用与渲染视频流的第一部分相关联的相对较高级别的渲染资源。例如，电子设备210渲染媒体对象的第一部分，以便生成视频流的第一部分的相对较高分辨率(例如，4K)表示。在一些具体实施中，第一资源利用率值表征对通信链路资源、渲染资源和与显示媒体对象的表示相关联的其他设备资源的组合的利用率。
与先前可用的设备相比，电子设备210基于参与度分数232来保持或改变相应资源的利用率。参与度分数232表征相对于媒体流(诸如所显示的表示狗221的视频流)的表示的用户参与度水平。因此，与先前可用的设备相比，在一些情况下，电子设备210降低了资源利用率，而不使用户50的体验受影响。为此，在一些具体实施中，如图2C所示，电子设备210包括并利用一个或多个眼睛跟踪传感器164和一个或多个深度传感器231，以便确定参与度分数232。一个或多个眼睛跟踪传感器164输出与用户50相关联的眼睛跟踪数据，并且电子设备210确定用户50的眼睛注视指向狗221。此外，深度传感器231输出表征操作环境200的深度数据，并且电子设备210确定表征显示器212和显示屏220(例如，显示屏220的中心)之间的距离的第一深度值。本领域的普通技术人员将理解，在一些具体实施中，电子设备210基于其他传感器数据确定参与度分数232。
如图2D所示，电子设备210基于眼睛跟踪数据和深度数据确定具有“7”值的参与度分数232。参考图2A至图2K所示的示例，参与度分数232在“0”(例如，完全不参与)到“10”(最高参与度水平)的范围内。然而，本领域的普通技术人员将理解，其他具体实施包括参与度分数232的不同范围和/或比例。重新参考图2D，电子设备210确定相对较高的参与度分数232为“7”，因为用户50的眼睛注视指向狗221。
如图2D中进一步所示，电子设备210基于可本地存储的资源映射表230来选择高资源利用率。资源映射表230提供参与度分数与资源利用水平之间的映射。即，由于参与度分数高于“5”，因此电子设备210选择高资源利用率，如图2D所示。因此，电子设备210保持与获取和/或渲染媒体对象的第一部分相关联的相对较高的第一资源利用率值。因此，如图2D和图2E所示，显示器212以相对较高分辨率值保持狗221的显示。如图2E所示，狗221开始在显示屏220上移动，如移动线234所示。仅出于说明的目的示出了移动线234。狗221从显示屏220的左侧到显示屏220的右侧的移动在图2F至图2K中示出。
如图2F所示，基于眼睛跟踪数据，电子设备210确定用户50的眼睛注视已从显示屏220移开第一距离236。仅出于说明的目的示出了第一距离236。此外，电子设备210基于深度数据确定显示器212和显示屏220之间的距离保持在第一深度值。因此，由于用户50的眼睛注视不再专注于显示屏220或狗221上，因此电子设备210将参与度分数从“7”减小到“5”，如图2F所示。基于确定参与度分数“5”并基于资源映射表230，电子设备210将相应资源的利用率从高资源利用率改变为中等资源利用率。因此，如图2F所示，电子设备210在显示器212上显示具有中等分辨率值(例如，1080p)的视频流的第二部分。即，图2F中的狗221以长虚线示出，以便指示与图2E所示的实线狗221相比分辨率的降低。该视频流的第二部分与媒体对象的与中等资源利用率相关联的第二部分相关联。为此，在一些具体实施中，与获取媒体对象的第一部分相比，电子设备210根据通信链路资源的较低利用率(例如，较低带宽)获取媒体对象的第二部分。在一些具体实施中，与渲染媒体对象的第一部分相比，电子设备210根据渲染资源的较低利用率(例如，较低GPU处理速率)来渲染媒体对象的第二部分。
如图2G所示，基于眼睛跟踪数据，电子设备210确定用户50的眼睛注视已从显示屏220移开第二距离238。仅出于说明的目的示出了第二距离238。另一方面，电子设备210基于深度数据确定显示器212和显示屏220之间的距离保持在第一深度值。第二距离238大于第一距离236。因此，电子设备210进一步将参与度分数从“5”减小到“3”。基于确定参与度分数“3”并基于资源映射表230，电子设备210将相应资源的利用率从中等资源利用率改变为低资源利用率。因此，电子设备210在显示器212上显示具有低分辨率值(例如，480p)的视频流的第三部分。即，图2G中的狗221用短虚线示出，以便指示与图2F所示的长虚线狗221相比分辨率的降低。该视频流的第三部分与媒体对象的与低资源利用率相关联的第三部分相关联。为此，在一些具体实施中，与获取媒体对象的第二部分相比，电子设备210根据通信链路资源的较低利用率(例如，较低带宽)获取媒体对象的第三部分。在一些具体实施中，与渲染媒体对象的第二部分相比，电子设备210根据渲染资源的较低利用率(例如，较低GPU处理速率)来渲染媒体对象的第三部分。
如图2H和图2I所示，用户50以及因此电子设备210移动得更靠近后壁202，如设备移动线240所示。仅出于说明的目的示出了设备移动线240。因此，如图2J所示，与图2G相比，显示器212显示更大的显示屏220和视频流。
如图2K所示，电子设备210基于眼睛跟踪数据确定用户50的眼睛注视已移动到显示屏220上方并且已保持在距显示屏220的第二距离238处。此外，电子设备210基于深度数据确定显示器212和显示屏220(例如，显示屏220的中心)之间的距离已从第一深度值减小到第二深度值。从第一深度值到第二深度值的变化由电子设备210朝向后壁202的移动240引起。值得注意的是，与图2G相比，尽管眼睛注视保持在距显示屏220的第二距离238处，但电子设备210更靠近显示屏220和视频流。因此，与参考图2G所述的相对较低的参与度分数“3”相比，电子设备210确定中等参与度分数“5”，如图2K所示。因此，基于资源映射表230，电子设备210将相应资源的利用率从低资源利用率改变为中等资源利用率。因此，电子设备210在显示器212上显示具有中等分辨率值(例如，1080p)的视频流的第四部分。即，图2K中的狗221用长虚线示出，以便指示与图2G所示的短虚线狗221相比分辨率的增加。
图3A至图3H是根据一些具体实施的基于参与度分数来改变与媒体对象相关联的资源利用率的另一示例。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。如图3A所示，电子设备210与操作环境300相关联。操作环境300包括后壁302、侧壁304和悬挂在后壁302上的画311。此外，操作环境300包括表示与辅助设备相关联(例如，当前正使用辅助设备)的个人的头像310。例如，在一些具体实施中，电子设备210和辅助设备通过共现会话进行通信，并且操作环境300用作共享的操作空间(例如，真实或虚拟会议室)。在一些具体实施中，电子设备210生成头像310。例如，电子设备210从辅助设备获取表征个人的信息(例如，高度、头发颜色等)，并且基于该信息生成头像310。
如图3B所示，电子设备210通过显示器212显示后壁302、侧壁304、画311和头像310。图3B中所示的头像310根据相应资源的相对较高利用率诸如渲染资源(例如，4K渲染)的高利用率来显示。此外，如仅出于说明的目的所示的，中心点312指示显示器212的中心点。如下所述，在一些具体实施中，电子设备210基于中心点312的变化来确定参与度分数232。本领域的普通技术人员将理解，在一些具体实施中，电子设备210基于其他因素诸如相对于显示器212的边缘或拐角来确定参与度分数232。
如图3C所示，电子设备210确定头像310和中心点312之间的第一距离324。因此，如图3D所示，电子设备210基于第一距离确定参与度分数为“4”。基于参与度分数232为4，电子设备210将相应资源的利用率设置为中等资源利用率，如图在3D中的资源映射表230内所示。因此，与图3C所示的实线头像310相比，图3D中的头像310具有虚线外观以便指示降低的分辨率。具有降低分辨率的头像310根据中等资源利用率与利用相应资源的电子设备210相关联，该中等资源利用率诸如用于渲染中等分辨率(例如，1080p)的GPU利用率或与获取(例如，从辅助设备)数据的表示头像310的对应部分相关联的降低的带宽水平。
如图3E所示，电子设备210通过一个或多个输入设备(例如，图1中的IMU 130)检测第一位置改变输入332。第一位置改变输入332指示电子设备210从第一位置改变到第二位置。例如，在一些具体实施中，第一位置改变输入332对应于电子设备210的旋转移动或电子设备210的平移移动(例如，沿x-y轴)。
响应于检测到图3E中的第一位置改变输入332，电子设备210相应地在图3F中的显示器212上移动上画311和头像310的相应位置。因此，头像310移动到距中心点312的第二距离334。第二距离334小于第一距离324。此外，电子设备310将参与度分数232从“4”改变为“7”，因为图3F中的头像310比图3E中的头像310更靠近中心点312。因此，基于将参与度分数232增加到“7”，电子设备210将相应资源的利用率从第二值增加到第三值。即，与图3E所示的虚线头像310相比，显示器212显示图3F中的头像310具有实线外观以便指示增加的分辨率。
如图3G所示，电子设备210通过一个或多个输入设备检测第二位置改变输入336。第二位置改变输入336指示电子设备210从第二位置改变到第三位置。响应于检测到图3G中的第二位置改变输入336，电子设备210确定画311和头像310都不显示在显示器212上，因此停止显示画311和头像310。因此，电子设备210将参与度分数232从“7”降低到“2”，并且相应地将资源利用率降低到低资源利用率，如图3H所示。换句话讲，由于头像310不再显示在显示器212上，因此电子设备210不需要继续获取与头像310相关联的对应的可显示数据或渲染对应的可显示数据。在一些具体实施中，低资源利用率对应于电子设备210播放与头像310相关联的空间音频340，如图3H所示。电子设备210减少了通信链路的利用率和渲染资源，因为空间音频340包括比视频数据更少的信息，并且因为空间音频340不需要渲染。例如，电子设备210播放空间音频340，使得好像从操作环境300的左侧发出，因为头像310基于第二位置改变输入336而从显示器212的左侧移开。因此，电子设备210向用户50提供未受影响的体验，同时节省与获取和渲染与头像310相关联的视频数据相关联的资源。因此，如本文所述，电子设备210利用比其他设备更少的资源。
图4是根据一些具体实施的基于参与度分数来改变与媒体对象相关联的资源利用率的方法400的流程图的示例。在各种具体实施中，方法400或其部分由包括显示器的电子设备(例如，图1中的电子设备100、图2A至图2K或图3A至图3H中的电子设备210)执行。在各种具体实施中，方法400或其部分由包括集成显示器的头戴式设备(HMD)执行。在一些具体实施中，方法400由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些实施方式中，方法400由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。在各种具体实施中，方法400中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
如框402所示，方法400包括在显示器上显示媒体对象的第一部分的表示。例如，参考图2B，显示器212显示视频流的第一部分。如框404所示，媒体对象的第一部分与第一资源利用率值相关联，并且该第一资源利用率值表征电子设备对相应资源的利用率。继续前面的示例，视频流的第一部分与相对较高的资源利用率相关联，因此电子设备210在图2B中以对应的高分辨率显示视频流的第一部分。在一些具体实施中，媒体对象是完整的电视节目剧集、完整的电影、移动式3D纹理的完整序列等，并且媒体对象的第一部分对应于媒体对象的一个或多个顺序图像。例如，在一些具体实施中，媒体对象对应于参考图3A至图3H描述的头像310。
如框406所示，方法400包括确定表征相对于媒体对象的第一部分的表示的用户参与度水平的参与度分数。该参与度分数表征用户专注于媒体对象的第一部分的表示的程度，诸如用户注视视频流的时间长度。
如框408所示，在一些具体实施中，方法400包括基于眼睛跟踪数据的函数来确定参与度分数。为此，电子设备包括眼睛跟踪器传感器，该眼睛跟踪器传感器提供与用户相关联的眼睛跟踪数据。例如，当媒体对象的第一部分的表示位于用户的周边时，参与度分数从中等到低。又如，当媒体对象的第一部分的表示位于用户的注视内时，参与度分数更高。又如，在一些具体实施中，媒体对象的第一部分的表示显示在显示器上的第一位置处，并且方法400包括基于眼睛跟踪数据的函数来识别注视位置。继续前述示例，根据确定注视位置距第一位置小于阈值距离，方法400包括将参与度分数设置为第一值，并且根据确定注视位置距第一位置不小于阈值距离，方法400包括将参与度分数设置为小于第一值的第二值。例如，参考图2F，当用户的眼睛注视(基于眼睛跟踪数据确定)距显示屏220为第一距离236时，电子设备210将参与度分数设置为值“5”。例如，参考图2G，当用户的眼睛注视(基于眼睛跟踪数据确定)距显示屏220为第二距离238时，电子设备210将参与度分数设置为更小的值“3”。第二距离238大于第一距离236。
如框410所示，在一些具体实施中，方法400包括基于深度数据的函数来确定参与度分数。为此，电子设备包括提供相对于媒体对象的第一部分的深度数据的深度传感器。例如，参考图2G和图2K，电子设备210确定用户50的眼睛注视和显示屏220之间的相同的第二距离238。然而，电子设备210将参与度分数232设置为图2G中的“3”和图2K中的“5”，因为深度数据指示电子设备210在图2G中比在图2K中离显示区域220更远。
如框412所示，在一些具体实施中，方法400包括基于位置改变数据的变化来确定参与度分数。为此，电子设备包括一个或多个输入设备(例如，IMU、加速度计等)，并且方法400包括通过一个或多个输入设备检测位置改变输入。位置改变输入指示电子设备从第一位置改变到第二位置。例如，位置改变输入对应于HMD移动，诸如由穿戴HMD的头部转动发起。例如，响应于检测到图3E中的第一位置改变输入332，电子设备210在图3F中将头像310重新定位成更靠近显示器212的中心点312，并且因此将参与度分数232从“4”增加到“7”。
在一些具体实施中，响应于检测到位置改变输入，根据确定媒体对象的第一部分的表示位于显示器上距显示器中心小于阈值距离的第一位置处，方法400包括将参与度分数设置为第一值。此外，根据确定媒体对象的第一部分的表示位于显示器上距显示器中心不小于阈值距离的第二位置处，方法400包括将参与度分数设置为小于第一值的第二值。此外，根据确定媒体对象的第一部分的表示不位于显示器上，方法400包括将参与度分数设置为标称值。例如，响应于检测到图3E中的第一位置改变输入332，电子设备210在图3F中将头像310重新定位成更靠近中心点312，并且因此将参与度分数232从“4”增加到“7”。另一方面，响应于检测到图3G中的第二位置改变输入336，电子设备210确定头像310在图3H中不再显示，并且因此将参与度分数减小到标称值“2”。
如框414所示，方法400包括基于参与度分数的函数将相应资源的利用率从第一资源利用率值改变为第二资源利用率值。该第二资源利用率值与媒体对象的第二部分相关联。该媒体对象的第二部分不同于媒体对象的第一部分。例如，媒体对象的第一部分对应于视频流的第一视频帧，而媒体对象的第二部分对应于视频流的第二视频帧。在一些具体实施中，方法400包括记录参与度分数的函数，其中响应于确定参与度分数的函数满足变化标准，将相应资源的利用率从第一资源利用率值改变为第二资源利用率值。例如，参考图2F和图2G，响应于确定眼睛注视距显示屏220为第二距离238并且第二距离238大于第一距离236，电子设备210将参与度分数232从“5”减小到“3”。继续该示例，电子设备210确定参与度分数232从“5”到“3”的变化满足该变化标准，因此电子设备210相应地将资源利用率从中等资源利用率降低到低资源利用率。又如，当参与度分数的函数对应于参与度分数的增加时，第二资源利用率值高于第一资源利用率值，并且当参与度分数的函数对应于参与度分数的减少时，第二资源利用率值低于第一资源利用率值。
如框416所示，在一些具体实施中，相应资源对应于通信链路资源。因此，第一资源利用率值表征电子设备获取媒体对象的第一部分，并且第二资源利用率值表征电子设备获取媒体对象的第二部分。例如，参考图2E，电子设备210通过通信链路资源以相对较高的下载速率获取媒体对象的第一部分，以便以高分辨率(例如，4K)显示视频流的对应第一部分。又如，参考图2F，电子设备210通过通信链路资源以中等下载速率获取媒体对象的第二部分，以便以中等分辨率(例如，1080p)显示视频流的对应第二部分。在一些具体实施中，方法400包括根据第一资源利用率值以第一输出速率来获取由内容供应系统提供的媒体对象的第一部分，以及根据第二资源利用率值以不同于第一输出速率的第二输出速率来获取由内容供应系统提供的媒体对象的第二部分。
在一些具体实施中，诸如在电子设备从本地非暂态存储器检索媒体对象时，内容供应系统被包括在电子设备中。因此，通信链路资源对应于电子设备内的有助于从本地存储装置中检索媒体对象的通信系统(例如，处理资源、存储器资源)。
在一些具体实施中，内容供应系统是与电子设备分开的内容分发服务器，诸如包括在内容分发网络(CDN)中的内容分发服务器。例如，通信链路资源对应于网络接口，并且电子设备通过网络接口下载(例如，流传输)媒体对象。例如，在一些具体实施中，电子设备对应于能够自适应比特率(ABR)的设备。继续前述示例，电子设备向内容分发服务器传输对媒体对象的第二部分的请求，以便将相应资源的利用率从第一资源利用率值改变为第二资源利用率值。作为一个示例，该请求对应于对媒体对象的特定区段表示的HTTP GET命令，该特定区段表示对应于媒体对象的第二部分。又如，在一些具体实施中，该特定区段表示基于各种因素，包括分配给电子设备的订阅层级带宽和当前驻留在电子设备的播放缓冲区中的数据量。
如框418所示，在一些具体实施中，相应资源对应于渲染资源。因此，第一资源利用率值表征电子设备渲染媒体对象的第一部分，并且第二资源利用率值表征电子设备渲染媒体对象的第二部分。为此，在一些具体实施中，方法400包括根据第一资源利用率值来渲染媒体对象的第一部分，以便生成媒体对象的第一部分的表示，以及根据第二资源利用率值来渲染媒体对象的第二部分，以便生成媒体对象的第二部分的表示。例如，电子设备210根据渲染资源的中等利用率渲染头像310的一部分，以便在图3D中生成并最终显示中等分辨率头像310。又如，电子设备210根据渲染资源的高利用率渲染头像310的一部分，以便在图3E中生成并最终显示高分辨率头像310。因此，在一些具体实施中，媒体对象的第一部分的表示通过第一视频分辨率来表征，并且媒体对象的第二部分的表示通过不同于第一视频分辨率的第二视频分辨率来表征。在一些具体实施中，表示媒体对象(例如，媒体对象的模型)的数据本地存储在电子设备的非暂态存储器中，并且电子设备仅获取表征媒体对象的位置信息。因此，电子设备利用网络资源的相对较低利用率，但当媒体对象要以对应的中等分辨率到高分辨率显示时，可利用渲染资源的中等利用率到高利用率。
如框420所示，在一些具体实施中，响应于确定参与度分数低于阈值(例如，被设置为标称值)，方法400包括停止显示媒体对象的第一部分的表示，并且通过电子设备中的扬声器播放媒体对象的第二部分的音频表示。音频表示可对应于基于参与度分数的函数而播放的空间音频。例如，响应于确定头像310在图3H中不再显示，电子设备210将参与度分数设置为“2”并因此播放空间音频340，而不获取或渲染与头像310相关联的视频数据。因此，通过前述获取和渲染视频，在一些情况下，电子设备210降低了总体资源利用率而不使用户体验受影响。
本公开描述了各种特征，其中没有一个特征能够单独实现本文所述的益处。应当理解，本文所述的各种特征可被组合、修改或省略，这对本领域的普通技术人员是显而易见的。本文具体描述的那些之外的其他组合和子组合对于普通技术人员而言将显而易见，并旨在形成本公开的一部分。本文结合各种流程图步骤和/或阶段描述了各种方法。应当理解，在很多情况下，某些步骤和/或阶段可被组合在一起，使得流程图中所示的多个步骤和/或阶段可作为单个步骤和/或阶段来被执行。另外，某些步骤和/或阶段可分成要独立执行的附加子部件。在一些情况下，可重新布置步骤和/或阶段的次序，并且可完全省略某些步骤和/或阶段。另外，本文所述的方法应被理解为可广泛解释的，使得也可执行除本文所示和所述那些之外的附加步骤和/或阶段。
本文所述的一些或所有方法和任务可由计算机系统执行和完全自动化。在一些情况下，计算机系统可包括通过网络进行通信和互操作以执行所述功能的多个不同的计算机或计算设备(例如，物理服务器、工作站、存储阵列等)。每个此类计算设备通常包括处理器(或多个处理器)，该处理器执行存储在存储器或其他非暂态计算机可读存储介质或设备中的程序指令或模块。本文所公开的各种功能可在此类程序指令中实现，但另选地可在计算机系统的专用电路(例如，ASIC或FPGA或GP-GPU)中实现所公开的功能中的一些或全部。在计算机系统包括多个计算设备的情况下，这些设备可位于同一位置或不位于同一位置。可通过将物理存储设备诸如固态存储器芯片和/或磁盘转换成不同状态来持久地存储所公开的方法和任务的结果。
本文定义的各种过程考虑了获取和利用用户的个人信息的选项。例如，可利用此类个人信息以便在电子设备上提供改进的隐私屏幕。然而，在收集此类个人信息的程度上，此类信息应在用户知情同意的情况下获取。如本文所描述的，用户应了解和控制其个人信息的使用。
个人信息将由适当方仅用于合法和合理的目的。利用此类信息的各方将遵守至少符合适当法律法规的隐私政策和惯例。此外，此类政策应是完善的、用户可访问的，并且被认为符合或高于政府/行业标准。此外，除任何合理和合法的目的外，各方不得分发、出售或以其他方式分享此类信息。
然而，用户可限制各方能访问或以其他方式获取个人信息的程度。例如，可调整设置或其他偏好，使得用户可决定其个人信息是否可由各种实体访问。此外，虽然在使用个人信息的上下文中描述了本文所定义的一些特征，但可在不需要使用此类信息的情况下实现这些特征的各方面。例如，如果收集到用户偏好、账户名称和/或位置历史，则该信息可被模糊化或以其他方式一般化，使得该信息不会识别相应用户。
本公开并不旨在限于本文所示的具体实施。对于本领域的技术人员而言，对本公开中描述的具体实施的各种修改可为显而易见的，并且可将本文所定义的一般原理应用于其他具体实施，而不脱离本公开的实质或范围。本文所提供的本发明的教导内容可应用于其他方法和系统，并且不限于上述方法和系统，并且可组合上述各种具体实施的元素和动作以提供更多具体实施。因此，本文描述的新颖方法和系统可以以多种其他形式来实现；此外，在不脱离本公开的实质的情况下，可以对本文所述的方法和系统的形式进行各种省略、替换和改变。所附权利要求及其等同内容旨在涵盖落入本公开的范围和实质内的此类形式或修改形式。

Claims (20)

1.一种方法，包括：
在具有一个或多个处理器、非暂态存储器和显示器的电子设备处：
在所述显示器上显示媒体对象的第一部分的表示，其中所述媒体对象的所述第一部分与第一资源利用率值相关联，并且其中所述第一资源利用率值表征所述电子设备对相应资源的利用率；
确定参与度分数，所述参与度分数表征相对于所述媒体对象的所述第一部分的所述表示的用户参与度水平；以及
基于所述参与度分数的函数将所述相应资源的所述利用率从所述第一资源利用率值改变为第二资源利用率值，其中所述第二资源利用率值与所述媒体对象的第二部分相关联。
2.根据权利要求1所述的方法，还包括记录参与度分数的变化，其中将所述相应资源的所述利用率从所述第一资源利用率值改变为所述第二资源利用率值是响应于确定所述参与度分数的所述变化满足变化标准而进行的。
3.根据权利要求2所述的方法，其中：
当所述参与度分数的所述变化对应于所述参与度分数的增加时，所述第二资源利用率值高于所述第一资源利用率值；并且
当所述参与度分数的所述变化对应于所述参与度分数的减少时，所述第二资源利用率值低于所述第一资源利用率值。
4.根据权利要求1所述的方法，其中所述相应资源对应于渲染资源，其中所述第一资源利用率值表征所述电子设备渲染所述媒体对象的所述第一部分，并且其中所述第二资源利用率值表征所述电子设备渲染所述媒体对象的所述第二部分。
5.根据权利要求4所述的方法，还包括：
根据所述第一资源利用率值渲染所述媒体对象的所述第一部分，以生成所述媒体对象的所述第一部分的所述表示；以及
根据所述第二资源利用率值渲染所述媒体对象的所述第二部分，以生成所述媒体对象的所述第二部分的表示。
6.根据权利要求5所述的方法，其中所述媒体对象的所述第一部分的所述表示通过第一视频分辨率来表征，并且其中所述媒体对象的所述第二部分的所述表示通过不同于所述第一视频分辨率的第二视频分辨率来表征。
7.根据权利要求1所述的方法，其中所述相应资源对应于通信链路资源，其中所述第一资源利用率值表征所述电子设备获取所述媒体对象的所述第一部分，并且其中所述第二资源利用率值表征所述电子设备获取所述媒体对象的所述第二部分。
8.根据权利要求7所述的方法，还包括：
根据所述第一资源利用率值以第一输出速率从内容供应系统获取所述媒体对象的所述第一部分；以及
根据所述第二资源利用值以不同于所述第一输出速率的第二输出速率从所述内容供应系统获取所述媒体对象的所述第二部分。
9.根据权利要求8所述的方法，其中所述内容供应系统集成在所述电子设备中。
10.根据权利要求8所述的方法，其中所述内容供应系统对应于与所述电子设备分开的内容分发服务器。
11.根据权利要求10所述的方法，其中所述电子设备对应于能够自适应比特率(ABR)的设备，并且其中将对所述相应资源的利用率从所述第一资源利用率值改变为所述第二资源利用率值包括向所述内容分发服务器传输对所述媒体对象的所述第二部分的请求。
12.根据权利要求10所述的方法，其中所述内容分发服务器被包括在内容分发网络(CDN)中。
13.根据权利要求1所述的方法，其中所述电子设备包括提供与所述用户相关联的眼睛跟踪数据的眼睛跟踪器传感器，并且其中确定所述参与度分数基于所述眼睛跟踪数据的函数。
14.根据权利要求13所述的方法，其中所述媒体对象的所述第一部分的所述表示在所述显示器上的第一位置处显示，所述方法还包括：
基于所述眼睛跟踪数据的函数来识别注视位置；
根据确定所述注视位置距所述第一位置小于阈值距离，将所述参与度分数设置为第一值；以及
根据确定所述注视位置距所述第一位置不小于所述阈值距离，将所述参与度分数设置为小于所述第一值的第二值。
15.根据权利要求1所述的方法，其中所述电子设备包括一个或多个输入设备，所述方法还包括：经由所述一个或多个输入设备检测位置改变输入，其中所述位置改变输入指示所述电子设备从第一位置改变到第二位置，并且其中确定所述参与度分数基于所述位置改变输入的函数。
16.根据权利要求15所述的方法，还包括：
响应于检测到所述位置改变输入：
根据确定所述媒体对象的所述第一部分的所述表示位于所述显示器上距所述显示器的中心小于阈值距离的第一位置处，将所述参与度分数设置为第一值；
根据确定所述媒体对象的所述第一部分的所述表示位于所述显示器上距所述显示器的所述中心不小于所述阈值距离的第二位置处，将所述参与度分数设置为小于所述第一值的第二值；以及
根据确定所述媒体对象的所述第一部分的所述表示不位于所述显示器上，将所述参与度分数设置为标称值。
17.根据权利要求1所述的方法，其中所述电子设备包括提供相对于所述媒体对象的所述第一部分的深度数据的深度传感器，并且其中确定所述参与度分数基于所述深度数据的函数。
18.根据权利要求1所述的方法，还包括：
响应于确定所述参与度分数降至低于阈值：
停止显示所述媒体对象的所述第一部分的所述表示；以及
经由集成在所述电子设备中的扬声器播放所述媒体对象的所述第二部分的音频表示，其中所述音频表示对应于基于所述参与度分数的函数而播放的空间音频。
19.一种电子设备，包括：
一个或多个处理器；
非暂态存储器；
显示器；以及
一个或多个程序，其中所述一个或多个程序存储在所述非暂态存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于以下操作的指令：
在所述显示器上显示媒体对象的第一部分的表示，其中所述媒体对象的所述第一部分与第一资源利用率值相关联，并且其中所述第一资源利用率值表征所述电子设备对相应资源的利用率；
确定参与度分数，所述参与度分数表征相对于所述媒体对象的所述第一部分的所述表示的用户参与度水平；以及
基于所述参与度分数的函数将所述相应资源的所述利用率从所述第一资源利用率值改变为第二资源利用率值，其中所述第二资源利用率值与所述媒体对象的第二部分相关联。
20.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储一个或多个程序，所述一个或多个程序包括指令，所述指令在由具有显示器和一个或多个处理器的电子设备执行时，使得所述电子设备：
在所述显示器上显示媒体对象的第一部分的表示，其中所述媒体对象的所述第一部分与第一资源利用率值相关联，并且其中所述第一资源利用率值表征所述电子设备对相应资源的利用率；
确定参与度分数，所述参与度分数表征相对于所述媒体对象的所述第一部分的所述表示的用户参与度水平；以及
基于所述参与度分数的函数将所述相应资源的所述利用率从所述第一资源利用率值改变为第二资源利用率值，其中所述第二资源利用率值与所述媒体对象的第二部分相关联。
CN202110598980.XA 2020-06-19 2021-05-31 基于参与度分数改变与媒体对象相关联的资源利用率 Pending CN113821337A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063041287P 2020-06-19 2020-06-19
US63/041,287 2020-06-19

Publications (1)

Publication Number Publication Date
CN113821337A true CN113821337A (zh) 2021-12-21

Family

ID=78923827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110598980.XA Pending CN113821337A (zh) 2020-06-19 2021-05-31 基于参与度分数改变与媒体对象相关联的资源利用率

Country Status (2)

Country Link
US (2) US11310553B2 (zh)
CN (1) CN113821337A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220076489A1 (en) * 2020-09-08 2022-03-10 Rovi Guides, Inc. Systems and methods for generating supplemental content in an extended reality environment
US20240048807A1 (en) * 2022-08-08 2024-02-08 Phenix Real Time Solutions, Inc. Leveraging insights from real-time media stream in delayed versions

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103649904A (zh) * 2011-05-10 2014-03-19 Nds有限公司 自适应内容呈现
US9769522B2 (en) * 2013-12-16 2017-09-19 Echostar Technologies L.L.C. Methods and systems for location specific operations
US9426525B2 (en) * 2013-12-31 2016-08-23 The Nielsen Company (Us), Llc. Methods and apparatus to count people in an audience
US20150302422A1 (en) * 2014-04-16 2015-10-22 2020 Ip Llc Systems and methods for multi-user behavioral research
US10200725B2 (en) * 2015-06-15 2019-02-05 Intel Corporation Adaptive data streaming based on virtual screen size
US10542315B2 (en) * 2015-11-11 2020-01-21 At&T Intellectual Property I, L.P. Method and apparatus for content adaptation based on audience monitoring
US10110802B2 (en) * 2016-12-30 2018-10-23 Axis Ab Historical gaze heat map for a video stream
WO2019117866A1 (en) * 2017-12-12 2019-06-20 Google Llc Bitrate optimizations for immersive multimedia streaming
WO2020172826A1 (zh) * 2019-02-27 2020-09-03 华为技术有限公司 一种视频处理方法和移动设备
EP3722992B1 (en) * 2019-04-10 2023-03-01 Teraki GmbH System and method for pre-processing images captured by a vehicle
US11758203B2 (en) * 2019-12-13 2023-09-12 At&T Intellectual Property I, L.P. Adaptive bitrate video cache

Also Published As

Publication number Publication date
US20220191577A1 (en) 2022-06-16
US20210400329A1 (en) 2021-12-23
US11310553B2 (en) 2022-04-19

Similar Documents

Publication Publication Date Title
US10009542B2 (en) Systems and methods for environment content sharing
US20220191577A1 (en) Changing Resource Utilization associated with a Media Object based on an Engagement Score
US20230400956A1 (en) Displaying Representations of Environments
CN113741839A (zh) 基于修改的环境光亮度值生成显示数据
US11373271B1 (en) Adaptive image warping based on object and distance information
US20240045501A1 (en) Directing a Virtual Agent Based on Eye Behavior of a User
US11856313B2 (en) Combining video streams having different information-bearing levels
US20210216146A1 (en) Positioning a user-controlled spatial selector based on extremity tracking information and eye tracking information
US11270409B1 (en) Variable-granularity based image warping
US11783444B1 (en) Warping an input image based on depth and offset information
US20230065077A1 (en) Displaying a Rendered Volumetric Representation According to Different Display Modes
US20230370578A1 (en) Generating and Displaying Content based on Respective Positions of Individuals
US11698677B1 (en) Presenting a notification based on an engagement score and an interruption priority value
US11966510B2 (en) Object engagement based on finger manipulation data and untethered inputs
US11983810B1 (en) Projection based hair rendering
US20230333641A1 (en) Ambience-Driven User Experience
US20230297168A1 (en) Changing a Dimensional Representation of a Content Item
US20230333651A1 (en) Multi-Finger Gesture based on Finger Manipulation Data and Extremity Tracking Data
US20230325047A1 (en) Merging Computer-Generated Objects
US20240094819A1 (en) Devices, methods, and user interfaces for gesture-based interactions
CN115113839A (zh) 指示遮挡物理对象的位置
CN116893734A (zh) 基于眼睛跟踪选择基于目标定位标准的用户界面（ui）元素
CN112578983A (zh) 手指取向触摸检测

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination