CN116980967A - 基于无线通信信道带宽条件的电子设备内容提供调节 - Google Patents

基于无线通信信道带宽条件的电子设备内容提供调节 Download PDF

Info

Publication number
CN116980967A
CN116980967A CN202311095498.XA CN202311095498A CN116980967A CN 116980967 A CN116980967 A CN 116980967A CN 202311095498 A CN202311095498 A CN 202311095498A CN 116980967 A CN116980967 A CN 116980967A
Authority
CN
China
Prior art keywords
electronic device
communication channel
wireless communication
content
mobile device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311095498.XA
Other languages
English (en)
Inventor
M·H·卡恩
J·C·周
S·C·西斯马斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN116980967A publication Critical patent/CN116980967A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/0231—Traffic management, e.g. flow control or congestion control based on communication conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0002—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission rate
    • H04L1/0003—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission rate by switching between different modulation schemes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0009—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/06—Optimizing the usage of the radio link, e.g. header compression, information sizing, discarding information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/16—Central resource management; Negotiation of resources or communication parameters, e.g. negotiating bandwidth or QoS [Quality of Service]
    • H04W28/18—Negotiating wireless communication parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/50—Allocation or scheduling criteria for wireless resources
    • H04W72/54—Allocation or scheduling criteria for wireless resources based on quality criteria
    • H04W72/542—Allocation or scheduling criteria for wireless resources based on quality criteria using measured or perceived quality

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本公开涉及基于无线通信信道带宽条件的电子设备内容提供调节。电子设备包括被配置为经由无线通信信道来接收内容基元的无线收发器。该电子设备还包括控制电路，该控制电路耦接到该无线收发器并被配置为基于所接收的内容基元来执行内容提供操作，其中该内容提供操作包括生成内容图像数据以及使用该无线收发器将该内容图像数据传输至该无线通信信道。响应于该无线通信信道的带宽条件小于阈值，该控制电路被配置为执行经调节的内容提供操作，该经调节的内容提供操作减少由该无线收发器传送到该无线通信信道的内容图像数据的量。

Description

基于无线通信信道带宽条件的电子设备内容提供调节
相关申请的交叉引用
本申请是中国国家申请号为201910927820.8、申请日为2019年9月27日、发明名称为“基于无线通信信道带宽条件的电子设备内容提供调节”的发明专利申请的分案申请。
本申请要求2018年9月28日提交的美国临时专利申请No.62/738,883的优先权。
技术领域
本公开涉及基于无线通信信道带宽条件的电子设备内容提供调节。
背景技术
具有图形用户界面(GUI)和无线通信接口的移动设备是普遍的。虽然永久存储要在移动设备上显示的内容是可能的，但仍在持续努力以经由无线通信信道将内容提供扩展到移动设备。存在与相机、显示质量、内容生成、处理速度、无线通信信道带宽和系统成本相关的相互矛盾的限制，这些限制尚未得到充分解决。仍在持续努力以经由无线通信信道改善向移动设备的内容提供。
发明内容
根据本公开的至少一个实施方案，电子设备包括被配置为经由无线通信信道接收内容基元的无线收发器。所述电子设备还包括控制电路，所述控制电路耦接到所述无线收发器，并被配置为基于所接收的内容基元来执行内容提供操作，其中所述内容提供操作包括生成内容图像数据以及使用所述无线收发器将所述内容图像数据传输至所述无线通信信道。响应于所述无线通信信道的带宽条件小于阈值，所述控制电路被配置为执行经调节的内容提供操作，所述经调节的内容提供操作减少由所述无线收发器传送到所述无线通信信道的内容图像数据的量。
根据本公开的至少一个实施方案，方法包括由电子设备经由无线通信信道来接收内容基元。该方法还包括由电子设备基于所接收的内容基元来执行内容提供操作。内容提供操作涉及生成内容图像数据并将内容图像数据传输至无线通信信道，其中至少一些内容图像数据对应于计算机生成的现实(CGR)内容。该方法还包括响应于无线通信信道的带宽条件小于阈值，通过减少传送到无线通信信道的内容图像数据的量来调节内容提供操作。
附图说明
为了详细描述各种示例，现在将参考附图，其中：
图1是示出了根据各种实施方案的系统的框图；
图2是示出了根据各种实施方案的相对于无线通信信道的带宽条件的移动设备特征的图表；
图3是示出了根据各种实施方案的上行链路(从移动设备到电子设备)带宽的基线分布的图表；
图4是示出了根据各种实施方案的下行链路(从电子设备到移动设备)带宽的基线分布的图表；
图5是示出了根据各种实施方案的上行链路(从移动设备到电子设备)带宽需求的基线分布的图表；
图6是示出了根据各种实施方案的下行链路(从电子设备到移动设备)带宽需求的基线分布的图表；
图7是示出了根据各种实施方案的用于管理移动设备中的内容提供操作的系统的框图；
图8是根据各种实施方案的用于移动设备的内容提供管理器的框图；
图9是示出了根据各种实施方案的被配置为执行内容提供操作的计算机系统的框图；
图10是示出了根据各种实施方案的作为信道带宽条件的函数的下行链路(从电子设备到移动设备)内容提供调节的图表；
图11是示出了根据各种实施方案的用于电子设备的内容提供管理器的框图；以及
图12是示出了根据各种实施方案的被配置为执行内容提供操作的另一个计算机系统的框图；以及
图13是示出了根据各种实施方案的用于移动设备的内容提供方法的流程图。
具体实施方式
本文公开了内容显示设备、系统和相关方法以及基于无线通信信道带宽条件的内容提供调节。
在一些实施方案中，示例性内容显示系统包括经由无线通信信道通信的移动设备(例如，手持设备或头戴式设备)和电子设备(例如，台式计算机、膝上型计算机、基站或其他电子设备)。随时间推移，无线通信信道的条件发生变化，这影响能够从移动设备传送到电子设备(或者从电子设备传送到移动设备)的数据量。响应于检测到的无线通信信道带宽的变化，更新移动设备和电子设备的内容提供操作。
在一些实施方案中，响应于无线通信信道的带宽条件小于阈值，通过增加由移动设备执行的图像处理操作的量并减少经由无线通信信道在电子设备和移动设备之间传送的内容的量来调节移动设备和电子设备的内容提供操作。然后，响应于无线通信信道的带宽条件大于阈值，通过减少由移动设备执行的图像处理操作的量并增加经由无线通信信道在电子设备和移动设备之间传送的内容的量来调节移动设备和电子设备的内容提供操作。本文描述了各种内容提供选项和相关操作，其中响应于无线通信信道的带宽条件，使用不同的内容提供选项(例如，使用一个或多个带宽条件阈值以及/或者高于或低于给定带宽条件阈值的时间量)。
由移动设备执行的示例性内容提供操作包括但不限于：相机图像或其他内容基元到达电子设备的基于优先级的传输、对将经由无线通信信道传送到电子设备的图像/图像的数据压缩调节/数据、对相机设置和/或捕获相机图像的每秒视频帧数调节、图像分辨率调节、成凹滤波器调节和本地数据处理调节(例如，改变图像/数据处理操作的量和/或所使用的图像/数据处理算法)。如本文所用，“内容基元”是指能够用于生成用于显示的内容的任何基于传感器的数据。内容基元的一个示例包括相机图像数据。在不同的实施方案中，移动设备的内容提供操作中的一个或多个基于带宽条件阈值以及/或者高于或低于给定带宽条件阈值的时间量来调节。
由电子设备执行的示例性内容提供操作包括但不限于：对将传送到移动设备的数据的速率控制调节、成凹滤波器调节、色彩空间调节、每秒图像/内容帧数调节和缩减调节(例如，小波分解调节)、内容生成(例如，编码的内容/视频层)以及向移动设备提供内容(例如，编码的内容/视频层)。在不同的实施方案中，电子设备的内容提供操作中的一个或多个基于带宽条件阈值以及/或者高于或低于给定带宽条件阈值的时间量来调节。为了更好地理解，使用以下附图来描述涉及基于无线通信信道的带宽条件来执行的内容提供操作的各种内容显示设备、系统和方法。
图1是示出了根据各种实施方案的内容显示系统100的框图。如图所示，内容显示系统100包括经由无线通信信道118彼此通信的移动设备102(例如，手持设备或头戴式设备)和电子设备112。更具体地，图1的移动设备102包括显示器104、传感器106(例如，相机或其他传感器)、控制电路108和无线收发器110。在一些实施方案中，显示器104为液晶显示器(LCD)、有机发光二极管(OLED)显示器或全息显示器。另外，传感器106被配置为捕获周围环境图像。附加地或另选地，传感器106可捕获用户的面部(例如，以跟踪面部表情)、眼睛和/或手(例如，以跟踪手部运动)的图像。附加地或另选地，传感器106捕获附近物体的图像(例如，以跟踪物体位置或运动)。移动设备102的控制电路108执行各种操作以基于无线通信信道118的带宽条件来调节内容提供操作。控制电路108还可执行其他操作。在一些实施方案中，控制电路108对应于至少一个处理器和具有用于执行本文所述的内容提供操作的软件指令的计算机可读介质。
控制电路108的示例性操作包括确定无线通信信道118的条件，并且通过调节由移动设备102执行的内容提供操作来响应所确定的无线通信信道118的条件。在一些实施方案中，移动设备102的可调节的内容提供操作包括但不限于：内容基元(例如，相机图像或能够用于在一些处理或其他内容提供操作之后提供内容的其他内容基元)到达电子设备112的基于优先级的传输、对将经由无线通信信道118传送到电子设备112的图像/数据的图像/数据压缩调节、对相机设置和/或捕获图像的每秒视频帧数调节、图像分辨率调节、成凹滤波器调节和本地数据处理调节(例如，改变图像/数据处理操作的量和/或使用的图像/数据处理算法)。在不同的实施方案中，移动设备102的内容提供操作中的一个或多个由控制电路108基于无线通信信道118的带宽条件阈值以及/或者高于或低于无线通信信道118的给定带宽条件阈值的时间量来调节。
同时，图1的电子设备112包括控制电路114和无线收发器116。电子设备112的控制电路114执行各种操作以基于无线通信信道118的带宽条件来调节内容提供操作。控制电路114还可执行其他操作。在一些实施方案中，控制电路114对应于至少一个处理器和具有用于执行本文所述的内容提供操作的软件指令的计算机可读介质。
控制电路114的示例性操作包括确定无线通信信道118的条件，并且通过调节由电子设备112执行的内容提供操作来响应所确定的无线通信信道118的条件。在一些实施方案中，电子设备112的可调节的内容提供操作包括但不限于：对将传送到移动设备102的数据的速率控制调节、成凹滤波器调节、色彩空间调节、每秒图像/内容帧数调节和缩减调节(例如，小波分解调节)、内容生成(例如，编码的内容/视频层)以及向移动设备102提供内容(例如，编码的内容/视频层)。在不同的实施方案中，电子设备112的内容提供操作中的一个或多个基于无线通信信道118的带宽条件阈值以及/或者高于或低于无线通信信道118的给定带宽条件阈值的时间量来调节。
在一些实施方案中，控制电路108和控制电路114的操作根据使用中的移动设备特征而变化。示例性移动设备特征可基于相机，所述相机包括但不限于：眼睛相机、手跟踪相机、面部相机、深度相机和场景相机。基于相机图像的示例性移动设备特征包括但不限于：生成内容层、生成3D对象、视频配对、对象跟踪(例如，手跟踪、眼睛跟踪、面部/表情跟踪)，和/或其他特征。在不同实施方案中，相机设置(例如，以ppd或像素/mm、fps、比特率为单位的分辨率)可以针对不同的特征或针对相同的移动设备特征的不同模式而变化。当无线通信信道118的带宽条件高于阈值时，更多特征和相机的相关使用是可能的，其中使用的至少一些相机图像数据从移动设备102传送到电子设备112，并且相关内容从电子设备112传送到移动设备102。当无线通信信道118的带宽条件降低时，能够调节一组特征或所支持的模式，使得经由无线通信信道118从移动设备102传送到电子设备112的相机图像数据量减少。类似地，当由于无线通信信道的带宽条件恶化而调节一组特征或所支持的模式时，经由无线通信信道118从电子设备112传送到移动设备102的内容数据量减少。在此类情况下，调节移动设备102和电子设备112的内容提供操作使得所支持的总体特征暂时减少，这使经由无线通信信道118(从移动设备到电子设备或者从电子设备到移动设备)传送的数据量减少。
在一个示例中，移动设备102包括多个传感器106。响应于无线通信信道118的带宽条件小于阈值，移动设备102的经调节的内容提供操作涉及调节传感器106的操作，调节由传感器106捕获的传感器数据的设置，以及/或者基于传感器或传感器数据优先级方案来省略由传感器106捕获的至少一些传感器数据的传送。在一些示例中，移动设备102的经调节的内容提供操作涉及选择性地将优先级方案应用于将由移动设备102或电子设备112执行的图像处理操作，以及基于该优先级方案省略或迁移图像处理操作中的一些。
在一个示例中，响应于无线通信信道118的带宽条件小于阈值，移动设备102或电子设备112的经调节的内容提供操作涉及选择性地调节将由移动设备102或电子设备112使用的图像数据处理算法的数量。
在一个示例中，响应于无线通信信道118的带宽条件小于阈值，移动设备102的经调节的内容提供调节涉及选择性地调节由传感器106捕获并经由无线通信信道118从移动设备102传送到电子设备112的图像数据的压缩选项。
在一个示例中，响应于无线通信信道118的带宽条件小于阈值，移动设备102的经调节的内容提供操作涉及选择性地调节由传感器106捕获并经由无线通信信道118从移动设备102传送到电子设备112的图像数据的每秒帧数。
在一个示例中，响应于无线通信信道118的带宽条件小于阈值，移动设备102的经调节的内容提供操作涉及选择性地调节由传感器106捕获并经由无线通信信道118从移动设备102传送到电子设备112的图像数据的分辨率选项。
在一个示例中，响应于无线通信信道118的带宽条件小于阈值，移动设备102的经调节的内容提供操作涉及选择性地调节由传感器106捕获并经由无线通信信道118从移动设备102传送到电子设备112的图像数据的成凹选项。
在一个示例中，传感器106包括眼睛相机。响应于无线通信信道118的带宽条件小于阈值，移动设备102的经调节的内容提供操作涉及移动设备102选择性地执行与眼睛相机相关联的图像数据处理操作。在此类情况下，眼睛相机数据无需从移动设备102传送到电子设备112，这导致经由无线通信信道118(从移动设备到电子设备或者从电子设备到移动设备)传送的数据量减少。
在一个示例中，传感器106包括手跟踪相机。响应于无线通信信道的带宽条件小于阈值，移动设备102的经调节的内容提供操作涉及移动设备102选择性地执行与手跟踪相机相关联的图像数据处理操作。在此类情况下，手跟踪相机数据无需从移动设备102传送到电子设备112，这导致经由无线通信信道118(从移动设备到电子设备或者从电子设备到移动设备)传送的数据量减少。
在一个示例中，传感器106包括至少一个场景相机和至少一个面部相机。响应于无线通信信道的带宽条件小于阈值，移动设备102的经调节的内容提供操作涉及移动设备102选择性地将与该至少一个场景相机相关联的图像数据压缩得比与该至少一个面部相机相关联的图像数据多。
在一个示例中，传感器106包括深度相机和场景相机。响应于无线通信信道的带宽条件小于阈值，移动设备102的经调节的内容提供操作涉及移动设备102选择性地调节与深度相机和场景相机相关联的相机图像数据的优先级。在示例性优先级调节中，与深度相机和场景相机相关联的数据相机图像数据中的一些不从移动设备102传送到电子设备112(或者是大于其他类型的相机图像数据的压缩)，这导致经由无线通信信道118(从移动设备到电子设备或者从电子设备到移动设备)传送的数据量减少。
在一个示例中，传感器106包括用于获取头部姿势跟踪数据的一个或多个相机。响应于无线通信信道的带宽条件小于阈值，移动设备102的经调节的内容提供操作涉及移动设备102选择性地处理头部姿势跟踪数据以及将其他相机图像数据传送到电子设备112。在此类情况下，头部姿势跟踪数据无需从移动设备102传送到电子设备112，这导致经由无线通信信道118(从移动设备到电子设备或者从电子设备到移动设备)传送的数据量减少。
在一个示例中，传感器106包括用于获取注视跟踪数据的一个或多个相机。响应于无线通信信道的带宽条件小于阈值，移动设备102的经调节的内容提供操作涉及移动设备102选择性地处理注视跟踪数据以及将其他相机图像数据传送到电子设备112。在此类情况下，注视跟踪数据无需从移动设备102传送到电子设备112，这导致经由无线通信信道118(从移动设备到电子设备或者从电子设备到移动设备)传送的数据量减少。
在一个示例中，移动设备102的经调节的内容提供操作涉及选择性地将用于配对操作的减少量的捕获相机数据从移动设备102传送到电子设备112直到满足阈值信道劣化条件，以及响应于满足阈值信道劣化条件而由移动设备102执行配对操作。当移动设备102执行配对操作时，减少量的数据经由无线通信信道118(从移动设备到电子设备或者从电子设备到移动设备)传送。
在一个示例中，移动设备102或电子设备112的经调节的内容提供操作包括消除3D房间重建操作和对象匹配操作中的至少一个。通过消除3D房间重建操作和对象匹配操作，减少量的数据经由无线通信信道118(从移动设备到电子设备或者从电子设备到移动设备)传送。
在一个示例中，电子设备112的控制电路114和/或移动设备102的控制电路108被配置为调节影响将显示在电子设备112上的内容的内容提供操作，其中电子设备112的经调节的内容提供操作涉及将经由无线通信信道118由收发器传送到移动设备102的内容数据的不同压缩选项。例如，响应于无线通信信道118的带宽条件小于阈值，移动设备102的控制电路108或电子设备112的控制电路114通过在不同的信道自适应速率控制选项之间进行选择来调节电子设备112的内容提供操作。又如，响应于无线通信信道118的带宽条件小于阈值，移动设备102的控制电路108或电子设备112的控制电路114通过在不同的MCS状态之间进行选择来调节电子设备112的内容提供操作。
又如，响应于无线通信信道118的带宽条件小于阈值，移动设备102的控制电路108或电子设备112的控制电路114通过在不同的成凹滤波器强度选项之间进行选择来调节电子设备112的内容提供操作。又如，响应于无线通信信道118的带宽条件小于阈值，移动设备102的控制电路108或电子设备112的控制电路114通过在不同的色彩空间选项之间进行选择来调节电子设备112的内容提供操作。又如，响应于无线通信信道118的带宽条件小于阈值，移动设备102的控制电路108或电子设备112的控制电路114通过在不同的每秒帧数选项之间进行选择来调节电子设备112的内容提供操作。又如，响应于无线通信信道118的带宽条件小于阈值，移动设备102的控制电路108或电子设备112的控制电路114通过在不同的缩减选项之间进行选择来调节电子设备112的内容提供操作。
在一些实施方案中，响应于无线通信信道118的带宽条件小于阈值达预先确定的时间量，电子设备112的控制电路114选择性地组合多个不同的压缩选项，其中所述多个不同的压缩选项包括数据速率选项、成凹滤波器强度选项、色彩空间选项、每秒帧数自适应选项和缩减选项。在一个示例中，响应于无线通信信道118的带宽条件小于阈值达第一时间间隔，电子设备112的控制电路114将数据速率选项调节为第一优先级。另外，响应于无线通信信道118的带宽条件小于阈值达大于第一时间间隔的第二时间间隔，电子设备112的控制电路114将成凹滤波器强度选项调节为第二优先级。另外，响应于无线通信信道118的带宽条件小于阈值达大于第二时间间隔的第三时间间隔，电子设备112的控制电路114将色彩空间选项调节为第三优先级。另外，响应于无线通信信道118的带宽条件小于阈值达大于第三时间间隔的第四时间间隔，电子设备112的控制电路114将每秒帧数自适应选项调节为第四优先级。另外，响应于无线通信信道118的带宽条件小于阈值达大于第四时间间隔的第五时间间隔，电子设备112的控制电路114将缩减选项调节为第五优先级。其他内容提供优先级方案选项是可能的，所述内容提供优先级方案选项包括用于电子设备诸如电子设备112的数据压缩优先级选项。另外，内容提供优先级方案选项的动态调节是可能的，所述内容提供优先级方案选项包括用于电子设备诸如电子设备112的数据压缩优先级选项。在一些示例中，内容提供优先级方案选项的动态调节基于信道条件、用户偏好、内容质量度量和/或其他标准。例如，能够基于信道的带宽条件、用户偏好、内容质量度量和/或其他标准来将现有的优先级方案更新为新的优先级方案。
图2是示出了根据各种实施方案的相对于无线通信信道(诸如图1的无线通信信道118)的带宽条件的移动设备特征的图表200。在图表200中，表示了用于单信道和信道绑定场景的示例性调制和编码方案(MCS)状态和相关数据。当MCS状态降低时，无线通信信道(诸如无线通信信道118)上的可用带宽减小。因此，当用于在电子设备(例如，电子设备112)和移动设备(例如，移动设备102)之间传送信息的可用带宽变得更有限时，移动设备特征从“增强的”接近最大MCS状态变动到“受损的”接近最小MCS状态。
例如，在最大MCS状态下，移动设备102能够将大量的内容基元(例如，传感器数据、相机图像数据和/或其他数据)传输到电子设备112。另外，在最大MCS状态下，电子设备112使用内容基元来准备大量的内容数据并将其传送到移动设备102。在此类情况下，内容和/或可用于与内容一起使用的移动设备特征增强。相比之下，在最小MCS状态下，移动设备102不能够将大量的内容基元(例如，传感器数据、相机图像数据和/或其他数据)传输到电子设备112。同样，在最小MCS状态下，电子设备112不能够将大量的内容数据传送到移动设备102。在此类情况下，移动设备102准备更多的内容数据，但是内容和/或可用于与内容一起使用的移动设备特征受损。在低于最小MCS状态时，移动设备102转变到独立模式，在该模式下，移动设备102生成其自己的内容。在此类情况下，内容和/或可用于与内容一起使用的移动设备特征受损。在该示例中，移动设备102能够按需以独立模式生成内容，但是优选的内容显示场景涉及在移动设备102和电子设备112之间的数据交换。因此，随着MCS状态增加，在移动设备102和电子设备112之间交换的数据量沿内容质量和/或移动设备特征而增加。
图3是示出了根据各种实施方案的上行链路(从移动设备到电子设备)带宽的基线分布的图表300。在图表300中，上行链路带宽的基线分布对应于由移动设备诸如移动设备102提供的不同类型的内容基元(例如，传感器数据、相机图像数据或其他数据)。在图表300的示例中，表示了不同类型的内容基元(CP1至CP7)。在一个示例中，CP1至CP7对应于捕获的相机图像数据，诸如眼睛相机数据、深度相机数据和场景相机数据。在其他示例中，CP1至CP7对应于其他类型的内容基元。在一些实施方案中，当无线通信信道(例如，无线通信信道118)的带宽条件高于阈值时，使用图表300中表示的上行链路带宽的基线分布。否则，当无线通信信道(例如，无线通信信道118)的带宽条件低于阈值时，上行链路带宽的分布与图表300中表示的不同。例如，用于某些带宽条件的上行链路带宽的分布可增加、减少或者消除用于一种或多种类型的内容基元的带宽分配。
在一些示例中，图3的上行链路带宽的基线分布的移动设备内容提供选项涉及使用的相机数量的预先确定的设置、图像高度选项(例如，以像素为单位)、图像宽度选项(例如，以像素为单位)、每秒帧数选项(fps)、每像素位数选项(bpp)、数据速率选项和压缩选项。响应于无线通信信道(例如，无线通信信道118)的不同的带宽条件，从上行链路带宽的基线分布的预先确定的设置中调节移动设备内容提供选项。
图4是示出了根据各种实施方案的下行链路(从电子设备到移动设备)带宽的基线分布的图表400。在图表400中，下行链路带宽的基线分布对应于由电子设备(例如，电子设备112)提供的不同类型的内容数据。在图表400的示例中，不同类型的内容数据包括配对程序数据、辅助显示数据、层0主显示数据、层1主显示数据和层2主显示数据。在一些实施方案中，当无线通信信道(例如，无线通信信道118)的带宽条件高于阈值时，使用图表500中表示的下行链路带宽的基线分布。否则，当无线通信信道(例如，无线通信信道118)的带宽条件低于阈值时，下行链路带宽的分布与图表500中表示的不同。例如，用于某些带宽条件的下行链路带宽的分布可增加、减少或者消除用于一种或多种类型的内容基元的带宽分配。
在一些示例中，图4的下行链路带宽的基线分布的移动设备内容提供选项涉及使用的移动设备显示器的数量的预先确定的设置、图像高度选项(例如，以像素为单位)、图像宽度选项(例如，以像素为单位)、每秒帧数选项(fps)、每像素位数选项(bpp)、数据速率选项和压缩选项。响应于无线通信信道(例如，无线通信信道118)的不同的带宽条件，从下行链路带宽的基线分布的预先确定的设置中调节移动设备内容提供选项。
图5是示出了根据各种实施方案的上行链路(从移动设备到电子设备)带宽需求的基线分布的图表500。在图表500中，上行链路带宽需求的基线分布对应于由移动设备诸如移动设备102获取的不同类型的内容基元(例如，传感器数据、相机图像数据和/或其他数据)的上行链路带宽需求。在图表500中，表示了不同类型的内容基元(CP1至CP7)。在一个示例中，CP1至CP7对应于捕获的相机图像数据，诸如眼睛相机数据、深度相机数据和场景相机数据，其中上行链路带宽需求针对不同类型的相机图像数据而变化。在其他示例中，CP1至CP7对应于其他类型的内容基元。在一些实施方案中，当无线通信信道(例如，无线通信信道118)的带宽条件高于阈值时，使用图表500中表示的上行链路带宽需求的基线分布。否则，当无线通信信道(例如，无线通信信道118)的带宽条件低于阈值时，上行链路带宽需求的分布与图表500中表示的不同。例如，用于某些带宽条件的上行链路带宽需求的分布可增加、减少或者消除用于一种或多种类型的内容基元的带宽需求分配。
在一些示例中，图5的上行链路带宽需求的基线分布的移动设备内容提供选项涉及使用的相机数量的预先确定的设置、图像高度选项(例如，以像素为单位)、图像宽度选项(例如，以像素为单位)、每秒帧数选项(fps)、每像素位数选项(bpp)、数据速率选项和压缩选项。响应于无线通信信道(例如，无线通信信道118)的不同的带宽条件，从上行链路带宽需求的基线分布的预先确定的设置中调节移动设备内容提供选项。
图6是示出了根据各种实施方案的下行链路(从电子设备到移动设备)带宽需求的基线分布的图表600。在图表600中，下行链路带宽需求的基线分布对应于由电子设备(例如，电子设备112)提供的不同类型的内容数据。在图表600的示例中，不同类型的内容数据包括配对程序数据、辅助显示数据、层0主显示数据、层1主显示数据和层2主显示数据。在一些实施方案中，当无线通信信道(例如，无线通信信道118)的带宽条件高于阈值时，使用图表600中表示的下行链路带宽需求的基线分布。否则，当无线通信信道(例如，无线通信信道118)的带宽条件低于阈值时，下行链路带宽需求的分布与图表600中表示的不同。例如，用于某些带宽条件的下行链路带宽需求的分布可增加、减少或者消除用于一种或多种类型的内容基元的带宽需求分配。
在一些示例中，图6的下行链路带宽需求的基线分布的移动设备内容提供选项涉及使用的移动设备显示器的数量的预先确定的设置、图像高度选项(例如，以像素为单位)、图像宽度选项(例如，以像素为单位)、每秒帧数选项(fps)、每像素位数选项(bpp)、数据速率选项和压缩选项。响应于无线通信信道(例如，无线通信信道118)的不同的带宽条件，从下行链路带宽需求的基线分布的预先确定的设置中调节移动设备内容提供选项。
图7是示出了根据各种实施方案的用于管理移动设备(例如，移动设备102)或电子设备(例如，电子设备112)中的内容提供操作的系统700的框图。系统700包括管理器块702和代理块720。在一些实施方案中，具有相关块的管理器块702和/或具有相关块的代理块720对应于由一个或多个处理器执行的软件指令。根据需要，收发器部件和/或其他硬件部件的设置基于管理器块702和代理块720的操作来更新。
如图所示，管理器块702包括从块706、708和710接收投票结果的资源管理器704，其中块706使用主动算法服务来投票，块708使用流送编解码统计和速率控制状态来投票，并且块710使用信道条件来投票。资源管理器704还从块716接收政策信息、用户偏好和/或配置信息。基于来自块706、708和710的投票，和/或来自块716的信息/偏好，响应管理器704向块712和714提供控制输出，其中块712对应于成凹滤波器，并且块714对应于流送编解码速率控制电路714。
资源管理器704被配置为与代理块720通信。更具体地，资源管理器704被配置为向代理块720的资源代理722发送状态同步信号并从其接收状态同步信号。响应于来自资源管理器704的状态同步信号和来自块724的相机压缩统计，资源代理722向移动设备管理器726和相机驱动器728提供控制输出。在一些实施方案中，成凹滤波器712、流送编解码速率控制器714、移动设备管理器726和相机驱动器728调节移动设备或电子设备的可用内容提供选项，诸如针对图1中的控制电路108和控制电路114所描述的那些。更具体地，在一些实施方案中，对于移动设备或电子设备的可用内容提供选项(诸如针对图1中的控制电路108和控制电路114所描述的那些)的调节基于：1)来自块706、708、710的投票；2)来自块716的政策/配置/用户偏好信息；和/或3)来自块724的压缩统计。
图8是根据各种实施方案的用于移动设备的内容提供管理器802的框图。如图所示，内容提供管理器802接收信道带宽条件803和内容提供选项804。信道带宽条件803是当前信道带宽条件和/或给定时间间隔下的信道带宽条件。在一些实施方案中，内容提供选项804包括但不限于：内容基元优先级选项、数据/图像压缩选项、每秒帧数选项、分辨率选项、成凹选项和数据/图像处理算法选项。
在图8的示例中，内容提供管理器802包括内容提供迁移信息806，该内容提供迁移信息使用信道带宽条件803和内容提供选项804来选择内容提供调节，其中所述调节涉及将至少一些内容提供操作从电子设备传输到移动设备(或者从移动设备传输到电子设备)。一旦选择了内容提供调节，内容提供管理器802就提供控制信号808以指引部件进行所选择的内容提供调节。
在一些实施方案中，内容提供管理器802对应于移动设备(诸如图1的移动设备102)的硬件、固件和/或软件部件。附加地或另选地，内容提供管理器802对应于电子设备(诸如图1的电子设备112)的硬件、固件和/或软件部件。在一些实施方案中，电子设备(例如，电子设备112)将控制信号808中的至少一些传送到移动设备(例如，移动设备102)以指引移动设备上的内容提供调节。
图9是示出了根据各种实施方案的被配置为执行内容提供操作的计算机系统900的框图。如图所示，计算机系统900包括与计算机可读介质904(例如，RAM存储器、ROM存储器、闪存存储器或它们的组合)通信的处理器902。在不同示例中，处理器902对应于一个或多个中央处理单元(CPU)、一个或多个微处理器、一个或多个图形处理器和/或一个或多个专用处理器。
在图9的示例中，计算机可读介质904存储数据或指令，当由处理器902执行时，所述数据或指令基于本文所述的信道带宽条件来执行移动设备内容提供调节。更具体地，计算机可读介质904存储信道条件信息906，其对应于用于确定信道带宽条件的指令、规则和/或数据。在一些实施方案中，信道条件信息906使用当前和/或过去的信道带宽条件统计(例如，数据速率、掉线的数据包、MCS状态以及高于或低于性能阈值的时间量)来确定信道带宽条件。
在图9的示例中，计算机可读介质904还包括形式为内容基元信息908、压缩信息910、每秒帧数(fps)信息912、分辨率信息914、成凹信息916和算法信息918的各种内容提供选项。更具体地，内容基元信息908包括用于根据用于移动设备的内容提供控制信号(诸如控制信号808)来选择内容基元(例如，传感器选项、相机选项和/或相机图像设置)的指令、规则和/或数据。同时，压缩信息910包括用于根据用于移动设备的内容提供控制信号(诸如控制信号808)来选择数据/图像压缩选项的指令、规则和/或数据。
另外，fps信息912包括用于根据用于移动设备的内容提供控制信号(诸如控制信号808)来选择fps选项的指令、规则和/或数据。分辨率信息914包括用于根据用于移动设备的内容提供控制信号(诸如控制信号808)来选择图像/内容分辨率选项的指令、规则和/或数据。成凹滤波器信息916包括用于根据用于移动设备的内容提供控制信号(诸如控制信号808)来选择成凹滤波器选项的指令、规则和/或数据。算法信息918包括用于根据用于移动设备的内容提供控制信号(诸如控制信号808)来选择数据/图像处理算法选项的指令、规则和/或数据。
在图9的示例中，计算机可读介质904存储内容提供管理器802A，其是图8中介绍的内容提供管理器802的示例。同样，内容提供迁移信息806A是图8中介绍的内容提供迁移信息806的示例。在操作中，内容提供管理器802A提供指令、规则和/或数据，当由处理器902执行时，所述指令、规则和/或数据使用可用信道带宽条件和可用内容提供选项来选择内容提供调节。随后，控制信号信息924(例如，指令、结果和/或数据)由处理器902执行以确定控制信号，从而实现所选择的内容提供调节。
在图9的示例中，计算机可读介质904还包括操作系统920。当由处理器902执行时，操作系统920支持各种移动设备功能和/或用户界面功能，包括本文所述的内容提供迁移操作。在一些实施方案中，操作系统920包括内容提供管理器802A和/或用于执行内容提供调节的信息(例如，信息906、908、910、912、914、916、918和924)。
在一个实施方案中，计算机系统900表示移动设备(诸如图1中的移动设备102)的部件。在另一个实施方案中，计算机系统900表示内容显示系统中的电子设备(例如，图1中的电子设备112)的部件。在一些实施方案中，移动设备102和电子设备112两者都包括图9中表示的部件中的一些或全部。根据需要，部件和操作的一些冗余能够在移动设备系统中执行以实现本文所述的内容提供迁移操作，同时考虑了分布式工作负载选项、电子设备112的可变工作负载场景、移动设备102的可变工作负载场景和/或无线通信信道的变化带宽条件。
一旦确定了用于内容提供调节的控制信号(例如，控制信号808)(例如，由处理器902执行控制信号信息924)，则在计算机系统900内部使用这些相同的控制信号或相关控制信号以执行内容提供迁移。附加地或另选地，用于内容提供调节的控制信号由计算机系统900通过与处理器902通信的无线收发器930发送到另一个设备(例如，从电子设备到移动设备或者从移动设备到电子设备)。
在图9的示例中，无线收发器930包括调制和编码方案(MCS)接口932，其准备数据包以经由天线934传输到无线通信信道，诸如图1中的无线通信信道118。根据需要，MCS接口932能够根据如本文所述的内容提供迁移操作来调节内容的调制和/或编码和/或内容提供控制信号。
图10是示出了根据各种实施方案的作为信道带宽条件的函数的下行链路(从电子设备到移动设备)内容提供调节的图表1000。在至少一些实施方案中，图表1000中表示的内容提供调节由电子设备执行。如图所示，图表1000包括速率控制选项1002、成凹滤波器强度选项1004、色彩空间选项1006、fps自适应选项1008和缩减选项1010。在一些实施方案中，根据花费的时间量低于信道带宽阈值来组合选项1002、1004、1006、1008和1010。
在图10的示例中，速率控制选项1002包括联合信源信道编码(JSCC)选项和/或ProRes编解码选项。在一些实施方案中，基于信道带宽条件的内容提供调节涉及对速率控制选项1002的一个或多个调节。在一个示例中，当信道带宽条件小于阈值水平达第一时间间隔时，启动对速率控制选项1002的调节。然后，当信道带宽条件小于阈值水平达大于第一时间间隔的第二时间间隔时，启动对速率控制选项1002和/或成凹滤波器强度选项1004的调节。然后，当信道带宽条件小于阈值水平达大于第二时间间隔的第三时间间隔时，启动对速率控制选项1002、成凹滤波器强度选项1004和/或色彩空间选项1006的调节(例如，在444色彩空间和420色彩空间之间切换)。然后，当信道带宽条件小于阈值水平达大于第三时间间隔的第四时间间隔时，启动对速率控制选项1002、成凹滤波器强度选项1004、色彩空间选项1006和/或fps自适应选项1008的调节。然后，当信道带宽条件小于阈值水平达大于第四时间间隔的第五时间间隔时，启动对速率控制选项1002、成凹滤波器强度选项1004、色彩空间选项1006、fps自适应选项1008和/或缩减选项1010(例如，小波选项)的调节。如果信道带宽条件改善，则调节选项1002、1004、1006、1008和1010以考虑增加的带宽(例如，由于信道带宽条件差而进行的先前调节立即反转或者随时间推移而反转)。在其他实施方案中，内容提供选项调节的顺序与图10的示例不同。
图11是示出了根据各种实施方案的用于电子设备的内容提供管理器1102的框图。如图所示，内容提供管理器1102接收信道带宽条件1103和内容提供选项1104。信道带宽条件1103是当前信道带宽条件和/或给定时间间隔下的信道带宽条件。在一些实施方案中，内容提供选项1104包括但不限于：速率控制选项、成凹滤波器选项、色彩空间选项、fps选项和缩减选项。
在图11的示例中，内容提供管理器1102包括内容提供迁移信息1106，该信息使用信道带宽条件1103和内容提供选项1104来选择内容提供调节，其中所述调节涉及将至少一些内容提供操作从电子设备传输到移动设备(或者从移动设备转移到电子设备)。一旦选择了内容提供调节，内容提供管理器1102就提供控制信号1108以指引部件进行所选择的内容提供调节。
在一些实施方案中，内容提供管理器1102对应于电子设备(诸如图1的电子设备112)的硬件、固件和/或软件部件。附加地或另选地，内容提供管理器1102对应于移动设备(诸如图1的移动设备102)的硬件、固件和/或软件部件。在此类情况下，移动设备(例如，移动设备102)将控制信号1108中的至少一些传送到电子设备(例如，电子设备112)以指引电子设备上的内容提供调节。
图12是示出了根据各种实施方案的被配置为执行内容提供操作的另一个计算机系统1200的框图。如图所示，计算机系统1200包括与计算机可读介质1204(例如，RAM存储器、ROM存储器、闪存存储器或它们的组合)通信的处理器1202。在不同示例中，处理器1202对应于一个或多个中央处理单元(CPU)、一个或多个微处理器、一个或多个图形处理器和/或一个或多个专用处理器。
在图12的示例中，计算机可读介质1204存储数据或指令，当由处理器1202执行时，所述数据或指令基于本文所述的信道带宽条件来执行电子设备内容提供调节。更具体地，计算机可读介质1204存储信道条件信息1206，其对应于用于确定信道带宽条件的指令、规则和/或数据。在一些实施方案中，信道条件信息1206使用当前和/或过去的信道带宽条件统计(例如，数据速率、掉线的数据包、MCS状态以及高于或低于性能阈值的时间量)来确定信道带宽条件。
在图12的示例中，计算机可读介质1204还包括形式为速率控制信息1208、成凹滤波器信息1210、色彩空间信息1212、fps自适应信息1214和缩减信息1216的各种内容提供选项。更具体地，速率控制信息1208包括用于根据用于电子设备的内容提供控制信号(诸如控制信号1108)来选择速率控制设置(例如，JSCC和/或ProRes设置)的指令、规则和/或数据。同时，成凹滤波器信息1210包括用于根据用于电子设备的内容提供控制信号(诸如控制信号1108)来选择成凹滤波器选项的指令、规则和/或数据。
另外，色彩空间信息1212包括用于根据用于电子设备的内容提供控制信号(诸如控制信号1108)来选择色彩空间选项的指令、规则和/或数据。fps自适应信息1214包括用于根据用于电子设备的内容提供控制信号(诸如控制信号1108)来选择fps自适应选项的指令、规则和/或数据。缩减信息1216包括用于根据用于电子设备的内容提供控制信号(诸如控制信号1108)来选择缩减选项的指令、规则和/或数据。
在图12的示例中，计算机可读介质1204存储内容提供管理器1102A，其是图11中介绍的内容提供管理器1102的示例。同样，内容提供迁移信息1106A是图11中介绍的内容提供迁移信息1106的示例。在操作中，内容提供管理器1102A提供指令、规则和/或数据，当由处理器1202执行时，所述指令、规则和/或数据使用信道带宽条件和可用内容提供选项来选择内容提供调节。随后，控制信号信息1224(例如，指令、结果和/或数据)由处理器1202执行以确定控制信号，从而实现所选择的内容提供调节。
在图12的示例中，计算机可读介质1204还包括操作系统1220。当由处理器1202执行时，操作系统1220支持各种移动设备功能和/或用户界面功能，包括本文所述的内容提供迁移操作。在一些实施方案中，操作系统1220包括内容提供管理器1102A和/或用于执行内容提供调节的信息(例如，信息1206、1208、1210、1212、1214、1216和1224)。
在一个实施方案中，计算机系统1200表示电子设备(诸如图1中的电子设备102)的部件。在另一个实施方案中，计算机系统1200表示内容显示系统中的移动设备(例如，图1中的移动设备102)的部件。在一些实施方案中，移动设备102和电子设备112两者都包括图12中表示的部件中的一些或全部。根据需要，部件和操作的一些冗余能够在内容显示系统中执行以实现描述的内容提供迁移操作，同时考虑了分布式工作负载选项、电子设备112的可变工作负载场景、移动设备102的可变工作负载场景和/或无线通信信道的变化带宽条件。
一旦确定了用于内容提供调节的控制信号(例如，控制信号1108)(例如，由处理器1202执行控制信号信息1224)，则在计算机系统1200内部使用这些相同的控制信号或相关控制信号以执行内容提供迁移。附加地或另选地，用于内容提供调节的控制信号由计算机系统1200通过与处理器1202通信的无线收发器1230发送到另一个设备(例如，从电子设备到移动设备或者从移动设备到电子设备)。
在图12的示例中，无线收发器1230包MCS接口1232，其准备数据包以经由天线1234传输到无线通信信道，诸如图1中的通信信道118。根据需要，MCS接口1232能够根据如本文所述的内容提供迁移操作来调节内容的调制和/或编码和/或内容提供控制信号。
图13是示出了根据各种实施方案的用于内容显示系统的内容提供方法1300的流程图。如图所示，方法1300包括在框1302处获取用于生成将由移动设备显示的内容基元(例如，相机图像)。在框1304处，确定无线通信信道(例如，移动设备和电子设备之间的无线通信信道)的带宽条件。在框1306处，电子设备和/或移动设备的内容提供操作基于所确定的无线通信信道的带宽条件来调节。
在一些示例中，内容提供方法1300涉及在框1302处的移动设备操作，包括由移动设备获取用于生成将由移动设备显示的内容的内容基元。另外，移动设备操作包括在框1304处由移动设备识别无线通信信道的带宽条件。响应于无线通信信道的带宽条件小于阈值，框1306可包括移动设备增加由移动设备执行以生成内容的图像处理操作的量。一旦生成了内容，移动设备就能够显示所生成的内容。在一些示例中，所生成的内容包括计算机生成的现实(CGR)(例如，增强现实、混合现实、虚拟现实等)。
在一些示例中，内容提供方法1300包括由电子设备经由无线通信信道来接收内容基元。方法1300还包括由电子设备基于所接收的内容基元来执行内容提供操作，其中内容提供操作涉及生成内容图像数据和将内容图像数据传输到无线通信信道，其中至少一些内容图像数据对应于CGR内容。响应于无线通信信道的带宽条件小于阈值，方法1300还包括通过减少传送到无线通信信道的内容图像数据的量来调节内容提供操作。
在一个示例中，响应于无线通信信道的带宽条件小于阈值，框1306的操作涉及通过减少经由无线通信信道由电子设备传送到移动设备的内容数据的量来调节电子设备的内容提供操作。随后，如果无线通信信道的带宽条件改善(例如，带宽条件大于阈值)，则框1306的操作涉及通过增加经由无线通信信道由电子设备传送到移动设备的内容数据的量来调节电子设备的内容提供操作。
在一些实施方案中，框1306的操作涉及基于不同的压缩选项来减少或增加将经由无线通信信道从电子设备传送到移动设备的内容数据的量。示例性压缩选项包括不同的信道自适应速率控制选项、不同的MCS状态、不同的成凹滤波器强度选项、不同的色彩空间选项、不同的每秒帧数选项和/或不同的缩减选项。根据需要，不同的压缩选项的使用和调节基于一个或多个带宽条件阈值(诸如MCS状态、可用数据速率和/或处于MCS状态或数据速率下的预先确定的时间间隔)来选择。
在一些实施方案中，框1306的操作涉及用于选择调节的优先级方案。例如，在一些实施方案中，对数据速率选项、成凹滤波器强度选项、色彩空间选项、每秒帧数自适应选项和缩减选项的调节基于预先确定的优先级方案来选择。在一个示例中，响应于无线通信信道的带宽条件小于阈值达第一时间间隔，调节数据速率选项为第一优先级。另外，响应于无线通信信道的带宽条件小于阈值达大于第一时间间隔的第二时间间隔，调节成凹滤波器速率选项为第二优先级。另外，响应于无线通信信道的带宽条件小于阈值达大于第二时间间隔的第三时间间隔，调节色彩空间选项为第三优先级。另外，响应于无线通信信道的带宽条件小于阈值达大于第三时间间隔的第四时间间隔，每秒帧数自适应选项为第四优先级。另外，响应于无线通信信道的带宽条件小于阈值达大于第四时间间隔的第五时间间隔，调节缩减选项为第五优先级。在一些实施方案中，优先级方案基于用户偏好、内容质量度量和/或其他标准是动态且可调节的。
在一些实施方案中，框1306的操作涉及通过增加由移动设备执行的图像处理操作的量并减少经由无线通信信道由电子设备传送到移动设备的内容的量来减少或增加将经由无线通信信道传送的内容数据的量。
移动设备的示例性内容提供调节包括但不限于：减少从移动设备传送到电子设备的内容基元(例如，传感器数据或相机图像数据)的量、省略由移动设备和电子设备中的至少一个执行的至少一些图像处理操作、调节将由移动设备或电子设备使用的图像数据处理算法的数量、调节将经由无线通信信道从移动设备传送到电子设备的捕获图像数据的压缩选项、调节将经由无线通信信道从移动设备传送到电子设备的捕获图像数据的每秒帧数、调节将经由无线通信信道从移动设备传送到电子设备的捕获图像数据的分辨率选项，以及/或者调节将经由无线通信信道从移动设备传送到电子设备的捕获图像数据的成凹选项。
在一些实施方案中，框1306的操作涉及响应于确定无线通信信道保持小于阈值达多个时间间隔。响应于无线通信信道的带宽条件保持小于阈值达多个时间间隔，由移动设备执行的内容生成操作的量在每个时间间隔增加，并且由电子设备传送到移动设备的内容的量在每个时间间隔减少。
在一些实施方案中，框1306的操作涉及将与眼睛相机相关联的图像数据处理操作从电子设备切换到移动设备、将与手跟踪相机相关联的图像数据处理操作从电子设备切换到移动设备、将与至少一个场景相机相关联的相机图像数据压缩得比与至少一个面部相机相关联的相机图像数据多、调节与移动设备的深度相机和场景相机相关联的相机图像数据的优先级、将头部姿势跟踪数据的处理从电子设备切换到移动设备，以及/或者将注视跟踪数据的处理从电子设备切换到移动设备。
在一些实施方案中，框1306的操作涉及将用于配对操作的减少量的内容基元(例如，相机图像数据)从移动设备传送到电子设备直到满足阈值信道劣化条件，以及响应于满足阈值信道劣化条件而由移动设备执行配对操作。在一些实施方案中，框1306的操作涉及消除由移动设备或电子设备执行的至少一些3D重建操作和/或至少一些对象匹配操作。
在一些实施方案中，单独采用本文所述的移动设备和/或电子设备的内容提供操作(例如，仅进行一次移动设备调节，仅进行一次电子设备调节等)。在其他实施方案中，本文所述的移动设备和/或电子设备的内容提供操作以不同的方式组合以实现用于给定带宽条件的期望内容质量度量。对于不同的实施方案，移动设备和/或电子设备的工作负载能力有所变化，这影响响应于无线通信信道的带宽条件来执行和调节内容提供操作的方式。
虽然大部分讨论已涉及响应于受损的带宽条件来调节移动设备和/或电子设备的内容提供操作以减少经由无线通信信道传送的内容数据的量，但应当理解，带宽条件是动态的。因此，响应于对无线通信信道的带宽条件的改善，还可执行移动设备和/或电子设备的内容提供调节。在一些实施方案中，响应于无线通信信道的动态带宽条件，对移动设备和/或电子设备的内容提供调节操作的控制可使用针对多个带宽条件中的每个的默认的一组内容提供操作来完成。附加地或另选地，基于用户偏好、内容质量度量和/或其他标准对针对无线通信信道的不同的带宽条件的内容提供操作的调节是可能的。
在整个说明书和权利要求书中已使用了某些术语来指代特定的系统部件。本领域技术人员将认识到，不同方可以不同的名称来指代一个部件。本文档无意区分名称不同但功能相同的部件。在本公开和权利要求书中，术语“包含”和“包括”以开放式的方式使用，并且因此应被解释为“包括，但不限于...”。另外，术语“耦接”旨在表示间接或直接有限或无线连接。因此，如果第一设备耦接到第二设备，则该连接可通过直接连接或者通过经由其他设备和连接的间接连接。表述“基于”旨在表示“至少部分地基于”。因此，如果X基于Y，则X可以是Y的函数和任何数量的其他系数。
以上讨论是本发明的原理和各种实施方案的说明。一旦充分了解了上面的公开，许多变型和修改对于本领域的技术人员而言将变得显而易见。本发明旨在使以下权利要求书被阐释为包含所有此类变型和修改。

Claims (20)

1.一种系统，所述系统包括：
头戴式设备HMD，被配置为捕获相机图像并显示内容，其中所述内容中的至少一些内容是虚拟内容；以及
电子设备，经由无线通信信道与所述HMD通信，所述电子设备被配置为：
其中所述电子设备被配置为执行图像处理操作并将内容传送到所述HMD以由所述HMD显示，
其中响应于所述无线通信信道的带宽条件小于阈值，通过修改所述电子设备和所述HMD之间的图像处理操作的分布，所述电子设备的所述图像处理操作被调节，
其中根据经调节的所述图像处理操作，由所述电子设备经由所述无线通信信道传送到所述HMD的内容数据量被减少。
2.根据权利要求1所述的系统，其中通过针对将传送到所述无线通信信道的所述内容数据来在不同的压缩选项之间进行选择，所述图像处理操作被调节。
3.根据权利要求1所述的系统，其中通过在不同的成凹滤波器强度选项之间进行选择，所述图像处理操作被调节。
4.根据权利要求1所述的系统，其中所述图像处理操作包括处理跟踪数据。
5.根据权利要求1所述的系统，其中通过响应于无线通信信道的所述带宽条件小于阈值达预先确定的时间量而选择性地组合多个不同的压缩选项，所述图像处理操作被调节，其中所述多个不同的压缩选项包括数据速率选项、成凹滤波器强度选项、色彩空间选项、每秒帧数自适应选项和缩减选项。
6.根据权利要求5所述的系统，其中通过响应于所述无线通信信道的带宽条件小于阈值达第一时间间隔而将所述数据速率选项调节为第一优先级，所述图像处理操作被调节。
7.根据权利要求6所述的系统，其中响应于所述无线通信信道的带宽条件小于阈值达大于所述第一时间间隔的第二时间间隔，调节所述成凹滤波器速率选项为第二优先级。
8.根据权利要求1所述的系统，所述HMD被配置为将由所述电子设备传送的所述内容数据与所述相机图像合并。
9.一种非暂态计算机可读介质，包括由一个或多个处理器可执行的计算机可读代码，以：
执行图像处理操作；以及
响应于头戴式设备HMD和电子设备之间的通信信道的带宽条件小于阈值，通过以下方式调节所述电子设备的所述图像处理操作：
修改所述电子设备和所述HMD之间的图像处理操作的分布，
其中根据经调节的所述图像处理操作，由所述电子设备传送到所述HMD的内容数据量被减少。
10.根据权利要求9所述的非暂态计算机可读介质，其中通过针对将传送到所述无线通信信道的所述内容数据来在不同的压缩选项之间进行选择，所述图像处理操作被调节。
11.根据权利要求9所述的非暂态计算机可读介质，其中通过在不同的成凹滤波器强度选项之间进行选择，所述图像处理操作被调节。
12.根据权利要求9所述的非暂态计算机可读介质，其中所述图像处理操作包括处理跟踪数据。
13.根据权利要求9所述的非暂态计算机可读介质，其中通过响应于无线通信信道的所述带宽条件小于阈值达预先确定的时间量而选择性地组合多个不同的压缩选项，所述图像处理操作被调节，其中所述多个不同的压缩选项包括数据速率选项、成凹滤波器强度选项、色彩空间选项、每秒帧数自适应选项和缩减选项。
14.根据权利要求13所述的非暂态计算机可读介质，其中通过响应于所述无线通信信道的带宽条件小于阈值达第一时间间隔而将所述数据速率选项调节为第一优先级，所述图像处理操作被调节。
15.根据权利要求14所述的非暂态计算机可读介质，其中响应于所述无线通信信道的带宽条件小于阈值达大于所述第一时间间隔的第二时间间隔，调节所述成凹滤波器速率选项为第二优先级。
16.根据权利要求9所述的非暂态计算机可读介质，所述HMD被配置为将由所述电子设备传送的所述内容数据与相机图像合并。
17.一种方法，包括：
基于相机图像和虚拟内容在头戴式设备HMD与电子设备之间执行图像处理操作；以及
响应于所述HMD与所述电子设备之间的通信信道的带宽条件小于阈值，通过以下方式调节所述电子设备的所述图像处理操作：
针对将传送到所述无线通信信道的所述内容数据来选择一个或多个压缩选项，以及
减少由所述电子设备经由所述无线通信信道传送到所述HMD的内容数据量。
18.根据权利要求17所述的方法，其中通过响应于无线通信信道的所述带宽条件小于阈值达预先确定的时间量而选择性地组合多个不同的压缩选项，所述图像处理操作被调节，其中所述多个不同的压缩选项包括数据速率选项、成凹滤波器强度选项、色彩空间选项、每秒帧数自适应选项和缩减选项。
19.根据权利要求18所述的方法，其中通过响应于所述无线通信信道的带宽条件小于阈值达第一时间间隔而将所述数据速率选项调节为第一优先级，所述图像处理操作被调节；以及
其中响应于所述无线通信信道的带宽条件小于阈值达大于所述第一时间间隔的第二时间间隔，调节所述成凹滤波器速率选项为第二优先级。
20.根据权利要求17所述的方法，所述HMD被配置为将由所述电子设备传送的所述内容数据与所述相机图像合并。
CN202311095498.XA 2018-09-28 2019-09-27 基于无线通信信道带宽条件的电子设备内容提供调节 Pending CN116980967A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862738883P 2018-09-28 2018-09-28
US62/738,883 2018-09-28
CN201910927820.8A CN110972203B (zh) 2018-09-28 2019-09-27 基于无线通信信道带宽条件的电子设备内容提供调节

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201910927820.8A Division CN110972203B (zh) 2018-09-28 2019-09-27 基于无线通信信道带宽条件的电子设备内容提供调节

Publications (1)

Publication Number Publication Date
CN116980967A true CN116980967A (zh) 2023-10-31

Family

ID=69946324

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202311095498.XA Pending CN116980967A (zh) 2018-09-28 2019-09-27 基于无线通信信道带宽条件的电子设备内容提供调节
CN201910927820.8A Active CN110972203B (zh) 2018-09-28 2019-09-27 基于无线通信信道带宽条件的电子设备内容提供调节

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910927820.8A Active CN110972203B (zh) 2018-09-28 2019-09-27 基于无线通信信道带宽条件的电子设备内容提供调节

Country Status (2)

Country Link
US (2) US11695977B2 (zh)
CN (2) CN116980967A (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11252262B2 (en) 2019-10-28 2022-02-15 Facebook Technologies, Llc Coordination among artificial reality links
KR20220003812A (ko) * 2020-07-02 2022-01-11 삼성전자주식회사 호 채널의 상태에 기반하여 필터를 사용하여 전처리된 컨텐츠를 전송하는 전자 장치 및 전자 장치의 동작 방법
US11297332B1 (en) * 2020-10-30 2022-04-05 Capital One Services, Llc Gaze-tracking-based image downscaling for multi-party video communication
FR3118380A1 (fr) * 2020-12-22 2022-06-24 Fondation B-Com Procédé de codage d’images d’une séquence vidéo à coder, procédé de décodage, dispositifs et système correspondants.
WO2023129139A1 (en) * 2021-12-28 2023-07-06 Hughes Network Systems, Llc Satellite system optimization by differentiating application of adaptive coding and modulation

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004532540A (ja) 2001-03-05 2004-10-21 インタービデオインコーポレイテッド 誤り耐性のある符号化のためのシステム及び方法
US20070053428A1 (en) * 2001-03-30 2007-03-08 Vixs Systems, Inc. Managed degradation of a video stream
US7076108B2 (en) 2001-12-11 2006-07-11 Gen Dow Huang Apparatus and method for image/video compression using discrete wavelet transform
US9300923B2 (en) * 2007-03-26 2016-03-29 Pelco, Inc. Method and apparatus for improving video performance in a wireless surveillance system
CN101222296B (zh) * 2008-01-31 2010-06-09 上海交通大学 上行蜂窝视频通信中自适应的传输方法及系统
US8184069B1 (en) * 2011-06-20 2012-05-22 Google Inc. Systems and methods for adaptive transmission of data
US20130195119A1 (en) * 2011-10-14 2013-08-01 Qualcomm Incorporated Feedback channel for wireless display devices
CN104106059A (zh) * 2011-12-09 2014-10-15 微功率科技股份有限公司 无线照相机数据管理
CN104754277B (zh) * 2013-12-27 2018-04-27 联想(北京)有限公司 信息处理设备及信息处理方法
US9551873B2 (en) 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
US10440398B2 (en) 2014-07-28 2019-10-08 Jaunt, Inc. Probabilistic model to compress images for three-dimensional video
US9495004B2 (en) * 2014-09-08 2016-11-15 Qualcomm Incorporated Display device adjustment by control device
US9749646B2 (en) * 2015-01-16 2017-08-29 Microsoft Technology Licensing, Llc Encoding/decoding of high chroma resolution details
CA2977051C (en) * 2015-02-17 2023-02-07 Nextvr Inc. Methods and apparatus for generating and using reduced resolution images and/or communicating such images to a playback or content distribution device
WO2017025483A1 (de) * 2015-08-07 2017-02-16 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Verfahren und vorrichtung zur datenerfassung und auswertung von umgebungsdaten
WO2017066346A1 (en) * 2015-10-12 2017-04-20 Cinova Media Method and apparatus for optimizing video streaming for virtual reality
US10068134B2 (en) 2016-05-03 2018-09-04 Microsoft Technology Licensing, Llc Identification of objects in a scene using gaze tracking techniques
EP3761645A1 (en) 2016-05-26 2021-01-06 Vid Scale, Inc. Methods and apparatus of viewport adaptive 360 degree video delivery
KR101713492B1 (ko) * 2016-06-27 2017-03-07 가천대학교 산학협력단 영상 복호화 방법, 영상 부호화 방법, 영상 복호화 장치, 및 영상 부호화 장치
US11395020B2 (en) 2016-09-08 2022-07-19 Telefonaktiebolaget Lm Ericsson (Publ) Bitrate control in a virtual reality (VR) environment
JP6720415B2 (ja) 2016-12-06 2020-07-08 ニッサン ノース アメリカ，インク 自律走行車のための帯域幅制約画像処理
US11025918B2 (en) * 2016-12-29 2021-06-01 Sony Interactive Entertainment Inc. Foveated video link for VR, low latency wireless HMD video streaming with gaze tracking
WO2018136301A1 (en) * 2017-01-20 2018-07-26 Pcms Holdings, Inc. Field-of-view prediction method based on contextual information for 360-degree vr video
US10424097B2 (en) * 2017-04-01 2019-09-24 Intel Corporation Predictive viewport renderer and foveated color compressor
US10812422B2 (en) * 2017-08-31 2020-10-20 Rpx Corporation Directional augmented reality system
WO2019100290A1 (en) * 2017-11-23 2019-05-31 Intel Corporation Adaptive foveated encoder and global motion predictor
US10938503B2 (en) * 2017-12-22 2021-03-02 Advanced Micro Devices, Inc. Video codec data recovery techniques for lossy wireless links

Also Published As

Publication number Publication date
CN110972203B (zh) 2023-09-01
US20230396824A1 (en) 2023-12-07
CN110972203A (zh) 2020-04-07
US11695977B2 (en) 2023-07-04
US20200107060A1 (en) 2020-04-02

Similar Documents

Publication Publication Date Title
CN110972203B (zh) 基于无线通信信道带宽条件的电子设备内容提供调节
CN109891850B (zh) 用于减少360度视区自适应流媒体延迟的方法和装置
US11836885B2 (en) Dynamic foveated pipeline
US11431993B2 (en) Method and apparatus for processing encoded data, computer device, and storage medium
US20170103577A1 (en) Method and apparatus for optimizing video streaming for virtual reality
US11307655B2 (en) Multi-stream foveal display transport
US10575008B2 (en) Bandwidth management in devices with simultaneous download of multiple data streams
US10475419B2 (en) Data compression method and apparatus
US11737132B2 (en) Systems and methods for latency sensitive links
CN113630600A (zh) 人类视觉系统自适应视频编码
US20220038529A1 (en) Processing method, apparatus, and system
US20140321532A1 (en) Techniques for coordinating parallel video transcoding
US20060271612A1 (en) Method and devices for transmitting video data
CN110972202B (zh) 基于无线通信信道带宽条件的移动设备内容提供调节
US11330309B2 (en) Foviation and HDR
US11962819B2 (en) Foviation and HDR
CN108419268B (zh) 一种虚拟现实业务处理方法及无线接入网元设备
US11164545B2 (en) Compression of display data
US20230345030A1 (en) Method and device for controlling transmission or reception of data in wireless communication system
EP4363946A1 (en) Head motion dependent viewport region modification for omnidirectional conversational vdd
WO2021062624A1 (zh) 可移动平台的图像处理方法、装置、可移动平台及介质
US20240073734A1 (en) Systems and methods of control of quality-of-service of data units via multiple communication layers
US11943656B2 (en) Systems and method of slot assignment to traffic stream
WO2022256278A1 (en) Intralink based session negotiation and media bit rate adaptation
CN116830585A (zh) 3d流处理

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination