CN116868107A - 使用边缘-云架构和对等网络流式传输的光场/沉浸式媒体的拆分渲染 - Google Patents

使用边缘-云架构和对等网络流式传输的光场/沉浸式媒体的拆分渲染 Download PDF

Info

Publication number
CN116868107A
CN116868107A CN202280015927.5A CN202280015927A CN116868107A CN 116868107 A CN116868107 A CN 116868107A CN 202280015927 A CN202280015927 A CN 202280015927A CN 116868107 A CN116868107 A CN 116868107A
Authority
CN
China
Prior art keywords
delay
edge
cloud
architecture
streaming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280015927.5A
Other languages
English (en)
Inventor
罗伊特·阿比什克
阿芮亚娜·汉斯
保罗·斯潘塞·道金斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN116868107A publication Critical patent/CN116868107A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/32—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using arrays of controllable light sources; using moving apertures or moving light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5017—Task decomposition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/632—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing using a connection between clients on a wide area network, e.g. setting up a peer-to-peer communication via Internet for retrieving video segments from the hard-disk of other client devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了一种使用基于边缘‑云和对等网络的架构对光场或沉浸式媒体进行拆分渲染的系统和方法。该系统和方法包括：使用基于云的设备和边缘设备的组合来向终端用户设备提供与媒体(尤其是光场或沉浸式媒体)的流式传输相关的分布式处理。该系统和方法还包括：使用多个云和边缘设备来向终端用户设备提供给定媒体数据包的并行流式传输。

Description

使用边缘-云架构和对等网络流式传输的光场/沉浸式媒体的 拆分渲染
相关申请的交叉引用
本申请要求于2021年10月27日提交的美国临时专利申请第63/272,654号和2022年10月7日提交的美国专利申请第17/962,122号的优先权权益，其公开内容通过引用并入本文。
技术领域
所公开的主题涉及用于沉浸式媒体的拆分渲染的基于边缘-云的架构的方法和系统。
背景技术
沉浸式媒体(immersive media)是由沉浸式技术定义的，这些技术试图通过数字模拟来创建或模仿物理世界，从而刺激任何或所有人类感官系统，以便创建用户物理地存在于场景中的感觉。
目前有不同类型的沉浸式媒体技术在发挥作用：虚拟现实(VR)、增强现实(AR)、混合现实(MR)、光场/全息等。VR是指通过使用耳机将用户置于计算机生成的世界中来取代用户物理环境的数字环境。另一方面，AR采用数字媒体，并通过使用清晰的视觉眼镜或智能手机将数字媒体层叠到你周围的现实世界中。MR指的是现实世界与数字世界的融合，从而创造出一种技术和物理世界可以共存的环境。
光场/全息技术由三维空间中的光线组成，其中光线来自每个点和方向。这项技术基于这样一个概念，即所看到的一切都被来自任何光源的光照亮，这些光通过空间传播，到达物体的表面，在到达我们的眼睛之前，光被部分地吸收，部分地反射到另一个表面。什么样的光线到达我们的眼睛取决于用户在光场中的精确位置，并且当用户四处移动时，用户感知到光场的一部分，并使用感知到的部分来了解物体的位置。
光线可以由5维全光学操作来定义，其中每条光线可以由3D空间(3维)中的三个坐标和两个角度来定义，以指定在3D空间中的方向。
传统相机只能捕获在给定位置到达相机镜头的光线的二维表示。图像传感器记录到达每个像素的所有光线的亮度和颜色之和。
当涉及到为基于光场或全息的显示器捕获内容时，需要光场相机，其不仅能够捕获亮度和颜色，而且能够捕获到达相机传感器的所有光线的方向。使用该信息，可以用每个光线的起源的精确表示来重建数字场景，使得有可能在3D中以数字方式重建精确捕获的场景。
目前，两种主要的技术用于捕获这种体积场景。第一种技术是使用相机阵列或相机模块从每个方向捕获不同的光线/视图。第二种技术包括使用深度相机，该深度相机可以通过在受控照明条件下测量多个物体的深度，在单次曝光中捕获3D信息，而不需要结构化照明。
发明内容
以下呈现本申请的一个或多个实施例的简化概要，以便提供对这些实施例的基本理解。该概要不是对所有预期实施例的广泛概述，并且旨在既不标识所有实施例的关键或重要元素，也不描述任何或所有实施例的范围。其唯一目的是以简化形式呈现本申请的一个或多个实施例的某些概念，作为稍后呈现的更详细描述的前奏。
根据示例性实施例，提供了一种在包括云架构、边缘架构和终端用户设备的网络中进行光场或沉浸式媒体的流式传输的方法，该方法由至少一个处理器执行。该光场或沉浸式媒体的流式传输的方法包括：基于一个或多个延迟因素，将与所述光场或沉浸式媒体的流式传输相关联的任务拆分成多个计算任务，其中，所述多个计算任务中的第一组在所述云架构上执行，所述多个计算任务中的第二组在所述边缘架构上执行，所述多个计算任务中的第二组与所述多个计算任务中的第一组不同且不重叠。该方法还包括：将所述光场或沉浸式媒体从所述云架构和所述边缘架构流式传输到所述终端用户设备。
根据示例性实施例，提供了一种用于光场或沉浸式媒体的流式传输的系统，所述系统包括：网络，所述网络包括云架构和边缘架构，其中，所述网络能够操作以将光场或沉浸式媒体从所述云架构和所述边缘架构流式传输到终端用户设备；至少一个存储器，用于存储计算机程序代码；以及至少一个处理器，用于访问所述至少一个存储器并按所述计算机程序代码的指示操作。在这个系统中，所述计算机程序代码包括拆分代码，所述拆分代码被配置成使得所述至少一个处理器基于一个或多个延迟因素将与所述光场或沉浸式媒体的流式传输相关联的多个计算任务拆分成多个计算任务，其中，所述多个计算任务中的第一组在所述云架构上执行，所述多个计算任务中的第二组在所述边缘架构上执行，所述多个计算任务中的第二组与所述多个计算任务中的第一组不同且不重叠。
根据示例性实施例，提供了一种非暂时性计算机可读介质，具有存储在其上的指令，所述指令当由处理器执行时，使得所述处理器执行光场或沉浸式媒体的流式传输的方法。这种光场或沉浸式媒体的流式传输的方法包括：基于一个或多个延迟因素，将与所述光场或沉浸式媒体的流式传输相关联的任务分割成多个计算任务，其中，所述多个计算任务中的第一组在云架构上执行，所述多个计算任务中的第二组在边缘架构上执行，所述多个计算任务中的第二组与所述多个计算任务中的第一组不同且不重叠。该方法还包括：将所述光场或沉浸式媒体从所述云架构和所述边缘架构流式传输到终端用户设备。
附加实施例将在下面的描述中阐述，并且部分地将从描述中变得显而易见的，和/或可以通过实践本申请的所呈现的实施例来学习。
附图说明
通过结合附图进行的以下详细描述，本申请的上述和其他目的、特征及优点是显而易见的，在附图中，类似的部件给予相同的参考数字，并且其中：
图1描绘了具有场景分配的边缘-云架构。
图2示出了具有场景优先级的边缘-云架构。
图3示出了多层边缘-云架构。
图4是计算机系统的示意图。
出于说明的目的，附图中的图像进行了简化，并且未按比例描绘。在附图的描述中，类似的元件被提供了与先前附图相似的名称和附图标记。指定给元件的特定标号仅用于辅助说明，并不意味着暗示对本发明的任何(结构的或功能的)限制。
具体实施方式
以下示例实施例的详细描述参考附图。不同附图中的相同附图标记可以标识相同或相似的元件。
前述公开提供了说明和描述，但不旨在穷举或将实施方式限制到所公开的精确形式。根据上述公开，修改和变化是可能的，或者可以从实施方式的实践中获得。进一步地，一个实施例的一个或多个特征或组件可以合并为另一个实施例(或另一个实施例的一个或多个特征)或与另一个实施例(或另一个实施例的一个或多个特征)进行组合。此外，在下面提供的操作的流程图和描述中，应当理解，可以省略一个或多个操作，可以添加一个或多个操作，可以同时(至少部分地)执行一个或多个操作，并且可以切换一个或多个操作的顺序。
很明显，本文描述的系统和/或方法可以以不同形式的硬件、固件或硬件和软件的组合来实现。用于实现这些系统和/或方法的实际专用控制硬件或软件代码并不限制实施方式。因此，本文在没有参考特定的软件代码的情况下描述了系统和/或方法的操作和行为—应当理解，软件和硬件可以被设计成基于本文的描述来实现系统和/或方法。
即使在权利要求中列举了和/或在说明书中公开了特征的特定组合，这些组合并不旨在限制可能的实施方式的公开。事实上，这些特征中的许多可以以权利要求书中没有具体列举和/或说明书中没有公开的方式组合。尽管下面列出的每个从属权利要求可以仅直接依赖于一个权利要求，但是可能的实施方式的公开包括每个从属权利要求与权利要求集中的每个其他权利要求的组合。
除非明确说明，否则本文使用的任何元素、行为或指令都不应被解释为关键或必要的。此外，如本文所使用的，冠词“一个(a/an)”旨在包括一个或多个项，并且可以与“一个或多个”互换使用。如果仅旨在使用一个项，则使用术语“一(one)”或类似的用语。此外，如本文所使用的，术语“有”、“具有”、“含有”、“包括”、“包含”或类似的术语旨在是开放式术语。进一步地，除非另有明确说明，否则“基于”一词的意思是“至少部分地基于”。此外，诸如“[A]和[B]中的至少一个”或“[A]或[B]中的至少一个”的表述应被理解为仅包括A、仅包括B、或同时包括A和B两者。
在整个说明书中，引用“一个实施例”、“一实施例”或类似的语言意味着结合所指示的实施例描述的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在本说明书中的短语“在一个实施例中”、“在一实施例中”和类似的语言可以但不一定都指同一实施例。
此外，在一个或多个实施例中，可以以任何合适的方式组合本申请的所描述的特征、优点和特性。根据本文的描述，本领域的技术人员将认识到，可以在没有特定实施例的一个或多个特定特征或优点的情况下实施本申请。在其他情况下，在一些实施例中可以认识到可能不存在于本申请的所有实施例中的附加特征和优点。
本申请的实施例涉及一种通过使用基于边缘-云和对等网络的架构对光场或沉浸式媒体进行拆分渲染的系统和方法。目前，所有的计算设备都依赖于计算机能力的提高。根据摩尔定律，除了速度提高和芯片尺寸减小之外，由于增加了更多的处理内核和带宽，计算能力继续呈指数级增长。然而，随着高性能应用的出现，对容量和处理要求的需求在增加。为了弥补这一差距，需要一种基于边缘-云的渲染架构。
基于云的计算为终端用户提供了更多访问现代计算机图形学所需的海量计算能力的方式。随着当前关于本领域普通技术人员可以在智能手机或任何AR/VR设备中进行多少处理来渲染高质量视频帧的争论，这种转变已经转向云渲染，因为这提升了游戏的水平。因此，如果能够以足够快的速度连接到非常强大的在线计算资源，那么所有的小型设备都可能成为高性能计算机(supercomputer)，能够流式传输实时视频和游戏。
在一个实施例中，基于云-边缘的拆分渲染架构可用于光场/沉浸式媒体流式传输。这种架构减少了终端设备本身的处理需求。例如，终端设备可能不需要GPU来提供可接受的用户体验。边缘和云之间的任务拆分可以是动态的，即，边缘和云之间的任务拆分可以基于诸如采样延迟、包括图像处理和帧渲染延迟的计算延迟、以及包括排队和传输延迟的联网延迟之类的因素。参考图1，其中，场景101被分成三个分量(component)或场景(102、103、104)。终端设备(108)基于不同的判定参数从云(105)中流式传输场景1(107)和场景3(106)以及从边缘(110)中流式传输场景2(109)。为避免疑问，本文中提及的“场景”仅作为示例，并且“场景”应被理解为包括任何易受流式传输影响的媒体。
在同一实施例中，边缘和云之间的任务拆分也可以基于自适应流式传输技术。这里可以采用两种自适应流式传输方法：1)基于场景深度的自适应流式传输，其中不是一次渲染整个场景，而是基于深度优先级渲染资产(asset)，以及2)基于资产优先级的自适应流式传输，其中优先资产首先被渲染。因此，不是一次分配整个任务，而是基于优先级进行任务拆分，并按顺序完成分配。例如，参考图2，其中场景201被拆分为三个优先级(202、203、204)。终端设备(208)从云流式传输具有优先级1(207)和优先级3
(206)的场景201的部分，并且从边缘流式传输具有优先级2(209)的场景201的部分。在分配任务时，首先具有较高优先级的部分根据它们的可用计算能力(采样延迟、包括图像处理和帧渲染延迟的计算延迟、包括排队和传输延迟的联网延迟)从边缘或云流式传输。
在另一个实施例中，服务器/CDN可以将场景301拆分成可以存储在多个边缘-云系统(306、310、311、314)中的多个场景(302、303、304、305)，从而允许终端用户并行处理每个场景(307、308、312、313)。这也意味着，终端用户能够连接到多个边缘和云，而不是连接到单个边缘或云，如图3所示。这将基于这样一个事实，即与连接到单个边缘或云相比，并行处理场景不会增加额外的处理延迟。
在另一个实施例中，对等网络(peer-to-peer)流式传输协议可以应用于光场/沉浸式媒体的流式传输。这避免了每个设备都连接到云的需要。因此，对于每个场景，服务器将具有场景文件以及场景文件的散列/哈希(hash)。场景文件的散列将指示从其下载场景文件的源。然后，终端用户将能够决定用户是想要从边缘-云下载场景还是进行对等网络下载，并且当多个对等点(peer)可以提供场景文件时，选择合适的对等点。
使用边缘-云架构和对等网络流式传输用于对光场或沉浸式媒体进行拆分渲染的技术可以被实现为使用计算机可读指令的计算机软件，且物理地存储在一个或多个计算机可读介质中。例如，图4示出了适合于实施所公开的主题的某些实施例的计算机系统400。
可使用任何合适的机器代码或计算机语言来对计算机软件进行编码，任何合适的机器代码或计算机语言可经受汇编、编译、链接或类似的机制以创建包括指令的代码，该指令可由计算机中央处理单元(CPU)、图形处理单元(GPU)等直接执行或通过解释、微代码等执行。
这指令可以在各种类型的计算机或其组件上执行，例如包括个人计算机、平板计算机、服务器、智能电话、游戏装置、物联网装置等。
图4所示的计算机系统400的组件本质上是示例性的，并且不旨在对实施本申请的实施例的计算机软件的使用范围或功能提出任何限制。组件的配置也不应被解释为具有与计算机系统400的示例性实施例中所示的组件中的任何一个组件或组件的组合有关的任何依赖性或要求。
计算机系统400可包括某些人机接口输入装置。此类人机接口输入装置可响应于一个或多个人类用户例如通过下述的输入：触觉输入(例如：击键、划动，数据手套移动)、音频输入(例如：语音、拍手)、视觉输入(例如：手势)、嗅觉输入(未描绘出)。人机接口装置还可用于捕获不一定与人的意识输入直接相关的某些媒体，例如音频(例如：语音、音乐、环境声音)、图像(例如：扫描的图像、从静止图像相机获取摄影图像)、视频(例如二维视频、包括立体视频的三维视频)。
输入人机接口装置可以包括下述中的一项或多项(每种中仅示出一个)：键盘401、鼠标402、触控板403、触摸屏410、数据手套(未描绘)、操纵杆405、麦克风406、扫描仪407、照相机408。
计算机系统400还可以包括某些人机接口输出装置。此类人机接口输出装置可例如通过触觉输出、声音、光和气味/味道来刺激一个或多个人类用户的感官。此类人机接口输出装置可包括触觉输出装置(例如通过触摸屏410的触觉反馈，数据手套(未描绘出)或操纵杆405，但是还可以是不作为输入设备的触觉反馈装置)、音频输出装置(例如，扬声器409、耳机(未描绘出))、视觉输出装置(例如屏幕410，包括CRT屏幕、LCD屏幕、等离子屏幕、OLED屏幕，每种屏幕有或没有触摸屏输入功能，每种屏幕都有或没有触觉反馈功能—其中的一些屏幕能够通过诸如立体输出的装置来输出二维的视觉输出或多于三维的输出)、虚拟现实眼镜(未描绘出)、全息显示器和烟箱(未描绘出)以及打印机(未描绘出)。
计算机系统400还可包括人类可访问存储装置及其关联介质：例如包括具有CD/DVD等介质421的CD/DVD ROM/RW 420的光学介质、指状驱动器422、可拆卸硬盘驱动器或固态驱动器423、诸如磁带和软盘之类的传统磁性介质(未描绘出)、诸如安全软件狗之类的基于专用ROM/ASIC/PLD的装置(未描绘出)等。
本领域技术人员还应该理解，结合当前公开的主题使用的术语“计算机可读介质”不涵盖传输介质、载波或其他瞬时信号。
计算机系统400还可包括到一个或多个通信网络的接口。网络例如可以是无线网络、有线网络、光网络。网络还可以是本地网络、广域网络、城域网络、车辆和工业网络、实时网络、耐延迟网络等。网络的示例包括诸如以太网之类的局域网、无线LAN、包括GSM、3G、4G、5G、LTE等的蜂窝网络、包括有线电视、卫星电视和地面广播电视的电视有线或无线广域数字网络、包括CANBus的车辆和工业用电视等等。某些网络通常需要连接到某些通用数据端口或外围总线(449)的外部网络接口适配器(例如计算机系统400的USB端口；如下所述，其他网络接口通常通过连接到系统总线而集成到计算机系统400的内核中，例如，连接到PC计算机系统中的以太网接口435或连接到智能手机计算机系统中的蜂窝网络433接口)。计算机系统400可使用这些网络中的任何一个与其他实体通信。此类通信可以是仅单向接收的(例如，广播电视)、仅单向发送的(例如，连接到某些CANbus装置的CANbus)或双向的，例如，使用局域网或广域网数字网络连接到其他计算机系统。如上所述，可以在那些网络和网络接口中的每一个上使用某些协议和协议栈。
上述人机接口装置、人机可访问的存储装置和网络接口可附接到计算机系统400的内核440。
核心440可包括一个或多个中央处理单元(CPU)441、图形处理单元(GPU)442、现场可编程门区域(FPGA)443形式的专用可编程处理单元、用于某些任务的硬件加速器444等。这些设备以及只读存储器(ROM)445、随机存取存储器446、诸如内部非用户可访问的硬盘驱动器、SSD等之类的内部大容量存储器447可通过系统总线448连接。在一些计算机系统中，可以以一个或多个物理插头的形式访问系统总线448，以能够通过附加的CPU、GPU等进行扩展。外围装置可直接连接到内核的系统总线448或通过外围总线449连接到内核的系统总线448。外围总线的体系结构包括PCI、USB等。
CPU 441、GPU 442、FPGA 443和加速器444可执行某些指令，这些指令可以组合来构成上述计算机代码。该计算机代码可存储在ROM 445或RAM 446中。过渡数据也可以存储在RAM 446中，而永久数据可例如存储在内部大容量存储器447中。可通过使用高速缓存来进行到任何存储装置的快速存储及检索，该高速缓存可以与下述紧密关联：一个或多个CPU441、GPU 442、大容量存储器447、ROM 445、RAM 446等。
计算机可读介质可以在其上具有用于执行各种由计算机实现的操作的计算机代码。介质和计算机代码可以是出于本公开的目的而专门设计和构造的介质和计算机代码，或者介质和计算机代码可以是计算机软件领域的技术人员公知且可用的类型。
作为非限制性示例，可以由于一个或多个处理器(包括CPU、GPU、FPGA、加速器等)执行以一种或多种有形的计算机可读介质体现的软件而使得具有架构400、特别是内核440的计算机系统提供功能。此类计算机可读介质可以是与如上所述的用户可访问的大容量存储器相关联的介质，以及某些非暂时性的内核440的存储器，例如内核内部大容量存储器447或ROM 445。可以将实施本申请的各种实施例的软件存储在此类装置中并由内核440执行。根据特定需要，计算机可读介质可包括一个或多个存储装置或芯片。软件可引起内核440、特别是其中的处理器(包括CPU、GPU、FPGA等)执行本文所描述的特定过程或特定过程的特定部分，包括定义存储在RAM 446中的数据结构以及根据由软件定义的过程来修改此类数据结构。附加地或替换地，可以由于硬连线或以其他方式体现在电路(例如，加速器444)中的逻辑而使得计算机系统提供功能，该电路可替换软件或与软件一起运行以执行本文描述的特定过程或特定过程的特定部分。在适当的情况下，提及软件的部分可包含逻辑，反之亦然。在适当的情况下，提及计算机可读介质的部分可包括存储用于执行的软件的电路(例如集成电路(IC))、体现用于执行的逻辑的电路或两者都包括。本申请包括硬件和软件的任何合适的组合。
尽管本申请已经描述了多个示例性实施例，但是存在落入本申请的范围内的修改、置换和各种替换等效物。因此，应当理解，本领域技术人员将能够设计出许多系统和方法，这些系统和方法虽然未在本文中明确示出或描述，但是其体现了本申请的原理，因此，落入本申请的精神和范围内。

Claims (20)

1.一种用于光场或沉浸式媒体的流式传输的方法，在包括云架构、边缘架构和终端用户设备的网络中进行，所述方法由至少一个处理器执行，所述方法包括：
基于一个或多个延迟因素，将与所述光场或沉浸式媒体的流式传输相关联的任务拆分成多个计算任务，其中，所述多个计算任务中的第一组在所述云架构上执行，所述多个计算任务中的第二组在所述边缘架构上执行，所述多个计算任务中的第二组与所述多个计算任务中的第一组不同且不重叠；以及
将所述光场或沉浸式媒体从所述云架构和所述边缘架构流式传输到所述终端用户设备。
2.根据权利要求1所述的方法，其特征在于，所述将任务拆分包括：
分析与所述网络相关联的一个或多个预定度量，所述一个或多个预定度量包括所述延迟因素；以及
基于对与所述网络相关联的所述一个或多个预定度量的所述分析，将与所述光场或沉浸式媒体的流式传输相关联的所述多个计算任务中的给定计算任务分配给所述云架构或所述边缘架构。
3.根据权利要求2所述的方法，其特征在于，所述一个或多个预定度量包括以下中的一个或多个：采样延迟、计算延迟、图像处理负载、帧渲染延迟和联网延迟，其中，所述联网延迟包括：排队和传输延迟。
4.根据权利要求2所述的方法，其特征在于，所述网络能够操作以实现对等网络流式传输协议。
5.根据权利要求1所述的方法，其特征在于，所述云架构包括多个云设备，并且所述边缘架构包括多个边缘设备，所述方法还包括：
将所述光场或沉浸式媒体分成多个分量；
将所述多个分量的每个分量存储在所述多个云设备和所述多个边缘设备上；以及
将所述多个分量并行地传送到所述终端用户设备。
6.根据权利要求5所述的方法，其特征在于，所述将任务拆分包括：
分析与所述网络相关联的、包括所述延迟因素的一个或多个预定度量；以及
基于对所述一个或多个预定网络度量的所述分析，将与所述光场或沉浸式媒体的流式传输相关联的所述多个计算任务中的给定计算任务分配给所述多个云设备中的给定云设备或所述多个边缘设备中的给定边缘设备；
其中，所述一个或多个预定度量包括：采样延迟、计算延迟、图像处理负载、帧渲染延迟和联网延迟，其中，所述联网延迟包括：排队和传输延迟。
7.根据权利要求1所述的方法，其特征在于，所述将任务拆分包括自适应流式传输技术，所述自适应流式传输技术包括基于深度优先级的自适应流式传输或基于资产优先级的自适应流式传输。
8.一种用于光场或沉浸式媒体的流式传输的系统，包括：
网络，所述网络包括云架构和边缘架构，其中，所述网络能够操作以将光场或沉浸式媒体从所述云架构和所述边缘架构流式传输到终端用户设备；
至少一个存储器，用于存储计算机程序代码；以及
至少一个处理器，用于访问所述至少一个存储器并按照所述计算机程序代码的指令操作，所述计算机程序代码包括拆分代码，所述拆分代码被配置成使得所述至少一个处理器基于一个或多个延迟因素，将与所述光场或沉浸式媒体的流式传输相关联的多个计算任务拆分成多个计算任务，其中，所述多个计算任务中的第一组在所述云架构上执行，所述多个计算任务中的第二组在所述边缘架构上执行，所述多个计算任务中的第二组与所述多个计算任务中的第一组不同且不重叠。
9.根据权利要求8所述的系统，其特征在于，所述计算机程序代码还包括分配代码，所述代码被配置成使得所述至少一个处理器基于对与所述网络相关联的、包括所述延迟因素的一个或多个预定度量的分析，将所述多个计算任务中的给定计算任务分配给所述云架构或所述边缘架构。
10.根据权利要求9所述的系统，其特征在于，所述一个或多个预定度量包括以下中的一个或多个：采样延迟、计算延迟、图像处理负载、帧渲染延迟和联网延迟，其中，所述联网延迟包括：排队和传输延迟。
11.根据权利要求9所述的系统，其特征在于，所述网络能够操作以实现对等网络流式传输协议。
12.根据权利要求8所述的系统，其特征在于，所述云架构包括多个云设备，并且所述边缘架构包括多个边缘设备，其中，所述光场或沉浸式媒体被分成多个分量，且其中，所述系统能够操作以将所述多个分量的每个分量存储在所述多个云设备和所述多个边缘设备上，并且将所述多个分量并行地传送到所述终端用户设备。
13.根据权利要求12所述的系统，其特征在于，所述计算机程序代码还包括分配代码，所述分配代码被配置为使得所述至少一个处理器基于对一个或多个预定度量的分析，将与所述光场或沉浸式媒体的流式传输相关联的所述多个计算任务中的给定计算任务分配给所述多个云设备中的给定云设备或所述多个边缘设备中的给定边缘设备；其中，与所述网络相关联的所述一个或多个预定度量包括：采样延迟、计算延迟、图像处理负载、帧渲染延迟和联网延迟；其中，所述联网延迟包括：排队和传输延迟。
14.根据权利要求8所述的系统，其特征在于，所述拆分代码实现自适应流式传输技术，其中，所述自适应流式传输技术包括基于深度优先级的自适应流式传输或基于资产优先级的自适应流式传输。
15.一种非暂时性计算机可读介质，具有存储在其上的指令，所述指令当由处理器执行时，使得所述处理器执行一种用于光场或沉浸式媒体的流式传输的方法，所述方法包括：
基于一个或多个延迟因素，将与所述光场或沉浸式媒体的流式传输相关联的任务拆分成多个计算任务，其中，所述多个计算任务中的第一组在云架构上执行，所述多个计算任务中的第二组在边缘架构上执行，所述多个计算任务中的第二组与所述多个计算任务中的第一组不同且不重叠；以及
将所述光场或沉浸式媒体从所述云架构和所述边缘架构流式传输到终端用户设备。
16.根据权利要求15所述的非暂时性计算机可读介质，其特征在于，所述将任务拆分包括：
分析与所述网络相关联的、包括所述延迟因素的一个或多个预定度量；以及
基于对所述一个或多个预定度量的所述分析，将与所述光场或沉浸式媒体的流式传输相关联的所述多个计算任务中的给定计算任务分配给所述云架构或所述边缘架构。
17.根据权利要求16所述的非暂时性计算机可读介质，其特征在于，所述一个或多个预定度量包括以下中的一个或多个：采样延迟、计算延迟、图像处理负载、帧渲染延迟和联网延迟，其中，所述联网延迟包括：排队延迟和传输延迟。
18.根据权利要求15所述的非暂时性计算机可读介质，其特征在于，所述云体系结构包括多个云设备，并且所述边缘体系结构包括多个边缘设备，所述方法还包括：
将所述光场或沉浸式媒体分成多个分量；
将所述多个分量的每个分量存储在所述多个云设备和所述多个边缘设备上；以及
将所述多个分量并行地传送到所述终端用户设备。
19.根据权利要求18所述的非暂时性计算机可读介质，其特征在于，所述将任务拆分包括：
分析与所述网络相关联的、包括所述延迟因素的一个或多个预定度量；以及
基于对所述一个或多个预定度量的所述分析，将与所述光场或沉浸式媒体的流式传输相关联的所述多个计算任务中的给定计算任务分配给所述多个云设备中的给定云设备或所述多个边缘设备中的给定边缘设备。
20.根据权利要求19所述的非暂时性计算机可读介质，其特征在于，所述一个或多个预定度量包括以下中的一个或多个：采样延迟、计算延迟、图像处理负载、帧渲染延迟和联网延迟，其中，所述联网延迟包括：排队延迟和传输延迟。
CN202280015927.5A 2021-10-27 2022-10-14 使用边缘-云架构和对等网络流式传输的光场/沉浸式媒体的拆分渲染 Pending CN116868107A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163272654P 2021-10-27 2021-10-27
US63/272,654 2021-10-27
US17/962,122 US11917283B2 (en) 2021-10-27 2022-10-07 Split rendering for lightfield/immersive media using edge-cloud architecture and peer-to-peer streaming
US17/962,122 2022-10-07
PCT/US2022/046784 WO2023076049A1 (en) 2021-10-27 2022-10-14 Split rendering for lightfield/immersive media using edge-cloud architecture and peer-to-peer streaming

Publications (1)

Publication Number Publication Date
CN116868107A true CN116868107A (zh) 2023-10-10

Family

ID=86056306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280015927.5A Pending CN116868107A (zh) 2021-10-27 2022-10-14 使用边缘-云架构和对等网络流式传输的光场/沉浸式媒体的拆分渲染

Country Status (6)

Country Link
US (1) US11917283B2 (zh)
EP (1) EP4423564A1 (zh)
JP (1) JP2024512963A (zh)
KR (1) KR20230146643A (zh)
CN (1) CN116868107A (zh)
WO (1) WO2023076049A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240082709A1 (en) * 2022-09-14 2024-03-14 At&T Intellectual Property I, L.P. Metaverse streaming for integrated gaming with ar/vr/mr and other services

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8024762B2 (en) 2006-06-13 2011-09-20 Time Warner Cable Inc. Methods and apparatus for providing virtual content over a network
KR101584480B1 (ko) * 2010-04-13 2016-01-14 지이 비디오 컴프레션, 엘엘씨 평면 간 예측
CN106454371B (zh) * 2010-04-13 2020-03-20 Ge视频压缩有限责任公司 解码器、数组重建方法、编码器、编码方法及存储介质
ES2549734T3 (es) * 2010-04-13 2015-11-02 Ge Video Compression, Llc Codificación de vídeo que usa subdivisiones multi-árbol de imágenes
US10556034B2 (en) * 2015-04-10 2020-02-11 The Regents Of The University Of California Switchable digital scent generation and release, and vapor and liquid delivery methods and systems
WO2018035133A1 (en) * 2016-08-17 2018-02-22 Vid Scale, Inc. Secondary content insertion in 360-degree video
US10623723B2 (en) * 2016-09-29 2020-04-14 Intel Corporation Hybrid stereo rendering for depth extension in dynamic light field displays
US10659526B2 (en) 2018-01-03 2020-05-19 Verizon Patent And Licensing Inc. Edge compute systems and methods
WO2021067140A1 (en) * 2019-10-04 2021-04-08 Intel Corporation Edge computing technologies for transport layer congestion control and point-of-presence optimizations based on extended in-advance quality of service notifications
US11252226B2 (en) 2020-03-05 2022-02-15 Qualcomm Incorporated Methods and apparatus for distribution of application computations
US11962867B2 (en) * 2021-11-04 2024-04-16 Tencent America LLC Asset reusability for lightfield/holographic media
US11985381B2 (en) * 2022-01-10 2024-05-14 Tencent America LLC Mapping architecture of immersive technologies media format (ITMF) specification with rendering engines

Also Published As

Publication number Publication date
EP4423564A1 (en) 2024-09-04
JP2024512963A (ja) 2024-03-21
US20230126243A1 (en) 2023-04-27
US11917283B2 (en) 2024-02-27
WO2023076049A1 (en) 2023-05-04
KR20230146643A (ko) 2023-10-19

Similar Documents

Publication Publication Date Title
US12003601B2 (en) Method and apparatus for split rendering for lightfield/immersive media using proxy edge cloud architecture
US20240292041A1 (en) Adaptation of 2d video for streaming to heterogenous client end-points
JP2024513005A (ja) イマーシブテクノロジーズメディアフォーマット（ｉｔｍｆ）仕様のマッピングアーキテクチャのための方法、装置、及びコンピュータプログラム
US11917283B2 (en) Split rendering for lightfield/immersive media using edge-cloud architecture and peer-to-peer streaming
US11570227B2 (en) Set up and distribution of immersive media to heterogenous client end-points
JP2023516305A (ja) 異種クライアントエンドポイントへのストリーミングのための２ｄビデオの適応のためのニューラルネットワークモデルの参照
US11962867B2 (en) Asset reusability for lightfield/holographic media
EP4085397B1 (en) Reference of neural network model by immersive media for adaptation of media for streaming to heterogenous client end-points
US11983214B2 (en) Reuse of redundant assets with client query
US12132966B2 (en) Immersive media analyzer for reuse of scene assets
US20230146230A1 (en) Immersive media analyzer for reuse of scene assets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination