CN117546472A - 光场或全息媒体的资产重用性 - Google Patents
光场或全息媒体的资产重用性 Download PDFInfo
- Publication number
- CN117546472A CN117546472A CN202280007561.7A CN202280007561A CN117546472A CN 117546472 A CN117546472 A CN 117546472A CN 202280007561 A CN202280007561 A CN 202280007561A CN 117546472 A CN117546472 A CN 117546472A
- Authority
- CN
- China
- Prior art keywords
- assets
- client
- scene
- light field
- buffer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000872 buffer Substances 0.000 claims abstract description 62
- 238000000034 method Methods 0.000 claims abstract description 32
- 230000005540 biological transmission Effects 0.000 claims abstract description 16
- 238000013507 mapping Methods 0.000 claims abstract description 11
- 238000009877 rendering Methods 0.000 claims abstract description 9
- 238000004590 computer program Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000003139 buffering effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 201000003152 motion sickness Diseases 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/633—Control signals issued by server directed to the network components or client
- H04N21/6332—Control signals issued by server directed to the network components or client directed to client
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2401—Monitoring of the client buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2226/00—Electro-optic or electronic components relating to digital holography
- G03H2226/04—Transmission or communication means, e.g. internet protocol
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Holo Graphy (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Optical Recording Or Reproduction (AREA)
Abstract
一种对待流式传输到客户端的光场和/或全息媒体进行控制的方法和设备，基于客户端缓冲器的状态确定带宽，对光场和/或全息媒体的场景进行分割，确定客户端缓冲器中是否存在资产，将资产映射到分割场景中的相应场景和客户端缓冲器，基于带宽、映射以及确定客户端缓冲器中是否存在一个或多个资产来控制资产到客户端缓冲器的传输，以及当呈现分割场景中的至少一个分割场景时控制客户端重新使用资产中的至少一个资产。
Description
援引并入
本申请要求享有于2021年11月4日提交的美国临时申请63/275,789以及于2022年10月20日提交的美国申请17/970,035的优先权，上述申请的内容通过引用被整体并入本文。
技术领域
本公开的主题涉及将资产(asset)存储在客户端缓冲器中以用于在光场和/或全息显示器中的重用性的方法。
背景技术
沉浸式媒体是由沉浸式技术所定义的，沉浸式技术试图通过数字模拟来创建或模仿物理世界，从而模拟任何人或所有人的感知系统，以创建用户物理地存在于场景中的感知。
目前有以下不同类型的沉浸式媒体技术在发挥作用：虚拟现实(virtualreality，VR)、增强现实(augmented reality，AR)、混合现实(mixed relaity，MR)、光场/全息等。VR是指通过使用头戴式耳机将用户置于由计算机生成的世界中来取代用户物理环境的数字环境。另一方面，AR采用数字媒体，并通过使用清晰的视觉、头戴式耳机、眼镜或智能手机等，将数字媒体分层到用户周围的真实世界中。MR指的是现实世界与数字世界的融合，从而创建技术和物理世界可以共存的环境。
光场和/或全息技术由3D空间中的来自每个点和方向的光线组成。光场和/或全息技术是基于这样一个概念：周围所看到的一切都被来自任何来源的光照亮，该光通过空间传播并击中对象的表面，在光到达我们的眼睛之前，部分光在对象的表面被吸收，部分光被反射到另一个表面。正确地再现光场将为用户提供例如双目和连续运动视差的3D效果。光场和/或全息显示器的根本概念是将光投射到全息屏幕上的大量投影模块阵列，通过在稍微不同的方向上显示不同但一致的信息来再现光场和/或全息的近似。
可以由五维全光函数来定义光线，其中，可以由三维(3dimensional，3D)空间中的三个坐标和3D空间中特定方向的两个角度来定义每条光线。
为了采集360度视频的内容，需要360度照相机；然而，当涉及到采集光场和/或全息显示器的内容时，取决于待呈现的场景的视场角(field of view，FoV)，需要包括多个深度照相机或照相机阵列的昂贵设置。
传统的照相机只能对到达给定位置的照相机镜头的光线的2D表示进行采集。图像传感器对到达每个像素的所有光线的亮度和颜色之和进行记录。
当涉及到采集光场和/或全息显示器的内容时，需要光场照相机。光场照相机不仅可以采集亮度和颜色，还可以对到达照相机传感器的所有光线的方向进行采集。通过使用该信息，可以利用每个光线的来源的精确表示来重建数字场景，使得在3D中以数字方式对精确采集的场景进行重建成为可能。
目前，有两种主要技术用于采集这类体积的场景。第一种技术使用照相机或照相机模块阵列来采集来自每个方向的不同光线/视图，其中，每个方向对应于阵列中的一个照相机或一个照相机模块。第二种技术使用深度照相机，通过在受控的照明条件下测量多个对象的深度，可以在一次曝光中采集3D信息，而不需要结构化照明。
采集这类光场和/或全息显示器的多媒体内容并将其存储在服务器中，该多媒体内容可能是真实世界的内容或合成的内容。将这些数据传输到最终客户端需要大量的带宽，即使在该数据被压缩之后也不例外。因此，在带宽有限的情况下，客户端可能会经历缓冲或中断，从而使体验变得不愉快。这是将通过本申请所描述的技术解决方案而得到解决的技术问题。
也就是说，由于在对光场和/或全息显示器的多媒体内容进行处理的背景中的大量带宽要求而可能遭受数据存储和传输限制，现有的计算机技术在技术上是有缺陷的。因此，渴望这些问题的技术解决方案。正因此，本申请公开了通过例如经由在任何光场和/或全息显示器中的重用性来提高缓冲器(例如，客户端缓冲器)所面临的资产存储和传输能力以解决计算机技术。
发明内容
本公开包括一种方法和设备，该设备包括存储器，该存储器被配置成存储计算机程序代码；一个或多个硬件处理器，该硬件处理器被配置成访问计算机程序代码并按照计算机程序代码的指示进行操作。该计算机程序代码包括：控制代码，该控制代码被配置成使得至少一个硬件处理器对待流式传输到客户端的光场和/或全息媒体的场景进行控制；确定代码，该确定代码被配置成使得至少一个硬件处理器至少基于与客户端相关联的客户端缓冲器的状态来确定客户端能用于流式传输光场和/或全息媒体的带宽；分割代码，该分割代码被配置成使得至少一个硬件处理器将光场和/或全息媒体的场景分割成多个分割场景，每个分割场景包括场景的一个或多个资产；进一步确定代码，该进一步确定代码被配置为确定客户端缓冲器中是否存在一个或多个资产；映射代码，该映射代码被配置为使得至少一个硬件处理器基于确定客户端缓冲器中是否存在一个或多个资产而将场景的一个或多个资产映射到相应的分割场景；传输控制代码，该传输控制代码被配置为使得至少一个硬件处理器基于带宽、映射以及确定客户端缓冲器中是否存在一个或多个资产来控制一个或多个资产的子集到客户端缓冲器的传输；以及重用性控制代码，该重用性控制代码被配置为使得至少一个硬件处理器在呈现多个分割场景中的至少一个分割场景时，控制客户端重新使用资产中的至少一个资产。
根据各示例性实施例，该至少一个硬件处理器属于与客户端联网通信的服务器。
根据示例性实施例，计算机程序代码还包括跟踪代码，该跟踪代码被配置为使得至少一个硬件处理器针对多个分割场景中的前一个分割场景和连续的分割场景中的每一个，对哪些资产被发送到客户端设备进行跟踪。
根据各示例性实施例，该至少一个硬件处理器属于客户端。
根据各示例性实施例，还基于多个资产在光场和/或全息媒体的场景中的相对深度，对多个资产的一个或多个资产中的资产到客户端缓冲器的传输进行控制。
根据各示例性实施例，还基于多个资产在光场和/或全息媒体的场景中的相对优先级，对多个资产的一个或多个资产中的资产到客户端缓冲器的传输进行控制。
根据各示例性实施例，确定客户端缓冲器中是否存在一个或多个资产还包括：确定多个客户端缓冲器的任一个中是否存在一个或多个资产，其中，多个客户端缓存器包括在局域网(Local area network，LAN)上联网的每个客户端缓冲器。
根据各示例性实施例，计算机程序代码还包括分配代码，该分配代码被配置为使得至少一个硬件处理器基于多个资产中的至少一个资产在场景中出现的次数中的至少一次，给多个资产中的至少一个资产分配重用性优先级。
根据各示例性实施例，当呈现多个分割场景中的至少一个分割场景时，基于给多个资产中的至少一个资产分配的重用性优先级来控制客户端重新使用多个资产中的至少一个资产。
根据各示例性实施例，还基于以下中的至少一个给多个资产中的至少一个资产分配重用性优先级：多个资产中的至少一个资产的大小和多个资产中的至少一个资产的复杂性。
附图说明
图1是示出根据本文所描述的各示例性实施例的基于深度的流式传输的图。
图2是示出根据本文所描述的各示例性实施例的基于资产优先级的流式传输的图。
图3是示出根据本文所描述的各示例性实施例的由服务器控制的缓冲器的图。
图4是示出根据本文所描述的各示例性实施例的由客户端控制的缓冲器的图。
图5是示出根据本文所描述的各示例性实施例的计算机系统的图。
图6是根据各示例性实施例的流程图。
具体实施方式
可以单独使用或以任何顺序组合使用下文讨论的所提出的各特征。此外，可以通过处理电路(例如，一个或多个处理器或一个或多个集成电路)来实现各实施例。在一示例中，一个或多个处理器执行存储在非暂时性计算机可读介质中的程序。在本公开中，最可能模式(most possible mode，MPM)可以指主MPM、辅MPM、或主MPM和辅MPM两者。
光场和/或全息技术旨在在不需要任何头戴式耳机的情况下，创建一个具有精确深度感和三维感的虚拟环境，从而避免晕动病等副作用。服务器可以使用用于光场和/或全息显示的基于深度的自适应流。在本文中，根据示例性实施例，考虑基于带宽的深度方法，而不是一次性呈现整个场景。当网络容量相对理想时，终端客户端可以一次性接收并呈现整个场景。然而，当带宽受到限制时，最终客户端不呈现整个场景，而是将场景呈现到某个深度。此深度是客户端带宽的函数。因此，在获得关于最终客户端带宽的信息后，服务器对在具有不同深度的场景之间被流传输的媒体进行调整。参考图1，其示出了基于深度的流式传输的示例100。对象101、对象102和对象103是场景中的不同对象，分别位于距离照相机104为距离107、距离106和距离105的不同距离中的之一处，其中，照相机104可以表示用户的视点。在例如图6的示例600中的S601处获得媒体之后，服务器还可以在S602处给每个资产分配优先级值，并将该优先级值用于光场和/或全息显示的自适应流式传输。在本文中，根据示例性实施例，考虑基于带宽的资产优先级方法，而不是一次性呈现整个场景。当网络容量不受限制时，终端客户端可以一次性接收并呈现整个场景资产。然而，例如当在S603确定带宽受到限制时，最终客户端例如通过在S604确定进行调整并在S606考虑优先级而以更高的优先级来呈现资产，而不呈现场景中的所有资产。因此，所呈现的总资产是客户端带宽的函数。参考图2，其示出了基于资产优先级的流式传输200的示例。资产201、资产202和资产203是位于不同距离处的不同资产，可以在S605处考虑距离(可以在S605处确定是否考虑呈现哪些距离)，和/或在S606处根据照相机204考虑向客户端发送和/或在客户端呈现哪些预设的对象优先级。其中，照相机可以是用户的视点，对象优先级分别为优先级1、3和2。
在一实施例中，当场景a被流式传输时，可以将资产保存在客户端的缓冲器中以用于连续场景的重用性。根据示例性实施例，例如在S610处，可以基于诸如下文所描述的那些参数之类的不同参数，从客户端的缓冲器中添加或移除资产。
在一实施例中，当光场和/或全息场景被分割成多个场景时，进行资产映射。这是通过跟踪在前一个场景中发送的资产，并且只在连续的多个场景中发送不存在于先前场景中的资产来完成的。根据示例性实施例的所使用的方法，可以由服务器或客户端来完成资产控制。
在同一或另一实施例中，当资产缓冲器是由服务器控制时，服务器在将场景分割成多个场景时将跟踪在前一个场景和连续场景中发送的资产。因此，一旦服务器发送了第一场景，服务器将通过在S607处的检查来跟踪客户端缓冲器中的资产，并且将在S608处只发送已经不存在于客户端缓冲器中的资产，而在S609处不发送已经存在于该缓冲器的资产中的其他资产。服务器还将维护客户端缓冲器中的资产，使得由服务器来维护资产的添加和删除。例如，参考图3，其示出了由服务器控制的缓冲的示例300。服务器301将场景311分成两个场景307和308，其具有相应资产“场景1”309和“场景2”310。客户端302流式传输“场景1”304和“场景2”303，且重用资产306被存储在由服务器301控制的客户端缓冲器305中。
在同一或另一实施例中，当资产缓冲器是由客户端控制时，客户端决定什么资产应该在缓冲器中。在这种情况下，客户端将向服务器发送客户端缓冲器中的所有资产的列表。客户端还可以向服务器发送在缓冲器中添加或删除的资产的列表。例如，参考图4，其示出了由客户端控制的缓冲的示例400。服务器401将场景411分成资产两个场景407和408，其具有相应资产“场景1”409和“场景2”410。客户端402流式传输“场景1”404和“场景2”403，并且重用资产406被存储在由客户端401控制的客户端缓冲器405中。
在另一实施例中，可以使用不同的策略对资产的存储制定策略。可以使用基于深度的方法或基于优先级的方法。对于这两种方法，可以使用基于优先级的存储和删除。不一次性删除所有资产，而是首先删除优先级最小的资产，并以此类推。
在另一实施例中，可以在LAN上进行资产共享。这适用于LAN中的多个设备流式传输相同媒体的情况。在这种情况下，网络中的不同设备可以相互协调以相互共享不同的资产。
在同一或另一实施例中，也可以基于重用性优先级将资产存储在缓冲器中。因此，根据资产在相应场景中出现的次数给所有资产分配优先级。可以给在这种场景中出现得最多的资产分配最高优先级，可以给出现得最少的资产分配最低优先级。资产优先权也可以是基于资产的大小的。与不太复杂的资产相比，更复杂的资产可能被给予更高的优先级。
可以将如上所述的用于光场和/或全息媒体的资产重用性的技术实现为使用计算机可读指令的计算机软件，并且物理地存储在一个或多个计算机可读介质中。例如，图5示出了适用于实现本公开主题的某些实施例的计算机系统500。
可以使用任何合适的机器代码或计算机语言对计算机软件进行编码，该机器代码或计算机语言可以经受汇编、编译、链接或类似机制来创建包括指令的代码，该指令可以由一个或多个计算机中央处理单元(central processing unit，CPU)、一个或多个图形处理单元(graphics processing unit，GPU)等直接执行，或通过译码、微码执行等来执行。
这些指令可以在各种类型的计算机或其组件上执行，包括例如个人计算机、平板计算机、服务器、智能手机、游戏设备、物联网设备等。
图5中所示出的计算机系统500的组件本质上是示例性的，并且不旨在对实现本公开实施例的计算机软件的使用范围或功能提出任何限制。组件的配置也不应被解释为具有与计算机系统500示例性实施例中所示的任何一个组件或组件组合相关的任何依赖性或要求。
计算机系统500可以包括某些人机界面输入设备。人机接口输入设备可以响应于一个或多个人类用户通过例如以下的输入：触觉输入(例如，击键、滑动、数据手套移动)、音频输入(例如，语音、拍手)、视觉输入(例如，手势)、嗅觉输入(未描绘)。人机接口设备还可用于采集不一定与人的意识输入直接相关的某些介质，例如音频(例如，语音、音乐、环境声音)、图像(例如，扫描的图像、从静止图像照相机获得的摄影图像)、视频(例如二维视频、包括立体视频的三维视频)。
输入人机界面设备可以包括以下中的一个或多个(每种仅描绘一个)：键盘501、鼠标502、触控板503、触摸屏510、数据手套(未示出)、操纵杆505、麦克风506、扫描仪507、照相机508。
计算机系统500还可以包括某些人机界面输出设备。这些人机接口输出设备可以通过例如触觉输出、声音、光、气味/味道来刺激一个或多个人类用户的感官。这样的人机接口输出设备可以包括触觉输出设备(例如触摸屏510的触觉反馈、数据手套(未示出)或操纵杆505，但也可以是不用作输入设备的触觉反馈设备)、音频输出设备(例如，扬声器509、头戴式耳机(未描绘))、视觉输出设备(例如包括CRT屏幕、LCD屏幕、等离子屏幕、OLED屏幕的屏幕510，每种屏幕具有或不具有触摸屏输入能力，每种屏幕具有或不具有触觉反馈能力，其中一些屏幕能够通过诸如立体图像输出之类的装置、虚拟现实眼镜(未描述)、全息显示器和烟箱(未描述)以及打印机(未描述)来输出二维视觉输出或超过三维的输出。
计算机系统500还可以包括人类可访问的存储设备和它们相关联的介质，例如包括具有CD/DVD等介质521的CD/DVD ROM/RW 520的光学介质、指状驱动器522、可移动硬盘驱动器或固态驱动器523、诸如磁带和软盘(未描绘)之类的传统磁介质和诸如安全软件狗(未描绘)之类的基于专用ROM/ASIC/PLD的设备等。
本领域技术人员还应理解，结合当前本公开的主题所使用的术语“计算机可读介质”不涵盖传输介质、载波或其他暂时性信号。
计算机系统500还可以包括到一个或多个通信网络的接口。网络可以例如是无线的、有线的、光的。网络还可以是局域网络、广域网络、城域网络、车辆与工业网络、实时网络、延迟容忍网络等。网络示例包括诸如以太网之类的局域网、无线LAN、包括GSM、3G、4G、5G、LTE等的蜂窝网络、包括有线电视、卫星电视和地面广播电视的电视有线或无线广域数字网络以及包括CANBus的车辆与工业电视等。某些网络通常需要附接到某些通用数据端口或外围总线549的外部网络接口适配器(例如计算机系统500的USB端口)；其它网络接口通常通过附连到如下所述的系统总线(例如，附接到PC计算机系统的以太网接口或到智能手机计算机系统的蜂窝网络接口)而集成到计算机系统500的内核中。计算机系统(500可以使用这些网络中的任何一个与其他实体通信。这种通信可以是仅单向接收的(例如，广播电视)、仅单向发送的(例如，到某些CANbus设备的CANbus)或双向的(例如到使用局域网或广域数字网络的其他计算机系统)。如上所述，可以在这些网络和网络接口中的每一个上使用某些协议和协议栈。
上述人机界面设备、人机可访问的存储设备和网络接口可以附接到计算机系统500的内核540。
内核540可以包括一个或多个中央处理单元(CPU)541、图形处理单元(GPU)542、以现场可编程门阵列(Field Programmable Gate Array，FPGA)形式的专用可编程处理单元543、用于某些任务的硬件加速器544等。这些设备与只读存储器(read-only memory，ROM)545、随机存取存储器(random access memory，RAM)546、诸如内部非用户可访问硬盘驱动器、SSD等之类的内部大容量存储器547可以通过系统总线548连接。在一些计算机系统中，能够以一个或多个物理插头的形式访问系统总线548，以允许通过附加CPU、GPU等进行扩展。外围设备可以直接附接到内核的系统总线548，或通过外围设备总线549附接到内核的系统总线548。外围总线的体系结构包括PCI、USB等。
CPU 541、GPU 542、FPGA 543和加速器544可以执行某些指令，这些指令组合起来可以构成上述计算机代码。该计算机代码可以存储在ROM 545或RAM 546中。过渡数据也可以存储在RAM 546中，而永久数据可以存储在例如内部大容量存储器547中。可以通过使用高速缓冲存储器来实现对任何存储器设备的快速存储和检索，高速缓冲存储器可以与一个或多个CPU 541、GPU 542、大容量存储器547、ROM 545、RAM 546等紧密相关联。
计算机可读介质上可以具有用于执行各种由计算机实现的操作的计算机代码。介质和计算机代码可以是为了本公开的目的而特别设计和构造的介质和计算机代码，或它们可以是计算机软件领域的技术人员公知且可用的类型。
作为非限制示例，可以由于一个(或多个)处理器(包括CPU、GPU、FPGA、加速器等)执行包含在一种或多种有形的计算机可读介质中的软件而使得具有架构500，特别是内核540的计算机系统提供功能。这种计算机可读介质可以是与上述的用户可访问的大容量存储器相关联的介质，以及非暂时性内核540的某些存储器，例如内核内部大容量存储器547或ROM545。实现本公开的各种实施例的软件可以存储在这样的设备中并由内核540执行。根据特定需要，计算机可读介质可以包括一个或多个存储器设备或芯片。软件可以使内核540，特别是其中的处理器(包括CPU、GPU、FPGA等)执行本文所描述的特定进程或特定进程的特定部分，包括定义存储在RAM546中的数据结构和根据软件定义的过程修改这些数据结构。附加地或替代地，可以由于硬连线或以其他方式体现在电路(例如，加速器544)中的逻辑而使得计算机系统通过功能，电路可以代替软件或与软件一起操作，以执行本文描述的特定过程或特定过程的特定部分。在适当的情况下，提及软件的部分可以包含逻辑，反之亦然。在适当的情况下，提及计算机可读介质的部分可以包括存储用于执行的软件的电路(例如集成电路(integrated circuit，IC))、体现用于执行的逻辑的电路，或包含两者。本公开包括硬件和软件的任何合适的组合。
尽管本公开已经描述了一些示例性实施例，但存在落入本公开范围内的改变、置换和各种替代等同物。因此，可以理解的是，本领域的技术人员将能够设计许多系统和方法，尽管这些系统和方法在本文中未明确示出或描述，但是这些系统和方法体现了本公开的原理，因此属于本公开的精神和范围内。
Claims (20)
1.一种由至少一个硬件处理器实现的方法，包括：
对待流式传输到客户端的光场或全息媒体的场景进行控制；
至少基于与所述客户端相关联的客户端缓冲器的状态，确定所述客户端能用于流式传输所述光场或全息媒体的带宽；
将所述光场或全息媒体的场景分割成多个分割场景，每个分割场景包括所述场景的一个或多个资产；
确定所述客户端缓冲器中是否存在所述一个或多个资产；
基于确定所述客户端缓冲器中是否存在所述一个或多个资产，将所述场景的所述一个或多个资产映射到相应的分割场景；
基于所述带宽、所述映射以及确定所述客户端缓冲器中是否存在所述一个或多个资产，对所述一个或多个资产的子集到所述客户端缓冲器的传输进行控制；以及
当呈现所述多个分割场景中的至少一个分割场景时，控制所述客户端重新使用所述资产中的至少一个资产。
2.根据权利要求1所述的方法，其中，所述至少一个硬件处理器属于与所述客户端进行网络通信的服务器。
3.根据权利要求2所述的方法，还包括：
针对所述多个分割场景中的前一个分割场景和连续的分割场景中的每一个，对哪些资产被发送到客户端设备进行跟踪。
4.根据权利要求1所述的方法，其中，所述至少一个硬件处理器属于所述客户端。
5.根据权利要求1所述的方法，其中，还基于多个资产在所述光场或全息媒体的场景中的相对深度，对所述多个资产中的一个或多个资产中的资产到所述客户端缓冲器的传输进行控制。
6.根据权利要求1所述的方法，其中，还基于多个资产在所述光场或全息媒体的场景中的相对优先级，对所述多个资产的一个或多个资产中的资产到所述客户端缓冲器的传输进行控制。
7.根据权利要求1所述的方法，其中，确定所述客户端缓冲器中是否存在所述一个或多个资产还包括：确定多个客户端缓冲器的任一个中是否存在所述一个或多个资产，其中，所述多个客户端缓冲器包括在局域网LAN上联网的每个客户端缓冲器。
8.根据权利要求1所述的方法，还包括基于多个资产中的至少一个资产在所述场景中出现的次数中的至少一次，给所述多个资产中的所述至少一个资产分配重用性优先级。
9.根据权利要求8所述的方法，其中，在呈现所述多个分割场景中的所述至少一个分割场景时，基于给所述多个资产中的所述至少一个资产分配的所述重用性优先级来控制所述客户端重新使用所述多个资产中的所述至少一个资产。
10.根据权利要求9所述的方法，其中，还基于以下中的至少一个给所述多个资产中的所述至少一个资产分配所述重用性优先级：所述多个资产中的所述至少一个资产的大小和所述多个资产中的所述至少一个资产的复杂性。
11.一种设备，包括：
至少一个存储器，所述至少一个存储器被配置为存储计算机程序代码；
至少一个硬件处理器，所述至少一个硬件处理器被配置成访问所述计算机程序代码并按照所述计算机程序代码的指示进行操作，所述计算机程序代码包括：
控制代码，所述控制代码被配置为使得所述至少一个硬件处理器对待流式传输到客户端的光场或全息媒体的场景进行控制；
确定代码，所述确定代码被配置为使所述至少一个硬件处理器至少基于与所述客户端相关联的客户端缓冲器的状态来确定所述客户端能用于流式传输所述光场或全息媒体的带宽；
分割代码，所述分割代码被配置为使得所述至少一个硬件处理器将所述光场或全息媒体的场景分割成多个分割场景，每个分割场景包括所述场景的一个或多个资产；
进一步确定代码，所述进一步确定代码被配置为使得所述至少一个硬件处理器确定所述客户端缓冲器中是否存在所述一个或多个资产；
映射代码，所述映射代码被配置为使得所述至少一个硬件处理器基于确定所述客户端缓冲器中是否存在所述一个或多个资产，使得所述至少一个硬件处理器将所述场景的所述一个或多个资产映射到相应的分割场景；
传输控制代码，所述传输控制代码被配置为使得所述至少一个硬件处理器基于所述带宽、所述映射以及确定所述客户端缓冲器中是否存在所述一个或多个资产，对所述一个或多个资产的子集到所述客户端缓冲器的传输进行控制；以及
重用性控制代码，所述重用性控制代码被配置为使得所述至少一个硬件处理器在呈现所述多个分割场景中的至少一个分割场景时，控制所述客户端重新使用所述资产中的至少一个资产。
12.根据权利要求11所述的设备，其中，所述至少一个硬件处理器属于与所述客户端进行网络通信的服务器。
13.根据权利要求12所述的设备，其中，所述计算机程序代码还包括跟踪代码，所述跟踪代码被配置成使得所述至少一个硬件处理器针对所述多个分割场景中的前一个分割场景和连续的分割场景中的每一个，对哪些资产被发送到所述客户端设备进行跟踪。
14.根据权利要求11所述的设备，其中，所述至少一个硬件处理器属于所述客户端。
15.根据权利要求11所述的设备，其中，还基于多个资产在所述光场或全息媒体的场景中的相对深度，对所述多个资产的一个或多个资产中的资产到所述客户端缓冲器的传输进行控制。
16.根据权利要求11所述的设备，其中，还基于多个资产在所述光场或全息媒体的场景中的相对优先级，对所述多个资产的一个或多个资产中的资产到所述客户端缓冲器的传输进行控制。
17.根据权利要求11所述的设备，其中，确定所述客户端缓冲器中是否存在所述一个或多个资产还包括：确定多个客户端缓冲器的任一个中是否存在所述一个或多个资产，其中，所述多个客户端缓存器包括在局域网LAN上联网的每个客户端缓冲器。
18.根据权利要求11所述的设备，其中，所述计算机程序代码还包括分配代码，所述分配代码被配置成使得所述至少一个硬件处理器基于以下中的至少一个给多个资产中的所述至少一个资产分配重用性优先级：所述多个资产中的所述至少一个资产在所述场景中出现的次数、所述多个资产中的所述至少一个资产的大小和所述多个资产中的所述至少一个资产的复杂性。
19.根据权利要求11所述的设备，其中，在呈现所述多个分割场景中的所述至少一个分割场景时，基于给多个资产中的所述至少一个资产分配的所述重用性优先级来控制所述客户端重新使用所述多个资产中的所述至少一个资产。
20.一种非暂时性计算机可读介质，存储有程序，所述程序使计算机执行过程，所述过程包括：
对待流式传输到客户端的光场或全息媒体的场景进行控制；
至少基于与所述客户端相关联的客户端缓冲器的状态，确定所述客户端能用于流式传输所述光场或全息媒体的带宽；
将所述光场或全息媒体的场景分割成多个分割场景，每个分割场景包括所述场景的一个或多个资产；
确定所述客户端缓冲器中是否存在所述一个或多个资产；
基于确定所述客户端缓冲器中是否存在所述一个或多个资产，将所述场景的所述一个或多个资产映射到相应的分割场景；
基于所述带宽、所述映射以及确定所述客户端缓冲器中是否存在所述一个或多个资产，对所述一个或多个资产的子集到所述客户端缓冲器的传输进行控制；以及
当呈现所述多个分割场景中的至少一个分割场景时，控制所述客户端重新使用所述资产中的至少一个资产。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163275789P | 2021-11-04 | 2021-11-04 | |
| US63/275,789 | 2021-11-04 | ||
| US17/970,035 | 2022-10-20 | ||
| US17/970,035 US11962867B2 (en) | 2021-11-04 | 2022-10-20 | Asset reusability for lightfield/holographic media |
| PCT/US2022/047696 WO2023081038A2 (en) | 2021-11-04 | 2022-10-25 | Asset reusability for lightfield/holographic media |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117546472A true CN117546472A (zh) | 2024-02-09 |
Family
ID=86144653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280007561.7A Pending CN117546472A (zh) | 2021-11-04 | 2022-10-25 | 光场或全息媒体的资产重用性 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11962867B2 (zh) |
| JP (1) | JP2024512629A (zh) |
| KR (1) | KR20230156788A (zh) |
| CN (1) | CN117546472A (zh) |
| WO (1) | WO2023081038A2 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11917283B2 (en) * | 2021-10-27 | 2024-02-27 | Tencent America LLC | Split rendering for lightfield/immersive media using edge-cloud architecture and peer-to-peer streaming |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102007023740B4 (de) | 2007-05-16 | 2009-04-09 | Seereal Technologies S.A. | Verfahren zur Generierung von Videohologrammen für eine holographische Wiedergabeeinrichtung mit wahlfreier Adressierung |
| US10469873B2 (en) * | 2015-04-15 | 2019-11-05 | Google Llc | Encoding and decoding virtual reality video |
| US10419737B2 (en) * | 2015-04-15 | 2019-09-17 | Google Llc | Data structures and delivery methods for expediting virtual reality playback |
| CA3084670A1 (en) | 2017-12-22 | 2019-06-27 | Magic Leap, Inc. | Methods and system for generating and displaying 3d videos in a virtual, augmented, or mixed reality environment |
| EP3777220A1 (en) | 2018-04-13 | 2021-02-17 | Huawei Technologies Co., Ltd. | Immersive media metrics for virtual reality content with multiple viewpoints |
| US11232532B2 (en) | 2018-05-30 | 2022-01-25 | Sony Interactive Entertainment LLC | Multi-server cloud virtual reality (VR) streaming |
| US10928773B2 (en) | 2018-11-01 | 2021-02-23 | International Business Machines Corporation | Holographic image replication |
| US11256214B2 (en) * | 2019-10-18 | 2022-02-22 | Looking Glass Factory, Inc. | System and method for lightfield capture |
| WO2021262860A1 (en) * | 2020-06-23 | 2021-12-30 | Looking Glass Factory, Inc. | System and method for holographic communication |
| US20210385463A1 (en) * | 2021-08-20 | 2021-12-09 | Intel Corporation | Resource-efficient video coding and motion estimation |
-
2022
- 2022-10-20 US US17/970,035 patent/US11962867B2/en active Active
- 2022-10-25 KR KR1020237035406A patent/KR20230156788A/ko active Search and Examination
- 2022-10-25 WO PCT/US2022/047696 patent/WO2023081038A2/en active Application Filing
- 2022-10-25 JP JP2023559798A patent/JP2024512629A/ja active Pending
- 2022-10-25 CN CN202280007561.7A patent/CN117546472A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20230132420A1 (en) | 2023-05-04 |
| WO2023081038A2 (en) | 2023-05-11 |
| WO2023081038A3 (en) | 2023-11-23 |
| JP2024512629A (ja) | 2024-03-19 |
| KR20230156788A (ko) | 2023-11-14 |
| US11962867B2 (en) | 2024-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190180509A1 (en) | Apparatus and associated methods for presentation of first and second virtual-or-augmented reality content | |
| KR102059732B1 (ko) | 디지털 비디오 렌더링 | |
| GB2558027A (en) | Quadrangulated layered depth images | |
| TW202141418A (zh) | 處理拆分渲染中的遮蔽之方法及裝置 | |
| CA3211285A1 (en) | Mapping architecture of immersive technologies media format (itmf) specification with rendering engines | |
| CN117546472A (zh) | 光场或全息媒体的资产重用性 | |
| CN114981822A (zh) | 用于流式传输到异构客户端端点的2d视频的适配的神经网络模型的参考 | |
| US20230306701A1 (en) | Parallel approach to dynamic mesh alignment | |
| US11937070B2 (en) | Layered description of space of interest | |
| CN115136595A (zh) | 用于流式传输到异构客户端端点的2d视频的适配 | |
| CN113452870A (zh) | 视频处理方法和装置 | |
| EP3623908A1 (en) | A system for controlling audio-capable connected devices in mixed reality environments | |
| EP3564905A1 (en) | Conversion of a volumetric object in a 3d scene into a simpler representation model | |
| US11917283B2 (en) | Split rendering for lightfield/immersive media using edge-cloud architecture and peer-to-peer streaming | |
| US12003601B2 (en) | Method and apparatus for split rendering for lightfield/immersive media using proxy edge cloud architecture | |
| US20230171328A1 (en) | Method and apparatus for split rendering for lightfield/immersive media using proxy edge cloud architecture | |
| EP4085397B1 (en) | Reference of neural network model by immersive media for adaptation of media for streaming to heterogenous client end-points | |
| US12003792B2 (en) | Adaptation of 2D video for streaming to heterogenous client end-points | |
| JP7419529B2 (ja) | 遠隔端末のための没入型テレカンファレンス及びテレプレゼンスのインタラクティブオーバーレイ処理 | |
| KR20230036148A (ko) | 몰입형 미디어 상호운용성 | |
| JP2023527650A (ja) | オーディオシーンの関心スペースのための方法および装置 | |
| KR20230038272A (ko) | 몰입형 미디어 상용성 | |
| CN116490922A (zh) | 声学场景和视觉场景的一致性 | |
| CN117203672A (zh) | 具有时间相关的uv图谱的网格参数化 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |