CN114128303A - 用于混合格式空间数据分配和呈现的系统和方法 - Google Patents
用于混合格式空间数据分配和呈现的系统和方法 Download PDFInfo
- Publication number
- CN114128303A CN114128303A CN202080050992.2A CN202080050992A CN114128303A CN 114128303 A CN114128303 A CN 114128303A CN 202080050992 A CN202080050992 A CN 202080050992A CN 114128303 A CN114128303 A CN 114128303A
- Authority
- CN
- China
- Prior art keywords
- scene
- server
- scene element
- client
- dynamic behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 91
- 238000009826 distribution Methods 0.000 title description 10
- 230000004044 response Effects 0.000 claims abstract description 20
- 230000002452 interceptive effect Effects 0.000 claims description 55
- 238000012545 processing Methods 0.000 claims description 50
- 238000009877 rendering Methods 0.000 claims description 50
- 230000000670 limiting effect Effects 0.000 claims description 13
- 230000006399 behavior Effects 0.000 description 108
- 238000004891 communication Methods 0.000 description 41
- 230000008569 process Effects 0.000 description 31
- 230000003068 static effect Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 24
- 238000005516 engineering process Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 21
- 230000005540 biological transmission Effects 0.000 description 13
- 238000007781 pre-processing Methods 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 13
- 230000003993 interaction Effects 0.000 description 12
- 230000011664 signaling Effects 0.000 description 11
- 238000012360 testing method Methods 0.000 description 10
- 238000007726 management method Methods 0.000 description 9
- 238000001228 spectrum Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 230000008846 dynamic interplay Effects 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 239000000969 carrier Substances 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 241000760358 Enodes Species 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 101100172132 Mus musculus Eif3a gene Proteins 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 229910001416 lithium ion Inorganic materials 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- QELJHCBNGDEXLD-UHFFFAOYSA-N nickel zinc Chemical compound [Ni].[Zn] QELJHCBNGDEXLD-UHFFFAOYSA-N 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000005355 Hall effect Effects 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 241000700159 Rattus Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004873 anchoring Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- OJIJEKBXJYRIBZ-UHFFFAOYSA-N cadmium nickel Chemical compound [Ni].[Cd] OJIJEKBXJYRIBZ-UHFFFAOYSA-N 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011038 discontinuous diafiltration by volume reduction Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- GVVPGTZRZFNKDS-JXMROGBWSA-N geranyl diphosphate Chemical compound CC(C)=CCC\C(C)=C\CO[P@](O)(=O)OP(O)(O)=O GVVPGTZRZFNKDS-JXMROGBWSA-N 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229910052987 metal hydride Inorganic materials 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 229910052759 nickel Inorganic materials 0.000 description 1
- PXHVJJICTQNCMI-UHFFFAOYSA-N nickel Substances [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 1
- -1 nickel metal hydride Chemical class 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000135 prohibitive effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000411 transmission spectrum Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
- H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/16—Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/61—Scene description
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Computer Graphics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明描述了用于使用混合格式来提供空间内容的系统和方法。在一些实施方案中，客户端设备从服务器接收3D场景中的包括第一场景元素的多个场景元素的表面光场表示。该客户端设备向服务器提供不同于第一场景元素的第二场景元素的动态行为的指示。另外，响应于该指示，客户端设备从服务器接收以3D资产格式限定第一场景元素的信息。然后，客户端设备以3D资产格式呈现至少第一场景元素。
Description
相关申请的交叉引用
本申请是于2019年6月28日提交的名称为“用于混合格式空间数据分配和呈现的系统和方法(System and Method for Hybrid Format Spatial Data Distribution andRendering)”的美国临时专利申请序列号62/868,123的非临时归档，并且根据35 U.S.C.§119(e)要求该美国临时专利申请的权益，该美国临时专利申请全文以引用方式并入本文。
背景技术
沉浸式显示器已经创建了对其中观看者可自由交互和导航的现实内容的需求。通常，仅实时三维(3D)呈现可实现此类观看者体验。
发明内容
根据一些实施方案，一种由客户端设备执行的方法包括：从服务器接收3D场景中的包括第一场景元素的多个场景元素的表面光场表示；向所述服务器提供不同于所述第一场景元素的第二场景元素的动态行为的指示；响应于所述指示，从所述服务器接收以3D资产格式限定所述第一场景元素的信息；以及以所述3D资产格式呈现至少所述第一场景元素。
在一些实施方案中，所述方法还包括：在向所述服务器提供所述第二场景元素的所述动态行为的所述指示之后，从所述服务器接收在视觉上由所述第二场景元素的所述动态行为影响的至少所述第一场景元素的第二指示。另外，在一些实施方案中，所述方法包括：从所述服务器接收所述3D场景的场景描述元数据；基于所述场景描述元数据，从所述服务器请求以所述3D资产格式的所述第二场景元素以便在所述客户端设备处本地呈现；以及从所述服务器接收以所述3D资产格式限定所述第二场景元素的信息。
另外，在一些实施方案中，所述方法还包括：响应于接收到在视觉上由所述第二场景元素的所述动态行为影响的至少所述第一场景元素的所述第二指示，在所述客户端设备处本地从所述服务器请求以所述3D资产格式的所述第一场景元素。在一些实施方案中，所述场景描述元数据包括对应于当前用户位置周围的资产的场景逻辑和未来事件的时间线信息，并且所述方法还包括使用所述第二场景元素的所述动态行为的所述指示与所述场景逻辑的组合以确定要从所述服务器请求的以所述3D资产格式的一个或多个场景元素，所述一个或多个场景元素包括所述第一场景元素。在一些实施方案中，向所述服务器提供所述第二元素的所述动态行为的所述指示包括处理至少用户输入和所述场景描述元数据中包括的场景逻辑，以确定由于所述处理而具有所述动态行为的所述第二元素。
另外，在一些实施方案中，所述方法包括：观察一个或多个性能度量；以及当所述客户端设备处的本地呈现性能下降到低于阈值时，限制所述3D场景中的交互行为量。在这方面，在一些实施方案中，所述一个或多个性能度量包括处理负载或呈现帧速率中的至少一者。在一些实施方案中，限制所述3D场景中的所述交互行为量包括限制交互事件的数量或具有所述动态行为的场景元素的数量中的至少一者。
更进一步，在一些实施方案中，所述方法还包括：除了从所述服务器接收以所述3D资产格式限定所述第一场景元素的所述信息之外，还从所述服务器接收一个或多个更新的表面光场表示，其中以所述3D资产格式呈现至少所述第一场景元素包括呈现以所述3D资产格式的所述第一场景元素和所述一个或多个更新的表面光场表示的组合。
根据一些实施方案，一种由服务器执行的方法包括向客户端设备发送3D场景中的包括第一场景元素的多个场景元素的表面光场表示；从所述客户端设备接收不同于所述第一场景元素的第二场景元素的动态行为的指示；确定所述第一场景元素在视觉上由所述第二场景元素的所述动态行为影响；以及响应于确定所述第一场景元素在视觉上由所述第二场景元素的所述动态行为影响，向所述客户端设备发送以3D资产格式限定所述第一场景元素的信息。
在一些实施方案中，所述方法还包括：在从所述客户端设备接收到所述第二场景元素的所述动态行为的所述指示之后，向所述客户端设备发送在视觉上由所述第二场景元素的所述动态行为影响的至少所述第一场景元素的第二指示。另外，在一些实施方案中，所述方法包括：在从所述客户端设备接收到所述第二场景元素的所述动态行为的所述指示之后，更新一个或多个表面光场表示；以及除了向所述客户端设备发送以所述3D资产格式限定所述第一场景元素的所述信息之外，还向所述客户端设备发送所述一个或多个更新的表面光场表示以便与以所述3D资产格式的所述第一场景元素组合地在所述客户端设备处本地呈现。
根据一些实施方案，一种装置包括处理器，所述处理器被配置为至少执行：从服务器接收3D场景中的包括第一场景元素的多个场景元素的表面光场表示；向所述服务器提供不同于所述第一场景元素的第二场景元素的动态行为的指示；响应于所述指示，从所述服务器接收以3D资产格式限定所述第一场景元素的信息；以及以所述3D资产格式呈现至少所述第一场景元素。
在一些实施方案中，所述处理器被进一步配置为执行：在向所述服务器提供所述第二场景元素的所述动态行为的所述指示之后，从所述服务器接收在视觉上由所述第二场景元素的所述动态行为影响的至少所述第一场景元素的第二指示。而且，在一些实施方案中，所述处理器被进一步配置为执行：从所述服务器接收所述3D场景的场景描述元数据；基于所述场景描述元数据，从所述服务器请求以所述3D资产格式的所述第二场景元素以便在所述客户端设备处本地呈现；以及从所述服务器接收以所述3D资产格式限定所述第二场景元素的信息。
附图说明
图1A是示出在其中一个或多个所公开的实施方案可得以实现的示例性通信系统的系统图；
图1B是示出根据一个实施方案可在图1A所示的通信系统内使用的示例性无线发射/接收单元(WTRU)的系统图；
图1C是示出根据一个实施方案可在图1A所示的通信系统内使用的示例性无线电接入网络(RAN)和示例性核心网络(CN)的系统图；
图1D是示出根据一个实施方案可在图1A所示的通信系统内使用的另外一个示例性RAN和另外一个示例性CN的系统图；
图2示出了根据一些实施方案的静态场景的示例；
图3示出了根据一些实施方案的向图2的示例性场景添加动态交互元素的示例；
图4示出了根据一些实施方案的在添加图3的动态交互元素之后的图2的静态场景的无效表面光场区域的示例；
图5是其中可进行本公开的示例性实施方案的系统布置的示例的框图；
图6示出了根据一些实施方案的示例性消息序列图；
图7更详细地示出了根据一些实施方案的示例性消息序列图；
图8是示出根据一些实施方案的由内容服务器执行的内容的示例性预处理的流程图；
图9是示出根据一些实施方案的由内容服务器执行的示例性运行时处理的流程图；并且
图10是示出根据一些实施方案的由观看客户端执行的示例性处理的流程图。
图11是示出根据一些实施方案的示例性方法的流程图。
图12是示出根据一些实施方案的另一个示例性方法的流程图。
用于实现实施方案的示例性网络
图1A是示出在其中一个或多个所公开的实施方案可得以实现的示例性通信系统100的示意图。通信系统100可为向多个无线用户提供诸如语音、数据、视频、消息、广播等内容的多址接入系统。通信系统100可使多个无线用户能够通过系统资源(包括无线带宽)的共享来访问此类内容。例如，通信系统100可采用一个或多个信道接入方法，诸如码分多址接入(CDMA)、时分多址接入(TDMA)、频分多址接入(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT扩展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块滤波OFDM、滤波器组多载波(FBMC)等。
如图1A所示，通信系统100可包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交换电话网(PSTN)108、互联网110和其他网络112，但应当理解，所公开的实施方案设想了任何数量的WTRU、基站、网络和/或网络元件。WTRU102a、102b、102c、102d中的每一者可以是被配置为在无线环境中操作和/或通信的任何类型的设备。作为示例，WTRU 102a、102b、102c、102d(其中任何一个均可被称为“站”和/或“STA”)可被配置为传输和/或接收无线信号，并且可包括用户装备(UE)、移动站、固定或移动用户单元、基于订阅的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型电脑、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴式显示器(HMD)、车辆、无人机、医疗设备和应用(例如，远程手术)、工业设备和应用(例如，在工业和/或自动处理链环境中操作的机器人和/或其他无线设备)、消费电子设备、在商业和/或工业无线网络上操作的设备等。WTRU 102a、102b、102c和102d中的任一者可互换地称为UE。
通信系统100还可包括基站114a和/或基站114b。基站114a、114b中的每一者可为任何类型的设备，其被配置为与WTRU 102a、102b、102c、102d中的至少一者无线对接以促进对一个或多个通信网络(诸如CN 106/115、互联网110和/或其他网络112)的访问。作为示例，基站114a、114b可为基站收发台(BTS)、节点B、演进节点B、家庭节点B、家庭演进节点B、gNB、NR节点B、站点控制器、接入点(AP)、无线路由器等。虽然基站114a、114b各自被描绘为单个元件，但应当理解，基站114a、114b可包括任何数量的互连基站和/或网络元件。
基站114a可以是RAN 104/113的一部分，该RAN还可包括其他基站和/或网络元件(未示出)，诸如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等。基站114a和/或基站114b可被配置为在一个或多个载波频率(其可被称为小区(未示出))上传输和/或接收无线信号。这些频率可在许可频谱、未许可频谱或许可和未许可频谱的组合中。小区可向特定地理区域提供无线服务的覆盖，该特定地理区域可为相对固定的或可随时间改变。小区可进一步被划分为小区扇区。例如，与基站114a相关联的小区可被划分为三个扇区。因此，在一个实施方案中，基站114a可包括三个收发器，即，小区的每个扇区一个收发器。在一个实施方案中，基站114a可采用多输入多输出(MIMO)技术并且可针对小区的每个扇区利用多个收发器。例如，可使用波束成形在所需的空间方向上传输和/或接收信号。
基站114a、114b可通过空中接口116与WTRU 102a、102b、102c、102d中的一者或多者通信，该空中接口可为任何合适的无线通信链路(例如，射频(RF)、微波、厘米波、微米波、红外(IR)、紫外(UV)、可见光等)。可使用任何合适的无线电接入技术(RAT)来建立空中接口116。
更具体地讲，如上所指出，通信系统100可为多址接入系统，并且可采用一个或多个信道接入方案，诸如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等。例如，RAN 104/113中的基站114a和WTRU 102a、102b、102c可实现诸如通用移动电信系统(UMTS)陆地无线电接入(UTRA)之类的无线电技术，其可使用宽带CDMA(WCDMA)来建立空中接口115/116/117。WCDMA可包括诸如高速分组接入(HSPA)和/或演进的HSPA(HSPA+)之类的通信协议。HSPA可包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。
在一个实施方案中，基站114a和WTRU 102a、102b、102c可实现诸如演进的UMTS陆地无线电接入(E-UTRA)之类的无线电技术，其可使用长期演进(LTE)和/高级LTE(LTE-A)和/或高级LTE Pro(LTE-A Pro)来建立空中接口116。
在一个实施方案中，基站114a和WTRU 102a、102b、102c可实现无线电技术诸如NR无线电接入，其可使用新无线电(NR)来建立空中接口116。
在一个实施方案中，基站114a和WTRU 102a、102b、102c可实现多种无线电接入技术。例如，基站114a和WTRU 102a、102b、102c可例如使用双连接(DC)原理一起实现LTE无线电接入和NR无线电接入。因此，WTRU 102a、102b、102c所使用的空中接口可由多种类型的无线电接入技术和/或向/从多种类型的基站(例如，eNB和gNB)发送的传输来表征。
在其他实施方案中，基站114a和WTRU 102a、102b、102c可实现诸如IEEE 802.11(即，无线保真(WiFi))、IEEE 802.16(即，全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、暂行标准2000(IS-2000)、暂行标准95(IS-95)、暂行标准856(IS-856)、全球移动通信系统(GSM)、GSM增强数据率演进(EDGE)、GSM EDGE(GERAN)等无线电技术。
图1A中的基站114b可为例如无线路由器、家庭节点B、家庭演进节点B或接入点，并且可利用任何合适的RAT来促进诸如商业场所、家庭、车辆、校园、工业设施、空中走廊(例如，供无人机使用)、道路等局部区域中的无线连接。在一个实施方案中，基站114b和WTRU102c、102d可实现诸如IEEE 802.11之类的无线电技术以建立无线局域网(WLAN)。在一个实施方案中，基站114b和WTRU 102c、102d可实现诸如IEEE 802.15之类的无线电技术以建立无线个域网(WPAN)。在又一个实施方案中，基站114b和WTRU 102c、102d可利用基于蜂窝的RAT(例如，WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等)来建立微微小区或毫微微小区。如图1A所示，基站114b可具有与互联网110的直接连接。因此，基站114b可不需要经由CN106/115访问互联网110。
RAN 104/113可与CN 106/115通信，该CN可以是被配置为向WTRU 102a、102b、102c、102d中的一者或多者提供语音、数据、应用和/或互联网协议语音技术(VoIP)服务的任何类型的网络。数据可具有不同的服务质量(QoS)要求，诸如不同的吞吐量要求、延迟要求、误差容限要求、可靠性要求、数据吞吐量要求、移动性要求等。CN 106/115可提供呼叫控制、账单服务、基于移动位置的服务、预付费呼叫、互联网连接、视频分发等，和/或执行高级安全功能，诸如用户认证。尽管未在图1A中示出，但是应当理解，RAN 104/113和/或CN 106/115可与采用与RAN 104/113相同的RAT或不同RAT的其他RAN进行直接或间接通信。例如，除了连接到可利用NR无线电技术的RAN 104/113之外，CN 106/115还可与采用GSM、UMTS、CDMA2000、WiMAX、E-UTRA或WiFi无线电技术的另一RAN(未示出)通信。
CN 106/115也可充当WTRU 102a、102b、102c、102d的网关，以访问PSTN 108、互联网110和/或其他网络112。PSTN 108可包括提供普通老式电话服务(POTS)的电路交换电话网络。互联网110可包括使用常见通信协议(诸如传输控制协议(TCP)、用户数据报协议(UDP)和/或TCP/IP互联网协议组中的互联网协议(IP))的互连计算机网络和设备的全球系统。网络112可包括由其他服务提供商拥有和/或操作的有线和/或无线通信网络。例如，网络112可包括连接到一个或多个RAN的另一个CN，其可采用与RAN 104/113相同的RAT或不同的RAT。
通信系统100中的一些或所有WTRU 102a、102b、102c、102d可包括多模式能力(例如，WTRU 102a、102b、102c、102d可包括用于通过不同无线链路与不同无线网络通信的多个收发器)。例如，图1A所示的WTRU 102c可被配置为与可采用基于蜂窝的无线电技术的基站114a通信，并且与可采用IEEE 802无线电技术的基站114b通信。
图1B是示出示例性WTRU 102的系统图。如图1B所示，WTRU 102可包括处理器118、收发器120、发射/接收元件122、扬声器/麦克风124、小键盘126、显示器/触摸板128、不可移动存储器130、可移动存储器132、电源134、全球定位系统(GPS)芯片组136和/或其他外围设备138等。应当理解，WTRU 102可包括前述元件的任何子组合，同时保持与实施方案一致。
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)、状态机等。处理器118可执行信号编码、数据处理、功率控制、输入/输出处理和/或任何其他功能，这些其他功能使WTRU 102能够在无线环境中工作。处理器118可耦合到收发器120，该收发器可耦合到发射/接收元件122。虽然图1B将处理器118和收发器120描绘为单独的部件，但是应当理解，处理器118和收发器120可在电子封装或芯片中集成在一起。
发射/接收元件122可被配置为通过空中接口116向基站(例如，基站114a)传输信号或从基站接收信号。例如，在一个实施方案中，发射/接收元件122可以是被配置为传输和/或接收RF信号的天线。在一个实施方案中，发射/接收元件122可以是被配置为传输和/或接收例如IR、UV或可见光信号的发射器/检测器。在又一个实施方案中，发射/接收元件122可被配置为传输和/或接收RF和光信号。应当理解，发射/接收元件122可被配置为传输和/或接收无线信号的任何组合。
尽管发射/接收元件122在图1B中被描绘为单个元件，但是WTRU 102可包括任何数量的发射/接收元件122。更具体地讲，WTRU 102可采用MIMO技术。因此，在一个实施方案中，WTRU 102可包括用于通过空中接口116传输和接收无线信号的两个或更多个发射/接收元件122(例如，多个天线)。
收发器120可被配置为调制将由发射/接收元件122传输的信号并且解调由发射/接收元件122接收的信号。如上所指出，WTRU 102可具有多模式能力。因此，收发器120可包括多个收发器，以便使WTRU 102能够经由多种RAT(诸如NR和IEEE 802.11)进行通信。
WTRU 102的处理器118可耦合到扬声器/麦克风124、小键盘126和/或显示器/触摸板128(例如，液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)并且可从其接收用户输入数据。处理器118还可将用户数据输出到扬声器/麦克风124、小键盘126和/或显示器/触摸板128。此外，处理器118可从任何类型的合适存储器(诸如不可移动存储器130和/或可移动存储器132)访问信息，并且将数据存储在任何类型的合适存储器中。不可移动存储器130可包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或任何其他类型的存储器存储设备。可移动存储器132可包括用户身份模块(SIM)卡、记忆棒、安全数字(SD)存储卡等。在其他实施方案中，处理器118可从未物理上定位在WTRU 102上(诸如，服务器或家用计算机(未示出)上)的存储器访问信息，并且将数据存储在该存储器中。
处理器118可从电源134接收电力，并且可被配置为向WTRU 102中的其他部件分配和/或控制电力。电源134可以是用于为WTRU 102供电的任何合适的设备。例如，电源134可包括一个或多个干电池组(例如，镍镉(NiCd)、镍锌(NiZn)、镍金属氢化物(NiMH)、锂离子(Li-ion)等)、太阳能电池、燃料电池等。
处理器118还可耦合到GPS芯片组136，该GPS芯片组可被配置为提供关于WTRU 102的当前位置的位置信息(例如，经度和纬度)。除了来自GPS芯片组136的信息之外或代替该信息，WTRU 102可通过空中接口116从基站(例如，基站114a、114b)接收位置信息和/或基于从两个或更多个附近基站接收到信号的定时来确定其位置。应当理解，在与实施方案保持一致的同时，该WTRU 102可通过任何合适的位置确定方法来获取位置信息。
处理器118还可耦合到其他外围设备138，该其他外围设备可包括提供附加特征、功能和/或有线或无线连接的一个或多个软件模块和/或硬件模块。例如，外围设备138可包括加速度计、电子指南针、卫星收发器、数字相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发器、免提耳麦、
模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏播放器模块、互联网浏览器、虚拟现实和/或增强现实(VR/AR)设备、活动跟踪器等。外围设备138可包括一个或多个传感器，该传感器可为以下一者或多者：陀螺仪、加速度计、霍尔效应传感器、磁力计、方位传感器、接近传感器、温度传感器、时间传感器；地理位置传感器；测高计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物识别传感器和/或湿度传感器。
WTRU 102可包括全双工无线电台，对于该全双工无线电台，一些或所有信号的传输和接收(例如，与用于UL(例如，用于传输)和下行链路(例如，用于接收)的特定子帧相关联)可为并发的和/或同时的。全双工无线电台可包括干扰管理单元，该干扰管理单元用于经由硬件(例如，扼流圈)或经由处理器(例如，单独的处理器(未示出)或经由处理器118)进行的信号处理来减少和/或基本上消除自干扰。在一个实施方案中，WTRU 102可包括半双工无线电台，对于该半双工无线电台，传输和接收一些或所有信号(例如，与用于UL(例如，用于传输)或下行链路(例如，用于接收)的特定子帧相关联)。
图1C是示出根据一个实施方案的RAN 104和CN 106的系统图。如上所述，RAN 104可采用E-UTRA无线电技术通过空中接口116与WTRU 102a、102b、102c通信。RAN 104还可与CN 106通信。
RAN 104可包括演进节点B160a、160b、160c，但是应当理解，RAN104可包括任何数量的演进节点B，同时保持与实施方案一致。演进节点B160a、160b、160c各自可包括一个或多个收发器以便通过空中接口116与WTRU 102a、102b、102c通信。在一个实施方案中，演进节点B 160a、160b、160c可实现MIMO技术。因此，演进节点B 160a例如可使用多个天线来向WTRU 102a传输无线信号和/或从WTRU 102a接收无线信号。
演进节点B 160a、160b、160c中的每一者可与特定小区(未示出)相关联，并且可被配置为处理无线电资源管理决策、切换决策、UL和/或DL中的用户的调度等。如图1C所示，演进节点B 160a、160b、160c可通过X2接口彼此通信。
图1C所示的CN 106可包括移动性管理实体(MME)162、服务网关(SGW)164和分组数据网络(PDN)网关(或PGW)166。虽然前述元件中的每一者被描绘为CN 106的一部分，但是应当理解，这些元件中的任何元件可由除CN运营商之外的实体拥有和/或操作。
MME 162可经由S1接口连接到RAN 104中的演进节点B162a、162b、162c中的每一者，并且可用作控制节点。例如，MME 162可负责认证WTRU 102a、102b、102c的用户、承载激活/去激活、在WTRU 102a、102b、102c的初始附加期间选择特定服务网关等。MME 162可提供用于在RAN 104和采用其他无线电技术(诸如GSM和/或WCDMA)的其他RAN(未示出)之间进行切换的控制平面功能。
SGW 164可经由S1接口连接到RAN 104中的演进节点B 160a、160b、160c中的每一者。SGW 164通常可向/从WTRU 102a、102b、102c路由和转发用户数据分组。SGW 164可执行其他功能，诸如在演进节点B间切换期间锚定用户平面、当DL数据可用于WTRU 102a、102b、102c时触发寻呼、管理和存储WTRU 102a、102b、102c的上下文等。
SGW 164可连接到PGW 166，该PGW可向WTRU 102a、102b、102c提供对分组交换网络(诸如互联网110)的访问，以促进WTRU 102a、102b、102c和启用IP的设备之间的通信。
CN 106可有利于与其他网络的通信。例如，CN 106可为WTRU 102a、102b、102c提供对电路交换网络(诸如，PSTN 108)的访问，以有利于WTRU 102a、102b、102c与传统传统陆线通信设备之间的通信。例如，CN 106可包括用作CN 106与PSTN 108之间的接口的IP网关(例如，IP多媒体子系统(IMS)服务器)或者可与该IP网关通信。另外，CN 106可向WTRU 102a、102b、102c提供对其他网络112的访问，该其他网络可包括由其他服务提供商拥有和/或运营的其他有线和/或无线网络。
尽管WTRU在图1A至图1D中被描述为无线终端，但是可以设想到，在某些代表性实施方案中，这种终端可(例如，临时或永久)使用与通信网络的有线通信接口。
在代表性实施方案中，其他网络112可为WLAN。
处于基础结构基本服务集(BSS)模式的WLAN可具有用于BSS的接入点(AP)以及与AP相关联的一个或多个站点(STA)。AP可具有至分配系统(DS)或将流量携带至和/或携带流量离开BSS的另一种类型的有线/无线网络的接入或接口。源自BSS外部并通向STA的流量可通过AP到达并且可被传递到STA。源自STA并通向BSS外部的目的地的流量可被发送到AP以被传递到相应目的地。BSS内的STA之间的流量可通过AP发送，例如，其中源STA可向AP发送流量，并且AP可将流量传递到目的地STA。BSS内的STA之间的流量可被视为和/或称为点对点流量。可利用直接链路建立(DLS)在源和目的地STA之间(例如，直接在它们之间)发送点对点流量。在某些代表性实施方案中，DLS可使用802.11e DLS或802.11z隧道DLS(TDLS)。使用独立BSS(IBSS)模式的WLAN可不具有AP，并且IBSS内或使用IBSS的STA(例如，所有STA)可彼此直接通信。IBSS通信模式在本文中有时可称为“ad-hoc”通信模式。
当使用802.11ac基础结构操作模式或相似操作模式时，AP可在固定信道(诸如主信道)上传输信标。主信道可为固定宽度(例如，20MHz宽带宽)或经由信令动态设置的宽度。主信道可为BSS的操作信道，并且可由STA用来建立与AP的连接。在某些代表性实施方案中，可例如在802.11系统中实现载波侦听多路访问/冲突避免(CSMA/CA)。对于CSMA/CA，STA(例如，每个STA)(包括AP)可侦听主信道。如果主信道被特定STA侦听/检测和/或确定为繁忙，则特定STA可退避。一个STA(例如，仅一个站)可在给定BSS中在任何给定时间传输。
高吞吐量(HT)STA可使用40MHz宽的信道进行通信，例如，经由主20MHz信道与相邻或不相邻的20MHz信道的组合以形成40MHz宽的信道。
极高吞吐量(VHT)STA可支持20MHz、40MHz、80MHz和/或160MHz宽的信道。40MHz和/或80MHz信道可通过组合连续的20MHz信道来形成。可通过组合8个连续的20MHz信道，或通过组合两个非连续的80MHz信道(这可被称为80+80配置)来形成160MHz信道。对于80+80配置，在信道编码之后，数据可通过可将数据分成两个流的段解析器。可单独地对每个流进行快速傅里叶逆变换(IFFT)处理和时间域处理。可将这些流映射到两个80MHz信道，并且可通过发射STA来传输数据。在接收STA的接收器处，可颠倒上述用于80+80配置的操作，并且可将组合的数据发送到介质访问控制(MAC)。
802.11af和802.11ah支持低于1GHz的操作模式。相对于802.11n和802.11ac中使用的那些，802.11af和802.11ah中减少了信道操作带宽和载波。802.11af支持电视白空间(TVWS)频谱中的5MHz、10MHz和20MHz带宽，并且802.11ah支持使用非TVWS频谱的1MHz、2MHz、4MHz、8MHz和16MHz带宽。根据代表性实施方案，802.11ah可支持仪表类型控制/机器类型通信，诸如宏覆盖区域中的MTC设备。MTC设备可具有某些能力，例如有限的能力，包括支持(例如，仅支持)某些带宽和/或有限的带宽。MTC设备可包括电池寿命高于阈值(例如，以保持非常长的电池寿命)的电池。
可支持多个信道的WLAN系统以及诸如802.11n、802.11ac、802.11af和802.11ah之类的信道带宽包括可被指定为主信道的信道。主信道可具有等于由BSS中的所有STA支持的最大公共操作带宽的带宽。主信道的带宽可由来自在BSS中操作的所有STA的STA(其支持最小带宽操作模式)设置和/或限制。在802.11ah的示例中，对于支持(例如，仅支持)1MHz模式的STA(例如，MTC型设备)，主信道可为1MHz宽，即使AP和BSS中的其他STA支持2MHz、4MHz、8MHz、16MHz和/或其他信道带宽操作模式。载波侦听和/或网络分配向量(NAV)设置可取决于主信道的状态。如果主信道繁忙，例如，由于STA(仅支持1MHz操作模式)正在向AP传输，即使大多数频段保持空闲并且可能可用，整个可用频段也可被视为繁忙。
在美国，可供802.11ah使用的可用频段为902MHz至928MHz。在韩国，可用频段为917.5MHz至923.5MHz。在日本，可用频段为916.5MHz至927.5MHz。802.11ah可用的总带宽为6MHz至26MHz，具体取决于国家代码。
图1D是示出根据一个实施方案的RAN 113和CN 115的系统图。如上所指出，RAN113可采用NR无线电技术通过空中接口116与WTRU 102a、102b、102c通信。RAN 113还可与CN115通信。
RAN 113可包括gNB 180a、180b、180c，但是应当理解，RAN 113可包括任何数量的gNB，同时保持与实施方案一致。gNB 180a、180b、180c各自可包括一个或多个收发器以便通过空中接口116与WTRU 102a、102b、102c通信。在一个实施方案中，gNB 180a、180b、180c可实现MIMO技术。例如，gNB 180a、108b可利用波束成形来向gNB 180a、180b、180c传输信号和/或从gNB 180a、180b、180c接收信号。因此，gNB 180a例如可使用多个天线来向WTRU102a传输无线信号和/或从WTRU 102a接收无线信号。在一个实施方案中，gNB 180a、180b、180c可实现载波聚合技术。例如，gNB 180a可向WTRU 102a(未示出)传输多个分量载波。这些分量载波的子集可在免许可频谱上，而其余分量载波可在许可频谱上。在一个实施方案中，gNB 180a、180b、180c可实现协作多点(CoMP)技术。例如，WTRU 102a可从gNB 180a和gNB180b(和/或gNB 180c)接收协作传输。
WTRU 102a、102b、102c可使用与可扩展参数集相关联的传输来与gNB 180a、180b、180c通信。例如，OFDM符号间隔和/或OFDM子载波间隔可因不同传输、不同小区和/或无线传输频谱的不同部分而变化。WTRU 102a、102b、102c可使用各种或可扩展长度的子帧或传输时间间隔(TTI)(例如，包含不同数量的OFDM符号和/或持续变化的绝对时间长度)来与gNB180a、180b、180c通信。
gNB 180a、180b、180c可被配置为以独立配置和/或非独立配置与WTRU 102a、102b、102c通信。在独立配置中，WTRU 102a、102b、102c可与gNB 180a、180b、180c通信，同时也不访问其他RAN(例如，诸如演进节点B 160a、160b、160c)。在独立配置中，WTRU 102a、102b、102c可将gNB180a、180b、180c中的一者或多者用作移动性锚定点。在独立配置中，WTRU 102a、102b、102c可在未许可频带中使用信号与gNB 180a、180b、180c通信。在非独立配置中，WTRU 102a、102b、102c可与gNB 180a、180b、180c通信或连接，同时也与其他RAN(诸如，eNode-B160a、160b、160c)通信或连接。例如，WTRU 102a、102b、102c可实现DC原理以基本上同时与一个或多个gNB 180a、180b、180c和一个或多个演进节点B 160a、160b、160c通信。在非独立配置中，演进节点B 160a、160b、160c可用作WTRU 102a、102b、102c的移动性锚点，并且gNB 180a、180b、180c可提供用于服务WTRU 102a、102b、102c的附加覆盖和/或吞吐量。
gNB 180a、180b、180c中的每一者可与特定小区(未示出)相关联，并且可被配置为处理无线电资源管理决策、切换决策、UL和/或DL中的用户的调度、网络切片的支持、双连接、NR和E-UTRA之间的互通、用户平面数据朝向用户平面功能(UPF)184a、184b的路由、控制平面信息朝向接入和移动性管理功能(AMF)182a、182b的路由等。如图1D所示，gNB 180a、180b、180c可通过Xn接口彼此通信。
图1D所示的CN 115可包括至少一个AMF 182a、182b、至少一个UPF 184a，184b、至少一个会话管理功能(SMF)183a、183b以及可能的数据网络(DN)185a、185b。虽然前述元件中的每一者被描绘为CN 115的一部分，但是应当理解，这些元件中的任何元件可由除CN运营商之外的实体拥有和/或操作。
AMF 182a、182b可在RAN 113中经由N2接口连接到gNBs 180a、180b、180c中的一者或多者，并且可用作控制节点。例如，AMF 182a、182b可负责认证WTRU 102a、102b、102c的用户、网络切片的支持(例如，具有不同要求的不同PDU会话的处理)、选择特定SMF 183a、183b、注册区域的管理、NAS信令的终止、移动性管理等。AMF 182a、182b可使用网络切片，以便基于WTRU 102a、102b、102c所使用的服务的类型来为WTRU 102a、102b、102c定制CN支持。例如，可针对不同的用例(诸如，依赖超高可靠低延迟(URLLC)接入的服务、依赖增强型移动宽带(eMBB)接入的服务、用于机器类型通信(MTC)接入的服务等)建立不同的网络切片。AMF162可提供用于在RAN 113和采用其他无线电技术(诸如LTE、LTE-A、LTE-A Pro和/或非3GPP接入技术，诸如WiFi)的其他RAN(未示出)之间进行切换的控制平面功能。
SMF 183a、183b可经由N11接口连接到CN 115中的AMF 182a、182b。SMF 183a、183b还可经由N4接口连接到CN 115中的UPF 184a、184b。SMF 183a、183b可选择并控制UPF184a、184b，并且配置通过UPF 184a、184b进行的流量路由。SMF 183a、183b可执行其他功能，诸如管理和分配UE IP地址、管理PDU会话、控制策略实施和QoS、提供下行链路数据通知等。PDU会话类型可以是基于IP的、非基于IP的、基于以太网的等。
UPF 184a、184b可经由N3接口连接到RAN 113中的gNB 180a、180b、180c中的一者或多者，这些gNB可向WTRU 102a、102b、102c提供对分组交换网络(诸如互联网110)的访问，以促进WTRU 102a、102b、102c和启用IP的设备之间的通信。UPF 184、184b可执行其他功能，诸如路由和转发分组、实施用户平面策略、支持多宿主PDU会话、处理用户平面QoS、缓冲下行链路分组、提供移动性锚定等。
CN 115可有利于与其他网络的通信。例如，CN 115可包括用作CN 115与PSTN 108之间的接口的IP网关(例如，IP多媒体子系统(IMS)服务器)或者可与该IP网关通信。另外，CN 115可向WTRU 102a、102b、102c提供对其他网络112的访问，该其他网络可包括由其他服务提供商拥有和/或运营的其他有线和/或无线网络。在一个实施方案中，WTRU 102a、102b、102c可通过UPF 184a、184b经由至UPF 184a、184b的N3接口以及UPF 184a、184b与本地数据网络(DN)185a、185b之间的N6接口连接到DN185a、185b。
鉴于图1A至图1D以及图1A至图1D的对应描述，本文参照以下中的一者或多者描述的功能中的一个或多个功能或全部功能可由一个或多个仿真设备(未示出)执行：WTRU102a-d、基站114a-b、演进节点B160a-c、MME162、SGW164、PGW166、gNB180a-c、AMF182a-b、UPF 184a-b、SMF183a-b、DN185a-b和/或本文所述的任何其他设备。仿真设备可以是被配置为模仿本文所述的一个或多个或所有功能的一个或多个设备。例如，仿真设备可用于测试其他设备和/或模拟网络和/或WTRU功能。
仿真设备可被设计为在实验室环境和/或运营商网络环境中实现其他设备的一个或多个测试。例如，该一个或多个仿真设备可执行一个或多个或所有功能，同时被完全或部分地实现和/或部署为有线和/或无线通信网络的一部分，以便测试通信网络内的其他设备。该一个或多个仿真设备可执行一个或多个功能或所有功能，同时临时被实现/部署为有线和/或无线通信网络的一部分。仿真设备可直接耦合到另一个设备以用于测试目的和/或可使用空中无线通信来执行测试。
该一个或多个仿真设备可执行一个或多个(包括所有)功能，同时不被实现/部署为有线和/或无线通信网络的一部分。例如，仿真设备可在测试实验室和/或非部署(例如，测试)有线和/或无线通信网络中的测试场景中使用，以便实现一个或多个部件的测试。该一个或多个仿真设备可为测试设备。经由RF电路(例如，其可包括一个或多个天线)进行的直接RF耦合和/或无线通信可由仿真设备用于传输和/或接收数据。
具体实施方式
概述
如上所述，沉浸式显示器已经创建了对其中观看者可自由交互和导航的现实内容的需求。此外，目前，通常仅实时呈现的3D(空间)内容实现了此类内容内的完全不受限的六自由度(6DoF)运动和交互。然而，有关实时3D呈现的一个问题是，现实图像质量通常仅可通过相对简单的场景来实现。例如，实时3D呈现可产生仅具有最简单场景的现实视觉资料。
离线呈现可使用高级呈现方法(诸如光线跟踪)来产生高度现实图像。例如，离线呈现可准确地模拟场景对象与不同材料之间的光传输。用于实现实时应用的类似高质量可视化的一种解决方案是使用离线呈现来产生光场，这些光场实现诸如在光场区域内的交互视点操纵。典型光场仅由从其捕获光的单个平坦二维(2D)窗口组成，从而通常仅实现对视点的有限改变。此外，仅基于图像的方法(其中光场表示为近似四维(4D)光场的RGB图像阵列)需要通常禁止实际使用的数据量。而且，光场的附加限制是它们通常仅可表示具有预定动态行为的元素，从而限制交互体验的适用性。
用于减小光场所需的采样密度的一种方法是添加3D几何信息以伴随图像信息。几何信息可以是实现在包括有光场图像的视点之间的更准确图像扭曲的深度信息，或者几何信息可呈表示或近似场景对象的显式3D网格的形式。
另一种方法涉及表面光场。通常，表面光场是纯基于图像的光场与传统实时3D计算机图形之间的混合。通过提供3D几何形状以辅助图像数据重新映射，表面光场可导致例如显著的数据优化，同时仍然提供类似于光场的图像质量改进。另外，表面光场通常通过使场景对象与多个纹理映射到的3D网格准确近似来操作。映射到几何形状的纹理是包含作为表面位置和视点方向的函数的表面外观的光场。这种类型的表面光场减小数据量，因为与纯基于图像的光场相比，更加稀疏的图像采集满足需求。表面光场也可比单独的光场产生更清晰的呈现结果。此外，利用提供近似原始几何形状的优化代理几何形状的类型的表面光场，数据量减小可以是显著的，从而实现例如非常复杂的场景的甚至在具有移动片上系统(SoC)处理器的低端设备上的有效现实呈现。
尽管在移动VR HMD上实现实际光场呈现时具有优点，但当前的表面光场解决方案通常为交互场景元素行为、更宽的区域导航和对不同客户端能力的适应性提供有限的支持。作为示例，可通常仅在有限区域中支持6DoF导航的自由度。类似地，通常仅支持完全静态场景。
本文描述的一些实施方案通过低场景复杂性以及与表面光场类似的呈现成本来实现高图像质量，同时提供对交互动态内容的支持。
通常，在一些实施方案中，利用光场，可通过除图像数据之外还提供关于场景的3D几何信息来简化叠加来自多个视点的视觉数据的需要。在一些实施方案中，表面光场可提供光场被映射或投射到的几何形状(完整原始几何形状或接近原始几何形状的几何形状代理)，例如类似于与当代实时3D图形一起使用的正常纹理映射。通常，对于纹理映射的例外可以是代替具有沿几何表面限定RGB颜色的单个纹理，表面光场提供作为四维(4D)函数的颜色信息，其中除了表面上的位置之外，观看角度还确定颜色值。
表面光场通常需要预处理，从而通常限制其对仅静态场景(无交互行为)的适用性。然而，根据一些实施方案，优化并表示为表面光场的静态场景可与实时呈现的内容元素组合以提供动态和交互元素。在一些实施方案中，在实时呈现中针对此类混合场景再现完整全局光传输。
通常，表面光场可简化例如虚拟现实(VR)内容流的客户端侧呈现。然而，表面光场通常允许仅有限的交互性。本公开的各种实施方案通过以完整3D资产格式提供一些场景元素来改进交互性(交互行为)。
此外，本公开的各种实施方案使得能够以混合格式进行内容递送，其中例如在每个对象的基础上，可以优化的表面光场格式或完整3D资产格式选择性地提供内容。根据一些实施方案，内容服务器估计观看客户端所需的格式，从而将需要由观看客户端下载的数据减小到例如最小量，同时即使在低端客户端设备上也会实现交互的高质量沉浸式呈现。
根据一些实施方案，本公开的各种解决方案使得观看客户端和内容服务器能够在使用表面光场和实时3D资产之间提供优化的分配和平衡的方面进行协作，以便即使在具有次佳处理性能的观看客户端设备上也产生高度现实的交互沉浸式体验。更具体地，在一些实施方案中，内容服务器可提供被预处理成优化的表面光场表示而不是完整3D资产的场景，并且当观看客户端执行与场景相关联的体验时，观看客户端可选择性地下载客户端想要将其表征为具有交互动态行为并且可受益于本地呈现的场景元素的任何完整3D资产。由于在此类实施方案中，观看客户端不具有以原始3D格式的完整场景，因此客户端通常将无法本地估计哪些其他场景元素在视觉上被场景中的交互动态行为影响。
在一些实施方案中，沉浸式3D场景可从服务器流式传输到客户端设备。一些场景元素可以表面光场格式来流式传输，并且其他场景元素以完整3D(资产)格式(例如，3D网格加纹理)来流式传输。客户端设备可向服务器报告交互性(交互行为)，并且服务器可进而确定要以何种特定格式发送哪些场景元素。例如，服务器可确定具有动态行为的与第一对象(例如，对象A)的交互需要以完整3D资产格式发送第二对象(例如，对象B)，因为对象A的反射通过例如在对象B中可见而与对象B进行交互。
为了说明，图2示出了根据一些实施方案的静态场景的示例。图2所示的场景表示可例如使用表面光场格式来完整递送的静态场景的示例。举例来说，如图2所示，静态场景可包括诸如以下的静态(场景)元素：元素(沙发)200、元素(墙镜)202、元素(地板)204、元素206(墙壁)和元素208(吊灯)。然后，图3示出了根据一些实施方案的向图2的示例性场景添加动态交互元素的示例。
参考图3，当客户端将动态交互(场景)元素300(在这种情况下为具有笑容的机器人300)添加到图2所示的场景时，在一些实施方案中，客户端首先从内容服务器请求以原始完整3D格式的机器人资产，使得客户端实时地本地呈现资产。此类客户端侧呈现可实现实时交互行为，而没有将由服务器侧呈现引起的网络延迟。然而，由于客户端不具有以原始3D格式的完整场景，因此客户端可能无法确定在客户端上本地呈现的动态交互元素300的添加可对场景其余部分导致的视觉影响。
图3中的示例示出了对场景元素的其余部分(例如，元素200-208)的视觉影响的示例，该视觉影响可由本地呈现的动态行为(在这种情况下为微笑机器人300)引起以便维持场景的视觉完整性。在该示例性情况下，如图3所示，视觉影响包括由机器人300投射到地板204上的阴影302以及机器人300在墙壁206上的镜202中的反射304。
在一些实施方案中，为了正确地处理那些视觉影响，内容服务器确定其中表示场景(并由服务器提供到客户端，如上所述)的原始表面光场已经由于添加动态交互元素300变得无效的场景区域并且发信号通知该信息以回到客户端。图4示出了根据一些实施方案的在添加图3的动态交互元素300之后的图2的静态场景的无效表面光场区域的示例。
更具体地，在图4中，由粗体虚线表示的元素400和402(例如，包含机器人的阴影的区域(400)以及封闭墙镜的区域(402))是在添加微笑机器人元素300之后的静态场景中已经变得无效的表面光场最初表示的区域的示例。如图4的示例所示以及上文所指出的，那些受影响的静态场景元素包括机器人300的阴影302被投射到其上的地板204的部分，以及现在包括机器人300的反射304的墙镜202。
在一些实施方案中，客户端可从内容服务器获取对应于在视觉上受影响(由交互元素300的添加影响)的场景元素(在该示例性情况下为墙镜202和地板204)的完整3D格式资产并且在本地呈现那些资产，从而能够正确地产生或呈现视觉影响。此外，在一些实施方案中，内容服务器本身还可有助于呈现视觉影响，或者可维持随后可在运行时期间基于动态元素的状态来切换的多个版本的预产生表面光场(或更具体地，元素的表面光场表示)。
根据一些实施方案，(观看)客户端可发信号通知本地动态行为以回到内容服务器，该内容服务器继而可基于原始完整3D场景信息来估计静态场景的哪些部分受动态行为的影响。然后，服务器可发信号通知受影响的元素以回到客户端，使得客户端可下载受影响的场景元素作为完整3D资产并且本地呈现它们以便使整个场景正确地反映动态行为。
为了说明，在图3至图4所示的示例的上下文中，客户端可发信号通知机器人300(动态交互元素)的动态行为的指示，而服务器继而可基于原始完整3D场景信息来估计静态场景的哪些部分(如图2所示)受机器人300的动态行为影响。在此示例中，服务器可确定机器人300的阴影302被投射到其上的地板204的部分和墙镜202(其现在包括机器人300的反射304)受影响。随后，服务器然后可发信号通知限定受影响元素(在这种情况下，墙镜202和地板204)的信号以回到客户端，这些元素被限定为完整3D资产。因此，客户端可本地呈现以3D资产格式限定的那些元素以便使整个场景正确地反映动态行为。
利用上述方法的益处，客户端不需要下载以3D格式的完整场景，而是替代地可能需要例如仅最小量的以原始3D格式的数据和最小量的实时呈现，同时仍然能够提供交互动态行为。此外，在一些选定实施方案中，客户端可观察性能度量并且基于所观察的度量来相应地限制用户交互的可能性，以避免需要将超过观看设备的3D呈现性能的本地实时3D呈现。
另外，根据本公开的各种实施方案，客户端设备(包括例如，如上所述的观看客户端)可从服务器(例如，内容服务器)接收3D场景中的包括第一场景元素的多个场景元素的表面光场表示。客户端设备随后可向服务器提供不同于第一场景元素的第二场景元素的动态行为的指示。例如，在观看体验期间，客户端设备可将动态交互场景元素添加到场景，同时第一场景元素保持静态。响应于该指示，客户端设备可从服务器接收以3D资产格式限定第一场景元素的信息。因此，客户端设备可以3D资产格式呈现至少第一场景元素。因此，在一些实施方案中，客户端设备上的观看客户端(例如，虚拟现实(VR)客户端)可接收以表面光场格式的3D场景数据(例如，其可能更容易呈现)，但服务器然后可切换以在需要的情况下提供以完整3D格式的资产以便动态地呈现场景。
在一些实施方案中，观看客户端(例如，客户端)向服务器报告交互性，并且客户端从服务器接收VR场景元素作为3D资产或表面光场。
在一些实施方案中，服务器(例如，VR服务器)从客户端接收交互性报告，并且提供VR场景元素作为3D资产(当交互性需要时)或以其他方式作为表面光场。此外，在一些实施方案中，服务器根据交互性更新表面光场中的一些。更进一步，在一些实施方案中，服务器使用预限定的表面光场以允许交互性。
在一些实施方案中，场景元素表示场景内的不同3D对象(或3D对象的不同部分)。场景元素可以是描述场景的场景图的节点。
在一些实施方案中，场景元素(诸如3D对象)的表面光场数据包括(i)描述表面几何形状的网格数据和(ii)光场纹理数据。对于表面上的多个点中的每一者，光场纹理数据指示来自相应点的多个方向中的每一者的颜色(例如，辐射、RGB值或RGBA值)。在一些实施方案中，以非光场3D格式的场景元素的数据包括(i)描述表面几何形状的网格数据和(ii)非方向纹理数据。非方向纹理数据指示相应点的颜色(例如，RGB值或RGBA值)。以非光场3D格式的场景元素的数据还可包括关于场景元素或其部分的反射比和/或反射率的信息(例如，双向反射比分配函数(BRDF))。
在一些情况下，在场景元素的表面光场表示中使用的网格数据可与元素的非光场表示中使用的网格数据相同。在其他情况下，网格数据可不同。例如，表面光场表示中使用的网格数据可比以非光场3D格式使用的网格数据更简单(例如，可具有更少的多边形和/或顶点)。
在一些实施方案中，客户端设备操作以针对3D场景内的场景元素确定场景元素是否为动态的(例如，在位置或外观方面改变)。响应于确定场景元素是动态的，客户端设备从内容服务器以非光场格式检索场景元素。响应于确定场景元素不是动态的，客户端设备从内容服务器以表面光场格式检索场景元素。可针对多个场景元素进行相同的确定。所检索的场景元素可由客户端设备呈现。在一些实施方案中，客户端设备向内容服务器报告至少第一场景元素的动态行为(例如，位置变化)，并且内容服务器向客户端识别已经由于第一场景元素的动态行为而变成动态的任何附加场景元素(例如，由于第一场景元素的运动而在位置和取向方面改变的场景元素、或具有由于第一场景元素的动态行为而改变的阴影或照明的场景元素)。在一些实施方案中，确定以表面光场格式还是以非光场格式检索场景元素可至少部分地基于客户端设备可用的处理资源；当客户端处理资源受到限制时，可限制以非光场格式检索的场景元素的数量。
示例性过程和实体的简单总结
在一些实施方案中，上文所描述的示例性过程可涉及(1)由内容服务器执行的预处理阶段、(2)由内容服务器执行的运行时阶段，以及(3)由观看客户端执行的执行阶段。
更具体地，如上所述，表面光场通常使用预处理来产生静态场景表示。在一些实施方案中，由内容服务器执行的示例性预处理可涉及但不限于包括以下的一系列步骤：(1)接收完整3D场景；(2)产生场景的表面光场表示；以及(3)存储完整3D场景、表面光场表示和对应的场景元数据。
在一些实施方案中，由内容服务器执行的示例运行时过程可涉及但不限于一系列步骤，包括以下步骤：(1)等待来自观看客户端的内容请求；(2)基于客户端请求，提供场景元数据、表面光场和以原始完整3D格式的资产；(3)从观看客户端接收指示(i)场景中的哪些区域经历动态行为，(ii)当前客户端视点的信令；(4)估计由观看客户端发信号通知的动态行为在视觉上影响的区域；以及(5)向观看客户端发信号通知受影响区域中的内容的3D模型。
在一些实施方案中，由观看客户端执行的示例性过程可涉及但不限于包括以下的一系列步骤：(1)从内容服务器请求内容；(2)从内容服务器接收场景元数据；(3)下载以表面光场表示的场景；(4)下载以完整3D格式的本地呈现/交互资产；(5)处理用户输入并执行场景逻辑；(6)向内容服务器发信号通知场景的当前视点和动态行为；(7)接收在视觉上受影响的场景元素的内容服务器估计；(8)下载以完整3D格式的视觉上受影响的元素；(9)将表面光场表示和完整3D资产呈现为组合；(10)观察性能度量；(11)如果需要，限制可具有动态行为的元素；以及(12)如果未请求会话结束，则返回客户端侧过程的步骤(4)。
下面更详细地描述各种处理阶段。
有利地，本公开的各种实施方案可在具有例如次佳性能能力的设备上实现高质量沉浸式交互呈现。本文公开的实施方案的一些益处包括通过例如客户端设备所需的最小数据和处理来支持动态内容的能力，以及客户端设备动态地调整用户交互的能力，使得动态行为所需的本地处理可通过本地计算性能来实现。
示例性系统布置和详细操作
图5是其中可进行本公开的示例性实施方案的系统布置500的示例的框图。
如图5所示，示例性系统布置500包括内容服务器502(例如，虚拟现实(VR)服务器)，该内容服务器可服务客户端设备504所请求的内容。服务器502可包括第一处理器506和第一非暂态计算机可读存储器508，该第一非暂态计算机可读存储器包含可由处理器执行以进行本文公开的各种方法的实施方案的多个指令510。例如，可执行指令510可限定可由第一处理器506执行的预处理518的程序逻辑并且可限定可由第一处理器506执行的运行时处理520的逻辑(如上所述)。尽管未明确示出，但第一处理器506和第一存储器508可经由总线或类似机构互连。如图所示，内容服务器502还可包含或耦合到数据库512，该数据库保持例如以完整3D格式的场景(表示为“完整3D场景”)。另外，内容服务器还可包含或耦合到数据库514，该数据库保持例如3D场景中的元素的表面光场表示(表示为“表面光场”)。在一些实施方案中，表面光场数据由内容服务器502产生。
内容服务器502和客户端设备504可彼此耦合以用于经由任何合适的有线和/或无线网络534(诸如互联网和/或其他网络)进行通信。客户端设备504可包括观看客户端516，在一些实施方案中，该观看客户端可以是独立应用程序或者可与由客户端设备504运行的另一个应用程序集成。如图所示，观看客户端516可包括用于提供场景管理、输入处理和呈现的一个或多个模块522(例如，以处理器可执行指令形式的程序逻辑)。客户端设备504还可包括第二处理器528和第二非暂态计算机可读存储器530，该第二非暂态计算机可读存储器包含可由客户端设备504执行以进行本文公开的各种方法的实施方案的多个指令532。尽管未明确示出，但第二处理器528和第二存储器530可经由总线或类似机构互连。如进一步所示，客户端设备504还可包含表面光场高速缓存532(例如，用于存储例如从服务器502接收的表面光场元素表示)或3D资产高速缓存(例如，用于存储限定例如从服务器502接收的以3D资产格式的元素的信息)。尽管未明确示出，但用于接收用户输入、导航等的任何合适的跟踪和输入装置，以及向用户显示由观看客户端呈现的内容的显示器可耦合到观看客户端。
需注意，图5所示的各种实体可经由现在示出的任何合适的有线或无线链路和/或其他中间元件来彼此耦合。
图6示出了根据一些实施方案的示例性消息序列图600。图6所示的示例性消息交换发生在服务器602与客户端604之间。
如图6所示，最初在606处，服务器602可产生3D场景元素(或3D场景中的元素)的表面光场。另一方面，在608处，客户端604可最初收集传感器和配置数据。随后，在610处，客户端604可从服务器请求对应于3D场景的内容。
作为响应，在612处，服务器602可首先向客户端604提供场景描述元数据。基于所接收的场景描述元数据，在614处，客户端604可例如在每元素的基础上确定要从服务器602请求的元素格式。如图所示，在616处，客户端604然后可从服务器请求由表面光场表示的元素和以完整3D格式的对应于资产的元素。
在618处，在接收到所请求的场景元素之后，客户端604可在620处处理传感器数据和用户输入。此外，在622处，客户端604可执行场景逻辑(包含在场景描述元数据中)并更新视点。接下来，在624处，客户端604可发信号通知场景元素的动态行为连同更新的视点以回到服务器602。作为响应，在626处，服务器可评估由动态行为影响的一个或多个元素，并且在628处，发信号通知那些受影响元素以回到客户端604。继而，在630处，客户端604可从服务器602请求以完整3D资产格式的受影响元素，例如，可在632处发送请求以请求对应于以完整3D格式的那些受影响元素的资产，如图6所示。
此外，响应于客户端请求，服务器302可在634处向客户端提供以完整3D格式的所请求资产。随后，在636处，客户端可呈现表面光场和3D资产的组合。客户端还可在内容执行期间观察到性能度量，并且限制交互(如果由度量指示这样)。
图7更详细地示出了根据一些实施方案的示例性消息序列图700。在一些实施方案中，图7所示的实体之间的通信序列可在典型的使用会话中进行。因此，如通过图7中的示例所示，典型的使用会话可涉及用户702、观看客户端704、内容服务器706和内容提供商708之间的交互。
在图7所示的各种功能中，在一些实施方案中，在会话开始时，观看客户端704下载描述例如场景元素、表面光场几何形状和资产对应关系的场景元数据和场景逻辑。使用场景元数据，观看客户端704然后可优化下载和客户端侧处理。在一些实施方案中，客户端通过选择仅以原始完整3D格式下载对应于观看客户端想要将其表征为具有交互动态行为的场景元素的那些资产来优化下载。此外，在一些实施方案中，当执行3D场景体验时，观看客户端发信号通知交互动态行为以回到内容服务器。进而，具有完整3D场景信息的内容服务器然后可确定完整场景的哪些区域由交互行为影响，并且发信号通知该信息以回到观看客户端。因此，在一些实施方案中，观看客户端不需要具有完整3D场景，同时知道哪些区域由交互行为影响，例如，知道由于交互元素而显示视觉改变的完整场景的区域。
更具体地，参考图7，在内容预处理阶段710期间，在712处，内容提供商708可向内容服务器706提供原始3D场景和导航区域(都以任何合适的格式)。3D场景可包括多个场景元素。进而，在714处，内容服务器714可产生选定观看区域的表面光场，诸如观看区域内的场景元素的表面光场表示。这可完成内容预处理阶段710。
在以下内容分配阶段716期间，消息交换可在用户702、观看客户端704和内容服务器706之间进行。具体地，在718处，用户702可经由与观看客户端704的任何合适的交互向观看客户端704提交内容请求。在720处，观看客户端704可向内容服务器706传递内容请求。另外，在722处，观看客户端704可收集传感器和配置数据。在返回时，在724处，内容服务器可向观看客户端704提供场景描述元数据。如上所述，使用场景元数据，观看客户端704然后可优化下载和客户端侧处理。例如，在图7的示例中，在726处，观看客户端可选择要本地呈现的初始视点和场景元素。因此，在728处，观看客户端704可从内容服务器706请求一些选定元素(例如，静态元素)的表面光场(表面光场表示)和其他元素的完整3D资产(例如，仅对应于观看客户端704想要将其表征/呈现为具有交互动态行为的场景元素的那些资产)。在730处，内容服务器可使所请求的表面光场和完整3D资产服务于观看客户端704。
随后，在运行时(循环)阶段732期间，在734处，用户702可向观看客户端704提供用户输入。在736处，观看客户端704可处理用户输入和场景逻辑，并且相应地更新视点。在738处，在例如执行3D场景体验时，观看客户端704可发信号通知(交互)动态行为的指示(例如，一个或多个场景元素的动态行为的指示)和视点以回到内容服务器706。作为响应，在740处，具有例如完整3D场景信息的内容服务器706然后可评估完整场景的哪些区域由交互行为/动态元素影响，并且在742处，通过提供由动态元素影响的资产的指示，发信号通知该信息以回到观看客户端704。作为响应，在744处，观看客户端704可发送对要在本地呈现的特定3D资产的请求。因此，如上所述，观看客户端704不需要具有完整3D场景，同时知道哪些区域由交互行为影响，例如，知道由于交互元素而显示视觉改变的完整场景的区域。
然后，在746处，内容服务器706可提供所请求的3D资产。而且，在748处，内容服务器可更新表面光场，并且在750处，向观看客户端704发送更新的表面光场。因此，在752处，观看客户端704可呈现在观看客户端704处可用的表面光场和3D资产的组合。另外，在一些实施方案中，观看客户端可在754处观察QoE(体现质量)度量，并且在756处根据(或基于)所观察的QoE度量来限制场景的动态行为。需注意，运行时(循环)阶段732可在用户702的整个3D场景观看体验中“循环”(迭代地重复)。
下文更详细地描述了上文公开的实施方案的各种处理步骤。
内容服务器预处理
图8是示出根据一些实施方案的由内容服务器执行的内容的示例性预处理的流程图800。作为一般主题，在预处理阶段中，在一些实施方案中，内容服务器可产生原始完整3D场景的资产的表面光场。
参考图8，在将完整3D场景上传到内容服务器以进行分配时，过程开始于步骤802。上传的信息可包含例如所有场景资产、描述场景结构的场景图和描述场景的交互行为的场景逻辑。在一些实施方案中，表面光场可仅支持有限的观看体积，因此内容提供商将完整3D场景上传到内容服务器还可确定要针对其创建表面光场表示的观看区域。在步骤806处，内容服务器可存储对应于完整3D场景的数据以用于后续处理。
在步骤804处，可使用Seurat或任何其他合适的工具来产生适合于3D场景的表面光场表示的优化场景几何表示。也就是说，在804处，内容服务器呈现来自观看区域内的随机位置(例如，如上所述，将针对其创建表面光场表示)的RGB-D图像(在步骤808处可将该RGB-D图像存储在内容服务器处以用于进一步处理)。通常，Seurat使用来自选定观看体积内的随机位置的若干RGB-D图像，它根据该RGB-D图像产生给定场景的优化几何表示。此类优化表示可通过某种形式的表面光场来表征视图依赖的阴影效果。
在步骤810处，内容服务器根据每个观看区域的RGB-D图像产生表面光场(在步骤812处，可将该表面光场存储在内容服务器处以用于进一步处理)。在一些实施方案中，使用合适的光场创建工具，仅针对静态元素和具有预定动态行为的元素产生表面光场表示，将旨在表征客户端控制的动态行为的场景元素在其场景启动状态下省略或记录为表面光场的一部分。除了创建表面光场表示之外，在一些实施方案中，内容服务器还记录原始3D资产与所得表面光场几何形状之间的对应关系。对应信息可与场景元数据一起存储，并且在一些实施方案中由客户端使用以便使用完整3D资产来移除呈现的表面光场元素。
如图8所示，在步骤814处，基于完整3D场景数据，内容服务器编译各种信息，包括描述场景、(场景)逻辑和资产(例如，与场景元素相关联)的场景元数据。保存在内容服务器处的场景元数据(步骤816)可包括到表面光场数据的链路、描述场景元素(例如，具有到实际资产数据的链路的资产)之间的层级关系的场景图、场景逻辑(例如，在与其他资产的关系方面的资产的行为)、时间线、用户输入、表面光场几何形状与资产之间的对应关系等。随后，由内容服务器执行的内容的示例性预处理可在步骤818处终止。
示例性内容服务器运行时处理
一旦内容服务器已执行3D场景的预处理，内容服务器就可开始期间其为观看客户端分配内容的运行时处理(或内容分配阶段，如图7的示例所示)。图9是示出根据一些实施方案的由内容服务器执行的示例性运行时处理的流程图900。
通常，当观看客户端开始新会话时，客户端可首先从内容服务器请求和下载场景元数据。基于场景元数据，观看客户端然后可根据需要请求和下载场景3D资产和表面光场。更具体地，在一些实施方案中，当观看客户端正在执行会话时，客户端可基于本地上下文和用户输入来本地处理场景逻辑。如上所述，可由内容服务器将场景逻辑提供给观看客户端作为场景元数据的一部分。当客户端执行场景逻辑时，可相应地在客户端侧本地更新场景的交互元素。在一些实施方案中，客户端发信号通知本地处理的场景元素的交互动态行为以回到内容服务器。基于发信号通知的信息，具有完整3D场景数据的内容服务器可以能够估计(例如，解析)视觉上由客户端所指示的交互动态行为影响(受影响)的场景区域。此外，在一些实施方案中，除交互动态行为之外，观看客户端向内容服务器发信号通知当前视点。
为了确定视觉上受影响的区域，在一些实施方案中，内容服务器可执行本地呈现或低采样率场景可见性/光传输模拟。内容服务器可然后发信号通知受影响区域的指示(例如，估计)以回到观看客户端。在一些实施方案中，指示包括受影响资产的列表，但在其他实施方案中，指示可呈不同的形式。一旦观看客户端接收到受影响区域的指示，客户端就可下载以完整3D格式的对应于那些区域的资产以便在本地呈现。
更具体地，参考图9，当一个或多个观看客户端例如(i)从内容服务器请求新会话，(ii)根据需要从内容服务器请求场景3D资产和/或表面光场，或者(iii)向内容服务器发信号通知其他类型的信息(包括场景元素的动态行为的指示)时，过程可开始在步骤902处。在步骤904处，内容服务器等待来自观看客户端的请求或信令。仅出于说明的目的，图9的示例将假设内容服务器从单个观看客户端接收请求或信令。然而，实际上，内容服务器可处理多个客户端请求和/或信令，并且根据图9所示的示例性过程处理每个客户端请求或信令。
在步骤906处，内容服务器确定从观看客户端接收的通信是否为客户端请求，或者客户端是否发信号通知场景动态行为。根据需要，客户端请求可以是例如两种类型的请求中的一种：(1)与新会话的开始相关联的请求(例如，对3D场景的场景元数据的初始请求)或(2)对场景3D资产和/或表面光场的请求。
在一个示例中，对场景3D资产和/或表面光场的请求可基于已经由内容服务器发送到观看客户端的场景元数据(诸如基于对新会话的较早客户端请求)。在另一个示例中，观看客户端可在场景逻辑的客户端执行期间生成此类请求，其中可从内容服务器请求/下载并且在客户端侧上本地呈现场景的交互(动态)元素。
如果在步骤906处，内容服务器确定客户端通信是客户端请求，则过程移动到步骤908，在该步骤处内容服务器确定所接收的客户端请求的类型。如果在步骤908处，观看客户端将请求确定为与新会话的开始相关联的请求，则过程移动到步骤916，在该步骤处内容服务器将场景元数据发送到观看客户端。可将场景元数据存储在内容服务器处或以其他方式使场景元数据可用于内容服务器(步骤924)。后来，过程可返回到步骤904。如前所述，基于场景元数据，客户端可随后根据需要请求和下载表面光场和场景3D资产以由观看客户端本地呈现。
如果在步骤908处，将请求确定为对场景3D资产和/或表面光场的请求，则过程移动到步骤910，在该步骤处内容服务器根据此类请求(向观看客户端)发送数据(例如，内容服务器发送所请求的场景元素的表面光场表示和/或3D资产)。尽管在图9中未明确示出，但内容服务器可存储(或以其他方式访问)以完整3D格式的场景的数据和表示表面光场的数据。然后，在步骤912处，内容服务器可确定是否已经请求了内容服务处理的结束(例如，明确地由客户端请求或以其他方式请求)，并且如果是，则在步骤914处终止过程。否则，过程可返回到步骤904。
返回参考步骤906，如上所述，在该步骤中，内容服务器可确定内容服务器已经(从观看客户端)接收到指示场景动态行为的信号，而不是客户端请求。例如，如结合图7所描述，观看客户端可处理用户输入和场景逻辑，并且相应地更新视点。后来，在执行3D场景体验时，观看客户端可发信号通知(交互)动态行为的指示(例如，一个或多个场景元素的动态行为的指示)和视点以回到内容服务器。
如果是这种情况，则过程移动到步骤918，在该步骤处内容服务器确定由观看客户端所指示的动态行为影响的场景区域。在这方面，如结合图7所描述的，具有例如完整3D场景信息的内容服务器可评估完整场景的哪些区域由交互行为/动态元素影响，并且在步骤920处，通过例如提供由动态行为影响的资产的指示，发信号通知该信息以回到观看客户端。如上进一步所述，为了确定视觉上受影响的区域，在一些实施方案中，内容服务器可执行本地呈现或低采样率场景可见性/光传输模拟。此外，受影响区域的指示(例如，估计)可呈受影响的资产的列表的形式或呈某种其他形式。
作为响应，在步骤922处，内容服务器(从观看客户端)接收对将由观看客户端本地呈现的以3D资产格式的一个或多个场景元素的请求。例如，特定元素的动态行为可影响一个或多个其他不同元素(例如，静态元素)。因此，客户端可请求对应于已经由该特定元素的动态行为影响的那些不同元素的3D资产。
然后，过程可返回到步骤908。然后，在步骤910处，内容服务器将根据3D资产请求(向观看客户端)发送数据。在这种特定情况下，内容服务器将例如向观看客户端提供对应于限定以3D资产格式的一个或多个场景元素(其由场景动态行为影响)的信息的数据。尽管在图9中未明确示出，除以3D资产格式的所请求元素之外，在一些实施方案中(如先前所描述)，内容服务器还可更新表面光场。因此，在步骤910处，内容服务器还可将更新的表面光场发送到观看客户端，使得客户端可例如下载和本地呈现表面光场和所请求的3D资产的组合。
然后，过程可行进到步骤912，在该步骤处内容服务器确定是否已经请求内容服务处理的结束。随后，过程循环回到步骤904或在步骤914处终止。
示例性观看客户端处理
图10是示出根据一些实施方案的由观看客户端执行的示例性处理的流程图1000。在一些实施方案中，在步骤1002处，当用户例如在客户端设备上启动实现观看客户端的应用程序时，由观看客户端执行的过程开始。例如，当用户开始应用程序时，他或她也可限定要观看的内容。在一些实施方案中，内容包括到驻留在内容服务器上的场景元数据的链路。到场景元数据的链路可以是识别内容服务器的统一资源定位符(URL)和存储在服务器处的特定文件。观看客户端应用程序可通过由用户(例如，经由合适的用户输入)提供的显式命令来启动，或者由客户端设备的操作系统基于识别内容类型的请求和与该特定内容类型相关联的应用程序来自动启动。在这方面，在一些实施方案中，不是独立应用程序，观看客户端可与网络浏览器集成，可与社交媒体客户端集成，和/或可以是操作系统的一部分。
在一些实施方案中，当观看客户端应用程序启动时，应用程序启动还可初始化传感器数据收集。另外，在一些实施方案中，当观看客户端已经初始化传感器数据收集时，观看客户端可选择初始视点并且选择最初使用场景元数据来下载的表面光场和完整3D资产。因此，在步骤1004处，观看客户端从内容服务器请求内容，并且在步骤1006处，初始化用户输入的跟踪。用户输入可包括在使用HMD时控制3D内容内的视点的用户头部的跟踪，和/或用户可用于控制通过3D内容创建的虚拟体验的其他输入设备/用户运动的跟踪。
在步骤1008处，观看客户端从内容服务器接收场景元数据。在步骤1010处，观看客户端可存储(例如，在客户端处本地存储)所接收的场景元数据以用于执行。基于场景元数据，在步骤1012和1014处，观看客户端可请求和下载将本地呈现的表面光场和3D资产。在步骤1010处，观看客户端选择(初始)视点。基于场景元数据，在步骤1012和1014处，观看客户端可请求和下载将本地呈现的表面光场和3D资产。可在步骤1016和1018处本地存储表面光场和3D资产，诸如在客户端设备处的相应高速缓存中。需注意，尽管步骤1012和1014被示为单独步骤，但那些步骤可组合成单个步骤(例如，观看客户端同时下载两种类型的资产)、同时执行等。
一旦观看客户端完成表面光场和3D资产的下载，观看客户端可通过处理传感器数据和用户输入并且基于所处理的输入数据和场景元数据中描述的场景逻辑更新场景来开始执行虚拟体验。当客户端执行场景逻辑时，一些场景元素可由于已执行的场景逻辑和用户输入而表征动态行为。在一些实施方案中，观看客户端向内容服务器发信号通知当前具有动态行为的所有元素的指示。也就是说，在步骤1020处，观看客户端可处理用户输入和场景逻辑(包括在场景元数据中)，并且在步骤1022处，更新视点并且向内容服务器发信号通知当前视点和动态元素的指示。观看客户端还可向内容服务器发信号通知那些元素的当前位姿(例如，在场景图坐标方面的变换)，连同例如用于向用户显示场景的当前视点。
基于交互动态行为的客户端信令，内容服务器确定(例如，估计)由那些行为在视觉上影响的场景元素，并且发信号通知视觉上受影响的元素的合适指示以回到观看客户端。因此，在一些实施方案中，在步骤1024处(更新)，观看客户端可接收指示，通过示例的方式，该指示是指示由动态元素在视觉上影响的一个或多个元素的资产的列表。因此，在步骤1026处，使用从内容服务器接收的受影响资产的列表，并且例如还检查场景元数据(尤其是例如当前用户位置周围的资产的场景逻辑和近未来事件的时间线信息)，客户端可决定要以完整3D(资产)格式请求哪些场景元素以便能够执行本地呈现。这样，客户端可以能够实时地可视化交互动态行为的影响。当客户端决定要以3D格式请求哪些元素时，在步骤1028处，客户端可从内容服务器下载对应的3D资产(或对应于视觉上受影响的元素的资产)。如图10所示，观看客户端可在例如本地高速缓存中本地存储下载的对应3D资产(步骤1018)。
在一些实施方案中，观看客户端可连续更新和呈现场景。根据示意性实施方案，在呈现场景时，如图10所示，在步骤1030处，观看客户端组合表面光场表示和以其完整3D格式下载的资产以便使用例如正常3D呈现来本地呈现。在这方面，如图10所描绘，观看客户端可从例如本地存储装置拉取表面光场和3D资产(参见步骤1016和1018)。另外，在一些实施方案中，在组合的呈现期间，当观看客户端已经首先从表面光场几何形状移除表示以完整3D格式的资产的几何形状时，可将表面光场资产和3D资产的几何形状上传到图形处理单元GPU作为统一坐标空间中的正常几何形状。此功能可由观看客户端使用例如作为场景元数据的一部分描述的几何对应关系来执行。一旦在图形处理单元(GPU)中存在表面光场和以完整3D格式的单独资产两者的最新几何形状，GPU就可正常地执行呈现，同时使用例如表面光场几何形状上的表面光场特定着色器，该表面光场几何形状考虑对当前视点的考虑纹理。
此外，在(虚拟)体验的执行期间，在一些实施方案中，在步骤1032处，观看客户端还可观察一个或多个性能度量，例如处理负载和呈现帧速率，以努力在场景中的动态交互事件和处理资源之间创建平衡。作为示例，在一些实施方案中，如果处理性能下降(例如，处理资源不足以处理体验中存在的动态交互事件量)，则在步骤1034处，观看客户端根据所观察的性能度量限制动态元素。举例来说，观看客户端可限制多个交互事件并且限制例如表征交互动态行为的多个资产，以便将处理维持在客户端设备性能限制内并且因此维持体验质量。
在一些实施方案中，体验的连续执行由观看客户端进行，直到处理的结束由用户请求或由场景元数据中的场景逻辑指示。更具体地，在步骤1036处，观看客户端检查是否已经请求处理的结束，并且如果不是，则过程返回到步骤1020。否则，过程在步骤1038处终止。
图11是示出根据一些实施方案的示例性方法1100的流程图。在示意性实施方案中，方法由客户端设备(包括例如，如上所述的观看客户端)执行。在步骤1102处，客户端设备从服务器接收3D场景中的包括第一场景元素的多个场景元素的表面光场表示。在步骤1104处，客户端设备向服务器提供不同于第一场景元素的第二场景元素的动态行为的指示。在步骤1104处，响应于该指示，客户端设备从服务器接收以3D资产格式限定第一场景元素的信息。最后，在步骤1106处，客户端设备以3D资产格式呈现至少第一场景元素。
图12是示出根据一些实施方案的示例性方法1200的流程图。在示意性实施方案中，方法由服务器(例如，如上所述的内容服务器)执行。在步骤1202处，服务器向客户端设备发送3D场景中的包括第一场景元素的多个场景元素的表面光场表示。在步骤1204处，服务器从客户端设备接收不同于第一场景元素的第二场景元素的动态行为的指示。在步骤1206处，服务器确定第一场景元素在视觉上由第二场景元素的动态行为影响。最后，在步骤1108处，服务器向客户端设备发送以3D资产格式限定第一场景元素的信息。
示例性实施方案的一些变型
现在将描述涉及一些实施方案的涉及服务器侧处理的示例性变型。
本文描述的各种实施方案主要使用基于客户端的拉取模型，其中例如所有的内容更新和下载由观看客户端确定。在另选实施方案中，处理的至少一部分可移到服务器侧。
为了说明，在一些实施方案中，服务器可处理内容呈现的部分。在一个此类变型中，当确定(例如，估计)一个或多个场景元素的交互动态行为的视觉影响时，内容服务器还可确定(例如，估计)是否可在服务器侧呈现一些视觉影响。例如，在一些实施方案中，内容服务器可更新特定于观看客户端的表面光场纹理的特定区域，或者内容服务器可在预期来自动态行为的特定影响时预产生若干版本的表面光场。随后，在运行时期间，内容服务器可取决于动态行为的状态在多个表面光场版本之间交换。因此，在一些情况下，观看客户端可能无法操作以从内容服务器下载完整3D资产，而是仅从服务器接收现有表面光场的最小纹理更新。
在一些实施方案中，内容服务器也可将表面光场从静态元素延伸到预限定的动态元素。在这方面，代替提供单个表面光场，内容服务器可提供流式传输的表面光场几何形状以及包含例如预限定的动态变形和改变的纹理。在该示例性变型中，服务器可提供更复杂的内容分配以支持内容的一部分的流式传输性质，并且例如当对表面光场数据的更新可用时，还可向客户端提供某种信令。
在一些实施方案中，由表面光场支持的导航区域可通过以下方式来扩展：不是仅具有或产生单个观看体积，而是在服务器侧产生若干交织的导航区域，使得观看客户端可从一个观看区域交换到另一观看区域，诸如以实现例如更宽区域的6DoF导航。
本文中已经描述了本公开的各种示例性实施方案。此外，本文描述的各种方法中的一些示例性概念可包括但不限于下面列出的以下概念。
在一些实施方案中，用于表示静态场景的表面光场与交互元素的实时呈现组合。
在一些实施方案中，以混合格式递送内容。在这方面，场景元素可在内容服务器处用作为优化的表面光场和完整3D资产。在一些实施方案中，客户端能够基于带宽和呈现功率来选择复杂性。在一些实施方案中，除了对象大小和/或比特率之外，客户端还发信号通知呈现复杂性。
在一些实施方案中，客户端向内容服务器发信号通知动态场景行为，该内容服务器然后确定(例如，估计)场景的哪些部分由动态行为影响。在这方面，内容服务器可更新媒体呈现描述(MPD)或其他清单文件。在一些实施方案中，客户端侧逻辑可与场景图一起使用(例如，作为场景元数据的一部分提供)以确定要从内容服务器请求的场景部分和细节级别。
在一些实施方案中，内容服务器确定客户端的场景元素的正确内容格式，诸如静态元素的表面光场和由动态行为影响的元素的3D资产。
在一些实施方案中，内容服务器发信号通知受影响元素的指示以回到客户端。客户端可以完整3D资产格式下载所请求的资产并且本地呈现受影响元素。
在一些实施方案中，客户端不需要以完整3D资产格式下载完整场景。相反，在一些实施方案中，客户端下载例如仅最小数量的以完整3D资产格式的元素以及例如最小实时3D呈现。
在一些实施方案中，客户端通过以下方式来使内容适应观看设备的本地能力：观察性能度量以及响应地限制交互性(交互动态行为)，例如以避免本地实时3D呈现，从而不超过观看设备的3D呈现性能能力。
上文已经描述了附加(例如，相关)实施方案。
根据一些实施方案，由客户端设备执行的方法包括：从服务器请求内容，该内容包括具有多个场景元素的三维(3D)场景；从服务器下载选定场景元素的表面光场表示；向服务器提供一个或多个场景元素的动态行为的指示；从服务器接收在视觉上由该一个或多个场景元素的动态行为影响的至少一个场景元素的指示；从服务器下载以3D格式的至少一个视觉上受影响的场景元素；呈现(i)选定场景元素的表面光场表示和(ii)以3D格式的至少一个视觉上受影响的场景的组合；以及向用户显示呈现的结果。
在一些实施方案中，方法还包括：在下载3D场景中的选定元素的表面光场表示之前，从服务器接收场景描述元数据。方法还可包括从服务器下载将在客户端设备处本地呈现的一个或多个3D资产。
在一些实施方案中，向服务器提供该一个或多个场景元素的动态行为的指示包括处理至少用户输入和场景描述元数据中包括的场景逻辑，以确定由于处理而具有动态行为的该一个或多个场景元素。另外，客户端设备可处理由客户端设备收集的传感器数据。
在一些实施方案中，向服务器提供该一个或多个场景元素的动态行为的指示包括将指示与用于显示3D场景的当前视点一起提供给用户。在这方面，在以上方法中，选定场景元素的表面光场表示由服务器产生。此外，在一些实施方案中，从服务器下载以3D格式的至少一个视觉上受影响的场景元素包括客户端基于场景描述元数据中的场景逻辑来确定下载以3D格式的至少一个视觉上受影响的场景元素。这里，场景逻辑可包括对应于当前用户位置周围的资产的场景逻辑和未来的时间线信息。
在一些实施方案中，上述方法还包括观察一个或多个性能度量；以及当所述客户端设备处的本地呈现性能下降到低于阈值时，限制所述3D场景中的交互行为量。所述一个或多个性能度量可包括处理负载或呈现帧速率中的至少一者。另外，限制所述3D场景中的所述交互行为量包括限制交互事件的数量或具有所述动态行为的场景元素的数量中的至少一者。
在一些实施方案中，可重复执行方法，并且方法还包括从服务器接收一个或多个更新的表面光场表示。
在一些实施方案中，呈现组合包括将选定场景元素的表面光场表示和以3D格式的至少一个视觉上受影响的场景元素组合在一起。在一些实施方案中，组合包括将统一坐标空间中的组合几何形状提供给图形处理单元(GPU)以用于呈现。
根据一些实施方案，由客户端设备执行的另一种方法包括：从服务器请求空间内容；从服务器接收描述空间内容的场景描述元数据；基于场景描述内容元数据，选择将在客户端处本地呈现的内容元素；从服务器请求以表面光场或3D资产格式的选定元素，其中以表面光场格式请求选定元素的至少一部分；从服务器接收所请求的元素；处理用户输入和场景描述元数据中包含的场景逻辑以确定表征动态交互行为的一个或多个场景元素；向服务器提供当前视点和该一个或多个场景元素的动态行为的指示；接收由该一个或多个场景元素的动态行为影响的至少一个场景元素的服务器估计；从服务器下载以3D资产格式的至少一个受影响的场景元素；呈现和显示表面光场元素和对应于本地呈现的3D资产的一个或多个场景元素的组合；以及观察至少一个性能度量并且如果本地呈现性能下降到低于阈值，则响应地限制交互行为量。
根据一些实施方案，客户端设备包括处理器和存储指令的非暂态计算机可读介质，该指令在由处理器执行时致使处理器执行由客户端设备执行并且上文公开的任何方法。
根据一些实施方案，由服务器执行的方法包括：从客户端设备接收内容请求，该内容包括具有多个场景元素的三维(3D)场景；向客户端设备提供选定场景元素的表面光场表示；从客户端设备接收一个或多个场景元素的动态行为的指示；向客户端设备提供在视觉上由该一个或多个场景元素的动态行为影响的至少一个场景元素的指示；从客户端设备接收对以3D格式的至少一个视觉上受影响的场景元素的下载请求；以及向客户端设备提供以3D格式的至少一个视觉上受影响的场景元素。
根据一些实施方案，服务器包括处理器和存储指令的非暂态计算机可读介质，该指令在由处理器执行时致使处理器执行由服务器执行并且上文公开的任何方法。
根据一些实施方案，一种系统包括：内容服务器，该内容服务器被配置为递送对应于三维(3D)场景的内容，其中内容作为表面光场和3D资产递送；和客户端设备，该客户端设备被配置为(i)接收内容，(ii)向内容服务器发信号通知由一个或多个场景元素的动态行为影响的3D场景的一个或多个静态部分，以及(iii)从内容服务器接收对应于由该一个或多个场景元素的动态行为影响的3D场景的该一个或多个部分的3D资产。
根据一些实施方案，本文公开了一种方法，包括将用于表示静态场景元素的表面光场与客户端设备处的交互元素的实时呈现组合。
根据一些实施方案，公开了另一种方法，包括以混合格式向客户端设备递送内容，其中混合格式包括表面光场和三维(3D)资产，其中3D资产的第一部分在内容请求时被递送到客户端设备，并且3D资产的第二部分响应于引起影响一个或多个静态元素的动态行为的第一部分而被递送到客户端设备。
此外，根据一些实施方案，公开了一种系统，包括处理器和存储指令的非暂态计算机可读介质，该指令在由处理器执行时致使处理器执行上文公开的任何方法。
需注意，所描述的实施方案中的一个或多个实施方案的各种硬件元件被称为进行(即，执行、实行等)本文结合相应模块所描述的各种功能的“模块”。如本文所用，模块包括相关领域的技术人员认为适合于给定具体实施的硬件(例如，一个或多个处理器、一个或多个微处理器、一个或多个微控制器、一个或多个微芯片、一个或多个专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)、一个或多个存储器设备)。每个所述的模块还可包括用于执行被描述为由相应模块执行的一个或多个功能的可执行指令，并且需注意，这些指令可采取以下指令的形式或包括以下指令：硬件(即，硬连线)指令、固件指令、软件指令等，并且可被存储在任何合适的一个或多个非暂态计算机可读介质(诸如通常称为RAM、ROM等)中。
尽管上文以特定组合描述了特征和元件，但是本领域的普通技术人员将理解，每个特征或元件可单独使用或以与其他特征和元件的任何组合来使用。另外，本文所述的方法可在结合于计算机可读介质中以供计算机或处理器执行的计算机程序、软件或固件中实现。计算机可读存储介质的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、高速缓存存储器、半导体存储器设备、磁介质(诸如内置硬盘和可移动磁盘)、磁光介质和光介质(诸如CD-ROM磁盘和数字通用光盘(DVD))。与软件相关联的处理器可用于实现用于WTRU、UE、终端、基站、RNC或任何主计算机的射频收发器。
Claims (16)
1.一种由客户端设备执行的方法，所述方法包括：
从服务器接收3D场景中的包括第一场景元素的多个场景元素的表面光场表示；
向所述服务器提供不同于所述第一场景元素的第二场景元素的动态行为的指示；
响应于所述指示，从所述服务器接收以3D资产格式限定所述第一场景元素的信息；以及
以所述3D资产格式呈现至少所述第一场景元素。
2.根据权利要求1所述的方法，还包括：
在向所述服务器提供所述第二场景元素的所述动态行为的所述指示之后，从所述服务器接收在视觉上由所述第二场景元素的所述动态行为影响的至少所述第一场景元素的第二指示。
3.根据权利要求1至2中任一项所述的方法，还包括：
从所述服务器接收所述3D场景的场景描述元数据；
基于所述场景描述元数据，从所述服务器请求以所述3D资产格式的所述第二场景元素以便在所述客户端设备处本地呈现；以及
从所述服务器接收以所述3D资产格式限定所述第二场景元素的信息。
4.根据权利要求2至3中任一项所述的方法，还包括：
响应于接收到在视觉上由所述第二场景元素的所述动态行为影响的至少所述第一场景元素的所述第二指示，在所述客户端设备处本地从所述服务器请求以所述3D资产格式的所述第一场景元素。
5.根据权利要求3至4中任一项所述的方法，其中所述场景描述元数据包括对应于当前用户位置周围的资产的场景逻辑和未来事件的时间线信息，所述方法还包括：
使用所述第二场景元素的所述动态行为的所述指示与所述场景逻辑的组合以确定要从所述服务器请求的以所述3D资产格式的一个或多个场景元素，所述一个或多个场景元素包括所述第一场景元素。
6.根据权利要求3至4中任一项所述的方法，其中向所述服务器提供所述第二元素的所述动态行为的所述指示包括处理至少用户输入和所述场景描述元数据中包括的场景逻辑，以确定由于所述处理而具有所述动态行为的所述第二元素。
7.根据权利要求1至6中任一项所述的方法，还包括：
观察一个或多个性能度量；以及
当所述客户端设备处的本地呈现性能下降到低于阈值时，限制所述3D场景中的交互行为量。
8.根据权利要求7所述的方法，其中所述一个或多个性能度量包括处理负载或呈现帧速率中的至少一者。
9.根据权利要求7至8中任一项所述的方法，其中限制所述3D场景中的所述交互行为量包括限制交互事件的数量或具有所述动态行为的场景元素的数量中的至少一者。
10.根据权利要求1至9中任一项所述的方法，还包括：
除了从所述服务器接收以所述3D资产格式限定所述第一场景元素的所述信息之外，还从所述服务器接收一个或多个更新的表面光场表示，其中以所述3D资产格式呈现至少所述第一场景元素包括呈现以所述3D资产格式的所述第一场景元素和所述一个或多个更新的表面光场表示的组合。
11.一种由服务器执行的方法，包括：
向客户端设备发送3D场景中的包括第一场景元素的多个场景元素的表面光场表示；
从所述客户端设备接收不同于所述第一场景元素的第二场景元素的动态行为的指示；
确定所述第一场景元素是否在视觉上由所述第二场景元素的所述动态行为影响；以及
响应于确定所述第一场景元素在视觉上由所述第二场景元素的所述动态行为影响，向所述客户端设备发送以3D资产格式限定所述第一场景元素的信息。
12.根据权利要求11所述的方法，还包括：
在从所述客户端设备接收到所述第二场景元素的所述动态行为的所述指示之后，向所述客户端设备发送在视觉上由所述第二场景元素的所述动态行为影响的至少所述第一场景元素的第二指示。
13.根据权利要求11至12中任一项所述的方法，还包括：
在从所述客户端设备接收到所述第二场景元素的所述动态行为的所述指示之后，更新一个或多个表面光场表示；以及
除了向所述客户端设备发送以所述3D资产格式限定所述第一场景元素的所述信息之外，还向所述客户端设备发送所述一个或多个更新的表面光场表示以便与以所述3D资产格式的所述第一场景元素组合地在所述客户端设备处本地呈现。
14.一种装置，所述装置包括处理器，所述处理器被配置为至少执行：
从服务器接收3D场景中的包括第一场景元素的多个场景元素的表面光场表示；
向所述服务器提供不同于所述第一场景元素的第二场景元素的动态行为的指示；
响应于所述指示，从所述服务器接收以3D资产格式限定所述第一场景元素的信息；以及
以所述3D资产格式呈现至少所述第一场景元素。
15.根据权利要求14所述的装置，其中所述处理器被进一步配置为执行：
在向所述服务器提供所述第二场景元素的所述动态行为的所述指示之后，从所述服务器接收在视觉上由所述第二场景元素的所述动态行为影响的至少所述第一场景元素的第二指示。
16.根据权利要求14和15中任一项所述的装置，其中所述处理器被进一步配置为执行：
从所述服务器接收所述3D场景的场景描述元数据；
基于所述场景描述元数据，从所述服务器请求以所述3D资产格式的所述第二场景元素以便在所述客户端设备处本地呈现；以及
从所述服务器接收以所述3D资产格式限定所述第二场景元素的信息。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962868123P | 2019-06-28 | 2019-06-28 | |
| US62/868,123 | 2019-06-28 | ||
| PCT/US2020/040079 WO2020264481A1 (en) | 2019-06-28 | 2020-06-29 | System and method for hybrid format spatial data distribution and rendering |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114128303A true CN114128303A (zh) | 2022-03-01 |
| CN114128303B CN114128303B (zh) | 2024-06-11 |
Family
ID=71728938
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080050992.2A Active CN114128303B (zh) | 2019-06-28 | 2020-06-29 | 获得3d场景元素的方法和客户端设备 |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US11900532B2 (zh) |
| EP (1) | EP3991441A1 (zh) |
| CN (1) | CN114128303B (zh) |
| WO (1) | WO2020264481A1 (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210030147A (ko) * | 2019-09-09 | 2021-03-17 | 삼성전자주식회사 | 3d 렌더링 방법 및 장치 |
| US11601636B2 (en) * | 2020-05-22 | 2023-03-07 | Google Llc | Methods, systems, and media for generating an immersive light field video with a layered mesh representation |
| US11228750B1 (en) * | 2020-09-08 | 2022-01-18 | Rovi Guides, Inc. | Systems and methods for generating virtual reality scenes |
| US20220134222A1 (en) * | 2020-11-03 | 2022-05-05 | Nvidia Corporation | Delta propagation in cloud-centric platforms for collaboration and connectivity |
| KR20220153381A (ko) * | 2021-05-11 | 2022-11-18 | 삼성전자주식회사 | 미디어 서비스를 제공하기 위한 방법 및 장치 |
| CN114363687B (zh) * | 2022-01-07 | 2023-11-24 | 深圳看到科技有限公司 | 三维场景互动视频创建方法及创建装置 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102113003A (zh) * | 2008-06-03 | 2011-06-29 | 索尼电脑娱乐公司 | 用于交互式环境的辅助内容资产的基于提示的流式传输 |
| US20120249550A1 (en) * | 2009-04-18 | 2012-10-04 | Lytro, Inc. | Selective Transmission of Image Data Based on Device Attributes |
| CN102763068A (zh) * | 2010-02-12 | 2012-10-31 | 诺基亚公司 | 用于提供基于对象的媒体混合的方法和装置 |
| US20130262511A1 (en) * | 2012-04-02 | 2013-10-03 | Google Inc. | Determining 3D Model Information From Stored Images |
| US20150116327A1 (en) * | 2013-10-29 | 2015-04-30 | Microsoft Corporation | Dynamic workplane 3d rendering environment |
| CN105912234A (zh) * | 2016-04-06 | 2016-08-31 | 腾讯科技（深圳）有限公司 | 虚拟场景的交互方法和装置 |
| CN108011886A (zh) * | 2017-12-13 | 2018-05-08 | 上海曼恒数字技术股份有限公司 | 一种协同控制方法、系统、设备及存储介质 |
| CN108139803A (zh) * | 2015-10-08 | 2018-06-08 | Pcms控股公司 | 用于动态显示器配置的自动校准的方法及系统 |
| WO2018200337A1 (en) * | 2017-04-28 | 2018-11-01 | Pcms Holdings, Inc. | System and method for simulating light transport between virtual and real objects in mixed reality |
| US20180350136A1 (en) * | 2017-05-31 | 2018-12-06 | TeMAVR, LLC | Systems and associated methods for creating a viewing experience |
| EP3489955A1 (en) * | 2017-11-24 | 2019-05-29 | Thomson Licensing | Method and apparatus for interactive videos |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9779538B2 (en) | 2014-05-28 | 2017-10-03 | Lucasfilm Entertainment Company Ltd. | Real-time content immersion system |
| US9551873B2 (en) | 2014-05-30 | 2017-01-24 | Sony Interactive Entertainment America Llc | Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content |
| US10491711B2 (en) * | 2015-09-10 | 2019-11-26 | EEVO, Inc. | Adaptive streaming of virtual reality data |
| EP3185214A1 (en) | 2015-12-22 | 2017-06-28 | Dassault Systèmes | Streaming of hybrid geometry and image based 3d objects |
| US9786027B1 (en) | 2016-06-16 | 2017-10-10 | Waygate, Inc. | Predictive bi-adaptive streaming of real-time interactive computer graphics content |
| US10298914B2 (en) | 2016-10-25 | 2019-05-21 | Intel Corporation | Light field perception enhancement for integral display applications |
| CN107274469A (zh) | 2017-06-06 | 2017-10-20 | 清华大学 | 面向虚拟现实的协同渲染方法 |
-
2020
- 2020-06-29 EP EP20743467.1A patent/EP3991441A1/en active Pending
- 2020-06-29 WO PCT/US2020/040079 patent/WO2020264481A1/en active Application Filing
- 2020-06-29 CN CN202080050992.2A patent/CN114128303B/zh active Active
- 2020-06-29 US US17/619,183 patent/US11900532B2/en active Active
-
2023
- 2023-11-13 US US18/508,095 patent/US20240087217A1/en active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102113003A (zh) * | 2008-06-03 | 2011-06-29 | 索尼电脑娱乐公司 | 用于交互式环境的辅助内容资产的基于提示的流式传输 |
| US20120249550A1 (en) * | 2009-04-18 | 2012-10-04 | Lytro, Inc. | Selective Transmission of Image Data Based on Device Attributes |
| CN102763068A (zh) * | 2010-02-12 | 2012-10-31 | 诺基亚公司 | 用于提供基于对象的媒体混合的方法和装置 |
| US20130262511A1 (en) * | 2012-04-02 | 2013-10-03 | Google Inc. | Determining 3D Model Information From Stored Images |
| US20150116327A1 (en) * | 2013-10-29 | 2015-04-30 | Microsoft Corporation | Dynamic workplane 3d rendering environment |
| CN108139803A (zh) * | 2015-10-08 | 2018-06-08 | Pcms控股公司 | 用于动态显示器配置的自动校准的方法及系统 |
| CN105912234A (zh) * | 2016-04-06 | 2016-08-31 | 腾讯科技（深圳）有限公司 | 虚拟场景的交互方法和装置 |
| WO2018200337A1 (en) * | 2017-04-28 | 2018-11-01 | Pcms Holdings, Inc. | System and method for simulating light transport between virtual and real objects in mixed reality |
| US20180350136A1 (en) * | 2017-05-31 | 2018-12-06 | TeMAVR, LLC | Systems and associated methods for creating a viewing experience |
| EP3489955A1 (en) * | 2017-11-24 | 2019-05-29 | Thomson Licensing | Method and apparatus for interactive videos |
| CN108011886A (zh) * | 2017-12-13 | 2018-05-08 | 上海曼恒数字技术股份有限公司 | 一种协同控制方法、系统、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 余莉等: "基于虚拟现实技术的数字校园三维仿真系统", 计算机仿真, no. 04 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220309743A1 (en) | 2022-09-29 |
| WO2020264481A1 (en) | 2020-12-30 |
| US20240087217A1 (en) | 2024-03-14 |
| US11900532B2 (en) | 2024-02-13 |
| EP3991441A1 (en) | 2022-05-04 |
| CN114128303B (zh) | 2024-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114128303B (zh) | 获得3d场景元素的方法和客户端设备 | |
| JP7376496B2 (ja) | 優先順位付けされた変換に基づいて動的点群を最適化するためのシステムおよび方法 | |
| JP6941694B2 (ja) | 次世代ネットワークを介した３６０度ビデオ配信 | |
| US11616981B2 (en) | Hybrid cubemap projection for 360-degree video coding | |
| JP2022501905A (ja) | ３６０度ビデオコード化のためのサンプル導出 | |
| WO2018200337A1 (en) | System and method for simulating light transport between virtual and real objects in mixed reality | |
| KR20220004961A (ko) | 라이트 필드의 다중화 렌더링을 위한 시스템 및 방법 | |
| US20230188751A1 (en) | Partial access support in isobmff containers for video-based point cloud streams | |
| JP2022533225A (ja) | ビデオベースポイントクラウドストリーム | |
| US20230276053A1 (en) | Adaptive streaming of geometry-based point clouds | |
| CN114303402A (zh) | 用于经由优化的以人为中心的体验的微服务动态组装瞬态设备的方法、装置和系统 | |
| WO2023242269A1 (en) | Timed lighting in xr experiences | |
| EP4380704A1 (en) | Methods and apparatuses for signaling enhancement in wireless communications | |
| WO2023114464A1 (en) | Viewport-based and region-of-interest-based retrieval of media objects in scene rendering engines | |
| TW202415078A (zh) | Ｘｒ體驗中的定時照明 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230717 Address after: Delaware Applicant after: Interactive Digital VC Holdings Address before: Wilmington, Delaware, USA Applicant before: PCMS HOLDINGS, Inc. |
|
| GR01 | Patent grant |