CN116964543A - 扩展现实中的移动媒体 - Google Patents

扩展现实中的移动媒体 Download PDF

Info

Publication number
CN116964543A
CN116964543A CN202180095475.1A CN202180095475A CN116964543A CN 116964543 A CN116964543 A CN 116964543A CN 202180095475 A CN202180095475 A CN 202180095475A CN 116964543 A CN116964543 A CN 116964543A
Authority
CN
China
Prior art keywords
dynamic content
information
network
user device
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180095475.1A
Other languages
English (en)
Inventor
P·麦克拉克兰
H·卡尔滕科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN116964543A publication Critical patent/CN116964543A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • G06F16/24575Query processing with adaptation to user needs using context
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/9035Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/9038Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/52Network services specially adapted for the location of the user terminal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

在一个实施例中,一个或多个电子装置的系统的方法支持用户装置处的扩展现实应用。该方法包括:接收用户装置的、与扩展现实环境相关的位置和姿势信息;确定与所述位置和姿势信息相关的至少一个动态内容单元;确定所述至少一个动态内容单元的运动范围;针对用户装置的位置和姿势来确定语义信息;根据语义信息生成语义映射图;将至少一个访问控制应用于语义映射图以防止动态内容在语义映射图中的位置处动态内容单元上的显示;针对要被显示为扩展现实覆盖的动态内容来查询动态内容管理器;以及将动态内容返回到用户装置。

Description

扩展现实中的移动媒体
技术领域
本发明的实施例涉及扩展现实领域;更具体地,涉及支持在扩展现实中移动动态内容以及在扩展现实中限制动态内容。
背景技术
增强现实(AR)通过覆盖虚拟内容来增强真实世界和真实世界中的物理对象。该虚拟内容通常是数字地产生的,并且可以并入声音、图形和视频。例如,当在超市购物时,佩戴增强型现实眼镜的购物者可能在他们将每个对象放在他们的购物车中时看到每个对象的营养信息。眼镜利用信息来增强现实。
虚拟现实(VR)使用数字技术来创建完全模拟的环境。与增强现实的AR不同,VR使用户沉浸在完全模拟的体验中。在完全VR体验中,所有视觉和声音都是数字地产生的,并且不包括来自用户的实际物理环境的输入。例如,VR可以被集成到制造中,其中受训者在真实生产线上开始之前在虚拟现实中实践建筑机械。
混合现实(MR)组合AR和VR两者的元素。与AR相同,MR环境在用户的物理环境之上覆盖数字效果。MR也综合了关于用户的物理环境(诸如深度、维度和表面纹理)的附加的、更丰富的信息。在MR环境中,最终用户体验更接近真实世界。作为示例,考虑两个用户在真实世界的网球场上击打MR网球。MR并入关于表面硬度(草对粘土)、球拍击打球的方向和力以及运动员的身高的信息。增强现实和混合现实通常用于指代相同的想法。在本文所使用时,“增强现实”也指代混合现实。
扩展现实(XR)是一个总称,其指代所有真实和虚拟的组合环境,诸如AR、VR和MR。XR指代所感知环境的现实-虚拟性连续性(continuum)方面的广泛种类和大量级别,从而将AR、VR、MR和其它类型的环境(例如,增强的虚拟性、介导现实(mediated reality)等)合并在一个术语下。
XR用户装置是用作用户在扩展现实的上下文中感知虚拟和/或真实内容的接口的装置。XR用户装置的示例实施例在本文参考图5、6和8-10被描述为装置(501、810A-C、900和1100A-F)。XR用户装置通常具有可不透明的显示器,并且一起显示环境(真实的或虚拟的)和虚拟内容两者(即,视频透视(video see-through)),或通过半透明显示器来覆盖虚拟内容(光学透视)。XR用户装置可通过使用传感器(通常为拍摄装置和惯性传感器)来获取关于环境的信息以映射环境,而同时跟踪装置在环境内的位置。
扩展现实中的对象识别通常用于检测真实世界对象并用于触发数字内容的显示。例如,消费者可以用增强型现实眼镜观看时尚杂志,并且猫道事件(catwalk event)的视频将立即播放。声音、气味和触感也被视为是经受对象识别的对象。例如,当检测到哭闹婴儿的声音或情绪时,可以显示尿布广告。情绪可以从应用于声音数据的机器学习中推断。
发明内容
在一个实施例中,一个或多个电子装置的系统的方法支持用户装置处的扩展现实应用。所述方法包括:从用户装置接收用户装置的、与扩展现实应用的扩展现实环境有关的位置和姿势信息;确定扩展现实环境中与用户装置的位置和姿势信息有关的至少一个动态内容单元;确定所述至少一个动态内容单元的运动范围,其中所述至少一个动态内容单元穿过扩展现实环境移动;针对用户装置的位置和姿势来确定语义信息;根据语义信息生成语义映射图;确定应用于语义映射图的至少一个访问控制;将所述至少一个访问控制应用于语义映射图以防止动态内容在语义映射图中的位置处动态内容单元上的显示;针对要被显示为扩展现实覆盖的动态内容来查询动态内容管理器;以及将动态内容返回到用户装置。
在另一实施例中,一个或多个电子装置的系统支持用户装置处的扩展现实应用。系统包括:其中存储有动态内容单元服务的非暂态机器可读介质;以及耦合到非暂态机器可读存储介质的处理器。处理器执行动态内容单元服务。动态内容单元服务从用户装置接收用户装置的、与扩展现实应用的扩展现实环境有关的位置和姿势信息;确定扩展现实环境中与用户装置的位置和姿势信息有关的至少一个动态内容单元;确定所述至少一个动态内容单元的运动范围,其中所述至少一个动态内容单元穿过扩展现实环境移动;针对用户装置的位置和姿势来确定语义信息;根据语义信息生成语义映射图;确定应用于语义映射图的至少一个访问控制;将所述至少一个访问控制应用于语义映射图以防止动态内容在语义映射图中的位置处动态内容单元上的显示;针对要被显示为扩展现实覆盖的动态内容来查询动态内容管理器;以及将动态内容返回到用户装置。
在另一实施例中,一种非暂态机器可读介质,其中存储有指令的集合,所述指令在由电子装置执行时使得所述电子装置执行操作的集合。所述操作包括:从用户装置接收用户装置的、与扩展现实应用的扩展现实环境有关的位置和姿势信息;确定扩展现实环境中与用户装置的位置和姿势信息有关的至少一个动态内容单元;确定所述至少一个动态内容单元的运动范围,其中所述至少一个动态内容单元穿过扩展现实环境移动;针对用户装置的位置和姿势来确定语义信息;根据语义信息生成语义映射图;确定应用于语义映射图的至少一个访问控制;将所述至少一个访问控制应用于语义映射图以防止动态内容在语义映射图中的位置处动态内容单元上的显示;针对要被显示为扩展现实覆盖的动态内容来查询动态内容管理器;以及将动态内容返回到用户装置。
附图说明
通过参考以下描述和用于说明本发明的实施例的附图,可以最好地理解本发明。在附图中:
图1是经由扩展现实(XR)覆盖来显示静态和动态内容的交通工具的一个示例实施例的示意图。
图2是动态内容单元的移动范围的一个示例实施例的示意图。
图3是示意图,所述示意图示出静态动态访问控制和动态访问控制两者的动态内容单元的一个实施例。
图4是在边缘云中电子装置的、实现移动动态内容单元服务的过程的一个实施例的流程图。
图5是基于边缘云的动态内容单元服务的架构的一个实施例的示意图。
图6是基于边缘云的移动动态内容单元服务的架构的另一实施例的示意图。
图7是边缘云中电子装置的集合的、实现动态内容单元服务的过程的一个实施例的流程图。
图8是支持动态内容单元服务的无线网络的一个实施例的示意图。
图9是支持XR覆盖服务的用户设备的一个实施例的示意图。
图10是支持动态内容单元服务的虚拟化环境的一个实施例的示意图。
图11A示出根据本发明的一些实施例的示例性网络内的网络装置(ND)之间的连接性以及ND的三个示例性实现。
图11B示出根据本发明的一些实施例的实现专用网络装置的示例性方式。
图11C示出根据本发明的一些实施例的、可以用来耦合虚拟网络元件(VNE)的各种示例性方式。
图11D示出根据本发明的一些实施例的、在每个ND上具有单个网络元件(NE)的网络,并且在该直接方法内,将传统的分布式方法(通常由传统路由器使用)与用于维护可达性和转发信息(也称为网络控制)的集中式方法进行对比。
图11E示出根据本发明的一些实施例的简单情况,其中每个ND实现单个NE,但是集中式控制平面已将不同ND中的多个NE抽象成(以表示)虚拟网络之一中的单个NE。
图11F图示了根据本发明的一些实施例的情况,其中多个VNE在不同的ND上实现并且彼此耦合,并且其中集中式控制平面已经抽象这些多个VNE,使得它们在虚拟网络之一内表现为单个VNE。
图12示出根据本发明的一些实施例的具有集中式控制平面(CCP)软件1350)的通用控制平面装置。
具体实施方式
以下的描述描述了用于管理动态内容单元的方法和设备,其包括支持管理动态内容单元的移动和动态内容的显示。实施例提供动态内容单元,其可由其三维(高度、宽度和深度)中的几何尺寸以及其运动范围、海拔高度和类似特性来定义。动态内容单元也可以由它们移动时在二维中的投影尺寸动态地定义。实施例也使用视觉、音频、传感器或任何其它数据类型来提供实时语义理解,以用于为可移动的动态内容单元并入动态内容的目的。实施例经由动态内容的访问控制,能够实现静态和动态阻止或允许,使得动态内容在移动到访问控制的地理空间区域中时将停止显示。
在以下描述中,阐述了诸如逻辑实现、操作码、指定操作数的手段(means)、资源划分/共享/复制实现、系统组件的类型和相互关系以及逻辑划分/综合选择等许多具体细节,以便提供对本发明的更透彻理解。然而,本领域技术人员将领会,本发明可以在没有这类具体细节的情况下实施。在其它实例中,没有详细示出控制结构、门级电路和完整的软件指令序列,以免使本发明难以理解。本领域的那些普通技术人员利用所包括的描述将能够实现适当的功能性而无需过度的实验。
说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用指示所描述的实施例可以包括特定特征、结构或特性,但是每个实施例可能不一定包括该特定特征、结构或特性。此外,这类短语不一定指代相同实施例。此外,当结合实施例描述特定特征、结构或特性时,认为结合其它实施例来改变(affect)此类特征、结构或特性是在本领域技术人员的知识范围内的,而无论是否被明确描述。
本文中可使用加括号的文本和具有虚线边界的框(例如,大破折号(large dash)、小破折号(small dash)、点划线和点)来说明向本发明的实施例添加附加特征的可选操作。然而,此类记号不应被视为意指这些是唯一的选项或可选的操作,和/或在本发明的某些实施例中具有实线边界的框不是可选的。
在以下描述和权利要求中,可以使用术语“耦合”和“连接”连同它们的派生词。应当理解,这些术语不是旨在作为彼此的同义词。“耦合”用于指示两个或更多元件彼此协作或交互,所述元件可以彼此直接物理接触或电接触,也可以彼此不直接物理接触或电接触。“连接”用于指示在彼此耦合的两个或更多个元件之间建立通信。
电子装置使用机器可读介质(也称为计算机可读介质)来(内部地和/或通过网络与其它电子装置)存储和传送代码(其由软件指令组成,并且有时被称为计算机程序代码或计算机程序)和/或数据,所述机器可读介质诸如是机器可读存储介质(例如,磁盘、光盘、固态驱动器、只读存储器(ROM)、闪存装置、相变存储器)和机器可读传送介质(也称为载体)(例如,电、光、无线电、声或其它形式的传播信号-诸如载波、红外信号)。因此,电子装置(例如,计算机)包括硬件和软件,诸如耦合到一个或多个机器可读存储介质以存储用于在处理器的集合上执行的代码和/或以存储数据的一个或多个处理器的集合(例如,其中处理器是微处理器、控制器、微控制器、中央处理单元、数字信号处理器、专用集成电路、现场可编程门阵列、其它电子电路模块、前述器件中的一个或多个器件的组合)。例如,电子装置可以包括包含代码的非易失性存储器,因为即使当电子装置被关闭时(当电源被移除时),非易失性存储器也可以持久存储代码/数据,并且当电子装置被开启时,要由该电子装置的(一个或多个)处理器执行的代码的该部分通常从较慢的非易失性存储器复制到该电子装置的易失性存储器(例如,动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM))中。典型的电子装置也包括一个或多个物理网络接口(NI)的集合,以建立与其它电子装置的网络连接(用于使用传播信号来传送和/或接收代码和/或数据)。例如,物理NI的集合(或(一个或多个)物理NI的集合结合执行代码的处理器的集合)可执行任何格式化、编码或转换以允许电子装置发送和接收数据(无论通过有线和/或无线连接)。在一些实施例中,物理NI可包括能够在无线连接上从其它电子装置接收数据和/或经由无线连接将数据发出到其它装置的无线电电路模块。该无线电电路模块可以包括适于射频通信的(一个或多个)传送器、(一个或多个)接收器和/或(一个或多个)收发器。无线电电路模块可以将数字数据转换成具有适当参数(例如,频率、定时、信道、带宽等)的无线电信号。然后,无线电信号可以经由天线被传送到适当的(一个或多个)接收方。在一些实施例中,(一个或多个)物理NI的集合可以包括(一个或多个)网络接口控制器(NIC),也称为网络接口卡、网络适配器或局域网(LAN)适配器。(一个或多个)NIC可便于将电子装置连接到其它电子装置,从而允许它们通过插入电缆到连接到NIC的物理端口来经由导线通信。本发明的实施例的一个或多个部分可以使用软件、固件和/或硬件的不同组合来实现。
网络装置(ND)是通信地互连网络上的其它电子装置(例如,其它网络装置、最终用户装置)的电子装置。一些网络装置是“多服务网络装置”,其提供对多个联网功能(例如,路由、桥接、交换、层2聚合、会话边界控制、服务质量和/或订户管理)的支持,和/或提供对多个应用服务(例如,数据、语音和视频)的支持。
实施例提供了针对扩展现实环境中的扩展动态内容单元对动态内容的管理。动态内容单元可以是在扩展现实环境中具有位置的单元,使得与动态内容单元相关联的内容(在本文称为动态内容)在扩展现实环境中被显示或类似地表示。动态内容单元包含关于与动态内容单元相关联的动态内容的尺寸和种类的信息。动态内容可以是任何类型的感官或相关信息(例如,图形、声音和类似信息)。在一些情况下,动态内容可以是广告。动态内容单元定义了在扩展现实环境中可以显示动态内容的位置和维度。动态内容单元和动态内容可以是二维或三维的,并且具有视角,即,确定在给定物理环境中动态内容是否从所有方向都可见。动态内容单元位置可被定义并与给定的物理位置相关联,其中该位置在空间上被映射(例如,内部、外部或两者)以标识动态内容单元的可能位置。可为给定位置定义任何数量的动态内容单元,并将其与该位置处的特定空间或对象相关联。例如,5米乘5米的表面可以被细分成多个变化维度的动态内容单元。用户装置(诸如XR用户装置)中动态内容的显示被称为XR覆盖。XR覆盖是基于XR用户装置的视角(例如,在场景、虚拟环境、物理位置或诸如此类内)的渲染(例如,如向XR用户装置的用户显示或由XR用户装置的用户观察),其示出从动态内容导出的任何方面或信息(例如,图形的渲染、音频或视频的播放、触觉反馈或来自XR用户装置的类似输出)。
扩展现实环境中的对象识别可用于检测真实世界对象以触发动态内容的显示。例如,用户可以用增强型现实眼镜观看时尚杂志,并且猫道事件的视频将响应于识别杂志而在视频中播放。声音、气味和触感也被视为是经受对象识别的对象。例如,可以响应于检测到哭闹婴儿的声音和情绪而显示尿布广告。情绪可以从声音数据的分析(例如,机器学习)中推断。
在一些实施例中,利用实时竞价(bidding)(RTB)来确定利用动态内容单元显示的或与动态内容单元相关联的动态内容。RTB可以是允许购买和销售库存的全自动过程。在RTB中,库存按照印象(impression)被销售,并且通过拍卖被定价。这些拍卖确定谁赢得在给定时间点(称为时机)将动态内容(例如,广告)放置在给定动态内容单元中的权利。然后立即显示获胜的出价者的动态内容。供应方平台(SSP)是使发布者能够管理动态内容(例如,广告库存)并获得收入的技术。需求方平台(DSP)是向动态内容单元的买方(例如广告主)提供需求管理的系统。DSP帮助买方寻找和购买来自市场的库存。需求方平台还可以负责管理买方的实时竞价。DSP可通过向买方发送关于即将到来的拍卖的更新来保持使买方得到通知。
动态内容服务器是存储动态内容的web服务器。在赢得RTB拍卖之后,动态内容服务器将动态内容递送到用户装置处的应用、XR环境或网站。如本文所使用的,印象是对已经从动态内容服务器下载并且经由用户装置显示了给定时间段的动态内容的指派。如本文所使用的,受众是共享某些行为、心理、人口统计或其它特性的人员列表。受众的示例可以是生活在加利福尼亚的净值为$100K或以上的冲动购物者。“广告”是一种动态内容,其可以是一段音频/视频创意内容,该内容被设计成影响消费者对品牌的感知或引起一系列行动号召和/或使得他们参与一系列行动号召。
实施例克服了现有技术的限制。XR具有许多技术和实现挑战,这些挑战仍未得到解决。与通常显示在电子屏幕上的其它形式的数字内容不同,XR将视觉信息覆盖到最终用户的视野中。正确地显示这些XR覆盖要求将物理空间的各种理解综合到要在扩展现实环境中显示的数字内容中。例如,诸如房主、办公室管理公司和公共机构的财产所有者必须决定是否允许给定物理位置中的动态内容单元。没有此类系统,扩展现实环境的部署可能导致任何人都能够使用动态内容单元将内容放置在物理位置,而没有对质量、安全性、产权和类似考虑因素的任何控制。
动态内容单元的使用可基于使用人工智能(AI)来自动扫描真实世界物理环境并将其划分成最佳二维和/或三维动态内容单元的方法。动态内容单元可被定义并存储在边缘和/或云计算环境(以下称为“边缘云”)中,系统使用其全球方位(即,纬度、经度和海拔高度)定义给定的动态内容单元。在本文中,参照图5、6和8-12将边缘云的示例性实施例描述为装置(503、860、900、1000、1102、1104、1174和1204)。这导致动态内容单元不能在物理环境中四处移动。虽然物理静态动态内容单元具有实用性,但是许多设想的动态内容单元使用情况要求内容能够穿过空间移动。
这些移动动态内容单元被定义为使得它们能够穿过空间移动。动态内容单元可以解决当前不支持的各种使用情况。第一种是允许动态内容单元穿过空间移动。实施例以多种方式实施移动动态内容单元穿过空间的移动,包括跟踪最终用户装置移动,使得动态内容始终与最终用户装置相距任意距离,以及将移动动态内容单元锚定到能够移动的对象,诸如火车、巴士或汽车。另一使用情况是阻止动态内容经由动态内容单元的所有显示和/或当移动动态内容单元穿过空间移动时不允许不同的动态内容。例如,城市可以在学校或运动场的50米内阻止所有基于动态内容单元的动态内容,或在其管辖范围内阻止具有成人主题的内容。实施例还引入了允许用于显示动态内容的动态内容单元的价格根据其运动范围而变化的架构。
图1是经由扩展现实(XR)覆盖来显示静态和动态内容的交通工具的一个示例实施例的示意图。实施例建立在空间映射(mapping)(创建物理环境的三维映射图的过程)和语义理解(理解对象的含义及其关系)上以便能够实现移动动态内容单元。动态内容单元可通过其在三维空间中的空间映射图内的位置和动态内容单元相对于映射图原点或惯性坐标系的定向(orientation)来定义。然后,这被存储在边缘云中,并使动态内容单元可用于由XR用户装置在XR中显示。实施例使用空间映射图和语义理解来估计给定动态内容单元可行进的区域(即,运动范围)。然后,该运动范围被存储在边缘云中,并且使该运动范围可被访问以用于实时竞价(RTB)和编程目的,其中,可选择动态内容用于经由动态内容单元来显示。
在图1中示出动态和静态动态内容单元之间的区别。在顶面(top panel)中,动态内容单元被限定在巴士的侧面。这是示例静态动态内容单元,其中使用纬度、经度和海拔高度来定义动态内容单元的位置。指派到动态内容单元的任何动态内容都可放置在该位置,并仅可在该位置显示,因此如果巴士移动,静态动态内容单元将仍保持在那里,而不在巴士上。与之相反,移动动态内容单元被定义为使得它可以穿过空间移动。在底面(bottompanel)中,动态内容单元和任何相关联的动态内容可在其移动时或在最终用户相对于巴士移动时跟随巴士。
空间映射和语义理解对于生成给定动态内容单元的运动范围的逻辑界限是必要的。可以使用计算机视觉和人工智能的语义理解指代关于包含在环境内的每个组成部分的含义的信息,诸如对象的类别、位置、权重和密度。空间映射指代测量和数字地表示三维环境所通过的过程。这两种技术用于在动态内容单元的运动场域(field)中施加逻辑界限。允许与动态内容单元的移动有关的限制提供了支持如下潜在使用动态内容的选项:与广告主、策略制定者或品牌的、可能希望防止动态内容或其某些形式移动到指定位置的真实世界考虑因素有关。
在登记了物理真实世界区域之后,例如,为该区域生成空间映射图和语义理解(以下称为语义映射图),将所得到的数据存储在边缘云中并与元数据相关联,以描述存储在供应方平台(SSP)中的XR动态内容和覆盖。尽管与语义映射配对的逻辑规则可限制移动动态内容单元的移动,但是实施例也引入了地理空间访问控制的概念。如本文所使用的访问控制指代与允许或阻止/拒绝(例如,防止显示)(例如,来自动态内容的给定源或特定类型或类别的)特定动态内容或确定是否允许来自动态内容的给定源的任何内容有关的对应动作和/或设置/参数/偏好。实施例可以包括至少两种新形式的访问控制。第一种地理空间访问控制指代控制在预定的固定或动态物理位置的集合中的动态内容显示。地理空间访问控制的示例包括防止在可以用三维场域描述的位置中显示(诸如道路交叉路口、学校操场)或防止物理广告。第二种基于对象的访问控制防止动态内容单元或特定动态内容覆盖在经由对象识别而辨识的特定类型的对象之上。基于对象的访问控制的示例包括防止动态内容单元被用在某些静态对象(诸如物理基础设施(例如,交通信号灯、行人、交通工具或动物))上。在一些实施例中,基于对象(例如,任何行人)的一个或多个辨识特性和/或任意地(例如,在一个特定广告牌上禁止动态覆盖,但不在其它广告牌上禁止动态覆盖)来定义对象的类型或类别。换句话说,并且除非在文本另有说明,对对象的“类型”或“类别”的任何引用不一定要求针对动态覆盖访问控制以相同的方式来对待具有相似特性的所有对象。
图2是动态内容单元的移动范围的一个示例实施例的示意图。在所示示例中,示出给定动态内容单元(动态内容单元ID=123456789)的假设移动范围的鸟瞰图。在该图中,当交通工具处于具有对角线条纹(\)的区域(比如道路)中,而不是处于诸如交叉路口或接近学校入口的划十字(X)的区域中时,可以在加条纹(/)的交通工具之上渲染动态内容单元的XR覆盖。访问控制或许可的该集合被存储在边缘云中与动态内容单元ID相关联的元数据中。
空间映射是创建物理环境的三维数字映射图的过程。虽然空间映射可以将对象放置在三维场域中,但是它不包括关于那些对象或它们的含义的任何信息。该知识是经由语义理解获得的,其综合了诸如对象的含义或类别、不同用途的适用性以及关于环境中对象的移动能力之类的信息。将关于对象的信息放置在空间映射图内被称为语义映射。语义映射用于定义动态内容单元的允许运动范围。
如上所述,动态内容单元可在三维(高度、宽度、深度(或类似维度))中被定义,这适用于静态动态内容单元和移动动态内容单元。动态内容单元也可以在二维(高度、宽度)中被定义,或具有三维形状。动态内容单元也可以由它们的投影尺寸来定义,例如以cm2为单位,这将取决于观察者观察的视角和距离,即,与从近处相比,从远处,相同的动态内容单元将看起来更小,因为它覆盖了视场中的较少空间。动态内容单元和相关联的动态内容的投影尺寸可使用从3D空间到2D视图(其源自视角的视觉效果)的投影几何形状来计算。不管观察动态内容单元的装置的显示分辨率如何,该定义都成立。
动态内容单元和相关联的XR覆盖也可由其渲染的尺寸来定义,例如以像素为单位,其与投影尺寸有关,但也取决于XR用户装置的分辨率,因为分辨率影响显示XR覆盖所需的像素数量。实施例将动态内容单元和/或动态内容开始显示的位置称为起始点。对于静态动态内容单元,起始点与动态内容单元的当前位置相同。然而,移动动态内容单元可移动超过其起始点。移动动态内容单元可移动穿过的范围利用与动态内容单元相关联的元数据来指定,例如在供应方平台(SSP)中。
实施例将空间映射与语义理解组合以进一步改进动态内容单元的运动范围。在静态情况下,动态内容单元的运动范围受限制,或防止在其上显示的动态内容被显示,使得其不穿过或接近静态位置或不适于显示动态内容的对象(诸如学校或政府办公室)行进。由于这个类别的对象不经常移动,所以语义映射图仅在需要时刷新。在下文的进一步描述中,描述对对象进行静态访问控制的过程。
在动态情况下,实施例可使用5G NR(或类似架构)的速度时延来将实时空间、音频、视觉、传感器和其它数据并入空间映射过程中。在由XR用户装置进行登记或收集之后,数据被上传到边缘云中。一旦在边缘云中,则应用语义理解算法以基于那些实时数据对运动范围施加进一步的逻辑界限。动态逻辑界限的示例包括防止移动动态内容单元穿过行人和移动的交通工具行进。在下文的进一步描述中,描述对对象进行动态访问控制的过程。描述移动动态内容单元的元数据可存储在边缘云、供应方平台(SSP)或类似位置中。实施例可以利用任何数量和种类的元数据字段。在一些实施例中,元数据字段包括与移动动态内容单元相关联的运动范围。例如,这可以在允许移动动态内容单元行进的场景内以立方厘米为单位来测量。这些范围可用于预测动态内容单元的移动、实时竞价(RTB)定价以及类似用途。
图2也提供了示例上下文,其中地理空间访问控制和基于对象的访问控制可用于同时解决与动态内容单元有关的多个策略和技术问题。渲染动态内容要求大量的边缘云计算资源,尤其是在动态情况下。同时映射环境和执行对象检测可能在计算上要求高。XR内容的大文件尺寸也对移动网络施加了压力。将动态内容单元限制在仅期望其的地方减少了不必要的计算使用量和移动网络上的负担。相应地,这也减小了动态内容单元的环境影响。第二,策略制定者和市民同样可能不想要动态内容单元和相关联的动态内容能够无限制地移动。尽管当登记其环境时可以利用用于人们选择动态内容、动态内容单元和/或XR覆盖的方法,但是这没有解决是否允许动态内容穿越第三方所拥有的环境。实施例使得策略制定者能够对与给定动态内容单元或相关联动态内容相关联的语义映射图和/或元数据施加全局或局部限制,从而防止指定的动态内容单元或动态内容在任何三维环境中不想要的显示或移动。
表I
表I提供了对地理空间访问控制和基于对象的访问控制之间的差异进行的概述。实施例提供了一种系统,其可用于对动态内容单元和动态内容进行访问控制,其可适用于任何个人或策略制定者可能希望管理与动态内容单元和动态内容相关的给定对象或地理空间区域的任何原因。在经受访问控制之前,实施例操作于辨识要根据全球位置(例如,海拔高度、经度和纬度)定义的静态地理空间单元。类似地,要经受访问控制的静态对象必须是可经由对象检测技术来检测的。动态地理空间访问控制或基于对象的访问控制基于如下原理进行工作:经由边缘云中的处理可检测且可跟踪给定位置或对象。
静态访问控制指代在所有情况下都阻止动态内容单元和动态内容出现在三维场域内或覆盖在预定对象之上。然而,存在如下情况:可能期望防止动态内容出现在环境中动态发生的场景或对象附近。例如,广告主可能想要其动态内容出现在城镇广场中,但不是在该城镇广场用于音乐会或抗议时。类似地,虽然广告主可以将其动态内容放置在城市巴士的侧面,但是他们可能想要防止其被叠加在行人或其它交通工具之上。这被称为动态访问控制。为了支持动态访问控制,XR用户装置必须能够利用实时传感器(例如,视觉信息、音频信息、范围信息和类似信息)数据来增强对场景的现存语义理解。通过利用基于边缘云的架构以实时地增强语义理解从而用于动态内容单元服务和动态内容管理器的目的,实施例可以受益于使用5G(新无线电)NR的低时延和高速度。
图3是动态内容单元的一个实施例的示意图,示出静态访问控制和动态访问控制两者。所示出的示例是街道场景,其中移动动态内容单元或相关联的动态内容具有访问控制,访问控制指示当行人穿过空间移动时它们不可以穿过行人行进或被叠加在行人之上。
该场景包括经静态访问控制的对象(3),其是灯柱。虽然它可以周期性地重新定位,但是它并不是非常有规律地来这样做。经静态访问控制的区域不要求边缘云中的实时处理。如上所述,静态访问控制用于防止移动动态内容单元显示很少在环境中四处移动的附近对象。此类对象的示例包括物理位置,诸如建筑物和公园;物理基础设施,诸如灯柱或人行横道;以及景点,诸如雕塑和喷泉。对象或位置可出于任何原因受到访问控制,例如广告主可选择不允许其内容在特定位置显示,或政府政策可防止XR内容在某些位置显示。这包括地理空间访问控制和对象访问控制。
应用访问控制的第一步骤可以是使用空间映射和对象检测来登记、注册或类似地记录关于物理环境的信息。在通过XR用户装置(例如,头戴式送受话器(headset))注册之后,将所得到的数据上传到边缘云中(例如,经由5G NR和/或Wi-Fi)。根据装置能力和网络条件,发送到边缘云的信息可以是原始数据(视觉、音频、传感器和其它信息)、处理后的数据(例如,特征、关键帧、姿势、检测或类似信息)或甚至是局部或部分映射图(点云或网状网络(mesh))。
一旦处于边缘云中,空间映射就用于识别环境的几何形状以构建场景的3D模型并在三维中测量环境中元素的尺寸和形状。这产生三维空间映射图。语义理解用于对场景内的对象进行定位和分类并把它们归类。
然后,这些数据被存储在边缘云内、供应方平台(SSP)处或类似的位置。实施例支持如下使用情况:用户(例如广告主)经由实时竞价(RTB)、程序化广告或类似技术对动态内容单元进行竞价。可基于包含在特定移动动态内容单元的运动范围中的经访问控制的对象的数量或基于类似准则或其组合来对这些出价进行评分。
在图3中,该场景也包括动态访问控制的示例,因为访问控制区域随着行人移动。最初当行人在时间1在点(1)处时经受访问控制的区域当行人在时间2位于点(2)处时不再经受访问控制。不允许在用交叉影线指示的区域内显示动态内容。这可以使用地理空间访问控制和对象访问控制来实现。动态访问控制用于防止移动动态内容单元在环境中频繁四处移动的某些类型的对象附近显示。此类对象的示例包括行人、机动交通工具和动物。任何对象都可以出于任何原因与访问控制相关联。
动态访问控制的整个过程类似于静态访问控制。除了相关于静态访问控制描述的空间映射图和对象检测过程之外,动态访问控制利用XR用户装置连续地将数据(原始的(音频、视觉、传感器和其它数据)或经处理的(特征、姿势、关键帧、点云或类似数据))流播到边缘云中以供处理。这些数据用于关于是否允许移动动态内容单元移动以及相关联的动态内容是否可以在新位置中显示来实时更新三维空间映射图。
然后,由边缘云与供应方平台(SSP)或类似实体共享所得到的实时空间映射图。实施例使得用户(例如,广告主)能够对移动动态内容单元进行竞价,以便经由实时竞价(RTB)和其它形式的程序化广告来显示其所选动态内容。启用动态访问控制实时地防止动态内容出现在由动态访问控制确定的错误位置。
图4-6是用于支持动态内容单元服务的边缘云和相关组件的架构的各方面的示意图。实施例提供了具有许多优点的架构,这些优点包括速度、可缩放性、灵活性、上下文和维度。在使用5G、边缘计算和云计算的架构中提高了速度,这允许空间映射过程比当前解决方案快得多地完成。该架构是可缩放的,因为它是云和边缘就绪的。由于动态内容单元的辨识可使用任何类型的装置来完成,因此该结构是灵活的。通过将语义信息并入空间映射中,实施例的架构使得用户能够自动阻止和/或允许在预定表面上创建动态内容单元。通过将所有三维(高度、宽度和深度)并入动态内容单元的定义中,实施例提供了用于表征物理空间的更佳匹配。
图4是边缘云中电子装置的、实现移动动态内容单元服务的过程的一个实施例的流程图。该流程图示出创建语义映射图并产生动态内容单元的位置的输入和功能的关系。动态内容单元存在于被称为空间映射图的、环境的虚拟表示中。空间映射允许该过程扫描和映射真实环境,并使用该虚拟表示在其内放置三维动态内容单元。这是使用XR用户装置中存在的传感器(例如,通常为拍摄装置和惯性传感器)、通过计算几何形状和计算机视觉来映射环境而同时跟踪XR用户装置在其内的位置来完成的。利用环境的映射图和关于XR用户装置的姿势(即,位置和定向)的数据,该过程可导出动态内容单元在环境中的可能位置、尺寸和放置。
辨识动态内容单元和相关联的动态内容可被投影到的最佳空间和表面不足以理解可能的动态内容单元放置位置。表面数据不具有与其相关联的语义含义或解释。纯几何空间映射方法不能推荐哪些表面对于动态内容单元放置是可行的。执行空间映射,该空间映射可以推断场景的语义和上下文,并且将关于对象的类别和语义的信息并入映射图内。例如,可以有两个相等维度的平坦的(flat)八边形表面。一个八边形是放置在超市内的空白广告板,而另一个八边形是交通交叉路口处的停止标志。由于当前空间映射技术未并入语义和上下文信息,因此其将会把两个表面都辨识为可能的动态内容单元位置。尽管空白广告板对于动态内容单元放置可能是理想的,但是将动态内容单元放置在交通标志上是潜在危险的。实施例并入来自环境中附近对象的上下文信息来解决该问题。
上述示例有助于说明场景内动态变化如何是永久或暂时的异常。正如关于所映射环境的信息可改善对象检测一样,测量场景内对象的定向和/或姿势的改变的动态过程改善检测准确性。此外,对空间映射图内的对象进行分类允许在动态内容单元位置辨识过程中自动包括和/或从动态内容单元位置辨识过程中自动排除特定对象空间或表面。存在许多不适合动态内容单元的表面或空间。例如,在人脸、交通标志和诸如道路、人行道和人行横道的物理基础设施上创建动态内容单元是不恰当且危险的。将语义信息并入空间映射图中允许动态内容单元创建过程遵循围绕自动包含和/或排除各种表面的一致规则集合。
将对象检测(语义)和空间映射(几何形状)组合在一起是关于动态内容单元的自动创建和放置的实施例的实际使用的一部分。语义与空间映射图的组合被称为语义映射图,其是具有嵌入式语义信息的空间映射图。如图4所示,空间映射可以通过不同的映射算法来执行,例如使用同时定位和映射(SLAM)框架。而作为对象检测模型的神经网络(例如,CNN)可用于提供映射图中所辨识对象的语义信息,诸如类别、置信度和界定框。对象的3D姿势可以直接根据深度数据(如果可用)或对于作为来自SLAM的输出的装置姿势和关键帧使用现有姿势估计模型来估计。
生成语义映射图的过程包括获得由用户装置检测到的环境的几何形状。环境的几何形状可以通过执行来自传感器数据的空间映射(例如对惯性测量单元(IMU)输入或类似的传感器数据使用同步定位和映射(SLAM)、运动恢复结构(SfM)或其它3D重建算法)来获得。SLAM可由XR应用来利用,空间映射可在XR用户装置中或在云中执行,例如,在云服务中离线或使用边缘云基础设施实时执行。该过程还获得环境的语义。该过程使用例如卷积神经网络(CNN)来执行对象检测,且直接使用(例如,来自拍摄装置或类似传感器的)深度数据或使用根据来自SLAM过程的关键帧和装置姿势进行的姿势估计来估计所检测对象的3D方位。
根据已经确定的几何形状和语义,该过程构建语义映射图(例如,具有嵌入式对象身份的空间映射图)。根据语义映射图,该过程辨识环境中的感兴趣对象。这可以包括基于对象的类别对对象约束和速度的数据库的查找。根据感兴趣对象的该集合,确定所辨识的对象的初始/当前条件,诸如定向、姿势、速度和移动方向。该过程还基于所辨识的对象的类别寻找该对象的移动约束(例如,通过根据对象约束和速度的数据库中的查找来确定预期速度和移动约束)。可以通过在边缘云处维护的对象数据库中的查找来确定类别信息。利用所确定的该信息集合,可以确定针对相关对象的所确定约束。例如,汽车不能横向移动,而是可以前后移动,人可以在所有方向上移动,汽车和人都是地板界定的并且不可能竖直移动。
基于所辨识的障碍物和界定表面,所述过程还辨识空间映射图上对象自由移动到的空间(Cfree)和对象不能移动到的空间(Cobstacle)。这辨识了对象的几何形状与环境几何形状冲突的空间。该过程基于预期速度和预期计算频率来设置网格分辨率。对象移动得越快,维持移动预测的良好准确性所需的计算频率就越快。输入网格分辨率以定义用于基于网格的搜索的网格。该过程在Cfree上执行基于网格的搜索以辨识潜在路径。在每个网格点处,允许对象移动到相邻网格点,只要它们之间的线完全包含在Cfree内即可。基于网格的穷尽搜索将构建可能位置的完整道路映射图。不需要建立完整的道路映射图。可以优化该过程以使用起始点信息(比如初始条件(速度和方向)),并且少数连续网格点的遍历将足以完成基于网格的搜索。可以执行其它运动规划算法(比如基于采样的算法、模糊算法、人工势场法和类似的运动规划算法)来代替基于网格的搜索,以探索用于潜在路径的Cfree
基于所辨识的初始条件和约束,该过程围绕所辨识的对象的当前状态构建概率字段。这取决于用于计算的期望/可用帧速率。概率字段上的点将是0和1之间的值,其描述了考虑到移动约束、基于当前方位、定向、移动方向和速度对象移动到某个方位的可能性。概率字段是根据在以当前点为搜索起点的、基于网格的搜索(或类似搜索)中获得的所有可能的移动网格空间来构建的。该过程将值1指派到Cfree中所有获得的可能移动方向,将0指派到网格的其余部分。该过程在四面八方乘以对象移动约束值(例如,对于约束方向为零,对于允许方向为1)。可以从对象约束和速度的数据库中获得移动约束。基于当前定向、方向和速度,该过程在行进方向上乘以角度调整值“ang_adj=max(1-a*sin(abs(θ/2)),0)”,其中θ是与行进方向的偏差,并且“a”是0与无穷大之间的常数。为零的角度调整值将允许不受限制的方向改变,大的角度调整值将仅允许朝向当前行进方向的延续。将对象的速度乘以衰减值[0-1]乘以网格距离以预测当前方位。该值越大,随距离的衰减越慢。衰减值可由对象的任何机制或属性来指定。例如,不同类别或归类的对象可以与不同的衰减值相关联。这些修改的结果是D-MPF或类似的语义映射图,其可被存储在边缘云处并被返回到XR应用或XR用户装置。
此外,语义映射图可以应用允许的和不允许的对象、空间、区域和类似的访问控制。这些访问控制用作对适合用于动态内容单元或动态内容的对象、空间、区域和类似实体的过滤器,或可指示动态内容单元或动态内容可在XR环境内何处行进。
经由访问控制对移动动态内容单元的阻止可以手动或自动完成。手动地理空间访问控制可由管理员完成,管理员能够标记或分割XR环境中的不同点以定义该环境中的几何面积或体积,以便阻止在该特定空间中创建移动动态内容单元。
访问控制的实现可以以包括在线和离线的不同方式来完成。可使用环境内的XR用户装置并使用姿势或其它做标记工具来对点、表面或体积做标记以定义其内的空间边界,从而提供在线访问控制。在离线访问控制过程中,环境的3D表示用于标记位置的边界,所述边界被标记以用于阻止或类似的访问控制。例如,保管者(custodian)可以可视化环境的3D表示并且屏蔽访问控制的位置。为此,预先使环境的映射图可用。实施例也包括使用视觉、音频、传感器或其它数据来使特定对象或地理空间位置经受访问控制。这涉及在边缘云中处理这些数据并修改存储在边缘云处或供应方平台(SSP)内的空间映射图。
图5是基于边缘云的动态内容单元服务的架构的一个实施例的示意图。该示意图示出视频、音频、传感器和其它数据从XR用户装置501进入边缘云503的流。一旦被处理,这些数据然后就在内容被返回到XR眼镜501之前被共享到动态内容管理器507生态系统中。该过程是静态的,因为它没有并入实时数据。这是用于静态访问控制的网络示意图和架构。该示意图示出从触发移动动态内容单元接收出价并且然后在XR用户装置501中显示获胜的动态内容的过程。该架构是通用的,并且可以被扩展以并入附加的过程,诸如仅经由云和/或边缘的处理或直接动态内容购买。第一步骤(1)是在动态内容管理器中激活移动动态内容单元以便销售。任何事件或过程都可触发移动动态内容单元以供销售。
在第二步骤(2)中,XR用户装置501并入附加的音频、视觉和传感器数据以改善XR动态内容的可视化。在第三步骤(3)中,这些数据以及关于移动动态内容单元的信息经由5GNR、WiFi或类似技术从XR用户装置501上传到边缘云503中。第四步骤(4)是要在边缘云中处理这些数据,以用于空间映射和语义理解。在可选步骤(5)中,在该处理之后可以删除原始数据,以保护用户隐私或减少数据存储需求。步骤六(6)用于将空间映射和语义理解的结果(以及原始基础数据)存储在数据库505中,该数据库505可以是边缘云503本地的或在远程位置。在步骤七(7)中,与供应方平台(SSP)511或动态内容管理器507的类似方面共享所得到的、具有移动动态内容单元的运动范围的空间映射图。在步骤8中,空间映射图然后关联于SSP的元数据,诸如动态内容相关访问控制(例如,品牌和广告主级别的访问控制)。
第九步骤(9)是SSP在内容交换机(content exchange)509中销售其移动动态内容单元的库存。该库存然后从对如下方面感兴趣的实体接收出价(10):使其动态内容经由其竞价的动态内容单元在XR环境中显示。任何过程或机制都可用于处理和选择对动态内容单元做出的出价以显示动态内容。在选择获胜的出价之后,XR用户装置501接收(步骤12)动态内容,并且然后在移动动态内容单元中显示动态内容(经由步骤11)。
图6是基于边缘云的移动动态内容单元服务的架构的另一实施例的示意图。该图示出视频、音频、传感器和其它数据从XR用户装置进入边缘云的流。一旦被处理,这些数据然后就在动态内容被返回到XR用户装置501之前被共享到动态内容管理器507生态系统中。该过程是动态的,因为它并入了来自XR用户装置501的实时数据并将其返回到边缘云503以进行空间映射图的处理和改进。
该示意图示出从触发动态内容到XR用户装置中显示的过程。该架构是通用的,并且可以被扩展以并入附加的过程,诸如仅仅经由云和/或边缘的处理或直接动态内容购买。该架构和过程类似于上述静态过程,但不同之处在于它允许并入从XR用户装置501收集的实时数据。第一步骤(1)是激活移动动态内容单元以便在程序化广告中销售。该架构能够由然后可提供移动动态内容单元以销售从而显示动态内容的任何事件或过程来触发。
在第二步骤(2)中,XR用户装置并入附加的音频、视觉和传感器数据以改善XR动态内容的可视化。在第三步骤(3)中,这些数据以及关于移动动态内容单元的信息经由5G NR和/或WiFi从XR用户装置501上传到边缘云503中。第四步骤(4)是要在边缘云503中处理这些数据,以便空间映射和语义理解。在可选的步骤(5)中,可以删除原始数据。步骤六(6)用于将空间映射和语义理解的结果(以及原始基础数据)存储在数据库505中。在步骤七(7)中,与供应方平台(SSP)511共享所得到的、具有移动动态内容单元的运动范围的空间映射图。在步骤8中,空间映射图然后关联于SSP的元数据,诸如基于用户的访问控制(例如,品牌和广告主级别的访问控制)。
第九步骤(9)是SSP 511在内容交换机509中销售其移动动态内容单元的库存。然后,该库存从用户(例如,广告主)接收出价(10)。实施例支持对XR动态内容进行出价所通过的任何过程。在选择获胜的出价之后,XR用户装置501然后在移动动态内容单元(11)中显示动态内容。当显示内容时,XR用户装置501连续记录数据并将其共享到边缘云503中(12)以连续改进空间映射图,并接收对应更新的显示内容(13)。
一旦语义空间映射图上的空间已经经由访问控制被(预先或在映射过程期间自动地)指定为允许的或阻止的。它们被自动辨识为移动动态内容单元时机,并且标准化的移动动态内容单元可基于其维度被指派到该特定空间。如果在映射过程期间,其它阻止的或允许的空间经由访问控制被辨识为用于托管移动动态内容单元的潜在空间,则此类空间也可被辨识为移动动态内容单元。这取决于谁拥有物理空间以及拥有者是否允许在此类空间上的移动动态内容单元放置。阻止的空间可被自动阻止,不包括被视为覆盖时机的情况。
一旦已在映射图内辨识出移动动态内容单元,就自动监视它们的动态内容放置。动态内容放置作为映射图中、对应于移动动态内容单元时机的经投影物理空间上的虚拟覆盖或虚拟内容的投影而发生。为了使其发生,第一移动动态内容单元应被映射和定尺寸,其中它们将被初始投影,即,应定义起始位置和定向。需要根据来自空间映射图的环境信息来辨识运动范围。例如,移动动态内容单元可在任何方向上行进,只要它不经过物理基础设施或空间映射图中标识的其它虚拟内容即可。并且,也应该定义速度范围。
静态动态内容单元根据其几何的、投影的或渲染的尺寸使用不同参数化备选方案来定义其尺寸、位置和定向。对于具有运动范围的动态覆盖,该定义将被用作原点。因此,移动动态内容单元可以表示为体积对象,该体积对象定义了三个三维分量的九维向量(AUG):平移(t)、旋转(r)和尺寸(s)。其中“t”和“r”定义移动动态内容单元的起始点(位置和定向)。此外,动态覆盖也由描述运动范围的平移和旋转分量的运动范围的六维张量(AUM)来定义,每个分量都具有最小界限和最大界限。此外,描述平移(v)和旋转(w)分量的速度范围的六维张量(AUV),每个分量具有最小界限和最大界限。对于静态动态内容单元,起始点与动态内容单元的位置相同,并且运动范围向量是酉向量(unitary vector),并且速度分量是零。尺寸(s)分量由对象在笛卡尔坐标中相对于本体坐标系的欧几里得体积表示(w,H,D)构成。平移(t)分量描述了本体坐标系原点相对于惯性坐标系(例如质心)的具体地理位置(纬度、经度、高度)或笛卡尔位置(x、y、z)。定向(o)分量由本体坐标系相对于惯性坐标系的特定定向 来定义。运动的平移范围表示为(Mx,My,Mz)。运动的旋转范围表示为 平移速度范围表示为(Vx,Vy,Vz)。旋转速度范围表示为/>因此,移动动态内容单元可在空间映射图中表示为九维向量。平移t∈R3,定向o∈[0,2π)3并且尺寸s∈R3
可以使用空间映射图中移动动态内容单元的参数定义。惯性坐标系原点(X,Y,Z)可以被定义在映射图的地理原点处或任何其它任意原点处。主体坐标系原点(X”’,Y”’,Z”’)可以被定义在动态内容单元的质心处(其中动态内容单元起始点的维度(W,H,D)与坐标系轴对准),在位于点(x,y,z)处相对于惯性坐标系原点的特定定向处。存在优化移动动态内容单元的参数表示的多种方式,其减少向量维度且在空间映射图中定义动态内容单元时应用假设或约束。
在一个实施例中,可将动态内容单元参数化,使得以全局一致的定向参考(重力)来定义移动动态内容单元。这可以定义平行于墙壁或竖直表面的动态内容单元,以便从直立的视角观看。这是实用的,因为在大多数情况下,动态内容单元定向将利用指向重力方向的“底”平面来约束。此约束允许将姿势空间缩减到四维而不是六维。换句话说,将完整的空间表示从九个元素缩减到七个元素:平移t∈R3,围绕重力的旋转(航向角(yaw))ψ∈[0,2π)并且尺寸s∈R3
AUG=[x,y,z,ψ,W,H,D]
运动范围的分量可以在参数上被约束如下:
AUM=[mx,my,mz,mψ]
AUV=[vx,vy,vz,wψ]
除了移动动态内容单元的、包含关于动态内容单元位置、定向和尺寸的信息的参数表示(AUG)之外,动态内容单元还可以包含关于其中允许的内容类型的额外信息。该元信息可以包括:媒体类型,例如静止投影、视频或交互内容;例如对于不同类型的行业(比如游戏、时尚、消费电子、食品或类似类型)所允许的广告类型;目标受众(例如,针对特定受众或一般公众的动态内容);特定品牌或用户(例如属于特定行业的任何品牌或用户),或仅特定品牌或用户(例如拥有某些动态内容单元的“位置”的品牌);以及标识可被投影到所述动态内容单元的内容类型的其它类型元数据。动态内容单元的元数据也可使用任何方法或过程使用确定特定动态内容单元的受众类型的即时竞价过程来自动定义。
基于运动概率字段实施例,实施例使得运动范围能够由最终用户的环境中的固定障碍物来界定,动态内容单元和动态内容不能在逻辑上经过所述固定障碍物,如上所述。此类障碍物的示例包括墙、建筑物和浓密的树叶。
一旦已执行动态内容单元的映射,便需要在XR用户装置中显示指派到移动动态内容单元的动态内容。为了在装置处渲染动态内容,首先将基于移动动态内容单元的XR覆盖投影到XR用户装置参考坐标系。这个方面也可以在用于表示动态内容单元以便在RTB中定价的机制中予以考虑。在一种情形中,动态内容单元的定价由相关联XR覆盖的、以像素为单位的尺寸来定义,而不管其观看的视角如何。然而,当从近处或从远处感知时,对XR覆盖的感知可能是非常不同的。如果从正前方或从一个角度感知,尤其是对于平坦的XR覆盖,它也可以是不同的。因此,在一些实施例中,用于竞价目的的动态内容单元可以根据其投影表示(而不是几何表示)来定义。
当使用投影映射时,移动动态内容单元的XR覆盖取决于观察其的视角而占据XR用户装置显示器的特定尺寸。XR用户装置显示器中的尺寸取决于观察者对特定移动动态内容单元的几何位置的相对姿势。换言之,与从近距离相比,从远处,相同的XR覆盖将看起来小。并且它们看起来所占据的尺寸在不同角度可能不同。投影的表示将移动动态内容单元维度减少一,因为移动动态内容单元的三维表示作为XR覆盖被投影到二维“显示”平面中。投影的尺寸取决于视角,但不取决于显示器的分辨率。
一旦动态内容单元已被投影到视平面,它就需要根据它将被观察的显示器而渲染为XR覆盖。取决于投影的尺寸映射,XR覆盖占据XR用户装置显示器的特定尺寸。它们被投影并以2D渲染,而不管它们的维度顺序如何。对于给定几何尺寸的XR覆盖的任何给定相对姿势,用于显示XR覆盖的像素数量将根据显示器的分辨率而变化。鉴于此情况,给定几何尺寸和相对姿势的XR覆盖对于具有不同分辨率的两个不同XR用户装置将具有以cm为单位的相同渲染尺寸,但具有以像素2为单位的不同渲染尺寸。
将参考其它附图的示例性实施例来描述流程图中的操作。然而,应当理解,流程图的操作可以由本发明的实施例而不是参考其它附图讨论的那些实施例来执行,并且参考这些其它附图讨论的本发明的实施例可以执行与参考流程图讨论的那些操作不同的操作。
图7是在边缘云中电子装置集合的、实现移动动态内容单元服务的过程的一个实施例的流程图。该过程是相对于由边缘云的系统实现的、装置处的操作来描述的,所述操作可以由其中任何数量的装置来实现。该过程可由使得XR用户装置向边缘云发送位置和姿势信息的任何事件来触发(框701)。由XR用户装置的传感器检测到的、关于物理真实世界环境的任何数量和种类的信息可连同关于XR用户装置的任何状态信息一起来提供。然后,对于XR用户装置的相关位置和姿势信息来确定动态内容单元信息(框701)。XR用户装置附近可能的动态内容单元可使用本文所述的技术的任何组合来确定。还确定每个所辨识的动态内容单元的运动范围(框705)。使用本文所述的任何技术来确定动态内容单元的运动范围。
在一些实施例中,在确定动态内容单元之后,可丢弃所接收的动态环境信息(例如,位置和姿势信息)(框707)。可以丢弃该信息以用于资源消耗管理、隐私或类似考虑因素。还确定与XR用户装置相关的空间映射图,并且还根据从XR用户装置接收的信息以及由边缘云从诸如其它XR用户装置等其它装置收集的其它数据来确定所检测对象和真实世界特征的语义信息(框709)。在一些实施例中,从所接收的XR用户装置信息中导出语义信息(框711),而在其它实施例中,分开地收集该信息并使该信息可由边缘云使用。将空间映射图和语义信息组合以形成语义映射图(框713)。可以利用本文讨论的任何技术来生成语义映射图。在一些实施例中,语义映射图可以连同相关的语义信息一起被更新/存储在本地或远程数据库中(框715)。在一些实施例中,在利用/收集之后可以丢弃收集的语义信息或语义映射图的任何部分以节约存储空间(storage)、节约资源使用、保护隐私或类似的考虑因素。
在确定了语义映射图的情况下,可应用与对象、位置和类似实体相关的访问控制以确定哪些动态内容单元可具有指派到它们的哪些类型(如果有的话)的动态内容(框719)。一旦辨识出可应用的访问控制,则可应用它们来限制或过滤可用于动态内容或动态内容类型的动态内容单元。然后,可经由RTB或如本文所述的类似过程针对要指派到动态内容单元的动态内容来对动态内容管理器作出查询(框723)。动态内容管理器返回指派到每个动态内容单元的动态内容(框725)。在一些实施例中,应用另外的访问控制以确保动态内容的类型适合于当前位置或特定动态内容单元,如本文所述(框727)。然后,将经批准的动态内容返回到XR用户装置以进行显示,如本文所述(框729)。将动态内容返回到XR用户装置可以包括以下中的一项或多项:传送实际动态内容(例如,用于由用户装置渲染到场景中)、传送指向内容的链接或指针(例如,用于由装置检索动态内容以由用户装置渲染)或传送包括动态内容的经渲染图像(例如,渲染发生在边缘云中,其返回渲染到场景中的动态内容的一个或多个图像)。动态内容可以这些形式单独返回或与相关联的动态内容单元组合返回。
图8是根据一些实施例、提供XR覆盖服务的无线网络的一个实施例的示意图。尽管可以在使用任何适合的组件的任何适合类型的系统中实现本文中描述的主题,但关于无线网络(诸如图8中图示的示例无线网络)描述本文中公开的实施例。为了简单起见,图8的无线网络只描绘网络806、网络节点860和860b以及WD 810、810b和810c。实际上,无线网络可以还包括适合支持无线装置之间或无线装置与另一通信装置(诸如固定电话、服务提供商或任何其它网络节点或终端装置)之间的通信的任何附加元件。在图示的组件中,通过附加细节描绘了网络节点860和无线装置(WD)810。无线网络可以向一个或多个无线装置提供通信和其它类型的服务以促进无线装置接入无线网络和/或使用由无线网络或经由无线网络提供的服务。
无线网络可以包括任何类型的通信、电信、数据、蜂窝和/或无线电网络或其它相似类型的系统和/或与任何类型的通信、电信、数据、蜂窝和/或无线电网络或其它相似类型的系统通过接口连接。在一些实施例中,无线网络可以配置成根据特定标准或其它类型的预定义规则或过程来操作。因此,无线网络的特定实施例可以实现通信标准,诸如全球移动通信系统(GSM)、通用移动电信系统(UMTS)、长期演进(LTE)、和/或其它适合的2G、3G、4G或5G标准;无线局域网(WLAN)标准,诸如IEEE 802.11标准;和/或任何其它适合的无线通信标准,诸如全球微波接入互操作性(WiMAX)、蓝牙、Z-Wave和/或ZigBee标准。
网络806可以包括一个或多个回程网络、核心网络、IP网络、公共交换电话网(PSTN)、分组数据网络、光网络、广域网(WAN)、局域网(LAN)、无线局域网(WLAN)、有线网络、无线网络、城域网和在装置之间实现通信的其它网络。
网络节点860和WD 810包括下面更详细描述的各种组件。这些组件一起工作以便提供网络节点和/或无线装置功能性,诸如在无线网络中提供无线连接。在不同的实施例中,无线网络可以包括任意数量的有线或无线网络、网络节点、基站、控制器、无线装置、中继站和/或可以促进或参与数据和/或信号的通信(无论经由有线还是无线连接)的任何其它组件或系统。
如本文中使用的,网络节点指代能够、配置成、布置成和/或可操作以与无线装置和/或与无线网络中的其它网络节点或设备直接或间接通信以对无线装置实现和/或提供无线接入和/或执行无线网络中的其它功能(例如,管理)的设备。网络节点的示例包括但不限于接入点(AP)(例如,无线电接入点)、基站(BS)(例如,无线电基站、节点B、演进节点B(eNB)和NR NodeB(gNB))。基站可以基于它们提供的覆盖的量(或,换句话说,它们的传送功率水平)来被归类并且于是可以还被称为毫微微基站、微微基站、微基站或宏基站。基站可以是中继节点或控制中继的中继施主节点。网络节点还可以包括分布式无线电基站的一个或多个(或所有)部分,诸如集中式数字单元和/或远程无线电单元(RRU),其有时被称为远程无线电头端(RRH)。此类远程无线电单元可以与或可以不与天线集成为天线集成无线电设备。分布式无线电基站的部分也可以被称为分布式天线系统(DAS)中的节点。网络节点的又一进一步示例包括多标准无线电(MSR)设备(诸如MSR BS)、网络控制器(诸如无线电网络控制器(RNC)或基站控制器(BSC))、基站收发信台(BTS)、传输点、传输节点、多小区/多播协调实体(MCE)、核心网络节点(例如,MSC、MME)、O&M节点、OSS节点、SON节点、定位节点(例如,E-SMLC)和/或MDT。作为另一示例,网络节点可以是虚拟网络节点,如下面更详细描述的。然而,更一般地,网络节点可以表示能够、配置成、布置成和/或可操作来为无线装置实现和/或提供对无线网络的接入或向已接入无线网络的无线装置提供某种服务的任何适合的装置(或装置的群组)。
在图8中,网络节点860包括处理电路模块870、装置可读介质880、接口890、辅助设备884、电源886、电源电路模块887和天线862。尽管图8的示例无线网络中图示的网络节点860可以表示包括所图示的硬件组件组合的装置,但其它实施例可以包括具有不同组件组合的网络节点。要理解网络节点包括执行本文中公开的任务、特征、功能和方法所需要的硬件和/或软件的任何适合的组合。此外,尽管网络节点860的组件被描绘为嵌套在多个框内或位于较大框内的单个框,但实际上,网络节点可以包括组成单个图示的组件的多个不同的物理组件(例如,装置可读介质880可以包括多个分开的硬盘驱动器以及多个RAM模块)。
相似地,网络节点860可以由多个物理上分开的组件(例如,NodeB组件和RNC组件,或BTS组件和BSC组件等)组成,所述多个物理上分开的组件可以各自具有它们自己的相应组件。在其中网络节点860包括多个分开组件(例如,BTS和BSC组件)的某些情形中,所述分开组件中的一个或多个可以在若干网络节点之间共享。例如,单个RNC可以控制多个NodeB。在此类情形中,每个唯一的NodeB和RNC对在一些实例中可以视为单个单独的网络节点。在一些实施例中,网络节点860可以配置成支持多个无线电接入技术(RAT)。在此类实施例中,一些组件可以是重复的(例如,用于不同RAT的单独的装置可读介质880)并且一些组件可以是重用的(例如,相同的天线862可以被RAT共享)。网络节点860还可以包括用于集成到网络节点860中的不同无线技术(诸如例如GSM、WCDMA、LTE、NR、Wi-Fi或蓝牙无线技术)的各种图示的组件的多个集合。这些无线技术可以集成到网络节点860内的相同或不同的芯片或芯片集以及其它组件中。
处理电路模块870配置成执行在本文中被描述为由网络节点提供的任何确定、计算或相似操作(例如,某些获得操作)。由处理电路模块870执行的这些操作可以包括通过例如将获得的信息转换成其它信息、将获得的信息或经转换的信息与网络节点中存储的信息进行比较和/或基于获得的信息或经转换的信息来执行一个或多个操作从而处理由处理电路模块870获得的信息,并且作为所述处理的结果做出确定。
处理电路模块870可以包括以下中的一个或多个的组合:微处理器、控制器、微控制器、中央处理单元、数字信号处理器、专用集成电路、现场可编程门阵列或任何其它适合的计算装置、资源,或可操作以单独或连同其它网络节点860组件(诸如装置可读介质880)一起提供网络节点860功能性的硬件、软件和/或编码逻辑的组合。例如,处理电路模块870可以执行存储在装置可读介质880中或处理电路模块870内的存储器中的指令。此类功能性可以包括提供本文中论述的各种无线特征、功能或益处中的任何无线特征、功能或益处。在一些实施例中,处理电路模块870可以包括片上系统(SOC)。
在一些实施例中,处理电路模块870可以包括射频(RF)收发器电路模块872和基带处理电路模块874中的一个或多个。在一些实施例中,射频(RF)收发器电路模块872和基带处理电路模块874可以在分开的芯片(或芯片集)、板或单元(诸如无线电单元和数字单元)上。在备选实施例中,RF收发器电路模块872和基带处理电路模块874中的部分或全部可以在相同的芯片或芯片集、板或单元上。
在某些实施例中,本文中描述为由网络节点、基站、eNB或其它此类网络装置提供的功能性中的一些或全部可以由处理电路模块870执行,所述处理电路模块870执行存储在装置可读介质880或处理电路模块870内的存储器上的指令。在备选实施例中,功能性中的一些或全部可以由处理电路模块870在不执行存储在分开或分立的装置可读介质上的指令的情况下(诸如以硬接线方式)提供。在那些实施例中的任何实施例中,无论是否执行存储在装置可读存储介质上的指令,处理电路模块870都可配置成执行所描述的功能性。由此类功能性提供的益处不限于仅处理电路模块870或网络节点860的其它组件,而是由网络节点860作为整体和/或由最终用户和无线网络一般地享有。
装置可读介质880可以包括任何形式的易失性或非易失性计算机可读存储器,其没有限制地包括:永久性存储装置、固态存储器、远程安装存储器、磁介质、光介质、随机存取存储器(RAM)、只读存储器(ROM)、大容量存储介质(例如,硬盘)、可拆卸存储介质(例如,闪速驱动器、致密盘(CD)或数字视频盘(DVD)),和/或存储可以由处理电路模块870使用的信息、数据和/或指令的任何其它易失性或非易失性、非暂态装置可读和/或计算机可执行存储器装置。装置可读介质880可以存储任何适合的指令、数据或信息,包括计算机程序、软件、应用(包括逻辑、规则、代码、表等中的一个或多个)和/或能够由处理电路模块870执行并且由网络节点860利用的其它指令。装置可读介质880可以用于存储由处理电路模块870进行的任何计算和/或经由接口890接收的任何数据。在一些实施例中,处理电路模块870和装置可读介质880可以视为是集成的。
接口890用于网络节点860、网络806和/或WD 810之间的信令和/或数据的有线或无线通信中。如图示的,接口890包括用于通过有线连接例如向网络806发送数据和从网络806接收数据的(一个或多个)端口/(一个或多个)终端894。接口890还包括无线电前端电路模块892,其可以耦合到天线862或在某些实施例中是天线862的一部分。无线电前端电路模块892包括滤波器898和放大器896。无线电前端电路模块892可以连接到天线862和处理电路模块870。无线电前端电路可以配置成调节在天线862与处理电路模块870之间传递的信号。无线电前端电路模块892可以接收要经由无线连接发出到其它网络节点或WD的数字数据。无线电前端电路模块892可以使用滤波器898和/或放大器896的组合将该数字数据转换成具有合适信道和带宽参数的无线电信号。然后可以经由天线862传送该无线电信号。相似地,在接收数据时,天线862可以收集无线电信号,这些无线电信号然后被无线电前端电路模块892转换成数字数据。该数字数据可以被传递给处理电路模块870。在其它实施例中,接口可以包括不同组件和/或组件的不同组合。
在某些备选实施例中,网络节点860可以不包括单独的无线电前端电路模块892,而是处理电路模块870可以包括无线电前端电路模块并且可以连接到天线862而没有单独的无线电前端电路模块892。相似地,在一些实施例中,RF收发器电路模块872中的全部或一些可以视为接口890的一部分。在又一些其它实施例中,接口890可以包括一个或多个端口或终端894、无线电前端电路模块892和RF收发器电路模块872,来作为无线电单元(未示出)的一部分,并且接口890可以与基带处理电路模块874通信,该基带处理电路模块874是数字单元(未示出)的一部分。
天线862可以包括一个或多个天线或天线阵列,其配置成发送和/或接收无线信号。天线862可以耦合到无线电前端电路模块890并且可以是能够无线传送和接收数据和/或信号的任何类型的天线。在一些实施例中,天线862可以包括一个或多个全向、扇形或平板天线,其可操作以传送/接收在例如2GHz与66GHz之间的无线电信号。全向天线可以用于在任何方向上传送/接收无线电信号,扇形天线可以用于在特定区域内从装置传送/接收无线电信号,并且平板天线可以是用于在相对直的线上传送/接收无线电信号的视线天线。在一些实例中,多于一个天线的使用可以称为MIMO。在某些实施例中,天线862可以与网络节点860分开并且可以通过接口或端口可连接到网络节点860。
天线862、接口890和/或处理电路模块870可以配置成执行在本文中描述为由网络节点执行的任何接收操作和/或某些获得操作。可以从无线装置、另一网络节点和/或任何其它网络设备接收任何信息、数据和/或信号。相似地,天线862、接口890和/或处理电路模块870可以配置成执行在本文中描述为由网络节点执行的任何传送操作。可以将任何信息、数据和/或信号传送给无线装置、另一网络节点和/或任何其它网络设备。
电源电路模块887可以包括或耦合到电源管理电路模块并且配置成向网络节点860的组件供应电力以用于执行本文中描述的功能性。电源电路模块887可以从电源886接收电力。电源886和/或电源电路模块887可以配置成以适合于相应组件的形式(例如,以每个相应组件所需要的电压和电流水平)向网络节点860的各种组件提供电力。电源886可以被包括在电源电路模块887和/或网络节点860中或在电源电路模块887和/或网络节点860外部。例如,网络节点860可以经由诸如电缆之类的输入电路模块或接口而可连接到外部电源(例如,电插座),由此外部电源向电源电路模块887供应电力。作为另外的示例,电源886可以包括连接到电源电路模块887或集成在电源电路模块887中的采用电池或电池组的形式的电源。如果外部电源失效,电池可以提供备用电力。还可以使用其它类型的电源,诸如光伏装置。
网络节点860的备选实施例可以包括图8中示出的那些组件以外的附加组件,所述附加组件可以负责提供网络节点的功能性的某些方面,包括本文中描述的功能性中的任何功能性和/或支持本文中描述的主题所必需的任何功能性。例如,网络节点860可以包括用户接口设备以允许将信息输入网络节点860中并且允许从网络节点860输出信息。这可以允许用户对网络节点860执行诊断、维护、修理和其它管理功能。
如本文中使用的,无线装置(WD)指代能够、配置成、布置成和/或可操作以与网络节点和/或其它无线装置无线通信的装置。除非另有指出,否则术语WD可以在本文中与用户设备(UE)可互换地使用。无线通信可以涉及使用电磁波、无线电波、红外波和/或适合于通过空气传达信息的其它类型的信号来传送和/或接收无线信号。在一些实施例中,WD可以配置成在没有直接人类交互的情况下传送和/或接收信息。例如,WD可以设计成按照预定调度、在被内部或外部事件触发时或响应于来自网络的请求而向网络传送信息。WD的示例包括但不限于智能电话、移动电话、蜂窝电话、IP上语音(VoIP)电话、无线本地环路电话、台式计算机、个人数字助理(PDA)、无线拍摄装置(camera)、游戏控制台或装置、音乐存储装置、重放设备、可穿戴终端装置、无线端点、移动站、平板计算机、膝上型计算机、膝上型嵌入式设备(LEE)、膝上型安装式设备(LME)、智能装置、无线客户驻地设备(CPE)、交通工具安装式无线终端装置等。WD可以例如通过实现用于侧链路通信、交通工具对交通工具(V2V)、交通工具对基础设施(V2I),交通工具对一切(V2X)的3GPP标准来支持装置到装置(D2D)通信,并且在该情况下可以被称为D2D通信装置。作为又一特定示例,在物联网(IoT)情形中,WD可以表示执行监测和/或测量并且向另一WD和/或网络节点传送此类监测和/或测量的结果的机器或其它装置。WD在该情况下可以是机器到机器(M2M)装置,其在3GPP上下文中可以被称为MTC装置。作为一个特定示例,WD可以是实现3GPP窄带物联网(NB-IoT)标准的UE。此类机器或装置的特定示例是传感器、计量装置(诸如功率计)、行业机械、或家庭或个人设备(例如,冰箱、电视等)、个人可穿戴设备(例如,手表、健身跟踪器等)。在其它情形中,WD可以表示能够对它的操作状态或与它的操作相关联的其它功能进行监测和/或报告的交通工具或其它设备。如上文描述的WD可以表示无线连接的端点,在该情况下装置可以被称为无线终端。此外,如上文描述的WD可以是移动的,在该情况下它还可以被称为移动装置或移动终端。
如图示的,无线装置810包括天线811、接口814、处理电路模块820、装置可读介质830、用户接口设备832、辅助设备834、电源836和电源电路模块837。WD 810可以包括用于由WD 810支持的不同无线技术(仅举几例,诸如,例如GSM、WCDMA、LTE、NR、Wi-Fi、WiMAX、或蓝牙无线技术)的所图示组件中的一个或多个组件的多个集合。这些无线技术可以集成到与WD 810内的其它组件相同或不同的芯片或芯片集内。
天线811可以包括配置成发送和/或接收无线信号的一个或多个天线或天线阵列,并且连接到接口814。在某些备选实施例中,天线811可以与WD 810分开并且通过接口或端口而可连接到WD 810。天线811、接口814和/或处理电路模块820可以配置成执行在本文中描述为由WD执行的任何接收或传送操作。可以从网络节点和/或另一WD接收任何信息、数据和/或信号。在一些实施例中,无线电前端电路模块和/或天线811可以被视为接口。
如图示的,接口814包括无线电前端电路模块812和天线811。无线电前端电路模块812包括一个或多个滤波器818和放大器816。无线电前端电路模块814连接到天线811和处理电路模块820,并且配置成调节在天线811与处理电路模块820之间传递的信号。无线电前端电路模块812可以耦合到天线811或是天线811的一部分。在一些实施例中,WD 810可以不包括单独的无线电前端电路模块812;相反,处理电路模块820可以包括无线电前端电路模块并且可以连接到天线811。相似地,在一些实施例中,RF收发器电路模块822中的一些或全部可以视为接口814的一部分。无线电前端电路模块812可以接收要经由无线连接发出到其它网络节点或WD的数字数据。无线电前端电路模块812可以使用滤波器818和/或放大器816的组合将该数字数据转换成具有合适信道和带宽参数的无线电信号。然后可以经由天线811传送该无线电信号。相似地,在接收数据时,天线811可以收集无线电信号,这些无线电信号然后被无线电前端电路模块812转换成数字数据。该数字数据可以被传递给处理电路模块820。在其它实施例中,接口可以包括不同组件和/或组件的不同组合。
处理电路模块820可以包括以下中的一个或多个的组合:微处理器、控制器、微控制器、中央处理单元、数字信号处理器、专用集成电路、现场可编程门阵列或任何其它适合的计算装置、资源,或可操作以单独或连同其它WD 810组件(诸如装置可读介质830)一起提供WD 810功能性的硬件、软件和/或编码逻辑的组合。此类功能性可以包括提供本文中论述的各种无线特征或益处中的任何无线特征或益处。例如,处理电路模块820可以执行存储在装置可读介质830中或处理电路模块820内的存储器中的指令来提供本文中公开的功能性。
如图示的,处理电路模块820包括RF收发器电路模块822、基带处理电路模块824和应用处理电路模块826中的一个或多个。在其它实施例中,处理电路模块可以包括不同组件和/或组件的不同组合。在某些实施例中,WD 810的处理电路模块820可以包括SOC。在一些实施例中,RF收发器电路模块822、基带处理电路模块824和应用处理电路模块826可以在分开的芯片或芯片集上。在备选实施例中,基带处理电路模块824和应用处理电路模块826中的部分或全部可以组合到一个芯片或芯片集中,并且RF收发器电路模块822可以在分开的芯片或芯片集上。在又一些备选实施例中,RF收发器电路模块822和基带处理电路模块824中的部分或全部可以在相同芯片或芯片集上,并且应用处理电路模块826可以在分开的芯片或芯片集上。在又一些其它备选实施例中,RF收发器电路模块822、基带处理电路模块824和应用处理电路模块826中的部分或全部可以组合在相同芯片或芯片集中。在一些实施例中,RF收发器电路模块822可以是接口814的一部分。RF收发器电路模块822可以为处理电路模块820调节RF信号。
在某些实施例中,在本文中描述为由WD执行的功能性中的一些或全部可以由执行存储在装置可读介质830上的指令的处理电路模块820提供,该装置可读介质830在某些实施例中可以是计算机可读存储介质。在备选实施例中,可以由处理电路模块820在不执行存储在分开或分立的装置可读存储介质上的指令的情况下(诸如以硬接线方式)提供功能性中的一些或全部。在那些特定实施例中的任何实施例中,无论是否执行存储在装置可读存储介质上的指令,处理电路模块820都可配置成执行所描述的功能性。由此类功能性提供的益处不限于仅处理电路模块820或WD 810的其它组件,而是由WD 810作为整体和/或由最终用户和无线网络一般地享有。
处理电路模块820可以配置成执行在本文中描述为由WD执行的任何确定、计算或相似操作(例如,某些获得操作)。如由处理电路模块820执行的这些操作可以包括通过例如将获得的信息转换成其它信息、将获得的信息或经转换的信息与由WD 810存储的信息进行比较和/或基于获得的信息或经转换的信息来执行一个或多个操作从而处理由处理电路模块820获得的信息,并且作为所述处理的结果做出确定。
装置可读介质830可以可操作以存储计算机程序、软件、应用(包括逻辑、规则、代码、表等中的一个或多个),和/或能够被处理电路模块820执行的其它指令。装置可读介质830可以包括计算机存储器(例如,随机存取存储器(RAM)或只读存储器(ROM))、大容量存储介质(例如,硬盘)、可拆卸存储介质(例如,致密盘(CD)或数字视频盘(DVD))和/或存储可以由处理电路模块820使用的信息、数据和/或指令的任何其它易失性或非易失性、非暂态装置可读和/或计算机可执行存储器装置。在一些实施例中,处理电路模块820和装置可读介质830可以视为是集成的。
用户接口设备832可以提供允许人类用户与WD 810交互的组件。此类交互可以具有许多形式,诸如视觉、听觉、触觉等。用户接口设备832可以可操作以向用户产生输出并且允许用户向WD 810提供输入。交互的类型可以取决于WD 810中安装的用户接口设备832的类型而变化。例如,如果WD 810是智能电话,则交互可以经由触摸屏;如果WD 810是智能仪表,则交互可以通过提供使用量(例如,所使用的加仑数)的屏幕或提供听觉报警(例如,如果检测到烟雾)的扬声器。用户接口设备832可以包括输入接口、装置和电路、以及输出接口、装置和电路。用户接口设备832配置成允许将信息输入到WD 810中,并且连接到处理电路模块820以允许处理电路模块820处理输入信息。用户接口设备832可以包括例如麦克风、接近或其它传感器、按键/按钮、触摸显示器、一个或多个拍摄装置、USB端口或其它输入电路模块。用户接口设备832还配置成允许从WD 810输出信息,并且允许处理电路模块820从WD 810输出信息。用户接口设备832可以包括例如扬声器、显示器、振动电路模块、USB端口、头戴式送受话器接口或其它输出电路模块。使用用户接口设备832的一个或多个输入和输出接口、装置和电路,WD 810可以与最终用户和/或无线网络通信,并且允许它们从本文中描述的功能性获益。
辅助设备834可操作以提供可以一般不由WD执行的更特定的功能性。这可以包括用于为了各种目的进行测量的专用传感器、用于附加类型的通信(诸如有线通信)的接口等。辅助设备834的组件的内含物以及类型可以取决于实施例和/或情形而变化。
电源836在一些实施例中可以采用电池或电池组的形式。还可以使用其它类型的电源,诸如外部电源(例如,电插座)、光伏装置或动力电池。WD 810可以还包括电源电路模块837以用于从电源836向WD 810的各种部分输送电力,所述WD 810的各种部分需要来自电源836的电力来执行本文中描述或指示的任何功能性。电源电路模块837在某些实施例中可以包括电源管理电路模块。电源电路模块837可以另外或备选地可操作以从外部电源接收电力;在该情况下WD 810可以经由输入电路模块或接口(诸如电力电缆)而可连接到外部电源(诸如电插座)。电源电路模块837在某些实施例中还可以可操作以从外部电源向电源836输送电力。这可以例如用于电源836的充电。电源电路模块837可以对来自电源836的电力执行任何格式化、转换或其它修改以使所述电力适合于电力被供应到的WD 810的相应组件。
图9图示根据本文中描述的各种方面的UE的一个实施例。如本文中使用的,用户设备或UE可以不一定具有在拥有和/或操作相关装置的人类用户的意义上的用户。替代地,UE可以表示打算用于销售给人类用户或由人类用户操作但可能不与或可能最初不与特定人类用户相关联的装置(例如,智能喷淋器控制器)。备选地,UE可以代表不打算销售给最终用户或由最终用户操作,但可以与用户的利益相关联或为用户的利益而操作的装置(例如,智能功率计)。UE 900可以是由第三代合作伙伴计划(3GPP)标识的任何UE,包括NB-IoT UE、机器类型通信(MTC)UE和/或增强MTC(eMTC)UE。如在图9中图示的UE 900是配置用于根据由第三代合作伙伴计划(3GPP)颁布的一个或多个通信标准进行通信的WD的一个示例,所述通信标准诸如3GPP的GSM、UMTS、LTE和/或5G标准。如之前提到的,可以可互换地使用术语WD和UE。因此,尽管图9是UE,但本文中论述的组件同样能适用于WD,并且反之亦然。
在图9中,UE 900包括处理电路模块901,所述处理电路模块901操作地耦合到输入/输出接口905、射频(RF)接口909、网络连接接口911、存储器915(包括随机存取存储器(RAM)917、只读存储器(ROM)919和存储介质921或诸如此类)、通信子系统931、电源933和/或任何其它组件或其任何组合。存储介质921包括操作系统923、应用程序925和数据927。在其它实施例中,存储介质921可以包括其它相似类型的信息。某些UE可以利用图9中示出的全部组件,或仅利用组件的子集。组件之间的集成水平可以从一个UE到另一UE而变化。此外,某些UE可以包含组件的多个实例,诸如多个处理器、存储器、收发器、传送器、接收器等。
在图9中,处理电路模块901可以配置成处理计算机指令和数据。处理电路模块901可以配置成实现任何顺序状态机,所述顺序状态机操作以执行在存储器中作为机器可读计算机程序存储的机器指令,诸如一个或多个硬件实现的状态机(例如,在分立逻辑、FPGA、ASIC等中);可编程逻辑连同合适的固件;一个或多个存储的程序、通用处理器(诸如微处理器或数字信号处理器(DSP))连同合适的软件;或以上各项的任何组合。例如,处理电路模块901可以包括两个中央处理单元(CPU)。数据可以是采用适合供计算机使用的形式的信息。
在所描绘的实施例中,输入/输出接口905可以配置成提供到输入装置、输出装置或输入和输出装置的通信接口。UE 900可以配置成经由输入/输出接口905使用输出装置。输出装置可以使用与输入装置相同类型的接口端口。例如,USB端口可以用于提供到UE 900的输入以及从UE 900的输出。输出装置可以是扬声器、声卡、视频卡、显示器、监视器、打印机、致动器、发射器、智能卡、另一输出装置或其任何组合。UE 900可以配置成经由输入/输出接口905使用输入装置以允许用户将信息捕捉到UE 900中。输入装置可以包括触敏或存在敏感显示器、拍摄装置(例如,数字拍摄装置、数字视频拍摄装置、web拍摄装置等)、麦克风、传感器、鼠标、轨迹球、方向板、轨迹板、滚轮、智能卡和诸如此类。存在敏感显示器可以包括电容或电阻触摸传感器以感测来自用户的输入。传感器可以是例如加速度计、陀螺仪、倾斜传感器、力传感器、磁力计、光传感器、接近传感器、另一类似的传感器或其任何组合。例如,输入装置可以是加速度计、磁力计、数字拍摄装置、麦克风和光传感器。
在图9中,RF接口909可以配置成提供到诸如传送器、接收器和天线之类的RF组件的通信接口。网络连接接口911可以配置成提供到网络943a的通信接口。网络943a可以包含有线和/或无线网络,诸如局域网(LAN)、广域网(WAN)、计算机网络、无线网络、电信网络、另一类似网络或其任何组合。例如,网络943a可以包括Wi-Fi网络。网络连接接口911可以配置成包括用于根据一个或多个通信协议(诸如以太网、TCP/IP、SONET、ATM或诸如此类)通过通信网络与一个或多个其它装置通信的接收器和传送器接口。网络连接接口911可以实现适合于通信网络链路(例如,光、电和诸如此类)的接收器和传送器功能性。传送器和接收器功能可以共享电路组件、软件或固件,或备选地可以分别地实现。
RAM 917可以配置成经由总线902通过接口连接到处理电路模块901以在诸如操作系统、应用程序和装置驱动程序之类的软件程序的执行期间提供数据或计算机指令的存储或高速缓存。ROM 919可以配置成向处理电路模块901提供计算机指令或数据。例如,ROM919可以配置成存储用于基本系统功能(诸如基本输入和输出(I/O)、启动或从键盘接收键击)的不变低级系统代码或数据,其存储在非易失性存储器中。存储介质921可以配置成包括存储器,诸如RAM、ROM、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁盘、光盘、软盘、硬盘、可拆卸盒式磁盘或闪速驱动器。在一个示例中,存储介质921可以配置成包括操作系统923、应用程序925(诸如web浏览器应用、小部件或小工具引擎或另一应用)以及数据文件927。存储介质921可以存储供UE900使用的多样的各种操作系统或操作系统的组合中的任何操作系统或操作系统的组合。
存储介质921可以配置成包括许多物理驱动单元,诸如独立盘冗余阵列(RAID)、软盘驱动器、闪速存储器、USB闪速驱动器、外部硬盘驱动器、指状驱动器、笔式驱动器、键驱动器、高密度数字多功能盘(HD-DVD)光盘驱动器、内部硬盘驱动器、蓝光光盘驱动器、全息数字数据存储(HDDS)光盘驱动器、外部迷你型双列直插存储器模块(DIMM)、同步动态随机存取存储器(SDRAM)、外部微型DIMM SDRAM、智能卡存储器(诸如订户身份模块或可拆卸用户身份(SIM/RUIM))模块、其它存储器或其任何组合。存储介质921可以允许UE 900访问存储在暂态或非暂态存储器介质上的计算机可执行指令、应用程序或诸如此类,以卸载数据或上载数据。制品(诸如利用通信系统的制品)可以有形地体现在存储介质921中,所述存储介质921可以包括装置可读介质。
在图9中,处理电路模块901可以配置成使用通信子系统931与网络943b通信。网络943a和网络943b可以是相同的一个或多个网络或不同的一个或多个网络。通信子系统931可以配置成包括用于与网络943b通信的一个或多个收发器。例如,通信子系统931可以配置成包括一个或多个收发器,所述一个或多个收发器用于根据一个或多个通信协议(诸如IEEE 802.11、CDMA、WCDMA、GSM、LTE、UTRAN、WiMAX或诸如此类)与能够进行无线通信的另一装置(诸如另一WD、UE或无线电接入网络(RAN)的基站)的一个或多个远程收发器进行通信。每个收发器可以包括传送器933和/或接收器935以分别实现适合于RAN链路的传送器或接收器功能性(例如,频率分配和诸如此类)。此外,每个收发器的传送器933和接收器935可以共享电路组件、软件或固件,或备选地可以分别地实现。
在图示的实施例中,通信子系统931的通信功能可以包括数据通信、语音通信、多媒体通信、短程通信(诸如蓝牙、近场通信)、基于位置的通信(诸如使用全球定位系统(GPS)来确定位置)、另一类似的通信功能或其任何组合。例如,通信子系统931可以包括蜂窝通信、Wi-Fi通信、蓝牙通信和GPS通信。网络943b可以包含有线和/或无线网络,诸如局域网(LAN)、广域网(WAN)、计算机网络、无线网络、电信网络、另一类似的网络或其任何组合。例如,网络943b可以是蜂窝网络、Wi-Fi网络和/或近场网络。电源913可以配置成向UE 900的组件提供交流(AC)或直流(DC)电力。
本文中描述的特征、益处和/或功能可以在UE 900的组件之一中实现,或跨UE 900的多个组件来被划分。此外,本文中描述的特征、益处和/或功能可以在硬件、软件或固件的任何组合中实现。在一个示例中,通信子系统931可以配置成包括本文中描述的组件中的任何组件。此外,处理电路模块901可以配置成通过总线902与此类组件中的任何组件通信。在另一示例中,此类组件中的任何组件可以由存储器中存储的程序指令表示,所述程序指令在被处理电路模块901执行时执行本文中描述的对应功能。在另一示例中,此类组件中的任何组件的功能性可以在处理电路模块901与通信子系统931之间被划分。在另一示例中,此类组件中的任何组件的非计算密集型功能可以在软件或固件中实现并且计算密集型功能可以在硬件中实现。
图10是图示虚拟化环境1000的示意框图,在该虚拟化环境1000中由一些实施例实现的功能可以被虚拟化。在本上下文中,虚拟化意指创建设备或装置的虚拟版本,其可以包括虚拟化硬件平台、存储装置和联网资源。如本文中使用的,虚拟化可应用于节点(例如,虚拟化的基站或虚拟化的无线电接入节点)或应用于装置(例如,UE、无线装置或任何其它类型的通信装置)或其组件,并且涉及其中功能性的至少一部分实现为一个或多个虚拟组件(例如,经由在一个或多个网络中的一个或多个物理处理节点上执行的一个或多个应用、组件、功能、虚拟机或容器)的实现。
在一些实施例中,本文中描述的功能中的一些或全部可以实现为由硬件节点1030中的一个或多个硬件节点所托管的一个或多个虚拟环境1000中实现的一个或多个虚拟机执行的虚拟组件。此外,在其中虚拟节点不是无线电接入节点或不要求无线电连接性(例如,核心网络节点)的实施例中,则网络节点可以被完全虚拟化。
功能可以由一个或多个应用1020(其可以备选地被称为软件实例、虚拟设备、网络功能、虚拟节点、虚拟网络功能等)实现,所述一个或多个应用1020操作以实现本文中公开的实施例中的一些实施例的特征、功能和/或益处中的一些特征、功能和/或益处。应用1020在虚拟化环境1000中运行,该虚拟化环境1000提供包括处理电路模块1060和存储器1090的硬件1030。存储器1090包含由处理电路模块1060可执行的指令1095,由此应用1020操作以提供本文中公开的特征、益处和/或功能中的一个或多个。
虚拟化环境1000包括通用或专用网络硬件装置1030,该通用或专用网络硬件装置1030包括一组一个或多个处理器或处理电路模块1060,其可以是商用现货(COTS)处理器、专门的专用集成电路(ASIC)或任何其它类型的处理电路模块,包括数字或模拟硬件组件或专用处理器。每个硬件装置可以包括存储器1090-1,其可以是用于暂时存储由处理电路模块1060执行的指令1095或软件的非永久性存储器。每个硬件装置可以包括一个或多个网络接口控制器(NIC)1070(也称为网络接口卡),其包括物理网络接口1080。每个硬件装置还可以包括其中存储有由处理电路模块1060可执行的软件1095和/或指令的非暂态、永久性机器可读存储介质1090-2。软件1095可以包括任何类型的软件,包括用于实例化一个或多个虚拟化层1050(也称为监管程序(hypervisor))的软件、用以执行虚拟机(VM)1040的软件以及允许它执行关于本文中描述的一些实施例来描述的功能、特征和/或益处的软件。
虚拟机1040包括虚拟处理、虚拟存储器、虚拟联网或接口以及虚拟存储装置,并且可以由对应的虚拟化层1050或监管程序运行。虚拟设备1020的实例的不同实施例可以在虚拟机1040中的一个或多个上实现,并且可以以不同方式进行实现。
在操作期间,处理电路模块1060执行软件1095来实例化监管程序或虚拟化层1050,其有时可以被称为虚拟机监视器(VMM)。虚拟化层1050可以向虚拟机1040呈现看起来像联网硬件的虚拟操作平台。
如在图10中示出的,硬件1030可以是具有通用或特定组件的独立网络节点。硬件1030可以包括天线10225并且可以经由虚拟化实现一些功能。备选地,硬件1030可以是更大硬件集群(例如,诸如在数据中心或客户驻地设备(CPE)中)的一部分,其中许多硬件节点一起工作并且经由管理和编排(MANO)10100来被管理,该管理和编排(MANO)10100除其它外还监督应用1020的寿命周期管理。
硬件的虚拟化在一些上下文中被称为网络功能虚拟化(NFV)。NFV可以用于将许多网络设备类型整合到行业标准高容量服务器硬件、物理交换机和物理存储装置(其可位于数据中心和客户驻地设备中)上。
在NFV的上下文中,虚拟机1040可以是物理机的软件实现,其运行程序就好像它们在物理的、非虚拟机上执行一样。虚拟机1040中的每个以及执行该虚拟机的硬件1030的该部分(无论它是专用于该虚拟机的硬件和/或由该虚拟机与其它虚拟机1040共享的硬件)形成分开的虚拟网络元件(VNE)。
仍然在NFV的上下文中,虚拟网络功能(VNF)负责处理在硬件联网基础设施1030之上的一个或多个虚拟机1040中运行的特定网络功能并且对应于图10中的应用1020。
在一些实施例中,一个或多个无线电单元10200(其各自包括一个或多个传送器10220和一个或多个接收器10210)可以耦合到一个或多个天线10225。无线电单元10200可以经由一个或多个合适的网络接口直接与硬件节点1030通信并且可以与虚拟组件结合使用来提供具有无线电能力的虚拟节点,诸如无线电接入节点或基站。
在一些实施例中,可借助于控制系统10230实现一些信令,该控制系统10230可以备选地用于硬件节点1030与无线电单元10200之间的通信。
图11A示出根据本发明的一些实施例的示例性网络内的网络装置(ND)之间的连接性,以及ND的三个示例性实现。图11A示出ND 1100A-H,以及它们通过1100A-1100B、1100B-1100C、1100C-1100D、1100D-1100E、1100E-1100F、1100F-1100G和1100A-1100G之间的线路以及1100H与1100A、1100C、1100D和1100G中的每一个之间的线路的连接性。这些ND是物理装置,并且这些ND之间的连接性可以是无线或有线(通常称为链路)。从ND 1100A、1100E和1100F延伸的附加线示出这些ND用作网络的入口点和出口点(并且因此,这些ND有时被称为边缘ND;而其它ND可被称为核心ND)。
图11A中的两个示例性ND实现是:1)专用网络装置1102,其使用定制专用集成电路(ASIC)和专用操作系统(OS);以及2)通用网络装置1104,其使用通用现成(COTS)处理器和标准OS。
专用网络装置1102包括联网硬件1110,其包括一个或多个处理器1112的集合、(一个或多个)转发资源1114(其通常包括一个或多个ASIC和/或网络处理器)和物理网络接口(NI)1116(通过其进行网络连接,诸如由ND 1100A-H之间的连接性所示的那些),以及其中存储有联网软件1120的非暂态机器可读存储介质1118。在操作期间,联网软件1120可以由联网硬件1110执行以实例化一个或多个联网软件实例1122的集合。一个或多个联网软件实例1122中的每一个和执行该网络软件实例的联网硬件1110的那部分(而无论它是专用于该联网软件实例的硬件和/或由该联网软件实例与一个或多个联网软件实例1122中的其它暂时共享的硬件的时间片)形成分开的虚拟网络元件1130A-R。一个或多个虚拟网络元件(VNE)1130A-R中的每一个虚拟网络元件(VNE)包括控制通信和配置模块1132A-R(有时称为本地控制模块或控制通信模块)和一个或多个转发表1134A-R,使得给定的虚拟网络元件(例如1130A)包括控制通信和配置模块(例如1132A)、一个或多个转发表的集合(例如1134A)以及联网硬件1110的执行虚拟网络元件的那部分(例如1130A)。
在一些实施例中,联网软件1120可实现本文所述的XR覆盖服务1165的任何方面,包括如由本文所述的边缘云或动态内容管理器实现的所述功能性中的任何功能性。
专用网络装置1102通常在物理上和/或逻辑上被视为包括:1)ND控制平面1124(有时称为控制平面),其包括执行(一个或多个)控制通信和配置模块1132A-R的(一个或多个)处理器1112;以及2)ND转发平面1126(有时称为转发平面、数据平面或媒体平面),包括利用(一个或多个)转发表1134A-R和物理NI 1116的(一个或多个)转发资源1114。作为未知ND是路由器(或正在实现路由功能性)的示例,ND控制平面1124(执行(一个或多个)控制通信和配置模块1132A-R的(一个或多个)处理器1112)通常负责参与控制如何路由数据(例如,分组)(例如,数据的下一跳和该数据的外出物理NI)并将该路由信息存储在(一个或多个)转发表1134A-R中,并且ND转发平面1126负责在物理NI 1116上接收该数据并基于(一个或多个)转发表1134A-R将该数据转发出物理NI 1116中的适当物理NI。
图11B示出根据本发明的一些实施例、实现专用网络装置1102的示例性方式。图11B示出包括卡1138(通常可热插拔)的专用网络装置。虽然在一些实施例中,卡1138具有两种类型(作为ND转发平面1126操作的一个或多个(有时称为线路卡),以及操作以实现ND控制平面1124的一个或多个(有时称为控制卡)),但是备选实施例可将功能性组合到单个卡上和/或包括附加卡类型(例如,一种附加类型的卡称为服务卡、资源卡或多应用卡)。服务卡可以提供专门的处理(例如,层4到层7服务(例如,防火墙、互联网协议安全性(IPsec)、安全套接字层(SSL)/传输层安全性(TLS)、入侵检测系统(IDS)、对等(P2P)、IP语音(VoIP)会话边界控制器、移动无线网关(网关通用分组无线电服务(GPRS)支持节点(GGSN)、演进分组核心(EPC)网关))。作为示例,服务卡可以用于终止IPsec隧道并执行伴随的认证和加密算法。这些卡通过被示为背板1136的一个或多个互连机构而被耦合在一起(例如,耦合线路卡的第一完全网状网络和耦合所有卡的第二完全网状网络)。
返回到图11A,通用网络装置1104包括硬件1140,其包括一组一个或多个处理器1142(其通常是COTS处理器)和物理NI 1146,以及其中存储有软件1150的非暂态机器可读存储介质1148。在操作期间,(一个或多个)处理器1142执行软件1150以实例化一个或多个应用1164A-R的一个或多个集合。虽然一个实施例并不实现虚拟化,但是备选实施例可使用不同形式的虚拟化。例如,在一个此类备选实施例中,虚拟化层1154表示操作系统的内核(或在基本操作系统上执行的填隙程序(shim)),其允许创建称为软件容器的多个实例1162A-R,其中每个实例可用于执行应用1164A-R的多个集合中的一个(或多个);其中所述多个软件容器(也称为虚拟化引擎、虚拟私用服务器或jail)是彼此分开并且与操作系统在其中运行的内核空间分开的用户空间(通常是虚拟存储器空间);并且其中除非明确允许,否则在给定用户空间中运行的应用集合不能访问其它过程的存储器。在另一此类备选实施例中,虚拟化层1154表示监管程序(有时称为虚拟机监视器(VMM))或主机操作系统之上执行的监管程序,并且应用1164A-R的集合中的每一个集合都运行在称为虚拟机(在某些情况下可以被视为是紧密隔离形式的软件容器)的实例1162A-R内的客户操作系统之上,该虚拟机运行在监管程序之上-客户操作系统和应用可能不知道它们正运行在虚拟机上而不是运行在“裸机”主机电子装置上,或通过半虚拟化(para-virtualization),操作系统和/或应用可以出于优化目的而知道虚拟化的存在。在仍有的另一其它备选实施例中,应用程序中的一个、一些或全部实现为一个或多个单内核,其可以通过利用应用仅直接编译库的有限集合(例如,来自包括OS服务的驱动程序/库的库操作系统(LibOS))来生成,所述库提供应用程序所需的特定OS服务。由于单内核可以实现为直接在硬件1140上运行、直接在监管程序上运行(在此情况下,单内核有时被描述为在LibOS虚拟机内运行)、或在软件容器中运行,所以实施例可以完全用直接在由虚拟化层1154表示的监管程序上运行的单内核、在由实例1162A-R表示的软件容器内运行的单内核、或作为单内核和上述技术的组合(例如,单内核和虚拟机都直接在监管程序上运行、单内核和应用集合在不同软件容器中运行)来实现。
在一些实施例中,联网软件1150可实现本文所述的XR覆盖服务1165的任何方面,包括如由本文所述的边缘云或动态内容管理器实现的所述功能性中的任何功能性。
一个或多个应用1164A-R的所述一个或多个集合的实例化以及虚拟化(如果实现的话)被统称为(一个或多个)软件实例1152。应用1164A-R的每个集合、对应的虚拟化构造(例如,实例1162A-R)(如果实现的话)以及执行它们的硬件1140的那部分(无论其是专用于该执行的硬件和/或时间上共享的硬件的时间片)形成分开的(一个或多个)虚拟网络元件1160A-R。
虚拟网络元件1160A-R执行与(一个或多个)虚拟网络元件1130A-R类似的功能性,例如,与(一个或多个)控制通信和配置模块1132A和(一个或多个)转发表1134A类似(硬件1140的此虚拟化有时被称为网络功能虚拟化(NFV))。因此,NFV可用于将许多网络设备类型合并到行业标准的大容量服务器硬件、物理交换机和物理存储设备上,它们可位于数据中心、ND和客户驻地设备(CPE)中。虽然本发明的实施例被示为每个实例1162A-R对应于一个VNE 1160A-R,但是备选实施例可以以更精细级别的粒度实现此对应关系(例如,线路卡虚拟机虚拟化线路卡、控制卡虚拟化控制卡等);应当理解,本文参照实例1162A-R与VNE的对应关系描述的技术也适用于使用此类更精细级别的粒度和/或单内核的实施例。
在某些实施例中,虚拟化层1154包括虚拟交换机,所述虚拟交换机提供与(一个或多个)物理以太网交换机类似的转发服务。具体地,该虚拟交换机在实例1162A-R和物理NI1146之间以及可选地在实例1162A-R之间转发业务;此外,这个虚拟交换机可以在VNE1160A-R之间强制实施网络隔离,这些VNE按策略不被允许彼此通信(例如,通过遵守(honor)虚拟局域网(VLAN))。
图11A中的第三示例性ND实施是混合网络装置1106,其在单个ND中或ND内的单个卡中包括定制ASIC/专用OS和COTS处理器/标准OS。在此类混合网络装置的某些实施例中,平台VM(即,实现专用网络装置1102的功能性的VM)可向混合网络装置1106中存在的联网硬件提供半虚拟化。
不管ND的上述示例性实现如何,当考虑由ND实现的多个VNE中的单个VNE时(例如,VNE中的仅一个VNE是给定虚拟网络的一部分),或在ND当前仅实现单个VNE的情况下,有时使用缩写术语“网络元件”(NE)来指代该VNE。同样在所有上述示例性实现中,VNE中的每一个VNE(例如,(一个或多个)VNE 1130A-R、VNE 1160A-R,以及混合网络装置1106中的那些VNE)在物理NI(例如,1116、1146)上接收数据,并将该数据从物理NI(例如,1116、1146)中的适当物理NI转发出去。例如,实现IP路由器功能性的VNE根据IP分组中的一些IP报头信息转发IP分组;其中IP报头信息包括源IP地址、目的地IP地址、源端口、目的地端口(其中“源端口”和“目的地端口”在本文中指代ND的协议端口,而不是物理端口)、传输协议(例如用户数据报协议(UDP)、传送控制协议(TCP)和区分服务代码点(DSCP)值。
图11C示出根据本发明的一些实施例可用来耦合VNE的各种示例性方式。图11C显示了在ND 1100A中实现的VNE 1170A.1-1170A.P(和可选的VNE 1170A.Q-1170A.R)和在ND1100H中实现的VNE 1170H.1。在图11C中,VNE 1170A.1-P在它们可以从ND 1100A外部接收分组并转发到ND 1100A外部的分组的意义上彼此分开;VNE 1170A.1与VNE 1170H.1耦合,并且因此它们在它们各自的ND之间传递分组;VNE 1170A.2-1170A.3可以可选地在它们自身之间转发分组,而不将它们转发到ND 1100A外部;并且VNE 1170A.P可以可选地是VNE链中的第一个,该VNE链包括VNE1170A.Q,接着是VNE 1170A.R(这有时被称为动态服务链结(chaining),其中,VNE系列中的每个VNE提供不同的服务,例如,一个或多个第4-7层网络服务)。虽然图11C示出VNE之间的各种示例性关系,但是备选实施例可以支持其它关系(例如,更多/更少的VNE、更多/更少的动态服务链、具有一些公共VNE和一些不同VNE的多个不同的动态服务链)。
例如,图11A的ND可以形成互联网或专用网络的一部分;以及其它电子装置(未示出;诸如最终用户装置,包括工作站、膝上型计算机、上网本、平板计算机、掌上型计算机、移动电话、智能电话、平板计算机、多媒体电话、因特网协议语音(VOIP)电话、终端、便携式媒体播放器、GPS单元、可穿戴装置、游戏系统、机顶盒、启用因特网的家用电器)可以(直接或通过诸如接入网的其它网络)耦合到网络,以通过网络(例如,因特网或覆盖在(例如,隧穿)因特网上的虚拟专用网(VPN))彼此(直接或通过服务器)通信和/或访问内容和/或服务。此类内容和/或服务通常由属于服务/内容提供商的一个或多个服务器(未示出)或参与对等(P2P)服务的一个或多个最终用户装置(未示出)提供,并且可以包括例如公共网页(例如,免费内容、店面、搜索服务)、私人网页(例如,提供电子邮件服务的用户名/密码访问的网页)和/或VPN上的公司网络。例如,最终用户装置可以(例如,通过(有线或无线)耦合到接入网络的客户驻地设备)耦合到边缘ND,边缘ND(例如,通过一个或多个核心ND)耦合到其它边缘ND,所述其它边缘ND耦合到充当服务器的电子装置。然而,通过计算和存储虚拟化,作为图11A中的ND操作的电子装置中的一个或多个还可以托管一个或多个此类服务器(例如,在通用网络装置1104的情况下,软件实例1162A-R中的一个或多个可以作为服务器操作;相同情况对于混合网络装置1106也将成立;在专用网络装置1102的情况下,一个或多个此类服务器也可以在由(一个或多个)处理器1112执行的虚拟化层上运行);在此情况下,服务器被说成与该ND的VNE并置。
虚拟网络是提供网络服务(例如,L2和/或L3服务)的物理网络(诸如图11A中的物理网络)的逻辑抽象。虚拟网络可以实现为覆盖网络(有时被称为网络虚拟化覆盖),其在底层网络(例如,L3网络,诸如使用隧道(例如,通用路由封装(GRE)、层2隧穿协议(L2TP)、IPSec)来创建覆盖网络的因特网协议(IP)网络)上提供网络服务(例如,层2(L2,数据链路层)和/或层3(L3,网络层)服务)。
网络虚拟化边缘(NVE)位于底层网络的边缘,并且参与网络虚拟化的实现;NVE的面向网络的那侧使用底层网络将帧隧穿到其它NVE以及从其它NVE隧穿;NVE的面向外部的那侧向网络外部的系统发送数据以及从网络外部的系统接收数据。虚拟网络实例(VNI)是NVE上的虚拟网络的特定实例(例如,ND上的NE/VNE、ND上的NE/VNE的一部分,其中该NE/VNE通过模拟被分成多个VNE);一个或多个VNI可以在NVE上实例化(例如,作为ND上的不同VNE)。虚拟接入点(VAP)是NVE上的逻辑连接点,用于将外部系统连接到虚拟网络;VAP可以是通过逻辑接口标识符(例如,VLAN ID)标识的物理或虚拟端口。
网络服务的示例包括:1)以太网LAN模拟服务(基于以太网的多点服务,类似于因特网工程任务组(IETF)多协议标签交换(MPLS)或以太网VPN(EVPN)服务),其中外部系统通过局域网环境在底层网络上跨网络互连(例如,NVE为不同的此类虚拟网络提供分开的L2VNI(虚拟交换实例),并且L3(例如,IP/MPLS)跨底层网络隧穿封装);以及2)虚拟化IP转发服务(类似于IETF IP VPN(例如,从服务定义的角度看,边界网关协议(BGP)/MPLSIPVPN)),其中外部系统通过L3环境在底层网络上跨网络互连(例如,NVE为不同的此类虚拟网络提供分开的L3VNI(转发和路由实例),以及L3(例如,IP/MPLS)跨底层网络隧穿封装))。网络服务页可以包括服务质量能力(例如,业务分类标记、业务调节和调度)、安全性能力(例如,用于保护客户驻地免受网络发起的攻击、避免畸形路由通告的过滤器)和管理能力(例如,完全检测和处理)。
图11D示出根据本发明的一些实施例、在图11A的ND中的每一个ND上具有单个网络元件的网络,并且在该直接方法内将传统分布式方法(通常由传统路由器使用)与用于维护可达性和转发信息(也称为网络控制)的集中式方法进行对比。具体地,图11D示出具有与图11A的ND 1100A-H相同的连接性的网络元件(NE)1170A-H。
图11D示出分布式方法1172在NE 1170A-H上分布用于生成可达性和转发信息的责任;换句话说,邻居发现和拓扑发现的过程是分布式的。
例如,在使用专用网络装置1102的情况下,ND控制平面1124的(一个或多个)控制通信和配置模块1132A-R通常包括可达性和转发信息模块,以实现一个或多个路由协议(例如,诸如边界网关协议(BGP)的外部网关协议、(一个或多个)内部网关协议(IGP)(例如,开放最短路径优先(OSPF)、中间系统到中间系统(IS-IS)、路由信息协议(RIP)、标签分发协议(LDP)、资源预留协议(RSVP)(包括RSVP-业务工程(TE):对LSP隧道的RSVP的扩展和通用多协议标签交换(GMPLS)信令RSVP-TE)),其与其它NE通信以交换路由,然后基于一个或多个路由度量来选择那些路由,因此,NE 1170A-H(例如,执行(一个或多个)控制通信和配置模块1132A-R的(一个或多个)处理器1112)通过分布式地确定网络内的可达性并计算它们各自的转发信息来执行它们参与控制数据(例如,分组)要如何被路由(例如,数据的下一跳和该数据的外出物理NI)的职责。路由和相邻性被存储在ND控制平面1124中的一个或多个路由结构(例如,路由信息库(RIB)、标签信息库(LIB)、一个或多个相邻性结构)中。ND控制平面1124基于(一个或多个)路由结构利用信息(例如,相邻性和路由信息)对ND转发平面1126编程。例如,ND控制平面1124将相邻性和路由信息编程到ND转发平面1126上的一个或多个转发表1134A-R(例如,转发信息库(FIB)、标签转发信息库(LFIB)和一个或多个相邻性结构)中。对于层2转发,ND可存储一个或多个桥接表,其用于基于该数据中的层2信息来转发数据。虽然以上示例使用专用网络装置1102,但是相同的分布式方法1172可以在通用网络装置1104和混合网络装置1106上实现。
图11D示出集中式方法1174(也称为软件定义网络(SDN)),其将系统去耦,该系统决定从将业务转发到所选目的地的底层系统向哪里发送业务。所示的集中式方法1174负责在集中式控制平面1176(有时被称为SDN控制模块、控制器、网络控制器、OpenFlow控制器、SDN控制器、控制平面节点、网络虚拟化机构或管理控制实体)中生成可达性和转发信息,并且因此邻居发现和拓扑发现的过程是集中式的。集中式控制平面1176具有与包括NE1170A-H(有时称为交换机、转发元件、数据平面元件或节点)的数据平面1180(有时称为基础设施层、网络转发平面或转发平面(其不应与ND转发平面混淆))的南边界接口1182。集中式控制平面1176包括网络控制器1178,它包括集中式可达性和转发信息模块1179,集中式可达性和转发信息模块1179确定网络内的可达性并通过南边界接口1182(其可使用OpenFlow协议)将转发信息分发到数据平面1180的NE 1170A-H。因此,网络智能被集中在执行于通常与ND分开的电子装置上的集中式控制平面1176中。
例如,在数据平面1180中使用专用网络装置1102的情况下,ND控制平面1124的(一个或多个)控制通信和配置模块1132A-R中的每一个通常包括控制代理,控制代理提供南边界接口1182的VNE侧。在此情况下,ND控制平面1124(执行(一个或多个)控制通信和配置模块1132A-R的(一个或多个)处理器1112)通过控制代理来执行其参与控制数据(例如,分组)要如何被路由(例如,数据的下一跳和该数据的外出物理NI)的职责,所述控制代理与集中式控制平面1176通信,以从集中式可达性和转发信息模块1179接收转发信息(以及在一些情况下,可达性信息)(应当理解,在本发明的一些实施例中,(一个或多个)控制通信和配置模块1132A-R除了与集中式控制平面1176通信之外,还可在确定可达性和/或计算转发信息方面起到一定作用-虽然比在分布式方法的情况下要少;此类实施例一般被视为落入集中式方法1174下,但也可被视为是混合方法)。
虽然上述示例使用专用网络装置1102,但是相同的集中式方法1174可通过通用网络装置1104(例如,VNE 1160A-R中的每一个通过与集中式控制平面1176通信以从集中式可达性和转发信息模块1179接收转发信息(以及在一些情况下,可达性信息)来执行其控制数据(例如,分组)要如何被路由(例如,数据的下一跳和该数据的外出物理NI)的职责;应当理解,在本发明的一些实施例中,VNE 1160A-R除了与集中式控制平面1176通信之外,页可在确定可达性和/或计算转发信息方面起一定作用-虽然比在分布式方法的情况下要少)和混合网络装置1106来实现。事实上,SDN技术的使用可以增强通常在通用网络装置1104或混合网络装置1106实现中使用的NFV技术,因为NFV能够通过提供可以在其上运行SDN软件的基础设施来支持SDN,并且NFV和SDN都旨在利用商用服务器硬件和物理交换机。
图11D也示出集中式控制平面1176具有到应用层1186的北边界接口1184,其中驻留有(一个或多个)应用1188。集中式控制平面1176具有形成用于(一个或多个)应用1188的虚拟网络1192(有时称为逻辑转发平面、网络服务或覆盖网络(其中数据平面1180的NE1170A-H是底层网络))的能力。因此,集中式控制平面1176保存所有ND和经配置的NE/VNE的全局视图,并且它将虚拟网络高效地映射到底层ND(包括在物理网络通过硬件(ND、链路或ND组件)故障、添加或拆卸而改变时保存这些映射)。
在一些实施例中,应用层1186可实现本文所述的XR覆盖服务1165的任何方面,包括如由本文所述的边缘云或动态内容管理器实现的所述功能性中的任何功能性。
虽然图11D示出与集中式方法1174分开的分布式方法1172,但是在本发明的某些实施例中,网络控制的工作可以不同地分布或两者组合。例如:1)实施例一般可使用集中式方法(SDN)1174,但具有委托给NE的某些功能(例如,分布式方法可用于实现故障监视、性能监视、保护切换以及用于邻居和/或拓扑发现的原语中的一个或多个);或2)本发明的实施例可以经由集中式控制平面和分布式协议两者来执行邻居发现和拓扑发现,并且比较这些结果以在它们不一致时引发异常。此类实施例通常被视为落入集中式方法1174下,但是也可以被视为是混合方法。
虽然图11D图示了其中ND 1100A-H中的每个ND实现单个NE 1170A-H的简单情况,但是应当理解,参考图11D描述的网络控制方法也适用于ND 1100A-H中的一个或多个实现多个VNE(例如,VNE 1130A-R、VNE 1160A-R、混合网络装置1106中的那些)的网络。备选地或附加地,网络控制器1178也可模拟单个ND中多个VNE的实现。具体地,代替(或附加于)在单个ND中实现多个VNE,网络控制器1178可将单个ND中VNE/NE的实现呈现为虚拟网络1192中的多个VNE(全部在(一个或多个)虚拟网络1192中的同一个虚拟网络中,每个在(一个或多个)虚拟网络1192中的不同虚拟网络中,或某种组合)。例如,网络控制器1178可使ND在底层网络中实现单个VNE(NE),并且然后在集中式控制平面1176内在逻辑上划分该NE的资源,以在(一个或多个)虚拟网络1192中呈现不同的VNE(其中,覆盖网络中的这些不同的VNE共享底层网络中ND上的单个VNE/NE实现的资源)。
另一方面,图11E和11F分别示出网络控制器1178可作为虚拟网络1192中的不同虚拟网络一部分而存在的NE和VNE的示例性抽象。图11E示出根据本发明的一些实施例的简单情况,其中ND 1100A-H中的每个ND实现单个NE 1170A-H(参见图11D),但是集中式控制平面1176已经将不同ND中的多个NE(NE 1170A-C和G-H)抽象为(以表示)图11D的(一个或多个)虚拟网络1192之一中的单个NE 1170I。图11E示出在这个虚拟网络中,NE 1170I耦合到NE1170D和1170F,它们仍然都耦合到NE 1170E。
图11F示出根据本发明的一些实施例的情况,其中多个VNE(VNE 1170A.1和VNE1170H.1)在不同的ND(ND 1100A和ND 1100H)上实现并且彼此耦合,并且其中集中式控制平面1176已经抽象这些多个VNE,使得它们在图11D的虚拟网络1192之一内表现为单个VNE1170T。因此,NE或VNE的抽象可以跨越多个ND。
虽然本发明的一些实施例将集中式控制平面1176实现为单个实体(例如,在单个电子装置上运行的软件的单个实例),但是备选实施例可以出于冗余和/或可缩放性目的而跨多个实体扩展功能性(例如,在不同电子装置上运行的软件的多个实例)。
类似于网络装置实现,运行集中式控制平面1176的(一个或多个)电子装置以及由此包括集中式可达性和转发信息模块1179的网络控制器1178可以以各种方式实现(例如专用装置、通用(例如COTS)装置或混合装置)。这一个或多个电子装置将类似地包括(一个或多个)处理器、一个或多个物理NI的集合、以及其上存储有集中式控制平面软件的非暂态机器可读存储介质。例如,图12示出通用控制平面装置1204,其包括硬件1240,硬件1240包括一个或多个处理器1242(其通常是COTS处理器)的集合和物理NI 1246,以及其中存储有集中式控制面(CCP)软件1250的非暂态机器可读存储介质1248。
在一些实施例中,非暂态机器可读存储介质1248可实现本文所述的XR覆盖服务1265的任何方面,包括如由本文所述的边缘云或动态内容管理器实现的所述功能性中的任何功能性。
在使用计算虚拟化的实施例中,(一个或多个)处理器1242通常执行软件来实例化虚拟化层1254(例如,在一个实施例中,虚拟化层1254表示操作系统的内核(或在基本操作系统上执行的填隙程序),其允许创建多个实例1262A-R,多个实例1262A-R被称为软件容器(表示分开的用户空间,并且也被称为虚拟化引擎、虚拟私用服务器或jail),这些软件容器中的每一个都可以用于执行一个或多个应用的集合;在另一个实施例中,虚拟化层1254表示监管程序(有时被称为虚拟机监视器(VMM)或在主机操作系统之上执行的监管程序,并且应用运行在被称为虚拟机的实例1262A-R内的客户操作系统之上(在一些情况下,其可以被视为是紧密隔离形式的软件容器);在另一个实施例中,应用实现为单内核,其可以通过仅仅利用应用来直接编译库的有限集合(例如,来自包括OS服务的库/驱动程序的库操作系统(LibOS))来生成,所述库提供应用所需的特定OS服务,并且单内核能够直接在硬件1240上运行、直接在虚拟化层1254所表示的监管程序上运行(在该情况下,单内核有时被描述为在LibOS虚拟机内运行)、或在由实例1262A-R之一表示的软件容器中运行)。同样,在使用计算虚拟化的实施例中,在操作期间,CCP软件1250的实例(被示为CCP实例1276A)在虚拟化层1254上(例如,在实例1262A内)执行。在不使用计算虚拟化的实施例中,CCP实例1276A作为单内核或在主机操作系统之上在“裸机”通用控制平面装置1204上执行。CCP实例1276A的实例化,以及虚拟化层1254和实例1262A-R(如果实现的话)被统称为(一个或多个)软件实例1252。
在一些实施例中,CCP实例1276A包括网络控制器实例1278。网络控制器实例1278包括集中式可达性和转发信息模块实例1279(其是向操作系统提供网络控制器1178的上下文并与各种NE通信的中间件层),以及(提供诸如协议、网络情况感知和用户接口的各种网络操作所要求的智能的)中间件层上的CCP应用层1280(有时称为应用层)。在更抽象的层次上,集中式控制平面1176内的这个CCP应用层1280与(一个或多个)虚拟网络视图(网络的(一个或多个)逻辑视图)一起工作,并且中间件层提供从虚拟网络到物理视图的转换。
集中式控制平面1176基于CCP应用层1280计算和每个流的中间件层映射,将相关消息传送到数据平面1180。流可以被定义为其报头与给定的位模式相匹配的分组集合;在这个意义上,传统的IP转发也是基于流的转发,其中流例如由目的地IP地址定义;然而,在其它实现中,用于流定义的给定位模式可以在分组报头中包括更多字段(例如,10个或更多)。数据平面1180的不同ND/NE/VNE可以接收不同的消息,并因此接收不同的转发信息。数据平面1180处理这些消息,并在适当的NE/VNE的转发表(有时被称为流表)中对适当的流信息和对应的动作进行编程,且然后NE/VNE将进入的分组映射到转发表中表示的流,并基于转发表中的匹配来转发分组。
诸如OpenFlow的标准定义了用于消息的协议,以及用于处理分组的模型。用于处理分组的模型包括报头解析、分组分类和做出转发决定。报头解析描述了如何基于公知的协议集来解释分组。一些协议字段用于构建将在分组分类中使用的匹配结构(或密钥)(例如,第一密钥字段可以是源媒体访问控制(MAC)地址,而第二密钥字段可以是目的地MAC地址)。
分组分类涉及在存储器中执行查找以通过基于转发表条目的匹配结构或关键字确定转发表中的哪个条目(也称为转发表条目或流条目)与分组最匹配来对分组进行分类。在转发表条目中表示的许多流可能可以对应于/匹配于分组;在此情况下,系统通常配置成根据定义的方案(例如,选择匹配的第一转发表条目)从许多转发表条目中确定一个转发表条目。转发表条目包括特定的匹配准则集合(如匹配能力所定义的分组的哪些部分应当与特定的一个值/多个值/通配符进行比较的指示、值或通配符的集合-针对分组报头中的特定字段或针对一些其它分组内容)以及数据平面在接收匹配分组时采取的一个或多个动作的集合。例如,动作可以是对于使用特定端口的分组将报头推送到分组上,泛洪分组,或简单地丢弃分组。因此,具有特定传送控制协议(TCP)目的地端口的IPv4/IPv6分组的转发表条目可包含指定这些分组应被丢弃的动作。
基于在分组分类期间标识的转发表条目,通过对分组执行在匹配的转发表条目中标识的动作集来进行转发决定和执行动作。
然而,当未知分组(例如,如在OpenFlow用语中使用的“已丢失分组”或“匹配丢失”)到达数据平面1180时,分组(或分组报头和内容的子集)通常被转发到集中式控制平面1176。集中式控制平面1176然后将把转发表条目编程到数据平面1180中以容纳属于未知分组流的分组。一旦集中式控制平面1176已将特定转发表条目编程到数据平面1180中,具有匹配的证书的下一分组就将匹配该转发表条目,并且采取与该匹配的条目相关联的动作集合。
网络接口(NI)可以是物理的或虚拟的;并且在IP的上下文中,接口地址是指派给NI的IP地址,而无论该NI是物理NI还是虚拟NI。虚拟NI可以与物理NI相关联,与另一个虚拟接口相关联,或独立(例如环回接口、点对点协议接口)。(物理的或虚拟的)NI可以被编号(具有IP地址的NI)或不被编号(没有IP地址的NI)。环回接口(及其环回地址)是通常用于管理目的NE/VNE(物理或虚拟)的特定类型的虚拟NI(和IP地址);其中此类IP地址被称为节点环回地址。指派给ND的(一个或多个)NI的(一个或多个)IP地址被称为该ND的IP地址;在更细粒度的级别,指派给(一个或多个)NI(所述NI被指派给在ND上实现的NE/VNE)的(一个或多个)IP地址可被称为那个NE/VNE的IP地址。
每个VNE(例如,虚拟路由器、虚拟桥(其可以充当虚拟专用LAN服务(VPLS)中的虚拟交换机实例)通常是可独立管理的。例如,在多个虚拟路由器的情况下,其中每个虚拟路由器可以共享系统资源,但是在其管理域、AAA(认证、授权和计费)名称空间、IP地址和(一个或多个)路由数据库方面与其它虚拟路由器分开。可在边缘ND中采用多个VNE以便为服务和/或内容提供商的订户提供直接网络访问和/或不同类别的服务。
在某些ND内,独立于物理NI的“接口”可配置为VNE的一部分,以提供较高层协议和服务信息(例如,层3寻址)。除了其它订户配置要求之外,AAA服务器中的订户记录标识对应的订户在ND内应绑定到哪个上下文(例如,VNE/NE中的哪个)。如本文所使用的,绑定形成了物理实体(例如,物理NI、信道)或逻辑实体(例如,诸如订户电路或逻辑电路(一个或多个订户电路的集合)的电路)与上下文接口之间的关联,并且网络协议(例如,路由协议、桥接协议)通过该上下文接口被配置用于该上下文。当配置了某个高层协议接口并将其与该物理实体相关联时,订户数据在该物理实体上流动。
一些ND提供对实现VPN(虚拟专用网络)(例如,层2VPN和/或层3VPN)的支持。例如,其中提供商的网络和客户的网络耦合的ND分别称为PE(提供商边缘)和CE(客户边缘)。在层2VPN中,转发通常在VPN的任一端上的CE上被执行,并且业务跨网络被发送(例如,通过由其它ND耦合的一个或多个PE)。层2电路被配置在CE和PE(例如,以太网端口、ATM永久虚拟电路(PVC)、帧中继PVC)之间。在层3VPN中,路由通常由PE执行。作为示例,支持多个VNE的边缘ND可以被部署为PE;并且VNE可以用VPN协议来配置,因此该VNE被称为VPN VNE。
一些ND提供对VPLS(虚拟专用LAN服务)的支持。例如,在VPLS网络中,最终用户装置通过耦合到CE来访问通过VPLS网络提供的内容/服务,CE通过由其它ND耦合的PE来耦合。VPLS网络可用于实现三网融合网络应用(triple play network application)(例如,数据应用(例如,高速因特网接入)、视频应用(例如,诸如IPTV(因特网协议电视)、VoD(视频点播)服务的电视服务)和语音应用(例如,VoIP(因特网协议语音)服务))、VPN服务等。VPLS是一种可以用于多点连接性的层2VPN。VPLS网络还允许在分开的地理位置处与CE耦合的最终用户装置跨广域网(WAN)彼此通信,就好像它们在局域网(LAN)(称为模拟LAN)中直接彼此附连一样。
在VPLS网络中,每个CE通常可能经由附连电路(例如,CE和PE之间的虚拟链路或连接)通过接入网(有线和/或无线)附连到PE的桥模块。PE的桥模块通过模拟LAN接口附连到模拟LAN。每个桥模块都通过保存将MAC地址映射到伪线(pseudowire)和附连电路的转发表来充当“虚拟交换机实例”(VSI)。PE基于包括在那些帧中的MAC目的地地址字段将(从CE接收的)帧转发到目的地(例如,其它CE、其它PE)。
例如,虽然附图中的流程图示出由本发明的某些实施例执行的操作的特定顺序,但是应当理解,此类顺序是示例性的(例如,备选实施例可以以不同的顺序执行操作,组合某些操作,重叠某些操作等)。
虽然已经根据若干实施例描述了本发明,但是本领域那些技术人员将认识到,本发明不限于所描述的实施例,可以在所附权利要求的精神和范围内进行修改和变更来实践本发明。因此,本说明书应被视为是说明性的而非限制性的。

Claims (11)

1.一个或多个电子装置(1000、1102、1104、1174、1204)的系统的支持用户装置处的扩展现实应用的方法,所述方法包括:
从所述用户装置接收(701)所述用户装置的、与所述扩展现实应用的扩展现实环境有关的位置和姿势信息;
确定(703)所述扩展现实环境中与所述用户装置的所述位置和姿势信息相关的至少一个动态内容单元;
确定(705)所述至少一个动态内容单元的运动范围,其中所述至少一个动态内容单元穿过所述扩展现实环境移动;
针对所述用户装置的所述位置和姿势来确定(709)语义信息;
根据所述语义信息生成(713)语义映射图;
确定(719)应用于所述语义映射图的至少一个访问控制;
将所述至少一个访问控制应用(721)于所述语义映射图以防止动态内容在所述语义映射图中的位置处所述动态内容单元上的显示;
针对要在所述动态内容单元上显示的动态内容来查询(723)动态内容管理器;以及
将所述动态内容返回(729)到所述用户装置。
2.根据权利要求1所述的方法,其中,所述至少一个动态内容单元在三维中被定义,且可基于相对于所述用户装置的视角和距离在二维或三维中在扩展现实中被投影或渲染。
3.根据权利要求1所述的方法,还包括:
从所述用户装置接收(707)动态环境信息;以及
根据所述动态环境信息来确定(711)语义信息;以及
根据所述语义信息来生成(713)所述语义映射图,所述语义信息包括来自所述动态环境信息的语义信息。
4.根据权利要求1所述的方法,其中,所述至少一个访问控制基于来自静态环境信息的语义信息来防止动态内容的显示。
5.根据权利要求1所述的方法,其中,所述至少一个访问控制基于来自动态环境信息的语义信息来防止动态内容的显示。
6.根据权利要求1所述的方法,还包括:
监视动态环境信息,所述动态环境信息包括所述用户装置的位置和方位信息以及所述扩展现实覆盖的位置信息;以及
基于动态环境信息,将至少一个访问控制应用(727)于所述动态内容。
7.根据权利要求6所述的方法,其中,应用所述至少一个访问控制防止所述动态内容在所述语义映射图中属于一个或多个受限对象类别的一个或多个静态或动态对象上的显示。
8.一种包括计算机程序代码的机器可读介质,所述计算机程序代码在由计算机执行时执行根据权利要求1-7中任一项所述的方法步骤。
9.一个或多个电子装置的系统,所述系统包括:
非暂态机器可读介质(1090,1118,1148,1248),其中存储有动态内容单元服务;以及
一个或多个处理器(1060,1112,1142,1242),耦合到所述非暂态机器可读存储介质,所述一个或多个处理器用于执行所述动态内容单元服务,所述动态内容单元服务用于执行根据权利要求1-7所述的方法。
10.用于支持用户装置处的扩展现实应用的一个或多个电子装置(1000、1102、1104、1174、1204)的系统,所述系统包括:
非暂态机器可读介质(1090,1118,1148,1248),其中存储有动态内容单元服务;以及
一个或多个处理器(1060,1112,1142,1242),耦合到所述非暂态机器可读存储介质,所述一个或多个处理器用于执行所述动态内容单元服务,所述动态内容单元服务用于:从所述用户装置接收(701)所述用户装置的、与所述扩展现实应用的扩展现实环境相关的位置和姿势信息;确定(703)所述扩展现实环境中与所述用户装置的所述位置和姿势信息相关的至少一个动态内容单元;确定(705)所述至少一个动态内容单元的运动范围,其中所述至少一个动态内容单元穿过所述扩展现实环境移动;针对所述用户装置的所述位置和姿势来确定(709)语义信息;根据所述语义信息生成(713)语义映射图;确定(719)应用于所述语义映射图的至少一个访问控制;将所述至少一个访问控制应用(721)于所述语义映射图以防止动态内容在所述语义映射图中的位置处所述动态内容单元上的显示;针对要被显示为扩展现实覆盖的动态内容来查询(723)动态内容管理器;以及将所述动态内容返回(729)到所述用户装置。
11.一种非暂态机器可读介质,其中存储有指令的集合,所述指令在由电子装置执行时使得所述电子装置执行操作的集合,所述操作包括:
从用户装置接收(701)所述用户装置的、与所述扩展现实应用的扩展现实环境有关的位置和姿势信息;
确定(703)所述扩展现实环境中与所述用户装置的所述位置和姿势信息相关的至少一个动态内容单元;
确定(705)所述至少一个动态内容单元的运动范围,其中所述至少一个动态内容单元穿过所述扩展现实环境移动;
针对所述用户装置的所述位置和姿势来确定(709)语义信息;
根据所述语义信息生成(713)语义映射图;
确定(719)应用于所述语义映射图的至少一个访问控制;
将所述至少一个访问控制应用(721)于所述语义映射图以防止动态内容在所述语义映射图中的位置处所述动态内容单元上的显示;
针对要被显示为扩展现实覆盖的动态内容来查询(723)动态内容管理器;以及
将所述动态内容返回(729)到所述用户装置。
CN202180095475.1A 2021-03-11 2021-03-11 扩展现实中的移动媒体 Pending CN116964543A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2021/052054 WO2022189832A1 (en) 2021-03-11 2021-03-11 Moving media in extended reality

Publications (1)

Publication Number Publication Date
CN116964543A true CN116964543A (zh) 2023-10-27

Family

ID=75223349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180095475.1A Pending CN116964543A (zh) 2021-03-11 2021-03-11 扩展现实中的移动媒体

Country Status (4)

Country Link
US (1) US20240071011A1 (zh)
EP (1) EP4305508A1 (zh)
CN (1) CN116964543A (zh)
WO (1) WO2022189832A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102204919B1 (ko) * 2014-06-14 2021-01-18 매직 립, 인코포레이티드 가상 및 증강 현실을 생성하기 위한 방법들 및 시스템들
US10902685B2 (en) * 2018-12-13 2021-01-26 John T. Daly Augmented reality remote authoring and social media platform and system
US11354085B2 (en) * 2019-07-03 2022-06-07 Qualcomm Incorporated Privacy zoning and authorization for audio rendering

Also Published As

Publication number Publication date
WO2022189832A1 (en) 2022-09-15
US20240071011A1 (en) 2024-02-29
EP4305508A1 (en) 2024-01-17

Similar Documents

Publication Publication Date Title
US11863844B2 (en) On-demand generation and personalization of video content
US11315326B2 (en) Extended reality anchor caching based on viewport prediction
US9471934B2 (en) Method and apparatus for feature-based presentation of content
US9870511B2 (en) Method and apparatus for providing image classification based on opacity
US11614974B2 (en) Enabling a fog service layer with application to smart transport systems
US20160342862A1 (en) Method and apparatus for classifying objects and clutter removal of some three-dimensional images of the objects in a presentation
US20230351704A1 (en) Computer vision and artificial intelligence method to optimize overlay placement in extended reality
Pandi et al. Joint design of communication and control for connected cars in 5G communication systems
US11122424B1 (en) Systems, methods and apparatus for data privacy protection based on geofence networks
WO2015107263A1 (en) Method and apparatus for evaluating environmental structures for in-situ content augmentation
CN104798434A (zh) 通过行为预测防止掉线呼叫
WO2015077766A1 (en) Systems and methods for providing augmenting reality information associated with signage
US11653220B2 (en) Cloud-based deployment service in low-power and lossy network
KR102421862B1 (ko) 현실 세계 장소와 관련된 현실감을 증강하기 위한 방법, 장치, 시스템, 디바이스 및 컴퓨터 프로그램 제품
US20240265661A1 (en) Extended reality overlay optimization via distributed computing
US11797896B2 (en) Autonomous aerial vehicle assisted viewing location selection for event venue
US20220171963A1 (en) Autonomous aerial vehicle projection zone selection
CN110248157A (zh) 一种进行执勤调度的方法与设备
US20240071011A1 (en) Moving media in extended reality
US20230262412A1 (en) Private sharing of location data for extended reality rendering
EP4156787A1 (en) Geographic routing
US20230020942A1 (en) Virtual Content Units for Extended Reality
US20230351675A1 (en) Occlusion of Virtual Content in Extended Reality
US20230027736A1 (en) Just-in-Time User Data with Privacy
Maalej et al. Integration of Vehicular Clouds and Autonomous Driving: Survey and Future Perspectives

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination