CN110521186A - 用于使用数字、物理、时间或空间发现服务的共享混合现实体验的方法和系统 - Google Patents

Abstract

系统和方法允许安装在车辆内的诸如感觉系统和混合现实内容消费系统的设备(110,120)发现彼此、共享多维现实、继承混合现实内容的上下文、和/或进行协调，同时提供混合现实用户体验。发现服务(100)可以从多个设备(110,120)接收信息，并将其数字和物理特性相关联以使设备(110,120)能够发现彼此。可以用于配对的设备的特性可以包括其物理方向、设备的可观察实体、设备的状态机、设备在自主操作或有外部帮助的情况下的意图、设备的位置、描述设备在多维实体中随时间的移动的时间/空间信息、或包含在设备内或由设备生成的任何唯一标识符。

Description

用于使用数字、物理、时间或空间发现服务的共享混合现实体 验的方法和系统

技术领域

本公开一般涉及网络连接的电子设备，并且特别涉及用于这样的设备的发现服务。

背景技术

发现服务被部署在软件系统中以揭示网络中的功能或应用服务的存在。这些发现服务通常由软件进程用来发现来自本地网络内的其它设备的可用功能。

混合现实系统集成了现实和虚拟世界或空间的感觉体验。混合现实系统通常与在真实世界的视觉显示器上覆盖虚拟或电子内容的视觉平台相关联。在一些应用中，向混合现实设备提供可靠的、灵活的发现能力以识别附近的其他设备并与其通信可能是重要的。

发明内容

提供了一种方法和装置，通过该方法和装置，提供和/或寻找混合现实内容的设备，诸如能够自主操作或具有驾驶员增强功能的车辆中的传感器和系统，可以发现在集中式网络连接的服务器上实现的其他设备和/或服务并与其交互，以共享内容并实现改进的混合现实体验。

在一些实施例中，网络连接的服务器可以促进在多个经由公共数字通信网络进行通信的车辆之间共享混合现实服务，每个车辆包含一个或多个混合现实服务提供设备和/或一个或多个混合现实服务查找设备。一种相关联的方法包括经由数字通信网络从一个或多个服务提供设备中的每一个接收一个或多个通告。所述通知可以包括对由所述服务提供设备提供的服务的标识，以及与所述服务提供设备相关联的位置。服务器还可以接收对服务查找设备的服务的请求。然后，服务器操作以向服务查找设备公布一个或多个服务提供设备的标识(例如，可以联系服务提供设备的网络地址)和由此提供的服务的规范，使得服务查找设备可以与一个或多个服务提供设备配对，并且从所述一个或多个服务提供设备接收混合现实服务。配对的设备可以经由用于发现通信的相同数据通信网络(例如广域网)与服务器通信，或者经由对服务提供和服务查找设备都可访问的第二通信网络(例如局域网)与服务器通信。

这样的服务提供设备和服务查找设备可以分布在它们可以安装在其中的一个或多个车辆上。服务提供设备可以基于一个或多个特征来分组，所述特征例如是传感器能力、预期的行进路线和/或与预期的行进路线相关联的时间系。内容可以经由各种技术在设备之间共享，包括数据流传输和经由代理服务器的传输。

在一些实施例中，可以将空间和/或时间变换应用于共享的混合现实内容，以便例如补偿共享这种内容的服务提供设备与消费该内容的服务查找设备之间的转换、旋转和/或定时的改变，和/或诸如可以由集中式数据聚集服务器使用标准化公共参考系。这样的变换可以在服务提供设备上本地地应用、在服务查找设备上本地地应用、和/或经由发现服务器或数据聚集服务器远程地应用。

接收共享混合现实内容的服务器可以对一个或多个混合现实内容数据流实现模式分析模块，以识别数据流内的一个或多个模式，并且将这些模式与从服务提供设备获得的唯一标识符相关联。模式分析模块输出可以经由API发布，以例如使得聚集的混合现实内容对于外部计算应用可用，无论是在车内还是远程实现。

网络连接的混合现实聚集服务器可以从一个或多个服务提供设备接收混合现实内容，并且生成聚集的混合现实内容。例如，现实聚集服务器可以比较从多个设备接收的混合现实内容以排除异常观察并建立基线事实。在生成聚集混合现实内容时，可以基于例如传感器能力规范和/或与从其接收内容的服务提供设备相关联的其他信任级别，对来自每个服务提供设备的内容进行加权。然后，可以与服务查找设备和/或其他网络连接的系统共享聚集的混合现实内容。

在一些实施例中，聚集混合现实服务器可以操作以通过向能够做出所请求的观察的服务提供设备发送对观察的请求来提高聚集混合现实内容中的置信水平。可选地，已经接收任务的服务提供设备可以动态地配置机载传感系统以优化任务的性能，和/或过滤收集的混合现实数据以在经由通信网络返回数据之前减少对任务无响应的数据。在任何情况下，对这样的请求的响应然后可以被用于更新和/或优化聚集混合现实内容，诸如通过生成共享混合现实模型。这些和其它类型的请求可以作为任务来排队，每个任务可以被分派到一个或多个有资格的服务提供设备。服务提供设备可以由多个因素限定任务，这些因素包括但不限于设备传感器能力和设备位置中的一个或多个。

根据本文提供的进一步描述，本文描述的系统和方法的这些和其它方面将变得清楚明了。

附图说明

图1是用于联网设备之间的共享混合现实服务的框架的示意性框图。

图2是用于共享混合现实服务的框架中的设备发现的过程。

图3是发现服务后端的示意性框图。

图4是被配置用于服务提供的初始联网设备的示意性框图。

图5是被配置用于服务查找的附加设备的示意性框图。

图6是用于对服务提供设备进行分组的过程。

图7是用于变换由服务查找设备接收的混合现实内容的过程。

图8是利用分布式服务提供设备来实现用于收集混合现实内容的集中式任务队列的过程。

图9是用于发现和共享混合现实内容的装置的示意性框图。

图10是用于发现和共享混合现实内容的另一布置的示意性框图。

具体实施方式

尽管本发明可以有许多不同形式的实施例，但在附图中示出并将在此详细描述的是几个具体实施例，应理解，本公开应被认为是本发明原理的示例，以使本领域技术人员能够制造和使用本发明，而不是要将本发明限制为所示的实施例。

这里描述的一些实施例提供了一种发现框架，网络连接设备可以使用该发现框架来通告和发现混合现实内容的可用性。发现框架通常涉及初始联网设备接收媒体或其它内容或将媒体或其它内容传送到可被引入的其它附加联网设备上。可以如这里所描述的那样应用这样的概念以提供可以由多个参与者在各种操作情境中共享的混合现实环境。混合现实服务可能特别有价值的一个这样的情景是关于具有自主驾驶、半自主操作和/或利用混合现实内容的驾驶员辅助特征的车辆。在这样的实施例中，车辆可以与穿过给定地理空间的其他车辆交互，以便更好地感知空间内的物体和空间的特性。例如，穿越地理空间的第一车辆可以发现并与其他附近的车辆进行交互，位于的要被通知特定道路状况的存在的其它附近车辆并与其交互从而能够被告知处于第一车辆的感知领域之外但处于第二车辆的感知领域之内的特定路况的存在。

图1和2示出了混合现实发现框架的示例性实施例。混合现实发现框架包括发现服务后端服务器100。发现服务后端服务器100可以经由被配置成如这里进一步描述的那样操作的网络连接的计算服务器来实现。特别地，服务器100可以包括一个或多个微处理器和存储指令的数字存储器，当微处理器执行指令时，使服务器执行这里描述的某些操作。类似地，在此描述的其它网络连接的设备同样可以经由包括微处理器和存储指令的数字存储器的系统来实现，当由微处理器执行时，所述指令使得系统执行(直接地或者经由与其它组件的交互)在此描述的某些操作。

一个或多个初始混合现实设备110可以与服务器100通信，并且存在于地理空间内的各个位置处。初始混合现实设备110可以各自向其他设备提供一个或多个混合现实服务，并且知道彼此在网络中和地理空间内的存在。虽然在图1中将初始混合现实设备110图示为多个设备，但是可以设想和理解，在一些情形中，单个初始混合现实设备110可以存在于特定地理空间内。

附加的混合现实设备120也存在于地理空间内，并且试图发现其他设备110并从它们接收混合现实服务。初始设备110和附加设备120都经由诸如因特网或专用广域网的数据通信网络与发现服务后端服务器100通信。在一些实施例中，在设备110和120已经配对之后，它们可以直接彼此通信。在其它实施例中，可以提供代理服务器130以促进它们之间的某些通信，如以下进一步描述的。在其他实施例中，服务提供设备110和服务寻求设备120可以在公共的设备(例如，车辆内的多个系统)内实现，或者甚至在单个计算设备(例如，由公共微处理器执行的单独的软件实现的模块，潜在地经由环回接口彼此交互)内实现。

图3是根据一个实施例的发现服务器100的示意性框图。发现服务器100包括用于与服务提供设备110进行网络通信的通告接口103。发现接口104使得能够与服务查找设备120进行通信。经由接口103和104的通信可以被传送到设备监控和匹配模块102，以及从设备监控和匹配模块102传送，如下面进一步描述的那样操作。发现服务器100还可以实现模式分析模块105，这将在下面进一步描述。数据存储组件101允许存储和检索各种类型的数据，这些数据可包括一个或多个数据库以及各种其它结构化和非结构化数据存储机制，这也将在下面进一步描述。API模块106可以实现应用编程接口，该应用编程接口使得能够与第三方服务进行各种其他集成，其中一些集成在本文的其他地方描述。

设备110和120可以各自是包括利用已知联网协议和联网接口的计算设备的联网设备。联网协议可以包括但不限于UDP、TCP、HTTP、套接字、WebSockets、异步事件驱动消息收发或其它联网协议。联网接口可以包括但不限于USB、以太网、CAN总线、光纤、WiFi或其它联网接口。

图4是初始设备110的示例性实施例的示意性框图。在图4和5的实施例中，设备110被示为初始设备(即，先前主动向发现服务器100注册的设备)以及服务提供设备(即，向其他设备提供混合现实内容的设备)。设备120被示为附加设备(即，寻求向发现服务器100注册的设备，诸如与其他设备配对的设备)，并且还被示为服务寻求设备(即，寻求获得由另一设备共享的混合现实内容的设备)。然而，可以设想和理解，在其它实施例中，初始设备可以包括服务提供设备和服务查找设备中的任一个或两者。类似地，寻求向服务器100注册的附加设备可以是服务提供设备或服务寻求设备。在其他实施例中，特定设备可以是服务查找和服务提供两者；这种设备可以包括图4和图5的组件。服务提供设备有时也可以称为服务设备或混合现实内容服务设备。类似地，服务查找设备有时也可以称为客户端设备和/或混合现实内容消费设备。

参考图4，初始设备110可以包括微处理器实现的混合现实内容生成器113，其生成混合现实内容以供本地使用并且可能与其他设备共享。内容生成器113从传感系统112接收数据。例如，在示例性自主车辆实施例中，传感系统112可以包括惯性测量单元。从惯性测量单元中继到混合现实内容生成器113的信息可以包括来自加速度计、磁力计、陀螺仪、气压计和GPS接收器中的一个或多个的数据。传感系统112还可以包括基于光学、无线电和/或激光的传感器的某种组合，其向混合现实内容生成器113提供描述设备110附近的物理环境的空间数据。这种光学传感器可以包括光学和/或红外照相机。无线电传感器可以包括雷达或探地雷达。基于激光的传感器可以包括LiDAR传感器。这些和其他传感器112可以提供由内容生成器113用来生成混合现实内容的数据，该混合现实内容由设备110本地使用，并且用于与其他设备110共享。

设备110还可以包括数据存储115，诸如高速缓存数据结构或可查询数据库。例如，在示例性自主车辆实施例中，数据存储115可以包括语义地图，该语义地图尤其包含位于车辆正在经过的地理环境中的已知资产的位置数据。数据存储115可以向包括内容生成器113的系统提供数据。在其它使用中，数据存储115内的信息可以由传感系统112内的定位模块查询，以确定联网设备相对于其它对象的位置和姿态，该车辆位置和姿态可以被提供给混合现实内容生成器113，以达到混合现实内容的地理定位的目的。当然，其它定位技术和机制(例如，GPS、IMU)可以与上述定位系统结合使用，或者代替上述定位系统使用，以便向混合现实内容生成器113提供位置和/或姿态数据。

每个初始设备110还包括发现服务通信接口111和附加设备通信接口114。发现服务通信接口111是便于设备110和发现服务后端100之间的数字通信的网络通信接口。附加设备通信接口114是网络通信接口，其便于设备110和可以共享混合现实内容的其他设备(例如其他设备110或新设备120)之间的通信。

图5是试图发现设备110并与它们交互以接收和/或提供混合现实内容的附加设备120的示意性框图。在寻求发现和利用由其它设备110提供的服务的程度上，新设备120在这里有时可以被称为服务查找设备；然而，可以设想并理解，在一些实施例中，设备120(以及任何其他设备)可以充当服务查找设备和服务提供设备两者。在其作为服务查找设备的角色的上下文中，新设备120包括混合现实内容消费组件121，设备120针对该组件寻求接收混合现实内容。在示例性自主车辆应用中，混合现实内容消费组件121可以是例如本地环境映射和/或导航控制模块，其寻找关于设备120不能直接感知的状况(诸如前面的交通状况，超出对本地安装在设备120上的传感器(未示出)的感知范围)的信息。混合现实内容消费组件121通常将使用访问数字存储器的微处理器来实现，以便利用本地提供的和来自其他源的混合现实内容。类似于设备110，设备120还包括用于在混合现实发现框架中与其他设备进行通信的通信接口，包括用于参与与其他设备110进行网络通信的设备通信接口122，以及参与与发现服务后端100进行通信的发现服务后端通信接口123。设备120可以包含与设备110中的传感系统112类似的多种传感系统；然而，优选的是，设备120将至少包括定位模块123，以向其他系统(包括混合现实内容消费组件121)提供关于设备120的位置和姿态的数据。

在一些实施例中，车辆可以包括提供或寻找混合现实内容的单个设备。在其他实施例中，每个交通工具可以包括提供和/或寻找混合现实内容的多个设备。在一些实施例中，给定车辆上的多个设备可以经由车载通信接口彼此交互，以协作地呈现混合现实服务，用于与具有服务寻找设备的其他车辆共享。在其他实施例中，给定车辆上的多个设备可以独立地与发现服务器100交互并服务于查找设备(无论是位于另一车辆内还是同一车辆内)。

返回参考图2，提供了可以由图1的设备利用以便实现混合现实服务发现的过程。在步骤S200中，服务提供设备110参与与发现服务后端100的联网通信，以例如通告其地理位置和可用于提供给其他设备的服务。在步骤S210中，从其它设备寻求混合现实服务的服务寻求设备120向发现服务后端100发送服务请求。步骤S210的服务请求可以包括设备120的地理位置(例如，由定位模块124确定的位置和/或姿态)，以及可选地，所寻求的服务的规范。在步骤S220中，后端100通过向设备120发布可用服务来响应步骤S210的查询。步骤S220的发布可以包括：网络地址，在该网络地址处可以到达一个或多个服务提供设备110以进行通信；以及从设备110可用的一个或多个服务的标识。

步骤S220的发布可以包括发布与服务提供设备110的子集有关的信息。该子集可以由发现服务后端100使用基于一个或多个数字或物理特性的准则来确定。例如，在一些实施例中，发现服务后端100可以实现基于分析联网设备通过多维现实的移动来将空间数据流分组在一起的算法。发现服务后端100然后可以基于设备的分组将联网的设备介绍给彼此。因此，例如，诸如每个服务提供设备110的位置(以绝对术语和/或相对于服务查找设备120的位置)的空间元数据可以被发现服务后端100用来选择设备110的子集以提供与设备120的配对。

在一些实施例中，发现框架涉及联网设备110和120向发现服务后端服务器100报告它们的位置和时间戳。服务器100实现了一种算法，以基于分析网络设备110和120通过时间和空间多维现实的移动，将空间和时间数据流分组在一起。服务器100然后可以基于设备的分组将联网设备110和120介绍给彼此。

在一些实施例中，发现框架可包括依赖于来自初始和附加联网设备的多个传感器流的多维特征的分组和匹配算法的集合。该算法利用输入传感器数据和附加设备元数据来提取特征，以便适当地将具有匹配特性的设备分组。

图6示出了可以被服务器100用来将服务查找设备与一组服务提供设备进行匹配的过程，例如可以在图2的步骤S220中执行的过程。在步骤S600中，(例如从由设备110报告给服务器100的传感器流或其它数据)提取一个或多个设备特征。在步骤S610中，服务器100基于所提取的特征对设备110进行分组。在步骤S620中，使用配对元数据将服务查找设备与服务提供设备的组中的一个或多个进行匹配，所述配对元数据可以包括但不限于所提取的特征、地理位置或其他空间元数据、时间元数据、设备偏好和装备能力描述符(例如传感器或其他装备规范)中的一个或多个。在步骤S630中，服务器100将在步骤S620中选择的组成员的标识(例如，网络地址和服务描述)发送到服务查找设备120。

例如，对于其中设备是车辆的实施例，可以实现分组和匹配操作以对携带相同传感器硬件或具有类似能力的车辆(例如，所有LIDAR携带车辆，或所有配备有每秒高帧立体相机系统的车辆)进行分组。在其它应用中，可以基于它们正在观察的内容对这样的车辆进行分组(例如，具有观察公共行进路线上的所有道路标志的装置的车辆，例如，沿着公共路段的车辆，可以被分组以可靠地检测不具有可用的高质量先前地图数据的区域中的标志)。

这些和其它分组或选择机制可用于实现所需的系统行为。在示例性实施例中，发现框架可以将在特定时间系内沿着相同路段行驶的车辆队列分组在一起，其中每个车辆携带初始设备和多个附加设备。车辆队列可以包括携带初始装置(例如，包括视觉传感器、惯性传感器、4G通信和计算机的装置)和通过使用来自初始装置的数据显示道路状况的一个附加装置的车辆。然后，分组将被用于共享每个车辆中的观察到的现实，并将它们合并为一个共同的现实。

最后，在步骤S230中，设备120可以与一个或多个设备110通信以配对和共享混合现实内容或服务。联网设备110和120可以实现直接网络通信接口以建立握手来在它们之间直接通信。可以提供另一网络通信接口，以使联网设备110和120能够经由代理或利用远程过程调用或长轮询来通信，这在数字网络通信领域是已知的。

在一些实施例中，可以在设备配对之前使用初始通信协议，并且可以在设备配对之后使用不同的通信协议。例如，在配对之前，物理上彼此接近的两个设备可能最初依赖于广域网上的通信(例如，蜂窝因特网服务)，即使对于直接通信也是如此；在配对之后，同一设备可以经由诸如蓝牙、DSRC、NFC或另一短距离协议之类的第二通信协议进行通信。这样的实施例在减少广域网上的通信量和/或使设备能够在各种通信协议之间转换方面是有益的，所述各种通信协议各自被优化以实现共享的服务的性质。

一些实施例可以实现用于初始联网设备和附加联网设备之间的认证的协议，以建立安全的通信信道。信道可以利用加密、解密、编码、解码、压缩、解压缩、散列和各种其它技术来保护单向、双向、单播或多播通信，并导致更高效的通信。对安全通信信道的加密和解密可以实现各种技术，例如对称、公钥、消息验证或其它形式的加密/密码术。设备间通信协议可包括异步、同步、远程过程调用(RPC)、对等通信样式，以使初始联网设备能够与能够基于网络栈中的约束来协商并从可用通信样式的阵列中挑选的附加联网设备通信。网络堆栈中的约束的一些示例可包括防火墙、代理、隧道、带宽约束。

一旦在步骤S230中服务查找设备与服务提供设备配对，服务查找设备可以预订来自其他联网设备的通知。可以利用各种消息传送技术来将通知从一个设备传递到另一个设备。消息传送技术可以包括但不限于事件触发器的使用，长轮询，随机(stochastic)过程或随机(random)间隔，与环境、设备的视野和配置相关联的马尔可夫概率分布函数。

初始联网设备或附加联网设备可以利用各种寻址来发送寻址到单个接收方或多个接收方的信息，所述寻址例如IPv4、IPv6、私有IP地址、IP子网、主机名或诸如单播寻址、广播寻址、多播寻址、任何广播寻址或网络地址转换器的其它方法。

发现框架可以包括共享的多维现实，其允许多个设备协调、共享意图并对事件分派做出反应，从而允许在共享的或设备特定的多维现实中的感知、定向和致动方面的改进。在本发明的特定实施例中，发现框架服务于初始联网设备与附加联网设备共享上下文(无论是数字的还是物理的)，以便计算从一个设备特定的多维现实到另一个的空间变换。空间变换可定义每一装置的多维现实空间之间的平移和旋转变化两者。平移可以包含横向、纵向或垂直轴的运动。旋转可包含关于初始联网设备的滚动、俯仰和偏航的移动。操纵的多维性质还允许修改时间以便在联网设备之间同步。

例如，安装在汽车内并与服务查找设备配对的初始设备(例如，在步骤S230中)可以使用放置在汽车的车顶上的LIDAR设备来检测自行车线。在LIDAR的参考系中检测到该自行车线(意味着LIDAR在原点)。自行车道可以在安装在车辆的仪表板上的智能电话(辅助设备)的屏幕上显示为绿色线(即，电话相机用于生成视频，并且电话屏幕用于显示由LIDAR检测到的自行车道分界补充的视频)。当在联网设备的视频馈送上显示自行车道覆盖图时，划定自行车道的绿线将需要被放置在智能电话相机位于原点的参考系中。因此，知道从LIDAR传感器到相机传感器的变换(平移和旋转)将是有益的，从而可以将变换应用于由服务查找设备消费的混合现实内容。

在一些实施例中，发现框架涉及初始联网设备向由发现服务器(例如服务器100)实现的后端发现服务报告其位置、时间戳和任意有效载荷，该任意有效载荷可以包括图片数据、文本数据、音频数据、视频数据或其它形式的元数据的某种组合。附加联网设备还向后端发现服务器报告它们的位置和时间戳。由服务器100实现的算法可用于基于分析联网设备通过时间和空间多维现实分析的移动以及来自联网设备的任意有效负载来将空间和时间数据流分组在一起。例如，在前一段的情形中，LIDAR检测到的自行车道覆盖在智能电话摄像机视频馈送上，视频馈送可能导致延迟(例如，大约1秒)。在这种情况下，最优变换还可以包括时间变换组件，例如LIDAR馈送中的附加延迟，以进行补偿，从而帮助使所显示的现实看上去一致。在其他情况下，共享的混合现实内容可以相对于本地混合现实内容被延迟；在这种情况下，可能期望将延迟应用于本地混合现实内容，以便将该内容与共享的混合现实内容在时间上对准。在其他情况下，混合现实内容可以源自三个或更多源(无论是本地的还是共享的)，并且消费混合现实内容的设备可以向每个源应用变化的定时偏移，以便在时间上对准它们。

图7示出了根据在前述段落中详细描述的原理的用于消费混合现实内容的示例性方法，其可以在图2的过程的步骤S230中应用。在步骤S700中，服务查找设备120接收由服务提供设备110与其共享的混合现实内容。在步骤S700中接收的混合现实内容包括内容上下文。内容上下文可以包括但不限于：物理平移的描述符、物理旋转的描述符和时间戳或其它时间描述符。在步骤S710中，服务查找设备120利用共享的混合现实内容物理平移和旋转描述符，连同描述服务查找设备120的平移和旋转信息，来对共享的混合现实内容应用空间变换，从而将共享的混合现实内容映射到适用于服务查找设备120的设备特定的维度空间中。在步骤S720中，服务查找设备120利用共享混合现实内容时间描述符来对共享混合现实内容和/或源自本地的混合现实内容应用时间变换，从而将共享混合现实内容和源自本地的混合现实内容映射到一致的时间空间中。在步骤S730中，在步骤S710和S720中被空间和时间变换的共享混合现实内容由服务查找设备120消费。

如上所述，后端服务器100可以实现基于设备分组将联网设备介绍给彼此的组件。一旦设备被分组，并且假定辅助设备请求发现其附近的可用服务，该组件实现一种算法，以将辅助设备的所有可用服务的数量减少到仅是相关的或者可以被设备消耗的那些服务。例如，如果辅助设备不具有音频输出，则可能不需要将其引入到提供音频混合现实的服务。算法的输出是对发出请求的设备的响应，通知它可用的服务，并可能将该设备引入提供这些服务的初始(或服务提供)设备。联网设备然后可以建立握手以在它们之间直接通信。

一旦服务查找和服务共享设备配对(例如，在步骤S230中)，混合现实内容可以经由多个通信机制中的任何一个共享(例如，由混合现实内容生成器113和其他设备通信接口114传送到服务查找设备120及其通信接口122和混合现实内容消费模块121，诸如可以在过程步骤S700中发生的)。在一些实施例中，一旦发起了内容共享请求，混合现实内容就可以从内容共享设备110流传输到内容查找设备120，其中设备110连续地向设备120发送数据而不等待另外的请求。在其它实施例中，设备通信模块(例如，通信接口114和122)可以允许联网设备随后经由代理或利用远程过程调用或长轮询来通信。寻求加入共享混合现实环境的新设备120可以使用代理服务器(或中继)(例如，图1中所示的代理服务器130)，该代理服务器然后从初始设备110接收数据并将该数据转发到服务寻求设备120。代理服务器130可以用于将混合现实内容从服务提供设备110分发到多个服务查找设备120，从而潜在地减少服务提供设备110协调和分发到服务查找设备的负担，以及其他益处。通过长时间轮询，服务查找设备120可以开始向服务提供设备110询问服务数据，并且响应于每个请求，服务提供设备110发送服务数据。对于不同的应用和数据类型，可能需要不同的设备到设备通信机制。

在一些实施例中，发现服务器100可以实现模式分析模块105。优选地，模式分析模块105利用机器学习来识别来自各种联网设备110内的多维现实的数据流中的模式，并将这些模式与从联网设备110获得的唯一标识符(例如，与在服务提供设备的环境中观察到的特定资产相关联的唯一标识符)相关联。在数据存储模块101内实现的数据库可以以可查询的格式存储图案和唯一标识符以便稍后可用。API服务106可以与第三方服务集成以在请求时传送数据流中的模式，等等。因此，API 106可以用于聚集从由多个服务提供设备获取的混合现实内容数据中导出的混合现实内容，并且使得聚集的混合现实内容对于外部计算应用可用，其中所述多个服务提供设备可能部署在多个交通工具上。在一些使用情况下，由API106服务的这种外部计算应用可以在车辆内实现(例如车载语义映射模块)。在其他使用情况下，由API 106服务的这种外部计算应用程序可以独立于任何特定车辆来实现(例如，基于云的语义映射服务)。在又一使用情况下，API 106可操作以使操纵盘可用于联网设备110来审阅和分析由服务器100存储的关于它们的信息。通知服务(在一些实施例中，其可以由API模块106实现)然后可以处理联网设备之间的消息传递以基于触发来分派事件。

在一些实施例中，模式分析模块105还可以提供混合现实聚合框架，其被实现用于来自联网设备的混合现实内容贡献的远程聚合和校对。该框架可以用于记录来自各种设备的观察，并且对观察进行比较，从而达到在不同维度(空间、时间等)处生成和散布更完整和一致的混合现实理解。虽然在图3的实施例中模式分析模块105被示为由服务器100实现的组件，但是可以构想和理解，在其它实施例中，模式分析模块105(以及由其实现的远程聚集框架)可在单独的网络连接的计算服务器上实现为可独立于设备发现、监视和匹配的服务。例如，在一些实施例中，除了用作服务提供和服务查找设备之间的通信的管道之外或作为其替代，代理服务器130可以实现如这里所述的混合现实聚合服务。

混合现实聚集框架可利用来自联网设备的多个观测结果的正交性来确保观测结果的独立性。该框架可以例如经由发现服务器100通过基于信任对不同的观察和设备进行分级来实现用于管理观察之间的差异的算法。可以基于联网的设备元数据来确定信任，该元数据指示设备携带的传感器有效载荷的类型；例如，传感器越精确，信任级别越高。建立信任的其它形式可以包括测量联网设备在一段时间内的真实的正观察率，以确定特定设备是否可信。后端服务器100还可以从设备请求进一步的样本和观察以协商混合现实地面(ground)实况。例如，后端服务器100可以主动地向所选择的设备发送对观察的请求，这在特定观察的置信水平太低时是期望的，例如低于阈值水平。置信度可以由诸如观测设备中的信任和/或先前观测结果之间的差异之类的因素来测量。通过利用增加数量的独立多维观察，可以以指数地减少的假阳性率达到可观察到的真实性。

在一些实施例中，设备110和120可以包括混合现实内容消费系统。消耗可以采取以下形式，尤其是：混合现实内容的听觉、触觉和视觉反馈；用于区分可观察现实中的动态、伪静态和静态信息的方法；用于区分虚拟现实和物理现实的方法；使用时间窗口的单个可观察的现实的回放功能；使用时间窗口从多个设备回放共享的可观察现实的功能。

在示例性实施例中，混合现实内容消费可以指在城区中行驶的车辆的相机馈送上的地图信息的视觉显示。馈送可以包括实际道路表面上的街道名称的虚拟覆盖，当街道名称标志被道路上的植物入口或其他车辆遮挡时特别有用。在另一示例性实施例中，道路表面可以没有指示车道的习惯标记，并且仅混合现实体验提供指示车辆的安全行驶区域的必要标记。这些特征可以用于基于一天中的时间来缓解交通拥塞。

发现框架可以包括用于初始和附加联网设备的任务的调度器，其被部署在后端服务器上。在一些实施例中，调度器可由例如模式分析模块105；在其他实施例中，调度器可以由服务器100内的单独组件或者由外部网络连接的服务器来实现。调度器可以访问将由拥有必要特征的设备(例如，提供满足期望标准的服务的设备)完成的任务队列。调度器可以将任务分派到特定设备或其组。这可以通过诸如引导加载或空中编程的部署方法来实现。软件应用、应用的特定版本或它们的配置参数可以从实现发现框架的服务器被发送到服务提供设备。可以利用用于验证软件版本的各种方式，诸如来自MD5sums的二进制签名。

发现框架可以利用一组算法来将初始和附加联网设备与任务配对。这些算法可以利用来自每个设备的特定元数据、特定原始传感器数据、从所观察到的现实中提取的特征等。可以生成每个装置在任务处的有效性的分级。然后，可以应用考虑到不同设备、它们的特性和限制(例如，物理位置和目的地、可用的感测和计算资源)的优化方法，以最大化混合现实信息覆盖和准确度。例如，一组设备可以被分派任务以观察特定道路交叉口的状态。假设仅设备的子集携带正面相机，而所有其他设备具有背面相机(或根本没有相机)，则后端的这一特征可用于将任务仅分派到携带适当传感器有效载荷(例如，该信息可在设备元数据中获得)的那些设备。

发现框架还可以包括通常在发现服务后端服务器100内实现的模块，用于收集各种调度任务的输出结果，如它们由初始和附加联网设备执行的那样。在示例性实施例中，联网设备可以报告当设备在道路上行进时观察到的地图矢量贡献。收集模块然后可以将贡献汇集到高速缓存中，并且随后测试关于贡献的正确性的各种假设。在这种实施例的一个示例中，多个设备可以被分派任务以创建表示高速公路上新添加的车道的中心线的虚拟特征。每个设备可以报告其自己的这个中心线的版本，这继承了在设备处遇到的任何定位误差，或者由大的卡车阻挡车道的一部分引起的障碍。后端然后可以收集这些不同的观察作为假设，然后使用概率比测试、隐马尔可夫模型等来提取虚拟中心线。类似的操作也可以在联网设备本身上执行：可以将地图高速缓存的本地副本与所观察的环境进行比较，并使其有效或无效。

联网设备可以提供对传感器数据和传感器实时配置的本地处理能力。初始联网设备可以访问主动感测能力(LiDAR)或被动感测能力(照相机)。在任一情况下，设备可以选择动态地配置传感器，例如通过使传感器光学器件中央凹陷，以便为每个传感器帧生成更大量的信息。这种聚焦或其它动态传感器配置可以由多种因素确定，包括观察到的现实、从原始传感器流提取的特征、来自发现后端的请求等。类似地，设备可以动态地包括或省略来自原始传感器数据的信息。这可以用于从设备的传感器数据中去除移动对象，并且确保仅保留来自可观察现实的伪静态和静态信息。可以响应于分配给服务提供设备的任务来执行这种动态传感器配置，以便优化响应于该任务而返回的数据。附加地或可替换地，可以执行本地数据处理以提取响应于任务的观察到的信息，从而避免不必要和/或与任务无关的数据的返回传输。因此，例如，已经从服务器100接收到经由LiDAR观察对象的任务的服务提供设备可以通过配置其LiDAR传感器来在任务所需的方向上对观察区分优先次序以便增加与任务相关联的观察能力来进行响应。执行任务的服务提供设备然后可以对与任务相关联的LiDAR观测结果应用本地数据处理，以便响应于任务提取与正被观察的对象相关联的观测数据，从而最大化任务相关数据的质量，同时最小化响应于任务返回观测结果所需的通信网络带宽的消耗。

图8示出了根据上述特定系统和方法的实施例的用于管理跨分布式服务提供设备群的任务队列的示例性过程。在步骤S800中，服务器100将一个或多个任务排队以分配给服务提供设备110。在步骤S810中，对于每个排队的任务，服务器100将任务分配给一个或多个服务提供设备110。在步骤S820中，服务器100将每个任务传送到已经分配了该任务的服务提供设备。在步骤S830中，接收任务的服务提供设备动态地配置传感系统112，以便优化设备的任务性能。在步骤S840中，服务提供设备通过使用传感系统112获取响应数据来执行任务。在步骤S850中，服务提供设备过滤在步骤S840中获取的数据，以提取与任务相关联的数据。在步骤S860中，服务提供设备将所提取的数据发送回服务器100。服务器100可由此实现在分布式服务提供设备的群体上对混合现实内容的群组收集，同时优化内容质量并最小化数据传输负担。

在一些实施例中，联网设备可以实现本地数据变换和维数缩减。具体地，联网设备可以实现(由设备定义的)本地传感器帧和全局地理参考系之间的元数据和传感器数据的双向注册。该设备可以附加地或可替换地实现用于减小传感器流中的维度的算法，以便于从数据中提取特征。例如，从LiDAR传感器生成的空间点云数据的取向可以被旋转到与由设备观察到的地平面对准的参考框架中，从而使得能够由随后与之共享点云数据的设备来标准化使用该数据。同时，点云数据的维数缩减可以帮助减少数据量和传输带宽需求。可以实现用于维数缩减的不同策略，例如在特定系中沿着一个或多个轴(例如沿着行进方向或时间轴)压缩传感器数据。这样，由该设备观察到的现实可以被投影到简化的维数中，以该方式存储和传输。

联网设备可以实现位置细化算法，其目标在于校正和平滑涉及GPS和惯性传感器不精确性的定位误差。在示例性实施例中，初始设备可利用其传感器数据来细化其位置。这可以通过从传感器数据中提取特征标记并在预先存在的定位图中匹配这些特征标记、将与地形有关的位置分配给各种特征标记来实现。通过将有噪声的惯性和定位测量与从定位特征表中的搜索功能提供的校正进行组合，可以利用颗粒滤波器来产生设备的状态估计。定位方法可以应用于数据中的闭环，防止漂移对配准的传感器数据的影响。

还希望提供一种用于初始联网设备和附加联网设备之间的网络通信的协议，其中设备可以共享它们的当前和先前状态机或它们的未来意图。例如，在一些实施例中，初始设备可在车辆在道路基础设施上移动时跟踪车辆的位置。在自动化车辆的情况下，初始设备可以知道车辆的源和目的地以及车辆的逐车道和逐车道意图。平板计算机可以设置在车辆内，用作从另一车内服务提供设备接收车辆位置数据的辅助服务查找设备，由此平板计算机然后可以在3D地图内显示车辆的精确位置。该特征将允许初始(服务提供)设备发送车辆的未来意图并在辅助(服务查找)设备上显示这些未来意图。关于观看辅助设备(平板计算机)显示器的车辆乘客，该特征将增加乘客对自动化车辆的信任，达到乘客知道车辆打算去哪里的程度，使得车辆的操作不太可能是乘客不期望的。可以利用本文别处描述的协议来实现这种功能。

初始联网设备或附加联网设备可以利用各种内容，包括媒体内容、静态内容、非静态内容和可投影内容。媒体内容可包括图片数据、多媒体数据、音频数据、文本数据、地理空间数据、ASCII元数据、二进制元数据、可执行程序、配置、机器学习特征和模型、来自设备的状态机、调试信息或任何其它任意有效载荷。媒体内容可以由考虑了初始联网设备的物理取向、初始联网设备的可观察现实、初始联网设备的状态机、在自主操作或利用外部辅助操作时的初始联网设备的意图、初始联网设备的位置、描述初始联网设备在多维现实中随时间的移动的时间/空间信息、或初始联网设备内包含的或由初始联网设备生成的任何唯一标识符的参数来操纵。

可以在设备之间共享的静态内容包括但不限于：图像、视频、网页、JavaScript代码、层叠样式表、JSON中的配置文件、XML中的配置文件、JSON中的GeoJSON文件、Shapefiles或被表示为任意有效载荷的其它信息的使用。可由联网设备使用的非静态内容包括但不限于RESTFUL API、异步事件驱动的数据流、数据库查询和响应、混杂微服务、存储器内高速缓存、回调、进程间通信(IPC)或串行接口。

可投影内容可以包括但不限于表示可观察物理对象的地图矢量信息、表示正被投影的虚拟对象的地图矢量信息、表示包含在地图内的物理和虚拟特征的地图注释。内容可以与相应的视频馈送合并，或者通过头戴式显示器直接与用户的视图合并，以呈现地图信息的混合现实视角。

设备可以利用时间元数据来启动事件，这些事件可以包括但不限于UTC时间戳的使用、GPS时间、自特定事件以来的相对时间、由离散事件模拟器触发的异步事件驱动消息传送或具有任意有效载荷的其它形式的通用通知。

联网设备可以使用地理围栏来定义各种坐标系中的空间边界，所述坐标系可以包括但不限于传感器参考系中的边界的使用、椭球坐标系中的边界、笛卡尔坐标系中的边界或球坐标系中的边界。地理围栏可以用于划定混合现实内容可用的区域，或者划定更多内容可用于共享的区域。

事件触发器可以用于例如启动混合现实内容的特定版本或更改当前内容。事件触发器的示例包括，但不限于：加速度计事件触发，其中在一维或多维中记录强加速度信号；GPS事件触发，其中接收信号的特定状态确定所发送或消费的混合现实内容；视觉事件触发，其中原始视觉传感器输入或从传感器数据提取的任何特征的存在可以触发混合现实体验中的变化；假设测试事件触发了预期混合现实和当前混合现实的变化可以被报告给一个或多个设备并被上载到发现服务后端。

携带一个或多个联网设备的移动平台可以利用平台配置文件来描述传感器和设备安装在平台上的何处。例如，车辆可以包括安装一个或多个不同类型的多个传感器(例如，LiDAR、光学相机、雷达)的传感器框架，这些传感器定位在各种方位(例如，面向前方、面向后方、侧向成角度，并且相对于车辆具有不同位置)。在一些实施例中，该配置可以选择描述从刚体平台框架的原点起的x、y、z的相对位置偏移。除了位置偏移之外，还可以描述表示从刚体平台框架的原点的旋转的旋转角。平台配置文件可以由一个或多个相关联的服务提供设备来传送，并且由接收内容的其他设备或由发现服务后端来使用，以便解释所接收的数据，诸如以上结合智能电话的实施例所描述的，该智能电话将LIDAR检测到的自行车车道分界线转译为从不同位置和方向拍摄的相机视频。

携带初始联网设备或附加联网设备的移动平台可以利用具有不同特性的各种硬件。还可以在硬件配置文件中提供对特性的描述。硬件配置可以选择描述分辨率、视场、采样率、精度、范围、计算能力、容差、尺寸、环境坚固性、数据率或可应用于硬件的各种其它特性。硬件配置文件可以与平台配置文件协同工作，以描述硬件如何被平台安装和使用。这样的硬件特性数据可以用于多个目的中的任何一个，包括但不限于：解释混合现实内容；将混合现实内容变换到不同的维度空间；服务提供设备的分组；混合现实内容质量评估；以及评估要符合混合现实内容的信任。

图9示出了实现这里描述的特征和能力的进一步组合的进一步实施例。在图9的实施例中，服务设备900充当混合现实内容提供设备。服务设备900从传感器901接收原始数据，该数据可以被处理以生成操作混合现实内容。由服务设备900生成的混合现实内容包括空间和时间元数据，包括时间戳、方向描述符和位置描述符。服务设备900通过诸如因特网的数字通信网络与发现服务器910通信，以便协调与其它设备的配对。服务设备900还与混合现实内容聚集服务器920通信。服务器920可以由此获得、存储、处理和/或重新分发由服务设备900(以及其他内容提供设备)提供的混合现实内容以及从其导出的信息数据。

客户端设备930可以与发现服务器910交互，以便识别混合现实内容的源。客户机设备930还可以与空间和/或时间元数据(诸如时间戳、方向和位置)相关联，发现服务器910可以(单独地或优选地与来自诸如服务设备900之类的混合现实内容服务设备的元数据相组合地)利用该元数据，以便发现服务器910将客户机设备930与诸如服务设备900之类的一个或多个内容源配对。一旦与服务设备900配对，客户机设备930和服务设备900就可以直接通信，以便服务设备900向客户机设备930提供混合现实内容。在一些使用情况下，客户端设备930可以另外或可替换地寻求从混合现实内容聚集器920获得混合现实内容，无论是通过由发现服务器910协调的类似发现和配对过程，还是经由客户端设备930和聚集器920之间的直接查询。在任何情况下，客户端设备930然后可以消费混合现实内容的任何这样的源。客户端设备传感器931还可用于提供用于混合现实消费的进一步输入，包括但不限于用于将本地获得的内容与共享混合现实内容集成的相机和麦克风输入，以及用于将适当的空间变换应用于从其它源获得的混合现实内容的定向传感器。

图10示出了类似于图9的另一实施例，但还提供了代理服务器以便于在服务和客户机设备之间传送混合现实内容。具体地，客户机设备1030可经由与发现服务器1010的交互来发现服务设备1000。然而，一旦配对，服务设备1000就将混合现实内容提供给代理服务器1040，而不是服务设备1000和客户机设备1030直接交换混合现实内容。代理服务器1040然后可使该内容对客户机设备1030可用。混合现实内容可由服务设备传感器1001获取或从其提供的数据导出，且与时间和空间元数据(例如，时间戳、定向和位置)相关联。类似地，客户端设备1030可以结合其对经由代理服务器1040远程获得的或从混合现实内容聚集器1020获得的或从其他源获得的混合现实内容的消费来使用传感器1031。

联网设备可以利用各种通信信道来向彼此传递各种消息。用于广播消息或通知的技术可以包括，但不限于：通过云中的名称空间化来使用远程过程调用、将消息中继到订阅的客户机并将所有发出全局消息的消息发送到所有连接的客户机的名称空间。通信信道可以利用加密或压缩技术来减少数据大小并保护通信信道不被嗅探。

初始联网设备或附加网络设备可以利用房间的概念来使客户机能够预订名称空间。在客户端服务器架构中，客户端可以使用各种协议来订阅房间并发送消息，所述协议可以包括但不限于RESTFUL API服务的使用、套接字通信、web套接字、远程过程调用、TCP套接字、UDP套接字、RTSP或可以将消息从房间中的一个客户端中继到房间中的一个或多个客户端的其他形式的协议。房间可以包括检索关于哪些客户端当前被订阅、客户端之间的直接消息或私有消息的使用的信息的功能。到房间的接口可以包括但不限于web浏览器的使用、本机桌面用户接口、容器(例如，Docker容器或Linux容器)中的终端命令行、主机操作系统中的终端命令行、经由RESTFUL API服务的无头程序访问、套接字通信、web套接字、远程过程调用、TCP套接字、UDP套接字、RTSP或其他形式的协议。

初始联网设备或附加网络设备或集中式后端基础结构可以选择使用各种通信信道来广播消息，这些通信信道可以包括但不限于RESTFUL API服务的使用、套接字通信、web套接字、远程过程调用、TCP套接字、UDP套接字、RTSP或其他形式的协议。初始联网设备或附加联网设备可以基于存储在后端基础结构、初始联网设备或附加联网设备中的配对信息来发现彼此。可以向初始联网设备或附加联网设备或后端基础结构提供配置，以实现消息和通知的对等广播或基于代理的广播。

初始联网设备或附加联网设备或集中式服务可以使用但不限于诸如公共IP、私有IP、MAC地址、端口地址、短代码或任意有效载荷之类的元数据，来使设备能够发现彼此并通过直接的节点到节点通信或使用公共后端的远程过程调用来进行交互。

初始联网设备或附加联网设备或集中式服务可以在不同系之间投影元数据。系的一些示例可以包括但不限于地理参考系、平台参考系、相机数据的本地传感器参考系、LiDAR数据的本地传感器参考系、雷达数据的本地传感器参考系、任意数据流的任何本地传感器参考系的使用。可以使用滤波器来引入或逆变换以在投影在参考系之间移动时校准投影，这可以包括但不限于使用失真滤波器、图像稳定、随机采样或其他滤波器来校准参考系。

初始联网设备或附加联网设备或集中式服务可以利用诸如3D重构技术、2D注册技术、以及来自与移动平台共享相同参考系的外围设备的任意消息的集成等技术来投影混合现实内容。

尽管为了清楚和理解的目的，在此详细描述了本发明的某些实施例，但是前面的描述和附图仅仅解释和说明本发明，并且本发明不限于此。应当理解，在具有本公开之前的本领域技术人员将能够对这里公开的内容进行修改和变化，而不脱离本发明或所附权利要求的范围。

Claims (42)

1.一种用于配对和共享混合现实体验的装置，包括：

发现服务器，包括连接到第一数字通信网络的计算机；

一个或多个混合现实服务提供设备，每个混合现实服务提供设备包括：混合现实内容源、连接到第一数字通信网络的第一通信接口、数字存储器和微处理器，所述微处理器被配置为：(a)向发现服务器通告混合现实内容源的可用性，以及(b)将混合现实内容从混合现实内容源发送到服务查找设备；

一个或多个混合现实服务查找设备，每个混合现实服务查找设备包括：微处理器和数字存储器，所述微处理器被配置为实现混合现实内容消费组件，所述微处理器还被配置为(a)查询所述发现服务器以与所述一个或多个混合现实服务提供设备中的所选子集配对；以及(b)从混合现实服务提供设备的一个或多个所选子集接收混合现实内容。

2.如权利要求1所述的装置，其中所述混合现实内容源包括一个或多个传感器，所述传感器被配置为表征所述服务提供设备所处的本地环境。

3.如权利要求2所述的装置，其中所述一个或多个传感器包括机器视觉系统。

4.如权利要求3所述的装置，其中所述服务查找设备包括个人电子设备，所述个人电子设备包括微处理器、数字存储器和显示屏，所述个人电子设备被配置为与所述服务提供设备中的至少一个配对，以接收机器视觉混合现实内容。

5.如权利要求1所述的装置，还包括网络连接的中继服务器，所述中继服务器包括微处理器和数字存储器，所述中继服务器被配置为从第一服务提供设备接收选择的混合现实内容，并将所述选择的混合现实内容发送到与所述第一服务提供设备配对的多个服务查找设备。

6.如权利要求5所述的设备，其中，所述中继服务器还被配置为将所述选择的混合现实内容发送到向其预订的多个服务提供设备。

7.如权利要求1所述的装置，其中：

所述一个或多个混合现实服务提供设备安装在第一车辆内，所述第一车辆混合现实内容源包括机器视觉系统，其中所述混合现实内容包括机器视觉数据；以及

所述一个或多个混合现实服务查找设备安装在一个或多个其他车辆内；

由此第一车辆能够与其他车辆共享机器视觉混合现实内容。

8.如权利要求1所述的装置，其中：

所述一个或多个混合现实服务提供设备安装在第一车辆内，所述第一车辆混合现实内容源包括机器视觉系统，其中所述混合现实内容包括机器视觉数据；以及

所述一个或多个混合现实服务查找设备包括便携式个人电子设备，所述便携式个人电子设备包括微处理器、数字存储器、显示屏和数字相机；所述便携式个人电子设备被配置为显示从所述服务提供设备接收的机器视觉混合现实内容，所述机器视觉混合现实内容被叠加到由所述个人电子设备数字相机捕获的视频内容上。

9.一种用于网络连接的服务器的方法，以便于在多个车辆之间共享混合现实服务，每个车辆包含一个或多个混合现实服务提供设备和/或一个或多个混合现实服务查找设备，所述混合现实服务提供设备和/或混合现实服务查找设备经由公共数字通信网络进行通信，所述方法包括：

经由数字通信网络从一个或多个服务提供设备中的每一个接收一个或多个通告，所述通告包括由服务提供设备提供的服务的标识和与服务提供设备相关联的位置；

经由数字通信网络从服务查找设备接收对服务的请求；以及

向服务查找设备公布一个或多个服务提供设备的标识和由此提供的服务，其中服务查找设备可以与一个或多个服务提供设备配对，并且从一个或多个服务提供设备接收混合现实服务。

10.如权利要求9所述的方法，其中所述服务提供设备安装在第一车辆内，并且所述服务提供设备安装在一个或多个其他车辆内。

11.如权利要求9所述的方法，其中，所述发布一个或多个服务提供设备的标识和由此提供的服务的步骤包括发送能够联系服务提供设备的网络通信地址。

12.如权利要求9所述的方法，其中发布一个或多个服务提供设备的标识和由此提供的服务的步骤包括：

提取针对每个服务提供设备的一个或多个特征；

至少部分地基于所述一个或多个特征将所述服务提供设备分组为一个或多个组；

将服务查找设备与一组或多组服务提供设备中的至少一组匹配；

向服务查找设备发送匹配组内的一个或多个服务提供设备的标识。

13.如权利要求12所述的方法，其中所述一个或多个特征包括传感器能力。

14.如权利要求12所述的方法，其中所述一个或多个特征包括预期的行进路线。

15.如权利要求14所述的方法，其中所述一个或一个特征进一步包括与所述预期的行进路线相关联的时间系。

16.如权利要求12所述的方法，其中所述一个或多个特征包括其中安装了所述服务提供设备的车辆的身份。

17.如权利要求9所述的方法，其中所述发现服务器和设备之间的通信是经由广域数字通信网络来进行的；以及

其中向所述服务查找设备发布一个或多个服务提供设备的标识和由此提供的服务的步骤还包括在第二数字通信网络上为所述服务提供设备中的一个或多个发布网络身份；其中配对的设备能够经由第二数字通信网络彼此直接通信。

18.如权利要求9所述的方法，还包括将所述服务查找设备与服务提供设备配对，以便在它们之间进行直接通信。

19.如权利要求18所述的方法，还包括：

由服务查找设备预订来自一个或多个服务提供设备的通知；以及

由服务提供设备接收由服务查找设备直接发送到服务查找设备的一个或多个通知。

20.如权利要求18所述的方法，还包括将混合现实内容从所述服务提供设备流式传输到所述服务查找设备。

21.如权利要求18所述的方法，还包括通过代理服务器将混合现实内容从服务提供设备传输到服务查找设备。

22.如权利要求18所述的方法，还包括：

将来自所述服务提供设备中的第一个的混合现实内容共享到服务查找设备；以及

在服务查找设备使用共享混合现实内容之前，对共享混合现实内容应用空间变换。

23.如权利要求22所述的方法，其中将空间变换应用于共享混合现实内容的步骤包括补偿服务提供设备和服务查找设备之间的平移和/或旋转的变化。

24.如权利要求23所述的方法，还包括在所述服务查找设备使用所述共享混合现实内容之前，将时间变换应用于所述共享混合现实内容，以便将所述共享混合现实内容和所述本地来源的混合现实内容映射到共同的时间空间中。

25.如权利要求24所述的方法，其中将时间变换应用于共享混合现实内容的步骤包括由服务查找设备将延迟应用于共享混合现实内容和/或源自本地的混合现实内容，以便将共享混合现实内容与源自本地的混合现实内容在时间上对准。

26.如权利要求9所述的方法，还包括：

由服务器从一个或多个服务提供设备接收一个或多个混合现实内容数据流；

由服务器将模式分析模块应用于一个或多个混合现实内容数据流，以识别其中的一个或多个模式，并将所述模式与从一个或多个服务提供设备获得的唯一标识符相关联；以及

通过应用编程接口公布来自模式分析模块的输出；

由此，能够从由多个车辆上的多个服务提供设备获取的混合现实内容数据中导出聚集混合现实内容，并且使其可用于外部计算应用。

27.如权利要求26所述的方法，其中经由应用编程接口公布来自所述模式分析模块的输出的步骤包括：响应于来自服务提供设备和/或服务查找设备的、对由与所述查询设备相关联的所述服务器存储的信息的查询；其中服务提供设备和/或服务查找设备可以审核由服务器存储的与其相关联的信息。

28.如权利要求9所述的方法，还包括：

将混合现实内容从所述服务提供设备中的一个或多个传送到混合现实聚集服务器；

通过混合现实聚集服务器生成从接收自所述服务提供设备中的一个或多个的混合现实内容导出的聚集混合现实内容。

29.如权利要求28所述的方法，还包括经由所述数据通信网络将所述聚集混合现实内容从所述混合现实聚集服务器传输到一个或多个服务查找设备。

30.如权利要求28所述的方法，其中生成聚集混合现实内容的步骤包括：由混合现实聚集服务器至少部分地基于与服务提供设备相关联的信任级别来对来自每个服务提供设备的混合现实内容贡献进行加权。

31.如权利要求30所述的方法，其中，与所述服务提供设备相关联的信任级别至少部分地基于与所述服务提供设备相关联的传感器能力级别。

32.如权利要求28所述的方法，还包括：

混合现实聚合服务器确定先前观测中的聚合置信水平低于阈值；

识别具有能够复制先前观测的感觉系统的选择服务提供设备；

从服务器向选择服务提供设备发送复制先前观察的请求；

从选择服务提供设备接收先前观测的测量；以及

至少部分地基于来自选择的服务提供设备的测量来更新先前观测。

33.权利要求18的方法，进一步包括：

将混合现实内容从服务提供设备传送到服务查找设备；以及

由服务查找设备消费混合现实内容；

34.如权利要求33所述的方法，其中混合现实内容包括地图信息，并且由服务查找设备消费混合现实内容的步骤包括生成包括以视觉覆盖形式呈现在由与服务查找设备协同定位的摄像机捕获的视频内容上的地图信息的显示。

35.如权利要求9所述的方法，还包括：

维护要由服务提供设备完成的任务的队列；以及

对于任务队列中的每个任务：(a)识别满足任务特定标准的一个或多个合格的服务提供设备；以及(b)通过数字通信网络将任务分派到合格的服务提供设备。

36.如权利要求35所述的方法，其中识别满足任务特定标准的一个或多个有资格的服务提供设备的子步骤包括：相对于任务传感器需求，评估与服务提供设备相关联的传感器能力。

37.权利要求35的方法，进一步包括：

由服务器从多个合格的服务提供设备收集对任务的响应；以及

聚集所述响应以开发响应于任务的共享模型。

38.如权利要求37所述的方法，其中所述任务包括观察道路车道中心线；以及，共享模型包括基于由服务器接收的多个任务响应形成的道路车道中心线的模型。

39.如权利要求35所述的方法，还包括：

由所述合格的服务提供设备之一接收任务；以及

在所述合格的服务提供设备之一上动态地配置一个或多个传感器，以优化完成该任务的传感器性能。

40.如权利要求35所述的方法，还包括：

由所述合格的服务提供设备之一接收任务；

响应于该任务，经由合格服务提供设备上可用的传感器收集任务数据；

合格服务提供设备对采集到的任务数据进行本地过滤；以及

将过滤后的收集任务数据从合格服务提供设备发送到服务器。

41.如权利要求28所述的方法，还包括在将混合现实内容发送到混合现实聚集服务器之前，由服务提供设备将混合现实内容从服务提供设备特定的参考系变换成标准化的参考系。

42.如权利要求41所述的方法，还包括步骤：在将混合现实内容发送到混合现实聚集服务器之前，由服务提供设备减少混合现实内容的维数。