CN114223008A

CN114223008A - 元宇宙数据融合系统

Info

Publication number: CN114223008A
Application number: CN202080041118.2A
Authority: CN
Inventors: 米哈伊尔·索科洛夫; 布莱恩·巴尔科姆
Original assignee: Roborace Ltd
Current assignee: Roborace Ltd
Priority date: 2019-05-15
Filing date: 2020-05-15
Publication date: 2022-03-22
Also published as: JP2022533637A; WO2020229841A1; EP3983969A1; US20220242450A1; GB201906813D0

Abstract

现实世界车辆包括：多个数据源，这些数据源生成被空间映射到现实世界区域的传感器数据；数据融合系统，其被配置为将(i)被空间映射的传感器数据与(ii)虚拟数据融合或整合，该虚拟数据是在车辆外部已经生成的或已独立于车辆的操作生成的，并且被空间映射到虚拟世界。这实现了现实世界和虚拟世界的融合，从而使自驾驶汽车不仅能够与物理世界交互，还能够与引入到汽车的路径中的虚拟对象(例如，由测试或开发工程师)交互，以测试汽车及其自主驾驶系统多好地处理虚拟对象。

Description

元宇宙数据融合系统

技术领域

本发明涉及用于辆车或同时用于一组车辆的元宇宙数据融合系统。元宇宙将虚拟现实和现实世界组合成混合现实的统一表示。车辆可以是自主车辆(AV)，并且元宇宙数据融合系统不仅在AV软件测试和设计方面而且还在AV摩托车运动竞赛和娱乐方面开辟了新的可能性。

背景技术

自主系统(机器人、自驾驶汽车、无人机等)需要新的高效工具来在各种场景(尤其是最复杂和最危险的场景)中开发、测试、试验和挑战此类系统。这可以通过进行各种虚拟模拟来实现，但模拟实时物理的许多完全虚拟模型的准确性仍然不足。

在现实世界测试轨道或试验场上对真实现实世界车辆进行实验被广泛实践来解决该问题；例如，可以将物理障碍物移动到自主车辆的路径中，以观看车辆控制系统能够多好地定位、识别、跟踪和避开障碍物，尤其是在考虑到竞争要求时，该障碍物诸如附近的路缘石、道路标志。但这是昂贵的、设置缓慢、不一致并且在运行最极端的场景时经常存在物理损坏、受伤等。

本发明还利用以下内容：数字世界模型；利用虚拟对象增强物理世界的图像；“元宇宙”；创建现实世界对象或事件的现场数字复制品；影响物理世界的增强现实世界。这些中的每一个都是独立已知的，如下所述。

数字世界模型的概念并不新鲜：具有卫星导航设备的每个驾驶员都具有对物理世界的数字孪生体的访问权，在该孪生体上可以显示他们的实时位置。每个机器人需要物理世界的数字孪生体，以便自由移动并与动态对象实时交互。用于同时定位和映射(SLAM)的技术已经存在长时间了。

利用虚拟对象增强物理世界的图像的概念并不新鲜：其是电影视觉效果行业中的常用技术，并且由电视广播公司在创建虚拟演播室场景时实时使用。其被体育广播公司用于增强电视广告、游泳或跳远中的世界纪录线、滑雪中的比赛线、高尔夫中的球飞行路径，或NFL中的第1条和10条线。

元宇宙的概念并不新鲜；元宇宙通常被定义为集体虚拟共享的空间，由虚拟增强的物理现实和物理持久虚拟空间的会聚来创建。有时，尽管不在本说明书中，也用于特指互联网与所有虚拟世界以及存在的所有会聚世界的组合。该术语是在1992年由尼尔·斯蒂芬森(Neal Stephenson)撰写的科幻小说《雪崩》(Snow Crash)中引入的，并且该概念最近出现在史蒂文·斯皮尔伯格(Steven Spielberg)的《玩家一号》(Ready Player One)中。

创建现实世界的现场数字复制品的概念并不新鲜；自2002年以来，它一直用于NASCAR RaceView粉丝体验，并已用于为难以进入的运动创建虚拟参观者体验，诸如美洲杯帆船赛和FIA世界拉力锦标赛。2018年，Virtually Live与FIA Formula E合作创造了幽灵比赛体验，其中电子竞技游戏玩家与现实世界驾驶员实时竞争。它已用于赛车运动比赛控制系统，用于监控来自位于每辆汽车内的GPS系统的所有轨道活动。

影响物理世界的增强现实世界的概念并不新鲜；它已被用于Anki OVERDRIVE和Hot

Augmoto^TM增强现实赛道集。Alex Liniger的自驾驶超车研究使用了现实世界汽车，从数字世界远程控制，在数字世界中实施所有的规划、控制和决策制定。大型无人机显示器通常是在虚拟模型中设计和规划的，在现场显示期间利用现实世界反馈实时更新该虚拟模型。

数据融合系统是众所周知的，尤其是在计算机视觉情境中，其中数据融合系统将来自多个计算机视觉传感器的数据融合或整合，优先考虑最可靠的数据并解决来自不同传感器的数据之间的冲突。本说明书中的术语“数据融合系统”应被广泛地解释为涵盖从多个来源获取数据并以某种方式融合、整合或组合或选择性组合它们的任何系统。术语“自主车辆”应广义地解释为涵盖能够感测其环境并在很少或没有人类输入的情况下移动的任何车辆，并且因此包括但不限于处于或高于SAE J3016 3级(Level 3 SAE J3016)的任何车辆。

发明内容

本发明的第一方面是一种用于现实世界车辆中的数据融合系统，其中车辆包括多个数据源，这些数据源生成被空间映射到现实世界区域的传感器数据；并且其中数据融合系统被配置为将(i)被空间映射的传感器数据与(ii)虚拟数据融合或整合，该虚拟数据是在车辆外部已经生成的，或者无论在车辆内部还是外部已独立于车辆或车辆的操作而生成的，并且还被空间映射到虚拟世界。

其他方面是：

一种包括如上限定的数据融合系统的车辆。

一种开发、改善或测试车辆的方法，其中车辆包括如上限定的数据融合系统，并将虚拟对象、事件或条件添加到由数据融合系统处理的虚拟世界，以测试车辆如何响应这些虚拟对象、事件或条件。

一种使用上述限定的方法已开发、改善或测试的车辆。

一种游戏或其他娱乐系统，该系统生成图像，该图像显示包括如上限定的数据融合系统的车辆、或以其他方式以该车辆为特征。

一种实施方式是机器人

元宇宙^TM(

Metaverse^TM)；这是现实世界和虚拟世界的融合，以创建独特的竞赛形式和新的娱乐体验。机器人赛车元宇宙的基础是共享的“元宇宙世界模型”，其将物理世界中获取的数据与虚拟世界中生成的数据融合。该单个“元宇宙世界模型”是根据实时空间数据创建的，该实时空间数据使得能够在现实世界和虚拟世界之间同步。虚拟世界部分地是物理世界的现场3D数字孪生体，然而，它可以包括附加虚拟对象，该附加虚拟对象的空间数据被分布给相关的现实世界代理。

这些实时数字空间基础使得：

·自驾驶汽车同时与物理世界和虚拟世界交互；

·观众在远程位置中的完全沉浸式虚拟世界中体验物理世界；

·亲身参观者利用实时增强现实观察现场动作；

·人类驾驶员利用增强现实显示器体验现实世界，就像在电子竞技游戏内一样；

·人类驾驶员可以完全沉浸在虚拟世界体验中，同时通过佩戴VR耳机在物理现实中控制现实汽车；

·高度准确的3D车辆模型以及实时运动学使得能够在虚拟世界游戏引擎中实现逼真的视觉效果；

·机器人相机以全自动方式拍摄物理汽车，同时给予电影导演在虚拟世界内规划镜头的能力。

一旦在机器人赛车元宇宙内，电影导演可以创建无限多的影视镜头和效果，以增强动作和叙事两者。现场电视导演具有完全相同的自由，并且事实上，远程VR观众也是如此。物理世界只是简单地变成了电影布景、空白画布，用于风格从照片写实到卡通的实时视觉效果。

对于车辆开发和赛车竞赛中的应用，可以添加虚拟障碍物以展现给现实世界轨道或路线的用户定义区域处的传感器；通过影响整个传感器系统，这以一致的方式在车辆的每个传感器中模拟障碍物，使得汽车控制系统解释它们处理的数据，就好像虚拟障碍物是现实障碍物一样。元宇宙平台基本上融合了现实世界和虚拟世界，以使轨道条件更加极端。

除了引入虚拟障碍物之外，元宇宙平台还引入了“战利品”或虚拟区域，如果现实世界车辆通过它们，则触发奖赏、积分或其他奖励得分(类似于刺猬索尼克收集的金戒指的概念)。为了获得真正有趣的体验，可以将战利品定位成靠近障碍物，以在收集奖励积分和撞车等之间存在冲突。

可以认为元宇宙系统实际上是在欺骗现实世界传感器，使其认为路线中存在真实障碍物或“战利品”等，并观看控制算法(例如自主驾驶系统)是否能够应付控制现实世界汽车以正确避开它们，或通过它们的挑战，或者观看现实世界汽车的最佳行为是什么。

元宇宙平台支持：轨道上有多个汽车；完全虚拟的汽车；人类驾驶的汽车；全自主汽车；用于在现实、极端甚至超现实条件下开发和测试自主车辆和机器人；普通汽车的现实使用应用(通过将它们推向极端进行车辆的验证、测试等)；用于赛车运动的新竞赛形式；用于公共事件的新娱乐体验；让观众不仅是参观者，也是参与者——他们可以具有引入战利品或障碍物的能力。

更重要的是，将所有物理和虚拟空间数据融合到元宇宙世界模型中是物理对象和虚拟对象之间的交互的基础。可能的用例包括下列项：

·自驾驶汽车可以与安全地位于驾驶员在环路中的模拟器内的电子竞技游戏玩家控制的虚拟汽车竞争；

·具有增强现实显示器的人类驾驶员可以与安全地位于驾驶员在环路中的模拟器内的电子竞技游戏玩家控制的虚拟汽车竞争；

·模拟器中的电子竞技游戏玩家可以在各种控制抽象级别上直接控制物理汽车；操作、战术和战略取决于通信等待时间；

·虚拟世界对象，诸如卡车、公共汽车、汽车、货车、摩托车以及易受伤害的道路用户(如行人、骑自行车者和动物)可以注入到需要物理汽车避开它们的元宇宙世界模型中；

·虚拟对象可以变成大型多玩家开放式游戏，其中控制在竞争团队、参观者和远程观众手中；

·现实世界天气将影响虚拟世界内的竞争对手；

·盐滩和柏油碎石湖为创建在虚拟世界中创建和操纵的不断变化的道路布局提供了空白画布。

元宇宙平台可以被认为是数据交换平台，其中实时对象和事件信息通过共享的“世界模型”进行调和，共享的“世界模型”包括：

·汽车的物理世界位置、交通灯的状态、一天中的时间、天气条件、山路、城市道路、高速公路、车道、停车位、车库等；

·其他机器人的物理世界位置，包括人形机器人、机器狗、机器人相机、无人机等；

·虚拟汽车、行人、交通锥、安全区或超车区等的位置；

·虚拟道路、建筑物、交叉口、交通灯等的几何形状和位置。

数据的交换需要实时进行，并且在某些情况下，具有最小的等待时间。它必须跨越不同的网络(有线和无线)并且跨越从共享的存储器到以太网的不同运输。数据必须可以在不同的计算机硬件架构上访问，在多种编程语言下运行不同的操作系统。在某些环境中可以使用采用OMG标准化数据分布服务(DDS)框架的分散的以数据为中心的架构。

元宇宙世界模型是全局状态的单个统一表示，其协调来自个体代理的“局部世界模型”之间的差异。这些个体代理可以是物理的或虚拟的。

物理代理可以受到大小、重量、功率、处理速度、存储器、通信带宽和等待时间的个体限制——所有这些都影响其“局部世界模型”的架构、性能和能力。

虚拟代理可以存在于共享的模拟环境中，在共享的模拟环境中存在一致的“局部世界模型”。虚拟代理也可以跨全都并行运行的多个模拟环境分开。在模拟内运行时，该模拟的世界内的所有代理可能都使用共享的“局部世界模型”。

外部软件开发团队确保代理的“局部世界模型”可以共享到机器人赛车“元宇宙世界模型”中。例如，通过这样做，自动或自主驾驶系统(ADS)的“局部世界模型”为了准确性可以与机器人赛车“元宇宙世界模型”进行参照。这创建了ADS性能的客观度量，无需源代码询问，并且在适当的情况下，结果可以用于施加安全限制。

“局部世界模型”已经存在于一些ADS软件架构中。

“局部世界模型”继续处理物理现实，并且附加远程机器人赛车“元宇宙世界模型”使得能够在规划和控制阶段之前注入虚拟对象和虚拟环境特征。这确保了现实对象和虚拟对象都是一等公民，例如在规划和决策进行阶段期间，虚拟卡车与现实卡车被同等对待；或者可以即时更新虚拟道路布局，从而实时重新配置轨道的节段。

通过利用机器人赛车元宇宙世界模型调和与车内AR的连接，诸如虚拟汽车的对象可以增强到用于人类驾驶员的显示器中。这些渲染还可以用于将实时图形增强到机载相机视频馈送中，以用于传输回工程师和现场线性观察体验。

概括地说，我们有用于车辆的自动驾驶系统(ADS)，其中ADS包括局部世界模型，该局部世界模型源自感测车辆周围的物理世界，并且在该局部世界模型和ADS规划与控制层之间存在嵌入式元宇宙世界模型系统。因此，驾驶任务基于从元宇宙世界模型接收的数据，该数据可以是虚拟的或从局部世界模型调和的。

至和自远程和集中式元宇宙世界模型的外部通信使得多个现实世界和虚拟世界能够融合在一起，然后与局部代理共享执行。

可选特征：

·ADS中的局部世界模型向外部融合的或元宇宙世界模型系统发送数据，并且ADS规划和控制层从外部融合的或元宇宙世界模型系统接收数据。

·ADS中的局部世界模型向作为ADS的嵌入部分或子系统的融合的或元宇宙世界模型系统发送数据，并且ADS规划和控制层从作为ADS的嵌入部分或子系统的融合的或元宇宙世界模型系统接收数据。

·ADS中的局部世界模型向外部融合的或元宇宙世界模型系统以及作为ADS的嵌入部分或子系统的融合的或元宇宙世界模型系统两者发送数据，并且ADS规划和控制层从外部融合的或元宇宙世界模型系统以及作为ADS的嵌入部分或子系统的融合的或元宇宙世界模型系统两者接收数据。

·元宇宙世界模型系统使得能够将以下任一项注入ADS：虚拟对象、虚拟路径、虚拟路线，然后ADS在其控制和规划操作中包括上述项。

·局部世界模型通过OMG DDS数据总线或类似的实时通信中间件发送数据。

·元宇宙世界模型的输出可以与通常从局部世界模型接收的ADS规划和控制的预期输入匹配。在该模式中，ADS规划和控制没有关于对象是现实还是虚拟的指示。

·元宇宙世界模型的输出可以与通常从局部世界模型接收的ADS规划和控制的预期输入匹配，该ADS规划和控制具有指示对象是现实还是虚拟的附加标志。在该模式中，ADS规划和控制系统可以适用于利用此附加对象信息。

附图说明

本发明将参照称为机器人赛车元宇宙平台的实施方式进行描述。

图1示出了驻留在自主或半自主车辆上的常规ADS软件架构；

图2示出了在具有有限的可编程性的车辆上的具有整合的独立元宇宙代理的ADS软件架构；

图3示出了在完全可编程的车辆上的具有整合的独立元宇宙代理的ADS软件架构；

图4示出了在全尺寸多代理元宇宙中的具有整合的元宇宙代理的ADS软件架构；

图5和图6示出了配备有元宇宙代理的比赛汽车，该比赛汽车接近它应该通过的区域(具有虚线的框)和它应该避开的区域(具有实线的框)；

图7示出了在赛道上经过虚拟障碍物的现实世界自主比赛汽车(

车辆)；

图8示出了与虚拟障碍物碰撞的现实世界自主

比赛汽车。

图9示出了收集虚拟“战利品”或奖赏的现实世界自主

比赛汽车。

具体实施方式

机器人赛车元宇宙平台为人类和机器人(例如自主车辆、无人机等)提供了连贯的混合现实(即现实世界和虚拟世界现实的融合或组合)，以在半模拟(即现实世界和虚拟世界现实的融合或组合)动态物理系统中运行各种场景，以便以高度可重复性、一致性和效率来解决各种实际问题(例如测试和开发自主车辆控制系统及相关软件/固件/硬件)。

机器人赛车元宇宙平台实施现实世界和虚拟世界的融合，这些世界在统一的多维环境中相互连接，提供安全、混合或融合的现实，者对于参与给定场景的人类和机器两者都是连贯或一致的。在这种环境中，现实机器(例如现实世界车辆或其他机器)可以与虚拟对象交互，就好像它们是现实的一样。同样，虚拟机器可以与现实世界对象交互，就好像它们在虚拟世界中一样。

该实施方式的一个实际目标是不仅在正常的现实生活中，而且尤其在具有改变的物理特性的极端甚至超现实条件中(例如外星场景)中，为自主车辆和机器人的开发和测试创建先进的设施。其还为公共事件提供了新的娱乐体验，例如赛车运动和电子竞技的新竞赛形式。

该实施方式适用于汽车和运输、工业和消费者机器人、航天工业、国防工业、医学、媒体和娱乐、视觉艺术。下面的实际实施方式和用例节段进一步给出了一些说明性示例。

本质上，元宇宙平台是通过低等待时间连接协议互连成实时数据网络的分布式软件和硬件部件的复杂系统，在该网络中，关于现实对象和虚拟对象、事件和条件的信息通过共享的“世界模型”进行调和。这些部件作为插件“融入器”工作，其附接到机器的控制数据和传感器系统，从而通过将表示虚拟对象、条件和事件的数据无缝融入(即融合或整合)到正常的控制和传感器数据中，使这些控制数据和传感器系统成为元宇宙的一部分，因此机器将这些模拟的虚拟元素联通底层真实物理过程的现实元素视为现实的。

元宇宙平台可以全部或部分运行在计算资源(软件、固件、硬件或这些的任何组合)上，这些资源是(i)制造时车辆的整体部分；(ii)分布在制造时作为车辆整体部分的计算资源和制造后添加到车辆的计算资源之间；(iii)制造后完全添加到车辆并且因此整合到现有的车内数据总线和数据访问端口中的计算资源；(iv)完全外部的或分布在内部和外部计算资源之间的计算资源。

元宇宙平台包括以下关键元素，我们将在本文档中稍后更详细地描述这些关键元素：

1.元宇宙世界模型——共享的数据模型，用于描述半模拟(例如混合虚拟世界和现实世界)动态物理系统，以将在物理世界中获取的数据与在虚拟世界中生成的数据无缝融合。

2.元宇宙代理——现实或虚拟活动对象，其能够共享其数据并感知其他对象，同时维持自己的局部世界模型。该术语还指代管理将给定对象的软件和硬件部件整合到元宇宙环境中的软件部件。

3.数据分布框架——数据交换方法和协议的复杂系统，允许跨元宇宙的软件和硬件部件进行实时信号传输和一致的数据分布。

4.数据融入框架——可重复使用的软件和硬件部件的可扩展工具包，其设计用于为构建和部署用于各种控制和传感器系统的实时数据融入器提供标准方法，允许将人工虚拟数据无缝准确地融入受现实物理过程制约的正常数据中。

5.表示框架——可重复使用的软件整合适配器的可扩展工具包，其经由各种用户界面、交互式平台和设备向其最终用户提供元宇宙的沉浸式表示。在元宇宙表示框架中，对于人类最终用户，元宇宙可以用各种选项来表示，从简单的数据可视化仪表板开始到以高度沉浸式工具结束，利用附加感官手段(例如运动、风、温度等)提供元宇宙的视听呈现。因此，一切都在屏幕上或经由AR或VR耳机显示为融合的情景。

元宇宙实施方式的一个特征是实时融合传感器中的真实和模拟数字信号和启用传感器的连接的机器和机器人的控制数据(我们将称机器为“车辆”，尽管该术语不应该限于运输人或物的对象；它应替代地广义地解释为涵盖任何类型的机器，诸如机器人、固定式机器人、自推进机器人、无人机、自主乘客或载重车辆；半自主乘客或载重车辆)。

跨特定地形中行事的各种机器的数字部件的有效连贯编排允许实施复杂的场景，这些场景运行自然实验、实地测试、竞赛或其他应用，其中机器能够与现实过程同时摄取和响应模拟的过程，就像它们是现实过程一样。所以我们具有包括现实(真实)和虚拟(模拟)元素的系统，所有元素在我们称为“元宇宙”的单个环境中共存和交互。

元宇宙实施方式通过其数字性质而是离散装置，其具有有限或可数数量的状态，这些状态表征底层组合的现实和虚拟动态物理系统，该系统被建模为在其进展的每个时间步骤中描述它的所有现实和虚拟“对象”、“条件”和“条件”的整体组成。

我们将这种模型称为“元宇宙世界模型”或“世界模型”。提前计算该元宇宙中的个体对象的下一个最可能状态的时间步骤是其功能的基本任务；其能够使得将虚拟数据准确地融入到现实数据中或与现实数据一起融入。

在元宇宙实施方式中，元宇宙世界对象的下一个最可能状态是在某个时间步骤中对其物理状态的计算推断。它可以考虑周围环境(包括真实条件和事件)和/或基于指出事件中的任何漂移的间接信息从其真实已知状态推导出来。对象的状态的不同特性可以通过不同的适当程序来计算，包括但不限于航位推算、数学外推法、卡尔曼过滤、深度学习推理和特定问题解决方法，如用于车辆轮胎动力学的Pacejka模型或用于在未知环境中的定位的SLAM。这些方法中的大多数是众所周知的，并广泛用于计算建模和模拟。元宇宙平台的实施方式利用上面列出的所有方法。

此元宇宙实施方式还引入了数据融入器的概念，这是元宇宙平台的关键活动部件，其履行将现实(真实)和虚拟(模拟)数据融合到机器的控制和传感器数据中。在技术上，融入器是机载数字部件，其经由其内部通信总线连接到机器的内部控制器和传感器，或者直接作为单独的硬件单元或作为安装到其现有硬件单元的共生软件模块。被空间映射的数据从控制和传感器系统流向融入器，并且从那里流向世界模型，并且从那里流向车辆规划和控制系统(例如ADS系统)，其中控制信号路径以相反的方向流动。

由于该平台的总体高度复杂性，考虑到苛刻的连贯性和实时控制要求，它被设计为软件和硬件数字部件的高度分布式和分散的网络，用于计算元宇宙世界模型的各种特定功能元素和被空间映射的片段。

为了避免不必要的计算，平台不必在每个时间步为每个部件和相邻系统实时维持整个元宇宙的全面瞬时状态。所以一般来说，在每个时刻，元宇宙的端到端状态可以是不确定的。尽管如此，控制一个或多个元宇宙世界对象的每个数字部件仅对暂时涉及某些动作和这些动作的情境并且一起被限定在局部世界模型中的受控对象执行实时数据处理和下一个最可能状态的计算。所有其他对象都在延迟时间制度中处理。因此，从实时角度来看，该方法给出了足以运行所需场景的底层半模拟物理系统的稀疏细节，而整个元宇宙世界模型的端到端状态进展在最终完成通过服务于该系统的部件进行的延迟计算的一段时间之后变得可用。如果特殊应用不需要元宇宙的进化的这种综合时间轨迹，则可以省略延迟计算。

这种方法确定管制元宇宙平台的技术架构的以下关键原则：

·每个部件消耗和产生针对其功能和与相邻部件的互操作可接受的尽量少的数据；

·存在每个对象的状态的主要惰性计算评估；

·没有预确定的全系统时钟和频率，并且部件独立地维持其数据采样率和分辨率；

·计算的连贯性在部件的自组织网状网络(也称为蜂窝)中维持。

这种方法允许整个元宇宙的高可靠性和容错性，而无需大量的基础设施来支持其持续操作。

基于元宇宙的特殊应用的实施方式需要定制相关的元宇宙世界模型，其配备现成的和/或定做的元宇宙代理集，该元宇宙代理通过运行它们相应的数据融入器并维持适当的数据分布来服务于该世界模型。

元宇宙世界模型

元宇宙实施方式的基本部分是组合来自现实世界和虚拟世界源的数据并从该数据生成准确融合的元宇宙世界模型的方法。因此，每个给定的元宇宙世界模型指定半模拟(例如部分虚拟，部分现实世界)动态物理系统，其特征化并持续更新到足够的程度，以最小化计算其元素的下一个最可能状态时的不确定性，因此提升该模型和元宇宙作为整个系统的总体稳健性。

元宇宙世界模型的基本构建块是：

·“对象”，其指定现实世界和虚拟世界的被空间映射的元素，具有静态(或可忽略的缓慢变化)和动态特性，包括但不限于质量、几何和机械属性以及位置和运动矢量的瞬时状态，所有这些形成对象的综合物理信息，用于跟踪和计算其状态；

·“条件”，其表征整个或某些被空间映射的区域的周围环境，包括但不限于其物理条件，如重力加速度，和/或某些气象数据，如气温、压力和湿度、照明条件、大气降水、雾密度和能见度范围、明显风向等；

·“事件”，其指定在给定条件下由对象的行为引起的某些状态变化；这些表示受某些原因或目的(例如，对象操纵、碰撞、交通信号灯和标志的操作、天气条件的变化等)约束的系统元素的状态变化的聚合形式。

在元宇宙世界模型中：

·存在现实世界源，其包括(i)被空间映射的现实世界区域，诸如某个场地(例如试验场、道路网络、赛道、体育场)的数字孪生体；和/或(ii)现实对象的一个或多个空间定位的数字孪生体，诸如全尺寸车辆、机器人、无人机、人或障碍物，所有这些在上述现实世界区域中具有某些物理特性；

·存在虚拟世界源，例如虚拟世界，其包括(i)被空间映射的虚拟世界区域，该区域附接到对应的现实世界区域并对其增强；(ii)一个或多个空间定位的虚拟对象，诸如车辆、人类、各种障碍物或模拟现实世界概念及其行为的其他物品，以及任何可行的幻想对象，所有这些在上述虚拟区域中具有某些描述性物理特性；

·然后将现实世界中发生的被空间映射的条件和事件和/或虚拟世界中模拟的被空间映射的事件和条件组合到融合的元宇宙世界模型中。

作为关键的整体元素，元宇宙世界模型为整个元宇宙给予了从端到端的全局描述图的单个统一表示。在跨系统分布数据时，其允许协调个体代理的局部世界模型之间的差异。

元宇宙代理

元宇宙代理构成元宇宙对象(现实或虚拟)的活动类型，它们能够在给定的元宇宙内共享其数据，因此避免对其他代理推断其状态和行为将需要的过度计算的任何需要。每个代理也具有其局部世界模型，因此保留某些“动作情境”，包括关于代理在处理其自己的状态和行为时考虑的元宇宙的现实元素和虚拟元素(对象、条件和事件)的信息。总的来说，代理作为传感器和致动器的整体系统工作，允许人们将整个元宇宙视为复合的多代理机器人系统。

表示个体现实物理对象(通常是一些机器和设备)的代理可以作为硬件或软件部件来实施，这些部件安装并连接到此类机器和设备特定控制单元和传感器的相应配置中。这种代理部件的整体集通过收集其数据并跟踪其状态，以及使用某些数据融入器集通过将虚拟数据融入其正常操作数据将主机对象的沉浸提供到给定元宇宙中，来使其主机对象“元宇宙化”(即，元宇宙平台的一部分)。

虚拟代理为虚拟活动对象提供表示。虚拟代理可以存在于共享的模拟环境中，在那里它们共享单个一致的局部世界模型。虚拟代理也可以跨多个模拟环境分布，所有模拟环境并行运行并维持它们自己的局部世界模型。

每个代理可以被认为是连接到元宇宙的共享的环境的装置，用于消费和共享元宇宙世界模型数据，以便为其主机系统提供连贯的数据融入过程。因此，整体上，代理跨整个元宇宙中维持该过程。

代理还负责处理元宇宙进程中的错误，因此保持其操作稳定。这些是与元宇宙错误管理相关的关键概念：

·事变：超出在元宇宙中推断的发展过程的事件；

·异常：导致连续事变链的不寻常条件；

·崩溃：当事变链导致元宇宙的矛盾状态时的情况，这意味着连贯性的丢失和无效的数据融入。

元宇宙应用的稳健性由以下基本规则定义：

·任何事变都由元宇宙代理自主处理，因此不触发其他事变；

·任何出现的异常不导致元宇宙的崩溃。

如果这些规则中的任何一个对于给定的元宇宙失败，则对应的应用不够稳健。

数据分布框架

需要在元宇宙中交换数据，以实时且连贯地发生适当的数据融入。此外，元宇宙向其最终用户的表示或显示也应该以最小的等待时间发生。由于各种机器和设备的异构架构，以及它们内部和外部连接的多样性，真实数据分布变成具有多个因素的复杂问题。数据交换的过程必须流经不同的网络(有线和无线)基于IP和非IP，并通过各种连接协议，同时保持系统的连贯性能力。尽管网络技术(例如5G、C-V2X等)的演进普遍上为低等待时间应用提供了解决方案，但仍然存在需要特定解决方案的某些差距。

元宇宙实施方式利用用于实施基于元宇宙的应用的数据分布框架解决了上述问题。这也减少了开发时间并简化了此类应用的部署和维护。数据分布框架的部件将元宇宙应用与真实连接架构和拓扑分离，因此最小化由应用连接设计的缺陷引起的性能问题。

具有连接增强的DDS

元宇宙数据分布框架使用OMG标准化数据分布服务(DDS)作为其主要任务的所选中间件，并且还引入了许多增强，允许其以有效的方式克服许多问题，而不会引入可能损害给定元宇宙的性能和连贯性的变通方法。

尽管标准DDS提供分散的以数据为中心的架构，其为元宇宙世界模型中交换数据给予了完美的基础，但它仅设计用于IP网络。这就是为什么在元宇宙实施方式中提供的增强中，有一种通过非IP网络隧道传输DDS数据包的方法，非IP网络包括但不限于工业M2M(机器对机器)协议、V2X(车辆对一切)、CAN、FlexRay等。对于DDS隧道传输不适用的通信，数据分布框架提供透明的代理连接。

另一方面，元宇宙数据分布框架没有针对100％的其连接任务都使用DDS，并且使用替代的专有低等待时间协议进行实时信号发送。

提升的V2X堆栈

对于涉及快速移动车辆的应用，数据分布框架提供了特定连接方法，其具有用于车辆对一切(V2X)通信的提升的协议堆栈，其扩展现有V2X系统的能力和性能。提升的堆栈具有以下先进特征：

·以每10毫秒的频率广播消息的能力(与常规V2X系统的100毫秒速率对比)；

·扩展的消息格式，使得元宇宙相关的信号能够经由V2X无线电透明地发送到常规V2X系统，且不影响其工作；

·通过IEEE 802.11p和3GPP C-V2X进行的DDS隧道传输；

·经由V2X无线电针对任何UDP和TCP连接以透明的方式向常规V2X系统进行通用云上(OTT)数据传输，而不影响其工作。

数据融入框架

除了数据分布外，元宇宙代理还运行与代理所附接的特殊主机对象或主机系统相关的一个或多个数据融入过程。数据融入框架体现了用于数据融入的方法整体集，并提供了可重复使用的软件和硬件部件的可扩展工具包，其被设计用于为各种控制和传感器系统提供构建和部署数据融入器的标准方式，允许无缝和准确地将人工虚拟数据融入到受现实物理过程制约的正常数据。

控制数据融入器

在元宇宙实施方式中，用于控制数据的融入器被设计用于各种控制系统，例如车辆ECU(电子控制单元)和机器人RCU(机器人控制单元)，允许将人工虚拟数据无缝且准确地融入到受现实物理过程制约的正常控制数据中。

元宇宙中的各种机器可以具有不同的控制系统和数据协议，但这种多样性可能限于某些主要的行业标准。元宇宙平台的真实实施方式包含以下融入器：

·DDS融入器——为OMG数据分布服务提供数据融入逻辑，这是用于如上所述的元宇宙平台的最原生的连接协议。DDS在工业系统、汽车和机器人中高度流行，因此它已成为广泛使用的机器人软件套件ROS(机器人操作系统)的整体部分。该融入器允许融入或摄取各种各样的任务，具体取决于机器的特殊类型以及在其控制单元之间通过DDS传输的其内部控制数据的复杂性。

·V2X融入器——为车辆对一切(V2X)通信提供数据融入或摄取逻辑。这包括但不限于基于IEEE 802.11p(包括ETSI ITS-G5和WAVE两者)和3GPP C-V2X的V2V(车辆对车辆)和V2I(车辆对基础设施)协议和应用。例如，该融入器允许虚拟车辆像现实车辆一样通过V2V展示自己。

·XCP融入器——为将测量和校准系统连接到车辆ECU的汽车“通用测量和校准协议”(ASAM MCD-1XCP)提供数据融入或摄取逻辑。该融入器的真实实施方式支持各种物理连接，包括但不限于CAN、以太网和FlexRay上的XCP。

控制数据融入器集是可扩展工具包，并且以元宇宙平台的进一步发展为准；将提供涵盖控制数据协议的全部范围的更多融入器。

传感器数据融入器

在元宇宙实施方式中，用于传感器数据的融入器通常设计用于机器人和汽车中使用的各种类型的传感器，包括但不限于雷达、LIDAR(“光检测和测距”)、超声、计算机视觉相机和立体视觉相机。在元宇宙平台的真实实施方式中，传感器数据融入方法基于将传感器数据融入器插件式插入到相应的传感器系统的信号处理链中，这意味着数据输出的改变来自于这些传感器系统的主要低级信号处理模块，即在数据被解释传感器信息的高级处理模块接收之前。

元宇宙实施方式提供了为各种传感器数据格式及其数据处理系统设计的方法集，允许将人工虚拟对象和条件无缝且准确地融入到正常传感器数据中，反映现实物理对象和条件。

增加其现实性的传感器数据融入的重要元素之一是信号噪声和缺陷的模拟。因此，这也成为相应传感器数据融入方法的一部分。传感器数据融入方法支持以下形式的数字信号：

·基于图像的传感器信号——输出2D串行图像的任何传感器，通常具有特定恒定帧速率(例如视频相机或SAR雷达)；

·基于点云的传感器信号——输出3D点云数据的传感器(例如LIDAR、计算机视觉系统和立体相机)；

·基于串行数据的传感器信号——以一系列字节输出数字特性的任何传感器(例如超声波传感器、某些雷达、温度、速度传感器等)

传感器数据融入不限于上述算法，并且该方法允许针对更具体的数字或模拟传感器系统进行定制。

高级数据融入器

作为上述大多数数据融入方法的简单替代品，高级融入器提供虚拟数据到机器的高级系统(例如ADS软件)的合并，而无需更改其控制和传感器单元的任何低级数据。这种方法允许更容易地将元宇宙代理整合到机器中，但会给这种元宇宙实施方式的总体伪现实性带来某些妥协。这种类型的数据融入方法通过注入已经分类和表征的对象来操作，就像通过解释传感器数据和/或控制数据来完成的一样。该方法适用于不需要对虚拟对象、条件和事件进行端到端模拟的场景。

表示框架

元宇宙实施方式不是为特定人类交互工具定制的。相反，它被设计为能够与任何现有和未来的用户界面整合，包括但不限于单屏或多屏视频显示器、移动终端和远程控制器、VR/AR耳机、与用户运动跟踪器的界面、直接操纵和有形界面。这是通过软件整合工具包实现的，该工具包具有元宇宙世界模型表示的多层结构，其中对象的各种属性与特定表示层具有一定的亲和性。这些层中的每一个都可以分配给特定表示方法，也称为通道，其由特定用户界面部件和相应的设备提供服务。

实际实施方式

下面的图1示出了典型自主或半自主车辆的高级架构。各种传感器(例如LIDAR、计算机视觉、雷达)将数据馈送到感知子系统，该感知子系统识别和跟踪对象、附近车辆、前方道路以及传感器感测的一般环境。感知子系统形成用于局部世界模型的数据，并与联接的定位和映射子系统互操作。

其他数据源(例如地图数据、车辆对车辆通信)与定位和映射子系统共享，定位和映射子系统进而也馈送局部世界模型。局部世界模型将所有进来的数据整合或组合成所有数据输入的单个连贯的被空间映射的视图；然后它向规划和控制子系统提供数据，该规划和控制子系统执行动态路径规划，考虑发送给它的所有数据，并控制车辆致动器(例如制动器、转向器、加速器、指示灯等)。

图2示出了机器人赛车元宇宙平台在具有有限可访问的可编程性的车辆的自主驾驶系统中的整合，诸如像丰田普锐斯(Toyota

)的大规模生产汽车，其具有必不可少的线控驱动能力，并且这是为什么被广泛用于自驾驶平台的开发。除了图1所示的ADS软件架构，我们现在具有元宇宙平台的基础元素，即元宇宙世界模型，也称为“虚拟世界”；在该模型中添加了虚拟对象、事件或条件，这些虚拟对象、事件或条件将与来自车辆中的常规传感器和其他数据源的数据融合，例如，以测试ADS多好地处理这些对象、事件或条件。该元宇宙世界模型与车辆中预先存在的局部世界模型完全分离和独立。其捕获已在车辆外部生成或独立于车辆操作在车上生成的虚拟数据，并且在元宇宙世界模型中进行空间映射。世界模型将数据发送到元宇宙代理子系统，该元宇宙代理子系统跟踪注入到世界模型中的对象、事件和条件，并向高级数据融入子系统提供输出，该高级数据融入子系统将对象、事件和条件处理为为与局部世界模型兼容的格式，该局部世界模型聚合来自车辆的传感器和其他数据源的数据。通过这种方式，虚拟对象、事件和条件被输入到车辆ADS中，并被对待为就好像它们是相当于车辆中预先存在的数据源的其他数据源一样，这些数据源如LIDAR、雷达和计算机视觉子系统，没有触摸这些系统，即使它们存在于车辆中。元宇宙代理子系统还向表示框架提供输出，以便可以将虚拟对象、事件或条件可视地表示给最终用户，例如观看交互式视频流服务(诸如电子竞技通道或电视广播)的观众。

图3示出了在完全可编程的车辆上的具有整合的独立元宇宙代理的ADS软件架构，诸如

自主比赛车辆，其具有完全成熟的线控驱动平台和完全可访问的综合传感器系统，如相机、LIDAR、雷达、计算机视觉、超声等。这建立在图2中描述的基础系统的顶部上。除了在图2系统中创建的高级虚拟数据之外，我们现在在世界模型中创建虚拟传感器数据，并且然后该虚拟数据经由传感器数据融入器子系统被发送，以与来自车辆的预先存在的传感器的传感器数据整合。我们还在世界模型中创建虚拟控制数据，然后该虚拟数据经由控制数据融入器子系统被发送，以与感知子系统以及定位和映射子系统中的控制数据整合。

图4示出了图3系统，现在利用与其他代理的集体数据交换得到进一步增强；该系统是完整的多代理元宇宙实施方式。在图3中，单个代理实施方式，单个代理实际上只与单个车辆相关。但是自主或半自主车辆将与附近的车辆共享数据，以用于更高的态势意识并启用新的合作驾驶模式，如形成密集车辆的长链，这些车辆具有紧密同步的速度，相互超车，并且在各种条件下对其他车辆或对象进行其他调动。为了对此进行建模，需要完整的多代理元宇宙实施方式，其中代理共享公共的元宇宙世界模型，并且每个代理实际上对这些附近的现实或虚拟车辆和对象生成的虚拟传感和控制数据进行建模，如图4所示。

用例

现在为了移动到用例，由机器人

平台实施并在现场得到验证的示例实施元宇宙自主车辆测试和比赛程序，其中基础表示层可以是从安装在赛道上并给予各种视点的相机传输的视频流集(作为传统的帧视频或/和立体360视图)。所以这一层提供了在该元宇宙中塑造的所有现实对象的充分表示。在该基础层的顶部上，可以存在一个或多个表示层(叠加层)，从而针对各种媒体通道可视化虚拟对象。因此，元宇宙世界模型的特殊表示可以在实时图形引擎(如Unreal Engine、Unity、CryEngine等)中渲染为3D情景。这些虚拟叠加层可以使用适当的工具(包括实时视频插入工具、对应的设备和用户界面)应用于底层视频流，使得全部变成用于观众的混合情景。元宇宙表示框架为该过程提供了足够的数据，并且也确保了该过程的完全连贯性。

虚拟对象可以包括虚拟障碍物或条件，这些虚拟障碍物或条件是赛道或比赛区域的一致或永久特征；这使工程师或测试电路设计人员能够为比赛或试验轨道添加有趣且苛刻的特征，这些特征在现实世界中构建起来非常昂贵(甚至不可能)，诸如非常极端的减速弯、防滑板、冰道等。因此可以快速测试和评估自主车辆规划和控制系统(例如，根据虚拟世界测试制度中体现的强制性政府性能法规)。

虚拟对象可以包括虚拟障碍物或条件，这些障碍物或条件是突然引入并且是暂时的，并且可以是静态的或者甚至可以是移动的——例如，跨道路奔跑的虚拟孩子，或者在前方失控的虚拟车辆。快速识别跨道路奔跑的虚拟儿童或在前方失控的虚拟车辆需要自主车辆对新危险进行复杂且近乎即时的识别、跟踪和评定，并动态重新规划路线和/或采取紧急制动动作，考虑避开所有附近的现实和虚拟车辆、道路障碍物等的车辆动力学(例如，特定天气和道路表面条件下给定轮胎的制动或加速能力；突然方向变化下的车辆稳定性)，因此需要来自所有传感器的完整态势意识以及在竞争场景之间进行快速动态权衡的能力。可以测试不同的机器人“道德”规划系统——例如，探索观众在现实中如何反应，如果车辆在避开跨轨道奔跑的虚拟儿童时转向以避开该儿童但这样做有与附近的现实世界汽车碰撞的风险。

在较慢的速度下，车辆可以是以不超过每小时5或10公里移动的运载无人机，并且虚拟对象可以包括运载无人机将遇到的典型对象，诸如行人、骑自行车的人、宠物、汽车。同样，平台使得能够快速测试和评估无人机快速识别、跟踪和评定其不断变化的环境以及在竞争场景之间进行复杂的快速动态权衡的能力。

可以在这些混合的现实世界和虚拟世界场景中快速提供和测试软件算法升级和更改，大大提高了算法改进的速度，并针对比将仅限于真实世界测试的更广泛的场景进行了测试。在竞赛场景中，而不是车辆测试和开发场景，观众或参观者可以引入虚拟对象来挑战一些或全部车辆；如果说领先的车辆面临特定挑战，如虚拟动物横穿其路径，并且如果该车辆未能成功避开动物，那么它被自主要求移至第二位或遭受一些其他惩罚，那么现实世界车辆之间的比赛可能会变得更加有趣和苛刻；而如果它成功避开了动物，它可以被给予一些奖励积分或其他奖赏。电视或广播导演可以添加该虚拟障碍物以给予添加的兴趣和兴奋，或者其他团队或车辆的粉丝可以在线买积分，该积分可以在购买用于放置在其他竞争对手前面的这些障碍物时花费。

虚拟对象可以包括虚拟障碍物或条件，这些虚拟障碍物或条件是突然出现的，并且不是要避开的，而是要通过的，(例如，在竞赛中获得车辆奖励积分；或定义最佳路径或路线，并且因此提高避障性能)。车辆必须通过以获得奖赏/积分或不受惩罚的这些虚拟奖赏(之前称为“战利品”)可以由电视或广播导演添加，或由该车辆的粉丝购买。图5和图6示出了赛道，其中要避开的虚拟障碍物用实线框示出，要驶过的区域用虚线框示出。该视点可以作为电子竞技或电视广播的一部分布送。在实践中，将不会对观众示出这些边界框，而是一些视觉上合适的东西。图7示出了如何向该观众示出轨道上放置了大型虚拟障碍物的赛道；车辆示出为避开障碍物。图8示出了如果车辆驶过虚拟障碍物会发生什么，其中虚拟对象利用适当的物理成分进行编程，通过解体对撞击做出反应，其中碎片示出为跨赛道显著地飞过。图9示出了类似的情况，其中可能可视化了通过驶过而已经捕获的战利品奖赏；战利品然后垂直爆炸。

该系统不仅限于自主车辆；例如，它还可以用于常规F1或Formula E赛车运动，其中虚拟障碍物或战利品由赛车控制器或观众投票等添加，并且人类驾驶员具有抬头显示器或增强现实眼镜，其可以显示已经添加的虚拟障碍物或战利品。在该变体中，数据融合系统将包括车内LIDAR、立体相机和绘制前方路线和局部环境的其他传感器，使得抬头显示器或增强现实眼镜捕获并显示视野中的前方路径或其他汽车的准确的视图(这可以是简化的或写实的或真实实时视频)。然后，数据融合系统将确保虚拟对象(例如障碍物或奖赏/战利品)被示出在抬头显示器或增强现实眼镜上，正确定位在前方路线上(或与其有关)，使得驾驶员清楚看到它们并可以转向以避开它们(在障碍物的情况下)或通过它们(在战利品的情况下)。在家中的观察者将看到沿着现实世界轨道比赛的现实世界汽车，以及使用实时视频插入技术叠加在轨道上的虚拟障碍物或奖赏；如果驾驶员通过障碍物或奖赏，则(如图8-图9所示)，出现虚拟障碍物或奖赏的适当动画。

关键特征

我们可以将元宇宙平台的核心特征概括如下：

A.一种用于现实世界车辆中的数据融合系统，其中车辆包括多个数据源，这些数据源生成被空间映射到现实世界区域的传感器数据；并且其中数据融合系统被配置为将(i)被空间映射的传感器数据与(ii)虚拟数据融合或整合，该虚拟数据是在车辆外部已经生成的，或者无论在车辆内部还是外部已独立于车辆或车辆的操作而生成的，并且还被空间映射到虚拟世界。

B.一种包括如上限定的数据融合系统的车辆。

C.一种开发、改善或测试车辆的方法，其中车辆包括如上限定的数据融合系统，并将虚拟对象、事件或条件添加到由数据融合系统处理的虚拟世界，以测试车辆如何响应这些虚拟对象、事件或条件。

D.一种使用上述限定的方法已开发、改善或测试的车辆。

E.一种游戏或其他娱乐系统，该系统生成图像，该图像显示包括如上限定的数据融合系统的车辆、或以其他方式以该车辆为特征。

我们可以将次要特征组织成以下13个区域。注意，任何次要特征都可以与任何其他次要特征组合，并且上面列出的所有主要特征可以与这些次要特征中的任何一个或多个组合。

·数据融合

·世界模型

·虚拟世界

·现实世界

·代理

·数据分布框架

·数据融入框架

·数据融入器

·表示框架

·车辆控制

·车辆

·观众体验

·比赛形式

数据融合

·数据融合系统，其中数据源生成控制数据，并且其中数据融合系统进一步被配置为将控制数据以及传感器数据与虚拟数据融合或整合。

·数据融合系统，其中融合或整合的(i)传感器数据和/或控制数据以及(ii)虚拟数据被供应给依赖于该融合或整合的数据输入来控制车辆的现实世界车辆控制系统。

·数据融合系统，其中车辆被配置为自主响应融合或整合的(i)被空间映射的传感器数据和/或控制数据以及(ii)被空间映射的虚拟数据。

·由车辆控制系统生成的数据也与(i)传感器数据和/或控制数据以及(ii)虚拟数据融合或整合。

·数据融合或整合以接近零的等待时间发生。

·数据处理部件(“数据融入器”)执行将传感器数据与虚拟数据融合或整合的功能。

·数据处理部件(“数据融入器”)执行以下任一项的功能：(i)处理虚拟数据；(ii)将该虚拟数据传递到处理传感器数据和/或控制数据的车辆子系统中，使得虚拟数据可以与传感器数据和/或控制数据和/或ADS局部世界模型融合、合并或整合。

世界模型(例如图2、图3和图4中的增强局部世界模型)

·数据融合系统将(i)传感器数据和/或控制数据以及(ii)虚拟数据融合或整合到单个世界模型中。

·单个世界模型是融合的被空间映射的世界，其是协调(i)传感器数据和/或控制数据以及(ii)虚拟数据中的任何差异的全局状态的单个统一表示。

·数据融合系统使用从下列项生成的世界模型：(i)一个或多个现实世界源，包括被空间映射的现实世界区域；以及(ii)一个或多个虚拟世界源，包括对应于现实世界区域的被空间映射的虚拟世界区域。

·世界模型驻留在或存储在存储器中，存储器(i)完全在车辆中，或(ii)分布在车内存储器和车辆外部的存储器之间，或(iii)完全在车辆外部。

·世界模型包括以下中的一个或多个：对象、条件和事件；其中对象指定现实世界和虚拟世界中的被空间映射的元素或事物；条件表征现实世界和虚拟世界的被空间映射的区域中的外界环境；并且事件指定对象在限定情况下如何表现或反应。

·数据融合系统预测世界模型中的对象的下一个最可能状态。

·使用以下技术中的一种或多种来预测世界模型中的对象的下一个最可能状态：航位推算、数学外推法、卡尔曼过滤、深度学习推理和特定问题解决方法，如用于车辆轮胎动力学的Pacejka模型或用于在未知环境中定位的SLAM。

·数据融合系统执行下一个最可能状态的实时数据处理和计算，但仅针对那些暂时参与到修改或形成局部世界模型的动作中的对象。

虚拟世界(例如图2、图3和图4中的元宇宙世界模型)

·被空间映射的虚拟数据是在被空间映射的虚拟世界内生成的。

·虚拟世界是在车辆系统外部的系统中创建的，被独立于车辆控制，并且不是由车辆或车辆中的任何传感器或控制系统生成的。

·虚拟世界完全驻留在车辆外部并且共享相同空间映射，或以其他方式对应于驻留或存储在存储器中的世界模型，存储器(i)完全在车辆中，或(ii)分布在车内存储器和车辆外部的存储器之间，或(iii)完全在车辆外部。

·虚拟数据包括与供车辆在其中移动或操作的世界成镜像、空间匹配或至少部分地空间相关的数据。

·虚拟数据包括：呈现或提供要与来自车内传感器中的一些或全部车内传感器的数据融合的数据的事件、条件或对象中的一个或多个，使得车内传感器就好像所述事件、条件或对象是真实现实世界事件、条件或对象一样做出反应。

·其中虚拟数据包括呈现给现实世界车辆控制系统的事件、条件或对象中的一个或多个，就好像是由车内传感器中的一些或全部车内传感器检测到的真实事件、条件或对象一样。

·虚拟数据包括事件、条件或对象中的一个或多个，其被添加以测试现实世界车辆控制系统如何有效地对事件、条件或对象做出反应。

·虚拟数据包括车辆必须避开的对象，诸如虚拟人、锥、障碍物、标牌、建筑物或其他车辆。

·虚拟数据包括车辆必须做出反应的对象和/或条件，诸如雨、雾、冰、不平坦的道路表面。

·虚拟数据包括车辆必须通过的对象，诸如战利品、路线路径、交叉口、入口和出口。

·虚拟数据包括车辆必须通过以在比赛、游戏或竞赛中获得积分的对象或战利品。

·虚拟数据包括车辆必须通过以在比赛、游戏或竞赛中获得积分的对象或战利品，并且这些对象或战利品被定位成靠近车辆必须避开的虚拟对象或现实对象，诸如虚拟人、障碍物、标牌或其他车辆。

·虚拟数据包括用于形成媒体娱乐的一部分的对象和/或条件，诸如电子竞技流、电视、游戏、影片。

·虚拟数据包括用于形成车辆测试或开发程序的一部分的对象和/或条件中的一个或多个。

现实世界

·数据融合系统处理包括以下任一项的数据：其他车辆、机器人、无人机和人员的现实世界位置、局部地形、车辆正在行驶的路线或道路、交通灯的任何其他状态、一天中的时间、天气条件、道路类型、天气、停车位和车库的位置。

代理

·代理负责对添加或注入到世界模型中的对象、事件和条件进行跟踪。

代理具有它们自己的局部世界模型，局部世界模型对与每个代理的状态和行为相关的对象、事件或条件进行跟踪。

·代理将它们的状态和行为与其他代理共享。

·代理负责处理错误。

·单个代理对应于或表示单个虚拟车辆。

·世界模型包括包含多个虚拟车辆和其他对象的多代理系统。

数据分布框架

·数据融合系统使用分散的、以数据为中心的架构，诸如OMG DDS框架，来处理或传送传感器数据、控制数据和虚拟数据中的一个或多个。

·隧道传输DDS数据包通过非IP网络进行隧道传输，非IP网络包括但不限于工业M2M(机器对机器)协议、V2X(车辆对一切)、CAN、FlexRay等。

·对于快速移动的车辆，数据分布框架提供具有用于车辆对一切(V2X)通信的增强协议堆栈的连接方法，连接方法利用以下特征中的一个或多个来扩展现有V2X系统的能力和性能：以每10毫秒的频率广播消息的能力；使得信号能够经由V2X无线电透明地发送到常规V2X系统并且不影响其工作的扩展的消息格式；IEEE 802.11p和3GPP C-V2X上进行的DDS隧道传输；经由V2X无线电针对任何UDP和TCP连接以透明方式向常规V2X系统进行通用云上(OTT)数据传输，而不影响其工作。

数据融入框架

·数据融合系统使用可重复使用的软件和硬件部件的可扩展工具包，工具包被设计为提供构建和部署用于各种控制和传感器系统的实时数据融入器的标准方式，从而允许将人工虚拟数据融入到正常数据中。

·提供用于OMG数据分布服务的数据融入逻辑。

·提供用于车辆对一切(V2X)通信的数据融入逻辑。

·提供用于将测量和校准系统连接到车辆ECU的汽车“通用测量和校准协议”(例如ASAM MCD-1XCP)的数据融入逻辑。

数据融入器

·数据融合系统包括数据融入器，数据融入器是用于摄取表示以下虚拟数据中的任一种的数据的插件部件：虚拟对象、条件或事件。

·数据融入器供应或提供虚拟数据以与现实世界传感器数据和/或控制数据融合。

·数据融合系统包括数据融入器，该数据融入器是用于摄取数据的插件部件，该数据表示(i)传感器数据和/或控制数据；(ii)和/或以下虚拟数据中的任一项：虚拟对象、条件或事件。

·数据融入器将虚拟数据与现实世界传感器数据和/或控制数据融合或整合。

·数据融入器向现实世界车辆控制系统提供数据，现实世界车辆控制系统处理：(i)虚拟数据，或(ii)融合或整合的虚拟数据和传感器数据和/或控制数据，作为现实数据或等效于现实世界数据。

·数据融入器部件彼此独立地维持它们的数据采样率和分辨率。

·在数据融入器部件的自组织网状网络中维持计算的连贯性。

·用于处理传感器数据的融入器专门设计用于机器人和汽车中使用的各种类型的传感器，包括但不限于雷达、LIDAR、超声、计算机视觉和立体视觉相机。

·传感器数据包括：基于图像的传感器信号，包括输出2D串行图像的任何传感器；基于点云的传感器信号，包括来自LIDAR和立体相机的数据；基于串行数据的传感器信号，包括超声波传感器、雷达、温度和速度传感器。

表示框架

·数据融合系统包括表示框架，该表示框架是可重复使用的软件整合适配器的可扩展工具包，其经由用户界面和/或交互式平台和/或设备向最终用户提供虚拟世界和/或融合的世界(即通过融合来自现实世界数据源的数据和虚拟数据而创建的世界)的沉浸式表示。

·表示框架能够与用户界面整合，用户界面包括但不限于单屏或多屏视频显示器、移动终端和远程控制器、VR/AR耳机、用户运动跟踪器、直接操纵和有形界面。

·表示框架包括具有世界模型表示的多层结构的软件整合工具包，其中对象的各种属性与特定表示层具有亲和性，并且这些层中的每一层可以被分配给由特定用户界面部件和相应设备服务的特定表示方法。

·基础表示层是从安装在现实世界车辆赛道上并给出各种视点的相机传输的视频流集，并且在基础层的顶部上有一个或多个表示层或叠加层，从而针对各种媒体通道可视化虚拟对象，并且这些虚拟叠加层使用适当的工具、设备和用户界面应用于底层视频流，使得混合情景导致将现实对象和虚拟对象组合。

车辆控制

·车辆包括控制或致动车辆中的系统的现实世界自动驾驶系统(ADS)规划和控制系统，诸如转向器、制动器、加速器，并且现实世界的规划和控制系统从数据融合系统获取输入。

·车辆包括生成处理现实世界数据的局部世界模型的ADS，并且ADS向数据融合系统提供输入数据，数据融合系统进而向现实世界规划和控制系统(“ADS规划和控制层”)提供输入数据。

·ADS中的局部世界模型向外部世界模型或虚拟世界发送数据并且ADS规划和控制层从外部世界模型或虚拟世界接收数据。

·ADS中的局部世界模型向作为ADS的嵌入部分或子系统的世界模型发送数据，并且ADS规划和控制层从作为ADS的嵌入部分或子系统的世界模型接收数据。

·ADS中的局部世界模型向外部世界模型以及作为ADS的嵌入部分或子系统的世界模型两者发送数据，并且ADS规划和控制层从外部世界模型以及作为ADS的嵌入部分或子系统的世界模型两者接收数据。

·世界模型使得以下中的任一项能够注入到ADS中：虚拟对象、虚拟路径、虚拟路线，然后ADS在其控制和规划操作中包括上述项。

·世界模型的输出与通常从局部世界模型接收的ADS规划和控制的预期输入匹配，并且在该模式中ADS规划和控制控制没有关于对象是现实还是虚拟的指示。

·世界模型的输出与通常从局部世界模型接收的ADS规划和控制的预期输入匹配，ADS规划和控制具有指示对象是现实还是虚拟的附加标志，并且在该模式中，ADS规划和控制系统适用于利用此附加对象信息。

车辆

·车辆是汽车、飞机、陆地车辆、运载车辆、公共汽车、海上车辆、无人机、机器人或其他自推进设备——例如，非自主车辆。

·车辆是自主汽车、飞机、陆地车辆、运载车辆、公共汽车、海上车辆、无人机、机器人或其他自推进设备。

·车辆是比赛车辆。

·车辆是多种机械类似的比赛车辆中的一种，每种比赛车辆具有不同的控制系统或用于那些控制系统的软件子系统，并且不同的车辆竞争从而以最佳方式对供应给每种车辆的相同的新虚拟数据做出反应。

·车辆是被配置为拍摄或记录正在比赛的其他车辆的自主汽车、飞机、车辆、无人机、机器人或其他自推进设备。

·车辆由人类驾驶或领航，并且车辆中的显示器向该人类驾驶员或领航员示出虚拟世界中的一些或全部。

观众体验

·以车辆为特征的事件的参观者、观察者、参与者或控制者能够在显示器上既观察现实世界车辆又观察虚拟世界中生成的任何对象，诸如车辆所交互的对象或条件。

·以车辆为特征的事件的参观者、观察者、参与者或控制者能够在诸如增强现实耳机或眼镜的显示器上既观察现实世界车辆又观察虚拟世界中生成的任何对象，诸如车辆所交互的对象或条件。

·以车辆为特征的事件的参观者、观察者、参与者或控制者能够在融合的现实世界和虚拟世界中导航以改变他们对该融合的世界的观察。

·参观者、观察者、参与者或控制者能够在融合的现实世界和虚拟世界中导航以改变对他们正在观看、拍摄或记录或流式传输的融合的世界的观察。

·以车辆为特征的事件的参观者、观察者、参与者或控制者能够在虚拟世界中添加或控制下列项中的任何一个或多个：(a)为了测试现实世界控制系统如何有效地对对象做出反应而添加的对象；(b)车辆必须避开的对象，诸如虚拟人、障碍物、标牌或其他车辆。

·以车辆为特征的事件的参观者、观察者、参与者或控制者能够在虚拟世界中添加或控制车辆必须通过的对象，诸如战利品、路线路径、入口和出口。

·以车辆为特征的事件的参观者、观察者、参与者或控制者能够在虚拟世界中添加或控制车辆必须通过以在比赛、游戏或竞赛中获得积分的对象或战利品。

·以车辆为特征的事件的参观者、观察者、参与者或控制者能够在虚拟世界中添加或控制车辆必须通过以在比赛、游戏或竞赛中获得积分的对象或战利品，并且这些对象或战利品被定位成靠近车辆必须避开的虚拟对象或现实对象，诸如虚拟人、障碍物、标牌或其他车辆。

比赛形式

·AV或人类驾驶的现实世界车辆，或AI辅助的人类驾驶的现实世界车辆，在现实世界驾驶区域中比赛；并且存在(i)该现实世界驾驶区域的虚拟世界表示、以及(ii)与现实世界车辆比赛的虚拟车辆，并且其中现实世界车辆对虚拟车辆做出反应，就好像虚拟车辆存在于现实世界中一样，并且虚拟车辆对现实世界车辆做出反应，就好像现实世界车辆存在于虚拟世界中一样。

·在现实世界驾驶区域以及该现实世界驾驶区域的虚拟世界表示中存在现实世界全尺寸车辆，并且其中现实世界车辆对来自模拟器中的用户或佩戴AR或VR耳机的用户的控制输入做出反应。

·自驾驶汽车与安全地位于驾驶员在环路中的模拟器内的电子竞技游戏玩家控制的虚拟汽车竞争。

·具有增强现实显示器的人类驾驶员与安全地位于驾驶员在环路中的模拟器内的电子竞技游戏玩家控制的虚拟汽车竞争。

·模拟器中的电子竞技游戏玩家在各种控制抽象级别上直接控制物理汽车；操作、战术和战略取决于通信等待时间。

·多种机械类似的比赛车辆相互竞争，从而以最佳方式对供应给每种车辆的相同的新虚拟数据做出反应，其中每种比赛车辆具有不同的控制系统或用于那些控制系统的软件子系统。

Claims

1.一种用于现实世界车辆中的数据融合系统，其中所述车辆包括多个数据源，所述多个数据源生成被空间映射到现实世界区域的传感器数据；并且其中所述数据融合系统被配置为将(i)被空间映射的传感器数据与(ii)虚拟数据融合或整合，所述虚拟数是在所述车辆外部已经生成的，或者无论在所述车辆内部还是外部已独立于所述车辆或所述车辆的操作而生成的，并且还被空间映射到虚拟世界。

数据融合

2.根据权利要求1所述的数据融合系统，其中存在生成控制数据的数据源，并且其中所述数据融合系统进一步被配置为将所述控制数据以及所述传感器数据与所述虚拟数据融合或整合。

3.根据任一前述权利要求所述的数据融合系统，其中融合或整合的(i)传感器数据和/或控制数据以及(ii)所述虚拟数据被供应给依赖于该融合或整合的数据输入来控制所述车辆的现实世界车辆控制系统。

4.根据任一前述权利要求所述的数据融合系统，其中所述车辆被配置为自主响应所述融合或整合的(i)传感器数据和/或控制数据以及(ii)所述虚拟数据。

5.根据任一前述权利要求所述的数据融合系统，其中由所述车辆控制系统生成的数据与(i)所述传感器数据和/或控制数据以及(ii)所述虚拟数据融合或整合。

6.根据任一前述权利要求所述的数据融合系统，其中数据融合或整合以接近零的等待时间发生。

7.根据任一前述权利要求所述的数据融合系统，其中数据处理部件(“数据融入器”)执行以下任一项的功能：(i)处理所述虚拟数据；(ii)将所述虚拟数据传递到处理所述传感器数据和/或控制数据的车辆子系统中，使得所述虚拟数据能够与所述传感器数据和/或控制数据融合、合并或整合。

世界模型

8.根据任一前述权利要求所述的数据融合系统，其将(i)所述传感器数据和/或控制数据以及(ii)所述虚拟数据融合或整合到单个世界模型中。

9.根据前述权利要求8所述的数据融合系统，其中所述单个世界模型是融合的被空间映射的世界，其是协调(i)所述传感器数据和/或控制数据以及(ii)所述虚拟数据中的任何差异的全局状态的单个统一表示。

10.根据前述权利要求8或9所述的数据融合系统，其使用从下列项生成的世界模型：(i)一个或多个现实世界源，包括被空间映射的现实世界区域；以及(ii)一个或多个虚拟世界源，包括对应于所述现实世界区域的被空间映射的虚拟世界区域。

11.根据前述权利要求8-10所述的数据融合系统，其中所述世界模型驻留在或存储在存储器中，所述存储器(i)完全在所述车辆中，或(ii)分布在车内存储器和所述车辆外部的存储器之间，或(iii)完全在所述车辆外部。

12.根据前述权利要求8-11中任一项所述的数据融合系统，其中所述世界模型包括以下中的一个或多个：对象、条件和事件；其中对象指定所述现实世界和所述虚拟世界中的被空间映射的元素或事物；条件表征所述现实世界和所述虚拟世界的被空间映射的区域中的外界环境；并且事件指定对象在限定情况下如何表现或反应。

13.根据前述权利要求8-12中任一项所述的数据融合系统，其预测所述世界模型中的对象的下一个最可能状态。

14.根据前述权利要求8-13中任一项所述的数据融合系统，其中使用以下技术中的一种或多种来预测所述世界模型中的对象的所述下一个最可能状态：航位推算、数学外推法、卡尔曼过滤、深度学习推理和特定问题解决方法，如用于车辆轮胎动力学的Pacejka模型或用于在未知环境中定位的SLAM。

15.根据前述权利要求8-14中任一项所述的数据融合系统，其中所述数据融合系统执行所述下一个最可能状态的实时数据处理和计算，但仅针对那些暂时参与到修改或形成局部世界模型的动作中的对象。

虚拟世界

16.根据前述权利要求中任一项所述的数据融合系统，其中所述被空间映射的虚拟数据是在被空间映射的虚拟世界内生成的。

17.根据前述权利要求16所述的数据融合系统，其中所述虚拟世界是在所述车辆外部的系统中创建的，被独立于所述车辆控制，并且不是由所述车辆或所述车辆中的任何传感器或控制系统生成的。

18.根据前述权利要求16或17所述的数据融合系统，其中所述虚拟世界完全驻留在所述车辆外部并且共享相同空间映射，或以其他方式对应于驻留或存储在存储器中的所述世界模型，所述存储器(i)完全在所述车辆中，或(ii)分布在车内存储器和所述车辆外部的存储器之间，或(iii)完全在所述车辆外部。

19.根据前述权利要求16-18所述的数据融合系统，其中所述虚拟数据包括与供所述车辆在其中移动或操作的世界成镜像、空间匹配或至少部分地空间相关的数据。

20.根据前述权利要求16-19所述的数据融合系统，其中所述虚拟数据包括：呈现或提供要与来自所述车内传感器中的一些或全部车内传感器的数据融合的数据的事件、条件或对象中的一个或多个，使得所述车内传感器就好像所述事件、条件或对象是真实现实世界事件、条件或对象一样做出反应。

21.根据前述权利要求16-20所述的数据融合系统，其中所述虚拟数据包括呈现给现实世界车辆控制系统的事件、条件或对象中的一个或多个，就好像所述事件、条件或对象是由所述车内传感器中的一些或全部车内传感器检测到的真实事件、条件或对象一样。

22.根据前述权利要求16-21所述的数据融合系统，其中所述虚拟数据包括事件、条件或对象中的一个或多个，所述事件、条件或对象被添加以测试所述现实世界车辆控制或规划和控制系统如何有效地对所述事件、条件或对象做出反应。

23.根据前述权利要求16-22所述的数据融合系统，其中所述虚拟数据包括所述车辆必须避开的对象，诸如虚拟人、锥、障碍物、标牌、建筑物或其他车辆。

24.根据前述权利要求16-23所述的数据融合系统，其中所述虚拟数据包括所述车辆必须做出反应的对象和/或条件，诸如雨、雾、冰、不平坦的道路表面。

25.根据前述权利要求16-24所述的数据融合系统，其中所述虚拟数据包括所述车辆必须通过的对象或战利品，诸如路线路径、交叉口、入口和出口。

26.根据前述权利要求16-25所述的数据融合系统，其中所述虚拟数据包括所述车辆必须通过以在比赛、游戏或竞赛中获得积分的对象或战利品。

27.根据前述权利要求16-26所述的数据融合系统，其中所述虚拟数据包括所述车辆必须通过以在比赛、游戏或竞赛中获得积分的对象或战利品，并且这些对象或战利品被定位成靠近所述车辆必须避开的虚拟对象或现实对象，诸如虚拟人、障碍物、标牌或其他车辆。

28.根据前述权利要求16-27所述的数据融合系统，其中所述虚拟数据包括用于形成媒体娱乐的一部分的对象或战利品和/或条件，诸如电子竞技流、电视、游戏、影片。

29.根据前述权利要求16-28所述的数据融合系统，其中所述虚拟数据包括用于形成车辆测试或开发程序的一部分的对象和/或条件中的一个或多个。

现实世界

30.根据前述权利要求中任一项所述的数据融合系统，其处理包括以下任一项的数据：其他车辆、机器人、无人机和人员的所述现实世界位置、局部地形、所述车辆正在行驶的路线或道路、交通灯的任何其他状态、一天中的时间、天气条件、道路类型、天气、停车位和车库的位置。

代理

31.根据任一前述权利要求所述的数据融合系统，其使用负责对添加或注入到所述世界模型中的对象或事件或条件进行跟踪的代理。

32.根据前述权利要求31所述的数据融合系统，其中代理具有它们自己的局部世界模型，所述局部世界模型对与每个代理的状态和行为相关的所述对象、事件或条件进行跟踪。

33.根据前述权利要求31或32所述的数据融合系统，其中代理将它们的状态和行为与其他代理共享。

34.根据前述权利要求31-33所述的数据融合系统，其中所述代理负责对添加或注入到所述世界模型中的对象、事件和条件进行跟踪。

35.根据前述权利要求31-34所述的数据融合系统，其中所述代理负责处理错误。

36.根据前述权利要求31-35所述的数据融合系统，其中单个代理对应于或表示单个虚拟车辆。

37.根据前述权利要求31-36所述的数据融合系统，其中世界模型包括包含多个虚拟车辆的多代理系统。

数据分布框架

38.根据前述权利要求中任一项所述的数据融合系统，其使用分散的、以数据为中心的架构，诸如OMG DDS框架，来处理或传送所述传感器数据、控制数据和所述虚拟数据中的一个或多个。

39.根据权利要求38所述的数据融合系统，其中隧道传输DDS数据包通过非IP网络进行隧道传输，所述非IP网络包括但不限于工业M2M(机器对机器)协议、V2X(车辆对一切)、CAN、FlexRay等。

40.根据前述权利要求38或39所述的数据融合系统，其中数据分布框架提供具有用于车辆对一切(V2X)通信的增强协议堆栈的连接方法，所述连接方法利用以下特征中的一个或多个来扩展现有V2X系统的能力和性能：以每10毫秒的频率广播消息的能力；使得信号能够经由V2X无线电透明地发送到常规V2X系统并且不影响其工作的扩展的消息格式；IEEE802.11p和3GPP C-V2X上进行的DDS隧道传输；经由V2X无线电针对任何UDP和TCP连接以透明方式向常规V2X系统进行通用云上(OTT)数据传输，而不影响其工作。

数据融入框架

41.根据前述权利要求中任一项所述的数据融合系统，其使用可重复使用的软件和硬件部件的可扩展工具包，所述可扩展工具包被设计为提供构建和部署用于各种控制和传感器系统的实时数据融入器的标准方式，从而允许将人工虚拟数据融入到正常数据中。

42.根据前述权利要求41所述的数据融合系统，其提供用于OMG数据分布服务的数据融入逻辑。

43.根据前述权利要求41-42中任一项所述的数据融合系统，其提供用于车辆对一切(V2X)通信的数据融入逻辑。

44.根据前述权利要求41-43中任一项所述的数据融合系统，其提供用于将测量和校准系统连接到车辆ECU的汽车“通用测量和校准协议”(例如ASAM MCD-1XCP)的数据融入逻辑。

数据融入器

45.根据前述权利要求中任一项所述的数据融合系统，其包括数据融入器，所述数据融入器是用于摄取表示以下虚拟数据中的任一种的数据的插件部件：虚拟对象、条件或事件。

46.根据前述权利要求45所述的数据融合系统，其中数据融入器供应或提供虚拟数据以与现实世界传感器数据和/或控制数据融合。

47.根据前述权利要求45-46所述的数据融合系统，其中所述数据融入器向现实世界车辆控制系统提供数据，所述现实世界车辆控制系统处理：(i)所述虚拟数据，或(ii)融合或整合的虚拟数据和传感器数据和/或控制数据，作为现实数据或等效于现实世界数据。

48.根据前述权利要求45-47所述的数据融合系统，其中所述数据融入器彼此独立地维持它们的数据采样率和分辨率。

49.根据前述权利要求45-48所述的数据融合系统，其中所述数据融入器在数据融入器部件的自组织网状网络中维持计算的连贯性。

50.根据前述权利要求45-49所述的数据融合系统，其中用于处理传感器数据的所述数据融入器专门设计用于机器人和汽车中使用的各种类型的传感器，所述各种类型的传感器包括但不限于雷达、LIDAR、超声、计算机视觉和立体视觉相机。

51.根据前述权利要求50所述的数据融合系统，其中所述传感器数据包括：基于图像的传感器信号，所述传感器包括输出2D串行图像的任何传感器；基于点云的传感器信号，所述点云包括来自LIDAR、计算机视觉系统和立体相机的数据；基于串行数据的传感器信号，所述传感器包括超声波传感器、雷达、温度和速度传感器。

表示框架

52.根据前述权利要求中任一项所述的数据融合系统，其包括表示框架，所述表示框架是可重复使用的软件整合适配器的可扩展工具包，所述可扩展工具包经由用户界面和/或交互式平台和/或设备向最终用户提供所述虚拟世界的沉浸式表示。

53.根据权利要求52所述的数据融合系统，其中所述表示框架能够与用户界面整合，所述用户界面包括但不限于单屏或多屏视频显示器、移动终端和远程控制器、VR/AR耳机、用户运动跟踪器、直接操纵和有形界面。

54.根据前述权利要求52-53所述的数据融合系统，其中所述表示框架包括具有世界模型表示的多层结构的软件整合工具包，其中对象的各种属性与特定表示层具有亲和性，并且这些层中的每一层能够被分配给由特定用户界面部件和相应设备服务的特定表示方法。

55.根据前述权利要求54所述的数据融合系统，其中基础表示层是从安装在现实世界车辆赛道上并给出各种视点的相机传输的视频流集，并且在所述基础层的顶部上有一个或多个表示层或叠加层，从而针对各种媒体通道可视化虚拟对象，并且这些虚拟叠加层使用适当的工具、设备和用户界面应用于底层视频流，使得混合情景导致将现实对象和虚拟对象组合。

车辆控制

56.根据前述权利要求中任一项所述的数据融合系统，其被配置为与车辆一起工作，所述车辆包括控制或致动所述车辆中的系统的现实世界自动驾驶系统(ADS)规划和控制系统(“ADS规划和控制层”)，诸如转向器、制动器、加速器，并且现实世界的规划和控制系统从所述数据融合系统获取输入。

57.根据前述权利要求56所述的数据融合系统，其中所述车辆包括生成处理现实世界数据的局部世界模型的ADS，并且所述ADS向所述数据融合系统提供输入数据，所述数据融合系统进而向现实世界规划和控制系统提供输入数据。

58.根据前述权利要求56或57所述的数据融合系统，其中ADS中的局部世界模型向外部世界模型或虚拟世界发送数据并且ADS规划和控制层从外部世界模型或虚拟世界接收数据。

59.根据前述权利要求56-58所述的数据融合系统，其中所述ADS中的所述局部世界模型向作为所述ADS的嵌入部分或子系统的世界模型发送数据，并且所述ADS规划和控制层从作为所述ADS的嵌入部分或子系统的世界模型接收数据。

60.根据前述权利要求56-59所述的数据融合系统，其中所述ADS中的所述局部世界模型向外部世界模型以及作为所述ADS的嵌入部分或子系统的世界模型两者发送数据，并且所述ADS规划和控制层从外部世界模型以及作为所述ADS的嵌入部分或子系统的世界模型两者接收数据。

61.根据前述权利要求56-60所述的数据融合系统，其中所述世界模型使得以下中的任一项能够注入到所述ADS中：虚拟对象、虚拟路径、虚拟路线，然后所述ADS在其控制和规划操作中包括上述项。

62.根据前述权利要求56-61所述的数据融合系统，其中所述局部世界模型通过OMGDDS数据总线或类似的实时通信中间件发送数据。

63.根据前述权利要求56-62所述的数据融合系统，其中所述世界模型的输出与通常从所述局部世界模型接收的所述ADS规划和控制的预期输入匹配，并且在该模式中所述ADS规划和控制控制没有关于对象是现实还是虚拟的指示。

64.根据前述权利要求57-63所述的数据融合系统，其中所述世界模型的输出与通常从所述局部世界模型接收的所述ADS规划和控制的预期输入匹配，所述ADS规划和控制具有指示对象是现实还是虚拟的附加标志，并且在该模式中，所述ADS规划和控制系统适用于利用此附加对象信息。

车辆

65.根据前述权利要求中任一项所述的数据融合系统，其被配置为与车辆一起工作，所述车辆是汽车、飞机、陆地车辆、运载车辆、公共汽车、海上车辆、无人机、机器人或其他自推进设备。

66.根据前述权利要求65所述的数据融合系统，其中所述车辆是自主汽车、飞机、陆地车辆、运载车辆、公共汽车、海上车辆、无人机、机器人或其他自推进设备。

67.根据前述权利要求65-66所述的数据融合系统，其中所述车辆是比赛车辆。

68.根据前述权利要求65-67所述的数据融合系统，其中所述车辆是多种机械类似的比赛车辆中的一种，每种比赛车辆具有不同的控制系统或用于那些控制系统的软件子系统，并且不同的车辆竞争从而以最佳方式对供应给每种车辆的相同的新虚拟数据做出反应。

69.根据前述权利要求65-68所述的数据融合系统，其中所述车辆是被配置为拍摄或记录正在比赛的其他车辆的自主汽车、飞机、车辆、无人机、机器人或其他自推进设备。

70.根据前述权利要求65-69所述的数据融合系统，其中所述车辆由人类驾驶或领航，并且所述车辆中的显示器向该人类驾驶员或领航员示出所述虚拟世界中的一些或全部。

观众体验

71.根据前述权利要求中任一项所述的数据融合系统，其被配置为使得以所述车辆为特征的事件的参观者、观察者、参与者或控制者能够在显示器上既观察所述现实世界车辆又观察所述虚拟世界中生成的任何事物，诸如所述车辆所交互的对象或条件。

72.根据前述权利要求中任一项所述的数据融合系统，其被配置为使得以所述车辆为特征的事件的参观者、观察者、参与者或控制者能够在诸如增强现实耳机或眼镜的显示器上既观察所述现实世界车辆又观察所述虚拟世界中生成的任何事物，诸如所述车辆所交互的对象或条件。

73.根据前述权利要求71或72中任一项所述的数据融合系统，其中以所述车辆为特征的事件的所述参观者、观察者、参与者或控制者能够在融合的现实世界和虚拟世界中导航以改变他们对该融合的世界的观察。

74.根据前述权利要求71-73中任一项所述的数据融合系统，其中所述参观者、观察者、参与者或控制者能够在融合的现实世界和虚拟世界中导航以改变对他们正在观看、拍摄或记录或流式传输的融合的世界的观察。

75.根据前述权利要求71-74中任一项所述的数据融合系统，其中以所述车辆为特征的事件的所述参观者、观察者、参与者或控制者能够在所述虚拟世界中添加或控制下列项中的任何一个或多个：(a)为了测试所述现实世界控制系统如何有效地对所述对象做出反应而添加的对象；(b)所述车辆必须避开的对象，诸如虚拟人、障碍物、标牌或其他车辆。

76.根据前述权利要求71-75中任一项所述的数据融合系统，其中以所述车辆为特征的事件的所述参观者、观察者、参与者或控制者能够在所述虚拟世界中添加或控制所述车辆必须通过的对象或战利品，诸如路线路径、入口和出口。

77.根据前述权利要求71-76中任一项所述的数据融合系统，其中以所述车辆为特征的事件的所述参观者、观察者、参与者或控制者能够在所述虚拟世界中添加或控制所述车辆必须通过以在比赛、游戏或竞赛中获得积分的对象或战利品。

78.根据前述权利要求71-77中任一项所述的数据融合系统，其中以所述车辆为特征的事件的所述参观者、观察者、参与者或控制者能够在所述虚拟世界中添加或控制所述车辆必须通过以在比赛、游戏或竞赛中获得积分的对象或战利品，并且这些对象或战利品被定位成靠近所述车辆必须避开的虚拟对象或现实对象，诸如虚拟人、障碍物、标牌或其他车辆。

79.一种车辆，其包括根据权利要求1-78中限定的数据融合系统。

80.一种开发、改善或测试车辆的方法，其中所述车辆包括根据权利要求1-78中限定的数据融合系统，并且将虚拟对象、事件或条件添加到由所述数据融合系统处理的所述虚拟世界中，以测试所述车辆如何响应那些虚拟对象、事件或条件。

81.一种使用权利要求1-78中的权利要求限定的方法已开发、改善或测试的车辆。

游戏或娱乐系统

82.一种游戏或娱乐系统，所述系统生成图像，所述图像显示包括根据上述权利要求1-78中限定的数据融合系统的车辆或根据权利要求79或81中限定的车辆、或以其他方式以所述车辆为特征。

83.根据权利要求82所述的游戏或娱乐系统，其中AV或人类驾驶的现实世界车辆，或AI辅助的人类驾驶的现实世界车辆，在现实世界驾驶区域中比赛；并且存在(i)该现实世界驾驶区域的虚拟世界表示、以及(ii)与所述现实世界车辆比赛的虚拟车辆，并且其中所述现实世界车辆对所述虚拟车辆做出反应，就好像所述虚拟车辆存在于所述现实世界中一样，并且所述虚拟车辆对所述现实世界车辆做出反应，就好像所述现实世界车辆存在于所述虚拟世界中一样。

84.根据权利要求82-83所述的游戏或娱乐系统，其中在现实世界驾驶区域以及该现实世界驾驶区域的虚拟世界表示中存在现实世界全尺寸车辆，并且其中所述现实世界车辆对来自模拟器中的用户或佩戴AR或VR耳机的用户的控制输入做出反应。

85.根据权利要求82-84所述的游戏或娱乐系统，其中自驾驶汽车与安全地位于驾驶员在环路中的模拟器内的电子竞技明星控制的虚拟汽车竞争。

86.根据权利要求82-85所述的游戏或娱乐系统，其中具有增强现实显示器的人类驾驶员与安全地位于驾驶员在环路中的模拟器内的电子竞技明星控制的虚拟汽车竞争。

87.根据权利要求82-86所述的游戏或娱乐系统，其中模拟器中的电子竞技驾驶员在各种控制抽象级别上直接控制物理汽车；操作、战术和战略取决于通信等待时间。

88.根据权利要求82-86所述的游戏或娱乐系统，其中多种机械类似的比赛车辆相互竞争，从而以最佳方式对供应给每种车辆的相同的新虚拟数据做出反应，其中每种比赛车辆具有不同的控制系统或用于那些控制系统的软件子系统。

89.根据权利要求88所述的游戏或娱乐系统，其中所述虚拟数据包括：呈现或提供要与来自所述车内传感器中的一些或全部车内传感器的数据融合的数据的事件、条件或对象中的一个或多个，使得所述车内传感器就好像所述事件、条件或对象是真实现实世界事件、条件或对象一样做出反应。

90.根据权利要求88-89所述的游戏或娱乐系统，其中所述虚拟数据包括呈现给现实世界车辆控制系统的事件、条件或对象中的一个或多个，就好像所述事件、条件或对象是由所述车内传感器中的一些或全部车内传感器检测到的真实事件、条件或对象一样。

91.根据权利要求88-90所述的游戏或娱乐系统，其中所述虚拟数据包括事件、条件或对象中的一个或多个，所述事件、条件或对象被添加以测试所述现实世界车辆控制系统如何有效地对所述事件、条件或对象做出反应。

92.根据权利要求88-91所述的游戏或娱乐系统，其中所述虚拟数据包括所述车辆必须避开的对象，诸如虚拟人、锥、障碍物、标牌、建筑物或其他车辆。

93.根据权利要求88-92所述的游戏或娱乐系统，其中所述虚拟数据包括所述车辆必须做出反应的对象和/或条件，诸如雨、雾、冰、不平坦的道路表面。

94.根据权利要求88-93所述的游戏或娱乐系统，其中所述虚拟数据包括所述车辆必须通过的对象或战利品，诸如路线路径、交叉口、入口和出口。

95.根据权利要求88-94所述的游戏或娱乐系统，其中所述虚拟数据包括所述车辆必须通过以在比赛、游戏或竞赛中获得积分的对象或战利品。

96.根据权利要求88-95所述的游戏或娱乐系统，其中所述虚拟数据包括所述车辆必须通过以在比赛、游戏或竞赛中获得积分的对象或战利品，并且这些对象或战利品被定位成靠近所述车辆必须避开的虚拟对象或现实对象，诸如虚拟人、障碍物、标牌或其他车辆。

97.根据权利要求88-96所述的游戏或娱乐系统，其中所述虚拟数据包括用于形成媒体娱乐的一部分的对象和/或条件，诸如电子竞技流、电视、游戏、影片。

98.根据权利要求88-97所述的游戏或娱乐系统，其中以所述车辆为特征的事件的参观者、观察者、参与者或控制者能够在显示器上既观察所述现实世界车辆又观察所述虚拟世界中生成的任何对象，诸如所述车辆所交互的对象或条件。

99.根据权利要求88-98所述的游戏或娱乐系统，其中以所述车辆为特征的事件的参观者、观察者、参与者或控制者能够在诸如增强现实耳机或眼镜的显示器上既观察所述现实世界车辆又观察所述虚拟世界中生成的任何对象，诸如所述车辆所交互的对象或条件。

100.根据权利要求88-99所述的游戏或娱乐系统，其中以所述车辆为特征的事件的参观者、观察者、参与者或控制者能够在融合的现实世界和虚拟世界中导航以改变他们对该融合的世界的观察。

101.根据权利要求88-100所述的游戏或娱乐系统，其中参观者、观察者、参与者或控制者能够在融合的现实世界和虚拟世界中导航以改变对他们正在观看、拍摄或记录或流式传输的融合的世界的观察。

102.根据权利要求88-101所述的游戏或娱乐系统，其中以所述车辆为特征的事件的参观者、观察者、参与者或控制者能够在所述虚拟世界中添加或控制下列项中的任何一个或多个：(a)为了测试所述现实世界控制系统如何有效地对所述对象做出反应而添加的对象；(b)所述车辆必须避开的对象，诸如虚拟人、障碍物、标牌或其他车辆。

103.根据权利要求88-102所述的游戏或娱乐系统，其中以所述车辆为特征的事件的参观者、观察者、参与者或控制者能够在所述虚拟世界中添加或控制所述车辆必须通过的对象，诸如路线路径、入口和出口。

104.根据权利要求88-103所述的游戏或娱乐系统，其中以所述车辆为特征的事件的参观者、观察者、参与者或控制者能够在所述虚拟世界中添加或控制所述车辆必须通过以在比赛、游戏或竞赛中获得积分的对象或战利品。

105.根据权利要求88-104所述的游戏或娱乐系统，其中以所述车辆为特征的事件的参观者、观察者、参与者或控制者能够在所述虚拟世界中添加或控制所述车辆必须通过以在比赛、游戏或竞赛中获得积分的对象或战利品，并且这些对象或战利品被定位成靠近所述车辆必须避开的虚拟对象或现实对象，诸如虚拟人、障碍物、标牌或其他车辆。