CN109643125A

CN109643125A - 用于训练自动驾驶系统的逼真的3d虚拟世界创造与模拟

Info

Publication number: CN109643125A
Application number: CN201780052492.0A
Authority: CN
Inventors: 丹·阿特斯蒙
Original assignee: Koniata Co Ltd
Current assignee: Koniata Co Ltd
Priority date: 2016-06-28
Filing date: 2017-05-29
Publication date: 2019-04-16
Anticipated expiration: 2037-05-29
Also published as: US20190228571A1; EP3475778C0; CN115686005A; EP3475778A1; WO2018002910A1; US20200098172A1; US10489972B2; EP3475778A4; US11417057B2; CN109643125B; EP3475778B1; US20220383591A1

Abstract

一种创建用于训练一自动驾驶系统的一地理区域的一模拟逼真的虚拟模型的计算机执行方法，包括：获得一地理区域的地理地图数据；获得所述地理区域的视觉图像数据；将在所述视觉图像数据中识别的多个静态物品分类为相应的多个标签，以指定多个标记物件；将所述多个标记物件叠加在所述地理地图数据上；通过对所述多个标记物件中的每一个合成一相应的视觉纹理，产生模拟所述地理区域的一虚拟三维(3D)逼真的模型；以及将所述逼真的模型的合成3D成像馈送注入到所述自动驾驶系统的成象传感器的输入端，所述自动驾驶系统控制在所述逼真的模型中一模拟载具的运动，其中所述合成3D成像馈送是被产生用以从安装在所述模拟载具上的模拟成象传感器的观点描绘所述逼真的模型。

Description

用于训练自动驾驶系统的逼真的3D虚拟世界创造与模拟

背景技术

在本发明的一些实施例中，本发明涉及创建地理区域的模拟模型，更具体地但非排他地，涉及创建地理区域的模拟模型，可选地包括运输交通以生成用于训练自动驾驶系统的模拟知觉的数据。

自主载具的舞台，无论是地面载具、空中载具和/或海上载具，都见证了近年来的巨大演变。主要资源投资于自主载具技术，因此这个领域正朝着为多种应用(例如，运输、工业、军事用途等)部署自主载具的目标快速前进。

自主载具涉及多个科目，其针对在自主载具的开发中出现的多个挑战。然而，除了自主载具的设计及开发之外，还需要多个及多样化的支援生态系统用来训练、评估和/或验证控制自主汽车的自动驾驶系统。

发明内容

根据本发明的第一方面，提供了一种创建用于训练一自动驾驶系统的一地理区域的一模拟逼真的虚拟模型的计算机执行方法，所述计算机执行方法包括：

-获得一地理区域的地理地图数据；

-获得所述地理区域的视觉图像数据；

-将在所述视觉图像数据中识别的多个静态物品分类为相应的多个标签，以指定多个标记物件；

-将所述多个标记物件叠加在所述地理地图数据上；

-通过对所述多个标记物件中的每一个合成一相应的视觉纹理，产生模拟所述地理区域的一虚拟三维(3D)逼真的模型；以及

-将所述逼真的模型的合成3D成像馈送注入到所述自动驾驶系统的一个或多个成象传感器的一输入端，所述自动驾驶系统控制在所述逼真的模型中一模拟载具的运动，所述合成3D成像馈送是被产生用以从安装在所述模拟载具上的一个或多个模拟成象传感器的观点描绘所述逼真的模型。

使用所述模拟虚拟逼真的模型训练所述自动驾驶系统可以允许显着的可伸缩性，因为可以容易地针对多个地理位置模拟多个不同的乘坐场景。所述自动驾驶系统的训练、评估和/或验证可以通过执行所述模拟虚拟逼真的模型的一自动系统自动完成。此外，可以针对多个地理区域、各种条件和/或各种场景进行训练、评估和/或验证，而无需移动现实世界中的真实载体。另外，可以针对多个地理区域、各种条件和/或各种场景同时进行自动训练、评估和/或验证。这可以显着减少用于训练、评估和/或验证所述自动驾驶系统的资源，例如，时间、硬件资源、人力资源等。此外，使用所述模拟虚拟逼真的模型训练所述自动驾驶系统可以显着降低风险，因为所述过程是在一虚拟环境中进行的。使用现有用于训练所述自动驾驶系统的方法可能发生的损害、事故甚至生命损失可以被完全地防止及避免。

根据本发明的第二方面，提供了一种创建用于训练一自动驾驶系统的一地理区域的一模拟逼真的虚拟模型的系统，所述系统包括一个或多个处理器适于执行代码，所述代码包括：

-多个代码指令用以获得一地理区域的地理地图数据；

-多个代码指令用以获得所述地理区域的视觉图像数据；

-多个代码指令用以将在所述视觉图像数据中识别的多个静态物品分类为相应的多个标签，以指定多个标记物件；

-多个代码指令用以将所述多个标记物件叠加在所述地理地图数据上；

-多个代码指令用以通过对所述多个标记物件中的每一个合成一相应的视觉纹理，产生模拟所述地理区域的一虚拟三维(3D)逼真的模型；

-多个代码指令用以将所述逼真的模型的合成3D成像馈送注入到所述自动驾驶系统的一个或多个成象传感器的一输入端，所述自动驾驶系统控制在所述逼真的模型中一模拟载具的运动。所述合成3D成像馈送是被产生用以从安装在所述模拟载具上的一个或多个模拟成象传感器的观点描绘所述逼真的模型。

在所述第一和/或第二方面的另一实施形式中，使用以下多个实现方法中的一个或多个来完成所述合成：

-应用一个或多个条件生成对抗神经网络(cGAN)将所述多个标记物件中的一个或多个的一标签变换为一各自的视觉纹理；

-从所述视觉图像数据中提取多个标记物件中的一个或多个的所述视觉纹理；

-从一存储库检索多个标记物件中的一个或多个的所述视觉纹理，所述存储库包括多个静态物件的多个纹理图像。

使用一个或多个合成实现方法可以允许为在所述地理区域中检测到的每一个标记物件选择最合适的技术，以创建物体的一真实且高度逼真的外观。

在所述第一和/或第二方面的另一实施形式中，所述合成3D成像馈送被注入到所述自动驾驶系统的一物理输入端，所述自动驾驶系统适于接收至少一个或多个成象传感器的输入。使用所述自动驾驶系统的本地物理接口可以显着减少和/或完全避免调整所述自动驾驶系统以支持所述模拟虚拟逼真的模型的需要。

在所述第一和/或第二方面的另一实施形式中，所述自动驾驶系统以一计算机软件程序来执行。使用一个或多个虚拟驱动程序来注入所述合成3D成像数据，所述虚拟驱动程序模拟所述一个或多个成象传感器的一馈送。使用所述自动驾驶系统的所述本机软件接口可以显着减少和/或完全避免调整所述自动驾驶系统以支持所述模拟虚拟逼真的模型的需要。

在所述第一和/或第二方面的一可选的实施形式中，根据所述一个或多个模拟成象传感器的一能见度性能的一分析来调整所述一个或多个成象传感器的一个或多个安装属性，所述一个或多个模拟成象传感器模拟所述一个或多个成象传感器。所述多个安装属性可以包括例如，一模拟载具的定位、一视场(FOV)、一分辨率及一具有一个或多个相邻成象传感器的一重叠区域。所述模拟成象传感器可以安装在所述模拟载具上，类似于在所述真实载具上的所述真实成象传感器的安装。因此，可以在所述模拟虚拟模型中容易地实现的所述多个模拟成象传感器的性能的探索、评估和/或考核可以直接应用于所述真实成象传感器。因此，可以提供包括成象传感器特性、模型和/或能力的安装建议以改善所述真实成像传感器的性能。

在所述第一和/或第二方面的一可选的实施形式中，一知觉的测距数据馈送模拟，其模拟通过安装在所述模拟载具上的一个或多个模拟距离传感器所产生的一知觉的测距数据馈送。使用应用在一个或多个噪声图的一模拟测距模型来模拟所述知觉的测距数据馈送，所述一个或多个噪声图与通过一个或多个模拟距离传感器所模拟的一个或多个距离传感器相关。这可以进一步增强所述虚拟逼真的模型以包含所述知觉的测距数据馈送，其可以是所述自动驾驶系统用以识别所述载具周围环境并相应地控制所述自主载具的一必要馈送。

在所述第一和/或第二方面的一可选的实施形式中，所述一个或多个噪声图根据在所述逼真的模型中所模拟的多个物件中的一个或多个的一个或多个物件属性来调整。所述噪声图可以应用于为所述虚拟逼真的模型创建的所述测距模型，以增加所述模型的所述多个逼真的特征。产生所述模拟的知觉的测距数据可以基于例如从所述地理地图数据、所述视觉图像数据和/或其他数据源所提取的高度准确的测距信息。然而，真实世界知觉的测距数据可能远不那么准确。为了用一逼真的知觉的测距数据馈送来馈送自动驾驶系统，对现实世界随时间学习的典型噪声图可以被应用于所述模拟的知觉的测距数据。

在所述第一和/或第二方面的一可选的实施形式中，所述一个或多个距离传感器的一距离精度性能的分析来调整所述一个或多个距离传感器的一个或多个安装属性。所述多个安装属性可以包括，例如，一模拟载具的定位、一FOV、一范围及一具有至少一个相邻距离传感器的一重叠区域。所述模拟距离传感器可以安装在所述模拟载具上，类似于所述真实距离传感器在所述真实载具上的安装。因此，可在所述模拟虚拟模型中容易实现的所述多个模拟距离传感器的性能的探索、评估和/或考核可直接应用于真实的距离传感器。因此，可以提供包括距离传感器特性，模型和/或能力的安装建议以改善实际距离传感器的性能。

在所述第一和/或第二方面的一可选的实施形式中，将一个或多个动态物件插入到所述逼真的模型中。所述动态对象可以包括，例如，一地面载具、一空中载具、一海上载具、一行人、一动物、一植物及一动态改变道路基础设施物件。这可以允许创建用于训练，评估和/或验证自动驾驶系统的多个驾驶场景。所述驾驶场景可以模拟真实世界的交通、道路基础设施、行人、动物、植物和/或类似物。

在所述第一和/或第二方面的一可选的实施形式中，应用多个驾驶员行为分类中的一个或多个来控制至少一个模拟地面载具的一运动，例如所述地面载具。根据地理区域中确定的典型的驾驶行为模式分析，驾驶员行为分类适用于地理区域，根据对应于地理区域中的一个或多个驾驶员行为分类的驾驶员原型的重现，根据为地理区域计算的密度函数选择一个或多个驾驶员行为分类。使所述模拟载具的移动适应所述地理区域的典型驾驶类别及模式可以显着增强所述地理区域的逼真和/或真实模拟。

在所述第一和/或第二方面的一可选的实施形式中，拟运动数据被注入到所述自动驾驶系统。所述模拟运动数据通过与所述模拟载具相关的一个或多个模拟运动传感器模拟。所述模拟运动数据包括一个或多个运动参数，例如，一速度参数、一加速参数、一方向参数、一定向参数及一高度参数。这可以通过包括可以用作所述自动驾驶系统的主一要馈送的所述知觉的运动数据馈送来进一步增强所述虚拟逼真的模型以模拟真实世界地理区域。

在所述第一和/或第二方面的一可选的实施形式中，模拟运输数据被注入自动驾驶系统。所述模拟运输数据包括在模拟载具与一个或多个其他实体之间的载具到任何东西(V2X)通信。这可以通过包括可以用作自动驾驶系统的主要馈送的传输数据馈送来进一步增强虚拟逼真的模型以模拟真实世界地理区域。

在所述第一和/或第二方面的一可选的实施形式中，所述合成成像数据根据一个或多个环境特征进行调整，例如，一照明条件、一天气状况属性及一时间属性。这可以进一步增加调节所述虚拟逼真模型的能力，以模拟各种环境条件，以在多个场景及条件中训练、评估和/或验证所述自动驾驶系统的操作。

在所述第一和/或第二方面的另一实施形式中，所述地理地图数据包括由一二维(2D)地图、一3D地图、一正射影像地图、一高程图及一详细地图，所述详细地图包括对存在于所述地理区域中的多个物件的物件描述。使用多个不同的地图数据源可以支持创建模拟地理区域的一准确和/或高度详细的虚拟模型。

在所述第一和/或第二方面的另一实施形式中，所述视觉图像数据包括一个或多个图像，所述图像是由一地平面图像、一航拍图像及一卫星图像所组成的一组的成员，其中所述一个或多个图像是一2D图像或一3D图像。使用多个不同的视觉图像数据项目可以支持创建模拟地理区域的一准确和/或高度详细的虚拟模型。

在所述第一和/或第二方面的另一实施形式中，所述多个静态物件中的每一个是由一道路、一道路基础设施物件、一交叉路口、一建筑物、一纪念碑、一结构、一自然物及一地形表面所组成的一组中的一成员。这可以允许关注可能对训练、评估和/或验证所述自动驾驶系统特别感兴趣的交通、运输和/或道路基础设施元件。

在所述第一和/或第二方面的另一实施形式中，所述一个或多个成象传感器是由一相机、一摄像机、一红外摄像机及一夜视传感器所组成的一组的成员。所述虚拟逼真的模型可以支持多个不同的成象传感器的模拟，以允许训练、评估和/或验证多个自动驾驶系统，其可以适于接收各种和/或不同的知觉的成像数据馈送。

根据本发明的第三方面，提供了一种创建用于训练一自动驾驶系统的一现实世界场景的一模拟测距模型的计算机执行方法，所述计算机执行方法包括：

-获得到存在于一现实世界场景中的多个物件的实际测距数据；

-从描绘所述现实世界场景的多个距离传感器获得知觉的测距数据。所述多个距离传感器中的每一个与指示所述每一个距离传感器的一定位的定位数据相关，所述定位数据是从与所述每一个距离传感器相关的一个或多个定位传感器所获得；

-分析根据所述定位数据来调整的所述知觉的测距数据，相对于所述实际测距数据，以识别至少一个噪声图，所述噪声图通过所述多个距离传感器中的一个或多个来展示测量精度劣化；

-以一个或多个噪声图更新一测距模型以产生用于训练一自动驾驶系统的逼真的模拟测距数据。

使用在多个地理区域、场景和/或位置所收集的大量真实世界知觉的测距数据可以允许产生与距离传感器和/或在场景中存在的物件相关的显着精确的多个噪声图。然后，所述多个噪声图可以用来增强一虚拟逼真的模型，其以在训练、评估和/或验证会话期间注入到所述自动驾驶系统的一逼真的知觉的测距馈送来复制一真实世界地理区域。

在所述第三方面的另一实施形式中，所述实际测距数据由一个或多个来源所提供，例如，一现实世界测量、一基于地图的计算及一基于现实世界场景的至少一个图像的图像处理的计算。这可以允许获得场景中存在的多个物件的准确测距信息。

在所述第三方面的另一实施形式中，所述多个距离传感器包括，例如，一LIDAR传感器、一雷达、一相机、一红外摄像机及一超声传感器。所述虚拟逼真的模型可以支持多个不同的距离传感器的模拟，以允许训练、评估和/或验证多个自动驾驶系统，其可以适于接收不同的知觉的测距数据。

在所述第三方面的另一实施形式中，一个或多个定位传感器包括，例如，一全球定位系统(GPS)传感器、一陀螺仪、一加速计、一惯性测量单元(IMU)传感器及一高度传感器。定位信息对于建立从所述多个距离传感器所收集的所述真实知觉的测距数据的一参考是必不可少的。支持多种不同类型的运动传感器可以允许改进的(更准确的)处理及分析所收集的知觉的测距数据。

在所述第三方面的一可选的实施形式中，所述定位数据包括运动数据，所述运动数据包括与所述相关的每一个距离传感器的一个或多个运动参数，例如，一速度参数、一加速参数、一方向参数、一定向参数及一高度参数。运动信息的可用性还可以显着提高所述收集的知觉的测距数据的准确性。载具的运动可能影响安装在所述相关载具上的距离传感器的读数，因此处理及分析所述知觉的测距数据相对于所述运动数据可以提高所述收集的测距数据的准确性，这可能最终导致产生更准确的噪声图。

在所述第三方面的另一实施形式中，所述分析是使用至少一个机器学习算法所进行的一基于统计的预测分析，所述机器学习算法，例如，一神经网络及一支持向量机(SVM)。将机器学习算法应用于大量的知觉的数据可以显着改善与所述距离传感器和/或在现实世界场景中检测到的物件和/或物件类型相关的所述多个噪声图的特性。

在所述第三方面的另一实施形式中，所述一个或多个噪声图包括一个或多个噪音特征，例如，一噪声值、一失真值、一延迟值及一校准偏移值。所述噪声图可以描述源自所述距离传感器本身和/或场景中所述多个物体的特征的多个噪音特征。识别所述多个噪音特征，特别是使用所述机器学习算法来检测所述多个噪音特征，可以显着提高所述多个噪声图的准确性，这可以进一步改善所述虚拟逼真的模型。

在所述第三方面的一可选的实施形式中，所述知觉的数据的分析是根据在获取所述知觉的测距数据期间所检测到的一个或多个环境特征来完成。所述环境特征包括，例如，一天气状况属性及一时间属性。环境条件可能会影响所述知觉的测距数据，因此在获取所述知觉的测距数据时，可以进一步提高所识别的噪声图的准确度，从而分析所收集的知觉的测距数据与所述场景的环境条件。

在所述第三方面的一可选的实施形式中，根据所述多个物件中的一个或多个的一个或多个物件属性来调整所述一个或多个噪声图，所述一个或多个物件属性影响所述每一个距离传感器所产生的所述测距数据，所述一个或多个物件属性是由一外表面纹理、一外表面纹理组成及一外表面材料所组成的一组的成员。场景中所述多个物见的特征，特别是物件的外部特征可能影响所述知觉的测距数据，因此分析所收集的知觉的测距数据相对于所述物件的特征可以进一步增加所识别的噪声图的准确性。

在所述第三方面的另一实施形式中，从为所述现实世界场景所产生的合成3D成像数据中提取所述一个或多个物件属性。从所述合成3D成像数据中提取所述物件特征可以相对容易，因为所述场景中的所述物件被识别并且可以根据预定规则与其特征相关联。

在所述第三方面的另一实施形式中，从与所述现实世界场景相关的一元数据记录中检索所述一个或多个物件属性。类似物件的属性可以多个地理区域和/或多个现实世界场景之间变化。因此，从预定义记录中检索物件属性可以允许将物件与它们在相应场景中找到的典型属性相关联，以进一步改进特定地理区域、位置和/或现实世界场景的特征。

根据本发明的第四方面，提供了一种根据一地理区域训练一驾驶员行为模拟器的计算机执行方法，所述计算机执行方法包括：

-获得由多个传感器组所产生的知觉的数据，所述多个传感器组安装在一地理区域中通过多个驾驶员所驾驶的多个载具上，所述传感器组包括至少一个运动传感器；

-分析所述知觉的数据以识别多个运动模式，所述多个运动模式指示通过多个驾驶员所展示的多个驾驶员行为模式；

-根据对所述每一个驾驶员所检测到的所述多个驾驶员行为模式中的其中一个，将所述多个驾驶员中的至少一些驾驶员分类为多个驾驶员行为分类中的其中一个；

-基于在所述地理区域中检测到的所述多个驾驶员行为分类中的每一个的一重现来计算与所述地理区域相关的一驾驶员行为密度函数；

-用所述多个驾驶员行为分类及所述驾驶员行为密度函数来更新一驾驶员行为模拟器，以产生用于训练一自动驾驶系统适于的所述地理区域的逼真的驾驶行为数据。

通过分析在特定地理区域处收集的大量真实世界知觉的数据来检测驾驶行为模式及类别可以允许表征某些地理区域、区域和/或类似的驾驶行为。使用所识别的驾驶行为模式及类别来增强所述虚拟逼真的模型可以允许将所述虚拟逼真的模型适于让对于特定地理区域、区域和/或场景的所述虚拟逼真的模型高度逼真。

在所述第四方面的另一实施形式中，所述一个或多个运动传感器包括，例如，一全球定位系统(GPS)传感器、一陀螺仪、一加速计、一惯性测量单元(IMU)传感器及一高度传感器。从所述运动和/或定位传感器所收集的知觉的运动和/或定位数据可以表示所述多个载具的运动。因此，分析所述知觉的运动和/或定位数据可以允许识别在监控的地理区域中展示的所述驾驶行为模式及类别。

在所述第四方面的另一实施形式中，所述分析是通过一进化学习算法使用至少一个机器学习算法所进行的一基于统计的预测分析，所述机器学习算法是由一神经网络及一支持向量机(SVM)所组成的一组的成员。将机器学习算法应用于大量知觉的数据可以显着改善在特定地理区域中所识别的驾驶行为模式和/或类别的特征。

在所述第四方面的另一实施形式中，所述多个驾驶员行为模式中的每一个包括一个或多个运动参数，例如，一速度参数、一加速参数、一破坏参数、一方向参数及一定向参数。所述驾驶行为模式可以描述多个运动参数。识别所述多个运动参数，特别是使用所述机器学习算法来检测所述多个运动参数，可以显着提高所述检测到的驾驶行为模式的准确性和/或粒度，这可以进一步改善所述虚拟逼真的模型。

在所述第四方面的一可选的实施形式中，所述知觉的数据的分析是根据在获取所述知觉的数据期间所检测到的一个或多个环境特征来完成，例如，一天气状况属性及一时间属性所。当然，所述多个驾驶员所表现出的驾驶行为可能会受到所述多个环境特征的影响。因此，针对在所述地理区域(场景)处检测到的所述多个环境条件来分析所所述收集的知觉的测距数据可以进一步提高所识别的驾驶行为模式的准确性。

在所述第四方面的一可选的实施形式中，所述知觉的数据的所述分析包括分析从一个或多个外面的传感器所接收的附加的知觉的数据，所述一个或多个外面的传感器包括在所述多个传感器组中的一个或多个。所述一个或多个外面的传感器从与所述一个或多个传感器组相关的所述多个载具中的其中一个的观点来描绘所述地理区域。以测距数据来增强所述收集的知觉的运动和/或定位数据，可以显着改善在所述地理区域中所检测到的所述驾驶员原型的特征。

在所述第四方面的另一实施形式中，所述一个或多个外面的传感器包括，例如，一相机、一夜视相机、一LIDAR传感器、一雷达及一超声传感器。使用从多个不同的距离传感器所收集的知觉的数据可以允许在分析知觉的测距数据时具有更大的灵活性。

在所述第四方面的一可选的实施形式中，基于所述附加的知觉的数据的所述分析来增强所述多个驾驶员行为模式中的一个或多个。所述一个或多个增强的驾驶员行为模式包括一个或多个附加的驾驶特征，例如一尾随特征、一排队位置特征及一并排停车倾向特征。增强所述驾驶员行为模式可以允许一更准确地表征在所述地理区域中所检测到的所述驾驶员原型，并且因此可以改善使用所述虚拟逼真的模型所创建的所述模拟。

除非另外定义，否则本文使用的所有技术和/或科学术语具有与本发明所属领域的普通技术人员通常理解的含义相同的含义。尽管与本文描述的那些类似或等同的方法和材料可用于实践或测试本发明的实施方案，但下文描述了示例性方法和/或材料。如有冲突，将控制专利说明书，包括定义。另外，材料，方法和实施例仅是说明性的，并非旨在限制。

本发明的实施例的方法和/或系统的实现可以涉及手动，自动或其组合地执行或完成所选任务。此外，根据本发明的方法和/或系统的实施例的实际仪器和设备，可以通过硬件，软件或固件或使用操作系统的组合来实现若干所选任务。

例如，根据本发明实施例的用于执行所选任务的硬件可以实现为芯片或电路。作为软件，根据本发明实施例的所选任务可以实现为由计算机使用任何合适的操作系统执行的多个软件指令。在本发明的示例性实施例中，根据本文描述的方法和/或系统的示例性实施例的一个或多个任务由数据处理器执行，例如用于执行多个指令的计算平台。可选地，数据处理器包括用于存储指令和/或数据的易失性存储器和/或用于存储指令和/或数据的非易失性存储器，例如磁性硬盘和/或可移动介质。可选地，还提供网络连接。还可选地提供显示器和/或用户输入设备，例如键盘或鼠标。

附图说明

仅通过举例的方式，本文中参考附图描述了本发明的一些实施例。现在具体参考附图，要强调的是，所示的细节是作为示例并且出于说明性讨论本发明的实施例的目的。在这方面，通过附图进行的描述使得本领域技术人员清楚如何实施本发明的实施例。

在附图中：

图1是根据本发明的一些实施例的创建一地理区域的一模拟虚拟模型的一示例性过程的一流程图。

图2A及图2B是根据本发明的一些实施例的用于创建一地理区域的一模拟虚拟模型的一系统的一示例性实施例的一示意图。

图3是根据本发明的一些实施例的训练一驾驶员行为模拟器用于一特定地理区域的一示例性过程的一流程图。

图4是根据本发明的一些实施例的创建一地理区域的一测距知觉的模型的一示例性过程的一流程图。

具体实施方式

在本发明的一些实施例中，本发明涉及创建一地理区域的一模拟模型，并且，更具体地但非限制地，涉及创建一地理区域的一模拟模型，可选地包括运输交通，以产生用于训练一自动驾驶系统的模拟知觉的数据。

根据本发明的一些实施例，提供了用于训练控制载具的一自动驾驶系统的方法、系统及计算机程序产品，例如使用模拟虚拟逼真的模型复制特定地理区域，在所述特定地理区域中具有一地面载具、空中载具和/或海上载具。创建模拟虚拟逼真的模型以模拟知觉的数据馈送，例如，可在训练期间注入自动驾驶系统的成像数据、测距数据、运动数据、传输数据等。通过获取所述地理区域的视觉图像数据来创建所述虚拟逼真的模型，例如，从地面、从空中和/或从卫星捕获的一个或多个2D和/或3D图像、全景图像和/或类似物。视觉图像数据可以从例如谷歌地球、谷歌街景、开放街道摄影机、必应地图等获得。

可以将一个或多个训练的分类器(分类函数)应用于所述视觉图像数据以识别图像中的一个或多个(目标)物件，特别是多个静态物件，例如，一道路、一道路基础设施、一交叉路口、一建筑物、一纪念碑、一结构、一自然物及一地形表面和/或类似物。分类器可以基于训练样本集将所识别的静态物件分类为类标签，所述训练样本集被调整用于对与目标物件相同类型的物件进行分类。所述多个识别的标记物件可以叠加在为地理获得的地理地图数据上，例如，一2D地图、一3D地图、一正射影像地图、一高程图及一详细地图和/或类似物，所述详细地图包括对存在于所述地理区域中的多个物件的物件描述。所述地理地图数据可以从例如谷歌地图、开放街道地图和/或类似地图获得。所述多个标记物件通过分析所述地理地图数据和/或所述视觉图像数据来创建地理区域的一标记模型来覆盖在所识别的相应位置、位置、方向、比例和/或类似物的地理地图上。使用一种或多种技术，例如，条件生成对抗神经网络(cGAN)、从原始视觉图像数据中检索的(标记物件的)缝合纹理、覆盖从存储库(存储)中选择的纹理图像、根据类别标签等，标记模型中的标记物件可以与(视觉)图像像素数据合成，以创建复制地理区域的模拟虚拟逼真的模型。可选地，根据一个或多个照明和/或环境(例如，天气、时间等)条件来调整虚拟逼真的模型，以模拟各种现实世界的环境条件和/或场景，特别是某些地理区域的典型环境条件。

在创建所述虚拟逼真的模型之后，可以创建合成3D成像数据并将其注入所述自动驾驶系统。特别地，所述合成3D成像馈送可以被产生，以从安装在虚拟逼真的模型中移动的模拟载具上的一个或多个模拟成象传感器的角度来描绘虚拟逼真的模型。所述模拟载具可以在所述虚拟逼真的模型中创建，以表示通过所述自动驾驶系统控制的一真实世界载具。类似地，所述模拟成象传感器模拟一个或多个成像传感器，例如，一相机、一摄像机、一红外摄像机及一夜视传感器，它们安装在由自动驾驶系统控制的现实世界载具上。此外，所述模拟成象传感器可以根据安装在现实世界载具上的成象传感器的一个或多个安装属性来创建、安装和/或定位在模拟载具上，例如，定位(例如，位置、方向、高度等)、FOV、距离、重叠区域与相邻传感器和/或类似物。在一些实施例中，可以针对所述模拟成象传感器调整安装属性中的一个或多个，以改善成象传感器的感知和/或捕获性能。基于对替代安装选项的捕获性能的分析，可以向自动驾驶系统提供一个或多个建议，用于调整安装在现实世界载具上的成象传感器的安装属性。替代安装选项还可以建议使用具有不同成像属性的另一成像传感器模型来评估成象传感器的捕获性能，即分辨率、FOV、放大率等。可选地，所述虚拟逼真的模型用创建的一知觉模型来增强，以模拟某个地理区域，特别是一知觉的测距模型。使用模拟测距模型，可以将一模拟的知觉的测距数据馈送注入自动驾驶系统。可以如安装在模拟载具上的一个或多个模拟距离传感器所描绘的那样生成模拟的知觉的测距数据，以模拟安装在现实世界载具上的一个或多个距离传感器，例如，一光检测及测距(LIDAR)传感器、一雷达、一超声传感器、一相机、一红外摄像机和/或类似物。所述模拟距离传感器可以根据现实世界距离传感器的一个或多个安装属性安装在所述模拟载具上，所述现实世界距离传感器安装在由自动驾驶系统控制的现实世界载具上，并且通过虚拟逼真的模型中的模拟载具所模拟。

由于地理地图数据以及视觉图像数据可用于某个地理区域，因此为某个地理区域创建的测距模型可能是高度准确的。然而，这种准确性可能无法代表真实距离传感器产生的真实世界知觉的测距数据。因此，所述知觉的测距模型可以应用所述虚拟逼真的模型中模拟的距离传感器的一个或多个典型和/或固有的噪声图。所述多个噪声图还可以包括通过所述地理区域中检测到的一个或多个对象引起的噪声效应。所述噪声图可描述一个或多个噪声特征，例如，噪声、失真、等待时间、校准偏移等。可以通过大数据集上的大数据分析和/或分析来识别噪声图，所述大数据集包括为地理区域和/或其他地理位置收集的多个真实世界距离传感器读数。可以使用一个或多个机器学习算法来完成所述大数据分析，例如，一神经网络，例如，一深度学习神经网络(DNN)、一高斯混合模型(GMM)等、一支持向量机(SVM)和/或类似物。可选地，为了更准确地模拟地理区域，可以根据地理区域中检测到的物体的一个或多个物体属性来调整噪声图，例如，一外表面纹理、一外表面纹理组成、一外表面材料和/或类似物。还可以根据一个或多个环境特征来调整噪声图，例如，天气、定时(例如，一天中的时间、日期)和/或类似情况。在一些实施例中，可以针对模拟距离传感器调整一个或多个安装属性以改善距离传感器的精确性能。

可选地，将一个或多个动态物件注入复制所述地理区域的所述虚拟逼真的模型中，例如，一地面载具、一空中载具、一海上载具、一行人、一动物、一植物和/或类似物。动态物件还可以包括多个动态改变道路基础设施，例如，一变光交通灯、一打开/关闭的轨道道路闸门和/或类似物。可以根据为特定地理区域预定义和/或学习的运动模式来控制一个或多个动态物体的运动。

特别地，可以根据从驾驶员行为模拟器接收的驾驶员行为数据来控制插入到虚拟逼真的模型中的一个或多个地面载具的移动。所述驾驶员行为数据可以根据所述特定地理区域中的多个驾驶员展示的一个或多个驾驶员行为模式和/或驾驶员行为分类来调整，即驾驶员行为模式和/或驾驶员行为分类对特定地理区域可能是典型的。可以通过对知觉的数据的大数据集进行大数据分析和/或分析来识别驾驶员行为分类，例如，从在地理区域中移动的多个驾驶员收集的知觉的运动数据、知觉的测距数据和/或类似物。知觉的数据可以包括例如速度、加速度、方向、定向、高度、空间保持、车道中的位置等。可以使用一个或多个机器学习算法，例如一神经网络(例如DNN、GMM等)、SVM和/或类似物来分析收集的知觉的数据以检测运动模式，其可以表示一个或多个驾驶员行为模式。驾驶员行为模式可能是地理区域的典型，因此，根据检测到的驾驶员行为模式，在所述地理区域中的驾驶员可以被分类为代表驾驶员原型的一个或多个驾驶员行为分类。可以根据为所述地理区域计算的一密度函数来进一步调整所述驾驶员行为数据，所述密度函数表示模拟地理区域中的所述驾驶员原型的分布。

可选地，模拟与模拟载具有关的附加数据并将其注入自动驾驶系统。模拟的附加数据可以包括，例如，呈现模拟载具的运动信息的知觉的运动数据，模拟模拟载具与一个或多个通信链路上的一个或多个其他实体的通信的传输数据，例如，载具到任何东西(V2X)和/或类似物。

可以使用自动驾驶系统的本地接口将模拟的知觉数据(例如成像数据、测距数据、运动数据和/或传输数据)注入自动驾驶系统。例如，在所述自动驾驶系统是具有一个或多个接口、端口、链路和/或类似物的单元的情况下，可以通过接口、端口和/或链路注入模拟的知觉的数据。另外和/或替代地，假设所述自动驾驶系统是计算机软件程序，可以使用一个或多个虚拟驱动程序来注入模拟的知觉的数据，例如，使用自动驾驶系统的应用程序编程接口(API)功能、为自动驾驶系统和/或训练系统和/或类似物提供的软件开发工具包(SDK)和/或类似物。

使用模拟一个或多个地理区域的所述模拟虚拟逼真的模型来训练自动驾驶系统，具体来说，一模拟虚拟逼真的模型用于模拟知觉的数据，例如成像数据、知觉的数据、运动数据和/或运输数据可能具有显着的优点。所述模拟虚拟逼真的模型可以进一步用于评估、验证和/或改进自动驾驶系统的设计。

目前，自动驾驶系统通常在现实世界条件下被设计、训练、评估及验证，其中通过自动驾驶系统控制的真实世界载具在现实世界地理区域中移动。这可能存在主要限制，因为可能需要累积极大量的驾驶时间以便适当地训练和/或评估自动驾驶系统。此外，通过自动驾驶系统控制的所述载具需要在多个地理位置被驾驶，这可能进一步限制训练、评估和/或验证过程的可扩展性。此外，所述自动驾驶系统可能需要针对多种环境条件进行评估和/或训练，例如，天气状况、定时条件、照明条件等，以及多个交通状况，例如，标准交通、高峰时段交通、休假时间交通等。这可以进一步限制训练、评估和/或验证过程的可扩展性。另外，其他载具的驾驶员行为可以相对于一个或多个条件而变化，例如，不同的地理区域、不同的环境条件、不同的交通条件和/或类似物。这也可能限制训练、评估和/或验证过程的可扩展性。当前存在的方法的有限可扩展性可能进一步由在多个乘坐场景中训练、评估和/或验证自动驾驶系统所需的大量资源产生，例如，时间、硬件资源、人力资源和/或类似物。

另一方面，使用模拟虚拟逼真的模型训练自动驾驶系统可以允许显着的可扩展性，因为可以容易地针对多个地理位置模拟多个不同的乘坐场景。训练，评估和/或验证过程可以由执行模拟虚拟逼真的模型的自动系统自动完成。此外，可以针对封闭设施中的多个地理区域、各种条件和/或各种场景来完成训练、评估和/或验证过程，而无需在现实世界中移动真实载体。另外，可以针对多个地理区域、各种条件和/或各种场景同时进行自动训练、评估和/或验证过程。这可以显着减少用于训练、评估和/或验证自动驾驶系统的资源，例如，时间、硬件资源、人力资源等。

此外，使用执行模拟虚拟逼真的模型的自动系统来训练、评估和/或验证自动驾驶系统可以显着降低风险，因为所述过程在虚拟环境中进行。使用现有的用于训练自动驾驶系统的方法可能发生的损害、事故甚至生命损失可以被完全防止和避免。

此外，自动驾驶系统可能需要无关紧要且通常没有适应性来使用模拟虚拟逼真的模型来支持训练、评估和/或验证。描绘模拟虚拟逼真的模型的所述模拟的知觉数据馈送可以通过自动驾驶系统使用的本地接口注入自动驾驶系统以接收真实知觉的数据。

在详细解释本发明的至少一个实施例之前，应当理解，本发明不一定限于其应用于以下描述中阐述的构造细节和组件和/或方法的布置和/或在附图和/或实施例中说明。本发明能够具有其他实施例或以各种方式实践或实施。

本发明可以是系统、方法和/或计算机程序产品。所述计算机程序产品可以包括计算机可读存储介质(或媒介)，其上具有计算机可读程序指令，用于使处理器执行本发明的各方面。

计算机可读存储介质可以是有形设备，其可以保留和存储指令以供指令执行设备使用。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任何合适组合。计算机可读存储介质的更具体示例的非详尽列表包括以下内容：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程读取器-仅存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字通用光盘(DVD)、记忆棒、软盘、机械编码装置，例如在其上记录有指令的凹槽中的穿孔卡或凸起结构，以及前述的任何合适的组合。这里使用的计算机可读存储介质不应被解释为暂时性信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤电缆的光脉冲)或通过电线传输的电信号。

本文描述的计算机可读程序指令可以经由网络从计算机可读存储介质或外部计算机或外部存储设备下载到相应的计算/处理设备，例如，因特网、局域网络、广域网络和/或无线网络。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或网络接口从网络接收计算机可读程序指令并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。

用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或源代码或对象。以一种或多种编程语言的任意组合编写的代码，包括诸如Smalltalk、C++等的面向对象的编程语言，以及诸如“C”编程语言或类似编程语言的传统过程编程语言。

计算机可读程序指令可以完全在用户的计算机上、部分在用户的计算机上、作为独立的软件包、部分地在用户的计算机上、部分地在远程计算机上或完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(LAN)或广域网络(WAN)，或者可以连接到外部计算机(用于例如，通过互联网使用互联网服务提供商)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以个性化电子电路为了执行本发明的各方面。

参照本文所描述的本发明的各方面根据本发明的实施例的流程图和/或、设备(系统)的方法的框图、和计算机程序产品。应当理解的是，流程图和/或框图，以及流程图图示和/或框图中块的组合中的每个方框可以通过计算机可读程序指令来实现。

附图中的流程图和框图显示了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。在这方面，流程图或框图中的每个框可以表示模块、段或指令的一部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代实施方式中，框中提到的功能可以不按图中所示的顺序发生。例如，连续示出的两个方框实际上可以基本上同时执行，或者这些方框有时可以以相反的顺序执行，这取决于所涉及的功能。还应注意，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以由执行特定功能或动作的专用基于硬件的系统来实现。执行专用硬件和计算机指令的组合。

现在参考附图，图1是根据本发明的一些实施例的创建地理区域的模拟模型的示例性过程的流程图。一过程100可以被执行以使用为复制地理区域而创建的一模拟虚拟3D模型来训练一特定地理区域中的一自动驾驶系统。通过获得所述地理区域的视觉图像数据来创建所述模拟虚拟逼真的模型，其可以由一个或多个训练的分类器处理以识别所述视觉图像数据中的一个或多个物件，特别是静态物件。所述识别的物体可以叠加在为所述地理区域获得的地理地图上以创建所述地理区域的一标记模型。根据类别标签和/或类似标记的模型，使用一种或多种技术，例如cGAN，从原始视觉图像数据中检索的(标记物件的)缝合纹理，覆盖从存储库中选择的纹理图像，可以合成以创建复制地理区域的虚拟3D逼真的模型。可选地，根据一个或多个照明和/或环境条件调整虚拟逼真的模型，以模拟各种现实世界的照明效果、天气条件、乘坐场景等。

在创建虚拟逼真的模型之后，可以创建合成3D成像数据并将其注入自动驾驶系统。特别地，所述合成3D成像数据可以被产生以从一个或多个模拟成象传感器(例如一相机、一红外摄像机、一摄像机、一夜视传感器等)的角度描绘虚拟逼真的模型，所述模拟成象传感器安装在模拟载具上，所述模拟载具在虚拟逼真的模型中移动，所述模型代表由自动驾驶系统控制的载具。

可选地，为所述地理区域模拟一测距模型，以在所述模拟虚拟逼真的模型中模拟一逼真的测距区域。

可选地，将一个或多个动态物体注入复制地理区域的虚拟逼真的模型中，例如，一地面载具、一空中载具、一海上载具、一行人、一动物、一植物和/或类似物。此外，可以根据通过地理区域中的载具移动的大数据分析所识别的多个驾驶员行为模式来控制插入虚拟逼真的模型的一个或多个地面载具的移动。

还请参考图2A及图2B，其是根据本发明的一些实施例的用于创建地理区域的模拟模型的系统的一示例性实施例的示意图。一示例性系统200A包括一模拟服务器201，所述模拟服务器201包括一输入/输出(I/O)接口202、一处理器204及一存储器206。所述I/O接口202可以提供一个或多个网络接口，有线和/或无线用于连接到一个或多个网络230，例如，一局域网络(LAN)、一广域网络(WAN)、一大都会区域网络(MAN)、一蜂窝网络和/或类似物。所述处理器204(同质的或异构的)可以被布置用于并行处理，作为簇和/或作为一个或多个多核处理器。所述存储器206可以包括一个或多个非暂时性永久存储设备，例如，一硬盘驱动器(HDD)、一固态盘(SSD)、一闪存阵列和/或类似物。所述存储器206还可以包括通过所述网络230可访问的一个或多个网络存储资源，例如，一网络连接存储(NAS)、一存储服务器、一云存储和/或类似物。所述存储器206还可以利用一个或多个易失性存储器设备，例如，一随机存取存储器(RAM)设备和/或类似物来临时存储代码和/或数据。处理器204可以执行一个或多个软件模块，例如，一进程、一脚本、一应用程序、一代理、一实用程序和/或类似物，其包括存储在诸如存储器206的一非暂时性介质中的多个程序指令。处理器204可以执行一个或多个软件模块，例如一模拟器210用于使用为复制一个或多个地理区域而创建的模拟模型来训练自动驾驶系统220、一测量模型生成器212用于创建地理区域的测量模型及一驾驶员行为模拟器214模拟地理区域中的驾驶员行为。可选地，所述模拟器210、所述测距模型生成器212和/或所述驾驶员行为模拟器214中的一个或多个集成在一单一软件模块中。例如，所述模拟器210可以包括所述测距模型生成器212和/或所述驾驶员行为模拟器214。所述模拟器210、所述距模型生成器212和/或所述驾驶员行为模拟器214可以通过网络230进行通信，以从一个或多个远程位置获取、检索、接收和/或收集数据，例如地理地图数据、视觉图像数据、知觉的数据和/或类似物。

可选地，所述模拟服务器201和/或其部分被实现为利用一个或多个云服务的基于云的平台，例如，云计算，云存储、云分析和/或类似物。此外，一个或多个软件模块，例如模拟器210，测距模型生成器212和/或驾驶员行为模拟器214可以实现为基于云的服务和/或平台，例如，软件即服务(SaaS)、平台即服务(PaaS)和/或类似物。

所述自动驾驶系统220可以包括一I/O接口，例如所述I/O接口202，一个或多个处理器，例如所述处理器240，以及一存储器，例如所述存储器206。所述自动驾驶系统220的I/O接口可以提供多个I/O和/或网络接口，用于连接到一个或多个外围设备，例如，传感器，诸如网络230之类的网络和/或类似物。特别地，所述自动驾驶系统220的所述I/O接口可以提供与一个或多个成像传感器、测距传感器、运动传感器、V2X通信链路、载具通信链路(例如，控制器区域网络(CAN)等)和/或类似物。

所述I/O接口202还可以包括适配和/或配置到自动驾驶系统220的I/O接口的本地I/O接口的一个或多个接口。例如，I/O接口202可以包括一个或多个输出链路，其符合自动驾驶系统220的I/O接口的一个或多个输入链路，这样成像数据馈送可以从模拟器系统201驱动到自动驾驶系统220。类似地，所述I/O接口202可以提供到自动驾驶系统220的连接以驱动知觉的测距数据、运动知识的数据、传输数据等。所述模拟服务器201与所述自动驾驶系统220之间的通信可以支持从模拟服务器201到自动驾驶系统220的双向通信，反之亦然。

所述自动驾驶系统220可以执行一个或多个软件模块，例如，用于控制载具的移动，导航等的一自动驾驶222，例如，一地面载具、一空中载具和/或一海上载具。

在一些实施例中，如系统200B所示，可以独立于自动驾驶系统220通过自动驾驶222促进自动驾驶系统220。自动驾驶222可以由一个或多个处理节点执行，例如，模拟服务器201，连接到网络230的另一个处理节点240和/或类似物。在这样的实现和/或部署中，由模拟服务器执行的一个或多个软件模块(例如，模拟器210)可以通过自动驾驶222的一个或多个软件接口与自动驾驶222通信，它们通常用于接收成像数据馈送、知觉的测距数据、运动知觉的数据、传输数据等。所述软件接口可以包括例如一虚拟驱动程序、一API函数、一系统调用、一操作系统功能和/或类似物。所述模拟器210与所述自动驾驶222之间的通信也可以使用为自动驾驶222和/或模拟器210提供的一个或多个SDK来建立。在所述自动驾驶222在一远程处理节点处执行的情况下，例如所述处理节点240，所述模拟器210及所述自动驾驶222可以使用所述软件接口彼此通信，这可以通过诸如所述网络230之类的网络中的一个或多个来促成。

如102所示，所述过程100开始于所述模拟器210获得一个或多个地理区域的地理数据，例如，一城市区域、一开放地形区域、一乡村侧区域和/或类似物。具体地，所述模拟器210获得用于训练自动驾驶系统的一地理区域的地理地图数据，例如自动驾驶系统220和/或自动驾驶，例如所述自动驾驶222。所述地理地图数据可以包括一2D地图、一3D地图、一正射影像地图、一高程图及一详细地图和/或类似物，所述详细地图包括对存在于所述地理区域中的多个物件的物件描述。所述地理地图数据可以从一个或多个地理地图源获得，例如，谷歌地图、开放街道地图和/或类似物。所述地理地图数据可以呈现位于地理区域中的一个或多个静态物件，例如，一道路、一道路基础设施物件、一建筑物、一纪念碑、一结构、一自然物、一地形表面和/或类似物。所述地理地图数据可包括例如道路宽度、结构轮廓、结构外形、结构尺寸(例如宽度、长度、高度)和/或类似物。所述模拟器210可以从所述存储器206和/或从可通过网络230访问的一个或多个远程位置来检索地理地图数据。

如104所示，所述模拟器210获得所述目标地理区域的视觉图像数据。视觉图像数据可包括一个或多个2D和/或3D图像，其从地面，从空中和/或从一卫星来描绘地理区域。所述模拟器210可以从存储器206和/或从可通过网络230访问的一个或多个远程位置检索地理地图数据。所述模拟器210可以从一个或多个视觉图像源获得视觉图像数据，例如谷歌地球、谷歌街景、开放街道摄影机等。

如106所示，所述模拟器210标记在图像数据中检测到的所述多个静态物件。所述模拟器210可以使用一个或多个计算机视觉分类器(分类函数)，例如，一卷积神经网络(CNN)、一SVM和/或类似物，用于将在视觉图像数据中检测到的静态物质分类为如本领域中已知的预定标签。特别地，分类器可以识别和标记视觉图像数据中描绘的目标静态物件，例如，一道路基础设施物件、一建筑物、一纪念碑、一结构、一自然物、一地形表面和/或类似物。所述道路基础设施物件可以包括，例如道路、道路肩、路面、交叉路口、交汇处、交通灯、行人交叉口和/或类似物。分类器通常可以训练有训练图像集，所述训练图像集适合于被定义为在图像数据中识别的目标静态物品，例如，道路基础设施物件、建筑物、纪念碑、结构、自然物、地形表面和/或类似物。为了改进概括并避免过度拟合，可以收集、构造、调整、增强和/或变换训练图像集以呈现各种类型、尺寸、视角、颜色和/或类似物的静态物品的特征。

可选地，在分析视觉图像数据以识别静态物体之前，模拟器210将噪声去除应用于视觉图像数据以去除不必要的物体，例如，载具、动物、植物和/或可能使目标静态物件(至少部分地)模糊不清的类似物。模拟器210还可以应用一个或多个图像处理算法来改善和/或增强图像数据中描绘的静态物体的可见性，例如，调整图像亮度、调整图像颜色方案、调整图像对比度等。

如108所示，所述模拟器210将标记的静态物件叠加在所述地理地图数据上，例如，地理地图，以创建地理区域的一标记模型。所述模拟器210可以在通过分析地理地图数据和/或视觉图像数据所识别的相应位置、定位、定向、比例和/或类似物的地理地图上覆盖、配合、对准、调整和/或类似标记物件。模拟器210可以将在视觉图像数据中检测到的每个标记的静态物质与从地理地图数据和/或视觉图像数据中提取的一个或多个定位属性相关联，例如，位置、定位、高度、定向、比例和/或类似物。使用定位属性，模拟器210可以在地理地图中定位(即，定位、定向、对齐、调整、操纵等)标记的静态物品。因此，所得到的标记模型可以复制真实世界地理区域，使得标记物件根据现实世界的位置，位置、定位、高度、定向和/或类似物精确地放置和/或定位。模拟器210可以进一步创建与标记模型集成的高程模型。

如110所示，模拟器210合成标记的模型以将(视觉)图像像素数据分配给标记模型中的每个标记的静态物体，以创建复制地理区域的虚拟3D视觉逼真场景。模拟器210可以应用一种或多种方法、技术和/或实现来合成标记的场景。

在一个实现中，模拟器210可以使用一种或多种机器学习方法，技术和/或算法，例如，一cGAN等来合成标记物件中的一个或多个。如本领域中已知的，所述cGAN可以被训练为应用多个视觉数据变换，例如，像素到像素、标签到像素和/或类似物。因此，所述cGAN可以为每个标签生成视觉外观图像(例如，一个或多个图像)，其对标记模型中的静态物件进行分类。可以训练cGAN以执行分类器的反向操作(分类功能)，这样，cGAN可以为由分类器分配给标记模型中的一个或多个静态物品的标签生成相应的视觉图像。例如，假设模拟器210在地理区域的视觉图像数据中识别出道路物件并在标记的场景中标记道路物件。模拟器210可以应用所述cGAN来将道路物件的道路标签变换为道路物件的真实世界视觉外观图像。

在另一实现中，模拟器210可以使用原始视觉图像数据来提取一个或多个标记物件的纹理。例如，假设模拟器210在地理区域的视觉图像数据中识别出道路物件并在标记的场景中标记道路物件。模拟器210可以从原始视觉图像数据中提取道路物件的纹理，并将道路物件纹理覆盖在标记场景中的道路物件标签上。

在另一实现中，所述模拟器210可以使用从包括多个物件的多个纹理图像的存储库检索一个或多个标记物件的纹理。存储库可以通过一个或多个存储位置来促进，例如，存储装置206和/或可通过网络230访问的一个或多个远程存储位置。例如，假设模拟器210在地理区域的视觉图像数据中识别出道路物件并在标记的场景中标记道路物件。模拟器210可以访问存储位置以检索道路物件的纹理并将道路物件纹理覆盖在标记的场景中的道路物件标签上。

此外，所述模拟器210可以操纵，例如，增加、减少、拉伸、收缩、旋转、变换等为视觉图像数据提取的标记物质纹理以适合位置、大小、比例和/或标记场景中标记物件的透视图。例如，模拟器210可以操纵道路物件纹理以适合标记场景中的道路物件位置、尺寸和/或透视，如从一特定视点所描绘的。

所述模拟器210可以应用一个或多个计算机图形标准、规范、方法和/或类似物来创建和/或渲染虚拟3D视觉逼真的模型，例如，OpenGL，DirectX和/或类似物。

所述得到的虚拟3D视觉逼真的模型在视觉上复制地理区域时可以是非常准确的。因此，虚拟3D视觉逼真的模型可以非常适合于训练自动驾驶222以控制模拟载具的移动，例如，一地面载具、一空中载具、一海上载具和/或在模拟逼真的模型复制地理区域的类似物。

可选地，模拟器210调整模拟的逼真的模型以模拟一个或多个环境条件，例如照明条件、定时条件、天气条件等。例如，模拟器210可以根据一天中的时间和/或日期，即根据天空中太阳的角度来调整模拟逼真的模型的照明条件。在另一示例中，模拟器210可根据天气条件(例如，阴天、阴天、雾和/或类似物)调整模拟逼真的模型的照明条件。在另一个示例中，模拟器210可以模拟雨滴、雪花和/或类似物以模拟相应的天气条件。

如112所示，这是可选步骤，所述模拟器210可以将一个或多个模拟动态物件插入模拟虚拟逼真的模型。所述模拟动态物件可以包括例如一地面载具、一空中载具、一海上载具、一行人、一动物、一植物和/或类似物。所述模拟动态物件还可包括动态改变道路基础设施件，例如，变光交通灯、打开/关闭轨道道路闸门和/或类似物。所述模拟器210可以将一个或多个移动和/或切换模式应用于模拟动态物体中的一个或多个以模仿真实世界动态物体的行为。例如，模拟器210可以将一模拟飞机插入模拟虚拟逼真的模型，并控制模拟飞机在地理区域中存在的有效飞行道中飞行。在另一个示例中，模拟器210可以将一个或多个模拟交通信号灯放置在地理区域中检测到的交叉路口处。模拟器210可以控制模拟的交通灯，以根据适用于地理区域中的交通灯的交通控制指令来切换灯。模拟器210可以进一步同步多个模拟交通灯的切换以模仿在地理区域中应用的实际交通控制。

如114所示，这是可选步骤，假设模拟器210将一个或多个模拟的地面载具插入模拟虚拟逼真的模型，模拟器210可以使用驾驶员行为模拟器来根据在地理区域处识别的另一个驾驶员行为分类和/或模式来控制一个或多个模拟的地面载具。驾驶员行为分类可以包括例如激进的驾驶员、普通驾驶员、耐心驾驶员、鲁莽驾驶员和/或类似物。此外，假设模拟器210在虚拟逼真的模型中模拟多个载具，使用驾驶员行为模拟器的所述模拟器210可根据为地理区域计算的密度函数应用所述多个驾驶员行为分类，它表示由虚拟逼真的模型复制的地理区域中检测到的驱动程序原型(类)的分布。这可以允许虚拟逼真的模型的精确模拟，因此关于地理区域的典型驾驶行为，虚拟逼真的模型可以与现实世界地理区域非常相似。

现在参照图3，图3是根据本发明的一些实施例的训练一驾驶员行为模拟器用于一特定地理区域的一示例性过程的一流程图。一示例性过程300可以通过一驾驶员行为模拟器执行，例如所述系统200中的所述驾驶员行为模拟器214，用于根据在地理区域中检测到的驾驶员行为特征来训练所述驾驶员行为模拟器214。虽然过程300可以应用在多个地理区域中以用于训练驾驶员行为模拟器214，但是为了简洁起见，针对单个地理位置描述过程400。驾驶员行为模拟器214可以由诸如模拟器210之类的模拟器使用，以模拟模拟载体的模拟虚拟逼真的模型复制地理区域的移动。

如302所示，过程300开始于驾驶员行为模拟器214从安装在由地理区域中的多个驾驶员驱动的多个载具上的多个传感器组件获得知觉的数据。特别地，知觉的数据可以包括从传感器组的一个或多个运动传感器获得的知觉的运动数据，例如，一全球定位系统(GPS)传感器、一陀螺仪、一加速计、一惯性测量单元(IMU)传感器、一高度传感器和/或类似物。

如304所示，所述驾驶员行为模拟器214可以分析知觉的数据以检测地理区域中的多个载具中的每一个的运动模式。驾驶员行为模拟器214可以使用一个或多个机器学习算法来应用大数据分析和/或分析，例如，神经网络(例如，DNN、GMM等)、SVM和/或类似物，以分析从地理区域的载具中收集的大量知觉数据并检测运动模式。检测到的运动模式可以指示由驾驶地理区域中的载具的一个或多个驾驶员展示的一个或多个驾驶员行为模式。因此，驾驶员行为模拟器214可以分析检测到的运动模式以推断驾驶员行为模式。驾驶员行为模拟器214可以再次应用机器学习算法来从运动模式的分析中识别驾驶员行为模式。

驾驶员行为模式可以包括一个或多个运动参数，例如，一速度参数、一加速参数、一破坏参数、一方向参数、一定向参数和/或类似物。此外，驾驶员行为模式可以与感兴趣的特定位置相关联，例如，一交叉路口、一道路曲线、一转折点、一交换入口/出口坡道和/或类似物。驾驶员行为模式可以描述感兴趣位置的一个或多个运动参数。此外，驾驶员行为模拟器214可以创建一个或多个驾驶员行为模式以描述延长的驾驶动作，例如，越过交叉路口，驾驶员行为模式可指明，例如，用于交叉路口进入阶段的速度参数，用于交叉路口交叉阶段的速度参数，用于交叉路口退出阶段的速度参数和/或类似物。在另一个示例中，驾驶员行为模式可描述一个或多个阶段的方向和/或定向参数，同时在出口坡道上离开交汇处。在另一个示例中，驾驶员行为模式可以在进入交换入口坡道时描述一个或多个阶段的加速参数。

可选地，驾驶员行为模拟器214针对在获取知觉的数据期间检测到的一个或多个环境特征来分析知觉的数据，例如，一天气状况属性、一时间属性和/或类似物。环境特征可能影响至少一些驾驶员所表现出的驾驶行为，并且驾驶员行为模拟器214因此可以根据环境特征来适应，创建和/或修改驾驶员行为模式。例如，驾驶员行为可能在夜晚和白天之间，夏季和冬季之间等不同。因此，基于与知觉的数据相关联的时间属性，驾驶员行为模拟器214可以创建驾驶员行为模式以区分白天和黑夜、夏季和冬季等。在另一个示例中，驾驶员行为可以在风、雨、雾、雪等的情况下改变。因此，基于与知觉的数据相关联的天气属性，驾驶员行为模拟器214可以为每个天气状况创建驾驶员行为模式。

可选地，知觉的数据包括从安装在多个载具上的一个或多个传感器组件中包括的一个或多个外面的传感器获得的附加的知识的数据。所述外面的传感器描绘了从与各个传感器组相关联的多个载具之一观察的地理区域。所述外面的传感器可以包括，例如，一相机、一红外摄像机、一夜视传感器、一LIDAR传感器、一雷达、一超声传感器和/或类似物。通过分析附加的知觉的数据，驾驶员行为模拟器214可以进一步检测地理区域中载具的驱动器的运动模式，驾驶员行为模式和/或附加的驾驶特征，并且可以相应地增强驾驶员行为模式中的一个或多个。所述多个附加的驾驶特征可以包括例如一尾随特征、一排队位置特征、一并排停车倾向特征和/或类似物。例如，基于对图像数据的分析，例如，从成象传感器接收的一个或多个图像，驾驶员行为模拟器214可以检测并排停车事件，因此可以将驾驶员行为模式中的一个或多个与并排停车倾向特征相关联。在另一示例中，基于从距离传感器接收的知觉的测距数据的分析，驾驶员行为模拟器214可识别空间保持参数，车道内位置参数，因此可以将驾驶员行为模式中的一个或多个与尾随特征、排队位置特征等相关联。

所述驾驶员行为模拟器214可以将至少一些驾驶员与在地理区域中为载具的驾驶员检测到的驾驶员行为模式中的一个或多个相关联。

如306所示，所述驾驶员行为模拟器214可以根据与每个驾驶员相关联的驾驶员行为模式将多个驾驶员中的至少一些驾驶员分类为一个或多个驾驶员行为分类。所述驾驶员行为分类可以包括例如一激进的驾驶员原型、一普通驾驶员原型、一耐心驾驶员原型、一鲁莽驾驶员原型和/或类似物。所述驾驶员行为模拟器214可以使用一种或多种分类、聚类和/或分组方法、技术和/或算法来将驾驶员分类到驾驶员行为分类。

如308所示，所述驾驶员行为模拟器214可以计算与地理区域相关联的驾驶员行为密度函数和/或其拍子。所述驾驶员行为密度函数描述了在某个时间在地理区域(或其部分)中的每个驾驶员原型的存在和/或分布(数量)的概率。驾驶员行为模拟器214可以根据地理区域中每个驾驶员原型的驾驶员的分布和/或重现来计算驾驶员行为密度函数。驾驶员行为模拟器214可以根据一个或多个环境条件进一步调整计算的驾驶员行为密度函数。例如，某些驾驶员原型的驾驶员数量可能在白天和夜晚之间不同，例如，在夜间更加鲁莽的司机(年轻人)，而在白天更多正常的司机(人们开车到工作地点)。在另一个示例中，在阴雨天气条件下，鲁莽驾驶员的数量可能减少。因此，所述驾驶员行为模拟器214可以相应地调整所述驾驶员行为密度函数。

如310所示，可以用所述多个驾驶员行为分类和/或为地理区域检测和/或计算的驾驶员行为密度函数来更新驾驶员行为模拟器214，以生成逼真的驾驶行为数据适配于地理区域，用于训练自动驾驶系统220和/或自动驾驶222。因此，所述模拟器210可以使用所述驾驶员行为模拟器214来模拟在复制地理区域的模拟虚拟逼真的模型中模拟的载具的移动，以进一步模仿所述真实世界模拟。

再次参考图1。如116处所示，模拟器210可以生成合成3D成像数据，例如，复制地理区域的虚拟逼真的模型的一个或多个2D和/或3D图像。模拟器210可以使用图形环境的功能、实用程序、服务和/或能力来生成合成3D成像数据，例如，用于生成模拟虚拟逼真的模型的OpenGL、DirectX和/或类似物。模拟器210可以创建合成3D成像数据以描绘由一个或多个模拟成象传感器s观察到的虚拟逼真的模型，例如，安装在模拟虚拟逼真的模型中的模拟载具上的一相机、一摄像机、一红外摄像机、一夜视传感器和/或类似物。所述模拟成象传感器可以根据一个或多个安装属性安装在模拟载具上，例如，模拟载具的定位(例如位置、定向、高度等)、FOV、范围、重叠区域，其具有至少一个相邻的距离传感器和/或类似的真实成像传感器，其安装在由自动驾驶222控制的真实载具上。模拟器210可以将合成3D成像数据注入、提供和/或传输到自动驾驶系统220，因此可以训练其在模拟虚拟逼真的模型中移动模拟载具，其可以在自动驾驶系统220看来是真实世界地理区域。成像数据可以被注入训练自动驾驶系统，作为由自动驾驶系统220和/或自动驾驶222使用的一个或多个硬件和/或软件接口的馈送，如本文所述，其可以原则上用于从安装在受控载具上的成象传感器接收成像数据馈送。

可选地，模拟器210可以分析合成3D成像数据以评估成象传感器的感知性能。模拟器210可以在将替代值应用于成象传感器的一个或多个安装属性的同时评估成象传感器的感知性能。模拟器210可以确定安装属性的最佳设置，并且可以推荐自动驾驶系统和/或自动驾驶222来应用最佳设置。基于所提供的设置，自动驾驶系统220的设计者可以采取一个或多个动作，例如，调整成象传感器中的一个或多个安装属性、使用不同的成象传感器、添加/移除成象传感器和/或类似物。

如118所示，这是可选步骤，模拟器210可以使用测距模型来生成知觉的数据，特别是知觉的测距数据，模拟知觉的测距数据由安装在模拟载具上的一个或一个距离传感器生成。所述距离传感器，例如，一LIDAR传感器、一雷达、一超声传感器、一相机、一红外摄像机和/或类似物模拟安装在模拟载具上的距离传感器，其在模拟虚拟逼真的模型中移动。模拟距离传感器可根据一个或多个安装属性安装在模拟载具上，例如，模拟载具的定位(例如位置、定向、高度等)、FOV、范围、重叠区域与至少一个相邻的距离传感器和/或安装在由自动驾驶222控制的真实载具上的真实距离传感器的类似物。模拟器210可以使用测距模型来增强模拟虚拟逼真的模型，以模拟可以被注入自动驾驶系统220和/或自动驾驶222的模拟的真实测量数据。模拟的知觉的测距数据可以作为对通常连接到一个或多个距离传感器的训练自动驾驶系统的一个或多个本机输入的馈送被注入训练自动驾驶系统220。另外和/或替代地，模拟的知觉的测距数据可以作为对自动驾驶222通常使用的一个或多个软件接口的馈送被注入训练自动驾驶222，以收集知觉的测距数据。

由于地理区域数据以及视觉图像数据可用于地理区域，因此为地理区域创建的测距模型可能非常准确。然而，这种准确性可能无法代表真实距离传感器产生的真实世界知识的测量数据。因此，测距模型可以将一个或多个噪声图应用于模拟的知觉的测距数据，以逼真地模拟真实世界的条件。

现在参考图4，图4是根据本发明的一些实施例的创建一地理区域的一知觉的测距模型的一示例性过程的一流程图。一示例性过程400可以通过一测距模型生成器执行，例如在一系统中，例如系统200，的所述测距模型生成器212，以通过一模拟器(例如模拟器210)所创建的一地理区域的所述模拟逼真的模型来创建一测距模型。虽然过程400可以应用于多个现实世界场景(地理区域)，用于训练机器学习算法以准确地创建测量模拟真实世界地理区域，为简洁起见，针对单个现实世界场景(地理区域)描述了过程400。

如402所示，所述过程400从所述测距模型生成器212获得位于现实世界场景(地理区域)中的物件的实际测距数据开始。所述测距模型生成器212还可以分析为现实世界场景所获得的所述地理地图数据，以计算实际测距数据。所述测距模型生成器212还可以使用一种或多种图像处理技术和/或算法来分析为所述现实世界场景获得的所述视觉图像数据，以计算所述实际测量数据。另外，所述测距模型生成器212可以从现实世界场景中的现实世界测量中收集实际测距数据。

如404所示，测距模型生成器212从描绘现实世界场景的多个距离传感器中的每一个获得知觉的测距数据。所述多个距离传感器，其包括例如一LIDAR传感器、一雷达、一超声传感器、一相机、一红外摄像机和/或类似物，通常可以安装在多个载具上，所述多个载具可在现实世界场景中旅行，例如，一地面载具、一空中载具和/或一海上载具。

每个测距传感器与定位数据相关联，所述定位数据指示每个相关的距离传感器的定位。测量模型生成器212可以从通常安装、安装和/或附接到承载相关测距传感器的载具的一个或多个定位传感器接收定位数据。所述多个定位传感器可以包括例如一GPS传感器、一陀螺仪、一加速计、一IMU传感器、一高度传感器和/或类似物。各个距离传感器的定位可以基于GPS定位数据，基于使用从陀螺仪、加速计、IMU传感器和/或类似物所获得的定位数据计算的航位推算定位数据。可选地，相应的距离传感器的定位可以基于GPS定位和航位推算定位的组合，其可以提供相应的距离传感器的改进的定位。

使用定位数据，所述测距模型生成器212可以精确地计算现实世界场景中所述多个距离传感器中的每一个的绝对位置和/或定位。这允许测距模型生成器212通过根据相应的距离传感器的绝对位置和/或定位调整通过相应的距离传感器所产生的知觉的测距数据来计算所述多个距离传感器中的每一个的绝对测距数据。

可选地，所述定位数据包括运动数据，其包括相关联的距离传感器的一个或多个运动参数。所述运动参数可以包括，例如，一速度参数、一加速参数、一方向参数、一定向参数、一高度参数和/或类似物。使用所述运动数据，所述测距模型生成器212可以提高现实世界场景中相关联的距离传感器的绝对位置和/或定位的精度。

如406所示，测距模型生成器212分析从距离传感器所获得的知觉的测距数据(在根据定位数据调整之后)相对于实际测距数据。所述测量模型生成器212可以使用一个或多个机器学习算法来应用大数据分析和/或分析，例如，一神经网络(例如，DNN、GMM等)、一SVM和/或类似物，为多个现实世界场景分析了大量的知觉的测距数据。

可选地，测距模型生成器212与距离传感器的一个或多个安装参数相关地评估知觉的测距数据，例如，一位置、一定向、一FOV和/或类似物。自然地，相应的距离传感器的安装参数可以对由相应的距离传感器产生的知觉的测距数据具有至少一些影响。因此，假设测量模型生成器212可以使用安装参数，测量模型生成器212可以识别一个或多个安装参数的最佳、优选和/或推荐设置。

如408所示，使用所述机器学习算法，所述测距模型生成器212可以分析用于多个现实世界场景的多个距离传感器的知觉的测距数据，以识别由一个或多个距离传感器所展示的一个或多个噪声图。

所述噪声图可描述一个或多个噪声特征，例如，噪声、失真、等待时间、校准偏移等，其可以是一个或多个距离传感器的典型、固有和/或特征。

噪声可能来自影响所述知觉的测距数据所指的物体的其他物质影响，例如，部分地遮蔽所述参考物件和/或类似物。噪声可以进一步描述一个或多个物件属性，例如，一外表面纹理、一外表面纹理组成、一外表面材料、和/或类似的参考物件、和/或影响参考物件的其他物件。例如，一些表面纹理、表面成分和/或表面材料可以反射由一个或多个距离传感器投射的不同光线，并且因此可能影响所获取的知觉的测距数据的准确性。因此，测距模型生成器212可以设置噪声图以映射知觉的测距数据准确度和/或具有参考物质和/或影响在现实世界场景中检测的参考物体的其他物体的属性的性能。所述测距模型生成器212可以从为现实世界场景获得的视觉图像数据中提取参考物体和/或其他物体的物件属性。例如，所述测距模型生成器212可以检测视觉图像数据中的树，并且可以将树与预定知识的测量数据精度和/或距离传感器性能相关联，所述距离传感器性能通过所述测距模型生成器212预定和/或随时间学习。所述测距模型生成器212还可以从一个或多个记录中获得参考物件和/或其他物件的物件属性，例如，与位于现实世界场景中的一个或多个物体相关联的元数据记录和/或类似物。由于物件属性可能在不同的地理位置、区域和/或现实世界场景之间变化，从元数据记录中检索物件属性可以允许将物件与在相应的现实世界场景中找到的典型属性相关联。例如，现实世界场景的详细地图可以包括位于现实世界场景中的结构的名称，并且还可以包括与描述物件属性的物体的一个或其中相关联的元数据记录。

所述失真可能是由于距离传感器的一个或多个固有限制造成的，这可能在测量范围内给参考物体带来不准确性。所述等待时间可以指从距离传感器捕获所述知觉的测距数据到记录系统记录和/或记录所述知觉的测距数据的时间的等待时间。这种延迟可能是由于一个或多个原因造成的，例如，所述距离传感器处理所述知觉的测距数据的处理时间、所述距离传感器将所述知觉的测距数据传送给所述记录系统的通信时间和/或类似物。所述校准偏移可能是由于距离传感器的一个或多个固有限制造成的，其中即使在校准序列之后也不能理想地校准距离传感器。所述校准偏移还可能由距离传感器相对于载具的不准确安装校准造成，使得所述距离传感器的位置、定向、FOV等可能偏离预定位置、定向、FOV。因此，每个噪声图可以呈现用于一个或多个噪音特征的值，例如，噪声值、失真值、延迟值、校准偏移值和/或类似物。

如410所示，所述测距模型生成器212可以用噪声图更新测距模型，以为虚拟逼真的模型复制现实世界场景(地理区域)建立真实的模拟竞技场。所述测距模型可以用于生成逼真的模拟测距数据，其可以在训练期间被注入自动驾驶222。

可选地，测量模型生成器212可以在评估在获取知觉的测距数据和/或其部分期间检测到的一个或多个环境特征时，相对于实际测距数据分析知觉的测距数据，这可能会影响知觉的测距数据的获取。环境特征可以包括例如一天气状况属性、一时间属性等。所述天气状况属性可以包括例如湿度值、温度值、降水值(例如，雨、雪等)、雾状况值和/或类似物。所述天气状况属性可能影响知觉的测距数据采集，例如，模糊的条件可能会影响一个或多个距离传感器的性能，例如LIDAR传感器、雷达、相机、红外摄像机和/或类似的。在另一个示例中，环境温度可能影响一个或多个距离传感器的性能。所述定时条件可以包括例如一天中的时间、日期等，这些也可能影响一个或多个距离传感器的性能。例如，一个或多个距离传感器的性能可能受到光条件的影响，例如日光、黄昏、傍晚和/或夜晚。

再次参考图1。

使用测距模型，除了为地理区域中确定的静态物件生成模拟知觉的测距数据外，模拟器210还可以为插入到复制地理区域的虚拟逼真的模型中的一个或多个动态物体生成模拟的知觉的测距数据。例如，假设在虚拟逼真的模型中插入了一棵树，所述模拟器210可以使用测距模型根据测距模型生成器212识别的一个或多个噪声图创建适用于树的模拟知觉的测距数据，并应用于测距模型。所述模拟器210还可以根据噪声为一个或多个静态物体调整模拟的知觉的测距数据，例如，插入虚拟逼真的模型中的树。

可选地，模拟器210可以通过安装在模拟载具上的所述模拟距离传感器来分析所生成的生成的模拟知觉的测距数据，以评估模拟距离传感器相对于其一个或多个安装属性的性能。模拟器210可以评估由模拟距离传感器产生的并且可能受安装属性影响的模拟知觉的测距数据的准确性。模拟器210可以生成及评估由具有替代安装属性的距离传感器产生的替代模拟知觉的测距数据，例如，不同的定向、不同的位置、不同的FOV和/或类似物。模拟器210可以确定安装属性的最佳设置，并且可以推荐自动驾驶系统220和/或自动驾驶222来应用最佳设置。基于所提供的设置，自动驾驶系统220的设计者可以采取一个或多个动作，例如，调整一个或多个测距传感器安装属性、使用不同的距离传感器、添加/移除距离传感器和/或类似物。

如120处所示，所述模拟器210可以生成用于复制地理区域的虚拟逼真的模型的附加模拟数据，例如，运动数据、传输数据和/或类似物。

所述模拟运动数据可以包括模拟载具的一个或多个运动参数。所述运动参数可以包括，例如，一速度参数、一加速参数、一方向参数、一定向参数、一高度参数和/或类似物。例如，假设模拟载具是地面载具，运动参数可以包括一方向盘角度参数，其可以指示模拟的地面载具的方向。可以通过一本机输入端将模拟运动数据注入训练自动驾驶系统220，所述本机输入端通常连接到一个或多个运动传感器和/或定位传感器。另外和/或替代地，模拟的知觉的运动数据可以作为对自动驾驶222通常使用的一个或多个软件接口的馈送被注入训练自动驾驶222，以收集知觉的运动数据。所述模拟运动数据可以补充虚拟逼真的模型的其他模拟数据，以改善训练自动驾驶系统220和/或自动驾驶222所经历的地理区域中的真实骑乘、驾驶、飞行的复制。

所述模拟运输数据可以包括，例如，模拟模拟载具与一个或多个其他实体的通信的信息，例如一载具、一控制中心、一道路基础设施物件和/或类似物。所述通信可以模拟，例如所述模拟载具与其他实体之间的V2X通信。所述模拟运输数据可以作为对自动驾驶系统220通常使用的一个或多个本机输入、端口和/或链路的馈送被注入训练自动驾驶系统220，以连接到V2X通信信道。另外和/或替代地，所述模拟运输数据可以作为对自动驾驶222通常使用的一个或多个软件接口的馈送被注入训练自动驾驶222，以收集运输数据。模拟运输数据可以进一步补充虚拟逼真的模型的模拟，以改善训练自动驾驶系统所经历的地理区域中的真实骑乘、驾驶、飞行的复制。

预计在本申请成熟的专利期间，将开发许多相关的设备、系统、方法和计算机程序，并且术语的范围成象传感器、距离传感器、机器学习算法及神经网络旨在包括所有这些新技术的先验。

如本文所用，术语“约”是指10％。

术语“包括”、“包括”、“包含”、“包含”、“具有”和它们的结合表示“包括但不限于”。这些术语包括术语“由......组成”和“基本上由......组成”。

短语“基本上由......组成”是指组合物或方法可包括另外的成分和/或步骤，但仅在附加成分和/或步骤不实质上改变要求保护的组合物或方法的基本和新颖特征的情况下。

如本文所用，单数形式“一”、“一个”和“所述”包括复数指代，除非上下文另有明确说明。例如，术语“化合物”或“至少一种化合物”可包括多种化合物，包括其混合物。

在整个申请中，可以参考范围格式呈现本发明的实施例。应当理解，范围形式的描述仅仅是为了方便和简洁，不应该被解释为对本发明范围的不灵活限制。因此，应该认为范围的描述具体公开了所有可能的子范围以及该范围内的各个数值。例如，应该认为诸如“从1到6”的范围的描述具有特别公开的子范围，例如“从1到3”、“从1到4”、“从1到5”、“从2到4”、“从2到6”、“从3到6“等；以及该范围内的个别数字，例如，1、2、3、4、5和6。无论范围的广度如何，这都适用。

无论何时在本文中指示数值范围，其意图包括在所指示的范围内的任何引用的数字(分数或积分)。短语“范围/范围”，第一指示数字和第二指示数字以及“范围/范围”，第一指示数字“至”第二指示数字在本文中可互换使用，并且意味着包括第一和第二指示数字以及它们之间的所有分数和整数数字。

词语“示例性”在本文中用于表示“用作示例，实例或说明”。被描述为“示例性”的任何实施例不必被解释为比其他实施例优选或有利和/或排除将特征与其他实施例结合。

词语“任选地”在本文中用于表示“在一些实施例中提供而在其他实施例中未提供”。除非这些特征冲突，否则本发明的任何特定实施例可包括多个“可选”特征。

应当理解，为了清楚起见，在单独的实施方案的上下文中描述的本发明的某些特征也可以在单个实施方案中组合提供。相反，为简洁起见，在单个实施方案的上下文中描述的本发明的各种特征也可以单独提供或以任何合适的子组合提供，或者适合于本发明的任何其他描述的实施方案。在各种实施例的上下文中描述的某些特征不被认为是那些实施例的必要特征，除非该实施例在没有那些元件的情况下不起作用。

尽管已经结合本发明的具体实施方案描述了本发明，但显然许多替代，修改和变化对于本领域技术人员而言是显而易见的。因此，旨在涵盖落入所附权利要求的精神和范围范围内的所有这些替代，修改和变化。

本说明书中提及的所有出版物，专利和专利申请均通过引用整体并入本说明书中，其程度如同每个单独的出版物，专利或专利申请被具体和单独地指出通过引用并入本文。另外，本申请中任何参考文献的引用或标识不应被解释为承认这样的参考可用作本发明的现有技术。在使用章节标题的范围内，它们不应被解释为必然限制。

Claims

1.一种创建用于训练一自动驾驶系统的一地理区域的一模拟逼真的虚拟模型的计算机执行方法，其特征在于，所述计算机执行方法包括：

获得一地理区域的地理地图数据；

获得所述地理区域的视觉图像数据；

将在所述视觉图像数据中识别的多个静态物品分类为相应的多个标签，以指定多个标记物件；

将所述多个标记物件叠加在所述地理地图数据上；

通过对所述多个标记物件中的每一个合成一相应的视觉纹理，产生模拟所述地理区域的一虚拟三维(3D)逼真的模型；以及

将所述逼真的模型的合成3D成像馈送注入到所述自动驾驶系统的至少一个成象传感器的一输入端，所述自动驾驶系统控制在所述逼真的模型中一模拟载具的运动，所述合成3D成像馈送是被产生用以从安装在所述模拟载具上的至少一个模拟成象传感器的观点描绘所述逼真的模型。

2.如权利要求1所述的计算机执行方法，其特征在于：使用以下多个实现方法中的至少一个来完成所述合成：

应用至少一个条件生成对抗神经网络(cGAN)将所述多个标记物件中的至少一个的一标签变换为一各自的视觉纹理；

从所述视觉图像数据中提取多个标记物件中的至少一个的所述视觉纹理；以及

从一存储库检索多个标记物件中的至少一个的所述视觉纹理，所述存储库包括多个静态物件的多个纹理图像。

3.如权利要求1所述的计算机执行方法，其特征在于：所述合成3D成像馈送被注入到所述自动驾驶系统的一物理输入端，所述自动驾驶系统适于接收至少一个成象传感器的输入。

4.如权利要求1所述的计算机执行方法，其特征在于：所述自动驾驶系统以一计算机软件程序来执行，使用至少一个虚拟驱动程序来注入所述合成3D成像数据，所述虚拟驱动程序模拟所述至少一个成象传感器的一馈送。

5.如权利要求1所述的计算机执行方法，其特征在于：更包括根据所述至少一个模拟成象传感器的一能见度性能的一分析来调整所述至少一个成象传感器的至少一个安装属性，所述至少一个模拟成象传感器模拟所述至少一个成象传感器，所述至少一个安装属性是由一模拟载具的定位、一视场(FOV)、一分辨率及一具有至少一个相邻成象传感器的一重叠区域所组成的一组的一成员。

6.如权利要求1所述的计算机执行方法，其特征在于：更包括模拟通过安装在所述模拟载具上的至少一个模拟距离传感器所产生的一知觉的测距数据馈送，使用应用在至少一个噪声图的一模拟测距模型来模拟所述知觉的测距数据馈送，所述至少一个噪声图与通过至少一个模拟距离传感器所模拟的至少一个距离传感器相关。

7.如权利要求6所述的计算机执行方法，其特征在于：更包括所述至少一个噪声图根据在所述逼真的模型中所模拟的多个物件中的至少一个的至少一个物件属性来调整。

8.如权利要求6所述的计算机执行方法，其特征在于：更包括根据所述至少一个距离传感器的一距离精度性能的分析来调整所述至少一个距离传感器的至少一个安装属性，所述至少一个安装属性是由一模拟载具的定位、一FOV、一范围及一具有至少一个相邻距离传感器的一重叠区域所组成的一组的一成员。

9.如权利要求1所述的计算机执行方法，其特征在于：更包括将至少一个模拟动态物件插入到所述逼真的模型中，所述至少一个模拟动态物品是由一地面载具、一空中载具、一海上载具、一行人、一动物、一植物及一动态改变道路基础设施物件所组成的一组的一成员。

10.如权利要求9所述的计算机执行方法，其特征在于：更包括应用多个驾驶员行为分类中的至少一个来控制至少一个模拟地面载具的一运动，例如所述地面载具，根据在所述地理区域中所识别的一典型的驾驶行为模式分析，所述至少一个驾驶员行为分类适于所述地理区域，根据对所述地理区域计算的一密度函数来选择至少一个驾驶员行为分类，所述密度函数是根据在所述地理区域中相应于所述至少一个驾驶员行为分类的驾驶员原型的重现。

11.如权利要求1所述的计算机执行方法，其特征在于：更包括向所述自动驾驶系统注入通过与所述模拟载具相关的至少一个模拟运动传感器所模拟的模拟运动数据，所述模拟运动数据包含至少一个运动参数，所述至少一个运动参数是由一速度参数、一加速参数、一方向参数、一定向参数及一高度参数所组成的一组的一成员。

12.如权利要求1所述的计算机执行方法，其特征在于：更包括向所述自动驾驶系统注入模拟运输数据，所述模拟运输数据包括在模拟载具与至少一个其他实体之间的载具到任何东西(V2X)通信。

13.如权利要求1所述的计算机执行方法，其特征在于：更包括根据至少一个环境特征调整所述合成成像数据，所述环境特征是由一照明条件、一天气状况属性及一时间属性所组成的一组的一成员。

14.如权利要求1所述的计算机执行方法，其特征在于：所述地理地图数据包括由一二维(2D)地图、一3D地图、一正射影像地图、一高程图及一详细地图所组成的一组的至少一成员，所述详细地图包括对存在于所述地理区域中的多个物件的物件描述。

15.如权利要求1所述的计算机执行方法，其特征在于：所述视觉图像数据包括至少一个图像，所述图像是由一地平面图像、一航拍图像及一卫星图像所组成的一组的一成员，其中所述至少一个图像是一2D图像或一3D图像。

16.如权利要求1所述的计算机执行方法，其特征在于：所述多个静态物件中的每一个是由一道路、一道路基础设施、一交叉路口、一建筑物、一纪念碑、一结构、一自然物及一地形表面所组成的一组中的一成员。

17.如权利要求1所述的计算机执行方法，其特征在于：所述至少一个成象传感器是由一相机、一摄像机、一红外摄像机及一夜视传感器所组成的一组的一成员。

18.一种创建用于训练一自动驾驶系统的一地理区域的一模拟逼真的虚拟模型的系统，其特征在于，所述系统包括：

至少一个处理器适于执行代码，所述代码包括：

多个代码指令用以获得一地理区域的地理地图数据；

多个代码指令用以获得所述地理区域的视觉图像数据；

多个代码指令用以将在所述视觉图像数据中识别的多个静态物品分类为相应的多个标签，以指定多个标记物件；

多个代码指令用以将所述多个标记物件叠加在所述地理地图数据上；

多个代码指令用以通过对所述多个标记物件中的每一个合成一相应的视觉纹理，产生模拟所述地理区域的一虚拟三维(3D)逼真的模型；以及

多个代码指令用以将所述逼真的模型的合成3D成像馈送注入到所述自动驾驶系统的至少一个成象传感器的一输入端，所述自动驾驶系统控制在所述逼真的模型中一模拟载具的运动，所述合成3D成像馈送是被产生用以从安装在所述模拟载具上的至少一个模拟成象传感器的观点描绘所述逼真的模型。

19.一种创建用于训练一自动驾驶系统的一现实世界场景的一模拟测距模型的计算机执行方法，其特征在于，所述计算机执行方法包括：

获得到存在于一现实世界场景中的多个物件的实际测距数据；

从描绘所述现实世界场景的多个距离传感器获得知觉的测距数据，所述多个距离传感器中的每一个与指示所述每一个距离传感器的一定位的定位数据相关，所述定位数据是从与所述每一个距离传感器相关的至少一个定位传感器所获得；

分析根据所述定位数据来调整的所述知觉的测距数据，相对于所述实际测距数据，以识别至少一个噪声图，所述噪声图通过所述多个距离传感器中的至少一个来展示测量精度劣化；及

以至少一个噪声图更新一测距模型以产生用于训练一自动驾驶系统的逼真的模拟测距数据。

20.如权利要求19所述的计算机执行方法，其特征在于：所述实际测距数据由至少一个来源所提供，所述来源是由一现实世界测量、一基于地图的计算及一基于现实世界场景的至少一个图像的图像处理的计算所组成的一组的一成员。

21.如权利要求19所述的计算机执行方法，其特征在于：所述多个距离传感器包括由一LIDAR传感器、一雷达、一相机、一红外摄像机及一超声传感器所组成的一组中的至少一个成员。

22.如权利要求19所述的计算机执行方法，其特征在于：所述至少一个定位传感器是由一全球定位系统(GPS)传感器、一陀螺仪、一加速计、一惯性测量单元(IMU)传感器及一高度传感器所组成的一组的一成员。

23.如权利要求19所述的计算机执行方法，其特征在于：更包括所述定位数据包括运动数据，所述运动数据包括与所述相关的每一个距离传感器的至少一个运动参数，所述至少一个运动参数是由一速度参数、一加速参数、一方向参数、一定向参数及一高度参数所组成的一组的一成员。

24.如权利要求19所述的计算机执行方法，其特征在于：所述分析是使用至少一个机器学习算法所进行的一基于统计的预测分析，所述机器学习算法是由一神经网络及一支持向量机(SVM)所组成的一组的一成员。

25.如权利要求19所述的计算机执行方法，其特征在于：所述至少一个噪声图包括至少一个噪音特征，所述噪音特征是由一噪声值、一失真值、一延迟值及一校准偏移值所组成的一组的一成员。

26.如权利要求19所述的计算机执行方法，其特征在于：更包括所述知觉的数据的分析是根据在获取所述知觉的测距数据期间所检测到的至少一个环境特征来完成，所述至少一个环境特征是由一天气状况属性及一时间属性所组成的一组的一成员。

27.如权利要求19所述的计算机执行方法，其特征在于：更包含根据所述多个物件中的至少一个的至少一个物件属性来调整所述至少一个噪声图，所述至少一个物件属性影响所述每一个距离传感器所产生的所述测距数据，所述至少一个物件属性是由一外表面纹理、一外表面纹理组成及一外表面材料所组成的一组的一成员。

28.如权利要求27所述的计算机执行方法，其特征在于：从为所述现实世界场景所产生的合成3D成像数据中提取至少一个物件属性。

29.如权利要求27所述的计算机执行方法，其特征在于：从与所述现实世界场景相关的一元数据记录中检索至少一个物件属性。

30.一种根据一地理区域训练一驾驶员行为模拟器的计算机执行方法，其特征在于，所述计算机执行方法包括：

获得由多个传感器组所产生的知觉的数据，所述多个传感器组安装在一地理区域中通过多个驾驶员所驾驶的多个载具上，所述传感器组包括至少一个运动传感器；

分析所述知觉的数据以识别多个运动模式，所述多个运动模式指示通过多个驾驶员所展示的多个驾驶员行为模式；

根据对所述每一个驾驶员所检测到的所述多个驾驶员行为模式中的其中一个，将所述多个驾驶员中的至少一些驾驶员分类为多个驾驶员行为分类中的其中一个；

基于在所述地理区域中检测到的所述多个驾驶员行为分类中的每一个的一重现来计算与所述地理区域相关的一驾驶员行为密度函数；及

用所述多个驾驶员行为分类及所述驾驶员行为密度函数来更新一驾驶员行为模拟器，以产生用于训练一自动驾驶系统适于的所述地理区域的逼真的驾驶行为数据。

31.如权利要求30所述的计算机执行方法，其特征在于：所述至少一个运动传感器是由一全球定位系统(GPS)传感器、一陀螺仪、一加速计、一惯性测量单元(IMU)传感器及一高度传感器所组成的一组的一成员。

32.如权利要求30所述的计算机执行方法，其特征在于：所述分析是通过一进化学习算法使用至少一个机器学习算法所进行的一基于统计的预测分析，所述机器学习算法是由一神经网络及一支持向量机(SVM)所组成的一组的一成员。

33.如权利要求30所述的计算机执行方法，其特征在于：所述多个驾驶员行为模式中的每一个包括至少一个运动参数，所述运动参数是由一速度参数、一加速参数、一破坏参数、一方向参数及一定向参数所组成的一组的一成员。

34.如权利要求30所述的计算机执行方法，其特征在于：更包括所述知觉的数据的分析是根据在获取所述知觉的数据期间所检测到的至少一个环境特征来完成，所述至少一个环境特征是由一天气状况属性及一时间属性所组成的一组的一成员。

35.如权利要求30所述的计算机执行方法，其特征在于：所述知觉的数据的所述分析更包括分析从至少一个外面的传感器所接收的附加的知觉的数据，所述至少一个外面的传感器包括在所述多个传感器组中的至少一个，所述至少一个外面的传感器从与所述至少一个传感器组相关的所述多个载具中的其中一个的观点来描绘所述地理区域。

36.如权利要求35所述的计算机执行方法，其特征在于：所述至少一个外面的传感器是由一相机、一夜视相机、一LIDAR传感器、一雷达及一超声传感器所组成的一组中的一成员。

37.如权利要求35所述的计算机执行方法，其特征在于：更包括包括基于所述附加的知觉的数据的所述分析来增强所述多个驾驶员行为模式中的至少一个，所述至少一个增强的驾驶员行为模式包括至少一个附加的驾驶特征，所述附加的驾驶特征是由一尾随特征、一排队位置特征及一并排停车倾向特征所组成的一组的一成员。