CN112101392A - 用于标识对象的方法和系统 - Google Patents

Abstract

提供了用于标识对象的方法和装置。该方法可包括并且该装置可用于：在第一时刻，获取经由车辆装载的多个不同类型的传感器输出的第一组传感器数据；将第一组传感器数据馈送到通用统计模型以形成针对所述第一时刻的通用统计模型格式数据；将针对第一时刻的通用统计模型格式数据与历史通用统计模型格式数据进行融合以更新针对第一时刻的通用统计模型格式数据；将经更新的针对第一时刻的通用统计模型格式数据与隐含模型进行比较以标识对象。

Description

用于标识对象的方法和系统

技术领域

本发明涉及标识对象，更具体地，涉及使用实时传感器数据来标识对象。

背景技术

自动驾驶车辆(也称为无人驾驶汽车，自动驾驶汽车，机器人汽车)是一种能够在没有人为输入的情况下感测其周围环境并进行导航的车辆。自动驾驶车辆(下文称为“ADV”)使用各种技术来检测其周围环境，例如雷达，激光，GPS，测距和计算机视觉。先进的控制系统解释感测到的信息，以标识适当的导航路径，以及障碍物和相关标志。

更具体地，ADV从各种车载传感器收集传感器数据，例如视觉类传感器(例如，摄像头)，雷达类测距传感器(诸如激光雷达，毫米波雷达，超声波雷达)等。

如本领域中已知的，不同类型的传感器产生不同形式或格式的数据。在处理来自不同传感器的传感器数据时，必须分别处理每种类型的传感器数据。因此，对于每种类型的传感器数据，必须建立一个或多个用于存储该类型的传感器数据的模型以进行对象标识。当前，并不存在一种能够同时支持多种不同类型的传感器数据的模型。

此外，针对单个时刻所获得的单组传感器数据是不稳定且不可靠的。将针对该时刻的传感器数据与针对先前多个时刻的多组传感器数据进行融合以拟合数据从而来标识对象是理想的。

因此，希望提供一种能够同时支持多种类型的传感器数据的模型来实时标识对象的方案，以便克服上述提及的缺陷。

发明内容

提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步的描述一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

根据本发明的一个实施例，提供了一种用于构建实时道路模型的方法，包括：在第一时刻，获取经由车辆装载的多个不同类型的传感器输出的第一组传感器数据；将所述第一组传感器数据馈送到通用统计模型以形成针对所述第一时刻的通用统计模型格式数据，所述通用统计模型格式包括多个传感器数据集，其中所述多个传感器数据集中的每一个传感器数据集是由所述不同类型的传感器中的一个传感器输出的；将针对所述第一时刻的通用统计模型格式数据与历史通用统计模型格式数据进行融合以更新针对所述第一时刻的通用统计模型格式数据；将经更新的针对所述第一时刻的通用统计模型格式数据与隐含模型进行比较以标识对象，所述隐含模型包括用于描述经预定义的对象的多个传感器数据样本集，其中所述多个传感器数据样本集中的每一个传感器数据样本集包括预先获取的由所述不同类型的传感器中的一个传感器描述所述经预定义的对象的传感器数据样本集。

根据本发明的一个实施例，提供了一种用于构建实时道路模型的装置，包括：传感器数据获取模块，所述传感器数据获取模块被配置成获取在第一时刻由车辆上装载的不同类型的传感器输出的第一组传感器数据；数据馈送模块，所述馈送模块被配置成将所述第一组传感器数据馈送到通用统计模型以形成针对所述第一时刻的通用统计模型格式数据，所述通用统计模型格式包括多个传感器数据集，其中所述多个传感器数据集中的每一个传感器数据集是由所述不同类型的传感器中的一个传感器输出的；数据融合模块，所述数据融合模块被配置将针对所述第一时刻的通用统计模型格式数据与历史通用统计模型格式数据进行融合以更新针对所述第一时刻的通用统计模型格式数据；对象标识模块，所述对象标识模块被配置成将经更新的针对所述第一时刻的通用统计模型格式数据与隐含模型进行比较以标识对象，所述隐含模型包括用于描述经预定义的对象的多个传感器数据样本集，其中所述多个传感器数据样本集中的每一个传感器数据样本集包括预先获取的由所述不同类型的传感器中的一个传感器描述所述经预定义的对象的传感器数据样本集。

根据本发明的一个实施例，提供了一种车辆，包括：多个不同类型的传感器；以及上述用于构建实时道路模型的装置。多个不同类型的传感器包括视觉类传感器和雷达类测距传感器，所述视觉类传感器包括摄像头，所述雷达包括激光雷达、超声波雷达、毫米波雷达中的一者或多者。

通过采用本发明公开的方法、装置和车辆，能够在一个模型中支持多种不同类型的传感器数据，使得对于车辆在道路模型具体位置的定位的精确度得到了改善。此外，通过将历史数据考虑在内，能够极大地提升所得到的传感器数据的准确性。

通过阅读下面的详细描述并参考相关联的附图，这些及其他特点和优点将变得显而易见。应该理解，前面的概括说明和下面的详细描述只是说明性的，不会对所要求保护的各方面形成限制。

附图说明

为了能详细地理解本发明的上述特征所用的方式，可以参照各实施例来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中示出。然而应该注意，附图仅示出了本发明的某些典型方面，故不应被认为限定其范围，因为该描述可以允许有其它等同有效的方面。

图1示出了根据本发明的一个实施例的具有不同类型的传感器的自动驾驶车辆100在道路上行驶的示意图。

图2示出了根据本发明的一个实施例的用于标识对象的方法200的流程图。

图3示出了根据本发明的一个实施例用于通用统计模型格式数据融合的示意图301和302。

图4示出了根据图3的实施例用于将针对第一时刻的通用统计模型格式数据与历史通用统计模型格式数据进行融合的方法400的流程图。

图5是根据本发明的一个实施例的用于标识对象的装置500的框图。

图6示出了根据本发明的一个实施例的示例性计算设备600的框图。

具体实施方式

下面结合附图详细描述本发明，本发明的特点将在以下的具体描述中得到进一步的显现。

以下具体描述参考示出本发明的示例性实施例的附图。但是，本发明的范围不限于这些实施例，而是由所附权利要求书定义。因此，诸如所示实施例的修改版本之类的在附图所示之外的实施例仍然由本发明所包含。

本说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用指的是所述实施例可包括特定的特征、结构或特点，但是每一实施例不一定包括该特定的特征、结构或特点。此外，这些短语不一定指相同的实施例。此外，当结合实施例描述具体特征、结构或特性时，应当理解在相关领域的技术人员的知识范围内能够结合其他实施例来实现具体特征、结构或特性，无论是否被显式地描述。

为便于说明，本文仅详细描述了将本发明的技术方案应用到“车辆”或“自动驾驶车辆”(这两个术语在下文中可互换地使用)的实施例，但是本领域的技术人员完全能够理解，本发明的技术方案能够应用到诸如飞机，直升机，火车，地铁，船舶等能够实现无人自动驾驶的任何交通工具。除非另有说明，否则通过本说明书使用的术语“A或B”指的是“A和B”和“A或B”，而不是指A和B是排他性的。

通用统计模型

自动驾驶车辆在道路上行驶时，需要知晓实时的道路状况。为此，多种类型的传感器被装载在车辆上以充当车辆的“眼睛”。目前广泛采用的传感器包括视觉类传感器(例如，摄像头)和雷达类测距传感器(诸如激光雷达，毫米波雷达，超声波雷达)。每种传感器具有其自身的优点和弱点。例如，摄像头成本低，可以识别不同的物体，在物体高度与宽度测量精度、车道线识别、行人识别准确度等方面有优势，是实现车道偏离预警、交通标志识别等功能不可缺少的传感器，但作用距离和测距精度不如雷达，并且容易受光照、天气等因素的影响。毫米波雷达适用于全天气环境，不受光线、雾霾、沙尘暴等恶劣天气的影响，可实现对动、静态障碍物的识别，但是在行车环境下，处于多重波段并存的环境下对毫米波雷达的影响是较大的，由此会产生数据精确度偏低的情况。激光雷达探测范围广，探测精度高，但是在雨雪雾等极端天气下性能较差，且成本较高。由此，在行车过程中使用两个或两个以上的传感器覆盖以相互校验是理想的。目前自动驾驶车辆广泛采用以下综合解决方案来达到安全冗余的目的：(1)兼具摄像头和毫米波雷达；(2)兼具摄像头和激光雷达；(3)兼具摄像头、毫米波雷达和激光雷达。

参考图1，其示出了具有不同类型的传感器的自动驾驶车辆100在道路上行驶的示意图。虽然，出于说明的目的，图1中的车辆100采用了摄像头101、毫米波雷达102和激光雷达103来标识对象，但是本领域的技术人员完全能够理解，本发明的技术方案可以采用更多或更少的传感器，例如仅采用摄像头101和毫米波雷达102或仅采用摄像头101和激光雷达103也在本发明的范围之内。

在车辆具有多种类型的传感器的情况下，每个传感器记录其自己的传感器数据并将其提供给车辆的中央处理单元。由各种类型或各种传感器制造商提供的传感器数据的格式通常是不同的。一般而言，根据车辆厂商或传感器厂商的设置，传感器输出原始传感器数据或输出将原始传感器数据进行预处理(例如，特征提取，目标提取等)之后的数据。例如，针对诸如图1中的车道线104之类的同一对象，摄像头101输出表示该车道线104的摄像头数据，诸如原始图像数据或从原始图像数据中提取的图像特征。毫米波雷达102输出表示该车道线104的毫米波雷达数据，诸如原始毫米波雷达数据或从原始毫米波雷达数据中构建的多边形序列数据。而激光雷达103输出表示该车道线104的激光雷达数据，诸如原始激光雷达数据或从原始激光雷达数据中构建的三维点云数据。当然，以上所列举的传感器输出的数据格式仅仅是说明性的，本领域的技术人员完全能够理解传感器输出的任意数据格式均在本发明的范围内。

通常，针对每种类型的传感器数据，采用一个或多个模型来记录该类型的传感器数据。但是，该种方案会产生多条传感器数据记录。例如，在某一时间t处，针对同一对象，会产生分别记录摄像头101输出的摄像头数据、毫米波雷达102输出的毫米波雷达数据和激光雷达103输出的激光雷达数据的多条数据记录。该种方案不仅消耗了过多的存储器空间，并会潜在地造成数据处理速度方面的延缓。

本发明定义了一种通用统计模型，其能够同时支持多种类型的传感器数据。该通用统计模型格式如下：{t,d_s1,d_s2...d_sn}，其表示在时间t处传感器1到传感器n所输出的一组传感器数据集。其中，s1表示装载在车辆上的传感器1，s2表示装载在车辆上的传感器2，sn表示装载在车辆上的传感器n(n为大于1的任何整数)，该n个传感器为用于标识对象的不同类型的传感器，诸如摄像头，毫米波雷达，激光雷达等。本领域的技术人员完全能够理解，取决于自动驾驶车辆厂商的具体配置和需求，其它类型的传感器(诸如超声波传感器)也被包括在本发明的范围内。

d_s1表示在时间t处s1输出的数据集，d_s2表示在时间t处s2输出的数据集，d_sn表示在时间t处sn(n为大于1的任何整数)输出的数据集。一般而言，d_s1……d_sn中的每个数据集具有不同的数据格式，诸如摄像头数据，毫米波雷达数据，激光雷达数据等。本领域的技术人员完全能够理解，根据所采用的传感器，以上数据集完全可以包括其他类型的传感器所输出的传感器数据。

通过采用该通用统计模型，在单个时刻由多个不同类型的传感器输出的数据集可以被整合在一个数据模型中，从而减轻了存储压力，并且在进行数据处理时能够更加高效。

隐含模型

在本发明中，预先定义了多个隐含模型，每个隐含模型包括描述一种对象的多种不同类型的传感器数据。仅举几个例子作为说明，对象可为：道路标志、车道线、建筑物、行人、道路边缘、桥梁、电线杆、高架结构、交通信号灯或者交通指示牌等等。

该隐含模型格式为：{pd_s1,pd_s2...pd_sn,对象}，其表示用于描述一种对象的一组不同类型的传感器数据样本集。其中，s1……sn分别对应于上述通用统计模型中的传感器s1……sn。pd_s1表示预先获得的s1所输出的描述该对象的样本集，pd_s2表示预先获得的s2所输出的描述该对象的样本集，而pd_sn表示预先获得的sn所输出的描述该对象的样本集。例如，如果对象为建筑物，并且s1为摄像头，s2为毫米波雷达，s3为激光雷达，则隐含模型被实例化为：{pd_摄像头,pd_{毫米波雷达}，pd_激光雷达,建筑物}，由此pd_摄像头可以包括描述建筑物的摄像头数据样本集，pd_{毫米波雷达}可以包括描述建筑物的毫米波雷达数据样本集，而pd_激光雷达可以包括描述建筑物的激光雷达数据样本集。

传感器数据样本集可由自动驾驶车辆厂商、传感器厂商或用户预先获得。例如，如本领域的技术人员所知的，车辆厂商、传感器厂商在训练目标模型或道路模型时可收集大量的传感器数据样本，并通过各种算法或特征提取方式对收集到的传感器数据样本进行标记。由此，由某一传感器输出的被标记为描述同一种对象的样本数据可被归集在一起，形成该传感器针对该对象的传感器数据样本集。

为了进一步说明，仅作为示例，可以通过以下方式来构建{pd_摄像头,pd_{毫米波雷达}，pd_激光雷达,建筑物}。例如，在训练期间，车辆厂商可驾驶车辆从A点行驶到B点，期间诸如摄像头、毫米波雷达、激光雷达等传感器获取了大量传感器数据样本。在对这些传感器数据样本中的每一者进行处理之后，可以将每一个传感器数据样本标记为标识某一种对象(例如，道路标志、车道线、建筑物、行人、道路边缘、桥梁、电线杆、高架结构、或者交通指示牌等等)。接着，将标识同一种对象(例如，建筑物)的多个摄像头数据样本归集到针对该对象的pd_摄像头中，将标识同一种对象(例如，建筑物)的多个毫米波雷达数据样本归集到针对该对象的pd_{毫米波雷达}中，并将标识同一种对象的多个激光雷达数据样本归集到针对该对象的pd_激光雷达中。最后，将上述三个传感器数据样本集馈送到隐含模型中以实例化为针对建筑物的隐含模型，即{pd_摄像头,pd_{毫米波雷达}，pd_激光雷达,建筑物}。

此外，传感器数据样本集中所包括的样本的数量可根据具体硬件限制、使用场景以及用户需求来变化。根据本发明的一个实施例，传感器数据样本集可被预先存储在自动驾驶车辆的存储设备中或者可实时地通过网络从自动驾驶车辆厂商的服务器、传感器厂商的服务器或各种云服务获得。

根据本发明的一个实施例，在获得实时的传感器之后，可通过将传感器数据与传感器数据样本集进行比对来标识对象。具体方式在下文中详述。

实现方式

图2描述了根据本发明的一个实施例的用于标识对象的方法200的流程图。例如，方法200可以在至少一个处理器(例如，图6的处理器604)内实现，该处理器可以位于车载计算机系统、远程服务器、或其组合中。当然，在本发明的各个方面，方法200还可以由能够执行相关操作的任何合适的装置来实现。

方法200开始于步骤210。在步骤210，在第一时刻(在下文描述中，将“第一时刻”理解为“实时地”)，获取经由车辆装载的多个不同类型的传感器在该第一时刻输出的第一组传感器数据。车辆可采取两个或两个以上的不同类型的传感器。根据本发明的一个实施例，该多个不同类型的传感器可包括摄像头以及毫米波传感器和激光雷达传感器中的一者或多者。例如，车辆可采用摄像头和毫米波雷达，采用摄像头和激光雷达，或采用摄像头、毫米波雷达和激光雷达。该第一组传感器数据包括了分别与摄像头、毫米波传感器和/或激光雷达传感器输出的实时传感器数据相对应的多个传感器数据集。当然，如本领域的技术人员可以理解的，其他数量以及其他类型的传感器也在本发明的范围内。

在步骤220，将获取的第一组传感器数据馈送到通用统计模型以形成针对该第一时刻的通用统计模型格式数据。即，通过将时间信息(诸如时间戳)以及第一组传感器数据中所包括的多个传感器数据集馈送到通用统计模型{t,d_s1,d_s2...d_sn}中以实例化该模型。例如，在车辆采用摄像头、毫米波雷达和激光雷达的情况下，针对该第一时刻的通用统计模型格式数据为{t_第一时刻,d_摄像头,d_{毫米波雷达}，d_激光雷达}。如上文所描述的，d_摄像头,d_{毫米波雷达}，d_激光雷达所输出的数据格式可以由车辆厂商或传感器厂商设置。一般而言，d_摄像头,d_{毫米波雷达}，d_激光雷达具有不同的数据格式。

在步骤230，将针对第一时刻的通用统计模型格式数据与历史通用统计模型格式数据进行融合以更新该针对第一时刻的通用统计模型格式数据。在实践中，单凭某一个时刻获取的实时传感器数据并不能十分准确地描绘对象。尤其，针对具有连续性的对象，诸如车道线等，需要多个连续时刻的传感器数据的融合来描述该车道线。

根据本发明的一个实施例，假设车辆装载的多种类型的传感器在时间上被同步，并以相同的时间间隔来输出传感器数据。根据不同的实际需求，时间间隔可以不同，例如0.1秒、0.2秒、0.5秒、1秒等等。当然，其他时间长短的时间间隔也在本发明的范围内。根据本发明的一个或多个实施例，历史通用统计模型格式数据可在第一时刻之前的数个连续时刻被形成，并被存储在车辆的存储器中或被高速缓存以便快速读取。如应该理解的，历史通用统计模型格式数据与针对第一时刻的通用统计模型格式数据具有相同的数据格式，并以与针对第一时刻的通用统计模型格式数据形成方式相同的方式在第一时刻之前的一个或多个时刻处形成。

图3示出了根据本发明的一个或多个实施例用于通用统计模型格式数据融合的示意图301和302。简而言之，图示301所示的是单次融合，而图示302所示的是迭代的多次融合。

图示301是示出了将针对第一时刻的通用统计模型格式数据与包括针对第一时刻之前的阈值时间段内的多个先前时刻的多个通用统计模型格式数据的历史通用统计模型格式数据进行融合的示意图。即，将{t_第一时刻,d_s1,d_s2...d_sn}与针对先前多个连续时刻的{t_{第一时刻-1},d_s1,d_s2...d_sn}，{t_{第一时刻-2},d_s1,d_s2...d_sn}……{t_{第一时刻-tn},d_s1,d_s2...d_sn}进行融合，以更新{t_第一时刻,d_s1,d_s2...d_sn}。其中，相邻的两个时刻之间，例如，t_第一时刻与t_{第一时刻-1}之间，t_{第一时刻-1}与t_{第一时刻-2}之间，间隔如上所述的预定的时间间隔，并且t_{第一时刻-tn}到t_第一时刻之间所经过的阈值时间段也可根据实际需求来进行选择。例如，在预定的时间间隔为0.1秒的情况下，该阈值时间段可选取为1秒，由此选择由第一时刻往前1秒内的10个(即，在这种情况下，tn为10)历史通用统计模型格式数据来进行融合。例如，可以将{t_第一时刻,d_s1,d_s2...d_sn}与针对先前1秒内的10个历史通用统计模型格式数据进行融合以用经融合的传感器数据更新{t_第一时刻,d_s1,d_s2...d_sn}来得到{t_第一时刻,d_s1’,d_s2’...d_sn’}，其中10个历史通用统计模型格式数据中的每一个分别对应于第一时刻之前1秒内的以0.1米为时间间隔所获得的通用统计模型格式数据。由此可见，图示301的方式是将{t_第一时刻,d_s1,d_s2...d_sn}与历史通用统计模型格式数据融合一次来更新{t_第一时刻,d_s1,d_s2...d_sn}。

图示302是示出了将针对自第一时刻之前的阈值时间段内的多个先前时刻的多个通用统计模型格式数据迭代地进行融合的示意图。继续上述示例，分别假设阈值时间段为1秒，相邻两个时刻之间的预定时间间隔为0.1秒。迭代地将针对前一时刻的通用统计模型格式数据与针对后一时刻的通用统计模型格式数据进行融合以更新针对后一时刻的通用统计模型格式数据，直到更新了针对第一时刻的通用统计模型格式数据，从而得到{t_第一时刻,d_s1’,d_s2’...d_sn’}。

例如，首先，将{t_{第一时刻-tn},d_s1,d_s2...d_sn}与{t_{第一时刻-tn+1},d_s1,d_s2...d_sn}融合以更新{t_{第一时刻-tn+1},d_s1,d_s2...d_sn}，得到更新后的{t_{第一时刻-tn+1},d_s1’,d_s2’...d_sn’}。接着，将{t_{第一时刻-tn+1},d_s1’,d_s2’...d_sn’}与{t_{第一时刻-tn+2},d_s1,d_s2...d_sn}融合以更新{t_{第一时刻-tn+2},d_s1,d_s2...d_sn}，得到更新后的{t_{第一时刻-tn+2},d_s1’,d_s2’...d_sn’}。接着，将{t_{第一时刻-tn+2},d_s1’,d_s2’...d_sn’}与{t_{第一时刻-tn+3},d_s1,d_s2...d_sn}融合以更新{t_{第一时刻-tn+3},d_s1,d_s2...d_sn}，得到更新后的{t_{第一时刻-tn+3},d_s1’,d_s2’...d_sn’}。以此类推，直到将{t_{第一时刻-1},d_s1’,d_s2’...d_sn’}与{t_第一时刻,d_s1,d_s2...d_sn}融合以更新{t_第一时刻,d_s1,d_s2...d_sn}，得到更新后的{t_第一时刻,d_s1’,d_s2’...d_sn’}。

为了使得融合后的数据更为准确，可以在融合过程中采用以下数学方法。图4示出了根据图3的实施例用于针对第一时刻的通用统计模型格式数据与历史通用统计模型格式数据进行融合的方法400的流程图。在步骤410，获得历史通用统计模型格式数据，该历史通用统计模型格式数据包括针对第一时刻之前的阈值时间段内的多个先前时刻的多个通用统计模型格式数据。

在步骤420，将针对第一时刻的通用统计模型格式数据与历史通用统计模型格式数据转换到同一个坐标系下。例如，假设将车辆作为本地坐标系的原点，将车辆的行进方向作为本地坐标系的x轴，将与车辆的行进方向垂直的方向作为本地坐标系的y轴。则随着车辆从时间t_{第一时刻-1}到t_第一时刻，车辆朝着行进方向行驶了距离L，则可理解在t_第一时刻处的本地坐标系的原点相较于t_{第一时刻-1}处的本地坐标系的原点移动了(L_x,L_y)。通过坐标转换，所收集的历史通用统计模型格式数据中的传感器数据集被转换到t_第一时刻的本地坐标系中，由此使得用于融合的所有传感器数据集均处于同一个坐标系下。根据本发明的另一实施例，可以将所收集的历史通用统计模型格式数据和针对第一时刻的通用统计模型格式数据所采用的各类坐标统一转换为世界坐标系下的坐标，由此使得用于融合的所有传感器数据集均处于同一个坐标系下。各种坐标转换方法包括但不限于，二维空间下坐标的平移和旋转，三维空间下坐标的平移和旋转等等。

在步骤430，根据图3示出的两种融合方式301和302中的任一种对具有同一坐标系下的传感器数据集的针对第一时刻的通用统计模型格式数据和历史通用统计模型格式数据进行融合，以使得针对第一时刻的通用统计模型格式数据被更新为包括经融合的传感器数据。如本领域的技术人员所知的，为了得到平滑且连贯的数据，融合过程包括对数据集的聚集和去噪。例如，在采用301的融合方式中，分别假设阈值时间段为1秒，相邻两个时刻之间的预定时间间隔为0.1秒。将{t_第一时刻,d_s1,d_s2...d_sn}中的d_s1,d_s2...d_sn所包括的传感器数据集和前10个历史通用统计模型格式数据中的d_s1,d_s2...d_sn所包括的传感器数据集进行聚集，再将聚集后的传感器数据集中的重复数据或异常数据去除或过滤，以得到融合后的经更新的{t_第一时刻,d_s1’,d_s2’...d_sn’}。又例如，在采用302的融合方式中，前后两个连续时刻的通用统计模型格式数据中所包括的传感器数据集也被类似地聚集和去噪，由此更新针对后一时刻的通用统计模型格式数据，直到更新了针对第一时刻的通用统计模型格式数据。

在一个实施例中，还可以采用加权平均算法来进行融合。例如，在聚集时，时间上越靠近第一时刻记录的历史通用统计模型格式数据被赋予较高的权重，而时间上越远离第一时刻记录的通用统计模型格式数据被赋予较低的权重。当然，其他加权的方式也可被构想。

返回图2，在步骤240，将经更新的针对第一时刻的通用统计模型格式数据与隐含模型进行比较以标识对象。如上所述，隐含模型格式为{pd_s1,pd_s2...pd_sn,对象}，其表示用于描述一种对象的一组不同类型的传感器数据样本集。通过将步骤250中得到的{t_第一时刻,d_s1’,d_s2’...d_sn’}与一个或多个{pd_s1,pd_s2...pd_sn,对象}进行比较，可以得出{t_第一时刻,d_s1’,d_s2’...d_sn’}描述的具体对象。根据本发明的一个实施例，假设车辆采用了三种传感器，并且将{t_第一时刻,d_s1’,d_s2’，d_s3’}与{pd_s1,pd_s2,pd_s3,对象₁}进行比较。在该示例下，将d_s1’与pd_s1，d_s2’与pd_s2，d_s3’与pd_s3分别进行比较来判定{t_第一时刻,d_s1’,d_s2’，d_s3’}是否描述了对象₁。具体实践中，在针对三个传感器的三个比较结果中很有可能出现三个比较结果并不全部为真的情况。对此，车辆厂商可以预先定义判定准则，例如三个传感器数据集的比较结果中有两个比较结果为真即视为整体比较结果为真，或者三个传感器数据集的比较结果中必须有三个比较结果为真才能视为整体比较结果为真。

或者，根据预先设置，车辆可根据当前的气候环境、道路环境或要标识的对象来自动选择判定准则。例如，如上所述，不同种类的传感器具有不同的优缺点。取决于传感器对于环境条件的不同适应性，在雾霾、大雾之类的能见度较差的环境下，可以将毫米波雷达输出的传感器数据集的置信度指定为较高，而在环境条件较好的情况下，将激光雷达和摄像头输出的传感器数据集的置信度指定为较高。此外，可以取决于不同种类的传感器获得数据的方式，可针对不同类型的对象来设置不同传感器数据集的置信度。例如，针对某些具有三维特性的对象，诸如建筑物，可将摄像头输出的传感器数据集的置信度设为低于激光传感器和毫米波雷达传感器输出的传感器数据集的置信度，然而针对某些平面对象，诸如车道线、地面交通标志，可将摄像头输出的传感器数据集的置信度设为低于激光传感器和毫米波雷达传感器输出的传感器数据集的置信度。通过该种方式，一般而言，可通过以下等式来计算整体判定结果：

整体＝置信度_s1*S1+置信度_s2*S2+……+置信度_sn*Sn。

其中，置信度_s1+置信度_s2+……置信度_sn＝1，S1为d_s1’与pd_s1的比较结果，S2为d_s2’与pd_s2的比较结果，Sn位d_sn’与pd_sn的比较结果。其中，S1，S2……Sn为1或0。例如，S1＝1表示d_s1’与pd_s1相比后得出d_s1’标识pd_s1所描述的对象，而S1＝0表示d_s1’与pd_s1相比后得出d_s1’不标识pd_s1所描述的对象。对于S2…Sn也为如此。由此，车辆厂商或者用户可以设定，如果整体>预定值(例如，50％)，则可确定{t_第一时刻,d_s1’,d_s2’...d_sn’}标识{pd_s1,pd_s2...pd_sn,对象}所描述的对象。当然，各种其他不同的判定准则也可被构想。

在将经更新的针对第一时刻的通用统计模型格式数据与隐含模型进行比较后，也有可能得出经更新的针对第一时刻的通用统计模型格式数据并没有成功地标识出对象的情况。在这种情况下，可通过各种方式提取车辆周围阈值范围内的地图数据来作为车辆行驶的实时道路模型。例如，地图可被预装在自动驾驶车辆的存储器中或者可通过网络从地图供应商获得。地图可以包括诸如OSM(Open Street Map)离线地图之类的离线地图。或者，为了获得进一步的更精确的厘米级的定位，可以使用高精度地图(诸如Google、HERE等地图供应商提供的高精度地图)。本领域的技术人员可以理解，其他类型的地图也也可被使用。

由此，通过使用本发明的方法，相较于从各个不同类型的传感器分别获得传感器数据并分开地进行处理，通过将不同种类的传感器数据集放入统一的数据模型中，能够更加快速地对传感器数据集进行处理。

图5是根据本发明的一个实施例的用于标识对象的装置500的框图。装置500的所有功能块(包括在装置500中的各个单元)可通过硬件、软件、硬件和软件的组合来实现。本领域技术人员应当理解，图5中描述的功能块可被组合成单个功能块或者划分成多个子功能块。

装置500可包括传感器数据获取模块510，该传感器数据获取模块510被配置成获取在第一时刻由车辆上装载的不同类型的传感器输出的第一组传感器数据。装置500可进一步包括数据馈送模块520，该数据馈送模块520被配置成将第一组传感器数据馈送到通用统计模型以形成针对第一时刻的通用统计模型格式数据。装置500可进一步包括数据融合模块530，该数据融合模块530被配置将针对第一时刻的通用统计模型格式数据与历史通用统计模型格式数据进行融合以更新针对第一时刻的通用统计模型格式数据。装置500还可进一步包括对象标识模块540，该对象标识模块540被配置成将经更新的针对第一时刻的通用统计模型格式数据与隐含模型进行比较以标识对象。

图6示出了根据本发明的一个实施例的示例性计算设备的框图，该计算设备是可应用于本发明的各方面的硬件设备的一个示例。

参考图6，现在将描述一种计算设备600，该计算设备是可应用于本发明的各方面的硬件设备的一个示例。计算设备600可以是可被配置成用于实现处理和/或计算的任何机器，可以是但并不局限于工作站、服务器、桌面型计算机、膝上型计算机、平板计算机、个人数字处理、智能手机、车载计算机或者它们的任何组合。前述的各种方法/装置/服务器/客户端设备可全部或者至少部分地由计算设备600或者类似设备或系统来实现。

计算设备600可包括可经由一个或多个接口和总线602连接或通信的组件。例如，计算设备600可包括总线602、一个或多个处理器604、一个或多个输入设备606以及一个或多个输出设备608。该一个或多个处理器604可以是任何类型的处理器并且可包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(例如，专门的处理芯片)。输入设备606可以是任何类型的能够向计算设备输入信息的设备并且可以包括但不限于鼠标、键盘、触摸屏、麦克风和/或远程控制器。输出设备608可以是任何类型的能够呈现信息的设备并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。计算设备600也可以包括非瞬态存储设备610或者与所述非瞬态存储设备相连接，所述非瞬态存储设备可以是非瞬态的并且能够实现数据存储的任何存储设备，并且所述非瞬态存储设备可以包括但不限于磁盘驱动器、光存储设备、固态存储器、软盘、软磁盘、硬盘、磁带或任何其它磁介质、光盘或任何其它光介质、ROM(只读存储器)、RAM(随机存取存储器)、高速缓冲存储器和/或任何存储芯片或盒式磁带、和/或计算机可从其读取数据、指令和/或代码的任何其它介质。非瞬态存储设备610可从接口分离。非瞬态存储设备610可具有用于实施上述方法和步骤的数据/指令/代码。计算设备600也可包括通信设备612。通信设备612可以是任何类型的能够实现与内部装置通信和/或与网络通信的设备或系统并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信设备和/或芯片组，例如蓝牙设备、IEEE 1302.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似设备。

当计算设备600被用作车载设备时，它也可以与外部设备(例如，GPS接收机、用于感测不同环境数据的传感器(诸如加速度传感器、车轮速度传感器、陀螺仪等))连接。以这种方式，计算设备600例如可接收定位数据和表明车辆形式状况的传感器数据。当计算设备600被用作车载设备时，它也可以与用于控制车辆的行驶和操作的其它设备(例如，发动机系统、雨刮器、防抱死制动系统等)连接。

此外，非瞬态存储设备610可以具有地图信息和软件组件，从而处理器604可实现路线引导处理。此外，输出设备606可以包括用于显示地图、显示车辆的定位标记以及显示表明车辆行驶状况的图像的显示器。输出设备606也可以包括扬声器或耳机接口以用于音频引导。

总线602可以包括但不限于工业标准结构(ISA)总线、微通道结构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)局部总线和外部设备互连(PCI)总线。特别地，对于车载设备，总线602也可包括控制器局域网(CAN)总线或者为汽车上的应用所设计的其它结构。

计算设备600还可包括工作存储器614，该工作存储器614可以是任何类型的能够存储有利于处理器604的工作的指令和/或数据的工作存储器并且可以包括但不限于随机存取存储器和/或只读存储设备。

软件组件可位于工作存储器614中，这些软件组件包括但不限于操作系统616、一个或多个应用程序618、驱动程序和/或其它数据和代码。用于实现上述方法和步骤的指令可包含在所述一个或多个应用程序618中，并且前述各种装置/服务器/客户端设备的模块/单元/组件可通过处理器604读取和执行所述一个或多个应用程序618的指令来实现。

也应该认识到可根据具体需求而做出变化。例如，也可使用定制硬件、和/或特定组件可在硬件、软件、固件、中间件、微代码、硬件描述语音或其任何组合中实现。此外，可采用与其它计算设备、例如网络输入/输出设备等的连接。例如，可通过具有汇编语言或硬件编程语言(例如，VERILOG、VHDL、C++)的编程硬件(例如，包括现场可编程门阵列(FPGA)和/或可编程逻辑阵列(PLA)的可编程逻辑电路)利用根据本发明的逻辑和算法来实现所公开的方法和设备的部分或全部。

尽管目前为止已经参考附图描述了本发明的各方面，但是上述方法、系统和设备仅是示例，并且本发明的范围不限于这些方面，而是仅由所附权利要求及其等同物来限定。各种组件可被省略或者也可被等同组件替代。另外，也可以在与本发明中描述的顺序不同的顺序实现所述步骤。此外，可以按各种方式组合各种组件。也重要的是，随着技术的发展，所描述的组件中的许多组件可被之后出现的等同组件所替代。

Claims (15)

1.一种用于标识对象的方法，包括：

在第一时刻，获取经由车辆装载的多个不同类型的传感器输出的第一组传感器数据；

将所述第一组传感器数据馈送到通用统计模型以形成针对所述第一时刻的通用统计模型格式数据，所述通用统计模型格式包括多个传感器数据集，其中所述多个传感器数据集中的每一个传感器数据集是由所述不同类型的传感器中的一个传感器输出的；

将针对所述第一时刻的通用统计模型格式数据与历史通用统计模型格式数据进行融合以更新针对所述第一时刻的通用统计模型格式数据；以及

将经更新的针对所述第一时刻的通用统计模型格式数据与隐含模型进行比较以标识对象，所述隐含模型包括用于描述经预定义的对象的多个传感器数据样本集，其中所述多个传感器数据样本集中的每一个传感器数据样本集包括预先获取的由所述不同类型的传感器中的一个传感器描述所述经预定义的对象的传感器数据样本集。

2.如权利要求1所述的方法，其特征在于，将针对所述第一时刻的通用统计模型格式数据与历史通用统计模型格式数据进行融合包括：将针对所述第一时刻的通用统计模型格式数据与包括针对所述第一时刻之前的阈值时间段内的多个先前时刻的多个通用统计模型格式数据的历史通用统计模型格式数据进行融合。

3.如权利要求1所述的方法，其特征在于，将针对所述第一时刻的通用统计模型格式数据与历史通用统计模型格式数据进行融合包括：

对于针对自所述第一时刻之前的阈值时间段内的多个先前时刻的多个通用统计模型格式数据，迭代地执行：将针对每一时刻的通用统计模型格式数据与针对预定时间间隔之后的后一时刻的通用统计模型格式数据进行融合以更新针对后一时刻的通用统计模型格式数据，直到更新了针对所述第一时刻的通用统计模型格式数据。

4.如权利要求1所述的方法，其特征在于，所述融合进一步包括：通过以下中的任一种方式使得所述历史通用统计模型格式数据和针对所述第一时刻的通用统计模型格式数据均采用同一坐标系来表示：将所述车辆在所述第一时刻处的位置作为本地坐标系的原点来将所述历史通用统计模型格式数据转换到所述本地坐标系中，或，将所述历史通用统计模型格式数据和针对所述第一时刻的通用统计模型格式数据中采用的各类坐标统一转换为世界坐标系下的坐标。

5.如权利要求4所述的方法，其特征在于，所述融合进一步包括：将所述历史通用统计模型格式数据和针对所述第一时刻的通用统计模型格式数据中由相同的传感器输出的传感器数据集相应地聚集在一起，并去除各个经聚集的传感器数据集中的重复数据。

6.如权利要求1所述的方法，其特征在于，所述对象包括以下至少一者：道路标志、车道线、建筑物、行人、另一车辆、道路边缘、桥梁、电线杆、高架结构、或者交通指示牌。

7.如权利要求1所述的方法，其特征在于，所述多个不同类型的传感器包括视觉类传感器和雷达类测距传感器，所述视觉类传感器包括摄像头，所述雷达包括激光雷达、超声波雷达、毫米波雷达中的一者或多者。

8.如权利要求1所述的方法，其特征在于，将经更新的针对所述第一时刻的通用统计模型格式数据与隐含模型进行比较以标识对象进一步包括：取决于当前的气候环境或要标识的对象，每个传感器输出的传感器数据集被赋予不同的置信度。

9.一种用于构建实时道路模型的装置，包括：

传感器数据获取模块，所述传感器数据获取模块被配置成获取在第一时刻由车辆上装载的不同类型的传感器输出的第一组传感器数据；

数据馈送模块，所述馈送模块被配置成将所述第一组传感器数据馈送到通用统计模型以形成针对所述第一时刻的通用统计模型格式数据，所述通用统计模型格式包括多个传感器数据集，其中所述多个传感器数据集中的每一个传感器数据集是由所述不同类型的传感器中的一个传感器输出的；

数据融合模块，所述数据融合模块被配置将针对所述第一时刻的通用统计模型格式数据与历史通用统计模型格式数据进行融合以更新针对所述第一时刻的通用统计模型格式数据；以及

对象标识模块，所述对象标识模块被配置成将经更新的针对所述第一时刻的通用统计模型格式数据与隐含模型进行比较以标识对象，所述隐含模型包括用于描述经预定义的对象的多个传感器数据样本集，其中所述多个传感器数据样本集中的每一个传感器数据样本集包括预先获取的由所述不同类型的传感器中的一个传感器描述所述经预定义的对象的传感器数据样本集。

10.如权利要求9所述的装置，其特征在于，所述数据融合模块被进一步配置为：将针对所述第一时刻的通用统计模型格式数据与包括针对所述第一时刻之前的阈值时间段内的多个先前时刻的多个通用统计模型格式数据的历史通用统计模型格式数据进行融合。

11.如权利要求9所述的装置，其特征在于，所述数据融合模块被进一步配置为：

对于针对自所述第一时刻之前的阈值时间段内的多个先前时刻的多个通用统计模型格式数据，迭代地执行：将针对每一时刻的通用统计模型格式数据与针对预定时间间隔之后的后一时刻的通用统计模型格式数据进行融合以更新针对后一时刻的通用统计模型格式数据，直到更新了针对所述第一时刻的通用统计模型格式数据。

12.如权利要求9所述的装置，其特征在于，所述对象标识模块被进一步配置成：取决于当前天气情况或要标识的对象，每个传感器输出的传感器数据集被赋予不同的置信度。

13.如权利要求9所述的装置，其特征在于，所述多个不同类型的传感器包括视觉类传感器和雷达类测距传感器，所述视觉类传感器包括摄像头，所述雷达包括激光雷达、超声波雷达、毫米波雷达中的一者或多者。

14.一种车辆，包括：

多个不同类型的传感器；以及

如权利要求9所述的装置。

15.如权利要求14所述的车辆，其特征在于，所述多个不同类型的传感器包括视觉类传感器和雷达类测距传感器，所述视觉类传感器包括摄像头，所述雷达包括激光雷达、超声波雷达、毫米波雷达中的一者或多者。

Images