CN117128979A - 一种多传感器融合方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种多传感器融合方法、装置、电子设备及存储介质；该方法包括：在车辆行驶过程中，通过多个类型的传感器分别采集当前时刻上的感知数据；将多个类型的传感器采集到的感知数据进行融合，得到融合后的感知数据；将融合后的感知数据存储至优先级队列中，并基于优先级队列中的融合后的感知数据对车辆的周围环境进行感知。采用本申请提供的技术方案，可以保证融合结果的准确性和实效性，从而可以为自动驾驶提供有效的数据支持。

Description

一种多传感器融合方法、装置、电子设备及存储介质

技术领域

本申请实施例涉及自动驾驶技术领域，尤其涉及一种多传感器融合方法、装置、电子设备及存储介质。

背景技术

自动驾驶是通过传感器实时感知周围车辆及环境，通过后端功能规划控制模块决策车辆的行驶，从而实现无人情况下的自动行驶。自动驾驶系统使用各种传感器、雷达、相机和计算机视觉等技术，通过获取和分析周围环境的数据，来实现车辆的自主导航、行驶路径规划和避免障碍物等功能。自动驾驶技术的目标是提高行驶安全性、减少交通事故、提高能源效率和提供更便利的交通服务。它可以通过减少驾驶错误、减少交通阻塞和提高司机的舒适性来实现这些目标。进一步地，自动驾驶技术通常分为级别0到级别5。级别0表示完全由人类驾驶，而级别5表示车辆完全独立地运行，没有人类干预的需求。目前，大多数自动驾驶技术还处于级别2或者级别3，需要人类司机在某些情况下接管车辆控制。

感知融合是自动驾驶的“眼睛”，它接收传感器感知到的各种各样的信息，例如周围环境、自车速度、姿态、加速度等，为作为“大脑”的决策系统提供数据支持；供决策系统的数据种类越丰富，自动驾驶的功能也就越丰富，相应的需要计算资源也就越高。多传感器感知融合可以综合利用各个传感器的特性，形成对外部环境的全面感知，提升外部感知能力，是对单一传感器感知的有效补充。

目前主流的感知融合方案主要有：纯视觉感知方案和基于视觉、毫米波、激光雷达的多传感器融合方案。纯视觉方案对硬件要求不是很高，是2级辅助驾驶的主流选择。但对于2级以上的辅助驾驶，纯视觉方案则无法满足更高级别的功能需求。在多传感器融合方案中，使用激光雷达作为主传感器，用以触发融合过程，由于各个传感器的周期和帧率不同，因此采用该方案存在一个问题是：某一个融合周期中可能使用的传感器数据不是当前最新时刻的数据，而是上一帧的数据，由此可能会导致融合结果不准确。

发明内容

本申请提供一种多传感器融合方法、装置、电子设备及存储介质，可以保证融合结果的准确性和实效性，从而可以为自动驾驶提供有效的数据支持。

第一方面，本申请实施例提供了一种多传感器融合方法，该方法包括：

在车辆行驶过程中，通过多个类型的传感器分别采集当前时刻上的感知数据；其中，多个类型的传感器包括但不限于：摄像头、毫米波雷达和激光雷达；

将多个类型的传感器采集到的感知数据进行融合，得到融合后的感知数据；

将融合后的感知数据存储至优先级队列中，并基于优先级队列中的融合后的感知数据对车辆的周围环境进行感知。

第二方面，本申请实施例还提供了一种多传感器融合装置，该装置包括：采集模块、融合模块和感知模块；其中，

采集模块，用于在车辆行驶过程中，通过多个类型的传感器分别采集当前时刻上的感知数据；其中，多个类型的传感器包括但不限于：摄像头、毫米波雷达和激光雷达；

融合模块，用于将多个类型的传感器采集到的感知数据进行融合，得到融合后的感知数据；

感知模块，用于将融合后的感知数据存储至优先级队列中，并基于优先级队列中的融合后的感知数据对车辆的周围环境进行感知。

第三方面，本申请实施例提供了一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请任意实施例所述的多传感器融合方法。

第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请任意实施例所述的多传感器融合方法。

本申请实施例提出了一种多传感器融合方法、装置、电子设备及存储介质，先在车辆行驶过程中，通过多个类型的传感器分别采集当前时刻上的感知数据；然后将多个类型的传感器采集到的感知数据进行融合，得到融合后的感知数据；再将融合后的感知数据存储至优先级队列中，并基于优先级队列中的融合后的感知数据对车辆的周围环境进行感知。也就是说，在本申请的技术方案中，可以根据优先级队列中的融合后的感知数据，对车辆的周围环境进行感知。因此，和现有技术相比，本申请实施例提出的多传感器融合方法、装置、电子设备及存储介质，不仅可以保证融合结果的准确性和实效性，还可以为自动驾驶提供有效的数据支持；并且，本申请实施例的技术方案实现简单方便、便于普及，适用范围更广。

附图说明

图1为本申请实施例提供的多传感器融合方法的第一流程示意图；

图2为本申请实施例提供的多传感器融合方法的第二流程示意图；

图3为本申请实施例提供的传感器与消息队列的对应关系的示意图；

图4为本申请实施例提供的多传感器融合方法的第三流程示意图；

图5为本申请实施例提供的多传感器融合装置的结构示意图；

图6为本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。

实施例一

图1为本申请实施例提供的多传感器融合方法的第一流程示意图，该方法可以由多传感器融合装置或者电子设备来执行，该装置或者电子设备可以由软件和/或硬件的方式实现，该装置或者电子设备可以集成在任何具有网络通信功能的智能设备中。如图1所示，多传感器融合方法可以包括以下步骤：

步骤110、在车辆行驶过程中，通过多个类型的传感器分别采集当前时刻上的感知数据。

传感器是能感受到被测量的信息，并能将感受到的信息，按一定规律变换成为电信号或其他所需形式的信息输出，以满足信息的传输、处理、存储、显示、记录和控制等要求的检测装置。可选的，传感器可以是摄像头、超声波雷达、毫米波雷达或激光雷达等，本申请实施例对此不进行限制。感知数据是指通过感知设备如不同传感器获得的数据，其中，感知设备为不同类型的传感器。可选的，感知数据可以是周围的车辆、行人、交通信号灯、交通标志物和/或所处的场景等，本申请实施例对此不进行限制。

具体地，在车辆行驶过程中，通过配置在车辆上的多个类型的传感器对当前时刻上的感知数据分别进行采集。

步骤120、将多个类型的传感器采集到的感知数据进行融合，得到融合后的感知数据。

在本步骤中，电子设备可以将多个类型的传感器采集到的感知数据进行融合，得到融合后的感知数据。具体地，将多个类型的传感器采集到的感知数据进行融合可以采用以下方法：1)基于规则的融合：该方法通过预定义的规则和逻辑，将不同传感器采集到的数据进行权重分配和组合。例如，可以根据传感器的准确性和可靠性，赋予不同传感器不同的权重，然后将它们加权求和或者取平均值来得到融合后的数据。2)统计学方法：该方法利用统计学原理，通过概率模型或贝叶斯滤波等方法，对不同传感器采集到的数据进行融合。其中常用的方法包括卡尔曼滤波、粒子滤波等，这些方法能够考虑传感器数据的不确定性，并且可以实时更新融合结果，从而提高融合效果。3)机器学习方法：该方法利用机器学习算法，通过训练数据和特征提取，学习传感器数据之间的关系，并进行融合。常见的机器学习方法包括决策树、神经网络等，这些方法可以自适应地学习传感器数据的特征和模式，从而提高融合的准确性和鲁棒性。

在本申请实施例中，通过融合多个传感器采集的感知数据，提高了传感器系统的有效性，消除单个或少量传感器的局限性，使该传感器系统所提供的信息比它的各组成部分子集单独提供的信息更有优越性。

步骤130、将融合后的感知数据存储至优先级队列中，并基于优先级队列中的融合后的感知数据对车辆的周围环境进行感知。

优先级队列是一种特殊的队列，其中每个元素都有一个对应的优先级。优先级队列的出队顺序不是按照元素的插入顺序，而是按照元素的优先级确定的。一般来说，优先级可以是任何可以进行比较的值，例如，整数、浮点数或自定义对象。较小的值通常被视为具有更高的优先级，因此在出队时会先处理较小优先级的元素。

本申请实施例可以采用大根堆的方式构建优先级队列。具体地，采用大根堆的方式构建优先级队列的方法可以包括以下步骤：1)首先定义一个数据结构用来表示大根堆。该数据结构可以是一个数组，数组中的索引表示节点的位置，数组中的值表示节点的值。2)创建一个空的大根堆，并初始化为空。3)定义一个插入函数用来向大根堆中插入元素。4)定义一个删除函数用来删除大根堆中的根节点。5)定义一个获取根节点函数用来获取大根堆中的最大值，即根节点的值。6)根据需求，可以添加其他函数或方法来实现优先级队列的功能，例如获取队列的长度，判断队列是否为空等。

在本步骤中，电子设备可以将融合后的感知数据存储至优先级队列中，并基于优先级队列中的融合后的感知数据对车辆的周围环境进行感知。具体地，基于优先级队列中的感知数据对车辆的周围环境进行感知可以包括以下步骤：1)获取车辆的感知数据，并将其加入优先级队列中。感知数据可以是来自传感器的各种信息，例如摄像头图像、雷达数据、激光扫描数据等。2)定义优先级函数，根据感知数据的重要程度为其分配优先级。根据实际应用需求，可以根据数据的准确性、及时性、重要性等因素来确定优先级。3)从优先级队列中选择具有最高优先级的感知数据进行处理。4)根据感知数据进行环境感知的相关处理。具体的处理方法取决于应用需求，可以是图像处理、目标检测、障碍物识别等。5)循环执行上述步骤，直到优先级队列中没有数据为止。通过以上步骤，可以基于优先级队列中的感知数据对车辆的周围环境进行感知，还可以根据实际需求对感知数据进行优先级处理和相应的处理操作。

本申请实施例提出的多传感器融合方法，先在车辆行驶过程中，通过多个类型的传感器分别采集当前时刻上的感知数据；然后将多个类型的传感器采集到的感知数据进行融合，得到融合后的感知数据；再将融合后的感知数据存储至优先级队列中，并基于优先级队列中的融合后的感知数据对车辆的周围环境进行感知。也就是说，在本申请的技术方案中，可以根据优先级队列中的融合后的感知数据，对车辆的周围环境进行感知。而在现有的第一种感知融合方法中，对硬件要求不是很高，是2级辅助驾驶的主流选择，但对于2级以上的辅助驾驶，该方案则无法满足更高级别的功能需求；在现有的第二种检测道路差异的方法中，它使用激光雷达作为主传感器，用以触发融合过程，由于各个传感器的周期和帧率不同，因此在某一个融合周期中可能使用的传感器数据不是当前最新时刻的数据，而是上一帧的数据，由此可能会导致融合结果不准确。因此，和现有技术相比，本申请实施例提出的多传感器融合方法，不仅可以保证融合结果的准确性和实效性，还可以为自动驾驶提供有效的数据支持；并且，本申请实施例的技术方案实现简单方便、便于普及，适用范围更广。

实施例二

图2为本申请实施例提供的多传感器融合方法的第二流程示意图。基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。如图2所示，多传感器融合方法可以包括以下步骤：

步骤210、在车辆行驶过程中，通过多个类型的传感器分别采集当前时刻上的感知数据。

步骤220、在各个类型的传感器中分别获取各个类型的传感器采集到的感知数据。

具体地，在各个类型的传感器中分别获取各个类型的传感器采集到的感知数据可以包括以下步骤：1)将不同类型的传感器安装在车辆上相应的位置。2)使用不同类型的传感器采集相应的数据，采集时包括：a)信号采集：传感器感知到环境中某种特定物理量的变化后，会转换成与这个物理量相应的电信号。b)信号放大：传感器为了提高信号的相对强度，通常会在信号处理器中对信号进行放大处理。c)信号滤波：在实际的生产环境中，传感器可能会受到各种环境因素的干扰，使得信号略有扭曲或者含有噪音。这时，信号处理器会对信号进行滤波以提高信号的质量和可靠性。d)数字转换：信号处理器将模拟信号转换成数字信号后，将数据传输到计算机或者控制单元，以便进一步的数字信号处理和数据分析。

示例性的，通过把短距离超声波安装在车辆的前后保险杠处，来获取倒车时探测近处障碍物的感知数据，把远距离超声波安装在车辆左右，来获取停车时探测近处障碍物的感知数据，帮助判断是否有空车位。

在本申请实施例中，为了提高环境感知的准确度，通常需要多种传感器的组合，因此需要从给车辆配置的各个类型的传感器中分别获取各个类型的传感器采集到的感知数据。

步骤230、将多个类型的传感器采集到的感知数据存储至多个类型的消息队列中。

消息队列是指利用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成，是在消息的传输过程中保存消息的容器，它本质上是一个队列，而队列中存放的是一个个消息。可选的，消息队列可以是视觉消息队列、毫米波消息队列和/或激光消息队列，本申请实施例对此不进行限制。

具体地，将多个类型的传感器采集到的感知数据存储至多个类型的消息队列中可以包括以下步骤：1)通过不同类型的传感器采集其各自对应的感知数据中。2)将采集到的感知数据存储到多个类型的消息队列中，即使用多路消息队列缓存数据帧。消息队列采用了数组模拟的环形队列，环形队列是首尾相连的先进后出的数据结构，而采用数组模拟的方法是为了让运行速度更快。3)通过定时器循环获取全部缓存的数据帧，再按照各传感器曝光时间进行排序，存入到优先级队列中。4)在优先级队列中完成所有数据帧的融合，即一个融合周期结束。5)最后将得到的结果传送出去。

图3为本申请实施例提供的传感器与消息队列的对应关系的示意图。如图3所示，如图3所示，电子设备可以分别通过摄像头获取视觉信息、毫米波雷达获取毫米波消息、激光雷达获取激光消息；然后将视觉信息存入视觉消息队列、将毫米波消息存入毫米波消息队列、将激光消息存入激光消息队列；再按照这三个传感器的曝光时间进行排序，存入到优先级队列中；最后在优先级队列中完成所有数据帧的融合，并将得到的结果传送出去。

在本申请实施例中，通过将多个类型的传感器采集到的感知数据存储至多个类型的消息队列中，帮助系统节省了资源，避免了频繁的内存开销。

步骤240、将多个类型的消息队列中的感知数据进行融合，得到融合后的感知数据。

在本步骤中，电子设备可以将多个类型的消息队列中的感知数据进行融合，得到融合后的感知数据。具体地，电子设备可以先在各个类型的消息队列中提取出全部的感知数据；其中，感知数据至少包括：时间戳和感知内容；感知内容可以是周围环境、自车速度、姿态和/或加速度等。然后根据各个感知数据的时间戳将各个时间戳对应的感知内容进行融合，得到融合后的感知数据。进一步地，根据各个感知数据的时间戳将各个时间戳对应的感知内容进行融合可以按照以下步骤进行：1)将所有的感知数据按照时间戳进行排序，确保数据是按照时间先后顺序排列的。2)创建一个融合后的感知内容的容器，可以是一个新的数据结构或者一个数组。3)定义一个时间窗口，用于判断哪些感知数据应该被融合。时间窗口的大小可以根据实际需求进行设置，通常是根据时间戳的差值来确定的。4)从第一个感知数据开始遍历，将该感知数据的内容放入融合容器中。5)从第二个感知数据开始遍历，判断该感知数据的时间戳是否在时间窗口内。如果在窗口内，则将该感知数据的内容与融合容器中已有的内容进行融合操作，可以是简单的合并或者加权平均等。6)如果不在时间窗口内，则将该感知数据的内容作为新的融合内容放入容器中。7)继续遍历后续的感知数据，重复步骤5和步骤6，直到遍历完所有的感知数据。

在本申请实施例中，通过各个感知数据的时间戳对感知数据进行融合，可以保证每个融合周期里面使用的数据均为各传感器最新时刻的数据，即保证了融合结果的时效性。

步骤250、将融合后的感知数据存储至优先级队列中，并基于优先级队列中的融合后的感知数据对车辆的周围环境进行感知。

较佳地，在本申请的具体实施例中，在基于优先级队列中的融合后的感知数据对车辆的周围环境进行感知时，可以按照预先设定的融合类型在优先级队列中提取出当前融合类型对应的融合后的感知数据，再根据当前融合类型对应的融合后的感知数据对车辆的周围环境进行感知。

具体地，在基于优先级队列中的融合后的感知数据对车辆的周围环境进行感知时，可以按照预先设定的融合类型在优先级队列中提取出当前融合类型对应的融合后的感知数据，其中，预先设定的融合类型包括但不限于：障碍物融合、道路边界融合、车道线融合；然后根据当前融合类型对应的融合后的感知数据对车辆的周围环境进行感知。进一步地，障碍物融合是指将多个障碍物或物体融合成一个连续体，以便在机器人路径规划、物体识别、虚拟现实等应用中更好地处理和模拟真实场景。道路边界融合是指在计算机视觉和数字地图制作中，将多个不同数据源的道路边界进行整合和融合的过程。这意味着将来自不同数据源的道路边界进行合并、消除冲突并生成一个准确、一致的道路网络。车道线融合是指将不同车道的线路标记或标线合并为一个连续的线路标记或标线。在道路设计或交通规划中，常常会遇到车辆驶入或驶离一个车道需要跨越另一个车道的情况。为了提高交通的安全性和流畅性，车道线融合被用来指示车辆在驶入或驶离车道时的正确操作。

示例性的，在基于优先级队列中的融合后的感知数据对车辆的周围环境进行感知时，可以按照障碍物融合在优先级队列中提取出视觉、激光雷达和毫米波雷达的障碍物目标数据，完成可运动目标和不可运动目标的融合。

示例性的，在基于优先级队列中的融合后的感知数据对车辆的周围环境进行感知时，可以按照道路边界融合在优先级队列中提取出视觉和激光雷达的道路边界数据，完成道路边界融合。

示例性的，在基于优先级队列中的融合后的感知数据对车辆的周围环境进行感知时，可以按照车道线融合在优先级队列中提取出视觉的车道线数据，进行运动补偿生成融合后的车道线。

在本申请实施例中，通过预先设定的融合类型在优先级队列中提取出当前融合类型对应的融合后的感知数据，可以帮助更精准的提取数据，提升外部感知能力，并提高工作效率。

本申请实施例提出的多传感器融合方法，先在车辆行驶过程中，通过多个类型的传感器分别采集当前时刻上的感知数据；然后在各个类型的传感器中分别获取各个类型的传感器采集到的感知数据；将多个类型的传感器采集到的感知数据存储至多个类型的消息队列中；之后将多个类型的消息队列中的感知数据进行融合，得到融合后的感知数据；最后将融合后的感知数据存储至优先级队列中，并基于优先级队列中的融合后的感知数据对车辆的周围环境进行感知。也就是说，在本申请的技术方案中，可以根据优先级队列中的融合后的感知数据，对车辆的周围环境进行感知。与现有技术相比，本申请实施例提出的多传感器融合方法，可以通过将多个类型的传感器采集到的感知数据存储至多个类型的消息队列中，帮助系统节省了资源，避免了频繁的内存开销。之后通过将多个类型的消息队列中的感知数据进行融合，可以帮助快速合并不同的数据，提供对关键数据的更快、更准确的访问。然后通过时间戳对感知数据进行融合，可以保证每个融合周期里面使用的数据均为各传感器最新时刻的数据，即保证了融合结果的时效性。最后通过预先设定的融合类型在优先级队列中提取出当前融合类型对应的融合后的感知数据，可以帮助更精准的提取数据，提升外部感知能力，并提高工作效率。同时本申请提出的多传感器融合方法还可以保证融合结果的准确性和实效性，为自动驾驶提供有效的数据支持；并且，本申请实施例的技术方案实现简单方便、便于普及，适用范围更广。

实施例三

图4为本申请实施例提供的多传感器融合方法的第三流程示意图。基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。如图4所示，多传感器融合方法可以包括以下步骤：

步骤410、在车辆行驶过程中，通过多个类型的传感器分别采集当前时刻上的感知数据。

步骤420、将多个类型的传感器采集到的感知数据进行融合，得到融合后的感知数据。

在本申请实施例中，通过融合多个传感器采集的感知数据，提高了传感器系统的有效性，消除单个或少量传感器的局限性，使该传感器系统所提供的信息比它的各组成部分子集单独提供的信息更有优越性。

较佳地，在本申请的具体实施例中，电子设备可以在各个类型的传感器中提取出全部的感知数据；根据各个感知数据中的时间戳将各个时间戳对应的感知内容进行融合，得到融合后的感知数据。

具体地，先在各个类型的传感器中提取出全部的感知数据，然后根据各个感知数据中的时间戳将各个时间戳对应的感知内容进行融合，得到融合后的感知数据。其中，提取出的感知数据至少包括时间戳和感知内容。

在本申请实施例中，通过各个感知数据中的时间戳对感知数据进行融合，可以保证每个融合周期里面使用的数据均为各传感器最新时刻的数据，即保证了融合结果的时效性。

步骤430、将融合后的感知数据存储至优先级队列中，并基于优先级队列中的融合后的感知数据对车辆的周围环境进行感知。

步骤440、接收应用管理系统发送的管理请求。

具体地，在接收到应用管理系统发送的管理请求之后，将其解析成相应的请求参数，根据接收到的请求参数，会将请求路由到对应的处理模块，并将请求参数传递给处理模块，之后处理模块会根据接收到的请求参数，执行相应的业务操作，即可以与应用管理系统之间进行数据交互。可选的，数据交互的方式可以是数据库交互、文件交互、基于TCP/IP协议的信息交互、基于HTTP协议的信息交互和/或基于WebService协议的信息交互，本申请实施例对此不进行限制。

步骤450、响应于管理请求在传感器标定文件和车身参数文件中分别获取各个类型的传感器的标定数据和车辆的车身参数。

传感器标定文件是记录了各个类型的传感器的标定数据的文件，其中，标定数据是经过传感器标定后的数据，而传感器标定可以分为内参标定与外参标定。内参标定主要与传感器有关，它可以通过建立传感器误差模型，获得传感器特性参数、消除传感器本身测量误差。外参标定与安装位置有关，通过各种先验信息获取传感器在车身坐标系下的位姿。外参标定求解的主要问题取决于车辆坐标系的定义。车身参数文件是记录了车辆的车身参数的文件，可选的，车身参数可以是汽车的长、宽、高、轴距、前后轮距、最小离地间距、风阻系数、最小转弯直径和/或空车质量等，本申请实施例对此不进行限制。

具体地，应用管理系统可以从文件系统中得到传感器标定文件和车身参数文件，之后对这两个文件进行解析，从中获取到各个类型的传感器对应的标定数据和车辆的车身参数。

在本申请实施例中，通过标定数据，可以得到传感器性能指标的实测结果，从而可以帮助系统确保数据的准确性，提高数据的可靠性。

步骤460、基于各个类型的传感器的标定数据和车辆的车身参数数据对车辆进行检测，并将检测结果反馈给应用管理系统。

具体地，系统通过各个类型的传感器的标定数据和车辆的车身参数数据来对车辆进行检测，之后将检测结果反馈给应用管理系统，实现了系统对故障的检测及上报。

在本申请实施例中，通过各个类型的传感器的标定数据和车辆的车身参数数据对车辆进行检测，并将检测结果反馈给应用管理系统。可以帮助提升自动驾驶环境感知技术，从而确保自动驾驶的安全性。

本申请实施例提出的多传感器融合方法，先在车辆行驶过程中，通过多个类型的传感器分别采集当前时刻上的感知数据；然后将多个类型的传感器采集到的感知数据进行融合，得到融合后的感知数据；再将融合后的感知数据存储至优先级队列中，并基于优先级队列中的融合后的感知数据对车辆的周围环境进行感知。也就是说，在本申请的技术方案中，可以根据优先级队列中的融合后的感知数据，对车辆的周围环境进行感知。之后通过接收应用管理系统发送的管理请求，响应于管理请求在传感器标定文件和车身参数文件中分别获取各个类型的传感器的标定数据和车辆的车身参数，再根据各个类型的传感器的标定数据和车辆的车身参数数据对车辆进行检测，并将检测结果反馈给应用管理系统。与现有技术相比，本申请实施例提出的多传感器融合方法，可以通过融合多个传感器采集的感知数据，提高了传感器系统的有效性，消除单个或少量传感器的局限性，使该传感器系统所提供的信息比它的各组成部分子集单独提供的信息更有优越性。还可以通过各个感知数据中的时间戳对感知数据进行融合，可以保证每个融合周期里面使用的数据均为各传感器最新时刻的数据，即保证了融合结果的时效性。之后通过标定数据，可以得到传感器性能指标的实测结果，从而可以帮助系统确保数据的准确性，提高数据的可靠性。最后通过各个类型的传感器的标定数据和车辆的车身参数数据对车辆进行检测，并将检测结果反馈给应用管理系统。可以帮助提升自动驾驶环境感知技术，从而确保自动驾驶的安全性。并且，本申请实施例的技术方案实现简单方便、便于普及，适用范围更广。

实施例四

图5为本申请实施例提供的多传感器融合装置的结构示意图。如图5所示，多传感器融合装置包括：采集模块510、融合模块520和感知模块530；其中，

所述采集模块510，用于在车辆行驶过程中，通过多个类型的传感器分别采集当前时刻上的感知数据；

所述融合模块520，用于将多个类型的传感器采集到的感知数据进行融合，得到融合后的感知数据；

所述感知模块530，用于将融合后的感知数据存储至优先级队列中，并基于优先级队列中的融合后的感知数据对车辆的周围环境进行感知。

进一步的，所述融合模块520，具体用于在各个类型的传感器中分别获取各个类型的传感器采集到的感知数据；将多个类型的传感器采集到的感知数据存储至多个类型的消息队列中；将多个类型的消息队列中的感知数据进行融合，得到融合后的感知数据。

进一步的，所述融合模块520，还用于在各个类型的消息队列中提取出全部的感知数据；根据各个感知数据的时间戳将各个时间戳对应的感知内容进行融合，得到融合后的感知数据。

进一步的，所述融合模块520，具体用于在多个类型的传感器中分别获取各个类型的传感器采集到的感知数据；将多个类型的传感器采集到的感知数据进行融合，得到融合后的感知数据。

进一步的，所述融合模块520，还用于在各个类型的传感器中提取出全部的感知数据；根据各个感知数据中的时间戳将各个时间戳对应的感知内容进行融合，得到融合后的感知数据。

进一步的，所述感知模块530，具体用于按照预先设定的融合类型在优先级队列中提取出当前融合类型对应的融合后的感知数据；根据当前融合类型对应的融合后的感知数据对车辆的周围环境进行感知。

进一步的，所述感知模块530，还用于接收应用管理系统发送的管理请求；响应于管理请求在传感器标定文件和车身参数文件中分别获取各个类型的传感器的标定数据和车辆的车身参数；基于各个类型的传感器的标定数据和车辆的车身参数数据对车辆进行检测，并将检测结果反馈给应用管理系统。

上述多传感器融合装置可执行本申请任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请任意实施例提供的多传感器融合方法。

实施例五

图6为本申请实施例提供的电子设备的结构示意图。图6示出了适于用来实现本申请实施方式的示例性电子设备的框图。图6显示的电子设备12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图6所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。

电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图6中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本申请实施例所提供的多传感器融合方法。

实施例六

本申请实施例提供了一种计算机存储介质。

本申请实施例的计算机可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“如“语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (10)

1.一种多传感器融合方法，其特征在于，所述方法包括：

在车辆行驶过程中，通过多个类型的传感器分别采集当前时刻上的感知数据；其中，所述多个类型的传感器包括但不限于：摄像头、毫米波雷达和激光雷达；

将所述多个类型的传感器采集到的感知数据进行融合，得到融合后的感知数据；

将所述融合后的感知数据存储至优先级队列中，并基于所述优先级队列中的所述融合后的感知数据对所述车辆的周围环境进行感知。

2.根据权利要求1所述的方法，其特征在于，将所述多个类型的传感器采集到的感知数据进行融合，得到融合后的感知数据，包括：

在各个类型的传感器中分别获取各个类型的传感器采集到的感知数据；

将所述多个类型的传感器采集到的感知数据存储至多个类型的消息队列中；其中，所述多个类型的消息队列包括但不限于：视觉消息队列、毫米波消息队列和激光消息队列；

将所述多个类型的消息队列中的感知数据进行融合，得到所述融合后的感知数据。

3.根据权利要求2所述方法，其特征在于，将所述多个类型的消息队列中的感知数据进行融合，得到所述融合后的感知数据，包括：

在各个类型的消息队列中提取出全部的感知数据；其中，所述感知数据至少包括：时间戳和感知内容；

根据各个感知数据的时间戳将各个时间戳对应的感知内容进行融合，得到所述融合后的感知数据。

4.根据权利要求1所述的方法，其特征在于，将所述多个类型的传感器采集到的感知数据进行融合，得到融合后的感知数据，包括：

在所述多个类型的传感器中分别获取各个类型的传感器采集到的感知数据；

将所述多个类型的传感器采集到的感知数据进行融合，得到所述融合后的感知数据。

5.根据权利要求4所述的方法，其特征在于，将所述多个类型的传感器采集到的感知数据进行融合，得到所述融合后的感知数据，包括：

在各个类型的传感器中提取出全部的感知数据；其中，所述感知数据至少包括：时间戳和感知内容；

根据各个感知数据中的时间戳将各个时间戳对应的感知内容进行融合，得到所述融合后的感知数据。

6.根据权利要求1所述的方法，其特征在于，基于所述优先级队列中的所述融合后的感知数据对所述车辆的周围环境进行感知，包括：

按照预先设定的融合类型在所述优先级队列中提取出当前融合类型对应的所述融合后的感知数据；其中，所述预先设定的融合类型包括但不限于：障碍物融合、道路边界融合、车道线融合；

根据所述当前融合类型对应的所述融合后的感知数据对所述车辆的周围环境进行感知。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收应用管理系统发送的管理请求；其中，所述管理请求包括但不限于以下至少其中之一：系统交互请求、故障管理请求、配置管理请求；

响应于所述管理请求在传感器标定文件和车身参数文件中分别获取各个类型的传感器的标定数据和所述车辆的车身参数；

基于各个类型的传感器的标定数据和所述车辆的车身参数数据对所述车辆进行检测，并将检测结果反馈给所述应用管理系统。

8.一种多传感器融合装置，其特征在于，所述装置包括：采集模块、融合模块和感知模块；其中，

所述采集模块，用于在车辆行驶过程中，通过多个类型的传感器分别采集当前时刻上的感知数据；其中，所述多个类型的传感器包括但不限于：摄像头、毫米波雷达和激光雷达；

所述融合模块，用于将所述多个类型的传感器采集到的感知数据进行融合，得到融合后的感知数据；

所述感知模块，用于将所述融合后的感知数据存储至优先级队列中，并基于所述优先级队列中的所述融合后的感知数据对所述车辆的周围环境进行感知。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的多传感器融合方法。

10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的多传感器融合方法。