CN117953459B - 感知融合结果获取方法、可读存储介质及智能设备 - Google Patents

Abstract

本申请涉及自动驾驶技术领域，具体提供一种感知融合结果获取方法、感知融合处理方法、可读存储介质及智能设备，旨在解决如何实现多模态的异步感知数据的快速拼接和组合的问题。为此目的，本申请将智能设备上设置的传感器获取的目标检测结果与定位数据进行配对后，获得目标检测配对结果，将多个传感器的目标检测配对结果存入用于存储感知特征的特征队列中，基于神经网络模型，根据特征队列中的目标检测配对结果获得感知目标追踪结果。通过上述配置方式，本申请能够实现多个传感器的目标检测结果的通过特征队列实现快速组合和拼接，从而实现基于多模态异步的时序数据生成感知目标追踪结果。

Description

感知融合结果获取方法、可读存储介质及智能设备

技术领域

本申请涉及自动驾驶技术领域，具体提供一种感知融合结果获取方法、感知融合处理方法、可读存储介质及智能设备。

背景技术

自动驾驶领域的目标跟踪在近年来取得了显著的进展，特别是在神经网络、多传感器融合以及时序信息处理方面，例如将激光雷达数据与图像数据相结合，并充分利用时序信息。在这方面，Transformer作为一种强大的序列建模工具，它的自注意力机制有助于捕捉目标在不同传感器数据和时序信息中的长距离依赖关系，并在多模态数据融合中发挥关键作用。

但是Transformer在实车部署时，因为数据计算的复杂性和大参数量的特征，以及多模态异步时序的数据特征，为保证执行的速度和效率，也需要有专门的工程链路进行适配。但是由于Transformer在自动驾驶领域是一种新架构，硬件条件也受到限制，多模态异步时序数据如何进行快速拼接和组合，以使得Transformer神经网络网络能够在实车场景下能够得到应用，是本领域需要解决的问题。

相应地，本领域需要一种新的感知融合结果获取方案来解决上述问题。

发明内容

为了克服上述缺陷，提出了本申请，以提供解决或至少部分地解决如何实现多模态的异步感知数据的快速拼接和组合的问题。

在第一方面，本申请提供一种感知融合结果获取方法，所述方法应用于智能设备，所述智能设备上设置有多个传感器，所述方法包括：

针对每个传感器，将基于所述传感器获取的目标检测结果与所述智能设备对应的定位数据进行配对，获得所述传感器对应的目标检测配对结果；

将多个传感器的所述目标检测配对结果存入用于存储感知融合结果的特征队列中，以获取所述感知融合结果。

在上述感知融合结果获取方法的一个技术方案中，所述将基于所述传感器获取的目标检测结果与所述智能设备对应的定位数据进行配对，获得所述传感器对应的目标检测配对结果，包括：

将所述传感器获取的目标检测结果放入所述传感器对应的缓存队列中；

针对所述缓存队列中的每个目标检测结果，将所述目标检测结果与距离所述目标检测检测结果生成时刻最近的所述定位数据进行配对，获得所述目标检测配对结果。

在上述感知融合结果获取方法的一个技术方案中，所述将多个传感器的所述目标检测配对结果存入用于存储感知融合结果的特征队列中，以获取所述感知融合结果，包括：

当多个传感器的目标检测配对结果均更新时，根据预设的事件线程管理器，将所述目标检测配对结果存入用于存储感知特征的特征队列中；

其中，所述事件线程管理器对不同频率的所述传感器的目标检测配对结果进行异步管理。

在第二方面，提供一种感知融合处理方法，其特征在于，所述方法应用于智能设备，所述智能设备上设置有多个传感器，所述方法包括：

针对每个传感器，将基于所述传感器获取的目标检测结果与所述智能设备对应的定位数据进行配对，获得所述传感器对应的目标检测配对结果；

将多个传感器的所述目标检测配对结果存入用于存储感知特征的特征队列中；

将所述特征队列中的所述目标检测配对结果输入至预设的神经网络模型中，获取感知目标跟踪结果。

在上述感知融合处理方法的一个技术方案中，所述将基于所述传感器获取的目标检测结果与所述智能设备对应的定位数据进行配对，获得所述传感器对应的目标检测配对结果，包括：

将所述传感器获取的目标检测结果放入所述传感器对应的缓存队列中；

针对所述缓存队列中的每个目标检测结果，将所述目标检测结果与距离所述目标检测检测结果生成时刻最近的所述定位数据进行配对，获得所述目标检测配对结果。

在上述感知融合处理方法的一个技术方案中，所述将多个传感器的所述目标检测配对结果存入用于存储感知特征的特征队列中，包括：

当多个传感器的目标检测配对结果均更新时，根据预设的事件线程管理器，将所述目标检测配对结果存入用于存储感知特征的特征队列中；

其中，所述事件线程管理器对不同频率的所述传感器的目标检测配对结果进行异步管理。

在上述感知融合处理方法的一个技术方案中，所述将所述目标检测配对结果存入用于存储感知特征的特征队列中，包括：

对所述目标检测配对结果进行数据解析，获得目标数据解析结果；

将所述目标数据解析结果存入用于存储感知特征的特征队列中。

在上述感知融合处理方法的一个技术方案中，所述将所述目标数据解析结果存入用于存储感知特征的特征队列中，包括：

对所述特征队列中的目标数据解析结果进行滑动窗口采样；

将采样后的目标数据解析结果存入用于存储感知特征的特征队列中。

在上述感知融合处理方法的一个技术方案中，所述对所述特征队列中的目标数据解析结果进行滑动窗口采样，包括：

对所述检测目标解析结果进行基于时间的滑动窗口采样。

在上述感知融合处理方法的一个技术方案中，所述对所述特征队列中的目标数据解析结果进行滑动窗口采样，包括：

对所述检测目标解析结果进行基于距离的滑动窗口采样。

在上述感知融合处理方法的一个技术方案中，所述事件线程管理器以预设传感器优先，对不同频率的所述传感器的目标检测配对结果进行异步管理。

在上述感知融合处理方法的一个技术方案中，所述事件线程管理器以时间优先，对不同频率的所述传感器的目标检测配对结果进行异步管理。

在上述感知融合处理方法的一个技术方案中，所述方法还包括：

获取所述特征队列中包含的目标检测配对结果的传感器类型和生成时刻；

并将获取的所述传感器类型和生成时刻同步至云端。

在第三方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述感知融合结果获取方法的技术方案中任一项技术方案所述的感知融合结果获取方法。

在第四方面，提供一种智能设备，所述智能设备包括：

至少一个处理器；

以及，与所述至少一个处理器通信连接的存储器；

其中，所述存储器中存储有计算机程序，所述计算机程序被所述至少一个处理器执行时实现上述感知融合结果获取方法的技术方案中任一项技术方案所述的感知融合结果获取方法。

本申请上述一个或多个技术方案，至少具有如下一种或多种有益效果：

在实施本申请的技术方案中，本申请将智能设备上设置的传感器获取的目标检测结果与定位数据进行配对后，获得目标检测配对结果，将多个传感器的目标检测配对结果存入用于存储感知特征的特征队列中，将特征队列中的目标检测配对结果输入至预设的神经网络模型中，获得感知目标跟踪结果。通过上述配置方式，本申请能够实现多个传感器的目标检测结果的通过特征队列实现快速组合和拼接，使得特征队列能够为神经网络模型提供多模态的异步时序数据，进而实现基于神经网络模型，根据多模态异步的时序数据生成感知目标跟踪结果，以便于更好地在实际应用场景下应用感知目标跟踪结果进行实时推理、预测等功能。

附图说明

参照附图，本申请的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本申请的保护范围组成限制。其中：

图1是根据本申请的一个实施例的感知融合结果获取方法的主要步骤流程示意图；

图2是根据本申请的一个实施例的感知融合处理方法的主要步骤流程示意图；

图3是根据本申请实施例的一个实施方式的感知融合处理方法的主要实现框图示意图；

图4是根据本申请实施例的一个实施方式的将目标检测配对结果放入缓存队列中时的积压数据示意图；

图5是根据本申请实施例的一个实施方式的事件线程管理器将目标检测配对结果存储至特征队列的过程示意图；

图6是根据本申请实施例的一个实施方式的对检测目标解析结果进行滑动窗口采样的示意图；

图7是根据本申请实施例的一个实施方式的确保智能设备端与云端数据一致性的示意图；

图8是根据本申请的一个实施例的智能设备的存储器与处理器的连接关系示意图。

具体实施方式

下面参照附图来描述本申请的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本申请的技术原理，并非旨在限制本申请的保护范围。

在本申请的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。

自动驾驶系统(Automated Driving Systems，ADS)，其是指系统在自身的设计运行范围(Operational Domain Design，ODD)内将持续执行全部的动态驾驶任务(DynamicDriving Task，DDT)。即，在规定的适当驾驶场景条件下才允许机器系统全部承担车辆自动操控的任务，即车辆满足ODD条件时系统被激活，该系统代替人类驾驶员作为车辆的驾驶主体。其中，动态驾驶任务DDT是指对车辆进行持续的横向(左、右转向)和纵向运动控制(加速，减速，匀速)以及对车辆行驶环境中的目标和事件进行探测和响应。设计运行范围ODD是指自动驾驶系统可以安全运行的条件，其设置的条件可以包括地理位置、道路类型、速度范围、天气、时间、国家和地方性交通法律法规等。

参阅附图1，图1是根据本申请的一个实施例的感知融合结果获取方法的主要步骤流程示意图。如图1所示，本申请实施例中的感知融合结果获取方法应用于智能设备，智能设备上设置有多个传感器，感知融合结果获取方法主要包括下列步骤S101-步骤S103。

步骤S101：针对每个传感器，将基于传感器获取的目标检测结果与智能设备对应的定位数据进行配对，获得传感器对应的目标检测配对结果。

在本实施例中，针对智能设备上设置的每个传感器，可以将传感器感知获得的目标检测结果与对应的定位数据进行配对，从而获得传感器的目标检测配对结果。即，在当目标检测结果产生时，可以查询最近时刻的智能设备的定位数据（Ego Motion），将目标检测结果与定位数据进行配对，获得目标检测配对结果。

一个实施方式中，智能设备可以为驾驶设备、智能车、机器人等设备。

一个实施方式中，传感器可以包括相机、激光雷达、毫米波雷达等。

一个实施方式中，可以为每个传感器的目标检测结果设置单独的线程，用于接收目标检测结果的生成消息。可以参阅附图2，图2是根据本申请实施例的一个实施方式的感知融合结果获取方法的主要实现框图示意图。如图2所示，线程可以为触发器（Trigger），可以分别为激光雷达设置激光雷达的目标检测结果触发器，为相机设置相机的目标检测结果的触发器。

步骤S102：将多个传感器的目标检测配对结果存入用于存储感知特征的特征队列中，以获取感知融合结果。

在本实施例中，可以将多个传感器的目标检测配对结果按照时序存储至特征队列中，从而获得感知融合结果。

一个实施方式中，如图2所示，可以设置事件线程管理器（Event ThreadManager），用于将目标检测配对结果存入至特征队列中。时间线程管理器，能够实现对不同频率的目标检测配对结果进行异步管理。

其中，事件线程管理器的频率高于各个传感器的目标检测结果的生成频率。如，激光雷达的目标检测结果的生成频率为10hz，相机的目标检测结果的生成频率为30hz，事件线程管理器的频率为40hz。这样就能够确保事件线程管理器的输出频率和目标检测结果的原始生成频率一致，避免了在事件线程管理器中丢失目标检测配对结果。参阅附图4，图4是根据本申请实施例的一个实施方式的事件线程管理器将目标检测配对结果存储至特征队列的过程示意图。如图4所示，相机采集的相机帧通过目标检测，获得相机的目标检测结果（输出频率为30hz），目标检测结果与定位数据进行配对后，进入事件线程管理器，事件线程管理器进行缓冲区弹出（Buffer Pop）后输出的相机的目标检测配对结果的频率也为30hz，用于下游使用。激光雷达采集的激光雷达帧通过目标检测，获得激光雷达的目标检测结果（输出频率为10hz），目标检测结果与定位数据进行配对后，进入事件线程管理器，事件线程管理器可以按照时序进行缓冲区弹出（Buffer Pop）后输出的激光雷达的目标检测配对结果的频率也为10hz，用于下游使用。

一个实施方式中，当多个传感器的目标检测配对结果均更新时，可以通过事件线程管理器对不同频率的传感器的目标检测配对结果进行异步管理。

一个实施方式中，事件线程管理器可以以时间优先，对不同频率的目标配对结果进行异步管理，即，哪个目标检测配对结果的生成时间在先，则优先将该目标检测配对检测结果存储至特征队列中。

另一个实施方式中，事件线程管理器可以以预设传感器优先，对不同频率的目标配对结果进行异步管理，即，当多个传感器的目标检测配对结果均更新时，可以设置某一个传感器的目标检测配对结果优先存入特征队列中。如，激光雷达的目标检测结果的更为准确，则可以设置激光雷达优先的异步管理策略。

一个实施方式中，事件线管理器也可以应用组合的异步管理策略，如基于时间优先加预设传感器优先的异步管理策略。即，在多个传感器更新时间均不相同时，基于时间优先的异步管理策略，当存在两个传感器的更新时间相同时，则可以基于预设传感器优先的异步管理策略。

一个实施方式中，感知融合结果可以应用于Transformer等神经网络模型，特征队列可以遵循先入先出原则，从而基于时序将感知融合结果应用于智能设备的实时推理，如障碍物预测，路网拓扑等的实时构建等。

基于上述步骤S101-步骤S102，本申请实施例将智能设备上设置的传感器获取的目标检测结果与定位数据进行配对后，获得目标检测配对结果，将多个传感器的目标检测配对结果存入用于存储感知融合结果的特征队列中，从而获得感知融合结果。通过上述配置方式，本申请实施例能够实现多个传感器的目标检测结果的通过特征队列实现快速组合和拼接，从而实现基于多模态异步的时序数据生成感知融合结果，以便于感知融合结果能够更好的应用于实车场景下的Transformer等神经网络模型的实时推理、预测等功能。

进一步本申请还提供一种感知融合处理方法。

参阅附图2，图2是根据本申请的一个实施例的感知融合处理方法的主要步骤流程示意图。如图2所示，本申请实施例中的感知融合处理方法应用于智能设备，智能设备上设置有多个传感器，感知融合出来方法主要包括下列步骤S201-步骤S203。

步骤S201：针对每个传感器，将基于传感器获取的目标检测结果与智能设备对应的定位数据进行配对，获得传感器对应的目标检测配对结果。

在本实施例中，针对智能设备上设置的每个传感器，可以将传感器感知获得的目标检测结果与对应的定位数据进行配对，从而获得传感器的目标检测配对结果。即，在当目标检测结果产生时，可以查询最近时刻的智能设备的定位数据（Ego Motion），将目标检测结果与定位数据进行配对，获得目标检测配对结果。

步骤S202：将多个传感器的目标检测配对结果存入用于存储感知特征的特征队列中。

在本实施例中，可以将多个传感器的目标检测配对结果按照时序存入用于存储感知特征的特征队列中。

一个实施方式中，如图2所示，可以设置事件线程管理器（Event ThreadManager），用于将目标检测配对结果存入至特征队列中。事件线程管理器，能够实现对不同频率的目标检测配对结果进行异步管理。

其中，事件线程管理器的频率高于各个传感器的目标检测结果的生成频率。如，激光雷达的目标检测结果的生成频率为10hz，相机的目标检测结果的生成频率为30hz，事件线程管理器的频率为40hz。这样就能够确保事件线程管理器的输出频率和目标检测结果的原始生成频率一致，避免了在事件线程管理器中丢失目标检测配对结果。参阅附图4，图4是根据本申请实施例的一个实施方式的事件线程管理器将目标检测配对结果存储至特征队列的过程示意图。如图4所示，相机采集的相机帧通过目标检测，获得相机的目标检测结果（输出频率为30hz），目标检测结果与定位数据进行配对后，进入事件线程管理器，事件线程管理器进行缓冲区弹出（Buffer Pop）后输出的相机的目标检测配对结果的频率也为30hz，用于下游使用。激光雷达采集的激光雷达帧通过目标检测，获得激光雷达的目标检测结果（输出频率为10hz），目标检测结果与定位数据进行配对后，进入事件线程管理器，事件线程管理器可以按照时序进行缓冲区弹出（Buffer Pop）后输出的激光雷达的目标检测配对结果的频率也为10hz，用于下游使用。

一个实施方式中，当多个传感器的目标检测配对结果均更新时，可以通过事件线程管理器对不同频率的传感器的目标检测配对结果进行异步管理。

一个实施方式中，事件线程管理器可以以时间优先，对不同频率的目标配对结果进行异步管理。即，哪个目标检测配对结果的生成时间在先，则优先将该目标检测配对检测结果存储至特征队列中。

另一个实施方式中，事件线程管理器可以以预设传感器优先，对不同频率的目标配对结果进行异步管理。即，当多个传感器的目标检测配对结果均更新时，可以设置某一个传感器的目标检测配对结果优先存入特征队列中。如，激光雷达的目标检测结果的更为准确，则可以设置激光雷达优先的异步管理策略。

一个实施方式中，事件线程管理器也可以应用组合的异步管理策略，如基于时间优先加预设传感器优先的异步管理策略。即，在多个传感器更新时间均不相同时，基于时间优先的异步管理策略，当存在两个传感器的更新时间相同时，则可以基于预设传感器优先的异步管理策略。

步骤S203: 将特征队列中的目标检测配对结果输入至预设的神经网络模型中，获取感知目标跟踪结果。

在本实施例中，可以将特征队列中的目标检测配对结果作为神经网络模型的输入数据，从而基于神经网络模型获得感知目标追踪结果。其中，感知目标追踪结果为基于多模态的异步时序数据生成的感知目标的时序融合结果。

一个实施方式中，神经网络模型可以为基于Transformer架构的模型。

一个实施方式中，特征队列可以遵循先入先出原则，从而基于时序将目标检测配对结果输入至神经网络模型中，获取感知目标追踪结果。

一个实施方式中，感知目标追踪结果可以应用于智能设备的实时推理，如障碍物预测，路网拓扑等的实时构建等。

基于上述步骤S201-步骤S203，本申请实施例将智能设备上设置的传感器获取的目标检测结果与定位数据进行配对后，获得目标检测配对结果，将多个传感器的目标检测配对结果存入用于存储感知特征的特征队列中，将特征队列中的目标检测配对结果输入至预设的神经网络模型中，获得感知目标跟踪结果。通过上述配置方式，本申请实施例能够实现多个传感器的目标检测结果的通过特征队列实现快速组合和拼接，使得特征队列能够为神经网络模型提供多模态的异步时序数据，进而实现基于神经网络模型，根据多模态异步的时序数据生成感知目标跟踪结果，以便于更好地在实际应用场景下应用感知目标跟踪结果进行实时推理、预测等功能。

下面分别对步骤S201和步骤S202作进一步地说明。

在本申请实施例的一个实施方式中，步骤S201可以进一步包括以下步骤S2011和步骤S2012：

步骤S2011：将传感器获取的目标检测结果放入传感器对应的缓存队列中。

步骤S2012：针对缓存队列中的每个目标检测结果，将目标检测结果与距离目标检测检测结果生成时刻最近的定位数据进行配对，获得目标检测配对结果。

在本实施方式中，如图2所示，可以在每个传感器的触发器中设置缓存队列（Buffer Queue），当生成目标检测结果时，可以将目标检测结果按照时序存储在缓存队列中，将缓存队列中的每个目标检测结果与定位数据进行配对后，获得目标检测配对结果，并按照时序进行缓冲区弹出（Buffer Pop）。

缓存队列的设置能够保证每个传感器的目标检测结果生成完整性，同时防止消息的阻塞。例如，在下游模型推理超时时，可以在缓存队列中，积压多帧目标检测结果。其中，缓存队列可以遵循选入先出原则，从而确保了目标检测结果的在应用过程中的时序一致性。可以参阅附图3，图3是根据本申请实施例的一个实施方式的将目标检测配对结果放入缓存队列中时的积压数据示意图。如图3中第一个图和第二图所示，在Tk和Tk+1时刻，由于不存在积压数据，每帧目标检测结果均按顺序转换为目标检测配对结果存入特征队列中。如图3中第三个图所示，由于调度或者模型超时等问题，导致Tk+3时刻的目标检测结果无法送出去，为了不丢数据，则可以将Tk+3时刻的目标检测结果暂存在缓存队列中，以便于下一次发送出去。如图3中第四个图所示，如果由于调度或模型超时等导致Tk+2和Tk+3时刻的数据积压，由于这些积压的数据都是存在缓存队列中的，因而不会丢失，依然有希望转换为目标检测配对结果存入特征队列以供下游使用。

在本申请实施例的一个实施方式中，步骤S202可以包括以下步骤S2021和步骤S2022：

步骤S2021：对目标检测配对结果进行数据解析，获得目标数据解析结果。

在本实施方式中，如图2所示，可以先将目标检测配对结果进行数据解析，从而获得目标数据解析结果。

一个实施方式中，目标数据解析结果可以为tensor格式。

步骤S2022：将目标数据解析结果存入用于存储感知特征的特征队列中。

在本实施方式中，如图2所示，可以目标解析结果放入特征队列中，以供下游模型（即，基于神经网络的模型）进行触发使用，从而获得输出结果，即感知目标追踪结果。

一个实施方式中，步骤S2022可以进一步被配置为：对特征队列中的目标数据解析结果进行滑动窗口采样，将采样后的目标数据解析结果存入用于存储感知特征的特征队列中。

在本实施方式中，如图2所示，由于应用感知融合结果的场景和模型的要求不同，可以基于不同的要求，对特征队列中的目标数据解析结果进行滑动窗口（Sliding Window）采样，从而获得合适的目标数据解析结果输入至神经网络模型中。

可以参阅附图5，图5是根据本申请实施例的一个实施方式的对检测目标解析结果进行滑动窗口采样的示意图。如图5所示，可以对特征队列中的目标数据解析结果进行滑动窗口采样，采样后输入至下游模型（即，神经网络模型）中。其中，目标数据解析结果为基于相机的目标检测结果（BEV OD）、激光雷达的目标检测结果（Lidar OD）和智能设备的定位数据（Ego Motion）获得的。

一个实施方式中，可以对目标数据解析结果进行基于时间的滑动窗口采样。如，激光雷达的30hz的输出频率太高，则可以对激光雷达的目标数据解析结果进行基于时间的滑动窗口采样，使其频率降至10hz。

另一个实施方式中，可以对目标数据解析结果进行基于距离的滑动窗口采样。如，下游模型需要扩展到静态要素的输入，那么模型输入的帧数更多的和智能设备自身的行驶距离正相关，那么就可以采用基于距离的滑动窗口采样。

一个实施方式中，滑动窗口采样的具体参数可以和配置方式可以通过config（配置）文件进行配置。

在本申请实施例的一个实施方式中，本申请还包括以下步骤S204：

步骤S204：获取特征队列中包含的目标检测配对结果的传感器类型和生成时刻；并将获取的传感器类型和生成时刻同步至云端。

在本实施方式中，可以对智能设备的数据进行录制，并将录制的数据上传至云端，以用于进行数据分析以及对算法和模型等进行功能训练、升级等。可以参阅附图6，图6是根据本申请实施例的一个实施方式的确保智能设备端与云端数据一致性的示意图。如图6所示，在智能设备端执行神经网络模型的功能时，由于调度或者模型超时等原因，即使在触发器中的缓存队列可以进行目标检测结果的积累，缓存队列仍存在上限，并且事件线程管理器也无法记录执行过程，就有可能存在着缓存队列已满造成部分目标检测结果丢失的情况，这样就进一步导致的智能设备端实际使用数据和回传至云端的数据一致的情况。为了消除这个问题，可以将滑动窗口采样后的目标检测配对结果对应的传感器类型和生成时刻记录下来，同步至云端。在云端复现智能设备端数据时，可以直接读取这个记录，从而确保了智能设备端与云端数据的一致性。其中，图6中Lidar OD代表激光雷达的目标检测结果，BEV OD代表相机的目标检测结果，T1、T2、T3、T4、Tk-1、Tk代表生成时刻，Pose代表智能设备的定位数据。

需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本申请的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时（并行）执行或以其他顺序执行，这些变化都在本申请的保护范围之内。

本领域技术人员能够理解的是，本申请实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。

进一步，本申请还提供了一种计算机可读存储介质。在根据本申请的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的感知融合结果获取方法的程序，该程序可以由处理器加载并运行以实现上述感知融合结果获取方法。为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本申请实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。

进一步，本申请还提供一种智能设备。在根据本申请的一个智能设备实施例中，智能设备可以包括至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器中存储有计算机程序，计算机程序被至少一个处理器执行时实现上述任一实施例所述的方法。本申请的智能设备，可以包括驾驶设备、智能车、机器人等设备。参阅附图8，图8是根据本申请的一个实施例的智能设备的存储器与处理器的连接关系示意图。如图8所示，智能设备的存储器和处理器通过总线通信连接。

在本申请的一些实施例中，智能设备还包括至少一个传感器，传感器用于感知信息。传感器与本申请提到的任何一种类型的处理器通信连接。可选地，智能设备还包括自动驾驶系统，自动驾驶系统用于引导智能设备自行行驶或辅助驾驶。处理器与传感器和/或自动驾驶系统通信，用于完成上述任一实施例所述的方法。

进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本申请的装置的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。

本领域技术人员能够理解的是，可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本申请的原理，因此，拆分或合并之后的技术方案都将落入本申请的保护范围内。

本申请各实施例中可能涉及的相关用户个人信息，均为严格按照法律法规的要求，遵循合法、正当、必要的原则，基于业务场景的合理目的，处理用户在使用产品/服务过程中主动提供或因使用产品/服务而产生的，以及经用户授权获取的个人信息。

本申请处理的用户个人信息会因具体产品/服务场景而有所不同，需以用户使用产品/服务的具体场景为准，可能会涉及用户的账号信息、设备信息、驾驶信息、车辆信息或其他相关信息。申请人会以高度的勤勉义务对待用户的个人信息及其处理。

本申请非常重视用户个人信息的安全，已采取符合业界标准、合理可行的安全防护措施保护用户的信息，防止个人信息遭到未经授权访问、公开披露、使用、修改、损坏或丢失。

至此，已经结合附图所示的优选实施方式描述了本申请的技术方案，但是，本领域技术人员容易理解的是，本申请的保护范围显然不局限于这些具体实施方式。在不偏离本申请的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本申请的保护范围之内。

Claims (11)

1.一种感知融合结果获取方法，其特征在于，所述方法应用于智能设备，所述智能设备上设置有多个传感器，所述方法包括：

针对每个传感器，将基于所述传感器获取的目标检测结果与所述智能设备对应的定位数据进行配对，获得所述传感器对应的目标检测配对结果；

将多个传感器的所述目标检测配对结果存入用于存储感知特征的特征队列中，以获取所述感知融合结果；

所述将多个传感器的所述目标检测配对结果存入用于存储感知融合结果的特征队列中，以获取所述感知融合结果，包括：

当多个传感器的目标检测配对结果均更新时，根据预设的事件线程管理器，将所述目标检测配对结果存入用于存储感知特征的特征队列中；

其中，所述事件线程管理器以预设传感器优先或以时间优先，对不同频率的所述传感器的目标检测配对结果进行异步管理。

2.根据权利要求1所述的感知融合结果获取方法，其特征在于，

所述将基于所述传感器获取的目标检测结果与所述智能设备对应的定位数据进行配对，获得所述传感器对应的目标检测配对结果，包括：

将所述传感器获取的目标检测结果放入所述传感器对应的缓存队列中；

针对所述缓存队列中的每个目标检测结果，将所述目标检测结果与距离所述目标检测检测结果生成时刻最近的所述定位数据进行配对，获得所述目标检测配对结果。

3.一种感知融合处理方法，其特征在于，所述方法应用于智能设备，所述智能设备上设置有多个传感器，所述方法包括：

针对每个传感器，将基于所述传感器获取的目标检测结果与所述智能设备对应的定位数据进行配对，获得所述传感器对应的目标检测配对结果；

将多个传感器的所述目标检测配对结果存入用于存储感知特征的特征队列中；

将所述特征队列中的所述目标检测配对结果输入至预设的神经网络模型中，获取感知目标跟踪结果；

所述将多个传感器的所述目标检测配对结果存入用于存储感知特征的特征队列中，包括：

当多个传感器的目标检测配对结果均更新时，根据预设的事件线程管理器，将所述目标检测配对结果存入用于存储感知特征的特征队列中；

其中，所述事件线程管理器以预设传感器优先或以时间优先，对不同频率的所述传感器的目标检测配对结果进行异步管理。

4.根据权利要求3所述的感知融合处理方法，其特征在于，

所述将基于所述传感器获取的目标检测结果与所述智能设备对应的定位数据进行配对，获得所述传感器对应的目标检测配对结果，包括：

将所述传感器获取的目标检测结果放入所述传感器对应的缓存队列中；

针对所述缓存队列中的每个目标检测结果，将所述目标检测结果与距离所述目标检测检测结果生成时刻最近的所述定位数据进行配对，获得所述目标检测配对结果。

5.根据权利要求3或4所述的感知融合处理方法，其特征在于，

所述将所述目标检测配对结果存入用于存储感知特征的特征队列中，包括：

对所述目标检测配对结果进行数据解析，获得目标数据解析结果；

将所述目标数据解析结果存入用于存储感知特征的特征队列中。

6.根据权利要求5所述的感知融合处理方法，其特征在于，

所述将所述目标数据解析结果存入用于存储感知特征的特征队列中，包括：

对所述特征队列中的目标数据解析结果进行滑动窗口采样；

将采样后的目标数据解析结果存入用于存储感知特征的特征队列中。

7.根据权利要求6所述的感知融合处理方法，其特征在于，

所述对所述特征队列中的目标数据解析结果进行滑动窗口采样，包括：

对所述目标数据解析结果进行基于时间的滑动窗口采样。

8.根据权利要求6所述的感知融合处理方法，其特征在于，

所述对所述特征队列中的目标数据解析结果进行滑动窗口采样，包括：

对所述目标数据解析结果进行基于距离的滑动窗口采样。

9.根据权利要求3所述的感知融合处理方法，其特征在于，所述方法还包括：

获取所述特征队列中包含的目标检测配对结果的传感器类型和生成时刻；

并将获取的所述传感器类型和生成时刻同步至云端。

10.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至2中任一项所述的感知融合结果获取方法或权利要求3至9中任一项所述的感知融合处理方法。

11.一种智能设备，其特征在于，所述智能设备包括：

至少一个处理器；

以及，与所述至少一个处理器通信连接的存储器；

其中，所述存储器中存储有计算机程序，所述计算机程序被所述至少一个处理器执行时实现权利要求1至2中任一项所述的感知融合结果获取方法或权利要求3至9中任一项所述的感知融合处理方法。