CN113450298B - 基于多传感器的视野图处理方法、装置和设备 - Google Patents

Abstract

本申请实施例提供一种基于多传感器的视野图处理方法、装置和设备，其中，该方法包括：获取待分析车辆上的各传感器中每一传感器所采集的第一传感器数据；基于卷积神经网络模型对各传感器中每一传感器所采集的第一传感器数据进行信息融合处理，得到第一融合数据；根据卷积神经网络模型对第一融合数据和待分析车辆的位置信息进行处理，得到视野图的特征图；根据视野图的特征图，生成前视图、鸟瞰图、后视图。采用卷积神经网络模型，根据各传感器所采集的第一传感器数据生成特征图，基于特征图生成前视图、鸟瞰图、后视图；基于卷积神经网络模型的方式可以准确的得到视野图，对各传感器所采集的第一传感器数据进行综合分析，去得到多种视野图。

Description

基于多传感器的视野图处理方法、装置和设备

技术领域

本申请实施例涉及车辆技术领域，尤其涉及一种基于多传感器的视野图处理方法、装置和设备。

背景技术

随着车辆技术的发展，车辆已经成为人们生活中的重要交通工具。并且，自动驾驶车辆也已经开始得到应用和发展。自动驾驶车辆可以基于采集到的地面数据，完成自动驾驶。

现有技术中，自动驾驶车辆上安装有多个摄像头，自动驾驶车辆可以基于摄像头采集的图像进行图像拼接，进而得到后视图。

在实现本申请过程中，发明人发现现有技术中至少存在如下问题：只能够得到后视图，并且仅通过图像拼接方式所得到的后视图并不准确。

发明内容

本申请实施例提供一种基于多传感器的视野图处理方法、装置和设备，用以解决只能够得到后视图，并且仅通过图像拼接方式所得到的后视图并不准确的问题。

第一方面，本申请实施例提供一种基于多传感器的视野图处理方法，所述方法包括：

获取待分析车辆上的各传感器中每一传感器所采集的第一传感器数据；

基于卷积神经网络模型对各传感器中每一传感器所采集的第一传感器数据，进行信息融合处理，得到第一融合数据；

根据卷积神经网络模型对所述第一融合数据和所述待分析车辆的位置信息进行处理，得到视野图的特征图；

根据所述视野图的特征图，生成视野图；其中，所述视野图包括前视图、鸟瞰图、后视图。

在可行的一种实施方式中，基于卷积神经网络模型对各传感器中每一传感器所采集的第一传感器数据，进行信息融合处理，得到第一融合数据，包括：

依据各传感器中每一传感器所采集的第一传感器数据中每一目标的位置，基于卷积神经网络模型对各传感器中每一传感器所采集的第一传感器数据，进行融合处理，得到归属于各目标中每一目标的数据，以得到第一中间数据；

对所述第一中间数据中的各数据进行归一化处理，得到所述第一融合数据。

在可行的一种实施方式中，根据卷积神经网络模型对所述第一融合数据和所述待分析车辆的位置信息进行处理，得到视野图的特征图，包括：

获取与所述待分析车辆相邻的相邻车辆的各传感器中每一传感器所采集的第二传感器数据；

依据各第二传感器数据中每一目标的位置，基于卷积神经网络模型对各第二传感器数据，进行融合处理，得到归属于各目标中每一目标的数据，以得到第二中间数据；

对所述第二中间数据中的各数据进行归一化处理，得到第二融合数据；

基于卷积神经网络模型对所述第一融合数据、所述第二融合数据以及所述待分析车辆的位置信息，进行再次的信息融合数据，得到信息数据；

基于卷积神经网络模型对信息数据进行处理，得到所述视野图的特征图。

在可行的一种实施方式中，基于卷积神经网络模型对信息数据进行处理，得到所述视野图的特征图，包括：

基于卷积神经网络模型对所述信息数据进行处理，生成所述信息数据中每一目标的特征图，并基于卷积神经网络模型对所述信息数据中每一目标的特征图进行反卷积处理，得到所述信息数据中每一目标的处理后的特征图；

依据所述信息数据中每一目标的位置，确定出第一数据特征图和第二数据特征图；其中，所述第一数据特征图为与前视图相关的处理后的特征图，所述第二数据特征图为与后视图相关的处理后的特征图；

其中，所述视野图的特征图，包括：所述信息数据中每一目标的处理后的特征图、所述第一数据特征图和所述第二数据特征图。

在可行的一种实施方式中，根据所述视野图的特征图，生成视野图，包括：

基于卷积神经网络模型对所述第一数据特征图进行反卷积处理和识别处理，生成前视图；并基于卷积神经网络模型对所述第二数据特征图进行反卷积处理和识别处理，生成后视图；

对所述信息数据中每一目标的处理后的特征图进行投影处理，生成鸟瞰图。

在可行的一种实施方式中，基于卷积神经网络模型对所述第一融合数据、所述第二融合数据以及所述待分析车辆的位置信息，进行再次的信息融合数据，得到信息数据，包括：

获取路网系统上所存储的地图信息，并获取所述相邻车辆的位置信息；

基于卷积神经网络模型对所述第一融合数据、所述第二融合数据、所述地图信息、所述待分析车辆的位置信息、以及所述相邻车辆的位置信息，进行再次的信息融合数据，得到信息数据。

在可行的一种实施方式中，所述方法还包括：

基于所述信息数据中每一目标的位置，依据卷积神经网络模型将所述视野图的特征图中每一目标对应的特征图、每一目标的信息进行融合处理，得到拼接特征图；其中，所述信息数据中还包括路网系统上所存储的交通灯信息、所述相邻车辆所处的预设地理范围内的目标物体的信息；

根据所述拼接特征图，生成感知占位图，所述感知占位图用于表征所述信息数据中的每一目标；

对所述感知占位图进行可视化处理，得到并显示可视化地图。

在可行的一种实施方式中，所述方法还包括：

获取所述待分析车辆的当前轨迹和车辆运行状态；根据所述视野图、所述待分析车辆的当前轨迹和车辆运行状态，生成新的规划路径；

或者，获取所述待分析车辆的当前轨迹和车辆运行状态；若根据所述视野图、所述待分析车辆的当前轨迹和车辆运行状态，确定所述待分析车辆会发生碰撞，则发出警示信息，并重新生成新的规划路径。

第二方面，本申请实施例提供一种基于多传感器的视野图处理装置，所述装置包括：

获取单元，用于获取待分析车辆上的各传感器中每一传感器所采集的第一传感器数据；

第一处理单元，用于基于卷积神经网络模型对各传感器中每一传感器所采集的第一传感器数据，进行信息融合处理，得到第一融合数据；

第二处理单元，用于根据卷积神经网络模型对所述第一融合数据和所述待分析车辆的位置信息进行处理，得到视野图的特征图；

第一生成单元，用于根据所述视野图的特征图，生成视野图；其中，所述视野图包括前视图、鸟瞰图、后视图。

在可行的一种实施方式中，所述第一处理单元，包括：

第一处理模块，用于依据各传感器中每一传感器所采集的第一传感器数据中每一目标的位置，基于卷积神经网络模型对各传感器中每一传感器所采集的第一传感器数据，进行融合处理，得到归属于各目标中每一目标的数据，以得到第一中间数据；

第二处理模块，用于对所述第一中间数据中的各数据进行归一化处理，得到所述第一融合数据。

在可行的一种实施方式中，所述第二处理单元，包括：

获取模块，用于获取与所述待分析车辆相邻的相邻车辆的各传感器中每一传感器所采集的第二传感器数据；

第三处理模块，用于依据各第二传感器数据中每一目标的位置，基于卷积神经网络模型对各第二传感器数据，进行融合处理，得到归属于各目标中每一目标的数据，以得到第二中间数据；

第四处理模块，用于对所述第二中间数据中的各数据进行归一化处理，得到第二融合数据；

第五处理模块，用于基于卷积神经网络模型对所述第一融合数据、所述第二融合数据以及所述待分析车辆的位置信息，进行再次的信息融合数据，得到信息数据；

第六处理模块，用于基于卷积神经网络模型对信息数据进行处理，得到所述视野图的特征图。

在可行的一种实施方式中，所述第六处理模块，具体用于：

基于卷积神经网络模型对所述信息数据进行处理，生成所述信息数据中每一目标的特征图，并基于卷积神经网络模型对所述信息数据中每一目标的特征图进行反卷积处理，得到所述信息数据中每一目标的处理后的特征图；

依据所述信息数据中每一目标的位置，确定出第一数据特征图和第二数据特征图；其中，所述第一数据特征图为与前视图相关的处理后的特征图，所述第二数据特征图为与后视图相关的处理后的特征图；

其中，所述视野图的特征图，包括：所述信息数据中每一目标的处理后的特征图、所述第一数据特征图和所述第二数据特征图。

在可行的一种实施方式中，所述第一生成单元，具体用于：

基于卷积神经网络模型对所述第一数据特征图进行反卷积处理和识别处理，生成前视图；并基于卷积神经网络模型对所述第二数据特征图进行反卷积处理和识别处理，生成后视图；

对所述信息数据中每一目标的处理后的特征图进行投影处理，生成鸟瞰图。

在可行的一种实施方式中，所述第五处理模块，具体用于：

获取路网系统上所存储的地图信息，并获取所述相邻车辆的位置信息；

基于卷积神经网络模型对所述第一融合数据、所述第二融合数据、所述地图信息、所述待分析车辆的位置信息、以及所述相邻车辆的位置信息，进行再次的信息融合数据，得到信息数据。

在可行的一种实施方式中，所述装置还包括：

第三处理单元，用于基于所述信息数据中每一目标的位置，依据卷积神经网络模型将所述视野图的特征图中每一目标对应的特征图、每一目标的信息进行融合处理，得到拼接特征图；其中，所述信息数据中还包括路网系统上所存储的交通灯信息、所述相邻车辆所处的预设地理范围内的目标物体的信息；

第二生成单元，用于根据所述拼接特征图，生成感知占位图，所述感知占位图用于表征所述信息数据中的每一目标；

第四处理单元，用于对所述感知占位图进行可视化处理，得到并显示可视化地图。

在可行的一种实施方式中，所述装置还包括：

第三生成单元，用于获取所述待分析车辆的当前轨迹和车辆运行状态；根据所述视野图、所述待分析车辆的当前轨迹和车辆运行状态，生成新的规划路径；或者，获取所述待分析车辆的当前轨迹和车辆运行状态；若根据所述视野图、所述待分析车辆的当前轨迹和车辆运行状态，确定所述待分析车辆会发生碰撞，则发出警示信息，并重新生成新的规划路径。

第三方面，本申请实施例提供一种电子设备，所述电子设备包括：存储器，处理器；

存储器；用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行第一方面所述的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面所述的方法。

第五方面，本申请实施例提供一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法。

本申请实施例提供的基于多传感器的视野图处理方法、装置和设备，通过获取待分析车辆上的各传感器中每一传感器所采集的第一传感器数据；基于卷积神经网络模型对各传感器中每一传感器所采集的第一传感器数据，进行信息融合处理，得到第一融合数据；根据卷积神经网络模型对第一融合数据和待分析车辆的位置信息进行处理，得到视野图的特征图；根据视野图的特征图，生成视野图；其中，视野图包括前视图、鸟瞰图、后视图。从而采用卷积神经网络模型，根据各传感器所采集的第一传感器数据生成特征图，基于特征图生成前视图、鸟瞰图、后视图；基于卷积神经网络模型的方式可以准确的得到视野图，并且对各传感器所采集的第一传感器数据进行综合分析，去得到多种视野图（包括了前视图、鸟瞰图、后视图）。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请实施例提供的一种基于多传感器的视野图处理方法的流程图；

图2为本申请实施例提供的另一种基于多传感器的视野图处理方法的流程图；

图3为本申请实施例提供的视野图的示意图；

图4为本申请实施例提供的视野图处理的示意图；

图5为本申请实施例提供的一种基于多传感器的视野图处理装置的结构示意图；

图6为本申请实施例提供的另一种基于多传感器的视野图处理装置的结构示意图；

图7为本申请实施例提供的一种电子设备的结构示意图；

图8是本申请实施例提供的一种电子设备的框图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。

随着车辆技术的发展，车辆已经成为人们生活中的重要交通工具。并且，自动驾驶车辆也已经开始得到应用和发展。自动驾驶车辆可以基于采集到的地面数据，完成自动驾驶。

一个示例中，自动驾驶车辆上安装有多个摄像头，自动驾驶车辆可以基于摄像头采集的图像进行图像拼接，进而得到后视图。

但是在上述方式中，只能够得到后视图，并且仅通过图像拼接方式所得到的后视图并不准确。进而用户基于后视图完成驾驶过程，会发生驾驶错误的问题，甚至发生交通事故。

本申请实施例提供的基于多传感器的视野图处理方法、装置和设备，旨在解决现有技术的如上技术问题。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图1为本申请实施例提供的一种基于多传感器的视野图处理方法的流程图，如图1所示，该方法包括：

101、获取待分析车辆上的各传感器中每一传感器所采集的第一传感器数据。

示例性地，本实施例的执行主体为自动驾驶车辆、或者终端设备、或者服务器、或者基于多传感器的视野图处理装置或方法、或者其他可以执行本实施例方案的装置或设备，对此不做限制。本实施例以执行主体为自动驾驶车辆进行介绍。

在待分析车辆中安装有多种传感器（例如，摄像头、雷达、位置传感器、位姿传感器）。传感器可以采集待分析车辆在当前时间的相关数据，从而，待分析车辆获取待分析车辆上的各传感器中每一传感器所采集的第一传感器数据。

各第一传感器数据，包括了：待分析车辆的位置、待分析车辆所处环境下的每一目标的目标信息。目标为交通灯、路沿、车道线、以及交通参与者；交通参与者，例如是静态障碍物、动态障碍物。目标的目标信息包括了目标的位置信息、目标的方位信息、目标的速度信息、目标的大小信息。

102、基于卷积神经网络模型对各传感器中每一传感器所采集的第一传感器数据，进行信息融合处理，得到第一融合数据。

示例性地，每一传感器所采集的第一传感器数据中每一目标具有位置信息；进而可以依据第一传感器数据中每一目标具有位置信息，确定出所有第一传感器数据中的相同目标，即，确定出归属于同一目标的第一传感器数据，从而完成信息融合处理，得到第一融合数据。

103、根据卷积神经网络模型对第一融合数据和待分析车辆的位置信息进行处理，得到视野图的特征图。

示例性地，预先训练得到了卷积神经网络模型，并且可以通过全球定位系统（Global Positioning System，简称GPS）获取到待分析车辆的位置信息；可以将第一融合数据和待分析车辆的位置信息输入到卷积神经网络模型中，就可以输出视野图的特征图。

卷积神经网络模型为通过具有前视图、鸟瞰图、后视图的车辆传感器数据训练所得到。

104、根据视野图的特征图，生成视野图；其中，视野图包括前视图、鸟瞰图、后视图。

示例性地，基于卷积神经网络模型对视野图的特征图进行分析，就可以生成视野图；本实施例中所得到的视野图包括前视图、鸟瞰图、后视图。

本实施例，通过获取待分析车辆上的各传感器中每一传感器所采集的第一传感器数据；基于卷积神经网络模型对各传感器中每一传感器所采集的第一传感器数据，进行信息融合处理，得到第一融合数据；根据卷积神经网络模型对第一融合数据和待分析车辆的位置信息进行处理，得到视野图的特征图；根据视野图的特征图，生成视野图；其中，视野图包括前视图、鸟瞰图、后视图。从而采用卷积神经网络模型，根据各传感器所采集的第一传感器数据生成特征图，基于特征图生成前视图、鸟瞰图、后视图；基于卷积神经网络模型的方式可以准确的得到视野图，并且对各传感器所采集的第一传感器数据进行综合分析，去得到多种视野图（包括了前视图、鸟瞰图、后视图）。

图2为本申请实施例提供的另一种基于多传感器的视野图处理方法的流程图，如图2所示，该方法包括：

201、获取待分析车辆上的各传感器中每一传感器所采集的第一传感器数据。

示例性地，本实施例的执行主体为自动驾驶车辆、或者终端设备、或者服务器、或者基于多传感器的视野图处理装置或方法、或者其他可以执行本实施例方案的装置或设备，对此不做限制。本实施例以执行主体为自动驾驶车辆进行介绍。

本步骤可以参见图1的步骤101，不再赘述。

202、依据各传感器中每一传感器所采集的第一传感器数据中每一目标的位置，基于卷积神经网络模型对各传感器中每一传感器所采集的第一传感器数据，进行融合处理，得到归属于各目标中每一目标的数据，以得到第一中间数据。

示例性地，需要对各传感器所采集的第一传感器数据进行融合处理，去提取出归属于同一目标的数据。一个示例中，每一传感器所采集的第一传感器数据中每一目标的位置信息，从而可以根据每一目标的位置信息，基于卷积神经网络模型对各传感器中每一传感器所采集的第一传感器数据，去提取出归属于同一目标的数据（即，归属于各目标中每一目标的数据），从而得到第一中间数据。进而确定出归属于同一目标的数据，便于后续处理数据。

203、对第一中间数据中的各数据进行归一化处理，得到第一融合数据。

示例性地，还需要步骤202所得到的第一中间数据进行数据归一化处理（即，数据对齐处理），进而得到第一融合数据。

204、获取与待分析车辆相邻的相邻车辆的各传感器中每一传感器所采集的第二传感器数据。

示例性地，由于在待分析车辆的行驶环境中会存在相邻车辆，需要获取到相邻车辆的各传感器中每一传感器所采集的第二传感器数据。

首先需要确定出相邻车辆。一个示例中，待分析车辆可以获取到待分析车辆的当前位置，然后确定出一个预设位置距离；待分析车辆将与待分析车辆的当前位置之间的距离为预设位置距离的车辆，作为了与当前位置相邻的车辆，进而确定出相邻车辆。

或者，另一个示例中，待分析车辆可以获取到待分析车辆的当前位置，然后确定出一个预设位置距离；待分析车辆将与待分析车辆的当前位置之间的距离为预设位置距离的车辆，作为了与当前位置相邻的车辆，进而确定出待选择车辆；然后，待分析车辆可以获取到各待选择车辆的历史信息（历史信息为待选择车辆的车辆信息，车辆信息包括了传感器数据、控制器局域网络总线上的数据、移动终端的数据）；待分析车辆将历史信息的种类最多的待选择车辆，作为相邻车辆。

针对每一相邻车辆，在相邻车辆中安装有多种传感器（例如，摄像头、雷达、位置传感器、位姿传感器）。传感器可以采集相邻车辆在当前时间的相关数据，从而，相邻车辆获取相邻车辆上的各传感器中每一传感器所采集的第二传感器数据。每一相邻车辆将第二传感器数据发送给待分析车辆进行处理。

第二传感器数据，包括了：相邻车辆的位置、相邻车辆所处环境下的每一目标的目标信息。目标为交通灯、路沿、车道线、以及交通参与者；交通参与者，例如是静态障碍物、动态障碍物。目标的目标信息包括了目标的位置信息、目标的方位信息、目标的速度信息、目标的大小信息。

205、依据各第二传感器数据中每一目标的位置，基于卷积神经网络模型对各第二传感器数据，进行融合处理，得到归属于各目标中每一目标的数据，以得到第二中间数据。

示例性地，针对每一相邻车辆，需要对各传感器所采集的第二传感器数据进行融合处理，去提取出归属于同一目标的数据。一个示例中，每一传感器所采集的第二传感器数据中每一目标的位置信息，从而可以根据每一目标的位置信息，基于卷积神经网络模型对各传感器中每一传感器所采集的第二传感器数据，去提取出归属于同一目标的数据（即，归属于各目标中每一目标的数据），从而得到第二中间数据。进而确定出归属于同一目标的数据，便于后续处理数据。

206、对第二中间数据中的各数据进行归一化处理，得到第二融合数据。

示例性地，还需要步骤205所得到的第二中间数据进行数据归一化处理（即，数据对齐处理），进而得到第二融合数据。

207、基于卷积神经网络模型对第一融合数据、第二融合数据以及待分析车辆的位置信息，进行再次的信息融合数据，得到信息数据。

一个示例中，步骤207具体包括：获取路网系统上所存储的地图信息，并获取相邻车辆的位置信息；基于卷积神经网络模型对第一融合数据、第二融合数据、地图信息、待分析车辆的位置信息、以及相邻车辆的位置信息，进行再次的信息融合数据，得到信息数据。

示例性地，预先训练得到了卷积神经网络模型，并且可以通过GPS获取到待分析车辆的位置信息；可以将第一融合数据、第二融合数据和待分析车辆的位置信息输入到卷积神经网络模型中，去提取出归属于同一目标的数据，就可以输出信息数据。

一个示例中，路网系统中存储有地图信息，并且相邻车辆可以将自己的位置信息发送给待分析车辆。进而待分析车辆可以将第一融合数据、第二融合数据、地图信息、待分析车辆的位置信息、以及相邻车辆的位置信息输入到卷积神经网络模型中；在卷积神经网络模型中，可以基于“第一融合数据、第二融合数据、地图信息、待分析车辆的位置信息、以及相邻车辆的位置信息”中每一目标的位置信息，确定出归属于同一目标的数据，进而完成再次的信息融合数据，得到信息数据。

208、基于卷积神经网络模型对信息数据进行处理，得到视野图的特征图。

一个示例中，步骤208具体包括：基于卷积神经网络模型对信息数据进行处理，生成信息数据中每一目标的特征图，并基于卷积神经网络模型对信息数据中每一目标的特征图进行反卷积处理，得到信息数据中每一目标的处理后的特征图；依据信息数据中每一目标的位置，确定出第一数据特征图和第二数据特征图；其中，第一数据特征图为与前视图相关的处理后的特征图，第二数据特征图为与后视图相关的处理后的特征图。

其中，视野图的特征图，包括：信息数据中每一目标的处理后的特征图、第一数据特征图和第二数据特征图。

示例性地，将步骤207中的信息数据输入到训练过的卷积神经网络模型中，输出视野图的特征图。

一个示例中，待分析车辆将信息数据输入到卷积神经网络模型中，得到信息数据中每一目标的特征图；然后，待分析车辆基于卷积神经网络模型对信息数据中每一目标的特征图进行反卷积处理，就可以输出信息数据中每一目标的处理后的特征图；由于需要得到与前视图相关的处理后的特征图、与后视图相关的处理后的特征图，待分析车辆可以基于信息数据中每一目标的位置，从处理后的特征图中确定出与前视图相关的处理后的特征图（即，第一数据特征图）、与后视图相关的处理后的特征图（即，第二数据特征图）。

例如，待分析车辆将位于车辆后方的第一预设地理范围的目标，然后从处理后的特征图中提取出这些目标的特征图。待分析车辆将位于车辆前方的第二预设地理范围的目标，然后从处理后的特征图中提取出这些目标的特征图。

可知，视野图的特征图，包括：信息数据中每一目标的处理后的特征图、第一数据特征图和第二数据特征图。

209、根据视野图的特征图，生成视野图；其中，视野图包括前视图、鸟瞰图、后视图。

一个示例中，步骤209具体包括：基于卷积神经网络模型对第一数据特征图进行反卷积处理和识别处理，生成前视图；并基于卷积神经网络模型对第二数据特征图进行反卷积处理和识别处理，生成后视图；对信息数据中每一目标的处理后的特征图进行投影处理，生成鸟瞰图。

示例性地，基于卷积神经网络模型对视野图的特征图进行分析，就可以生成视野图；本实施例中所得到的视野图包括前视图、鸟瞰图、后视图。

一个示例中，待分析车辆将第一数据特征图（即，与前视图相关的处理后的特征图）输入到卷积神经网络模型中进行反卷积处理、以及识别处理，就可以前视图。此时涉及的卷积神经网络模型是经过具有前视图的车辆传感器数据训练所得到的。

待分析车辆将第二数据特征图（即，与后视图相关的处理后的特征图）输入到卷积神经网络模型中进行反卷积处理、以及识别处理，就可以后视图。此时涉及的卷积神经网络模型是经过具有后视图的车辆传感器数据训练所得到的。

待分析车辆可以直接对信息数据中每一目标的处理后的特征图进行投影处理，就可以生成鸟瞰图。

上述每一步骤中所涉及的卷积神经网络模型可以是各自独立的模型。或者，上述各步骤中所涉及的卷积神经网络模型为同一个模型，该模型可以实现上述各步骤所涉及的卷积神经网络模型的功能。

举例来说，图3为本申请实施例提供的视野图的示意图，如图3所示，通过本实施例的方案，可以得到车辆1（Vehicle 1）的前视图、车辆1的后视图、以及车辆1的鸟瞰图，得到车辆2（Vehicle 2）的前视图、车辆2的后视图、以及车辆2的鸟瞰图。在图3中，车辆1的前视图中包括一个物体1（Object 1），车辆1的后视图中包括一个物体3（Object 3），车辆2的前视图中包括一个物体2（Object 2）；在图3中，只展示了车辆1的鸟瞰图的一部分，只展示了车辆2的鸟瞰图的一部分。

210、基于信息数据中每一目标的位置，依据卷积神经网络模型将视野图的特征图中每一目标对应的特征图、每一目标的信息进行融合处理，得到拼接特征图；其中，信息数据中还包括路网系统上所存储的交通灯信息、相邻车辆所处的预设地理范围内的目标物体的信息。

示例性地，还可以得到可视化地图。首先，由于信息数据中每一目标具有位置信息，从而视野图的特征图中每一目标具有位置信息；从而，可以将视野图的特征图中每一目标对应的特征图、每一目标的信息（包括了目标的位置信息、目标的方位信息、目标的速度信息、目标的大小信息、等等）输入到卷积神经网络模型中，进而依据信息数据中每一目标的位置，将每一目标对应的特征图和信息设置到每一目标的位置处，进而完成融合处理，得到拼接特征图。

一个示例中，路网系统上存储有交通灯信息，待分析车辆可以从路网系统中获取交通灯信息；其中，路网系统上所存储的交通灯信息中包括交通灯的变化信息（即，每一交通灯每隔预设时间进行状态变换）。由于相邻车辆可以通过传感器、雷达、摄像头等获取到预设地理范围内的目标物体的信息，从而，待分析车辆可以接收相邻车辆发送的相邻车辆所处的预设地理范围内的目标物体的信息；其中，相邻车辆所处的预设地理范围内的目标物体的信息，包括了目标物体的位置信息、目标物体的状态信息（静态障碍物、或者动态障碍物）、目标物体的方位信息、目标物体的大小信息、等等。

进而，待分析车辆可以将第一融合数据、第二融合数据、地图信息、待分析车辆的位置信息、相邻车辆的位置信息、交通灯信息、以及相邻车辆所处的预设地理范围内的目标物体的信息输入到卷积神经网络模型中；在卷积神经网络模型中，可以基于“第一融合数据、第二融合数据、地图信息、待分析车辆的位置信息、相邻车辆的位置信息、交通灯信息、以及相邻车辆所处的预设地理范围内的目标物体的信息”中每一目标的位置信息，确定出归属于同一目标的数据，进而完成再次的信息融合数据，得到信息数据。

从而，由于信息数据中每一目标具有位置信息，从而视野图的特征图中每一目标具有位置信息；从而，可以将视野图的特征图中每一目标对应的特征图、每一目标的信息（包括了目标的位置信息、目标的方位信息、目标的速度信息、目标的大小信息、等等）输入到卷积神经网络模型中，进而依据信息数据中每一目标的位置，将每一目标对应的特征图和信息设置到每一目标的位置处，进而完成融合处理，得到拼接特征图。此时，拼接特征图是基于“第一融合数据、第二融合数据、地图信息、待分析车辆的位置信息、相邻车辆的位置信息、交通灯信息、以及相邻车辆所处的预设地理范围内的目标物体的信息”所得到的。

211、根据拼接特征图，生成感知占位图，感知占位图用于表征信息数据中的每一目标； 对感知占位图进行可视化处理，得到并显示可视化地图。

示例性地，将拼接特征图输入到卷积神经网络模型中，输出感知占位图，其中，感知占位图中包括上述信息数据中每一目标的信息。此时，感知占位图并不是可视化的图，还需要对感知占位图进行可视化处理，得到可视化地图。此外，还可以显示所得到的可视化地图。

上述每一步骤中所涉及的卷积神经网络模型可以是各自独立的模型。或者，上述各步骤中所涉及的卷积神经网络模型为同一个模型，该模型可以实现上述各步骤所涉及的卷积神经网络模型的功能。

举例来说，图4为本申请实施例提供的视野图处理的示意图，如图4所示，将待分析车辆上的各传感器中每一传感器所采集的第一传感器数据，输入到卷积神经网络模型中，进行融合处理，得到归属于各目标中每一目标的数据，以得到第一中间数据；对第一中间数据进行归一化处理，得到第一融合数据。将相邻车辆的各传感器中每一传感器所采集的第二传感器数据，输入到卷积神经网络模型中，进行融合处理，得到归属于各目标中每一目标的数据，以得到第二中间数据；对第二中间数据进行归一化处理，得到第二融合数据。待分析车辆可以将第一融合数据、第二融合数据输入到卷积神经网络模型中（或者，将第一融合数据、第二融合数据、地图信息、待分析车辆的位置信息、以及相邻车辆的位置信息输入到卷积神经网络模型中）进行融合，得到信息数据。将信息数据输入到卷积神经网络模型中，得到视野图的特征图；视野图的特征图，包括：信息数据中每一目标的处理后的特征图、第一数据特征图和第二数据特征图。基于卷积神经网络模型对第一数据特征图进行反卷积处理和识别处理，生成前视图；并基于卷积神经网络模型对第二数据特征图进行反卷积处理和识别处理，生成后视图。对信息数据中每一目标的处理后的特征图进行投影处理，生成鸟瞰图。还可以基于卷积神经网络模型对信息数据进行处理，生成可视化地图。

图4中每一步骤中所涉及的卷积神经网络模型可以是各自独立的模型。或者，图4中各步骤中所涉及的卷积神经网络模型为同一个模型，该模型可以实现上述各步骤所涉及的卷积神经网络模型的功能。

此外，本实施例还可以执行以下步骤：获取待分析车辆的当前轨迹和车辆运行状态；根据视野图、待分析车辆的当前轨迹和车辆运行状态，生成新的规划路径。或者，获取待分析车辆的当前轨迹和车辆运行状态；若根据视野图、待分析车辆的当前轨迹和车辆运行状态，确定待分析车辆会发生碰撞，则发出警示信息，并重新生成新的规划路径。

示例性的，待分析车辆在生成了视野图之后，还可以依据视野图进行路径规划。

一个示例中，待分析车辆可以获知待分析车辆的当前轨迹、以及待分析车辆的车辆运行状态（例如，加速、减速、停止、倒车、启动）；待分析车辆可以采用路径规划算法，对视野图、待分析车辆的当前轨迹和车辆运行状态进行计算，生成新的规划路径；或者，待分析车辆可以基于训练过的网络模型，对视野图、待分析车辆的当前轨迹和车辆运行状态进行处理，生成新的规划路径。

另一个示例中，待分析车辆可以获知待分析车辆的当前轨迹、以及待分析车辆的车辆运行状态（例如，加速、减速、停止、倒车、启动）；待分析车辆可以采用路径规划算法，对视野图、待分析车辆的当前轨迹和车辆运行状态进行计算，以确定待分析车辆是否会发生碰撞；若确定会发生碰撞，则待分析车辆再采用路径规划算法，对视野图、待分析车辆的当前轨迹和车辆运行状态进行计算，生成新的规划路径。

本实施例，在上述实施例的基础上，将待分析车辆上的各传感器中每一传感器所采集的第一传感器数据，输入到卷积神经网络模型中，进行融合处理，得到归属于各目标中每一目标的数据，以得到第一中间数据；对第一中间数据进行归一化处理，得到第一融合数据。将相邻车辆的各传感器中每一传感器所采集的第二传感器数据，输入到卷积神经网络模型中，进行融合处理，得到归属于各目标中每一目标的数据，以得到第二中间数据；对第二中间数据进行归一化处理，得到第二融合数据。待分析车辆可以将第一融合数据、第二融合数据输入到卷积神经网络模型中（或者，将第一融合数据、第二融合数据、地图信息、待分析车辆的位置信息、以及相邻车辆的位置信息输入到卷积神经网络模型中）进行融合，得到信息数据。进而综合考虑了待分析车辆上的各传感器所采集的数据、相邻车辆上的各传感器所采集的数据、地图信息等等数据，基于这些数据去生成视野图，生成的视野图准确。然后，将信息数据输入到卷积神经网络模型中，得到视野图的特征图；视野图的特征图，包括：信息数据中每一目标的处理后的特征图、第一数据特征图（与前视图相关的特征图）和第二数据特征图（与前视图相关的特征图）。基于卷积神经网络模型对第一数据特征图进行反卷积处理和识别处理，生成前视图；并基于卷积神经网络模型对第二数据特征图进行反卷积处理和识别处理，生成后视图。基于卷积神经网络模型对数据进行处理、对特征图进行反卷积，可以准确的生成清晰的前视图和后视图。并且生成鸟瞰图。从而，准确的得到多种视野图。并且，基于卷积神经网络模型对信息数据进行处理，生成可视化地图；进而实时的更新地图，便于车辆根据更新后的地图进行行驶。

图5为本申请实施例提供的一种基于多传感器的视野图处理装置的结构示意图，如图5所示，该装置包括：

获取单元51，用于获取待分析车辆上的各传感器中每一传感器所采集的第一传感器数据。

第一处理单元52，用于基于卷积神经网络模型对各传感器中每一传感器所采集的第一传感器数据，进行信息融合处理，得到第一融合数据。

第二处理单元53，用于根据卷积神经网络模型对第一融合数据和待分析车辆的位置信息进行处理，得到视野图的特征图。

第一生成单元54，用于根据视野图的特征图，生成视野图；其中，视野图包括前视图、鸟瞰图、后视图。

示例性地，本实施例可以参见上述方法实施例，其原理和技术效果类似，不再赘述。

图6为本申请实施例提供的另一种基于多传感器的视野图处理装置的结构示意图，在图5所示实施例的基础上，如图6所示，该装置中，第一处理单元52，包括：

第一处理模块521，用于依据各传感器中每一传感器所采集的第一传感器数据中每一目标的位置，基于卷积神经网络模型对各传感器中每一传感器所采集的第一传感器数据，进行融合处理，得到归属于各目标中每一目标的数据，以得到第一中间数据。

第二处理模块522，用于对第一中间数据中的各数据进行归一化处理，得到第一融合数据。

一个示例中，第二处理单元53，包括：

获取模块531，用于获取与待分析车辆相邻的相邻车辆的各传感器中每一传感器所采集的第二传感器数据。

第三处理模块532，用于依据各第二传感器数据中每一目标的位置，基于卷积神经网络模型对各第二传感器数据，进行融合处理，得到归属于各目标中每一目标的数据，以得到第二中间数据。

第四处理模块533，用于对第二中间数据中的各数据进行归一化处理，得到第二融合数据。

第五处理模块534，用于基于卷积神经网络模型对第一融合数据、第二融合数据以及待分析车辆的位置信息，进行再次的信息融合数据，得到信息数据。

第六处理模块535，用于基于卷积神经网络模型对信息数据进行处理，得到视野图的特征图。

一个示例中，第六处理模块535，具体用于：

基于卷积神经网络模型对信息数据进行处理，生成信息数据中每一目标的特征图，并基于卷积神经网络模型对信息数据中每一目标的特征图进行反卷积处理，得到信息数据中每一目标的处理后的特征图；依据信息数据中每一目标的位置，确定出第一数据特征图和第二数据特征图；其中，第一数据特征图为与前视图相关的处理后的特征图，第二数据特征图为与后视图相关的处理后的特征图。

其中，视野图的特征图，包括：信息数据中每一目标的处理后的特征图、第一数据特征图和第二数据特征图。

一个示例中，第一生成单元54，具体用于：

基于卷积神经网络模型对第一数据特征图进行反卷积处理和识别处理，生成前视图；并基于卷积神经网络模型对第二数据特征图进行反卷积处理和识别处理，生成后视图；对信息数据中每一目标的处理后的特征图进行投影处理，生成鸟瞰图。

一个示例中，第五处理模块534，具体用于：

获取路网系统上所存储的地图信息，并获取相邻车辆的位置信息；基于卷积神经网络模型对第一融合数据、第二融合数据、地图信息、待分析车辆的位置信息、以及相邻车辆的位置信息，进行再次的信息融合数据，得到信息数据。

一个示例中，本实施例提供的装置，还包括：

第三处理单元61，用于基于信息数据中每一目标的位置，依据卷积神经网络模型将视野图的特征图中每一目标对应的特征图、每一目标的信息进行融合处理，得到拼接特征图；其中，信息数据中还包括路网系统上所存储的交通灯信息、相邻车辆所处的预设地理范围内的目标物体的信息。

第二生成单元62，用于根据拼接特征图，生成感知占位图，感知占位图用于表征信息数据中的每一目标。

第四处理单元63，用于对感知占位图进行可视化处理，得到并显示可视化地图。

一个示例中，本实施例提供的装置，还包括：

第三生成单元64，用于获取待分析车辆的当前轨迹和车辆运行状态；根据视野图、待分析车辆的当前轨迹和车辆运行状态，生成新的规划路径；或者，获取待分析车辆的当前轨迹和车辆运行状态；若根据视野图、待分析车辆的当前轨迹和车辆运行状态，确定待分析车辆会发生碰撞，则发出警示信息，并重新生成新的规划路径。

示例性地，本实施例可以参见上述方法实施例，其原理和技术效果类似，不再赘述。

图7为本申请实施例提供的一种电子设备的结构示意图，如图7所示，电子设备包括：存储器71，处理器72；

存储器71；用于存储处理器72可执行指令的存储器；

其中，处理器72被配置为执行如上述实施例提供的方法。

电子设备还包括接收器73和发送器74。接收器73用于接收外部设备发送的指令和数据，发送器74用于向外部设备发送指令和数据。

图8是本申请实施例提供的一种电子设备的框图，该电子设备可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出（I/ O）接口812，传感器组件814，以及通信组件816。

处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。

电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。

多媒体组件808包括在装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器（LCD）和触摸面板（TP）。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风（MIC），当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/ O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件816还包括近场通信（NFC）模块，以促进短程通信。例如，在NFC模块可基于射频识别（RFID）技术，红外数据协会（IrDA）技术，超宽带（UWB）技术，蓝牙（BT）技术和其他技术来实现。

在示例性实施例中，装置800可以被一个或多个应用专用集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理设备（DSPD）、可编程逻辑器件（PLD）、现场可编程门阵列（FPGA）、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。

本申请实施例还提供了一种非临时性计算机可读存储介质，当该存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述实施例提供的方法。

本申请实施例还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (9)

1.一种基于多传感器的视野图处理方法，其特征在于，所述方法包括：

获取待分析车辆上的各传感器中每一传感器所采集的第一传感器数据；

基于卷积神经网络模型对各传感器中每一传感器所采集的第一传感器数据，进行信息融合处理，得到第一融合数据；

根据卷积神经网络模型对所述第一融合数据和所述待分析车辆的位置信息进行处理，得到视野图的特征图；

根据所述视野图的特征图，生成视野图；其中，所述视野图包括前视图、鸟瞰图、后视图；

其中，根据卷积神经网络模型对所述第一融合数据和所述待分析车辆的位置信息进行处理，得到视野图的特征图，包括：

获取与所述待分析车辆相邻的相邻车辆的各传感器中每一传感器所采集的第二传感器数据；

依据各第二传感器数据中每一目标的位置，基于卷积神经网络模型对各第二传感器数据，进行融合处理，得到归属于各目标中每一目标的数据，以得到第二中间数据；

对所述第二中间数据中的各数据进行归一化处理，得到第二融合数据；

基于卷积神经网络模型对所述第一融合数据、所述第二融合数据以及所述待分析车辆的位置信息，进行再次的信息融合数据，得到信息数据；

基于卷积神经网络模型对信息数据进行处理，得到所述视野图的特征图；

其中，基于卷积神经网络模型对信息数据进行处理，得到所述视野图的特征图，包括：

基于卷积神经网络模型对所述信息数据进行处理，生成所述信息数据中每一目标的特征图，并基于卷积神经网络模型对所述信息数据中每一目标的特征图进行反卷积处理，得到所述信息数据中每一目标的处理后的特征图；依据所述信息数据中每一目标的位置，确定出第一数据特征图和第二数据特征图；其中，所述第一数据特征图为与前视图相关的处理后的特征图，所述第二数据特征图为与后视图相关的处理后的特征图；其中，所述视野图的特征图，包括：所述信息数据中每一目标的处理后的特征图、所述第一数据特征图和所述第二数据特征图。

2.根据权利要求1所述的方法，其特征在于，基于卷积神经网络模型对各传感器中每一传感器所采集的第一传感器数据，进行信息融合处理，得到第一融合数据，包括：

依据各传感器中每一传感器所采集的第一传感器数据中每一目标的位置，基于卷积神经网络模型对各传感器中每一传感器所采集的第一传感器数据，进行融合处理，得到归属于各目标中每一目标的数据，以得到第一中间数据；

对所述第一中间数据中的各数据进行归一化处理，得到所述第一融合数据。

3.根据权利要求1所述的方法，其特征在于，根据所述视野图的特征图，生成视野图，包括：

基于卷积神经网络模型对所述第一数据特征图进行反卷积处理和识别处理，生成前视图；并基于卷积神经网络模型对所述第二数据特征图进行反卷积处理和识别处理，生成后视图；

对所述信息数据中每一目标的处理后的特征图进行投影处理，生成鸟瞰图。

4.根据权利要求1所述的方法，其特征在于，基于卷积神经网络模型对所述第一融合数据、所述第二融合数据以及所述待分析车辆的位置信息，进行再次的信息融合数据，得到信息数据，包括：

获取路网系统上所存储的地图信息，并获取所述相邻车辆的位置信息；

基于卷积神经网络模型对所述第一融合数据、所述第二融合数据、所述地图信息、所述待分析车辆的位置信息、以及所述相邻车辆的位置信息，进行再次的信息融合数据，得到信息数据。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述信息数据中每一目标的位置，依据卷积神经网络模型将所述视野图的特征图中每一目标对应的特征图、每一目标的信息进行融合处理，得到拼接特征图；其中，所述信息数据中还包括路网系统上所存储的交通灯信息、所述相邻车辆所处的预设地理范围内的目标物体的信息；

根据所述拼接特征图，生成感知占位图，所述感知占位图用于表征所述信息数据中的每一目标；

对所述感知占位图进行可视化处理，得到并显示可视化地图。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：

获取所述待分析车辆的当前轨迹和车辆运行状态；根据所述视野图、所述待分析车辆的当前轨迹和车辆运行状态，生成新的规划路径；

或者，获取所述待分析车辆的当前轨迹和车辆运行状态；若根据所述视野图、所述待分析车辆的当前轨迹和车辆运行状态，确定所述待分析车辆会发生碰撞，则发出警示信息，并重新生成新的规划路径。

7.一种基于多传感器的视野图处理装置，其特征在于，所述装置包括：

获取单元，用于获取待分析车辆上的各传感器中每一传感器所采集的第一传感器数据；

第一处理单元，用于基于卷积神经网络模型对各传感器中每一传感器所采集的第一传感器数据，进行信息融合处理，得到第一融合数据；

第二处理单元，用于根据卷积神经网络模型对所述第一融合数据和所述待分析车辆的位置信息进行处理，得到视野图的特征图；

第一生成单元，用于根据所述视野图的特征图，生成视野图；其中，所述视野图包括前视图、鸟瞰图、后视图；

第二处理单元，包括：

获取模块，用于获取与待分析车辆相邻的相邻车辆的各传感器中每一传感器所采集的第二传感器数据；

第三处理模块，用于依据各第二传感器数据中每一目标的位置，基于卷积神经网络模型对各第二传感器数据，进行融合处理，得到归属于各目标中每一目标的数据，以得到第二中间数据；

第四处理模块，用于对第二中间数据中的各数据进行归一化处理，得到第二融合数据；

第五处理模块，用于基于卷积神经网络模型对第一融合数据、第二融合数据以及待分析车辆的位置信息，进行再次的信息融合数据，得到信息数据；

第六处理模块，用于基于卷积神经网络模型对信息数据进行处理，得到视野图的特征图；

其中，第六处理模块，具体用于：

基于卷积神经网络模型对信息数据进行处理，生成信息数据中每一目标的特征图，并基于卷积神经网络模型对信息数据中每一目标的特征图进行反卷积处理，得到信息数据中每一目标的处理后的特征图；依据信息数据中每一目标的位置，确定出第一数据特征图和第二数据特征图；其中，第一数据特征图为与前视图相关的处理后的特征图，第二数据特征图为与后视图相关的处理后的特征图；其中，视野图的特征图，包括：信息数据中每一目标的处理后的特征图、第一数据特征图和第二数据特征图。

8.一种电子设备，其特征在于，所述电子设备包括：存储器，处理器；

存储器；用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行如权利要求1-6任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-6任一项所述的方法。

Images