CN117685954A - 一种用于矿区的多模态语义地图构建系统和方法 - Google Patents

Abstract

本发明涉及自动驾驶技术领域，公开了用于矿区的多模态语义地图构建系统和方法，所述系统包括：数据采集存储模块，设置在车端上，包括：定位模块、通信模块、车载感知模块和处理器，车载感知模块包括激光雷达、可见光相机和红外相机；地图构建模块，用于获取车载感知模块中采集到的多传感器数据和定位数据，进行建模，以生成具有障碍物的语义地图；其中，障碍物为矿上中掉落的物体；障碍物校验模块，用于获取多传感器数据和语义地图，通过对比分析，对语义地图中的障碍物进行校验；地图更新发布模块，用于更新并发布语义地图。本发明通过实时生成适用于夜间矿区的语义地图，解决了无人驾驶汽车无法在具有落石的夜晚进行作业的问题。

Description

一种用于矿区的多模态语义地图构建系统和方法

技术领域

本申请属于自动驾驶技术领域，涉及一种用于矿区的多模态语义地图构建系统和方法。

背景技术

语义地图在自动驾驶技术中扮演着至关重要的角色。它不仅提供了传统地图上的道路、建筑物等基本信息，还融入了丰富的语义信息，如行人过街区域、交通信号灯状态、临时施工区域等。这些细节对于自动驾驶车辆理解和适应复杂的道路环境至关重要。通过对这些语义信息的解析和应用，自动驾驶车辆能够更准确地识别周围环境，做出更安全、更合理的驾驶决策。例如，在复杂的城市交通环境中，语义地图能帮助自动驾驶车辆准确判断路口的类型、遵守交通规则，以及预测其他车辆和行人的行为，从而大大提高行驶的安全性和效率。因此，语义地图是实现全自动驾驶技术的关键因素之一。

由于矿区自动驾驶的特殊性，其语义地图的构建方法与传统的城市场景自动驾驶有较大区别。矿区场景环境极端，且夜间无额外照明措施，其对全天候语义地图构建的鲁棒性提出较高的要求。另一方面，矿区环境复杂多变其对地图更新的频率有较高的要求。除此之外，由于矿区有较多的落石等随机障碍会出现在行驶路线，从而影响车辆正常行驶，因此，如何有效将静态障碍信息有效构建在地图中并可实时更新是一大难题。

目前缺少一种具有较多落石场景的矿区且适应于车辆在夜晚作业的无人驾驶系统。

发明内容

为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。

为了解决相关技术中存在的问题，本公开实施例提供了用于矿区的多模态语义地图构建系统和方法，用以解决现有技术中的无人驾驶汽车无法在具有落石的夜晚进行作业的问题。

在一些实施例中，提供了应用于矿区的多模态语义地图构建系统，包括：

数据采集存储模块，设置在车端上，包括：定位模块、通信模块、车载感知模块和处理器，其中，车载感知模块包括激光雷达、可见光相机和红外相机；处理器用于根据环境下的可见光相机图像的彩色图像亮度阈值，自动开关红外相机；

地图构建模块，用于获取车载感知模块中采集到的多传感器数据和定位数据，进行建模，以生成具有障碍物的语义地图；其中，障碍物为矿上中掉落的物体；

障碍物校验模块，用于获取多传感器数据和语义地图，通过对比分析，对语义地图中的障碍物进行校验；

地图更新发布模块，用于更新并发布语义地图。

优选地，地图构建模块，包括：

多模态BEV实例分割模块，用于识别并提取所有潜在的静态和动态对象的详细语义信息，通过预测俯视视角和前视角的实例语义分割，输出俯视图实例语义结果和前视图实例语义；

多模态融合模块，用于获取多模态BEV实例分割模块提供的语义信息映射到点云上，将每一个点云分类成动态点云和静态点云；

定位计算模块，用于对静态点云进行特征提取，通过提取到的前后帧特征进行数据关联，计算出基于静态信息的最优车辆姿态，根据最优车辆姿态，选取车辆移动的关键帧；

全局优化建图模块，用于根据车辆移动的关键帧构建静态地图，构建动态地图，实时两类地图融合，得到全局的语义地图。

优选地，所述定位模块由全球导航卫星系统GNSS模块和惯导IMU构成，用于提供车辆定位信息。

优选地，通信模块包括V2X通信设备和车载交换机。

优选地，激光雷达为64线近距激光雷达或者128线近距激光雷达。

在一些实施例中，公开了一种用于矿区的多模态语义地图构建方法，包括：

收集多传感器数据和定位数据；其中，多传感器包括激光雷达、可见光相机和红外相机；

将多传感器数据和定位数据，进行建模，以生成具有障碍物的语义地图；其中，障碍物为矿山中掉落的物体；

获取多传感器数据和语义地图，通过对比分析，对语义地图中的障碍物进行校验；

更新并发布语义地图。

优选地，应用于具有地图构建模块的多模态语义地图构建系统，其中，地图构建模块包括：多模态BEV实例分割模块、多模态融合模块、定位计算模块、全局优化建图模块，将多传感器数据和定位数据，进行建模，以生成具有障碍物的语义地图，包括：

识别并提取所有潜在的静态和动态对象的详细语义信息，通过预测俯视角和前视角的实例语义分割，输出俯视图实例语义结果和前视图实例语义；

获取多模态BEV实例分割模块提供的语义信息映射到点云上，将每一个点云分类成动态点云和静态点云；

对静态点云进行特征提取，通过提取到的前后帧特征进行数据关联，计算出基于静态信息的最优车辆姿态，根据最优车辆姿态，选取车辆移动的关键帧；

根据车辆移动的关键帧构建静态地图，构建动态地图，实时两类地图融合，得到全局的语义地图。

优选地，获取多传感器数据和语义地图，通过对比分析，对语义地图中的障碍物进行校验，包括：

通过图像识别技术识别可见光相机和红外相机中的障碍物外形和种类，与语义地图识别到的障碍物外形和种类进行对比分析。

在一些实施例中，公开了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，执行如上述用于矿区的多模态语义地图构建方法。

在一些实施例中，公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行如上述的用于矿区的多模态语义地图构建方法。

本公开实施例提供的一种用于矿区的多模态语义地图构建系统和方法，可以实现以下技术效果：

第一方面，本公开实施例中出一种面向矿山自动驾驶的多模态语义地图构建方法，其由数据采集存储模块，地图构建模块，障碍物校验模块，地图更新发布模块共同组成，有效解决了矿山自动驾驶语义地图构建的问题。

第二方面，本公开实施例提出面向矿山自动驾驶应用的实时地图更新方法，该方法通过挡墙边界的匹配差分过程识别出环境中的变化，然后利用非极大值抑制（NMS）技术筛选出最显著的障碍物信息进行地图更新。

第三方面，本公开实施例构建了适用于矿山自动驾驶场景的多模态BEV实例语义分割模型，该方法充分利用不同传感器的优点确保不同极端环境，全天候的有效分割。另外，由于其充分融合了激光雷达的3D位置信息以及图像的高分辨率语义信息并在俯视图和前视图同时进行实例语义分割，不仅实现了高精度的实例语义分割建模，也实现了高分辨率的实例语义分割，解决矿山小障碍物分割位置不准确以及分割失效等问题。

以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。

附图说明

一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：

图1是本公开实施例提供的一种用于矿区的多模态语义地图构建系统示意图；

图2是本公开实施例提供的一种多模态语义地图构建系统的原理示意图；

图3是本公开实施例提供的一种BEV实例语义分割流程的示意图；

图4是本公开实施例提供的一种用于矿区的多模态语义地图构建方法流程图；

图5是本公开实施例提供的一种用于矿区的多模态语义地图构建方法的电子设备示意图。

具体实施方式

为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和系统可以简化展示。

以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，各实施方案可以被单独地或总地用术语“发明”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的发明，不是要自动地限制该应用的范围为任何单个发明或发明构思。本文中，诸如第一和第二等之类的关系术语仅仅用于将一个实体或者操作与另一个实体或操作区分开来，而不要求或者暗示这些实体或操作之间存在任何实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者汽车不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法或者汽车所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者汽车中还存在另外的相同要素。本文中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的方法、产品等而言，由于其与实施例公开的方法部分相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

由于矿区自动驾驶的特殊性，其语义地图的构建方法与传统的城市场景自动驾驶有较大区别。矿区场景环境极端，且夜间无额外照明措施，其对全天候语义地图构建的鲁棒性提出较高的要求。另一方面，矿区环境复杂多变其对地图更新的频率有较高的要求。除此之外，由于矿区有较多的落石等随机障碍会出现在行驶路线，从而影响车辆正常行驶，因此，如何有效将静态障碍信息有效构建在地图中并可实时更新是一大难题。

目前缺少一种具有较多落石场景的矿区且适应于车辆在夜晚作业的无人驾驶系统。

为了解决相关技术中存在的问题，参见图1，本公开实施例提供了一种用于矿区的多模态语义地图构建系统，包括：

数据采集存储模块，设置在车端上，包括：定位模块、通信模块、车载感知模块和处理器，其中，车载感知模块包括激光雷达、可见光相机和红外相机；处理器用于根据环境下的可见光相机图像的彩色图像亮度阈值，自动开关红外相机；

地图构建模块，用于获取车载感知模块中采集到的多传感器数据和定位数据，进行建模，以生成具有障碍物的语义地图；其中，障碍物为矿上中掉落的物体；

障碍物校验模块，用于获取多传感器数据和语义地图，通过对比分析，对语义地图中的障碍物进行校验；

地图更新发布模块，用于更新并发布语义地图。

应理解，参见图2，为一种多模态语义地图构建系统的原理示意图。多模态语义地图构建系统是一个精密且高度集成的系统，由四个关键部分数据采集存储模块，地图构建模块、障碍物校验模块和地图更新发布模块共同组成。首先，数据采集存储模块采用由相机、LiDAR、GNSS和IMU等传感器组成的硬件系统进行数据采集与存储。其次，地图构建模块利用数据采集存储模块获取的多传感器数据进行建模，以生成初始的语义地图。初始地图随后被传输到障碍物校验模块。在障碍物校验模块中，对障碍物进行校验。需要说明的是，本申请中的障碍物指的是落石或者落叶等，在矿区中可掉落的物体。确认障碍物，确保地图的准确性和可靠性，形成矫正后的语义地图。这个矫正后的地图随后被送入地图更新发布模块。地图更新发布模块的任务是将经过人工确认和校准的语义地图与车端融合感知模块所获取的地图元素进行细致匹配和差分分析。通过此过程，模块能够识别并更新语义地图中变化的元素，生成并发布规范化的地图格式。同时，包含特殊地图元素的传感器数据被重新导入数据采集存储模块，从而形成一个有效的数据闭环。这个闭环机制不仅确保了地图的持续更新和精确性，还为模型的迭代优化提供了关键支持。

进一步地，定位模块由全球导航卫星系统GNSS模块和惯导IMU构成，负责提供精确的车辆定位信息。通信模块则由V2X通信设备和车载交换机组成，确保系统间的信息交换顺畅无阻。处理器部分由域控制器构成，是系统的计算模块，负责高速处理来自各模块的数据。

车载感知模块采用的是64线近距激光雷达、可见光相机和红外相机，这一组合在确保常规环境下的精准感知的同时，也能适应雾天、扬尘、夜晚等特殊环境的要求。而采集车系统的感知模块则搭载了128线近距激光雷达，可见光相机和红外相机，专注于收集高密度的点云数据，以提供更详尽的环境信息。

在夜间环境下的图像感知性能方面，两种相机之间的自动切换采用了一种分时复用策略，该策略基于可见光相机捕获的彩色图像亮度阈值，从而智能地在增加红外相机之间，保证了图像感知的连续性和准确性。

举例，在光线充足的情况下，仅使用可见光相机和激光雷达作为传感器。在彩色图像亮度不足时，同时启动红外相机，将可见光相机、激光雷达和红外相机作为传感器。

进一步地，地图构建模块，包括：

多模态BEV实例分割模块，用于识别并提取所有潜在的静态和动态对象的详细语义信息，通过预测俯视视角和前视角的实例语义分割，输出俯视图实例语义结果和前视图实例语义。

应理解，多模态BEV实例分割模块的核心是一个高效的实例分割网络，它能够从多模态数据中识别并提取所有潜在的静态和动态对象的详细语义信息。该网络通过同时预测俯视角和前视角的实例语义分割，实现稠密的语义信息输出，有效解决矿区小障碍物分割难，分割位置不精准等问题。另一方面，此技术利用融合后的多模态信息来增强实例分割的结果的同时，也确保了在极端环境和夜间的建图效果。

参见图3，为一种BEV实例语义分割流程的示意图。采用多模态融合的策略设计多模态BEV实例语义分割模型。如图2所示，该模型以多模态的激光雷达点云，可见光图像，红外图像作为输入。经过三个不同的俯视图特征转换模块得到俯视图特征。在此基础上，分别利用不同的解码器对多模态特征进行解码，并进行多模态特征的信息融合。最后，实时地输出俯视图实例语义结果和前视图实例语义，为后续模块提供丰富的语义信息。

该方法充分利用不同传感器的优点确保不同极端环境，全天候的有效分割。另外，由于其充分融合了激光雷达的3D位置信息以及图像的高分辨率语义信息并在俯视图和前视图同时进行实例语义分割，不仅实现了高精度的实例语义分割建模，也实现了高分辨率的实例语义分割，解决矿山小障碍物分割位置不准确以及分割失效等问题。

多模态融合模块，用于获取多模态BEV实例分割模块提供的语义信息映射到点云上，将每一个点云分类成动态点云和静态点云。

应理解，在多模态融合模块中，通过将多模态BEV实例分割模块提供的丰富语义信息映射到点云实现精准的语义点云构建。除此之外，通过连续帧的叠加实现点云稠密化，从而构建稠密的语义地图。

多模态BEV实例分割模块的结果被精确地映射到构建的稠密点云坐标上，此过程中，每个点都被赋予相应的标签。当一个点云聚类中超过90%的点被标记为动态时，该聚类就被认定为动态聚类。

在处理接近动态聚类的静态点时，若这些静态点与动态聚类相邻，则会被重新标记为动态标签。这一策略有助于避免由于点云密度不一导致的动静态边界的模糊不清。同时，如果在某个动态点的附近并没有其他动态点云，那么这个点也会被重新评估并可能被重新标记。这确保了动态点的标记不仅依赖于单一的测量，而是在更广泛的上下文中得到验证和修正，大大提高了动态特征识别的准确性。

定位计算模块，用于对静态点云进行特征提取，通过提取到的前后帧特征进行数据关联，计算出基于静态信息的最优车辆姿态，根据最优车辆姿态，选取车辆移动的关键帧。

应理解，在应用了多模态动融合方法之后，算法将点云精确地划分为动态和静态两部分。静态点云则作为后续步骤的基础，用于后续的定位和地图构建。定位模块的主要功能为通过特征法进行车辆姿态估计，从而选取有效的关键帧用于静态地图构建，解决由于点云帧过多造成的计算资源问题。

首先对得到的静态语义点云进行特征提取，然后通过提取到的前后帧特征进行数据关联。在特征关联的基础上，结合最小化点到边和点到平面的距离，计算出采集车的最终姿态。这一计算过程利用点对平面和点对边的残差之和进行优化，并采用高斯-牛顿方法在非线性最小二乘问题上求解，从而得出基于静态信息的最优车辆姿态。

在得出最优姿态后，接下来是特征图的更新以及关键帧的选择。特征点云被更新为局部边缘图和局部平面图，这些图将被用于下一帧数据的关联，从而提高处理的连贯性和准确性。为了优化计算资源，全局静态地图的更新将以关键帧为基准。关键帧的生成则遵循一个策略：只有当车辆的位移超过预设的阈值，或其姿态旋转超过另一个预设的阈值时，才会生成新的关键帧，这有助于保持系统的高效率，同时确保了足够的信息量以支持精确的定位和建图。

全局优化建图模块，用于根据车辆移动的关键帧构建静态地图，构建动态地图，实时两类地图融合，得到全局的语义地图。

应理解，在全局优化和建图模块中，静态和动态信息的结合使得可以构建出一个详细的三维稠密语义地图。这个地图不仅在空间结构上准确，还能提供环境中每个对象的语义理解，对于车辆在复杂环境中的导航和互动至关重要。

语义地图是自动驾驶导航的关键组成部分，分为静态和动态两大类。静态地图包含了环境中不变的元素，如道路、建筑物和地面，而动态地图则捕捉并表示环境中的移动对象，例如车辆、行人和其他移动障碍物。通过分别构建静态地图和动态地图，实时两类地图融合。最终得到全局的语义地图。

一种优选的实施例中，地图更新发布模块，包括：地图生成算法模块、地图发布算法模块和地图元素更新算法模块。

地图更新与发布系统是自动驾驶系统中的一个复杂且精密的组成部分，它由三个子模块组成：地图生成算法模块、地图发布算法模块和地图元素更新算法模块，该三部分共同工作以保持语义地图的实时性和准确性。

地图生成算法主要负责将详细的语义地图转换为2D栅格地图，这个过程通过栅格化简化了地图的复杂性，同时保留了关键的空间信息。得到的2D栅格地图为车辆提供了易于理解和快速响应的环境表示。

地图发布算法则负责确保车端语义地图的及时更新，使自动驾驶车辆能够准确把握周围环境的最新变化。这一算法保证了车辆内部地图数据与外部世界的同步。

地图元素更新算法是整个模块的核心，它综合利用了语义地图、车端感知信息以及车端定位信息。该算法先通过挡墙边界的匹配差分过程识别出环境中的变化，然后利用非极大值抑制（NMS）技术筛选出最显著的障碍物信息。随后，这些识别并经过筛选的变化元素会被更新至语义地图中，从而保持地图的持续更新和高度精确。

对应的，参见图4，为本公开实施例中的一种用于矿区的多模态语义地图构建方法示意图。所述方法包括：

S10，收集多传感器数据和定位数据；其中，多传感器包括激光雷达、可见光相机和红外相机；

S20，将多传感器数据和定位数据，进行建模，以生成具有障碍物的语义地图；其中，障碍物为矿山中掉落的物体；

S30，获取多传感器数据和语义地图，通过对比分析，对语义地图中的障碍物进行校验；

S40，更新并发布语义地图。

进一步地，将多传感器数据和定位数据，进行建模，以生成具有障碍物的语义地图，包括：

识别并提取所有潜在的静态和动态对象的详细语义信息，通过预测俯视角和前视角的实例语义分割，输出俯视图实例语义结果和前视图实例语义；

获取多模态BEV实例分割模块提供的语义信息映射到点云上，将每一个点云分类成动态点云和静态点云；

对静态点云进行特征提取，通过提取到的前后帧特征进行数据关联，计算出基于静态信息的最优车辆姿态，根据最优车辆姿态，选取车辆移动的关键帧；

根据车辆移动的关键帧构建静态地图，构建动态地图，实时两类地图融合，得到全局的语义地图。

进一步地，获取多传感器数据和语义地图，通过对比分析，对语义地图中的障碍物进行校验，包括：

通过图像识别技术识别可见光相机和红外相机中的障碍物外形和种类，与语义地图识别到的障碍物外形和种类进行对比分析。

结合图5所示，本公开实施例提供备停区调度管理电子设备，包括处理器（processor）和存储器（memory）。可选地，该电子设备还可以包括通信接口（CommunicationInterface）和总线。其中，处理器、通信接口、存储器可以通过总线完成相互间的通信。通信接口可以用于信息传输。处理器可以调用存储器中的逻辑指令，以执行上述实施例的用于矿区的多模态语义地图构建方法。

本公开实施例提供了一种存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为执行上述用于矿区的多模态语义地图构建方法。

上述的存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。非暂态存储介质，包括：U盘、移动硬盘、只读存储器（rOM，read-OnlyMemory）、随机存取存储器（rAM，randomAccessMemory）、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”（a）、“一个”（an）和“所述”（the）旨在同样包括复数形式。类似地，在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”（comprise）及其变型“包括”（comprises）和/或包括（comprising）等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法或者汽车中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。

本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

附图中的流程图和框图显示了根据本公开实施例的系统和方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (10)

1.一种用于矿区的多模态语义地图构建系统，其特征在于，包括：

数据采集存储模块，设置在车端上，包括：定位模块、通信模块、车载感知模块和处理器，其中，车载感知模块包括激光雷达、可见光相机和红外相机；处理器用于根据环境下的可见光相机图像的彩色图像亮度阈值，自动开关红外相机；

地图构建模块，用于获取车载感知模块中采集到的多传感器数据和定位数据，进行建模，以生成具有障碍物的语义地图；其中，障碍物为矿上中掉落的物体；

障碍物校验模块，用于获取多传感器数据和语义地图，通过对比分析，对语义地图中的障碍物进行校验；

地图更新发布模块，用于更新并发布语义地图。

2.根据权利要求1所述的用于矿区的多模态语义地图构建系统，其特征在于，地图构建模块，包括：

多模态BEV实例分割模块，用于识别并提取所有潜在的静态和动态对象的详细语义信息，通过预测俯视视角和前视角的实例语义分割，输出俯视图实例语义结果和前视图实例语义；

多模态融合模块，用于获取多模态BEV实例分割模块提供的语义信息映射到点云上，将每一个点云分类成动态点云和静态点云；

定位计算模块，用于对静态点云进行特征提取，通过提取到的前后帧特征进行数据关联，计算出基于静态信息的最优车辆姿态，根据最优车辆姿态，选取车辆移动的关键帧；

全局优化建图模块，用于根据车辆移动的关键帧构建静态地图，构建动态地图，实时两类地图融合，得到全局的语义地图。

3.根据权利要求1所述的用于矿区的多模态语义地图构建系统，其特征在于，所述定位模块由全球导航卫星系统GNSS模块和惯导IMU构成，用于提供车辆定位信息。

4.根据权利要求1所述的用于矿区的多模态语义地图构建系统，其特征在于，通信模块包括V2X通信设备和车载交换机。

5.根据权利要求1所述的用于矿区的多模态语义地图构建系统，其特征在于，激光雷达为64线近距激光雷达或者128线近距激光雷达。

6.一种用于矿区的多模态语义地图构建方法，其特征在于，应用于如权利要求1至5中任一项所述的系统，所述方法，包括：

收集多传感器数据和定位数据；其中，多传感器包括激光雷达、可见光相机和红外相机；

将多传感器数据和定位数据，进行建模，以生成具有障碍物的语义地图；其中，障碍物为矿山中掉落的物体；

获取多传感器数据和语义地图，通过对比分析，对语义地图中的障碍物进行校验；

更新并发布语义地图。

7.根据权利要求6所述的用于矿区的多模态语义地图构建方法，其特征在于，应用于具有地图构建模块的多模态语义地图构建系统，其中，地图构建模块包括：多模态BEV实例分割模块、多模态融合模块、定位计算模块、全局优化建图模块，将多传感器数据和定位数据，进行建模，以生成具有障碍物的语义地图，包括：

识别并提取所有潜在的静态和动态对象的详细语义信息，通过预测俯视角和前视角的实例语义分割，输出俯视图实例语义结果和前视图实例语义；

获取多模态BEV实例分割模块提供的语义信息映射到点云上，将每一个点云分类成动态点云和静态点云；

对静态点云进行特征提取，通过提取到的前后帧特征进行数据关联，计算出基于静态信息的最优车辆姿态，根据最优车辆姿态，选取车辆移动的关键帧；

根据车辆移动的关键帧构建静态地图，构建动态地图，实时两类地图融合，得到全局的语义地图。

8.根据权利要求6所述的用于矿区的多模态语义地图构建方法，其特征在于，获取多传感器数据和语义地图，通过对比分析，对语义地图中的障碍物进行校验，包括：

通过图像识别技术识别可见光相机和红外相机中的障碍物外形和种类，与语义地图识别到的障碍物外形和种类进行对比分析。

9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求6至8中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求6至8中任一项所述的方法。