CN116030213A - 一种多机云边协同地图创建与动态数字孪生方法及系统 - Google Patents

Abstract

本发明提供了一种多机云边协同地图创建与动态数字孪生的方法及系统，该方法包括：获取机器人组群作业场景的周围信息，根据周围信息生成图元文件，并根据图元文件在云端服务器上构建通用的图元地图库；获取机器人当前GPS数据或图像，并从图元地图库中查询所匹配的图元，得到机器人当前的图元地图；再获取机器人当前点云和图像，并与图元地图进行匹配，得到机器人在图元地图中的当前位置；从云端服务器拉取和机器人来源统一的数字孪生地图到数字孪生前端，并将机器人的当前位置和巡检结果展示在数字孪生地图中；该系统包括所建图设备，云端服务器，机器人组群以及数字孪生前端，实现了机器人地图的统一通用化以及巡检数据的生动展示。

Description

一种多机云边协同地图创建与动态数字孪生方法及系统

技术领域

本发明涉及一种多机云边协同地图创建与动态数字孪生方法及系统，属于机器人应用技术领域。

背景技术

在传统的机器人领域中，机器人的地图构建与使用过程如下：a、机器人到达现场，自行探索扫描周围区域，完成地图构建；b、机器人基于构建的地图进行导航与作业。由于一台机器人往往仅在一个小范围区域内进行作业，所以每台机器人只需创建所在小范围区域的地图即可，同时地图只是作为某台机器人所特有的一部分，并非所有机器人统一通用的。而且每一个机器人企业都会有自己的一套地图构建与使用方式，几乎不存在共享地图的情况。

由上可知，现有的地图构建与使用方式很难实现机器人地图的统一通用化，极大地制约了机器人通用性的发展，并且机器人企业都各自研发各自的技术，更无法实现统一的地图管理方式。然而，随着激光雷达、相机、惯性导航单元等传感器的成本下降，以及我国北斗卫星定位技术的成熟，未来机器人的使用将变得更加的普及，若这些机器人继续使用现有的地图构建与使用方式，必将会构建出大量冗余的地图，从而造成大量的研发人力和财力的浪费。

面对上述技术瓶颈，本发明亟待研发出一整套的解决方案，用以推动机器人地图的通用化。

发明内容

针对上述现存的技术问题，本发明目的在于构建一套通用的地图管理方案，通过建立全球级云端服务器图元地图库，利用图元地图库进行机器人组群的定位，并将机器人的位置与巡检结果展示在数字孪生地图中，实现机器人地图的统一通用化以及巡检数据的生动展示，从而提供一种多机云边协同地图创建与动态数字孪生方法及系统。

为实现上述目的，本发明提供一种多机云边协同地图创建与动态数字孪生的方法，包括：

获取机器人组群作业场景的周围信息，根据所述周围信息生成图元文件，所述图元文件包括机器人定位地图、二维地图、数字孪生地图、元信息文件、路网信息文件、轨迹文件以及视觉特征地图，并根据所述图元文件在云端服务器上构建通用的图元地图库；

获取机器人当前的GPS数据或图像，根据所述GPS数据或图像从所述图元地图库中查询所匹配的图元，并拉取匹配的图元到本地，得到机器人当前的图元地图；获取机器人当前的点云和图像，将所述点云和图像与所述图元地图进行匹配，得到机器人在所述图元地图中的当前位置，并发送至云端服务器；

从云端服务器拉取和机器人来源统一的数字孪生地图到数字孪生前端，并将机器人的当前位置和巡检结果展示在所述数字孪生地图中。

由上述技术方案可知，本发明方法主要分为三个阶段：利用建图设备和云端服务器进行地图创建；利用云端服务器进行机器人组群定位；利用数字孪生前端进行机器人组群展示，从而构建出一套通用的地图管理方案，通过全球级云端服务器图元地图库进行多个机器人的定位，并将机器人的位置与巡检结果展示在数字孪生地图中，实现了机器人地图的统一通用化以及巡检数据的生动展示。

本发明方法进一步的，所述的获取机器人组群作业场景的周围信息，根据所述周围信息生成图元文件，包括：

利用建图设备获取机器人组群作业场景的周围信息，所述的周围信息包括点云、图像、IMU数据和GPS数据；

将所述的周围信息利用SLAM融合算法进行融合，得到带颜色信息的点云地图；再将所述带颜色信息的点云地图按图元进行切割，得到带颜色信息的图元；

根据所述的图元生成图元文件，所述的图元文件包括机器人定位地图、二维地图、数字孪生地图、元信息文件、路网信息文件、轨迹文件以及视觉特征地图。

本发明方法更进一步的，根据所述的图元生成所述的二维地图，包括：

设所述的图元方向的最大值、方向的最大值、方向的最小值、方向的最小值、方向的中心位置、方向的中心位置分别为、、、、、，则：

，；

设生成的二维地图的宽、高分别为、，分辨率的有效数值范围为，则：

，；

设所述图元的每一个点云投影到二维地图时，应该在二维地图上方向的位置为，方向的位置为，则：

，；

设将宽、高分别为、的二维地图通过放缩因子放缩成宽、高分别为、的二维图像时，放缩后的二维地图的宽的最大值、高的最大值分别为、，且、，则：

宽的放缩因子，向上取整，高的缩放因子，向上取整；并取与中的较大值作为放缩因子。

本发明方法更进一步的，根据所述的图元生成所述的路网信息文件，包括：

将所述的图元进行三维雷达点云的语义分割，分割出地面和地面上的物体；

根据分割的结果以及物体信息生成机器人的路网信息；

将所述的路网信息存储到路网信息文件中，用于存储机器人的可行驶区域。

本发明方法更进一步的，根据所述的图元生成所述的视觉特征地图，包括：

根据所述每一帧图像以及每一帧图像的位姿，提取每一帧图像的SIFT特征点与描述子，ORB 特征点与描述子，Super Point的特征点和描述子，以及每一个特征点的置信度；

将提取的结果存入视觉特征地图中，用于机器人在无法获取GPS信号的情况下，利用双目相机图像传感器进行当前环境的图像获取。

本发明方法进一步的，所述的获取机器人当前的GPS数据或图像，根据所述GPS数据或图像从所述图元地图库中查询所匹配的图元，并拉取匹配的图元到本地，得到机器人当前的图元地图，包括：

若机器人能够获取当前的GPS数据，则将GPS数据上传至云端服务器，云端服务器根据GPS数据查询当前位置附近的九个图元，再将九个图元下发至机器人；

若机器人无法获取当前的GPS数据，则通过图像传感器获取当前的图像，并将图像上传云端服务器；云端服务器提取所述图像的视觉特征，并与图元地图库的视觉特征地图进行匹配，得到机器人当前位置所在的图元，然后搜索该图元附近的八个图元，再将九个图元下发至机器人。

本发明方法进一步的，所述的获取机器人当前的点云和图像，将所述点云和图像与所述图元地图进行匹配，得到机器人在所述图元地图中的当前位置，包括：

将机器人获取的当前的GPS数据作为机器人的初始位置；

通过激光雷达获取所述初始位置当前帧的点云，并将当前帧的点云转换到图元地图的坐标系中，得到激光雷达在图元地图中的初始位置，再根据ICP算法，计算当前帧的点云到图元地图的精细位置；

将机器人获取的当前的图像与图元地图库的视觉特征地图进行匹配，并将匹配结果构建重投影误差，得到机器人在图元地图中的精准位置。

并且，本发明方法还利用机器人和云端服务器进行地图更新，包括：

从数字孪生地图中提取三角面当中的定点作为点云地图导入到八叉树中；

根据机器人实时得到的在图元地图中的当前位姿，结合机器人获取的当前帧的点云，将当前帧的点云转换到图元地图的坐标系下；

以当前图元地图坐标系下激光雷达的位置作为起点，以当前帧每一个点云的点在图元地图坐标系下的位置作为终点，构建一条三维的射线，将这条射线沿途经过的所有八叉树节点进行更新，并更新八叉树的空间占据信息；

将沿途除起点和终点外的空间全部设置为无物体的空闲空间，并记录当前的空间占据状态是否与之前一致，若不一致则将计数器加一，当计数器的值超过一定阈值，则记录图元改变的部分，并上传至云端服务器；

根据图元改变的部分，云端服务器将对应的图元做出相应的改变，从而更新图元地图库。

另外，本发明还提供一种多机云边协同地图创建与动态数字孪生的系统，包括建图设备，云端服务器，多个机器人组成的机器人组群，以及数字孪生前端；

所述的建图设备包括数据采集和建图模块，用于获取机器人组群作业场景的周围信息，根据所述周围信息生成图元文件，所述图元文件包括机器人定位地图、二维地图、数字孪生地图、元信息文件、路网信息文件、轨迹文件以及视觉特征地图；

所述的云端服务器包括图元地图库模块、图元查询匹配模块；其中，图元地图库模块，用于根据所述图元文件在云端服务器上构建通用的图元地图库；图元查询匹配模块，用于从所述图元地图库中查询所匹配的图元；

所述的机器人包括环境采集模块、图元拉取模块、图元地图定位模块；其中，环境采集模块，用于通过GPS、图像传感器、激光雷达获取机器人当前的GPS数据、图像、点云；图元拉取模块，用于根据所述GPS数据或图像从所述图元地图库中查询所匹配的图元，并拉取匹配的图元到本地，得到机器人当前的图元地图；图元地图定位模块，用于获取机器人当前的点云和图像，将所述点云和图像与所述图元地图进行匹配，得到机器人在所述图元地图中的当前位置，并发送至云端服务器；

所述的数字孪生前端包括数字孪生地图拉取模块、数字孪生地图展示模块；其中，数字孪生地图拉取模块，用于从云端服务器拉取和机器人来源统一的数字孪生地图到数字孪生前端；数字孪生地图展示模块，用于将机器人的当前位置和巡检结果展示在所述数字孪生地图中。

综上所述，本发明多机云边协同地图创建与动态数字孪生的方法一共具有四个功能阶段及其有益效果：

（一）利用建图设备和云端服务器进行地图创建阶段：

利用专门的建图设备上搭载的激光雷达、双目相机图像传感器、IMU和RTK，采集机器人组群作业场景的周围信息，并利用周围信息生成作为定位地图的图元以及其他图元文件，再将图元文件数据上传至云端服务器，从而建立全球级的云端服务器图元地图库。

（二）利用云端服务器进行机器人定位阶段：

到达作业现场的机器人能够基于当前采集的GPS数据或图像去云端服务器的图元地图库中查询所匹配的图元，并下拉到所需的图元到本地组成用于该机器人当前导航的图元地图，从而根据图元地图得到该机器人当前的位置。并且，云端服务器图元地图库能够为机器人组群中的任意机器人提供当前导航所用的图元地图。

（三）利用数字孪生前端进行机器人展示阶段：

数字孪生前端从云端服务器拉取和机器人组群中的任意机器人来源统一的数字孪生地图，将该机器人的当前位置生动形象地展示在数字孪生地图当中，并且将机器人在巡检过程当中产生的所有巡检数据全部放置于数字孪生地图中，从而能够高效、直观、生动地展示机器人的巡检结果。

（四）利用机器人和云端服务器进行地图更新阶段：

到达作业现场的机器人判断当前的环境与图元地图的环境是否一致，并将图元改变的部分上传至云端服务器，再由云端服务器将对应的图元做出相应的改变，从而更新图元地图库，保持图元地图库的近乎实时性。

相比现有技术，本发明的技术优势在于：

1、本发明构建了一套通用的机器人地图管理方案，并且允许增量扩增地图与动态更新地图，实现了机器人地图的统一通用化。

2、基于本发明的地图管理与使用方案，机器人可以不采用本领域的传统做法，即一台机器人使用一个地图的做法，而是机器人组群中的任意机器人分别从全球统一的云端服务器图元地图库中拉取与当前位置匹配的图元，并组成相应的图元地图，再基于这个图元地图进行机器人的定位。

3、由于本发明中机器人组群使用的图元地图库都是统一的，所以每个机器人的实际位置可以方便地展示在基于图元地图所构建的数字孪生地图中，实现了将现实世界“复制”到数字世界，以及机器人可以直观生动地在动态数字孪生地图当中展示与行动的目的。

4、本发明定义了图元这种地图打包格式，以及图元内包含的机器人定位地图、二维地图、数字孪生地图、元信息文件、路网信息文件、轨迹文件和视觉特征地图等各项内容以及生成算法，从而能够精准的构建图元地图以及对机器人进行精准的定位。

5、本发明采用GPS信号与图像传感器数据进行机器人的初始化定位，即机器人首次到达一个构建了地图的区域，需要一次初始化定位获取当前在图元地图当中精准的位置，用以兼容无GPS信号时的机器人初始化定位，能够更加方便准确的对机器人进行定位。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明方法一种实施例的流程示意图；

图2为本发明方法中图元的示意图；

图3为本发明系统一种实施例的原理框图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、模块和/或单元的存在，但并不排除一个或多个其它特征、整体、步骤、操作、模块、单元和/或其集合的存在或添加。还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

实施例一、本发明方法：

如图1所示，本实施例提供了一种多机云边协同地图创建与动态数字孪生方法，主要分为S1、利用建图设备和云端服务器进行地图创建；S2、利用云端服务器进行机器人组群定位；S3、利用数字孪生前端进行机器人组群展示；S4、利用机器人和云端服务器进行地图更新等四个阶段，具体阐述如下。

S1、在机器人巡检作业前，利用建图设备和云端服务器进行地图创建。

本阶段使用专门的建图设备创建机器人组群通用的地图，避免了每个机器人单独采集周围信息所产生的大量冗余的地图，并且通过统一的地图管理方式提升了机器人的通用性，具体如下：

S1-1、在机器人群组作业场景中，利用专门的建图设备或者一个机器人上搭载的激光雷达、双目相机图像传感器、IMU（惯性导航单元）和RTK（实时动态），分别采集周围环境的点云、图像、IMU数据和GPS（全球定位系统）数据，无需每个机器人单独采集周围信息。

S1-2、基于得到的点云、图像、IMU数据和GPS数据，利用SLAM（即时定位与地图构建）融合算法进行融合，得到一个带颜色信息的点云地图。由于激光雷达的点云十分稠密，大约240000点/秒，基于结合如此庞大数据量构建的稠密的机器人地图并不适用于像巡检机器人这样算力有限的终端上，所以将该点云地图按照图元进行切割处理，得到一个一个带颜色信息的图元，便于机器人进行定位，具体采用如下步骤：

S1-2-1、由于运动会导致每一帧激光雷达数据出现运动畸变，所以对得到的每一帧点云，利用IMU数据进行点云去畸变处理，得到每一帧去畸变后的点云，并基于每一帧去畸变后的点云，计算每一帧点云的初步位姿；

S1-2-2、利用每一帧图像信息进一步更新该帧点云的初步位姿为精细的位姿，同时利用点云到图像转换的外参，得到每一个点云点的颜色信息，每一帧图像的位姿，以及每一帧点云的位姿；

S1-2-3、基于每一帧点云以及每一帧图像，利用深度学习进行语义分割处理，分割出图像中的动态物体；然后将每一帧去畸变后的点云投影到该帧图像中，并剔除分割出的动态物体所对应的点云，得到去畸变且剔除了动态物体的带颜色信息的点云；

S1-2-4、基于去畸变且剔除了动态物体的带颜色信息的点云，以及每一帧点云的位姿，将所有的点云进行融合处理，得到一张完整的带颜色信息的点云地图；

 S1-2-5、将带颜色信息的点云地图，进行降采样处理，降采样的分辨率为0.2米，得到一张降采样后的点云地图，更加适合于机器人定位；

S1-2-6、基于降采样后的点云地图(每一个三维点包括，，方向的坐标以及，，三通道的颜色信息)，将每一个三维点（，，）在方向和y方向上分别除以图元单位大小，得到一个一个图元单位大小×图元单位大小的带颜色信息的图元点云数据。

需要说明的是，所述图元的概念如下:将完整庞大的点云地图中的每一个三维点（，，）根据，的坐标进行二维的切割，即将，分别除以方向与方向的图元单位大小，这样一来，所有三维点通过，分别除以图元单位大小后会归类到一块一块的图元单位大小图元单位大小的区域，将这样一块一块的区域定义为图元。如图2所示，本发明将图元单位大小实际定义为50米，分别沿着三维点云地图的方向与方向，按照50米的间隔，将整个超大的点云地图切割为一块一块的50米50米的区域，即为一个一个带颜色信息的的图元。

S1-3、基于步骤S1-2得到的带颜色信息的图元，生成图元文件，包括机器人定位地图，二维地图，数字孪生地图，元信息文件，路网信息文件，轨迹文件，以及视觉特征地图。

具体来说，每个图元结构所包含的元素如下:机器人定位地图、二维地图、数字孪生地图、元信息文件、路网信息文件、轨迹文件和视觉特征地图，下面分别介绍上述7种元素的定义与生成算法。

（1）机器人定位地图：指将点云数据进行降采样处理后存入图元得到的用于机器人定位的地图，具体算法如下：

将步骤S1-2得到的带颜色信息的图元写入机器人定位地图中，用于机器人的定位。

（2）二维地图：指带颜色信息的图元点云利用俯视视角生成的二维图像，即将步骤S1-2得到的图元点云按照300像素/米的单位垂直投影到图像上，得到一张完整的俯视图，用于当无法加载大型三维数字孪生地图时的二维展示，具体算法如下：

设步骤S1-2得到的图元点云数据在方向的最大值、方向的最大值、方向的最小值、方向的最小值分别为、、、，则：

，；

其中，表示图元三维数据（包括，，位置信息）的方向的最大值减去最小值最后除以2，得到的该图元数据的方向的中心位置；表示图元三维数据（包括，，位置信息）的方向的最大值减去最小值最后除以2，得到的该图元数据的方向的中心位置；

设生成的二维地图的宽、高分别为、，分辨率的有效数值范围为，则：

，；

设所述图元的每一个点云投影到二维地图时，应该在二维地图上方向的位置为，方向的位置为，则：

，；

设将宽、高分别为、的二维地图通过放缩因子放缩成宽、高分别为、的二维图像时，放缩后的二维地图的宽的最大值、高的最大值分别为、，且、，则：

宽的放缩因子，向上取整，高的缩放因子，向上取整；并取与中的较大值作为放缩因子。

（3）数字孪生地图：指融合点云数据与图像数据得到的三维网格模型，用于将现实世界1：1的搬运到数字孪生地图上，具体算法如下：

S1-3-31、基于步骤S1-2得到的带颜色信息的图元点云数据，以及步骤S1-2-2得到的每一帧图像的位姿和每一帧点云的位姿，利用点插法进行Delaunay三角剖分处理；

S1-3-32、基于步骤S1-3-31得到的处理结果，利用图割法进行模型表面与非模型表面的分割处理，得到模型表面的三角面；

S1-3-33、基于步骤S1-3-32得到的模型表面的三角面，利用三角面以及三角面的顶点颜色信息，生成三维网格模型。

（4）元信息文件：用于存储图元的GPS数据，方便后续机器人根据自己当前的GPS数据进行图元的拉取，具体算法如下：

S1-3-41、基于步骤S1-1得到的GPS数据，以及步骤S1-2得到的带颜色信息的图元点云数据，得到每一个图元中心点的GPS信息，楼层的信息（楼层不人为指定的话默认为1），以及生成的二维图像的分辨率信息（这里为300像素/米）；

S1-3-42、将步骤S1-3-41得到的所有结果写入到元信息文件中，用于描述每一个带颜色信息的图元的基础数据。

（5）路网信息文件：用于存储机器人可行驶区域，可类比于车道，机器人只会在这些人为定义的“路网”内进行行走，从而防止机器人“越界”，具体算法如下：

S1-3-51、基于步骤S1-2得到的带颜色信息的图元，进行三维雷达点云的语义分割处理，分割出地面和地面上的物体；

S1-3-52、基于步骤S1-3-51得到的地面和物体信息，生成机器人的可行驶区域，得到机器人的路网信息，即机器人可行驶哪些区域；

S1-3-53、将步骤S1-3-52得到的路网信息存储到路网信息文件中。

（6）轨迹文件：用于存储构建地图时建图设备的行驶轨迹，具体算法如下：

S1-3-61、基于步骤S1-2得到的每一帧点云的位姿，进行降采样处理；

S1-3-62、将步骤S1-3-61得到的每一帧降采样后的点云位姿写入到轨迹文件中。

（7）视觉特征地图：用于机器人在无法获取GPS数据的情况下，利用双目相机图像传感器获取当前环境的图像数据，并根据图像数据去云端服务器查询机器人的当前位置，具体算法如下：

S1-3-71、基于步骤S1-1得到的每一帧图像，以及步骤S1-2-2得到的每一帧图像的位姿，提取每一帧图像的SIFT（尺度不变特征转换匹配算法）特征点与描述子，ORB（快速特征点提取和描述的算法） 特征点与描述子；

S1-3-72、提取每一帧图像的Super Point的特征点和描述子，以及每一个特征点的置信度；

S1-3-73、基于步骤S1-3-71和步骤S1-3-72得到的所有结果，组成视觉特征地图。

通过上述步骤，建出了全球统一的云端服务器图元地图库，并作为机器人组群的通用地图，机器人组群中的任意机器人均可以利用通用的图元地图库进行导航定位，并且图元地图库允许增量扩增地图与动态更新地图，实现了机器人地图的统一通用化，不仅节约了机器人的算力，而且使得机器人组群中任意机器人的定位更加简便、高效、精准。

S2、在巡检作业过程中利用云端服务器进行机器人组群定位。

S2-1、机器人组群中的每个机器人可以根据当前的GPS位置，去云端服务器查询所需要的图元，并拉取这些图元到本地，如果该机器人没有GPS位置信息，也可以通过图像传感器的图像数据，去云端服务器查询当前的位置，并下载当前位置及其附近的图元到本地，具体算法如下：

S2-1-1、先通过GPS（全球卫星定位系统）获取机器人当前的位置，若能够获取GPS数据，则根据机器人当前的GPS数据，通过云端服务器查询距离当前机器人附近的9块图元数据，并拉取这些图元到本地。

S2-1-2、若无法获取GPS数据，则利用机器人的图像传感器得到当前的图像数据，并将图像数据上传云端服务器；云端服务器得到机器人上传的图像数据后，先提取图像数据的视觉特征，包括SIFT特征点与描述子，ORB特征点与描述子，Super Point的特征点、描述子以及每一个特征点的置信度；然后将图像数据的视觉特征与图元地图库的视觉特征地图进行匹配，得出机器人当前位于哪一个图元，并根据该图元搜索附近的8个图元，得到共计9个图元，再将这些图元下载到本地。

S2-2、机器人利用步骤S2-1得到的所有图元组成图元地图；利用激光雷达和图像传感器分别获取机器人当前的点云和图像，并将所述的点云和图像与所述的图元地图进行匹配，从而得到机器人在图元地图中的当前位置，具体算法如下：

S2-2-1、将机器人获取的GPS位置作为机器人的初始位置；

S2-2-2、基于步骤S2-2-1的初始位置，利用激光雷达获取机器人当前的点云，将当前帧的点云数据转换到图元地图的坐标系中，得到激光雷达在图元地图中的初始位置；

S2-2-3、基于步骤S2-2-2得到的激光雷达在图元地图中的初始位置，利用ICP算法（最近点迭代算法），计算当前帧的点云到图元地图的精细位置；

S2-2-4、基于步骤S2-2-3得到的精细位置，将图元地图的图像特征点信息与当前机器人上搭载的图像传感器采集到的图像数据进行匹配，并将匹配结果构建重投影误差，进一步更新机器人在图元地图当中的位置，得到更为精准的位置。

由上述步骤可知，机器人组群中的任意机器人都可以从图元地图库中拉取相应的图元组成各自当前的图元地图，并进行精准的定位，方便、高效又精准。并且，机器人首次到达一个构建了地图的区域，需要一次初始化定位获取当前在地图当中精准的位置，用以兼容无GPS信号时的机器人初始化定位。

S3、在巡检作业过程中，利用数字孪生前端进行机器人组群展示，具体如下：

从云端服务器拉取和机器人来源统一的数字孪生地图到数字孪生前端；将该机器人的当前位置和巡检结果展示在数字孪生前端的数字孪生地图中。

由上述步骤可知，机器人组群中的任意机器人的当前位置与巡检后的结果均能够在数字孪生模型中进行展示，从而将巡检机器人与巡检结果结合数字孪生模型生动形象地展示给用户，使得以往乏味枯燥的巡检数据形象地展示于数字世界，更客观逼真地描绘机器人巡检的工作情况。

S4、在巡检作业过程中，利用机器人和云端服务器进行地图更新。

机器人在巡检作业过程中，如果发现当前的环境与图元地图的环境不符合，将会把这部分图元所改变的部分更新给云端服务器，云端服务器根据机器人传输的更新数据更新图元的地图数据，保持图元地图库的近乎实时性，具体算法如下：

S4-1、判断当前的环境与拉取的图元是否数据一致；若数据一致，则不更新图元地图库；若数据不一致，则记录图元改变的部分，详细步骤如下：

S4-1-1、从数字孪生地图中提取三角面中的定点作为点云地图导入到八叉树中，且八叉树的分辨率设置为0.1米；

S4-1-2、当机器人通过与图元地图匹配实时得到当前在图元地图中的位姿，并结合当前激光雷达扫描到的点云，将激光雷达当前帧的点云转换到图元地图的坐标系下；

S4-1-3、以当前的图元地图坐标系下激光雷达的位置作为起点，以当前帧每一个点云的位置作为终点，构建一条三维的射线，将这条射线沿途经过的所有八叉树节点进行更新，并更新八叉树的空间占据信息；

S4-1-4、将沿途除起点和终点外的空间全部设置为无物体的空闲空间，并记录当前的空间占据状态是否与之前一致，若不一致则将表示不一致的计数器加一，当计数器的值超过一定阈值则转到下一步骤。

S4-2、将图元改变的部分上传至云端服务器，由云端服务器更新图元地图库，将对应的图元做相应的改变。

综上，本发明方法实现了四大功能阶段：一是利用激光雷达、双目相机图像传感器、IMU和RTK搭载在建图设备上采集周围信息，并利用周围信息构建图元文件数据，并上传至云端服务器，建立了全球级的云端服务器图元地图库，可供机器人组群在导航和展示时共同使用；二是到达现场的每一个机器人基于当前的GPS数据或图像数据去云端服务器查询所匹配的图元，并下所需的图元到本地，从而组成当前的图元地图，实现了根据图元地图得到该机器人当前的位置；三是将任一个机器人当前的位置和巡检后的结果在数字孪生地图中进行展示，实现了更加客观、逼真地描绘巡检这件事情；四是利用每一个机器人现场巡检的机会，发现当前环境与图元地图环境不一致的地方，并更新图元地图库，实现了图元地图库的近乎实时性，方便了机器人组群的使用。

实施例二、本发明建图设备：

本实施例提供了一种建图设备，包括数据采集和建图模块，用于获取机器人组群作业场景的周围信息，并根据周围信息生成图元文件。并且，所述的数据采集和建图模块包括数据采集单元、地图创建单元、文件生成单元。

其中，所述的数据采集单元，用于从建图设备获取机器人作业场景的周围信息，所述的周围信息包括点云、图像、IMU数据和GPS数据。

所述的地图创建单元，用于将所述的周围信息利用SLAM融合算法进行融合，得到带颜色信息的点云地图；再将所述带颜色信息的点云地图按图元进行切割，得到带颜色信息的图元。

所述的文件生成单元，用于根据所述的图元生成图元文件，所述的图元文件包括机器人定位地图、二维地图、数字孪生地图、元信息文件、路网信息文件、轨迹文件以及视觉特征地图，并将所述的图元文件上传至云端服务器。

实施例三、本发明云端服务器：

本实施例提供了一种云端服务器，用于进行地图创建、机器人群组定位以及地图更新，包括图元地图库模块、图元查询匹配模块。

其中，所述的图元地图库模块，用于根据图元文件在云端服务器上构建通用的图元地图库。

所述的图元查询匹配模块，用于根据机器人当前的GPS数据或图像，从图元地图库中查询当前位置所匹配的图元以及附近的图元。

在其他实施例中，所述的云端服务器还包括图元更新模块；所述的图元更新模块用于根据图元改变的部分，将对应的图元做出相应的改变，从而更新图元地图库。

实施例四、本发明机器人：

本实施例提供了一种机器人，所述机器人为机器人组群中的任意机器人，所述机器人组群中的每一机器人均分别与云端服务器和数字孪生前端相连，且每一个机器人包括环境采集模块、图元拉取模块、图元地图定位模块、机器人传输模块。

其中，所述的环境采集模块，用于分别通过GPS、图像传感器、激光雷达采集当前的GPS数据、图像、点云。

所述的图元拉取模块，用于获取当前的GPS数据或图像，从图元地图库中查询所匹配的图元，并拉取匹配的图元到本地，得到机器人当前的图元地图。

所述的图元地图定位模块，用于获取当前的点云和图像，并与所述的图元地图进行匹配，得到机器人在图元地图中的当前位置，并上传至云端服务器。

在其他实施例中，所述的机器人还包括图元更新判断模块；所述的图元更新判断模块，用于判断当前的环境与图元地图的环境是否一致；若一致，则不更新云端服务器的图元地图库；若不一致，则记录图元改变的部分。

实施例五、本发明数字孪生前端：

本实施例提供了一种数字孪生前端，用于进行机器人组群展示，包括数字孪生地图拉取模块、数字孪生地图展示模块。

其中，所述的数字孪生地图拉取模块，用于从云端服务器拉取和机器人来源统一的数字孪生地图到数字孪生前端。

所述的数字孪生地图展示模块，用于将机器人的当前位置和巡检结果展示在数字孪生前端的数字孪生地图中。

实施例六、本发明系统：

如图3所示，根据上述实施例，本实施例提供了一种多机云边协同地图创建与动态数字孪生的系统，包括所述的建图设备，所述的云端服务器，多个所述的机器人组成的机器人组群，以及所述的数字孪生前端。并且，所述的建图设备与云端服务器相连，所述的机器人组群中每一个机器人分别与云端服务器和数字孪生前端相连，所述的数字孪生前端与云端服务器相连。

具体实施时，本发明系统无需每个巡检机器人单独采集周围信息，而是采用专用的建图设备统一采集机器人组群作业环境的周围信息，并将构建好的图元文件数据上传至云端服务器的图元地图库，作为机器人组群的通用地图。接着，每个巡检机器人会基于当前的GPS位置或图像数据，从云端服务器查询当前位置周围的图元数据，并将这些图元拉取下来作为机器人当前的定位数据，用于巡检作业。本实施例将通用图元地图库的构建交给了云端服务器去实现，省去了在机器人本地进行信息分析处理、建图等比较复杂的工作，减少了实现功能所需要的多种部件，降低成本和功耗，并且不需要考虑机器人运算能力受限的问题，在一定程度上提高了各种功能实现的效果(准确性、快速性等等)。之后，将巡检后的结果与机器人当前的位置在数字孪生模型中生动形象地展示给用户，使得以往乏味枯燥的巡检数据形象地展示与数字世界。因此，本发明系统可以提高机器人的性价比，更适合大规模的推广。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

此外，本发明涉及的系统、装置的方框图仅作为例示性的例子，并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些系统、装置。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

Claims (9)

1.一种多机云边协同地图创建与动态数字孪生的方法，其特征在于，包括：

获取机器人组群作业场景的周围信息，根据所述周围信息生成图元文件，所述图元文件包括机器人定位地图、二维地图、数字孪生地图、元信息文件、路网信息文件、轨迹文件以及视觉特征地图，并根据所述图元文件在云端服务器上构建通用的图元地图库；

获取机器人当前的GPS数据或图像，根据所述GPS数据或图像从所述图元地图库中查询所匹配的图元，并拉取匹配的图元到本地，得到机器人当前的图元地图；获取机器人当前的点云和图像，将所述点云和图像与所述图元地图进行匹配，得到机器人在所述图元地图中的当前位置，并发送至云端服务器；

从云端服务器拉取和机器人来源统一的数字孪生地图到数字孪生前端，并将机器人的当前位置和巡检结果展示在所述数字孪生地图中。

2.根据权利要求1所述的一种多机云边协同地图创建与动态数字孪生的方法，其特征在于，所述的获取机器人组群作业场景的周围信息，根据所述周围信息生成图元文件，包括：

利用建图设备获取机器人组群作业场景的周围信息，所述的周围信息包括点云、图像、IMU数据和GPS数据；

将所述的周围信息利用SLAM融合算法进行融合，得到带颜色信息的点云地图；再将所述带颜色信息的点云地图按图元进行切割，得到带颜色信息的图元；

根据所述的图元生成图元文件，所述的图元文件包括机器人定位地图、二维地图、数字孪生地图、元信息文件、路网信息文件、轨迹文件以及视觉特征地图。

3.根据权利要求2所述的一种多机云边协同地图创建与动态数字孪生的方法，其特征在于，根据所述的图元生成所述的二维地图，包括：

设所述的图元 方向的最大值、方向的最大值、方向的最小值、方向的最小值、方向的中心位置、方向的中心位置分别为、、、、、，则：

，；

设生成的二维地图的宽、高分别为、，分辨率的有效数值范围为，则：

，；

设所述图元的每一个点云投影到二维地图时，应该在二维地图上方向的位置为，方向的位置为，则：

，；

设将宽、高分别为、的二维地图通过放缩因子放缩成宽、高分别为、的二维图像时，放缩后的二维地图的宽的最大值、高的最大值分别为、，且、，则：

宽的放缩因子，向上取整，高的缩放因子，向上取整；并取与中的较大值作为放缩因子。

4.根据权利要求2所述的一种多机云边协同地图创建与动态数字孪生的方法，其特征在于，根据所述的图元生成所述的路网信息文件，包括：

将所述的图元进行三维雷达点云的语义分割，分割出地面和地面上的物体；

根据分割的结果以及物体信息生成机器人的路网信息；

将所述的路网信息存储到路网信息文件中，用于存储机器人的可行驶区域。

5.根据权利要求2所述的一种多机云边协同地图创建与动态数字孪生的方法，其特征在于，根据所述的图元生成所述的视觉特征地图，包括：

根据所述每一帧图像以及每一帧图像的位姿，提取每一帧图像的SIFT特征点与描述子，ORB 特征点与描述子，Super Point的特征点和描述子，以及每一个特征点的置信度；

将提取的结果存入视觉特征地图中，用于机器人在无法获取GPS信号的情况下，利用双目相机图像传感器进行当前环境的图像获取。

6.根据权利要求1所述的一种多机云边协同地图创建与动态数字孪生的方法，其特征在于，所述的获取机器人当前的GPS数据或图像，根据所述GPS数据或图像从所述图元地图库中查询所匹配的图元，并拉取匹配的图元到本地，得到机器人当前的图元地图，包括：

若机器人能够获取当前的GPS数据，则将GPS数据上传至云端服务器，云端服务器根据GPS数据查询当前位置附近的九个图元，再将九个图元下发至机器人；

若机器人无法获取当前的GPS数据，则通过图像传感器获取当前的图像，并将图像上传云端服务器；云端服务器提取所述图像的视觉特征，并与图元地图库的视觉特征地图进行匹配，得到机器人当前位置所在的图元，然后搜索该图元附近的八个图元，再将九个图元下发至机器人。

7.根据权利要求1或6所述的一种多机云边协同地图创建与动态数字孪生的方法，其特征在于，所述的获取机器人当前的点云和图像，将所述点云和图像与所述图元地图进行匹配，得到机器人在所述图元地图中的当前位置，包括：

将机器人获取的当前的GPS数据作为机器人的初始位置；

通过激光雷达获取所述初始位置当前帧的点云，并将当前帧的点云转换到图元地图的坐标系中，得到激光雷达在图元地图中的初始位置，再根据ICP算法，计算当前帧的点云到图元地图的精细位置；

将机器人获取的当前的图像与图元地图库的视觉特征地图进行匹配，并将匹配结果构建重投影误差，得到机器人在图元地图中的精准位置。

8.根据权利要求1所述的一种多机云边协同地图创建与动态数字孪生的方法，其特征在于，还包括：

从数字孪生地图中提取三角面当中的定点作为点云地图导入到八叉树中；

根据机器人实时得到的在图元地图中的当前位姿，结合机器人获取的当前帧的点云，将当前帧的点云转换到图元地图的坐标系下；

以当前图元地图坐标系下激光雷达的位置作为起点，以当前帧每一个点云的点在图元地图坐标系下的位置作为终点，构建一条三维的射线，将这条射线沿途经过的所有八叉树节点进行更新，并更新八叉树的空间占据信息；

将沿途除起点和终点外的空间全部设置为无物体的空闲空间，并记录当前的空间占据状态是否与之前一致，若不一致则将计数器加一，当计数器的值超过一定阈值，则记录图元改变的部分，并上传至云端服务器；

根据图元改变的部分，云端服务器将对应的图元做出相应的改变，从而更新图元地图库。

9.一种多机云边协同地图创建与动态数字孪生的系统，其特征在于，包括建图设备，云端服务器，多个机器人组成的机器人组群，以及数字孪生前端；

所述的建图设备包括数据采集和建图模块，用于获取机器人组群作业场景的周围信息，根据所述周围信息生成图元文件，所述图元文件包括机器人定位地图、二维地图、数字孪生地图、元信息文件、路网信息文件、轨迹文件以及视觉特征地图；

所述的云端服务器包括图元地图库模块、图元查询匹配模块；其中，图元地图库模块，用于根据所述图元文件在云端服务器上构建通用的图元地图库；图元查询匹配模块，用于从所述图元地图库中查询所匹配的图元；

所述的机器人包括环境采集模块、图元拉取模块、图元地图定位模块；其中，环境采集模块，用于通过GPS、图像传感器、激光雷达获取机器人当前的GPS数据、图像、点云；图元拉取模块，用于根据所述GPS数据或图像从所述图元地图库中查询所匹配的图元，并拉取匹配的图元到本地，得到机器人当前的图元地图；图元地图定位模块，用于获取机器人当前的点云和图像，将所述点云和图像与所述图元地图进行匹配，得到机器人在所述图元地图中的当前位置，并发送至云端服务器；

所述的数字孪生前端包括数字孪生地图拉取模块、数字孪生地图展示模块；其中，数字孪生地图拉取模块，用于从云端服务器拉取和机器人来源统一的数字孪生地图到数字孪生前端；数字孪生地图展示模块，用于将机器人的当前位置和巡检结果展示在所述数字孪生地图中。

Images