CN116423515B - 一种多机器人的数字孪生控制系统及其定位与建图的方法 - Google Patents

一种多机器人的数字孪生控制系统及其定位与建图的方法 Download PDF

Info

Publication number
CN116423515B
CN116423515B CN202310475566.9A CN202310475566A CN116423515B CN 116423515 B CN116423515 B CN 116423515B CN 202310475566 A CN202310475566 A CN 202310475566A CN 116423515 B CN116423515 B CN 116423515B
Authority
CN
China
Prior art keywords
data
robots
digital twin
robot
control system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310475566.9A
Other languages
English (en)
Other versions
CN116423515A (zh
Inventor
丁伟利
杨韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN202310475566.9A priority Critical patent/CN116423515B/zh
Publication of CN116423515A publication Critical patent/CN116423515A/zh
Application granted granted Critical
Publication of CN116423515B publication Critical patent/CN116423515B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1682—Dual arm manipulator; Coordination of several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种多机器人的数字孪生控制系统及其定位与建图的方法，涉及机器人技术领域。该系统可以包括多个机器人和数字孪生控制系统，多个机器人中每个机器人均包括传感器模组、边缘端处理设备以及运动控制设备，数字孪生控制系统包括多个机器人的数字孪生体和虚拟作业场景，数字孪生体和机器人是一一对应的，虚拟作业场景和实际作业场景是对应的，传感器模组与边缘端处理设备连接，边缘端处理设备、数字孪生控制系统与运动设备通过无线通信技术连接。该系统可以高效实时的仿真多个机器人的工作场景并模拟机器人的工作状态，同时也能够方便灵活的通过数字孪生技术实现对多机器人的遥操作控制，安全高效的助力施工作业。

Description

一种多机器人的数字孪生控制系统及其定位与建图的方法
技术领域
本申请涉及机器人技术领域，尤其涉及一种多机器人的数字孪生控制系统及其定位与建图的方法。
背景技术
随着工业自动化和计算机技术的发展，机器人开始进入大量生产和实际应用阶段，目前机器人主要通过驾驶员现场操作或者基于图像画面的遥操作来完成各项任务，但是在这种情况下一个驾驶员往往只能操作一台机器人，而且存在视觉盲区、视野受限明显。若有多台机器人，则需要多个驾驶员操作，需要大量人力，成本较高。
某国科学技术研究院开发的针对救援任务的机器人，能够实现机器人视觉和机器人的运动控制，但是该系统没有使用多传感器技术，既不能解决视觉传感器不稳定的缺点，又无法获得充足的环境信息用来控制机器人执行任务。百度机器人与自动驾驶实验室的自动挖掘机系统可以自主感知环境、规划路线和控制机械，让挖掘机在没有任何人工干预的情况下，实现长时间自主物料装载作业，同时还能提供与经验丰富的人工操作员相当的工作效率，但是该系统没有解决多挖掘机协同作业的问题。
发明内容
针对以上缺陷或改进需求，本发明提出了一种多机器人的数字孪生控制系统及其定位与建图的方法。该系统以数字孪生技术为基础，可以实时模拟现场若干个机器人的工作状态，仿真机器人的工作环境，同时，可以在建立的虚拟作业场景中远程操作机器人。
为了解决上述的技术问题，技术方案如下：
第一方面，提供了一种多机器人的数字孪生控制系统，该控制系统包括：物理世界中的若干个机器人和数字世界中的数字孪生控制系统，所述若干个机器人中每个机器人均包括传感器模组、边缘端处理设备以及运动控制设备，所述若干个机器人包括第一机器人，所述第一机器人对应第一传感器模组和第一边缘端处理设备，所述数字孪生控制系统包括若干个机器人的数字孪生体和虚拟作业场景，所述若干个机器人数字孪生体和所述若干个机器人是一一对应的，所述虚拟作业场景和若干个机器人实际工作场景是一一对应的，传感器模组与边缘端处理设备连接，边缘端处理设备与数字孪生控制系统通过无线通信技术连接，数字孪生控制系统与运动设备通过无线通信技术连接；
本系统的进一步的改进在于，第一传感器模组用于：获取第一机器人所处环境的第一数据、第一机器人的第二和第三数据，并向第一边缘端处理设备发送第一数据、第二数据和第三数据，其中，第一数据包括第一激光点云数据和第一图像数据，第二数据包括第一姿态角和第一加速度数据，第三数据包括全球定位数据即GPS数据；第一边缘端处理设备用于：接收第一机器人的第一数据、第二数据和第三数据，并根据第一数据和所述第二数据，确定第一机器人所处环境的局部三维点云数据和第一机器人在局部三维点云数据中的局部位置数据，并向数字孪生控制系统发送第一机器人的全球定位数据、所处环境的三维点云数据和局部位置数据；数字孪生控制系统用于：接收若干个机器人的全球定位数据、所处环境的三维点云数据和局部位置数据，根据全球定位数据在全国矢量地图数据中获取机器人所处位置一定范围的矢量地图数据，对若干个机器人所处环境的三维点云数据进行融合，确定若干个机器人所处环境的全局三维点云数据，将矢量地图数据和全局三维点云数据进行融合匹配，建立若干个机器人的虚拟作业场景，对若干个机器人的局部位置数据进行融合，得到若干个机器人在全局三维点云数据即虚拟作业场景中的全局位置数据，并根据全局位置数据，在虚拟作业场景中对应位置生成若干个机器人的数字孪生体，若干个机器人的全球定位数据、所处环境的三维点云数据和局部位置数据包括第一机器人的全球定位数、所处环境的三维点云数据和局部位置数据；数字孪生控制系统还用于：接收第一控制指令，第一控制指令用于控制若干个机器人数字孪生体中至少一个机器人数字孪生体的运动，并根据第一控制指令，在虚拟作业环境中控制至少一个机器人数字孪生体运动，同时，获取至少一个机器人数字孪生体的运动数据，向至少一个机器人数字孪生体对应的运动控制设备发送运动数据；至少一个机器人数字孪生体对应的运动控制设备用于：接收所述运动数据，控制运动控制设备对应的机器人在实际工作场景中运动。
本申请提供的多机器人的数字孪生实验系统，机器人可以使用边缘端处理设备通过传感器模组采集的数据对机器人进行局部定位与建图，得到机器人所处环境的地图数据和在该地图数据中的局部位置数据，数字孪生控制系统可以通过若干个机器人的数据进行全局定位与地图融合，得到若干个机器人所处环境的全局地图数据和该地图数据中的全局位置数据，还可以通过传感器模组采集的机器人全球定位数据，在全国矢量地图数据中获取机器人所处位置一定范围的矢量地图数据，将其与全局地图数据匹配融合，在数字世界中建立机器人的虚拟作业场景，根据全局位置数据在虚拟作业场景中对应位置生成若干个机器人的数字孪生体，用户可以通过控制虚拟作业场景中机器人数字孪生体的运动，实现控制物理世界中的机器人在实际工作场景中运动，可以使用户不需要亲自到现场操作机器人也可以实现操作机器人运动，有利于降低人工成本。
本系统的进一步的改进在于，在第一方面的某些实现方式中，若干个机器人还包括第二机器人，第二机器人对应第二传感器模组和第二边缘端处理设备；第二传感器模组用于：获取第二机器人所处环境的第四数据、第二机器人的第五数据和第六数据，并向第二边缘端处理设备发送第四数据、第五数据和第六数据，其中，第四数据包括第二激光点云数据和第二图像数据，第五数据包括第二姿态角数据和第二加速度数据，第六数据包括全球定位数据即GPS数据或北斗数据；第二边缘端处理设备用于：接收第二机器人的第四数据、第五数据和第六数据，并根据第四数据和第五数据，确定第二机器人所处环境的局部三维点云数据和第二机器人在局部三维点云数据中的局部位置数据，并向第一边缘端处理设备发送第二机器人的全球定位数据、所处环境的三维点云数据和局部位置数据；第一边缘端处理设备还用于：接收第二机器人的全球定位数据、所处环境的三维点云数据和局部位置数据。
在本申请中，若干个机器人之间可以通过边缘端处理设备进行数据共享，每个机器人均可以得到其他机器人的位置数据和地图数据，有利于实现若干机器人之间的协作控制。
本系统的进一步的改进在于，在第一方面的某些实现方式中，数字孪生控制系统还用于：向第一边缘端处理设备发送第七数据，其中包括除第一机器人之外的其他机器人的位置数据；第一边缘端处理设备还用于：接收第七数据。
在本申请中，各个机器人可以通过数字孪生控制系统发送的其他机器人的数据实现共享，只接收一次数据，每个机器人即可得到其他机器人的位置数据，有利于节省数据信令开销。
另一方面，提供了一种多机器人的数字孪生控制系统中使用的多机多传感器定位与建图的方法，其方法应用于物理世界中若干个机器人和数字世界中的数字孪生系统，以实现局部和全局的定位与建图功能。该方法包括以下步骤：
步骤1:机器人上的边缘端处理设备实时获取传感器模组的多传感器数据，包括激光点云数据、图像数据、惯性传感器数据，对不同时间源、不同空间坐标系下的上述数据进行时间同步与坐标系关联，获得统一时间系统下统一空间坐标系的待融合数据，并完成初始化。
步骤2:使用相机图像数据构建视觉里程计约束，具体为：
步骤2.1:提取FAST角点和BRIEF描述符：通过在图像上选取像素点p，该像素点的亮度Ip，以像素点p为中心点，选取半径为3的圆上的像素点，若该圆上有连续N个像素点(N通常取12)与中心点p的亮度差异大于阈值，则认定像素点p为FAST角点；然后构建图像金字塔，对每层金字塔提取FAST角点，各层金字塔FAST角点之和作为这帧图像的FAST角点；随后对于每一个FAST角点，在其附近按高斯分布依次挑选128组像素点对p、q，比较每一组像素点p和像素点q的像素值大小，若p大于q则取1，否则取0，将其编码为128维的二进制描述向量，即BRIEF描述子。
步骤2.2:假设在第t个图像帧提取的图像特征m＝1,2,3...M，在t+1个图像帧提取的图像特征/>n＝1,2,3...N，通过计算汉明距离，使用快速近似最近邻算法进行匹配。根据获得的匹配点对，使用PNP法进行位姿估计，使用最小化重投影误差求解，获得摄像机下的机器人位姿，具体为：
假设空间点Pi＝[Xi,Yi,Zi]T,其投影的像素坐标ui＝[ui,vi]T，相机位姿为T，相机内参矩阵为K，投影关系为：
由于存在噪声，可以构建如下最小二乘问题，求得最优位姿：
步骤3:使用激光点云数据构建激光里程计约束，具体为：
步骤3.1:计算每一帧激光点云数据中每个点的曲率，并将其排序，选择曲率最大的n个点作为边缘点，曲率最小的m个点作为平面点。
步骤3.2:边缘点按照点到线的距离dε，即当前边缘点经过RT变换后，到上一帧中最近的边缘点组成的线的距离，线的两个端点坐标分别为/>
平面点按照点到面的距离dΗ，即当前平面点经过RT变换后，到上一帧中最近的平面点组成的平面点的距离，平面上的三个点分别为/>
步骤3.3:为了获得这一帧数据中的点和上一帧数据中点/>的对应关系，使用一个旋转矩阵R和一个平移量T表示：
结合点到线、面的残差，利用LM算法求解，得到激光雷达下的机器人位姿。
步骤4:使用惯性传感器数据构建预积分约束，具体为：
假设惯性传感器模型为：
其中，表示陀螺仪的观测值、ωt表示陀螺仪的真实值、bωt表示陀螺仪的偏置、nω表示陀螺仪的附加噪声，/>表示加速计的观测值、αt表示加速计的真实值、bαt表示加速计的偏置、nα表示加速计的附加噪声。
对图像第k帧和第k+1帧之间的所有惯性传感器数据进行积分，对应的惯性传感器坐标系为bk和bk+1，根据tk时刻的位移速度/>旋转/>积分求得tk+1时刻的位移/>速度/>旋转/>求出的是在世界坐标系下的值：
其中：Δtk表示时间间隔，表示本体坐标系到世界坐标系的变换矩阵，/>表示在本体坐标系下，t时刻到bk时刻位姿的变换矩阵，gw表示重力加速度。
两帧之间增量的连续形式：
其中：为位移、速度、旋转在两个时刻间的相对运动量。
通过优化积分出来的误差项eimu得到惯性传感器下的位姿。
步骤5:基于提取的视觉特征点和词袋模型，使用一个特征向量来描述关键帧，使用L1范数判断关键帧之间的相似性，若两个关键帧之间的相似性大于阈值s，则建立回环约束；
步骤6:基于视觉里程计约束、激光里程计约束、预积分约束和回环约束构建全局姿态优化的因子图，如图1所示，进行联合优化，求解位姿，实现单个机器人的定位；
步骤7:将视觉特征点和点云点投影到以相机为球心的单位球上，用极坐标形式表示点的位置，进行下采样。用二维kd-tree搜索每个视觉特征点附近的三个临近点云点，认为从相机光心到特征点的直线与三个点云点确定的平面之间的交点的深度值就是特征点的深度值，建立局部三维点云地图，实现单个机器人的局部建图。
步骤8:将若干个机器人边缘端中的关键帧与地图点等信息上传至数字孪生系统，数字孪生系统对该信息进行处理计算，生成全局点云地图和若干个机器人在全局点云地图中的全局位姿，实现多机器人的定位与建图。
步骤8.1:在每个机器人端，边缘处理器将任何添加和更改的关键帧和地图点发送至服务器端的数字孪生系统。由于地图不断变化，信息的发送速度限制为Vmax，以避免影响系统运行效率。
步骤8.2:在服务器端的数字孪生系统，首先确定若干个机器人中的任意一个机器人为基机器人；然后通过其他机器人与基机器人提供的关键帧中2D图像关键点和特征描述符进行关键帧之间的匹配，得到其他机器人与基机器人的匹配点和Sim3转换；最后基于基机器人坐标系，初始化一个新的全局地图，基机器人的局部地图可以直接添加全局地图中，其他机器人上的相关信息需要进行坐标转换之后再添加到全局地图中，生成最终的全局地图和全局地图下若干个机器人的全局位姿。
由于采用了上述技术方案，本发明取得的技术进步是：
本发明公开了一种多机器人的数字孪生控制系统及其定位与建图的方法，通过读取机器人传感器模组的多源数据，对多个机器人进行局部与全局的定位，同时对机器人工作场景建立全局点云地图，并通过数字孪生系统高效实时地模拟机器人的工作状态，仿真机器人的工作场景，同时也能够方便灵活的通过数字孪生系统实现对多机器人的遥操作控制，安全高效的助力施工作业。
对比其他方法，本发明基于多传感器技术和数字孪生技术设计的多机器人数字孪生控制系统，能够更加充分的提取机器人工作环境中的信息，从而更为真实的反馈现场机器人的工作状态及工作环境，在单机作业时，最大限度的减少视野盲区带给操作人员的影响，在多机作业时，有效减轻操作人员的负担，降低操作人员的工作难度；本发明中使用的定位与建图的方法，能够高效准确的实现多机多传感器的定位与建图，有效的应用于多个机器人的协同作业。
附图说明
图1为系统中使用的定位与建图方法因子图；
图2为本申请实施例提供的一种多机器人的数字孪生控制系统的示意性框图；
图3为本申请实施例提供的一种多机器人的数字孪生控制系统的示意性流程图。
具体实施方式
下面将结合附图，对本申请中的技术方案进行描述。
为了更好的理解本申请实施例，本申请实施例先做出以下说明：
第一，本申请实施例中的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A,B可以是单数或者复数。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系，但也可能表示的是一种“和/或”的关系，具体可参考前后文进行理解。
第二，本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。
图2示出了一种多机器人的数字孪生实验平台的示意性框图，如图2所示，实验平台100包括多个机器人和数字孪生控制系统101。其中，多个机器人可以包括机器人102、机器人103以及机器人104。其中，多个机器人的个数仅仅为一个示例，本申请实施例对此不作限定。
多个机器人中每个机器人均包括传感器模组、边缘端处理设备以及运动控制设备，则机器人102可以包括传感器模组1021、边缘端处理设备1022以及运动控制设备1023，机器人103可以包括传感器模组1031、边缘端处理设备1032以及运动控制设备1033，机器人104可以包括传感器模组1041、边缘端处理设备1042以及运动控制设备1043。应理解，不同机器人中相同名称的器件的作用都是相同的，故本申请实施例以多个机器人中的一个机器人(例如，机器人102)进行说明。
机器人102也可以称为第一机器人，机器人102中的传感器模组1021也可以称为第一传感器模组，机器人102中的边缘端处理设备1022也可以称为第一边缘端处理器，本申请实施例对名称不作限定。
数字孪生控制系统101包括多个机器人的数字孪生体和虚拟作业场景，多个机器人的数字孪生体和多个机器人是一一对应的，即多个机器人数字孪生体的数量与多个机器人的数量相同，则多个机器人数字孪生体可以包括机器人数字孪生体1011、机器人数字孪生体1012以及机器人数字孪生体1013。
实验平台100中各个设备之间的连接关系可以包括：
传感器模组与边缘端处理设备连接，边缘端处理设备与数字孪生控制系统通过无线通信技术连接，数字孪生控制系统与运动设备通过无线通信技术连接，即传感器模组1021与边缘端处理设备1022连接，传感器模组1031与边缘端处理设备1032连接，传感器模组1041与边缘端处理设备1042连接，边缘端处理设备1022、边缘端处理设备1032以及边缘端处理设备1042分别通过无线接入技术与数字孪生控制系统101连接，数字孪生控制系统101分别与运动设备1023、运动控制设备1033以及运动控制设备1043通过无线通信技术连接。
其中，无线通信技术可以为无线网(wifi)或者第五代移动通信技术(5thgeneration mobile communication technology，5G)，但本申请实施例并不限于此。
上述传感器模组1021可以用于：获取机器人102所处环境的第一数据、机器人102的第二数据和第三数据，并向边缘端处理设备1022发送第一数据、第二数据和第三，其中，第一数据包括第一激光点云数据和第一图像数据，第二数据包括第一姿态角和第二加速度数据，第三数据包括全球定位数据；
其中，传感器模组1021可以包括激光雷达、摄像头、惯性测量单元以及GPS接收设备，传感器模组1021可以通过激光雷达、摄像头、惯性传感器以及GPS接收设备获取第一数据、第二数据和第三数据。摄像头可以是双目摄像头，也可以是单目摄像头，本申请实施例对此不作限定；激光雷达可以是固态激光雷达，也可以是机械激光雷达，本申请实施例对此不作限定；
边缘端处理设备1022用于：接收传感器模组1021获取的机器人102的第一数据、第二数据和第三数据，并根据第一数据和第二数据，确定机器人102所处环境的局部三维点云数据和机器人102在局部三维点云数据中的局部位置数据，并向数字孪生控制系统101发送机器人102的全球定位数据、所处环境的三维点云数据和局部位置数据；
其中，边缘端处理设备1022可以基于ROS系统开发，并使用同步定位与地图构建(simultaneous localization and mapping，SLAM)技术，通过第一数据和第二数据确定机器人102所处环境的局部三维点云数据和机器人102在局部三维点云数据中的局部位置数据；
边缘端处理设备1022确定机器人102所处环境的局部三维点云数据和机器人102在局部三维点云数据中的局部位置数据，也可以称为局部定位与建图，本申请实施例对此不作限定。
数字孪生控制系统101用于：接收多个机器人(即机器人102、机器人103以及机器人104)的全球定位数据、所处环境的三维点云数据和局部位置数据，根据全球定位数据在全国矢量地图数据中获取机器人所处位置一定范围的矢量地图数据，对多个机器人所处环境的三维点云数据进行融合，确定多个机器人所处环境的全局三维点云数据，将矢量地图数据和全局三维点云数据进行融合匹配，建立多个机器人的虚拟作业场景，对多个机器人的局部位置数据进行融合，得到多个机器人在全局三维点云数据即虚拟作业场景中的全局位置数据，并根据全局位置数据，在虚拟作业场景中对应位置生成多个机器人的数字孪生体；
其中，数字孪生控制系统101可以基于ROS系统和三维虚拟现实引擎(如Unity3D)开发，并使用SLAM技术，通过多个机器人的全球定位数据、全国矢量地图和所处环境的地图数据确定全局地图数据建立虚拟作业场景，通过多个机器人的局部位置数据确定多个机器人在全局地图数据即虚拟作业场景中的全局位置数据。具体地，数字孪生控制系统101可以先基于三维虚拟现实引擎进行系统主体的设计与开发，包括但不限于数字孪生体的设计与开发、全国矢量地图的预下载、系统界面设计等；系统运行过程中，基于ROS系统和SLAM技术，通过多个机器人的局部位置数据和所处环境的局部地图数据确定全局三维环境地图，然后再根据语义识别算法，生成全局三维语义地图，用于建立带有语义信息的虚拟作业场景。
数字孪生控制系统101确定全局地图数据以及多个机器人在全局地图数据中的全局位置数据，也可以称为全局定位与建图，本申请实施例对此不作限定。
数字孪生控制系统101还用于：接收第一控制指令，第一控制指令用于控制多个机器人数字孪生体中至少一个机器人数字孪生体的运动，并根据第一控制指令，在全局地图数据即虚拟作业场景中控制至少一个机器人数字孪生体运动，同时，获取至少一个机器人数字孪生体的运动数据，向至少一个机器人数字孪生体对应的运动控制设备发送运动数据；
其中，第一控制指令可以是用户的操作指令，例如，用户可以通过三维虚拟现实软件在虚拟作业场景中通过键盘、鼠标、手柄等操作方式对虚拟场景中的机器人数字孪生体进行运动控制操作，数字孪生控制系统101响应于该操作，可以得到第一控制指令。
第一控制指令用于控制多个机器人数字孪生体中至少一个机器人数字孪生体的运动，即第一控制指令可以控制一个机器人数字孪生体运动，也可以控制多个机器人数字孪生体运动，本申请实施例对此不做限定。
至少一个机器人数字孪生体对应的运动控制设备(即运动控制设备1023、运动控制设备1033或者运动控制设备1043中的至少一个)用于：接收运动数据，控制运动控制设备对应的机器人在实际作业场景中运动。
示例性地，运动控制设备可以为树莓派开发板，安装在机器人上，进行机器人的运动控制。
本申请实施例提供的多机器人数字孪生实验平台，机器人可以通过边缘端处理设备对传感器模组采集的数据进行局部定位与建图，得到机器人的位置和所处环境的地图数据，数字孪生控制系统可以对多个机器人的数据进行全局定位与建图，得到多个机器人的位置和多个机器人所处环境的地图数据，可以在数字世界中建立虚拟作业场景，并对机器人数字孪生体在虚拟作业场景中进行定位，用户可以通过控制虚拟作业场景中的机器人数字孪生体的运动，实现控制真实的机器人在实际工作场景中运动，可以使用户不需要亲自到现场操作机器人也可以实现操作机器人运动，有利于降低人工成本。
在图2所示的系统中，边缘端处理设备1022可以根据传感器模组1021采集的数据，确定机器人102的位置数据和其所述环境的地图数据，边缘端处理设备1032也可以根据相同的方法，根据传感器模组1031采集的数据，确定机器人103的位置数据和其所述环境的地图数据，边缘端处理设备1042也可以根据相同的方法，根据传感器模组1041采集的数据，确定机器人104的位置数据和其所述环境的地图数据，这些数据除了可以传输给数字孪生控制系统101之外，还可以在各个机器人之间共享。
其中，各个机器人之间共享机器人的位置数据和其所述环境的地图数据存在多种可能的实现方式。
在一种可能的实现方式中，上述机器人103可以称为第二机器人，传感器模组1031可以称为第二传感器模组，边缘端处理器设备1032可以称为第二边缘端处理设备，本申请实施例对此不做限定。
传感器模组1031用于：获取机器人103所处环境的第四数据、机器人103的第五数据和第六数据，并向边缘端处理设备1032发送第四数据、第五数据和第六数据，其中，第四数据包括第二激光点云数据和第二图像数据，第五数据包括第二姿态角和第二加速度数据，第六数据包括全球定位数据；
边缘端处理设备1032用于：接收机器人103的第四数据、第五数据和第六数据，并根据第四数据和第五数据，确定机器人103的位置数据和所处环境的地图数据，并向边缘端处理设备1022发送机器人103的位置数据和所处环境的地图数据；
边缘端处理设备1022还用于：接收机器人103的位置数据和所处环境的地图数据。
边缘端处理设备1032对传感器模组1031采集的数据进行局部定位，得到机器人103的位置数据和所处环境的地图数据，并将其发送至边缘端处理设备1022，对应地，边缘端处理设备1022可以接收机器人103的位置数据和所处环境的地图数据。相应地，边缘端处理设备1032也可以接收来自边缘端处理设备1022的机器人102的位置数据和所处环境的地图数据，即不同机器人中的边缘端处理设备可以通过无线通信技术位置数据和地图数据进行共享。
需要说明的是，此处虽只列举了边缘端处理设备1022和边缘端处理设备1032的数据共享，但应理解，边缘端处理设备1022、边缘端处理设备1032以及边缘端处理设备1042之间的数据均可实现共享，即边缘端处理设备1022可以获取机器人103的位置数据和所处环境的地图数据、机器人104的位置数据和所处环境的地图数据，其他同理，此处不再赘述。
在这种实现方式中，多个机器人之间可以通过边缘端处理设备进行数据共享，每个机器人均可以得到其他机器人的位置数据和地图数据，有利于实现多机器人之间的协作控制。
在另一种可能的实现方式中，数字孪生系统101还用于：向边缘端处理设备1022发送多个机器人的位置数据和所处环境的地图数据中除第一机器人的位置数据和所处环境的地图数据之外的第七数据；边缘端处理设备1022还用于：接收第七数据。
数字孪生控制系统101可以接收各个机器人的位置数据和其所处环境的地图数据，即分别接收边缘端处理设备1022、边缘端处理设备1032以及边缘端处理设备1042的数据，数字孪生控制系统还可以向边缘端处理设备1022发送机器人103的位置数据和其所处环境的地图数据、机器人104的位置数据和其所处环境的地图数据，使其可以得到其他机器人的数据，以实现多机器人之间的协作控制。同理，数字孪生控制系统也可以向边缘端处理设备1032发送机器人102的位置数据和其所处环境的地图数据、机器人104的位置数据和其所处环境的地图数据，使其可以得到其他机器人的数据，以实现多机器人之间的协作控制。数字孪生控制系统也可以向边缘端处理设备1042发送机器人102的位置数据和其所处环境的地图数据、机器人103的位置数据和其所处环境的地图数据，使其可以得到其他机器人的数据，以实现多机器人之间的协作控制。
在这种实现方式中，各个机器人可以通过数字孪生控制系统发送的其他机器人的数据实现共享，只接收一次数据，每个机器人即可得到其他机器人的位置数据和地图数据，有利于节省数据信令开销。
图3为本申请实施例提供的一种多机器人的数字孪生控制系统的示意性流程图。可以应用于上述图2所示的实验平台，但本申请实施例并不限于此。
如图3所示，包括如下步骤：
S201、第一传感器模组获取第一机器人所处环境的第一数据、第一机器人的第二数据和第三数据。
第一传感器模组可以是上述图2所示的传感器模组1021，也可以是上述图2所示的传感器模组1031，还可以是上述图2所示的传感器模组1041，本申请实施例对此不作限定。
应理解，当第一传感器模组是传感器模组1021时，第一机器人为机器人102。当第一传感器模组是传感器模组1031时，第一机器人为机器人103。当第一传感器模组是传感器模组1041时，第一机器人为机器人104。
S202、第一传感器组向第一边缘端处理设备发送第一数据、第二数据和第三，其中，第一数据包括第一激光点云数据和第一图像数据，第二数据包括第一姿态角和第一加速度数据，第三数据包括全球定位数据，对应地，第一边缘端处理设备接收第一机器人的第一数据、第二数据和第三数据。
应理解，当第一传感器模组是传感器模组1021时，第一边缘端处理设备为处理设备102。当第一传感器模组是传感器模组1031时，第一边缘端处理设备为处理设备103。当第一传感器模组是传感器模组1041时，第一边缘端处理设备为处理设备104。
S203、第一边缘端处理设备根据第一数据和第二数据，确定第一机器人所处环境的局部三维点云数据和第一机器人在局部三维点云数据中的局部位置数据。
S204、第一边缘端处理设备向数字孪生控制系统发送第一机器人所处环境的局部三维点云数据、第一机器人在局部三维点云数据中的局部位置数据和第三数据，对应地，控制系统接收多个机器人的局部三维点云数据、局部位置数据和第三数据，多个机器人的局部三维点云数据、局部位置数据和第三数据包括第一机器人的局部三维点云数据、局部位置数据和第三数据。
控制系统可以为上述图2所示的数字孪生控制系统101，但本申请实施例并不限于此。
S205、控制系统像第一机器人发送除第一机器人以外其他机器人的全局位置数据，用于多个机器人的路径规划与协同控制。
S206、控制系统对多个机器人所处环境的三维点云数据进行融合，确定多个机器人所处环境的全局三维点云数据，根据全球定位数据确定机器人所处位置一定范围的矢量地图数据，将矢量地图数据和全局三维点云数据进行融合匹配，建立多个机器人的虚拟作业场景，对多个机器人的局部位置数据进行融合，得到多个机器人在全局三维点云数据即虚拟作业场景中的全局位置数据，并根据全局位置数据，在虚拟作业场景中对应位置生成多个机器人的数字孪生体。
该多个机器人可以为上述图2所示的机器人102、机器人103以及机器人104，本申请实施例并不限于此。
S207、控制系统接收第一控制指令，第一控制指令用于控制多个机器人数字孪生体中至少一个机器人数字孪生体的运动。
S208、控制系统根据第一控制指令，在全局地图数据即虚拟作业场景中控制至少一个机器人数字孪生体运动。
S209、控制系统获取至少一个机器人数字孪生体的运动数据。
S210、控制系统向至少一个机器人数字孪生体对应的运动控制设备发送运动数据，对应地，至少一个机器人数字孪生体对应的运动控制设备接收运动数据。
S211、至少一个机器人数字孪生体对应的运动控制设备根据运动数据，控制运动控制设备对应的机器人在实际作业场景中运动。
本申请实施例提供的多机器人的控制方法，可以高效实时的仿真多个机器人的工作场景并模拟机器人的工作状态，同时也能够方便灵活的通过虚拟现实技术实现对多机器人的遥操作控制。
作为一个可选的实施例，上述多个机器人还包括第二机器人，第二机器人对应第二传感器模组和第二边缘端处理设备；上述方法200还可以包括：
第二传感器模组获取第二机器人所处环境的第四数据、第二机器人第五数据和第六数据，并向第二边缘端处理设备发送第四数据、第五数据和第六数据，其中，第四数据包括第二激光点云数据和第二图像数据，第五数据包括第二姿态角和第二加速度数据，第六数据包括全球定位数据即GPS数据；第二边缘端处理设备接收第二机器人的第四数据、第五数据和第六数据，并根据第四数据和第五数据，确定第二机器人所处环境的局部三维点云数据和第二机器人在局部三维点云数据中的局部位置数据，并向第一边缘端处理设备发送第二机器人的全球定位数据、所处环境的三维点云数据和局部位置数据；第一边缘端处理设备接收第二机器人的全球定位数据、所处环境的三维点云数据和局部位置数据。
作为一个可选的实施例，上述方法200还可以包括：数字孪生控制系统向第一边缘端处理设备发送第七数据，其中包括除第一机器人之外的其他机器人的位置数据；第一边缘端处理设备接收第七数据。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (6)

1.一种多机器人的数字孪生控制系统，其特征在于，包括：物理世界中的若干个机器人和数字世界中的数字孪生控制系统，所述若干个机器人中每个机器人均包括传感器模组、边缘端处理设备以及运动控制设备，所述数字孪生控制系统包括若干个机器人的数字孪生体、虚拟作业场景，所述若干个机器人的数字孪生体与所述若干个机器人一一对应，所述虚拟作业场景与若干个机器人实际工作场景一一对应；
所述传感器模组与所述边缘端处理设备连接，所述边缘端处理设备与所述数字孪生控制系统连接，所述数字孪生控制系统与所述运动控制设备连接；
所述数字孪生控制系统定位与建图的方法，包括以下步骤：
步骤1:边缘端处理设备实时获取机器人的多传感器数据，所述多传感器数据包括激光点云数据、图像数据、惯性传感器数据，对不同时间源、不同空间坐标系下的多传感器数据进行时间同步与坐标系关联，获得统一时间系统下统一空间坐标系的待融合数据；
步骤2:使用图像数据构建视觉里程计约束，具体为：提取图像中的视觉特征点；判断当前帧是否为关键帧，如果是，则添加到关键帧队列，用于建立回环约束和建图；对视觉特征点进行特征匹配获得匹配点对并确定地图点；对摄像机进行位姿估计获得摄像机下的机器人位姿；
步骤3:使用激光点云数据构建激光里程计约束，具体为：通过评估局部区域上的点的曲率来提取边缘和平面特征；曲率较大的点被划分为边缘特征，同样，曲率较小的被分类为平面特征；利用点-线与点-面之间的距离关系，建立位姿求解方程，估计激光雷达下的机器人位姿；
步骤4:使用惯性传感器数据构建预积分约束，具体为：对惯性传感器数据进行预积分，通过中值法得到两个惯性传感器测量时刻位置、速度与姿态之间的关系；
步骤5:对关键帧进行相似性度量，判断是否存在回环，若存在回环，建立回环约束；
步骤6:基于视觉里程计约束、激光里程计约束、预积分约束和回环约束构建全局姿态优化的因子图，进行联合优化，求解位姿，实现单个机器人的局部定位；
步骤7:将视觉特征点和激光点云点投影到以相机为球心的单位球上，用极坐标形式表示点的位置，进行下采样；搜索每个视觉特征点附近的三个临近点云点，认为从相机光心到特征点的直线与三个点云点确定的平面之间的交点的深度值也就是特征点的深度值，建立三维点云地图，实现单个机器人的局部建图；
步骤8:将若干个机器人边缘端中的关键帧与地图点信息上传至数字孪生系统，数字孪生系统对该信息进行处理计算，生成全局点云地图和若干个机器人在全局点云地图中的全局位姿，实现多机器人的定位与建图。
2.根据权利要求1所述的一种多机器人的数字孪生控制系统，其特征在于，所述传感器模组用于获取所述机器人所处环境的相关数据以及机器人自身的相关数据，并向所述边缘端处理设备发送所述数据，其中，所述环境的相关数据包括激光点云数据和图像数据，所述机器人自身的相关数据包括惯性传感器数据和全球定位数据；
所述边缘端处理设备根据从边缘端接收到的数据，确定所述若干个机器人所处环境的局部三维点云数据和所述若干个机器人在局部三维点云数据中的局部位置数据，并向所述数字孪生控制系统发送所述机器人的全球定位数据、所处环境的三维点云数据和局部位置数据；
所述数字孪生控制系统根据接收到的全球定位数据在全国矢量地图数据中获取所述若干个机器人所处位置一定范围的矢量地图数据，同时将所述若干个机器人所处环境的三维点云数据进行融合，确定若干个机器人所处环境的全局三维点云数据，然后将所述矢量地图数据和所述全局三维点云数据进行融合匹配，建立所述若干个机器人的虚拟作业场景；对所述若干个机器人的局部位置数据进行融合，得到所述若干个机器人在全局三维点云数据即虚拟作业场景中的全局位置数据，并根据所述全局位置数据，在虚拟作业场景中对应位置生成所述若干个机器人的数字孪生体。
3.根据权利要求1所述的一种多机器人的数字孪生控制系统，其特征在于，所述若干个机器人对应的边缘端处理设备与数字孪生系统还用于进行若干个机器人之间的数据交换与共享，所述数据包括若干个机器人的全局位置数据。
4.根据权利要求2所述的一种多机器人的数字孪生控制系统，其特征在于，所述所述数字孪生控制系统还用于：接收第一控制指令，所述第一控制指令用于控制所述若干个机器人数字孪生体中至少一个机器人数字孪生体的运动，并根据所述第一控制指令，在生成的所述虚拟作业场景中控制所述至少一个机器人数字孪生体运动，同时，获取所述至少一个机器人数字孪生体的运动数据，向所述至少一个机器人数字孪生体对应的运动控制设备发送所述运动数据；
所述至少一个机器人数字孪生体对应的运动控制设备用于：接收所述运动数据，控制所述运动控制设备对应的机器人在实际工作场景中运动。
5.根据权利要求1所述的一种多机器人的数字孪生控制系统，其特征在于，所述边缘端处理设备与所述数字孪生控制系统通过无线通信模块或有线通信连接。
6.根据权利要求1所述的一种多机器人的数字孪生控制系统，其特征在于，所述数字孪生控制系统与所述运动控制设备通过无线通信模块或有线通信连接。
CN202310475566.9A 2023-04-28 2023-04-28 一种多机器人的数字孪生控制系统及其定位与建图的方法 Active CN116423515B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310475566.9A CN116423515B (zh) 2023-04-28 2023-04-28 一种多机器人的数字孪生控制系统及其定位与建图的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310475566.9A CN116423515B (zh) 2023-04-28 2023-04-28 一种多机器人的数字孪生控制系统及其定位与建图的方法

Publications (2)

Publication Number Publication Date
CN116423515A CN116423515A (zh) 2023-07-14
CN116423515B true CN116423515B (zh) 2023-10-03

Family

ID=87084035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310475566.9A Active CN116423515B (zh) 2023-04-28 2023-04-28 一种多机器人的数字孪生控制系统及其定位与建图的方法

Country Status (1)

Country Link
CN (1) CN116423515B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275763A (zh) * 2020-01-20 2020-06-12 深圳市普渡科技有限公司 闭环检测系统、多传感器融合slam系统及机器人
CN112659127A (zh) * 2020-12-25 2021-04-16 达闼机器人有限公司 多机器人控制方法、装置、系统、存储介质及电子设备
CN114407015A (zh) * 2022-01-28 2022-04-29 青岛理工大学 一种基于数字孪生的遥操作机器人在线示教系统及方法
CN115060518A (zh) * 2022-06-10 2022-09-16 燕山大学 一种基于数字孪生技术的挖掘机器人实验平台
CN115454057A (zh) * 2022-08-24 2022-12-09 中国矿业大学 一种煤矿机器人群数字孪生智能管控建模系统与方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200304375A1 (en) * 2019-03-19 2020-09-24 Microsoft Technology Licensing, Llc Generation of digital twins of physical environments
CN111561923B (zh) * 2020-05-19 2022-04-15 北京数字绿土科技股份有限公司 基于多传感器融合的slam制图方法、系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275763A (zh) * 2020-01-20 2020-06-12 深圳市普渡科技有限公司 闭环检测系统、多传感器融合slam系统及机器人
CN112659127A (zh) * 2020-12-25 2021-04-16 达闼机器人有限公司 多机器人控制方法、装置、系统、存储介质及电子设备
CN114193447A (zh) * 2020-12-25 2022-03-18 达闼机器人有限公司 多机器人控制方法、电子设备及存储介质
CN114407015A (zh) * 2022-01-28 2022-04-29 青岛理工大学 一种基于数字孪生的遥操作机器人在线示教系统及方法
CN115060518A (zh) * 2022-06-10 2022-09-16 燕山大学 一种基于数字孪生技术的挖掘机器人实验平台
CN115454057A (zh) * 2022-08-24 2022-12-09 中国矿业大学 一种煤矿机器人群数字孪生智能管控建模系统与方法

Also Published As

Publication number Publication date
CN116423515A (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
CN110312912B (zh) 车辆自动停车系统和方法
CN110073313B (zh) 使用母设备和至少一个伴随设备与环境交互
CN106323269B (zh) 自主定位导航设备、定位导航方法及自主定位导航系统
CN111156998A (zh) 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
CN105241461A (zh) 机器人的地图创建及定位方法和机器人系统
Whitty et al. Autonomous navigation using a real-time 3d point cloud
CN106574836A (zh) 用于在定位平面中定位机器人的方法
Ruiz et al. Development of a control platform for the mobile robot Roomba using ROS and a Kinect sensor
Vemprala et al. Monocular vision based collaborative localization for micro aerial vehicle swarms
Karam et al. Integrating a low-cost mems imu into a laser-based slam for indoor mobile mapping
Nemra et al. Robust cooperative UAV visual SLAM
CN114529585A (zh) 基于深度视觉和惯性测量的移动设备自主定位方法
CN113570716A (zh) 云端三维地图构建方法、系统及设备
CN113253719A (zh) 基于ros操作系统的智能移动设备及通信建立方法
CN116423515B (zh) 一种多机器人的数字孪生控制系统及其定位与建图的方法
Wang et al. Information‐Fusion Methods Based Simultaneous Localization and Mapping for Robot Adapting to Search and Rescue Postdisaster Environments
Jamal et al. Terrain mapping and pose estimation for polar shadowed regions of the moon
Hernández et al. Visual SLAM with oriented landmarks and partial odometry
Pozderac et al. 3D mapping based on fusion of 2D laser and IMU data acquired by unmanned aerial vehicle
Fattah et al. Dynamic map generating rescuer offering surveillance robotic system with autonomous path feedback capability
Sogo et al. Mobile robot navigation by a distributed vision system
JPWO2021064982A1 (ja) 情報処理装置および情報処理方法
Nakamura et al. Developing a support system for loading planning
CN109901589A (zh) 移动机器人控制方法和装置
WO2018114581A1 (en) Method and apparatus for constructing lighting environment representations of 3d scenes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant