CN108805327B - 基于虚拟现实的机器人路径规划与环境重建的方法和系统 - Google Patents

基于虚拟现实的机器人路径规划与环境重建的方法和系统 Download PDF

Info

Publication number
CN108805327B
CN108805327B CN201810368210.4A CN201810368210A CN108805327B CN 108805327 B CN108805327 B CN 108805327B CN 201810368210 A CN201810368210 A CN 201810368210A CN 108805327 B CN108805327 B CN 108805327B
Authority
CN
China
Prior art keywords
virtual
scene
data
detection robot
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810368210.4A
Other languages
English (en)
Other versions
CN108805327A (zh
Inventor
张旭辉
董润霖
杜昱阳
王妙云
张雨萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Science and Technology
Original Assignee
Xian University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Science and Technology filed Critical Xian University of Science and Technology
Priority to CN201810368210.4A priority Critical patent/CN108805327B/zh
Publication of CN108805327A publication Critical patent/CN108805327A/zh
Application granted granted Critical
Publication of CN108805327B publication Critical patent/CN108805327B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

本发明公开了基于虚拟现实的机器人路径规划与环境重建的方法和系统，首先将机器人虚拟样机与初始场景导入虚拟仿真交互平台中，在平台中对当前场景生成导航网格，根据探测机器人虚拟样机的三维坐标与目的地的三维坐标，得到探测机器人虚拟样机在初始虚拟场景中的行走路径，并生成操控命令同时驱动机器人虚拟样机与真实机器人同步运动，机器人不断采集环境信息，并对发生变化的场景进行局部更新重建，生成新的场景，在新的场景下重复之前步骤。本发明的方法具有良好的交互性，设计合理，实用性强，推广价值高，弥补当前的煤矿救援机器人控制技术方面的不足。

Description

基于虚拟现实的机器人路径规划与环境重建的方法和系统
技术领域
本发明属于机器人路径规划技术领域，具体涉及煤矿灾后检测机器人路径规划及场景重建技术，尤其涉及一种基于虚拟现实的机器人路径规划与环境重建的方法和系统。
背景技术
机器人路径规划技术一直是机器人研究领域的重要问题，通常所说的路径规划问题是指在有障碍物的环境下为机器人寻找一条从起点到终点的合适运动路径，使机器人可以安全、无碰撞地通过障碍物。目前，传统的路径规划方法都是基于一些特定的算法，包括遗传算法、模糊逻辑算法等，但是基于传统算法的路径规划方法存在的主要技术问题是在动态实时变化的环境中计算时间周期长，消耗资源以及最优算法的选择问题。并且传统路径规划方法是预先已知障碍物在工作场景中的具体位置，具有一定的局限性。
近年来，随着自主移动机器人的应用范围逐渐从静态结构化环境向复杂非结构化环境拓展，利用传感器实时获取环境信息，动态构建三维环境模型，将对移动机器人在未知环境下的导航定位和目标识别等具有重要意义。但当前的技术在井下煤矿的应用局限性很大，因为灾后井下光源不足，无法使用摄像头，通讯延时很大，存在延时卡顿的问题。
发明内容
针对现有技术存在的缺点，本发明的目的是提供一种基于虚拟现实的机器人路径规划与环境重建的方法和系统，解决当前机器人路径规划与环境重建方法中使用大量控制算法以及障碍物提取时计算速度慢，时间周期长，占用资源多且在复杂环境下难以实现的问题。
为了实现上述目的，本发明采用如下技术方案予以实现：
基于虚拟现实的机器人路径规划与环境重建方法，包括以下步骤：
步骤1、根据煤矿建井设计图或巷道布置图，建立探测探测机器人三维模型和初始场景三维模型，将探测机器人三维模型和初始场景三维模型导入虚拟仿真交互平台，显示探测机器人虚拟样机和初始虚拟场景；
步骤2、将初始虚拟场景生成导航网格，根据探测机器人虚拟样机的三维坐标与目的地的三维坐标，得到探测机器人虚拟样机在初始虚拟场景中的行走路径；
步骤3、将探测机器人虚拟样机在初始虚拟场景中的行走路径发送至探测机器人，驱动探测机器人与探测机器人虚拟样机同步运动；
步骤4、采集探测机器人当前场景数据，将这些数据处理后与初始场景数据进行匹配，筛选出与初始场景数据不同的数据作为坐标点云数据，将这些坐标点云数据进行处理，得到重建后的虚拟场景；
步骤5、将重建后的虚拟场景生成导航网格，根据探测机器人虚拟样机的三维坐标与目的地的三维坐标，结合重建后虚拟场景中的路径障碍，得到探测机器人虚拟样机新的行走路径；
步骤6、将得到的新的行走路径作为步骤3中初始虚拟场景中的行走路径，重复上述步骤3至步骤5，直至探测机器人到达目的地。
具体的，所述的步骤4中，坐标点云数据的处理过程为：首先建立立体栅格单元体，将该立体栅格单元体导入显示当前虚拟场景的虚拟仿真交互平台，其中，立体栅格单元体为1mm×1mm×1mm的立方体，可以按照所需要精度对其按比例缩放；然后读取各个坐标点云的位置信息，将这些位置信息设定为立体栅格单元在当前虚拟场景中克隆的指定位置；最后，实例化克隆立体单元栅格体于这些指定位置，即得到重建后的虚拟场景。
具体的，所述的步骤4中，采集探测机器人当前场景数据，将这些数据处理后与初始场景数据进行匹配，具体过程为：首先将激光雷达采集到的原始极坐标下的数据转化为三维直角坐标系下的数据，并将这些数据合并至同一三维直角坐标系内；然后对这些合并后的数据进行滤波、配准和精简处理；最后将处理后的数据与初始场景数据进行匹配。
具体的，所述的步骤2和步骤5中，根据生成的导航网格、探测机器人的三维坐标和目的地的三维坐标，采用插补的方法实现路径规划。
具体的，所述的步骤2和步骤5中的具体过程为：在基于Unity3D软件开发的虚拟仿真交互平台中添加Navigation.Static模块对当前场景生成导航网格，在探测机器人虚拟样机上添加Nav.Mesh.Agent组件，烘焙场景实现自动规划路径，得到探测机器人虚拟样机在虚拟场景中的行走路径。
本发明还公开了一种基于虚拟现实的机器人路径规划与环境重建系统，包括：虚拟仿真交互平台、路径规划模块一、同步控制模块、场景重建模块和路径规划模块二；
所述的虚拟仿真交互平台用于根据煤矿建井设计图或巷道布置图，建立探测探测机器人三维模型和初始场景三维模型，将探测机器人三维模型和初始场景三维模型导入虚拟仿真交互平台，显示探测机器人虚拟样机和初始虚拟场景；
所述的路径规划模块一，用于将初始虚拟场景生成导航网格，根据探测机器人虚拟样机的三维坐标与目的地的三维坐标，得到探测机器人虚拟样机在初始虚拟场景中的行走路径；
所述的同步控制模块，用于将探测机器人虚拟样机在初始虚拟场景中的行走路径发送至探测机器人，驱动探测机器人与探测机器人虚拟样机同步运动；
所述的场景重建模块，用于采集探测机器人当前场景数据，将这些数据处理后与初始场景数据进行匹配，筛选出与初始场景数据不同的数据作为坐标点云数据，将这些坐标点云数据进行处理，得到重建后的虚拟场景；
所述的路径规划模块二，用于将重建后的虚拟场景生成导航网格，根据机器人虚拟样机的三维坐标与目的地的三维坐标，结合重建后虚拟场景中的路径障碍，得到机器人虚拟样机新的行走路径。
具体的，所述的场景重建模块中，坐标点云数据的处理过程为：首先建立立体栅格单元体，将该立体栅格单元体导入显示当前虚拟场景的虚拟仿真交互平台，其中，立体栅格单元体为1mm×1mm×1mm的立方体；然后读取各个坐标点云的位置信息，将这些位置信息设定为立体栅格单元在当前虚拟场景中克隆的指定位置；最后，实例化克隆立体单元栅格体于这些指定位置，即得到重建后的虚拟场景。
具体的，所述的场景重建模块中，采集探测机器人当前场景数据，将这些数据处理后与初始场景数据进行匹配，具体过程为：首先将激光雷达采集到的原始极坐标下的数据转化为三维直角坐标系下的数据，并将这些数据合并至同一三维直角坐标系内；然后对这些合并后的数据进行滤波、配准合精简处理，将处理后的数据与初始场景数据进行匹配。
具体的，所述的路径规划模块一中，根据生成的导航网格、探测机器人的三维坐标和目的地的三维坐标，采用插补的方法实现路径规划。
具体的，所述的路径规划模块一中，在基于Unity3D软件开发的虚拟仿真交互平台中添加Navigation.Static模块对当前场景生成导航网格，在探测机器人虚拟样机上添加Nav.Mesh.Agent组件，烘焙场景实现自动规划路径，得到探测机器人虚拟样机在初始虚拟场景中的行走路径。
与现有技术相比，本发明的有益效果是：
1)本发明通过引入虚拟现实的方法，将远端机器人与环境的位置关系可视化的现实在显示平台上，在虚拟平台中根据场景变化自动更新实时路径，并控制探测机器人同步运动，本发明方法相对于传统方法，不需要对场景进行全部重新建模，仅需重建与初始场景不一样的部分，数据量明显减少，可提升路径规划时的效率；同时也方便人工干预远程操控。
2)本发明的场景重建中，使用三维栅格克隆的方法，与传统的三维栅格堆栈重建的方法相比，本发明的三维栅格克隆方法不需要模型属性资源，只需要改变栅格单元体的显示位置，因此，资源占用少，建模效率高。
3)本发明的方法具有良好的交互性，设计合理，实用性强，推广价值高，弥补当前的煤矿救援机器人控制技术方面的不足。
附图说明
图1为本发明的路径规划与环境重建的整体原理图。
图2为在虚拟仿真交互平台实现路径规划过程流程图。
图3为本发明的动态环境重建流程图。
具体实施方式
本发明利用虚拟现实技术，将检测机器人虚拟样机和初始虚拟场景实现在虚拟仿真交互平台上，通过在虚拟仿真交互平台中对场景进行处理实现虚拟场景中的路径规划，并生成操控命令驱动真实的探测机器人与虚拟样机同步移动；在移动过程中采用激光雷达采集实时场景数据实现对场景的重建，基于重建后的场景规划新的路径。本发明名称中的“环境”重建是指技术内容中的场景。
三维栅格地图是将空间划分为等大的三维栅格，用每个栅格的状态来描述实际空间状态，通过获取的传感器数据对三维栅格进行实时更新，从而实现三维栅格地图的创建，但是，现有方法中，使用三维栅格重建环境地图时，由于栅格堆栈，模型越精细，栅格越多，精度越高，占用存储空间大、计算效率低的问题。本发明利用实例化克隆立体单元栅格的思想来重建场景，与传统的三维栅格堆栈重建的方法相比，本发明的三维栅格克隆方法不需要模型属性资源，只需要改变栅格单元体的显示位置，因此，资源占用少，建模效率高。
如图1所示为本发明的原理图，基于图1所示，本发明的基于虚拟现实的机器人路径规划与环境重建方法，主要包括以下步骤：
步骤1、根据煤矿建井设计图或巷道布置图，采用三维建模软件建立探测探测机器人三维模型和初始场景三维模型，将探测机器人三维模型和初始场景三维模型导入虚拟仿真交互平台，在该平台上显示探测机器人虚拟样机和初始虚拟场景。优选的，虚拟仿真交互平台为一种基于软件Unity3D开发的平台，该平台具有数据交互接口。
步骤2、将初始虚拟场景生成导航网格，根据探测机器人虚拟样机的三维坐标与目的地的三维坐标，得到探测机器人虚拟样机在初始虚拟场景中的行走路径。具体的，如图2所示，在基于Unity3D软件开发的虚拟仿真交互平台中添加Navigation Static模块对当前场景生成导航网格，在探测机器人虚拟样机上添加Nav Mesh Agent组件，输入目的地坐标点，烘焙场景实现自动规划路径，得到探测机器人虚拟样机在初始虚拟场景中的行走路径。
具体的，依照生成的导航网格、探测机器人虚拟样机的三维坐标与目的地的三维坐标，采用插补的方法实现路径规划。
步骤3、将探测机器人虚拟样机在初始虚拟场景中的行走路径发送至探测机器人，根据路径生成控制命令驱动探测机器人与探测机器人虚拟样机同步运动。
步骤4、采集探测机器人当前场景数据，将这些数据处理后与初始场景数据进行匹配，筛选出与初始场景数据不同的数据作为坐标点云数据，存入数据库，将这些坐标点云数据进行处理，得到重建后的虚拟场景；具体的，如图2所示，在基于Unity3D软件开发的虚拟仿真交互平台中，在平台中添加Nav Mesh Obstacle组件，得到重建后的虚拟场景。
具体的，首先将激光雷达采集到的原始极坐标下的数据转化为三维直角坐标系下的数据，并将这些数据合并至同一三维直角坐标系内；然后对这些合并后的数据进行滤波、配准，另外，为了降低数据复杂度，减少数据点数，对数据进行精简处理；最后将处理后的数据与初始场景数据进行匹配。
具体的，如图3所示，坐标点云数据的处理过程为：首先建立立体栅格单元体，将该立体栅格单元体导入显示当前虚拟场景的虚拟仿真交互平台中，其中虚拟仿真交互平台为基于Unity3D软件开发的平台，打开定时器，然后读取数据库中各个坐标点云的位置信息(即三维坐标数据)，将这些位置信息设定为立体栅格单元在当前虚拟场景中克隆的指定位置；最后，实例化克隆立体单元栅格体于这些指定位置，即得到重建后的虚拟场景。上述立体栅格单元体为1mm×1mm×1mm的立方体；在创建立体栅格单元体时根据已知场景信息为其添加相应的物理效果与纹理信息，根据不同场景的需求，在立体栅格单元体导入重建场景显示平台时可以按照所需要精度对其按比例缩放。
在进行上述步骤4之前，可先判断探测机器人在设定时间间隔内是否到达目的地，如果在设定时间间隔内到达目的地，则停止机器人虚拟样机和探测机器人的运动；如果在设定时间间隔内没有到达目的地，再继续步骤4，如图2所示。
步骤5、将重建后的虚拟场景生成导航网格，根据探测机器人虚拟样机的三维坐标与目的地的三维坐标，结合重建后虚拟场景中的路径障碍，得到探测机器人虚拟样机新的行走路径。具体的，在基于Unity3D软件开发的虚拟仿真交互平台中添加Navigation.Static模块对当前场景生成导航网格，在探测机器人虚拟样机上添加Nav.Mesh.Agent组件，烘焙场景实现自动规划路径，得到探测机器人虚拟样机在虚拟场景中的行走路径。
步骤6、将得到的新的行走路径作为步骤3中初始虚拟场景中的行走路径，重复上述步骤3至步骤5，直至探测机器人到达目的地，完成灾后井下煤矿的探测过程。
本发明还给出一种基于虚拟现实的机器人路径规划与环境重建系统，该系统主要包括：虚拟仿真交互平台、路径规划模块一、同步控制模块、场景重建模块和路径规划模块二；
其中，虚拟仿真交互平台用于根据煤矿建井设计图或巷道布置图，建立探测探测机器人三维模型和初始场景三维模型，将探测机器人三维模型和初始场景三维模型导入虚拟仿真交互平台，显示探测机器人虚拟样机和初始虚拟场景；优选的，虚拟仿真交互平台为一种基于软件Unity3D开发的平台，该平台具有数据交互接口。
路径规划模块一，用于将初始虚拟场景生成导航网格，根据探测机器人虚拟样机的三维坐标与目的地的三维坐标，得到探测机器人虚拟样机在初始虚拟场景中的行走路径；具体的，在基于Unity3D软件开发的虚拟仿真交互平台中添加Navigation Static模块对当前场景生成导航网格，在探测机器人虚拟样机上添加Nav Mesh Agent组件，输入目的地坐标点，烘焙场景实现自动规划路径，得到探测机器人虚拟样机在初始虚拟场景中的行走路径。
具体的，在该模块中，依照生成的导航网格、探测机器人虚拟样机的三维坐标与目的地的三维坐标，采用插补的方法实现路径规划。
同步控制模块，用于将探测机器人虚拟样机在初始虚拟场景中的行走路径发送至探测机器人，根据路径生成控制命令驱动探测机器人与探测机器人虚拟样机同步运动；
场景重建模块，用于采集探测机器人当前场景数据，将这些数据处理后与初始场景数据进行匹配，筛选出与初始场景数据不同的数据作为坐标点云数据，将这些坐标点云数据进行处理，得到重建后的虚拟场景。具体的，在基于Unity3D软件开发的虚拟仿真交互平台中，在平台中添加Nav Mesh Obstacle组件，得到重建后的虚拟场景。
该模块中，首先将激光雷达采集到的原始极坐标下的数据转化为三维直角坐标系下的数据，并将这些数据合并至同一三维直角坐标系内；然后对这些合并后的数据进行滤波、配准，另外，为了降低数据复杂度，减少数据点数，对数据进行精简处理；最后将处理后的数据与初始场景数据进行匹配。
具体的，如图3所示，坐标点云数据的处理过程为：首先建立立体栅格单元体，将该立体栅格单元体导入显示当前虚拟场景的虚拟仿真交互平台中，其中虚拟仿真交互平台为基于Unity3D软件开发的平台，打开定时器，然后读取数据库中各个坐标点云的位置信息(即三维坐标数据)，将这些位置信息设定为立体栅格单元在当前虚拟场景中克隆的指定位置；最后，实例化克隆立体单元栅格体于这些指定位置，即得到重建后的虚拟场景。上述立体栅格单元体为1mm×1mm×1mm的立方体；在创建立体栅格单元体时根据已知场景信息为其添加相应的物理效果与纹理信息，根据不同场景的需求，在立体栅格单元体导入重建场景显示平台时可以按照所需要精度对其按比例缩放。
路径规划模块二，用于将重建后的虚拟场景生成导航网格，根据机器人虚拟样机的三维坐标与目的地的三维坐标，结合重建后虚拟场景中的路径障碍，得到机器人虚拟样机新的行走路径。具体的，在基于Unity3D软件开发的虚拟仿真交互平台中添加Navigation.Static模块对当前场景生成导航网格，在探测机器人虚拟样机上添加Nav.Mesh.Agent组件，烘焙场景实现自动规划路径，得到探测机器人虚拟样机在虚拟场景中的行走路径。
本发明的系统还包括判断模块，在进行场景重建模块之前，可先判断探测机器人在设定时间间隔内是否到达目的地，如果在设定时间间隔内到达目的地，则停止机器人虚拟样机和探测机器人的运动；如果在设定时间间隔内没有到达目的地，再继续场景重建模块。
通过本发明的上述功能模块进行煤矿灾后机器人路径规划与环境重建，不需要对场景进行全部重新建模，仅需重建与初始场景不一样的部分，使得，数据量明显减少，提升了路径规划时的效率。
需要说明的是本发明并不局限于以上具体实施方式中，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。

Claims (10)

1.基于虚拟现实的机器人路径规划与环境重建方法，其特征在于，包括以下步骤：
步骤1、根据煤矿建井设计图或巷道布置图，建立探测探测机器人三维模型和初始场景三维模型，将探测机器人三维模型和初始场景三维模型导入虚拟仿真交互平台，显示探测机器人虚拟样机和初始虚拟场景；
步骤2、将初始虚拟场景生成导航网格，根据探测机器人虚拟样机的三维坐标与目的地的三维坐标，得到探测机器人虚拟样机在初始虚拟场景中的行走路径；
步骤3、将探测机器人虚拟样机在初始虚拟场景中的行走路径发送至探测机器人，驱动探测机器人与探测机器人虚拟样机同步运动；
步骤4、采集探测机器人当前场景数据，将这些数据处理后与初始场景数据进行匹配，筛选出与初始场景数据不同的数据作为坐标点云数据，将这些坐标点云数据进行处理，得到重建后的虚拟场景；
步骤5、将重建后的虚拟场景生成导航网格，根据探测机器人虚拟样机的三维坐标与目的地的三维坐标，结合重建后虚拟场景中的路径障碍，得到探测机器人虚拟样机新的行走路径；
步骤6、将得到的新的行走路径作为步骤3中初始虚拟场景中的行走路径，重复上述步骤3至步骤5，直至探测机器人到达目的地。
2.如权利要求1所述的基于虚拟现实的机器人路径规划与环境重建方法，其特征在于，所述的步骤4中，坐标点云数据的处理过程为：首先建立立体栅格单元体，将该立体栅格单元体导入显示当前虚拟场景的虚拟仿真交互平台，其中，立体栅格单元体为1mm×1mm×1mm的立方体，可以按照所需要精度对其按比例缩放；然后读取各个坐标点云的位置信息，将这些位置信息设定为立体栅格单元在当前虚拟场景中克隆的指定位置；最后，实例化克隆立体单元栅格体于这些指定位置，即得到重建后的虚拟场景。
3.如权利要求1所述的基于虚拟现实的机器人路径规划与环境重建方法，其特征在于，所述的步骤4中，采集探测机器人当前场景数据，将这些数据处理后与初始场景数据进行匹配，具体过程为：首先将激光雷达采集到的原始极坐标下的数据转化为三维直角坐标系下的数据，并将这些数据合并至同一三维直角坐标系内；然后对这些合并后的数据进行滤波、配准和精简处理；最后将处理后的数据与初始场景数据进行匹配。
4.如权利要求1所述的基于虚拟现实的机器人路径规划与环境重建方法，其特征在于，所述的步骤2和步骤5中，根据生成的导航网格、探测机器人的三维坐标和目的地的三维坐标，采用插补的方法实现路径规划。
5.如权利要求1所述的基于虚拟现实的机器人路径规划与环境重建方法，其特征在于，所述的步骤2和步骤5中的具体过程为：在基于Unity3D软件开发的虚拟仿真交互平台中添加Navigation.Static模块对当前场景生成导航网格，在探测机器人虚拟样机上添加Nav.Mesh.Agent组件，烘焙场景实现自动规划路径，得到探测机器人虚拟样机在虚拟场景中的行走路径。
6.基于虚拟现实的机器人路径规划与环境重建系统，其特征在于，包括：虚拟仿真交互平台、路径规划模块一、同步控制模块、场景重建模块和路径规划模块二；
所述的虚拟仿真交互平台用于根据煤矿建井设计图或巷道布置图，建立探测探测机器人三维模型和初始场景三维模型，将探测机器人三维模型和初始场景三维模型导入虚拟仿真交互平台，显示探测机器人虚拟样机和初始虚拟场景；
所述的路径规划模块一，用于将初始虚拟场景生成导航网格，根据探测机器人虚拟样机的三维坐标与目的地的三维坐标，得到探测机器人虚拟样机在初始虚拟场景中的行走路径；
所述的同步控制模块，用于将探测机器人虚拟样机在初始虚拟场景中的行走路径发送至探测机器人，驱动探测机器人与探测机器人虚拟样机同步运动；
所述的场景重建模块，用于采集探测机器人当前场景数据，将这些数据处理后与初始场景数据进行匹配，筛选出与初始场景数据不同的数据作为坐标点云数据，将这些坐标点云数据进行处理，得到重建后的虚拟场景；
所述的路径规划模块二，用于将重建后的虚拟场景生成导航网格，根据机器人虚拟样机的三维坐标与目的地的三维坐标，结合重建后虚拟场景中的路径障碍，得到机器人虚拟样机新的行走路径。
7.如权利要求6所述的基于虚拟现实的机器人路径规划与环境重建系统，其特征在于，所述的场景重建模块中，坐标点云数据的处理过程为：首先建立立体栅格单元体，将该立体栅格单元体导入显示当前虚拟场景的虚拟仿真交互平台，其中，立体栅格单元体为1mm×1mm×1mm的立方体；然后读取各个坐标点云的位置信息，将这些位置信息设定为立体栅格单元在当前虚拟场景中克隆的指定位置；最后，实例化克隆立体单元栅格体于这些指定位置，即得到重建后的虚拟场景。
8.如权利要求6所述的基于虚拟现实的机器人路径规划与环境重建系统，其特征在于，所述的场景重建模块中，采集探测机器人当前场景数据，将这些数据处理后与初始场景数据进行匹配，具体过程为：首先将激光雷达采集到的原始极坐标下的数据转化为三维直角坐标系下的数据，并将这些数据合并至同一三维直角坐标系内；然后对这些合并后的数据进行滤波、配准合精简处理，将处理后的数据与初始场景数据进行匹配。
9.如权利要求6所述的基于虚拟现实的机器人路径规划与环境重建系统，其特征在于，所述的路径规划模块一中，根据生成的导航网格、探测机器人的三维坐标和目的地的三维坐标，采用插补的方法实现路径规划。
10.如权利要求6所述的基于虚拟现实的机器人路径规划与环境重建系统，其特征在于，所述的路径规划模块一中，在基于Unity3D软件开发的虚拟仿真交互平台中添加Navigation.Static模块对当前场景生成导航网格，在探测机器人虚拟样机上添加Nav.Mesh.Agent组件，烘焙场景实现自动规划路径，得到探测机器人虚拟样机在初始虚拟场景中的行走路径。
CN201810368210.4A 2018-04-23 2018-04-23 基于虚拟现实的机器人路径规划与环境重建的方法和系统 Active CN108805327B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810368210.4A CN108805327B (zh) 2018-04-23 2018-04-23 基于虚拟现实的机器人路径规划与环境重建的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810368210.4A CN108805327B (zh) 2018-04-23 2018-04-23 基于虚拟现实的机器人路径规划与环境重建的方法和系统

Publications (2)

Publication Number Publication Date
CN108805327A CN108805327A (zh) 2018-11-13
CN108805327B true CN108805327B (zh) 2022-04-26

Family

ID=64093030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810368210.4A Active CN108805327B (zh) 2018-04-23 2018-04-23 基于虚拟现实的机器人路径规划与环境重建的方法和系统

Country Status (1)

Country Link
CN (1) CN108805327B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109630109B (zh) * 2018-11-22 2021-04-02 山东新矿信息技术有限公司 掘进机行走路径规划方法、装置及掘进机行走控制系统
CN109683614B (zh) * 2018-12-25 2021-08-13 青岛慧拓智能机器有限公司 用于无人矿用车辆的车辆路径控制方法及装置
CN109858090B (zh) * 2018-12-27 2020-09-04 哈尔滨工业大学 基于动态视域的公共建筑引导系统设计方法
CN109839829A (zh) * 2019-01-18 2019-06-04 弗徕威智能机器人科技（上海）有限公司 一种场景和表情双向同步方法
CN110033506B (zh) * 2019-03-18 2023-05-02 西安科技大学 基于结构光的综采工作面三维重建系统和重建方法
CN110262505B (zh) * 2019-07-03 2022-03-11 安徽工程大学 虚拟现实中机器人按规划路径运动可视化方法
CN110656975B (zh) * 2019-09-25 2021-08-13 西安交通大学 一种基于虚拟现实与acp平行智能的隧道救援系统及方法
CN112549034B (zh) * 2020-12-21 2021-09-03 南方电网电力科技股份有限公司 一种机器人任务部署方法、系统、设备和存储介质
CN113370224A (zh) * 2021-05-25 2021-09-10 西安工程大学 一种超视距vr智能搜救系统及方法
CN114373329A (zh) * 2021-12-31 2022-04-19 广东奥博信息产业股份有限公司 室内停车场寻车方法、电子设备及可读存储介质
CN114777606B (zh) * 2022-04-07 2023-11-10 徕司仪器科技(江苏)有限公司 基于数字孪生技术的三坐标测量系统应用方法
CN114608549A (zh) * 2022-05-10 2022-06-10 武汉智会创新科技有限公司 一种基于智能机器人的建筑测量方法
CN115033110B (zh) * 2022-08-09 2022-10-25 环球数科集团有限公司 一种虚拟人步态模拟与三维场景路径规划系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103085072A (zh) * 2013-03-11 2013-05-08 南京埃斯顿机器人工程有限公司 基于三维建模软件实现工业机器人离线编程的方法
CN104067781A (zh) * 2014-06-16 2014-10-01 华南农业大学 基于虚拟机器人与真实机器人集成的采摘系统及方法
CN104677347A (zh) * 2013-11-27 2015-06-03 哈尔滨恒誉名翔科技有限公司 一种基于Kinect生成三维导航地图室内移动机器人
CN105825544A (zh) * 2015-11-25 2016-08-03 维沃移动通信有限公司 一种图像处理方法及移动终端
CN106313086A (zh) * 2016-08-21 2017-01-11 西安科技大学 一种煤矿救援机器人远程控制系统和控制方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100449444C (zh) * 2006-09-29 2009-01-07 浙江大学 移动机器人在未知环境中同时定位与地图构建的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103085072A (zh) * 2013-03-11 2013-05-08 南京埃斯顿机器人工程有限公司 基于三维建模软件实现工业机器人离线编程的方法
CN104677347A (zh) * 2013-11-27 2015-06-03 哈尔滨恒誉名翔科技有限公司 一种基于Kinect生成三维导航地图室内移动机器人
CN104067781A (zh) * 2014-06-16 2014-10-01 华南农业大学 基于虚拟机器人与真实机器人集成的采摘系统及方法
CN105825544A (zh) * 2015-11-25 2016-08-03 维沃移动通信有限公司 一种图像处理方法及移动终端
CN106313086A (zh) * 2016-08-21 2017-01-11 西安科技大学 一种煤矿救援机器人远程控制系统和控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《VR-based Remote Control System for Rescue Detection Robot in Coal Mine》;zhang xuhui 等;《2017 14th International Conference on Ubiquitous Robots and Ambient Intelligence》;20170701;第863-867页 *

Also Published As

Publication number Publication date
CN108805327A (zh) 2018-11-13

Similar Documents

Publication Publication Date Title
CN108805327B (zh) 基于虚拟现实的机器人路径规划与环境重建的方法和系统
EP3505866B1 (en) Method and apparatus for creating map and positioning moving entity
CN103389699B (zh) 基于分布式智能监测控制节点的机器人监控及自主移动系统的运行方法
CN108520554B (zh) 一种基于orb-slam2的双目三维稠密建图方法
Heo et al. Productive high-complexity 3D city modeling with point clouds collected from terrestrial LiDAR
CN112884894B (zh) 场景重建数据采集方法、装置、计算机设备和存储介质
EP2849117B1 (en) Methods, apparatuses and computer program products for automatic, non-parametric, non-iterative three dimensional geographic modeling
CN102867057B (zh) 一种基于视觉定位的虚拟向导构建方法
CN109828658B (zh) 一种人机共融的远程态势智能感知系统
CN104090827B (zh) 集成二、三维平台的管线数据同步及联动方法
CN104834784A (zh) 一种铁路应急辅助救援三维虚拟电子沙盘系统
CN111915726A (zh) 一种架空输电线路三维场景的构建方法
CN113192200A (zh) 一种基于空三并行计算算法的城市实景三维模型的构建方法
CN112614234A (zh) 对混合现实三维场景进行编辑的方法及混合现实设备
CN109064482B (zh) 一种三维倾斜摄影场景中自动获取房屋轮廓的方法及装置
CN113932796A (zh) 高精地图车道线生成方法、装置和电子设备
CN112904901B (zh) 一种基于双目视觉slam与融合算法的路径规划方法
CN110765542A (zh) 一种高精度数字高程模型的轻量化方法
CN113378605B (zh) 多源信息融合方法及装置、电子设备和存储介质
Fan et al. A fire protection robot system based on SLAM localization and fire source identification
CN112859110A (zh) 一种基于三维激光雷达的定位导航方法
CN115790621A (zh) 高精地图更新方法、装置及电子设备
CN116009552A (zh) 一种路径规划方法、装置、设备及存储介质
CN112505723B (zh) 一种基于导航点选择的三维地图重建方法
CN114511590A (zh) 基于单目视觉3d车辆检测与跟踪的路口多引导线构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant