CN108805327A - 基于虚拟现实的机器人路径规划与环境重建的方法和系统 - Google Patents
基于虚拟现实的机器人路径规划与环境重建的方法和系统 Download PDFInfo
- Publication number
- CN108805327A CN108805327A CN201810368210.4A CN201810368210A CN108805327A CN 108805327 A CN108805327 A CN 108805327A CN 201810368210 A CN201810368210 A CN 201810368210A CN 108805327 A CN108805327 A CN 108805327A
- Authority
- CN
- China
- Prior art keywords
- virtual
- scene
- robot
- data
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013439 planning Methods 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000003993 interaction Effects 0.000 claims abstract description 32
- 238000013461 design Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 23
- 210000005056 cell body Anatomy 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 13
- 230000018109 developmental process Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 239000003245 coal Substances 0.000 claims description 10
- 230000003068 static effect Effects 0.000 claims description 9
- 239000003795 chemical substances by application Substances 0.000 claims description 8
- 230000008676 import Effects 0.000 claims description 8
- 210000004027 cell Anatomy 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 7
- 239000007787 solid Substances 0.000 claims description 4
- 241001269238 Data Species 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 9
- 230000007613 environmental effect Effects 0.000 abstract description 4
- 230000007812 deficiency Effects 0.000 abstract description 2
- 230000001737 promoting effect Effects 0.000 abstract description 2
- 230000004888 barrier function Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 239000011800 void material Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010367 cloning Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
- G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Agronomy & Crop Science (AREA)
- Animal Husbandry (AREA)
- Marine Sciences & Fisheries (AREA)
- Mining & Mineral Resources (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Processing Or Creating Images (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Abstract
本发明公开了基于虚拟现实的机器人路径规划与环境重建的方法和系统，首先将机器人虚拟样机与初始场景导入虚拟仿真交互平台中，在平台中对当前场景生成导航网格，根据探测机器人虚拟样机的三维坐标与目的地的三维坐标，得到探测机器人虚拟样机在初始虚拟场景中的行走路径，并生成操控命令同时驱动机器人虚拟样机与真实机器人同步运动，机器人不断采集环境信息，并对发生变化的场景进行局部更新重建，生成新的场景，在新的场景下重复之前步骤。本发明的方法具有良好的交互性，设计合理，实用性强，推广价值高，弥补当前的煤矿救援机器人控制技术方面的不足。
Description
技术领域
本发明属于机器人路径规划技术领域，具体涉及煤矿灾后检测机器人路径规划及场景重建技术，尤其涉及一种基于虚拟现实的机器人路径规划与环境重建的方法和系统。
背景技术
机器人路径规划技术一直是机器人研究领域的重要问题，通常所说的路径规划问题是指在有障碍物的环境下为机器人寻找一条从起点到终点的合适运动路径，使机器人可以安全、无碰撞地通过障碍物。目前，传统的路径规划方法都是基于一些特定的算法，包括遗传算法、模糊逻辑算法等，但是基于传统算法的路径规划方法存在的主要技术问题是在动态实时变化的环境中计算时间周期长，消耗资源以及最优算法的选择问题。并且传统路径规划方法是预先已知障碍物在工作场景中的具体位置，具有一定的局限性。
近年来，随着自主移动机器人的应用范围逐渐从静态结构化环境向复杂非结构化环境拓展，利用传感器实时获取环境信息，动态构建三维环境模型，将对移动机器人在未知环境下的导航定位和目标识别等具有重要意义。但当前的技术在井下煤矿的应用局限性很大，因为灾后井下光源不足，无法使用摄像头，通讯延时很大，存在延时卡顿的问题。
发明内容
针对现有技术存在的缺点，本发明的目的是提供一种基于虚拟现实的机器人路径规划与环境重建的方法和系统，解决当前机器人路径规划与环境重建方法中使用大量控制算法以及障碍物提取时计算速度慢，时间周期长，占用资源多且在复杂环境下难以实现的问题。
为了实现上述目的，本发明采用如下技术方案予以实现：
基于虚拟现实的机器人路径规划与环境重建方法，包括以下步骤：
步骤1、根据煤矿建井设计图或巷道布置图，建立探测探测机器人三维模型和初始场景三维模型，将探测机器人三维模型和初始场景三维模型导入虚拟仿真交互平台，显示探测机器人虚拟样机和初始虚拟场景；
步骤2、将初始虚拟场景生成导航网格，根据探测机器人虚拟样机的三维坐标与目的地的三维坐标，得到探测机器人虚拟样机在初始虚拟场景中的行走路径；
步骤3、将探测机器人虚拟样机在初始虚拟场景中的行走路径发送至探测机器人，驱动探测机器人与探测机器人虚拟样机同步运动；
步骤4、采集探测机器人当前场景数据，将这些数据处理后与初始场景数据进行匹配，筛选出与初始场景数据不同的数据作为坐标点云数据，将这些坐标点云数据进行处理，得到重建后的虚拟场景；
步骤5、将重建后的虚拟场景生成导航网格，根据探测机器人虚拟样机的三维坐标与目的地的三维坐标，结合重建后虚拟场景中的路径障碍，得到探测机器人虚拟样机新的行走路径；
步骤6、将得到的新的行走路径作为步骤3中初始虚拟场景中的行走路径，重复上述步骤3至步骤5，直至探测机器人到达目的地。
具体的，所述的步骤4中，坐标点云数据的处理过程为：首先建立立体栅格单元体，将该立体栅格单元体导入显示当前虚拟场景的虚拟仿真交互平台，其中，立体栅格单元体为1mm×1mm×1mm的立方体，可以按照所需要精度对其按比例缩放；然后读取各个坐标点云的位置信息，将这些位置信息设定为立体栅格单元在当前虚拟场景中克隆的指定位置；最后，实例化克隆立体单元栅格体于这些指定位置，即得到重建后的虚拟场景。
具体的，所述的步骤4中，采集探测机器人当前场景数据，将这些数据处理后与初始场景数据进行匹配，具体过程为：首先将激光雷达采集到的原始极坐标下的数据转化为三维直角坐标系下的数据，并将这些数据合并至同一三维直角坐标系内；然后对这些合并后的数据进行滤波、配准和精简处理；最后将处理后的数据与初始场景数据进行匹配。
具体的，所述的步骤2和步骤5中，根据生成的导航网格、探测机器人的三维坐标和目的地的三维坐标，采用插补的方法实现路径规划。
具体的，所述的步骤2和步骤5中的具体过程为：在基于Unity3D软件开发的虚拟仿真交互平台中添加Navigation.Static模块对当前场景生成导航网格，在探测机器人虚拟样机上添加Nav.Mesh.Agent组件，烘焙场景实现自动规划路径，得到探测机器人虚拟样机在虚拟场景中的行走路径。
本发明还公开了一种基于虚拟现实的机器人路径规划与环境重建系统，包括：虚拟仿真交互平台、路径规划模块一、同步控制模块、场景重建模块和路径规划模块二；
所述的虚拟仿真交互平台用于根据煤矿建井设计图或巷道布置图，建立探测探测机器人三维模型和初始场景三维模型，将探测机器人三维模型和初始场景三维模型导入虚拟仿真交互平台，显示探测机器人虚拟样机和初始虚拟场景；
所述的路径规划模块一，用于将初始虚拟场景生成导航网格，根据探测机器人虚拟样机的三维坐标与目的地的三维坐标，得到探测机器人虚拟样机在初始虚拟场景中的行走路径；
所述的同步控制模块，用于将探测机器人虚拟样机在初始虚拟场景中的行走路径发送至探测机器人，驱动探测机器人与探测机器人虚拟样机同步运动；
所述的场景重建模块，用于采集探测机器人当前场景数据，将这些数据处理后与初始场景数据进行匹配，筛选出与初始场景数据不同的数据作为坐标点云数据，将这些坐标点云数据进行处理，得到重建后的虚拟场景；
所述的路径规划模块二，用于将重建后的虚拟场景生成导航网格，根据机器人虚拟样机的三维坐标与目的地的三维坐标，结合重建后虚拟场景中的路径障碍，得到机器人虚拟样机新的行走路径。
具体的，所述的场景重建模块中，坐标点云数据的处理过程为：首先建立立体栅格单元体，将该立体栅格单元体导入显示当前虚拟场景的虚拟仿真交互平台，其中，立体栅格单元体为1mm×1mm×1mm的立方体；然后读取各个坐标点云的位置信息，将这些位置信息设定为立体栅格单元在当前虚拟场景中克隆的指定位置；最后，实例化克隆立体单元栅格体于这些指定位置，即得到重建后的虚拟场景。
具体的，所述的场景重建模块中，采集探测机器人当前场景数据，将这些数据处理后与初始场景数据进行匹配，具体过程为：首先将激光雷达采集到的原始极坐标下的数据转化为三维直角坐标系下的数据，并将这些数据合并至同一三维直角坐标系内；然后对这些合并后的数据进行滤波、配准合精简处理，将处理后的数据与初始场景数据进行匹配。
具体的，所述的路径规划模块一中，根据生成的导航网格、探测机器人的三维坐标和目的地的三维坐标，采用插补的方法实现路径规划。
具体的，所述的路径规划模块一中，在基于Unity3D软件开发的虚拟仿真交互平台中添加Navigation.Static模块对当前场景生成导航网格，在探测机器人虚拟样机上添加Nav.Mesh.Agent组件，烘焙场景实现自动规划路径，得到探测机器人虚拟样机在初始虚拟场景中的行走路径。
与现有技术相比，本发明的有益效果是：
1)本发明通过引入虚拟现实的方法，将远端机器人与环境的位置关系可视化的现实在显示平台上，在虚拟平台中根据场景变化自动更新实时路径，并控制探测机器人同步运动，本发明方法相对于传统方法，不需要对场景进行全部重新建模，仅需重建与初始场景不一样的部分，数据量明显减少，可提升路径规划时的效率；同时也方便人工干预远程操控。
2)本发明的场景重建中，使用三维栅格克隆的方法，与传统的三维栅格堆栈重建的方法相比，本发明的三维栅格克隆方法不需要模型属性资源，只需要改变栅格单元体的显示位置，因此，资源占用少，建模效率高。
3)本发明的方法具有良好的交互性，设计合理，实用性强，推广价值高，弥补当前的煤矿救援机器人控制技术方面的不足。
附图说明
图1为本发明的路径规划与环境重建的整体原理图。
图2为在虚拟仿真交互平台实现路径规划过程流程图。
图3为本发明的动态环境重建流程图。
具体实施方式
本发明利用虚拟现实技术，将检测机器人虚拟样机和初始虚拟场景实现在虚拟仿真交互平台上，通过在虚拟仿真交互平台中对场景进行处理实现虚拟场景中的路径规划，并生成操控命令驱动真实的探测机器人与虚拟样机同步移动；在移动过程中采用激光雷达采集实时场景数据实现对场景的重建，基于重建后的场景规划新的路径。本发明名称中的“环境”重建是指技术内容中的场景。
三维栅格地图是将空间划分为等大的三维栅格，用每个栅格的状态来描述实际空间状态，通过获取的传感器数据对三维栅格进行实时更新，从而实现三维栅格地图的创建，但是，现有方法中，使用三维栅格重建环境地图时，由于栅格堆栈，模型越精细，栅格越多，精度越高，占用存储空间大、计算效率低的问题。本发明利用实例化克隆立体单元栅格的思想来重建场景，与传统的三维栅格堆栈重建的方法相比，本发明的三维栅格克隆方法不需要模型属性资源，只需要改变栅格单元体的显示位置，因此，资源占用少，建模效率高。
如图1所示为本发明的原理图，基于图1所示，本发明的基于虚拟现实的机器人路径规划与环境重建方法，主要包括以下步骤：
步骤1、根据煤矿建井设计图或巷道布置图，采用三维建模软件建立探测探测机器人三维模型和初始场景三维模型，将探测机器人三维模型和初始场景三维模型导入虚拟仿真交互平台，在该平台上显示探测机器人虚拟样机和初始虚拟场景。优选的，虚拟仿真交互平台为一种基于软件Unity3D开发的平台，该平台具有数据交互接口。
步骤2、将初始虚拟场景生成导航网格，根据探测机器人虚拟样机的三维坐标与目的地的三维坐标，得到探测机器人虚拟样机在初始虚拟场景中的行走路径。具体的，如图2所示，在基于Unity3D软件开发的虚拟仿真交互平台中添加Navigation Static模块对当前场景生成导航网格，在探测机器人虚拟样机上添加Nav Mesh Agent组件，输入目的地坐标点，烘焙场景实现自动规划路径，得到探测机器人虚拟样机在初始虚拟场景中的行走路径。
具体的，依照生成的导航网格、探测机器人虚拟样机的三维坐标与目的地的三维坐标，采用插补的方法实现路径规划。
步骤3、将探测机器人虚拟样机在初始虚拟场景中的行走路径发送至探测机器人，根据路径生成控制命令驱动探测机器人与探测机器人虚拟样机同步运动。
步骤4、采集探测机器人当前场景数据，将这些数据处理后与初始场景数据进行匹配，筛选出与初始场景数据不同的数据作为坐标点云数据，存入数据库，将这些坐标点云数据进行处理，得到重建后的虚拟场景；具体的，如图2所示，在基于Unity3D软件开发的虚拟仿真交互平台中，在平台中添加Nav Mesh Obstacle组件，得到重建后的虚拟场景。
具体的，首先将激光雷达采集到的原始极坐标下的数据转化为三维直角坐标系下的数据，并将这些数据合并至同一三维直角坐标系内；然后对这些合并后的数据进行滤波、配准，另外，为了降低数据复杂度，减少数据点数，对数据进行精简处理；最后将处理后的数据与初始场景数据进行匹配。
具体的，如图3所示，坐标点云数据的处理过程为：首先建立立体栅格单元体，将该立体栅格单元体导入显示当前虚拟场景的虚拟仿真交互平台中，其中虚拟仿真交互平台为基于Unity3D软件开发的平台，打开定时器，然后读取数据库中各个坐标点云的位置信息(即三维坐标数据)，将这些位置信息设定为立体栅格单元在当前虚拟场景中克隆的指定位置；最后，实例化克隆立体单元栅格体于这些指定位置，即得到重建后的虚拟场景。上述立体栅格单元体为1mm×1mm×1mm的立方体；在创建立体栅格单元体时根据已知场景信息为其添加相应的物理效果与纹理信息，根据不同场景的需求，在立体栅格单元体导入重建场景显示平台时可以按照所需要精度对其按比例缩放。
在进行上述步骤4之前，可先判断探测机器人在设定时间间隔内是否到达目的地，如果在设定时间间隔内到达目的地，则停止机器人虚拟样机和探测机器人的运动；如果在设定时间间隔内没有到达目的地，再继续步骤4，如图2所示。
步骤5、将重建后的虚拟场景生成导航网格，根据探测机器人虚拟样机的三维坐标与目的地的三维坐标，结合重建后虚拟场景中的路径障碍，得到探测机器人虚拟样机新的行走路径。具体的，在基于Unity3D软件开发的虚拟仿真交互平台中添加Navigation.Static模块对当前场景生成导航网格，在探测机器人虚拟样机上添加Nav.Mesh.Agent组件，烘焙场景实现自动规划路径，得到探测机器人虚拟样机在虚拟场景中的行走路径。
步骤6、将得到的新的行走路径作为步骤3中初始虚拟场景中的行走路径，重复上述步骤3至步骤5，直至探测机器人到达目的地，完成灾后井下煤矿的探测过程。
本发明还给出一种基于虚拟现实的机器人路径规划与环境重建系统，该系统主要包括：虚拟仿真交互平台、路径规划模块一、同步控制模块、场景重建模块和路径规划模块二；
其中，虚拟仿真交互平台用于根据煤矿建井设计图或巷道布置图，建立探测探测机器人三维模型和初始场景三维模型，将探测机器人三维模型和初始场景三维模型导入虚拟仿真交互平台，显示探测机器人虚拟样机和初始虚拟场景；优选的，虚拟仿真交互平台为一种基于软件Unity3D开发的平台，该平台具有数据交互接口。
路径规划模块一，用于将初始虚拟场景生成导航网格，根据探测机器人虚拟样机的三维坐标与目的地的三维坐标，得到探测机器人虚拟样机在初始虚拟场景中的行走路径；具体的，在基于Unity3D软件开发的虚拟仿真交互平台中添加Navigation Static模块对当前场景生成导航网格，在探测机器人虚拟样机上添加Nav Mesh Agent组件，输入目的地坐标点，烘焙场景实现自动规划路径，得到探测机器人虚拟样机在初始虚拟场景中的行走路径。
具体的，在该模块中，依照生成的导航网格、探测机器人虚拟样机的三维坐标与目的地的三维坐标，采用插补的方法实现路径规划。
同步控制模块，用于将探测机器人虚拟样机在初始虚拟场景中的行走路径发送至探测机器人，根据路径生成控制命令驱动探测机器人与探测机器人虚拟样机同步运动；
场景重建模块，用于采集探测机器人当前场景数据，将这些数据处理后与初始场景数据进行匹配，筛选出与初始场景数据不同的数据作为坐标点云数据，将这些坐标点云数据进行处理，得到重建后的虚拟场景。具体的，在基于Unity3D软件开发的虚拟仿真交互平台中，在平台中添加Nav Mesh Obstacle组件，得到重建后的虚拟场景。
该模块中，首先将激光雷达采集到的原始极坐标下的数据转化为三维直角坐标系下的数据，并将这些数据合并至同一三维直角坐标系内；然后对这些合并后的数据进行滤波、配准，另外，为了降低数据复杂度，减少数据点数，对数据进行精简处理；最后将处理后的数据与初始场景数据进行匹配。
具体的，如图3所示，坐标点云数据的处理过程为：首先建立立体栅格单元体，将该立体栅格单元体导入显示当前虚拟场景的虚拟仿真交互平台中，其中虚拟仿真交互平台为基于Unity3D软件开发的平台，打开定时器，然后读取数据库中各个坐标点云的位置信息(即三维坐标数据)，将这些位置信息设定为立体栅格单元在当前虚拟场景中克隆的指定位置；最后，实例化克隆立体单元栅格体于这些指定位置，即得到重建后的虚拟场景。上述立体栅格单元体为1mm×1mm×1mm的立方体；在创建立体栅格单元体时根据已知场景信息为其添加相应的物理效果与纹理信息，根据不同场景的需求，在立体栅格单元体导入重建场景显示平台时可以按照所需要精度对其按比例缩放。
路径规划模块二，用于将重建后的虚拟场景生成导航网格，根据机器人虚拟样机的三维坐标与目的地的三维坐标，结合重建后虚拟场景中的路径障碍，得到机器人虚拟样机新的行走路径。具体的，在基于Unity3D软件开发的虚拟仿真交互平台中添加Navigation.Static模块对当前场景生成导航网格，在探测机器人虚拟样机上添加Nav.Mesh.Agent组件，烘焙场景实现自动规划路径，得到探测机器人虚拟样机在虚拟场景中的行走路径。
本发明的系统还包括判断模块，在进行场景重建模块之前，可先判断探测机器人在设定时间间隔内是否到达目的地，如果在设定时间间隔内到达目的地，则停止机器人虚拟样机和探测机器人的运动；如果在设定时间间隔内没有到达目的地，再继续场景重建模块。
通过本发明的上述功能模块进行煤矿灾后机器人路径规划与环境重建，不需要对场景进行全部重新建模，仅需重建与初始场景不一样的部分，使得，数据量明显减少，提升了路径规划时的效率。
需要说明的是本发明并不局限于以上具体实施方式中，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。
Claims (10)
1.基于虚拟现实的机器人路径规划与环境重建方法，其特征在于，包括以下步骤：
步骤1、根据煤矿建井设计图或巷道布置图，建立探测探测机器人三维模型和初始场景三维模型，将探测机器人三维模型和初始场景三维模型导入虚拟仿真交互平台，显示探测机器人虚拟样机和初始虚拟场景；
步骤2、将初始虚拟场景生成导航网格，根据探测机器人虚拟样机的三维坐标与目的地的三维坐标，得到探测机器人虚拟样机在初始虚拟场景中的行走路径；
步骤3、将探测机器人虚拟样机在初始虚拟场景中的行走路径发送至探测机器人，驱动探测机器人与探测机器人虚拟样机同步运动；
步骤4、采集探测机器人当前场景数据，将这些数据处理后与初始场景数据进行匹配，筛选出与初始场景数据不同的数据作为坐标点云数据，将这些坐标点云数据进行处理，得到重建后的虚拟场景；
步骤5、将重建后的虚拟场景生成导航网格，根据探测机器人虚拟样机的三维坐标与目的地的三维坐标，结合重建后虚拟场景中的路径障碍，得到探测机器人虚拟样机新的行走路径；
步骤6、将得到的新的行走路径作为步骤3中初始虚拟场景中的行走路径，重复上述步骤3至步骤5，直至探测机器人到达目的地。
2.如权利要求1所述的基于虚拟现实的机器人路径规划与环境重建方法，其特征在于，所述的步骤4中，坐标点云数据的处理过程为：首先建立立体栅格单元体，将该立体栅格单元体导入显示当前虚拟场景的虚拟仿真交互平台，其中，立体栅格单元体为1mm×1mm×1mm的立方体，可以按照所需要精度对其按比例缩放；然后读取各个坐标点云的位置信息，将这些位置信息设定为立体栅格单元在当前虚拟场景中克隆的指定位置；最后，实例化克隆立体单元栅格体于这些指定位置，即得到重建后的虚拟场景。
3.如权利要求1所述的基于虚拟现实的机器人路径规划与环境重建方法，其特征在于，所述的步骤4中，采集探测机器人当前场景数据，将这些数据处理后与初始场景数据进行匹配，具体过程为：首先将激光雷达采集到的原始极坐标下的数据转化为三维直角坐标系下的数据，并将这些数据合并至同一三维直角坐标系内；然后对这些合并后的数据进行滤波、配准和精简处理；最后将处理后的数据与初始场景数据进行匹配。
4.如权利要求1所述的基于虚拟现实的机器人路径规划与环境重建方法，其特征在于，所述的步骤2和步骤5中，根据生成的导航网格、探测机器人的三维坐标和目的地的三维坐标，采用插补的方法实现路径规划。
5.如权利要求1所述的基于虚拟现实的机器人路径规划与环境重建方法，其特征在于，所述的步骤2和步骤5中的具体过程为：在基于Unity3D软件开发的虚拟仿真交互平台中添加Navigation.Static模块对当前场景生成导航网格，在探测机器人虚拟样机上添加Nav.Mesh.Agent组件，烘焙场景实现自动规划路径，得到探测机器人虚拟样机在虚拟场景中的行走路径。
6.基于虚拟现实的机器人路径规划与环境重建系统，其特征在于，包括：虚拟仿真交互平台、路径规划模块一、同步控制模块、场景重建模块和路径规划模块二；
所述的虚拟仿真交互平台用于根据煤矿建井设计图或巷道布置图，建立探测探测机器人三维模型和初始场景三维模型，将探测机器人三维模型和初始场景三维模型导入虚拟仿真交互平台，显示探测机器人虚拟样机和初始虚拟场景；
所述的路径规划模块一，用于将初始虚拟场景生成导航网格，根据探测机器人虚拟样机的三维坐标与目的地的三维坐标，得到探测机器人虚拟样机在初始虚拟场景中的行走路径；
所述的同步控制模块，用于将探测机器人虚拟样机在初始虚拟场景中的行走路径发送至探测机器人，驱动探测机器人与探测机器人虚拟样机同步运动；
所述的场景重建模块，用于采集探测机器人当前场景数据，将这些数据处理后与初始场景数据进行匹配，筛选出与初始场景数据不同的数据作为坐标点云数据，将这些坐标点云数据进行处理，得到重建后的虚拟场景；
所述的路径规划模块二，用于将重建后的虚拟场景生成导航网格，根据机器人虚拟样机的三维坐标与目的地的三维坐标，结合重建后虚拟场景中的路径障碍，得到机器人虚拟样机新的行走路径。
7.如权利要求6所述的基于虚拟现实的机器人路径规划与环境重建系统，其特征在于，所述的场景重建模块中，坐标点云数据的处理过程为：首先建立立体栅格单元体，将该立体栅格单元体导入显示当前虚拟场景的虚拟仿真交互平台，其中，立体栅格单元体为1mm×1mm×1mm的立方体；然后读取各个坐标点云的位置信息，将这些位置信息设定为立体栅格单元在当前虚拟场景中克隆的指定位置；最后，实例化克隆立体单元栅格体于这些指定位置，即得到重建后的虚拟场景。
8.如权利要求6所述的基于虚拟现实的机器人路径规划与环境重建系统，其特征在于，所述的场景重建模块中，采集探测机器人当前场景数据，将这些数据处理后与初始场景数据进行匹配，具体过程为：首先将激光雷达采集到的原始极坐标下的数据转化为三维直角坐标系下的数据，并将这些数据合并至同一三维直角坐标系内；然后对这些合并后的数据进行滤波、配准合精简处理，将处理后的数据与初始场景数据进行匹配。
9.如权利要求6所述的基于虚拟现实的机器人路径规划与环境重建方法，其特征在于，所述的路径规划模块一中，根据生成的导航网格、探测机器人的三维坐标和目的地的三维坐标，采用插补的方法实现路径规划。
10.如权利要求6所述的基于虚拟现实的机器人路径规划与环境重建系统，其特征在于，所述的路径规划模块一中，在基于Unity3D软件开发的虚拟仿真交互平台中添加Navigation.Static模块对当前场景生成导航网格，在探测机器人虚拟样机上添加Nav.Mesh.Agent组件，烘焙场景实现自动规划路径，得到探测机器人虚拟样机在初始虚拟场景中的行走路径。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810368210.4A CN108805327B (zh) | 2018-04-23 | 2018-04-23 | 基于虚拟现实的机器人路径规划与环境重建的方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810368210.4A CN108805327B (zh) | 2018-04-23 | 2018-04-23 | 基于虚拟现实的机器人路径规划与环境重建的方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108805327A true CN108805327A (zh) | 2018-11-13 |
| CN108805327B CN108805327B (zh) | 2022-04-26 |
Family
ID=64093030
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810368210.4A Active CN108805327B (zh) | 2018-04-23 | 2018-04-23 | 基于虚拟现实的机器人路径规划与环境重建的方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108805327B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109630109A (zh) * | 2018-11-22 | 2019-04-16 | 山东新矿信息技术有限公司 | 掘进机行走路径规划方法、装置及掘进机行走控制系统 |
| CN109683614A (zh) * | 2018-12-25 | 2019-04-26 | 青岛慧拓智能机器有限公司 | 用于无人矿用车辆的车辆路径控制方法及装置 |
| CN109839829A (zh) * | 2019-01-18 | 2019-06-04 | 弗徕威智能机器人科技（上海）有限公司 | 一种场景和表情双向同步方法 |
| CN109858090A (zh) * | 2018-12-27 | 2019-06-07 | 哈尔滨工业大学 | 基于动态视域的公共建筑引导系统设计方法 |
| CN110033506A (zh) * | 2019-03-18 | 2019-07-19 | 西安科技大学 | 基于结构光的综采工作面三维重建系统和重建方法 |
| CN110262505A (zh) * | 2019-07-03 | 2019-09-20 | 安徽工程大学 | 虚拟现实中机器人按规划路径运动可视化方法 |
| CN110656975A (zh) * | 2019-09-25 | 2020-01-07 | 西安交通大学 | 一种基于虚拟现实与acp平行智能的隧道救援系统及方法 |
| CN112549034A (zh) * | 2020-12-21 | 2021-03-26 | 南方电网电力科技股份有限公司 | 一种机器人任务部署方法、系统、设备和存储介质 |
| CN113370224A (zh) * | 2021-05-25 | 2021-09-10 | 西安工程大学 | 一种超视距vr智能搜救系统及方法 |
| CN114373329A (zh) * | 2021-12-31 | 2022-04-19 | 广东奥博信息产业股份有限公司 | 室内停车场寻车方法、电子设备及可读存储介质 |
| CN114494582A (zh) * | 2021-12-30 | 2022-05-13 | 重庆交通大学 | 一种基于视觉感知的三维模型动态更新方法 |
| CN114608549A (zh) * | 2022-05-10 | 2022-06-10 | 武汉智会创新科技有限公司 | 一种基于智能机器人的建筑测量方法 |
| CN114777606A (zh) * | 2022-04-07 | 2022-07-22 | 徕司仪器科技(江苏)有限公司 | 基于数字孪生技术的三坐标测量系统应用方法 |
| CN115033110A (zh) * | 2022-08-09 | 2022-09-09 | 环球数科集团有限公司 | 一种虚拟人步态模拟与三维场景路径规划系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101000507A (zh) * | 2006-09-29 | 2007-07-18 | 浙江大学 | 移动机器人在未知环境中同时定位与地图构建的方法 |
| CN103085072A (zh) * | 2013-03-11 | 2013-05-08 | 南京埃斯顿机器人工程有限公司 | 基于三维建模软件实现工业机器人离线编程的方法 |
| CN104067781A (zh) * | 2014-06-16 | 2014-10-01 | 华南农业大学 | 基于虚拟机器人与真实机器人集成的采摘系统及方法 |
| CN104677347A (zh) * | 2013-11-27 | 2015-06-03 | 哈尔滨恒誉名翔科技有限公司 | 一种基于Kinect生成三维导航地图室内移动机器人 |
| CN105825544A (zh) * | 2015-11-25 | 2016-08-03 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
| CN106313086A (zh) * | 2016-08-21 | 2017-01-11 | 西安科技大学 | 一种煤矿救援机器人远程控制系统和控制方法 |
-
2018
- 2018-04-23 CN CN201810368210.4A patent/CN108805327B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101000507A (zh) * | 2006-09-29 | 2007-07-18 | 浙江大学 | 移动机器人在未知环境中同时定位与地图构建的方法 |
| CN103085072A (zh) * | 2013-03-11 | 2013-05-08 | 南京埃斯顿机器人工程有限公司 | 基于三维建模软件实现工业机器人离线编程的方法 |
| CN104677347A (zh) * | 2013-11-27 | 2015-06-03 | 哈尔滨恒誉名翔科技有限公司 | 一种基于Kinect生成三维导航地图室内移动机器人 |
| CN104067781A (zh) * | 2014-06-16 | 2014-10-01 | 华南农业大学 | 基于虚拟机器人与真实机器人集成的采摘系统及方法 |
| CN105825544A (zh) * | 2015-11-25 | 2016-08-03 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
| CN106313086A (zh) * | 2016-08-21 | 2017-01-11 | 西安科技大学 | 一种煤矿救援机器人远程控制系统和控制方法 |
Non-Patent Citations (1)
| Title |
|---|
| ZHANG XUHUI 等: "《VR-based Remote Control System for Rescue Detection Robot in Coal Mine》", 《2017 14TH INTERNATIONAL CONFERENCE ON UBIQUITOUS ROBOTS AND AMBIENT INTELLIGENCE》 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109630109A (zh) * | 2018-11-22 | 2019-04-16 | 山东新矿信息技术有限公司 | 掘进机行走路径规划方法、装置及掘进机行走控制系统 |
| CN109683614A (zh) * | 2018-12-25 | 2019-04-26 | 青岛慧拓智能机器有限公司 | 用于无人矿用车辆的车辆路径控制方法及装置 |
| CN109858090A (zh) * | 2018-12-27 | 2019-06-07 | 哈尔滨工业大学 | 基于动态视域的公共建筑引导系统设计方法 |
| CN109858090B (zh) * | 2018-12-27 | 2020-09-04 | 哈尔滨工业大学 | 基于动态视域的公共建筑引导系统设计方法 |
| CN109839829A (zh) * | 2019-01-18 | 2019-06-04 | 弗徕威智能机器人科技（上海）有限公司 | 一种场景和表情双向同步方法 |
| CN110033506B (zh) * | 2019-03-18 | 2023-05-02 | 西安科技大学 | 基于结构光的综采工作面三维重建系统和重建方法 |
| CN110033506A (zh) * | 2019-03-18 | 2019-07-19 | 西安科技大学 | 基于结构光的综采工作面三维重建系统和重建方法 |
| CN110262505A (zh) * | 2019-07-03 | 2019-09-20 | 安徽工程大学 | 虚拟现实中机器人按规划路径运动可视化方法 |
| CN110262505B (zh) * | 2019-07-03 | 2022-03-11 | 安徽工程大学 | 虚拟现实中机器人按规划路径运动可视化方法 |
| CN110656975A (zh) * | 2019-09-25 | 2020-01-07 | 西安交通大学 | 一种基于虚拟现实与acp平行智能的隧道救援系统及方法 |
| CN112549034A (zh) * | 2020-12-21 | 2021-03-26 | 南方电网电力科技股份有限公司 | 一种机器人任务部署方法、系统、设备和存储介质 |
| CN112549034B (zh) * | 2020-12-21 | 2021-09-03 | 南方电网电力科技股份有限公司 | 一种机器人任务部署方法、系统、设备和存储介质 |
| CN113370224A (zh) * | 2021-05-25 | 2021-09-10 | 西安工程大学 | 一种超视距vr智能搜救系统及方法 |
| CN114494582A (zh) * | 2021-12-30 | 2022-05-13 | 重庆交通大学 | 一种基于视觉感知的三维模型动态更新方法 |
| CN114494582B (zh) * | 2021-12-30 | 2024-10-01 | 重庆交通大学 | 一种基于视觉感知的三维模型动态更新方法 |
| CN114373329A (zh) * | 2021-12-31 | 2022-04-19 | 广东奥博信息产业股份有限公司 | 室内停车场寻车方法、电子设备及可读存储介质 |
| CN114777606A (zh) * | 2022-04-07 | 2022-07-22 | 徕司仪器科技(江苏)有限公司 | 基于数字孪生技术的三坐标测量系统应用方法 |
| CN114777606B (zh) * | 2022-04-07 | 2023-11-10 | 徕司仪器科技(江苏)有限公司 | 基于数字孪生技术的三坐标测量系统应用方法 |
| CN114608549A (zh) * | 2022-05-10 | 2022-06-10 | 武汉智会创新科技有限公司 | 一种基于智能机器人的建筑测量方法 |
| CN115033110A (zh) * | 2022-08-09 | 2022-09-09 | 环球数科集团有限公司 | 一种虚拟人步态模拟与三维场景路径规划系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108805327B (zh) | 2022-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108805327A (zh) | 基于虚拟现实的机器人路径规划与环境重建的方法和系统 | |
| CN106949893B (zh) | 一种三维避障的室内机器人导航方法和系统 | |
| CN112859859B (zh) | 一种基于三维障碍物体素对象映射的动态栅格地图更新方法 | |
| CN103389699B (zh) | 基于分布式智能监测控制节点的机器人监控及自主移动系统的运行方法 | |
| CN107491070A (zh) | 一种移动机器人路径规划方法及装置 | |
| CN109828658B (zh) | 一种人机共融的远程态势智能感知系统 | |
| CN104834784B (zh) | 一种铁路应急辅助救援三维虚拟电子沙盘系统 | |
| CN107356230A (zh) | 一种基于实景三维模型的数字测图方法和系统 | |
| CN110285822A (zh) | 无人机建图算法与无人车导航算法的融合应用系统及方法 | |
| CN109213169A (zh) | 移动机器人的路径规划方法 | |
| CN110471426A (zh) | 基于量子狼群算法的无人驾驶智能车自动避碰方法 | |
| CN116518960B (zh) | 路网更新方法、装置、电子设备和存储介质 | |
| CN106780739A (zh) | 一种变电站智能巡检三维gis系统建立方法 | |
| CN115840404B (zh) | 一种基于自动驾驶专用路网和数字孪生地图的云控自动驾驶系统 | |
| CN113009912A (zh) | 一种基于混合a星的低速商用无人车路径规划算法 | |
| CN110456785A (zh) | 一种基于履带机器人的室内自主探索方法 | |
| Shangguan et al. | Interactive perception-based multiple object tracking via CVIS and AV | |
| Sabri et al. | A multi-dimensional analytics platform to support planning and design for liveable and sustainable urban environment | |
| CN113296504A (zh) | 基于rgbd深度相机的移动机器人建图与路径规划方法 | |
| CN112132466A (zh) | 基于三维建模的路线规划方法、装置、设备和存储介质 | |
| Wooden | Graph-based path planning for mobile robots | |
| CN112037330A (zh) | 基于AirSim的无人机运行场景仿真方法 | |
| CN115499467B (zh) | 基于数字孪生的智能网联车测试平台及其搭建方法与系统 | |
| CN114153216B (zh) | 基于深度强化学习和块规划的月面路径规划系统和方法 | |
| Bai et al. | Cyber mobility mirror for enabling cooperative driving automation: A co-simulation platform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |