CN112906118A - 一种虚实耦合环境下的建筑机器人远程作业方法 - Google Patents
一种虚实耦合环境下的建筑机器人远程作业方法 Download PDFInfo
- Publication number
- CN112906118A CN112906118A CN202110270084.0A CN202110270084A CN112906118A CN 112906118 A CN112906118 A CN 112906118A CN 202110270084 A CN202110270084 A CN 202110270084A CN 112906118 A CN112906118 A CN 112906118A
- Authority
- CN
- China
- Prior art keywords
- virtual
- building
- robot
- real
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000010276 construction Methods 0.000 title claims abstract description 54
- 230000008878 coupling Effects 0.000 title claims abstract description 47
- 238000010168 coupling process Methods 0.000 title claims abstract description 47
- 238000005859 coupling reaction Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000004891 communication Methods 0.000 claims abstract description 14
- 238000005070 sampling Methods 0.000 claims abstract description 10
- 230000011218 segmentation Effects 0.000 claims abstract description 7
- 238000001914 filtration Methods 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims abstract description 5
- 230000007613 environmental effect Effects 0.000 claims description 14
- 239000002775 capsule Substances 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 238000009435 building construction Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/18—Details relating to CAD techniques using virtual or augmented reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Architecture (AREA)
- Civil Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Structural Engineering (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明为一种虚实耦合空间下的建筑机器人远程作业方法，包括S1、建立建筑物虚拟模型，从建筑物虚拟模型中提取建筑物实体的位置形状信息；S2、获取施工场景点云，并进行降采样和滤波处理得到滤波后的点云，对滤波后的点云进行分割处理，得到施工场景每个房间的点云以及障碍物点云，施工场景每个房间的点云以及障碍物点云共同构成环境点云；S3、对建筑物虚拟模型和环境点云进行配准，得到虚实耦合模型；S4、通过Socket通讯协议建立虚拟建筑机器人和真实建筑机器人的远程通讯，实现远程作业。本发明通过操纵虚拟建筑机器人进行作业，施工场景中的真实建筑机器人则同步作业，不需要施工人员在现场监视，保证了施工人员的安全。
Description
技术领域
本发明涉及现代建筑技术领域，具体是一种虚实耦合环境下的建筑机器人远程作业方法。
背景技术
智能建造技术融合了现代建筑业与新一代信息技术，随着建筑业的工业化发展，智能建造技术将颠覆传统建造模式，催生一系列的新技术和新业态。建筑施工场景被认为是一个非结构化的复杂场景，在形状与形式上时刻发生着较大变化，具有非常大的不确定性，如何实现建筑机器人远程作业是建筑业工业化发展面临的关键问题。
目前建筑机器人远程作业大多是依赖现场获取的数据来进行作业，而面对复杂的建筑场景时，受传感信息的局限，仅依赖建筑机器人实时获取的现场数据不足以保障建筑机器人安全作业。BIM模型(Building Information Modeling，建筑信息模型)能够提供建筑物结构的虚拟信息，将BIM模型提供的虚拟信息和施工场景真实点云提供的环境信息相结合，不仅可以通过操纵虚拟机器人实现真实机器人的远程作业，而且可以通过虚实耦合环境实时观察真实机器人的运动。
发明内容
针对现有技术的不足，本发明拟解决的技术问题是，提供一种虚实耦合环境下的建筑机器人远程作业方法。
本发明解决所述技术问题采用的技术方案是：
一种虚实耦合空间下的建筑机器人远程作业方法，其特征在于，该方法包括以下步骤：
S1、建立建筑物虚拟模型，从建筑物虚拟模型中提取建筑物实体的位置形状信息，建筑物实体的位置形状信息和建筑物虚拟模型共同构成虚拟空间；
S2、获取施工场景点云，并进行降采样和滤波处理得到滤波后的点云，对滤波后的点云进行分割处理，得到施工场景每个房间的点云以及障碍物点云，施工场景每个房间的点云以及障碍物点云共同构成环境点云；
S3、对建筑物虚拟模型和环境点云进行配准，得到虚实耦合模型；
S4、虚实耦合环境下建筑机器人的远程作业；
4-1、按照1:1比例建立与真实建筑机器人相同的虚拟建筑机器人模型，将虚拟建筑机器人模型导入到物理引擎中；根据真实建筑机器人的机械臂各个关节之间的子父物体关系，在物理引擎中对虚拟建筑机器人建立相同关系；
4-2、将虚实耦合模型导入到物理引擎中，根据建筑物虚拟模型和环境点云中建筑物的实体属性对虚实耦合模型添加碰撞体；采用包围盒法将虚实耦合模型中的障碍物点云和虚拟建筑机器人包裹起来，对包裹起来的部分添加碰撞体；添加完碰撞体的虚实耦合模型和虚拟建筑机器人共同构成虚实耦合环境；
4-3、通过Socket通讯协议建立虚拟建筑机器人和真实建筑机器人的远程通讯；
4-4、通过力反馈手柄操纵虚拟建筑机器人作业，使得真实建筑机器人同步作业，实现虚实耦合环境下建筑机器人的远程作业。
步骤4-2中，采用包围盒法将虚实耦合模型中的障碍物点云和虚拟建筑机器人包裹起来的内容为：
使用胶囊体分别将虚拟建筑机器人的各个机械臂进行包裹，使用长方体分别将障碍物点云和虚拟建筑机器人的底盘进行包裹，对包裹起来的部分分别添加碰撞体。
步骤4-3的具体过程为：
(1)将本地计算机作为服务端，真实建筑机器人的控制系统作为客户端，建立服务器与客户端之间的TCP连接；
(2)本地计算机中存储有Unity3D环境和Unity3D虚拟控制系统，Unity3D虚拟控制系统发出的运动控制指令用于控制虚拟建筑机器人运动，虚拟建筑机器人的运动数据存储在本地计算机的共享内存中，服务端持续获取共享内存中虚拟建筑机器人的运动数据；
(3)通过TCP连接负责监听的子线程，即可在客户端与服务端连接时，服务端将虚拟建筑机器人的运动数据传输至客户端，使远程的施工场景中的真实建筑机器人与虚拟建筑机器人实现同步运动。
步骤S4还包括在真实建筑建筑机器人作业一段时间后，重复步骤S2获取当前施工场景的环境点云，以实现施工场景环境点云的更新。
步骤S2中，利用基于区域生长的分割方法对滤波后的点云中的障碍物点云进行分割。
与现有技术相比，本发明的有益效果是：
1.本发明针对非结构化的复杂建筑施工环境，将建筑信息模型和实时获取的施工场景的真实点云进行结合，建立与其真实环境高度一致的虚实耦合环境，通过操纵虚实耦合环境中的虚拟建筑机器人进行作业，施工场景中的真实建筑机器人则同步作业，即实现真实建筑机器人的远程作业。即使施工人员不在现场，也可对虚实耦合环境中的虚拟建筑机器人进行操纵来控制真实机器人作业，因此不需要施工人员在现场监视，保证了施工人员的安全。
2.采用包围盒法将虚实耦合环境中的障碍物点云和虚拟建筑机器人包裹起来，添加碰撞体，使虚拟建筑机器人不能通过，由于包裹后的虚拟建筑机器人尺寸大于真实建筑机器人，因此能够保证真实建筑机器人不会发生碰撞，保证了真实建筑机器人远程作业的安全性。
3.采用基于区域生长的分割方法对滤波后的点云中的障碍物点云进行分割，使得障碍物边缘更加清晰，障碍物点云提取更加精准，避免真实建筑机器人在作业过程中发生碰撞。
附图说明
图1是本发明的整体流程图；
图2是本发明的建筑物虚拟模型；
图3是本发明的虚拟建筑机器人与真实建筑机器人之间的通讯示意图。
具体实施方式
下面结合附图和实施例对本发明的技术方案进行详细描述，并不用于限定本申请的保护范围。
本发明为一种虚实耦合空间下的建筑机器人远程作业方法(简称方法，参见图1-3)，包括以下步骤：
S1、建立建筑物虚拟模型，构建虚拟空间；
1-1、通过测绘或根据建筑图纸得到建筑物信息，使用Revit建模软件建立建筑物的BIM模型，即建筑物虚拟模型，并导出FBX格式文件和IFC格式文件；
1-2、从IFC格式文件中提取建筑元素信息，IFC是基于EXPRESS语言来定义建筑工程领域信息交换与共享的数据表达，EXPRESS语言不是编程语言，不可以被计算机编译执行，但是可以被JAVA、C++等面向对象的编程语言识别和处理，再利用C++正则表达式等面向对象的编程语言对IFC格式文件进行解析，提取建筑物虚拟模型中包括建筑物位置、形状在内的建筑信息，得到建筑物实体(墙、门、窗、玻璃幕墙等)的位置形状信息；将提取建筑物虚拟模型信息时所用的代码封装为动态链接库，利用数据分析软件调用动态链接库并制作提取界面，显示建筑物实体的位置形状信息；建筑物实体的位置形状信息和建筑物虚拟模型构成虚拟空间；
S2、获取施工场景点云，并进行降采样和滤波处理，得到环境点云；
2-1、将步骤S1构建的虚拟空间上传至服务器，利用三维激光扫描仪、雷达或相机等方式获取施工场景初始点云；
2-2、由于初始点云的数据量很大，而且有噪声，因此首先对初始点云进行降采样处理，以降低数据量；降采样的具体操作为：
1)计算初始点云中点集f＝{f1,f2,…,fk,…,fN}的最小点fmin＝(xmin,ymin,zmin)和最大点fmax＝(xmax,ymax,zmax)；
以x坐标为例，xmax＝max(x1,x2,…,xk,…,xN),xmin＝min(x1,x2,…,xk,…,xN)，x1,x2,…,xN为各个点的横坐标；
2)令e为降采样格子的大小，则x、y、z三个方向上被划分出的降采样格子的数量Dx、Dy、Dz满足式(1)；
3)利用式(2)计算每个点是否位于降采样格子中，将位于降采样格子中的点保留，得到降采样后的点云；
2-3、利用统计滤波器对降采样后的点云进行滤波处理，去除噪声，得到滤波后的点云；
2-4、在点云处理软件(CloudCompare)中对滤波后的点云进行分割处理，得到施工场景每个房间的点云以及障碍物点云，即环境点云；
其中，利用基于区域生长的分割方法对滤波后的点云中的障碍物点云进行分割，具体操作是：
1)障碍物点云的所有点构成原始种子点序列，根据曲率值对障碍物点云中的所有点进行排序，将曲率值最小的点作为初始种子点；
2)设置一个聚类区域C和种子点序列Q，聚类数组L；
3)将初始种子点加入种子点序列Q中，并搜索初始种子点的邻域点，计算每个领域点法线与初始种子点法线之间的夹角，将夹角小于平滑阀值的领域点加入聚类区域C中，判断该领域点的曲率值是否小于曲率阀值，将小于曲率阈值的领域点加入种子点序列Q中，当所有邻域点都判断完毕后，删除初始种子点；然后在种子点序列Q中重新选择新的种子点重复此步骤，直到种子点序列Q中的序列为空，则表示一个聚类区域生长完成，将其加入聚类数组L中；
4)按照曲率值从小到大，依次重复步骤3)，完成障碍物点云的分割。
S3、对步骤S1建立的建筑物虚拟模型和步骤S2得到的环境点云进行配准，得到虚实耦合模型；
由于建筑物虚拟模型与环境点云之间存在误差，因此需要将建筑物虚拟模型中的边界点与环境点云的边界点进行配准，得到虚实耦合模型；
边界点配准的过程为：令建筑物虚拟模型的边界点集合为P＝{p1,…,pi,…,pm}，环境点云的边界点集合为P'＝{p'1,...,p′i,...,p'm}，其中m∈N，N为自然数集；由p′i到pi的欧式变换R,t可表示为
R为旋转矩阵，t为平移矩阵；
由于BIM模型是一种理想的虚拟模型，与真实建筑物存在误差，则第i个建筑物虚拟模型的边界点pi与第i个环境点云模型的边界点p′i的配准误差ei为：
ei＝pi-(Rp′i+t) (3)
为了获取最小配准误差时R,t的取值，将式(3)构建为式(4)的最小二乘问题的表达式；
设建筑物虚拟模型边界点集合的质心和环境点云边界点集合的质心表达式分别为：
根据式(4)得到式(5)的配准误差函数：
由式(5)展开以及质心表达式得到：
由于(pi-p-R(p′i-p'))项在求和以后为零，式(6)可简化为：
根据式(7)可以得出：旋转矩阵
平移矩阵t＝p-Rp'，其中，qi为建筑物虚拟模型边界点的去质心坐标，q′i为环境点云边界点的去质心坐标；
对旋转矩阵进行展开得到式(8)：
由于式(8)中只有第三项与R有关，实际上式(8)可表示为：
应用SVD方法(奇异值分解方法)可求解出式(9)中的最优R：定义矩阵
对W进行SVD分解得，W＝UΣVT；其中，Σ为奇异值组成的对角矩阵，U和V为对角矩阵，当W满秩后，R＝UVT；得到最优R后，根据t＝p-Rp′得到最优t；将最优R和最优t带入式(3)中，得到最优配准误差集，进而得到虚实耦合模型。
本实施例选择建筑物虚拟模型与环境点云两侧各8个边界点进行配准，最终得到配准后的建筑物虚拟模型和环境点云相结合的虚实耦合模型。
S4、虚实耦合环境下建筑机器人的远程作业；
4-1、应用三维建模软件按照1:1比例建立与真实建筑机器人相同的虚拟建筑机器人模型，将虚拟建筑机器人模型导出FBX格式，再将FBX格式的虚拟建筑机器人模型导入到物理引擎中(本实施例为Unity3D环境)；为了实现虚拟建筑机器人和真实建筑机器人同步工作，需要根据真实建筑机器人的机械臂各个关节之间的子父物体关系，在物理引擎中对虚拟建筑机器人建立相同的关系；
4-2、将步骤S3得到的虚实耦合模型导入到物理引擎中，根据建筑物虚拟模型和环境点云的建筑物实体属性对虚实耦合模型添加碰撞体；其中，门实体可通过，视为非碰撞体；墙实体不可通过，视为碰撞体；碰撞体可应用于虚拟环境下的碰撞检测，是建筑建筑机器人在进行安全作业的必要条件；
为了保证真实建筑机器人作业时的安全，需要对虚实耦合模型中的障碍物点云添加碰撞体，考虑到障碍物可能是各种形状的，为了简化障碍物点云和保证真实建筑机器人作业时的安全采用长方体包围盒法对虚实耦合模型中的障碍物点云进行处理，即利用比障碍物点云体积大的长方体将形状复杂且不规则的障碍物点云包裹起来，对这个长方体添加碰撞体，使虚拟建筑机器人不能通过；
长方体包围盒法的数学模型为：
F＝{(x,y,z)∣lx≤x≤uy,ly≤y≤uy,lz≤z≤uz} (10)
式中，(x,y,z)表示长方体沿坐标轴x,y,z方向的边长，lx,ly,lz表示长方体边长沿坐标轴x,y,z方向的最小坐标值，ux,uy,uz表示长方体边长沿坐标轴x,y,z方向的最大坐标值；
同时为了保证真实建筑机器人在作业过程中不会发生碰撞，使用包围盒法对虚拟建筑机器人进行包裹，并对包裹起来的部分添加碰撞体；首先使用胶囊体对虚拟建筑机器人的各个机械臂进行包裹，使用长方体对虚拟建筑机器人的底盘进行包裹，对包裹起来的部分添加碰撞体，在更好地对虚拟建筑机器人的机身进行简化的同时能够较好地保留虚拟建筑机器人机械臂的结构特性；由于包裹后的虚拟建筑机器人尺寸大于真实建筑机器人，因此能够保证真实建筑机器人不会发生碰撞；
添加完碰撞体的虚实耦合模型和虚拟建筑机器人共同构成虚实耦合环境；
4-3、通过Socket通讯协议建立虚拟建筑机器人(本地)和真实建筑机器人(远程)之间的远程通讯，实现对虚实耦合环境中的虚拟建筑机器人进行控制操作的同时这些控制操作在远程的真实建筑机器人上呈现出来；由于真实建筑机器人的控制系统具有基于Socket的外部通信接口，该控制系统本身就是一个可以传输数据的客户端，因此实现远程通讯的关键就是在本地计算机上建立服务器；由于本地计算机上虚拟建筑机器人的控制端(Unity3D虚拟控制系统)和所建立TCP连接的服务端处于两个不同的进程，因此采用基于共享内存的Socket通讯协议实现虚拟建筑机器人与真实建筑机器人之间的通讯；
共享内存是两个正在运行的进程之间共享和传递数据的一种非常有效的方式，具体步骤为：
(1)将本地计算机作为服务端，真实建筑机器人的控制系统作为客户端，建立服务器与客户端之间的TCP连接；
(2)本地计算机中存储有Unity3D环境和Unity3D虚拟控制系统，Unity3D虚拟控制系统发出的运动控制指令用于控制虚拟建筑机器人运动，虚拟建筑机器人的运动数据存储在本地计算机的共享内存中，服务端持续获取共享内存中虚拟建筑机器人的运动数据；
(3)通过TCP连接负责监听的子线程，即可在客户端与服务端连接时，服务端将虚拟建筑机器人的运动数据传输至客户端，使远程的施工场景中的真实建筑机器人与虚拟建筑机器人实现同步运动。
4-4、真实建筑机器人使用六自由度的机械臂，在建筑作业环境中，为了保证作业建筑机器人动作的安全性，需要虚实耦合场景可以给操作人员提供很好的现场信息，然后通过步骤3建立的通讯发送给建筑现场的建筑机器人；
采用Omega.7力反馈手柄控制虚实耦合环境中虚拟建筑机器人的动作，Omega.7力反馈手柄通过串口与本地计算机进行通讯，Omega.7力反馈手柄控制虚拟建筑机器人包括移动、旋转、末端抓取等七个动作；本地计算机利用逆运动学计算出虚拟建筑机器人各个关节的转动角度，将各个关节的转动角度封装为控制指令，发送至真实建筑机器人的控制系统，从而达到精准控制真实建筑机器人运动的目的。
在虚实耦合环境中的虚拟建筑机器人末端触碰到障碍物时会获得碰撞检测数据，并且会有阻力反馈给Omega.7力反馈手柄，阻止虚拟建筑机器人继续触碰障碍物；由于在步骤4-2中为每个障碍物都添加了大于自身体积的碰撞体，因此在虚拟建筑机器人碰到障碍物时，真实建筑机器人并不会碰到障碍物，确保施工场景中真实建筑机器人作业的安全性。
根据步骤S1中建筑物虚拟模型中的建筑信息得到待作业区域的位置信息，通过操纵Omega.7力反馈手柄指导虚拟建筑建筑机器人运动至待作业区域并完成相关作业，实现真实建筑建筑机器人的远程作业；在真实建筑建筑机器人作业一段时间后，真实的施工场景会发生变化，因此需要重复步骤S2获取当前施工场景的环境点云，以实现施工场景环境点云的更新，用于真实建筑建筑机器人下一步作业。
本发明未述及之处适用于现有技术。
Claims (5)
1.一种虚实耦合空间下的建筑机器人远程作业方法，其特征在于，该方法包括以下步骤：
S1、建立建筑物虚拟模型，从建筑物虚拟模型中提取建筑物实体的位置形状信息，建筑物实体的位置形状信息和建筑物虚拟模型共同构成虚拟空间；
S2、获取施工场景点云，并进行降采样和滤波处理得到滤波后的点云，对滤波后的点云进行分割处理，得到施工场景每个房间的点云以及障碍物点云，施工场景每个房间的点云以及障碍物点云共同构成环境点云；
S3、对建筑物虚拟模型和环境点云进行配准，得到虚实耦合模型；
S4、虚实耦合环境下建筑机器人的远程作业；
4-1、按照1:1比例建立与真实建筑机器人相同的虚拟建筑机器人模型，将虚拟建筑机器人模型导入到物理引擎中；根据真实建筑机器人的机械臂各个关节之间的子父物体关系，在物理引擎中对虚拟建筑机器人建立相同关系；
4-2、将虚实耦合模型导入到物理引擎中，根据建筑物虚拟模型和环境点云中建筑物的实体属性对虚实耦合模型添加碰撞体；采用包围盒法将虚实耦合模型中的障碍物点云和虚拟建筑机器人包裹起来，对包裹起来的部分添加碰撞体；添加完碰撞体的虚实耦合模型和虚拟建筑机器人共同构成虚实耦合环境；
4-3、通过Socket通讯协议建立虚拟建筑机器人和真实建筑机器人的远程通讯；
4-4、通过力反馈手柄操纵虚拟建筑机器人作业，使得真实建筑机器人同步作业，实现虚实耦合环境下建筑机器人的远程作业。
2.根据权利要求1所述的虚实耦合空间下的建筑机器人远程作业方法，其特征在于，步骤4-2中，采用包围盒法将虚实耦合模型中的障碍物点云和虚拟建筑机器人包裹起来的内容为：
使用胶囊体分别将虚拟建筑机器人的各个机械臂进行包裹，使用长方体分别将障碍物点云和虚拟建筑机器人的底盘进行包裹，对包裹起来的部分分别添加碰撞体。
3.根据权利要求1所述的虚实耦合空间下的建筑机器人远程作业方法，其特征在于，步骤4-3的具体过程为：
(1)将本地计算机作为服务端，真实建筑机器人的控制系统作为客户端，建立服务器与客户端之间的TCP连接；
(2)本地计算机中存储有Unity3D环境和Unity3D虚拟控制系统，Unity3D虚拟控制系统发出的运动控制指令用于控制虚拟建筑机器人运动，虚拟建筑机器人的运动数据存储在本地计算机的共享内存中，服务端持续获取共享内存中虚拟建筑机器人的运动数据；
(3)通过TCP连接负责监听的子线程，即可在客户端与服务端连接时，服务端将虚拟建筑机器人的运动数据传输至客户端，使远程的施工场景中的真实建筑机器人与虚拟建筑机器人实现同步运动。
4.根据权利要求1所述的虚实耦合空间下的建筑机器人远程作业方法，其特征在于，步骤S4还包括在真实建筑建筑机器人作业一段时间后，重复步骤S2获取当前施工场景的环境点云，以实现施工场景环境点云的更新。
5.根据权利要求1所述的虚实耦合空间下的建筑机器人远程作业方法，其特征在于，步骤S2中，利用基于区域生长的分割方法对滤波后的点云中的障碍物点云进行分割。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110270084.0A CN112906118A (zh) | 2021-03-12 | 2021-03-12 | 一种虚实耦合环境下的建筑机器人远程作业方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110270084.0A CN112906118A (zh) | 2021-03-12 | 2021-03-12 | 一种虚实耦合环境下的建筑机器人远程作业方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112906118A true CN112906118A (zh) | 2021-06-04 |
Family
ID=76105155
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110270084.0A Withdrawn CN112906118A (zh) | 2021-03-12 | 2021-03-12 | 一种虚实耦合环境下的建筑机器人远程作业方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112906118A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113643426A (zh) * | 2021-07-28 | 2021-11-12 | 武汉理工大学 | 一种仿真城市建筑物模型的更新方法、设备及储存介质 |
| CN113670413A (zh) * | 2021-08-19 | 2021-11-19 | 中煤科工智能储装技术有限公司 | 一种用于散料装车的激光雷达数据实时处理与通信方法 |
| CN114011859A (zh) * | 2021-10-09 | 2022-02-08 | 华中科技大学 | 一种基于bim的污染土壤修复多机遥操作系统及工作方法 |
| CN114474004A (zh) * | 2022-03-18 | 2022-05-13 | 河北工业大学 | 一种多因素耦合车载建筑机器人误差补偿规划控制策略 |
| CN115268646A (zh) * | 2022-08-02 | 2022-11-01 | 清华大学 | 一种人机协同建造过程感知系统、装置、分析方法和介质 |
| TWI836993B (zh) | 2023-05-17 | 2024-03-21 | 逢甲大學 | 施工機器人智能系統 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109409437A (zh) * | 2018-11-06 | 2019-03-01 | 安徽农业大学 | 一种点云分割方法、装置、计算机可读存储介质及终端 |
| CN110253570A (zh) * | 2019-05-27 | 2019-09-20 | 浙江工业大学 | 基于视觉的工业机械臂人机安全系统 |
| CN111383348A (zh) * | 2020-03-17 | 2020-07-07 | 北京理工大学 | 一种虚拟现实远程同步控制机器人的方法 |
| CN112264989A (zh) * | 2020-06-17 | 2021-01-26 | 华中科技大学 | 一种基于邻域遍历的双机械臂协同避障方法 |
| CN112304318A (zh) * | 2020-11-10 | 2021-02-02 | 河北工业大学 | 一种虚实耦合约束环境下的机器人自主导航方法 |
-
2021
- 2021-03-12 CN CN202110270084.0A patent/CN112906118A/zh not_active Withdrawn
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109409437A (zh) * | 2018-11-06 | 2019-03-01 | 安徽农业大学 | 一种点云分割方法、装置、计算机可读存储介质及终端 |
| CN110253570A (zh) * | 2019-05-27 | 2019-09-20 | 浙江工业大学 | 基于视觉的工业机械臂人机安全系统 |
| CN111383348A (zh) * | 2020-03-17 | 2020-07-07 | 北京理工大学 | 一种虚拟现实远程同步控制机器人的方法 |
| CN112264989A (zh) * | 2020-06-17 | 2021-01-26 | 华中科技大学 | 一种基于邻域遍历的双机械臂协同避障方法 |
| CN112304318A (zh) * | 2020-11-10 | 2021-02-02 | 河北工业大学 | 一种虚实耦合约束环境下的机器人自主导航方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113643426A (zh) * | 2021-07-28 | 2021-11-12 | 武汉理工大学 | 一种仿真城市建筑物模型的更新方法、设备及储存介质 |
| CN113670413A (zh) * | 2021-08-19 | 2021-11-19 | 中煤科工智能储装技术有限公司 | 一种用于散料装车的激光雷达数据实时处理与通信方法 |
| CN114011859A (zh) * | 2021-10-09 | 2022-02-08 | 华中科技大学 | 一种基于bim的污染土壤修复多机遥操作系统及工作方法 |
| CN114474004A (zh) * | 2022-03-18 | 2022-05-13 | 河北工业大学 | 一种多因素耦合车载建筑机器人误差补偿规划控制策略 |
| CN114474004B (zh) * | 2022-03-18 | 2023-10-03 | 河北工业大学 | 一种多因素耦合车载建筑机器人误差补偿规划控制策略 |
| CN115268646A (zh) * | 2022-08-02 | 2022-11-01 | 清华大学 | 一种人机协同建造过程感知系统、装置、分析方法和介质 |
| TWI836993B (zh) | 2023-05-17 | 2024-03-21 | 逢甲大學 | 施工機器人智能系統 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112906118A (zh) | 一种虚实耦合环境下的建筑机器人远程作业方法 | |
| CN107671857B (zh) | 用于服务机器人操作演示与算法验证的三维仿真平台 | |
| CN112859859B (zh) | 一种基于三维障碍物体素对象映射的动态栅格地图更新方法 | |
| CN109872355B (zh) | 一种基于深度相机的最短距离获取方法及装置 | |
| CN110385694A (zh) | 机器人的动作示教装置、机器人系统以及机器人控制装置 | |
| Yang et al. | A digital twin simulation platform for multi-rotor UAV | |
| CN110603122A (zh) | 用于交互式学习应用的自动个性化反馈 | |
| CN113829343A (zh) | 基于环境感知的实时多任务多人人机交互系统 | |
| US20230401799A1 (en) | Augmented reality method and related device | |
| Li et al. | Depth camera based remote three-dimensional reconstruction using incremental point cloud compression | |
| CN105869181A (zh) | 基于交互多模型的人体关节点分布式信息一致性估计方法 | |
| CN111309035A (zh) | 多机器人协同移动与动态避障方法、装置、设备及介质 | |
| Ko et al. | A study on manufacturing facility safety system using multimedia tools for cyber physical systems | |
| Cui et al. | Simulation and Implementation of Slam Drawing Based on Ros Wheeled Mobile Robot | |
| Lee et al. | Map generation and localization for a LEGO NXT robot | |
| CN115218891A (zh) | 一种移动机器人自主定位导航方法 | |
| CN114683288A (zh) | 机器人展示和控制方法、装置及电子设备 | |
| Kim et al. | Active object tracking using context estimation: handling occlusions and detecting missing targets | |
| Hong et al. | Research of robotic arm control system based on deep learning and 3D point cloud target detection algorithm | |
| Shi et al. | Tracking and proximity detection for robotic operations by multiple depth cameras | |
| Andonovski et al. | Towards a Development of Robotics Tower Crane System | |
| CN110887489A (zh) | 一种基于ar机器人的slam算法的实验方法 | |
| Ni et al. | Teleoperation system with virtual reality based on stereo vision | |
| Ali et al. | Interactive Distance Field Mapping and Planning to Enable Human-Robot Collaboration | |
| CN116394266B (zh) | 一种机器人自碰撞处理方法、装置、机器人及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210604 |