CN113954066B - 一种基于数字孪生系统的配网作业机器人控制方法及装置 - Google Patents

一种基于数字孪生系统的配网作业机器人控制方法及装置 Download PDF

Info

Publication number
CN113954066B
CN113954066B CN202111200327.XA CN202111200327A CN113954066B CN 113954066 B CN113954066 B CN 113954066B CN 202111200327 A CN202111200327 A CN 202111200327A CN 113954066 B CN113954066 B CN 113954066B
Authority
CN
China
Prior art keywords
robot
point cloud
model
data
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111200327.XA
Other languages
English (en)
Other versions
CN113954066A (zh
Inventor
黄国方
吴圣和
陈向志
张静
刘晓铭
单超
甘志坚
王文政
谢芬
郝永奇
廖志勇
周兴俊
钟亮民
谢永麟
彭奕
杨明鑫
张丛丛
吴嵩青
汤济民
许茂洲
童宇辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nari Technology Co Ltd
Original Assignee
Nari Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nari Technology Co Ltd filed Critical Nari Technology Co Ltd
Priority to CN202111200327.XA priority Critical patent/CN113954066B/zh
Publication of CN113954066A publication Critical patent/CN113954066A/zh
Application granted granted Critical
Publication of CN113954066B publication Critical patent/CN113954066B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Abstract

本发明公开了一种基于数字孪生系统的配网作业机器人控制方法及装置物理作业平台通过工控机采集数据，孪生作业平台根据采集的数据，将可视化模型的机器人数字化模型、工具组件模型与环境点云模型进行融合，呈现出与物理场景相对应的虚拟场景；在孪生作业平台中进行作业目标线缆定位，机器人作业路径进行规划；在机器人作业路径执行过程中，孪生作业平台实时监控运行数据，同步进行碰撞预测，根据碰撞预测结果及时调整实物机器人作业路径；孪生作业平台通过通信平台接收工控机采集的云台相机图像数据，对实物机器人带电作业过程进行地面远程观测。本发明满足离线与在线作业要求，具备灵活性、通用性、可扩展性。

Description

一种基于数字孪生系统的配网作业机器人控制方法及装置
技术领域
本发明涉及一种基于数字孪生系统的配网作业机器人控制方法及装置，属于电力线路带电作业机器人技术领域。
背景技术
目前，配网带电作业任务主要通过人工完成。由于配网线路复杂、设备密集、相间距离小，人工带电作业面临着绝缘负荷重、劳动强度大、触电风险高等问题。而工业机器人具有作业空间大、灵活性强、自动化水平高等优点，采用机器人代替人工带电作业成为一种主流发展趋势。
然而，现有的工业机器人大多采用示教再现编程方式作业，对运动过程中目标点不可达、由环境变化带来的碰撞等问题，机械臂无法提前预警及修正，安全性差。而且，配网带电作业机器人需要人工在地面远程监控高空作业，对实际情况变化无法实时准确观测，作业过程中出现异常情况难以排除，大大降低了配网带电作业机器人的作业可靠性。
发明内容
目的：为了克服现有技术中存在的不足，本发明提供一种基于数字孪生系统的配网作业机器人控制方法及装置，融合配网带电作业机器人虚拟场景和物理场景组成孪生系统对机器人作业进行控制，提高人机交互效果，以及作业安全可靠性。
技术方案：为解决上述技术问题，本发明采用的技术方案为：
第一方面，一种基于数字孪生系统的配网作业机器人控制方法，包括以下步骤：
物理作业平台采集机器人主臂、辅臂各关节数据、环境数据和作业工具组件的运行状态数据，上传给通信平台。
孪生作业平台接收物理作业平台采集的数据，根据采集的数据建立可视化模型、碰撞模型，将可视化模型的机器人数字化模型、工具组件模型与环境点云模型进行融合，呈现出与物理场景相对应的数字孪生虚拟场景。
在孪生作业平台中进行作业目标线缆定位，根据定位结果利用碰撞模型的机器人轮廓模型对机器人作业路径进行规划，并下发作业路径控制指令至机器人执行。
在机器人作业路径执行过程中，孪生作业平台监控运行数据，进行碰撞预测，根据碰撞预测结果调整机器人作业路径。
孪生作业平台接收物理作业平台采集的图像数据，对机器人进行观测。
第二方面，一种基于数字孪生系统的配网作业机器人控制装置，包括以下模块：
数据采集模块：用于物理作业平台采集机器人主臂、辅臂各关节数据、环境数据和作业工具组件的运行状态数据，上传给通信平台；
场景虚拟模块：用于孪生作业平台接收物理作业平台采集的数据，根据采集的数据建立可视化模型、碰撞模型，将可视化模型的机器人数字化模型、工具组件模型与环境点云模型进行融合，呈现出与物理场景相对应的数字孪生虚拟场景；
路径规划模块：用于在孪生作业平台中进行作业目标线缆定位，根据定位结果利用碰撞模型的机器人轮廓模型对机器人作业路径进行规划，并下发作业路径控制指令至机器人执行；
碰撞预测模块：用于在机器人作业路径执行过程中，孪生作业平台监控运行数据，进行碰撞预测，根据碰撞预测结果调整机器人作业路径；
远程观测模块：用于孪生作业平台接收物理作业平台采集的图像数据，对机器人进行观测。
作为优选方案，所述孪生作业平台接收物理作业平台采集的数据，根据采集的数据建立可视化模型、碰撞模型，将可视化模型的机器人数字化模型、工具组件模型与环境点云模型进行融合的方法，包括如下步骤：
依照机器人各关节运动部分进行拆分，将拆分后的各个运动部件和作业工具组件分别通过三维软件绘制，获得机器人数字化模型、工具组件模型；
机器人数字化模型建立各关节之间的坐标关系，且机器人各关节部分都采用revolute旋转型关节，工具组件模型设置成floating浮动型关节；
通过激光雷达快速扫描环境单个平面，配合转台组件旋转一周，经角度计算获得完整外部环境点云数据，再经坐标变换将点云数据由雷达测量坐标系转换到机器人坐标系，获得环境点云；
对环境点云进行点云预处理、区域生长聚类处理，得到环境点云模型；
将机器人数字化模型、工具组件模型、环境点云模型，通过三维可视化插件共同融合显示。
作为优选方案，所述通过激光雷达快速扫描环境单个平面，配合转台组件旋转一周，经角度计算获得完整外部环境点云数据，再经坐标变换将点云数据由雷达测量坐标系转换到机器人坐标系，获得环境点云的方法，包括如下步骤：
获取实物机器人基座坐标系{B}，转台坐标系{R}，雷达坐标系{L}；
通过激光雷达扫描，获取点云点P，计算点云点P相对于基座{B}的环境点云BP；
所述环境点云BP计算公式如下：
Figure BDA0003302683660000041
其中：欧拉角
Figure BDA0003302683660000042
表示转台坐标相对基坐标的变换关系，
Figure BDA0003302683660000043
x，y，z为平移距离，rx，ry，rz为欧拉角旋转变换，其中rx＝0°，ry＝-90°，rx＝180°，θ为转台旋转角度，d为竖直雷达转台之间偏置距离，y0，z0为单线雷达测量的平面点云数据，
Figure BDA0003302683660000044
为雷达坐标相对转台坐标的变换关系LP为环境扫描点相对雷达坐标系的变换关系。
作为优选方案，所述对环境点云进行点云预处理、区域生长聚类处理，得到环境点云模型的方法，包括如下步骤：
利用Kd-Tree将环境点云分成立方体素，计算各个立方体素重心，所得立方体素中心点与立方体素点有近似的点云特征，用所得中心点近似的点云特征替代立方体素内所有点云；
对每个中心点的邻域进行统计分析，计算中心点到所有近邻点的平均距离，删除平均距离在定义标准范围之外的离群点，得到点云预处理后的环境点云；
设置一空的种子点序列和空的聚类区域，选择点云预处理后的环境点云点为初始种子后，将其加入到种子点序列中，从种子点序列中选择一个种子点，并搜索种子点的邻域点，对每一个邻域点，比较邻域点的法线与当前种子点的法线之间的夹角，小于平滑阈值的将当前点加入到聚类区域，然后检测每一个邻域点的曲率值，小于曲率阈值的加入到种子点序列中，删除当前的种子点，循环执行以上步骤，直到种子序列为空，将聚类区域内的种子点作为环境点云模型。
作为优选方案，所述在孪生作业平台中进行作业目标线缆定位的方法，包括如下步骤：
在数字孪生虚拟场景中将三维环境点云聚类分割，将n个点云点看作是图上的n个顶点，边表示两个点的直线连接路径，每条边上设定一个权重，为该边两个点的欧式距离，n个顶点的连通网建立不同的生成树，每一颗生成树都作为一个通信网，构造这个连通网所花的成本最小时，搭建该连通网的生成树，构成最小生成树，在最小生成树中，找一个权重加和最大的连通路径，获取线缆点云点簇的中轴线，进而定位到作业目标线缆。
作为优选方案，所述根据定位结果利用碰撞模型的机器人轮廓模型对机器人作业路径进行规划的方法，包括如下步骤：
采用双向快速扩展随机树的方法对机器人轮廓模型当前位置与定位结果之间的路径点进行选择，获得机器人初始路径；
将机器人初始路径通过Shortcut算法不断迭代优化路径，得到路径修剪后的机器人初始路径；
采用k阶B样条曲线对路径修剪后的机器人初始路径进行拟合，得到机器人作业路径。
作为优选方案，所述碰撞预测的方法，包括如下步骤：
基于机器人轮廓模型与环境点云模型，通过AABB或OBB包围盒进行包裹，先后递归地用更小的包围盒进行重叠测试，直到确定机器人轮廓模型的某部分发生碰撞。
第三方面，一种数字孪生系统，包括：物理作业平台、通信平台、孪生作业平台。
所述物理作业平台包括：机器人，作业工具组件、激光雷达、云台相机、工控机，工控机采集机器人主臂和辅臂各关节数据，激光雷达获取的环境数据，作业工具组件的运行状态数据，云台相机获取的图像数据上传给通信平台，并接收孪生作业平台通过通信平台下发的作业路径控制指令，根据作业路径控制指令控制机器人行走路线，控制作业工具组件进行带电作业；
所述孪生作业平台基于机器人操作系统搭建，根据机器人主臂、辅臂各关节数据、环境数据和作业工具组件的运行状态数据、图像数据进行数字化虚拟建模、作业目标线缆定位、机器人作业路径规划、碰撞预测和对机器人进行观测。
作为优选方案，所述通信平台还提供大数据管理服务，对机器人运行数据进行存储及分析，形成工业大数据。
作为优选方案，所述机器人采用双臂六轴工业机器人，包括：主臂和辅臂，主臂用于剥线、接线作业，辅臂用于抓线作业；所述作业工具组件包括抓线工具、剥线工具、接线工具，抓线工具安装于辅臂，用于捞引流线并夹紧固定供主臂穿线；剥线工具与接线工具分别固定于平台架，供主臂更换使用，剥线工具用于剥开行线线皮，接线工具用于穿过辅臂固定的引流线，搭接到剥过的行线线芯，并依靠线夹夹紧固定。
作为优选方案，所述激光雷达包括：竖直雷达组件、水平雷达组件，竖直雷达组件、水平雷达组件分别安装在转台组件上，竖直雷达组件获取引流线信息，水平雷达组件用于获取行线信息。
有益效果：本发明提供的一种基于数字孪生系统的配网作业机器人控制方法及装置，满足离线与在线作业要求，具备灵活性、通用性、可扩展性。离线作业通过采集现场数据进行模拟仿真训练，在线作业可提前预测作业过程，实时监控修正作业路径，保证作业可靠性。灵活适用于不同类型的机器人作业平台、不同机器人带电作业工作任务，且容易扩展更先进的算法功能模块。
附图说明
图1为本发明的配网作业机器人控制方法流程示意图。
图2为本发明的配网作业机器人数字孪生系统框架图。
图3为物理场景示意图。
图4为数字孪生虚拟场景示意图。
图5为本发明的配网作业机器人结构示意图。
图6为本发明配网带电作业机器人三维点云测量空间坐标变换关系图。
具体实施方式
下面结合具体实施例对本发明作更进一步的说明。
结合图1，一种基于数字孪生系统的配网作业机器人控制方法，包括以下步骤：
1)物理作业平台通过工控机采集双臂六轴工业机器人主臂、辅臂各关节数据、激光雷达扫描的环境数据和作业工具组件的运行状态数据，实时上传给通信平台。
2)孪生作业平台通过通信平台接收工控机采集的数据，根据采集的数据利用三维软件建立可视化模型、碰撞模型，将可视化模型的机器人数字化模型、工具组件模型与环境点云模型进行融合，呈现出与物理场景相对应的虚拟场景。
3)在孪生作业平台中进行作业目标线缆定位，利用碰撞模型的机器人轮廓模型对机器人作业路径进行规划，并下发作业路径控制指令至实物机器人执行。
4)在机器人作业路径执行过程中，孪生作业平台实时监控运行数据，同步进行碰撞预测，根据碰撞预测结果及时调整实物机器人作业路径。
5)孪生作业平台通过通信平台接收工控机采集的云台相机图像数据，对实物机器人带电作业过程进行地面远程观测。
结合图2，本发明的数字孪生系统包括物理作业平台、通信平台、孪生作业平台。
如图4-5所示，(1)物理作业平台
所述物理作业平台主要包括：双臂六轴工业机器人，作业工具组件，工控机4，平台架8，线夹9，环境感知设备组件。所述双臂六轴工业机器人分为主臂11和辅臂2，主臂用于剥线、接线作业，辅臂用于抓线作业。所述作业工具组件包括抓线工具3、剥线工具7、接线工具5，抓线工具安装于辅臂，用于捞引流线并夹紧固定供主臂穿线；剥线工具与接线工具分别固定于平台架，供主臂更换使用，剥线工具用于剥开行线线皮，接线工具用于穿过辅臂固定的引流线，搭接到剥过的行线线芯，并依靠线夹夹紧固定。所述工控机为物理作业平台的核心控制中枢，获取双臂六轴工业机器人、环境感知设备组件、作业工具组件的运行数据，管控物理作业平台运行步序，并下发控制指令执行。
所述环境感知设备组件包括：激光雷达、云台相机10。所述激光雷达根据安装方向分为竖直雷达组件1和水平雷达组件6，分别安装在转台组件上，通过激光雷达扫描平面并结合转台组件旋转可完成配网线路环境三维信息的获取，竖直雷达组件获取引流线信息，水平雷达组件用于获取行线信息。所述云台相机用于地面远程观测机器人带电作业过程。
(2)通信平台
所述通信平台采用交换机作为统一通讯中枢，对物理作业平台及孪生作业平台之间数据传输进行管控，并提供大数据管理服务，对运行数据进行存储及分析，形成工业大数据。
(3)孪生作业平台
所述孪生作业平台基于机器人操作系统(ROS)搭建，主要功能包括数字化虚拟建模、作业目标线缆定位、机器人作业路径规划、碰撞预测。
所述数字化虚拟建模包括可视化模型构建及碰撞模型构建，可视化模型包括机器人数字化模型、工具组件模型、环境点云模型，可视化模型用于对实物机器人进行虚拟呈现，模型细节较为丰富；碰撞模型包括机器人轮廓模型，用于对机器人进行碰撞检测，路径规划计算分析，易于计算。
如图3所示，可视化模型构建过程如下：
1)机器人数字化模型、工具组件模型的三维模型建立。机器人数字化模型依照各关节运动部分拆分，和工具组件模型分别通过solidworks三维软件绘制，经3dMax三维软件删除冗余面轻量化处理，再由blender渲染软件调整各个运动部件坐标系，添加颜色、纹理、材质，提升可视化效果。
2)机器人数字化模型、工具组件模型的模型空间关系计算。三维模型建立之后，在ROS中用机器人描述文件格式urdf表述，依据机器人D-H参数建立各关节之间的坐标关系，且机器人各关节部分都采用revolute旋转型关节，而工具组件模型由于机器人需在作业中动态更换，则设置成floating浮动型关节；
3)环境点云获取。通过单线激光雷达快速扫描环境单个平面，配合转台组件旋转一周，经角度计算可获得完整外部环境点云数据，再经坐标变换将点云数据由雷达测量坐标系转换到到机器人坐标系，获得环境点云。
4)环境点云处理运算。点云处理运算过程包括点云预处理和区域生长聚类。对环境点云进行点云预处理是采用体素栅格采样法简化点云、统计滤波器去除离群点云，进行区域生长聚类用于剔除机器人点云模型，得到环境点云模型。
将可视化模型的机器人数字化模型、工具组件模型与环境点云模型进行融合。将机器人数字化模型及工具组件模型、环境点云模型，通过三维可视化插件Rviz共同融合显示，其中环境点云模型的碰撞模型需将点云模型以八叉树占据栅格octomap形式描述。
所述环境点云获取具体步骤如下：机器人与竖直激光雷达坐标关系如图6所示，获取实物机器人基座坐标系{B}，转台坐标系{R}，雷达坐标系{L}。
通过激光雷达扫描，获取环境点云点P。设欧拉角
Figure BDA0003302683660000101
表示转台坐标相对基坐标的变换关系，
Figure BDA0003302683660000113
x，y，z为平移距离，rx，ry，rz为欧拉角旋转变换，此时竖直雷达组件，其rx＝0°，ry＝-90°，rx＝180°，则环境点云点P相对于基座{B}表示为
Figure BDA0003302683660000111
其中θ为转台旋转角度，d为竖直雷达转台之间偏置距离，y0，z0为单线雷达测量的平面点云数据，
Figure BDA0003302683660000112
为雷达坐标相对转台坐标的变换关系LP为环境扫描点相对雷达坐标系的变换关系。
所述点云预处理方法：首先利用Kd-Tree将环境点云分成立方体素，计算各个立方体素重心，所得立方体素中心点与立方体素点有近似的点云特征，用所得中心点近似的点云特征替代立方体素内所有点云。然后对每个中心点的邻域进行统计分析，计算中心点到所有近邻点的平均距离，删除平均距离在定义标准范围之外的离群点，降低噪点对后续点云运算及模型显示的影响。
所述区域生长聚类方法：设置一空的种子点序列和空的聚类区域，选择环境点云的点云点为初始种子后，将其加入到种子点序列中，从种子点序列中选择一个种子点，并搜索种子点的邻域点，对每一个邻域点，比较邻域点的法线与当前种子点的法线之间的夹角，小于平滑阈值的将当前点加入到聚类区域，然后检测每一个邻域点的曲率值，小于曲率阈值的加入到种子点序列中，删除当前的种子点，循环执行以上步骤，直到种子序列为空。
所述作业目标线缆定位是在数字孪生场景中将三维环境点云聚类分割，快速识别到作业目标线缆，并通过最小生成树的方法提取作业线缆目标点云关键点，实现机器人作业目标线缆位置精准定位。
所述最小生成树引入连通图的图论概念来分析聚类后的点云数据，将n个点云点看作是图上的n个顶点，边表示两个点的直线连接路径，每条边上设定一个权重，为该边两个点的欧式距离，所以n个顶点的连通网可以建立不同的生成树，每一颗生成树都可以作为一个通信网，构造这个连通网所花的成本(权重加和)最小时，搭建该连通网的生成树，就构成最小生成树。而随后获取的最长路径，则在此最小生成树中，找一个权重加和最大的连通路径，以此最终获取线缆点云点簇的中轴线，进而定位到作业目标。
所述机器人作业路径规划为工控机计算机械臂作业目标位姿，在约束条件下自主规划出一条无碰撞的路径，并以在孪生作业平台中以可视化方式进行显示。
所述机器人路径规划方法是基于双向快速扩展随机树的方法，包括如下步骤：
首先初始化两棵随机树，在随机树Ta加入初始点qinit，随机树Tb加入目标点qgoal。然后随机采样一个节点qrand，先将Ta向随机点qrand进行扩展，如果扩展成功，则将随机树Tb向随机树Ta的新节点qnew以步长ε的距离递增地进行扩展，如果成功扩展到了新节点qnew则表示两棵树成功连通，算法返回生成的路径，否则将遇到障碍物前的节点加入Tb，再将两棵随机树Ta与Tb进行交换，再重复以上过程，直到得到机器人初始路径。
得到机器人初始路径之后需对路径进行优化，优化过程包括路径修剪和路径光滑，路径修剪通过Shortcut算法不断迭代优化路径，每一次迭代，路径被随机分割成三部分P1、P2、P3，而qa，qb分别是中间部分P2的第一个路径点和最后一个路径点，如果局部路径Path(qa，qb)是无碰撞的，则用此局部路径代替路径中间部分P2。
路径光滑采用k阶B样条曲线对机器人路径进行拟合，k阶B样条曲线表达式C(u)如下，
Figure BDA0003302683660000131
其中，Ci(i＝0,1,…,n)是机器人路径控制点，Ni,k(u)是第i个控制点k阶B样条基函数，其Cox–deBoor递推公式如下，
Figure BDA0003302683660000132
Figure BDA0003302683660000133
对于k阶B样条曲线和n+1个控制点，节点向量为U＝{u0,u1,…,um}，必须满足m＝n+k+1。节点向量的选择采用Clamped方法，即前k+1个参数设置为0，后k+1个参数设置为1，剩余参数则均匀递增，公式如下。
Figure BDA0003302683660000134
所述碰撞预测是对机器人规划路径及时预测将要发生的碰撞，碰撞检测的方法是基于机器人轮廓模型与环境点云模型，通过AABB/OBB等包围盒进行包裹，先后递归地用更小的包围盒进行重叠测试，直到确定机器人轮廓模型的某部分发生碰撞。
一种基于数字孪生系统的配网作业机器人控制装置，包括以下模块：
数据采集模块：用于物理作业平台通过工控机采集双臂六轴工业机器人主臂、辅臂各关节数据、激光雷达扫描的环境数据和作业工具组件的运行状态数据，实时上传给通信平台。
场景虚拟模块：用于孪生作业平台通过通信平台接收工控机采集的数据，根据采集的数据利用三维软件建立可视化模型、碰撞模型，将可视化模型的机器人数字化模型、工具组件模型与环境点云模型进行融合，呈现出与物理场景相对应的虚拟场景。
路径规划模块：用于在孪生作业平台中进行作业目标线缆定位，利用碰撞模型的机器人轮廓模型对机器人作业路径进行规划，并下发作业路径控制指令至实物机器人执行。
碰撞预测模块：用于在机器人作业路径执行过程中，孪生作业平台实时监控运行数据，同步进行碰撞预测，根据碰撞预测结果及时调整实物机器人作业路径。
远程观测模块：用于孪生作业平台通过通信平台接收工控机采集的云台相机图像数据，对实物机器人带电作业过程进行地面远程观测。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (14)

1.一种基于数字孪生系统的配网作业机器人控制方法，其特征在于：包括以下步骤：
物理作业平台采集机器人主臂、辅臂各关节数据、环境数据和作业工具组件的运行状态数据，上传给通信平台；
孪生作业平台接收物理作业平台采集的数据，根据采集的数据建立可视化模型、碰撞模型，将可视化模型的机器人数字化模型、工具组件模型与环境点云模型进行融合，呈现出与物理场景相对应的数字孪生虚拟场景；
在孪生作业平台中进行作业目标线缆定位，根据定位结果利用碰撞模型的机器人轮廓模型对机器人作业路径进行规划，并下发作业路径控制指令至机器人执行；
在机器人作业路径执行过程中，孪生作业平台监控运行数据，进行碰撞预测，根据碰撞预测结果调整机器人作业路径；
孪生作业平台接收物理作业平台采集的图像数据，对机器人进行观测；
所述孪生作业平台接收物理作业平台采集的数据，根据采集的数据建立可视化模型、碰撞模型，将可视化模型的机器人数字化模型、工具组件模型与环境点云模型进行融合的方法，包括如下步骤：
依照机器人各关节运动部分进行拆分，将拆分后的各个运动部件和作业工具组件分别通过三维软件绘制，获得机器人数字化模型、工具组件模型；
机器人数字化模型建立各关节之间的坐标关系，且机器人各关节部分都采用revolute旋转型关节，工具组件模型设置成floating浮动型关节；
通过激光雷达快速扫描环境单个平面，配合转台组件旋转一周，经角度计算获得完整外部环境点云数据，再经坐标变换将点云数据由雷达测量坐标系转换到机器人坐标系，获得环境点云；
对环境点云进行点云预处理、区域生长聚类处理，得到环境点云模型；
将机器人数字化模型、工具组件模型、环境点云模型，通过三维可视化插件共同融合显示；
所述对环境点云进行点云预处理、区域生长聚类处理，得到环境点云模型的方法，包括如下步骤：
利用Kd-Tree将环境点云分成立方体素，计算各个立方体素重心，所得立方体素中心点与立方体素点有近似的点云特征，用所得中心点近似的点云特征替代立方体素内所有点云；
对每个中心点的邻域进行统计分析，计算中心点到所有近邻点的平均距离，删除平均距离在定义标准范围之外的离群点，得到点云预处理后的环境点云；
设置一空的种子点序列和空的聚类区域，选择点云预处理后的环境点云点为初始种子后，将其加入到种子点序列中，从种子点序列中选择一个种子点，并搜索种子点的邻域点，对每一个邻域点，比较邻域点的法线与当前种子点的法线之间的夹角，小于平滑阈值的将当前点加入到聚类区域，然后检测每一个邻域点的曲率值，小于曲率阈值的加入到种子点序列中，删除当前的种子点，循环执行以上步骤，直到种子序列为空，将聚类区域内的种子点作为环境点云模型。
2.根据权利要求1所述的一种基于数字孪生系统的配网作业机器人控制方法，其特征在于：所述通过激光雷达快速扫描环境单个平面，配合转台组件旋转一周，经角度计算获得完整外部环境点云数据，再经坐标变换将点云数据由雷达测量坐标系转换到机器人坐标系，获得环境点云的方法，包括如下步骤：
获取实物机器人基座坐标系{B}，转台坐标系{R}，雷达坐标系{L}；
通过激光雷达扫描，获取点云点P，计算点云点P相对于基座{B}的环境点云BP；
所述环境点云BP计算公式如下：
Figure FDA0003931220490000031
其中：欧拉角
Figure FDA0003931220490000032
表示转台坐标相对基坐标的变换关系，
Figure FDA0003931220490000033
x，y，z为平移距离，rx，ry，rz为欧拉角旋转变换，其中rx＝0°，ry＝-90°，rx＝180°，θ为转台旋转角度，d为竖直雷达转台之间偏置距离，y0，z0为单线雷达测量的平面点云数据，
Figure FDA0003931220490000034
为雷达坐标相对转台坐标的变换关系，LP为环境扫描点相对雷达坐标系的变换关系。
3.根据权利要求1所述的一种基于数字孪生系统的配网作业机器人控制方法，其特征在于：所述在孪生作业平台中进行作业目标线缆定位的方法，包括如下步骤：
在数字孪生虚拟场景中将三维环境点云聚类分割，将n个点云点看作是图上的n个顶点，边表示两个点的直线连接路径，每条边上设定一个权重，为该边两个点的欧式距离，n个顶点的连通网建立不同的生成树，每一颗生成树都作为一个通信网，构造这个连通网所花的成本最小时，搭建该连通网的生成树，构成最小生成树，在最小生成树中，找一个权重加和最大的连通路径，获取线缆点云点簇的中轴线，进而定位到作业目标线缆。
4.根据权利要求1所述的一种基于数字孪生系统的配网作业机器人控制方法，其特征在于：所述根据定位结果利用碰撞模型的机器人轮廓模型对机器人作业路径进行规划的方法，包括如下步骤：
采用双向快速扩展随机树的方法对机器人轮廓模型当前位置与定位结果之间的路径点进行选择，获得机器人初始路径；
将机器人初始路径通过Shortcut算法不断迭代优化路径，得到路径修剪后的机器人初始路径；
采用k阶B样条曲线对路径修剪后的机器人初始路径进行拟合，得到机器人作业路径。
5.根据权利要求1所述的一种基于数字孪生系统的配网作业机器人控制方法，其特征在于：所述碰撞预测的方法，包括如下步骤：
基于机器人轮廓模型与环境点云模型，通过AABB或OBB包围盒进行包裹，先后递归地用更小的包围盒进行重叠测试，直到确定机器人轮廓模型的某部分发生碰撞。
6.一种基于数字孪生系统的配网作业机器人控制装置，其特征在于：包括以下模块：
数据采集模块：用于物理作业平台采集机器人主臂、辅臂各关节数据、环境数据和作业工具组件的运行状态数据，上传给通信平台；
场景虚拟模块：用于孪生作业平台接收物理作业平台采集的数据，根据采集的数据建立可视化模型、碰撞模型，将可视化模型的机器人数字化模型、工具组件模型与环境点云模型进行融合，呈现出与物理场景相对应的数字孪生虚拟场景；
路径规划模块：用于在孪生作业平台中进行作业目标线缆定位，根据定位结果利用碰撞模型的机器人轮廓模型对机器人作业路径进行规划，并下发作业路径控制指令至机器人执行；
碰撞预测模块：用于在机器人作业路径执行过程中，孪生作业平台监控运行数据，进行碰撞预测，根据碰撞预测结果调整机器人作业路径；
远程观测模块：用于孪生作业平台接收物理作业平台采集的图像数据，对机器人进行观测；
所述孪生作业平台接收物理作业平台采集的数据，根据采集的数据建立可视化模型、碰撞模型，将可视化模型的机器人数字化模型、工具组件模型与环境点云模型进行融合的方法，包括如下步骤：
依照机器人各关节运动部分进行拆分，将拆分后的各个运动部件和作业工具组件分别通过三维软件绘制，获得机器人数字化模型、工具组件模型；
机器人数字化模型建立各关节之间的坐标关系，且机器人各关节部分都采用revolute旋转型关节，工具组件模型设置成floating浮动型关节；
通过激光雷达快速扫描环境单个平面，配合转台组件旋转一周，经角度计算获得完整外部环境点云数据，再经坐标变换将点云数据由雷达测量坐标系转换到机器人坐标系，获得环境点云；
对环境点云进行点云预处理、区域生长聚类处理，得到环境点云模型；
将机器人数字化模型、工具组件模型、环境点云模型，通过三维可视化插件共同融合显示；
所述对环境点云进行点云预处理、区域生长聚类处理，得到环境点云模型的方法，包括如下步骤：
利用Kd-Tree将环境点云分成立方体素，计算各个立方体素重心，所得立方体素中心点与立方体素点有近似的点云特征，用所得中心点近似的点云特征替代立方体素内所有点云；
对每个中心点的邻域进行统计分析，计算中心点到所有近邻点的平均距离，删除平均距离在定义标准范围之外的离群点，得到点云预处理后的环境点云；
设置一空的种子点序列和空的聚类区域，选择点云预处理后的环境点云点为初始种子后，将其加入到种子点序列中，从种子点序列中选择一个种子点，并搜索种子点的邻域点，对每一个邻域点，比较邻域点的法线与当前种子点的法线之间的夹角，小于平滑阈值的将当前点加入到聚类区域，然后检测每一个邻域点的曲率值，小于曲率阈值的加入到种子点序列中，删除当前的种子点，循环执行以上步骤，直到种子序列为空，将聚类区域内的种子点作为环境点云模型。
7.根据权利要求6所述的一种基于数字孪生系统的配网作业机器人控制装置，其特征在于：所述通过激光雷达快速扫描环境单个平面，配合转台组件旋转一周，经角度计算获得完整外部环境点云数据，再经坐标变换将点云数据由雷达测量坐标系转换到机器人坐标系，获得环境点云的方法，包括如下步骤：
获取实物机器人基座坐标系{B}，转台坐标系{R}，雷达坐标系{L}；
通过激光雷达扫描，获取点云点P，计算点云点P相对于基座{B}的环境点云BP；
所述环境点云BP计算公式如下：
Figure FDA0003931220490000071
其中：欧拉角
Figure FDA0003931220490000072
表示转台坐标相对基坐标的变换关系，
Figure FDA0003931220490000073
x，y，z为平移距离，rx，ry，rz为欧拉角旋转变换，其中rx＝0°，ry＝-90°，rx＝180°，θ为转台旋转角度，d为竖直雷达转台之间偏置距离，y0，z0为单线雷达测量的平面点云数据，
Figure FDA0003931220490000074
为雷达坐标相对转台坐标的变换关系，LP为环境扫描点相对雷达坐标系的变换关系。
8.根据权利要求6述的一种基于数字孪生系统的配网作业机器人控制装置，其特征在于：所述在孪生作业平台中进行作业目标线缆定位的方法，包括如下步骤：
在数字孪生虚拟场景中将三维环境点云聚类分割，将n个点云点看作是图上的n个顶点，边表示两个点的直线连接路径，每条边上设定一个权重，为该边两个点的欧式距离，n个顶点的连通网建立不同的生成树，每一颗生成树都作为一个通信网，构造这个连通网所花的成本最小时，搭建该连通网的生成树，构成最小生成树，在最小生成树中，找一个权重加和最大的连通路径，获取线缆点云点簇的中轴线，进而定位到作业目标线缆。
9.根据权利要求6述的一种基于数字孪生系统的配网作业机器人控制装置，其特征在于：所述根据定位结果利用碰撞模型的机器人轮廓模型对机器人作业路径进行规划的方法，包括如下步骤：
采用双向快速扩展随机树的方法对机器人轮廓模型当前位置与定位结果之间的路径点进行选择，获得机器人初始路径；
将机器人初始路径通过Shortcut算法不断迭代优化路径，得到路径修剪后的机器人初始路径；
采用k阶B样条曲线对路径修剪后的机器人初始路径进行拟合，得到机器人作业路径。
10.根据权利要求6所述的一种基于数字孪生系统的配网作业机器人控制装置，其特征在于：所述碰撞预测的方法，包括如下步骤：
基于机器人轮廓模型与环境点云模型，通过AABB或OBB包围盒进行包裹，先后递归地用更小的包围盒进行重叠测试，直到确定机器人轮廓模型的某部分发生碰撞。
11.使用权利要求1所述的控制方法的一种数字孪生系统，其特征在于：包括：物理作业平台、通信平台、孪生作业平台；
所述物理作业平台包括：机器人，作业工具组件、激光雷达、云台相机、工控机，工控机采集机器人主臂和辅臂各关节数据、 激光雷达获取的环境数据、 作业工具组件的运行状态数据，云台相机获取的图像数据上传给通信平台，并接收孪生作业平台通过通信平台下发的作业路径控制指令，根据作业路径控制指令控制机器人行走路线，控制作业工具组件进行带电作业；
所述孪生作业平台基于机器人操作系统搭建，根据机器人主臂、辅臂各关节数据、环境数据和作业工具组件的运行状态数据、图像数据进行数字化虚拟建模、作业目标线缆定位、机器人作业路径规划、碰撞预测和对机器人进行观测。
12.根据权利要求11所述的一种数字孪生系统，其特征在于：所述通信平台还提供大数据管理服务，对机器人运行数据进行存储及分析，形成工业大数据。
13.根据权利要求11所述的一种数字孪生系统，其特征在于：所述机器人采用双臂六轴工业机器人，包括：主臂和辅臂，主臂用于剥线、接线作业，辅臂用于抓线作业；所述作业工具组件包括抓线工具、剥线工具、接线工具，抓线工具安装于辅臂，用于捞引流线并夹紧固定供主臂穿线；剥线工具与接线工具分别固定于平台架，供主臂更换使用，剥线工具用于剥开行线线皮，接线工具用于穿过辅臂固定的引流线，搭接到剥过的行线线芯，并依靠线夹夹紧固定。
14.根据权利要求11所述的一种数字孪生系统，其特征在于：
所述激光雷达包括：竖直雷达组件、水平雷达组件，竖直雷达组件、水平雷达组件分别安装在转台组件上，竖直雷达组件获取引流线信息，水平雷达组件用于获取行线信息。
CN202111200327.XA 2021-10-14 2021-10-14 一种基于数字孪生系统的配网作业机器人控制方法及装置 Active CN113954066B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111200327.XA CN113954066B (zh) 2021-10-14 2021-10-14 一种基于数字孪生系统的配网作业机器人控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111200327.XA CN113954066B (zh) 2021-10-14 2021-10-14 一种基于数字孪生系统的配网作业机器人控制方法及装置

Publications (2)

Publication Number Publication Date
CN113954066A CN113954066A (zh) 2022-01-21
CN113954066B true CN113954066B (zh) 2023-02-21

Family

ID=79464006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111200327.XA Active CN113954066B (zh) 2021-10-14 2021-10-14 一种基于数字孪生系统的配网作业机器人控制方法及装置

Country Status (1)

Country Link
CN (1) CN113954066B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114407015A (zh) * 2022-01-28 2022-04-29 青岛理工大学 一种基于数字孪生的遥操作机器人在线示教系统及方法
CN114851188B (zh) * 2022-03-29 2023-05-02 深圳市智流形机器人技术有限公司 识别定位方法、装置、实时跟踪方法、装置
CN114784701B (zh) * 2022-04-21 2023-07-25 中国电力科学研究院有限公司 配电网带电作业自主导航方法、系统、设备及存储介质
CN114789450A (zh) * 2022-06-02 2022-07-26 深慧视(深圳)科技有限公司 一种基于机器视觉的机器人运动轨迹数字孪生方法
CN115345911A (zh) * 2022-08-01 2022-11-15 天翼云科技有限公司 一种飞机出入库碰撞预警方法、装置、设备及介质
CN116449851B (zh) * 2023-06-12 2023-09-08 泰坦(天津)能源技术有限公司 一种钻工机器人的智能避障控制方法及系统
CN116512216B (zh) * 2023-06-29 2023-10-20 国网瑞嘉(天津)智能机器人有限公司 双臂机器人接引线作业方法及带电作业系统
CN117260740A (zh) * 2023-11-09 2023-12-22 国网山东省电力公司东营供电公司 带电作业机器人车身定位区分析方法、系统、终端及介质
CN117621090A (zh) * 2024-01-25 2024-03-01 青岛创新奇智科技集团股份有限公司 一种工业机器人的控制方法、系统及工业机器人

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101363092B1 (ko) * 2012-09-20 2014-02-14 강원대학교산학협력단 로봇시스템의 ｒｉｌｓ 구현 방법 및 시스템
CN108724190A (zh) * 2018-06-27 2018-11-02 西安交通大学 一种工业机器人数字孪生系统仿真方法及装置
CN111633644A (zh) * 2020-05-15 2020-09-08 哈尔滨工程大学 一种结合智能视觉的工业机器人数字孪生系统及其运行方法
CN112428272A (zh) * 2020-11-16 2021-03-02 同济大学 一种面向数字孪生的机器人-环境动态交互渲染系统和方法
CN112828886A (zh) * 2020-12-31 2021-05-25 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于数字孪生的工业机器人碰撞预测的控制方法
WO2021119590A1 (en) * 2019-12-13 2021-06-17 Ohio University Determining position using computer vision, lidar, and trilateration
CN113379898A (zh) * 2021-06-17 2021-09-10 西安理工大学 一种基于语义分割的三维室内场景重建方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7257250B2 (en) * 2003-10-29 2007-08-14 International Business Machines Corporation System, method, and program product for extracting a multiresolution quadrilateral-based subdivision surface representation from an arbitrary two-manifold polygon mesh
US10646999B2 (en) * 2017-07-20 2020-05-12 Tata Consultancy Services Limited Systems and methods for detecting grasp poses for handling target objects

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101363092B1 (ko) * 2012-09-20 2014-02-14 강원대학교산학협력단 로봇시스템의 ｒｉｌｓ 구현 방법 및 시스템
CN108724190A (zh) * 2018-06-27 2018-11-02 西安交通大学 一种工业机器人数字孪生系统仿真方法及装置
WO2021119590A1 (en) * 2019-12-13 2021-06-17 Ohio University Determining position using computer vision, lidar, and trilateration
CN111633644A (zh) * 2020-05-15 2020-09-08 哈尔滨工程大学 一种结合智能视觉的工业机器人数字孪生系统及其运行方法
CN112428272A (zh) * 2020-11-16 2021-03-02 同济大学 一种面向数字孪生的机器人-环境动态交互渲染系统和方法
CN112828886A (zh) * 2020-12-31 2021-05-25 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于数字孪生的工业机器人碰撞预测的控制方法
CN113379898A (zh) * 2021-06-17 2021-09-10 西安理工大学 一种基于语义分割的三维室内场景重建方法

Also Published As

Publication number Publication date
CN113954066A (zh) 2022-01-21

Similar Documents

Publication Publication Date Title
CN113954066B (zh) 一种基于数字孪生系统的配网作业机器人控制方法及装置
CN111897332B (zh) 一种语义智能变电站机器人仿人巡视作业方法及系统
Alenya et al. 3D modelling of leaves from color and ToF data for robotized plant measuring
CN100486476C (zh) 基于线结构光传感器自动生成鞋底喷胶轨迹的方法及系统
CN108389256B (zh) 二三维交互式无人机电力杆塔巡检辅助方法
CN110988586B (zh) 一种配网带电作业机器人作业精准定位方法及系统
CN112862878B (zh) 一种基于3d视觉的机械臂修坯方法
CN110065068B (zh) 一种基于逆向工程的机器人装配作业演示编程方法及装置
CN111260649B (zh) 一种近距离机械臂感知与校准方法
CN111923011B (zh) 带电作业的执行方法、装置及带电作业系统
CN115512042A (zh) 网络训练及场景重建方法、装置、机械、系统及设备
CN115563732B (zh) 基于虚拟现实的喷涂轨迹仿真优化方法及装置
CN115179294A (zh) 机器人控制方法、系统、计算机设备、存储介质
CN114841944B (zh) 基于挂轨轨道机器人的尾矿坝表面形变巡检方法
CN113031462A (zh) 无人机用港机巡检航线规划系统及方法
CN116766194A (zh) 基于双目视觉的盘类工件定位与抓取系统和方法
CN109358640B (zh) 一种无人机激光探测实时可视化方法、系统及存储介质
CN113534844B (zh) 一种未知环境下的旋翼飞行器输电线路巡检方法及装置
CN114407015A (zh) 一种基于数字孪生的遥操作机器人在线示教系统及方法
CN114750154A (zh) 一种配网带电作业机器人的动态目标识别定位与抓取方法
CN116909208B (zh) 基于人工智能的壳体加工路径优化方法及系统
CN116122356B (zh) 一种基于多模型融合的深基坑安全监测系统
Park et al. 3D log recognition and pose estimation for robotic forestry machine
CN109948192B (zh) 一种吊装作业空间建模方法及系统
CN108875164B (zh) 一种带电更换跌落式熔断器作业场景的快速重构方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant