CN113554757A - 基于数字孪生的工件轨迹三维重构方法及系统 - Google Patents

基于数字孪生的工件轨迹三维重构方法及系统 Download PDF

Info

Publication number
CN113554757A
CN113554757A CN202110747638.1A CN202110747638A CN113554757A CN 113554757 A CN113554757 A CN 113554757A CN 202110747638 A CN202110747638 A CN 202110747638A CN 113554757 A CN113554757 A CN 113554757A
Authority
CN
China
Prior art keywords
workpiece
track
virtual simulation
environment
simulation environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110747638.1A
Other languages
English (en)
Inventor
孙文磊
徐洋洋
谢文显
刘国良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinjiang University
Original Assignee
Xinjiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinjiang University filed Critical Xinjiang University
Priority to CN202110747638.1A priority Critical patent/CN113554757A/zh
Publication of CN113554757A publication Critical patent/CN113554757A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Numerical Control (AREA)

Abstract

本发明涉及一种三维重建技术领域，是一种基于数字孪生的工件轨迹三维重构方法及系统，通过真实物理环境与虚拟仿真环境的映射，在虚拟环境中生成与真实环境中工件相对应的工件模型，在通过同时提取真实环境与虚拟仿真环境的信息，获得虚拟仿真环境中的加工轨迹，并将虚拟仿真环境中的加工轨迹与真实环境的工件轨迹进行对比调整，修正虚拟仿真环境中的加工轨迹，加快了建模的速度，通过映射提高了建模的精度；并且在真实环境中完成工件基础信息采集后，通过快速在虚拟仿真环境中建立模型文件及加工轨迹，进一步基础信对应的三维信息是基于工件末端坐标系，这些信息用于加工时，工件相对于机器人的定位误差以及传感器识别工件时产生的几何误差。

Description

基于数字孪生的工件轨迹三维重构方法及系统
技术领域
本发明涉及一种三维重建技术领域，是一种基于数字孪生的工件轨迹三维重构方法及系统。
背景技术
目前，利用机器人加工的步骤都需要经过对被加工工件进行扫描、三维重构，再将三维模型导入专业编程软件路径规划，再将被加工工件装夹在机器人工作空间下，修正定位误差等一系列繁琐的工序。
现有加工建模方式包括：通过传统的手持三维扫描仪进行工件扫描，需经过粘贴工件标志点，获取点云；并通过三维模型复杂算法对点云重构，并利用复杂算法将二维图合成三维模型；该方式步骤繁琐、计算复杂、建模速度慢，且扫描设备与加工设备是分开的，机器人路径规划是基于扫描模型，存在定位误差，加工过程中不可避免会产生震动等不利因素，路径在电脑端生成后不可改变，传统的加工过程中因先扫描后加工过程中产生的装夹误差、机器人定位误差等。
发明内容
本发明提供了一种基于数字孪生的工件轨迹三维重构方法，克服了上述现有技术之不足，其能有效解决传统加工方式存在的步骤繁琐、建模速度慢及效率低的问题。
本发明的技术方案一是通过以下措施来实现的：一种基于数字孪生的工件轨迹三维重构方法，包括：
在真实环境中，获得工件三维信息，其中工件三维信息包括工件的形状、大小及深度信息，深度信息包括测距设备到工件的距离；
在虚拟仿真环境中，利用工件三维信息构建该工件相应的模型文件和启动文件，实现工件在虚拟仿真环境中对真实环境的映射；
获得真实环境下工件的工件轨迹，对工件轨迹进行插补点计算，将所有的插补点信息传输至虚拟仿真环境中，在虚拟仿真环境中每个插补点位置处均生成的细小模型，细小模型的合集构建成虚拟仿真环境中的加工轨迹；
将虚拟仿真环境中的加工轨迹与真实环境的工件轨迹进行对比调整，直至两条轨迹重合时完成对虚拟仿真环境中加工轨迹的修正。
下面是对上述发明技术方案一的进一步优化或/和改进：
上述所述获得真实环境下工件的工件轨迹，包括：
获得真实环境的工件图像，其中工件图像通过图像A减去图像B获得，图像A为包含有工件的工作台照片，图像B为不包含工件的工作台照片；
工件图像通过下式转换成含有像素点的工件图像；
Figure BDA0003143494900000021
其中，u、v表示像素平面坐标系，u0、v0表示像素坐标系下图像平面中心坐标值，x、y表示感光芯片上像素的实际大小，dx、dy表示单位长度像素的个数；
对含有像素点的工件图像进行形态学开操作，获得工件轨迹。
上述对工件轨迹进行插补点计算，将所有的插补点信息传输至虚拟仿真环境中，包括：
在工件轨迹上随机取点P0，以P0为界限，将工件轨迹分为左半部分和右半部分；
在右半部分，从P0开始，以0.01rad对工件进行轨迹插补点的迭代搜索，其中插补步长为R；判断搜索点是否落在工件轨迹范围之内，若是落在工件轨迹范围内，则为插补点，若没有落在工件轨迹范围内，则循环上述步骤直至插补至工件轨迹右端点Pn；左半部分与右半部分的插补过程相同；
通过下式将所有插补点从相机坐标系转换到机器人坐标系后，将所有的插补点信息传输至虚拟仿真环境中：
Figure BDA0003143494900000022
其中，Xc、Yc、Zc表示插补点在相机坐标系下的三维信息，Xb、Yb、Zb表示插补点在机器人坐标下的三维信息，变换
Figure BDA0003143494900000023
表示相机的外参，也就是相机相对于末端执行器tool的转换矩阵，变换
Figure BDA0003143494900000024
表示末端执行器tool相对于机器人基坐标的转换矩阵。
上述将虚拟仿真环境中的加工轨迹与真实环境的工件轨迹进行对比调整，直至两条轨迹重合时完成对虚拟仿真环境中加工轨迹的修正，包括：
利用仿真相机获取虚拟仿真环境中的工作台、工件、加工轨迹照片，其中照片的像素、尺寸需与真实环境的工作台、工件、轨迹照片相同；
将虚拟仿真环境中的工作台、工件、加工轨迹照片与真实环境的工作台、工件、轨迹照片进行对比，判断真实环境的工件轨迹相对于虚拟仿真环境中加工轨迹的是偏右还是偏左；
若真实环境的工件轨迹相对于虚拟仿真环境中加工轨迹偏右，则调整虚拟仿真环境中工件向右，真实环境的工件轨迹向左移动；
若真实环境的工件轨迹相对于虚拟仿真环境中加工轨迹偏左，则调整虚拟仿真环境中工件向左，真实环境的工件轨迹向右移动；
不断移动修正，直至两条轨迹完全重合。
上述还包括，在完成对虚拟仿真环境中加工轨迹的修正后，根据插补点对加工过程进行分段，并在加工过程中根据真实加工状态实时对虚拟仿真环境中的加工轨迹进行修正。
本发明的技术方案二是通过以下措施来实现的：一种基于数字孪生的工件轨迹三维重构系统，包括设置在真实环境中的工件识别单元、真实工件轨迹构建单元，设置在虚拟仿真环境中工件模型映射单元、虚拟加工轨迹修正单元、加工控制单元；
工件识别单元，在真实环境中，获得工件三维信息，其中工件三维信息包括工件的形状、大小及深度信息，深度信息包括测距设备到工件的距离；
工件模型映射单元，在虚拟仿真环境中，利用工件三维信息构建该工件相应的模型文件和启动文件，实现工件在虚拟仿真环境中对真实环境的映射；
真实工件轨迹构建单元，获得真实环境下工件的工件轨迹，对工件轨迹进行插补点计算，将所有的插补点信息传输至虚拟仿真环境中，在虚拟仿真环境中每个插补点位置处均生成的细小模型，细小模型的合集构建成虚拟仿真环境中的加工轨迹；
虚拟加工轨迹修正单元，将虚拟仿真环境中的加工轨迹与真实环境的工件轨迹进行对比调整，直至两条轨迹重合时完成对虚拟仿真环境中加工轨迹的修正。
下面是对上述发明技术方案二的进一步优化或/和改进：
上述工件识别单元包括机械臂机器人及用于控制机械臂机器人的客户机，机械臂机器人上设置有相机和激光测距传感器，客户机控制机械臂机器人获得在真实环境中工件三维信息、获得真实环境的工作台、工件、轨迹照片及根据对虚拟仿真环境中的加工轨迹对工件进行加工，工件三维信息包括通过相机获取的工件形状、大小及工件在工作台上的位置信息，通过激光测距传感器测得激光测距传感器到工件的距离信息。
本发明公开一种基于数字孪生的工件轨迹三维重构方法，通过真实物理环境与虚拟仿真环境的映射，在虚拟环境中生成与真实环境中工件相对应的工件模型，在通过同时提取真实环境与虚拟仿真环境的信息，获得虚拟仿真环境中的加工轨迹，并将虚拟仿真环境中的加工轨迹与真实环境的工件轨迹进行对比调整，修正虚拟仿真环境中的加工轨迹，使得即避开了传统的手持三维扫描仪繁琐的步骤，也避开了将点云重构为三维模型复杂算法以及利用复杂算法将二维图合成三维模型的方法，加快了建模的速度，通过映射提高了建模的精度；并且在真实环境中完成工件基础信息采集后，通过快速在虚拟仿真环境中建立模型文件及加工轨迹，实现工件的快速加工，避免了传统的加工过程中因先扫描后加工过程所产生的装夹误差，进一步基础信对应的三维信息是基于工件末端坐标系，这些信息用于加工时，工件相对于机器人的定位误差以及传感器识别工件时产生的几何误差。
附图说明
附图1为本发明实施例1的方法流程图。
附图2为本发明实施例2中真实环境下工件的工件轨迹获取流程图。
附图3为本发明实施例3中插补点的获取流程图。
附图4为本发明实施例4中真实环境下工件轨迹与虚拟仿真环境下加工轨迹的对比修正流程图。
附图5为本发明实施例5的系统框图。
附图6为本发明实施例4的一种工件轨迹示意图。
具体实施方式
本发明不受下述实施例的限制，可根据本发明的技术方案与实际情况来确定具体的实施方式。
下面结合实施例及附图对本发明作进一步描述：
实施例1：如附图1所示，本实施例公开了一种基于数字孪生的工件轨迹三维重构方法，包括：
步骤S101，在真实环境中，获得工件三维信息，其中工件三维信息包括工件的形状、大小及深度信息，深度信息包括测距设备到工件的距离；
步骤S102，在虚拟仿真环境中，利用工件三维信息构建该工件相应的模型文件和启动文件，实现工件在虚拟仿真环境中对真实环境的映射；
步骤S103，获得真实环境下工件的工件轨迹，对工件轨迹进行插补点计算，将所有的插补点信息传输至虚拟仿真环境中，在虚拟仿真环境中每个插补点位置处均生成的细小模型，细小模型的合集构建成虚拟仿真环境中的加工轨迹；
步骤S104，将虚拟仿真环境中的加工轨迹与真实环境的工件轨迹进行对比调整，直至两条轨迹重合时完成对虚拟仿真环境中加工轨迹的修正。
上述技术方案步骤S101所述在真实环境中，获得工件三维信息，可以通过摄像设备对真实环境中的工件进行拍照后获得工件的形状、大小信息，通过测距设备测量测距设备到工件的距离，以此获得真实环境中的工件三维信息。
由于真实环境中的工件不限于矩形，也可以是圆形等其它形状，如图6所示,本实施例以矩形工件为例，通过识别矩形的四个顶点即可获得矩形模型的长、宽尺寸，传输至虚拟仿真环境中。
上述技术方案步骤S102中通过虚拟仿真环境接收到真实环境中的工件基础信息后，将真实环境中的工件基础信息的数据转换为在虚拟仿真环境中的模型参数(即为虚拟仿真环境中工件的几何尺寸)，根据模型参数并利用python代码生成ROS系统下的机器人模型的xacro模型文件(可基于python的xml.etree模块生成xacro模型文件)，并生成相应在gazebo仿真平台加载模型文件的roslaunch启动文件；然后通过调用该roslaunch启动文件，在gazebo环境中加载模型文件，使得在虚拟仿真环境实现对真实物理环境的映射。
上述技术方案步骤S103中可采用公知的逐点比较法、数字积分法、比较积分法、数据采样法、时间分割法等方法对工件轨迹进行插补点计算；在虚拟仿真环境中，将所有插补点的位置映射在模型文件中，并在每个插补点的位置处生成细小模型，所有细小模型的集合构成虚拟仿真环境中的加工轨迹，其中细小模型只需要利用插补点的三维坐标进行构建，比如生成细小圆柱，圆柱的三维尺寸相对于工件是较小值，同样可基于python的xml.etree模块进行编写生成。
上述实施例在完成对虚拟仿真环境中加工轨迹的修正后，根据插补点对加工过程进行分段，并在加工过程中根据真实加工状态实时对虚拟仿真环境中的加工轨迹进行修正。即为加工过程中若工件产生位移、震动等，在超出工件加工预期前(设置一定阈值)，则暂停加工，重复修正步骤，修正完成后，再从该断点继续加工；可以有效解决传统加工方式，路径在电脑端生成后不可改变的问题，本方案可以根据加工状态实时调整加工轨迹，减少了加工工序，提高了加工效率。
本发明实施例一种基于数字孪生的工件轨迹三维重构方法，通过真实物理环境与虚拟仿真环境的映射，在虚拟环境中生成与真实环境中工件相对应的工件模型，在通过同时提取真实环境与虚拟仿真环境的信息，获得虚拟仿真环境中的加工轨迹，并将虚拟仿真环境中的加工轨迹与真实环境的工件轨迹进行对比调整，修正虚拟仿真环境中的加工轨迹，使得即避开了传统的手持三维扫描仪繁琐的步骤，也避开了将点云重构为三维模型复杂算法以及利用复杂算法将二维图合成三维模型的方法，加快了建模的速度，通过映射提高了建模的精度；并且在真实环境中完成工件基础信息采集后，通过快速在虚拟仿真环境中建立模型文件及加工轨迹，实现工件的快速加工，避免了传统的加工过程中因先扫描后加工过程所产生的装夹误差，进一步基础信对应的三维信息是基于工件末端坐标系，这些信息用于加工时，工件相对于机器人的定位误差以及传感器识别工件时产生的几何误差。
实施例2，如附图2所示，本发明实施公开了一种基于数字孪生的工件轨迹三维重构方法，其中获得真实环境下工件的工件轨迹进一步包括：
步骤S201，获得真实环境的工件图像，其中工件图像通过图像A减去图像B获得，图像A为包含有工件的工作台照片，图像B为不包含工件的工作台照片；
步骤S202，工件图像通过下式转换成含有像素点的工件图像；
Figure BDA0003143494900000051
其中，u、v表示像素平面坐标系，u0、v0表示像素坐标系下图像平面中心坐标值，x、y表示感光芯片上像素的实际大小，dx、dy表示单位长度像素的个数；
步骤S203，对含有像素点的工件图像进行形态学开操作，获得工件轨迹。
上述技术方案步骤S203中所述对含有像素点的工件图像进行形态学开操作，获得工件轨迹，其中形态学开操作为公知技术，形态学开操作是图像形态学的重要操纵之一，基于膨胀与腐蚀操作组合形成的，即开操作＝腐蚀+膨胀，输入图像+结构元素，主要用来在消除小物体、平滑较大物体的边界的同时并不明显改变其面积，提取水平或竖直的线。
实施例3，如附图3、6所示，本发明实施公开了一种基于数字孪生的工件轨迹三维重构方法，其中对工件轨迹进行插补点计算，将所有的插补点信息传输至虚拟仿真环境中，进一步包括：
步骤S301，在工件轨迹上随机取点P0，以P0为界限，将工件轨迹分为左半部分和右半部分；
步骤S302，在右半部分，从P0开始，以0.01rad对工件进行轨迹插补点的迭代搜索，其中插补步长为R；判断搜索点是否落在工件轨迹范围之内，若是落在工件轨迹范围内，则为插补点，若没有落在工件轨迹范围内，则循环上述步骤直至插补至工件轨迹右端点Pn；左半部分与右半部分的插补过程相同；
步骤S303，通过下式将所有插补点从相机坐标系转换到机器人坐标系后，将所有的插补点信息传输至虚拟仿真环境中：
Figure BDA0003143494900000061
其中，Xc、Yc、Zc表示插补点在相机坐标系下的三维信息，Xb、Yb、Zb表示插补点在机器人坐标下的三维信息，变换
Figure BDA0003143494900000062
表示相机的外参，也就是相机相对于末端执行器tool的转换矩阵，变换
Figure BDA0003143494900000063
表示末端执行器tool相对于机器人基坐标的转换矩阵。
上述技术方案步骤S302中，若工件轨迹如附图6所示，则判断搜索点是否落在工件轨迹范围之内时，确定搜索点是否落在黑色区域(黑色区域为轨迹区域，白色区域为非轨迹区域)，若搜索点落在黑色区域时，如图中P1所示，满足条件，若搜索点落在白色区域时如图中P0’所示，不满足条件。
上述技术方案步骤S303中，将插补点从相机坐标系转换到机器人坐标系的具体过程包括：
1、获得工件图像的像素信息与相片信息对应关系式；
Figure BDA0003143494900000071
2、获得工件在相机坐标系下坐标值与在图像坐标系下坐标值的对应关系；
Figure BDA0003143494900000072
3、将上述两个公式结合，获得下式；
Figure BDA0003143494900000073
4、通过上式获得相机坐标系下的三维信息中的Xc和Yc；
Figure BDA0003143494900000074
Figure BDA0003143494900000075
5、通过激光测距传感器测得距离信息Zc，并结合上一步的计算结果求得该点在相机坐标系下的三维信息；
Figure BDA0003143494900000076
上述公式中u，v表示像素平面坐标系；u0,v0表示像素坐标系下图像平面中心坐标值；x，y表示感光芯片上像素的实际大小，dx,dy表示单位长度像素的个数；Xc、Yc、Zc表示相机坐标系；f为相机焦距，k1、k2、u0、v0为相机内参；矩阵
Figure BDA0003143494900000077
通过相机内参标定获得；Zc表示工件到测距仪器之间的距离信息；两个变换
Figure BDA0003143494900000081
相机的外参，也就是相机相对于末端执行器tool的转换矩阵；
Figure BDA0003143494900000082
表示末端执行器tool相对于机器人基坐标的转换矩阵。
实施例4，如附图4所示，本发明实施公开了一种基于数字孪生的工件轨迹三维重构方法，其中将虚拟仿真环境中的加工轨迹与真实环境的工件轨迹进行对比调整，直至两条轨迹重合时完成对虚拟仿真环境中加工轨迹的修正，进一步包括：
步骤S401，利用仿真相机获取虚拟仿真环境中的工作台、工件、加工轨迹照片，其中照片的像素、尺寸需与真实环境的工作台、工件、轨迹照片相同；
步骤S402，将虚拟仿真环境中的工作台、工件、加工轨迹照片与真实环境的工作台、工件、轨迹照片进行对比，判断真实环境的工件轨迹相对于虚拟仿真环境中加工轨迹的是偏右还是偏左；
步骤S403，若真实环境的工件轨迹相对于虚拟仿真环境中加工轨迹偏右，则调整虚拟仿真环境中工件向右，真实环境的工件轨迹向左移动；
步骤S404，若真实环境的工件轨迹相对于虚拟仿真环境中加工轨迹偏左，则调整虚拟仿真环境中工件向左，真实环境的工件轨迹向右移动；
步骤S405，不断移动修正，直至两条轨迹完全重合。
上述技术方案步骤S401中，虚拟仿真环境中的工作台、工件、加工轨迹照片与真实环境的工作台、工件、轨迹照片相同，具体是要保证两个照片的像素相同和两个环境下的工件大小相同；便于后续对两个环境下的工件轨迹进行对比。
若本实施例能完成对虚拟仿真环境中加工轨迹的修正，则进入后续工件加工步骤，若不能完成对虚拟仿真环境中加工轨迹的修正，则返回重复步骤103，在此不做赘述。
实施例5：如附图5所示，本发明实施公开了一种基于数字孪生的三维重构系统，包括：设置在真实环境中的工件识别单元、真实工件轨迹构建单元，设置在虚拟仿真环境中工件模型映射单元、虚拟加工轨迹修正单元、加工控制单元；
工件识别单元，在真实环境中，获得工件三维信息，其中工件三维信息包括工件的形状、大小及深度信息，深度信息包括测距设备到工件的距离；
工件模型映射单元，在虚拟仿真环境中，利用工件三维信息构建该工件相应的模型文件和启动文件，实现工件在虚拟仿真环境中对真实环境的映射；
真实工件轨迹构建单元，获得真实环境下工件的工件轨迹，对工件轨迹进行插补点计算，将所有的插补点信息传输至虚拟仿真环境中，在虚拟仿真环境中每个插补点位置处均生成的细小模型，细小模型的合集构建成虚拟仿真环境中的加工轨迹；
虚拟加工轨迹修正单元，将虚拟仿真环境中的加工轨迹与真实环境的工件轨迹进行对比调整，直至两条轨迹重合时完成对虚拟仿真环境中加工轨迹的修正。
上述工件识别单元可安装有Ubuntu系统和ROS软件；上述虚拟加工轨迹修正单元可安装有ubuntu系统和ROS软件。
实施例6：本发明实施公开了一种基于数字孪生的三维重构系统，其中工件识别单元进一步包括机械臂机器人及用于控制机械臂机器人的客户机，机械臂机器人上设置有相机和激光测距传感器，客户机控制机械臂机器人获得在真实环境中工件三维信息、获得真实环境的工作台、工件、轨迹照片及根据对虚拟仿真环境中的加工轨迹对工件进行加工，工件三维信息包括通过相机获取的工件形状、大小及工件在工作台上的位置信息，通过激光测距传感器测得激光测距传感器到工件的距离信息。
机械臂机器人即是加工装置，同时也是感知装置的一部分，能够实现采集真实环境中的工件三维信息后，提取工件图像边沿立马进行加工，避免了传统的加工方式中扫描设备与加工设备是分开的，机器人路径规划是基于扫描模型，存在定位误差，传统加工方式过程中因先扫描后加工过程中产生的装夹误差等弊端，本系统中感知三维信息基于工件末端坐标系，这些信息用于加工时，抵消了机械臂机器人的各关节的误差和工件相对于机器人的定位误差。
以上技术特征构成了本发明的最佳实施例，其具有较强的适应性和最佳实施效果，可根据实际需要增减非必要的技术特征，来满足不同情况的需求。

Claims (10)

1.一种基于数字孪生的工件轨迹三维重构方法，其特征在于，包括：
在真实环境中，获得工件三维信息，其中工件三维信息包括工件的形状、大小及深度信息，深度信息包括测距设备到工件的距离；
在虚拟仿真环境中，利用工件三维信息构建该工件相应的模型文件和启动文件，实现工件在虚拟仿真环境中对真实环境的映射；
获得真实环境下工件的工件轨迹，对工件轨迹进行插补点计算，将所有的插补点信息传输至虚拟仿真环境中，在虚拟仿真环境中每个插补点位置处均生成的细小模型，细小模型的合集构建成虚拟仿真环境中的加工轨迹；
将虚拟仿真环境中的加工轨迹与真实环境的工件轨迹进行对比调整，直至两条轨迹重合时完成对虚拟仿真环境中加工轨迹的修正。
2.根据权利要求1所述的基于数字孪生的工件轨迹三维重构方法，其特征在于所述获得真实环境下工件的工件轨迹，包括：
获得真实环境的工件图像，其中工件图像通过图像A减去图像B获得，图像A为包含有工件的工作台照片，图像B为不包含工件的工作台照片；
工件图像通过下式转换成含有像素点的工件图像；
Figure FDA0003143494890000011
其中，u、v表示像素平面坐标系，u0、v0表示像素坐标系下图像平面中心坐标值，x、y表示感光芯片上像素的实际大小，dx、dy表示单位长度像素的个数；
对含有像素点的工件图像进行形态学开操作，获得工件轨迹。
3.根据权利要求1或2所述的基于数字孪生的工件轨迹三维重构方法，其特征在于所述对工件轨迹进行插补点计算，将所有的插补点信息传输至虚拟仿真环境中，包括：
在工件轨迹上随机取点P0，以P0为界限，将工件轨迹分为左半部分和右半部分；
在右半部分，从P0开始，以0.01rad对工件进行轨迹插补点的迭代搜索，其中插补步长为R；判断搜索点是否落在工件轨迹范围之内，若是落在工件轨迹范围内，则为插补点，若没有落在工件轨迹范围内，则循环上述步骤直至插补至工件轨迹右端点Pn；左半部分与右半部分的插补过程相同；
通过下式将所有插补点从相机坐标系转换到机器人坐标系后，将所有的插补点信息传输至虚拟仿真环境中：
Figure FDA0003143494890000021
其中，Xc、Yc、Zc表示插补点在相机坐标系下的三维信息，Xb、Yb、Zb表示插补点在机器人坐标下的三维信息，变换
Figure FDA0003143494890000022
表示相机的外参，也就是相机相对于末端执行器tool的转换矩阵，变换
Figure FDA0003143494890000023
表示末端执行器tool相对于机器人基坐标的转换矩阵。
4.根据权利要求1或2所述的基于数字孪生的工件轨迹三维重构方法，其特征在于所述将虚拟仿真环境中的加工轨迹与真实环境的工件轨迹进行对比调整，直至两条轨迹重合时完成对虚拟仿真环境中加工轨迹的修正，包括：
利用仿真相机获取虚拟仿真环境中的工作台、工件、加工轨迹照片，其中照片的像素、尺寸需与真实环境的工作台、工件、轨迹照片相同；
将虚拟仿真环境中的工作台、工件、加工轨迹照片与真实环境的工作台、工件、轨迹照片进行对比，判断真实环境的工件轨迹相对于虚拟仿真环境中加工轨迹的是偏右还是偏左；
若真实环境的工件轨迹相对于虚拟仿真环境中加工轨迹偏右，则调整虚拟仿真环境中工件向右，真实环境的工件轨迹向左移动；
若真实环境的工件轨迹相对于虚拟仿真环境中加工轨迹偏左，则调整虚拟仿真环境中工件向左，真实环境的工件轨迹向右移动；
不断移动修正，直至两条轨迹完全重合。
5.根据权利要求3所述的基于数字孪生的工件轨迹三维重构方法，其特征在于所述将虚拟仿真环境中的加工轨迹与真实环境的工件轨迹进行对比调整，直至两条轨迹重合时完成对虚拟仿真环境中加工轨迹的修正，包括：
利用仿真相机获取虚拟仿真环境中的工作台、工件、加工轨迹照片，其中照片的像素、尺寸需与真实环境的工作台、工件、轨迹照片相同；
将虚拟仿真环境中的工作台、工件、加工轨迹照片与真实环境的工作台、工件、轨迹照片进行对比，判断真实环境的工件轨迹相对于虚拟仿真环境中加工轨迹的是偏右还是偏左；
若真实环境的工件轨迹相对于虚拟仿真环境中加工轨迹偏右，则调整虚拟仿真环境中工件向右，真实环境的工件轨迹向左移动；
若真实环境的工件轨迹相对于虚拟仿真环境中加工轨迹偏左，则调整虚拟仿真环境中工件向左，真实环境的工件轨迹向右移动；
不断移动修正，直至两条轨迹完全重合。
6.根据权利要求3所述的基于数字孪生的工件轨迹三维重构方法，其特征在于还包括在完成对虚拟仿真环境中加工轨迹的修正后，根据插补点对加工过程进行分段，并在加工过程中根据真实加工状态实时对虚拟仿真环境中的加工轨迹进行修正。
7.根据权利要求4所述的基于数字孪生的工件轨迹三维重构方法，其特征在于还包括在完成对虚拟仿真环境中加工轨迹的修正后，根据插补点对加工过程进行分段，并在加工过程中根据真实加工状态实时对虚拟仿真环境中的加工轨迹进行修正。
8.根据权利要求1或2或5所述的基于数字孪生的工件轨迹三维重构方法，其特征在于还包括，在完成对虚拟仿真环境中加工轨迹的修正后，根据插补点对加工过程进行分段，并在加工过程中根据真实加工状态实时对虚拟仿真环境中的加工轨迹进行修正。
9.一种基于数字孪生的三维重构系统，其特征在于，包括设置在真实环境中的工件识别单元、真实工件轨迹构建单元，设置在虚拟仿真环境中工件模型映射单元、虚拟加工轨迹修正单元、加工控制单元；
工件识别单元，在真实环境中，获得工件三维信息，其中工件三维信息包括工件的形状、大小及深度信息，深度信息包括测距设备到工件的距离；
工件模型映射单元，在虚拟仿真环境中，利用工件三维信息构建该工件相应的模型文件和启动文件，实现工件在虚拟仿真环境中对真实环境的映射；
真实工件轨迹构建单元，获得真实环境下工件的工件轨迹，对工件轨迹进行插补点计算，将所有的插补点信息传输至虚拟仿真环境中，在虚拟仿真环境中每个插补点位置处均生成的细小模型，细小模型的合集构建成虚拟仿真环境中的加工轨迹；
虚拟加工轨迹修正单元，将虚拟仿真环境中的加工轨迹与真实环境的工件轨迹进行对比调整，直至两条轨迹重合时完成对虚拟仿真环境中加工轨迹的修正。
10.根据权利要求9所述的基于数字孪生的三维重构系统，其特征在于所述工件识别单元包括机械臂机器人及用于控制机械臂机器人的客户机，机械臂机器人上设置有相机和激光测距传感器，客户机控制机械臂机器人获得在真实环境中工件三维信息、获得真实环境的工作台、工件、轨迹照片及根据对虚拟仿真环境中的加工轨迹对工件进行加工，工件三维信息包括通过相机获取的工件形状、大小及工件在工作台上的位置信息，通过激光测距传感器测得激光测距传感器到工件的距离信息。
CN202110747638.1A 2021-07-01 2021-07-01 基于数字孪生的工件轨迹三维重构方法及系统 Pending CN113554757A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110747638.1A CN113554757A (zh) 2021-07-01 2021-07-01 基于数字孪生的工件轨迹三维重构方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110747638.1A CN113554757A (zh) 2021-07-01 2021-07-01 基于数字孪生的工件轨迹三维重构方法及系统

Publications (1)

Publication Number Publication Date
CN113554757A true CN113554757A (zh) 2021-10-26

Family

ID=78131221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110747638.1A Pending CN113554757A (zh) 2021-07-01 2021-07-01 基于数字孪生的工件轨迹三维重构方法及系统

Country Status (1)

Country Link
CN (1) CN113554757A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114396944A (zh) * 2022-01-18 2022-04-26 西安塔力科技有限公司 一种基于数字孪生的自主定位误差矫正方法
CN114408439A (zh) * 2022-03-30 2022-04-29 山东捷瑞数字科技股份有限公司 一种面向工业堆垛机的数字孪生运动仿真系统及方法
CN114580846A (zh) * 2022-01-28 2022-06-03 广东开放大学（广东理工职业学院） 一种视觉和数字孪生结合的加工路径实时修正方法
CN115524997A (zh) * 2022-09-28 2022-12-27 山东大学 基于强化与模仿学习的机器人动态操作布料方法及系统
CN116541923A (zh) * 2023-04-07 2023-08-04 中国民用航空飞行学院 一种基于vr的带支架设备室内安装基础定位方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102785246A (zh) * 2012-08-24 2012-11-21 电子科技大学 一种可实现自动轨迹修正的机器人标定方法
CN103085072A (zh) * 2013-03-11 2013-05-08 南京埃斯顿机器人工程有限公司 基于三维建模软件实现工业机器人离线编程的方法
CN106134469B (zh) * 2011-08-26 2013-11-27 北京卫星制造厂 一种模拟刀具中心轨迹的数控程序校对系统与方法
CN105171745A (zh) * 2015-08-31 2015-12-23 上海发那科机器人有限公司 一种机器人离线编程系统
CN108115705A (zh) * 2017-12-31 2018-06-05 芜湖哈特机器人产业技术研究院有限公司 一种机器人打磨控制系统及方法
CN108724190A (zh) * 2018-06-27 2018-11-02 西安交通大学 一种工业机器人数字孪生系统仿真方法及装置
CN109514557A (zh) * 2018-12-13 2019-03-26 北京炎凌嘉业机电设备有限公司 一种3d视觉机器人轨迹修正系统
CN109571152A (zh) * 2018-12-27 2019-04-05 丰泰智控(深圳)有限公司 一种基于离线编程的工件自动打磨加工方法
CN110039523A (zh) * 2019-05-20 2019-07-23 北京无远弗届科技有限公司 一种工业机器人视觉伺服系统、伺服方法及装置
CN110625615A (zh) * 2019-09-25 2019-12-31 华中科技大学 一种机器人离线编程信息处理系统及方法
CN111590594A (zh) * 2020-06-22 2020-08-28 南京航空航天大学 基于视觉引导的机器人轨迹跟踪控制方法
CN111890351A (zh) * 2020-06-12 2020-11-06 深圳先进技术研究院 机器人及其控制方法、计算机可读存储介质
CN111890350A (zh) * 2020-06-12 2020-11-06 深圳先进技术研究院 机器人及其控制方法、计算机可读存储介质
CN112223294A (zh) * 2020-10-22 2021-01-15 湖南大学 一种基于三维视觉的机械臂加工轨迹修正方法
CN112947294A (zh) * 2021-02-22 2021-06-11 长春汽车工业高等专科学校 一种基于数字孪生的汽车装配车间监控仿真系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106134469B (zh) * 2011-08-26 2013-11-27 北京卫星制造厂 一种模拟刀具中心轨迹的数控程序校对系统与方法
CN102785246A (zh) * 2012-08-24 2012-11-21 电子科技大学 一种可实现自动轨迹修正的机器人标定方法
CN103085072A (zh) * 2013-03-11 2013-05-08 南京埃斯顿机器人工程有限公司 基于三维建模软件实现工业机器人离线编程的方法
CN105171745A (zh) * 2015-08-31 2015-12-23 上海发那科机器人有限公司 一种机器人离线编程系统
CN108115705A (zh) * 2017-12-31 2018-06-05 芜湖哈特机器人产业技术研究院有限公司 一种机器人打磨控制系统及方法
CN108724190A (zh) * 2018-06-27 2018-11-02 西安交通大学 一种工业机器人数字孪生系统仿真方法及装置
CN109514557A (zh) * 2018-12-13 2019-03-26 北京炎凌嘉业机电设备有限公司 一种3d视觉机器人轨迹修正系统
CN109571152A (zh) * 2018-12-27 2019-04-05 丰泰智控(深圳)有限公司 一种基于离线编程的工件自动打磨加工方法
CN110039523A (zh) * 2019-05-20 2019-07-23 北京无远弗届科技有限公司 一种工业机器人视觉伺服系统、伺服方法及装置
CN110625615A (zh) * 2019-09-25 2019-12-31 华中科技大学 一种机器人离线编程信息处理系统及方法
CN111890351A (zh) * 2020-06-12 2020-11-06 深圳先进技术研究院 机器人及其控制方法、计算机可读存储介质
CN111890350A (zh) * 2020-06-12 2020-11-06 深圳先进技术研究院 机器人及其控制方法、计算机可读存储介质
CN111590594A (zh) * 2020-06-22 2020-08-28 南京航空航天大学 基于视觉引导的机器人轨迹跟踪控制方法
CN112223294A (zh) * 2020-10-22 2021-01-15 湖南大学 一种基于三维视觉的机械臂加工轨迹修正方法
CN112947294A (zh) * 2021-02-22 2021-06-11 长春汽车工业高等专科学校 一种基于数字孪生的汽车装配车间监控仿真系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李金泉 等: ""基于手眼立体视觉的弧焊机器人平面工件定位系统"", 《焊接学报》 *
陈泓宇: ""集装箱自动化焊接系统的轨迹规划和轨迹校正方法研究"", 《硕士电子期刊 工程科技Ⅰ辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114396944A (zh) * 2022-01-18 2022-04-26 西安塔力科技有限公司 一种基于数字孪生的自主定位误差矫正方法
CN114396944B (zh) * 2022-01-18 2024-03-22 西安塔力科技有限公司 一种基于数字孪生的自主定位误差矫正方法
CN114580846A (zh) * 2022-01-28 2022-06-03 广东开放大学（广东理工职业学院） 一种视觉和数字孪生结合的加工路径实时修正方法
CN114408439A (zh) * 2022-03-30 2022-04-29 山东捷瑞数字科技股份有限公司 一种面向工业堆垛机的数字孪生运动仿真系统及方法
CN115524997A (zh) * 2022-09-28 2022-12-27 山东大学 基于强化与模仿学习的机器人动态操作布料方法及系统
CN115524997B (zh) * 2022-09-28 2024-05-14 山东大学 基于强化与模仿学习的机器人动态操作布料方法及系统
CN116541923A (zh) * 2023-04-07 2023-08-04 中国民用航空飞行学院 一种基于vr的带支架设备室内安装基础定位方法
CN116541923B (zh) * 2023-04-07 2023-12-19 中国民用航空飞行学院 一种基于vr的带支架设备室内安装基础定位方法

Similar Documents

Publication Publication Date Title
CN113554757A (zh) 基于数字孪生的工件轨迹三维重构方法及系统
CN110815213B (zh) 一种基于多维度特征融合的零件识别装配方法和装置
CN110634161B (zh) 一种基于点云数据的工件位姿快速高精度估算方法及装置
US7747080B2 (en) System and method for scanning edges of a workpiece
EP1424656B1 (en) Apparatus for generating three-dimensional model data for a machine tool
CN113902810B (zh) 一种基于平行式双目立体视觉的机器人齿轮倒角加工方法
CN108994844B (zh) 一种打磨操作臂手眼关系的标定方法和装置
CN111476841B (zh) 一种基于点云和图像的识别定位方法及系统
CN111721259A (zh) 基于双目视觉的水下机器人回收定位方法
JP2020047049A (ja) 画像処理装置及び画像処理方法
CN111523547A (zh) 一种3d语义分割的方法及终端
CN112686950A (zh) 位姿估计方法、装置、终端设备及计算机可读存储介质
CN111583342A (zh) 一种基于双目视觉的目标快速定位方法及装置
JP7427370B2 (ja) 撮像装置、画像処理装置、画像処理方法、撮像装置の校正方法、ロボット装置、ロボット装置を用いた物品の製造方法、制御プログラムおよび記録媒体
CN110992416A (zh) 基于双目视觉与cad模型的高反光面金属零件位姿测量方法
CN115810133A (zh) 基于图像处理和点云处理的焊接控制方法及相关设备
CN111833392A (zh) 标记点多角度扫描方法、系统及装置
CN114413788A (zh) 基于双目视觉和反向模型重构的零件表面图案检测方法
JP2778430B2 (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
CN112361982B (zh) 一种大幅面工件三维数据提取方法及系统
CN115187556A (zh) 一种基于机器视觉的流水线上零件定位与点云获取方法
Motai et al. SmartView: hand-eye robotic calibration for active viewpoint generation and object grasping
JPH06258028A (ja) 視覚に基く三次元位置および姿勢の認識方法とその装置
CN112614182B (zh) 基于深度学习的识别加工位置的方法、存储设备、移动终端
CN111461230A (zh) 一种基于牙科stl模型和二维图像配准的牙模分类识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination