CN114417616A - 一种装配机器人遥操作环境的数字孪生建模方法及系统 - Google Patents

一种装配机器人遥操作环境的数字孪生建模方法及系统 Download PDF

Info

Publication number
CN114417616A
CN114417616A CN202210067998.1A CN202210067998A CN114417616A CN 114417616 A CN114417616 A CN 114417616A CN 202210067998 A CN202210067998 A CN 202210067998A CN 114417616 A CN114417616 A CN 114417616A
Authority
CN
China
Prior art keywords
robot
assembly body
image
coordinate system
assembly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210067998.1A
Other languages
English (en)
Inventor
陈成军
赵正旭
胡天亮
张建华
郭阳
李东年
张庆海
官源林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Hebei University of Technology
Qingdao University of Technology
Original Assignee
Shandong University
Hebei University of Technology
Qingdao University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University, Hebei University of Technology, Qingdao University of Technology filed Critical Shandong University
Priority to CN202210067998.1A priority Critical patent/CN114417616A/zh
Publication of CN114417616A publication Critical patent/CN114417616A/zh
Priority to US17/893,368 priority patent/US20230230312A1/en
Priority to JP2022133499A priority patent/JP7410499B2/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37567—3-D vision, stereo vision, with two cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40323—Modeling robot environment for sensor based robot system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/02—Reliability analysis or reliability optimisation; Failure analysis, e.g. worst case scenario performance, failure mode and effects analysis [FMEA]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Architecture (AREA)
  • Evolutionary Computation (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种装配机器人遥操作环境的数字孪生建模方法，包括以下步骤：采集遥操作环境的图像；识别正在装配的零部件；查询装配体装配顺序，根据正在装配的零部件获取已装配零部件列表；根据上述列表生成当前装配体的三维模型，并计算当前装配体在图像采集设备坐标系中的位姿信息；加载机器人三维模型，确定机器人坐标系与图像采集设备坐标系的坐标转换关系；根据坐标转换关系确定机器人在图像采集设备坐标系中的位姿信息；根据当前装配体和机器人在图像采集设备坐标系中的位姿信息确定当前装配体和机器人的相对位置关系；基于当前装配体的三维模型、机器人三维模型以及当前装配体和机器人的相对位置关系建立遥操作环境的数字孪生模型。

Description

一种装配机器人遥操作环境的数字孪生建模方法及系统
技术领域
本发明涉及一种装配机器人遥操作环境的数字孪生建模方法及系统，属于智能制造、数字孪生建模技术领域。
背景技术
在装配机器人遥操作中，本地端的操作者需要操控远程端的机器人完成装配任务，装配机器人远程端的遥操作环境主要包括机器人、装配体等要素，为精准重建机器人、装配体的几何模型，需要精确测量其位置姿态，因此远程端环境是一个动态变化的环境。
为了在本低端的计算机上构建一个远程端的遥操作环境的数字孪生模型，需要根据装配进程动态构建装配体和机器人的三维模型。一致的几何建模是保证孪生模型与遥操作环境一致的关键。
传统的建模方法通常为基于视觉的重建方法，具体为利用二维投影恢复三维信息的计算机技术，重建的结果通常是点云、网格、体素等模型，缺乏语义，不能实现零部件的分割，并且存在遮挡的问题，难以实现全局重建。
发明内容
为了解决上述现有技术中存在的问题，本发明提出了一种装配机器人遥操作环境的数字孪生建模方法，通过对装配体和机器人进行定位，确定装配体和机器人之间的位置关系，避免了基于视觉的稠密重建，提高了三维模型的精度和可视化效果。
本发明的技术方案如下：
一方面，本发明提供一种装配机器人遥操作环境的数字孪生建模方法，包括以下步骤：
通过图像采集设备采集遥操作环境的图像；
识别图像中当前正在装配的零部件；查询装配体装配顺序，根据当前正在装配的零部件获取已装配零部件列表；
根据已装配零部件列表生成当前装配体的三维模型，并计算当前装配体在图像采集设备坐标系中的位姿信息；
加载机器人三维模型，确定机器人坐标系与图像采集设备坐标系的坐标转换关系；
根据坐标转换关系对图像中的机器人进行方位标定，确定机器人在图像采集设备坐标系中的位姿信息；
根据当前装配体在图像采集设备坐标系中的位姿信息以及机器人在图像采集设备坐标系中的位姿信息确定当前装配体和机器人的相对位置关系；
基于当前装配体的三维模型、机器人三维模型以及当前装配体和机器人的相对位置关系建立遥操作环境的数字孪生模型。
作为优选实施方式，所述图像采集设备采集的图像包括深度图像，所述识别图像中当前正在装配的零部件的步骤具体为：
将深度图像中装配体不同零部件的区域使用不同颜色标签进行标识，生成实例分割图像；
对实例分割图像的颜色标签进行统计，识别当前正在装配的零部件。
作为优选实施方式，所述根据已装配零部件列表生成当前装配体的三维模型的步骤具体为：
加载已装配零部件列表中各零部件的三维模型；
按照预定义的装配体各零部件间的约束关系确定列表中各零部件在装配体上的位置；
根据列表中各零部件在装配体上的位置调整各零部件的三维模型的位置，生成当前装配体的三维模型。
作为优选实施方式，所述计算当前装配体在图像采集设备坐标系中的位姿信息的步骤具体为：
对深度图像进行预处理，剔除背景，保留当前装配体的深度图像；
利用图像采集设备的内参和成像模型将当前装配体的深度图像转换为装配体点云；
将装配体点云输入至点云特征提取网络提取装配体的点云特征；
将装配体的点云特征输入至预训练的位姿估计网络，输出装配体在图像采集设备坐标系中的位姿信息。
作为优选实施方式，所述位姿估计网络的预训练过程为：
确定初始信息；提取并记录初始视角下装配体三维模型点云的标签位姿信息，标签位姿信息包括三维模型点云中每个点的旋转矩阵Ri和偏移矩阵Ti，i为三维模型点云中每个点的索引；
点云转换；提取装配体三维模型在一与初始视角不同的另一视角下的装配体深度图像，并利用图像采集设备内参和成像模型将该装配体深度图像转换为装配体点云；
位姿预测；将装配体点云输入至点云特征提取网络，输出点云逐点特征，将点云逐点特征输入至位姿估计网络，预测每一点的位姿预测信息，包括预测旋转矩阵R′i和预测偏移矩阵T′i；
计算每一点的位姿预测信息与标签姿态信息的欧式距离，根据欧式距离生成置信度；若置信度小于设定的阈值，则执行图像更新步骤，若置信度大于设定的阈值或训练次数达到设定值，则输出当前视角的装配体最优位姿预测信息；判断训练是否完成，未完成则返回点云转换步骤，更换下一视角下的装配体深度图像继续训练，完成则执行图像更新步骤；
图像更新；将预测旋转矩阵R′i和预测偏移矩阵T′i作为输入，对装配体点云进行位移和旋转变换，更新装配体点云的三维坐标，将更新后的装配体点云输入至点云特征提取网络继续训练。
作为优选实施方式，所述图像采集设备为RGB-D相机，采集的图像还包括RGB图像；所述确定机器人坐标系与图像采集设备坐标系的坐标转换关系的步骤具体为：
在机器人的关节处设置定位标识物；
控制机器人做点位间歇运动，在每个间歇运动点，通过机器人控制器读取定位标识物在机器人坐标系下的坐标Pi(xwi,ywi,zwi)，同时识别定位标识物的特征点在RGB图像中的像素坐标Zi(ui,vi)；
根据定位标识物的特征点在RGB图像中的像素坐标Zi(ui,vi)以及RGB-D相机的成像模型，利用RGB-D相机中深度相机与彩色相机之间的位置关系，求出定位标识物的特征点在相机坐标系下的三维坐标Pi'(xci,yci,zci)；
获取四个以上间歇运动点的定位标识物在机器人坐标系下的坐标Pi(xwi,ywi,zwi)和定位标识物的特征点在相机坐标系下的三维坐标Pi'(xci,yci,zci)，计算机器人坐标系和相机坐标系的转换矩阵。
作为优选实施方式，在控制机器人做点位间歇运动步骤中，设定点位间歇运动的轨迹为多个正方形。
另一方面，本发明提供一种装配机器人遥操作环境的数字孪生建模系统，包括：
图像采集设备，用于采集遥操作环境的图像；
装配体数字化模块，预加载有装配体中各零部件的三维模，各零部件的约束关系以及装配体的装配顺序；
装配体重建模块，用于识别图像中当前正在装配的零部件以及查询装配体装配顺序，根据当前正在装配的零部件获取已装配零部件列表；并根据已装配零部件列表生成当前装配体的三维模型；
装配体定位模块，用于计算当前装配体在图像采集设备坐标系中的位姿信息；
机器人数字化模块，预加载有机器人三维模型；
机器人定位模块，用于确定机器人坐标系与图像采集设备坐标系的坐标转换关系；并根据坐标转换关系对图像中的机器人进行方位标定，确定机器人在图像采集设备坐标系中的位姿信息；
数字孪生模型重建模块，用于根据当前装配体在图像采集设备坐标系中的位姿信息以及机器人在图像采集设备坐标系中的位姿信息确定当前装配体和机器人的相对位置关系；并基于当前装配体的三维模型、机器人三维模型以及当前装配体和机器人的相对位置关系建立遥操作环境的数字孪生模型。
作为优选实施方式，所述图像采集设备为RGB-D相机。
再一方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如本发明任一实施例所述的装配机器人遥操作环境的数字孪生建模方法。
本发明具有如下有益效果：
本发明一种装配机器人遥操作环境的数字孪生建模方法，通过识别正在装配零部件，利用预输入的装配体装配顺序获取已装配零部件列表，根据已装配零部件列表重建高精度的当前装配体的三维模型。计算装配体以及机器人在图像采集设备坐标系中的位姿信息，从而获取机器人与装配体的相对位置关系，基于此关系建立精确的遥操作环境的数字孪生模型。
附图说明
图1为本发明实施例的流程图；
图2为本发明实施例中控制机器人进行点位间歇运动的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。
应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
实施例一：
参见图1，本实施例提供一种装配机器人遥操作环境的数字孪生建模方法，包括以下步骤：
通过图像采集设备采集遥操作环境的图像；
识别图像中当前正在装配的零部件；查询装配体装配顺序，根据当前正在装配的零部件获取已装配零部件列表；
根据已装配零部件列表生成当前装配体的三维模型，并计算当前装配体在图像采集设备坐标系中的位姿信息；
加载机器人三维模型，确定机器人坐标系与图像采集设备坐标系的坐标转换关系；
根据坐标转换关系对图像中的机器人进行方位标定，确定机器人在图像采集设备坐标系中的位姿信息；
根据当前装配体在图像采集设备坐标系中的位姿信息以及机器人在图像采集设备坐标系中的位姿信息确定当前装配体和机器人的相对位置关系；
基于当前装配体的三维模型、机器人三维模型以及当前装配体和机器人的相对位置关系建立遥操作环境的数字孪生模型。
本实施例通过识别正在装配零部件，利用预输入的装配体装配顺序获取已装配零部件列表，根据已装配零部件列表重建高精度的当前装配体的三维模型。计算装配体以及机器人在图像采集设备坐标系中的位姿信息，从而获取机器人与装配体的相对位置关系，基于此关系建立精确的遥操作环境的数字孪生模型。
作为本实施例的优选实施方式，所述图像采集设备采集的图像包括深度图像，所述识别图像中当前正在装配的零部件的步骤具体为：
将深度图像中装配体不同零部件的区域使用不同颜色标签进行标识，生成实例分割图像；
对实例分割图像的颜色标签进行统计，识别当前正在装配的零部件。
作为本实施例的优选实施方式，所述根据已装配零部件列表生成当前装配体的三维模型的步骤具体为：
加载已装配零部件列表中各零部件的三维模型；
按照预定义的装配体各零部件间的约束关系确定列表中各零部件在装配体上的位置；
根据列表中各零部件在装配体上的位置调整各零部件的三维模型的位置，生成当前装配体的三维模型。
作为本实施例的优选实施方式，所述计算当前装配体在图像采集设备坐标系中的位姿信息的步骤具体为：
对深度图像进行预处理，剔除背景，只保留当前装配体，获取当前装配体的深度图像；
利用图像采集设备的内参和成像模型将当前装配体的深度图像转换为深度图像点云，以下称为装配体点云；
将装配体点云输入至PointNet++点云特征提取网络，提取装配体的点云特征；
将装配体的点云特征输入至预训练的Dense Fusion位姿估计网络，输出装配体在图像采集设备坐标系中的位姿信息。
本实施例将装配体三维模型与深度图像匹配，利用PointNet++网络提取点云特征，利用位姿估计网络Dense Fusion估计装配体的位姿信息，实现装配体的定位。
作为本实施例的优选实施方式，所述位姿估计网络的预训练过程为：
确定初始信息；提取并记录初始视角下装配体三维模型点云的标签位姿信息，标签位姿信息包括三维模型点云中每个点的旋转矩阵Ri和偏移矩阵Ti，i为三维模型点云中每个点的索引；
点云转换；提取装配体三维模型在一与初始视角不同的另一视角下的装配体深度图像，并利用图像采集设备内参和成像模型将该装配体深度图像转换为装配体点云；
位姿预测；将装配体点云输入至PointNet++点云特征提取网络，提取装配体点云的几何特征，生成密集的点云逐点特征，将点云逐点特征输入至Dense Fusion位姿估计网络，预测每一点的位姿预测信息，位姿预测信息包括预测旋转矩阵R′i和预测偏移矩阵T′i；
计算每一点的位姿预测信息与标签姿态信息的欧式距离，根据欧式距离生成置信度；若置信度小于设定的阈值，则执行图像更新步骤，若置信度大于设定的阈值或训练次数达到设定值，则输出当前视角的装配体最优位姿预测信息；判断训练是否完成，未完成则返回点云转换步骤，更换下一视角下的装配体深度图像继续训练，完成则执行图像更新步骤；
图像更新；将预测旋转矩阵R′i和预测偏移矩阵T′i作为输入，对装配体点云进行位移和旋转变换，更新装配体点云的三维坐标，将更新后的装配体点云输入至PointNet++点云特征提取网络继续训练。
参见图2，作为本实施例的优选实施方式，所述图像采集设备为RGB-D相机，采集的图像还包括RGB图像；所述确定机器人坐标系与图像采集设备坐标系的坐标转换关系的步骤具体为：
在机器人的关节处设置定位标识物(如特殊形状及颜色的小球)；
控制机器人做点位间歇运动，在每个间歇运动点，通过机器人控制器读取定位标识物在机器人坐标系(Ow-XwYwZw)下的坐标Pi(xwi,ywi,zwi)，同时识别定位标识物的特征点在RGB图像中的像素坐标Zi(ui,vi)；
根据定位标识物的特征点在RGB图像中的像素坐标Zi(ui,vi)以及RGB-D相机的成像模型，利用RGB-D相机中深度相机与彩色相机之间的位置关系，求出定位标识物的特征点在相机坐标系(Oc-XcYcZc)下的三维坐标Pi'(xci,yci,zci)；
获取四个以上间歇运动点的定位标识物在机器人坐标系下的坐标Pi(xwi,ywi,zwi)和定位标识物的特征点在相机坐标系下的三维坐标Pi'(xci,yci,zci)，计算机器人坐标系和相机坐标系的转换矩阵，可表示为：
Figure BDA0003480924250000111
其中，R为3*3旋转矩阵,T为3*1平移向量，表示机器人坐标系在相机坐标系中的方向和位置。
作为本实施例的优选实施方式，在控制机器人做点位间歇运动步骤中，为了提高定位精度，可设定点位间歇运动的轨迹为多个正方形，通过构建和求解最小二乘问题求解Mwc，如下式所示：
Figure BDA0003480924250000112
求得Mwc后，即求得彩色相机坐标系Oc-XcYcZc与机器人基坐标系Ow-XwYwZw之间的转换关系，从而完成机器人方位标定，获取机器人三维模型的位姿信息。
另一方面，本发明提供一种装配机器人遥操作环境的数字孪生建模系统，包括：
图像采集设备，用于采集遥操作环境的图像；
装配体数字化模块，预加载有装配体中各零部件的三维模，各零部件的约束关系以及装配体的装配顺序；
装配体重建模块，用于识别图像中当前正在装配的零部件以及查询装配体装配顺序，根据当前正在装配的零部件获取已装配零部件列表；并根据已装配零部件列表生成当前装配体的三维模型；
装配体定位模块，用于计算当前装配体在图像采集设备坐标系中的位姿信息；
机器人数字化模块，预加载有机器人三维模型；
机器人定位模块，用于确定机器人坐标系与图像采集设备坐标系的坐标转换关系；并根据坐标转换关系对图像中的机器人进行方位标定，确定机器人在图像采集设备坐标系中的位姿信息；
数字孪生模型重建模块，用于根据当前装配体在图像采集设备坐标系中的位姿信息以及机器人在图像采集设备坐标系中的位姿信息确定当前装配体和机器人的相对位置关系；并基于当前装配体的三维模型、机器人三维模型以及当前装配体和机器人的相对位置关系建立遥操作环境的数字孪生模型。
作为优选实施方式，所述图像采集设备为RGB-D相机。
再一方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如本发明任一实施例所述的装配机器人遥操作环境的数字孪生建模方法。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种装配机器人遥操作环境的数字孪生建模方法，其特征在于，包括以下步骤：
通过图像采集设备采集遥操作环境的图像；
识别图像中当前正在装配的零部件；查询装配体装配顺序，根据当前正在装配的零部件获取已装配零部件列表；
根据已装配零部件列表生成当前装配体的三维模型，并计算当前装配体在图像采集设备坐标系中的位姿信息；
加载机器人三维模型，确定机器人坐标系与图像采集设备坐标系的坐标转换关系；
根据坐标转换关系对图像中的机器人进行方位标定，确定机器人在图像采集设备坐标系中的位姿信息；
根据当前装配体在图像采集设备坐标系中的位姿信息以及机器人在图像采集设备坐标系中的位姿信息确定当前装配体和机器人的相对位置关系；
基于当前装配体的三维模型、机器人三维模型以及当前装配体和机器人的相对位置关系建立遥操作环境的数字孪生模型。
2.根据权利要求1所述的一种装配机器人遥操作环境的数字孪生建模方法，其特征在于，所述图像采集设备采集的图像包括深度图像，所述识别图像中当前正在装配的零部件的步骤具体为：
将深度图像中装配体不同零部件的区域使用不同颜色标签进行标识，生成实例分割图像；
对实例分割图像的颜色标签进行统计，识别当前正在装配的零部件。
3.根据权利要求2所述的一种装配机器人遥操作环境的数字孪生建模方法，其特征在于，所述根据已装配零部件列表生成当前装配体的三维模型的步骤具体为：
加载已装配零部件列表中各零部件的三维模型；
按照预定义的装配体各零部件间的约束关系确定列表中各零部件在装配体上的位置；
根据列表中各零部件在装配体上的位置调整各零部件的三维模型的位置，生成当前装配体的三维模型。
4.根据权利要求2所述的一种装配机器人遥操作环境的数字孪生建模方法，其特征在于，所述计算当前装配体在图像采集设备坐标系中的位姿信息的步骤具体为：
对深度图像进行预处理，剔除背景，保留当前装配体的深度图像；
利用图像采集设备的内参和成像模型将当前装配体的深度图像转换为装配体点云；
将装配体点云输入至点云特征提取网络提取装配体的点云特征；
将装配体的点云特征输入至预训练的位姿估计网络，输出装配体在图像采集设备坐标系中的位姿信息。
5.根据权利要求4所述的一种装配机器人遥操作环境的数字孪生建模方法，其特征在于，所述位姿估计网络的预训练过程为：
确定初始信息；提取并记录初始视角下装配体三维模型点云的标签位姿信息，标签位姿信息包括三维模型点云中每个点的旋转矩阵Ri和偏移矩阵Ti，i为三维模型点云中每个点的索引；
点云转换；提取装配体三维模型在一与初始视角不同的另一视角下的装配体深度图像，并利用图像采集设备内参和成像模型将该装配体深度图像转换为装配体点云；
位姿预测；将装配体点云输入至点云特征提取网络，输出点云逐点特征，将点云逐点特征输入至位姿估计网络，预测每一点的位姿预测信息，包括预测旋转矩阵R′i和预测偏移矩阵T′i；
计算每一点的位姿预测信息与标签姿态信息的欧式距离，根据欧式距离生成置信度；若置信度小于设定的阈值，则执行图像更新步骤，若置信度大于设定的阈值或训练次数达到设定值，则输出当前视角的装配体最优位姿预测信息；判断训练是否完成，未完成则返回点云转换步骤，更换下一视角下的装配体深度图像继续训练，完成则执行图像更新步骤；
图像更新；将预测旋转矩阵R′i和预测偏移矩阵T′i作为输入，对装配体点云进行位移和旋转变换，更新装配体点云的三维坐标，将更新后的装配体点云输入至点云特征提取网络继续训练。
6.根据权利要求2所述的一种装配机器人遥操作环境的数字孪生建模方法，其特征在于，所述图像采集设备为RGB-D相机，采集的图像还包括RGB图像；所述确定机器人坐标系与图像采集设备坐标系的坐标转换关系的步骤具体为：
在机器人的关节处设置定位标识物；
控制机器人做点位间歇运动，在每个间歇运动点，通过机器人控制器读取定位标识物在机器人坐标系下的坐标Pi(xwi,ywi,zwi)，同时识别定位标识物的特征点在RGB图像中的像素坐标Zi(ui,vi)；
根据定位标识物的特征点在RGB图像中的像素坐标Zi(ui,vi)以及RGB-D相机的成像模型，利用RGB-D相机中深度相机与彩色相机之间的位置关系，求出定位标识物的特征点在相机坐标系下的三维坐标P'i(xci,yci,zci)；
获取四个以上间歇运动点的定位标识物在机器人坐标系下的坐标Pi(xwi,ywi,zwi)和定位标识物的特征点在相机坐标系下的三维坐标P'i(xci,yci,zci)，计算机器人坐标系和相机坐标系的转换矩阵。
7.根据权利要求6所述的一种装配机器人遥操作环境的数字孪生建模方法，其特征在于，在控制机器人做点位间歇运动步骤中，设定点位间歇运动的轨迹为多个正方形。
8.一种装配机器人遥操作环境的数字孪生建模系统，其特征在于，包括：
图像采集设备，用于采集遥操作环境的图像；
装配体数字化模块，预加载有装配体中各零部件的三维模，各零部件的约束关系以及装配体的装配顺序；
装配体重建模块，用于识别图像中当前正在装配的零部件以及查询装配体装配顺序，根据当前正在装配的零部件获取已装配零部件列表；并根据已装配零部件列表生成当前装配体的三维模型；
装配体定位模块，用于计算当前装配体在图像采集设备坐标系中的位姿信息；
机器人数字化模块，预加载有机器人三维模型；
机器人定位模块，用于确定机器人坐标系与图像采集设备坐标系的坐标转换关系；并根据坐标转换关系对图像中的机器人进行方位标定，确定机器人在图像采集设备坐标系中的位姿信息；
数字孪生模型重建模块，用于根据当前装配体在图像采集设备坐标系中的位姿信息以及机器人在图像采集设备坐标系中的位姿信息确定当前装配体和机器人的相对位置关系；并基于当前装配体的三维模型、机器人三维模型以及当前装配体和机器人的相对位置关系建立遥操作环境的数字孪生模型。
9.根据权利要求8所述的一种装配机器人遥操作环境的数字孪生建模系统，其特征在于：所述图像采集设备为RGB-D相机。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的装配机器人遥操作环境的数字孪生建模方法。
CN202210067998.1A 2022-01-20 2022-01-20 一种装配机器人遥操作环境的数字孪生建模方法及系统 Pending CN114417616A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210067998.1A CN114417616A (zh) 2022-01-20 2022-01-20 一种装配机器人遥操作环境的数字孪生建模方法及系统
US17/893,368 US20230230312A1 (en) 2022-01-20 2022-08-23 Digital twin modeling method and system for assembling a robotic teleoperation environment
JP2022133499A JP7410499B2 (ja) 2022-01-20 2022-08-24 組立ロボットの遠隔操作環境のデジタルツインモデリング方法及びシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210067998.1A CN114417616A (zh) 2022-01-20 2022-01-20 一种装配机器人遥操作环境的数字孪生建模方法及系统

Publications (1)

Publication Number Publication Date
CN114417616A true CN114417616A (zh) 2022-04-29

Family

ID=81275791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210067998.1A Pending CN114417616A (zh) 2022-01-20 2022-01-20 一种装配机器人遥操作环境的数字孪生建模方法及系统

Country Status (3)

Country Link
US (1) US20230230312A1 (zh)
JP (1) JP7410499B2 (zh)
CN (1) CN114417616A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115383256A (zh) * 2022-09-30 2022-11-25 上海柏楚电子科技股份有限公司 自动焊接方法、装置以及系统
CN116030213A (zh) * 2023-03-30 2023-04-28 千巡科技(深圳)有限公司 一种多机云边协同地图创建与动态数字孪生方法及系统
CN116563491A (zh) * 2023-03-29 2023-08-08 广州番禺职业技术学院 一种数字孪生场景建模及标定方法
CN116852382A (zh) * 2023-09-04 2023-10-10 青岛理工大学 一种轴孔装配机器人末端姿态快速调整系统和方法
CN117948885A (zh) * 2024-03-27 2024-04-30 中科慧远人工智能(烟台)有限公司 基于生产线的位姿测量方法、装置和系统

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758237B (zh) * 2023-08-17 2023-10-20 山东萌山钢构工程有限公司 一种基于实时建模的装配建筑监测系统
CN116882070B (zh) * 2023-09-01 2023-11-14 中汽研汽车工业工程(天津)有限公司 一种面向整车制造的工业数字孪生管理系统
CN117021117B (zh) * 2023-10-08 2023-12-15 电子科技大学 一种基于混合现实的移动机器人人机交互与定位方法
CN117140539B (zh) * 2023-11-01 2024-01-23 成都交大光芒科技股份有限公司 基于空间坐标变换矩阵的机器人三维协同巡检方法
CN117182930B (zh) * 2023-11-07 2024-02-13 山东捷瑞数字科技股份有限公司 基于数字孪生的四轴机械臂绑定方法、系统、设备及介质
CN117647952A (zh) * 2024-01-30 2024-03-05 南京航空航天大学 面向工业机器人的数字建模位置精度补偿方法及系统
CN117817417A (zh) * 2024-03-05 2024-04-05 中北大学 一种基于数字孪生的大型筒体最优加工位姿调整方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109373898A (zh) * 2018-11-27 2019-02-22 华中科技大学 一种基于三维测量点云的复杂零件位姿估计系统及方法
CN109445305A (zh) * 2018-10-26 2019-03-08 中国电子科技集团公司第三十八研究所 一种基于数字孪生的装配精度仿真分析方法与系统
CN109940605A (zh) * 2019-01-29 2019-06-28 中国工程物理研究院激光聚变研究中心 融合三维视觉与接触力分析的柔顺装配系统及方法
CN112801977A (zh) * 2021-01-28 2021-05-14 青岛理工大学 一种基于深度学习的装配体零件相对位姿估计监测方法
CN113128610A (zh) * 2021-04-26 2021-07-16 苏州飞搜科技有限公司 一种工业零件位姿估计方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3057973C (en) 2017-03-27 2023-10-10 Siemens Aktiengesellschaft System for automated generative design synthesis using data from design tools and knowledge from a digital twin graph
CN107870600B (zh) 2017-10-17 2018-10-19 广东工业大学 一种智能车间透明监控方法及系统
CN107832497B (zh) 2017-10-17 2018-08-28 广东工业大学 一种智能车间快速定制设计方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109445305A (zh) * 2018-10-26 2019-03-08 中国电子科技集团公司第三十八研究所 一种基于数字孪生的装配精度仿真分析方法与系统
CN109373898A (zh) * 2018-11-27 2019-02-22 华中科技大学 一种基于三维测量点云的复杂零件位姿估计系统及方法
CN109940605A (zh) * 2019-01-29 2019-06-28 中国工程物理研究院激光聚变研究中心 融合三维视觉与接触力分析的柔顺装配系统及方法
CN112801977A (zh) * 2021-01-28 2021-05-14 青岛理工大学 一种基于深度学习的装配体零件相对位姿估计监测方法
CN113128610A (zh) * 2021-04-26 2021-07-16 苏州飞搜科技有限公司 一种工业零件位姿估计方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YONG PAN ETAL: "Augmented reality-based robot teleoperation system using RGB-D imaging and attitude teaching device", ROBOTICS AND COMPUTER-INTEGRATED MANUFACTURING, 7 April 2021 (2021-04-07) *
孙安斌等: "高端装备大型零部件几何尺寸测量 技术现状及趋势", 计测技术, 4 February 2021 (2021-02-04) *
陈成军等: "基于力反馈的虚拟示教式机械手臂装配路径规划方法", 系统仿真学报, 31 May 2009 (2009-05-31) *
高文斌;王洪光;姜勇;潘新安;: "模块化可重构机器人标定方法研究", 机械工程学报, no. 17, 25 June 2013 (2013-06-25) *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115383256A (zh) * 2022-09-30 2022-11-25 上海柏楚电子科技股份有限公司 自动焊接方法、装置以及系统
CN115383256B (zh) * 2022-09-30 2024-04-16 上海柏楚电子科技股份有限公司 自动焊接方法、装置以及系统
CN116563491A (zh) * 2023-03-29 2023-08-08 广州番禺职业技术学院 一种数字孪生场景建模及标定方法
CN116563491B (zh) * 2023-03-29 2024-03-19 广州番禺职业技术学院 一种数字孪生场景建模及标定方法
CN116030213A (zh) * 2023-03-30 2023-04-28 千巡科技(深圳)有限公司 一种多机云边协同地图创建与动态数字孪生方法及系统
CN116030213B (zh) * 2023-03-30 2023-06-06 千巡科技(深圳)有限公司 一种多机云边协同地图创建与动态数字孪生方法及系统
CN116852382A (zh) * 2023-09-04 2023-10-10 青岛理工大学 一种轴孔装配机器人末端姿态快速调整系统和方法
CN117948885A (zh) * 2024-03-27 2024-04-30 中科慧远人工智能(烟台)有限公司 基于生产线的位姿测量方法、装置和系统
CN117948885B (zh) * 2024-03-27 2024-06-11 中科慧远人工智能(烟台)有限公司 基于生产线的位姿测量方法、装置和系统

Also Published As

Publication number Publication date
JP7410499B2 (ja) 2024-01-10
JP2023106284A (ja) 2023-08-01
US20230230312A1 (en) 2023-07-20

Similar Documents

Publication Publication Date Title
CN114417616A (zh) 一种装配机器人遥操作环境的数字孪生建模方法及系统
CN106127739B (zh) 一种结合单目视觉的rgb-d slam方法
CN108445480B (zh) 基于激光雷达的移动平台自适应扩展目标跟踪系统及方法
CN110146099B (zh) 一种基于深度学习的同步定位与地图构建方法
CN110176032B (zh) 一种三维重建方法及装置
CN110706248A (zh) 一种基于slam的视觉感知建图算法及移动机器人
CN111553949B (zh) 基于单帧rgb-d图像深度学习对不规则工件的定位抓取方法
CN112801977B (zh) 一种基于深度学习的装配体零件相对位姿估计监测方法
CN111476841B (zh) 一种基于点云和图像的识别定位方法及系统
CN111862201A (zh) 一种基于深度学习的空间非合作目标相对位姿估计方法
CN110675453B (zh) 一种已知场景中运动目标的自定位方法
CN110223382B (zh) 基于深度学习的单帧图像自由视点三维模型重建方法
CN110463376B (zh) 一种插机方法及插机设备
KR101021470B1 (ko) 영상 데이터를 이용한 로봇 움직임 데이터 생성 방법 및 생성 장치
CN111127613B (zh) 基于扫描电子显微镜的图像序列三维重构方法及系统
CN115376034A (zh) 一种基于人体三维姿态时空关联动作识别的运动视频采集剪辑方法及装置
JP7051751B2 (ja) 学習装置、学習方法、学習モデル、検出装置及び把持システム
CN109931940B (zh) 一种基于单目视觉的机器人定位置信度评估方法
Feng et al. Marker-assisted structure from motion for 3D environment modeling and object pose estimation
CN114693782A (zh) 用于确定三维场景模型坐标系和物理坐标系的转换关系的方法及装置
CN114187312A (zh) 目标物的抓取方法、装置、系统、存储介质及设备
CN116664622A (zh) 一种视觉运动控制方法和装置
CN115862074A (zh) 人体指向确定、屏幕控制方法、装置及相关设备
CN115620016A (zh) 一种骨架检测模型的构建方法、图像数据识别方法
CN115578460A (zh) 基于多模态特征提取与稠密预测的机器人抓取方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination