CN116563491A - 一种数字孪生场景建模及标定方法 - Google Patents

一种数字孪生场景建模及标定方法 Download PDF

Info

Publication number
CN116563491A
CN116563491A CN202310332218.6A CN202310332218A CN116563491A CN 116563491 A CN116563491 A CN 116563491A CN 202310332218 A CN202310332218 A CN 202310332218A CN 116563491 A CN116563491 A CN 116563491A
Authority
CN
China
Prior art keywords
position information
information
industrial robot
laser
digital twin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310332218.6A
Other languages
English (en)
Other versions
CN116563491B (zh
Inventor
刘俊
蔡鋈
侯文峰
代慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Panyu Polytechnic
Original Assignee
Guangzhou Panyu Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Panyu Polytechnic filed Critical Guangzhou Panyu Polytechnic
Priority to CN202310332218.6A priority Critical patent/CN116563491B/zh
Publication of CN116563491A publication Critical patent/CN116563491A/zh
Application granted granted Critical
Publication of CN116563491B publication Critical patent/CN116563491B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种数字孪生场景建模及标定方法包括：接收通过定位器获取到的跟踪器的姿态信息和位置信息构建待标定场景空间的世界坐标系；在激光器进行标定对准过程中接收基于跟踪器检测到的标定信号；通过激光器对工业固定设备的各个关键点进行点云采集或者接收通过激光器采集到的安装在工业机器人末端的辅助标定工具尖的球心位置并记录当前位置的工业机器人的各关节值，从而确定相应工业固定设备以及工业机器人在数字孪生场景中的位置信息。本发明通过实时接收跟踪器在待标定场景的位置和姿态信息，再加上传感器反馈的实时距离值，可以对待标定场景空间内的设备和工件进行数字孪生场景建模及标定，提高了数字孪生场景建模及标定的精确性。

Description

一种数字孪生场景建模及标定方法
技术领域
本发明涉及智能制造技术领域，具体涉及一种数字孪生场景建模及标定方法。
背景技术
随着新一代信息技术与制造业的融合与落地应用，制造业加速向数字化、智能化转型升级。而真实物理世界与信息数字世界的交互与融合，是当前实现智能制造的理念和目标，两者之间相互促进，相互发展。由此数字孪生技术应运而生，但是当前运用的数字孪生很多都只是初级阶段，基层处只做到虚实模拟，增加视觉效果，上层处采集大量现实数据，制成更具时效的图表。但在实际的工业生产过程中，数字孪生智能化车间不能仅满足于界面体验，更多的是需要足够的可用精度位置关系从而进行辅助性决策。由此可见，单纯依靠设计规划是无法满足的，很容易造成实际建设的智能化车间与花费了巨大精力做的数字孪生车间不能进行匹配。因此，数字孪生场景需要搭建及标定各设备间或设备与工件间相对精确的位置关系。
发明内容
针对所述缺陷，本发明实施例公开了一种数字孪生场景建模及标定方法，其通过接收定位器实时获取到的跟踪器位置加激光器对待标定场景空间的设备进行对准并进行点云采集；在待建模物体为工业固定设备时，通过对各关键点进行点云采集并进行拟合计算得到关键特征数据从而完成对工业固定设备的标定；在建模物体为工业机器人时，通过在不同工位状态下对安装在工业机器人末端处的辅助标定工具尖及当前位置的工业机器人的各关节值进行点云采集并进行拟合计算得到工业机器人的原点位置从而完成对工业机器人的标定；最终完成对待标定场景空间下各工业固定设备及工业机器人在数字孪生场景的位置建模标定。
本发明实施例第一方面公开了数字孪生场景建模及标定方法，包括：
接收通过定位器获取到的跟踪器的姿态信息和位置信息，并根据所述姿态信息和位置信息构建待标定场景空间的世界坐标系；
在激光器进行标定对准过程中，接收基于跟踪器检测到的标定信号，其中，所述激光器与跟踪器固定安装；
根据获取到的类型判断信息来判断当前待建模物体为工业机器人还是工业固定设备，若所述待建模物体为工业固定设备，则通过所述激光器对工业固定设备的各个关键点进行点云采集以得到与所述关键点关联的关键特征数据，并基于所述关键特征数据进行数字孪生场景的位置建模标定；
若所述待建模物体为工业机器人，则执行如下步骤：
接收通过激光器采集到的辅助标定工具尖的球面点云，通过拟合计算得到球心位置，并记录当前位置的工业机器人的各关节值；其中所述辅助标定工具尖安装在所述工业机器人末端处；
根据所述球心位置和该位置下各关节值计算得到工业机器人的原点位置，基于所述原点位置确定相应的工业机器人在数字孪生场景中的位置信息。
作为一种可选的实施方式，在本发明实施例第一方面中，所述接收通过定位器获取到的跟踪器的姿态信息和位置信息，并根据所述姿态信息和位置信息构建待标定场景空间的世界坐标系，包括：
实时获取两个间隔设置的所述跟踪器在所述定位器视野范围内移动的姿态信息和位置信息并进行地面标定和跟踪器移动范围设定以构建待标定场景空间的世界坐标系。
作为一种可选的实施方式，在本发明实施例第一方面中，所述在激光器进行标定对准过程中，接收基于跟踪器检测到的标定信号，包括：
采集激光器在多组不同平面上瞄准预设标定尖时跟踪器的姿态信息和位置信息以及激光距离值；
根据采集得到的多组跟踪器的姿态信息和位置信息以及对应的激光距离值对激光器基于跟踪器的姿态信息和位置信息进行标定。
作为一种可选的实施方式，在本发明实施例第一方面中，所述通过所述激光器对工业固定设备的各个关键点进行点云采集以得到与所述关键点关联的关键特征数据，并基于所述关键特征数据进行数字孪生场景的位置建模标定，包括：
选定工业固定设备的关键点并通过所述激光器对所述选定的各个关键点对应的附近区域的点云信息进行采集；
将采集得到的所述点云信息进行特征识别，根据特征识别类型将所述点云信息进行拟合计算得到所述工业固定设备的各个关键点位置信息；
根据获取到的所述工业固定设备的各个关键点位置信息确定与所述各个关键点关联的各个关键特征位置信息，根据所述各个关键特征位置信息计算得到所述工业固定设备相对位置信息以完成对所述工业固定设备在数字孪生场景的位置建模标定。
作为一种可选的实施方式，在本发明实施例第一方面中，所述在根据获取到的所述工业固定设备的各个关键点位置信息确定与所述各个关键点关联的各个关键特征位置信息之后，还包括：
采集所述各个关键点关联的各个关键特征位置信息对应的关键特征数据，检测所述关键特征数据是否满足预设精度计算要求，若不满足，则重新选定工业固定设备的关键点并通过所述激光器对所述重新选定的各个关键点对应的附近区域的点云信息进行重新采集，直至所述关键特征数据满足预设精度计算要求。
作为一种可选的实施方式，在本发明实施例第一方面中，所述接收通过激光器采集到的辅助标定工具尖的球面点云，通过拟合计算得到球心位置，并记录当前位置的工业机器人的各关节值，包括：
采集所述球面点云信息并对所述球面点云信息进行球面拟合计算得到所述辅助标定工具尖的球心位置信息；
接收通过激光器采集当前位置的工业机器人各关节的位置信息，存储所述球心位置信息以及所述工业机器人各关节的位置信息。
作为一种可选的实施方式，在本发明实施例第一方面中，在存储所述球心位置信息以及所述工业机器人各关节的位置信息之后，还包括：
检测所述球心位置信息以及所述工业机器人各关节的位置信息的数据量是否满足预设数据量要求，若不满足，则继续接收通过激光器采集到的所述工业机器人在不同工位状态下辅助标定工具尖的球面点云对应的球心位置；
记录当前位置的工业机器人的各关节值，直至所述球心位置信息以及所述工业机器人各关节的位置信息的数据量满足预设数据量要求。
作为一种可选的实施方式，在本发明实施例第一方面中，在所述球心位置信息以及所述工业机器人各关节的位置信息的数据量满足预设数据量要求之后，还包括：
通过球心位置信息及当前工位状态下所述工业机器人各关节的位置确定当前工位状态下球心位置到工业机器人原点位置的距离值；
将不同工位状态下所述辅助标定工具尖的球心位置以及对应的所述辅助标定工具尖的球心位置到相应所述原点位置的距离值分别代入三球交会定位公式计算得到所述工业机器人在待标定场景空间的原点位置，三球交会定位公式为：
(x-x0)2+(y-y0)2+(z-z0)2＝R2
其中x0，y0，z0分别代表所述辅助标定工具尖的球心位置的坐标值，R代表所述辅助标定工具尖的球心位置到相应所述原点位置的距离值。
本发明实施例第二方面公开一种电子设备，包括：
存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行本发明实施例第一方面所述的数字孪生场景建模及标定方法。
本发明实施例第三方面公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面所述的数字孪生场景建模及标定方法。
与现有技术相比，本发明实施例具有以下有益效果：
本发明实施例中公开的数字孪生场景建模及标定方法，通过接收定位器实时获取到的跟踪器位置加激光器对待标定场景空间的设备进行对准并进行点云采集；在待建模物体为工业固定设备时，通过对各关键点进行点云采集并进行拟合计算得到关键特征数据从而完成对工业固定设备的标定；在建模物体为工业机器人时，通过在不同工位状态下对安装在工业机器人末端处的辅助标定工具尖及当前位置的工业机器人的各关节值进行点云采集并进行拟合计算得到工业机器人的原点位置从而完成对工业机器人的标定，这样对待标定场景空间下各工业固定设备及工业机器人在数字孪生场景的位置关系可进行更高精度的建模标定。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的数字孪生场景建模及标定方法的流程示意图；
图2是本发明实施例公开的数字孪生场景建模及标定方法的具体流程示意图；
图3是本发明实施例公开的数字孪生场景建模及标定方法的各种仪器的配置部署状态示意图；
图4是本发明实施例公开的数字孪生场景建模及标定方法的跟踪器与激光器的位置及姿态调整状态示意图；
图5是本发明实施例公开的数字孪生场景建模及标定方法的三球交会定位部署状态示意图；
图6是本发明实施例公开的数字孪生场景建模及标定装置的结构框图；
图7是本发明实施例公开的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同的对象，而不是用于描述特定顺序。本发明实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，示例性地，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
请参阅图1，图1是本发明实施例公开的数字孪生场景建模及标定方法流程示意图。其中，本发明实施例所描述的方法的执行主体为由软件或/和硬件组成的执行主体，该执行主体可以通过有线或/和无线方式接收相关信息，并可以发送一定的指令。当然，其还可以具有一定的处理功能和存储功能。该执行主体可以控制多个设备，例如远程的物理服务器或云服务器以及相关软件，也可以是对某处安置的设备进行相关操作的本地主机或服务器以及相关软件等。在一些场景中，还可以控制多个存储设备，存储设备可以与设备放置于同一地方或不同地方。
如图1和图2所示，该基于数字孪生场景建模及标定方法包括以下步骤：
S101：接收通过定位器获取到的跟踪器的姿态信息和位置信息，并根据上述姿态信息和位置信息构建待标定场景空间的世界坐标系。
如图3所示，可根据智能工厂的大小，合理分配定位器的数量和位置，在定位器的视野范围内放置跟踪器，跟踪器在定位器的视野范围内进行移动并确保能够实时得到跟踪器的位置，可以在定位器的视野范围内间隔放置两个跟踪器并进行移动，在移动过程中接收通过定位器实时获取跟踪器的姿态信息和位置信息进行地面标定和跟踪器移动范围设定从而构建待标定场景空间的世界坐标系。
S102：在激光器进行标定对准过程中，接收基于跟踪器检测到的标定信号，其中，上述激光器与跟踪器固定安装。
可将激光器与跟踪器固定安装并进行通讯连接，如图4所示，在跟踪器移动范围内先固定好一个标定尖，然后将激光器对准标定尖的球心，接收激光器对准标定尖球心时跟踪器的姿态信息和位置信息以及当前位置下激光器对准标定尖球心的激光距离值；然后在跟踪器的移动范围内移动跟踪器的位置及调整激光器的姿态并重新将激光器对准标定尖的球心，使得移动后的跟踪器的位置及激光器的姿态与移动前的跟踪器的位置及激光器的姿态不在同一平面上，如此在多组不同平面上对跟踪器进行移动，并在跟踪器移动后接收激光器对准标定尖球心时跟踪器姿态信息和位置信息以及当前位置下激光器对准标定尖球心的激光距离值，如此采集至少6组跟踪器姿态信息和位置信息以及当前位置下激光器对准标定尖球心的激光距离值并利用现有技术中基于机器运动学中的手眼标定方法进行求解对激光器基于跟踪器的姿态信息和位置信息进行标定。
其中，手眼标定方法是根据机器人运动学的知识，通常机器人也指多关节多自由度机械臂，机械臂通过多个旋转电机驱动，实现机器人末端的可控制定位驱动。机器人自身是没有传感器的，人为在机器人上或旁安装相机，通过使用相机获得目标坐标，从而让机器人根据相机得到的图像对目标进行操作的方式叫做机器人视觉。而为了使得相机(亦即机器人的眼)与机器人(亦即机器人的手)坐标系之间建立关系就必须要对机器人与相机坐标系进行标定，该标定过程也就叫做手眼标定。通常机器人的手眼关系分为eye-in-hand,又称moving camera以及eye-to-hand，又称stationary camera两种。其中eye-in-hand也就是眼在手上，机器人的视觉系统随着机械臂末端运动；而eye-to-hand也就是眼在手旁，机器人的视觉系统与机器人基座固定，不会在世界坐标系内运动。对于eye-in-hand情况，机器人手眼标定即标定得到机器人末端与相机之间的坐标变换关系；对于eye-to-hand情况，机器人手眼标定即标定得到机器人基座与相机之间的坐标变换关系。两种标定方法都将机器人以及相机之间的不变量确定了下来，从而建立了两者的转换矩阵。
上述标定原理为：
设定世界坐标系为B，跟踪器的坐标系为E，激光器坐标系为C，标定尖球心的坐标系为P。
标定就是求C基于E的旋转矩阵由图可知：
由于C与P的旋转姿态相同，而且只改变了其中一个向量的大小，由此可得：
其中，L指激光器对准标定尖球心的激光距离值，r指标定尖球心半径。M是代表4x4矩阵，R是代表3x3矩阵，由上可知，公式(1)的未知值只有可以把公式(1)简化为以下样式：
E·X·L＝P
当标定尖不动的情况下，改变激光器的位置和姿态去对准标定球心，上述关系变为如下形式：
E'·X·L'＝P
由此可得：
E·X·L＝E'·X·L'
对上式变换一下得：
E'-1EX＝XL'L-1
上式可以看成AX＝XB方程，而且A、B均为已知，业界为了保证精度，选择解超定方程，一般需要获取9～15组数据进行求解。
S103：根据获取到的类型判断信息来判断当前待建模物体为工业机器人还是工业固定设备，若上述待建模物体为工业固定设备，则通过上述激光器对工业固定设备的各个关键点进行点云采集以得到与上述关键点关联的关键特征数据，并基于上述关键特征数据进行数字孪生场景的位置建模标定。
根据跟踪器获取待标定场景空间内的设备信息判断当前待建模物体为工业机器人还是工业固定设备；若上述待建模物体为工业固定设备，则选定工业固定设备的关键点，利用激光器实时获取激光器到选定工业固定设备的关键点距离值的特性，通过上述激光器对上述选定的各个关键点对应的附近区域的点云信息进行采集；
然后将采集得到的上述点云信息进行特征识别，根据特征识别类型将上述点云信息进行拟合计算得到上述工业固定设备的各个关键点位置信息，上述关键特征类型相当于装配关系中的特征元素，如点、线、面等(其中面还区分有平面、球面、圆柱面和圆锥面等)，
上述特征识别原理是基于把点云拟合成面，再根据面面相交原理求出线，再根据线线相交求出点。示例性地，对于工业固定设备中较为平整的面，可以在这个面上选定一个关键点，然后对选定的关键点附近区域进行点云采集，这样通过采集到的点云可以直接拟合出一个面；对于工业固定设备两个相邻平面间的相交线，可以将这条相交线上选定一个关键点，然后对这条相交线选定关键点附近区域的点云进行采集，这样通过把采集的点云信息数据先进行面分割，然后再拟合出两个面，再求交算出线；对于工业固定设备多个平面相交的相交点，可以对这个相交点附近的区域进行点云采集，得到多个平面上的点云信息，然后对这些点云信息进行面分割拟合得到多个面，再求出相邻平面相交的相交线，然后再对多条相交线进行求交得出相交点。以上的识别方法都是视觉识别的基础算法，可以利用现有技术中的开源软件直接使用。
然后根据获取到的上述工业固定设备的各个关键点位置信息确定与上述各个关键点关联的各个关键特征位置信息，检测上述关键特征数据是否满足预设精度计算要求，若不满足，则重新选定工业固定设备的关键点并通过上述激光器对上述重新选定的各个关键点对应的附近区域的点云信息进行重新采集，直至上述关键特征数据满足预设精度计算要求。一般需要一个原点，再加两个方向即可，当然不同配合的方式，获取的关键点数量以及方式不同，通过将多个关键点特征作为物理世界设备与数字孪生设备的约束条件，只要满足固定自由度的方式，就可以得到物理世界中设备的位置，这样通过上述各个关键特征位置信息计算得到上述工业固定设备相对位置信息从而完成对上述工业固定设备在数字孪生场景的位置建模标定。
S104：若上述待建模物体为工业机器人，则执行如下步骤：
接收通过激光器采集到的辅助标定工具尖的球面点云，通过拟合计算得到球心位置，并记录当前位置的工业机器人的各关节值；其中上述辅助标定工具尖安装在上述工业机器人末端处；
根据上述球心位置和该位置下各关节值计算得到工业机器人的原点位置，基于上述原点位置确定相应的工业机器人在数字孪生场景中的位置信息。
当待建模物体为工业机器人时，可在工业机器人末端固定连接安装辅助标定工具尖，将激光器瞄准辅助标定工具尖，接收通过激光器采集到的辅助标定工具尖的球面点云(球面可以是外球面，也可以是内球面，但是不可以同时采集两个球面)，对采集到的球面点云进行球面拟合计算得到该辅助标定工具尖的球心位置并同时采集当前位置的工业机器人各关节的位置信息。
然后检测上述球心位置信息以及上述工业机器人各关节的位置信息的数据量是否满足预设数据量要求，若不满足，则继续接收通过激光器采集到的上述工业机器人在不同工位状态下辅助标定工具尖的球面点云对应的球心位置并记录当前位置的工业机器人的各关节值，直至上述球心位置信息以及上述工业机器人各关节的位置信息的数据量满足预设数据量要求；需要采集至少3组上述工业机器人在不同工位状态下辅助标定工具尖的球面点云对应的球心位置并记录当前位置的工业机器人的各关节值从而确定当前工位状态下球心位置到工业机器人原点位置的距离值，如图5所示，这样将3组不同工位状态下上述辅助标定工具尖的球心位置以及对应的上述辅助标定工具尖的球心位置到相应上述原点位置的距离值分别代入三球交会定位公式计算得到上述工业机器人在待标定场景空间的原点位置，三球交会定位公式为：
(x-x0)2+(y-y0)2+(z-z0)2＝R2
其中x0，y0，z0分别代表上述辅助标定工具尖的球心位置的坐标值，R代表上述辅助标定工具尖的球心位置到相应上述原点位置的距离值。
本发明实施例中公开的数字孪生场景建模及标定方法，通过接收定位器实时获取到的跟踪器位置加激光器对待标定场景空间的设备进行对准并进行点云采集；在待建模物体为工业固定设备时，通过对各关键点进行点云采集并进行拟合计算得到关键特征数据从而完成对工业固定设备的标定；在建模物体为工业机器人时，通过在不同工位状态下对安装在工业机器人末端处的辅助标定工具尖及当前位置的工业机器人的各关节值进行点云采集并进行拟合计算得到工业机器人的原点位置从而完成对工业机器人的标定，这样对待标定场景空间下各工业固定设备及工业机器人在数字孪生场景的位置关系可进行更高精度的建模标定。
实施例二
请参阅图6，图6是本发明实施例公开的一种数字孪生场景建模及标定装置的结构示意图。如图6所示，该装置包括：
采集单元410，用于根据获取到的类型判断信息来判断当前待建模物体为工业机器人还是工业固定设备，若待建模物体为工业固定设备，则通过激光器对工业固定设备的各个关键点进行点云采集以得到与各个关键点关联的关键特征数据；若待建模物体为工业机器人，则通过激光器采集到的辅助标定工具尖的球面点云，通过拟合计算得到球心位置，并记录当前位置的工业机器人的各关节值计算得到工业机器人的原点位置；
接收单元420，用于接收通过定位器获取到的跟踪器的姿态信息和位置信息以及接收通过激光器对工业固定设备或者工业机器人进行点云采集的信息；
构建单元430，用于根据上述跟踪器的姿态信息和位置信息构建待标定场景空间的世界坐标系；
标定单元440，用于根据上述工业固定设备的各个关键点关键特征数据以及上述工业机器人的原点位置进行数字孪生场景的位置建模标定。
图6所示的数字孪生场景建模及标定装置，通过接收定位器实时获取到的跟踪器位置加激光器对待标定场景空间的设备进行对准并进行点云采集；在待建模物体为工业固定设备时，通过对各关键点进行点云采集并进行拟合计算得到关键特征数据从而完成对工业固定设备的标定；在建模物体为工业机器人时，通过在不同工位状态下对安装在工业机器人末端处的辅助标定工具尖及当前位置的工业机器人的各关节值进行点云采集并进行拟合计算得到工业机器人的原点位置从而完成对工业机器人的标定，这样对待标定场景空间下各工业固定设备及工业机器人在数字孪生场景的位置关系可进行更高精度的建模标定。
实施例三
请参阅图7，图7是本发明实施例公开的一种电子设备的结构示意图。电子设备可以是计算机以及服务器等，当然，在一定情况下，还可以是手机、平板电脑以及监控终端等智能设备，以及具有处理功能的图像采集装置。如图7所示，该电子设备可以包括：
存储有可执行程序代码的存储器510；
与存储器510耦合的处理器520；
其中，处理器520调用存储器510中存储的可执行程序代码，执行实施例一中的数字孪生场景建模及标定方法中的部分或全部步骤。
本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行实施例一中的数字孪生场景建模及标定方法中的部分或全部步骤。
本发明实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行实施例一中的数字孪生场景建模及标定方法中的部分或全部步骤。
本发明实施例还公开一种应用发布平台，其中，应用发布平台用于发布计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行实施例一中的数字孪生场景建模及标定方法中的部分或全部步骤。
在本发明的各种实施例中，应理解，所述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例所述方法的部分或全部步骤。
在本发明所提供的实施例中，应理解，“与A对应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。
本领域普通技术人员可以理解所述实施例的各种方法中的部分或全部步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的数字孪生场景建模及标定方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种数字孪生场景建模及标定方法，其特征在于，包括：
接收通过定位器获取到的跟踪器的姿态信息和位置信息，并根据所述姿态信息和位置信息构建待标定场景空间的世界坐标系；
在激光器进行标定对准过程中，接收基于跟踪器检测到的标定信号，其中，所述激光器与跟踪器固定安装；
根据获取到的类型判断信息来判断当前待建模物体为工业机器人还是工业固定设备，若所述待建模物体为工业固定设备，则通过所述激光器对工业固定设备的各个关键点进行点云采集以得到与所述关键点关联的关键特征数据，并基于所述关键特征数据进行数字孪生场景的位置建模标定；
若所述待建模物体为工业机器人，则执行如下步骤：
接收通过激光器采集到的辅助标定工具尖的球面点云，通过拟合计算得到球心位置，并记录当前位置的工业机器人的各关节值；其中所述辅助标定工具尖安装在所述工业机器人末端处；
根据所述球心位置和该位置下各关节值计算得到工业机器人的原点位置，基于所述原点位置确定相应的工业机器人在数字孪生场景中的位置信息。
2.如权利要求1所述的数字孪生场景建模及标定方法，其特征在于，所述接收通过定位器获取到的跟踪器的姿态信息和位置信息，并根据所述姿态信息和位置信息构建待标定场景空间的世界坐标系，包括：
实时获取两个间隔设置的所述跟踪器在所述定位器视野范围内移动的姿态信息和位置信息并进行地面标定和跟踪器移动范围设定以构建待标定场景空间的世界坐标系。
3.如权利要求1所述的数字孪生场景建模及标定方法，其特征在于，所述在激光器进行标定对准过程中，接收基于跟踪器检测到的标定信号，包括：
采集激光器在多组不同平面上瞄准预设标定尖时跟踪器的姿态信息和位置信息以及激光距离值；
根据采集得到的多组跟踪器的姿态信息和位置信息以及对应的激光距离值对激光器基于跟踪器的姿态信息和位置信息进行标定。
4.如权利要求1所述的数字孪生场景建模及标定方法，其特征在于，所述通过所述激光器对工业固定设备的各个关键点进行点云采集以得到与所述关键点关联的关键特征数据，并基于所述关键特征数据进行数字孪生场景的位置建模标定，包括：
选定工业固定设备的关键点并通过所述激光器对所述选定的各个关键点对应的附近区域的点云信息进行采集；
将采集得到的所述点云信息进行特征识别，根据特征识别类型将所述点云信息进行拟合计算得到所述工业固定设备的各个关键点位置信息；
根据获取到的所述工业固定设备的各个关键点位置信息确定与所述各个关键点关联的各个关键特征位置信息，根据所述各个关键特征位置信息计算得到所述工业固定设备相对位置信息以完成对所述工业固定设备在数字孪生场景的位置建模标定。
5.如权利要求4所述的数字孪生场景建模及标定方法，其特征在于，所述在根据获取到的所述工业固定设备的各个关键点位置信息确定与所述各个关键点关联的各个关键特征位置信息之后，还包括：
采集所述各个关键点关联的各个关键特征位置信息对应的关键特征数据，检测所述关键特征数据是否满足预设精度计算要求，若不满足，则重新选定工业固定设备的关键点并通过所述激光器对所述重新选定的各个关键点对应的附近区域的点云信息进行重新采集，直至所述关键特征数据满足预设精度计算要求。
6.如权利要求1所述的数字孪生场景建模及标定方法，其特征在于，所述接收通过激光器采集到的辅助标定工具尖的球面点云，通过拟合计算得到球心位置，并记录当前位置的工业机器人的各关节值，包括：
采集所述球面点云信息并对所述球面点云信息进行球面拟合计算得到所述辅助标定工具尖的球心位置信息；
接收通过激光器采集当前位置的工业机器人各关节的位置信息，存储所述球心位置信息以及所述工业机器人各关节的位置信息。
7.如权利要求6所述的数字孪生场景建模及标定方法，其特征在于，在存储所述球心位置信息以及所述工业机器人各关节的位置信息之后，还包括：
检测所述球心位置信息以及所述工业机器人各关节的位置信息的数据量是否满足预设数据量要求，若不满足，则继续接收通过激光器采集到的所述工业机器人在不同工位状态下辅助标定工具尖的球面点云对应的球心位置；
记录当前位置的工业机器人的各关节值，直至所述球心位置信息以及所述工业机器人各关节的位置信息的数据量满足预设数据量要求。
8.如权利要求7所述的数字孪生场景建模及标定方法，其特征在于，在所述球心位置信息以及所述工业机器人各关节的位置信息的数据量满足预设数据量要求之后，还包括：
通过球心位置信息及当前工位状态下所述工业机器人各关节的位置确定当前工位状态下球心位置到工业机器人原点位置的距离值；
将不同工位状态下所述辅助标定工具尖的球心位置以及对应的所述辅助标定工具尖的球心位置到相应所述原点位置的距离值分别代入三球交会定位公式计算得到所述工业机器人在待标定场景空间的原点位置，三球交会定位公式为：
(x-x0)2+(y-y0)2+(z-z0)2＝R2
其中x0，y0，z0分别代表所述辅助标定工具尖的球心位置的坐标值，R代表所述辅助标定工具尖的球心位置到相应所述原点位置的距离值。
9.一种电子设备，其特征在于，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行权利要求1至8任一项所述的数字孪生场景建模及标定方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行权利要求1至8任一项所述的数字孪生场景建模及标定方法。
CN202310332218.6A 2023-03-29 2023-03-29 一种数字孪生场景建模及标定方法 Active CN116563491B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310332218.6A CN116563491B (zh) 2023-03-29 2023-03-29 一种数字孪生场景建模及标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310332218.6A CN116563491B (zh) 2023-03-29 2023-03-29 一种数字孪生场景建模及标定方法

Publications (2)

Publication Number Publication Date
CN116563491A true CN116563491A (zh) 2023-08-08
CN116563491B CN116563491B (zh) 2024-03-19

Family

ID=87495449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310332218.6A Active CN116563491B (zh) 2023-03-29 2023-03-29 一种数字孪生场景建模及标定方法

Country Status (1)

Country Link
CN (1) CN116563491B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132645A (zh) * 2023-09-12 2023-11-28 深圳市木愚科技有限公司 虚拟数字人的驱动方法、装置、计算机设备及存储介质
CN118438467A (zh) * 2024-07-08 2024-08-06 成都信息工程大学 基于动态数字孪生的机器人室内巡检系统应用方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127568A (zh) * 2019-12-31 2020-05-08 南京埃克里得视觉技术有限公司 一种基于空间点位信息的相机位姿标定方法
CN113485392A (zh) * 2021-06-17 2021-10-08 广东工业大学 基于数字孪生的虚拟现实交互方法
CN114417616A (zh) * 2022-01-20 2022-04-29 青岛理工大学 一种装配机器人遥操作环境的数字孪生建模方法及系统
CN114782554A (zh) * 2022-05-18 2022-07-22 西安中科光电精密工程有限公司 基于球形合作目标的立体相机位姿标定方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127568A (zh) * 2019-12-31 2020-05-08 南京埃克里得视觉技术有限公司 一种基于空间点位信息的相机位姿标定方法
CN113485392A (zh) * 2021-06-17 2021-10-08 广东工业大学 基于数字孪生的虚拟现实交互方法
CN114417616A (zh) * 2022-01-20 2022-04-29 青岛理工大学 一种装配机器人遥操作环境的数字孪生建模方法及系统
CN114782554A (zh) * 2022-05-18 2022-07-22 西安中科光电精密工程有限公司 基于球形合作目标的立体相机位姿标定方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘俊: "基于数字孪生的机器人虚拟调试系统设计及开发", 机电信息, no. 19, pages 34 - 37 *
洪磊等: "基于球面均匀分布的焊接机器人TCP标定方法", 焊接学报, vol. 41, no. 8, pages 14 - 21 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132645A (zh) * 2023-09-12 2023-11-28 深圳市木愚科技有限公司 虚拟数字人的驱动方法、装置、计算机设备及存储介质
CN117132645B (zh) * 2023-09-12 2024-10-11 深圳市木愚科技有限公司 虚拟数字人的驱动方法、装置、计算机设备及存储介质
CN118438467A (zh) * 2024-07-08 2024-08-06 成都信息工程大学 基于动态数字孪生的机器人室内巡检系统应用方法

Also Published As

Publication number Publication date
CN116563491B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN116563491B (zh) 一种数字孪生场景建模及标定方法
US8355816B2 (en) Action teaching system and action teaching method
US20190242971A1 (en) Relative Object Localization Process for Local Positioning System
CN101370624B (zh) 自动化攫握零件的方法和系统
CN109407603B (zh) 一种控制机械臂抓取物体的方法及装置
JP2004508954A (ja) 位置決め装置およびシステム
CN114739405B (zh) 扫描路径调整方法、装置、自动化扫描系统和计算机设备
CN114355953B (zh) 一种基于机器视觉的多轴伺服系统的高精度控制方法及系统
CN111805535B (zh) 一种定位导航方法、装置以及计算机存储介质
CN111590593B (zh) 机械臂的标定方法、装置、系统及存储介质
EP0592515A1 (en) Spatial measurement recovery system
CN110000793B (zh) 一种机器人运动控制方法、装置、存储介质和机器人
JP6855491B2 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
CN114299039B (zh) 一种机器人及其碰撞检测装置和方法
KR20180017074A (ko) 카메라를 이용한 로봇 축각도들의 검출 및 로봇의 선택
CN113280209A (zh) 检测管道多余物的系统以及系统的使用方法、检测方法
Seçil et al. 3-d visualization system for geometric parts using a laser profile sensor and an industrial robot
CN113325430B (zh) 末端执行器安装精度测量方法、装置、设备及存储介质
CN114770520A (zh) 机器人焊接轨迹及姿态的规划方法
CN113515112B (zh) 机器人移动方法、装置、计算机设备和存储介质
CN114083530A (zh) 工件坐标系标定系统及方法
CN113256726A (zh) 移动装置的传感系统的在线标定和检查方法、移动装置
CN111474935B (zh) 一种移动机器人路径规划和定位方法、装置及系统
CN108920517B (zh) 一种带电更换隔离刀闸作业场景的快速重构方法
JPH07117403B2 (ja) ロボットの視覚座標校正方法およびシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant