CN115070780A

CN115070780A - 基于数字孪生的工业机器人抓取方法、装置及存储介质

Info

Publication number: CN115070780A
Application number: CN202211015470.6A
Authority: CN
Inventors: 王勇; 李岩; 刘泽锐; 徐慧; 郑刚
Original assignee: Beizisuo Beijing Technology Development Co ltd
Current assignee: Beizisuo Beijing Technology Development Co ltd
Priority date: 2022-08-24
Filing date: 2022-08-24
Publication date: 2022-09-20
Anticipated expiration: 2042-08-24
Also published as: CN115070780B

Abstract

本发明涉及基于数字孪生的工业机器人抓取方法、装置及存储介质，包括：通过搭建工业机器人的数字孪生模型，采用互信息优化法对物体进行识别，获得图形信息，并根据深度Q网络得到虚拟物体被抓取三维点位坐标，通过深度迁移学习将虚拟坐标与真实坐标进行转换，然后通过衰减可靠性对真实三维坐标的长宽进行补偿，得到补偿后的真实三维坐标，通过对三维坐标进行补偿，弥补光线、外部噪声、相机校准等误差因素导致的坐标误差，获得更为精准的三维点位坐标。

Description

基于数字孪生的工业机器人抓取方法、装置及存储介质

技术领域

本发明涉及工业机器人抓取技术领域，具体涉及基于数字孪生的工业机器人抓取方法、装置及存储介质。

背景技术

在工业制造领域中，机器人实现对物体抓取的能力是最为基础且极为关键的，以传统人工示教机器人为代表，是要求被抓取物体与物体放置点都是固定的，如果一旦环境发生变化，机器人很难针对外部参数做出新的决策。因此随着机器视觉、人工智能、大数据分析、智能传感设备等技术的发展，要求智能工业机器人应具备目标检测、定位、运动规划、人机交互和环境感知等能力，可在非结构化环境中工作运行，感知物体，基于所采集到的信息实现拾取、放置等操作，完成机器人的运动规划与抓取。

但是现有的虚拟仿真模型模拟抓取点位，在训练过程完成后，由于外部误差因素的存在，仍然存在抓取点位不准的问题。

发明内容

有鉴于此，本发明的目的在于提供基于数字孪生的工业机器人抓取方法、装置及存储介质，以解决现有技术中，由于光线、外部噪声、相机校准等误差因素存在，导致抓取点位存在一定的偏差，抓取点位的精准度不高的问题。

根据本发明实施例的第一方面，提供基于数字孪生的工业机器人抓取方法，包括：

基于数字孪生的工业机器人抓取方法，其特征在于，包括：

构建现实机器人的数字孪生模型；

通过互信息优化法实现数字孪生模型中虚拟机器人对被抓取物体的识别，获取被抓取物体的图像信息；

将所述图像信息输入到深度Q网络中，输出虚拟机器人每个动作的Q值，基于每个动作的Q值得到被抓取物体的抓取点位的虚拟三维坐标，数字孪生模型对虚拟三维坐标进行深度迁移学习后输出真实三维坐标；

根据衰减可靠性对真实三维坐标的长宽进行补偿，得到补偿后的真实三维坐标；

根据补偿后的真实三维坐标，实现对物体的抓取。

优选地，还包括：

现实机器人抓取物体前，对物体进行质量检测；

根据质量检测结果，将物体划分为合格产品以及缺陷产品，

将缺陷产品以及合格产品分别抓取到预设的不同固定位置，实现缺陷产品与合格产品的分类。

优选地，

所述对物体进行质量检测包括：

获取物体的原始图像，通过深度自动编码器得到原始图像的特征向量Y；

将物体的原始图像在水平方向以及垂直方向按照预设的度数在0-360度之间旋转，得到多个旋转图像；

对旋转图像进行预处理，对预处理后的旋转图像在水平以及垂直方向上分割为多个相同大小的子图像；

将子图像输入到深度自动编码器，得到子图像的特征向量，所有子图像的特征向量的集合即为X向量；

将每个子图像的特征向量除以其欧几里得长度，得到X向量的单位向量；

根据X向量的单位向量和Y向量，得到X向量与Y向量的距离D；

根据距离D对X向量和Y向量生成的图像进行相似性评分；

根据预设的正常区域得分范围以及缺陷区域得分范围的阈值生成ROC曲线；

根据ROC曲线判断各个子图像是否存在缺陷、若存在缺陷，判断缺陷的类型以及缺陷的严重程度，从而得到物体缺陷的类型以及缺陷的严重程度。

优选地，

所述数字孪生模块中的虚拟机器人的运行数据发送给现实机器人；

所述现实机器人的运行数据发送给数字孪生模块中的虚拟机器人，实现双向闭环控制。

优选地，

所述构建现实机器人的数字孪生模型包括几何模型、物理模型、行为模型和规则模型：

几何模型用于描述工业机器人的几何形状；

物理模型用于分析工业机器人的力学变化特性；

行为模型用于明确工业机器人的具体运动行为；

规则模型用于明确工业机器人的路径、范围及约束条件；

将模型导入到unity3D中，并添加现实机器人的静态物理参数和动态运行参数。

优选地，

所述数字孪生模型中，虚拟机器人按照虚拟三维坐标抓取虚拟物体，当所述虚拟物体在抓取提升过程中，虚拟物体的高度坐标有变动时，则判定抓取成功，对虚拟三维坐标进行深度迁移学习后输出真实三维坐标，再对真实三维坐标的长宽坐标进行补偿，得到补偿后的真实三维坐标。

根据本发明实施例的第二方面，提供基于数字孪生的工业机器人抓取装置，包括：

模型构建模块：用于构建现实机器人的数字孪生模型；

识别模块：用于通过互信息优化法实现数字孪生模型中虚拟机器人对被抓取物体的识别，获取被抓取物体的图像信息；

坐标输出模块：用于将所述图像信息输入到深度Q网络中，输出虚拟机器人每个动作的Q值，基于每个动作的Q值得到被抓取物体的抓取点位的虚拟三维坐标，数字孪生模型对虚拟三维坐标进行深度迁移学习后输出真实三维坐标；

抓取模块：用于根据补偿后的真实三维坐标，现实机器人实现对物体的抓取。

根据本发明实施例的第三方面，提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被主控器执行时，实现所述的基于数字孪生的工业机器人抓取方法中的各个步骤。

本发明的实施例提供的技术方案可以包括以下有益效果：

本申请通过搭建工业机器人的数字孪生模型，采用互信息优化法对物体进行识别，获得图形信息，并根据深度Q网络得到虚拟物体被抓取三维点位坐标，通过深度迁移学习将虚拟坐标与真实坐标进行转换，然后通过衰减可靠性对真实三维坐标的长宽进行补偿，得到补偿后的真实三维坐标，通过对三维坐标进行补偿，弥补光线、外部噪声、相机校准等误差因素导致的坐标误差，获得更为精准的三维点位坐标。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的基于数字孪生的工业机器人抓取方法的流程示意图；

图2是根据另一示例性实施例示出的质量检测的流程示意图；

图3是根据另一示例性实施例示出的互信息优化法的流程示意图；

图4是根据另一示例性实施例示出的基于数字孪生的工业机器人抓取装置的系统示意图；

附图中：1-模型构建模块，2-识别模块，3-坐标输出模块，4-抓取模块。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

实施例一

图1是根据一示例性实施例示出的基于数字孪生的工业机器人抓取方法的流程示意图，如图1所示，该方法包括：

基于数字孪生的工业机器人抓取方法，其特征在于，包括：

S1，构建现实机器人的数字孪生模型；

S2，通过互信息优化法实现数字孪生模型中虚拟机器人对被抓取物体的识别，获取被抓取物体的图像信息；

S3，将所述图像信息输入到深度Q网络中，输出虚拟机器人每个动作的Q值，基于每个动作的Q值得到被抓取物体的抓取点位的虚拟三维坐标，数字孪生模型对虚拟三维坐标进行深度迁移学习后输出真实三维坐标；

S4，根据补偿后的真实三维坐标，实现对物体的抓取；

可以理解的是，本申请通过搭建工业机器人的数字孪生模型，采用互信息优化法对物体进行识别，获得图形信息，并根据深度Q网络得到虚拟物体被抓取三维点位坐标，通过深度迁移学习将虚拟坐标与真实坐标进行转换，然后通过衰减可靠性对真实三维坐标的长宽进行补偿，得到补偿后的真实三维坐标，通过对三维坐标进行补偿，弥补光线、外部噪声、相机校准等误差因素导致的坐标误差，获得更为精准的三维点位坐标；

值得强调的是，如附图3所示，基于视觉引导的机器人抓取时需要事先进行视觉模版编程，常规情况下当物体位置形状固定时，基于灰度值、边缘、轮廓等特征提取的视觉模版匹配算法，具有较高的成功率，当产线以一定速度移动（非匀速情况）或者被抓取物体随机放置，出现动态或者半结构环境时，相机在有效范围内感知到的物体特征会产生不确定性，从而造成视觉模版匹配失败。因此这里应用互信息法实现视觉模版的匹配与更新，增强视觉模型对不确定对象的适应性与鲁棒性。

当物体位置随意且进入视觉部分具有不确定性时，视觉模版匹配结果是高度随机的。从信息论的角度来看待这个问题就是如果两个变量不是相互独立的，当一个变量已知，通常会减少另一个变量的不确定性，互信息可以衡量在这种情况下减少额多少不确定性。给定两个离散随机变量X和Y，其互信息

可以表示为

，

代表离散空间X上随机变量X的香农熵，

和

可定义为：

将预先的视觉模版是为离散空间X的随机变量X，所选模版是随机变量Y，其中

，0代表失败，1代表成功，通过不断增加感知动作来估计视觉模版X成功识别的条件概率

，不确定感知动作过程的条件熵

可以表示为：

随着视觉检测的增加，能得到更多的互信息，并最大限度地减少视觉模版选择及其真实世界性能中的不确定性，并根据视觉模版的条件熵，选出识别成功率高的视觉模版，实现对物体的识别。

值得强调的是，深度Q网络中卷积神经网络的功能是近似动作值函数

处于高维和连续状态，为获得强化学习模型中的目标函数，DQN算法根据Q学习算法建立了一个损失函数，动作值函数更新式为：

损失函数为：

其中，

是卷积神经网络模型的权重参数，目标Q值表示为

，

表示奖励，

表示奖励折扣因子，

表示下一时刻的状态，

表示当前状态，在得到DQN算法的损失函数后，可以直接使用梯度下降算法求解权重参数

的损失函数

的卷积神经网络模型；

值得强调的是，在获取到Q值，也就是抓取坐标后，在迁移学习过程中，两组环境不同（虚拟、现实）但具有相同网络模型的机器人抓取系统并行运行，一组输入是孪生模型中场景图片，输出坐标记为结果1，另一组是现实场景中的场景图片，将其输出坐标结果记为结果2，利用构建的孪生模型中的虚拟场景作为实景抓取动作的标准，基于提出可靠性的概念，并遵循一定的衰减尺度校正实际场景中的坐标，完成从虚拟孪生环境中的训练到真实场景中的实际抓取任务的迁移，其可靠性是具有衰减机制的，随着抓取成功次数的累计，其可靠性不断更新减小，最后会接近于0，可靠性衰减参数依据相机图像信息的可用性进行更改；

两者校核过程主要是由现实场景影响的，虽然利用深度迁移学习将虚拟孪生结果迁移到现实场景中，但由于光线、外部噪声、相机校准等误差因素存在，两者输出结果具有一定差异，需要基于虚拟抓取点位给真实抓取点位进行一定坐标补偿。当选定好视觉模版后，其物体的长宽高尺就已经固定，在机器人抓取时只需考虑长宽尺寸即可。虚拟孪生结果1的抓取坐标记为

、

；真实场景结果2的抓取坐标记为

，其中坐标补偿机制为：

式中，

代表衰减可靠性，

（x₁-x₂）表示对x₂的补偿，

（y₁-y₂）表示对y₂的补偿，其中，x₁、x₂、y₁、y₂均是已知的，得到补偿后的真实三维坐标x、y，而高度Z不需要进行补偿，就是深度迁移学习后的Z，这是因为通过互信息法选中正确的视觉模版后，其物体的高度就已知了，其抓手到物体的抓取高度也就确定了。

优选地，还包括：

现实机器人抓取物体前，对物体进行质量检测；

根据质量检测结果，将物体划分为合格产品以及缺陷产品；

将缺陷产品以及合格产品分别抓取到预设的不同固定位置，实现缺陷产品与合格产品的分类；

可以理解的是，在抓取物体前，还需要对物体进行缺陷检测，分辨出合格产品以及缺陷产品，然后将合格产品以及缺陷产品抓取到不同的预设的位置，实现缺陷产品与合格产品的分类；

优选地，

所述对物体进行质量检测包括：

S1001，获取物体的原始图像，通过深度自动编码器得到原始图像的特征向量Y；

S1002，将物体的原始图像在水平方向以及垂直方向按照预设的度数在0-360度之间旋转，得到多个旋转图像；

S1003，对旋转图像进行预处理，对预处理后的旋转图像在水平以及垂直方向上分割为多个相同大小的子图像；

S1004，将子图像输入到深度自动编码器，得到子图像的特征向量，所有子图像的特征向量的集合即为X向量；

S1005，将每个子图像的特征向量除以其欧几里得长度，得到X向量的单位向量；

S1006，根据X向量的单位向量和Y向量，得到X向量与Y向量的距离D；

S1007，根据距离D对X向量和Y向量生成的图像进行相似性评分；

S1008，根据预设的正常区域得分范围以及缺陷区域得分范围的阈值生成ROC曲线；

S1009，根据ROC曲线判断各个子图像是否存在缺陷、若存在缺陷，判断缺陷的类型以及缺陷的严重程度，从而得到物体缺陷的类型以及缺陷的严重程度；

可以理解的是，如附图2所示，缺陷检测，主要是对物体表明进行划痕、裂缝、夹杂物、斑点、凹痕、孔洞等进行检测。目前检测常使用的方法多为基于有监督学习的CNN网络，虽然解决了传统检测方法中，特征提取适应性弱的问题，但是有监督学习需要大量的训练样本对模型进行训练，同时需要对样本进行打标签处理，需耗费大量人力与时间，同时如果产生新的缺陷，且在模型训练过程中没有提取过该特征，则会造成诊断的失败。因此无监督学习能好的解决训练过程中数据的问题，但是无监督学习相比于有监督学习其可靠性较差，所以本申请提出一种改进的无监督学习缺陷检测方法，既解决有监督学习中样本缺失，无法提取最佳特征的问题，又解决无监督学习稳定性差的问题，本申请应用数据增强理论和深度自编码器算法对所获取的图像的表面缺陷进行诊断；使用数据增强是为了确保有足够多的图像，来对网络进行训练迭代，从而提取特征并避免过度拟合，本专利的数据增强方法是通过水平和垂直翻转然后在旋转实现的，将原始图像及翻转图像在0-360°之间以3°的步长进行旋转，从而产生足够多的图像来进行后续深度自编码器的训练，当有足够多的图像进行训练后，需对图像进行预处理，包含灰度化处理与归一化处理，但是在颜色信息较为重要的应用中（如被抓取物为焊接件等）会跳过灰度化处理，再对每个训练样本执行数据归一化处理；为了提高缺陷检测的准确性并缩小缺陷位置，对训练样本图像应用水平和垂直网格分割成子图像，具体分割大小由图片像素决定，并且每个子图像都独立于其他子图像进行处理；在图像特征提取这使用深度自动编码器，它是由编码器和解码器两个神经网络串联组成的，所用网络结构为使用三个完全连接的层进行训练，编码器的最后一层用作描述特征向量，编码器部分仅在训练期间使用，自动编码器的最后一层使用sigmoid激活函数，剩余其它所有层的激活函数为ReLU函数；其中损失函数是测量重构输出向量y与原始输入向量x的接近程度，这里选择重建损失函数的二进制交叉熵，用于计算重建过程中与原始信息相比保留了多的信息，所使用的损失函数为：

在计算损失函数时应用ADAM optimizer来对迭代次数超过5000的部分进行收敛优化，因为编码器的最后一层是一维数组，用于表示特征向量，因此当X具有N个分量的特征向量则可以表示为

，然后将X的每个分量除以其欧几里得长度，得到X的单位向量

，其中

，然后使用L2范数对两幅图像生成的向量进行相似性匹配，对于长度为N的任意两个给定向量X和Y，其距离计算为

，最后对两个特征向量X和Y生成的图像进行相似性评分（0-1之间），相似性评分计算S，

，通过相似匹配算法可以针对各个子图像得出相似性评分，通过相似性评分可以观察出缺陷区域等分范围，正常区域得分范围，然后根据两者的阈值测试生出ROC曲线，用于检测各种不同类型的缺陷。（通过深度自动编码器可以检测出图像有无缺陷信息、缺陷严重性、缺陷类型；缺陷的具体深度、长度等情况是后续通过ROC曲线得到的）。

优选地，

所述现实机器人的运行数据发送给数字孪生模块中的虚拟机器人，实现双向闭环控制；

可以理解的是，本申请中，接收孪生机器人反馈的物理实体运行状态数据，通过控制孪生机器人达到控制实体机器人的目的，同时实体机器人的运行状态数据也可以传输到孪生机器人中，从而形成一个双向闭环控制的数字孪生体。

优选地，

几何模型用于描述工业机器人的几何形状；

物理模型用于分析工业机器人的力学变化特性；

行为模型用于明确工业机器人的具体运动行为；

规则模型用于明确工业机器人的路径、范围及约束条件；

将模型导入到unity3D中，并添加现实机器人的静态物理参数和动态运行参数；

可以理解的是，使用3dmax对机器人进行1：1等比例建模，将模型导入到unity3D中，并添加静态物理参数和动态运行参数，进行虚拟环境训练，机器人的抓取训练是基于深度强化学习实现的。

优选地，

所述数字孪生模型中，虚拟机器人按照虚拟三维坐标抓取虚拟物体，当所述虚拟物体在抓取提升过程中，虚拟物体的高度坐标有变动时，则判定抓取成功，对虚拟三维坐标进行深度迁移学习后输出真实三维坐标，再对真实三维坐标的长宽坐标进行补偿，得到补偿后的真实三维坐标；

可以理解的是，在模拟环境中训练时，机器人能否成功抓取的标准是通过判断每次抓取后物体的z坐标是否增加实现的；而在真实场景中训练时，成功的标准是神经网络输出的最大Q值点是否与模拟环境中的坐标点输出一致。

实施例二

根据本实施例示出的基于数字孪生的工业机器人抓取装置，如附图4所示，包括：

模型构建模块1：用于构建现实机器人的数字孪生模型；

识别模块2：用于通过互信息优化法实现数字孪生模型中虚拟机器人对被抓取物体的识别，获取被抓取物体的图像信息；

坐标输出模块3：用于将所述图像信息输入到深度Q网络中，输出虚拟机器人每个动作的Q值，基于每个动作的Q值得到被抓取物体的抓取点位的虚拟三维坐标，数字孪生模型对虚拟三维坐标进行深度迁移学习后输出真实三维坐标；

抓取模块4：用于根据补偿后的真实三维坐标，现实机器人实现对物体的抓取；

可以理解的是，可以理解的是，本申请通过模型构建模块1搭建工业机器人的数字孪生模型，识别模块2采用互信息优化法对物体进行识别，获得图形信息，坐标输出模块3将所述图像信息输入到深度Q网络中，得到虚拟物体被抓取三维点位坐标，通过深度迁移学习将虚拟坐标与真实坐标进行转换，然后通过衰减可靠性对真实三维坐标的长宽进行补偿，得到补偿后的真实三维坐标，通过抓取模块4根据补偿后的真实三维坐标，现实机器人实现对物体的抓取，本申请通过对三维坐标进行补偿，弥补光线、外部噪声、相机校准等误差因素导致的坐标误差，获得更为精准的三维点位坐标，使得数字孪生模型在工业机器人的抓取上更具有实际意义。

实施例三：

本实施例提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被主控器执行时，实现上述方法中的各个步骤；

可以理解的是，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims

1.基于数字孪生的工业机器人抓取方法，其特征在于，包括：

构建现实机器人的数字孪生模型；

根据补偿后的真实三维坐标，实现对物体的抓取。

2.根据权利要求1所述的方法，其特征在于，还包括：

现实机器人抓取物体前，对物体进行质量检测；

根据质量检测结果，将物体划分为合格产品以及缺陷产品，

3.根据权利要求2所述的方法，其特征在于，

所述对物体进行质量检测包括：

根据X向量的单位向量和Y向量，得到X向量与Y向量的距离D；

根据距离D对X向量和Y向量生成的图像进行相似性评分；

4.根据权利要求3所述的方法，其特征在于，

所述数字孪生模型中的虚拟机器人的运行数据发送给现实机器人；

所述现实机器人的运行数据发送给数字孪生模型中的虚拟机器人，实现双向闭环控制。

5.根据权利要求4所述的方法，其特征在于，

几何模型用于描述工业机器人的几何形状；

物理模型用于分析工业机器人的力学变化特性；

行为模型用于明确工业机器人的具体运动行为；

规则模型用于明确工业机器人的路径、范围及约束条件；

6.根据权利要求5所述的方法，其特征在于，

7.基于数字孪生的工业机器人抓取装置，其特征在于，包括：

模型构建模块：用于构建现实机器人的数字孪生模型；

8.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被主控器执行时，实现如权利要求1-6任一项所述的基于数字孪生的工业机器人抓取方法中的各个步骤。