CN114789454B - 基于lstm和逆运动学的机器人数字孪生轨迹补全方法 - Google Patents

基于lstm和逆运动学的机器人数字孪生轨迹补全方法 Download PDF

Info

Publication number
CN114789454B
CN114789454B CN202210721155.9A CN202210721155A CN114789454B CN 114789454 B CN114789454 B CN 114789454B CN 202210721155 A CN202210721155 A CN 202210721155A CN 114789454 B CN114789454 B CN 114789454B
Authority
CN
China
Prior art keywords
robot
data
joints
joint angle
virtual environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210721155.9A
Other languages
English (en)
Other versions
CN114789454A (zh
Inventor
胡伟飞
忻奕杰
胡新锋
程锦
刘振宇
谭建荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202210721155.9A priority Critical patent/CN114789454B/zh
Publication of CN114789454A publication Critical patent/CN114789454A/zh
Application granted granted Critical
Publication of CN114789454B publication Critical patent/CN114789454B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Numerical Control (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种基于LSTM和逆运动学的机器人数字孪生轨迹补全方法，该方法先通过训练集训练运动轨迹预测网络，并在在线时通过训练好的运动轨迹预测网络输出当前时刻机器人所有关节的关节角度的预测值；然后通过逆运动学求解，得到若干组当前时刻的机器人所有关节的关节角度的计算值，将所有的计算值和预测值进行对比，若误差小于阈值，则输出预测值到虚拟环境中，实现虚实同步；否则，将计算值输入回到虚拟环境中，实现虚实同步。本发明的机器人数字孪生轨迹补全方法，能够基于获取得到的正常机器人状态轨迹数据对丢失的数据进行预测，且能够保证每个时刻的轨迹预测不会出现较大偏差，快速预测出丢失的数据使虚实达到同步。

Description

基于LSTM和逆运动学的机器人数字孪生轨迹补全方法
技术领域
本发明属于数字孪生智能制造领域，尤其涉及一种基于LSTM和逆运动学的机器人数字孪生轨迹补全方法。
背景技术
工业数字孪生是多类数字化技术集成融合和创新应用，基于建模工具在数字空间构建起精准物理对象模型，再利用实时IOT 数据驱动模型运转，进而通过数据与模型集成融合构建起综合决策能力，推动工业全业务流程闭环优化。
该技术是一系列数字化技术的集成融合和创新应用，涵盖了数字支撑技术、数字线程技术、数字孪生体技术、人机交互技术四大类型。其中，数字线程技术和数字孪生体技术是核心技术，数字支撑技术和人机交互是基础技术。
但是随着工业数字孪生的潮流和发展，上述方法显现出以下问题：机器人不仅要求能够胜任重复的任务，更被希望能稳定高效地完成相关的任务。然而当网络在进行数据传输的过程中，难免会有数据丢失的情况出现，该情况下，工业数字孪生系统对缺失数据的填补和反馈十分困难，即系统的单向的数据传递对环境的变化抵抗能力基本为零，难以应对复杂智能产线，复杂工况下的智能生产实时同步需求。
发明内容
针对现有技术的不足，本发明提供一种基于LSTM和逆运动学的机器人数字孪生轨迹补全方法，具体技术方案如下：
一种基于LSTM和逆运动学的机器人数字孪生轨迹补全方法，该方法具体包括如下步骤：
（1）根据从真实机器人中传输到虚拟环境中的机器人轨迹运行数据，从每一个时刻的机器人的状态数据中筛选出机器人各个关节的关节角度数据，以单一时刻所有关节的关节角度数据为一组，进行归一化，得到运动轨迹预测网络的训练集数据；
（2）采用训练集训练运动轨迹预测网络；
（3）给定一个基于工件坐标系的机器人的六维末端坐标，将机器人初始所有关节的关节角度数据和六维末端坐标传输到虚拟环境中暂存；
（4）将末端坐标输入真实机器人，真实机器人开始运动，通过socket协议实时读取真实机器人状态数据，并同步到虚拟环境中；将所述虚拟环境中得到的机器人状态数据进行筛选，得到所有关节的关节角度数据，进行实时保存；
（5）将当前时刻的机器人所有关节的关节角度数据与保存的前一时刻的虚拟环境中的机器人所有关节的关节角度数据进行对比，若超出限定范围时，则判断轨迹数据出现异常，开始轨迹补全；
（6）将当前时刻之前的两个时刻的机器人所有关节的关节角度数据按照时间序列排序，归一化后，输入到训练好的运动轨迹预测网络中，输出当前时刻机器人所有关节的关节角度的预测值；
（7）根据步骤（3）得到的机器人运动的六维末端坐标，进行逆运动学求解，获取最后时刻的机器人所有关节的关节角度，结合暂存的初始位置的机器人所有关节的关节角度数据和步骤（6）得到的机器人所有关节的关节角度预测值，并基于这三组数据得到若干组当前时刻的机器人所有关节的关节角度的计算值；
（8）将步骤（7）得到的若干组当前时刻的机器人所有关节的关节角度的计算值与步骤（6）得到的预测值分别进行对比，若误差均小于设定阈值，则将当前时刻机器人所有关节的关节角度的预测值输入回到虚拟环境中，实现虚拟环境的机器人运动和现实中的机器人的运动同步；否则，将与步骤（6）得到的预测值误差最小的当前时刻的机器人所有关节的关节角度的计算值输入回到虚拟环境中，实现虚拟环境的机器人运动和真实机器人的运动同步。
进一步地，基于工件坐标系的机器人的六维末端坐标包含机器人末端的三维空间坐标与旋转角度P=[X, Y, Z, Rx, Ry, Rz]T。
进一步地，所述运动轨迹预测网络为20个LSTM组成的循环神经网络。
进一步地，所述的步骤（7）中的若干组数据的数量等于机器人关节的数量。
进一步地，当机器人用于抓取时，真实物理环境包括物理机器人、机械爪、深度相机以及待抓取物体集合；机械爪为二指平行自适应夹爪；虚拟环境为上位机通过与物理硬件进行虚实信息传递所构建的虚拟机器人环境，包括环境的模型、机器人模型与状态、夹爪模型与状态、深度相机姿态；其中，机器人状态包括机器人几何信息、型号，各关节角度信息；夹爪状态包括当前夹爪开合状态以及夹爪张开的宽度；深度相机姿态为深度相机坐标系相对于机器人基坐标系的位置和姿态，共6个参数。
本发明的有益效果如下：
（1）本发明将运动轨迹补全方法应用在数字孪生的数据传输中，使虚拟和现实场景中数据传输的同步性和一致性的效果更好，虚拟场景中的机器人运动更流畅。
（2）本发明的方法将逆运动学和LSTM结合进行轨迹补全，确保每个时刻的轨迹预测不会出现较大偏差，起到过滤大误差的效果。
附图说明
图1为本发明的方法的流程图。
图2为抓取场景下的硬件结构连接示意图。
图3为抓取场景下的通信连接示意图。
图4为真实抓取环境与虚拟抓取环境同步示意图。
图5为轨迹补全网络的结构图。
图6为预测运动轨迹与真实运动轨迹对比图。
具体实施方式
下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明的基于LSTM和逆运动学的机器人数字孪生轨迹补全方法，包括如下步骤：
步骤一：根据从真实机器人中传输到虚拟环境中的机器人轨迹运行数据，从每一个时刻的机器人的状态数据中筛选出机器人各个关节的关节角度数据，以单一时刻所有关节的关节角度数据为一组，进行归一化，得到运动轨迹预测网络的训练集数据；具体分为如下的子步骤：
将机器人通过基于TCP/IP协议的Socket通信传输得到的二进制数据进行二进制数据到浮点数的转换；将状态数据进行筛选关节角度数据和机器人末端执行器的数据进行保存；将保存得到的数据按照7:2:1的比例分割为训练集、测试集和验证集；将分类完毕的数据进行归一化处理，提升训练精度和收敛速度；
步骤二：采用训练集训练运动轨迹预测网络；
作为其中一种实施方式，轨迹补全网络为20个LSTM组成的循环神经网络，运行在上位机中；轨迹补全神经网络通过之前保存的前两组信息进行预测和补全，并返回到虚拟环境中，形成完整的运动轨迹。
步骤三：给定一个基于工件坐标系的机器人的六维末端坐标，将机器人初始所有关节的关节角度数据和六维末端坐标传输到虚拟环境中暂存；
步骤四：将末端坐标输入真实机器人，真实机器人开始运动，通过socket协议实时读取真实机器人状态数据，并同步到虚拟环境中；将虚拟环境中得到的机器人状态数据进行筛选，得到所有关节的关节角度数据，进行实时保存；
步骤五：将当前时刻的机器人所有关节的关节角度数据与保存的前一时刻的虚拟环境中的机器人所有关节的关节角度数据进行对比，若超出限定范围时，则判断轨迹数据出现异常，开始轨迹补全；
步骤六：将当前时刻之前的两个时刻的机器人所有关节的关节角度数据按照时间序列排序，归一化后，输入到训练好的运动轨迹预测网络中，输出当前时刻机器人所有关节的关节角度的预测值；
步骤七：根据步骤三得到的机器人运动的六维末端坐标，进行逆运动学求解，获取最后时刻的机器人所有关节的关节角度，结合暂存的初始位置的机器人所有关节的关节角度数据和步骤六得到的机器人所有关节的关节角度预测值，并基于这三组数据得到若干组当前时刻的机器人所有关节的关节角度的计算值；
步骤八：将步骤七得到的若干组当前时刻的机器人所有关节的关节角度的计算值与步骤六得到的预测值分别进行对比，若误差均小于设定阈值，则将当前时刻机器人所有关节的关节角度的预测值输入回到虚拟环境中，实现虚拟环境的机器人运动和现实中的机器人的运动同步；否则，将与步骤六得到的预测值误差最小的当前时刻的机器人所有关节的关节角度的计算值输入回到虚拟环境中，实现虚拟环境的机器人运动和真实机器人的运动同步。
如图2所示，作为其中一个实施例，本发明的基于LSTM和逆运动学的机器人数字孪生轨迹补全方法用在抓取场景下，其他的数字孪生实现虚实同步的场景也同样适用。此时，机器人抓取的物理抓取环境，包括6轴协作机器人、二指平行自适应夹爪、深度相机、AGV小车、上位机、路由器以及显示器，其中机器人和二指平行自适应夹爪是抓取的主要的抓取执行机构，深度相机为可以采集彩色图片和2.5D深度点云图片的相机，待抓取物体集合为一个或者多个AGV小车平台上随机摆放的物体。AGV小车为主要的运输机构，显示器为主要的信息展示机构。所有物体的虚拟模型均提前设计建立完毕，运动和状态信息均通过图像或者数据以网线或者WIFI的形式传输到上位机，实现汇总。
如图3所示，本发明所述的各个行动单元之间的信号传输和连接；所有运动机构的信息全部通过路由器将信号传输到上位机进行汇总，上位机对汇总的数据进行处理，包括抓取判断、轨迹缺损判断、轨迹缺失的补全、数字孪生界面的展示和生成。
如图4所示，为真实抓取环境与虚拟抓取环境同步示意图，所述虚拟环境为上位机通过与物理硬件进行虚实信息传递所构建的虚拟抓取环境，包括机器人状态、夹爪状态、深度相机状态与获取到的图像、AGV小车状态、以及待检测和分拣的物体的状态。虚拟环境中机器人状态包括机器人几何信息、各关节角度信息以及机器人工作状态；夹爪状态包括当前夹爪开度以及夹爪工作状态；深度相机姿态为深度相机坐标系相对于机器人基坐标系的位置以及深度相机获取到的图像；AGV小车状态为AGV小车的位置信息，运动轨迹和速度，待检测和分拣的物体信息为物体集合相对于相机坐标系的位置、物体的型号以及是否存在缺陷。
对于轨迹补全网络，其任务是基于已保存的上两组机器人状态参数，对下一个时刻的机器人状态参数进行预测。而机器人的状态信息包括一组列向量，6个状态参数分别是一轴到六轴的关节角度参数Joint=[J1,J2,J3,J4,J5,J6]T。角度均使用弧度制进行表示，便于之后的归一化处理。轨迹补全网络采用20个如图5所示的单一重复结构叠加而成，输入则为前两个时刻的Joint数据按照时序排列。轨迹补全网络的关键在于单元状态，水平线贯穿图5顶部的内容。单元状态直接沿着整个链运行，只有部分次要的线性交互。因此信息沿着它不变的流动，并得到保留，形成长期的记忆。
除此之外，轨迹补全网络有能力移除或添加信息到单元状态中，这是由一个叫门的结构精细调节的，其由一个sigmoid神经网络层和逐点乘法组成，在图5中，σ即表示对应的sigmoid神经网络层。每个单元结构中一共有3个sigmoid神经网络层，用于保护和控制单元状态。通过门调节可选择信息传递和通过的方法。sigmoid神经网络层的输出为0到1之间，乘以该系数，可以控制通过该门的信息量。值为0时表示没有信息通过该门，而值为1则表示所有信息全部通过该门。
轨迹补全网络，首先确定从单元状态中丢弃信息的内容ft，这一决策由输入的第一个sigmoid神经网络层，亦称为遗忘门。上一层的输出ht-1和该层的输入xt一同输入到遗忘门对应单元状态Ct-1中每个数输出一个0到1之间的数字。1代表“完全保持”，0表示“完全遗忘”。
Figure 410580DEST_PATH_IMAGE001
以此来表示对前一层的信息的筛选和关联性的确定。
其次，轨迹补全网络需确定在本单元状态中保存的新信息。该流程分为两个部分。 首先，称为“输入门层”的sigmoid神经网络层决定将信息被更新的部分it，更新部分为
Figure 593300DEST_PATH_IMAGE002
。 而与第二个sigmoid神经网络层并列的tanh神经网络层则用 以创建可以添加到状态中的新候选值
Figure 28829DEST_PATH_IMAGE003
的向量,
Figure 955197DEST_PATH_IMAGE004
。 在下一 步中，将结合这两个来创建状态更新。在轨迹网络模型将需要的新的角度参数添加到新的 单元状态中，并筛选部分旧的单元状态选择遗忘。
在得到遗忘部分ft以及更新部分it和新的候选添加部分
Figure 176094DEST_PATH_IMAGE003
后，需要将旧的单元状态Ct-1更新为新的单元状态Ct。
Figure 529714DEST_PATH_IMAGE005
，即根据具体需求来放弃前一组数据的部分无效无关信息，并添加新的对预测轨迹有效的信息。
最后，轨迹规划网络需要决定输出内容。此输出将基于经过进一步过滤得到的单 元状态。 首先，运行新的一个sigmoid神经网络层ot，用以决定需要输出的单元状态的具体 内容
Figure 951075DEST_PATH_IMAGE006
。然后，将单元状态经过tanh变换，使其值能够介于-1和1 之间，并将其乘以sigmoid门的输出，以便输出轨迹预测网络最终的输出结果，也是下一个 重复结构的输入参数之一
Figure 681134DEST_PATH_IMAGE007
。当改结构单元为整个轨迹预测网络的最后 一层时，输出的ht则为最终的预测关节角度结果。
在构建轨迹预测网络的训练集时，为了保证虚拟环境的实时性，应采用最快运行速度的算法，因此采用解析法对机器人目标位置末端坐标进行逆运动学求解Jointend=[J1e,J2e,J3e,J4e,J5e,J6e]T，得到对应目标位置处的机器人各关节角度数据，同时初始位置时的机器人各关节角度数据已被保存Jointstart=[J1s,J2s,J3s,J4s,J5s,J6s]T。已知机器人在运动过程中，伺服电机的运转速度恒定，取各关节角度数据的预测值Jointpredict=[J1p,J2p,J3p,J4p,J5p,J6p]T中的一个Jip,(i=1,2,3,4,5,6)，通过公式Jjc=(Jje-Jjs)(Jip-Jis)/(Jie-Jis)+Jjs,(i≠j)，可以求得机器人各关节角度数据的计算值Jointcalculate=[J1c,J2c,J3c,J4c,J5c,J6c]T。共可求得6组Jointcalculate，若6组机器人各关节角度数据的计算值与预测值的误差均小于阈值，则取预测值，若误差超过阈值则选取误差最小的计算值进行替代得到最终结果。
如图6所示，为该实施例中预测运动轨迹与真实运动轨迹对比图，图中实线为真实，虚线为预测。网络精度评测指标分别为如下数据，满足预测的精度要求：
平均绝对误差：MAE=9.0×10-3；
均方误差：MSE=1.50×10-4；
均方根误差：RMSE=1.2×10-2。
本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (5)

1.一种基于LSTM和逆运动学的机器人数字孪生轨迹补全方法，其特征在于，该方法具体包括如下步骤：
（1）根据从真实机器人中传输到虚拟环境中的机器人轨迹运行数据，从每一个时刻的机器人的状态数据中筛选出机器人各个关节的关节角度数据，以单一时刻所有关节的关节角度数据为一组，进行归一化，得到运动轨迹预测网络的训练集数据；
（2）采用训练集训练运动轨迹预测网络；
（3）给定一个基于工件坐标系的机器人的六维末端坐标，将机器人初始所有关节的关节角度数据和六维末端坐标传输到虚拟环境中暂存；
（4）将末端坐标输入真实机器人，真实机器人开始运动，通过socket协议实时读取真实机器人状态数据，并同步到虚拟环境中；将所述虚拟环境中得到的机器人状态数据进行筛选，得到所有关节的关节角度数据，进行实时保存；
（5）将当前时刻的机器人所有关节的关节角度数据与保存的前一时刻的虚拟环境中的机器人所有关节的关节角度数据进行对比，若超出限定范围时，则判断轨迹数据出现异常，开始轨迹补全；
（6）将当前时刻之前的两个时刻的机器人所有关节的关节角度数据按照时间序列排序，归一化后，输入到训练好的运动轨迹预测网络中，输出当前时刻机器人所有关节的关节角度的预测值；
（7）根据步骤（3）得到的机器人运动的六维末端坐标，进行逆运动学求解，获取最后时刻的机器人所有关节的关节角度，结合暂存的初始位置的机器人所有关节的关节角度数据和步骤（6）得到的机器人所有关节的关节角度预测值，并基于这三组数据得到若干组当前时刻的机器人所有关节的关节角度的计算值；
（8）将步骤（7）得到的若干组当前时刻的机器人所有关节的关节角度的计算值与步骤（6）得到的预测值分别进行对比，若误差均小于设定阈值，则将当前时刻机器人所有关节的关节角度的预测值输入回到虚拟环境中，实现虚拟环境的机器人运动和现实中的机器人的运动同步；否则，将与步骤（6）得到的预测值误差最小的当前时刻的机器人所有关节的关节角度的计算值输入回到虚拟环境中，实现虚拟环境的机器人运动和真实机器人的运动同步。
2.根据权利要求1所述的基于LSTM和逆运动学的机器人数字孪生轨迹补全方法，其特征在于，基于工件坐标系的机器人的六维末端坐标包含机器人末端的三维空间坐标与旋转角度P=[X, Y, Z, Rx, Ry, Rz]T。
3.根据权利要求1所述的基于LSTM和逆运动学的机器人数字孪生轨迹补全方法，其特征在于，所述运动轨迹预测网络为20个LSTM组成的循环神经网络。
4.根据权利要求1所述的基于LSTM和逆运动学的机器人数字孪生轨迹补全方法，其特征在于，所述的步骤（7）中的若干组数据的数量等于机器人关节的数量。
5.根据权利要求1所述的基于LSTM和逆运动学的机器人数字孪生轨迹补全方法，其特征在于，当机器人用于抓取时，真实物理环境包括物理机器人、机械爪、深度相机以及待抓取物体集合；机械爪为二指平行自适应夹爪；虚拟环境为上位机通过与物理硬件进行虚实信息传递所构建的虚拟机器人环境，包括环境的模型、机器人模型与状态、夹爪模型与状态、深度相机姿态；其中，机器人状态包括机器人几何信息、型号，各关节角度信息；夹爪状态包括当前夹爪开合状态以及夹爪张开的宽度；深度相机姿态为深度相机坐标系相对于机器人基坐标系的位置和姿态，共6个参数。
CN202210721155.9A 2022-06-24 2022-06-24 基于lstm和逆运动学的机器人数字孪生轨迹补全方法 Active CN114789454B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210721155.9A CN114789454B (zh) 2022-06-24 2022-06-24 基于lstm和逆运动学的机器人数字孪生轨迹补全方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210721155.9A CN114789454B (zh) 2022-06-24 2022-06-24 基于lstm和逆运动学的机器人数字孪生轨迹补全方法

Publications (2)

Publication Number Publication Date
CN114789454A CN114789454A (zh) 2022-07-26
CN114789454B true CN114789454B (zh) 2022-09-06

Family

ID=82462965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210721155.9A Active CN114789454B (zh) 2022-06-24 2022-06-24 基于lstm和逆运动学的机器人数字孪生轨迹补全方法

Country Status (1)

Country Link
CN (1) CN114789454B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116700168B (zh) * 2023-06-02 2024-07-05 中国五洲工程设计集团有限公司 生产线的虚实同步方法及系统
CN117086886B (zh) * 2023-10-18 2023-12-22 山东建筑大学 基于机理数据混合驱动的机器人动态误差预测方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110977981A (zh) * 2019-12-18 2020-04-10 中国东方电气集团有限公司 一种机器人虚拟现实同步系统及同步方法
CN111413887A (zh) * 2020-03-17 2020-07-14 浙江大学 一种复杂产品装配生产线数字孪生系统
CN112297013A (zh) * 2020-11-11 2021-02-02 浙江大学 一种基于数字孪生和深度神经网络的机器人智能抓取方法
CN112440281A (zh) * 2020-11-16 2021-03-05 浙江大学 一种基于数字孪生的机器人轨迹规划方法
CN114035425A (zh) * 2021-11-05 2022-02-11 广东工业大学 一种无人机数字孪生系统的虚实状态同步方法和系统
CN114296408A (zh) * 2021-12-06 2022-04-08 上海大学 一种数字孪生环境中的生产制造车间人工智能优化算法模型系统及其算法
CN114442510A (zh) * 2021-12-31 2022-05-06 广东省科学院智能制造研究所 数字孪生闭环控制方法、系统、计算机设备及存储介质
WO2022099997A1 (zh) * 2020-11-16 2022-05-19 杭州景业智能科技股份有限公司 基于数字孪生映射的主从联动控制方法和系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102275520B1 (ko) * 2018-05-24 2021-07-12 티엠알더블유 파운데이션 아이피 앤드 홀딩 에스에이알엘 현실 세계를 대표하는 실시간 3d 가상 세계 내에서 실시간 3d 가상 객체의 양방향 실시간 대화형 오퍼레이션
EP3809220B1 (en) * 2019-10-14 2023-01-18 Honda Research Institute Europe GmbH Method and system for semi-supervised deep anomaly detection for large-scale industrial monitoring systems based on time-series data utilizing digital twin simulation data

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110977981A (zh) * 2019-12-18 2020-04-10 中国东方电气集团有限公司 一种机器人虚拟现实同步系统及同步方法
CN111413887A (zh) * 2020-03-17 2020-07-14 浙江大学 一种复杂产品装配生产线数字孪生系统
CN112297013A (zh) * 2020-11-11 2021-02-02 浙江大学 一种基于数字孪生和深度神经网络的机器人智能抓取方法
CN112440281A (zh) * 2020-11-16 2021-03-05 浙江大学 一种基于数字孪生的机器人轨迹规划方法
WO2022099997A1 (zh) * 2020-11-16 2022-05-19 杭州景业智能科技股份有限公司 基于数字孪生映射的主从联动控制方法和系统
CN114035425A (zh) * 2021-11-05 2022-02-11 广东工业大学 一种无人机数字孪生系统的虚实状态同步方法和系统
CN114296408A (zh) * 2021-12-06 2022-04-08 上海大学 一种数字孪生环境中的生产制造车间人工智能优化算法模型系统及其算法
CN114442510A (zh) * 2021-12-31 2022-05-06 广东省科学院智能制造研究所 数字孪生闭环控制方法、系统、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
虚拟现实技术在机器人臂/灵巧手遥操作中的应用;胡海鹰等;《系统仿真学报》;20041020(第10期);第2305-2308页 *

Also Published As

Publication number Publication date
CN114789454A (zh) 2022-07-26

Similar Documents

Publication Publication Date Title
CN114789454B (zh) 基于lstm和逆运动学的机器人数字孪生轨迹补全方法
CN110039542B (zh) 具有速度方向控制的视觉伺服跟踪控制方法及机器人系统
CN108818530B (zh) 基于改进rrt算法的机械臂抓取散乱堆放活塞运动规划方法
Tsai et al. A hybrid switched reactive-based visual servo control of 5-DOF robot manipulators for pick-and-place tasks
US20220063099A1 (en) Framework of robotic online motion planning
Zhang et al. Sim2real learning of obstacle avoidance for robotic manipulators in uncertain environments
CN112207835A (zh) 一种基于示教学习实现双臂协同作业任务的方法
CN111152227A (zh) 一种基于引导式dqn控制的机械臂控制方法
CN115446827A (zh) 使用模块化神经网络的抓取学习
Raessa et al. Teaching a robot to use electric tools with regrasp planning
JP2022187983A (ja) 高次元のロボット作業を学習するためのネットワークモジュール化
CN111223141A (zh) 基于强化学习的自动化流水线作业效率优化系统及方法
CN116460843A (zh) 一种基于元启发式算法的多机器人协作抓取方法及系统
Mavsar et al. Intention recognition with recurrent neural networks for dynamic human-robot collaboration
CN111496794A (zh) 一种基于仿真工业机器人的运动学自抓取学习方法和系统
Zhang et al. A residual reinforcement learning method for robotic assembly using visual and force information
CN115194774A (zh) 一种基于多目视觉的双机械臂抓握系统控制方法
Tang et al. Grasp Planning Based on Deep Reinforcement Learning: A Brief Survey
Wei et al. Sensorimotor coordination and sensor fusion by neural networks
Li A Design of Robot System for Rapidly Sorting Express Carton with Mechanical Arm Based on Computer Vision Technology
Li et al. An automatic robot skills learning system from robot’s real-world demonstrations
Gothoskar et al. DURableVS: Data-efficient Unsupervised Recalibrating Visual Servoing via online learning in a structured generative model
Gan et al. Dual Arm Cooperation Based on Visual Servo Control
Prew et al. Evaluating Gaussian Grasp Maps for Generative Grasping Models
Cheng et al. Real-time robot end-effector pose estimation with deep network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant