CN117733874A - 机器人状态预测方法、装置、电子设备及存储介质 - Google Patents
机器人状态预测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117733874A CN117733874A CN202410188144.8A CN202410188144A CN117733874A CN 117733874 A CN117733874 A CN 117733874A CN 202410188144 A CN202410188144 A CN 202410188144A CN 117733874 A CN117733874 A CN 117733874A
- Authority
- CN
- China
- Prior art keywords
- robot
- state prediction
- robot arm
- prediction model
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000010586 diagram Methods 0.000 claims abstract description 94
- 238000009826 distribution Methods 0.000 claims description 85
- 238000000605 extraction Methods 0.000 claims description 48
- 230000006870 function Effects 0.000 claims description 33
- 230000015654 memory Effects 0.000 claims description 24
- 230000004927 fusion Effects 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 238000010276 construction Methods 0.000 claims description 2
- 230000008447 perception Effects 0.000 abstract description 6
- 230000008859 change Effects 0.000 abstract description 4
- 230000004931 aggregating effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 18
- 239000010410 layer Substances 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 6
- 238000012546 transfer Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000007787 long-term memory Effects 0.000 description 3
- 230000006403 short-term memory Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000008485 antagonism Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000002355 dual-layer Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000004540 process dynamic Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及机器人状态预测技术领域，提供一种机器人状态预测方法、装置、电子设备及存储介质，其中方法包括：识别遥操作视频中机器人的机器臂，并确定机器臂的关节位置；以遥操作视频的图像帧中所述机器臂的关节位置作为节点，以机器臂的关节位置之间的关系作为节点间的边构建时间图结构；对时间图结构进行卷积，得到机器臂的动态图，将机器臂的动态图输入至机器人状态预测模型中，得到模型输出的机器人的预测轨迹。使用遮挡感知时序图编码构建一个时间图结构，聚合每个节点的邻域信息并更新节点特征，且机器臂的动态图利用时间相关性，捕获机器人关节位置的变化，减轻关节遮挡并减少了预测误差，从而提高后续机器人状态预测的准确性和可靠性。
Description
技术领域
本发明涉及机器人状态预测技术领域，尤其涉及一种机器人状态预测方法、装置、电子设备及存储介质。
背景技术
遥操作机器人广泛应用于空间站机械臂、深海探测器机械手等领域。但由于通信延迟的影响，使得操作员很难准确判断机器人末端的实时位置和姿态。为实现高精度的遥操作控制，研究机器人状态的预测方法显得尤为重要。
当前的预测方法主要包括基于模型的方法、基于仿真的方法等。基于模型的方法如卡尔曼滤波预测法，可以建立机器人系统的运动学模型，并利用递归算法预测机器人的未来状态。但该方法难以处理机器人运动的非线性特性。基于仿真的方法通过构建机器人及环境的虚拟模型来模拟机器人的运动过程，但其预测精度受模型细节和计算资源的限制。
近年来，基于深度学习的视频预测方法获得了长足发展，已应用于机器人运动预测。这些方法利用卷积神经网络或循环神经网络学习输入图像序列的时空特征，以生成未来的图像帧。但现有方法存在训练过程中易受噪声影响、预测帧图模糊等问题。此外，直接预测图像帧无法准确反映机器人运动学状态。
发明内容
本发明提供一种机器人状态预测方法、装置、电子设备及存储介质，用以解决现有技术中存在训练过程中易受噪声影响、预测帧图模糊等问题，并且，直接预测图像帧无法准确反映机器人运动学状态的缺陷。
本发明提供一种机器人状态预测方法，包括：
识别遥操作视频中机器人的机器臂，并确定所述机器臂的关节位置；
以所述遥操作视频的图像帧中所述机器臂的关节位置作为节点，以所述机器臂的关节位置之间的关系作为节点间的边构建时间图结构；
对所述时间图结构进行卷积，得到所述机器臂的动态图，并将所述机器臂的动态图输入至机器人状态预测模型中，得到所述机器人状态预测模型输出的所述机器人的预测轨迹。
根据本发明提供的一种机器人状态预测方法，所述机器人状态预测模型的训练步骤，包括：
确定初始机器人状态预测模型，并获取机器臂的样本动态图的未来帧、所述样本动态图的历史帧，以及所述机器臂的实际轨迹；所述初始机器人状态预测模型包括第一关键点提取模块、第二关键点提取模块和融合模块；
将所述样本动态图的未来帧输入至所述第一关键点提取模块中进行关键点信息提取，得到所述第一关键点提取模块输出的第一潜变量分布；
将所述第一潜变量分布和所述样本动态图的历史帧输入至所述融合模块中进行机器人的轨迹预测，得到预测轨迹结果；
基于所述实际轨迹和所述预测轨迹结果之间的差异、所述第一潜变量分布和所述样本动态图的未来帧之间的差异，确定目标损失函数值，并基于所述目标损失函数值对所述初始机器人状态预测模型进行参数迭代，得到所述机器人状态预测模型。
根据本发明提供的一种机器人状态预测方法，所述基于所述实际轨迹和所述预测轨迹结果之间的差异、所述第一潜变量分布和所述样本动态图的未来帧之间的差异，确定目标损失函数值，包括：
将所述样本动态图的历史帧输入至所述第二关键点提取模块中进行关键点信息提取，得到所述第二关键点提取模块输出的第二潜变量分布；
基于所述第一潜变量分布和所述第二潜变量分布之间的差异，确定潜在变量分布损失；
基于所述实际轨迹和所述预测轨迹结果之间的差异，确定重建损失；
基于所述第一潜变量分布和所述样本动态图的未来帧之间的差异，确定对抗损失；
基于所述潜在变量分布损失、所述重建损失和所述对抗损失，确定所述目标损失函数值。
根据本发明提供的一种机器人状态预测方法，所述将所述机器臂的动态图输入至机器人状态预测模型中，得到所述机器人状态预测模型输出的所述机器人的预测轨迹，之后还包括：
基于所述预测轨迹，重建所述机器人在预测时刻的物理模型；
将所述物理模型中的机器臂位置与所述遥操作视频中的机器臂位置进行对齐，得到修正后的遥操作视频。
根据本发明提供的一种机器人状态预测方法，所述机器人状态预测模型基于双层长短期记忆网络构建。
根据本发明提供的一种机器人状态预测方法，所述识别遥操作视频中机器人的机器臂，包括：
基于YOLOv8算法和YOLOv5算法中的任意一种，识别所述遥操作视频中机器人的机器臂。
根据本发明提供的一种机器人状态预测方法，所述确定所述机器臂的关节位置，包括：
基于OpenPose和Hourglass Network中的任意一种，确定所述机器臂的关节位置。
本发明还提供一种机器人状态预测装置，包括：
识别单元，用于识别遥操作视频中机器人的机器臂，并确定所述机器臂的关节位置；
构建单元，用于以所述遥操作视频的图像帧中所述机器臂的关节位置作为节点，以所述机器臂的关节位置之间的关系作为节点间的边构建时间图结构；
预测轨迹单元，用于对所述时间图结构进行卷积，得到所述机器臂的动态图，并将所述机器臂的动态图输入至机器人状态预测模型中，得到所述机器人状态预测模型输出的所述机器人的预测轨迹。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述机器人状态预测方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述机器人状态预测方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述机器人状态预测方法。
本发明提供的机器人状态预测方法、装置、电子设备及存储介质，识别遥操作视频中机器人的机器臂，并确定机器臂的关节位置，再以遥操作视频的图像帧中机器臂的关节位置作为节点，以机器臂的关节位置之间的关系作为节点间的边构建时间图结构，最后，对时间图结构进行卷积，得到机器臂的动态图，并将机器臂的动态图输入至机器人状态预测模型中，得到机器人状态预测模型输出的所述机器人的预测轨迹。此过程对机器人各关节进行定位和识别，并使用遮挡感知时序图编码构建一个时间图结构，聚合每个节点的邻域信息并更新节点特征，且机器臂的动态图利用时间相关性，捕获了机器人关节位置的变化，减轻了关节遮挡并减少了预测误差，从而提高了后续机器人状态预测的准确性和可靠性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的机器人状态预测方法的流程示意图之一；
图2是本发明提供的基于图网络的遮挡感知时序编码示意图；
图3是本发明提供的机器人状态预测模型的训练过程和应用过程的流程示意图；
图4是本发明提供的机器人状态预测方法的流程示意图之二；
图5是本发明提供的机器人状态预测装置的结构示意图；
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类。
相关技术中，对于机器人遥操作场景，由于通信延迟可达3-10秒，对预测模型提出了更高要求。遥操作机械臂运动呈现高度非线性特性，同时执行复杂任务时还面临外部遮挡和自遮挡的难题。因此，研究适用于该场景的高精度预测方法是当前的重要课题。
基于上述问题，本发明提供一种机器人状态预测方法，图1是本发明提供的机器人状态预测方法的流程示意图之一，如图1所示，该方法包括：
步骤110，识别遥操作视频中机器人的机器臂，并确定所述机器臂的关节位置。
具体地，可以识别遥操作视频中机器人的机器臂，此处，遥操作视频可以用表示，识别遥操作视频中机器人的机器臂可以使用YOLOv8算法，也可以使用YOLOv5算法等，本发明实施例对此不作具体限定。
可以理解的是，识别遥操作视频中机器人的机器臂可以针对遥操作视频中的各图像帧进行识别。
在识别遥操作视频中机器人的机器臂之后，可以确定机器臂的关节位置，此处，确定机器臂的关节位置可以使用HRNet（高分辨率网络），也可以使用OpenPose，还可以使用Hourglass Network（沙漏网络）等，本发明实施例对此不作具体限定。
此处，机器臂的关节位置可以用表示，其中，/>表示帧数，/>表示关节数量，/>表示关节特征维度。
步骤120，以所述遥操作视频的图像帧中所述机器臂的关节位置作为节点，以所述机器臂的关节位置之间的关系作为节点间的边构建时间图结构。
具体地，在确定遥操作视频的图像帧中机器臂的关节位置之后，可以以遥操作视频的图像帧中机器臂的关节位置作为节点，以机器臂的关节位置之间的关系作为节点间的边构建时间图结构。
具体来说，可以使用遮挡感知时序图编码聚合每个节点的相邻点，更新节点特征，建立时间图结构。
图2是本发明提供的基于图网络的遮挡感知时序编码示意图，如图2所示，在基于图网络的遮挡感知时序图中，遥操作视频的各图像帧中机器臂的关节位置被表示为一个节点，机器臂的关节位置之间的关系作为节点间的边并用邻接矩阵表示。遮挡感知时序图编码通常使用一系列的节点和边来描述遥操作视频的图像帧中的运动和遮挡关系。
其中，遮挡感知时序图的邻接矩阵描述了机器人的关节和连杆之间的关系：
需要说明的是，本发明实施例的方法中是遮挡感知的时序图编码方法，将机器人在不同时间步的各关节坐标作为时序图中的节点特征，聚合每个节点的邻域信息，并逐帧更新节点特征。通过上述编码处理，可以从时序图结构中提取包含机器人多关节运动细节的高维特征集合。该特征集合深入描述了运动轨迹信息，有效弥补了运动过程中的视觉遮挡导致的信息损失，从而为后续的运动预测提供了丰富的输入特征。
步骤130，对所述时间图结构进行卷积，得到所述机器臂的动态图，并将所述机器臂的动态图输入至机器人状态预测模型中，得到所述机器人状态预测模型输出的所述机器人的预测轨迹。
具体地，在构建得到时间图结构之后，可以对时间图结构进行卷积，得到机器臂的动态图。
此处，可以使用GCN（Graph Convolutional Network，图卷积神经网络），也可以使用T-GCN（Temporal Graph Convolutional Network，时间图卷积网络）对时间图结构进行卷积，还可以使用TCN（Temporal Convolutional Networks，时间卷积网络）对时间图结构进行卷积等，本发明实施例对此不作具体限定。
其中，T-GCN是一种结合了图卷积和GRU（Gated Recurrent Unit，门控循环单元）的神经网络模型，旨在同时捕捉时间图结构的空间依赖和时间相关性。
其中，对时间图结构进行卷积，得到机器臂的动态图的卷积过程可以通过拉普拉斯矩阵来表示，如下式所示：
本发明实施例中修改了卷积过程的前向传播公式，将时间维度融入，确保每个时间步的节点特征都是根据相应的拉普拉斯矩阵更新的，这样可以准确地建模机械臂的动态图：
其中，表示第l层t时刻的节点特征；/>表示第l层t时刻可训练权重矩阵；/>表示t时刻的拉普拉斯矩阵。
在得到机器臂的动态图之后，可以将机器臂的动态图输入至机器人状态预测模型中，得到机器人状态预测模型输出的机器人的预测轨迹。
此处，机器人状态预测模型可以基于双层长短期记忆网络（Bi-directional LongShort-Term Memory, Bi-LSTM）构建。双层长短期记忆网络结构结合了长短期记忆网络（Long Short-Term Memory, LSTM）和双向（Bi-directional）的思想。
本发明实施例提供的方法，识别遥操作视频中机器人的机器臂，并确定机器臂的关节位置，再以遥操作视频的图像帧中机器臂的关节位置作为节点，以机器臂的关节位置之间的关系作为节点间的边构建时间图结构，最后，对时间图结构进行卷积，得到机器臂的动态图，并将机器臂的动态图输入至机器人状态预测模型中，得到机器人状态预测模型输出的所述机器人的预测轨迹。此过程对机器人各关节进行定位和识别，并使用遮挡感知时序图编码构建一个时间图结构，聚合每个节点的邻域信息并更新节点特征，且机器臂的动态图利用时间相关性，捕获了机器人关节位置的变化，减轻了关节遮挡并减少了预测误差，从而提高了后续机器人状态预测的准确性和可靠性。
基于上述实施例，图3是本发明提供的机器人状态预测模型的训练过程和应用过程的流程示意图，如图3所示，所述机器人状态预测模型的训练步骤，包括：
步骤210，确定初始机器人状态预测模型，并获取机器臂的样本动态图的未来帧、所述样本动态图的历史帧，以及所述机器臂的实际轨迹；所述初始机器人状态预测模型包括第一关键点提取模块、第二关键点提取模块和融合模块；
步骤220，将所述样本动态图的未来帧输入至所述第一关键点提取模块中进行关键点信息提取，得到所述第一关键点提取模块输出的第一潜变量分布；
步骤230，将所述第一潜变量分布和所述样本动态图的历史帧输入至所述融合模块中进行机器人的轨迹预测，得到预测轨迹结果；
步骤240，基于所述实际轨迹和所述预测轨迹结果之间的差异、所述第一潜变量分布和所述样本动态图的未来帧之间的差异，确定目标损失函数值，并基于所述目标损失函数值对所述初始机器人状态预测模型进行参数迭代，得到所述机器人状态预测模型。
具体地，为了更好地得到机器人状态预测模型，可以基于如下步骤进行训练：
可以预先确定初始机器人状态预测模型，以及预先获取机器臂的样本动态图的未来帧、样本动态图的历史帧、机器臂的实际轨迹。
此处，机器臂的样本动态图的未来帧是指从地面控制器接收到的下行视频里抽帧得到的，前 100 帧设置为样本动态图的未来帧，后 300 帧设置为样本动态图的历史帧。
此处，初始机器人状态预测模型可以包括双层长短期记忆网络，初始机器人状态预测模型包括第一关键点提取模块、第二关键点提取模块和融合模块。此处，第二关键点提取模块可以是双向长短期记忆网络，融合模块可以是双向长短期记忆网络。
此处，初始机器人状态预测模型的参数可以是预先设置的，也可以是随机生成的，本发明实施例对此不作具体限定。
在得到初始机器人状态预测模型后，即可应用预先收集好的机器臂的样本动态图的未来帧、样本动态图的历史帧，以及机器臂的实际轨迹，对初始机器人状态预测模型进行训练：
首先，将样本动态图的未来帧输入至第一关键点提取模块中进行关键点信息提取，得到第一关键点提取模块输出的第一潜变量分布。此过程将样本动态图的未来帧中编码的关键点信息输入到随机信息提取模块（第一关键点提取模块）中。每个时间帧的输出被连接起来形成全面的时间序列表示，可由条件高斯分布表示。通过对该高斯分布的近似，能够从中抽样出第一潜变量分布Z，避免了直接处理其真实分布所带来的复杂性。
然后，可以将第一潜变量分布和样本动态图的历史帧输入至融合模块中进行机器人的轨迹预测，得到预测轨迹结果，即未来融合预测模块，未来融合预测模块基于历史信息和潜在变量生成预测运动，它封装了关于未来随机运动的关键信息。
在得到预测轨迹结果之后，可以将预先收集的实际轨迹和预测轨迹结果进行比较，根据此两者之间的差异程度确定第一损失函数值；在得到第一潜变量分布之后，可以将预先收集的样本动态图的未来帧与第一潜变量分布进行比较，根据此两者之间的差异程度确定第二损失函数值，并基于第一损失函数值和第二损失函数值确定目标损失函数值，基于目标损失函数值对初始机器人状态预测模型进行参数迭代，并将参数迭代后的初始机器人状态预测模型作为机器人状态预测模型。
可以理解的是，预先收集的实际轨迹和预测轨迹结果之间的差异程度越大，第一损失函数值越大；预先收集的实际轨迹和预测轨迹结果之间的差异程度越小，第一损失函数值越小。
可以理解的是，预先收集的样本动态图的未来帧与第一潜变量分布之间的差异程度越大，第二损失函数值越大；预先收集的样本动态图的未来帧与第一潜变量分布之间的差异程度越小，第二损失函数值越小。
其中，所有模块均采用双层长短期记忆网络。为增强模型的深度表示能力，在隐藏层引入了残差连接，有效促进了信息传递和梯度流。在训练过程中，本发明实施例采用了重参数化技术，通过潜在变量抽样和全面学习来促进有效的梯度传播。最大似然估计用于最大化观测数据的似然值，以优化给定模型参数。
此处，可以使用交叉熵损失函数（Cross Entropy Loss Function），也可以使用均方误差损失函数（Mean Squared Error，MSE），同时使用随机梯度下降法对初始机器人状态预测模型的参数进行更新，本发明实施例对此不作具体限定。
需要说明的是，在机器人状态预测模型的应用过程中，只需要输入历史帧到双向长短期记忆网络中，得到潜变量分布，并将潜变量分布与历史帧进行融合后输入到双向长短期记忆网络中，由双向长短期记忆网络得到并输出机器人的预测轨迹。
本发明实施例提供的方法，将携带所有未来随机信息的潜变量作为附加输入，生成机器人未来多帧的预测结果。未来随机信息的深入融合，为机器人多步预测提供了丰富的上下文支持，有效解决了传统方法中无法直接利用未来随机信息的问题，从而提高了机器人状态预测模型的准确性。
基于上述实施例，步骤240所述基于所述实际轨迹和所述预测轨迹结果之间的差异、所述第一潜变量分布和所述样本动态图的未来帧之间的差异，确定目标损失函数值，包括：
步骤241，将所述样本动态图的历史帧输入至所述第二关键点提取模块中进行关键点信息提取，得到所述第二关键点提取模块输出的第二潜变量分布；
步骤242，基于所述第一潜变量分布和所述第二潜变量分布之间的差异，确定潜在变量分布损失；
步骤243，基于所述实际轨迹和所述预测轨迹结果之间的差异，确定重建损失；
步骤244，基于所述第一潜变量分布和所述样本动态图的未来帧之间的差异，确定对抗损失；
步骤245，基于所述潜在变量分布损失、所述重建损失和所述对抗损失，确定所述目标损失函数值。
具体地，可以将样本动态图的历史帧输入至第二关键点提取模块中进行关键点信息提取，得到第二关键点提取模块输出的第二潜变量分布，此处，第二关键点提取模块即未来信息传递模块，未来信息传递模块与随机信息提取模块的主要区别在于输入。第二关键点提取模块与随机信息提取模块类似，未来信息传递模块也能够提取未来随机信息，但其输入来自历史帧中提取的关键点信息。
在得到第二潜变量分布之后，可以将第一潜变量分布和第二潜变量分布进行比较，基于第一潜变量分布和第二潜变量分布之间的差异，确定潜在变量分布损失，公式如下：
其中，表示潜在变量分布损失，/>表示第一潜变量分布，表示第二潜变量分布。
可以理解的是，潜在变量分布损失确保第二关键点提取模块（未来信息传递模块）从第一关键点提取模块（随机信息提取模块）中学习参数分布是尽可能相似的。
可以理解的是，第一潜变量分布与第二潜变量分布之间的差异程度越大，潜在变量分布损失越大；第一潜变量分布与第二潜变量分布之间的差异程度越小，潜在变量分布损失越小。
然后，可以基于实际轨迹和预测轨迹结果之间的差异，确定重建损失，公式如下：
其中，表示重建损失，/>表示预测轨迹结果，/>表示实际轨迹，表示/>和/>之间的欧式距离。
可以理解的是，重建损失评估了预测轨迹结果与实际轨迹之间的欧氏距离误差。预测轨迹结果与实际轨迹之间的差异程度越大，重建损失越大；预测轨迹结果与实际轨迹之间的差异程度越小，重建损失越小。
可以基于第一潜变量分布和样本动态图的未来帧之间的差异，确定对抗损失，公式如下：
其中，表示对抗损失，/>表示第一潜变量分布，即生成样本，/>表示样本动态图的未来帧，即真实样本。
可以理解的是，对抗损失被设计为通过训练判别器来最小化生成样本与真实样本之间的分布差异。
在得到潜在变量分布损失、重建损失和对抗损失之后，可以基于潜在变量分布损失、重建损失和对抗损失，确定目标损失函数值。
此外，为防止过拟合并增强机器人状态预测模型的泛化能力，引入了正则项。
相应地，目标损失函数值的公式如下：
其中，表示目标损失函数值，/>表示对抗损失，/>表示重建损失，/>表示潜在变量分布损失，/>表示正则项，其中，/>、/>和/>是控制每个损失分量贡献的超参数。
可以理解的是，未来随机信息融合的长短期记忆网络融合了携带未来所有随机信息的潜变量，为预测机器人未来状态提供了更多的上下文信息。
基于上述实施例，步骤130中所述将所述机器臂的动态图输入至机器人状态预测模型中，得到所述机器人状态预测模型输出的所述机器人的预测轨迹，之后还包括：
步骤131，基于所述预测轨迹，重建所述机器人在预测时刻的物理模型；
步骤132，将所述物理模型中的机器臂位置与所述遥操作视频中的机器臂位置进行对齐，得到修正后的遥操作视频。
具体地，在得到预测轨迹之后，可以基于预测轨迹，重建机器人在预测时刻的物理模型。即，可以基于预测轨迹中各时刻机器人的关节位置，重建机器人在预测时刻的物理模型。
然后，可以将物理模型中的机器臂位置与视频中的机器臂位置进行对齐，得到修正后的遥操作视频。
即对准物理模型中的机器臂位置使其与遥操作视频帧中的机器臂位置吻合，重复上述步骤可以为每个预测时刻生成一帧修正后的视频帧，再将修正视频帧连续播放，即可实现机器人状态预测模型得到的预测轨迹重建的物理模型与遥操作视频的融合。
本发明实施例提供的方法，将预测的运动物理模型与遥操作视频融合，输出给操作员，以纠正通信延迟导致的遥控误差，提高了机器人状态预测的准确性和可靠性。
基于上述实施例，所述机器人状态预测模型基于双层长短期记忆网络构建。
具体地，机器人状态预测模型可以基于双层长短期记忆网络构建。
可以理解的是，基于双层长短期记忆网络构建的机器人状态预测模型具有捕捉长期依赖关系、双向信息传播、防止过拟合以及灵活性和可扩展性等优点。这些优点使得该模型在机器人状态预测任务中具有更好的性能和准确性。
基于上述实施例，步骤110中所述识别遥操作视频中机器人的机器臂，包括：
基于YOLOv8算法和YOLOv5算法中的任意一种，识别所述遥操作视频中机器人的机器臂。
具体地，可以基于YOLOv8算法和YOLOv5算法中的任意一种，识别遥操作视频中机器人的机器臂，本发明实施例对此不作具体限定。
YOLO算法擅长于检测不同尺度的物体，这对于识别遥操作视频中不同距离和大小的机器臂识别特别有效。通过训练，模型可以学会识别并区分靠近和远离摄像头的机器臂，从而准确识别遥操作视频中机器人的机器臂。
基于上述实施例，步骤110中所述确定所述机器臂的关节位置，包括：
基于OpenPose和Hourglass Network中的任意一种，确定所述机器臂的关节位置。
具体地，基于HRNet、OpenPose和Hourglass Network中的任意一种，确定机器臂的关节位置，具有高精度识别、实时性能、鲁棒性、灵活性和可扩展性等优点。这些优点使得这些技术在机器人控制、自动化生产线等领域具有广泛的应用前景。
基于上述任一实施例，图4是本发明提供的机器人状态预测方法的流程示意图之二，如图4所示，该方法包括：
第一步，基于YOLOv8算法和YOLOv5算法中的任意一种，识别遥操作视频中机器人的机器臂，再基于OpenPose和Hourglass Network中的任意一种，确定机器臂的关节位置。
第二步，以遥操作视频的图像帧中机器臂的关节位置作为节点，以机器臂的关节位置之间的关系作为节点间的边构建时间图结构。
第三步，对时间图结构进行卷积，得到机器臂的动态图。
第四步，将机器臂的动态图输入至机器人状态预测模型中，得到机器人状态预测模型输出的机器人的预测轨迹。其中，机器人状态预测模型基于双层长短期记忆网络构建。
第五步，基于预测轨迹，重建机器人在预测时刻的物理模型，再将物理模型中的机器臂位置与遥操作视频中的机器臂位置进行对齐，得到修正后的遥操作视频。
此处，机器人状态预测模型的训练步骤，包括：
S1、确定初始机器人状态预测模型，并获取机器臂的样本动态图的未来帧、样本动态图的历史帧，以及机器臂的实际轨迹；初始机器人状态预测模型包括第一关键点提取模块（随机信息提取模块）、第二关键点提取模块（未来信息传递模块）和融合模块（未来融合预测模块）。
S2、将样本动态图的未来帧输入至第一关键点提取模块中进行关键点信息提取，得到第一关键点提取模块输出的第一潜变量分布。
S3、将第一潜变量分布和样本动态图的历史帧输入至融合模块中进行机器人的轨迹预测，得到预测轨迹结果。
S4、将样本动态图的历史帧输入至第二关键点提取模块中进行关键点信息提取，得到第二关键点提取模块输出的第二潜变量分布。
S5、基于第一潜变量分布和第二潜变量分布之间的差异，确定潜在变量分布损失。
S6、基于实际轨迹和预测轨迹结果之间的差异，确定重建损失。
S7、基于第一潜变量分布和样本动态图的未来帧之间的差异，确定对抗损失。
S8、基于潜在变量分布损失、重建损失和对抗损失，确定目标损失函数值，并基于目标损失函数值对初始机器人状态预测模型进行参数迭代，得到机器人状态预测模型。
需要说明的是，在机器人状态预测模型的推理过程中，只需要输入历史帧到未来信息传递模块（第二关键点提取模块）中，得到潜变量分布，并将潜变量分布与历史帧进行融合后输入到未来融合预测模块（融合模块）中，由未来融合预测模块得到并输出机器人的预测轨迹。
本发明实施例提供的方法，在双层长短期记忆网络结构中引入潜变量学习时序数据的全局时空信息，以提高预测性能；同时，利用时序图卷积网络处理机器人的动态图结构数据，聚合关节间的时空相关信息，增强对遮挡情况的处理能力。该方法可高精度预测多关节机器人的运动，为大延迟下的遥操作控制提供支持。
针对传统机器人遥控技术受限于控制中心与机器人间通信延时问题，难以实时精细控制机器人运动。本发明实施例中的机器人状态预测方法，通过学习和捕捉历史帧中机器人的运动特征，精确预测机器人未来轨迹状态，并且，该方法将预测物理模型融合到遥操作视频中，有效校正由通信延时导致的位置偏差，大大提高了遥控操作的可靠性。
下面对本发明提供的机器人状态预测装置进行描述，下文描述的机器人状态预测装置与上文描述的机器人状态预测方法可相互对应参照。
基于上述任一实施例，本发明提供一种机器人状态预测装置，图5是本发明提供的机器人状态预测装置的结构示意图，如图5所示，该装置包括：
识别单元510，用于识别遥操作视频中机器人的机器臂，并确定所述机器臂的关节位置；
构建单元520，用于以所述遥操作视频的图像帧中所述机器臂的关节位置作为节点，以所述机器臂的关节位置之间的关系作为节点间的边构建时间图结构；
预测轨迹单元530，用于对所述时间图结构进行卷积，得到所述机器臂的动态图，并将所述机器臂的动态图输入至机器人状态预测模型中，得到所述机器人状态预测模型输出的所述机器人的预测轨迹。
本发明实施例提供的装置，识别遥操作视频中机器人的机器臂，并确定机器臂的关节位置，再以遥操作视频的图像帧中机器臂的关节位置作为节点，以机器臂的关节位置之间的关系作为节点间的边构建时间图结构，最后，对时间图结构进行卷积，得到机器臂的动态图，并将机器臂的动态图输入至机器人状态预测模型中，得到机器人状态预测模型输出的所述机器人的预测轨迹。此过程对机器人各关节进行定位和识别，并使用遮挡感知时序图编码构建一个时间图结构，聚合每个节点的邻域信息并更新节点特征，且机器臂的动态图利用时间相关性，捕获了机器人关节位置的变化，减轻了关节遮挡并减少了预测误差，从而提高了后续机器人状态预测的准确性和可靠性。
基于上述任一实施例，还包括机器人状态预测模型的训练单元，所述机器人状态预测模型的训练单元，具体包括：
确定初始模型单元，用于确定初始机器人状态预测模型，并获取机器臂的样本动态图的未来帧、所述样本动态图的历史帧，以及所述机器臂的实际轨迹；所述初始机器人状态预测模型包括第一关键点提取模块、第二关键点提取模块和融合模块；
确定第一潜变量分布单元，用于将所述样本动态图的未来帧输入至所述第一关键点提取模块中进行关键点信息提取，得到所述第一关键点提取模块输出的第一潜变量分布；
确定预测轨迹结果单元，用于将所述第一潜变量分布和所述样本动态图的历史帧输入至所述融合模块中进行机器人的轨迹预测，得到预测轨迹结果；
参数迭代单元，用于基于所述实际轨迹和所述预测轨迹结果之间的差异、所述第一潜变量分布和所述样本动态图的未来帧之间的差异，确定目标损失函数值，并基于所述目标损失函数值对所述初始机器人状态预测模型进行参数迭代，得到所述机器人状态预测模型。
基于上述任一实施例，参数迭代单元，具体用于：
将所述样本动态图的历史帧输入至所述第二关键点提取模块中进行关键点信息提取，得到所述第二关键点提取模块输出的第二潜变量分布；
基于所述第一潜变量分布和所述第二潜变量分布之间的差异，确定潜在变量分布损失；
基于所述实际轨迹和所述预测轨迹结果之间的差异，确定重建损失；
基于所述第一潜变量分布和所述样本动态图的未来帧之间的差异，确定对抗损失；
基于所述潜在变量分布损失、所述重建损失和所述对抗损失，确定所述目标损失函数值。
基于上述任一实施例，还包括修正单元，所述修正单元，具体用于：
基于所述预测轨迹，重建所述机器人在预测时刻的物理模型；
将所述物理模型中的机器臂位置与所述遥操作视频中的机器臂位置进行对齐，得到修正后的遥操作视频。
基于上述任一实施例，所述机器人状态预测模型基于双层长短期记忆网络构建。
基于上述任一实施例，所述识别单元510，具体用于：
基于YOLOv8算法和YOLOv5算法中的任意一种，识别所述遥操作视频中机器人的机器臂。
基于上述任一实施例，所述识别单元510，具体用于：
基于OpenPose和Hourglass Network中的任意一种，确定所述机器臂的关节位置。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器（processor）610、通信接口（Communications Interface）620、存储器（memory）630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行机器人状态预测方法，该方法包括：识别遥操作视频中机器人的机器臂，并确定所述机器臂的关节位置；以所述遥操作视频的图像帧中所述机器臂的关节位置作为节点，以所述机器臂的关节位置之间的关系作为节点间的边构建时间图结构；对所述时间图结构进行卷积，得到所述机器臂的动态图，并将所述机器臂的动态图输入至机器人状态预测模型中，得到所述机器人状态预测模型输出的所述机器人的预测轨迹。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的机器人状态预测方法，该方法包括：识别遥操作视频中机器人的机器臂，并确定所述机器臂的关节位置；以所述遥操作视频的图像帧中所述机器臂的关节位置作为节点，以所述机器臂的关节位置之间的关系作为节点间的边构建时间图结构；对所述时间图结构进行卷积，得到所述机器臂的动态图，并将所述机器臂的动态图输入至机器人状态预测模型中，得到所述机器人状态预测模型输出的所述机器人的预测轨迹。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的机器人状态预测方法，该方法包括：识别遥操作视频中机器人的机器臂，并确定所述机器臂的关节位置；以所述遥操作视频的图像帧中所述机器臂的关节位置作为节点，以所述机器臂的关节位置之间的关系作为节点间的边构建时间图结构；对所述时间图结构进行卷积，得到所述机器臂的动态图，并将所述机器臂的动态图输入至机器人状态预测模型中，得到所述机器人状态预测模型输出的所述机器人的预测轨迹。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种机器人状态预测方法，其特征在于，包括：
识别遥操作视频中机器人的机器臂，并确定所述机器臂的关节位置；
以所述遥操作视频的图像帧中所述机器臂的关节位置作为节点，以所述机器臂的关节位置之间的关系作为节点间的边构建时间图结构；
对所述时间图结构进行卷积，得到所述机器臂的动态图，并将所述机器臂的动态图输入至机器人状态预测模型中，得到所述机器人状态预测模型输出的所述机器人的预测轨迹。
2.根据权利要求1所述的机器人状态预测方法，其特征在于，所述机器人状态预测模型的训练步骤，包括：
确定初始机器人状态预测模型，并获取机器臂的样本动态图的未来帧、所述样本动态图的历史帧，以及所述机器臂的实际轨迹；所述初始机器人状态预测模型包括第一关键点提取模块、第二关键点提取模块和融合模块；
将所述样本动态图的未来帧输入至所述第一关键点提取模块中进行关键点信息提取，得到所述第一关键点提取模块输出的第一潜变量分布；
将所述第一潜变量分布和所述样本动态图的历史帧输入至所述融合模块中进行机器人的轨迹预测，得到预测轨迹结果；
基于所述实际轨迹和所述预测轨迹结果之间的差异、所述第一潜变量分布和所述样本动态图的未来帧之间的差异，确定目标损失函数值，并基于所述目标损失函数值对所述初始机器人状态预测模型进行参数迭代，得到所述机器人状态预测模型。
3.根据权利要求2所述的机器人状态预测方法，其特征在于，所述基于所述实际轨迹和所述预测轨迹结果之间的差异、所述第一潜变量分布和所述样本动态图的未来帧之间的差异，确定目标损失函数值，包括：
将所述样本动态图的历史帧输入至所述第二关键点提取模块中进行关键点信息提取，得到所述第二关键点提取模块输出的第二潜变量分布；
基于所述第一潜变量分布和所述第二潜变量分布之间的差异，确定潜在变量分布损失；
基于所述实际轨迹和所述预测轨迹结果之间的差异，确定重建损失；
基于所述第一潜变量分布和所述样本动态图的未来帧之间的差异，确定对抗损失；
基于所述潜在变量分布损失、所述重建损失和所述对抗损失，确定所述目标损失函数值。
4.根据权利要求1所述的机器人状态预测方法，其特征在于，所述将所述机器臂的动态图输入至机器人状态预测模型中，得到所述机器人状态预测模型输出的所述机器人的预测轨迹，之后还包括：
基于所述预测轨迹，重建所述机器人在预测时刻的物理模型；
将所述物理模型中的机器臂位置与所述遥操作视频中的机器臂位置进行对齐，得到修正后的遥操作视频。
5.根据权利要求1至4中任一项所述的机器人状态预测方法，其特征在于，所述机器人状态预测模型基于双层长短期记忆网络构建。
6.根据权利要求1至4中任一项所述的机器人状态预测方法，其特征在于，所述识别遥操作视频中机器人的机器臂，包括：
基于YOLOv8算法和YOLOv5算法中的任意一种，识别所述遥操作视频中机器人的机器臂。
7.根据权利要求1至4中任一项所述的机器人状态预测方法，其特征在于，所述确定所述机器臂的关节位置，包括：
基于OpenPose和Hourglass Network中的任意一种，确定所述机器臂的关节位置。
8.一种机器人状态预测装置，其特征在于，包括：
识别单元，用于识别遥操作视频中机器人的机器臂，并确定所述机器臂的关节位置；
构建单元，用于以所述遥操作视频的图像帧中所述机器臂的关节位置作为节点，以所述机器臂的关节位置之间的关系作为节点间的边构建时间图结构；
预测轨迹单元，用于对所述时间图结构进行卷积，得到所述机器臂的动态图，并将所述机器臂的动态图输入至机器人状态预测模型中，得到所述机器人状态预测模型输出的所述机器人的预测轨迹。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述机器人状态预测方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述机器人状态预测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410188144.8A CN117733874B (zh) | 2024-02-20 | 2024-02-20 | 机器人状态预测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410188144.8A CN117733874B (zh) | 2024-02-20 | 2024-02-20 | 机器人状态预测方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117733874A true CN117733874A (zh) | 2024-03-22 |
| CN117733874B CN117733874B (zh) | 2024-05-14 |
Family
ID=90277964
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410188144.8A Active CN117733874B (zh) | 2024-02-20 | 2024-02-20 | 机器人状态预测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117733874B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115659275A (zh) * | 2022-10-18 | 2023-01-31 | 苏州市职业大学 | 非结构化人机交互环境中的实时准确轨迹预测方法及系统 |
| CN116160441A (zh) * | 2022-12-21 | 2023-05-26 | 合肥合滨智能机器人有限公司 | 一种基于人臂运动预测的机器人遥操作避碰方法 |
| CN116386141A (zh) * | 2023-03-30 | 2023-07-04 | 南京大学 | 基于单目视频的多阶段人体动作捕捉方法、设备及介质 |
| CN116740131A (zh) * | 2023-03-29 | 2023-09-12 | 重庆长安汽车股份有限公司 | 行人轨迹预测方法、装置、设备及存储介质 |
| CN116977434A (zh) * | 2023-08-17 | 2023-10-31 | 深圳优立全息科技有限公司 | 基于追踪相机的目标行为追踪方法及系统 |
| WO2023207437A1 (zh) * | 2022-04-28 | 2023-11-02 | 长安大学 | 一种基于动态轨迹流的场景流数字孪生方法及系统 |
| CN117351038A (zh) * | 2023-10-30 | 2024-01-05 | 北京邮电大学 | 一种使用频谱信息的行人轨迹预测方法 |
-
2024
- 2024-02-20 CN CN202410188144.8A patent/CN117733874B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023207437A1 (zh) * | 2022-04-28 | 2023-11-02 | 长安大学 | 一种基于动态轨迹流的场景流数字孪生方法及系统 |
| CN115659275A (zh) * | 2022-10-18 | 2023-01-31 | 苏州市职业大学 | 非结构化人机交互环境中的实时准确轨迹预测方法及系统 |
| CN116160441A (zh) * | 2022-12-21 | 2023-05-26 | 合肥合滨智能机器人有限公司 | 一种基于人臂运动预测的机器人遥操作避碰方法 |
| CN116740131A (zh) * | 2023-03-29 | 2023-09-12 | 重庆长安汽车股份有限公司 | 行人轨迹预测方法、装置、设备及存储介质 |
| CN116386141A (zh) * | 2023-03-30 | 2023-07-04 | 南京大学 | 基于单目视频的多阶段人体动作捕捉方法、设备及介质 |
| CN116977434A (zh) * | 2023-08-17 | 2023-10-31 | 深圳优立全息科技有限公司 | 基于追踪相机的目标行为追踪方法及系统 |
| CN117351038A (zh) * | 2023-10-30 | 2024-01-05 | 北京邮电大学 | 一种使用频谱信息的行人轨迹预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117733874B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111027686B (zh) | 一种滑坡位移的预测方法、装置及设备 | |
| CN112200165A (zh) | 模型训练方法、人体姿态估计方法、装置、设备及介质 | |
| CN107862376A (zh) | 一种基于双流神经网络的人体图像动作识别方法 | |
| CN116524062B (zh) | 一种基于扩散模型的2d人体姿态估计方法 | |
| CN114581613B (zh) | 一种基于轨迹约束的人体模型姿态和形状优化方法和系统 | |
| Zang et al. | Few-shot human motion prediction via learning novel motion dynamics | |
| CN115392077A (zh) | 基于深度学习的卫星物理场级数字孪生模型构建方法 | |
| CN111626090A (zh) | 一种基于深度帧差卷积神经网络的运动目标检测方法 | |
| CN116381753B (zh) | Gnss/ins组合导航系统在gnss中断时的神经网络辅助导航方法 | |
| CN109389156A (zh) | 一种图像定位模型的训练方法、装置及图像定位方法 | |
| CN114116944A (zh) | 一种基于时间注意力卷积网络的轨迹预测方法及装置 | |
| CN114694261A (zh) | 一种基于多级监督图卷积的视频三维人体姿态估计方法及系统 | |
| CN116052254A (zh) | 基于扩展卡尔曼滤波神经网络的视觉连续情感识别方法 | |
| CN103218663A (zh) | 信息处理装置、信息处理方法和程序 | |
| CN117733874B (zh) | 机器人状态预测方法、装置、电子设备及存储介质 | |
| Henderson et al. | Spike event based learning in neural networks | |
| Gisslén et al. | Sequential constant size compressors for reinforcement learning | |
| CN113194493A (zh) | 基于图神经网络的无线网络数据缺失属性恢复方法及装置 | |
| CN116030537B (zh) | 基于多分支注意力图卷积的三维人体姿态估计方法 | |
| CN114399901B (zh) | 一种控制交通系统的方法和设备 | |
| CN113916223B (zh) | 定位方法及装置、设备、存储介质 | |
| CN113989326A (zh) | 一种基于注意力机制的目标轨迹预测方法 | |
| CN110807380B (zh) | 一种人体关键点检测方法及装置 | |
| CN113554105B (zh) | 一种基于时空融合的物联网缺失数据补全方法 | |
| CN115272424A (zh) | 一种基于循环神经网络和粒子滤波的机器人定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |