CN114418159B - 肢体运动轨迹及其预测误差的预测方法、系统和电子装置 - Google Patents
肢体运动轨迹及其预测误差的预测方法、系统和电子装置 Download PDFInfo
- Publication number
- CN114418159B CN114418159B CN202111277282.6A CN202111277282A CN114418159B CN 114418159 B CN114418159 B CN 114418159B CN 202111277282 A CN202111277282 A CN 202111277282A CN 114418159 B CN114418159 B CN 114418159B
- Authority
- CN
- China
- Prior art keywords
- prediction
- motion
- error
- ellipsoid
- prediction model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 185
- 238000000034 method Methods 0.000 title claims abstract description 63
- 239000013598 vector Substances 0.000 claims abstract description 61
- 238000005070 sampling Methods 0.000 claims abstract description 59
- 238000013528 artificial neural network Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 13
- 239000002245 particle Substances 0.000 claims description 25
- 238000003062 neural network model Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003183 myoelectrical effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Human Resources & Organizations (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Strategic Management (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Game Theory and Decision Science (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- Manipulator (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本申请涉及一种肢体运动轨迹及其预测误差的预测方法、系统和电子装置，该方法通过基于神经网络建立运动轨迹的预测模型，并对预测模型进行离线训练；将运动轨迹的实测值与通过预测模型得到的运动轨迹的估计值进行比较，得到当前采样点的运动轨迹的实际误差值，并根据实际误差值在线调整预测模型的输出层参数向量；获取调整后的预测模型输出的预测结果，解决了肢体运动轨迹预测准确率低的问题，实现了实时、准确的肢体运动轨迹预测。
Description
技术领域
本申请涉及轨迹预测领域，特别是涉及肢体运动轨迹及其预测误差的预测方法、系统和电子装置。
背景技术
工业机器人已经被广泛应用于码垛、分拣、加工和焊接等自动化作业中。但其由于结构笨重、部署成本高等缺点，难以适应因产品定制化和多样化所导致的生产线与作业工位的频繁变换。在现有的生产线中，为避免工人受到工业机器人的伤害，需要对工业机器人和工人的工作空间进行分割，或者是在机器人处于停止状态时才允许工人进入其工作空间进行工人操作，这影响了机器人的工作效率。采用人机协作的自动化解决方案，能有效降低生产线的部署成本，减轻工人劳动强度，满足日益增长的柔性制造需求。为了确保人机共存(human-robot coexistence, HRC)环境下人的安全性与机器人的作业效率，对人的运动轨迹进行准确预测十分必要。然而，现有技术中肢体运动轨迹的预测需要在身体各个部位携带肌电电极、无线收发系统或者传感器等，一方面实际应用时局限性大、无线设备收发信息不稳定、有延迟，另一方面预测模型通过学习过去一组时间内的数据来确定神经网络各层的参数矩阵以及偏置值，计算量偏大，使得模型不能被实时更新，具有一定的延时，无法快速准确地进行预测。
目前针对相关技术中，肢体运动轨迹预测准确率低的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种肢体运动轨迹及其预测误差的预测方法、系统和电子装置，以至少解决相关技术中肢体运动轨迹预测准确率低的问题。
第一方面，本申请实施例提供了一种肢体运动轨迹及其预测误差的预测方法，包括：
基于神经网络建立运动轨迹的预测模型，并对所述预测模型进行离线训练；
将运动轨迹的实测值与通过所述预测模型得到的运动轨迹的估计值进行比较，得到当前采样点的运动轨迹的实际误差值，并根据所述实际误差值在线调整所述预测模型的输出层参数向量；
获取所述调整后的所述预测模型输出的预测结果。
在其中一些实施例中，所述根据所述实际误差值在线调整所述预测模型的输出层参数向量包括：
根据过去N个采样点的运动轨迹的实际误差值
，得到最近M个采样点的运动
轨迹的实际误差值
；
用
替换所述运动轨迹的先验误差
，得到过去第k-M个采样时
刻神经网络模型输出层参数向量
的实际误差
；
根据所述实际误差
在线调整所述预测模型的输出层参数向量。
在其中一些实施例中，根据所述实际误差
在线调整所述预测模型的输出层向
量包括：
采用带有遗忘因子的递推最小二乘参数自适应算法，根据第k-M个采样时刻所述
输出层参数向量的实际误差
以及运动轨迹的实际误差，更新所述预测模型的输出层参
数向量的估计值和估计误差值。
在其中一些实施例中，所述获取所述调整后的所述预测模型输出的预测结果包括：
根据第k-M个采样时刻所述输出层参数向量的实际误差
以及运动轨迹的实际
误差，重复更新M次，获取所述输出层向量在第k个采样点的估计值和估计误差值；
根据所述参数向量在第k个采样点的估计值和估计误差值，以及所述参数向量与所述运动轨迹之间的函数关系，得到运动轨迹的所述预测结果。
在其中一些实施例中，通过椭球运动轨迹代表所述肢体运动轨迹，并通过椭球中心点坐标、3个主轴的长度以及椭球相对于各个轴的旋转变换角度9个参数表达所述椭球运动轨迹，所述预测模型输出的预测结果为所述椭球上的特征点的运动轨迹。
在其中一些实施例中，将肢体运动近似为刚体的变换，椭球的三个主轴长度已知并在运动中保持不变，通过椭球中心点坐标以及椭球相对于各个轴的旋转变换角度6个参数表达所述椭球运动轨迹。
在其中一些实施例中，通过所述预测结果拟合椭球，获取所述肢体运动轨迹包括：
基于得到的所述预测结果，根据所述特征点在肢体的位置，求取所述特征点的中点坐标得出近似的椭球中心点坐标，求取其中两个特征点连线所构成的向量得出近似的椭球相对于各个轴的旋转变换角度；
将所述中心点坐标以及所述旋转变换角度作为迭代初值，使用非线性最小二乘算法拟合椭球，获取所述肢体运动轨迹。
第二方面，本申请实施例提供了一种肢体运动轨迹预测系统，其特征在于，包括：工业机器人、传输设备以及服务器设备；其中，所述工业机器人通过传输设备连接服务器设备，所述服务器设备用于执行如第一方面所述的肢体运动轨迹预测方法。
第三方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的肢体运动轨迹预测方法。
第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的肢体运动轨迹预测方法。
相比于相关技术，本申请实施例提供的肢体运动轨迹及其预测误差的预测方法，通过基于神经网络建立运动轨迹的预测模型，并对预测模型进行离线训练；将运动轨迹的实测值与通过预测模型得到的运动轨迹的估计值进行比较，得到当前采样点的运动轨迹的实际误差值，并根据实际误差值在线调整预测模型的输出层参数向量；获取调整后的预测模型输出的预测结果，解决了肢体运动轨迹预测准确率低的问题，实现了实时、准确的肢体运动轨迹预测方法。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本发明实施例的肢体运动轨迹预测方法的终端的硬件结构框图；
图2是根据本申请实施例的肢体运动轨迹预测方法的流程图；
图3是根据本申请优选实施例的肢体运动轨迹预测方法的流程图；
图4是根据本申请实施例的肢体运动轨迹预测系统的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本实施例提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例，图1是本发明实施例的肢体运动轨迹预测方法的终端的硬件结构框图。如图1所示，终端10可以包括一个或多个（图1中仅示出一个）处理器102（处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）和用于存储数据的存储器104，可选地，上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限定。例如，终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的肢体运动轨迹及其预测误差的预测方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端10的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。
本实施例提供了一种肢体运动轨迹及其预测误差的预测方法，图2是根据本申请实施例的肢体运动轨迹及其预测误差的预测方法的流程图，如图2所示，该流程包括如下步骤：
步骤S201，基于神经网络建立运动轨迹的预测模型，并对预测模型进行离线训练。上述预测模型可以是针对运动轨迹本身，也可以是针对运动体上的特征点进行训练和预测的。通过运动体的运动实际测量数据，对预测模型进行离线训练，训练完成的预测模型可以用于在线预测。
在一些实施例中，为了通过更少的参数来对运动轨迹进行表达，可以通过几何图形对运动体的部位进行表示，例如，将人体看成是若干球体、长方体或者其他几何体组成的，从而将运动体的运动过程看作是几何体的变化。在一些实施例中，对于肢体的运动轨迹预测，需要同时考虑位置和姿态的变化。为了实现肢体实时位姿轨迹数据的轻量化处理，将运动体的每个部位看作是一个椭球，整个人可以看做若干个椭球拼接而成。任意椭球的位姿可以由椭球中心点坐标、3个主轴的长度以及椭球相对于各个轴的旋转变换角度这9个参数进行表达。在这种情况下，建立的预测模型可以是对上述9个参数建立的预测模型。可选地，将肢体运动近似为刚体的变换，椭球的主轴长度已知并在运动中保持不变，则运动体的运动过程可以通过椭球中心点坐标以及椭球相对于各个轴的旋转变换角度6个参数进行表达，可以进一步提高预测过程的计算效率。在这种情况下，可以通过三层神经网络模型进行训练。通过采集到的运动体的运动轨迹对上述神经网络预测模型进行训练，得到离线训练完成的预测模型。
步骤S202，将运动轨迹的实测值与通过预测模型得到的运动轨迹的估计值进行比较，得到当前采样点的运动轨迹的实际误差值，并根据实际误差值在线调整预测模型的输出层参数向量。在通过预测模型进行在线预测的过程中，当前的采样时刻为k，将之前M个采样点实际测量得到的运动轨迹实测值与之前M个采样点预测的运动轨迹估计值进行比较，从而推得之前M个采样点运动轨迹的实际误差值，来得到第k-M时刻模型输出层参数向量误差的准确值，切断预测模型参数向量和预测轨迹误差的之间的联系。再重新向前M步来估计当前时刻的预测模型参数向量误差，从而获取预测轨迹估计值和误差值。
步骤S203，获取调整后的预测模型输出的预测结果。基于预测模型得到的运动轨迹；或者，基于预测模型得到特征点位置，并根据各个特征点在运动体肢体上对应的位置，可以对肢体运动轨迹进行拟合，从而得到运动体的肢体运动。
在一些实施例中，在肢体运动是通过椭球进行表示的情况下，通过预测结果拟合椭球，获取肢体运动轨迹的过程包括以下过程：基于得到的特征点位置，根据特征点在肢体的位置，求取特征点的中点坐标得出近似的椭球中心点坐标，求取其中两个特征点连线所构成的向量得出近似的椭球相对于各个轴的旋转变换角度；将中心点坐标以及旋转变换角度作为迭代初值，使用非线性最小二乘算法拟合椭球，获取肢体运动轨迹。
通过上述步骤，可以实现运动轨迹均方估计误差和神经网络模型输出层参数向量均方估计误差的解耦，并且在离线得到预测模型之后，在在线预测过程中对参数向量进行调整，提高了运动轨迹的预测精度和对轨迹误差的评估精度，提高了对于肢体运动轨迹的预测准确度。
在其中一些实施例中，根据当前采样点的运动轨迹的实际误差值在线调整预测模
型的输出层参数向量的过程包括：用过去N个采样时刻中特征点的运动轨迹的实际误差值
，得到最近M个采样点的运动轨迹的实际误差值
。其中，
可以通过过去N个
采样点中运动轨迹的实际测量值、测量运动轨迹过程中的噪声以及被记录的过去N个采样
点中的运动轨迹估计值得到。再根据N个采样点与M个采样点之间的关系，可以得到过去M个
采样点处的运动轨迹实际误差
。用
替换运动轨迹的先验误差
，得到
过去第k-M个采样时刻神经网络模型输出层参数向量
的实际误差
；根据实际误差
在线调整预测模型的输出层参数向量。
在其中一些实施例中，根据实际误差
在线调整预测模型的输出层向量包括：
采用带有遗忘因子的递推最小二乘参数自适应算法，根据第k-M个采样时刻输出层参数向
量的实际误差
以及运动轨迹的实际误差，更新预测模型的输出层参数向量的估计值和
估计误差值。通过递推最小二乘的方法修改输出层的参数使其能够准确实时在线预测人体
运动轨迹，能够进一步提高预测模型的准确度。
在其中一些实施例中，获取调整后的预测模型输出的预测结果包括：根据第k-M个
采样时刻输出层参数向量的实际误差
以及运动轨迹的实际误差，得到第k-M+1个采样
时刻神经网络模型输出层参数向量的估计误差。重复更新M次，获取输出层参数向量在第k
个采样点的估计值和估计误差值；根据参数向量在第k个采样点的估计值和估计误差值，以
及参数向量与运动轨迹之间的函数关系，得到运动轨迹的预测结果。
下面通过优选实施例对本申请实施例进行描述和说明。
图3是根据本申请优选实施例的肢体运动轨迹预测方法的流程图，如图3所示，该肢体运动轨迹预测方法包括如下步骤：
步骤S301，信息采集。本步骤中的信息采集是指对用于训练的特征点运动轨迹的采集。
步骤S302，神经网络离线训练。通过步骤S301中采集到的信息，对建立的预测模型
进行离线训练。对于肢体的轨迹预测，需要同时考虑位置和姿态的变化。为了实现人肢体实
时位姿轨迹数据的轻量化处理，将人的每个部位看作是一个椭球，整个人可以看做若干个
椭球拼接而成。任意位姿的椭球的矩阵表达式为：
，其中
，
将人肢体的运动近似为刚体的变换，假设椭球的三个主轴长度已知并在运动中保持不变，只需要确定6个参数即可确定椭球方程。因为该6个点为同一人的运动，其运动不是完全独立的，所以采用同一个三层神经网络模型进行训练。
建立一个质点运动轨迹的预测模型：
式中
是未来M个采样时刻
中6个质点的运动轨迹，
表示第i个质点在未来M个采样
时刻的运动轨迹。
是过去N个采样时刻中6个质点
的运动轨迹，
表示第i个质点在过去N个采样
时刻的质点运动轨迹，一般地，过去采样点的轨迹位置数量不小于未来时刻的轨迹位置数
量，即N≥M。
代表质点运动轨迹的预测模型，
是在第k个采样时刻
均值为零的高斯白噪声，p是质点运动轨迹的维数，其在每个采样时刻都是不变的。
步骤S303，在线调整输出层参数。在通过预测模型进行运动轨迹在线预测的过程中，基于离线训练的三层神经网络模型建立预测函数：
式中
是输入向量，g是前n-1层神经网络，其整体权重为U，
是神经网络模型输出层的权重，
是神经网络模型中隐含层的神经元数量。当
神经网络模型被充分训练好后，前n-1层神经网络主要是作为质点运动轨迹的特征提取器，
通过固定前n-1层的权重，再在线调整网络的输出层权重，即可表示质点准确的运动轨迹特
征。
通过串联
的所有列向量，得到一个时变的参数向量
，
其中
是神经网络模型输出层的偏值，
是第k个采样点的参数向量。
表示在第k个采样点的数据矩阵，其中
是神
经网络模型中前n-1层的一个偏值。由此我们可以将轨迹预测模型对应的公式1改写为：
由公式3可以得出对未来时刻质点运动轨迹的估计值：
以及对未来时刻质点运动轨迹的预测误差
其中
。
考虑到在测量质点运动轨迹过程中产生的误差：
式中
是过去N个采样点中质点运动轨迹的测量值，
是测量质点运动
轨迹过程中的噪声。过去N个采样时刻中质点运动轨迹的实际误差：
式中的
是已经被记录的过去N个采样时刻的质点运动轨迹估计值。通过
，可以得到最近M个采样点处的实际轨迹误差：
式中
，
是一个
的单位阵。
用当前采样点处的轨迹误差
替换质点运动轨迹的先验误差
，并
采用带有遗忘因子的递推最小二乘参数自适应算法在线更新运动轨迹过程中的参数矢量：
其中
为协方差矩阵，其更新公式可以写为：
，其中，
和
为正常数，
是在k时刻矩阵形式的
。
反向运用公式5，得到过去第k-M个采样时刻神经网络模型输出层参数向量
的
实际估计误差为：
式中
是
的伪逆，这是“向后看”的过程。
模型的参数矢量误差可以由公式9得出，并且其更新只依赖于公式8中轨迹的实际误差：
式中
是参数矢量的实际增加量。
根据已知的
和
，将公式6至公式10代入公式11，得到第
k-M+1个采样时刻神经网络模型输出层参数的估计误差。为了方便起见，定义相对
时刻
，并通过重复上述过程M次：
将公式9和公式12代入公式4和公式5，即可以得到预测值
与
，这是
“向前看”的过程。
步骤S304，根据预测结果拟合椭球，随后输出预测结果。基于得到的
，根据
各点在人肢体的位置，通过求取几个特征点的中点坐标得出一个近似的椭球球心坐标，通
过求取两个特征点连线所构成的向量与Z轴方向的单位向量的夹角得出一个近似的椭球姿
态信息，并将这6个参数作为迭代初值，使用非线性最小二乘算法，拟合出椭球的最优估计
位姿信息，并拟合椭球。
进行均方估计误差的预测。考虑到神经网络模型输出层参数向量的误差值会涉及到高斯白噪声问题，其参数向量的估计误差均值可以表示为：
运动轨迹的先验均方估计误差
由公式15得
出：
由于在实际中
并不能够被准确得出，所以使用
来近
似代替
，随后通过多次迭代得出神经网络模型输出层参数向量期望
的平均估计
误差为公式16：
使用神经网络学习人的运动特征，并通过递推最小二乘的方法修改输出层的参数使其能够准确实时在线预测人体运动轨迹。通过将测量的人运动轨迹值与之前预测的运动轨迹估计值进行比较，得到当前采样点人运动轨迹的实际误差值，并根据实际误差值来进行神经网络模型输出层参数向量的在线调整。同时预测多个质点的位置，并将其拟合为椭球来近似替代人的肢体，实现了空间中人肢体的位姿预测。
将测量的人运动轨迹值与之前预测的运动轨迹估计值进行比较，得到当前采样点人运动轨迹的实际误差值，来得到第k-M时刻模型输出层参数误差的准确值，切断模型参数和预测轨迹误差的联系，再“向前看”M步来估计当前时刻模型参数误差，进一步预测轨迹值和误差值。该方法可以实现人运动轨迹均方估计误差和神经网络模型输出层参数向量均方估计误差的解耦，提高了人运动轨迹的预测精度和对轨迹误差的评估精度。
本发明使用神经网络离线训练后只需要在线调整输出层参数即可实现对轨迹的预测，减少了工作量，加快了计算速度，实现了在线实时预测。通过齐次二次型式的椭球运动轨迹来进行代替人肢体的运动轨迹，可以简单直接的确定人肢体再运动过程中的位姿信息，实现数据的轻量化处理。不仅可以快速精准地同时预测未来多个时刻的运动轨迹值，还能实现运动轨迹均方估计误差和模型参数均方估计误差解耦，快速精准地同时预测未来多个时刻的运动轨迹误差值，可以为后续人机共存环境中机器人运动安全集的设定等工作奠定基础。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种肢体运动轨迹预测系统，图4是根据本申请实施例的肢体运动轨迹预测系统的结构框图，如图4所示，该系统包括：工业机器人41、传输设备42以及服务器设备43。其中，工业机器41人通过传输设备42连接服务器设备43，服务器设备43用于执行上述肢体运动轨迹预测方法。在肢体的预测轨迹与工业机器人41有冲突的情况下，服务器设备43可以发送信号给工业机器人41用于防止冲突。另一方面，在运动体的肢体运动轨迹需要与工业机器人41进行配合的情况下，服务器设备43还可以控制工业机器人41与肢体运动轨迹进行配合，提高整个系统的安全性、配合度以及工作效率。在一些实施例中，该系统还包括图像采集设备，该设备可以安装在工业机器人41上，通过传输设备42与服务器设备43进行通信，也可以与服务器设备43直接连接，用于实时采集人体的肢体运动轨迹。该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
基于神经网络建立运动轨迹的预测模型，并对预测模型进行离线训练；
将运动轨迹的实测值与通过预测模型得到的运动轨迹的估计值进行比较，得到当前采样点的运动轨迹的实际误差值，并根据实际误差值在线调整预测模型的输出层参数向量；
获取调整后的预测模型输出的预测结果。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例中的肢体运动轨迹及其预测误差的预测方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种肢体运动轨迹及其预测误差的预测方法。
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种肢体运动轨迹及其预测误差的预测方法，其特征在于，包括：
基于神经网络建立运动轨迹的预测模型，并对所述预测模型进行离线训练；
将运动轨迹的实测值与通过所述预测模型得到的运动轨迹的估计值进行比较，得到当前采样点的运动轨迹的实际误差值，并根据所述实际误差值在线调整所述预测模型的输出层参数向量；
其中，所述根据所述实际误差值在线调整所述预测模型的输出层参数向量包括：
根据过去N个采样点的运动轨迹的实际误差值
得到最近M个采样点的运动轨迹的实际误差值
用
替换所述运动轨迹的先验误差
得到过去第k-M个采样时刻神经网络模型输出层参数向量θk-M的实际误差
根据所述实际误差
在线调整所述预测模型的输出层参数向量；
获取调整后的所述预测模型输出的预测结果，其中，所述预测结果包括所述运动轨迹和预测误差。
2.根据权利要求1所述的肢体运动轨迹及其预测误差的预测方法，其特征在于，根据所述实际误差
在线调整所述预测模型的输出层参数向量包括：
采用带有遗忘因子的递推最小二乘参数自适应算法，根据第k-M个采样时刻所述输出层参数向量的实际误差
以及运动轨迹的实际误差，更新所述预测模型的输出层参数向量的估计值和估计误差值。
3.根据权利要求2所述的肢体运动轨迹及其预测误差的预测方法，其特征在于，所述获取调整后的所述预测模型输出的预测结果包括：
根据第k-M个采样时刻所述输出层参数向量的实际误差
以及运动轨迹的实际误差，重复更新M次，获取所述输出层参数向量在第k个采样点的估计值和估计误差值；
根据所述输出层参数向量在第k个采样点的估计值和估计误差值，以及所述输出层参数向量与所述运动轨迹之间的函数关系，得到运动轨迹的所述预测结果。
4.根据权利要求1所述的肢体运动轨迹及其预测误差的预测方法，其特征在于，通过椭球运动轨迹代表所述肢体运动轨迹，并通过椭球中心点坐标、3个主轴的长度以及椭球相对于各个轴的旋转变换角度9个参数表达所述椭球运动轨迹，所述预测模型输出的预测结果为所述椭球上的特征点的运动轨迹。
5.根据权利要求4所述的肢体运动轨迹及其预测误差的预测方法，其特征在于，将肢体运动近似为刚体的变换，椭球的三个主轴长度已知并在运动中保持不变，通过椭球中心点坐标以及椭球相对于各个轴的旋转变换角度6个参数表达所述椭球运动轨迹。
6.根据权利要求5所述的肢体运动轨迹及其预测误差的预测方法，其特征在于，通过所述预测结果拟合椭球，获取所述肢体运动轨迹包括：
基于得到的所述预测结果，根据所述特征点在肢体的位置，求取所述特征点的中点坐标得出近似的椭球中心点坐标，求取其中两个特征点连线所构成的向量得出近似的椭球相对于各个轴的旋转变换角度；
将所述中心点坐标以及所述旋转变换角度作为迭代初值，使用非线性最小二乘算法拟合椭球，获取所述肢体运动轨迹。
7.根据权利要求1所述的肢体运动轨迹及其预测误差的预测方法，其特征在于，所述预测模型如下所示：
其中，
是未来M个采样时刻中6个质点的运动轨迹，
表示第i个质点在未来M个采样时刻的运动轨迹；
是过去N个采样时刻中6个质点的运动轨迹，
表示第i个质点在过去N个采样时刻的质点运动轨迹，过去采样点的轨迹位置数量不小于未来时刻的轨迹位置数量，即N≥M；
代表质点运动轨迹的预测模型，
是在第k个采样时刻均值为零的高斯白噪声，p是质点运动轨迹的维数，其在每个采样时刻都是不变的。
8.一种肢体运动轨迹及其预测误差的预测系统，其特征在于，包括：工业机器人、传输设备以及服务器设备；其中，所述工业机器人通过传输设备连接服务器设备，所述服务器设备用于执行如权利要求1至7中任一项所述的肢体运动轨迹及其预测误差的预测方法。
9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的肢体运动轨迹及其预测误差的预测方法。
10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至7中任一项所述的肢体运动轨迹及其预测误差的预测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111277282.6A CN114418159B (zh) | 2021-10-29 | 2021-10-29 | 肢体运动轨迹及其预测误差的预测方法、系统和电子装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111277282.6A CN114418159B (zh) | 2021-10-29 | 2021-10-29 | 肢体运动轨迹及其预测误差的预测方法、系统和电子装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114418159A CN114418159A (zh) | 2022-04-29 |
| CN114418159B true CN114418159B (zh) | 2023-01-03 |
Family
ID=81264832
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111277282.6A Active CN114418159B (zh) | 2021-10-29 | 2021-10-29 | 肢体运动轨迹及其预测误差的预测方法、系统和电子装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114418159B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118212650A (zh) * | 2024-03-07 | 2024-06-18 | 中国科学院空间应用工程与技术中心 | 一种生物姿态的检测方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109213175A (zh) * | 2018-10-31 | 2019-01-15 | 浙江工业大学 | 一种基于原对偶神经网络的移动机器人视觉伺服轨迹跟踪预测控制方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1907996B1 (en) * | 2005-07-28 | 2014-06-04 | Siemens Aktiengesellschaft | Load prediction based on-line and off-line training of neural networks |
| EP2209018A1 (en) * | 2009-01-15 | 2010-07-21 | Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO | A method for estimating an object motion characteristic from a radar signal, a computer system and a computer program product |
| US10514799B2 (en) * | 2016-09-08 | 2019-12-24 | Google Llc | Deep machine learning to perform touch motion prediction |
| US9989964B2 (en) * | 2016-11-03 | 2018-06-05 | Mitsubishi Electric Research Laboratories, Inc. | System and method for controlling vehicle using neural network |
| CN112612001A (zh) * | 2020-11-30 | 2021-04-06 | 天津光电通信技术有限公司 | 一种基于bp神经网络算法的轨迹预测方法及装置 |
| CN112734808B (zh) * | 2021-01-19 | 2022-10-14 | 清华大学 | 一种车辆行驶环境下易受伤害道路使用者的轨迹预测方法 |
-
2021
- 2021-10-29 CN CN202111277282.6A patent/CN114418159B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109213175A (zh) * | 2018-10-31 | 2019-01-15 | 浙江工业大学 | 一种基于原对偶神经网络的移动机器人视觉伺服轨迹跟踪预测控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114418159A (zh) | 2022-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110275436B (zh) | 一种多单臂机械手的rbf神经网络自适应控制方法 | |
| CN111178385B (zh) | 一种鲁棒在线多传感器融合的目标跟踪方法 | |
| US12005578B2 (en) | Real-time real-world reinforcement learning systems and methods | |
| CN110076772B (zh) | 一种机械臂的抓取方法及装置 | |
| Wang et al. | Nonparametric statistical learning control of robot manipulators for trajectory or contour tracking | |
| CN110253572B (zh) | 一种输入饱和多单臂机械手的事件触发控制方法 | |
| Akca et al. | Multiple model Kalman and Particle filters and applications: A survey | |
| Swartling et al. | Collective circumnavigation | |
| Petitti et al. | Consensus-based distributed estimation for target tracking in heterogeneous sensor networks | |
| CN111975771A (zh) | 一种基于偏差重定义神经网络的机械臂运动规划方法 | |
| CN114418159B (zh) | 肢体运动轨迹及其预测误差的预测方法、系统和电子装置 | |
| Widmann et al. | Human motion prediction in human-robot handovers based on dynamic movement primitives | |
| CN112959326B (zh) | 机器人正运动学求解方法、装置、可读存储介质及机器人 | |
| Serra-Gómez et al. | With whom to communicate: learning efficient communication for multi-robot collision avoidance | |
| Rahmani et al. | Networked control of industrial automation systems—a new predictive method | |
| CN112571420A (zh) | 一种未知参数下的双功能模型预测控制方法 | |
| CN113910218A (zh) | 基于运动学与深度神经网络融合的机器人标定方法和装置 | |
| Liu et al. | Moving-target circumnavigation using adaptive neural anti-synchronization control via distance-only measurements | |
| Lv et al. | Hardware-in-the-loop simulation for evaluating communication impacts on the wireless-network-controlled robots | |
| CN117601120A (zh) | 自适应变阻抗控制方法和装置、电子设备及存储介质 | |
| Filaretov et al. | The universal onboard information-control system for mobile robots | |
| CN109159121B (zh) | 采用抛物线型终态神经网络的冗余机器人重复运动规划方法 | |
| CN110962120B (zh) | 网络模型的训练方法及装置、机械臂运动控制方法及装置 | |
| Bahrpeyma et al. | Application of Reinforcement Learning to UR10 Positioning for Prioritized Multi-Step Inspection in NVIDIA Omniverse | |
| Li et al. | Model predictive control for constrained robot manipulator visual servoing tuned by reinforcement learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |