CN108284444B - 人机协作下基于Tc-ProMps算法的多模式人体动作预测方法 - Google Patents

人机协作下基于Tc-ProMps算法的多模式人体动作预测方法 Download PDF

Info

Publication number
CN108284444B
CN108284444B CN201810072899.6A CN201810072899A CN108284444B CN 108284444 B CN108284444 B CN 108284444B CN 201810072899 A CN201810072899 A CN 201810072899A CN 108284444 B CN108284444 B CN 108284444B
Authority
CN
China
Prior art keywords
human
prediction
motion
action
cooperation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810072899.6A
Other languages
English (en)
Other versions
CN108284444A (zh
Inventor
储继慎
亚徳
易阳
陈溪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Tech University
Original Assignee
Nanjing Tech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Tech University filed Critical Nanjing Tech University
Priority to CN201810072899.6A priority Critical patent/CN108284444B/zh
Publication of CN108284444A publication Critical patent/CN108284444A/zh
Application granted granted Critical
Publication of CN108284444B publication Critical patent/CN108284444B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1658—Programme controls characterised by programming, planning systems for manipulators characterised by programming language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Abstract

本发明公开人机协作下基于Tc‑ProMps算法的多模式人体动作预测方法，在分析人体动作随机不确定特点及作机器人运行方式基础上，实现机器人‑人自然的交互和并行协作，可应用于工业生产中协作机器人的协作控制与安全警报。该预测模型主要分为离线训练和在线预测两个模块，离线模块对人体动作样本进行训练，获取某类动作技能的表征的特征权值向量w及其概率分布；在线模块通过视觉信息观察人体动作，对人体动作进行在线识别和滚动预测。在人机协作过程中能够对人类工作操作是否正确进行预测并提前发出警告，避免不必要的人员伤亡，使协作机器人更加安全；同时在线感知人体动作意图，能够促使人与机器人并行协作，大大提高工业生产效率。

Description

人机协作下基于Tc-ProMps算法的多模式人体动作预测方法
技术领域
本发明涉及一种人机协作下基于Tc-ProMps算法的多模式人体动作预测方法，属于工业机器人领域中的人机交互和智能感知技术领域。
背景技术
2017年AlphaGo以3:0大胜柯洁，引发了社会对人工智能的诸多深思。除了研发这种对抗型机器人，人类更多的关注在于如何让机器人更好的服务于人类。尤其在工业机器人领域，行业秉承的原则一直是如何将一切有利于生活生产的条件融为一体，并通过优化生产各环节来为生产企业服务——于是人机协作诞生了。
目前市场上使用的协作机器人，主要有两类功能：其一，在人体靠近时安全预警，主动减速甚至停止工作；其二采用拖动示教使工业机器人模仿人类独立完成工作。由于人在工作时容易出现效率不一、疲惫和操作失误等现象，被动的停止工作大大降低了工业生产的效率。拖动示教重点是教会工业机器人模仿人类执行一项任务，机器人仍不能主动的与人协作。在工业生产线中还存在许多复杂、多变的任务必须由人类来完成，因此人类与工业机器人的灵活协作就显得尤为重要。因此，工业生产中急需具有预测人体动作意图功能的工业机器人来解决相关问题。
在进行发明创造的过程中发明人发现，在机器人与人组成的人机系统中，机器人缺乏对人体动作的自主感知和理解功能，缺乏交互，所以也并没有在真正意义上的人机协作。现有研究如ProMps算法能够对单一动作模式进行预测，即动作具有相似的运动轨迹和运动速度。而在实际工作中，人类工作的轨迹及速度均具有不确定性，执行过程中也千差万别，所以，如何使动作预测具有一般性，快速准确的预测到多模式的人体动作意图成为ProMps算法急需改进的部分。
发明内容
本发明的发明目的在于：基于以上不足，本发明提出一种人机协作下基于Tc-ProMps算法的多模式人体动作预测方法，该方法针对人手动作随机不确定等特点，对人类动作意图进行实时滚动预测，基于视觉观测前10％阶段人手动作，开始预测动作轨迹，包括动作目标位置及终止时间，预测误差在5cm内。基于视觉观测前30％阶段人手动作，预测误差达到1cm以内。基于预测模型的实时性和准确度，在人机协作过程中能够为协作控制器提供预测控制。在工业机器人工作过程中，针对人体动作随机不确定的特点，本发明的Tc-ProMps算法可以预测多模式人体动作轨迹及意图，实现机器人对人体动作的在线自主感知，使机器人与人之间自然交互，可应用于人机协作中的安全警报和并行协作，提高了机器人的交互性，可靠性和实用性。工业机器人也可通过预测方案检测到人类的失误操作，并提早发出警告，有效避免人员伤亡。通过灵活的人机协作生产方式，不仅可以降低生产成本，且有效提高生产效率。
本发明采用如下技术方案：人机协作下基于Tc-ProMps(时间放缩和概率运动基元，全称为Time Scaling-Probability Movement Primitives)算法的多模式人体动作预测方法，其特征在于，将工业生产线中的协作任务拆分为由工业机器人完成的任务A和由人手操作完成的任务B，所述工业机器人首先观察人手工作的行为状态，并通过基于Tc-ProMps算法的预测模型对所述人手工作的动作意图进行预测，实现人手动作的位移轨迹、速度轨迹和终点位置的预测，在人机协作过程中能够为协作控制器提供预测控制，促使人与机器人并行协作，加快生产效率。
作为一种较佳的实施例，所述动作预测方法具体包括：步骤SS1：离线训练步骤；步骤SS2：在线预测步骤。
作为一种较佳的实施例，所述离线训练步骤具体包括：
步骤SS11：利用Kinect深度视觉传感器，采集人手操作所述任务B的数据样本，所述数据样本包括不少于10名操作个体、上下左右四类不同目标位置、以及快中慢三类运动速度，并对采集到的所述数据样本进行滤波去噪，动作分割，和归一化处理；
步骤SS12：使用K近邻分类算法对所述数据样本进行聚类分割，将一类动作划分为D个动作子单元，以提高预测的准确度；
步骤SS13：对经所述步骤SS12处理后的所述数据样本进行运动基元建模，通过概率运动基元算法获取具有所述任务B运动技能的权值向量w及其概率分布，获取每个所述动作子单元的特征向量wd及其概率分布(μd，∑d),d＝1:D。
作为一种较佳的实施例，所述在线预测步骤具体包括：
步骤SS21：工业机器人通过kinect视觉传感器观察人手动作，判断动作初始点，并实时采集人手末端位置及手臂关节角度数据；
步骤SS22：以任意样本子单元Di为初始条件，根据当前观测的部分动作数据，结合TC算法搜索匹配的时间周期及当前动作相位；
步骤SS23：据贝叶斯定理，由所观测的部分动作数据为条件，由样本子单元Di的权值向量wi计算动作后验概率，即
Figure GDA0002900282020000031
并推断出动作轨迹时间序列；
步骤SS24：通过海格林距离计算预测轨迹与各个样本子单元Di，i＝1：D之间的距离，计算得到最小距离样本单元
Figure GDA0002900282020000041
得到其权值向量
Figure GDA0002900282020000042
步骤SS25：使用
Figure GDA0002900282020000043
重复所述步骤SS22到所述步骤SS24的内容，直到步骤SS22所使用的初始样本Di等于所述步骤SS24计算得到的最小距离样本单元
Figure GDA0002900282020000044
得到人手动作轨迹概率分布模型；
步骤SS26：根据所述步骤SS25生成的概率轨迹分布模型，结合凸理论方法，得到人手动作的动态方程模型；
步骤SS27：重复所述步骤SS21到所述步骤SS26，人手动作的动态方程模型随着观测量的增加不断迭代更新。
作为一种较佳的实施例，所述步骤SS26中的人手动作的动态方程模型为：
Figure GDA0002900282020000045
其中，Φ表示高斯基函数，
Figure GDA0002900282020000046
表示高斯噪声。
作为一种较佳的实施例，所述在线预测步骤具体包括：
根据贝叶斯理论，预测模型可从人手工作任务B的任意时刻开始预测，且预测轨迹高斯基函数的权值向量w的后验概率分布可表示为：
Figure GDA0002900282020000047
其中，y1：T表示任一条轨迹，tm＜T；
预测轨迹中的权值向量w的均值和协方差的更新公式可表示为：
Figure GDA0002900282020000048
其中，
Figure GDA0002900282020000049
对于所述工业机器人预测人手工作的任务B的行为轨迹权值向量w，其服从后验概率分布，并在给定条件
Figure GDA00029002820200000410
下，输入行为轨迹权值向量w的均值μw和协方差∑w，可通过贝叶斯法最大化后验概率，令某组权值向量w的概率最大，得到后验概率最大的类-即权值向量
Figure GDA0002900282020000051
作为一种较佳的实施例，所述在线预测步骤还包括：
通过海格林距离计算根据贝叶斯定理得到的权值向量
Figure GDA0002900282020000052
与各个样本子单元Di，i＝1：D的权值向量wi之间的距离，计算得到最小距离样本单元
Figure GDA0002900282020000053
得到其权值向量
Figure GDA0002900282020000054
作为一种较佳的实施例，所述在线预测步骤还包括：
对于两个概率分布：P～N(μ1，∑1)和Q～N(μ2，∑2)的海格林距离计算公式可表示为：
Figure GDA0002900282020000055
根据通过贝叶斯理论实时更新在线预测轨迹的权值向量
Figure GDA0002900282020000056
通过海格林距离公式得到最小距离样本单元
Figure GDA0002900282020000057
最终生成的人手预测轨迹可表示为：
Figure GDA0002900282020000058
本发明所达到的有益效果：
效果一，实现工业机器人预测多模式人体动作意图的功能；
效果二，通过离线训练，该人机协作的预测方法适用于多种任务场合；
效果三，通过工业机器人的预测功能提高生产效率；
效果四，基于Tc-ProMps算法进行预测，提高人机协作的预测精度和准确度；
效果五，工业机器人可判断出人类失误操作并提前发出警告，有效避免人员伤亡。
附图说明
图1是本发明的人机协作下基于Tc-ProMps算法的多模式人体动作预测系统示意图。
图2是本发明的一种人机协作下基于Tc-ProMps算法的多模式人体动作预测方法的工作流程示意图。
图3是本发明的Tc-ProMps算法工作示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
图1是本发明的人机协作下基于Tc-ProMps算法的多模式人体动作预测系统的示意图。该预测系统通过将协作任务分为工业机器人完成的任务A和由人手操作完成的任务B，实现机器人—人自然的交互与并行协作。整个过程包括：离线训练和在线预测模块。通过动作采集和ProMPs算法的离线训练形成人手动作轨迹库和动作技能库。在线预测时，工业机器人根据Kinect深度视觉传感器实时在线观测部分数据，通过海格距离算法与训练的动作技能库进行动作分类识别，通过TC算法与训练的动作轨迹库进行动作相位预测，再根据ProMps概率预测模型获得预测的人手运动轨迹。
本发明公开一种人机协作下基于Tc-ProMps算法的多模式人体动作预测方法，涉及工业生产中人机协作技术领域。本发明基于Tc-ProMps算法建立了一种预测控制模型。该预测模型主要分为离线训练和在线预测两个模块，工业机器人先通过离线训练获得具有某类任务特征的权值向量w及其概率分布，再通过在线预测模块观察多模式人体动作，针对人手动作随机不确定的特点，对人类动作意图进行实时滚动预测。基于预测模型的实时性和准确度，在人机协作过程中能够为协作控制器提供预测控制，促使人与机器人并行协作，大大提高工业生产效率。且能够对人类工作操作是否正确进行预测并提前发出警告，避免不必要的人员伤亡，实现工业机器人更加智能化。
其中，工业机器人开始工作前的离线训练模块有如下几步：
1、利用Kinect深度视觉传感器模块，采集人手操作任务B的数据样本。为满足样本一般性，数据样本中包括不止10名操作个体、上下左右等4类不同目标位置的运动轨迹及快中慢三类运动速度。对采集到的数据进行滤波去噪，动作分割，和归一化等处理。
2、使用KNN(K-NearestNeighbor，K近邻)算法对数据样本进行聚类分割，将一类动作划分为D个子单元，以提高预测的准确度。
3、对处理后的数据样本进行运动基元建模，通过ProMPs(Probability MovementPrimitives，概率运动基元)算法获取具有任务B运动技能的权值向量w及其概率分布。
工业机器人配合人类工作时的在线预测模块包括以下内容：
1、在机器人实际工作中，机器人通过kinect视觉传感器观察人手动作，判断动作初始点，并实时采集人手末端位置及手臂关节角度数据。
2、以任意样本子单元Di为初始条件，根据TC(time scaling，时间放缩)算法估计人手动作时间周期及当前相位。
3、根据贝叶斯定理，由所观测的部分人手数据为条件，根据样本子单元Di的权值向量wi计算人手动作后验概率，
Figure GDA0002900282020000071
推断出人手动作轨迹ypred的时间序列。
4、通过海格林距离计算预测轨迹ypred与各个样本子单元Di，i＝1：D之间的距离，计算得到最小距离样本单元
Figure GDA0002900282020000072
得到其权值向量
Figure GDA0002900282020000073
5、使用
Figure GDA0002900282020000074
重复2-5内容，直到步骤2所使用的初始样本等于4计算得到的最小距离样本，得到人手动作轨迹概率分布。
6、根据步骤5生成的概率轨迹模型，结合凸理论方法，得到人类运动的动态方程模型，重复1-6步骤，人手动作动态方程随着观测量的增加不断迭代更新。
Figure GDA0002900282020000081
其中，Φ表示高斯基函数，
Figure GDA0002900282020000082
表示高斯噪声，i*表示预测样本模型。
具体地，对于工业机器人预测人类工作任务B的行为轨迹权值w，其服从后验概率分布，并在给定条件
Figure GDA0002900282020000083
下，输入权值w的均值μw和协方差∑w，可通过贝叶斯法最大化后验概率，令某组权值向量w的概率最大。得到后验概率最大的类-即权值向量
Figure GDA0002900282020000084
其原理如下：
(A)根据贝叶斯理论，预测模型可从人类工作任务B的任意时刻开始预测，且预测轨迹高斯基函数的权值w的后验概率分布可表示为：
Figure GDA0002900282020000085
其中，y1：T表示任一条轨迹，tm＜T。
(B)预测轨迹中的权值向量的均值和协方差的更新公式可表示为：
Figure GDA0002900282020000086
其中，
Figure GDA0002900282020000087
具体地，通过计算各样本轨迹权值向量wi的高斯分布和根据贝叶斯定理得到的权值向量
Figure GDA0002900282020000088
的高斯分布的海林格距离(Hellinger distance)，计算得到最小距离样本单元
Figure GDA0002900282020000089
及其权值向量
Figure GDA00029002820200000810
对于两个概率分布：P～N(μ1，∑1)和Q～N(μ2，∑2)。海格林距离计算公式可表示为：
Figure GDA00029002820200000811
根据通过贝叶斯理论实时更新在线预测轨迹的权值向量
Figure GDA00029002820200000812
通过海格林距离公式(Hellinger distance)计算得到最小距离样本单元
Figure GDA00029002820200000813
最终生成的人手预测轨迹可表示为：
Figure GDA0002900282020000091
作为一个实施例：对于工业生产中遇到的复杂任务，我们可将其分解为任务A和任务B,其中相对简单的任务A由机器人完成，任务B由人类完成。在实际运用中，首先，工业机器人通过传统的ProMps算法对人类任务B的样本轨迹进行训练得到具有其运动特征的权值向量w及其概率分布；其次，本发明提出一种基于Tc-ProMps算法用于人机协作的行为预测方法，工业机器人通过该方法对任务B进行实时预测，生成预测的人手动态运动方程，为工业机器人的协作控制提供了接口。
图1是本发明的人机协作下基于Tc-ProMps算法的多模式人体动作预测模型示意图。本发明的工作原理：本发明是将ProMps算法用于工业机器人预测多模式人体动作意图中，并通过改进传统的ProMps算法提高预测精度和准确度，本发明主要用于工业生产中的人机协作领域。对传统的ProMps算法进行改进的思想在于结合了TC算法。单一的ProMps算法模型只能预测一种动作模式，即相似的运动轨迹和运动速度，而在工业生产中人类的工作状态因人而异，结合TC算法则可以预测相似轨迹及不同运动速度下的动作，更具有一般性。因此，该预测方法用于人机协作中可大幅度提高预测的准确度。另一方面，在预先的离线训练中本发明使用了KNN算法对数据样本进行聚类分割，将一类动作划分为D个子单元，并在在线预测中采用海林格距离识别最相似样本子单元，通过实时滚动式的样本匹配和预测轨迹迭代更新，也进一步提高了工业机器人的预测准确度和精度。
本发明工作方法：首先通过ProMps算法对人类任务B的运动轨迹进行离线训练，得到具有任务B运动特征的权值向量w及其概率分布，进而在在线预测时根据部分观测数据以及贝叶斯定理计算出当前预测轨迹的时间序列。根据海格林距离计算计算预测轨迹与各个样本子单元Di；i＝1:D之间的距离，计算得到最小距离样本单元
Figure GDA0002900282020000101
得到其权值向量
Figure GDA0002900282020000102
进而得到人手动作轨迹概率分布。由预测到的轨迹概率模型，解算得到动态运动基元(DMP，Dynamic Movement Primitives)模型，由此得到任务B的运动轨迹y，最终目标g，运动停止时间t，及运动动态方程
Figure GDA0002900282020000103
进一步地，被采集行为包括：工人抓取，传递，搬运，释放等动作；被采集数据信号包括：时间序列，关节角度或关节位置。
进一步地，在样本采集过程中，为满足样本一般性，数据样本中应包括不止10名操作个体、上下左右等4类不同目标位置的运动轨迹及快中慢三类运动速度。
所述方法应用在工业生产中的人机协作领域，能够实现工业机器人与人类共同完成某项复杂的工作任务，并对操作失误的工作人员发出警告。本发明提出的一种人机协作下基于Tc-ProMps算法的多模式人体动作预测方法，结合了TC算法，能够预测不同速度轨迹，更具有一般性。采用划分类内子单元的方法，提高预测准确度。采用海林格距离识别最相似样本子单元，以此来提高预测精度。
图2是的本发明方法流程框图。其执行步骤为：
1、在机器人实际工作中，机器人通过视觉传感器在线观察人体动作，获取任务B的起始点数据。
2、使用Tc-ProMps算法对人类进行任务B时的工作状态进行实时预测。
3、若在预测过程中发现人类工作操作失误，工业机器人提前发出警告，并继续进行预测。
4、当工业机器人满足终止工作的条件时，停止工作。否则返回步骤1继续预测人类工作状态。
算法流程如下：
第一，运动轨迹的概率表示：
Figure GDA0002900282020000111
Figure GDA0002900282020000112
Figure GDA0002900282020000113
第二，基于时间放缩算法的相位估计：
Figure GDA0002900282020000114
Figure GDA0002900282020000115
计算似然函数：
Figure GDA0002900282020000116
Figure GDA0002900282020000117
基于贝叶斯定理的轨迹预测：
Figure GDA0002900282020000118
Figure GDA0002900282020000121
Figure GDA0002900282020000122
第三，运用海宁格距离识别最相似样本子单元，提高预测精度：
Figure GDA0002900282020000123
Figure GDA0002900282020000124
Figure GDA0002900282020000125
第四，由动作概率分布计算动作动态方程：
Figure GDA0002900282020000126
Figure GDA0002900282020000127
Figure GDA0002900282020000128
Xr[k+1]＝AXr[k]+BUh[k]Tλ[k]；
Figure GDA0002900282020000129
1Tλ[k]＝1，λd[k]≥0；
e[k]＝Xr[k]-Xh[k]λ[k]，
Figure GDA0002900282020000131
为了进一步提高机器人的预测精度，弥补传统ProMPs算法预测不精准的缺点，我们对ProMPs算法进行了改进。图3即是本发明中的Tc-ProMps算法流程图。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (6)

1.人机协作下基于Tc-ProMps算法的多模式人体动作预测方法，其特征在于，将工业生产线中的协作任务拆分为由工业机器人完成的任务A和由人手操作完成的任务B，所述工业机器人首先观察人手工作的行为状态，并通过基于Tc-ProMps算法的预测模型对所述人手工作的动作意图进行预测，实现人手动作的位移轨迹、速度轨迹和终点位置的预测，在人机协作过程中能够为协作控制器提供预测控制，促使人与机器人并行协作，加快生产效率；
所述动作预测方法具体包括：步骤SS1：离线训练步骤；步骤SS2：在线预测步骤；
所述在线预测步骤具体包括：
步骤SS21：工业机器人通过kinect视觉传感器观察人手动作，判断动作初始点，并实时采集人手末端位置及手臂关节角度数据；
步骤SS22：以任意样本子单元Di为初始条件，根据当前观测的部分动作数据，结合TC算法搜索匹配的时间周期及当前动作相位；
步骤SS23：据贝叶斯定理，由所观测的部分动作数据为条件，由样本子单元Di的权值向量wi计算动作后验概率，即
Figure FDA0002900282010000011
并推断出动作轨迹时间序列；
步骤SS24：通过海格林距离计算预测轨迹与各个样本子单元Di，i＝1：D之间的距离，计算得到最小距离样本单元
Figure FDA0002900282010000014
得到其权值向量
Figure FDA0002900282010000012
步骤SS25：使用
Figure FDA0002900282010000013
重复所述步骤SS22到所述步骤SS24的内容，直到步骤SS22所使用的初始样本Di等于所述步骤SS24计算得到的最小距离样本单元
Figure FDA0002900282010000015
得到人手动作轨迹概率分布模型；
步骤SS26：根据所述步骤SS25生成的概率轨迹分布模型，结合凸理论方法，得到人手动作的动态方程模型；
步骤SS27：重复所述步骤SS21到所述步骤SS26，人手动作的动态方程模型随着观测量的增加不断迭代更新。
2.根据权利要求1所述的人机协作下基于Tc-ProMps算法的多模式人体动作预测方法，其特征在于，所述离线训练步骤具体包括：
步骤SS11：利用Kinect深度视觉传感器，采集人手操作所述任务B的数据样本，所述数据样本包括不少于10名操作个体、上下左右四类不同目标位置、以及快中慢三类运动速度，并对采集到的所述数据样本进行滤波去噪，动作分割，和归一化处理；
步骤SS12：使用K近邻分类算法对所述数据样本进行聚类分割，将一类动作划分为D个动作子单元，以提高预测的准确度；
步骤SS13：对经所述步骤SS12处理后的所述数据样本进行运动基元建模，通过概率运动基元算法获取具有所述任务B运动技能的权值向量w及其概率分布，获取每个所述动作子单元的特征向量wd及其概率分布(μd，∑d)，d＝1：D。
3.根据权利要求2所述的人机协作下基于Tc-ProMps算法的多模式人体动作预测方法，其特征在于，所述步骤SS26中的人手动作的动态方程模型为：
Figure FDA0002900282010000021
Figure FDA0002900282010000022
其中，Φ表示高斯基函数，
Figure FDA0002900282010000023
表示高斯噪声。
4.根据权利要求2所述的人机协作下基于Tc-ProMps算法的多模式人体动作预测方法，其特征在于，所述在线预测步骤具体包括：
根据贝叶斯理论，预测模型可从人手工作任务B的任意时刻开始预测，且预测轨迹高斯基函数的权值向量w的后验概率分布可表示为：
Figure FDA0002900282010000031
其中，y1：T表示任一条轨迹，tm＜T；
预测轨迹中的权值向量w的均值和协方差的更新公式可表示为：
Figure FDA0002900282010000032
其中，
Figure FDA0002900282010000033
5.根据权利要求2所述的人机协作下基于Tc-ProMps算法的多模式人体动作预测方法，其特征在于，所述在线预测步骤还包括：
通过海格林距离计算根据贝叶斯定理得到的权值向量
Figure FDA0002900282010000034
与各个样本子单元Di，i＝1：D的权值向量wi之间的距离，计算得到最小距离样本单元
Figure FDA0002900282010000039
得到其权值向量
Figure FDA0002900282010000035
6.根据权利要求2所述的人机协作下基于Tc-ProMps算法的多模式人体动作预测方法，其特征在于，所述在线预测步骤还包括：
对于两个概率分布：P～N(μ1，∑1)和Q～N(μ2，∑2)的海格林距离计算公式可表示为：
Figure FDA0002900282010000036
根据通过贝叶斯理论实时更新在线预测轨迹的权值向量
Figure FDA0002900282010000037
通过海格林距离公式得到最小距离样本单元
Figure FDA00029002820100000310
最终生成的人手预测轨迹可表示为：
Figure FDA0002900282010000038
CN201810072899.6A 2018-01-25 2018-01-25 人机协作下基于Tc-ProMps算法的多模式人体动作预测方法 Active CN108284444B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810072899.6A CN108284444B (zh) 2018-01-25 2018-01-25 人机协作下基于Tc-ProMps算法的多模式人体动作预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810072899.6A CN108284444B (zh) 2018-01-25 2018-01-25 人机协作下基于Tc-ProMps算法的多模式人体动作预测方法

Publications (2)

Publication Number Publication Date
CN108284444A CN108284444A (zh) 2018-07-17
CN108284444B true CN108284444B (zh) 2021-05-11

Family

ID=62835627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810072899.6A Active CN108284444B (zh) 2018-01-25 2018-01-25 人机协作下基于Tc-ProMps算法的多模式人体动作预测方法

Country Status (1)

Country Link
CN (1) CN108284444B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109520503A (zh) * 2018-11-27 2019-03-26 南京工业大学 一种平方根容积模糊自适应卡尔曼滤波slam方法
CN110245554B (zh) * 2019-04-29 2021-06-29 中科智城(广州)信息科技有限公司 一种行人运动趋势的预警的方法、系统平台及存储介质
JP7362107B2 (ja) * 2019-09-30 2023-10-17 Ｊｏｈｎａｎ株式会社 制御装置、制御方法およびプログラム
CN112428278B (zh) * 2020-10-26 2022-11-15 北京理工大学 机械臂的控制方法、装置及人机协同模型的训练方法
CN112365580B (zh) * 2020-11-16 2022-10-28 同济大学 一种面向人机技能传授的虚拟作业演示系统
CN113997989B (zh) * 2021-11-29 2024-03-29 中国人民解放军国防科技大学 磁浮列车单点悬浮系统安全检测方法、装置、设备及介质
CN114905514B (zh) * 2022-05-26 2023-07-28 山东大学 一种用于外肢体抓握控制的人体技能学习方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103112007A (zh) * 2013-02-06 2013-05-22 华南理工大学 基于混合传感器的人机交互方法
CN107097227A (zh) * 2017-04-17 2017-08-29 北京航空航天大学 一种人机协作机器人系统
CN107122752A (zh) * 2017-05-05 2017-09-01 北京工业大学 一种人体动作比对方法及装置
CN107357516A (zh) * 2017-07-10 2017-11-17 南京邮电大学 一种基于隐马尔可夫模型的手势查询意图预测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101896473B1 (ko) * 2012-01-04 2018-10-24 삼성전자주식회사 로봇 핸드의 제어 방법
US9776323B2 (en) * 2016-01-06 2017-10-03 Disney Enterprises, Inc. Trained human-intention classifier for safe and efficient robot navigation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103112007A (zh) * 2013-02-06 2013-05-22 华南理工大学 基于混合传感器的人机交互方法
CN107097227A (zh) * 2017-04-17 2017-08-29 北京航空航天大学 一种人机协作机器人系统
CN107122752A (zh) * 2017-05-05 2017-09-01 北京工业大学 一种人体动作比对方法及装置
CN107357516A (zh) * 2017-07-10 2017-11-17 南京邮电大学 一种基于隐马尔可夫模型的手势查询意图预测方法

Also Published As

Publication number Publication date
CN108284444A (zh) 2018-07-17

Similar Documents

Publication Publication Date Title
CN108284444B (zh) 人机协作下基于Tc-ProMps算法的多模式人体动作预测方法
Xu et al. Compare contact model-based control and contact model-free learning: A survey of robotic peg-in-hole assembly strategies
Brook et al. Collaborative grasp planning with multiple object representations
Martin et al. Online interactive perception of articulated objects with multi-level recursive estimation based on task-specific priors
Kappler et al. Data-driven online decision making for autonomous manipulation.
Dong et al. Real-time avoidance strategy of dynamic obstacles via half model-free detection and tracking with 2d lidar for mobile robots
CN109186610B (zh) 一种auv地形匹配导航的鲁棒bslam方法
Wang et al. Modeling motion patterns of dynamic objects by IOHMM
Luo et al. Human intention inference and on-line human hand motion prediction for human-robot collaboration
Stančić et al. Gesture recognition system for real-time mobile robot control based on inertial sensors and motion strings
CN113341706B (zh) 基于深度强化学习的人机协作流水线系统
Hueser et al. Learning of demonstrated grasping skills by stereoscopic tracking of human head configuration
Yanik et al. Use of kinect depth data and growing neural gas for gesture based robot control
Aljalbout et al. Learning vision-based reactive policies for obstacle avoidance
Stachniss et al. Analyzing gaussian proposal distributions for mapping with rao-blackwellized particle filters
Jasim et al. Contact-state modeling of robotic assembly tasks using gaussian mixture models
WO2023016616A1 (en) A robot system for anomaly detection
Mitsioni et al. Safe data-driven contact-rich manipulation
Ranjbar et al. Safety monitoring of neural networks using unsupervised feature learning and novelty estimation
Sackmann et al. Classification of Driver Intentions at Roundabouts.
Yamada et al. Prediction of backhoe loading motion via the beta-process hidden markov model
Song et al. Long-term visual inertial slam based on time series map prediction
Lang et al. Object handover prediction using gaussian processes clustered with trajectory classification
Kanazawa et al. Incremental learning of spatial-temporal features in human motion patterns with mixture model for planning motion of a collaborative robot in assembly lines
Kedia et al. Manicast: Collaborative manipulation with cost-aware human forecasting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant