CN115091467A - 一种基于模糊Petri网的意图预测与消歧方法及系统 - Google Patents

一种基于模糊Petri网的意图预测与消歧方法及系统 Download PDF

Info

Publication number
CN115091467A
CN115091467A CN202210902644.4A CN202210902644A CN115091467A CN 115091467 A CN115091467 A CN 115091467A CN 202210902644 A CN202210902644 A CN 202210902644A CN 115091467 A CN115091467 A CN 115091467A
Authority
CN
China
Prior art keywords
target
disambiguation
prediction
fuzzy
intention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210902644.4A
Other languages
English (en)
Inventor
孟伟
俞璇琦
刘泉
刘泽民
左洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202210902644.4A priority Critical patent/CN115091467A/zh
Publication of CN115091467A publication Critical patent/CN115091467A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明公开了一种基于模糊Petri网的意图预测与消歧方法及系统，预测用户待抓取目标并对可能出现的运动歧义进行消除。本发明设计了基于短期方向偏差和短期路径距离的预测度量，分别解决两待定目标物体与机械臂末端在距离相似和同处一条直线的问题，同时引入消歧度量，提高目标预测的准确性，可实现低分类脑电信号完成精确辅助抓取任务，减轻共享控制系统中的用户负担，提高辅助过程的安全性和适应性。本发明能有效地预测目标物体并对运行过程中出现的歧义进行消除，可提高机械臂共享控制系统在多目标物体环境中的适应性和精确性。

Description

一种基于模糊Petri网的意图预测与消歧方法及系统
技术领域
本发明涉及脑机共享控制领域，特别是指一种基于模糊Petri网建模的机械臂共享控制的意图预测与消歧方法和系统。
背景技术
当前人-机共享控制主要分为直接指令控制和间接指令控制。直接指令控制为人机交互系统输出的指令对机器人实现运动的直接控制。间接指令控制为用户通过人机交互系统输出宏观指令，具体运动过程由机器人系统实现。因此直接指令控制机械臂存在效率低，用户负担大等缺点。在典型的BCI范式中，运动想象(motor imagery,MI)是一种重要的BCI范式，根据不同类别的MI-EEG信号在大脑皮层的特定区域存在着显著的差异的特点实现通过对用户的训练实现想象身体的特定部位运动分类出不同类型信号输出。低分类运动想象信号存在指令类别少，控制维度低的问题；高分类运动想象信号存在准确度低，无法对机械臂实现正确控制的问题。因此需要引入机械臂的自主控制实现系统的共享控制。
目前脑机共享控制大多实现直接指令控制和分配机械臂控制权重的间接指令控制。在实现多自由度机械臂的控制上，往往仅实现末端方向控制，未能实现精确化的目标物体抓取任务。同时，在复杂环境抓取任务情况下，由于指令类别低以及目标物体较多的问题，可能会导致目标抓取错误，无法给用户提供有效帮助。中国专利CN201911359473.X提出的一种共享控制系统通过对移动机器人的运行方向和是否避障的运行状态与脑电信号的空闲与否状态进行Petri网建模，实现对机器人方向控制及障碍监测与避障决策控制，但该模型未考虑人机交互的复杂性，用户输入仅作为方向控制，在面对复杂抓取任务环境时，对于用户的运动意图无法精确判别。此时考虑引入对患者运动过程中可能出现的意图歧义消除的方法能够更好地为患者提供抓取辅助。中国专利CN201810089917.1通过稳态视觉诱发电位控制上肢外骨骼启停，运动想象控制上臂旋转与肘部屈伸。该方法实现了上肢外骨骼机器人的关节控制，但是未对运动环境和运动任务进行考虑，仅实现了用户对机器人的控制，而结合用户的运动意图预测能更好的对辅助抓取过程提供有效的帮助。
综上所述，目前脑机共享控制大多实现直接指令控制和分配机械臂控制权重的间接指令控制，未对用户的意图进行预测和消歧，无法实现多个目标物体出现时的精确抓取。因此，设计一种在共享控制的过程中根据用户的运动想象结果和运动偏好及时对目标物体进预测和意图歧义消除的方法，在为患者提供康复训练或完成生活辅助任务是非常必要的。
发明内容
本发明的主要目的在于克服现有技术中因运动想象输出信号类别过少和精确度不高的问题，提出一种基于动态场理论的意图预测与消歧方法，并结合构建的模糊Petri网机械臂脑机共享控制方法和系统，提高脑控机器人的控制精度和准确性。
本发明采用如下技术方案：一种基于模糊Petri网的意图预测与消歧方法，包括如下步骤：
S1，采集得到原始脑电信号，通过进行预处理、特征提取和分类后，得到运动想象分类为想象左手和右手的识别结果，用于表达人脑意图；
S2，根据运动捕捉系统采集到人体习惯的运动偏好轨迹，对人体习惯的运动偏好轨迹进行优化，获得机械臂末端优化轨迹；
S3，对人类期望抓取目标进行意图预测与消歧；
S4，建立模糊Petri网模型，通过步骤S3中的意图预测与消歧调整模糊Petri网模型中的共享控制权重，进而与机械臂系统和脑机接口系统构建辅助共享控制系统；
S5，根据运动想象的输入实时调整机械臂末端的轨迹输出实现脑机共享辅助抓取控制，所述运动想象的输入即步骤S1中得到的识别结果。
进一步的，步骤S2中采用多亚种群的NSGA-III多目标优化算法对运动偏好轨迹的速度、加速度、加速度率进行优化，获得机械臂末端优化轨迹。
进一步的，建立预测度量ξ对人类期望抓取目标进行意图预测，所述预测度量采用动态场方法进行计算，具体如下；
其中ξ为一个对人类控制命令和任务特征影响时间演化的非线性函数，该函数对捕捉到的人体运动的潜在意图进行编码：
Figure BDA0003771418400000021
该公式可简化为
Figure BDA0003771418400000022
其中
Figure BDA0003771418400000023
表示对机械臂运动短期方向性偏差的预测，η表示用户意图与机械臂末端到目标物体之间的矢量，ψ表示对机械臂末端运动短期路径距离参数，uh rot·ur,g rot表示用户命令于机械臂自主性之间的一致性，式中uh表示用户输入，ur,g表示机械臂到达目标g的自主控制输入，rot表示旋转矩阵，trans表示转置矩阵，
Figure BDA0003771418400000031
式中，xg表示目标物体位置，xr表示机械臂末端位置，||·||表示范数；
Figure BDA0003771418400000032
ψ表示对机械臂末端运动短期路径距离参数，式中，R表示设定接近分量为零的球体半径，即当机械臂末端与目标物体的距离小于R时判定为机械臂到达了目标物体处。
进一步的，建立消歧度量M对人类期望抓取目标进行意图消歧，所述消歧度量用于在多个待定目标中对单个目标进行概率评估，有效消除意图歧义；
消歧度量的计算方法为：
M＝ω(Γ·Λ·Ω)+(1-ω)Υ，
式中，M表示消歧度量矩阵，ω是用来平衡短期和长期组成部分的权重，Γ表示多个目标物体中选取概率的最大值，值越高代表机器人对预期目标的预测有更大的信心；Λ表示相邻两物体目标概率的差值之和，目标概率之间的邻间隔越大，消歧的准确度越高；Ω表示第一目标和第二目标概率之差，差异性越大，准确性越高；Υ表示在一段长时间运动时目标概率发生变化的梯度，个体空间梯度的差异越大，相互偏离的概率就越大，从而有助于消除歧义；
Figure BDA0003771418400000033
式中，pi(t)表示到达物体i的目标概率；
Figure BDA0003771418400000034
Figure BDA0003771418400000035
Figure BDA0003771418400000036
式中，
Figure BDA0003771418400000037
表示目标概率的梯度。
进一步的，步骤S4中模糊Petri网的建立过程具体为；
41)检测机械臂和多个目标物体之间的相对位置，将其模糊化处理输出相对模糊角度；
42)由末端与目标物体之间距离，通过优化轨迹算法计算出优化轨迹，将其模糊化处理输出模糊距离，并定义模糊初始化状态为Z；
43)通过步骤1中得到的二分类运动想象信号将其进行0、1编码，获得定长编码的4个方向信号，分别对应前后左右的机械臂末端二维方向控制；
44)将模糊角度与模糊距离通过隶属度映射函数分别映射为具体数值CF1和CF2，同时将人类控制命令映射为CF3；
45)通过给CF1、CF2和CF3分配权重ω1、ω2和ω3，其中ω1+ω2+ω3＝1，实现共享控制动态分配。
进一步的，预测度量ξ用于动态调节步骤4中模糊Petri网的ω1与ω2之间的权重，消歧度量M将用于动态调节步骤4中ω3和(ω1、ω2)之间的权重。
本发明还提供一种基于模糊Petri网的意图预测与消歧系统，包括：数据预处理模块、轨迹规划模块、意图预测与消歧模块、共享控制模块和辅助抓取模块；
数据预处理模块，用于采集得到原始脑电信号，通过进行预处理、特征提取和分类后，得到运动想象分类为想象左手和右手的识别结果，用于表达人脑意图；
轨迹规划模块，用于根据运动捕捉系统采集到人体习惯的运动偏好轨迹，对人体习惯的运动偏好轨迹进行优化，获得机械臂末端优化轨迹；
意图预测与消歧模块，用于对人类期望抓取目标进行意图预测与消歧；
共享控制模块，用于建立模糊Petri网模型，通过意图预测与消歧模块中的意图预测与消歧调整模糊Petri网模型中的共享控制权重，进而与机械臂系统和脑机接口系统构建辅助共享控制系统；
辅助抓取模块，用于根据运动想象的输入和共享控制系统的权重分配实时调整机械臂末端的轨迹输出实现脑机共享辅助抓取控制，所述运动想象的输入即数据预处理模块中得到的识别结果。
进一步的，建立预测度量ξ对人类期望抓取目标进行意图预测，所述预测度量采用动态场方法进行计算，具体如下；
其中ξ为一个对人类控制命令和任务特征影响时间演化的非线性函数，该函数对捕捉到的人体运动的潜在意图进行编码：
Figure BDA0003771418400000041
该公式可简化为
Figure BDA0003771418400000042
其中
Figure BDA0003771418400000051
表示对机械臂运动短期方向性偏差的预测，η表示用户意图与机械臂末端到目标物体之间的矢量，ψ表示对机械臂末端运动短期路径距离参数，uh rot·ur,g rot表示用户命令于机械臂自主性之间的一致性，式中uh表示用户输入，ur,g表示机械臂到达目标g的自主控制输入，rot表示旋转矩阵，trans表示转置矩阵，
Figure BDA0003771418400000052
式中，xg表示目标物体位置，xr表示机械臂末端位置，||·||表示范数；
Figure BDA0003771418400000053
ψ表示对机械臂末端运动短期路径距离参数，式中，R表示设定接近分量为零的球体半径，即当机械臂末端与目标物体的距离小于R时判定为机械臂到达了目标物体处。
进一步的，建立消歧度量M对人类期望抓取目标进行意图消歧，所述消歧度量用于在多个待定目标中对单个目标进行概率评估，有效消除意图歧义；
消歧度量的计算方法为：
M＝ω(Γ·Λ·Ω)+(1-ω)Υ，
式中，M表示消歧度量矩阵，ω是用来平衡短期和长期组成部分的权重，Γ表示多个目标物体中选取概率的最大值，值越高代表机器人对预期目标的预测有更大的信心；Λ表示相邻两物体目标概率的差值之和，目标概率之间的邻间隔越大，消歧的准确度越高；Ω表示第一目标和第二目标概率之差，差异性越大，准确性越高；Υ表示在一段长时间运动时目标概率发生变化的梯度，个体空间梯度的差异越大，相互偏离的概率就越大，从而有助于消除歧义；
Figure BDA0003771418400000054
式中，pi(t)表示到达物体i的目标概率；
Figure BDA0003771418400000055
Figure BDA0003771418400000056
Figure BDA0003771418400000057
式中，
Figure BDA0003771418400000061
表示目标概率的梯度。
进一步的，模糊Petri网的建立过程具体为；
41)检测机械臂和多个目标物体之间的相对位置，将其模糊化处理输出相对模糊角度；
42)由末端与目标物体之间距离，通过优化轨迹算法计算出优化轨迹，将其模糊化处理输出模糊距离，并定义模糊初始化状态为Z；
43)通过步骤1中得到的二分类运动想象信号将其进行0、1编码，获得定长编码的4个方向信号，分别对应前后左右的机械臂末端二维方向控制；
44)将模糊角度与模糊距离通过隶属度映射函数分别映射为具体数值CF1和CF2，同时将人类控制命令映射为CF3；
45)通过给CF1、CF2和CF3分配权重ω1、ω2和ω3，其中ω1+ω2+ω3＝1，实现共享控制动态分配。
由上述对本发明的描述可知，本发明的有益效果包括：
1)本发明的方法和系统，利用通过模糊Petri网建模能够对异步、并发、动态系统进行模拟和处理的优点，建立一个能够描述机器人运动状态、人体运动想象信号、目标物体位置信息以及共享控制策略的模型。通过动态演化可以观测系统的所有运行状态，具有分析和改进共享控制权重的作用。
2)本发明设计了基于短期方向偏差和短期路径距离的预测度量，分别解决两待定目标物体与机械臂末端在距离相似和同处一条直线的问题，同时引入消歧度量，提高目标预测的准确性，可实现低分类脑电信号完成精确辅助抓取任务，减轻共享控制系统中的用户负担，提高辅助过程的安全性和适应性。
附图说明
图1为本发明系统的结构框图；
图2为轨迹多目标优化后的Pareto最优面；
图3为本发明建立的意图预测与消歧的共享控制模糊Petri网；
图4为本发明模糊逻辑框图；
图5为本发明模糊逻辑输入的隶属度函数图；
图6为本发明模糊逻辑输出的隶属度函数图；
图7为预测度量控制系数推理规则表面图；
图8为预测消歧结果图。
具体实施方式
以下通过具体实施方式结合附图对本发明作进一步描述。
本发明所提出的一种基于模糊Petri网的意图预测与消歧方法，包括以下步骤：
S1，采集得到原始脑电信号，通过进行预处理、特征提取和分类后，得到运动想象分类为想象左手和右手的识别结果，作为二分类信号；
S2，根据运动捕捉系统采集到人体习惯的运动偏好轨迹，将该轨迹作为学习对象并结合多亚种群的NSGA-III多目标优化算法对轨迹的速度、加速度、加速度率进行优化，获得机械臂末端优化轨迹；
S3，通过模糊模型中基于短期方向偏差针对两待抓取目标与机械臂末端距离相似的情况，基于短期路径距离针对两待定目标与机械臂末端处在同一空间直线上的情况，对人类期望目标进行意图预测与消歧；
S4，根据共享控制策略建立模糊Petri网模型，通过引入机械臂末端和多个目标物体之间的相对位置经过模糊处理得到机械臂末端和最终目标位置之间的方向角度，解决短期方向偏差；引入步骤2中优化轨迹，解决短期路径距离问题，与脑机接口系统和机械臂系统构成辅助共享控制系统；
S5，根据运动想象的输入实时调整机械臂末端的轨迹输出实现脑机共享辅助抓取控制，所述运动想象的输入即步骤S1中得到的识别结果。
下面对各步骤的实施过程进行详细说明：
为实现步骤1中的运动想象信号识别，本发明通过16通道的脑电采集设备采集得到原始脑电信号，并基于小波阈值算法，使阈值符合噪声分解后个尺度小波系数的分布规律，对采集到的脑电信号(Electroencephalogram,EEG)中存在的噪声或危机成分识别并滤除，得到相对纯净EEG信号；特征提取和分类过程首先基于经验模态分解(Empirical ModeDecomposition，EMD)法扩充数据样本，同时构建一个串-并行深度学习网络架构对运动想象(Motor Imagery，MI)MI-EEG信号进行端到端的特征提取并分类。该网络主要由串行特征提取模块、并行特征提取模块和双全连接层分类模块三部分组成。串行特征提取模块由多个二维时间滤波器和空间滤波器构成，目的是充分提取信号的时间特征和空间特征，结合一系列非线性激活函数提取信号的频率特征。并行特征提取模块的输入为经过了初步多维特征提取的MI-EEG信号。在上一模块中，一些特定尺寸的卷积核被用来提取信号特征。双全连接层分类模块中，首先利用Flatten层作为过渡，将处理后的三维特征展平至一维，并映射输出左手、右手分别对应的权重。使用Softmax层将最大权重值对应的类别作为判别结果输出。
为实现步骤2中人体偏好轨迹的学习与优化，本发明首先通过运动捕捉系统采集得到健康人体腕部在特定任务下的运动轨迹，并将其作为学习样本。
(2.1)首先采用贝叶斯非参数方法。在拟合演示的人体运动轨迹时，不是进行模型选择来找到最佳的高斯分量K，而是采用DP先验来构建无限混合模型。以物理一致的方式将高斯混合模型拟合到轨迹数据上，同时通过一种保持全局渐进稳定性的线性变参数的动力系统的增量学习方法，该方法通过设置3个约束变量以最小化近似期望速度与参考轨迹的观测速度之间的速度误差从而保证轨迹学习的高效性。
(2.2)基于学习到的轨迹，本发明采用多亚种群的多目标优化NSGA-III算法，设计两个亚种群分别采用BLX-α和SPX算子解决在优化轨迹曲线在三维空间的不稳定性的问题。基于此针对轨迹的速度、加速度和加速度率三个优化目标进行优化，获得更适合康复辅助环境下的机械臂末端运动轨迹。
如图2所示，为机械臂末端轨迹的速度、加速度、加速度率优化的Pareto最优面。当轨迹选择靠近A点时，轨迹将在加速度率即轨迹的平稳度上取得最优，但是在轨迹耗时上效果不佳；当轨迹选择靠近C点时，轨迹将在时间即轨迹的运动效率上取得最优，但是在平稳程度上表现不佳，基于此，我们根据实际需求，在一系列Pareto解中取得加权最优解。
为实现步骤3中的意图预测与消歧，本发明分别设计了预测度量ξ和消歧度量M，并将其引入到步骤4中的模糊Petri网模型中。
其中ξ为一个对人类控制命令和任务特征影响时间演化的非线性函数，该函数对捕捉到的人体运动的潜在意图进行编码：
Figure BDA0003771418400000081
该公式可简化为
Figure BDA0003771418400000082
其中
Figure BDA0003771418400000083
表示对机械臂运动短期方向性偏差的预测，η表示用户意图与机械臂末端到目标物体之间的矢量，ψ表示对机械臂末端运动短期路径距离参数，uh rot·ur,g rot表示用户命令于机械臂自主性之间的一致性，式中uh表示用户输入，ur,g表示机械臂到达目标g的自主控制输入，rot表示旋转矩阵，trans表示转置矩阵，
Figure BDA0003771418400000084
式中，xg表示目标物体位置，xr表示机械臂末端位置，||·||表示范数；
Figure BDA0003771418400000091
式中，R表示设定接近分量为零的球体半径，即当机械臂末端与目标物体的距离小于R时判定为机械臂到达了目标物体处。
其中M用于在多个待定目标中对单个目标进行概率评估，有效消除意图歧义，其计算方法为：
M＝ω(Γ·Λ·Ω)+(1-ω)Υ，
式中，M表示消歧度量矩阵，ω是用来平衡短期和长期组成部分的权重，Γ表示多个目标物体中选取概率的最大值，值越高代表了机器人对人类预期目标的预测有更大的信心。Λ表示相邻两物体目标概率的差值之和，目标概率之间的邻间隔越大消歧的准确度越高。Ω表示第一目标和第二目标概率之差，差异性越大，准确性越高。Υ表示在一段长时间运动时目标概率发生变化的梯度，个体空间梯度的差异越大，相互偏离的概率就越大，从而有助于消除歧义。
Figure BDA0003771418400000092
式中，pi(t)表示到达物体i的目标概率；
Figure BDA0003771418400000093
Figure BDA0003771418400000094
Figure BDA0003771418400000095
式中，
Figure BDA0003771418400000096
表示目标概率的梯度；
为实现步骤4中的共享控制策略，本发明采用的模糊Petri网为九元组结构FPN＝{P,T,D,E,W,Θ,f,α,β}，其中：
P＝{P1,P2,...,Pn}，有限数量的模糊库所集合，描述系统中的模糊状态，其中Pn表示系统中的第n个库所；
T＝{t1,t2,...,tm}，有限数量的模糊变迁集合，描述系统中发生状态转换的事件，其中tm表示系统中的第m个变迁；
D＝{d1,d2,...,dn}，有限数量的命题集合，描述系统中不同状态下的定义，其中dn表示当处于Pn状态时，当前该状态取值为dn。
Figure BDA0003771418400000101
有序对的集合，其中P×T表示由库所指向变迁的有向弧，T×P表示由变迁指向库所的有向弧。
f:T→[0,1]，范围在[0,1]之间的模糊变迁到真实值的关联函数映射；
α:P→[0,1]，范围在[0,1]之间的模糊库所到真实值的关联函数映射；
β:P→D，从库所到命题的关联函数映射；
Θ表示模糊变迁到模糊变迁子类的映射。
优先地，所述步骤4中模糊Petri网的建立过程具体为：
1)检测机械臂和多个目标物体之间的相对位置，将其模糊化处理输出相对模糊角度；
2)由末端与目标物体之间距离，通过优化轨迹算法计算出优化轨迹，将其模糊化处理输出模糊距离，并定义模糊初始化状态为Z；
3)通过步骤1中得到的二分类运动想象信号将其进行0、1编码，获得定长编码的4个方向信号，分别对应前后左右的机械臂末端二维方向控制；
4)将模糊角度与模糊距离通过隶属度映射函数分别映射为具体数值CF1和CF2，同时将人类控制命令映射为CF3；
5)通过给CF1、CF2和CF3分配权重ω1、ω2和ω3，其中ω1+ω2+ω3＝1，实现共享控制动态分配系统。
本发明预测算法计算得到的预测度量ξ将用于动态调节步骤4中模糊Petri网的ω1与ω2之间的权重，消歧算法计算得到的消歧度量M将用于动态调节步骤4中ω3和(ω1、ω2)之间的权重。
在此步骤建立的意图预测与消歧的共享控制系统模糊Petri网如图3所示，基于此的预测度量模糊逻辑推理框图如图4所示。
Θ与α之间的隶属度函数图如图5左图所示，输出结果为对方向角度的模糊化与去模糊化处理,将其设置为7个等级分别描述为[NB,NM,NS,Z,PS,PM,PB]，元素分别代表负大、负中、负小、零、正小、正中、正大，并采用三角形函数进行描述。
距离的隶属度函数如图5右图所示，输出结果为对末端与目标之间距离的模糊化与去模糊化处理，将其设置为3个等级分别描述为[N,M,F]，元素分别代表近、中、远，并采用S型函数进行描述。
表1展示了机械臂末端与非目标物体方向角度与距离的模糊处理规则，基于此撰写了21条规则，得到如图6所示预测度量控制系数输出规则及如图7所示推理规则表面图。
表1机械臂末端与非目标物体方向角度与距离的模糊处理规则
Figure BDA0003771418400000111
表2展示了模糊Petri网中的模型符号与注释。
表2
Figure BDA0003771418400000112
Figure BDA0003771418400000121
基于上述方法，本发明提出的基于模糊Petri网的意图预测与消歧系统如图1所示，包括数据预处理模块、意图预测与消歧模块、轨迹规划模块和共享控制模块。
数据预处理模块：用于对原始脑电信号进行预处理，将原始信号进行滤波，特征提取以及分类，分别完成对采集到的EEG信号中存在的噪声或危机成分识别并滤除和生成二分类的运动想象信号。
意图预测与消歧模块：用于计算预测度量和消歧度量，预测度量用于对人类控制命令和任务特征影响时间演化的非线性函数对捕捉到的人体运动的潜在意图进行编码，消歧度量用于在多个待定目标中对单个目标进行概率评估，有效消除意图歧义。
轨迹规划模块：用于对人体偏好轨迹进行学习并针对学习的偏好轨迹进行多目标优化，生成更适合康复辅助环境下的机械臂末端运动轨迹。
共享控制模块：用于对整个脑机接口运动想象和机械臂构成的控制系统进行分析和改进共享控制权重，通过模糊Petri网的建模对异步、并发、动态系统进行模拟和处理，建立一个描述机器人运动状态、人体运动想象信号、目标物体位置信息以及共享控制策略的模型，并通过动态演化观测控制系统的运行状态。
辅助抓取模块：用于根据运动想象的输入和共享控制系统的权重分配实时调整机械臂末端的轨迹输出实现脑机共享辅助抓取控制，所述运动想象的输入即数据预处理模块中得到的识别结果。
各模块的具体实现与各步骤相对应，本发明不予撰述。
本发明的预测与消歧结果如图8所示，左图演示了当多个目标物体与机械臂末端在同一条空间直线时的消歧效果，右图演示了当两目标物体与机械臂末端距离相似时的消歧效果，可以明显观察到本发明方法在两种情况下均能获得良好的消歧效果。
应当理解的是，上述针对实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (10)

1.一种基于模糊Petri网的意图预测与消歧方法，其特征在于，包括如下步骤：
S1，采集得到原始脑电信号，通过进行预处理、特征提取和分类后，得到运动想象分类为想象左手和右手的识别结果，用于表达人脑意图；
S2，根据运动捕捉系统采集到人体习惯的运动偏好轨迹，对人体习惯的运动偏好轨迹进行优化，获得机械臂末端优化轨迹；
S3，对人类期望抓取目标进行意图预测与消歧；
S4，建立模糊Petri网模型，通过步骤S3中的意图预测与消歧调整模糊Petri网模型中的共享控制权重，进而与机械臂系统和脑机接口系统构建辅助共享控制系统；
S5，根据运动想象的输入实时调整机械臂末端的轨迹输出实现脑机共享辅助抓取控制，所述运动想象的输入即步骤S1中得到的识别结果。
2.如权利要求1所述的一种基于模糊Petri网的意图预测与消歧方法，其特征在于：步骤S2中采用多亚种群的NSGA-III多目标优化算法对运动偏好轨迹的速度、加速度、加速度率进行优化，获得机械臂末端优化轨迹。
3.根据权利要求1所述一种基于模糊Petri网的意图预测与消歧方法，其特征在于：建立预测度量ξ对人类期望抓取目标进行意图预测，所述预测度量采用动态场方法进行计算，具体如下；
其中ξ为一个对人类控制命令和任务特征影响时间演化的非线性函数，该函数对捕捉到的人体运动的潜在意图进行编码：
Figure FDA0003771418390000011
该公式可简化为
Figure FDA0003771418390000012
其中
Figure FDA0003771418390000021
表示对机械臂运动短期方向性偏差的预测，η表示用户意图与机械臂末端到目标物体之间的矢量，ψ表示对机械臂末端运动短期路径距离参数，uh rot·ur,g rot表示用户命令于机械臂自主性之间的一致性，式中uh表示用户输入，ur,g表示机械臂到达目标g的自主控制输入，rot表示旋转矩阵，trans表示转置矩阵，
Figure FDA0003771418390000022
式中，xg表示目标物体位置，xr表示机械臂末端位置，||·||表示范数；
Figure FDA0003771418390000023
ψ表示对机械臂末端运动短期路径距离参数，式中，R表示设定接近分量为零的球体半径，即当机械臂末端与目标物体的距离小于R时判定为机械臂到达了目标物体处。
4.根据权利要求3所述的一种基于模糊Petri网的意图预测与消歧方法，其特征在于：建立消歧度量M对人类期望抓取目标进行意图消歧，所述消歧度量用于在多个待定目标中对单个目标进行概率评估，有效消除意图歧义；
消歧度量的计算方法为：
M＝ω(Γ·Λ·Ω)+(1-ω)γ，
式中，M表示消歧度量矩阵，ω是用来平衡短期和长期组成部分的权重，Γ表示多个目标物体中选取概率的最大值，值越高代表机器人对预期目标的预测有更大的信心；Λ表示相邻两物体目标概率的差值之和，目标概率之间的邻间隔越大，消歧的准确度越高；Ω表示第一目标和第二目标概率之差，差异性越大，准确性越高；Υ表示在一段长时间运动时目标概率发生变化的梯度，个体空间梯度的差异越大，相互偏离的概率就越大，从而有助于消除歧义；
Figure FDA0003771418390000024
式中，pi(t)表示到达物体i的目标概率；
Figure FDA0003771418390000031
Figure FDA0003771418390000032
Figure FDA0003771418390000033
式中，
Figure FDA0003771418390000034
表示目标概率的梯度。
5.根据权利要求4所述的一种基于模糊Petri网的意图预测与消歧方法，其特征在于：步骤S4中模糊Petri网的建立过程具体为；
41)检测机械臂和多个目标物体之间的相对位置，将其模糊化处理输出相对模糊角度；
42)由末端与目标物体之间距离，通过优化轨迹算法计算出优化轨迹，将其模糊化处理输出模糊距离，并定义模糊初始化状态为Z；
43)通过步骤1中得到的二分类运动想象信号将其进行0、1编码，获得定长编码的4个方向信号，分别对应前后左右的机械臂末端二维方向控制；
44)将模糊角度与模糊距离通过隶属度映射函数分别映射为具体数值CF1和CF2，同时将人类控制命令映射为CF3；
45)通过给CF1、CF2和CF3分配权重ω1、ω2和ω3，其中ω1+ω2+ω3＝1，实现共享控制动态分配。
6.根据权利要求5所述的一种基于模糊Petri网的意图预测与消歧方法，其特征在于：预测度量ξ用于动态调节步骤4中模糊Petri网的ω1与ω2之间的权重，消歧度量M将用于动态调节步骤4中ω3和(ω1、ω2)之间的权重。
7.一种基于模糊Petri网的意图预测与消歧系统，其特征在于，包括：数据预处理模块、轨迹规划模块、意图预测与消歧模块、共享控制模块和辅助抓取模块；
数据预处理模块，用于采集得到原始脑电信号，通过进行预处理、特征提取和分类后，得到运动想象分类为想象左手和右手的识别结果，用于表达人脑意图；
轨迹规划模块，用于根据运动捕捉系统采集到人体习惯的运动偏好轨迹，对人体习惯的运动偏好轨迹进行优化，获得机械臂末端优化轨迹；
意图预测与消歧模块，用于对人类期望抓取目标进行意图预测与消歧；
共享控制模块，用于建立模糊Petri网模型，通过意图预测与消歧模块中的意图预测与消歧调整模糊Petri网模型中的共享控制权重，进而与机械臂系统和脑机接口系统构建辅助共享控制系统；
辅助抓取模块，用于根据运动想象的输入和共享控制系统的权重分配实时调整机械臂末端的轨迹输出实现脑机共享辅助抓取控制，所述运动想象的输入即数据预处理模块中得到的识别结果。
8.根据权利要求7所述一种基于模糊Petri网的意图预测与消歧系统，其特征在于：建立预测度量ξ对人类期望抓取目标进行意图预测，所述预测度量采用动态场方法进行计算，具体如下；
其中ξ为一个对人类控制命令和任务特征影响时间演化的非线性函数，该函数对捕捉到的人体运动的潜在意图进行编码：
Figure FDA0003771418390000041
该公式可简化为
Figure FDA0003771418390000042
其中
Figure FDA0003771418390000043
表示对机械臂运动短期方向性偏差的预测，η表示用户意图与机械臂末端到目标物体之间的矢量，ψ表示对机械臂末端运动短期路径距离参数，uh rot·ur,g rot表示用户命令于机械臂自主性之间的一致性，式中uh表示用户输入，ur,g表示机械臂到达目标g的自主控制输入，rot表示旋转矩阵，trans表示转置矩阵，
Figure FDA0003771418390000051
式中，xg表示目标物体位置，xr表示机械臂末端位置，||·||表示范数；
Figure FDA0003771418390000052
ψ表示对机械臂末端运动短期路径距离参数，式中，R表示设定接近分量为零的球体半径，即当机械臂末端与目标物体的距离小于R时判定为机械臂到达了目标物体处。
9.根据权利要求7所述的一种基于模糊Petri网的意图预测与消歧系统，其特征在于：建立消歧度量M对人类期望抓取目标进行意图消歧，所述消歧度量用于在多个待定目标中对单个目标进行概率评估，有效消除意图歧义；
消歧度量的计算方法为：
M＝ω(Γ·Λ·Ω)+(1-ω)Υ，
式中，M表示消歧度量矩阵，ω是用来平衡短期和长期组成部分的权重，Γ表示多个目标物体中选取概率的最大值，值越高代表机器人对预期目标的预测有更大的信心；Λ表示相邻两物体目标概率的差值之和，目标概率之间的邻间隔越大，消歧的准确度越高；Ω表示第一目标和第二目标概率之差，差异性越大，准确性越高；Υ表示在一段长时间运动时目标概率发生变化的梯度，个体空间梯度的差异越大，相互偏离的概率就越大，从而有助于消除歧义；
Figure FDA0003771418390000053
式中，pi(t)表示到达物体i的目标概率；
Figure FDA0003771418390000054
Figure FDA0003771418390000055
Figure FDA0003771418390000056
式中，
Figure FDA0003771418390000061
表示目标概率的梯度。
10.根据权利要求7所述的一种基于模糊Petri网的意图预测与消歧方法，其特征在于：模糊Petri网的建立过程具体为；
41)检测机械臂和多个目标物体之间的相对位置，将其模糊化处理输出相对模糊角度；
42)由末端与目标物体之间距离，通过优化轨迹算法计算出优化轨迹，将其模糊化处理输出模糊距离，并定义模糊初始化状态为Z；
43)通过步骤1中得到的二分类运动想象信号将其进行0、1编码，获得定长编码的4个方向信号，分别对应前后左右的机械臂末端二维方向控制；
44)将模糊角度与模糊距离通过隶属度映射函数分别映射为具体数值CF1和CF2，同时将人类控制命令映射为CF3；
45)通过给CF1、CF2和CF3分配权重ω1、ω2和ω3，其中ω1+ω2+ω3＝1，实现共享控制动态分配。
CN202210902644.4A 2022-07-29 2022-07-29 一种基于模糊Petri网的意图预测与消歧方法及系统 Pending CN115091467A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210902644.4A CN115091467A (zh) 2022-07-29 2022-07-29 一种基于模糊Petri网的意图预测与消歧方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210902644.4A CN115091467A (zh) 2022-07-29 2022-07-29 一种基于模糊Petri网的意图预测与消歧方法及系统

Publications (1)

Publication Number Publication Date
CN115091467A true CN115091467A (zh) 2022-09-23

Family

ID=83301660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210902644.4A Pending CN115091467A (zh) 2022-07-29 2022-07-29 一种基于模糊Petri网的意图预测与消歧方法及系统

Country Status (1)

Country Link
CN (1) CN115091467A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116522248A (zh) * 2023-03-22 2023-08-01 新疆维吾尔自治区疾病预防控制中心 基于机器学习的核酸异常数据智能研判系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116522248A (zh) * 2023-03-22 2023-08-01 新疆维吾尔自治区疾病预防控制中心 基于机器学习的核酸异常数据智能研判系统
CN116522248B (zh) * 2023-03-22 2023-12-15 新疆维吾尔自治区疾病预防控制中心 基于机器学习的核酸异常数据智能研判系统

Similar Documents

Publication Publication Date Title
Qi et al. Intelligent human-computer interaction based on surface EMG gesture recognition
Li et al. Dynamic gesture recognition in the internet of things
CN107150347B (zh) 基于人机协作的机器人感知与理解方法
EP2126801B1 (en) Method for selecting information
US9082079B1 (en) Proportional-integral-derivative controller effecting expansion kernels comprising a plurality of spiking neurons associated with a plurality of receptive fields
Zhao et al. A spatial-temporal attention model for human trajectory prediction.
Zhao et al. Variational dependent multi-output Gaussian process dynamical systems
Rueckert et al. Extracting low-dimensional control variables for movement primitives
Wei et al. Learning motion rules from real data: Neural network for crowd simulation
CN111673733B (zh) 未知环境下机器人的智能自适应柔顺控制方法
Qi et al. An adaptive reinforcement learning-based multimodal data fusion framework for human–robot confrontation gaming
Mici et al. An incremental self-organizing architecture for sensorimotor learning and prediction
Song et al. Robot complex motion learning based on unsupervised trajectory segmentation and movement primitives
Gao et al. Hybrid recurrent neural network architecture-based intention recognition for human–robot collaboration
CN115091467A (zh) 一种基于模糊Petri网的意图预测与消歧方法及系统
Nagano et al. Sequence pattern extraction by segmenting time series data using GP-HSMM with hierarchical dirichlet process
Ge et al. A real-time gesture prediction system using neural networks and multimodal fusion based on data glove
Balmik et al. Nao robot teleoperation with human motion recognition
Cheng et al. Human motion prediction using adaptable neural networks
Barfi et al. Improving robotic hand control via adaptive Fuzzy-PI controller using classification of EMG signals
Witchuda et al. Reservoir computing model for human hand locomotion signal classification
Lang et al. Object handover prediction using gaussian processes clustered with trajectory classification
CN114952791A (zh) 肌肉骨骼机器人控制方法及装置
Ting et al. Locally Weighted Regression for Control.
WO2021155653A1 (zh) 基于协作差分进化滤波的人手-物体交互过程跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination