CN112171669B - 一种脑-机协作数字孪生强化学习控制方法及系统 - Google Patents

一种脑-机协作数字孪生强化学习控制方法及系统 Download PDF

Info

Publication number
CN112171669B
CN112171669B CN202010998177.0A CN202010998177A CN112171669B CN 112171669 B CN112171669 B CN 112171669B CN 202010998177 A CN202010998177 A CN 202010998177A CN 112171669 B CN112171669 B CN 112171669B
Authority
CN
China
Prior art keywords
brain
virtual robot
operator
instruction
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010998177.0A
Other languages
English (en)
Other versions
CN112171669A (zh
Inventor
张小栋
张腾
陆竹风
张毅
蒋志明
王雅纯
朱文静
蒋永玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202010998177.0A priority Critical patent/CN112171669B/zh
Publication of CN112171669A publication Critical patent/CN112171669A/zh
Application granted granted Critical
Publication of CN112171669B publication Critical patent/CN112171669B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Neurosurgery (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种脑‑机协作数字孪生强化学习控制方法及系统，通过构建脑‑机协作控制模型，操控者给定虚拟机器人方向指令，同时采集操控者给定虚拟机器人方向指令时的脑电信号，根据采集的脑电信号给定虚拟机器人相应的速度指令完成指定动作，根据完成质量对脑‑机协作控制模型进行奖励值，完成脑‑机协作控制模型的训练，通过脑‑机协作的数字孪生环境，以强化学习实现脑‑机之间的双环路信息交互机制，实现了大脑和机器之间信息层、指令层的交互，本发明通过脑电信号检测操控者大脑状态，根据操控者的大脑状态对机器人的指令进行补偿调控，实现精准操控，相较其他脑‑机协作方法，提高了鲁棒性和泛化能力，实现了脑‑机之间的互适应、互增长。

Description

一种脑-机协作数字孪生强化学习控制方法及系统
技术领域
本发明属于脑-机接口和人工智能综合技术领域，涉及一种脑-机协作数字孪生强化学习控制方法及系统。
背景技术
随着机器人技术的发展，对具有仿人高级感知和认知能力、能在高度复杂环境中执行非设定任务的智能机器人需求日趋紧迫。但是仅凭人工智能技术要实现具有人类的思维推理方式、自主发现并提取特征、在线增量式学习、综合处理各种信息能力的智能机器人，当前技术还达不到。利用人-机智能融合，充分发挥人和计算机两者不同智能的优势，是实现智能机器人的重要途径。随着人-机混合智能系统所面临任务和场景的复杂化，对人体意图感知和识别提出了更高的要求，因此在人-机混合智能的研究基础之上，基于“人在回路”的脑-机协作增强智能技术被提了出来，并迅速引起了高度关注。但是在精密操控领域(例如手术机器人、特种作业机器人等领域)，与肢体操控方式相比，脑控方式在稳定性和安全性上还存在风险。因此，目前在精密操控领域依然以人的肢体操控指令为主。
经过研究发现在精密操控领域仍然存在如下两个问题：(1)缺乏操控者和机器人之间信息的双向交互，无法实现对操控者意图的精密感知；(2)由于人脑会出现注意力分散、精神疲劳和脑力负荷过大等问题，因此造成脑-机混合智能系统性能变差，甚至发生危险。针对脑-机协作问题，未形成人脑智能与机器智能有效融合。针对人脑精神状态导致的脑-机系统性能变差，目前仅考虑了操控指令的单向补偿问题，缺乏脑-机之间双环路的交互机制。综上，针对“人在回路”的脑-机协作操控方法，现阶段仍存在未建立一体化的脑-机协作模型，无法有效实现信息层、指令层的深度融合，脑-机协作操控的精度、稳定性和安全性有待提高。
发明内容
本发明的目的在于提供一种脑-机协作数字孪生强化学习控制方法及系统，以克服现有技术的不足。
为达到上述目的，本发明采用如下技术方案：
一种脑-机协作数字孪生强化学习控制方法，包括以下步骤：
步骤1)、构建基于数字孪生环境的脑-机协作控制模型，在数字孪生环境中，操控者给定虚拟机器人方向指令，同时采集操控者给定虚拟机器人方向指令时的脑电信号，根据采集的脑电信号给定虚拟机器人相应的速度指令；
步骤2)、虚拟机器人根据得到的方向指令和速度指令完成该方向指令和速度指令指定动作，根据指定动作的完成质量，对脑-机协作控制模型进行奖励值，完成当前时刻脑-机协作控制模型的训练；
步骤3)、重复步骤1)-步骤2)，完成不同时刻下脑-机协作控制模型的训练，当对脑-机协作控制模型的相邻两次奖励值的差的绝对值小于阈值K，则完成脑-机协作控制模型的训练，反之则继续重复步骤1)-步骤2)，直到脑-机协作控制模型训练完毕；
步骤4)、利用完成训练的脑-机协作控制模型实现对实体机器人的脑-机协作精准控制，从而完成脑-机协作数字孪生强化操控。
进一步的，搭建虚拟机器人数字孪生环境平台，设定虚拟机器人的可调指令，可调指令包括方向指令和速度指令；其中方向指令为的方向控制指令，由操控者通过操控装置控制；速度指令为用于控制虚拟机器人的速度控制指令，根据操控者的大脑状态得到速度指令。
进一步的，在数字孪生环境中，操控者通过虚拟控制平台给定虚拟机器人方向指令，根据操控者的脑电信号给定虚拟机器人速度指令。
进一步的，操控者通过操控装置控制虚拟机器人，此时虚拟机器人获取方向指令，同时采集操控者给定虚拟机器人方向指令时的脑电信号，根据采集的脑电信号给定虚拟机器人相应的速度指令，建立脑电信号与速度指令之间的关联，得到脑-机协作控制初步模型。
进一步的，操控者在t时刻通过操控装置发送方向指令Ct给虚拟机器人；同时，采集t时刻前600ms操控者的大脑表面脑电信号，计算所提取的600ms脑电信号的微分熵特征FD、功率谱密度特征FP以及三种频带能量关系特征FP3，并将这三种特征的矩阵沿着行向量进行组合，形成能够反映大脑当前状态的多维特征数据St，根据虚拟机器人实际的速度指令建立其与脑电信号之间的关联，得到脑-机协作控制初步模型。
进一步的，虚拟机器人接收到t时刻速度指令At之后，同时结合操控者的方向指令Ct，开始执行相应的动作，直到接收到下一时刻的动作At+1和操控者的方向指令Ct+1后，再执行下一次的动作，直到执行完一个回合的任务；当每一回合任务完成后，记录虚拟机器人任务执行的情况，并根据任务完成质量和完成时间两个标准计算奖励Rt。
进一步的，根据大脑状态St、速度指令At和奖励Rt组成的数据组，更新脑-机协作控制模型。
进一步的，操控者通过操控装置，发送方向指令C给虚拟机器人，同时检测操控者脑电信号，并将脑电信号转化为速度指令A发送给虚拟机器人，虚拟机器人结合方向指令C和速度指令A执行方向指令C和速度指令A规定的任务；脑-机协作操控过程中，操控者通过观察虚拟机器人的运行状态，不断调整方向指令C，同时采集操控者的脑电信号给定相应的速度指令A。
一种脑-机协作数字孪生强化学习控制系统，包括脑电采集模块、模型训练模块和控制模块；
脑电采集模块用于获取操控者给定虚拟机器人方向指令时操控者的脑电信号，根据采集的脑电信号给定虚拟机器人相应的速度指令，并将速度指令传输至模型训练模块；模型训练模块根据得到的方向指令和速度指令完成该方向指令和速度指令指定动作，根据指定动作的完成质量，对脑-机协作控制模型进行奖励值，完成当前时刻脑-机协作控制模型的训练，控制模块根据训练得到的脑-机协作控制模型实现对实体机器人的脑-机协作精准控制。
进一步的，模型训练模块根据操控者在t时刻通过操控装置发送方向指令Ct给虚拟机器人；同时，采集t时刻前600ms操控者的大脑表面脑电信号，计算所提取的600ms脑电信号的微分熵特征FD、功率谱密度特征FP以及三种频带能量关系特征FP3，并将这三种特征的矩阵沿着行向量进行组合，形成能够反映大脑当前状态的多维特征数据St，根据虚拟机器人实际的速度指令建立其与脑电信号之间的关联，得到脑-机协作控制初步模型。
与现有技术相比，本发明具有以下有益的技术效果：
本发明一种脑-机协作数字孪生强化学习控制方法，通过构建脑-机协作控制模型，数字孪生环境中，操控者通给定虚拟机器人方向指令，同时采集操控者给定虚拟机器人方向指令时的脑电信号，根据采集的脑电信号给定虚拟机器人相应的速度指令，根据得到的方向指令和速度指令完成该方向指令和速度指令指定动作，根据指定动作的完成质量，对脑-机协作控制模型进行奖励值，完成当前时刻脑-机协作控制模型的训练，通过脑-机协作的数字孪生环境，以强化学习实现脑-机之间的双环路信息交互机制，模型从虚拟到真实场景具有良好的可迁移性，实现了大脑和机器之间信息层、指令层的交互，本发明通过脑电信号检测操控者大脑状态，并根据操控者的大脑状态对机器人的指令进行补偿调控，实现精准操控，此方法使操控者和机器人协作操控过程中实现对控制算法中模型参数的更新，随着两者之间交互次数的增加，性能会不断提高，具有跨个体和跨任务的能力。相较其他脑-机协作方法，提高了鲁棒性和泛化能力，实现了脑-机之间的互适应、互增长。
进一步的，将脑电信号作为环境对象，以控制算法作为智能体对象，所提出的双环路信息交互机制，操控者通过操控装置发送操控指令给机器人，同时通过视觉、听觉信息实时地对机器人的运行状态进行监督，调整操控指令，并对发生的错误进行纠正；经过一体化的脑-机协作模型处理后，发送调控指令给机器人，主、被动环路指令协同作用于机器人，使机器人能够安全、精准、高效的执行任务。
本发明一种脑-机协作数字孪生强化学习控制系统，实现了脑-机协作的互适应、互监督和互增长，从而使机器人能够精准、安全、高效的执行任务。
附图说明
图1为本发明实施例中具体控制流程图。
图2为本发明实施例中方法流程框图。
图3为本发明实施例中脑电信号采集模块的电极布置位置示意图。
图4为本发明实施例中一体化脑-机协作模型示意图。
具体实施方式
下面结合附图对本发明做进一步详细描述：
一种脑-机协作数字孪生强化学习控制方法，包括以下步骤：
步骤1)、构建基于数字孪生环境的脑-机协作控制模型，在数字孪生环境中对脑-机协作控制模型进行训练，在数字孪生环境中，操控者通过虚拟控制平台给定虚拟机器人方向指令，同时采集操控者给定虚拟机器人方向指令时的脑电信号，根据操控者给定虚拟机器人方向指令时的脑电信号给定虚拟机器人相应的速度指令；
虚拟环境的建立：建立基于数字孪生环境的脑-机协作控制模型，在数字孪生环境中进行脑-机协作控制模型的强化学习训练；搭建虚拟机器人数字孪生环境平台，设定虚拟机器人的可调指令，可调指令包括方向指令和速度指令；其中方向指令为的方向控制指令，由操控者通过操控装置控制；速度指令为用于控制虚拟机器人的速度控制指令，根据操控者的脑电信号得到速度指令。
操控装置用于输出控制指令，包括鼠标、手柄和方向控制器。
操控者通过操控装置控制虚拟机器人，此时虚拟机器人获取方向指令，同时采集操控者给定虚拟机器人方向指令时的脑电信号，根据采集的脑电信号给定虚拟机器人相应的速度指令，建立脑电信号与速度指令之间的关联，得到脑-机协作控制初步模型；
对于虚拟机器人的速度指令控制方面，利用脑-机接口技术，计算机根据操控者的脑电信号分析大脑状态，根据大脑状态来输出控制虚拟机器人的速度指令。
操控开始，操控者在t时刻通过操控装置发送方向指令Ct给虚拟机器人；同时，采集t时刻前600ms操控者的大脑表面脑电信号。其脑电帽通道位置布置符合国际10/20标准，布置电极于Fp1、Fp2、Fz、F3、F4、F7、F8、FC1、FC2、FC5、FC6、Cz、C3、C4、T3、T4、CP1、CP2、CP5、CP6、Pz、P3、P4、P7、P8、PO3、PO4、PO7、PO8、Oz、O1、O2位置。共计32通道的脑电信号。
计算所提取的600ms脑电信号的微分熵特征FD、功率谱密度特征FP以及三种频带能量关系特征FP3(其中FP3为：θ节律波(4-8Hz)与α节律波(8-16Hz)的频带能量之和除以β节律波(16-32Hz)的频带能量)，并将这三种特征矩阵沿着行向量进行组合，形式为[FD,FP,FP3]，形成能够反映大脑当前状态的多维特征数据St；
具体的，操控者通过操控装置，发送方向指令C给虚拟机器人，同时检测操控者脑电信号，并将脑电信号转化为速度指令A发送给虚拟机器人，虚拟机器人结合方向指令C和速度指令A执行方向指令C和速度指令A规定的任务；脑-机协作操控过程中，操控者通过观察虚拟机器人的运行状态，不断调整方向指令C，同时采集操控者的脑电信号给定相应的速度指令A。
步骤2)、虚拟机器人根据得到的方向指令和速度指令完成该方向指令和速度指令指定动作，根据指定动作的完成质量，对脑-机协作控制模型进行奖励值，完成当前时刻脑-机协作控制模型的训练；
虚拟机器人接收到t时刻速度指令At之后，同时结合操控者的方向指令Ct，开始执行相应的动作，直到接收到下一时刻的动作At+1和操控者的方向指令Ct+1后，再执行下一次的动作，直到执行完一个回合的任务；当每一回合任务完成后，记录虚拟机器人任务执行的情况，并根据任务完成质量和完成时间两个标准计算奖励Rt。
具体的，脑-机协作控制模型采用5层全连接神经网络模型。根据大脑状态St、速度指令At和奖励Rt组成的数据组(St、At、Rt)，更新5层全连接神经网络模型参数，具体更新过程：①当奖励Rt值较高时，更新脑-机协作控制模型参数之后，使下一次输入大脑状态St的情况下，输出速度指令At的概率变大；②当奖励Rt值较低时，更新脑-机协作控制模型参数之后，使下一次输入大脑状态St的情况下，输出速度指令At的概率变小。根据如上过程多次训练，保证每输入一个大脑状态S时，模型所输出一个对应的速度指令A，使获得的奖励R均能稳定在一个较高的水平。
步骤3)、重复步骤1)-步骤2)，完成不同时刻下脑-机协作控制模型的训练，当对脑-机协作控制模型的相邻两次奖励值差的绝对值小于阈值K，则完成脑-机协作控制模型的训练，反之则继续重复步骤1)-步骤2)，直到脑-机协作控制模型训练完毕；
设定模型训练阈值K，当相邻两次奖励R的差的绝对值小于阈值K，则模型训练完毕，反之则继续训练，直到模型训练完毕。
步骤4)、利用完成训练的脑-机协作控制模型实现对实体机器人的脑-机协作精准控制，从而完成脑-机协作数字孪生强化操控。
具体的，将训练好的脑-机协作控制模型移植到实体机器人的控制器上，在操控过程中，通过数字孪生方法使真实环境与虚拟环境同步，实时修正实体机器人控制器参数。
实施例：
将训练好的模型移植到实体机器人的控制器上，实现对实体机器人的脑-机协作精准控制。同时在操控过程中，利用数字孪生技术使真实环境与虚拟环境完全同步，实时修正实体机器人控制器参数。
步骤1：搭建真实物理环境操控机器人，相较于虚拟训练平台，除被控对象为实体机器人之外，其他操作对象相同；
步骤2：操控开始，操控者在t时刻通过操控装置发送方向指令Ct给实体机器人；同时，采集t时刻前600ms的大脑表面脑电信号；其脑电帽通道位置布置符合国际10/20标准，布置电极于Fp1、Fp2、Fz、F3、F4、F7、F8、FC1、FC2、FC5、FC6、Cz、C3、C4、T3、T4、CP1、CP2、CP5、CP6、Pz、P3、P4、P7、P8、PO3、PO4、PO7、PO8、Oz、O1、O2位置。共计32通道的脑电信号；
步骤3：计算所提取的600ms脑电信号的微分熵特征FD、功率谱密度特征FP以及三种频带能量关系特征FP3(其中FP3为：θ节律波(4-8Hz)与α节律波(8-16Hz)的频带能量之和除以β节律波(16-32Hz)的频带能量)，并将这三种特征矩阵沿着行向量进行组合，形式为[FD,FP,FP3]，形成能够反映大脑当前状态的多维特征数据St。
步骤4：在训练好的脑-机协作控制模型中输入St，输出为对应时刻的动作At，并将输出动作At利用无线通讯方式传输给实体机器人；
步骤5：实体机器人接收到计算机发送的t时刻动作At，同时结合操控者的方向指令Ct，开始执行相应的动作，直到接收到下一时刻计算机发来的动作At+1和操控者发来的指令Ct+1后，再执行下一次的动作；直到操控任务结束。
步骤6：实体机器人执行相应的动作的同时，利用传感器将真实环境参数和实体机器人状态参数传输给数字孪生环境，使虚拟环境和真实环境同步，实时修正实体机器人控制器参数。
脑-机协作控制模型训练：
(1-1)搭建机械臂数字孪生环境平台(如图1所示)，虚拟机械臂末端可调指令设定为8项(方向：前、后、左、右、上、下；速度：加速、减速)，其中方向指令C由操控者通过遥杆控制，速度指令A由控制器根据操控者大脑状态控制。操控者通过操作遥杆，发送方向指令C给虚拟机械臂，控制器通过检测操控者大脑状态调整速度指令A发送给虚拟机械臂。虚拟机械臂结合方向和速度两项指令，执行机械臂末端轨迹跟踪的任务。脑-机协作操控过程中，操控者通过观察虚拟机械臂运行状态，不断调整方向指令C；同时虚拟机械臂的运行状态也会影响操控者的大脑状态(，控制器通过检测大脑状态调整虚拟机械臂的速度指令A。从而通过脑-机协作，实现对虚拟机械臂的精准操控。
(1-2)操控开始，操控者在t时刻通过操控装置发送方向指令Ct给虚拟机器人。同时，采集t时刻前600ms的大脑表面脑电信号。其脑电帽通道位置布置符合国际10/20标准，布置电极于Fp1、Fp2、Fz、F3、F4、F7、F8、FC1、FC2、FC5、FC6、Cz、C3、C4、T3、T4、CP1、CP2、CP5、CP6、Pz、P3、P4、P7、P8、PO3、PO4、PO7、PO8、Oz、O1、O2位置(如图3所示)，采集该32通道的脑电信号。该实施实例中，脑电采集设备选用32通道的博瑞康NeursenW32脑电采集设备，其参考电极依据设备采用AFz、CPz通道双参考电极布置方案，采样频率为1000Hz，经由局域网传输至计算机。
(1-3)计算所提取的600ms脑电信号的微分熵特征FD、功率谱密度特征FP以及三种频带能量关系特征FP3(其中FP3为：θ节律波(4-8Hz)与α节律波(8-16Hz)的频带能量之和除以β节律波(16-32Hz)的频带能量)，并将这三种特征矩阵沿着行向量进行组合，形式为[FD,FP,FP3]，形成能够反映大脑当前状态的多维特征数据St。
(1-4)在控制器中建立5层全连接神经网络，网络输入为t时刻的大脑状态St，经过网络训练后，输出对应时刻的2维动作数据At，即速度增加+δv，或者速度降低-δv，并将动作At传给虚拟机械臂。
(1-5)虚拟机械臂接收到t时刻速度调控指令At后，同时结合操控者的方向指令Ct，开始在虚拟环境中按照相应的速度和方向移动，直到接收到下一时刻的动作At+1和操控者的方向指令Ct+1后，再执行下一次的动作。
(1-6)当前回合任务完成，或者在规定时间内任务失败，即此回合任务结束。虚拟环境会反馈虚拟机械臂完成任务质量，并根据质量评分。分两种情况：①任务失败记0分；②任务完成分数由两部分组成：基础分(50分)+轨迹质量、完成时间(0-50分)。接下来将分数进行归一化处理，转化成控制器能够识别的奖励Rt(正/负奖励)。
(1-7)收集N(N＝5)组由大脑状态St、虚拟机械臂动作At和奖励Rt组成的数据组(St、At、Rt)，计算其平均值(St_a、At_a、Rt_a)，将其输入到控制器中，采用梯度下降法更新模型的参数。
(1-8)设定模型训练阈值K，分别求t+1、t时刻的奖励函数Rt+1和Rt的差，如果其绝对值小于K，则判断模型训练完成，否则返回步骤(1-3)，进行下一次循环，直到模型训练完成。
(1-9)将训练好的模型参数输入到控制实体机械臂的计算机中。
脑-机协作数字孪生操控：
(2-1)搭建真实物理环境操控实体机械臂，相较于虚拟训练平台，除被控对象为实体机械臂之外，其他对象相同。
(2-2)操控开始，操控者在t时刻通过操控装置发送方向指令Ct给实体机械臂。同时，采集t时刻前600ms的大脑表面脑电信号。其脑电帽通道位置布置符合国际10/20标准，布置电极于Fp1、Fp2、Fz、F3、F4、F7、F8、FC1、FC2、FC5、FC6、Cz、C3、C4、T3、T4、CP1、CP2、CP5、CP6、Pz、P3、P4、P7、P8、PO3、PO4、PO7、PO8、Oz、O1、O2位置(如图3所示)，采集该32通道的脑电信号。该实施实例中，脑电采集设备选用32通道的博瑞康NeursenW32脑电采集设备，其参考电极依据设备采用AFz、CPz通道双参考电极布置方案，采样频率为1000Hz，经由局域网传输至计算机。
(2-3)计算所提取的600ms脑电信号的微分熵特征FD、功率谱密度特征FP以及三种频带能量关系特征FP3(其中FP3为：θ节律波(4-8Hz)与α节律波(8-16Hz)的频带能量之和除以β节律波(16-32Hz)的频带能量)，并将这三种特征矩阵沿着行向量进行组合，形式为[FD,FP,FP3]，形成能够反映大脑当前状态的多维特征数据St。
(2-4)在训练好的脑-机协作控制模型中输入St，输出为对应时刻的动作At，并将输出动作At利用局域网方式传输给实体机械臂。
(2-5)实体机械臂接收到计算机发送的t时刻动作At，同时结合操控者的方向指令Ct，开始执行相应的动作，直到接收到下一时刻计算机发来的动作At+1和操控者发来的指令Ct+1后，再执行下一次的动作。直到操控任务结束。
(2-6)实体机械臂执行相应的动作的同时，利用传感器将真实环境参数和实体机械臂状态参数传输给数字孪生环境，使虚拟环境和真实环境同步，实时修正实体机械臂控制器参数。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (7)

1.一种脑-机协作数字孪生强化学习控制方法，其特征在于，包括以下步骤：
步骤1）、构建基于数字孪生环境的脑-机协作控制模型，在数字孪生环境中，操控者通过操控装置控制虚拟机器人，此时虚拟机器人获取方向指令，同时采集操控者给定虚拟机器人方向指令时的脑电信号，根据采集的脑电信号给定虚拟机器人相应的速度指令，具体的：操控者在t时刻通过操控装置发送方向指令C t 给虚拟机器人；同时，采集t时刻前600ms操控者的大脑表面脑电信号，计算所提取的600ms脑电信号的微分熵特征FD、功率谱密度特征FP以及三种频带能量关系特征FP3，并将这三种特征的矩阵沿着行向量进行组合，形成能够反映大脑当前状态的多维特征数据S t ，根据虚拟机器人实际的速度指令建立其与脑电信号之间的关联，得到脑-机协作控制初步模型；
步骤2）、虚拟机器人根据得到的方向指令和速度指令完成该方向指令和速度指令指定动作，根据指定动作的完成质量，对脑-机协作控制模型进行奖励值，完成当前时刻脑-机协作控制模型的训练；
步骤3）、重复步骤1）-步骤2），完成不同时刻下脑-机协作控制模型的训练，当对脑-机协作控制模型的相邻两次奖励值的差的绝对值小于阈值K，则完成脑-机协作控制模型的训练，反之则继续重复步骤1）-步骤2），直到脑-机协作控制模型训练完毕；
步骤4）、利用完成训练的脑-机协作控制模型实现对实体机器人的脑-机协作精准控制，从而完成脑-机协作数字孪生强化操控。
2.根据权利要求1所述的一种脑-机协作数字孪生强化学习控制方法，其特征在于，搭建虚拟机器人数字孪生环境平台，设定虚拟机器人的可调指令，可调指令包括方向指令和速度指令；其中方向指令为方向控制指令，由操控者通过操控装置控制；速度指令为用于控制虚拟机器人的速度控制指令，根据操控者的大脑状态得到速度指令。
3.根据权利要求2所述的一种脑-机协作数字孪生强化学习控制方法，其特征在于，在数字孪生环境中，操控者通过虚拟控制平台给定虚拟机器人方向指令，根据操控者的脑电信号给定虚拟机器人速度指令。
4.根据权利要求1所述的一种脑-机协作数字孪生强化学习控制方法，其特征在于，虚拟机器人接收到t时刻速度指令A t 之后，同时结合操控者的方向指令C t ，开始执行相应的动作，直到接收到下一时刻的动作A t+1 和操控者的方向指令C t+1 后，再执行下一次的动作，直到执行完一个回合的任务；当每一回合任务完成后，记录虚拟机器人任务执行的情况，并根据任务完成质量和完成时间两个标准计算奖励R t 。
5.根据权利要求4所述的一种脑-机协作数字孪生强化学习控制方法，其特征在于，根据大脑状态S t 、速度指令A t 和奖励R t 组成的数据组，更新脑-机协作控制模型。
6.根据权利要求1所述的一种脑-机协作数字孪生强化学习控制方法，其特征在于，操控者通过操控装置，发送方向指令C给虚拟机器人，同时检测操控者脑电信号，并将脑电信号转化为速度指令A发送给虚拟机器人，虚拟机器人结合方向指令C和速度指令A执行方向指令C和速度指令A规定的任务；脑-机协作操控过程中，操控者通过观察虚拟机器人的运行状态，不断调整方向指令C，同时采集操控者的脑电信号给定相应的速度指令A。
7.一种脑-机协作数字孪生强化学习控制系统，其特征在于，包括脑电采集模块、模型训练模块和控制模块；
脑电采集模块用于获取操控者给定虚拟机器人方向指令时操控者的脑电信号，根据采集的脑电信号给定虚拟机器人相应的速度指令，并将速度指令传输至模型训练模块；模型训练模块根据得到的方向指令和速度指令完成该方向指令和速度指令指定动作，根据指定动作的完成质量，对脑-机协作控制模型进行奖励值，完成当前时刻脑-机协作控制模型的训练，控制模块根据训练得到的脑-机协作控制模型实现对实体机器人的脑-机协作精准控制，模型训练模块根据操控者在t时刻通过操控装置发送方向指令C t 给虚拟机器人；同时，采集t时刻前600ms操控者的大脑表面脑电信号，计算所提取的600ms脑电信号的微分熵特征FD、功率谱密度特征FP以及三种频带能量关系特征FP3，并将这三种特征的矩阵沿着行向量进行组合，形成能够反映大脑当前状态的多维特征数据S t ，根据虚拟机器人实际的速度指令建立其与脑电信号之间的关联，得到脑-机协作控制初步模型。
CN202010998177.0A 2020-09-21 2020-09-21 一种脑-机协作数字孪生强化学习控制方法及系统 Active CN112171669B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010998177.0A CN112171669B (zh) 2020-09-21 2020-09-21 一种脑-机协作数字孪生强化学习控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010998177.0A CN112171669B (zh) 2020-09-21 2020-09-21 一种脑-机协作数字孪生强化学习控制方法及系统

Publications (2)

Publication Number Publication Date
CN112171669A CN112171669A (zh) 2021-01-05
CN112171669B true CN112171669B (zh) 2021-10-08

Family

ID=73955701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010998177.0A Active CN112171669B (zh) 2020-09-21 2020-09-21 一种脑-机协作数字孪生强化学习控制方法及系统

Country Status (1)

Country Link
CN (1) CN112171669B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113495578B (zh) * 2021-09-07 2021-12-10 南京航空航天大学 一种基于数字孪生式训练的集群航迹规划强化学习方法
CN114310870A (zh) * 2021-11-10 2022-04-12 达闼科技（北京）有限公司 智能体的控制方法、装置、电子设备及存储介质
CN114147706A (zh) * 2021-11-25 2022-03-08 北京邮电大学 一种基于数字孪生的协作机器人远程监测系统与方法
CN115577641B (zh) * 2022-11-14 2023-04-07 成都飞机工业（集团）有限责任公司 一种数字孪生模型的训练方法、装置、设备及介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008137346A2 (en) * 2007-05-02 2008-11-13 University Of Florida Research Foundation, Inc. System and method for brain machine interface (bmi) control using reinforcement learning
US20100324440A1 (en) * 2009-06-19 2010-12-23 Massachusetts Institute Of Technology Real time stimulus triggered by brain state to enhance perception and cognition
US10835146B2 (en) * 2014-12-12 2020-11-17 The Research Foundation For The State University Of New York Autonomous brain-machine interface
US10733532B2 (en) * 2016-01-27 2020-08-04 Bonsai AI, Inc. Multiple user interfaces of an artificial intelligence system to accommodate different types of users solving different types of problems with artificial intelligence
CN105563495B (zh) * 2016-02-01 2017-12-15 浙江大学 基于精细化运动想象脑电信号控制的机械手系统及方法
US10712820B2 (en) * 2016-10-27 2020-07-14 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for a hybrid brain interface for robotic swarms using EEG signals and an input device
CN109015635A (zh) * 2018-08-08 2018-12-18 西安科技大学 一种基于脑机交互的服务机器人控制方法

Also Published As

Publication number Publication date
CN112171669A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN112171669B (zh) 一种脑-机协作数字孪生强化学习控制方法及系统
Dimeas et al. Reinforcement learning of variable admittance control for human-robot co-manipulation
CN104083258B (zh) 一种基于脑机接口与自动驾驶技术的智能轮椅控制方法
CN106726209A (zh) 一种基于脑机接口与人工智能的智能轮椅控制方法
CN111890389B (zh) 基于多模态交互接口的多移动机器人协同控制系统
CN104997581B (zh) 基于面部表情驱动脑电信号的假手控制方法及装置
CN109521880B (zh) 一种基于混合生物电信号驱动的遥操作机器人系统及方法
CN112631173A (zh) 脑控无人平台协同控制系统
CN108491071A (zh) 一种基于模糊控制的脑控车辆共享控制方法
Gergondet et al. Multitask humanoid control with a brain-computer interface: user experiment with hrp-2
CN117697769A (zh) 一种基于深度学习的机器人控制系统和方法
CN110555404A (zh) 基于人体姿态识别的飞翼无人机地面站交互装置及方法
CN110212551A (zh) 基于卷积神经网络的微网无功自动控制方法
CN106326873A (zh) Cacc驾驶员肢体肌电信号表征的操纵意图预测方法
Turgunov et al. Comparative analysis of the results of EMG signal classification based on machine learning algorithms
Chen et al. Nonlinear feedback control based on ANFIS
CN110806758A (zh) 一种基于情景模糊认知图的无人机群自主等级自适应调整方法
CN112631148B (zh) 一种外骨骼机器人平台通信方法及在线仿真控制系统
CN109460147B (zh) 一种意念控制运动系统及其方法
CN115390442A (zh) 深度强化学习的仿生机器鱼控制方法、装置及存储介质
CN118216332A (zh) 一种猕猴桃仿生疏蕾爪及其控制方法
Sun et al. Bio-robots automatic navigation with electrical reward stimulation
CN109901711B (zh) 由弱肌电伪迹微表情脑电信号驱动的异步实时脑控方法
Chu et al. A Study on Neuro Fuzzy Algorithm Implementation on BCI-UAV Control Systems
CN208529107U (zh) 一种模块化的遥控机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant