CN114872028B - 操控手训练方法及设备 - Google Patents

操控手训练方法及设备 Download PDF

Info

Publication number
CN114872028B
CN114872028B CN202210389135.6A CN202210389135A CN114872028B CN 114872028 B CN114872028 B CN 114872028B CN 202210389135 A CN202210389135 A CN 202210389135A CN 114872028 B CN114872028 B CN 114872028B
Authority
CN
China
Prior art keywords
training
signal
feature vector
image
electroencephalogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210389135.6A
Other languages
English (en)
Other versions
CN114872028A (zh
Inventor
赵小川
刘华鹏
冯云铎
李陈
徐凯
刘珊
马燕琳
黄杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China North Computer Application Technology Research Institute
Original Assignee
China North Computer Application Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China North Computer Application Technology Research Institute filed Critical China North Computer Application Technology Research Institute
Priority to CN202210389135.6A priority Critical patent/CN114872028B/zh
Publication of CN114872028A publication Critical patent/CN114872028A/zh
Application granted granted Critical
Publication of CN114872028B publication Critical patent/CN114872028B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/08—Programme-controlled manipulators characterised by modular constructions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/08—Gripping heads and other end effectors having finger members
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种操控手训练方法及设备，该方法包括：获取操控手基于当前训练方案操控目标对象期间的第一脑电数据和第一近红外脑数据；其中，第一脑电数据包括第一脑电信号和对应于第一脑电信号的第一脑电图像，第一近红外脑数据包括第一近红外脑信号和对应于第一近红外脑信号的第一近红外脑图像；分别提取两种信号的信号特征，得到第一信号特征向量，及分别提取两种图像的图像特征，得到第一图像特征向量；将包括第一信号特征向量和第一图像特征向量的第一特征向量输入至预置的分级模型，得到操控手的当前操控级别；获取与当前操控级别相匹配的训练方案；以及，将当前训练方案更新为该相匹配的训练方案。

Description

操控手训练方法及设备
技术领域
本公开实施例涉及智能训练技术领域，更具体地，涉及一种操控手训练方法及一种操控手训练设备。
背景技术
现在有很多职业操控手，例如执行救援任务的无人机操控手、执行搜救任务的机器人操控手等。操控手都需要具备一定的专业能力，才能高质量地完成目标任务，因此，操控手都需要经过专业训练来不断地提升操控技能。现有的操控手训练方法依赖于教练经验，训练效果严重依赖教练水平，存在较大的不可控性，因此，有必要提供一种不依赖于教练经验的、通用的操控手训练方法。
发明内容
本公开实施例的一个目的是提供一种基于人工智能进行操控手训练的新技术方案。
根据本公开实施例的第一方面，提供了根据一个实施例的操控手训练方法，该方法包括：
获取操控手基于当前训练方案操控目标对象期间的第一脑电数据和第一近红外脑数据；其中，所述第一脑电数据包括第一脑电信号和对应于所述第一脑电信号的第一脑电图像，所述第一近红外脑数据包括第一近红外脑信号和对应于所述第一近红外脑信号的第一近红外脑图像；
分别提取所述第一脑电信号和所述第一近红外脑信号的信号特征，得到第一信号特征向量；其中，所述信号特征包括时域特征和频域特征；
分别提取所述第一脑电图像和所述第一近红外脑图像的图像特征，得到第一图像特征向量；
将包括所述第一信号特征向量和所述第一图像特征向量的第一特征向量输入至预置的分级模型，得到所述操控手操控目标对象的当前操控级别；其中，所述分级模型反映第一特征向量与操控级别之间的映射关系；
获取与所述当前操控级别相匹配的训练方案；
将所述当前训练方案更新为所述相匹配的训练方案。
可选地，在所述将包括所述第一信号特征向量和所述第一图像特征向量的第一特征向量输入至预置的分级模型之前，所述方法还包括：
按照设定拼接顺序拼接所述第一信号特征向量和所述第一图像特征向量，得到一维的第一特征向量。
可选地，所述图像特征为深层图像特征。
可选地，所述时域特征包括一阶差分平均值特征、二阶差分平均值特征、总能量值特征、时域功率值特征和偏离值特征中的至少一个特征；其中，
一阶差分平均值
Figure BDA0003594869320000021
二阶差分平均值
Figure BDA0003594869320000022
总能量值
Figure BDA0003594869320000023
时域功率值
Figure BDA0003594869320000024
偏离值
Figure BDA0003594869320000025
n为第n个采样点，N为采样点数目，σ1s为一阶信号幅值的最大值，σ2s为二阶信号幅值的最大值，s(n)为第n个采样时刻的信号幅值，μs为一阶信号幅值的平均值。
可选地，所述频域特征包括多个分段频域特征，所述多个分段频域特征包括对应1-4Hz的第一分段频域特征、对应4-8Hz的第二分段频域特征、对应8-12Hz的第三分段频域特征、对应13-30Hz的第四分段频域特征、及对应30-45Hz的第五分段频域特征。
可选地，所述多个分段频域特征中每一分段频域特征包括功率谱密度值特征、频域功率值特征、事件相关特征中的至少一个特征；其中，
所述事件相关特征ERDSm＝λ×(Am-Rm)/Rm，
λ为权重系数，m为设定事件发生时刻所对应的第m个采样点，Am为第m个采样点上的频域功率值，Rm为第m个采样点所对应采样区间的频域功率平均值，所述第m个采样点位于所述采样区间的中间位置。
可选地，在所述将包括所述第一信号特征向量和所述第一图像特征向量的第一特征向量输入至预置的分级模型之前，所述方法还包括：
获取训练样本集；其中，所述训练样本包括样本数据和样本标签，所述样本数据包括选定操控手操控目标对象期间的第二脑电数据和第二近红外脑数据，所述第二脑电数据包括第二脑电信号和对应于所述第二脑电信号的第二脑电图像，所述第二近红外脑数据包括第二近红外脑信号和对应于所述第二近红外脑信号的第二近红外脑图像，所述样本标签为所述选定操控手的实际操控级别，所述训练样本集包括对应不同实际操控级别的训练样本；
通过所述训练样本级训练设定模型的模型参数，得到所述分级模型。
可选地，所述当前训练方案包括操控目标对象的操控任务和对应的经颅电刺激调节方案。
根据本公开实施例的第二方面，提供了根据一个实施例的操控手训练设备，该设备包括：
数据获取模块，用于获取操控手基于当前训练方案操控目标对象期间的第一脑电数据和第一近红外脑数据；其中，所述第一脑电数据包括第一脑电信号和对应于所述第一脑电信号的第一脑电图像，所述第一近红外脑数据包括第一近红外脑信号和对应于所述第一近红外脑信号的第一近红外脑图像；
数据处理模块，用于分别提取所述第一脑电信号和所述第一近红外脑信号的信号特征，得到第一信号特征向量；以及，分别提取所述第一脑电图像和所述第一近红外脑图像的图像特征，得到第一图像特征向量；其中，所述信号特征包括时域特征和频域特征；
分级模块，用于将包括所述第一信号特征向量和所述第一图像特征向量的第一特征向量输入至预置的分级模型，得到所述操控手操控目标对象的当前操控级别；其中，所述分级模型反映第一特征向量与操控级别之间的映射关系；
方案匹配模块，用于获取与所述当前操控级别相匹配的训练方案；以及，
方案更新模块，用于将所述当前训练方案更新为所述相匹配的训练方案。
根据本公开实施例的第三方面，提供了根据另一个实施例的操控手训练设备，该设备包括至少一个处理器和至少一个存储器，所述存储器用于存储计算机程序，所述计算机程序用于控制所述处理器执行根据本公开的第一方面所述的操控手训练方法。
本公开实施例的一个有益效果在于，本公开实施例方法在操控手基于当前训练方案操控目标对象期间，采集操控手的第一脑电数据和第一近红外脑数据，并根据第一脑电数据和第一近红外脑数据，获得反映操控手操控水平的融合信号特征和图像特征的第一特征向量，然后将第一特征向量输入训练好的分级模型，便可得到该操控手的当前操控级别，并根据该当前操控级别确定对应于该操控手的训练方案，以供操控手提升其操控技能。可见，本公开实施例的训练方法基于人工智能自动完成操控手的定级，并基于操控手的当前操控级别给出相匹配的训练方案，该方法不依赖于教练经验，这不仅能够解决教练人手不足的问题，而且训练效果也具有较高的稳定性。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1是根据一个实施例的操控手训练系统的组成结构示意图；
图2是根据一个实施例的操控手训练方法的流程示意图；
图3是根据一个实施例的操控手训练设备的方框原理图；
图4是根据另一个实施例的操控手训练设备的硬件结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
<硬件配置>
图1是可应用本公开实施例的操控手训练方法的操控手训练系统的组成结构示意图。
如图1所示，该操控手训练系统包括操控手训练设备1000和数据采集设备2000。
数据采集设备2000包括脑电采集设备2100和近红外脑成像设备2200。脑电采集设备2100用于采集操控手的脑电数据，脑电数据包括脑电信号和对应于脑电信号的脑电图像，其中，脑电图像也即为呈现脑电信号的图像。近红外脑成像设备2000用于检测操控手的脑功能特征，通过近红外脑成像设备2000能够获得体现脑功能特征的近红外脑信号和近红外脑图像。数据采集设备2000将采集到的数据发送至操控手训练设备1000，以供操控手训练设备1000基于根据本公开实施例的操控手训练方法，得到并更新针对该操控手的训练方案。
脑电采集设备2100和近红外脑成像设备2200中的任意设备可以包括前端的采集装置和与采集装置连接的数据处理电路，前端的采集装置用于采集原始数据，脑电采集设备2100的采集装置可以为与操控选手接触的电极装置，近红外脑成像设备2200的采集装置可以为成像装置，数据处理电路用于对原始数据进行相应的预处理，该预处理包括信号放大、滤波、去噪、陷波处理中的至少一项，该数据处理电路可以是通过电子元器件搭建的基础电路实现，也可以是由处理器运行计算机程序实现，还可以通过两者的结合实现，在此不做限定。
数据采集设备2000可以通过有线或者无线通信的方式，将采集到的数据发送至操控手训练设备1000。
操控手训练设备1000可以包括处理器1100、存储器1200、接口装置1300、通信装置1400、输入装置1500和输出装置1600。该操控手训练设备1000可以是具有数据处理能力的任意电子设备，例如可以是PC机、笔记本电脑、服务器等等，在此不做限定。
处理器1100用于执行计算机程序，该计算机程序可以采用比如x86、Arm、RISC、MIPS、SSE等架构的指令集编写。存储器1200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300例如包括USB接口、总线接口、网络接口等。通信装置1400例如能够进行有线或无线通信，通信装置1400可以包括至少一种短距离通信模块，例如是基于Hilink协议、WiFi(IEEE 802.11协议)、Mesh、蓝牙、ZigBee、Thread、Z-Wave、NFC、UWB、LiFi等短距离无线通信协议进行短距离无线通信的任意模块，通信装置1400也可以包括远程通信模块，例如是进行WLAN、GPRS、2G/3G/4G/5G远程通信的任意模块。输入装置1500可以包括麦克风、键盘、鼠标等至少一种输入组件。输出装置1600可以包括显示器、扬声器等至少一种输出组件。
操控手训练设备1000的存储器1200用于存储计算机程序，该计算机程序用于控制处理器1100进行操作以至少执行根据本公开任意实施例的操控手训练方法。技术人员可以根据该方法步骤设计计算机程序，而且计算机程序如何控制处理器进行操作，这是本领域公知技术，故在此不再详细描述。
另外，该操控手训练系统还可以包括训练实施设备。训练实施设备包括被操控的目标对象，该目标对象例如可以无人机，这可以是穿越机类型的无人机，也可以其他类型的无人机。训练实施设备还可以包括经颅电刺激装置，在操控手训练设备1000输出的训练方案包括经颅电刺激调节方案的情况下，该经颅电刺激装置用于在操控手训练过程中，实施颅电刺激调节方案。
<方法实施例>
图2是根据一个实施例的操控手训练方法的流程示意图，该方法例如可以由如图1所示的操控手训练设备1000实施。本实施例中，以对任一操控手进行训练为例，说明本实施例的操控手训练方法，该方法可以包括如下步骤S210～S260：
步骤S210，获取操控手基于当前训练方案操控目标对象期间的第一脑电数据和第一近红外脑数据。
当前训练方案可以是设定的初始训练方案，也可以是通过本实施例的方法得到的训练方案。本实施例中可以预先设置初始训练方案，操控手先基于初始训练方案执行第一阶段训练，操控手训练设备1000基于操控手在此期间的第一脑电数据和第一近红外脑数据，得到对应于该操控手当前操控级别的第二阶段训练方案，之后，操控手基于第二阶段训练方案执行第二阶段训练，操控手训练设备1000基于操控手在此期间的第一脑电数据和第一近红外脑数据，得到对应于该操控手当前操控级别的第三阶段训练方案，以此类推，直至操控手的当前操控级别达到设定训练目标为止。
本实施例中，第一脑电数据包括第一脑电信号和对应于该第一脑电信号的第一脑电图像。该第一脑电数据可以由脑电采集设备2100采集并提供。
本实施例中，第一近红外脑数据包括第一近红外脑信号和对应于第一近红外脑信号的第一近红外脑图像。该第一近红外脑电数据可以由近红外脑成像设备2200采集并提供。
步骤S220，分别提取第一脑电信号和第一近红外脑信号的信号特征，得到第一信号特征向量。
本实施例中，信号特征包括时域特征和频域特征。
该步骤S220中，提取第一脑电信号的信号特征和第一近红外脑信号的信号特征，得到第一信号特征向量。该第一信号特征向量可以为由第一脑电信号的信号特征和第一近红外脑信号的信号特征拼接而成的一维特征向量。以第一信号特征向量包括m个信号特征为例，该第一信号特征向量可以表示为[X11,X12,…,X1m]。
该时域特征可以包括反映信号幅值情况的特征。
在一些实施例中，该时域特征可以包括一阶差分平均值特征、二阶差分平均值特征、总能量值特征、时域功率值特征和用于反映时域幅值的偏离程度的偏离值特征中的至少一个特征，例如，可以包括一阶差分平均值特征、二阶差分平均值特征、总能量值特征、时域功率值特征和偏离值特征。
一阶差分平均值δs可以表示为：
Figure BDA0003594869320000081
二阶差分平均值γs可以表示为：
Figure BDA0003594869320000082
总能量值Es可以表示为：
Figure BDA0003594869320000083
时域功率值Ps可以表示为：
Figure BDA0003594869320000084
偏离值Vs可以表示为：
Figure BDA0003594869320000085
其中，以上公式(1)至公式(5)中，n为第n个采样点，对应第n个采样时刻，N为采样点数目，σ1s为一阶信号幅值的最大值，σ2s为二阶信号幅值的最大值，s(n)为第n个采样时刻的信号幅值，μs为一阶信号幅值的平均值。
由于时域特征无法展示信号的频率信息，可将相应信号(第一脑电信号、第一近红外脑信号)转换至频域空间，例如可以采用傅里叶变换进行时频域转化，再将频段划分为多个子频段，然后对应于每一子频段，分别获取相应的分段频域特征，而频域特征就包括所每一分段频域特征。这有利于获得更为准确的频域特征。
在一些实施例中，可将频段划分为1-4Hz、4-8Hz、8-12Hz、13-30Hz、30-45Hz五个子频段，其中，以上子频段的左端点为包含端点，右端点为不包含端点，以1-4Hz为例，其表示大于或者等于1Hz、且小于4Hz的频段。对应地，频域特征包括多个分段频域特征，多个分段频域特征包括对应1-4Hz的第一分段频域特征、对应4-8Hz的第二分段频域特征、对应8-12Hz的第三分段频域特征、对应13-30Hz的第四分段频域特征、及对应30-45Hz的第五分段频域特征。
在一些实施例中，多个分段频域特征中每一分段频域特征可以功率谱密度值特征、频域功率值特征、事件相关特征中的至少一个特征，例如包括功率谱密度值特征、频域功率值特征和事件相关特征。
在这些实施例中，可以采用任意的确定频域功率谱密度的手段，来得到功率谱密度值。
例如，可以用加权重叠平均法进行功率谱估计，在此，对于设定时长的信号(第一脑电信号、第一近红外脑信号)，根据采样率可以得到N个采样点，在估计该信号的功率谱密度值时，可以将该信号其划分为L段，信号的每段长度为M个采样点，相邻两段重叠50％的采样点，并去除信号尾部小于M个采样点的信号段。这样，第i段的功率谱密度值Pi(f)可以表示为：
Figure BDA0003594869320000091
其中，
Figure BDA0003594869320000092
为归一化因子，xi(n)为第i段信号，(n)为窗函数，窗函数w(n)可以为汉宁窗。
将L段功率谱密度值求平均，可以得到该信号的功率谱密度值P(f)：
Figure BDA0003594869320000093
在这些实施例中，频域功率值的计算方式与时域功率值相同，只是分别在频域和时域取值，在此不做赘述。
在这些实施例中，事件相关特征ERDSm表示信号在发生特定事件时的特征，该特定事件例如是操控中遇到突发事故等，可以根据需要设置，在此不做限定。事件相关特征ERDSm可以表示为：
ERDSm＝λ×(Am-Rm)/Rm 公式(8)；
λ为权重系数，这允许通过调整权重系数，来调整事件相关特征ERDSm对于操控手分级的影响程度；m为设定事件发生时刻所对应的第m个采样点，Am为第m个采样点上的频域功率值，Rm为第m个采样点所对应采样区间的频域功率平均值，所述第m个采样点位于所述采样区间的中间位置，在此，中间位置是指第m个采样点不是采样区间的端点位置，例如第m个采样点位于采样区间的中点位置，即，第m个采样点至采样区间左端点间，以及第m个采样点至采样区间右端点间，具有相同的采样点数目。
步骤S230，分别提取第一脑电图像和第一近红外脑图像的图像特征，得到第一图像特征向量。
该步骤S230中，提取第一脑电图像的图像特征和第一近红外脑图像的图像特征，得到第一图像特征向量。该第一图像特征向量可以为由第一脑电图像的图像特征和第一近红外脑图像的图像特征拼接而成的一维特征向量。以第一图像特征向量包括n个图像特征为例，该第一图像特征向量可以表示为[X21,X22,…,X2n]。
在一些实施例中，该图像特征可以是通过深度学习特征提取网络提取到的图像深层特征。
步骤S240，将包括第一信号特征向量和第一图像特征向量的第一特征向量输入至预置的分级模型，得到操控手操控目标对象的当前操控级别。
本实施例中，分级模型可以是预先训练得到的模型，该分级模型可以由操控手训练设备1000训练得到并保存在本地以供调用，也可以由其他设备训练并提供给操控手训练设备1000，在此不做限定。
该分级模型反映第一特征向量与操控级别之间的映射关系，因此，在将对应一操控手的第一特征向量输入至该分级模型后，该分级模型便可输出该操控手的当前操控级别。
该第一特征向量可以为：按照设定拼接顺序拼接第一信号特征向量和第一图像特征向量所得到的一维特征向量。该拼接顺序可以是第一信号特征向量排列在前，而第一图像特征向量排列在后，对应地，第一特征向量可以表示为[X11,X12,…,X1m,X21,X22,…,X2n]；或者第一图像特征向量排列在前，而第一信号特征向量排列在后，在此不做限定。
步骤S250，获取与当前操控级别相匹配的训练方案。
该操控手训练设备1000可以保存反映操控级别与训练方案间映射关系的训练方案列表，通过查找训练方案列表，获得与当前操控级别相匹配的训练方案。与各操控级别相匹配的训练方案可以由本领域专家分不同级别预先制定，并保存在操控手训练设备1000中。
在一些实施例中，该训练方案包括操控目标对象的训练任务。在另一些实施例中，该训练方案不仅包括操控目标对象的训练任务，还包括对应于该训练任务的经颅电刺激调节方案，以通过经颅电刺激提升操控手在一些方面的操控能力，进而获得更好的训练效果。
步骤S260，将当前训练方案更新为通过步骤S250获得的相匹配的训练方案。
在将当前训练方案更新为基于步骤S210-S250获得的相匹配的训练方案后，操控手就可以基于更新后的当前训练方案进行下一阶段的训练，操控手训练设备1000在进行下一阶段的训练中，可以再一次执行本实施例的步骤S210-S260，如此循环，直至完成对操控手的训练，训练可以在操控手达到设定目标级别时停止。
操控手训练设备1000可以通过输出装置1600输出该相匹配的训练方案，也即输出更新后的当前训练方案。
根据本公开实施例的方法，操控手训练设备在操控手基于当前训练方案操控目标对象期间，获取操控手的第一脑电数据和第一近红外脑数据，并根据第一脑电数据和第一近红外脑数据，获得反映操控手操控水平的融合信号特征和图像特征的第一特征向量，然后将第一特征向量输入至预先训练得到的分级模型，以明确该操控手的当前操控级别，并根据该当前操控级别确定对应于该操控手的训练方案，以供操控手提升其操控技能。在本实施例中，操控手训练设备1000是基于人工智能的分级模型确定操控手的当前操控级别，并基于该当前操控级别给出相匹配的训练方案，也即下一阶段的训练方案，可见，该本实施例方法不依赖于教练，更不依赖于教练经验，这能够有效解决教练人手不足和教练水平高低不同的问题，进而有利于保证训练效果的稳定性。
在一些实施例中，以上分级模型可以由操控手训练设备1000通过样本训练得到，在这些实施例中，该方法在以上步骤S240将包括所述第一信号特征向量和所述第一图像特征向量的第一特征向量输入至预置的分级模型之前，还可以包括如下步骤S301～S302：
步骤S301，获取训练样本集。
训练样本集包括多个训练样本。训练样本包括样本数据和样本标签，样本数据包括选定操控手操控目标对象期间的第二脑电数据和第二近红外脑数据，第二脑电数据包括第二脑电信号和对应于第二脑电信号的第二脑电图像，第二近红外脑数据包括第二近红外脑信号和对应于第二近红外脑信号的第二近红外脑图像，样本标签为选定操控手的实际操控级别，其中，第二脑电数据和第二近红外脑数据可以对应参照以上第一脑电数据和第一近红外脑数据理解，在此不再赘述。训练样本集包括对应不同实际操控级别的训练样本。
步骤S302，通过训练样本级训练设定模型的模型参数，得到该分级模型。
在通过训练样本集训练设定模型的模型参数时，同样需要对训练样本集中训练样本的样本数据进行特征提取处理，得到对应于第一特征向量的第二特征向量；然后，将第二特征向量输入至设定模型，得到预测操控级别，以基于实际操控级别与预测操控级别的偏差构建损失函数，并以使损失满足设定收敛条件为目标训练设定模型，最终确定设定模型的模型参数，得到分级模型。
在一些实施例中，该设定模型可以是任意形式的多分类模型，例如是基于长短期记忆人工神经网络(Long Short-Term Memory，LSTM)的分类模型，在此不做限定。
在这些实施例中，通过带标签的训练样本训练得到分级模型，能够对操控手进行更精准地分级，提高分级准备性。
<设备实施例>
图3是根据一个实施例的操控手训练设备300的方框原理图。如图3所示，该操控手训练设备300可以包括数据获取模块310、数据处理模块320、分级模块330、方案匹配模块340和方案更新模块350。
该数据获取模块310用于获取操控手基于当前训练方案操控目标对象期间的第一脑电数据和第一近红外脑数据。第一脑电数据包括第一脑电信号和对应于第一脑电信号的第一脑电图像，第一近红外脑数据包括第一近红外脑信号和对应于第一近红外脑信号的第一近红外脑图像。
数据处理模块320用于分别提取第一脑电信号和第一近红外脑信号的信号特征，得到第一信号特征向量；以及，分别提取第一脑电图像和第一近红外脑图像的图像特征，得到第一图像特征向量。该信号特征包括时域特征和频域特征。
分级模块330用于将包括第一信号特征向量和第一图像特征向量的第一特征向量输入至预置的分级模型，得到操控手操控目标对象的当前操控级别；其中，所述分级模型反映第一特征向量与操控级别之间的映射关系。
方案匹配模块340用于获取与当前操控级别相匹配的训练方案。
方案更新模块350用于将当前训练方案更新为方案匹配模块340提供的相匹配的训练方案。
以上各模块还可以用于按照上述方法实施例所提供的相应实施例执行相应的操作步骤，在此不再赘述。
图4是根据另一个实施例的操控手训练设备400的硬件结构示意图。如图4所示，该操控手训练设备400可以包括处理器410和存储器420，存储器420用于存储计算机程序，处理器410用于在该计算机程序的控制下，执行根据本公开任意实施例的操控手训练方法。
以上操控手训练设备300的各模块可以由处理器410运行存储器420存储的计算机程序实现。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人物来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人物来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人物能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种操控手训练方法，其特征在于，所述方法包括：
获取操控手基于当前训练方案操控目标对象期间的第一脑电数据和第一近红外脑数据；其中，所述第一脑电数据包括第一脑电信号和对应于所述第一脑电信号的第一脑电图像，所述第一近红外脑数据包括第一近红外脑信号和对应于所述第一近红外脑信号的第一近红外脑图像；
分别提取所述第一脑电信号和所述第一近红外脑信号的信号特征，得到第一信号特征向量；其中，所述信号特征包括时域特征和频域特征；
分别提取所述第一脑电图像和所述第一近红外脑图像的图像特征，得到第一图像特征向量；
将包括所述第一信号特征向量和所述第一图像特征向量的第一特征向量输入至预置的分级模型，得到所述操控手操控目标对象的当前操控级别；其中，所述分级模型反映第一特征向量与操控级别之间的映射关系；
获取与所述当前操控级别相匹配的训练方案；
将所述当前训练方案更新为所述相匹配的训练方案。
2.根据权利要求1所述的操控手训练方法，其特征在于，在所述将包括所述第一信号特征向量和所述第一图像特征向量的第一特征向量输入至预置的分级模型之前，所述方法还包括：
按照设定拼接顺序拼接所述第一信号特征向量和所述第一图像特征向量，得到一维的第一特征向量。
3.根据权利要求1所述的操控手训练方法，其特征在于，所述图像特征为深层图像特征。
4.根据权利要求1所述的操控手训练方法，其特征在于，所述时域特征包括一阶差分平均值特征、二阶差分平均值特征、总能量值特征、时域功率值特征和偏离值特征中的至少一个特征；其中，
一阶差分平均值
Figure FDA0003594869310000021
二阶差分平均值
Figure FDA0003594869310000022
总能量值
Figure FDA0003594869310000023
时域功率值
Figure FDA0003594869310000024
偏离值
Figure FDA0003594869310000025
n为第n个采样点，N为采样点数目，σ1s为一阶信号幅值的最大值，σ2s为二阶信号幅值的最大值，s(n)为第n个采样时刻的信号幅值，μS为一阶信号幅值的平均值。
5.根据权利要求1所述的操控手训练方法，其特征在于，所述频域特征包括多个分段频域特征，所述多个分段频域特征包括对应1-4Hz的第一分段频域特征、对应4-8Hz的第二分段频域特征、对应8-12Hz的第三分段频域特征、对应13-30Hz的第四分段频域特征、及对应30-45Hz的第五分段频域特征。
6.根据权利要求5所述的操控手训练方法，其特征在于，所述多个分段频域特征中每一分段频域特征包括功率谱密度值特征、频域功率值特征、事件相关特征中的至少一个特征；其中，
所述事件相关特征ERDSm＝λ×(Am-Rm)/Rm，
λ为权重系数，m为设定事件发生时刻所对应的第m个采样点，Am为第m个采样点上的频域功率值，Rm为第m个采样点所对应采样区间的频域功率平均值，所述第m个采样点位于所述采样区间的中间位置。
7.根据权利要求1至6中任一项所述的操控手训练方法，其特征在于，在所述将包括所述第一信号特征向量和所述第一图像特征向量的第一特征向量输入至预置的分级模型之前，所述方法还包括：
获取训练样本集；其中，所述训练样本包括样本数据和样本标签，所述样本数据包括选定操控手操控目标对象期间的第二脑电数据和第二近红外脑数据，所述第二脑电数据包括第二脑电信号和对应于所述第二脑电信号的第二脑电图像，所述第二近红外脑数据包括第二近红外脑信号和对应于所述第二近红外脑信号的第二近红外脑图像，所述样本标签为所述选定操控手的实际操控级别，所述训练样本集包括对应不同实际操控级别的训练样本；
通过所述训练样本级训练设定模型的模型参数，得到所述分级模型。
8.根据权利要求1至6中任一项所述的操控手训练方法，其特征在于，所述当前训练方案包括操控目标对象的操控任务和对应的经颅电刺激调节方案。
9.一种操控手训练设备，其特征在于，包括：
数据获取模块，用于获取操控手基于当前训练方案操控目标对象期间的第一脑电数据和第一近红外脑数据；其中，所述第一脑电数据包括第一脑电信号和对应于所述第一脑电信号的第一脑电图像，所述第一近红外脑数据包括第一近红外脑信号和对应于所述第一近红外脑信号的第一近红外脑图像；
数据处理模块，用于分别提取所述第一脑电信号和所述第一近红外脑信号的信号特征，得到第一信号特征向量；以及，分别提取所述第一脑电图像和所述第一近红外脑图像的图像特征，得到第一图像特征向量；其中，所述信号特征包括时域特征和频域特征；
分级模块，用于将包括所述第一信号特征向量和所述第一图像特征向量的第一特征向量输入至预置的分级模型，得到所述操控手操控目标对象的当前操控级别；其中，所述分级模型反映第一特征向量与操控级别之间的映射关系；
方案匹配模块，用于获取与所述当前操控级别相匹配的训练方案；以及，
方案更新模块，用于将所述当前训练方案更新为所述相匹配的训练方案。
10.一种操控手训练设备，其特征在于，包括至少一个处理器和至少一个存储器，所述存储器用于存储计算机程序，所述计算机程序用于控制所述处理器执行根据权利要求1至8中任一项所述的操控手训练方法。
CN202210389135.6A 2022-04-13 2022-04-13 操控手训练方法及设备 Active CN114872028B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210389135.6A CN114872028B (zh) 2022-04-13 2022-04-13 操控手训练方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210389135.6A CN114872028B (zh) 2022-04-13 2022-04-13 操控手训练方法及设备

Publications (2)

Publication Number Publication Date
CN114872028A CN114872028A (zh) 2022-08-09
CN114872028B true CN114872028B (zh) 2023-07-14

Family

ID=82670617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210389135.6A Active CN114872028B (zh) 2022-04-13 2022-04-13 操控手训练方法及设备

Country Status (1)

Country Link
CN (1) CN114872028B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112256123A (zh) * 2020-09-25 2021-01-22 北京师范大学 基于脑负荷的操控工效分析方法、设备及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018081569A1 (en) * 2016-10-27 2018-05-03 Artemiadis Panagiotis Systems and methods for a hybrid brain interface for robotic swarms using eeg signals and an input device
US11151440B2 (en) * 2017-11-08 2021-10-19 International Business Machines Corporation Neural response human detector
CN108766532A (zh) * 2018-05-11 2018-11-06 深圳市心流科技有限公司 提高注意力的教学方法、装置及计算机可读存储介质
CN110755076B (zh) * 2019-11-01 2023-08-11 上海联影医疗科技股份有限公司 磁共振扫描仪的图像采集方法、装置、设备和介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112256123A (zh) * 2020-09-25 2021-01-22 北京师范大学 基于脑负荷的操控工效分析方法、设备及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Stacking模型融合策略的脑力负荷等级评定方法;曹子轩;尹钟;张建华;;软件导刊(01);全文 *

Also Published As

Publication number Publication date
CN114872028A (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
EP3346462B1 (en) Speech recognizing method and apparatus
TWI698807B (zh) 以類別為基礎修剪之人工類神經網路
CN109598332B (zh) 神经网络生成方法及装置、电子设备和存储介质
CN107452369B (zh) 语音合成模型生成方法和装置
KR20200070831A (ko) 인공 신경망을 압축하기 위한 장치 및 방법
JP2020042796A (ja) ニューラルネットワークアーキテクチャ探索装置と方法及びコンピュータ可読記憶媒体
WO2019155064A1 (en) Data compression using jointly trained encoder, decoder, and prior neural networks
KR102532748B1 (ko) 뉴럴 네트워크 학습 방법 및 장치
US11288851B2 (en) Signal change apparatus, method, and program
US20200065560A1 (en) Signal retrieval apparatus, method, and program
EP3686811A1 (en) Method and device for on-device continual learning of a neural network which analyzes input data, and method and device for testing the neural network to be used for smartphones, drones, vessels, or military purpose
CN106802888B (zh) 词向量训练方法和装置
US20230326249A1 (en) Few-shot gesture recognition method
JP6099032B2 (ja) 信号処理装置、信号処理方法及びコンピュータプログラム
CN113555032A (zh) 多说话人场景识别及网络训练方法、装置
CN116363452A (zh) 任务模型训练方法以及装置
CN116309135A (zh) 扩散模型处理方法及装置、图片处理方法及装置
EP3640858A1 (en) Method and apparatus for quantizing parameters of neural network
CN114872028B (zh) 操控手训练方法及设备
CN111160443A (zh) 一种基于深度多任务学习的活动和用户识别方法
CN116842155B (zh) 文本生成方法、文本生成模型的训练方法及装置
EP3690755A1 (en) Method and device for on-device continual learning and testing of neural network by optimized sampling of training images
CN114913859B (zh) 声纹识别方法、装置、电子设备和存储介质
US20240046946A1 (en) Speech denoising networks using speech and noise modeling
CN115762464A (zh) 语音合成模型的训练方法、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant