CN117608400A - 基于脑机接口的汉字书写轨迹识别方法、系统及电子设备 - Google Patents

基于脑机接口的汉字书写轨迹识别方法、系统及电子设备 Download PDF

Info

Publication number
CN117608400A
CN117608400A CN202311574868.8A CN202311574868A CN117608400A CN 117608400 A CN117608400 A CN 117608400A CN 202311574868 A CN202311574868 A CN 202311574868A CN 117608400 A CN117608400 A CN 117608400A
Authority
CN
China
Prior art keywords
nerve
writing
signal
chinese character
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311574868.8A
Other languages
English (en)
Inventor
王伊龙
陈奕奕
马婷
蔡国庆
廖家慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tiantan Hospital
Original Assignee
Beijing Tiantan Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tiantan Hospital filed Critical Beijing Tiantan Hospital
Priority to CN202311574868.8A priority Critical patent/CN117608400A/zh
Publication of CN117608400A publication Critical patent/CN117608400A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/27—Regression, e.g. linear or logistic regression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Animal Behavior & Ethology (AREA)
  • Psychiatry (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Psychology (AREA)
  • Neurology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Neurosurgery (AREA)
  • Dermatology (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种用于脑机接口的汉字书写轨迹识别方法、系统及电子设备。涉及脑机接口技术领域。其中方法包括：采集用户大脑中第一感兴趣区域所记录的第一神经电信号；采集用户大脑中第二感兴趣区域所记录的第二神经电信号；对第一神经电信号进行特征提取，得到相应的第一特征信号；对第二神经电信号进行特征提取，得到相应的第二特征信号；根据第二特征信号判定用户的需求状态；以及对当前想象任务的第一神经电信号相应的第一特征信号进行轨迹识别，确定与书写想象对应的书写运动轨迹参数信息并形成拟合轨迹。

Description

基于脑机接口的汉字书写轨迹识别方法、系统及电子设备
技术领域
本申请涉及脑机接口技术领域，特别是涉及一种基于脑机接口的汉字书写轨迹识别方法、系统及电子设备。
背景技术
现有技术中以字符显示、语言沟通为目的地通讯BCI系统其特征提取神经电信号类型包括：(1)慢皮层电位，是指皮层中产生的缓慢电压变化，这些电位变化发生于0.5-10.0秒内，使用此特征，二选一准确度在65-90％范围的用户可以达到0.15-3个字母/分钟，或2-36个单词/小时。(2)视觉诱发电位拼写器(visual evokedpotential，VEP)，侵入式电极VEP系统，肌萎缩侧索硬化患者可达10-12个单词/分钟的速度进行交流；正常人使用非侵入式VEP系统，在字库辅助模式的32目标拼写器达平均31.2字符/分钟；但过多显示目标易引起视觉疲劳，就系统识别性能而言准确率亦降低。(3)事件相关电位，如BCI-P300拼写器。P300是在顶叶皮层中大约在特殊刺激发生后300ms产生的正峰值，BCI系统使用此效应来确定用户的意图。P300是对目标选择的典型或朴素的响应。通常，基于P300的BCI系统具有一个单词(或5个字母)/分钟的通讯效率。(4)感觉运动节律(mu和beta节律)。当用户想象左手或右手运动时，想象的肢体的对侧感觉运动皮层产生事件相关去同步化——通常为mu(8–12Hz)和beta(18–26Hz)频带功率的减少，而在同侧皮层区域产生事件相关同步化——频带功率的增加。用户通过学会控制mu或beta节律并通过其幅值进行一维或二维空间光标控制，对键盘式排布字母进行点击-选择。(5)皮层神经元活动信号，通过建立神经元活动与任务行为过程之间的映射关系模型，美国BrainGate项目实现运动障碍患者通过尝试手部直接书写英文字母符进行神经元集群活动高分类精度的神经解码，达90字符/分钟，实现18单词/分钟通讯效率。旧金山加利福尼亚大学也实现直接语音解码约15单词/分钟。
沟通交流是通讯BCI系统的使用目的，发音与书写文字是表达沟通的直接方式，然而前四种神经信号类型的通讯脑机接口系统所要求用户执行的操作任务并非基于原始意图的自然控制指令，这些频带的调制与终点效应器之间似乎并非直接相关。第五种信号的解析可构建实现最贴近自然语言交流的脑机接口系统，信号解析基于控制书写的手部运动或发音的口唇构音器运动编码的神经信号，并对字母及单词进行离散式的分类。
汉字数量庞大且具有独一无二的平面字形结构，直接在二维平面上想象书写通常由多个汉字笔画或偏旁部首复杂交错及分列于空间各部位的图形汉字并以完整书写想象的汉字的图形所诱导神经信号进行解析并保证能实现长期稳定的汉字高效分类输出。首先，需要保证书写想象所诱导信号的长期稳定性。要求任务相关的可用于分类识别模型识别的神经信号特征在大脑信号采集不同试次之间具有高度的重复性是高效准确快速输出结果的关键。在日常使用场景下，难以保证不同日及不同应用场景下外部环境及内在情绪生理因素影响下使用用户可维持良好任务执行效果及任务所诱导神经信号能够被分类识别模型高效识别分类输出结果。在现有技术中，例如，在想象书写完整图形汉字“中”时，其包含多个一笔的汉字笔画，即竖-折-横-竖共有四笔，在每一次执行该汉字“中”的书写想象期间，由于书写思维不固定，容易受到外部环境或内在条件如情绪、注意力、疲劳等因素发生书写同一完整图形汉字时，同一笔画或者某几个笔画的想象轨迹产生试次间偏差。随之用户在第一次想象书写图形汉字“中”的神经电信号与第二次想象书写同一图形汉字“中”的神经电信号可能因书写完整图形汉字所包含多个汉字笔画，在任务书写想象执行效果上因同一笔画或不同笔画同时存在的不确定性执行差异而导致神经电信号之间的差异较大。
汉字数量庞大且具有独一无二的平面字形结构，直接在二维平面上想象书写通常由多个汉字笔画或偏旁部首复杂交错及分列于空间各部位的图形汉字并以完整书写想象的汉字的图形所诱导神经信号进行解析并保证能实现长期稳定的汉字高效分类输出。其次，为满足日常所需的沟通词汇数量，对使用用户及分类识别模型进行大量且反复优化的训练数据内容需涵盖所需进行分类输出的所有完整图形汉字的字形结构内容，并且完整图形汉字不具有延伸可拓展性，即图形轨迹“国”的字形轨迹就是汉字“国”。现有技术中存在用户训练内容繁杂且数量庞大，耗时长、易疲劳、需注意力、执行力及长期及工作记忆的认知负荷高等阻碍在疾病人群中形成好用、易用、广泛使用的现实应用问题。
针对上述的现有技术中存在的二维平面汉字字形结构复杂，且汉字数量众多，为实现语言通讯目的所需对用户及模型进行训练掌握的汉字数量相应扩大训练内容多且耗时长，易疲劳，认知负荷高难以在疾病人群中推广长期使用的好用、易用问题，以及训练内容对于形成大量可用于日常基本沟通使用的图形汉字不具有延伸可拓展性问题。用户长期使用中，维持不同试次间均良好、可重复地自主书写想象同一整块图形汉字字形轨迹难度高，进而在书写想象同一图形汉字字形所诱导试次间的神经电信号一致性较低、而以间接方式提取特征信号进行汉语言通讯效率低下以及缺乏训练内容精简、易于疾病人群掌握且具有在形成图形汉字中具有延伸可拓展性能够扩增形成海量图形汉字BCI系统的技术问题，目前尚未提出有效的解决方案。
发明内容
本申请的实施例提供了一种基于脑机接口的汉字书写轨迹识别方法、系统及电子设备，以至少解决现有技术中存在的二维平面汉字字形结构复杂，且汉字数量众多，为实现语言通讯目的所需对用户及模型进行训练掌握的汉字数量相应扩大训练内容多且耗时长，易疲劳，认知负荷高难以在疾病人群中推广长期使用的好用、易用问题，以及训练内容对于形成大量可用于日常基本沟通使用的图形汉字不具有延伸可拓展性问题。用户长期使用中，维持不同试次间均良好、可重复地自主书写想象同一整块图形汉字字形轨迹难度高，进而在书写想象同一图形汉字字形所诱导试次间的神经电信号一致性较低、而以间接方式提取特征信号进行汉语言通讯效率低下以及缺乏训练内容精简、易于疾病人群掌握且具有在形成图形汉字中具有延伸可拓展性能够扩增形成海量图形汉字BCI系统的技术问题。
根据本申请实施例的一个方面，提供了一种基于脑机接口的汉字书写轨迹识别方法，包括：采集用户大脑中第一感兴趣区域所记录的第一神经电信号，其中第一神经电信号为用户在视觉追随屏幕显示的，预先设定为特定速度大小以匀速行进的，一笔的汉字笔画手写字符的字形轨迹，想象同步书写汉字笔画过程中所诱发的神经电信号，并且其中汉字笔画的手写字符为带有成人手部书写线条样式而不是标准印刷字体形式的字形轨迹，字形轨迹为单一的一笔连贯过程，中间无断笔，其中第一感兴趣区域为对汉字手写的字形轨迹书写想象任务中手部文字书写的运动成分、汉语言文字视觉-字形记忆及识别成分、和视觉-运动感知整合成分存在强烈神经电活动响应、有益于字形轨迹拟合的大脑核心区域；采集用户大脑中第二感兴趣区域所记录的第二神经电信号，其中第二神经电信号为用户执行优势手对侧手部运动想象过程中所诱发的神经电信号，并且其中第二感兴趣区域为优势手对侧手部运动想象中手部运动成分诱导的存在强烈神经电活动响应、有益于信号分类的大脑核心区域；通过预设的机器学习算法对第一感兴趣区域所记录的、用户执行任务所诱发的第一神经电信号进行特征提取，得到相应的第一特征信号；通过预设的机器学习算法对第二感兴趣区域所记录的、用户执行任务所诱发的第二神经电信号进行特征提取，得到相应的第二特征信号；根据第二特征信号判定用户的需求状态；以及通过所诱发的第二神经电信号中的第二特征信号，对当前想象任务的第一神经电信号相应的第一特征信号进行轨迹识别，确定与书写想象对应的书写运动轨迹参数信息并形成拟合轨迹，其中书写运动轨迹参数信息是想象书写速度，并且书写运动轨迹参数信息包括速度大小和方向。
根据本申请实施例的另一方面，还提供了一种基于脑机接口的汉字书写轨迹识别系统，包括：信号采集模块；第一特征提取模块；信号分类模块；以及轨迹拟合模块，其中信号采集模块配置用于执行以下操作：采集用户大脑中第一感兴趣区域所记录的第一神经电信号，其中第一神经电信号为用户在视觉追随屏幕显示的，预先设定为特定速度大小以匀速行进的，一笔的汉字笔画手写字符的字形轨迹，想象同步书写汉字笔画过程中所诱发的神经电信号，并且其中汉字笔画的手写字符为手部书写线条形式不是印刷体形式，字形轨迹为单一的一笔连贯过程，中间无断笔，其中第一感兴趣区域为对汉字手写的字形轨迹书写想象任务中手部文字书写的运动成分、汉语言文字视觉-字形记忆及识别成分、和视觉-运动感知整合成分存在强烈神经电活动响应、有益于字形轨迹拟合的大脑核心区域；采集用户大脑中第二感兴趣区域所记录的第二神经电信号，其中第二神经电信号为用户执行优势手对侧手部运动想象过程中所诱发的神经电信号，并且其中第二感兴趣区域为优势手对侧手部运动想象中手部运动成分诱导的存在强烈神经电活动响应、有益于信号分类的大脑核心区域，并且第一特征提取模块配置用于执行以下操作：通过预设的机器学习算法对第一感兴趣区域所记录的、用户执行任务所诱发的第一神经电信号进行特征提取，得到相应的第一特征信号；通过预设的机器学习算法对第二感兴趣区域所记录的、用户执行任务所诱发的第二神经电信号进行特征提取，得到相应的第二特征信号，并且信号分类模块配置用于执行以下操作：根据第二特征信号判定用户的需求状态，并且轨迹拟合模块配置用于执行以下操作：通过所诱发的第二神经电信号中的第二特征信号，对当前想象任务的第一神经电信号相应的第一特征信号进行轨迹识别，确定与书写想象对应的书写运动轨迹参数信息并形成拟合轨迹，其中书写运动轨迹参数信息是想象书写速度，并且书写运动轨迹参数信息包括速度大小和方向。
根据本申请实施例的另一个方面，还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器执行以上所述的方法。
在本申请实施例中，用户视觉追随跟踪屏幕显示的行进的一笔的汉字笔画手写字符字形轨迹，从而进行汉字笔画的书写想象。汉字笔画的手写字符为手部书写线条形式不是印刷体形式，字形轨迹为单一的一笔连贯过程，中间无断笔。相比于视觉识别印刷体的字符，如印刷体字母，功能影像研究观察到手写的字母的连续运动形式对于左侧中部运动前皮层的激活更强。观察、学习和记忆、模仿是人类重要特质，通过预先采集成年人手部自然书写一笔的汉字笔画的连续过程并建立不同汉字笔画类型所对应的书写模版。书写想象不产生书写动作因此失去所形成的手部书写痕迹的视觉反馈，视觉追随汉字笔画手写笔画行进轨迹模版随时间的动态展开形式如同用户观察自身在纸上手写一笔汉字笔画时自身书写的一样，有助于用户良好执行书写想象并学习记忆这一过程，如同跟随模版轨迹进行一次手部书写任务。经实验证明，以一笔的汉字笔画手写字符形式，即包含个体书写的特征标签形式进行辅助书写想象相较于无辅助模式进行书写想象以及标准印刷格式进行辅助想象，分别可提高对神经电信号进行分类识别的准确率30％及20％。
并且以直接手部书写想象方式，相较于完整的整块方正汉字字形轨迹想象及图形拟合，通常由一笔可直接书写而成的汉字笔画具有方向信息明确、简单易掌握，书写训练内容少，好用、易用属性。简单的一笔笔画书写方向清晰，包含水平、垂直与对角线方向，在一次连续轨迹拟合任务下不存在想象过多的卷曲或转折方向变化。根据从小习得约定俗成的汉字书写笔顺规则，不增加额外训练内容，据笔画组合的有序性特点，汉字可由多个一笔书写的汉字笔画有序构成且有序地笔画组合对汉字具有唯一指向的准确性特点，使得对用户的训练内容在实际应用汇总具有可拓展性，多个一笔的有序简洁方向笔画能够形成数量众多的图形汉字。同时，对用户注意力要求、执行与记忆检索提取以良好完成任务所需的认知负荷要求低，能够保持在同一书写想象任务类型下的不同次书写想象期间所诱导信号特征一致性。
在用户书写想象过程中，用户通过视觉跟随的方式想象书写一笔的汉字笔画，能够实现轨迹参数的可重复一致性，有益于对神经电信号中的特征信号进行稳健的轨迹参数信息估计，除此之外，对用户自身在不断的跟随辅助书写想象中进行训练，从而熟悉单一一笔的汉字笔画的书写速度和方向，形成自身的书写习惯。进而用户可以容易地根据汉字笔画的书写习惯，自主简单快速的书写想象单一一笔的汉字笔画手写字符。
并且用户自主根据受教育的汉字书写笔顺规则直接书写想象单一一笔的汉字笔画以构成目标汉字，与现有技术相比，本技术方案无需在多个字符中选择需要的字符，即以非直接书写/口语方式进行通讯交流从而生成汉字，同时避免了长时间专注地通过视/听觉注意需要选择的字符而产生疲劳感，无需训练学习记忆完整的整块复杂图形汉字。从而本技术方案仅仅根据简单方向一笔合成的汉字笔画进行书写想象即可利用汉字笔顺有序性组合快速生成汉字，从而提高了与他人沟通的效率。
并且用户通过直接书写想象具有明确方向性的一笔字形线条，所诱导神经电信号可对书写想象字形轨迹的速度大小与方向进行实时解析，拟合形成连续平滑轨迹，可将所述书写运动轨迹转换为应用于想象移动轨迹路线控制的可移动设备行动导航的机械控制指令，从而在恢复言语构音及严重肢体运动障碍使用者的语言沟通基础上扩展使用场景，进一步恢复个体生活基本场景下的移动控制能力。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请所述的基于脑机接口的汉字书写轨迹识别系统的示意图；
图2是根据本申请实施例1所述的基于脑机接口的汉字书写轨迹识别方法的流程示意图；
图3是根据本申请实施例1所述的对一笔的汉字笔画横的拟合书写想象轨迹的流程示意图；
图4是根据本申请实施例1所述的对一笔的汉字笔画折的拟合书写想象轨迹的流程示意图；
图5是根据本申请实施例1所述的通过多个一笔的汉字笔画形成目标汉字的拟合书写想象轨迹的流程示意图；
图6是根据本申请实施例1所述的目标汉字的拟合书写想象轨迹的另一个流程示意图；
图7是根据本申请实施例1所述的状态识别模型的结构示意图；
图8是根据本申请实施例1所述的汉字书写轨迹识别的另一个流程示意图；
图9是根据本申请实施例所述的对汉字笔画进行分类的流程示意图；
图10是根据本申请实施例所述的基于视觉追随辅助的书写想象汉字轨迹确定系统的第二特征提取模块和任务分类模块的示意图；以及
图11A是根据本申请实施例所述的基于softmax回归模型对与滑动窗的时隙对应的神经电信号进行分类的流程示意图；以及
图11B是根据本申请实施例所述的利用神经网络和分类器根据弱分类信息的融合分类信息对神经电信号进行分类的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本实施例，提供了一种基于脑机接口的汉字书写轨迹识别方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本实施例所述的基于脑机接口的汉字书写轨迹识别系统的示意图。参照图1所示，该系统包括：信号采集模块；第一特征提取模块；信号分类模块；以及轨迹拟合模块。
其中信号采集模块用于采集用户书写和运动想象过程中的神经电信号。
第一特征提取模块用于对神经电信号进行特征提取，得到特征信号。
信号分类模块用于根据特征信号确定用户的需求状态。其中用户的需求状态包括保持当前状态和切换状态。
轨迹拟合模块通过轨迹拟合模型根据特征信号输出相应的汉字笔画字形轨迹，可实现汉字笔画字符识别并组合多个有序笔画构成汉字用于语言通讯，也可实现可移动设备行动导航的机械控制指令。
在上述运行环境下，根据本实施例的第一个方面，提供了一种基于脑机接口的汉字书写轨迹识别方法。图2示出了该方法的流程示意图，参考图2所示，该方法包括：
S202：采集用户大脑中第一感兴趣区域所记录的第一神经电信号，其中第一神经电信号为用户在视觉追随屏幕显示的，预先设定为特定速度大小以匀速行进的，一笔的汉字笔画手写字符的字形轨迹，想象同步书写汉字笔画过程中所诱发的神经电信号，并且其中汉字笔画的手写字符为带有成人手部书写线条样式而不是标准印刷字体形式的字形轨迹，字形轨迹为单一的一笔连贯过程，中间无断笔，其中第一感兴趣区域为对汉字手写的字形轨迹书写想象任务中手部文字书写的运动成分、汉语言文字视觉-字形记忆及识别成分、和视觉-运动感知整合成分存在强烈神经电活动响应、有益于字形轨迹拟合的大脑核心区域。
具体地，与书写汉字相关的字形构成最小单位为汉字“笔画”。在纸上落笔、不间断的书写直到抬笔是完成的一笔/称一画，称为笔画。落笔-书写-提笔所形成连贯笔画线条，相较于平滑卷曲字母，在一笔呵成的书写中方向性特征明确、干练、简洁。除此之外，用户反复对多种预设的汉字笔画字形执行视觉追随跟踪辅助式想象——用户熟悉并分类、记忆不同汉字笔画字形动态展开过程，该步骤模拟成人学习和模仿书写文字的练习过程，并有意图的将学习到的“汉字笔画字形书写过程”进行语义内容与二维字形拓扑结构表征匹配及记忆储存。
本技术方案所采集的第一神经电信号为用户对设定速度的不同笔画，以简单笔画横(即，“一”)、竖(即，“丨”)、撇(即，“丿”)、捺(即，“乀”)以及折(即，“フ”)为例，用户执行视觉追随跟踪辅助式想象，并同步采集所诱导的神经电信号。屏幕中实时显示不同的具有预设速度的行进汉字笔画字符，用户视觉追随跟踪屏幕显示的行进汉字笔画字符字形轨迹，完成与之同步的书写想象。理论上，屏幕显示的字形轨迹与用户执行书写想象字形轨迹，在同一时间序列上应保持方向一致。
具体地，图3所示，以笔画横(即，“一”)为例，显示设备的屏幕中显示笔画横(即，“一”)，在虚拟光标从笔画的起点移动至终点的过程中，用户以自身视觉追随虚拟光标的移动，想象进行与之同步的书写运动行为，虚拟光标移动所形成的字形轨迹如同自身实际书写在纸上所呈现的字形轨迹一样。视觉引导的书写想象的速度及方向与虚拟光标在预设的时间内的移动速度及方向尽可能保持一致，即书写想象的书写速度及方向与虚拟光标在预设的时间内的速度及方向同步匹配。在用户书写想象笔画横(即，“一”)的过程中，信号采集模块采集用户的神经电信号(即，第一神经电信号)。
进一步地，依照上述采集与笔画横(即，“一”)对应的神经电信号(即，第一神经电信号)的方式，信号采集模块采集与笔画折(即，“フ”)、竖(即，“丨”)、撇(即，“丿”)以及捺(即，“乀”)对应的神经电信号(即，第一神经电信号)。
进一步地，用户可进行“根据汉字笔画字符提示完成自主书写想象”，并同步采集所诱导的神经电信号。具体而言，用户进行根据汉字笔画字符提示完成“落笔-书写-提笔”的单次/一笔的书写想象过程，通过前一步骤的视觉追随跟踪辅助书写想象，用户接收提示的汉字笔画字符指令后，自主进行字形内容提取并策划执行书写想象。所述自主书写想象是指在显示设备屏幕中不呈现且无视觉追随的移动虚拟光标，用户根据此前在视觉追随书写想象多种汉字笔画字符中的规则习惯，自行完成所提示汉字笔画字符的书写想象。
具体地，参考图4所示，以笔画折(即，“フ”)为例，显示设备的屏幕中显示笔画折(即，“フ”)，随后，在显示设备的屏幕中呈现空白田字格，田字格呈现后用户即可开始自主完成所提示汉字笔画字符——汉字笔画折(即，“フ”)的笔画书写想象，在用户自主书写想象笔画折(即，“フ”)的过程中，信号采集模块采集用户的神经电信号(即，第一神经电信号)。
进一步地，依照上述采集与笔画折(即，“フ”)对应的神经电信号(即，第一神经电信号)的方式，信号采集模块采集与笔画横(即，“一”)、竖(即，“丨”)、撇(即，“丿”)以及捺(即，“乀”)对应的神经电信号(即，第一神经电信号)。
进一步地，用户可在“连续时间段内进行连续多次汉字笔书写想象”，并同步采集所诱导的神经电信号(即，第一神经电信号)。具体而言，首先，汉语言文字的特点包括具有从小受教育学习长期记忆储存的文字语义-字形识别库，在文字书写的过程中存在汉字构型规则以及特别的是汉字书写的笔顺规则。本技术方案将丰富多样字形变化的汉字进行构型拆解成最小单元，即汉字笔画，简化汉字书写想象复杂度。通过视觉追随跟踪辅助汉字笔画书写想象到自主进行落笔-书写-提笔的单一汉字笔画的书写想象再至本步骤的根据目标汉字进行自主构型拆解形成该汉字的有序笔画组合以指导进行连续依次的一笔一划的汉字笔画书写想象，在采集丰富且充分地汉字书写笔画方向性参数信息的同时对用户执行有框架的辅助想象。具体地，用户可依据自主的意图，在连续时间段内执行连续地、依照汉字书写的笔顺规则多次、单一笔画字形的书写想象。在预先设定的连续时间窗内实现一次/多次书写想象行为。
其中汉字笔画书写想象操作包括根据目标汉字书写的笔顺规则进行汉字拆解形成有序的多个汉字笔画的连续依次书写想象，具体地，参考图5所示，以提示汉字“工”(其有序汉字笔画次序组合为横-竖-横)为例，显示设备的屏幕中显示汉字“工”，从而提示用户，显示屏幕中的书写想象汉字“工”的次序笔画组合，用户执行视觉追随跟踪辅助的书写想象，在显示设备的屏幕中虚拟光标首先显示位于汉字笔画横(即，“一”)的起点位置，虚拟光标从笔画的起点移动至终点的过程中，用户以自身视觉追随虚拟光标的移动，想象进行与之同步的书写运动行为，虚拟光标移动所形成的字形轨迹如同自身实际书写在纸上所呈现的字形轨迹一样。汉字笔画横(即，“一”)书写想象完成后继续执行汉字笔画竖(即，“丨”)的视觉追随跟踪辅助的书写想象，相同地，在显示设备的屏幕中虚拟光标首先显示位于汉字笔画竖(即，“丨”)的起点位置，虚拟光标从笔画的起点移动至终点的过程中，用户以自身视觉追随虚拟光标的移动，想象进行与之同步的书写运动行为，汉字笔画竖书写想象完成后根据书写汉字“工”的要求，还需要最后书写汉字笔画横(即，“一”)，相同地，用户继续执行汉字笔画横(即，“一”)的视觉追随跟踪辅助的书写想象。在用户连续、依次书写想象目标汉字的多个汉字笔画(汉字笔画横-竖-横)的过程中，信号采集模块采集用户的神经电信号(即，第一神经电信号)。
进一步地，依照上述采集用户连续、依次书写想象目标汉字“工”包含的有序汉字笔画组合中的多个汉字笔画对应的神经电信号(即，第一神经电信号)的方式，信号采集模块采集用户对预先设定的目标汉字进行连续、依次书写想象所对应的有序笔画组合中的多个汉字笔画过程中的神经电信号(即，第一神经电信号)。
进一步地，根据书写汉字意愿，自主对意愿书写的汉字进行拆解形成有序的多个汉字笔画组合并依据此完成连续依次多个汉字笔画书写想象。自主书写想象是指显示设备屏幕上未显示汉字笔画以及虚拟光标，从而用户根据此前步骤执行视觉追随跟踪辅助式想象，练习汉字笔画时的书写速度，自主想象书写汉字。在自主想象书写汉字过程中，想象书写该汉字的每一笔画，信号采集模块都会连续实时采集该汉字对应有序笔画组合中每一笔画书写想象过程对应的神经电信号(即，第一神经电信号)，见图6所示。
进一步地，第一感兴趣区域为对汉字书写想象中手部文字书写的运动成分，汉语言字形记忆及识别成分和视觉-运动感知整合成分等存在强烈神经电活动响应有益于轨迹拟合的大脑核心区域。
S204：采集用户大脑中第二感兴趣区域所记录的第二神经电信号，其中第二神经电信号为用户执行优势手对侧手部运动想象过程中所诱发的神经电信号，并且其中第二感兴趣区域为优势手对侧手部运动想象中手部运动成分诱导的存在强烈神经电活动响应、有益于信号分类的大脑核心区域。
具体地，优势手的运动动作存在偏侧大脑半球的控制，即受到对侧大脑运动皮层控制，大部分用户优势手为右利手，则左手的简单运动动作由右侧大脑半球运动皮层支配，汉字笔画的书写想象任务为用户优势手(右手)执行的任务，相应地，在运动控制系统中，右手运动动作与左手运动动作所诱导大脑响应第二感兴趣区域存在侧别差异。除此之外，左手在宏观解剖结构上是右手的镜像，以书写笔画横(即，“一”)”为例，虽然外部坐标系即运动轨迹相同，在左、右侧关节的运动中将呈现相反结果——右腕关节将执行桡侧向尺侧偏转，左腕关节将执行尺侧向桡侧偏转。其中神经活动与内在坐标系(即镜像的关节运动)相关，而非对应于外部坐标系(即同一空间方向上的运动)。即便是书写同一数字或笔画，在左、右侧关节的运动将呈现镜像运动结果，也就是说，两种任务执行所诱导第二感兴趣区域以及区域内神经信号活动存在显著差异。
本技术方案所采集的第二神经电信号为用户执行优势手对侧手部运动想象，运动内容包括简单的手部运动或与右手相同地书写同一汉字笔画。以简单手部运动为例，参考图6所示，用户执行左手的手部开合运动想象，并同步采集所诱导的神经电信号(即，第二神经电信号)。
进一步地，第二感兴趣区域为对优势手对侧手部运动想象中手部运动成分诱导的存在强烈神经电活动响应、有益于信号分类的大脑核心区域。
S206：通过预设的机器学习算法对第一感兴趣区域所记录的、用户执行任务所诱发的第一神经电信号进行特征提取，得到相应的第一特征信号。
参考图3所示，信号采集模块采集大脑中第一感兴趣区域所记录的第一神经电信号，第一特征提取模块通过预设的机器学习算法对第一神经电信号进行特征提取，得到相应的第一特征信号，并将第一特征信号转换为计算机可识别的控制信号。
书写文字是一个复杂的包含认知获得与运动执行的任务，需要大范围的神经网络多重交互作用，大脑振荡信号的相位同步被认为提供区域间与行为相关的加工在时间维度上的协调整合与精准，为促进远距离区域的绑定和选择性连接，促进区域间的有效相互交流发挥作用。
汉字书写轨迹解码任务激发汉字书写网络系统包含多个子系统，无论何种类型，我们认为均应涉及视空间信息的加工——背侧视觉通路的激活；以及与运动执行和运动指导相关的双侧额-顶子系统的活跃，并显示出双侧不均衡激活——额叶运动区与顶叶参与书写字符产生过程中运动规划与输出、视觉与体感反馈的整合；其破坏将导致视觉运动的不协调。还可能包括顶-前额叶通路参与视空间工作记忆、眼球运动协调扫视与注意。对包含具象语义的内容进行书写与绘制显示出额中回、额下回和颞下回、梭状回，以及顶下小叶的激活；顶下小叶参与社会认知与语言加工，字形书写的长短期记忆、工具使用协调运用技能等活动。
字母型语言系统使用字母的线性组合以字母作为视觉符号，映射到拼写。而汉语作为表意语言系统，使用更复杂的空间结构以字符作为基本单元组合许多的笔画，组成一个平面结构，以整块形式通过视觉表达。不同母语人群在大脑适应语言系统信息处理过程中，将发生与之语言系统特性所对应的优势或偏向性以及额外特异的解剖-功能连接网络。
具体而言，相比于简单的运动动作任务，在语言任务中，特别是所涉及的文字书写任务中，汉语表意语言系统为母语者，相较于英语表音语言系统使用者，其大脑对方正的书面体汉字的整块字形视觉表征具有额外且广泛的认知加工，优势核心节点神经活动信息包括服务于通用文字系统的手部书写的运动成分，也包括特色的对意图书写的整块文字字形进行识别、检索与选择的抽象表征、以及对目标汉字构成长期学习记忆的汉字书写笔顺规则次序及书写基本单元的长期记忆提取与执行、以及对汉字构型基本单元在二维平面中书写想象方向策划的工作记忆内容。识别并定位于汉语母语者的语言加工核心网络节点所构成的脑机接口系统，利用语言优势地图能增强脑机接口系统解析输出效能。对执行书写想象的轨迹行为学参数与神经元活动模式时空匹配，能够获得与行为学同步的神经活动在连续时间窗内方向性空间位置参数模型并进行参数预测。
具体地，任务执行期间，在前述对汉字书写想象任务存在强烈神经电活动响应的第一感兴趣区域中，核心节点相较于非核心节点有益于文字书写字形轨迹的拟合，大脑第一感兴趣区域网络匹配于任务所激发的显著性并与解码轨迹参数信息的轨迹拟合性能实现相关。利用第一感兴趣区域下运动任务诱发神经信号中的时间、空间和频带特性，特征提取最大化任务中不同书写字形中书写想象速度(包括速度大小和方向)下的第一神经电信号之间的差异，进而实现有效的第一信号特征提取。
通过信号预处理上使用预设频带的方式对第一神经电信号进行信号频域预处理，在已处理的频带下，利用空间滤波特性和时间滤波特性，实现时间连续轨迹中的方向性空间位置参数拟合；
具体地，使用第一神经电信号的幅值特性与能量特性作为输入特征，其中幅值特性通过放大多通道短时间窗下的信号幅值差异，提取幅值特征，并且能量特性通过放大多通道混合能量差异，提取能量特征；特征提取通过拟合神经信号与轨迹之间的相互关系，放大不同不同书写速度(包括速度大小和方向)下的第一神经电信号之间的差异，进而实现第一神经电信号的特征提取。
具体的，首先通过时间卷积(即，图7中的二维卷积)，提取当前时窗内的时间序列数据的神经信号时间特性，进一步的利用空间卷积(即，图7中的深度二维卷积)捕获神经信号的空间响应特性，之后通过深度卷积层将时间卷积和空间卷积后的特征数据进行进一步的特征提取，从而得到多个卷积操作后的特征数据，之后通过特征拼接的方式进行特征融合，并通过全连接层对特征融合后的特征数据进行特征提取，最后输出当前时间窗所对应的方向信息。
S208：通过预设的机器学习算法对第二感兴趣区域所记录的、用户执行任务所诱发的第二神经电信号进行特征提取，得到相应的第二特征信号。
具体地，第二感兴趣区域所记录的为对优势手对侧手部运动想象中手部运动成分存在强烈神经电活动响应的大脑核心区域；用户执行任务所诱发的神经电信号为用户执行优势手对侧手部运动想象所诱导的神经电信号。
其中对于左优势手而言，优势手对侧手部为右手，对于右优势手而言，优势手对侧手部为左手。
特征提取是指将用户执行任务所诱发的第二神经电信号，包括获取用户优势手执行汉字笔画书写想象任务状态期间的神经电信号——此时优势手对侧手部呈现静止，以及优势手对侧手部运动想象期间的第二神经电信号作为训练样本；
通过信号预处理上使用预设频带的方式对第二神经电信号进行信号频域预处理，在已处理的频带下，利用空间滤波特性和时间滤波特性，实现用户的需求状态的二分类判定；
具体地，使用第二神经电信号的幅值特性与能量特性作为输入特征，其中幅值特性通过放大多通道短时间窗下的信号幅值差异，提取幅值特征，并且能量特性通过放大多通道混合能量差异，提取能量特征；特征提取通过放大不同需求状态类别的第二神经电信号之间的差异，进而实现第二神经电信号的特征提取。
具体地，状态识别中，首先通过使用空间滤波方式，提取神经电信号空间响应的有效成分，进一步的进行多时窗划分并求解其方差信息，提取信号的时间尺度特征信息。之后通过特征拼接的方式进行特征融合，并通过全连接层对该特征数据进行特征提取，具体参考图7所示。
用户执行优势手对侧的手部运动想象所诱发第二神经电信号中的第二特征信号并构建相应的二分类模型，即状态识别模型。
信号采集模块采集用户优势手对侧手部在想象书写汉字笔画时的神经电信号(即，第二神经电信号)，并将该神经电信号(即，第二神经电信号)作为训练样本。之后信号分类模块根据该训练样本对状态识别模型进行训练。
S210：根据第二特征信号判定用户的需求状态。
具体地，书写想象为用户优势手执行不同汉字笔画字形书写运动的想象。对书写想象的轨迹拟合为识别神经元活动模式中包含所书写想象的字形的空间位置分布在神经电信号中的特征信息，获得连续时间窗内神经电信号中方向性空间位置参数信息估计进而进行书写想象的轨迹拟合。优势手对侧手部运动想象所诱发第二神经电信号中的第二特征信号用于对用户的需求状态判定，包括保持当前状态与切换状态，状态识别模型通过对神经信号中的第二特征信号进行识别从而对用户非优势手是否存在运动想象进行二分类判定，信号分类模块输出分类结果即用户需求状态为保持当前状态还是切换状态。
轨迹拟合的开始与结束，需要首先明确用户的需求状态。其中用户的需求状态包含保持当前状态与切换状态，其中当前状态可以为空闲状态或者汉字笔画书写想象任务状态，其中切换状态为从空闲状态切换为汉字笔画书写想象任务状态，或者从汉字笔画书写想象任务状态切换为空闲状态。
更具体地，根据第一神经电信号特征信号确定对应的汉字书写轨迹拟合之前，信号分类模块首先明确用户的需求状态，继而确认是否将该第一神经电信号输入轨迹拟合模块，即开始或结束轨迹拟合。
并且其中状态识别模型用于确定神经电信号(即，第二神经电信号)是否与用户优势手对侧手部运动相关。当状态识别模型确定神经电信号(即，第二神经电信号)与用户优势手对侧手部运动相关，信号分类模块则确定用户的需求状态为切换状态。当状态识别模型确定神经电信号(即，第二神经电信号)与用户优势手对侧手部无关，信号分类模块则确定用户的需求状态为保持当前状态，当前状态可为空闲状态或者是汉字笔画书写想象任务状态。
具体地，系统初始状态为空闲状态，当用户需要开始自主想象书写汉字笔画则用户需求状态为切换状态，即将初始空闲状态转换为汉字笔画书写想象任务状态从而开始对书写想象轨迹进行拟合输出。参考图6所示，用户通过想象优势手对侧手部简单运动或书写任意汉字笔画，信号采集模块采集上述过程期间的神经电信号(即，第二神经电信号)，并将该神经电信号(即，第二神经电信号)输入至状态识别模型，状态识别模型确定该神经电信号(即，第二神经电信号)与优势手对侧手部运动相关，则信号分类模块确定当前的用户的需求状态为从空闲状态切换为汉字笔画书写想象任务状态。此时显示设备的屏幕上显示空白田字格提示用户可自主想象书写汉字笔画，信号采集模块采集书写想象过程中用户的神经电信号(即，第一神经电信号)。例如用户想象通过优势手书写汉字“木”，此时优势手对侧手部保持静止即不存在优势手对侧手部的运动想象。在用户想象书写汉字“木”的汉字笔画横(即，“一”)时，信号采集模块采集用户的神经电信号(即，第二神经电信号)，并将该神经电信号(即，第二神经电信号)输入至状态识别模型。状态识别模型识别到该神经电信号与优势手对侧手部运动无关，则信号分类模块确定当前的用户的需求状态为保持当前状态。其中当前状态为汉字笔画书写想象任务状态，从而信号分类模块将第二神经电信号作为第一神经电信号，并将神经电信号(即，第一神经电信号)输入轨迹拟合模块进行书写轨迹拟合，轨迹拟合字形实时显示于显示设备的屏幕中。
进一步地，用户想象书写汉字“木”的汉字笔画竖(即，“丨”)时，信号采集模块采集用户的神经电信号(即，第二神经电信号)，并将该神经电信号(即，第二神经电信号)输入至状态识别模型。状态识别模型识别到该神经电信号(即，第二神经电信号)与对侧手部运动无关，则信号分类模块确定当前用户的需求状态为保持当前状态。其中当前状态为汉字笔画书写想象任务状态，从而信号分类模块将第二神经电信号作为第一神经电信号，将神经电信号(即，第一神经电信号)输入轨迹拟合模块进行书写轨迹拟合，轨迹拟合字形实时显示于显示设备的屏幕中。
进一步地，用户将汉字“木”的所有汉字笔画都书写想象完毕，之后用户再次通过想象优势手对侧手部简单运动或书写任意汉字笔画，同时信号采集模块采集上述过程期间的神经电信号(即，第二神经电信号)。信号分类模块将该神经电信号(即，第二神经电信号)输入状态识别模型。状态识别模型确定该神经电信号(即，第二神经电信号)与优势手对侧手部运动相关，则信号分类模块确定当前的用户的需求状态为从汉字笔画书写想象任务状态切换为空闲状态，轨迹拟合模块停止轨迹拟合。
S212：通过所诱发的第二神经电信号中的第二特征信号，对当前想象任务的第一神经电信号相应的第一特征信号进行轨迹识别，确定与书写想象对应的书写运动轨迹参数信息并形成拟合轨迹，其中书写运动轨迹参数信息是想象书写速度，并且书写运动轨迹参数信息包括速度大小和方向。
具体地，参考图8所示，信号采集模块采集用户的神经电信号(即，第二神经电信号)，得到预定长度的时间窗下神经电信号(即，第二神经电信号)，并对神经电信号(即，第二神经电信号)中第二特征信号进行识别，特征信号识别结果输入信号分类模块，信号分类模块输出结果并确定用户的当前状态为汉字笔画书写想象任务状态的情况下，信号分类模块将第二神经电信号作为第一神经电信号，并将该段预定长度的时间窗下神经电信号(即，第一神经电信号)输入轨迹拟合模块，轨迹拟合模块对该段神经电信号(即，第一神经电信号)中特征信号进行识别并对轨迹方向性参数进行估计并形成拟合轨迹。信号采集模块采集用户的神经电信号(即，第二神经电信号)，将下一预定长度的时间窗下神经电信号(即，第二神经电信号)继续输入第一特征提取模块对第二特征信号进行识别，重复上述流程步骤。
若信号分类模块输出结果并确定用户的当前状态为空闲状态的情况下，则对该段时间窗下神经电信号(即，第二神经电信号)进行无输出处理。信号采集模块采集用户的神经电信号将下一预定长度的时间窗下神经电信号(即，第二神经电信号)继续输入第一特征提取模块对第二特征信号进行识别，重复上述流程步骤。
进一步地，轨迹拟合模块得到书写运动轨迹参数信息并形成拟合轨迹后，基于书写运动轨迹参数信息，按照既定速度与时间窗，便可绘制出该段时间长度下的书写轨迹，轨迹拟合模块将轨迹显示于显示设备的屏幕上。实时显示的拟合运动轨迹将识别为汉字笔画字符，参考图6所示，书写想象结束后，所识别的多个有序的汉字笔画字符，如多个有序笔画“横-竖-横”组合形成汉字“工”，据此可进行汉字通讯交流。
进一步地，参考图6所示，轨迹拟合模块所得到书写运动轨迹参数信息可用于应用于对可移动设备的移动轨迹路线控制的行动导航的机械控制指令。其中可移动设备例如可以为移动机器人产品等具备行动能力的可操纵导航设备。并且可移动设备行动导航的机械控制指令为连续指令，行动路线轨迹与书写运动轨迹在显示设备中进行显示的字形轨迹相同。
可选地，信号采集模块采集用户的神经电信号(即，第二神经电信号)，得到预定长度的时间窗下神经电信号(即，第二神经电信号)，并对神经电信号(即，第二神经电信号)中第二特征信号进行识别，将特征信号识别结果输入信号分类模块，信号分类模块输出结果并确定用户的当前状态为汉字笔画书写想象任务状态的情况下，信号分类模块将第二神经电信号作为第一神经电信号，之后将该段神经电信号(即，第一神经电信号)中特征信号进行识别并对轨迹方向性参数进行估计并形成拟合轨迹。
除此之外，本技术方案还对第一神经电信号进行处理，并确定与第一神经电信号对应的神经电信号类别。
具体地，用于脑机接口的汉字书写轨迹识别系统还包括：信号预处理模块，用于对所采集的第一神经电信号进行预处理；第二特征提取模块，用于对预处理后的第一神经电信号进行特征提取，生成相应的神经电信号特征；以及任务分类模块，用于根据神经电信号特征确定相应的神经电信号类别。其中任务分类模块包括：弱分类单元，用于根据神经电信号特征确定与神经电信号类别相关的弱分类信息；任务分类单元，用于根据弱分类信息确定神经电信号类别，其中神经电信号为采用滑动窗所提取的相应时隙的神经电信号。
进一步地，参考图9所示，根据本实施例所述的系统，弱分类单元包括多个二分类器1～b。并且其中二分类器的类别对应于不同的神经电信号类别。第二特征提取模块包括多个特征提取单元1～b，并且特征提取单元1～b分别与不同的二分类器1～b对应。并且其中，多个特征提取单元1～b接收预处理后的神经电信号，分别对神经电信号进行特征提取，并将所提取的神经电信号特征x1～xb传输至相应的二分类器；以及多个二分类器根据所接收的神经电信号特征，基于一对一分类法，确定与神经电信号对应的弱分类信息。
具体地，参考图10所示，在本实施例中，用于脑机接口的汉字书写轨迹识别系统能够识别不同的汉字笔画类别。假设汉字笔画类别的总数是K，其中K＝5。例如类别分别为C1～C5。从而与神经电信号类别对应的类别以及各个类别对应的汉字书写想象任务如下所示：
表1
从而，在本实施例中，弱分类单元包括b个二分类器，并且b个二分类器中每个二分类器的两个类别分别对应于以上K个类别(即，5个类别)中的两个不同类别。例如二分类器1用于对应的两个类别是C1和C2，二分类器2对应的两个类别是C1和C3，二分类器3对应的两个类别是C1和C4，...，以及二分类器b对应的两个类别是CK-1和CK(即，C4和C5)。即，弱分类单元的b个二分类器所对应的类别，涵盖了所有的两个不同类别的组合。从而b个二分类器可以通过一对一分类(one-to-one)的策略实现弱分类操作。例如，参考图9所示，各个二分类器1～b输出的二分类信息Q1～Qb共同构成了与神经电信号矩阵X对应的弱分类信息。
由于各个二分类器1～b对应的类别不同，因此为了使得各个二分类器1～b能够更加准确地进行分类，本实施例部署了b个特征提取单元1～b分别与不同的二分类器1～b对应，并且针对不同的二分类器1～b分别对预处理后的神经电信号矩阵X{B}进行特征提取，从而提取出神经电信号特征x1～xb。从而各个二分类器1～b可以根据相应的神经电信号特征x1～xb分别进行分类操作。从而本实施例的技术方案针对不同的二分类器1～b分别设置相应的特征提取单元1～b。从而相对于多个二分类器使用同一个神经电信号特征来说，本申请的技术方案的弱分类单元能够实现对神经电信号更准确地分类。
此外，进一步可选地，信号预处理模块用于执行以下操作：对于采集到的神经电信号矩阵利用与用户的响应频带匹配的滤波器，进行个体特异化频带滤波，得到预处理后的神经电信号矩阵X{B}，其中C和T为神经电信号矩阵的维度。该滤波器可以通过以下操作构建：
首先，获取用户的与不同的汉字书写想象任务对应的样本神经电信号矩阵X'1～X'K。例如，样本神经电信号矩阵X'1与用户对表1中类别1对应的横“一”进行汉字书写想象的神经电信号对应；样本神经电信号矩阵X'2与用户对表1中类别2对应的横“丨”进行汉字书写想象的神经电信号对应；以此类推，样本神经电信号矩阵X'K与用户对表1中类别K(即，类别5)折“フ”进行汉字书写想象的神经电信号对应。
然后，分别提取与各个样本神经电信号矩阵X'1～X'K对应的频谱信息。例如可以通过傅里叶变换生成分别与样本神经电信号矩阵X'1～X'K对应的频谱信息SP1～SPK。
根据所述频谱信息，针对预先设定的各个频带，确定各个样本神经电信号与每个频带对应幅值信息。例如，可以预先设定在用户神经电信号频谱范围内预先设定多个频带1～L。然后根据各个样本神经电信号矩阵X'1～X'K对应的频谱信息SP1～SPK，确定各个样本神经电信号矩阵X'1～X'K在各个频带1～L的幅值信息。
例如：
样本神经电信号矩阵X'1在频带1的幅值为A1,1；在频带2的幅值为A1,2；...；以此类推，在频带L的幅值为A1,L。
样本神经电信号矩阵X'2在频带1的幅值为A2,1；在频带2的幅值为A2,2；...；以此类推，在频带L的幅值为A2,L。
以此类推，样本神经电信号矩阵X'K在频带1的幅值为AK,1；在频带2的幅值为AK,2；...；以此类推，在频带L的幅值为AK,L。
其中样本神经电信号矩阵在各个频带的幅值，例如可用在该频带的幅值均值来表示。
然后针对每个频带，计算各个样本神经电信号的幅值信息的方差。
例如针对频带1，计算各个样本神经电信号的幅值信息A1,1、A2,1、A3,1、...、AK,1的方差：
其中，为各个样本神经电信号在频带1中的幅值信息A1,1～AK,1的方差，/>为各个样本神经电信号在频带1中的幅值信息A1,1～AK,1的均值。
例如针对频带2，计算各个样本神经电信号的幅值信息A1,2、A2,2、A3,2、...、AK,2的方差：
其中，为各个样本神经电信号在频带2中的幅值信息A1,2～AK,2的方差，/>为各个样本神经电信号在频带2中的幅值信息A1,2～AK,2的均值。
以此类推，针对频带L，计算各个样本神经电信号的幅值信息A1,L、A2,L、A3,L、...、AK,L的方差：
其中，为各个样本神经电信号在频带L中的幅值信息A1,L～AK,L的方差，/>为各个样本神经电信号在频带L中的幅值信息A1,L～AK,L的均值。
基于所计算的方差，确定所述用户的响应频带；以及
具体地，方差值越大，则意味着对应的频带，不同样本神经电信号的幅值差异越大。从而，方差值大的频带，可以视为用户的响应频带。具体地，可以将方差大于预定阈值的频带视为用户的响应频带。或者，可以将计算得到的方差值输入至预先设置的二分类模型(例如逻辑回归)，从而确定相应的频带是否是用户的响应频带。
基于所述用户的响应频带构建所述滤波器，其中所述滤波器用于通过与所述用户的响应频带对应的神经电信号分量且滤除其他频带的神经电信号分量。
从而在具体的应用过程中，可以利用该滤波器对用户采集的神经电信号矩阵进行个体特异化频带滤波，得到预处理后的神经电信号矩阵X{B}。
从而通过这种方式，本实施例可以将特征信息明显的频带分量从神经电信号矩阵X中提取出来，从而可以更加准确地确定用户的书写想象任务。
进一步可选地，第二特征提取模块的第j个特征提取单元(j＝1～b)用于执行以下操作：
确定预处理后的神经电信号矩阵X{B}的协方差矩阵P：
根据第j个特征提取单元的信号投影矩阵和协方差矩阵P，提取神经电信号矩阵的特征：
其中xj表示第j个特征提取单元所提取的神经电信号特征，M表示神经电信号特征xj的特征的对数，以及diag(A)表示返回矩阵A的对角线元素并构成向量。
从而，对于从特征提取单元1～特征提取单元b的每一个特征提取单元j，都按照以上方式进行特征提取。由于对于不同的特征提取单元，信号投影矩阵Wj也不同，因此可以提取不同的神经电信号特征xj。
此外，每个特征提取单元j(j＝1～b)的信号投影矩阵Wj可以按照以下操作确定：
步骤1.构建神经电信号矩阵的样本集其中i＝1或2。其中/>为与第j个二分类器(即二分类器j)的一个类别对应的神经电信号矩阵(n＝1～N1)；/>为与第j个二分类器(即二分类器j)的另一个类别对应的神经电信号矩阵(n＝1～N2)。
以特征提取单元1为例，其对应的二分类器1的两个类别分别是C1和C2。从而，(即，/>）为与类别C1对应的导电信号矩阵(即与笔画横“一”对应的神经电信号矩阵)的样本集。/>(即，/>)为与类别C2对应的导电信号矩阵(即与笔画横“一”对应的神经电信号矩阵)的样本集。对于其他的特征提取单元也以此类推，此处不再赘述。
步骤2.利用信号预处理模块对样本集中的神经电信号矩阵进行预处理，从而生成预处理后的神经电信号矩阵/>即，信号预处理模块按照如上所述的方式，根据用户的响应频带，对各个神经电信号矩阵/>进行相应子带的滤波，从而得到相应的预处理后的神经电信号矩阵/>即经过特异化频带滤波预处理后的信号矩阵/>
步骤3.针对预处理后获得的每一个信号矩阵计算信号矩阵/>的协方差矩阵：
步骤4.分别计算的均值/>和/>的均值/>作为二分类器j的两个不同类别的神经电信号矩阵样本的协方差均值：
步骤5.构建信号间差异最大化模型并计算信号投影矩阵Wj：
从而通过以上操作，可以针对各个特征提取单元j，确定相应的信号投影矩阵Wj。
此外，进一步可选地，多个二分类器为预先训练的基于LASSO回归模型的二分类器，并且弱分类单元用于执行以下操作：利用第j个二分类器对第j个特征提取单元提取的神经电信号特征xj进行二分类，确定与第j个二分类器对应的二分类信息，作为弱分类信息的一部分。
具体地，参考图9所示，二分类器1～二分类器b均为预先训练的基于LASSO回归模型的二分类器。例如对于二分类器1～二分类器b中的任意二分类器j，可以基于以下公式基于相应的神经电信号特征xj进行二分类操作：
其中，zj表示与神经电信号特征xj对应的标签，bj为2M×1的向量，表示与第j个分类器对应的线性拟合的映射矩阵，λj和αj为第j个二分类器的调节系数。
从而二分类器1～二分类器b可以输出各自的二分类信息Q1～Qb，从而构成弱分类信息。其中，二分类信息Qj(即Q1～Qb)例如可以是二维向量，该二维向量的元素为分别与相应二分类器的两个类别对应的参数值。
可选地，任务分类单元用于：将弱分类信息进行融合，生成融合分类信息；以及根据融合分类信息，利用softmax回归模型确定神经电信号类别。
具体地，任务分类单元可以将弱分类信息Q1～Qb进行融合，例如将其进行拼接，从而生成融合分类信息x。
然后，任务分类单元根据以下基于softmax回归模型的公式，确定与神经电信号矩阵X对应的神经电信号类别：
其中，K表示神经电信号类别的类别总数；z为当前预测的神经电信号类别(其中，z＝1～K)，p(z|x)表示融合分类信息x对应的神经电信号类别为类别z的概率。当p(z|x)大于预设的概率阈值p时，确定类别z为神经电信号矩阵X对应的神经电信号类别。即在本申请的在线任务分类中，仅当融合分类信息x对应的神经电信号类别的概率大于阈值时，才对该神经电信号进行分类，否则丢弃当前滑动时间窗下的神经电信号数据。
此外公式中的Yz(z＝1～K)为先生参数，可以通过梯度下降等方法进行样本训练确定。
从而，如图11A所示，本实施例采用滑动时间窗提取不同时隙下的神经电信号数据，对于所提取的信号数据，利用softmax回归模型确定与神经电信号数据对应的神经电信号类别。
或者，参考图11B所示，任务分类单元可以将融合分类信息x输入预先训练的神经网络。
然后，任务分类单元利用softmax分类器，根据神经网络输出的信息确定与神经电信号矩阵X对应的神经电信号类别。其中p(z|x)表示融合分类信息x对应的神经电信号类别为类别z的概率。其中概率值最大的类别，即为与神经电信号数据对应的神经电信号类别。
从而，本实施例在利用多个二分类器确定与神经电信号相关的多个二分类结果之后，并不是直接通过投票的方式确定神经电信号类别，而是将二分类结果作为弱分类信息，并进一步作为待分析特征，利用softmax回归模型或者是神经网络进行进一步的特征分析，从而能够在信号差别不明显的情况下，进行更加准确地分类。
从而根据本实施例，用户视觉追随跟踪屏幕显示的行进的一笔的汉字笔画手写字符字形轨迹，从而进行汉字笔画的书写想象。汉字笔画的手写字符为手部书写线条形式不是印刷体形式，字形轨迹为单一的一笔连贯过程，中间无断笔。相比于视觉识别印刷体的字符，如印刷体字母，功能影像研究观察到手写的字母的连续运动形式对于左侧中部运动前皮层的激活更强。观察、学习和记忆、模仿是人类重要特质，通过预先采集成年人手部自然书写一笔的汉字笔画的连续过程并建立不同汉字笔画类型所对应的书写模版。书写想象不产生书写动作因此失去所形成的手部书写痕迹的视觉反馈，视觉追随汉字笔画手写笔画行进轨迹模版随时间的动态展开形式如同用户观察自身在纸上手写一笔汉字笔画时自身书写的一样，有助于用户良好执行书写想象并学习记忆这一过程，如同跟随模版轨迹进行一次手部书写任务。经实验证明，以一笔的汉字笔画手写字符形式，即包含个体书写的特征标签形式进行辅助书写想象相较于无辅助模式进行书写想象以及标准印刷格式进行辅助想象，分别可提高对神经电信号进行分类识别的准确率30％及20％。
并且以直接手部书写想象方式，相较于完整的整块方正汉字字形轨迹想象及图形拟合，通常由一笔可直接书写而成的汉字笔画具有方向信息明确、简单易掌握，书写训练内容少，好用、易用属性。简单的一笔笔画书写方向清晰，包含水平、垂直与对角线方向，在一次连续轨迹拟合任务下不存在想象过多的卷曲或转折方向变化。根据从小习得约定俗成的汉字书写笔顺规则，不增加额外训练内容，据笔画组合的有序性特点，汉字可由多个一笔书写的汉字笔画有序构成且有序地笔画组合对汉字具有唯一指向的准确性特点，使得对用户的训练内容在实际应用汇总具有可拓展性，多个一笔的有序简洁方向笔画能够形成数量众多的图形汉字。同时，对用户注意力要求、执行与记忆检索提取以良好完成任务所需的认知负荷要求低，能够保持在同一书写想象任务类型下的不同次书写想象期间所诱导信号特征一致性。
在用户书写想象过程中，用户通过视觉跟随的方式想象书写一笔的汉字笔画，能够实现轨迹参数的可重复一致性，有益于对神经电信号中的特征信号进行稳健的轨迹参数信息估计，除此之外，对用户自身在不断的跟随辅助书写想象中进行训练，从而熟悉单一一笔的汉字笔画的书写速度和方向，形成自身的书写习惯。进而用户可以容易地根据汉字笔画的书写习惯，自主简单快速的书写想象单一一笔的汉字笔画手写字符。
并且用户自主根据受教育的汉字书写笔顺规则直接书写想象单一一笔的汉字笔画以构成目标汉字，与现有技术相比，本技术方案无需在多个字符中选择需要的字符，即以非直接书写/口语方式进行通讯交流从而生成汉字，同时避免了长时间专注地通过视/听觉注意需要选择的字符而产生疲劳感，无需训练学习记忆完整的整块复杂图形汉字。从而本技术方案仅仅根据简单方向一笔合成的汉字笔画进行书写想象即可利用汉字笔顺有序性组合快速生成汉字，从而提高了与他人沟通的效率。
并且用户通过直接书写想象具有明确方向性的一笔字形线条，所诱导神经电信号可对书写想象字形轨迹的速度大小与方向进行实时解析，拟合形成连续平滑轨迹，可将所述书写运动轨迹转换为应用于想象移动轨迹路线控制的可移动设备行动导航的机械控制指令，从而在恢复言语构音及严重肢体运动障碍使用者的语言沟通基础上扩展使用场景，进一步恢复个体生活基本场景下的移动控制能力。
实施例2
图1示例性的示出了本申请实施例的基于脑机接口的汉字书写轨迹识别系统示意图。参照图1所示，本申请提供了一种基于脑机接口的汉字书写轨迹识别系统，包括：信号采集模块；第一特征提取模块；信号分类模块；以及轨迹拟合模块，其中信号采集模块配置用于执行以下操作：采集用户大脑中第一感兴趣区域所记录的第一神经电信号，其中第一神经电信号为用户在视觉追随屏幕显示的，预先设定为特定速度大小以匀速行进的，一笔的汉字笔画手写字符的字形轨迹，想象同步书写汉字笔画过程中所诱发的神经电信号，并且其中汉字笔画的手写字符为带有成人手部书写线条样式而不是标准印刷字体形式的字形轨迹，字形轨迹为单一的一笔连贯过程，中间无断笔，其中第一感兴趣区域为对汉字手写的字形轨迹书写想象任务中手部文字书写的运动成分、汉语言文字视觉-字形记忆及识别成分、和视觉-运动感知整合成分存在强烈神经电活动响应、有益于字形轨迹拟合的大脑核心区域；采集用户大脑中第二感兴趣区域所记录的第二神经电信号，其中第二神经电信号为用户执行优势手对侧手部运动想象过程中所诱发的神经电信号，并且其中第二感兴趣区域为优势手对侧手部运动想象中手部运动成分诱导的存在强烈神经电活动响应、有益于信号分类的大脑核心区域，并且第一特征提取模块配置用于执行以下操作：通过预设的机器学习算法对第一感兴趣区域所记录的、用户执行任务所诱发的第一神经电信号进行特征提取，得到相应的第一特征信号；通过预设的机器学习算法对第二感兴趣区域所记录的、用户执行任务所诱发的第二神经电信号进行特征提取，得到相应的第二特征信号，并且信号分类模块配置用于执行以下操作：根据第二特征信号判定用户的需求状态，并且轨迹拟合模块配置用于执行以下操作：通过所诱发的第二神经电信号中的第二特征信号，对当前想象任务的第一神经电信号相应的第一特征信号进行轨迹识别，确定与书写想象对应的书写运动轨迹参数信息并形成拟合轨迹，其中书写运动轨迹参数信息是想象书写速度，并且书写运动轨迹参数信息包括速度大小和方向。
从而根据本实施例，用户视觉追随跟踪屏幕显示的行进的一笔的汉字笔画手写字符字形轨迹，从而进行汉字笔画的书写想象。汉字笔画的手写字符为手部书写线条形式不是印刷体形式，字形轨迹为单一的一笔连贯过程，中间无断笔。相比于视觉识别印刷体的字符，如印刷体字母，功能影像研究观察到手写的字母的连续运动形式对于左侧中部运动前皮层的激活更强。观察、学习和记忆、模仿是人类重要特质，通过预先采集成年人手部自然书写一笔的汉字笔画的连续过程并建立不同汉字笔画类型所对应的书写模版。书写想象不产生书写动作因此失去所形成的手部书写痕迹的视觉反馈，视觉追随汉字笔画手写笔画行进轨迹模版随时间的动态展开形式如同用户观察自身在纸上手写一笔汉字笔画时自身书写的一样，有助于用户良好执行书写想象并学习记忆这一过程，如同跟随模版轨迹进行一次手部书写任务。经实验证明，以一笔的汉字笔画手写字符形式，即包含个体书写的特征标签形式进行辅助书写想象相较于无辅助模式进行书写想象以及标准印刷格式进行辅助想象，分别可提高对神经电信号进行分类识别的准确率30％及20％。
并且以直接手部书写想象方式，相较于完整的整块方正汉字字形轨迹想象及图形拟合，通常由一笔可直接书写而成的汉字笔画具有方向信息明确、简单易掌握，书写训练内容少，好用、易用属性。简单的一笔笔画书写方向清晰，包含水平、垂直与对角线方向，在一次连续轨迹拟合任务下不存在想象过多的卷曲或转折方向变化。根据从小习得约定俗成的汉字书写笔顺规则，不增加额外训练内容，据笔画组合的有序性特点，汉字可由多个一笔书写的汉字笔画有序构成且有序地笔画组合对汉字具有唯一指向的准确性特点，使得对用户的训练内容在实际应用汇总具有可拓展性，多个一笔的有序简洁方向笔画能够形成数量众多的图形汉字。同时，对用户注意力要求、执行与记忆检索提取以良好完成任务所需的认知负荷要求低，能够保持在同一书写想象任务类型下的不同次书写想象期间所诱导信号特征一致性。
在用户书写想象过程中，用户通过视觉跟随的方式想象书写一笔的汉字笔画，能够实现轨迹参数的可重复一致性，有益于对神经电信号中的特征信号进行稳健的轨迹参数信息估计，除此之外，对用户自身在不断的跟随辅助书写想象中进行训练，从而熟悉单一一笔的汉字笔画的书写速度和方向，形成自身的书写习惯。进而用户可以容易地根据汉字笔画的书写习惯，自主简单快速的书写想象单一一笔的汉字笔画手写字符。
并且用户自主根据受教育的汉字书写笔顺规则直接书写想象单一一笔的汉字笔画以构成目标汉字，与现有技术相比，本技术方案无需在多个字符中选择需要的字符，即以非直接书写/口语方式进行通讯交流从而生成汉字，同时避免了长时间专注地通过视/听觉注意需要选择的字符而产生疲劳感，无需训练学习记忆完整的整块复杂图形汉字。从而本技术方案仅仅根据简单方向一笔合成的汉字笔画进行书写想象即可利用汉字笔顺有序性组合快速生成汉字，从而提高了与他人沟通的效率。
并且用户通过直接书写想象具有明确方向性的一笔字形线条，所诱导神经电信号可对书写想象字形轨迹的速度大小与方向进行实时解析，拟合形成连续平滑轨迹，可将所述书写运动轨迹转换为应用于想象移动轨迹路线控制的可移动设备行动导航的机械控制指令，从而在恢复言语构音及严重肢体运动障碍使用者的语言沟通基础上扩展使用场景，进一步恢复个体生活基本场景下的移动控制能力。
本申请实施例提供了一种电子设备，包括一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述实施例中的技术方案。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种用于脑机接口的汉字书写轨迹识别方法，其特征在于，包括：
采集用户大脑中第一感兴趣区域所记录的第一神经电信号，其中所述第一神经电信号为所述用户在视觉追随屏幕显示的，预先设定为特定速度大小以匀速行进的，一笔的汉字笔画手写字符的字形轨迹，想象同步书写汉字笔画过程中所诱发的神经电信号，并且其中所述汉字笔画的手写字符为带有成人手部书写线条样式而不是标准印刷字体形式的字形轨迹，所述字形轨迹为单一的一笔连贯过程，中间无断笔，其中所述第一感兴趣区域为对汉字手写的字形轨迹书写想象任务中手部文字书写的运动成分、汉语言文字视觉-字形记忆及识别成分、和视觉-运动感知整合成分存在强烈神经电活动响应、有益于字形轨迹拟合的大脑核心区域；
采集用户大脑中第二感兴趣区域所记录的第二神经电信号，其中所述第二神经电信号为所述用户执行优势手对侧手部运动想象过程中所诱发的神经电信号，并且其中所述第二感兴趣区域为优势手对侧手部运动想象中手部运动成分诱导的存在强烈神经电活动响应、有益于信号分类的大脑核心区域；
通过预设的机器学习算法对所述第一感兴趣区域所记录的、所述用户执行任务所诱发的第一神经电信号进行特征提取，得到相应的第一特征信号；
通过预设的机器学习算法对所述第二感兴趣区域所记录的、所述用户执行任务所诱发的第二神经电信号进行特征提取，得到相应的第二特征信号；
根据所述第二特征信号判定所述用户的需求状态；以及
通过所诱发的第二神经电信号中的第二特征信号，对当前想象任务的第一神经电信号相应的第一特征信号进行轨迹识别，确定与所述书写想象对应的书写运动轨迹参数信息并形成拟合轨迹，其中所述书写运动轨迹参数信息是想象书写速度，并且所述书写运动轨迹参数信息包括速度大小和方向。
2.根据权利要求1所述的方法，其特征在于，还包括：所采集的第一神经电信号为所述用户根据提示一笔的汉字笔画手写字符，完成所提示一笔的汉字笔画的自主书写想象所诱导的神经电信号，其中所述自主书写想象是在无视觉追随移动光标的情况下，自行完成所提示一笔的汉字笔画的书写想象过程。
3.根据权利要求2所述的方法，其特征在于，还包括：所述第一神经电信号为所述用户在连续时间段内进行多次一笔的汉字笔画书写想象所诱导的神经电信号，其中所述多次一笔的汉字笔画书写想象的操作是根据目标汉字拆解形成多个汉字笔画有序单元并依据所述多个汉字笔画有序单元连续依次地书写想象所述一笔的汉字笔画，通过笔画单元组合以构成汉字。
4.根据权利要求3所述的方法，其特征在于，还包括：所述第一神经电信号为所述用户通过对所述汉字笔画进行书写想象的过程中产生的神经电信号，其中所述汉字笔画的书写想象过程包含的视觉追随引导的书写想象过程及自主书写想象过程，均要求保持匀速。
5.根据权利要求1所述的方法，其特征在于，通过预设的机器学习算法对第一感兴趣区域所记录的、用户执行任务所诱发的第一神经电信号进行特征提取，得到相应的第一特征信号的操作，包括：
对所诱发的所述第一神经电信号与想象任务进行相互匹配，其中所述想象任务包含多种一笔的汉字笔画手写字符的字形轨迹，并且其中所述想象任务的执行是一具有明确时间起止的、在一段时间内进行连续书写想象汉字笔画字形的任务，相互匹配后即每一想象书写汉字笔画字形任务对应一种神经电信号模式，所述神经电信号模式包含字形轨迹具有的所有书写运动轨迹参数信息，并且其中所述书写运动轨迹参数信息包含速度大小及空间位置方向对应的特征信号；
通过信号预处理上使用预设频带的方式对所述第一神经电信号进行信号频域预处理，在已处理的频带下，利用空间滤波特性和时间滤波特性，实现时间连续轨迹参数估计和轨迹拟合；
使用所述第一神经电信号的幅值特性与能量特性作为输入特征，其中所述幅值特性通过放大多通道短时间窗下的信号幅值差异，提取幅值特征，并且所述能量特性通过放大多通道混合能量差异，提取能量特征；
所述特征提取通过拟合所述第一神经电信号与轨迹之间的相互关系，放大不同书写速度下的所述第一神经电信号之间的差异，进而实现所述第一神经电信号的特征提取。
6.根据权利要求1所述的方法，其特征在于，通过预设的机器学习算法对所述第二感兴趣区域所记录的、所述用户执行任务所诱发的第二神经电信号进行特征提取，得到相应的第二特征信号的操作，包括：
所述第二感兴趣区域为对所述优势手对侧手部运动想象中手部运动成分存在强烈神经电活动响应的大脑核心区域；
所述用户执行任务所诱发的第二神经电信号，包括获取所述用户优势手执行汉字笔画书写想象任务状态期间的神经电信号，其中此时所述优势手对侧手部呈现静止，以及将所述优势手对侧手部运动想象期间的第二神经电信号作为训练样本；
通过信号预处理上使用预设频带的方式对所述第二神经电信号进行信号频域预处理，在已处理的频带下，利用空间滤波特性和时间滤波特性，实现所述用户的需求状态的二分类判定；
使用所述第二神经电信号的幅值特性与能量特性作为输入特征，其中所述幅值特性通过放大多通道短时间窗下的信号幅值差异，提取幅值特征，并且所述能量特性通过放大多通道混合能量差异，提取能量特征；
所述特征提取通过放大不同需求状态类别的所述第二神经电信号之间的差异，进而实现信号特征提取。
7.根据权利要求1所述的方法，其特征在于，根据所述第二特征信号判定所述用户的需求状态的操作，包括：
提取所述第二特征信号后，通过二分类模型确定所述用户的需求状态，所述需求状态包括保持当前状态与切换状态，识别为所述保持当前状态和所述切换状态是通过所述用户优势手对侧手部是否存在运动来表征的，所述切换状态为所述用户通过执行优势手对侧手部运动想象所诱发；
其中当识别所述优势手对侧手部为运动的第二特征信号，则分类为所述切换状态，其中所述切换状态为在空闲状态下切换为汉字笔画书写想象任务状态，或者在所述汉字笔画书写想象任务状态下切换为所述空闲状态，当识别所述优势手对侧手部为静止的第二特征信号，则分类为所述保持当前状态，并且
方法还包括：将所述想象书写的拟合运动轨迹识别为所述一笔的汉字笔画的手写字符，其中多个有序一笔的汉字笔画字符可组合形成汉字，进行汉字通讯交流；以及
将所述书写运动轨迹转换为应用于想象移动轨迹路线控制的可移动设备行动导航的机械控制指令。
8.根据权利要求1所述的方法，其特征在于，还包括：对所述第一神经电信号进行处理，并确定与所述第一神经电信号对应的神经电信号类别，其中
对所述第一神经电信号进行处理，并确定与所述第一神经电信号对应的神经电信号类别的操作，包括：对所采集的所述第一神经电信号进行预处理；
对预处理后的所述第一神经电信号进行特征提取，生成相应的神经电信号特征；以及
根据所述神经电信号特征确定相应的神经电信号类别，其中
根据所述神经电信号特征确定相应的神经电信号类别的操作，包括：根据所述神经电信号特征确定与所述神经电信号类别相关的弱分类信息；以及
根据所述弱分类信息确定所述神经电信号类别，其中所述第一神经电信号为采用滑动窗所提取的相应时隙的神经电信号，其中所述神经电信号类别与汉字书写相关的汉字书写想象任务对应，并且其中所述汉字书写想象任务包括针对所述汉字笔画的汉字书写想象，其中
根据所述神经电信号特征确定与所述神经电信号类别相关的弱分类信息的操作，包括：通过多个二分类器根据所述神经电信号特征确定与所述神经电信号类别相关的弱分类信息，其中所述二分类器的类别对应于不同的所述神经电信号类别，并且
对预处理后的所述第一神经电信号进行特征提取的操作，包括：针对不同的二分类器，分别提取相应的特征，生成相应的所述神经电信号特征并传输至相应的所述二分类器；以及
所述多个二分类器根据所接收的所述神经电信号特征，基于一对一分类法，确定与所述第一神经电信号对应的所述弱分类信息，并且其中
对所采集的所述第一神经电信号进行预处理的操作，包括：对于采集到的第一神经电信号的神经电信号矩阵利用与所述用户的响应频带匹配的滤波器，进行个体特异化频带滤波，得到预处理后的神经电信号矩阵X{B}，其中C和T为所述神经电信号矩阵的维度，并且其中，所述滤波器通过以下操作构建：
获取所述用户的与不同的汉字书写想象任务对应的样本神经电信号矩阵X'1～X'K；分别生成与各个样本神经电信号矩阵X'1～X'K对应的频谱信息；根据所述频谱信息，针对预先设定的各个频带，确定所述各个样本神经电信号与每个频带对应幅值信息；针对所述每个频带，计算所述各个样本神经电信号的幅值信息的方差；基于所计算的方差，确定所述用户的响应频带；以及基于所述用户的响应频带构建所述滤波器，其中所述滤波器用于通过与所述用户的响应频带对应的神经电信号且滤除其他频带的神经电信号，并且
针对不同的二分类器，分别提取相应的特征的操作，包括，通过第j个特征提取单元执行以下操作：确定预处理后的所述神经电信号矩阵X{B}的协方差矩阵P：
根据所述第j个特征提取单元的信号投影矩阵和协方差矩阵P，提取所述神经电信号矩阵的特征：
其中xj表示所述第j个特征提取单元所提取的所述神经电信号特征，M表示神经电信号特征xj的特征的对数，以及diag(A)表示返回矩阵A的对角线元素并构成向量，并且
所述多个二分类器为预先训练的基于LASSO回归模型的二分类器，并且确定与所述神经电信号类别相关的弱分类信息的操作，包括：利用第j个二分类器对所述第j个特征提取单元提取的所述神经电信号特征xj进行二分类，确定与所述第j个二分类器对应的二分类信息，作为所述弱分类信息的一部分，并且其中
根据所述弱分类信息确定所述神经电信号类别的操作，包括：将所述弱分类信息进行融合，生成融合分类信息；以及根据所述融合分类信息，利用softmax回归模型确定所述神经电信号类别。
9.一种基于脑机接口的汉字书写轨迹识别系统，其特征在于，包括：信号采集模块；第一特征提取模块；信号分类模块；以及轨迹拟合模块，其中
所述信号采集模块配置用于执行以下操作：采集用户大脑中第一感兴趣区域所记录的第一神经电信号，其中所述第一神经电信号为所述用户在视觉追随屏幕显示的，预先设定为特定速度大小以匀速行进的，一笔的汉字笔画手写字符的字形轨迹，想象同步书写汉字笔画过程中所诱发的神经电信号，并且其中所述汉字笔画的手写字符为带有成人手部书写线条样式而不是标准印刷字体形式的字形轨迹，所述字形轨迹为单一的一笔连贯过程，中间无断笔，其中所述第一感兴趣区域为对汉字手写的字形轨迹书写想象任务中手部文字书写的运动成分、汉语言文字视觉-字形记忆及识别成分、和视觉-运动感知整合成分存在强烈神经电活动响应、有益于字形轨迹拟合的大脑核心区域；
采集用户大脑中第二感兴趣区域所记录的第二神经电信号，其中所述第二神经电信号为所述用户执行优势手对侧手部运动想象过程中所诱发的神经电信号，并且其中所述第二感兴趣区域为优势手对侧手部运动想象中手部运动成分诱导的存在强烈神经电活动响应、有益于信号分类的大脑核心区域，并且
所述第一特征提取模块配置用于执行以下操作：通过预设的机器学习算法对所述第一感兴趣区域所记录的、所述用户执行任务所诱发的第一神经电信号进行特征提取，得到相应的第一特征信号；
通过预设的机器学习算法对所述第二感兴趣区域所记录的、所述用户执行任务所诱发的第二神经电信号进行特征提取，得到相应的第二特征信号，并且
所述信号分类模块配置用于执行以下操作：根据所述第二特征信号判定所述用户的需求状态，并且
所述轨迹拟合模块配置用于执行以下操作：通过所诱发的第二神经电信号中的第二特征信号，对当前想象任务的第一神经电信号相应的第一特征信号进行轨迹识别，确定与所述书写想象对应的书写运动轨迹参数信息并形成拟合轨迹，其中所述书写运动轨迹参数信息是想象书写速度，并且所述书写运动轨迹参数信息包括速度大小和方向。
10.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。
CN202311574868.8A 2023-11-23 2023-11-23 基于脑机接口的汉字书写轨迹识别方法、系统及电子设备 Pending CN117608400A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311574868.8A CN117608400A (zh) 2023-11-23 2023-11-23 基于脑机接口的汉字书写轨迹识别方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311574868.8A CN117608400A (zh) 2023-11-23 2023-11-23 基于脑机接口的汉字书写轨迹识别方法、系统及电子设备

Publications (1)

Publication Number Publication Date
CN117608400A true CN117608400A (zh) 2024-02-27

Family

ID=89950830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311574868.8A Pending CN117608400A (zh) 2023-11-23 2023-11-23 基于脑机接口的汉字书写轨迹识别方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN117608400A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117930987A (zh) * 2024-03-25 2024-04-26 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于脑电信号的汉字笔画输出方法、装置及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117930987A (zh) * 2024-03-25 2024-04-26 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于脑电信号的汉字笔画输出方法、装置及存储介质

Similar Documents

Publication Publication Date Title
Vinola et al. A survey on human emotion recognition approaches, databases and applications
Gunes et al. Bodily expression for automatic affect recognition
CN112766173B (zh) 一种基于ai深度学习的多模态情感分析方法及其系统
Song Facial expression emotion recognition model integrating philosophy and machine learning theory
CN117389441B (zh) 基于视觉追随辅助的书写想象汉字轨迹确定方法及系统
CN117608400A (zh) 基于脑机接口的汉字书写轨迹识别方法、系统及电子设备
CN117608399B (zh) 基于汉字笔画的轨迹拟合方法以及装置
CN117608402B (zh) 一种基于汉字书写想象的隐蔽汉语言处理系统和方法
El Kaliouby Mind-reading machines: automated inference of complex mental states
Yuan et al. Chinese sign language alphabet recognition based on random forest algorithm
Zou et al. eyeSay: Make eyes speak for ALS patients with deep transfer learning-empowered wearable
Singh et al. Architectural review of co-adaptive brain computer interface
Magdin et al. Are instructed emotional states suitable for classification? Demonstration of how they can significantly influence the classification result in an automated recognition system
Lee et al. Wedar: Webcam-based attention analysis via attention regulator behavior recognition with a novel e-reading dataset
Pathak et al. A facial expression recognition system to predict emotions
Jain et al. Study for emotion recognition of different age groups students during online class
Derr et al. Signer-independent classification of American sign language word signs using surface EMG
Altememe et al. A Review for Sign Language Recognition Techniques
de Oliveira Schultz Ascari et al. MyPGI-a methodology to yield personalized gestural interaction
Ruiz-Garcia et al. Emotion recognition using facial expression images for a robotic companion
Wang et al. Simulation experiment of bci based on imagined speech eeg decoding
Subashini et al. Artificial intelligence-based assistive technology
Calapatia et al. Using body posture, movement and human activity to predict emotions
Etesam et al. Emotional Theory of Mind: Bridging Fast Visual Processing with Slow Linguistic Reasoning
Reddy et al. Brain Waves Computation using ML in Gaming Consoles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination