CN117389441B - 基于视觉追随辅助的书写想象汉字轨迹确定方法及系统 - Google Patents

基于视觉追随辅助的书写想象汉字轨迹确定方法及系统 Download PDF

Info

Publication number
CN117389441B
CN117389441B CN202311577172.0A CN202311577172A CN117389441B CN 117389441 B CN117389441 B CN 117389441B CN 202311577172 A CN202311577172 A CN 202311577172A CN 117389441 B CN117389441 B CN 117389441B
Authority
CN
China
Prior art keywords
writing
nerve
imagination
user
chinese character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311577172.0A
Other languages
English (en)
Other versions
CN117389441A (zh
Inventor
王伊龙
陈奕奕
马婷
蔡国庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tiantan Hospital
Original Assignee
Beijing Tiantan Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tiantan Hospital filed Critical Beijing Tiantan Hospital
Priority to CN202311577172.0A priority Critical patent/CN117389441B/zh
Publication of CN117389441A publication Critical patent/CN117389441A/zh
Application granted granted Critical
Publication of CN117389441B publication Critical patent/CN117389441B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Abstract

本申请公开了一种基于视觉追随辅助的书写想象汉字轨迹确定方法及系统。涉及人机交互领域。其中方法包括：在界面上显示第一虚拟光标，第一虚拟光标以预设速度发生移动并形成多个不同的手写运动轨迹；在用户视觉跟随第一虚拟光标的手写运动轨迹，并想象进行与第一虚拟光标的速度及方向匹配的同步书写的过程中，采集用户的第一神经电信号作为训练样本；以及创建用于对用户书写想象的神经电信号进行识别的分类识别模型，并利用第一神经电信号对分类识别模型进行训练，其中分类识别模型是通过训练样本构建的以书写想象的汉字笔画为输出的模型。

Description

基于视觉追随辅助的书写想象汉字轨迹确定方法及系统
技术领域
本申请涉及人机交互领域，特别是涉及一种基于视觉追随辅助的书写想象汉字轨迹确定方法及系统。
背景技术
肌萎缩侧索硬化(Amyotrophic Lateral Sclerosis,ALS)是一种异质性的神经退行性疾病，表现为大脑和脊髓中例如支配言语发音、吞咽以及肢体和躯干肌肉的运动神经元丢失。为帮助因ALS疾病导致严重运动障碍或语言沟通障碍的患者实现自身与外部环境的良好交互，脑机接口(Brain-computer interface,BCI)被应用以期为ALS患者提供电子神经旁路，促进ALS患者与外界的语言沟通效率。其中，大脑初级运动皮层M1手结区被认为主要控制手部及手指的运动，参与编码手部运动学信息，2021年，美国BrainGate项目利用侵入式电极植入感觉运动皮层中的M1手结区，实现意念书写英文字符达到90字符/分钟，已接近正常打字100字符/分钟的速度。
现有技术中以字符显示(如单一字母或单字)、语言沟通为目的地通讯BCI系统，如视觉诱发电位拼写器及事件相关电位，典型的如BCI-P300拼写器。这些系统的用户操作方式取决于系统所使用的神经特征信号类型，而这些用户操作与终点效应器，如“光标指向某位置”这一目标过程或对“发音”与“书写文字”这些人类语言表达沟通的直接方式无直接联系。具体而言，1)视觉诱发电位(visual evokedpotential,VEP)拼写器，如“基于稳态视觉诱发电位(steady-state visual evokedpotential,SSVEP)”的BCI系统，系统的显示设备可按照棋盘式分布所有可选择的字符，如字母，每个字母具有各异的闪烁刺激频率，对用户意图的目标字符的选择依赖于用户专注注视需要的字母，从而在视觉皮层记录到该字母的闪烁刺激所诱发的相应神经电信号。BCI的性能主要取决于用户控制注视方向的能力并涉及注意力的参与。侵入式电极VEP系统，ALS患者可以10-12个单词/分钟的速度进行交流。正常人使用非侵入式VEP系统，在字库辅助模式的32目标拼写器达平均31.2字符/分钟；但过多显示目标不断的闪烁易引起视觉疲劳，就系统识别性能而言准确率亦降低。2)P300，这一神经特征信号是在人类顶叶皮层中，大约在新奇特殊刺激发生后约300毫秒产生的正峰值。P300拼写器的显示设备与SSVEP-BCI系统大致相同，字符可按照类似棋盘式分布于屏幕上构建出一个字母矩阵。在系统确认用户选择前，系统将每次突出显示(如“高亮”)单一整列或排并具有一定的停顿时间间隔，用户等待这一有序过程，直到具有用户意图选择的字母存在于当前“高亮”中，继而诱发用户神经响应，产生P300信号。通常，基于P300的BCI系统具有一个单词(或5个字母)/分钟的通讯效率；利用108目标的P300和SSVEP混合BCI系统进行在线提示指令拼写和复制拼写测试可分别达到172.46±32.91比特/分钟和164.69±33.32比特/分钟的平均信息传输率；对于有视觉障碍的人，可使用听觉或触觉刺激。但该通讯BCI系统是以一种被动诱导、间接的方式进行人机交互，通讯效率低，并且用户在使用系统的过程中易疲劳。
现有技术中，尽管可以直接手部书写图形汉字并进行连续书写轨迹解码，但是汉字数量庞大且具有独一无二的平面字形结构，直接在二维平面上想象书写通常由多个汉字笔画或偏旁部首复杂交错及分列于空间各部位的图形汉字并以完整书写想象的汉字的图形所诱导神经电信号进行解析，为满足日常所需的沟通词汇数量，对使用用户及分类识别模型进行大量且反复优化的训练数据内容需涵盖所需进行分类输出的所有完整图形汉字的字形结构内容，并且完整图形汉字不具有延伸可拓展性，即图形轨迹“国”的字形轨迹就是汉字“国”。现有技术中存在用户训练内容繁杂且数量庞大，耗时长、易疲劳、需注意力、执行力及长期及工作记忆的认知负荷高等阻碍在疾病人群中形成好用、易用、广泛使用的现实应用问题。
要求任务相关的可用于分类识别模型识别的神经电信号特征在大脑信号采集不同试次之间具有高度的重复性是高效准确快速输出结果的关键。汉字数量庞大且具有独一无二的平面字形结构，直接在二维平面上想象书写通常由多个汉字笔画或偏旁部首复杂交错及分列于空间各部位的图形汉字并以完整书写想象的汉字的图形所诱导神经电信号进行解析并保证能实现长期稳定的汉字高效分类输出，需保证书写想象所诱导信号的长期稳定性。在日常使用场景下，难以保证不同日及不同应用场景下外部环境及内在情绪生理因素影响下使用用户可维持良好任务执行效果及任务所诱导神经电信号能够被分类识别模型高效识别分类输出结果。在现有技术中，例如，在想象书写完整图形汉字“中”时，其包含多个一笔的汉字笔画，即竖-折-横-竖共有四笔，在每一次执行该汉字“中”的书写想象期间，由于书写思维不固定，容易受到外部环境或内在条件如情绪、注意力、疲劳等因素发生书写同一完整图形汉字时，同一笔画或者某几个笔画的想象轨迹产生试次间偏差。随之用户在第一次想象书写图形汉字“中”的神经电信号与第二次想象书写同一图形汉字“中”的神经电信号可能因书写完整图形汉字所包含多个汉字笔画，在任务书写想象执行效果上因同一笔画或不同笔画同时存在的不确定性执行差异而导致神经电信号之间的差异较大。
进而将同一想象书写汉字类型但差异较大的不同试次神经电信号作为训练样本训练分类识别模型。其中分类识别模型用于根据神经电信号确定相应的汉字类型。由于分类识别模型的训练样本一致性较差，从而造成训练样本质量较差，因此分类识别模型在识别神经电信号时，输出的汉字类型结果很可能与该神经电信号不对应，分类识别能力下降，低于随机水平。例如，分类识别模型识别某个神经电信号时，输出的汉字类型可能是汉字“日”，也可能是汉字“区”。
针对上述的现有技术中存在的通过视/听觉注意进行选择字符等非直接书写交流的信号诱导方式进行汉语言通讯效率低下，易疲劳，同时，二维平面汉字字形结构复杂，且汉字数量众多，以直接手部书写想象方式实现语言通讯书写交流目的所需对用户及模型进行训练掌握的汉字数量相应扩大，训练学习内容多且耗时长，同样易疲劳，认知负荷高难以在疾病人群中推广长期使用的好用、易用问题，以及训练内容对于形成大量可用于日常基本沟通使用的图形汉字不具有延伸可拓展性问题。用户长期使用中，维持不同试次间均良好、可重复地自主书写想象同一整块图形汉字字形轨迹难度高，进而在书写想象同一图形汉字字形所诱导试次间的神经电信号一致性较低的技术问题。
发明内容
本申请的实施例提供了一种基于视觉追随辅助的书写想象汉字轨迹确定方法及系统，以至少解决现有技术中存在的通过视/听觉注意进行选择字符等非直接书写交流的信号诱导方式进行汉语言通讯效率低下，易疲劳，同时，二维平面汉字字形结构复杂，且汉字数量众多，以直接手部书写想象方式实现语言通讯书写交流目的所需对用户及模型进行训练掌握的汉字数量相应扩大，训练学习内容多且耗时长，同样易疲劳，认知负荷高难以在疾病人群中推广长期使用的好用、易用问题，以及训练内容对于形成大量可用于日常基本沟通使用的图形汉字不具有延伸可拓展性问题。用户长期使用中，维持不同试次间均良好、可重复地自主书写想象同一整块图形汉字字形轨迹难度高，进而在书写想象同一图形汉字字形所诱导试次间的神经电信号一致性较低的技术问题。
根据本申请实施例的一个方面，提供了一种基于视觉追随辅助的书写想象汉字轨迹确定方法，包括：在界面上显示第一虚拟光标，第一虚拟光标以预设速度发生移动并形成多个不同的手写运动轨迹，手写运动轨迹是指带有成人手部书写特征的笔画线条样式而不是标准印刷字体形式的字形轨迹，字形轨迹为单一的一笔连贯过程，中间无断笔；在用户视觉跟随第一虚拟光标的手写运动轨迹，并想象进行与第一虚拟光标的速度及方向匹配的同步书写的过程中，采集用户的第一神经电信号作为训练样本；以及创建用于对用户书写想象的神经电信号进行识别的分类识别模型，并利用第一神经电信号对分类识别模型进行训练，其中分类识别模型是通过训练样本构建的以书写想象的汉字笔画为输出的模型。
根据本申请实施例的另一个方面，还提供了一种基于视觉追随辅助的书写想象汉字轨迹确定系统，包括：显示设备；信号采集设备；以及信号处理设备，其中显示设备配置用于执行以下操作：显示第一虚拟光标，第一虚拟光标以预设速度发生移动并形成多个不同的手写运动轨迹，手写运动轨迹是指带有成人手部书写特征的笔画线条样式而不是标准印刷字体形式的字形轨迹，字形轨迹为单一的一笔连贯过程，中间无断笔；并且信号采集设备配置用于执行以下操作：在用户视觉跟随第一虚拟光标的手写运动轨迹，并想象进行与第一虚拟光标的速度及方向匹配的同步书写的过程中，采集用户的第一神经电信号作为训练样本，并且信号处理设备配置用于执行以下操作：创建用于对用户书写想象的手写运动轨迹进行识别的分类识别模型，并利用第一神经电信号对分类识别模型进行训练，其中分类识别模型是通过训练样本构建的以书写想象的汉字笔画为输出的模型。
在本申请实施例中，用户视觉跟随显示设备中显示的虚拟光标移动，从而进行一笔的汉字笔画的书写想象。在用户书写想象过程中，信号采集设备采集神经电信号，并且通过信号处理设备将采集的神经电信号作为训练样本训练用于识别神经电信号的分类识别模型。从而用户通过自身视觉跟随虚拟光标的辅助，完成对一笔的汉字笔画的书写想象。对自身进行训练，从而熟悉虚拟光标的移动速度和方向，形成自身使用系统的书写习惯。进而用户可以容易地根据汉字笔画的书写习惯，自主完成汉字书写想象，形成相对固定的、与此前训练过程中的视觉跟随虚拟光标轨迹在预设时间内速度及方向近似的自主书写想象汉字轨迹，减少神经电信号试次间一致性差异。
并且用户自主书写想象汉字笔画时，与现有技术相比，本技术方案无需在多个字符中通过视/听觉刺激及注意选择需要的字符，从而生成汉字，避免了长时间专注地盯着需要选择的字符而产生疲劳感。
训练过程中用户在视觉辅助下进行书写想象，在所限定的心理想象运动框架下，用户学习、适应并有目的地诱发当前书写想象任务下的神经电信号。此外，在视觉辅助下进行书写想象能够维持书写想象运动轨迹各参数的平稳性，有利于后续对神经电信号的解码及分类识别，能有效简化算法。以成人病前的直接文字书写方式，使用方式已长期习得内化、简单易用，根据自主意愿自然的执行对应汉字笔画书写想象并诱导神经电信号通过有次序地输出多个汉字笔画形成组合构成一一对应的汉字词进行显示。从而本技术方案仅仅根据长期习得的汉字笔画书写过程以及约定地汉字笔画顺序组合规律进行想象书写即可快速生成汉字，从而提高了与他人沟通的效率，在简化用户训练内容的同时训练内容，即多个具有明确方向的一笔汉字笔画所形成有序笔画组合能够延伸扩展形成海量的完整图形汉字。
并且，本技术方案在一定预设的时间内根据所设定的速度及方向，虚拟光标从汉字笔画起点移动至笔画终点的过程是模拟正常成人汉字书写一笔的汉字笔画的过程，是通过预先采集成年人手部自然书写一笔的汉字笔画的连续过程并建立不同汉字笔画类型所对应的书写模版完成。汉字笔画的手写字符为手部书写线条形式不是印刷体形式，字形轨迹为单一的一笔连贯过程，中间无断笔。相比于视觉识别印刷体的字符，如印刷体字母，功能影像研究观察到手写的字母的连续运动形式对于大脑左侧中部运动前皮层的激活更强。用户视觉跟随虚拟光标辅助完成对一笔的汉字笔画的书写想象是一种对既有的过往学习到的笔画手部书写的调整更新学习、观察并模仿、记忆简单手写笔画在空白田字格中的书写过程，书写想象不产生书写动作因此失去手部书写所形成痕迹的视觉反馈，显示设备呈现虚拟光标移动过程对用户执行汉字书写想象构成完整的镜像反馈，如同经历一次观看自身所书写运动轨迹的动态展开过程。以一笔的汉字笔画手写字符形式，即包含个体手部书写的特征标签形式进行辅助书写想象相较于无辅助模式进行书写想象以及标准印刷格式进行辅助想象，分别可提高分类识别模型分类识别神经电信号的准确率30％及20％。此外，也能进一步减少用户在这一书写想象过程中的疲劳感。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1A是根据本申请实施例1所述的基于视觉追随辅助的书写想象汉字轨迹确定系统的示意图；
图1B是根据本申请实施例1所述的信号处理设备的模块示意图；
图2是根据本申请实施例1所述的基于视觉追随辅助的书写想象汉字轨迹确定方法的流程图；
图3是根据本申请实施例1所述的视觉追随辅助的书写想象汉字笔画示例图；
图4是根据本申请实施例所述的对汉字笔画进行分类的流程示意图；
图5是根据本申请实施例所述的基于视觉追随辅助的书写想象汉字轨迹确定系统的特征提取模块和任务分类模块的示意图；
图6A是根据本申请实施例所述的基于softmax回归模型对与滑动窗的时隙对应的神经电信号进行分类的流程示意图；
图6B是根据本申请实施例所述的利用神经网络和分类器根据弱分类信息的融合分类信息对神经电信号进行分类的示意图；
图7A是根据本申请实施例1所述的书写想象阶段的前一部分流程图；以及
图7B是根据本申请实施例1所述的书写想象阶段的后一部分流程图。
具体实施方式
为了使本技术领域的人员更好地理解本申请的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本实施例，提供了一种基于视觉追随辅助的书写想象汉字轨迹确定的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1A是根据本实施例所述的基于视觉追随辅助的书写想象汉字轨迹确定系统的示意图。参照图1A所示，该系统包括：显示设备，信号采集设备以及信号处理设备。
其中显示设备用于显示虚拟光标、一笔的汉字笔画和多个有序地汉字笔画识别后组成的汉字。
信号采集设备用于采集用户在想象书写一笔的汉字笔画时所产生的神经电信号。
参考图1B所示，信号处理设备设置有分类识别模型，用于根据神经电信号对分类识别模型进行训练，分类识别模型输出的笔画，根据输出多个笔画的有序性组合生成相应的汉字。其中分类识别模型用于根据用户想象书写汉字笔画的神经电信号识别出对应的汉字笔画。
在上述运行环境下，根据本实施例的第一个方面，提供了一种基于视觉追随辅助的书写想象汉字轨迹确定方法。图2示出了该方法的流程示意图，参考图2所示，该方法包括：
S202：在界面上显示第一虚拟光标，第一虚拟光标以预设速度发生移动并形成多个不同的手写运动轨迹，手写运动轨迹是指带有成人手部书写特征的笔画线条样式而不是标准印刷字体形式的字形轨迹，字形轨迹为单一的一笔连贯过程，中间无断笔。
显示设备的界面中显示的虚拟光标也被称为跟随光标，虚拟光标(即，第一虚拟光标)的轨迹将由技术人员预设，并且技术人员对虚拟光标(即，第一虚拟光标)的移动速度与方向及移动总时间长度进行设置，将依照正常人在空白田字格中进行自然书写所构建的汉字笔画书写原始过程作为模板，该模板带有成人手部书写特征的笔画线条样式，而非标准印刷字体形式的字形轨迹。并且虚拟光标移动轨迹过程根据总时长进行等比调整，最终形成每类书写轨迹运行总时长分别为4秒、3秒及2秒的三个不同版本。以适应用户从生疏至熟练的书写想象过程。
参阅图3，以笔画“折”(即，“フ”)进行说明，当用户为对书写想象还比较生疏的用户时，显示设备上会显示移动时长为4秒的笔画“折”(即，“フ”)的提示图。首先，显示设备显示2秒的笔画“折”(即，“フ”)的提示图，在2秒的笔画提示过后，会显示该笔画提示的虚拟光标预设动图，虚拟光标移动时间为预设时间，如4秒的笔画“折”(即，“フ”)。在4秒的预设动图中，虚拟光标(即，第一虚拟光标)首先显示在汉字笔画的起点位置，之后虚拟光标(即，第一虚拟光标)以预设的移动速度和方向在该4秒预设时间(即，第一预设时间)长度内从该汉字笔画的起点移动至汉字笔画的终点。之后，在书写想象完成后，显示设备关闭显示的预设动图，从而进行黑屏休息并持续2秒(即，第二预设时间)。
当用户为对书写想象比较熟练的用户时，显示设备上会显示移动时长为3秒的笔画“折”(即，“フ”)的提示图。首先显示设备显示2秒的笔画“折”(即，“フ”)的提示图，在2秒的笔画提示过后，会显示该笔画提示的虚拟光标预设动图，虚拟光标移动时间为预设时间，如3秒的笔画“折”(即，“フ”)。在3秒的预设动图中，虚拟光标(即，第一虚拟光标)首先显示在汉字笔画的起点位置，之后虚拟光标(即，第一虚拟光标)以预设的移动速度和方向在该3秒预设时间(即，第一预设时间)长度内从该汉字笔画的起点移动至汉字笔画的终点。之后，在书写想象完成后，显示设备关闭显示的预设动图，从而进行黑屏休息并持续2秒(即，第二预设时间)。
当用户为对书写想象非常熟练的用户时，显示设备上会显示移动时长为2秒的笔画“折”(即，“フ”)的提示图。首先显示设备显示2秒的笔画“折”(即，“乛”)的提示图，在2秒的笔画提示过后，会显示该笔画提示的虚拟光标预设动图，虚拟光标移动时间为依照预设时间，如2秒的笔画“折”(即，“フ”)。在2秒的预设动图中，虚拟光标(即，第一虚拟光标)首先显示在汉字笔画的起点位置，之后虚拟光标(即，第一虚拟光标)以预设的移动速度和方向在该2秒预设时间(即，第一预设时间)长度内从该汉字笔画的起点移动至汉字笔画的终点。之后，在书写想象完成后，显示设备关闭显示的预设动图，从而进行黑屏休息并持续2秒(即，第二预设时间)。
上述内容是以汉字笔画中的“折”(即，“フ”)进行的说明，本领域技术人员可知，汉字笔画并不局限于此，可以基于技术人员的设定而显示不同的汉字笔画，包括但不限于横(即，“一”)、竖(即，“丨”)、撇(即，“丿”)、捺(即，“乀”)、点(即，“、”)等，当所显示提示的笔画不同时，均可以利用上述的动图显示方法来令虚拟光标(即，第一虚拟光标)形成对应的手写运动轨迹，即所述虚拟光标(即，第一虚拟光标)能够以预设速度移动并形成多个与不同汉字笔画对应的手写运动轨迹。参考图3所示，在虚拟光标移动期间，用户视觉跟随虚拟光标，在其辅助下完成与之移动同步的书写想象，并形成理论上与其移动汉字笔画轨迹一致的书写想象轨迹。
S204，在用户视觉跟随第一虚拟光标的手写运动轨迹，并想象进行与第一虚拟光标的速度及方向匹配的同步书写的过程中，采集用户的第一神经电信号作为训练样本。
具体地，用户进行视觉跟随同步书写想象。在虚拟光标(即，第一虚拟光标)从汉字笔画的起点移动至终点的过程中，用户以自身视觉追随虚拟光标(即，第一虚拟光标)的移动，想象进行与之同步的书写运动行为。视觉引导的书写想象的速度及方向与虚拟光标(即，第一虚拟光标)在预设的时间内的移动速度及方向尽可能保持一致，即书写想象的书写速度及方向与虚拟光标(即，第一虚拟光标)在预设的时间内的速度及方向同步匹配，由此，虚拟光标(即，第一虚拟光标)的移动形成了用户在书写想象过程中的视觉引导辅助，进而使得用户能够基于视觉引导辅助而在合理、恰当的速度中稳定开展心理模拟书写运动，有目的地诱发当前书写想象下的神经电信号，另一方面，这也降低了用户在训练过程中的疲劳感。
用户视觉跟随虚拟光标(即，第一虚拟光标)移动，从而移动后的虚拟光标(即，第一虚拟光标)形成汉字笔画，用户想象形成手写运动轨迹，信号采集设备采集用户在视觉跟随期间的神经电信号(即，第一神经电信号)。之后信号采集设备将神经电信号(即，第一神经电信号)发送至信号处理设备。信号处理设备将接收到的神经电信号(即，第一神经电信号)作为用于训练分类识别模型的训练样本，进而对神经电信号(即，第一神经电信号)进行特征提取。其中分类识别模型用于根据神经电信号识别出汉字笔画类型。并且其中可使用侵入式、半侵入式或非侵入式的脑机接口系统来提取神经电信号。
在视觉辅助下进行书写想象能够维持每一次用户所执行的书写想象运动轨迹各参数的相对平稳性，减少神经电信号试次间一致性差异，有利于信号处理设备对接收到的神经电信号进行高效解码及分类识别，能有效简化算法。
在一种具体的神经电信号提取方法中，例如可使用128通道脑电仪器作为信号采集设备采集神经电信号。
S206，创建用于对用户书写想象的神经电信号进行识别的分类识别模型，并利用第一神经电信号对所述分类识别模型进行训练，其中分类识别模型是通过训练样本构建的以书写想象的汉字笔画为输出的模型。
根据步骤S204中的方法，信号采集设备采集了对不同的汉字笔画进行书写想象所对应的神经电信号(即，第一神经电信号)，信号采集设备将获取的神经电信号(即，第一神经电信号)以及与神经电信号(即，第一神经电信号)对应的汉字笔画作为训练样本。从而基于这些训练样本，信号处理设备能够建立以神经电信号为输入，以书写想象的汉字笔画为输出的分类识别模型。
具体地，用户在跟随虚拟光标(即第一虚拟光标)进行汉字笔画的书写想象时，不同类型的笔画书写想象对应了不同的书写想象行为任务，也对应诱发了不同行为任务的神经电信号内容(即第一神经电信号)。由此，信号处理设备可以基于在步骤S204中得到的训练样本，对初始的分类识别模型进行训练，所训练获得的分类识别模型，可用于后续的在线系统解码，即对用户在自主书写想象过程中的神经电信号进行实时、在线的分类识别。
在一种具体的实施方式中，本技术方案可使用回归模型作为所述分类识别模型。
进一步地，在分类识别模型创建后，分类识别模型即可用于对用户主动诱发的手写运动轨迹所对应的神经电信号进行识别。
在前述实施方式所描述的步骤S202-S206的训练方法中，用户根据屏幕显示的虚拟光标的手写运动轨迹进行对应的书写想象，利用与书写想象对应的神经电信号构建训练样本，并对分类识别模型进行训练。在分类识别模型训练完毕后，该模型即可用于对用户主动诱发的书写想象运动轨迹进行在线意图解码。
需要说明的是，在对用户主动诱发的书写想象运动轨迹进行在线意图解码之前，需要对所构建训练后的分类识别模型进行优化测试。用户根据汉字笔画提示，在提示后主动诱发对该提示笔画的书写想象，所诱导神经电信号形成一组优化测试集。训练后的分类识别模型对优化测试集分类识别，准确率是否超过预设阈值，例如预设阈值为70％。当优化测试集的准确率大于或等于预设阈值时，则完成模型优化，可进行在线意图解码。当优化测试集的准确率小于预设阈值时，则返回重新模型训练、测试优化过程。
用户主动诱发的书写想象，即用户根据意愿自主、自发地书写想象。具体的，用户是在没有跟随光标指示的情况下完成手写运动轨迹的想象，例如自主完成一个汉字笔画的书写想象过程。用户在自主书写想象的过程中能够想象形成与训练过程中具有相对固定的变速的手写运动轨迹，即用户能够近似地以视觉跟随训练过程中的书写速度和方向进行书写想象，之后分类识别模型对用户在自主书写想象过程中产生的神经电信号(即，第三神经电信号)进行信号识别分类，输出与神经电信号(即，第三神经电信号)对应的汉字笔画，从而实现对用户书写意图的解码。
在一种可选的实施方式中，设置于用户前方的显示设备的界面显示分类识别模型输出的汉字笔画。
从而，用户使用视觉引导的跟随书写想象，从而对用户书写想象的过程进行训练，使得用户可以依照训练时书写想象的习惯进行自主书写想象，进而产生与训练样本(即，第一神经电信号)相似的神经电信号(即，第三神经电信号)，从而在利用分类识别模型识别用户自主书写想象时产生的神经电信号(即，第三神经电信号)的情况下，训练好的优化后分类识别模型可以准确地识别神经电信号(即，第三神经电信号)，进而能够提高ALS等存在言语与书写受限的患者与外界进行沟通的效率。
从而，在目前，利用脑机接口设备改善肢体运动障碍患者的对外交互水平的应用中，普遍的脑机接口设备是基于左右手运动想象或是以视觉/听觉刺激来诱发神经电信号，并基于神经电信号进行简单的任务识别，例如控制光标移动、控制机械臂活动等简单运动任务。运动任务诱发的神经活动在时间序列上具有随时间变化的特征，而提取稳定的神经电信号特征——要求任务相关的神经电信号特征具有高度重复性——这对于神经电信号的准确解码是必要的。在这样的要求下，使用视觉引导的跟随运动形式研究神经活动中汉字书写意图及其所对应运动轨迹参数相关的特征性时空动力模式，最小化运动轨迹参数中如位置信息与速度信息之间的依赖性及非平稳性。首先，“汉字书写意图”在大脑中的时空组建、整合及信息传输过程具备稳定性并且对比正常人，在疾病患者中书写意图产生所需的脑组织相对保留，即文字沟通书写的意图产生能力保留；继而，“意图所对应的运动轨迹参数”在每一次无训练和无引导框架下的自主书写想象执行中存在书写想象运动轨迹参数的变异性。其中特征性是指在创建意图所对应运动轨迹参数所诱导的、在分类识别模型中能够稳健用于解码书写想象运动轨迹的特征信号；时空动力模式是指产生所需的运动轨迹诱导的大脑神经电信号活动，其在大脑特定空间分布区域、随时间呈现变化的动态响应，是根据书写汉字的内容意图并构建相应的运动轨迹所诱导的大脑神经电信号活动的动力模式，合称为“汉字书写意图及其所对应运动轨迹参数相关的特征性时空动力模式”。视觉跟随任务要求用户连续跟随预设的移动刺激，在这种情况下，手部运动轨迹对应于系统的预设“刺激”，而神经活动则是刺激后的“响应”，根据训练方法及系统的设计，每个刺激都来自实验预先所设定的分布，该分布广泛且可根据实验要求连续覆盖不同的速度和空间位置，并且相对于预设的书写想象时间是平稳的，可最小化“意图所对应的运动轨迹参数”在每一次书写想象执行中存在变异性，继而保证汉字书写意图及其所对应运动轨迹参数相关的特征性时空动力模式在试次间具有相对平稳性。
此外，在长期存在严重运动障碍人群中可能存在运动想象能力的受损，即无法良好参与或执行运动想象。但是，在视觉辅助的运动想象中可以观察到，通过特定的特征信号，患者对单关节运动想象的估计与显示呈现的关节运动轨迹匹配性良好，即便在运动执行功能严重受损的患者中，运动规划能力依然保留。在单纯运动系统受损的人群中，有能力根据自主语言表达需求、根据习得的语义记忆和字形存储知识产生适当的心理意向并规划肢体书写运动以及产生相关的神经活动。视觉引导将极大帮助用户执行心理想象任务，与尝试运动不同，在视觉引导辅助下的想象运动过程既能够给予用户在合理的速度中进行心理模拟运动又能够提供对应的视觉镜像反馈，并减少疲劳感。
本技术方案基于以上研究，本发明提出了基于视觉追随辅助的书写想象汉字轨迹确定方法及系统。本技术方案提出通过视觉辅助跟随引导来进行书写想象训练以诱发稳定神经电信号，进而以用于任务分类。该训练方式要求用户视觉跟随屏幕中移动的虚拟光标，并同时想象控制自身手握笔或食指伸出在虚拟平板上跟随光标移动，进行速度与方向匹配的书写/移动，即在保持合理地心理模拟速度下进行书写想象运动，实现前后相对一致的自然书写想象。
在本技术方案提供的另一实施方式中，如在前述步骤S204-S206中所描述的，用户在进行书写想象训练和自主书写想象过程中所产生的手写运动轨迹是汉字笔画，即用户的书写想象任务是创建一个汉字笔画。
此时，用户按照此前视觉追随辅助的书写想象训练的心理模拟书写速度进行汉字笔画的书写想象，信号采集设备实时采集用户自主书写想象时产生的神经电信号(即，第三神经电信号)，之后训练后、优化好的分类识别模型根据神经电信号(即，第三神经电信号)在线解码出用户意图，即识别出对应的汉字笔画。
具体地，在显示设备为空白的开始状态(即，显示设备不预先显示汉字笔画并以1秒单调提示音提示用户处于可开始书写想象)的情况下，用户根据与用户匹配的书写想象方式自主想象书写汉字。其中与用户匹配的书写想象方式可以为食指书写或者握笔书写等书写想象方式，并且其中确定与用户匹配的书写想象方式的方法将在后文中进行说明。
例如，用户自主书写想象汉字笔画横(即，“一”)，则用户在屏幕空白且提示音响声后开始自主根据此前训练习得的笔画横的书写速度与方向，在预设时间长度内书写想象笔画横(即，“一”)。
在用户自主书写想象的同时，信号采集设备采集相应的神经电信号(即，第三神经电信号)，即采集横(即，“一”)的神经电信号，
之后将该神经电信号输入至训练好的优化后分类识别模型。之后分类识别模型对该神经电信号(即，第三神经电信号)进行识别，从而实施在线输出与该神经电信号(即，第三神经电信号)对应的识别结果即笔画横(即，“一”)。
进一步地，信号处理设备获取分类识别模型输出的笔画横(即，“一”)并将该汉字笔画显示在显示设备上。
在本技术方案提供的另一实施方式中，如在前述步骤S204-S206中所描述的，信号处理设备可基于所识别出的多个汉字笔画，编码出对应的汉字，输出到显示设备的界面中。
在上述汉字编码的过程中，次序笔画组合相较于其它输入形式具有重码率低的特点。例如，将非常相近的汉字笔画进行合并，例如“横”与“提”合并，“点”与“捺”合并，构成汉字的五种简单基本笔画——“横、竖、撇、捺、折”，利用以上五种基本笔画的输入组合及其输入次序，编码形成对应的汉字，可以采用不同的汉字编码方法，例如，可以直接按照汉字笔画顺序进行编码：“大”按照笔画书写顺序可分为“一”、“丿”、“乀”，因此按汉字书写笔顺输入对应的笔画，就能编码出相应的汉字。
具体地，在显示设备为空白状态(即，显示设备不预先显示汉字笔画)的情况下，用户根据与用户匹配的书写想象方式自主想象书写汉字。其中与用户匹配的书写想象方式可以为食指书写或者握笔书写等书写想象方式，并且其中确定与用户匹配的书写想象方式的方法将在后文中进行说明。
例如，用户自主书写想象“大”字，则用户依照“大”字的笔顺进行自主书写想象。其中“大”字的笔顺为横(即，“一”)、撇(即，“丿”)和捺(即，“乀”)。
在用户自主书写想象的同时，信号采集设备采集相应的神经电信号(即，第三神经电信号)，即依次采集横(即，“一”)的神经电信号，撇(即，“丿”)的神经电信号和捺(即，“乀”)的神经电信号。
在信号采集设备采集到横(即，“一”)的神经电信号(即，第三神经电信号)之后，将该神经电信号(即，第三神经电信号)输入至分类识别模型。之后分类识别模型对该神经电信号(即，第三神经电信号)进行识别，输出与该神经电信号对应的笔画横(即，“一”)。
之后信号采集设备采集到撇(即，“丿”)的神经电信号(即，第三神经电信号)，并将该神经电信号输入至分类识别模型。之后分类识别模型对该神经电信号(即，第三神经电信号)进行识别，从而输出与该神经电信号(即，第三神经电信号)对应的笔画撇(即，“丿”)。
之后信号采集设备采集到捺(即，“乀”)的神经电信号(即，第三神经电信号)，并依照上述方式，分类识别模型对该神经电信号(即，第三神经电信号)进行识别，输出与该神经电信号(即，第三神经电信号)对应的笔画捺(即，“乀”)。
进一步地，信号处理设备依次获取分类识别模型输出的笔画横(即，“一”)、撇(即，“丿”)和捺(即，“乀”)后，根据开始状态后所识别到的实时多个笔画的顺序作为笔顺组成汉字(即，“大”)。
进一步地，信号处理设备根据实时接收到的有序的笔画结果形成组合并生成汉字后将该汉字显示在显示设备上。
在本技术方案的汉字编码方法中，本技术方案建立了“常用汉字词汇笔画库”。该“常用汉字词汇笔画库”包含常用的300个汉字，并且不同笔画的组合对应于不同的汉字，数据库面向存在疾病的患者所使用，选择包含的汉字词应用于日常生活所必需，笔画组合与目标汉字词汇呈一一且唯一指向的对应关系。作为一个示例，尽管相同的笔画，可能对应于多种汉字，如“一、丿、乀”，既对应汉字“大”，又对应汉字“丈”，而在本技术方案建立的“常用汉字词汇笔画库”中，上述笔画组合仅对应于其中的“大”字，而另一个汉字则以常用词汇“丈夫”的笔画组合囊括于该数据库中。其次，所需的笔画组合均为小于及等于五个笔画以提高笔画组合汉字词的输出效率。例如，意图汉字为“大”，则在信息采集设备中依次采集笔画横(即，“一”)、撇(即，“丿”)和捺(即，“乀”)的书写想象神经电信号，并分类识别输出汉字笔画横(即，“一”)、撇(即，“丿”)和捺(即，“乀”)结果，信号处理设备获取以上笔画结果并整合数据库信息从而构建汉字“大”。当意图汉字词语为“丈夫”，数据库中包含笔画次序组合——横、撇、横、横、撇所对应唯一选择即为“丈夫”，即“丈”前两笔顺和“夫”的前三笔顺。在信息采集设备中依次采集笔画横(即，“一”)、撇(即，“丿”)、横(即，“一”)、横(即，“一”)和撇(即，“丿”)的书写想象信号，并分类识别输出汉字笔画横(即，“一”)、撇(即，“丿”)、撇(即，“丿”)、横(即，“一”)、横(即，“一”)和撇(即，“丿”)的结果，信号处理设备获取以上多个笔画结果并根据其输出的有序性整合数据库信息从而构建汉字词语“丈夫”。
此外，分类识别模型包括：信号预处理模块，用于对所采集的神经电信号进行预处理；特征提取模块，用于对预处理后的神经电信号进行特征提取，生成相应的神经电信号特征；以及任务分类模块，用于根据神经电信号特征确定相应的神经电信号类别。其中任务分类模块包括：弱分类单元，用于根据神经电信号特征确定与神经电信号类别相关的弱分类信息；任务分类单元，用于根据弱分类信息确定神经电信号类别，其中神经电信号为采用滑动窗所提取的相应时隙的神经电信号。
进一步地，参考图4所示，根据本实施例所述的分类识别模型，弱分类单元包括多个二分类器1～b。并且其中二分类器的类别对应于不同的神经电信号类别。特征提取模块包括多个特征提取单元1～b，并且特征提取单元1～b分别与不同的二分类器1～b对应。并且其中，多个特征提取单元1～b接收预处理后的神经电信号，分别对神经电信号进行特征提取，并将所提取的神经电信号特征x1～xb传输至相应的二分类器；以及多个二分类器根据所接收的神经电信号特征，基于一对一分类法，确定与神经电信号对应的弱分类信息。
具体地，参考图5所示，在本实施例中，分类识别模型能够识别不同的汉字笔画类别。假设汉字笔画类别的总数是K，其中K＝5。例如类别分别为C1～C5。从而与神经电信号类别对应的类别以及各个类别对应的汉字书写想象任务如下所示：
表1
从而，在本实施例中，弱分类单元包括b个二分类器，并且b个二分类器中每个二分类器的两个类别分别对应于以上K个类别(即，5个类别)中的两个不同类别。例如二分类器1用于对应的两个类别是C1和C2，二分类器2对应的两个类别是C1和C3，二分类器3对应的两个类别是C1和C4，...，以及二分类器b对应的两个类别是CK-1和CK(即，C4和C5)。即，弱分类单元的b个二分类器所对应的类别，涵盖了所有的两个不同类别的组合。从而b个二分类器可以通过一对一分类(one-to-one)的策略实现弱分类操作。例如，参考图4所示，各个二分类器1～b输出的二分类信息Q1～Qb共同构成了与神经电信号矩阵X对应的弱分类信息。
由于各个二分类器1～b对应的类别不同，因此为了使得各个二分类器1～b能够更加准确地进行分类，本实施例部署了b个特征提取单元1～b分别与不同的二分类器1～b对应，并且针对不同的二分类器1～b分别对预处理后的神经电信号矩阵X{B}进行特征提取，从而提取出神经电信号特征x1～xb。从而各个二分类器1～b可以根据相应的神经电信号特征x1～xb分别进行分类操作。从而本实施例的技术方案针对不同的二分类器1～b分别设置相应的特征提取单元1～b。从而相对于多个二分类器使用同一个神经电信号特征来说，本申请的技术方案的弱分类单元能够实现对神经电信号更准确地分类。
此外，进一步可选地，信号预处理模块用于执行以下操作：对于采集到的神经电信号矩阵利用与用户的响应频带匹配的滤波器，进行个体特异化频带滤波，得到预处理后的神经电信号矩阵X{B}，其中C和T为神经电信号矩阵的维度。该滤波器可以通过以下操作构建：
首先，获取用户的与不同的汉字书写想象任务对应的样本神经电信号矩阵X′1～X′K。例如，样本神经电信号矩阵X′1与用户对表1中类别1对应的横“一”进行汉字书写想象的神经电信号对应；样本神经电信号矩阵X′2与用户对表1中类别2对应的横“丨”进行汉字书写想象的神经电信号对应；以此类推，样本神经电信号矩阵X′K与用户对表1中类别K(即，类别5)折“フ”进行汉字书写想象的神经电信号对应。
然后，分别提取与各个样本神经电信号矩阵X′1～X′K对应的频谱信息。例如可以通过傅里叶变换生成分别与样本神经电信号矩阵X′1～X′K对应的频谱信息SP1～SPK。
根据所述频谱信息，针对预先设定的各个频带，确定各个样本神经电信号与每个频带对应幅值信息。例如，可以预先设定在用户神经电信号频谱范围内预先设定多个频带1～L。然后根据各个样本神经电信号矩阵X′1～X′K对应的频谱信息SP1～SPK，确定各个样本神经电信号矩阵X′1～X′K在各个频带1～L的幅值信息。
例如：
样本神经电信号矩阵X′1在频带1的幅值为A1,1；在频带2的幅值为A1,2；...；以此类推，在频带L的幅值为A1,L。
样本神经电信号矩阵X′2在频带1的幅值为A2,1；在频带2的幅值为A2,2；...；以此类推，在频带L的幅值为A2,L。
以此类推，样本神经电信号矩阵X′K在频带1的幅值为AK,1；在频带2的幅值为AK,2；...；以此类推，在频带L的幅值为AK,L。
其中样本神经电信号矩阵在各个频带的幅值，例如可用在该频带的幅值均值来表示。
然后针对每个频带，计算各个样本神经电信号的幅值信息的方差。
例如针对频带1，计算各个样本神经电信号的幅值信息A1,1、A2,1、A3,1、...、AK,1的方差：
其中，为各个样本神经电信号在频带1中的幅值信息A1,1～AK,1的方差，/>为各个样本神经电信号在频带1中的幅值信息A1,1～AK,1的均值。/>
例如针对频带2，计算各个样本神经电信号的幅值信息A1,2、A2,2、A3,2、...、AK,2的方差：
其中，为各个样本神经电信号在频带2中的幅值信息A1,2～AK,2的方差，/>为各个样本神经电信号在频带2中的幅值信息A1,2～AK,2的均值。
以此类推，针对频带L，计算各个样本神经电信号的幅值信息A1,L、A2,L、A3,L、...、AK,L的方差：
其中，为各个样本神经电信号在频带L中的幅值信息A1,L～AK,L的方差，/>为各个样本神经电信号在频带L中的幅值信息A1,L～AK,L的均值。
基于所计算的方差，确定所述用户的响应频带；以及
具体地，方差值越大，则意味着对应的频带，不同样本神经电信号的幅值差异越大。从而，方差值大的频带，可以视为用户的响应频带。具体地，可以将方差大于预定阈值的频带视为用户的响应频带。或者，可以将计算得到的方差值输入至预先设置的二分类模型(例如逻辑回归)，从而确定相应的频带是否是用户的响应频带。
基于所述用户的响应频带构建所述滤波器，其中所述滤波器用于通过与所述用户的响应频带对应的神经电信号分量且滤除其他频带的神经电信号分量。
从而在具体的应用过程中，可以利用该滤波器对用户采集的神经电信号矩阵进行个体特异化频带滤波，得到预处理后的神经电信号矩阵X{B}。
从而通过这种方式，本实施例可以将特征信息明显的频带分量从神经电信号矩阵X中提取出来，从而可以更加准确地确定用户的书写想象任务。
进一步可选地，特征提取模块的第j个特征提取单元(j＝1～b)用于执行以下操作：
确定预处理后的神经电信号矩阵X{B}的协方差矩阵P：
根据第j个特征提取单元的信号投影矩阵和协方差矩阵P，提取神经电信号矩阵的特征：
其中xj表示第j个特征提取单元所提取的神经电信号特征，M表示神经电信号特征xj的特征的对数，以及diag(A)表示返回矩阵A的对角线元素并构成向量。
从而，对于从特征提取单元1～特征提取单元b的每一个特征提取单元j，都按照以上方式进行特征提取。由于对于不同的特征提取单元，信号投影矩阵Wj也不同，因此可以提取不同的神经电信号特征xj。
此外，每个特征提取单元j(j＝1～b)的信号投影矩阵Wj可以按照以下操作确定：
步骤1.构建神经电信号矩阵的样本集其中i＝1或2。其中/>为与第j个二分类器(即二分类器j)的一个类别对应的神经电信号矩阵(n＝1～N1)；/>为与第j个二分类器(即二分类器j)的另一个类别对应的神经电信号矩阵(n＝1～N2)。
以特征提取单元1为例，其对应的二分类器1的两个类别分别是C1和C2。从而，(即，/>)为与类别C1对应的导电信号矩阵(即与笔画横“一”对应的神经电信号矩阵)的样本集。/>(即，/>)为与类别C2对应的导电信号矩阵(即与笔画横“一”对应的神经电信号矩阵)的样本集。对于其他的特征提取单元也以此类推，此处不再赘述。
步骤2.利用信号预处理模块对样本集中的神经电信号矩阵进行预处理，从而生成预处理后的神经电信号矩阵/>即，信号预处理模块按照如上所述的方式，根据用户的响应频带，对各个神经电信号矩阵/>进行相应子带的滤波，从而得到相应的预处理后的神经电信号矩阵/>即经过特异化频带滤波预处理后的信号矩阵/>
步骤3.针对预处理后获得的每一个信号矩阵计算信号矩阵/>的协方差矩阵：
步骤4.分别计算的均值/>和/>的均值/>作为二分类器j的两个不同类别的神经电信号矩阵样本的协方差均值：
步骤5.构建信号间差异最大化模型并计算信号投影矩阵Wj：
从而通过以上操作，可以针对各个特征提取单元j，确定相应的信号投影矩阵Wj。
此外，进一步可选地，多个二分类器为预先训练的基于LASSO回归模型的二分类器，并且弱分类单元用于执行以下操作：利用第j个二分类器对第j个特征提取单元提取的神经电信号特征xj进行二分类，确定与第j个二分类器对应的二分类信息，作为弱分类信息的一部分。
具体地，参考图4所示，二分类器1～二分类器b均为预先训练的基于LASSO回归模型的二分类器。例如对于二分类器1～二分类器b中的任意二分类器j，可以基于以下公式基于相应的神经电信号特征xj进行二分类操作：
/>
其中，zj表示与神经电信号特征xj对应的标签，bj为2M×1的向量，表示与第j个分类器对应的线性拟合的映射矩阵，λj和αj为第j个二分类器的调节系数。
从而二分类器1～二分类器b可以输出各自的二分类信息Q1～Qb，从而构成弱分类信息。其中，二分类信息Qj(即Q1～Qb)例如可以是二维向量，该二维向量的元素为分别与相应二分类器的两个类别对应的参数值。
可选地，任务分类单元用于：将弱分类信息进行融合，生成融合分类信息；以及根据融合分类信息，利用softmax回归模型确定神经电信号类别。
具体地，任务分类单元可以将弱分类信息Q1～Qb进行融合，例如将其进行拼接，从而生成融合分类信息x。
然后，任务分类单元根据以下基于softmax回归模型的公式，确定与神经电信号矩阵X对应的神经电信号类别：
其中，K表示神经电信号类别的类别总数；z为当前预测的神经电信号类别(其中，z＝1～K)，p(z|x)表示融合分类信息x对应的神经电信号类别为类别z的概率。当p(z|x)大于预设的概率阈值p时，确定类别z为神经电信号矩阵X对应的神经电信号类别。即在本申请的任务分类中，仅当融合分类信息x对应的神经电信号类别的概率大于阈值时，才对该神经电信号进行分类，否则丢弃当前滑动时间窗下的神经电信号数据。
此外公式中的Yz(z＝1～K)为先生参数，可以通过梯度下降等方法进行样本训练确定。
从而，如图6A所示，本实施例采用滑动时间窗提取不同时隙下的神经电信号数据，对于所提取的信号数据，利用softmax回归模型确定与神经电信号数据对应的神经电信号类别。
或者，参考图6B所示，任务分类单元可以将融合分类信息x输入预先训练的神经网络。
然后，任务分类单元利用softmax分类器，根据神经网络输出的信息确定与神经电信号矩阵X对应的神经电信号类别。其中p(z|x)表示融合分类信息x对应的神经电信号类别为类别z的概率。其中概率值最大的类别，即为与神经电信号数据对应的神经电信号类别。
从而，本实施例在利用多个二分类器确定与神经电信号相关的多个二分类结果之后，并不是直接通过投票的方式确定神经电信号类别，而是将二分类结果作为弱分类信息，并进一步作为待分析特征，利用softmax回归模型或者是神经网络进行进一步的特征分析，从而能够在信号差别不明显的情况下，进行更加准确地分类。
在本技术方案提供的又一实施方式中，在前述的步骤S202之前，在界面上显示第二虚拟光标，第二虚拟光标以预设速度发生移动并形成多个不同的手写运动轨迹；在用户视觉跟随第二虚拟光标的手写运动轨迹，并想象通过不同书写方式进行与第二虚拟光标的速度及方向匹配的同步书写的过程中，采集与不同书写方式的同步书写对应的第二神经电信号；以及根据第二神经电信号确定与用户匹配的书写方式。
具体地，由于不同书写想象方式下，神经元集群活动模式也是不同的。项目前期研究观察到不同书写想象方式对信号分类结果不具有显著差异，在既往其他研究任务范式下对运动想象方式均有不同的结论，可以认为不同的个体对于运动想象方式所诱导神经电信号强度存在差异。综合以上，选择最适合个体组织书写想象的书写方式，以及对分类识别模型识别结果准确率最有益、最稳健的书写想象方式尤为必要。其中不同的书写想象方式例如可以为握笔式持笔书写和以单指如食指伸出在平面移动书写。例如，用户在进行汉字笔画的书写想象过程中，可想象自己正握笔书写，也可以想象自己是在用食指书写，用户在分别想象使用这两种书写方式时，将表现出不同的神经元集群活动模式，如果能够确定哪一种书写方式能够表现出不同笔画间更大的神经元集群活动模式差异，并将该书写方式用于后续的书写想象训练中，这无疑能够提升书写想象任务的分别识别效果。基于此，在进行书写想象训练前，本技术方案还通过差异比较模型比较在想象食指书写过程中生成的神经电信号与在想象握笔书写过程中生成的神经电信号之间的差异，确定与用户匹配的书写想象方式。其中差异比较模型是将与食指书写对应的神经电信号和与握笔书写对应的神经电信号作为训练样本训练得到的。其中匹配是指通过差异比较模型，获得在一种书写方式下的书写想象内容分类差异效果，以及另一种书写方式下书写想象内容的分类差异效果，对两种书写方式获得的差异效果进行比较。一种书写方式下书写想象内容差异效果优于另一种书写方式，则该前一种书写方式视为“与用户匹配的书写想象方式”。
更具体的，用户首先通过握笔书写的书写想象方式书写笔画，之后通过食指书写的书写想象方式书写相同笔画，并且其中信号处理设备将通过握笔书写和食指书写的书写想象方式书写的笔画预先设定为三个笔画。
例如，预先设定的三个笔画为横、竖和撇，则用户通过握笔书写的书写想象方式，想象书写笔画横、竖和撇，之后用户通过食指——单指比划想象的书写想象方式，想象书写笔画横、竖和撇。
更具体地，显示设备上显示笔画横(即，“一”)，在虚拟光标(即，第二虚拟光标)沿着笔画横(即，“一”)的笔画轨迹移动时，用户视觉跟随着虚拟光标(即，第二虚拟光标)移动，同时想象握笔形式执行该内容，从而进行书写想象。在用户书写想象的过程中，信号采集设备获取相应的神经电信号(即，第二神经电信号)。之后用户根据相同的方式对笔画竖和撇分别进行书写想象，从而信号采集设备获取相应的神经电信号(即，第二神经电信号)并形成握笔书写想象的比较集。
进一步地，在虚拟光标(即，第二虚拟光标)沿着笔画横(即，“一”)的笔画轨迹移动时，用户视觉跟随着虚拟光标(即，第二虚拟光标)移动，同时想象以食指伸出的形式执行该内容，从而进行书写想象，在用户书写想象的过程中，信号采集设备获取相应的神经电信号(即，第二神经电信号)。之后用户根据相同的方式对笔画竖和撇分别进行书写想象，从而信号采集设备获取相应的神经电信号(即，第二神经电信号)并形成食指书写想象的比较集。
进一步地，信号处理设备将用户在握笔书写过程中的神经电信号，即握笔书写想象的比较集和用户在食指书写过程中的神经电信号，即食指书写想象的比较集分别依次输入差异比较模型，从而差异比较模型首先获得比较通过想象握笔书写汉字笔画横(即，“一”)得到的神经电信号、通过想象握笔书写汉字笔画竖(即，“丨”)得到的神经电信号以及通过想象握笔书写汉字笔画撇(即，“丿”)得到的神经电信号之间的差异结果。
进一步地，差异比较模型比较通过想象食指书写汉字笔画横(即，“一”)得到的神经电信号、通过想象食指书写汉字笔画竖(即，“丨”)得到的神经电信号以及通过想象食指书写汉字笔画撇(即，“丿”)得到的神经电信号之间的差异结果。
进一步地，差异比较模型根据上述的不同书写想象方式中与各个汉字笔画对应的神经电信号之间的差异，确定与用户匹配的书写想象方式。例如，如果在握笔书写想象方式下，与不同汉字笔画对应的神经电信号之间的差异更显著，信号处理设备则将握笔书写方式作为与用户匹配的书写想象方式；如果在食指书写想象方式下，与不同汉字笔画对应的神经电信号之间的差异更显著，信号处理设备则将食指书写方式作为与用户匹配的书写想象方式。
在对用户训练期间，用户上半身垂直略微前倾面对显示设备的屏幕，屏幕中心点略高于受试者双眼水平，双眼与屏幕距离得当，以保证用户舒适的观看显示屏幕，确保显示屏幕的图像始终与用户处于同一视觉角度或在固定的视觉范围内，视觉跟随期间不需其显著地、大范围地眼球扫视以跟随。
具体地，如图7A以及图7B所示，用以确定与用户匹配的书写想象方式的过程、对用户进行训练及优化分类识别模型的过程均设置为6个阶段，包括第1阶段至第6阶段。其中每一阶段例如可以有75个试次，对于每一试次，即对于单个汉字笔画的书写想象或优化分类识别阶段的自主书写想象，首先进行例如2秒笔画提示，其次进行对应的预设时长，例如2秒的视觉追随书写想象或空白屏自主书写想象，最后是2秒的黑屏休息。
在在线汉字笔画识别或在线汉字笔画组合形成汉字阶段，首先进行例如1秒单调提示音提示用户可开始书写想象，随后进行对应的预设时长的根据自主意图进行自主汉字笔画书写想象或多汉字笔画书写想象形成有序组合以构成常用汉字词。期间，用户以舒适姿态坐在椅子上，双上肢置于椅子两侧扶手，执行汉字笔画书写想象时放松并尽可能保持静止。
更具体地，参考图7A以及图7B所示，用户的书写想象的过程具体如下：
(1)用户分别根据握笔书写和食指书写的书写方式进行书写流程熟悉，其中握笔书写和食指书写分别有6个阶段。其中每一阶段例如可以有75试次：
在第1阶段的第1试次：首先进行例如2秒(即，0～2t(s))笔画提示，其次进行对应的预设时长，例如2秒(即，2～4t(s))的视觉追随书写想象，最后是2秒(即，4～6t(s))的黑屏休息。
在第1阶段的第2试次：首先进行例如2秒(即，0～2t(s))笔画提示，其次进行对应的预设时长，例如2秒(即，2～4t(s))的视觉追随书写想象，最后是2秒(即，4～6t(s))的黑屏休息。
……
在第1阶段的第75试次：首先进行例如2秒(即，0～2t(s))笔画提示，其次进行对应的预设时长，例如2秒(即，2～4t(s))的视觉追随书写想象，最后是2秒(即，4～6t(s))的黑屏休息。
……
在第6阶段的第1试次：首先进行例如2秒(即，0～2t(s))笔画提示，其次进行对应的预设时长，例如2秒(即，2～4t(s))的视觉追随书写想象，最后是2秒(即，4～6t(s))的黑屏休息。
在第6阶段的第2试次：首先进行例如2秒(即，0～2t(s))笔画提示，其次进行对应的预设时长，例如2秒(即，2～4t(s))的视觉追随书写想象，最后是2秒(即，4～6t(s))的黑屏休息。
……
在第6阶段的第75试次：首先进行例如2秒(即，0～2t(s))笔画提示，其次进行对应的预设时长，例如2秒(即，2～4t(s))的视觉追随书写想象，最后是2秒(即，4～6t(s))的黑屏休息。
(2)在用户熟悉书写流程的过程中，信号采集设备采集用户书写想象过程中的神经电信号(即，第二神经电信号)，将第二神经电信号输入差异比较模型。
(3)差异比较模型输出差异结果，从而确定与用户匹配的书写方式。
(4)通过与用户匹配的书写方式进行视觉追随书写想象：
在第1阶段的第1试次：首先进行例如2秒(即，0～2t(s))笔画提示，其次根据匹配的书写方式执行对应的预设时长，例如2秒(即，2～4t(s))的视觉追随书写想象，最后是2秒(即，4～6t(s))的黑屏休息。
在第1阶段的第2试次：首先进行例如2秒(即，0～2t(s))笔画提示，其次根据匹配的书写方式执行对应的预设时长，例如2秒(即，2～4t(s))的视觉追随书写想象，最后是2秒(即，4～6t(s))的黑屏休息。
……
在第1阶段的第75试次：首先进行例如2秒(即，0～2t(s))笔画提示，其次根据匹配的书写方式执行对应的预设时长，例如2秒(即，2～4t(s))的视觉追随书写想象，最后是2秒(即，4～6t(s))的黑屏休息。
……
在第6阶段的第1试次：首先进行例如2秒(即，0～2t(s))笔画提示，其次根据匹配的书写方式执行对应的预设时长，例如2秒(即，2～4t(s))的视觉追随书写想象，最后是2秒(即，4～6t(s))的黑屏休息。
在第6阶段的第2试次：首先进行例如2秒(即，0～2t(s))笔画提示，其次根据匹配的书写方式执行对应的预设时长，例如2秒(即，2～4t(s))的视觉追随书写想象，最后是2秒(即，4～6t(s))的黑屏休息。
……
在第6阶段的第75试次：首先进行例如2秒(即，0～2t(s))笔画提示，其次根据匹配的书写方式执行对应的预设时长，例如2秒(即，2～4t(s))的视觉追随书写想象，最后是2秒(即，4～6t(s))的黑屏休息。
(5)在用户通过与用户匹配的书写方式进行书写想象的过程中，信号采集设备采集用户书写想象过程中的神经电信号(即，第一神经电信号)，并将该神经电信号(即，第一神经电信号)作为训练样本，从而训练分类识别模型。
(6)通过与用户匹配的书写方式进行自主书写想象：
在第1阶段的第1试次：首先进行例如2秒(即，0～2t(s))笔画提示，其次根据匹配的书写方式执行对应的预设时长，例如2秒(即，2～4t(s))的空白屏自主书写想象，最后是2秒(即，4～6t(s))的黑屏休息。
在第1阶段的第2试次：首先进行例如2秒(即，0～2t(s))笔画提示，其次根据匹配的书写方式执行对应的预设时长，例如2秒(即，2～4t(s))的空白屏自主书写想象，最后是2秒(即，4～6t(s))的黑屏休息。
……
在第1阶段的第75试次：首先进行例如2秒(即，0～2t(s))笔画提示，其次根据匹配的书写方式执行对应的预设时长，例如2秒(即，2～4t(s))的空白屏自主书写想象，最后是2秒(即，4～6t(s))的黑屏休息。
……
在第6阶段的第1试次：首先进行例如2秒(即，0～2t(s))笔画提示，其次根据匹配的书写方式执行对应的预设时长，例如2秒(即，2～4t(s))的或空白屏自主书写想象，最后是2秒(即，4～6t(s))的黑屏休息。
在第6阶段的第2试次：首先进行例如2秒(即，0～2t(s))笔画提示，其次根据匹配的书写方式执行对应的预设时长，例如2秒(即，2～4t(s))的或空白屏自主书写想象，最后是2秒(即，4～6t(s))的黑屏休息。
……
在第6阶段的第75试次：首先进行例如2秒(即，0～2t(s))笔画提示，其次根据匹配的书写方式执行对应的预设时长，例如2秒(即，2～4t(s))的空白屏自主书写想象，最后是2秒(即，4～6t(s))的黑屏休息。
(7)在用户通过与用户匹配的书写方式进行自主书写想象的过程中，信号采集设备采集用户自主书写想象过程中的神经电信号，并根据该神经电信号对训练好的分类识别模型进行测试，从而对分类识别模型进行优化。
(8)通过与用户匹配的书写方式进行自主书写想象单汉字笔画，其中每一试次对应于一个汉字笔画：
第1试次：首先进行例如1秒(即，0～1t(s))单调提示音提示用户可开始书写想象，其次根据匹配的书写方式执行对应的预设时长，例如2秒(即，0～2t(s))的空白屏自主书写想象。其中在提示音开始时，用户就可以开始执行自主书写想象。最后是3秒(即，2～5t(s))的与汉字笔画对应的识别结果在线输出显示。
第2试次：首先进行例如1秒(即，0～1t(s))单调提示音提示用户可开始书写想象，其次根据匹配的书写方式执行对应的预设时长，例如2秒(即，0～2t(s))的空白屏自主书写想象。其中在提示音开始时，用户就可以开始执行自主书写想象。最后是3秒(即，2～5t(s))的与汉字笔画对应的识别结果在线输出显示。
……
(9)通过与用户匹配的书写方式进行自主连续书写想象多汉字笔画，其中每一个试次对应于多个汉字笔画：
第1试次：首先进行例如1秒(即，0～1t(s))单调提示音提示用户可开始书写想象，其次根据匹配的书写方式执行对应的预设时长，例如10秒(即，0～10t(s))的空白屏自主连续书写想象多个汉字笔画。其中在提示音开始时，用户就可以开始执行自主书写想象。最后是3秒(即，10～13t(s))的与汉字笔画对应的识别结果在线输出显示，并且显示由多个汉字笔画组成的汉字。
第2试次：首先进行例如1秒(即，0～1t(s))单调提示音提示用户可开始书写想象，其次根据匹配的书写方式执行对应的预设时长，例如10秒(即，0～10t(s))的空白屏自主连续书写想象多个汉字笔画。其中在提示音开始时，用户就可以开始执行自主书写想象。最后是3秒(即，10～13t(s))的与汉字笔画对应的识别结果在线输出显示，并且显示由多个汉字笔画组成的汉字/词。
……
根据本技术方案上述各个实施例所述的训练方法，本技术方案在训练过程中提供用户在视觉辅助下进行书写想象，在所限定的心理想象运动框架下有目的地诱发当前书写想象任务下的神经电信号，训练后的用户于在线识别阶段保持合理地心理模拟速度进行自主书写想象，实现前后一致的自然书写想象方式，改变了现有脑机接口字符输入系统中间接、被动式的信号生成方式，作为语言通讯系统，使用直接书写想象文字是更直接的主动式信号生成方式。同时本技术方案使用笔画书写想象主动诱发的神经电信号作为输入指令，以汉字笔画作为输出指令，有效结合汉字构型特点和汉字笔画有序输入组成汉字词重码率低的特性，为ALS等存在言语与书写受限的患者提供更高效、更有效的对外交互方法。
从而根据本实施例，用户视觉跟随显示设备中显示的虚拟光标移动，从而进行一笔的汉字笔画的书写想象。在用户书写想象过程中，信号采集设备采集神经电信号，并且通过信号处理设备将采集的神经电信号作为训练样本训练用于识别神经电信号的分类识别模型。从而用户通过自身视觉跟随虚拟光标的辅助，完成对一笔的汉字笔画的书写想象。对自身进行训练，从而熟悉虚拟光标的移动速度和方向，形成自身使用系统的书写习惯。进而用户可以容易地根据汉字笔画的书写习惯，自主完成汉字书写想象，形成相对固定的、与此前训练过程中的视觉跟随虚拟光标轨迹在预设时间内速度及方向近似的自主书写想象汉字轨迹，减少神经电信号试次间一致性差异。
并且用户自主书写想象汉字笔画时，与现有技术相比，本技术方案无需在多个字符中通过视/听觉刺激及注意选择需要的字符，从而生成汉字，避免了长时间专注地盯着需要选择的字符而产生疲劳感。
训练过程中用户在视觉辅助下进行书写想象，在所限定的心理想象运动框架下，用户学习、适应并有目的地诱发当前书写想象任务下的神经电信号。此外，在视觉辅助下进行书写想象能够维持书写想象运动轨迹各参数的平稳性，有利于后续对神经电信号的解码及分类识别，能有效简化算法。以成人病前的直接文字书写方式，使用方式已长期习得内化、简单易用，根据自主意愿自然的执行对应汉字笔画书写想象并诱导神经电信号通过有次序地输出多个汉字笔画形成组合构成一一对应的汉字词进行显示。从而本技术方案仅仅根据长期习得的汉字笔画书写过程以及约定地汉字笔画顺序组合规律进行想象书写即可快速生成汉字，从而提高了与他人沟通的效率，在简化用户训练内容的同时训练内容，即多个具有明确方向的一笔汉字笔画所形成有序笔画组合能够延伸扩展形成海量的完整图形汉字。
并且，本技术方案在一定预设的时间内根据所设定的速度及方向，虚拟光标从汉字笔画起点移动至笔画终点的过程是模拟正常成人汉字书写一笔的汉字笔画的过程，是通过预先采集成年人手部自然书写一笔的汉字笔画的连续过程并建立不同汉字笔画类型所对应的书写模版完成。汉字笔画的手写字符为手部书写线条形式不是印刷体形式，字形轨迹为单一的一笔连贯过程，中间无断笔。相比于视觉识别印刷体的字符，如印刷体字母，功能影像研究观察到手写的字母的连续运动形式对于大脑左侧中部运动前皮层的激活更强。用户视觉跟随虚拟光标辅助完成对一笔的汉字笔画的书写想象是一种对既有的过往学习到的笔画手部书写的调整更新学习、观察并模仿、记忆简单手写笔画在空白田字格中的书写过程，书写想象不产生书写动作因此失去手部书写所形成痕迹的视觉反馈，显示设备呈现虚拟光标移动过程对用户执行汉字书写想象构成完整的镜像反馈，如同经历一次观看自身所书写运动轨迹的动态展开过程。以一笔的汉字笔画手写字符形式，即包含个体手部书写的特征标签形式进行辅助书写想象相较于无辅助模式进行书写想象以及标准印刷格式进行辅助想象，分别可提高分类识别模型分类识别神经电信号的准确率30％及20％。此外，也能进一步减少用户在这一书写想象过程中的疲劳感。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
图1A示出了根据本实施例的的基于视觉追随辅助的书写想象汉字轨迹确定系统，该装置与根据实施例1的方法相对应。参考图1A所示，该系统包括：显示设备；信号采集设备；以及信号处理设备，其中
显示设备配置用于执行以下操作：显示第一虚拟光标，第一虚拟光标以预设速度发生移动并形成多个不同的手写运动轨迹，手写运动轨迹是指带有成人手部书写特征的笔画线条样式而不是标准印刷字体形式的字形轨迹，字形轨迹为单一的一笔连贯过程，中间无断笔，并且
信号采集设备配置用于执行以下操作：在用户视觉跟随第一虚拟光标的手写运动轨迹，并想象进行与第一虚拟光标的速度及方向匹配的同步书写的过程中，采集用户的第一神经电信号作为训练样本，并且
信号处理设备配置用于执行以下操作：创建用于对用户书写想象的手写运动轨迹进行识别的分类识别模型，并利用第一神经电信号对分类识别模型进行训练，其中分类识别模型是通过训练样本构建的以书写想象的汉字笔画为输出的模型。
从而根据本实施例，用户视觉跟随显示设备中显示的虚拟光标移动，从而进行一笔的汉字笔画的书写想象。在用户书写想象过程中，信号采集设备采集神经电信号，并且通过信号处理设备将采集的神经电信号作为训练样本训练用于识别神经电信号的分类识别模型。从而用户通过自身视觉跟随虚拟光标的辅助，完成对一笔的汉字笔画的书写想象。对自身进行训练，从而熟悉虚拟光标的移动速度和方向，形成自身使用系统的书写习惯。进而用户可以容易地根据汉字笔画的书写习惯，自主完成汉字书写想象，形成相对固定的、与此前训练过程中的视觉跟随虚拟光标轨迹在预设时间内速度及方向近似的自主书写想象汉字轨迹，减少神经电信号试次间一致性差异。
并且用户自主书写想象汉字笔画时，与现有技术相比，本技术方案无需在多个字符中通过视/听觉刺激及注意选择需要的字符，从而生成汉字，避免了长时间专注地盯着需要选择的字符而产生疲劳感。
训练过程中用户在视觉辅助下进行书写想象，在所限定的心理想象运动框架下，用户学习、适应并有目的地诱发当前书写想象任务下的神经电信号。此外，在视觉辅助下进行书写想象能够维持书写想象运动轨迹各参数的平稳性，有利于后续对神经电信号的解码及分类识别，能有效简化算法。以成人病前的直接文字书写方式，使用方式已长期习得内化、简单易用，根据自主意愿自然的执行对应汉字笔画书写想象并诱导神经电信号通过有次序地输出多个汉字笔画形成组合构成一一对应的汉字词进行显示。从而本技术方案仅仅根据长期习得的汉字笔画书写过程以及约定地汉字笔画顺序组合规律进行想象书写即可快速生成汉字，从而提高了与他人沟通的效率，在简化用户训练内容的同时训练内容，即多个具有明确方向的一笔汉字笔画所形成有序笔画组合能够延伸扩展形成海量的完整图形汉字。
并且，本技术方案在一定预设的时间内根据所设定的速度及方向，虚拟光标从汉字笔画起点移动至笔画终点的过程是模拟正常成人汉字书写一笔的汉字笔画的过程，是通过预先采集成年人手部自然书写一笔的汉字笔画的连续过程并建立不同汉字笔画类型所对应的书写模版完成。汉字笔画的手写字符为手部书写线条形式不是印刷体形式，字形轨迹为单一的一笔连贯过程，中间无断笔。相比于视觉识别印刷体的字符，如印刷体字母，功能影像研究观察到手写的字母的连续运动形式对于大脑左侧中部运动前皮层的激活更强。用户视觉跟随虚拟光标辅助完成对一笔的汉字笔画的书写想象是一种对既有的过往学习到的笔画手部书写的调整更新学习、观察并模仿、记忆简单手写笔画在空白田字格中的书写过程，书写想象不产生书写动作因此失去手部书写所形成痕迹的视觉反馈，显示设备呈现虚拟光标移动过程对用户执行汉字书写想象构成完整的镜像反馈，如同经历一次观看自身所书写运动轨迹的动态展开过程。以一笔的汉字笔画手写字符形式，即包含个体手部书写的特征标签形式进行辅助书写想象相较于无辅助模式进行书写想象以及标准印刷格式进行辅助想象，分别可提高分类识别模型分类识别神经电信号的准确率30％及20％。此外，也能进一步减少用户在这一书写想象过程中的疲劳感。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于视觉追随辅助的书写想象汉字轨迹确定方法，其特征在于，包括：
在界面上显示第一虚拟光标，所述第一虚拟光标以预设速度发生移动并形成多个不同的手写运动轨迹，所述手写运动轨迹是指带有成人手部书写特征的笔画线条样式而不是标准印刷字体形式的字形轨迹，所述字形轨迹为单一的一笔连贯过程，中间无断笔；
在用户视觉跟随所述第一虚拟光标的手写运动轨迹，并想象进行与所述第一虚拟光标的速度及方向匹配的同步书写的过程中，采集所述用户的第一神经电信号作为训练样本；以及
创建用于对所述用户书写想象的神经电信号进行识别的分类识别模型，并利用所述第一神经电信号对所述分类识别模型进行训练，其中所述分类识别模型是通过所述训练样本构建的以书写想象的汉字笔画为输出的模型，并且
方法还包括：在界面上显示第二虚拟光标，所述第二虚拟光标以预设速度发生移动并形成多个不同的手写运动轨迹；在用户视觉跟随所述第二虚拟光标的手写运动轨迹，并想象通过不同书写方式进行与所述第二虚拟光标的速度及方向匹配的同步书写的过程中，采集与所述不同书写方式的同步书写对应的第二神经电信号；以及根据所述第二神经电信号确定与所述用户匹配的书写方式，其中
通过差异比较模型比较在所述不同书写方式下各个笔画之间的所述第二神经电信号之间的差异，确定与所述用户匹配的书写方式，其中所述不同书写方式包括食指书写和握笔书写，并且其中
所述用户视觉跟随所述第一虚拟光标的手写运动轨迹，并想象进行与所述第一虚拟光标的速度及方向匹配的同步书写的过程，其中，所执行想象的书写方式为与所述用户匹配的书写方式，并且
方法还包括：利用所述分类识别模型对所述用户自主书写想象过程中的第三神经电信号进行分类识别，其中
利用所述分类识别模型对所述用户自主书写想象过程中的第三神经电信号进行分类识别的操作，包括：采集所述用户在自主书写想象过程中所产生的所述第三神经电信号；以及将所述第三神经电信号输入至所述分类识别模型中，利用所述分类识别模型根据所述第三神经电信号确定所述用户自主书写想象过程中所产生的手写运动轨迹，其中所述手写运动轨迹为单一一笔的汉字笔画，并且
方法还包括：利用所述单一一笔的汉字笔画构成有序笔画组合，从而创建汉字，并将所述汉字输出在所述界面上，并且
方法还包括：通过所述分类识别模型对所述第三神经电信号进行处理，并确定与所述第三神经电信号对应的神经电信号类别，其中通过所述分类识别模型对所述第三神经电信号进行处理，并确定与所述第三神经电信号对应的神经电信号类别的操作，包括：对所采集的所述第三神经电信号进行预处理；对预处理后的所述第三神经电信号进行特征提取，生成相应的神经电信号特征；以及根据所述神经电信号特征确定相应的神经电信号类别，其中根据所述神经电信号特征确定相应的神经电信号类别的操作，包括：根据所述神经电信号特征确定与所述神经电信号类别相关的弱分类信息；以及根据所述弱分类信息确定所述神经电信号类别，其中所述第三神经电信号为采用滑动窗所提取的相应时隙的神经电信号，其中所述神经电信号类别与汉字书写相关的汉字书写想象任务对应，并且其中所述汉字书写想象任务包括针对所述汉字笔画的汉字书写想象，其中根据所述神经电信号特征确定与所述神经电信号类别相关的弱分类信息的操作，包括：通过多个二分类器根据所述神经电信号特征确定与所述神经电信号类别相关的弱分类信息，其中所述二分类器的类别对应于不同的所述神经电信号类别，并且对预处理后的所述第三神经电信号进行特征提取的操作，包括：针对不同的二分类器，分别提取相应的特征，生成相应的所述神经电信号特征并传输至相应的所述二分类器；以及所述多个二分类器根据所接收的所述神经电信号特征，基于一对一分类法，确定与所述第三神经电信号对应的所述弱分类信息，并且其中对所采集的所述第三神经电信号进行预处理的操作，包括：对于采集到的第三神经电信号的神经电信号矩阵，利用与所述用户的响应频带匹配的滤波器，进行个体特异化频带滤波，得到预处理后的神经电信号矩阵X{B}，其中C和T为所述神经电信号矩阵的维度，并且其中，所述滤波器通过以下操作构建：获取所述用户的与不同的汉字书写想象任务对应的样本神经电信号矩阵/>；分别生成与各个样本神经电信号矩阵/>对应的频谱信息；根据所述频谱信息，针对预先设定的各个频带，确定所述各个样本神经电信号与每个频带对应幅值信息；针对所述每个频带，计算所述各个样本神经电信号的幅值信息的方差；基于所计算的方差，确定所述用户的响应频带；以及基于所述用户的响应频带构建所述滤波器，其中所述滤波器用于通过与所述用户的响应频带对应的神经电信号且滤除其他频带的神经电信号，并且针对不同的二分类器，分别提取相应的特征的操作，包括，通过第j个特征提取单元执行以下操作：确定预处理后的所述神经电信号矩阵X{B}的协方差矩阵P：
；
根据所述第j个特征提取单元的信号投影矩阵和协方差矩阵P，提取所述神经电信号矩阵的特征：
，
其中x j表示所述第j个特征提取单元所提取的所述神经电信号特征，M表示神经电信号特征x j的特征的对数，以及diag(A)表示返回矩阵A的对角线元素并构成向量，并且所述多个二分类器为预先训练的基于LASSO回归模型的二分类器，并且确定与所述神经电信号类别相关的弱分类信息的操作，包括：利用第j个二分类器对所述第j个特征提取单元提取的所述神经电信号特征x j进行二分类，确定与所述第j个二分类器对应的二分类信息，作为所述弱分类信息的一部分，并且其中根据所述弱分类信息确定所述神经电信号类别的操作，包括：将所述弱分类信息进行融合，生成融合分类信息；以及根据所述融合分类信息，利用softmax回归模型确定所述神经电信号类别。
2.根据权利要求1所述的方法，其特征在于，所述第一虚拟光标所形成的所述手写运动轨迹为一笔的汉字笔画，并且其中
所述一笔的汉字笔画包括：横、竖、撇、捺和折。
3.根据权利要求1所述的方法，其特征在于，所述第一虚拟光标以预设速度发生移动并形成多个不同的手写运动轨迹的操作，包括：
对所述第一虚拟光标的速度与方向进行设置，将依照正常人在空白田字格中进行自然手部书写所构建的汉字笔画书写过程作为模板，所述模板带有所述成人手部书写特征的笔画线条样式，而非标准印刷字体形式的字形轨迹，根据所述第一虚拟光标的移动时长，形成与所述移动时长对应的所述手写运动轨迹。
4.根据权利要求2所述的方法，其特征在于，在用户视觉跟随所述第一虚拟光标的手写运动轨迹，并想象进行与所述第一虚拟光标的速度及方向匹配的同步书写的过程中，采集所述用户的第一神经电信号作为训练样本的操作，包括：
在所述界面上显示待书写的汉字笔画提示后持续第一预设时间，其中所述第一预设时间是指所述第一虚拟光标按照预设速度和预设方向从所述汉字笔画的起始点移动至所述汉字笔画的终点的时间；
在所述用户视觉跟随所述第一虚拟光标并想象以所述预设速度和所述预设方向进行所述汉字笔画的同步视觉跟随书写的过程中，采集所述用户在书写想象期间的第一神经电信号；以及
在所述书写想象完成后关闭所述界面的显示并持续第二预设时间。
5.一种基于视觉追随辅助的书写想象汉字轨迹确定系统，其特征在于，包括：显示设备；信号采集设备；以及信号处理设备，用于执行权利要求1所述的方法，其中
所述显示设备配置用于执行以下操作：显示第一虚拟光标，所述第一虚拟光标以预设速度发生移动并形成多个不同的手写运动轨迹，所述手写运动轨迹是指带有成人手部书写特征的笔画线条样式而不是标准印刷字体形式的字形轨迹，所述字形轨迹为单一的一笔连贯过程，中间无断笔；并且
所述信号采集设备配置用于执行以下操作：在用户视觉跟随所述第一虚拟光标的手写运动轨迹，并想象进行与所述第一虚拟光标的速度及方向匹配的同步书写的过程中，采集所述用户的第一神经电信号作为训练样本，并且
所述信号处理设备配置用于执行以下操作：创建用于对所述用户书写想象的手写运动轨迹进行识别的分类识别模型，并利用所述第一神经电信号对所述分类识别模型进行训练，其中所述分类识别模型是通过所述训练样本构建的以书写想象的汉字笔画为输出的模型。
CN202311577172.0A 2023-11-23 2023-11-23 基于视觉追随辅助的书写想象汉字轨迹确定方法及系统 Active CN117389441B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311577172.0A CN117389441B (zh) 2023-11-23 2023-11-23 基于视觉追随辅助的书写想象汉字轨迹确定方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311577172.0A CN117389441B (zh) 2023-11-23 2023-11-23 基于视觉追随辅助的书写想象汉字轨迹确定方法及系统

Publications (2)

Publication Number Publication Date
CN117389441A CN117389441A (zh) 2024-01-12
CN117389441B true CN117389441B (zh) 2024-03-15

Family

ID=89466647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311577172.0A Active CN117389441B (zh) 2023-11-23 2023-11-23 基于视觉追随辅助的书写想象汉字轨迹确定方法及系统

Country Status (1)

Country Link
CN (1) CN117389441B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117784939A (zh) * 2024-02-23 2024-03-29 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于五笔输入法的汉字书写想象方法、装置及存储介质
CN117784940A (zh) * 2024-02-23 2024-03-29 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 针对汉字笔画书写想象的高维张量分析方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923392A (zh) * 2010-09-02 2010-12-22 上海交通大学 脑电信号的异步脑机交互控制方法
CN105739680A (zh) * 2014-12-29 2016-07-06 意美森公司 用于基于眼睛跟踪生成触觉效果的系统和方法
WO2016182997A2 (en) * 2015-05-10 2016-11-17 Alpha Omega Neuro Technologies, Ltd. Automatic brain probe guidance system
WO2020061451A1 (en) * 2018-09-20 2020-03-26 Ctrl-Labs Corporation Neuromuscular text entry, writing and drawing in augmented reality systems
CN113157100A (zh) * 2021-01-04 2021-07-23 河北工业大学 一种附加汉字默读与运动想象任务的脑-机接口方法
CN115192045A (zh) * 2022-09-16 2022-10-18 季华实验室 目的地识别/轮椅控制方法、装置、电子设备及存储介质
CN115480638A (zh) * 2022-09-05 2022-12-16 脑陆(重庆)智能科技研究院有限公司 基于笔画意图识别的中文打字方法、装置、系统及介质
CN116150646A (zh) * 2022-11-08 2023-05-23 湖南工商大学 一种基于非均匀频带mfmdrm的运动想象脑电信号分类算法
CN116880691A (zh) * 2023-07-12 2023-10-13 浙江大学 一种基于手写轨迹解码的脑机接口交互方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040073414A1 (en) * 2002-06-04 2004-04-15 Brown University Research Foundation Method and system for inferring hand motion from multi-cell recordings in the motor cortex using a kalman filter or a bayesian model

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923392A (zh) * 2010-09-02 2010-12-22 上海交通大学 脑电信号的异步脑机交互控制方法
CN105739680A (zh) * 2014-12-29 2016-07-06 意美森公司 用于基于眼睛跟踪生成触觉效果的系统和方法
WO2016182997A2 (en) * 2015-05-10 2016-11-17 Alpha Omega Neuro Technologies, Ltd. Automatic brain probe guidance system
WO2020061451A1 (en) * 2018-09-20 2020-03-26 Ctrl-Labs Corporation Neuromuscular text entry, writing and drawing in augmented reality systems
CN113157100A (zh) * 2021-01-04 2021-07-23 河北工业大学 一种附加汉字默读与运动想象任务的脑-机接口方法
CN115480638A (zh) * 2022-09-05 2022-12-16 脑陆(重庆)智能科技研究院有限公司 基于笔画意图识别的中文打字方法、装置、系统及介质
CN115192045A (zh) * 2022-09-16 2022-10-18 季华实验室 目的地识别/轮椅控制方法、装置、电子设备及存储介质
CN116150646A (zh) * 2022-11-08 2023-05-23 湖南工商大学 一种基于非均匀频带mfmdrm的运动想象脑电信号分类算法
CN116880691A (zh) * 2023-07-12 2023-10-13 浙江大学 一种基于手写轨迹解码的脑机接口交互方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
简单型书写痉挛患者异常皮质活动的功能磁共振成像研究;刘海 等;中国医学计算机成像杂志;20071225(06);第403-407页 *

Also Published As

Publication number Publication date
CN117389441A (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
CN117389441B (zh) 基于视觉追随辅助的书写想象汉字轨迹确定方法及系统
Pfurtscheller et al. Graz-BCI: state of the art and clinical applications
Millán Adaptive brain interfaces
Akcakaya et al. Noninvasive brain–computer interfaces for augmentative and alternative communication
Orhan et al. RSVP keyboard: An EEG based typing interface
Blankertz et al. Optimizing spatial filters for robust EEG single-trial analysis
Krepki et al. Berlin brain–computer interface—The HCI communication channel for discovery
Volosyak et al. Evaluation of the Bremen SSVEP based BCI in real world conditions
CN103699216B (zh) 一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法
CN108904163A (zh) 轮椅控制方法及系统
CN105105771B (zh) 潜能值测验的认知指标分析方法
CN113031766B (zh) 一种通过脑电解码汉语发音的方法
CN107390869A (zh) 基于运动视觉诱发电位的高效脑控中文输入方法
CN116880691A (zh) 一种基于手写轨迹解码的脑机接口交互方法
CN111443799A (zh) 基于脑机接口的辅助学习方法、终端及计算机存储介质
Yuan et al. Chinese sign language alphabet recognition based on random forest algorithm
Orhan RSVP Keyboard™: An EEG Based BCI Typing System with Context Information Fusion
Ahani et al. Language-Model Assisted and Icon-Based Communication Through a Brain–Computer Interface With Different Presentation Paradigms
Johnson Keeping the pragmatism in neuropragmatism
Ansari et al. BCI: an optimised speller using SSVEP
CN114492532A (zh) 一种用于指导教学的双模态情绪分类方法
CN117608399A (zh) 基于汉字笔画的轨迹拟合方法以及装置
JPH02232783A (ja) 脳波トポグラフィによる音節認識装置
Delgado Saa Probabilistic graphical models for brain computer interfaces
CN117608400A (zh) 基于脑机接口的汉字书写轨迹识别方法、系统及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant