CN117608399A - 基于汉字笔画的轨迹拟合方法以及装置 - Google Patents

基于汉字笔画的轨迹拟合方法以及装置 Download PDF

Info

Publication number
CN117608399A
CN117608399A CN202311574867.3A CN202311574867A CN117608399A CN 117608399 A CN117608399 A CN 117608399A CN 202311574867 A CN202311574867 A CN 202311574867A CN 117608399 A CN117608399 A CN 117608399A
Authority
CN
China
Prior art keywords
writing
chinese character
user
stroke
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311574867.3A
Other languages
English (en)
Other versions
CN117608399B (zh
Inventor
王伊龙
陈奕奕
马婷
蔡国庆
廖家慧
刘伟明
吴量
张烁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tiantan Hospital
Original Assignee
Beijing Tiantan Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tiantan Hospital filed Critical Beijing Tiantan Hospital
Priority to CN202311574867.3A priority Critical patent/CN117608399B/zh
Publication of CN117608399A publication Critical patent/CN117608399A/zh
Application granted granted Critical
Publication of CN117608399B publication Critical patent/CN117608399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/27—Regression, e.g. linear or logistic regression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Character Discrimination (AREA)

Abstract

本申请公开了一种基于汉字笔画的轨迹拟合方法以及装置。涉及脑机接口领域。其中方法包括：获取用户执行与书写汉字笔画的笔画行进轨迹同步的实际书写所产生的第一神经信号；获取用户实际书写目标汉字对应的每一个汉字笔画所产生的第二神经信号；利用第一神经信号和第二神经信号对第一实际书写轨迹拟合模型进行训练；获取用户执行与书写汉字笔画的笔画行进轨迹同步的想象手部书写所产生的第三神经信号；获取用户想象书写目标汉字对应的每一个汉字笔画所产生的第四神经信号；以及利用第三神经信号和第四神经信号对第二想象书写轨迹拟合模型进行训练。

Description

基于汉字笔画的轨迹拟合方法以及装置
技术领域
本申请涉及脑机接口领域，特别是涉及一种基于汉字笔画的轨迹拟合方法以及装置。
背景技术
现有技术中以字符显示语言通讯为目的脑机接口系统：可以通过“点击—选择”的操作方式选择键盘排布式字母符，但其通讯效率低(最高40字符/分钟)。此外，使用该脑机接口系统的用户进行字符选择的操作方式通常与发音/书写文字无直接关联，以一种被动诱导、间接的方式进行人机交互，从而使得用户在使用过程中易疲劳。尽管植入式脑机接口系统利用运动障碍患者直接尝试书写独立英文字母所生成的神经信号可实现90字符/分钟的高通讯效率，但是，无论是“点击-选择”字母符号还是尝试直接书写英文字母，其更适应于如英文等通过字母的线性组合排列而拼构成为单词继而作为一个整体表词达意的表音语言系统。也就是说，字母型表音语言系统是以独立字母作为视觉符号，映射到拼写。
与英文由字母独立组装不同，汉字是表意语言系统，汉字的基本构成单元是笔画，笔画构成部首组成方正的结构字块—块状的字形结构直接检索到语音和语义的转换，“一字形、一字音、一字义”，相较于英文、法文等拼音文字以语音学“听音”为基础，汉字作为象形文字以视觉字形“识字”为基础，以书写的字形轨迹识别作为汉语母语人群的通讯脑机接口系统符合汉语语言系统的特点。但是“汉字”这一视觉符号相比一线呵成的字母轨迹具有更复杂的交错空间结构，实现高效输出汉字的汉语通讯脑机接口系统需要对簇状汉字轨迹解码，对完整图形汉字的整块字形解码蕴含复杂的书写内容，稳定解码要求保持每一次书写想象试次之间的神经信号稳定，无疑对用户及模型所需包含的训练内容以及在实际应用中用户需维持每次书写想象同一图形汉字任务的注意力、执行能力及记忆能力提出更高要求，在存在中枢神经系统疾病的严重肢体及言语障碍的患者中实际运用存在受限。
汉字的书写特点，有别于书写字母—具有丰富圆形、卷曲方向信息，汉字保持方块结构，方向只有水平、垂直与对角线；笔画为其基本单元，依汉字笔顺规则逐个依次书写构成汉字，作为单音节、同音字多的汉字，以笔画组合构成常用汉字词相较于拼音形式重码率低。除此以外，一笔一画书写汉字的完整过程具有统一的汉字构型惯例规则，如从左到右，从上到下等，以及空间排布要求，如汉字“日”和“曰”的第二个汉字笔画“横折”空间布局长短有别。汉字虽然复杂，但对于如何书写汉字，其拆解笔画单元信息以及汉字书写的笔顺规则通常已长时储存于个体对汉字的字形长期记忆中，并且成人书写字形笔迹具有相对稳定的可重复性。
人类进化所具有的高等功能，如语言能力，与大脑的认知加工神经机制可能是从猕猴大脑通过不断开发与适应进化而来，而不同的语言系统在大脑的加工从解剖结构到功能网络既具有普遍性，又具有特殊性。汉字及其笔画构成单元在大脑中的视觉编码和字形配置是文字书写大脑认知加工连贯网络中适应于汉语母语者而特殊于英文母语者的大脑语言加工网络之处。汉语文字使用人群所形成大脑语言系统对构成汉字的组成部件包括所需的不同类型笔画、部首偏旁成分具有额外的字形图形特征记忆存储库，个体可依据自主需求检索、调用大脑中对不同类型笔画、部首偏旁以及完整字形的长期记忆特征并形成工作记忆与执行输出意图汉字。本技术方案以汉字一笔的笔画字形作为神经解码轨迹识别的目标，同时汉字笔画字形的方向信息简明单一，不存在过多的多变卷曲和转折方向，可实现书写轨迹神经信号解码的拟合再现。
在现有技术中，例如，在想象书写汉字笔画横(即，“一”)时，由于书写思维不固定，容易受到外部环境或内在条件如情绪、注意力、疲劳等因素发生书写同一笔画的想象轨迹产生试次间偏差。随之用户在第一次想象书写汉字笔画横(即，“一”)的神经信号与第二次想象书写汉字笔画横(即，“一”)的神经信号的差异较大。
进而将同一想象书写汉字类型但差异较大的不同试次的神经信号作为训练样本训练轨迹拟合模型。其中轨迹拟合模型用于根据神经信号确定相应的汉字笔画在一定时间段内的方向信息。由于训练样本一致性较差，从而造成训练样本质量较差，因此轨迹拟合模型在识别神经信号时，输出的汉字笔画方向信息很可能与该神经信号不对应，轨迹拟合能力下降，低于随机水平。例如，轨迹拟合模型识别并比较两个试次中固定时间段(即2秒)内用户想象书写汉字笔画竖(即，“丨”)的神经信号时，输出的X轴与Y轴方向信息具有较大的试次间变异程度，所构成的每一试次的轨迹拟合字形线条，可能近似于汉字笔画竖(即，“丨”)的字形轨迹，也可能是近似于汉字笔画撇(即，“丿”)的字形轨迹。
针对上述的现有技术中存在的以适用于组装型拼音文字(英文等)的单字符选择并组装成词的脑机接口系统以及包括通过完整的图形汉字书写轨迹想象进行解码交流的脑机接口系统应用于汉语言文字系统应用受限且通讯效率低以及用户通过视/听觉刺激及注意的操作方式在使用过程中易疲劳，以及在书写和想象书写同一汉字笔画的神经信号一致性较低，造成的与神经信号对应的训练样本质量较差，从而训练得到的轨迹拟合模型轨迹拟合效果不佳的技术问题，目前尚未提出有效的解决方案。
发明内容
本申请的实施例提供了一种基于汉字笔画的轨迹拟合方法以及装置，针对并利用汉字基本构成单元—汉字笔画的字形信息以进行书写和想象书写轨迹拟合，以至少解决现有技术中存在的以适用于组装型拼音文字(英文等)的单字符选择并组装成词语的脑机系统以及包括通过完整的图形汉字书写轨迹想象进行解码交流的脑机接口系统应用于汉语言文字系统应用受限且通讯效率低以及用户通过视/听觉刺激及注意的操作方式在使用过程中易疲劳，以及在书写和想象书写同一汉字笔画的神经信号一致性较低，造成的与神经信号对应的训练样本质量较差，从而训练得到的轨迹拟合模型轨迹拟合效果不佳的技术问题。
根据本申请实施例的一个方面，提供了一种基于汉字笔画的轨迹拟合方法，包括：预先设定书写汉字笔画的笔画行进轨迹，根据预设速度显示笔画行进轨迹，并获取用户执行与书写汉字笔画的笔画行进轨迹同步的实际书写所产生的第一神经信号；预先设定目标汉字，并且依照汉字书写的笔顺规则形成目标汉字所对应的包含多个汉字笔画的有序组合；根据有序组合中的笔画书写次序和根据预设速度连续的、依次显示每一汉字笔画的笔画行进轨迹，笔画行进轨迹为带有成人手部书写特征的笔画线条样式而不是标准印刷字体形式的字形轨迹，字形轨迹为单一的一笔连贯过程，中间无断笔；在用户根据目标汉字进行构型拆解形成有序笔画单元之后，获取用户连续的、依次实际书写目标汉字对应的有序组合中的每一个汉字笔画所产生的第二神经信号，其中用户是执行与书写每一汉字笔画的笔画行进轨迹同步的实际手部书写；创建用于对用户实际手部书写汉字笔画时的神经信号进行识别的第一实际书写轨迹拟合模型，并利用第一神经信号和第二神经信号对第一实际书写轨迹拟合模型进行训练；预先设定书写汉字笔画的笔画行进轨迹，根据预设速度显示笔画行进轨迹，并获取用户执行与书写汉字笔画的笔画行进轨迹同步的想象手部书写所产生的第三神经信号；预先设定目标汉字，并依汉字书写的笔顺规则形成目标汉字所对应的包含多个汉字笔画的有序组合；根据有序组合中的笔画书写次序和根据预设速度连续地、依次显示每一汉字笔画的行进轨迹，笔画行进轨迹为带有成人手部书写特征的笔画线条样式而不是标准印刷字体形式的字形轨迹，字形轨迹为单一的一笔连贯过程，中间无断笔；用户根据目标汉字进行构型拆解形成有序笔画单元之后，获取用户连续的、依次想象书写目标汉字对应的有序组合中的每一个汉字笔画所产生的第四神经信号，其中用户是执行与书写每一汉字笔画的笔画行进轨迹同步的想象手部书写；以及创建用于对用户想象书写汉字笔画时的神经信号进行识别的第二想象书写轨迹拟合模型，并利用第三神经信号和第四神经信号对第二想象书写轨迹拟合模型进行训练。
根据本申请实施例的另一方面，还提供了一种基于汉字笔画的轨迹拟合模型训练装置，包括：第一获取模块，用于预先设定书写汉字笔画的笔画行进轨迹，根据预设速度显示笔画行进轨迹，并获取用户执行与书写汉字笔画的笔画行进轨迹同步的实际书写所产生的第一神经信号；第一组合模块，用于预先设定目标汉字，并且依照汉字书写的笔顺规则形成目标汉字所对应的包含多个汉字笔画的有序组合；第一显示模块，用于根据有序组合中的笔画书写次序和根据预设速度连续的、依次显示每一汉字笔画的笔画行进轨迹，笔画行进轨迹为带有成人手部书写特征的笔画线条样式而不是标准印刷字体形式的字形轨迹，字形轨迹为单一的一笔连贯过程，中间无断笔；第二获取模块，用于在用户根据目标汉字进行构型拆解形成有序笔画单元之后，获取用户连续的、依次实际书写目标汉字对应的有序组合中的每一个汉字笔画所产生的第二神经信号，其中用户是执行与书写每一汉字笔画的笔画行进轨迹同步的实际手部书写；第一创建模块，用于创建用于对用户实际手部书写汉字笔画时的神经信号进行识别的第一实际书写轨迹拟合模型，并利用第一神经信号和第二神经信号对第一实际书写轨迹拟合模型进行训练；第三获取模块，用于预先设定书写汉字笔画的笔画行进轨迹，根据预设速度显示笔画行进轨迹，并获取用户执行与书写汉字笔画的笔画行进轨迹同步的想象书写所产生的第三神经信号；第二组合模块，用于预先设定目标汉字，并依汉字书写的笔顺规则形成目标汉字所对应的包含多个汉字笔画的有序组合；第二显示模块，用于根据有序组合中的笔画书写次序和根据预设速度连续的、依次显示每一汉字笔画的行进轨迹，笔画行进轨迹为带有成人手部书写特征的笔画线条样式而不是标准印刷字体形式的字形轨迹，字形轨迹为单一的一笔连贯过程，中间无断笔；第四获取模块，用于用户根据目标汉字进行构型拆解形成有序笔画单元之后，获取用户连续的、依次想象书写目标汉字对应的有序组合中的每一个汉字笔画所产生的第四神经信号，其中用户是执行与书写每一汉字笔画的笔画行进轨迹同步的想象手部书写；以及第二创建模块，用于创建用于对用户想象书写汉字笔画时的神经信号进行识别的第二想象书写轨迹拟合模型，并利用第三神经信号和第四神经信号对第二想象书写轨迹拟合模型进行训练。
在本申请实施例中，以原始手部自然书写及书写想象形成的带有个体手部书写特征的字形轨迹诱导神经信号特征，对简单一笔的简明方向书写轨迹线条进行连续轨迹拟合，结合汉字笔顺规则及多个一笔的汉字笔画构成有序地笔画组合形成完整汉字的组合衍生多样性优势构建脑机接口系统。
并且预先设定书写汉字笔画的笔画行进轨迹，根据预设速度显示笔画行进轨迹，笔画行进轨迹为带有成人手部书写特征的笔画线条样式而不是标准印刷字体形式的字形轨迹，并获取用户执行与书写汉字笔画的笔画行进轨迹同步的实际书写或想象书写所产生的神经信号，所述预先设定书写汉字笔画的笔画行进轨迹是通过预先采集成年人手部自然书写一笔的汉字笔画的连续过程并建立不同汉字笔画类型所对应的书写模版完成。所述汉字笔画为单一的一笔连贯过程，中间无断笔。相比于视觉识别印刷体的字符，如印刷体字母，功能影像研究观察到手写的字母的连续运动形式对于大脑左侧中部运动前皮层的激活更强。用户视觉跟随虚拟光标辅助完成对一笔的汉字笔画的书写想象是一种对既有的过往学习到的笔画手部书写的调整更新学习、观察并模仿、记忆简单手写笔画在空白田字格中的书写过程，书写想象不产生书写动作因此失去手部书写所形成痕迹的视觉反馈，显示设备呈现虚拟光标移动过程对用户执行汉字书写想象构成完整的镜像反馈，如同经历一次观看自身所书写运动轨迹的动态展开过程。以一笔的汉字笔画手写字符形式，即包含个体手部书写的特征标签形式进行辅助书写想象相较于无辅助模式进行书写想象以及标准印刷格式进行辅助想象，分别可提高分类识别模型分类识别神经信号的准确率30％及20％。此外，也能进一步减少用户在这一书写想象过程中的疲劳感。
并且用户视觉跟随显示设备中显示的虚拟光标移动，从而进行汉字笔画的实际书写，其中虚拟光标移动及实际书写轨迹过程为恒定的匀速书写。在用户书写过程中，信号采集设备采集第一神经信号。用户根据屏幕提示的目标汉字并且根据目标汉字的笔顺规则进行连续的、依次完成该目标汉字所对应的包含多个汉字笔画的有序组合中的每一汉字笔画书写；用户视觉追随屏幕中移动的虚拟光标完成每一汉字笔画实际书写，其中虚拟光标移动及实际书写轨迹过程为恒定的匀速书写；在用户连续实际书写多个汉字笔画以组成目标汉字过程中，信号采集设备采集第二神经信号。用户视觉跟随显示设备中显示的虚拟光标移动，从而进行汉字笔画的想象书写，其中虚拟光标移动及想象的书写轨迹过程为恒定的匀速想象书写。在用户想象书写过程中，信号采集设备采集第三神经信号。用户根据屏幕提示的目标汉字并且根据目标汉字的笔顺规则进行连续的、依次完成该目标汉字所对应的包含多个汉字笔画的有序组合中的每一汉字笔画想象书写；用户视觉追随屏幕中移动的虚拟光标完成每一汉字笔画想象书写，其中虚拟光标移动及想象书写轨迹过程为恒定的匀速书写；在用户连续想象书写多个汉字笔画以组成目标汉字过程中，信号采集设备采集第四神经信号。用户通过视觉跟随虚拟光标进行与之同步的实际书写和想象书写单一汉字笔画及根据目标汉字的拆解笔画顺序进行多个汉字笔画的连续书写和想象书写，对自身进行训练，从而熟悉每一汉字笔画类型下的虚拟光标随时间的移动方向，形成自身的书写习惯。据此，可以减小对同一汉字笔画类型下、不同试次生成的第一神经信号之间的差别。进一步地，以生成目标汉字为目的，可以减小为构成目标汉字根据汉字书写笔顺规则用户进行连续依次书写生成的包含多个汉字笔画的第二神经信号与其所包含多个汉字笔画各自对应的独立第一神经信号的差别。例如，可以减小书写目标汉字“十”(即首先书写汉字笔画横—“一”，接下来书写汉字笔画竖—“丨”所生成的包含有实际书写汉字笔画横和汉字笔画竖的第二神经信号，可以减少第二神经信号前一汉字笔画横书写时间段内生成的第二神经信号部分与用户书写的汉字笔画横(即“一”)生成的第一神经信号的信号差异，可以减少第二神经信号后一汉字笔画竖书写时间段内生成的第二神经信号部分与用户书写汉字笔画竖(即“丨”)生成的第一神经信号的信号差异。第三神经信号与第四神经信号同理。从而形成稳定的汉字笔画实际书写和想象书写轨迹训练集用于轨迹拟合模型，避免因训练样本质量差而造成的训练完毕的轨迹拟合模型效果不佳的问题。进而用户可以容易的根据汉字笔画的书写习惯和针对目标汉字习得熟记的汉字书写笔顺规则，自主书写和想象书写多个汉字笔画以构成目标汉字，生成相应的第五神经信号和第六神经信号。
并且用户自主书写和想象书写汉字笔画时，与现有技术相比，本技术方案无需在多个字符中选择需要的字符，从而组装生成汉字。汉字的视觉形式与汉字书写笔顺规则是汉语母语者从小学习熟记的长期记忆内容，通过手部直接书写和想象书写汉字笔画构成，避免了需要长时间和被动的专注于接收选择的字符而产生疲劳感和低效。从而本技术方案依对目标汉字进行构型笔画单元拆解及有序性组合特点，通过实际书写与想象书写对汉字笔画轨迹方向信息进行大量且稳定的神经信号获取与模型训练优化，对实际书写和想象书写的汉字笔画进行轨迹方向拟合并可重构、再现轨迹字形，以及仅仅根据汉字笔画的次序组合即可快速生成汉字，从而提高了与他人沟通的效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1A是根据本申请实施例1所述的基于汉字笔画的轨迹拟合模型训练系统的示意图；
图1B是根据本申请实施例1所述的信号处理设备的模块示意图；
图1C是根据本申请实施例1所述的分类识别模型的模块示意图；
图2是根据本申请实施例1所述的基于汉字笔画的轨迹拟合方法的流程图；
图3A是根据本申请实施例1所述的显示设备呈现汉字笔画提示图及汉字笔画实际书写流程示意图；
图3B是根据本申请实施例1所述的显示设备呈现汉字笔画提示图及汉字笔画实际书写另一个流程示意图；
图4是根据本申请实施例1所述的采集第二神经信号的流程示意图；
图5是根据本申请实施例1所述的轨迹拟合模型的结构示意图；
图6是根据本申请实施例1所述的监测状态的流程示意图；
图7是根据本申请实施例1所述的状态监测模型的结构示意图；
图8是根据本申请实施例1所述的第一实际书写模型的再训练阶段与测试阶段的示意图；
图9是根据本申请实施例1所述的第二想象书写模型的再训练阶段与测试阶段的示意图；
图10是根据本申请实施例1所述的采集第五神经信号和第六神经信号的流程示意图；
图11是根据本申请实施例1所述的组合汉字的流程示意图；
图12是根据本申请实施例1所述的确定用户状态的流程示意图；
图13是根据本申请实施例所述的对汉字笔画进行分类的流程示意图；
图14是根据本申请实施例所述的信号处理设备的特征提取模块和任务分类模块的示意图；以及
图15A是根据本申请实施例所述的基于softmax回归模型对与滑动窗的时隙对应的神经信号进行分类的流程示意图；
图15B是根据本申请实施例所述的利用神经网络和分类器根据弱分类信息的融合分类信息对神经信号进行分类的示意图；
图16是根据本申请实施例1所述的基于汉字笔画实际书写的轨迹拟合方法的流程图；以及
图17是根据本申请实施例2所述的基于汉字笔画的轨迹拟合模型训练装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本实施例，提供了一种基于汉字笔画的轨迹拟合方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1A是根据本实施例所述的基于汉字笔画的轨迹拟合模型训练系统的示意图。参照图1A所示，该系统包括：显示设备，信号采集设备以及信号处理设备。
其中显示设备用于显示汉字、虚拟光标和虚拟光标移动形成汉字笔画轨迹。
信号采集设备用于采集用户在实际书写汉字笔画时所产生的神经信号以及想象书写汉字笔画时所产生的神经信号。
参考图1B以及图1C所示，信号处理设备设置有第一实际书写轨迹拟合模型、第二想象书写轨迹拟合模型和分类识别模型，用于根据神经信号对轨迹拟合模型(即，第一实际书写轨迹拟合模型和第二想象书写轨迹拟合模型)进行训练，并根据轨迹拟合模型(即，第一实际书写轨迹拟合模型和第二想象书写轨迹拟合模型)输出的书写汉字笔画字形轨迹的方向信息并形成汉字笔画轨迹再现，多个汉字笔画组合生成相应的汉字。其中轨迹拟合模型(即，第一实际书写轨迹拟合模型和第二想象书写轨迹拟合模型)用于根据用户实际书写或者想象书写汉字笔画的神经信号识别出对应的汉字笔画字形轨迹的方向信息。并且用于通过分类识别模型对神经信号进行分类。
用户个体学习书写文字时的重复特定动作参与文字字形记忆。手部书写的字母符号与印刷体字母符号在以视觉识别的大脑激发程度比较，前者激发更强，有益于识别。基于此，在视觉引导运动想象的视觉呈现形式上，以手写字形的形式在显示设备上呈现汉字笔画字形可以使用户以视觉追随的方式进行实际书写与想象书写产生的神经信号表现更加突出。
因此，在信号采集设备进行神经信号采集之前，首先进行“汉字笔画书写素材获取”。其中获取的方式包括，方式一：针对用户单独个体进行单独个体化笔画素材采集，获取提示与视觉追随笔画素材；方式二：将标准正常人在空白田字格中进行自然书写所构建的汉字笔画书写原始过程作为模板，形成一组标准笔迹提示与视觉追随笔画素材。其中素材将通过例如电子手写板等采集设备进行采集，可通过既往手写文字材料进行搜集。方式一用以保证每位用户都能够有效且轻松的根据自身熟悉的、具有个体标签的书写字形特点进行实际书写和想象书写。针对无法进行实际书写的用户，如运动障碍人群，可通过方式二获取提示素材。
在上述运行环境下，根据本实施例的第一个方面，提供了一种基于汉字笔画的轨迹拟合方法。图2是根据本申请实施例1所述的基于汉字笔画的轨迹拟合方法的流程图。参考图2所示，该方法包括：
S202：预先设定书写汉字笔画的笔画行进轨迹，根据预设速度显示笔画行进轨迹，并获取用户执行与书写汉字笔画的笔画行进轨迹同步的实际书写所产生的第一神经信号。
具体地，用户视觉追随虚拟光标实际书写汉字笔画。其中汉字笔画至少包括横(即，“一”)、竖(即，“丨”)、撇(即，“丿”)、捺(即，“乀”)、折(即，“フ”)。用户视觉追随预先设定以匀速行进的虚拟光标，同时用户进行实际书写。
更具体地，显示设备在屏幕中显示一汉字笔画提示，提示接下来将要书写的汉字笔画类型为笔画折(即，“フ”)，2秒后笔画提示消失。随后用户将看到屏幕上出现一空白田字格(此时无完整汉字笔画折的字形轨迹显示)，并且在空白田字格上书写汉字笔画折的起点位置上显示有虚拟光标，该起点位置上的虚拟光标为一圆点，圆点变色提示用户跟随虚拟光标移动开始进行实际书写动作，具体而言，期间用户双眼跟踪显示设备的屏幕中移动的虚拟光标，并同时实际控制自身手握笔或食指伸出在显示设备连接的电子手写板上跟随虚拟光标移动。参考图3A和图3B所示，其中图3A中显示深色实线完整轨迹为汉字笔画提示图，提示结束后，虚拟光标从深色实线所示汉字笔画的起点位置沿着汉字笔画的笔画字形轨迹移动到终点位置。并且图3B中还示出了用户执行与虚拟光标从汉字笔画的起点移动至终点的过程中速度与方向匹配且尽量同步的书写流程图。并且在用户实际书写的过程中，信号采集设备采集用户的神经信号(即，第一神经信号)。
其中工程师根据书写汉字笔画的行进轨迹预先设置虚拟光标的轨迹。虚拟光标所示的每一笔画轨迹包括落笔、书写和提笔，每一笔画轨迹根据用户训练程度设置总时长，其中总时长例如可以为3秒及3秒以内，每一笔画轨迹为恒定的匀速行进。
在用户跟随虚拟光标实际书写的过程中，首先显示设备会对将要进行书写的汉字笔画进行显示。以书写汉字笔画折(即，“フ”)为例，书写前显示设备的屏幕上首先会进行笔画折(即，“フ”)的完整字形提示，2秒的笔画提示后，用户开始追随虚拟光标完成书写，可参考图3B所示。虚拟光标根据预设的速度随时间展开呈现—“落笔起点、书写和提笔终点”—这一动态书写过程，用户根据显示设备的屏幕中显示的书写方向与速度，在视觉的引导下执行跟随式书写。
进一步地，用户根据对汉字笔画折(即，“フ”)的跟随书写方式，对其他的汉字笔画类型也进行跟随书写，此处不再赘述。
此外，在信号采集设备采集第一神经信号时，用户在实际书写过程中，同时可以训练用户熟悉实际书写不同汉字笔画类型的书写速度和方向。
此外，不同的实际书写方式存在神经信号响应的差异性。例如实际书写方式可以包括食指书写(食指掌指关节运动)和握笔书写(腕关节为主的运动)。信号处理设备为了确定能够表现出不同汉字笔画间更大的神经元集群活动模式差异的实际书写方式，首先用户进行设定速度下的握笔书写，其次进行设定速度下的食指书写。之后信号处理设备比较与握笔书写对应的神经信号和与食指书写对应的神经信号之间的差异。
具体地，用户通过握笔书写的方式跟随虚拟光标移动，从而进行实际书写，同时信号采集设备获取用户在握笔书写过程中生成的神经信号。
之后用户先通过食指书写的方式跟随虚拟光标移动，从而进行实际书写，同时信号采集设备获取用户在食指书写过程中生成的神经信号。
进一步地，信号处理设备通过第一差异比较模型比较在食指书写过程中生成的神经信号与在握笔书写过程中生成的神经信号之间的差异，确定与用户匹配的实际书写方式。其中第一差异比较模型是将与食指书写对应的神经信号和与握笔书写对应的神经信号作为训练样本训练得到的。
其中用户首先通过握笔书写的实际书写方式书写汉字笔画，之后通过食指书写的实际书写方式书写相同类型的汉字笔画。并且其中信号处理设备将通过握笔书写和食指书写实际书写的汉字笔画预先设定为三个笔画。
例如，预先设定的三个汉字笔画为横、竖和撇，则用户通过握笔书写的实际书写方式，实际书写汉字笔画横、竖和撇，之后用户通过食指书写的实际书写方式，实际书写汉字笔画横、竖和撇。
更具体地，显示设备上显示笔画横(即，“一”)，在虚拟光标沿着笔画横(即，“一”)的笔画轨迹移动时，用户视觉跟随着虚拟光标移动，同时进行握笔书写。在用户握笔书写的过程中，信号采集设备获取相应的神经信号。之后用户根据相同的方式对笔画竖和撇分别进行食指书写，从而信号采集设备获取相应的神经信号。
进一步地，在虚拟光标沿着笔画横(即，“一”)的笔画轨迹移动时，用户视觉跟随着虚拟光标移动，同时进行食指书写。在用户食指书写的过程中，信号采集设备获取相应的神经信号。之后用户根据相同的方式对笔画竖和撇分别进行食指书写，从而信号采集设备获取相应的神经信号。
进一步地，信号处理设备将用户在食指书写过程中的神经信号和用户在握笔书写过程中的神经信号输入第一差异比较模型，从而第一差异比较模型比较通过握笔书写汉字笔画横(即，“一”)得到的神经信号、通过握笔书写汉字笔画竖(即，“丨”)得到的神经信号以及通过握笔书写汉字笔画撇(即，“丿”)得到的神经信号之间的差异。
并且第一差异比较模型比较通过食指书写汉字笔画横(即，“一”)得到的神经信号、通过食指书写汉字笔画竖(即，“丨”)得到的神经信号以及通过食指书写汉字笔画撇(即，“丿”)得到的神经信号之间的差异。
进一步地，第一差异比较模型根据上述的不同实际书写方式中与各个汉字笔画对应的神经信号之间的差异，确定与用户匹配的实际书写方式。例如，如果在握笔书写的实际书写方式下，获得不同汉字笔画类型对应的神经信号之间的差异更显著，信号处理设备则将握笔书写的实际书写方式作为与用户匹配的实际书写方式；如果在食指书写的实际书写方式下，获得不同汉字笔画类型对应的神经信号之间的差异更显著，信号处理设备则将食指书写的实际书写方式作为与用户匹配的实际书写方式。
S204：预先设定目标汉字，并且依照汉字书写的笔顺规则形成目标汉字所对应的包含多个汉字笔画的有序组合；
S206：根据有序组合中的笔画书写次序和根据预设速度连续的、依次显示每一汉字笔画的笔画行进轨迹，笔画行进轨迹为带有成人手部书写特征的笔画线条样式而不是标准印刷字体形式的字形轨迹，字形轨迹为单一的一笔连贯过程，中间无断笔；
S208：在用户根据目标汉字进行构型拆解形成有序笔画单元之后，获取用户连续的、依次实际书写目标汉字对应的有序组合中的每一个汉字笔画所产生的第二神经信号，其中用户是执行与书写每一汉字笔画的笔画行进轨迹同步的实际手部书写；
具体地，在信号采集设备采集第二神经信号之前，用户已完成步骤S202的训练，即已熟悉训练流程并已选择匹配的实际书写方式执行本阶段训练。通过步骤S202的训练过程，用户将根据显示设备提示的目标汉字，完成连续的多个汉字笔画的实际书写。
具体地，在信号采集设备采集第二神经信号之前，工程师预先设定多个目标汉字，这些目标汉字所对应构型拆解基本笔画单元尽量具有多种不同类型的汉字笔画(例如汉字“王”与汉字“木”均为五画，但前者仅包含两种汉字笔画类型即笔画横和笔画竖，而后者包含四种汉字笔画类型即笔画横和笔画竖、笔画撇和笔画捺)，并且按照汉字书写笔画规则形成目标汉字所对应的包含多个汉字笔画的有序组合。有序组合中的每一汉字笔画呈现顺序设置为连续的、依笔画规则次序依次呈现，以汉字“木”为例，根据汉字书写笔画规则其有序组合为“横-竖-撇-捺”，工程师预先设置虚拟光标呈现每一笔画顺序按照“横-竖-撇-捺”连续进行。连续书写，即用户视觉跟随虚拟光标实际书写每一汉字笔画前将不再进行汉字笔画提示。每一汉字笔画的具体行进轨迹与S202中相同，此处不再赘述。
图4是根据本申请实施例1所述的采集第二神经信号的流程示意图。参考图4所示，显示设备在屏幕中显示目标汉字“木”，用户视觉接收屏幕所呈现的目标汉字“木”，用户认知加工过程包括：首先，接收到视觉刺激对象“木”，继而识别该对象为汉字“木”及检索长期记忆储备的汉字“木”书写笔画次序，并用户等待提示开始实际书写，随后用户连续依次实际书写目标汉字“木”对应的有序组合中的每一个汉字笔画，信息采集设备获取在该连续实际书写多个汉字笔画过程中所产生的的第二神经信号。
其中用户执行连续书写的每一个汉字笔画都是执行与显示设备在屏幕上呈现虚拟光标行进轨迹一致的汉字笔画书写，首先跟随虚拟光标移动执行与书写与虚拟光标行进轨迹一致的同步书写并书写完成笔画横，随后继续跟随虚拟光标移动执行与书写与虚拟光标行进轨迹一致的同步书写并书写完成笔画竖，随后与前一致地继续完成笔画撇和笔画捺的跟随书写。
具体地，显示设备首先对用户需要实际书写的目标汉字进行提示，以书写汉字“木”为例，开始实际书写前，显示设备的屏幕上首先会进行汉字“木”的完整字形提示，2秒的汉字提示后，汉字消失，用户开始追随虚拟光标完成每一笔画的书写，可参考图4所示。虚拟光标根据预设的速度随时间展开呈现—“落笔起点、书写和提笔终点”—这一动态书写过程，用户根据显示设备的屏幕中显示的书写方向与速度，在视觉的引导下执行跟随式连续书写汉字笔画“横-竖-撇-捺”。
更具体地，显示设备在屏幕上出现一空白田字格(此时无完整汉字笔画折的字形轨迹显示)，并且在空白田字格上书写汉字笔画横的起点位置上显示有虚拟光标，该起点位置上的虚拟光标为一圆点，圆点变色提示用户跟随虚拟光标移动开始进行实际书写动作，具体而言，期间用户双眼跟踪显示设备的屏幕中移动的虚拟光标，并以用户匹配的实际书写方式在显示设备连接的电子手写板上跟随虚拟光标移动完成笔画横的书写。
随后，显示设备在屏幕上继续出现一空白田字格(此时无完整汉字笔画折的字形轨迹显示)，并且在空白田字格上书写汉字笔画竖的起点位置上显示有虚拟光标，该起点位置上的虚拟光标为一圆点，圆点变色提示用户跟随虚拟光标移动开始进行实际书写动作，具体而言，期间用户双眼跟踪显示设备的屏幕中移动的虚拟光标，并以用户匹配的实际书写方式在显示设备连接的电子手写板上跟随虚拟光标移动完成笔画竖的书写。
此后，显示设备在屏幕上将与以上两步骤(即，跟随虚拟光标完成笔画横和笔画竖的书写)相同的方式连续出现虚拟光标引导用户视觉跟随完成汉字笔画撇和汉字笔画捺的书写。最终，通过以上连续四个步骤，用户在视觉的引导下执行跟随式连续书写汉字笔画“横-竖-撇-捺”的书写以构成目标汉字“木”。
参考图4所示，在用户实际书写汉字笔画“横-竖-撇-捺”以构成汉字“木”的过程中，信号采集设备同时采集用户的神经信号(即，第二神经信号)。其中第二神经信号对应于用户实际书写汉字“木”的笔画(即，“横-竖-撇-捺”)产生的连续的神经信号。
步骤S204～S208是在步骤S202基础上，更进一步接近用户自然书写文字的状态，用户意图书写文字，其中包含文字书写的准备过程：上下文意图、语义检索、对汉字字形、汉字书写构型与书写的笔顺规则、笔画字形的长期记忆与字形缓冲工作记忆的检索与获取的中央过程，以及书写文字动作执行的周围过程，在该理论层次框架下设置本步骤S204～S208，即根据目标汉字进行连续、依次书写多个汉字笔画以构成目标汉字，并获得连续书写汉字笔画过程中的第二神经信号，包含在字形记忆检索提取准备书写笔画次序与方向的高阶认知策划过程的完整时空频信号有益于后续模型实现在线书写轨迹解码过程。
在步骤S204～S208中，预先设定多个目标汉字并且这些汉字所对应构型拆解基本笔画单元尽量具有多种不同类型的汉字笔画。该目的是在于汉字尽管数量庞大且字形复杂，但相比于具有丰富圆形、卷曲方向信息的英文字母，汉字构型以水平、垂直、对角线方向为其特殊特性，本训练方法以书写方向作为轨迹解码的重点，通过第一实际书写轨迹拟合模型对书写轨迹方向信息进行估计。根据目标汉字并依汉字书写笔顺规则连续的、依次书写多个汉字笔画对第一实际书写轨迹拟合模型进行再训练，其中预先设定的目标汉字其拆解笔画单元需包含丰富各异的汉字笔画方向信息并以此获得丰富汉字笔画书写方向信息所诱导的神经信号数据集，同时降低用户大量重复书写单一汉字笔画过程中的疲劳感、提高配合度。将完整复杂汉字的字形轨迹解码简化为对其构型拆解后对独立有序的汉字笔画进行字形轨迹解码，降低用户操作难度，即用户只需掌握有限的汉字笔画类型的稳定可重复书写，以及降低轨迹拟合模型的训练难度。在该训练步骤中构建特殊目标汉字字库，呈现的目标汉字其拆解笔画单元为多种不同方向的笔画类型，训练后所获的神经信号数据集包含汉字书写轨迹在线解码所需的所有二维笔画方向信息以构建第一实际书写轨迹拟合模型。
S210：创建用于对用户实际手部书写汉字笔画时的神经信号进行识别的第一实际书写轨迹拟合模型，并利用第一神经信号和第二神经信号对第一实际书写轨迹拟合模型进行训练。
具体地，信号处理设备将第一神经信号作为训练样本，构建第一样本集，并将作为训练样本的第一神经信号进行特征处理，得到预定长度的特征数据。信号处理设备将汉字笔画横的神经信号(即，第一神经信号)进行预处理，即进行伪迹去除和带通滤波，进一步的根据书写过程时间设置，得到预定长度的时间序列数据。其中，图5是根据本申请实施例1所述的轨迹拟合模型的结构示意图。从而利用图5所示的轨迹拟合模型的方法流程进行轨迹拟合。
具体地，首先通过时间卷积(即，图5中的二维卷积)，提取当前时窗内的时间序列数据的神经信号时间特性，进一步的利用空间卷积(即，图5中的深度二维卷积)捕获神经信号的空间响应特性，之后通过深度卷积层将时间卷积和空间卷积后的特征数据进行进一步的特征提取，从而得到多个卷积操作后的特征数据，之后通过特征拼接的方式进行特征融合，并通过全连接层对特征融合后的特征数据进行特征提取，最后输出当前时间窗所对应的方向信息。
基于上述模型获取的方向信息，按照既定速度与时间窗，便可绘制出当前时窗下的书写轨迹。例如拟合轨迹为汉字笔画横(即，“一”)。则根据上述模型，首先对书写“一”所对应的书写状态下神经信号切分成多个小段的时间窗，并提取对应时间窗下的方向信息，将提取的神经信号与方向信息带入模型中进行参数学习，从而根据训练样本训练完成初始的第一实际书写轨迹拟合模型。
进一步地，信号处理设备将第二神经信号作为训练样本，构建第二样本集，对初始的第一实际书写轨迹拟合模型进行再训练，得到再训练后的第一实际书写轨迹拟合模型。
并且信号处理设备对多个汉字笔画书写中书写中断的非书写状态识别构建第一实际书写轨迹拟合模型的第一状态监测模型。
其中第一实际书写轨迹拟合模型和第一状态监测模型共同构成第一实际书写模型。
具体地，汉字书写非一笔呵成，平均笔画数为十画，连续书写汉字笔画存在断笔。所获取的第二神经信号除了包括与笔画对应的神经信号，还包括上一笔画书写完成提笔并准备下一笔画的书写直到开始下一笔画的落笔书写该过程的神经信号部分，该部分神经信号是书写中断的非书写状态神经信号。用户通过视觉追随显示设备屏幕上虚拟光标开始与结束书写，并获得与书写汉字笔画的笔画行进轨迹同步的实际书写所产生的包含多个汉字笔画的第二神经信号，第二神经信号包含多个汉字笔画实际书写每一笔画开始及结束书写的明确时间点。因此可对第二神经信号进行分段，构建提笔书写中断的第一状态监测模型，用于判断当前状态处于书写状态还是提笔非书写状态。
图6是根据本申请实施例1所述的监测状态的流程示意图。从而参考图6所示，信号处理设备将第二神经信号输入至第一状态监测模型，第一状态监测模型识别第二神经信号。当第一状态监测模型确定第二神经信号对应的当前状态为书写状态，则信号处理设备将第二神经信号输入至第一实际书写轨迹拟合模型，从而第一实际书写轨迹拟合模型根据第二神经信号进行当前笔画的书写字形轨迹方向拟合。
当第一状态监测模型确定第二神经信号对应的当前状态为提笔非书写状态，则继续监测，直至监测出书写状态，从而信号处理设备将监测出书写状态的第二神经信号(即，与下一笔画对应的神经信号)输入至第一实际书写轨迹拟合模型，从而进行书写字形轨迹方向拟合。
具体地，图7是根据本申请实施例1所述的状态监测模型的结构示意图。参见图7所示，信号处理设备将第二神经信号作为训练样本，首先对第二神经信号进行伪迹去除和带通滤波，进一步的进行信号的状态划分，即划分为书写状态信号与提笔非书写状态信号。然后对这两类信号进行训练监测。状态监测模型如图7所示。由于汉字书写过程的特性，在进行两个笔画中间过渡时，根据汉字笔画的书写构型规则，不同汉字书写笔画的书写起点在限定的空白田字格平面范围中存在约定的规则，例如汉字笔画捺在田字格中要求以左上起笔向右下走行，不同汉字笔画的字形书写准备策划过程存在神经信号差异，除此以外，在当前笔画书写完成提笔至准备下一笔画重新落笔书写过程中，存在匀速落笔书写过程与提笔书写中断的书写移动速度大小变异所诱导神经信号的显著变化。因此，在第二训练阶段，状态监测模型重点提取对应神经信号的时空信息，并根据此时空信息构建第一实际书写状态拟合模型的第一状态监测模型。
具体地，与构建第一实际书写轨迹拟合模型的方法类似，先通过时间卷积，提取当前时窗内的时间序列数据的神经信号时间特性，进一步的利用空间卷积捕获神经信号的空间响应特性，之后通过深度卷积层将时间卷积和空间卷积后的特征数据进行进一步的特征提取，从而得到多个卷积操作后的特征数据。之后在时窗分离层，根据获取特征数据在不同时间窗下的幅值信息。进一步地，通过在方差层获得特征数据在不同时间窗下的能量信息。
之后通过特征拼接的方式进行对幅值信息和能量信息进行特征融合，并通过全连接层对融合后得到的特征数据进行特征提取，最后输出当前时间窗所对应的状态，例如书写状态或非书写状态。
完整地，图8是根据本申请实施例1所述的第一实际书写模型的再训练阶段与测试阶段的示意图。可参见图8所示，信号处理设备将第二神经信号作为训练样本，首先对第二神经信号进行伪迹去除和带通滤波，进一步的进行信号的状态划分，即将第二神经信号划分为书写状态信号与提笔非书写状态信号。其中，书写状态下的信号与提笔非书写状态下的信号构成状态数据集，书写状态下的信号则又单独构成轨迹拟合数据集。状态数据集用于进行第一状态监测模型训练，而轨迹拟合数据集则对初始的第一实际书写轨迹拟合模型进行再训练。
S212：预先设定书写汉字笔画的笔画行进轨迹，根据预设速度显示笔画行进轨迹，并获取用户执行与书写汉字笔画的笔画行进轨迹同步的想象手部书写所产生的第三神经信号。
具体地，在信号采集设备采集第三神经信号之前，首先进行想象书写方式判别，确定与用户匹配的想象书写方式。并且用户通过该想象书写方式对汉字笔画进行想象书写，在想象书写的过程中，信号采集设备采集用户的神经信号(即，第三神经信号)。与步骤S202相同，根据显示设备的屏幕指示，用户按要求进行视觉引导追随跟踪任务，显著不同之处在于要求用户执行想象书写操作，即用户不发生实际书写运动行为。
此外，在信号采集设备采集第三神经信号时，用户在想象书写过程中，同时可以训练用户熟悉想象书写不同汉字笔画类型的书写速度和方向。
用户在想象书写过程中，想象自身手握笔或食指伸出在电子手写板上追随虚拟光标的行进轨迹，完成同步的与之速度与方向匹配的想象书写，最终形成与显示设备的屏幕呈现的汉字笔画相同的书写运动轨迹。
具体地，显示设备上显示有汉字笔画，例如为汉字笔画折(即，“フ”)，并且汉字笔画上显示有虚拟光标。其中虚拟光标沿着汉字笔画，从笔画的起点移动到笔画终点。
在虚拟光标根据预设的速度沿着汉字笔画移动时，用户视觉跟随着虚拟光标移动，从而用户通过想象书写方式跟随虚拟光标移动，从而进行想象书写，形成与该笔画对应的书写运动轨迹。其中想象书写方式包括想象食指书写和想象握笔书写。之后信号采集设备获取用户在想象书写过程中生成的神经信号(即，第三神经信号)。
其中汉字笔画至少包括横(即，“一”)、竖(即，“丨”)、撇(即，“丿”)、捺(即，“乀”)以及折(即，“フ”)。
因此，用户需要跟随虚拟光标，对所有的笔画进行想象书写，形成与各个笔画对应的书写运动轨迹，同时信号采集设备采集相应的神经信号(即，第三神经信号)。即，一个汉字笔画的想象书写运动轨迹对应于一个神经信号。
此外，在信号采集设备采集第三神经信号之前，信号处理设备确定与用户匹配的想象书写方式。从而用户通过该想象书写方式想象书写汉字笔画，同时信号采集设备采集用户的第三神经信号。
具体地，用户通过握笔书写的方式跟随虚拟光标移动，从而进行想象书写，同时信号采集设备获取用户在握笔书写过程中生成的神经信号。
之后用户先通过食指书写的方式跟随虚拟光标移动，从而进行想象书写，同时信号采集设备获取用户在食指书写过程中生成的神经信号。
进一步地，信号处理设备通过第二差异比较模型比较在想象食指书写过程中生成的神经信号与在想象握笔书写过程中生成的神经信号之间的差异，确定与用户匹配的想象书写方式。其中第二差异比较模型是将与食指书写对应的神经信号和与握笔书写对应的神经信号作为训练样本训练得到的。
其中用户首先通过握笔书写的想象书写方式书写汉字笔画，之后通过食指书写的想象书写方式书写相同汉字笔画。并且其中信号处理设备将通过握笔书写和食指想象书写书写的汉字笔画预先设定为三个笔画。
例如，预先设定的三个汉字笔画为横、竖和撇，则用户通过握笔书写的想象书写方式，想象书写汉字笔画横、竖和撇，之后用户通过食指书写的想象书写方式，想象书写汉字笔画横、竖和撇。
更具体地，显示设备上显示笔画横(即，“一”)，在虚拟光标沿着笔画横(即，“一”)的笔画轨迹移动时，用户视觉跟随着虚拟光标移动，同时通过握笔书写的想象书写方式进行想象书写。在用户想象书写的过程中，信号采集设备获取相应的神经信号。之后用户通过食指书写的想象书写方式对笔画竖和撇分别进行想象书写，从而信号采集设备获取相应的神经信号。
进一步地，在虚拟光标沿着笔画横(即，“一”)的笔画轨迹移动时，用户视觉跟随着虚拟光标移动，同时通过食指书写的想象书写方式进行想象书写。在用户想象书写的过程中，信号采集设备获取相应的神经信号。之后用户通过食指书写的想象书写方式对笔画竖和撇分别进行想象书写，从而信号采集设备获取相应的神经信号。
进一步地，信号处理设备将用户在食指书写过程中的神经信号和用户在握笔书写过程中的神经信号输入第二差异比较模型，从而第二差异比较模型比较通过想象握笔书写汉字笔画横(即，“一”)得到的神经信号、通过想象握笔书写汉字笔画竖(即，“丨”)得到的神经信号以及通过想象握笔书写汉字笔画撇(即，“丿”)得到的神经信号之间的差异。
并且第二差异比较模型比较通过想象食指书写汉字笔画横(即，“一”)得到的神经信号、通过想象食指书写汉字笔画竖(即，“丨”)得到的神经信号以及通过想象食指书写汉字笔画撇(即，“丿”)得到的神经信号之间的差异。
进一步地，第二差异比较模型根据上述的不同想象书写方式中与各个汉字笔画对应的神经信号之间的差异，确定与用户匹配的想象书写方式。例如，如果在握笔想象书写方式下，获得不同汉字笔画类型对应的神经信号之间的差异更显著，信号处理设备则将握笔书写方式作为与用户匹配的想象书写方式；如果在食指想象书写方式下，获得不同汉字笔画类型对应的神经信号之间的差异更显著，信号处理设备则将食指书写方式作为与用户匹配的想象书写方式。
S214：预先设定目标汉字，并依汉字书写的笔顺规则形成目标汉字所对应的包含多个汉字笔画的有序组合；
S216：根据有序组合中的笔画书写次序和根据预设速度连续的、依次显示每一汉字笔画的行进轨迹，笔画行进轨迹为带有成人手部书写特征的笔画线条样式而不是标准印刷字体形式的字形轨迹，字形轨迹为单一的一笔连贯过程，中间无断笔；
S218：用户根据目标汉字进行构型拆解形成有序笔画单元之后，获取用户连续的、依次想象书写目标汉字对应的有序组合中的每一个汉字笔画所产生的第四神经信号，其中用户是执行与书写每一汉字笔画的笔画行进轨迹同步的想象手部书写；
具体地，在信号采集设备采集第四神经信号之前，用户已完成步骤S212的训练，即已熟悉训练流程并已选择匹配的想象书写方式执行本阶段训练。通过步骤S212的训练过程，用户将根据显示设备提示的目标汉字，完成连续的多个汉字笔画的想象书写。
参考图4所示，以笔画顺序书写目标汉字“木”为例，其拆解的笔画依书写顺序为“横-竖-撇-捺”。
具体地，显示设备首先对用户需要想象书写的目标汉字进行提示，以书写汉字“木”为例，开始想象书写前显示设备的屏幕上首先会进行汉字“木”的完整字形提示，2秒的汉字提示后，在没有虚拟光标引导书写的情况下，用户通过与之匹配的想象书写方式想象书写汉字“木”。在用户想象书写汉字“木”的过程中，信号采集设备同时采集用户的神经信号(即，第四神经信号)。其中第四神经信号对应于用户想象书写汉字“木”的笔画(即，“横-竖-撇-捺”)产生的连续的神经信号。
步骤S214～S218是在步骤S212基础上，更进一步接近用户自然书写状态，并有益于后续模型实现想象书写轨迹解码过程，捕捉丰富汉字笔画书写方向信息所诱导神经信号，同时包含在字形记忆检索提取准备书写笔画的次序与笔画书写方向的高阶认知策划过程的完整时空频信号。
汉字尽管数量庞大且字形复杂，但相比于具有丰富圆形、卷曲方向信息的英文字母，汉字构型以水平、垂直、对角线方向为其特殊特性，本训练方法以书写方向作为轨迹解码的重点。异步次序书写训练轨迹拟合模型构建需包含丰富各异的汉字笔画方向信息的神经信号数据集，同时降低用户大量重复书写及想象书写过程中的疲劳感、提高配合度。在该训练步骤中构建特殊目标汉字字库，呈现的目标汉字其拆解笔画单元为多种不同方向的笔画类型，训练后所获的神经信号数据集包含汉字书写轨迹在线解码所需的所有二维笔画方向信息以构建第二想象书写轨迹拟合模型。
S220：创建用于对用户想象书写汉字笔画时的神经信号进行识别的第二想象书写轨迹拟合模型，并利用第三神经信号和第四神经信号对第二想象书写轨迹拟合模型进行训练。
具体地，信号处理设备将第三神经信号作为训练样本，构建第三样本集，并将作为训练样本的第三神经信号进行特征处理，得到预定长度的特征数据。信号处理设备将想象书写汉字笔画横的神经信号(即，第三神经信号)进行预处理，即进行伪迹去除和带通滤波，进一步的根据书写过程时间设置，得到预定长度的时间序列数据。进而利用图5所示的轨迹拟合模型的方法流程进行轨迹拟合。
具体地，首先通过时间卷积(即，图5中的二维卷积)，提取当前时窗内的时间序列数据的神经信号时间特性，进一步的利用空间卷积(即，图5中的深度二维卷积)捕获神经信号的空间响应特性，之后通过深度卷积层将时间卷积和空间卷积后的特征数据进行进一步的特征提取，从而得到多个卷积操作后的特征数据，之后通过特征拼接的方式进行特征融合，并通过全连接层对特征融合后的特征数据进行特征提取，最后输出当前时间窗所对应的方向信息。
基于上述模型获取的方向信息，按照既定速度与时间窗，便可绘制出当前时窗下的书写轨迹。例如拟合轨迹为汉字笔画横(即，“一”)。则根据上述模型，首先对想象书写“一”所对应的神经信号切分成多个小段的时间窗，并提取对应时间窗下的方向信息，将提取的神经信号与方向信息带入模型中进行参数学习，从而根据训练样本训练完成初始的第二想象书写轨迹拟合模型。
进一步地，信号处理设备将第四神经信号作为训练样本，构建第四样本集，对初始的第二想象书写轨迹拟合模型进行再训练，得到再训练后的第二想象书写轨迹拟合模型。
并且信号处理设备对想象书写多个汉字笔画中想象书写中断的非书写状态识别构建第二想象书写轨迹拟合模型的第二状态监测模型。
其中第二想象书写轨迹拟合模型和第二状态监测模型共同构成第二想象书写模型。
具体地，汉字书写非一笔呵成，平均笔画数为十画，连续想象书写汉字笔画存在断笔。第四神经信号除了包括与笔画对应的神经信号，还包括上一笔画书想象写完成提笔并准备下一笔画的想象书写直到开始下一笔画的想象该过程的神经信号部分，该部分神经信号是书写中断的非书写状态下的神经信号。用户通过视觉追随显示设备屏幕上虚拟光标开始与结束书写，并获得与书写汉字笔画的笔画行进轨迹同步的想象书写所产生的包含多个汉字笔画的第四神经信号，第四神经信号包含多个汉字笔画想象书写每一笔画开始及结束书写的明确时间点。因此可对第四神经信号进行分段，构建想象书写中断的第二状态监测模型，用于判断当前状态处于书写状态还是结束笔画想象的非书写状态。
从而参考图6所示，信号处理设备将第四神经信号输入至第二状态监测模型，第二状态监测模型识别第四神经信号。当第二状态监测模型确定第四神经信号对应的当前状态为书写状态，则信号处理设备将第四神经信号输入至第二想象书写轨迹拟合模型，从而第二想象书写轨迹拟合模型根据第四神经信号进行当前笔画的书写字形轨迹方向拟合。
当第二状态监测模型确定第四神经信号对应的当前状态为结束笔画想象的非书写状态，则继续监测，直至监测出书写状态，从而信号处理设备将监测出书写状态的第四神经信号(即，与下一笔画对应的神经信号)输入至第二想象书写轨迹拟合模型，从而进行书写字形轨迹方向拟合。
具体地，参见图7所示，信号处理设备将第四神经信号作为训练样本，首先对第四神经信号进行伪迹去除和带通滤波，进一步的进行信号的状态划分，即划分为书写状态下的信号与结束笔画想象的非书写状态下的信号。然后对这两类信号进行训练监测。第二状态监测模型如图7所示。由于汉字书写过程的特性，在进行两个笔画中间过渡时，根据汉字笔画的书写构型规则，不同汉字书写笔画的书写起点在限定的空白田字格平面范围中存在约定的规则，例如汉字笔画捺在田字格中要求以左上起笔向右下走行，不同汉字笔画的字形书写准备策划过程存在神经信号差异，除此以外，在当前笔画书写完成提笔至准备下一笔画重新落笔书写过程中，存在匀速落笔书写过程与提笔书写中断的书写移动速度大小变异所诱导神经信号的显著变化。因此，在第二训练阶段，状态监测模型重点提取对应神经信号的时空信息，并根据此时空信息构建第二想象书写状态拟合模型的第二状态监测模型。
具体地，与构建第二想象书写轨迹拟合模型的方法类似，首先通过时间卷积，提取当前时窗内的时间序列数据的神经信号时间特性，进一步的利用空间卷积捕获神经信号的空间响应特性，之后通过卷积层将特征数据进行卷积操作，从而得到多个卷积操作后的特征数据，之后通过特征拼接的方式进行特征融合，并通过全连接层对该特征数据进行特征提取，最后输出当前时间窗所对应的状态，例如书写状态或非书写状态。
完整地，图9是根据本申请实施例1所述的第二想象书写模型的再训练阶段与测试阶段的示意图。可参见图9所示，信号处理设备将第四神经信号作为训练样本，首先对第四神经信号进行伪迹去除和带通滤波，进一步的进行信号的状态划分，即将第四神经信号划分为书写状态信号与结束笔画想象的非书写状态信号。其中，书写状态信号与结束笔画想象的非书写状态信号构成状态数据集，书写状态信号则又单独构成轨迹拟合数据集。状态数据集用于进行第二状态监测模型训练，而轨迹拟合数据集则对初始的第二想象书写轨迹拟合模型进行再训练。
进一步地，在第一实际书写轨迹拟合模型再训练完毕后，信号处理设备对该第一实际书写轨迹拟合模型进行测试优化，得到最终优化的第一实际书写轨迹拟合模型和第一状态监测模型。
具体地，首先显示设备对将要进行实际书写的汉字笔画进行提示，以实际书写汉字笔画折(即，“フ”)为例，书写前显示设备的屏幕上首先会进行汉字笔画折(即，“フ”)的完整字形提示，2秒的笔画提示后，用户在空白的田字格中根据已教导的书写习惯，包括此前训练中反复学习的汉字笔画折(即，“フ”)书写轨迹的书写方向及匀速速度大小，自主实际书写汉字笔画折(即，“フ”)。同时信号采集设备采集用户实际书写汉字笔画折(即，“フ”)的过程中对应的神经信号，并将该神经信号以及对应的汉字笔画作为第一实际书写测试集。此外，信号采集设备依照上述方式，采集其他汉字笔画类型的神经信号，并将神经信号以及对应的汉字笔画类型作为第一实际书写测试集。之后信号处理设备将该第一实际书写测试集其中一部分输入至再训练后的第一实际书写轨迹拟合模型并进行参数初始优化。初始参数优化完成后从而初始优化后的第一实际书写轨迹拟合模型对该神经信号进行识别，输出对应的汉字笔画的字形轨迹方向信息并拟合再现该汉字笔画书写轨迹。
进一步地，信号处理设备判断第一实际书写测试集的准确率，即，判断输入初始优化后的第一实际书写轨迹拟合模型的神经信号对应的汉字笔画标签与初始优化后的第一实际书写轨迹拟合模型输出的汉字笔画结果是否对应，从而计算准确率。
例如，信号处理设备将与汉字笔画折(即，“フ”)标签对应的神经信号输入初始优化后的第一实际书写轨迹拟合模型。在初始优化后的第一实际书写轨迹拟合模型输出字形轨迹方向信息并拟合再现该汉字笔画书写轨迹为汉字笔画折(即，“フ”)的情况下，信号处理设备判定输入初始优化后的第一实际书写轨迹拟合模型的神经信号标签与初始优化后的第一实际书写轨迹拟合模型输出的汉字笔画正确对应。在初始优化后的第一实际书写轨迹拟合模型输出的汉字笔画轨迹不是折(即，“フ”)的情况下，信号处理设备判定输入初始优化后的第一实际书写轨迹拟合模型的神经信号标签与初始优化后的第一实际书写轨迹拟合模型输出的汉字笔画不对应。
从而信号处理设备根据输入初始优化后的第一实际书写轨迹拟合模型的神经信号标签与初始优化后的第一实际书写轨迹拟合模型输出的汉字笔画的正确对应情况，计算第一实际书写测试集的准确率。
进一步地，信号处理设备判断第一实际书写测试集的准确率是否超过预设阈值，例如预设阈值为70％。当第一实际书写测试集的准确率大于或等于预设阈值时，则信号处理设备判定该初始优化后的第一实际书写轨迹拟合模型完成初始优化，无需返回重新训练模型。当第一实际书写测试集的准确率小于预设阈值时，则信号处理设备判定该最终的第一实际书写轨迹拟合模型需要重新进入训练阶段。
进一步地，当初始优化后的第一实际书写轨迹拟合模型需要重新训练的情况下，参考步骤S202～S208，信号采集设备重新采集用户在视觉的引导下执行跟随式实际书写过程中的神经信号。信号处理设备将重新采集的神经信号作为训练样本，并根据训练样本重新训练第一实际书写轨迹拟合模型。之后信号处理设备对重新训练的第一实际书写轨迹拟合模型进行测试，在重新训练的第一实际书写轨迹拟合模型小于预定阈值的情况下，再次对重新训练的第一实际书写轨迹拟合模型进行训练，直到第一实际书写轨迹拟合模型大于预定阈值。
在信号处理设备判定该初始优化后的第一实际书写轨迹拟合模型无需进行重新训练的情况下，依照上述采集第一实际书写测试集的方法，信号采集设备采集用户在自主实际书写多个汉字笔画以构成目标汉字的过程中的神经信号，并将该神经信号以及提示目标汉字所对应的有序汉字笔画组合标签作为第二实际书写测试集。之后依照上述相应的测试初始优化后的第一实际书写轨迹拟合模型的方法，信号处理设备通过第二实际书写测试集测试初始优化后的第一实际书写轨迹拟合模型以及第一实际书写轨迹拟合的第一状态监测模型，从而判断该最终的第一实际书写轨迹拟合模型和第一状态监测模型是否需要进行重新训练。
具体地，参考图8所示，信号处理设备将第二实际书写测试集输入第一实际书写轨迹拟合的第一状态监测模型，对第二实际书写测试集中每一目标汉字对应的有序汉字笔画组合标签下的神经信号按时间分段形成多段时间窗，第一状态监测模型首先识别当前一段时间窗神经信号并输出监测用户状态的结果，当监测结果判定为书写状态，则该段时间窗神经信号进入初始优化后的第一实际书写轨迹拟合模型，进行该段时间窗神经信号的轨迹方向估计与轨迹拟合。拟合结束后，继续进行下一时间段神经信号的状态监测。如果监测结果为非书写状态，则继续进行随后一段时间窗神经信号的状态监测。
初始优化的第一实际书写轨迹拟合模型和第一状态监测模型对通过依时间窗分段对该有序汉字笔画组合标签下的神经信号进行识别，其中，第一状态监测模型准确识别连续的、依次书写多个汉字笔画中间的提笔，即书写中断的非书写状态，在识别为书写状态下初始优化的第一实际书写轨迹拟合模型对神经信号的字形轨迹方向信息进行估计并拟合形成字形轨迹，直至第一状态监测模型识别为提笔非书写状态则中止对轨迹进行方向估计，当第一状态监测模型再次识别神经信号为书写状态时，初始优化的第一实际书写轨迹拟合模型对神经信号的字形轨迹方向信息进行估计并形成下一书写字形的轨迹。
因此，最终的第一实际书写轨迹拟合模型和第一状态监测模型可连续输出多个汉字笔画字形轨迹并可组合构成对应的目标汉字。其中最终的第一想象书写轨迹拟合模型为对初始优化的第一实际书写轨迹拟合模型进行优化后得到的。
进一步地，信号处理设备判断第二实际书写测试集的准确率，即，判断输入最终的第一实际书写轨迹拟合模型和第一状态监测模型的神经信号对应的汉字标签所包含的多个连续有序笔画组合与最终的第一实际书写轨迹拟合模型和第一状态监测模型输出的多个有序汉字笔画结果是否对应，从而计算准确率。
例如，信号处理设备将与汉字“木”对应的有序汉字笔画组合标签(即，包含连续有序地实际书写多个汉字笔画“横-竖-撇-捺”)神经信号输入最终的第一实际书写轨迹拟合模型和第一状态监测模型。最终的第一实际书写轨迹拟合模型识别神经信号并输出字形轨迹方向信息并拟合轨迹，当第一状态监测模型识别神经信号为提笔书写中断状态，则最终的第一实际书写轨迹拟合模型停止输出轨迹方向信息及拟合轨迹，通过此前的拟合轨迹将形成第一个汉字笔画字形轨迹横“一”；当第一状态监测模型再次识别神经信号为书写状态，则再次将神经信号输入最终的第一实际书写轨迹拟合模型并开始继续识别神经信号中轨迹方向信息并进行持续的拟合轨迹，直至第一状态监测模型再次识别神经信号为提笔非书写状态后，则最终的第一实际书写轨迹拟合模型再次停止输出轨迹方向信息并轨迹拟合形成第二个汉字笔画字形轨迹竖“丨”。依照此流程，最后，最终的第一实际书写轨迹拟合模型输出拟合的多个汉字笔画轨迹“横-竖-撇-捺”。信号处理设备判定输入最终的第一实际书写轨迹拟合模型和第一状态监测模型的神经信号标签与最终的第一实际书写轨迹拟合模型和第一状态监测模型输出的多个有序汉字笔画一一正确对应。在最终的第一实际书写轨迹拟合模型和第一状态监测模型输出的多个汉字笔画轨迹不是“横-竖-撇-捺”的情况下，信号处理设备判定输入最终的第一实际书写轨迹拟合模型和第一状态监测模型的神经信号标签与最终的第一实际书写轨迹拟合模型和第一状态监测模型输出的多个汉字笔画不对应。
从而信号处理设备根据输入最终的第一实际书写轨迹拟合模型和第一状态监测模型的神经信号标签与最终的第一实际书写轨迹拟合模型和第一状态监测模型输出的多个汉字笔画的正确对应情况，计算第二实际书写测试集的准确率。
进一步地，信号处理设备判断第二实际书写测试集的准确率是否超过预设阈值，例如预设阈值为70％。当第二实际书写测试集的准确率大于或等于预设阈值时，则信号处理设备判定该最终的第一实际书写轨迹拟合模型和第一状态监测模型完成最终优化，无需返回重新训练模型。当第二实际书写测试集的准确率小于预设阈值时，则信号处理设备判定该最终的第一实际书写轨迹拟合模型和第一状态监测模型需要重新进入训练阶段。
进一步地，当最终的第一实际书写轨迹拟合模型需要重新训练的情况下，参考步骤S204～S208，信号采集设备重新采集用户在视觉的引导下执行跟随式实际书写过程中的神经信号。信号处理设备将重新采集的神经信号作为训练样本，并根据训练样本重新训练最终的第一实际书写轨迹拟合模型和第一状态监测模型。之后信号处理设备对重新训练的第一实际书写轨迹拟合模型和第一状态监测模型进行测试，在重新训练的第一实际书写轨迹拟合模型和第一状态监测模型小于预定阈值的情况下，再次对重新训练的第一实际书写轨迹拟合模型和第一状态监测模型进行训练，直到第一实际书写轨迹拟合模型大于预定阈值。
进一步地，依照上述采集第一实际书写测试集的方法，信号采集设备采集用户想象书写汉字笔画的神经信号，并将该神经信号以及对应的汉字笔画作为第一想象书写测试集。之后信号处理设备将该第一想象书写测试集其中一部分输入至再训练后的第二想象书写轨迹拟合模型并进行参数初始优化。初始参数优化完成后从而初始优化后的第二想象书写轨迹拟合模型对该神经信号进行识别，输出对应的汉字笔画的字形轨迹方向信息并拟合再现该汉字笔画书写轨迹。
进一步地，信号处理设备判断第二想象书写测试集的准确率，即，判断输入初始优化后的第二想象书写轨迹拟合模型的神经信号对应的汉字笔画标签与初始优化后的第二想象书写轨迹拟合模型输出的汉字笔画结果是否对应，从而计算准确率。
例如，信号处理设备将与汉字笔画折(即，“フ”)标签对应的神经信号输入初始优化后的第二想象书写轨迹拟合模型。在初始优化后的第二想象书写轨迹拟合模型输出字形轨迹方向信息并拟合再现该汉字笔画书写轨迹为汉字笔画折(即，“フ”)的情况下，信号处理设备判定输入初始优化后的第二想象书写轨迹拟合模型的神经信号标签与初始优化后的第二想象书写轨迹拟合模型输出的汉字笔画正确对应。在初始优化后的第二想象书写轨迹拟合模型输出的汉字笔画轨迹不是折(即，“フ”)的情况下，信号处理设备判定输入初始优化后的第二想象书写轨迹拟合模型的神经信号标签与初始优化后的第二想象书写轨迹拟合模型输出的汉字笔画不对应。
从而信号处理设备根据输入初始优化后的第二想象书写轨迹拟合模型的神经信号标签与初始优化后的第二想象书写轨迹拟合模型输出的汉字笔画的正确对应情况，计算第一想象书写测试集的准确率。
进一步地，信号处理设备判断第一想象书写测试集的准确率是否超过预设阈值，例如预设阈值为70％。当第一想象书写测试集的准确率大于或等于预设阈值时，则信号处理设备判定该初始优化后的第二想象书写轨迹拟合模型完成初始优化，无需返回重新训练模型。当第一想象书写测试集的准确率小于预设阈值时，则信号处理设备判定该最终的第二想象书写轨迹拟合模型需要重新进入训练阶段。
进一步地，当初始优化后的第二想象书写轨迹拟合模型需要重新训练的情况下，参考步骤S212～S218，信号采集设备重新采集用户在视觉的引导下执行跟随式想象书写过程中的神经信号。信号处理设备将重新采集的神经信号作为训练样本，并根据训练样本重新训练第二想象书写轨迹拟合模型。之后信号处理设备对重新训练的第二想象书写轨迹拟合模型进行测试，在重新训练的第二想象书写轨迹拟合模型小于预定阈值的情况下，再次对重新训练的第二想象书写轨迹拟合模型进行训练，直到第二想象书写轨迹拟合模型大于预定阈值。
在信号处理设备判定该初始优化后的第二想象书写轨迹拟合模型无需进行重新训练的情况下，依照上述采集第一想象书写测试集的方法，信号采集设备采集用户在想象书写多个汉字笔画以构成目标汉字的过程中的神经信号，并将该神经信号以及提示目标汉字所对应的有序汉字笔画组合标签作为第二想象书写测试集。之后依照上述相应的测试初始优化后的第二想象书写轨迹拟合模型的方法，信号处理设备通过第二想象书写测试集测试初始优化后的第二想象书写轨迹拟合模型以及第二想象书写轨迹拟合的第二状态监测模型，从而判断该最终的第二想象书写轨迹拟合模型和第二状态监测模型是否需要进行重新训练。
具体地，参考图9所示，信号处理设备将第二想象书写测试集输入第二想象书写轨迹拟合模型的第二状态监测模型，对第二想象书写测试集中每一目标汉字对应的有序汉字笔画组合标签下的神经信号按时间分段形成多段时间窗，第二状态监测模型首先识别当前一段时间窗神经信号并输出监测用户状态的结果，当监测结果判定为书写状态，则该段时间窗神经信号进入初始优化后的第二想象书写轨迹拟合模型，进行该段时间窗神经信号的轨迹方向估计与轨迹拟合。拟合结束后，继续进行下一时间段神经信号的状态监测。如果监测结果为结束笔画想象的非书写状态，则继续进行随后一段时间窗神经信号的状态监测。
初始优化的第二想象书写轨迹拟合模型和第二状态监测模型对通过依时间窗分段对该有序汉字笔画组合标签下的神经信号进行识别，其中，第二状态监测模型准确识别连续的、依次想象书写多个汉字笔画中间的想象书写中断的非书写状态，在识别为书写状态下初始优化的第二想象书写轨迹拟合模型对神经信号的字形轨迹方向信息进行估计并拟合形成字形轨迹，直至第二状态监测模型识别为非书写状态则中止对轨迹进行方向估计，当第二状态监测模型再次识别神经信号为书写状态时，初始优化的第二想象书写轨迹拟合模型对神经信号的字形轨迹方向信息进行估计并形成下一想象书写字形的轨迹。
因此，最终的第二想象书写轨迹拟合模型和第二状态监测模型可连续输出多个汉字笔画字形轨迹并可组合构成对应的目标汉字。其中最终的第二想象书写轨迹拟合模型为对初始优化的第二想象书写轨迹拟合模型进行优化后得到的。
进一步地，信号处理设备判断第二想象书写测试集的准确率，即，判断输入最终的第二想象书写轨迹拟合模型和第二状态监测模型的神经信号对应的汉字标签所包含的多个连续有序笔画组合与最终的第二想象书写轨迹拟合模型和第二状态监测模型输出的多个有序汉字笔画结果是否对应，从而计算准确率。
例如，信号处理设备将与汉字“木”对应的有序汉字笔画组合标签(即，包含连续有序地想象书写多个汉字笔画“横-竖-撇-捺”)神经信号输入最终的第二想象书写轨迹拟合模型和第二状态监测模型。最终的第二想象书写轨迹拟合模型识别神经信号并输出字形轨迹方向信息并拟合轨迹，当第二状态监测模型识别神经信号为想象书写中断的非书写状态，则最终的第二想象书写轨迹拟合模型停止输出轨迹方向信息及拟合轨迹，通过此前的拟合轨迹将形成第一个汉字笔画字形轨迹横“一”；当第二状态监测模型再次识别神经信号为书写状态，则再次将神经信号输入最终的第二想象书写轨迹拟合模型并开始继续识别神经信号中轨迹方向信息并进行持续的拟合轨迹，直至第二状态监测模型再次识别神经信号为非书写状态后，则最终的第二想象书写轨迹拟合模型再次停止输出轨迹方向信息并轨迹拟合形成第二个汉字笔画字形轨迹竖“丨”。依照此流程，最后，最终的第二想象书写轨迹拟合模型输出拟合的多个汉字笔画轨迹“横-竖-撇-捺”。信号处理设备判定输入最终的第二想象书写轨迹拟合模型和第二状态监测模型的神经信号标签与最终的第二想象书写轨迹拟合模型和第二状态监测模型输出的多个有序汉字笔画一一正确对应。在最终的第二想象书写轨迹拟合模型和第二状态监测模型输出的多个汉字笔画轨迹不是“横-竖-撇-捺”的情况下，信号处理设备判定输入最终的第二想象书写轨迹拟合模型和第二状态监测模型的神经信号标签与最终的第二想象书写轨迹拟合模型和第二状态监测模型输出的多个汉字笔画不对应。
从而信号处理设备根据输入最终的第二想象书写轨迹拟合模型和第二状态监测模型的神经信号标签与最终的第二想象书写轨迹拟合模型和第二状态监测模型输出的多个汉字笔画的正确对应情况，计算第二想象书写测试集的准确率。
进一步地，信号处理设备判断第二想象书写测试集的准确率是否超过预设阈值，例如预设阈值为70％。当第二想象书写测试集的准确率大于或等于预设阈值时，则信号处理设备判定该最终的第二想象书写轨迹拟合模型和第二状态监测模型完成最终优化，无需返回重新训练模型。当第二想象书写测试集的准确率小于预设阈值时，则信号处理设备判定该最终的第二想象书写轨迹拟合模型和第二状态监测模型需要重新进入训练阶段。
进一步地，当最终的第二想象书写轨迹拟合模型需要重新训练的情况下，参考步骤S214～S218，信号采集设备重新采集用户在视觉的引导下执行跟随式想象书写过程中的神经信号。信号处理设备将重新采集的神经信号作为训练样本，并根据训练样本重新训练最终的第二想象书写轨迹拟合模型和第二状态监测模型。之后信号处理设备对重新训练的第二想象书写轨迹拟合模型和第二状态监测模型进行测试，在重新训练的第二想象书写轨迹拟合模型和第二状态监测模型小于预定阈值的情况下，再次对重新训练的第二想象书写轨迹拟合模型和第二状态监测模型进行训练，直到第二想象书写轨迹拟合模型大于预定阈值。
进一步地，在已经测试的最终的第一实际书写轨迹拟合模型和第一状态监测模型无需优化的情况下，将已经测试的第一实际书写轨迹拟合模型和第一状态监测模型作为可以投入使用的完成优化后的第一实际书写轨迹拟合模型。从而用户根据自主书写意图进行连续时间段内多个汉字笔画实际书写，信号采集设备采集用户执行汉字笔画实际书写过程中的第五神经信号，从而第一实际书写轨迹拟合模型识别该第五神经信号。
进一步地，第一实际书写轨迹拟合模型识别第五神经信号之前，信号处理设备首先明确当前用户需求状态，用户需求状态包括包含保持当前状态和切换状态。
左手在宏观解剖结构上是右手的镜像，即例如书写笔画横(即，“一”)，虽然外部坐标系即书写运动轨迹相同，在左、右侧关节的运动中将呈现相反结果—右腕关节将执行桡侧(拇指一侧)向尺侧(小指一侧)偏转，左腕关节将执行尺侧向桡侧的偏转。其中神经活动与内在坐标系(即镜像的关节运动)相关，而非对应于外部坐标系(即同一空间方向上的运动)。即便是书写同一数字或笔画任务，在左、右侧关节的运动将呈现镜像运动结果，在神经活动中存在差异。
信号采集设备采集用户利手的对侧手部在实际书写运动时的神经信号，并将该神经信号作为训练样本。之后信号采集设备采集用户利手的对侧手部在想象书写动作时的神经信号，并将该神经信号也作为训练样本。其中对于左利手而言，利手的对侧手部为右手，对于右利手而言，利手的对侧手部为左手。
信号处理设备根据该训练样本对状态识别模型进行训练。其中状态识别模型用于确定是否存在自身利手的对侧手部的实际书写动作或想象书写动作以明确用户的需求状态为保持当前状态还是切换状态。当状态识别模型确定神经信号中存在用户对侧手部的书写动作或想象书写动作所诱导的特征神经信号，信号处理设备则识别结果为存在对侧手部运动则切换状态，其中在当前状态为空闲状态的情形下切换为任务状态，或当前状态为任务状态的情形下切换为空闲状态，并且其中根据所述用户状态为任务状态情形下，通过可以投入使用的完成优化后的第一实际书写轨迹拟合模型开始识别第五神经信号。
具体地，图11是根据本申请实施例1所述的组合汉字的流程示意图。参考图11所示，用户依汉字书写的笔顺规则，使用利手(如右手)自主连续地、依次实际书写多个汉字笔画后，信号采集设备采集连续实际书写多个汉字笔画过程中用户的神经信号(即，第五神经信号)。例如用户通过利手意图书写汉字“木”，期间利手的对侧手部保持不动。在用户连续实际书写汉字“木”的有序汉字笔画“横-竖-撇-捺”过程中，信号采集设备采集用户的神经信号(即，第五神经信号)，并将该神经信号输入至状态识别模型。由于用户在利手实际书写过程中，利手的对侧手部保持不动，状态识别模型识别到该神经信号与利手对侧手部书写动作无关，则信号处理设备确定当前的用户状态为保持任务状态，并将该神经信号输入至完成优化的第一实际书写轨迹拟合模型。
进一步地，图12是根据本申请实施例1所述的确定用户状态的流程示意图。参考图12所示，当用户使用利手对侧手部实际运动诱发状态识别模型识别利手对侧手部运动并切换用户状态由空闲状态至任务状态后，以用户根据自主意愿书写汉字“木”为例，用户开始使用利手(如右手)完成自主连续实际书写多个汉字笔画“横-竖-撇-捺”以组成汉字“木”，图10是根据本申请实施例1所述的采集第五神经信号和第六神经信号的流程示意图，参考图6及图10所示，信号采集设备采集该连续书写过程的神经信号(即，第五神经信号)首先输入至完成优化的第一实际书写轨迹拟合模型中的第一状态监测模型，当第一状态监测模型识别实时神经信号中出现书写中断的特征信号则识别结果为非书写状态，继续对神经信号进行状态监测，否则将神经信号输入第一实际书写轨迹拟合模型对当前神经信号中书写汉字笔画字形轨迹方向信息进行估计并拟合轨迹并将实时字形轨迹发送于显示设备进行显示(参考图10所示)；当第一状态监测模型识别实时神经信号中出现书写中断的特征信号，则停止将神经信号输入第一实际书写轨迹拟合模型并完成当前一笔画的字形轨迹拟合输出，并识别结果为非书写状态。在该流程下，参考图10所示，信号采集设备采集第五神经信号，信号处理设备将该神经信号输入完成优化的第一状态监测模型首先进行状态监测判断，继而确认是否输入第一实际书写轨迹拟合模型。从而信号处理设备能够对连续书写多个汉字笔画中书写之间的断笔，即停止对当前笔画的轨迹方向拟合进行精确时机判定，例如在构成汉字“木”过程中，首先书写汉字笔画横“一”继而书写汉字笔画竖“丨”，若第一状态监测模型未准确识别断笔，则可能输出的字形轨迹结果为横折“┐”。
进一步地，用户将汉字“木”的所有汉字笔画都书写完毕，并且第一实际书写轨迹拟合模型输出了对应的汉字笔画字形轨迹拟合结果：横(即，“一”)、竖(即，“丨”)、撇(即，“丿”)和捺(即，“乀”)。之后用户通过利手对侧手部书写实际任意汉字笔画，同时信号采集设备采集用户实际书写过程中的神经信号。参考图11所示，信号处理设备将该神经信号输入状态识别模型。状态识别模型确定该神经信号与利手对侧手部相关，则信号处理设备对当前状态切换，即将系统状态由任务状态切换为空闲状态。从而信号处理设备将第一实际书写轨迹拟合模型输出的汉字笔画横(即，“一”)、竖(即，“丨”)、撇(即，“丿”)和捺(即，“乀”)进行组合，从而生成汉字“木”，并将汉字“木”发送至显示设备进行显示。
可选地，信号采集设备采集了第五神经信号后，除了第一实际书写轨迹拟合模型根据第五神经信号，输出了对应的汉字笔画字形轨迹拟合结果。信号处理设备的分类识别模型还对第五神经信号进行处理，并确定与第五神经信号对应的神经信号类别。
具体地，信号处理设备还设置有分类识别模型。其中分类识别模型包括：信号预处理模块，用于对所采集的神经信号进行预处理；特征提取模块，用于对预处理后的神经信号进行特征提取，生成相应的神经信号特征；以及任务分类模块，用于根据神经信号特征确定相应的神经信号类别。其中任务分类模块包括：弱分类单元，用于根据神经信号特征确定与神经信号类别相关的弱分类信息；任务分类单元，用于根据弱分类信息确定神经信号类别，其中神经信号为采用滑动窗所提取的相应时隙的神经信号。
进一步地，参考图13所示，根据本实施例所述的分类识别模型，弱分类单元包括多个二分类器1～b。并且其中二分类器的类别对应于不同的神经信号类别。特征提取模块包括多个特征提取单元1～b，并且特征提取单元1～b分别与不同的二分类器1～b对应。并且其中，多个特征提取单元1～b接收预处理后的神经信号，分别对神经信号进行特征提取，并将所提取的神经信号特征x1～xb传输至相应的二分类器；以及多个二分类器根据所接收的神经信号特征，基于一对一分类法，确定与神经信号对应的弱分类信息。
具体地，参考图14所示，在本实施例中，分类识别模型能够识别不同的汉字笔画类别。假设汉字笔画类别的总数是K，其中K＝5。例如类别分别为C1～C5。从而与神经信号类别对应的类别以及各个类别对应的汉字实际书写任务如下所示：
表1
从而，在本实施例中，弱分类单元包括b个二分类器，并且b个二分类器中每个二分类器的两个类别分别对应于以上K个类别(即，5个类别)中的两个不同类别。例如二分类器1用于对应的两个类别是C1和C2，二分类器2对应的两个类别是C1和C3，二分类器3对应的两个类别是C1和C4，...，以及二分类器b对应的两个类别是CK-1和CK(即，C4和C5)。即，弱分类单元的b个二分类器所对应的类别，涵盖了所有的两个不同类别的组合。从而b个二分类器可以通过一对一分类(one-to-one)的策略实现弱分类操作。例如，参考图13所示，各个二分类器1～b输出的二分类信息Q1～Qb共同构成了与神经信号矩阵X对应的弱分类信息。
由于各个二分类器1～b对应的类别不同，因此为了使得各个二分类器1～b能够更加准确地进行分类，本实施例部署了b个特征提取单元1～b分别与不同的二分类器1～b对应，并且针对不同的二分类器1～b分别对预处理后的神经信号矩阵X{B}进行特征提取，从而提取出神经信号特征x1～xb。从而各个二分类器1～b可以根据相应的神经信号特征x1～xb分别进行分类操作。从而本实施例的技术方案针对不同的二分类器1～b分别设置相应的特征提取单元1～b。从而相对于多个二分类器使用同一个神经信号特征来说，本申请的技术方案的弱分类单元能够实现对神经信号更准确地分类。
此外，进一步可选地，信号预处理模块用于执行以下操作：对于采集到的神经信号矩阵利用与用户的响应频带匹配的滤波器，进行个体特异化频带滤波，得到预处理后的神经信号矩阵X{B}，其中C和T为神经信号矩阵的维度。该滤波器可以通过以下操作构建：
首先，获取用户的与不同的汉字实际书写任务对应的样本神经信号矩阵X'1～X'K。例如，样本神经信号矩阵X'1与用户对表1中类别1对应的横“一”进行汉字实际书写的神经信号对应；样本神经信号矩阵X'2与用户对表1中类别2对应的横“丨”进行汉字实际书写的神经信号对应；以此类推，样本神经信号矩阵X'K与用户对表1中类别K(即，类别5)折“フ”进行汉字实际书写的神经信号对应。
然后，分别提取与各个样本神经信号矩阵X'1～X'K对应的频谱信息。例如可以通过傅里叶变换生成分别与样本神经信号矩阵X'1～X'K对应的频谱信息SP1～SPK。
根据所述频谱信息，针对预先设定的各个频带，确定各个样本神经信号与每个频带对应幅值信息。例如，可以预先设定在用户神经信号频谱范围内预先设定多个频带1～L。然后根据各个样本神经信号矩阵X'1～X'K对应的频谱信息SP1～SPK，确定各个样本神经信号矩阵X'1～X'K在各个频带1～L的幅值信息。
例如：
样本神经信号矩阵X'1在频带1的幅值为A1,1；在频带2的幅值为A1,2；...；以此类推，在频带L的幅值为A1,L。
样本神经信号矩阵X'2在频带1的幅值为A2,1；在频带2的幅值为A2,2；...；以此类推，在频带L的幅值为A2,L。
以此类推，样本神经信号矩阵X'K在频带1的幅值为AK,1；在频带2的幅值为AK,2；...；以此类推，在频带L的幅值为AK,L。
其中样本神经信号矩阵在各个频带的幅值，例如可用在该频带的幅值均值来表示。
然后针对每个频带，计算各个样本神经信号的幅值信息的方差。
例如针对频带1，计算各个样本神经信号的幅值信息A1,1、A2,1、A3,1、...、AK,1的方差：
其中，为各个样本神经信号在频带1中的幅值信息A1,1～AK,1的方差，/>为各个样本神经信号在频带1中的幅值信息A1,1～AK,1的均值。
例如针对频带2，计算各个样本神经信号的幅值信息A1,2、A2,2、A3,2、...、AK,2的方差：
其中，为各个样本神经信号在频带2中的幅值信息A1,2～AK,2的方差，/>为各个样本神经信号在频带2中的幅值信息A1,2～AK,2的均值。
以此类推，针对频带L，计算各个样本神经信号的幅值信息A1,L、A2,L、A3,L、...、AK,L的方差：
其中，为各个样本神经信号在频带L中的幅值信息A1,L～AK,L的方差，/>为各个样本神经信号在频带L中的幅值信息A1,L～AK,L的均值。
基于所计算的方差，确定所述用户的响应频带；以及
具体地，方差值越大，则意味着对应的频带，不同样本神经信号的幅值差异越大。从而，方差值大的频带，可以视为用户的响应频带。具体地，可以将方差大于预定阈值的频带视为用户的响应频带。或者，可以将计算得到的方差值输入至预先设置的二分类模型(例如逻辑回归)，从而确定相应的频带是否是用户的响应频带。
基于所述用户的响应频带构建所述滤波器，其中所述滤波器用于通过与所述用户的响应频带对应的神经信号分量且滤除其他频带的神经信号分量。
从而在具体的应用过程中，可以利用该滤波器对用户采集的神经信号矩阵进行个体特异化频带滤波，得到预处理后的神经信号矩阵X{B}。
从而通过这种方式，本实施例可以将特征信息明显的频带分量从神经信号矩阵X中提取出来，从而可以更加准确地确定用户的实际书写任务。
进一步可选地，特征提取模块的第j个特征提取单元(j＝1～b)用于执行以下操作：
确定预处理后的神经信号矩阵X{B}的协方差矩阵P：
根据第j个特征提取单元的信号投影矩阵和协方差矩阵P，提取神经信号矩阵的特征：
其中xj表示第j个特征提取单元所提取的神经信号特征，M表示神经信号特征xj的特征的对数，以及diag(A)表示返回矩阵A的对角线元素并构成向量。
从而，对于从特征提取单元1～特征提取单元b的每一个特征提取单元j，都按照以上方式进行特征提取。由于对于不同的特征提取单元，信号投影矩阵Wj也不同，因此可以提取不同的神经信号特征xj。
此外，每个特征提取单元j(j＝1～b)的信号投影矩阵Wj可以按照以下操作确定：
步骤1.构建神经信号矩阵的样本集其中i＝1或2。其中/>为与第j个二分类器(即二分类器j)的一个类别对应的神经信号矩阵(n＝1～N1)；/>为与第j个二分类器(即二分类器j)的另一个类别对应的神经信号矩阵(n＝1～N2)。
以特征提取单元1为例，其对应的二分类器1的两个类别分别是C1和C2。从而，(即，/>)为与类别C1对应的导电信号矩阵(即与笔画横“一”对应的神经信号矩阵)的样本集。/>(即，/>)为与类别C2对应的导电信号矩阵(即与笔画横“一”对应的神经信号矩阵)的样本集。对于其他的特征提取单元也以此类推，此处不再赘述。
步骤2.利用信号预处理模块对样本集中的神经信号矩阵进行预处理，从而生成预处理后的神经信号矩阵/>即，信号预处理模块按照如上所述的方式，根据用户的响应频带，对各个神经信号矩阵/>进行相应子带的滤波，从而得到相应的预处理后的神经信号矩阵/>即经过特异化频带滤波预处理后的信号矩阵/>
步骤3.针对预处理后获得的每一个信号矩阵计算信号矩阵/>的协方差矩阵：
步骤4.分别计算的均值/>和/>的均值/>作为二分类器j的两个不同类别的神经信号矩阵样本的协方差均值：
步骤5.构建信号间差异最大化模型并计算信号投影矩阵Wj：
/>
从而通过以上操作，可以针对各个特征提取单元j，确定相应的信号投影矩阵Wj。
此外，进一步可选地，多个二分类器为预先训练的基于LASSO回归模型的二分类器，并且弱分类单元用于执行以下操作：利用第j个二分类器对第j个特征提取单元提取的神经信号特征xj进行二分类，确定与第j个二分类器对应的二分类信息，作为弱分类信息的一部分。
具体地，参考图13所示，二分类器1～二分类器b均为预先训练的基于LASSO回归模型的二分类器。例如对于二分类器1～二分类器b中的任意二分类器j，可以基于以下公式基于相应的神经信号特征xj进行二分类操作：
其中，zj表示与神经信号特征xj对应的标签，bj为2M×1的向量，表示与第j个分类器对应的线性拟合的映射矩阵，λj和αj为第j个二分类器的调节系数。
从而二分类器1～二分类器b可以输出各自的二分类信息Q1～Qb，从而构成弱分类信息。其中，二分类信息Qj(即Q1～Qb)例如可以是二维向量，该二维向量的元素为分别与相应二分类器的两个类别对应的参数值。
可选地，任务分类单元用于：将弱分类信息进行融合，生成融合分类信息；以及根据融合分类信息，利用softmax回归模型确定神经信号类别。
具体地，任务分类单元可以将弱分类信息Q1～Qb进行融合，例如将其进行拼接，从而生成融合分类信息x。
然后，任务分类单元根据以下基于softmax回归模型的公式，确定与神经信号矩阵X对应的神经信号类别：
其中，K表示神经信号类别的类别总数；z为当前预测的神经信号类别(其中，z＝1～K)，p(z|x)表示融合分类信息x对应的神经信号类别为类别z的概率。当p(z|x)大于预设的概率阈值p时，确定类别z为神经信号矩阵X对应的神经信号类别。即在本申请的任务分类中，仅当融合分类信息x对应的神经信号类别的概率大于阈值时，才对该神经信号进行分类，否则丢弃当前滑动时间窗下的神经信号数据。
此外公式中的Yz(z＝1～K)为先生参数，可以通过梯度下降等方法进行样本训练确定。
从而，如图15A所示，本实施例采用滑动时间窗提取不同时隙下的神经信号数据，对于所提取的信号数据，利用softmax回归模型确定与神经信号数据对应的神经信号类别。
或者，参考图15B所示，任务分类单元可以将融合分类信息x输入预先训练的神经网络。
然后，任务分类单元利用softmax分类器，根据神经网络输出的信息确定与神经信号矩阵X对应的神经信号类别。其中p(z|x)表示融合分类信息x对应的神经信号类别为类别z的概率。其中概率值最大的类别，即为与神经信号数据对应的神经信号类别。
从而，本实施例在利用多个二分类器确定与神经信号相关的多个二分类结果之后，并不是直接通过投票的方式确定神经信号类别，而是将二分类结果作为弱分类信息，并进一步作为待分析特征，利用softmax回归模型或者是神经网络进行进一步的特征分析，从而能够在信号差别不明显的情况下，进行更加准确地分类。
进一步地，在已经测试的第二想象书写轨迹拟合模型无需优化的情况下，将已经测试的第二想象书写轨迹拟合模型作为可以投入使用的完成优化的第二想象书写轨迹拟合模型。从而用户根据自主书写意图进行连续时间段内多个汉字笔画想象书写，信号采集设备采集用户执行汉字笔画想象书写过程中的第六神经信号，第二想象书写轨迹拟合模型识别该第六神经信号。
进一步地，第二想象书写轨迹拟合模型识别第六神经信号之前，信号处理设备首先明确当前用户状态，用户状态包括包含空闲状态和任务状态。
具体地，参考图11所示，用户依汉字书写的笔顺规则，使用利手(如右手)自主连续的、依次想象书写多个汉字笔画后，信号采集设备采集连续想象书写多个汉字笔画过程中用户的神经信号(即，第六神经信号)。例如用户想象通过利手意图书写汉字“木”，在用户连续想象书写汉字“木”的有序汉字笔画“横-竖-撇-捺”过程中，提示用户不要产生利手对侧手部的书写动作想象，信号采集设备采集用户的神经信号(即，第六神经信号)，并将该神经信号输入至状态识别模型。状态识别模型识别到该神经信号与利手对侧手部动作无关，则信号处理设备确定当前的用户状态为任务状态，并将该神经信号输入至完成优化的第二想象书写轨迹拟合模型。
进一步地，参考图12所示，当用户使用利手对侧手部想象运动诱发状态识别模型识别利手对侧手部运动并切换用户状态由空闲状态至任务状态后，以用户根据自主意愿想象书写汉字“木”为例，用户开始使用利手(如右手)完成自主连续想象书写多个汉字笔画“横-竖-撇-捺”以组成汉字“木”，参考图6及图10所示，信号采集设备采集该连续书写过程的神经信号(即，第六神经信号)首先输入至完成优化的第二想象书写轨迹拟合模型中的第二状态监测模型，当第二状态监测模型识别实时神经信号中出现想象书写中断的特征信号则识别结果为非书写状态，继续对神经信号进行状态监测，否则，将神经信号输入第二想象书写轨迹拟合模型对当前神经信号中想象书写汉字笔画字形轨迹方向信息进行估计并拟合轨迹并将实时字形轨迹发送于显示设备进行显示(参考图10所示)；当第二状态监测模型识别实时神经信号中出现书写中断的特征信号，则停止将神经信号输入第二想象书写轨迹拟合模型并完成当前一笔画的字形轨迹拟合输出，并识别结果为非书写状态。在该流程下，参考图10所示，信号采集设备采集第六神经信号，信号处理设备将该神经信号输入完成优化的第二状态监测模型首先进行状态监测判断，继而确认是否输入第二想象书写轨迹拟合模型。从而信号处理设备能够对连续书写多个汉字笔画中书写之间的断笔，即停止对当前想象的笔画的轨迹方向拟合进行精确时机判定，例如在构成汉字“木”过程中，首先想象书写汉字笔画横“一”继而想象书写汉字笔画竖“丨”，若第二状态监测模型未准确识别断笔，则可能输出的字形轨迹结果为一个汉字笔画横折“┐”。
进一步地，用户将汉字“木”的所有汉字笔画都想象书写完毕，并且第二想象书写轨迹拟合模型输出了对应的汉字笔画字形轨迹拟合结果：横(即，“一”)、竖(即，“丨”)、撇(即，“丿”)和捺(即，“乀”)。之后用户通过想象利手对侧手部书写任意汉字笔画，同时信号采集设备采集用户想象书写过程中的神经信号。参考图11所示，信号处理设备将该神经信号输入状态识别模型。状态识别模型确定该神经信号与利手对侧手部相关，则信号处理设备对当前状态切换，即将系统状态由任务状态切换为空闲状态。从而信号处理设备将第二想象书写轨迹拟合模型输出的汉字笔画横(即，“一”)、竖(即，“丨”)、撇(即，“丿”)和捺(即，“乀”)进行组合，从而生成汉字“木”，并将汉字“木”发送至显示设备进行显示。
可选地，信号采集设备采集了第六神经信号后，除了第二想象书写轨迹拟合模型根据第六神经信号，输出了对应的汉字笔画字形轨迹拟合结果。分类识别模型还对第六神经信号进行处理，并确定与第六神经信号对应的神经信号类别。
具体地，信号识别模型包括：信号预处理模块，用于对所采集的神经信号进行预处理；特征提取模块，用于对预处理后的神经信号进行特征提取，生成相应的神经信号特征；以及任务分类模块，用于根据神经信号特征确定相应的神经信号类别。其中任务分类模块包括：弱分类单元，用于根据神经信号特征确定与神经信号类别相关的弱分类信息；任务分类单元，用于根据弱分类信息确定神经信号类别，其中神经信号为采用滑动窗所提取的相应时隙的神经信号。
进一步地，参考图13所示，根据本实施例所述的系统，弱分类单元包括多个二分类器1～b。并且其中二分类器的类别对应于不同的神经信号类别。特征提取模块包括多个特征提取单元1～b，并且特征提取单元1～b分别与不同的二分类器1～b对应。并且其中，多个特征提取单元1～b接收预处理后的神经信号，分别对神经信号进行特征提取，并将所提取的神经信号特征x1～xb传输至相应的二分类器；以及多个二分类器根据所接收的神经信号特征，基于一对一分类法，确定与神经信号对应的弱分类信息。
具体地，参考图14所示，在本实施例中，信号处理设备能够识别不同的汉字笔画类别。假设汉字笔画类别的总数是K，其中K＝5。例如类别分别为C1～C5。从而与神经信号类别对应的类别以及各个类别对应的汉字想象书写任务如下所示：
表1
从而，在本实施例中，弱分类单元包括b个二分类器，并且b个二分类器中每个二分类器的两个类别分别对应于以上K个类别(即，5个类别)中的两个不同类别。例如二分类器1用于对应的两个类别是C1和C2，二分类器2对应的两个类别是C1和C3，二分类器3对应的两个类别是C1和C4，...，以及二分类器b对应的两个类别是CK-1和CK(即，C4和C5)。即，弱分类单元的b个二分类器所对应的类别，涵盖了所有的两个不同类别的组合。从而b个二分类器可以通过一对一分类(one-to-one)的策略实现弱分类操作。例如，参考图13所示，各个二分类器1～b输出的二分类信息Q1～Qb共同构成了与神经信号矩阵X对应的弱分类信息。
由于各个二分类器1～b对应的类别不同，因此为了使得各个二分类器1～b能够更加准确地进行分类，本实施例部署了b个特征提取单元1～b分别与不同的二分类器1～b对应，并且针对不同的二分类器1～b分别对预处理后的神经信号矩阵X{B}进行特征提取，从而提取出神经信号特征x1～xb。从而各个二分类器1～b可以根据相应的神经信号特征x1～xb分别进行分类操作。从而本实施例的技术方案针对不同的二分类器1～b分别设置相应的特征提取单元1～b。从而相对于多个二分类器使用同一个神经信号特征来说，本申请的技术方案的弱分类单元能够实现对神经信号更准确地分类。
此外，进一步可选地，信号预处理模块用于执行以下操作：对于采集到的神经信号矩阵利用与用户的响应频带匹配的滤波器，进行个体特异化频带滤波，得到预处理后的神经信号矩阵X{B}，其中C和T为神经信号矩阵的维度。该滤波器可以通过以下操作构建：
首先，获取用户的与不同的汉字书写想象任务对应的样本神经信号矩阵X'1～X'K。例如，样本神经信号矩阵X'1与用户对表1中类别1对应的横“一”进行汉字书写想象的神经信号对应；样本神经信号矩阵X'2与用户对表1中类别2对应的横“丨”进行汉字书写想象的神经信号对应；以此类推，样本神经信号矩阵X'K与用户对表1中类别K(即，类别5)折“フ”进行汉字书写想象的神经信号对应。
然后，分别提取与各个样本神经信号矩阵X'1～X'K对应的频谱信息。例如可以通过傅里叶变换生成分别与样本神经信号矩阵X'1～X'K对应的频谱信息SP1～SPK。
根据所述频谱信息，针对预先设定的各个频带，确定各个样本神经信号与每个频带对应幅值信息。例如，可以预先设定在用户神经信号频谱范围内预先设定多个频带1～L。然后根据各个样本神经信号矩阵X'1～X'K对应的频谱信息SP1～SPK，确定各个样本神经信号矩阵X'1～X'K在各个频带1～L的幅值信息。
例如：
样本神经信号矩阵X'1在频带1的幅值为A1,1；在频带2的幅值为A1,2；...；以此类推，在频带L的幅值为A1,L。
样本神经信号矩阵X'2在频带1的幅值为A2,1；在频带2的幅值为A2,2；...；以此类推，在频带L的幅值为A2,L。
以此类推，样本神经信号矩阵X'K在频带1的幅值为AK,1；在频带2的幅值为AK,2；...；以此类推，在频带L的幅值为AK,L。
其中样本神经信号矩阵在各个频带的幅值，例如可用在该频带的幅值均值来表示。
然后针对每个频带，计算各个样本神经信号的幅值信息的方差。
例如针对频带1，计算各个样本神经信号的幅值信息A1,1、A2,1、A3,1、...、AK,1的方差：
其中，为各个样本神经信号在频带1中的幅值信息A1,1～AK,1的方差，/>为各个样本神经信号在频带1中的幅值信息A1,1～AK,1的均值。
例如针对频带2，计算各个样本神经信号的幅值信息A1,2、A2,2、A3,2、...、AK,2的方差：
/>
其中，为各个样本神经信号在频带2中的幅值信息A1,2～AK,2的方差，/>为各个样本神经信号在频带2中的幅值信息A1,2～AK,2的均值。
以此类推，针对频带L，计算各个样本神经信号的幅值信息A1,L、A2,L、A3,L、...、AK,L的方差：
其中，为各个样本神经信号在频带L中的幅值信息A1,L～AK,L的方差，/>为各个样本神经信号在频带L中的幅值信息A1,L～AK,L的均值。
基于所计算的方差，确定所述用户的响应频带；以及
具体地，方差值越大，则意味着对应的频带，不同样本神经信号的幅值差异越大。从而，方差值大的频带，可以视为用户的响应频带。具体地，可以将方差大于预定阈值的频带视为用户的响应频带。或者，可以将计算得到的方差值输入至预先设置的二分类模型(例如逻辑回归)，从而确定相应的频带是否是用户的响应频带。
基于所述用户的响应频带构建所述滤波器，其中所述滤波器用于通过与所述用户的响应频带对应的神经信号分量且滤除其他频带的神经信号分量。
从而在具体的应用过程中，可以利用该滤波器对用户采集的神经信号矩阵进行个体特异化频带滤波，得到预处理后的神经信号矩阵X{B}。
从而通过这种方式，本实施例可以将特征信息明显的频带分量从神经信号矩阵X中提取出来，从而可以更加准确地确定用户的书写想象任务。
进一步可选地，特征提取模块的第j个特征提取单元(j＝1～b)用于执行以下操作：
确定预处理后的神经信号矩阵X{B}的协方差矩阵P：
根据第j个特征提取单元的信号投影矩阵和协方差矩阵P，提取神经信号矩阵的特征：
其中xj表示第j个特征提取单元所提取的神经信号特征，M表示神经信号特征xj的特征的对数，以及diag(A)表示返回矩阵A的对角线元素并构成向量。
从而，对于从特征提取单元1～特征提取单元b的每一个特征提取单元j，都按照以上方式进行特征提取。由于对于不同的特征提取单元，信号投影矩阵Wj也不同，因此可以提取不同的神经信号特征xj。
此外，每个特征提取单元j(j＝1～b)的信号投影矩阵Wj可以按照以下操作确定：
步骤1.构建神经信号矩阵的样本集其中i＝1或2。其中/>为与第j个二分类器(即二分类器j)的一个类别对应的神经信号矩阵(n＝1～N1)；/>为与第j个二分类器(即二分类器j)的另一个类别对应的神经信号矩阵(n＝1～N2)。
以特征提取单元1为例，其对应的二分类器1的两个类别分别是C1和C2。从而，(即，/>为与类别C1对应的导电信号矩阵(即与笔画横“一”对应的神经信号矩阵)的样本集。/>(即，/>)为与类别C2对应的导电信号矩阵(即与笔画横“一”对应的神经信号矩阵)的样本集。对于其他的特征提取单元也以此类推，此处不再赘述。
步骤2.利用信号预处理模块对样本集中的神经信号矩阵进行预处理，从而生成预处理后的神经信号矩阵/>即，信号预处理模块按照如上所述的方式，根据用户的响应频带，对各个神经信号矩阵/>进行相应子带的滤波，从而得到相应的预处理后的神经信号矩阵/>即经过特异化频带滤波预处理后的信号矩阵/>
步骤3.针对预处理后获得的每一个信号矩阵计算信号矩阵/>的协方差矩阵：
步骤4.分别计算的均值/>和/>的均值/>作为二分类器j的两个不同类别的神经信号矩阵样本的协方差均值：
步骤5.构建信号间差异最大化模型并计算信号投影矩阵Wj：
从而通过以上操作，可以针对各个特征提取单元j，确定相应的信号投影矩阵Wj。
此外，进一步可选地，多个二分类器为预先训练的基于LASSO回归模型的二分类器，并且弱分类单元用于执行以下操作：利用第j个二分类器对第j个特征提取单元提取的神经信号特征xj进行二分类，确定与第j个二分类器对应的二分类信息，作为弱分类信息的一部分。
具体地，参考图13所示，二分类器1～二分类器b均为预先训练的基于LASSO回归模型的二分类器。例如对于二分类器1～二分类器b中的任意二分类器j，可以基于以下公式基于相应的神经信号特征xj进行二分类操作：
其中，zj表示与神经信号特征xj对应的标签，bj为2M×1的向量，表示与第j个分类器对应的线性拟合的映射矩阵，λj和αj为第j个二分类器的调节系数。
从而二分类器1～二分类器b可以输出各自的二分类信息Q1～Qb，从而构成弱分类信息。其中，二分类信息Qj(即Q1～Qb)例如可以是二维向量，该二维向量的元素为分别与相应二分类器的两个类别对应的参数值。
可选地，任务分类单元用于：将弱分类信息进行融合，生成融合分类信息；以及根据融合分类信息，利用softmax回归模型确定神经信号类别。
具体地，任务分类单元可以将弱分类信息Q1～Qb进行融合，例如将其进行拼接，从而生成融合分类信息x。
然后，任务分类单元根据以下基于softmax回归模型的公式，确定与神经信号矩阵X对应的神经信号类别：
其中，K表示神经信号类别的类别总数；z为当前预测的神经信号类别(其中，z＝1～K)，p(z|x)表示融合分类信息x对应的神经信号类别为类别z的概率。当p(z|x)大于预设的概率阈值p时，确定类别z为神经信号矩阵X对应的神经信号类别。即在本申请的任务分类中，仅当融合分类信息x对应的神经信号类别的概率大于阈值时，才对该神经信号进行分类，否则丢弃当前滑动时间窗下的神经信号数据。
此外公式中的Yz(z＝1～K)为先生参数，可以通过梯度下降等方法进行样本训练确定。
从而，如图15A所示，在在线系统下，本实施例采用滑动时间窗提取不同时隙下的神经信号数据，对于所提取的信号数据，利用softmax回归模型确定与神经信号数据对应的神经信号类别。
或者，参考图15B所示，任务分类单元可以将融合分类信息x输入预先训练的神经网络。
然后，任务分类单元利用softmax分类器，根据神经网络输出的信息确定与神经信号矩阵X对应的神经信号类别。其中p(z|x)表示融合分类信息x对应的神经信号类别为类别z的概率。其中概率值最大的类别，即为与神经信号数据对应的神经信号类别。
从而，本实施例在利用多个二分类器确定与神经信号相关的多个二分类结果之后，并不是直接通过投票的方式确定神经信号类别，而是将二分类结果作为弱分类信息，并进一步作为待分析特征，利用softmax回归模型或者是神经网络进行进一步的特征分析，从而能够在信号差别不明显的情况下，进行更加准确地分类。
其中本技术方案建立有“常用汉字词汇笔画库”。该“常用汉字词汇笔画库”仅包含常用汉字词，并且以不同笔画的组合对应于不同的汉字词实现，笔画组合与目标汉字词汇呈一一对应关系。尽管“常用汉字词汇笔画库”所包含的汉字数量不足，但对于日常的简单交流依旧适用。
从而，本技术方案通过状态识别模型确定是否存在自身利手的对侧手部的实际书写和想象书写动作继而确认是否切换所述用户的用户状态。首先确认用户状态，包括以下两种情况：1)当信号处理设备确认当前用户状态为空闲状态并且状态识别模型确定存在自身利手的对侧手部的书写或想象书写动作，则切换用户状态由空闲状态至任务状态，神经信号输入状态监测模型(即，第一状态监测模型或者第二状态监测模型)及轨迹拟合模型(即，第一实际书写轨迹拟合模型或第二想象书写轨迹拟合模型)，开始对用户利手书写和想象书写动作进行轨迹方向估计与轨迹拟合；以及2)当信号处理设备确认当前用户状态为空闲状态并且状态识别模型未确定存在自身利手的对侧手部的书写或想象书写动作，则保持当前用户状态为空闲状态；3)当信号处理设备确认当前用户状态为任务状态并且状态识别模型确定存在自身利手的对侧手部的书写或想象书写动作，则切换用户状态由任务状态至空闲状态，将轨迹拟合模型(即，第一实际书写轨迹拟合模型或第二想象书写轨迹拟合模型)已识别的用户书写的汉字笔画字形进行组合，在常用汉字词汇笔画库进行检索并输出对应有序笔画组合对应汉字，发送至显示设备进行显示；以及4)当信号处理设备确认当前用户状态为任务状态并且状态识别模型未确定存在自身利手的对侧手部的书写或想象书写动作，则保持当前用户状态为任务状态，神经信号输入状态监测模型(即，第一状态监测模型或者第二状态监测模型)及轨迹拟合模型(即，第一实际书写轨迹拟合模型或第二想象书写轨迹拟合模型)。
从而本技术方案可以准确确定是否开始对神经信号进行轨迹识别并拟合汉字笔画以及是否开始对识别汉字笔画进行笔画组合检索生成对应汉字，从而能够精确唤醒系统开始与停止轨迹拟合的时机。
在本技术方案中需要对连续的多个汉字笔画进行依次识别，轨迹拟合模型(即，第一实际书写轨迹拟合模型或第二想象书写轨迹拟合模型)对神经信号中包含的汉字笔画方向信息进行估计并且最终轨迹拟合形成笔画字形。书写一汉字笔画包含“落笔-书写-提笔”，连续书写多个汉字笔画中间每一汉字笔画书写完成至下一笔画书写开始中间存在断笔，轨迹拟合模型(即，第一实际书写轨迹拟合模型或第二想象书写轨迹拟合模型)需停止对神经信号进行轨迹方向估计，该特征信号与指令的准确识别与输出时机需要状态监测模型(即，第一状态监测模型或者第二状态监测模型)在连续时间段内持续对神经信号中的笔画书写中断所产生的特征信号进行准确识别。
在本技术方案中，实际上，涉及文字书写的手部运动应视为用户完成任务的策略函数，其参数数值多变，无论是神经活动还是行为学变量在统计上均呈现非平稳性。根据要求用户根据提示执行手部/手指的运动任务研究观察到，尽管执行的是连续的手和手指运动，神经响应在很大程度上表现出时相性——运动任务诱发的神经活动在时间序列上具有不同随时间变化特征。依据时间序列特征即不同的任务条件与反应时间变化形状相关关系，提取稳定的神经信号特征，即要求任务相关的神经信号特征在每一试次具有高度重复性——这对于准确解码是必要的。在这样的要求下，本技术方案提出的训练方法要求用户书写与想象书写过程以视觉引导追随虚拟光标行进从而辅助该过程，可最小化限定位置信息与速度信息之间的依赖性及非平稳性，并且能够准确判定书写与想象书写的起、止时间点，尤其在想象书写所诱导的神经信号中想象书写的书写起止时机以及明确书写多个汉字笔画书写中断特征信号尤其重要。
跟踪书写及想象书写训练中对所进行的多个汉字笔画行进轨迹及速度、对第二训练阶段中包含多种方向笔画的目标汉字进行设定。手部书写运动轨迹对应于训练方法系统的随机“刺激”，而神经活动则是刺激后的“反应”。每个刺激都来自系统所预先设定分布，该分布包含所有汉字笔画方向，可在不同的“随机”刺激中完成连续不同空间位置采集，并且相对于实验时间是平稳的。这种设计将始终有效的控制手部移动，并减少整个实验中变量之间的统计相关性。
简化的训练内容以及对用户反复训练显著增强用户书写及想象书写轨迹稳定性。
本技术方案的训练方法所获的训练数据与测试数据如果属于独立同分布，对于模型训练最为有利。因此获取训练样本时，方法设置尽可能保证数据集之间的一致性(书写一致性和神经激活的一致性)。其次，轨迹拟合模型(即，第一实际书写轨迹拟合模型或第二想象书写轨迹拟合模型)所针对的轨迹拟合，主要针对书写方向拟合，弱化对时变书写速度大小的拟合。因此，本技术方案中用户追随跟踪轨迹呈匀速行进；如果相同方向下，用变速书写获取训练素材，不同速度大小下的激活神经信号变异性更大，会加大模型训练难度。该训练方法允许将信息理论和信号处理方法严格应用于位置和时间编码的分析。
从神经心理训练角度，成人对语言文字的熟练可能由一次次/反复的学习书写过程中的手写运动信息与伴随的字形展开结构的视觉体验共同组建，涉及多重感知觉与运动整合加工的相互连接所参与构成的广泛分布式网络，支持完整手部书写汉字行为。在训练过程中复现这一过程有利于用户任务执行与书写类型之间的神经信号显著性。除正常成人外，在长期存在严重运动障碍人群中可能存在运动想象能力的受损，即无法良好参与和执行运动想象。相反，存在视觉反馈的运动想象显示患者对单关节运动想象的估计与显示呈现的关节运动轨迹匹配性良好。因此，即便在运动执行功能严重受损的患者中，运动规划依然保留，即有能力产生适当的心理意向，并规划肢体运动以及产生相关的神经活动。
本技术方案的训练方法中以视觉引导并追随虚拟光标行进轨迹辅助书写及想象书写训练，保证无论是正常还是神经功能缺损的患者都可以良好的执行心理想象任务。在该训练模式下，与直接尝试运动不同，前者给予用户在合理的速度中进行心理模拟运动并减少疲劳感。在训练阶段首先从单一汉字笔画书写至根据目标汉字依据汉字书写的笔顺规则，在视觉引导辅助下执行跟随书写多个汉字笔画，层层递进的训练过程，接近成人自然书写文字的完整过程。汉字的书写笔顺规则及在空白田字格中的笔画书写要求在成人汉语母语者受教育年限的增加而逐渐熟悉掌握并形成文字书写的长期记忆。在运动系统受损的中枢神经系统疾病患者及受教育成人中该认知活动保留。因此，本技术方案的训练方法认为是诱导书写与想象书写神经活动解码书写轨迹的可用框架。
人类大脑半球在处理不同功能加工上展现偏侧优势，左侧肢体的运动行为涉及右侧大脑运动皮层神经活动的显著活跃，反之亦然。状态识别模型提取特征神经信号在大脑空间分布上与用户利手执行书写与想象书写所激活大脑空间分布存在显著区别，有益于模型准确、快速识别不同任务需求。
综上，图16是根据本申请实施例1所述的基于汉字笔画实际书写的轨迹拟合方法的流程图。参考图16所示，本技术方案对于实际书写的顺序步骤流程如下：
(一)第一阶段训练初始模型：
(1)用户跟随屏幕利手实际书写单个笔画，信号采集设备采集用户的第一神经信号；
(2)用户根据屏幕利手实际书写目标汉字，信号采集设备采集用户的第二神经信号；
(3)信号处理设备根据第一神经信号和第二神经信号训练得到初始的第一实际书写轨迹拟合模型，同时根据第一神经信号和第二神经信号训练得到初始的第一状态监测模型。
(二)第二阶段优化模型：
(1)用户利手实际自主书写单个笔画，信号采集设备采集用户的神经信号；
(2)信号处理设备根据采集的神经信号对初始的第一实际书写轨迹拟合模型训练，得到优化后的第一实际书写轨迹拟合模型；
(3)用户利手实际自主书写目标汉字，信号采集设备采集用户的神经信号；
(4)信号处理设备根据采集的神经信号对初始的第一状态监测模型和优化后的实际书写轨迹拟合模型一同再进行训练，得到进一步优化后的第一实际书写轨迹拟合模型和优化后的第一状态监测模型；
(5)用户利手实际自主书写单个笔画，信号采集设备采集用户的神经信号；
(6)信号处理设备将用户的神经信号输入进一步优化后的第一实际书写轨迹拟合模型，信号处理设备判断进一步优化后的第一实际书写轨迹拟合模型输出的结果判断是否准确；
(7)当准确率小于70％，则返回步骤：“(一)第一阶段训练初始模型”。从而重新训练，得到初始的第一实际书写轨迹拟合模型；
(8)当准确率大于或者等于70％，则用户利手实际自主书写目标汉字，信号采集设备采集用户的神经信号；
(9)信号处理设备将用户的神经信号输入进一步优化后的第一实际书写轨迹拟合模型和优化后的第一状态监测模型，信号处理设备判断进一步优化后的第一实际书写轨迹拟合模型和优化后的第一状态监测模型输出的结果判断是否准确；
(10)当准确率小于70％，则返回步骤：“(一)第一阶段训练初始模型”。从而重新训练，得到初始的第一实际书写轨迹拟合模型和第一状态监测模型；
(8)当准确率大于或者等于70％，则将进一步优化后的第一实际书写轨迹拟合模型和优化后的第一状态监测模型构成最终的第一实际书写轨迹拟合模型，其中最终的第一实际书写轨迹拟合模型用于自主书写在线解码。
(三)第三阶段状态识别模型：
(1)当用户利手的对侧手尝试运动(书写/想象书写)，信号采集设备采集用户的第五神经信号；
(2)状态识别模型根据第五神经信号明确用户的需求状态为切换状态，从而将空闲状态切换为任务状态，或者从任务状态切换至空闲状态；
(3)当用户利手的对侧手无动作/保持静止，信号采集设备采集用户的第五神经信号；
(4)状态识别模型根据第五神经信号明确用户的需求状态为非切换/保持当前状态，其中当前状态为空闲状态或者任务状态。
(四)第四阶段自主书写在线解码：
(1)当前状态为任务状态时，最终的第一实际书写轨迹拟合模型对第五神经信号进行自主在线解码，从而输出对应的汉字笔画。
进一步地，参考图16所示，本技术方案对于想象书写的顺序步骤流程如下：
(一)第一阶段训练初始模型：
(1)用户跟随屏幕想象(利手)书写单个笔画，信号采集设备采集用户的第三神经信号；
(2)用户根据屏幕想象(利手)书写目标汉字，信号采集设备采集用户的第四神经信号；
(3)信号处理设备根据第三神经信号和第四神经信号训练得到初始的第二想象书写轨迹拟合模型，同时根据第三神经信号和第四神经信号训练得到初始的第二状态监测模型。
(二)第二阶段优化模型：
(1)用户自主想象(利手)书写单个笔画，信号采集设备采集用户的神经信号；
(2)信号处理设备根据采集的神经信号对初始的第二想象书写轨迹拟合模型训练，得到优化后的第二想象书写轨迹拟合模型；
(3)用户自主想象(利手)书写目标汉字，信号采集设备采集用户的神经信号；
(4)信号处理设备根据采集的神经信号对初始的第二状态监测模型和优化后的第二想象书写轨迹拟合模型进行训练，得到进一步优化后的第二想象书写轨迹拟合模型和优化后的第二状态监测模型；
(5)用户自主想象(利手)书写单个笔画，信号采集设备采集用户的神经信号；
(6)信号处理设备将用户的神经信号输入进一步优化后的第二想象书写轨迹拟合模型，信号处理设备判断进一步优化后的第二想象书写轨迹拟合模型输出的结果判断是否准确；
(7)当准确率小于70％，则返回步骤：“(一)第一阶段训练初始模型”。从而重新训练，得到初始的第二想象书写轨迹拟合模型；
(8)当准确率大于或者等于70％，则用户自主想象(利手)书写目标汉字，信号采集设备采集用户的神经信号；
(9)信号处理设备将用户的神经信号输入进一步优化后的第二想象书写轨迹拟合模型和优化后的第二状态监测模型，信号处理设备判断进一步优化后的第二想象书写轨迹拟合模型和优化后的第二状态监测模型输出的结果判断是否准确；
(10)当准确率小于70％，则返回步骤：“(一)第一阶段训练初始模型”。从而重新训练，得到初始的第二想象书写轨迹拟合模型和第二状态监测模型；
(8)当准确率大于或者等于70％，则将进一步优化后的第二想象书写轨迹拟合模型和优化后的第二状态监测模型构成最终的第二想象书写轨迹拟合模型，其中最终的第二想象书写轨迹拟合模型用于自主书写在线解码。
(三)第三阶段状态识别模型：
(1)当用户想象利手的对侧手运动(书写/想象书写)，信号采集设备采集用户的第六神经信号；
(2)状态识别模型根据第六神经信号明确用户的需求状态为切换状态，从而将空闲状态切换为任务状态，或者从任务状态切换至空闲状态；
(3)当用户想象利手的对侧手无动作/保持静止，信号采集设备采集用户的第六神经信号；
(4)状态识别模型根据第六神经信号明确用户的需求状态为非切换/保持当前状态，其中当前状态为空闲状态或者任务状态。
(四)第四阶段自主书写在线解码：
(1)当前状态为任务状态时，最终的第二想象书写轨迹拟合模型对第六神经信号进行自主在线解码，从而输出对应的汉字笔画。
从而根据本实施例，以原始手部自然书写及书写想象形成的带有个体手部书写特征的字形轨迹诱导神经信号特征，对简单一笔的简明方向书写轨迹线条进行连续轨迹拟合，结合汉字笔顺规则及多个一笔的汉字笔画构成有序地笔画组合形成完整汉字的组合衍生多样性优势构建脑机接口系统。
并且预先设定书写汉字笔画的笔画行进轨迹，根据预设速度显示笔画行进轨迹，笔画行进轨迹为带有成人手部书写特征的笔画线条样式而不是标准印刷字体形式的字形轨迹，并获取用户执行与书写汉字笔画的笔画行进轨迹同步的实际书写或想象书写所产生的神经信号，所述预先设定书写汉字笔画的笔画行进轨迹是通过预先采集成年人手部自然书写一笔的汉字笔画的连续过程并建立不同汉字笔画类型所对应的书写模版完成。所述汉字笔画为单一的一笔连贯过程，中间无断笔。相比于视觉识别印刷体的字符，如印刷体字母，功能影像研究观察到手写的字母的连续运动形式对于大脑左侧中部运动前皮层的激活更强。用户视觉跟随虚拟光标辅助完成对一笔的汉字笔画的书写想象是一种对既有的过往学习到的笔画手部书写的调整更新学习、观察并模仿、记忆简单手写笔画在空白田字格中的书写过程，书写想象不产生书写动作因此失去手部书写所形成痕迹的视觉反馈，显示设备呈现虚拟光标移动过程对用户执行汉字书写想象构成完整的镜像反馈，如同经历一次观看自身所书写运动轨迹的动态展开过程。以一笔的汉字笔画手写字符形式，即包含个体手部书写的特征标签形式进行辅助书写想象相较于无辅助模式进行书写想象以及标准印刷格式进行辅助想象，分别可提高分类识别模型分类识别神经信号的准确率30％及20％。此外，也能进一步减少用户在这一书写想象过程中的疲劳感。
并且用户视觉跟随显示设备中显示的虚拟光标移动，从而进行汉字笔画的实际书写。在用户实际书写过程中，信号采集设备采集第一神经信号。用户视觉跟随显示设备中显示的虚拟光标移动，从而进行汉字笔画的想象书写。在用户想象书写过程中，信号采集设备采集第三神经信号。用户通过实际书写和想象书写汉字笔画，对自身进行训练，由于书写汉字笔画是汉语母语人群受教育初始所学习的内容，能够在训练后熟练掌握虚拟光标的移动速度和方向，形成对不同汉字笔画类型的书写习惯。进而用户可以容易地根据汉字笔画的书写习惯，根据所提示目标汉字的书写笔顺规则完成跟随虚拟光标移动的多个汉字笔画的书写，生成第二神经信号和第四神经信号。据此，可以减小对实际书写同一汉字笔画类型下、不同试次生成的第一神经信号之间的差别以及对想象书写同一汉字笔画类型下、不同试次生成的第三神经信号之间的差别。进一步地，以生成目标汉字为目的，可以减小为构成目标汉字根据汉字书写笔顺规则用户进行连续依次书写生成的包含多个汉字笔画的第二神经信号与其所包含多个汉字笔画各自对应的独立第一神经信号的差别，以及可以减小为构成目标汉字根据汉字书写笔顺规则用户进行连续依次想象书写生成的包含多个汉字笔画的第四神经信号与其所包含多个汉字笔画各自对应的独立第三神经信号的差别。从而快速根据神经信号训练轨迹拟合模型(即，第一实际书写轨迹拟合模型或第二想象书写轨迹拟合模型)，避免因训练样本质量差而造成的训练完毕的轨迹拟合模型(即，第一实际书写轨迹拟合模型或第二想象书写轨迹拟合模型)效果不佳的问题。
并且，通过跟随虚拟光标的移动完成与之同步的多个汉字笔画的实际书写所获得的第二神经信号，包含连续依次书写多个汉字笔画之间的断笔过程，由于是跟随虚拟光标移动进行与之时间同步的书写训练模式，因此能够在所获得的第二神经信号中对书写中断准确时机进行标记，从而能够通过第二训练阶段获得初始的书写中断特征信号以构建轨迹拟合模型(即，第一实际书写轨迹拟合模型或第二想象书写轨迹拟合模型)的状态监测模型(即，第一状态监测模型或者第二状态监测模型)。同理，通过跟随虚拟光标的移动完成与之同步的多个汉字笔画的想象书写所获得的第四神经信号，包含连续依次想象书写多个汉字笔画之间的断笔过程，由于是跟随虚拟光标移动进行与之时间同步的想象书写训练模式，因此能够在所获得的第四神经信号中对书写中断准确时机进行标记，从而能够通过第二训练阶段获得初始的书写中断特征信号以构建轨迹拟合模型(即，第一实际书写轨迹拟合模型或第二想象书写轨迹拟合模型)的状态监测模型(即，第一状态监测模型或者第二状态监测模型)。汉字作为象形文字在二维平面上通过笔画组成部首并形成独立完整地方块型结构，汉字具有复杂的空间构型，但汉字笔画的方向信息明确，且对组成汉字具有一一对应的熟记的书写笔顺规则要求，例如书写汉字“木”的笔顺规则为“横-竖-撇-捺”而不是“竖-撇-横-捺”。根据第二训练阶段及视觉跟随辅助书写与想象书写训练构建书写中断的状态监测模型(即，第一状态监测模型或者第二状态监测模型)，利用构成汉字的汉字笔画有序性能够快速组成一一对应的常用汉字进行汉文字通讯。
并且用户自主想象书写汉字笔画时，与现有技术相比，本技术方案无需在多个字符中选择需要的字符，从而组装生成汉字，避免了需要长时间和被动的专注于接收选择的字符而产生疲劳感和低效。从而本技术方案依对目标汉字进行构型笔画单元拆解及有序性组合特点，通过实际书写与想象书写对汉字笔画轨迹方向信息进行大量且稳定的神经信号获取与模型训练优化，对实际书写和想象书写的汉字笔画进行轨迹方向拟合并可重构、再现轨迹字形，以及仅仅根据汉字笔画的次序组合即可快速生成汉字，从而提高了与他人沟通的效率。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
图17示出了根据本实施例所述的基于汉字笔画的轨迹拟合模型训练装置1700，该装置1700与根据实施例1的第一个方面所述的方法相对应。参考图17所示，该装置1700包括：第一获取模块1701，用于预先设定书写汉字笔画的笔画行进轨迹，根据预设速度显示笔画行进轨迹，并获取用户执行与书写汉字笔画的笔画行进轨迹同步的实际书写所产生的第一神经信号；第一组合模块1702，用于预先设定目标汉字，并且依照汉字书写的笔顺规则形成目标汉字所对应的包含多个汉字笔画的有序组合；第一显示模块1703，用于根据有序组合中的笔画书写次序和根据预设速度连续地、依次显示每一汉字笔画的笔画行进轨迹，笔画行进轨迹为带有成人手部书写特征的笔画线条样式而不是标准印刷字体形式的字形轨迹，字形轨迹为单一的一笔连贯过程，中间无断笔；第二获取模块1704，用于在用户根据目标汉字进行构型拆解形成有序笔画单元之后，获取用户连续的、依次实际书写目标汉字对应的有序组合中的每一个汉字笔画所产生的第二神经信号，其中用户是执行与书写每一汉字笔画的笔画行进轨迹同步的实际手部书写；第一创建模块1705，用于创建用于对用户实际手部书写汉字笔画时的神经信号进行识别的第一实际书写轨迹拟合模型，并利用第一神经信号和第二神经信号对第一实际书写轨迹拟合模型进行训练；第三获取模块1706，用于预先设定书写汉字笔画的笔画行进轨迹，根据预设速度显示笔画行进轨迹，并获取用户执行与书写汉字笔画的笔画行进轨迹同步的想象手部书写所产生的第三神经信号；第二组合模块1707，用于预先设定目标汉字，并依汉字书写的笔顺规则形成目标汉字所对应的包含多个汉字笔画的有序组合；第二显示模块1708，用于根据有序组合中的笔画书写次序和根据预设速度连续的、依次显示每一汉字笔画的行进轨迹，笔画行进轨迹为带有成人手部书写特征的笔画线条样式而不是标准印刷字体形式的字形轨迹，字形轨迹为单一的一笔连贯过程，中间无断笔；第四获取模块1709，用于用户根据目标汉字进行构型拆解形成有序笔画单元之后，获取用户连续的、依次想象书写目标汉字对应的有序组合中的每一个汉字笔画所产生的第四神经信号，其中用户是执行与书写每一汉字笔画的笔画行进轨迹同步的想象手部书写；以及第二创建模块1710，用于创建用于对用户想象书写汉字笔画时的神经信号进行识别的第二想象书写轨迹拟合模型，并利用第三神经信号和第四神经信号对第二想象书写轨迹拟合模型进行训练。
可选地，第一获取模块1701，包括：第一提示子模块，用于提示用户通过视觉追随屏幕中移动的虚拟光标，其中虚拟光标移动形成的完整行进轨迹为一笔的汉字笔画，笔画行进轨迹为带有成人手部书写特征的笔画线条样式而不是标准印刷字体形式的字形轨迹，字形轨迹为单一的一笔连贯过程，中间无断笔，并同时提示用户通过实际书写方式，在电子手写板上追随虚拟光标执行与虚拟光标同步的书写，其中虚拟光标移动及实际书写轨迹过程为恒定的匀速书写；以及第一获取子模块，用于在用户实际书写的过程中，获取用户的第一神经信号，并且
第二获取模块1704，包括：第二提示子模块，用于在屏幕显示目标汉字，目标汉字提示2秒，随后于屏幕消失，提示用户根据目标汉字的书写笔顺规则连续地、依次完成目标汉字所对应的包含多个一笔的汉字笔画的有序组合中的每一汉字笔画的实际书写；以及第三提示子模块，用于提示用户通过视觉追随屏幕中移动的虚拟光标完成每一汉字笔画实际书写，其中虚拟光标移动形成的完整行进轨迹为一个汉字笔画，并同时提示用户通过实际书写方式，在电子手写板上追随虚拟光标执行与虚拟光标同步的书写，其中虚拟光标移动及实际书写轨迹过程为恒定的匀速书写；以及第二获取子模块，用于在用户连续实际书写多个汉字笔画以组成目标汉字过程中，获取用户的第二神经信号，并且
第三获取模块1706，包括：第四提示子模块，用于提示用户通过视觉追随屏幕中移动的虚拟光标，其中虚拟光标移动形成的完整行进轨迹为一笔的汉字笔画，笔画行进轨迹为带有成人手部书写特征的笔画线条样式而不是标准印刷字体形式的字形轨迹，字形轨迹为单一的一笔连贯过程，中间无断笔，并同时提示用户通过想象书写方式，手部不产生实际书写移动，追随虚拟光标想象执行与虚拟光标同步的书写并形成与虚拟光标移动相一致的轨迹，其中虚拟光标移动及想象的书写轨迹过程为恒定的匀速想象书写；以及第三获取子模块，用于在用户想象书写的过程中，获取用户的第三神经信号，并且
第四获取模块1709，包括：第五提示子模块，用于在屏幕显示目标汉字，目标汉字提示2秒，随后于屏幕消失，提示用户根据目标汉字的书写笔顺规则连续的、依次完成目标汉字所对应的包含多个一笔的汉字笔画的有序组合中的每一汉字笔画的想象书写；以及第六提示子模块，用于提示用户通过视觉追随屏幕中移动的虚拟光标完成每一汉字笔画想象书写，其中虚拟光标移动形成的完整行进轨迹为一个汉字笔画，并同时提示用户通过想象书写方式，手部不产生实际书写移动，追随虚拟光标想象执行与虚拟光标同步的书写并形成与虚拟光标移动相一致的轨迹，其中虚拟光标移动及想象的书写轨迹过程为恒定的匀速想象书写；以及第四获取子模块，用于在用户连续想象书写多个汉字笔画以组成目标汉字过程中，获取用户的第四神经信号。
可选地，第一创建模块1705，包括：第一训练子模块，用于在第一训练阶段，利用第一神经信号构建第一样本集，并利用第一样本集对第一实际书写轨迹拟合模型进行训练；第二训练子模块，用于在第二训练阶段，利用第二神经信号构建第二样本集，并利用第一样本集和第二样本集对第一实际书写轨迹拟合模型进行再训练；以及第一构建子模块，用于第二神经信号为通过用户连续实际书写多个一笔的汉字笔画以组成目标汉字的过程中获取的，用户执行的是连续地、依次有序实际书写多个汉字笔画中的每一笔画，获取用户跟随虚拟光标移动执行当前汉字笔画实际书写结束至用户跟随下一虚拟光标执行下一汉字笔画实际书写开始前的时间段内的书写中断的非书写神经信号，利用非书写神经信号形成第一实际书写轨迹拟合的第一状态监测模型，其中第一状态监测模型是利用非书写神经信号确定是否对实际书写期间的书写状态神经信号进行轨迹拟合。
可选地，第二创建模块1710，包括：第三训练子模块，用于在第三训练阶段，利用第三神经信号构建第三样本集，并利用第三样本集对第二想象书写轨迹拟合模型进行训练；第四训练子模块，用于在第四训练阶段，利用第四神经信号构建第四样本集，并利用第三样本集和第四样本集对第二想象书写轨迹拟合模型进行再训练；以及第二构建子模块，用于第四神经信号为通过用户连续想象书写多个一笔的汉字笔画以组成目标汉字的过程中获取的，用户执行的是连续的、依次有序想象书写多个汉字笔画中的每一笔画，获取第四神经信号包含用户跟随虚拟光标移动执行当前汉字笔画想象书写结束至用户跟随下一虚拟光标执行下一汉字笔画想象书写开始前的时间段内的想象书写中断的非书写神经信号，利用非书写神经信号形成第二想象书写轨迹拟合的第二状态监测模型，其中第二状态监测模型是利用非书写神经信号确定是否对想象书写期间的书写状态神经信号进行轨迹拟合。
装置1700还包括：第一提示模块，用于实际书写第一测试阶段，在屏幕显示汉字笔画，汉字笔画提示2秒，随后于屏幕消失，提示用户开始自主实际书写，其中自主实际书写是指用户无需视觉追随任何移动目标进行与之同步的书写；第五获取模块，用于在用户根据汉字笔画提示进行对应的自主实际书写的过程中，获取用户的神经信号作为第一实际书写测试集；第一训练模块，用于利用第一实际书写轨迹拟合模型对第一实际书写测试集进行信号识别并显示轨迹识别结果，在与第一实际书写测试集对应的轨迹识别结果准确率小于第一预设阈值的情况下，对第一实际书写轨迹拟合模型重新进行训练；第二训练模块，用于在与第一实际书写测试集对应的轨迹识别结果的准确率大于或者等于第一预设阈值的情况下，进入实际书写第二测试阶段，在屏幕显示目标汉字，目标汉字提示2秒，随后于屏幕消失，提示用户开始自主依汉字书写的笔顺规则进行连续的、依次实际书写多个汉字笔画以组成目标汉字；第六获取模块，用于在实际书写第二测试阶段，在用户根据目标汉字提示进行对应的自主实际书写的过程中，获取用户的神经信号作为第二实际书写测试集；以及第三训练模块，用于利用第一实际书写轨迹拟合模型和第一实际书写轨迹拟合的第一状态监测模型对第二实际书写测试集进行信号识别，第一状态监测模型将对第二实际书写测试集中连续的、依次书写多个汉字笔画之间的书写中断的非书写神经状态进行信号识别，第一实际书写轨迹拟合模型将在第一状态监测模型识别当前神经信号为书写状态下的时间段内的神经信号进行信号识别并显示汉字笔画的轨迹识别结果，在与第二实际书写测试集对应的轨迹识别结果准确率小于第二预设阈值的情况下，对第一实际书写轨迹拟合模型重新进行训练。
装置1700还包括：第二提示模块，用于想象书写第一测试阶段，在屏幕显示汉字笔画，汉字笔画提示2秒，随后于屏幕消失，提示用户开始自主想象书写，其中自主想象书写是指用户无需视觉追随任何移动目标进行与之同步的想象书写；第七获取模块，用于在用户根据汉字笔画提示进行对应的自主想象书写的过程中，获取用户的神经信号作为第一想象书写测试集；第四训练模块，用于利用第二想象书写轨迹拟合模型对第一想象书写测试集进行信号识别并显示轨迹识别结果，在与第一想象书写测试集对应的轨迹识别结果准确率小于第三预设阈值的情况下，对第二想象书写轨迹拟合模型重新进行训练；第三提示模块，用于在与第二想象书写测试集的对应的轨迹识别结果的准确率大于或者等于第三预设阈值的情况下，进入想象书写第二测试阶段，在屏幕显示目标汉字，目标汉字提示2秒，随后于屏幕消失，提示用户开始自主依汉字书写的笔顺规则进行连续的、依次想象书写多个汉字笔画以组成目标汉字；第八获取模块，用于在想象书写第二测试阶段，在用户根据目标汉字提示进行对应的自主想象书写的过程中，获取用户的神经信号作为第二想象书写测试集；以及第五训练模块，用于利用第二想象书写轨迹拟合模型和第二想象书写轨迹拟合的第二状态监测模型对第二想象书写测试集进行信号识别，第二状态监测模型将对第二想象书写测试集中连续的、依次想象书写多个汉字笔画之间的书写中断的非书写神经状态进行信号识别，第二想象书写轨迹拟合模型将在第二状态监测模型识别当前神经信号为书写状态下的时间段内的神经信号进行信号识别并显示多个汉字笔画的轨迹识别结果，在与第二想象书写测试集对应的轨迹识别结果准确率小于第四预设阈值的情况下，对第二想象书写轨迹拟合模型重新进行训练。
装置1700还包括：第一优化模块，用于在与第二实际书写测试集的对应的轨迹识别结果的准确率大于或者等于第二预设阈值的情况下，完成对第一实际书写模型优化，其中第一实际书写模型包括第一实际书写轨迹拟合模型和第一状态监测模型，在用户根据自主书写意图进行连续时间段内多个汉字笔画实际书写以组成符合自主书写意图的汉字的过程中，获取用户执行汉字笔画实际书写过程中的第五神经信号，通过已优化的第一实际书写模型进行信号识别，得到相应的多个汉字笔画书写轨迹再现；以及第三组合模块，用于根据笔画组合规律将多个汉字笔画组合为自主书写意图汉字，其中
装置1700还包括：第一确定模块，用于对第五神经信号进行处理，并确定与第五神经信号对应的神经信号类别，其中
第一确定模块，包括：第一预处理子模块，用于对所采集的第五神经信号进行预处理；第一生成子模块，用于对预处理后的第五神经信号进行特征提取，生成相应的神经信号特征；以及第一确定子模块，用于根据神经信号特征确定相应的神经信号类别，其中
第一确定子模块，包括：第一确定单元，用于根据神经信号特征确定与神经信号类别相关的弱分类信息；以及第二确定单元，用于根据弱分类信息确定神经信号类别，其中第五神经信号为采用滑动窗所提取的相应时隙的神经信号，其中神经信号类别与汉字书写相关的汉字实际书写任务对应，并且其中汉字实际书写任务包括针对汉字笔画的汉字实际书写，其中第一确定单元，包括：通过多个二分类器根据神经信号特征确定与神经信号类别相关的弱分类信息，其中二分类器的类别对应于不同的神经信号类别，并且
第一生成子模块，包括：第一提取单元，用于针对不同的二分类器，分别提取相应的特征，生成相应的神经信号特征并传输至相应的二分类器；以及第三确定单元，用于多个二分类器根据所接收的神经信号特征，基于一对一分类法，确定与第五神经信号对应的弱分类信息，并且其中
第一预处理子模块，包括：第一滤波单元，用于对于采集到的第五神经信号的神经信号矩阵利用与用户的响应频带匹配的滤波器，进行个体特异化频带滤波，得到预处理后的神经信号矩阵X{B}，其中C和T为神经信号矩阵的维度，并且其中，滤波器通过以下操作构建：获取用户的与不同的汉字实际书写任务对应的样本神经信号矩阵X'1～X'K；分别生成与各个样本神经信号矩阵X'1～X'K对应的频谱信息；根据频谱信息，针对预先设定的各个频带，确定各个样本神经信号与每个频带对应幅值信息；针对每个频带，计算各个样本神经信号的幅值信息的方差；基于所计算的方差，确定用户的响应频带；以及基于用户的响应频带构建滤波器，其中滤波器用于通过与用户的响应频带对应的神经信号且滤除其他频带的神经信号，并且针对不同的二分类器，分别提取相应的特征的操作，包括，通过第j个特征提取单元执行以下操作：确定预处理后的神经信号矩阵X{B}的协方差矩阵P：
根据第j个特征提取单元的信号投影矩阵和协方差矩阵P，提取神经信号矩阵的特征：
其中xj表示第j个特征提取单元所提取的神经信号特征，M表示神经信号特征xj的特征的对数，以及diag(A)表示返回矩阵A的对角线元素并构成向量，并且多个二分类器为预先训练的基于LASSO回归模型的二分类器，并且确定与神经信号类别相关的弱分类信息的操作，包括：利用第j个二分类器对第j个特征提取单元提取的神经信号特征xj进行二分类，确定与第j个二分类器对应的二分类信息，作为弱分类信息的一部分，并且其中根据弱分类信息确定神经信号类别的操作，包括：将弱分类信息进行融合，生成融合分类信息；以及根据融合分类信息，利用softmax回归模型确定神经信号类别。
装置1700还包括：第二优化模块，用于在与第二想象书写测试集的对应的轨迹识别结果的准确率大于或者等于第四预设阈值的情况下，完成对第二想象书写模型优化，其中第二想象书写模型包括第二想象书写轨迹拟合模型和第二状态监测模型，在用户根据自主书写意图进行连续时间段内多个汉字笔画想象书写以组成符合自主书写意图的汉字的过程中，获取用户执行汉字笔画想象书写过程中的第六神经信号，通过已优化的第二想象书写模型进行信号识别，得到相应的多个汉字笔画想象书写轨迹再现；以及第四组合模块，用于根据笔画组合规律将多个汉字笔画组合为自主书写意图汉字，其中
装置1700还包括：第二确定模块，用于对第六神经信号进行处理，并确定与第六神经信号对应的神经信号类别，其中
第二确定模块，包括：第二预处理子模块，用于对所采集的第六神经信号进行预处理；第二生成子模块，用于对预处理后的第六神经信号进行特征提取，生成相应的神经信号特征；以及第二确定子模块，用于根据神经信号特征确定相应的神经信号类别，其中
第二确定子模块，包括：第四确定单元，用于根据神经信号特征确定与神经信号类别相关的弱分类信息；以及第五确定单元，用于根据弱分类信息确定神经信号类别，其中第六神经信号为采用滑动窗所提取的相应时隙的神经信号，其中神经信号类别与汉字书写相关的汉字想象书写任务对应，并且其中汉字想象书写任务包括针对汉字笔画的汉字想象书写，其中第四确定单元，包括：通过多个二分类器根据神经信号特征确定与神经信号类别相关的弱分类信息，其中二分类器的类别对应于不同的神经信号类别，并且
第二生成子模块，包括：第二提取单元，用于针对不同的二分类器，分别提取相应的特征，生成相应的神经信号特征并传输至相应的二分类器；以及第六确定单元，用于多个二分类器根据所接收的神经信号特征，基于一对一分类法，确定与第六神经信号对应的弱分类信息，并且其中第二预处理子模块，包括：第二滤波单元，用于对于采集到的第六神经信号的神经信号矩阵利用与用户的响应频带匹配的滤波器，进行个体特异化频带滤波，得到预处理后的神经信号矩阵X{B}，其中C和T为神经信号矩阵的维度，并且其中，滤波器通过以下操作构建：获取用户的与不同的汉字书写想象任务对应的样本神经信号矩阵X'1～X'K；分别生成与各个样本神经信号矩阵X'1～X'K对应的频谱信息；根据频谱信息，针对预先设定的各个频带，确定各个样本神经信号与每个频带对应幅值信息；针对每个频带，计算各个样本神经信号的幅值信息的方差；基于所计算的方差，确定用户的响应频带；以及基于用户的响应频带构建滤波器，其中滤波器用于通过与用户的响应频带对应的神经信号且滤除其他频带的神经信号，并且针对不同的二分类器，分别提取相应的特征的操作，包括，通过第j个特征提取单元执行以下操作：确定预处理后的神经信号矩阵X{B}的协方差矩阵P：
根据第j个特征提取单元的信号投影矩阵和协方差矩阵P，提取神经信号矩阵的特征：
其中xj表示第j个特征提取单元所提取的神经信号特征，M表示神经信号特征xj的特征的对数，以及diag(A)表示返回矩阵A的对角线元素并构成向量，并且多个二分类器为预先训练的基于LASSO回归模型的二分类器，并且确定与神经信号类别相关的弱分类信息的操作，包括：利用第j个二分类器对第j个特征提取单元提取的神经信号特征xj进行二分类，确定与第j个二分类器对应的二分类信息，作为弱分类信息的一部分，并且其中根据弱分类信息确定神经信号类别的操作，包括：将弱分类信息进行融合，生成融合分类信息；以及根据融合分类信息，利用softmax回归模型确定神经信号类别。
装置1700还包括：第一识别模块，用于通过状态识别模型对与用户的手部运动对应的神经信号进行识别；第二识别模块，用于当状态识别模型对用户利手的对侧手部为运动状态进行信号识别，其中状态识别模型为二分类模型，用于确定是否存在用户利手的对侧手部为运动；以及第三识别模块，用于当识别结果为无运动，则保持当前状态，当识别结果为存在对侧手部运动则切换状态，其中在当前状态为空闲状态的情形下切换为任务状态，或当前状态为任务状态的情形下切换为空闲状态，并且其中用户状态为任务状态情形下，通过优化后的第一实际书写模型开始识别第五神经信号，以及通过优化后的第二想象书写模型模型开始识别第六神经信号，并且
装置1700还包括：第一采集模块，用于在用户根据屏幕提示开始进行自身利手的对侧手部的实际书写的过程中，采集用户产生实际书写动作期间的神经信号；以及第六训练模块，用于将用户实际书写动作期间的神经信号作为训练样本，对状态识别模型进行训练，其中状态识别模型用于确定是否存在自身利手的对侧手部的书写动作并相应的切换用户的用户状态，并且
装置1700还包括：第二采集模块，用于在用户根据屏幕提示开始进行自身利手的对侧手部的想象书写的情况下，采集用户产生想象书写动作期间的神经信号；以及第七训练模块，将用户想象书写动作期间的神经信号作为训练样本，对状态识别模型进行训练，其中状态识别模型用于确定是否存在自身利手的对侧手部的想象书写动作并相应的切换用户的用户状态。
从而根据本实施例，以原始手部自然书写及书写想象形成的带有个体手部书写特征的字形轨迹诱导神经信号特征，对简单一笔的简明方向书写轨迹线条进行连续轨迹拟合，结合汉字笔顺规则及多个一笔的汉字笔画构成有序地笔画组合形成完整汉字的组合衍生多样性优势构建脑机接口系统。
并且预先设定书写汉字笔画的笔画行进轨迹，根据预设速度显示笔画行进轨迹，笔画行进轨迹为带有成人手部书写特征的笔画线条样式而不是标准印刷字体形式的字形轨迹，并获取用户执行与书写汉字笔画的笔画行进轨迹同步的实际书写或想象书写所产生的神经信号，所述预先设定书写汉字笔画的笔画行进轨迹是通过预先采集成年人手部自然书写一笔的汉字笔画的连续过程并建立不同汉字笔画类型所对应的书写模版完成。所述汉字笔画为单一的一笔连贯过程，中间无断笔。相比于视觉识别印刷体的字符，如印刷体字母，功能影像研究观察到手写的字母的连续运动形式对于大脑左侧中部运动前皮层的激活更强。用户视觉跟随虚拟光标辅助完成对一笔的汉字笔画的书写想象是一种对既有的过往学习到的笔画手部书写的调整更新学习、观察并模仿、记忆简单手写笔画在空白田字格中的书写过程，书写想象不产生书写动作因此失去手部书写所形成痕迹的视觉反馈，显示设备呈现虚拟光标移动过程对用户执行汉字书写想象构成完整的镜像反馈，如同经历一次观看自身所书写运动轨迹的动态展开过程。以一笔的汉字笔画手写字符形式，即包含个体手部书写的特征标签形式进行辅助书写想象相较于无辅助模式进行书写想象以及标准印刷格式进行辅助想象，分别可提高分类识别模型分类识别神经信号的准确率30％及20％。此外，也能进一步减少用户在这一书写想象过程中的疲劳感。
并且用户通过视觉跟随虚拟光标进行与之同步的实际书写和想象书写单一汉字笔画及根据目标汉字的拆解笔画顺序进行多个汉字笔画的连续书写和想象书写，对自身进行训练，从而熟悉每一汉字笔画类型下的虚拟光标随时间的移动方向，形成自身的书写习惯。据此，可以减小对同一汉字笔画类型下、不同试次生成的第一神经信号之间的差别。进一步地，以生成目标汉字为目的，可以减小为构成目标汉字根据汉字书写笔顺规则用户进行连续依次书写生成的包含多个汉字笔画的第二神经信号与其所包含多个汉字笔画各自对应的独立第一神经信号的差别。例如，可以减小书写目标汉字“十”(即首先书写汉字笔画横—“一”，接下来书写汉字笔画竖—“丨”)所生成的包含有实际书写汉字笔画横和汉字笔画竖的第二神经信号，可以减少第二神经信号前一汉字笔画横书写时间段内生成的第二神经信号部分与用户书写的汉字笔画横(即“一”)生成的第一神经信号的信号差异，可以减少第二神经信号后一汉字笔画竖书写时间段内生成的第二神经信号部分与用户书写汉字笔画竖(即“丨”)生成的第一神经信号的信号差异。第三神经信号与第四神经信号同理。从而形成稳定的汉字笔画实际书写和想象书写轨迹训练集用于轨迹拟合模型，避免因训练样本质量差而造成的训练完毕的轨迹拟合模型效果不佳的问题。进而用户可以容易地根据汉字笔画的书写习惯和针对目标汉字习得熟记的汉字书写笔顺规则，自主书写和想象书写多个汉字笔画以构成目标汉字，生成相应的第五神经信号和第六神经信号。
并且用户自主书写和想象书写汉字笔画时，与现有技术相比，本技术方案无需在多个字符中选择需要的字符，从而组装生成汉字。汉字的视觉形式与汉字书写笔顺规则是汉语母语者从小学习熟记的长期记忆内容，通过手部直接书写和想象书写汉字笔画构成，避免了需要长时间和被动的专注于接收选择的字符而产生疲劳感和低效。从而本技术方案依对目标汉字进行构型笔画单元拆解及有序性组合特点，通过实际书写与想象书写对汉字笔画轨迹方向信息进行大量且稳定的神经信号获取与模型训练优化，对实际书写和想象书写的汉字笔画进行轨迹方向拟合并可重构、再现轨迹字形，以及仅仅根据汉字笔画的次序组合即可快速生成汉字，从而提高了与他人沟通的效率。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于汉字笔画的轨迹拟合方法，其特征在于，包括：
预先设定书写汉字笔画的笔画行进轨迹，根据预设速度显示所述笔画行进轨迹，并获取用户执行与书写所述汉字笔画的笔画行进轨迹同步的实际书写所产生的第一神经信号；
预先设定目标汉字，并且依照汉字书写的笔顺规则形成所述目标汉字所对应的包含多个汉字笔画的有序组合；
根据所述有序组合中的笔画书写次序和根据所述预设速度连续的、依次显示每一汉字笔画的笔画行进轨迹，所述笔画行进轨迹为带有成人手部书写特征的笔画线条样式而不是标准印刷字体形式的字形轨迹，所述字形轨迹为单一的一笔连贯过程，中间无断笔；
在所述用户根据所述目标汉字进行构型拆解形成有序笔画单元之后，获取所述用户连续的、依次实际书写所述目标汉字对应的有序组合中的每一个汉字笔画所产生的第二神经信号，其中所述用户是执行与书写所述每一汉字笔画的笔画行进轨迹同步的实际手部书写；
创建用于对所述用户实际手部书写所述汉字笔画时的神经信号进行识别的第一实际书写轨迹拟合模型，并利用所述第一神经信号和所述第二神经信号对所述第一实际书写轨迹拟合模型进行训练；
预先设定书写所述汉字笔画的笔画行进轨迹，根据所述预设速度显示所述笔画行进轨迹，并获取所述用户执行与书写所述汉字笔画的笔画行进轨迹同步的想象手部书写所产生的第三神经信号；
预先设定所述目标汉字，并依汉字书写的笔顺规则形成所述目标汉字所对应的包含多个汉字笔画的有序组合；
根据所述有序组合中的笔画书写次序和根据所述预设速度连续的、依次显示每一汉字笔画的行进轨迹，所述笔画行进轨迹为带有成人手部书写特征的笔画线条样式而不是标准印刷字体形式的字形轨迹，所述字形轨迹为单一的一笔连贯过程，中间无断笔；
所述用户根据所述目标汉字进行构型拆解形成有序笔画单元之后，获取所述用户连续的、依次想象书写所述目标汉字对应的有序组合中的每一个汉字笔画所产生的第四神经信号，其中所述用户是执行与书写所述每一汉字笔画的笔画行进轨迹同步的想象手部书写；以及
创建用于对所述用户想象书写汉字笔画时的神经信号进行识别的第二想象书写轨迹拟合模型，并利用所述第三神经信号和所述第四神经信号对所述第二想象书写轨迹拟合模型进行训练。
2.根据权利要求1所述的方法，其特征在于，获取用户执行与书写所述汉字笔画的笔画行进轨迹同步的实际手部书写所产生的第一神经信号的操作，包括：
提示所述用户通过视觉追随屏幕中移动的虚拟光标，其中所述虚拟光标移动形成的完整行进轨迹为所述一笔的汉字笔画，所述笔画行进轨迹为带有成人手部书写特征的笔画线条样式而不是标准印刷字体形式的字形轨迹，所述字形轨迹为单一的一笔连贯过程，中间无断笔，并同时提示所述用户通过实际书写方式，在电子手写板上追随所述虚拟光标执行与所述虚拟光标同步的书写，其中所述虚拟光标移动及实际书写轨迹过程为恒定的匀速书写；以及
在所述用户实际书写的过程中，获取所述用户的第一神经信号，并且
获取所述用户连续的、依次实际书写所述目标汉字对应的有序组合中的每一个汉字笔画所产生的第二神经信号的操作，包括：
在所述屏幕显示所述目标汉字，所述目标汉字提示2秒，随后于所述屏幕消失，提示所述用户根据所述目标汉字的书写笔顺规则连续地、依次完成所述目标汉字所对应的包含多个一笔的汉字笔画的有序组合中的每一汉字笔画的实际书写；以及
提示所述用户通过视觉追随所述屏幕中移动的所述虚拟光标完成每一汉字笔画实际书写，其中所述虚拟光标移动形成的完整行进轨迹为所述一个汉字笔画，并同时提示所述用户通过实际书写方式，在所述电子手写板上追随所述虚拟光标执行与所述虚拟光标同步的书写，其中所述虚拟光标移动及实际书写轨迹过程为恒定的匀速书写；以及
在所述用户连续实际书写多个汉字笔画以组成所述目标汉字过程中，获取所述用户的第二神经信号，并且
获取所述用户执行与书写所述汉字笔画的笔画行进轨迹同步的想象书写所产生的第三神经信号的操作，包括：
提示所述用户通过视觉追随所述屏幕中移动的所述虚拟光标，其中所述虚拟光标移动形成的完整行进轨迹为所述一笔的汉字笔画，所述笔画行进轨迹为带有成人手部书写特征的笔画线条样式而不是标准印刷字体形式的字形轨迹，所述字形轨迹为单一的一笔连贯过程，中间无断笔，并同时提示所述用户通过想象书写方式，手部不产生实际书写移动，追随所述虚拟光标想象执行与所述虚拟光标同步的书写并形成与所述虚拟光标移动相一致的轨迹，其中所述虚拟光标移动及想象的书写轨迹过程为恒定的匀速想象书写；以及
在所述用户想象书写的过程中，获取所述用户的第三神经信号，并且
获取所述用户连续的、依次想象书写所述目标汉字对应的有序组合中的每一个汉字笔画所产生的第四神经信号的操作，包括：
在所述屏幕显示所述目标汉字，所述目标汉字提示2秒，随后于所述屏幕消失，提示所述用户根据所述目标汉字的书写笔顺规则连续的、依次完成所述目标汉字所对应的包含多个一笔的汉字笔画的有序组合中的每一汉字笔画的想象书写；以及
提示所述用户通过视觉追随所述屏幕中移动的所述虚拟光标完成每一汉字笔画想象书写，其中所述虚拟光标移动形成的完整行进轨迹为所述一个汉字笔画，并同时提示所述用户通过想象书写方式，手部不产生实际书写移动，追随所述虚拟光标想象执行与所述虚拟光标同步的书写并形成与所述虚拟光标移动相一致的轨迹，其中所述虚拟光标移动及想象的书写轨迹过程为恒定的匀速想象书写；以及
在所述用户连续想象书写多个汉字笔画以组成所述目标汉字过程中，获取所述用户的第四神经信号。
3.根据权利要求1所述的方法，其特征在于，利用所述第一神经信号和所述第二神经信号对所述第一实际书写轨迹拟合模型进行训练的操作，包括：
在第一训练阶段，利用所述第一神经信号构建第一样本集，并利用所述第一样本集对所述第一实际书写轨迹拟合模型进行训练；
在第二训练阶段，利用所述第二神经信号构建第二样本集，并利用所述第一样本集和所述第二样本集对所述第一实际书写轨迹拟合模型进行再训练；以及
所述第二神经信号为通过所述用户连续实际书写多个一笔的汉字笔画以组成所述目标汉字的过程中获取的，所述用户执行的是连续地、依次有序实际书写多个汉字笔画中的每一笔画，获取所述用户跟随虚拟光标移动执行当前汉字笔画实际书写结束至所述用户跟随下一虚拟光标执行下一汉字笔画实际书写开始前的时间段内的书写中断的非书写神经信号，利用所述非书写神经信号形成第一实际书写轨迹拟合的第一状态监测模型，其中所述第一状态监测模型是利用所述非书写神经信号确定是否对实际书写期间的书写状态神经信号进行轨迹拟合。
4.根据权利要求1所述的方法，其特征在于，利用所述第三神经信号和所述第四神经信号对所述第二想象书写轨迹拟合模型进行训练的操作，包括：
在第三训练阶段，利用所述第三神经信号构建第三样本集，并利用所述第三样本集对所述第二想象书写轨迹拟合模型进行训练；
在第四训练阶段，利用所述第四神经信号构建第四样本集，并利用所述第三样本集和所述第四样本集对所述第二想象书写轨迹拟合模型进行再训练；以及
所述第四神经信号为通过所述用户连续想象书写多个一笔的汉字笔画以组成所述目标汉字的过程中获取的，所述用户执行的是连续的、依次有序想象书写多个汉字笔画中的每一笔画，获取所述第四神经信号包含所述用户跟随虚拟光标移动执行当前汉字笔画想象书写结束至所述用户跟随下一虚拟光标执行下一汉字笔画想象书写开始前的时间段内的想象书写中断的非书写神经信号，利用所述非书写神经信号形成第二想象书写轨迹拟合的第二状态监测模型，其中所述第二状态监测模型是利用所述非书写神经信号确定是否对想象书写期间的书写状态神经信号进行轨迹拟合。
5.根据权利要求3所述的方法，其特征在于，还包括：
实际书写第一测试阶段，在屏幕显示所述汉字笔画，所述汉字笔画提示2秒，随后于所述屏幕消失，提示所述用户开始自主实际书写，其中所述自主实际书写是指所述用户无需视觉追随任何移动目标进行与之同步的书写；
在所述用户根据所述汉字笔画提示进行对应的自主实际书写的过程中，获取所述用户的神经信号作为第一实际书写测试集；
利用所述第一实际书写轨迹拟合模型对所述第一实际书写测试集进行信号识别并显示轨迹识别结果，在与所述第一实际书写测试集对应的轨迹识别结果准确率小于第一预设阈值的情况下，对所述第一实际书写轨迹拟合模型重新进行训练；
在与所述第一实际书写测试集对应的轨迹识别结果的准确率大于或者等于所述第一预设阈值的情况下，进入实际书写第二测试阶段，在所述屏幕显示所述目标汉字，所述目标汉字提示2秒，随后于所述屏幕消失，提示所述用户开始自主依汉字书写的笔顺规则进行连续的、依次实际书写多个汉字笔画以组成所述目标汉字；
在所述实际书写第二测试阶段，在所述用户根据所述目标汉字提示进行对应的自主实际书写的过程中，获取所述用户的神经信号作为第二实际书写测试集；以及
利用所述第一实际书写轨迹拟合模型和所述第一实际书写轨迹拟合的第一状态监测模型对所述第二实际书写测试集进行信号识别，所述第一状态监测模型将对所述第二实际书写测试集中连续的、依次书写多个汉字笔画之间的书写中断的非书写神经状态进行信号识别，所述第一实际书写轨迹拟合模型将在所述第一状态监测模型识别当前神经信号为书写状态下的时间段内的神经信号进行信号识别并显示所述汉字笔画的轨迹识别结果，在与所述第二实际书写测试集对应的轨迹识别结果准确率小于第二预设阈值的情况下，对所述第一实际书写轨迹拟合模型重新进行训练。
6.根据权利要求4所述的方法，其特征在于，还包括：
想象书写第一测试阶段，在屏幕显示所述汉字笔画，所述汉字笔画提示2秒，随后于所述屏幕消失，提示所述用户开始自主想象书写，其中所述自主想象书写是指所述用户无需视觉追随任何移动目标进行与之同步的想象书写；
在所述用户根据所述汉字笔画提示进行对应的自主想象书写的过程中，获取所述用户的神经信号作为第一想象书写测试集；
利用所述第二想象书写轨迹拟合模型对所述第一想象书写测试集进行信号识别并显示轨迹识别结果，在与所述第一想象书写测试集对应的轨迹识别结果准确率小于第三预设阈值的情况下，对所述第二想象书写轨迹拟合模型重新进行训练；
在与第二想象书写测试集的对应的轨迹识别结果的准确率大于或者等于所述第三预设阈值的情况下，进入想象书写第二测试阶段，在所述屏幕显示所述目标汉字，所述目标汉字提示2秒，随后于所述屏幕消失，提示所述用户开始自主依汉字书写的笔顺规则进行连续的、依次想象书写多个汉字笔画以组成所述目标汉字；
在所述想象书写第二测试阶段，在所述用户根据所述目标汉字提示进行对应的自主想象书写的过程中，获取所述用户的神经信号作为所述第二想象书写测试集；以及
利用所述第二想象书写轨迹拟合模型和第二想象书写轨迹拟合的第二状态监测模型对所述第二想象书写测试集进行信号识别，所述第二状态监测模型将对所述第二想象书写测试集中连续的、依次想象书写多个汉字笔画之间的书写中断的非书写神经状态进行信号识别，所述第二想象书写轨迹拟合模型将在所述第二状态监测模型识别当前神经信号为书写状态下的时间段内的神经信号进行信号识别并显示多个汉字笔画的轨迹识别结果，在与所述第二想象书写测试集对应的轨迹识别结果准确率小于第四预设阈值的情况下，对所述第二想象书写轨迹拟合模型重新进行训练。
7.根据权利要求5所述的方法，其特征在于，还包括：
在与所述第二实际书写测试集的对应的轨迹识别结果的准确率大于或者等于所述第二预设阈值的情况下，完成对第一实际书写模型优化，其中所述第一实际书写模型包括所述第一实际书写轨迹拟合模型和所述第一状态监测模型，在所述用户根据自主书写意图进行连续时间段内多个汉字笔画实际书写以组成符合自主书写意图的汉字的过程中，获取所述用户执行汉字笔画实际书写过程中的第五神经信号，通过已优化的第一实际书写模型进行信号识别，得到相应的多个汉字笔画书写轨迹再现；以及
根据笔画组合规律将所述多个汉字笔画组合为自主书写意图汉字，其中
方法还包括：对所述第五神经信号进行处理，并确定与所述第五神经信号对应的神经信号类别，其中
对所述第五神经信号进行处理，并确定与所述第五神经信号对应的神经信号类别的操作，包括：对所采集的所述第五神经信号进行预处理；
对预处理后的所述第五神经信号进行特征提取，生成相应的神经信号特征；以及
根据所述神经信号特征确定相应的神经信号类别，其中
根据所述神经信号特征确定相应的神经信号类别的操作，包括：根据所述神经信号特征确定与所述神经信号类别相关的弱分类信息；以及
根据所述弱分类信息确定所述神经信号类别，其中所述第五神经信号为采用滑动窗所提取的相应时隙的神经信号，其中所述神经信号类别与汉字书写相关的所述汉字实际书写任务对应，并且其中所述汉字实际书写任务包括针对所述汉字笔画的汉字实际书写，其中
根据所述神经信号特征确定与所述神经信号类别相关的弱分类信息的操作，包括：通过多个二分类器根据所述神经信号特征确定与所述神经信号类别相关的弱分类信息，其中所述二分类器的类别对应于不同的所述神经信号类别，并且
对预处理后的所述第五神经信号进行特征提取的操作，包括：针对不同的二分类器，分别提取相应的特征，生成相应的所述神经信号特征并传输至相应的所述二分类器；以及
所述多个二分类器根据所接收的所述神经信号特征，基于一对一分类法，确定与所述第五神经信号对应的所述弱分类信息，并且其中
对所采集的所述第五神经信号进行预处理的操作，包括：对于采集到的第五神经信号的神经信号矩阵利用与所述用户的响应频带匹配的滤波器，进行个体特异化频带滤波，得到预处理后的神经信号矩阵X{B}，其中C和T为所述神经信号矩阵的维度，并且其中，所述滤波器通过以下操作构建：
获取所述用户的与不同的汉字实际书写任务对应的样本神经信号矩阵X'1～X'K；分别生成与各个样本神经信号矩阵X'1～X'K对应的频谱信息；根据所述频谱信息，针对预先设定的各个频带，确定所述各个样本神经信号与每个频带对应幅值信息；针对所述每个频带，计算所述各个样本神经信号的幅值信息的方差；基于所计算的方差，确定所述用户的响应频带；以及基于所述用户的响应频带构建所述滤波器，其中所述滤波器用于通过与所述用户的响应频带对应的神经信号且滤除其他频带的神经信号，并且
针对不同的二分类器，分别提取相应的特征的操作，包括，通过第j个特征提取单元执行以下操作：确定预处理后的所述神经信号矩阵X{B}的协方差矩阵P：
根据所述第j个特征提取单元的信号投影矩阵和协方差矩阵P，提取所述神经信号矩阵的特征：
其中xj表示所述第j个特征提取单元所提取的所述神经信号特征，M表示神经信号特征xj的特征的对数，以及diag(A)表示返回矩阵A的对角线元素并构成向量，并且
所述多个二分类器为预先训练的基于LASSO回归模型的二分类器，并且确定与所述神经信号类别相关的弱分类信息的操作，包括：利用第j个二分类器对所述第j个特征提取单元提取的所述神经信号特征xj进行二分类，确定与所述第j个二分类器对应的二分类信息，作为所述弱分类信息的一部分，并且其中
根据所述弱分类信息确定所述神经信号类别的操作，包括：将所述弱分类信息进行融合，生成融合分类信息；以及根据所述融合分类信息，利用softmax回归模型确定所述神经信号类别。
8.根据权利要求6所述的方法，其特征在于，还包括：
在与所述第二想象书写测试集的对应的轨迹识别结果的准确率大于或者等于所述第四预设阈值的情况下，完成对第二想象书写模型优化，其中所述第二想象书写模型包括所述第二想象书写轨迹拟合模型和所述第二状态监测模型，在所述用户根据自主书写意图进行连续时间段内多个汉字笔画想象书写以组成符合自主书写意图的汉字的过程中，获取所述用户执行汉字笔画想象书写过程中的第六神经信号，通过已优化的第二想象书写模型进行信号识别，得到相应的多个汉字笔画想象书写轨迹再现；以及
根据笔画组合规律将所述多个汉字笔画组合为自主书写意图汉字，其中
方法还包括：对所述第六神经信号进行处理，并确定与所述第六神经信号对应的神经信号类别，其中
对所述第六神经信号进行处理，并确定与所述第六神经信号对应的神经信号类别的操作，包括：对所采集的所述第六神经信号进行预处理；
对预处理后的所述第六神经信号进行特征提取，生成相应的神经信号特征；以及
根据所述神经信号特征确定相应的神经信号类别，其中
根据所述神经信号特征确定相应的神经信号类别的操作，包括：根据所述神经信号特征确定与所述神经信号类别相关的弱分类信息；以及
根据所述弱分类信息确定所述神经信号类别，其中所述第六神经信号为采用滑动窗所提取的相应时隙的神经信号，其中所述神经信号类别与汉字书写相关的所述汉字想象书写任务对应，并且其中所述汉字想象书写任务包括针对所述汉字笔画的汉字想象书写，其中
根据所述神经信号特征确定与所述神经信号类别相关的弱分类信息的操作，包括：通过多个二分类器根据所述神经信号特征确定与所述神经信号类别相关的弱分类信息，其中所述二分类器的类别对应于不同的所述神经信号类别，并且
对预处理后的所述第六神经信号进行特征提取的操作，包括：针对不同的二分类器，分别提取相应的特征，生成相应的所述神经信号特征并传输至相应的所述二分类器；以及
所述多个二分类器根据所接收的所述神经信号特征，基于一对一分类法，确定与所述第六神经信号对应的所述弱分类信息，并且其中
对所采集的所述第六神经信号进行预处理的操作，包括：对于采集到的第六神经信号的神经信号矩阵利用与所述用户的响应频带匹配的滤波器，进行个体特异化频带滤波，得到预处理后的神经信号矩阵X{B}，其中C和T为所述神经信号矩阵的维度，并且其中，所述滤波器通过以下操作构建：
获取所述用户的与不同的汉字书写想象任务对应的样本神经信号矩阵X'1～X'K；分别生成与各个样本神经信号矩阵X'1～X'K对应的频谱信息；根据所述频谱信息，针对预先设定的各个频带，确定所述各个样本神经信号与每个频带对应幅值信息；针对所述每个频带，计算所述各个样本神经信号的幅值信息的方差；基于所计算的方差，确定所述用户的响应频带；以及基于所述用户的响应频带构建所述滤波器，其中所述滤波器用于通过与所述用户的响应频带对应的神经信号且滤除其他频带的神经信号，并且
针对不同的二分类器，分别提取相应的特征的操作，包括，通过第j个特征提取单元执行以下操作：确定预处理后的所述神经信号矩阵X{B}的协方差矩阵P：
根据所述第j个特征提取单元的信号投影矩阵和协方差矩阵P，提取所述神经信号矩阵的特征：
其中xj表示所述第j个特征提取单元所提取的所述神经信号特征，M表示神经信号特征xj的特征的对数，以及diag(A)表示返回矩阵A的对角线元素并构成向量，并且
所述多个二分类器为预先训练的基于LASSO回归模型的二分类器，并且确定与所述神经信号类别相关的弱分类信息的操作，包括：利用第j个二分类器对所述第j个特征提取单元提取的所述神经信号特征xj进行二分类，确定与所述第j个二分类器对应的二分类信息，作为所述弱分类信息的一部分，并且其中
根据所述弱分类信息确定所述神经信号类别的操作，包括：将所述弱分类信息进行融合，生成融合分类信息；以及根据所述融合分类信息，利用softmax回归模型确定所述神经信号类别。
9.根据权利要求1所述的方法，其特征在于，还包括：
通过状态识别模型对与所述用户的手部运动对应的神经信号进行识别；
当所述状态识别模型对用户利手的对侧手部为运动状态进行信号识别，其中所述状态识别模型为二分类模型，用于确定是否存在所述用户利手的对侧手部为运动；以及
当识别结果为无运动，则保持当前状态，当所述识别结果为存在对侧手部运动则切换状态，其中在所述当前状态为空闲状态的情形下切换为任务状态，或所述当前状态为任务状态的情形下切换为空闲状态，并且其中用户状态为任务状态情形下，通过优化后的第一实际书写模型开始识别第五神经信号，以及通过优化后的第二想象书写模型模型开始识别第六神经信号，并且
方法还包括：在所述用户根据屏幕提示开始进行自身利手的对侧手部的实际书写的过程中，采集所述用户产生实际书写动作期间的神经信号；以及
将所述用户实际书写动作期间的神经信号作为训练样本，对所述状态识别模型进行训练，其中所述状态识别模型用于确定是否存在自身利手的对侧手部的书写动作并相应的切换所述用户的用户状态，并且
方法还包括：在所述用户根据屏幕提示开始进行自身利手的对侧手部的想象书写的情况下，采集所述用户产生想象书写动作期间的神经信号；以及
将所述用户想象书写动作期间的神经信号作为训练样本，对所述状态识别模型进行训练，其中所述状态识别模型用于确定是否存在自身利手的对侧手部的想象书写动作并相应的切换所述用户的用户状态。
10.一种基于汉字笔画的轨迹拟合装置，其特征在于，包括：
第一获取模块，用于预先设定书写汉字笔画的笔画行进轨迹，根据预设速度显示所述笔画行进轨迹，并获取用户执行与书写所述汉字笔画的笔画行进轨迹同步的实际书写所产生的第一神经信号；
第一组合模块，用于预先设定目标汉字，并且依照汉字书写的笔顺规则形成所述目标汉字所对应的包含多个汉字笔画的有序组合；
第一显示模块，用于根据所述有序组合中的笔画书写次序和根据所述预设速度连续的、依次显示每一汉字笔画的笔画行进轨迹，所述笔画行进轨迹为带有成人手部书写特征的笔画线条样式而不是标准印刷字体形式的字形轨迹，所述字形轨迹为单一的一笔连贯过程，中间无断笔；
第二获取模块，用于在所述用户根据所述目标汉字进行构型拆解形成有序笔画单元之后，获取所述用户连续的、依次实际书写所述目标汉字对应的有序组合中的每一个汉字笔画所产生的第二神经信号，其中所述用户是执行与书写所述每一汉字笔画的笔画行进轨迹同步的实际手部书写；
第一创建模块，用于创建用于对所述用户实际手部书写所述汉字笔画时的神经信号进行识别的第一实际书写轨迹拟合模型，并利用所述第一神经信号和所述第二神经信号对所述第一实际书写轨迹拟合模型进行训练；
第三获取模块，用于预先设定书写所述汉字笔画的笔画行进轨迹，根据所述预设速度显示所述笔画行进轨迹，并获取所述用户执行与书写所述汉字笔画的笔画行进轨迹同步的想象书写所产生的第三神经信号；
第二组合模块，用于预先设定所述目标汉字，并依汉字书写的笔顺规则形成所述目标汉字所对应的包含多个汉字笔画的有序组合；
第二显示模块，用于根据所述有序组合中的笔画书写次序和根据所述预设速度连续的、依次显示每一汉字笔画的行进轨迹，所述笔画行进轨迹为带有成人手部书写特征的笔画线条样式而不是标准印刷字体形式的字形轨迹，所述字形轨迹为单一的一笔连贯过程，中间无断笔；
第四获取模块，用于所述用户根据所述目标汉字进行构型拆解形成有序笔画单元之后，获取所述用户连续的、依次想象书写所述目标汉字对应的有序组合中的每一个汉字笔画所产生的第四神经信号，其中所述用户是执行与书写所述每一汉字笔画的笔画行进轨迹同步的想象手部书写；以及
第二创建模块，用于创建用于对所述用户想象书写汉字笔画时的神经信号进行识别的第二想象书写轨迹拟合模型，并利用所述第三神经信号和所述第四神经信号对所述第二想象书写轨迹拟合模型进行训练。
CN202311574867.3A 2023-11-23 2023-11-23 基于汉字笔画的轨迹拟合方法以及装置 Active CN117608399B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311574867.3A CN117608399B (zh) 2023-11-23 2023-11-23 基于汉字笔画的轨迹拟合方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311574867.3A CN117608399B (zh) 2023-11-23 2023-11-23 基于汉字笔画的轨迹拟合方法以及装置

Publications (2)

Publication Number Publication Date
CN117608399A true CN117608399A (zh) 2024-02-27
CN117608399B CN117608399B (zh) 2024-06-14

Family

ID=89955575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311574867.3A Active CN117608399B (zh) 2023-11-23 2023-11-23 基于汉字笔画的轨迹拟合方法以及装置

Country Status (1)

Country Link
CN (1) CN117608399B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117930987A (zh) * 2024-03-25 2024-04-26 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于脑电信号的汉字笔画输出方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140160032A1 (en) * 2012-12-07 2014-06-12 Microsoft Corporation Swipe Stroke Input and Continuous Handwriting
KR20160002589A (ko) * 2014-06-30 2016-01-08 주식회사 알티캐스트 정보 디스플레이 방법 및 그를 위한 디스플레이 장치
KR101880868B1 (ko) * 2017-12-29 2018-07-20 영 황보 한자입력장치
CN112198966A (zh) * 2020-12-08 2021-01-08 中南大学 基于fmcw雷达系统的笔画识别方法以及系统
US20210405762A1 (en) * 2020-06-30 2021-12-30 Boe Technology Group Co., Ltd. Input method, apparatus based on visual recognition, and electronic device
WO2023065963A1 (zh) * 2021-10-19 2023-04-27 北京字跳网络技术有限公司 互动展示方法、装置、电子设备及可读介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140160032A1 (en) * 2012-12-07 2014-06-12 Microsoft Corporation Swipe Stroke Input and Continuous Handwriting
KR20160002589A (ko) * 2014-06-30 2016-01-08 주식회사 알티캐스트 정보 디스플레이 방법 및 그를 위한 디스플레이 장치
KR101880868B1 (ko) * 2017-12-29 2018-07-20 영 황보 한자입력장치
US20210405762A1 (en) * 2020-06-30 2021-12-30 Boe Technology Group Co., Ltd. Input method, apparatus based on visual recognition, and electronic device
CN112198966A (zh) * 2020-12-08 2021-01-08 中南大学 基于fmcw雷达系统的笔画识别方法以及系统
WO2023065963A1 (zh) * 2021-10-19 2023-04-27 北京字跳网络技术有限公司 互动展示方法、装置、电子设备及可读介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
X LIU ET AL.: ""Stroke Sequence-Dependent Deep Convolutional Neural Network for Online Handwritten Chinese Character Recognition"", 《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》, vol. 31, no. 11, 3 January 2020 (2020-01-03), pages 4637 - 4648, XP011818445, DOI: 10.1109/TNNLS.2019.2956965 *
金铭 等: ""基于汉字默读的运动想象脑电信号识别研究"", 《现代电子技术》, vol. 45, no. 10, 15 May 2022 (2022-05-15), pages 137 - 141 *
韩睿方;安维华;荀恩东;李琪;: ""汉字书写过程中笔画规范性的实时分级评判"", 《计算机应用》, no. 1, 10 June 2016 (2016-06-10), pages 286 - 290 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117930987A (zh) * 2024-03-25 2024-04-26 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于脑电信号的汉字笔画输出方法、装置及存储介质

Also Published As

Publication number Publication date
CN117608399B (zh) 2024-06-14

Similar Documents

Publication Publication Date Title
CN117389441B (zh) 基于视觉追随辅助的书写想象汉字轨迹确定方法及系统
Pfurtscheller et al. Graz-BCI: state of the art and clinical applications
Sohaib et al. Evaluating classifiers for emotion recognition using EEG
Vinola et al. A survey on human emotion recognition approaches, databases and applications
CN117608399B (zh) 基于汉字笔画的轨迹拟合方法以及装置
CN103366618B (zh) 基于人工智能与虚拟现实用于汉语学习培训的场景设备
CN112766173B (zh) 一种基于ai深度学习的多模态情感分析方法及其系统
CN110070105A (zh) 基于元学习实例快速筛选的脑电情绪识别方法、系统
CN111428175A (zh) 基于微表情识别的在线课程推荐方法及相关设备
CN117608402B (zh) 一种基于汉字书写想象的隐蔽汉语言处理系统和方法
CN112008725B (zh) 一种人机融合脑控机器人系统
Yuan et al. Chinese sign language alphabet recognition based on random forest algorithm
CN116880691A (zh) 一种基于手写轨迹解码的脑机接口交互方法
CN108958620A (zh) 一种基于前臂表面肌电的虚拟键盘设计方法
CN117608400A (zh) 基于脑机接口的汉字书写轨迹识别方法、系统及电子设备
CN114469090A (zh) 基于跨脑耦合关系计算的脑电情感识别方法及脑机系统
CN111443799A (zh) 基于脑机接口的辅助学习方法、终端及计算机存储介质
Jain et al. Study for emotion recognition of different age groups students during online class
Derr et al. Signer-independent classification of American sign language word signs using surface EMG
Pathak et al. A facial expression recognition system to predict emotions
Johnson Keeping the pragmatism in neuropragmatism
Libralon et al. Mapping of facial elements for emotion analysis
HOLT et al. Which fragments of a sign enable its recognition?
CN114092853A (zh) 一种基于绘画心理分析和视频分析的心理分析系统
Zaghbani et al. Facial emotion recognition for adaptive interfaces using wrinkles and wavelet network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant