CN117608402A - 一种基于汉字书写想象的隐蔽汉语言处理系统和方法 - Google Patents

一种基于汉字书写想象的隐蔽汉语言处理系统和方法 Download PDF

Info

Publication number
CN117608402A
CN117608402A CN202311577145.3A CN202311577145A CN117608402A CN 117608402 A CN117608402 A CN 117608402A CN 202311577145 A CN202311577145 A CN 202311577145A CN 117608402 A CN117608402 A CN 117608402A
Authority
CN
China
Prior art keywords
chinese character
electroencephalogram
writing
imagination
electroencephalogram signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311577145.3A
Other languages
English (en)
Other versions
CN117608402B (zh
Inventor
王伊龙
陈奕奕
马婷
蔡国庆
何奕航
王引言
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tiantan Hospital
Original Assignee
Beijing Tiantan Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tiantan Hospital filed Critical Beijing Tiantan Hospital
Priority to CN202311577145.3A priority Critical patent/CN117608402B/zh
Publication of CN117608402A publication Critical patent/CN117608402A/zh
Application granted granted Critical
Publication of CN117608402B publication Critical patent/CN117608402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/259—Fusion by voting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/27—Regression, e.g. linear or logistic regression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Neurosurgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种基于汉字书写想象的隐蔽汉语言处理系统和方法，系统包括：信号采集设备，用于对用户在汉字书写想象任务过程中的脑电信号进行采集；信号处理设备，用于对脑电信号进行处理，并确定与脑电信号对应的脑电信号类别，其中脑电信号类别与汉字书写相关的汉字书写想象任务对应；以及指令识别设备，用于将脑电信号类别映射为对应的汉字书写指令，并且其中根据脑电信号类别确定对应的汉字书写指令的操作，包括：根据脑电信号类别确定第一汉字书写指令，并且根据脑电信号类别确定对应的汉字书写指令的操作，还包括：根据连续多个脑电信号的脑电信号类别确定第二汉字书写指令。

Description

一种基于汉字书写想象的隐蔽汉语言处理系统和方法
技术领域
本申请涉及人机交互技术领域，特别是涉及一种基于汉字书写想象的隐蔽汉语言处理系统和方法。
背景技术
许多中枢神经系统疾病均可导致四肢运动障碍、发音困难或称构音障碍，脑机接口应用的价值之一是形成电子神经旁路，使因疾病，如肌萎缩侧索硬化症(ALS)等闭锁综合症以及帕金森病，而导致严重运动障碍或语言沟通障碍的患者实现自身与外部环境的良好交互。该类型大部分患者的中枢神经系统保留着有关语言理解与表达意图的大脑组织整合认知活动并产生相对应的脑电信号的能力。脑机接口的应用是建立在大脑神经活动与意图任务存在相关性的基础之上，大脑神经活动受到意图行为任务的调谐。理论上，意图任务中的行为可作为输出指令从大脑神经活动及一系列参数构建的函数模型中解码获得。现有的脑机接口应用中，反应式通讯系统依赖外部刺激诱导、易产生疲劳；以字母型键入通讯符合英文通过字母组装拼接的表音语言结构。
汉字作为象形文字以视觉字形“识字”为基础，以书写的字形轨迹识别作为汉语母语人群的通讯脑机接口系统符合汉语语言系统的特点。但是“汉字”这一视觉符号相比一线呵成的字母轨迹具有更复杂的交错空间结构，实现高效输出汉字的汉语通讯脑机接口系统需要对簇状汉字轨迹解码，对完整图形汉字的整块字形解码蕴含复杂的书写内容，稳定解码要求保持每一次书写想象试次之间的神经信号稳定，无疑对用户及模型所需包含的训练内容以及在实际应用中用户需维持每次书写想象同一图形汉字任务的注意力、执行能力及记忆能力提出更高要求，在存在中枢神经系统疾病的严重肢体及言语障碍的患者中实际运用存在受限。
尚缺乏针对汉语言使用者、以汉字构型部件结构出发的主动式汉字字形符号形成控制指令输入的通讯系统，对于具有严重运动及构音障碍的神经系统疾病的汉语为母语使用者来说，他们与外界的沟通方式需要优化。
发明内容
针对现有脑机接口中缺乏汉字字形符号形成控制指令输入系统的问题，本发明提供了一种基于汉字书写想象的隐蔽汉语言通讯系统，为ALS等存在严重构音及肢体运动功能障碍的患者提供有效的交互工具。
本公开的实施例提供了一种基于汉字书写想象的隐蔽汉语言处理系统和方法，以至少解决以上所述的技术问题。
根据本公开实施例，提供了一种基于汉字书写想象的隐蔽汉语言处理系统，系统包括：信号采集设备，用于对用户在汉字书写想象任务过程中的脑电信号进行采集；信号处理设备，用于对脑电信号进行处理，并确定与脑电信号对应的脑电信号类别，其中脑电信号类别与汉字书写相关的汉字书写想象任务对应；以及指令识别设备，用于将脑电信号类别映射为对应的汉字书写指令，并且其中根据脑电信号类别确定对应的汉字书写指令的操作，包括：根据脑电信号类别确定第一汉字书写指令，其中第一汉字书写指令与汉字书写想象任务对应的单一的汉字笔画、单一的部首偏旁或一完整的汉字字形对应，并且根据脑电信号类别确定对应的汉字书写指令的操作，还包括：根据连续多个脑电信号的脑电信号类别确定第二汉字书写指令，其中第二汉字书写指令与根据多个脑电信号的脑电信号类别所确定的连续多个单一的汉字笔画、单一的部首偏旁和/或一完整的汉字字形所构成的汉字或词语对应，汉字或词语对应是指常用汉字词库中对多个单一的汉字笔画组合、多个单一的部首偏旁组合和/或一完整的汉字字形，通过有序地排列组合形成具有一一对应映射关系的汉字或词语编码。
可选地，根据本公开实施例的另一个方面，提供了一种基于汉字书写想象的隐蔽汉语言处理方法，该方法包括：对用户在汉字书写想象任务过程中的脑电信号进行采集；对脑电信号进行处理，并确定与脑电信号对应的脑电信号类别，其中脑电信号类别与汉字书写相关的汉字书写想象任务对应；以及将脑电信号类别映射为对应的汉字书写指令，并且其中根据脑电信号类别确定对应的汉字书写指令的操作，包括：根据脑电信号类别确定第一汉字书写指令，其中第一汉字书写指令与汉字书写想象任务对应的单一的汉字笔画、单一的部首偏旁或一完整的汉字字形对应，并且根据脑电信号类别确定对应的汉字书写指令的操作，还包括：根据连续多个脑电信号的脑电信号类别确定第二汉字书写指令，其中第二汉字书写指令与根据多个脑电信号的脑电信号类别所确定的连续多个单一的汉字笔画、单一的部首偏旁和/或一完整的汉字字形所构成的汉字或词语对应，汉字或词语对应是指常用汉字词库中对多个单一的汉字笔画组合、多个单一的部首偏旁组合和/或一完整的汉字字形，通过有序地排列组合形成具有一一对应映射关系的汉字或词语编码。
在本公开实施例中，从而本公开的技术方案提供了一种基于汉字书写想象的隐蔽汉语言通讯系统，为ALS等存在严重构音及肢体运动功能障碍的患者提供有效的交互工具。解决了以上的技术问题。
附图说明
此处所说明的附图用来提供对本公开的进一步理解，构成本申请的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
图1是用于实现根据本公开实施例所述的基于汉字书写想象的隐蔽汉语言处理系统的示意图；
图2是根据本公开实施例所述的隐蔽汉语言处理系统的工作流程的示意图；
图3是根据本公开实施例所述的基于汉字书写想象的隐蔽汉语言处理系统的特征提取模块和任务分类模块的示意图；
图4A是根据本公开实施例所述的一种基于滑动窗的时隙采集脑电信号的示意图；
图4B是根据本公开实施例所述的另一种基于滑动窗的时隙采集脑电信号的示意图；
图5A是根据本公开实施例所述的基于softmax回归模型对与滑动窗的时隙对应的脑电信号进行分类的流程示意图；
图5B是根据本公开实施例所述的利用神经网络和分类器根据弱分类信息的融合分类信息对脑电信号进行分类的示意图；以及
图6是根据本公开实施例的另一个方面所述的基于汉字书写想象的隐蔽汉语言处理方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明。显然，以下所描述的实施例仅是本发明多个优选实施例中的一部分，基于本发明所列出的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都应当属于本发明保护的范围。
参阅图1，图中示出了本发明提供的基于汉字书写想象的隐蔽汉语言处理系统的系统架构。如图中所示的，系统包括：用于对用户在汉字书写想象任务过程中的脑电信号进行信号采集的信号采集设备；用于对脑电信号进行处理，并确定与脑电信号对应的脑电信号类别的信号处理设备，其中脑电信号类别与汉字书写相关的汉字书写想象任务对应；以及用于将脑电信号类别映射为对应的汉字书写指令的指令识别设备。
以下对本发明的基于汉字书写想象的隐蔽汉语言通讯系统所包括的各个设备及其功能进行详细的描述。
在本发明所提供的系统中，利用信号采集设备对用户(即使用系统的受试者)汉字书写想象任务下的脑电信号进行采集。受试者可根据自己语言表达意图进行自主地书写想象。“字母”是构成英文单词的书写最小单位，而汉字中的“笔画”是构成楷体汉字字形的最小单位，进而可构成部首偏旁，共同组成方正汉字。本系统对包括但不仅限于独立的汉字笔画诱导脑电信号进行特征识别与分类。在一示例性的实施例中，受试者可以想象其正在用右手握笔进行书写，例如想象书写一个汉字笔画横“—”，此时，大脑神经活动受到书写想象任务的调谐，产生一特定的脑电信号，则信号采集设备即可对该信号进行采集，获得与当前书写想象任务相对应的脑电信号。
在一优选的实施方式中，受试者在执行自主的书写想象任务之前，需要对受试者的书写想象任务进行训练，以能够让受试者在一定的心理想象运动框架下有目的的诱发当前书写想象任务下的脑电信号并提取稳定的脑电信号特征，即要求任务相关的脑电信号特征在每一试次具有高度重复性—这对于准确分类是必要的。在长期存在严重运动障碍人群中，可能存在运动想象能力受损，即无法良好参与/执行运动想象。无论是食指单指比划移动，或是握笔腕关节移动，均属于单关节运动。在视觉辅助的运动想象中，可以观察到通过提取运动想象所诱导的脑电信号中的特定的特征信号，对单关节运动想象的估计与视觉呈现的关节运动轨迹的匹配性依然良好。也就是说，即便在运动执行功能严重受损的患者中，运动规划能力依然保留，因此有能力产生适当的心理意向，并规划肢体运动以及产生相关的神经活动。视觉引导将极大帮助受试者执行书写想象任务。具体地，受试者可以根据屏幕提示进行对应的书写想象训练。其中，训练过程中受试者在视觉辅助下通过显示屏中所显示的随时间展开的书写想象任务轨迹进行跟随书写想象，即受试者视觉跟随屏幕上指示光标的运动轨迹，包括同步跟随指示光标的笔画行进轨迹进行速度和方向匹配的右手握笔书写想象，个体书写文字具有稳定的可重复性，即具有笔迹识别性。其中屏幕上指示光标的运动轨迹可以是书写一个汉字笔画的运动轨迹，也可以是书写一个部首偏旁的运动轨迹，也可以是书写一个完整的整块汉字的运动轨迹。通过训练能够保证受试者在没有视觉指示的情况下，始终保持合理稳定的心理模拟速度进行书写想象。据此，训练后的受试者将最大限度保持相同任务下脑电信号的相似性。
在本发明所提供的系统中，信号处理设备用于对信号采集设备所采集的脑电信号进行处理，并确定与信号采集设备所采集的脑电信号对应的脑电信号类别，其中脑电信号类别与不同汉字书写想象任务对应。例如(但不限于)，不同的脑电信号类别可以分别与横“—”、竖“丨”、撇“丿”、捺“乀”、折“フ”这五种不同汉字笔画的汉字书写想象任务对应。
然后进一步地在本发明所提供的系统中，在经过上述信号处理设备对脑电信号进行有效分类后，由指令识别设备进一步将脑电信号类别转换为对应的汉字书写指令。在一个实施例中，具体地，根据脑电信号的脑电信号类别与汉字书写想象任务的映射关系，在在线任务分类单元中，受试者可自行根据受教育约定要求死记硬背下的汉字书写有序性进行连续地书写想象多个汉字字形符号。独立的汉字字形符号类型包括汉字笔画形式，也可为汉字的部首偏旁形式，也可为完整的汉字字形形式。当受试者以汉字笔画形式进行连续输入，指令识别设备根据信号处理设备确定的多个脑电信号类别形成的有序地笔画组合，将其转换为对应的意图书写的汉字书写指令。又例如，当受试者以汉字的部首偏旁形式进行连续输入，指令识别设备根据信号处理设备确定的多个脑电信号类别形成有序的部首偏旁组合，将其转换为对应的意图书写的汉字书写指令。又例如，当受试者以完整的汉字字形形式进行输入，指令识别设备根据信号处理设备确定的脑电信号类别可将其转换为对应的意图书写的汉字书写指令。从而可以将汉字书写指令输入实时显示设备进行实时显示。
正如背景技术中所述的，现有的脑机接口应用中，反应式通讯系统依赖外部刺激被动诱导、受试者易产生疲劳。以字母型键入通讯符合英文表音语言结构，直接采用在汉语文字系统时通讯效率低。汉字作为象形文字以视觉字形“识字”为基础，以书写的字形轨迹识别作为汉语母语人群的通讯脑机接口系统符合汉语语言系统的特点。但是“汉字”这一视觉符号相比一线呵成的字母轨迹具有更复杂的交错空间结构，实现高效输出汉字的汉语通讯脑机接口系统需要对簇状汉字轨迹解码，对完整图形汉字的整块字形解码蕴含复杂的书写内容，稳定解码要求保持每一次书写想象试次之间的神经信号稳定，无疑对用户及模型所需包含的训练内容以及在实际应用中用户需维持每次书写想象同一图形汉字任务的注意力、执行能力及记忆能力提出更高要求，在存在中枢神经系统疾病的严重肢体及言语障碍的患者中实际运用存在受限。尚缺乏针对汉语言使用者、以汉字构型部件结构出发的主动式汉字字形符号形成控制指令输入的通讯系统，对于具有严重运动及构音障碍的神经系统疾病的汉语为母语使用者来说，他们与外界的沟通方式需要优化。
有鉴于此，本发明提供了一种基于汉字书写想象的隐蔽汉语言处理系统，从而可以在受试者进行汉字书写想象任务的过程中进行脑电信号的采集并确定所采集的脑电信号的脑电信号类别。然后基于该脑电信号类别确定相应的意图书写的汉字书写指令。从而本公开的技术方案提供了一种基于汉字书写想象的汉语言通讯系统，为ALS等存在严重构音及肢体运动功能障碍的患者提供有效的交互工具。解决了以上所述的技术问题。
此外可选地，参考图1所示的信号采集设备为侵入式、半侵入式或非侵入式的脑电接口设备。并且，系统还包括：实时显示设备，用于根据指令识别设备所确定的汉字书写指令，在屏幕上进行实时显示。实时显示设备用于对指令识别设备确定的第一汉字书写指令和第二汉字书写指令进行显示，实现汉语言文字通讯目的。从而，该系统可以实时显示用户书写想象的所构成的笔画、部首偏旁、完整的汉字字形和/或由其构成的汉字或词语，从而便于进行展示和语言沟通。
可选地，汉字书写想象任务包括针对汉字笔画的汉字书写想象。和/或，可选地，汉字书写想象任务包括针对汉字的部首偏旁的汉字书写想象。和/或，汉字书写想象任务包括针对完整的汉字字形的汉字书写想象。和/或，汉字书写想象任务包括：与书写的汉字信息进行错误删除的操作对应的操作想象；和/或与停止系统运行的操作对应的操作想象。
具体地，参考图2所示，根据本公开的技术方案，汉字书写想象任务的类别又可以具体划分为多个不同类型的类别，例如包括(但不限于)：汉字笔画类别、部首偏旁类别、完整的汉字字形类别、删除操作类别以及停止操作类别。
其中，汉字笔画类别对应于用户对汉字笔画的汉字书写想象任务，其中在本公开的技术方案中，汉字笔画例如可以被进一步简化为横“—”、竖“丨”、撇“丿”、捺“乀”和折“フ”这五种不同的汉字笔画类型，从而对应于5种不同的脑电信号类别。受试者可在书写想象时，对上述的五种汉字笔画进行独立一个或执行连续多个的书写想象，以使得通过本发明的基于汉字书写想象的隐蔽汉语言通讯系统来对受试者的书写想象任务进行分类识别，并将识别得到的相应汉字笔画有序组合形成具有一一对应映射的汉字或词语结果实时显示在屏幕界面中。成人具有长时储存的汉字字形记忆，汉字字形结构的书写具有统一的惯例规则和有序性，例如汉字“大”的书写笔画顺序为横“—”、撇“丿”、捺“乀”而不是先书写撇“丿”、捺“乀”最后书写一横“—”。在另一优选的实施例中，当受试者执行的是连续的汉字笔画书写想象时，即受试者自主产生汉字书写需求，继而根据意图书写汉字的书写有序性依一笔一划完成多个汉字笔画的书写想象，据此多个汉字笔画将有序的被信号处理设备逐个分类识别。此时，所述的指令识别设备对信号处理设备逐个确定的汉字笔画类型形成有序组合，预设的常用汉字词库已对多个汉字笔画所形成的有序组合进行汉字或词语编码，利用汉字书写的笔画有序性能够将组合与常用汉字或词语之间构建一一对应映射关系，进而所述的实时显示设备也能够将编码出的汉字或词语实时显示在屏幕界面上。由此，可实现受试者向屏幕界面的汉字输入，为受试者提供与外界进行汉语言交互的沟通方式。
此外，对于大脑认知功能水平较高且对语言文字沟通需求丰富的疾病人群，需要的常用汉字词库所涉及文字相应增多。汉字作为表意文字，汉字拆解后的字形符号单元在空间中的排布位置和组合构成具有明确语义特征的单音节文字。也就是说，汉字具有字形符号的空间组合性，为增加汉字或词语的可扩展性，本发明在以多个汉字笔画构成有序笔画组合形成具有一一对应映射关系的汉字或词语编码以外，还包括以多个汉字部首偏旁构成的有序部首组合，以及包括由完整的汉字字形独立构成的明确汉字。具体而言，汉字作为二维平面字形结构，本发明对独体字，如“口”、“月”“天”及“一”、“二”、“三”等，在独立的田字格中书写时不具有可拆分性，不具有可拆分偏旁的完整的整块汉字(即汉字二维构型)，可进行直接书写想象，并对完整的汉字字形书写想象期间所诱导脑电信号进行信号处理并确定分类，继而指令识别设备根据独立的完整汉字字形在“常用汉字词库”数据库信息检索后得到单个汉字映射结果，输出该第二汉字书写指令的完整汉字以显示。
此外，汉字字形结构和其拆解后的字形符号单元可分为部首偏旁，也可进一步细分为基本单元汉字笔画，尽管部首“亻”由笔画撇“丿”和笔画竖“丨”构成，但在二维平面中的书写空间和视觉呈现要求上，部首偏旁的完整字形结构形式(如部首“亻”)与独立的基本单元笔画在二维平面中的书写空间和视觉呈现要求，如单独书写一个汉字笔画撇“丿”，存在差异。因此，大脑对文字认知加工中对部首偏旁的书写运动模式存储(如书写部首“亻”)及其所相应具有的脑电信号特征并非源自两种基本单元汉字笔画的书写运动模式存储(书写笔画撇“丿”和笔画竖“丨”)及其所相应具有的两种脑电信号特征的简单拼接。也就是说，尽管部首偏旁由基本汉字笔画进一步组合构成，但在脑电信号水平，不同的汉字部首偏旁类型所诱导产生的脑电信号特征等价于不同笔画类型所诱导产生的脑电信号。据此，在以汉字部首偏旁形式形成有序组合进行意图汉字的文字书写时，对不同部首偏旁类型所诱导产生的脑电信号特征进行直接分类可形成更快速的组合形式和复杂丰富的常用汉字或词语范围。具体的，对于汉字的可进一步拆解为部首偏旁的合体字，在构成常见汉字库的有序组合时，将按照二分形式构建有序部首偏旁组合与汉字的一一对应映射关系。举例而言，对左—右排布构型的汉字，如“汉”，则一分为二拆解为“氵”和“又”。按照汉字书写约定俗称的规则，先书写左侧部件“氵”，再书写右侧部件“又”。即患者书写想象“氵”，信号采集设备将获取书写想象“氵”期间的脑电信号，后进行预处理，并分类。指令识别设备向实时显示设备输出第一汉字书写指令显示“氵”，受试者获取实时解码分类结果后，患者继续书写想象“又”，信号采集设备将获取书写想象“又”期间的脑电信号，后进行预处理，并分类。指令识别设备向实时显示设备输出第一汉字书写指令显示“又”，此时指令识别设备根据汉字部件“氵”及“又”这一有序部首偏旁组合在常见汉字词库中检索获得唯一映射汉字并形成第二汉字书写指令“汉”，即实时显示设备将汉字“汉”显示于屏幕中，实现文字输出。又例如，对于上—下排步构型的汉字，如“字”，则一分为二拆解为“宀”及“子”，按照汉字书写约定俗称的规则，先书写上部部件“宀”，再书写下部部件“子”。即患者书写想象“宀”。信号采集设备将获取书写想象“宀”期间的脑电信号，后进行预处理，并分类。指令识别设备向实时显示设备输出第一汉字书写指令显示“宀”，受试者获取实时解码分类结果后，患者继续书写想象“子”。信号采集设备将获取书写想象“子”期间的脑电信号，后进行预处理，并分类。指令识别设备向实时显示设备输出第一汉字书写指令显示“子”，此时指令识别设备根据汉字部件“宀”及“子”，这一有序部首偏旁组合在常见汉字词库中检索获得唯一映射汉字并形成第二汉字书写指令“字”。即实时显示设备将汉字“字”显示于屏幕中，实现文字输出。类似地，又如“美”，则一分为二拆解为“”和“大”，又如“恙”，则一分为二拆解为“/>”和“心”；如包围形式的汉字构型，如“因”，则一分为二拆解为“囗”和“大”，按照汉字书写约定俗称的规则，先书写外部部件“囗”，再书写内部部件“大”。
此外，为完善以汉字笔画书写想象构建隐蔽汉语言通讯系统，系统还支持对在线系统任务解码结果：判定错误并删除与系统停止运行等操作的汉字书写任务想象。也就是说，本公开的技术方案，不仅仅识别与汉字书写直接相关的脑点信号类别的识别，同时也支持如删除汉字以及停止运行系统等与汉字的编辑以及系统操作相关的脑电信号类别的识别。
鉴于一般受试者书写时均为右手优势，即习惯使用右手写字，系统以左侧肢体的运动想象作为对操作任务的识别与解码。人类左手在宏观解剖结构上是右手的镜像，在双手执行方向性运动中，研究观察到神经活动与内在坐标系(即镜像的关节运动)相关，而非对应于外部坐标系(即根据同一空间方向)。在水平方向运动任务中，如从左至右的水平手部摆动运动任务，虽然外部坐标系即运动轨迹相同(从左至右)，但是，在左、右手部关节的运动中将呈现相反结果—右手的腕关节将执行桡侧向尺侧偏转，左手腕关节将执行尺侧向桡侧偏转，因此将在神经活动中存在差异。对于单一效应器而言，系统需识别目标数量越多，解码准确性越低。因此，增加更多的效应器在实现多目标任务识别中，将大幅度提高解码准确性，而执行同一外部坐标系方向运动简化对受试者训练内容，即提高解码效率精度的同时，不增加受试者训练难度。在另一优选的实施例中，当受试者执行左侧肢体的运动想象时，其中，左手水平方向从左至右的运动想象即表示通讯系统停止运行，左手水平方向从右至左的运动想象即表示删除在线系统任务解码结果。1、在离线系统中，通过测试集，将对采集到的脑电信号进行离线处理、执行任务预分类，测试优化不同类型任务识别准备率>70％后，开始在线系统任务解码。2、在线系统中，将对采集到的脑电信号实时在线处理并以执行任务预分类，以确定任务的类型，当确定当前任务为右手运动想象后，再进行笔画书写想象任务的信号分类和解码。当确定当前任务为左手水平方向从左至右的运动想象即表示通讯系统停止运行，显示设备显示的汉字词字体颜色改变以提示文字输出结束。当确定当前任务为左手水平方向从右至左的运动想象即表示删除最近一次信号处理设备识别的脑电信号类型结果。
从而，本公开的技术方案对不同的汉字可观察到具有通用的汉字拆解图形字素，通过多个字素的有序组合，在常用汉字库中建立字素组合与汉字结果的一一对应关系，建立有效且丰富的文字库满足患者的语言沟通需求。并且本公开的技术方案还支持用户对删除汉字等编辑操作以及停止系统运行等操作进行想象，从而更加方便用户的使用。
可选地，根据脑电信号类别确定对应的汉字书写指令的操作，包括：根据脑电信号类别确定第一汉字书写指令，其中第一汉字书写指令与汉字书写想象任务对应的汉字笔画、部首偏旁或完整的汉字字形对应。
正如上面所述的，根据本公开的技术方案，汉字书写想象任务的类别可以具体划分为多个不同类型的类别，例如包括(但不限于)：汉字笔画类别、部首偏旁类别以及完整的汉字字形类别。从而指令识别设备可以根据脑电信号类别确定相应的汉字书写想象任务，从而进一步确定用户汉字书写想象的汉字笔画、部首偏旁或完整的汉字字形，从而确定与之对应的汉字书写指令(即第一汉字书写指令)。
例如，当用户在汉字书写想象的过程中进行笔画横“—”的书写想象时，信号处理设备确定与脑电信号对应的脑电信号类别，从而指令识别设备根据所确定脑电信号类别确定用户是针对笔画横“—”进行的书写想象，从而确定相应的第一汉字书写指令。从而当指令识别设备将该第一汉字书写指令传输至实时显示设备时，实时显示设备根据该汉字书写指令在屏幕上实时显示笔画横“—”。此外，指令识别设备也可以根据脑电信号类别识别出其他的笔画对应的第一汉字书写指令，并将第一汉字书写指令传输至实时显示设备，从而实时显示设备可以实时显示相应的汉字笔画。
再例如，当用户在汉字书写想象的过程中进行部首“亻”的书写想象时，信号处理设备确定与脑电信号对应的脑电信号类别，从而指令识别设备根据所确定脑电信号类别确定用户是针对部首“亻”进行的书写想象，从而确定相应的第一汉字书写指令。从而当指令识别设备将该第一汉字书写指令传输至实时显示设备时，实时显示设备根据该第一汉字书写指令在屏幕上实时显示部首“亻”。此外，指令识别设备也可以根据脑电信号类别识别出其他的部首偏旁对应的第一汉字书写指令，并将第一汉字书写指令传输至实时显示设备，从而实时显示设备可以实时显示相应的部首偏旁。
再例如，当用户在汉字书写想象的过程中进行完整的汉字字形“口”的书写想象时，信号处理设备确定与脑电信号对应的脑电信号类别，从而指令识别设备根据所确定脑电信号类别确定用户是针对完整的汉字字形“口”进行的书写想象，从而确定相应的第一汉字书写指令。从而当指令识别设备将该第一汉字书写指令传输至实时显示设备时，实时显示设备根据该第一汉字书写指令在屏幕上实时显示完整的汉字字形“口”。此外，指令识别设备也可以根据脑电信号类别识别出其他的完整的汉字字形对应的第一汉字书写指令，并将第一汉字书写指令传输至实时显示设备，从而实时显示设备可以实时显示相应的完整的汉字字形。
从而，通过这种方式，指令识别设备可以基于脑电信号类别确定与之一一对应的汉字信息并传输至实时显示设备进行显示。
进一步可选地，根据脑电信号类别确定对应的汉字书写指令的操作，还包括：根据连续多个脑电信号的脑电信号类别确定第二汉字书写指令，其中第二汉字书写指令与根据多个脑电信号的脑电信号类别所确定的连续多个汉字笔画、部首偏旁和/或完整的汉字字形所构成的汉字或词语对应。
具体地，人类的语言加工至书写成文包括一个中央“语言”网络，以及周围“书写运动”网络。不可忽视，以不同母语使用者大脑中央“语言”网络信息加工路径存在差异。表音语言系统为独立字母的线性排列拼构成为单词，继而作为一个整体定义语义和语音；表意语言系统如汉字，以笔画构成部首偏旁组成完整正字的汉字字形结构字块—作为单一整体定义语义，字形整体结构对汉字的识别作用显著，汉字相较于字母型语言为基础的通用语言系统在fMRI研究中观察到额外脑区募集，体现出汉字所需额外的复杂字形分析需求。也就是说，在汉语使用人群的大脑语言系统组成中对构成完整图形汉字中的构字部件，如笔画、部首偏旁以及完整字形具有额外的图形存储库，个体可依据自主需求检索、调用大脑中对不同类型笔画、部首偏旁以及完整字形的长期记忆特征并形成工作记忆与执行输出。利用这样的特殊类型信息可对不同类型的笔画、部首偏旁以及完整字形所诱导神经信号中的差异特征进行分类识别。将受教育成人长期习得的汉字书写能力及学习约定的汉字构成中笔画有序组合规则知识作为受疾病打击人群使用语言通讯脑机接口系统简便可及的方式，并且所设置任务所产生的脑电信号范围与强度增强均有益于系统快速准确地分类识别。同时，本系统所使用对受试者执行汉字及其可拆解单元，即字形符号的书写想象分类，相较于分类字母，以有序的笔画组合形式输入构成汉字，或可以有序的部首偏旁组合形式输入构成汉字，或可以完整的汉字字形形式直接识别输入汉字，更加贴合汉语言系统特点且并不增加受试者的学习训练负荷，不易产生疲劳和枯燥的心理感受。
汉字尽管数量庞大，但其特点在于一笔一画所构成二维平面上复杂字形拓扑结构，汉字构型由固定的笔画依次序组合形成。依据单字的规则笔画顺序，逐次序输入系统，相较于拼音，前者重码率更低，通讯系统构成汉字快捷准确。进一步，用户使用系统所需进行学习训练的内容简化为横“—”、竖“丨”、撇“丿”、捺“乀”、折“フ”。将书写汉字的复杂笔画字数要求转化为以五种基本笔画进行组合，提高输入效率。同时，围绕使用人群如ALS等患者的基本生活表达诉求形成仅以五种笔画的次序组合规律的常用汉字词库。以不同笔画的组合对应于不同的汉字或词语，实现有序的笔画组合与目标汉字词汇呈一一对应映射关系。这样，即便通过数据库所包含的有限数量的汉字，对于日常的简单交流也依旧适用。除此以外，本系统所构建的常用汉字词库还可以基于对部首偏旁或者是完整的汉字字形的书写想象，与常用汉字词库中的汉字词汇呈一一对应映射关系。
其中，为了进行汉字编码，本公开的技术方案建立了“常用汉字词库”。该“常用汉字词库”包含日常常用的可选汉字，包括不同笔画的组合对应于不同的汉字，以及不同的部首偏旁组合对应于不同的汉字，以及不同的完整汉字字形对应相应的独立汉字。数据库面向存在疾病的患者所使用，选择包含的汉字词应用于日常生活所必需，有序的组合和完整汉字字形与目标汉字词汇呈一一且唯一指向的对应映射关系。同样地，有次序的部首偏旁组合与目标汉字词汇同样呈一一且唯一指向的对应映射关系。同样地，不同的完整的汉字字形也与不同的独立汉字一一对应映射关系。关于对应关系，作为一个示例，尽管相同的笔画，可能对应于多种汉字，如“—、丿、乀”，既对应汉字“大”，又对应汉字“丈”，而在本公开的技术方案建立的“常用汉字词库”中，上述笔画组合仅对应于其中的“大”字，而另一个汉字则以常用词汇“丈夫”的笔画组合囊括于该数据库中。其次，所需的笔画组合均为小于及等于五个笔画以提高笔画组合汉字词的输出效率。最后，对汉字词语的笔画组合构建映射的要求为两个字构成词语的第一个字的首两笔顺以及第二个字的首三笔顺，如意图汉字词“丈夫”所对应数据库中的笔画次序组合为“横、撇、横、横、撇”，也就是该笔画次序组合所对应唯一选择即为“丈夫”，即“丈”前两笔顺和“夫”的前三笔顺。例如，意图汉字为“大”，则在信息采集设备中依次采集笔画横(即，“—”)、撇(即，“丿”)和捺(即，“乀”)的书写想象神经电信号，信号处理设备处理脑电信号并分类识别输出汉字笔画横(即，“—”)、撇(即，“丿”)和捺(即，“乀”)的分类结果。信号处理设备获取以上连续书写想象所产生的脑电信号并连续的依次确认得到多个有序笔画结果，指令识别设备根据依次接收信号处理设备识别的分类结果并依次形成第一汉字书写指令，实时显示设备接收第一汉字书写指令并显示，同时，指令识别设备将所获得的多个有序笔画视为一个组合根据“常用汉字词库”数据库信息得到笔画组合与目标汉字的一一映射结果并形成第二汉字书写指令，并将第二汉字指令输入实时显示设备进行实时显示。例如，当意图汉字词语为“丈夫”，数据库中包含笔画次序组合—横、撇、横、横、撇所对应唯一选择即为“丈夫”，即“丈”前两笔顺和“夫”的前三笔顺。在设备提示已开始识别后，受试者连续的、依次逐个书写想象汉字笔画字符横(即，“—”)、撇(即，“丿”)、横(即，“—”)、横(即，“—”)和撇(即，“丿”)。同步地，在信息采集设备中连续得到笔画横(即，“—”)、撇(即，“丿”)、横(即，“—”)、横(即，“—”)和撇(即，“丿”)的书写想象信号。以在线任务分类为例，信号处理设备通过滑动窗首先确定的脑电信号类型为汉字笔画横(即，“—”)，信号处理设备确定脑电信号分类结果后将同时将当前分类结果输入指令识别设备，后者形成第一汉字书写指令并输入实时显示设备—实时显示设备显示汉字笔画横(即，“—”)这一字形，同时指令识别设备将对系统开始识别后从信号处理设备确认得到的汉字笔画视为一个有序的组合，直至接收到信号处理设备分类到“停止识别”这一分类结果。指令识别设备根据“常用汉字词库”数据库信息得到当前有序笔画组合与目标汉字的一一对应的映射结果，并形成第二汉字书写指令输入实时显示设备进行实时显示。也就是说，当系统开始识别后，指令识别设备接收到第一个脑电信号分类结果为汉字笔画横(即，“—”)，在“常用汉字词库”数据库信息中组合汉字笔画横(即，“—”)映射结果为汉字“一”，则将第二汉字书写指令“一”输入实时显示设备进行实时显示，也就是在实时显示设备接收第一汉字书写指令显示脑电信号分类结果汉字笔画横(即，“—”)这一字形结果后，再次接收第二汉字书写指令并显示汉字“一”于显示屏幕上。
由于受试者意图书写的汉字为“丈夫”，则随后，信号处理设备通过滑动窗又确定一脑电信号类型为汉字笔画撇(即，“丿”)，信号处理设备确定脑电信号分类结果后同时将当前分类结果输入指令识别设备，后者形成第一汉字书写指令并输入实时显示设备—实时显示设备显示汉字笔画撇(即，“丿”)这一字形，同时指令识别设备在系统开始识别后连续获得两个汉字笔画结果，即汉字笔画横(即，“—”)和汉字笔画撇(即，“丿”)，指令识别设备将汉字笔画横(即，“—”)和汉字笔画撇(即，“丿”)视为一个有序地组合在“常用汉字词库”数据库信息中对组合汉字笔画横(即，“—”)和汉字笔画撇(即，“丿”)所获得的一一映射结果进行检索，在“常用汉字词库”数据库信息中组合汉字笔画横(即，“—”)和汉字笔画撇(即，“丿”)映射结果为汉字“厂”则将第二汉字书写指令“厂”输入实时显示设备进行实时显示，也就是在实时显示设备接收第一汉字书写指令显示脑电信号分类结果汉字笔画撇(即，“丿”)这一字形结果后，再次接收第二汉字书写指令并显示汉字“厂”于显示屏幕上。
由于受试者意图书写的汉字为“丈夫”，则随后，信号处理设备通过滑动窗又确定一脑电信号类型为汉字笔画横(即，“—”)，信号处理设备确定脑电信号分类结果后将同时将当前分类结果输入指令识别设备，后者形成第一汉字书写指令并输入实时显示设备—实时显示设备显示汉字笔画横(即，“—”)这一字形，同时指令识别设备在系统开始识别后连续获得三个汉字笔画结果即汉字笔画横(即，“—”)，汉字笔画撇(即，“丿”)和汉字笔画横(即，“—”)，指令识别设备将汉字笔画横(即，“—”)，汉字笔画撇(即，“丿”)和汉字笔画横(即，“—”)视为一个有序的组合在“常用汉字词库”数据库信息中对组合汉字笔画所获得的一一映射结果进行检索，在“常用汉字词库”数据库信息中组合汉字笔画横(即，“—”)，汉字笔画撇(即，“丿”)和汉字笔画横(即，“—”)不存在映射结果，则第二汉字书写指令为空白田字格，也就是在实时显示设备接收第一汉字书写指令显示脑电信号分类结果汉字笔画横(即，“—”)这一字形结果后，再次接收第二汉字书写指令并显示一空白田字格于显示屏幕上。
由于受试者意图书写的汉字为“丈夫”，则随后，信号处理设备通过滑动窗又确定一脑电信号类型为汉字笔画横(即，“—”)，信号处理设备确定脑电信号分类结果后将同时将当前分类结果输入指令识别设备，后者形成第一汉字书写指令并输入实时显示设备—实时显示设备显示汉字笔画横(即，“—”)这一字形，同时指令识别设备在系统开始识别后连续获得四个汉字笔画结果即汉字笔画横(即，“—”)，汉字笔画撇(即，“丿”)，汉字笔画横(即，“—”)和汉字笔画横(即，“—”)，指令识别设备将汉字笔画横(即，“—”)，汉字笔画撇(即，“丿”)，汉字笔画横(即，“—”)和汉字笔画横(即，“—”)视为一个有序的组合在“常用汉字词库”数据库信息中对组合汉字笔画所获得的一一映射结果进行检索，在“常用汉字词库”数据库信息中组合汉字笔画横(即，“—”)，汉字笔画撇(即，“丿”)，汉字笔画横(即，“—”)和汉字笔画横(即，“—”)映射结果为汉字“大二”则将第二汉字书写指令“大二”输入实时显示设备进行实时显示，也就是在实时显示设备接收第一汉字书写指令显示脑电信号分类结果汉字笔画横(即，“—”)这一字形结果后，再次接收第二汉字书写指令并显示词语“大二”于显示屏幕上。
由于受试者意图书写的汉字为“丈夫”，则随后，信号处理设备通过滑动窗又确定一脑电信号类型为汉字笔画撇(即，“丿”)，信号处理设备确定脑电信号分类结果后将同时将当前分类结果输入指令识别设备，后者形成第一汉字书写指令并输入实时显示设备—实时显示设备显示汉字笔画撇(即，“丿”)这一字形，同时指令识别设备在系统开始识别后连续获得五个汉字笔画结果即汉字笔画横(即，“—”)，汉字笔画撇(即，“丿”)，汉字笔画横(即，“—”)，汉字笔画横(即，“—”)和汉字笔画撇(即，“丿”)，指令识别设备将汉字笔画横(即，“—”)，汉字笔画撇(即，“丿”)，汉字笔画横(即，“—”)，汉字笔画横(即，“—”)和汉字笔画撇(即，“丿”)视为一个有序的组合在“常用汉字词库”数据库信息中对组合汉字笔画所获得的一一映射结果进行检索，在“常用汉字词库”数据库信息中组合汉字笔画横(即，“—”)，汉字笔画撇(即，“丿”)，汉字笔画横(即，“—”)，汉字笔画横(即，“—”)和汉字笔画撇(即，“丿”)映射结果为汉字“丈夫”则将第二汉字书写指令“丈夫”输入实时显示设备进行实时显示，也就是在实时显示设备接收第一汉字书写指令显示脑电信号分类结果汉字笔画撇(即，“丿”)这一字形结果后，再次接收第二汉字书写指令并显示词语“丈夫”于显示屏幕上。
由于受试者得到意图书写的汉字“丈夫”则选择停止汉字识别，此时信号处理设备识别确认任务分类为停止，并将分类结果输入至指令识别设备。指令识别设备停止对数据库检索，此时实时显示设备显示汉字指令“丈夫”的字体颜色改变以提示受试者停止汉字字符输入并确认选择。例如，在信号处理设备错误识别脑电信号类型，或是受试者错误输入汉字笔画时，受试者需要对所识别的脑电信号类型结果进行删除操作，受试者可对最近一次实时显示的第一汉字书写指令结果进行删除操作。
可选地，进一步参考图1和图3所示，信号处理设备包括：信号预处理模块，用于对所采集的脑电信号进行预处理；特征提取模块，用于对预处理后的脑电信号进行特征提取，生成相应的脑电信号特征；以及任务分类模块，用于根据脑电信号特征确定相应的脑电信号类别。其中任务分类模块包括：弱分类单元，用于根据脑电信号特征确定与脑电信号类别相关的弱分类信息；离线任务分类单元，用于在汉字书写想象任务为离线的书写想象任务的情况下，根据弱分类信息确定脑电信号类别，其中在离线的书写想象任务下，脑电信号为通过确切的信号起止位置所确定的脑电信号；以及在线任务分类单元，用于在汉字书写想象任务为在线的书写想象任务的情况下，根据弱分类信息确定脑电信号类别，其中在在线的书写想象任务下，脑电信号为采用滑动窗所提取的相应时隙的脑电信号。
具体地，图3示出了本公开实施例所述的基于汉字书写想象的隐蔽汉语言处理系统的特征提取模块和任务分类模块的示意图。根据本公开的技术方案，任务分类模块首先通过弱分类单元根据脑电信号特征确定与脑电信号类别相关的弱分类信息，然后再进一步地通过离线任务分类单元或在线任务分类单元根据弱分类信息确定与脑电信号对应的脑电信号类别。从而本公开的技术方案通过先进性弱分类，然后再进行确定性分类的方式，能够实现更加准确地分类操作。
此外，本公开所述的信号处理设备可以根据两种不同的脑电信号类别以两种不同的方式进行脑电信号的分类。一种是根据与离线的书写想象任务对应的脑电信号，通过离线任务分类单元，针对与离线的书写想象任务对应的脑电信号进行分类。一种是根据与在线的书写想象任务对应的脑电信号，通过在线任务分类单元，针对与在线的书写想象任务对应的脑电信号进行实时分类。
具体地，对于在线系统和离线系统而言，信号分类的方式是不一样的。所谓的离线系统，按照上文所述的书写想象任务训练方法，对受试者进行汉字笔画书写想象训练。同时，在离线系统中对应任务下信号的起始位置基本是固定的，例如，离线系统预先设置受试者将要重复书写的、用于构成通讯交流汉字词的汉字笔画类型，并使受试者了解每一笔画类型书写想象的起止时间。在一示例性的实施例中，系统获知受试者创建书写想象某一个汉字笔画的任务，受试者完成视觉辅助的跟随书写想象该对应的一个汉字笔画，受试者执行跟随书写想象任务以及其所诱导脑电信号的起始位置和结束位置是明确的。在简化的以五种汉字笔画书写想象构成隐蔽汉语言通讯系统中，离线系统对五种汉字笔画进行重复且足够数量训练，所诱导脑电信号构成离线系统测试集。离线系统对测试集信号进行分类识别。此外，离线系统也支持对部首偏旁、汉字二维构型的汉字书写想象的脑电信号进行分类识别，还支持对删除操作以及系统停止运行操作的脑电信号进行分类识别。只不过脑电信号的起始位置和结束位置是明确的。正如图2所示，根据本公开的技术方案，汉字书写想象任务的类别又可以具体划分为多个不同类型的类别，例如包括(但不限于)：汉字笔画类别、部首偏旁类别、汉字二维构型类别、删除操作类别以及停止操作类别。因此在能够明确脑电信号的起始位置和结束位置的情况下，离线系统可以对上述类别对应的脑电信号进行分类识别。
在在线系统中，无法知道当前任务下信号是何时产生的，例如受试者创建的任务是连续的多个汉字笔画的书写想象任务，即个体按照正常汉字书写习惯进行一笔一画的、非连笔的多笔画连续书写想象，此时系统无法明确各个笔画书写任务的起止位置。也就是说，对于在线系统下的任务，其难以像离线系统那样有明确的信号产生以及信号结束的时间界限，基于此，本发明采用滑动窗的设计来提取不同时隙下的信号数据并进行分类。滑动窗的设计如图4A和图4B所示，如图中所示的，采用多个滑动窗提取多个时隙的信号数据，相邻时隙下的信号数据有时候会具有重叠的部分。
因而本发明中，对于离线任务和在线任务，本发明设置了不同的分类算法来对相应任务的信号进行分类识别。
从而，通过这种方式，本公开所述的汉语言处理系统能够灵活地在不同的场景下进行使用，并且能够实现更加准确地识别。其中，在本实施例中，信号采集设备所采集的脑电信号可以为脑电信号矩阵其中C和T为脑电信号矩阵的维度。
此外，信号处理设备还包括信号预处理模块和特征提取模块。具体地，信号预处理模块用于实现对采集的脑电信号进行信号预处理，实现对信号的滤波。在受试者进行书写想象时，其头皮脑电信号对应的频带主要在极低频至40Hz之间，在该主要频带下，信号预处理模块根据不同受试者个体的主要响应频带的差异，进行个体特异化频带滤波。其中，在本实施例中，针对所采集的脑电信号矩阵X进行预处理后的脑电信号矩阵为关于预处理模块将在后文详细说明。
特征提取模块用于实现对预处理后的脑电信号进行特征提取。特征提取的目的在于如何最大化不同类别信号之间的差异，进而实现有效的信号特征提取。为提取到有效的脑电信号特征，以便于任务分类模块根据脑电信号特征进行分类识别。
进一步地，参考图2所示，根据本实施例所述的系统，弱分类单元包括多个二分类器1～b，其中二分类器的类别对应于不同的脑电信号类别。特征提取模块包括多个特征提取单元1～b，并且特征提取单元1～b分别与不同的二分类器1～b对应。并且其中，多个特征提取单元1～b接收预处理后的脑电信号，分别对脑电信号进行特征提取，并将所提取的脑电信号特征x1～xb传输至相应的二分类器；以及多个二分类器根据所接收的脑电信号特征，基于一对一分类法，确定与脑电信号对应的弱分类信息。
具体地，在本实施例中，信号处理设备能够识别包括多个不同类型的类别，例如包括(但不限于)：汉字笔画类别、部首偏旁类别、完整的汉字字形类别、删除操作类别以及停止操作类别。假设以上不同类型的类别的总数是K，从而与脑电信号类别对应的类别以及各个类别对应的汉字书写想象任务如下所示：
表1
从而，在本实施例中，弱分类单元包括b个二分类器，并且b个二分类器中每个二分类器的两个类别分别对应于以上K个类别中的两个不同类别。例如二分类器1用于对应的两个类别是C1和C2，二分类器2对应的两个类别是C1和C3，二分类器3对应的两个类别是C1和C4，...，以及二分类器b对应的两个类别是CK-1和CK。即，弱分类单元的b个二分类器所对应的类别，涵盖了所有的两个不同类别的组合。从而b个二分类器可以通过一对一分类(one-to-one)的策略实现弱分类操作。例如，参考图2所示，各个二分类器1～b输出的二分类信息Q1～Qb共同构成了与脑电信号矩阵X对应的弱分类信息。
由于各个二分类器1～b对应的类别不同，因此为了使得各个二分类器1～b能够更加准确地进行分类，本实施例部署了b个特征提取单元1～b分别与不同的二分类器1～b对应，并且针对不同的二分类器1～b分别对预处理后的脑电信号矩阵X{B}进行特征提取，从而提取出脑电信号特征x1～xb。从而各个二分类器1～b可以根据相应的脑电信号特征x1～xb分别进行分类操作。从而本实施例的技术方案针对不同的二分类器1～b分别设置相应的特征提取单元1～b。从而相对于多个二分类器使用同一个脑电信号特征来说，本公开的技术方案的弱分类单元能够实现对脑电信号更准确地分类。
此外，进一步可选地，信号预处理模块用于执行以下操作：对于采集到的脑电信号矩阵基于不同用户的响应频带的差异，进行个体特异化频带滤波，得到预处理后的脑电信号矩阵X{B}，其中C和T为脑电信号矩阵的维度。
进一步可选地，特征提取模块的第j个特征提取单元(j＝1～b)用于执行以下操作：
确定预处理后的脑电信号矩阵X{B}的协方差矩阵P：
根据第j个特征提取单元的信号投影矩阵和协方差矩阵P，提取脑电信号矩阵的特征：
其中xj表示第j个特征提取单元所提取的脑电信号特征，M表示脑电信号特征xj的特征的对数，以及diag(A)表示返回矩阵A的对角线元素并构成向量。
从而，对于从特征提取单元1～特征提取单元b的每一个特征提取单元j，都按照以上方式进行特征提取。由于对于不同的特征提取单元，信号投影矩阵Wj也不同，因此可以提取不同的脑电信号特征xj。
此外，每个特征提取单元j(j＝1～b)的信号投影矩阵Wj可以按照以下操作确定：
步骤1.构建脑电信号矩阵的样本集其中i＝1或2。其中/>为与第j个二分类器(即二分类器j)的一个类别对应的脑电信号矩阵(n＝1～N1)；/>为与第j个二分类器(即二分类器j)的另一个类别对应的脑电信号矩阵(n＝1～N2)。
以特征提取单元1为例，其对应的二分类器1的两个类别分别是C1和C2。从而，(即，/>)为与类别C1对应的导电信号矩阵(即与笔画横“一”对应的脑电信号矩阵)的样本集。/>(即，/>)为与类别C2对应的导电信号矩阵(即与笔画横“一”对应的脑电信号矩阵)的样本集。对于其他的特征提取单元也以此类推，此处不再赘述。
步骤2.利用图1所示的信号预处理模块对样本集中的脑电信号矩阵进行预处理，从而生成预处理后的脑电信号矩阵阵/>即，信号预处理模块按照如上所述的方式，根据用户的响应频带，对各个脑电信号矩阵/>进行相应子带的滤波，从而得到相应的预处理后的脑电信号矩阵/>即经过特异化频带滤波预处理后的信号矩阵/>
步骤3.针对预处理后获得的每一个信号矩阵计算信号矩阵/>的协方差矩阵：
步骤4.分别计算的均值/>和/>的均值/>作为二分类器j的两个不同类别的脑电信号矩阵样本的协方差均值：
步骤5.构建信号间差异最大化模型并计算信号投影矩阵Wj：
从而通过以上操作，可以针对各个特征提取单元j，确定相应的信号投影矩阵Wj。
此外，进一步可选地，多个二分类器为预先训练的基于LASSO回归模型的二分类器，并且弱分类单元用于执行以下操作：利用第j个二分类器对第j个特征提取单元提取的脑电信号特征xj进行二分类，确定与第j个二分类器对应的二分类信息，作为弱分类信息的一部分。
具体地，参考图2所示，二分类器1～二分类器b均为预先训练的基于LASSO回归模型的二分类器。例如对于二分类器1～二分类器b中的任意二分类器j，可以基于以下公式基于相应的脑电信号特征xj进行二分类操作：
其中，zj表示与脑电信号特征xj对应的标签，bj为2M×1的向量，表示与第j个分类器对应的线性拟合的映射矩阵，λj和αj为第j个二分类器的调节系数。
从而二分类器1～二分类器b可以输出各自的二分类信息Q1～Qb，从而构成弱分类信息。其中，二分类信息Qj(即Q1～Qb)例如可以是二维向量，该二维向量的元素为分别与相应二分类器的两个类别对应的参数值。
可选地，信号预处理模块用于执行以下操作：对于采集到的脑电信号矩阵利用与用户的响应频带匹配的滤波器，进行个体特异化频带滤波，得到预处理后的脑电信号矩阵X{B}，其中C和T为所述脑电信号矩阵的维度。该滤波器可以通过以下操作构建：
首先，获取用户的与不同的汉字书写想象任务对应的样本脑电信号矩阵X′1～X′K。例如，样本脑电信号矩阵X′1与用户对表1中类别1对应的横“一”进行汉字书写想象的脑电信号对应；样本脑电信号矩阵X′2与用户对表1中类别2对应的横“丨”进行汉字书写想象的脑电信号对应；以此类推，样本脑电信号矩阵X′K与用户对表1中类别K对应的停止系统运行的操作进行汉字书写想象的脑电信号对应。
然后，分别提取与各个样本脑电信号矩阵X′1～X′K对应的频谱信息。例如可以通过傅里叶变换生成分别与样本脑电信号矩阵X′1～X′K对应的频谱信息SP1～SPK。
根据所述频谱信息，针对预先设定的各个频带，确定各个样本脑电信号与每个频带对应幅值信息。例如，可以预先设定在用户脑电信号频谱范围内预先设定多个频带1～L。然后根据各个样本脑电信号矩阵X′1～X′K对应的频谱信息SP1～SPK，确定各个样本脑电信号矩阵X′1～X′K在各个频带1～L的幅值信息。
例如：
样本脑电信号矩阵X′1在频带1的幅值为A1,1；在频带2的幅值为A1,2；...；以此类推，在频带L的幅值为A1,L。
样本脑电信号矩阵X′2在频带1的幅值为A2,1；在频带2的幅值为A2,2；...；以此类推，在频带L的幅值为A2,L。
以此类推，样本脑电信号矩阵X′K在频带1的幅值为AK,1；在频带2的幅值为AK,2；...；以此类推，在频带L的幅值为AK,L。
其中样本脑电信号矩阵在各个频带的幅值，例如可用在该频带的幅值均值来表示。
然后针对每个频带，计算各个样本脑电信号的幅值信息的方差。
例如针对频带1，计算各个样本脑电信号的幅值信息A1,1、A2,1、A3,1、...、AK,1的方差：
其中，为各个样本脑电信号在频带1中的幅值信息A1,1～AK,1的方差，/>为各个样本脑电信号在频带1中的幅值信息A1,1～AK,1的均值。
例如针对频带2，计算各个样本脑电信号的幅值信息A1,2、A2,2、A3,2、...、AK,2的方差：
其中，为各个样本脑电信号在频带2中的幅值信息A1,2～AK,2的方差，/>为各个样本脑电信号在频带2中的幅值信息A1,2～AK,2的均值。
以此类推，针对频带L，计算各个样本脑电信号的幅值信息A1,L、A2,L、A3,L、...、AK,L的方差：
其中，为各个样本脑电信号在频带L中的幅值信息A1,L～AK,L的方差，/>为各个样本脑电信号在频带L中的幅值信息A1,L～AK,L的均值。
基于所计算的方差，确定所述用户的响应频带；以及
具体地，方差值越大，则意味着对应的频带，不同样本脑电信号的幅值差异越大。从而，方差值大的频带，可以视为用户的响应频带。具体地，可以将方差大于预定阈值的频带视为用户的响应频带。或者，可以将计算得到的方差值输入至预先设置的二分类模型(例如逻辑回归)，从而确定相应的频带是否是用户的响应频带。
基于所述用户的响应频带构建所述滤波器，其中所述滤波器用于通过与所述用户的响应频带对应的脑电信号分量且滤除其他频带的脑电信号分量。
从而在具体的应用过程中，可以利用该滤波器对用户采集的脑电信号矩阵脑电信号矩阵进行个体特异化频带滤波，得到预处理后的脑电信号矩阵X{B}。
从而通过这种方式，本实施例可以将特征信息明显的频带分量从脑电信号矩阵X中提取出来，从而可以更加准确地确定用户的书写想象任务。
可选地，离线任务分类单元用于根据弱分类信息进行投票，确定脑电信号类别。即，离线任务分类单元接收到弱分类信息Q1～Qb之后，可以根据各个二分类信息Q1～Qb进行投票操作，从而根据投票操作确定与所采集的脑电信号矩阵X对应的脑电信号类别。具体地，离线任务分类单元可以根据弱分类信息Q1～Qb确定各个二分类器1～j所确定的与脑电信号矩阵X对应的类别，然后离线任务分类单元可以进一步进行统计，从而将各个二分类器1～b所确定的次数最多的类别，作为脑电信号矩阵的类别。
可选地，在线任务分类单元用于：将弱分类信息进行融合，生成融合分类信息；将所述融合分类信息输入至神经网络；以及利用softmax回归模型根据神经网络输出的信息确定脑电信号类别。
具体地，在线任务分类单元可以将弱分类信息Q1～Qb进行融合，例如将其进行拼接，从而生成融合分类信息x。
然后，在线任务分类单元根据以下基于softmax回归模型的公式，确定与脑电信号矩阵X对应的脑电信号类别：
其中，K表示脑电信号类别的类别总数；z为当前预测的脑电信号类别(其中，z＝1～K)，p(z|x)表示融合分类信息x对应的脑电信号类别为类别z的概率。当p(z|x)大于预设的概率阈值p时，确定类别z为脑电信号矩阵X对应的脑电信号类别。即在本发明的在线任务分类中，仅当融合分类信息x对应的脑电信号类别的概率大于阈值时，才对该脑电信号进行分类，否则丢弃当前滑动时间窗下的脑电信号数据。
此外公式中的Yz(z＝1～K)为先生参数，可以通过梯度下降等方法进行样本训练确定。
从而，如图5A所示，在在线系统下，本实施例采用滑动时间窗提取不同时隙下的脑电信号数据，对于所提取的信号数据，利用softmax回归模型确定与脑电信号数据对应的脑电信号类别。
或者，参考图5B所示，在线任务分类单元可以将融合分类信息x输入预先训练的神经网络。
然后，在线任务分类单元利用softmax分类器，根据神经网络输出的信息确定与脑电信号矩阵X对应的脑电信号类别。其中p(z|x)表示融合分类信息x对应的脑电信号类别为类别z的概率。其中概率值最大的类别，即为与脑电信号数据对应的脑电信号类别。
从而，本实施例在利用多个二分类器确定与脑电信号相关的多个二分类结果之后，并不是直接通过投票的方式确定脑电信号类别，而是将二分类结果作为弱分类信息，并进一步作为待分析特征，利用softmax回归模型或者是神经网络进行进一步的特征分析，从而能够在信号差别不明显的情况下，进行更加准确地分类。
此外，根据本实施例的另一个方面，提供了一种基于汉字书写想象的隐蔽汉语言处理方法，其中图6示出了该方法的流程示意图。参考图6所示，该方法包括：
S602：对用户在汉字书写想象任务过程中的脑电信号进行采集；
S604：对脑电信号进行处理，并确定与脑电信号对应的脑电信号类别，其中脑电信号类别与汉字书写相关的汉字书写想象任务对应；以及
S606：将脑电信号类别映射为对应的汉字书写指令，并且其中根据脑电信号类别确定对应的汉字书写指令的操作，包括：根据脑电信号类别确定第一汉字书写指令，其中第一汉字书写指令与汉字书写想象任务对应的单一的汉字笔画、单一的部首偏旁或一完整的汉字字形对应，并且根据脑电信号类别确定对应的汉字书写指令的操作，还包括：根据连续多个脑电信号的脑电信号类别确定第二汉字书写指令，其中第二汉字书写指令与根据多个脑电信号的脑电信号类别所确定的连续多个单一的汉字笔画、单一的部首偏旁和/或一完整的汉字字形所构成的汉字或词语对应，汉字或词语对应是指常用汉字词库中对多个单一的汉字笔画组合、多个单一的部首偏旁组合和/或一完整的汉字字形，通过有序地排列组合形成具有一一对应映射关系的汉字或词语编码。
可选地，汉字书写想象任务包括针对汉字笔画的汉字书写想象。和/或，可选地，汉字书写想象任务包括针对汉字的部首偏旁的汉字书写想象。和/或，汉字书写想象任务包括针对完整的汉字字形的汉字书写想象。和/或，汉字书写想象任务包括：与书写的汉字信息进行错误删除的操作对应的操作想象；和/或与停止系统运行的操作对应的操作想象。
可选地，用于对脑电信号进行处理，并确定与脑电信号对应的脑电信号类别的操作，包括：对所采集的脑电信号进行预处理；对预处理后的脑电信号进行特征提取，生成相应的脑电信号特征；以及根据脑电信号特征确定相应的脑电信号类别。其中根据脑电信号特征确定相应的脑电信号类别的操作，包括：根据脑电信号特征确定与脑电信号类别相关的弱分类信息；在汉字书写想象任务为离线的书写想象任务的情况下，根据弱分类信息确定脑电信号类别，其中在离线的书写想象任务下，脑电信号为通过确切的信号起止位置所确定的脑电信号；以及在汉字书写想象任务为在线的书写想象任务的情况下，根据弱分类信息确定脑电信号类别，其中在在线的书写想象任务下，脑电信号为采用滑动窗所提取的相应时隙的脑电信号。
可选地，根据脑电信号特征确定与脑电信号类别相关的弱分类信息的操作，包括：通过多个二分类器根据脑电信号特征确定与脑电信号类别相关的弱分类信息，其中二分类器的类别对应于不同的脑电信号类别。进一步可选地，对预处理后的脑电信号进行特征提取的操作，包括针对不同的二分类器，分别提取相应的特征提取，生成相应的脑电信号特征并传输至相应的二分类器。进一步可选地，多个二分类器根据所接收的脑电信号特征，基于一对一分类法，确定与脑电信号对应的弱分类信息。
可选地，对所采集的脑电信号进行预处理的操作，包括：对于采集到的脑电信号矩阵 基于不同用户的响应频带的差异，进行个体特异化频带滤波，得到预处理后的脑电信号矩阵X{B}，其中C和T为脑电信号矩阵的维度。
可选地，针对不同的二分类器，分别提取相应的特征提取的操作，包括，通过第j个特征提取单元执行以下操作：确定预处理后的脑电信号矩阵X{B}的协方差矩阵P：
根据第j个特征提取单元的信号投影矩阵和协方差矩阵P，提取脑电信号矩阵的特征：
其中xj表示第j个特征提取单元所提取的脑电信号特征，M表示脑电信号特征xj的特征的对数，以及diag(A)表示返回矩阵A的对角线元素并构成向量。
可选地，多个二分类器为预先训练的基于LASSO回归模型的二分类器，并且确定与脑电信号类别相关的弱分类信息的操作，包括：利用第j个二分类器对第j个特征提取单元提取的脑电信号特征xj进行二分类，确定与第j个二分类器对应的二分类信息，作为弱分类信息的一部分。
可选地，在汉字书写想象任务为离线的书写想象任务的情况下，根据弱分类信息确定脑电信号类别的操作，包括：根据弱分类信息进行投票，确定脑电信号类别。
可选地，在汉字书写想象任务为在线的书写想象任务的情况下，根据弱分类信息确定脑电信号类别的操作，包括：将弱分类信息进行融合，生成融合分类信息；以及根据融合分类信息，利用softmax回归模型确定脑电信号类别。
从而，根据前述各个实施方式所述的基于汉字书写想象的隐蔽汉语言通讯系统，本发明的系统能够以书写想象主动诱发的脑电信号作为输入，通过对书写想象任务进行离线分类和在线分类的划分，能够更高效更准确的实现书写想象任务的分类识别，并且本发明以汉字字形及其拆解单元在汉字书写当中的有序性为基础，进一步构成常用汉字或词语作为输出，为神经系统疾病患者提供了高效的与外界进行汉语言交互的沟通方式，有效提升了患者与外界的交互水平。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于汉字书写想象的隐蔽汉语言处理系统，其特征在于，所述系统包括：
信号采集设备，用于对用户在汉字书写想象任务过程中的脑电信号进行采集；
信号处理设备，用于对所述脑电信号进行处理，并确定与所述脑电信号对应的脑电信号类别，其中所述脑电信号类别与汉字书写相关的汉字书写想象任务对应；以及
指令识别设备，用于根据所述脑电信号类别确定对应的汉字书写指令，并且其中
根据所述脑电信号类别确定对应的汉字书写指令的操作，包括：
根据所述脑电信号类别确定第一汉字书写指令，其中所述第一汉字书写指令与所述汉字书写想象任务对应的单一的汉字笔画、单一的部首偏旁或一完整的汉字字形对应，并且
根据所述脑电信号类别确定对应的汉字书写指令的操作，还包括：
根据连续多个所述脑电信号的脑电信号类别确定第二汉字书写指令，其中所述第二汉字书写指令与根据多个所述脑电信号的脑电信号类别所确定的连续多个单一的汉字笔画、单一的部首偏旁和/或一完整的汉字字形所构成的汉字或词语对应，所述汉字或词语对应是指常用汉字词库中对多个单一的汉字笔画组合、多个单一的部首偏旁组合和/或一完整的汉字字形，通过有序地排列组合形成具有一一对应映射关系的汉字或词语编码。
2.根据权利要求1所述的系统，其特征在于，所述信号采集设备为侵入式、半侵入式或非侵入式的脑电接口设备，并且，
所述系统还包括：实时显示设备，用于根据指令识别设备所确定的汉字书写指令，在屏幕上进行实时显示。
3.根据权利要求1所述的系统，其特征在于，所述汉字书写想象任务包括针对汉字笔画的汉字书写想象。
4.根据权利要求1所述的系统，其特征在于，所述汉字书写想象任务包括针对汉字的部首偏旁的汉字书写想象。
5.根据权利要求1所述的系统，其特征在于，所述汉字书写想象任务包括针对完整的汉字字形的汉字书写想象。
6.根据权利要求1所述的系统，其特征在于，所述汉字书写想象任务包括：
与书写的汉字信息进行错误删除的操作对应的操作想象；和/或
与停止系统运行的操作对应的操作想象。
7.根据权利要求1所述的系统，其特征在于，所述信号处理设备包括：
信号预处理模块，用于对所采集的脑电信号进行预处理；
特征提取模块，用于对预处理后的脑电信号进行特征提取，生成相应的脑电信号特征；以及
任务分类模块，用于根据所述脑电信号特征确定相应的脑电信号类别，其中所述任务分类模块包括：
弱分类单元，用于根据所述脑电信号特征确定与所述脑电信号类别相关的弱分类信息；
离线任务分类单元，用于在所述汉字书写想象任务为进行离线分析目的的情况下，根据所述弱分类信息确定所述脑电信号类别，其中在所述离线分析目的的书写想象任务下，所述脑电信号为通过确切的信号起止位置所确定的脑电信号；以及
在线任务分类单元，用于在所述汉字书写想象任务为进行在线分析目的的情况下，根据所述弱分类信息确定所述脑电信号类别，其中在所述在线分析目的的书写想象任务下，所述脑电信号为采用滑动窗所提取的相应时隙的脑电信号，其中
所述弱分类单元包括多个二分类器，其中所述二分类器的类别对应于不同的脑电信号类别；并且所述特征提取模块包括多个特征提取单元，其中所述特征提取单元分别与不同的所述二分类器对应，并且其中
所述多个特征提取单元接收所述预处理后的脑电信号，分别对所述脑电信号进行特征提取，并将所提取的脑电信号特征传输至相应的二分类器；以及
所述多个二分类器根据所接收的脑电信号特征，基于一对一分类法，确定与所述脑电信号对应的弱分类信息，其中
所述的信号预处理模块用于执行以下操作：
对于采集到的脑电信号矩阵利用与所述用户的响应频带匹配的滤波器，进行个体特异化频带滤波，得到预处理后的脑电信号矩阵X{B}，其中C和T为所述脑电信号矩阵的维度，并且其中，所述滤波器通过以下操作构建：
获取所述用户的与不同的汉字书写想象任务对应的样本脑电信号矩阵X′1～X′K；
分别生成与各个样本脑电信号矩阵X′1～X′K对应的频谱信息；
根据所述频谱信息，针对预先设定的各个频带，确定所述各个样本脑电信号与每个频带对应幅值信息；
针对所述每个频带，计算所述各个样本脑电信号的幅值信息的方差；
基于所计算的方差，确定所述用户的响应频带；以及
基于所述用户的响应频带构建所述滤波器，其中所述滤波器用于通过与所述用户的响应频带对应的脑电信号滤除其他频带的脑电信号，其中，
所述特征提取模块的第j个特征提取单元用于执行以下操作：
确定所述预处理后的脑电信号矩阵X{B}的协方差矩阵P：
根据所述第j个特征提取单元的信号投影矩阵和所述协方差矩阵P，提取所述脑电信号矩阵的特征：
其中xj表示所述第j个特征提取单元所提取的脑电信号特征，M表示脑电信号特征xj的特征的对数，以及diag(A)表示返回矩阵A的对角线元素并构成向量，其中
所述多个二分类器为预先训练的基于LASSO回归模型的二分类器，并且所述弱分类单元用于执行以下操作：
利用第j个二分类器对所述第j个特征提取单元提取的脑电信号特征xj进行二分类，确定与所述第j个二分类器对应的二分类信息，作为所述弱分类信息的一部分。
8.根据权利要求7所述的系统，其特征在于，所述离线任务分类单元用于根据所述弱分类信息进行投票，确定所述脑电信号类别。
9.根据权利要求7所述的系统，其特征在于，所述在线任务分类单元用于：
将所述弱分类信息进行融合，生成融合分类信息；以及
根据所述融合分类信息，利用softmax回归模型确定所述脑电信号类别。
10.一种基于汉字书写想象的隐蔽汉语言处理方法，其特征在于，包括：
对用户在汉字书写想象任务过程中的脑电信号进行采集；
对所述脑电信号进行处理，并确定与所述脑电信号对应的脑电信号类别，其中所述脑电信号类别与汉字书写相关的汉字书写想象任务对应；以及
将所述脑电信号类别映射为对应的汉字书写指令，并且其中
根据所述脑电信号类别确定对应的汉字书写指令的操作，包括：
根据所述脑电信号类别确定第一汉字书写指令，其中所述第一汉字书写指令与所述汉字书写想象任务对应的单一的汉字笔画、单一的部首偏旁或一完整的汉字字形对应，并且
根据所述脑电信号类别确定对应的汉字书写指令的操作，还包括：
根据连续多个所述脑电信号的脑电信号类别确定第二汉字书写指令，其中所述第二汉字书写指令与根据多个所述脑电信号的脑电信号类别所确定的连续多个单一的汉字笔画、单一的部首偏旁和/或一完整的汉字字形所构成的汉字或词语对应，所述汉字或词语对应是指常用汉字词库中对多个单一的汉字笔画组合、多个单一的部首偏旁组合和/或一完整的汉字字形，通过有序地排列组合形成具有一一对应映射关系的汉字或词语编码。
CN202311577145.3A 2023-11-23 2023-11-23 一种基于汉字书写想象的隐蔽汉语言处理系统和方法 Active CN117608402B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311577145.3A CN117608402B (zh) 2023-11-23 2023-11-23 一种基于汉字书写想象的隐蔽汉语言处理系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311577145.3A CN117608402B (zh) 2023-11-23 2023-11-23 一种基于汉字书写想象的隐蔽汉语言处理系统和方法

Publications (2)

Publication Number Publication Date
CN117608402A true CN117608402A (zh) 2024-02-27
CN117608402B CN117608402B (zh) 2024-05-14

Family

ID=89950877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311577145.3A Active CN117608402B (zh) 2023-11-23 2023-11-23 一种基于汉字书写想象的隐蔽汉语言处理系统和方法

Country Status (1)

Country Link
CN (1) CN117608402B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117930987A (zh) * 2024-03-25 2024-04-26 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于脑电信号的汉字笔画输出方法、装置及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018081569A1 (en) * 2016-10-27 2018-05-03 Artemiadis Panagiotis Systems and methods for a hybrid brain interface for robotic swarms using eeg signals and an input device
WO2018149250A1 (zh) * 2017-02-15 2018-08-23 宗刚 带屏幕提示界面的汉字骨架码输入法及系统
CN108983972A (zh) * 2018-06-29 2018-12-11 福州大学 基于笔画与联想的脑控汉字输入方法
CN113157100A (zh) * 2021-01-04 2021-07-23 河北工业大学 一种附加汉字默读与运动想象任务的脑-机接口方法
CN115185369A (zh) * 2022-07-05 2022-10-14 中国人民解放军国防科技大学 一种结合眼动仪与p300技术实现汉字输入的方法
CN115480638A (zh) * 2022-09-05 2022-12-16 脑陆(重庆)智能科技研究院有限公司 基于笔画意图识别的中文打字方法、装置、系统及介质
CN116880691A (zh) * 2023-07-12 2023-10-13 浙江大学 一种基于手写轨迹解码的脑机接口交互方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018081569A1 (en) * 2016-10-27 2018-05-03 Artemiadis Panagiotis Systems and methods for a hybrid brain interface for robotic swarms using eeg signals and an input device
WO2018149250A1 (zh) * 2017-02-15 2018-08-23 宗刚 带屏幕提示界面的汉字骨架码输入法及系统
CN108983972A (zh) * 2018-06-29 2018-12-11 福州大学 基于笔画与联想的脑控汉字输入方法
CN113157100A (zh) * 2021-01-04 2021-07-23 河北工业大学 一种附加汉字默读与运动想象任务的脑-机接口方法
CN115185369A (zh) * 2022-07-05 2022-10-14 中国人民解放军国防科技大学 一种结合眼动仪与p300技术实现汉字输入的方法
CN115480638A (zh) * 2022-09-05 2022-12-16 脑陆(重庆)智能科技研究院有限公司 基于笔画意图识别的中文打字方法、装置、系统及介质
CN116880691A (zh) * 2023-07-12 2023-10-13 浙江大学 一种基于手写轨迹解码的脑机接口交互方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张玉: "基于异步式脑电的人机交互技术研究", 《万方数据库》, 1 September 2021 (2021-09-01), pages 1 - 98 *
章士正, 刘海, 崔恒武, 张峭巍, 翁旭初, 方松华, 胡兴越: "国人汉字书写神经基础的脑功能成像", 中国医学计算机成像杂志, no. 01, 25 February 2004 (2004-02-25), pages 60 - 64 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117930987A (zh) * 2024-03-25 2024-04-26 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于脑电信号的汉字笔画输出方法、装置及存储介质
CN117930987B (zh) * 2024-03-25 2024-06-18 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于脑电信号的汉字笔画输出方法、装置及存储介质

Also Published As

Publication number Publication date
CN117608402B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
Altaheri et al. Physics-informed attention temporal convolutional network for EEG-based motor imagery classification
CN108805087B (zh) 基于多模态情绪识别系统的时序语义融合关联判断子系统
CN112766173B (zh) 一种基于ai深度学习的多模态情感分析方法及其系统
CN117608402B (zh) 一种基于汉字书写想象的隐蔽汉语言处理系统和方法
CN103366618A (zh) 基于人工智能与虚拟现实用于汉语学习培训的场景设备
CN117389441B (zh) 基于视觉追随辅助的书写想象汉字轨迹确定方法及系统
CN117608400A (zh) 基于脑机接口的汉字书写轨迹识别方法、系统及电子设备
Cerna et al. A multimodal LIBRAS-UFOP Brazilian sign language dataset of minimal pairs using a microsoft Kinect sensor
Orhan et al. Improved accuracy using recursive Bayesian estimation based language model fusion in ERP-based BCI typing systems
CN117608399B (zh) 基于汉字笔画的轨迹拟合方法以及装置
CN116880691A (zh) 一种基于手写轨迹解码的脑机接口交互方法
Varsha et al. Indian sign language gesture recognition using deep convolutional neural network
Naqvi et al. ISL Animated Translator and Desktop Virtual Assistant
Yuan et al. Chinese sign language alphabet recognition based on random forest algorithm
Birhala et al. Temporal aggregation of audio-visual modalities for emotion recognition
Boukdir et al. Character-level Arabic text generation from sign language video using encoder–decoder model
Derr et al. Signer-independent classification of American sign language word signs using surface EMG
Yu et al. A P300-based brain–computer interface for Chinese character input
Shurid et al. Bangla sign language recognition and sentence building using deep learning
Dixit et al. Audio to indian and american sign language converter using machine translation and nlp technique
CN117407748A (zh) 基于图卷积和融合注意力的脑电情绪识别方法
Choudhury et al. Visual gesture-based character recognition systems for design of assistive technologies for people with special necessities
Ahani et al. RSVP IconMessenger: icon-based brain-interfaced alternative and augmentative communication
Hild et al. An ERP-based brain-computer interface for text entry using rapid serial visual presentation and language modeling
Subashini et al. Artificial intelligence-based assistive technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant