CN117784939A - 基于五笔输入法的汉字书写想象方法、装置及存储介质 - Google Patents
基于五笔输入法的汉字书写想象方法、装置及存储介质 Download PDFInfo
- Publication number
- CN117784939A CN117784939A CN202410199192.7A CN202410199192A CN117784939A CN 117784939 A CN117784939 A CN 117784939A CN 202410199192 A CN202410199192 A CN 202410199192A CN 117784939 A CN117784939 A CN 117784939A
- Authority
- CN
- China
- Prior art keywords
- chinese character
- stroke
- signal data
- chinese
- tensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 142
- 238000012549 training Methods 0.000 claims abstract description 78
- 238000004458 analytical method Methods 0.000 claims abstract description 19
- 239000013598 vector Substances 0.000 claims description 34
- 238000004364 calculation method Methods 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 238000000354 decomposition reaction Methods 0.000 description 23
- 210000004556 brain Anatomy 0.000 description 16
- 238000000605 extraction Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 5
- 238000013145 classification model Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000010220 Pearson correlation analysis Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003920 cognitive function Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001766 physiological effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Character Discrimination (AREA)
Abstract
本申请公开了一种基于五笔输入法的汉字书写想象方法、装置及存储介质，包括：采集与书写汉字对应的脑电信号数据；利用五笔输入法规则，将与脑电信号数据对应的汉字拆解为多个第一汉字笔画，并生成与书写多个第一汉字笔画对应的第一输入信号数据；基于高阶张量分析模型，将第一输入信号数据扩展为第一高阶张量；利用预先训练得到的投影子空间和分类器，并利用与第一输入信号数据对应的第一高阶张量，生成汉字笔画预测结果；以及根据汉字笔画预测结果生成与脑电信号数据对应的汉字。从而达到了能够降低信号解码的难度，满足解码精度的需求，还能够减少训练时间的技术效果。
Description
技术领域
本申请涉及脑电信号处理技术领域，特别是涉及一种基于五笔输入法的汉字书写想象方法、装置及存储介质。
背景技术
大脑是人体内最为复杂的器官，其作为最高级的信息加工处理中心，不仅能够实现记忆、感官等认知功能，并且还能够调节机体的各项生理活动。从而，脑科学的研究对人类的发展具有非常重要的意义。作为脑科学中的一个重要领域—脑机接口的发展时刻影响着脑科学的研究。脑机接口是指建立大脑与外部设备之间直接通路的技术，从而克服生理上的限制，实现用“意念”控制设备。其中，字符输入型脑机接口可通过解码用户意图，实现有效的字符数据，进而让用户实现与外界的沟通交流。
尽管国际上对于脑机接口的研究已有非常大的进步，但是国内对于汉字书写想象的字符输入型脑机接口研究依旧非常少。现有的汉字书写想象脑机接口主要是对汉字的书写想象脑电信号进行直接解码，然而由于汉字结构非常复杂，从而使得信号解码难度极高，其所能达到的解码精度无法满足准确性需求。同时由于所输入的汉字的数量较多，因此需要大量指令以及漫长的训练时间支撑才能实现有效解码，而这显然不符合汉字输入型脑机接口的实际应用。
公开号为CN117130490A，名称为一种脑机接口控制系统及其控制方法和实现方法。脑机接口控制系统包括：脑电数据采集模块、显著性特征筛选验证模块、言语想象脑电信号解码模块和可理解语音合成模块。上述脑机接口控制系统将脑电数据采集、脑电特征提取、脑电信号解码重建语谱信息以及可理解语音合成集成，在得到重建语谱特征之后会和原始语谱特征进行皮尔逊相关性分析。
公开号为CN115565540B，名称为一种侵入式脑机接口汉语发音解码方法，包括：从脑电数据中筛选有效的神经元并去除高度相似的神经元，标准化后利用同步音频数据对脑电数据进行标注；根据汉语发音脑电数据的特点，将脑电数据投影到双曲空间中；构建有效的双曲神经网络和双曲多元逻辑回归分类器对脑电数据进行汉语音素分类；训练过程中，从训练数据中抽取一定数量的三元组，并基于网络的输出特征对这些三元组计算层次聚类的损失，以一定权重加入到需要优化的总体损失函数中；利用训练好的双曲神经网络和双曲多元逻辑回归分类器进行解码。
针对上述的现有技术中存在的主要是对汉字的书写想象脑电信号进行直接解码，而由于汉字结构非常复杂，从而使得信号解码难度极高，其所能达到的解码精度无法满足准确性需求；同时由于所输入的汉字的数量较多，因此需要大量指令以及漫长的训练时间支撑才能实现有效解码，而这显然不符合汉字输入型脑机接口的实际应用的技术问题，目前尚未提出有效的解决方案。
发明内容
本公开的实施例提供了一种基于五笔输入法的汉字书写想象方法、装置及存储介质，以至少解决现有技术中存在的主要是对汉字的书写想象脑电信号进行直接解码，而由于汉字结构非常复杂，从而使得信号解码难度极高，其所能达到的解码精度无法满足准确性需求；同时由于所输入的汉字的数量较多，因此需要大量指令以及漫长的训练时间支撑才能实现有效解码，而这显然不符合汉字输入型脑机接口的实际应用的技术问题。
根据本公开实施例的一个方面，提供了一种基于五笔输入法的汉字书写想象方法，包括：采集与书写汉字对应的脑电信号数据；利用五笔输入法规则，将与脑电信号数据对应的汉字拆解为多个第一汉字笔画，并生成与书写多个第一汉字笔画对应的第一输入信号数据；基于高阶张量分析模型，将第一输入信号数据扩展为第一高阶张量；利用预先训练得到的投影子空间和分类器，并利用与第一输入信号数据对应的第一高阶张量，生成汉字笔画预测结果；以及根据汉字笔画预测结果生成与脑电信号数据对应的汉字。
根据本公开实施例的另一个方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时由处理器执行以上所述的方法。
根据本公开实施例的另一个方面，还提供了一种基于五笔输入法的汉字书写想象装置，包括：信号采集模块，用于采集与书写汉字对应的脑电信号数据；汉字拆解模块，用于利用五笔输入法规则，将与脑电信号数据对应的汉字拆解为多个第一汉字笔画，并生成与书写多个第一汉字笔画对应的第一输入信号数据；信号扩展模块，用于基于高阶张量分析模型，将第一输入信号数据扩展为第一高阶张量；预测结果生成模块，用于利用预先训练得到的投影子空间和分类器，并利用与第一输入信号数据对应的第一高阶张量，生成汉字笔画预测结果；以及汉字生成模块，用于根据汉字笔画预测结果生成与脑电信号数据对应的汉字。
根据本公开实施例的另一个方面，还提供了一种基于五笔输入法的汉字书写想象装置，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：采集与书写汉字对应的脑电信号数据；利用五笔输入法规则，将与脑电信号数据对应的汉字拆解为多个第一汉字笔画，并生成与书写多个第一汉字笔画对应的第一输入信号数据；基于高阶张量分析模型，将第一输入信号数据扩展为第一高阶张量；利用预先训练得到的投影子空间和分类器，并利用与第一输入信号数据对应的第一高阶张量，生成汉字笔画预测结果；以及根据汉字笔画预测结果生成与脑电信号数据对应的汉字。
本申请提供了一种基于五笔输入法的汉字书写想象方法。首先，处理器采集与书写汉字对应的脑电信号数据。然后，处理器利用五笔输入法规则，将与脑电信号数据对应的汉字拆解为多个第一汉字笔画，并生成与书写多个第一汉字笔画对应的第一输入信号数据。进一步地，处理器基于高阶张量分析模型，将第一输入信号数据扩展为第一高阶张量。之后处理器利用预先训练得到的投影子空间和分类器，并利用与第一输入信号数据对应的第一高阶张量，生成汉字笔画预测结果。最后，处理器根据汉字笔画预测结果生成与脑电信号数据对应的汉字。
由于本申请是从书写汉字想象脑机接口的输入范式入手，针对汉字书写的结构特点和五笔输入法规则，将汉字分解为“横‘一’”、“竖‘丨’”、“撇‘丿’”、“捺‘乀’”、“折‘乛’”五种笔画的排列组合作为脑机接口的输入指令，从而不仅降低了后续的解码难度，还能够减少训练时间。从而处理器能够根据汉字笔画书写想象的脑电活动特性进行解码算法设计，并结合常用汉字笔画组合规律和汉字字符矫正完成汉字的输出。
从而达到了能够降低信号解码的难度，满足解码精度的需求，还能够减少训练时间的技术效果。进而解决了现有技术中存在的主要是对汉字的书写想象脑电信号进行直接解码，而由于汉字结构非常复杂，从而使得信号解码难度极高，其所能达到的解码精度无法满足准确性需求；同时由于所输入的汉字的数量较多，因此需要大量指令以及漫长的训练时间支撑才能实现有效解码，而这显然不符合汉字输入型脑机接口的实际应用的技术问题。
附图说明
此处所说明的附图用来提供对本公开的进一步理解，构成本申请的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
图1是用于实现根据本申请实施例1所述的方法的计算设备的硬件结构框图；
图2是根据本申请实施例1所述的基于五笔输入法的汉字书写想象的系统的示意图；
图3A是根据本申请实施例1所述的一种基于五笔输入法的汉字书写想象的模块化示意图；
图3B是根据本申请实施例1所述的另一种基于五笔输入法的汉字书写想象的模块化示意图；
图4是根据本申请实施例1所述的基于五笔输入法的汉字书写想象的方法流程图；
图5是根据本申请实施例1所述的采集与书写汉字对应的脑电信号数据的各个方式的示意图；
图6是根据本申请实施例1所述的基于五笔输入法的汉字书写想象的整体流程图；
图7A是根据本申请实施例1所述的模型训练阶段的流程图；
图7B是根据本申请实施例1所述的特征提取阶段的流程图；
图8是根据本申请实施例2所述的基于五笔输入法的汉字书写想象装置的示意图；以及
图9是根据本申请实施例3所述的基于五笔输入法的汉字书写想象装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本公开的技术方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本实施例，提供了一种基于五笔输入法的汉字书写想象的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的计算设备中执行。图1示出了一种用于实现基于五笔输入法的汉字书写想象方法的计算设备的硬件结构框图。如图1所示，计算设备可以包括一个或多个处理器（处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）、用于存储数据的存储器、用于通信功能的传输装置以及输入/输出接口。其中存储器、传输装置以及输入/输出接口通过总线与处理器连接。除此以外，还可以包括：与输入/输出接口连接的显示器、键盘以及光标控制设备。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算设备还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算设备中的其他元件中的任意一个内。如本公开实施例中所涉及到的，该数据处理电路作为一种处理器控制（例如与接口连接的可变电阻终端路径的选择）。
存储器可用于存储应用软件的软件程序以及模块，如本公开实施例中的基于五笔输入法的汉字书写想象方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的基于五笔输入法的汉字书写想象方法。存储器可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算设备的通信供应商提供的无线网络。在一个实例中，传输装置包括一个网络适配器（Network Interface Controller，NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置可以为射频（Radio Frequency，RF）模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器（LCD），该液晶显示器可使得用户能够与计算设备的用户界面进行交互。
此处需要说明的是，在一些可选实施例中，上述图1所示的计算设备可以包括硬件元件（包括电路）、软件元件（包括存储在计算机可读介质上的计算机代码）、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算设备中的部件的类型。
图2是根据本实施例所述的基于五笔输入法的汉字书写想象的系统的示意图。参照图2所示，该系统包括：终端设备100以及处理器200。
其中，用户通过终端设备100向处理器200发送与输出汉字的请求。
处理器200响应于终端设备100发送的与输出汉字对应的请求，采集与书写汉字对应的脑电信号数据。
处理器200还用于利用五笔输入法规则，将与脑电信号数据对应的汉字拆解为多个第一汉字笔画，并生成与书写多个第一汉字笔画对应的第一输入信号数据。
处理器200还用于基于高阶张量分析模型，将第一输入信号数据扩展为第一高阶张量。
处理器200还用于利用预先训练得到的投影子空间和分类器，并利用与第一输入信号数据对应的第一高阶张量，生成汉字笔画预测结果。
处理器200还用于根据汉字笔画预测结果生成与脑电信号数据对应的汉字。
需要说明的是，系统中的终端设备100和处理器200均可适用上面所述的硬件结构。
图3A是根据本申请实施例所述的一种基于五笔输入法的汉字书写想象的模块化示意图。参考图3A所示，首先，信号采集模块采集与书写汉字对应的脑电信号数据。其中，原始的脑电信号数据例如可以是时间—通道的二维脑电信号。然后，信号采集模块将原始的脑电信号数据发送至汉字拆解模块。汉字拆解模块利用五笔输入法规则，将所接收到的原始的脑电信号数据拆解为多个第一汉字笔画，并生成与书写多个第一汉字笔画对应的第一输入信号数据。张量扩展模块接收到由汉字拆解模块发送的第一输入信号数据之后，将第一输入信号数据扩展为第一高阶张量，并将第一高阶张量发送至投影分类模块。投影分类模块利用预先训练得到的投影子空间和分类器，并利用第一高阶张量，生成汉字笔画预测结果。最后，汉字输出模块根据接收到的汉字笔画预测结果，生成与脑电信号数据对应的汉字。
图3B是根据本申请实施例所述的另一种基于五笔输入法的汉字书写想象的模块化示意图。参考图3B所示，首先，信号采集模块采集与书写汉字对应的多个脑电信号数据。然后，汉字拆解模块利用五笔输入规则，将与多个脑电信号数据对应的汉字拆解为多个第一汉字笔画，并识别与多个第一汉字笔画对应的汉字笔画类别，生成与书写多个第一汉字笔画对应的第一输入信号数据。张量扩展模块将接收到的第一输入信号数据扩展为多个第一高阶张量。
进一步地，张量扩展模块将与第一输入信号数据对应的第一高阶张量发送至张量分解模块，从而张量分解模块将多个第一高阶张量分解为与不同汉字笔画类别对应的多个张量分解特征。之后张量分解模块将多个张量分解特征发送至特征生成模块。特征生成模块将多个张量分解特征展开为向量，并将与各个汉字笔画类别对应的多个张量分解特征进行拼接，从而生脑电信号特征。之后特征分类模块基于脑电信号特征，生成与第一输入信号数据对应的汉字笔画类别标签。最后，汉字输出模块基于汉字笔画类别标签，生成与脑电信号数据对应的汉字。
在上述运行环境下，根据本实施例的第一个方面，提供了一种基于五笔输入法的汉字书写想象方法，该方法由图2中所示的处理器200实现。图4示出了该方法的流程示意图，参考图3A和图4所示，该方法包括：
S402：采集与书写汉字对应的脑电信号数据；
S404：利用五笔输入法规则，将与脑电信号数据对应的汉字拆解为多个第一汉字笔画，并生成与书写多个第一汉字笔画对应的第一输入信号数据；
S406：基于高阶张量分析模型，将第一输入信号数据扩展为第一高阶张量；
S408：利用预先训练得到的投影子空间和分类器，并利用与第一输入信号数据对应的第一高阶张量，生成汉字笔画预测结果；以及
S410：根据汉字笔画预测结果生成与脑电信号数据对应的汉字。
具体地，首先，信号采集模块采集与书写汉字对应的脑电信号数据（S402）。例如，在脑电信号数据的采集过程中，要求用户想象对应汉字的书写过程，并同步采集对应的脑电信号。其中，采集到的脑电信号例如可以是非侵入式脑电信号或侵入式脑电信号。
具体地，由于汉字是由汉字笔画构成的，因此虽然书写任务指定的是汉字，但是终端设备100的屏幕上所显示的实际上是多个汉字笔画的书写轨迹，并且多个汉字笔画可以构成对应的汉字。例如，汉字书写任务为“人”，“人”是由汉字笔画“撇‘丿’”和“捺‘乀’”构成的，因此终端设备100的屏幕先显示“撇‘丿’”的书写轨迹，然后再显示“捺‘乀’”的书写轨迹。
图5是根据本申请实施例所述的采集与书写汉字对应的脑电信号数据的各个方式的示意图。参考图5所示，信号采集模块采集与书写汉字对应的脑电信号数据包括如下三种方式：1. 用户例如可以根据面前终端设备100屏幕显示的动图提示进行相应的书写任务想象（其中，书写任务想象例如可以是汉字书写想象）。从而，用户想象自己手部持笔，进行相应的汉字书写任务，并且想象书写汉字中所包含的汉字笔画的速度与终端设备100屏幕提示速度一致。从而在此过程中，信号采集模块同步采集与书写汉字对应的脑电信号数据。2.用户例如还可以根据终端设备100屏幕显示的静止提示，想象对应的汉字书写。从而在此过程中，信号采集模块同步采集与书写汉字对应的脑电信号数据。3. 用户例如还可以在无任何提示下，直接进行汉字的书写想象。从而在此过程中，信号采集模块同步采集与书写汉字对应的脑电信号数据。
此外，上述采集与书写汉字对应的脑电信号数据的三种方式，不仅可以应用于信号采集阶段，还可以应用于用户训练阶段，还可以分阶段应用。例如，为了在用户使用前期，让用户适应汉字书写想象的实验范式，并且相对稳定的诱发汉字书写想象神经信息，在对用户训练阶段，用户可以根据终端设备100屏幕显示的动图提示进行相应的书写任务想象（即，上述方式1）。再例如，由于本申请的目标是在实际应用过程中，用户无需外部提示即可想象对应的汉字，从而系统通过笔画组合的方式实现汉字识别，而对于用户来说，直接无提示汉字书写想象可能难以直接使用视觉跟随分类模版，因此本实施例在实际应用场景前，补充了视觉提示汉字书写想象阶段（即，上述方式2），从而能够帮助用户实现从动态提示—自主想象的过渡。再例如，在实际应用场景中，用户可以直接进行汉字书写想象，无任何提示。在模型训练阶段，用于在完成自主汉字书写想象后告知所想的汉字书写任务；在实际应用阶段，则直接进行自主汉字书写想象。
然后，汉字拆解模块利用五笔输入法规则，将与脑电信号数据对应的汉字拆解为多个第一汉字笔画，并生成与书写多个第一汉字笔画对应的第一输入信号数据（S404）。
具体地，由于汉字笔画是构成汉字的最小单位，汉字的特点在于一笔一画所构成的二维平面上复杂的字形拓扑结构，这使得汉字的数量庞大并且结构复杂。在五笔输入法中，其将汉字分解为前4种笔画和末一个笔画的组合。五笔输入法将汉字分为“横‘一’”、“竖‘丨’”、“撇‘丿’”、“捺‘乀’”、“折‘乛’”5种笔画，每字最多5码，不足5码的空格键结束。从而五笔输入法将具有复杂结构的汉字简化为五种笔画的排列组合，可以有效地降低汉字书写想象脑机接口系统输入范式的复杂程度，提升范式输入效率。
此外，由于五笔输入法还能够适应用户的书写风格，无需精确地按照笔画的规定顺序书写，因此用户可以根据汉字的笔画顺序和形状来输入汉字，而不是依赖拼音的字节。并且由于用户可以依靠视觉和笔画记忆，因此用户更容易记住和输入不常用的汉字，并且相较于拼音输入法而言，以笔画组合的方式检索汉字，重码率更低。
进一步地，由于汉字笔画轨迹主要为不同方向的直线，其笔尖轨迹的特征参数例如速度、方向在同一汉字笔画的不同实验样本之间具有更高的稳定性，因此对应的汉字笔画书写想象活动产生的神经信号也将具有更加稳定的动态特性，更容易进行精准的刻画与提取，有利于后续的分类任务。
从而，本实施例利用五笔输入法规则，将与脑电信号数据对应的汉字拆解为多个第一汉字笔画。例如，汉字拆解模块利用五笔输入法规则，将“人”字拆解为“撇‘丿’”和“捺‘乀’”（即，多个第一汉字笔画）。然后，汉字拆解模块生成与“撇‘丿’”和“捺‘乀’”对应的第一输入信号数据。
之后，张量扩展模块基于高阶张量分析模型，将第一输入信号数据扩展为第一高阶张量（S406）。其中，张量分析模型例如可以是傅里叶变换模型、小波变换模型或多子带的滤波器组模型。在本实施例中，以小波变换模型进行举例说明。例如预处理后的第一输入信号数据为。其中，m=1,2,...,M是样本，k1为采集导联数（或通道数），k2为采样点数。其中，预处理的具体方式包括：先利用独立成分分析的方法进行伪迹去除，然后采用五阶巴特沃斯带通滤波器进行0.5~5.0HZ的带通滤波。从而生成预处理后的第一输入信号数据。
此外，为了能够刻画汉字笔画书写想象脑电信号的节律特性，得到脑电信号的高维表征形式，张量扩展模块先通过小波变换模型对第一输入信号数据中的每个通道中的时序信号进行频域扩展，这样在每个通道上，都能构建一个时频矩阵。进一步地，张量扩展模块再通过小波变换模型对第一输入信号数据中的每个通道中的时序信号进行参数扩展，这样在每个通道上，都能构建一个时间-参数矩阵。从而，张量扩展模块利用小波变换模型将第一输入信号数据扩展为高阶张量。其中，n≥4。以四阶张量为例，对其中的每个导联信号进行小波变换就可以得到k 1 ×k 2 ×k 3 ×k 4 的“导联×时间×频率×参数”的矩阵，k 1 个导联的时频参数矩阵可以构造成一个“导联×时间×频率×参数”的四阶张量。
值得注意的是，本实施例选用复Morlet wavelet母小波作为小波函数，具体公式如下：
其中，f b 表示带宽参数，f c 表示小波中心频率，t表示时间。
传统脑电信号处理方法主要面向一维或者二维的模式，难以直接从到的二维脑电信号中直接提取到判别信息。单一模式的分解方法具有一定的局限性，即不同的参数选择会导致不同的分解效果。但是由于本实施例中是基于高阶张量分析模型，将多个第一输入信号数据扩展为高阶张量，因此理论上，高阶张量分析模型能够对脑电信号数据进行无限维扩张，极大地增强了脑电信号的信息丰富程度，还揭示了多种模式之间的相互作用。总的来说，只有通过高阶张量处理方法，才能够捕获和揭示高维数据结构中隐藏和内在的信息。
在得到了与第一输入信号数据对应的第一高阶张量后，需要对第一高阶张量进行特征提取，并在这一过程中需要保留第一高阶张量的高维结构信息。以4阶张量为例，即时间、空间、频率以及参数四个模式中蕴含的汉字笔画书写的神经活动信息，以及各个模式之间的相互作用与耦合信息。从而，投影分类模块利用预先训练得到的投影子空间和分类器，并利用与第一输入信号数据对应的第一高阶张量，生成汉字笔画预测结果（S408）。具体地，首先，投影分类模块基于预先训练得到的投影子空间，将与第一输入信号数据对应的第一高阶张量，投影为第一核张量。然后，投影分类模块将第一核张量展开为第一特征向量。最后，投影分类模块将第一特征向量带入至预先训练得到的分类器进行预测，从而生成汉字笔画预测结果。上述内容将在后续进行详细描述，因此此处不在加以赘述。
最后，汉字输出模块根据汉字笔画预测结果，生成与脑电信号数据对应的汉字（S410）。具体地，汉字输出模块先对汉字笔画预测结果进行编码，并生成长度为5的汉字笔画序列。然后，汉字输出模块对汉字笔画序列进行解码以及矫正，从而生成与脑电信号数据对应的汉字。上述内容将在后续进行详细描述，因此此处不再加以赘述。
正如背景技术中所述的内容，现有的汉字书写想象脑机接口主要是对汉字的书写想象脑电信号进行直接解码，然而由于汉字结构非常复杂，从而使得信号解码难度极高，其所能达到的解码精度无法满足准确性需求。同时由于所输入的汉字的数量较多，因此需要大量指令以及漫长的训练时间支撑才能实现有效解码，而这显然不符合汉字输入型脑机接口的实际应用。
有鉴于此，本申请提供了一种基于五笔输入法的汉字书写想象方法。并且由于本申请是从书写汉字想象脑机接口的输入范式入手，针对汉字书写的结构特点和五笔输入法规则，将汉字分解为“横‘一’”、“竖‘丨’”、“撇‘丿’”、“捺‘乀’”、“折‘乛’”五种笔画的排列组合作为脑机接口的输入指令，从而不仅降低了后续的解码难度，还能够减少训练时间。从而处理器能够根据汉字笔画书写想象的脑电活动特性进行解码算法设计，并结合常用汉字笔画组合规律和汉字字符矫正完成汉字的输出。
从而达到了能够降低信号解码的难度，满足解码精度的需求，还能够减少训练时间的技术效果。进而解决了现有技术中存在的主要是对汉字的书写想象脑电信号进行直接解码，而由于汉字结构非常复杂，从而使得信号解码难度极高，其所能达到的解码精度无法满足准确性需求；同时由于所输入的汉字的数量较多，因此需要大量指令以及漫长的训练时间支撑才能实现有效解码，而这显然不符合汉字输入型脑机接口的实际应用的技术问题。
可选地，利用预先训练得到的投影子空间和分类器，并利用与第一输入信号数据对应的第一高阶张量，生成汉字笔画预测结果的操作，包括：基于预先训练得到的投影子空间，将与第一输入信号数据对应的第一高阶张量，投影为第一核张量；将第一核张量展开为第一特征向量；以及将第一特征向量带入至分类器进行预测，从而生成汉字笔画预测结果。
具体地，本实施例选择基于Tucker分解的DATER算法对于一个四阶张量进行特征提取，具体计算公式如下：
其中，G为核张量，原始高阶张量X的低秩近似。
U n 表示第n个维度对应的子空间，，J n ＜K n ，n=1,2,3,4。其中，U n 也可以表示为模n的投影矩阵。
其中，投影矩阵U n 中的每个列向量对应于汉字笔画书写想象脑电信号（即，第一输入信号数据）的一个时间、空间、频率或参数的模式，蕴含着关于汉字笔画书写中，与行为参数和动力参数对应的神经编码过程信息。核张量G可以作为子空间投影下的汉字笔画书写想象脑电信号（即，第一输入信号数据）的特征，用于后续分类器的训练与预测。
从而，首先，处理器200将第一高阶张量，和分类器输入至投影分类模块。
然后，投影分类模块基于预先训练得到的投影子空间{U1,U2,...,Un}，将与第一输入信号数据对应的第一高阶张量，投影为第一核张量。
进一步地，投影分类模型将第一核张量展开为第一特征向量。
最后，投影分类模型将第一特征向量带入至预先训练好的分类器进行预测，从而得到汉字笔画预测结果。其中，汉字笔画预测结果例如可以是汉字笔画类别标签。
可选地，根据汉字笔画预测结果生成与脑电信号数据对应的汉字的操作，包括：对汉字笔画预测结果进行编码，并生成汉字笔画序列；以及对汉字笔画序列进行解码以及矫正，从而生成与脑电信号数据对应的汉字。
具体地，汉字输出模块对于由投影分类模块发送的汉字笔画预测结果进行编码操作。在五笔输入法的原理中，汉字被分解为前4种汉字笔画和末一个汉字笔画的组合，每个汉字最多5码，不足5码以空格键结束。因此在本实施例涉及的汉字书写想象脑机接口系统中，当用户每完成五个汉字笔画的书写想象，即可得到一个长度为5的数字序列。其中，0~4五个数字分别代表五种汉字笔画，每个数字序列中的五个编码对应一个汉字。然后，系统将结合汉字常用词组的汉字笔画组合规律，通过汉字字符矫正库将实现对已识别字符组合进行自动矫正。从而提高汉字识别准确率，构建高稳定性、高可靠性的汉字书写想象脑机接口系统。最后，汉字输出模块输出与汉字字符序列对应的汉字。
可选地，还包括：预先计算与不同汉字笔画类别对应的投影子空间；以及在计算得到与不同汉字笔画类别对应的投影子空间的情况下，训练分类器。进一步可选地，预先计算与不同汉字笔画类别对应的投影子空间的操作，包括：采集与书写汉字对应的多个脑电信号样本；利用五笔输入法规则，将与多个脑电信号样本对应的汉字拆解为多个第二汉字笔画，并识别与多个第二汉字笔画对应的汉字笔画类别；生成与书写多个第二汉字笔画对应的第二输入信号数据；基于高阶张量分析模型，将第二输入信号数据扩展为多个第二高阶张量，并基于多个第二高阶张量，构建高阶张量训练集；以及基于Dater算法，并利用第一计算公式预先计算多个第二高阶张量下，与不同汉字笔画类别对应的投影子空间，其中第一计算公式如下：其中，/>表示不同汉字笔画类别的类内散列矩阵，表示不同汉字笔画类别的类间散列矩阵，U n 表示第n个维度对应的子空间。进一步可选地，还包括：
利用交替最小二乘法对第二计算公式进行求解，从而生成第一计算公式，其中第二计算公式如下：
其中，C表示多个第二汉字笔画中，不同汉字笔画类别的总数，K表示多个第二汉字笔画的总数，C k 表示第k个第二汉字笔画所属的汉字笔画类别，K c 表示汉字笔画类别为C的第二汉字笔画的数量，/>表示汉字笔画类别为C的第二汉字笔画的核张量均值，/>表示汉字笔画类别为C k 的核张量均值，/>表示多个第二汉字笔画的核张量均值，/>表示第k个第二汉字笔画的第二核张量。进一步可选地，在计算得到与不同汉字笔画类别对应的投影子空间的情况下，训练分类器的操作，包括：利用投影子空间，并基于如下公式将高阶张量训练集中的各个第二高阶张量投影为对应的核张量特征集，计算公式如下：/>。其中，/>表示第二核张量，/>表示第二高阶张量，/>表示第n个维度对应的子空间；分别将核张量特征集中的各个第二核张量展开为对应的第二特征向量；以及基于多个第二特征向量和与各个脑电信号样本对应的汉字笔画类别标签，训练分类器。
具体地，首先，投影分类模块获取M个脑电信号样本的第二高阶张量表征为，m=1,2，...，M，并构建高阶张量训练集。
然后，投影分类模型利用相应的投影子空间学习算法学习高阶张量不同模式对应的投影子空间{U1,U2,...,Un}。具体地，在本实施例中运用DATER算法求解子空间投影矩阵，以最大化不同汉字笔画类别书写想象脑电信号（即，第二输入信号数据），提取到的核张量特征之间的差异性。其中，DATER的目标函数的设计如下：
其中，C表示多个第二汉字笔画中，不同汉字笔画类别的总数，K表示多个第二汉字笔画的总数，C k 表示第k个第二汉字笔画所属的汉字笔画类别，K c 表示汉字笔画类别为C的第二汉字笔画的数量，表示汉字笔画类别为C的第二汉字笔画的核张量均值，/>表示汉字笔画类别为C k 的核张量均值，/>表示多个第二汉字笔画的核张量均值，/>表示第k个第二汉字笔画的第二核张量。其中，是目标函数值，为类间散列矩阵和类内散列矩阵的迹之比。
利用交替最小二乘的思想对目标函数进行求解。即固定U n 之外的其他因子矩阵依次优化U n 。经过系列变换，目标函数可以转化为：
其中，表示不同汉字笔画类别的类内散列矩阵，/>表示不同汉字笔画类别的类间散列矩阵，U n 表示第n个维度对应的子空间。并且其中，“类”指的是不同的汉字笔画类别。例如，“横‘一’”、“竖‘丨’”、“撇‘丿’”、“捺‘乀’”、“折‘乛’”就是5种不同的类。从而，在该问题下，因子矩阵U n 可以通过求解矩阵/>最大的J n 个特征值对应的特征向量得到。依次求解U n ，不断迭代，直到满足收敛条件即可完成投影子空间的学习。对与第二汉字笔画对应的第二输入信号数据来说，与第二输入信号数据对应的第二高阶张量经过子空间投影后将得到一个第二核张量。本实施例将提取其超过对角线元素构建特征向量作为特征提取后，会采用一般的分类模型（如多层感知机，线性判别模型等），进行汉字笔画分类训练与测试。
之后投影分类模块利用学习得到的投影子空间，通过公式，将高阶张量训练集中的各个第二高阶张量投影为核张量特征集合/>。
最后，投影分类模型分别将各个第二核张量展开为对应的多个第二特征向量，并将第二特征向量以及与不同汉字笔画类别对应的标签输入至分类器进行模型训练，如LDA、SVM、CNN等等。
本发明的优点如下：
1. 根据五笔输入法的汉字输入规则，本申请使用汉字中的汉字笔画的书写想象为脑电信号诱导素材，有效的简化了汉字书写想象脑机接口系统输入范式的复杂度。并且汉字笔画书写具有更稳定的方向参数、速度参数等行为参数，从而诱发产生的脑电信号具有更稳定的活动特性，并且可以降低汉字笔画预测任务的难度，保证汉字书写想象的准确率。同时，本申请所使用的受试者执行汉字笔画的书写想象分类，相较于分类字母，以拼音的形式输入构成汉字，更加贴合汉语言的特征，且重码率更低；
2. 本申请采用基于高阶张量的脑电信号解码方法，信号处理过程中保留EEG信号中的高阶结构信息。以时间—空间—频率—参数四阶张量为例，本申请中对于四阶张量的处理方法能够挖掘时间、空间、频率、参数四个模式之间的耦合信息与相互作用。这能够为汉字笔画识别提供更为丰富的节律信息，能够在特征提取的过程中保留与汉字笔画书写活动相关的神经编码过程信息，包括在时间、空间、频率、参数模式下的活动特性；
3. 在汉字输出阶段，结合汉字常用词组的笔画组合规律，通过汉字字符矫正库将实现对已识别字符组合的汉字进行自动矫正，提高汉字识别的准确率。
图6是根据本申请实施例所述的基于五笔输入法的汉字书写想象的整体流程图。参考图6所示，本实施例中主要包括训练阶段和应用阶段。训练阶段的具体流程以及应用阶段的具体流程上述已有描述，因此此处不再加以赘述。
此外，值得注意的是，本申请还提供了另一种汉字书写想象方法。
可选地，还包括：采集与书写汉字对应的多个脑电信号样本；利用五笔输入法规则，将与多个脑电信号样本对应的汉字拆解为多个第二汉字笔画，并识别与多个第二汉字笔画对应的汉字笔画类别；生成与书写多个第二汉字笔画对应的第二输入信号数据；计算多个第二输入信号数据中，与不同汉字笔画类别对应的多个均值张量；计算与各个汉字笔画类别对应的Tucker分解，并保留与各个汉字笔画类别对应的模式滤波器，从而生成特征提取模型；计算与各个汉字笔画类别对应的模式滤波器下的多个第二核张量；将多个第二核张量展开为对应的多个第二向量，并将与不同汉字笔画类别对应的各个第二向量拼接，从而生成第二脑电信号特征；以及基于第二脑电信号特征和与各个第二输入信号数据对应的汉字笔画类别标签，训练分类器。
进一步可选地，基于Tucker分解模型，并将预先训练的特征提取模型应用于与第一输入信号数据对应的第一高阶张量；以及将第一输入信号数据对应的第一高阶张量，分解为对应于不同汉字笔画类别的模式滤波器下的多个第一核张量。
进一步可选地，分别将多个第一核张量展开为对应的多个第一向量，并将与不同汉字笔画类别对应的各个第一向量拼接，从而生成第一脑电信号特征；基于第一脑电信号特征和预先训练的分类器，生成与第一输入信号数据对应的汉字笔画类别标签；以及根据汉字笔画类别标签生成与脑电信号数据对应的汉字。
具体地，图7A是根据本申请实施例所述的模型训练阶段的流程图。参考图7A所示，首先，信号采集模块采集与书写汉字对应的多个脑电信号样本。然后，汉字拆解模块利用五笔输入规则，将与多个脑电信号样本对应的汉字拆解为多个第二汉字笔画，并识别与多个第二汉字笔画对应的汉字笔画类别，生成与书写多个第二汉字笔画对应的第二输入信号数据。
从而，张量扩展模块将M个第二输入信号数据扩展为多个第二高阶张量。并且，多个第二高阶张量表征为/>，与不同的汉字笔画类别对应的标签为/>，共有Y类，输出的对应模式下的维度分别为J 1 ,J 2 ,....,J n 。其中，T表示Tucker分解。
然后，张量分解模块将上述数据输入至Tucker分解模型。
进一步地，张量分解模块计算M个第二输入信号数据中，与不同汉字笔画类别对应的均值张量/>。其中，y=1,2,...,Y。然后，张量分解模块计算与各个汉字笔画类别下的均值张量/>对应的Tucker分解，并保留与各个汉字笔画类别对应的模式滤波器，从而生成特征提取模型。其中，对应于各个汉字笔画类别y的模式滤波器为[U1,y,U2,y,...,UN,y]。其中，y=1,2,...,Y。进一步地，张量分解模块将模式滤波器应用于每个第二输入信号数据/>中，并计算与各个汉字笔画类别y对应的模式滤波器下的多个第二核张量/>。其中，第二核张量/>可以表示为/>，y=1,2,...,Y。之后特征生成模块将多个第二核张量/>展开为第二向量，并将与不同汉字笔画类别对应的各个第二向量拼接，从而生成第二脑电信号特征/>，y=1,2,...,Y。其中，/>表示在汉字笔画类别y对应的模式滤波器[U1,y,U2,y,...,UN,y]下的第二核张量/>展开而成的第二向量。最后，特征分类模块基于第二脑电信号特征和与各个第二输入信号数据/>对应的汉字笔画类别标签/>，训练分类器。
从而，Tucker分解模型输出特征提取模型，分类器。
图7B是根据本申请实施例所述的特征提取阶段的流程图。参考图7B所示，在Tucker分解模型输出特征提取模型和分类器后，首先，处理器200将第一高阶张量，特征提取模型和分类器输入至Tucker分解模型。例如第一输入信号数据的数量与第二输入信号数据的数量相同，均为M。
然后，张量分解模块将预先训练的特征提取模型应用于与多个第一输入信号数据X T 对应的第一高阶张量，并计算对应于不同汉字笔画类别y的模式滤波器下的第一核张量/>，/>，y=1,2,...,Y。
之后，张量分解模块分别将多个第一核张量展开为第一向量，并将与不同汉字笔画类别y对应的各个第一向量拼接，从而生成第一脑电信号特征/>。其中，。其中，/>表示在不同汉字笔画类别y对应的模式滤波器[U1,y,U2,y,...,UN,y]下的第一核张量/>展开而成的第一向量。
之后，特征分类模块将第一脑电信号特征带入到训练好的分类器中，获得汉字笔画类别标签/>。即，与各个第一输入信号数据对应的结果预测标签。其中，与各个第一输入信号数据对应的汉字笔画类别标签/>用于指示与例如“横‘一’”、“竖‘丨’”、“撇‘丿’”、“捺‘乀’”、“折‘乛’”等不同汉字笔画类别。
最后，汉字输出模块对于由特征分类模块发送的汉字笔画类别标签进行编码操作。在五笔输入法的原理中，汉字被分解为前4种笔画和末一个笔画的组合，每个汉字最多5码，不足5码以空格键结束。因此在本实施例涉及的汉字书写想象脑机接口系统中，当用户每完成五个笔画的书写想象，即可得到一个长度为5的数字序列。其中，0~4五个数字分别代表五种笔画，每个数字序列中的五个编码对应一个汉字。然后，系统将结合汉字常用词组的笔画组合规律，通过汉字字符矫正库将实现对已识别字符组合进行自动矫正。从而提高汉字识别准确率，构建高稳定性、高可靠性的汉字书写想象脑机接口系统。最后，汉字输出模块输出与汉字字符序列对应的汉字。
从而根据本实施例的第一个方面，达到了能够降低信号解码的难度，满足解码精度的需求，还能够减少训练时间的技术效果。
此外，参考图1所示，根据本实施例的第二个方面，提供了一种存储介质。所述存储介质包括存储的程序，其中，在所述程序运行时由处理器执行以上所述的方法。
从而根据本实施例，达到了能够降低信号解码的难度，满足解码精度的需求，还能够减少训练时间的技术效果。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
实施例2
图8示出了根据本实施例所述的基于五笔输入法的汉字书写想象装置800，该装置800与根据实施例1的第一个方面所述的方法相对应。参考图8所示，该装置800包括：信号采集模块810，用于采集与书写汉字对应的脑电信号数据；汉字拆解模块820，用于利用五笔输入法规则，将与脑电信号数据对应的汉字拆解为多个第一汉字笔画，并生成与书写多个第一汉字笔画对应的第一输入信号数据；信号扩展模块830，用于基于高阶张量分析模型，将第一输入信号数据扩展为第一高阶张量；预测结果生成模块840，用于利用预先训练得到的投影子空间和分类器，并利用与第一输入信号数据对应的第一高阶张量，生成汉字笔画预测结果；以及汉字生成模块850，用于根据汉字笔画预测结果生成与脑电信号数据对应的汉字。
可选地，预测结果生成模块840，包括：第一投影模块，用于基于预先训练得到的投影子空间，将与第一输入信号数据对应的第一高阶张量，投影为第一核张量；第一展开模块，用于将第一核张量展开为第一特征向量；以及预测结果生成子模块，用于将第一特征向量带入至分类器进行预测，从而生成汉字笔画预测结果。
可选地，汉字生成模块850，包括：编码模块，用于对汉字笔画预测结果进行编码，并生成汉字笔画序列；以及解码模块，用于对汉字笔画序列进行解码以及矫正，从而生成与脑电信号数据对应的汉字。
可选地，装置800还包括：第一训练模块，用于预先计算与不同汉字笔画类别对应的投影子空间；以及第二训练模块，用于在计算得到与不同汉字笔画类别对应的投影子空间的情况下，训练分类器。
可选地，第一训练模块，包括：样本采集模块，用于采集与书写汉字对应的多个脑电信号样本；汉字拆解子模块，用于利用五笔输入法规则，将与多个脑电信号样本对应的汉字拆解为多个第二汉字笔画，并识别与多个第二汉字笔画对应的汉字笔画类别；输入信号数据生成模块，用于生成与书写多个第二汉字笔画对应的第二输入信号数据；信号扩展子模块，用于基于高阶张量分析模型，将第二输入信号数据扩展为多个第二高阶张量，并基于多个第二高阶张量，构建高阶张量训练集；以及第一训练子模块，用于基于Dater算法，并利用第一计算公式预先计算多个第二高阶张量下，与不同汉字笔画类别对应的投影子空间，其中第一计算公式如下：其中，/>表示不同汉字笔画类别的类内散列矩阵，/>表示不同汉字笔画类别的类间散列矩阵，U n 表示第n个维度对应的子空间。
可选地，装置800还包括：优化模块，用于利用交替最小二乘法对第二计算公式进行求解，从而生成第一计算公式，其中第二计算公式如下：
其中，C表示多个第二汉字笔画中，不同汉字笔画类别的总数，K表示多个第二汉字笔画的总数，C k 表示第k个第二汉字笔画所属的汉字笔画类别，K c 表示汉字笔画类别为C的第二汉字笔画的数量，/>表示汉字笔画类别为C的第二汉字笔画的核张量均值，/>表示汉字笔画类别为C k 的核张量均值，/>表示多个第二汉字笔画的核张量均值，/>表示第k个第二汉字笔画的第二核张量。
可选地，第二训练模块，包括：第二投影模块，用于利用投影子空间，并基于如下公式将高阶张量训练集中的各个第二高阶张量投影为对应的核张量特征集，计算公式如下：其中，/>表示第二核张量，/>表示第二高阶张量，/>表示第n个维度对应的子空间；第二展开模块，用于分别将核张量特征集中的各个第二核张量展开为对应的第二特征向量；以及第二训练子模块，用于基于多个第二特征向量和与各个脑电信号样本对应的汉字笔画类别标签，训练分类器。
从而根据本实施例，达到了能够降低信号解码的难度，满足解码精度的需求，还能够减少训练时间的技术效果。
实施例3
图9示出了根据本实施例所述的基于五笔输入法的汉字书写想象装置900，该装置900与根据实施例1的第一个方面所述的方法相对应。参考图9所示，该装置900包括：处理器910；以及存储器920，与处理器910连接，用于为处理器910提供处理以下处理步骤的指令：采集与书写汉字对应的脑电信号数据；利用五笔输入法规则，将与脑电信号数据对应的汉字拆解为多个第一汉字笔画，并生成与书写多个第一汉字笔画对应的第一输入信号数据；基于高阶张量分析模型，将第一输入信号数据扩展为第一高阶张量；利用预先训练得到的投影子空间和分类器，并利用与第一输入信号数据对应的第一高阶张量，生成汉字笔画预测结果；以及根据汉字笔画预测结果生成与脑电信号数据对应的汉字。
可选地，利用预先训练得到的投影子空间和分类器，并利用与第一输入信号数据对应的第一高阶张量，生成汉字笔画预测结果的操作，包括：基于预先训练得到的投影子空间，将与第一输入信号数据对应的第一高阶张量，投影为第一核张量；将第一核张量展开为第一特征向量；以及将第一特征向量带入至分类器进行预测，从而生成汉字笔画预测结果。
可选地，根据汉字笔画预测结果生成与脑电信号数据对应的汉字的操作，包括：对汉字笔画预测结果进行编码，并生成汉字笔画序列；以及对汉字笔画序列进行解码以及矫正，从而生成与脑电信号数据对应的汉字。
可选地，还包括：预先计算与不同汉字笔画类别对应的投影子空间；以及在计算得到与不同汉字笔画类别对应的投影子空间的情况下，训练分类器。
可选地，预先计算与不同汉字笔画类别对应的投影子空间的操作，包括：采集与书写汉字对应的多个脑电信号样本；利用五笔输入法规则，将与多个脑电信号样本对应的汉字拆解为多个第二汉字笔画，并识别与多个第二汉字笔画对应的汉字笔画类别；生成与书写多个第二汉字笔画对应的第二输入信号数据；基于高阶张量分析模型，将第二输入信号数据扩展为多个第二高阶张量，并基于多个第二高阶张量，构建高阶张量训练集；以及基于Dater算法，并利用第一计算公式预先计算多个第二高阶张量下，与不同汉字笔画类别对应的投影子空间，其中第一计算公式如下：其中，/>表示不同汉字笔画类别的类内散列矩阵，/>表示不同汉字笔画类别的类间散列矩阵，U n 表示第n个维度对应的子空间。
可选地，还包括：利用交替最小二乘法对第二计算公式进行求解，从而生成第一计算公式，其中第二计算公式如下：
其中，C表示多个第二汉字笔画中，不同汉字笔画类别的总数，K表示多个第二汉字笔画的总数，C k 表示第k个第二汉字笔画所属的汉字笔画类别，K c 表示汉字笔画类别为C的第二汉字笔画的数量，/>表示汉字笔画类别为C的第二汉字笔画的核张量均值，/>表示汉字笔画类别为C k 的核张量均值，/>表示多个第二汉字笔画的核张量均值，/>表示第k个第二汉字笔画的第二核张量。
可选地，在计算得到与不同汉字笔画类别对应的投影子空间的情况下，训练分类器的操作，包括：利用投影子空间，并基于如下公式将高阶张量训练集中的各个第二高阶张量投影为对应的核张量特征集，计算公式如下：其中，/>表示第二核张量，/>表示第二高阶张量，/>表示第n个维度对应的子空间；分别将核张量特征集中的各个第二核张量展开为对应的第二特征向量；以及基于多个第二特征向量和与各个脑电信号样本对应的汉字笔画类别标签，训练分类器。
从而根据本实施例，达到了能够降低信号解码的难度，满足解码精度的需求，还能够减少训练时间的技术效果。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于五笔输入法的汉字书写想象方法，其特征在于，包括：
采集与书写汉字对应的脑电信号数据；
利用五笔输入法规则，将与所述脑电信号数据对应的汉字拆解为多个第一汉字笔画，并生成与书写所述多个第一汉字笔画对应的第一输入信号数据；
基于高阶张量分析模型，将所述第一输入信号数据扩展为第一高阶张量；
利用预先训练得到的投影子空间和分类器，并利用与所述第一输入信号数据对应的第一高阶张量，生成汉字笔画预测结果；以及
根据所述汉字笔画预测结果生成与所述脑电信号数据对应的汉字。
2.根据权利要求1所述的方法，其特征在于，利用预先训练得到的投影子空间和分类器，并利用与所述第一输入信号数据对应的第一高阶张量，生成汉字笔画预测结果的操作，包括：
基于预先训练得到的投影子空间，将与所述第一输入信号数据对应的第一高阶张量，投影为第一核张量；
将所述第一核张量展开为第一特征向量；以及
将所述第一特征向量带入至所述分类器进行预测，从而生成所述汉字笔画预测结果。
3.根据权利要求1所述的方法，其特征在于，根据所述汉字笔画预测结果生成与所述脑电信号数据对应的汉字的操作，包括：
对所述汉字笔画预测结果进行编码，并生成汉字笔画序列；以及
对所述汉字笔画序列进行解码以及矫正，从而生成与所述脑电信号数据对应的汉字。
4.根据权利要求1所述的方法，其特征在于，还包括：
预先计算与不同汉字笔画类别对应的投影子空间；以及
在计算得到与所述不同汉字笔画类别对应的投影子空间的情况下，训练所述分类器。
5.根据权利要求4所述的方法，其特征在于，预先计算与不同汉字笔画类别对应的投影子空间的操作，包括：
采集与书写汉字对应的多个脑电信号样本；
利用五笔输入法规则，将与所述多个脑电信号样本对应的汉字拆解为多个第二汉字笔画，并识别与所述多个第二汉字笔画对应的汉字笔画类别；
生成与书写所述多个第二汉字笔画对应的第二输入信号数据；
基于所述高阶张量分析模型，将所述第二输入信号数据扩展为多个第二高阶张量，并基于所述多个第二高阶张量，构建高阶张量训练集；以及
基于Dater算法，并利用第一计算公式预先计算所述多个第二高阶张量下，与所述不同汉字笔画类别对应的投影子空间，其中所述第一计算公式如下：
；
其中，表示所述不同汉字笔画类别的类内散列矩阵，/>表示所述不同汉字笔画类别的类间散列矩阵，U n 表示第n个维度对应的子空间。
6.根据权利要求5所述的方法，其特征在于，还包括：
利用交替最小二乘法对第二计算公式进行求解，从而生成所述第一计算公式，其中所述第二计算公式如下：
；
其中，C表示所述多个第二汉字笔画中，所述不同汉字笔画类别的总数，K表示所述多个第二汉字笔画的总数，C k 表示第k个第二汉字笔画所属的汉字笔画类别，K c 表示汉字笔画类别为C的第二汉字笔画的数量，表示所述汉字笔画类别为C的第二汉字笔画的核张量均值，/>表示所述汉字笔画类别为C k 的核张量均值，/>表示所述多个第二汉字笔画的核张量均值，/>表示第k个第二汉字笔画的第二核张量。
7.根据权利要求5所述的方法，其特征在于，在计算得到与不同汉字笔画类别对应的投影子空间的情况下，训练所述分类器的操作，包括：
利用所述投影子空间，并基于如下公式将所述高阶张量训练集中的各个第二高阶张量投影为对应的核张量特征集，计算公式如下：
；
其中，表示所述第二核张量，/>表示所述第二高阶张量，/>表示第n个维度对应的子空间，并且n≥4；
分别将所述核张量特征集中的各个第二核张量展开为对应的第二特征向量；以及
基于多个第二特征向量和与各个脑电信号样本对应的汉字笔画类别标签，训练所述分类器。
8.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时由处理器执行权利要求1至7中任意一项所述的方法。
9.一种基于五笔输入法的汉字书写想象装置，其特征在于，包括：
信号采集模块，用于采集与书写汉字对应的脑电信号数据；
汉字拆解模块，用于利用五笔输入法规则，将与所述脑电信号数据对应的汉字拆解为多个第一汉字笔画，并生成与书写所述多个第一汉字笔画对应的第一输入信号数据；
信号扩展模块，用于基于高阶张量分析模型，将所述第一输入信号数据扩展为第一高阶张量；
预测结果生成模块，用于利用预先训练得到的投影子空间和分类器，并利用与所述第一输入信号数据对应的第一高阶张量，生成汉字笔画预测结果；以及
汉字生成模块，用于根据所述汉字笔画预测结果生成与所述脑电信号数据对应的汉字。
10.一种基于五笔输入法的汉字书写想象装置，其特征在于，包括：
处理器；以及
存储器，与所述处理器连接，用于为所述处理器提供处理以下处理步骤的指令：
采集与书写汉字对应的脑电信号数据；
利用五笔输入法规则，将与所述脑电信号数据对应的汉字拆解为多个第一汉字笔画，并生成与书写所述多个第一汉字笔画对应的第一输入信号数据；
基于高阶张量分析模型，将所述第一输入信号数据扩展为第一高阶张量；
利用预先训练得到的投影子空间和分类器，并利用与所述第一输入信号数据对应的第一高阶张量，生成汉字笔画预测结果；以及
根据所述汉字笔画预测结果生成与所述脑电信号数据对应的汉字。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410199192.7A CN117784939A (zh) | 2024-02-23 | 2024-02-23 | 基于五笔输入法的汉字书写想象方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410199192.7A CN117784939A (zh) | 2024-02-23 | 2024-02-23 | 基于五笔输入法的汉字书写想象方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117784939A true CN117784939A (zh) | 2024-03-29 |
Family
ID=90380032
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410199192.7A Pending CN117784939A (zh) | 2024-02-23 | 2024-02-23 | 基于五笔输入法的汉字书写想象方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117784939A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114167982A (zh) * | 2021-11-24 | 2022-03-11 | 哈尔滨工业大学（深圳） | 一种基于张量空频耦合滤波的脑机接口系统 |
| CN116880691A (zh) * | 2023-07-12 | 2023-10-13 | 浙江大学 | 一种基于手写轨迹解码的脑机接口交互方法 |
| CN117389441A (zh) * | 2023-11-23 | 2024-01-12 | 首都医科大学附属北京天坛医院 | 基于视觉追随辅助的书写想象汉字轨迹确定方法及系统 |
| CN117503057A (zh) * | 2023-11-09 | 2024-02-06 | 电子科技大学 | 基于高阶张量分解构建脑网络的癫痫发作检测装置及介质 |
-
2024
- 2024-02-23 CN CN202410199192.7A patent/CN117784939A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114167982A (zh) * | 2021-11-24 | 2022-03-11 | 哈尔滨工业大学（深圳） | 一种基于张量空频耦合滤波的脑机接口系统 |
| CN116880691A (zh) * | 2023-07-12 | 2023-10-13 | 浙江大学 | 一种基于手写轨迹解码的脑机接口交互方法 |
| CN117503057A (zh) * | 2023-11-09 | 2024-02-06 | 电子科技大学 | 基于高阶张量分解构建脑网络的癫痫发作检测装置及介质 |
| CN117389441A (zh) * | 2023-11-23 | 2024-01-12 | 首都医科大学附属北京天坛医院 | 基于视觉追随辅助的书写想象汉字轨迹确定方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 陈超 等: "基于脑机接口技术的写字系统建模仿真与实现", 系统仿真学报, no. 12, 8 December 2018 (2018-12-08) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111461176B (zh) | 基于归一化互信息的多模态融合方法、装置、介质及设备 | |
| US20210191506A1 (en) | Affective interaction systems, devices, and methods based on affective computing user interface | |
| CN111134666B (zh) | 一种多通道脑电数据的情绪识别方法及电子装置 | |
| Chen et al. | DeepFocus: Deep encoding brainwaves and emotions with multi-scenario behavior analytics for human attention enhancement | |
| CN113598774A (zh) | 基于多通道脑电数据的积极情绪多标签分类方法及装置 | |
| Bourbakis et al. | Extracting and associating meta-features for understanding people’s emotional behaviour: face and speech | |
| García et al. | Gaussian process dynamical models for multimodal affect recognition | |
| CN111276159A (zh) | 一种婴儿发音分析方法及服务器 | |
| Jinliang et al. | EEG emotion recognition based on granger causality and capsnet neural network | |
| CN110443113A (zh) | 一种虚拟现实书写方法、系统和存储介质 | |
| Singh et al. | Leveraging deep feature learning for wearable sensors based handwritten character recognition | |
| CN116880691A (zh) | 一种基于手写轨迹解码的脑机接口交互方法 | |
| CN113749656B (zh) | 基于多维生理信号的情感识别方法和装置 | |
| Prakash et al. | Educating and communicating with deaf learner’s using CNN based Sign Language Prediction System | |
| US20230101539A1 (en) | Physiological electric signal classification processing method and apparatus, computer device and storage medium | |
| Dixit et al. | Audio to indian and american sign language converter using machine translation and nlp technique | |
| Rishi et al. | Two-way sign language conversion for assisting deaf-mutes using neural network | |
| CN117784939A (zh) | 基于五笔输入法的汉字书写想象方法、装置及存储介质 | |
| Tang et al. | Eye movement prediction based on adaptive BP neural network | |
| CN113873297B (zh) | 一种数字人物视频的生成方法及相关装置 | |
| Cai | Ambient diagnostics | |
| CN114742107A (zh) | 信息服务中的感知信号的识别方法及相关设备 | |
| HALTAŞ et al. | Classification methods in EEG based motor imagery BCI systems | |
| CN117784940A (zh) | 针对汉字笔画书写想象的高维张量分析方法及装置 | |
| CN117608402B (zh) | 一种基于汉字书写想象的隐蔽汉语言处理系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |