CN117784940A - 针对汉字笔画书写想象的高维张量分析方法及装置 - Google Patents
针对汉字笔画书写想象的高维张量分析方法及装置 Download PDFInfo
- Publication number
- CN117784940A CN117784940A CN202410199193.1A CN202410199193A CN117784940A CN 117784940 A CN117784940 A CN 117784940A CN 202410199193 A CN202410199193 A CN 202410199193A CN 117784940 A CN117784940 A CN 117784940A
- Authority
- CN
- China
- Prior art keywords
- tensor
- chinese character
- character stroke
- electroencephalogram signal
- electroencephalogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 48
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 178
- 239000013598 vector Substances 0.000 claims abstract description 73
- 238000000034 method Methods 0.000 claims description 51
- 238000000605 extraction Methods 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 12
- 230000003993 interaction Effects 0.000 abstract description 16
- 230000000694 effects Effects 0.000 abstract description 8
- 210000004556 brain Anatomy 0.000 description 21
- 238000010586 diagram Methods 0.000 description 10
- 238000003672 processing method Methods 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000000047 product Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000006698 induction Effects 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 210000003169 central nervous system Anatomy 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000010220 Pearson correlation analysis Methods 0.000 description 1
- 241000577395 Thenus Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910001092 metal group alloy Inorganic materials 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Character Discrimination (AREA)
Abstract
本申请公开了一种针对汉字笔画书写想象的高维张量分析方法及装置,包括:采集与书写汉字笔画对应的脑电信号数据;基于高阶张量分析模型,将脑电信号数据扩展为高阶张量;基于张量分解模型,将与脑电信号数据对应的高阶张量,分解为与不同汉字笔画类别对应的多个张量分解特征;将多个张量分解特征展开为向量,并将与各个汉字笔画类别对应的多个张量分解特征进行拼接,从而生成脑电信号特征;以及基于脑电信号特征和预先训练的分类器,生成与脑电信号数据对应的汉字笔画类别标签。从而能够达到避免破坏数据原有的结构特性,以及丢失一些潜在的相互作用的技术效果。
Description
技术领域
本申请涉及脑电信号处理技术领域,特别是涉及一种针对汉字笔画书写想象的高维张量分析方法及装置。
背景技术
脑机接口是我国脑计划研究中的重要领域。脑机接口系统检测与用户意图相关的大脑神经活动,并将其转化为人工输出。它可以替代、修复、增强、补充或改善中枢神经系统的正常输出,从而改变中枢神经系统与内外环境的关系和相互作用。其中,字符输入型脑机接口可以通过解码用户的意图,转换为有效的字符数据,从而让用户实现与外界的沟通交流。尽管在国际上字符输入型脑机接口方面已经具有非常大的研究进步,但是在国内对于基于汉字的字符输入型脑机接口依旧研究甚少。
现有的汉字输入范式主要以光标控制和语音系统为主。然而,传统的语音输入系统并不支持脑控的文字输出方式。基于视觉的字符输入系统,需要明确的外部刺激诱发,难以让用户在无外部刺激的情况下主动产生相应的脑电信号。
此外,脑电信号的采集时间从几分钟到几小时不等,连续采样的信号可以根据实验刺激条件分为多个阶段。一段时间内的信号,即单个实验个体,可以表示为具有“通道×时间”模式的数据矩阵,传统脑电信号的处理方法主要面向一维或者二维的模式,为了便于处理,通常对与脑电信号对应的数据进行平均、平铺或堆叠等处理。然而,上述对于数据的处理不可避免的破坏数据原有的结构特性,丢失一些潜在的相互作用,而这些相互作用往往隐藏了一些有用的信息。
公开号为CN117130490A,名称为一种脑机接口控制系统及其控制方法和实现方法。脑机接口控制系统包括:脑电数据采集模块、显著性特征筛选验证模块、言语想象脑电信号解码模块和可理解语音合成模块。上述脑机接口控制系统将脑电数据采集、脑电特征提取、脑电信号解码重建语谱信息以及可理解语音合成集成,在得到重建语谱特征之后会和原始语谱特征进行皮尔逊相关性分析。
公开号为CN115565540B,名称为一种侵入式脑机接口汉语发音解码方法,包括:从脑电数据中筛选有效的神经元并去除高度相似的神经元,标准化后利用同步音频数据对脑电数据进行标注;根据汉语发音脑电数据的特点,将脑电数据投影到双曲空间中;构建有效的双曲神经网络和双曲多元逻辑回归分类器对脑电数据进行汉语音素分类;训练过程中,从训练数据中抽取一定数量的三元组,并基于网络的输出特征对这些三元组计算层次聚类的损失,以一定权重加入到需要优化的总体损失函数中;利用训练好的双曲神经网络和双曲多元逻辑回归分类器进行解码。
针对上述的现有技术中存在的传统脑电信号的处理方法主要面向一维或二维的模式,为了便于处理,通常对与脑电信号对应的数据进行平均、平铺或堆叠等处理,然而上述对于数据的处理不可避免的破坏数据原有的结构特性,丢失一些潜在的相互作用的技术问题,目前尚未提出有效的解决方案。
发明内容
本公开的实施例提供了一种针对汉字笔画书写想象的高维张量分析方法及装置,以至少解决现有技术中存在的传统脑电信号的处理方法主要面向一维或二维的模式,为了便于处理,通常对与脑电信号对应的数据进行平均、平铺或堆叠等处理,然而上述对于数据的处理不可避免的破坏数据原有的结构特性,丢失一些潜在的相互作用的技术问题。
根据本公开实施例的一个方面,提供了一种针对汉字笔画书写想象的高维张量分析方法,包括:采集与书写汉字笔画对应的脑电信号数据;基于高阶张量分析模型,将脑电信号数据扩展为高阶张量;基于张量分解模型,将与脑电信号数据对应的高阶张量,分解为与不同汉字笔画类别对应的多个张量分解特征;将多个张量分解特征展开为向量,并将与各个汉字笔画类别对应的多个张量分解特征进行拼接,从而生成脑电信号特征;以及基于脑电信号特征和预先训练的分类器,生成与脑电信号数据对应的汉字笔画类别标签。
根据本公开实施例的另一个方面,还提供了一种存储介质,存储介质包括存储的程序,其中,在程序运行时由处理器执行以上所述的方法。
根据本公开实施例的另一个方面,还提供了一种针对汉字笔画书写想象的高维张量分析装置,包括:数据采集模块,用于采集与书写汉字笔画对应的脑电信号数据;数据扩展模块,用于基于高阶张量分析模型,将脑电信号数据扩展为高阶张量;张量分解模块,用于基于张量分解模型,将与多个脑电信号数据对应的高阶张量,分解为与不同汉字笔画类别对应的多个张量分解特征;特征生成模块,用于将多个张量分解特征展开为向量,并将与各个汉字笔画类别对应的多个张量分解特征进行拼接,从而生成脑电信号特征;以及汉字笔画类别生成模块,用于基于脑电信号特征和预先训练的分类器,生成与各个脑电信号数据对应的汉字笔画类别标签。
根据本公开实施例的另一个方面,还提供了一种针对汉字笔画书写想象的高维张量分析装置,包括:处理器;以及存储器,与处理器连接,用于为处理器提供处理以下处理步骤的指令:采集与书写汉字笔画对应的脑电信号数据;基于高阶张量分析模型,将脑电信号数据扩展为高阶张量;基于张量分解模型,将与脑电信号数据对应的高阶张量,分解为与不同汉字笔画类别对应的多个张量分解特征;将多个张量分解特征展开为向量,并将与各个汉字笔画类别对应的多个张量分解特征进行拼接,从而生成脑电信号特征;以及基于脑电信号特征和预先训练的分类器,生成与脑电信号数据对应的汉字笔画类别标签。
本申请提供了一种针对汉字笔画书写想象的高维张量分析方法。首先,处理器采集与书写汉字笔画对应的脑电信号数据。然后,处理器基于高阶张量分析模型,将脑电信号数据扩展至高阶张量。进一步地,处理器基于张量分解模型,将与脑电信号数据对应的高阶张量,分解为与不同汉字笔画类别对应的多个张量分解特征。之后处理器将多个张量分解特征展开为向量,并将与各个汉字笔画类别对应的多个张量分解特征进行拼接,从而生成脑电信号特征。最后,处理器基于脑电信号特征和预先训练的分类器,生成与脑电信号数据对应的汉字笔画类别。
由于本申请中的处理器基于高阶张量分析模型,将脑电信号数据扩展为高阶张量,因此相比于现有的针对于脑电信号的处理方法主要是一维或二维的模式来说,本申请中所构建的高阶张量分析模型以及基于高阶张量分析模型得到的高阶张量具有更丰富的信息表征,并且能够实现更加精准的脑电信号解码。
从而能够达到避免破坏数据原有的结构特性,以及丢失一些潜在的相互作用(其中,上述相互作用往往存在一些有用的信息)的技术效果。进而解决了现有技术中存在的传统脑电信号的处理方法主要面向一维或二维的模式,为了便于处理,通常对与脑电信号对应的数据进行平均、平铺或堆叠等处理,然而上述对于数据的处理不可避免的破坏数据原有的结构特性,丢失一些潜在的相互作用的技术问题。
此外,由于本申请中的张量分解模型,是将与脑电信号数据对应的高阶张量,分解为与不同汉字笔画类别对应的多个张量分解特征,因此相比于现有的仅能够将高阶张量分解为单一的张量分解特征来说,本申请中基于多个张量分解特征所生成的与各个脑电信号数据对应的汉字笔画类别更加精确。
附图说明
此处所说明的附图用来提供对本公开的进一步理解,构成本申请的一部分,本公开的示意性实施例及其说明用于解释本公开,并不构成对本公开的不当限定。在附图中:
图1是用于实现根据本申请实施例1所述的方法的计算设备的硬件结构框图;
图2是根据本申请实施例1所述的针对汉字笔画书写想象的高维张量分析的系统的示意图;
图3是根据本申请实施例1所述的针对汉字笔画书写想象的高维张量分析的系统的模块化示意图;
图4是根据本申请实施例1所述的针对汉字笔画书写想象的高维张量分析的方法流程图;
图5是根据本申请实施例1所述的采集与书写汉字笔画对应的脑电信号数据的各个方式的示意图;
图6A是根据本申请实施例1所述的模型训练阶段的流程图;
图6B是根据本申请实施例1所述的特征提取阶段的流程图;
图7是根据本申请实施例2所述的针对汉字笔画书写想象的高维张量分析装置的示意图;以及
图8是根据本申请实施例3所述的针对汉字笔画书写想象的高维张量分析装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本公开的技术方案,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本公开一部分的实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本公开保护的范围。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本实施例,提供了一种针对汉字笔画书写想象的高维张量分析的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的计算设备中执行。图1示出了一种用于实现针对汉字笔画书写想象的高维张量分析方法的计算设备的硬件结构框图。如图1所示,计算设备可以包括一个或多个处理器(处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器、用于通信功能的传输装置以及输入/输出接口。其中存储器、传输装置以及输入/输出接口通过总线与处理器连接。除此以外,还可以包括:与输入/输出接口连接的显示器、键盘以及光标控制设备。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算设备还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算设备中的其他元件中的任意一个内。如本公开实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器可用于存储应用软件的软件程序以及模块,如本公开实施例中的针对汉字笔画书写想象的高维张量分析方法对应的程序指令/数据存储装置,处理器通过运行存储在存储器内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的应用程序的针对汉字笔画书写想象的高维张量分析方法。存储器可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至计算设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算设备的通信供应商提供的无线网络。在一个实例中,传输装置包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与计算设备的用户界面进行交互。
此处需要说明的是,在一些可选实施例中,上述图1所示的计算设备可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是,图1仅为特定具体实例的一个实例,并且旨在示出可存在于上述计算设备中的部件的类型。
图2是根据本申请实施例所述的针对汉字笔画书写想象的高维张量分析的系统的示意图。参照图2所示,该系统包括:终端设备100以及处理器200。其中,用户通过终端设备100向处理器200发送与不同汉字笔画类别标签的输出请求。
处理器200响应于由终端设备100发送的请求,利用终端设备100采集与书写汉字笔画对应的脑电信号数据。
处理器200还用于基于高阶张量分析模型,将与脑电信号数据对应的高阶张量,分解为与不同汉字笔画类别对应的多个张量分解特征。
处理器200还用于将多个张量分解特征展开为向量,并将与各个汉字笔画类别对应的多个张量分解特征进行拼接,从而生成脑电信号特征。
处理器200还用于基于脑电信号特征和预先训练的分类器,生成与脑电信号数据对应的各个汉字笔画类别标签。
需要说明的是,系统中的终端设备100和处理器200均可适用上面所述的硬件结构。
图3是根据本申请实施例所述的针对汉字笔画书写想象的高维张量分析的系统的模块化示意图。参考图3所示,首先,信号采集模块采集用户的脑电信号数据。其中,原始的脑电信号数据例如可以是时间—通道的二维脑电信号。然后,信号采集模块将原始的脑电信号数据发送至张量扩展模块。张量扩展模块接收到原始的脑电信号数据后,将原始的脑电信号数据(即,二维的脑电信号)扩展为高阶张量模式。进一步地,张量扩展模块将与原始的脑电信号数据对应的高阶张量发送至张量分解模块,从而张量分解模块将多个高阶张量分解为与不同汉字笔画类别对应的多个张量分解特征。之后张量分解模块将多个张量分解特征发送至特征生成模块。特征生成模块将多个张量分解特征展开为向量,并将与各个汉字笔画类别对应的向量进行拼接,从而生脑电信号特征。最后,特征分类模块基于脑电信号特征,生成与脑电信号数据对应的汉字笔画类别标签。
在上述运行环境下,根据本实施例的第一个方面,提供了一种针对汉字笔画书写想象的高维张量分析方法,该方法由图2中所示的处理器200实现。图4示出了该方法的流程示意图,参考图3和图4所示,该方法包括:
S402:采集与书写汉字笔画对应的脑电信号数据;
S404:基于高阶张量分析模型,将脑电信号数据扩展为高阶张量;
S406:基于张量分解模型,将与脑电信号数据对应的高阶张量,分解为与不同汉字笔画类别对应的多个张量分解特征;
S408:将多个张量分解特征展开为向量,并将与各个汉字笔画类别对应的多个张量分解特征进行拼接,从而生成脑电信号特征;以及
S410:基于脑电信号特征和预先训练的分类器,生成与脑电信号数据对应的汉字笔画类别标签。
具体地,本领域的技术人员可以预见到的是,由于所有的汉字都是由基本笔画所构成的,因此将汉字分解为“横‘一’”、“竖‘丨’”、“撇‘丿’”、“捺‘乀’”、“折‘乛’”等多种笔画的排列组合方式,更加符合汉语言使用者的书写习惯。其次,在本实施例中,不需要进行音频识别,而是依赖于用户书写汉字笔画的过程,这大大降低了输入错误的可能性。用户可以根据汉字的笔画顺序和形状输入汉字,而不是依赖拼音的音节,这使得用户更容易记住和输入不常用的汉字。并且相较于拼音输入法而言,笔画输入的重码率更低。
此外,值得注意的是,多种脑部信号被应用于BCI系统中,本实施例的脑电信号数据可以是侵入式脑电信号,也可以是非侵入式脑电信号。多个脑电信号数据的采集过程中,要求用户想象对应汉字笔画的书写过程,与此同时,信号采集模块同步采集对应的脑电信号(S402)。
其中,图5是根据本申请实施例所述的采集与书写汉字笔画对应的脑电信号数据的各个方式的示意图。参考图5所示,信号采集模块采集与书写汉字笔画对应的脑电信号数据包括如下三种方式:1. 用户例如可以根据面前终端设备100屏幕显示的动图提示进行相应的书写任务想象(其中,书写任务想象例如可以是书写汉字笔画的想象)。具体地,用户想象自己手部持笔,进行相应的书写任务,并且想象书写速度与屏幕提示速度一致。从而在此过程中,信号采集模块同步采集与书写汉字笔画对应的脑电信号数据。2. 用户例如还可以根据终端设备100屏幕显示的静止提示,想象对应的笔画书写。从而在此过程中,信号采集模块同步采集与书写汉字笔画对应的脑电信号数据。3. 用户例如还可以在无任何提示下,直接进行汉字笔画的书写想象。从而在此过程中,信号采集模块同步采集与书写汉字笔画对应的脑电信号数据。
此外,上述采集与书写汉字笔画对应的脑电信号数据的三种方式,不仅可以应用于信号采集阶段,还可以应用于用户训练阶段,还可以分阶段应用。例如,为了在用户使用前期,让用户适应汉字笔画书写想象的实验范式,并且相对稳定的诱发汉字笔画书写想象神经信息,在对用户训练阶段,用户可以根据终端设备100屏幕显示的动图提示进行相应的书写任务想象(即,上述方式1)。再例如,由于本申请的目标是在实际应用过程中,用户无需外部提示即可想象对应的汉字笔画,而对于用户来说,直接无提示汉字笔画书写想象可能难以直接使用视觉跟随分类模版,因此本实施例在实际应用场景前,补充了视觉提示汉字笔画书写想象阶段(即,上述方式2),从而能够帮助用户实现从动态提示—自主想象的过渡。再例如,在实际应用场景中,用户可以直接进行汉字笔画书写想象,无任何提示。在模型训练阶段,用于在完成自主汉字笔画书写想象后告知所想的笔画任务;在实际应用阶段,则直接进行自主汉字笔画书写想象,利用训练好的模型,进行笔画书写想象的识别。
然后,张量扩展模块基于高阶张量分析模型,将多个脑电信号数据扩展为高阶张量(S404)。其中,高阶张量分析模型例如可以是傅里叶变换模型、小波变换模型或多子带的滤波器组模型。例如,对于采集到的脑电信号数据,k 1 表示导联数,k 2 表示时间点。张量扩展模块利用上述傅里叶变换模型、小波变换模型或多子带的滤波器组模型将脑电信号数据扩展为高阶张量/>。其中,M≥4。以四阶张量为例,对其中的每个导联信号进行短时傅立叶变换、小波变换或多子带的滤波器组就可以得到k 1 ×k 2 ×k 3 ×k 4 的“导联×时间×频率×参数”的矩阵,k 1 个导联的时频参数矩阵可以构造成一个“导联×时间×频率×参数”的四阶张量/>。
而传统脑电信号的处理方法主要面向一维或者二维的模式,难以直接从采集到的二维脑电信号中直接提取到判别信息。单一模式的分解方法具有一定的局限性,即不同的参数选择会导致不同的分解效果。但是由于本实施例中是基于高阶张量分析模型,将多个脑电信号数据扩展为高阶张量,因此理论上,高阶张量分析模型能够对脑电信号数据进行无限维扩张,极大地增强了脑电信号的信息丰富程度,还揭示了多种模式之间的相互作用。总的来说,只有通过高阶张量处理方法,才能够捕获和揭示高维数据结构中隐藏和内在的信息。
进一步地,张量分解模块基于张量分解模型,将与脑电信号数据对应的高阶张量,分解为与不同汉字笔画类别对应的多个张量分解特征(S406)。其中,张量分解模型例如可以是Tucker分解模型或Parafac分解模型。
在张量分解模型是Tucker分解模型的情况下,整体思路就是将原始的高阶张量模型,分解多个核张量与模式滤波器的模乘形式(例如可以是空间滤波器、时间滤波器、频域滤波器以及参数滤波器等)。即,。其中,× i 表示张量计算方法中的模乘,i=1~M,/>为核张量,可视为数据X的低秩近似。以“时间、空间、频率以及参数”四阶张量为例,/>。其中,× i 表示张量计算方法中的模乘,/>为核张量。/>则为对应的空间模式,J 1 表示所选取的空间模式的数量;/>则为对应的时间模式,J 2 表示所选取的时间模式的数量;则为对应的频域模式,J 3 表示所选取的频域模式的数量;/>则为对应的参数模式,J 4 表示所选取的参数模式的数量。
此外,对于上述模式滤波器以及核张量的求解分为两大步骤。首先,对高阶张量X q 分别按模1、模2、模3以及模4展开(高阶张量的模运算),以此进行SVD分解求得U 1 、U 2 、U 3 以及U 4 的初始值:
(公式1)
其中,是数据X q 按模i展开的结果,通过/>则对应于/>的SVD分解。其中,投影子空间Q j 为正交矩阵,即/>,而Q 1 即为U 1 ,Q 2 即为U 2 ,Q 3 即为U 3 ,Q 4 即为U 4 。然后,计算的核张量G如下/>。最后使用higher-orderSVD,进行参数求解。上述内容将在后续进行详细描述,因此此处不再加以赘述。
在张量分解模型是Parafac分解模型的情况下,整体思路就是将高阶张量拆解成不同模式子张量的叠加。不同模式的子张量可以分解为单一多元模式的外积,具体表达形式如下:
(公式2)
其中,表示外积,λ j 表示第j个子张量的强度。以“导联×时间×频率×参数”的四阶张量为例,则u 1,j 表示该子张量下的空间模式,u 2,j 表示该子张量下的时间特征,u 3,j 表示该子张量的频率信息,u 4,j 表示该子张量的参数信息。按照高阶张量的模i矩阵展开,则上述公式可以等价转换为下列公式:
(公式3)
其中,表示Khatri-Rao积,/>,上式中的Q i ,Q i-1 ,Q i+1 ,Q i+2 分别表示u 1 ,u 2 ,u 3 ,u 4 中的一个。那么针对上述公式3,一般通过最小二乘法的交替迭代实现Parafac分解模型的求解。固定除Q i 外的其它模式,那么可以针对Q i 的最小二乘法目标函数如下:
(公式4)
根据上述目标函数即可求得,进一步地对/>进行归一化。即可得到对应的模式矩阵Q i ,而/>的范数即是对应的对角矩阵/>中的元素,最后将所有模式矩阵逐一遍历,反复多次迭代,直到满足收敛条件即可。上述内容将在后续进行详细描述,因此此处不再加以赘述。
之后特征生成模块将多个张量分解特征展开为向量,并将与各个汉字笔画类别对应的多个张量特征进行拼接,从而生成脑电信号特征(S408)。具体地,在张量分解模型为Tucker分解模型的情况下,张量分解模块基于Tucker分解模型,将第一脑电信号数据对应的第一高阶张量,分解为对应于不同汉字笔画类别的模式滤波器下的多个第一核张量。然后,特征生成模块分别将各个第一核张量展开为第一向量,并将与不同汉字笔画类别对应的各个第一向量拼接,从而生成第一脑电信号特征。
在张量分解模型为Parafac分解模型的情况下,张量分解模块基于Parafac分解模型,将第二脑电信号数据对应的第二高阶张量,分解为对应于不同汉字笔画类别的多个第一子张量强度。然后,特征生成模块分别将各个第一子张量强度展开为第三向量,并将与不同汉字笔画类别对应的各个第三向量拼接,从而生成第三脑电信号特征。上述内容将在后续进行详细描述,因此此处不再加以赘述。
最后,特征分类模块基于脑电信号特征和预先训练的分类器,生成与各个脑电信号数据对应的汉字笔画类别标签(S410)。具体地,首先,处理器200要预先训练分类器。并且在不同的张量分解模型下(即,Tucker分解模型或Parafac分解模型),对于分类器的训练步骤也不同。
例如,在张量分解模型是Tucker分解模型的情况下,信号采集模块需要先采集与书写汉字笔画对应的多个第一脑电信号样本。然后,张量分解模块计算多个第一脑电信号样本中,与不同汉字笔画类别对应的第一均值张量。之后张量分解模块计算与各个汉字笔画类别对应的Tucker分解,并保留与各个汉字笔画类别对应的模式滤波器,从而生成第一特征提取模型。进一步地,张量分解模块计算与各个汉字笔画类别对应的模式滤波器下的多个第二核张量。然后,特征生成模块将多个第二核张量展开为第二向量,并将与不同汉字笔画类别对应的各个第二向量拼接,从而生成第二脑电信号特征。最后,特征分类模块基于第二脑电信号特征和与各个第一脑电信号样本对应的汉字笔画类别,训练第一分类器。
再例如,在张量分解模型是Parafac分解模型的情况下,信号采集模块需要先采集与书写汉字笔画对应的多个第二脑电信号样本。然后,张量分解模块计算多个第二脑电信号样本中,与不同汉字笔画类别对应的第二均值张量。之后张量分解模块计算与各个汉字笔画类别对应的Parafac分解,并保留与各个汉字笔画类别对应的子张量模式,从而生成第二特征提取模型。进一步地,张量分解模块计算与各个汉字笔画类别对应的多个第二子张量强度。然后,特征生成模块将多个第二子张量强度展开为第四向量,并将与不同汉字笔画类别对应的各个第四向量拼接,从而生成第四脑电信号特征。最后,特征分类模块基于第四脑电信号特征和与各个第二脑电信号样本对应的汉字笔画类别,训练第二分类器。上述内容将在后续进行详细描述,因此此处不再加以赘述。
正如背景技术中所述的内容,脑电信号的采集时间从几分钟到几小时不等,连续采样的信号可以根据实验刺激条件分为多个阶段。一段时间内的信号,即单个实验个体,可以表示为具有“通道×时间”模式的数据矩阵,传统脑电信号的处理方法主要面向一维或者二维的模式,为了便于处理,通常对与脑电信号对应的数据进行平均、平铺或堆叠等处理。然而,上述对于数据的处理不可避免的破坏数据原有的结构特性,丢失一些潜在的相互作用,而这些相互作用往往隐藏了一些有用的信息。
有鉴于此,本申请中的处理器基于高阶张量分析模型,将多个脑电信号数据扩展为高阶张量,因此相比于现有的针对于脑电信号的处理方法主要是一维或二维的模式来说,本申请中所构建的高阶张量分析模型以及基于高阶张量分析模型得到的高阶张量具有更丰富的信息表征,并且能够实现更加精准的脑电信号解码。
从而能够达到避免破坏数据原有的结构特性,以及丢失一些潜在的相互作用的技术效果。进而解决了现有技术中存在的传统脑电信号的处理方法主要面向一维或二维的模式,为了便于处理,通常对与脑电信号对应的数据进行平均、平铺或堆叠等处理,然而上述对于数据的处理不可避免的破坏数据原有的结构特性,丢失一些潜在的相互作用的技术问题。
可选地,还包括:采集与书写汉字笔画对应的多个第一脑电信号样本;计算多个第一脑电信号样本中,与不同汉字笔画类别对应的多个第一均值张量;计算与各个汉字笔画类别对应的Tucker分解,并保留与各个汉字笔画类别对应的模式滤波器,从而生成第一特征提取模型;计算与各个汉字笔画类别对应的模式滤波器下的多个第二核张量;将多个第二核张量展开为对应的多个第二向量,并将与不同汉字笔画类别对应的各个第二向量拼接,从而生成第二脑电信号特征;以及基于第二脑电信号特征和与各个第一脑电信号样本对应的汉字笔画类别标签,训练第一分类器。进一步可选地,基于张量分解模型,将与脑电信号数据对应的高阶张量,分解为与不同汉字笔画类别对应的多个张量分解特征的操作,包括:基于Tucker分解模型,并将预先训练的第一特征提取模型应用于与第一脑电信号数据对应的第一高阶张量;以及将第一脑电信号数据对应的第一高阶张量,分解为对应于不同汉字笔画类别的模式滤波器下的多个第一核张量。进一步可选地,将多个张量分解特征展开为向量,并将与各个汉字笔画类别对应的多个张量分解特征进行拼接,从而生成脑电信号特征的操作,包括:分别将多个第一核张量展开为对应的多个第一向量,并将与不同汉字笔画类别对应的各个第一向量拼接,从而生成第一脑电信号特征。
具体地,图6A是根据本申请实施例所述的模型训练阶段的流程图。参考图6A所示,首先,处理器200需要先基于Tucker分解模型训练第一特征提取模型Feature()和第一分类器Classify()。
其中,信号采集模块例如可以采集N个第一脑电信号样本,从而,N个第一脑电信号样本/>的高阶张量表征为/>,与不同的汉字笔画类别对应的标签为/>,共有Y类,输出的对应模式下的维度分别为J 1 ,J 2 ,....,J M 。其中,T表示Tucker分解。
然后,信号采集模块将上述数据输入至Tucker分解模型。
进一步地,张量分解模块计算N个第一脑电信号样本中,与不同汉字笔画类别对应的第一均值张量/>。其中,y=1,2,...,Y。然后,张量分解模块计算与各个汉字笔画类别下的第一均值张量/>对应的Tucker分解,并保留与各个汉字笔画类别对应的模式滤波器,从而生成第一特征提取模型Feature()。其中,对应于各个汉字笔画类别y的模式滤波器为[U1,y,U2,y,...,UM,y]。其中,y=1,2,...,Y。进一步地,张量分解模块将模式滤波器应用于每个第一脑电信号样本/>中,并计算与各个汉字笔画类别/>对应的模式滤波器下的多个第二核张量/>。其中,第二核张量/>可以表示为/>,y=1,2,...,Y。之后特征生成模块将多个第二核张量展开为第二向量,并将与不同汉字笔画类别对应的各个第二向量拼接,从而生成第二脑电信号特征。其中,/>表示在类别/>对应的模式滤波器[U1,y,U2,y,...,UM,y]下的第二核张量/>展开而成的第二向量。最后,特征分类模块基于第二脑电信号特征/>和与各个第一脑电信号样本/>的不同汉字笔画类别对应的汉字笔画类别标签/>,训练第一分类器Classify()。
从而,Tucker分解模型输出第一特征提取模型Feature(),第一分类器Classify()。
图6B是根据本申请实施例所述的特征提取阶段的流程图。参考图6B所示,在Tucker分解模型输出第一特征提取模型Feature()和第一分类器Classify()后,首先,处理器200将第一高阶张量,第一特征提取模型Feature()和第一分类器Classify()输入至Tucker分解模型。例如第一脑电信号数据的数量与第一脑电信号样本的数量相同,均为N。
然后,张量分解模块将预先训练的第一特征提取模型Feature()应用于与多个第一脑电信号数据对应的第一高阶张量/>,并计算对应于不同汉字笔画类别y的模式滤波器下的第一核张量/>,/>,y=1,2,...,Y。
之后,张量分解模块分别将多个第一核张量展开为第一向量,并将与不同汉字笔画类别y对应的各个第一向量拼接,从而生成第一脑电信号特征/>。其中,。其中,/>表示在不同汉字笔画类别y对应的模式滤波器[U1,y,U2,y,...,UM,y]下的第一核张量/>展开而成的第一向量。
最后,特征分类模块将第一脑电信号特征带入到训练好的第一分类器Classify()中,获得预测标签/>。即,与各个第一脑电信号数据的不同汉字笔画类别对应的汉字笔画类别标签/>。
可选地,还包括:采集与书写汉字笔画对应的多个第二脑电信号样本;
计算多个第二脑电信号样本中,与不同汉字笔画类别对应的多个第二均值张量;计算与各个汉字笔画类别对应的Parafac分解,并保留与各个汉字笔画类别对应的子张量模式,从而生成第二特征提取模型;计算与各个汉字笔画类别对应的多个第二子张量强度;将多个第二子张量强度展开为对应的多个第四向量,并将与不同汉字笔画类别对应的各个第四向量拼接,从而生成第四脑电信号特征;以及基于第四脑电信号特征和与各个第二脑电信号样本对应的汉字笔画类别标签,训练第二分类器。进一步可选地,基于张量分解模型,将与脑电信号数据对应的高阶张量,分解为与不同汉字笔画类别对应的多个张量分解特征的操作,包括:基于Parafac分解模型,并将预先训练的第二特征提取模型应用于与第二脑电信号数据对应的第二高阶张量;以及将第二脑电信号数据对应的第二高阶张量,分解为对应于不同汉字笔画类别的多个第一子张量强度。进一步可选地,将多个张量分解特征展开为向量,并将与各个汉字笔画类别对应的多个张量分解特征进行拼接,从而生成脑电信号特征的操作,包括:分别将多个第一子张量强度展开为对应的多个第三向量,并将与不同汉字笔画类别对应的各个第三向量拼接,从而生成第三脑电信号特征。
具体地,图6A是根据本申请实施例所述的模型训练阶段的流程图。参考图6A所示,首先,处理器200需要先基于Parafac分解模型训练第二特征提取模型Feature()和第二分类器Classify()。
其中,信号采集模块例如可以采集N个第二脑电信号样本,从而,N个第二脑电信号样本/>的张量表征为/>,与不同的汉字笔画类别对应的标签为/>,共有Y类,选择的单类别下的子张量数目为J。其中,P表示Parafac分解。
然后,处理器200将上述数据输入至Parafac分解模型。
进一步地,张量分解模块计算N个第二脑电信号样本,与不同汉字笔画类别对应的第二均值张量/>。其中,y=1,2,...,Y。然后,张量分解模块计算与各个汉字笔画类别y下的第二均值张量/>对应的Parafac分解,并保留与各个汉字笔画类别y对应的子张量模式,从而生成第二特征提取模型Feature()。其中,对应于汉字笔画类别y的第j个子张量模式为/>,j=1,2,......,J,y=1,2,......,Y。然后,将子张量模式应用于每个第二脑电信号样本/>中,计算对应于汉字笔画类别y的模式子张量下的强度。其中,对应于各个汉字笔画类别的模式子张量下的强度/>。其中,。其中,对应于各个汉字笔画类别y的第二脑电信号样本/>的子张量强度/>可通过最小二乘法求解。之后,特征生成模块将多个第二子张量强度展开为第四向量,并将与不同汉字笔画类别y对应的各个第四向量拼接,从而生成第四脑电信号特征/>。其中,/>表示汉字笔画类别y对应的子张量模式/>下的子张量强度/>展开而成的第四向量。最后,特征分类模块根据第四脑电信号特征/>和与各个第二脑电信号样本/>的不同汉字笔画类别对应的汉字笔画类别标签/>,训练第二分类器Classify()。
从而,Parafac分解模型输出第二特征提取模型Feature()和第二分类器Classify()。
图6B是根据本申请实施例所述的特征提取阶段的流程图。参考图6B所示,在Parafac分解模型输出第二特征提取模型Feature()和第二分类器Classify()后,首先,处理器200将第二高阶张量,第二特征提取模型Feature()和第二分类器Classify()输入至Parafac分解模型。例如第二脑电信号数据的数量与第二脑电信号样本的数量相同,均为N。
然后,张量分解模块将预先训练的第二特征提取模型Feature()应用于与多个第二脑电信号数据对应的第二高阶张量/>,并计算对应于不同汉字笔画类别y的模式子张量下的强度/>。其中,/>。其中,对应于不同汉字笔画类别y的子张量强度/>,可通过最小二乘法求解。
之后,特征生成模块分别将各个第一子张量强度展开为第三向量,并将与不同汉字笔画类别对应的各个第一子张量强度拼接,从而生成第三脑电信号特征。其中,/>表示在不同汉字笔画类别y对应的子张量模式为/>下的子张量强度/>展开而成的第三向量。
最后,特征分类模块将第三脑电信号特征带入到训练好的第二分类器Classify()中,获得预测标签/>。即,与各个第二脑电信号数据的不同汉字笔画类别对应的汉字笔画类别标签/>。
本申请的优点如下:
1. 根据汉字笔画输入法的汉字输入规则,本申请使用汉字基本笔画的书写想象为脑电信号诱导素材,更符合汉语言使用者的书写习惯。相较于完整的汉字字符书写,基于笔画的输入规则更加简洁,训练更加简单,而相较于拼音输入法而言,笔画输入的重码率更低;
2. 针对汉字笔画书写想象过程中,不同脑电诱发下的多源模式差异性,提供了统一的针对汉字笔画书写想象脑电信号的高阶张量模式分解框架,以更丰富的信息表征实现更精准的神经信息解码;
3. 本申请充分考虑用户的训练习惯和神经信息的稳定激活,采用三阶段的训练测试方法。第一阶段进行视觉跟随汉字笔画书写想象,一方面让用户书写实验流程,另一方面保证神经信号的稳定激活;第二阶段视觉提示汉字笔画书写想象,进一步进行模型的参数优化;第三阶段进行自主汉字笔画书写想象,结合实际应用场景,实现模型参数优化和测试。
从而根据本实施例的第一个方面,能够达到避免破坏数据原有的结构特性,以及丢失一些潜在的相互作用的技术效果。
此外,参考图1所示,根据本实施例的第二个方面,提供了一种存储介质。所述存储介质包括存储的程序,其中,在所述程序运行时由处理器执行以上所述的方法。
从而根据本实施例,能够达到避免破坏数据原有的结构特性,以及丢失一些潜在的相互作用的技术效果。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
图7示出了根据本实施例所述的针对汉字笔画书写想象的高维张量分析装置700,该装置700与根据实施例1的第一个方面所述的方法相对应。参考图7所示,该装置700包括:数据采集模块710,用于采集与书写汉字笔画对应的脑电信号数据;数据扩展模块720,用于基于高阶张量分析模型,将脑电信号数据扩展为高阶张量;张量分解模块730,用于基于张量分解模型,将与脑电信号数据对应的高阶张量,分解为与不同汉字笔画类别对应的多个张量分解特征;特征生成模块740,用于将多个张量分解特征展开为向量,并将与各个汉字笔画类别对应的多个张量分解特征进行拼接,从而生成脑电信号特征;以及汉字笔画类别生成模块750,用于基于脑电信号特征和预先训练的分类器,生成与脑电信号数据对应的汉字笔画类别标签。
可选地,在所述张量分解模型为Tucker分解模型的情况下,所述张量分解特征为第一核张量,张量分解模块730,包括:第一高阶张量生成模块,用于基于Tucker分解模型,并将预先训练的第一特征提取模型应用于与第一脑电信号数据对应的第一高阶张量;以及第一核张量生成模块,用于将第一脑电信号数据对应的第一高阶张量,分解为对应于不同汉字笔画类别的模式滤波器下的多个第一核张量。
可选地,特征生成模块740,包括:第一脑电信号特征生成模块,用于分别将多个第一核张量展开为对应的多个第一向量,并将与不同汉字笔画类别对应的各个第一向量拼接,从而生成第一脑电信号特征。
可选地,装置700还包括:第一样本采集模块,用于采集与书写汉字笔画对应的多个第一脑电信号样本;第一均值张量计算模块,用于计算多个第一脑电信号样本中,与不同汉字笔画类别对应的多个第一均值张量;第一特征提取模型生成模块,用于计算与各个汉字笔画类别对应的Tucker分解,并保留与各个汉字笔画类别对应的模式滤波器,从而生成第一特征提取模型;第二核张量生成模块,用于计算与各个汉字笔画类别对应的模式滤波器下的多个第二核张量;第二脑电信号特征生成模块,用于将多个第二核张量展开为对应的多个第二向量,并将与不同汉字笔画类别对应的各个第二向量拼接,从而生成第二脑电信号特征;以及第一分类器训练模块,用于基于第二脑电信号特征和与各个第一脑电信号样本对应的汉字笔画类别标签,训练第一分类器。
可选地,在所述张量分解模型为Parafac分解模型的情况下,所述张量分解特征为第一子张量强度,张量分解模块730,包括:第二高阶张量生成模块,用于基于Parafac分解模型,并将预先训练的第二特征提取模型应用于与第二脑电信号数据对应的第二高阶张量;以及第一子张量强度生成模块,用于将第二脑电信号数据对应的第二高阶张量,分解为对应于不同汉字笔画类别的多个第一子张量强度。
可选地,特征生成740模块,包括:第三脑电信号特征生成模块,分别将多个第一子张量强度展开为对应的多个第三向量,并将与不同汉字笔画类别对应的各个第三向量拼接,从而生成第三脑电信号特征。
可选地,装置700还包括:第二样本采集模块,采集与书写汉字笔画对应的多个第二脑电信号样本;第一均值张量计算模块,用于计算多个第二脑电信号样本中,与不同汉字笔画类别对应的多个第二均值张量;第二特征提取模型生成模块,用于计算与各个汉字笔画类别对应的Parafac分解,并保留与各个汉字笔画类别对应的子张量模式,从而生成第二特征提取模型;第二子张量强度生成模块,用于计算与各个汉字笔画类别对应的多个第二子张量强度;第四脑电信号特征生成模块,用于将多个第二子张量强度展开为对应的多个第四向量,并将与不同汉字笔画类别对应的各个第四向量拼接,从而生成第四脑电信号特征;以及第二分类器训练模块,基于第四脑电信号特征和与各个第二脑电信号样本对应的汉字笔画类别标签,训练第二分类器。
从而根据本实施例,能够达到避免破坏数据原有的结构特性,以及丢失一些潜在的相互作用的技术效果。
实施例3
图8示出了根据本实施例所述的针对汉字笔画书写想象的高维张量分析装置800,该装置800与根据实施例1的第一个方面所述的方法相对应。参考图8所示,该装置800包括:处理器810;以及存储器820,与处理器810连接,用于为处理器810提供处理以下处理步骤的指令:采集与书写汉字笔画对应的脑电信号数据;基于高阶张量分析模型,将脑电信号数据扩展为高阶张量;基于张量分解模型,将与脑电信号数据对应的高阶张量,分解为与不同汉字笔画类别对应的多个张量分解特征;将多个张量分解特征展开为向量,并将与各个汉字笔画类别对应的多个张量分解特征进行拼接,从而生成脑电信号特征;以及基于脑电信号特征和预先训练的分类器,生成与脑电信号数据对应的汉字笔画类别标签。
可选地,在所述张量分解模型为Tucker分解模型的情况下,所述张量分解特征为第一核张量,基于张量分解模型,将与脑电信号数据对应的高阶张量,分解为与不同汉字笔画类别对应的多个张量分解特征的操作,包括:基于Tucker分解模型,并将预先训练的第一特征提取模型应用于与第一脑电信号数据对应的第一高阶张量;以及将第一脑电信号数据对应的第一高阶张量,分解为对应于不同汉字笔画类别的模式滤波器下的多个第一核张量。
可选地,将多个张量分解特征展开为向量,并将与各个汉字笔画类别对应的多个张量分解特征进行拼接,从而生成脑电信号特征的操作,包括:分别将多个第一核张量展开为对应的多个第一向量,并将与不同汉字笔画类别对应的各个第一向量拼接,从而生成第一脑电信号特征。
可选地,装置800还包括:采集与书写汉字笔画对应的多个第一脑电信号样本;计算多个第一脑电信号样本中,与不同汉字笔画类别对应的多个第一均值张量;计算与各个汉字笔画类别对应的Tucker分解,并保留与各个汉字笔画类别对应的模式滤波器,从而生成第一特征提取模型;计算与各个汉字笔画类别对应的模式滤波器下的多个第二核张量;将多个第二核张量展开为对应的多个第二向量,并将与不同汉字笔画类别对应的各个第二向量拼接,从而生成第二脑电信号特征;以及基于第二脑电信号特征和与各个第一脑电信号样本对应的汉字笔画类别标签,训练第一分类器。
可选地,在所述张量分解模型为Parafac分解模型的情况下,所述张量分解特征为第一子张量强度,基于张量分解模型,将与脑电信号数据对应的高阶张量,分解为与不同汉字笔画类别对应的多个张量分解特征的操作,包括:基于Parafac分解模型,并将预先训练的第二特征提取模型应用于与第二脑电信号数据对应的第二高阶张量;以及将第二脑电信号数据对应的第二高阶张量,分解为对应于不同汉字笔画类别的多个第一子张量强度。
可选地,将多个张量分解特征展开为向量,并将与各个汉字笔画类别对应的多个张量分解特征进行拼接,从而生成脑电信号特征的操作,包括:分别将多个第一子张量强度展开为对应的多个第三向量,并将与不同汉字笔画类别对应的各个第三向量拼接,从而生成第三脑电信号特征。
可选地,装置800还包括:采集与书写汉字笔画对应的多个第二脑电信号样本;计算多个第二脑电信号样本中,与不同汉字笔画类别对应的多个第二均值张量;计算与各个汉字笔画类别对应的Parafac分解,并保留与各个汉字笔画类别对应的子张量模式,从而生成第二特征提取模型;计算与各个汉字笔画类别对应的多个第二子张量强度;将多个第二子张量强度展开为对应的多个第四向量,并将与不同汉字笔画类别对应的各个第四向量拼接,从而生成第四脑电信号特征;以及基于第四脑电信号特征和与各个第二脑电信号样本对应的汉字笔画类别标签,训练第二分类器。
从而根据本实施例,能够达到避免破坏数据原有的结构特性,以及丢失一些潜在的相互作用的技术效果。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种针对汉字笔画书写想象的高维张量分析方法,其特征在于,包括:
采集与书写汉字笔画对应的脑电信号数据;
基于高阶张量分析模型,将所述脑电信号数据扩展为高阶张量;
基于张量分解模型,将与所述脑电信号数据对应的高阶张量,分解为与不同汉字笔画类别对应的多个张量分解特征;
将所述多个张量分解特征展开为向量,并将与各个汉字笔画类别对应的多个张量分解特征进行拼接,从而生成脑电信号特征;以及
基于所述脑电信号特征和预先训练的分类器,生成与所述脑电信号数据对应的汉字笔画类别标签。
2.根据权利要求1所述的方法,其特征在于,在所述张量分解模型为Tucker分解模型的情况下,所述张量分解特征为第一核张量,基于张量分解模型,将与所述脑电信号数据对应的高阶张量,分解为与不同汉字笔画类别对应的多个张量分解特征的操作,包括:
基于Tucker分解模型,并将预先训练的第一特征提取模型应用于与第一脑电信号数据对应的第一高阶张量;以及
将与所述第一脑电信号数据对应的第一高阶张量,分解为对应于所述不同汉字笔画类别的模式滤波器下的多个第一核张量。
3.根据权利要求2所述的方法,其特征在于,将所述多个张量分解特征展开为向量,并将与各个汉字笔画类别对应的多个张量分解特征进行拼接,从而生成脑电信号特征的操作,包括:
分别将所述多个第一核张量展开为对应的多个第一向量,并将与所述不同汉字笔画类别对应的各个第一向量拼接,从而生成第一脑电信号特征。
4.根据权利要求3所述的方法,其特征在于,还包括:
采集与书写汉字笔画对应的多个第一脑电信号样本;
计算所述多个第一脑电信号样本中,与所述不同汉字笔画类别对应的多个第一均值张量;
计算与所述各个汉字笔画类别对应的Tucker分解,并保留与所述各个汉字笔画类别对应的模式滤波器,从而生成第一特征提取模型;
计算与所述各个汉字笔画类别对应的模式滤波器下的多个第二核张量;
将所述多个第二核张量展开为对应的多个第二向量,并将与所述不同汉字笔画类别对应的各个第二向量拼接,从而生成第二脑电信号特征;以及
基于所述第二脑电信号特征和与各个第一脑电信号样本对应的汉字笔画类别标签,训练第一分类器。
5.根据权利要求1所述的方法,其特征在于,在所述张量分解模型为Parafac分解模型的情况下,所述张量分解特征为第一子张量强度,基于张量分解模型,将与所述脑电信号数据对应的高阶张量,分解为与不同汉字笔画类别对应的多个张量分解特征的操作,包括:
基于Parafac分解模型,并将预先训练的第二特征提取模型应用于与第二脑电信号数据对应的第二高阶张量;以及
将所述第二脑电信号数据对应的第二高阶张量,分解为对应于所述不同汉字笔画类别的多个第一子张量强度。
6.根据权利要求5所述的方法,其特征在于,将所述多个张量分解特征展开为向量,并将与各个汉字笔画类别对应的多个张量分解特征进行拼接,从而生成脑电信号特征的操作,包括:
分别将所述多个第一子张量强度展开为对应的多个第三向量,并将与所述不同汉字笔画类别对应的各个第三向量拼接,从而生成第三脑电信号特征。
7.根据权利要求6所述的方法,其特征在于,还包括:
采集与书写汉字笔画对应的多个第二脑电信号样本;
计算所述多个第二脑电信号样本中,与所述不同汉字笔画类别对应的多个第二均值张量;
计算与所述各个汉字笔画类别对应的Parafac分解,并保留与所述各个汉字笔画类别对应的子张量模式,从而生成第二特征提取模型;
计算与所述各个汉字笔画类别对应的多个第二子张量强度;
将所述多个第二子张量强度展开为对应的多个第四向量,并将与所述不同汉字笔画类别对应的各个第四向量拼接,从而生成第四脑电信号特征;以及
基于所述第四脑电信号特征和与各个第二脑电信号样本对应的汉字笔画类别标签,训练第二分类器。
8.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时由处理器执行权利要求1至7中任意一项所述的方法。
9.一种针对汉字笔画书写想象的高维张量分析装置,其特征在于,包括:
数据采集模块,用于采集与书写汉字笔画对应的脑电信号数据;
数据扩展模块,用于基于高阶张量分析模型,将所述脑电信号数据扩展为高阶张量;
张量分解模块,用于基于张量分解模型,将与所述脑电信号数据对应的高阶张量,分解为与不同汉字笔画类别对应的多个张量分解特征;
特征生成模块,用于将所述多个张量分解特征展开为向量,并将与各个汉字笔画类别对应的多个张量分解特征进行拼接,从而生成脑电信号特征;以及
汉字笔画类别生成模块,用于基于所述脑电信号特征和预先训练的分类器,生成与所述脑电信号数据对应的汉字笔画类别标签。
10.一种针对汉字笔画书写想象的高维张量分析装置,其特征在于,包括:
处理器;以及
存储器,与所述处理器连接,用于为所述处理器提供处理以下处理步骤的指令:
采集与书写汉字笔画对应的脑电信号数据;
基于高阶张量分析模型,将所述脑电信号数据扩展为高阶张量;
基于张量分解模型,将与所述脑电信号数据对应的高阶张量,分解为与不同汉字笔画类别对应的多个张量分解特征;
将所述多个张量分解特征展开为向量,并将与各个汉字笔画类别对应的多个张量分解特征进行拼接,从而生成脑电信号特征;以及
基于所述脑电信号特征和预先训练的分类器,生成与所述脑电信号数据对应的汉字笔画类别标签。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410199193.1A CN117784940A (zh) | 2024-02-23 | 2024-02-23 | 针对汉字笔画书写想象的高维张量分析方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410199193.1A CN117784940A (zh) | 2024-02-23 | 2024-02-23 | 针对汉字笔画书写想象的高维张量分析方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117784940A true CN117784940A (zh) | 2024-03-29 |
Family
ID=90391113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410199193.1A Pending CN117784940A (zh) | 2024-02-23 | 2024-02-23 | 针对汉字笔画书写想象的高维张量分析方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117784940A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110222213A (zh) * | 2019-05-28 | 2019-09-10 | 天津大学 | 一种基于异构张量分解的图像分类方法 |
CN117389441A (zh) * | 2023-11-23 | 2024-01-12 | 首都医科大学附属北京天坛医院 | 基于视觉追随辅助的书写想象汉字轨迹确定方法及系统 |
CN117473303A (zh) * | 2023-12-27 | 2024-01-30 | 小舟科技有限公司 | 基于脑电信号的个性化动态意图特征提取方法及相关装置 |
CN117503057A (zh) * | 2023-11-09 | 2024-02-06 | 电子科技大学 | 基于高阶张量分解构建脑网络的癫痫发作检测装置及介质 |
-
2024
- 2024-02-23 CN CN202410199193.1A patent/CN117784940A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110222213A (zh) * | 2019-05-28 | 2019-09-10 | 天津大学 | 一种基于异构张量分解的图像分类方法 |
CN117503057A (zh) * | 2023-11-09 | 2024-02-06 | 电子科技大学 | 基于高阶张量分解构建脑网络的癫痫发作检测装置及介质 |
CN117389441A (zh) * | 2023-11-23 | 2024-01-12 | 首都医科大学附属北京天坛医院 | 基于视觉追随辅助的书写想象汉字轨迹确定方法及系统 |
CN117473303A (zh) * | 2023-12-27 | 2024-01-30 | 小舟科技有限公司 | 基于脑电信号的个性化动态意图特征提取方法及相关装置 |
Non-Patent Citations (1)
Title |
---|
郭德鑫 等: "基于3阶小波张量的船舶辐射噪声识别", 舰船科学技术, no. 17, 8 September 2020 (2020-09-08) * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111461176B (zh) | 基于归一化互信息的多模态融合方法、装置、介质及设备 | |
EP3885965B1 (en) | Image recognition method based on micro facial expressions, apparatus and related device | |
Tu et al. | A subject transfer framework for EEG classification | |
US20210191506A1 (en) | Affective interaction systems, devices, and methods based on affective computing user interface | |
CN103294199B (zh) | 一种基于脸部肌音信号的无声信息识别系统 | |
CN111329474A (zh) | 基于深度学习的脑电身份识别方法、系统及信息更新方法 | |
Kacorri | Teachable machines for accessibility | |
Bourbakis et al. | Extracting and associating meta-features for understanding people’s emotional behaviour: face and speech | |
Khurana et al. | EEG based word familiarity using features and frequency bands combination | |
CN110414607A (zh) | 胶囊内窥镜图像的分类方法、装置、设备及介质 | |
CN110909680A (zh) | 人脸图像的表情识别方法、装置、电子设备及存储介质 | |
Jinliang et al. | EEG emotion recognition based on granger causality and capsnet neural network | |
CN115359576A (zh) | 一种多模态情绪识别方法、装置、电子设备及存储介质 | |
CN108959322A (zh) | 信息处理方法和基于文本生成图像的装置 | |
CN111276159A (zh) | 一种婴儿发音分析方法及服务器 | |
Ning et al. | Audio description from image by modal translation network | |
Yao et al. | Information-preserving feature filter for short-term EEG signals | |
CN114863905A (zh) | 语音类别获取方法、装置、电子设备和存储介质 | |
Walavalkar et al. | Support vector learning for gender classification using audio and visual cues | |
Barmpas et al. | BrainWave-Scattering Net: a lightweight network for EEG-based motor imagery recognition | |
Derr et al. | Signer-independent classification of American sign language word signs using surface EMG | |
CN117784940A (zh) | 针对汉字笔画书写想象的高维张量分析方法及装置 | |
Goolkasian | Research in visual pattern recognition: The enduring legacy of studies from the 1960s | |
CN114742107A (zh) | 信息服务中的感知信号的识别方法及相关设备 | |
Kalinli et al. | A top-down auditory attention model for learning task dependent influences on prominence detection in speech |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |