CN117930987A - 基于脑电信号的汉字笔画输出方法、装置及存储介质 - Google Patents
基于脑电信号的汉字笔画输出方法、装置及存储介质 Download PDFInfo
- Publication number
- CN117930987A CN117930987A CN202410338291.9A CN202410338291A CN117930987A CN 117930987 A CN117930987 A CN 117930987A CN 202410338291 A CN202410338291 A CN 202410338291A CN 117930987 A CN117930987 A CN 117930987A
- Authority
- CN
- China
- Prior art keywords
- electroencephalogram
- chinese character
- data
- stroke
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 239000013598 vector Substances 0.000 claims abstract description 162
- 230000033001 locomotion Effects 0.000 claims description 58
- 238000012549 training Methods 0.000 claims description 32
- 210000004556 brain Anatomy 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 24
- 238000013507 mapping Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 13
- 230000008878 coupling Effects 0.000 claims description 12
- 238000010168 coupling process Methods 0.000 claims description 12
- 238000005859 coupling reaction Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 15
- 238000010276 construction Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000011524 similarity measure Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 208000015114 central nervous system disease Diseases 0.000 description 3
- 208000012902 Nervous system disease Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000764238 Isis Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本申请公开了一种基于脑电信号的汉字笔画输出方法、装置及存储介质,包括:采集第一受试人员进行汉字笔画书写想象的第一脑电信号数据;基于第一脑电信号数据,生成第一向量;对第一向量进行聚类,并基于预先确定的第一对应关系,确定与第一向量对应的第一脑电信号数据的第一汉字笔画,其中第一对应关系用于指示不同的脑电信号数据与汉字笔画类别之间的对应关系;基于预先确定的第二对应关系,判定是否存在与第一汉字笔画对应的第一轨迹数据,其中第二对应关系用于指示不同的汉字书写轨迹数据与汉字笔画类别之间的对应关系;以及在确定存在第一轨迹数据的情况下,输出第一汉字笔画。
Description
技术领域
本申请涉及脑电信号处理技术领域,特别是涉及一种基于脑电信号的汉字笔画输出方法、装置及存储介质。
背景技术
脑机接口是近年来人工智能领域的重要研究方向,其主要目的是通过读取人类大脑的脑电信号来实现对计算机或其他设备的控制。因此对于上述患有中枢神经系统疾病的部分群体而言,只需要利用脑机接口对与文字书写想象轨迹的脑电信号进行解码,就能够实现与他人的正常交流。
目前现有技术中已经存在利用脑机接口对英文字母书写想象轨迹的脑电信号进行解码,从而仅根据采集到的脑电信号,输出对应的英文字母。然而,由于不同人群所使用的母语不同,而汉字笔画具有更加复杂的空间结构,因此针对于汉字笔画书写想象轨迹的脑电信号进行解码的研究仍然面临相当大的挑战。
例如,受试人员(例如可以是患有中枢神经系统疾病的患者)在实际进行汉字笔画书写想象的过程当中,可能会想象其他噪声脑电信号(即,与汉字笔画书写想象脑电信号不相关的脑电信号)。在这种情况下,若脑机接口接收到了噪声脑电信号,可能会直接对噪声脑电信号解码,从而生成错误的汉字笔画。综上所述,上述噪声脑电信号对于受试人员利用脑机接口与他人进行沟通交流是非常不利的。
从而,如何保证受试人员在利用脑机接口进行汉字笔画书写想象的过程中,能够输出高可靠的汉字笔画(即,保证受试人员的汉字笔画书写想象与实际输出的汉字笔画具有较高的一致性)是目前亟待解决的问题。
针对上述的现有技术中存在的如何保证受试人员在利用脑机接口进行汉字笔画书写想象的过程中,能够输出高可靠的汉字笔画(即,保证受试人员的汉字笔画书写想象与实际输出的汉字笔画具有较高的一致性)的技术问题,目前尚未提出有效的解决方案。
发明内容
本公开的实施例提供了一种基于脑电信号的汉字笔画输出方法、装置及存储介质,以至少解决现有技术中存在的如何保证受试人员在利用脑机接口进行汉字笔画书写想象的过程中,能够输出高可靠的汉字笔画(即,保证受试人员的汉字笔画书写想象与实际输出的汉字笔画具有较高的一致性)的技术问题。
根据本公开实施例的一个方面,提供了一种基于脑电信号的汉字笔画输出方法,包括:采集第一受试人员进行汉字笔画书写想象的第一脑电信号数据;基于第一脑电信号数据,生成第一向量;对第一向量进行聚类,并基于预先确定的第一对应关系,确定与第一向量对应的第一脑电信号数据的第一汉字笔画,其中第一对应关系用于指示不同的脑电信号数据与汉字笔画类别之间的对应关系;基于预先确定的第二对应关系,判定是否存在与第一汉字笔画对应的第一轨迹数据,其中第二对应关系用于指示不同的汉字书写轨迹数据与汉字笔画类别之间的对应关系;以及在确定存在与第一轨迹数据的情况下,输出第一汉字笔画。
根据本公开实施例的另一个方面,还提供了一种存储介质,存储介质包括存储的程序,其中,在程序运行时由处理器执行以上任意一项所述的方法。
根据本公开实施例的另一个方面,还提供了一种基于脑电信号的汉字笔画输出装置,包括:数据采集模块,用于采集第一受试人员进行汉字笔画书写想象的第一脑电信号数据;第一向量生成模块,用于基于第一脑电信号数据,生成第一向量;汉字笔画确定模块,用于对第一向量进行聚类,并基于预先确定的第一对应关系,确定与第一向量对应的第一脑电信号数据的第一汉字笔画,其中第一对应关系用于指示不同的脑电信号数据与汉字笔画类别之间的对应关系;第一轨迹数据确定模块,用于基于预先确定的第二对应关系,判定是否存在与第一汉字笔画对应的第一轨迹数据,其中第二对应关系用于指示不同的汉字书写轨迹数据与汉字笔画类别之间的对应关系;以及汉字笔画确定模块,用于确定存在与第一轨迹数据的情况下,输出第一汉字笔画。
根据本公开实施例的另一个方面,还提供了一种基于脑电信号的汉字笔画输出装置,包括:处理器;以及存储器,与处理器连接,用于为处理器提供处理以下处理步骤的指令:采集第一受试人员进行汉字笔画书写想象的第一脑电信号数据;基于第一脑电信号数据,生成第一向量;对第一向量进行聚类,并基于预先确定的第一对应关系,确定与第一向量对应的第一脑电信号数据的第一汉字笔画,其中第一对应关系用于指示不同的脑电信号数据与汉字笔画类别之间的对应关系;基于预先确定的第二对应关系,判定是否存在与第一汉字笔画对应的第一轨迹数据,其中第二对应关系用于指示不同的汉字书写轨迹数据与汉字笔画类别之间的对应关系;以及在确定存在与第一轨迹数据的情况下,输出第一汉字笔画。
本申请公开了一种基于脑电信号的汉字笔画输出方法。首先,处理器采集第一受试人员进行汉字笔画书写想象的第一脑电信号数据。然后,处理器基于第一脑电信号数据,生成第一向量。进一步地,处理器对第一向量进行聚类,并基于预先确定的第一对应关系,确定与第一向量对应的第一脑电信号数据的第一汉字笔画。之后处理器基于预先确定的第二对应关系,判定是否存在与第一汉字笔画对应的第一轨迹数据。最后,在确定存在第一轨迹数据的情况下,输出第一汉字笔画。
由于本申请所公开的技术方案中预先确定了第一对应关系(其中第一对应关系用于指示不同的脑电信号数据与汉字笔画类别之间的对应关系),因此能够基于与第一脑电信号数据对应的第一向量确定与第一脑电信号数据对应的第一汉字笔画。
进一步地,由于本申请还根据预先确定的第二对应关系(其中第二对应关系用于指示不同的汉字书写轨迹数据与汉字笔画类别之间的对应关系),判定是否存在与第一汉字笔画对应的第一轨迹数据。即在第二对应关系中存在与第一汉字笔画对应的第一轨迹数据的情况下,说明该第一汉字笔画是与第一受试人员进行汉字笔画书写想象所对应的汉字笔画,进一步排除了第一汉字笔画是第一受试人员的噪声脑电信号。
从而达到了能够保证输出高可靠、高一致性的汉字笔画的技术效果。进而解决了现有技术中存在的如何保证受试人员在利用脑机接口进行汉字笔画书写想象的过程中,能够输出高可靠的汉字笔画(即,保证受试人员的汉字笔画书写想象与实际输出的汉字笔画具有较高的一致性)的技术问题。
附图说明
此处所说明的附图用来提供对本公开的进一步理解,构成本申请的一部分,本公开的示意性实施例及其说明用于解释本公开,并不构成对本公开的不当限定。在附图中:
图1是用于实现根据本申请实施例1所述的方法的计算设备的硬件结构框图;
图2是根据本申请实施例1所述的基于脑电信号的汉字笔画输出系统的模块化示意图;
图3是根据本申请实施例1所述的基于脑电信号的汉字笔画输出方法的流程示意图;
图4是根据本申请实施例1所述的第一受试人员在测试阶段进行汉字笔画书写想象的流程图;
图5是根据本申请实施例1所述的输出汉字笔画的具体操作流程图;
图6是根据本申请实施例1所述的第二受试人员在训练阶段进行汉字笔画书写想象的流程图;
图7是根据本申请实施例1所述的第二脑电信号数据的示意图;
图8是根据本申请实施例1所述的与五个不同的汉字笔画对应的脑电信号类别的示意图;
图9是根据本申请实施例1所述的运动向量的不同方向的分量的示意图;
图10是根据本申请实施例1所述的与五个不同的汉字笔画对应的轨迹数据类别的示意图;
图11是根据本申请实施例1所述的基于脑电信号的汉字笔画输出方法的完整流程示意图;
图12是根据本申请实施例2所述的基于脑电信号的汉字笔画输出装置的示意图;以及
图13是根据本申请实施例3所述的基于脑电信号的汉字笔画输出装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本公开的技术方案,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本公开一部分的实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本公开保护的范围。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本实施例,提供了一种基于脑电信号的汉字笔画输出的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的计算设备中执行。图1示出了一种用于实现基于脑电信号的汉字笔画输出方法的计算设备的硬件结构框图。如图1所示,计算设备可以包括一个或多个处理器(处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器、用于通信功能的传输装置以及输入/输出接口。其中存储器、传输装置以及输入/输出接口通过总线与处理器连接。除此以外,还可以包括:与输入/输出接口连接的显示器、键盘以及光标控制设备。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算设备还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算设备中的其他元件中的任意一个内。如本公开实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器可用于存储应用软件的软件程序以及模块,如本公开实施例中的基于脑电信号的汉字笔画输出方法对应的程序指令/数据存储装置,处理器通过运行存储在存储器内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的应用程序的基于脑电信号的汉字笔画输出方法。存储器可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至计算设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算设备的通信供应商提供的无线网络。在一个实例中,传输装置包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与计算设备的用户界面进行交互。
此处需要说明的是,在一些可选实施例中,上述图1所示的计算设备可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是,图1仅为特定具体实例的一个实例,并且旨在示出可存在于上述计算设备中的部件的类型。
图2是根据本实施例所述的基于脑电信号的汉字笔画输出系统的模块化示意图。参照图2所示,该系统包括:终端设备100和处理器200。
其中,第一受试人员通过终端设备100向处理器200发送输出汉字笔画的请求。处理器200响应于终端设备100发送的与输出汉字笔画对应的请求,采集第一受试人员进行汉字笔画书写想象的第一脑电信号数据。处理器200还用于基于第一脑电信号数据,生成第一向量。处理器200还用于对第一向量进行聚类,并基于预先确定的第一对应关系,确定与第一向量对应的第一脑电信号数据的第一汉字笔画。处理器200还用于基于预先确定的第二对应关系,判定是否存在与第一汉字笔画对应的第一轨迹数据。处理器200还用于在确定存在第一轨迹数据的情况下,输出第一汉字笔画。
需要说明的是,系统中的终端设备100和处理器200均可适用上面所述的硬件结构。
在上述运行环境下,根据本实施例的第一个方面,提供了一种基于脑电信号的汉字笔画输出方法,该方法由图2中所示的处理器200实现。图3示出了该方法的流程示意图。参考图3所示,该方法包括:
S302:采集第一受试人员进行汉字笔画书写想象的第一脑电信号数据;
S304:基于第一脑电信号数据,生成第一向量;
S306:对第一向量进行聚类,并基于预先确定的第一对应关系,确定与第一向量对应的第一脑电信号数据的第一汉字笔画,其中第一对应关系用于指示不同的脑电信号数据与汉字笔画类别之间的对应关系;
S308:基于预先确定的第二对应关系,判定是否存在与第一汉字笔画对应的第一轨迹数据,其中第二对应关系用于指示不同的汉字书写轨迹数据与汉字笔画类别之间的对应关系;以及
S310:在确定存在第一轨迹数据的情况下,输出第一汉字笔画。
图4是根据本申请实施例所述的第一受试人员在测试阶段进行汉字笔画书写想象的流程图。图5是根据本申请实施例所述的输出汉字笔画的具体操作流程图。参考图4和图5所示,具体地,首先,处理器200通过终端设备100采集第一受试人员进行汉字笔画书写想象的第一脑电信号数据(S302)。例如,在第一脑电信号数据的采集过程中,第一受试人员需要想象对应汉字笔画的书写过程,从而处理器200通过终端设备100同步采集对应的第一脑电信号数据。其中,处理器200采集到的第一脑电信号数据例如可以是非侵入式脑电信号或侵入式脑电信号。
例如,在五笔输入法中,将汉字分解为前4种笔画和末一个笔画的组合。五笔输入法将汉字分为“横‘一’”、竖‘丨’、撇‘丿’、捺‘乀’、折‘乛’”5种笔画,每字最多5码,不足5码的空格键结束。第一受试人员例如可以想象竖“丨”的书写过程,从而处理器200可以通过终端设备100采集到第一受试人员书写汉字笔画竖“丨”过程中的第一脑电信号数据。
此外,值得注意的是,在实际应用的过程当中,第一受试人员例如可以在无任何提示的情况下,直接进行汉字笔画的书写想象。从而,在此过程中,处理器200同步采集与书写汉字笔画对应的第一脑电信号数据。
然后,处理器200基于第一脑电信号数据,生成第一向量(S304)。具体地,首先,处理器200利用预设宽度的时间窗(时间窗的宽度例如可以是300ms)在第一脑电信号数据上滑动,从而得到第一脑电切片序列。然后,处理器200对第一脑电切片序列进行非线性映射,从而生成第一向量。其中,第一向量为三维向量。上述内容将在后续进行详细描述,因此此处不再加以赘述。
进一步地,处理器200对第一向量进行聚类,并基于预先确定的第一对应关系,确定与第一向量对应的第一脑电信号数据的第一汉字笔画(S306)。其中,第一对应关系用于指示不同的脑电信号数据与汉字笔画类别之间的对应关系。例如,第一对应关系包括脑电信号数据与汉字笔画横“一”的对应关系、脑电信号数据与汉字笔画竖“丨”的对应关系、脑电信号数据与汉字笔画撇“丿”的对应关系、脑电信号数据与汉字笔画捺“乀”的对应关系以及脑电信号数据与汉字笔画折“乛”的对应关系。
具体地,在处理器200基于第一脑电信号数据,生成第一向量之后,针对第一向量,并基于模糊核C均值进行聚类,从而可以确定与第一脑电信号数据对应的汉字笔画类别。例如,处理器200通过终端设备100采集到与汉字笔画竖“丨”对应的第一脑电信号数据,并基于第一脑电信号数据,生成了与汉字笔画竖“丨”对应的第一向量。进一步地,处理器200针对第一向量,并基于模糊核C均值进行聚类,从而可以确定与第一脑电信号数据对应的汉字笔画类别为竖“丨”。即第一受试人员进行汉字笔画书写想象的汉字笔画为竖“丨”。
上述第一对应关系为训练过程中,基于大量训练样本所确定的对应关系。上述过程将在后续进行详细描述,因此此处不再加以赘述。
进一步地,处理器200基于预先确定的第二对应关系,判定是否存在与第一汉字笔画对应的第一轨迹数据(S308)。其中,第二对应关系用于指示不同的汉字书写轨迹数据与汉字笔画类别之间的对应关系。例如,第二对应关系包括汉字书写轨迹数据与汉字笔画横“一”的对应关系、汉字书写轨迹数据与汉字笔画竖“丨”的对应关系、汉字书写轨迹数据与汉字笔画撇“丿”的对应关系、汉字书写轨迹数据与汉字笔画捺“乀”的对应关系以及汉字书写轨迹数据与汉字笔画点“丶”的对应关系。
具体地,虽然在上述过程中,已经确定了与第一脑电信号数据对应的第一汉字笔画,但是正如申请人在背景技术中所提到的内容,第一受试人员在实际进行汉字笔画书写想象的过程当中,可能会想象其他噪声脑电信号(即,与汉字笔画书写想象脑电信号不相关的脑电信号)。从而,在这种情况下,若处理器200采集到了噪声脑电信号,可能会直接对噪声脑电信号进行解码,从而生成错误的汉字笔画。例如,第一受试人员在想象书写汉字笔画竖“丨”的过程中,还想象了可能影响输出汉字笔画竖“丨”的脑电信号(即,噪声脑电信号)。从而在这种情况下,如果处理器200同时接收到了噪声脑电信号,可能会直接对噪声脑电信号进行解码,从而不会输出第一受试人员所想象的汉字笔画竖“丨”,而是会输出其他错误的汉字笔画。
从而,为了解决上述问题,在本申请中,处理器200还预先确定了第二对应关系。并且由于第二对应关系用于指示不同的汉字书写轨迹数据与汉字笔画类别之间的对应关系(例如,可以是不同的汉字书写轨迹数据分别与“横‘一’、竖‘丨’、撇‘丿’、捺‘乀’、折‘乛’”5种笔画类别之间的对应关系),因此处理器200即使采集到了第一受试人员的噪声脑电信号,并输出了与噪声脑电信号对应的汉字笔画,处理器200也能够由于在第二对应关系中并不存在与噪声脑电信号的汉字笔画对应的轨迹数据,从而确定与噪声脑电信号的对应的汉字笔画并不是第一受试人员所希望输出的汉字笔画(即,与噪声脑电信号对应的汉字笔画并不是第一受试人员在进行汉字笔画书写想象过程中实际想象的汉字笔画)。
上述第二对应关系为训练过程中,基于大量训练样本所确定的对应关系。上述过程将在后续进行详细描述,因此此处不再加以赘述。
此外,值得注意的是,在本申请中,仅仅是使用“横‘一’、竖‘丨’、撇‘丿’、捺‘乀’、折‘乛’”5种笔画进行举例,汉字笔画的实际应用情况并不以此为限。
最后,处理器200在确定存在第一轨迹数据的情况下,输出第一汉字笔画(S310)。具体地,处理器200在基于第二对应关系,确定存在与第一汉字笔画对应的第一轨迹数据的情况下,输出第一汉字笔画;处理器200在基于第二对应关系,确定不存在与第一汉字笔画对应的第一轨迹数据的情况下,不输出对应的汉字笔画。例如,处理器200基于第二对应关系,确定存在与汉字笔画竖“丨”对应的第一轨迹数据的情况下,输出汉字笔画竖“丨”。
正如背景技术中所述的内容,受试人员(例如可以是患有中枢神经系统疾病的患者)在实际进行汉字笔画书写想象的过程当中,可能会想象其他噪声脑电信号(即,与汉字笔画书写想象脑电信号不相关的脑电信号)。在这种情况下,若脑机接口接收到了噪声脑电信号,可能会直接对噪声脑电信号解码,从而生成错误的汉字笔画。综上所述,上述噪声脑电信号对于受试人员利用脑机接口与他人进行沟通交流是非常不利的。
有鉴于此,本申请提供了一种基于脑电信号的汉字笔画输出方法。并且由于本申请所公开的技术方案中预先确定了第一对应关系(其中第一对应关系用于指示不同的脑电信号数据与汉字笔画类别之间的对应关系),因此能够基于与第一脑电信号数据对应的第一向量确定与第一脑电信号数据对应的第一汉字笔画。
进一步地,由于本申请还根据预先确定的第二对应关系(其中第二对应关系用于指示不同的汉字书写轨迹数据与汉字笔画类别之间的对应关系),判定是否存在与第一汉字笔画对应的第一轨迹数据。即在第二对应关系中存在与第一汉字笔画对应的第一轨迹数据的情况下,说明该第一汉字笔画是与第一受试人员进行汉字笔画书写想象所对应的汉字笔画,进一步排除了第一汉字笔画是第一受试人员的噪声脑电信号。
从而达到了能够保证输出高可靠、高一致性的汉字笔画的技术效果。进而解决了现有技术中存在的如何保证受试人员在利用脑机接口进行汉字笔画书写想象的过程中,能够输出高可靠的汉字笔画(即,保证受试人员的汉字笔画书写想象与实际输出的汉字笔画具有较高的一致性)的技术问题。
可选地,基于第一脑电信号数据,生成第一向量的操作,包括:基于第一脑电信号数据,生成第一脑电切片序列;以及对第一脑电切片序列进行非线性映射,并生成第一向量。
具体地,处理器200在采集到第一受试人员进行汉字笔画书写想象的第一脑电信号数据的情况下,利用预设宽度的时间窗(例如时间窗的宽度为300ms)在第一脑电信号数据上以预定步长滑动,从而得到一系列第一脑电切片数据,并生成包括多个第一脑电切片数据的第一脑电切片序列。其中第一脑电切片序列中的第一脑电切片数据均为矩阵形式的脑电切片。然后,处理器200例如可以利用UMAP对第一脑电信号切片序列进行非线性映射,从而生成与第一脑电信号切片序列对应的第一向量。其中,第一向量为三维向量。
可选地,还包括:预先确定第一对应关系,其中预先确定第一对应关系的操作,包括:构建训练样本集,其中训练样本集包括脑电信号特征序列数据集和运动向量序列数据集;对脑电信号特征序列数据集进行非线性映射,并生成第二向量;以及对第二向量进行聚类,从而确定第一对应关系。进一步可选地,还包括:预先确定第二对应关系,其中预先确定第二对应关系的操作,包括:对运动向量序列数据集进行非线性映射,并生成第三向量;以及对第三向量进行聚类,从而确定第二对应关系。进一步可选地,构建训练样本集的操作,包括:构建脑电信号特征序列数据集,其中构建脑电信号特征序列数据集的操作,包括:确定第二受试人员进行多次汉字笔画书写想象所生成的多个脑电信号特征序列;以及基于多个脑电信号特征序列,生成脑电信号特征序列数据集,并且其中确定脑电信号特征序列的操作,包括:采集与第二受试人员对应的第二脑电信号数据,其中第二脑电信号数据包括笔画提示脑电信号数据以及笔画执行脑电信号数据;基于第二脑电信号数据,生成第二脑电切片序列,其中第二脑电切片序列包括笔画提示脑电切片序列以及第一笔画执行脑电信号切片序列;以及根据第二脑电切片序列,确定脑电信号特征序列。进一步可选地,根据第二脑电切片序列,确定脑电信号特征序列的操作,包括:分别对笔画提示脑电切片序列和第一笔画执行脑电切片序列进行多尺度耦合分析;将笔画提示脑电切片序列与第一笔画执行脑电切片序列之间相似性最大的笔画执行脑电切片,作为第一笔画执行脑电切片序列的起始脑电切片,并生成第二笔画执行脑电切片序列;以及将第二笔画执行脑电切片序列,确定为脑电信号特征序列。进一步可选地,构建训练样本集的操作,包括:构建运动向量序列数据集,其中构建运动向量序列数据集的操作,包括:确定第二受试人员进行多次汉字笔画书写想象所生成的多个运动向量序列;以及基于多个运动向量序列,确定运动向量序列数据集,其中确定运动向量序列的操作,包括:采集与第二受试人员对应的第二轨迹数据;以及将第二轨迹数据转化为运动向量序列。
具体地,图6是根据本申请实施例所述的第二受试人员在训练阶段进行汉字笔画书写想象的流程图。参考图6所示,在第一受试人员进行实际应用过程之前,还需要对第二受试人员进行训练,从而确定第一对应关系和第二对应关系。
首先,在训练阶段,第二受试人员进行跟随书写训练。其中,跟随书写训练是指第二受试人员可以根据面前终端设备100屏幕显示的动图提示进行相应的书写任务想象(其中,书写任务想象例如可以是汉字笔画书写任务想象)。从而,在第二受试人员观看完终端设备100所显示的汉字笔画提示之后,第二受试人员手部持笔,进行相应的汉字笔画书写任务。此外,对于每一个汉字笔画,分为笔画提示阶段以及笔画执行阶段。即,在笔画提示阶段,第二受试人员通过面前的终端设备100观看该汉字笔画的提示信息。例如,终端设备100的屏幕显示汉字笔画竖“丨”的书写轨迹,第二受试人员观看该汉字笔画竖“丨”的书写轨迹。在笔画执行阶段,第二受试人员在书写板上进行该汉字笔画的书写。从而,在此过程中,处理器200同步采集与书写汉字笔画对应的第二脑电信号数据。其中,第二脑电信号数据包括笔画提示脑电信号数据以及笔画执行脑电信号数据。
图7是根据本申请实施例所述的第二脑电信号数据的示意图。参考图7所示,例如,对于处理器200采集到的第二脑电信号数据S,可以分为笔画提示脑电信号数据A以及笔画执行脑电信号数据B。其中,第二脑电信号数据S、笔画提示脑电信号数据A以及笔画执行脑电信号数据B均为矩阵形式的多通道脑电信号数据。
此外,值得注意的是,在笔画执行阶段,第二受试人员在书写面板上进行汉字笔画书写的过程中,会生成一系列的第二轨迹数据T={P 0 ,P 1 ,P 2 ,......,P L }。其中,P 0 ~P L 为该轨迹数据T上的各个点的位置信息。并且其中,P 0 =(x0,y0);P 1 =(x1,y1);P 2 =(x2,y2)......P L =(xL,yL)。
然后,处理器200基于第二脑电信号数据,并利用预设宽度的时间窗在第二脑电信号数据上滑动,得到一系列的第二脑电信号数据,并生成包含多个第二脑电信号数据第二脑电切片序列。其中,第二脑电切片序列包括笔画提示脑电切片序列以及笔画执行脑电信号切片序列。例如,处理器200利用宽度为300ms的时间窗在笔画提示脑电信号数据A和笔画执行脑电信号数据B上以预定的步长滑动,从而得到一系列的第二脑电信号数据。其中,时间窗在笔画提示脑电信号数据A上滑动得到一系列的笔画提示脑电切片数据A 1 ,A 2 ,A 3 ,......,A I ,并生成笔画提示脑电切片序列{A 1 ,A 2 ,A 3 ,......,A I };时间窗在笔画执行脑电信号数据B上滑动得到一系列的笔画执行脑电切片数据B 1 ,B 2 ,B 3 ,......,B J ,并生成笔画执行脑电切片序列{B 1 ,B 2 ,B 3 ,......,B J }。其中,Ai(i=1~I)和Bi(i=1~J)均为矩阵形式的脑电切片数据。
并且其中,Ai(ai,1,ai,2,ai,3,......,ai,M)。ai,m(m=1~M)为的向量。其中,C为脑电信号数据的通道数(或采集导联数)。Bj(bj,1,bj,2,bj,3,......,bj,N)。bi,n(n=1~N)为/>的向量。其中,C为脑电信号数据的通道数(或采集导联数)。
进一步地,处理器200分别对笔画提示脑电切片序列{A 1 ,A 2 ,A 3 ,......,A I }和笔画执行脑电切片序列{B 1 ,B 2 ,B 3 ,......,B J }进行多尺度耦合分析。处理器200例如可以使用下列公式确定笔画提示脑电切片序列{A 1 ,A 2 ,A 3 ,......,A I }和笔画执行脑电切片序列{B 1 ,B 2 ,B 3 ,......,B J }之间的耦合关系。具体公式如下:
(公式1)
(公式2)
(公式3)
其中,P0,0=0。
从而,基于ki,j(i=1~I,j=1~J)中的最大值ki0,j0,处理器200可以将A i0 和B j0 确定为笔画提示脑电切片序列{A 1 ,A 2 ,A 3 ,......,A I }和笔画执行脑电切片序列{B 1 ,B 2 ,B 3 ,......,B J }之间的最强耦合脑电切片。从而取{B j0 ,B 2 ,B 3 ,......,B J }作为实际的笔画执行脑电切片序列,并以此作为脑电信号特征序列。
参考图7所示,由于处理器200是利用时间窗对第二脑电信号数据进行连续滑动,从而生成一系列的笔画提示脑电切片数据以及一系列的笔画执行脑电切片数据,从而处理器200难以分割出笔画提示脑电切片数据与笔画提示脑电切片数据之间的界线,进而无法确定实际的笔画执行脑电切片数据。从而在本申请中,通过确定笔画提示脑电切片序列{A 1 ,A 2 ,A 3 ,......,A I }和笔画执行脑电切片序列{B 1 ,B 2 ,B 3 ,......,B J }之间的最强耦合脑电切片,可以确定突然出现强相关的时间点即为第二受试人员进行笔画想象和笔画执行之间的过渡时间点。从而通过上述操作能够进一步保证后续操作的准确性。
然后,第二受试人员例如可以参考上述操作步骤,多次进行汉字笔画书写想象操作(即上述第二受试人员通过终端设备100观看汉字笔画提示的阶段和第二受试人员实际书写汉字笔画的阶段),从而生成与各次汉字笔画书写操作对应的多个第二脑电切片序列B (0)~B (K),从而构建脑电信号特征序列数据集。其中,,k=1~K,Jk为第二脑电切片序列/>的序列长度。
进一步地,处理器200分别对脑电信号特征序列数据集中的多个第二脑电切片序列B (0)~B (K)进行非线性映射,从而生成第二向量。具体地,首先,处理器200分别计算B (0)、B (1)、B (2)......B (K)两两之间的相似性,作为不同第二脑电切片序列之间的相似性度量。例如,对于多个第二脑电切片序列中的任意两个第二脑电切片序列和/>,可以使用下列公式计算相似性度量:
(公式4)
(公式5)
(公式6)
其中,P0,0=0,为/>的序列长度,/>为/>的序列长度。
然后,处理器200根据所计算的B (0)、B (1)、B (2)......B (K)两两之间的相似性度量,对多个第二脑电切片序列B (0)、B (1)、B (2)......B (K)进行非线性映射(例如可以是UMAP)。从而生成与多个第二脑电切片序列B (0)、B (1)、B (2)......B (K)对应的第二向量E (0)、E (1)、E (2)......E (K)。其中,第二向量为三维向量。并且其中,,k=1~K。其中,/>、/>和/>分别表示第二向量在三维空间中的坐标。
进一步地,处理器200针对第二向量E (0)、E (1)、E (2)......E (K),并通过模糊核C均值进行聚类,从而确定与汉字笔画类别对应的不同的脑电信号(其中,五个不同的汉字笔画例如可以是横“一”、竖“丨”、撇“丿”、捺“乀”、折“乛”)。
图8是根据本申请实施例所述的与五个不同的汉字笔画对应的脑电信号类别的示意图。参考图8所示,在三维空间中,处理器200通过聚类的方式将多个第二向量进行分类,并确定与五个不同的汉字笔画对应的脑电信号的类别。例如,与第二脑电信号数据class1对应的汉字笔画为横“一”、与第二脑电信号数据class2对应的汉字笔画为竖“丨”、与第二脑电信号数据class3对应的汉字笔画为撇“丿”、与第二脑电信号数据class4对应的汉字笔画为捺“乀”、与第二脑电信号数据class5对应的汉字笔画为折“乛”。
此外,针对于第二轨迹数据T={P 0 ,P 1 ,P 2 ,......,P L },处理器200可以根据第二轨迹数据T={P 0 ,P 1 ,P 2 ,......,P L },确定相应的运动向量序列V={v 0 ,v 1 ,v 2 ,......,v L }。其中,v l =[v l,0 ,v l,1, v l,2 ,......,v l,7 ]T,其中,l=1~L。
其中,v l,0 ~v l,7 表示不同方向的分量。图9是根据本申请实施例所述的运动向量的不同方向的分量的示意图。参考图9所示,v l,0 ~v l,7 例如可以表示图9所示出的0~7方向的分量。从而,运动向量序列V可以构成一个8×L的矩阵。
进一步地,如上述所述的内容,第二受试人员在进行多次汉字笔画书写操作之后,处理器200还可以采集到与各次汉字笔画书写操作对应的多个运动向量序列V (0)~V (K)。从而构建运动向量序列数据集。其中,,Lk为运动向量序列/>的序列长度。从而处理器200所构建的运动向量序列数据集和脑电信号特征序列数据集,可以生成训练样本集。
之后处理器200对多个运动向量序列V (0)~V (K)进行非线性映射,从而生成第三向量。具体地,首先,处理器200分别计算V (0)、V (1)、V (2)......V (K)两两之间的相似性,作为不同运动向量序列之间的相似性度量。例如,对于多个运行向量序列之间的任意两个运动向量序列和/>,可以使用上述公式4、公式5以及公式6计算相似性度量。其中,P0,0=0,为/>的序列长度,/>为/>的序列长度。
然后,处理器200根据所计算的V (0)、V (1)、V (2)......V (K)两两之间的相似性度量,对多个运动向量序列V (0)、V (1)、V (2)......V (K)进行非线性映射(例如可以是UMAP)。从而生成与多个运动向量序列V (0)、V (1)、V (2)......V (K)对应的第三向量F (0)、F (1)、F (2)......F (K)。其中,第三向量为三维向量。并且其中,,k=1~K。其中,/>、/>和分别表示第三向量在三维空间中的坐标。
进一步地,处理器200针对第三向量F (0)、F (1)、F (2)......F (K),并通过模糊核C均值进行聚类,从而确定汉字笔画类别对应的不同的轨迹数据(其中,汉字笔画类别例如可以是横“一”、竖“丨”、撇“丿”、捺“乀”、折“乛”)。
图10是根据本申请实施例所述的与五个不同的汉字笔画对应的轨迹数据类别的示意图。参考图10所示,在三维空间中,处理器200通过聚类的方式将多个第三向量进行分类,并确定与五个不同的汉字笔画对应的轨迹数据的类别。例如,与第二轨迹数据class1对应的汉字笔画为横“一”、与第二轨迹数据class2对应的汉字笔画为竖“丨”、与第二轨迹数据class3对应的汉字笔画为撇“丿”、与第二轨迹数据class4对应的汉字笔画为捺“乀”、与第二轨迹数据class5对应的汉字笔画为折“乛”。
综上所述,第二受试人员在训练期间书写5种不同的汉字笔画,从而第二受试人员在训练过程中的第二脑电信号数据聚类为5个不同的类别,该5个不同的类别分别与不同的汉字笔画对应;第二受试人员在训练过程中的第二轨迹数据聚类为5个不同类别,该5个不同的类别分别与不同的汉字笔画对应。
从而,通过在对第二受试人员进行训练过程中确定第一对应关系以及第二对应关系,能够实现同类汉字笔画在脑电信号数据和轨迹数据映射流形分布的一致性表征。进而在第一受试人员进行测试的情况下,能够完成同类笔画在脑电信号数据和轨迹数据匹配。即,实时输出汉字笔画。
本申请的优点如下:
1. 本申请使用多字符全方位跟随书写想象训练,能够有效地产生规律且稳定的运动激活与脑电信号表征;
2. 本申请能够提供有效的书写状态切换策略,通过多尺度耦合分析进行时序切割,从而实现有效的状态监测,无需受试者辅以额外的运动任务;
3. 本申请通过事件尺度上对书写想象脑电信号与轨迹数据的流形映射一致性表征,能够确立运动神经激活与方向速度信息之间的映射关系,从而实时输出汉字笔画。
图11是根据本申请实施例所述的基于脑电信号的汉字笔画输出方法的完整流程示意图。参考图11所示,该方法包括:
S1110:多次采集与第二受试人员对应的第二脑电信号数据,并且采集与第二受试人员对应的第二轨迹数据;
S1120:基于第二脑电信号数据,生成第二脑电切片序列,并根据第二脑电切片序列,确定脑电信号特征序列,其中第二脑电切片序列包括笔画提示脑电切片序列以及第一笔画执行脑电切片序列;
S1121:分别对笔画提示脑电切片序列与第一笔画执行脑电切片序列进行多尺度耦合分析;
S1122:将笔画提示脑电切片序列与第一笔画执行脑电切片序列之间相似性最大的笔画执行脑电切片,作为第一笔画执行脑电切片序列的起始脑电切片,并生成第二笔画执行脑电切片序列,从而将第二笔画执行脑电切片序列,作为脑电信号特征序列;
S1130:采集与第二受试人员对应的第二轨迹数据,并将第二轨迹数据转化为运动向量序列;
S1140:重复上述步骤S1110~S1130,从而生成脑电信号特征序列数据集以及运动向量序列数据集;
S1150:对脑电信号特征序列数据集进行非线性映射,并生成第二向量;
S1151:对第二向量进行聚类,从而确定第一对应关系;
S1160:对运动向量序列数据集进行非线性映射,并生成第三向量;
S1161:对第三向量进行聚类,从而确定第二对应关系;
S1170:采集第一受试人员进行汉字笔画书写想象的第一脑电信号数据,并基于第一脑电信号数据,生成第一向量;
S1171:基于第一脑电信号数据,生成第一脑电切片序列,并对第一脑电切片序列进行非线性映射,生成第一向量;
S1180:对第一向量进行聚类,并基于预先确定的第一对应关系,确定与第一向量对应的第一脑电信号数据的第一汉字笔画,基于预先确定的第二对应关系,判定是否存在与第一汉字笔画对应的第一轨迹数据;
S1190:在确定存在第一轨迹数据的情况下,输出第一汉字笔画。
从而根据本实施例的第一个方面,达到了能够保证输出高可靠、高一致性的汉字笔画的技术效果。
此外,参考图1所示,根据本实施例的第二个方面,提供了一种存储介质。所述存储介质包括存储的程序,其中,在所述程序运行时由处理器执行以上任意一项所述的方法。
从而根据本实施例,达到了能够保证输出高可靠、高一致性的汉字笔画的技术效果。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
图12示出了根据本实施例的第一个方面所述的基于脑电信号的汉字笔画输出装置1200,该装置1200与根据实施例1的第一个方面所述的方法相对应。参考图12所示,该装置1200包括:数据采集模块1210,用于采集第一受试人员进行汉字笔画书写想象的第一脑电信号数据;第一向量生成模块1220,用于基于第一脑电信号数据,生成第一向量;汉字笔画确定模块1230,用于对第一向量进行聚类,并基于预先确定的第一对应关系,确定与第一向量对应的第一脑电信号数据的第一汉字笔画,其中第一对应关系用于指示不同的脑电信号数据与汉字笔画类别之间的对应关系;第一轨迹数据确定模块1240,用于基于预先确定的第二对应关系,判定是否存在与第一汉字笔画对应的第一轨迹数据,其中第二对应关系用于指示不同的汉字书写轨迹数据与汉字笔画类别之间的对应关系;以及汉字笔画确定模块1250,用于确定存在与第一轨迹数据的情况下,输出第一汉字笔画。
可选地,第一向量生成模块1220,包括:第一脑电切片序列生成模块,用于基于第一脑电信号数据,生成第一脑电切片序列;以及第一向量生成子模块,用于对第一脑电切片序列进行非线性映射,并生成第一向量。
可选地,装置1200还包括:第一对应关系确定模块,用于预先确定第一对应关系,其中第一对应关系确定模块,包括:训练样本构建模块,用于构建训练样本集,其中训练样本集包括脑电信号特征序列数据集和运动向量序列数据集;第二向量生成模块,用于对脑电信号特征序列数据集进行非线性映射,并生成第二向量;以及第一对应关系确定子模块,用于对第二向量进行聚类,从而确定第一对应关系。
可选地,装置1200还包括:第二对应关系确定模块,用于预先确定第二对应关系,其中第二对应关系确定模块,包括:第三向量生成模块,用于对运动向量序列数据集进行非线性映射,并生成第三向量;以及第二对应关系确定子模块,用于对第三向量进行聚类,从而确定第二对应关系。
可选地,训练样本构建模块,包括:脑电信号特征序列数据集构建模块,用于构建脑电信号特征序列数据集,其中脑电信号特征序列数据集构建模块,包括:脑电信号特征序列确定模块,用于确定第二受试人员进行多次汉字笔画书写想象所生成的多个脑电信号特征序列;以及脑电信号特征序列数据集构建子模块,用于基于多个脑电信号特征序列,生成脑电信号特征序列数据集,其中脑电信号特征序列确定模块,包括:第二脑电信号数据采集模块,用于采集与第二受试人员对应的第二脑电信号数据,其中第二脑电信号数据包括笔画提示脑电信号数据以及笔画执行脑电信号数据;第二脑电切片序列生成模块,用于基于第二脑电信号数据,生成第二脑电切片序列,其中第二脑电切片序列包括笔画提示脑电切片序列以及笔画执行脑电信号切片序列;以及脑电信号特征序列确定子模块,用于根据第二脑电切片序列,确定脑电信号特征序列。
可选地,脑电信号特征序列确定子模块,包括:多尺度耦合分析模块,用于分别对笔画提示脑电切片序列和第一笔画执行脑电切片序列进行多尺度耦合分析;第二笔画执行脑电切片序列确定模块,用于将笔画提示脑电切片序列与第一笔画执行脑电切片序列之间相似性最大的笔画执行脑电切片,作为第一笔画执行脑电切片序列的起始脑电切片,并生成第二笔画执行脑电切片序列;以及脑电信号特征序列确定单元,用于将第二笔画执行脑电切片序列,确定为脑电信号特征序列。
可选地,训练样本构建模块,包括:运动向量序列数据集构建模块,用于构建运动向量序列数据集,其中运动向量序列数据集构建模块包括:运动向量序列确定模块,用于确定第二受试人员进行多次汉字笔画书写想象所生成的多个运动向量序列;以及运动向量序列数据集确定子模块,用于基于多个运动向量序列,确定运动向量序列数据集,其中运动向量序列确定模块,包括:第二轨迹数据生成模块,用于采集与第二受试人员对应的第二轨迹数据;以及运动向量序列确定子模块,用于将第二轨迹数据转化为运动向量序列。
从而根据本实施例,达到了能够保证输出高可靠、高一致性的汉字笔画的技术效果。
实施例3
图13示出了根据本实施例的第一个方面所述的基于脑电信号的汉字笔画输出装置1300,该装置1300与根据实施例1的第一个方面所述的方法相对应。参考图13所示,该装置1300包括:处理器1310;以及存储器1320,与处理器1310连接,用于为处理器1310提供处理以下处理步骤的指令:采集第一受试人员进行汉字笔画书写想象的第一脑电信号数据;基于第一脑电信号数据,生成第一向量;对第一向量进行聚类,并基于预先确定的第一对应关系,确定与第一向量对应的第一脑电信号数据的第一汉字笔画,其中第一对应关系用于指示不同的脑电信号数据与汉字笔画类别之间的对应关系;基于预先确定的第二对应关系,判定是否存在与第一汉字笔画对应的第一轨迹数据,其中第二对应关系用于指示不同的汉字书写轨迹数据与汉字笔画类别之间的对应关系;以及在确定存在与第一轨迹数据的情况下,输出第一汉字笔画。
可选地,基于第一脑电信号数据,生成第一向量的操作,包括:基于第一脑电信号数据,生成第一脑电切片序列;以及对第一脑电切片序列进行非线性映射,并生成第一向量。
可选地,装置1300还包括:预先确定第一对应关系,其中预先确定第一对应关系的操作,包括:构建训练样本集,其中训练样本集包括脑电信号特征序列数据集和运动向量序列数据集;对脑电信号特征序列数据集进行非线性映射,并生成第二向量;以及对第二向量进行聚类,从而确定第一对应关系。
可选地,装置1300还包括:预先确定第二对应关系,其中预先确定第二对应关系的操作,包括:对运动向量序列数据集进行非线性映射,并生成第三向量;以及对第三向量进行聚类,从而确定第二对应关系。
可选地,构建训练样本集的操作,包括:构建脑电信号特征序列数据集,其中构建脑电信号特征序列数据集的操作,包括:确定第二受试人员进行多次汉字笔画书写想象所生成的多个脑电信号特征序列;以及基于多个脑电信号特征序列,生成脑电信号特征序列数据集,并且其中确定脑电信号特征序列的操作,包括:采集与第二受试人员对应的第二脑电信号数据,其中第二脑电信号数据包括笔画提示脑电信号数据以及第一笔画执行脑电信号数据;基于第二脑电信号数据,生成第二脑电切片序列,其中第二脑电切片序列包括笔画提示脑电切片序列以及笔画执行脑电信号切片序列;以及根据第二脑电切片序列,确定脑电信号特征序列。
可选地,根据第二脑电切片序列,确定脑电信号特征序列的操作,包括:分别对笔画提示脑电切片序列和第一笔画执行脑电切片序列进行多尺度耦合分析;将笔画提示脑电切片序列与第一笔画执行脑电切片序列之间相似性最大的笔画执行脑电切片,作为第一笔画执行脑电切片序列的起始脑电切片,并生成第二笔画执行脑电切片序列;以及将第二笔画执行脑电切片序列,确定为脑电信号特征序列。
可选地,构建训练样本集的操作,包括:构建运动向量序列数据集,其中构建运动向量序列数据集的操作,包括:确定第二受试人员进行多次汉字笔画书写想象所生成的多个运动向量序列;以及基于多个运动向量序列,确定运动向量序列数据集,其中确定运动向量序列的操作,包括:采集与第二受试人员对应的第二轨迹数据;以及将第二轨迹数据转化为运动向量序列。
从而根据本实施例,达到了能够保证输出高可靠、高一致性的汉字笔画的技术效果。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于脑电信号的汉字笔画输出方法,其特征在于,包括:
采集第一受试人员进行汉字笔画书写想象的第一脑电信号数据;
基于所述第一脑电信号数据,生成第一向量;
对所述第一向量进行聚类,并基于预先确定的第一对应关系,确定与所述第一向量对应的所述第一脑电信号数据的第一汉字笔画,其中所述第一对应关系用于指示不同的脑电信号数据与汉字笔画类别之间的对应关系;
基于预先确定的第二对应关系,判定是否存在与所述第一汉字笔画对应的第一轨迹数据,其中所述第二对应关系用于指示不同的汉字书写轨迹数据与所述汉字笔画类别之间的对应关系;以及
在确定存在所述第一轨迹数据的情况下,输出所述第一汉字笔画。
2.根据权利要求1所述的方法,其特征在于,基于所述第一脑电信号数据,生成第一向量的操作,包括:
基于所述第一脑电信号数据,生成第一脑电切片序列;以及
对所述第一脑电切片序列进行非线性映射,并生成所述第一向量。
3.根据权利要求1所述的方法,其特征在于,还包括:预先确定所述第一对应关系,其中预先确定所述第一对应关系的操作,包括:
构建训练样本集,其中所述训练样本集包括脑电信号特征序列数据集和运动向量序列数据集;
对所述脑电信号特征序列数据集进行非线性映射,并生成第二向量;以及
对所述第二向量进行聚类,从而确定所述第一对应关系。
4.根据权利要求3所述的方法,其特征在于,还包括:预先确定所述第二对应关系,其中预先确定所述第二对应关系的操作,包括:
对所述运动向量序列数据集进行非线性映射,并生成第三向量;以及
对所述第三向量进行聚类,从而确定所述第二对应关系。
5.根据权利要求4所述的方法,其特征在于,构建训练样本集的操作,包括:构建脑电信号特征序列数据集,其中构建所述脑电信号特征序列数据集的操作,包括:确定第二受试人员进行多次汉字笔画书写想象所生成的多个脑电信号特征序列;以及基于所述多个脑电信号特征序列,生成所述脑电信号特征序列数据集,并且其中确定所述脑电信号特征序列的操作,包括:
采集与所述第二受试人员对应的第二脑电信号数据,其中所述第二脑电信号数据包括笔画提示脑电信号数据以及笔画执行脑电信号数据;
基于所述第二脑电信号数据,生成第二脑电切片序列,其中所述第二脑电切片序列包括笔画提示脑电切片序列以及第一笔画执行脑电信号切片序列;以及
根据所述第二脑电切片序列,确定所述脑电信号特征序列。
6.根据权利要求5所述的方法,其特征在于,根据所述第二脑电切片序列,确定所述脑电信号特征序列的操作,包括:
分别对所述笔画提示脑电切片序列和所述第一笔画执行脑电切片序列进行多尺度耦合分析;
将所述笔画提示脑电切片序列与所述第一笔画执行脑电切片序列之间相似性最大的笔画执行脑电切片,作为所述第一笔画执行脑电切片序列的起始脑电切片,并生成第二笔画执行脑电切片序列;以及
将所述第二笔画执行脑电切片序列,确定为所述脑电信号特征序列。
7.根据权利要求6所述的方法,其特征在于,构建训练样本集的操作,包括:构建运动向量序列数据集,其中构建所述运动向量序列数据集的操作,包括:确定所述第二受试人员进行多次汉字笔画书写想象所生成的多个运动向量序列;以及基于所述多个运动向量序列,确定所述运动向量序列数据集,其中确定所述运动向量序列的操作,包括:
采集与所述第二受试人员对应的第二轨迹数据;以及
将所述第二轨迹数据转化为运动向量序列。
8.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时由处理器执行权利要求1至7中任意一项所述的方法。
9.一种基于脑电信号的汉字笔画输出装置,其特征在于,包括:
数据采集模块,用于采集第一受试人员进行汉字笔画书写想象的第一脑电信号数据;
第一向量生成模块,用于基于所述第一脑电信号数据,生成第一向量;
汉字笔画确定模块,用于对所述第一向量进行聚类,并基于预先确定的第一对应关系,确定与所述第一向量对应的所述第一脑电信号数据的第一汉字笔画,其中所述第一对应关系用于指示不同的脑电信号数据与汉字笔画类别之间的对应关系;
第一轨迹数据确定模块,用于基于预先确定的第二对应关系,判定是否存在与所述第一汉字笔画对应的第一轨迹数据,其中所述第二对应关系用于指示不同的汉字书写轨迹数据与所述汉字笔画类别之间的对应关系;以及
汉字笔画确定模块,用于确定存在与所述第一轨迹数据的情况下,输出所述第一汉字笔画。
10.一种基于脑电信号的汉字笔画输出装置,其特征在于,包括:
处理器;以及
存储器,与所述处理器连接,用于为所述处理器提供处理以下处理步骤的指令:
采集第一受试人员进行汉字笔画书写想象的第一脑电信号数据;
基于所述第一脑电信号数据,生成第一向量;
对所述第一向量进行聚类,并基于预先确定的第一对应关系,确定与所述第一向量对应的所述第一脑电信号数据的第一汉字笔画,其中所述第一对应关系用于指示不同的脑电信号数据与汉字笔画类别之间的对应关系;
基于预先确定的第二对应关系,判定是否存在与所述第一汉字笔画对应的第一轨迹数据,其中所述第二对应关系用于指示不同的汉字书写轨迹数据与所述汉字笔画类别之间的对应关系;以及
在确定存在与所述第一轨迹数据的情况下,输出所述第一汉字笔画。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410338291.9A CN117930987A (zh) | 2024-03-25 | 2024-03-25 | 基于脑电信号的汉字笔画输出方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410338291.9A CN117930987A (zh) | 2024-03-25 | 2024-03-25 | 基于脑电信号的汉字笔画输出方法、装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117930987A true CN117930987A (zh) | 2024-04-26 |
Family
ID=90763343
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410338291.9A Pending CN117930987A (zh) | 2024-03-25 | 2024-03-25 | 基于脑电信号的汉字笔画输出方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117930987A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117389441A (zh) * | 2023-11-23 | 2024-01-12 | 首都医科大学附属北京天坛医院 | 基于视觉追随辅助的书写想象汉字轨迹确定方法及系统 |
CN117608402A (zh) * | 2023-11-23 | 2024-02-27 | 首都医科大学附属北京天坛医院 | 一种基于汉字书写想象的隐蔽汉语言处理系统和方法 |
CN117608399A (zh) * | 2023-11-23 | 2024-02-27 | 首都医科大学附属北京天坛医院 | 基于汉字笔画的轨迹拟合方法以及装置 |
CN117608400A (zh) * | 2023-11-23 | 2024-02-27 | 首都医科大学附属北京天坛医院 | 基于脑机接口的汉字书写轨迹识别方法、系统及电子设备 |
-
2024
- 2024-03-25 CN CN202410338291.9A patent/CN117930987A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117389441A (zh) * | 2023-11-23 | 2024-01-12 | 首都医科大学附属北京天坛医院 | 基于视觉追随辅助的书写想象汉字轨迹确定方法及系统 |
CN117608402A (zh) * | 2023-11-23 | 2024-02-27 | 首都医科大学附属北京天坛医院 | 一种基于汉字书写想象的隐蔽汉语言处理系统和方法 |
CN117608399A (zh) * | 2023-11-23 | 2024-02-27 | 首都医科大学附属北京天坛医院 | 基于汉字笔画的轨迹拟合方法以及装置 |
CN117608400A (zh) * | 2023-11-23 | 2024-02-27 | 首都医科大学附属北京天坛医院 | 基于脑机接口的汉字书写轨迹识别方法、系统及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11755121B2 (en) | Gesture information processing method and apparatus, electronic device, and storage medium | |
CN111134666B (zh) | 一种多通道脑电数据的情绪识别方法及电子装置 | |
US9239956B2 (en) | Method and apparatus for coding of eye and eye movement data | |
KR100866215B1 (ko) | 뇌파를 이용한 단말의 구동 방법 및 장치 | |
EP2891454B1 (en) | Concentration ratio measurement device and program | |
CN104503592A (zh) | 头部动作确定方法和装置 | |
CN111631704B (zh) | 基于心电与脑电信息结合的糖尿病前期检测系统和方法 | |
CN108181995A (zh) | 交互系统、方法及装置 | |
CN114415842B (zh) | 一种基于位点等效增强的脑机接口解码方法及装置 | |
WO2016167741A1 (en) | Method of generating an adaptive partial report and apparatus for implementing the same | |
Hernandez-Ruiz et al. | Motor-imagery eegnet-based processing on a low-spec soc hardware | |
CN108962379B (zh) | 一种脑神经系统疾病的手机辅助检测系统 | |
CN117930987A (zh) | 基于脑电信号的汉字笔画输出方法、装置及存储介质 | |
CN113317804A (zh) | 一种康复效率预测方法、及其训练装置和计算机设备 | |
Arif | Statistical Grounding | |
CN116327133A (zh) | 一种多生理指标检测方法、装置及相关设备 | |
US20230101539A1 (en) | Physiological electric signal classification processing method and apparatus, computer device and storage medium | |
Cecotti et al. | Suboptimal sensor subset evaluation in a p300 brain-computer interface | |
CN114795133A (zh) | 睡眠呼吸暂停检测方法、装置、设备以及存储介质 | |
CN115691793A (zh) | 一种舌象数据处理方法、装置及相关设备 | |
Xu et al. | Eeg signal classification and feature extraction methods based on deep learning: A review | |
CN113191438A (zh) | 学习风格识别模型训练和识别方法、装置、设备及介质 | |
RU2704547C1 (ru) | Способ удаленного сбора и групповой обработки психофизиологических реакций при предъявлении различной информации | |
Bottos et al. | An approach to track reading progression using eye-gaze fixation points | |
CN117784939A (zh) | 基于五笔输入法的汉字书写想象方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |