CN115480638A - 基于笔画意图识别的中文打字方法、装置、系统及介质 - Google Patents

基于笔画意图识别的中文打字方法、装置、系统及介质 Download PDF

Info

Publication number
CN115480638A
CN115480638A CN202211095129.6A CN202211095129A CN115480638A CN 115480638 A CN115480638 A CN 115480638A CN 202211095129 A CN202211095129 A CN 202211095129A CN 115480638 A CN115480638 A CN 115480638A
Authority
CN
China
Prior art keywords
stroke
brain
brain source
chinese
dynamic connection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211095129.6A
Other languages
English (en)
Inventor
刘政
姜玉莹
王聪
张猛
王晓岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Naolu Chongqing Intelligent Technology Research Institute Co ltd
Original Assignee
Naolu Chongqing Intelligent Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Naolu Chongqing Intelligent Technology Research Institute Co ltd filed Critical Naolu Chongqing Intelligent Technology Research Institute Co ltd
Priority to CN202211095129.6A priority Critical patent/CN115480638A/zh
Publication of CN115480638A publication Critical patent/CN115480638A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/251—Means for maintaining electrode contact with the body
    • A61B5/256—Wearable electrodes, e.g. having straps or bands
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/291—Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Abstract

本发明实施例公开了一种基于笔画意图识别的中文打字方法、装置、系统及介质，该方法包括：获取基于时间序列的脑源信号；基于有效性连接方法确定所述脑源信号对应的有效动态连接脑源网络；根据所述有效动态连接脑源网络确定脑皮层时频激活模式地形图；将所述脑皮层时频激活模式地形图输入已训练的意图识别模型，以得到笔画识别结果。解决了现有基于BCI的拼写方法存在无法实现中文打字的问题。

Description

基于笔画意图识别的中文打字方法、装置、系统及介质
技术领域
本发明实施例涉及数据处理领域，尤其涉及一种基于笔画意图识别的中文打字方法、装置、系统及介质。
背景技术
在漫长的人类文明传承过程中，语言文字一直起着至关重要的促进作用。计算机技术高速发展以来，语言文字的记录从开始的纸笔进化到可以通过语音实时转文字的方式(STT:Speech to Text)。近年来，随着脑机接口(Brain Computer Interface，简称BCI)领域的发展，使得越来越多的技术人员试图通过将脑部活动转换为计算机命令来实现对外部设备的控制，比如意念打字。
基于意念的打字方法使用BCI拼写器，让人们无需动一根手指就能打出单词和短语。这种技术对那些无法使用手写、拼写和语音等方式进行交流的人来说至关重要。
综上，现有基于意念的打字方法都是在英文字母的基础上实现英文拼写的，尚未发现基于中文笔画的拼写系统，即现有基于意念的打字方法存在无法实现中文打字的问题。
发明内容
本发明实施例提供了一种基于笔画意图识别的中文打字方法、装置、系统及介质，解决了现有基于BCI的拼写方法存在无法实现中文打字的问题。
第一方面，本发明实施例提供了一种基于笔画意图识别的中文打字方法，包括：
获取基于时间序列的脑源信号；
基于有效性连接方法确定所述脑源信号对应的有效动态连接脑源网络；
根据所述有效动态连接脑源网络确定脑皮层时频激活模式地形图，并将所述脑皮层时频激活模式地形图输入已训练的意图识别模型，以得到笔画识别结果。
第二方面，本发明实施例还提供了一种基于笔画意图识别的中文打字装置，包括：
溯源模块，用于获取基于时间序列的脑源信号；
网络模块，用于基于有效性连接方法确定所述脑源信号对应的有效动态连接脑源网络；
笔画识别模块，用于根据所述有效动态连接脑源网络确定脑皮层时频激活模式地形图，并将所述脑皮层时频激活模式地形图输入已训练的意图识别模型，以得到笔画识别结果。
第三方面，本发明实施例还提供了一种打字系统，所述打字系统包括：
脑电信号采集设备，被佩戴于打字者头部，用于获取打字者打字过程中的脑电信号；
一个或多个处理器；
存储器，用于存储一个或多个程序；
显示装置，在所述一个或多个处理器的控制下至少显示中文字符；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如任意所述的基于笔画意图识别的中文打字方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如任意实施例所述的基于笔画意图识别的中文打字方法。
本发明实施例提供的基于笔画意图识别的中文打字方法的技术方案，通过对EEG信号进行溯源得到基于时间序列的脑源信号，通过有效性连接方法确定有效动态连接脑源网络，该有效动态连接脑源网络可反映脑源间信息流向和因果影响；将基于该有效动态连接脑源网络确定的脑皮层时频激活模式地形图输入已训练的神经网络模型得到笔画识别结果。由于有效动态连接脑源网络能够反映脑源间信息流向和因果影响，因此已训练的神经网络模型对基于该有效动态连接脑源网络确定的脑皮层时频激活模式地形图进行分析，可以得到准确的笔画识别结果，以及基于该笔画识别结果准确地确定出打字者想象的中文字符。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的基于笔画意图识别的中文打字方法的流程图；
图2是本发明实施例一提供的又一基于笔画意图识别的中文打字方法的流程图；
图3是本发明实施例二提供的基于笔画意图识别的中文打字装置的结构框图；
图4是本发明实施例二提供的又一基于笔画意图识别的中文打字装置的结构框图；
图5是本发明实施例三提供的打字系统的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下将参照本发明实施例中的附图，通过实施方式清楚、完整地描述本发明的技术方案，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
图1是本发明实施例提供的基于笔画意图识别的中文打字方法的流程图。本实施例的技术方案适用于通过笔画意念实现中文打字的情况。该方法可以由本发明实施例提供的基于笔画意图识别的中文打字装置来执行，该装置可以采用软件和/或硬件的方式实现，并配置在处理器中应用。该方法具体包括如下步骤：
S101、获取基于时间序列的脑源信号。
在一个实施例中，根据预设源模型、预设头模型以及各电极在预设头模型中的位置信息对当前EEG信号(脑电信号)进行溯源，以得到基于时间序列的脑源信号。
其中，预设源模型为电流偶极子源模型，该电流偶极子源模型可通过结构MRI(Magnetic Resonance Imaging，简称MRI)(公共精准核磁扫描模板)分割计算得到。电流偶极子源模型采用6个参数即可确定一个脑电活动的假设源(脑源)，具体包括3个位置坐标和3个极坐标。
其中，预设头模型为真实头模型，该真实头模型是基于打字者的核磁共振图像或CT(Computed Tomography，简称CT，计算机断层扫描成像)图像创建的，包含打字者的头部几何特征信息。
可选地，该真实头模型可采用边界元法或有限元法确定。
打字者在打字时，需佩戴脑电信号采集设备，比如电极帽，该电极帽配置有设定数量的电极。该电极帽设置有至少两个配准标识，该配准标识对准打字者的设定生理位置，比如左耳前、右耳前和鼻尖；根据该电极帽的配准标识与打字者的设定生理位置的位置对应关系，以及电极帽各电极的分布位置、真实头模型的几何特征，确定电极帽中的各个电极在真实头模型中的位置。需要说明的是，采用现有技术的电极帽即可，本实施例在此不作具体限定。
基于真实头模型、电流偶极子源模型以及大脑各部分皮层组织的导电率传导矩阵，来逆向求解脑源信号的偶极子空间定位坐标，将EEG信号投影到源位置，以确定产生EEG信号的脑源的位置、方向和幅度，从而得到基于时间序列的脑源信号。可选地，通过以下步骤确定基于时间序列的脑源信号：
a1、根据电流偶极子源模型，设定X(t)为采用M个电极(通道)记录EEG信号的时间序列；X(t)可视为P个时变电流偶极子源(脑源)S(t)的线性组合，具体如下：
Figure BDA0003832019080000061
其中，G为引导场矩阵，用于反映每个脑源对电极的贡献，其由真实头模型以及电极在该真实头模型中的位置计算出来的；t为时间，N(t)为噪声。
当脑源分布受限于均匀分布于皮层上且垂直于皮层表面的电流偶极子场时，就定义了脑源的位置和方向。
a2、通过EEG逆向问题估计脑源信号的幅度，具体如下：
Figure BDA0003832019080000062
其中，W为容积传导参数矩阵，可以基于与脑源的时空特性和正则化约束相关的不同假设来估计容积传导参数矩阵W，比如加权最小范数估计法(wMNE)，具体为产生脑源分布的最小功率以拟合最小二乘误差测量值：
WwMNE＝BGT(GBGT+λC)-1 (3)
其中，λ为正则化参数，可根据信噪比计算，具体为λ＝1/SNR。C为噪声协方差矩阵。
a3、将B构造成一个对角矩阵，当权重为空时B＝1，估计出矩阵W，采用公式(2)重建脑源动态，以得到基于时间序列的脑源信号S(t)。
可以理解的是，P个脑源可以产生P×P的脑源网络，该网络通常情况下被简化为R×R脑区，其中，R表示感兴趣区域的数量(ROIs)。在一个实施例中，使用基于AAL标准的结构和功能坐标集，筛选76个ROI和对应脑皮层坐标。
在一个实施例中，在确定EEG信号对应的脑源之前，先对其进行预处理，可选地，导入电极空间坐标信息，具体为电极在真实头模型中的位置信息；将EEG信号的频率从第一频率降采样到第二频率以得到降采样后的EEG信号，以压缩数据总量、剔除不必要的高频噪音，同时有助于获得更平稳的脑源信号分离结果，可选地，第一频率为1200Hz，第二频率为250Hz；应用带通滤波器对降采样后的EEG信号进行带通滤波以得到滤波后的EEG信号，带通滤波可以消除EEG信号中的基线漂移和50Hz的工频噪音影响，从而尽可能的保留大脑活动的真实信息，可选地，带通滤波器的滤波范围为1Hz-45Hz；对滤波后的EEG信号执行删除坏道和重参考，以更新EEG信号，通过删除明显的异常坏道来提高信号质量，并使用全脑平均重参考的方式来补充和插值被删除的坏道信号；通过自适应混合ICA信号盲源分离算法，从更新后的EEG脑电信号中剥离心电、眼电、肌电和电极噪音等非脑皮层活动独立成分以再次更新EEG信号，自适应混合ICA信号盲源分离算法筛选还原出真实有效的脑皮层活动源信号。
S102、基于有效性连接方法确定脑源信号对应的有效动态连接脑源网络。
基于时间序列的脑源信号S(t)重建完毕后，就可以估计出这些脑皮层源区域时间序列之间的统计耦合。当目标是估计这种耦合或考虑时间序列之间因果关系的方向性和信息流动性时，该方法被称为有效性连接方法。基于此方法构建的动态脑源网络是具有信息流向和因果关系的有效动态连接脑源网络。可以理解的是，不同脑源之间的连接信息可以表现大脑进行笔画想象时的各脑源之间的信息交互过程。
其中，有效性连连接方法旨在估计因果关系(格兰杰因果关系意义上的因果关系)或信号之间耦合的方向性。
可选地，采用基于多变量自回归模型(MVAR)提出的有向传递函数(DTF)和部分有向相干(PDC)的估计方法，来估计基于时间序列的脑源信号的信息流向和因果关系的有效连通性。其中，有向传递函数是一个随时间变化的多变量自回归方法，它对于大脑皮层上的脑源之间的信息交换的估计非常有用。
在一个实施例中，多变量自回归模型(MVAR)可表示为：
Figure BDA0003832019080000081
其中，X(t)为EEG信号矩阵，ε(t)为与X(t)独立的白噪声，p为多变量自回归模型的最大预测阶数，可以使用施瓦茨贝叶斯准则来确定，A(i)为模型系数(M×M)。
该时域表达式也可转换为频域表达式：
X(f)＝A-1(f)ε(f)＝H(f)ε(f) (5)
其中，H(f)为随时间变化的转化函数，A(f)是系数的傅里叶变换，也随时间变化。利用A(f)确定第一有效动态连接脑源网络，具体为：将任一时刻，以f频率下通道j向通道i的流出量为特征的rPDC(部分有向相干)估计量的定义为：
Figure BDA0003832019080000082
利用H(f)确定第二有效动态连接脑源网络，具体为：将任一时刻，通道j在频率f处对通道i的因果影响的dDTF08(有向传递函数)估计量定义为：
Figure BDA0003832019080000083
可以理解的是，本实施例中的有效动态连接脑源网络包括第一有效动态连接脑源网络和第二有效动态连接脑源网络。
第一有效动态连接脑源网络和第二有效动态连接脑源网络得到后，将第一有效动态连接脑源网络和第二有效动态连接脑源网络进行拼接以得到有效动态连接脑源网络。可以理解的是，第一有效动态连接脑源网络和第二有效动态连接脑源网络均为矩阵形式，因此通过二者的矩阵拼接即可得到有效脑源网络。
S103、根据有效动态连接脑源网络确定脑皮层时频激活模式地形图，并将该脑皮层时频激活模式地形图输入已训练的意图识别模型，以得到笔画识别结果。
有效动态连接闹源网络的动态可通过邻接矩阵来表示，比如t1时刻h1频率下的邻接矩阵M1，t2时刻h2频率下的邻接矩阵M2等。
将脑源网络还原到大脑皮层以得到脑皮层时频激活地形图，此地形图反应的是大脑皮层结构下的激活模式，例如t1时刻h1频率下的大脑皮层结构，该大脑皮层结构包括激活区域和抑制区域。
在一个实施例中，根据有效动态连接脑源网络确定脑网络信息流变化；根据脑网络信息流变化确定脑皮层时频激活模式地形图。
可以理解的是，脑激活曲面高低起伏犹如海面波浪，这种动态变化表现为激活曲面随时间运动而高低起伏，且高低起伏的速度不同，因此激活模式可以捕捉打字者在想象不同笔画时大脑各区域之间的特征差异，因此打字者在想象不同笔画时大脑各区域之间的特征差异可以充分地反映出打字者在想象不同笔画时各脑区之间的差异信息，因此将脑皮层时频激活模式地形图输入已训练的意图识别模型，即可以得到准确的笔画识别结果。
其中，已训练的意图识别模型为卷积神经网络模型，其包括一个特征提取器和用于执行识别任务的前馈神经网络。特征提取器包括卷积层、激活层和池化层。卷积层用于计算脑网络时频特征图像和脑皮层时频激活模式地形图的子区域与K个滤波器组(由多个堆叠在一起的内核组成)之间的点积。每个内核使用步长s表示扫描输入，并共享相同的权重。结果为一组K个特征映射。激活层用于对每个特征映射应用非线性激活函数来学习非线性特性，可选地，采用校正线性单位ReLu激活函数。池化层用于通过应用最大或平均池函数来降低输入特征图的分辨率。
在一个实施例中，深度卷积神经网络的结构包括3个卷积层，每个层后面都有一个ReLU激活函数和max池化层。该网络以带有softmax输出层的标准多层NN结束。脑网络时频特征图像和脑皮层时频激活模式地形图是第一卷积层(c1)的输入，该卷积层包括8个滤波器大小为3×3、卷积核步长为1并做边缘填充操作的可学习滤波器。应用ReLU激活功能后，每个特征映射都是第一个最大池化层的输入，池化层由核尺寸为5×4和核步长为2的滤波器组成。该卷积层的池化层的输出是第二卷积层的输入，该第二卷积层包括16个与第一层卷积层相同的滤波器，与第一卷积层层类似，在应用ReLU激活函数后，第二个最大池化层由核尺寸大小为6×5和步长为2的滤波器组成，该池化层输出特征映射图作为最后一层卷积层的输入。最后一卷积层由32个与第一层卷积层相同的滤波器组成，该卷积层输出特征图并由RELU函数进行处理，然后通过最后一个核尺寸为6×6，步长为2的池化层进行处理，最后，对从最后一层提取的特征进行尺寸重塑，并将其作为前馈神经网络的输入，前馈神经网络的输出再经过softmax进行中文笔画分类，以得到中文笔画识别结果。
在一个实施例中，笔画识别结果包括中文笔画识别结果，该中文笔画识别结果包括至少一个笔画标识，该笔画标识用于表示对应的笔画。比如，标识1表示笔画“点”，标识2表示笔画“横”，标识3表示笔画“竖”，标识4表示笔画“撇”，标识5表示笔画“捺”，标识6表示笔画“捺”，标识7表示笔画“横折”，标识8表示笔画“竖钩”，标识9表示笔画“提”等。
如图2所示，该方法还包括S104、输出一个或多个笔画识别结果对应的中文字符。
将笔画识别结果中的一个或多个笔画组合成中文输出，以得到该笔画识别结果对应的中文字符。示例性的，笔画识别结果包括一“横”和一“竖”，则该笔画识别结果对应的中文字符为“十”，因此输出“十”。
在一个实施例中，笔画识别结果包括设定间隔字符，该设定间隔字符用于表示当前中文字符输入结束。也就是说，打字者想象完一个中文字符的所有中文笔画后，需要想象一次该设定间隔字符。该实施例中，在检测到设定间隔字符时，输出当前设定间隔字符与前一设定间隔字符之间的笔画识别结果对应的中文字符。可选地，将设定间隔字符作为前一中文字符的结束，以及下一中文字符的开始，因此在每次输出笔画识别结果对应的中文字符时，清空该笔画识别结果中的所有笔画。这样在检测到下一设定间隔字符时，输出该设定间隔字符之前的笔画识别结果中的笔画对应的中文字符即可。
在一个实施例中，输出笔画识别结果对应等级至少一个中文字符，并返回根据预设源模型、预设头模型以及各电极在预设头模型中的位置信息对当前EEG信号进行溯源，以得到基于时间序列的脑源信号的步骤，直至得到当前笔画识别结果，当前笔画识别结果为阿拉伯数字；输出当前笔画识别结果对应的中文字符。该实施例中，笔画识别结果包括设定间隔字符与至少一个中文笔画，或者包括设定间隔字符与阿拉伯数字。具体地，在检测到设定间隔字符时，输出该设定间隔字符对应的笔画识别结果中的所有笔画对应的所有可能的中文字符，打字者确定(想象)目标中文字符在所有中文字符中的排位以及想象一下设定间隔字符，处理器再次执行获取基于时间序列的脑源信号的步骤，直至再次得到当前笔画识别结果，该当前笔画识别结果包括阿拉伯数字；输出该阿拉伯数字对应的中文字符。通过笔画识别与数字识别实现了基于意念的中文打字目的。
示例性的，打字者想象笔画“撇”和“捺”，因此已训练的意图识别模型输出的笔画识别结果包括分别用于表示“撇”和“捺”的标识。输出该“撇”和“捺”对应的所有可能的中文字符“人”和“入”。如果打字者想要的中文字符为人，则想象一下“人”字在输出的所有可能的中文字符中的排位，比如该示例中“人”的排位为“1”，同时想象一下设定间隔字符。此时，已训练的意图识别模型输出的笔画识别结果包括“1”，因此输出该“1”对应的中文字符“人”。
本发明实施例提供的基于笔画意图识别的中文打字方法的技术方案，通过对EEG信号进行溯源得到基于时间序列的脑源信号，通过有效性连接方法确定有效动态连接脑源网络，该有效动态连接脑源网络可反映脑源间信息流向和因果影响；将基于该有效动态连接脑源网络确定的脑皮层时频激活模式地形图输入已训练的神经网络模型得到笔画识别结果。由于有效动态连接脑源网络能够反映脑源间信息流向和因果影响，因此已训练的神经网络模型对基于该有效动态连接脑源网络确定的脑皮层时频激活模式地形图进行分析，可以得到准确的笔画识别结果，以及基于该笔画识别结果准确地确定出打字者想象的中文字符。
实施例二
图3是本发明实施例提供的基于笔画意图识别的中文打字装置的结构框图。该装置用于执行上述任意实施例所提供的基于笔画意图识别的中文打字方法，该装置可选为软件或硬件实现。该装置包括：
溯源模块21，用于获取基于时间序列的脑源信号；
网络模块22，用于基于有效性连接方法确定所述脑源信号对应的有效动态连接脑源网络；
笔画识别模块23，用于根据所述有效动态连接脑源网络确定脑皮层时频激活模式地形图，并将脑皮层时频激活模式地形图输入已训练的意图识别模型，以得到笔画识别结果。
可选地，获取模块用于根据预设源模型、预设头模型以及各电极在所述预设头模型中的位置信息对当前EEG信号进行溯源，以得到基于时间序列的获取脑源信号。
可选地，网络模块22用于基于多自变量回归模型的有向传递函数确定所述脑源信号对应的基于信息流向的第一有效动态连接脑源网络；
基于多自变量回归模型的部分有向相干算法，确定所述脑源信号对应的基于因果关系的第二有效动态连接脑源网络；
将所述第一有效动态连接脑源网络和所述第二有效动态连接脑源网络进行拼接以得到所述有效动态连接脑源网络。
可选地，笔画识别模块23用于根据所述有效动态连接脑源网络确定脑网络信息流变化；根据所述脑网络信息流变化确定脑皮层时频激活模式地形图。
可选地，如图4所示，该装置还包括输出模块24，该输出模块用于输出一个或多个笔画识别结果对应的中文字符。
可选地，输出模块24用于在检测到设定间隔字符时，输出当前设定间隔字符与前一设定间隔字符之间的笔画识别结果对应的中文字符。
可选地，输出模块24用于输出一个或多个笔画识别结果对应的至少一个中文字符，并返回获取基于时间序列的脑源信号的步骤，直至得到当前笔画识别结果，所述当前笔画识别结果为阿拉伯数字；输出所述阿拉伯数字对应的中文字符。
本发明实施例提供的基于笔画意图识别的中文打字装置的技术方案，通过对EEG信号进行溯源得到基于时间序列的脑源信号，通过有效性连接方法确定有效动态连接脑源网络，该有效动态连接脑源网络可反映脑源间信息流向和因果影响；将基于该有效动态连接脑源网络确定的脑皮层时频激活模式地形图输入已训练的神经网络模型得到笔画识别结果。由于有效动态连接脑源网络能够反映脑源间信息流向和因果影响，因此已训练的神经网络模型对基于该有效动态连接脑源网络确定的脑皮层时频激活模式地形图进行分析，可以得到准确的笔画识别结果，从而基于该笔画识别结果准确地确定出打字者想象的中文字符。
本发明实施例所提供的基于笔画意图识别的中文打字装置可执行本发明任意实施例所提供的基于笔画意图识别的中文打字方法，具备执行方法相应的功能模块和有益效果。
实施例三
图5为本发明实施例提供的打字系统的结构示意图，如图5所示，该设备包括电极帽300、处理器301、存储器302以及显示装置303；设备中的电极帽300配置有预设数量的电极，处理器301的数量可以是一个或多个，图3中以一个处理器301为例；设备中的处理器301、存储器302、显示装置303可以通过总线或其他方式连接，图5中以通过总线连接为例。
存储器302作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的基于笔画意图识别的中文打字方法对应的程序指令/模块(例如，溯源模块21、网络模块22以及笔画识别模块23)。处理器301通过运行存储在存储器302中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的基于笔画意图识别的中文打字方法。
存储器302可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器302可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器302可进一步包括相对于处理器301远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
显示装置303可包括显示屏等显示设备，例如，用户终端的显示屏。
实施例四
本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种基于笔画意图识别的中文打字方法，该方法包括：
获取基于时间序列的脑源信号；
基于有效性连接方法确定所述脑源信号对应的有效动态连接脑源网络；
根据所述有效动态连接脑源网络确定脑皮层时频激活模式地形图，并将所述脑皮层时频激活模式地形图输入已训练的意图识别模型，以得到笔画识别结果。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的基于笔画意图识别的中文打字方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(RandomAccess Memory，简称RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的基于笔画意图识别的中文打字方法。
值得注意的是，上述基于笔画意图识别的中文打字装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种基于笔画意图识别的中文打字方法，其特征在于，包括：
获取基于时间序列的脑源信号；
基于有效性连接方法确定所述脑源信号对应的有效动态连接脑源网络；
根据所述有效动态连接脑源网络确定脑皮层时频激活模式地形图，并将所述脑皮层时频激活模式地形图输入已训练的意图识别模型，以得到笔画识别结果。
2.根据权利要求1所述的方法，其特征在于，所述获取基于时间序列的脑源信号，包括：
根据预设源模型、预设头模型以及各电极在所述预设头模型中的位置信息对当前EEG信号进行溯源，以得到基于时间序列的脑源信号。
3.根据权利要求1所述的方法，其特征在于，所述基于有效性连接方法确定所述脑源信号对应的有效动态连接脑源网络，包括：
基于多自变量回归模型的有向传递函数确定所述脑源信号对应的基于信息流向的第一有效动态连接脑源网络；
基于多自变量回归模型的部分有向相干算法，确定所述脑源信号对应的基于因果关系的第二有效动态连接脑源网络；
将所述第一有效动态连接脑源网络和所述第二有效动态连接脑源网络进行拼接以得到所述有效动态连接脑源网络。
4.根据权利要求1所述的方法，其特征在于，所述根据所述有效动态连接脑源网络确定脑皮层时频激活模式地形图，包括：
根据所述有效动态连接脑源网络确定脑网络信息流变化；
根据所述脑网络信息流变化确定脑皮层时频激活模式地形图。
5.根据权利要求1所述的方法，其特征在于，还包括：
输出一个或多个笔画识别结果对应的中文字符。
6.根据权利要求5所述的方法，其特征在于，所述笔画识别结果包括设定间隔字符，所述输出一个或多个笔画识别结果对应的中文字符，包括：
在检测到设定间隔字符时，输出当前设定间隔字符与前一设定间隔字符之间的一个或多个笔画识别结果对应的中文字符。
7.根据权利要求6所述的方法，其特征在于，所述笔画识别结果包括至少一个中文笔画或一个阿拉伯数字；
所述输出一个或多个笔画识别结果对应的中文字符，包括：
输出一个或多个笔画识别结果对应的至少一个中文字符，并返回获取基于时间序列的脑源信号的步骤，直至得到当前笔画识别结果，所述当前笔画识别结果为阿拉伯数字；
输出所述阿拉伯数字对应的中文字符。
8.一种基于笔画意图识别的中文打字装置，其特征在于，包括：
溯源模块，用于获取基于时间序列的脑源信号；
网络模块，用于基于有效性连接方法确定所述脑源信号对应的有效动态连接脑源网络；
笔画识别模块，用于根据所述有效动态连接脑源网络确定脑皮层时频激活模式地形图，并将所述脑皮层时频激活模式地形图输入已训练的意图识别模型，以得到笔画识别结果。
9.一种打字系统，其特征在于，所述打字系统包括：
脑电信号采集设备，被佩戴于打字者头部，用于获取打字者打字过程中的脑电信号；
一个或多个处理器；
存储器，用于存储一个或多个程序；
显示装置，在所述一个或多个处理器的控制下至少显示中文字符；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的基于笔画意图识别的中文打字方法。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的基于笔画意图识别的中文打字方法。
CN202211095129.6A 2022-09-05 2022-09-05 基于笔画意图识别的中文打字方法、装置、系统及介质 Pending CN115480638A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211095129.6A CN115480638A (zh) 2022-09-05 2022-09-05 基于笔画意图识别的中文打字方法、装置、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211095129.6A CN115480638A (zh) 2022-09-05 2022-09-05 基于笔画意图识别的中文打字方法、装置、系统及介质

Publications (1)

Publication Number Publication Date
CN115480638A true CN115480638A (zh) 2022-12-16

Family

ID=84424141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211095129.6A Pending CN115480638A (zh) 2022-09-05 2022-09-05 基于笔画意图识别的中文打字方法、装置、系统及介质

Country Status (1)

Country Link
CN (1) CN115480638A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117389441A (zh) * 2023-11-23 2024-01-12 首都医科大学附属北京天坛医院 基于视觉追随辅助的书写想象汉字轨迹确定方法及系统
CN117608402A (zh) * 2023-11-23 2024-02-27 首都医科大学附属北京天坛医院 一种基于汉字书写想象的隐蔽汉语言处理系统和方法
CN117608402B (zh) * 2023-11-23 2024-05-14 首都医科大学附属北京天坛医院 一种基于汉字书写想象的隐蔽汉语言处理系统和方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117389441A (zh) * 2023-11-23 2024-01-12 首都医科大学附属北京天坛医院 基于视觉追随辅助的书写想象汉字轨迹确定方法及系统
CN117608402A (zh) * 2023-11-23 2024-02-27 首都医科大学附属北京天坛医院 一种基于汉字书写想象的隐蔽汉语言处理系统和方法
CN117389441B (zh) * 2023-11-23 2024-03-15 首都医科大学附属北京天坛医院 基于视觉追随辅助的书写想象汉字轨迹确定方法及系统
CN117608402B (zh) * 2023-11-23 2024-05-14 首都医科大学附属北京天坛医院 一种基于汉字书写想象的隐蔽汉语言处理系统和方法

Similar Documents

Publication Publication Date Title
DE112017002799B4 (de) Verfahren und system zum generieren multimodaler digitaler bilder
CN109166130B (zh) 一种图像处理方法及图像处理装置
Bashivan et al. Learning representations from EEG with deep recurrent-convolutional neural networks
US10121072B1 (en) Unsupervised removal of text from form images
EP1119822B1 (de) Verfahren und system zur personenerkennung mit modellbasierter gesichtsfindung
WO2018099405A1 (zh) 人脸分辨率重建方法、重建系统和可读介质
CN112120694B (zh) 一种基于神经网络的运动想象脑电信号分类方法
CN107392865B (zh) 一种人脸图像的复原方法
US20170116481A1 (en) Method for video matting via sparse and low-rank representation
WO2020059527A1 (ja) フォント作成装置、フォント作成方法及びフォント作成プログラム
CN108021232B (zh) 一种大脑皮层电信号解码的方法和装置
Zhao et al. Applying contrast-limited adaptive histogram equalization and integral projection for facial feature enhancement and detection
CN114424940A (zh) 基于多模态时空特征融合的情绪识别方法及系统
CN113486752A (zh) 基于心电信号的情感识别方法及系统
CN115480638A (zh) 基于笔画意图识别的中文打字方法、装置、系统及介质
DE112019002205T5 (de) Echtzeitannotierung von symptomen in der telemedizin
CN116350222A (zh) 一种基于脑电图信号的情绪识别方法与装置
CN114224360B (zh) 一种基于改进emd-ica的eeg信号处理方法、设备及存储介质
CN113208614A (zh) 脑电降噪的方法及装置、可读存储介质
US10750972B2 (en) Systems and methods for wavelet based head movement artifact removal from electrooculography (EOG) signals
CN111789592B (zh) 一种基于拓扑特征融合的脑电识别方法
CN114533084A (zh) 脑电特征提取方法、装置、电子设备和存储介质
Bhattacharyya et al. Reactive frequency band based movement imagery classification
Al-Anbary et al. A PROPOSED SIGN LANGUAGE MODEL FOR SPEECHLESS PERSONS USING EEG SIGNALS
Ince et al. ECoG based brain computer interface with subset selection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination