CN114330418A - 用于ar目标识别的脑电和眼动融合方法、介质及设备 - Google Patents

Abstract

本发明公开了用于AR目标识别的脑电和眼动融合方法、介质及设备，该方法包括同步采集在注视AR眼镜时的眼动数据、脑电数据和Trigger信号；根据所述Trigger信号标明的刺激时间对眼动数据和脑电数据进行去噪预处理；对预处理后的眼动数据采用距离加权平均算法确定AR眼镜刺激模块的四个邻近靶点；将四个邻近靶点的标签信息作为参考频率输入脑电解码程序，计算出AR目标。本发明降低了脑电融合计算量，解决了AR设备下脑电和眼动融合的需求，并且降低了现有融合算法带来的高占用、高计算量、和不稳定输出等问题，提高了识别效率和准确率。

Description

用于AR目标识别的脑电和眼动融合方法、介质及设备

技术领域

本发明涉及生物电信号处理领域，具体涉及一种用于AR目标识别的脑电和眼动融合方法、装置、介质及设备。

背景技术

AR(增强现实)技术是一种将虚拟信息与真实世界巧妙融合的技术，将SSVEP的刺激模块和眼动刺激放置至AR设备上，不仅可以提高脑控设备的便携性，而且可以提高脑电解码的准确率。

然而，现有的眼动、脑电融合算法先通过特征提取，再输入到机器学习模式识别网络进行意图识别，最后通过决策策略进行结果融合，这种融合方法存在解码方法复杂、解码准确度低等问题。

发明内容

针对现有技术存在的问题，本发明的第一目的在于提供一种降低眼动、脑电融合算法数据处理量，提高AR目标识别效率和准确率的用于AR目标识别的脑电和眼动融合方法。

本发明的第二目的在于提供一种用于AR目标识别的脑电和眼动融合装置。

本发明的第三目的在于提供一种执行实现上述融合方法的电子设备。

本发明的第四目的在于提供一种执行实现上述融合方法的计算机可读介质。

为实现上述目的，本发明的第一方面提供了一种用于AR目标识别的脑电和眼动融合方法，包括以下步骤：

同步采集在注视AR眼镜时的眼动数据、脑电数据和Trigger信号；

根据所述Trigger信号标明的刺激时间对眼动数据和脑电数据进行去噪预处理；

对预处理后的眼动数据采用距离加权平均算法确定AR眼镜刺激模块的四个邻近靶点；

将四个邻近靶点的标签信息作为参考频率输入脑电解码程序，计算出AR目标。

进一步，对预处理后的眼动数据采用距离加权平均算法确定AR眼镜刺激模块的四个邻近靶点包括：

将预处理后的眼动数据，按照3秒刺激时间先后顺序将眼动数据等距分割成3组眼动子数据，分别计算3组眼动子数据的平均坐标(X₁,Y₁)、(X₂,Y₂)、(X₃,Y₃)；

对3组眼动子数据的平均坐标按照预定加权比例计算加权平均坐标(X_m,Y_m)；

计算所述加权平均坐标(X_m,Y_m)与AR眼镜每个刺激模块的中心坐标(X_i,Y_i)之间的距离Dw；

利用Matlab中sort函数对计算出的每个距离Dw按照从小到大排序得出距离Ds1、Ds2、Ds3、Ds4；

将距离Ds1、Ds2、Ds3、Ds4对应的四个靶点确定为所述四个邻近靶点。

进一步，第1组眼动子数据平均坐标的权重比例为10％，第2组眼动子数据平均坐标的权重比例为20％，第3组眼动子数据平均坐标的权重比例为70％。

进一步，对3组眼动子数据的平均坐标按照预定加权比例计算加权平均坐标(X_m,Y_m)的计算公式为：

(X_m,Y_m)＝10％×(X₁,Y₁)+20％×(X₂,Y₂)+70％×(X₃,Y₃)。

本发明的第二方面提供一种用于AR目标识别的脑电和眼动融合装置，包括：

采集模块，用于同步采集在注视AR眼镜时的眼动数据、脑电数据和Trigger信号；

预处理模块，用于根据所述Trigger信号标明的刺激时间对眼动数据和脑电数据进行去噪预处理；

筛选模块，用于对预处理后的眼动数据采用距离加权平均算法确定AR眼镜刺激模块的四个邻近靶点；

识别模块，用于将四个邻近靶点的标签信息作为参考频率输入脑电解码程序，计算出AR目标。

进一步，所述筛选模块包括：

分割子模块，用于将预处理后的眼动数据，按照3秒刺激时间先后顺序将眼动数据等距分割成3组眼动子数据，分别计算3组眼动子数据的平均坐标(X₁,Y₁)、(X₂,Y₂)、(X₃,Y₃)

坐标计算子模块，用于对3组眼动子数据的平均坐标按照预定加权比例计算加权平均坐标(X_m,Y_m)；

距离计算子模块，用于计算所述加权平均坐标(X_m,Y_m)与AR眼镜每个刺激模块的中心坐标(X_i,Y_i)之间的距离Dw；

排序子模块，利用Matlab中sort函数对计算出的每个距离Dw按照从小到大排序得出距离Ds1、Ds2、Ds3、Ds4；

确定子模块，用于将距离Ds1、Ds2、Ds3、Ds4对应的四个靶点确定为所述四个邻近靶点。

本发明的第三方面提供一种电子设备，包括：

一个或多个处理器；以及

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现根据第一方面所述的融合方法。

本发明的第四方面提供一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现根据第一方面所述的融合方法。

本发明通过脑电数据标示的刺激时间对眼动数据进行分段处理，并从眼动数据中筛选出最符合融合要求的眼动数据进行脑电和眼动融合，降低了脑电融合计算量，解决了AR设备下脑电和眼动融合的需求，并且降低了现有融合算法带来的高占用、高计算量、和不稳定输出等问题，提高了识别效率和准确率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例的用于AR目标识别的脑电和眼动融合方法的流程图；

图2为本发明的另一个实施例的用于AR目标识别的脑电和眼动融合方法的流程图；

图3为本发明的实施例的用于AR目标识别的脑电和眼动融合装置的结构框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

如图1所示，本发明的用于AR目标识别的脑电和眼动融合方法，包括以下步骤：

步骤S110：同步采集在注视AR眼镜时的眼动数据、脑电数据和Trigger信号；

步骤S120：根据所述Trigger信号标明的刺激时间对眼动数据和脑电数据进行去噪预处理；

步骤S130：对预处理后的眼动数据采用距离加权平均算法确定AR眼镜刺激模块的四个邻近靶点；

步骤S140：将四个邻近靶点的标签信息作为参考频率输入脑电解码程序，计算出AR目标。

本发明通过脑电数据标示的刺激时间对眼动数据进行分段处理，并从眼动数据中筛选出最符合融合要求的眼动数据进行脑电和眼动融合，降低了脑电融合计算量，解决了AR设备下脑电和眼动融合的需求，并且降低了现有融合算法带来的高占用、高计算量、和不稳定输出等问题，提高了识别效率和准确率。

在本发明一实施例中，步骤S110中使用Neuroscan脑电采集设备采集脑电数据，脑电采集电极帽为64导，在实施过程中，主控机通过并口线实现信号同步，通过串口接受Neuroscan采集的脑电信号。眼动数据和Trigger信号是由Hololens通过UDP方式发送到主控机上，眼动和主控机借助UDP实现同步。

在本发明一实施例中，步骤S120中主控机将Trigger、脑电和眼动数据收集后，再根据Trigger信号确定每次脑电刺激模块刺激时间，由此可以将采样的眼动和脑电进行分段预处理，除此之外，利用脑电分析插件EEGLAB对脑电数据进行滤波、基线校正、降采样等预处理。

如图2所示，上述步骤S130可以包括步骤S210～步骤S250。

步骤S210：将预处理后的眼动数据，按照3秒刺激时间先后顺序将眼动数据等距分割成3组眼动子数据，分别计算3组眼动子数据的平均坐标(X₁,Y₁)、(X₂,Y₂)、(X₃,Y₃)。本实施例刺激时间为3s，采样频率1000Hz，刺激后采样点个数为3000个，将刺激后3000个采样点分为三组，每组1000个采样点,对采样点做平均计算出3组眼动子数据的平均坐标(X₁,Y₁)、(X₂,Y₂)、(X₃,Y₃)。

步骤S220：对3组眼动子数据的平均坐标按照预定加权比例计算加权平均坐标(X_m,Y_m)。其中，每组眼动子数据按照刺激时间的先后顺序其与目标数据的相关性大小不同，对每组眼动子数据的平均坐标赋予不同权重计算出的加权平均坐标(X_m,Y_m)与目标数据更为接近，如此能够提高最终目标识别的准确率。通常将第1组眼动子数据平均坐标的权重比例设为10％，第2组眼动子数据平均坐标的权重比例设为20％，第3组眼动子数据平均坐标的权重比例为70％。第1组眼动子数据对应刺激时间第1秒的眼动数据，第2组眼动子数据对应刺激时间第2秒的眼动数据，第3组眼动子数据对应刺激时间第3秒的眼动数据。根据3组眼动子数据的平均坐标(X₁,Y₁)、(X₂,Y₂)、(X₃,Y₃)和相应的权重比例按照以下计算公式可以计算出加权平均坐标(X_m,Y_m)：

(X_m,Y_m)＝10％×(X₁,Y₁)+20％×(X₂,Y₂)+70％×(X₃,Y₃)。

步骤S230：计算所述加权平均坐标(X_m,Y_m)与AR眼镜每个刺激模块的中心坐标(X_i,Y_i)之间的距离Dw。本实施例中AR眼镜刺激模块数量为12个，刺激模块的宽度和高度分别为410和290，整块投影范围为-669～669，-369～261。需要说明的是，AR眼镜刺激模块的数量并不局限以此，本发明并不以此为限制。

步骤S240：利用Matlab中sort函数对计算出的每个距离Dw按照从小到大排序得出距离Ds1、Ds2、Ds3、Ds4。

步骤S250：将距离Ds1、Ds2、Ds3、Ds4对应的四个靶点确定为所述四个邻近靶点。从上述计算的众多距离Dw中筛选出四个最小距离Ds1、Ds2、Ds3、Ds4，四个最小距离Ds1、Ds2、Ds3、Ds4对应的靶点认定为与目标最接近，经过初步筛选出与目标最接近的四个邻近靶点，再通过四个邻近靶点进行脑电融合，如此极大降低了脑电融合算法的数据处理量，降低了融合计算过程的高占用和不稳定输出，提高了识别效率和准确率。

在本发明一实施例中，步骤S140采用CCA解码算法进行脑电解码，其将这四个邻近靶点对应的参考频率作为正余弦函数的频率参数。每一个参考频率形成一组由基频及其的不同倍频的正余弦信号组成的信号模板。将刺激段脑电信号与这四组信号模板一一作相关值分析，相关值最大的模板信号的对应频率即为结果频率。由此通过结果频率可以得出AR目标。需要说明的是，本步骤中采用解码算法并不局限于此，其也可以FBCCA解码算法进行脑电解码。

如图3所示，本发明的第二方面提供一种用于AR目标识别的脑电和眼动融合装置300包括采集模块310、预处理模块320、筛选模块330和识别模块340。

采集模块310，用于同步采集在注视AR眼镜时的眼动数据、脑电数据和Trigger信号。

预处理模块320，用于根据所述Trigger信号标明的刺激时间对眼动数据和脑电数据进行去噪预处理。

筛选模块330，用于对预处理后的眼动数据采用距离加权平均算法确定AR眼镜刺激模块的四个邻近靶点；

识别模块340，用于将四个邻近靶点的标签信息作为参考频率输入脑电解码程序，计算出AR目标。

在本发明一实施例中，所述筛选模块330包括分割子模块、坐标计算子模块、距离计算子模块、排序子模块和确定子模块。

分割子模块，用于将预处理后的眼动数据，按照3秒刺激时间先后顺序将眼动数据等距分割成3组眼动子数据，分别计算3组眼动子数据的平均坐标(X₁,Y₁)、(X₂,Y₂)、(X₃,Y₃)

坐标计算子模块，用于对3组眼动子数据的平均坐标按照预定加权比例计算加权平均坐标(X_m,Y_m)；

距离计算子模块，用于计算所述加权平均坐标(X_m,Y_m)与AR眼镜每个刺激模块的中心坐标(X_i,Y_i)之间的距离Dw；

排序子模块，利用Matlab中sort函数对计算出的每个距离Dw按照从小到大排序得出距离Ds1、Ds2、Ds3、Ds4；

确定子模块，用于将距离Ds1、Ds2、Ds3、Ds4对应的四个靶点确定为所述四个邻近靶点。

根据本发明的实施例，该装置300可以实现图1～2实施例描述的融合方法。

由于本发明的示例实施例的脑电和眼动融合装置300的各个模块可以用于实现上述1～图2描述的融合方法的示例实施例的步骤，因此对于本发明装置实施例中未披露的细节，请参照本发明上述的融合方法的实施例。

可以理解的是，采集模块310、预处理模块320、筛选模块330、识别模块340、分割子模块、坐标计算子模块、距离计算子模块、排序子模块和确定子模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本发明的实施例，采集模块310、预处理模块320、筛选模块330、识别模块340中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以以对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式的适当组合来实现。或者，采集模块310、预处理模块320、筛选模块330、识别模块340中的至少一个可以至少被部分地实现为计算机程序模块，当该程序被计算机运行时，可以执行相应模块的功能。

本发明的第三方面提供一种电子设备，包括：一个或多个处理器；以及

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述图1和图2实施例描述的融合方法。

本发明的第四方面提供一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现上述图1和图2实施例描述的融合方法。

根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的模块也可以设置在处理器中。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (8)

1.一种用于AR目标识别的脑电和眼动融合方法，其特征在于，包括以下步骤：

同步采集在注视AR眼镜时的眼动数据、脑电数据和Trigger信号；

根据所述Trigger信号标明的刺激时间对眼动数据和脑电数据进行去噪预处理；

对预处理后的眼动数据采用距离加权平均算法确定AR眼镜刺激模块的四个邻近靶点；

将四个邻近靶点的标签信息作为参考频率输入脑电解码程序，计算出AR目标。

2.如权利要求1所述的脑电和眼动融合方法，其特征在于，对预处理后的眼动数据采用距离加权平均算法确定AR眼镜刺激模块的四个邻近靶点包括：

将预处理后的眼动数据，按照3秒刺激时间先后顺序将眼动数据等距分割成3组眼动子数据，分别计算3组眼动子数据的平均坐标(X₁,Y₁)、(X₂,Y₂)、(X₃,Y₃)；

对3组眼动子数据的平均坐标按照预定加权比例计算加权平均坐标(X_m,Y_m)；

计算所述加权平均坐标(X_m,Y_m)与AR眼镜每个刺激模块的中心坐标(X_i,Y_i)之间的距离Dw；

利用Matlab中sort函数对计算出的每个距离Dw按照从小到大排序得出距离Ds1、Ds2、Ds3、Ds4；

将距离Ds1、Ds2、Ds3、Ds4对应的四个靶点确定为所述四个邻近靶点。

3.如权利要求2所述的脑电和眼动融合方法，其特征在于，第1组眼动子数据平均坐标的权重比例为10％，第2组眼动子数据平均坐标的权重比例为20％，第3组眼动子数据平均坐标的权重比例为70％。

4.如权利要求3所述的脑电和眼动融合方法，其特征在于，对3组眼动子数据的平均坐标按照预定加权比例计算加权平均坐标(X_m,Y_m)的计算公式为：

(X_m,Y_m)＝10％×(X₁,Y₁)+20％×(X₂,Y₂)+70％×(X₃,Y₃)。

5.一种用于AR目标识别的脑电和眼动融合装置，其特征在于，包括：

采集模块，用于同步采集在注视AR眼镜时的眼动数据、脑电数据和Trigger信号；

预处理模块，用于根据所述Trigger信号标明的刺激时间对眼动数据和脑电数据进行去噪预处理；

筛选模块，用于对预处理后的眼动数据采用距离加权平均算法确定AR眼镜刺激模块的四个邻近靶点；

识别模块，用于将四个邻近靶点的标签信息作为参考频率输入脑电解码程序，计算出AR目标。

6.如权利要求5所述的脑电和眼动融合装置，其特征在于，所述筛选模块包括：

分割子模块，用于将预处理后的眼动数据，按照3秒刺激时间先后顺序将眼动数据等距分割成3组眼动子数据，分别计算3组眼动子数据的平均坐标(X₁,Y₁)、(X₂,Y₂)、(X₃,Y₃)

坐标计算子模块，用于对3组眼动子数据的平均坐标按照预定加权比例计算加权平均坐标(X_m,Y_m)；

距离计算子模块，用于计算所述加权平均坐标(X_m,Y_m)与AR眼镜每个刺激模块的中心坐标(X_i,Y_i)之间的距离Dw；

排序子模块，利用Matlab中sort函数对计算出的每个距离Dw按照从小到大排序得出距离Ds1、Ds2、Ds3、Ds4；

确定子模块，用于将距离Ds1、Ds2、Ds3、Ds4对应的四个靶点确定为所述四个邻近靶点。

7.一种电子设备，包括：

一个或多个处理器；以及

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现根据权利要求1～4中任意一项所述的融合方法。

8.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现根据权利要求1～4中任意一项所述的融合方法。

Images