CN111541848A - 基于便携式脑电采集设备的脑控智能自动拍照系统及应用 - Google Patents

Abstract

一种基于便携式脑电采集设备的脑控智能自动拍照系统及应用,包括依次连接的便携式脑电采集设备、人脑意图识别模块和自动拍照系统，所述的便携式脑电采集设备从被试者大脑采集脑电信号，脑意图识别模块对脑电信号进行分析，确定使用者拍照意图，自动拍照系统根据使用者拍照意图自动执行拍照任务。本发明可以对数据进行实时采集和处理，无需任何前期准备工作，实时性较强。能够实现对EEG脑电信号的准确获取和有效辨识，从而实现通过人脑控制的自动拍照功能。本发明通过自动采集并分析脑电信号，实现由脑电控制的自动拍照，方便手部残疾患者或在一些特殊环境下的设备使用者顺利完成拍照需求。

Description

基于便携式脑电采集设备的脑控智能自动拍照系统及应用

技术领域

本发明涉及一种拍照系统。特别是涉及一种基于便携式脑电采集设备的脑控智能自动拍照系统及应用。

背景技术

根据全国残疾人抽样调查数据，我国肢体残疾人数超过了2000万，这些残疾人往往无法如正常人一样进行手部动作，在一些需要使用相机进行拍照的场合时，无法顺利的完成任务。而一些正常人在执行特殊任务，如井下探测，无人机远程控制时，也会因环境因素的限制而无法完成手部的拍照控制。随着脑机接口设备的发展，一些不需使用者进行主动控制而通过对使用者的脑电信号进行分析来识别使用者意图从而自动执行任务的设备获得了广泛应用，这类应用对实现相机的自动拍照功能也有很大的帮助。脑电图(EEG)记录大脑皮层的活动，是大脑皮层脑神经细胞活动的总体反映，其中包含了大量的生理和病理信息，体现了人脑的活动状态和思维情况。脑电信号检测技术可以使设备实时检测使用者的拍照意图，从而实现自动拍照功能。

便携式脑电采集系统相比于医疗机构的传统脑电采集仪器，在保证采集精度，采集速度满足要求的条件下，具有极小的体积与质量，工作条件要求低，大幅提高了易携性，在脑机接口设备中获得了广泛的应用。尤其是在患者不能长期住院的条件下，便携式脑电采集系统可以为患者提供进行居家脑电监控的条件，为一些需要持续监视脑电变化的病症提供了便利。便携式脑电采集系统的核心芯片一般包括控制芯片和A/D转换芯片。FPGA(Field Programmable Gate Array)，即现场可编程门阵列，是控制芯片的一种，它是在PAL、GAL、CPLD等可编程器件的基础上进一步发展的产物。相比于其他片上SOC系统，FPGA以逻辑单元阵列LCA为核心，具有优越的并行处理能力，打破了顺序执行的模式，能在每个时钟周期内完成更多的处理任务。因此，FPGA满足脑电信号采集系统高精度、高稳定性、高运算能力的要求，片上硬件资源也足以实现脑电信号实时采集所需要的功能。

脑电信号数据具有数量大，特征多，变化快的特点，在完成数据采集后如果进行人为分析往往会浪费掉大量时间，并且会遗漏掉某些重要信息。近年来，复杂网络作为一种前沿的数据融合、分析理论获得了越来越多研究人员的青睐。复杂网络为复杂系统的研究提供了新的视角。脑网络作为复杂网络研究的主要分支，也受到了很多研究者的关注。在基于EEG脑电信号的脑网络中，脑电极被设定为节点，节点之间的连边通过各种各样的相关性测度确定。通过对脑网络的研究可以深化对脑电信号特征的理解。

发明内容

本发明所要解决的技术问题是，提供一种能够实现自动进行脑电信号采集，利用识别算法确认使用者拍照意图的基于便携式脑电采集设备的脑控智能自动拍照系统及应用。

本发明所采用的技术方案是：一种基于便携式脑电采集设备的脑控智能自动拍照系统，包括依次连接的便携式脑电采集设备、人脑意图识别模块和自动拍照系统，所述的便携式脑电采集设备从被试者大脑采集脑电信号，脑意图识别模块对脑电信号进行分析，确定使用者拍照意图，自动拍照系统根据使用者拍照意图自动执行拍照任务。

一种权利要求1所述的基于便携式脑电采集设备的脑控智能自动拍照系统的应用，包括如下步骤：

1)利用便携式脑电采集设备对使用者的脑电信号进行实时采集；

2)人脑意图识别模块对数据进行处理，并通过时间窗有限穿越可视图建网分析方法判断咬牙动作以识别使用者的拍照意图，并将拍照命令发送至自动拍照系统；

3)自动拍照系统根据人脑意图识别模块的命令开启相机，自动进入拍摄模式进行实时环境拍摄。

本发明的基于便携式脑电采集设备的脑控智能自动拍照系统及应用，可以对数据进行实时采集和处理，无需任何前期准备工作，实时性较强。能够实现对EEG脑电信号的准确获取和有效辨识，从而实现通过人脑控制的自动拍照功能。本发明通过自动采集并分析脑电信号，实现由脑电控制的自动拍照，方便手部残疾患者或在一些特殊环境下的设备使用者顺利完成拍照需求。

附图说明

图1是本发明基于便携式脑电采集设备的脑控智能自动拍照系统

图2是本发明中便携式脑电采集设备的构成框图；

图3是本发明中时间窗有限穿越可视图；

图4是本发明中时间窗有限穿越可视图网络示意图；

图5是本发明中自动拍照系统的构成框图；

图6是本发明中构建时间窗有限穿越可视图网络的流程图；

图7是本发明的应用示意图。

具体实施方式

下面结合实施例和附图对本发明的基于便携式脑电采集设备的脑控智能自动拍照系统及应用做出详细说明。

如图1所示，本发明的基于便携式脑电采集设备的脑控智能自动拍照系统，包括依次连接的便携式脑电采集设备1、人脑意图识别模块2和3，所述的便携式脑电采集设备1从被试者大脑采集脑电信号，脑意图识别模块2对脑电信号进行分析，确定使用者拍照意图，自动拍照系统3根据使用者拍照意图自动执行拍照任务。

如图2所示，所述的便携式脑电采集设备1包括有依次连接的用于采集脑电信号的脑电极帽及其转接线11、用于脑电信号放大和转换的生物电信号采集模块12、用于控制生物电信号采集模块12的FPGA处理器13和用于传输EEG脑电信号的WIFI无线数据传输电路14，以及分别连接生物电信号采集模块12和FPGA处理器13的电源电路15；其中，

所述的脑电极帽及其转接线11中的脑电极帽采集不同脑区的脑电信号，脑电极帽的电极分布符合10/20国际标准导联，脑电极帽通过转接线及DSUB37接口与生物电信号采集模块12相连接，用于生物电信号的采集和传输；

所述的生物电信号采集模块12包含有由数片集成了用于接收脑电帽采集的脑电压信号的高共模抑制比模拟输入模块、用于进行脑电压信号放大的低噪声可编程增益放大器和用于将模拟信号转换为数字信号的高分辨率同步采样模数转换器；

所述FPGA处理器13用于调整生物电信号采集模块2的采集模式与参数以及控制WIFI无线数据传输电路14输出脑电信号数据；

所述的WIFI无线数据传输电路14工作在Soft AP模式，最高传输速率54Mbps，负责将拍照命令发送至自动拍照系统3；

所述电源电路15的输入电压为5V，由锂电池进行供电，通过电压转换模块提供系统不同芯片的工作电压。

所述的人脑意图识别模块2通过便携式脑电采集设备1采集使用者EEG脑电信号，而后结合时间窗有限穿越可视图建网分析方法，智能判断使用者的拍照意图，并将拍照命令发送至自动拍照系统3。

本发明所述人脑意图识别模块2的运行具体包括如下步骤：

1)通过便携式脑电采集设备1实时获取使用者大脑皮层处对应于脑电极帽A1,T5,O1,FP1,FCz,Oz,C4,P4,P3,C3,Fz,Cz,Pz,FP2,O2,T6共十六极的EEG脑电信号，并对EEG脑电信号进行预处理；

所述的对EEG脑电信号进行预处理，是对每位被试者的长度为L的EEG脑电信号时间序列{x(i),i＝1,2,3...L}，将该时间序列分割为M个不重叠的等长时间窗口序列，

y^m＝[x((m-1)N+j),m＝1,2,.....,M,j＝1,2,......N]

M表示窗口数，m表示时间窗序列号，y^m表示对应的时移窗口序列，N表示窗口长度。

便携式脑电采集设备对多个脑电通道进行采集，有着更强的泛用性；在对使用者的脑电信号进行提前研究的情况下，便携式脑电采集设备可以减少电极的使用量，以提升便携性和舒适度。

2)构建时间窗有限穿越可视图网络；如图3所示，包括：

(2.1)如图3所示，对于每个时间窗节点t_a，用直方图表示该节点对应的脑电压幅值，以构建时间序列的有限穿越可视图；

(2.2)在有限穿越可视图中，两个直方图节点只有在与它们对应的直方条之间的连线不与任何中间直方图节点相交时才存在连边，建立以下可见性标准：如果两个直方图节点(t_a,E_a)和(t_b,E_b)之前存在连边，则任何一个中间直方图节点(t_c,E_c)均满足：

(2.3)基于可视图理论，定义有限穿越视距L，如果与两个直方图节点对应的直方条之间的连线，与中间直方图节点对应的直方条相交的个数不大于L，则认定这两个直方图节点之间存在连边，将每个直方图节点视为网络节点，直方图节点间的连边视为网络连边，可组成时间窗有限穿越可视图网络。

图3的有限穿越可视图网络可以表示为如图4所示：其中，实线所示为初始构建的可视图连边，虚线所示为当设定有限视距时L为1时新建的连边。

3)提取时间窗有限穿越可视图网络的网络指标数据，通过网络指标数据确定使用者当前拍照意图，所述的使用者当前拍照意图，由使用者进行咬牙动作导致的脑电信号变化进行判断。具体包括：

采用节点平均聚集系数

聚集系数熵E_C和节点度值偏差k_std分析时间窗有限穿越可视图网络拓扑结构；其中，

(3.1)节点的聚合系数

反映了局部的连通性或者对于给定节点的邻居的社团性，节点的聚合系数计算公式如下：

其中，E_i包含有节点i的闭合三角形的总数目，N表示网络的节点数，k_i表示节点i的度值，C_i表示节点i的聚集系数；

(3.2)聚集系数熵E_C是一种基于复杂网络局部指标的新型熵，与动力系统有关，表征信息生产的速率，计算公式如下：

其中，P_C,i表示节点i的聚集系数在总聚集系数中的权重度

(3.3)节点度值偏差k_std体现的是某节点度值相比于其他节点度值的偏差性，计算公式如下：

其中，

表示节点平均度值；

由于使用者咬牙期间的脑电信号相比于正常状态下有大幅增强，因此在时间窗有限穿越可视图网络中节点的网络指标：平均聚集系数

聚集系数熵E_C和节点度值偏差k_std的值皆强于其他节点的网络指标值，从而，通过网络指标值的突发变化来判断咬牙动作的发生。

所述的生理状态分析模块，由程序包进行封装，在移动电脑端和固定电脑端都可以运行。

本发明所述的自动拍照系统3，如图5所示，包括有依次连接的：连接在所述人脑意图识别模块2输出端的数据接收模块31，用于识别接收命令的FPGA处理器32，在所述FPGA处理器32的控制下进行拍照的相机模组33。

如图7所示，本发明的基于便携式脑电采集设备的脑控智能自动拍照系统的应用，包括如下步骤：

1)利用便携式脑电采集设备对使用者的脑电信号进行实时采集；

2)人脑意图识别模块对数据进行处理，并通过时间窗有限穿越可视图建网分析方法判断咬牙动作以识别使用者的拍照意图，并将拍照命令发送至自动拍照系统；

3)自动拍照系统根据人脑意图识别模块的命令开启相机，自动进入拍摄模式进行实时环境拍摄。

Claims (10)

1.一种基于便携式脑电采集设备的脑控智能自动拍照系统，包括依次连接的便携式脑电采集设备(1)、人脑意图识别模块(2)和自动拍照系统(3)，其特征在于，所述的便携式脑电采集设备(1)从被试者大脑采集脑电信号，脑意图识别模块(2)对脑电信号进行分析，确定使用者拍照意图，自动拍照系统(3)根据使用者拍照意图自动执行拍照任务。

2.根据权利要求1所述的基于便携式脑电采集设备的脑控智能自动拍照系统，其特征在于，所述的便携式脑电采集设备(1)包括有依次连接的用于采集脑电信号的脑电极帽及其转接线(11)、用于脑电信号放大和转换的生物电信号采集模块(12)、用于控制生物电信号采集模块(12)的FPGA处理器(13)和用于传输EEG脑电信号的WIFI无线数据传输电路(14)，以及分别连接生物电信号采集模块(12)和FPGA处理器(13)的电源电路(15)；其中，

所述的脑电极帽及其转接线(11)中的脑电极帽采集不同脑区的脑电信号，脑电极帽的电极分布符合10/20国际标准导联，脑电极帽通过转接线及DSUB37接口与生物电信号采集模块(12)相连接，用于生物电信号的采集和传输；

所述的生物电信号采集模块(12)包含有由数片集成了用于接收脑电帽采集的脑电压信号的高共模抑制比模拟输入模块、用于进行脑电压信号放大的低噪声可编程增益放大器和用于将模拟信号转换为数字信号的高分辨率同步采样模数转换器；

所述FPGA处理器(13)用于调整生物电信号采集模块(2)的采集模式与参数以及控制WIFI无线数据传输电路(14)输出脑电信号数据；

所述的WIFI无线数据传输电路(14)工作在Soft AP模式，最高传输速率54Mbps，负责将拍照命令发送至自动拍照系统(3)；

所述电源电路(15)的输入电压为5V，由锂电池进行供电，通过电压转换模块提供系统不同芯片的工作电压。

3.根据权利要求1所述的基于便携式脑电采集设备的脑控智能自动拍照系统，其特征在于，所述的人脑意图识别模块(2)通过便携式脑电采集设备(1)采集使用者EEG脑电信号，而后结合时间窗有限穿越可视图建网分析方法，智能判断使用者的拍照意图，并将拍照命令发送至自动拍照系统(3)。

4.根据权利要求3所述的基于便携式脑电采集设备的脑控智能自动拍照系统，其特征在于，所述人脑意图识别模块(2)的运行具体包括如下步骤：

1)通过便携式脑电采集设备(1)实时获取使用者大脑皮层处对应于脑电极帽A1,T5,O1,FP1,FCz,Oz,C4,P4,P3,C3,Fz,Cz,Pz,FP2,O2,T6共十六极的EEG脑电信号，并对EEG脑电信号进行预处理；

2)构建时间窗有限穿越可视图网络；

3)提取时间窗有限穿越可视图网络的网络指标数据，通过网络指标数据确定使用者当前拍照意图。

5.根据权利要求4所述的基于便携式脑电采集设备的脑控智能自动拍照系统，其特征在于，步骤1)所述的对EEG脑电信号进行预处理，是对每位被试者的长度为L的EEG脑电信号时间序列{x(i),i＝1,2,3…L}，将该时间序列分割为M个不重叠的等长时间窗口序列，

y^m＝[x((m-1)N+j),m＝1,2,…..,M,j＝1,2,……N]

M表示窗口数，m表示时间窗序列号，y^m表示对应的时移窗口序列，N表示窗口长度。

6.根据权利要求4所述的基于便携式脑电采集设备的脑控智能自动拍照系统，其特征在于，步骤2)包括：

(2.1)对于每个时间窗节点t_a，用直方图表示该节点对应的脑电压幅值，以构建时间序列的有限穿越可视图；

(2.2)在有限穿越可视图中，两个直方图节点只有在与它们对应的直方条之间的连线不与任何中间直方图节点相交时才存在连边，建立以下可见性标准：如果直方图两个节点(t_a,E_a)和(t_b,E_b)之前存在连边，则任何一个中间直方图节点(t_c,E_c)均满足：

(2.3)基于可视图理论，定义有限穿越视距L，如果与两个直方图节点对应的直方条之间的连线，与中间直方图节点对应的直方条相交的个数不大于L，则认定这两个直方图节点之间存在连边，将每个直方图节点视为网络节点，直方图节点间的连边视为网络连边，可组成时间窗有限穿越可视图网络。

7.根据权利要求4所述的基于便携式脑电采集设备的脑控智能自动拍照系统，其特征在于，步骤3)所述的使用者当前拍照意图，由使用者进行咬牙动作导致的脑电信号变化进行判断。

8.根据权利要求4所述的基于便携式脑电采集设备的脑控智能自动拍照系统，其特征在于，步骤3)包括：

采用节点平均聚集系数

聚集系数熵E_C和节点度值偏差k_std分析时间窗有限穿越可视图网络拓扑结构；其中，

(3.1)节点的聚合系数

反映了局部的连通性或者对于给定节点的邻居的社团性，节点的聚合系数计算公式如下：

其中，E_i包含有节点i的闭合三角形的总数目，N表示网络的节点数，k_i表示节点i的度值，C_i表示节点i的聚集系数；

(3.2)聚集系数熵E_C是一种基于复杂网络局部指标的新型熵，与动力系统有关，表征信息生产的速率，计算公式如下：

其中，P_C,i表示节点i的聚集系数在总聚集系数中的权重度

(3.3)节点度值偏差k_std体现的是某节点度值相比于其他节点度值的偏差性，计算公式如下：

其中，

表示节点平均度值；

由于使用者咬牙期间的脑电信号相比于正常状态下有大幅增强，因此在时间窗有限穿越可视图网络中节点的网络指标：平均聚集系数

聚集系数熵E_C和节点度值偏差k_std的值皆强于其他节点的网络指标值，从而，通过网络指标值的突发变化来判断咬牙动作的发生。

9.根据权利要求1所述的基于便携式脑电采集设备的脑控智能自动拍照系统，其特征在于，所述的自动拍照系统(3)包括有依次连接的：连接在所述人脑意图识别模块(2)输出端的数据接收模块(31)，用于识别接收命令的FPGA处理器(32)，在所述FPGA处理器(32)的控制下进行拍照的相机模组(33)。

10.一种权利要求1所述的基于便携式脑电采集设备的脑控智能自动拍照系统的应用，其特征在于，包括如下步骤：

1)利用便携式脑电采集设备对使用者的脑电信号进行实时采集；

2)人脑意图识别模块对数据进行处理，并通过时间窗有限穿越可视图建网分析方法判断咬牙动作以识别使用者的拍照意图，并将拍照命令发送至自动拍照系统；

3)自动拍照系统根据人脑意图识别模块的命令开启相机，自动进入拍摄模式进行实时环境拍摄。

Images