CN101339413B - 基于脑电中人脸识别特异性波的开关控制方法 - Google Patents

Abstract

本发明是一种基于脑电中人脸识别特异性波的开关控制方法，包括以下步骤：图片刺激模块在按一定间隔同时呈现人脸与物体图片，用户如果想打开设备就观察人脸，否则观察物体图片；脑电信号采集模块记录用户头皮的脑电信号，并进行放大及数模转换；信号检测模块检测脑电信号中是否含有人脸图片刺激诱发的特异性波；开关控制模块将检测结果转化二值的控制信号控制开关，若脑电中存在明显的特异性成分则打开设备，否则关闭设备。本发明通过采集和分析脑电中的面孔识别特异性成分，不依赖外周神经和肌肉等正常的信息传输通道，在人脑与外部开关设备之间建立起直接的控制通道，为思维正常但有运动功能障碍的人提供了一种新的对外界环境进行控制的途径。

Description

基于脑电中人脸识别特异性波的开关控制方法

技术领域

本发明涉及一种基于脑电中人脸识别特异性波的开关控制方法，具体是指一种利用人在进行人脸识别任务时，记录下的头皮脑电中的人脸识别特异性成分对外部设备的开关进行控制。属于认知神经科学领域和信息技术领域的结合应用。

背景技术

随着脑科学和信息科学的飞速发展，特别是过去十年中这两个科学领域的交叉和结合，催生了一项新的科学技术——脑机接口技术。脑机接口是不依赖脑的正常输出通道，即外周神经和肌肉的信息传输通道，而通过采集和分析人脑生物电信号，在人脑与计算机或其它电子设备之间建立起直接的交流和控制的通道。通过这种通道，人就不需要通过语言或肢体的动作而可以直接通过人脑来表达想法或操纵设备。

已有实现脑机接口实现人脑与外部设备的控制的主要方法有：利用眼部运动控制的节律波、基于事件相关脑电成分、基于自主控制脑电成分和基于视觉诱发脑电成分的方法等。但客观地评价，现有的各种脑机接口系统都存在明显的缺陷。如基于P300诱发电位(基于P300脑电电位的中文输入BCI系统，发明专利，申请号：200710164418.6，公开号：CN 101201696A)和基于稳态视觉诱发电位(基于脑电稳态诱发响应的控制方法及系统和感官测试方法及系统，发明专利，申请号：00815134.2，公开号：CN 1420745A)的方法各有不足。

1)基于P300诱发电位的方法

P300是事件相关电位的一种，在小概率事件刺激发生后，人脑头皮脑电波中在刺激后300毫秒左右会出现一个较大的正峰值，即P300，这里P为英文正极(Positive)的首字母，300是指小概率事情出现后300毫秒。这种方法实现人脑与外部设备交流或控制的关键将用户的目标转化为小概率事件，并记录不同概率事件刺激所诱发的脑电信号，识别出小概率事情所对应的P300成分，就可以实现某种控制。据此，人们利用P300设计了一种虚拟打字机。图1就是这套系统的工作示意图，其实现方式是一个屏幕上按行或列随机闪烁一个6×6的字符矩阵，当使用者想要输入的字符所在的行或列发生闪烁时，就是小概率事情，就称为相关事件或靶刺激。其它行列闪烁则不会诱发脑电中的P300成分。通过特征提取和判别算法求出引起P300波幅最大的行和列，该行和列交点上的字符即为使用者想要输入的字符。(参见L.A.Farwelland E.Donchin，Talking off the top of your head：Toward a mental prosthesis utilizingevent-related brain potentials.Electroenceph Clin Neurophysiol.1988，70：510-523.)

上述的系统利用的是脑电的瞬态诱发响应，通过检测P300作为判别的依据，由于P300在事件发生后300ms，因此要求两次刺激的时间间隔较长，以保证P300能够产生并得到。但这样使得系统无法很好实现实时控制，且由于作为刺激的字符矩阵的行列间隔有限，靶刺激周边的非靶刺激很容易干扰被试的注意，从而引起误判，即影响该系统的判别准确率。这类系统的应用范围受到很大的限制。

2)基于稳态视觉诱发电位的方法

稳态视觉诱发电位是一种脑电稳态诱发响应，当呈现的视觉刺激频率大于某一值时，观察者的脑电响应就会出现一种特殊的频率成分，其脑电诱发电位呈现出周期性变化的特征，周期性变化的频率与视觉刺激频率一致。清华大学高上凯教授利用稳态视觉诱发电位设计了一种脑机接口系统装置，图2就是这套装置的工作框图。这套系统的主要实现方式是使用者为了实现某种任务，接受系统刺激器中代表多个任务的不同频率的视觉刺激，通过特征提取和判别算法求出诱发脑电的频率，与该诱发脑电频率相同的刺激代表的任务即为使用者想要执行的任务。(参见M Cheng，X Gao，S Gao，D Xu.Design and implementation of abrain-computer interface with high transfer rates.Biomedical Engineering.2002，10：1181-1186.)

上述的系统利用的是脑电稳态诱发响应，通过检测诱发脑电的频率作为判别的依据。由于稳态视觉诱发电位需要的得到处于某一频率下的刺激，且要求使用者进行一定的训练，因此，该系统的实用性收到一定的影响，此外，由于稳态视觉诱发电位的诱发需要一定的时间，这样使用时很容易收到环境亮度的影响，长时间使用会造成视觉疲劳，影响系统的判别准确率。

总之，脑电信号是一种非常微弱的电生理信号，因此，要想借助脑电信号实现某种控制是非常困难的，特别是要在控制中达到较高的正确率，并保证有实时控制的效果，这就更加不容易。上述系统在判断的正确率与实时的效果方面都存在或大或小的问题，用上述方法的判断正确率虽优于随机猜测的正确率，但离实际应用都有相当远的距离。

发明内容

本发明的目的在于提供一种基于脑电中人脸识别特异性波的开关控制方法，这种人脸识别特异波是有脑认知过程的反映，它出现的时间和波形特征比较稳定，因此，这种方法不仅能达到很高的判断正确率，保证在使用中的实时性，而且提供了一种基于全新脑电认知成分的控制方法。

本发明基于人脸识别特异性波，这里所说的脑电特异性成分就是N170认知成分。认知神经科学及电生理的大量研究发现，当给人以人脸图片的刺激时，只要人的认知系统是无损的，就可以在人的枕部头皮上记录到特征明显的特异性脑电成分。这个成分出现在人看到人脸后(刺激)170毫秒左右，表现为一个波幅较大的负峰值，且其峰值明显大于物体图片刺激，这个子波成分称为脑电中的N170成分，N表示负波(Negtive)，170表示这个负波的峰值出现在刺激后170毫秒附近。图3显示了人在注视人脸图片与物体图片时脑电信号中的差异，图中显示在人脸刺激下的脑电波形，其中在170毫称附近，有个明显的负峰值出现，而在其它物体刺激下的脑电波形中负峰值小很多。

本发明的工作过程在图4中描述，其特征在于包括：

(1)图片刺激模块诱发脑电信号中的特异性成分N170。图片刺激模块的作用是在屏幕上按一定间隔不停呈现人脸与物体图片，屏幕上每次同时呈现人脸与特体两张图片，两张图片分别呈现于屏幕的两侧，人可以根据需要选择看其中的一张。如果选择用户选择看人脸，将会诱发脑电中明显的N170特异成分，否则脑电中N170成分不出现或不明显。图5显示了图片刺激模块的工作过程。

(2)头皮脑电信号采集模块采集人在注视人脸或物体图片时的头皮脑电信号。其中包含有置于人体头皮的电极，记录大脑在图片刺激后产生的脑电信号。图6显示了头皮电极的分布示意图。但脑电数据是一种非常微弱有生理信号，因此需要对其进行放大。为了便于后续的数据处理，需要进行模数转换，将采集的模拟信号转化为数字信号，并进行存储或传送给下一模块。

(3)人脸识别特异性波N170检测模块判断头皮脑电中是否存在特异性波。由于脑电是一种非常微弱有生理信号，其中混有眼动、心电等其它生理信号，信噪比非常低。通常来说直接从信号采集模块采集下来的脑电信号中检测人脸识别特异性波N170是否存在非常困难。N170的检测需要分析对数据进行预处理，并结合多通道脑电数据在时间、空间和频率上的分布特征对采集得到的脑电信号进行处理，从中提取与人脸图片刺激相对应的特异性脑电成分N170。图7描述了N170检测流程图。

(4)开关控制模块将N170的检测结果转化为开关信号。N170检测器向外部的开关控制装置发送人脸识别特异性波N170的检测结果。检测结果用“0”和“1”的二值逻辑结果表示。“0”表示脑电中没有检测到N170成分，“1”表示脑电中检测到明显的N170成分。根据N170检测器送来的二值检测结果，打开或关闭设备，实现开关控制功能。图8显示了开关控制模块的工作流程。

本发明的优势在于它提供了一种基于人脸识别特异性波的开关控制方法，由于这种波的特征比较稳定，因此识别效果高，能够实现高可用性的脑-机接口。本发明的潜在应用是为思维正常但有运动功能障碍的人提供一种新对外界环境进行交流与控制的途径，而不需要任何四肢及肌肉的配合与参与。例如，他们可以通过这种方法设计脑-机接口来控制电灯，音乐播放器或计算机等。这种方法还可以为在特殊环境下工作的人提供附加的控制设备的方法，如四肢都有任务的飞行员等。此外，这种方法可用于虚拟现实技术中，利用思维来控制虚拟环境下的设备等。

附图说明

图1：基于P300诱发电位的脑机接口系统构成示意图

图2：基于稳态视觉诱发电位的脑机接口系 统构成示意图

图3：人脸识别特异波N170成分特征图

图4：本发明的工作过程示意图

图5：图片刺激模块工作示意图

图6：脑电电极位置示意图

图7：N170成分检测模块的程序框图

图8：开关控制模块的流程图

具体实施方式

本发明的实现主要由图4所示的四个模块组成：

(1)图片刺激模块

图片刺激器的作用是  配合用户根据需要，诱发所需要的脑电信号成v    分。具体来说，如果用户要打开设备，用户选择c看人脸，将会诱发脑电中明显的N170特异成分，否则，用户选择看其中的物体图片，脑电中N170成分不出现或不明显。

系统中的图片刺激器工作过程如图5所示，以500毫秒为间隔。屏幕上黑屏显示500毫秒，然后呈现人脸和物体图片，图片呈现500毫秒。然后又是500毫秒的黑屏，随后，呈现人脸和物体图片500毫秒。如此反复。

这里所有的人脸图片和物体图片大小、灰度等物理特性均相同。人脸图片和物体图片分别存储在两个图片库中。每次呈现图片时，计算机随机从人脸与物体图片库中各随机挑选一幅图片，并将两张挑出来的图片分别显示在屏幕两侧。其中人脸图片库中部分图片为倒置的人脸图片。

(2)头皮脑电信号采集模块

头皮脑电信号采集模块的作用是在特定的头皮电极位置，将观察不同图片刺激下的用户脑电信号记录下来，并将微弱的脑电信号放大，其进行模数转换，最终输入到计算机或其他信号处理装置。

信号采集模块中，首先通过贴在头皮上的多个导体(常称之为多导电极)，检测出头皮表面的电位，电极在图片的分布如图6所示。由于N170成分在大脑枕叶部电极最为明显，在系统实现中，采集电极位置P7、P8、PO3、PO4、PO7、PO8、O1、O2、Oz的脑电信号作为脑电放大器的输入信号。然后，将微弱的脑电信号通过脑电放大器进行放大，然后进行数模转换。具体技术参数要求：电极与使用者头皮之间的接触电阻控制在10κΩ以下为宜，放大器增益要求达到3000倍以上，带宽为50赫兹以上，模数转换的数字化采样率一般设为250赫兹左右。

最后，将放大和模数转换的数字化脑电信号通过光纤传送给人脸识别特异性波N170检测模块。这里选用光纤的目的是为了实现光电隔离。

(3)人脸识别特异性波N170检测模块

这个模块的功能是检测脑电波形中是否存在人脸识别特异性成分N170，由此来判断用户的主观意图。人脸识别特异性波N170检测模块的主要包括三个信号处理步骤：脑电信号预处理、脑电信号特征提取与分类，N170的检测流程如图7所示。

检测模块分析的脑电信号是图片刺激前100ms到图片刺激出现后300ms之间的共400ms脑电信号。脑电信号预处理主要是克服头皮采集的脑电信号信噪比很低的问题，脑电信号非常微弱，通常在提取过程中会引入干扰，因此在进行分析前必须对其进行降噪声等预处理。基线校正的处理方法是将每个图片刺激诱发的脑电信号减去该图片刺激出现前100毫秒到图片出现后200毫秒内采集到的脑电信号均值。数字滤波采用FIR数字滤波器，滤波器为低通滤波，一般为50Hz。采用数字滤波技术，去除的噪声主要是50赫兹的工频干扰。

脑电信号特征提取采用共空域滤波(CSP，Common Spatial Pattern)算法，将脑电数据进行变换，使得不同类别的脑电数据存在明显的差异，相当于寻找更加稳定的脑电成分，便于更好地判断脑电中是否包含有N170成分。其主要计算公式是：

x’＝W·x

上式中的x是数字化的脑电信号，x’就是经过共空域滤波处理之后的脑电信号，W是共空域滤波器的参数，它由计算得到(参见H.Ramoser，J.Müller-Gerking，and G.Pfurtscheller，“Optimal spatial filltering of single trial EEG during imagined hand movement，”IEEETrans.Rehab.Eng.，vol.8，no.4，pp.441--446，2000)。

脑电信号分类采用支持向量机(SVM，Support Vector Machine)算法，SVM算法处理之后的输出结果表征值为1和0，作为控制器的输入信号。其主要计算公式是：

$y=\left\{\begin{array}{c}1,\mathrm{\&omega;}{x}^{\&prime;}+b>0\\ 0,{\mathrm{\&omega;x}}^{\&prime;}+b<0\end{array}\right.$

上式中x’的是经过共空域滤波后的脑电信号；y是分类的输出结果，w和b为支持向量机算法的参数，它们由计算得到(参见Francisco Pereira，Geoffrey Gordon.“The support vectordecomposition machine”，Proceedings of the 23rd International Conference on MachineLearning，ACM International Conference Proceeding Series；Vol.148，PP：689-696，2006)。

(4)开关控制模块

这个模块是本发明的应用模块，本发明的一个典型应用是直接建立人脑与外部设备交流与控制的接口，为残疾人提供对周围环境的控制，例如，开/关灯、开/关电视、开/关音频播放器等。

N170检测器向外部控制装置发送人脸识别特异性波N170的检测结果。检测结果用“0”和“1”表示。“0”表示脑电中没有检测到N170成分，“1”表示脑电中检测到明显的N170成分。这里的“0”和“1”能反映用户的主观意图。因为我们约定用户如果想打开设备，就看人脸图片，反之观察物体图片。所以，如果N170检测结果输出“0”，说明当前脑电中没有N170成分，也就是说用户当前看的是物体图片，而不是人脸图片，其意图是关闭设备；而如果N170检测结果输出“1”，表明当前脑电中含有N170成分，也就是说用户当前看的是人脸图片，其意图是打开设备。我们能得知被试的意图，于是也知道他想完成的控制。只要把这一信息传给环境控制器，接通相应的电路，就可以实现对周围电器的开关控制。

图8为开关控制模块的实现框图，开关控制模块根据N170检测器送来的检测结果，打开或关闭设备，实现开关控制功能。当检测结果为“1”的时候，打开设备，否则关闭设备。为了防止外部设备的控制出现混乱，要求用户注意图片刺激器3s以上，此时，N170检测器中检测出3个或3个以上连续的N170信号时，发出开启或关闭控制指令。

Claims (2)

1.一种基于脑电中人脸识别特异性波的开关控制方法，方法的特征在于，包括：(1)图片刺激模块以一定的时间间隔，随机选择图片库中的人脸图片，并在计算机屏幕上以一定方式显示出来；(2)头皮脑电信号采集模块利用置于人体头皮的电极，记录大脑在图片刺激后产生的脑电信号，并对其进行放大、模数转换，以数字形式存储或传递给下一模块；(3)人脸识别特异性波N170检测模块对采集得到的脑电信号进行处理，从中提取与人脸图片刺激相对应的特异性脑电成分N170；(4)开关控制模块将N170的检测结果转化为开关信号，控制外部设备的开启与关闭。

所述的图片刺激模块特征包括：图片刺激呈现模块，每隔500毫秒，随机同时呈现图片库中的人脸与物体图片，每次图片呈现时间为500毫秒。

所述的人脸识别特异性波N170检测模块特征在于，包括：脑电信号预处理模块，对脑电信号进行基线校准、滤波等预处理；脑电信号特征提取模块，采用共空域滤波进行特征提取；脑电信号分类，采用支持向量机，检测出N170特异性波。

所述的开关控制模块特征在于，包括：将N170成分的检测结果转化为外部设备的开关命令的转换与控制模块；根据N170成分的有无来实现开启/关闭外部设备。

2.如权利要求1所述的基于脑电中人脸识别特异性波的开关控制方法，其头皮脑电信号采集模块特征在于，包括：头皮电极，安装在N170成分最为明显的头皮的枕叶左右两侧；脑电放大器，脑电信号在采集电极端即有一次放大，随后经过一次放大的脑电信号通过导线传输，在脑电放大器中进行二次放大。

Images