CN101339455A - 基于人脸识别特异性波n170成分的脑机接口系统 - Google Patents

Abstract

本发明涉及一种基于人脸识别特异性波N170成分的脑机接口系统，实现人脸图片与物体图片的分类功能，包括图片刺激器，头皮脑电信号采集器、人脸识别特异性波N170检测器和图片分类器器。图片视觉刺激器将待分类的图片以视觉刺激的方式呈现给用户，同时记录下用户的脑电信号，并经放大、模数转换后，经过人脸识别特异性波N170检测器的处理分析，检测出所采集的脑电信号中是否含有人脸图片刺激相关的特异性波N170成分，并由此将脑电信号转换为图片分类控制命令，将人脸图片与物体图片标识出来。本发明的优点是采用了人脸图片刺激认知过程中的N170特异性脑电成分，并在脑电信号分析器中应用了有效的在线特征提取和分类算法，使得系统有高判别率。本发明的用途是为思维正常但有运动功能障碍的人提供了一种新的对外界环境进行交流和控制的途径。

Description

基于人脸识别特异性波N170成分的脑机接口系统

技术领域

本发明涉及一种基于人脸识别特异性波N170成分的脑机接口系统，具体是指一种利用人脑头皮脑电中的人脸识别特异性成分N170实现图片分类的脑机接口系统装置。通过这套系统，可以将人脸图片与物体图片分到不同类别中，整个过程中不需要对待分类的图片进行复杂的图像处理，也不需要肢体和语言的动作。属于认知神经科学领域和信号处理技术领域的结合应用，为自动控制技术领域。

背景技术

形成于20世纪70年代的脑机接口技术，是一项新的人机接口技术，其主要目标是从大脑皮层向外部世界发出命令，而不需要使用任何肢体动作或语言，实现大脑直接控制机械设备就如同是对自己身体某部分的控制。其基本原理是人脑会在特定时间内、特定任务下，特定位置上产生强烈的化学和电活动，这些发生在人脑中的活动可以部分地表示为特定的模式，在适当的实验条件下，经过一定程度的重复，这些模式可观测；使用计算机识别这些信号(如头皮脑电)中隐藏的模式和任务，并转换成相应的计算机输出命令。

脑机接口系统中最重要的环节是利用脑电中的哪种特征在人脑与计算机之间传递控制命令。目前常用的脑机接口系统有基于P300等事件相关脑电成分的系统(基于P300脑电电位的中文输入BCI系统，发明专利，申请号：200710164418.6，公开号：CN 101201696A)，基于视觉诱发脑电成分的系统(基于脑电稳态诱发响应的控制方法及系统和感官测试方法及系统，发明专利，申请号：00815134.2，公开号：CN 1420745A)等。

1)基于P300诱发电位的脑机接口系统

P300是事件相关电位的一种，当用户所期望的小概率事件发生后，人脑头皮脑电波中在刺激后300毫秒左右会出现一个较大的正的峰值，即P300，其中P表示正波。基于P300就可以实现很多的脑机接口系统。这类系统中只需要将各种任务以不同的概率呈现给用户，并记录不同概率出现的刺激所诱发的脑电信号，加以识别，就可以实现某种控制。其中最为经典的基于P300的脑机接口系统是Farwell和Donchin设计的图1所示的虚拟打字机。这套系统的实现方式是一个屏幕上按行或列随机闪烁一个6×6的字符矩阵，当使用者想要输入的字符所在的行或列发生闪烁时，就是小概率事情，就称为相关事件或靶刺激。其它行列闪烁则不会诱发脑电中的P300成分。通过特征提取和判别算法求出引起P300波幅最大的行和列，该行和列交点上的字符即为使用者想要输入的字符。(参见L.A.Farwell and E.Donchin，Talking offthe top of your head：Toward a mental prosthesis utilizing event-related brainpotentials.Electroenceph Clin Neurophysiol.1988，70：510-523.)

上述的系统通过检测P300作为判别的依据，由于P300在事件发生后300毫秒，因此要求两次刺激的时间间隔较长，以保证P300能够产生并得到。这类系统的缺点是诱发P300的行和列容易受到周过行和列的干扰，从而引起误判，即影响该系统的判别准确率。这类系统的应用范围受到很大的限制。

2)基于稳态视觉诱发电位的脑机接口系统

稳态视觉诱发电位是一种脑电稳态诱发响应，当呈现的视觉刺激频率大于某一值时，被试的脑电响应就会前后混迭，使其脑电诱发电位呈现出周期性变化的特征，周期性变化的频率与视觉刺激频率一致。例如当视觉刺激频率大于每秒6次，则被试的视觉诱发电位中即出现相应频率的周期性变化。高上凯教授利用稳态视觉诱发电位设计了图2所示的脑机接口系统装置。这套系统的主要实现方式是使用者为了实现某种任务，接受系统刺激器中代表该任务的图片的刺激，该刺激图片处于某一频率值闪烁，通过特征提取和判别算法求出诱发脑电的频率，与该诱发脑电频率相同的刺激代表的任务即为使用者想要执行的任务。(参见M Cheng，XGao，S Gao，D Xu.Design and implementation of a brain-computer interface with hightransfer rates.Biomedical Engineering.2002，10：1181-1186.)

上述的系统利用的是脑电稳态诱发响应，通过检测诱发脑电的频率作为判别的依据。由于稳态视觉诱发电位需要的得到处于某一频率下的刺激，且要求使用者进行一定的训练，因此，该系统的实用性收到一定的影响，此外，由于稳态视觉诱发电位的诱发需要一定的时间，这样使用时很容易收到环境亮度的影响，长时间使用会造成视觉疲劳，影响系统的判别准确率。

但客观地评价，现有的各种脑机接口系统都存在明显的缺陷。脑电信号是一种非常微弱的电生理信号，因此，要想借助脑电信号实现某种控制是非常困难的，特别是要在控制中达到较高的正确率，并保证有实时控制的效果，这就更加不容易。上述系统在判断的正确率与实时的效果方面都存在或大或小的问题，用上述方法的判断正确率虽优于随机猜测的正确率，但离实际应用都有相当远的距离。

发明内容

本发明的目的在于提供一种基于人脸识别特异性波N170成分的脑机接口系统。它不仅能达到很高的判断正确率，而且能保证在使用中的实时性。这套系统能够实现图片分类的功能，与其它的图片分类系统不同的是，这套系统并不需要对图片进行复杂的图像处理、而只需要以很快速度将图片呈现给用户，用户也并不需要利用语言或肢体动作来操作图片的分类过程。

本发明基于人脸识别特异性波，这里所说的脑电特异性成分就是N170认知成分。认知神经科学及电生理的大量研究发现，当给人以人脸图片的刺激时，只要人的认知系统是无损的，就可以在人的枕部头皮上记录到特征明显的特异性脑电成分。这个成分出现在人看到人脸后(刺激)170毫秒左右，表现为一个波幅较大的负峰值，且其峰值明显大于物体图片刺激，这个子波成分称为脑电中的N170成分，N表示负波(Negtive)，170表示这个负波的峰值出现在刺激后170毫秒附近。图3显示了人在注视人脸图片与物体图片时脑电信号中的差异，图中显示在人脸刺激下的脑电波形，其中在170毫称附近，有个明显的负峰值出现，而在其它物体刺激下的脑电波形中负峰值小很多。

本发明所涉及的系统工作原理如下：将待分类的图片随机呈现给用户，并同时记录下用户的头皮脑电，通过实时分析脑电中是否存在N170成分，就可以判断当前呈现给用户的图片是否为人脸图片，从而实现人脸图片与物体图片的分离。

本发明的优势在于它提供了一种基于人脸识别特异性波的图片方法，由于这种脑电特异性波的特征比较稳定，因此识别效果高，能够实现高可用性的脑-机接口。本发明的潜在应用是为思维正常但有运动功能障碍的人提供一种新对外界环境进行交流与控制的途径，而不需要任何四肢及肌肉的配合与参与。这种图片分类系统巧妙利用了进过多年自然进化的人脑的人脸识别功能，真正实现了人机接合的思想。这套图片分类系统与完全的人工图片分类方法相比速度更快，因为图片现后170毫秒处出现的快波成分比起人的肢体和语言系统出现更早；这套系统与完全基于计算机的图像处理的图片分类方法相比，错误率小，不需要复杂的处理过程，结果可靠。

本发明的特征在于其装置包括：

(1)图片刺激器，以一定时间间隔，随机选择图片库中的待分类的人脸与物体图片，并在屏幕或其它显示设备上呈现出来。

(2)头皮脑电信号采集器，利用置于人体头皮的电极，记录大脑在图片刺激后产生的脑电信号，并对其进行放大、模数转换，以数字形式存储在计算机中。

(3)人脸识别特异性波N170检测器，对采集得到的脑电信号进行处理，分析脑电数据中的特征，判断脑电中是否存在与人脸图片刺激相对应的特异性脑电成分N170。

(4)图片分类器，将N170的检测结果转化为图片分类信号。

附图说明

图1：基于P300诱发电位的脑机接口系统构成示意图

图2：基于稳态视觉诱发电位的脑机接口系统构成示意图

图3：人脸图片刺激和物体图片刺激下脑电信号的N170成分特征

图4：本发明的系统构成示意图

图5：图片刺激器工作示意图

图6：脑电电极位置示意图

图7：N170成分检测器的程序框图

具体实施方式

图2所示就是基于稳态视觉诱发电位的脑机接口系统构成示意图。

(1)图片刺激器

图片刺激器呈现出人脸和物体图片，人脑的工作状态被头皮脑电采集器采集，经N170检测器处理分析，转换为图片分类控制指令。系统中的图片刺激器如图5所示，以500毫秒为间隔循环地随机呈现人脸或物体图片刺激，且呈现顺序为随机，每张图片呈现500毫秒。

(2)头皮脑电信号采集器

头皮脑电信号采集器的作用采集能反映用户大脑工作状态的脑电信号。电极能检测出头皮表面的电位，但在头皮不同位置，头皮电极采集的多通道脑电信号有较大的差异，为了在特定的头皮电极位置采集最为明显的N170脑电成分，需要合理在头皮上合理分布电极。由于N170成分在大脑枕叶部电极最为明显，在系统实现中，采集电极位置P7、P8、P03、P04、P07、P08、01、02、0z的脑电信号作为脑电放大器的输入信号，电极分布如图6所示；

将观察不同图片刺激下的用户脑电信号记录下来，并将微弱的脑电信号放大，采集的脑电信号经过两次放大，在采集电极端即有一次放大，随后经过一次放大的脑电信号通过导线传输，经过再次放大；其进行模数转换，最终输入到计算机或其他信号处理装置。具体技术参数要求：电极与使用者头皮之间的接触电阻控制在10κΩ以下为宜，放大器增益要求达到3000倍以上，带宽为50赫兹以上，模数转换的数字化采样率一般设为250赫兹左右。

最后，将放大和模数转换的数字化脑电信号通过光纤传送给人脸识别特异性波N170检测模块。这里选用光纤的目的是为了实现光电隔离。

(3)人脸识别特异性波N170检测器

经过放大后的脑电信号被送入计算机后，进行N170检测器的处理分析。这个模块的功能是检测脑电波形中是否存在人脸识别特异性成分N170，由此来判断用户的主观意图。人脸识别特异性波N170检测模块的主要包括三个信号处理步骤：脑电信号预处理、脑电信号特征提取与分类，N170的检测流程如图7所示。

检测模块分析的脑电信号是图片刺激前100毫秒到图片刺激出现后300毫秒之间的共400毫秒的脑电信号。脑电信号预处理主要是克服头皮采集的脑电信号信噪比很低的问题，脑电信号非常微弱，通常在提取过程中会引入干扰，因此在进行分析前必须对其进行降噪声等预处理。基线校正的处理方法是将每个图片刺激诱发的脑电信号减去该图片刺激出现前100毫秒到图片出现后200毫秒内采集到的脑电信号均值。数字滤波采用FIR数字滤波器，滤波器为低通滤波，一般为50Hz。采用数字滤波技术，去除的噪声主要是50赫兹的工频干扰。

脑电信号特征提取采用共空域滤波(CSP，Common Spatial Pattern)算法，将脑电数据进行变换，使得不同类别的脑电数据存在明显的差异，相当于寻找更加稳定的脑电成分，便于更好地判断脑电中是否包含有N170成分。其主要计算公式是：

x′＝W·x

上式中的x是数字化的脑电信号，x就是经过共空域滤波处理之后的脑电信号，W是共空域滤波器的参数，它由计算得到(参见H.Ramoser，J.Müller-Gerking，and G.Pfurtschellet，“Optimal spatial filltering of single trial EEG during imagined hand movement，”IEEETrans.Rehab.Eng.，vol.8，no.4，pp.441--446，2000)。

脑电信号分类采用支持向量机(SVM，Support Vector Machine)算法，SVM算法处理之后的输出结果表征值为1和0，作为控制器的输入信号。其主要计算公式是：

$y=\left\{\begin{array}{cc}1,& \mathrm{\&omega;}{x}^{\&prime;}+b>0\\ 0,& \mathrm{\&omega;}{x}^{\&prime;}+b<0\end{array}\right.$

上式中x’的是经过共空域滤波后的脑电信号；y是分类的输出结果，w和b为支持向量机算法的参数，它们由计算得到(参见Francisco Pereira，Geoffrey Gordon.“The support vectordecomposition machine”，Proceedings of the 23rd International Conference on MachineLearning，ACM International Conference Proceeding Series；Vol.148，PP：689-696，2006)。

(4)图片分类器。

这个模块是本发明的应用模块，将N170的检测结果转化为图片分类信号。N170检测器向外部控制装置发送人脸识别特异性波N170的检测结果。检测结果用“0”和“1”表示。“0”表示脑电中没有检测到N170成分，“1”表示脑电中检测到明显的N170成分。这里的“0”和“1”能反映用户的主观意图。如果N170检测结果输出“0”，说明当前脑电中没有N170成分，也就是说用户当前看的是物体图片，而不是人脸图片；而如果N170检测结果输出“1”，表明当前脑电中含有N170成分，也就是说用户当前看的是人脸图片。

Claims (5)

1.基于人脸识别特异性波N170成分的脑机接口系统，这套系统的特征在于，包括：

(1)图片刺激器，以一定的时间间隔，随机将图片库中待分类的人脸与物体图片在显示设备上以一定方式显示出来；

(2)头皮脑电信号采集器，利用置于人体头皮的电极，记录大脑在图片刺激后产生的脑电信号，并对其进行放大、模数转换，以数字形式存储在计算机中；

(3)人脸识别特异性波N170检测器，对采集得到的脑电信号进行处理，从中提取与人脸图片刺激相对应的特异性脑电成分N170；

(4)图片分类器，将N170的检测结果转化为图片分类命令。

2.如权利要求1所述的基于人脸识别特异性波N170成分的脑机接口系统，其图片刺激器特征在于，包括：图片刺激呈现模块，每隔500毫秒，随机呈现图片库中的图片，每次图片呈现时间为500毫秒。

3.如权利要求1所述的基于人脸识别特异性波N170成分的脑机接口系统，其头皮脑电信号采集器特征在于，包括：多导电极，头皮电极只需安装在N170成分最为明显的头皮的枕叶左右两侧；脑电放大器，采集后的脑电信号经过两次放大，在采集电极端即有一次放大，随后经过一次放大的脑电信号通过导线传输，在脑电放大器中进行二次放大。

4.如权利要求1所述的基于人脸识别特异性波N170成分的脑机接口系统，其人脸识别特异性波N170检测器特征在于，包括：脑电信号预处理模块，对脑电信号进行基线校准、滤波等预处理；脑电信号特征提取模块，采用共空域滤波进行特征提取；脑电信号分类，采用支持向量机，检测出N170特异性波。

5.如权利要求1所述的基于人脸识别特异性波N170成分的脑机接口系统，其图片分类器特征在于，包括：将N170成分的检测结果转化为图片分类命令的转换与控制模块；可将不同类别的图片标识出来。

Images