CN104731341A - 一种基于eeg和计算机视觉的人脸图片检索方法 - Google Patents

Abstract

本发明公开了一种基于EEG和计算机视觉的人脸图片检索方法，利用两者循环进行迭代搜索，首先根据初始目标图片与人脸图库各图片的相似度对图库进行排序，将排名靠前的人脸图片作为首轮迭代要呈现的人脸图片序列；再利用户看到不同图片产生的脑电信号进行目标人脸的精细检索，得到候选图片。在后续迭代中，计算机视觉从候选图片筛选出目标样本集，并利用目标样本集从人脸图库快速检索与人脑检索结果相似度大的图片作为下轮迭代要呈现的人脸图片序列；直至当前轮与前一轮迭代得到的候选人脸图片中不相同的张数达到预设的阈值时停止，系统输出为最后一次迭代得到的人脸图片序列中相似度靠前若干个图片。通过人机闭环检索，保证检索精度与效率。

Description

一种基于EEG和计算机视觉的人脸图片检索方法

技术领域

本发明涉及人脸图片检索技术领域，具体涉及一种基于EEG和计算机视觉的人脸图片检索方法。

背景技术

人脸检索，是指在一个大图片库中，以人脸本身为内容对象，检索含有目标人脸的图片。人脸检索系统广泛地应用于社交网络、行政执法、金融等领域，具有很高的应用价值，很多研究者投身于人脸检索方法的研究。

目前，由于计算机计算速度快、存储容量大、吞吐量大，计算机视觉是实现人脸检索系统的主要方法，并已取得一定的成果。但是计算机视觉容易受到表情、光照、遮挡等变化的影响，所以基于计算机视觉的人脸识别系统在遇到表情、光照、遮挡变化大的人脸图片时，检索效果不太理想。

人具有很强的认知能力，对目标人脸识别具有鲁棒性，不受光照、遮挡等变化的影响，而且人脑在目标图片刺激后几百毫秒内会产生事件相关电位ERP(Event-Related Potential，ERP)。事件相关电位(参考文献：Steven J.Luck，事件相关电位基础，华东师范大学出版社，2009年)是一种与心理认知和记忆相关的脑电电位，反应了人类认知过程中大脑的状态。可以通过这种与特异性时间相关的电活动分析人是否看到他们感兴趣的目标人脸。

已有研究者提出用人强大的认知能力实现人脸识别系统。Cai等人在2013年实现了一个基于单次ERP分析的快速人脸图片识别系统，将目标人脸(即目标人脸图片)和非目标人脸(即非目标人脸图片)快速随机地呈现给用户，同时记录用户的EEG信号，通过分析一些特殊的ERP波形成分(如N200、P300)来判断目标和非目标人脸。

该方法能够有效地检索出目标人脸。但是当图库很大时，人需要看很多图片，由于受到人的情绪、人脑的抗疲劳能力、以及人脑处理速度和吞吐量等因素的影响，导致在图库很大的情况下，该方法不能得到有效应用。

已有研究者提出将人强大的认知能力和计算机的快速计算能力结合，来实现目标图片检索系统。P.Sajda等人在2011年实现了一个结合EEG和计算机视觉的大类图片(如老虎、大象的图片)检索闭环系统，系统先在被试面前快速呈现图片，同时记录被试的EEG信号，解码EEG信号判断目标图片，计算机视觉根据人脑检索到的目标图片在大图库中快速检索更多可能的目标图片，再呈现给被试看，如此循环，直到解码EEG信号得到的目标图片之间的相似度达到预设标准。

以上的研究事实说明，人对人脸的识别具有鲁棒性，且具有不受光照、遮挡影响等优点，而计算机计算速度快、存储容量大、吞吐量大，以及结合人强大的认知能力和计算机视觉实现目标图片检索的可行性。但是还未见到利用人强大的认知能力和计算机视觉对人脸图片进行检索的报道。因此，可以实现基于EEG和计算机视觉的人脸图片检索闭环系统，以实现人脸检索的功能。

发明内容

针对现有技术的不足，本发明提出了一种基于EEG和计算机视觉的人脸图片检索方法。

一种基于EEG和计算机视觉的人脸图片检索方法，通过迭代法进行搜索，每次迭代时执行如下步骤：

(1)向用户呈现目标人脸图片后继续向用户呈现人脸图片序列，并记录用户的脑电信号；

(2)对步骤(1)采集的脑电信号依次进行预处理、特征提取和解码，根据各人脸图片的解码结果选择若干候选人脸图片；

(3)利用计算机视觉计算各个所述候选人脸图片与目标人脸图片的相似度，并利用计算机视觉根据所述的解码结果和相似度从候选人脸图片中确定若干人脸图片作为目标样本集；

(4)利用计算机视觉计算人脸图片库中各人脸图片与目标样本集的平均相似度，并根据平均相似度从人脸图片库中选择若干人脸图片作为下一轮迭代要呈现的人脸图片序列；

直至当前轮与前一轮迭代得到的候选人脸图片中不相同的张数达到预设的阈值时停止，并从最后一次迭代得到的人脸图片序列中选择若干个作为最终检索结果。

为了确保首次迭代过程中呈现的人脸图片序列含有目标人脸，作为优选，通过如下方法选择首次迭代时所呈现的人脸图片序列：

向用户呈现一张待检索人脸的样本图片作为目标人脸，利用计算机视觉基于人脸相似度从人脸图库中检索出若干与目标人脸相近的人脸图片，作为首轮迭代要呈现的人脸图片序列。

本发明中利用计算机视觉从人脸图库中选出与目标人脸相似度最高的160张人脸图片作为首轮迭代要呈现的人脸图片序列。

本发明中根据最后一次迭代时形成的人脸图片序列中各个人脸图片与目标样本集的平均相似度选择平均相似度最高的前若干个作为最终检索结果。

作为优选，迭代停止后，从最后一次迭代形成的人脸图片序列中选择与目标样本集相似度最高的前50～100张作为最终检索结果。

本发明基于EEG和计算机视觉的人脸图片检索方法利用循环迭代进行迭代，每次迭代时是利用人强大的认知能力，通过用户看到不同人脸图片产生的脑电信号，进行目标人脸的精细检索，得到候选人脸图片；然后利用计算机的快速计算能力，通过计算机视觉从候选图片中筛选出目标样本集，并利用目标样本集从人脸图库中快速检索出与人脑检索出的图片相似度大的图片作为下一轮迭代要呈现的人脸图片序列。如此通过一轮人的精细检索，一轮计算机的快速检索，既保证了检索精度也保证了检索效率。

本发明中用户要检索的目标人脸是一个人在不同年龄段、不同姿势、不同背景下的图片，不是目标人脸的同一张图片。

在本发明的人脸检索过程中，要求用户有良好的视力或矫正后的视力，以及在使用过程中有良好的视角，因此，在使用过程中，用户需坐在距离显示器1米左右的位置。

在本发明的人脸检索过程中，需要用户集中注意力，因此，在呈现人脸图片之前，设置一个倒计时器，使用户集中注意力，准备好检索目标人脸，在呈现人脸图片过程中，要求用户看到目标人脸时单击一下鼠标。

为了得到更好的人脸检索效果，作为优选，所述步骤(1)中向用户呈现人脸图片序列时每张人脸图片的呈现时间为500ms，每两张图片之间有500ms的灰屏时间，每轮呈现160张人脸图片。

作为优选，所述步骤(2)中对脑电信号进行预处理，预处理步骤包括：

(2-1)对脑电信号进行滤波、放大和采样；

(2-2)对经过步骤(2-1)处理后的脑电信号依次进行去基线漂移、去眼电和去高频成分。

本发明中使用眼电信号相关消减算法去除脑电信号中的眼电伪迹，使用带通滤波器滤波去除高频成本。

经去基线漂移、去眼电和去高频成分的脑电信号，具有更高的信噪比，从而提高人脸检索的准确性。

作为优选，所述步骤(2)中对预处理后的脑电信号进行特征提取的具体方法如下：

使用降采样因子为10的滑动平均降采样方法进行降采样，根据步骤(1)所呈现的每一张人脸图片刺激出现的时刻，将各通道脑电信号划分为对应于每一张人脸图片的数据段，将各通道对应于同一张人脸图片的数据段首尾相连，作为相应人脸图片的特征向量。

作为优选，所述步骤(2)中解码的具体过程为：利用模式识别算法SVM，通过第一分类器对各个人脸图片的特征向量进行分类打分，得到的分类打分结果即为解码结果。

相应的，所述步骤(2)中根据分类打分结果选择打分最高的若干候选人脸图片。

作为优选，本发明中将分数(SVM的决策值)最高的20张图片作为若干候选人脸图片。

目标人脸出现时，诱发出的用户脑电信号含P300成分，呈现给用户的每一张人脸图片对应着一个特征向量，本发明中通过对这些特征向量进行打分，从而确定用户感兴趣的目标人脸。

所述步骤(3)包括如下步骤：

(3-1)利用计算机视觉计算各个候选人脸图片与目标人脸图片的相似度；

(3-2)针对各个候选人脸图片的打分结果以及其与目标人脸图片的相似度作为特征向量，并根据特征向量利用第二分类器将所述的候选人脸图片分为正类和负类，将分类得到的正类作为目标样本集。

计算机视觉进行检索时采用的候选人脸图片中可能含有非目标图片，如果非目标图片的干扰太多，将严重影响计算机视觉在人脸图库中的检索结果。因此，在计算机视觉从人脸图库中检索目标人脸之前，先根据打分和相似度剔除非目标人脸图片，保证计算机视觉进行检索能够得到一个较准确的检索结果。

作为优选，所述步骤(4)中计算机视觉从人脸图库中检索出与目标样本集的平均相似度最大的160张人脸图片作为下一轮迭代要呈现给用户的人脸图片序列。

本发明中各个人脸图片与目标样本集的平均相似度指该人脸图片与目标样本集中各个人脸图片的相似度的平均值。

经过若干次迭代，利用人强大的认知能力能从计算机视觉返回的人脸图片序列中检索出更多的目标人脸，向计算机视觉提供更准确的目标人脸信息。从而计算机视觉根据更准确的目标人脸信息从人脸图库中检索出更多可能的目标人脸，使得目标人脸在人脸图库中的排名不断提前。

本发明中的人脸图片检索方法与传统的人脸检索方法不同，传统人脸检索系统单一地利用计算机视觉或人的智能进行人脸检索，而本系统结合了两者的优点，即利用人强大的认知能力和计算机的快速计算能力，实现了快速、准确、鲁棒地人脸图片检索，具有潜在的应用价值。

附图说明

图1为本实施例的基于EEG和计算机视觉的人脸图片检索方法的原理示意图；

图2为本实施中EEG模块的工作流程图；

图3为本实施中计算机视觉模块的工作流程图。

具体实施方式

下面将结合附图和具体实施例对本发明进行详细描述。

如图1所示，本实施例的基于EEG和计算机视觉的人脸图片检索方法基于包括如下模块的检索系统实现：人脸图库、EEG模块、计算机视觉模块和用户界面。

本实施例中的人脸图库包含46位名人，男女比例1:1，共1854张图片，每张图片都有一个编号，编号范围1～1854。每位名人有40张左右不同年龄段、不同姿势、不同背景下的图片，都来自Google Image。

为避免人脸位置、大小变化的干扰，对原始图片进行缩放和裁剪，使得人脸图片大小统一为200*200像素，且人脸位于图片中间。

EEG模块为脑电信号处理模块，用于采集原始脑电信号并进行预处理、并对预处理后的脑电信号对相应的人脸图片(即图片)进行打分(即特征提取和解码)，然后根据解码结果确定20张候选人脸图片；

计算机视觉模块用于优化EEG模块确定的20张候选人脸图片作为目标样本集，根据该目标样本集利用计算机视觉从人脸图库中选择若干人脸图片形成人脸图片序列；

用户界面包括系统参数设置界面和播放界面，通过用户界面向用户呈现人脸图片，完成人脸图片刺激。

如图1所示，本实施例的基于EEG和计算机视觉的人脸图片检索方法，包括以下步骤：

(1)向用户呈现一张待检索人脸的样本图片，使用户明确待检索的目标人脸，同时利用计算机视觉基于人脸相似度从人脸图库中检索出符合条件的人脸图片作为首轮迭代要呈现的人脸图片序列；

本实施例中基于人脸相似度从人脸图库选择相似度最大的前160张人脸图片作为首轮要呈现的人脸图片序列。

本实施例中借助Face++云平台，计算剪裁过的1854张人脸图片两两之间的相似度，得到一个1854*1854维的相似度矩阵，计算机视觉依据相似度矩阵从人脸图库检索图片得到相应的人脸图片序列。

(2)向用户呈现人脸图片序列，同时记录用户的原始脑电信号，并对信号进行滤波、放大和采样；

本实施例中采用电极帽记录用户的原始脑电信号。采用的电极帽是一种国际标准的64导联的电极帽，参考电极位于鼻尖处，左眼眼球正上方和正下方分别贴一个电极，用于采集用户的眼电信号，后续的脑电信号预处理将利用眼电信号去眼电伪迹。

如图1所示，在首轮迭代前，用户可以通过参数设置界面设置使用参数。

本实施例中通过显示界面向用户呈现人脸图片。为了减少用户在使用过程中头部的转动，从而减少头部肌电对脑电信号的干扰，将人脸图片呈现在屏幕中央，屏幕背景设置为浅灰色。

每一次迭代，系统先在显示界面上显示5s的倒计时，使用户准备好，然后向用户呈现人脸图片序列。进行5s倒计时时，按照时间轴顺序依次倒序显示5，4，……，1，每个数字显示500ms，相邻两个数字之间有500ms的灰屏时间。倒计时结束后，按照时间轴顺序呈现160张人脸图片(依次为图片1、图片2，……，图片160，图片即人脸图片)，每张图片呈现500ms，相邻两张人脸图片之间有500ms的灰屏时间，用于避免视觉暂留现象。

为使用户在检索过程中保持注意力，要求用户看到目标图片时单击一下鼠标。在呈现人脸图片序列的过程中，EEG模块记录用户的原始脑电信号和行为数据，并采用截止频率为200Hz的模拟低通滤波器滤除脑电信号中的高频干扰，模数转换采样率一般设为1000Hz，将模数转换后的数字信号和所呈现的图片信息以及用户的行为数据，通过USB接口实时存入PC机中。

(3)对步骤(2)采集到的原始脑电信号进行预处理、特征提取和解码，将解码结果与步骤(2)呈现的人脸图片对应，选出解码结果符合条件的图片作为候选人脸图片；

如图2所示，本实施例中步骤(3)具体包括如下步骤：

(3-1)先对脑电信号进行预处理，预处理步骤有：利用一次样条插值方法减少或消除基线漂移(去直流成分)，运用眼电信号相关消减算法去除眼电干扰(即去眼电伪迹)，采用0.3-30Hz的2阶巴特沃斯带通滤波器进行带通滤波。

(3-2)对预处理后的数据进行特征提取：

截取每一张人脸图片刺激出现后0～800ms的数据，并使用降采样因子为10的滑动平均降采样方法降采样完成数据分段，将各通道对应于同一张图片降采样后的数据段首尾相连，得到相应图片的特征向量；

(3-3)通过特征向量对脑电信号进行解码，将特征向量输入已经训练好的第一分类器(即分类器1)，第一分类器为每个特征向量输出一个决策值，将每一个特征向量的决策值作为其对应人脸图片的分值(打分)并作为该人脸图片的解码结果，把分值最高的20张图片作为候选人脸图片。

(4)利用计算机视觉根据人脸图库各人脸图片与步骤(3)提供的候选人脸图片的相似度，检索出符合条件的人脸图片作为下一轮迭代要呈现的人脸图片序列；

如图3所示，本实施例中步骤(4)具体如下：

(4-1)对各个候选人脸图片进行特征提取：

基于计算机视觉计算各个候选人脸图片与目标人脸图片的相似度，然后将该候选图片的相似度与步骤(3)中该候选人脸图片对应的解码结果(即分值)组成二维向量作为该候选人脸图片的特征提取结果；

(4-2)将特征向量输入已经训练好的第二分类器，第二分类器(即分类器2)为每一个候选人脸图片对应的特征提取结果输出一个分类标签(即利用分类器2对特征向量分类)，将对应的候选人脸图片分为正类和负类，将分类标签为正类的候选人脸图片作为目标样本集。

(4-3)利用计算接视觉计算人脸图库中每一张人脸图片与目标样本集的平均相似度，将平均相似度最大的160张图片发给EEG模块作为下一轮迭代要呈现的图片。在下一轮迭代中，将这160张图片以随机顺序呈现给用户。

本实施例中每一张人脸图片与目标样本集的平均相似度指该人脸图片与目标样本集中每一张候选人脸图片的相似度的平均值。

重复步骤(2)、(3)、(4)，直至当前轮与前一轮迭代得到的候选人脸图片中不相同的张数达到预设的阈值(本实施例中该阈值为10％，即当前轮的候选图片不同于前一轮的候选图片的张数小于或等于当前轮得到的候选图片数的10％)时停止，并从最后一次迭代得到的人脸图片序列中选择若干个作为最终检索结果。

本实施例的人脸图片检索方法在使用前，需要预先训练好两个分类器(分别为第一分类器和第二分类器)，两个分类器均为SVM分类器，且采用线性核函数。

其中，第一分类器通过如下方法训练得到：

向用户呈现若干轮(本实施例中为5轮)人脸图片序列，每轮人脸图片序列包括160张人脸图片，其中待检索的目标人物的人脸图片10～15张。每张图片都有一个标签，表示是否为目标(1是目标，-1是非目标)，每轮待检索的目标人物各不相同。对采集到的原始脑电信号进行特征提取，得到每张图片对应的特征向量，作为训练样本，将特征向量对应的人脸图片的标签作为样本标签，把训练样本及其对应的样本标签输入分类器。训练得到的分类器即为第一分类器。

对于第一分类器而言，输入为特征向量，输出为分值，训练时需要预先知道训练集中各个特征向量对应的输出(即样本标签，正类或负类)。

其中，第二分类器通过如下方法训练得到：

第二训练阶段向用户呈现若干轮人脸图片序列，每轮160张图片，其中待检索的目标人物的人脸图片10～15张。每张图片都有一个标签，表示是否为目标(1是目标，-1是非目标)，用已经训练好的第一分类器对呈现的各个人脸图片进行解码(即打分)。提取每轮分值最高的20张图片作为候选图片，将各候选图片对应的分值及其与初始目标人脸图片的相似度构成的二维特征向量作为训练样本。将这些特征向量对应图片的标签作为样本标签，把训练样本及其对应的样本标签输入分类器，训练得到的分类器即为第二分类器。第二分类器将每轮分值最高(第一分类器打的分值)的20张图片分为目标和非目标(目标用+1表示，非目标用-1表示)。

对于第二分类器而言，输入为二维向量，输出为样本标签，那么在训练时需要预先知道训练集中各个二维向量对应的输出(即样本标签，正类或负类)，本实施例中以目标人物对应的人脸图片作为正类，用+1表示，否则为负类，用-1表示。

在使用本发明进行人脸图片检索时，用户要尽量保持注意力集中，减少眨眼和身体动作，因此一段时间后会出现疲劳现象，导致注意力不集中，影响系统的检索结果。所以，在使用过程中，应依据用户的实际状况进行适当休息和调整。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于EEG和计算机视觉的人脸图片检索方法，其特征在于，通过迭代法进行搜索，每次迭代时执行如下步骤：

(1)向用户呈现目标人脸图片后继续向用户呈现人脸图片序列，并记录用户的脑电信号；

(2)对步骤(1)采集的脑电信号依次进行预处理、特征提取和解码，根据各人脸图片的解码结果选择若干候选人脸图片；

(3)利用计算机视觉计算各个所述候选人脸图片与目标人脸图片的相似度，并利用计算机视觉根据所述的解码结果和相似度从候选人脸图片中确定若干人脸图片作为目标样本集；

(4)利用计算机视觉计算人脸图片库中各人脸图片与目标样本集的平均相似度，并根据平均相似度从人脸图片库中选择若干人脸图片作为下一轮迭代要呈现的人脸图片序列；

直至当前轮与前一轮迭代得到的候选人脸图片中不相同的张数达到预设的阈值时停止，并从最后一次迭代得到的人脸图片序列中选择若干个作为最终检索结果。

2.如权利要求1所述的基于EEG和计算机视觉的人脸图片检索方法，其特征在于，通过如下方法选择首次迭代时所呈现的人脸图片序列：

向用户呈现一张待检索人脸的样本图片作为目标人脸，利用计算机视觉基于人脸相似度从人脸图库中检索出若干与目标人脸最相近的人脸图片，作为首轮迭代要呈现的人脸图片序列。

3.如权利要求1所述的基于EEG和计算机视觉的人脸图片检索方法，其特征在于，所述步骤(2)中对预处理后的脑电信号进行特征提取的具体方法如下：

使用降采样因子为10的滑动平均降采样方法进行降采样，根据步骤(1)所呈现的每一张人脸图片刺激的时刻，将各通道脑电信号划分为对应于每一张人脸图片的数据段，再将各通道对应于同一张人脸图片的数据段首尾相连，作为相应人脸图片的特征向量。

4.如权利要求1所述的基于EEG和计算机视觉的人脸图片检索方法，其特征在于，所述步骤(2)中解码的具体过程为：

利用模式识别算法对各个人脸图片的特征向量进行分类打分，得到的分类打分结果即为解码结果。

5.如权利要求4所述的基于EEG和计算机视觉的人脸图片检索方法，其特征在于，所述步骤(2)中根据解码结果选择将分类打分的分数最高的前10～30张图片作为若干候选人脸图片。

6.如权利要求1～5中任意一项所述的基于EEG和计算机视觉的人脸图片检索方法，其特征在于，所述步骤(3)包括如下步骤：

(3-1)利用计算机视觉计算各个候选人脸图片与目标人脸图片的相似度；

(3-2)针对各个候选人脸图片的打分结果以及其与目标人脸图片的相似度作为特征向量，并根据特征向量利用分类器将所述的候选人脸图片分为正类和负类，将分类得到的正类作为目标样本集。

7.如权利要求6所述的基于EEG和计算机视觉的人脸图片检索方法，其特征在于，所述步骤(4)中从人脸图片库中选择平均相似度最高的160张人脸图片作为下一轮迭代要呈现的人脸图片序列。

8.如权利要求7所述的基于EEG和计算机视觉的人脸图片检索方法，其特征在于，迭代停止后，从最后一次迭代形成的人脸图片序列中选择与目标样本集相似度最高的前50～100张作为最终检索结果。