CN103631941A

CN103631941A - 基于脑电的目标图像检索系统

Info

Publication number: CN103631941A
Application number: CN201310666711.8A
Authority: CN
Inventors: 张家才; 张学军; 詹钰; 姚力
Original assignee: Beijing Normal University
Current assignee: Beijing Normal University
Priority date: 2013-12-11
Filing date: 2013-12-11
Publication date: 2014-03-12
Anticipated expiration: 2033-12-11
Also published as: CN103631941B

Abstract

本发明基于脑电和机器学习理论，搭建一个人机交互的图像检索系统。该系统通过采集人在观察快速序列呈现的图像刺激时的脑电，利用机器学习的方法构建一个分类器，区分用户观看目标图像与非目标图像所产生的脑电。分类器对图像刺激诱发的脑电信号进行分析。分类器判断当前脑电是否为用户观看目标图像所产生的脑电数据，从而推断用户当前所看图像是否为目标图像。在基于脑电的目标图像检索系统中，用户只需要被动地观看计算机屏幕上呈现的图像序列，无须向计算机系统提交描述目标图像的语义特征、几何特征或物理特征的查询，该系统就可实现面向大规模图像的目标图像检索。

Description

基于脑电的目标图像检索系统

技术领域

本发明基于脑电和机器学习理论，搭建一个人机交互的图像检索系统。该系统通过采集人在观察快速序列呈现的图像刺激时的脑电，利用机器学习的方法构建一个分类器，分类器对图像刺激诱发的脑电信号进行分析，判断当前刺激的图像是否为用户感兴趣的目标图像。用户只需要被动地观看计算机屏幕上呈现的图像序列，无须向计算机系统提交描述目标图像的语义特征、几何特征或物理特征的查询，该系统就可实现面向大规模图像的目标图像检索。本发明结合了认知神经科学领域和信息技术领域的相关成果，属于一种用于图像检索的人机交互系统。

背景技术

图像可被人类直接感知和理解，也可用计算机进行处理，但计算机的处理能力远逊于人类且处理效率远不能满足当今社会的发展需求。例如，如何利用搜索引擎快速检索出对用户感兴趣的目标图像成为了一个难题，用户需要对目标图像的特征进行结构化描述，对于特定用户或在特殊环境下，目标图像的特征存在于用户的大脑中，很难进行清晰进行结构化描述，也就是说用户的目标图像的信息，很难通过传统的键盘、鼠标、语音输入等人机交互方式传递给计算机或搜索引擎。而人脑一直被认为是进行视觉信息处理的最强大的系统，人类视觉系统能够在几百毫秒内抓住一幅图像或者一个场景的重点，并能对其进行识别。如何结合人类视觉系统和计算机图像处理能力，从而大幅度提高计算机对视觉信息的理解能力与处理效率，将为国民经济和社会发展做出重大贡献。

近年来发展起来的神经信号记录与分析技术，为我们理解人类视觉系统的功能提供了技术保障。脑电图(electroencephalogram，EEG)是通过放置于头皮上的电极记录下来的脑细胞群的自发性、节律性电活动。从现有的研究成果来看，脑电信号中主要包含以下成分：诱发电脑电和自发脑电活动，前者一般用事件相关电位来刻画如P300，SSVEP(稳态视觉诱发电位)，N170等；SCP(皮层慢电位)；后者主要用脑电节律波来描述，如Delta节律(0-4Hz)，Alpha节律(4-8Hz)，Mu节律(8-12HZ)，低Beta节律(13-20HZ)，高Beta节律(21-30HZ)等。认知科学的研究表明，这些脑电成分是大脑内在活动的外在体现，用相应的算法来分析和提取这些成分，打开了观察人类大脑活动状态与认知功能的窗口。

脑机接口技术(Brain Computer Interface，BCI)是不依赖于脑的正常输出通路(外周神经系统及肌肉组织)的脑-机(计算机或其它装置)通讯系统。它通过采集人脑神经活动产生的电信号，进行放大并传输到计算机系统，计算机识别用户的意图并向外传输命令或进行通信。随着脑机接口技术的发展，其应用领域也由这初为重度残疾的病人提供视听觉与动动功能的辅助，扩展到人机双向信息交流工具与平台。利用脑机接口技术，计算机可以更直接地检测到用户的心理活动，包括用户大脑对于外界视觉刺激信息的加工处理。

近年来脑机接口的研究表明，利用用户观看图像过程中记录的脑电等神经信号，计算机可以从神经信号中识别出用户所观看的图像类别，甚至计算机能重构出用户所看图像的内容。这些研究表明脑电信号中可以解码用户对图像信息的加工处理，为图像检索提供了新的发展途径。本发明所述的图像检索系统结合机器计算能力与人类视觉系统对图像的处理能力，构建脑机协同的信息处理与交互系统，集成机器和大脑的优势，利用人脑高效鲁棒地处理图像复杂内容，以及准确快速抽象图像高层特征的优点，解决目前基于形式化表达体系的模式识别和机器智能方法在处理图像信息时所面临的瓶颈问题。

发明内容

本发明所述系统将脑机接口技术应用于图像检索系统，利用人类视觉系统在目标图像检测中的优势，设计一种新型的人机协同工作的图像检索系统。该系统中计算机通过快速序列视觉呈现(Rapid Serial Visual Presentation，RSVP)模式在屏幕上按次序向用户快速呈现一系列图像，其中包含有目标图像与非目标图像。同时采集用户观看图像序列过程中的脑电信号，当目标图像出现的瞬间会引起用户的注意与特殊的响应，用户对目标图像特殊的注意与响应会诱发用户大脑的特异性活动，记录的脑电信号会产生反映用户大脑的这种特异性活动特异成分。计算机中运行的脑电信号分析程序在线检测脑电信号中的特异成分，从而推断出用户当前所看的图像是否为用户感兴趣的目标图像，实现面向大规模图像数据库中目标图像的检索。

所述系统的包括如下三个模块。

(1)图像刺激模块。

图像刺激模块的作用是在计算机屏幕上通过快速序列视觉呈现方式，按一定时间间隔快速呈现图像，用户感兴趣图像混在刺激图像当中。

(2)头皮脑电信号采集模块。

其中包含有置于用户头皮上特定区域的电极，感应用户观看图像序列过程中大脑产生在的连续电压信号，也即脑电信号。采集到的脑电信号非常微弱，由放大器对其进行放大，再经模数转换后，采集的模拟信号转化为数字信号并存储或传输给脑电分类模块进行后续处理。

(3)脑电信号分类模块

训练阶段从图像刺激诱发的脑电数据中，机器通过学习得到一个判决规则，实现脑电信号的类别判决，通过这个分类器对图像诱发脑电进行分析，检测当前脑电信号中是否包含有目标图像刺激诱发的特异性成分，推断当前刺激的图像是否为目标图像。分类器训练完成后就可以进行脑电信号的判决了。在应用阶段，给脑电信号分类模块输入脑电数据，分类器就能向外输出一个类别，这个类别可表示为正或负，正(positive)的类别表示诱发产生当前脑电活动的刺激图像是否为目标图像，负(negtive)的类别表示诱发产生当前脑电活动的刺激图像是否为非目标图像。

所述系统的脑电信号分类模块需要事先进行训练，机器通过学习，自动区分目标图像与非目标图像诱发的脑电信号。脑电信号分类模块训练完成后，可用于识别脑电信号是否为目标图像所诱发。脑电信号分类模块的工作过程包括训练阶段与应用阶段。

训练阶段：每个用户在使用本系统之前都需要经过训练，在训练阶段用户只需标注当前呈现的图像序列中是否包含目标图像，而不需要在图像库中标注出目标图像与非目标图像。将这些用户标注的图像序列作为刺激材料，通过图像刺激模块呈现给用户，同时记录下用户观看各图像序列时对应的脑电数据，构成训练数据集。计算机通过多实例学习等机器学习算法，从图像序列诱发的脑电数据中学习目标图像刺激诱发的脑电中特异性成分，据此建立分类规则，检测目标图像的诱发脑电中的特异性脑电成分，判断当前脑电信号是否为用户观看目标图像所诱发出来的。

应用阶段：经过训练的脑电信号分类模块能够自动对用户观看图像过程中产生的脑电信号进行快速分类，判断当前图像是否为目标图像。应用阶段计算机从图像库中随机抽取图像，构成图像序列，用户不需要标记这些图像是否为目标图像，用户观看图像的同时记录用户的脑电信号，脑电信号分类模块自动识别用户所看的图像是否为目标图像。

脑电信号分类模块中训练样本包括目标图像诱发的脑电数据和非目标图像诱发的脑电数据，如何增强目标图像诱发脑电信号中特异性成分对于提高分类模块中分类器的性能至关重要。我们前期的研究表明目标图像在图像刺激模块中呈现的图像序列中所占的比例，也就是目标图像的稀疏度，会影响目标图像诱发脑电的特异性成分。当目标图像在整个图像序列中的分布密度非常高时，分类器分辨出目标图像的难度增加，当连续两张目标图像在图像序列出现的时间间隔小于500毫秒(ms)时，分类器很难检测到第二个目标图像。

为了增加目标图像刺激诱发脑电的特异性，图像刺激模块呈现的目标图像稀疏度较低，也就是目标图像在图像库中出现远少于非目标图像，这就导致了训练样本中非目标图像诱发脑电数据远远多于目标图像刺激诱发的脑电数据。面对这种目标图像与非目标图像刺激诱发的脑电数据不均衡的问题，传统的分类器训练方法不能直接应用。同时由于训练阶段刺激图像是一次快速出现多张，构成一个序列，其中可能包含也可能不含目标图像，用户在图像快速呈现的同时，很难通过键盘或鼠标告诉计算机当前所观看的图像是否为目标图像，但用户可以轻松地标记出所观看的连续的多张图像构成的图像序列中是否包含有目标图像。因此，脑电分类模块中分类器的训练采用多实例学习方法。

在脑电分类器训练与应用中，将每次图像出现诱发的脑电看做一个样本或实例(instance)，每个实例有一个标签(tag)标记这张图像是否为目标图像。假定每个实例用m_i表示，每个实例的标签用g(m_i)表示。由于我们这里脑电数据标记为正负，标签g(m_i)可用一位二进制数表示，g(m_i)＝1表示正，对应于目标图像；g(m_i)＝0表示负，对应于非目标图像。这个未知的函数就是我们在训练阶段需要学习得到的分类模型(或判决规则)。训练阶段的目标就是通过训练样本数据的学习找到一个规则来逼近g。

传统的分类器训练阶段是通过对训练数据集中每一个实例及一一对应的可见的标签的学习得到一个分类用的判决规则。本专利中分类器训练就采用多实例学习的方法。多实例学习中训练数据集中每个训练数据不是单个的实例或样本，而是一个包(bag)。每个包中包含有多个实例，这多个实例组成的包有一个标签，现在包中每个实例没有一一对应的可见的标签。每的标签定义如下：如果包中至少包含一个标签为正的实例，则包的标签为正；如果包中所有实例的标签都是负的，则包的标签为负。多实例学习的过程就是通过对包及其包含的多个实例进行分析，得到一个分类模型，这个分类模型能够预测每个实例的标签。

本发明的优势在于它不需要用户向计算机显式地描述目标图像的特征。本发明涉及的图像检索系统通过快速序列视觉呈现模式向用户呈现图像，并提供了一种基于多实例学习的脑电分类方法，从用户观看图像时同步记录的脑电数据中，以较高的准确率快速检索出图像库中的目标图像。本发明具备应用于于图像检索中的潜力。

附图说明

图1：基于脑电的目标图像检索系统工作过程示意图及系统组成模块

图2：图1系统中图像刺激模块中快速序列视觉呈现方式示意图

图3：图1系统中脑电信号分类模块中多实例学习示意图

图4：电极在头皮上分布位置

具体实施方式

(1)图像刺激模块。

本发明设计的图像刺激模块包括一个大规模的图像库，其中包含有50个类别的图像，每个类别包含有100张左右的图像。快速序列视觉呈现中规定图像序列中包含100张无重复的从各类别中随机选取的图像，其中目标图像的稀疏度控制在5％-10％之间，前后连续的两张图像的时间间隔为150毫秒。

(2)头皮脑电信号采集模块。

信号采集模块中，首先通过贴在头皮上的多个导体(常称之为多导电极)，检测出头皮表面的电位，在国际10-20参考系统中，记录P7，P8，PO3，PO4，PO7，PO8，O1，O2，Oz的脑电信号，电极分布主要位于视觉感知功能相关的枕叶附近，如图4所示。脑电采集的具体技术参数要求：电极与使用者头皮之间的接触电阻控制在10KΩ以下为宜，放大器增益要求达到3000倍以上，带宽为50赫兹以上，模数转换的数字化采样率设为250赫兹左右。最后，将放大和模数转换的数字化脑电信号通过光纤传送脑电特征分类模块进行分类。这里选用光纤的目的是为了实现光电隔离。

(3)脑电信号分类模块

脑电分类模块中分类器通过多实例学习的方式进行训练，然后可用于检索目标图像。其中包括如下步聚：

多实例构成训练样本的包：我们将每张图像刺激诱发的脑电数据看作一个实例，用m_i表示。在计算机中每个实例由n个特征组成的向量表示，记为V(m_i)。训练集中的样本或实例在这里就是图像刺激诱发的脑电数据，刺激图像是否为目标图像事先没有标记，训练样本可表示为(V(m_i)，g(m_i))。我们将连续出现的图像序列刺激诱发的脑电看作一个包，这个包中包含有这个图像序列中每张图像刺激诱发的脑电。我们可以将这个包用x_i表示，x_i包含有100个实例，也就是说把100个连续图像刺激诱发的脑电数据表示为一个包。第i个包中第j个图像刺激对应的脑电分别用向量V(x_i，j)。在多实例学习中一个完整的训练样本样本可写为：

({V(x_i，1)，V(x_i，2)，…，V(x_i，100)}，f(x_i))

包的标签：包的标记事实上是判断100张图像中是否包含有目标图像。其中如果记录脑电样本包x_i过程中如果有一张目标图像出现，则f(x_i)＝1；否则f(x_i)＝0。

内部判决规则的建立：多实例学习剩下的任务就是通过机器学习算法找到一个内部的判决规则g。判决规则g与f的区别在于，g是对每张图像诱发的单次脑电进行判决，判这张图像是否为目标图像，而f是对一组图像诱发的脑电数据包进行判决，它判定包中是否包含有目标图像。二者的联系在于，如果如果包中所有实例都被g判为负，则包的结果f也判为负；如果包中有一个实例被g判为正，则f将包判为正。这样一个以包为单位的训练样本中就包含有多个实例，从中学习目标图像诱发的脑电活动的判决规则，就是多实例学习方法，本发明中多实例学习通过APR(Axis-Prallel Rectangles)学习算法，对属性值进行组合，在属性空间中寻找合适的轴平行矩形。先找出覆盖了所有正包所包含实例例的轴平行矩形，再比较如果排除负包中各个实例会导致多少正包中的示例被排除出去，以排除的正包中实例数最小为目标，通过信心算法逐渐排除负包实例以缩小矩形。最终的矩形就表示了在特征空间上，内部规则g判决为正的区域，矩形边界就是判决规则g的边界。

目标图像的检索：在应用阶段用户只是被动观看图像刺激，根据同步记录的脑电数据m_i，内部判决规则g会对m_i进行判决，如果g(m_i)为正，则当前刺激图像为目标图像，这样分类器每隔150ms就判断一次，可检测快速呈现的图像序列中出现的目标图像。

Claims

1.基于脑电的目标图像检索系统，包括：

(1)图像刺激模块：在计算机屏幕上按一定时间间隔快速呈现图像序列；

(2)头皮脑电信号采集模块：通过置于用户头皮上特定区域的电极，感应用户观看图像序列过程中的脑电信号，并经放大及模数转换后，存储或传输给脑电分析模块；

(3)脑电信号分类模块：脑电分类模块建立了一个图像刺激诱发脑电信号的分类器，判断当前脑电是否为目标图像所诱发，进而推断出用户当前所看的图像是否为目标图像；

这套系统的特征在于，其脑电信号分类模块包括训练阶段与应用阶段两个工作过程：

训练阶段的特征在于：用户不需要标注快速呈现的单张图像是否为目标图像，用户只需要标注当前呈现的图像序列中是否包含有目标图像；计算机通过多实例学习的方法，采用APR(Axis-Prallel Rectangles)学习算法，从图像序列诱发的脑电数据中，学习目标图像呈现诱发的脑电中特异性成分，据此建立分类规则，判断当前脑电信号是否为用户观看目标图像所诱发出来的脑电信号；

应用阶段的特征在于：计算机从图像库中随机抽取图像通过图像刺激模块呈现给用户，并记录用户的脑电信号，脑电信号分类模块自动识别用户所看的图像是否为目标图像。

2.如权利要求1所述的图像检索系统，其图像刺激模块的特征在于，快速序列视觉呈现中规定连续呈现的图像序列中包含有100张无重复的图像，目标图像的稀疏度控制在5％-10％之间，前后连续的两张图像的时间间隔为150毫秒。

3.如权利要求1所述的图像检索系统，其头皮脑电信号采集模块的特征在于，多导的头皮电极需安装在视觉感知功能相关的枕叶附近，在国际10-20参考系统中，记录P7，P8，PO3，PO4，PO7，PO8，O1，O2，Oz的脑电信号；脑电采集的电极与使用者头皮之间的接触电阻控制在10KΩ以下为宜，放大器增益要求达到3000倍以上，带宽为50赫兹以上，模数转换的数字化采样率设为250赫兹左右。