CN114332860A - 自然交互条件事件相关脑电标记方法、装置、介质、设备 - Google Patents

Abstract

本发明公开了自然交互条件事件相关脑电标记方法、装置、介质、设备，脑电标记方法包括在样本图像中标定所有目标的坐标；实时同步采集在自然交互条件下的眼动交互数据和脑电数据；根据眼动交互数据在交互过程中的变化确定浏览样本图像过程中注意到感兴趣目标的标记时刻；将所述标记时刻作为时间戳对所述脑电数据进行标记。本发明通过眼动数据与目标事件的映射关系，实现自然交互条件下事件相关脑电标记，该方法操作简单、可靠，对于建立自然交互条件下的脑电模型、以及自然交互条件下的图像目标检测具有重要意义。

Description

自然交互条件事件相关脑电标记方法、装置、介质、设备

技术领域

本发明涉及事件相关脑电标记领域，具体涉及一种自然交互条件事件相关脑电标记方法。

背景技术

在传统图像目标检测技术中，对于目标图像样本量较少的情况下，基于大数据的人工智能检测方法还存在检测难题。由于人脑智能在图像检测中具有举一反三、逻辑推理等优势，所以在众多应用场合中仍需要参与进行目标的检测、识别。但传统“眼睛视觉搜索看到，然后手动点击确认”的方式，存在效率低下、反应延时较大等问题。因此，如何更好的发挥和提升人工的目标检测效率成为当前研究的热点。当前采用基于脑电交互的目标检测方法得到广泛关注和应用。大脑在看到小概率的目标事件过程中，会诱发对应的特异性事件相关脑电波，通过实时检测分析该脑电波信号即可实现对对应目标事件的自动标记，而不需再通过延时较大的手动点击确认，可提高人工的目标检测效率。

现有脑电交互目标检测需要根据目标事件和脑电信号的对应性对事件相关脑电信号进行标记。脑电信号标记根据交互条件不同分为非自然交互条件事件相关脑电标记和自然交互条件事件相关脑电标记。

非自然交互条件事件相关脑电标记需要在一张大图中找出可能存在的几个感兴趣的小目标，计算机将大图切分成一系列尺寸大小一致的小图片，然后通过计算机显示器将小图片以一定的帧率(比如10张/秒，即每张呈现100ms)按序呈现播放，用户集中注意力注视显示屏幕，注视是否有带感兴趣目标的图片出现，当用户注视到感兴趣的目标时，计算机通过算法模型自动检测到该事件诱发的脑电波信号，并对该时刻呈现的对应图片进行标记。由于在非自然交互条件下可以通过大图被切分成一张张小图片，并且通过计算机以一定帧速呈现，因此可以在每张小图片呈现的开始时刻，同步输出一个带标签的时间戳，后续以这个带标签的时间戳去截取对应时刻以后一定长度的脑电数据，并建立带标签的脑电数据样本，继而实现事件相关脑电标记。然而，非自然交互条件下，用户必须按照预定程序配合执行任务，中途不能随意中断。

自然交互条件事件相关脑电标记需要在一张大图中找出可能存在的几个感兴趣的小目标，用户通过自然的页面浏览方式，按照“之”字形搜索大图，当用户看到并注意到感兴趣的目标时，计算机会自动检测到该事件诱发的脑电波信号，并对该目标事件进行标记。然而，在自然交互条件下，大图是自然呈现在显示屏幕中，用户按照自我行为习惯和速度，按“之”字形自然浏览，看到感兴趣目标的时刻不好确定，由于看到感兴趣目标时刻不确定性，致使截取对应脑电数据成为难题。

目前尚无可行的办法，所以现有基于脑电的目标检测方法大部分是以非自然交互条件进行的，但是以非自然交互条件进行脑电目标检测存在灵活性差的问题。

发明内容

针对现有技术存在的问题，本发明的第一目的在于提供一种解决自然交互条件下事件相关脑电数据难以标记问题的基于眼动信号的脑电标记方法。

本发明的第二目的在于提供一种事件相关脑电标记装置。

本发明的第三目的在于提供一种利用上述脑电标记方法的自然交互条件下图像目标检测方法。

本发明的第四目的在于提供一种执行实现上述脑电标记方法或图像目标检测方法的电子设备。

本发明的第五目的在于提供一种执行实现上述脑电标记方法或图像目标检测方法的计算机可读介质。

为实现上述目的，本发明第一方面提供一种自然交互条件事件相关脑电标记方法，包括以下步骤：

在样本图像中标定所有目标的坐标；

实时同步采集在自然交互条件下的眼动交互数据和脑电数据；

根据眼动交互数据在交互过程中的变化确定浏览样本图像过程中注意到感兴趣目标的标记时刻；

将所述标记时刻作为时间戳对所述脑电数据进行标记。

进一步，根据眼动交互数据在交互过程中的变化确定用户在浏览样本图像过程中注意到感兴趣目标的标记时刻包括：

提取预定时间内所述眼动交互数据中双眼注视图像的坐标和瞳孔直径；

计算所述预定时间内所述坐标的变化值和所述瞳孔直径的变化值；

比较所述坐标的变化值与第一阈值；

比较所述瞳孔直径的变化值与第二阈值；

根据所述坐标的变化值与所述第一阈值的比较结果和所述瞳孔直径的变化值与所述第二阈值的比较结果确定所述标记时刻。

进一步，根据所述坐标的变化值与所述第一阈值的比较结果和所述瞳孔直径的变化值与所述第二阈值的比较结果确定用户在浏览样本图像过程中注意到感兴趣目标的时刻包括：

在所述坐标的变化值小于所述第一阈值，且所述瞳孔直径的变化值大于所述第二阈值时，确定所述预定时间的起始时刻为所述标记时刻。

本发明的第二方面提供一种自然交互条件事件相关脑电标记装置，包括：

标定模块，用于在样本图像中标定所有目标的坐标；

数据采集模块，用于实时同步采集在自然交互条件下的眼动交互数据和脑电数据；

确定模块，用于根据眼动交互数据在交互过程中的变化确定用户在浏览样本图像过程中注意到感兴趣目标的时刻；

标记模块，用于将所述标记时刻作为时间戳对所述脑电数据进行标记。

进一步，所述确定模块包括：

提取子模块，用于提取预定时间内所述眼动交互数据中双眼注视图像的坐标和瞳孔直径；

计算子模块，用于计算所述预定时间内所述坐标的变化值和所述瞳孔直径的变化值；

第一比较子模块，用于比较所述坐标的变化值与第一阈值；

第二比较子模块，用于比较所述瞳孔直径的变化值与第二阈值；

判断子模块，用于根据所述坐标的变化值与所述第一阈值的比较结果和所述瞳孔直径的变化值与所述第二阈值的比较结果确定所述标记时刻。

本发明的第三方面提供一种自然交互条件下图像目标检测方法，包括如下步骤：

利用第一方面所述的脑电标记方法训练预设分类器，得到训练好的预设分类器；

获取关于待检测图像的脑电数据；

将脑电数据输入预设分类器，通过训练好的预设分类器对待检测图像中有无检测目标进行判断。

本发明的第四方面提供一种电子设备，包括：

一个或多个处理器；以及

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现第一方面所述的脑电标记方法或者第三方面所述的图像目标检测方法。

本发明的第五方面提供一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现第一方面所述的脑电标记方法或者第三方面所述的图像目标检测方法。

本发明通过眼动数据与目标事件的映射关系，实现自然交互条件下事件相关脑电标记，该方法操作简单、可靠，对于建立自然交互条件下的脑电模型、以及自然交互条件下的图像目标检测具有重要意义。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例的自然交互条件事件相关脑电标记方法的流程图；

图2为本发明的另一个实施例的自然交互条件事件相关脑电标记方法的流程图；

图3为本发明的实施例的自然交互条件事件相关脑电标记装置的结构框图；

图4为本发明一实施例的自然交互条件下图像目标检测方法的流程图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

如图1所示，本发明第一方面提供一种自然交互条件事件相关脑电标记方法，包括以下步骤：

步骤S110：在样本图像中标定所有目标的坐标；其中，选取样本图像中存在一定数量被试可能感兴趣的目标。

步骤S120：实时同步采集在自然交互条件下的眼动交互数据和脑电数据；

步骤S130：根据眼动交互数据在交互过程中的变化确定浏览样本图像过程中注意到感兴趣目标的标记时刻；

步骤S140：将所述标记时刻作为时间戳对所述脑电数据进行标记。

在本发明一实施例中，步骤S120在自然交互条件下进行数据采集，即用户按“之”字型自然浏览图片方式，逐行浏览搜索整个图像，并实时、同步采集该过程中眼动交互数据和脑电数据。眼动交互数据采用桌面式的Eyelink眼动仪，并在使用前进行校准。脑电数据采用64通道的NeuroScan脑电仪实时采集，而且脑电仪与眼动仪之间通过中央处理器进行信号同步采集。

在本发明一实施例中，步骤S130以采集的眼动交互数据和脑电数据为基础，并结合事先对样本图像目标位置的标定数据，分析处理眼动交互数据。由于人在看到感兴趣的目标时，其瞳孔、眨眼等眼动数据会有变化，因此通过眼动数据可判读用户在某一时刻是否有注意到感兴趣的目标。通过分析处理眼动交互数据，判断用户在浏览搜索整个图像过程中注意到感兴趣目标的具体时刻。例如，人眼在浏览到图像上感兴趣的目标时，会在感兴趣的目标处停留较长时间，并且瞳孔的直径会放大。由于眼动数据中双眼注视图像的坐标变化可以表征眼睛在目标处停留的时长，眼动数据中瞳孔的直径变化可以表征眼睛在注视目标时瞳孔直径是否放大。因此，根据眼动数据变化与目标事件的映射关系就可以确定浏览图像过程中注意到感兴趣目标的时刻。

如图2所示，步骤S130包括步骤S210～步骤S250。

步骤S210：提取预定时间内所述眼动交互数据中双眼注视图像的坐标和瞳孔直径。眼动交互数据中包括双眼注视屏幕的X、Y坐标值以及双眼瞳孔直径，比如眼动数据采样的频率为100Hz,则每10毫秒就会得到一组坐标值和瞳孔直径的数据。

步骤S220：计算所述预定时间内所述坐标的变化值和所述瞳孔直径的变化值；其中，坐标的变化值是通过在预定时间的最终时刻的坐标减去起始时刻的坐标，瞳孔直径的变化值是通过在预定时间的最终时刻的瞳孔直径减去起始时刻的坐标。

步骤S230：比较所述坐标的变化值与第一阈值；

步骤S240：比较所述瞳孔直径的变化值与第二阈值；

步骤S250：根据所述坐标的变化值与所述第一阈值的比较结果和所述瞳孔直径的变化值与所述第二阈值的比较结果确定所述标记时刻。例如，在所述坐标的变化值小于所述第一阈值，且所述瞳孔直径的变化值大于所述第二阈值时，确定所述预定时间的起始时刻为所述标记时刻。

如图3所示，本发明的第二方面提供一种自然交互条件事件相关脑电标记装置300包括标定模块310、数据采集模块320、确定模块330和标记模块340。

标定模块310，用于在样本图像中标定所有目标的坐标；

数据采集模块320，用于实时同步采集在自然交互条件下的眼动交互数据和脑电数据；

确定模块330，用于根据眼动交互数据在交互过程中的变化确定用户在浏览样本图像过程中注意到感兴趣目标的时刻；

标记模块340，用于将所述标记时刻作为时间戳对所述脑电数据进行标记。

在本发明一实施例中，所述确定模块330包括提取子模块、计算子模块、第一比较子模块、第二比较子模块和判断子模块。

提取子模块，用于提取预定时间内所述眼动交互数据中双眼注视图像的坐标和瞳孔直径；

计算子模块，用于计算所述预定时间内所述坐标的变化值和所述瞳孔直径的变化值；

第一比较子模块，用于比较所述坐标的变化值与第一阈值；

第二比较子模块，用于比较所述瞳孔直径的变化值与第二阈值；

判断子模块，用于根据所述坐标的变化值与所述第一阈值的比较结果和所述瞳孔直径的变化值与所述第二阈值的比较结果确定所述标记时刻。

根据本发明的实施例，该装置300可以实现图1～2实施例描述的脑电标记方法。

由于本发明的示例实施例的自然交互条件事件相关脑电标记装置300的各个模块可以用于实现上述1～图2描述的脑电标记方法的示例实施例的步骤，因此对于本发明装置实施例中未披露的细节，请参照本发明上述的脑电标记方法的实施例。

可以理解的是，标定模块310、数据采集模块320、确定模块330和标记模块340、提取子模块、计算子模块、第一比较子模块、第二比较子模块和判断子模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本发明的实施例，标定模块310、数据采集模块320、确定模块330和标记模块340、提取子模块、计算子模块、第一比较子模块、第二比较子模块和判断子模块中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以以对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式的适当组合来实现。或者，标定模块310、数据采集模块320、确定模块330和标记模块340、提取子模块、计算子模块、第一比较子模块、第二比较子模块和判断子模块中的至少一个可以至少被部分地实现为计算机程序模块，当该程序被计算机运行时，可以执行相应模块的功能。

如图4所示，本发明的第三方面提供一种自然交互条件下图像目标检测方法，包括如下步骤：

步骤S410：利用图1～图2所述的脑电标记方法训练预设分类器，得到训练好的预设分类器；

步骤S420：获取关于待检测图像的脑电数据；

步骤S430：将脑电数据输入预设分类器，通过训练好的预设分类器对待检测图像中有无检测目标进行判断。

本实施例针对标记的脑电数据，以标记点后截取一定时间长度，例如1s至3s数据作为一个脑电模型训练样本，并以此可完成整个脑电数据的截取和脑电模型训练样本集的建立。后续使用时，可将用户在执行目标检测任务过程中的脑电信号，按一定时间间隔将一定时间长度的脑电数据输入之模型中，模型会完成当前时刻用户是否发现注视范围有无目标。

本发明的第四方面提供一种电子设备，包括：

一个或多个处理器；以及

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述图1～图2所述的脑电标记方法或者图4所述的图像目标检测方法。

本发明的第五方面提供一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现上述图1～图2所述的脑电标记方法或者图4所述的图像目标检测方法。

综上，本发明通过眼动数据与目标事件的映射关系，实现自然交互条件下事件相关脑电标记，该方法操作简单、可靠，对于建立自然交互条件下的脑电模型、以及自然交互条件下的图像目标检测具有重要意义。

根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的模块也可以设置在处理器中。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (8)

1.一种自然交互条件事件相关脑电标记方法，其特征在于，包括如下步骤：

在样本图像中标定所有目标的坐标；

实时同步采集在自然交互条件下的眼动交互数据和脑电数据；

根据眼动交互数据在交互过程中的变化确定浏览样本图像过程中注意到感兴趣目标的标记时刻；

将所述标记时刻作为时间戳对所述脑电数据进行标记。

2.如权利要求1所述的脑电标记方法，其特征在于，根据眼动交互数据在交互过程中的变化确定用户在浏览样本图像过程中注意到感兴趣目标的标记时刻包括：

提取预定时间内所述眼动交互数据中双眼注视图像的坐标和瞳孔直径；

计算所述预定时间内所述坐标的变化值和所述瞳孔直径的变化值；

比较所述坐标的变化值与第一阈值；

比较所述瞳孔直径的变化值与第二阈值；

根据所述坐标的变化值与所述第一阈值的比较结果和所述瞳孔直径的变化值与所述第二阈值的比较结果确定所述标记时刻。

3.如权利要求2所述的脑电标记方法，其特征在于，根据所述坐标的变化值与所述第一阈值的比较结果和所述瞳孔直径的变化值与所述第二阈值的比较结果确定用户在浏览样本图像过程中注意到感兴趣目标的时刻包括：

在所述坐标的变化值小于所述第一阈值，且所述瞳孔直径的变化值大于所述第二阈值时，确定所述预定时间的起始时刻为所述标记时刻。

4.一种自然交互条件事件相关脑电标记装置，其特征在于，包括：

标定模块，用于在样本图像中标定所有目标的坐标；

数据采集模块，用于实时同步采集在自然交互条件下的眼动交互数据和脑电数据；

确定模块，用于根据眼动交互数据在交互过程中的变化确定用户在浏览样本图像过程中注意到感兴趣目标的时刻；

标记模块，用于将所述标记时刻作为时间戳对所述脑电数据进行标记。

5.如权利要求4所述的脑电标记装置，其特征在于，所述确定模块包括：

提取子模块，用于提取预定时间内所述眼动交互数据中双眼注视图像的坐标和瞳孔直径；

计算子模块，用于计算所述预定时间内所述坐标的变化值和所述瞳孔直径的变化值；

第一比较子模块，用于比较所述坐标的变化值与第一阈值；

第二比较子模块，用于比较所述瞳孔直径的变化值与第二阈值；

判断子模块，用于根据所述坐标的变化值与所述第一阈值的比较结果和所述瞳孔直径的变化值与所述第二阈值的比较结果确定所述标记时刻。

6.一种自然交互条件下图像目标检测方法，其特征在于，包括如下步骤：

利用如权利要求1-3任一项所述的脑电标记方法训练预设分类器，得到训练好的预设分类器；

获取关于待检测图像的脑电数据；

将脑电数据输入预设分类器，通过训练好的预设分类器对待检测图像中有无检测目标进行判断。

7.一种电子设备，包括：

一个或多个处理器；以及

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现根据权利要求1-3中任意一项所述的脑电标记方法或者根据权利要求6所述的图像目标检测方法。

8.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现根据权利要求1-3中任意一项所述的脑电标记方法或者根据权利要求6所述的图像目标检测方法。

Images