CN105825225B - 一种机器视觉辅助脑电目标判决的方法 - Google Patents

一种机器视觉辅助脑电目标判决的方法 Download PDF

Info

Publication number
CN105825225B
CN105825225B CN201610139386.3A CN201610139386A CN105825225B CN 105825225 B CN105825225 B CN 105825225B CN 201610139386 A CN201610139386 A CN 201610139386A CN 105825225 B CN105825225 B CN 105825225B
Authority
CN
China
Prior art keywords
image
target
subject
ingredient
machine vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610139386.3A
Other languages
English (en)
Other versions
CN105825225A (zh
Inventor
童莉
曾颖
林志敏
王林元
陈健
张驰
王彪
蒋静芳
巫群健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PLA Information Engineering University
Original Assignee
PLA Information Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PLA Information Engineering University filed Critical PLA Information Engineering University
Priority to CN201610139386.3A priority Critical patent/CN105825225B/zh
Publication of CN105825225A publication Critical patent/CN105825225A/zh
Application granted granted Critical
Publication of CN105825225B publication Critical patent/CN105825225B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种机器视觉辅助脑电目标判决的方法，克服了现有技术中，因目标图像的具体含义会导致P300成分潜伏期的变化导致单试次P300检测算法精度下降的问题。该发明步骤（1）、通过脑电信号采集设备收集被试的脑电信号；步骤（2）、确定被试P300成分潜伏期的变化误差；步骤（3）、通过P300成分定位目标图像在图像序列中的位置；步骤（4）、结合步骤（2）中确定的潜伏期变化误差与步骤（3）中单试次检测算法确定的目标图像位置，确定目标备选图像；步骤（5）、使用机器视觉对目标备选图像进行识别归类，并统计图像出现最多的类别作为被试所关注的目标图像类别。该技术具有高准确率、低虚警率。

Description

一种机器视觉辅助脑电目标判决的方法
技术领域
该发明涉及一种结合机器视觉与脑电信号的图像检索的方法，特别是涉及一种机器视觉辅助脑电目标判决的方法。
背景技术
在图像检索技术中，如何找到一个特定的图像是一个难题。人脑经过自然的演化，对图像具有快速深刻的把握能力。在现有的图像检索技术中引入人脑的视觉系统，改善图像检索的结果，是目前图像检索系统中一个研究方向。利用快速序列呈现范式(RSVP)呈现图片，图片以每秒5～12张的速度快速呈现给被试，被试观看这些图片，同时采集被试在观看图片时产生的脑电信号。当被试看到感兴趣的目标图片时会在脑电中诱发一种特定的成分：P300成分。P300成分是人脑综合处理信息后的结果。P300成分的出现意味着人脑刚刚观测到一个所关注、所在意的事件的发生。我们给被试观看一系列图像，通过监测脑电信号中的P300成分，来判断图像是否为所关心的目标图像。再此基础上融合计算机视觉的研究成果，就能将人脑的形象、抽象思维能力和计算机高速稳定的计算执行能力有机结合，获得更理想的图像检索效果。
而在基于脑电的图像检索技术中，一个核心问题是被试在关注不同目标时激发的P300成分是有所不同的，主要可以体现最大峰值与潜伏期(目标出现到脑电最大峰值的时间)的变动。当前解决这一问题的方法是通过改良单试次脑电(被试只看一次图像产生的脑电信号)的P300检测算法来提高P300成分检测精度。实际应用中，被试观看图像的速度在每秒5～12张之间，单试次的P300检测算法可以通过检测P300的位置来确定目标图像的位置。然而由于P300潜伏期的变化会导致确定目标图像的位置具有一个误差，目标图像会在在某一范围内。在这里我们将这一范围内的所有图像作为目标备选图像提取出来，通过机器视觉技术判决出这些目标备选图像中最有可能的目标图片。
发明内容
本发明克服了现有技术中，由于目标图像的具体含义会导致P300成分潜伏期的变化导致单试次P300检测算法精度下降的问题，提供一种高准确率、低虚警率的机器视觉辅助脑电目标判决的方法。
本发明的技术解决方案是，提供一种具有以下步骤的机器视觉辅助脑电目标判决的方法：含有以下步骤，步骤(1)、在被试观看RSVP图像序列的同时，通过脑电信号采集设备收集被试的脑电信号；步骤(2)、通过目标图像所对应的脑电信号，确定被试P300成分潜伏期的变化误差；步骤(3)、使用单试次P300检测算法，对被试观看图像产生的脑电信号检测P300成分，并通过P300成分定位目标图像在图像序列中的位置；步骤(4)、结合步骤(2)中确定的潜伏期变化误差与步骤(3)中单试次检测算法确定的目标图像位置，确定目标备选图像；步骤(5)、使用机器视觉对目标备选图像进行识别归类，并统计图像出现最多的类别作为被试所关注的目标图像类别。
所述步骤(1)中采集设备收集数据的方法为：使用专用的脑电仪，采集被试观看图片时的脑电信号，信号的采样频率为256Hz，图像序列呈现速度为每秒呈现5张图像。
所述步骤(2)中被试P300成分潜伏期变化误差的确定方法为，通过对被试观看不同目标类别图像所产生的脑电信号进行均值操作来确定被试在关注不同目标时所激发的P300潜伏期，进而由最大潜伏期减去最小潜伏期来确定被试的潜伏期变化误差。
所述步骤(3)中单试次P300检测算法为HDCA算法、sHDCA算法。
所述步骤(4)中确定目标备选图像的方法为：假设该名被试的潜伏期变化为误差为300ms，则由P300成分的确定的目标图像位置可能在真正目标图像的前一图像或后一图像，图像每张呈现200ms，则将P300成分定位的目标图像位置附近3张图像作为目标备选图像取出。
所述步骤(5)中识别归类的方法为：采用caffe卷积神经网络框架在Caltech-256图像集中训练获得的模型。
与现有技术相比，本发明机器视觉辅助脑电目标判决的方法具有以下优点：本方法提供了一个结合机器视觉系统与脑电目标识别系统的框架，在该框架下基于脑电P300成分的目标识别系统可以借助机器视觉相关技术克服被试在不同状态下观看不同目标图像时P300成分的差异，有效提高目标识别精度，并且机器视觉可以在脑电识别的基础上精确确定目标图像。使用本方法进行目标图像检索能够在效果上比以往方法有较大的改进。
附图说明
图1是本发明机器视觉辅助脑电目标判决的方法的流程示意图；
图2是本发明机器视觉辅助脑电目标判决的方法的原理示意图；
图3是本发明机器视觉辅助脑电目标判决的方法中脑电信号中P300成分变动示意图；
图4是本发明机器视觉辅助脑电目标判决的方法中RSVP系统脑机融合目标图像识别完整流程示意图。
具体实施方式
下面结合附图和具体实施方式对本发明机器视觉辅助脑电目标判决的方法作进一步说明：含有以下步骤，步骤(1)、在被试观看RSVP图像序列的同时，通过脑电信号采集设备收集被试的脑电信号；步骤(2)、通过目标图像所对应的脑电信号，确定被试P300成分潜伏期的变化误差；步骤(3)、使用单试次P300检测算法，对被试观看图像产生的脑电信号检测P300成分，并通过P300成分定位目标图像在图像序列中的位置；步骤(4)、结合步骤(2)中确定的潜伏期变化误差与步骤(3)中单试次检测算法确定的目标图像位置，确定目标备选图像；步骤(5)、使用机器视觉对目标备选图像进行识别归类，并统计图像出现最多的类别作为被试所关注的目标图像类别。
所述步骤(1)中采集设备收集数据的方法为：使用专用的脑电仪，采集被试观看图片时的脑电信号，信号的采样频率为256Hz，图像序列呈现速度为每秒呈现5张图像。
所述步骤(2)中被试P300成分潜伏期变化误差的确定方法为，通过对被试观看不同目标类别图像所产生的脑电信号进行均值操作来确定被试在关注不同目标时所激发的P300潜伏期，进而由最大潜伏期减去最小潜伏期来确定被试的潜伏期变化误差。
所述步骤(3)中单试次P300检测算法为HDCA算法、sHDCA算法或其他类似功能的脑电P300检测算法。
所述步骤(4)中确定目标备选图像的方法为：假设该名被试的潜伏期变化为误差为300ms，则由P300成分的确定的目标图像位置可能在真正目标图像的前一图像或后一图像(图像呈现200ms)，则将P300成分定位的目标图像位置附近3张图像作为目标备选图像取出。
所述步骤(5)中识别归类的方法为：采用caffe卷积神经网络框架在Caltech-256图像集中训练获得的模型，或使用其他具备图像归类的识别算法或模型。
如图所示，实施例中，我们首先给被试快速呈现一系列图像，呈现速度为5张图像每秒，要求被试关注某一类的图像(如：熊猫)。同时采集被试观看图像时自然产生的脑电信号。通过统计被试关注目标图像时产生P300成分的潜伏期，确定该名被试的潜伏期变化误差(变化误差由最迟潜伏期减去最短潜伏期获得，一般被试潜伏期误差在200ms～300ms之间)。假设该名被试的潜伏期变化误差为300ms，则由P300成分确定的目标图像位置可能在真正目标图像的前一图像或后一图像(图像呈现200ms)。因此我们将P300成分定位目标图像位置附近3张图像作为目标备选图像取出。如此但目标备选图像积累到一定程度，并使用机器视觉的方法识别图像类别，并统计图像出现次数最多的类别，确定为被试感兴趣的目标图像。
本方法基于Matlab平台与C++语言，实现设备设备处理器为Intel(R)Core(TM)2i7-2630QM CPU，主频2.00GHz，内存4.0GB，系统为Windows 7 64bit。

Claims (6)

1.一种机器视觉辅助脑电目标判决的方法，其特征在于：含有以下步骤，
步骤(1)、在被试观看RSVP图像序列的同时，通过脑电信号采集设备收集被试的脑电信号；
步骤(2)、通过目标图像所对应的脑电信号，确定被试P300成分潜伏期的变化误差；
步骤(3)、使用单试次P300检测算法，对被试观看图像产生的脑电信号检测P300成分，并通过P300成分定位目标图像在图像序列中的位置；
步骤(4)、结合步骤(2)中确定的潜伏期变化误差与步骤(3)中单试次检测算法确定的目标图像位置，确定目标备选图像；
步骤(5)、使用机器视觉对目标备选图像进行识别归类，并统计图像出现最多的类别作为被试所关注的目标图像类别。
2.根据权利要求1所述的机器视觉辅助脑电目标判决的方法，其特征在于：所述步骤(1)中采集设备收集数据的方法为：使用专用的脑电仪，采集被试观看图片时的脑电信号，信号的采样频率为256Hz，图像序列呈现速度为每秒呈现5张图像。
3.根据权利要求1所述的机器视觉辅助脑电目标判决的方法，其特征在于：所述步骤(2)中被试P300成分潜伏期变化误差的确定方法为，通过对被试观看不同目标类别图像所产生的脑电信号进行均值操作来确定被试在关注不同目标时所激发的P300潜伏期，进而由最大潜伏期减去最小潜伏期来确定被试的潜伏期变化误差。
4.根据权利要求1所述的机器视觉辅助脑电目标判决的方法，其特征在于：所述步骤(3)中单试次P300检测算法为HDCA算法、sHDCA算法。
5.根据权利要求1所述的机器视觉辅助脑电目标判决的方法，其特征在于：所述步骤(4)中确定目标备选图像的方法为：假设该名被试的潜伏期变化为误差为300ms，则由P300成分的确定的目标图像位置可能在真正目标图像的前一图像或后一图像，图像每张呈现200ms，则将P300成分定位的目标图像位置附近3张图像作为目标备选图像取出。
6.根据权利要求1所述的机器视觉辅助脑电目标判决的方法，其特征在于：所述步骤(5)中识别归类的方法为：采用caffe卷积神经网络框架在Caltech-256图像集中训练获得的模型。
CN201610139386.3A 2016-03-11 2016-03-11 一种机器视觉辅助脑电目标判决的方法 Active CN105825225B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610139386.3A CN105825225B (zh) 2016-03-11 2016-03-11 一种机器视觉辅助脑电目标判决的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610139386.3A CN105825225B (zh) 2016-03-11 2016-03-11 一种机器视觉辅助脑电目标判决的方法

Publications (2)

Publication Number Publication Date
CN105825225A CN105825225A (zh) 2016-08-03
CN105825225B true CN105825225B (zh) 2019-06-28

Family

ID=56987144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610139386.3A Active CN105825225B (zh) 2016-03-11 2016-03-11 一种机器视觉辅助脑电目标判决的方法

Country Status (1)

Country Link
CN (1) CN105825225B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951396B (zh) * 2017-02-28 2019-05-10 漳州城市职业学院 一种基于生物反馈的远程学习者类型快速确定方法
CN107898458B (zh) * 2017-10-12 2020-07-17 中国人民解放军信息工程大学 基于图像先验的单试次脑电p300成分检测方法及装置
CN109521870A (zh) * 2018-10-15 2019-03-26 天津大学 一种基于rsvp范式的视听觉结合的脑-机接口方法
CN111914711B (zh) * 2020-07-24 2024-03-29 上海大学 一种基于脑电的多阶段渐进式目标识别训练系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6178261B1 (en) * 1997-08-05 2001-01-23 The Regents Of The University Of Michigan Method and system for extracting features in a pattern recognition system
CN103631941A (zh) * 2013-12-11 2014-03-12 北京师范大学 基于脑电的目标图像检索系统
CN105068644A (zh) * 2015-07-24 2015-11-18 山东大学 一种基于卷积神经网络的p300脑电信号检测方法
US9269027B1 (en) * 2006-10-06 2016-02-23 Hrl Laboratories, Llc System for optimal rapid serial visual presentation (RSVP) from user-specific neural brain signals

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6178261B1 (en) * 1997-08-05 2001-01-23 The Regents Of The University Of Michigan Method and system for extracting features in a pattern recognition system
US9269027B1 (en) * 2006-10-06 2016-02-23 Hrl Laboratories, Llc System for optimal rapid serial visual presentation (RSVP) from user-specific neural brain signals
CN103631941A (zh) * 2013-12-11 2014-03-12 北京师范大学 基于脑电的目标图像检索系统
CN105068644A (zh) * 2015-07-24 2015-11-18 山东大学 一种基于卷积神经网络的p300脑电信号检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
脑机融合图像识别中的统计模型;黄良韬等;《2015年（第四届）全国大学生统计建模大赛论文》;20151129;第3页第5-8行，第5页第3-7行，第6页第1-16行

Also Published As

Publication number Publication date
CN105825225A (zh) 2016-08-03

Similar Documents

Publication Publication Date Title
Carlson et al. Validity of PALMS GPS scoring of active and passive travel compared to SenseCam
CN105825225B (zh) 一种机器视觉辅助脑电目标判决的方法
EP2351524B1 (en) Drowsiness determining device and program
CN106412573B (zh) 一种检测镜头污点的方法和装置
CN110013261B (zh) 情绪监测的方法、装置、电子设备及存储介质
WO2014184436A1 (en) Method and apparatus for live user recognition
KR101796055B1 (ko) 다중 뇌 연결망 구축을 통한 뇌 상태 모니터링 방법 및 장치
CN105868712A (zh) 基于后验概率模型的脑电与机器视觉目标图像检索方法
CN102177427A (zh) 颗粒分析中的检测和处理同步
CN105852797A (zh) 一种基于心电信号的立体显示视觉疲劳检测系统
Ketabdar et al. System and methodology for using mobile phones in live remote monitoring of physical activities
CN109003665A (zh) 基于终端设备的视力检测方法、装置、设备及存储介质
US11540748B2 (en) Method and system for gait detection of a person
CN109255309A (zh) 面向遥感图像目标检测的脑电与眼动融合方法及装置
CN103892830A (zh) 一种基于人体皮肤电阻变化的情绪检测方法及系统
US10085684B2 (en) State identification in data with a temporal dimension
Krassanakis et al. Detection of moving point symbols on cartographic backgrounds
CN105078481B (zh) 一种纳秒级反馈数据采集与统计分析方法
CN114463779A (zh) 吸烟识别方法、装置、设备及存储介质
CN116725553A (zh) 基于时频域关联特征的睡眠循环交替模式检测方法及装置
CN106326672A (zh) 入睡检测方法与系统
CN111680569A (zh) 基于图像分析的出勤率检测方法、装置、设备及存储介质
CN115336981A (zh) 一种可穿戴设备佩戴状态的检测方法及相关组件
CN110393539A (zh) 心理异常检测方法、装置、存储介质及电子设备
WO2014107191A1 (en) Method and apparatus for correlating biometric responses to analyze audience reactions

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant