CN103631941A - 基于脑电的目标图像检索系统 - Google Patents
基于脑电的目标图像检索系统 Download PDFInfo
- Publication number
- CN103631941A CN103631941A CN201310666711.8A CN201310666711A CN103631941A CN 103631941 A CN103631941 A CN 103631941A CN 201310666711 A CN201310666711 A CN 201310666711A CN 103631941 A CN103631941 A CN 103631941A
- Authority
- CN
- China
- Prior art keywords
- image
- user
- target image
- module
- eeg
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000638 stimulation Effects 0.000 claims abstract description 16
- 210000004556 brain Anatomy 0.000 claims description 49
- 238000012549 training Methods 0.000 claims description 27
- 230000005611 electricity Effects 0.000 claims description 25
- 230000013016 learning Effects 0.000 claims description 18
- 230000004936 stimulating effect Effects 0.000 claims description 17
- 238000000034 method Methods 0.000 claims description 16
- 210000004761 scalp Anatomy 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 230000003321 amplification Effects 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000006698 induction Effects 0.000 claims description 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 2
- 210000000869 occipital lobe Anatomy 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 230000033228 biological regulation Effects 0.000 claims 1
- 210000004129 prosencephalon Anatomy 0.000 claims 1
- 238000010801 machine learning Methods 0.000 abstract description 6
- 230000002452 interceptive effect Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000000763 evoking effect Effects 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 230000033764 rhythmic process Effects 0.000 description 6
- 238000011160 research Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000005036 nerve Anatomy 0.000 description 3
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 210000004958 brain cell Anatomy 0.000 description 1
- 230000003920 cognitive function Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000007799 cork Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000926 neurological effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000005622 photoelectricity Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Neurosurgery (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Health & Medical Sciences (AREA)
- Dermatology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明基于脑电和机器学习理论,搭建一个人机交互的图像检索系统。该系统通过采集人在观察快速序列呈现的图像刺激时的脑电,利用机器学习的方法构建一个分类器,区分用户观看目标图像与非目标图像所产生的脑电。分类器对图像刺激诱发的脑电信号进行分析。分类器判断当前脑电是否为用户观看目标图像所产生的脑电数据,从而推断用户当前所看图像是否为目标图像。在基于脑电的目标图像检索系统中,用户只需要被动地观看计算机屏幕上呈现的图像序列,无须向计算机系统提交描述目标图像的语义特征、几何特征或物理特征的查询,该系统就可实现面向大规模图像的目标图像检索。
Description
技术领域
本发明基于脑电和机器学习理论,搭建一个人机交互的图像检索系统。该系统通过采集人在观察快速序列呈现的图像刺激时的脑电,利用机器学习的方法构建一个分类器,分类器对图像刺激诱发的脑电信号进行分析,判断当前刺激的图像是否为用户感兴趣的目标图像。用户只需要被动地观看计算机屏幕上呈现的图像序列,无须向计算机系统提交描述目标图像的语义特征、几何特征或物理特征的查询,该系统就可实现面向大规模图像的目标图像检索。本发明结合了认知神经科学领域和信息技术领域的相关成果,属于一种用于图像检索的人机交互系统。
背景技术
图像可被人类直接感知和理解,也可用计算机进行处理,但计算机的处理能力远逊于人类且处理效率远不能满足当今社会的发展需求。例如,如何利用搜索引擎快速检索出对用户感兴趣的目标图像成为了一个难题,用户需要对目标图像的特征进行结构化描述,对于特定用户或在特殊环境下,目标图像的特征存在于用户的大脑中,很难进行清晰进行结构化描述,也就是说用户的目标图像的信息,很难通过传统的键盘、鼠标、语音输入等人机交互方式传递给计算机或搜索引擎。而人脑一直被认为是进行视觉信息处理的最强大的系统,人类视觉系统能够在几百毫秒内抓住一幅图像或者一个场景的重点,并能对其进行识别。如何结合人类视觉系统和计算机图像处理能力,从而大幅度提高计算机对视觉信息的理解能力与处理效率,将为国民经济和社会发展做出重大贡献。
近年来发展起来的神经信号记录与分析技术,为我们理解人类视觉系统的功能提供了技术保障。脑电图(electroencephalogram,EEG)是通过放置于头皮上的电极记录下来的脑细胞群的自发性、节律性电活动。从现有的研究成果来看,脑电信号中主要包含以下成分:诱发电脑电和自发脑电活动,前者一般用事件相关电位来刻画如P300,SSVEP(稳态视觉诱发电位),N170等;SCP(皮层慢电位);后者主要用脑电节律波来描述,如Delta节律(0-4Hz),Alpha节律(4-8Hz),Mu节律(8-12HZ),低Beta节律(13-20HZ),高Beta节律(21-30HZ)等。认知科学的研究表明,这些脑电成分是大脑内在活动的外在体现,用相应的算法来分析和提取这些成分,打开了观察人类大脑活动状态与认知功能的窗口。
脑机接口技术(Brain Computer Interface,BCI)是不依赖于脑的正常输出通路(外周神经系统及肌肉组织)的脑-机(计算机或其它装置)通讯系统。它通过采集人脑神经活动产生的电信号,进行放大并传输到计算机系统,计算机识别用户的意图并向外传输命令或进行通信。随着脑机接口技术的发展,其应用领域也由这初为重度残疾的病人提供视听觉与动动功能的辅助,扩展到人机双向信息交流工具与平台。利用脑机接口技术,计算机可以更直接地检测到用户的心理活动,包括用户大脑对于外界视觉刺激信息的加工处理。
近年来脑机接口的研究表明,利用用户观看图像过程中记录的脑电等神经信号,计算机可以从神经信号中识别出用户所观看的图像类别,甚至计算机能重构出用户所看图像的内容。这些研究表明脑电信号中可以解码用户对图像信息的加工处理,为图像检索提供了新的发展途径。本发明所述的图像检索系统结合机器计算能力与人类视觉系统对图像的处理能力,构建脑机协同的信息处理与交互系统,集成机器和大脑的优势,利用人脑高效鲁棒地处理图像复杂内容,以及准确快速抽象图像高层特征的优点,解决目前基于形式化表达体系的模式识别和机器智能方法在处理图像信息时所面临的瓶颈问题。
发明内容
本发明所述系统将脑机接口技术应用于图像检索系统,利用人类视觉系统在目标图像检测中的优势,设计一种新型的人机协同工作的图像检索系统。该系统中计算机通过快速序列视觉呈现(Rapid Serial Visual Presentation,RSVP)模式在屏幕上按次序向用户快速呈现一系列图像,其中包含有目标图像与非目标图像。同时采集用户观看图像序列过程中的脑电信号,当目标图像出现的瞬间会引起用户的注意与特殊的响应,用户对目标图像特殊的注意与响应会诱发用户大脑的特异性活动,记录的脑电信号会产生反映用户大脑的这种特异性活动特异成分。计算机中运行的脑电信号分析程序在线检测脑电信号中的特异成分,从而推断出用户当前所看的图像是否为用户感兴趣的目标图像,实现面向大规模图像数据库中目标图像的检索。
所述系统的包括如下三个模块。
(1)图像刺激模块。
图像刺激模块的作用是在计算机屏幕上通过快速序列视觉呈现方式,按一定时间间隔快速呈现图像,用户感兴趣图像混在刺激图像当中。
(2)头皮脑电信号采集模块。
其中包含有置于用户头皮上特定区域的电极,感应用户观看图像序列过程中大脑产生在的连续电压信号,也即脑电信号。采集到的脑电信号非常微弱,由放大器对其进行放大,再经模数转换后,采集的模拟信号转化为数字信号并存储或传输给脑电分类模块进行后续处理。
(3)脑电信号分类模块
训练阶段从图像刺激诱发的脑电数据中,机器通过学习得到一个判决规则,实现脑电信号的类别判决,通过这个分类器对图像诱发脑电进行分析,检测当前脑电信号中是否包含有目标图像刺激诱发的特异性成分,推断当前刺激的图像是否为目标图像。分类器训练完成后就可以进行脑电信号的判决了。在应用阶段,给脑电信号分类模块输入脑电数据,分类器就能向外输出一个类别,这个类别可表示为正或负,正(positive)的类别表示诱发产生当前脑电活动的刺激图像是否为目标图像,负(negtive)的类别表示诱发产生当前脑电活动的刺激图像是否为非目标图像。
所述系统的脑电信号分类模块需要事先进行训练,机器通过学习,自动区分目标图像与非目标图像诱发的脑电信号。脑电信号分类模块训练完成后,可用于识别脑电信号是否为目标图像所诱发。脑电信号分类模块的工作过程包括训练阶段与应用阶段。
训练阶段:每个用户在使用本系统之前都需要经过训练,在训练阶段用户只需标注当前呈现的图像序列中是否包含目标图像,而不需要在图像库中标注出目标图像与非目标图像。将这些用户标注的图像序列作为刺激材料,通过图像刺激模块呈现给用户,同时记录下用户观看各图像序列时对应的脑电数据,构成训练数据集。计算机通过多实例学习等机器学习算法,从图像序列诱发的脑电数据中学习目标图像刺激诱发的脑电中特异性成分,据此建立分类规则,检测目标图像的诱发脑电中的特异性脑电成分,判断当前脑电信号是否为用户观看目标图像所诱发出来的。
应用阶段:经过训练的脑电信号分类模块能够自动对用户观看图像过程中产生的脑电信号进行快速分类,判断当前图像是否为目标图像。应用阶段计算机从图像库中随机抽取图像,构成图像序列,用户不需要标记这些图像是否为目标图像,用户观看图像的同时记录用户的脑电信号,脑电信号分类模块自动识别用户所看的图像是否为目标图像。
脑电信号分类模块中训练样本包括目标图像诱发的脑电数据和非目标图像诱发的脑电数据,如何增强目标图像诱发脑电信号中特异性成分对于提高分类模块中分类器的性能至关重要。我们前期的研究表明目标图像在图像刺激模块中呈现的图像序列中所占的比例,也就是目标图像的稀疏度,会影响目标图像诱发脑电的特异性成分。当目标图像在整个图像序列中的分布密度非常高时,分类器分辨出目标图像的难度增加,当连续两张目标图像在图像序列出现的时间间隔小于500毫秒(ms)时,分类器很难检测到第二个目标图像。
为了增加目标图像刺激诱发脑电的特异性,图像刺激模块呈现的目标图像稀疏度较低,也就是目标图像在图像库中出现远少于非目标图像,这就导致了训练样本中非目标图像诱发脑电数据远远多于目标图像刺激诱发的脑电数据。面对这种目标图像与非目标图像刺激诱发的脑电数据不均衡的问题,传统的分类器训练方法不能直接应用。同时由于训练阶段刺激图像是一次快速出现多张,构成一个序列,其中可能包含也可能不含目标图像,用户在图像快速呈现的同时,很难通过键盘或鼠标告诉计算机当前所观看的图像是否为目标图像,但用户可以轻松地标记出所观看的连续的多张图像构成的图像序列中是否包含有目标图像。因此,脑电分类模块中分类器的训练采用多实例学习方法。
在脑电分类器训练与应用中,将每次图像出现诱发的脑电看做一个样本或实例(instance),每个实例有一个标签(tag)标记这张图像是否为目标图像。假定每个实例用mi表示,每个实例的标签用g(mi)表示。由于我们这里脑电数据标记为正负,标签g(mi)可用一位二进制数表示,g(mi)=1表示正,对应于目标图像;g(mi)=0表示负,对应于非目标图像。这个未知的函数就是我们在训练阶段需要学习得到的分类模型(或判决规则)。训练阶段的目标就是通过训练样本数据的学习找到一个规则来逼近g。
传统的分类器训练阶段是通过对训练数据集中每一个实例及一一对应的可见的标签的学习得到一个分类用的判决规则。本专利中分类器训练就采用多实例学习的方法。多实例学习中训练数据集中每个训练数据不是单个的实例或样本,而是一个包(bag)。每个包中包含有多个实例,这多个实例组成的包有一个标签,现在包中每个实例没有一一对应的可见的标签。每的标签定义如下:如果包中至少包含一个标签为正的实例,则包的标签为正;如果包中所有实例的标签都是负的,则包的标签为负。多实例学习的过程就是通过对包及其包含的多个实例进行分析,得到一个分类模型,这个分类模型能够预测每个实例的标签。
本发明的优势在于它不需要用户向计算机显式地描述目标图像的特征。本发明涉及的图像检索系统通过快速序列视觉呈现模式向用户呈现图像,并提供了一种基于多实例学习的脑电分类方法,从用户观看图像时同步记录的脑电数据中,以较高的准确率快速检索出图像库中的目标图像。本发明具备应用于于图像检索中的潜力。
附图说明
图1:基于脑电的目标图像检索系统工作过程示意图及系统组成模块
图2:图1系统中图像刺激模块中快速序列视觉呈现方式示意图
图3:图1系统中脑电信号分类模块中多实例学习示意图
图4:电极在头皮上分布位置
具体实施方式
(1)图像刺激模块。
本发明设计的图像刺激模块包括一个大规模的图像库,其中包含有50个类别的图像,每个类别包含有100张左右的图像。快速序列视觉呈现中规定图像序列中包含100张无重复的从各类别中随机选取的图像,其中目标图像的稀疏度控制在5%-10%之间,前后连续的两张图像的时间间隔为150毫秒。
(2)头皮脑电信号采集模块。
信号采集模块中,首先通过贴在头皮上的多个导体(常称之为多导电极),检测出头皮表面的电位,在国际10-20参考系统中,记录P7,P8,PO3,PO4,PO7,PO8,O1,O2,Oz的脑电信号,电极分布主要位于视觉感知功能相关的枕叶附近,如图4所示。脑电采集的具体技术参数要求:电极与使用者头皮之间的接触电阻控制在10KΩ以下为宜,放大器增益要求达到3000倍以上,带宽为50赫兹以上,模数转换的数字化采样率设为250赫兹左右。最后,将放大和模数转换的数字化脑电信号通过光纤传送脑电特征分类模块进行分类。这里选用光纤的目的是为了实现光电隔离。
(3)脑电信号分类模块
脑电分类模块中分类器通过多实例学习的方式进行训练,然后可用于检索目标图像。其中包括如下步聚:
多实例构成训练样本的包:我们将每张图像刺激诱发的脑电数据看作一个实例,用mi表示。在计算机中每个实例由n个特征组成的向量表示,记为V(mi)。训练集中的样本或实例在这里就是图像刺激诱发的脑电数据,刺激图像是否为目标图像事先没有标记,训练样本可表示为(V(mi),g(mi))。我们将连续出现的图像序列刺激诱发的脑电看作一个包,这个包中包含有这个图像序列中每张图像刺激诱发的脑电。我们可以将这个包用xi表示,xi包含有100个实例,也就是说把100个连续图像刺激诱发的脑电数据表示为一个包。第i个包中第j个图像刺激对应的脑电分别用向量V(xi,j)。在多实例学习中一个完整的训练样本样本可写为:
({V(xi,1),V(xi,2),…,V(xi,100)},f(xi))
包的标签:包的标记事实上是判断100张图像中是否包含有目标图像。其中如果记录脑电样本包xi过程中如果有一张目标图像出现,则f(xi)=1;否则f(xi)=0。
内部判决规则的建立:多实例学习剩下的任务就是通过机器学习算法找到一个内部的判决规则g。判决规则g与f的区别在于,g是对每张图像诱发的单次脑电进行判决,判这张图像是否为目标图像,而f是对一组图像诱发的脑电数据包进行判决,它判定包中是否包含有目标图像。二者的联系在于,如果如果包中所有实例都被g判为负,则包的结果f也判为负;如果包中有一个实例被g判为正,则f将包判为正。这样一个以包为单位的训练样本中就包含有多个实例,从中学习目标图像诱发的脑电活动的判决规则,就是多实例学习方法,本发明中多实例学习通过APR(Axis-Prallel Rectangles)学习算法,对属性值进行组合,在属性空间中寻找合适的轴平行矩形。先找出覆盖了所有正包所包含实例例的轴平行矩形,再比较如果排除负包中各个实例会导致多少正包中的示例被排除出去,以排除的正包中实例数最小为目标,通过信心算法逐渐排除负包实例以缩小矩形。最终的矩形就表示了在特征空间上,内部规则g判决为正的区域,矩形边界就是判决规则g的边界。
目标图像的检索:在应用阶段用户只是被动观看图像刺激,根据同步记录的脑电数据mi,内部判决规则g会对mi进行判决,如果g(mi)为正,则当前刺激图像为目标图像,这样分类器每隔150ms就判断一次,可检测快速呈现的图像序列中出现的目标图像。
Claims (3)
1.基于脑电的目标图像检索系统,包括:
(1)图像刺激模块:在计算机屏幕上按一定时间间隔快速呈现图像序列;
(2)头皮脑电信号采集模块:通过置于用户头皮上特定区域的电极,感应用户观看图像序列过程中的脑电信号,并经放大及模数转换后,存储或传输给脑电分析模块;
(3)脑电信号分类模块:脑电分类模块建立了一个图像刺激诱发脑电信号的分类器,判断当前脑电是否为目标图像所诱发,进而推断出用户当前所看的图像是否为目标图像;
这套系统的特征在于,其脑电信号分类模块包括训练阶段与应用阶段两个工作过程:
训练阶段的特征在于:用户不需要标注快速呈现的单张图像是否为目标图像,用户只需要标注当前呈现的图像序列中是否包含有目标图像;计算机通过多实例学习的方法,采用APR(Axis-Prallel Rectangles)学习算法,从图像序列诱发的脑电数据中,学习目标图像呈现诱发的脑电中特异性成分,据此建立分类规则,判断当前脑电信号是否为用户观看目标图像所诱发出来的脑电信号;
应用阶段的特征在于:计算机从图像库中随机抽取图像通过图像刺激模块呈现给用户,并记录用户的脑电信号,脑电信号分类模块自动识别用户所看的图像是否为目标图像。
2.如权利要求1所述的图像检索系统,其图像刺激模块的特征在于,快速序列视觉呈现中规定连续呈现的图像序列中包含有100张无重复的图像,目标图像的稀疏度控制在5%-10%之间,前后连续的两张图像的时间间隔为150毫秒。
3.如权利要求1所述的图像检索系统,其头皮脑电信号采集模块的特征在于,多导的头皮电极需安装在视觉感知功能相关的枕叶附近,在国际10-20参考系统中,记录P7,P8,PO3,PO4,PO7,PO8,O1,O2,Oz的脑电信号;脑电采集的电极与使用者头皮之间的接触电阻控制在10KΩ以下为宜,放大器增益要求达到3000倍以上,带宽为50赫兹以上,模数转换的数字化采样率设为250赫兹左右。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310666711.8A CN103631941B (zh) | 2013-12-11 | 2013-12-11 | 基于脑电的目标图像检索系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310666711.8A CN103631941B (zh) | 2013-12-11 | 2013-12-11 | 基于脑电的目标图像检索系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103631941A true CN103631941A (zh) | 2014-03-12 |
CN103631941B CN103631941B (zh) | 2019-10-25 |
Family
ID=50212982
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310666711.8A Expired - Fee Related CN103631941B (zh) | 2013-12-11 | 2013-12-11 | 基于脑电的目标图像检索系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103631941B (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104731341A (zh) * | 2015-04-01 | 2015-06-24 | 浙江大学 | 一种基于eeg和计算机视觉的人脸图片检索方法 |
CN105468738A (zh) * | 2015-11-24 | 2016-04-06 | 西安电子科技大学 | 基于眼动和脑电相结合的图像检索方法 |
CN105825225A (zh) * | 2016-03-11 | 2016-08-03 | 中国人民解放军信息工程大学 | 一种机器视觉辅助脑电目标判决的方法 |
CN105868712A (zh) * | 2016-03-28 | 2016-08-17 | 中国人民解放军信息工程大学 | 基于后验概率模型的脑电与机器视觉目标图像检索方法 |
CN106264460A (zh) * | 2016-07-29 | 2017-01-04 | 北京好运到信息科技有限公司 | 基于自学习的脑活动多维时间序列信号的解码方法及装置 |
CN106484111A (zh) * | 2016-09-30 | 2017-03-08 | 珠海市魅族科技有限公司 | 一种图像处理的方法及虚拟现实设备 |
CN106681484A (zh) * | 2015-11-06 | 2017-05-17 | 北京师范大学 | 结合眼动跟踪的图像目标分割系统 |
CN107898458A (zh) * | 2017-10-12 | 2018-04-13 | 中国人民解放军信息工程大学 | 基于图像先验的单试次脑电p300成分检测方法及装置 |
CN108985332A (zh) * | 2018-06-15 | 2018-12-11 | 清华大学 | 基于动作电位发放间隔的自然图像随机森林成像方法 |
CN109816406A (zh) * | 2019-02-26 | 2019-05-28 | 北京理工大学 | 一种物品标记方法、装置、设备和介质 |
CN110298897A (zh) * | 2019-04-03 | 2019-10-01 | 上海联影医疗科技有限公司 | 用于正电子发射断层成像图像重建的系统和方法 |
CN110991406A (zh) * | 2019-12-19 | 2020-04-10 | 燕山大学 | 一种基于rsvp脑电特征的弱小目标检测方法及系统 |
CN111528834A (zh) * | 2020-03-25 | 2020-08-14 | 西安电子科技大学 | 一种实时sar图像目标检测系统及方法 |
CN111914711A (zh) * | 2020-07-24 | 2020-11-10 | 上海大学 | 一种基于脑电的多阶段渐进式目标识别训练系统及方法 |
CN113180701A (zh) * | 2021-07-01 | 2021-07-30 | 中国人民解放军军事科学院军事医学研究院 | 一种用于图像标签标注的脑电信号深度学习方法 |
CN114830069A (zh) * | 2019-12-18 | 2022-07-29 | 奈克斯特曼德公司 | 脑计算机接口 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101339455A (zh) * | 2008-08-07 | 2009-01-07 | 北京师范大学 | 基于人脸识别特异性波n170成分的脑机接口系统 |
CN101339413A (zh) * | 2008-08-07 | 2009-01-07 | 北京师范大学 | 基于脑电中人脸识别特异性波的开关控制方法 |
CN103077205A (zh) * | 2012-12-27 | 2013-05-01 | 浙江大学 | 一种利用声音刺激诱发的erp进行语义声音搜索的方法 |
-
2013
- 2013-12-11 CN CN201310666711.8A patent/CN103631941B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101339455A (zh) * | 2008-08-07 | 2009-01-07 | 北京师范大学 | 基于人脸识别特异性波n170成分的脑机接口系统 |
CN101339413A (zh) * | 2008-08-07 | 2009-01-07 | 北京师范大学 | 基于脑电中人脸识别特异性波的开关控制方法 |
CN103077205A (zh) * | 2012-12-27 | 2013-05-01 | 浙江大学 | 一种利用声音刺激诱发的erp进行语义声音搜索的方法 |
Non-Patent Citations (2)
Title |
---|
NIMA BIGDELY-SHAMLO ET AL: "Brain Activity-Based Image Classification From Rapid Serial Visual Presentation", 《IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING》 * |
THOMAS G.DIETTERICH ET AL: "Solving the multiple instance problem with axis-parallel rectangles", 《ARTIFICIAL INTELLIGENCE》 * |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104731341A (zh) * | 2015-04-01 | 2015-06-24 | 浙江大学 | 一种基于eeg和计算机视觉的人脸图片检索方法 |
CN106681484A (zh) * | 2015-11-06 | 2017-05-17 | 北京师范大学 | 结合眼动跟踪的图像目标分割系统 |
CN106681484B (zh) * | 2015-11-06 | 2019-06-25 | 北京师范大学 | 结合眼动跟踪的图像目标分割系统 |
CN105468738A (zh) * | 2015-11-24 | 2016-04-06 | 西安电子科技大学 | 基于眼动和脑电相结合的图像检索方法 |
CN105825225B (zh) * | 2016-03-11 | 2019-06-28 | 中国人民解放军信息工程大学 | 一种机器视觉辅助脑电目标判决的方法 |
CN105825225A (zh) * | 2016-03-11 | 2016-08-03 | 中国人民解放军信息工程大学 | 一种机器视觉辅助脑电目标判决的方法 |
CN105868712A (zh) * | 2016-03-28 | 2016-08-17 | 中国人民解放军信息工程大学 | 基于后验概率模型的脑电与机器视觉目标图像检索方法 |
CN106264460A (zh) * | 2016-07-29 | 2017-01-04 | 北京好运到信息科技有限公司 | 基于自学习的脑活动多维时间序列信号的解码方法及装置 |
CN106264460B (zh) * | 2016-07-29 | 2019-11-19 | 北京医拍智能科技有限公司 | 基于自学习的脑活动多维时间序列信号的解码方法及装置 |
CN106484111B (zh) * | 2016-09-30 | 2019-06-28 | 珠海市魅族科技有限公司 | 一种图像处理的方法及虚拟现实设备 |
CN106484111A (zh) * | 2016-09-30 | 2017-03-08 | 珠海市魅族科技有限公司 | 一种图像处理的方法及虚拟现实设备 |
CN107898458A (zh) * | 2017-10-12 | 2018-04-13 | 中国人民解放军信息工程大学 | 基于图像先验的单试次脑电p300成分检测方法及装置 |
CN107898458B (zh) * | 2017-10-12 | 2020-07-17 | 中国人民解放军信息工程大学 | 基于图像先验的单试次脑电p300成分检测方法及装置 |
CN108985332A (zh) * | 2018-06-15 | 2018-12-11 | 清华大学 | 基于动作电位发放间隔的自然图像随机森林成像方法 |
CN109816406A (zh) * | 2019-02-26 | 2019-05-28 | 北京理工大学 | 一种物品标记方法、装置、设备和介质 |
CN109816406B (zh) * | 2019-02-26 | 2021-01-22 | 北京理工大学 | 一种物品标记方法、装置、设备和介质 |
CN110298897A (zh) * | 2019-04-03 | 2019-10-01 | 上海联影医疗科技有限公司 | 用于正电子发射断层成像图像重建的系统和方法 |
US11636634B2 (en) | 2019-04-03 | 2023-04-25 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for positron emission tomography image reconstruction |
CN110298897B (zh) * | 2019-04-03 | 2022-12-06 | 上海联影医疗科技股份有限公司 | 用于正电子发射断层成像图像重建的系统和方法 |
CN114830069A (zh) * | 2019-12-18 | 2022-07-29 | 奈克斯特曼德公司 | 脑计算机接口 |
CN110991406A (zh) * | 2019-12-19 | 2020-04-10 | 燕山大学 | 一种基于rsvp脑电特征的弱小目标检测方法及系统 |
CN110991406B (zh) * | 2019-12-19 | 2023-04-18 | 燕山大学 | 一种基于rsvp脑电特征的弱小目标检测方法及系统 |
CN111528834A (zh) * | 2020-03-25 | 2020-08-14 | 西安电子科技大学 | 一种实时sar图像目标检测系统及方法 |
CN111914711A (zh) * | 2020-07-24 | 2020-11-10 | 上海大学 | 一种基于脑电的多阶段渐进式目标识别训练系统及方法 |
CN111914711B (zh) * | 2020-07-24 | 2024-03-29 | 上海大学 | 一种基于脑电的多阶段渐进式目标识别训练系统及方法 |
CN113180701A (zh) * | 2021-07-01 | 2021-07-30 | 中国人民解放军军事科学院军事医学研究院 | 一种用于图像标签标注的脑电信号深度学习方法 |
CN113180701B (zh) * | 2021-07-01 | 2024-06-25 | 中国人民解放军军事科学院军事医学研究院 | 一种用于图像标签标注的脑电信号深度学习方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103631941B (zh) | 2019-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103631941A (zh) | 基于脑电的目标图像检索系统 | |
CN111134667B (zh) | 基于脑电信号的时间迁移情绪识别方法及系统 | |
Esfahani et al. | Classification of primitive shapes using brain–computer interfaces | |
CN103699226A (zh) | 一种基于多信息融合的三模态串行脑-机接口方法 | |
CN108491077A (zh) | 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法 | |
CN114533086B (zh) | 一种基于空域特征时频变换的运动想象脑电解码方法 | |
CN103793058A (zh) | 一种主动式脑机交互系统运动想象任务分类方法及装置 | |
CN104503580A (zh) | 一种对稳态视觉诱发电位脑-机接口目标的识别方法 | |
CN109330613A (zh) | 基于实时脑电的人体情绪识别方法 | |
CN111898526B (zh) | 基于多流卷积神经网络的肌电手势识别方法 | |
CN103019382B (zh) | 一种利用诱发电位反映脑部主观动机信号的脑机接口方法 | |
Li et al. | EEG signal classification method based on feature priority analysis and CNN | |
CN113010013A (zh) | 一种基于Wasserstein距离的运动想象脑电迁移学习方法 | |
CN108958486A (zh) | 基于人脸识别脑电n170成分的情绪脑机接口系统 | |
CN102306303A (zh) | 一种基于小训练样本的脑电信号特征提取方法 | |
CN106491129A (zh) | 一种基于eog的人体行为识别系统及方法 | |
CN115349860A (zh) | 一种多模态情绪识别方法、系统、设备及介质 | |
CN105528072A (zh) | 一种动态停止策略下的脑-机接口拼写系统 | |
Jiang et al. | Analytical comparison of two emotion classification models based on convolutional neural networks | |
CN114469090A (zh) | 基于跨脑耦合关系计算的脑电情感识别方法及脑机系统 | |
CN109993132B (zh) | 一种基于脑电信号的图形识别生成方法及系统 | |
Zhao et al. | Improving Generalization Based on l 1-Norm Regularization for EEG-Based Motor Imagery Classification | |
Chen et al. | Design and implementation of human-computer interaction systems based on transfer support vector machine and EEG signal for depression patients’ emotion recognition | |
Zhao et al. | Interpretable emotion classification using multidomain feature of EEG signals | |
Buvaneswari et al. | A review of EEG based human facial expression recognition systems in cognitive sciences |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
DD01 | Delivery of document by public notice |
Addressee: Beijing Normal University Document name: Notification of Passing Preliminary Examination of the Application for Invention |
|
DD01 | Delivery of document by public notice | ||
PB01 | Publication | ||
PB01 | Publication | ||
DD01 | Delivery of document by public notice |
Addressee: Zhang Jiacai Document name: Notification of Publication of the Application for Invention |
|
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20191025 Termination date: 20201211 |
|
CF01 | Termination of patent right due to non-payment of annual fee |