CN102821681B - 脑电波测量装置、电噪声的推定方法 - Google Patents
脑电波测量装置、电噪声的推定方法 Download PDFInfo
- Publication number
- CN102821681B CN102821681B CN201180016906.7A CN201180016906A CN102821681B CN 102821681 B CN102821681 B CN 102821681B CN 201180016906 A CN201180016906 A CN 201180016906A CN 102821681 B CN102821681 B CN 102821681B
- Authority
- CN
- China
- Prior art keywords
- brain wave
- frequency
- noise
- amplitude envelope
- acoustic signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/25—Bioelectric electrodes therefor
- A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
- A61B5/291—Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
- A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
- A61B5/38—Acoustic or auditory stimuli
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/726—Details of waveform analysis characterised by using transforms using Wavelet transforms
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Psychology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Acoustics & Sound (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明是提供一种脑电波测量装置。在能够音响输出的可穿戴设备的脑电波测量以及脑电波接口或者在脑电波监测器中,进行推定来自输出音响信号的噪声,且从由电极获取到的电位中进行去除等的对策,由此,不受噪声的影响地利用脑电波。脑电波测量装置具有:使用多个电极来测量使用者的脑电波的脑电波测量部;在使用者安装了脑电波测量部时,被配置在多个电极之中的至少一个电极附近,且对使用者提示音响信号的电音响变换器;提取从电音响变换器所提示的音响信号的振幅包络的振幅包络提取部;进行由所述振幅包络提取部提取出的振幅包络的频率分析的频率分析部;以及使用预先准备的变换规则和所提取出的振幅包络来推定混入到至少一个电极中的电噪声的噪声推定部。
Description
技术领域
本发明涉及在脑电波测定中,降低基于音响信号的影响的技术。
背景技术
近年来,由于设备的小型轻量化,立体头戴式耳机(headphone)音乐播放器(player)或头戴式显示器(Head Mounted Display,以下记述为“HMD”。)等可穿戴(wearable)设备正在普及。
通常,作为用于操作设备的接口,可利用“按压按钮”、“移动光标来决定”、“一边观察画面、一边移动鼠标”等,使用输入设备的物理输入操作。然而,若当想要操作如HMD那样的具有小型主体并且以免提为特征的设备时需要如上述的物理输入操作,则因会损失免提的特征而并非有效。而且,在操作如助听器那样非常小的设备时,操作按钮或拨盘(dialgauge)变得非常小,不适合频繁的操作。
因此,若是用户利用仅通过思考就能够简单操作的脑电波的接口,则由于不进行物理操作就能完成,因此非常方便。而且,若能够利用用户的脑电波等来观测该用户的状态(例如感情),并配合所观测到的其状态来自动控制设备的模式等,则会更加方便。
在此,所谓“脑电波”,是指通过例如设置在人的头部的基准极的电位与测量对象极的电位差来测量的、脑神经细胞的电活动(脑活动)。公知脑电波表示脑活动。
近年来,利用脑电波的技术的开发正在进行。专利文献1,公开利用脑电波的接口。在专利文献1中,公开有:使用被称为脑电波的事件关联电位的特征信号,来判别用户正考虑想选择的选择支的技术。此外,在专利文献2中,公开有通过脑电波进行感情状态的判别与数值化的技术。
当前,能够根据国际10-20法的场所表述来安装电极来测量脑电波。例如,测量对象极被安装在头顶部。在专利文献1中,在国际10-20法中的Pz、Cz的位置进行了脑电波测量。此外,在专利文献2中,在Pz周缘的以后头部为中心的位置进行了脑电波测量。而且,在专利文献2中所利用的频带为8~13Hz的脑电波的α波,公知是以比较大的振幅来记录的。
然而,可穿戴设备(例如HMD、音乐播放器以及助听器。以下相同)要在与身体接触的部分以外的头顶部或后头部安装用于脑电波测量的电极,在装卸时,用户会有负担(花功夫),此外,还会伴随有由于始终安装在头皮上而带来不舒服感等。
因此,需要能够将用于脑电波测量的电极限制在现有的可穿戴设备中通常需要的形状所占有的范围内来安装可穿戴设备,并同时结束电极的设置,从而减轻用户的负担。
图1表示设置了基于专利文献3的脑电波测量用电极1000的头戴式耳机1001的示例。在专利文献3中,提出了在头戴式耳机1001支撑带部附有脑电波测量用电极1000,且在安装头戴式耳机1001的同时,使脑电波测量用的电极呈与头皮接触形状。
在头皮上观测的脑电波的电位为10μV~100μV左右,非常微弱。因此,脑电波易于受到周缘的设备产生的电噪声的影响。如专利文献3,若在声音信号发生装置(电音响变换器)的附近配置电极,则来自电音响变换器的电噪声会被叠加于所观测的脑电波。此外,专利文献4,公开有使用预先推定的噪声谱的形状,来去除脑电波4~30Hz频带的噪声。
然而,至此都假设可听范围的频带不会成为噪声源。其理由是因为所利用的脑电波的频带,被认为与可听范围不重叠。从影像音响设备输出的音响信号的频带,是人可听范围的频带即20Hz至20000Hz的全部或一部分。于是,输出音响信号的电音响变换器成为原因的电噪声的频带,超过音响信号的频率的下限(约20Hz)。另一方面,所利用的脑电波的频带,例如,包括10Hz以下的事件关联电位、4Hz~8Hz的θ波、8Hz~13Hz的θ波。即,音响信号的频带与脑电波的频带彼此不同。而且,针对脑电波所包含的13Hz以上的β波,在测定时,多使用截止频率为100Hz左右的低通滤波器。因此,认为多数由可听范围的音响信号引起的电噪声,在脑电波测量中不会构成大问题。
现有技术文献
专利文献
专利文献1:JP特开2005-34620号公报
专利文献2:JP特开平7-204168号公报
专利文献3:JP特开2001-187034号公报
专利文献2:JP特开平9-131331号公报
发明概要
发明所要解决的技术问题
本发明者通过进行试验,首次发现:由于与脑电波测量的电极接近的电音响变换器的影响,音响信号中所包含的低频电噪声会与脑电波叠加。
发明内容
本发明鉴于上述问题,其目的在于,获得没有电噪声音响的脑电波,提供给脑电波接口或基于脑电波的用户监测器。
解决技术问题的手段
本发明的某实施方式的脑电波测量装置,具有:脑电波测量部,其使用多个电极来测量使用者的脑电波;电音响变换器,其在所述使用者安装了所述脑电波测量部时,被配置在所述多个电极之中的至少一个电极附近,且对所述使用者提示音响信号;振幅包络提取部,其提取从所述电音响变换器所提示的音响信号的振幅包络;频率分析部,其进行由所述振幅包络提取部提取出的振幅包络的频率分析;以及噪声推定部,其使用预先准备的变换规则和所提取出的所述振幅包络的频率分析结果来推定混入到所述至少一个电极中的电噪声。
所述变换规则,规定了频率与变换系数的对应关系,所述噪声推定部,利用所述振幅包络的瞬时频率以及所述变换规则来求出与所述瞬时频率对应的变换系数,通过将所求出的变换系数乘以所述振幅包络,来推定所述电噪声。
所述噪声推定部,利用随着频率变高、变换系数变得更小的变换规则来推定所述电噪声。
所述噪声推定部,使用频率在20Hz至30Hz之间收敛为0的变换规则来推定所述电噪声。
所述脑电波测量装置还具有:去除部,其从所述脑电波中去除所推定的所述电噪声。
根据本发明的实施方式的脑电波测量装置,具有:脑电波测量部,其使用多个电极来测量使用者的脑电波;电音响变换器,其在所述使用者安装了所述脑电波测量部时,被配置在所述多个电极之中的至少一个电极的附近,且对所述使用者提示音响信号;振幅包络提取部,其提取从所述电音响变换器所提示的音响信号的振幅包络;频率分析部,其进行由所述振幅包络提取部提取出的振幅包络的频率分析;以及噪声推定部,其使用预先准备的变换函数,根据所提取出的所述振幅包络的频率分析结果来求出对噪声推定值的变换系数,并根据所述变换系数来推定因所述振幅包络的影响而电混入到所述至少一个电极的输入信号中的噪声。
所述脑电波测量装置还具有:去除部,其从所述脑电波中去除所推定的所述电噪声。
根据基于本发明的某实施方式的脑电波测量装置,具有:脑电波测量部,其使用多个电极来测量使用者的脑电波;以及电音响变换器,其在所述使用者安装了所述脑电波测量部时,被配置在所述多个电极之中的至少一个电极的附近,且对所述使用者提示音响信号,所述脑电波测量装置按照预先准备的判别基准,并根据所测量的所述脑电波来判别所述使用者的意图,该脑电波测量装置还具有:振幅包络提取部,其提取从所述电音响变换器所提示的音响信号的振幅包络;频率分析部,其进行由所述振幅包络提取部提取出的振幅包络的频率分析;噪声推定部,其使用预先准备的变换函数,根据所述振幅包络的频率分析结果来求出对噪声推定值的变换系数,并根据所述变换系数,来推定因所述振幅包络的影响而电混入到所述电极的输入信号中的噪声;以及判别基准设定部,其根据所推定的所述噪声使所述判别基准变化。
本发明的脑电波测量装置,具有:脑电波测量部,其使用多个电极来测量使用者的脑电波;以及电音响变换器,其在所述使用者安装了所述脑电波测量部时,被配置在所述多个电极之中的至少一个电极的附近,且对所述使用者提示音响信号,所述脑电波测量装置按照预先准备的判别基准,并根据所测量的所述脑电波来判别所述使用者的意图,该脑电波测量装置还具有:振幅包络提取部,其提取从所述电音响变换器所提示的音响信号的振幅包络;频率分析部,其进行由所述振幅包络提取部提取出的振幅包络的频率分析;噪声推定部,其使用预先准备的变换函数,根据所提取出的振幅包络的频率分析结果来求出对噪声推定值的变换系数,并根据所述变换系数,来推定因所述振幅包络的影响而电混入到所述电极的输入信号中的噪声;以及判别基准设定部,其根据所推定的所述噪声使所述判别基准变化。
所述变换函数,是赋予随着频率增高而所述变换系数衰减、并且所输出的所述音响信号中所包含的分量的频率在20Hz至30Hz之间收敛为0的变换系数的函数。
所述变换函数构成为:将变换系数与预先设定的多个频带分别建立对应关系。
所述振幅包络提取部,利用微波变换,对所述音响信号进行时间频率分解,以提取所述音响信号的振幅包络。
所述振幅包络提取部,利用傅里叶变换,对所述音响信号进行时间频率分解,以提取所述音响信号的振幅包络。
所述振幅包络提取部,提取通过对所述音响信号进行时间频率分解而得到的分量之中的在20Hz至30Hz之间被预先确定的上限频率以下的频率的分量,作为所述音响信号的振幅包络。
所述振幅包络提取部,通过在包括预先确定的脑电波的频率的频带、并且针对预先确定的时间段进行微波变换,根据所述音响信号来求出时间频率区域的频率分量,并且对所求出的所述时间频率区域的频率分量进行微波逆变换,由此,提取并输出所述音响信号的振幅包络。
所述噪声推定部,利用所述变换函数,求出与所述音响信号中所包含的频率分量对应的变换系数。
所述脑电波测量装置还具有:存储部,其存储所述变换函数。
所述判别基准,是用于根据所测量的所述脑电波与多个种类的基准脑电波数据之间的相似度来判别所述使用者的意图的基准,且通过所述相似度的阈值或多个阈值的组合而构成。
所述至少一个电极以及所述电音响变换器,呈一体地构成。
本发明的电噪声的推定方法,包括:使用多个电极来测量使用者的脑电波的步骤;在所述使用者安装了所述脑电波测量部时,使用被配置在所述多个电极之中的至少一个电极附近的电音响变换器,对所述使用者提示音响信号的步骤;提取从所述电音响变换器所提示的音响信号的振幅包络作为低频分量的步骤;进行所述振幅包络的频率分析的步骤;以及使用预先准备的变换规则和所提取出的所述振幅包络的频率分析结果,来推定混入到所述至少一个电极中的电噪声的步骤。
基于本发明的计算机程序,通过被安装在脑电波测量装置中的计算机来执行,所述计算机程序使所述计算机执行:接收使用多个电极所测量的使用者的脑电波的数据的步骤;所述使用者在安装了所述脑电波测量部时,使用被配置在所述多个电极之中至少一个电极附近的电音响变换器,对所述使用者提示音响信号的步骤;提取从所述电音响变换器所提示的音响信号的振幅包络作为低频分量的步骤;进行所述振幅包络的频率分析的步骤;以及使用预先准备的变换规则和所提取出的所述振幅包络的频率分析结果,来推定混入到所述至少一个电极中的电噪声的步骤。
发明效果
根据本发明的脑电波测量装置,能够不受与脑电波测量的电极接近或接触的电音响变换器引起的低频电噪声的影响地使脑电波测量装置工作。
附图说明
图1是表示基于专利文献3的附有脑电波电极的头戴式耳机的示例的图。
图2(a)是表示在头皮上的电极上方1cm的位置处保持骨导头戴式耳机且输出5Hz足够大的正弦波的音响信号时所记录的脑电波的电位波形的曲线(脑电波波形)的图,(b)是表示(a)的波形的频率谱的图,(c)是表示在使脑电波计电极远离骨导头戴式耳机且使电极与骨导头戴式耳机的距离足够分离开时,以与(a)相同的电极所记录的脑电波的频率谱的图。
图3(a)是表示录音声音的波形的图,(b)是表示在5Hz的正弦波处使粉红噪声(pink noise)的振幅变动的信号的时间波形及其振幅的包络线的图。
图4(a)是表示从接近的电音响变换器输出在5Hz处使粉红噪声的振幅变动的信号(图3(b))时,用电极所记录的脑电波的电位波形的曲线(脑电波波形)的图。图4(b)是表示图4(a)的波形的频率谱的图。图4(c)是表示输出在9Hz处使粉红噪声的振幅变动的信号时所记录的电位频率谱的图。图4(d)是输出在17Hz处使粉色噪声的振幅变动的信号时所记录的电位的频率谱。图4(e)是表示使脑电波计电极远离骨导头戴式耳机且使电极与骨导头戴式耳机的距离足够分离开时的用与图4(a)相同的电极所记录的脑电波的频率谱的图。
图5是示意性表示考虑到如助听器那样电音响变换器位于耳洞附近时的电噪声影响的范围1的图。
图6是表示眼镜形状的头戴式显示器HMD6的结构的图。
图7是表示耳挂型的助听器的安装使用例的图。
图8是表示本申请的发明的概要的图。
图9是实施方式一的脑电波测量装置51的结构图。
图10是表示振幅包络线提取部140的详细结构的图。
图11是表示噪声推定部150的详细结构的图。
图12是表示噪声减法部180的详细结构的图。
图13是表示脑电波判定部190的详细结构的图。
图14是表示脑电波处理装置51的处理步骤的流程图。
图15是表示图14所示的步骤S5001的振幅包络线的提取方法的详细流程图。
图16是表示变换函数的一个示例的图。
图17是用于说明振幅包络线的提取方法的各种波形图。
图18表示图14所示的步骤S5003的振幅包络线的提取方法的详细流程图。
图19(a)是示意性表示包含叠加有低频噪声所的α波的脑电波的时间波形的图,图19(b)是表示在图19(a)中脑电波所叠加的低频噪声的波形的图,图19(c)表示根据图19(a)及(b)的波形得到的波形的图。
图20是实施方式二的脑电波测量装置52的结构图。
图21表示振幅包络线提取部240的详细结构的图。
图22表示脑电波特征提取部270的详细结构的图。
图23表示判别部290的详细结构的图。
图24表示实施方式二的脑电波处理测量装置52的处理步骤的流程图。
图25(a)~(d)是表示使用脑电波接口来选择菜单时的菜单列表的画面显示例的图。
图26表示图24的步骤S1000的详细流程图。
图27是实施方式二的第一变形例的脑电波测量装置57的结构图。
图28是实施方式二的第二变形例的脑电波测量装置53的结构图。
图29表示频带分量分析部340的详细结构的图。
图30表示噪声推定部350的详细结构的图。
图31表示脑电波测量装置53中的图24的步骤S1000的处理步骤的流程图。
图32是表示信号噪声变换系数表352的一个示例的图。
图33是实施方式三的脑电波测量装置54的结构图。
图34是表示判别基准设定部480的细节的图。
图35是表示判别部490的细节的图。
图36是表示实施方式三的脑电波测量装置54的处理步骤的流程图。
图37是表示脑电波测量装置54的步骤S3000的处理步骤的流程图。
图38是示意性表示通过输出波形的频带分量来设定了判别基准时的一个示例的图。
图39是表示判别基准变更表482的一个示例的图。
图40是实施方式三的变形例的脑电波测量装置55的结构图。
图41是表示判别基准设定部580的详细结构的图。
图42是表示判别部590的详细结构的图。
图43是表示实施方式三的变形例的脑电波测量装置54的处理步骤的流程图。
图44是表示脑电波测量装置55的步骤S4000的处理步骤的流程图。
图45是通过线性判别基准设定部581所参照的判别基准变更表582的一个示例。
图46是实施方式四的脑电波测量装置56的结构图。
图47是表示脑电波判定部690的详细结构的图。
图48是表示实施方式四的脑电波测量装置56的处理步骤的流程图。
图49是表示噪声的振幅与判定基准的对照表的一个示例的图。
具体实施方式
本申请发明人,发现了:因与测量脑电波的电极接近的电音响变换器的影响,低频的电噪声会叠加于脑电波的现象。在以下,首先,详细说明确认该现象的实验。之后,说明本发明的实施方式。
图2(a)是表示在头皮上的电极上方1cm的位置处保持骨导头戴式耳机且输出5Hz这样足够大的正弦波的音响信号时所记录的脑电波的电位波形的图形(脑电波波形)。脑电波波形通过安装在左侧头部的脑电波计电极来记录。纵轴表示脑电波的电位,横轴表示时间。电位的单位是微伏特,时间的单位是毫秒。而且,将频率设为5Hz的理由,是为了低于被设为8Hz~13Hz的α波。图2(a)中,在以两侧箭头所示的一秒区间,出现五次以倒三角的标记表示的电位的峰值。峰值是等间隔的,可知在一秒有五次周期性的电位的变动。根据该脑电波波形,可知在脑电波中叠加有5Hz的信号。
图2(b)表示图2(a)的波形的频率谱。纵轴表示相对的能量,横轴表示频率。频率的单位是赫兹(Hz)。在频率谱中,除了图2(a)中所见的5Hz以外,还包含10Hz、15Hz、20Hz等5的倍数的频率的分量。
若根据本申请发明人的测量结果,则在与接近骨导头戴式耳机的电极不同的、在右侧头部安装的电极处记录的脑电波电位也观测到这些分量。即,认为噪声在头部整体扩散。
图2(c)是表示在使脑电波计电极远离骨导头戴式耳机且使电极与骨导头戴式耳机的距离足够离开时,以与图2(a)相同的电极所记录的脑电波的频率谱的图。除了看到60Hz的交流噪声以外,未观测到图2(b)中所看到的5的倍数的噪声分量,在10Hz以下的低频域看到脑电波的分量。
在通过可穿戴设备的电音响变换器来听取音乐或声音时,很少输出如得到图2的脑电波时那么大的低频信号。低于可听范围的下限频率的低频信号,多数的情况下表现为频率更高的可听范围内的音响信号的振幅变动。音乐的旋律或声音的母音与子音的反复的样式等即为如此。
图3(a)表示成年男子发声为“超市正‘排队’特卖”时的所录声音的波形。
声音之中,母音是通过喉、口腔以及鼻腔使声带的振动共鸣的声音。母音发声时,从口腔放出的能量即音压大,若显示为波形,则是振幅大。
另一方面,子音通过喉或舌、齿、唇这些构音器官,将伴随由缩窄呼吸流动、或暂时停止呼吸的流动所引起的乱流的噪声为主分量。乱流的噪声的能量小于声带振动能量。言语声音是通过子音与母音的组合来发声的,如图3(a),形成周期性的振幅的变动的信号。
虽然可穿戴设备的电音响变换器输出的音响信号的多数是可听范围内的音响信号,但该音响信号的振幅,以低于可听范围的低频进行变动。因此,本申请发明人,为了确认作为音响信号的振幅变动所包含的低频分量产生电噪声的可能性而进行了实验。
为了确认仅振幅变动的影响,不是使用实际的声音,而是使用了加入低频振幅变动的粉色噪声。粉色噪声是具有能谱密度与频率呈反比例的特征的噪声,且具有频率越高、能量越衰减的频率特性。由于乐器音或声音具有随着频率变高、能量会衰减的频率特性,因此,粉色噪声在简单地模拟音乐、声音或环境噪声的频率特性时被使用。
图3(b)是表示在5Hz的正弦波处使粉红噪声的振幅变动的信号的时间波形及其振幅的包络线的图。实线是时间波形,虚线是包络线。包络线(envelope)通过沿着时间轴连结波形的振幅值(极大值)而得到。
如图3(b)的虚线所示,5Hz的正弦波作为表示音响信号的振幅变动的模样的包络线而显现为时间波形。本申请发明人使用图3(b)所示的音响信号,来进行了低频的电噪声是否被叠加于脑电波测量的电极上的实验。
本申请发明人,在头皮上的电极上方1cm的位置处保持骨导头戴式耳机,并输出了如图3(b)的音响信号。该实验与图2中表示出结果的使用了低频(5Hz)的正弦波的实验相同。
音响信号,设为:作为声音无法听取的程度的量级的信号。由此,防止了脑电波与信号的振幅变动同步地进行变动。
图4(a)是表示从接近的电音响变换器输出在5Hz处使粉红噪声的振幅变动的信号(图3(b))时,用电极所记录的脑电波的电位波形的图表(脑电波波形)的图。与图2(a)相同,纵轴表示脑电波的电位,横轴表示时间。电位的单位是微伏特,时间的单位是毫秒。
图4(b)表示图4(a)的波形的频率谱。此外,图4(e)是表示使脑电波计电极远离骨导头戴式耳机且使电极与骨导头戴式耳机的距离足够分离开时的用与图4(a)相同的电极所记录的脑电波的频率谱的图。与图2(b)、(c)相同,图4(b)以及(e)的纵轴表示相对的能量,横轴表示频率。频率的单位是赫兹(Hz)。
在图4(a)的波形中,虽然5Hz的分量无法判别,但在图4(b)的频率谱中,在5Hz处看到有微小的峰值。另一方面,该峰值在图4(e)中未被看到。因此,图4(b)的5Hz附近的峰值可认为是叠加了与振幅包络线同步的噪声。
在该实验中,为了避免脑电波与音响信号的振幅包络线同步地进行变动,使用了低于可听范围的低电平的音响信号。然而,尽管如此,在脑电波测量的电极上已混入了电噪声。
图4(c)是表示输出在9Hz处使粉色噪声的振幅变动的信号时所记录的电位频率谱的图。此外,图4(d)是输出在17Hz处使粉色噪声的振幅变动的信号时所记录的电位的频率谱。在图4(c)中在9Hz附近,在图4(d)中在17Hz附近,确认到微小的峰值。这些峰值,在图4(e)中未被看到。
而且,在9Hz处变动了振幅时,在17Hz处变动了振幅时,也与图4(a)相同,从波形无法判别低频信号。因此,在图4中省略这些波形图。
图5是示意性表示认为如助听器那样在电音响变换器位于耳洞附近时的电噪声影响的范围1的图。认为在图5的斜线部所示的范围1,混入基于电音响变换器的电噪声。范围1是例如电音响变换器的周缘数cm。在使用可听取的量级的音响信号时,还会混入更大的电噪声,并且在更广泛的范围混入电噪声。例如,即使在音响信号低于可听域时,直至以电音响变换器为中心的2cm左右也对音响信号出现噪声影响。当音响信号高于可听域时,例如,输出能够以使听力正常者不觉吵闹的程度听取的音响信号时,直至以电音响变换器为中心的5cm左右对音响信号出现噪声的影响。
通过该实验,确认到:至此,在脑电波测量中,输出可听范围的音响信号时的电音响变换器成为在脑电波所利用的频带的噪声源。如上所述,至此,电音响变换器作为噪声源未被视为问题。
用户用HMD或音乐播放器进行视听的内容或通过助听器听取的日常的生活音多数具有振幅变动。成为听取的中心的会话等的声音,如图4(b)的示例所示,具有按照每个音韵的音压变化。在日语的示例中,电视的新闻节目中的播音员的发声是以每秒7拍(拍是日语中的音韵的单位)左右的速度变化。即,基于音韵的音压变化为7Hz前后。这意味着在从头戴式耳机等输出的声音中混入有7Hz前后的低频噪声。
可穿戴式设备安装在用户的头部或耳边。例如,HMD以风镜或眼镜的形状为基本地被安装在头部。若以眼镜形状的HMD为例,则该HMD接触的用户的身体的部位,例如在图6所示的HMD6中,限于鼻垫部6a接触的鼻根部、框架的梁部6b接触的侧头部和前单元部6c接触的耳的周缘6d。
对于音乐播放器,如安装于耳洞的形状或夹着耳壳(auricle)的夹子型等的头戴式耳机那样,与设备接触的身体的部位局限于耳周缘。耳洞型的助听器7被安装于耳洞。图7表示耳挂型的助听器7。耳挂型的助听器7如图7,挂于耳壳来安装使用。耳洞型、耳挂型的设备仅在耳及其周缘位置7a处与身体进行接触。因此,在这样的接触位置处配置电极。因此,若在这样的设备中容纳脑电波测量的电极,则会以与耳洞或耳壳所配置的头戴式耳机等电音响变换器7b接近的方式配置脑电波测量的电极。根据图7可见,设置电极的位置7a与作为噪声源的电音响变换器7b的距离7c短至会受到噪声的影响的程度。
在头皮上所观测的脑电波的电位是10μV~100μV左右,若位于周缘的电子设备发生的交流噪声、或基于用户的动作的肌电或基于瞬间的眼电等的噪声被叠加于脑电波,则正确的脑电波测量会变得困难。因此,要求从脑电波去除噪声。因此,在多数贩卖的脑电波计中,采用例如针对交流电源频率的触点滤波器。此外,通过利用了作为脑电波有用的频带与噪声的频带之差的滤波处理,或例如,如JP特开2001-61800号公报,通过微波(wavelet)变换等的信号处理将频率与脑电波不同的信号进行分离来进行噪声去除。
如上所述,若在电音响变换器的附近配置电极,则会在脑电波中叠加来自电音响变换器的与脑电波的频带一致的低频带的噪声。
脑电波通过提取基准极与测量极的电位差的差动放大来记录。因此,当基准极以及测量极上叠加了相同噪声时,换言之,当基准极和测量极位于距离作为噪声源的电音响变换器相同距离时,通过差动放大,噪声被相互抵销并被去除。
然而,根据距离噪声源的距离不同,噪声的大小也不同。因此,如图7所示的助听器,两个电极位于距离电音响变换器不同的距离时,由于噪声未相互抵销,因此无法完全去除。
本申请的发明者,提取所输出的音响信号的振幅包络,来分析该振幅包络的频率,从而根据低频信号的振幅包络来推定混入到脑电波测量的电极中的电噪声。然后,通过根据所推定的噪声针对从脑电波测量的电极导出的电位进行噪声对策处理,从而即使是在音响信号的输出过程中也成功得到未受到由音响信号引起的噪声影响的脑电波。
图8表示本申请发明的概要。图8的轮廓线801是从左面看到使用者800的头部轮廓以及左耳。对使用者800的耳,经由耳麦802提示音响信号,以虚线所示的音响信号的振幅包络803,作为低频噪声而经由使用者800的头部的组织混入安装在头部的电极804。另一方面,表示脑的活动805的电信号到达电极804。电极804获取混杂有来自脑的活动805的电信号和由音响信号的振幅包络803引起的低频噪声的电位806。该电位经过电位提取部807发送给噪声对策处理部808。针对从耳麦802输出的音响信号,振幅包络提取部809提取音响信号的振幅包络803,输出给频率分析部810。噪声推定部811根据频率分析部810的频率分析结果来推定振幅包络803作为噪声混入时的电位,并输出给噪声对策处理部808。噪声对策处理部808从混杂了来自从电位提取部807输出的脑的活动805的电信号和混入的振幅包络803的波形中,减去根据从噪声推定部811输出的音响信号的振幅包络所推定的噪声,来进行噪声对策处理。由此,能够测量没有噪声的真正的脑电波812。
此外,本申请的发明人,分析所输出的音响信号,提取音响信号中所包含的低频信号,并根据该低频信号来设定了考虑到对脑电波测量的电极的影响的脑电波的判别基准。通过该方法,即使是在音响信号的输出过程中,也能够得到未受到来自音响信号的噪声影响的脑电波。
将通过上述处理得到的脑电波应用到如下的可穿戴设备中,这种可穿戴设备是具备基于利用脑电波的接口的设备操作、或通过脑电波来观测用户的状态的功能的设备之中的具有音响信号的输出部并且可穿戴的设备。其结果是,能够提供基于未受来自音响信号的噪声影响的脑电波的脑电波接口,或者,提供基于脑电波的用户的监测处理。
以下,参照附图来说明本发明的脑电波测量装置的实施方式。在各实施方式中所说明的脑电波测量装置,具有将电信号变换为声音的机构(声音输出单元)。声音输出单元的一个示例是电音响变换器。
(实施方式一)
图9是本实施方式的脑电波测量装置51的结构图。图10~图13分别表示本实施方式中的结构的一部分的详细结构。而且,用户100为了便于说明而未进行图示。脑电波测量装置51的结构要素中也未包括。
在本实施方式中,表示通过脑电波来监测用户状态,根据脑电波的变化来自动地控制设备的示例。更具体而言,是通过脑电波的α波的出现频度进行音响输出的音量操作的示例。能够应用于如图6所示的HMD或如图7所示的助听器。
脑电波测量装置51具有:输入部101;音响输出控制部110;波形生成部120;电音响变换器130;振幅包络提取部140;频率分析部147;噪声推定部150;电极部160;电位提取部170;噪声减法部180;和脑电波判定部190。
输入部101是用户100操作音响输出的开关等。
音响输出控制部110,控制所输出的音响信号。
波形生成部120,生成根据音响输出控制部110的控制信号而输出的音响信号的波形。
电音响变换器130将由波形生成部120生成的波形信号变换为音响信号来提示用户100。电音响变换器130,例如能够利用放大器以及扬声器来构成。
振幅包络提取部140分析由波形生成部120生成的波形信号,提取振幅包络。
频率分析部147求出由振幅包络提取部140提取的振幅包络的频率。
噪声推定部150根据在频率分析部147求出的振幅包络的频率,来推定因在振幅包络提取部140提取的低频分量产生的电噪声。
电极部160包括在用户100的单侧或两侧的耳周缘部所安装的至少两个以上的电极,更具体而言,包括作为基准极以及测量极而分别发挥功能的电极。电极部160是在电极与皮肤接触的金属、或者在与皮肤接触的金属中加入阻抗转换电路而构成。电极部160的各电极,获取所设置的位置的电位。如后所述,电位提取部170,计算基准极以及测量极的电位差。该电位差被作为脑电波来处理。
在此,希望注意由于在电音响变换器130的附近配置电极部160,所以会在所得到的脑电波的电位上叠加有因电音响变换器130的影响而产生的噪声。而且,所谓“附近”,是指低频带的噪声可有意地,换言之,以无法忽视的程度叠加于脑电波的范围。例如,在图5的斜线部所示的圆的中心配置了音响变换器时的斜线区域内为“附近”。
在图9中,虽然分别设置了电极部160与电音响变换器130,但也可以一体地形成它们。此时,电极部160所包含的所有电极可以与电音响变换器130呈一体地形成,也可以一部分电极(至少一个电极)与电音响变换器130呈一体地形成。
这样的结构,也可以在以下说明的各实施方式中采用。
电位提取部170测量电极部160的电极之中两个电极间的电位之差,以提取电位变化。电位提取部170,具有例如CPU以及存储器、AD变换器和放大器。
噪声减法部180,针对在电位提取部170提取出的电位变化进行减少在噪声推定部150所推定的电噪声的影响的噪声对策处理。而且,噪声减法部180,通过进行减法来降低电噪声的影响。然而,减法是处理的一个示例。若能够降低或者去除噪声,则也可以利用减法处理以外的运算。进行包括减法的各种运算的结构要素,能够称为噪声去除部。噪声减法部180是噪声去除部的一个示例。
脑电波判定部190根据在噪声减法部180进行处理的结果,利用脑电波所包含的特征分量,来判定该脑电波反映了用户100的何种意图。
音响输出控制部110、波形生成部120、振幅包络提取部140、频率分析部147、噪声推定部150、噪声减法部180以及脑电波判定部190,通过CPU以及存储器来实现。该CPU以及存储器也可以作为电位提取部170的一部分来发挥功能。在图9中,表示出以虚线包围由CPU以及存储器实现的结构。CPU通过执行存储器所存储的计算机程序,在某时刻作为上述一个结构要素来发挥功能,而且在某时刻,从表面上看,如以同时多个结构要素发挥功能的方式进行动作。
而且,CPU与存储器可以不是各一个。例如,也可以设置构成振幅包络提取部140、频率分析部147、噪声推定部150、噪声减法部180、脑电波判定部190以及电位提取部170的一部分的脑电波测量用的CPU以及存储器,并且设置包括音响输出控制部110以及波形生成部120的内容输出控制用的CPU以及存储器,来独立动作。
以下,说明上述各结构要素的内部结构。例如,图10~图13虽然表示出由CPU以及存储器实现的各结构要素内部的功能块,但各功能块只要不特别说明,则也通过CPU以及/或存储器来实现。各功能块的具体动作,参照后面的图14、图18等进行说明。
图10表示振幅包络提取部140的详细结构。振幅包络提取部140具有:波形截取部141;全波整流处理部142;峰值检测部143;低通滤波器144;由存储器实现的截取时间位置存储部145。
图11表示噪声推定部150的详细结构。噪声推定部150具有由存储器实现的信号噪声变换函数存储部151以及噪声推定处理部152。
图12表示噪声减法部180的详细结构。噪声减法部180具有电位波形截取部181和噪声分量减法部182。
图13表示脑电波判定部190的详细结构。脑电波判定部190具有:α波提取部191;α波时间长度计算部192;判定部193;在先状态存储部194;和脑电波截取部195。
图14表示脑电波测量装置51的处理步骤的流程图。以下,按顺序说明处理步骤。
在步骤S101中,电位提取部170,求出在多个电极部160之中,预先确定的基准电极与其它各测量极的电位差。基准电极,例如,可以在一个的桅杆上配置。
在步骤S102中,波形生成部120判断音响输出控制部110是否指示音响输出。在本实施方式中,音响输出的指示与图14的处理的执行独立出来。当指示音响输出时,从执行步骤S101前开始,波形生成部120根据该指示来生成并输出波形信号。
在步骤S102中,指示音响输出时(步骤S102“是”),处理进入步骤S5001,未指示音响输出时(步骤S102“否”),处理进入步骤S111。
在本实施方式中,当输出音响信号时,在步骤S101求出的电位差看作混入来自输出波形的低频的电噪声。因此,脑电波测量装置51作为用于去除噪声的处理,进行步骤S5001、步骤S5002、步骤S108、步骤S5003。
在步骤S5001中,振幅包络提取部140,提取在波形生成部120生成的输出音响信号的振幅包络作为低频分量。针对振幅包络的提取方法,参照图15在后进行详述。
在步骤S5002中,频率分析部147进行由步骤S5001提取的振幅包络的包络线的频率分析。包络线即低频分量(或低频域分量)的瞬时频率,例如,按照将低频域分量进行希尔伯特变换,并按照每个采样点计算瞬时角速度,根据采样周期将角速度变换为频率这样的步骤而求出。
在步骤S108中,噪声推定处理部152,确定在步骤S5002求出的与包络线的瞬时频率对应的系数。
此外,噪声推定处理部152利用信号噪声变换函数存储部151所存储的变换函数。图16表示变换函数的一个示例。变换函数是对所输出的音响信号的低频分量的频率与变换系数的对应关系进行规定的函数。更具体而言,变换函数按照随着频率变高而使变换系数变小(衰减)的方式规定频率与变换系数的对应关系。而且,变换函数被规定为:赋予使频率从20Hz至30Hz之间收敛为0的变换系数。信号噪声变换函数存储部151既可以保持变换函数作为函数式,也可以保持离散地记述了图16所示的频率与变换系数的关系的表。而且,可以将频率分割为规定频带,以各频带单位分配变换系数。然而,各频带的变换系数的大小,设为具有以图16所示的关系为基准的关系。在本申请说明书中,将上述变换函数、表、各频带单位与变换系数的关系总称为“变换规则”。变换规则是用于使频率与变换系数对应的规则,记述形式是任意的。
变换函数从20Hz至30Hz之间收敛为0,是根据电音响变换器的输出信号的频率与脑电波用电极所记录的电位的频率分量的实验确认出的。20Hz设为可听范围的下限频率。该变换函数表示出:可听范围或接近它的较高的频率分量虽然不产生噪声,但低于20Hz的频率分量易于成为对脑电波用电极的噪声。
而且,这些易于成为噪声的低频已与为了获知用户状态而使用的α波等的脑电波、或者为了获知认识或判断的状态而使用的事件关联电位的频率重合。因此,通过利用如图16那样的变换函数来正确地推定能够根据频率而变化的由电音响变换器的输出信号引起的噪声,并去除它,能够从埋在噪声中的脑电波中,仅提取并测量无噪声的正确的脑电波。这意味着通过利用脑电波来能够更正确地进行设备的操作。
然后,噪声推定处理部152,通过将所决定的系数乘以包络线(低频分量)的各值,推定因输出波形产生的低频电噪声作为时间波形。
在步骤S5003中,噪声减法部180从脑电波中去除在步骤S108中由噪声推定处理部152推定的噪声波形。针对去除的方法,参照图18在后进行详述。
在图14的步骤S111中,脑电波判定部190判定脑电波中的α波的出现频度是否减少。该处理所利用的脑电波如下来决定。即,在当前的处理在步骤S102中被判定为“否”,且执行分支后的结果时,脑电波判定部190利用在步骤S101中获取到的电位差当作脑电波。另一方面,在步骤S5003的处理后进行当前的处理时,脑电波判定部190利用通过步骤S5003去除了噪声波形后的脑电波。然后,评价该脑电波中的α波的出现频度。
α波的出现频度的评价方法,例如,如以下那样。
脑电波截取部195截取被预先确定的时间长度的脑电波波形。α波提取部191提取脑电波截取部195截取的脑电波中所记录的α波(约8Hz~13Hz)。α波时间长度计算部192求出在所截取的波形中所观测到的α波的总时间长度,判定部193与在先状态存储部194中所存储的过去的α波的总时间长度进行比较。判定中使用的时间长度,例如设为2秒。然而,判定中使用的时间长度是为了比较α波的出现频度而足够的长度,只要比在步骤S103中截取的输出波形的波形的时间长度短,任何值均可。
α波的提取,具体而言,例如按如下的步骤进行。首先,α波提取部191求出截取的脑电波全体的均方根(RMS)。另外,α波提取部191将截取的脑电波分割为各200ms的区域,按照每个区域求出RMS。然后,α波提取部191在各区域的RMS之中,确定与截取的脑电波全体的RMS相比超过10%以上的RMS,并提取与该RMS对应的区域。α波提取部191,例如通过均值平滑化(median smoothing)等方法对所提取出的区域内的波形进行平滑化之后,计数零交叉点,求出频率。该频率从8Hz至13Hz时,提取相应的区域200ms作为包含α波的区间。而且,上述α波的提取方法仅是一个示例,也可以用除此以外的方法进行。
在步骤S112中,音响输出控制部110调整所输出的音响信号的音量。在步骤S111中α波的出现频度减少时,即步骤S111中为“是”时,音响输出控制部110降低音响输出的音量(步骤S112)。在步骤S111中α波的出现频度未减少时,即步骤S111为“否”时,音响输出控制部110不进行针对音响输出的变更。
而且,在本实施方式中,虽然根据α波的出现频度进行音响输出的音量操作,但除此以外的操作,例如也可以作为进行开关的切断、模式的切换等的控制的操作。特别地,在助听器的情况下,也可以通过脑电波来进行利用脑电波而自动地切换集中于会话的模式或将杂音忽视的模式等的操作。
而且,图14所示的处理中,因输出音响信号,而能使用户的脑电波(例如,事件关联电位)的振幅或出现定时等变动。然而,即使产生这样的脑电波变动,上述的处理也不受影响。图14的处理,是以从电音响变换器去除直接叠加在电极的噪声为目的,这是由于噪声与输出音响信号实际上同时发生。
接着,参照图15的流程图以及图17的示意图来说明图14所示的步骤S5001的振幅包络的提取方法的细节。
在图15的步骤S103中,振幅包络提取部140内的波形截取部141,根据在步骤S102中通过波形生成部120生成的波形信号,截取被预先确定的固定时间长度的波形信号。波形截取部141,在时间位置存储部145中存储截取以秒单位记述了从截取的时刻(时间位置)例如从成为基点的时刻至开始时刻的时间长度的截取时间信息等。截取时间长度,例如设为2秒。该时间长度,需要大于或等于脑电波判定时的电位波形截取时间长度。截取时间信息,除此以外的记述形式,例如,也可以是按照从成为基点的时间起、3秒后、5秒后的方式记述截取开始时刻与截取结束时刻的形式。
图17(a)表示在步骤S103中截取的音响信号的时间波形的示例。横轴表示经过时间,单位是毫秒。图17(a)表示延及至500毫秒的波形。纵轴是各采样点的瞬时值,即瞬时的能量的相对值。音响信号本来是空气密度的粗密波,相对值具有负值。在图17中,虽然图示了500毫秒,但处理也可以在截取的波形的整个期间上进行。
在图15的步骤S104中,全波整流处理部142求出在波形截取部141截取的波形的各采样点处的瞬时值的绝对值。由此进行全波整流。图17(b)表示进行全波整流后的波形。该处理,针对图17(a)所示的音响信号的瞬时值作为相对值而具有负值的部分,成为向正的一侧折返的处理。全波整流是如下的处理,即:针对能量0的状态,同样地处理粗密波的向“粗”的振幅与向“密”的振幅。
在步骤S105中,峰值检测部143检测被全波整流后的波形的峰值。具体而言,峰值检测部143在步骤S104中被绝对值化后的波形的值的时间序列的波形数据串中,求出与相邻的数据点之差的数据串。然后,检测出在该数据串中符号反转的数据位置处的全波整流处理波形的数据串上的值作为峰值位置。
图17(c)是图17(b)所示的全波整流处理的结果,即将音响信号波形进行绝对值化后的值的时间序列。圆内放大表示了波形的一部分。在表示相邻的数据点间之差的数据串中,符号反转的数据位置,是例如圆中的×标记所示的点。峰值检测部143检测出与这些点对应的全波整流处理波形的数据串上的值,即图17(b)上的值。图17(d)表示提取结果。
在图15的步骤S106中,峰值检测部143生成图17(d)所示的、提取了峰值位置的数据与其时间位置的数据串,并通过以等间隔的时间间隔对该数据串进行采样来生成波形数据的包络线信号。
图17(e)放大表示图17(d)的波形的一部分。图中的虚线是在图17(d)所示的步骤S105中提取的值,白圈是被采样后的值。图17(a)至(c)中,采样频率为44.1kHz,相对于此,在图17(e)中,采样的采样频率为1kHz。
在图15的步骤S107中,峰值检测部143向低通滤波器144输出在步骤S106中生成的包络线信号。低通滤波器144设为例如截止频率30Hz的FIR(Finite Impulse Response)滤波器。能够通过低通滤波器144来进行包络线信号的平滑化。将从低通滤波器144输出的数据序列作为包络线信号(振幅包络)。包络线信号被作为输出波形所包含的低频分量而输出。
在图17(e)中,通过使以白圈所示的数据序列通过低通滤波器,从而得到如虚线所示的数据。相对于图17(d)整体,成为如图17(f)的实线那样。
图17(f)表示在图17(d)所示的步骤S104中生成的全波整流处理结果的数据序列、和在步骤S107中通过低通滤波器的数据序列(即包络线)。各时刻处的数据序列表示全波整流处理结果,该值以左纵轴(时刻0处所设置的纵轴)所带的刻度来表示。另一方面,(f)的实线是该数据序列的包络线,该值以右纵轴(时刻500ms处所设置的纵轴)所带的刻度来表示。包络线的值是相对值。
接着,根据图18的流程图来说明图14所示的步骤S5003的噪声去除的细节。
在步骤S109中,电位波形截取部181(图12),从在步骤S101中获取到的电位波形中,截取与计算出来自输出波形的噪声的时间区间对应的时刻的电位波形。在步骤S101中获取到的电位,包括来自输出波形的噪声,即在步骤S108推定的电噪声。
电位波形截取部181,从在电位提取部170中获取到的基准电极以外的各电极的电位波形中,根据噪声推定部150所存储的输出波形的截取时间位置的信息,截取与输出波形在时间上对应的电位波形。
在步骤S110中,噪声分量减法部182从在步骤S109中截取的电位波形中减去在步骤S108中推定的由输出波形所产生的低频电噪声,输出去除了噪声的电位作为脑电波。
图19(a)示意性包含表示叠加有低频噪声的α波的脑电波的时间波形。图19(b)表示在图19(a)中脑电波中所叠加的低频噪声的波形。如图19(a)所示,从叠加有噪声的波形中无法明确判别α波,对α的区间进行的判断会比实际过大或过小。通过从步骤S5001至步骤S108的步骤来推定图19(b)所示的噪声,若根据图19(a)的波形进行减法,则能够得到图19(c)所示的波形。在图19(c)的波形中,看到10Hz的呈纺锤形的特征性的α波,能够正确地判定α波的区间。
在混入了由音响输出引起的低频带的电噪声的状态下,无法分离作为指标而使用的特征脑电波分量即α波与噪声。若如此,则尽管实际上α波不存在,在步骤S111中也将噪声作为α波进行检测,因而无法正确地捕获α波的出现频度的变化。因此,本实施方式的示例,无法正确进行音量的调节。
然而,如以上那样进行动作的脑电波测量装置51,分析从与电极接近的电音响变换器输出的波形信号,推定出电极所记录的电位中混入的低频电噪声并进行去除。由此,即使在电极与电音响变换器接近、音响信号直接绕入电极的情况下,也能够测量不受音响输出影响的脑电波,来监测感情或睡眠等用户的状态。
根据本实施方式的结构,在可穿戴设备的范围内,即使将电极与电音响变换器接近地装配,也能够进行基于脑电波的用户状态的监测。由于不需要在可穿戴设备以外安装电极,因此,能够削减用户的设备安装负担。
而且,在本实施方式中,虽然作为用户状态的监测而使用了α波的出现频度,但这只是一个示例。也可以使用α波与β波的能量比率等,也可以使用基于其它脑电波分量的指标。
(实施方式二)
图20是本实施方式的脑电波测量装置52的结构图。此外,图21~图23表示本实施方式中的结构的一部分的详细结构。对于图20、图21、图22和图23,对与实施方式1相同的部分赋予相同记号,省略说明。
在本实施方式中,表示通过使用事件关联电位的脑电波接口获取用户的意图来控制设备的示例。作为获取事件关联电位时的脑电波截取用触发,而在本实施方式中假设如图6所示的HMD,且使用了显示器上的选择支的高亮化(highlight)定时。
脑电波测量装置52具有:输出控制部210;波形生成部120;电音响变换器130;振幅包络提取部240;频率分析部147;噪声推定部150;图像信号生成部220;显示器230;电极部160;电位提取部170;电位波形截取部260;噪声减法部180;脑电波特征提取部270;和判别部290。
输出控制部210控制设备的输出。
波形生成部120生成根据输出控制部210的控制信号输出的音响信号的波形。
电音响变换器130将在波形生成部120生成的波形信号变换为音响信号且向用户提示。
振幅包络提取部240分析在波形生成部120生成的波形信号来提取低频分量。
频率分析部147分析在振幅包络提取部240提取出的振幅包络的频率。
噪声推定部150根据在频率分析部147分析的频率来推定由在振幅包络提取部240提取出的低频分量产生的电噪声。
图像信号生成部220生成图像信号,并根据输出控制部210的控制信号来输出图像信号。图像信号生成部220,发送在电位波形截取部260截取的时间位置信息。截取时间位置信息,例如在使选择支被高亮化的瞬间被发送。这表示选择支的高亮度化定时。该截取时间位置信息,在获取事件关联电位时的脑电波截取时被利用。
显示器230显示图像。显示器230例如是液晶显示器。
电极部160,被安装在用户100的单侧或两侧的耳周缘部。
电位提取部170提取电位数据。该电位数据也称为电位波形信号。
电位波形截取部260,根据从图像信号生成部220输出的截取时间位置信息,从由电位提取部170提取出的电位数据中截取电位波形。
噪声减法部180针对由电位波形截取部260截取的电位波形,进行减少由噪声推定部150推定的来自输出波形的电噪声的影响的噪声对策处理。
脑电波特征提取部270,从在噪声减法部180进行了处理的脑电波中,提取判别中使用的脑电波的特征量。
判别部290根据由脑电波特征提取部270提取出的特征量,进行用户的意图的判别。
在这些结构要素中,波形生成部120、振幅包络提取部240、频率分析部147、噪声推定部150、噪声减法部180、输出控制部210、图像信号生成部210、电位波形截取部250、脑电波特征提取部270、判别部290以及电位提取部170的一部分通过CPU与存储器来实现。
图21表示振幅包络提取部240的详细结构。振幅包络提取部240具有:波形截取部241;微波变换部242;低频分量提取部243;和微波逆变换部244。
图22表示脑电波特征提取部270的详细结构。脑电波特征提取部270具有:脑电波截取部195;微波变换部271;和特征分量提取部272。
脑电波特征提取部270提取脑电波波形中所包含的分量。所提取出的分量数据,被利用于如下的处理,即用于判定是否包含判别部290中的事件关联电位的P300分量的处理。
其中,本实施方式中的“事件关联电位的P300分量”是指:例如,以菜单的项目被高亮化的时刻为起点,潜伏时约300ms后的脑电波分量中出现的特征性的阳性分量。
脑电波截取部195,截取测量需要的时间范围的电位波形。具体而言,例如,截取高亮化定时的-100毫秒~600毫秒的区间。
微波变换部271通过微波变换,对所截取的连续的脑电波波形进行时间频率分解。特征分量提取部272从被时间频率分解的数据中,提取需要的时间段以及频带作为特征分量,并发送给判别部290。例如,以菜单的项目被高亮化的时刻为起点的200ms~400ms(300±100ms)的时间段。
图23表示判别部290的详细结构。判别部290具有特征量比较部291和判别基准数据库292。
判别基准数据库292,例如构筑在存储器上。在判别基准数据库292中,预先存储有:通过将包含上述典型的P300分量的脑电波波形进行微波变换而得到的特征分量的数据、和通过将不含P300分量的脑电波波形进行微波变换而得到的特征分量的数据。分别将它们称为“基准数据”。
特征量比较部291,对从特征分量提取部272接收到的特征分量、和判别基准数据库292中所存储的基准数据进行比较,来计算相似度。然后,根据计算出的该相似度,来判别接收到的特征分量是与含有P300的特征分量的数据接近,还是与不含有P300的特征分量的数据接近。
图24是表示本实施方式的脑电波测量装置52的处理步骤的流程图。以下,参照图24来说明脑电波测量装置52的动作。
在步骤S101中,电位提取部170求出电极部160的电极中预先确定的一个基准电极与各个测量极的电位差。基准电极例如设为一个桅杆。
在步骤S201中,电位波形截取部260,判断输出控制部210是否指示了成为事件关联电位测量的触发的信息提示。成为触发的信息提示,具体而言,例如,向图像生成部220指示生成使显示器上作为图像而显示的菜单列表的一个项目进行高亮化来促使用户关注的图像。
图25(a)~(d)是使用脑电波接口来选择菜单时的菜单列表的画面显示例。菜单列表例如如图25(a)至(d)所示,在可选择的菜单(在图25的示例中,列举“棒球”、“天气预报”、“动画片”、“新闻”的画面)的显示中,仅使一个项目进行高亮化。(a)至(d)按照顺序表示使“棒球”、“天气预报”、“动画片”、“新闻”的各项目被高亮化的示例。例如在(a)中,高亮化显示“棒球”,其它三项未被高亮化显示。
图像信号生成部220根据图像的生成指示来生成图像信息,而且像电位波形截取部260和振幅包络提取部240输出触发定时(在本实施方式的具体例中选择支的高亮化定时)。
在步骤S202中,电位波形截取部260将在步骤S201中设定的高亮化定时作为基准,从电位提取部170所提取出的电位波形中截取测量所需要的时间范围的电位波形。例如,电位波形截取部260例如只要不截取高亮化定时的-100毫秒~600毫秒的区间即可。
在步骤S102中判断是否是来自音响输出控制部110的音响输出指示。
在步骤S102中有音响输出指示时,即在步骤S102中为“是”时,处理进入步骤S1000。在步骤S1000中,看作在步骤S101获取到且在步骤S202截取的电位差中混入了来自输出波形的低频电噪声,并进行噪声去除处理。
另一方面,在步骤S102中没有音响输出指示时,即在步骤S102中为“否”时,处理进入步骤S203。在步骤S203中,将在步骤S101中获取到且在步骤S202截取的电位波形看作脑电波(事件关联电位),并进行噪声去除处理。
图26表示步骤S1000的细节。步骤S1000为了去除本实施方式的流程图的来自输出波形的电噪声而执行。
步骤S1000按照从图26所示的S1001至S1006所示的步骤进行。
在步骤S1001中,波形截取部241以从图像信号生成部220输出的高亮化定时为基准,从在波形生成部120生成的波形信号中截取与脑电波的测量时间范围对应的波形信号。具体而言,截取与在步骤S202截取的电位波形的时间范围一致的时间所输出的波形、或包括在一致的时间所输出的波形的时间范围的输出波形信号。
在步骤S1002中,微波变换部242将在步骤S1001截取的波形进行微波变换,并分解为每个频率分量的频带。
在步骤S1003中,低频分量提取部243提取30Hz以下的分量。此时所提取出的分量,是在时间频率区域所表现的低频分量。该低频分量包括振幅包络的分量。
在步骤S1004中,微波逆变换部244进行在步骤S1003提取出的低频分量的微波逆变换,并生成提取出的低频分量的时间波形。通过该处理,能够提取由波形生成部120生成的输出信号的振幅包络作为时间波形。而且,微波逆变换是微波变换的逆处理,是将被时间频率分解后的数据恢复回时间区域的波形的数据的处理。由于该处理众所周知,因此省略详细说明。
在步骤S5002中,频率分析部147进行在步骤S5001提取的振幅包络的包络线的频率分析。包络线即低频分量(或低频域分量)的瞬时频率,例如,按照以下步骤求出:将低频域分量进行希尔伯特变换,按照每个采样点来计算瞬时角速度,并根据采样周期将角速度变换为频率。或者,使用在步骤S1002中进行的微波变换的微波系数,在步骤S1003所提取出的低频分量之中,按照每个采样点将能量最大的频率作为振幅包络的频率。
在步骤S1005中,根据在步骤S1004生成的波形,噪声推定部150与实施方式一的步骤S108同样,推定由输出波形所产生的低频的电噪声作为时间波形。噪声推定处理部152根据信号噪声变换函数存储部中所存储的变换函数,来决定与低频分量的时间波形的瞬时频率对应的系数。然后,将该系数乘以低频分量的时间波形的各值,来推定由输出波形所产生的低频的电噪声作为时间波形。
在步骤S1006中,噪声分量减法部182,从在步骤S202所截取的电位波形中,减去在步骤S1005推定的由输出波形所产生的低频电噪声,将去除了噪声的电位作为脑电波而输出。
在步骤S203中,微波变换部271对在步骤S202截取的事件关联电位、或者在步骤S202截取且在步骤S1000中实施了噪声去除处理的事件关联电位进行微波变换。由此,对事件关联电位进行时间频率分解。通过将脑电波在时间与频率的特征量中进行细化,能够选出并提取出选择时的脑电波的特征信号的发生时间段或频带。
在步骤S204中,特征分量提取部272根据步骤S203的微波变换的结果,仅截取与脑电波特征信号相关的区域。具体而言,例如,截取频率5Hz以下的区域。由此,能够提取事件关联电位的主要分量即P300的频带,并且主要去除在5Hz以上的频带所记录的眼电或筋电。
特征分量提取部272,截取从高亮化后200ms至400ms区间的信息作为脑电波特征分量。即在本实施方式的示例中,提取频率5Hz以下的200ms至400ms的区域所包含的数据采样点。这是因为P300是从触发开始经过约300ms后所观测到的电位变化。
在步骤S205中,特征分量提取部272,将在步骤S204提取出的数据采样点作为脑电波特征分量而组合成一个数据,作为脑电波特征量。
在步骤S206中,判别部290的特征量比较部291,求出在步骤S205生成的特征量与判别基准数据库292所积累的基准数据的相似度,判断所测量的事件关联电位是与选择高亮化项目的意图对应,还是与不选择高亮化项目的意图对应。
判别基准数据库292所积累的基准数据,是被预先准备的脑电波特征量。本申请发明人如以下那样得到基准数据。首先,预先针对多人的用户,让他们在事前明确要选择多个项目中的哪个项目(选择支)。在此基础上,在与实际利用脑电波接口时同样的电极位置处,实施脑电波接口实验。然后,按顺序使多个项目高亮化,在头脑中进行选择,测量此时的脑电波(事件关联电位)。与从上述步骤S203至S205同样地对所记录的事件关联电位数据进行微波变换,通过提取在频率5Hz以下从200ms至400ms的脑电波特征区域的采样点进行结合,得到脑电波特征量。将该脑电波特征量分类为想选择的项目与不想选择(未选择)项目,且与脑电波特征量建立对应而得到的数据是基准数据。判别基准数据库292对如此得到的基准数据进行保持。
而且,可以将基准数据如上所述地基于不确定的多人的脑电波来生成。此外,对于利用脑电波接口的用户100,也可以与上述相同地预先实施学习作业,生成利用了用户100的脑电波的基准数据。
特征量比较部291进行表示在步骤S205生成的脑电波特征量与想选择的项目被高亮化时的波形有何种程度相似的相似度的计算。具体而言,特征量比较部291,将判别基准数据库292所积累的基准数据分类为想选择时的波形(正解波形)和不想选择时的波形(非正解波形)这两个组。然后,特征量比较部291,通过计算所测量的脑电波特征量与正解波形组、非正解波形组的脑电波特征量之间的距离,计算与正解波形组的相似度。在本实施方式中,作为相似度的计算方法,利用线性判别方法,将在步骤S205得到的特征量属于正解波形组或非正解波形组的事后概率作为相似度。
而且,上述相似度的计算方法是一个示例。作为其它计算方法,也可以使用支持向量机(support vector machine)或神经网络(neural net)等方法。在这些方法中,根据划分正解波形组、非正解波形组的边界线,计算出所测量的脑电波特征量有何种程度接近(距离边界线的距离)正解波形组。由此,也可以计算出脑电波特征量与正解波形组的相似度。
在步骤S207中,特征量比较部291比较在步骤S206求出的与正解波形组的相似度和与非正解组的相似度。特征量比较部291,当与正解波组的相似度大于与非正解波形组的相似度,并且与正解波形组的相似度是在预先确定的阈值以上、与非正解组的相似度是在预先确定的阈值以下时,判断为表示选择所测量的事件关联电位被高亮化显示的项目的意图。预先确定的阈值,例如,针对与正解波形组的相似度在0.7以上,针对与非正解波形组的相似度在0.3以下。
而且,在本实施方式中,按照每高亮化一次进行了选择意图的判定。然而,也可以在进行全选择支的高亮化,并获取到对各选择支的高亮化的事件关联电位之后,将与正解波形组的相似度最高的选择支判断为用户想要的选择支。例如,在进行了从图25(a)至(d)的4个显示和伴随于此的事件关联电位的获取之后,比较与各选择支的事件关联电位的相似度,而采用与正解波形组的像素度最高的选择支。各选择支的高亮化可以进行多次,此时,也可以是按照每个选择支生成加法平均波形来求出与正解波形组的相似度的方法。此外,针对各选择支的多次高亮化,也可以按照每次高亮化来求出与正解波形组的相似度,并使用经多次高亮化后的平均或中间值等的代表值来进行与选择支间的正解波形组的相似度比较。
在步骤S207中,判定:相似度与正解波形组的相似度是否大于与非正解波形组的相似度,并且与正解波形组的相似度是否在预先确定的阈值以上、与非正解波形组的相似度是否在预先确定的阈值以下。当满足两个条件时,即在步骤S207中为“是”时,输出控制部210,作为在步骤S208中选择了被高亮化的项目而执行该项目。具体而言,例如,停止再现中的乐曲的输出,开始在菜单类表中被高亮化提示的乐曲的再现。
另一方面,在步骤S207中,当未满足上述任一个条件时,即,在步骤S207中为“否”时,结束动作。
如上所述,脑电波测量装置52,分析从与电极接近的电音响变换器输出的波形信号,来推定混入在电极所记录的电位的低频电噪声并进行去除。由此,即使在电音响变换器接近于电极时,也能够不受音响输出影响地测量脑电波,以用作脑电波接口。其结果是,在可穿戴设备的范围内即使将电极与电音响变换器相接近配置,也能够利用脑电波接口,由于不需要在可穿戴设备以外安装电极,因此能够削减用户的设备安装负担。
此外,图像信号生成部220,虽然设为在使选择支高亮化的时刻输出截取时间位置信息,但这仅是一个示例。图像信号生成部220,也可以在被高亮化之后,输出表示该高亮化时刻的信息作为截取时间位置信息。此时,振幅包络提取部240或电位波形截取部260也可以分别根据输出波形信号以及电位波形信号来判断截取需要波形的时间段。
此外,在步骤S203中,说明了振幅包络提取部240进行微波转换。然而,振幅包络提取部240也可以进行傅里叶变换。此时,图21的微波变换部242以及微波逆变换部244,可以分别换称为进行傅里叶变换的傅里叶变换部以及进行傅里叶逆变换的傅里叶逆变换部。
(实施方式二的第一变形例)
在实施方式二中,作为用于脑电波测量的输出,使用了基于显示器230的图像输出。然而,也可以是对触觉的力觉提示、对鼻子的基于味道物质的喷雾的嗅觉提示、对舌头的基于味物质提示的味觉提示等的对视觉以外的感觉的信号提示。
例如,能够不是将显示器230、而是将音响信号的输出用于触发。此时,例如,在利用图2所示的耳机的音乐播放器中,能够如依次切换提示乐曲那样,能够将乐曲的快进(zapping)中的乐曲的切换定时。参照图27,对这样的实施例的脑电波测量装置的结构进行说明。
图27是本实施方式的第一变形例的脑电波测量装置57的结构图。脑电波测量装置57利用与实施方式一同样的电音响变换器130来提示多首乐曲,将切换乐曲的定时作为触发来截取脑电波,获取事件关联电位。脑电波测量装置57由于仅通过乐曲来决定截取脑电波的定时,因此,可以不具有实施方式二的脑电波测量装置52(图20)所设置的显示器230。在脑电波测量装置57的结构要素中,例如对与脑电波测量装置52(图20)具有相同功能的结构要素,赋予相同参照符号。并且省略共同的结构要素的说明。而且,以虚线包围的结构要素,能够通过CPU以及/或者存储器来实现。
本变形例的脑电波测量装置57的处理,总体上执行图24以及图26所示的处理。不同点在于,只是与采用切换乐曲的定时作为触发相关联的处理。以下,对其中一个示例进行说明。
如图27所示,波形生成部121生成输出波形,并且向电位波形截取部260与振幅包络提取部240输出乐曲的切换定时。该处理与前面说明的实施方式二中的图像信号生成部220输出高亮化定时的处理(图24的步骤S201)对应。
在步骤S202中,电位波形截取部260以波形生成部121输出的乐曲切换定时作为基准,从由电位提取部170提取出的电位波形中截取测量所需要的时间范围的电位波形。此外,波形截取部241,获取波形生成部121输出的乐曲切换定时,以代替从图像信号生成部220输出的高亮化定时。
在步骤S1001,波形截取部241将乐曲切换定时作为基准,从由波形生成部120生成的波形信号中截取与在步骤S202截取的电位波形的时间范围一致的时间所输出的波形。或者,波形截取部241,截取包括在一致时间所输出的波形的时间范围的输出波形信号。根据该处理,在如音乐播放器那样没有显示器的可穿戴设备中,也能够构成与实施方式二同样的脑电波接口。
而且,在本实施方式中,脑电波特征提取部270在步骤S203中使用了基于微波的时间频率分解。然而,除此以外的方法,例如,也可以采用如下方法,即:使用采用傅里叶变换的时间频率分解的方法、或使用基于脑电波分量的峰值提取的潜伏时间与振幅的方法。
(实施方式二的第二变形例)
接着,对上述本实施方式的脑电波测量装置的第二变形例进行说明。在本变形例中,虽然采用利用了显示器的视觉刺激作为触发,但进行与实施方式二的处理不同的处理。
图28是本实施方式的第二变形例的脑电波测量装置53的结构图。
与前面的实施方式二相同,在本变形例中,也对通过使用了事件关联电位的脑电波接口来获取用户的意图以控制设备进行说明。
在本示例中,作为获取事件关联电位时的脑电波截取用触发,在本实施方式中假设如图6所示的HMD,且使用了显示器上的选择支的高亮化定时。
在本示例的脑电波测量装置53中,代替实施方式二的脑电波测量装置52中所设置的振幅包络提取部240,而设置了频带分量分析部340。此外,代替噪声推定部150而设置了噪声推定部350。除此以外是相同的结构。以虚线包围的结构要素通过CPU以及/或存储器来实现为相同点。
频带分量分析部340以及噪声推定部350通过CPU与存储器来实现。这与实施方式二中的振幅包络提取部240和噪声推定部150相同。
脑电波测量装置53具有:输出控制部210;波形生成部120;电音响变换器130;频带分量分析部340;噪声推定部350;图像信号生成部220;显示器230;电极部160;电位提取部170;电位波形截取部260;噪声减法部180;脑电波特征提取部270;和判别部290。
频带分量分析部340,分析由波形生成部120所生成的波形信号,并分解成每个频带的分量。
图29表示频带分量分析部340的详细结构。频带分量分析部340具有波形截取部241、微波变换部242、以及频带分量分割部343。
图28的噪声推定部350通过针对由频带分量分析部340生成的每个频带的分量,按照每个频带来计算电噪声的分量之后,结合每个频带的分量而生成波形,从而推定电噪声。
图30表示噪声推定部350的详细结构。噪声推定部350具有:频带分量计算部351;信号噪声变换系数表352;和微波逆变换部353。噪声推定部350中所包含的信号噪声变换系数表352通过存储器来实现。
兼顾频带分量分析部340以及噪声推定部350的各结构要素的说明,以下,参照图31来说明脑电波测量装置53的处理。而且,关于图28~图30,对与实施方式二相同的部分赋予相同的记号,并省略说明。
本变形例的脑电波测量装置52的动作,除了步骤S1000与图24相同。在本变形例中,也利用选择支的高亮化定时作为触发信息的一个示例。
而且针对步骤S1000,除了将图26的步骤S1003至步骤S1005的动作替换为步骤S2003至步骤S2006的动作以外,与实施方式二的处理步骤相同。因此,针对其它动作适当省略说明。
图31表示本变形例的脑电波测量装置53中的步骤S1000中的处理步骤的流程图。在本变形例中,步骤S1000的处理,为了去除来自输出波形的电噪声而被执行。
在步骤S2003中,频带分量分割部343按照每个频带来分割在步骤S1002所分解的每个频率的分量。具体而言,例如,作为一个示例,如图32所示,分割为0Hz~2Hz、2Hz~4Hz、4Hz~8Hz、8Hz~16Hz、16Hz~32Hz、32Hz以上的6个频带。
在步骤S2004中,如图30所示,频带分量计算部351参照信号噪声变换系数表352,来决定与在步骤S2003生成的输出波形的每个频带的分量的能量对应的变换系数。图32表示信号噪声变换系数表352的一个示例。根据图32可知,设定了与频带以及能量(单位:dB)对应的系数。
而且,频带分量计算部351,将所决定的变换系数乘以输出波形的每个频带的分量的数据,求出电噪声的每个频带的分量。输出波形的频带分量的能量,具体而言,例如,作为相对于将输入边界值设为90dB的基准值的比,而设为进行分贝显示的值。信号噪声变换系数表虽然以实施方式一的图16所示例的信号噪声变换函数为基础而制成,但针对从信号到噪声的变换比率,由于要附加电极与电音响变换器的距离等的信号的频带分量以外的主要因素,因此应通过实测来决定。
在步骤S2005中,微波逆变换部353,结合由步骤S2004求出的每个频带的分量来进行微波逆变换,生成推定的电噪声的时间波形。
通过以上的处理,在最后的步骤S1006中,噪声分量减法部182通过从在步骤S202截取的电位波形中减去在步骤S2005推定的来自输出波形产生的电噪声,从而输出去除了噪声的电位作为脑电波。
接着的步骤S203~S208(图24)的处理,原则上与实施方式二大致相同。不同之处在于,步骤S204的处理有一部分不同。
在步骤S204中,特征分量提取部272根据步骤S203的微波变换的结果,仅截取与脑电波特征信号相关的区域。具体而言,特征分量提取部272,例如,为了提取P300分量的特征,而提取从频率5Hz以下的200ms至400ms的区域中所包含的数据采样点。在之后的步骤S205以后,与实施方式二的说明相同。
如上所述,根据实施方式二的变形例的脑电波测量装置53,得到与实施方式二的脑电波测量装置52相同的效果。
(实施方式三)
图33是本实施方式三的脑电波测量装置54的结构图。若与实施方式二的波形例的脑电波测量装置53相比较,在本实施方式的脑电波测量装置54中,去除了实施方式二的变形例中的噪声推定部350。此外,代替噪声减法部180而设置了判别基准设定部480,代替判别部390而设置了判别部490。除此以外,本实施方式的脑电波测量装置54的结构,与实施方式二的波形例的脑电波测量装置53的结构相同。以虚线包围的结构要素能够通过CPU以及/或者存储器来实现,这一点也相同。
与前面的本实施方式相同,在本实施方式中,表示通过使用了事件关联电位的脑电波接口获取用户的意图来控制设备的示例。
判别基准设定部480以及判别部490,通过CPU以及存储器来实现。这与实施方式二的变形例的脑电波测量装置53的噪声减法部180以及判别部390相同。
在本实施方式三中,与实施方式二相同,表示通过使用了事件关联电位的脑电波接口获取用户的意图来控制设备的示例。作为在获取事件关联电位时的脑电波截取用触发,在本实施方式中,假设如图6所示的HMD,且使用了显示器上的选择支的高亮化定时。
脑电波测量装置54具有:输出控制部210;波形生成部120;电音响变换器130;频带分量分析部340;判别基准设定部480;图像信号生成部220;显示器230;电极部160;电位提取部170;电位波形截取部260;脑电波特征提取部270和判别部490。
判别基准设定部480,针对由频带分量分析部340生成的每个频带的分量,设定脑电波判定时的判定基准。
判别部490,按照由判别基准设定部480设定的判别基准,根据由脑电波特征提取部270提取出的脑电波特征量来判别用户的意图。
图34表示判别基准设定部480的细节。判别基准设定部480具有按频带判别基准设定部481与判别基准变更表482。
图35表示判别部490的细节。判别部490具有特征量比较部491和判别基准数据库292。而且,判别基准数据库292通过存储器来实现。
兼顾判别基准设定部480以及判别部490的各结构要素的说明,参照以下图36来说明脑电波测量装置54的处理。而且,对于图33~图35,对与实施方式二的变形例相同部分赋予相同的记号,省略说明。
图36是表示本实施方式的脑电波测量装置54的处理步骤的流程图。除了步骤S1000被置换为步骤S3000,步骤S207被替换为步骤S307以外,与实施方式二相同,因此,针对除此以外的动作适当省略说明。
在步骤S102中有音响输出指示时,在步骤S3000中进行基于输出波形的判别基准的设定。在步骤S102中无音响输出指示时,看作对输出波形的脑电波无影响,而不进行判别基准的设定。
图37是表示脑电波测量装置54中的步骤S3000的处理步骤的流程图。通过该处理,设定判别基准。
首先,步骤S1001以及S1002,与实施方式二的说明相同。
另一方面,在步骤S2003中,频带分量分割部343按照每个频带来分割在步骤S1002所分解的每个频率的分量。具体而言,例如,分割为0Hz~2Hz、2Hz~4Hz、4Hz~8Hz、8Hz~16Hz、16Hz~32Hz、32Hz以上的6个频带。如声音或音乐这样的音响信号的频率分量,即使是相同说话者内或同一乐曲内,也时时刻刻在变化,因此,来自输出波形的电噪声也时时刻刻发生变化。
图38是示意性表示通过输出波形的频带分量设定了判别基准时的一个示例。图38中的每个频带的网格部分示意性表示输出波形的低频区域中的频带分量的时间变化。在图38中,每个频带的能量,例如,设为:相对于将输入边界值设为90dB的基准值的比的分贝显示。能量例如被分类为四个之中的任一个。具体而言,能量的分类的一个示例为:小于10dB、10dB以上且小于20dB、20dB以上且小于30dB、30dB以上4个。而且,该分类个数与后述的判别基准变更表482的关系将在后述。
每个频带的能量分别在时间轴上变化。例如,在图38中,在2Hz以下从0至400ms的时间内能量变大,400ms以后,能量稍降低。与此相反,在16Hz至32Hz从0至450ms附近,虽然能量并不那么大,但从450ms附近开始以后,能量变大。在伴随这样的变化,来自输出波形的电噪声时时刻刻变化过程中,为了正确地判断获取到的脑电波,需要根据噪声的状况使判别基准变化。
在步骤S3004中,按频带判别基准设定部481参照判别基准变更表482。具体而言,按频带判别基准设定部481,针对与输出波形按照每个频率频带发生时间变动的状况对应而确定的判别基准,来参照包含作为脑电波接口而使用的脑电波分量的时间频率范围在内的时间频率范围的判别基准。例如,如图38所示,在本实施方式中,在脑电波分量P300的时间频率范围从200ms值500ms中,参照包含4Hz以下的范围的时间频率范围。
图39表示判别基准变更表482的一个示例。按频带判别基准设定部481,利用该判别基准变更表482,来设定与输出波形的每个频带的分量的能量对应的判别基准。如图39所示,将能量分割为例如小于10dB、10dB以上且小于20dB、20dB以上且小于30dB、30dB以上4个之中的任1个,按照每个频带来设定与正解波形组的相似度的下限、和与非正解波形组的相似度的上限。
在实施方式二的步骤S207中,相似度的判定阈值是固定的。然而,在本实施方式中,判定阈值是与正解波形组的相似度和与非正解波形组的相似度的组合,且按照每个输出波形的频带来设定组合。
上述图39所公开的判定阈值的表,表示与正解波形组的相似度的下限和与非正解波形组的相似度的上限。而且,判断阈值是与按照每个频带时时刻刻变化的输出波形的每个频带的能量对应地被自动设定的。
例如,相对于图38所示的每个频带的能量的时间变化,在2Hz以下的频带的从0至400ms区间中具有30dB以上的能量。因此,参照图39,将满足“与正解波形组的相似度为0.8以上、与非正解波形组的相似度为0.1以下”的条件的事件关联电位看作反映了用户的选择的意思。针对各频带同样地根据每个时间区间的能量来设定判别基准。由于根据要判别的事件关联电位,判别中利用的频带与时间会不同,因此,能够通过准备各频带的每个时间的判别基准,来与各种事件关联电位进行对应。
而且,在本实施方式三中,针对输出波形的频带分量,如上述那样地分割能量与频率,并参照判别基准变更表482中所存储的预定的判别基准值来设定了判别基准值。然而,也可以通过作为函数而预先保持了频率与能量的关系,并利用函数来设定判别基准值等、设定与输出波形的频带分量对应的判别基准等的其他方法来设定判别基准值。
接着的步骤S203~S206(图24)的处理,原则上与实施方式二或其变形例大致相同。其不同之处在于,步骤S204的处理有一部分不同。
在步骤S204中,特征分量提取部272根据步骤S203的微波变换的结果,仅截取与脑电波特征信号相关的区域。具体而言,例如为了提取P300分量的特征,而提取频率4Hz以下的从200ms至400ms区域所包含的数据采样点。此后的步骤S205以后,与实施方式二的说明相同。
在步骤S307中,特征量比较部491对在步骤S206求出的与正解波形组的相似度和与非正解波形组的相似度进行比较。特征量比较部491,当与正解波形组的相似度大于与非正解波形组的相似度,并且与正解波形组的相似度是在步骤S3004决定的值以上、与非正解波形组的相似度是在步骤S3004确定的值以下时,判断为表示对在步骤S208高亮化显示了所测量的事件关联电位的项目进行选择的意图。预定的值,例如设为:针对与正解波形组的相似度为0.7以上,针对与非正解波形组的相似度在0.3以下。
当满足上述条件时(步骤S307“是”),输出控制部210,作为对在步骤S208被高亮化的项目进行选择,而执行该项目。具体而言,输出控制部210,例如,停止再现中的乐曲的输出,而开始菜单列表中被高亮化提示的乐曲的再现。
另一方面,在步骤S307中,当未满足上述任一条件时,即在步骤S307中为“否”时,停止动作。
而且,在本实施方式三中,针对步骤S3000中32Hz以下的所有时间频率范围进行了判别基准的设定。然而,与判别中使用的脑电波分量对应的时间频率范围,在本实施方式中与P300对应的从200ms至500ms中,也可以仅针对4Hz以下的范围设定判别基准。
在如以上动作的脑电波测量装置54中,分析从与电极接近的电音响变换器输出的波形信号,来设定考虑到对电极所记录的电位的影响的判别基准。由此,即使电极接近电音响变换器时,也能够测量不受音响输出影响的脑电波作为脑电波接口来利用。其结果是,在可穿戴设备的范围内即使将电极与电音响变换器相接近地装配,也能够利用脑电波接口,而不需要在可穿戴设备以外安装电极,因此,能够削减用户的设备安装负担。
(实施方式三的变形例)
接着,对上述本实施方式的脑电波测量装置的变形例进行说明。
图40是本实施方式的变形例的脑电波测量装置55的结构图。
在本变形例中,也与实施方式三相同,表示通过使用了事件关联电位的脑电波接口获取用户的意图来控制设备的示例。
在本示例中,作为获取事件关联电位时的脑电波截取用触发,在本实施方式中假设如图6所示的HMD,且使用了显示器上的选择支的高亮化定时。
在本示例的脑电波测量装置55中,去除了实施方式三的脑电波特征提取部470。此外,代替频带分量分析部340而设置了振幅包络提取部540、频率分析部147和噪声振幅计算部510,替代判别基准设定部480而设置了判别基准设定部580,替代判别部490而设置了判别部590。除此以外是相同的结构。
振幅包络提取部540、噪声振幅计算部510、判别基准设定部480以及判别部590通过CPU和存储器来实现。这与实施方式三的频带分析部340、判别基准设定部480以及判别部490相同。
脑电波测量装置55具有:输出控制部210;波形生成部120;电音响变换器130;振幅包络提取部540;频率分析部147;噪声振幅推定部510;判别基准设定部580;图像信号生成部220;显示器230;电极部160;电位提取部170;电位波形截取部260;和判别部590。与至此的实施方式相同,以虚线包围的结构要素,能够通过CPU以及/或存储器来实现。
振幅包络提取部540构成为:从实施方式一的振幅包络提取部140去除了波形截取141以及截取时间位置存储部145。振幅包络提取部540分析由波形生成部120生成的波形信号并提取振幅包络。
频率分析部147求出由振幅包络提取部140提取出的振幅包络的频率。
噪声振幅推定部510根据由频率分析部147求出的振幅包络的频率,基于由振幅包络提取部540提取出的输出音响信号所包含的低频分量波形,来计算由电极部160所测量的电位中混入的噪声波形的振幅。
判别基准设定部580,根据由噪声振幅推定部510计算出的噪声波形的振幅的大小,设定脑电波判定时的判定基准。
图41表示判别基准设定部580的详细结构。
判别基准设定部580具有线性判别基准设定部581和判别基准变更表582。
判别部590按照由判别基准设定部580设定的判别基准,根据由电位波形截取部260截取的脑电波波形来判别用户的意图。
图42表示判别部590的详细结构。
判别部590通过具有波形比较部591和判别式参数592而构成。而且,判别式参数592由存储器来实现。
兼顾判别基准设定部580以及判别部590的各结构要素的说明,参照以下图43来说明脑电波测量装置53的处理。而且,对于图40~图42,对与实施方式三相同的部分赋予相同的记号,省略说明。
图43是表示本实施方式的变形例的脑电波测量装置54的处理步骤的流程图。除了图36的步骤S3000被置换为步骤S4000,步骤S203至步骤S206被替换为步骤S501,步骤S207被替换为步骤S502以外,与实施方式三相同,因此,针对除此以外的动作适当省略说明。
在步骤S102中有音响输出指示时,判别基准设定部580进行基于步骤S4000输出波形的判别基准的设定。针对判别基准的设定的细节将后述。在步骤S102中无音响输出指示时,看作对输出波形的脑电波无影响,而不进行判别基准的设定。
在步骤S501中,波形比较部591分别求出在步骤S202截取的事件关联电位的波形与正解波形组、非正解波形组的相似度。在本示例中,预先求出相似度,波形比较部591将波形数据适用到判别式参数592中所存储的线性判别式中。由此求出判别分数,计算相似度。
然而,也可以采用该计算方法以外的其他计算方法,可以采用:保持预先记录的波形数据,求出作为个别波形间之差的总和的距离等方法。
线性判别式,例如,如下求出。首先,波形比较部591针对预先测量的多个正解波形和非正解波形的事件关联电位,以触发为基点,将从0毫秒至600毫秒的范围分割为20毫秒的区间。然后,波形比较部591将是正解波形、还是非正解波形设为从属变量,将20毫秒的各区间的电位的平均设为独立变量,进行判别分析。由此,能够求出线性判别式。
通过判别分析求出的判别式,被用于:将对各独立变量的判别的贡献度设为权重,将各数据的独立变量乘以权重后相加来求出合计值。通过对一个数据适用判别式,能够计算对象数据相对于以从属变量来对在制成判别式时使用的数据进行了分类的情况下的每个从属变量的数据组的相似度。
在步骤S502中,波形比较部591对在步骤S4000设定的判别基准适用在步骤S501计算的相似度。然后,判断所测量的事件关联电位是与选择高亮化项目的意图对应,还是与不选择高亮化项目的意图对应,还是不能判别。
当步骤S502的判定结果判断为所测量的事件关联电位与选择高亮化项目的意图对应时,处理进入步骤S208。另一方面,当判断为所测量的事件关联电位不与选择高亮项目的意图对应或不能判别时,结束动作。
在步骤S208中,作为选择了被高亮化的项目,输出控制部210执行该项目。
接着,对前面的步骤S4000的处理进行说明。
图44是表示脑电波测量装置55中的步骤S4000的处理步骤的流程图。通过该处理,设定判别基准。
图44所示的步骤S104~S107,与图15所示的处理相同。这些处理通过振幅包络提取部540来执行,并提取输出信号的低频分量。
在步骤S5002中,频率分析部147进行在步骤S5001提取的振幅包络的包络线的频率分析。步骤S104~S107以及S5002的详细说明由于与实施方式一关联且进行了说明,因此在以下省略其说明。
在步骤S106中,在步骤S4001中噪声振幅推定部510按照在步骤S5002求出的振幅包络的频率,根据在步骤S107生成的低频域分量来推定在由电极部160测量的脑电波中叠加的噪声的振幅。噪声振幅推定部510,按照如图16所示的变换函数,决定与在步骤S5002求出的振幅包络的瞬时频率对应的系数,将该系数乘以低频分量的各值,来推定由输出波形所产生的低频电噪声作为时间波形。
在步骤S4002中,噪声振幅推定部510按照预先确定的每个时间宽度(例如1秒)来划分在步骤S4001推定的噪声波形,求出区间内的最大值与最小值。然后,将它们的差分设为该区间的噪声振幅。噪声振幅推定部510将输出了图像信号生成部220的高亮化定时作为基准,根据从输出波形信号推定的每个区间的噪声振幅,求出在与步骤S202截取的电位波形的时间范围一致的时间所输出的波形的噪声振幅。
在步骤S4003中,线性判别基准设定部581参照判别基准变更表582,按照在步骤S4002推定的脑电波测量区间的噪声振幅来设定判别基准。判别基准在使用线性判别的方法来判别脑电波波形(在本示例中,事件关联电位)时被利用。
例如,判别基准被设定为:在随着噪声变大且脑电波变得不鲜明,而与正解波形的相似度稍偏低时,也判断为正解波形,作为正解波形所不包含的非正解,要提高细微的相似度的上限,以补充正解波形的丢失。另一方面,当噪声过大不能判别时,不进行判别。
图45是由线性判别基准设定部581来参照的判别基准变更表582的一个示例。当所推定的噪声的振幅小于1微伏时,选择通常的判别基准,即与正解波形的相似度在80%以上、且与非正解波形的相似度在20%以下的判别基准。当所推定的噪声的振幅为1微伏以上且小于3微伏时,选择与正解波形的相似度在70%以上、且与非正解波形的相似度在20%以下的判别基准。当所推定的噪声的振幅为3微伏以上、且小于7微伏时,选择与正解波形的相似度在70%以上、且与非正解波形的相似度在40%以下的判别基准。然后,当所推定的噪声的振幅为7微伏以上时,不设定基准,不执行判别。
而且,在本示例中,如图41所示,将判别基准针对噪声振幅分开设定为4个阶段。然而,该设定方法是一个示例,其它方法例如也可以设置与4个阶段不同的阶段来设定判别基准。此外,也可以不是表,而作为相似度判定函数来保持。
在如以上那样动作的脑电波测量装置55中,分析从与电极接近的电音响变换器输出的波形信号,设定考虑到对在电极所记录的电位的影响的判别基准。由此,即使在电极与电音响变换器接近时,也能够测量不受音响输出影响的脑电波而作为脑电波接口来进行利用。其结果是,即使在可穿戴设备的范围内将电极与电音响变换器相接近地装配,也能够利用脑电波接口,且不需要在可穿戴设备以外安装电极,因此能够削减用户的安装负担。
(实施方式四)
图46是本实施方式的脑电波测量装置56的结构图。若与实施方式一的脑电波测量装置51相比,则本实施方式的脑电波测量装置56,去除了实施方式一的脑电波测量装置51中的噪声减法部180。此外,代替噪声推定部而设置了噪声振幅推定部510,代替脑电波判定部190而设置了脑电波判定部690。除此以外,本实施方式的脑电波测量装置56的结构,与实施方式一的脑电波测量装置51的结构相同。而且,以虚线包围的结构要素,能够通过CPU以及/或存储器来实现。
在本实施方式中,与实施方式一相同,表示通过脑电波来监测用户状态,并根据脑电波的变化来自动地控制设备的示例。更具体而言,是通过脑电波的α波的出现频度来进行音响输出的音量操作的示例。能够应用于如图6所示的HMD或图7所示的助听器。
首先,与音响输出控制部110、波形生成部120、振幅包络提取部140、频率分析部147同样,噪声振幅推定部510以及脑电波判定部690通过CPU与存储器来实现。
脑电波测量装置56具有:输入单元101;音响输出控制部110;波形生成部120;电音响变换器130;振幅包络提取部140;频率分析部147;噪声振幅推定部510;电极部160;电位提取部170;和脑电波判定部690。
噪声振幅推定部510,按照由频率分析部147求出的振幅包络的频率,来推定由振幅包络提取部140提取出的低频分量,即由振幅包络产生的电噪声的振幅。
脑电波判定部690,根据由噪声振幅推定部510推定的噪声的振幅来设定判定基准,并判定由电位提取部170提取出的电位变化的波形中所包含的α波的出现频度。
图47表示脑电波判定部690的详细结构。脑电波判定部690具有:脑电波截取部195;α波提取部191;α波时间长度计算部192;判定部693;在先状态存储部694;和判定基准变更表695。
对于图46以及图47,对与实施方式一相同的部分赋予相同的记号,并省略说明。
图48是表示本实施方式的脑电波测量装置56的处理步骤的流程图。除了图14的步骤S5003被替换为步骤S6000和S6001,步骤S111被替换为步骤S6000,并附加了步骤S4002以外,与实施方式一相同,因此,针对这些以外的动作,适当省略说明。
当在步骤S102中指示了音响输出时(步骤S102“是”),处理进入步骤S5001,当未指示音响输出时(步骤S102“否”),处理进入步骤S6002。
在步骤S5001中,作为低频分量而提取振幅包络,在步骤S5002中分析振幅包络的瞬时频率。通过步骤S108来决定与包络线、即低频域分量的瞬时频率对应的系数。然后,在步骤S4002中,如实施方式三的变形例所说明的那样,推定在脑电波区间的噪声振幅。
在步骤S6000中,脑电波截取部195截取预定的时间长度的脑电波波形,α波提取部191提取在脑电波截取部195截取的脑电波中所记录的α波。α波时间长度计算部192求出在所截取的波形中观察到的α波的总时间长度。在步骤S6001中,判定部193与在步骤S4002所推定的噪声的振幅相对应,根据噪声的振幅与判定基准的对照表,设定α波的增减判定的基准。在步骤S102中为“否”时,进入步骤S6002。
图49表示噪声的振幅与判定基准的对照表的一个示例。与图49相关的处理将在后述。
在步骤S6002中,脑电波判定部190,将在步骤S6001计算出的α波的总时间长度与在先状态存储部694中所保存的过去的α波的总时间长度进行比较。然后,判定α波的出现频度是否减少。
当在步骤S102中无音响输出指示时,即在步骤S102中为“否”时,作为在步骤S101获取到的电位差中未混入噪声来处理波形。即采用α波的减少的判定基准被预先确定的、无噪声时的基准。
在步骤S112中,是与在实施方式一中说明的音量的调整处理同样的处理。当在步骤S6002中α波的出现频度减少时,即步骤S6002为“是”时,音响输出控制部110降低音响输出的音量(步骤S112)。当在步骤S6002中α波的出现频度未减少时,即S6002为“否”时,音响输出控制部110不进行针对音响输出的变更。
在此详细说明步骤S6001的α波增减判定基准的设定方法。
判定部193,对在步骤S4002中由噪声振幅推定部510推定的噪声的振幅的值、与在先状态存储部694中所存储的过去的噪声进行比较。判定部193根据当前的噪声的振幅与过去的噪声的振幅之差来参照判定基准变更表695,例如,获取图49所示的基准的变更率。
例如,设为:当前的噪声的振幅为3微伏,在先状态存储部694中所存储的过去的噪声的振幅为1微伏。也就是说,当前与过去相比,增加了2微伏。若根据该信息来参照图49的对照表,则噪声振幅为5微伏以下(图49的“~5μV”),相当于从1微伏至3微伏的噪声振幅增加量。
α波的增减的判断,相对于预先确定的无噪声时的判断基准,使用于判断为与过去相比当前的α波的总时间长度更长的时间长度之差进一步增大20%。此外,使用于判断为与过去相比当前的α波的总时间长度更短的时间长度之差进一步增大10%。
例如,在无噪声时的标准的设定的情况下,若判断为增加时的总时间长度之差为100毫秒,判断为减少时的该时间长度之差为50毫秒,则当前的噪声的振幅为3微伏,在先状态存储部694中所存储的过去的噪声的振幅为1微伏的情况下,120毫秒总时间长度较长的情况下判断为α波的频度增加,55毫秒总时间长度较短的情况下,判断为α波的频度减少。
而且,在此,虽然根据α波的出现频度进行了音响输出的音量操作,但除此以外的操作,例如,也可以进行开关的切断、模式的切换等的控制。特别是助听器的情况,也可以设为:利用脑电波来进行通过脑电波自动地切换集中于会话的模式、杂音略听的模式等的操作。
在如以上那样动作的脑电波测量装置56中,分析从与电极接近的电音响变换器输出的波形信号,推定在电极所记录的电位中混入的低频电噪声的振幅,使判定基准相应地变化。由此,即使在电极接近电音响变换器时,也能够在抑制音响输出的影响的状态下,通过脑电波测量来监测感情或睡眠等用户的状态。
若根据以往的考虑方法,在混入了来自音响输出的低频带的电噪声的状态下,无法分离作为指标而使用的特征性的脑电波分量即α波、与噪声,实际上无法利用α波。即使如此,在步骤S111中,也会将噪声作为α波来进行检测,无法正确捕获α波的出现频度的变化。因此,本实施方式的示例,无法正确进行音量的调节。
另一方面,根据本实施方式的结构,通过进行考虑到噪声影响的脑电波判定,即使在可穿戴设备的范围内将电极与电音响变换器相接近地安装,也能够监测基于脑电波的用户状态。由于不需要在可穿戴设备以外安装电极,因此能够削减用户的设备安装负担。
而且,在本实施方式中,作为用户状态的监测器,虽然使用了α波的出现频度,但也可以使用α波与β波的能量比率等基于其它脑电波分量的指标。
产业上的可利用性
本发明的脑电波测量装置,对于电音响变换器与脑电波测量用的电极相接近的情况,能够广泛利用。如HMD、音乐播放器、助听器具有音响输出单元,只要在与耳周缘的皮肤的接触范围内能够测量脑电波,则能够应用于各种装置中。例如,监测用户状态的脑电波监测器装置的构筑,或者,在构筑由利用脑电波来进行设备的操作等的脑电波接口系统时有用。此外,可穿戴的信息设备或手机等的通信设备等的用途中也能够应用。
标记说明:
51、52、53、54、55、56、57-脑电波测量装置,
101-输入部,
110-音响输出控制部,
120-波形生成部,
130-电音响变换器,
140、240、540-振幅包络线提取部,
141、241-波形截取部,
142-全波整流处理部,
143-峰值检测部,
144-低通滤波器,
147-频率分析部,
150、350-噪声推定部,
151-信号噪声变换函数存储部,
152-噪声推定处理部,
160-电极部,
170-电位提取部,
180-噪声减法部,
181、260-电位波形截取部,
182-噪声分量减法部,
190、690-脑电波判定部,
191-α波提取部,
192-α波时间长度计算部,
193、693-判定部,
194、694-在先状态存储部,
195-脑电波截取部,
210-输出控制部,
220-图像信号生成部,
230-显示器,
270、470-脑电波特征提取部,
290、490、590-判别部,
242、271-微波变换部,
243-低频分量提取部,
244-微波逆变换部,
272-特征分量提取部,
291、491-特征量比较部,
292-判别基准DB,
340-频带分量分析部,
343-频带分量分割部,
351-频带分量计算部,
352-信号噪声变换系数表,
353-微波逆变换部,
480、580-判别基准设定部,
481-按频带判别基准设定部,
482、582、695-判别基准变更表,
510-噪声振幅推定部,
581-线性判别基准设定部,
591-波形比较部,
592-判别式参数。
Claims (26)
1.一种脑电波测量装置,具有:
脑电波测量部,其使用多个电极来测量使用者的脑电波;
电音响变换器,其在所述使用者安装了所述脑电波测量部时,被配置在所述多个电极之中的至少一个电极附近,且对所述使用者提示音响信号;
振幅包络提取部,其提取从所述电音响变换器所提示的音响信号的振幅包络;
频率分析部,其进行由所述振幅包络提取部提取出的振幅包络的频率分析;以及
噪声推定部,其使用预先准备的变换规则和所提取出的所述振幅包络的频率分析结果来推定从所述电音响变换器混入到所述至少一个电极中的电噪声。
2.根据权利要求1所述的脑电波测量装置,其特征在于,
所述变换规则,规定了频率与变换系数的对应关系,
所述噪声推定部,利用所述振幅包络的瞬时频率以及所述变换规则来求出与所述瞬时频率对应的变换系数,通过将所求出的变换系数乘以所述振幅包络,来推定所述电噪声。
3.根据权利要求2所述的脑电波测量装置,其特征在于,
所述噪声推定部,利用随着频率变高、变换系数变得更小的变换规则来推定所述电噪声。
4.根据权利要求2所述的脑电波测量装置,其特征在于,
所述噪声推定部,使用频率在20Hz至30Hz之间收敛为0的变换规则来推定所述电噪声。
5.根据权利要求1所述的脑电波测量装置,其特征在于,
还具有:去除部,其从所述脑电波中去除所推定的所述电噪声。
6.根据权利要求1所述的脑电波测量装置,其特征在于,
所述至少一个电极以及所述电音响变换器,呈一体地构成。
7.一种脑电波测量装置,具有:
脑电波测量部,其使用多个电极来测量使用者的脑电波;
电音响变换器,其在所述使用者安装了所述脑电波测量部时,被配置在所述多个电极之中的至少一个电极的附近,且对所述使用者提示音响信号;
振幅包络提取部,其提取从所述电音响变换器所提示的音响信号的振幅包络;
频率分析部,其进行由所述振幅包络提取部提取出的振幅包络的频率分析;以及
噪声推定部,其使用预先准备的变换函数,根据所提取出的所述振幅包络的频率分析结果来求出对噪声推定值的变换系数,并根据所述变换系数来推定因所述振幅包络的影响而从所述电音响变换器电混入到所述至少一个电极的输入信号中的噪声。
8.根据权利要求7所述的脑电波测量装置,其特征在于,
还具有:去除部,其从所述脑电波中去除所推定的所述电噪声。
9.根据权利要求7所述的脑电波测量装置,其特征在于,
所述变换函数是赋予如下变换系数的函数,所述变换系数随着频率增高而所述变换系数衰减、并且所输出的所述音响信号中所包含的分量的频率在20Hz至30Hz之间收敛为0。
10.根据权利要求7所述的脑电波测量装置,其特征在于,
所述振幅包络提取部,利用微波变换,对所述音响信号进行时间频率分解,以提取所述音响信号的振幅包络。
11.根据权利要求7所述的脑电波测量装置,其特征在于,
所述振幅包络提取部,利用傅里叶变换,对所述音响信号进行时间频率分解,以提取所述音响信号的振幅包络。
12.根据权利要求7所述的脑电波测量装置,其特征在于,
所述振幅包络提取部,提取通过对所述音响信号进行时间频率分解而得到的分量之中的在20Hz至30Hz之间被预先确定的上限频率以下的频率的分量,作为所述音响信号的振幅包络。
13.根据权利要求7所述的脑电波测量装置,其特征在于,
所述振幅包络提取部,通过在包括预先确定的脑电波的频率的频带、并且针对预先确定的时间段进行微波变换,根据所述音响信号来求出时间频率区域的频率分量,并且对所求出的所述时间频率区域的频率分量进行微波逆变换,由此,提取并输出所述音响信号的振幅包络。
14.根据权利要求7所述的脑电波测量装置,其特征在于,
所述至少一个电极以及所述电音响变换器,呈一体地构成。
15.一种脑电波测量装置,具有:
脑电波测量部,其使用多个电极来测量使用者的脑电波;以及
电音响变换器,其在所述使用者安装了所述脑电波测量部时,被配置在所述多个电极之中的至少一个电极的附近,且对所述使用者提示音响信号,
所述脑电波测量装置按照预先准备的判别基准,并根据所测量的所述脑电波来判别所述使用者的意图,该脑电波测量装置还具有:
振幅包络提取部,其提取从所述电音响变换器所提示的音响信号的振幅包络;
频率分析部,其进行由所述振幅包络提取部提取出的振幅包络的频率分析;
噪声推定部,其使用预先准备的变换函数,根据所提取出的所述振幅包络的频率分析结果来求出对噪声推定值的变换系数,并根据所述变换系数,来推定因所述振幅包络的影响而从所述电音响变换器电混入到所述至少一个电极的输入信号中的噪声;以及
判别基准设定部,其根据所推定的所述噪声使所述判别基准变化。
16.根据权利要求15所述的脑电波测量装置,其特征在于,
所述变换函数是赋予如下变换系数的函数,所述变换系数随着频率增高而所述变换系数衰减、并且所输出的所述音响信号中所包含的分量的频率在20Hz至30Hz之间收敛为0。
17.根据权利要求16所述的脑电波测量装置,其特征在于,
所述变换函数构成为:将变换系数与预先设定的多个频带分别建立对应关系。
18.根据权利要求15所述的脑电波测量装置,其特征在于,
所述振幅包络提取部,利用微波变换,对所述音响信号进行时间频率分解,以提取所述音响信号的振幅包络。
19.根据权利要求15所述的脑电波测量装置,其特征在于,
所述振幅包络提取部,利用傅里叶变换,对所述音响信号进行时间频率分解,以提取所述音响信号的振幅包络。
20.根据权利要求15所述的脑电波测量装置,其特征在于,
所述振幅包络提取部,提取通过对所述音响信号进行时间频率分解而得到的分量之中的在20Hz至30Hz之间被预先确定的上限频率以下的频率的分量,作为所述音响信号的振幅包络。
21.根据权利要求15所述的脑电波测量装置,其特征在于,
所述振幅包络提取部,通过在包括预先确定的脑电波的频率的频带、并且针对预先确定的时间段进行微波变换,根据所述音响信号来求出时间频率区域的频率分量,并且对所求出的所述时间频率区域的频率分量进行微波逆变换,由此,提取并输出所述音响信号的振幅包络。
22.根据权利要求16所述的脑电波测量装置,其特征在于,
所述噪声推定部,利用所述变换函数,求出与所述音响信号中所包含的频率分量对应的变换系数。
23.根据权利要求22所述的脑电波测量装置,其特征在于,
还具有:存储部,其存储所述变换函数。
24.根据权利要求15所述的脑电波测量装置,其特征在于,
所述判别基准,是用于根据所测量的所述脑电波与多个种类的基准脑电波数据之间的相似度来判别所述使用者的意图的基准,且通过所述相似度的阈值或多个阈值的组合而构成。
25.根据权利要求15所述的脑电波测量装置,其特征在于,
所述至少一个电极以及所述电音响变换器,呈一体地构成。
26.一种电噪声的推定方法,包括:
使用多个电极来测量使用者的脑电波的步骤;
在所述使用者安装了所述多个电极时,使用被配置在所述多个电极之中的至少一个电极附近的电音响变换器,对所述使用者提示音响信号的步骤;
提取从所述电音响变换器所提示的音响信号的振幅包络作为低频分量的步骤;
进行所述振幅包络的频率分析的步骤;以及
使用预先准备的变换规则和所提取出的所述振幅包络的频率分析结果,来推定从所述电音响变换器混入到所述至少一个电极中的电噪声的步骤。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010103144 | 2010-04-28 | ||
JP2010-103144 | 2010-04-28 | ||
PCT/JP2011/002189 WO2011135789A1 (ja) | 2010-04-28 | 2011-04-13 | 脳波計測装置、電気的ノイズの推定方法、および、電気的ノイズの推定方法を実行するコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102821681A CN102821681A (zh) | 2012-12-12 |
CN102821681B true CN102821681B (zh) | 2015-02-18 |
Family
ID=44861117
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180016906.7A Active CN102821681B (zh) | 2010-04-28 | 2011-04-13 | 脑电波测量装置、电噪声的推定方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8792975B2 (zh) |
JP (1) | JP4861538B2 (zh) |
CN (1) | CN102821681B (zh) |
WO (1) | WO2011135789A1 (zh) |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013081679A (ja) * | 2011-10-12 | 2013-05-09 | Sony Corp | 生体信号処理装置、脳波計及び生体信号処理方法 |
CN102737677A (zh) * | 2012-06-18 | 2012-10-17 | 哈尔滨工业大学深圳研究生院 | 基于脑电波信号的多媒体反馈控制系统 |
EP2560412A1 (en) | 2012-10-08 | 2013-02-20 | Oticon A/s | Hearing device with brain-wave dependent audio processing |
EP2744224A1 (en) * | 2012-12-14 | 2014-06-18 | Oticon A/s | Configurable hearing instrument |
US20140228701A1 (en) * | 2013-02-11 | 2014-08-14 | University Of Washington Through Its Center For Commercialization | Brain-Computer Interface Anonymizer |
EP2813175A3 (en) * | 2013-06-14 | 2015-04-01 | Oticon A/s | A hearing assistance device with brain-computer interface |
CN103816007B (zh) * | 2013-11-22 | 2016-04-06 | 刘志勇 | 一种基于脑电频域特征指标化算法的耳鸣治疗设备及方法 |
US10524733B2 (en) * | 2014-04-21 | 2020-01-07 | The United States Of America As Represented By The Secretary Of The Army | Method for improving the signal to noise ratio of a wave form |
WO2016033686A1 (en) | 2014-09-04 | 2016-03-10 | University Health Network | Method and system for brain activity signal-based treatment and/or control of user devices |
GB2527157B (en) | 2014-11-19 | 2016-07-13 | Kokoon Tech Ltd | A headphone |
EP3236844A1 (en) | 2014-12-22 | 2017-11-01 | ICM - Institut du Cerveau et da la Moelle Epinière | Method and device for enhancing memory consolidation |
JP2016129660A (ja) | 2015-01-09 | 2016-07-21 | パナソニックIpマネジメント株式会社 | 判定システム、制御信号出力システム、リハビリシステム、判定方法、制御信号出力方法、コンピュータプログラム |
US9577992B2 (en) | 2015-02-04 | 2017-02-21 | Aerendir Mobile Inc. | Data encryption/decryption using neuro and neuro-mechanical fingerprints |
US9590986B2 (en) * | 2015-02-04 | 2017-03-07 | Aerendir Mobile Inc. | Local user authentication with neuro and neuro-mechanical fingerprints |
US10357210B2 (en) | 2015-02-04 | 2019-07-23 | Proprius Technologies S.A.R.L. | Determining health change of a user with neuro and neuro-mechanical fingerprints |
US9836896B2 (en) | 2015-02-04 | 2017-12-05 | Proprius Technologies S.A.R.L | Keyless access control with neuro and neuro-mechanical fingerprints |
US20160278710A1 (en) * | 2015-03-27 | 2016-09-29 | Phoenix Research Labs | Noise reduction in an electrophysiological signal |
US10416306B2 (en) | 2015-08-17 | 2019-09-17 | Texas Instruments Incorporated | Methods and apparatus to measure and analyze vibration signatures |
US10373143B2 (en) * | 2015-09-24 | 2019-08-06 | Hand Held Products, Inc. | Product identification using electroencephalography |
US9824287B2 (en) * | 2015-09-29 | 2017-11-21 | Huami Inc. | Method, apparatus and system for biometric identification |
CN105700687B (zh) * | 2016-03-11 | 2018-03-13 | 中国人民解放军信息工程大学 | 基于folding HDCA算法的单试次脑电P300成分检测方法 |
JP6785446B2 (ja) * | 2016-04-14 | 2020-11-18 | パナソニックIpマネジメント株式会社 | 生体信号計測システム |
CN106491143A (zh) * | 2016-10-18 | 2017-03-15 | 哈尔滨工业大学深圳研究生院 | 基于脑电信号的真实性判断方法及装置 |
CN113907714A (zh) * | 2017-11-30 | 2022-01-11 | 梅尔廷Mmi株式会社 | 用于识别生物体信号所表示的信息的系统 |
JP6785482B2 (ja) * | 2018-02-22 | 2020-11-18 | パナソニックIpマネジメント株式会社 | 生体信号計測装置、脳波計、及び、制御方法 |
CN108512995B (zh) * | 2018-03-01 | 2020-08-18 | Oppo广东移动通信有限公司 | 电子装置、脑电波控制方法及相关产品 |
JP7296618B2 (ja) | 2018-05-08 | 2023-06-23 | 株式会社Agama-X | 情報処理システム、情報処理装置及びプログラム |
EP3576099A1 (en) * | 2018-05-28 | 2019-12-04 | Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. | System for the presentation of acoustic information |
US20220386919A1 (en) * | 2019-10-08 | 2022-12-08 | Vie Style, Inc. | Earphone, information processing device, and information processing method |
CN113827253B (zh) * | 2020-06-04 | 2024-07-19 | 阿里巴巴集团控股有限公司 | 计算设备和从脑电信号中去除噪声的方法 |
CN113180660A (zh) * | 2021-04-06 | 2021-07-30 | 北京脑陆科技有限公司 | 一种基于eeg信号的抑郁状态检测方法及系统 |
CN114510966B (zh) * | 2022-01-14 | 2023-04-28 | 电子科技大学 | 一种基于图神经网络的端到端大脑因果网络构建方法 |
JP7284548B1 (ja) * | 2023-01-13 | 2023-05-31 | トーイツ株式会社 | 信号出力装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5170434A (en) * | 1988-08-30 | 1992-12-08 | Beltone Electronics Corporation | Hearing aid with improved noise discrimination |
CN101502418A (zh) * | 2008-02-05 | 2009-08-12 | 周常安 | 耳戴式脑电检测装置 |
CN101528121A (zh) * | 2006-06-06 | 2009-09-09 | 皮质动力学私人有限公司 | 脑功能监视及显示系统 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0268035A (ja) | 1988-09-02 | 1990-03-07 | Seiko Epson Corp | 電気音響変換器 |
JPH0630908A (ja) | 1992-03-27 | 1994-02-08 | Nippon Koden Corp | 微小心電図計測装置 |
JP2554224B2 (ja) * | 1992-04-21 | 1996-11-13 | オンキヨー株式会社 | リラクゼイションシステム |
US6349231B1 (en) | 1994-01-12 | 2002-02-19 | Brain Functions Laboratory, Inc. | Method and apparatus for will determination and bio-signal control |
JP2593625B2 (ja) | 1994-01-12 | 1997-03-26 | 株式会社脳機能研究所 | 生体情報自動識別装置 |
JPH09131331A (ja) * | 1995-11-09 | 1997-05-20 | Noryoku Kaihatsu Kenkyusho:Kk | 脳波分析表示装置 |
JP3661512B2 (ja) | 1999-08-25 | 2005-06-15 | 富士ゼロックス株式会社 | 脳波信号処理装置及び方法 |
JP2001187034A (ja) * | 1999-10-19 | 2001-07-10 | Nippon Koden Corp | 脳波電極付ヘッドフォン及びストレス度診断装置 |
US7133715B1 (en) * | 2000-01-07 | 2006-11-07 | Natus Medical Inc. | Hearing evaluation device with noise detection and evaluation capability |
JP2002017697A (ja) * | 2000-07-07 | 2002-01-22 | Canon Inc | 脳波測定装置 |
US6620100B2 (en) | 2001-10-17 | 2003-09-16 | Natus Medical Inc. | Hearing evaluation device with noise-weighting capabilities |
JP3973530B2 (ja) * | 2002-10-10 | 2007-09-12 | 裕 力丸 | 補聴器、訓練装置、ゲーム装置、および音出力装置 |
JP4369290B2 (ja) | 2003-07-02 | 2009-11-18 | 尚之 加納 | 事象関連電位を利用したヒトの心理状態等の判定装置 |
JP5219202B2 (ja) * | 2008-10-02 | 2013-06-26 | 学校法人金沢工業大学 | 音信号処理装置、ヘッドホン装置および音信号処理方法 |
-
2011
- 2011-04-13 JP JP2011535743A patent/JP4861538B2/ja active Active
- 2011-04-13 CN CN201180016906.7A patent/CN102821681B/zh active Active
- 2011-04-13 WO PCT/JP2011/002189 patent/WO2011135789A1/ja active Application Filing
-
2012
- 2012-02-29 US US13/408,091 patent/US8792975B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5170434A (en) * | 1988-08-30 | 1992-12-08 | Beltone Electronics Corporation | Hearing aid with improved noise discrimination |
CN101528121A (zh) * | 2006-06-06 | 2009-09-09 | 皮质动力学私人有限公司 | 脑功能监视及显示系统 |
CN101502418A (zh) * | 2008-02-05 | 2009-08-12 | 周常安 | 耳戴式脑电检测装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2011135789A1 (ja) | 2011-11-03 |
US20120172744A1 (en) | 2012-07-05 |
CN102821681A (zh) | 2012-12-12 |
US8792975B2 (en) | 2014-07-29 |
JPWO2011135789A1 (ja) | 2013-07-18 |
JP4861538B2 (ja) | 2012-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102821681B (zh) | 脑电波测量装置、电噪声的推定方法 | |
JP5042398B1 (ja) | 脳波記録装置、補聴器、脳波記録方法およびそのプログラム | |
CA2818254C (en) | Personal eeg monitoring device with electrode validation | |
EP2740279B1 (en) | Hearing aid with self fitting capabilities | |
JP7422801B2 (ja) | 脳波データ分析方法及び脳波測定検査のための情報の呈示方法 | |
CN107683399A (zh) | 声音输出装置、电子装置、以及其控制方法 | |
JP2014112856A (ja) | 脳波検出に適する補聴器およびそのような補聴器を適応する方法 | |
WO2009073634A1 (en) | Correlating media instance information with physiological responses from participating subjects | |
US9044157B2 (en) | Assessment system of speech sound listening, and method and program thereof | |
JP2005168856A (ja) | 疲労度計測装置および疲労度計測方法 | |
WO2018154289A2 (en) | System, method, computer program and computer program product for detecting a change in hearing response | |
JP2012095905A (ja) | 脳波計測システム、方法及びコンピュータプログラム | |
CN105263450A (zh) | 后期听觉诱发电位中的单通道人工耳蜗植入伪迹衰减 | |
KR20200128900A (ko) | 학습 집중도 개선 및 디지털 디톡스를 위한 뉴로 피드백 시스템 및 그 방법 | |
CN107510451B (zh) | 一种基于脑干听觉诱发电位的音高感知能力客观评估方法 | |
KR101667102B1 (ko) | 동작센서를 이용한 사용자 맞춤형 뇌파 유도장치 및 방법 | |
JP4728886B2 (ja) | 知覚情報提示装置 | |
Love et al. | Physiological orienting response, noise sensitivity, and annoyance from irrelevant background sound | |
JP2016013316A (ja) | 音声調整装置、及び音声再生方法 | |
Rupp et al. | Representation of auditory-filter phase characteristics in the cortex of human listeners | |
CN117056843A (zh) | 一种高灵敏度、高抗电磁干扰的脑疲劳检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |