CN107847134A - 脑活动推定装置 - Google Patents

脑活动推定装置 Download PDF

Info

Publication number
CN107847134A
CN107847134A CN201680034098.XA CN201680034098A CN107847134A CN 107847134 A CN107847134 A CN 107847134A CN 201680034098 A CN201680034098 A CN 201680034098A CN 107847134 A CN107847134 A CN 107847134A
Authority
CN
China
Prior art keywords
cerebration
component
data
blood circulation
circulation amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680034098.XA
Other languages
English (en)
Other versions
CN107847134B (zh
Inventor
新井润郎
新井润一郎
小谷泰则
大上淑美
户松太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daikin Industries Ltd
Tokyo Institute of Technology NUC
Original Assignee
Daikin Industries Ltd
Tokyo Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daikin Industries Ltd, Tokyo Institute of Technology NUC filed Critical Daikin Industries Ltd
Publication of CN107847134A publication Critical patent/CN107847134A/zh
Application granted granted Critical
Publication of CN107847134B publication Critical patent/CN107847134B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0064Body surface scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/01Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A61B5/015By temperature mapping of body part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064Evaluating the brain
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7246Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Neurology (AREA)
  • Physiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Psychology (AREA)
  • Neurosurgery (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

脑活动推定装置(10)包括图像数据获取单元(20)、和脑活动推定单元(30)。图像数据获取单元(20)以时间序列获取人类面部的拍摄图像数据。脑活动推定单元(30)具有RGB处理部(31)、血液循环量计算部(33)、和推定部(35)。RGB处理部(31)对于由图像数据获取单元(20)获取到的拍摄图像数据进行分解成R分量、G分量及B分量这三个颜色分量的RGB处理。血液循环量计算部(33)基于通过RGB处理得到的拍摄图像数据的RGB数据,计算面部的时间序列的血液循环量数据。推定部(35)基于通过利用奇异值分解、主分量分析或独立分量分析对血液循环量数据进行分解而得到的多个分量,推定所述人类的脑活动。

Description

脑活动推定装置
技术领域
本发明涉及用于推定人类的脑活动的脑活动推定装置。
背景技术
以往,尝试了利用通过专利文献1(日本专利特开2013-176406号公报)所披露的脑波测量法(EEG)、磁共振成像法(fMRI:functional Magnetic Resonance Imaging)、或近红外线分光法(NIRS)检测出的数据,来推定人类的脑活动。
发明内容
发明所要解决的问题
然而,在采用脑波测量法、近红外线分光法作为检测方法的情况下,需要对于被测人员安装需要前处理的电极、探针。此外,在采用磁共振成像法作为检测方法的情况下,若不在MRI室则无法测定。即,在采用脑波测量法、磁共振成像法和近红外线分光法中的任一种检测方法来检测数据的情况下,存在如下问题:在其准备阶段所需的作业繁杂,或要限定检测时的条件。
因此,本发明的课题在于提供能够简便地推定人类的脑活动的脑活动推定装置。
用于解决问题的手段
本发明的第一观点所涉及的脑活动推定装置包括具有血液循环量计算部、和推定部的脑活动推定单元。血液循环量计算部基于以时间序列获取到的人类面部的拍摄图像数据的RGB数据,计算面部的时间序列的血液循环量数据,该RGB数据是将拍摄图像数据分解成R分量、G分量及B分量这三个颜色分量的RGB处理所得到的。推定部基于通过利用奇异值分解、主分量分析或独立分量分析对血液循环量数据进行分解而得到的多个分量,来推定人类的脑活动。
本发明的第一观点所涉及的脑活动推定装置中,能够基于时间序列的面部的拍摄图像数据来推定人类的脑活动。因而,与利用脑波测量法、磁共振成像法、及近红外线分光法等现有的检测方法的情况相比,能够简便地推定人类的脑活动。
本发明的第二观点所涉及的脑活动推定装置在第一观点的脑活动推定装置中,脑活动推定单元在多个分量中提取判定用分量,该判定用分量是分量波形的振幅与脑部安静时及脑部激活时的变化具有相关关系的分量。然后,脑活动推定单元基于判定用分量,推定人类的脑活动。该脑活动推定装置中,提取多个分量中与脑部安静/激活具有相关关系的分量以作为推定人类的脑活动的判定用分量。因此,能够根据被推测为与人类的脑活动关联性较高的分量来推定脑活动。
本发明的第三观点所涉及的脑活动推定装置在第二观点的脑活动推定装置中,拍摄图像数据中包含对于人类提供脑功能激活课题的期间的数据。脑活动推定单元将未对于人类提供脑活动激活课题的期间作为脑部安静时,将对于人类提供脑活动激活课题的期间作为脑部激活时,对于多个分量评价是否具有相关关系。然后,脑活动推定单元提取多个分量中评价为具有相关关系的分量,以作为判定用分量。该脑活动推定装置中,通过对于人类提供或不提供脑活动激活课题,从而实际地制造人类的脑部激活或安静的情况,基于此来评价相关关系并提取判定用分量。因此,能够减少从多个分量提取与人类的脑活动相关性较低的分量作为提取用分量的可能性。
本发明的第四观点所涉及的脑活动推定装置在第一观点至第三观点的任一种脑活动推定装置中,血液循环量数据的获取范围是人类面部的鼻部周边、及/或前额部。
这里,脑部中存在选择性脑冷却结构(Selective Brain Cooling System)这一与体温独立冷却脑部的结构。作为选择性脑冷却结构,已知使用鼻部及前额部周边来排出由脑活动产生的热量。
本发明的第四观点所涉及的脑活动推定装置中,基于被推测为反映了脑活动的鼻部及/或前额部中的时间序列的血液循环量数据,来推定人类的脑活动。由于认为面部的皮肤温度与面部的血液循环量成正比,因此在该脑活动推定装置中,能够高精度地推定人类的脑活动。
本发明的第五观点所涉及的脑活动推定装置在第一观点至第四观点的任一种脑活动推定装置中,脑活动推定单元具有换算部。换算部将从获取到的每规定时间的拍摄图像数据得到的RGB数据换算成相对的RGB数据。然后,血液循环量计算部基于所述相对的RGB数据,计算面部的时间序列的血液循环量数据。
在利用摄像头等拍摄装置拍摄人类的面部以获得拍摄图像数据的情况下,例如若在拍摄过程中太阳光等照射到脸部,则光会在脸部反射,该反射光有时会进入拍摄装置的镜头。这样的话,会在拍摄到的拍摄图像数据中记录该反射光。这里,RGB数据中,由于基于脸部的血液循环量变化的明亮度变化比基于反射光的明亮度变化小,因此若基于从记录有反射光的拍摄图像数据得到的RGB数据来计算血液循环量,则可能会误判定血液循环量。
本发明的第五观点所涉及的脑活动推定装置中,由于基于从获取到的每规定时间的拍摄图像数据得到的相对的RGB数据来计算时间序列的血液循环量数据,因此能够捕捉每规定时间的面部的血液循环量的相对变化。由此,能够抑制与脑活动无关的外部因素所引起的血液循环量的误判定。
本发明的第六观点所涉及的脑活动推定装置在第一观点至第五观点的任一种脑活动推定装置中,还包括图像数据获取单元、和RGB处理部(31)。图像数据获取单元以时间序列获取人类面部的拍摄图像数据。RGB处理部对于拍摄图像数据进行RGB处理,该RGB处理分解成R分量、G分量及B分量这三个颜色分量。
本发明的第六观点所涉及的脑活动推定装置中,基于由图像数据获取单元获取到的时间序列的人类面部的拍摄图像数据,来推定人类的脑活动。因此,该脑活动推定装置中,即使不安装脑波电极、探针等安装前需要处理的传感器,也能够基于时间序列的面部拍摄图像数据来推定人类的脑活动。因而,与利用脑波测量法、磁共振成像法、及近红外线分光法等的现有的检测方法的情况相比,能够简便地推定人类的脑活动。
本发明的第七观点所涉及的脑活动推定装置在第一至第六观点的任一种脑活动推定装置中,拍摄图像数据由拍摄可见光区域的图像的摄像头获取。该脑活动推定装置中,由于能够利用一般的摄像头获取拍摄图像数据,因此能够简化装置。由此,能够更简便地推定人类的脑活动。
本发明的第八观点所涉及的脑活动推定装置在第一至第七观点的任一种脑活动推定装置中,血液循环量计算部主要使用RGB数据中包含的各像素中的R分量来计算面部的血液循环量数据。该脑活动推定装置中,通过主要使用R分量,从而能够较好地计算出血液循环量数据。
本发明的第九观点所涉及的脑活动推定装置在第一至第六观点的任一种脑活动推定装置中,拍摄图像数据由红外线摄像头获取。因而,该脑活动推定装置中,能够获得拍摄图像数据,而不取决于外部环境的亮暗。
发明效果
本发明的第一观点所涉及的脑活动推定装置中,能够简便地推定人类的脑活动。
本发明的第二观点所涉及的脑活动推定装置中,能够根据被推测为与人类的脑活动关联性较高的分量来推定脑活动。
本发明的第三观点所涉及的脑活动推定装置中,能够减少从多个分量提取与人类的脑活动关联性较低的分量作为提取用分量的可能性。
本发明的第四观点所涉及的脑活动推定装置中,能够高精度地推定人类的脑活动。
本发明的第五观点所涉及的脑活动推定装置中,能够抑制与脑活动无关的外部因素所引起的血液循环量的误判定。
本发明的第六观点所涉及的脑活动推定装置中,能够简便地推定人类的脑活动。
本发明的第七观点所涉及的脑活动推定装置中,由于能够利用一般的摄像头来获取拍摄图像数据,因此能够简便地推定人类的脑活动。
本发明的第八观点所涉及的脑活动推定装置中,通过主要使用R分量,从而能够较好地计算出血液循环量数据。
本发明的第九观点所涉及的脑活动推定装置中,由于利用红外线摄像头来获取拍摄图像数据,因此能够推定人类的脑活动,而不取决于外部环境的亮暗。
附图说明
图1(a)是示出拍摄图像数据的一个示例的图,图1(b)是示出血液循环量分布图的一个示例的图。
图2A是示出对基于被测人员1的面部拍摄图像数据的分量波形进行分析后的结果的一部分的图。
图2B是示出对基于被测人员1的面部皮肤温度数据的分量波形进行分析后的结果的一部分的图。
图3A是示出对基于被测人员2的面部拍摄图像数据的分量波形进行分析后的结果的一部分的图。
图3B是示出对基于被测人员2的面部皮肤温度数据的分量波形进行分析后的结果的一部分的图。
图4A是示出对基于被测人员3的面部拍摄图像数据的分量波形进行分析后的结果的一部分的图。
图4B是示出对基于被测人员3的面部皮肤温度数据的分量波形进行分析后的结果的一部分的图。
图5A是示出对基于被测人员4的面部拍摄图像数据的分量波形进行分析后的结果的一部分的图。
图5B是示出对基于被测人员4的面部皮肤温度数据的分量波形进行分析后的结果的一部分的图。
图6A是示出对基于被测人员5的面部拍摄图像数据的分量波形进行分析后的结果的一部分的图。
图6B是示出对基于被测人员5的面部皮肤温度数据的分量波形进行分析后的结果的一部分的图。
图7A是示出对基于被测人员6的面部拍摄图像数据的分量波形进行分析后的结果的一部分的图。
图7B是示出对基于被测人员6的面部皮肤温度数据的分量波形进行分析后的结果的一部分的图。
图8是本发明的实施方式所涉及的脑活动推定装置的概要图。
图9是示出在脑活动推定装置中对示出反映了脑功能的面部的RGB变化的分量进行确定时的处理流程的一个示例的流程图。
具体实施方式
在说明本发明的实施方式之前,首先,对本发明人做出本发明时作为重要基础的本发明人的想法进行说明。
(1)本发明人的想法的要点
已知在人类的脑活动中反映了人类的知识活动(认知活动等)及情感活动(愉快/不愉快等活动)。而且,以往,进行了推定人类的脑活动的尝试,但此时大多使用通过脑波测量法、磁共振成像法及近红外线分光法中的任一种方法检测出的数据。
这里,作为检测方法,例如在采用脑波测量法的情况下,需要对于被测人员安装脑波电极。而且,由于在安装脑波电极时需要减小皮肤与电极之间的电阻,因此需要进行研磨皮肤的处理或对电极涂布浆料等作业。此外,在采用磁共振成像法的情况下,无法在MRI室以外进行测定,并且对于不能将金属带入测定室内等测定条件存在限制。而且,在采用近红外线分光法的情况下,需要对于被测人员安装探针,但有时会由于长时间安装探针使得被测人员感到疼痛,或者会根据被测人员的头发与探针之间的接触情况而无法准确地检测。由此,在采用现有的检测方法以测定人类的脑活动的情况下,需要安装脑波电极、探针等时的前处理,或者测定条件被限定等,对被测人员带来的负担较大。
因而,寻求开发出能够减轻被测人员负担且能够简便地推定人类的脑活动的手段。
而且,本发明人发现通过使用温度记录装置等可测定温度数据及检测部位的位置数据(坐标数据)的测定装置,以时间序列来获取包含人类面部的皮肤温度的面部皮肤温度数据,并利用奇异值分解法、主分量分析法、或独立分量分析法将获取到的数据分解成多个分量并进行分析,从而能够推定人类的脑活动(参照日本专利特愿2014-177276号)。
一般而言,脑波测量法所采用的测定装置要花费几百万日元的费用,磁共振成像法所使用的设备要花费几亿日元规模的较大费用,近红外线分光法所采用的测定装置也要花费几千万日元的费用。此外,即使在基于使用温度记录装置获取到的面部的皮肤温度数据来推定人类的脑活动的情况下,温度记录装置一般也要花费几万日元的费用。因此,希望开发出能够以更低价格来推定人类的脑活动的手段。
因此,本发明人考虑若能够基于测定人类面部的皮肤温度得到的面部皮肤温度数据来推定人类的脑活动,则能够基于被认为与面部皮肤温度成比例的面部血液循环量来推定人类的脑活动。面部的血液循环状态即面部的血液循环量能够根据利用人类面部的拍摄图像数据得到的RGB数据来推定。而且,若是人类面部的拍摄图像数据,则能够无需安装需要前处理的传感器且比较廉价地获取时间序列的数据。
这里,已知人类面部的皮肤温度会受到外部空气温度及/或自律神经活动等各种因素的影响而发生变化。因此,若想要基于被认为与面部的皮肤温度成比例的面部的血液循环量来推定脑活动,则判断获取到的面部的皮肤温度是否仅反映了脑活动被认为是非常困难的。
本发明人通过潜心研究,发现通过使用奇异值分解法、主分量分析法、或独立分量分析法将基于从时间序列的面部拍摄图像数据得到的RGB数据计算出的时间序列的面部血液循环量数据分解成多个分量,并对于分解后的多个分量进行分析,从而能够确定示出反映了脑活动的面部血液循环量的变化、即面部的RGB数据的变化的分量。换言之,弄清了在要基于面部的拍摄图像数据来推定人类的脑活动的情况下,利用奇异值分解法、主分量分析法、或独立分量分析法将基于从时间序列的面部拍摄图像数据得到的RGB数据的血液循环量数据分解成多个分量是有效的。而且,本发明人通过着眼于这一点,完成了即使不安装脑波电极、探针等安装前需要处理的传感器,也能够推定人类的脑活动的本发明。
(2)面部拍摄图像数据的获取方法、及面部拍摄图像数据的分析方法
图1(a)是示出通过拍摄装置拍摄到的被测人员的面部的鼻部周边的拍摄图像数据的一个示例的图。
图1(b)是示出血液循环量分布图(图像映射)的一个示例的图。
接着,对本发明人在得到上述想法时使用的面部拍摄图像数据的获取方法、及面部拍摄图像数据的分析方法进行说明。
本次的测试中,从6名被测人员获取了面部的拍摄图像数据。具体而言,使被测人员坐在设置于维持室温25℃的人工气候室内的椅子上,使用能够以时间序列获取图像的拍摄装置,以时间序列获取了被测人员的整个面部的鼻部周边的拍摄图像数据。
这里,脑部中存在选择性脑冷却结构(Selective Brain Cooling System)这一与体温独立冷却脑部的结构。作为选择性脑冷却结构,已知使用前额部及鼻部周边(包含眉毛间)来排出由脑活动产生的热量。这样的话,考虑在前额部及/或鼻部周边出现伴随脑活动的被认为与面部皮肤温度成比例的面部血液循环量的变化。由此,本发明人考虑若至少能够捕捉前额部及/或鼻部周边的面部血液循环量的变化,则能够高精度地推定脑活动。而且,本次的测试中,以时间序列获取了被测人员的面部的鼻部周边的拍摄图像数据。
此外,本次的测试中,作为拍摄装置,使用Apple公司生产的iPad Air(注册商标)所具备的液晶画面侧的拍摄装置,获取了彩色的视频数据以作为时间序列的拍摄图像数据。此外,将拍摄装置设置在了被测人员的正面侧、距离被测人员1.0m的地方。而且,通过利用拍摄装置以30帧/秒的拍摄周期沿着时间轴连续拍摄30分钟的拍摄图像数据,从而得到了面部的视频数据。
而且,本次的测试中,在获取面部的视频数据的期间,对被测人员提供了脑功能激活课题。由此,获取了脑部安静时的面部的视频数据、及脑部激活时的面部的视频数据。
这里,作为脑功能激活课题,可举出被测人员基于显示于显示装置等的影像进行的计算、或者数值、形状及颜色的认知、或者记号、字符乃至语言的记忆等心理作业。
本次的测试中,采用“乘法的心算”作为脑功能激活课题,对被测人员施加了使其计算以笔算形式显示于显示装置的数字,并将其回答输入至键盘的作业。另外,本次的测试中,从开始获取面部的视频数据起经过5分钟之后,持续10分钟时间对被测人员提供了脑功能激活课题。
作为面部的视频数据的分析,基于从拍摄到的面部视频数据得到的RGB数据来计算出血液循环量数据,将计算出的时间序列的血液循环量数据作为对象,使用MATLAB(注册商标)的SVD(Singular Value Decomposition:奇异值分解)作为分析工具进行了奇异值分解。
这里,按照CIE-L*a*b*表色系统,求出从图像的RGB数据计算出的与肌肤的红色、血色素量具有相关性的红斑指数“a*”,将其作为血液循环量数据。此外,奇异值分解中,将基于从以时间序列获取到的所有视频数据(30分钟的数据)得到的RGB数据的血液循环量数据(这里为红斑指数)设为对象,将因素设为每30秒的时间数据(30分钟60个时间点),将测度设为根据该期间(每30秒)的RGB数据计算出的红斑指数(每30秒取出1秒钟的帧数据,根据从该帧数据得到的RGB值的平均值计算出的红斑指数;240×320像素)。而且,利用奇异值分解,将基于从面部的视频数据得到的RGB数据的时间序列的血液循环量数据分解成多个分量,计算出各个分量的时间分布V、空间分布U、和表示各分量大小的奇异值S。另外,这些关系用下述式子来表示。此外,V’是将V的行和列调换后的行列。
[数学式1]
X=(U*S)*V'
然后,将通过奇异值分解求出的各分量的时间分布V和空间分布U绘制成曲线图,制成了各分量的分量波形图和血液循环量分布图。
而且,对于制成的各分量的分量波形图和血液循环量分布图,进行了用于对表示反映了脑活动的面部血液循环量变化即面部的RGB变化的分量进行确定的分析。
对于各分量的分量波形图,对该分量波形的振幅与脑部安静时以及脑部激活时的相关关系的有无进行了分析。
具体而言,对各分量的分量波形图中示出的振幅、与脑部安静期间/脑部激活期间之间是否具有相关关系进行了评价。本次的测试中,在获取面部的拍摄图像数据的期间中,将未对被测人员提供脑功能激活课题的期间即从数据获取开始时刻开始直到经过了5分钟为止的5分钟期间、以及从数据获取开始时起经过了15分钟的时刻开始直到数据获取结束时刻为止的15分钟期间设为脑部安静时,将对被测人员提供脑功能激活课题的期间即从数据获取开始时起经过了5分钟的时刻开始直到经过了10分钟的时刻为止的10分钟期间设为脑部激活时。然后,对各分量的分量波形图中示出的振幅、与脑部安静时及脑部激活时的相关关系的有无进行了评价。另外,对于相关关系的有无,进行统计学相关分析,在显著性水平(α)为0.01以下的情况下判断为有相关性。
对于各分量的血液循环量分布图,对面部的规定部位的血液循环量变化的有无进行了分析。血液循环量分布图通过将对每一像素计算出的空间分布U排列在各像素的位置来制成。在由此制成的各分量的血液循环量分布图中,对鼻部周边及前额部的血液循环量是否有变化进行了评价。另外,对于血液循环量分布图中的鼻部周边及前额部的血液循环量变化的有无,将目视(visual inspection)的血液循环量变化的有无、或者图1(b)所示的鼻部周边及前额部的血液循环量的值不为“0.000”作为血液循环量变化的有无的基准。
另外,利用空间分布U、奇异值S和时间分布V的值的关系,来决定血液循环量数据X的极性(正负),因此有时会在各分量的分量波形图及血液循环量分布图中极性反转地出现。
因此,关于分量波形图及血液循环量分布图的评价,对于极性不作为评价对象。
而且,为了验证面部皮肤温度与面部血液循环量的相关关系,在从6名被测人员以时间序列获取面部的拍摄图像数据的期间中,利用红外线温度记录装置以时间序列还获取面部皮肤温度数据,对于获取到的面部皮肤温度数据,也使用MATLAB(注册商标)的SVD作为分析工具进行奇异值分解,制成与奇异值S相应的各分量的分量波形图,对于该分量波形的振幅与脑部安静时及脑部激活时的相关关系的有无进行了分析的红外线温度记录装置是可进行如下处理的装置:利用红外线摄像头来检测从对象物发出的红外线辐射能量,将检测出的红外线辐射能量转换成对象物表面的温度(这里,为摄氏温度),显示并储存该温度分布以作为面部皮肤温度数据(例如,表示温度分布的图像数据)。另外,该测试中,作为红外线温度记录装置,使用了NECAvio红外线技术株式会社生产的R300。此外,红外线摄像头设置在了被测人员的正面侧、距离被测人员1.5m的地方。
在使用拍摄装置获取面部的拍摄图像数据的情况下,在拍摄过程中有时太阳光等会照射到脸部从而光在脸部反射,该反射光会进入拍摄装置的镜头。
这样的话,会在拍摄到的面部拍摄图像数据中记录该反射光。这里,由于在从拍摄图像数据得到的RGB数据中,基于面部血液循环量的亮度的变化比基于反射光的亮度的变化小,因此若对基于从记录有反射光的拍摄图像数据得到的RGB数据计算出的血液循环量进行分析,则认为可能会混入与脑活动无关联的面部的RGB变化(所谓噪声)。因此,为了防止混入这种与脑活动无关联的面部的RGB变化,根据将每30秒的RGB数据的所有平均值设为“0”的相对的RGB数据来制成相对的血液循环量数据,对于制成的血液循环量数据,也使用MATLAB(注册商标)的SVD作为分析工具进行奇异值分解,制成与奇异值S相应的各分量的分量波形图和血液循环量分布图,进行了用于对表示反映了脑活动的面部的RGB变化的分量进行确定的分析。
另外,如上所述,为了说明方便,将基于每规定时间(本次的测试中每30秒)的RGB数据的所有平均值设为“0”的相对的RGB数据的相对的血液循环量数据称为“相对换算血液循环量数据”,将基于换算成相对的RGB数据之前的RGB数据的血液循环量数据只是称为“血液循环量数据”。
此外,在对于6名被测人员利用拍摄装置获取面部的时间序列的拍摄图像数据的期间,在各被测人员的头皮上连接电极来测定脑波,对已知为觉醒时等脑细胞活动时出现的波形的β波(13~30Hz的频率的脑波)的振幅、与分量波形图的振幅之间的相关关系也进行了评价。
另外,脑波测定中,基于国际式10-20法,在头皮上19的部位(Fp1、Fp2、F3、F4、C3、C4、P3、P4、O1、O2、F7、F8、T3、T4、T5、T6、Fz、Cz及Pz)配置了电极。
而且,在对被测人员提供脑功能激活课题的期间,认为被测人员的头会上下移动。这样的话,被测人员的面部相对于拍摄装置的位置会发生变化。为了验证该面部的位置变化是否影响到面部的RGB变化,对于1名被测人员进行了对照测试。对照测试中,虽然与上述测试相同地使用拍摄装置来获取被测人员的面部的时间序列的拍摄图像数据,但对于未提供脑功能激活课题的期间(即,脑部安静时)也对于被测人员施加了在随机的时间点按键盘的作业。对于基于从通过该对照试验拍摄到的面部的时间序列的拍摄图像数据得到的RGB数据的时间序列的血液循环量数据,也使用MATLAB(注册商标)的SVD作为分析工具进行奇异值分解,制成与奇异值S相应的各分量的分量波形图,对于该分量波形的振幅与脑部安静时及脑部激活时的相关关系的有无进行了分析。此外,对于各分量波形的振幅、与实际的面部移动的相关关系的有无进行了分析。通过从拍摄图像数据获取脸部的同一部位的二维坐标,将对照试验开始时的拍摄图像数据作为基准来计算出拍摄时的每30秒的面部的移动距离,从而评价实际的面部移动。而且,对于各分量波形的振幅、与拍摄过程中的键盘输入数的相关关系的有无进行了分析。通过对时间序列的拍摄图像数据中的每30秒的单纯移动平均进行计算,从而评价了拍摄过程中的键盘输入数。
(3)面部的拍摄图像数据的分析结果
图2~图7是示出对基于面部的拍摄图像数据(血液循环量数据)或面部皮肤温度数据的分量波形图进行分析后的结果的一部分的图。
图2A是示出基于被测人员1的拍摄图像数据的分量2的分量波形的振幅、和测定的被测人员1的脑波中的β波的振幅的图。图2B是示出基于被测人员1的面部皮肤温度数据的分量2的分量波形的振幅、和测定的被测人员1的脑波中的β波的振幅的图。图3A是示出基于被测人员2的拍摄图像数据的分量2的分量波形的振幅、和测定的被测人员2的脑波中的β波的振幅的图。图3B是示出基于被测人员2的面部皮肤温度数据的分量2的分量波形的振幅、和测定的被测人员2的脑波中的β波的振幅的图。图4A是示出基于被测人员3的拍摄图像数据的分量4的分量波形的振幅、和测定的被测人员3的脑波中的β波的振幅的图。图4B是示出基于被测人员3的面部皮肤温度数据的分量3的分量波形的振幅、和测定的被测人员3的脑波中的β波的振幅的图。图5A是示出基于被测人员4的拍摄图像数据的分量3的分量波形的振幅、和测定的被测人员4的脑波中的β波的振幅的图。图5B是示出基于被测人员4的面部皮肤温度数据的分量2的分量波形的振幅、和测定的被测人员4的脑波中的β波的振幅的图。图6A是示出基于被测人员5的拍摄图像数据的分量2的分量波形的振幅、和测定的被测人员5的脑波中的β波的振幅的图。图6B是示出基于被测人员5的面部皮肤温度数据的分量2的分量波形的振幅、和测定的被测人员5的脑波中的β波的振幅的图。图7A是示出基于被测人员6的拍摄图像数据的分量4的分量波形的振幅、和测定的被测人员6的脑波中的β波的振幅的图。图7B是示出基于被测人员6的面部皮肤温度数据的分量3的分量波形的振幅、和测定的被测人员6的脑波中的β波的振幅的图。
如图2~图7所示,根据各分量波形和脑波分析的结果,确认了面部的皮肤温度与面部的血液循环量具有相关关系。另外,在基于面部的皮肤温度数据及面部的血液循环量数据中的任一种数据的分析中,也在各分量波形的振幅、与安装于头顶部或后头部的电极测定的脑波的β波的振幅之间确认了显著的相关性。
以下所示的表1示出了对于各被测人员的面部的拍摄图像数据的分析结果。
[表1]
如表1所示,根据通过上述面部的拍摄图像数据的分析得到的结果,确认了在利用奇异值分解对基于面部的拍摄图像数据的时间序列的血液循环量数据进行分解所得到的多个分量中、分量1、2、3、4、5与人类的脑活动之间具有显著的相关性。另外,这里,不仅是在基于血液循环量数据的相关性中发现了显著的相关性且在基于相对换算血液循环量数据的相关性中发现了显著的相关性的分量,而且在基于血液循环量数据的相关性中未发现显著的相关性但在基于相对换算血液循环量数据的相关性中发现了显著的相关性的分量也认为与人类的脑活动具有显著的相关性。
此外,以下所示的表2示出对照试验的结果。
[表2]
与脑部安静时/脑部激活时具有相关关系的分量 分量1、分量2
与面部的移动距离具有相关关系的分量 分量1、分量3、分量4
与键盘输入数具有相关关系的分量 分量8
如表2所示,对照试验中,在获取面部的拍摄图像数据的期间被测人员有移动的情况下,对于该分量波形的振幅与脑部安静时及脑部激活时之间具有显著的相关性的分量中的分量2,不认为与移动距离及键盘输入数之间分别有显著的相关性。由此,在通过对基于从面部的拍摄图像数据获取到的RGB数据的血液循环量数据进行奇异值分解所得到的多个分量中,对于与脑活动有显著的相关性的分量,即使受到获取面部的时间序列的拍摄图像数据时的被测人员的移动所引起的影响,也确认为其影响比脑部的脑活动所引起的影响(脑部激活、安静所引起的影响)小很多。
根据这些结果,本发明人得到了以下想法。
利用奇异值分解将基于从被测人员获取到的时间序列的面部的拍摄图像数据的面部的RGB数据所得到的血液循环量数据分解成多个分量,对于分解后的各分量进行分析后的结果是,认为多个分量中分量1、2、3、4、5是与脑活动相关联的分量。即,发现了:利用奇异值分解将基于时间序列的面部的拍摄图像数据的面部的RGB数据所得到的血液循环量数据分解成多个分量,从分解后的多个分量中提取与脑部安静/激活有相关性的分量,对于提取出的分量进行分析,从而能够从多个分量中确定表示反映了脑活动的面部的RGB变化的分量。由此,本发明人得到了如下想法:能够基于人类的面部的时间序列的拍摄图像数据,推定脑活动。
(4)脑活动推定装置10
接着,基于上述说明的发现,对本发明人直到完成的本发明的一个实施方式所涉及的脑活动推定装置10进行说明。另外,本发明所涉及的脑活动推定装置10不局限于以下的实施方式,可在不脱离要旨的范围内进行适当变更。
图8是本发明的实施方式所涉及的脑活动推定装置10的概要图。图9是示出在脑活动推定装置10中对示出反映了脑功能的面部的RGB变化的分量进行确定时的处理流程的一个示例的流程图。
脑活动推定装置10是用于根据个人(被测人员)的面部的拍摄图像数据来推定个人的脑活动的装置。脑活动推定装置10如图8所示,包括图像数据获取单元20、和脑活动推定单元30。
图像数据获取单元20以时间序列获取个人面部的至少一部分的拍摄图像数据(步骤S1)。
另外,图像数据获取单元20若至少具有拍摄装置则并无特别限定,例如,可举出智能手机、平板电脑(例如,iPad:注册商标)等拍摄装置内置型可携带终端等。这里,图像数据获取单元20如图8所示,具有作为拍摄装置的摄像头21、和存储部22。摄像头21用于以时间序列获取个人面部的拍摄图像数据。本实施方式中,摄像头21拍摄个人的面部整体的视频,获取拍摄后的视频数据。存储部22储存由拍摄装置拍摄后的时间序列的拍摄图像数据。这里,存储部22储存由摄像头21获取到的视频数据。
另外,本实施方式中,虽然利用摄像头21拍摄面部整体的视频,但并不局限于此,只要拍摄包含面部的至少前额部及/或鼻部周边的图像在内的视频即可。
此外,本实施方式中,在利用图像数据获取单元20获取面部的时间序列的拍摄图像数据的期间,对于个人提供一定期间的脑功能激活课题。
即,由图像数据获取单元20获取到的拍摄图像数据中,包含对于个人提供脑功能激活课题的期间的数据。另外,作为对于个人提供的脑功能激活课题,只要推定为脑部变成激活状态则并无特别限定,例如,也可构成为根据脑活动推定装置10的利用目的适当地决定该内容。
脑活动推定单元30基于由图像数据获取单元20获取到的面部时间序列的拍摄图像数据,推定人类的脑活动。
具体而言,脑活动推定单元30如图8所示,具有RGB处理部31、换算部32、血液循环量计算部33、分析部34、和推定部35。另外,图8中,示出了脑活动推定单元30作为具有RGB处理部31、换算部32、血液循环量计算部33、分析部34和推定部35的一个装置存在的形态,但本发明并不局限于此,RGB处理部31、换算部32、血液循环量计算部33、分析部34、和推定部35的一部分或分别也可作为独立的装置存在。
RGB处理部31对于由图像数据获取单元20获取到的拍摄图像数据进行RGB处理(步骤S2),该RGB处理分解成R分量、G分量及B分量这三种颜色分量。
这里,也可对于面部整体的拍摄图像数据进行RGB处理,但本实施方式中,为了减少运算处理量及噪声,从拍摄图像数据中提取前额部及/或鼻部周边的数据,仅对于提取出的数据进行RGB处理。
换算部32将通过RGB处理得到的拍摄图像数据的RGB数据换算成相对的RGB数据(步骤S3)。
具体而言,换算部32将从获取到的每规定时间(例如,30秒)的拍摄图像数据得到的RGB数据的平均值作为基准值,将该RGB数据换算成相对的RGB数据。
血液循环量计算部33基于通过RGB处理得到的拍摄图像数据的RGB数据,计算面部的时间序列的血液循环量数据(步骤S4)。
分析部34利用奇异值分解、主分量分析或独立分量分析将时间序列的相对换算血液循环量数据分解成多个分量(步骤S5)。本实施方式中,分析部34对于相对换算血液循环量数据,使用MATLAB(注册商标)的SVD作为分析工具,进行奇异值分解。具体而言,将时间序列的相对换算血液循环量数据设为对象,将因素设为每规定期间(例如,30秒)的时间数据,将测度设为从每个该期间中的相对的RGB数据计算出的每个像素的相对换算血液循环量数据,来进行奇异值分解。然后,利用奇异值分解,将时间序列的相对换算血液循环量数据分解成多个分量,计算出时间分布、空间分布、表示各分量大小的奇异值。
此外,分析部34为了从通过奇异值分解进行分解后的多个分量中确定表示反映了脑活动的面部的RGB变化的分量,判定各分量是否满足规定条件(步骤S6)。这里,作为规定条件,例如包含通过奇异值分解进行分解后的分量的分量波形的振幅与脑部安静时及脑部激活时的变化具有相关关系这一条件(以下称为第一条件)、通过奇异值分解进行分解后的分量中在人类的面部的规定部位存在血液循环量变化这一条件(以下称为第二条件)等。作为在分析部34中判定的规定条件,只要设定1个或多个条件即可,这里,设定第一条件以作为规定条件。
然后,分析部34提取多个分量中满足规定条件的分量,以作为判定用分量。
而且,分析部34将提取出的判定用分量中满足规定条件中包含的所有条件的分量确定为表示反映了脑活动的面部的RGB变化的分量(步骤S7)。另一方面,分析部34将多个分量中判定为不满足规定条件中包含的至少一个条件的分量判定为不是表示反映了脑活动的面部的RGB变化的分量(步骤S8)。
本实施方式中,如上所述仅设定一个条件(第一条件)作为规定条件,在获取面部的时间序列的拍摄图像数据的期间,对于个人提供脑功能激活课题的期间有一定期间。因此,分析部34将未对个人提供脑功能激活课题的期间设为脑部安静时,将对个人提供脑功能激活课题的期间设为脑部激活时,对提供脑功能激活课题的期间及不提供脑功能激活课题的期间、与各分量的分量波形进行比较分析。然后,分析部34利用基于分量波形数据的比较分析结果,对各分量的分量波形与脑部安静时及脑部激活时是否具有相关关系进行评价,提取多个分量中评价为具有相关关系的分量以作为满足规定条件的判定用分量,并且确定为表示反映了脑活动的面部的RGB变化的分量。另一方面,分析部34将多个分量中评价为不具有相关关系的分量判定为不满足规定条件且不是表示反映了人类脑活动的面部的RGB变化的分量。
这里,本实施方式中,在获取面部的时间序列的拍摄图像数据时对于个人提供一定期间的脑功能激活课题,基于此,分析部34提取判定用分量,但第一条件的内容、即分析部34中的判定用分量的提取手段并不局限于此。
例如,在预先通过试验等来确定多个分量中表示与脑部安静时及脑部激活时具有相关关系的分量波形的分量的情况下,分析部34从多个分量中提取所确定的该分量以作为判定用分量。此外,在脑活动推定装置10中对于眼球运动或眨眼等已知与脑部激活/安静相关联的人类的动作也进行检测的情况下,分析部34也可通过对该检测结果和各分量的分量波形进行比较分析和评价,从而从多个分量中提取判定用分量。另外,分析部34所进行的判定是否满足第一条件的基准根据脑活动推定装置10的使用目的等,通过仿真、试验、纸上计算等适当地决定。
此外,在设定第二条件作为规定条件的情况下,分析部34基于人类面部的规定部位上的面部的血液循环量变化的有无,提取判定用分量。
具体而言,分析部34基于与通过奇异值分解进行分解后的多个分量相应的血液循环量分布图,判定在鼻部周边及/或前额部是否产生了血液循环量的变化,在产生了血液循环量的变化的情况下判定为该分量满足第二条件。另一方面,在鼻部周边及/或前额部未产生血液循环量的变化的情况下,分析部34判定为该分量不满足第二条件。另外,分析部34所进行的判定是否满足第二条件的基准根据脑活动推定装置10的使用目的等,通过仿真、试验、纸上计算等适当地决定。
而且,在通过血液循环量计算部33计算出基于换算成相对的RGB数据之前的RGB数据的时间序列的血液循环量数据的情况下,也可利用分析部34,对于通过对该血液循环量数据进行奇异值分解等所得到的多个分量,也判定是否满足上述第一条件及/或第二条件,提取判定用分量。
推定部35基于分析部34中确定为表示反映了人类的脑活动的面部的RGB变化的分量的分量,推定人类的脑活动。
具体而言,推定部35基于分析部34中确定的分量的分量波形数据,在获取面部的拍摄图像数据时,推定个人的脑部处于活动状态,还是脑部处于未活动的状态。
根据这种结构,在该脑活动推定装置10中,能够基于面部的时间序列的拍摄图像数据,推定人类的脑活动。而且,通过在显示器等未图示的显示单元上显示推定部35所得到的推定结果,从而能够知道个人的脑部处于活动的状态,还是处于未活动的状态。
此外,在分析部34中确定了表示反映了脑活动的面部的RGB变化的分量之后,进一步利用图像数据获取单元20获取面部的时间序列的拍摄图像数据的情况下,也可在脑活动推定装置10中,通过奇异值分解将进一步获取到的面部的拍摄图像数据分解成多个分量,并仅分析所确定的分量,从而在获取该面部的拍摄图像数据时推定该个人的脑部处于活动状态,还是脑部处于未活动的状态。通过利用这种脑活动推定装置10来控制空调机等设备装置,从而能够接近符合该个人的室内环境。
(5)特征
(5-1)
为了推定人类的脑活动,在使用通过脑波测量法、磁共振成像法及近红外线分光法中的任一种方法检测出的数据的情况下,必须使用脑波电极、探针等安装前需要处理的传感器,或对测定地点产生限制。
此外,用于这些检测方法的设备非常昂贵,因此若要制造包括这些设备的脑活动推定装置则制造成本会变大。
本实施方式中,基于由图像数据获取单元20获取到的时间序列的面部的图像数据,来推定人类的脑活动。因此,即使不安装脑波电极、探针等安装前需要处理的传感器,也能推定人类的脑活动。因而,与利用脑波测量法、磁共振成像法、及近红外线分光法等的现有的检测方法的情况相比,能够简便地推定人类的脑活动。
此外,本实施方式中,由于只要能获取面部的至少一部分的图像数据即可,因此与包括用于现有检测方法的设备的脑活动推定装置相比,能够抑制制造成本。
而且,虽然基于通过使用温度记录装置可获取到的人类的面部的皮肤温度数据,也能够推定人类的脑活动,但温度记录装置一般也要花费几万日元左右的费用,因此可期待比使用温度记录装置还要抑制制造成本的脑活动推定装置。本实施方式中,通过采用廉价的拍摄装置作为图像数据获取单元20,从而与采用温度记录装置的情况相比,能够进一步抑制制造成本。
作为现有的研究,进行了如下的平均值探讨:通过计算出时间序列的面部皮肤温度数据中包含的所有温度数据的平均值,并对与计算出的平均值相应的面部皮肤温度数据进行分析从而推定人类的脑活动。然而,在面部皮肤温度数据中实际上包含反映了脑活动以外的噪声,由于分析身体的一部分的温度数据的话,噪声的影响比较大,因此利用平均值探讨无法准确地推定脑活动。因此,本发明人想到了进行如下的分量分析探讨:利用奇异值分解、主分量分析或独立分量分析将时间序列的面部皮肤温度数据分解成多个分量,从分解后的多个分量中确定与脑活动相关联的分量。分量分析探讨中,由于对所有的温度数据进行分解,因此能够去除包含噪声的分量,其结果是,与平均值探讨相比能够准确地推定脑活动。
此外,本发明人想到在根据与面部的皮肤温度成比例的面部的血液循环量的时间序列数据来推定脑活动时,该分量分析探讨是否也有效。因此,本发明人对于基于从时间序列的面部的图像数据得到的RGB数据的时间序列的血液循环量数据,也采用了如下的分量分析探讨:利用奇异值分解、主分量分析或独立分量分析分解成多个分量,从分解后的多个分量确定与脑活动相关联的分量。本实施方式的脑活动推定装置10中,利用奇异值分解将基于从时间序列的面部的图像数据得到的RGB数据的时间序列的血液循环量数据分解成多个分量,根据分解后的分量来推定脑活动。由此,能够去除包含噪声的分量,能够准确地推定脑活动。
(5-2)
这里,在获取时间序列的面部的图像数据时,通过对于人类实际上提供脑功能激活课题或不提供脑功能激活课题,从而制造人类脑部激活或安静的情况,此时,可以说各分量的分量波形与脑部激活时及安静时之间具有相关关系的分量是表示反映了脑活动的血液循环量的变化的分量可能性较高。
本实施方式中,在利用图像数据获取单元20获取时间序列的面部的图像数据的期间,对于个人提供一定期间的脑功能激活课题。即,本实施方式中,通过对于个人实际上提供脑功能激活课题或不提供脑功能激活课题,从而制造人类脑部激活或安静的情况。而且,利用奇异值分解将基于从由此获取到的图像数据得到的RGB数据的时间序列的血液循环量数据分解成多个分量,对于各分量评价该分量波形与脑部激活时及安静时的相关关系,从多个分量中提取具有相关关系的分量以作为判定用分量。因此,例如与从多个分量中提取预先通过实验等确定的规定分量作为提取用分量的情况相比,能够减少从多个分量中提取与人类脑活动关联性较低的分量作为提取用分量的可能性。
(5-3)
这里,脑部中存在选择性脑冷却结构这一与体温独立冷却脑部的结构。作为选择性脑冷却结构,已知有使用前额部和鼻部周边排出由脑活动产生的热量。这样的话,脑活动所伴随的与面部皮肤温度相关的面部的血液循环量的变化会在前额部及/或鼻部周边出现。
本实施方式中,对基于前额部及/或鼻部周边的RGB数据的血液循环量数据进行分析,提取判定用分量。因此,能够高精度地提取与人类的脑活动相关联的分量。
此外,本实施方式中,由于RGB处理及血液循环量数据的获取范围限定在前额部及/或鼻部周边,因此相比于对面部整体的拍摄图像数据进行RGB处理、基于此来计算血液循环量数据,能够减少运算处理量。
(5-4)
在使用拍摄装置获取面部的拍摄图像数据的情况下,有时在拍摄过程中太阳光等会照射到脸部从而光在脸部反射,该反射光会进入拍摄装置的镜头。
这样的话,会在拍摄到的面部拍摄图像数据中记录该反射光。这里,在从拍摄图像数据得到的RGB数据中,基于面部的血液循环量的亮度变化比基于反射光的亮度变化小,因此若对基于从记录了反射光的拍摄图像数据得到的RGB数据计算出的血液循环量进行分析,则可能会混入与脑活动无关联的面部的RGB变化(所谓噪声)。
本实施方式中,将通过RGB处理得到的拍摄图像数据的RGB数据换算成相对的RGB数据,对基于相对的RGB数据的时间序列的相对换算血液循环量数据进行计算。由此,通过计算相对换算血液循环量数据,从而能够捕捉每规定时间的面部的RGB数据的相对的变化。因此,能够检测出与脑活动无关联的外部因素所引起的面部的RGB变化。
此外,本实施方式中,利用奇异值分解将时间序列的相对换算血液循环量数据分解成多个分量,进行对于各分量的分析。因此,能够将包含与脑活动无关联的外部因素所引起的面部的RGB变化在内的分量作为噪声分量去除。由此,能够高精度地确定与人类的脑活动相关联的分量。
(5-5)
有时在对基于换算成相对的RGB数据之前的RGB数据所得到的血液循环量数据进行分析的情况下不作为有显著的相关性的分量提取出,在对基于相对的RGB数据所得到的相对换算血液循环量数据进行分析的情况下作为有显著的相关性的分量提取出。另一方面,有时也会在对基于换算成相对的RGB数据之前的RGB数据所得到的血液循环量数据进行分析的情况下作为有显著的相关性的分量提取出,在对基于相对的RGB数据所得到的相对换算血液循环量数据进行分析的情况下不作为有显著的相关性的分量提取出。这里,来自外部的光等外部因素有可能会影响到换算成相对的RGB数据之前的RGB数据,因此认为外部因素的影响与上述那样的提取出的分量的差异相关联。即,相比于基于换算成相对的RGB数据之前的RGB数据所得到的血液循环量数据,基于相对的RGB数据所得到的相对换算血液循环量数据是重要度更高且妥当性更高的数据。
本实施方式中,仅对基于相对的RGB数据所得到的相对换算血液循环量数据进行分析。由此,相比于仅对基于换算成相对的RGB数据之前的RGB数据所得到的血液循环量数据进行分析,能够更高精度地确定与人类的脑活动相关联的分量。而且,与对基于换算成相对的RGB数据之前的RGB数据所得到的血液循环量数据以及基于相对的RGB数据所得到的相对换算血液循环量数据这两个数据都进行分析的情况相比,能够减少运算处理量。
(6)变形例
(6-1)变形例A
如上所述,作为摄像头21,例如可使用智能手机、平板电脑(例如,iPad:注册商标)等拍摄装置内置型可携带终端等。
即,上述的拍摄图像数据可采用拍摄可见光区域的图像的数据。
在这种情况下,在上述实施方式的血液循环量计算部中,也可主要使用RGB数据中包含的各像素中的R分量来计算面部的血液循环量数据。此外,只要能够基于RGB数据来计算出血液循环量数据,则血液循环量数据并不一定局限于红斑指数。
(6-2)变形例B
上述实施方式中,在步骤S4中,基于通过RGB处理得到的拍摄图像数据的RGB数据,来计算面部的时间序列的血液循环量数据。换言之,上述实施方式的血液循环量计算部33基于由换算部32换算后的相对的RGB数据来计算相对换算血液循环量数据,但也可取而代之或者在此基础上,基于换算成相对的RGB数据之前的RGB数据来计算血液循环量数据。这里,在基于换算成相对的RGB数据之前的RGB数据计算出的血液循环量数据中容易出现与脑活动相关联的分量(甄别力较高),因此例如,也可相比于基于相对的RGB数据计算出的相对换算血液循环量数据,先行分析基于换算成相对的RGB数据之前的RGB数据计算出的血液循环量数据。此外,例如,首先分析血液循环量数据并提取有显著的相关性的分量,关于相对换算血液循环量数据,仅对与所述提取出的分量相对应的分量进行分析,从而能够减少运算处理量。
(6-3)变形例C
上述摄像头12以可见光区域的通常的摄像头作为前提,但也可使用红外线摄像头。在这种情况下,照射红外光,利用红外线摄像头来拍摄其反射波。由此,能够得到对象人员的面部变化等的拍摄图像数据。本发明人确认了:根据通过红外线的反射得到的拍摄图像数据计算出的血液循环量数据、与主要使用在可见光区域拍摄到的RGB数据中包含的各像素中的R分量计算出的血液循环量数据之间存在相关性。因而,即使使用从这种红外线的反射得到的拍摄图像数据,也能推定人类的脑活动。
(6-4)变形例D
另外,上述说明中,虽然采用了脑活动推定装置10包括图像数据获取单元20、和脑活动推定单元30的方式,但本实施方式所涉及的脑活动推定装置并不局限于这种方式。即,本实施方式所涉及的脑活动推定装置只要包含血液循环量计算部33、分析部34及推定部35,对于其他结构可采用任意的方式。具体而言,本实施方式所涉及的脑活动推定装置不仅包括该装置自身拍摄图像数据的方式,而且还包括从外部的装置接收拍摄图像数据,对其进行分析的方式。
工业上的实用性
根据本发明,由于能够简便地推定人类的脑活动,因此对于需要推定人类的脑活动的装置的适用是有效的。
标号说明
10 脑活动推定装置
20 图像数据获取单元
30 脑活动推定单元
31 RGB处理部
32 换算部
33 血液循环量计算部
35 推定部
现有技术文献
专利文献
专利文献1:日本专利特开2013-176406号公报。

Claims (9)

1.一种脑活动推定装置,包括脑活动推定单元(30),该脑活动推定单元(30)具有:
血液循环量计算部(33),该血液循环量计算部(33)基于以时间序列获取到的人类面部的拍摄图像数据的RGB数据,计算所述面部的时间序列的血液循环量数据,所述RGB数据是将拍摄图像数据分解成R分量、G分量及B分量这三个颜色分量的RGB处理所得到的;以及
推定部(35),该推定部(35)基于通过利用奇异值分解、主分量分析或独立分量分析对所述血液循环量数据进行分解而得到的多个分量,推定所述人类的脑活动。
2.如权利要求1所述的脑活动推定装置,其特征在于,
所述脑活动推定单元
在所述多个分量中提取判定用分量,所述判定用分量是分量波形的振幅与脑部安静时及脑部激活时的变化具有相关关系的分量,
基于所述判定用分量,推定所述人类的脑活动。
3.如权利要求2所述的脑活动推定装置,其特征在于,
所述拍摄图像数据中包含对于所述人类提供脑功能激活课题的期间的数据,
所述脑活动推定单元
将未对于所述人类提供所述脑功能激活课题的期间作为脑部安静时,将对于所述人类提供所述脑功能激活课题的期间作为脑部激活时,对于所述多个分量评价是否具有所述相关关系,
提取所述多个分量中评价为具有所述相关关系的分量以作为所述判定用分量。
4.如权利要求1至3中的任一项所述的脑活动推定装置,其特征在于,所述血液循环量数据的获取范围是所述面部的鼻部周边、及/或前额部。
5.如权利要求1至4中的任一项所述的脑活动推定装置,其特征在于,所述脑活动推定单元具有换算部(32),该换算部(32)将从获取到的每规定时间的所述拍摄图像数据得到的所述RGB数据换算成相对的RGB数据,
所述血液循环量计算部基于所述相对的RGB数据,计算所述面部的时间序列的血液循环量数据。
6.如权利要求1至5中的任一项所述的脑活动推定装置(10),其特征在于,还包括:
图像数据获取单元(20),该图像数据获取单元(20)以时间序列获取人类面部的拍摄图像数据;以及
RGB处理部(31),该RGB处理部(31)对于由所述图像数据获取单元获取到的所述拍摄图像数据进行RGB处理,该RGB处理分解成R分量、G分量及B分量这三个颜色分量。
7.如权利要求1至6中的任一项所述的脑活动推定装置,其特征在于,所述拍摄图像数据由拍摄可见光区域的图像的摄像头(21)获取。
8.如权利要求1至7中的任一项所述的脑活动推定装置,其特征在于,所述血液循环量计算部主要使用所述RGB数据中包含的各像素中的R分量来计算所述面部的血液循环量数据。
9.如权利要求1至6中的任一项所述的脑活动推定装置,其特征在于,所述拍摄图像数据由红外线摄像头获取。
CN201680034098.XA 2015-06-12 2016-06-13 脑活动推定装置 Active CN107847134B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015119350 2015-06-12
JP2015-119350 2015-06-12
PCT/JP2016/067578 WO2016199940A1 (ja) 2015-06-12 2016-06-13 脳活動推定装置

Publications (2)

Publication Number Publication Date
CN107847134A true CN107847134A (zh) 2018-03-27
CN107847134B CN107847134B (zh) 2023-09-01

Family

ID=57503300

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680034098.XA Active CN107847134B (zh) 2015-06-12 2016-06-13 脑活动推定装置

Country Status (5)

Country Link
US (1) US11253155B2 (zh)
EP (1) EP3308700B1 (zh)
JP (2) JP6189486B2 (zh)
CN (1) CN107847134B (zh)
WO (1) WO2016199940A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6189486B2 (ja) * 2015-06-12 2017-08-30 ダイキン工業株式会社 脳活動推定装置
JP6749278B2 (ja) * 2017-04-14 2020-09-02 ダイキン工業株式会社 生理状態判定装置
JP7276841B2 (ja) * 2019-07-23 2023-05-18 学校法人東京電機大学 血流評価装置。
WO2023090429A1 (ja) * 2021-11-19 2023-05-25 国立大学法人電気通信大学 生体検出システム、生体検出方法及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008284165A (ja) * 2007-05-17 2008-11-27 Auto Network Gijutsu Kenkyusho:Kk 生体情報取得装置
US20090012430A1 (en) * 2006-08-17 2009-01-08 Lovoi Paul A Non-invasive characterization of human vasculature
CN102178515A (zh) * 2011-03-17 2011-09-14 何宗彦 脑病变监测仪
CN103251391A (zh) * 2012-02-21 2013-08-21 施乐公司 从源视频图像获得动脉脉搏传导时间
CN103429144A (zh) * 2011-01-05 2013-12-04 皇家飞利浦电子股份有限公司 用于从特征信号提取信息的装置和方法
CN104545864A (zh) * 2014-12-25 2015-04-29 中国科学院深圳先进技术研究院 心理调节方法和装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4474145B2 (ja) * 2003-11-12 2010-06-02 株式会社日立メディコ 光計測装置
JP4656304B2 (ja) * 2005-03-30 2011-03-23 花王株式会社 肌の酸素飽和度計測システム
US8401261B2 (en) 2007-09-25 2013-03-19 University Of Houston System Imaging facial signs of neuro-physiological responses
JP4518189B2 (ja) * 2008-05-28 2010-08-04 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
US20110251493A1 (en) * 2010-03-22 2011-10-13 Massachusetts Institute Of Technology Method and system for measurement of physiological parameters
JP2013176406A (ja) 2010-05-27 2013-09-09 Hitachi Ltd 脳機能計測装置
US9204836B2 (en) * 2010-06-07 2015-12-08 Affectiva, Inc. Sporadic collection of mobile affect data
US10289898B2 (en) * 2010-06-07 2019-05-14 Affectiva, Inc. Video recommendation via affect
JP5665025B2 (ja) * 2010-08-06 2015-02-04 国立大学法人東京農工大学 精神疾患判定装置、方法、及びプログラム
JP5672144B2 (ja) * 2011-05-20 2015-02-18 富士通株式会社 心拍数・呼吸数検出装置,方法およびプログラム
JP5917841B2 (ja) * 2011-06-15 2016-05-18 日産自動車株式会社 気分判定装置及び気分判定装置の作動方法
EP2844136A1 (en) * 2012-05-02 2015-03-11 Aliphcom Physiological characteristic detection based on reflected components of light
US20140121540A1 (en) * 2012-05-09 2014-05-01 Aliphcom System and method for monitoring the health of a user
EP4000505A1 (en) * 2012-11-02 2022-05-25 Koninklijke Philips N.V. Device and method for extracting physiological information
US9640218B2 (en) * 2012-12-07 2017-05-02 Intel Corporation Physiological cue processing
WO2014136310A1 (ja) * 2013-03-08 2014-09-12 富士フイルム株式会社 脈波伝播速度の測定方法及びシステム並びに撮像装置
WO2014145204A1 (en) 2013-03-15 2014-09-18 Affectiva, Inc. Mental state analysis using heart rate collection based video imagery
JP2015022537A (ja) * 2013-07-19 2015-02-02 日産自動車株式会社 車両用情報提示装置
JP6349075B2 (ja) * 2013-11-22 2018-06-27 三星電子株式会社Samsung Electronics Co.,Ltd. 心拍数測定装置及び心拍数測定方法
JP6189486B2 (ja) 2015-06-12 2017-08-30 ダイキン工業株式会社 脳活動推定装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090012430A1 (en) * 2006-08-17 2009-01-08 Lovoi Paul A Non-invasive characterization of human vasculature
JP2008284165A (ja) * 2007-05-17 2008-11-27 Auto Network Gijutsu Kenkyusho:Kk 生体情報取得装置
CN103429144A (zh) * 2011-01-05 2013-12-04 皇家飞利浦电子股份有限公司 用于从特征信号提取信息的装置和方法
CN102178515A (zh) * 2011-03-17 2011-09-14 何宗彦 脑病变监测仪
CN103251391A (zh) * 2012-02-21 2013-08-21 施乐公司 从源视频图像获得动脉脉搏传导时间
CN104545864A (zh) * 2014-12-25 2015-04-29 中国科学院深圳先进技术研究院 心理调节方法和装置

Also Published As

Publication number Publication date
JP7111450B2 (ja) 2022-08-02
EP3308700B1 (en) 2024-01-24
JP2017209516A (ja) 2017-11-30
JP2017000773A (ja) 2017-01-05
EP3308700A4 (en) 2019-02-20
EP3308700A1 (en) 2018-04-18
US20180168451A1 (en) 2018-06-21
CN107847134B (zh) 2023-09-01
US11253155B2 (en) 2022-02-22
WO2016199940A1 (ja) 2016-12-15
JP6189486B2 (ja) 2017-08-30

Similar Documents

Publication Publication Date Title
US10786207B2 (en) Physiological state determination device and physiological state determination method
Greve et al. A survey of the sources of noise in fMRI
CN107847134A (zh) 脑活动推定装置
CN106793958A (zh) 脑活动推测装置
CN109640821A (zh) 用于面部检测/识别系统的方法和装置
CN108135498B (zh) 有用信息呈现装置
CN109508702A (zh) 一种基于单一图像采集设备的三维人脸活体检测方法
Mejia et al. Improved estimation of subject-level functional connectivity using full and partial correlation with empirical Bayes shrinkage
EP3424408B1 (en) Fatigue state determination device and fatigue state determination method
CN103202692B (zh) 脑功能连接频率范围的定量判定方法
Hudson et al. Measuring adaptation with a sinusoidal perturbation function
CN115439920B (zh) 基于情绪视听刺激和面部表情的意识状态检测系统、设备
JP6829363B2 (ja) 評価装置、マーケット調査装置、及び学習評価装置
CN106725364B (zh) 基于概率统计方法的管制员疲劳检测方法及系统
Greve et al. A Survey of the Sources of Noise in fMRI 1
Glover et al. Douglas N. Greve, Gregory G. Brown, Bryon A. Mueller
CN109461504A (zh) 肤质监测分析评估系统及方法
Centa et al. Deception and Thermal Imagers
Greve et al. 22 A Survey of the Sources of Noise in fMRI1

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant