CN111655149A - 用于推断用户的心理状态的系统、记录介质以及方法 - Google Patents

用于推断用户的心理状态的系统、记录介质以及方法 Download PDF

Info

Publication number
CN111655149A
CN111655149A CN201980009787.9A CN201980009787A CN111655149A CN 111655149 A CN111655149 A CN 111655149A CN 201980009787 A CN201980009787 A CN 201980009787A CN 111655149 A CN111655149 A CN 111655149A
Authority
CN
China
Prior art keywords
user
emotion
value
pulsed light
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980009787.9A
Other languages
English (en)
Inventor
铃木雅登
安藤贵真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN111655149A publication Critical patent/CN111655149A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022Monitoring a patient using a global network, e.g. telephone networks, internet
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0064Body surface scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0261Measuring blood flow using optical means, e.g. infrared light
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/6803Head-worn items, e.g. helmets, masks, headphones or goggles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6891Furniture
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893Cars
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475User input or interface means, e.g. keyboard, pointing device, joystick
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/105Controlling the light source in response to determined parameters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0233Special features of optical sensors or probes classified in A61B5/00
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Hematology (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)

Abstract

本公开一实施方式的系统具备:光源,射出照射到用户头部的脉冲光;光检测器,检测从头部返回的反射脉冲光的至少一部分,并输出与反射脉冲光的所述至少一部分的强度对应的一个以上的信号;电气电路,对光源和光检测器进行控制,对从光检测器输出的一个以上的信号进行处理;及存储器,存储表示一个以上的信号与多个感情之间的关系的感情模型。电气电路基于一个以上的信号的变化,通过参照感情模型,从多个感情中选择至少一个感情。所述一个以上的信号包括:第1信号,与反射脉冲光的第1部分的强度对应;及第2信号,与反射脉冲光的不同于第1部分的第2部分的强度对应。第1部分包括下降期间开始前的部分,第2部分包括下降期间的至少一部分。

Description

用于推断用户的心理状态的系统、记录介质以及方法
技术领域
本公开涉及用于推断用户的心理状态的系统、记录介质以及方法。
背景技术
已知由于人的感情的变化,皮肤血流以及脑血流变化。非专利文献1公开了面部血流的图案根据被检者的感情而变化。面部血流的图案通过基于激光散斑(laser speckle)血液计的面部整体的血流分布的成像而得到。非专利文献2公开了使用近红外线分光法(Near-Infrared Spectroscopy),从前额部的含有头皮血流的脑血流状态来判定抑郁症的方法。
现有技术文献
非专利文献
非专利文献1:「32.顔面皮膚血流の非接触計測を利用したヒトの情動センシング」上原纪念生命科学财团研究报告集,26(2012)
非专利文献2:“「「抑うつ状態の鑑別診断補助」としての光トポグラフィー検査」、精神神经学杂志,第117卷第2号,pp.79-93(2015)
非专利文献3:Peter D.Drummondet al.“The effect of expressing anger oncardiovascular reactivity and facial blood flow in Chinese and Caucasians”Psychophysiol.,38:190-196,2001
发明内容
发明所要解决的课题
本公开提供一种取得用户的皮肤血流以及脑血流的信息来推断感情等心理状态的新技术。
用于解决课题的手段
本公开的一个形态的系统具备:光源,射出向用户的头部照射的脉冲光;光检测器,检测从所述头部返回的反射脉冲光的至少一部分,输出与所述反射脉冲光的所述至少一部分的强度对应的一个以上的信号;电气电路,控制所述光源以及所述光检测器,对从所述光检测器输出的所述一个以上的信号进行处理;以及第1存储器,存储表示所述一个以上的信号与多个感情之间的关系的感情模型。所述电气电路基于所述一个以上的信号的变化,通过参照所述感情模型,从所述多个感情中选择至少一个感情。所述一个以上的信号包括:第1信号,与所述反射脉冲光的第1部分的强度对应;以及第2信号,与所述反射脉冲光的与所述第1部分不同的第2部分的强度对应。所述第1部分包括从所述反射脉冲光的强度开始减少到减少结束为止的期间即下降期间开始前的部分,所述第2部分包括所述下降期间的至少一部分。
本公开的总括性或具体的形态也可以通过系统、装置、方法、集成电路、计算机程序或记录介质来实现。或者,也可以通过系统、装置、方法、集成电路、计算机程序以及记录介质的任意组合来实现。
发明效果
根据本公开的技术,能够更准确地推断用户的感情等心理状态。
附图说明
图1A是表示本公开的实施方式的系统的示意图。
图1B是表示到达光检测器的光的强度的时间变化的例子的图。
图1C是以输入脉冲光的宽度为横轴,以由光检测器30检测出的光的光量为纵轴来表示的图。
图1D是表示光检测器的一个像素的概略结构的例子的图。
图1E是表示光检测器的结构的一例的图。
图1F是表示1帧内的动作的例子的图。
图1G是表示控制电路的动作的概略的流程图。
图2是用于说明脉冲光的内部散射成分的检测方法的图。
图3A是表示检测表面反射成分时的时序图的一例的图。
图3B是表示检测内部散射成分时的时序图的一例的图。
图4是表示推断测量前用户状态的处理的一例的流程图。
图5是示意性地表示罗素的圆环模型的图。
图6是示意性地表示感情/清醒度映射的图。
图7是表示将用户的感情分类为四个感情组中的某一个的处理的一例的流程图。
图8是表示推断执行课题时用户的感情的处理的一例的流程图。
图9是示意性地表示多个生物体测量系统和服务器计算机的结构例的图。
图10是表示车载的应用例的图。
图11是表示精神健康检查的应用例的图。
图12是示意性地表示头戴式装置的图。
图13是示意性地表示智能手机的图。
具体实施方式
以下说明的实施方式均表示总括性或具体的例子。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置等是一例,并非旨在限定本公开的技术。另外,关于以下的实施方式中的构成要素中的、未记载在表示最上位概念的独立权利要求中的构成要素,作为任意的构成要素进行说明。
在本公开中,电路、单元、装置、构件或者部的全部或者一部分、或者框图中的功能块的全部或者一部分例如能够通过包括半导体装置、半导体集成电路(IC)或者LSI(largescale integration:大规模集成电路)的一个或者多个电气电路来执行。LSI或IC既可以集成在一个芯片上,也可以组合多个芯片而构成。例如,也可以是,存储元件以外的功能块集成在一个芯片上。在此,称为LSI或IC,但也可以根据集成度而改变称呼方式,称为系统LSI、VLSI(very large scale integration:甚大规模集成电路)或ULSI(ultra large scaleintegration:超大规模集成电路)。在LSI的制造后编程的Field Programmable GateArray(FPGA:现场可编程门阵列)、或能够重构LSI内部的接合关系或设置LSI内部的电路区划的reconfigurable logic device(可重构逻辑器件)也能够用于相同的目的。
进而,电路、单元、装置、构件或部的全部或一部分的功能或操作能够通过软件处理来执行。在该情况下,软件被记录在一个或多个ROM、光盘、硬盘驱动器等非暂时性记录介质中,在由处理装置(processor)执行了软件时,由处理装置(processor)以及外围装置执行由该软件特定的功能。系统或装置也可以具备记录有软件的一个或多个非暂时性记录介质、处理装置(processor)、以及所需的硬件器件例如接口。
以下,参照附图对实施方式进行具体说明。在以下的说明中,对相同或类似的构成要素标注相同的附图标记。
(实施方式)
[1.系统]
参照图1A至图3B,对本公开的例示性的实施方式的生物体测量系统100的结构进行说明。
图1A是表示本实施方式的生物体测量系统100的示意图。生物体测量系统100具备刺激装置10、光源20、光检测器30、输出装置40、输入装置50、控制电路60以及信号处理电路70。控制电路60和信号处理电路70为本公开中的电气电路的一例。
刺激装置10向用户1提供刺激。光源20射出照射到用户1的头部的脉冲光。光检测器30检测从用户1的头部返回的脉冲光的至少一部分。输出装置40将基于信号处理电路70的处理的结果输出到用户1。输入装置50受理用户1的输入。控制电路60对刺激装置10、光源20、光检测器30、输出装置40以及输入装置50进行控制。信号处理电路70处理从光检测器30输出的信号。
在本实施方式中,控制电路60包括控制刺激装置10的刺激控制部61、控制光源20的光源控制部62、控制光检测器30的传感器控制部63、控制输出装置40的输出控制部64、以及控制输入装置50的输入控制部65。
刺激控制部61控制作为刺激12提供的影像的色相、彩度以及亮度中的至少一个、或者声音的音质以及大小中的至少一个。光源控制部62控制从光源20射出的脉冲光的强度、脉冲宽度、射出定时及/或波长。传感器控制部63控制光检测器30的各像素中的信号蓄积的定时。输出控制部64控制输出的影像的色相、彩度以及亮度中的至少一个、或者声音的音质以及大小中的至少一个。输入控制部65控制输入的受理的开始以及结束。
在本说明书中,“生物体反应”是指提供刺激12时产生的用户1的生物体信息的变化。“生物体信息”是指由于刺激12而变化的生物体的能够测量的量。生物体信息例如包括血流量、血压、心率、脉搏数、呼吸数、体温、脑波、血液中的氧合血红蛋白浓度、血液中的脱氧血红蛋白浓度、血中氧饱和度、皮肤的反射光谱等各种量。生物体信息的一部分有时被称为生命体征。以下,对生物体测量系统100的各构成要素进行说明。
[1-1.刺激装置]
刺激装置10向用户1提供刺激12。刺激12引起用户1的生物体反应。刺激装置10例如可以包括显示器和扬声器中的至少一方。刺激装置10例如向用户1提供影像以及声音中的至少一方的刺激12。影像是对视觉的刺激,声音是对听觉的刺激。在图1A中,示意性地示出了具备显示器的刺激装置10向用户1提供影像作为刺激12的状况。该视觉刺激例如可以是计算问题、语言的问题、拼图、问答或者游戏等各种课题。刺激装置10也可以与课题的提示同时地输出与课题对应的声音。除了影像或声音的内容以外,视觉上的刺激也可以是室内的照明的明亮度或颜色的变化。
除了对视觉或听觉的刺激12以外,也可以提供对触觉、嗅觉或味觉的刺激12。刺激装置10具有根据给予用户1的刺激的种类而不同的构造以及功能。例如,在对用户1给予触觉刺激的情况下,刺激装置10可以是产生振动或热的装置。在对用户1给予嗅觉刺激的情况下,刺激装置10可以是产生味道的装置。
[1-2.光源]
光源20向用户1的头部(例如额头)照射光。从光源20射出并到达用户1的光被分成在用户1的表面反射的表面反射成分I1和在用户1的内部散射的内部散射成分I2。内部散射成分I2是在生物体内部一次反射或散射、或者多重散射的成分。在向用户1的额头照射光的情况下,内部散射成分I2是指从额头的表面到达里侧8mm到16mm左右的部位,例如到达脑,并再次返回到生物体测量系统100的成分。表面反射成分I1包括直接反射成分、扩散反射成分和散射反射成分这三个成分。直接反射成分是入射角与反射角相等的反射成分。扩散反射成分是因表面的凹凸形状而扩散并反射的成分。散射反射成分是由表面附近的内部组织散射而反射的成分。在向用户1的额头照射光的情况下,散射反射成分是在表皮内部散射而反射的成分。以下,在本公开中,在用户1的表面反射的表面反射成分I1包括这三个成分。表面反射成分I1及内部散射成分I2的行进方向因反射或散射而变化,其一部分到达光检测器30。
首先,对内部散射成分I2的取得方法进行说明。光源20按照来自控制电路60的指示,以规定的时间间隔或规定的定时多次重复产生脉冲光。光源20产生的脉冲光例如可以是下降期间接近零的矩形波。在本说明书中,“下降期间”是指从脉冲光的强度开始减少到减少结束为止的期间。通常,入射到用户1的光通过各种路径在用户1内传播,伴随时间差从用户1的表面射出。因此,脉冲光的内部散射成分I2的后端扩展。在被检部为额头的情况下,内部散射成分I2的后端的扩展为4ns左右。考虑到这一点,脉冲光的下降期间例如可以设定为其一半以下即2ns以下。下降期间还可以是其再一半即1ns以下。光源20产生的脉冲光的上升期间是任意的。在本说明书中,“上升期间”是指从脉冲光的强度开始增加到增加结束为止的期间。这是因为在本实施方式中的内部散射成分I2的检测中,使用脉冲光的下降部分,不使用上升部分。脉冲光的上升部分可用于表面反射成分I1的检测。光源20例如可以是脉冲光的下降部分相对于时间轴接近直角、即时间响应特性急进的LD等激光。
光源20发出的光的波长例如可以是650nm以上且950nm以下的波长范围所包括的任意的波长。该波长范围包括在从红色到近红外线的波长范围内。在本说明书中,不仅对可见光使用“光”的用语,对于红外线也使用“光”的用语。上述的波长范围被称为“生物体的窗”,具有比较难以被生物体内的水分及皮肤吸收的性质。在将生物体作为检测对象的情况下,通过使用上述波长范围的光,能够提高检测灵敏度。如本实施方式那样,在检测用户1的皮肤及脑的血流变化的情况下,认为所使用的光主要被氧合血红蛋白(HbO2)和脱氧血红蛋白(Hb)吸收。氧合血红蛋白和脱氧血红蛋白的光吸收的波长依赖性不同。通常,当血流产生变化时,氧合血红蛋白和脱氧血红蛋白的浓度产生变化,因此光的吸收程度也产生变化。因此,当血流变化时,所检测的光量也随时间变化。
光源20也可以射出上述波长范围所包括的两个以上波长的光。这样的多个波长的光也可以从多个光源分别射出。
在本实施方式的生物体测量系统100中,为了以非接触的方式测定用户1,可使用考虑对视网膜的影响而设计的光源20。例如,可使用满足各国制定的激光安全基准的等级1的光源20。在满足等级1的情况下,向用户1照射被照射辐射极限(AEL)低于1mW的程度的低照度的光。此外,光源20自身也可以不满足等级1。例如,也可以通过将扩散板或ND滤波器等设置在光源20的前方而使光扩散或者衰减,从而满足激光安全基准的等级1。
以往,为了区别并检测在生物体内部的深度方向上不同的场所的吸收系数或散射系数等信息,使用了条纹相机(streak camera)。例如,日本特开平4-189349公开了这样的条纹相机的一例。在这些条纹相机中,为了以期望的空间分辨率进行测定,使用脉冲宽度为飞秒或皮秒的极超短脉冲光。
与此相对,本公开的生物体测量系统100能够区别并检测表面反射成分I1和内部散射成分I2。因此,光源20发出的脉冲光不需要是极超短脉冲光,能够任意选择脉冲宽度。
在为了测量脑血流而向额头照射光的情况下,内部散射成分I2的光量能够成为表面反射成分I1的光量的数千分之一至数万分之一左右的非常小的值。进而,若考虑激光的安全基准,则能够照射的光的光量变得极小,内部散射成分I2的检测变得非常困难。即使在该情况下,如果光源20产生脉冲宽度比较大的脉冲光,则也能够增加伴随时间延迟的内部散射成分I2的累计量。由此,能够增加检测光量,提高SN比。
光源20例如发出脉冲宽度为3ns以上的脉冲光。通常,在脑等生物体组织内散射的光的时间扩展为4ns左右。图1B表示在输入脉冲光的宽度为0ns、3ns以及10ns各自的情况下,到达光检测器30的光量的时间变化的例子。如图1B所示,随着来自光源20的脉冲光的宽度的扩大,出现在从用户1返回的脉冲光的后端部的内部散射成分I2的光量增加。图1C是以输入脉冲光的宽度为横轴,以由光检测器30检测出的光的光量为纵轴来表示的图。光检测器30具备电子快门。图1C的结果是在从脉冲光的后端被用户1的表面反射而到达光检测器30的时刻起经过1ns后打开电子快门的条件下得到的。选择该条件的理由是因为脉冲光的后端刚到达后,表面反射成分I1相对于内部散射成分I2的比率高。如图1C所示,当使光源20发出的脉冲光的脉冲宽度为3ns以上时,能够使光检测器30检测出的光的光量最大化。
光源20也可以发出脉冲宽度5ns以上、甚至10ns以上的脉冲光。另一方面,即使脉冲宽度过大不使用的光也会增加而造成浪费。因此,光源20例如产生脉冲宽度50ns以下的脉冲光。或者,光源20也可以发出脉冲宽度30ns以下、甚至20ns以下的脉冲光。
光源20的照射图案例如也可以是在照射区域内具有均匀的强度分布的图案。在这一点上,本实施方式与例如日本特开平11-164826号公报等所公开的以往的生物体测量装置不同。在日本特开平11-164826号公报所公开的装置中,检测器和光源离开3cm左右,在空间内使表面反射成分从内部散射成分分离。因此,不得不进行离散的光照射。与此相对,本实施方式的生物体测量系统100通过在时间上使表面反射成分I1从内部散射成分I2分离,能够减少表面反射成分I1。因此,能够使用具有均匀的强度分布的照射图案的光源20。具有均匀的强度分布的照射图案也可以通过利用扩散板使光源20发出的光扩散而形成。
在本实施方式中,与现有技术不同,在用户1的照射点正下方也能够检测内部散射成分I2。通过在空间上遍及较宽的范围地用光照射用户1,也能够提高测定分辨率。
[1-3.光检测器]
光检测器30检测从用户1的头部返回的反射脉冲光的至少一部分。光检测器30输出与检测到的光的强度对应的一个以上的信号。一个以上的信号是与反射脉冲光中在上升期间的至少一部分中包括的强度对应的信号和与在下降期间的至少一部分中包括的强度对应的信号。
光检测器30包括多个光电转换元件32和多个电荷蓄积部34。具体而言,光检测器30具有二维配置的多个光检测单元,一次取得用户1的二维信息。在本说明书中,也将光检测单元称为“像素”。光检测器30例如是CCD图像传感器或CMOS图像传感器等任意的摄像元件。更通常而言,光检测器30包括至少一个光电转换元件32和至少一个电荷蓄积部34。
光检测器30具有电子快门。电子快门是控制摄像的定时的电路。在本实施方式中,控制电路60中的传感器控制部63具有电子快门的功能。电子快门控制将接收到的光转换为有效的电信号并蓄积的一次信号蓄积的期间和停止信号蓄积的期间。信号蓄积期间也能够称为“曝光期间”或者“拍摄期间”。在以下的说明中,有时将曝光期间的宽度称为“快门宽度”。有时将从一次曝光期间结束到下一个曝光期间开始为止的时间称为“非曝光期间”。以下,有时将曝光的状态称为“OPEN”,将停止曝光的状态称为“CLOSE”。
光检测器30能够通过电子快门在亚纳秒、例如30ps到1ns的范围内调整曝光期间和非曝光期间。以距离测定为目的的现有的TOF相机为了修正被摄体的明亮度的影响,检测从光源20射出并被被摄体反射回来的全部光。因此,在现有的TOF相机中,需要使快门宽度大于光的脉冲宽度。与此相对,在本实施方式的生物体测量系统100中,不需要修正被摄体的光量。因此,不需要使快门宽度大于脉冲宽度。因此,能够将快门宽度设定为例如1ns以上30ns以下的值。根据本实施方式的生物体测量系统100,能够缩小快门宽度,因此能够降低检测信号所包括的暗电流的影响。
在用光照射用户1的额头而检测脑血流等信息的情况下,内部的光的衰减率非常大。例如,出射光能够相对于入射光衰减到100万分之一左右。因此,为了检测内部散射成分I2,存在仅通过一个脉冲的照射而光量不足的情况。在激光安全性基准的等级1下的照射中,光量特别微弱。在该情况下,光源20多次发出脉冲光,与此相应地,光检测器30也通过电子快门进行多次曝光,由此能够累计检测信号而提高灵敏度。
以下,对光检测器30的结构例进行说明。
光检测器30可具备在摄像面上二维排列的多个像素。各像素可以具备光电二极管等光电转换元件32和一个或多个电荷蓄积部34。以下,对各像素具备通过光电转换产生与受光量对应的信号电荷的光电转换元件32、蓄积由脉冲光的表面反射成分I1产生的信号电荷的电荷蓄积部34、以及蓄积由脉冲光的内部散射成分I2产生的信号电荷的电荷蓄积部34的例子进行说明。在以下的例子中,控制电路60通过使光检测器30检测从用户1的头部返回来的脉冲光中的下降开始前的部分,来检测表面反射成分I1。控制电路60还通过使光检测器30检测从用户1的头部返回来的脉冲光中的下降开始后的部分,来检测内部散射成分I2。光源20射出两种波长的光。
图1D是表示光检测器30的一个像素201的概略结构例的图。此外,图1D示意性地表示一个像素201的结构,未必反映实际的构造。该例中的像素201包括进行光电转换的光电二极管203、作为电荷蓄积部的第1至第4浮动扩散层(Floating Diffusion)204、205、206、207、以及排出信号电荷的漏极202。
因一次脉冲光的射出而入射到各像素的光子通过光电二极管203被转换为作为信号电荷的信号电子。转换后的信号电子按照从控制电路60输入的控制信号,被排出到漏极202,或者被分配到第1至第4浮动扩散层204、205、206、207中的某一个。
按照该顺序重复进行从光源20射出脉冲光、向第1浮动扩散层204、第2浮动扩散层205、第3浮动扩散层206以及第4浮动扩散层207的信号电荷的蓄积以及向漏极202的信号电荷的排出。该重复动作为高速,例如能够在动态图像的1帧的时间(例如约1/30秒)内重复数万次至数亿次。像素201最终生成并输出基于蓄积在第1至第4浮动扩散层204、205、206、207中的信号电荷的四个图像信号。
该例中的控制电路60使光源20依次重复射出具有第1波长的第1脉冲光和具有第2波长的第2脉冲光。作为第1波长和第2波长,通过选择对于用户1的内部组织的吸收率不同的两个波长,能够分析用户1的状态。例如,也可以选择比805nm长的波长作为第1波长,选择比805nm短的波长作为第2波长。由此,能够检测用户1的血液中的氧合血红蛋白浓度和脱氧血红蛋白浓度各自的变化。
控制电路60首先使光源20射出第1脉冲光。控制电路60在第1脉冲光的表面反射成分I1入射到光电二极管203的第1期间,使第1浮动扩散层204蓄积信号电荷。接着,控制电路60在第1脉冲光的内部散射成分I2入射到光电二极管203的第2期间,使第2浮动扩散层205蓄积信号电荷。接着,控制电路60使光源20射出第2脉冲光。控制电路60在第2脉冲光的表面反射成分I1入射到光电二极管203的第3期间,使第3浮动扩散层206蓄积信号电荷。接着,控制电路60在第2脉冲光的内部散射成分I2入射到光电二极管203的第4期间,使第4浮动扩散层207蓄积信号电荷。
这样,控制电路60在开始了第1脉冲光的发光之后,隔开规定的时间差,使来自光电二极管203的信号电荷依次蓄积于第1浮动扩散层204以及第2浮动扩散层205。之后,控制电路60在开始第2脉冲光的发光之后,隔开上述规定的时间差,使来自光电二极管203的信号电荷依次蓄积于第3浮动扩散层206以及第4浮动扩散层207。多次重复以上的动作。为了推断干扰光以及环境光的光量,也可以设置在熄灭光源20的状态下在未图示的其他浮动扩散层中蓄积信号电荷的期间。通过从第1至第4浮动扩散层204、205、206、207的信号电荷量减去上述其他浮动扩散层的信号电荷量,能够得到除去了干扰光和环境光成分的信号。
此外,在本实施方式中,将电荷蓄积部的数量设为4,但也可以根据目的而设计为两个以上的多个数量。例如,在仅使用一种波长的情况下,电荷蓄积部的数量可以是两个。另外,在使用的波长为一种、不检测表面反射成分I1的用途中,每个像素的电荷蓄积部的数量也可以是1。另外,即使在使用两种以上的波长的情况下,如果用不同的帧进行使用了各个波长的摄像,则电荷蓄积部的数量也可以是一个。另外,如后所述,如果分别在不同的帧中进行表面反射成分I1的检测和内部散射成分I2的检测,则电荷蓄积部的数量也可以是一个。
图1E是表示光检测器30的结构的一例的图。在图1E中,由双点划线的框包围的区域相当于一个像素201。像素201包括一个光电二极管。在图1E中仅示出了排列成2行2列的四个像素,但实际上可进一步配置大量像素。像素201包括第1至第4浮动扩散层204、205、206、207。蓄积在第1至第4浮动扩散层204、205、206、207中的信号以如同通常的CMOS图像传感器的四个像素的信号的方式被处理,并且从光检测器30输出。
各像素201具有四个信号检测电路。各信号检测电路包括源极跟随器晶体管309、行选择晶体管308和复位晶体管310。在该例子中,复位晶体管310对应于图1D所示的漏极202,并且输入到复位晶体管310的栅极的脉冲对应于漏极排出脉冲。各晶体管例如是形成于半导体基板的场效应晶体管,但并不限定于此。如图所示,源极跟随器晶体管309的输入端子以及输出端子中的一方(典型的是源极)与行选择晶体管308的输入端子以及输出端子中的一方(典型的是漏极)连接。作为源极跟随器晶体管309的控制端子的栅极与光电二极管203连接。由光电二极管203生成的信号电荷(即,空穴或电子)蓄积在作为光电二极管203和源极跟随器晶体管309之间的电荷蓄积部的浮动扩散层中。
尽管图1E未示出,但是第1至第4浮动扩散层204、205、206、207与光电二极管203连接。开关可以设置在光电二极管203和第1至第4浮动扩散层204、205、206、207之间。该开关根据来自控制电路60的信号蓄积脉冲,切换光电二极管203与第1至第4浮动扩散层204、205、206、207各自之间的导通状态。因此,控制向第1至第4浮动扩散层204、205、206、207的每一个的信号电荷的蓄积的开始和停止。本实施方式中的电子快门具有用于这样的曝光控制的机构。
通过由行选择电路302将行选择晶体管308的栅极导通而读出在第1至第4浮动扩散层204、205、206、207中蓄积的信号电荷。此时,根据第1至第4浮动扩散层204、205、206、207的信号电位,放大从源极跟随器电源305流入源极跟随器晶体管309和源极跟随器负载306的电流。从垂直信号线304读出的基于该电流的模拟信号通过与每列连接的模拟-数字转换电路307转换为数字信号数据。由列选择电路303按列读出该数字信号数据,从光检测器30输出。行选择电路302及列选择电路303在进行了一行的读出后,进行下一行的读出,以下同样地读出所有行的浮动扩散层的信号电荷的信息。在读出了所有信号电荷之后,控制电路60使复位晶体管310的栅极导通,从而复位所有浮动扩散层。由此,1帧的摄像完成。以下同样地,通过重复进行帧的高速摄像,完成由光检测器30进行的一系列帧的摄像。
在本实施方式中,说明了CMOS型的光检测器30的例子,但光检测器30也可以是其他种类的摄像元件。光检测器30例如可以是CCD型,也可以是单光子计数型元件,还可以是放大型图像传感器(例如,EMCCD或ICCD)。
图1F是表示本实施方式中的1帧内的动作的例子的图。如图1F所示,也可以在1帧内交替地多次切换第1脉冲光的发光和第2脉冲光的发光。这样,能够减少两种波长的检测图像的取得定时的时间差,即使是有运动的用户1,也能够大致同时用第1以及第2脉冲光进行拍摄。
在本实施方式中,光检测器30检测脉冲光的表面反射成分I1和内部散射成分I2这两者。根据表面反射成分I1的时间上或者空间上的变化,能够取得用户1的第1生物体信息。第1生物体信息例如可以是用户1的脉搏。另一方面,根据内部散射成分I2的时间上或者空间上的变化,能够取得作为用户1的第2生物体信息的脑活动信息。
第1生物体信息也可以通过与检测表面反射成分I1的方法不同的方法来取得。例如,也可以利用与光检测器30不同的其他种类的检测器来取得第1生物体信息。在该情况下,光检测器30仅检测内部散射成分I2。其他种类的检测器例如也可以是雷达或热成像器。第1生物体信息例如可以是用户1的脉搏、出汗、呼吸、体温中的至少一个。第1生物体信息是通过检测照射到用户1的头部的脉冲光的内部散射成分I2而得到的脑活动信息以外的生物体信息。在此,“脑活动信息以外”并不意味着在第1生物体信息中完全不包括起因于脑活动的信息。第1生物体信息包括起因于与脑活动不同的生物体活动的生物体信息。第1生物体信息例如是起因于自主或反射性的生物体活动的生物体信息。
在本说明书中,有时将表示第1生物体信息的信号称为“第1生物体信号”或者简称为“生物体信号”。另外,有时将表示脑活动信息的信号称为“脑活动信号”。
[1-4.输出装置]
输出装置40例如包括显示器以及扬声器中的至少一方。输出装置40输出基于生物体反应的结果。在刺激装置10包括显示器或扬声器的情况下,它们也可以作为输出装置40发挥功能。输出装置40例如可以是头戴式装置或智能手机等具备显示器的装置。
[1-5.输入装置]
输入装置50受理用户1的输入。用户1的输入例如是对输出装置40输出的结果的响应。输入装置50例如可以是搭载于智能手机或平板电脑的触摸面板。
[1-6.控制电路和信号处理电路]
控制电路60使刺激装置10提供影像或声音等刺激12。控制电路60也可以对影像的色相、彩度以及亮度中的至少一个、或者声音的音质以及大小中的至少一个进行控制。
控制电路60调整光源20的脉冲光发光定时与光检测器30的快门定时的时间差。以下,有时将该时间差称为“相位”或“相位延迟”。光源20的“发光定时”是指光源20发出的脉冲光开始上升的定时。“快门定时”是指开始曝光的定时。控制电路60既可以使发光定时变化来调整相位,也可以使快门定时变化来调整相位。
控制电路60也可以构成为从由光检测器30的各像素检测出的信号中去除偏移成分。偏移成分是太阳光或荧光灯等环境光、或基于干扰光的信号成分。在光源20不发光的状态下,即在关闭光源20的驱动的状态下,光检测器30检测信号,由此估计环境光、干扰光的偏移成分。
控制电路60基于由信号处理电路70得到的生物体反应的测量结果,从预先定义的感情模型中包括的多个感情中决定至少一个感情。感情的决定方法的详细情况在后面叙述。
控制电路60使输出装置40输出与所决定的一个感情组建立了关联的图像以及声音中的至少一方。控制电路60也可以对图像的色相、彩度以及亮度中的至少一个、或者声音的音质以及大小中的至少一个进行控制。
控制电路60将基于用户1向输入装置50的输入的数据记录在存储器中。存储器既可以内置于生物体测量系统100,也可以设置于外部。
控制电路60例如可以是处理器以及存储器的组合、或者内置处理器以及存储器的微控制器等集成电路。控制电路60例如通过处理器执行记录在存储器中的程序,进行发光定时和快门定时的调整、偏移成分的估计以及偏移成分的除去等。
信号处理电路70是处理从光检测器30输出的图像信号的电路。信号处理电路70进行图像处理等运算处理。信号处理电路70例如可以通过数字信号处理器(DSP)、现场可编程门阵列(FPGA)等可编程逻辑器件(PLD)或者中央运算处理装置(CPU)或图像处理用运算处理器(GPU)与计算机程序的组合来实现。此外,控制电路60以及信号处理电路70可以是整合的一个电路,也可以是分离的单独的电路。另外,信号处理电路70例如也可以是设置于远处的服务器计算机等外部装置的构成要素。在该情况下,服务器计算机等外部的装置具备通信单元,与光源20、光检测器30以及控制电路60相互进行数据的收发。
本实施方式中的信号处理电路70能够基于从光检测器30输出的信号,生成表示皮肤表面的血流以及脑血流的时间变化的动态图像数据。信号处理电路70不限于这样的动态图像数据,也可以生成其他信息。例如,也可以通过与其他设备同步,生成脑中的血流量、血压、血中氧饱和度、或者心率等生物体信息。
已知脑血流量或血红蛋白等血液内成分的变化与人的神经活动之间存在密切的关系。例如,神经细胞的活动根据人的感情的变化而变化,由此脑血流量或血液内的成分变化。因此,如果能够测量脑血流量或血液内成分的变化等生物体信息,则能够推断用户1的心理状态。用户1的心理状态是指例如心情(例如,愉快、不愉快)、感情(例如安心、不安,悲伤、愤怒等)、健康状态(例如,有精神、倦怠)、温度感觉(例如炎热、寒冷、闷热)等。另外,由此派生出,表示脑活动的程度的指标、例如熟练度、熟习度以及集中度等也包括在心理状态中。信号处理电路70也可以基于脑血流量等的变化来推断用户1的集中度等心理状态,并输出表示推断结果的信号。
图1G是表示由控制电路60进行的与光源20及光检测器30相关的动作的概略的流程图。控制电路60概略地执行图1G所示的动作。此外,在此说明仅进行内部散射成分I2的检测时的动作。在步骤S101中,控制电路60首先使光源20发出规定时间的脉冲光。此时,光检测器30的电子快门处于停止曝光的状态。控制电路60使电子快门停止曝光直到脉冲光的一部分被用户1的表面反射而到达光检测器30的期间完成为止。接着,在步骤S102中,控制电路60在该脉冲光的另一部分在用户1的内部散射而到达光检测器30的定时,使电子快门开始曝光。在经过规定时间后,在步骤S103中,控制电路60使电子快门停止曝光。接着,在步骤S104中,控制电路60判定执行了上述信号蓄积的次数是否达到了规定的次数。在该判定为“否”的情况下,重复进行步骤S101至S103,直到判定为“是”为止。当在步骤S104中判定为“是”时,在步骤S105中,控制电路60使光检测器30生成并输出表示基于蓄积于各浮动扩散层的信号电荷的图像的信号。
通过以上的动作,能够以高灵敏度检测在测定对象的内部散射的光的成分。此外,多次发光及曝光不是必须的,可以根据需要进行。
[1-7.其他]
生物体测量系统100也可以具备在光检测器30的受光面上形成用户1的二维像的成像光学系统。成像光学系统的光轴与光检测器30的受光面大致正交。成像光学系统可以包括变焦透镜。当变焦透镜的位置变化时,用户1的二维图像的放大率变更,并且光检测器30上的二维图像的分辨率变化。因此,即使到用户1的距离远,也能够放大并详细观察想要测定的区域。
另外,生物体测量系统100也可以具备带通滤波器,所述带通滤波器仅使从光源20发出的波长的频带或其附近的光通过用户1与光检测器30之间。由此,能够降低环境光等干扰成分的影响。带通滤波器由多层膜滤波器或吸收滤波器构成。考虑到伴随光源20的温度以及向滤波器的斜入射的频移,带通滤波器的带宽也可以具有20至100nm左右的宽度。
另外,生物体测量系统100也可以在光源20与用户1之间、以及光检测器30与用户1之间分别具备偏振板。在该情况下,配置在光源20侧的偏振板和配置在光检测器30侧的偏振板的偏振方向是正交尼科耳的关系。由此,能够防止用户1的表面反射成分I1中的正反射成分、即入射角和反射角相同的成分到达光检测器30。即,能够减少表面反射成分I1到达光检测器30的光量。
[2.光源以及光检测器的动作]
本公开的生物体测量系统100能够从表面反射成分I1中区别并检测内部散射成分I2。在将用户1设为人、将被检部设为额头的情况下,基于想要检测的内部散射成分I2的信号强度变得非常小。如上所述,是因为在照射满足激光安全标准的非常小的光量的光的基础上,头皮、脑髓液、头盖骨、灰白质、白质及血流中光的散射及吸收大。并且,由脑活动时的血流量或血流内成分的变化引起的信号强度的变化进一步相当于几十分之一的大小而变得非常小。因此,在本实施方式中,尽可能不混入想要检测的信号成分的数千倍至数万倍的表面反射成分I1而进行拍摄。
以下,对本实施方式中的生物体测量系统100中的光源20以及光检测器30的动作的例子进行说明。
如图1A所示,当光源20向用户1照射脉冲光时,产生表面反射成分I1及内部散射成分I2。表面反射成分I1和内部散射成分I2的一部分到达光检测器30。内部散射成分I2在从光源20发出并到达光检测器30之前通过用户1的内部,因此光路长与表面反射成分I1相比变长。因此,内部散射成分I2到达光检测器30的时间相对于表面反射成分I1平均延迟。
图2是表示从光源20发出矩形脉冲光并从用户1返回来的光到达光检测器30的光信号的图。横轴在波形(a)至波形(d)中都表示时间(t),纵轴在波形(a)至波形(c)中表示强度,在波形(d)中表示电子快门的OPEN或CLOSE的状态。波形(a)表示表面反射成分I1。波形(b)表示内部散射成分I2。波形(c)表示表面反射成分I1(a)和内部散射成分I2(b)的合计成分。如波形(a)所示,表面反射成分I1维持矩形。另一方面,如波形(b)所示,内部散射成分I2是经过了各种各样的光路长的光的合计,因此表示在脉冲光的后端引出了尾的特性。即,内部散射成分I2的下降期间比表面反射成分I1长。为了从波形(c)的光信号中提高内部散射成分I2的比例来进行提取,如波形(d)所示,在表面反射成分I1的后端以后,即表面反射成分I1下降时或之后,电子快门开始曝光即可。该快门定时由控制电路60调整。如上所述,本公开的生物体测量系统100只要能够区别并检测表面反射成分I1和到达了对象深部的内部散射成分I2即可,因此发光脉冲宽度以及快门宽度是任意的。因此,与使用以往的条纹相机的方法不同,能够以简单的结构来实现,能够使成本大幅降低。
在图2中的波形(a)中,表面反射成分I1的后端垂直下降。换言之,表面反射成分I1从开始下降到下降结束为止的时间为零。但是,现实中光源20照射的脉冲光自身的波形的下降部分有时不是完全的垂直,或者在用户1的表面具有细微的凹凸,由于表皮内的散射,表面反射成分I1的后端不会垂直地下降。另外,由于用户1是不透明的物体,所以表面反射成分I1的光量比内部散射成分I2的光量大很多。因此,即使在表面反射成分I1的后端从垂直的下降位置稍微溢出的情况下,内部散射成分I2也有可能被埋在表面反射成分I1的后端部分。另外,由于伴随电子快门的读出期间中的电子移动的时间延迟,有时无法实现图2中的波形(d)所示的理想的二进制的读出。因此,控制电路60也可以使电子快门的快门定时稍迟于表面反射成分I1的下降正后。例如,可以延迟0.5ns至5ns左右。此外,代替调整电子快门的快门定时,控制电路60也可以调整光源20的发光定时。控制电路60调整电子快门的快门定时与光源20的发光定时之间的时间差。在非接触地测量脑活动时的血流量或血流内成分的变化的情况下,如果过于延迟快门定时,则原本小的内部散射成分I2会进一步减少。因此,也可以在表面反射成分I1的后端附近保留快门定时。由于由用户1的散射引起的时间延迟为4ns,因此快门定时的最大延迟量为4ns左右。
光源20多次发出脉冲光,对各脉冲光在相同相位的快门定时进行多次曝光,由此,也可以放大内部散射成分I2的检测光量。
此外,也可以代替在用户1与光检测器30之间配置带通滤波器,或者在此基础上,控制电路60在不使光源20发光的状态下以相同的曝光时间进行拍摄,由此估计偏移成分。从由光检测器30的各像素检测出的信号除去估计的偏移成分。由此,能够除去在光检测器30上产生的暗电流成分。
内部散射成分I2中包括用户1的内部特性信息,例如脑血流信息。根据用户1的脑血流量的随时间的变动而被血液吸收的光的量产生变化,光检测器30的检测光量也相应地增减。因此,通过监视内部散射成分I2,能够根据用户1的脑血流量的变化来推断脑活动状态。在本说明书中,有时将从光检测器30输出的信号中的表示内部散射成分I2的信号称为“脑活动信号”。脑活动信号可以包括用户1的脑血流的增减信息。
接着,说明表面反射成分I1的检测方法的例子。表面反射成分I1包括用户1的表面特性信息,例如,面部和头皮的血流信息。光检测器30检测光源20发出的脉冲光到达用户1并再次返回光检测器30的光信号中的表面反射成分I1。
图3A示出了检测表面反射成分I1时的时序图的一例。为了检测表面反射成分I1,例如,如图3A所示,也可以在脉冲光到达光检测器30之前使快门打开,在脉冲光的后端到达之前使快门关闭。通过这样控制快门,能够减少内部散射成分I2的混入。能够增大通过了用户1的表面附近的光的比例。特别是,快门关闭的定时也可以紧接在光到达光检测器30之后。由此,能够进行提高了光路长较短的表面反射成分I1的比例的信号检测。通过取得表面反射成分I1的信号,能够检测用户1的脉搏或面部血流的氧化度。作为其他表面反射成分I1的取得方法,光检测器30也可以取得脉冲光整体,或者从光源20照射连续光进行检测。
图3B示出了在检测内部散射成分I2的情况下的时序图的一例。通过在脉冲的后端部分到达光检测器30的期间使快门打开,能够取得内部散射成分I2的信号。
表面反射成分I1也可以通过取得内部散射成分I2的生物体测量系统100以外的装置来检测。也可以使用与取得内部散射成分I2的装置分体的装置、或者脉搏计或多普勒血流计等其他器件。在使用其他器件的情况下,考虑器件间的定时同步、光的干涉、以及检测部位的对准而使用。如本实施方式那样,如果利用同一相机或者同一传感器进行分时摄像,则不易产生时间上以及空间上的偏差。在利用同一传感器取得表面反射成分I1以及内部散射成分I2这两者的信号的情况下,如图3A以及图3B所示,也可以切换按每1帧取得的成分。或者,如参照图1D至图1F所说明的那样,也可以交替地切换在1帧内高速取得的成分。在该情况下,能够降低表面反射成分I1与内部散射成分I2的检测时间差。
进而,也可以使用两个波长的光来取得表面反射成分I1和内部散射成分I2各自的信号。例如,也可以利用750nm和850nm这两种波长的脉冲光。由此,能够根据各个波长下的检测光量的变化,计算氧合血红蛋白的浓度变化以及脱氧血红蛋白的浓度变化。在分别以两种波长取得表面反射成分I1和内部散射成分I2的情况下,例如如参照图1D至图1F所说明的那样,可利用在1帧内高速地切换四种电荷蓄积的方法。通过这样的方法,能够减少检测信号的时间上的偏差。
生物体测量系统100能够向用户1的额头照射脉冲状的近红外光或者可见光,根据表面反射成分I1的时间性变化来检测头皮或者面部的氧合血红蛋白量的变化或者脉搏。用于取得表面反射成分I1的光源20射出近红外光或可见光。如果是近红外光,则不管昼夜都能够进行测量。在测量脉搏的情况下,也可以使用灵敏度更高的可见光。如果是白天,则也可以代替照明而使用作为干扰光的日照或室内光源。在光量不足的情况下,也可以用专用的光源进行加强。内部散射成分I2包括到达脑的光成分。通过测量内部散射成分I2的时间变化,能够测量脑血流的时间性的增减。
到达脑的光也通过头皮及面部表面,因此也重叠检测头皮及面部的血流的变动。为了除去或降低该影响,信号处理电路70也可以进行从由光检测器30检测出的内部散射成分I2中减去表面反射成分I1的处理。由此,能够取得去除了头皮及面部的血流信息的纯粹的脑血流信息。在减法方法中,例如可以使用从内部散射成分I2的信号中减去考虑了光路长差而决定的1以上的某个系数乘以表面反射成分I1的信号而得到的值的方法。该系数例如可以基于一般人的头部光学常数的平均值,通过模拟或实验来计算。这样的减法处理在使用同一相机或传感器来使用同一波长的光进行测量的情况下能够特别容易。这是因为容易减少时间上以及空间上的偏差,容易使内部散射成分I2所包含的头皮血流成分与表面反射成分I1的特性一致。
在脑与头皮之间存在头盖骨。因此,脑血流的二维分布与头皮及面部的血流的二维分布是独立的。因此,也可以基于由光检测器30检测出的信号,使用独立成分分析或主成分分析等统计方法来分离内部散射成分I2的二维分布和表面反射成分I1的二维分布。
[3.测量前的用户的状态的判定]
接着,说明使用上述的生物体测量系统100来推断用户1的感情的方法的例子。
如上所述,信号处理电路70分别根据表面反射成分I1和内部散射成分I2计算用户1的头皮血流量B1和脑血流量B2。头皮血流量通过由头皮的血管的扩张/收缩引起的流速的变化来调整。血管的扩张/收缩由植物性神经控制。植物性神经主要是交感神经。交感神经在情绪的响应、困倦、或者压力响应时被激活,调节面部血流量。
在本实施方式中,信号处理电路70根据来自头皮的血流信息即表面反射成分I1来推断来自用户1的植物性神经的状态,根据来自脑的脑血流信息即内部散射成分I2来推断来自脑神经的状态。信号处理电路70还根据这两个信息来推断用户1的状态。
植物性神经的活性通过人的感情、压力以及健康状况等身心的状态来控制。因此,认为面部的血流量表示人的身心的状态。
另一方面,脑神经为了控制认知、判断、情绪等脑的功能而激活。随着脑神经的活性,脑血流量变化。因此,认为脑血流,特别是相当于前额叶皮层区域的额部的脑血流反映了集中的状态。
即,认为面部及脑的血流量的两个信息反映人的不同状态。在本实施方式中,基于这两个信息来推断人的身心的状态。
在脑认知功能的测量中对前额叶的脑血流进行测量的情况下,有时在测量前参照头皮血流来判定用户1的状态。
图4是表示本实施方式中的判定测量前的用户1的状态的处理的一例的流程图。
在步骤S201中,控制电路60使光源20用脉冲光照射用户1的额部,使光检测器30测量表面反射成分I1。此时,控制电路60记录测量次数。在步骤S202中,控制电路60通过信号处理电路70根据表面反射成分I1的值计算头皮血流量B1。在步骤S203中,控制电路60判断测量次数是否为既定值N以下。在步骤S204中,控制电路60将计算出的B1与预先作为数据库存储在记录介质中的用户1的平均的安静状态下的头皮血流量的范围进行比较。如果B1在该范围内,则控制电路60判断为用户1处于安静状态。在该情况下,在步骤S205中,控制电路60为了评价认知功能,通过刺激装置10提示课题,开始认知功能的测量。另一方面,在步骤S204中B1未收敛于该范围内的情况下,控制电路60重复步骤S201至S204。
在步骤S203中测量次数达到N的情况下,在步骤S206中,控制电路60判断第N个B1是否收敛于此前测量到的N-1次的B1的平均值±标准偏差的范围内。如果第N个B1收敛于该范围内,则控制电路60在步骤S205中通过刺激装置10提示课题。如果在步骤S206中第N个B1不收敛于该范围内,则控制电路60判断为用户1不是能够测量的状态。在该情况下,在步骤S207中,控制电路60通过输出装置40向用户1输出促进深呼吸或放松的广播,中止测量。
[4.感情/清醒度映射的制作]
面部血流通过存在于面部的植物性神经系统来控制。面部血流在体温调节中起到重要的作用。植物性神经系统特别是由脑内的下丘脑调节。同时,下丘脑从大脑边缘系统接收信息,调节适于该信息的植物性神经。报告了大脑边缘系统中包括的扁桃体特别是由于负面情绪而激活。因此,期待能够将情绪反应作为经由植物性神经控制而面部血流发生的变化来测量。
非专利文献1公开了在被检者正在视听动态图像的过程中,对被检者的面部血流的变化进行测量的技术。该动态图像诱发惊讶、悲伤、恐惧、以及兴奋等感情。在测量中使用激光散斑血流计。根据非专利文献1,通过该动态图像的视听,用户1的面部血流优先减少。另外,非专利文献3公开了着眼于“愤怒”的感情来测量面部血流的变化。根据非专利文献3,在表现“愤怒”的感情时,面部血流增加10%左右。这样,通过检测面部血流的变化,能够推断用户1的感情。
总结以上的在先研究的结果,则愤怒或者惊讶等感情使面部血流增加,不愉快、悲伤、或者恐惧使面部血流减少。
接着,说明作为对感情进行分类的指标而经常使用的罗素的圆环模型。
图5是示意性地表示罗素的圆环模型的图。在罗素的圆环模型中,感情通过愉快-不愉快、和清醒-沉静的清醒度这两个轴而被分类为四个象限。
当将图5所示的罗素的圆环模型与通过面部血流的变化而推断出的感情重叠时,能够得到以下的结果。在使面部血流减少的感情中,“惊讶”和“兴奋”存在于第1象限,“恐惧”存在于第2象限,“悲伤”存在于第3象限。另一方面,使面部血流增加的“愤怒”存在于第2象限。这样,基于面部血流的增减的可推断的感情不与罗素的圆环模型中的四个象限对应。
另一方面,已知前额叶皮层区域的脑血流在认知、意思、或者感情的控制时增加。例如,在执行调查认知功能的课题时,通过fNIRS或者fMRI等方法来确认前额叶皮层区域的血流增加。调查认知功能的课题是指,例如,语言流畅性课题或N-Back课题。脑血流的增加越大,判断为用户1越集中努力于课题中。
另一方面,有指出若重复同样的认知课题,则认知课题的成绩提高,但脑血流减少。认为这是由于以下的理由。通过重复执行课题,能够学到高效地执行课题的方法。进而,脑内的活动区域产生变化,产生对前额叶皮层区域不怎么施加负荷的脑功能定位。
相反,报告了脑血流的减少由于困倦而产生。
根据上述的结果,通过脑血流的增减,能够捕捉向课题努力的姿势、即集中度。具体而言,通过脑血流的增加,能够推断为对课题的集中度高,通过脑血流的减少,能够推断为对课题感到困倦而散漫。
在本实施方式中的生物体测量系统100中,通过面部血流推断用户1的情绪,通过脑血流来评价用户1对课题的努力度。
如上所述,根据血流变化的增减而推断的感情与图5所示的罗素的圆环模型中的四个象限不对应。因此,在本实施方式中,通过将面部血流的增减以及脑血流的增减作为两个轴的、与罗素的圆环模型不同的分类来推断用户1的感情。
图6是示意性地表示本实施方式中的感情/清醒度映射的图。“感情/清醒度映射”是指根据面部血流的增减以及脑血流的增减而分类的四个感情组。横轴表示面部血流的增减,纵轴表示脑血流的增减。感情/清醒度映射是本公开中的感情模型的一例。
将第1象限中的兴奋、愤怒、或者惊讶设为第1感情组。兴奋、愤怒以及惊讶相当于active(主动)的感情。第2象限中的厌恶、恐惧、悲伤、或紧张(称为“passive(被动)的感情”。)设为第2感情组。厌恶、恐惧、悲伤、以及紧张相当于passive的感情。将第3象限中的放松或散漫设为第3感情组。将第4象限中的无聊或困倦设为第4感情组。在本说明书中,将第1至第4象限中的四个感情组的分类称为“感情/清醒度映射”。
接着,说明将用户1的感情分类为四个感情组中的某一个的步骤。
图7是表示将用户1的感情分类为四个感情组中的某一个的处理的一例的流程图。
在步骤S301中,控制电路60通过刺激装置10向用户1提示课题。在步骤S302中,控制电路60在提示课题时使光源20用脉冲光照射用户1,每隔一定时间使光检测器30测量表面反射成分I1以及内部散射成分I2。在步骤S303中,当结束课题的提示时,控制电路60中止脉冲光的照射,结束测量。在步骤S304中,控制电路60使信号处理电路70根据各时间中的I1以及I2计算出各时间的头皮血流量B1以及脑血流量B2。
如在提示课题中那样,将对用户1施加负荷的时间段定义为“刺激时”。将不对用户1提供刺激而促使安静的时间段定义为“休息时”。将休息时的头皮血流量以及脑血流量分别设为B1Rest、B2Rest。将刺激时的头皮血流以及脑血流量分别设为B1stimuli、B2stimuli。将从休息时到刺激时的头皮血流以及脑血流的变化量分别设为ΔB1=B1stimuli-B1Rest以及ΔB2=B2stimuli-B2Rest。B1Rest、B2Rest、Blstimuli以及B2stimuli都表示各时间段中的血流量的代表值。该代表值的取得方法能够根据测量对象或课题的种类任意地选择。例如,可以是各自的整个时间段的平均值,也可以是中央值、最大值或最小值。控制电路60根据ΔB1的正负以及ΔB2的正负,将用户1的感情分类为以下的四个感情组中的某一个。换言之,控制电路60基于ΔB1和ΔB2的组合来决定一个感情组。
在步骤S306中,控制电路60判断ΔB2是否为正。如果ΔB2为正,则在步骤S307中,控制电路判断ΔB1是否为正。如果ΔB1为正,则在步骤S308中,控制电路60将用户1的感情分类为第1感情组。如果ΔB1不为正,则在步骤S309中,控制电路60将用户1的感情分类为第2感情组。
在步骤S306中,如果ΔB2不为正,则在步骤S310中,控制电路60判断ΔB1是否为正。如果ΔB1为正,则在步骤S311中,控制电路60将用户1的感情分类为第4感情组。如果ΔB1不为正,则在步骤S312中,控制电路60将用户1的感情分类为第3感情组。
在步骤S313中,控制电路60通过输出装置40显示分类的结果。
在上述的例子中,控制电路60根据ΔB1的正负以及ΔB2的正负对用户1的感情进行分类,但并不限定于此。例如,也可以如下进行分类。
在ΔB1>C11且ΔB2>C12的情况下,控制电路60将用户1的感情分类为第1感情组。这里,C11和C12是大于0的值。
在ΔB1<C21且ΔB2>C22的情况下,控制电路60将用户1的感情分类为第2感情组。在此,C21是小于0的值,C22是大于0的值。
在ΔB1<C31且ΔB2<C32的情况下,控制电路60将用户1的感情分类为第3感情组。在此,C31及C32为小于0的值。
在ΔB1>C41且ΔB2<C42的情况下,控制电路60将用户1的感情分类为第4感情组。在此,C41是大于0的值,C42是小于0的值。
在不属于上述的四个分类的任一个时,也可以判断为ΔB1的变化量的绝对值及/或ΔB2的变化量的绝对值小,进行再测量。
[5.感情的主观评价]
接着,说明通过用户1的主观评价来推断执行课题时的用户1的感情的方法。
图8是表示推断执行课题时的用户1的感情的处理的一例的流程图。
在步骤S401中,控制电路60使刺激装置10向用户1提示课题,使光检测器30测量表面反射成分I1以及内部散射成分I2。控制电路60还使信号处理电路70计算头皮血流量B1以及脑血流量B2。步骤S401中的处理与图7所示的步骤S301至S305中的处理相同。
在步骤S402中,控制电路60基于图6所示的感情/清醒度映射来对用户1的感情进行分类。步骤S402中的处理与图7所示的步骤S306至S312中的处理相同。
在步骤S403中,控制电路60显示分类的结果。步骤S403中的处理与图7所示的步骤S313中的处理相同。
在用户1的感情被分类为某个感情组的情况下,控制电路60使用输出装置40向用户1询问主观评价。主观评价是指例如关于分类为所决定的感情组的至少一个感情是否相当于用户1的实际感情的评价。控制电路60使输出装置40输出用于进行上述询问的图像及/或声音。
在步骤S403中用户1的感情被分类为第1感情组的情况下,进入步骤S404。在步骤S404中,控制电路60使输出装置40显示用于使用户1执行主观评价的提问。提问的内容例如可以是询问“执行课题时您的感情是positive(积极的)还是negative(消极的)?”那样的正的感情还是负的感情的程度。在用户1回答positive即正的感情的情况下,进入步骤S405。在步骤S405中,控制电路60使输出装置40显示表示执行课题时的用户1的感情是“兴奋/惊讶”的图像。在用户1回答negative即负的感情的情况下,进入步骤S406。在步骤S406中,控制电路60使输出装置40显示表示执行课题时的用户1的感情是“愤怒”的图像。也可以代替询问是正的感情还是负的感情,在步骤S404中,控制电路60使输出装置40显示用于选择“兴奋”、“惊讶”以及“愤怒”中的某一个的选项。
在步骤S403中用户1的感情被分类为第2感情组的情况下,进入步骤S407。在步骤S407中,控制电路60使输出装置40显示“厌恶”、“紧张”、“恐惧”以及“悲伤”的选择项。用户1进行主观评价,选择某一感情。用户1使用输入装置50输入所选择的感情。在步骤S408中,控制电路60使输出装置40显示用户1所选择的感情。
在步骤S403中用户1的感情被分类为第3或第4感情组的情况下,进入步骤S409。在该情况下,在执行课题时,用户1能够推断为处于放松、散漫、无聊、或者困倦的状态。因此,在步骤S409中,控制电路60使输出装置40显示促使向课题集中的消息。接着,在步骤S410中,控制电路60使输出装置40显示询问用户是否进行再次测量的图像。在再次测量的情况下,控制电路60再次执行步骤S401。
通过以上的处理,能够根据面部血流以及脑血流这两个信息,高精度地推断用户1对课题的努力姿势和此时的用户1的感情。
控制电路60也可以基于用户1的主观评价的结果,将刺激12与用户1的感情建立关联。例如,在用户1使用输入装置50进行了上述主观评价时,控制电路60也可以将表示刺激12与上述的至少一个感情的关联的数据记录在存储器中。例如,表示用户1的主观评价的识别符可以被添加到表示刺激12的数据。在刺激12是影像或声音的内容的情况下,也可以对内容的数据附加表示用户1的主观评价的结果的信息并进行记录。
[6.提供内容的系统]
所述的生物体测量系统100例如可以在经由因特网等网络提供影像或者声音的内容的系统中使用。这样的系统例如可以包括运营商运营的服务器计算机和用户持有的个人计算机、智能手机或者平板电脑等各种计算机。例如,在全世界中可以存在大量用户。这些用户分别利用推断所述感情的生物体测量系统100。各用户使用例如智能手机等计算机,向服务器计算机请求内容的分发。服务器计算机将所请求的内容分发到该用户。服务器计算机在分发内容时,使上述的生物体测量系统100取得正在视听该内容的用户的血流信息,来推断感情。服务器计算机按每个内容收集与推断出的感情相关的数据,并蓄积表示该内容与感情的关联的数据。这样,服务器计算机能够将各个内容与该内容引起用户的感情建立建立关联并进行记录。
图9是示意性地表示这样的系统的结构例的图。该系统包括多个生物体测量系统100和服务器计算机200。服务器计算机200经由网络与多个生物体测量系统100连接。在图9中,例示了三个生物体测量系统100,但更多的生物体测量系统100可以与服务器计算机200连接。
各生物体测量系统100除了图1A所示的构成要素之外,还具备通信电路80。在图9中,仅例示了各生物体测量系统100的构成要素中的刺激装置10、控制电路60以及通信电路80。
多个生物体测量系统100各自中的控制电路60经由通信电路80,向服务器计算机200发送表示刺激与用户的感情的关联的数据。例如,发送将用户视听的内容与正在视听的用户的感情建立关联的数据。
服务器计算机200收集表示针对多个用户的该关联的数据,并记录在存储器210中。服务器计算机200例如将用户ID、内容ID、感情ID建立关联并记录在数据库中。服务器计算机200能够基于从大量用户收集到的该数据,决定使用户引起特定的感情的刺激(在该例中是内容)。例如,服务器计算机200对各内容统计过去视听该内容的用户所感受到的感情。服务器计算机200对各内容的数据附加表示最多的用户感受到的感情的识别符并进行记录。内容与感情的关联建立可伴随新的信息的蓄积而被更新。
在用户请求了某个内容的视听时,服务器计算机200将该内容的数据发送到生物体测量系统100。此时,服务器计算机200从多个内容中选择引起与该内容建立了关联的感情类似的感情的其他一个以上的内容,并向控制电路60通知该信息。
控制电路60按照来自服务器计算机200的指示,使刺激装置10提供所选择的一个以上的内容。例如,可以向用户提供引起兴奋或惊讶的感情的内容。
[7.其他实施方式]
在图9所示的例子中,刺激可以是与电影、游戏或音乐等娱乐相关的内容。刺激也可以是其他刺激。例如,也可以将本公开的技术应用于对光、振动、热、味道、或者其他的人的五感的至少一部分进行刺激的装置的控制。也可以将本公开的技术应用于对照明装置进行控制的系统。在某实施方式中,照明装置具有调整照度或色温的功能。该系统的控制电路每当照度或色温的设定被变更时,推断用户的感情,蓄积表示照度以及色温与感情的关联的数据。也可以基于所蓄积的数据,决定该用户感觉最舒适的照度以及色温,并自动地设定为该照度以及色温。
图10是表示通过生物体测量系统100来检测作为被检者500的车辆的驾驶员的心理状态的情况的图。生物体测量系统100基于表面反射成分I1来测量驾驶员的表面血流状态,基于内部散射成分I2来测量驾驶员的脑血流的变化。基于取得的表面血流数据以及脑血流数据,判定驾驶员是能够驾驶的状态还是需要驾驶辅助的状态等。在脑血流测量中,将平常驾驶时的驾驶员的脑血流量或脑血流分布的数据库、或者日益蓄积的驾驶员的脑血流量或脑血流分布的数据库与测量数据进行比较,判定驾驶员的脑活动状态。根据表面血流测量,判定驾驶员的紧张、不安等情绪的心理状态。在根据脑血流测量数据以及表面血流测量数据判断为使驾驶员进行驾驶是危险的的情况下,将该意思用声音输出,或者将该意思显示在显示器上,或者播放用于使其放松的广播或音乐,或者提高搭载于车辆的驾驶辅助功能的效力。在驾驶中的情况下,也可以进行使车辆停止于路边的处置。
图11示出了通过在家庭内或者办公室内设置生物体测量系统100,从而在家庭或者办公室中的精神健康检查中使用的例子。生物体测量系统100能够以非接触的方式取得生物体信息以及脑活动信息,因此例如可以设置于洗面台的镜子的背面。镜子涂敷干涉膜,以反射可见光并使近红外光(例如,700nm以上的波长的光)透过。通过涂敷使可见光反射的干涉膜,作为镜子,使作为被检者500的用户的姿势反射,但设置在镜子背面的相机不会被用户看到。另一方面,通过镜子透过近红外光,测定光能够透过镜子朝向用户照射。因此,由于不使用户意识到相机的存在,所以在用户自然的精神状态下,能够实施生物体信息的测定以及脑血流的测定。另外,能够从用户的正面进行测定,能够高效地测量前额部。进而,在洗脸时,由于大多利用发带等将刘海包住,因此不需要进行撩起成为遮蔽物的刘海的指示,不用麻烦用户的手。另外,在洗面台中,由于用户站立在镜子前,因此能够以一定距离且近距离进行测定,成为测定的稳定性变高的环境。
也可以在生物体测量系统100的附近设置热电传感器等人感传感器。当用人感传感器检测到人时,向生物体测量系统100发送信号,生物体测量系统100的人的测量开始。通过与人感传感器协作,在无人时能够使生物体测量系统100中的光源以及电气电路的驱动停止,因此能够降低消耗电力。
根据由生物体测量系统100测量到的表面血流变化,能够取得用户的紧张状态及不安状态等情绪信息。另外,根据通过检测脉冲光的后端部而同时取得的脑血流信息,能够检测集中状态、头脑清晰状态、或者心情的低落等的精神状况数据。在脉冲光的后端取得的信号中,除了脑血流信息以外还重叠有一部分表面血流信息,因此,通过另行检测表面反射成分I1,能够排除成为用户的紧张状态以及不安状态等噪声的成分,能够进行更准确的精神健康检查。
也可以在用户站立于镜子之前进行基于生物体测量系统100的测量,并蓄积所取得的数据。根据对所蓄积的每天的数据进行比较而得到的相对的变化信息,可以检测某日的精神状态相对于用户的日常的平常状态的异变。另外,通过叠加日常的时间序列的数据的测定,对这些时间序列数据实施时间上的移动平均处理,能够除去表示临时的不规则的精神变化的高频成分,进行表示以几年为单位的长期的精神状态的变化的低频成分的监测。
在系统检测到身体状况的变化的情况下,在设置于洗面台的显示器或设置于反射镜上的显示器上显示推断出的用户的精神健康状态。另外,通过将每日的测定结果作为图表输出,能够使健康的改善情况可视化,提高用户对保健的改善努力的动力。作为其他的数据显示方法,也可以将测定数据经由Wi-Fi(注册商标)、Wi-Fi Direct(注册商标)、BLUETOOTH(注册商标)、或者云端等发送到用户的智能手机或平板终端,并显示在智能手机或平板终端上。另外,生物体测量系统100除了设置在家庭或办公室内以外,也可以设置在医院、学校、健康管理室内等。
接下来,对刺激装置10、输出装置40以及输入装置50的具体例进行说明。
图12是示意性地表示头戴式装置300的图。头戴式装置300具备显示器150。该例中的显示器150作为刺激装置和输出装置发挥功能。显示器150显示诸如内容的影像或任务等的图像。显示器150还显示表示用户的感情的推断结果的图像。例如,能够显示在图7所示的步骤S313中决定的感情组的分类的结果。这样,头戴式装置300具有刺激装置以及输出装置这两者的功能。在该例子中,输入装置可以是头戴式装置300所具备的操作用的按钮、触摸屏、或者声音输入装置。基于表面反射成分I1来测量用户的表面血流状态,基于内部散射成分I2测量用户的脑血流的变化。可以从表面血流状态检测紧张、不安、快乐、兴奋等用户的情绪信息。另外,可以根据脑血流信息检测认知、作业记忆、集中状态等用户的理性信息。通过组合这些用户的情绪信息、理性信息,能够推断更复杂的用户的心理状态。判定的结果,也可以根据用户的心理状态,适当变更内容的影像、声音、故事等。
图13是示意性地表示智能手机400的图。智能手机400具备显示器150。显示器150作为刺激装置10,提示影像。内置于智能手机400的扬声器提供声音作为刺激。显示器150也作为输出装置40发挥功能。例如,显示器150在图7所示的步骤S313中显示感情组的分类结果。显示器150具备触摸屏,还作为输入装置50发挥功能。因此,智能手机400具有刺激装置10、输出装置40以及输入装置50的功能。
本公开还包括控制电路60所执行的动作的方法以及对控制电路60所执行的动作进行规定的计算机程序。这样的计算机程序被保存在记录介质中,使控制电路60执行所述的动作。
本公开包括以下记载的系统、计算机程序、记录介质以及方法。
本公开的一个形态的系统具备:光源,射出向用户的头部照射的脉冲光;光检测器,检测从所述头部返回的反射脉冲光的至少一部分,并输出与所述反射脉冲光的所述至少一部分的强度对应的一个以上的信号;电气电路,控制所述光源以及所述光检测器,对从所述光检测器输出的所述一个以上的信号进行处理;以及第1存储器,存储表示所述一个以上的信号与多个感情之间的关系的感情模型。所述电气电路基于所述一个以上的信号的变化,通过参照所述感情模型,从所述多个感情中选择至少一个感情。所述一个以上的信号包括:第1信号,与所述反射脉冲光的第1部分的强度对应;以及第2信号,与所述反射脉冲光的与所述第1部分不同的第2部分的强度对应。所述第1部分包括从所述反射脉冲光的强度开始减少到减少结束为止的期间即下降期间开始前的部分,所述第2部分包括所述下降期间的至少一部分。
在该系统中,用脉冲光照射用户的头部,检测其反射脉冲光。基于与检测出的光的强度对应的一个以上的信号的变化,从包括预先定义的多个感情的感情模型中选择至少一个感情。由此,能够更准确地推断用户的感情。另外,在该系统中,一个以上的信号包括第1以及第2信号。第1信号包括用户的面部血流的信息。第2信号包括用户的脑血流的信息。
也可以是,本公开的一个形态的系统还具备向所述用户提供至少一个刺激的刺激装置,所述电气电路使所述刺激装置提供所述至少一个刺激,所述至少一个感情基于响应于所述至少一个刺激而产生的所述一个以上的信号的变化,通过参照所述感情模型来进行选择。
在该系统中,在向用户提供刺激时,用脉冲光照射用户的头部,检测其反射脉冲光。基于与检测出的光的强度对应的一个以上的信号的变化,从包括预先定义的多个感情的感情模型中决定至少一个感情。由此,能够更准确地推断用户的感情。
在本公开的一个形态的系统中,所述感情模型包括多个感情组,在所述感情模型中,所述多个感情分别被分类为所述多个感情组中的某一个,所述电气电路基于第1值和第2值的组合,通过参照所述感情模型,从所述多个感情组中选择至少一个感情组,所述第1值表示向所述用户提供所述至少一个刺激时的所述第1信号与未向所述用户提供所述至少一个刺激时的所述第1信号之差,所述第2值表示向所述用户提供所述至少一个刺激时的所述第2信号与未向所述用户提供所述至少一个刺激时的所述第2信号之差。
在该系统中,能够基于表示休息时和刺激时的用户的面部血流的变化量的第1值、和表示休息时和刺激时的用户的脑血流的变化量的第2值的组合,根据感情模型来决定至少一个感情组。
也可以是,在本公开的一个形态的系统中,所述感情模型包括第1至第4感情组,在所述感情模型中,所述多个感情分别被分类为所述第1至第4感情组中的某一个,所述电气电路,在所述第1值大于第1阈值且所述第2值大于第2阈值时,选择所述第1感情组,在所述第1值为所述第1阈值以下且所述第2值大于所述第2阈值时,选择所述第2感情组,在所述第1值为所述第1阈值以下且所述第2值为所述第2阈值以下时,选择所述第3感情组,在所述第1值大于所述第1阈值且所述第2值为所述第2阈值以下时,选择所述第4感情组。
在该系统中,感情模型包括第1至第4感情组。根据第1值与第1阈值的大小关系、以及第2值与第2阈值的大小关系,将用户的感情分类为第1至第4感情组中的某一个。
也可以是,在本公开的一个形态的系统中,所述电气电路使输出装置输出从由图像以及声音构成的群中选择的至少一方,所述图像以及声音向所述用户询问所述至少一个感情是否符合所述用户的实际感情,所述输出装置包括从由显示器以及扬声器构成的群中选择的至少一个。
在该系统中,能够通过输出装置向用户询问所选择的至少一个感情是否符合用户的实际感情。
也可以是,本公开的一个形态的系统还具备受理所述用户的输入的输入装置,所述电气电路在所述用户使用所述输入装置,进行了所述至少一个感情符合所述用户的实际感情的意思的输入时,将表示所述至少一个刺激和所述至少一个感情的关联的数据记录在第2存储器中。
在该系统中,用户使用输入装置进行至少一个感情符合用户的实际感情的意思的响应。由此,能够将表示刺激和至少一个感情的关联的数据记录在第2存储器中。
也可以是,在本公开的一个形态的系统中,所述刺激装置构成为能够向所述用户提供从多个刺激中选择的所述至少一个刺激,所述电气电路与包括所述第2存储器的服务器计算机经由网络连接,所述服务器计算机通知所述电气电路基于所述数据选择所述至少一个刺激,所述电气电路基于来自所述服务器计算机的通知,使所述刺激装置向所述用户提供从所述多个刺激中选择出的所述至少一个刺激。
在该系统中,外部的服务器计算机收集表示针对多个用户记录的刺激和至少一个感情的关联的数据。外部的服务器计算机基于收集到的数据,经由网络向系统送出指示。基于该指示,对各个用户提供刺激。由此,能够使各个用户引起特定的感情。
也可以是,在本公开的一个形态的系统中,所述至少一个刺激包括从由影像以及声音构成的群中选择的至少一个。
另外,本公开的一个形态的程序,是使系统中使用的计算机执行的程序,该系统具备:光源,射出向用户的头部照射的脉冲光;以及光检测器,检测从所述头部返回的反射脉冲光的至少一部分,并输出与所述反射脉冲光的所述至少一部分的强度对应的一个以上的信号,所述程序包括:使所述光源射出所述脉冲光的处理;使所述光检测器检测所述反射脉冲光,并输出所述一个以上的信号的处理;以及基于所述一个以上的信号的变化,通过参照表示所述一个以上的信号与多个感情之间的关系的感情模型,来从所述多个感情中选择至少一个感情的步骤。所述一个以上的信号包括:第1信号,与所述反射脉冲光的第1部分的强度对应;以及第2信号,与所述反射脉冲光的与所述第1部分不同的第2部分的强度对应。所述第1部分包括从所述反射脉冲光的强度开始减少到减少结束为止的期间即下降期间开始前的部分,所述第2部分包括所述下降期间的至少一部分。
也可以是,在本公开的一个形态的程序中,所述系统还具备刺激装置,所述刺激装置向所述用户提供至少一个刺激。本公开的一个形态的程序还包括使所述刺激装置提供所述至少一个刺激的处理,在所述选择中,所述至少一个感情也可以基于响应于所述至少一个刺激而产生的所述一个以上的信号的变化,通过参照所述感情模型来选择。
也可以是,在本公开的一个形态的程序中,所述感情模型包括多个感情组,在所述感情模型中,所述多个感情分别被分类为所述多个感情组中的某一个。也可以是,本公开的一个形态的程序还包括:基于第1值和第2值的组合,通过参照所述感情模型,从所述多个感情组中选择至少一个感情组,所述第1值表示向所述用户提供所述至少一个刺激时的所述第1信号与未向所述用户提供所述至少一个刺激时的所述第1信号之差,所述第2值表示向所述用户提供所述至少一个刺激时的所述第2信号与未向所述用户提供所述至少一个刺激时的所述第2信号之差。
也可以是,在本公开的一个形态的程序中,所述感情模型包括第1至第4感情组,在所述感情模型中,所述多个感情分别被分类为所述第1至第4感情组中的某一个。也可以是,本公开的一个形态的程序还包括:在所述第1值大于第1阈值且所述第2值大于第2阈值时,选择所述第1感情组的处理;在所述第1值为所述第1阈值以下且所述第2值大于所述第2阈值时,选择所述第2感情组的处理;在所述第1值为所述第1阈值以下且所述第2值小于所述第2阈值时,选择所述第3感情组的处理;以及在所述第1值大于所述第1阈值且所述第2值为所述第2阈值以下时,选择所述第4感情组的处理。
也可以是,本公开的一个形态的程序还包括将从由图像以及声音构成的群中选择的至少一方输出到输出装置的处理,所述图像以及声音向所述用户询问所述至少一个感情是否符合所述用户的实际的感情,所述输出装置包括从由显示器以及扬声器构成的群中选择的至少一方。
也可以是,在本公开的一个形态的程序中,所述系统还具备受理所述用户的输入的输入装置。也可以是,本公开的一个形态的程序,在所述用户使用所述输入装置,进行了所述至少一个感情符合所述用户的实际感情的意思的输入时,将表示所述至少一个刺激和所述至少一个感情的关联的数据记录在存储器中。
另外,本公开的一个形态的计算机可读取的记录介质,是保存有系统中使用的程序的计算机可读取的记录介质,该系统具备:光源,射出向用户的头部照射的脉冲光;以及光检测器,检测从所述头部返回的反射脉冲光的至少一部分,并输出与所述反射脉冲光的所述至少一部分的强度对应的一个以上的信号,在由所述计算机执行所述程序时,执行:使所述光源射出所述脉冲光的处理;使所述光检测器检测所述反射脉冲光,并输出所述一个以上的信号的处理;以及基于所述一个以上的信号的变化,通过参照表示所述一个以上的信号与多个感情之间的关系的感情模型,来从所述多个感情中选择至少一个感情的处理。所述一个以上的信号包括:第1信号,与所述反射脉冲光的第1部分的强度对应;以及第2信号,与所述反射脉冲光的与所述第1部分不同的第2部分的强度对应。所述第1部分包括从所述反射脉冲光的强度开始减少到减少结束为止的期间即下降期间开始前的部分,所述第2部分包括所述下降期间的至少一部分。
也可以是,在本公开的一个形态的计算机可读取的记录介质中,所述系统还具备向所述用户提供至少一个刺激的刺激装置。也可以是,本公开的一个形态的计算机可读取的记录介质,在由所述计算机执行所述程序时,进一步执行使所述刺激装置提供所述至少一个刺激的处理,在所述选择中,所述至少一个感情基于响应于所述至少一个刺激而产生的所述一个以上的信号的变化,通过参照所述感情模型来选择。
也可以是,在本公开的一个形态的计算机可读取的记录介质中,所述感情模型包括多个感情组,在所述感情模型中,所述多个感情分别被分类为所述多个感情组中的某一个。也可以是,本公开的一个形态的计算机可读取的记录介质,在由所述计算机执行所述程序时,进一步执行基于第1值和第2值的组合,通过参照所述感情模型,从所述多个感情组中选择至少一个感情组的处理,所述第1值表示向所述用户提供所述至少一个刺激时的所述第1信号与未向所述用户提供所述至少一个刺激时的所述第1信号之差,所述第2值表示向所述用户提供所述至少一个刺激时的所述第2信号与未向所述用户提供所述至少一个刺激时的所述第2信号之差。
也可以是,在本公开的一个形态的计算机可读取的记录介质中,所述感情模型包括第1至第4感情组,在所述感情模型中,所述多个感情分别被分类为所述第1至第4感情组中的某一个。也可以是,本公开的一个形态的计算机可读取的记录介质,在由所述计算机执行所述程序时,进一步执行:在所述第1值大于第1阈值且所述第2值大于第2阈值时,选择所述第1感情组的处理;在所述第1值为所述第1阈值以下且所述第2值大于所述第2阈值时,选择所述第2感情组的处理;在所述第1值为所述第1阈值以下且所述第2值小于所述第2阈值时,选择所述第3感情组的处理;以及在所述第1值大于所述第1阈值且所述第2值为所述第2阈值以下时,选择所述第4感情组的处理。
也可以是,本公开的一个形态的计算机可读取的记录介质,在由所述计算机执行所述程序时,进一步执行将从由图像以及声音构成的群中选择的至少一方输出到输出装置的处理,所述图像以及声音向所述用户询问所述至少一个感情是否符合所述用户的实际的感情,所述输出装置包括从由显示器以及扬声器构成的群中选择的至少一方。
也可以是,在本公开的一个形态的计算机可读取的记录介质中,所述系统还具备受理所述用户的输入的输入装置。也可以是,本公开的一个形态的计算机可读取的记录介质,在由所述计算机执行所述程序时,在所述用户使用所述输入装置进行了所述至少一个感情符合所述用户的实际的感情的意思的输入的情况下,进一步执行将表示所述至少一个刺激与所述至少一个感情的关联的数据记录在存储器中。
另外,本公开的一个形态的方法是在系统中使用的方法,该系统具备:光源,射出向用户的头部照射的脉冲光;以及光检测器,检测从所述头部返回的反射脉冲光的至少一部分,并输出与所述反射脉冲光的所述至少一部分的强度对应的一个以上的信号,所述方法包括:使所述光源射出所述脉冲光的步骤;使所述光检测器检测所述反射脉冲光,并输出所述一个以上的信号的步骤;以及基于所述一个以上的信号的变化,通过参照表示所述一个以上的信号与多个感情之间的关系的感情模型,来从所述多个感情中选择至少一个感情的步骤。所述一个以上的信号包括:第1信号,与所述反射脉冲光的第1部分的强度对应;以及第2信号,与所述反射脉冲光的与所述第1部分不同的第2部分的强度对应。所述第1部分包括从所述反射脉冲光的强度开始减少到减少结束为止的期间即下降期间开始前的部分,所述第2部分包括所述下降期间的至少一部分。
也可以是,在本公开的一个形态的方法中,所述系统还具备刺激装置,该刺激装置向所述用户提供至少一个刺激。也可以是,本公开的一个形态的方法还包括使所述刺激装置提供所述至少一个刺激,在所述选择中,所述至少一个感情也可以基于响应于所述至少一个刺激而产生的所述一个以上的信号的变化,通过参照所述感情模型来选择。
也可以是,在本公开的一个形态的方法中,所述感情模型包括多个感情组,在所述感情模型中,所述多个感情分别被分类为所述多个感情组中的某一个。也可以是,本公开的一个形态的方法还包括基于第1值和第2值的组合,通过参照所述感情模型,从所述多个感情组中选择至少一个感情组,所述第1值表示向所述用户提供所述至少一个刺激时的所述第1信号与未向所述用户提供所述至少一个刺激时的所述第1信号之差,所述第2值表示向所述用户提供所述至少一个刺激时的所述第2信号与未向所述用户提供所述至少一个刺激时的所述第2信号之差。
也可以是,在本公开的一个形态的方法中,所述感情模型包括第1至第4感情组,在所述感情模型中,所述多个感情分别被分类为所述第1至第4感情组中的某一个。也可以是,本公开的一个形态的方法还包括:在所述第1值大于第1阈值且所述第2值大于第2阈值时,选择所述第1感情组的步骤;在所述第1值为所述第1阈值以下且所述第2值大于所述第2阈值时,选择所述第2感情组的步骤;在所述第1值为所述第1阈值以下且所述第2值小于所述第2阈值时,选择所述第3感情组的步骤;以及在所述第1值大于所述第1阈值且所述第2值为所述第2阈值以下时,选择所述第4感情组的步骤。
也可以是,本公开的一个形态的方法还包括将从由图像以及声音构成的群中选择的至少一方输出到输出装置的步骤,所述图像以及声音向所述用户询问所述至少一个感情是否符合所述用户的实际的感情,所述输出装置包括从由显示器以及扬声器构成的群中选择的至少一方。
也可以是,在本公开的一个形态的方法中,所述系统还具备受理所述用户的输入的输入装置。也可以是,本公开的一个形态的方法,还包括:在所述用户使用所述输入装置,进行了所述至少一个感情符合所述用户的实际感情的意思的输入时,将表示所述至少一个刺激与所述至少一个感情的关联的数据记录在存储器中。
另外,本公开的另一形态的系统具备:光源,射出向用户的头部照射的脉冲光;光检测器,检测从所述头部返回的反射脉冲光的至少一部分,并输出与所述反射脉冲光的所述至少一部分的强度对应的一个以上的信号;以及电气电路,控制所述光源以及所述光检测器,对从所述光检测器输出的所述一个以上的信号进行处理。所述电气电路使所述光源射出所述脉冲光,使所述光检测器将所述反射脉冲光中的在所述用户的脑内散射的内部散射成分作为脑活动信号检测并输出,并使所述光检测器将所述反射脉冲光中的、在所述用户的皮肤的表面反射的表面反射成分作为面部血流信号检测并输出。所述信号处理电路基于所述面部血流信号和所述脑活动信号,生成并输出表示所述用户的心理状态的信号。
也可以是,在本公开的另一形态的系统中,所述电气电路使所述光检测器检测所述反射脉冲光的第1部分,从而检测所述表面反射成分,通过检测所述反射脉冲光的与所述第1部分不同的第2部分,来检测所述内部散射成分,所述第1部分包括从所述反射脉冲光的强度开始减少到减少结束为止的期间即下降期间开始前的部分,所述第2部分包括所述下降期间的至少一部分。
产业上的可利用性
本公开的系统、记录介质和方法对于例如以非接触方式取得用户的内部信息的相机或测定设备是有用的。
附图文字说明
1 用户
I1 表面反射成分
I2 内部散射成分
10 刺激装置
20 光源
30 光检测器
32 光电转换元件
34 电荷蓄积部
40 输出装置
50 输入装置
60 控制电路
61 刺激控制部
62 光源控制部
63 传感器控制部
64 输出控制部
65 输入控制部
70 信号处理电路
100 生物体测量系统
200 服务器计算机
300 头戴式装置
400 智能手机

Claims (22)

1.一种系统,其中,具备:
光源,射出照射到用户的头部的脉冲光;
光检测器,检测从所述头部返回的反射脉冲光的至少一部分,并输出与所述反射脉冲光的所述至少一部分的强度对应的一个以上的信号;
电气电路,对所述光源和所述光检测器进行控制,对从所述光检测器输出的所述一个以上的信号进行处理;以及
第1存储器,存储表示所述一个以上的信号与多个感情之间的关系的感情模型,
所述电气电路基于所述一个以上的信号的变化,通过参照所述感情模型,从所述多个感情中选择至少一个感情,
所述一个以上的信号包括:第1信号,与所述反射脉冲光的第1部分的强度对应;以及第2信号,与所述反射脉冲光的不同于所述第1部分的第2部分的强度对应,
所述第1部分包括从所述反射脉冲光的强度开始减少到减少结束为止的期间即下降期间开始前的部分,
所述第2部分包括所述下降期间的至少一部分。
2.根据权利要求1所述的系统,其中,
还具备刺激装置,所述刺激装置向所述用户提供至少一个刺激,
所述电气电路使所述刺激装置提供所述至少一个刺激,
基于响应于所述至少一个刺激而产生的所述一个以上的信号的变化,通过参照所述感情模型来选择所述至少一个感情。
3.根据权利要求2所述的系统,其中,
所述感情模型包括多个感情组,
在所述感情模型中,所述多个感情分别被分类为所述多个感情组中的某一个,
所述电气电路基于第1值和第2值的组合,通过参照所述感情模型,从所述多个感情组中选择至少一个感情组,所述第1值表示向所述用户提供所述至少一个刺激时的所述第1信号与未向所述用户提供所述至少一个刺激时的所述第1信号之差,所述第2值表示向所述用户提供所述至少一个刺激时的所述第2信号与未向所述用户提供所述至少一个刺激时的所述第2信号之差。
4.根据权利要求3所述的系统,其中,
所述感情模型包括第1至第4感情组,
在所述感情模型中,所述多个感情分别被分类为所述第1至第4感情组中的某一个,
所述电气电路,
在所述第1值大于第1阈值且所述第2值大于第2阈值时,选择所述第1感情组,
在所述第1值为所述第1阈值以下且所述第2值大于所述第2阈值时,选择所述第2感情组,
在所述第1值为所述第1阈值以下且所述第2值为所述第2阈值以下时,选择所述第3感情组,
在所述第1值大于所述第1阈值且所述第2值为所述第2阈值以下时,选择所述第4感情组。
5.根据权利要求2至4中任一项所述的系统,其中,
所述电气电路使输出装置输出从由图像以及声音构成的群中选择的至少一方,所述图像以及声音向所述用户询问所述至少一个感情是否符合所述用户的实际感情,
所述输出装置包括从由显示器以及扬声器构成的群中选择的至少一方。
6.根据权利要求5所述的系统,其中,
还具备输入装置,受理所述用户的输入,
所述电气电路在所述用户使用所述输入装置进行了所述至少一个感情符合所述用户的实际感情的意思的输入时,将表示所述至少一个刺激和所述至少一个感情的关联的数据记录在第2存储器中。
7.根据权利要求6所述的系统,其中,
所述刺激装置构成为能够向所述用户提供从多个刺激中选择的所述至少一个刺激,
所述电气电路经由网络与包括所述第2存储器的服务器计算机连接,
所述服务器计算机通知所述电气电路基于所述数据选择所述至少一个刺激,
所述电气电路基于来自所述服务器计算机的通知,使所述刺激装置向所述用户提供从所述多个刺激中选择的所述至少一个刺激。
8.根据权利要求2至7中任一项所述的系统,其中,
所述至少一个刺激包括从由影像和声音组成的群中选择的至少一个。
9.一种计算机可读取的记录介质,保存在系统中使用的程序,所述系统具备:光源,射出照射到用户的头部的脉冲光;以及光检测器,检测从所述头部返回的反射脉冲光的至少一部分,并输出与所述反射脉冲光的所述至少一部分的强度对应的一个以上的信号,在所述记录介质中,
在由所述计算机执行所述程序时执行如下处理:
使所述光源射出所述脉冲光;
使所述光检测器检测所述反射脉冲光,并输出所述一个以上的信号;以及
基于所述一个以上的信号的变化,通过参照表示所述一个以上的信号与多个感情之间的关系的感情模型,从所述多个感情中选择至少一个感情,
所述一个以上的信号包括:第1信号,与所述反射脉冲光的第1部分的强度对应;以及第2信号,与所述反射脉冲光的不同于所述第1部分的第2部分的强度对应,
所述第1部分包括从所述反射脉冲光的强度开始减少到减少结束为止的期间即下降期间开始前的部分,
所述第2部分包括所述下降期间的至少一部分。
10.根据权利要求9所述的计算机可读取的记录介质,其中,
所述系统还具备向所述用户提供至少一个刺激的刺激装置,
在由所述计算机执行所述程序时,
进一步执行向所述刺激装置提供所述至少一个刺激的处理,
在所述选择中,
基于响应于所述至少一个刺激而产生的所述一个以上的信号的变化,通过参照所述感情模型来选择所述至少一个感情。
11.根据权利要求10所述的计算机可读取的记录介质,其中,
所述感情模型包括多个感情组,
在所述感情模型中,所述多个感情分别被分类为所述多个感情组中的某一个,
在由所述计算机执行所述程序时,
进一步执行基于第1值和第2值的组合,通过参照所述感情模型,从所述多个感情组中选择至少一个感情组的处理,所述第1值表示向所述用户提供所述至少一个刺激时的所述第1信号与未向所述用户提供所述至少一个刺激时的所述第1信号之差,所述第2值表示向所述用户提供所述至少一个刺激时的所述第2信号与未向所述用户提供所述至少一个刺激时的所述第2信号之差。
12.根据权利要求10所述的计算机可读取的记录介质,其中,
所述感情模型包括第1至第4感情组,
在所述感情模型中,所述多个感情分别被分类为所述第1至第4感情组中的某一个,
在由所述计算机执行所述程序时,进一步执行:
在所述第1值大于第1阈值且所述第2值大于第2阈值时,选择所述第1感情组的处理;
在所述第1值为所述第1阈值以下且所述第2值大于所述第2阈值时,选择所述第2感情组的处理;
在所述第1值为所述第1阈值以下且所述第2值小于所述第2阈值时,选择所述第3感情组的处理;以及
在所述第1值大于所述第1阈值且所述第2值为所述第2阈值以下时,选择所述第4感情组的处理。
13.根据权利要求10至12中任一项所述的计算机可读取的记录介质,其中,
在由所述计算机执行所述程序时,
进一步执行使输出装置输出从由图像以及声音构成的群中选择的至少一方的处理,所述图像以及声音向所述用户询问所述至少一个感情是否符合所述用户的实际感情,
所述输出装置包括从由显示器以及扬声器构成的群中选择的至少一方。
14.根据权利要求13所述的计算机可读取的记录介质,其中,
所述系统还具备受理所述用户的输入的输入装置,
在由所述计算机执行所述程序时,
进一步执行在所述用户使用所述输入装置进行了所述至少一个感情符合所述用户的实际感情的意思的输入的情况下,将表示所述至少一个刺激与所述至少一个感情的关联的数据记录在存储器中的处理。
15.一种系统中使用的方法,所述系统具备:光源,射出照射到用户的头部的脉冲光;以及光检测器,检测从所述头部返回的反射脉冲光的至少一部分,并输出与所述反射脉冲光的所述至少一部分的强度对应的一个以上的信号,其中,所述方法包括:
使所述光源射出所述脉冲光的步骤;
使所述光检测器检测所述反射脉冲光,并输出所述一个以上的信号的步骤;以及
基于所述一个以上的信号的变化,通过参照表示所述一个以上的信号与多个感情之间的关系的感情模型,从所述多个感情中选择至少一个感情的步骤,
所述一个以上的信号包括:第1信号,与所述反射脉冲光的第1部分的强度对应;以及第2信号,与所述反射脉冲光的不同于所述第1部分的第2部分的强度对应,
所述第1部分包括从所述反射脉冲光的强度开始减少到减少结束为止的期间即下降期间开始前的部分,
所述第2部分包括所述下降期间的至少一部分。
16.根据权利要求15所述的方法,其中,
所述系统还具备向所述用户提供至少一个刺激的刺激装置,
所述方法还包括使所述刺激装置提供所述至少一个刺激的步骤,
在所述选择中,
基于响应于所述至少一个刺激而产生的所述一个以上的信号的变化,通过参照所述感情模型来选择所述至少一个感情。
17.根据权利要求16所述的方法,其中,
所述感情模型包括多个感情组,
在所述感情模型中,所述多个感情分别被分类为所述多个感情组中的某一个,
所述方法还包括基于第1值和第2值的组合,通过参照所述感情模型,从所述多个感情组中选择至少一个感情组的步骤,所述第1值表示向所述用户提供所述至少一个刺激时的所述第1信号与未向所述用户提供所述至少一个刺激时的所述第1信号之差,所述第2值表示向所述用户提供所述至少一个刺激时的所述第2信号与未向所述用户提供所述至少一个刺激时的所述第2信号之差。
18.根据权利要求16所述的方法,其中,
所述感情模型包括第1至第4感情组,
在所述感情模型中,所述多个感情分别被分类为所述第1至第4感情组中的某一个,所述方法还包括:
在所述第1值大于第1阈值且所述第2值大于第2阈值时,选择所述第1感情组的步骤;
在所述第1值为所述第1阈值以下且所述第2值大于所述第2阈值时,选择所述第2感情组的步骤;
在所述第1值为所述第1阈值以下且所述第2值小于所述第2阈值时,选择所述第3感情组的步骤;以及
在所述第1值大于所述第1阈值且所述第2值为所述第2阈值以下时,选择所述第4感情组的步骤。
19.根据权利要求16至18中任一项所述的方法,其中,
还包括使输出装置输出从由图像以及声音构成的群中选择的至少一方的步骤,所述图像以及声音向所述用户询问所述至少一个感情是否符合所述用户的实际感情,
所述输出装置包括从由显示器以及扬声器构成的群中选择的至少一方。
20.根据权利要求19所述的方法,其中,
所述系统还具备受理所述用户的输入的输入装置,
所述方法还包括在所述用户使用所述输入装置进行了所述至少一个感情符合所述用户的实际感情的意思的输入时,将表示所述至少一个刺激与所述至少一个感情的关联的数据记录在存储器中的步骤。
21.一种系统,其中,具备:
光源,射出照射到用户的头部的脉冲光;
光检测器,检测从所述头部返回的反射脉冲光的至少一部分,并输出与所述反射脉冲光的所述至少一部分的强度对应的一个以上的信号;以及
电气电路,对所述光源和所述光检测器进行控制,对从所述光检测器输出的所述一个以上的信号进行处理,
所述电气电路,
使所述光源射出所述脉冲光,
使所述光检测器将所述反射脉冲光中的、在所述用户的脑内散射的内部散射成分作为脑活动信号而检测并输出,
使所述光检测器将所述反射脉冲光中的、在所述用户的皮肤的表面反射的表面反射成分作为面部血流信号而检测并输出,
所述信号处理电路基于所述面部血流信号和所述脑活动信号,生成表示所述用户的心理状态的信号并输出。
22.根据权利要求21所述的系统,其中,
所述电气电路使所述光检测器,
通过检测所述反射脉冲光的第1部分,来检测所述表面反射成分,
通过检测所述反射脉冲光的与所述第1部分不同的第2部分,来检测所述内部散射成分,
所述第1部分包括从所述反射脉冲光的强度开始减少到减少结束为止的期间即下降期间开始前的部分,
所述第2部分包括所述下降期间的至少一部分。
CN201980009787.9A 2018-03-15 2019-02-27 用于推断用户的心理状态的系统、记录介质以及方法 Pending CN111655149A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-047811 2018-03-15
JP2018047811 2018-03-15
PCT/JP2019/007430 WO2019176535A1 (ja) 2018-03-15 2019-02-27 ユーザの心理状態を推定するためのシステム、記録媒体、および方法

Publications (1)

Publication Number Publication Date
CN111655149A true CN111655149A (zh) 2020-09-11

Family

ID=67906609

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980009787.9A Pending CN111655149A (zh) 2018-03-15 2019-02-27 用于推断用户的心理状态的系统、记录介质以及方法

Country Status (5)

Country Link
US (2) US11557148B2 (zh)
EP (1) EP3766425A4 (zh)
JP (2) JP7308430B2 (zh)
CN (1) CN111655149A (zh)
WO (1) WO2019176535A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112190235A (zh) * 2020-12-08 2021-01-08 四川大学 一种基于不同情况下欺骗行为的fNIRS数据处理方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7308430B2 (ja) * 2018-03-15 2023-07-14 パナソニックIpマネジメント株式会社 ユーザの心理状態を推定するためのシステム、記録媒体、および方法
EP4132224A1 (en) * 2021-08-04 2023-02-08 Koninklijke Philips N.V. Adjusting lighting conditions
WO2023105790A1 (ja) * 2021-12-10 2023-06-15 日本電気株式会社 ストレス推定方法

Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050054935A1 (en) * 2003-09-08 2005-03-10 Rice Robert R. Hyper-spectral means and method for detection of stress and emotion
JP2006136742A (ja) * 2006-01-16 2006-06-01 Sharp Corp 通信装置
CN101198277A (zh) * 2005-02-22 2008-06-11 海尔思-斯玛特有限公司 用于生理学和心理生理学监控的方法和系统及其应用
US20090040231A1 (en) * 2007-08-06 2009-02-12 Sony Corporation Information processing apparatus, system, and method thereof
US20090157751A1 (en) * 2007-12-13 2009-06-18 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for specifying an avatar
JP2009285000A (ja) * 2008-05-28 2009-12-10 Hitachi Ltd 生体光計測装置、生体光計測方法およびプログラム
US20100217099A1 (en) * 2009-02-25 2010-08-26 Leboeuf Steven Francis Methods and Apparatus for Assessing Physiological Conditions
JP2010253141A (ja) * 2009-04-28 2010-11-11 Spectratech Inc 生体情報を用いた生体反応評価システム
JP2012005717A (ja) * 2010-06-25 2012-01-12 Panasonic Electric Works Co Ltd 脳循環状態検査装置及びそれを備えたストレス計
WO2012150657A1 (ja) * 2011-05-02 2012-11-08 パナソニック株式会社 集中有無推定装置及びコンテンツ評価装置
US20130165739A1 (en) * 2011-12-21 2013-06-27 Mitsunori MINAMI Brain state support apparatus and program
US20150350201A1 (en) * 2014-05-30 2015-12-03 United Video Properties, Inc. Systems and methods for using wearable technology for biometric-based recommendations
WO2015194391A1 (ja) * 2014-06-20 2015-12-23 ソニー株式会社 検出装置および方法、並びにプログラム
CN105578968A (zh) * 2013-09-30 2016-05-11 株式会社理光 光学传感器、光学测试设备以及光学特性检测方法
WO2017007277A1 (en) * 2015-07-08 2017-01-12 Samsung Electronics Co., Ltd. Emotion evaluation
WO2017065313A1 (ja) * 2015-10-15 2017-04-20 ダイキン工業株式会社 有用情報提示装置
CN106580346A (zh) * 2015-10-14 2017-04-26 松下电器(美国)知识产权公司 情绪推定方法和情绪推定装置
US20170179682A1 (en) * 2015-12-22 2017-06-22 Ricoh Company, Ltd. Optical sensor, optical examination device, and optical property detection method
CN107028602A (zh) * 2015-12-07 2017-08-11 松下电器产业株式会社 生物体信息测定装置、生物体信息测定方法以及程序
US20170231544A1 (en) * 2016-02-17 2017-08-17 Panasonic Intellectual Property Management Co., Ltd. Biological information detection device including calculation circuit that generates signal of biological information
US20170238860A1 (en) * 2010-06-07 2017-08-24 Affectiva, Inc. Mental state mood analysis using heart rate collection based on video imagery
JP2017153963A (ja) * 2016-02-29 2017-09-07 ダイキン工業株式会社 判定結果出力装置、判定結果提供装置、及び判定結果出力システム
US20170353672A1 (en) * 2016-06-07 2017-12-07 Panasonic Intellectual Property Management Co., Ltd. Imaging device provided with light source, image sensor including first accumulator and second accumulator, and controller
WO2017212120A1 (en) * 2016-06-10 2017-12-14 Polar Electro Oy Multi-sensor system for estimating blood pulse wave characteristics
CN107528998A (zh) * 2016-06-17 2017-12-29 松下知识产权经营株式会社 摄像装置
CN107550474A (zh) * 2016-06-30 2018-01-09 松下知识产权经营株式会社 生物体信息检测装置

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5305759A (en) 1990-09-26 1994-04-26 Olympus Optical Co., Ltd. Examined body interior information observing apparatus by using photo-pulses controlling gains for depths
JP3162070B2 (ja) 1990-11-22 2001-04-25 オリンパス光学工業株式会社 被検体内部情報観察装置
US5995857A (en) * 1996-07-01 1999-11-30 Toomim; I. Hershel Biofeedback of human central nervous system activity using radiation detection
JPH11164826A (ja) 1997-12-04 1999-06-22 Hitachi Ltd 生体光計測装置
US5994857A (en) * 1998-02-11 1999-11-30 Deere & Company Lawn and garden tractor interlock circuit
KR100485906B1 (ko) * 2002-06-26 2005-04-29 삼성전자주식회사 정서유도 장치 및 방법
US7120482B2 (en) * 2002-11-18 2006-10-10 Honda Motor Co., Ltd. Optical measuring apparatus and method
JP4396175B2 (ja) * 2003-08-05 2010-01-13 ソニー株式会社 コンテンツ再生装置及びコンテンツ再生方法
US7388971B2 (en) * 2003-10-23 2008-06-17 Northrop Grumman Corporation Robust and low cost optical system for sensing stress, emotion and deception in human subjects
JP5026887B2 (ja) * 2007-08-10 2012-09-19 花王株式会社 感情を判定するための方法
US20090318773A1 (en) * 2008-06-24 2009-12-24 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Involuntary-response-dependent consequences
JP5386594B2 (ja) * 2009-11-27 2014-01-15 株式会社日立製作所 生体光計測装置
US20150099987A1 (en) * 2010-06-07 2015-04-09 Affectiva, Inc. Heart rate variability evaluation for mental state analysis
US20120130203A1 (en) 2010-11-24 2012-05-24 Fujitsu Limited Inductively-Powered Ring-Based Sensor
US20140267281A1 (en) * 2013-03-13 2014-09-18 Ericom Software Ltd. Method for displaying a remote desktop on a portable touch screen device
JP6594620B2 (ja) * 2013-12-20 2019-10-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 光脳機能計測装置
US9734685B2 (en) 2014-03-07 2017-08-15 State Farm Mutual Automobile Insurance Company Vehicle operator emotion management system and method
CN112969030B (zh) * 2015-06-17 2023-04-28 松下知识产权经营株式会社 摄像装置
JP2017068810A (ja) 2015-10-04 2017-04-06 国立大学法人金沢大学 静脈可視化システム、静脈可視化方法、及び、静脈可視化プログラム
US20170112381A1 (en) * 2015-10-23 2017-04-27 Xerox Corporation Heart rate sensing using camera-based handheld device
JP6703893B2 (ja) 2015-12-01 2020-06-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 体調推定装置、及び、体調推定システム
EP3175786A1 (en) 2015-12-01 2017-06-07 Panasonic Intellectual Property Corporation of America Estimation of physical conditions
JP6928906B2 (ja) 2016-01-07 2021-09-01 パナソニックIpマネジメント株式会社 生体情報計測装置
JP6579014B2 (ja) * 2016-03-29 2019-09-25 株式会社デンソー 自動ブレーキ制御装置及びコンピュータプログラム
JP6465077B2 (ja) 2016-05-31 2019-02-06 トヨタ自動車株式会社 音声対話装置および音声対話方法
JP6622662B2 (ja) 2016-07-04 2019-12-18 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
CN108209867B (zh) 2016-12-15 2022-03-18 松下知识产权经营株式会社 摄像装置
JP6790856B2 (ja) * 2017-01-18 2020-11-25 株式会社デンソー 電子情報処理システム及びコンピュータプログラム
US10939833B2 (en) * 2017-05-01 2021-03-09 Samsung Electronics Company, Ltd. Determining artery location using camera-based sensing
JP7178614B2 (ja) * 2017-06-23 2022-11-28 パナソニックIpマネジメント株式会社 情報処理方法、情報処理装置、および情報処理システム
WO2018235466A1 (ja) * 2017-06-23 2018-12-27 パナソニックIpマネジメント株式会社 情報処理方法、情報処理装置、および情報処理システム
CN109247931A (zh) * 2017-07-12 2019-01-22 松下知识产权经营株式会社 计测装置
CN109247945A (zh) * 2017-07-12 2019-01-22 松下知识产权经营株式会社 计测装置
CN111148469B (zh) * 2017-12-19 2024-04-09 松下知识产权经营株式会社 生物体计测装置、生物体计测方法及判定装置
JP7080657B2 (ja) * 2018-02-07 2022-06-06 株式会社デンソー 感情識別装置
JP7308430B2 (ja) * 2018-03-15 2023-07-14 パナソニックIpマネジメント株式会社 ユーザの心理状態を推定するためのシステム、記録媒体、および方法
CN112188866A (zh) * 2018-08-30 2021-01-05 松下知识产权经营株式会社 生物体计测装置及生物体计测方法
CN112236084A (zh) * 2018-12-10 2021-01-15 松下知识产权经营株式会社 光计测装置
JP2020111202A (ja) * 2019-01-11 2020-07-27 株式会社リコー 表示制御装置、表示装置、表示システム、移動体、プログラム、画像生成方法
CN112446243A (zh) * 2019-08-29 2021-03-05 鸿富锦精密电子(郑州)有限公司 电子装置及基于情绪的内容推送方法
WO2021182018A1 (ja) * 2020-03-09 2021-09-16 パナソニックIpマネジメント株式会社 計測装置および計測装置を制御する方法
JPWO2021256165A1 (zh) * 2020-06-15 2021-12-23

Patent Citations (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050054935A1 (en) * 2003-09-08 2005-03-10 Rice Robert R. Hyper-spectral means and method for detection of stress and emotion
CN101198277A (zh) * 2005-02-22 2008-06-11 海尔思-斯玛特有限公司 用于生理学和心理生理学监控的方法和系统及其应用
US20080214903A1 (en) * 2005-02-22 2008-09-04 Tuvi Orbach Methods and Systems for Physiological and Psycho-Physiological Monitoring and Uses Thereof
JP2006136742A (ja) * 2006-01-16 2006-06-01 Sharp Corp 通信装置
US20090040231A1 (en) * 2007-08-06 2009-02-12 Sony Corporation Information processing apparatus, system, and method thereof
US20090157751A1 (en) * 2007-12-13 2009-06-18 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for specifying an avatar
JP2009285000A (ja) * 2008-05-28 2009-12-10 Hitachi Ltd 生体光計測装置、生体光計測方法およびプログラム
US20100217099A1 (en) * 2009-02-25 2010-08-26 Leboeuf Steven Francis Methods and Apparatus for Assessing Physiological Conditions
JP2010253141A (ja) * 2009-04-28 2010-11-11 Spectratech Inc 生体情報を用いた生体反応評価システム
US20170238860A1 (en) * 2010-06-07 2017-08-24 Affectiva, Inc. Mental state mood analysis using heart rate collection based on video imagery
JP2012005717A (ja) * 2010-06-25 2012-01-12 Panasonic Electric Works Co Ltd 脳循環状態検査装置及びそれを備えたストレス計
WO2012150657A1 (ja) * 2011-05-02 2012-11-08 パナソニック株式会社 集中有無推定装置及びコンテンツ評価装置
US20130165739A1 (en) * 2011-12-21 2013-06-27 Mitsunori MINAMI Brain state support apparatus and program
CN105578968A (zh) * 2013-09-30 2016-05-11 株式会社理光 光学传感器、光学测试设备以及光学特性检测方法
US20150350201A1 (en) * 2014-05-30 2015-12-03 United Video Properties, Inc. Systems and methods for using wearable technology for biometric-based recommendations
WO2015194391A1 (ja) * 2014-06-20 2015-12-23 ソニー株式会社 検出装置および方法、並びにプログラム
WO2017007277A1 (en) * 2015-07-08 2017-01-12 Samsung Electronics Co., Ltd. Emotion evaluation
CN106580346A (zh) * 2015-10-14 2017-04-26 松下电器(美国)知识产权公司 情绪推定方法和情绪推定装置
WO2017065313A1 (ja) * 2015-10-15 2017-04-20 ダイキン工業株式会社 有用情報提示装置
CN107028602A (zh) * 2015-12-07 2017-08-11 松下电器产业株式会社 生物体信息测定装置、生物体信息测定方法以及程序
US20170179682A1 (en) * 2015-12-22 2017-06-22 Ricoh Company, Ltd. Optical sensor, optical examination device, and optical property detection method
US20170231544A1 (en) * 2016-02-17 2017-08-17 Panasonic Intellectual Property Management Co., Ltd. Biological information detection device including calculation circuit that generates signal of biological information
JP2017153963A (ja) * 2016-02-29 2017-09-07 ダイキン工業株式会社 判定結果出力装置、判定結果提供装置、及び判定結果出力システム
US20170353672A1 (en) * 2016-06-07 2017-12-07 Panasonic Intellectual Property Management Co., Ltd. Imaging device provided with light source, image sensor including first accumulator and second accumulator, and controller
WO2017212120A1 (en) * 2016-06-10 2017-12-14 Polar Electro Oy Multi-sensor system for estimating blood pulse wave characteristics
CN107528998A (zh) * 2016-06-17 2017-12-29 松下知识产权经营株式会社 摄像装置
CN107550474A (zh) * 2016-06-30 2018-01-09 松下知识产权经营株式会社 生物体信息检测装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HOSHI, Y; HUANG, JH; (...); ONO, S: "Recognition of Human Emotions from Cerebral Blood Flow Changes in the Frontal Region: A Study with Event-Related Near-Infrared Spectroscopy", JOURNAL OF NEUROIMAGING, vol. 21, no. 2, pages 94 - 101 *
PARK, MW; KIM, CJ; (...); LEE, EC: "Individual Emotion Classification between Happiness and Sadness by Analyzing Photoplethysmography and Skin Temperature", 4TH WORLD CONGRESS ON SOFTWARE ENGINEERING (WCSE), pages 190 - 194 *
夏骁凯: "医学专业知识对医疗场景下共情程度表现的影响", 《中国优秀硕士学位论文全文数据库》, no. 8 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112190235A (zh) * 2020-12-08 2021-01-08 四川大学 一种基于不同情况下欺骗行为的fNIRS数据处理方法
CN112190235B (zh) * 2020-12-08 2021-03-16 四川大学 一种基于不同情况下欺骗行为的fNIRS数据处理方法

Also Published As

Publication number Publication date
US20200364445A1 (en) 2020-11-19
JP2023126820A (ja) 2023-09-12
EP3766425A1 (en) 2021-01-20
JPWO2019176535A1 (ja) 2021-03-11
WO2019176535A1 (ja) 2019-09-19
US11557148B2 (en) 2023-01-17
EP3766425A4 (en) 2021-06-23
US20230111721A1 (en) 2023-04-13
JP7308430B2 (ja) 2023-07-14
US11963772B2 (en) 2024-04-23

Similar Documents

Publication Publication Date Title
CN111148469B (zh) 生物体计测装置、生物体计测方法及判定装置
CN111655149A (zh) 用于推断用户的心理状态的系统、记录介质以及方法
JP7065421B2 (ja) 撮像装置および対象物の内部の情報を取得する方法
JP2020103879A (ja) 生体計測方法、地図データ生成方法、プログラム、コンピュータ読み取り可能な記録媒体、および生体計測装置
CN107088071B (zh) 生物体信息检测装置
JP7386438B2 (ja) 生体計測装置、生体計測方法、コンピュータ読み取り可能な記録媒体、およびプログラム
CN106943117A (zh) 生物体信息计测装置
Wilcox et al. Hemodynamic response to featural changes in the occipital and inferior temporal cortex in infants: a preliminary methodological exploration
JP2024016142A (ja) コンピュータにおける情報処理方法および生体計測システム
JP7142237B2 (ja) アトラクション装置の制御方法およびアトラクションシステム
WO2020044854A1 (ja) 生体計測装置、及び生体計測方法
Shoushtarian et al. Assessing hearing by measuring heartbeat: The effect of sound level
WO2020137352A1 (ja) 生体計測方法、地図データ生成方法、プログラム、コンピュータ読み取り可能な記録媒体、および生体計測装置
WO2022202057A1 (ja) ユーザの感情状態を推定する方法および装置
WO2021182018A1 (ja) 計測装置および計測装置を制御する方法
JP7417867B2 (ja) 光計測装置
WO2022138063A1 (ja) 生体計測装置、生体計測方法、及び、コンピュータプログラム
US20220273233A1 (en) Brain Activity Derived Formulation of Target Sleep Routine for a User
Bonnstetter et al. Electroencephalography microstates in relation to emotional decision-making
WO2018235465A1 (ja) アトラクション装置の制御方法およびアトラクションシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination