CN108135498B - 有用信息呈现装置 - Google Patents

Abstract

有用信息呈现装置(300、301、302)包括脸部皮肤温度获取单元(20)以及/或者图像数据获取单元(120)、脑活动推定单元(30、130)和有用信息呈现单元(200)。脸部皮肤温度获取单元(20)以时间序列获取脸部皮肤温度数据。图像数据获取单元(120)以时间序列获取脸部的拍摄图像数据。脑活动推定单元(30、130)根据通过奇异值分解、主成分分析或独立成分分析对脸部皮肤温度数据以及/或者脸部血液循环量数据进行分解而得到的多个成分来对对象者的脑活动进行推定。有用信息呈现单元(200)根据由脑活动推定单元(30、130)推定出的对象者的脑活动来呈现与感情或身体状态相关的有用信息。

Description

有用信息呈现装置

技术领域

本发明涉及一种有用信息呈现装置。

背景技术

近年来，将通过专利文献1(日本专利特开2013－176406号公报)所公开的脑波测量法(EEG)、磁共振图像法(fMRI：functional Magnetic Resonance Imaging)以及近红外线分光法(NIRS)检测出的数据用于人类的身体状况管理。

发明内容

发明所要解决的技术问题

然而，上述各方法中，需要向对象者安装需要进行前期处理的电极等，因而存在准备阶段的作业繁琐，若没有规定的测量室就无法测量以及需要花费很大的成本的问题。其结果是，导致无法简便地获取与感情或身体状况相关的有用信息。

本发明的技术问题是提供一种能够简便地获取与身体状况管理相关的有用信息的有用信息呈现装置。

解决技术问题所采用的技术方案

本发明第一观点的有用信息呈现装置包括脸部皮肤温度获取单元以及/或者脸部血液循环量获取单元、脑活动推定单元和有用信息呈现单元。脸部皮肤温度获取单元以时间序列获取脸部皮肤温度数据。脸部皮肤温度数据包括从对象者的脸部检测出的皮肤温度数据以及该皮肤温度数据的检测部位的位置数据。脸部血液循环量获取单元以时间序列获取脸部血液循环量数据。根据通过对对象者的脸部以时间序列拍摄到的拍摄图像数据进行RGB处理而得到的拍摄图像数据的RGB数据来获取脸部血液循环量数据。脑活动推定单元根据通过奇异值分解、主成分分析或独立成分分析对脸部皮肤温度数据以及/或者脸部血液循环量数据进行分解而得到的多个成分来对对象者的脑活动进行推定。有用信息呈现单元根据由脑活动推定单元推定出的对象者的脑活动来呈现与感情或身体状态相关的有用信息。

在本发明第一观点的有用信息呈现装置中，根据通过脸部皮肤温度获取单元以及/或者脸部血液循环量获取单元获取到的时间序列的脸部皮肤温度数据以及/或者脸部血液循环量数据来对对象者的脑活动进行推定。因此，在上述有用信息呈现装置中，即使不安装脑波电极等安装前需要进行处理的传感器，也能够对对象者的脑活动进行推定。其结果是，对象者能够简便地获取与感情或身体状态相关的有用信息。

在第一观点所述的有用信息呈现装置的基础上，在本发明第二观点的有用信息呈现装置中，脑活动推定单元从多个成分中提取出成分波形的振幅与脑激活时和脑非激活时的变化具有相关性关系的成分以作为判定用成分。接着，脑活动推定单元根据判定用成分对对象者的脑活动进行推定。在上述有用信息呈现装置中，提取出多个成分中与脑激活/非激活具有相关性关系的成分以作为对对象者的脑活动进行推定的判定用成分。因此，能够根据被推测为与对象者的脑活动具有较高的相关性的成分来对脑活动进行推定。其结果是，能够提高有用信息的可靠性。

在第一观点或第二观点所述的有用信息呈现装置的基础上，在本发明第三观点的有用信息提示装置中，脸部皮肤温度获取单元以及/或者脸部血液循环量获取单元至少对对象者的脸部的鼻窦周围以及/或者前额部的脸部皮肤温度数据以及/或者脸部血液循环量数据进行获取。

此处，脑具有选择性脑冷却机构(Selective Brain Cooling System)这样独立于体温的、对脑进行冷却的结构。已知，选择性脑冷却机构利用鼻窦和前额部周围将由脑活动产生的热量排出。此外，可以认为脸部的皮肤温度与脸部的血液循环量成比例。

在本发明第三观点的有用信息呈现装置中，根据被推测为反映脑活动的鼻窦以及/或者前额部的时间序列的脸部皮肤温度数据以及/或者脸部血液循环量数据来对对象者的脑活动进行推定。因此，在上述有用信息呈现装置中，能够高精度地对对象者的脑活动进行推定。其结果是，能够提高有用信息的可靠性。

在第一观点至第三观点中任一观点所述的有用信息呈现装置的基础上，在本发明第四观点的有用信息呈现装置中，脸部皮肤温度获取单元以及/或者脸部血液循环量获取单元和有用信息呈现单元存储于智能设备。

在本发明第四观点的有用信息呈现装置中，通过智能设备进行信息的输入和输出，因此对象者能够简便地获取与身体状况管理相关的有用信息。此外，通过在服务器设置脑活动推定单元能够减轻运算负载。

在第一观点至第四观点中任一观点所述的有用信息呈现装置的基础上，在本发明第五观点的有用信息呈现装置中，脸部皮肤温度获取单元以及/或者脸部血液循环量获取单元、脑活动推定单元和有用信息呈现单元存储于智能设备。

在本发明第五观点的有用信息呈现装置中，通过智能设备进行信息的输入、输出和运算，因此对象者能够简便地获取与感情或身体状况管理相关的有用信息。

在第一观点至第五观点中任一观点所述的有用信息呈现装置的基础上，本发明第六观点的有用信息呈现装置还包括感情存储部。感情存储部将脑活动的推定结果和表示人类感情的感情数据相关联地存储。此外，脑活动推定单元计算出脑活动的推定结果。另外，有用信息呈现单元根据推定结果从感情存储部提取并呈现对象者的感情数据。

在本发明第六观点的有用信息呈现装置中，感情存储部将脑活动的推定结果和表示人类感情的数据相关联地存储，因此能够依次对脑活动和感情的相关性关系进行最优化。

在第六观点的有用信息呈现装置的基础上，本发明第七观点的有用信息呈现装置用于作为对象者的婴儿。此外，感情存储部将脑活动的推定值和表示婴儿感情的婴儿感情数据相关联地存储。

在本发明第七观点的有用信息呈现装置中，感情存储部将脑活动的推定值和表示婴儿感情的婴儿感情数据相关联地存储，因此能够利用专用于婴儿的、脑活动和感情的相关性关系。

在第六观点或第七观点所述的有用信息呈现装置的基础上，本发明第八观点的有用信息呈现装置对作为人类替代的人类以外的动物的感情进行判定。藉此，能够简便地判定玩赏动物(宠物)等的感情。

在第一观点至第五观点中任一观点所述的有用信息呈现装置的基础上，本发明的第九观点的有用信息呈现装置还包括脑年龄存储部。脑年龄存储部将脑活动的推定结果和表示脑年龄的脑年龄数据相关联地存储。此外，脑活动推定单元计算出脑活动的推定结果。另外，有用信息呈现单元根据推定结果从脑年龄存储部提取并呈现对象者的脑年龄数据。

在本发明第九观点的有用信息呈现装置中，脑年龄存储部将脑活动的推定结果和表示脑年龄的脑年龄数据相关联地存储，因此能够依次对脑活动和脑年龄的相关性关系进行最优化。

在第一观点至第五观点、第九观点中任一观点所述的有用信息呈现装置的基础上，在本发明第十观点的有用信息呈现装置中，脸部皮肤温度获取单元以及/或者脸部血液循环量获取单元装载于游戏机。此外，脸部皮肤温度获取单元以及/或者脸部血液循环量获取单元在游戏机的游戏开始后的规定期间内，以时间序列获取脸部皮肤温度数据以及/或者脸部血液循环量数据。

在本发明第十观点的有用信息呈现装置中，由于具备上述结构，因而能够在游戏执行中呈现脑年龄。此外，通过使游戏机的游戏自身构成脑活动激活问题，从而能够根据执行该游戏来呈现脑年龄。

在第一观点至第五观点中任一观点所述的有用信息呈现装置的基础上，本发明的第十一观点的有用信息呈现装置还包括有用信息存储部。有用信息存储部将脑活动的推定结果和与身体状况管理相关的有用信息相关联地存储。此外，脑活动推定单元计算出脑活动的推定结果。另外，有用信息呈现单元根据推定结果从有用信息存储部提取并呈现针对对象者的有用信息。

在本发明第十一观点的有用信息呈现装置中，有用信息存储部将脑活动的推定结果与身体状况相关的有用信息相关联地存储，因此能够依次对脑活动和有用信息的相关性关系进行最优化。

在第十一观点的有用信息呈现装置的基础上，在本发明第十二观点的有用信息呈现装置中，有用信息存储部将脑活动的推定结果的每个时间带的变化和上述有用信息相关联地存储。此外，脸部皮肤温度获取单元以及/或者脸部血液循环量获取单元与时间信息相关联地获取脸部皮肤温度数据以及/或者脸部血液循环量数据。另外，脑活动推定单元与时间信息相关联地计算出脑活动的推定结果。此外，有用信息呈现单元根据推定结果和时间信息从有用信息存储部提取出与脑活动的推定结果的每个时间带的变化对应的有用信息并呈现给对象者。

在本发明的第十二观点的有用信息呈现装置中，提取出与脑活动的推定结果的每个时间带的变化对应的有用信息并呈现给对象者，因而能够呈现与昼夜节律对应的有用信息。

在第一观点至第五观点、第十一观点、第十二观点中任一观点所述的有用信息呈现装置的基础上，在本发明第十三观点的有用信息呈现装置中，脸部皮肤温度获取单元以及/或者脸部血液循环量获取单元设置于镜子构件的背后。

在本发明第十三观点的有用信息呈现装置中，对象者每次利用镜子都会获取脸部皮肤温度数据以及/或者拍摄图像数据并呈现有用信息，因而能够提高利用者的便利性。

在第四观点或第五观点的有用信息呈现装置的基础上，在本发明第十四观点的有用信息呈现装置中，智能设备具有使该智能设备的显示部镜面化的镜面化单元，脸部皮肤温度获取单元以及/或者脸部血液循环量获取单元设置于智能设备的显示部的背后。

在本发明第十四观点的有用信息呈现装置中，对象者每次利用智能设备的镜面化的显示部都会获取脸部皮肤温度数据以及/或者拍摄图像数据并呈现有用信息，因而能够提高利用者的便利性。

发明效果

在本发明第一观点的有用信息呈现装置中，能够简便地呈现与感情或身体状态相关的有用信息。

在本发明的第二观点、第三观点的有用信息呈现装置中，能够提高有用信息的可靠性。

在本发明的第四观点、第五观点的有用信息呈现装置中，能够利用智能设备简便地呈现有用信息。

在本发明第六观点的有用信息呈现装置中，能够依次对脑活动和感情的相关性关系进行最优化。

在本发明第七观点的有用信息呈现装置中，能够利用专用于婴儿的、脑活动和感情的相关性关系。

在本发明的第八观点的有用信息呈现装置中，能够简便地判定玩赏动物(宠物)等的感情。

在本发明第九观点的有用信息呈现装置中，能够依次对脑活动和脑年龄的相关性关系进行最优化。

在本发明第十观点的有用信息呈现装置中，能够在游戏执行中呈现脑年龄。

在本发明第十一观点的有用信息呈现装置中，能够依次对脑活动和脑年龄的相关性关系进行最优化。

在本发明第十二观点的有用信息呈现装置中，能够呈现与昼夜节律对应的有用信息。

在本发明第十三观点的有用信息呈现装置中，能够提高利用者的便利性。

在本发明第十四观点的有用信息呈现装置中，能够提高利用者的便利性。

附图说明

图1是表示拍摄图像数据以及对该拍摄图像数据进行解析后的结果一例的图。

图2是表示对脸部皮肤温度数据进行解析后的部分结果的图。

图3是表示对脸部皮肤温度数据进行解析后的部分结果的图。

图4是表示成分二的成分波形的振幅和测定出的脑波中的β波的振幅的图。

图5是表示成分三的成分波形的振幅和测定出的脑波中的β波的振幅的图。

图6是表示对由对照实验得到的脸部皮肤温度数据进行解析后的部分结果的图。

图7是表示基于脸部的拍摄图像数据的成分波形和测定出的脑波中的β波的振幅的图。

图8是表示基于脸部皮肤温度数据的成分波形和测定出的脑波中的β波的振幅的图。

图9是表示基于脸部的拍摄图像数据的成分波形和测定出的脑波中的β波的振幅的图。

图10是表示基于脸部皮肤温度数据的成分波形和测定出的脑波中的β波的振幅的图。

图11是表示基于脸部的拍摄图像数据的成分波形和测定出的脑波中的β波的振幅的图。

图12是表示基于脸部皮肤温度数据的成分波形和测定出的脑波中的β波的振幅的图。

图13是表示基于脸部的拍摄图像数据的成分波形和测定出的脑波中的β波的振幅的图。

图14是表示基于脸部皮肤温度数据的成分波形和测定出的脑波中的β波的振幅的图。

图15是表示基于脸部的拍摄图像数据的成分波形和测定出的脑波中的β波的振幅的图。

图16是表示基于脸部皮肤温度数据的成分波形和测定出的脑波中的β波的振幅的图。

图17是表示基于脸部的拍摄图像数据的成分波形和测定出的脑波中的β波的振幅的图。

图18是表示基于脸部皮肤温度数据的成分波形和测定出的脑波中的β波的振幅的图。

图19是本发明一实施方式的脑活动可视化装置的示意图。

图20是表示在脑活动可视化装置中对表示反映了脑功能的皮肤温度的变化的成分进行确定时的处理的流程的一例的流程图。

图21是本发明一实施方式的脑活动可视化装置的示意图。

图22是表示在脑活动可视化装置中对表示反映了脑功能的脸部的RGB变化的成分进行确定时的处理的流程的一例的流程图。

图23是本发明一实施方式的感情判定装置(有用信息呈现装置)的示意图。

图24是本发明一实施方式的脑年龄呈现装置(有用信息呈现装置)的示意图。

图25是本发明一实施方式的有用信息呈现装置的示意图。

图26是本发明一实施方式的有用信息存储部的示意图。

具体实施方式

在对本发明的实施方式进行说明前，首先，对作为本发明者们完成本发明时的重要基础的、本发明者们的见解进行说明。

(1)本发明者们的见解的要点

已知，人类的脑活动反映了人类的智力活动(认知活动等)以及情感活动(愉快/不愉快等活动)。此外，目前，虽然尝试对人类的脑活动进行推定，但在这种情况下，大多采用通过脑波测量法、磁共振图像法以及近红外线分光法中的任一方法检测出的数据。

此处，作为检测方法，例如在采用脑波测量法的情况下，需要对试验者安装脑波电极。此外，由于在安装脑波电极时，需要减小皮肤和电极之间的电阻，因而需要进行研磨皮肤的处理以及将糊料涂敷于电极等作业。此外，在采用磁共振图像法的情况下，无法在MRI室以外进行测定，并且具有无法将金属带入测定室内等测定条件的限制。此外，在采用近红外线分光法的情况下，需要向试验者安装探针，但长时间安装探针会使试验者感到疼痛，并且有时由于试验者的头发和探针的接触状况而无法准确地检测。这样，在为了测定人类的脑活动而采用目前的检测方法的情况下，需要进行安装脑波电极或探针等时的前期处理，或者测定条件被限定等，从而使施加给试验者的负担变大。

因此，需要开发一种设备，该设备能够减轻试验者的负担，并且能够简便地对人类的脑活动进行推定。

此外，本发明者们对下述情况进行了考虑：能否根据人类的脸部的皮肤温度或被认为与脸部的皮肤温度成比例的脸部的血液循环状态来推定人类的脑活动。对于人类的脸部的皮肤温度，能够采用热成像等测定装置来获取，对于脸部的血液循环状态即脸部的血液循环量，能够通过采用拍摄装置所得到的脸部的拍摄图像的RGB数据来推定。这样，不需要安装脑波电极或探针等安装前需要进行处理的传感器就能够获取脸部的皮肤温度或脸部的拍摄图像。

另一方面，已知，人类的脸部的皮肤温度受到外部空气温度以及/或者自主神经的活动等各种因素的影响而变化。因此，可以认为，若根据脸部的皮肤温度或根据被认为与脸部的皮肤温度成比例的脸部的血液循环量对脑活动进行推定，则很难判断获取到的数据是否仅反映脑活动。

本发明者们通过专心研究发现了下述结果：通过采用奇异值分解法、主成分分析法或者独立成分分析法来将时间序列的脸部皮肤温度数据或时间序列的脸部的血液循环量数据分解成多个成分，并且对分解后的多个成分进行解析，从而能够对表示反映了脑活动的脸部的皮肤温度的变化或脸部的血液循环量的变化的成分进行确定，其中，上述时间序列的脸部皮肤温度数据是检测脸部的皮肤温度，包括检测出的温度数据以及检测部位的位置数据(坐标数据)，上述时间序列的脸部的血液循环量是根据RGB数据计算得到的，上述RGB数据是通过时间序列的脸部的拍摄图像数据得到的。此外，本发明者们通过推定对象者的脑活动并且对上述脑活动进行解析，从而得到能够根据推定出的脑活动而将对象者的生理状态可视化的本发明。

(2)脸部的各种数据的获取方法以及对获取后的各种数据进行解析的方法

(2－1)脸部皮肤温度数据的获取方法以及对脸部皮肤温度数据进行分析的方法

接着，对本发明者们获得上述见解时采用的脸部皮肤温度数据的获取方法以及对脸部皮肤温度数据进行解析的方法进行说明。

在本试验中，从六名试验者获取了脸部皮肤温度数据。具体而言，让试验者坐在设置于室温维持为25℃的人工气候室内的椅子上，并采用红外线热成像装置从试验者的整个脸部获取到脸部皮肤温度数据。红外线热成像装置能够通过红外线相机对从对象物辐射出的红外线辐射能进行检测，将检测出的红外线辐射能转换成对象物表面的温度(此处为摄氏温度)，并将上述温度分布作为脸部皮肤温度数据(例如，表示温度分布的图像数据)予以显示并储存。此外，在本试验中，使用NEC Avio红外线技术株式会社(日文：NEC Avio赤外線テクノロジー株式会社)制造的R300作为红外线热成像装置。另外，红外线相机设置于试验者的正面且距离试验者1.5米处的位置。此外，脸部皮肤温度数据是在三十分钟内获取的。

另外，在本试验中，在获取脸部皮肤温度数据的期间，向试验者提供了脑功能激活问题。藉此，获取到脑非激活时的脸部皮肤温度数据以及脑激活时的脸部皮肤温度数据。作为脑功能激活问题，列举了试验者根据显示装置等显示的画面所进行的计算，或者对数值、形状以及颜色进行识别，或者对记号、文字乃至语言进行记忆等心理作业。在本试验中，采用“乘法的心算”作为脑功能激活问题，让试验者对通过笔算形式显示于显示装置的数字进行计算，并且通过键盘输入上述问题的答案。此外，在本试验中，从开始获取脸部皮肤温度数据的五分钟后的十分钟持续向试验者提供脑功能激活问题。

作为对脸部皮肤温度数据的解析，将获取到的脸部皮肤温度数据作为对象，并且采用MATBLAB(注册商标)的SVD(奇异值分解(英文：Singular Value Decomposition))作为分析工具进行奇异值分解。在奇异值分解中，将以时间序列获取到的所有脸部皮肤温度数据(三十分钟的数据)作为对象，将因子设为每三十秒的时间数据(三十分钟有六十个时间点)，将测度设为上述期间(三十秒)的脸部皮肤温度数据(240×320像素)。接着，通过奇异值分解将脸部皮肤温度数据X分解成多个成分，并且计算出各成分的时间分布V、空间分布U以及表示各成分大小的奇异值S。另外，上述关系通过下式表示。此外，V’是将矩阵V的行和列进行交换后得到的矩阵。

(数学式1)

X＝(U*S)*V′

接着，将由奇异值分解求出的各成分的时间分布V和空间分布U绘制成图，从而生成各成分的成分波形图和温度分布图。

此外，根据生成后的各成分的成分波形图和温度分布图，进行了对表示反映了脑活动的皮肤温度的变化的成分进行确定的解析。

根据各成分的成分波形图进行了上述成分波形的振幅与脑非激活时和脑激活时有无相关性关系的解析。具体而言，对各成分的成分波形图所示的振幅与脑非激活期间/脑激活期间之间是否具有相关性关系进行了评价。在本试验中，在获取脸部皮肤温度数据的期间，将作为未向试验者提供脑功能激活问题期间的、从开始获取数据的时刻到经过了五分钟的时刻为止的五分钟期间以及从开始获取数据时经过了十五分钟的时刻到数据获取结束时刻为止的十五分钟的期间设为脑非激活时，将作为向试验者提供脑功能激活问题的期间的、从开始获取数据时经过了五分钟的时刻到经过了十分钟的时刻为止的十分钟的期间设为脑激活时。接着，对各成分的成分波形图所示的振幅与脑非激活时和脑激活时有无相关性关系进行了评价。另外，对有无相关性关系进行了统计性的相关性分析，并且在显著水平(α)为0.05以下的情况下判断为具有相关性。

根据各成分的温度分布图，对脸部的规定部位的温度是否有变化进行了解析。此处，脑具有选择性脑冷却机构(Selective Brain Cooling System)这样独立于体温的、对脑进行冷却的结构。已知，选择性脑冷却机构利用前额部和鼻窦周围(包括眉间和鼻部周围)将由脑活动产生的热量排出。因此，在本试验中，在各成分的温度分布图中，对鼻窦周围以及前额部的温度是否发生变化进行了评价。此外，关于温度分布图中鼻窦周围和前额部的温度是否有变化，将通过目视(visual inspection)判断温度是否有变化，或者鼻窦周围以及前额部的温度是否与整个测定数据的平均温度具有一个标准偏差(SD)以上不同作为温度是否有变化的基准。

此外，由于脸部皮肤温度数据X的极性(正负)通过空间分布U、奇异值S以及时间分布V的值的关系来确定，因此，有时在各成分的成分波形图和温度分布图中极性会反转。因此，关于成分波形图和温度分布图的评价，极性不作为评价对象。

此处，在上述红外线热成像装置中，如上所述，将从对象物检测出的红外线辐射能转换成温度，并且将上述温度分布作为脸部皮肤温度数据。此外，在将人类作为对象并且采用红外线热成像装置来获取脸部的皮肤温度的情况下，也会将脸部的动作以及/或者自主神经的活动等各种与脑活动无关的温度变化(即干扰)作为脸部皮肤温度数据进行获取。因此，为了对上述这样与脑活动无关的温度变化进行检测，生成将包含于每三十秒的脸部皮肤温度数据的温度数据的整体平均值设为“0”的相对脸部皮肤温度数据，对于生成后的脸部皮肤温度数据，也采用MATLAB(注册商标)的SVD作为分析工具来进行奇异值分解，从而生成基于奇异值S的各成分的成分波形图和温度分布图，进而进行了对表示反映了脑活动的皮肤温度的变化的成分进行确定的解析。

此外，以下，为了便于说明，将通过红外线热成像装置获取到的脸部皮肤温度数据称为“基于温度换算数据的脸部皮肤温度数据”，将相对脸部皮肤温度数据称为“基于相对温度换算数据的脸部皮肤温度数据”，其中，上述相对脸部皮肤温度数据是将基于每个规定时间(本试验中为每三十秒)的温度换算数据的脸部皮肤温度数据所包含的温度数据的整体平均值设为“0”。

另外，对于六名试验者中的一名试验者，除了进行基于红外线热成像装置的脸部皮肤温度的检测外，还在该名试验者的头皮上连接电极并测定脑波，对作为清醒时或意识紧张时出现的波形而公知的β波(频率为14～30Hz的脑波)的振幅和成分波形图的振幅之间的相关性关系进行了评价。此外，在脑波测定时，根据国际标准10－20法，在六个部位(F3、F4、C3、C4、Cz、Pz)配置了电极。

可以认为，在向试验者提供脑功能激活问题的期间，试验者的头上下运动。由此，试验者的脸部相对于红外线相机的位置会发生变化。为了验证上述脸部的位置的变化是否对皮肤温度的变化有影响，对一名试验者进行了对照试验。在对获取脸部皮肤温度数据时试验者的动作所产生的影响进行验证的对照试验中，与上述试验相同，采用红外线热成像装置来获取试验者的脸部皮肤温度数据，而在未被提供脑功能激活问题的期间(即，脑非激活时)，在随机的时刻也向试验者布置按键盘的作业。针对基于由上述对照试验得到的温度换算数据的脸部皮肤温度数据以及基于相对温度换算数据的脸部皮肤温度数据，也采用MATLAB(注册商标)的SVD作为分析工具来进行奇异值分解，从而生成基于奇异值S的各成分的成分波形图和温度分布图，进而进行了对表示反映了皮肤温度的变化的成分进行确定的解析。

(2－2)脸部拍摄图像数据的获取方法以及对脸部拍摄图像数据进行解析的方法

图1的(a)是表示由拍摄装置拍摄到的试验者的脸部的鼻窦周围的拍摄图像数据的一例的图。图1的(b)是表示血液循环量分布图(图像映射)的一例的图。

接着，对本发明者们获得上述见解时采用的脸部拍摄图像数据的获取方法以及对脸部拍摄图像数据进行解析的方法进行说明。

在本试验中，从六名试验者获取到脸部的拍摄图像数据。具体而言，让试验者坐在设置于室温维持为25℃的人工气候室内的椅子上，并采用能够以时间序列获取图像的拍摄装置，从而以时间序列获取到试验者的整个脸部的鼻窦周围的拍摄图像数据。

此外，若根据上述选择性脑冷却机构，则可以认为与伴随脑活动的脸部皮肤温度成比例的脸部的血液循环量的变化出现在前额部以及/或者鼻窦周围。由此，本发明者们认为，只要能够至少捕捉到前额部以及/或者鼻窦周围的脸部的血液循环量的变化，就能够高精度地推定脑活动。接着，在本试验中，以时间序列获取到试验者的脸部的鼻窦周围的拍摄图像数据。

此外，在上述试验中，作为拍摄装置，使用苹果公司(原文：Apple社)制造的iPadAir(注册商标)所具有的液晶画面侧的拍摄装置，获取到彩色的动画数据以作为时间序列的拍摄图像数据。此外，拍摄装置设置于试验者的正面侧且距离试验者1.0米处的位置。接着，通过采用拍摄装置以30帧/秒的拍摄周期沿着时间轴连续拍摄三十分钟的拍摄图像数据来得到脸部的动画数据。

另外，在本试验中，在获取脸部的动画数据的期间，向试验者提供了脑功能激活问题。藉此，获取到脑非激活时的脸部的动画数据以及脑激活时的脸部的动画数据。在本试验中，与上述试验相同，采用“乘法的心算”作为脑功能激活问题，让试验者对通过笔算形式显示于显示装置的数字进行计算，并且通过键盘输入上述问题的答案。此外，在本试验中，从开始获取脸部的动画数据的五分钟后的十分钟持续向试验者提供脑功能激活问题。

作为脸部的动画数据的解析，根据由拍摄到的脸部的动画数据所得到的RGB数据来计算出血液循环量数据，将计算出的时间序列的血液循环量数据作为对象，并且将MATLAB(注册商标)的SVD作为分析工具进行了奇异值分解。此处，根据CIE－L*a*b*表色系统求出与根据图像的RGB数据运算出的皮肤的发红程度和血红蛋白量具有相关性的红斑指数“a*”，并将该红斑指数“a*”作为血液循环量数据。此外，在奇异值分解中，将基于通过以时间序列获取到的所有动画数据(三十分钟的数据)得到的RGB数据的血液循环量数据(此处为红斑指数)设为对象，将因子设为每三十秒的时间数据(三十分钟有六十个时间点)，将测度设为根据上述期间(每三十秒)的RGB数据运算出的红斑指数(每三十秒取出一秒的帧数据，对由上述帧数据得到的RGB值的平均值进行运算而得到红斑指数；240×320像素)。接着，通过奇异值分解将基于由脸部的动画数据得到的RGB数据的时间序列的血液循环量数据分解成多个成分，并且计算出各成分的时间分布V、空间分布U以及表示各成分大小的奇异值S。另外，上述关系通过与上式(数学式1)相同的式子表示。

接着，将由奇异值分解求出的各成分的时间分布V和空间分布U绘制成图，从而生成各成分的成分波形图和血液循环量分布图。

然后，根据生成后的各成分的成分波形图和血液循环量分布图，进行了对表示反映了脑活动的脸部的血液循环量的变化即脸部的RGB变化的成分进行确定的解析。

根据各成分的成分波形图进行了上述成分波形的振幅与脑非激活时和脑激活时有无相关性关系的解析。具体而言，对各成分的成分波形图所示的振幅与脑非激活期间/脑激活期间之间是否具有相关性关系进行了评价。在本试验中，在获取脸部的拍摄图像数据的期间，将作为未向试验者提供脑功能激活问题期间的、从开始获取数据的时刻到经过了五分钟的时刻为止的五分钟期间以及从开始获取数据时经过了十五分钟的时刻到数据获取结束时刻为止的十五分钟的期间设为脑非激活时，将作为向试验者提供脑功能激活问题的期间的、从开始获取数据时经过了五分钟的时刻到经过了十分钟的时刻为止的十分钟的期间设为脑激活时。接着，对各成分的成分波形图所示的振幅与脑非激活时和脑激活时有无相关性关系进行了评价。另外，对有无相关性关系进行了统计性的相关性分析，并且在显著水平(α)为0.01以下的情况下判断为具有相关性。

根据各成分的血液循环量分布图，对脸部的规定部位的血液循环量是否有变化进行了解析。血液循环量分布图通过将在每个像素计算出的空间分布U排列于各像素的位置而生成。在如上述那样生成的各成分的血液循环量分布图中，对鼻窦周围以及前额部的血液循环量是否有变化进行了评价。此外，关于血液循环量分布图中鼻窦周围以及前额部的血液循环量是否有变化这一点，将通过目视(visual inspection)判断血液循环量是否有变化，或者如图1的(b)所示鼻窦周围以及前额部的血液循环量的值不为“0.000”来作为血液循环量是否有变化的基准。

另外，由于血液循环量数据X的极性(正负)通过空间分布U、奇异值S以及时间分布V的值的关系来确定，因此，有时在各成分的成分波形图和血液循环量分布图中极性会反转。因此，关于成分波形图和血液循环量分布图的评价，极性不作为评价对象。

然后，为了对脸部的皮肤温度和脸部的血液循环量的相关性关系进行验证，在从六名试验者以时间序列获取脸部的拍摄图像数据的期间，通过红外线热成像装置以时间序列还获取脸部皮肤温度数据，并且将MATLAB(注册商标)的SVD作为分析工具来对获取到的脸部皮肤温度数据也进行奇异值分解，从而生成基于奇异值S的各成分的成分波形图，进而对上述成分波形的振幅与脑非激活时和脑激活时是否具有相关性关系进行了解析。此外，在本试验中，采用了与上述试验相同的红外线热成像装置。另外，红外线相机设置于试验者的正面且距离试验者1.5米处的位置。

在使用拍摄装置来获取脸部的拍摄图像数据的情况下，有时在拍摄中太阳光等照射到脸上而使光通过脸反射，从而致使上述反射光进入拍摄装置的透镜。由此，在拍摄到的脸部的拍摄图像数据中会记录有上述反射光。此处，在由拍摄图像数据得到的RGB数据中，由于基于脸部的血液循环量的明度的变化比基于反射光的明度的变化小，因此，可以认为，若对根据由记录有反射光的拍摄图像数据得到的RGB数据而计算出的血液循环量进行解析，则可能混入与脑活动无关的脸部的RGB变化(即干扰)。因此，为了防止混入上述这样与脑活动无关的脸部的RGB变化，通过将每三十秒的RGB数据的整体平均值设为“0”的相对RGB数据生成相对血液循环量数据，对于生成后的血液循环量数据，也采用MATLAB(注册商标)的SVD作为分析工具来进行奇异值分解，从而生成基于奇异值S的各成分的成分波形图和血液循环量分布图，进而进行了对表示反映了脑活动的脸部的RGB变化的成分进行确定的解析。

此外，以下，为了便于说明，将基于将每个规定时间(本试验中为每三十秒)的RGB数据的整体平均值设为“0”的相对RGB数据的相对血液循环量数据称为“相对换算血液循环量数据”，将基于换算成相对RGB数据前的RGB数据的血液循环量数据仅称为“血液循环量数据”。

另外，在通过拍摄装置从六名试验者获取脸部的时间序列的拍摄图像数据的期间，在各试验者的头皮上连接电极并测定脑波，从而对作为清醒时等的脑细胞活动时所呈现的波形而公知的β波(频率为13～30Hz的脑波)的振幅和成分波形图的振幅之间的相关性关系进行了评价。此外，在脑波测定中，根据国际标准10－20法，在头皮上十九个部位(Fp1、Fp2、F3、F4、C3、C4、P3、P4、O1、O2、F7、F8、T3、T4、T5、T6、Fz、Cz以及Pz)配置了电极。

此外，可以认为，在向试验者提供脑功能激活问题的期间，试验者的头上下运动。由此，试验者的脸部相对于拍摄装置的位置会发生变化。为了验证上述脸部的位置的变化是否对脸部的RGB变化有影响，对一名试验者进行了对照试验。在对照试验中，与上述试验相同，使用拍摄装置来获取试验者的脸部的时间序列的拍摄图像数据，但在未提供脑功能激活问题的期间(即，脑非激活时)，也在随机的时刻向试验者布置按键盘的作业。针对基于由通过上述对照试验拍摄到的脸部的时间序列的拍摄图像数据得到的RGB数据的时间序列的血液循环量数据，也采用MATLAB(注册商标)的SVD作为分析工具来进行奇异值分解，从而生成基于奇异值S的各成分的成分波形图，进而对上述成分波形的振幅与脑非激活时和脑激活时是否具有相关性关系进行了解析。此外，对各成分波形的振幅和实际的脸部的动作是否具有相关性关系进行了解析。实际的脸部的动作通过下述方式进行了评价：通过拍摄图像数据获取脸的相同部位的二维坐标，并且将对照实验开始时的拍摄图像数据作为基准来计算出拍摄时每三十秒的脸部的移动距离。并且，对各成分波形的振幅和拍摄中的键盘的输入数是否具有相关性关系也进行了解析。拍摄中的键盘的输入数通过计算出时间序列的拍摄图像数据中每三十秒的单纯移动平均值来评价。

(3)解析结果

以下，从奇异值较大的成分开始依次设为“成分一、成分二、……”。各成分表示占整体方差的比例，变化较大的影响反映于成分一。具体而言，试验者的动作或外界干扰的影响具有反映于成分一的倾向。其结果是，相比成分一，成分二的成分波形往往反映脑活动的影响。

(3－1)脸部皮肤温度数据的分析结果

图2是表示对基于温度换算数据的脸部皮肤温度数据进行解析后的部分结果的图。图2的(a)表示试验者一的成分二的成分波形图。图2的(b)表示试验者一的成分二的温度分布图。图3的(a)表示试验者一的成分三的成分波形图。图3的(b)表示试验者一的成分三的温度分布图。图4和图5是表示成分波形的振幅和脑波的关系的图。图4是表示试验者一的成分二的成分波形的振幅和测定出的脑波中的β波的振幅的图。图5是表示试验者一的成分三的成分波形的振幅和测定出的脑波中的β波的振幅的图。图6是表示对由对照实验得到的脸部皮肤温度数据进行解析后的部分结果的图。图6的(a)表示成分三的成分波形图。图6的(b)表示成分三的温度分布图。

表1示出了各试验者的脸部皮肤温度数据的解析结果。

通过对上述脸部皮肤温度数据进行解析得到的结果可知，通过奇异值分解将时间序列的脸部皮肤温度数据分解而得到的多个成分中的成分二以及/或者成分三和人类的脑活动之间具有显著的相关性。

【表1】

此外，如图4和图5所示，通过脑波解析的结果可知，成分二和成分三的各成分波形的振幅和脑波的β波的振幅之间具有显著的相关性。

此外，在对照实验中，即使在未提供脑功能激活问题的期间试验者处于运动状态，成分三和人类的脑活动之间也具有显著的相关性(参照图6)。由此可以认为，获取脸部皮肤温度数据时的试验者的动作对多个成分中的成分三没有影响。

根据上述结果，本发明者们得到下述见解。

通过采用奇异值分解将从试验者获取到的时间序列的脸部皮肤温度数据分解成多个成分、并且对分解后的各成分进行解析后的结果可知，多个成分中的成分三是与脑活动相关的成分。即可知，通过采用奇异值分解将时间序列的脸部皮肤温度数据分解成多个成分，从分解后的多个成分提取出与脑激活/非激活相关的成分，并且利用选择性脑冷却机构对提取出的成分进行解析，从而能够从多个成分中对表示反映了皮肤温度的变化的成分进行确定。由此，本发明者们得到了下述见解：能够根据人类的脸部的皮肤温度来对脑活动进行推定。

(3－2)脸部的拍摄图像数据的解析结果

图7～图18是表示对基于脸部的拍摄图像数据(血液循环量数据)或脸部皮肤温度数据的成分波形图和测定出的脑波中的β波的波形图进行比较和解析后的部分结果的图。图7是表示基于试验者一的拍摄图像数据的成分二的成分波形的振幅和测定出的试验者一的脑波中的β波的振幅的图。图8是表示基于试验者一的脸部皮肤温度数据的成分二的成分波形的振幅和测定出的试验者一的脑波中的β波的振幅的图。图9是表示基于试验者二的拍摄图像数据的成分二的成分波形的振幅和测定出的试验者二的脑波中的β波的振幅的图。图10是表示基于试验者二的脸部皮肤温度数据的成分二的成分波形的振幅和测定出的试验者二的脑波中的β波的振幅的图。图11是表示基于试验者三的拍摄图像数据的成分四的成分波形的振幅和测定出的试验者三的脑波中的β波的振幅的图。图12是表示基于试验者三的脸部皮肤温度数据的成分三的成分波形的振幅和测定出的试验者三的脑波中的β波的振幅的图。图13是表示基于试验者四的拍摄图像数据的成分三的成分波形的振幅和测定出的试验者四的脑波中的β波的振幅的图。图14是表示基于试验者四的脸部皮肤温度数据的成分二的成分波形的振幅和测定出的试验者四的脑波中的β波的振幅的图。图15是表示基于试验者五的拍摄图像数据的成分二的成分波形的振幅和测定出的试验者五的脑波中的β波的振幅的图。图16是表示基于试验者五的脸部皮肤温度数据的成分二的成分波形的振幅和测定出的试验者五的脑波中的β波的振幅的图。图17是表示基于试验者六的拍摄图像数据的成分四的成分波形的振幅和测定出的试验者六的脑波中的β波的振幅的图。图18是表示基于试验者六的脸部皮肤温度数据的成分三的成分波形的振幅和测定出的试验者六的脑波中的β波的振幅的图。

如图7～图18所示，通过各成分波形和脑波解析的结果可知，脸部的皮肤温度和脸部的血液循环量具有相关性关系。此外，基于脸部的皮肤温度数据以及脸部的血液循环量数据中的任一数据的解析也可知，各成分波形的振幅和安装于头顶部或后头部的电极测定出的脑波的β波的振幅之间具有显著的相关性。

如下所示的表2示出了各试验者的脸部的拍摄图像数据的解析结果。

【表2】

如表2所示，通过由上述脸部的拍摄图像数据的解析得到的结果可知，在对基于脸部的拍摄图像数据的时间序列的血液循环量数据进行奇异值分解而得到的多个成分中，成分一、成分二、成分三、成分四、成分五和人类的脑活动之间具有显著的相关性。另外，在此认为，不仅在基于血液循环量数据的相关性中被观察到具有显著的相关性且在基于相对换算血液循环量数据的相关性中被观察到具有显著的相关性的成分与人类的脑活动具有显著的相关性，而且虽然在基于血液循环量数据的相关性中未被观察到具有显著的相关性但在基于相对换算血液循环量的相关性中被观察到具有显著的相关性的成分也与人类的脑活动具有显著的相关性。

此外，如下所示的表3示出了对照实验的结果。

【表3】

与脑休息时/脑激活时具有相关性关系的成分	成分一、成分二
		与脸部移动距离具有相关性关系的成分	成分一、成分三、成分四
与键盘输入数具有相关性关系的成分	成分八

如表3所示，在对照实验中，在未被提供脑功能激活问题的期间试验者有动作的情况下，成分一、成分二的成分波形的振幅与脑非激活时以及脑激活时之间具有显著的相关性。此外，即使在未被提供脑功能激活问题的期间试验者有动作的情况下，也不认为成分二分别与移动距离和键盘输入数之间具有显著的相关性。由此可知，在通过对基于从脸部的拍摄图像数据获取到的RGB数据的血液循环量数据进行奇异值分解而得到的多个成分中，与脑活动之间具有显著的相关性的成分虽然受到由在获取脸部的时间序列的拍摄图像数据时的试验者的动作产生的影响，但上述影响远比由脑的脑活动产生的影响(由脑激活或非激活产生的影响)小。

根据上述结果，本发明者们得到下述见解。

采用奇异值分解将通过基于从试验者获取到的时间序列的脸部的拍摄图像数据的脸部的RGB数据得到的血液循环量数据分解成多个成分，并且通过对分解后的各成分进行解析后的结果可知，多个成分中的成分一、成分二、成分三、成分四和成分五是与脑活动有关的成分。即可知，通过采用奇异值分解将通过基于时间序列的脸部的拍摄图像数据的脸部的RGB数据得到的血液循环量数据分解成多个成分，从分解后的多个成分提取出与脑激活/脑非激活相关的成分，并且对提取出的成分进行解析，从而能够从多个成分中对表示反映了脑活动的脸部的RGB变化的成分进行确定。由此，本发明者们得到了下述见解：能够根据人类的脸部的时间序列的拍摄图像数据来对脑活动进行推定。

(4)脑活动可视化装置

接着，根据上述说明的见解，对本发明者们完成的本发明的一实施方式的脑活动可视化装置10、110进行说明。此外，本发明的脑活动可视化装置不限定于下述实施方式，能够在不脱离其主旨的范围内进行适当的变更。

本发明的一实施方式的脑活动可视化装置10、110包括：脑活动推定单元30，该脑活动推定单元30根据脸部皮肤温度数据对脑活动进行推定；以及/或者脑活动推定单元130，该脑活动推定单元130根据脸部的拍摄图像数据对脑活动进行推定。以下，在对本发明的一实施方式的脑活动可视化装置10、110进行说明前，对各脑活动推定单元30、130进行说明。

(4－1)根据脸部皮肤温度对脑活动进行推定的脑活动推定单元30

图19是本发明的一实施方式的脑活动可视化装置10的示意图。图20是表示在脑活动可视化装置10中对表示反映了脑功能的皮肤温度的变化的成分进行确定时的处理的流程的流程图。

脑活动可视化装置10所包括的脑活动推定单元30通过个人(试验者)的脸部的皮肤温度对个人的脑活动进行推定。如图19所示，脑活动可视化装置10包括脸部皮肤温度获取单元20、脑活动推定单元30以及状态可视化单元200。

脸部皮肤温度获取单元20对个人的脸部的至少一部分的皮肤温度进行检测，并且以时间序列获取包括检测出的温度数据以及其检测部位的位置数据的脸部皮肤温度数据(步骤S1)。此外，此处，脸部皮肤温度获取单元20是红外线热成像装置，如图19所示，该脸部皮肤温度获取单元20具有红外线相机21和处理部22。红外线相机21用于对从个人的脸部辐射出的红外线辐射能进行检测。接着，此处，红外线相机21从个人的整个脸部对红外线辐射能进行检测。处理部22将由红外线相机21检测出的红外线辐射能转换成温度以作为温度数据，并且生成将检测出红外线辐射能的部位作为位置数据(坐标数据)的整个脸部的脸部皮肤温度的温度分布图，将生成后的温度分布图作为基于温度换算数据的脸部皮肤温度数据进行处理。基于温度换算数据的脸部皮肤温度数据储存于处理部22具有的存储部(未图示)。

此处，在处理部22生成整个脸部的脸部皮肤温度的温度分布图，但不限定于此，也可以生成至少包括鼻窦周围以及/或者前额部的脸部皮肤温度的温度分布图，并且将上述温度分布图作为基于温度换算数据的脸部皮肤温度数据。

此外，此处，在采用脸部皮肤温度获取单元20对基于温度换算数据的脸部皮肤温度数据进行获取的期间，在一定期间内向个人提供脑功能激活问题。即，采用脸部皮肤温度获取单元20获取的、基于温度换算数据的脸部皮肤温度数据包括向个人提供脑功能激活问题期间的数据。此外，作为向个人提供的脑功能激活问题，只要推定为能够使人脑处于激活状态，则不做特别的限定，例如，可以根据脑活动可视化装置10的利用目的来适当地确定上述脑功能激活问题的内容。

脑活动推定单元30根据由脸部皮肤温度获取单元20获取到的基于温度换算数据的脸部皮肤温度数据来对人类的脑活动进行推定。具体而言，如图19所示，脑活动推定单元30具有换算部31、解析部32和推定部33。

换算部31将基于温度换算数据的脸部皮肤温度数据所包含的温度数据换算成相对温度数据，然后生成基于换算后的相对温度数据的脸部皮肤温度数据即基于相对温度换算数据的脸部皮肤温度数据(步骤S2)。具体而言，换算部31将基于每个规定时间(例如，30秒)的温度换算数据的脸部皮肤温度数据所包含的温度数据的平均值作为基准值，并且将该温度数据换算成相对温度数据。接着，换算部31利用换算后的相对温度数据和位置数据来生成基于相对温度换算数据的脸部皮肤温度数据。

解析部32通过奇异值分解、主成分分析或独立成分分析分别将基于时间序列的温度换算数据的脸部皮肤温度数据和基于相对温度换算数据的脸部皮肤温度数据分解成多个成分(步骤S3)。此处，解析部32分别将获取到的基于温度换算数据的脸部皮肤温度数据和换算后的基于相对温度换算数据的脸部皮肤温度数据作为对象，并且采用MATLAB(注册商标)的SVD作为分析工具来进行奇异值分解。针对以时间序列获取到的基于温度换算数据的脸部皮肤温度数据和基于相对温度换算数据的脸部皮肤温度数据，通过将因子设为每个规定期间(例如，30秒)的时间数据，并且将测度设为上述期间的基于温度换算数据的脸部皮肤温度数据和基于相对温度换算数据的脸部皮肤温度数据，从而进行奇异值分解。接着，通过奇异值分解分别将基于温度换算数据的脸部皮肤温度数据和基于相对温度换算数据的脸部皮肤温度数据分解成多个成分，然后计算出时间分布、空间分布以及表示各成分大小的奇异值。

此外，为了从由奇异值分解分解出的多个成分来对表示反映了脑活动的皮肤温度的变化的成分进行确定，解析部32对各成分是否满足第一条件和第二条件进行判定(步骤S4a、步骤S4b、步骤S5a、步骤S5b)。另外，此处，在解析部32中，首先对基于与温度换算数据对应的脸部皮肤温度数据的各成分是否满足第一条件进行判定(步骤S4a)，对在步骤S4a中判定为满足第一条件的、基于与温度换算数据对应的脸部皮肤温度数据的成分是否满足第二条件进行判定(步骤S4b)。接着，仅对基于与相对温度换算数据对应的脸部皮肤温度数据的各成分中的、与在步骤S4a和步骤S4b中判定为满足第一条件和第二条件的成分一致的成分是否满足第一条件进行判定(步骤S5a)，然后，对在步骤S5a中判定为满足第一条件的、基于与相对温度换算数据对应的脸部皮肤温度数据的成分是否满足第二条件进行判定(步骤S5b)。不过，解析部32的上述判定的顺序不限定于此，例如，可以分别对基于与温度换算数据对应的脸部皮肤温度数据的各成分以及基于与相对温度换算数据对应的脸部皮肤温度数据的各成分是否满足第一条件和第二条件进行判定，最后提取出判定结果一致的成分。

第一条件是指通过奇异值分解分解出的成分的成分波形的振幅与脑非激活时以及脑激活时的变化具有相关性关系的条件。解析部32提取出多个成分中满足第一条件的成分以作为判定用成分。另外，此处，在获取基于温度换算数据的脸部皮肤温度数据的期间，向个人提供脑功能激活问题的期间是一定期间。解析部32将未向个人提供脑功能激活问题的期间设为脑非激活时，将向个人提供脑功能激活问题的期间设为脑激活时，并且将提供有脑功能激活问题的期间以及未提供有脑功能激活问题的期间和各成分的成分波形进行比较和解析。解析部32利用基于成分波形数据的比较解析结果来对各成分的成分波形是否与脑非激活时和脑激活时具有相关性关系进行评价，并且将多个成分中评价为具有相关性关系的成分提取并作为满足第一条件的判定用成分。另一方面，解析部32判定多个成分中评价为不具有相关性关系的成分不满足第一条件，不是表示反映了人类的脑活动的温度变化的成分(步骤S6)。

此处，在获取基于温度换算数据的脸部皮肤温度数据时，在一定期间内向个人提供脑活动激活问题，解析部32藉此提取出判定用成分，但是，第一条件的内容即解析部32中判定用成分的提取手段不限定于此。例如，在通过预先实验等确定多个成分中表示与脑非激活时和脑激活时具有相关性关系的成分波形的成分的情况下，解析部32将从多个成分中确定的上述成分提取以作为判定用成分。此外，在本脑活动可视化装置对眼球运动或眨眼等作为与脑激活/非激活有关的动作而公知的人类的动作进行检测的情况下，解析部32可以通过将上述检测结果和各成分的成分波形进行比较、解析和评价，从而从多个成分中提取出判定用成分。另外，通过解析部32进行是否满足第一条件的判定的基准根据脑活动可视化装置10的利用目的等并且通过模拟或实验、理论计算等来适当地确定。

第二条件是指在提取出的判定用成分中，人类的脸部的规定部位的温度有变化的条件。解析部32将判定用成分中满足第二条件的成分判定为与人类的脑活动有关的可能性较高的成分，并且提取上述成分以作为候补成分。也就是说，解析部32根据人类的脸部的规定部位的温度是否有变化来对判定用成分是否与人类的脑活动有关进行判定。具体而言，解析部32根据提取出的判定用成分的温度分布数据来对鼻窦周围以及/或者前额部的温度是否发生变化进行判定，在温度发生变化的情况下，判定上述判定用成分是满足第二条件的、与人类的脑活动有关的可能性较高的成分，从而将上述成分提取以作为候补成分。另一方面，在鼻窦周围以及/或者前额部的温度没有发生变化的情况下，解析部32判定上述判定用成分不满足第二条件，不是表示反映了脑活动的皮肤温度的变化的成分(步骤S6)。此外，通过解析部32进行是否满足第二条件的判定的基准根据脑活动可视化装置10的利用目的等并且通过模拟或实验、理论计算等来适当地确定。

接着，解析部32将在步骤S5b中判定为满足第二条件的成分确定为表示反映了脑活动的皮肤温度的变化的成分(步骤S7)。也就是说，在步骤S7中确定为表示反映了脑活动的皮肤温度的变化的成分是通过对基于温度换算数据的脸部皮肤温度数据进行奇异值分解、解析而提取出的候补成分和通过对基于相对温度换算数据的脸部皮肤温度数据进行奇异值分解、分析而提取出的候补成分之间一致的成分。此外，关于在两种解析中不一致的候补成分，在步骤S6中判定为不是表示反映了脑活动的皮肤温度的变化的成分。

推定部33根据解析部32中确定为表示反映了人类的脑活动的皮肤温度的变化的成分的成分来对人类的脑活动进行推定。具体而言，推定部33根据在解析部32中确定的成分的成分波形数据来对获取脸部皮肤温度数据时的脑活动量进行推定。

(4－1－1)变形例1A

上述脑活动推定单元30具有换算部31，采用换算部31生成基于相对温度换算数据的脸部皮肤温度数据。接着，解析部32通过奇异值分解不仅将基于由脸部皮肤温度获取单元20获取到的温度换算数据的脸部皮肤温度数据、而且将基于与换算成相对温度数据的温度数据对应的相对温度数据的脸部皮肤温度数据也分解成多个成分，并且对各成分进行解析。

作为替代，脑活动推定单元30可以不具有换算部31。在这种情况下，能够省略对基于相对温度换算数据的脸部皮肤温度数据进行生成以及对基于与相对温度换算数据对应的脸部皮肤温度数据的数据进行解析的处理。

但是，为了高精度地确定与人类的脑活动有关的成分，较佳的是，如上述实施方式所述，脑活动推定单元30具有换算部31，使解析部32通过奇异值分解不仅将基于由脸部皮肤温度获取单元20获取到的温度换算数据的脸部皮肤温度数据、而且将基于与换算成相对温度数据的温度数据对应的相对温度数据的脸部皮肤温度数据也分解成多个成分，并且对各成分进行解析。

(4－1－2)变形例1B

此外，上述脸部皮肤温度获取单元20是能够在与对象物不接触的状态下获取温度数据的红外线热成像装置。

但是，只要能够对个人的脸部的至少一部分的皮肤温度进行检测，并且以时间序列获取包括检测出的温度数据以及其检测部位的位置数据的脸部皮肤温度数据，则脸部皮肤温度获取单元也不限定于红外线热成像装置。

例如，脸部皮肤温度获取单元可以是包括温度传感器的装置。具体而言，可以在个人的脸部的规定部位安装温度传感器，根据温度传感器检测出的温度数据以及安装温度传感器的部位的位置数据来获取时间序列的脸部皮肤温度数据。这样，即使在温度传感器在与作为对象的个人接触的状态下获取脸部皮肤温度数据的情况下，温度传感器也不像脑波电极等那样需要进行安装前的处理，因此，与脑波测量法、磁共振图像法以及近红外线分光法等现有检测方法相比，能够简便地获取数据。藉此，能够简便地对人类的脑活动进行推定。

(4－2)根据脸部的拍摄图像数据对脑活动进行推定的脑活动推定单元130

图21是本发明的实施方式的脑活动可视化装置110的示意图。图22是表示在脑活动可视化装置110中对表示反映了脑功能的脸部的RGB变化的成分进行确定时的处理的流程的一例的流程图。

脑活动可视化装置110所包括的脑活动推定单元130通过个人(试验者)的脸部的拍摄图像数据对个人的脑活动进行推定。如图21所示，脑活动可视化装置110包括图像数据获取单元120、脑活动推定单元130以及状态可视化单元200。

图像数据获取单元120以时间序列获取个人的脸部的至少一部分的拍摄图像数据(步骤S101)。此外，只要是至少具有拍摄装置的设备，则对图像数据获取单元120不做特别的限定，例如，可以列举智能手机或平板电脑(例如，iPad：注册商标)等内置拍摄装置型移动终端等。此处，如图21所示，图像数据获取单元120具有作为拍摄装置的相机121和存储部122。相机121用于以时间序列获取个人的脸部的拍摄图像数据。此处，相机121对个人的整个脸部的动画进行拍摄，从而获取拍摄到的动画数据。存储部122对由拍摄装置拍摄到的时间序列的拍摄图像数据进行储存。此处，存储部122对通过相机121获取到的动画数据进行储存。

另外，此处通过相机121对整个脸部的动画进行拍摄，但不限定于此，只要对脸部的至少包括前额部以及/或者鼻窦周围的图像的动画进行拍摄即可。

此外，此处，在采用图像数据获取单元120对脸部的时间序列的拍摄图像数据进行获取的期间，在一定期间内向个人提供脑功能激活问题。也就是说，采用图像数据获取单元120获取的拍摄图像数据包括向个人提供脑功能激活问题期间的数据。此外，作为向个人提供的脑功能激活问题，只要推定为能够使人脑处于激活状态，则不做特别的限定，例如，可以根据脑活动可视化装置110的利用目的来适当地确定上述脑功能激活问题的内容。

脑活动推定单元130根据由图像数据获取单元120获取到的脸部的时间序列的拍摄图像数据来对人类的脑活动进行推定。具体而言，如图21所示，脑活动推定单元130具有RGB处理部131、换算部132、血液循环量计算部133、解析部134以及推定部135。另外，在图21中示出了脑活动推定单元130作为一个具有RGB处理部131、换算部132、血液循环量计算部133、解析部134和推定部135的装置而存在的形态，但在本发明中不限定于此，上述脑活动推定单元130也可作为RGB处理部131、换算部132、血液循环量计算部133、解析部134以及推定部135的一部分独立或互相独立的装置而存在。此外，此处，脸部血液循环量获取单元通过图像数据获取单元120、RGB处理部131、换算部132以及血液循环量计算部133构成。

RGB处理部131进行将由图像数据获取单元120获取到的拍摄图像数据分解成R成分、G成分以及B成分的三种颜色成分的RGB处理(步骤S102)。在此，可以对整个脸部的拍摄图像数据进行RGB处理，但此处，为了减少运算处理量和干扰，从拍摄图像数据提取出前额部以及/或者鼻窦周围的数据，并且仅对提取出的数据进行RGB处理。

换算部132将由RGB处理获得的拍摄图像数据的RGB数据换算成相对RGB数据(步骤S103)。具体而言，换算部132将从每个规定时间(例如，30秒)获取到的拍摄图像数据得到的RGB数据的平均值作为基准值，并且将上述RGB数据换算成相对RGB数据。

血液循环量计算部133根据由RGB处理获得的拍摄图像数据的RGB数据来计算出脸部的时间序列的血液循环量数据(步骤S104)。

解析部134通过奇异值分解、主成分分析或独立成分分析将时间序列的相对换算血液循环量数据分解成多个成分(步骤S105)。此处，解析部134采用MATLAB(注册商标)的SVD作为分析工具来对相对换算血液循环量数据进行奇异值分解。具体而言，通过将时间序列的相对换算血液循环量数据设为对象，将因子设为每个规定期间(例如，30秒)的时间数据，并且将测度设为从每个上述期间的相对RGB数据运算出的每个像素的相对换算血液循环量数据，从而进行奇异值分解。接着，通过奇异值分解将时间序列的相对换算血液循环量数据分解成多个成分，然后计算出时间分布、空间分布以及表示各成分大小的奇异值。

此外，为了从通过奇异值分解分解出的多个成分中对表示反映了脑活动的脸部的RGB变化的成分进行确定，解析部134对各成分是否满足规定条件进行判定(步骤S106)。在此，规定条件例如包括通过奇异值分解分解出的成分的成分波形的振幅与脑非激活时和脑激活时的变化具有相关性关系的条件(以下，称为第一条件)，以及在通过奇异值分解分解出的成分中人类的脸部的规定部位的血液循环量有变化的条件(以下，称为第二条件)等。作为在解析部134中进行判定的规定条件，只要设定一个或多个条件即可，此处，设定第一条件以作为规定条件。

接着，解析部134提取出多个成分中满足规定条件的成分以作为判定用成分。然后，解析部134将提取出的判定用成分中的、满足包含于规定条件的所有条件的成分确定为表示反映了脑活动的脸部的RGB变化的成分(步骤S107)。另一方面，解析部134将多个成分中的、判定为至少不满足包含于规定条件的一个条件的成分判定为不是表示反映了脑活动的脸部的RGB变化的成分(步骤S108)。

此处，如上所述，仅设定一个条件(第一条件)作为规定条件，在对脸部的时间序列的拍摄图像数据进行获取的期间，向个人提供脑功能激活问题的期间是一定期间。因此，解析部134将未向个人提供脑功能激活问题的期间设为脑非激活时，将向个人提供脑功能激活问题的期间设为脑激活时，并且将提供有脑功能激活问题的期间以及未提供有脑功能激活问题的期间与各成分的成分波形进行比较和解析。接着，解析部134利用基于成分波形数据的比较解析结果来对各成分的成分波形是否与脑非激活时和脑激活时具有相关性关系进行评价，并且将多个成分中评价为具有相关性关系的成分提取并作为满足规定条件的判定用成分，并且将其确定为表示反映了脑活动的脸部的RGB变化的成分。另一方面，解析部134判定多个成分中评价为不具有相关性关系的成分不满足规定条件，不是表示反映了人类的脑活动的脸部的RGB变化的成分。

此处，在获取脸部的时间序列的拍摄图像数据时，在一定期间内向个人提供脑活动激活问题，解析部134藉此提取出判定用成分，但是，第一条件的内容即解析部134中判定用成分的提取手段不限定于此。例如，在通过预先实验等确定多个成分中表示与脑非激活时和脑激活时具有相关性关系的成分波形的成分的情况下，解析部134将从多个成分中确定的上述成分提取以作为判定用成分。此外，在脑活动可视化装置110对眼球运动或眨眼等作为与脑激活/非激活有关的动作而公知的人类的动作也进行检测的情况下，解析部134可以通过将上述检测结果和各成分的成分波形进行比较、解析和评价，从而从多个成分中提取出判定用成分。另外，通过解析部134进行是否满足第一条件的判定的基准根据脑活动可视化装置110的利用目的等并且通过模拟或实验、理论计算等来适当地确定。

此外，在设定第二条件作为规定条件的情况下，解析部134根据人类的脸部的规定部位处脸部的血液循环量是否有变化来提取判定用成分。具体而言，解析部134根据与通过奇异值分解分解出的多个成分对应的血液循环量分布图来对鼻窦周围以及/或者前额部的血液循环量是否发生变化进行判定，在血液循环量发生变化的情况下，判定上述成分满足第二条件。另一方面，鼻窦周围以及/或者前额部的血液循环量没有发生变化的情况下，解析部134判定上述成分不满足第二条件。另外，通过解析部134进行是否满足第二条件的判定的基准根据脑活动可视化装置110的利用目的等并且通过模拟或实验、理论计算等来适当地确定。

此外，在通过血液循环量计算部133对基于换算成相对RGB数据前的RGB数据的时间序列的血液循环量数据进行计算的情况下，可以通过解析部134对通过对上述血液循环量数据进行奇异值分解等而得到的多个成分是否满足上述第一条件以及/或者第二条件进行判定，从而提取判定用成分。

推定部135根据解析部134中确定为表示反映了人类的脑活动的脸部的RGB变化的成分的成分来对人类的脑活动进行推定。具体而言，推定部135根据在解析部134中确定的成分的成分波形数据来对获取脸部的拍摄图像数据时的脑活动量进行推定。

(4－2－1)变形例2A

如上所述，作为相机121，例如能够利用智能手机或平板电脑(例如，ipad：注册商标)等内置拍摄装置型移动终端等。也就是说，上述拍摄图像数据能够采用对可视光区域的图像进行拍摄所得到的数据。

此外，在上述血液循环量计算部133中，可以主要采用包含于RGB数据的各像素中的R成分来计算出脸部的血液循环量数据。另外，只要能够根据RGB数据计算出血液循环量数据，血液循环量数据未必限定于红斑指数。

(4－2－2)变形例2B

上述血液循环量计算部133根据由换算部132换算得到的相对RGB数据来计算出相对换算血液循环量数据，但作为替代或在此基础上，也可根据换算成相对RGB数据前的RGB数据来计算出血液循环量数据。在此，在根据换算成相对RGB数据前的RGB数据计算出的血液循环量数据中，由于与脑活动相关的成分容易出现(检验力较高)，因此，例如，相比根据相对RGB数据计算出的相对换算血液循环量数据，可以先对根据换算成相对RGB数据前的RGB数据计算出的血液循环量数据进行解析。此外，例如，能够通过下述方式来减少运算处理量：首先对血液循环量数据进行解析来提取出具有显著的相关性的成分，然后，关于相对换算血液循环量数据，仅对与上述提取出的成分对应的成分进行解析。

(4－2－3)变形例2C

上述相机121是以可视光区域的通常的相机为前提的，但也能够采用红外线相机。在这种情况下，照射红外光，通过红外线相机对上述红外光的反射波进行拍摄。藉此，能够获得对象者的脸部变化等的拍摄图像数据。本发明者们确认了下述情况：通过由红外线的反射得到的拍摄图像数据计算出的血液循环量数据和主要采用包含于在可视光区域拍摄到的RGB数据的各像素中的R成分计算出的血液循环量数据具有相关性。因此，即使采用通过上述这样的红外线的反射得到的拍摄图像数据，也能够对人类的脑活动进行推定。

(4－2－4)变形例2D

此外，在上述说明中，脑活动可视化装置110采用包括图像数据获取单元120和脑活动推定单元130的形态，但本实施方式的脑活动可视化装置不限定于上述形态。也就是说，只要本实施方式的脑活动可视化装置包括血液循环量计算部133、解析部134和推定部135，则该脑活动可视化装置的其它结构能够采用任意的形态。具体而言，本实施方式的脑活动可视化装置不仅包括该装置自身对图像数据进行拍摄的形态，还包括从外部的装置接受拍摄图像数据并且对上述数据进行解析的形态。

(4－3)状态可视化单元200

状态可视化单元200以根据由脑活动推定单元30以及/或者脑活动推定单元130推定出的对象者的脑活动来表示对象者的生理状态的方式进行可视化。例如，状态可视化单元200可以具有通过对对象者的脑活动量的变化进行解析来对对象者的生理状态进行解析的解析部201。具体而言，解析部201通过对与向对象者提供的刺激(视觉刺激、听觉刺激、触觉刺激、嗅觉刺激或味觉刺激等)对应的脑活动量的变化进行解析来对对象者的生理状态进行判定。此外，关于生理状态的种类或等级，可以基于脑活动量的上升程度以及/或者持续时间并且根据脑活动可视化装置10、110的用途进行适当的设置。接着，通过从状态可视化单元200的显示部202向管理者输出由解析部201解析得到的对象者的生理状态，从而能够使管理者了解对象者的生理状态。作为显示部202，只要是显示图像或消息的显示设备等能够将与解析得到的对象者的生理状态相关的信息可视化并提供给管理者的设备即可。

此外，在解析部32、134中确定了反映脑活动的成分后，进一步通过脸部皮肤温度获取单元20以及/或者图像数据获取单元120来获取时间序列的各种数据的情况下，通过在脑活动可视化装置10、110中进一步采用奇异值分解将获取的各种数据分解成多个成分，并且仅对确定后的成分进行解析，从而能够实时地了解对象者的生理状态。

此外，虽然目前具有通过试验者的脸部的皮肤温度或拍摄到的图像来获取试验者的心跳信息和生物信息等技术，但通过对针对由脸部皮肤温度获取单元20以及/或者图像数据获取单元120得到的各种数据进行奇异值分解等而得到的成分采用目前的技术，能够高精度地获取心跳信息和生物信息。因此，可以使解析部32以及/或者解析部134具有对奇异值分解得到的多个成分进行解析来获取心跳信息和生物信息的功能，可以使上述实施方式的推定部33、135具有根据获取到的心跳信息和生物信息对交感神经/副交感神经的动作进行推定的功能。

(5)特征

(5－1)

在本实施方式中，根据由脸部皮肤温度获取单元20以及/或者图像数据获取单元120获取到的时间序列的脸部皮肤温度数据以及/或者脸部血液循环量数据对人类的脑活动进行推定。因此，即使不安装脑波电极等安装前需要进行处理的传感器，也能够对人类的脑活动进行推定。因此，能够简便地对人类的脑活动进行推定，并且根据推定后的脑活动将对象者的生理状态可视化。

(5－2)

在此，在获取时间序列的脸部的皮肤温度数据以及/或者图像数据时，在通过向人类实际提供脑功能激活问题或不提供脑功能激活问题来制造人类的脑被激活或未被激活的状态的情况下，可以认为，各成分的成分波形与脑激活时以及脑非激活时之间具有相关性关系的成分是作为表示反映了脑活动的皮肤温度以及/或者血液循环量的变化的成分的可能性较高的成分。

在本实施方式中，在通过脸部皮肤温度获取单元20以及/或者图像数据获取单元120来获取时间序列的脸部的皮肤温度数据以及/或者图像数据的期间，在一定期间内向个人提供脑功能激活问题。也就是说，在本实施方式中，通过向个人实际提供脑功能激活问题或不提供脑功能激活问题来制造人类的脑被激活或未被激活的状况。接着，通过奇异值分解将如上所述获取到的时间序列的各种数据分解成多个成分，并且对各成分的成分波形和脑激活时以及脑非激活时的相关性关系进行评价，从而从多个成分中提取出具有相关性关系的成分以作为判定用成分。因此，例如，与从多个成分中提取出通过预先实验等所确定的规定成分以作为提取用成分的情况相比，能够降低从多个成分中提取出与人类的脑活动的相关性较低的成分以作为提取用成分的可能性。

(5－3)

在此，脑具有选择性脑冷却机构这样独立于体温的、对脑进行冷却的结构。已知，选择性脑冷却机构利用前额部和鼻窦周围将由脑活动产生的热量排出。这样，伴随着脑活动的脸部皮肤温度以及与脸部皮肤温度相关的脸部的血液循环量的变化会出现在前额部以及/或者鼻窦周围。

在本实施方式中，对前额部以及/或者鼻窦周围的各种数据进行解析，从而提取出判定用成分。因此，能够高精度地提取出与人类的脑活动相关的成分。

(6)脑活动可视化装置的用途例

接着，对本发明的脑活动可视化装置的用途例进行说明。例如，通过使用上述实施方式或上述变形例的脑活动可视化装置10、110，能够对检查对象的感情、检查对象的脑年龄以及身体状况等进行判定。此外，能够提供一种有用信息呈现装置，该有用信息呈现装置根据上述这些判定结果呈现与感情或身体状态有关的有用信息。

(6－1－1)用于判定感情的情况

对将上述实施方式或上述变形例的脑活动可视化装置10、110用于对对象者的感情进行判定的情况的一例进行说明。例如，通过将上述脑活动可视化装置10、110组装于感情判定装置(有用信息定时装置)300，能够对检查对象的感情进行判定。

详细而言，如图23所示，将感情存储部203设置于上述状态可视化单元200。上述感情存储部203是将脑活动的推定结果和表示人类感情的“感情数据”相关联地存储的存储器。此处，例如，预先使对象者处于“喜怒哀乐”中任意一种状态后，对在一定期间内提供脑功能激活问题时的脑活动量的数据进行收集。接着，根据上述这些数据将脑活动的推定结果和感情数据相关联地存储于感情存储部203。此外，依次对脑活动的推定结果和感情数据的相关性关系进行最优化。

然后，状态可视化单元200从通过脑活动推定单元30、130计算出的脑活动的推定结果将感情数据从感情存储部203提取出来。藉此，感情判定装置300能够将对象者的感情呈现至显示部202。

总而言之，感情判定装置300包括脸部皮肤温度获取单元20以及/或者图像数据获取单元120、脑活动推定单元30、130以及状态可视化单元(有用信息呈现单元)200。脸部皮肤温度获取单元20以时间序列获取脸部皮肤温度数据。图像数据获取单元120以时间序列获取脸部的拍摄图像数据。脑活动推定单元30、130根据通过奇异值分解、主成分分析或独立成分分析对脸部皮肤温度数据以及/或者脸部血液循环量数据进行分解而得到的多个成分来对对象者的脑活动进行推定。状态可视化单元200根据由脑活动推定单元30推定出的对象者的脑活动来对对象者的感情进行判定。因此，即使不安装脑波电极等在安装前需要进行处理的传感器，感情判定装置300也能够简便地对人类或动物的感情进行判定。

(6－1－2)用于判定婴儿的感情的情况

上述感情存储部203也可对表示婴儿的感情的“婴儿感情数据”进行存储。具体而言，预先对婴儿的脑活动的数值(高涨)和交感神经的数值(高值)的程度进行分析，从而预先将脑活动的推定结果和婴儿感情数据相关联地存储于感情存储部203。通过预先将专用于婴儿的感情数据存储于感情存储部203，从而能够从脑活动的推定结果来对婴儿的感情进行判定。例如，在婴儿哭泣的情况下，能够对哭泣的理由是肚子饿了、尿布不舒服了还是感觉到疼痛了的情况进行确定。

一般而言，婴儿的脑功能是不发达的，但通过使用上述感情判定装置300也能够对婴儿的感情进行合适的判定。

(6－1－3)用于判定人类以外的动物的感情的情况

上述感情存储部203也可对表示人类以外的动物的感情的“动物感情数据”进行存储。通过预先将人类以外的动物的感情数据存储于感情存储部203，从而能够对上述动物的感情进行判定。在这种情况下，脸部皮肤温度获取单元20或图像数据获取单元120以与上述动物对应的最合适的方式来获取信息。藉此，例如，饲养主能够对玩赏动物(宠物)处于舒服的状况还是不舒服的状况进行判断。

(6－2－1)用于推定脑年龄的情况

对将上述实施方式或上述变形例的脑活动可视化装置10、110用于对对象者的脑年龄进行推定的情况的一例进行说明。例如，通过将上述脑活动可视化装置10、110组装于脑年龄呈现装置(有用信息判定装置)301，能够对检查对象的脑年龄进行判定。

详细而言，如图24所示，将脑年龄存储部204设置于上述状态可视化单元200。上述脑年龄存储部204是将脑活动的推定结果和表示脑年龄的“脑年龄数据”相关联地存储的存储器。此处，例如，对在一定期间内向多个对象者提供相同的脑功能激活问题时的脑活动量的数据进行收集。接着，根据对象者的年龄将脑活动的推定结果进行分类，并且将分类后的脑活动的推定结果和脑年龄数据相关联地存储于脑年龄存储部204。此外，依次对脑活动的推定结果和表示脑年龄的脑年龄数据的相关性关系进行最优化。

然后，状态可视化单元200从通过脑活动推定单元30、130计算出的脑活动的推定结果将脑年龄数据从脑年龄存储部204提取出来。藉此，脑年龄呈现装置301能够将对象者的脑年龄呈现至显示部202。

总而言之，脑年龄呈现装置301包括脸部皮肤温度获取单元20以及/或者图像数据获取单元120、脑活动推定单元30、130以及状态可视化单元(有用信息呈现单元)200。脸部皮肤温度获取单元20以时间序列获取脸部皮肤温度数据。图像数据获取单元120以时间序列获取脸部的拍摄图像数据。脑活动推定单元30、130根据通过奇异值分解、主成分分析或独立成分分析对脸部皮肤温度数据以及/或者脸部血液循环量数据进行分解而得到的多个成分来对对象者的脑活动进行推定。状态可视化单元200根据由脑活动推定单元30推定出的对象者的脑活动来呈现对象者的脑年龄。因此，即使不安装脑波电极等安装前需要进行处理的传感器，脑年龄呈现装置301也能够简便地呈现脑年龄。

(6－2－2)利用游戏机的情况

上述脑年龄呈现装置301也可存储于游戏机。具体而言，脸部皮肤温度获取单元20以及/或者图像数据获取单元120装载于游戏机。此处，脸部皮肤温度获取单元20以及/或者图像数据获取单元120在游戏机的游戏开始后的规定期间内以时间序列获取脸部皮肤温度数据以及/或者脸部的拍摄图像数据。根据上述结构，脑年龄呈现装置301能够在游戏执行中呈现脑年龄。

此外，游戏机的游戏自身可以构成脑活动激活问题。在这种情况下，根据游戏的内容，并且根据从多个试验者收集到的数据来预先创建年龄和脑活动高涨的推定式。接着，在每次进行游戏时，根据为每个游戏创建的推定式来对脑年龄进行推定。藉此，在每次进行游戏时会呈现“脑年龄x岁”等。

此外，脑年龄呈现装置301在呈现脑年龄的同时还可以提供抗衰老的诊断信息等。

(6－3－1)关于身体状况管理的建议

对将上述实施方式或上述变形例的脑活动可视化装置10、110应用于与身体状况管理相关的有用信息呈现装置302的例进行说明。

详细而言，如图25所示，将有用信息存储部205设置于上述状态可视化单元200。上述有用信息存储部205是将脑活动的推定结果和与身体状况管理相关的“有用信息”相关联地存储的存储器。在此，例如，对在一定期间内向多个对象者提供相同的脑功能激活问题时的脑活动量的数据进行收集。接着，根据对象者的健康状态将脑活动的推定结果进行分类，并且将分类后的脑活动的推定结果和有用信息相关联地存储于有用信息存储部205。此外，依次对脑活动的推定结果和有用信息的相关性关系进行最优化。

然后，状态可视化单元200从通过脑活动推定单元30、130计算出的脑活动的推定结果将有用信息从有用信息存储部205提取出来。藉此，有用信息呈现装置302能够向对象者呈现与身体状况管理有关的有用信息。

总而言之，有用信息呈现装置302包括脸部皮肤温度获取单元20以及/或者图像数据获取单元120、脑活动推定单元30、130以及状态可视化单元(有用信息呈现单元)200。脸部皮肤温度获取单元20以时间序列获取脸部皮肤温度数据。图像数据获取单元120以时间序列获取脸部的拍摄图像数据。脑活动推定单元30、130根据通过奇异值分解、主成分分析或独立成分分析对脸部皮肤温度数据以及/或者脸部血液循环量数据进行分解而得到的多个成分来对对象者的脑活动进行推定。状态可视化单元200根据由脑活动推定单元30推定出的对象者的脑活动来向对象者呈现与身体状况管理有关的有用信息。因此，即使不安装脑波电极等安装前需要进行处理的传感器，有用信息呈现装置302也能够简便地呈现有用信息。

(6－3－2)与昼夜节律比较后的建议

如图26所示，有用信息存储部205可以将脑活动的推定结果的每个时间带的变化和有用信息相关联地存储。在此，脑活动的推定结果的每个时间带的变化是指例如根据早上、中午、晚上的时间带的脑活动的推定结果的值和变化率分类成多个模式。在图26的例中，作为脑活动的推定结果的每个时间带的变化，将符合“早上的脑活动量较低，脑活动量从早上到中午上升，脑活动量从中午到晚上下降”、“从早上开始脑活动量较高，直到晚上为止活动量不变化”以及“从脑活动量较低时刻开始活动量不变化”这些状态的状态分别设定为模式号码一、模式号码二以及模式号码三。接着，有用信息存储部205根据上述这些分类后的模式对有用信息进行存储。在图26的例中，将“正常：您的生活保持良好的节律。”、“异常：您由于工作过度等而处于兴奋状态。设置睡眠时间或休息的时间来让身体获得休息的时间吧。”以及“异常：身体的活动下降，持续处于“疲软状态”。通过较轻的运动或外出使身体活动并激活身体吧。”这些内容的有用信息分别与模式号码1～3相关联地存储。

接着，在有用信息呈现装置302中，脸部皮肤温度获取单元20以及/或者图像数据获取单元120将脸部皮肤温度数据以及/或者脸部的拍摄图像数据与时间信息相关联地获取。此外，脑活动推定单元30、130与时间信息相关联地计算出脑活动的推定结果。然后，状态可视化单元200根据推定结果和时间信息从有用信息存储部205提取出与脑活动的推定结果的每个时间带的变化对应的有用信息并呈现给对象者。此时，状态可视化单元200参照上一次为止的脑活动的推定结果来求出规定期间内的脑活动的推定结果的变化的模式。接着，从有用信息存储部24提取出与上述模式对应的有用信息。

总而言之，若是上述结构的有用信息呈现装置302，则能够通过规定期间内的脑活动的推定结果的变化来对自主神经的平衡、即是否会过度地偏向交感神经的活动和副交感神经的活动的任一方进行推定。此外，能够根据上述推定来呈现最合适的有用信息。换而言之，能够呈现与昼夜节律比较后的建议。

此外，有用信息呈现装置302不仅呈现脑活动的推定结果，还可以将有用信息和皮肤温度的变化进行组合地呈现。在图26的例中，在模式1～3的状态中，皮肤温度分别以“早上皮肤温度较低，中午皮肤温度变高，到了晚上皮肤温度降低”、“皮肤温度一直较高，即使到了晚上也不降低”以及“皮肤温度持续降低，即使在中午也不升高”的方式变化。因此，在不仅脑活动的推定结果符合模式1～3、而且皮肤温度的变化也符合模式1～3的情况下，通过呈现与各模式1～3对应的有用信息，从而能够提高有用信息的可靠性。

(6－3－3)利用镜子

在有用信息呈现装置302中，脸部皮肤温度获取单元20以及/或者图像数据获取单元120可以设置于镜子构件的背后。若是上述这样的结构，例如，由于每次在梳妆台打扮时脑活动的推定结果会被储存，因此能够提高利用者的便利性。

此外，作为镜子构件的一种样式，也可以是智能设备的镜面化应用程序。例如，智能设备的显示部能够通过装载于上述智能设备的相机等进行模拟镜面化。通过在能够携带的智能设备的显示部的背后设置脸部皮肤温度获取单元20以及/或者图像数据获取单元120，从而能够提高利用者的便利性。此外，作为智能设备，可以使用多功能移动电话等。

(7)利用智能设备

本实施方式的脑活动可视化装置10、110可以存储于智能设备。具体而言，脸部皮肤温度获取单元20以及/或者图像数据获取单元120、脑活动推定单元30、130以及状态可视化单元200可以存储于多功能移动电话等智能设备。此外，在将作为有用信息呈现装置进行利用的脑活动可视化装置10、110存储于智能设备的情况下，由于用户能够通过携带的智能设备进行信息的输入输出以及运算，因此，能够简便地获取脑年龄、人类或动物的感情、身体状况管理以及其它的有用信息。

此外，作为上述方式的替代，也可以采用下述结构：将脸部皮肤温度获取单元20以及/或者图像数据获取单元120和状态可视化单元200存储于多功能移动电话等智能设备，并且将脑活动推定单元30、130存储于服务器装置。在这种情况下，能够减轻智能设备自身的运算负载。此外，通过在服务器装置上进行数据管理并且收集大量的数据进行最优化，从而能够不断提高输出结果的精度。例如，通过适时地对脑活动的推定结果和有用信息的关联性进行最优化，从而能够提高有用信息的精度。若适时地对脑活动的推定结果和检查对象的脑年龄数据的关联性进行最优化，则能够提高脑年龄判定的精度。此外，通过适时地对脑活动的推定结果和检查对象的感情数据的关联性进行最优化，则能够提高感情判定的精度。

(附记)

此外，本发明并不限定于上述实施方式。在实施阶段，本发明能够在不脱离主旨的范围内对构成要素进行变形并使之具体化。此外，本发明能够通过上述实施方式公开的多个构成要素的适当组合来形成各种发明。例如，可以从实施方式所述的所有构成要素中去除几个构成要素。此外，在不同的实施方式中可以对构成要素进行适当组合。

工业上的可利用性

根据本发明，由于能够简便地对脑活动进行推定，因此将本发明应用于根据脑活动将对象者的生理状态可视化的脑活动可视化装置是有效的。

符号说明

20 脸部皮肤温度获取单元；

200 状态可视化单元(有用信息呈现单元)；

201 解析部；

203 感情存储部；

204 脑年龄存储部；

205 有用信息存储部；

300 感情判定装置(有用信息呈现装置)；

301 脑年龄呈现装置(有用信息呈现装置)；

302 有用信息呈现装置；

10、110 评价装置；

30、130 脑活动推定单元。

现有技术文献

专利文献

专利文献1：日本专利特开2013－176406号公报

Claims (16)

1.一种有用信息呈现装置(300、301、302)，其特征在于，包括：

脸部皮肤温度获取单元(20)以及/或者脸部血液循环量获取单元，所述脸部皮肤温度获取单元(20)以时间序列获取包括从对象者的脸部检测出的皮肤温度数据以及该皮肤温度数据的检测部位的位置数据的脸部皮肤温度数据，所述脸部血液循环量获取单元根据拍摄图像数据的RGB数据来以时间序列获取脸部血液循环量数据，所述拍摄图像数据的RGB数据是通过对对象者的脸部以时间序列拍摄到的拍摄图像数据进行RGB处理而得到的；

脑活动推定单元(30、130)，该脑活动推定单元根据通过奇异值分解、主成分分析或独立成分分析对所述脸部皮肤温度数据以及/或者所述脸部血液循环量数据进行分解而得到的多个成分来对所述对象者的脑活动进行推定，其中，所述脸部皮肤温度数据是通过所述脸部皮肤温度获取单元获取的，所述脸部血液循环量数据是根据所述脸部血液循环量获取单元获取的；以及

有用信息呈现单元(200)，该有用信息呈现单元根据由所述脑活动推定单元推定出的所述对象者的脑活动来向所述对象者呈现与感情或身体状态相关的有用信息。

2.如权利要求1所述的有用信息呈现装置，其特征在于，

所述脑活动推定单元从多个所述成分中提取出成分波形的振幅与脑休息时以及脑激活时的变化具有相关性关系的成分以作为判定用成分，并且根据所述判定用成分对所述对象者的脑活动进行推定。

3.如权利要求1或2所述的有用信息呈现装置，其特征在于，

所述脸部皮肤温度获取单元以及/或者所述脸部血液循环量获取单元至少对所述对象者的脸部的鼻窦周围以及/或者前额部的所述脸部皮肤温度数据以及/或者所述脸部血液循环量数据进行获取。

4.如权利要求1或2所述的有用信息呈现装置，其特征在于，

所述脸部皮肤温度获取单元以及/或者所述脸部血液循环量获取单元和所述有用信息呈现单元存储于智能设备。

5.如权利要求1或2所述的有用信息呈现装置，其特征在于，

所述脸部皮肤温度获取单元以及/或者所述脸部血液循环量获取单元、所述脑活动推定单元和所述有用信息呈现单元存储于智能设备。

6.如权利要求1或2所述的有用信息呈现装置(300)，其特征在于，

还包括感情存储部(203)，该感情存储部将脑活动的推定结果和表示人类的感情的感情数据相关联地存储，

所述脑活动推定单元计算出脑活动的推定结果，

所述有用信息呈现单元根据所述推定结果从所述感情存储部提取并呈现所述对象者的感情数据。

7.如权利要求6所述的有用信息呈现装置，其特征在于，

用于作为所述对象者的婴儿，

所述感情存储部将脑活动的推定结果和表示婴儿的感情的婴儿感情数据相关联地存储。

8.如权利要求6所述的有用信息呈现装置，其特征在于，

作为人类的替代，对人类以外的动物的感情进行判定。

9.如权利要求7所述的有用信息呈现装置，其特征在于，

作为人类的替代，对人类以外的动物的感情进行判定。

10.如权利要求1或2所述的有用信息呈现装置(301)，其特征在于，

还包括脑年龄存储部(204)，该脑年龄存储部将脑活动的推定结果和表示脑年龄的脑年龄数据相关联地存储，

所述脑活动推定单元计算出脑活动的推定结果，

所述有用信息呈现单元根据所述推定结果从所述脑年龄存储部提取并呈现所述对象者的脑年龄数据。

11.如权利要求1或2所述的有用信息呈现装置，其特征在于，

所述脸部皮肤温度获取单元以及/或者所述脸部血液循环量获取单元装载于游戏机，在所述游戏机的游戏开始后的规定期间内，以时间序列获取所述脸部皮肤温度数据以及/或者所述脸部血液循环量数据。

12.如权利要求1或2所述的有用信息呈现装置(302)，其特征在于，

还包括有用信息存储部(205)，该有用信息存储部(205)将脑活动的推定结果和与身体状况管理相关的所述有用信息相关联地存储，

所述脑活动推定单元计算出脑活动的推定结果，

所述有用信息呈现单元根据所述推定结果从所述有用信息存储部提取并呈现与所述对象者对应的有用信息。

13.如权利要求12所述的有用信息呈现装置，其特征在于，

所述有用信息存储部将脑活动的推定结果的每个时间带的变化和所述有用信息相关联地存储，

所述脸部皮肤温度获取单元以及/或者所述脸部血液循环量获取单元与时间信息相关联地获取所述脸部皮肤温度数据以及/或者所述脸部血液循环量数据，

所述脑活动推定单元以与所述时间信息相关联的方式计算出脑活动的推定结果，

所述有用信息呈现单元根据所述推定结果和所述时间信息从所述有用信息存储部提取出与脑活动的推定结果的每个时间带的变化对应的所述有用信息并呈现给所述对象者。

14.如权利要求1或2所述的有用信息呈现装置，其特征在于，

所述脸部皮肤温度获取单元以及/或者所述脸部血液循环量获取单元设置于镜子构件的背后。

15.如权利要求4所述的有用信息呈现装置，其特征在于，

所述智能设备具有使该智能设备的显示部镜面化的镜面化单元，

所述脸部皮肤温度获取单元以及/或者所述脸部血液循环量获取单元设置于所述显示部的背后。

16.如权利要求5所述的有用信息呈现装置，其特征在于，

所述智能设备具有使该智能设备的显示部镜面化的镜面化单元，

所述脸部皮肤温度获取单元以及/或者所述脸部血液循环量获取单元设置于所述显示部的背后。

Images