CN108712879A - 疲劳状态判定装置及疲劳状态判定方法 - Google Patents

Abstract

本发明的目的是提供一种用于容易地对对象者的疲劳状态进行判定的疲劳状态判定装置及疲劳状态判定方法。疲劳状态判定装置(400)包括脑功能激活信息提供部(441)和疲劳状态判定部(445)。脑功能激活信息提供部(441)向对象者(300)提供激活人类的脑功能的“脑功能激活信息”。疲劳状态判定部(445)根据提供有脑功能激活信息时的、表示对象者(300)的脸部数据的时间序列变化的脸部变化信息，对对象者(300)的疲劳状态进行判定。

Description

疲劳状态判定装置及疲劳状态判定方法

技术领域

本发明涉及一种疲劳状态判定装置及疲劳状态判定方法。

背景技术

近年来，尝试利用通过专利文献1(日本专利特开2013－176406号公报)所公开的脑波测量法(EEG)、磁共振图像法(fMRI：functional Magnetic Resonance Imaging)以及近红外线分光法(NIRA)检测出的数据对人类的脑活动进行推定。此外，也研究了根据推定出的脑活动来判定人类的身体状况和精神状态等的应用。

发明内容

发明所要解决的技术问题

然而，在脑波测量法以及近红外线分光法中，需要进行必须向对象者安装电极等前期处理。此外，在磁共振图像法中，需要在规定的MRI室进行测量。总而言之，上述这些方法中，存在准备阶段的作业较繁琐以及测量时的条件受到限制这些问题。此外，上述这些方法均需要花费很大的成本。其结果是，在上述这些方法中，对对象者的身体状况以及精神状态进行判定等是较困难的。

本发明的技术问题是提供一种能够容易地对对象者的身体状况和精神状态进行判定的装置以及方法。特别地，本发明的目的是提供一种用于容易地对对象者的疲劳状态进行判定的疲劳状态判定装置及疲劳状态判定方法。

解决技术问题所采用的技术方案

本发明第一观点的疲劳状态判定装置包括脑功能激活信息提供部和疲劳状态判定部。脑功能激活信息提供部向对象者提供激活人类的脑功能的脑功能激活信息。疲劳状态判定部根据提供有脑功能激活信息时的、表示对象者的脸部数据的时间序列变化的脸部变化信息，对对象者的疲劳状态进行判定。

在第一观点所述的疲劳状态判定装置中，根据提供有脑功能激活信息时的对象者的脸部变化信息来判定对象者的状态，因此能够以简易的结构对对象者的疲劳状态进行判定。

在第一观点所述的疲劳状态判定装置的基础上，在本发明第二观点的疲劳状态判定装置中，脑功能激活信息提供部提供工作记忆相关信息以作为脑功能激活信息。

在第二观点所述的疲劳状态判定装置中，提供工作记忆相关信息以作为脑功能激活信息，因此，能够提取出与脑活动相关的判定用成分。其结果是，能够容易地对对象者的疲劳状态进行判定。

另外，在本发明中，作为“工作记忆相关信息”，是与需要记忆力和判断力的问题相关的信息，能够以下述问题为例进行列举：心算问题、计算问题以及Nback(返回)任务(日文：Nバックタスク)这样的默记问题；如象形图问题(日文：ピクトグラム課題)这样的、从多个信息中做出最合适的选择的问题；以及中途切换问题的注意切换问题等。

在第一观点或第二观点所述的疲劳状态判定装置中，本发明第三观点的疲劳状态判定装置还包括判定用信息生成部，上述判定用信息生成部根据脸部变化信息生成判定用信息。

在第三观点所述的疲劳判定装置中，根据脸部变化信息生成用于判定疲劳的判定用信息来对对象者的疲劳状态进行判定，因此，能够提高对象者的疲劳状态的判定精度。

在第三观点所述的疲劳状态判定装置的基础上，本发明第四观点的疲劳状态判定装置还包括脸部变化信息分解部。脸部变化信息分解部通过奇异值分解、主成分分析或独立成分分析将脸部变化信息分解成多个成分。此外，判定用信息生成部从多个成分提取出与脑功能激活信息相关的成分以作为判定用成分，并且根据判定用成分生成判定用信息。

在第四观点所述的疲劳状态判定装置中，从通过对脸部变化信息进行奇异值分解、主成分分析、独立成分分析得到的多个成分提取出与脑功能激活信息相关的判定用成分，因此，不需要使用安装前需要进行前期处理的电极等也能够容易地对对象者是否具有脑活动进行推定。藉此，根据与对象者的脑功能对应的判定用成分，能够容易地对对象者的疲劳状态进行判定。

在第四观点所述的疲劳状态判定装置的基础上，在本发明第五观点的疲劳状态判定装置中，判定用信息生成部根据危险率的值来提取判定用成分。

在第五观点所述的疲劳状态判定装置中，根据危险率的值来提取与脑功能激活信息相关的成分，因此，能够提高判定的可靠性。

在第三观点到第五观点中任一观点所述的疲劳状态判定装置中，本发明第六观点的疲劳状态判定装置还包括基准信息存储部。基准信息存储部将下述规定范围的变化量与疲劳状态等级相关联地作为基准信息进行存储，其中，上述规定范围的变化量是指与基准相关值相比，针对脑功能激活信息计算出的判定用信息的相关值的规定范围的变化量，此外，疲劳状态判定部计算出针对脑功能激活信息的判定用信息的相关值，并且根据计算出的相关值和基准信息来对对象者的疲劳状态等级进行判定。

在第六观点所述的疲劳状态判定装置中，能够利用在规定行动前得到的基准信息来对疲劳状态等级进行容易的判定。

另外，在本发明中，“规定行动”作为肉体活动以及智力活动中的至少任意一种或两种的意思进行使用。作为肉体活动，能够以下述活动为例进行列举：工厂的流水线作业以及土木作业等各种肉体劳动；以及健美、跑步、球赛、登山和肌肉力训练等各种运动。作为智力活动，能够以学习、讨论、决策、状况判断以及管理监督等为例进行列举。

在第一观点至第六观点中任一观点所述的疲劳状态判定装置的基础上，在本发明第七观点的疲劳状态判定装置中，脸部变化信息获取部获取鼻窦周围以及/或者前额部的数据以作为脸部数据。

在第七观点所述的疲劳状态判定装置中，脸部数据是鼻窦周围以及/或者前额部的数据，因此，能够高精度地提取出与脑活动相关的判定用成分。

在第一观点至第七观点中任一观点所述的疲劳状态判定装置的基础上，在本发明第八观点的疲劳状态判定装置中，脸部变化信息获取部获取表示对象者的脸部的皮肤温度的脸部皮肤温度数据以作为脸部数据。

在第八观点所述的疲劳状态判定装置中，脸部数据是表示对象者的脸部的皮肤温度的脸部皮肤温度数据，因此，能够利用红外线相机等对疲劳状态进行判定。

在第一观点至第八观点中任一观点所述的疲劳状态判定装置的基础上，在本发明第九观点的疲劳状态判定装置中，脸部变化信息获取对象者的脸部的基于RGB数据的脸部血液循环量数据以作为脸部数据。

在第九观点所述的疲劳状态判定装置中，脸部数据是对象者的脸部的基于RGB数据的脸部血液循环量数据，因此，能够利用固体拍摄元件等对疲劳状态进行判定。

在第三观点到第九观点中任一观点所述的疲劳状态判定装置的基础上，在本发明第十观点的疲劳状态判定装置中，疲劳状态判定部计算出针对脑功能激活信息的判定用成分的相关值，并且根据计算出的相关值和基准信息来对对象者的疲劳状态等级进行判定。此处，网络上的判定信息提供装置包括基准信息存储部，上述基准信息存储部将下述规定范围的变化量与疲劳状态等级相关联地作为基准信息进行存储，其中，上述规定范围的变化量是指与针对脑功能激活信息计算出的基准判定用成分的基准相关值相比，针对脑功能激活信息计算出的判定用信息的相关值的规定范围的变化量。

在第十观点所述的疲劳状态判定装置中，能够利用网络上的判定信息提供装置对对象者的疲劳状态等级进行判定。

本发明第十一观点的疲劳状态判定方法包括脑功能激活信息提供步骤、脸部变化信息获取步骤以及疲劳状态判定步骤。在脑功能激活信息提供步骤中，在进行规定行动后，向对象者提供激活人类的脑功能的脑功能激活信息。在疲劳状态判定步骤中，根据脸部变化信息对对象者的疲劳状态进行判定。

在第十一观点所述的疲劳状态判定方法中，根据在规定行动后提供有脑功能激活信息的对象者的脸部变化信息来判定对象者的疲劳状态，因此能够以简易的结构对对象者的疲劳状态进行判定。

在第十一观点所述的疲劳状态判定方法中，本发明第十二观点的疲劳状态判定方法还包括判定用信息生成步骤，在上述判定用信息生成步骤中，根据脸部变化信息生成判定用信息。

在第十二观点所述的疲劳判定方法中，根据脸部变化信息生成对判定疲劳有用的判定用信息来对对象者的疲劳状态进行判定，因此，能够提高对象者的疲劳状态的判定精度。

在第十二观点所述的疲劳状态判定方法的基础上，本发明第十三观点的疲劳状态判定方法还包括脸部变化信息分解步骤。在脸部变化信息分解步骤中，通过奇异值分解、主成分分析或独立成分分析将脸部变化信息分解成多个成分。此外，在判定用信息生成步骤中，从多个成分提取出与脑功能激活信息相关的成分以作为判定用成分，并且根据判定用成分生成判定用信息。

在第十三观点所述的疲劳状态判定方法中，在规定行动之后，从对脸部变化信息进行奇异值分解、主成分分析或独立成分分析而得到的多个成分中提取出与脑功能激活信息相关的判定用成分并对疲劳状态进行判定，从而能够容易地对规定行动对对象者造成疲劳的影响进行判定。

在第十二观点或第十三观点所述的疲劳状态判定方法的基础上，在本发明第十四观点的疲劳状态判定方法中，在疲劳状态判定步骤中，计算出针对脑功能激活信息的判定用信息的相关值，并且根据计算出的相关值和基准信息对对象者的疲劳状态等级进行判定。此处，将下述规定范围的变化量与疲劳状态等级相关联地作为基准信息存储于基准信息存储部，其中，上述规定范围的变化量是指与基准相关值相比，针对脑功能激活信息计算出的判定用信息的相关值的规定范围的变化量。

在第十四观点所述的疲劳状态判定方法中，能够利用存储于基准信息存储部的基准信息来对疲劳状态等级进行容易的判定。

在第十四观点所述的疲劳状态判定方法的基础上，在本发明第十五观点的疲劳状态判定方法中，在规定行动之前，执行脑功能激活信息提供步骤、脸部变化信息获取步骤、脸部变化信息分解步骤以及判定用信息生成步骤，从而生成基准信息。

在第十五观点所述的疲劳状态判定方法中，在规定行动之前从对象者的脸部变化信息提取出基准信息，因此，能够高精度地对规定行动对对象者造成疲劳的影响进行判定。

在第十四观点或第十五观点所述的疲劳状态判定方法的基础上，在本发明第十六观点的疲劳状态判定方法中，疲劳状态判定步骤在对疲劳状态等级进行判定时访问判定信息提供装置。此处，基准信息存储部保存于网络上的判定信息提供装置。

在第十六观点所述的疲劳状态判定方法中，利用存储于外部网络上的判定信息提供装置的基准信息来对疲劳状态进行判定，因此能够简化规定动作之前的作业。此外，根据上述方法，能够实现例如利用大数据对疲劳状态进行判定。

在第十六观点所述的疲劳状态判定方法的基础上，在本发明十七观点的生理状态判定方法中，基准相关值通过向对象者以外的人提供脑功能激活信息而计算出。

在第十七观点所述的疲劳状态判定方法中，能够利用从对象者以外的人得到的大数据等来实现对疲劳状态进行判定。

在第十一观点至第十七观点中任一观点所述的疲劳状态判定方法的基础上，在本发明第十八观点的疲劳状态判定方法中，规定行动是规定的肉体活动，对象者是肉体劳动者。

在第十八观点所述的疲劳状态判定方法中，能容易地对智力活动或肉体活动前后的疲劳状态进行判定。

发明效果

根据第一观点所述的疲劳状态判定装置，能够以简易的结构对对象者的疲劳状态进行判定。

根据第二观点所述的疲劳状态判定装置，能够容易地对对象者的疲劳状态进行判定。

根据第三观点所述的疲劳状态判定装置，能够提高对象者的疲劳状态的判定精度。

根据第四观点所述的疲劳状态判定装置，根据与对象者的脑功能对应的判定用成分，能够容易地对对象者的疲劳状态进行判定。

根据第五观点所述的疲劳状态判定装置，能够提高判定的可靠性。

根据第六观点所述的疲劳状态判定装置，能够容易地判定疲劳状态等级。

根据第七观点所述的疲劳状态判定装置，能够高精度地提取出与脑活动相关的判定用成分。

根据第八观点所述的疲劳状态判定装置，能够利用红外线相机等对疲劳状态进行判定。

根据第九观点所述的疲劳状态判定装置，能够利用固体拍摄元件等对疲劳状态进行判定。

根据第十观点所述的疲劳状态判定装置，能够利用网络上的判定信息提供装置对对象者的疲劳状态等级进行判定。

根据第十一观点所述的疲劳状态判定方法，能够容易地对规定行动对对象者造成疲劳的影响进行判定。

根据第十二观点所述的疲劳状态判定方法，能够提高对象者的疲劳状态的判定精度。

根据第十三观点所述的疲劳状态判定方法，能够容易地对规定行动对对象者造成疲劳的影响进行判定。

根据第十四观点所述的疲劳状态判定方法，能够容易地对疲劳状态等级进行判定。

根据第十五观点所述的疲劳状态判定方法，能够高精度地对规定行动对对象者造成疲劳的影响进行判定。

根据第十六观点所述的疲劳状态判定方法，能简化规定行动之前的作业。此外，根据上述方法，能够实现例如利用大数据对疲劳状态进行判定。

根据第十七观点所述的疲劳状态判定方法，能够利用从对象者以外的人得到的大数据等来实现对疲劳状态进行判定。

根据第十八观点所述的疲劳状态判定方法，能容易地对智力活动或肉体活动前后的疲劳状态进行判定。

附图说明

图1是表示拍摄图像数据以及对该拍摄图像数据进行解析后的结果一例的图。

图2是表示对脸部皮肤温度数据进行解析后的部分结果的图。

图3是表示对脸部皮肤温度数据进行解析后的部分结果的图。

图4是表示成分二的成分波形的振幅和测定出的脑波中的β波的振幅的图。

图5是表示成分三的成分波形的振幅和测定出的脑波中的β波的振幅的图。

图6是表示对由对照实验得到的脸部皮肤温度数据进行解析后的部分结果的图。

图7是表示基于脸部的拍摄图像数据的成分波形和测定出的脑波中的β波的振幅的图。

图8是表示基于脸部皮肤温度数据的成分波形和测定出的脑波中的β波的振幅的图。

图9是表示基于脸部的拍摄图像数据的成分波形和测定出的脑波中的β波的振幅的图。

图10是表示基于脸部皮肤温度数据的成分波形和测定出的脑波中的β波的振幅的图。

图11是表示基于脸部的拍摄图像数据的成分波形和测定出的脑波中的β波的振幅的图。

图12是表示基于脸部皮肤温度数据的成分波形和测定出的脑波中的β波的振幅的图。

图13是表示基于脸部的拍摄图像数据的成分波形和测定出的脑波中的β波的振幅的图。

图14是表示基于脸部皮肤温度数据的成分波形和测定出的脑波中的β波的振幅的图。

图15是表示基于脸部的拍摄图像数据的成分波形和测定出的脑波中的β波的振幅的图。

图16是表示基于脸部皮肤温度数据的成分波形和测定出的脑波中的β波的振幅的图。

图17是表示基于脸部的拍摄图像数据的成分波形和测定出的脑波中的β波的振幅的图。

图18是表示基于脸部皮肤温度数据的成分波形和测定出的脑波中的β波的振幅的图。

图19是本发明一实施方式的脑活动可视化装置的示意图。

图20是表示在脑活动可视化装置中对表示反映了脑功能的皮肤温度的变化的成分进行确定时的处理的流程的一例的流程图。

图21是本发明一实施方式的脑活动可视化装置的示意图。

图22是表示在脑活动可视化装置中对表示反映了脑功能的脸部的RGB变化的成分进行确定时的处理的流程的一例的流程图。

图23是表示本发明一实施方式的疲劳状态判定装置的结构的示意图。

图24是表示疲劳状态判定装置的基准信息数据库的结构的示意图。

图25A是表示疲劳状态判定装置的动作的流程图。

图25B是表示疲劳状态判定装置的动作的流程图。

图26是在疲劳状态判定装置中使用红外线相机的例子的示意图。

图27是表示疲劳状态判定装置的利用例的示意图。

图28是表示疲劳状态判定装置的变形例的结构的示意图。

图29是表示疲劳状态判定装置的变形例的动作的流程图。

具体实施方式

在对本发明的实施方式进行说明前，首先，对作为本发明者们完成本发明时的重要基础的、本发明者们的见解进行说明。

(1)本发明者们的见解的要点

已知，人类的脑活动反映了人类的智力活动(认知活动等)以及情感活动(愉快/不愉快等活动)。此外，目前，虽然尝试对人类的脑活动进行推定，但在这种情况下，大多采用通过脑波测量法、磁共振图像法以及近红外线分光法中的任一方法检测出的数据。

此处，作为检测方法，例如在采用脑波测量法的情况下，需要对试验者安装脑波电极。此外，由于在安装脑波电极时，需要减小皮肤和电极之间的电阻，因而需要进行研磨皮肤的处理以及将糊料涂敷于电极等作业。此外，在采用磁共振图像法的情况下，无法在MRI室以外进行测定，并且具有无法将金属带入测定室内等测定条件的限制。此外，在采用近红外线分光法的情况下，需要向试验者安装探针，但长时间安装探针会使试验者感到疼痛，并且有时由于试验者的头发和探针的接触状况而无法准确地检测。这样，在为了测定人类的脑活动而采用目前的检测方法的情况下，需要进行安装脑波电极或探针等时的前期处理，或者测定条件被限定等，从而使施加给试验者的负担变大。

因此，需要开发一种设备，该设备能够减轻试验者的负担，并且能够简便地对人类的脑活动进行推定。

此外，本发明者们对下述情况进行了考虑：能否根据人类的脸部的皮肤温度或被认为与脸部的皮肤温度成比例的脸部的血液循环状态来推定人类的脑活动。对于人类的脸部的皮肤温度，能够采用热成像等测定装置来获取，对于脸部的血液循环状态即脸部的血液循环量，能够通过采用拍摄装置所得到的脸部的拍摄图像的RGB数据来推定。这样，不需要安装脑波电极或探针等安装前需要进行处理的传感器就能够获取脸部的皮肤温度或脸部的拍摄图像。

另一方面，已知，人类的脸部的皮肤温度受到外部空气温度以及/或者自主神经的活动等各种因素的影响而变化。因此，可以认为，若根据脸部的皮肤温度或根据被认为与脸部的皮肤温度成比例的脸部的血液循环量对脑活动进行推定，则很难判断获取到的数据是否仅反映脑活动。

本发明者们通过专心研究发现了下述结果：通过采用奇异值分解法、主成分分析法或者独立成分分析法来将时间序列的脸部皮肤温度数据或时间序列的脸部的血液循环量数据分解成多个成分，并且对分解后的多个成分进行解析，从而能够对表示反映了脑活动的脸部的皮肤温度的变化或脸部的血液循环量的变化的成分进行确定，其中，上述时间序列的脸部皮肤温度数据是检测脸部的皮肤温度，包括检测出的温度数据以及检测部位的位置数据(坐标数据)，上述时间序列的脸部的血液循环量是根据RGB数据计算得到的，上述RGB数据是通过时间序列的脸部的拍摄图像数据得到的。此外，本发明者们通过推定对象者的脑活动并且对上述脑活动进行解析，从而得到能够根据推定出的脑活动而将对象者的生理状态可视化的本发明。

(2)脸部的各种数据的获取方法以及对获取后的各种数据进行解析的方法

(2－1)脸部皮肤温度数据的获取方法以及脸部皮肤温度数据的解析方法

接着，对本发明者们获得上述见解时采用的脸部皮肤温度数据的获取方法以及脸部皮肤温度数据的解析方法进行说明。

在本试验中，从六名试验者获取了脸部皮肤温度数据。具体而言，让试验者坐在设置于室温维持为25℃的人工气候室内的椅子上，并采用红外线热成像装置从试验者的整个脸部获取到脸部皮肤温度数据。红外线热成像装置能够通过红外线相机对从对象物辐射出的红外线辐射能进行检测，将检测出的红外线辐射能转换成对象物表面的温度(此处为摄氏温度)，并将上述温度分布作为脸部皮肤温度数据(例如，表示温度分布的图像数据)予以显示并储存。此外，在本试验中，使用NEC Avio红外线技术株式会社(日文：NEC Avio赤外線テクノロジー株式会社)制造的R300作为红外线热成像装置。另外，红外线相机设置于试验者的正面且距离试验者1.5米处的位置。此外，脸部皮肤温度数据是在三十分钟内获取的。

另外，在本试验中，在获取脸部皮肤温度数据的期间，向试验者提供了脑功能激活问题。藉此，获取到脑非激活时的脸部皮肤温度数据以及脑激活时的脸部皮肤温度数据。作为脑功能激活问题，列举了试验者根据显示装置等显示的画面所进行的计算，或者对数值、形状以及颜色进行识别，或者对记号、文字乃至语言进行记忆等心理作业。在本试验中，采用“乘法的心算”作为脑功能激活问题，让试验者对通过笔算形式显示于显示装置的数字进行计算，并且通过键盘输入上述问题的答案。此外，在本试验中，从开始获取脸部皮肤温度数据的五分钟后的十分钟持续向试验者提供脑功能激活问题。

作为对脸部皮肤温度数据的解析，将获取到的脸部皮肤温度数据作为对象，并且采用MATLAB(注册商标)的SVD(奇异值分解(英文：Singular ValueDecomposition))作为分析工具进行奇异值分解。在奇异值分解中，将以时间序列获取到的所有脸部皮肤温度数据(三十分钟的数据)作为对象，将因子设为每三十秒的时间数据(三十分钟有六十个时间点)，将测度设为上述期间(三十秒)的脸部皮肤温度数据(240×320像素)。接着，通过奇异值分解将脸部皮肤温度数据X分解成多个成分，并且计算出各成分的时间分布V、空间分布U以及表示各成分大小的奇异值S。另外，上述关系通过下式表示。此外，V’是将V的行和列进行交换后得到的矩阵。

(数学式1)

X＝(U*S)*V^·

接着，将由奇异值分解求出的各成分的时间分布V和空间分布U绘制成图，从而生成各成分的成分波形图和温度分布图。

此外，根据生成后的各成分的成分波形图和温度分布图，进行了对表示反映了脑活动的皮肤温度的变化的成分进行确定的解析。

根据各成分的成分波形图进行了上述成分波形的振幅与脑非激活时和脑激活时有无相关性关系的解析。具体而言，对各成分的成分波形图所示的振幅与脑非激活期间/脑激活期间之间是否具有相关性关系进行了评价。在本试验中，在获取脸部皮肤温度数据的期间，将作为未向试验者提供脑功能激活问题期间的、从开始获取数据的时刻到经过了五分钟的时刻为止的五分钟期间以及从开始获取数据时经过了十五分钟的时刻到数据获取结束时刻为止的十五分钟的期间设为脑非激活时，将作为向试验者提供脑功能激活问题的期间的、从开始获取数据时经过了五分钟的时刻到经过了十分钟的时刻为止的十分钟的期间设为脑激活时。接着，对各成分的成分波形图所示的振幅与脑非激活时和脑激活时有无相关性关系进行了评价。另外，对有无相关性关系进行了统计性的相关性分析，并且在显著水平(α)为0.05以下的情况下判断为具有相关性。

根据各成分的温度分布图，对脸部的规定部位的温度是否有变化进行了解析。此处，脑具有选择性脑冷却机构(Selective Brain Cooling System)这样独立于体温的、对脑进行冷却的结构。已知，选择性脑冷却机构利用前额部和鼻窦周围(包括眉间和鼻部周围)将由脑活动产生的热量排出。因此，在本试验中，在各成分的温度分布图中，对鼻窦周围以及前额部的温度是否发生变化进行了评价。此外，关于温度分布图中鼻窦周围和前额部的温度是否有变化，将通过目视(visual inspection)判断温度是否有变化，或者鼻窦周围以及前额部的温度是否与整个测定数据的平均温度具有一个标准偏差(SD)以上不同作为温度是否有变化的基准。

此外，由于脸部皮肤温度数据X的极性(正负)通过空间分布U、奇异值S以及时间分布V的值的关系来确定，因此，有时在各成分的成分波形图和温度分布图中极性会反转。因此，关于成分波形图和温度分布图的评价，极性不作为评价对象。

此处，在上述红外线热成像装置中，如上所述，将从对象物检测出的红外线辐射能转换成温度，并且将上述温度分布作为脸部皮肤温度数据。此外，在将人类作为对象并且采用红外线热成像装置来获取脸部的皮肤温度的情况下，也会将脸部的动作以及/或者自主神经的活动等各种与脑活动无关的温度变化(即干扰)作为脸部皮肤温度数据进行获取(参照图1的(a))。因此，为了对上述这样与脑活动无关的温度变化进行检测，生成将包含于每三十秒的脸部皮肤温度数据的温度数据的整体平均值设为“0”的相对脸部皮肤温度数据，对于生成后的脸部皮肤温度数据，也采用MATLAB(注册商标)的SVD作为分析工具来进行奇异值分解，从而生成基于奇异值S的各成分的成分波形图和温度分布图，进而进行了对表示反映了脑活动的皮肤温度的变化的成分进行确定的解析。

此外，以下，为了便于说明，将通过红外线热成像装置获取到的脸部皮肤温度数据称为“基于温度换算数据的脸部皮肤温度数据”，将相对脸部皮肤温度数据称为“基于相对温度换算数据的脸部皮肤温度数据”，其中，上述相对脸部皮肤温度数据将基于每个规定时间(本试验中为每三十秒)的温度换算数据的脸部皮肤温度数据所包含的温度数据的整体平均值设为“0”。

另外，对于六名试验者中的一名试验者，除了进行基于红外线热成像装置的脸部皮肤温度的检测外，还在该名试验者的头皮上连接电极并测定脑波，对作为清醒时或意识紧张时出现的波形而公知的β波(频率为14～30Hz的脑波)的振幅和成分波形图的振幅之间的相关性关系进行了评价。此外，在脑波测定时，根据国际标准10－20法，在六个部位(F3、F4、C3、C4、Cz、Pz)配置了电极。

可以认为，在向试验者提供脑功能激活问题的期间，试验者的头上下运动。由此，试验者的脸部相对于红外线相机的位置会发生变化。为了验证上述脸部的位置的变化是否对皮肤温度的变化有影响，对一名试验者进行了对照试验。在对获取脸部皮肤温度数据时试验者的动作所产生的影响进行验证的对照试验中，与上述试验相同，采用红外线热成像装置来获取试验者的脸部皮肤温度数据，而在未被提供脑功能激活问题的期间(即，脑非激活时)，在随机的时刻也向试验者布置按键盘的作业。针对基于由上述对照试验得到的温度换算数据的脸部皮肤温度数据以及基于相对温度换算数据的脸部皮肤温度数据，也采用MATLAB(注册商标)的SVD作为分析工具来进行奇异值分解，从而生成基于奇异值S的各成分的成分波形图和温度分布图，进而进行了对表示反映了皮肤温度的变化的成分进行确定的解析。

(2－2)脸部拍摄图像数据的获取方法以及脸部拍摄图像数据的解析方法

图1的(a)是表示由拍摄装置拍摄到的试验者的脸部的鼻窦周围的拍摄图像数据的一例的图。图1的(b)是表示血液循环量分布图(图像映射)的一例的图。

接着，对本发明者们获得上述见解时采用的脸部拍摄图像数据的获取方法以及脸部拍摄图像数据的解析方法进行说明。

在本试验中，从六名试验者获取到脸部的拍摄图像数据。具体而言，让试验者坐在设置于室温维持为25℃的人工气候室内的椅子上，并采用能够以时间序列获取图像的拍摄装置，从而以时间序列获取到试验者的整个脸部的鼻窦周围的拍摄图像数据。

此外，若根据上述选择性脑冷却机构，则可以认为与伴随脑活动的脸部皮肤温度成比例的脸部的血液循环量的变化出现在前额部以及/或者鼻窦周围。由此，本发明者们认为，只要能够至少捕捉到前额部以及/或者鼻窦周围的脸部的血液循环量的变化，就能够高精度地推定脑活动。接着，在本试验中，以时间序列获取到试验者的脸部的鼻窦周围的拍摄图像数据。

此外，在上述试验中，作为拍摄装置，使用苹果公司(原文：Apple社)制造的iPadAir(注册商标)所具有的液晶画面侧的拍摄装置，获取到彩色的动画数据以作为时间序列的拍摄图像数据。此外，拍摄装置设置于试验者的正面侧且距离试验者1.0米处的位置。接着，通过采用拍摄装置以30帧/秒的拍摄周期沿着时间轴连续拍摄三十分钟的拍摄图像数据来得到脸部的动画数据。

另外，在本试验中，在获取脸部的动画数据的期间，向试验者提供了脑功能激活问题。藉此，获取到脑非激活时的脸部的动画数据以及脑激活时的脸部的动画数据。在本试验中，与上述试验相同，采用“乘法的心算”作为脑功能激活问题，让试验者对通过笔算形式显示于显示装置的数字进行计算，并且通过键盘输入上述问题的答案。此外，在本试验中，从开始获取脸部的动画数据的五分钟后的十分钟持续向试验者提供脑功能激活问题。

作为脸部的动画数据的解析，根据由拍摄到的脸部的动画数据所得到的RGB数据来计算出血液循环量数据，将计算出的时间序列的血液循环量数据作为对象，并且将MATLAB(注册商标)的SVD作为分析工具进行了奇异值分解。此处，根据CIE－L*a*b*表色系统求出与根据图像的RGB数据运算出的皮肤的发红程度和血红蛋白量具有相关性的红斑指数“α*”，并将该红斑指数“α*”作为血液循环量数据。此外，在奇异值分解中，将基于通过以时间序列获取到的所有动画数据(三十分钟的数据)得到的RGB数据的血液循环量数据(此处为红斑指数)设为对象，将因子设为每三十秒的时间数据(三十分钟有六十个时间点)，将测度设为根据上述期间(每三十秒)的RGB数据运算出的红斑指数(每三十秒取出一秒的帧数据，对由上述帧数据得到的RGB值的平均值进行运算而得到红斑指数；240×320像素)。接着，通过奇异值分解将基于由脸部的动画数据得到的RGB数据的时间序列的血液循环量数据分解成多个成分，并且计算出各成分的时间分布V、空间分布U以及表示各成分大小的奇异值S。另外，上述关系通过与上式(数学式1)相同的式子表示。

接着，将由奇异值分解求出的各成分的时间分布V和空间分布U绘制成图，从而生成各成分的成分波形图和血液循环量分布图。

然后，根据生成后的各成分的成分波形图和血液循环量分布图，进行了对表示反映了脑活动的脸部的血液循环量的变化即脸部的RGB变化的成分进行确定的解析。

根据各成分的成分波形图进行了上述成分波形的振幅与脑非激活时和脑激活时有无相关性关系的解析。具体而言，对各成分的成分波形图所示的振幅与脑非激活期间/脑激活期间之间是否具有相关性关系进行了评价。在本试验中，在获取脸部的拍摄图像数据的期间，将作为未向试验者提供脑功能激活问题期间的、从开始获取数据的时刻到经过了五分钟的时刻为止的五分钟期间以及从开始获取数据时经过了十五分钟的时刻到数据获取结束时刻为止的十五分钟的期间设为脑非激活时，将作为向试验者提供脑功能激活问题的期间的、从开始获取数据时经过了五分钟的时刻到经过了十分钟的时刻为止的十分钟的期间设为脑激活时。接着，对各成分的成分波形图所示的振幅与脑非激活时和脑激活时有无相关性关系进行了评价。另外，对有无相关性关系进行了统计性的相关性分析，并且在显著水平(α)为0.01以下的情况下判断为具有相关性。

根据各成分的血液循环量分布图，对脸部的规定部位的血液循环量是否有变化进行了解析。血液循环量分布图通过将在每个像素计算出的空间分布U排列于各像素的位置而生成。在如上述那样生成的各成分的血液循环量分布图中，对鼻窦周围以及前额部的血液循环量是否有变化进行了评价。此外，关于血液循环量分布图中鼻窦周围以及前额部的血液循环量是否有变化这一点，将通过目视(visual inspection)判断血液循环量是否有变化，或者如图1的(b)所示鼻窦周围以及前额部的血液循环量的值不为“0.000”来作为血液循环量是否有变化的基准。

另外，由于血液循环量数据X的极性(正负)通过空间分布U、奇异值S以及时间分布V的值的关系来确定，因此，有时在各成分的成分波形图和血液循环量分布图中极性会反转。因此，关于成分波形图和血液循环量分布图的评价，极性不作为评价对象。

然后，为了对脸部的皮肤温度和脸部的血液循环量的相关性关系进行验证，在从六名试验者以时间序列获取脸部的拍摄图像数据的期间，通过红外线热成像装置以时间序列还获取脸部皮肤温度数据，并且将MATLAB(注册商标)的SVD作为分析工具来对获取到的脸部皮肤温度数据也进行奇异值分解，从而生成基于奇异值S的各成分的成分波形图，进而对上述成分波形的振幅与脑非激活时和脑激活时是否具有相关性关系进行了解析。此外，在本试验中，采用了与上述试验相同的红外线热成像装置。另外，红外线相机设置于试验者的正面且距离试验者1.5米处的位置。

此外，在使用拍摄装置来获取脸部的拍摄图像数据的情况下，有时在拍摄中太阳光等照射到脸上而使光通过脸反射，从而致使上述反射光进入拍摄装置的透镜。由此，在拍摄到的脸部的拍摄图像数据中会记录有上述反射光。此处，在由拍摄图像数据得到的RGB数据中，由于基于脸部的血液循环量的明度的变化比基于反射光的明度的变化小，因此，可以认为，若对根据由记录有反射光的拍摄图像数据得到的RGB数据而计算出的血液循环量进行解析，则可能混入与脑活动无关的脸部的RGB变化(即干扰)。因此，为了防止混入上述这样与脑活动无关的脸部的RGB变化，通过将每三十秒的RGB数据的整体平均值设为“0”的相对RGB数据生成相对血液循环量数据，对于生成后的血液循环量数据，也采用MATLAB(注册商标)的SVD作为分析工具来进行奇异值分解，从而生成基于奇异值S的各成分的成分波形图和血液循环量分布图，进而进行了对表示反映了脑活动的脸部的RGB变化的成分进行确定的解析。

此外，以下，为了便于说明，将基于将每个规定时间(本试验中为每三十秒)的RGB数据的整体平均值设为“0”的相对RGB数据的相对血液循环量数据称为“相对换算血液循环量数据”，将基于换算成相对RGB数据前的RGB数据的血液循环量数据仅称为“血液循环量数据”。

另外，在通过拍摄装置从六名试验者获取脸部的时间序列的拍摄图像数据的期间，在各试验者的头皮上连接电极并测定脑波，从而对作为清醒时等的脑细胞活动时所呈现的波形而公知的β波(频率为13～30Hz的脑波)的振幅和成分波形图的振幅之间的相关性关系进行了评价。此外，在脑波测定中，根据国际标准10－20法，在头皮上十九个部位(Fp1、Fp2、F3、F4、C3、C4、P3、P4、O1、O2、F7、F8、T3、T4、T5、T6、Fz、Cz以及Pz)配置了电极。

此外，可以认为，在向试验者提供脑功能激活问题的期间，试验者的头上下运动。由此，试验者的脸部相对于拍摄装置的位置会发生变化。为了验证上述脸部的位置的变化是否对脸部的RGB变化有影响，对一名试验者进行了对照试验。在对照试验中，与上述试验相同，使用拍摄装置来获取试验者的脸部的时间序列的拍摄图像数据，但在未提供脑功能激活问题的期间(即，脑非激活时)，也在随机的时刻向试验者布置按键盘的作业。针对基于由通过上述对照试验拍摄到的脸部的时间序列的拍摄图像数据得到的RGB数据的时间序列的血液循环量数据，也采用MATLAB(注册商标)的SVD作为分析工具来进行奇异值分解，从而生成基于奇异值S的各成分的成分波形图，进而对上述成分波形的振幅与脑非激活时和脑激活时是否具有相关性关系进行了解析。此外，对各成分波形的振幅和实际的脸部的动作是否具有相关性关系进行了解析。实际的脸部的动作通过下述方式进行了评价：通过拍摄图像数据获取脸的相同部位的二维坐标，并且将对照实验开始时的拍摄图像数据作为基准来计算出拍摄时每三十秒的脸部的移动距离。并且，对各成分波形的振幅和拍摄中的键盘的输入数是否具有相关性关系也进行了解析。拍摄中的键盘的输入数通过计算出时间序列的拍摄图像数据中每三十秒的单纯移动平均值来评价。

(3)解析结果

(3－1)脸部皮肤温度数据的解析结果

图2是表示对基于温度换算数据的脸部皮肤温度数据进行解析后的部分结果的图。图2的(a)表示试验者一的成分二的成分波形图。图2的(b)表示试验者一的成分二的温度分布图。图3的(a)表示试验者一的成分三的成分波形图。图3的(b)表示试验者一的成分三的温度分布图。图4和图5是表示成分波形的振幅和脑波的关系的图。图4是表示试验者一的成分二的成分波形的振幅和测定出的脑波中的β波的振幅的图。图5是表示试验者一的成分三的成分波形的振幅和测定出的脑波中的β波的振幅的图。图6是表示对由对照实验得到的脸部皮肤温度数据进行解析后的部分结果的图。图6的(a)表示成分三的成分波形图。图6的(b)表示成分三的温度分布图。

表1示出了各试验者的脸部皮肤温度数据的解析结果。

通过对上述脸部皮肤温度数据进行解析得到的结果可知，通过奇异值分解将时间序列的脸部皮肤温度数据分解而得到的多个成分中的成分二以及/或者成分三和人类的脑活动之间具有显著的相关性。

(表1)

此外，如图4和图5所示，通过脑波解析的结果可知，成分二和成分三的各成分波形的振幅和脑波的β波的振幅之间具有显著的相关性。

此外，在对照实验中，即使在获取脸部皮肤温度数据的期间试验者处于运动状态，成分三和人类的脑活动之间也具有显著的相关性(参照图6)。由此可以认为，获取脸部皮肤温度数据时的试验者的动作对多个成分中的成分三没有影响。

根据上述结果，本发明者们得到下述见解。

通过采用奇异值分解将从试验者获取到的时间序列的脸部皮肤温度数据分解成多个成分、并且由对分解后的各成分进行解析后的结果可知，多个成分中的成分三是与脑活动相关的成分。即可知，通过采用奇异值分解将时间序列的脸部皮肤温度数据分解成多个成分，从分解后的多个成分提取出与脑激活/非激活相关的成分，并且利用选择性脑冷却机构对提取出的成分进行解析，从而能够从多个成分中对表示反映了皮肤温度的变化的成分进行确定。由此，本发明者们得到了下述见解：能够根据人类的脸部的皮肤温度来对脑活动进行推定。

(3－2)脸部的拍摄图像数据的解析结果

图7～图18是表示对基于脸部的拍摄图像数据(血液循环量数据)或脸部皮肤温度数据的成分波形图和测定出的脑波中的β波的波形图进行比较解析后的部分结果的图。图7是表示基于试验者一的拍摄图像数据的成分二的成分波形的振幅和测定出的试验者一的脑波中的β波的振幅的图。图8是表示基于试验者一的脸部皮肤温度数据的成分二的成分波形的振幅和测定出的试验者一的脑波中的β波的振幅的图。图9是表示基于试验者二的拍摄图像数据的成分二的成分波形的振幅和测定出的试验者二的脑波中的β波的振幅的图。图10是表示基于试验者二的脸部皮肤温度数据的成分二的成分波形的振幅和测定出的试验者二的脑波中的β波的振幅的图。图11是表示基于试验者三的拍摄图像数据的成分四的成分波形的振幅和测定出的试验者三的脑波中的β波的振幅的图。图12是表示基于试验者三的脸部皮肤温度数据的成分三的成分波形的振幅和测定出的试验者三的脑波中的β波的振幅的图。图13是表示基于试验者四的拍摄图像数据的成分三的成分波形的振幅和测定出的试验者四的脑波中的β波的振幅的图。图14是表示基于试验者四的脸部皮肤温度数据的成分二的成分波形的振幅和测定出的试验者四的脑波中的β波的振幅的图。图15是表示基于试验者五的拍摄图像数据的成分二的成分波形的振幅和测定出的试验者五的脑波中的β波的振幅的图。图16是表示基于试验者五的脸部皮肤温度数据的成分二的成分波形的振幅和测定出的试验者五的脑波中的β波的振幅的图。图17是表示基于试验者六的拍摄图像数据的成分四的成分波形的振幅和测定出的试验者六的脑波中的β波的振幅的图。图18是表示基于试验者六的脸部皮肤温度数据的成分三的成分波形的振幅和测定出的试验者六的脑波中的β波的振幅的图。

如图7～图18所示，通过各成分波形和脑波解析的结果可知，脸部的皮肤温度和脸部的血液循环量具有相关性关系。此外，基于脸部的皮肤温度数据以及脸部的血液循环量数据中的任一数据的解析也可知，各成分波形的振幅和安装于头顶部或后头部的电极测定出的脑波的β波的振幅之间具有显著的相关性。

如下所示的表2示出了各试验者的脸部的拍摄图像数据的解析结果。

(表2)

如表2所示，通过由上述脸部的拍摄图像数据的解析得到的结果可知，在对基于脸部的拍摄图像数据的时间序列的血液循环量数据进行奇异值分解而得到的多个成分中，成分一、成分二、成分三、成分四、成分五和人类的脑活动之间具有显著的相关性。另外，在此认为，不仅在基于血液循环量数据的相关性中被观察到具有显著的相关性且在基于相对换算血液循环量数据的相关性中被观察到具有显著的相关性的成分与人类的脑活动具有显著的相关性，而且虽然在基于血液循环量数据的相关性中未被观察到具有显著的相关性但在基于相对换算血液循环量的相关性中被观察到具有显著的相关性的成分也与人类的脑活动具有显著的相关性。

此外，如下所示的表3示出了对照实验的结果。

(表3)

与脑休息时/脑激活时具有相关性关系的成分	成分一、成分二
		与脸部移动距离具有相关性关系的成分	成分一、成分三、成分四
与键盘输入数具有相关性关系的成分	成分八

如表3所示，在对照实验中，在获取脸部的拍摄图像数据的期间试验者有动作的情况下，未发现成分二分别与移动距离和键盘输入数之间具有显著的相关性，其中，成分二是上述成分波形的振幅与脑非激活时和脑激活时之间具有显著的相关性的成分中的成分。由此可知，在通过对基于从脸部的拍摄图像数据获取到的RGB数据的血液循环量数据进行奇异值分解而得到的多个成分中，与脑活动之间具有显著的相关性的成分虽然受到由在获取脸部的时间序列的拍摄图像数据时的试验者的动作产生的影响，但上述影响远比由脑的脑活动产生的影响(由脑激活或非激活产生的影响)小。

根据上述结果，本发明者们得到下述见解。

采用奇异值分解将通过基于从试验者获取到的时间序列的脸部的拍摄图像数据的脸部的RGB数据得到的血液循环量数据分解成多个成分，并且通过对分解后的各成分进行解析后的结果可知，多个成分中的成分一、成分二、成分三、成分四和成分五是与脑活动有关的成分。即可知，通过采用奇异值分解将通过基于时间序列的脸部的拍摄图像数据的脸部的RGB数据得到的血液循环量数据分解成多个成分，从分解后的多个成分提取出与脑激活/脑非激活相关的成分，并且对提取出的成分进行解析，从而能够从多个成分中对表示反映了脑活动的脸部的RGB变化的成分进行确定。由此，本发明者们得到了下述见解：能够根据人类的脸部的时间序列的拍摄图像数据来对脑活动进行推定。

(4)脑活动可视化装置

接着，根据上述说明的见解，对本发明者们完成的本发明的一实施方式的脑活动可视化装置10、110进行说明。此外，本发明的脑活动可视化装置不限定于下述实施方式，能够在不脱离其主旨的范围内进行适当的变更。

本发明的一实施方式的脑活动可视化装置10、110包括：脑活动推定单元30，该脑活动推定单元30根据脸部皮肤温度数据对脑活动进行推定；以及/或者脑活动推定单元130，该脑活动推定单元130根据脸部的拍摄图像数据对脑活动进行推定。以下，在对本发明的一实施方式的脑活动可视化装置10、110进行说明前，对各脑活动推定单元30、130进行说明。

(4－1)根据脸部皮肤温度对脑活动进行推定的脑活动推定单元30

图19是本发明的一实施方式的脑活动可视化装置10的示意图。图20是表示在脑活动可视化装置10中对表示反映了脑功能的皮肤温度的变化的成分进行确定时的处理的流程的流程图。

脑活动可视化装置10所包括的脑活动推定单元30通过个人(试验者)的脸部的皮肤温度对个人的脑活动进行推定。如图19所示，脑活动可视化装置10包括脸部皮肤温度获取单元20、脑活动推定单元30以及状态可视化单元200。

脸部皮肤温度获取单元20对个人的脸部的至少一部分的皮肤温度进行检测，并且以时间序列获取包括检测出的温度数据以及其检测部位的位置数据的脸部皮肤温度数据(步骤S1)。此外，此处，脸部皮肤温度获取单元20是红外线热成像装置，如图19所示，该脸部皮肤温度获取单元20具有红外线相机21和处理部22。红外线相机21用于对从个人的脸部辐射出的红外线辐射能进行检测。接着，此处，红外线相机21从个人的整个脸部对红外线辐射能进行检测。处理部22将由红外线相机21检测出的红外线辐射能转换成温度以作为温度数据，并且生成将检测出红外线辐射能的部位作为位置数据(坐标数据)的整个脸部的脸部皮肤温度的温度分布图，将生成后的温度分布图作为基于温度换算数据的脸部皮肤温度数据进行处理。基于温度换算数据的脸部皮肤温度数据储存于处理部22具有的存储部(未图示)。

此处，在处理部22生成整个脸部的脸部皮肤温度的温度分布图，但不限定于此，也可以生成至少包括鼻窦周围以及/或者前额部的脸部皮肤温度的温度分布图，并且将上述温度分布图作为基于温度换算数据的脸部皮肤温度数据。

此外，此处，在采用脸部皮肤温度获取单元20对基于温度换算数据的脸部皮肤温度数据进行获取的期间，在一定期间内向个人提供脑功能激活问题。即，采用脸部皮肤温度获取单元20获取的、基于温度换算数据的脸部皮肤温度数据包括向个人提供脑功能激活问题期间的数据。此外，作为向个人提供的脑功能激活问题，只要推定为能够使人脑处于激活状态，则不做特别的限定，例如，可以根据脑活动可视化装置10的利用目的来适当地确定上述脑功能激活问题的内容。

脑活动推定单元30根据由脸部皮肤温度获取单元20获取到的基于温度换算数据的脸部皮肤温度数据来对人类的脑活动进行推定。具体而言，如图19所示，脑活动推定单元30具有换算部31、解析部32和推定部33。

换算部31将基于温度换算数据的脸部皮肤温度数据所包含的温度数据换算成相对温度数据，然后生成基于换算后的相对温度数据的脸部皮肤温度数据即基于相对温度换算数据的脸部皮肤温度数据(步骤S2)。具体而言，换算部31将基于每个规定时间(例如，30秒)的温度换算数据的脸部皮肤温度数据所包含的温度数据的平均值作为基准值，并且将该温度数据换算成相对温度数据。接着，换算部31利用换算后的相对温度数据和位置数据来生成基于相对温度换算数据的脸部皮肤温度数据。

解析部32通过奇异值分解、主成分分析或独立成分分析分别将基于时间序列的温度换算数据的脸部皮肤温度数据和基于相对温度换算数据的脸部皮肤温度数据分解成多个成分(步骤S3)。此处，解析部32分别将获取到的基于温度换算数据的脸部皮肤温度数据和换算后的基于相对温度换算数据的脸部皮肤温度数据作为对象，并且采用MATLAB(注册商标)的SVD作为分析工具来进行奇异值分解。针对以时间序列获取到的基于温度换算数据的脸部皮肤温度数据和基于相对温度换算数据的脸部皮肤温度数据，通过将因子设为每个规定期间(例如，30秒)的时间数据，并且将测度设为上述期间的基于温度换算数据的脸部皮肤温度数据和基于相对温度换算数据的脸部皮肤温度数据，从而进行奇异值分解。接着，通过奇异值分解分别将基于温度换算数据的脸部皮肤温度数据和基于相对温度换算数据的脸部皮肤温度数据分解成多个成分，然后计算出时间分布、空间分布以及表示各成分大小的奇异值。

此外，为了从由奇异值分解分解出的多个成分来对表示反映了脑活动的皮肤温度的变化的成分进行确定，解析部32对各成分是否满足第一条件和第二条件进行判定(步骤S4a、步骤S4b、步骤S5a、步骤S5b)。另外，此处，在解析部32中，首先对基于与温度换算数据对应的脸部皮肤温度数据的各成分是否满足第一条件进行判定(步骤S4a)，对在步骤S4a中判定为满足第一条件的、基于与温度换算数据对应的脸部皮肤温度数据的成分是否满足第二条件进行判定(步骤S4b)。接着，仅对基于与相对温度换算数据对应的脸部皮肤温度数据的各成分中的、与在步骤S4a和步骤S4b中判定为满足第一条件和第二条件的成分一致的成分是否满足第一条件进行判定(步骤S5a)，然后，对在步骤S5a中判定为满足第一条件的、基于与相对温度换算数据对应的脸部皮肤温度数据的成分是否满足第二条件进行判定(步骤S5b)。不过，解析部32的上述判定的顺序不限定于此，例如，可以分别对基于与温度换算数据对应的脸部皮肤温度数据的各成分以及基于与相对温度换算数据对应的脸部皮肤温度数据的各成分是否满足第一条件和第二条件进行判定，最后提取出判定结果一致的成分。

第一条件是指通过奇异值分解分解出的成分的成分波形的振幅与脑非激活时以及脑激活时的变化具有相关性关系的条件。解析部32提取出多个成分中满足第一条件的成分以作为判定用成分。另外，此处，在获取基于温度换算数据的脸部皮肤温度数据的期间，向个人提供脑功能激活问题的期间是一定期间。解析部32将未向个人提供脑功能激活问题的期间设为脑非激活时，将向个人提供脑功能激活问题的期间设为脑激活时，并且将提供有脑功能激活问题的期间以及未提供有脑功能激活问题的期间和各成分的成分波形进行比较和解析。解析部32利用基于成分波形数据的比较解析结果来对各成分的成分波形是否与脑非激活时和脑激活时具有相关性关系进行评价，并且将多个成分中评价为具有相关性关系的成分提取并作为满足第一条件的判定用成分。另一方面，解析部32判定多个成分中评价为不具有相关性关系的成分不满足第一条件，不是表示反映了人类的脑活动的温度变化的成分(步骤S6)。

此处，在获取基于温度换算数据的脸部皮肤温度数据时，在一定期间内向个人提供脑活动激活问题，解析部32藉此提取出判定用成分，但是，第一条件的内容即解析部32中判定用成分的提取手段不限定于此。例如，在通过预先实验等确定多个成分中表示与脑非激活时和脑激活时具有相关性关系的成分波形的成分的情况下，解析部32将从多个成分中确定的上述成分提取以作为判定用成分。此外，在本脑活动可视化装置对眼球运动或眨眼等作为与脑激活/非激活有关的动作而公知的人类的动作进行检测的情况下，解析部32可以通过将上述检测结果和各成分的成分波形进行比较、解析和评价，从而从多个成分中提取出判定用成分。另外，通过解析部32进行是否满足第一条件的判定的基准根据脑活动可视化装置10的利用目的等并且通过模拟或实验、理论计算等来适当地确定。

第二条件是指在提取出的判定用成分中，人类的脸部的规定部位的温度有变化的条件。解析部32将判定用成分中满足第二条件的成分判定为与人类的脑活动有关的可能性较高的成分，并且提取上述成分以作为候补成分。也就是说，解析部32根据人类的脸部的规定部位的温度是否有变化来对判定用成分是否与人类的脑活动有关进行判定。具体而言，解析部32根据提取出的判定用成分的温度分布数据来对鼻窦周围以及/或者前额部的温度是否发生变化进行判定，在温度发生变化的情况下，判定上述判定用成分是满足第二条件的、与人类的脑活动有关的可能性较高的成分，从而将上述成分提取以作为候补成分。另一方面，在鼻窦周围以及/或者前额部的温度没有发生变化的情况下，解析部32判定上述判定用成分不满足第二条件，不是表示反映了脑活动的皮肤温度的变化的成分(步骤S6)。此外，通过解析部32进行是否满足第二条件的判定的基准根据脑活动可视化装置10的利用目的等并且通过模拟或实验、理论计算等来适当地确定。

接着，解析部32将在步骤S5b中判定为满足第二条件的成分确定为表示反映了脑活动的皮肤温度的变化的成分(步骤S7)。也就是说，在步骤S7中确定为表示反映了脑活动的皮肤温度的变化的成分是通过对基于温度换算数据的脸部皮肤温度数据进行奇异值分解、解析而提取出的候补成分和通过对基于相对温度换算数据的脸部皮肤温度数据进行奇异值分解、分析而提取出的候补成分之间一致的成分。此外，关于在两种解析中不一致的候补成分，在步骤S6中判定为不是表示反映了脑活动的皮肤温度的变化的成分。

推定部33根据解析部32中确定为表示反映了人类的脑活动的皮肤温度的变化的成分的成分来对人类的脑活动进行推定。具体而言，推定部33根据在解析部32中确定的成分的成分波形数据来对获取脸部皮肤温度数据时的脑活动量进行推定。

(4－1－1)变形例1A

上述脑活动推定单元30具有换算部31，采用换算部31生成基于相对温度换算数据的脸部皮肤温度数据。接着，解析部32通过奇异值分解不仅将由脸部皮肤温度获取单元20获取到的基于温度换算数据的脸部皮肤温度数据、而且将基于与换算成相对温度数据的温度数据对应的相对温度数据的脸部皮肤温度数据也分解成多个成分，并且对各成分进行解析。

作为替代，脑活动推定单元30可以不具有换算部31。在这种情况下，能够省略对基于相对温度换算数据的脸部皮肤温度数据进行生成以及对基于与相对温度换算数据对应的脸部皮肤温度数据的数据进行解析的处理。

但是，为了高精度地确定与人类的脑活动有关的成分，较佳的是，如上述实施方式所述，脑活动推定单元30具有换算部31，使解析部32通过奇异值分解不仅将由脸部皮肤温度获取单元20获取到的基于温度换算数据的脸部皮肤温度数据、而且将基于与换算成相对温度数据的温度数据对应的相对温度数据的脸部皮肤温度数据也分解成多个成分，并且对各成分进行解析。

(4－1－2)变形例1B

此外，上述脸部皮肤温度获取单元20是能够在与对象物不接触的状态下获取温度数据的红外线热成像装置。

但是，只要能够对个人的脸部的至少一部分的皮肤温度进行检测，并且以时间序列获取包括检测出的温度数据以及其检测部位的位置数据的脸部皮肤温度数据，则脸部皮肤温度获取单元也不限定于红外线热成像装置。

例如，脸部皮肤温度获取单元可以是包括温度传感器的装置。具体而言，可以在个人的脸部的规定部位安装温度传感器，根据温度传感器检测出的温度数据以及安装温度传感器的部位的位置数据来获取时间序列的脸部皮肤温度数据。这样，即使在温度传感器在与作为对象的个人接触的状态下获取脸部皮肤温度数据的情况下，温度传感器也不像脑波电极等那样需要进行安装前的处理，因此，与脑波测量法、磁共振图像法以及近红外线分光法等现有检测方法相比，能够简便地获取数据。藉此，能够简便地对人类的脑活动进行推定。

(4－2)根据脸部的拍摄图像数据对脑活动进行推定的脑活动推定单元130

图21是本发明的实施方式的脑活动可视化装置110的示意图。图22是表示在脑活动可视化装置110中对表示反映了脑功能的脸部的RGB变化的成分进行确定时的处理的流程的一例的流程图。

脑活动可视化装置110所包括的脑活动推定单元130通过个人(试验者)的脸部的拍摄图像数据对个人的脑活动进行推定。如图21所示，脑活动可视化装置110包括图像数据获取单元120、脑活动推定单元130以及状态可视化单元200。

图像数据获取单元120以时间序列获取个人的脸部的至少一部分的拍摄图像数据(步骤S101)。此外，只要是至少具有拍摄装置的设备，则对图像数据获取单元120不做特别的限定，例如，可以列举智能手机或平板电脑(例如，iPad：注册商标)等内置拍摄装置型移动终端等。此处，如图21所示，图像数据获取单元120具有作为拍摄装置的相机121和存储部122。相机121用于以时间序列获取个人的脸部的拍摄图像数据。此处，相机121对个人的整个脸部的动画进行拍摄，从而获取拍摄到的动画数据。存储部122对由拍摄装置拍摄到的时间序列的拍摄图像数据进行储存。此处，存储部122对通过相机121获取到的动画数据进行储存。

另外，此处通过相机121对整个脸部的动画进行拍摄，但不限定于此，只要对脸部的至少包括前额部以及/或者鼻窦周围的图像的动画进行拍摄即可。

此外，此处，在采用图像数据获取单元120对脸部的时间序列的拍摄图像数据进行获取的期间，在一定期间内向个人提供脑功能激活问题。也就是说，采用图像数据获取单元120获取的拍摄图像数据包括向个人提供脑功能激活问题期间的数据。此外，作为向个人提供的脑功能激活问题，只要推定为能够使人脑处于激活状态，则不做特别的限定，例如，可以根据脑活动可视化装置110的利用目的来适当地确定上述脑功能激活问题的内容。

脑活动推定单元130根据由图像数据获取单元120获取到的脸部的时间序列的拍摄图像数据来对人类的脑活动进行推定。具体而言，如图21所示，脑活动推定单元130具有RGB处理部131、换算部132、血液循环量计算部133、解析部134以及推定部135。另外，在图21中示出了脑活动推定单元130作为一个具有RGB处理部131、换算部132、血液循环量计算部133、解析部134和推定部135的装置而存在的形态，但在本发明中不限定于此，上述脑活动推定单元130也可作为RGB处理部131、换算部132、血液循环量计算部133、解析部134以及推定部135的一部分独立或互相独立的装置而存在。此外，此处，脸部血液循环量获取单元通过图像数据获取单元120、RGB处理部131、换算部132以及血液循环量计算部133构成。

RGB处理部131进行将由图像数据获取单元120获取到的拍摄图像数据分解成R成分、G成分以及B成分的三种颜色成分的RGB处理(步骤S102)。在此，可以对整个脸部的拍摄图像数据进行RGB处理，但此处，为了减少运算处理量和干扰，从拍摄图像数据提取出前额部以及/或者鼻窦周围的数据，并且仅对提取出的数据进行RGB处理。

换算部132将由RGB处理获得的拍摄图像数据的RGB数据换算成相对RGB数据(步骤S103)。具体而言，换算部132将从每个规定时间(例如，30秒)获取到的拍摄图像数据得到的RGB数据的平均值作为基准值，并且将上述RGB数据换算成相对RGB数据。

血液循环量计算部133根据由RGB处理获得的拍摄图像数据的RGB数据来计算出脸部的时间序列的血液循环量数据(步骤S104)。

解析部134通过奇异值分解、主成分分析或独立成分分析将时间序列的相对换算血液循环量数据分解成多个成分(步骤S105)。此处，解析部134采用MATLAB(注册商标)的SVD作为分析工具来对相对换算血液循环量数据进行奇异值分解。具体而言，通过将时间序列的相对换算血液循环量数据设为对象，将因子设为每个规定期间(例如，30秒)的时间数据，并且将测度设为从每个上述期间的相对RGB数据运算出的每个像素的相对换算血液循环量数据，从而进行奇异值分解。接着，通过奇异值分解将时间序列的相对换算血液循环量数据分解成多个成分，然后计算出时间分布、空间分布以及表示各成分大小的奇异值。

此外，为了从通过奇异值分解分解出的多个成分中对表示反映了脑活动的脸部的RGB变化的成分进行确定，解析部134对各成分是否满足规定条件进行判定(步骤S106)。在此，规定条件例如包括通过奇异值分解分解出的成分的成分波形的振幅与脑非激活时和脑激活时的变化具有相关性关系的条件(以下，称为第一条件)，以及在通过奇异值分解分解出的成分中人类的脸部的规定部位的血液循环量有变化的条件(以下，称为第二条件)等。作为在解析部134中进行判定的规定条件，只要设定一个或多个条件即可，此处，设定第一条件以作为规定条件。

接着，解析部134提取出多个成分中满足规定条件的成分以作为判定用成分。然后，解析部134将提取出的判定用成分中的、满足包含于规定条件的所有条件的成分确定为表示反映了脑活动的脸部的RGB变化的成分(步骤S107)。另一方面，解析部134将多个成分中的、判定为至少不满足包含于规定条件的一个条件的成分判定为不是表示反映了脑活动的脸部的RGB变化的成分(步骤S108)。

此处，如上所述，仅设定一个条件(第一条件)作为规定条件，在对脸部的时间序列的拍摄图像数据进行获取的期间，向个人提供脑功能激活问题的期间是一定期间。因此，解析部134将未向个人提供脑功能激活问题的期间设为脑非激活时，将向个人提供脑功能激活问题的期间设为脑激活时，并且将提供有脑功能激活问题的期间以及未提供有脑功能激活问题的期间与各成分的成分波形进行比较和解析。接着，解析部134利用基于成分波形数据的比较解析结果来对各成分的成分波形是否与脑非激活时和脑激活时具有相关性关系进行评价，并且将多个成分中评价为具有相关性关系的成分提取并作为满足规定条件的判定用成分，并且将其确定为表示反映了脑活动的脸部的RGB变化的成分。另一方面，解析部134判定多个成分中评价为不具有相关性关系的成分不满足规定条件，不是表示反映了人类的脑活动的脸部的RGB变化的成分。

此处，在获取脸部的时间序列的拍摄图像数据时，在一定期间内向个人提供脑活动激活问题，解析部134藉此提取出判定用成分，但是，第一条件的内容即解析部134中判定用成分的提取手段不限定于此。例如，在通过预先实验等确定多个成分中表示与脑非激活时和脑激活时具有相关性关系的成分波形的成分的情况下，解析部134将从多个成分中确定的上述成分提取以作为判定用成分。此外，在脑活动可视化装置110对眼球运动或眨眼等作为与脑激活/非激活有关的动作而公知的人类的动作也进行检测的情况下，解析部134可以通过将上述检测结果和各成分的成分波形进行比较、解析和评价，从而从多个成分中提取出判定用成分。另外，通过解析部134进行是否满足第一条件的判定的基准根据脑活动可视化装置110的利用目的等并且通过模拟或实验、理论计算等来适当地确定。

此外，在设定第二条件作为规定条件的情况下，解析部134根据人类的脸部的规定部位处脸部的血液循环量是否有变化来提取判定用成分。具体而言，解析部134根据与通过奇异值分解分解出的多个成分对应的血液循环量分布图来对鼻窦周围以及/或者前额部的血液循环量是否发生变化进行判定，在血液循环量发生变化的情况下，判定上述成分满足第二条件。另一方面，鼻窦周围以及/或者前额部的血液循环量没有发生变化的情况下，解析部134判定上述成分不满足第二条件。另外，通过解析部134进行是否满足第二条件的判定的基准根据脑活动可视化装置110的利用目的等并且通过模拟或实验、理论计算等来适当地确定。

此外，在通过血液循环量计算部133对基于换算成相对RGB数据前的RGB数据的时间序列的血液循环量数据进行计算的情况下，可以通过解析部134对通过对上述血液循环量数据进行奇异值分解等而得到的多个成分是否满足上述第一条件以及/或者第二条件进行判定，从而提取判定用成分。

推定部135根据解析部134中确定为表示反映了人类的脑活动的脸部的RGB变化的成分的成分来对人类的脑活动进行推定。具体而言，推定部135根据在解析部134中确定的成分的成分波形数据来对获取脸部的拍摄图像数据时的脑活动量进行推定。

(4－2－1)变形例2A

如上所述，作为相机121，例如能够利用智能手机或平板电脑(例如，ipad：注册商标)等内置拍摄装置型移动终端等。也就是说，上述拍摄图像数据能够采用对可视光区域的图像进行拍摄所得到的数据。

此外，在上述血液循环量计算部133中，可以主要采用包含于RGB数据的各像素中的R成分来计算出脸部的血液循环量数据。另外，只要能够根据RGB数据计算出血液循环量数据，血液循环量数据未必限定于红斑指数。

(4－2－2)变形例2B

上述血液循环量计算部133根据由换算部132换算得到的相对RGB数据来计算出相对换算血液循环量数据，但作为替代或在此基础上，也可根据换算成相对RGB数据前的RGB数据来计算出血液循环量数据。在此，在根据换算成相对RGB数据前的RGB数据计算出的血液循环量数据中，由于与脑活动相关的成分容易出现(检验力较高)，因此，例如，相比根据相对RGB数据计算出的相对换算血液循环量数据，可以先对根据换算成相对RGB数据前的RGB数据计算出的血液循环量数据进行解析。此外，例如，能够通过下述方式来减少运算处理量：首先对血液循环量数据进行解析来提取出具有显著的相关性的成分，然后，关于相对换算血液循环量数据，仅对与上述提取出的成分对应的成分进行解析。

(4－2－3)变形例2C

上述相机121是以可视光区域的通常的相机为前提的，但也能够采用红外线相机。在这种情况下，照射红外光，通过红外线相机对上述红外光的反射波进行拍摄。藉此，能够获得对象者的脸部变化等的拍摄图像数据。本发明者们确认了下述情况：通过由红外线的反射得到的拍摄图像数据计算出的血液循环量数据和主要采用包含于在可视光区域拍摄到的RGB数据的各像素中的R成分计算出的血液循环量数据具有相关性。因此，即使采用通过上述这样的红外线的反射得到的拍摄图像数据，也能够对人类的脑活动进行推定。

(4－2－4)变形例2D

此外，在上述说明中，脑活动可视化装置110采用包括图像数据获取单元120和脑活动推定单元130的形态，但本实施方式的脑活动可视化装置不限定于上述形态。也就是说，只要本实施方式的脑活动可视化装置包括血液循环量计算部133、解析部134和推定部135，则该脑活动可视化装置的其它结构能够采用任意的形态。具体而言，本实施方式的脑活动可视化装置不仅包括该装置自身对图像数据进行拍摄的形态，还包括从外部的装置接受拍摄图像数据并且对上述数据进行解析的形态。(4－3)状态可视化单元200

状态可视化单元200以根据由脑活动推定单元30以及/或者脑活动推定单元130推定出的对象者的脑活动来表示对象者的生理状态的方式进行可视化。例如，状态可视化单元200可以具有通过对对象者的脑活动量的变化进行解析来对对象者的生理状态进行解析的解析部201。具体而言，解析部201通过对与向对象者提供的刺激(视觉刺激、听觉刺激、触觉刺激、嗅觉刺激或味觉刺激等)对应的脑活动量的变化进行解析来对对象者的生理状态进行判定。此外，关于生理状态的种类或等级，可以基于脑活动量的上升程度以及/或者持续时间并且根据脑活动可视化装置10、110的用途进行适当的设置。接着，通过从状态可视化单元200的显示部202向管理者输出由解析部201解析得到的对象者的生理状态，从而能够使管理者了解对象者的生理状态。作为显示部202，只要是显示图像或消息的显示设备等能够将与解析得到的对象者的生理状态相关的信息可视化并提供给管理者的设备即可。

此外，在解析部32、134中确定了反映脑活动的成分后，进一步通过脸部皮肤温度获取单元20以及/或者图像数据获取单元120来获取时间序列的各种数据的情况下，通过在脑活动可视化装置10、110中进一步采用奇异值分解将获取的各种数据分解成多个成分，并且仅对确定后的成分进行解析，从而能够实时地了解对象者的生理状态。

此外，虽然目前具有通过试验者的脸部的皮肤温度或拍摄到的图像来获取试验者的心跳信息和生物信息等技术，但通过对针对由脸部皮肤温度获取单元20以及/或者图像数据获取单元120得到的各种数据进行奇异值分解等而得到的成分采用目前的技术，能够高精度地获取心跳信息和生物信息。因此，可以使解析部32以及/或者解析部134具有对奇异值分解得到的多个成分进行解析来获取心跳信息和生物信息的功能，可以使上述实施方式的推定部33、135具有根据获取到的心跳信息和生物信息对交感神经/副交感神经的动作进行推定的功能。

(5)特征

(5－1)

在本实施方式中，根据由脸部皮肤温度获取单元20以及/或者图像数据获取单元120获取到的时间序列的脸部皮肤温度数据以及/或者脸部血液循环量数据对人类的脑活动进行推定。因此，即使不安装脑波电极等安装前需要进行处理的传感器，也能够对人类的脑活动进行推定。因此，能够简便地对人类的脑活动进行推定，并且根据推定后的脑活动将对象者的生理状态可视化。

(5－2)

在此，在获取时间序列的脸部的皮肤温度数据以及/或者图像数据时，在通过向人类实际提供脑功能激活问题或不提供脑功能激活问题来制造人类的脑被激活或未被激活的状态的情况下，可以认为，各成分的成分波形与脑激活时以及脑非激活时之间具有相关性关系的成分是作为表示反映了脑活动的皮肤温度以及/或者血液循环量的变化的成分的可能性较高的成分。

在本实施方式中，在通过脸部皮肤温度获取单元20以及/或者图像数据获取单元120来获取时间序列的脸部的皮肤温度数据以及/或者图像数据的期间，在一定期间内向个人提供脑功能激活问题。也就是说，在本实施方式中，通过向个人实际提供脑功能激活问题或不提供脑功能激活问题来制造人类的脑被激活或未被激活的状况。接着，通过奇异值分解将如上所述获取到的时间序列的各种数据分解成多个成分，并且对各成分的成分波形和脑激活时以及脑非激活时的相关性关系进行评价，从而从多个成分中提取出具有相关性关系的成分以作为判定用成分。因此，例如，与从多个成分中提取出通过预先实验等所确定的规定成分以作为提取用成分的情况相比，能够降低从多个成分中提取出与人类的脑活动的相关性较低的成分以作为提取用成分的可能性。

(5－3)

在此，脑具有选择性脑冷却机构这样独立于体温的、对脑进行冷却的结构。已知，选择性脑冷却机构利用前额部和鼻窦周围将由脑活动产生的热量排出。这样，伴随着脑活动的脸部皮肤温度以及与脸部皮肤温度相关的脸部的血液循环量的变化会出现在前额部以及/或者鼻窦周围。

在本实施方式中，对前额部以及/或者鼻窦周围的各种数据进行解析，从而提取出判定用成分。因此，能够高精度地提取出与人类的脑活动相关的成分。

(6)脑活动可视化装置的用途例(疲劳状态判定装置)

对应用了本发明的脑活动可视化装置的疲劳状态判定装置进行说明。

(6－1)疲劳状态判定装置的结构

图23是表示本实施方式的疲劳状态判断装置的一例的示意图。

疲劳状态判断装置400包括输入部410、拍摄部415、输出部420、存储部430以及处理部440。

输入部410将各种信息输入至疲劳状态判定装置400。例如，输入部410由键盘、鼠标以及/或者触摸屏等构成。经由上述输入部410将各种命令输入至疲劳状态判定装置400，并且在处理部440执行与命令对应的处理。

拍摄部415对对象者300的包括脸部在内的“脸部图像”进行拍摄。例如，拍摄部415由对RGB图像进行获取的CCD以及CMOS等固体拍摄元件或对热谱图进行获取的红外线相机等构成。通过将红外线相机用于拍摄部415，从而能够不受周围的亮度的影响地判定疲劳状态。特别地，在夜间容易发生由于疲劳引起的事故等。在上述这样的情况下，通过在第一实施方式的疲劳状态判定装置400装载红外线相机，从而能够对夜间的疲劳状态进行监视。较佳的是，红外线相机等能够在通常的室温条件下以较高的灵敏度对从29.0℃到37.0℃的范围进行检测。此外，拍摄部415能够以规定的间隔进行连续的拍摄。在对脸部图像进行拍摄的情况下，较佳的是，从正面进行拍摄，以一定的照明进行拍摄。在由于姿势变动而无法获得正面图像的情况下，采用摄动空间法对姿势变动图像的脸的三维形状进行推定，接着通过渲染成正面图像从而获得脸部图像。关于照明变动图像，采用将漫反射模型构建于基底的人脸的照明基础模型(日文：照明基底モデル)来获得一定照明条件的脸部图像。接着，通过拍摄部415将连续拍摄得到的脸部图像送出至处理部440。

输出部420将各种信息从疲劳状态判定装置400输出。例如，输出部420由显示器和扬声器等构成。此处，通过输出部420将后述的脑功能激活信息提供给对象者300。

存储部430对输入至疲劳状态判定装置400的信息以及由疲劳状态判定装置400计算出的信息等进行存储。例如，存储部430由存储器和硬盘装置等构成。此外，存储部430对用于实现后述的处理部440的各功能的程序进行存储。此处，存储部430具有脑功能激活信息数据库431和基准信息数据库432。

脑功能激活信息数据库431对激活人类的脑功能的脑功能激活信息进行存储。此处，能够使用与人类的脑的工作记忆相关的工作记忆相关信息等作为“脑功能激活信息”。作为“工作记忆相关信息”，是与需要记忆力和判断力的问题相关的信息，能够列举：心算问题、计算问题以及Nback(返回)任务(日文：Nバックタスク)这样的默记问题；如象形图问题(日文：ピクトグラム課題)这样的、从多个信息中做出最合适的选择的问题；以及中途切换问题的注意切换问题等。此处，通过让对象者300解决显示于显示装置等的心算问题，将对象者300的脑激活，从而使用工作记忆。

如图24所示，基准信息数据库432使规定范围的变化量Δr(＝r1－r2)与“疲劳状态等级”相关联并且预先作为“基准信息”进行存储，其中，上述规定范围的变化量Δr(＝r1－r2)是指与相对于由后述的判定用信息生成部444提取出的脑功能激活信息的基准判定用成分的“基准相关值”r1相比，相对于脑功能激活信息的判定用成分的相关值r2的规定范围的变化量。“基准判定用成分”通过进行规定行动之前提取出的判定用成分的数据、上一次提取出的判定用成分的数据以及从外部提供的判定用成分的数据等进行设定。在图24所示的例子中，基准信息数据库432根据变化量Δr的值的范围，将Δr＝Δra～Δrb为止的值作为“正常状态”进行存储，将Δrb～Δrc为止的值作为“轻疲劳状态”进行存储，将Δrc～Δrd为止的值作为“疲劳状态”进行存储。此处，值按照Δra、Δrb、Δrc、Δrd的顺序变大。另外，基准判定用成分的数据也存储于基准信息数据库432。

处理部440执行疲劳状态判定装置400中的信息处理。具体而言，处理部440由CPU和高速缓存器等构成。处理部440通过执行存储于存储部430的程序来起到脑功能激活信息提供部441、脸部变化信息获取部442、脸部变化信息分解部443、判定用信息生成部444以及疲劳状态判定部445的作用。

脑功能激活信息提供部441提供脑功能激活信息。例如，脑功能激活信息提供部441根据输入部410的操作，从脑功能激活信息数据库431读取脑功能激活信息，并且将上述脑功能激活信息输出至输出部420。

脸部变化信息获取部442从由拍摄部415拍摄到的脸部图像获取“脸部数据”以及表示脸部数据的时间序列变化的“脸部变化信息”。具体而言，脸部变化信息获取部442以与脑功能激活信息提供部441提供脑功能激活信息的时刻同步的方式经由拍摄部415获取脸部数据。接着，脸部变化信息获取部442从持续获取到的脸部数据获取表示对象者300的脸部数据的时间序列变化的脸部变化信息。例如，在以规定间隔获取到六十点240×320像素的脸部数据的情况下，脸部变化信息是4，608，000个数据的集合。获取到的脸部变化信息被送出至脸部变化信息分解部443。此外，在拍摄部415为红外线相机的情况下，脸部变化信息获取部442获取表示对象者300的脸部的皮肤温度的脸部皮肤温度数据以作为脸部数据。此外，在拍摄部415为CCD以及CMOS等固体拍摄元件的情况下，脸部变化信息获取部442获取对象者300的脸部的基于RGB数据的脸部血液循环量数据以作为脸部数据。另外，脸部变化信息获取部442可以仅获取对象者300的鼻窦周围以及/或者前额部的数据以作为脸部数据。

脸部变化信息分解部443通过奇异值分解、主成分分析或独立成分分析将作为多个数据的集合的脸部变化信息分解成多个成分一、成分二、成分三、……。分解出的各成分的信息被送出至判定用信息生成部444。在此，在将脸部变化信息进行了奇异值分解等的情况下，从奇异值较高的成分开始设定为成分一、成分二、成分三、……。此外，奇异值越高的成分越容易反映变动较大的影响。因此，在成分一中，相比提供脑功能激活信息的影响，往往反映了外部环境的干扰等的影响。

判定用信息生成部444根据脸部变化信息生成判定用信息。具体而言，判定用信息生成部444从多个成分一、成分二、成分三、……提取出与脑功能激活信息相关的成分以作为“判定用成分”，并且根据判定用成分生成判定用信息。详细而言，判定用信息生成部444计算出提取出的判定用成分与脑功能激活信息的相关值r。具体而言，判定用信息生成部444计算出由脸部变化信息分解部443求出的多个成分一、成分二、成分三、……和脑功能激活信息的相关值r。接着，在计算出的相关值r为规定值以上的情况下，判定用信息生成部444将与上述相关值r对应的成分设定为与脑功能激活信息相关的成分。然后，判定用信息生成部444根据危险率的值来提取判定用成分。也就是说，判定用信息生成部444提取出危险率较低的成分以作为判定用成分。提取出的判定用成分以及计算出的相关值r被送出至存储部430或疲劳状态判定部445。

疲劳状态判定部445根据包括判定用成分的判定用信息对对象者300的疲劳状态进行判定。具体而言，疲劳状态判定部450计算出基准相关值r1和相关值r2之差Δr，其中，上述基准相关值r1是脑功能激活信息与在规定行动之前提取出的基准判定用成分的基准相关值，上述相关值r2是脑功能激活信息与在规定行动之后提取出的判定用成分的相关值。接着，疲劳状态判定部450根据存储于基准信息数据库432的基准信息来确定与基准相关值r1和本次的相关值r2之差Δr对应的疲劳状态等级。确定后的疲劳状态等级经由输出部420输出至显示装置等。

另外，在本实施方式中，“规定行动”作为肉体活动以及智力活动中的至少任意一种或两种的意思进行使用。作为肉体活动，能够以下述活动为例进行列举：工厂的流水线作业以及土木作业等各种肉体劳动；以及健美、跑步、球赛、登山和肌肉力训练等各种运动。作为智力活动，能够以学习、讨论、决策、状况判断以及管理监督等为例进行列举。

(6－2)疲劳状态判定装置的动作

图25是表示疲劳状态判定装置400的动作的流程图。

首先，在规定行动之前选择“基准设定模式”，并且进行基准判定用成分的提取(S1)。具体而言，脑功能激活信息的输出指示经由输入部410输入至疲劳状态判定装置400。接着，从脑功能激活信息数据库431读取脑功能激活信息，并将上述脑功能激活信息输出至输出部420(S2)。此处，输出“心算问题”以作为脑功能激活信息。

接着，在输出脑功能激活信息的同时或规定的时刻，利用拍摄部415以每隔规定间隔的方式对位于输出部420前方的对象者300的脸部图像进行拍摄(S3)。拍摄到的脸部图像被送出至脸部变化信息获取部442。

接着，通过脸部变化信息获取部442从拍摄到的脸部图像获取表示对象者300的脸部数据的时间序列变化的脸部变化信息。然后，通过脸部变化信息分解部443并利用奇异值分解、主成分分析或独立成分分析将脸部变化信息分解成多个成分一、成分二、成分三、……(S4)。

接着，通过判定用信息生成部444计算出由脸部变化信息分解部443分解出的多个成分一、成分二、成分三、……和脑功能激活信息的相关值。然后，通过判定用信息生成部444对相关值是否为规定值以上进行判定(S5)。在判定上述相关值为规定值以上的情况下，上述判定用信息生成部444判断脑功能激活信息和上述成分具有相关性(S5－是)。接着，通过判定用信息生成部444提取出具有相关性的成分中的、危险率较低的成分以作为“基准判定用成分”(S6)。此外，通过判定用信息生成部444将基准判定用成分和脑功能激活信息的相关值设定为基准相关值r1。上述这些基准判定用成分的信息保存于存储部430(S7)。另一方面，在脑功能激活信息和各成分一、成分二、成分三、……的相关值小于规定值的情况下，上述判定用信息生成部444判断两者没有相关性，其信息保存于存储部430(S5－否，S7)。

随后，对象者300进行规定的行动(S8)。然后，在疲劳状态判定状态400中选择“判定模式”，从而执行由规定的行动引起的疲劳状态的判定(S9)。首先，执行与上述S2～S6相同的处理，计算出从脸部变化信息提取出的判定用成分和脑功能激活信息的相关值r2(S10～S14)。

接着，通过疲劳状态判定部445计算出作为基准相关值r1和相关值r2之差的变化量Δr(S15)，其中，上述基准相关值r1是指脑功能激活信息与在规定行动之前提取出的基准判定用成分的基准相关值，上述相关值r2是指脑功能激活信息与在规定行动之后提取出的判定用成分的相关值。然后，通过疲劳状态判定部450对在规定行动前后的、相关值r2相对于基准相关值r1的变化量Δr是否在规定范围内进行判定。根据存储于基准信息数据库432的基准信息来对上述变化量Δr是否在规定范围进行判断。接着，在相关值r2相对于基准相关值r1的变化量Δr在规定范围的情况下，通过疲劳状态判定部445判定对象者300处于“正常状态”(S15－是，S16)。另一方面，在相关值r2相对于基准相关值r1的变化量Δr不在规定范围的情况下，通过疲劳状态判定部445判定对象者300处于“疲劳状态”(S15－否，S17)。例如，变化量Δr在上述Δra～Δrb的范围内时被判定为正常，在变化量Δr超过Δrb时被判定为疲劳状态。上述这些判定结果经由输出部420并作为判定结果输出至显示装置等(S18)。

(6－3)疲劳状态判定装置的特征

(6－3－1)

如上述说明那样，本实施方式的疲劳状态判定装置400包括脑功能激活信息提供部441、脸部变化信息获取部442、脸部变化信息分解部443、判定用信息生成部444和疲劳状态判定部445。脑功能激活信息提供部441向对象者300提供激活人类的脑功能的“脑功能激活信息”。脸部变化信息获取部442对表示对象者300的脸部数据的时间序列变化的“脸部变化信息”进行获取。脸部变化信息分解部443通过奇异值分解、主成分分析或独立成分分析将脸部变化信息分解成多个成分一、成分二、成分三、……。判定用信息生成部444从多个成分一、成分二、成分三、……提取出与脑功能激活信息相关的成分以作为“判定用成分”。疲劳状态判定部445根据判定用成分对对象者300的疲劳状态进行判定。

因此，在本实施方式的疲劳状态判定装置400中，从通过对脸部变化信息进行奇异值分解、主成分分析、独立成分分析等而得到的多个成分一、成分二、成分三、……提取出与脑功能激活信息相关的判定用成分，因此，不使用安装前需要进行前期处理的电极等也能够容易地对对象者300是否具有脑活动进行推定。藉此，根据与对象者300的脑功能对应的判定用成分，能够容易地对对象者300的疲劳状态进行判定。

此外，本实施方式的疲劳状态判定装置400可以是组装于智能设备的形态。藉此，能够在任意的地点容易地执行疲劳状态判定。

(6－3－2)

此外，在本实施方式的疲劳状态判定装置400中，由于脸部变化信息获取部442获取对象者300的鼻窦周围以及/或者前额部的数据以作为脸部数据，因此，本实施方式的疲劳状态判定装置400能够高精度地抽取出与脑活动相关的判定用成分。此处，脑具有选择性脑冷却机构(Selective Brain Cooling System)这样独立于体温的、对脑进行冷却的结构。已知，选择性脑冷却机构利用鼻窦和前额部周围将由脑活动产生的热量排出。因此，通过对上述部位的数据进行解析能够高精度地提取出与脑活动相关的成分。其结果是，本实施方式的疲劳状态判定装置400能够高精度地执行疲劳状态判定。

(6－3－3)

此外，在本实施方式的疲劳状态判定装置400中，脸部变化信息获取部442获取表示对象者300的脸部的皮肤温度的脸部皮肤温度数据以作为脸部数据。换言之，疲劳状态判定装置400能够利用红外线相机等对疲劳状态进行判定。例如，如图26所示，通过将红外线相机用于拍摄部415，从而能够不受周围的亮度的影响地判定疲劳状态。

(6－3－4)

此外，在本实施方式的疲劳状态判定装置400中，脸部变化信息获取部442获取对象者300的脸部的基于RGB数据的脸部血液循环量数据以作为脸部数据。也就是说，疲劳状态判定装置400能够利用固体拍摄元件(CCD、CMOS)对疲劳状态进行判定。藉此，能够以简易的结构执行疲劳状态的判定。

(6－3－5)

此外，在本实施方式的疲劳状态判定装置400中，判定用信息生成部444根据危险率的值来提取判定用成分。在疲劳状态判定装置400中，根据危险率的值来提取与脑功能激活信息相关的判定用成分，因此，能够提高疲劳状态判定的可靠性。

(6－3－6)

此外，在本实施方式的疲劳状态判定装置400中，脑功能激活信息提供部441提供工作记忆相关信息以作为脑功能激活信息。例如提供心算问题等作为脑功能激活信息，因此，能够提取出与脑功能相关的成分。其结果是，能够容易地对对象者300的疲劳状态进行判定。

另外，作为工作记忆相关信息，也可将业务内容本身作为脑功能激活信息。例如，如图27所示，在利用PC等的案头工作中，在从业务开始到业务结束的规定的时刻获取脸部数据。接着，通过随时计算出显示于PC的画面上的作业和基于脸部数据获取到的判定用成分的相关值r，能够对与业务完成对应的疲劳状态进行判定。

(6－3－7)

另外，本实施方式的疲劳状态判定装置400包括基准信息数据库432，该基准信息数据库432将规定范围的变化量Δr与疲劳状态等级相关联地作为“基准信息”进行存储，其中，上述规定范围的变化量Δr是指与相对于脑功能激活信息计算出的基准判定用成分的基准相关值r1相比，相对于脑功能激活信息计算出的判定用成分的相关值r2的规定范围的变化量。然后，疲劳状态判定部445计算出判定用成分与脑功能激活信息的相关值r2，并且根据计算出的相关值r2和基准信息对对象者300的疲劳状态等级进行判定。

根据上述结构，疲劳状态判定装置400能够利用在规定行动前得到的基准判定用成分来容易地对疲劳状态等级进行判定。总而言之，疲劳状态判定装置400不仅能够对是否处于疲劳状态进行判定，还能够容易地对疲劳状态等级进行判定并且输出该疲劳状态等级。

(6－3－8)

本实施方式的疲劳状态判定方法未必需要疲劳状态判定装置400。也就是说，无论是否具有疲劳状态判定装置400，只要本实施方式的疲劳状态判定方法包括下述步骤即可：在规定行动之后向对象者300提供激活人类的脑功能的“脑功能激活信息”的脑功能激活信息提供步骤；在规定行动之后对表示对象者300的脸部数据的时间序列变化的“脸部变化信息”进行获取的脸部变化信息获取步骤；通过奇异值分解、主成分分析或独立成分分析将脸部变化信息分解成多个成分的脸部变化信息分解步骤；从多个成分提取出与脑功能激活信息相关的成分以作为“判定用成分”的判定用成分提取步骤；以及根据判定用成分对对象者300的疲劳状态进行判定的疲劳状态判定步骤。

根据上述疲劳状态判定方法，在规定行动之后，从对脸部变化信息进行奇异值分解、主成分分析或独立成分分析而得到的多个成分中提取出与脑功能激活信息相关的判定用成分并对疲劳状态进行判定，从而能够容易地对规定行动对对象者300造成疲劳的影响进行判定。

(6－3－9)

另外，在上述说明中，通过奇异值分解等从脸部变化信息提取出与对应于对象目的的脑功能激活信息相关的判定用成分，但本实施方式的疲劳状态判定装置400不限定于上述形态。例如，在疲劳状态判定装置400中，也可利用基于脸部变化信息生成的、判定用成分以外的任意的判定用信息对对象者的状态进行判定。此外，为了生成上述判定用信息，也可将奇异值分解等以外的任意的方法应用于脸部变化信息。

(6－4)疲劳状态判定装置的变形例

如图28所示，本实施方式的疲劳状态判定装置400也可利用设置在网络上的判定信息提供装置500等。

在此，判定信息提供装置500包括存储部530和处理部540。

存储部530具有基准信息数据库532。上述基准信息数据库532与上述基准信息数据库432具有相同的结构。也就是说，基准信息数据库532将规定范围的变化量Δr与疲劳状态等级相关联地作为基准信息进行存储，其中，上述规定范围的变化量Δr是指与相对于脑功能激活信息计算出的基准判定用成分的基准相关值r1相比，相对于脑功能激活信息计算出的判定用成分的相关值r2的规定范围的变化量。

处理部540根据来自疲劳状态判定装置400的要求对保存于基准信息数据库532的基准信息进行发送。此外，处理部540可以具有与由疲劳状态判定装置400提取出的判定用成分独立地根据规定的信息将基准信息作为大数据生成的功能。另外，在由疲劳状态判定装置400计算出基准相关值r1的情况下，处理部540随时执行对存储于基准信息数据库432的基准相关值r1进行更新的处理。

在本变形例中，疲劳状态判定部445要求上述判定信息提供装置500提供基准信息。详细而言，在本变形例的疲劳状态判定装置400中，基准信息数据库532保存于网络上的判定信息提供装置500，疲劳状态判定部445在对疲劳状态等级进行判定时访问判定信息提供装置500。接着，疲劳状态判定部445根据计算出的相关值r2和基准信息对对象者300的疲劳状态等级进行判定。

因此，若是本变形例的疲劳状态判定装置400，则疲劳状态判定部445能够利用外部网络对对象者300的疲劳状态等级进行判定。此外，由于疲劳状态判定部445利用存储于外部网络上的判定信息提供装置500的基准判定用成分来对疲劳状态进行判定，因此能够简化规定行动之前的作业。也就是说，能够采用省略上述“基准设定模式”，如图29所示那样仅执行“判定模式”的形态。此处，在步骤V1～V6、V8～V11中进行与步骤S9～S18相同的处理。此外，在步骤V7中，从疲劳状态判定装置400向判定信息提供装置500要求发送基准信息。另外，也可不采用疲劳状态判定装置400来执行上述各步骤的一部分。

此外，根据本变形例的方法，能够实现利用大数据对疲劳状态进行判定。也就是说，从大数据求出基准相关值r1和规定的变化量Δr。具体而言，采用根据向对象者300以外的人提供脑功能激活信息而得到的基准判定用成分计算出的基准相关值r1。藉此，能够随时对基准信息进行最优化。

(6－5)疲劳状态判定方法的验证

以下述条件进行了本实施方式的疲劳状态判定方法的验证实验。

在实验中，在伴随着肉体劳动者的规定的肉体活动的行动前后提供心算问题，并且对此时的脸部图像进行了拍摄。心算问题是100减去7这一问题。此外，拍摄时间为行动前大约250秒、行动后大约180秒后。藉此，获得了如下表4所示那样关于11名对象者的、与行动前的脑功能激活信息的相关值Rpre以及与行动后的脑功能激活信息的相关值Rpost的结果。此处，由于一名对象者的数据缺损，因此有效人数为十名。

(表4)

在上述结果中，若对平均值进行比较，则行动前的相关值r1的平均值为0.84，行动后的相关值r2的平均值为0.69。也就是说，相对于行动前的相关值r1而言，行动后的相关值r2减少。由此可以认为，判定用成分与脑功能激活信息的相关值r在行动前后有所减少。换言之，能够确认的是，能够通过对行动前后的相关值进行比较来实施疲劳状态的判定。能够确认的是，例如，根据本实施方式的疲劳状态判定方法，能够容易地对肉体劳动者的规定的肉体活动前后的疲劳状态进行判定。

(附记)

此外，本发明并不限定于上述实施方式。在实施阶段，本发明能够在不脱离主旨的范围内对构成要素进行变形并使之具体化。此外，本发明能够通过上述实施方式公开的多个构成要素的适当组合来形成各种发明。例如，可以从实施方式所述的所有构成要素中去除几个构成要素。此外，在不同的实施方式中可以对构成要素进行适当组合。

工业上的可利用性

根据本发明，由于能够简便地对脑活动进行推定，因此将本发明应用于根据脑活动将对象者的生理状态可视化的脑活动可视化装置是有效的。

符号说明

300 对象者；

400 疲劳状态判定装置；

410 输入部；

415 拍摄部；

420 输出部；

430 存储部；

431 脑功能激活信息数据库；

432 基准信息数据库(基准信息存储部)；

440 处理部；

441 脑功能激活信息提供部；

442 脸部变化信息获取部；

443 脸部变化信息分解部；

444 判定用信息生成部(判定用成分提取部)；

445 疲劳状态判定部；

500 判定信息提供装置；

530 存储部；

532 基准信息数据库(基准信息存储部)；

540 处理部。

现有技术文献

专利文献

专利文献1：日本专利特开2013－176406号公报。

Claims (18)

1.一种疲劳状态判定装置(400)，其特征在于，包括：

脑功能激活信息提供部(441)，所述脑功能激活信息提供部(441)向对象者(300)提供激活人类的脑功能的脑功能激活信息；以及

疲劳状态判定部(445)，所述疲劳状态判定部(445)根据提供有所述脑功能激活信息时的、表示所述对象者的脸部数据的时间序列变化的脸部变化信息，对所述对象者的疲劳状态进行判定。

2.如权利要求1所述的疲劳状态判定装置，其特征在于，

所述脑功能激活信息提供部提供工作记忆相关信息以作为所述脑功能激活信息。

3.如权利要求1或2所述的疲劳状态判定装置(400)，其特征在于，

还包括判定用信息生成部(444)，所述判定用信息生成部(444)根据所述脸部变化信息生成判定用信息。

4.如权利要求3所述的疲劳状态判定装置(400)，其特征在于，

还包括脸部变化信息分解部(443)，所述脸部变化信息分解部(443)通过奇异值分解、主成分分析或独立成分分析将所述脸部变化信息分解成多个成分，

所述判定用信息生成部从多个所述成分提取出与所述脑活动激活信息相关的成分以作为判定用成分，并且根据所述判定用成分生成所述判定用信息。

5.如权利要求4所述的疲劳状态判定装置，其特征在于，

所述判定用信息生成部根据危险率的值来提取所述判定用成分。

6.如权利要求3至5中任一项所述的疲劳状态判定装置，其特征在于，

还包括基准信息存储部(432)，所述基准信息存储部(432)将下述规定范围的变化量与疲劳状态等级相关联地作为基准信息进行存储，其中，上述规定范围的变化量是指与基准相关值相比，针对脑功能激活信息计算出的判定用信息的相关值的规定范围的变化量，

所述疲劳状态判定部计算出针对所述脑功能激活信息的所述判定用信息的相关值，并且根据计算出的相关值和所述基准信息对所述对象者的疲劳状态等级进行判定。

7.如权利要求1至6中任一项所述的疲劳状态判定装置，其特征在于，

还包括脸部变化信息获取部(442)，所述脸部变化信息获取部(442)获取所述对象者的鼻窦周围以及/或者前额部的数据以作为所述脸部数据。

8.如权利要求1至7中任一项所述的疲劳状态判定装置，其特征在于，

还包括脸部变化信息获取部(442)，所述脸部变化信息获取部(442)获取表示所述对象者的脸部的皮肤温度的脸部皮肤温度数据以作为所述脸部数据。

9.如权利要求1至8中任一项所述的疲劳状态判定装置，其特征在于，

还包括脸部变化信息获取部(442)，所述脸部变化信息获取部(442)获取所述对象者的脸部的基于RGB数据的脸部血液循环量数据以作为所述脸部数据。

10.如权利要求3至9中任一项所述的疲劳状态判定装置，其特征在于，

网络上的判定信息提供装置(500)包括基准信息存储部(532)，所述基准信息存储部(532)将下述规定范围的变化量与疲劳状态等级相关联地作为基准信息进行存储，其中，上述规定范围的变化量是指与基准相关值相比，针对脑功能激活信息计算出的判定用信息的相关值的规定范围的变化量，

所述疲劳状态判定部计算出针对所述脑功能激活信息的判定用信息的相关值，并且根据计算出的相关值和所述基准信息对所述对象者的疲劳状态等级进行判定。

11.一种疲劳状态判定方法，其特征在于，包括：

脑功能激活信息提供步骤，在所述脑功能激活信息提供步骤中，在对象者(300)进行规定行动后，向所述对象者提供激活人类的脑功能的脑功能激活信息；

脸部变化信息获取步骤，在所述脸部变化信息获取步骤中，在所述规定行动后，对表示所述对象者的脸部数据的时间序列变化的脸部变化信息进行获取；以及

疲劳状态判定步骤，在所述疲劳状态判定步骤中，根据所述脸部变化信息对所述对象者的疲劳状态进行判定。

12.如权利要求11所述的疲劳状态判定方法，其特征在于，

还包括判定用信息生成步骤，在所述判定用信息生成步骤中，根据所述脸部变化信息生成判定用信息。

13.如权利要求12所述的疲劳状态判定方法，其特征在于，

还包括脸部变化信息分解步骤，在所述脸部变化信息分解步骤中，通过奇异值分解、主成分分析或独立成分分析将所述脸部变化信息分解成多个成分，

在所述判定用信息生成步骤中，从多个所述成分提取出与所述脑活动激活信息相关的成分以作为判定用成分，并且根据所述判定用成分生成所述判定用信息。

14.如权利要求12或13所述的疲劳状态判定方法，其特征在于，

将下述规定范围的变化量与疲劳状态等级相关联地作为基准信息存储于基准信息存储部(432、532)，其中，上述规定范围的变化量是指与基准相关值相比，针对脑功能激活信息计算出的判定用信息的相关值的规定范围的变化量，

在所述疲劳状态判定步骤中，计算出针对所述脑功能激活信息的所述判定用信息的相关值，并且根据计算出的相关值和所述基准信息对所述对象者的疲劳状态等级进行判定。

15.如权利要求14所述的疲劳状态判定方法，其特征在于，

在所述规定行动之前，执行所述脑功能激活信息提供步骤、所述脸部变化信息获取步骤、所述脸部变化信息分解步骤以及所述判定用信息生成步骤，从而生成所述基准信息。

16.如权利要求14或15所述的疲劳状态判定方法，其特征在于，

所述基准信息存储部保存于网络上的判定信息提供装置(500)，

所述疲劳状态判定步骤在对所述疲劳状态等级进行判定时访问所述判定信息提供装置。

17.如权利要求16所述的疲劳状态判定方法，其特征在于，

所述基准相关值通过向所述对象者以外的人提供所述脑功能激活信息而计算出。

18.如权利要求11至17中任一项所述的疲劳状态判定方法，其特征在于，

所述规定行动是智力活动或肉体活动。