CN108135491A - 生理状态判定装置及生理状态判定方法 - Google Patents

Abstract

生理状态判定装置(10、110、400)包括脸部变化信息获取部(20、120、415、442)、脸部变化信息分解部(30、130、443)以及生理状态判定部(200、445)。脸部变化信息获取部(20、120、415、442)对表示对象者的脸部数据的时间序列变化的脸部变化信息进行获取。脸部变化信息分解部(30、130、443)通过奇异值分解、主成分分析或独立成分分析将脸部变化信息分解成多个成分。生理状态判定部(200、445)根据从多个成分提取出的判定用成分对对象者的精神或身体的生理状态进行判定。

Description

生理状态判定装置及生理状态判定方法

技术领域

本发明涉及一种生理状态判定装置及生理状态判定方法。

背景技术

近年来，尝试利用通过专利文献1(日本专利特开2013－176406号公报)所公开的脑波测量法(EEG)、磁共振图像法(fMRI：functional Magnetic Resonance Imaging)以及近红外线分光法(NIRS)检测出的数据来对人类的脑活动进行推定。此外，也研究了根据推定出的脑活动来判定人类的身体状况和精神状态等的应用。

发明内容

发明所要解决的技术问题

然而，在脑波测量法以及近红外线分光法中，需要进行必须向对象者安装电极等前期处理。此外，在磁共振图像法中，需要在规定的MRI室进行测量。总而言之，上述这些方法中，存在准备阶段的作业较繁琐以及测量时的条件受到限制这些问题。此外，上述这些方法均需要花费很大的成本。其结果是，在上述这些方法中，对对象者的身体状况以及精神状态进行判定等是较困难的。

本发明的技术问题是提供一种能够容易地对对象者的精神或身体的生理状态进行判定的装置以及方法。

解决技术问题所采用的技术方案

本发明第一观点的生理状态判定装置包括脸部变化信息获取部、脸部变化信息分解部以及生理状态判定部。脸部变化信息获取部对表示对象者的脸部数据的时间序列变化的脸部变化信息进行获取。脸部变化信息分解部通过奇异值分解、主成分分析或独立成分分析将脸部变化信息分解成多个成分。生理状态判定部根据从多个成分提取出的判定用成分对对象者的精神或身体的生理状态进行判定。

在第一观点的生理状态判定装置中，从通过对脸部变化信息进行奇异值分解、主成分分析、独立成分分析而得到的多个成分中提取出判定用成分，因此，不使用安装前需要进行前期处理的电极等也能够容易地对对象者是否具有脑活动进行推定。藉此，根据与对象者的脑功能对应的判定用成分，能够容易地对对象者的生理状态进行判定。

在第一观点所述的生理状态判定装置的基础上，本发明第二观点的生理状态判定装置还包括脑功能激活信息提供部和判定用成分提取部。脑功能激活信息提供部向对象者提供激活人类的脑功能的脑功能激活信息。判定用成分提取部从多个成分提取出与脑功能激活信息相关的成分以作为判定用成分。

在第二观点的生理状态判定装置中，从通过对脸部变化信息进行奇异值分解、主成分分析、独立成分分析得到的多个成分提取出与脑功能激活信息相关的判定用成分，因此，不需要使用安装前需要进行前期处理的电极等也能够容易地对对象者是否具有脑活动进行推定。藉此，根据与对象者的脑功能对应的判定用成分，能够容易地对对象者的生理状态进行判定。

在第二观点所述的生理状态判定装置的基础上，在本发明第三观点的生理状态判定装置中，判定用成分提取部根据危险率的值来提取判定用成分。

在第三观点的生理状态判定装置中，根据危险率的值来提取与脑功能激活信息相关的成分，因此，能够提高判定的可靠性。

在第二观点或第三观点所述的生理状态判定装置的基础上，本发明的第四观点的生理状态判定装置还包括判定信息存储部。判定信息存储部将规定范围的变化量与生理状态等级相关联地作为判定信息进行存储，其中，该规定范围的变化量是指：与相对于脑功能激活信息计算出的基准判定用成分的基准相关值相比，相对于脑功能激活信息计算出的判定用成分的相关值的规定范围的变化量。此外，生理状态判定部计算出判定用成分与脑功能激活信息的相关值，并且根据计算出的相关值和判定信息来对对象者的生理状态等级进行判定。

在第四观点的生理状态判定装置中，能够利用预先获取到的基准判定用成分来对生理状态等级进行容易的判定。

在第二观点到第四观点中所述的生理状态判定装置的基础上，在本发明第五观点的生理状态判定装置中，生理状态判定部计算出判定用成分与脑功能激活信息的相关值，并且根据计算出的相关值和判定信息来对对象者的生理状态等级进行判定。此处，网络上的判定信息提供装置包括判定信息存储部，该判定信息存储部将规定范围的变化量与生理状态等级相关联地作为判定信息进行存储，其中，该规定范围的变化量是指：与相对于脑功能激活信息计算出的基准判定用成分的基准相关值相比，相对于脑功能激活信息计算出的判定用成分的相关值的规定范围的变化量。

在第五观点的生理状态判定装置中，能够利用网络上的判定信息提供装置对对象者的生理状态等级进行判定。

在第二观点至第五观点所述的生理状态判定装置的基础上，在本发明第六观点的生理状态判定装置中，脑功能激活信息提供部提供规定的视觉信息以作为脑功能激活信息。此外，生理状态判定部根据判定用成分对作为对象者的精神状态的情绪障碍、焦虑障碍、物质相关障碍、痴呆症以及自闭症中的任意一种状态或任意组合的状态进行判定。另外，作为情绪障碍的例子，能够列举精神分裂症、抑郁症以及躁郁症等。抑郁症包括重度抑郁症、非典型抑郁症等。此外，作为焦虑障碍的例子，能够列举广泛性焦虑障碍、恐惧症以及恐慌障碍等。

在第六观点的生理状态判定装置中，能够根据提供规定的视觉信息来对对象者的精神状态进行判定。

在第六观点所述的生理状态判定装置的基础上，在本发明第七观点的生理状态判定装置中，脑功能激活信息提供部提供作为视觉信息的情绪图像、图片曝光图像、物质图像、表示认知问题的图像、光刺激信息以及表示感觉刺激问题的图像中的任意一个或任意的组合。

在第七观点的生理状态判定装置中，能够提供与特定的精神状态对应的脑功能激活信息。例如，对于情绪障碍，利用包括具有积极意义的图像和具有消极意义的图像的情绪图像。此外，对于焦虑障碍，利用广场恐惧、外出恐惧等图片曝光图像。此外，对于物质相关障碍，利用药物等物质图像。另外，关于痴呆症，利用表示n-back问题、CogHealth问题等认知问题的图像以及光刺激信息等。此外，对于自闭症，采用表示间隙－重叠问题(日文：ギャップ－オーバーラップ課題)、表情认知等间隔刺激问题的图像等。

在第二观点至第五观点所述的生理状态判定装置的基础上，在本发明第八观点的生理状态判定装置中，脑功能激活信息提供部从人类的舒适性的观点出发，提供被分类为具有消极意义的图像或具有积极意义的图像的情绪图像以作为脑功能激活信息。此外，生理状态判定部对对象者的抑郁状态进行判定。

在第八观点的生理状态判定装置中，提供具有消极意义的图像或具有积极意义的图像以作为脑功能激活信息，因此，能够提取出与脑活动相关的判定用成分。其结果是，能够容易地对对象者的抑郁状态进行判定。

在本发明第九观点的生理状态判定装置中，生理状态判定部还包括脑活动推定单元以及状态可视化单元。脑活动推定单元根据多个成分对对象者的脑活动进行推定。状态可视化单元根据由脑活动推定单元推定出的对象者的脑活动来显示对象者的生理状态，从而进行可视化。

在第九观点的生理状态判定装置中，根据由脸部变化信息获取部获取到的时间序列的脸部皮肤温度数据以及/或者脸部血液循环量数据来对对象者的脑活动进行推定。因此，在上述生理状态判定装置中，即使不安装脑波电极等安装前需要进行处理的传感器，也能够对对象者的脑活动进行推定。因此，能够简便地对对象者的脑活动进行推定。

在第九观点所述的生理状态判定装置的基础上，在本发明第十观点的生理状态判定装置中，状态可视化单元具有解析部。解析部根据对象者的脑活动来对对象者是否有意识进行解析。因此，在上述生理状态判定装置中，能够对对象者是否有意识进行解析。

在第九观点或第十观点所述的生理状态判定装置的基础上，在本发明第十一观点的生理状态判定装置中，状态可视化单元具有解析部。解析部根据对象者的脑活动来对对象者是否处于清醒状态进行解析。因此，在上述生理状态判定装置中，能够对对象者是否处于清醒状态进行解析。

在第九观点至第十一观点所述的生理状态判定装置的基础上，在本发明第十二观点的生理状态判定装置中，状态可视化单元具有解析部。解析部根据对象者的脑活动来对位于对象空间的对象者的感情愉快不愉快进行解析。因此，在上述生理状态判定装置中，能够对对象者的感情愉快不愉快进行解析。

本发明第十三观点的生理状态判定方法包括脑功能激活信息提供步骤、脸部变化信息获取步骤、脸部变化信息分解步骤、判定用成分提取步骤以及生理状态判定步骤。在脑功能激活信息提供步骤中，向对象者提供规定的视觉信息以作为激活人类的脑功能的脑功能激活信息。在脸部变化信息获取步骤中，在提供上述视觉信息后，对表示对象者的脸部数据的时间序列变化的脸部变化信息进行获取。在脸部变化信息分解步骤中，通过奇异值分解、主成分分析或独立成分分析将脸部变化信息分解成多个成分。在判定用成分提取步骤中，从多个成分提取出与脑功能激活信息相关的成分以作为判定用成分。在生理状态判定步骤中，根据判定用成分对对象者的精神或身体的生理状态进行判定。

在第十三观点的生理状态判定装置中，在提供视觉信息后，从通过对脸部变化信息进行奇异值分解、主成分分析、独立成分分析得到的多个成分提取出与脑功能激活信息相关的判定用成分，因此，不需要使用安装前需要进行前期处理的电极等也能够容易地对对象者是否具有脑活动进行推定。此外，根据与对象者的脑功能对应的判定用成分，能够容易地对对象者的生理状态进行判定。

在第十三观点所述的生理状态判定方法的基础上，在本发明第十四观点的生理状态判定方法中，在生理状态判定步骤中计算出判定用成分与脑功能激活信息的相关值，并且根据计算出的相关值和判定信息来对对象者的生理状态等级进行判定。此处，将规定范围的变化量与生理状态等级相关联地作为判定信息存储于判定信息存储部，其中，该规定范围的变化量是指：与相对于脑功能激活信息计算出的基准判定用成分的基准相关值相比，相对于脑功能激活信息计算出的判定用成分的相关值的规定范围的变化量。

在第十四观点的生理状态判定方法中，能够利用存储于判定信息存储部的判定信息来对生理状态等级进行容易的判定。

在第十三观点或第十四观点所述的生理状态判定方法的基础上，在本发明第十五观点的生理状态判定方法中，生理状态判定步骤在对生理状态等级进行判定时访问判定信息提供装置。此处，判定信息存储部存储于网络上的判定信息提供装置。

在第十五观点的生理状态判定方法中，利用存储于外部网络上的判定信息提供装置的基准判定用成分来对生理状态进行判定，因此能够简化基准设定作业。此外，根据上述方法，能够实现例如利用大数据对生理状态进行判定。

在第十五观点所述的生理状态判定方法的基础上，在本发明第十六观点的生理状态判定方法中，基准相关值根据向对象者以外的人提供脑功能激活信息而得到的基准判定用成分计算出。

在第十六观点的生理状态判定方法中，能够利用从对象者以外的人得到的大数据等来实现对生理状态进行判定。

在第十三观点至第十六观点所述的生理状态判定方法的基础上，在本发明第十七观点的生理状态判定方法中，在生理状态判定步骤中，根据判定用成分，将情绪障碍、焦虑障碍、物质相关障碍、痴呆症以及自闭症中任意一种状态或任意组合的状态作为对象者的精神状态进行判定。

在第十七观点的生理状态判定方法中，能够简单地对对象者的精神状态进行判定。

在第十七观点的生理状态判定方法的基础上，在本发明第十八观点的生理状态判定方法中，脑功能激活信息提供部提供作为视觉信息的情绪图像、图片曝光图像、物质图像、表示认知问题的图像、光刺激信息以及表示感觉刺激问题的图像中的任意一个或任意的组合。

在第十八观点的生理状态判定方法中，由于能够提供与特定的精神状态对应的脑功能激活信息，因此能够简单地对对象者的精神状态进行判定。

在第十七观点或第十八观点所述的生理状态判定方法的基础上，在本发明第十九观点的生理状态判定方法中，视觉信息是被分类为具有积极意义的图像的情绪图像，生理状态判定步骤对作为情绪障碍的状态的抑郁状态、精神分裂症以及躁郁症中任意一种状态或任意组合的状态进行判定。

在第十九观点的生理状态判定方法中，在提供被分类为具有积极意义的图像的情绪图像后，从通过对脸部变化信息进行奇异值分解、主成分分析、独立成分分析得到的多个成分提取出与脑功能激活信息相关的判定用成分，因此，不需要使用安装前需要进行前期处理的电极等也能够容易地对对象者的脑活动进行推定。此外，根据与对象者的脑功能对应的判定用成分，能够容易地对对象者的情绪障碍的状态进行判定。

在第十九观点所述的生理状态判定方法的基础上，本发明第二十观点的生理状态判定方法提供被分类为具有消极意义的图像的情绪图像，执行脸部变化信息获取步骤、脸部变化信息分解步骤以及判定用成分提取步骤，并且提取出与脑功能激活信息相关的成分以作为基准判定用成分。

在第二十观点的生理状态判定方法中，通过提供具有消极意义的图像来提取基准判定用成分，因此，无论是否处于情绪障碍的状态(例如，抑郁状态)，都能够对对象者是否具有脑活动进行推定。

发明效果

在第一观点的生理状态判定装置中，根据与对象者的脑功能对应的判定用成分，能够容易地对对象者的生理状态进行判定。

在第二观点的生理状态判定装置中，根据与对象者的脑功能对应的判定用成分，能够容易地对对象者的生理状态进行判定。

在第三观点的生理状态判定装置中，能够提高判定的可靠性。

在第四观点的生理状态判定装置中，能够容易地判定生理状态等级。

在第五观点的生理状态判定装置中，能够利用网络上的判定信息提供装置对对象者的生理状态等级进行判定。

在第六观点的生理状态判定装置中，能够根据提供规定的视觉信息来对对象者的精神状态进行判定。

在第七观点的生理状态判定装置中，能够提供与特定的精神状态对应的脑功能激活信息。

在第八观点的生理状态判定装置中，能够容易地对对象者的抑郁状态进行判定。

在第九观点的生理状态判定装置中，能够简便地对对象者的脑活动进行推定。

在第十观点的生理状态判定装置中，能够对对象者是否有意识进行解析。

在第十一观点的生理状态判定装置中，能够对对象者是否处于清醒状态进行解析。

在第十二观点的生理状态判定装置中，能够对对象者的感情愉快不愉快进行解析。

在第十三观点的生理状态判定方法中，根据与对象者的脑功能对应的判定用成分，能够容易地对对象者的生理状态进行判定。

在第十四观点的生理状态判定方法中，能够容易地判定生理状态等级。

在第十五观点的生理状态判定方法中，能够简化基准设定作业。此外，根据上述方法，能够实现例如利用大数据对生理状态进行判定。

在第十六观点的生理状态判定方法中，能够利用从对象者以外的人得到的大数据等来实现对生理状态进行判定。

在第十七观点的生理状态判定方法中，能够简单地对对象者的精神状态进行判定。

在第十八观点的生理状态判定方法中，由于能够提供与特定的精神状态对应的脑功能激活信息，因此能够简易地对对象者的精神状态进行判定。

在第十九观点的生理状态判定方法中，能够容易地对对象者的情绪障碍的状态进行判定。

在第二十观点的生理状态判定方法中，无论是否处于情绪障碍的状态(例如，抑郁状态)，都能够对对象者是否具有脑活动进行推定。

附图说明

图1是表示拍摄图像数据以及对该拍摄图像数据进行解析后的结果一例的图。

图2是表示对脸部皮肤温度数据进行解析后的部分结果的图。

图3是表示对脸部皮肤温度数据进行解析后的部分结果的图。

图4是表示成分二的成分波形的振幅和测定出的脑波中的β波的振幅的图。

图5是表示成分三的成分波形的振幅和测定出的脑波中的β波的振幅的图。

图6是表示对由对照实验得到的脸部皮肤温度数据进行解析后的部分结果的图。

图7是表示基于脸部的拍摄图像数据的成分波形和测定出的脑波中的β波的振幅的图。

图8是表示基于脸部皮肤温度数据的成分波形和测定出的脑波中的β波的振幅的图。

图9是表示基于脸部的拍摄图像数据的成分波形和测定出的脑波中的β波的振幅的图。

图10是表示基于脸部皮肤温度数据的成分波形和测定出的脑波中的β波的振幅的图。

图11是表示基于脸部的拍摄图像数据的成分波形和测定出的脑波中的β波的振幅的图。

图12是表示基于脸部皮肤温度数据的成分波形和测定出的脑波中的β波的振幅的图。

图13是表示基于脸部的拍摄图像数据的成分波形和测定出的脑波中的β波的振幅的图。

图14是表示基于脸部皮肤温度数据的成分波形和测定出的脑波中的β波的振幅的图。

图15是表示基于脸部的拍摄图像数据的成分波形和测定出的脑波中的β波的振幅的图。

图16是表示基于脸部皮肤温度数据的成分波形和测定出的脑波中的β波的振幅的图。

图17是表示基于脸部的拍摄图像数据的成分波形和测定出的脑波中的β波的振幅的图。

图18是表示基于脸部皮肤温度数据的成分波形和测定出的脑波中的β波的振幅的图。

图19是本发明一实施方式的脑活动可视化装置的示意图。

图20是表示在脑活动可视化装置中对表示反映了脑功能的皮肤温度的变化的成分进行确定时的处理的流程的一例的流程图。

图21是本发明一实施方式的脑活动可视化装置的示意图。

图22是表示在脑活动可视化装置中对表示反映了脑功能的脸部的RGB变化的成分进行确定时的处理的流程的一例的流程图。

图23是表示本发明一实施方式的生理状态判定装置的结构的示意图。

图24是表示生理状态判定装置的判定信息数据库的结构的示意图。

图25A是表示生理状态判定装置的动作的流程图。

图25B是表示生理状态判定装置的动作的流程图。

图26是表示由生理状态判定装置输出的图像显示画面的一例的示意图。

图27是表示由生理状态判定装置输出的拍摄后的显示画面的一例的示意图。

图28是表示由生理状态判定装置输出的解析波形的显示画面的一例的示意图。

图29是表示由生理状态判定装置输出的分布图的显示画面的一例的示意图。

图30是表示生理状态判定装置的具体方式例的示意图。

图31是表示生理状态判定装置的具体方式例的示意图。

图32是表示生理状态判定装置的变形例的结构的示意图。

图33是表示生理状态判定装置的变形例的动作的流程图。

图34是表示显示具有积极意义的图像时的判定用成分的波形的图。

图35是表示显示具有消极意义的图像时的判定用成分的波形的图。

具体实施方式

在对本发明的实施方式进行说明前，首先，对作为本发明者们完成本发明时的重要基础的、本发明者们的见解进行说明。

(1)本发明者们的见解的要点

已知，人类的脑活动反映了人类的智力活动(认知活动等)以及情感活动(愉快/不愉快等活动)。此外，目前，虽然尝试对人类的脑活动进行推定，但在这种情况下，大多采用通过脑波测量法、磁共振图像法以及近红外线分光法中的任一方法检测出的数据。

此处，作为检测方法，例如在采用脑波测量法的情况下，需要对试验者安装脑波电极。此外，由于在安装脑波电极时，需要减小皮肤和电极之间的电阻，因而需要进行研磨皮肤的处理以及将糊料涂敷于电极等作业。此外，在采用磁共振图像法的情况下，无法在MRI室以外进行测定，并且具有无法将金属带入测定室内等测定条件的限制。此外，在采用近红外线分光法的情况下，需要向试验者安装探针，但长时间安装探针会使试验者感到疼痛，并且有时由于试验者的头发和探针的接触状况而无法准确地检测。这样，在为了测定人类的脑活动而采用目前的检测方法的情况下，需要进行安装脑波电极或探针等时的前期处理，或者测定条件被限定等，从而使施加给试验者的负担变大。

因此，需要开发一种设备，该设备能够减轻试验者的负担，并且能够简便地对人类的脑活动进行推定。

此外，本发明者们对下述情况进行了考虑：能否根据人类的脸部的皮肤温度或被认为与脸部的皮肤温度成比例的脸部的血液循环状态来推定人类的脑活动。对于人类的脸部的皮肤温度，能够采用热成像等测定装置来获取，对于脸部的血液循环状态即脸部的血液循环量，能够通过采用拍摄装置所得到的脸部的拍摄图像的RGB数据来推定。这样，不需要安装脑波电极或探针等安装前需要进行处理的传感器就能够获取脸部的皮肤温度或脸部的拍摄图像。

另一方面，已知，人类的脸部的皮肤温度受到外部空气温度以及/或者自主神经的活动等各种因素的影响而变化。因此，可以认为，若根据脸部的皮肤温度或根据被认为与脸部的皮肤温度成比例的脸部的血液循环量对脑活动进行推定，则很难判断获取到的数据是否仅反映脑活动。

本发明者们通过专心研究发现了下述结果：通过采用奇异值分解法、主成分分析法或者独立成分分析法来将时间序列的脸部皮肤温度数据或时间序列的脸部的血液循环量数据分解成多个成分，并且对分解后的多个成分进行解析，从而能够对表示反映了脑活动的脸部的皮肤温度的变化或脸部的血液循环量的变化的成分进行确定，其中，上述时间序列的脸部皮肤温度数据是检测脸部的皮肤温度，包括检测出的温度数据以及检测部位的位置数据(坐标数据)，上述时间序列的脸部的血液循环量是根据RGB数据计算得到的，上述RGB数据是通过时间序列的脸部的拍摄图像数据得到的。此外，本发明者们通过推定对象者的脑活动并且对上述脑活动进行解析，从而得到能够根据推定出的脑活动而将对象者的生理状态可视化的本发明。

(2)脸部的各种数据的获取方法以及对获取后的各种数据进行解析的方法

(2－1)脸部皮肤温度数据的获取方法以及对脸部皮肤温度数据进行分析的方法

接着，对本发明者们获得上述见解时采用的脸部皮肤温度数据的获取方法以及对脸部皮肤温度数据进行解析的方法进行说明。

在本试验中，从六名试验者获取了脸部皮肤温度数据。具体而言，让试验者坐在设置于室温维持为25℃的人工气候室内的椅子上，并采用红外线热成像装置从试验者的整个脸部获取到脸部皮肤温度数据。红外线热成像装置能够通过红外线相机对从对象物辐射出的红外线辐射能进行检测，将检测出的红外线辐射能转换成对象物表面的温度(此处为摄氏温度)，并将上述温度分布作为脸部皮肤温度数据(例如，表示温度分布的图像数据)予以显示并储存。此外，在本试验中，使用NEC Avio红外线技术株式会社(日文：NEC Avio赤外線テクノロジー株式会社)制造的R300作为红外线热成像装置。另外，红外线相机设置于试验者的正面且距离试验者1.5米处的位置。此外，脸部皮肤温度数据是在三十分钟内获取的。

另外，在本试验中，在获取脸部皮肤温度数据的期间，向试验者提供了脑功能激活问题。藉此，获取到脑非激活时的脸部皮肤温度数据以及脑激活时的脸部皮肤温度数据。作为脑功能激活问题，列举了试验者根据显示装置等显示的画面所进行的计算，或者对数值、形状以及颜色进行识别，或者对记号、文字乃至语言进行记忆等心理作业。在本试验中，采用“乘法的心算”作为脑功能激活问题，让试验者对通过笔算形式显示于显示装置的数字进行计算，并且通过键盘输入上述问题的答案。此外，在本试验中，从开始获取脸部皮肤温度数据的五分钟后的十分钟持续向试验者提供脑功能激活问题。

作为对脸部皮肤温度数据的解析，将获取到的脸部皮肤温度数据作为对象，并且采用MATBLAB(注册商标)的SVD(奇异值分解(英文：Singular ValueDecomposition))作为分析工具进行奇异值分解。在奇异值分解中，将以时间序列获取到的所有脸部皮肤温度数据(三十分钟的数据)作为对象，将因子设为每三十秒的时间数据(三十分钟有六十个时间点)，将测度设为上述期间(三十秒)的脸部皮肤温度数据(240×320像素)。接着，通过奇异值分解将脸部皮肤温度数据X分解成多个成分，并且计算出各成分的时间分布V、空间分布U以及表示各成分大小的奇异值S。另外，上述关系通过下式表示。此外，V’是将矩阵V的行和列进行交换后得到的矩阵。

(数学式1)

X＝(U*S)*V′

接着，将由奇异值分解求出的各成分的时间分布V和空间分布U绘制成图，从而生成各成分的成分波形图和温度分布图。

此外，根据生成后的各成分的成分波形图和温度分布图，进行了对表示反映了脑活动的皮肤温度的变化的成分进行确定的解析。

根据各成分的成分波形图进行了上述成分波形的振幅与脑非激活时和脑激活时有无相关性关系的解析。具体而言，对各成分的成分波形图所示的振幅与脑非激活期间/脑激活期间之间是否具有相关性关系进行了评价。在本试验中，在获取脸部皮肤温度数据的期间，将作为未向试验者提供脑功能激活问题期间的、从开始获取数据的时刻到经过了五分钟的时刻为止的五分钟期间以及从开始获取数据时经过了十五分钟的时刻到数据获取结束时刻为止的十五分钟的期间设为脑非激活时，将作为向试验者提供脑功能激活问题的期间的、从开始获取数据时经过了五分钟的时刻到经过了十分钟的时刻为止的十分钟的期间设为脑激活时。接着，对各成分的成分波形图所示的振幅与脑非激活时和脑激活时有无相关性关系进行了评价。另外，对有无相关性关系进行了统计性的相关性分析，并且在显著水平(α)为0.05以下的情况下判断为具有相关性。

根据各成分的温度分布图，对脸部的规定部位的温度是否有变化进行了解析。此处，脑具有选择性脑冷却机构(Selective Brain Cooling System)这样独立于体温的、对脑进行冷却的结构。已知，选择性脑冷却机构利用前额部和鼻窦周围(包括眉间和鼻部周围)将由脑活动产生的热量排出。因此，在本试验中，在各成分的温度分布图中，对鼻窦周围以及前额部的温度是否发生变化进行了评价。此外，关于温度分布图中鼻窦周围和前额部的温度是否有变化，将通过目视(visual inspection)判断温度是否有变化，或者鼻窦周围以及前额部的温度是否与整个测定数据的平均温度具有一个标准偏差(SD)以上不同作为温度是否有变化的基准。

此外，由于脸部皮肤温度数据X的极性(正负)通过空间分布U、奇异值S以及时间分布V的值的关系来确定，因此，有时在各成分的成分波形图和温度分布图中极性会反转。因此，关于成分波形图和温度分布图的评价，极性不作为评价对象。

此处，在上述红外线热成像装置中，如上所述，将从对象物检测出的红外线辐射能转换成温度，并且将上述温度分布作为脸部皮肤温度数据。此外，在将人类作为对象并且采用红外线热成像装置来获取脸部的皮肤温度的情况下，也会将脸部的动作以及/或者自主神经的活动等各种与脑活动无关的温度变化(即干扰)作为脸部皮肤温度数据进行获取(参照图1的(a))。因此，为了对上述这样与脑活动无关的温度变化进行检测，生成将包含于每三十秒的脸部皮肤温度数据的温度数据的整体平均值设为“0”的相对脸部皮肤温度数据，对于生成后的脸部皮肤温度数据，也采用MATLAB(注册商标)的SVD作为分析工具来进行奇异值分解，从而生成基于奇异值S的各成分的成分波形图和温度分布图，进而进行了对表示反映了脑活动的皮肤温度的变化的成分进行确定的解析。

此外，以下，为了便于说明，将通过红外线热成像装置获取到的脸部皮肤温度数据称为“基于温度换算数据的脸部皮肤温度数据”，将相对脸部皮肤温度数据称为“基于相对温度换算数据的脸部皮肤温度数据”，其中，上述相对脸部皮肤温度数据是将基于每个规定时间(本试验中为每三十秒)的温度换算数据的脸部皮肤温度数据所包含的温度数据的整体平均值设为“0”。

另外，对于六名试验者中的一名试验者，除了进行基于红外线热成像装置的脸部皮肤温度的检测外，还在该名试验者的头皮上连接电极并测定脑波，对作为清醒时或意识紧张时出现的波形而公知的β波(频率为14～30Hz的脑波)的振幅和成分波形图的振幅之间的相关性关系进行了评价。此外，在脑波测定时，根据国际标准10－20法，在六个部位(F3、F4、C3、C4、Cz、Pz)配置了电极。

可以认为，在向试验者提供脑功能激活问题的期间，试验者的头上下运动。由此，试验者的脸部相对于红外线相机的位置会发生变化。为了验证上述脸部的位置的变化是否对皮肤温度的变化有影响，对一名试验者进行了对照试验。在对获取脸部皮肤温度数据时试验者的动作所产生的影响进行验证的对照试验中，与上述试验相同，采用红外线热成像装置来获取试验者的脸部皮肤温度数据，而在未被提供脑功能激活问题的期间(即，脑非激活时)，在随机的时刻也向试验者布置按键盘的作业。针对基于由上述对照试验得到的温度换算数据的脸部皮肤温度数据以及基于相对温度换算数据的脸部皮肤温度数据，也采用MATLAB(注册商标)的SVD作为分析工具来进行奇异值分解，从而生成基于奇异值S的各成分的成分波形图和温度分布图，进而进行了对表示反映了皮肤温度的变化的成分进行确定的解析。

(2－2)脸部拍摄图像数据的获取方法以及对脸部拍摄图像数据进行解析的方法

图1的(a)是表示由拍摄装置拍摄到的试验者的脸部的鼻窦周围的拍摄图像数据的一例的图。图1的(b)是表示血液循环量分布图(图像映射)的一例的图。

接着，对本发明者们获得上述见解时采用的脸部拍摄图像数据的获取方法以及对脸部拍摄图像数据进行解析的方法进行说明。

在本试验中，从六名试验者获取到脸部的拍摄图像数据。具体而言，让试验者坐在设置于室温维持为25℃的人工气候室内的椅子上，并采用能够以时间序列获取图像的拍摄装置，从而以时间序列获取到试验者的整个脸部的鼻窦周围的拍摄图像数据。

此外，若根据上述选择性脑冷却机构，则可以认为与伴随脑活动的脸部皮肤温度成比例的脸部的血液循环量的变化出现在前额部以及/或者鼻窦周围。由此，本发明者们认为，只要能够至少捕捉到前额部以及/或者鼻窦周围的脸部的血液循环量的变化，就能够高精度地推定脑活动。接着，在本试验中，以时间序列获取到试验者的脸部的鼻窦周围的拍摄图像数据。

此外，在上述试验中，作为拍摄装置，使用苹果公司(原文：Apple社)制造的iPadAir(注册商标)所具有的液晶画面侧的拍摄装置，获取到彩色的动画数据以作为时间序列的拍摄图像数据。此外，拍摄装置设置于试验者的正面侧且距离试验者1.0米处的位置。接着，通过采用拍摄装置以30帧/秒的拍摄周期沿着时间轴连续拍摄三十分钟的拍摄图像数据来得到脸部的动画数据。

另外，在本试验中，在获取脸部的动画数据的期间，向试验者提供了脑功能激活问题。藉此，获取到脑非激活时的脸部的动画数据以及脑激活时的脸部的动画数据。在本试验中，与上述试验相同，采用“乘法的心算”作为脑功能激活问题，让试验者对通过笔算形式显示于显示装置的数字进行计算，并且通过键盘输入上述问题的答案。此外，在本试验中，从开始获取脸部的动画数据的五分钟后的十分钟持续向试验者提供脑功能激活问题。

作为脸部的动画数据的解析，根据由拍摄到的脸部的动画数据所得到的RGB数据来计算出血液循环量数据，将计算出的时间序列的血液循环量数据作为对象，并且将MATLAB(注册商标)的SVD作为分析工具进行了奇异值分解。此处，根据CIE－L*a*b*表色系统求出与根据图像的RGB数据运算出的皮肤的发红程度和血红蛋白量具有相关性的红斑指数“a*”，并将该红斑指数“a*”作为血液循环量数据。此外，在奇异值分解中，将基于通过以时间序列获取到的所有动画数据(三十分钟的数据)得到的RGB数据的血液循环量数据(此处为红斑指数)设为对象，将因子设为每三十秒的时间数据(三十分钟有六十个时间点)，将测度设为根据上述期间(每三十秒)的RGB数据运算出的红斑指数(每三十秒取出一秒的帧数据，对由上述帧数据得到的RGB值的平均值进行运算而得到红斑指数；240×320像素)。接着，通过奇异值分解将基于由脸部的动画数据得到的RGB数据的时间序列的血液循环量数据分解成多个成分，并且计算出各成分的时间分布V、空间分布U以及表示各成分大小的奇异值S。另外，上述关系通过与上式(数学式1)相同的式子表示。

接着，将由奇异值分解求出的各成分的时间分布V和空间分布U绘制成图，从而生成各成分的成分波形图和血液循环量分布图。

然后，根据生成后的各成分的成分波形图和血液循环量分布图，进行了对表示反映了脑活动的脸部的血液循环量的变化即脸部的RGB变化的成分进行确定的解析。

根据各成分的成分波形图进行了上述成分波形的振幅与脑非激活时和脑激活时有无相关性关系的解析。具体而言，对各成分的成分波形图所示的振幅与脑非激活期间/脑激活期间之间是否具有相关性关系进行了评价。在本试验中，在获取脸部的拍摄图像数据的期间，将作为未向试验者提供脑功能激活问题期间的、从开始获取数据的时刻到经过了五分钟的时刻为止的五分钟期间以及从开始获取数据时经过了十五分钟的时刻到数据获取结束时刻为止的十五分钟的期间设为脑非激活时，将作为向试验者提供脑功能激活问题的期间的、从开始获取数据时经过了五分钟的时刻到经过了十分钟的时刻为止的十分钟的期间设为脑激活时。接着，对各成分的成分波形图所示的振幅与脑非激活时和脑激活时有无相关性关系进行了评价。另外，对有无相关性关系进行了统计性的相关性分析，并且在显著水平(α)为0.01以下的情况下判断为具有相关性。

根据各成分的血液循环量分布图，对脸部的规定部位的血液循环量是否有变化进行了解析。血液循环量分布图通过将在每个像素计算出的空间分布U排列于各像素的位置而生成。在如上述那样生成的各成分的血液循环量分布图中，对鼻窦周围以及前额部的血液循环量是否有变化进行了评价。此外，关于血液循环量分布图中鼻窦周围以及前额部的血液循环量是否有变化这一点，将通过目视(visual inspection)判断血液循环量是否有变化，或者如图1的(b)所示鼻窦周围以及前额部的血液循环量的值不为“0.000”来作为血液循环量是否有变化的基准。

另外，由于血液循环量数据X的极性(正负)通过空间分布U、奇异值S以及时间分布V的值的关系来确定，因此，有时在各成分的成分波形图和血液循环量分布图中极性会反转。因此，关于成分波形图和血液循环量分布图的评价，极性不作为评价对象。

然后，为了对脸部的皮肤温度和脸部的血液循环量的相关性关系进行验证，在从六名试验者以时间序列获取脸部的拍摄图像数据的期间，通过红外线热成像装置以时间序列还获取脸部皮肤温度数据，并且将MATLAB(注册商标)的SVD作为分析工具来对获取到的脸部皮肤温度数据也进行奇异值分解，从而生成基于奇异值S的各成分的成分波形图，进而对上述成分波形的振幅与脑非激活时和脑激活时是否具有相关性关系进行了解析。此外，在本试验中，采用了与上述试验相同的红外线热成像装置。另外，红外线相机设置于试验者的正面且距离试验者1.5米处的位置。

在使用拍摄装置来获取脸部的拍摄图像数据的情况下，有时在拍摄中太阳光等照射到脸上而使光通过脸反射，从而致使上述反射光进入拍摄装置的透镜。由此，在拍摄到的脸部的拍摄图像数据中会记录有上述反射光。此处，在由拍摄图像数据得到的RGB数据中，由于基于脸部的血液循环量的明度的变化比基于反射光的明度的变化小，因此，可以认为，若对根据由记录有反射光的拍摄图像数据得到的RGB数据而计算出的血液循环量进行解析，则可能混入与脑活动无关的脸部的RGB变化(即干扰)。因此，为了防止混入上述这样与脑活动无关的脸部的RGB变化，通过将每三十秒的RGB数据的整体平均值设为“0”的相对RGB数据生成相对血液循环量数据，对于生成后的血液循环量数据，也采用MATLAB(注册商标)的SVD作为分析工具来进行奇异值分解，从而生成基于奇异值S的各成分的成分波形图和血液循环量分布图，进而进行了对表示反映了脑活动的脸部的RGB变化的成分进行确定的解析。

此外，以下，为了便于说明，将基于将每个规定时间(本试验中为每三十秒)的RGB数据的整体平均值设为“0”的相对RGB数据的相对血液循环量数据称为“相对换算血液循环量数据”，将基于换算成相对RGB数据前的RGB数据的血液循环量数据仅称为“血液循环量数据”。

另外，在通过拍摄装置从六名试验者获取脸部的时间序列的拍摄图像数据的期间，在各试验者的头皮上连接电极并测定脑波，从而对作为清醒时等的脑细胞活动时所呈现的波形而公知的β波(频率为13～30Hz的脑波)的振幅和成分波形图的振幅之间的相关性关系进行了评价。此外，在脑波测定中，根据国际标准10－20法，在头皮上十九个部位(Fp1、Fp2、F3、F4、C3、C4、P3、P4、O1、O2、F7、F8、T3、T4、T5、T6、Fz、Cz以及Pz)配置了电极。

此外，可以认为，在向试验者提供脑功能激活问题的期间，试验者的头上下运动。由此，试验者的脸部相对于拍摄装置的位置会发生变化。为了验证上述脸部的位置的变化是否对脸部的RGB变化有影响，对一名试验者进行了对照试验。在对照试验中，与上述试验相同，使用拍摄装置来获取试验者的脸部的时间序列的拍摄图像数据，但在未提供脑功能激活问题的期间(即，脑非激活时)，也在随机的时刻向试验者布置按键盘的作业。针对基于由通过上述对照试验拍摄到的脸部的时间序列的拍摄图像数据得到的RGB数据的时间序列的血液循环量数据，也采用MATLAB(注册商标)的SVD作为分析工具来进行奇异值分解，从而生成基于奇异值S的各成分的成分波形图，进而对上述成分波形的振幅与脑非激活时和脑激活时是否具有相关性关系进行了解析。此外，对各成分波形的振幅和实际的脸部的动作是否具有相关性关系进行了解析。实际的脸部的动作通过下述方式进行了评价：通过拍摄图像数据获取脸的相同部位的二维坐标，并且将对照实验开始时的拍摄图像数据作为基准来计算出拍摄时每三十秒的脸部的移动距离。并且，对各成分波形的振幅和拍摄中的键盘的输入数是否具有相关性关系也进行了解析。拍摄中的键盘的输入数通过计算出时间序列的拍摄图像数据中每三十秒的单纯移动平均值来评价。

(3)分析结果

(3－1)脸部皮肤温度数据的分析结果

图2是表示对基于温度换算数据的脸部皮肤温度数据进行解析后的部分结果的图。图2的(a)表示试验者一的成分二的成分波形图。图2的(b)表示试验者一的成分二的温度分布图。图3的(a)表示试验者一的成分三的成分波形图。图3的(b)表示试验者一的成分三的温度分布图。图4和图5是表示成分波形的振幅和脑波的关系的图。图4是表示试验者一的成分二的成分波形的振幅和测定出的脑波中的β波的振幅的图。图5是表示试验者一的成分三的成分波形的振幅和测定出的脑波中的β波的振幅的图。图6是表示对由对照实验得到的脸部皮肤温度数据进行解析后的部分结果的图。图6的(a)表示成分三的成分波形图。图6的(b)表示成分三的温度分布图。

表1示出了各试验者的脸部皮肤温度数据的解析结果。

通过对上述脸部皮肤温度数据进行解析得到的结果可知，通过奇异值分解将时间序列的脸部皮肤温度数据分解而得到的多个成分中的成分二以及/或者成分三和人类的脑活动之间具有显著的相关性。

【表1】

此外，如图4和图5所示，通过脑波解析的结果可知，成分二和成分三的各成分波形的振幅和脑波的β波的振幅之间具有显著的相关性。

此外，在对照实验中，即使在获取脸部皮肤温度数据的期间试验者处于运动状态，成分三和人类的脑活动之间也具有显著的相关性(参照图6)。由此可以认为，获取脸部皮肤温度数据时的试验者的动作对多个成分中的成分三没有影响。

根据上述结果，本发明者们得到下述见解。

通过采用奇异值分解将从试验者获取到的时间序列的脸部皮肤温度数据分解成多个成分、并且对分解后的各成分进行解析后的结果可知，多个成分中的成分三是与脑活动相关的成分。即可知，通过采用奇异值分解将时间序列的脸部皮肤温度数据分解成多个成分，从分解后的多个成分提取出与脑激活/非激活相关的成分，并且利用选择性脑冷却机构对提取出的成分进行解析，从而能够从多个成分中对表示反映了皮肤温度的变化的成分进行确定。由此，本发明者们得到了下述见解：能够根据人类的脸部的皮肤温度来对脑活动进行推定。

(3－2)脸部的拍摄图像数据的解析结果

图7～图18是表示对基于脸部的拍摄图像数据(血液循环量数据)或脸部皮肤温度数据的成分波形图和测定出的脑波中的β波的波形图进行比较和解析后的部分结果的图。图7是表示基于试验者一的拍摄图像数据的成分二的成分波形的振幅和测定出的试验者一的脑波中的β波的振幅的图。图8是表示基于试验者一的脸部皮肤温度数据的成分二的成分波形的振幅和测定出的试验者一的脑波中的β波的振幅的图。图9是表示基于试验者二的拍摄图像数据的成分二的成分波形的振幅和测定出的试验者二的脑波中的β波的振幅的图。图10是表示基于试验者二的脸部皮肤温度数据的成分二的成分波形的振幅和测定出的试验者二的脑波中的β波的振幅的图。图11是表示基于试验者三的拍摄图像数据的成分四的成分波形的振幅和测定出的试验者三的脑波中的β波的振幅的图。图12是表示基于试验者三的脸部皮肤温度数据的成分三的成分波形的振幅和测定出的试验者三的脑波中的β波的振幅的图。图13是表示基于试验者四的拍摄图像数据的成分三的成分波形的振幅和测定出的试验者四的脑波中的β波的振幅的图。图14是表示基于试验者四的脸部皮肤温度数据的成分二的成分波形的振幅和测定出的试验者四的脑波中的β波的振幅的图。图15是表示基于试验者五的拍摄图像数据的成分二的成分波形的振幅和测定出的试验者五的脑波中的β波的振幅的图。图16是表示基于试验者五的脸部皮肤温度数据的成分二的成分波形的振幅和测定出的试验者五的脑波中的β波的振幅的图。图17是表示基于试验者六的拍摄图像数据的成分四的成分波形的振幅和测定出的试验者六的脑波中的β波的振幅的图。图18是表示基于试验者六的脸部皮肤温度数据的成分三的成分波形的振幅和测定出的试验者六的脑波中的β波的振幅的图。

如图7～图18所示，通过各成分波形和脑波解析的结果可知，脸部的皮肤温度和脸部的血液循环量具有相关性关系。此外，基于脸部的皮肤温度数据以及脸部的血液循环量数据中的任一数据的解析也可知，各成分波形的振幅和安装于头顶部或后头部的电极测定出的脑波的β波的振幅之间具有显著的相关性。

如下所示的表2示出了各试验者的脸部的拍摄图像数据的解析结果。

【表2】

如表2所示，通过由上述脸部的拍摄图像数据的解析得到的结果可知，在对基于脸部的拍摄图像数据的时间序列的血液循环量数据进行奇异值分解而得到的多个成分中，成分一、成分二、成分三、成分四、成分五和人类的脑活动之间具有显著的相关性。另外，在此认为，不仅在基于血液循环量数据的相关性中被观察到具有显著的相关性且在基于相对换算血液循环量数据的相关性中被观察到具有显著的相关性的成分与人类的脑活动具有显著的相关性，而且虽然在基于血液循环量数据的相关性中未被观察到具有显著的相关性但在基于相对换算血液循环量的相关性中被观察到具有显著的相关性的成分也与人类的脑活动具有显著的相关性。

此外，如下所示的表3示出了对照实验的结果。

【表3】

与脑休息时/脑激活时具有相关性关系的成分	成分一、成分二
		与脸部移动距离具有相关性关系的成分	成分一、成分三、成分四
与键盘输入数具有相关性关系的成分	成分八

如表3所示，在对照实验中，在获取脸部的拍摄图像数据的期间试验者有动作的情况下，未发现成分二分别与移动距离和键盘输入数之间具有显著的相关性，其中，成分二是上述成分波形的振幅与脑非激活时和脑激活时之间具有显著的相关性的成分中的成分。由此可知，在通过对基于从脸部的拍摄图像数据获取到的RGB数据的血液循环量数据进行奇异值分解而得到的多个成分中，与脑活动之间具有显著的相关性的成分虽然受到由在获取脸部的时间序列的拍摄图像数据时的试验者的动作产生的影响，但上述影响远比由脑的脑活动产生的影响(由脑激活或非激活产生的影响)小。

根据上述结果，本发明者们得到下述见解。

采用奇异值分解将通过基于从试验者获取到的时间序列的脸部的拍摄图像数据的脸部的RGB数据得到的血液循环量数据分解成多个成分，并且通过对分解后的各成分进行解析后的结果可知，多个成分中的成分一、成分二、成分三、成分四和成分五是与脑活动有关的成分。即可知，通过采用奇异值分解将通过基于时间序列的脸部的拍摄图像数据的脸部的RGB数据得到的血液循环量数据分解成多个成分，从分解后的多个成分提取出与脑激活/脑非激活相关的成分，并且对提取出的成分进行解析，从而能够从多个成分中对表示反映了脑活动的脸部的RGB变化的成分进行确定。由此，本发明者们得到了下述见解：能够根据人类的脸部的时间序列的拍摄图像数据来对脑活动进行推定。

(4)脑活动可视化装置

接着，根据上述说明的见解，对本发明者们完成的本发明的一实施方式的脑活动可视化装置10、110进行说明。此外，本发明的脑活动可视化装置不限定于下述实施方式，能够在不脱离其主旨的范围内进行适当的变更。

本发明的一实施方式的脑活动可视化装置10、110包括：脑活动推定单元30，该脑活动推定单元30根据脸部皮肤温度数据对脑活动进行推定；以及/或者脑活动推定单元130，该脑活动推定单元130根据脸部的拍摄图像数据对脑活动进行推定。以下，在对本发明的一实施方式的脑活动可视化装置10、110进行说明前，对各脑活动推定单元30、130进行说明。

(4－1)根据脸部皮肤温度对脑活动进行推定的脑活动推定单元30

图19是本发明的一实施方式的脑活动可视化装置10的示意图。图20是表示在脑活动可视化装置10中对表示反映了脑功能的皮肤温度的变化的成分进行确定时的处理的流程的流程图。

脑活动可视化装置10所包括的脑活动推定单元30通过个人(试验者)的脸部的皮肤温度对个人的脑活动进行推定。如图19所示，脑活动可视化装置10包括脸部皮肤温度获取单元20、脑活动推定单元30以及状态可视化单元200。

脸部皮肤温度获取单元20对个人的脸部的至少一部分的皮肤温度进行检测，并且以时间序列获取包括检测出的温度数据以及其检测部位的位置数据的脸部皮肤温度数据(步骤S1)。此外，此处，脸部皮肤温度获取单元20是红外线热成像装置，如图19所示，该脸部皮肤温度获取单元20具有红外线相机21和处理部22。红外线相机21用于对从个人的脸部辐射出的红外线辐射能进行检测。接着，此处，红外线相机21从个人的整个脸部对红外线辐射能进行检测。处理部22将由红外线相机21检测出的红外线辐射能转换成温度以作为温度数据，并且生成将检测出红外线辐射能的部位作为位置数据(坐标数据)的整个脸部的脸部皮肤温度的温度分布图，将生成后的温度分布图作为基于温度换算数据的脸部皮肤温度数据进行处理。基于温度换算数据的脸部皮肤温度数据储存于处理部22具有的存储部(未图示)。

此处，在处理部22生成整个脸部的脸部皮肤温度的温度分布图，但不限定于此，也可以生成至少包括鼻窦周围以及/或者前额部的脸部皮肤温度的温度分布图，并且将上述温度分布图作为基于温度换算数据的脸部皮肤温度数据。

此外，此处，在采用脸部皮肤温度获取单元20对基于温度换算数据的脸部皮肤温度数据进行获取的期间，在一定期间内向个人提供脑功能激活问题。即，采用脸部皮肤温度获取单元20获取的、基于温度换算数据的脸部皮肤温度数据包括向个人提供脑功能激活问题期间的数据。此外，作为向个人提供的脑功能激活问题，只要推定为能够使人脑处于激活状态，则不做特别的限定，例如，可以根据脑活动可视化装置10的利用目的来适当地确定上述脑功能激活问题的内容。

脑活动推定单元30根据由脸部皮肤温度获取单元20获取到的基于温度换算数据的脸部皮肤温度数据来对人类的脑活动进行推定。具体而言，如图19所示，脑活动推定单元30具有换算部31、解析部32和推定部33。

换算部31将基于温度换算数据的脸部皮肤温度数据所包含的温度数据换算成相对温度数据，然后生成基于换算后的相对温度数据的脸部皮肤温度数据即基于相对温度换算数据的脸部皮肤温度数据(步骤S2)。具体而言，换算部31将基于每个规定时间(例如，30秒)的温度换算数据的脸部皮肤温度数据所包含的温度数据的平均值作为基准值，并且将该温度数据换算成相对温度数据。接着，换算部31利用换算后的相对温度数据和位置数据来生成基于相对温度换算数据的脸部皮肤温度数据。

解析部32通过奇异值分解、主成分分析或独立成分分析分别将基于时间序列的温度换算数据的脸部皮肤温度数据和基于相对温度换算数据的脸部皮肤温度数据分解成多个成分(步骤S3)。此处，解析部32分别将获取到的基于温度换算数据的脸部皮肤温度数据和换算后的基于相对温度换算数据的脸部皮肤温度数据作为对象，并且采用MATLAB(注册商标)的SVD作为分析工具来进行奇异值分解。针对以时间序列获取到的基于温度换算数据的脸部皮肤温度数据和基于相对温度换算数据的脸部皮肤温度数据，通过将因子设为每个规定期间(例如，30秒)的时间数据，并且将测度设为上述期间的基于温度换算数据的脸部皮肤温度数据和基于相对温度换算数据的脸部皮肤温度数据，从而进行奇异值分解。接着，通过奇异值分解分别将基于温度换算数据的脸部皮肤温度数据和基于相对温度换算数据的脸部皮肤温度数据分解成多个成分，然后计算出时间分布、空间分布以及表示各成分大小的奇异值。

此外，为了从由奇异值分解分解出的多个成分来对表示反映了脑活动的皮肤温度的变化的成分进行确定，解析部32对各成分是否满足第一条件和第二条件进行判定(步骤S4a、步骤S4b、步骤S5a、步骤S5b)。另外，此处，在解析部32中，首先对基于与温度换算数据对应的脸部皮肤温度数据的各成分是否满足第一条件进行判定(步骤S4a)，对在步骤S4a中判定为满足第一条件的、基于与温度换算数据对应的脸部皮肤温度数据的成分是否满足第二条件进行判定(步骤S4b)。接着，仅对基于与相对温度换算数据对应的脸部皮肤温度数据的各成分中的、与在步骤S4a和步骤S4b中判定为满足第一条件和第二条件的成分一致的成分是否满足第一条件进行判定(步骤S5a)，然后，对在步骤S5a中判定为满足第一条件的、基于与相对温度换算数据对应的脸部皮肤温度数据的成分是否满足第二条件进行判定(步骤S5b)。不过，解析部32的上述判定的顺序不限定于此，例如，可以分别对基于与温度换算数据对应的脸部皮肤温度数据的各成分以及基于与相对温度换算数据对应的脸部皮肤温度数据的各成分是否满足第一条件和第二条件进行判定，最后提取出判定结果一致的成分。

第一条件是指通过奇异值分解分解出的成分的成分波形的振幅与脑非激活时以及脑激活时的变化具有相关性关系的条件。解析部32提取出多个成分中满足第一条件的成分以作为判定用成分。另外，此处，在获取基于温度换算数据的脸部皮肤温度数据的期间，向个人提供脑功能激活问题的期间是一定期间。解析部32将未向个人提供脑功能激活问题的期间设为脑非激活时，将向个人提供脑功能激活问题的期间设为脑激活时，并且将提供有脑功能激活问题的期间以及未提供有脑功能激活问题的期间和各成分的成分波形进行比较和解析。解析部32利用基于成分波形数据的比较解析结果来对各成分的成分波形是否与脑非激活时和脑激活时具有相关性关系进行评价，并且将多个成分中评价为具有相关性关系的成分提取并作为满足第一条件的判定用成分。另一方面，解析部32判定多个成分中评价为不具有相关性关系的成分不满足第一条件，不是表示反映了人类的脑活动的温度变化的成分(步骤S6)。

此处，在获取基于温度换算数据的脸部皮肤温度数据时，在一定期间内向个人提供脑活动激活问题，解析部32藉此提取出判定用成分，但是，第一条件的内容即解析部32中判定用成分的提取手段不限定于此。例如，在通过预先实验等确定多个成分中表示与脑非激活时和脑激活时具有相关性关系的成分波形的成分的情况下，解析部32将从多个成分中确定的上述成分提取以作为判定用成分。此外，在本脑活动可视化装置对眼球运动或眨眼等作为与脑激活/非激活有关的动作而公知的人类的动作进行检测的情况下，解析部32可以通过将上述检测结果和各成分的成分波形进行比较、解析和评价，从而从多个成分中提取出判定用成分。另外，通过解析部32进行是否满足第一条件的判定的基准根据脑活动可视化装置10的利用目的等并且通过模拟或实验、理论计算等来适当地确定。

第二条件是指在提取出的判定用成分中，人类的脸部的规定部位的温度有变化的条件。解析部32将判定用成分中满足第二条件的成分判定为与人类的脑活动有关的可能性较高的成分，并且提取上述成分以作为候补成分。也就是说，解析部32根据人类的脸部的规定部位的温度是否有变化来对判定用成分是否与人类的脑活动有关进行判定。具体而言，解析部32根据提取出的判定用成分的温度分布数据来对鼻窦周围以及/或者前额部的温度是否发生变化进行判定，在温度发生变化的情况下，判定上述判定用成分是满足第二条件的、与人类的脑活动有关的可能性较高的成分，从而将上述成分提取以作为候补成分。另一方面，在鼻窦周围以及/或者前额部的温度没有发生变化的情况下，解析部32判定上述判定用成分不满足第二条件，不是表示反映了脑活动的皮肤温度的变化的成分(步骤S6)。此外，通过解析部32进行是否满足第二条件的判定的基准根据脑活动可视化装置10的利用目的等并且通过模拟或实验、理论计算等来适当地确定。

接着，解析部32将在步骤S5b中判定为满足第二条件的成分确定为表示反映了脑活动的皮肤温度的变化的成分(步骤S7)。也就是说，在步骤S7中确定为表示反映了脑活动的皮肤温度的变化的成分是通过对基于温度换算数据的脸部皮肤温度数据进行奇异值分解、解析而提取出的候补成分和通过对基于相对温度换算数据的脸部皮肤温度数据进行奇异值分解、分析而提取出的候补成分之间一致的成分。此外，关于在两种解析中不一致的候补成分，在步骤S6中判定为不是表示反映了脑活动的皮肤温度的变化的成分。

推定部33根据解析部32中确定为表示反映了人类的脑活动的皮肤温度的变化的成分的成分来对人类的脑活动进行推定。具体而言，推定部33根据在解析部32中确定的成分的成分波形数据来对获取脸部皮肤温度数据时的脑活动量进行推定。

(4－1－1)变形例1A

上述脑活动推定单元30具有换算部31，采用换算部31生成基于相对温度换算数据的脸部皮肤温度数据。接着，解析部32通过奇异值分解不仅将基于由脸部皮肤温度获取单元20获取到的温度换算数据的脸部皮肤温度数据、而且将基于与换算成相对温度数据的温度数据对应的相对温度数据的脸部皮肤温度数据也分解成多个成分，并且对各成分进行解析。

作为替代，脑活动推定单元30可以不具有换算部31。在这种情况下，能够省略对基于相对温度换算数据的脸部皮肤温度数据进行生成以及对基于与相对温度换算数据对应的脸部皮肤温度数据的数据进行解析的处理。

但是，为了高精度地确定与人类的脑活动有关的成分，较佳的是，如上述实施方式所述，脑活动推定单元30具有换算部31，使解析部32通过奇异值分解不仅将基于由脸部皮肤温度获取单元20获取到的温度换算数据的脸部皮肤温度数据、而且将基于与换算成相对温度数据的温度数据对应的相对温度数据的脸部皮肤温度数据也分解成多个成分，并且对各成分进行解析。

(4－1－2)变形例1B

此外，上述脸部皮肤温度获取单元20是能够在与对象物不接触的状态下获取温度数据的红外线热成像装置。

但是，只要能够对个人的脸部的至少一部分的皮肤温度进行检测，并且以时间序列获取包括检测出的温度数据以及其检测部位的位置数据的脸部皮肤温度数据，则脸部皮肤温度获取单元也不限定于红外线热成像装置。

例如，脸部皮肤温度获取单元可以是包括温度传感器的装置。具体而言，可以在个人的脸部的规定部位安装温度传感器，根据温度传感器检测出的温度数据以及安装温度传感器的部位的位置数据来获取时间序列的脸部皮肤温度数据。这样，即使在温度传感器在与作为对象的个人接触的状态下获取脸部皮肤温度数据的情况下，温度传感器也不像脑波电极等那样需要进行安装前的处理，因此，与脑波测量法、磁共振图像法以及近红外线分光法等现有检测方法相比，能够简便地获取数据。藉此，能够简便地对人类的脑活动进行推定。

(4－2)根据脸部的拍摄图像数据对脑活动进行推定的脑活动推定单元130

图21是本发明的实施方式的脑活动可视化装置110的示意图。图22是表示在脑活动可视化装置110中对表示反映了脑功能的脸部的RGB变化的成分进行确定时的处理的流程的一例的流程图。

脑活动可视化装置110所包括的脑活动推定单元130通过个人(试验者)的脸部的拍摄图像数据对个人的脑活动进行推定。如图21所示，脑活动可视化装置110包括图像数据获取单元120、脑活动推定单元130以及状态可视化单元200。

图像数据获取单元120以时间序列获取个人的脸部的至少一部分的拍摄图像数据(步骤S101)。此外，只要是至少具有拍摄装置的设备，则对图像数据获取单元120不做特别的限定，例如，可以列举智能手机或平板电脑(例如，iPad：注册商标)等内置拍摄装置型移动终端等。此处，如图21所示，图像数据获取单元120具有作为拍摄装置的相机121和存储部122。相机121用于以时间序列获取个人的脸部的拍摄图像数据。此处，相机121对个人的整个脸部的动画进行拍摄，从而获取拍摄到的动画数据。存储部122对由拍摄装置拍摄到的时间序列的拍摄图像数据进行储存。此处，存储部122对通过相机121获取到的动画数据进行储存。

另外，此处通过相机121对整个脸部的动画进行拍摄，但不限定于此，只要对脸部的至少包括前额部以及/或者鼻窦周围的图像的动画进行拍摄即可。

此外，此处，在采用图像数据获取单元120对脸部的时间序列的拍摄图像数据进行获取的期间，在一定期间内向个人提供脑功能激活问题。也就是说，采用图像数据获取单元120获取的拍摄图像数据包括向个人提供脑功能激活问题期间的数据。此外，作为向个人提供的脑功能激活问题，只要推定为能够使人脑处于激活状态，则不做特别的限定，例如，可以根据脑活动可视化装置110的利用目的来适当地确定上述脑功能激活问题的内容。

脑活动推定单元130根据由图像数据获取单元120获取到的脸部的时间序列的拍摄图像数据来对人类的脑活动进行推定。具体而言，如图21所示，脑活动推定单元130具有RGB处理部131、换算部132、血液循环量计算部133、解析部134以及推定部135。另外，在图21中示出了脑活动推定单元130作为一个具有RGB处理部131、换算部132、血液循环量计算部133、解析部134和推定部135的装置而存在的形态，但在本发明中不限定于此，上述脑活动推定单元130也可作为RGB处理部131、换算部132、血液循环量计算部133、解析部134以及推定部135的一部分独立或互相独立的装置而存在。此外，此处，脸部血液循环量获取单元通过图像数据获取单元120、RGB处理部131、换算部132以及血液循环量计算部133构成。

RGB处理部131进行将由图像数据获取单元120获取到的拍摄图像数据分解成R成分、G成分以及B成分的三种颜色成分的RGB处理(步骤S102)。在此，可以对整个脸部的拍摄图像数据进行RGB处理，但此处，为了减少运算处理量和干扰，从拍摄图像数据提取出前额部以及/或者鼻窦周围的数据，并且仅对提取出的数据进行RGB处理。

换算部132将由RGB处理获得的拍摄图像数据的RGB数据换算成相对RGB数据(步骤S103)。具体而言，换算部132将从每个规定时间(例如，30秒)获取到的拍摄图像数据得到的RGB数据的平均值作为基准值，并且将上述RGB数据换算成相对RGB数据。

血液循环量计算部133根据由RGB处理获得的拍摄图像数据的RGB数据来计算出脸部的时间序列的血液循环量数据(步骤S104)。

解析部134通过奇异值分解、主成分分析或独立成分分析将时间序列的相对换算血液循环量数据分解成多个成分(步骤S105)。此处，解析部134采用MATLAB(注册商标)的SVD作为分析工具来对相对换算血液循环量数据进行奇异值分解。具体而言，通过将时间序列的相对换算血液循环量数据设为对象，将因子设为每个规定期间(例如，30秒)的时间数据，并且将测度设为从每个上述期间的相对RGB数据运算出的每个像素的相对换算血液循环量数据，从而进行奇异值分解。接着，通过奇异值分解将时间序列的相对换算血液循环量数据分解成多个成分，然后计算出时间分布、空间分布以及表示各成分大小的奇异值。

此外，为了从通过奇异值分解分解出的多个成分中对表示反映了脑活动的脸部的RGB变化的成分进行确定，解析部134对各成分是否满足规定条件进行判定(步骤S106)。在此，规定条件例如包括通过奇异值分解分解出的成分的成分波形的振幅与脑非激活时和脑激活时的变化具有相关性关系的条件(以下，称为第一条件)，以及在通过奇异值分解分解出的成分中人类的脸部的规定部位的血液循环量有变化的条件(以下，称为第二条件)等。作为在解析部134中进行判定的规定条件，只要设定一个或多个条件即可，此处，设定第一条件以作为规定条件。

接着，解析部134提取出多个成分中满足规定条件的成分以作为判定用成分。然后，解析部134将提取出的判定用成分中的、满足包含于规定条件的所有条件的成分确定为表示反映了脑活动的脸部的RGB变化的成分(步骤S107)。另一方面，解析部134将多个成分中的、判定为至少不满足包含于规定条件的一个条件的成分判定为不是表示反映了脑活动的脸部的RGB变化的成分(步骤S108)。

此处，如上所述，仅设定一个条件(第一条件)作为规定条件，在对脸部的时间序列的拍摄图像数据进行获取的期间，向个人提供脑功能激活问题的期间是一定期间。因此，解析部134将未向个人提供脑功能激活问题的期间设为脑非激活时，将向个人提供脑功能激活问题的期间设为脑激活时，并且将提供有脑功能激活问题的期间以及未提供有脑功能激活问题的期间与各成分的成分波形进行比较和解析。接着，解析部134利用基于成分波形数据的比较解析结果来对各成分的成分波形是否与脑非激活时和脑激活时具有相关性关系进行评价，并且将多个成分中评价为具有相关性关系的成分提取并作为满足规定条件的判定用成分，并且将其确定为表示反映了脑活动的脸部的RGB变化的成分。另一方面，解析部134判定多个成分中评价为不具有相关性关系的成分不满足规定条件，不是表示反映了人类的脑活动的脸部的RGB变化的成分。

此处，在获取脸部的时间序列的拍摄图像数据时，在一定期间内向个人提供脑活动激活问题，解析部134藉此提取出判定用成分，但是，第一条件的内容即解析部134中判定用成分的提取手段不限定于此。例如，在通过预先实验等确定多个成分中表示与脑非激活时和脑激活时具有相关性关系的成分波形的成分的情况下，解析部134将从多个成分中确定的上述成分提取以作为判定用成分。此外，在脑活动可视化装置110对眼球运动或眨眼等作为与脑激活/非激活有关的动作而公知的人类的动作也进行检测的情况下，解析部134可以通过将上述检测结果和各成分的成分波形进行比较、解析和评价，从而从多个成分中提取出判定用成分。另外，通过解析部134进行是否满足第一条件的判定的基准根据脑活动可视化装置110的利用目的等并且通过模拟或实验、理论计算等来适当地确定。

此外，在设定第二条件作为规定条件的情况下，解析部134根据人类的脸部的规定部位处脸部的血液循环量是否有变化来提取判定用成分。具体而言，解析部134根据与通过奇异值分解分解出的多个成分对应的血液循环量分布图来对鼻窦周围以及/或者前额部的血液循环量是否发生变化进行判定，在血液循环量发生变化的情况下，判定上述成分满足第二条件。另一方面，鼻窦周围以及/或者前额部的血液循环量没有发生变化的情况下，解析部134判定上述成分不满足第二条件。另外，通过解析部134进行是否满足第二条件的判定的基准根据脑活动可视化装置110的利用目的等并且通过模拟或实验、理论计算等来适当地确定。

此外，在通过血液循环量计算部133对基于换算成相对RGB数据前的RGB数据的时间序列的血液循环量数据进行计算的情况下，可以通过解析部134对通过对上述血液循环量数据进行奇异值分解等而得到的多个成分是否满足上述第一条件以及/或者第二条件进行判定，从而提取判定用成分。

推定部135根据解析部134中确定为表示反映了人类的脑活动的脸部的RGB变化的成分的成分来对人类的脑活动进行推定。具体而言，推定部135根据在解析部134中确定的成分的成分波形数据来对获取脸部的拍摄图像数据时的脑活动量进行推定。

(4－2－1)变形例2A

如上所述，作为相机121，例如能够利用智能手机或平板电脑(例如，ipad：注册商标)等内置拍摄装置型移动终端等。也就是说，上述拍摄图像数据能够采用对可视光区域的图像进行拍摄所得到的数据。

此外，在上述血液循环量计算部133中，可以主要采用包含于RGB数据的各像素中的R成分来计算出脸部的血液循环量数据。另外，只要能够根据RGB数据计算出血液循环量数据，血液循环量数据未必限定于红斑指数。

(4－2－2)变形例2B

上述血液循环量计算部133根据由换算部132换算得到的相对RGB数据来计算出相对换算血液循环量数据，但作为替代或在此基础上，也可根据换算成相对RGB数据前的RGB数据来计算出血液循环量数据。在此，在根据换算成相对RGB数据前的RGB数据计算出的血液循环量数据中，由于与脑活动相关的成分容易出现(检验力较高)，因此，例如，相比根据相对RGB数据计算出的相对换算血液循环量数据，可以先对根据换算成相对RGB数据前的RGB数据计算出的血液循环量数据进行解析。此外，例如，能够通过下述方式来减少运算处理量：首先对血液循环量数据进行解析来提取出具有显著的相关性的成分，然后，关于相对换算血液循环量数据，仅对与上述提取出的成分对应的成分进行解析。

(4－2－3)变形例2C

上述相机121是以可视光区域的通常的相机为前提的，但也能够采用红外线相机。在这种情况下，照射红外光，通过红外线相机对上述红外光的反射波进行拍摄。藉此，能够获得对象者的脸部变化等的拍摄图像数据。本发明者们确认了下述情况：通过由红外线的反射得到的拍摄图像数据计算出的血液循环量数据和主要采用包含于在可视光区域拍摄到的RGB数据的各像素中的R成分计算出的血液循环量数据具有相关性。因此，即使采用通过上述这样的红外线的反射得到的拍摄图像数据，也能够对人类的脑活动进行推定。

(4－2－4)变形例2D

此外，在上述说明中，脑活动可视化装置110采用包括图像数据获取单元120和脑活动推定单元130的形态，但本实施方式的脑活动可视化装置不限定于上述形态。也就是说，只要本实施方式的脑活动可视化装置包括血液循环量计算部133、解析部134和推定部135，则该脑活动可视化装置的其它结构能够采用任意的形态。具体而言，本实施方式的脑活动可视化装置不仅包括该装置自身对图像数据进行拍摄的形态，还包括从外部的装置接受拍摄图像数据并且对上述数据进行解析的形态。

(4－3)状态可视化单元200

状态可视化单元200以根据由脑活动推定单元30以及/或者脑活动推定单元130推定出的对象者的脑活动来表示对象者的生理状态的方式进行可视化。例如，状态可视化单元200可以具有通过对对象者的脑活动量的变化进行解析来对对象者的生理状态进行解析的解析部201。具体而言，解析部201通过对与向对象者提供的刺激(视觉刺激、听觉刺激、触觉刺激、嗅觉刺激或味觉刺激等)对应的脑活动量的变化进行解析来对对象者的生理状态进行判定。此外，关于生理状态的种类或等级，可以基于脑活动量的上升程度以及/或者持续时间并且根据脑活动可视化装置10、110的用途进行适当的设置。接着，通过从状态可视化单元200的显示部202向管理者输出由解析部201解析得到的对象者的生理状态，从而能够使管理者了解对象者的生理状态。作为显示部202，只要是显示图像或消息的显示设备等能够将与解析得到的对象者的生理状态相关的信息可视化并提供给管理者的设备即可。

此外，在解析部32、134中确定了反映脑活动的成分后，进一步通过脸部皮肤温度获取单元20以及/或者图像数据获取单元120来获取时间序列的各种数据的情况下，通过在脑活动可视化装置10、110中进一步采用奇异值分解将获取的各种数据分解成多个成分，并且仅对确定后的成分进行解析，从而能够实时地了解对象者的生理状态。

此外，虽然目前具有通过试验者的脸部的皮肤温度或拍摄到的图像来获取试验者的心跳信息和生物信息等技术，但通过对针对由脸部皮肤温度获取单元20以及/或者图像数据获取单元120得到的各种数据进行奇异值分解等而得到的成分采用目前的技术，能够高精度地获取心跳信息和生物信息。因此，可以使解析部32以及/或者解析部134具有对奇异值分解得到的多个成分进行解析来获取心跳信息和生物信息的功能，可以使上述实施方式的推定部33、135具有根据获取到的心跳信息和生物信息对交感神经/副交感神经的动作进行推定的功能。

(5)特征

(5－1)

在本实施方式中，根据由脸部皮肤温度获取单元20以及/或者图像数据获取单元120获取到的时间序列的脸部皮肤温度数据以及/或者脸部血液循环量数据对人类的脑活动进行推定。因此，即使不安装脑波电极等安装前需要进行处理的传感器，也能够对人类的脑活动进行推定。因此，能够简便地对人类的脑活动进行推定，并且根据推定后的脑活动将对象者的生理状态可视化。

(5－2)

在此，在获取时间序列的脸部的皮肤温度数据以及/或者图像数据时，在通过向人类实际提供脑功能激活问题或不提供脑功能激活问题来制造人类的脑被激活或未被激活的状态的情况下，可以认为，各成分的成分波形与脑激活时以及脑非激活时之间具有相关性关系的成分是作为表示反映了脑活动的皮肤温度以及/或者血液循环量的变化的成分的可能性较高的成分。

在本实施方式中，在通过脸部皮肤温度获取单元20以及/或者图像数据获取单元120来获取时间序列的脸部的皮肤温度数据以及/或者图像数据的期间，在一定期间内向个人提供脑功能激活问题。也就是说，在本实施方式中，通过向个人实际提供脑功能激活问题或不提供脑功能激活问题来制造人类的脑被激活或未被激活的状况。接着，通过奇异值分解将如上所述获取到的时间序列的各种数据分解成多个成分，并且对各成分的成分波形和脑激活时以及脑非激活时的相关性关系进行评价，从而从多个成分中提取出具有相关性关系的成分以作为判定用成分。因此，例如，与从多个成分中提取出通过预先实验等所确定的规定成分以作为提取用成分的情况相比，能够降低从多个成分中提取出与人类的脑活动的相关性较低的成分以作为提取用成分的可能性。

(5－3)

在此，脑具有选择性脑冷却机构这样独立于体温的、对脑进行冷却的结构。已知，选择性脑冷却机构利用前额部和鼻窦周围将由脑活动产生的热量排出。这样，伴随着脑活动的脸部皮肤温度以及与脸部皮肤温度相关的脸部的血液循环量的变化会出现在前额部以及/或者鼻窦周围。

在本实施方式中，对前额部以及/或者鼻窦周围的各种数据进行解析，从而提取出判定用成分。因此，能够高精度地提取出与人类的脑活动相关的成分。

(6)脑活动可视化装置的用途例

接着，对本发明的脑活动可视化装置的用途例进行说明。

(6－1)用于患者的情况

对例如将上述实施方式或上述变形例的脑活动可视化装置10、110用于拜访医院的患者的情况的一例进行说明。例如，在为了对抑郁状态进行客观的定量而使用脑活动可视化装置10、110的情况下，通过向患者提供具有加法或减法的心算等脑功能激活问题，并且对提供脑活动激活问题前后的脑活动量的变化进行解析并将其可视化，从而能够对患者的精神状态进行判定。具体而言，在提供脑功能激活问题期间的脑活动量没有上升的情况下，能够判定患者处于没精神状态，在即使在提供脑功能激活问题期间脑活动量上升、但该脑活动量的上升时间较短的情况下，能够判定患者处于精神下降的状态。然后，在一天内进行多次这样的解析并认为脑活动量平均下降的情况下，管理者能够判断患者处于抑郁状态。

此外，在为了判定急救患者是否有意识或患者是否清醒而使用脑活动可视化装置10、110的情况下，通过扎患者的皮肤或向患者说话等来向患者施加刺激，并且通过对施加上述刺激前后的脑活动量的变化进行解析并将其可视化，从而能够判定患者是否有意识或是否清醒。例如，在向导入了麻醉的患者的皮肤施加刺激或对该患者说话等的期间脑活动量上升的情况下，能够判定患者是清醒的。因此，即使假定患者处于无法说话的状态，管理者也能够知道患者是否有意识或患者是否清醒。此外，改变向患者提供的刺激的强度，并且通过对此时的脑是否被激活进行解析，从而还能够判定清醒的程度(等级)。作为强度较低的刺激，例如能够列举握手或移动手等刺激，作为强度较高的刺激，例如能够列举使手接触冰等向身体施加温度变化的刺激或向身体施加痛感的刺激等。

在为了对复健等的治疗效果进行判定而使用脑活动可视化装置10、110的情况下，通过向患者提供具有加法或减法的心算等脑功能激活问题，并且对此时的脑活动量的变化进行解析并将其可视化，从而能够对患者的复健等的治疗效果进行判定。例如，通过在进行复健、脑锻炼或运动疗法的前后向患者提供相同强度的脑功能激活问题，并且对此时的脑活动量的变化进行解析，从而能够使管理者根据脑活动量的上升程度和上升持续时间对复健等的治疗效果进行判定。此外，例如在向患者提供脑功能激活问题时的脑活动量没有上升的情况下能够判断脑血管处于缺血状态，在脑活动量的上升持续时间较短的情况下能够判断脑血管的血流量处于降低的状态。因此，也能够将脑活动可视化装置10、110用作高压氧气治疗装置中的监视装置。

此外，在为了对患者的疼痛进行定量化而使用脑活动可视化装置10、110的情况下，可以通过患者感到疼痛时(患者发出声明时)的脑活动量的变化(尤其是脑活动量的上升程度和其持续时间)来对疼痛强度进行定量化。通过将上述解析结果可视化，从而能够使管理者知道患者的疼痛程度。

(6－2)用于受到冲击波等的特殊环境下的人的情况

对例如将上述实施方式或上述变形例的脑活动可视化装置10、110用于消防队员等在受到爆炸冲击波的特殊环境下的人的情况的一例进行说明。在将脑活动可视化装置10、110用于基于遭受冲击波等的生物防护判定(例如，对受到冲击波的生物损伤的状态进行判定)的情况下，通过向对象者提供脑功能激活问题，并且对此时的脑活动量的变化进行解析并将其可视化，从而能够使管理者对对象者的脑血管的血液流动状态进行推测。例如，在向对象者提供脑功能激活问题时的脑活动量没有上升的情况下，能够判断脑血管处于缺血状态，在脑活动量的上升持续时间较短的情况下，能够判断脑血管的血流量处于降低的状态。

(6－3)用于判断舒适性的情况

对将上述实施方式或上述变形例的脑活动可视化装置10、110用于对对象者的舒适性进行判断的情况的一例进行说明。例如，在使用脑活动可视化装置10、110对居住的舒适性进行判断的情况下，根据在规定的居住空间的对象者感到不愉快时(对象者发出声明时)的脑活动量的变化(脑活动量的上升程度和其持续时间)来对不愉快程度进行定量化。通过一天内进行多次这样的解析并且将解析结果可视化，从而使管理者能够通过对脑活动量是否平均地高涨进行评价来对对象者的舒适度、即愉不愉快的感情进行判断。

(6－4)用于判定集中程度的情况

对将上述实施方式或上述变形例的脑活动可视化装置10、110用于对学习时或手术时的集中程度进行判定的情况的一例进行说明。例如，在为了对学校、补习班、公司、网络学习或医院等的学习人员对于学习内容的集中度进行定量化而使用脑活动可视化装置10、110的情况下，通过对学习人员埋头学习(问题)前后的一定期间(例如，学习课时)内的脑活动量的变化(此期间的上升程度)进行解析，从而能够对埋头于学习内容的学习人员的集中度进行定量化。藉此，管理者能够根据可视化的解析结果来对学习人员对于学习内容的集中度进行评价。

(7)生理状态判定装置

对应用了本发明的脑活动可视化装置的生理状态判定装置进行说明。生理状态判定装置对对象者的精神或身体的生理状态进行判定。具体而言，根据本发明者们的研究表明，与未处于抑郁状态的人类相比，处于抑郁状态的人类对于后述的具有积极意义的图像的反应较迟钝。另一方面，与未处于抑郁状态的人类相比，处于抑郁状态的人类往往有对具有消极意义的图像的反应变高的倾向。因此，利用上述这些性质能够实现对抑郁状态进行判定的抑郁状态判定装置。此外，本发明者们对上述抑郁状态判定装置进行发展并且提出了一种对各种精神或身体的生理状态进行判定的生理状态判定装置。

(7－1)生理状态判定装置的结构

图23是表示本实施方式的生理状态判断装置的一例的示意图。此外，在以下说明中，以对作为生理状态的精神状态、尤其是“抑郁状态”进行判定为例进行说明。

生理状态判定装置400包括输入部410、拍摄部415、输出部420、存储部430以及处理部440。

输入部410将各种信息输入至生理状态判定装置400。例如，输入部410由键盘、鼠标以及/或者触摸屏等构成。经由上述输入部410将各种命令输入至生理状态判定装置400，并且在处理部440执行与命令对应的处理。

拍摄部415对对象者300的包括脸部的“脸部图像”进行拍摄。例如，拍摄部415由对RGB图像进行获取的CCD以及CMOS等固体拍摄元件或对热谱图进行获取的红外线相机等构成。较佳的是，红外线相机等能够在通常的室温条件下以较高的灵敏度对从29.0℃到37.0℃的范围进行检测。此外，拍摄部415能够以规定的间隔进行连续的拍摄。在对脸部图像进行拍摄的情况下，较佳的是，从正面进行拍摄，以一定的照明进行拍摄。在由于姿势变动而无法获得正面图像的情况下，采用摄动空间法对姿势变动图像的脸的三维形状进行推定，接着通过渲染成正面图像从而获得脸部图像。关于照明变动图像，采用将漫反射模型构建于基底的人脸的照明基础模型(日文：照明基底モデル)来获得一定照明条件的脸部图像。接着，通过拍摄部415将连续拍摄得到的脸部图像送出至处理部440。

输出部420将各种信息从生理状态判定装置400输出。例如，输出部420由显示器和扬声器等构成。此处，经由输出部420将后述的脑功能激活信息提供给对象者300。

存储部430对输入至生理状态判定装置400的信息以及由生理状态判定装置400计算出的信息等进行存储。例如，存储部430由存储器和硬盘装置等构成。此外，存储部430对用于实现后述的处理部440的各功能的程序进行存储。此处，存储部430具有脑功能激活信息数据库431和判定信息数据库432。

脑功能激活信息数据库431对激活人类的脑功能的脑功能激活信息进行存储。此处，作为“脑功能激活信息”列举了根据人类的舒适性和其反应度分类的情绪图像。从舒适性的观点出发，“情绪图像”被分类为具有消极意义的图像或具有积极意义的图像。具体而言，具有积极意义的图像是指新娘的照片、幼犬们嬉戏的照片、微笑的人、被雪覆盖的美丽的山的风景以及花等提高人类的心理舒适性的图像。此外，具有消极意义的图像是指悲伤的人、荒废的贫民窟的风景、电视剧的杀人场景、蜘蛛、蛇以及医院的照片等降低人类的心理舒适性的图像。不过，“脑功能激活信息”不限于此，能够采用包括上述情绪图像、图片曝光图像、物质图像、表示认知问题的图像、光刺激信息以及表示感觉刺激问题的图像中的任意一个或任意的组合的规定的视觉信息。

如图24所示，判定信息数据库432使规定范围的变化量Δr(＝r1－r2)与“生理状态等级”相关联地预先作为“判定信息”进行存储，其中，上述规定范围的变化量Δr(＝r1－r2)是指：与根据提供的具有消极意义的图像提取出的基准判定用成分的“基准相关值”r1相比，根据提供的具有积极意义的图像提取出的判定用成分的相关值r2的规定范围的变化量。“基准判定用成分”通过根据提供的具有消极意义的图像提取出的判定用成分的数据、上一次提取出的判定用成分的数据以及从外部提供的判定用成分的数据等进行设定。在图24所示的例中示出了对作为生理状态等级的“抑郁状态”进行判定。具体而言，判定信息数据库432根据变化量Δr的值的范围，将Δr＝Δra～Δrb为止的值作为“正常状态”进行存储，将Δrb～Δrc为止的值作为“较轻的抑郁状态”进行存储，将Δrc～Δrd为止的值作为“抑郁状态”进行存储。此处，值按照Δra、Δrb、Δrc、Δrd的顺序变大。此外，基准判定用成分的数据也存储于判定信息数据库432。另外，此处，判定信息数据库432对判定“抑郁状态”的判定信息进行存储，但在判定其它的生理状态的情况下，对与上述生理状态对应的判定信息进行存储。

处理部440执行生理状态判定装置400中的信息处理。具体而言，处理部440由CPU和高速缓存器等构成。处理部440通过执行存储于存储部430的程序来起到脑功能激活信息提供部441、脸部变化信息获取部442、脸部变化信息分解部443、判定用成分提取部444以及抑郁状态判定部445的作用。

脑功能激活信息提供部441提供脑功能激活信息。例如，脑功能激活信息提供部441根据输入部410的操作，从脑功能激活信息数据库431读取脑功能激活信息，并且将上述脑功能激活信息输出至输出部420。

脸部变化信息获取部442从由拍摄部415拍摄到的脸部图像获取“脸部数据”以及表示脸部数据的时间序列变化的“脸部变化信息”。具体而言，脸部变化信息获取部442以与脑功能激活信息提供部441提供脑功能激活信息的时刻同步的方式经由拍摄部415获取脸部数据。接着，脸部变化信息获取部442从持续获取到的脸部数据获取表示对象者300的脸部数据的时间序列变化的脸部变化信息。例如，在以规定间隔获取到六十点240×320像素的脸部数据的情况下，脸部变化信息是4，608，000个数据的集合。获取到的脸部变化信息被送出至脸部变化信息分解部443。此外，在拍摄部415为红外线相机的情况下，脸部变化信息获取部442获取表示对象者300的脸部的皮肤温度的脸部皮肤温度数据以作为脸部数据。此外，在拍摄部415为CCD以及CMOS等固体拍摄元件的情况下，脸部变化信息获取部442获取基于对象者300的脸部的RGB数据的脸部血液循环量数据以作为脸部数据。另外，脸部变化信息获取部442可以仅获取对象者300的鼻窦周围以及/或者前额部的数据以作为脸部数据。

脸部变化信息分解部443通过奇异值分解、主成分分析或独立成分分析将作为多个数据的集合的脸部变化信息分解成多个成分一、成分二、成分三、……。分解出的各成分的信息被送出至判定用成分提取部444。在此，在将脸部变化信息进行了奇异值分解等的情况下，从奇异值较高的成分开始设定为成分一、成分二、成分三、……。此外，奇异值越高的成分越容易反映变动较大的影响。因此，在成分一中，相比提供脑功能激活信息的影响，往往反映了外部环境的干扰等的影响。

判定用成分提取部444从多个成分一、成分二、成分三、……提取出与脑功能激活信息相关的成分以作为“判定用成分”。此外，判定用成分提取部444计算出提取出的判定用成分与脑功能激活信息的相关值r。具体而言，判定用成分提取部444计算出由脸部变化信息分解部443求出的多个成分一、成分二、成分三、……和脑功能激活信息的相关值r。接着，在计算出的相关值r为规定值以上的情况下，判定用成分提取部444将与上述相关值r对应的成分设定为与脑功能激活信息相关的成分。然后，判定用成分提取部444根据危险率的值来提取判定用成分。也就是说，判定用成分提取部444提取出危险率较低的成分以作为判定用成分。提取出的判定用成分以及计算出的相关值r被送出至存储部430或生理状态判定部445。

生理状态判定部445计算出基准相关值r1和相关值r2之差Δr，其中，上述基准相关值r1是与根据提供的具有消极意义的图像提取出的基准判定用成分对应的基准相关值，上述相关值r2是与根据提供的具有积极意义的图像提取出的判定用成分对应的相关值。接着，生理状态判定部450根据存储于判定信息数据库432的判定信息来确定与基准相关值r1和相关值r2之差Δr对应的生理状态等级。确定后的生理状态等级经由输出部420输出至显示装置等。

(7－2)生理状态判定装置的动作

图25是表示生理状态判定装置400的动作的流程图。此外，在以下说明中，以对作为生理状态的精神状态、尤其是“抑郁状态”进行判定为例进行说明。

首先，经由输入部410等将测定开始的指示输入至生理状态判定装置400。此时，输入作为试验者的对象者300的名字以及/或者试验者号码等。接着，在输出部420显示引导画面，以使对象者300的脸部位于引导画面的中央的方式进行引导。

然后，脑功能激活信息的输出指示被输入至生理状态判定装置400。藉此，从脑功能激活信息数据库431读取脑功能激活信息，并且将如图26所示的图像显示画面输出至输出部420(S1)。此处，将作为脑功能激活信息的静止图像、具有消极意义的图像以及具有积极意义的图像依次输出至输出部420。此外，静止图像是白纸、十字标记、中间的图像。

接着，在输出脑功能激活信息的同时或规定的时刻，利用拍摄部415以每隔规定间隔的方式对位于输出部420的前方的对象者300的脸部图像进行拍摄(S2)。拍摄到的脸部图像被送出至脸部变化信息获取部442。然后，若经过规定时间，则结束图像显示，同时也结束脸部的动画拍摄。此时，如图27所示，显示获取到的脸部图像和当时所显示的图像，从而还能够确认两者的内容。

接着，在生理状态判定装置400中执行拍摄到的脸部图像的解析。具体而言，通过脸部变化信息获取部442从拍摄到的脸部图像获取表示对象者300的脸部数据的时间序列变化的脸部变化信息。然后，通过脸部变化信息分解部443并利用奇异值分解、主成分分析或独立成分分析将脸部变化信息分解成多个成分一、成分二、成分三、……(S3)。

接着，通过判定用成分提取部444计算出由脸部变化信息分解部443分解出的多个成分一、成分二、成分三、……和脑功能激活信息的相关值。然后，通过判定用成分提取部444对相关值是否为规定值以上进行判定(S4)。在判定上述相关值为规定值以上的情况下，上述判定用成分提取部444判断脑功能激活信息和上述成分“具有相关性”(S4－是)。然后，在判定用成分提取部44中提取出具有相关性的成分中的、危险率较低的成分以作为“判定用成分”(S5)。此外，判定用成分提取部444将脑功能激活信息和判定用成分的相关值按种类区分为具有积极意义的图像和具有消极意义的图像并且存储于存储部430(S6)。另一方面，在脑功能激活信息和各成分一、成分二、成分三、……的相关值小于规定值的情况下，上述判定用成分提取部444判断两者“没有相关性”，上述信息存储于存储部430(S4－否，S6)。

然后，以规定次数执行上述步骤S1～S6(S7)。接着，通过生理状态判定部445计算出基准相关值r1和相关值r2之差Δr(S8)，其中，上述基准相关值r1是与根据提供的具有消极意义的图像提取出的基准判定用成分对应的基准相关值，上述相关值r2是与根据提供的具有积极意义的图像提取出的判定用成分对应的相关值。然后，通过生理状态判定部450对相关值r2相对于基准相关值r1的变化量Δr是否在规定范围内进行判定(S9)。通过核对存储于判定信息数据库432的判定信息来对上述变化量Δr是否在规定范围进行判定。在相关值r2相对于基准相关值r1的变化量Δr在规定范围的情况下，通过生理状态判定部445判定对象者300处于“正常状态”(S9－是，S10)。另一方面，在相关值r2相对于基准相关值r1的变化量Δr不在规定范围的情况下，通过生理状态判定部445判定对象者300处于“抑郁状态”(S9－否，S11)。例如，变化量Δr在上述Δra～Δrb的范围内时被判定为正常，在变化量Δr超过Δrb时被判定为生理状态。上述这些判定结果经由输出部420并作为判定结果输出至显示装置等(S12)。另外，此时，在输出部420可以显示如图28所示的解析波形。此外，也可显示如图29所示的分布图。在此，图29右侧的色阶或灰度(j1)表现生理状态等级(此处为抑郁状态等级)。此外，图29左侧的二维分布(j2)的横轴表示对具有消极意义的图像的反应程度，纵轴表示对具有积极意义的图像的反应程度，绘制出的点h表示上述试验者的状态。

然后，生理状态判定装置400根据装置利用者的输入指示保存数据。具体而言，生理状态判定装置400将判定结果的数据、解析波形、测定结果、图像显示条件等关联至每个试验者并且存储于存储部。

(7－3)生理状态判定装置的特征

(7－3－1)

如上述说明那样，本实施方式的生理状态判定装置400包括脑功能激活信息提供部441、脸部变化信息获取部442、脸部变化信息分解部443、判定用成分提取部444和生理状态判定部445。脑功能激活信息提供部441向对象者300提供激活人类的脑功能的“脑功能激活信息”。脸部变化信息获取部442对表示对象者300的脸部数据的时间序列变化的“脸部变化信息”进行获取。脸部变化信息分解部443通过奇异值分解、主成分分析或独立成分分析将脸部变化信息分解成多个成分一、成分二、成分三、……。判定用成分提取部444从多个成分一、成分二、成分三、……提取出与脑功能激活信息相关的成分以作为“判定用成分”。生理状态判定部445根据判定用成分对对象者300的生理状态进行判定。

因此，在本实施方式的生理状态判定装置400中，从通过对脸部变化信息进行奇异值分解、主成分分析、独立成分分析而得到的多个成分一、成分二、成分三、……提取出与脑功能激活信息相关的判定用成分，因此，不使用安装前需要进行前期处理的电极等也能够容易地对对象者300是否具有脑活动进行推定。藉此，根据与对象者300的脑功能对应的判定用成分，能够容易地对对象者300的生理状态进行判定。

此外，如图30所示，本实施方式的生理状态判定装置400能够以组装于智能设备的方式实现。另外，如图31所示，生理状态判定装置400也能够以组装于笔记本电脑的方式实现。若是上述这些方式，则能够在任意的地点容易地执行生理状态判定。

此外，在上述说明中，特别以对作为生理状态的“抑郁状态”进行判定为例进行了说明，但生理状态判定部400通过上述结构能够对所有能够判定的生理状态进行判定。例如，生理状态判定装置400能够根据判定用成分对作为对象者的精神状态的情绪障碍、焦虑障碍、物质相关障碍、痴呆症以及自闭症中的任意一种状态或任意组合的状态进行判定。特别地，生理状态判定部445能够对作为上述情绪障碍的状态的抑郁状态、精神分裂症以及躁郁症中的任意一种状态或任意组合的状态进行判定。此外，生理状态判定装置400不仅能够对对象者的精神状态进行判定，还能够对身体状态进行判定。此外，在对抑郁状态进行判定的情况下，主要对与具有积极意义的图像对应的反应和与具有消极意义的图像对应的反应进行了比较，但在对其它的生理状态进行判定的情况下，执行与上述生理状态对应的处理。

(7－3－2)

此外，在本实施方式的生理状态判定装置400中，由于脸部变化信息获取部442获取对象者300的鼻窦周围以及/或者前额部的数据以作为脸部数据，因此，本实施方式的生理状态判定装置400能够高精度地抽取出与脑活动相关的判定用成分。此处，人脑具有选择性脑冷却机构(Selective Brain Cooling System)这样独立于体温的、对脑进行冷却的结构。已知，选择性脑冷却机构利用前额部和鼻窦周围将由脑活动产生的热量排出。因此，通过对上述部位的数据进行解析能够高精度地提取出与脑活动相关的成分。其结果是，本实施方式的生理状态判定装置400能够高精度地执行生理状态判定。

(7－3－3)

此外，在本实施方式的生理状态判定装置400中，脸部变化信息获取部442获取表示对象者300的脸部的皮肤温度的脸部皮肤温度数据以作为脸部数据。换言之，生理状态判定装置400能够利用红外线相机等对生理状态进行判定。

(7－3－4)

此外，在本实施方式的生理状态判定装置400中，脸部变化信息获取部442获取基于对象者300的脸部的RGB数据的脸部血液循环量数据以作为脸部数据。也就是说，生理状态判定装置400能够利用固体拍摄元件(CCD、CMOS)对生理状态进行判定。藉此，能够以简易的结构执行生理状态判定。

(7－3－5)

此外，在本实施方式的生理状态判定装置400中，判定用成分提取部444根据危险率的值来提取判定用成分。在生理状态判定装置400中，根据危险率的值来提取与脑功能激活信息相关的判定用成分，因此，能够提高生理状态判定的可靠性。

(7－3－6)

此外，在本实施方式的生理状态判定装置400中，脑功能激活信息提供部441提供被分类为具有消极意义的图像或具有积极意义的图像的情绪图像以作为脑功能激活信息，因此，本实施方式的生理状态判定装置400能够提取出与脑活动相关的判定用成分。其结果是，能够容易地对对象者的生理状态进行判定。

(7－3－7)

另外，本实施方式的生理状态判定装置400包括判定信息数据库432，该判定信息数据库432将规定范围的变化量Δr与生理状态等级相关联地作为“判定信息”进行存储，其中，该规定范围的变化量Δr是指：与根据提供的具有消极意义的图像计算出的基准判定用成分的基准相关值r1相比，根据提供的具有积极意义的图像计算出的判定用成分的相关值r2的规定范围的变化量。然后，生理状态判定部445计算出与提供的具有积极意义的图像对应的判定用成分的相关值r2，然后根据计算出的相关值r2和判定信息对对象者300的生理状态等级进行判定。

根据上述结构，生理状态判定装置400能够利用根据提供的具有积极意义的图像提取出的基准判定用成分来对生理状态等级进行容易的判定。总而言之，生理状态判定装置400不仅能够对是否有生理状态进行判定，还能够对生理状态等级进行判定并且将上述生理状态等级输出。

(7－3－8)

本实施方式的生理状态判定方法未必需要生理状态判定装置400。也就是说，无论是否具有生理状态判定装置400，只要本实施方式的生理状态判定方法具有下述步骤即可：向对象者300提供被分类为具有积极意义的图像的情绪图像以作为激活人类的脑功能的脑功能激活信息的脑功能激活信息提供步骤；在提供具有积极意义的图像后，对表示对象者的脸部数据的时间序列变化的“脸部变化信息”进行获取的脸部变化信息获取步骤；通过奇异值分解、主成分分析或独立成分分析将脸部变化信息分解成多个成分的脸部变化信息分解步骤；从多个成分提取出与脑功能激活信息相关的成分以作为判定用成分的判定用成分提取步骤；以及根据判定用成分对对象者的生理状态进行判定的生理状态判定步骤。

根据上述生理状态判定方法，在提供情绪图像后，从对脸部变化信息进行奇异值分解、主成分分析或独立成分分析而得到的多个成分中提取出与脑功能激活信息相关的判定用成分并对生理状态进行判定，从而能够容易地对对象者300的生理状态进行判定。

(7－3－9)

此外，在上述生理状态判定装置400中，根据提供的具有消极意义的图像来设定基准相关值r1，但也可以根据提供的具有积极意义的图像来设定基准相关值。在这种情况下，判定信息数据库432将规定范围的变化量Δr与“生理状态等级”相关联地预先作为“判定信息”进行存储，其中，该规定范围的变化量Δr是指：与根据提供的具有积极意义的图像提取出的基准用判定成分的“基准相关值”r1相比，根据提供的具有消极意义的图像提取出的判定用成分的相关值r2的规定范围的变化量。此外，通过生理状态判定部445计算出根据提供的具有积极意义的图像计算出的基准相关值r1和根据提供的具有消极意义的图像计算出的相关值r2之差Δr。接着，生理状态判定部450根据存储于判定信息数据库432的判定信息来确定与基准相关值r1和相关值r2之差Δr对应的生理状态等级。

(7－3－10)

此外，生理状态判定装置400不仅如上述那样利用判定用成分与基准值的相关值来对生理状态进行判定，还可以根据判定用成分与基准值的相关值、对判定用成分进行多元回归分析而得到的值、与判定用成分对应的波形所生成的面积、与判定用成分对应的波形的平均值、与判定用成分对应的波形的重心值中的任意一个或任意的组合来对生理状态进行判定。

(7－4)生理状态判定装置的变形例

如图32所示，本实施方式的生理状态判定装置400也可利用设置在网络上的判定信息提供装置500等。

在此，判定信息提供装置500包括存储部530和处理部540。

存储部530具有判定信息数据库532。该判定信息数据库532与上述判定信息数据库432具有相同的结构。也就是说，判定信息数据库532将规定范围的变化量Δr与生理状态等级相关联地作为判定信息进行存储，其中，该规定范围的变化量Δr是指：与根据提供的具有积极意义的图像计算出的基准判定用成分的基准相关值r1相比，根据提供的具有消极意义的图像计算出的判定用成分的相关值r2的规定范围的变化量。

处理部540根据来自生理状态判定装置400的要求对存储于判定信息数据库532的判定信息进行发送。此外，处理部540可以具有与由生理状态判定装置400提取出的判定用成分独立地根据规定的信息将判定信息作为大数据生成的功能。另外，在由生理状态判定装置400计算出基准相关值r1的情况下，处理部540随时执行对存储于判定信息数据库432的基准相关值r1进行更新的处理。

在本变形例中，生理状态判定部445要求上述判定信息提供装置500提供判定信息。详细而言，在本变形例的生理状态判定装置400中，判定信息数据库532存储于网络上的判定信息提供装置500，生理状态判定部445在对生理状态等级进行判定时访问判定信息提供装置500。接着，生理状态判定部445根据计算出的相关值r2和判定信息对对象者300的生理状态等级进行判定。

因此，若是本变形例的生理状态判定装置400，则生理状态判定部445能够利用外部网络对对象者300的生理状态等级进行判定。

此外，由于生理状态判定部445利用存储于外部网络上的判定信息提供装置500的基准判定用成分来对生理状态进行判定，因此还能够省略提供具有消极意义的图像。也就是说，如图33所示，能够采用仅提供具有积极意义的图像以作为脑功能激活信息的形态。

图33是对本变形例中的生理状态判定方法进行说明的流程图。在本变形例中，仅向对象者300提供具有积极意义的图像以作为脑功能激活信息(V1)。在步骤V2～V7中进行与上述步骤S2～S7相同的处理。藉此，在生理状态判定装置400中计算出根据提供的具有积极意义的图像计算出的基准相关值r2。接着，在步骤V8中，从生理状态判定装置400向判定信息提供装置500发送判定信息的发送要求。藉此，在生理状态判定装置400中获取根据提供的具有消极意义的图像计算出的基准相关值r1。然后，通过生理状态判定部450对相关值r2相对于基准相关值r1的变化量Δr是否在规定范围内进行判定(V9～12)。接着，判定结果经由输出部420输出至显示装置等(V13)。这样，利用存储于外部网络上的判定信息提供装置的基准判定用成分对生理状态进行判定。

另外，也可不采用生理状态判定装置400来执行上述各步骤的一部分。

此外，根据本变形例的生理状态判定方法，能够实现利用大数据对生理状态进行判定。也就是说，从大数据求出基准相关值r1和规定的变化量Δr。具体而言，采用根据向对象者300以外的人提供具有积极意义的图像提取出的基准判定用成分计算出的基准相关值r1。藉此，能够随时对判定信息进行最优化。

此外，在上述变形例中，对仅提供具有积极意义的图像来对生理状态进行判定的方法进行了说明，但也能够实现仅提供具有消极意义的图像来对生理状态进行判定的方法。也就是说，也可在与具有消极意义的图像对应的相关值表现为比存储于网络上的判定信息提供装置的基准相关值高的值的情况下，判定为处于生理状态。

(7－5)生理状态判定方法的验证

以下述条件进行了本实施方式的生理状态判定方法的验证实验。具体而言，此处，对作为生理状态的精神状态，特别是“抑郁状态”的判定进行了验证。

在实验中，各使用二十五张具有消极意义的图像的照片和具有积极意义的图像的照片，并且使每张显示4.8秒。由于照片在大型电视机中显示，因此让试验者坐在离电视机一米前。在测定时，通过有脸部追踪功能的相机获取到RGB图像数据。此外，测定在最初的两分钟保持静止，在之后的两分钟显示情绪图像，在随后的两分钟被设为静止并结束测定。

图34是向某位对象者呈现具有积极意义的图像时的判定用成分的波形，图35是呈现具有消极意义的图像时的判定用成分的波形。在图34和图35的例中，(a)的部分表示判定用成分的波形，(b)的部分表示呈现具有积极意义的图像或具有消极意义的图像时的时刻。此处，与提供的具有积极意义的图像对应的判定用成分的相关值是0.86。但是，与提供的具有消极意义的图像对应的判定用成分的相关值也是0.86。因此可知，不仅提供的具有积极意义的图像与判定用成分具有相关性，而且提供的具有消极意义的图像与判定用成分也具有相关性。由于上述对象者在CES－D的抑郁症量表的抑郁症评分为三分，因此虽然属于正常范围，但具有“轻微抑郁倾向”。由上述可知，能够通过提供情绪图像来对脑功能的激活进行推定，并且能够用于对生理状态、特别是“抑郁状态”的判定。

(附记)

此外，本发明并不限定于上述实施方式。在实施阶段，本发明能够在不脱离主旨的范围内对构成要素进行变形并使之具体化。此外，本发明能够通过上述实施方式公开的多个构成要素的适当组合来形成各种发明。例如，可以从实施方式所述的所有构成要素中去除几个构成要素。此外，在不同的实施方式中可以对构成要素进行适当组合。

工业上的可利用性

根据本发明，由于能够简便地对脑活动进行推定，因此将本发明应用于根据脑活动将对象者的生理状态可视化的脑活动可视化装置是有效的。

符号说明

10 脑活动可视化装置；

20 脸部皮肤温度获取单元；

30 脑活动推定单元；

110 脑活动可视化装置；

120 图像数据获取单元；

130 脑活动推定单元；

200 状态可视化单元；

201 解析部；

300 对象者；

400 生理状态判定装置；

410 输入部；

415 拍摄部；

420 输出部；

430 存储部；

431 脑功能激活信息数据库；

432 判定信息数据库(判定信息存储部)；

440 处理部；

441 脑功能激活信息提供部；

442 脸部变化信息获取部；

443 脸部变化信息分解部；

444 判定用成分提取部；

445 生理状态判定部；

500 判定信息提供装置；

530 存储部；

532 判定信息数据库(判定信息存储部)；

540 处理部。

现有技术文献

专利文献

专利文献1：日本专利特开2013－176406号公报

Claims (20)

1.一种生理状态判定装置(10、110、400)，其特征在于，包括：

脸部变化信息获取部(20、120、415、442)，该脸部变化信息获取部对表示对象者的脸部数据的时间序列变化的脸部变化信息进行获取；

脸部变化信息分解部(30、130、443)，该脸部变化信息分解部通过奇异值分解、主成分分析或独立成分分析将所述脸部变化信息分解成多个成分；以及

生理状态判定部(200、445)，该生理状态判定部根据从多个所述成分提取出的判定用成分对所述对象者的精神或身体的生理状态进行判定。

2.如权利要求1所述的生理状态判定装置(400)，其特征在于，还包括：

脑功能激活信息提供部(441)，该脑功能激活信息提供部向对象者提供激活人类的脑功能的脑功能激活信息；以及

判定用成分提取部(444)，该判定用成分提取部从多个所述成分提取出与所述脑功能激活信息相关的成分以作为判定用成分。

3.如权利要求2所述的生理状态判定装置，其特征在于，

所述判定用成分提取部根据危险率的值来提取所述判定用成分。

4.如权利要求2或3所述的生理状态判定装置，其特征在于，

还包括判定信息存储部(432)，该判定信息存储部将规定范围的变化量与生理状态等级相关联地作为判定信息进行存储，其中，该规定范围的变化量是指：与相对于脑功能激活信息计算出的基准判定用成分的基准相关值相比，相对于所述脑功能激活信息计算出的判定用成分的相关值的规定范围的变化量，

所述生理状态判定部计算出与所述脑功能激活信息对应的所述判定用成分的相关值，并且根据计算出的相关值和所述判定信息对所述对象者的生理状态等级进行判定。

5.如权利要求2至4中任一项所述的生理状态判定装置，其特征在于，

网络上的判定信息提供装置(500)包括判定信息存储部(532)，该判定信息存储部将规定范围的变化量与生理状态等级相关联地作为判定信息进行存储，其中，该规定范围的变化量是指：与相对于脑功能激活信息计算出的基准判定用成分的基准相关值相比，相对于所述脑功能激活信息计算出的判定用成分的相关值的规定范围的变化量，

所述生理状态判定部计算出与所述脑功能激活信息对应的判定用成分的相关值，并且根据计算出的相关值和所述判定信息对所述对象者的生理状态等级进行判定。

6.如权利要求2至5中任一项所述的生理状态判定装置，其特征在于，

所述脑功能激活信息提供部提供规定的视觉信息以作为所述脑功能激活信息，

所述生理状态判定部根据所述判定用成分对作为所述对象者的精神状态的情绪障碍、焦虑障碍、物质相关障碍、痴呆症以及自闭症中任意一种状态或任意组合的状态进行判定。

7.如权利要求6所述的生理状态判定装置，其特征在于，

所述脑功能激活信息提供部提供作为所述视觉信息的情绪图像、图片曝光图像、物质图像、表示认知问题的图像、光刺激信息以及表示感觉刺激问题的图像中的任意一个或任意的组合。

8.如权利要求2至5中任一项所述的生理状态判定装置，其特征在于，

所述脑功能激活信息提供部从人类的舒适性的观点出发，提供被分类为具有消极意义的图像或具有积极意义的图像的情绪图像以作为所述脑功能激活信息，

所述生理状态判定部对所述对象者的抑郁状态进行判定。

9.如权利要求1所述的生理状态判定装置(10、110)，其特征在于，

所述生理状态判定部包括：

脑活动推定单元，该脑活动推定单元根据多个所述成分对所述对象者的脑活动进行推定；以及

状态可视化单元(200)，该状态可视化单元根据由所述脑活动推定单元推定出的所述对象者的脑活动来显示所述对象者的生理状态。

10.如权利要求9所述的生理状态判定装置，其特征在于，

所述状态可视化单元具有根据所述对象者的脑活动对所述对象者是否有意识进行解析的解析部(201)。

11.如权利要求9或10所述的生理状态判定装置，其特征在于，

所述状态可视化单元具有根据所述对象者的脑活动对所述对象者是否处于清醒状态进行解析的解析部(201)。

12.如权利要求9至11任一项所述的生理状态判定装置，其特征在于，

所述状态可视化单元具有根据所述对象者的脑活动对位于对象空间的所述对象者的感情愉快不愉快进行解析的解析部(201)。

13.一种生理状态判定方法，其特征在于，包括：

脑功能激活信息提供步骤，在所述脑功能激活信息提供步骤中，向对象者提供规定的视觉信息以作为激活人类的脑功能的脑功能激活信息；

脸部变化信息获取步骤，在所述脸部变化信息获取步骤中，在提供所述视觉信息后，对表示所述对象者的脸部数据的时间序列变化的脸部变化信息进行获取；

脸部变化信息分解步骤，在所述脸部变化信息分解步骤中，通过奇异值分解、主成分分析或独立成分分析将所述脸部变化信息分解成多个成分；

判定用成分提取步骤，在所述判定用成分提取步骤中，从多个所述成分提取出与所述脑功能激活信息相关的成分以作为判定用成分；以及

生理状态判定步骤，在所述生理状态判定步骤中，根据所述判定用成分对所述对象者的精神或身体的生理状态进行判定。

14.如权利要求13所述的生理状态判定方法，其特征在于，

将规定范围的变化量与生理状态等级相关联地作为判定信息存储于判定信息存储部(432、532)，其中，该规定范围的变化量是指：与相对于脑功能激活信息计算出的基准判定用成分的基准相关值相比，相对于所述脑功能激活信息计算出的判定用成分的相关值的规定范围的变化量，

在所述生理状态判定步骤中计算出与所述脑功能激活信息对应的所述判定用成分的相关值，并且根据计算出的相关值和所述判定信息对所述对象者的生理状态等级进行判定。

15.如权利要求13或14所述的生理状态判定方法，其特征在于，

所述判定信息存储部(532)存储于网络上的判定信息提供装置(500)，

所述生理状态判定步骤在对所述生理状态等级进行判定时访问所述判定信息提供装置。

16.如权利要求15所述的生理状态判定方法，其特征在于，

所述基准相关值根据向所述对象者以外的人提供所述脑功能激活信息而得到的基准判定用成分计算出。

17.如权利要求13至16中任一项所述的生理状态判定方法，其特征在于，

在所述生理状态判定步骤中，根据所述判定用成分，将情绪障碍、焦虑障碍、物质相关障碍、痴呆症以及自闭症中任意一种状态或任意组合的状态作为所述对象者的精神状态进行判定。

18.如权利要求17所述的生理状态判定方法，其特征在于，

所述脑功能激活信息提供步骤提供作为所述视觉信息的情绪图像、图片曝光图像、物质图像、表示认知问题的图像、光刺激信息以及表示感觉刺激问题的图像中的任意一个或任意的组合。

19.如权利要求17或18所述的生理状态判定方法，其特征在于，

所述视觉信息是被分类为具有积极意义的图像的情绪图像，

所述生理状态判定步骤对作为所述情绪障碍的状态的抑郁状态、精神分裂症以及躁郁症中任意一种状态或任意组合的状态进行判定。

20.如权利要求19所述的生理状态判定方法，其特征在于，

将规定范围的变化量与生理状态等级相关联地作为判定信息存储于判定信息存储部(432、532)，该规定范围的变化量是指：与相对于脑功能激活信息计算出的基准判定用成分的基准相关值相比，相对于所述脑功能激活信息计算出的判定用成分的相关值的规定范围的变化量，

提供被分类为具有消极意义的图像的情绪图像，执行所述脸部变化信息获取步骤、所述脸部变化信息分解步骤以及所述判定用成分提取步骤，并且提取出与所述脑功能激活信息相关的成分以作为基准判定用成分。