CN113423334A - 信息处理设备、信息处理方法和程序 - Google Patents

Abstract

本发明实现了通过分析发射到用户面部的光的反射同时执行面部表情分析和生物特征信号分析的配置。本发明具有用于接收发射到用户面部的光的反射光的光接收部以及用于来自分析光接收部的光接收信号的光接收信号分析部。光接收信号分析部具有分析用户皮肤表面反射光并生成面部表情分析信息的面部表情分析部以及分析皮下反射光并生成生物分析信息的生物特征信号分析部。来自光接收部的光接收信号包括皮肤表面反射光和皮下组织反射光。面部表情分析部通过从光接收信号中提取低频分量，获取皮肤表面反射光，并执行面部表情分析。生物特征信号分析部通过从光接收信号中提取高频分量，获取皮下组织反射光。

Description

信息处理设备、信息处理方法和程序

技术领域

本公开涉及一种信息处理设备、一种信息处理方法和一种程序。更具体地，本公开涉及一种信息处理设备、一种信息处理方法和一种程序，通过其执行人类面部表情分析和生物分析。

背景技术

作为分析人类面部表情的处理，例如，存在已知的分析由相机捕获的图像从而分析图像上是否有微笑的处理。

注意，公开分析由相机捕获的图像上的面部表情的技术的传统技术包括例如在PTL 1(JP 2008-131405A)中公开的技术。

此外，还有一种已知的通过分析人类血管的血流状态、成分等来对人类进行生物分析的技术，这就是所谓的生命传感。

例如，PTL 2(JP 2013-150772A)公开了一种基于光信号执行生物分析处理的配置。

以这种方式，传统上已经进行了关于面部表情分析处理和生物分析处理的各种研究，但是没有一项研究公开了基于一个传感器的感测信息一起执行这两个分析处理的配置。

[引用列表]

[专利文献]

[PTL 1]

JP 2008-131405A

[PTL 2]

JP 2013-150772A

发明内容

[技术问题]

存在以下问题：在以组合的方式使用上述传统技术的情况下，需要设置多个传感器，以获取面部表情信息和生物信息，并且在物理形状、重量、功耗等方面难以实现可佩戴设备。此外，还存在一个问题，即如果试图从面部的一个位置获取面部表情信息和生物信息，则用于获取这两种信息的传感器会相互干扰，并且难以执行适当的感测。

例如，鉴于上述问题而提出本公开，并且本公开的目的是提供一种信息处理设备、一种信息处理方法和一种程序，其使得能够基于一个传感器的感测信息一起执行面部表情分析处理和生物分析处理。

[问题的解决方案]

本公开的第一方面在于一种信息处理设备，包括：光接收部，所述光接收部接收发射到用户面部的光的反射光；以及光接收信号分析部，所述光接收信号分析部分析光接收部的光接收信号。所述光接收信号分析部具有：面部表情分析部，所述面部表情分析部基于反射光生成面部表情分析信息；以及生物特征信号分析部，所述生物特征信号分析部基于反射光生成生物分析信息。

此外，本公开的第二方面在于一种在信息处理设备上执行的信息处理方法。所述信息处理设备包括：光接收部，所述光接收部接收发射到用户面部的光的反射光；以及光接收信号分析部，所述光接收信号分析部分析光接收部的光接收信号。所述光接收信号分析部执行基于反射光生成面部表情分析信息的面部表情分析处理。所述光接收信号分析部执行基于反射光生成生物分析信息的生物特征信号分析处理。

此外，本公开的第三方面在于一种使在信息处理设备处执行信息处理的程序。所述信息处理设备包括：光接收部，所述光接收部接收发射到用户面部的光的反射光；以及光接收信号分析部，所述光接收信号分析部分析光接收部的光接收信号，所述程序使光接收信号分析部执行基于反射光生成面部表情分析信息的面部表情分析处理；以及基于反射光生成生物分析信息的生物特征信号分析处理。

注意，例如，本公开的程序是能够设置在存储介质或通信介质上的程序，该存储介质或通信介质以计算机可读格式向能够执行各种程序代码的信息处理设备或计算机系统提供各种程序代码。通过以计算机可读格式提供这样的程序，在信息处理设备或计算机系统上实现对应于该程序的处理。

从基于下面提到的本公开的实施例和附图的更详细说明中，本公开的其他目的、特征和优点将变得显而易见。注意，在本说明书中，系统是多个设备的逻辑组配置，但是不限于具有位于单个外壳中的单独配置的设备的配置。

根据本公开的一个实施例的配置，实现了分析发射到用户面部的光的反射光并一起执行面部表情分析和生物特征信号分析的配置。

具体地，例如，该配置具有接收发射到用户面部的光的反射光的光接收部以及分析光接收部的光接收信号的光接收信号分析部。光接收信号分析部具有分析用户皮肤表面反射光并生成面部表情分析信息的面部表情分析部以及分析皮下反射光并生成生物分析信息的生物特征信号分析部。光接收部的光接收信号包括皮肤表面反射光和皮下组织反射光。面部表情分析部从光接收信号中提取低频分量，获取皮肤表面反射光，并执行面部表情分析。生物特征信号分析部从光接收信号中提取高频分量，获取皮下组织反射光，并执行生物特征信号分析处理。

根据该配置，实现了分析发射到用户面部的光的反射光并一起执行面部表情分析和生物特征信号分析的配置。

注意，在本说明书中描述的优点仅作为示例示出，并且本公开的优点不限于此。也可能有额外的优势。

附图说明

图1是用于说明本公开的信息处理设备的配置示例的示图；

图2是用于说明由本公开的信息处理设备执行的处理的示图；

图3是用于说明本公开的信息处理设备的配置示例的示图；

图4是用于说明本公开的信息处理设备的光接收信号分析部的配置示例的示图；

图5是用于说明由本公开的信息处理设备的光接收信号分析部执行的处理的示图；

图6是用于说明通过使用多个传感器的生物信息测量的示例的示图；

图7是用于说明由本公开的信息处理设备执行的处理的示图；

图8是用于说明本公开的信息处理设备的传感器配置示例的示图；

图9是用于说明本公开的信息处理设备的传感器配置示例的示图；

图10是用于说明由本公开的信息处理设备的光接收信号分析部执行的处理的示图；

图11是用于说明由本公开的信息处理设备的光接收信号分析部执行的处理的示图；

图12是用于说明由本公开的信息处理设备的光接收信号分析部执行的处理的示图；

图13是用于说明由本公开的信息处理设备执行的学习处理和分析处理的示图；

图14是用于说明由本公开的信息处理设备执行的学习处理和分析处理的示图；

图15是用于说明由本公开的信息处理设备执行的学习处理和分析处理的示图；

图16是用于说明由本公开的信息处理设备执行的学习处理和分析处理的示图；

图17是用于说明由本公开的信息处理设备执行的生物特征信号分析处理的示例的示图；

图18是描绘用于说明由本公开的信息处理设备执行的生物特征信号分析处理的序列的流程图的示图；

图19是用于说明本公开的信息处理设备的光接收信号分析部的配置示例的示图；

图20是用于说明Russell的环状模型的示图；

图21是用于说明由本公开的信息处理设备执行的学习处理和分析处理的示图；

图22是描绘用于说明由本公开的信息处理设备执行的处理序列的流程图的示图；

图23是描绘用于说明由本公开的信息处理设备执行的处理序列的流程图的示图；

图24是描绘用于说明由本公开的信息处理设备执行的处理序列的流程图的示图；

图25是描绘用于说明由本公开的信息处理设备执行的处理序列的流程图的示图；

图26是描绘用于说明由本公开的信息处理设备执行的处理序列的流程图的示图；

图27是用于说明由本公开的信息处理设备执行的学习处理和分析处理的示图；

图28是用于说明本公开的信息处理设备的硬件配置示例的示图。

具体实施方式

在下文中，参考附图说明本公开的信息处理设备、信息处理方法和程序的细节。注意，根据以下项进行说明。

1.关于由本公开的信息处理设备执行的处理的概述

2.关于光接收信号分析部的详细配置和处理

3.关于反射光测量点的设置示例和传感器的具体配置示例

4.关于实现高精度面部表情分析处理的配置和处理

5.关于生物信息分析处理的具体示例

6.关于执行高精度情感评估处理的实施例

7.关于本公开的信息处理设备的分析结果的使用示例

7-(1)用于游戏事件控制的处理示例

7-(2)用于确定用户面部表情真实性的处理示例

7-(3)用户用于模拟肌肉训练的处理示例

7-(4)用于化身控制的处理示例

7-(5)用于确定用户精神的处理示例

8.关于信息处理设备的硬件配置示例

9.本公开的配置概述

[1.关于由本公开的信息处理设备执行的处理的概述]

首先，参考图1和随后的附图说明由本公开的信息处理设备执行的处理的概述。

本公开的信息处理设备100具有图1所示的配置。

信息处理设备100具有发光控制部101、发光部102、光接收传感器103和光接收信号分析部104。

发光控制部101执行发光部102的发光控制。例如，发光部102的输出光是红外光。

发光部102的输出光发射到用户(待分析者)10的面部皮肤。发射到用户(待分析者)10的面部皮肤的光在皮肤表面上被部分反射，并被光接收部103接收。

此外，发光部102的输出光的一部分到达皮下组织，例如，血管，并且由流经血管的血液反射(扩散)的光被光接收部103接收。

即，如图2所示，光接收部103的光接收信号包括以下两个信号分量。

(1)光接收信号的第一信号分量＝皮肤表面反射光

(2)光接收信号的第二信号分量＝皮下组织反射光(漫射光)

光接收信号的第二信号分量＝皮下组织反射光(漫射光)是例如由于血液流经血管而导致的反射光(漫射光)。由于血液流过血管而导致的反射光(漫射光)表现出与由于在用光照射的部分处的血液循环而导致的血液量的波动相对应的变化。根据这些变化，可以分析心率。此外，反射光的强度对应于血氧浓度而变化。

通过用光照射皮肤表面并以这种方式测量反射光的时间异常，可以获得诸如脉搏或血氧浓度等生物特征信号。

以这种方式，光接收部103接收以下两种反射光的混合信号。

(1)皮肤表面反射光

(2)皮下组织反射光(漫射光)

由光接收部103接收的光信号被输出到光接收信号分析部104。

光接收信号分析部104对光接收部103接收的光信号进行分析。

光接收信号分析部104执行以下两个处理。

(1)光接收信号分析部104通过分析皮肤表面反射光分量来执行用户(待分析者)10的面部表情分析，并生成和输出面部表情分析信息121。

例如，光接收信号分析部104生成并输出面部表情分析信息121，面部表情分析信息121表示用户(待分析者)10的面部表情是微笑、悲伤的面部或愤怒的面部表情。

此外，

(2)光接收信号分析部104通过分析皮下组织反射光(漫射光)生成并输出用户(待分析者)10的生物分析信息122。

例如，光接收信号分析部104生成并输出生物分析信息122，例如，用户(待分析者)10的血液流速(blood flow rate)、血液流速(blood flow speed)、脉搏波、血压、心率、心率波动、血氧浓度或动脉氧饱和度。

注意，例如，图1所示的信息处理设备100可以包括在用户10佩戴的头戴式显示器(HMD)中。

即，信息处理设备100可以包括在用户(待分析者)10佩戴的头戴式显示器(HMD)20中，如图3所示。

注意，在头戴式显示器(HMD)20中包括传感器，该传感器包括多对发光部和光接收部，并且获取和分析用户(待分析者)10脸上不同位置的感测信息。

将在后面的部分中详细说明传感器的设置位置和分析处理的具体示例。

[2.关于光接收信号分析部的详细配置和处理]

接下来，说明图1所示的信息处理设备100的光接收信号分析部104的详细配置以及光接收信号分析部104要执行的处理。

图4是描述图1中描述的信息处理设备100的光接收信号分析部104的详细配置的框图。

如图4所示，光接收信号分析部104具有输入部201、面部表情分析部210和生物特征信号分析部220。

面部表情分析部210具有低频分量提取部211、A/D转换部212、面部表情分析结果生成部213和面部表情分析信息存储部214。

另一方面，生物特征信号分析部220具有高通滤波器(高频分量提取部)221、放大部222、A/D转换部223、噪声去除部224、生物特征信号分析结果生成部225和生物特征信号分析信息存储部226。

输入部201并行地向面部表情分析部210和生物特征信号分析部220输出光接收部103的光接收信号。

输出信号是以下两种反射光混合的信号。

(1)皮肤表面反射光

(2)皮下组织反射光(漫射光)

面部表情分析部210通过执行从两种类型信号混合的信号中选择和提取“(1)皮肤表面反射光”的处理来执行用户面部表情分析，并生成和输出面部表情分析信息121，作为分析的结果。

另一方面，生物特征信号分析部220通过执行从上述两种类型的信号混合的信号中选择和提取“(2)皮下组织反射光(漫射光)”的处理来执行用户生物信息分析，并生成和输出生物分析信息122，作为分析的结果。

首先，说明由面部表情分析部210执行的处理。

低频分量提取部211执行从输入部201输入的信号中选择和提取低频分量信号的处理。

由低频分量提取部211执行的低频分量提取处理是从以下两个信号分量的混合信号中仅选择和提取“(1)皮肤表面反射光”的处理，即，两个光信号，即，

(1)皮肤表面反射光，以及

(2)皮下组织反射光(漫射光)。

这两个光信号包含在光接收部103中。

参照图5说明该处理。

图5描绘了以下三个信号。

(a)输入信号(光接收部感测信号)

(b)面部表情分析信号(光接收部感测信号中的低频分量)

(c)生物特征信号(光接收部感测信号中的高频分量)

光接收部103的光接收信号是图5中(a)所示的信号，并且是具有较小时间变化的信号分量(即低频分量)和具有较大时间变化的信号分量(即高频分量)的混合信号。

光接收部103的光接收信号中包括的低频分量等同于伴随用户(待分析者)10的面部表情变化的信号分量。即，这是反映当用户笑等时生成的面部皮肤运动的信号。

另一方面，光接收部103的光接收信号中包括的高频分量相当于反映由通过用户(待分析者)10的皮下血管的血流生成的周期性波动的信号分量。

以这种方式，光接收部103的光接收信号中包括的低频分量是反映面部皮肤运动的信号，并且可以用于面部表情分析。

另一方面，光接收部103的光接收信号中包括的高频分量是反映流经面部下方血管的血液状态的信号，并且可以用于生物信息分析。

图4所示的面部表情分析部210的低频分量提取部211提取光接收部103的光接收信号中包括的低频分量。即，低频分量提取部211提取用于面部表情分析的反射光，该反射光是反映用户(待分析者)10的面部皮肤运动的信号。

由图4所示的面部表情分析部210的低频分量提取部211提取的面部表情分析信号(光接收部感测信号中的低频分量)被输入到A/D转换部212。

A/D转换部212对由低频分量提取部211提取的面部表情分析信号(光接收部感测信号中的低频分量)执行A/D转换，将模拟信号转换成数字信号，并将数字信号输入到面部表情分析结果生成部213。

如前所述，由低频分量提取部211提取的面部表情分析信号(光接收部感测信号中的低频分量)是反映用户(待分析者)10的面部皮肤运动的信号。

面部皮肤运动对应于面部的面部表情(即，对应于笑声、愤怒、悲伤等的面部表情)而不同。

已经在面部表情分析信息存储部214上存储了关于面部皮肤运动的典型数据模式的记录信息，所述面部皮肤运动对应于各种人类面部表情，即，对应于笑声、愤怒、悲伤等的面部表情。具体地，已经在面部表情分析信息存储部214上存储了具有对应于多个不同的面部表情的面部表情标签和反映皮肤表面运动的皮肤表面反射光信号的特征数据的对应数据的学习模型(面部表情模型)。

注意，如后一部分中详细说明的，通过发光部和光接收部的组合获得的反射光包括从用户(待分析者)10的脸上的不同位置获得的多个反射光信号，不同位置例如是多个不同位置，例如，眉间、眼睛附近或脸颊。

关于与和对应于面部上各种位置对应的各种面部表情的皮肤运动的信息记录在面部表情分析信息存储部214上。

注意，通过组合从诸如眉间、眼睛附近或脸颊等多个不同位置获得的多条生物信息，可以提高内心状态(例如，情感)的估计精度。此外，通过使用多个传感器，还可以去除身体运动时的噪声。

对应于传感器位置获取的信息包括各种信息，并且可以执行对应于各个传感器的感测信息的各种不同内心状态的估计处理。

例如，如图6所示，因为前额的血流速率容易反映情感，所以前额眉间附近的传感器Sa用于测量血流速率，另一传感器测量脉搏波，并且可以基于关于血流速率和脉搏波的信息来执行内心状态估计。

此外，在发生身体运动时，脉搏波显著地不期望地反映身体运动噪声，但是可以通过引入身体运动抑制技术来抑制血液流速中的身体运动噪声。因此，可以通过使用关于血流速度的信息来补充关于脉搏波的信息。

此外，因为如果用户用力眨眼，则由图6中描绘的眼睛下方的面部中间侧的传感器Sb感测的脉搏波不期望地反映身体运动噪声，所以补充由眼睛下外侧的脸颊附近的传感器Sc感测的脉搏波的处理是可能的。

面部表情分析结果生成部213将由低频分量提取部211提取的面部表情分析信号(光接收部感测信号中的低频分量)与面部表情分析信息存储部214上记录的对应于各种面部表情(即，对应于笑声、愤怒、悲伤等的面部表情)的面部皮肤运动的典型数据模式进行比较和核对。然后，面部表情分析结果生成部213对用户(待分析者)10的面部表情对应于笑声、愤怒、悲伤等中的哪一个进行分类。输出分类的结果，作为面部表情分析信息121。

接下来，说明由图4所示的光接收信号分析部104的生物特征信号分析部220执行的处理。

高通滤波器(高频分量提取部)221执行从输入部201输入的信号中选择和提取高频分量(即，高频分量信号)的处理。

由高通滤波器(高频分量提取部)221执行的高频分量提取处理是从以下两个信号分量的混合信号中仅选择和提取“(2)皮下组织反射光(漫射光)”的处理，即，两个光信号，即，

(1)皮肤表面反射光，以及

(2)皮下组织反射光(漫射光)。

这两个光信号包含在光接收部103中。

如先前参考图5所说明的，光接收部103的光接收信号是图5中的(a)所示的信号，并且是具有较小时间变化的信号分量(即，相当于低频分量的低频分量)和具有较大时间变化的信号分量(即，高频分量)的混合信号。

光接收部103的光接收信号中包括的低频分量等同于伴随用户(待分析者)10的面部表情变化的信号分量。即，低频分量是反映当用户笑等时生成的面部皮肤运动的信号。

另一方面，光接收部103的光接收信号中包括的高频分量相当于反映由通过用户(待分析者)10的皮下血管的血流生成的周期性波动的信号分量。

以这种方式，包括在光接收部103的光接收信号中的高频分量是反映通过皮下血管的血流生成的周期性波动的信号，并且可以用于生物信息分析。

图4所示的生物特征信号分析部220的高通滤波器(高频分量提取部)221提取光接收部103的光接收信号中包括的高频分量。即，高通滤波器(高频分量提取部)221提取用于生物信息分析的反射光，该反射光是反映诸如用户(待分析者)10的皮下血流等血液状态的信号。

由图4所示的高通滤波器(高频分量提取部)221提取的生物信息分析信号(光接收部感测信号中的高频分量)在放大部222处放大，并进一步输入到A/D转换部223，以被转换成数字信号。

数字信号在噪声去除部224经受噪声去除处理，然后输入到生物特征信号分析结果生成部225。

如前所述，由高通滤波器(高频分量提取部)221提取的生物信息分析信号(光接收部感测信号中的高频分量)是反映用户(待分析者)10的皮下血液状态的信号。

具体地，包括可以分析诸如血流速率、血流速度、脉搏波、血压、心率、心率波动、血氧浓度或动脉血氧饱和度等生物信息的信息。

已经在生物特征信号分析信息存储部226上存储了人类的各种生物信息，即，对应于血流速率、血流速度、脉搏波、血压、心率、心率波动、血氧浓度和动脉血氧饱和度的个体状态的特征数据。具体地，存储学习模型，该学习模型具有对应于多种不同生物状态(血流速率、血流速度、脉搏波、血压、心率、心率波动、血氧浓度、动脉氧饱和度等)的皮下反射光信号的特征数据的对应数据。

生物特征信号分析结果生成部225将由高通滤波器(高频分量提取部)221提取的生物信息分析信号(光接收部感测信号中的高频分量)与记录在生物特征信号分析信息存储部226上的数据(即，对应于诸如血流速率、血流速度、脉搏波、血压、心率、心率波动、血氧浓度或动脉血氧饱和度等每个状态的数据)进行比较和核对，并生成和输出用户(待分析者)10的生物分析信息122。

[3.关于反射光测量点的设置示例和传感器的具体配置示例]

接下来，说明反射光测量点的设置示例和传感器的具体配置示例。

高度精确地分析人脸的面部表情需要分析面部不同位置的皮肤运动。

如前所述，通过分析用户(待分析者)10的面部的不同位置处的皮肤运动，例如，在诸如眉间、眼睛附近的部分或脸颊等多个不同位置处的皮肤运动，可以高度精确地分析用户(待分析者)10在笑、悲伤、愤怒等时的面部表情。

为了实现面部面部表情的高精度分析，本公开的信息处理设备100获取反映用户(待分析者)10的面部的不同位置处的皮肤运动的光接收信号，并执行面部表情分析。

参照图7说明测量点的设置示例。

图7中描绘的示例是描绘本公开的信息处理设备100获取反射光的测量点的一个设置示例的示图。

作为包含在位于面部下方的大量肌肉中并表现出对应于面部表情的显著变化的代表性肌肉，在图7中描绘了以下三种肌肉。

皱眉肌301

眼轮匝肌302

颧大肌303

这些肌肉随着面部表情的变化而生成大幅运动。

此外，存在面部的表面(即皮肤)显著对应于那些肌肉的运动而运动的点。图7描述了以下三点。

(a)在皱眉肌301收缩时起皱的点Pa，311

(b)显著地对应于眼轮匝肌302的运动(即眼睛的运动)而运动的点Pb，312

(c)在颧大肌303收缩时起皱的点Pc，313

注意，左右两侧各有一个点Pb或Pc。

通过将这些点Pa、Pb和Pc设置为反射光测量点并分析这些点的反射光，可以高度精确地分析用户面部表情(对应于笑声、愤怒、悲伤等)。

参照图8说明用于用光照射多个测量点处的皮肤并从多个测量点获取反射光的具体配置示例。

图8中的(a)是描绘多个测量点(图8中的(a)中描绘的五个圆)的示图，用于高度精确地分析参照图7说明的人的面部表情。

图8中的(b)是描绘用于用光照射皮肤上对应于图8中的(a)中描绘的五个测量点的位置并从这五个测量点获取反射光的特定传感器设置示例的示图。

图8中的(b)描绘了用户佩戴的头戴式显示器(HMD)20。

图8中(b)的上部描绘了用户带着HMD 20的示图。中间部分描绘了面向用户的HMD20的表面，即，紧靠用户眼睛一侧的表面。在图8中(b)的中间部分中描绘的示图中的两个中间白色矩形区域(L和R)是分别由用户的左眼和右眼观察的图像显示区域。

多个传感器(即包括发光元件和光接收元件的传感器)设置在HMD的用户佩戴表面上。

在图8(b)的中间部分的HMD用户佩戴表面的示图中描绘的五个白色圆圈是传感器。

每个传感器具有包括一对发光元件341和光接收元件342的配置，如图8中(b)的下部所示。

发光元件341和光接收元件342等同于图1所示的信息处理设备100的发光部102和光接收部103。

在用户的皮肤和皮下组织(血管等)上反射从发光元件341输出的光时，光接收元件342感测反射光，并且在光接收信号分析部分104分析感测到的反射光信号。

如图8中(b)的中间部分的HMD用户佩戴表面上所示，以下五个传感器被提供给HMD。

测量传感器(Sa)321，用于在皱眉肌收缩时起皱的点

左眼运动测量传感器(SbL)322L

右眼运动测量传感器(SbR)322R

测量传感器(ScL)323L，用于左颧大肌收缩时起皱的点

测量传感器(ScR)323R，用于右颧大肌收缩时起皱的点

这五个传感器是与皮肤位置相关联地设置的传感器，皮肤位置表现出对应于人类面部表情(对应于笑声、愤怒、悲伤等的面部表情)的大幅运动，如前面参考图7所说明的。

通过分析这些多个传感器的皮肤反射光，可以高度精确地分析人的面部表情。

注意，伴随这五点处的面部表情变化的反射光的特征数据是通过预先执行的学习处理等获取的，并且预先存储在面部表情分析信息存储部214上。

图4中描绘的面部表情分析结果生成部213比较和核对由作为要进行测量的人的用户佩戴的HMD的五个传感器获取的五个信号(皮肤反射光信号)和与记录在面部表情分析信息存储部214上的各种面部表情(即，与笑声、愤怒、悲伤等相对应的面部表情)相对应的面部皮肤运动的典型数据模式。然后，面部表情分析结果生成部213对用户(待分析者)10的面部表情对应于笑声、愤怒、悲伤等中的哪一个进行分类。输出分类的结果，作为面部表情分析信息121。

注意，图8中描绘的传感器的附接位置是示例，并且在另一种可能的配置中，可以设置更多的传感器。例如，在图9所示的示例中，除了图8所示的五个传感器之外，HMD还具有以下传感器。

左内耳运动测量传感器(SdL)324L

右内耳运动测量传感器(SdR)324R

左太阳穴移动测量传感器(SeL)325L

右太阳穴移动测量传感器(SeR)325R

测量传感器(SfL)326L，用于在左颧大肌收缩时起皱的第二点

测量传感器(SfR)326R，用于在右颧大肌收缩时起皱的第二点

此外，虽然此处说明了使用HMD的配置示例，但是本公开不仅可以应用于HMD器，还可以应用于使用要戴在脸上的通用可佩戴设备(听筒、耳机等)的配置。

例如，关于这些点处的反射光的变化数据也通过学习处理预先获取，并预先存储在面部表情分析信息存储部214上。

图4中描绘的面部表情分析结果生成部213比较和核对由作为要进行测量的人的用户佩戴的HMD的每个传感器获取的信号(皮肤反射光信号)和记录在面部表情分析信息存储部214上的各种面部表情(即，对应于笑声、愤怒、悲伤等的面部表情)的面部皮肤运动(即，典型数据模式)的特征数据。然后，面部表情分析结果生成部213对用户(待分析者)10的面部表情对应于笑声、愤怒、悲伤等中的哪一个进行分类。输出分类的结果，作为面部表情分析信息121。

通过以这种方式设置许多传感器位置，更高精度的面部表情分析成为可能。

注意，虽然在本公开的配置中可以基于一个传感器的感测信息一起执行面部表情分析处理和生物分析处理，但是也可以进一步采用类似于下面的配置。例如，在另一种可能的配置中，红外激光器可以用作光源，并且可以使用测量血流速率和血流速度以及面部表情信息的传感器。具体地，例如，在一种可能的配置中，双波长LED可以用作光源，从而可以使用测量动脉氧饱和度以及面部表情信息的传感器。

[4.关于实现高精度面部表情分析处理的配置和处理]

接下来，说明本公开的信息处理设备100中用于高度精确地执行用户(待分析者)10的面部表情分析的配置和处理。

如前所述，图4中描绘的面部表情分析结果生成部213比较和核对由作为要进行测量的人的用户佩戴的HMD的传感器获取的信号(皮肤反射光信号)和对应于记录在面部表情分析信息存储部214上的各种面部表情(即，对应于笑声、愤怒、悲伤等的面部表情)对应的面部皮肤运动的典型数据模式，并对用户(待分析者)10的面部表情对应于笑声、愤怒、悲伤等中的哪一个进行分类。输出分类的结果，作为面部表情分析信息121。

已经在面部表情分析信息存储部214上存储了伴随面部表情变化的反射光的特征数据，即学习模型。面部表情分析信息存储部214的数据是模型数据，该模型数据通过预先执行的学习处理等获取，并且存储在面部表情分析信息存储部214上。具体地，面部表情分析信息存储部214存储具有对应于多个不同的面部表情的面部表情标签和反映皮肤表面运动的皮肤表面反射光信号的特征数据的学习模型(面部表情模型)的对应数据。

在下文中，说明学习处理的示例。

图10描绘了为生成要存储在面部表情分析信息存储部214上的学习模型而获取的信号的示例。

图10中描绘的数据是沿着时间轴表示来自附接于HMD上的相应位置的传感器的输入信号的数据。

时间从左向右流逝。

图10描绘了以下七个信号S1至S7的时间序列数据。

S1信号：眉间信号(在皱眉肌收缩时起皱点的测量信号)

S2信号：左眉头信号(左太阳穴运动测量信号)

S3信号：右眉头信号(右太阳穴运动测量信号)

S4信号：水平靠近鼻子左翼的部分的信号(左眼运动测量信号)

S5信号：水平靠近鼻子右侧的部分的信号(右眼运动测量信号)

S6信号：左脸颊信号(左颧大肌收缩时起皱点的测量信号)

S7信号：右脸颊信号(右颧大肌收缩时起皱点的测量信号)

这些信号中的每一个都表现出对应于用户(待分析者)10的面部的面部表情(对应于笑声、愤怒、悲伤等)的变化。

例如，观察以下面部表情。

时间t1到t2期间的笑脸

时间t3至t4期间的愤怒面部

时间t5至t6期间的笑脸

时间t7到t8期间的愤怒面部

例如，在时间t1至t2和时间t5至t6期间，信号S1至S7在笑脸的周期中表现出类似的信号变化。

此外，例如，在时间t3至t4和时间t7至t8期间，信号S1至S7在愤怒面部的周期中表现出类似的信号变化。

可以以这种方式从信号变化的特征分析用户面部表情。

为此，有必要构建具有特征数据的学习模型。

说明生成学习模型的处理。

首先，获取如图10所示的数据，并对所获取的数据执行归一化处理(去归一化)。在图11中示出归一化后的数据示例。

执行归一化处理，作为将当用户给出严肃的表情(例如，输出0)时观察到的每个信号(S1到S7)设置为基线的处理。

例如，执行校准就足够了，在该校准中，要求佩戴HMD的用户给出严肃的表情，并且在那时从每个传感器获取的输出值被设置为基线(例如，输出0)。

注意，为了抑制归因于HMD等的附接的未对准的基线的波动，可以执行这样的处理，在该处理中，如果在特定时间长度内没有传感器信号的波动并且此时的感测值被设置为基线(例如，输出0)，则认为面部表情是严肃的表情。

参考图12和随后的附图说明基于归一化数据生成学习模型的处理的示例。

例如，作为用于构建学习模型的机器学习处理的技术，可以使用隐马尔可夫模型。

还可以将学习模型构建为对应于每个个体的模型，并且还可以将模型生成为不针对特定用户的通用模型。注意，在构建通用模型的情况下，模型构建优选地通过获取要应用于学习的大量样本数据来执行。

例如，生成学习模型，作为每个用户面部表情的标签(即，例如，诸如严肃的表情、微笑、愤怒面部或悲伤面部等每个面部表情)与信号特征相关联的模型。

图12中描绘的时间序列信号是类似于图10中信号的归一化信号的信号，即与图11中描绘的信号类似的信号。

时间t1到t2期间的微笑

时间t3至t4期间的愤怒面部

时间t5到t6期间的微笑

时间t7到t8期间的愤怒面部

注意，在严肃的表情变成微笑和严肃的表情变成愤怒面部期间，传感器的传感信号会发生显著变化。类似地，传感器的感应信号在微笑恢复到严肃表情的时间内和愤怒面部恢复到严肃表情的时间内也表现出显著的变化。

严肃的表情变成微笑的时间以及严肃的表情变成愤怒面部的时间和周期称为开始时间(onset time)和开始周期(onset period)。

另一方面，微笑恢复到严肃表情的时间和愤怒面部恢复到严肃表情的时间和周期称为偏移时间和偏移周期。

如图12的下部所示，当微笑、严肃的表情和愤怒面部的面部表情发生变化时，必然存在开始周期和偏移周期。

通过分析那些开始周期和偏移周期的信号变化的特征数据，可以更可靠地分析用户面部表情的变化。

图13是描绘通过学习处理的学习模型构建处理和通过使用构建的学习模型的面部表情分析处理的执行序列的示图。

(A)在学习时，描绘了学习处理的学习模型构建处理的序列的示图。

(B)在执行面部表情分析处理时，描绘了通过使用构建的学习模型的面部表情分析处理的执行序列的示图。

首先，(A)在学习时，输入以下数据，作为输入数据。

(1)光接收部输出时间序列数据(多通道：S1、S2····)

(2)面部表情标签(1：严肃的表情，2：微笑，3：愤怒面部····)

“(1)光接收部输出时间序列数据(多通道：S1、S2····)”是来自附接在HMD的传感器的输出信号的时间序列数据。即，这是诸如前面参考图10说明的信号S1至S7等数据。

“(2)面部表情标签(1：严肃的表情，2：微笑，3：愤怒面部····)”都是预先定义的一种面部表情的标签。在学习模型中，与标签相对应的特征数据被关联。

输入数据(即以下数据)被输入到学习器401。

(1)光接收部输出时间序列数据(多通道：S1、S2····)

(2)面部表情标签(1：严肃的表情，2：微笑，3：愤怒面部····)

学习器401基于输入数据执行学习处理。即，学习器401执行将信号的特征数据与每个标签相关联的处理。

通过该学习处理，生成被描绘为图13中的(A)在学习时的输出的面部表情模型，即作为学习模型的面部表情模型，并将其存储在面部表情分析信息存储部214上。

面部表情分析信息存储部214存储学习模型(面部表情模型)，其中，与面部表情标签(1：严肃的表情，2：微笑，3：愤怒面部····)相对应的特征数据被关联。

注意，模型的特征数据还包括前面参考图12说明的开始和偏移时间的信号变化数据。

(B)在执行图13中描绘的面部表情分析处理时，描绘了通过使用构建的学习模型的面部表情分析处理的执行序列的示图。

执行面部表情分析处理时的输入数据(B)是

(1)光接收部输出时间序列数据(多通道：S1、S2····)。

输入数据被输入到光接收信号分析部104。

参照图4说明的光接收信号分析部104的面部表情分析部210参考记录在面部表情分析信息存储部214上的学习模型，即与面部表情标签(1：严肃的表情，2：微笑，3：愤怒面部····)相对应的特征数据相关联的学习模型(面部表情模型)，选择被确定为与输入信号最相似的特征数据，并选择和输出与特征数据相关联的面部表情标签(1：严肃的表情，2：微笑，3：愤怒面部····)。

(B)执行面部表情分析处理时的输出数据是

(1)面部表情标签(1：严肃的表情，2：微笑，3：愤怒面部····)。

以这种方式，在执行面部表情分析处理时，通过使用预先生成的学习模型，即与面部表情标签(1：严肃的表情，2：微笑，3：愤怒面部····)相对应的特征数据相关联的学习模型(面部表情模型)，来执行用户面部表情分析。

图14是用于说明学习模型生成处理的具体示例的示图。

图14描绘了通过使用隐马尔可夫模型(HMM)的学习模型生成处理的示例。

通过图14中描述的(步骤S01)和(步骤S02)的处理执行该处理。

说明了每个步骤的处理。

(步骤S01)

首先，在步骤S01，通过自动或手动分割设定开始周期，并给开始周期贴上标签。

例如，通过被告知“现在给我一个微笑”，从系统(信息处理设备)或操作者对作为学习模型生成目标的用户给出指令。

系统(信息处理设备)分析伴随对应于指令的用户面部表情变化的传感器感测值。

图中所示的示例是在用户严肃的表情转变为微笑的处理中(即，开始周期)分析传感器采集值的示例。

图中所示的示例是分析附接在用户面部三个不同位置的传感器的感测值的时间序列数据的示例。

例如，对于预先定义的每个单位周期(例如，0.2秒)，分析信号的变化。具体地，当预先定义的周期(例如，0.2秒)的方差(variance)超过预先定义的阈值时，认为存在从严肃的表情到微笑的面部表情变化，并且该周期通过分割被设置为开始周期。

(步骤S02)

重复执行步骤S01的处理，以获取多条数据，并且获取从多条数据获得的共同特征数据并记录为对应于微笑的特征数据，该共同特征数据例如是平均值等。

注意，如前所述，在一种可能的配置中，学习模型可以被构建为对应于个体的学习模型，或者也可以将学习模型构建为通用学习模型，该通用学习模型可以基于从多个对象获得的数据而应用于各种用户。

在要生成对应于个体的学习模型的情况下，在步骤S02收集的数据是特定个体的数据。

另一方面，在要生成通用学习模型的情况下，在步骤S02收集的数据是从各种不同对象获得的数据。

例如，在可以收集来自大量对象的大量数据(即大规模数据)的情况下，可以通过应用基于作为多层神经网络的DNN(深度神经网络)的机器学习来构建通用学习模型。

图15是用于说明通过使用根据图14所示的处理生成的学习模型(隐马尔可夫模型)的面部表情分析处理的具体示例的示图。

如图15中的(处理)所示，执行用户面部表情分析的信息处理设备首先获取感测用户面部皮肤的反射光的传感器的采集信号。

此外，基于与采集信号相对应的分析数据，即例如方差等，检索被估计为开始周期的周期中的数据。

此外，计算对应于学习模型(面部表情模型)中的每个面部表情标签的检索数据和特征数据的似然性(likelihood)。

最后，对应于具有高似然性(具有高相似性)的特征数据的面部表情标签集被确定为用户面部表情。

由这些处理执行用户面部表情的分析。

注意，虽然在参考图15说明的面部表情分析处理中仅用户面部表情的类型(微笑)被分类，但是也可以通过生成用于分析面部表情的强度(例如，微笑的强度，即，强烈笑或浅笑)的学习模型并应用该学习模型来计算用户面部表情的强度。

参照图16说明计算面部表情的强度的处理的示例。

图16中描绘的示例是估计微笑强度的处理的示例。在学习模型中记录信号值(线a)，该信号值(线a)与基线的偏离程度(在认真看时)是在学习处理时从用户获得的最大信号值，作为微笑的最大值(微笑程度＝100％)。

通过计算在用户面部表情分析时获得的数据(测量信号)与表示微笑最大值(微笑程度＝100％)的线a的比率，可以计算用户的微笑强度。

可以估计，在图中所示的点pa处微笑的强度＝80％，在图中所示的点pb处微笑的强度＝20％。

注意，虽然参照图14至图16仅说明了微笑分析，但是关于愤怒面部、悲伤面部等的处理仅在特征数据方面不同，并且为此执行类似的处理过程。

[5.关于生物信息分析处理的具体示例]

接下来，说明由图4所示的光接收信号分析部104的生物信息分析部分220执行的生物信息分析处理的具体示例。

如先前参考图4所说明的，图4中描绘的光接收信号分析部104的生物测定信号分析部分220通过从光接收部103的光接收信号中选择和提取皮下组织反射光(漫射光)来执行用户生物信息分析，并且生成和输出生物分析信息122，作为分析的结果。

光接收部103的光接收信号中包括的高频分量是反映通过皮下血管的血流生成的周期性波动的信号，并且可以用于生物信息分析。

生物特征信号分析部220分析光接收部103的光接收信号中包括的高频分量，并分析生物信息，例如，血流速率、血流速度、脉搏波、血压、心率、心率波动、血氧浓度或动脉血氧饱和度。

图17描绘了在以下两种用户状态下的心率间隔(RRI(ms))的时间转变数据。

(a)紧张状态

(b)放松状态

如图所示，随着对应于每个状态的用户的心率间隔的时间转变而观察到的变化具有明显不同的特征。

通过记录对应于每个状态的特征数据作为学习数据，并通过使用学习数据执行分析处理，可以估计用户的状态。

以这种方式，诸如血流速率、脉搏波或氧饱和度等生物信息受到自主神经活动的影响。即，生物信息表现出对应于用户内心状态的变化，例如，紧张状态、兴奋状态或有压力状态。

因此，例如，通过观察用户心率间隔的波动，可以确定用户的内心状态，即用户是感到紧张还是放松。

图18所示的流程图是用于说明由图4所示的光接收信号分析部104的生物信息分析部分220执行的生物信息分析处理的一个处理序列示例的流程图。

注意，可以根据存储在信息处理设备100的存储部上的程序来执行根据图18和随后的图中描绘的流程图的处理。例如，可以执行该处理，作为由具有程序执行功能的处理器(例如，CPU)执行的程序执行处理。

在下文中，依次说明流程中每个步骤的处理。

注意，图18中描绘的流程是由图4中描绘的光接收信号分析部104的生物特征信号分析部220中的生物特征信号分析结果生成部225执行的处理序列。

(步骤S101)

首先，生物特征信号分析部220的生物特征信号分析结果生成部225通过对光接收部103的光接收信号中包括的高频分量的分析处理来获取诸如脉搏波或血流速率等时间序列数据。

如先前参考图4所说明的，生物特征信号分析结果生成部225比较和核对由高通滤波器(高频分量提取部)221提取的生物信息分析信号(光接收部感测信号中的高频分量)和记录在生物特征信号分析信息存储部226上的数据，即，对应于诸如血流速率、血流速度、脉搏波、血压、心率、心率波动、血液等每个状态的数据。然后，生物特征信号分析结果生成部225生成用户(待分析者)10的生物信息，例如，诸如脉搏波或血流速率等时间序列数据。

(步骤S111至S113)

接下来的步骤S111至S113的处理和步骤S121至S122的处理是在生物特征信号分析结果生成部225处选择性地或并行地执行的处理。

首先，说明步骤S111至S113的处理。

在步骤S111处，从脉搏波和血流速率的时间序列变化数据计算峰值、平均值、方差等。

接下来，在步骤S112处，根据在步骤S111获取的数据生成心率波动时间序列数据。心率波动时间序列数据是例如图17所示的数据。

最后，在步骤S113处，基于心率波动时间序列数据计算压力指数值(LH/HF(＝(低频)/(高频))，并将其作为生物分析信息122输出。

压力指数值是基于心率波动时间序列数据计算的压力指数值。(LH/HF)是交感神经(LF)和副交感神经(HF)的平衡值，并且基于该平衡值来确定用户的压力程度。

注意，基于心率波动时间序列数据计算压力指数值(LH/HF)的处理本身是传统已知的现有技术。

(步骤S121和S122)

接下来，说明步骤S121和S122的处理。

在步骤S122，从脉搏波和血流速度的时间序列变化数据计算脉搏波和血流速度基线的波动量。

注意，这种情况下的基线相当于正常状态时脉搏波和血流速度的状态值。

接下来，在步骤S122，基于脉搏波和血流速度基线的波动量来估计用户的情感(高兴、惊讶、愤怒、悲伤、恐惧、厌恶等)，并作为生物分析信息122输出。

注意，通过应用由预先执行的学习处理生成的学习模型来执行情感估计处理。具体地，感测到的用户生物信息和对应于每种类型的情感(高兴、惊讶、愤怒、悲伤、恐惧、厌恶等)的标签的特征数据进行比较，并且选择与具有高似然性(相似性)的特征数据相对应的标签。

[6.关于执行高精度情感估计处理的实施例]

接下来，作为第二实施例说明执行高精度情感估计处理的实施例。

如参考图18所说明的，图4所示的光接收信号分析部104的生物特征信号分析部220通过从光接收部103的光接收信号中选择和提取皮下组织反射光(漫射光)来执行用户生物信息分析。

作为一个生物信息分析处理，可以执行用户的情感(高兴、惊讶、愤怒、悲伤、恐惧、厌恶等)的分析。

下面说明的实施例是进一步执行高度精确的情感分析的实施例。具体地，不仅图4所示的光接收信号分析部104的生物特征信号分析部220的分析信息，而且面部表情分析部210的分析结果也用于执行高精度的情感分析。

图19是描述本第二实施例的光接收信号分析部104的配置示例的示图。

图19所示的本第二实施例的光接收信号分析部104具有类似于先前说明的图4所示的光接收信号分析部104的配置，但是另外具有高精度情感分析部230和高精度情感分析信息存储部231。

高精度情感分析部230接收作为面部表情分析部210的分析结果的面部表情分析信息121和作为生物特征信号分析部220的分析结果的生物分析信息122，作为输入，并生成和输出高精度情感分析信息123。

已经在高精度情感分析信息存储部231上存储了由预先执行的学习处理生成的学习模型(情感模型)。具体地，存储对应于每种类型的情感(高兴、惊讶、愤怒、悲伤、恐惧、厌恶等的标签)的特征数据。

高精度情感分析信息存储部231存储学习模型，其中，与多个不同情感状态相对应的特征数据被关联。特征数据包括面部表情信息的特征数据和生物信息的特征数据。

高精度情感分析部230通过使用作为面部表情分析部210的分析结果的面部表情分析信息121、作为生物特征信号分析部220的分析结果的生物分析信息122以及存储在高精度情感分析信息存储部231上的情感模型，来执行核对分析结果的处理，并且生成和输出高精度情感分析信息123。

在本第二实施例中，不仅考虑用户生物信息，而且考虑面部表情信息来估计情感。

参考图20说明通过使用面部表情的情感估计处理技术。

图20描绘了Russell(Russel)的环状模型。

Russell的复杂模型是表达情感(高兴、惊讶、愤怒、悲伤、恐惧、厌恶等)的数据，该情感是人类沿着下面两条轴线的情绪状态。

(1)兴奋(arousal)

(2)情感价值(效价)(正/负)。

纵轴对应表示觉醒的A值，横轴对应表示情感价值(效价)(正/负)的V值。

通过使用结合了A值和V值的AV值，可以用数字表示情感(高兴、惊讶、愤怒、悲伤、恐惧、厌恶等)，该情感是人类的情绪状态。

例如，在根据生物信息(生命数据)估计情感的情况下，使用AV值的归一化值。然而，如果只从生物信息(生命数据)中估计情感，在某些情况下，不一定能获得正确的信息。

一个原因是生物信息不仅受到情感的影响，还受到各种因素的影响。

此外，还有另一个原因，即在参考图20说明的情感模型(Russell的环状模型)中，容易从生物信息估计兴奋，但是难以仅从生物信息估计情感价值(效价)(正/负)。

通过不仅使用生物信息，而且使用面部表情信息，可以高度精确地估计情感价值(效价)(正/负)。

下面说明的第二实施例是这样一个实施例，其中，不仅生物信息而且面部表情信息都用来高度精确地分析用户的情感。

图21是描绘由本第二实施例的信息处理设备100通过学习处理执行的学习模型构建处理和通过使用构建的学习模型执行的情感分析处理的执行序列的示图。

(A)在学习时，描绘了学习处理的学习模型构建处理的序列的示图。

(B)在执行情感分析处理时，描绘了通过使用构建的学习模型的情感分析处理的执行序列的示图。

首先，(A)在学习时，输入以下数据，作为输入数据。

(1)面部表情分析信息(面部表情标签(1：严肃的表情，2：微笑，3：愤怒面部····))

(2)生物分析信息(生物信息特征量)

(3)用户的AV值

(1)面部表情分析信息(面部表情标签(1：严肃的表情，2：微笑，3：愤怒面部····))是作为面部表情分析部210的分析结果而获得的信息。

(2)生物分析信息(生物信息特征量)是作为生物特征信号分析部220的分析结果获得的生物分析信息。具体地，生物分析信息是生物信息，例如，血流速率、血流速度、脉搏波、血压、心率、心率波动、血氧浓度或动脉氧饱和度。

(3)用户的AV值是在参考图20说明的Russell环状模型中表示兴奋的A值和表示情感价值(效价)(正/负)的V值的组合数据。

例如，从对用户关于情绪状态的问题的回答的结果中获取数据。

输入数据(即以下数据)被输入到学习器421。

(1)面部表情分析信息(面部表情标签(1：严肃的表情，2：微笑，3：愤怒面部····)

(2)生物分析信息(生物信息特征量)

(3)用户的AV值

学习器421基于输入数据执行学习处理。具体地，执行将多条特征数据与用户的AV值相关联的处理，该数据是

(1)面部表情分析信息(面部表情标签(1：严肃的表情，2：微笑，3：愤怒面部····)，以及

(2)生物分析信息(生物信息特征量)。

通过该学习处理，生成被描绘为图21中的(A)在学习时的输出的情感模型，即作为学习模型的情感模型，并将其存储在高精度情感分析信息存储部231上。

已经在高精度情感分析信息存储部231上记录了与参照图20说明的Russell环状模型中的情感标签(高兴、惊讶、愤怒、悲伤、恐惧、厌恶等的标签)或AV值相关联的特征数据。

特征数据包括面部表情分析信息(面部表情标签)和生物分析信息(生物信息特征量)。

(B)在图21所示的情感分析处理的执行时，描述利用所构建的学习模型的情感分析处理的执行序列的示图。

(B)在情感分析处理执行时的输入数据是

(1)面部表情分析信息(面部表情标签(1：严肃的表情，2：微笑，3：愤怒面部····)，以及

(2)生物分析信息(生物信息特征量)。

输入数据被输入到光接收信号分析部104的高精度情感分析部230。

如参考图19所说明的，高精度情感分析部230接收作为面部表情分析部210的分析结果的面部表情分析信息121和作为生物特征信号分析部220的分析结果的生物分析信息122，作为输入，并且生成和输出高精度情感分析信息123。

作为面部表情分析部210的分析结果的面部表情分析信息121对应于上述输入“(1)面部表情分析信息(面部表情标签(1：严肃的表情，2：微笑，3：愤怒面部····)。”

另外，作为生物特征信号分析部220的分析结果的生物分析信息122对应于上述输入“(2)生物分析信息(生物信息特征量)。”

高精度情感分析部230比较输入信息具有的特征量(面部表情标签和生物特征量)和记录在情感分析信息存储部231上的对应于学习模型的特征数据，选择被确定为与输入信号具有最高似然性的特征数据，即，与输入信号最相似的特征数据，并选择和输出与特征数据相关联的情感信息，该情感信息例如是情感信息，例如(高兴、惊讶、愤怒、悲伤、恐惧、厌恶等)或作为对应于情感的索引值的AV值。

以这种方式，在执行高精度情感分析处理时，预先生成的学习模型(情感模型)用于执行用户的高精度情感分析。

接下来，参照图22所示的流程图说明由图19所示的光接收信号分析部104执行的处理序列。

依次说明图22所示的流程图中的每个步骤的处理。

(步骤S201)

首先，在步骤S201处，输入光接收部103的光接收信号。注意，如前所述，光接收部103的光接收信号是混合了以下两种反射光的信号。

(1)皮肤表面反射光

(2)皮下组织反射光(漫射光)

(步骤S211和S212)

步骤S211和S212是由图19所示的面部表情分析部210执行的处理。

面部表情分析部210通过执行从混合了上述两种类型信号的信号中选择和提取“(1)皮肤表面反射光”的处理来执行用户面部表情分析，并生成和输出面部表情分析信息121，作为分析结果。

(步骤S221和S222)

步骤S221和S222是由图19所示的生物特征信号分析部220执行的处理。

生物特征信号分析部220通过执行从混合了上述两种类型信号的信号中选择和提取“(2)皮下组织反射光(漫射光)”的处理来执行用户生物信息分析，并生成和输出生物分析信息122，作为分析结果。

(步骤S231和S232)

步骤S231和S232是由图19所示的高精度情感分析部230执行的处理。高精度情感分析部230接收作为面部表情分析部210的分析结果的面部表情分析信息121和作为生物特征信号分析部220的分析结果的生物分析信息122，作为输入，并生成和输出高精度情感分析信息123。

该处理是前面参照图21中的(B)说明的处理。

高精度情感分析部230通过使用作为面部表情分析部210的分析结果的面部表情分析信息121、作为生物特征信号分析部220的分析结果的生物分析信息122以及存储在高精度情感分析信息存储部231上的情感模型来执行核对分析结果的处理，并且生成和输出高精度情感分析信息123。

已经在高精度情感分析信息存储部231上记录了与参照图20说明的Russell环状模型中的情感标签(高兴、惊讶、愤怒、悲伤、恐惧、厌恶等的标签)或AV值相关联的特征数据。

特征数据包括面部表情分析信息(面部表情标签)和生物分析信息(生物信息特征量)。

高精度情感分析部230选择标签(＝情感标签(高兴、惊讶、愤怒、悲伤、恐惧、厌恶等的标签))或AV值，该标签或AV值具有最接近面部表情分析部210的分析结果的面部表情分析信息121的特征量和生物特征信号分析部220的分析结果的生物分析信息122的特征量的特征量，并且输出所选择的标签或AV值，作为高精度情感分析信息123。

[7.关于本公开的信息处理设备的分析结果的使用示例]

接下来，说明本公开的信息处理设备的分析结果的使用示例。

下面说明多个处理示例。

(1)用于游戏事件控制的处理示例

(2)用于确定用户面部表情的真实性的处理示例

(3)用户用于模拟肌肉训练的处理示例

(4)用于化身控制的处理示例

(5)用于确定用户精神的处理示例

[7-(1)用于游戏事件控制的处理示例]

首先，说明本公开的信息处理设备将分析结果用于游戏事件控制的处理示例。

图23是用于说明该处理示例的处理序列的流程图。

说明图23所示的流程图中的每个步骤的处理。注意，图23所示的流程图中的步骤S201、S211、S221和S231处的处理类似于先前参考图22说明的流程中的步骤S201、S211、S221和S231处的处理。

然而，应当注意，此处作为情感分析目标的用户是正在执行游戏的用户。

(步骤S201至S231)

在步骤S201，输入光接收部103的光接收信号。注意，如前所述，光接收部103的光接收信号是混合了以下两种反射光的信号。

(1)皮肤表面反射光

(2)皮下组织反射光(漫射光)

步骤S211是由图19所示的面部表情分析部210执行的处理。

面部表情分析部210通过执行从上述两种类型的信号混合的信号中选择和提取“(1)皮肤表面反射光”的处理来执行用户面部表情分析，生成面部表情分析信息121，作为分析的结果，并将面部表情分析信息121输出到高精度情感分析部230。

步骤S221是由图19所示的生物特征信号分析部220执行的处理。

生物特征信号分析部220通过执行从上述两种类型的信号混合的信号中选择和提取“(2)皮下组织反射光(漫射光)”的处理来执行用户生物信息分析，生成作为分析结果的生物分析信息122，并将生物分析信息122输出到高精度情感分析部230。

步骤S231是由图19所示的高精度情感分析部230执行的处理。高精度情感分析部230接收作为面部表情分析部210的分析结果的面部表情分析信息121和作为生物特征信号分析部220的分析结果的生物分析信息122，作为输入，并生成高精度情感分析信息123。

(步骤S240)

步骤S240是使用由高精度情感分析部230生成的高精度情感分析信息123的处理，并且在该处理示例中，是由游戏控制部执行的处理。

游戏控制部接收由高精度情感分析部230生成的高精度情感分析信息123，作为输入，并执行图中所示的步骤S241至S243的处理。

(步骤S241)

首先，在步骤S241，游戏控制部接收游戏执行用户的情感分析结果，作为输入，并基于输入的情感分析结果确定用户对游戏的集中程度。

(步骤S242)

在步骤S242，作为在步骤S241确定游戏集中程度的处理的结果，确定用户是否对游戏感到厌倦。

在确定用户对游戏不厌烦的情况下，处理返回到步骤S241，并且基于用户的情感分析结果继续确定用户对游戏的集中程度。

另一方面，在确定用户对游戏感到厌烦的情况下，处理进行到步骤S243。

(步骤S243)

在步骤S242确定用户对游戏感到厌烦的情况下，处理进行到步骤S233。

在步骤S243，游戏控制部执行在游戏中生成新事件的控制。

例如，执行生成事件(例如，舞台变化或新角色出现)的处理。

通过以这种方式基于游戏执行用户的情感来执行游戏控制，可以呈现不会使用户厌烦的游戏开发。

[7-(2)用于确定用户面部表情的真实性的处理示例]

接下来，说明本公开的信息处理设备将分析结果用于确定用户面部表情的真实性的处理示例。

通过面部表情分析处理获得用户面部表情的分析结果。例如，确定用户面部表情是微笑等。然而，在某些情况下，微笑可能是与用户的真实情感相违背的虚假微笑。

下面说明的处理示例是在这种假笑和真笑等之间进行区分的处理示例，即，确定用户面部表情是否是反映用户情绪的真实面部表情的处理示例。

图24是用于说明该处理示例的处理序列的流程图。

说明图24所示的流程图中的每个步骤的处理。注意，图24中描述的流程图中的步骤S201、S211、S212、S221和S231处的处理是与先前参考图22说明的流程中的步骤S201、S211、S212、S221和S231处的处理类似的处理。

(步骤S201至S231)

在步骤S201，输入光接收部103的光接收信号。注意，如前所述，光接收部103的光接收信号是混合了以下两种反射光的信号。

(1)皮肤表面反射光

(2)皮下组织反射光(漫射光)

步骤S211和S212是由图19所示的面部表情分析部210执行的处理。

面部表情分析部210通过执行从上述两种类型的信号混合的信号中选择和提取“(1)皮肤表面反射光”的处理来执行用户面部表情分析，生成面部表情分析信息121，作为分析的结果，将面部表情分析信息121输出到高精度情感分析部230，并且还将面部表情分析信息121输出到在步骤S250执行处理的面部表情真实性确定部。

步骤S221是由图19所示的生物特征信号分析部220执行的处理。

生物特征信号分析部220通过执行从上述两种类型的信号混合的信号中选择和提取“(2)皮下组织反射光(漫射光)”的处理来执行用户生物信息分析，生成生物分析信息122，作为分析结果，并将生物分析信息122输出到高精度情感分析部230。

步骤S231是由图19所示的高精度情感分析部230执行的处理。高精度情感分析部230接收作为面部表情分析部210的分析结果的面部表情分析信息121和作为生物特征信号分析部220的分析结果的生物分析信息122，作为输入，并生成高精度情感分析信息123。

(步骤S250)

步骤S250是使用由面部表情分析部210生成的面部表情分析信息121和由高精度情感分析部230生成的高精度情感分析信息123的处理，并且在该处理示例中，是由确定用户面部表情的真实性的面部表情真实性确定部执行的处理。

面部表情真实性确定部接收由面部表情分析部210生成的面部表情分析信息121和由高精度情感分析部230生成的高精度情感分析信息123，作为输入，并执行图中所示的步骤S251至S253的处理。

(步骤S251)

首先，在步骤S251，面部表情真实性确定部比较由面部表情分析部210生成的面部表情分析信息121和由高精度情感分析部230生成的高精度情感分析信息123。

(步骤S252)

在步骤S252，作为步骤S251的比较结果，确定面部表情分析信息121和高精度情感分析信息123是否匹配。

在由面部表情分析部210生成的面部表情分析信息121和由高精度情感分析部230生成的高精度情感分析信息123匹配的情况下，处理进行到步骤S253。

另一方面，在由面部表情分析部210生成的面部表情分析信息121和由高精度情感分析部230生成的高精度情感分析信息123不匹配的情况下，处理进行到步骤S254。

(步骤S253)

在步骤S252，由面部表情分析部210生成的面部表情分析信息121和由高精度情感分析部230生成的高精度情感分析信息123匹配的情况下，处理进行到步骤S253。

在步骤S253，面部表情真实性确定部确定用户面部表情是反映用户情感的真实面部表情。

(步骤S254)

另一方面，在步骤S252，由面部表情分析部210生成的面部表情分析信息121和由高精度情感分析部230生成的高精度情感分析信息123不匹配的情况下，处理进行到步骤S254。

在步骤S254，面部表情真实性确定部确定用户面部表情是没有反映用户的情感的虚假面部表情。

通过以这种方式比较用户面部表情和情感，可以确定用户面部表情是否是反映精神状态的真实面部表情。

[7-(3)用户用于模拟肌肉训练的处理示例]

接下来，说明本公开的信息处理设备将分析结果用于用户模拟肌肉训练的处理示例。

图25是用于说明该处理示例的处理序列的流程图。

说明图25所示的流程图中的每个步骤的处理。注意，此处作为情感分析目标的用户是正在训练他/她的模拟肌肉的用户。

(步骤S301)

首先，在步骤S301，给用户提供开始特定模拟肌肉训练的指令。

具体地，给出移动某个模拟肌肉的指令。

(步骤S302至S322)

在步骤S302，输入光接收部103的光接收信号。注意，如前所述，光接收部103的光接收信号是混合了以下两种反射光的信号。

(1)皮肤表面反射光

(2)皮下组织反射光(漫射光)

步骤S311和S312是由图19所示的面部表情分析部210执行的处理。

面部表情分析部210通过执行从上述两种类型的信号混合的信号中选择和提取“(1)皮肤表面反射光”的处理来执行用户面部表情分析，生成面部表情分析信息121，作为分析的结果，并将面部表情分析信息121输出到模拟肌肉训练状态分析部。

步骤S321和S322是由图19所示的生物特征信号分析部220执行的处理。

生物特征信号分析部220通过执行从上述两种类型的信号混合的信号中选择和提取“(2)皮下组织反射光(漫射光)”的处理来执行用户生物信息分析，生成生物分析信息122，作为分析结果，并将生物分析信息122输出到模拟肌肉训练状态分析部。

(步骤S313)

步骤S313是由模拟肌肉训练状态分析部执行的处理。

模拟肌肉训练状态分析部分析从面部表情分析部210输入的面部表情分析信息121，并确定用户是否正在按照指示移动模拟肌肉。

即，确定皮肤运动是否充分。

在确定皮肤运动不充分的情况下，处理返回到步骤S301，并且继续移动相同模拟肌肉的指令。

另一方面，在确定皮肤运动足够的情况下，处理进行到步骤S331。

(步骤S323)

步骤S323也是由模拟肌肉训练状态分析部执行的处理。

模拟肌肉训练状态分析部分析从生物特征信号分析部220输入的生物分析信息122，并确定在为用户指定的模拟肌肉位置处的皮下血液循环是否得到改善。

在确定皮下血液循环没有改善的情况下，处理返回到步骤S301，并且继续指示移动相同的模拟肌肉。

另一方面，在确定指定模拟肌肉位置处的皮下血液循环得到改善的情况下，处理进行到步骤S331。

(步骤S331)

步骤S331是在步骤S313和S323的确定结果为是的情况下执行的处理，即，确定皮肤运动充分，并且确定指定模拟肌肉位置处的皮下血液循环得到改善。

在这种情况下，模拟肌肉训练状态分析部进行到下一步，例如，给出移动不同模拟肌肉的指令。

通过以这种方式分析模拟肌肉训练用户的面部表情和活体形式，可以使得用户执行更可靠的模拟肌肉训练。

注意，不限于模拟肌肉训练，例如，通过给出移动预定肌肉的指令，也可以给出用于做出面部的预定面部表情的有效指令，例如，做出诸如微笑等面部表情。

[7-(4)用于化身控制的处理示例]

接下来，说明本公开的信息处理设备将分析结果用于化身控制的处理示例。

该处理示例是执行显示反映用户的面部表情和情绪的化身的控制的处理示例。

图26是用于说明该处理示例的处理序列的流程图。

说明图26所示的流程图中的每个步骤的处理。注意，图26中描绘的流程图中的步骤S201、S211、S212、S221和S231处的处理类似于先前参考图22说明的流程中的步骤S201、S211、S212、S221和S231处的处理。

(步骤S201至S231)

在步骤S201，输入光接收部103的光接收信号。注意，如前所述，光接收部103的光接收信号是混合了以下两种反射光的信号。

(1)皮肤表面反射光

(2)皮下组织反射光(漫射光)

步骤S211和S212是由图19所示的面部表情分析部210执行的处理。

面部表情分析部210通过执行从上述两种类型的信号混合的信号中选择和提取“(1)皮肤表面反射光”的处理来执行用户面部表情分析，生成面部表情分析信息121，作为分析的结果，将面部表情分析信息121输出到高精度情感分析部230，并且还将面部表情分析信息121输出到在步骤S250执行处理的面部表情真实性确定部。

步骤S221是由图19所示的生物特征信号分析部220执行的处理。

生物特征信号分析部220通过执行从上述两种类型的信号混合的信号中选择和提取“(2)皮下组织反射光(漫射光)”的处理来执行用户生物信息分析，生成生物分析信息122，作为分析结果，并将生物分析信息122输出到高精度情感分析部230。

步骤S231是由图19所示的高精度情感分析部230执行的处理。高精度情感分析部230接收作为面部表情分析部210的分析结果的面部表情分析信息121和作为生物特征信号分析部220的分析结果的生物分析信息122，作为输入，并生成高精度情感分析信息123。

(步骤S260)

步骤S260是使用由面部表情分析部210生成的面部表情分析信息121和由高精度情感分析部230生成的高精度情感分析信息123的处理，并且在该处理示例中，是由执行用户使用的化身控制的化身控制部执行的处理。

化身控制部接收由面部表情分析部210生成的面部表情分析信息121和由高精度情感分析部230生成的高精度情感分析信息123，作为输入，并且执行改变由用户在PC或智能手机上显示的化身的面部表情等的处理，该化身对应于用户。

例如，在用户正在微笑并且具有高兴状态的情感的情况下，显示正在微笑并且看起来很开心的化身。

另一方面，在用户具有悲伤的面部并且也具有悲伤状态的情感的情况下，显示具有悲伤的面部并且看起来阴沉的化身。

此外，也可以执行如下处理。

如果当感测到微笑时用户的情绪处于高度兴奋状态，则显示具有高兴的面部表情并且在跳跃的化身。另一方面，如果当感测到微笑时用户的情绪处于相对平静的状态，则显示以平静姿势温和微笑的化身。

以这种方式，可以表达用户的不能仅通过感测面部表情来实现这些状态的各种各样的状态。

以这种方式，在该处理示例中，使得能够显示反映用户的面部表情和情感的化身。

[7-(5)用于确定用户精神的处理示例]

接下来，说明本公开的信息处理设备使用分析结果来确定用户精神的处理示例。

该处理示例是基于用户的面部表情和情绪来确定用户精神的处理示例。

在执行该处理示例的情况下，需要构建使得能够执行精神确定的模型，作为学习模型。

图27是描绘通过学习处理的学习模型(精神模型)构建处理和通过使用构建的学习模型的精神分析处理的执行序列的示图。

(A)在学习时，描绘了学习处理的学习模型构建处理的序列的示图。

(B)在执行精神分析处理时，描绘了通过使用构建的学习模型的精神分析处理的执行序列的示图。

首先，(A)在学习时，输入以下数据，作为输入数据。

(1)光接收部输出时间序列数据(多通道：S1、S2····)

“(1)光接收部输出时间序列数据(多通道：S1、S2····)”是例如来自附接在HMD的传感器的输出信号的时间序列数据。即，这是诸如前面参考图10说明的信号S1至S7等数据。

光接收信号分析部104基于输入数据生成并输出面部表情分析结果和生物信息分析结果。

这些结果被输入到学习器(精神模型生成部分)450。

学习器(精神模型生成部分)450接收面部表情分析结果和生物信息分析结果，作为输入，生成精神模型，并且将精神模型存储在精神分析信息存储部470上，该精神模型是精神水平和信息相关联的学习模型。

(B)在执行图27中描绘的精神分析处理时，描绘了通过使用构建的学习模型(精神模型)的面部表情分析处理的执行序列的示图。

(B)在执行精神分析处理时输入的数据是

(1)光接收部输出时间序列数据(多通道：S1、S2····)。

输入数据被输入到光接收信号分析部104。

光接收信号分析部104基于输入数据生成并输出面部表情分析结果和生物信息分析结果。

这些结果被输入到精神确定部480。

精神确定部480参考记录在精神分析信息存储部470上的学习模型，即面部表情信息和生物信息的特征数据与各种精神水平相关联的学习模型(精神模型)，选择被确定为与输入信号最相似的特征数据，并选择和输出与特征数据相关联的精神水平。

(B)在执行面部表情分析处理时的输出数据是

(1)表示用户是否有精神或精神水平的数据。

注意，尽管在参考图27描述和说明的配置示例中，使用面部表情信息和生物信息的特征数据与各种精神水平相关联的学习模型(精神模型)来确定用户的精神水平，但是通过改变要使用的学习模型，不仅可以确定精神水平，还可以确定用户的各种状态。

例如，通过生成和使用学习模型，其中，面部表情信息和生物信息的特征数据与用户的各种状态水平(例如，兴奋水平、高兴水平、悲伤水平或抑郁水平)相关联，可以确定各种用户状态。

[8.关于信息处理设备的硬件配置示例]

接下来，说明本公开的信息处理设备100的硬件配置示例。

图28是描述信息处理设备的硬件配置示例的示图。

CPU(中央处理单元)501用作数据处理部，其根据存储在ROM(只读存储器)502或存储部508上的程序执行各种类型的处理。例如，CPU 501根据上述实施例中说明的序列执行处理。

RAM(随机存取存储器)503存储由CPU 501执行的程序、数据等。CPU 501、ROM 502和RAM 503通过总线504互连。

CPU 501经由总线504连接到输入/输出接口505。输入/输出接口505与包括各种类型的开关、键盘、触摸面板、鼠标、麦克风的输入部506以及状态数据获取部(例如，传感器)连接，并且与包括显示器、扬声器等的输出部507连接。

例如，CPU 501接收从输入部506输入的命令、状态数据等，作为输入，执行各种类型的处理，并将处理结果输出到输出部507。

连接到输入/输出接口505的存储部508包括例如硬盘等，并且存储要由CPU 501执行的程序和各种类型的数据。通信部509用作经由诸如因特网或局域网等网络进行数据通信的发送/接收部，并与外部设备通信。

连接到输入/输出接口505的驱动器510驱动诸如磁盘、光盘、磁光盘或半导体存储器(例如，存储卡)等可移动介质511，并执行数据的记录或读取。

[9.本公开的配置概述]

迄今为止，参考特定实施例详细说明了本公开的实施例。然而，显而易见的是，本领域技术人员可以在不脱离本公开的主旨的范围内对实施例进行修改或使用替代物。即，已经以示例的形式公开本发明，并且不应该以有限的方式说明。为了确定本公开的要点，应该考虑权利要求的部分。

注意，本说明书中公开的技术可以具有如下配置。

(1)一种信息处理设备，包括：

光接收部，接收发射到用户面部的光的反射光；以及

光接收信号分析部，分析光接收部的光接收信号，其中，

光接收信号分析部具有

面部表情分析部，基于反射光生成面部表情分析信息，以及

生物特征信号分析部，基于反射光生成生物分析信息。

(2)根据(1)所述的信息处理设备，其中，

光接收部的光接收信号包括皮肤表面反射光和皮下组织反射光，

面部表情分析部从光接收部的光接收信号中提取低频分量，获取皮肤表面反射光，并执行面部表情分析，并且

生物特征信号分析部从光接收部的光接收信号中提取高频分量，获取皮下组织反射光，并执行生物特征信号分析处理。

(3)根据(1)或(2)所述的信息处理设备，其中，面部表情分析部通过参考存储在存储部上的学习模型来执行面部表情分析处理。

(4)根据(3)所述的信息处理设备，其中，所述学习模型具有对应于多个不同的面部表情的面部表情标签和反映皮肤表面运动的皮肤表面反射光信号的特征数据的对应数据。

(5)根据(1)至(4)中任一项所述的信息处理设备，其中，生物特征信号分析部通过参考存储在存储部上的学习模型来执行生物分析处理。

(6)根据(5)所述的信息处理设备，其中，学习模型具有反映对应于多个不同生物状态的皮下状态的皮下反射光信号的特征数据的对应数据。

(7)根据(1)至(6)中任一项所述的信息处理设备，其中，生物特征信号分析部分析用户的皮下反射光，并生成关于血流速率、血流速度、脉搏波、血压、心率、心率波动、血氧浓度和动脉血氧饱和度中的至少任何一个的生物特征分析信息。

(8)根据(1)至(7)中任一项所述的信息处理设备，其中，光接收部附接在头戴式显示器的多个位置。

(9)根据(1)至(8)中任一项所述的信息处理设备，其中，光接收信号分析部执行对来自用户面部上的多个不同位置的反射光的分析。

(10)根据(1)至(9)中任一项所述的信息处理设备，其中，

所述光接收信号分析部执行对来自用户面部上的多个不同位置处的反射光的分析，并且

所述光接收信号分析部获取对应于位置的不同的生物分析信息。

(11)根据(1)至(9)中任一项所述的信息处理设备，其中，

光接收信号分析部执行对来自用户面部上的多个不同位置的反射光的分析，并且

光接收信号分析部通过互补地使用从多个不同位置获取的信息来获取高精度生物分析信息。

(12)根据(1)至(11)中任一项所述的信息处理设备，还包括：

高精度情感分析部，接收由面部表情分析部生成的面部表情分析信息和由生物特征信号分析部生成的生物分析信息，作为输入，

高精度情感分析部通过使用作为输入接收的面部表情分析信息和生物分析信息，来生成表示高精度用户情感的高精度情感信息。

(13)根据(12)所述的信息处理设备，其中，高精度情感分析部通过参考存储在存储部上的学习模型来执行情感分析处理。

(14)根据(13)所述的信息处理设备，其中，学习模型是对应于多个不同情感状态的特征数据关联的模型，并且所述特征数据包括面部表情信息的特征数据和生物信息的特征数据。

(15)根据(12)至(14)中任一项所述的信息处理设备，还包括：

游戏控制部，基于高精度情感信息执行游戏控制。

(16)根据(12)至(14)中任一项所述的信息处理设备，还包括：

面部表情真实性确定部，基于高精度情感信息执行面部表情真实性确定。

(17)根据(1)至(16)中任一项所述的信息处理设备，还包括：

化身控制部，基于面部表情分析信息和生物分析信息执行化身控制。

(18)一种在信息处理设备上执行的信息处理方法，其中，

信息处理设备包括

光接收部，接收发射到用户面部的光的反射光；以及

光接收信号分析部，分析光接收部的光接收信号，

光接收信号分析部执行基于反射光生成面部表情分析信息的面部表情分析处理，并且

光接收信号分析部执行基于反射光生成生物分析信息的生物特征信号分析处理。

(19)一种使在信息处理设备处执行信息处理的程序，其中，

信息处理设备包括

光接收部，接收发射到用户面部的光的反射光；以及

光接收信号分析部，分析光接收部的光接收信号，

程序使光接收信号分析部执行

基于反射光生成面部表情分析信息的面部表情分析处理，以及

基于反射光生成生物分析信息的生物特征信号分析处理。

注意，说明书中说明的一系列处理可以由硬件、软件或硬件和软件的组合配置来执行。在通过软件执行处理的情况下，其中，记录有处理序列的程序可以安装在包含到专用硬件中的计算机的存储器上并在其上执行，或者该程序可以安装在能够执行各种类型的处理并在其上执行的通用计算机上。例如，该程序可以预先记录在记录介质上。除了从记录介质安装到计算机上之外，该程序可以经由诸如LAN(局域网)或互联网等网络接收，并安装在诸如内置硬盘等记录介质上。

此外，说明书中描述的各种类型的处理不仅可以根据描述按时间序列执行，还可以根据需要或根据执行处理的设备的处理能力并行或独立地执行。此外，在本说明书中，系统是多个设备的逻辑组配置，但不限于具有位于单个外壳中的单独配置的设备的配置。

[工业适用性]

如上所述，根据本公开的一个实施例的配置，实现了分析发射到用户面部的光的反射光并一起执行面部表情分析和生物特征信号分析的配置。

具体地，例如，该配置具有接收发射到用户面部的光的反射光的光接收部以及分析光接收部的光接收信号的光接收信号分析部。光接收信号分析部具有分析用户皮肤表面反射光并生成面部表情分析信息的面部表情分析部以及分析皮下反射光并生成生物分析信息的生物特征信号分析部。光接收部的光接收信号包括皮肤表面反射光和皮下组织反射光，面部表情分析部从光接收信号中提取低频分量，获取皮肤表面反射光，并执行面部表情分析。生物特征信号分析部从光接收信号中提取高频分量，获取皮下组织反射光，并执行生物特征信号分析处理。

根据该配置，实现了分析发射到用户面部的光的反射光并一起执行面部表情分析和生物特征信号分析的配置。

[附图标记列表]

10：用户

100：信息处理设备

101：发光控制部

102：发光部

103：光接收部

104：光接收信号分析部

201：输入部

210：面部表情分析部

211：低频分量提取部

212：A/D转换部

213：面部表情分析结果生成部

214：面部表情分析信息存储部

220：生物特征信号分析部

221：高通滤波器(高频分量提取部)

222：放大部

223：A/D转换部

224：噪声去除部

225：生物特征信号分析结果生成部

226：生物特征信号分析信息存储部

230：高精度情感分析部

231：高精度情感分析信息存储部

401：学习器

421：学习器

450：学习器

470：精神分析信息存储部

480：精神确定部

501：CPU

502：ROM

503：RAM

504：总线

505：输入/输出接口

506：输入部

507：输出部分

508：存储部

509：通信部分

509：驱动器

511：可移动介质。

Claims (19)

1.一种信息处理设备，包括：

光接收部，接收发射到用户面部的光的反射光；以及

光接收信号分析部，分析所述光接收部的光接收信号，其中，

所述光接收信号分析部具有

面部表情分析部，基于所述反射光生成面部表情分析信息，以及

生物特征信号分析部，基于所述反射光生成生物分析信息。

2.根据权利要求1所述的信息处理设备，其中，

所述光接收部的光接收信号包括皮肤表面反射光和皮下组织反射光，

所述面部表情分析部从所述光接收部的光接收信号中提取低频分量，获取所述皮肤表面反射光，并执行面部表情分析，并且

所述生物特征信号分析部从所述光接收部的光接收信号中提取高频分量，获取所述皮下组织反射光，并执行生物特征信号分析处理。

3.根据权利要求1所述的信息处理设备，其中，所述面部表情分析部通过参考存储在存储部上的学习模型来执行面部表情分析处理。

4.根据权利要求3所述的信息处理设备，其中，所述学习模型具有对应于多个不同的面部表情的面部表情标签和反映皮肤表面运动的皮肤表面反射光信号的特征数据的对应数据。

5.根据权利要求1所述的信息处理设备，其中，所述生物特征信号分析部通过参考存储在存储部上的学习模型来执行生物分析处理。

6.根据权利要求5所述的信息处理设备，其中，所述学习模型具有反映对应于多个不同生物状态的皮下状态的皮下反射光信号的特征数据的对应数据。

7.根据权利要求1所述的信息处理设备，其中，所述生物特征信号分析部分析用户的皮下反射光，并生成关于血流速率、血流速度、脉搏波、血压、心率、心率波动、血氧浓度和动脉血氧饱和度中的至少任何一个的生物特征分析信息。

8.根据权利要求1所述的信息处理设备，其中，所述光接收部附接在头戴式显示器的多个位置处。

9.根据权利要求1所述的信息处理设备，其中，所述光接收信号分析部执行对来自用户面部上的多个不同位置的反射光的分析。

10.根据权利要求1所述的信息处理设备，其中，

所述光接收信号分析部执行对来自用户面部上的多个不同位置处的反射光的分析，并且

所述光接收信号分析部获取对应于位置的不同的生物分析信息。

11.根据权利要求1所述的信息处理设备，其中，

所述光接收信号分析部执行对来自用户面部上的多个不同位置的反射光的分析，并且

所述光接收信号分析部通过互补地使用从多个不同位置获取的信息来获取高精度生物分析信息。

12.根据权利要求1所述的信息处理设备，还包括：

高精度情感分析部，接收由面部表情分析部生成的面部表情分析信息和由生物特征信号分析部生成的生物分析信息作为输入，

所述高精度情感分析部通过使用作为输入接收的所述面部表情分析信息和所述生物分析信息，来生成表示高精度用户情感的高精度情感信息。

13.根据权利要求12所述的信息处理设备，其中，所述高精度情感分析部通过参考存储在存储部上的学习模型来执行情感分析处理。

14.根据权利要求13所述的信息处理设备，其中，所述学习模型是对应于多个不同情感状态的特征数据关联的模型，并且所述特征数据包括面部表情信息的特征数据和生物信息的特征数据。

15.根据权利要求12所述的信息处理设备，还包括：

游戏控制部，基于所述高精度情感信息执行游戏控制。

16.根据权利要求12所述的信息处理设备，还包括：

面部表情真实性确定部，基于所述高精度情感信息执行面部表情真实性确定。

17.根据权利要求1所述的信息处理设备，还包括：

化身控制部，基于所述面部表情分析信息和所述生物分析信息执行化身控制。

18.一种在信息处理设备上执行的信息处理方法，其中，

所述信息处理设备包括

光接收部，接收发射到用户面部的光的反射光；以及

光接收信号分析部，分析所述光接收部的光接收信号，

所述光接收信号分析部执行基于所述反射光生成面部表情分析信息的面部表情分析处理，并且

所述光接收信号分析部执行基于所述反射光生成生物分析信息的生物特征信号分析处理。

19.一种使在信息处理设备处执行信息处理的程序，其中，

所述信息处理设备包括

光接收部，接收发射到用户面部的光的反射光；以及

光接收信号分析部，分析所述光接收部的光接收信号，

所述程序所述使光接收信号分析部执行

基于所述反射光生成面部表情分析信息的面部表情分析处理，以及

基于所述反射光生成生物分析信息的生物特征信号分析处理。

Images