CN108366764A - 排除明暗、呼吸和脉搏的影响的观看者情绪判定装置、观看者情绪判定系统和程序 - Google Patents

Abstract

测定排除了明暗、呼吸和脉搏的影响的瞳孔直径，更准确地判定观看者的情绪。基准数据测定部(22)按每种画面整体亮度和视点亮度，测定基准瞳孔直径(Csk)、呼吸瞳孔直径(Dskt)和脉搏瞳孔直径(Eskt)作为基准数据。测定部(23)确定与内容的经过时间对应的基准瞳孔直径(Csk)、呼吸瞳孔直径(Dskt)和脉搏瞳孔直径(Eskt)。测定部(23)在两次呼吸时间以上(T1)的情况下，将瞳孔直径(Bt)设定为注视瞳孔直径(A1t)，在两次脉搏时间以上且低于两次呼吸时间(T2)的情况下，从瞳孔直径(Bt)中减去呼吸瞳孔直径(Dskt)来求出注视瞳孔直径(A1t)，在低于两次脉搏(T3)的情况下，进一步减去脉搏瞳孔直径(Eskt)来求出注视瞳孔直径(A1t)。测定部(23)从注视瞳孔直径(A1t)中减去基准瞳孔直径Csk来求出基于注视的瞳孔直径(A2t)，将注视瞳孔直径(A1t)和基于注视的瞳孔直径(A2t)除以基准瞳孔直径(Csk)，来求出注视度(P1t，P2t)。

Description

排除明暗、呼吸和脉搏的影响的观看者情绪判定装置、观看者 情绪判定系统和程序

技术领域

本发明涉及一种利用了当观看者注视视觉对象时瞳孔直径会放大的现象的观看者情绪判定装置、观看者情绪判定系统和程序(viewer emotion determinationapparatus that eliminates influence of brightness,breathing,and pulse,vieweremotion determination system,and program)，涉及一种在测定面对视觉对象的观看者的瞳孔直径时，排除视觉对象的明暗以及观看者的呼吸和脉搏的影响的技术。

背景技术

在现有技术中，作为判定人正在观看哪里的技术，测定视点位置且计算对视觉对象的视点停留时间，来测定对视觉对象的注视度。在该方法中，即使在只是心不在焉地目视着视觉对象的情况下，当视点的停留时间长时也会被误判为对该视觉对象的注视度高。另外，虽然能对静止图像(still image)测量视点停留，但难以对动态视频测量视点的停留。

为了解决这样的问题，已知一种同时利用人注视视觉对象时瞳孔直径会放大的现象，来判定对视觉对象的注视度高低的技术(例如参照专利文献1、2)。

在专利文献1、2的技术中，拍摄眼球运动，测定视线的移动、瞳孔直径等来测定对视觉对象的注视度。具体而言，就对内容(content)的明暗反应，按每一观看者来预先测定显示器的亮度与瞳孔直径的关系。然后，测定在观看实际内容时的显示器亮度，参照预先测定的亮度与瞳孔直径的关系，从实际测定的瞳孔直径中减去与该亮度相当的仅基于明暗反应的瞳孔直径。据此，能准确测定与注视显示器上显示的内容相当的(基于注视的)观看者的瞳孔直径。

【现有技术文献】

【专利文献】

专利文献1：日本发明专利授权公报特许第5445981号

专利文献2：国际公开第2015/056742号

发明内容

【发明要解决的技术问题】

然而，与注视度同样，虽然存在瞳孔直径在亮的场所缩小而在暗的场所放大的现象，但存在个人差异。为了消除该个人差异，使用成为基准的明暗画面(基准明暗画面)，以观看最暗的画面时的瞳孔直径与观看最亮的画面时的瞳孔直径之间的差为分母，以观看实际的视觉对象时的瞳孔直径与观看亮度条件与其相同的基准明暗画面时的瞳孔直径之间的差(与注视相当程度的瞳孔直径)为分子，而得到比值，根据该比值来评定注视度的等级。

在该情况下，在计算用于确定注视度等级的分子时，即使是同一的注视尺寸，有时暗的画面中的与注视相当程度的瞳孔直径和亮的画面中的与注视相当程度的瞳孔直径也会不同。因此，也存在没有正确地表示注视度的等级的情况，需要明暗共同的正确地表示注视度的方法。另外，在观看者无聊地目视着视觉对象的情况下，有时注视度的数值为负(-)，有时无法将该数值直接使用于应用程序的计算。因此，需要将注视度的数值用正数进行处理。

并且，瞳孔直径由于呼吸和脉搏而周期性变化。因此，为了更准确地测定对视觉对象的注视度，期望在测定瞳孔直径时，排除视觉对象的明暗、以及观看者的呼吸和脉搏的影响。

因此，本发明是为了解决上述技术问题而做出的，其目的在于提供一种对排除了明暗、呼吸和脉搏的影响的瞳孔直径进行测定，而能够更准确地判定观看者的情绪的观看者情绪判定装置、观看者情绪判定系统和程序。

【用于解决技术问题的技术方案】

本发明的第1技术方案涉及一种观看者情绪判定装置。该观看者情绪判定装置是根据观看显示器上显示的内容的观看者的瞳孔直径，来判定观看者的情绪的观看者情绪判定装置。而且，观看者情绪判定装置具有存储部和测定部。

存储部存储与观看者的瞳孔直径有关的基准数据，该基准数据是基于按以下方式测定出的观看者的瞳孔直径的数据：在第1画面上显示着规定的基准明暗画面且使第1画面的亮度和当使观看者的视点对准第1画面的规定部位时的视点位置的亮度变化的情况下，按每种基准明暗画面中的第1画面的亮度与视点位置的亮度的组合来测定出观看者的瞳孔直径。

在显示器上显示着内容的情况下，测定部测定观看者的瞳孔直径而得到实际测定的瞳孔直径，并且，根据被存储于存储部的基准数据来确定与显示着内容的显示器的亮度和显示着内容的显示器内的视点位置的亮度对应的基准数据，且根据实际测定的瞳孔直径和经确定的基准数据来补正实际测定的瞳孔直径而得到补正后的瞳孔直径。

上述观看者情绪判定装置的优选例为，基准数据由基准数据测定部测定。

而且，基准数据测定部具有基准明暗反应测定单元，该基准明暗反应测定单元以观看者的呼吸周期为1次呼吸时间来设定在两次呼吸时间以上的规定的时间间隔，按每种基准明暗画面中的第1画面的亮度与视点位置的亮度的组合，以该时间间隔对瞳孔直径进行移动平均来求出移动平均后的瞳孔直径，以显示着基准明暗画面的时间对移动平均后的瞳孔直径进行平均来求出基准瞳孔直径，生成基准明暗反应表，该基准明暗反应表由按每种基准明暗画面中的第1画面的亮度与视点位置的亮度的组合的基准瞳孔直径构成。

另外，测定部具有基准瞳孔直径等确定单元和求出基于注视的瞳孔直径的单元，其中，

基准瞳孔直径等确定单元根据由基准明暗反应测定单元生成的基准明暗反应表，来确定与显示着内容的显示器的亮度和显示着内容的显示器内的视点位置的亮度对应的基准瞳孔直径；

求出基于注视的瞳孔直径的单元设定在两次呼吸时间以上的规定的时间间隔，以该时间间隔对瞳孔直径进行移动平均来求出移动平均后的瞳孔直径，将移动平均后的瞳孔直径作为注视瞳孔直径，从移动平均后的瞳孔直径中减去由基准瞳孔直径等确定单元确定的基准瞳孔直径，求出基于注视的瞳孔直径。

上述观看者情绪判定装置优选为：

具有测定呼吸状态数据的解析部，其中呼吸状态数据包含观看者的呼吸中的吸气开始点和吐气开始点的时机，

基准数据测定部还具有基准呼吸反应测定单元，

该基准呼吸反应测定单元以观看者的呼吸周期为1次呼吸时间且以观看者的脉搏周期为1次脉搏时间，来设定在两次脉搏时间以上且低于两次呼吸时间的规定的时间间隔，

按每种基准明暗画面中的第1画面的亮度与视点位置的亮度的组合，以该时间间隔对瞳孔直径进行移动平均来求出移动平均后的瞳孔直径，

以显示着基准明暗画面的时间对移动平均后的瞳孔直径进行平均来求出平均值，

从移动平均后的瞳孔直径中减去平均值，求出作为减法结果的仅受到呼吸的影响的瞳孔直径，

使用由解析部测定的呼吸状态数据，来从仅受到呼吸的影响的瞳孔直径的时间变化中提取出包含吸气开始点和吐气开始点的1个呼吸周期的时间内的呼吸瞳孔直径，生成基准呼吸反应表，该基准呼吸反应表由按每种基准明暗画面中的第1画面的亮度与视点位置的亮度的组合的呼吸瞳孔直径构成，

测定部的基准瞳孔直径等确定单元确定基准瞳孔直径，并且，根据由基准明暗反应测定单元生成的基准呼吸反应表来确定与显示着内容的显示器的亮度和显示着内容的显示器内的视点位置的亮度对应的呼吸瞳孔直径，

测定部的注视瞳孔直径等计算单元设定在两次脉搏时间以上且低于两次呼吸时间的规定的时间间隔，以该时间间隔对瞳孔直径进行移动平均来求出移动平均后的瞳孔直径，且从移动平均后的瞳孔直径中减去由基准瞳孔直径等确定单元确定的呼吸瞳孔直径来求出注视瞳孔直径，且进一步减去由基准瞳孔直径等确定单元确定的基准瞳孔直径，来求出基于注视的瞳孔直径。

上述观看者情绪判定装置优选为：

解析部除了测定呼吸状态数据之外，还测定脉搏状态数据，该脉搏状态数据包含观看者的脉搏中的脉搏开始点的时机，

基准数据测定部还具有基准脉搏反应测定单元，

该基准脉搏反应测定单元以观看者的呼吸周期为1次呼吸时间，且以观看者的脉搏周期为1次脉搏时间，来设定在两次脉搏时间以上且低于两次呼吸时间的规定的时间间隔，

以该时间间隔对瞳孔直径进行移动平均来求出移动平均后的瞳孔直径，

从瞳孔直径中减去移动平均后的瞳孔直径，来求出作为减法结果的仅受到脉搏的影响的瞳孔直径，

使用由解析部测定的脉搏状态数据，来从仅受到脉搏的影响的瞳孔直径的时间变化中提取出包括脉搏开始点的1个脉搏周期的时间内的脉搏瞳孔直径，生成基准脉搏反应表，该基准脉搏反应表由按每种基准明暗画面中的第1画面的亮度与视点位置的亮度的组合的脉搏瞳孔直径构成，

测定部的基准瞳孔直径等确定单元确定基准瞳孔直径和呼吸瞳孔直径，并且，根据由基准明暗反应测定单元生成的基准脉搏反应表，来确定与显示着内容的显示器的亮度和显示着内容的显示器的视点位置的亮度对应的脉搏瞳孔直径，

测定部的注视瞳孔直径等计算单元从瞳孔直径中减去由基准瞳孔直径等确定单元确定的脉搏瞳孔直径和呼吸瞳孔直径来求出注视瞳孔直径，且进一步减去由基准瞳孔直径等确定单元确定的基准瞳孔直径，来求出基于注视的瞳孔直径。

观看者情绪判定装置的优选例为：测定部还具有注视度计算单元，

该注视度计算单元计算由基准瞳孔直径等确定单元确定的基准瞳孔直径和由注视瞳孔直径等计算单元求出的注视瞳孔直径之间的比值，来求出第1注视度，或者，计算由基准瞳孔直径等确定单元确定的基准瞳孔直径和由注视瞳孔直径等计算单元求出的基于注视的瞳孔直径之间的比值，来求出第2注视度。

观看者情绪判定装置的优选例为：

在设定有对显示器的画面进行分割得到的多个分割区域且存在多个观看者的情况下，

测定部针对多个观看者中的各观看者，求出对显示器上显示的内容的第1注视度作为第1内容注视度，针对多个观看者对所述第1内容注视度进行合计来求出第1合计结果，通过将第1合计结果除以多个观看者的人数，来求出对内容的观看者每人的注视度，

测定部针对多个观看者中的各观看者，按照每个分割区域来求出第1注视度作为第1区域注视度，针对多个观看者对第1区域注视度进行合计来求出第2合计结果，通过将第2合计结果除以第1合计结果，来求出对内容的按照每个分割区域的注视度的分布，

测定部将对内容的按照每个分割区域的注视度的分布以规定时间期间进行积分，来求出按照每个分割区域的合计注视度的分布，通过将按照每个分割区域的合计注视度的分布除以规定时间期间，来求出对内容的每单位时间的按照每个分割区域的注视度的分布。

观看者情绪判定装置的优选例为：

在显示器上显示着包含问题栏和多个回答栏的问卷调查画面的情况下，

测定部将对问题栏和多个回答栏中的各栏的第1注视度以规定时间期间进行积分，求出对问题栏和多个回答栏中的各栏的各栏注视度，

测定部将对问题栏和多个回答栏中的各栏的各栏注视度进行合计来求出第1合计结果，将对多个回答栏中的各栏的各栏注视度进行合计来求出第2合计结果，

测定部通过将对多个回答栏中的各栏的各栏注视度除以第2合计结果，来求出对多个回答栏中的各栏的回答确信率，

测定部通过将第1合计结果除以规定时间期间，来求出对问卷调查的注视度的高度。

观看者情绪判定装置的优选例为：

成为基准数据的基础的观看者的瞳孔直径是按以下方式测定的：从最初在第1画面上向观看者显示规定的基准明暗画面开始，在经过40秒以上且10分钟以下之后，按照第一画面的规定的基准明暗画面的每次变化，在1秒以上且1分钟以下的时间之后进行测定。

将瞳孔直径在相同条件下错开时间进行多次测定的结果，使画面变亮之后立即测定的瞳孔直径和经过长时间之后测定的瞳孔直径的分散(即标准偏差)值增大、存在偏差。因此，与在规定期间测定的瞳孔直径相比，上述变动之后立即测定的瞳孔直径和经过长时间之后测定的瞳孔直径的值的稳定性(即，可靠性)低。因此，优选在使画面的亮度变化之后，在经过数秒以上的时间之后测定瞳孔直径。另外，在每次使第一画面的基准明暗画面的亮度变化时，如果在变化后经过1秒以上1分钟以下(优选为1秒以上10秒以下、或者2秒以上7秒以下、或者3秒以上6秒以下)的时间之后测定瞳孔直径，则瞳孔直径的变动减小，因此，优选这样进行测定。

本发明的第2方式涉及一种观看者情绪判定系统。该观看者情绪判定系统具有：观看者情绪判定装置，其根据观看对象物的观看者的瞳孔直径来判定观看者的情绪；亮度测量装置，其测量包含观看者观看的对象物的视觉影像整体的亮度和对象物内的观看者的视点位置的亮度；视觉影像拍摄装置，其对视觉影像进行拍摄，

观看者情绪判定装置具有基准数据测定部和测定部，其中，

基准数据测定部在使包含对象物的规定的基准影像的亮度和当使观看者的视点对准基准影像内的规定部位时的视点位置的亮度多次变化的情况下，按每种基准影像的亮度与视点位置的亮度的组合，根据瞳孔直径来测定与观看者的瞳孔直径有关的基准数据；

测定部在观看者观看对象物的情况下，根据由基准数据测定部测定的、按每种基准影像整体的亮度与视点位置的亮度的组合的基准数据，来确定与包含对象物的视觉影像整体的亮度和对象物内的视点位置的亮度对应的基准数据，且根据瞳孔直径和基准数据来测定新的瞳孔直径，

亮度测量装置具有拍摄部和视点位置亮度测定部，其中，

拍摄部通过将多个亮度传感器与视觉影像整体对应配置而成；

视点位置亮度测定部使用定义了多个亮度传感器与视点位置的关系的表，来从多个亮度传感器中确定与观看者观看对象物时的视点位置对应的亮度传感器，将由该亮度传感器测量到的亮度作为观看者的视点位置的亮度输出。

本发明的第3方式涉及一种程序。该程序是根据观看显示器上显示的内容的观看者的瞳孔直径来判定观看者的情绪的程序。而且该程序用于使计算机执行以下步骤：

从存储部读取与观看者的瞳孔直径有关的基准数据，该基准数据是基于按以下方式测定出的观看者的瞳孔直径的数据：在第1画面上显示着规定的基准明暗画面且使第1画面的亮度和当使观看者的视点对准第1画面的规定部位时的视点位置的亮度多次变化的情况下，按每种基准明暗画面中的第1画面的亮度与视点位置的亮度的组合来测定出观看者的瞳孔直径；

在显示器上显示着内容的情况下，根据基准数据来确定与显示着内容的显示器的亮度和显示着内容的显示器的视点位置的亮度对应的基准数据，

接收与在显示器上显示着内容的情况下测定观看者的瞳孔直径时实际测定的瞳孔直径有关的信息，根据实际测定的瞳孔直径和所确定的基准数据来补正实际测定的瞳孔直径，得到补正后的瞳孔直径。

【发明效果】

如上所述，根据本发明，能够测定排除了明暗、呼吸和脉搏的影响的瞳孔直径，从而能够更准确地判定观看者的情绪。

附图说明

图1是表示包含本发明实施方式所涉及的观看者情绪判定装置的、观看者情绪判定系统的结构例的概略图。

图2是表示本发明实施方式所涉及的观看者情绪判定装置的结构例的框图。

图3是表示基准数据测定部的结构例的框图。

图4是表示测定部的结构例的框图。

图5是表示实施例1的注视瞳孔直径等计算单元的结构例的框图。

图6是表示实施例2的注视瞳孔直径等计算单元的结构例的框图。

图7是表示实施例3的注视瞳孔直径等计算单元的结构例的框图。

图8是用于说明基准明暗画面的图。

图9是表示基准明暗反应表的结构例的图。

图10是表示基准呼吸反应表的结构例的图。

图11是表示基准脉搏反应表的结构例的图。

图12是表示观看者情绪判定装置的整体处理的流程图。

图13是表示根据基准明暗画面测定的瞳孔直径Bt的例子的图。

图14是表示在图13中以两次呼吸时间以上的时间进行移动平均得到的瞳孔直径(呼吸和脉搏的影响被排除、受到明暗的影响的瞳孔直径)的例子的图。

图15是表示根据基准明暗画面测定的瞳孔直径Bt的例子的图。

图16是表示在图15中在两次脉搏时间以上且低于两次呼吸时间的时间进行移动平均得到的瞳孔直径(脉搏的影响被排除、受到呼吸和明暗的影响的瞳孔直径)的例子的图。

图17是表示在图15中仅受到呼吸的影响的瞳孔直径的变化的图。

图18是表示包含本发明实施方式所涉及的观看者情绪判定装置的其他观看者情绪判定系统的结构例的概略图。

图19是表示对显示器的画面进行了分割的例子的图。

图20是表示两选项问卷调查的画面例的图。

图21是表示两选项问卷调查的结果的画面例的图。

图22是表示四选项问卷调查的画面例的图。

图23是表示四选项问卷调查的结果的画面例的图。

图24是表示基于观看视觉对象时的注视度P1t进行判定的判定例的图。

图25是表示基于观看视觉对象时的注视度P2t进行判定的判定例的图。

图26是用于说明自动测定视点位置亮度Tt的第1个例子的框图。

图27是用于说明自动测定视点位置亮度Tt的第2个例子的框图。

图28是表示对图18所示的观看者情绪判定系统进行变形得到的结构例的概略图。

图29是用于说明视觉影像a内的视点位置St等的图。

图30是用于说明亮度测量装置的结构和处理的图。

具体实施方式

下面，使用附图对用于实施本发明的方式进行详细说明。本发明的特征在于，预先测定对明暗、呼吸和脉搏进行反应的瞳孔直径作为基准数据，通过使用基准数据对实际观看对象物时的瞳孔直径进行补正，来测定仅与注视度相当的瞳孔直径。据此，能够测定排除了明暗、呼吸和脉搏的影响的瞳孔直径，而能够更准确地判定观看者的情绪。

〔观看显示在观看者情绪判定系统/显示器上的内容的例子〕

首先，对包括本发明的实施方式所涉及的观看者情绪判定装置的观看者情绪判定系统进行说明。该例子为：在观看者观看显示在显示器上的内容的情况下，测定排除了明暗、呼吸和脉搏的影响的瞳孔直径，计算出注视度，并判定观看者的情绪。

图1是表示包含本发明实施方式所涉及的观看者情绪判定装置的、观看者情绪判定系统的结构例的概略图。该观看者情绪判定系统构成为，具有观看者情绪判定装置1、视线和瞳孔直径测量仪2、亮度测量装置3、呼吸波形仪4、脉搏波形仪5、存储装置6、发送装置7和显示器8。

第1画面和显示器(第2画面)也可以是相同的显示装置。在第1画面和显示器是相同的显示装置的情况下，由于这些显示装置的亮度一致，因此，精度更高。另一方面，本发明也可用于在某场所测定基准数据而在观看者的工作单位或家里测定情绪等用途。这样一来，例如能够用于在工作单位呈现出工作效率下降的情绪时，通知休息信号等用途。另外，例如针对抑郁症患者，能够仅在需要开药的情况下通知开药等，从而能够防止抑郁症重症化。在该情况下，第1画面和显示器(第2画面)可以是不同的显示装置。不过，在下面的说明中，为了简便起见，以第1画面和显示器(第2画面)是相同的显示装置为例进行说明。

其次，在获取基准数据时，也可以掌握第1画面整体的亮度，以该亮度为基础来作为基准数据。另一方面，在第1画面局部发光的情况下，也可以掌握该局部的亮度，以该亮度为基础来制作基准数据。

在使第1画面的亮度变化的情况下，变化的方法可以是分等级变化(逐渐变亮或逐渐变暗)，也可以是随机变化，还可以按照某一规则变化。例如，在使亮度在0～5为止的5个等级变化的情况下，也可以使其以0→4→1→5→3→2的方式变化。另外，也可以以0→4→1→5→3→2→4的方式使同一亮度发生数次，求出在同一亮度下的瞳孔直径之间的变动，作为数据的可靠性的一个指标。

此外，本发明的观看者情绪判定装置也可以预先存储基准数据，在测定观看者的瞳孔直径时读取所存储的基准数据，用于补正实际测定的瞳孔直径，根据补正后的瞳孔直径等来判定观看者的情绪。在该情况下，存储基准数据的存储部可以包含于观看者情绪判定装置，也可以存在于观看者情绪判定装置的外部。本发明的观看者情绪判定装置也可以作为可穿戴设备来实现。在该情况下，只要使可穿戴设备能够与具有显示器来作为输出装置的计算机进行信息的收发即可。下面，基于本发明的观看者情绪判定装置具有基准数据测定部的情况来对该情况进行说明。

观看者情绪判定装置1通过规定的通信方式从后述的视线和瞳孔直径测量仪2接收视觉影像a和眼球运动影像b，并且，通过规定的通信方式从发送装置7接收亮度数据c、呼吸数据d和脉搏数据e。

观看者情绪判定装置1预先测定在显示器8上显示着基准明暗画面的状态下，对明暗、呼吸和脉搏进行反应的瞳孔直径作为基准数据。然后，观看者情绪判定装置1以显示在显示器8上的内容作为对象物，测定观看者的瞳孔直径，且使用基准数据对瞳孔直径进行补正，据此来计算注视瞳孔直径、基于注视的瞳孔直径和注视度。然后，观看者情绪判定装置1根据注视度来判定观看者的情绪，或者对多个观看者进行统计处理，来客观地对内容进行评价。关于观看者情绪判定装置1的细节将后述。

在观看者正在观看显示器8上显示的内容时，视线和瞳孔直径测量仪2获取由未图示的摄像头拍摄得到的内容的视觉影像a和眼球运动影像b，其中，眼球运动影像b是用于测定观看者的视点位置和瞳孔直径的、观看者的眼球的图像，是由未图示的摄像头拍摄得到的。然后，视线和瞳孔直径测量仪2通过规定的通信方式将视觉影像a和眼球运动影像b向观看者情绪判定装置1发送。

亮度测量装置3具有测量表示观看者观看的对象物的亮度的亮度数据的功能。在本例子中，亮度测量装置3测量显示器8的画面整体的亮度和画面内的规定位置的亮度。呼吸波形仪4具有测量与观看者的呼吸有关的波形(呼吸数据)的功能。呼吸数据中包括关于呼吸的、表示吐气开始和呼气开始的时机的数据。脉搏波形仪5具有测量与观看者的脉搏有关的波形(脉搏数据)的功能。脉搏数据中包含表示脉搏开始的时机的数据。

存储装置6分别从亮度测量装置3输入亮度数据、从呼吸波形仪4输入呼吸数据、从脉搏波形仪5输入脉搏数据，并存储这些数据。发送装置7将由存储装置6存储的各种数据作为同步的亮度数据c、呼吸数据d和脉搏数据e，通过规定的通信方式向观看者情绪判定装置1发送。

在测定基准数据时，显示器8上显示基准明暗画面，在判定观看者的情绪时，显示器8上显示规定的内容。

〔观看者情绪判定装置〕

接着，对图1所示的观看者情绪判定装置1进行详细说明。图2是表示本发明实施方式所涉及的观看者情绪判定装置1的结构例的框图。该观看者情绪判定装置1具有接收部(reception unit)20、解析部(analysis unit)21、基准数据测定部(reference datameasuring unit)22、测定部(measuring unit)23和存储部(storage unit)24、25。

观看者情绪判定装置1预先测定与对观看者的瞳孔直径产生影响的明暗、呼吸和脉搏有关的基准数据。然后，在判定观看者的情绪时，观看者情绪判定装置1测定观看内容的观看者的注视瞳孔直径，从该注视瞳孔直径中减去基准数据，据此来计算仅与观看者的注视相当的(基于注视的)瞳孔直径(基于注视的瞳孔直径)。

接收部20通过规定的通信方式从图1所示的视线和瞳孔直径测量仪2和发送装置7接收视觉影像a、眼球运动影像b、亮度数据c、呼吸数据d和脉搏数据e，且将这些数据输出给解析部21。

解析部21从接收部20输入视觉影像a、眼球运动影像b、亮度数据c、呼吸数据d和脉搏数据e，在这些数据同步的情况下，直接将这些数据存储到存储部24，在未同步的情况下，根据该数据附带的时间数据使其同步，将同步的这些数据存储到存储部24。解析部21从接收部20输入视觉影像a、眼球运动影像b、亮度数据c、呼吸数据d和脉搏数据e，或者从存储部24读取视觉影像a、眼球运动影像b、亮度数据c、呼吸数据d和脉搏数据e，根据同步的这些数据来进行下面的处理。

解析部21根据视觉影像a和眼球运动影像b来测定观看者对于内容(对于显示器8的画面)的视点位置St，根据眼球运动影像b来测定观看者的瞳孔直径Bt。视点位置St和瞳孔直径Bt的测定方法是已知的，因此在此省略说明。

在亮度数据c表示画面整体的亮度的情况下，解析部21将其作为内容亮度Ht使用，在亮度数据c表示视点位置St的亮度的情况下，解析部21将其作为视点位置亮度Tt使用。具体而言，在图1所示的亮度测量装置3由操作者被定位成能够测量显示器8画面上的与规定的视点位置St对应的位置的亮度的情况下，解析部21输入此时的亮度数据c，将其作为视点位置亮度Tt使用。

在观看内容时，能够同时测定观看者的视点位置St，但可能存在难以同时测定视点位置亮度Tt的情况。在该情况下，在测定视点位置St之后，在观看者观看内容之外的其他时候，在再次显示内容的状态下测定视点位置亮度Tt。具体而言，观看者情绪判定装置1在观看内容时测定视点位置St的坐标并将该坐标存储到存储部24。然后，观看者情绪判定装置1在播放与观看内容时相同的内容的状态下，从存储部24读取视点位置St的坐标，使亮度测量装置3追随该坐标，据此解析部21测定视点位置亮度Tt。

解析部21根据呼吸数据d来求出呼吸周期Z1t，并且生成包含吐气开始和呼气开始的时机的呼吸状态数据Z2t。另外，解析部21根据脉搏数据e来求出脉搏周期Z3t，并且生成包含脉搏开始的时机的脉搏状态数据Z4t。

在此，视点位置St、瞳孔直径Bt、内容亮度Ht、视点位置亮度Tt、呼吸周期Z1t、呼吸状态数据Z2t、脉搏周期Z3t和脉搏状态数据Z4t中的“t”表示与内容的帧序号对应的经过时间。

解析部21将同步的视点位置St、瞳孔直径Bt、内容亮度Ht、视点位置亮度Tt、呼吸周期Z1t、呼吸状态数据Z2t、脉搏周期Z3t和脉搏状态数据Z4t存储到存储部24，并根据需要从存储部24读取这些数据。

在测定基准数据时，解析部21将视点位置St、瞳孔直径Bt、呼吸周期Z1t、呼吸状态数据Z2t、脉搏周期Z3t和脉搏状态数据Z4t输出给基准数据测定部22。另一方面，在判定情绪时，解析部21将瞳孔直径Bt、内容亮度Ht、视点位置亮度Tt、呼吸周期Z1t、呼吸状态数据Z2t、脉搏周期Z3t和脉搏状态数据Z4t输出给测定部23。测定基准数据时刻和判定情绪时刻是由观看者等设定。

基准数据测定部22在测定基准数据时发挥功能，测定与观看者的瞳孔有关的基准数据。在显示器8上显示着规定的基准明暗画面(画面整体的亮度和视点(中央圆)的亮度为规定亮度的画面)的状态下，接收部20接收视觉影像a等，解析部21对视点位置St、瞳孔直径Bt、呼吸周期Z1t、呼吸状态数据Z2t、脉搏周期Z3t和脉搏状态数据Z4t进行测定等。

基准数据测定部22从解析部21输入与亮度分等级改变的基准明暗画面有关的这些数据。然后，基准数据测定部22计算基准瞳孔直径Csk、呼吸瞳孔直径Dskt和脉搏瞳孔直径Eskt，并将这些数据存储到存储部25，据此生成基准明暗反应表(reference brightnessresponse table)60、基准呼吸反应表(reference breathing response table)61和基准脉搏反应表(reference pulse response table)62。据此，存储部25中存储有包含与观看者的瞳孔有关的基准数据的基准明暗反应表60、基准呼吸反应表61和基准脉搏反应表62。

在此，呼吸瞳孔直径Dskt中的“t”表示与呼吸周期Z1t中的呼吸状态数据Z2t同步的经过时间，脉搏瞳孔直径Eskt中的“t”表示与脉搏周期Z3t中的脉搏状态数据Z4t同步的经过时间。呼吸瞳孔直径Dskt和脉搏瞳孔直径Eskt的细节将后述。

测定部23在判定情绪时发挥功能，测定观看者的排除了明暗、呼吸和脉搏的影响的瞳孔直径。在显示器8上显示着规定的内容的状态下，接收部20接收视觉影像a等，解析部21对视点位置St、瞳孔直径Bt、内容亮度Ht、呼吸周期Z1t、呼吸状态数据Z2t、脉搏周期Z3t和脉搏状态数据Z4t进行测定等，且将这些数据存储到存储部24。另外，解析部21测定表示视点位置St的亮度的视点位置亮度Tt，且将其存储到存储部24。然后，解析部21从存储部24读取这些数据，将在时间上同步的瞳孔直径Bt、内容亮度Ht、视点位置亮度Tt、呼吸周期Z1t、呼吸状态数据Z2t、脉搏周期Z3t和脉搏状态数据Z4t输出给测定部23。

测定部23从解析部21输入这些数据，根据内容亮度Ht和视点位置亮度Tt、以及被存储于存储部25的基准明暗反应表60、基准呼吸反应表61和基准脉搏反应表62，来确定与内容的经过时间对应的(与瞳孔直径Bt对应的)视点位置St的基准瞳孔直径Csk、呼吸瞳孔直径Dskt和脉搏瞳孔直径Eskt。然后，测定部23根据瞳孔直径Bt、基准瞳孔直径Csk、呼吸瞳孔直径Dskt和脉搏瞳孔直径Eskt来计算排除了呼吸和脉搏的影响的注视瞳孔直径A1t，另外，计算排除了明暗、呼吸和脉搏的影响的基于注视的瞳孔直径A2t。并且，测定部23根据注视瞳孔直径A1t、基于注视的瞳孔直径A2t和基准瞳孔直径Csk，来计算排除了明暗、呼吸和脉搏的影响且消除了个人差异的注视度P1t、P2t。注视瞳孔直径A1t、基于注视的瞳孔直径A2t和注视度P1t，P2t的细节将后述。

在此，注视瞳孔直径A1t、基于注视的瞳孔直径A2t和注视度P1t、P2t中的“t”表示与内容的帧序号对应的经过时间。

〔整体流程〕

接着，对图2所示的观看者情绪判定装置1的整体处理进行说明。图12是表示观看者情绪判定装置1的整体处理的流程图。在图12中，步骤S1201表示测定基准数据时的处理，步骤S1202～步骤S1212表示判定情绪时的处理。

首先，在测定基准数据时，在显示器8上以规定的画面整体亮度(画面整体的亮度)和规定的视点(中央圆)亮度来显示着基准明暗画面的状态下，基准数据测定部22测定基准数据(步骤S1201)。如后述那样，作为基准明暗画面，使用使画面整体亮度和视点亮度(视点的亮度)分成几个等级变化的画面，分别测定按每种该亮度(每种画面整体亮度和视点亮度的组合)的相对于基准明暗画面的基准数据。基准数据为基准瞳孔直径Csk、呼吸瞳孔直径Dskt和脉搏瞳孔直径Eskt，这些数据作为基准明暗反应表60、基准呼吸反应表61和基准脉搏反应表62被存储到存储部25。

在判定情绪时，测定部23按照预先设定的指示，设定用于判定情绪的时间间隔T1、T2、T3，转移到与时间间隔T1、T2、T3相应的处理(步骤S1202)。时间间隔T1是两次呼吸时间以上的规定时间，时间间隔T2是在两次脉搏时间以上且低于两次呼吸时间的规定时间，时间间隔T3是低于两次脉搏的规定时间。呈T1＞T2＞T3的关系。

在步骤S1202中，在时间间隔为T1(两次呼吸时间以上的时间间隔)的情况下(步骤S1202：T1)，测定部23根据表示内容的亮度的内容亮度Ht、和表示视点位置St的亮度的视点位置亮度Tt，从基准明暗反应表60中确定基准瞳孔直径Csk(步骤S1203)。然后，测定部23通过下面的算式，将针对内容的瞳孔直径Bt(移动平均后的瞳孔直径Bt)设定为注视瞳孔直径A1t，并且，通过从瞳孔直径Bt中减去基准瞳孔直径Csk来求出基于注视的瞳孔直径A2t(步骤S1204)。

〔算式1〕

A1t＝Bt

〔算式2〕

A2t＝Bt-Csk＝A1t-Csk

在此，注视瞳孔直径A1t是表示观看者对内容的注视程度的值(观看内容时的瞳孔直径本身的值)，根据画面整体的亮度和视点位置St的亮度而包含有不同的基准瞳孔直径Csk的值。在所述算式1中，瞳孔直径Bt不在0以下而是Bt＞0，因此，注视瞳孔直径A1t也不在0以下而是A1t＞0。即，注视瞳孔直径A1t不成为负数。后述的算式3、5亦同样。

另一方面，基于注视的瞳孔直径A2t是表示观看者的瞳孔直径仅基于对内容注视的值，其该值已被减去了根据画面整体的亮度和视点位置St的亮度的不同而不同的基准瞳孔直径Csk的值。因此，基于注视的瞳孔直径A2t可以说是除去了明暗反应的影响的值。

在所述算式2中，在瞳孔直径Bt比基准瞳孔直径Csk小的情况下，基于注视的瞳孔直径A2t低于0而为A2t＜0，因此成为负数。在瞳孔直径Bt比基准瞳孔直径Csk小的情况下，表示观看者比测定基准数据时(测定基准明暗反应时)处于无聊状态。另外，在瞳孔直径Bt比基准瞳孔直径Csk大的情况下，表示观看者比测定基准数据时(测定基准明暗反应时)处于注视状态。后述的算式4、6亦同样。

另外，在步骤S1202中，在时间间隔为T2(在两次脉搏时间以上且低于两次呼吸时间的时间间隔)的情况下(步骤S1202：T2)，测定部23根据内容亮度Ht和视点位置亮度Tt，分别从基准明暗反应表60中确定基准瞳孔直径Csk，从基准呼吸反应表61中确定呼吸瞳孔直径Dskt(步骤S1205、步骤S1206)。然后，测定部23通过下面的算式，通过从移动平均后的瞳孔直径Bt中减去呼吸瞳孔直径Dskt，来求出注视瞳孔直径A1t，通过进一步减去基准瞳孔直径Csk来求出基于注视的瞳孔直径A2t(步骤S1207)。

〔算式3〕

A1t＝Bt-Dskt

〔算式4〕

A2t＝Bt-Dskt-Csk＝A1t-Csk

另外，在步骤S1202中，在时间间隔为T3(低于两次脉搏的时间间隔)的情况下(步骤S1202：T3)，测定部23根据内容亮度Ht和视点位置亮度Tt，分别从基准明暗反应表60中确定基准瞳孔直径Csk，从基准呼吸反应表61中确定呼吸瞳孔直径Dskt，从基准脉搏反应表62中确定脉搏瞳孔直径Eskt(步骤S1208～步骤S1210)。然后，测定部23通过下面的算式，通过从移动平均后的瞳孔直径Bt中减去脉搏瞳孔直径Eskt，再从该减法结果中减去呼吸瞳孔直径Dskt，来求出注视瞳孔直径A1t，通过进一步减去基准瞳孔直径Csk，来求出基于注视的瞳孔直径A2t(步骤S1211)。

〔算式5〕

A1t＝Bt-Eskt-Dskt

〔算式6〕

A2t＝Bt-Eskt-Dskt-Csk＝A1t-Csk

据此，在步骤S1204、步骤S1207和步骤S1211中，按照时间间隔T1、T2、T3来计算排除了呼吸和脉搏的影响的注视瞳孔直径A1t，且计算排除了明暗、呼吸和脉搏的影响的基于注视的瞳孔直径A2t。

测定部23从步骤S1204、步骤S1207或步骤S1211转移到以下处理：通过下面的算式，通过将注视瞳孔直径A1t除以基准瞳孔直径Csk来求出注视度P1t，并且，通过将基于注视的瞳孔直径A2t除以基准瞳孔直径Csk来计算注视度P2t(步骤S1212)。

〔算式7〕

P1t＝A1t/Csk

〔算式8〕

P2t＝A2t/Csk＝(A1t-Csk)/Csk＝A1t/Csk-Csk/Csk＝P1t-1

根据所述算式8，如下面的算式所示，得到注视度P1t、P2t的关系。

〔算式9〕

P1t＝P2t+1

在此，在所述算式7中，注视瞳孔直径A1t包含明暗反应的影响，基准瞳孔直径Csk也包含与其同一条件的明暗反应的影响。因此，通过将注视瞳孔直径A1t除以基准瞳孔直径Csk求得的注视度P1t是除去了明暗反应的值。

注视度P1t是表示注视时的瞳孔直径相对于基准瞳孔直径Csk有多大的比率。另一方面，注视度P2t是仅与注视相当的(基于注视的)瞳孔直径相对于基准瞳孔直径Csk的比例。如前面所述，注视瞳孔直径A1t＞0，因此注视度P1t＞0。与此相对，由于存在基于注视的瞳孔直径A2t＜0的情况，因此存在注视度P2t＜0的情况。

注视度P1t能够用于所述专利文献2中视听质量等的计算中不能使用负的数字的情况。如从所述算式7得知的那样，注视度P1t的基准值为“1”。

另一方面，注视度P2t的基准值为“0”，在正数的情况下，表示比起平常时即测定基准数据时处于注视状态，在负数的情况下，表示比起平常时即测定基准数据时处于无聊状态。因此，注视度P2t能够用于判定是否比平常时处于注视状态的情况。

图24是表示基于观看视觉对象时的注视度P1t进行判定的判定例的图。如前所述，注视度P1t是表示注视时的瞳孔直径相对于基准瞳孔直径Csk有多大的比率，换言之，表示判定情绪时的瞳孔直径Bt相对于相同的亮度条件下的测定基准数据时的基准瞳孔直径Csk放大的瞳孔直径的倍率。因此，注视度P1t＝1表示瞳孔直径Bt与基准瞳孔直径Csk相同。

图24的(1)表示0＜P1t＜1的情况，测定部23判定为观看者无聊地目视着内容。图24的(2)表示1≦P1t≦1.5的情况，测定部23判定为观看者正常地目视着内容。图24的(3)表示1.5＜P1t≦2的情况，测定部23判定为观看者稍微注视而目视着内容。图24的(4)表示2＜P1t的情况，测定部23判定为观看者颇为注视而目视着内容。

图25是表示基于观看视觉对象时的注视度P2t进行判定的判定例的图。如前所述，注视度P2t是表示仅与注视相当的(基于注视的)瞳孔直径相对于基准瞳孔直径Csk的比例，换言之，表示判定情绪时的瞳孔直径Bt相对于相同的亮度条件下的测定基准数据时的基准瞳孔直径Csk放大的仅基于注视的的瞳孔直径的倍率。因此，注视度P2t＝0表示瞳孔直径Bt与基准瞳孔直径Csk相同。

图25的(1)表示-1＜P2t＜0的情况，测定部23判定为观看者无聊地目视着内容。图25的(2)表示0≦P2t≦0.5的情况，测定部23判定为观看者正常地目视着内容。图25的(3)表示0.5＜P2t≦1的情况，测定部23判定为观看者稍微注视而目视着内容。图25的(4)表示1＜P2t的情况，测定部23判定为观看者颇为注视而目视着内容。

如此，在图12的步骤S1212中，按照时间间隔T1、T2、T3，来计算排除了明暗、呼吸和脉搏的影响的注视度P1t、P2t。该注视度P1t、P2t能够作为可在多个观看者之间进行比较的客观的信息使用，从而能够高精度地判定观看者对内容的情绪。

〔基准数据测定部22〕

接着，对图2所示的基准数据测定部22进行详细说明。图3是表示基准数据测定部22的结构例的框图。该基准数据测定部22具有基准明暗反应测定单元30、基准呼吸反应测定单元31和基准脉搏反应测定单元32。

(基准明暗画面)

图8是说明基准明暗画面的图。该基准明暗画面使用于基准数据测定部22测定基准数据时。通常，在人目视着电视等的显示器8的情况下，人的眼睛的瞳孔直径由于显示器8上的画面整体的亮度与观看者观看的部位即视点的亮度之间的相互作用而发生变化。因此，为了预先测定表示观看者固有的瞳孔直径的明暗反应、呼吸反应和脉搏反应的基准数据，而在显示器8上显示基准明暗画面。

如图8所示，基准明暗画面是将显示器8的画面整体以规定的亮度(辉度)显示，并且在显示器8的中央附近将中央圆(直径1cm～2cm)的内部以规定的亮度显示的画面。在测定基准数据时，在显示器8上显示基准明暗画面，使观看者观看中央圆的内部，将视点置于此处。使显示器8的画面整体的亮度分等级地变化，按照各等级的画面整体的亮度，使中央圆的内部的亮度也分等级地变化。

画面整体的分等级的亮度变化如后述的图9～图11所示那样，将最暗的亮度和最亮的亮度例如分5个等级，以0％、25％、50％、75％、100％进行变化。另外，中央圆内部的分等级的亮度变化如后述的图9～图11所示那样，在画面整体的各等级的亮度中将最暗的亮度和最亮的亮度例如分5个等级，以0％、25％、50％、75％、100％进行变化。在该情况下，当以观看者的呼吸周期为1次呼吸时间的情况下，使中央圆内部的分等级的亮度变化每隔两次呼吸时间以上的例如15秒以上的规定时间进行变化。

此外，在画面整体的亮度刚刚变成下一等级之后，直到观看者的瞳孔直径的变化稳定为止，设置例如3秒的习惯时间，将中央圆内部的亮度变化固定在最初的0％的状态。如后述的图13所示，使分等级的亮度重复两次进行变化。在同一条件下重复两次的理由在于，在第1次的测定中，由于有时存在观看者注视该画面的情况，因此，该过度的注视反映于瞳孔直径Bt，而在第2次的测定中，能够得到没有该过度的注视的、高精度的瞳孔直径Bt。因此，使用在第2次的测定中得到的瞳孔直径Bt，生成反映出基准瞳孔直径Csk、呼吸瞳孔直径Dskt和脉搏瞳孔直径Eskt的基准明暗反应表60、基准呼吸反应表61和基准脉搏反应表62。在该情况下，也可以在第1次的测定中，与第2次的测定相比减小亮度的等级，或者缩短使亮度分等级变化的时间。

(基准明暗反应测定单元30)

参照图3，基准明暗反应测定单元30计算基准瞳孔直径Csk且生成基准明暗反应表60，其中，基准瞳孔直径Csk是观看者固有的瞳孔直径的明暗反应值。具体而言，基准明暗反应测定单元30输入预先设定的分等级变化的亮度中的、本次测定所使用的(当前时间点的)基准明暗画面的画面整体亮度和视点亮度的数据(0％，25％，50％，75％，100％)。此外，基准明暗反应测定单元30也可以从解析部21输入内容亮度Ht作为本次测定所使用的画面整体的亮度，输入视点位置亮度Tt作为本次测定所使用的视点亮度，将它们转换成分等级的数据(0％，25％，50％，75％，100％)。

基准明暗反应测定单元30输入在显示着本次测定所使用的基准明暗画面的状态下获取到的瞳孔直径Bt、视点位置St和呼吸周期Z1t，且判断视点位置St存在于基准明暗画面的中央圆内部的情况。然后，基准明暗反应测定单元30以呼吸周期Z1t为1次呼吸时间，来设定两次呼吸时间以上的时间间隔T1(例如15秒)。

图13是表示根据基准明暗画面测定的瞳孔直径Bt的例子的图。横轴为基准明暗画面的帧序号，表示经过时间，纵轴表示瞳孔直径Bt。第1次测定和第2次测定之间设有上述的习惯时间。如图13所示，瞳孔直径Bt细微地变动，该瞳孔直径Bt中包含受到呼吸和脉搏的影响的变化。

基准明暗反应测定单元30以两次呼吸时间以上的时间间隔T1对瞳孔直径Bt进行移动平均，求出该移动平均值的瞳孔直径。据此，针对瞳孔直径Bt，能够使周期性受到脉搏和呼吸的影响的瞳孔直径变化平均化，从而能够排除脉搏和呼吸的影响。移动平均后的瞳孔直径是仅受到明暗的影响的瞳孔直径。

在以观看者的呼吸周期为1次呼吸时间(Zlt[秒])的情况下，两次呼吸时间以上的时间间隔T1优选为nZlt[秒](n为2以上的整数)。严格地讲，T1也可以不是Zlt的整数倍，例如，T1也可以是(nZlt-0.1Zlt)以上(nZlt+0.1Zlt)以下(或者(nZlt-0.05Zlt)以上(nZlt+0.05Zlt)以下)。n为2以上的整数，可以是2以上10以下，也可以是2以上5以下，也可以是3以上5以下，还可以是2以上4以下。

图14是表示在图13中以两次呼吸时间以上的时间间隔T1进行移动平均得到的瞳孔直径(呼吸和脉搏的影响被排除、受到明暗的影响的瞳孔直径)的例子的图。如图14所示，移动平均后的瞳孔直径与图13不同，是平滑的，由此可知脉搏和呼吸的影响被排除。

基准明暗反应测定单元30以在显示着本次测定所使用的画面整体亮度和视点亮度的基准明暗画面的时间，对移动平均后的瞳孔直径进行平均，求出平均值作为基准瞳孔直径Csk。然后，基准明暗反应测定单元30将基准瞳孔直径Csk存储到存储部25，且生成基准明暗反应表60。

在此，在基准瞳孔直径Csk中，“s”表示分等级变化的视点亮度的序号，“k”表示分等级变化的画面整体亮度的序号。由基准明暗反应测定单元30按每种分等级变化的画面整体亮度和视点亮度的组合，求出基准明暗反应的基准瞳孔直径Csk。

图9是表示基准明暗反应表60的结构例的图。基准明暗反应表60中，按每种分等级变化的画面整体亮度和视点亮度的组合而存储有基准瞳孔直径Csk。分等级变化的视点亮度为0％(s＝1)、25％(s＝2)、50％(s＝3)、75％(s＝4)、100％(s＝5)，分等级变化的画面整体亮度为0％(k＝1)、25％(k＝2)、50％(k＝3)、75％(k＝4)、100％(k＝5)。

据此，按每种画面整体亮度(k)和视点亮度(s)，计算观看者固有的瞳孔直径的明暗反应值、即基准瞳孔直径Csk，且生成基准明暗反应表60。此外，在图9中，在画面整体亮度和视点亮度的组合中，使各自的等级为5，但本发明不限定于5个等级，能够适用于任意的等级。后述的图10和图11亦同样。

(基准呼吸反应测定单元31)

返回图3，基准呼吸反应测定单元31计算观看者固有的瞳孔直径的呼吸反应值、即呼吸瞳孔直径Dskt，且生成基准呼吸反应表61。具体而言，基准呼吸反应测定单元31与基准明暗反应测定单元30同样，输入预先设定的分等级变化的亮度中的、本次测定所使用的基准明暗画面的画面整体亮度和视点亮度的数据(0％，25％，50％，75％，100％)。此外，基准呼吸反应测定单元31也可以与基准明暗反应测定单元30同样，从解析部21输入内容亮度Ht和视点位置亮度Tt，将它们转换成分等级的数据(0％，25％，50％，75％，100％)。

基准呼吸反应测定单元31输入在显示着本次测定所使用的基准明暗画面的状态下获取到的瞳孔直径Bt、视点位置St、呼吸周期Z1t、呼吸状态数据Z2t和脉搏周期Z3t，且判断视点位置St存在于基准明暗画面的中央圆内部的情况。然后，基准呼吸反应测定单元31以呼吸周期Z1t为1次呼吸时间、以脉搏周期Z3t为1次脉搏时间，来设定在两次脉搏时间以上且低于两次呼吸时间的时间间隔T2。

当呼吸周期为1次呼吸时间(Zlt[秒])且脉搏周期为1次脉搏时间(Z3t)时，优选将在两次脉搏时间以上且低于两次呼吸时间的规定的时间间隔T2设定为：T2在(mZ1t-αZ3t)以上且(mZlt+αZ3t)以下，并在(1-β)Zlt以上且(1+β)Zlt以下或者在(2-β)Zlt以上且低于2Zlt时，α和β的合计值最小。通过这样，能够抑制脉搏和呼吸的变动。(优选m为2以上的整数、0＜β＜1)

图15是表示根据基准明暗画面测定的瞳孔直径Bt的例子的图，是与图13同样的例子。横轴为基准明暗画面的帧序号，表示经过时间，纵轴表示瞳孔直径Bt。如图15所示，瞳孔直径Bt的波形呈周期性，细微地振动。该瞳孔直径Bt中包含受到呼吸和脉搏的影响的变化。即，周期性的大的变动部分中反映出呼吸的影响，细微的振动部分中反映出脉搏的影响。瞳孔直径Bt中的波形最小值附近的时间位置表示吸气开始点，最大值附近的时间位置表示吐气开始点。

基准呼吸反应测定单元31以两次脉搏时间以上且低于两次呼吸时间的时间间隔T2对瞳孔直径Bt进行移动平均，求出该移动平均值的瞳孔直径。据此，针对瞳孔直径Bt，能够使周期性受到脉搏的影响的瞳孔直径的变化平均化，从而能够排除脉搏的影响。移动平均后的瞳孔直径是受到明暗和呼吸的影响的瞳孔直径。

图16是表示在图15中在两次脉搏时间以上且低于两次呼吸时间的时间间隔T2进行移动平均得到的瞳孔直径(脉搏的影响被排除、受到明暗和呼吸的影响的瞳孔直径)的例子的图。如图16所示，移动平均后的瞳孔直径与图15不同，是平滑的，由此可知脉搏的影响被排除，而残留有呼吸的影响。

基准呼吸反应测定单元31以显示着本次测定所使用的画面整体亮度和视点亮度的基准明暗画面的时间，对移动平均后的瞳孔直径进行平均，求出平均值。在图16的例子中，平均值为约4mm。然后，基准呼吸反应测定单元31从移动平均后的瞳孔直径(以在两次脉搏时间以上且低于两次呼吸时间的时间间隔T2进行移动平均后的瞳孔直径)中减去平均值，求出作为该减法结果的仅受到呼吸的影响的瞳孔直径。

图17是表示在图15中仅受到呼吸的影响的瞳孔直径的变化的图。该瞳孔直径表示由于呼吸的吸气和吐气而变化的值，表示以下情况：在设中央值为0的情况下，在吸气的时间点缩小到-0.5mm，在吸气的时间点扩大到+0.5mm。

基准呼吸反应测定单元31使仅受到呼吸的影响的瞳孔直径的时间和呼吸状态数据Z2t同步，来确定仅受到呼吸的影响的瞳孔直径的时间内的吸气开始点和吐气开始点。然后，基准呼吸反应测定单元31提取出仅受到呼吸的影响的瞳孔直径中的、呼吸周期Z1t的1个周期的时间内的瞳孔直径，对其进行平均来求出呼吸瞳孔直径Dskt，其中，呼吸周期Z1t包括吸气开始点和吐气开始点。基准呼吸反应测定单元31将呼吸瞳孔直径Dskt存储到存储部25，且生成基准呼吸反应表61。

在此，在呼吸瞳孔直径Dskt中，如前面所述，“s”、“k”表示分等级变化的视点亮度的序号和画面整体亮度的序号，“t”表示在呼吸周期Z1t的1个周期的时间内的经过时间。由基准呼吸反应测定单元31按每种分等级变化的画面整体亮度和视点亮度的组合，求出基准呼吸反应的呼吸瞳孔直径Dskt。

图10是表示基准呼吸反应表61的结构例的图。基准呼吸反应表61中，按每种分等级变化的画面整体亮度和视点亮度的组合而存储有呼吸瞳孔直径Dskt。分等级变化的画面整体亮度和视点亮度与图9同样。如图10所示，设吸气开始点为t＝0、吐气开始点为t＝Z1t/2，呼吸瞳孔直径Dskt表示呼吸周期Z1t的1个周期的时间内的瞳孔直径的变化。在吸气开始点t＝0时呼吸瞳孔直径Dskt(t＝0)最小。此外，图10所示的呼吸瞳孔直径Dskt的时间变化不是实际的特性，而是示意性表示。

据此，按每种画面整体亮度(k)和视点亮度(s)，计算观看者固有的瞳孔直径的呼吸反应值、即呼吸瞳孔直径Dskt，且生成基准呼吸反应表61。

(基准脉搏反应测定单元32)

返回图3，基准脉搏反应测定单元32计算观看者固有的瞳孔直径的脉搏反应值、即脉搏瞳孔直径Eskt，且生成基准脉搏反应表62。具体而言，基准脉搏反应测定单元32与基准明暗反应测定单元30及基准呼吸反应测定单元31同样，输入预先设定的分等级变化的亮度中的、本次测定所使用的基准明暗画面的画面整体亮度和视点亮度的数据(0％，25％，50％，75％，100％)。此外，基准脉搏反应测定单元32也可以与基准明暗反应测定单元30及基准呼吸反应测定单元31同样，从解析部21输入内容亮度Ht和视点位置亮度Tt，将它们转换成分等级的数据(0％，25％，50％，75％，100％)。

基准脉搏反应测定单元32输入在显示着本次测定所使用的基准明暗画面的状态下获取到的瞳孔直径Bt、视点位置St、呼吸周期Z1t、呼吸状态数据Z2t、脉搏周期Z3t和脉搏状态数据Z4t，且判断视点位置St存在于基准明暗画面的中央圆内部的情况。然后，基准脉搏反应测定单元32以呼吸周期Z1t为1次呼吸时间、以脉搏周期Z3t为1次脉搏时间，来设定低于两次脉搏的时间间隔T3，并且设定在两次脉搏时间以上且低于两次呼吸时间的时间间隔T2。

基准脉搏反应测定单元32以两次脉搏时间以上且低于两次呼吸时间的时间间隔T2对瞳孔直径Bt(参照图15)进行移动平均，求出该移动平均值的瞳孔直径(参照图16)。据此，针对瞳孔直径Bt，能够使周期性受到脉搏的影响的瞳孔直径变化平均化，从而能够排除脉搏的影响。移动平均后的瞳孔直径是受到明暗和呼吸的影响的瞳孔直径。

基准脉搏反应测定单元32在显示着本次测定所使用的画面整体亮度和视点亮度的基准明暗画面的时间，从瞳孔直径Bt(参照图15)中减去移动平均后的瞳孔直径(以在两次脉搏时间以上且低于两次呼吸时间的时间间隔T2进行移动平均后的瞳孔直径)(参照图16)，求出作为该减法结果的仅受到脉搏的影响的瞳孔直径。

基准脉搏反应测定单元32使仅受到脉搏的影响的瞳孔直径的时间和脉搏状态数据Z4t同步，来确定在仅受到脉搏的影响的瞳孔直径的时间内的脉搏开始点。然后，基准脉搏反应测定单元32提取出仅受到脉搏的影响的瞳孔直径中的、脉搏周期Z3t的1个周期的时间内的瞳孔直径，对其进行平均来求出脉搏瞳孔直径Eskt，其中，脉搏周期Z3t包含脉搏开始点。基准脉搏反应测定单元32将脉搏瞳孔直径Eskt存储到存储部25，且生成基准脉搏反应表62。

在此，在脉搏瞳孔直径Eskt中，如前面所述，“s”、“k”表示分等级变化的视点亮度的序号和画面整体亮度的序号，“t”表示在脉搏周期Z3t的1个周期的时间内的经过时间。由基准脉搏反应测定单元32按每种分等级变化的画面整体亮度和视点亮度的组合，求出基准脉搏反应的脉搏瞳孔直径Eskt。

图11是表示基准脉搏反应表62的结构例的图。基准脉搏反应表62中，按每种分等级变化的画面整体亮度和视点亮度的组合而存储有脉搏瞳孔直径Eskt。分等级变化的画面整体亮度和视点亮度与图9及图10同样。如图11所示，设脉搏开始点为t＝0、下一脉搏开始点为t＝Z3t，脉搏瞳孔直径Eskt表示在脉搏周期Z3t的1个周期的时间内的瞳孔直径的变化。在脉搏开始点t＝0时脉搏瞳孔直径Eskt(t＝0)最小。此外，图11所示的脉搏瞳孔直径Eskt的时间变化不是实际的特性，而是示意性表示。

据此，按每种画面整体亮度(k)和视点亮度(s)，计算观看者固有的瞳孔直径的脉搏反应值、即脉搏瞳孔直径Eskt，且生成基准脉搏反应表62。

〔测定部23〕

接着，对图2所示的测定部23进行详细说明。图4是表示测定部23的结构例的框图。该测定部23具有基准瞳孔直径等确定单元33、注视瞳孔直径等计算单元34和注视度计算单元35。

在判定情绪时，基准瞳孔直径等确定单元33从解析部21输入由解析部21针对显示在显示器8上的内容而测定的内容亮度Ht和视点位置亮度Tt。内容亮度Ht为画面整体的亮度，视点位置亮度Tt为视点位置St的亮度。在测定视点位置St之后，在观看者观看内容之外的其他时候在再次显示内容的状态下测定视点位置亮度Tt。具体而言，如前面所述，观看者情绪判定装置1在观看内容时测定视点位置St的坐标并将该坐标存储到存储部24。然后，观看者情绪判定装置1在播放与观看内容时相同的内容的状态下，从存储部24读取视点位置St的坐标，使亮度测量装置3追随该坐标，据此解析部21测定视点位置亮度Tt。

此外，在能够在观看者观看内容的同时测定视点位置亮度Tt的情况下，即，能够在显示着内容时在测定瞳孔直径Bt等的同时测定视点位置亮度Tt的情况下，该视点位置亮度Tt被实时地测定。另外，在画面整体的亮度和视点位置的亮度之间的差值没那么大，无法严格地进行情绪判定的情况下，观看者的瞳孔直径Bt较大地受到画面整体的亮度的影响，因此，不需要测量视点位置的亮度。在该情况下，视点位置亮度Tt使用与内容亮度Ht相同的值。该情况相当于例如内容为一般的电视影像或电影的情况。与此相对，在画面整体的亮度和视点位置的亮度之间存在差值的情况下，例如，对于如从黑暗中向机动车的前大灯靠近那样画面整体和视点位置的亮度极端不同的内容，需要测定视点位置亮度Tt。

基准瞳孔直径等确定单元33将从解析部21输入的内容亮度Ht和视点位置亮度Tt转换为表示画面整体亮度的等级的比例(％)和表示视点亮度的等级的比例(％)。然后，基准瞳孔直径等确定单元33以转换后的表示画面整体亮度和视点亮度的等级的比例为关键词，在被存储于存储部25的基准明暗反应表60、基准呼吸反应表61和基准脉搏反应表62中进行检索。

基准瞳孔直径等确定单元33选择与表示转换后的画面整体亮度和视点亮度的等级的比例最接近的序号k、s，且确定与该序号k、s对应的基准瞳孔直径Csk、呼吸瞳孔直径Dskt和脉搏瞳孔直径Eskt。

据此，确定与内容亮度Ht和视点位置亮度Tt对应的基准瞳孔直径Csk、呼吸瞳孔直径Dskt和脉搏瞳孔直径Eskt。即，针对观看者正在观看基准明暗画面时的视点位置St，确定仅受到明暗的影响的基准瞳孔直径Csk、仅受到呼吸的影响的呼吸瞳孔直径Dskt、和仅受到脉搏的影响的脉搏瞳孔直径Eskt。

此外，在画面整体亮度和视点亮度位于基准明暗画面的序号k、s的等级的中间的情况下，基准瞳孔直径等确定单元33也可以选择对应的相邻的多个序号k、s，通过对与多个序号k、s对应的各个基准瞳孔直径Csk、呼吸瞳孔直径Dskt和脉搏瞳孔直径Eskt进行数学上的插值计算，来确定等级的中间的数据。

基准瞳孔直径等确定单元33将所确定的基准瞳孔直径Csk、呼吸瞳孔直径Dskt和脉搏瞳孔直径Eskt输出给注视瞳孔直径等计算单元34，并且将所确定的基准瞳孔直径Csk输出给注视度计算单元35。

注视瞳孔直径等计算单元34从基准瞳孔直径等确定单元33输入对应于观看者正在观看内容时的视点位置St而确定的基准瞳孔直径Csk、呼吸瞳孔直径Dskt和脉搏瞳孔直径Eskt，并且，从解析部21输入瞳孔直径Bt、呼吸周期Z1t、呼吸状态数据Z2t、脉搏周期Z3t和脉搏状态数据Z4t。

注视瞳孔直径等计算单元34按照预先设定的指示，来设定用于进行情绪判定的时间间隔T1、T2、T3，通过按照该时间间隔T1、T2、T3的处理来计算注视瞳孔直径A1t和基于注视的瞳孔直径A2t，将注视瞳孔直径A1t和基于注视的瞳孔直径A2t向外部输出并且输出给注视度计算单元35。由注视瞳孔直径等计算单元34进行的按照时间间隔T1、T2、T3计算注视瞳孔直径A1t和基于注视的瞳孔直径A2t的处理的细节后述。

注视度计算单元35从注视瞳孔直径等计算单元34输入注视瞳孔直径A1t和基于注视的瞳孔直径A2t，并且从基准瞳孔直径等确定单元33输入基准瞳孔直径Csk。然后，注视度计算单元35通过所述算式7、8来求出在时间t的注视度P1t、P2t。

据此，相对于注视瞳孔直径A1t和基于注视的瞳孔直径A2t有个人差异，能够求出没有个人差异的客观的注视度P1t、P2t。

(实施例1)

接着，对图4所示的实施例1的注视瞳孔直径等计算单元34进行详细说明。图5是表示实施例1的注视瞳孔直径等计算单元34的结构例的框图。实施例1是设定两次呼吸时间以上的时间间隔T1来作为判定情绪的时间间隔的情况的例子，是判定比较缓慢地变化的情绪波动的例子。该注视瞳孔直径等计算单元34-1具有移动平均时间设定模块40、移动平均瞳孔直径计算模块41和注视瞳孔直径等计算模块42。

移动平均时间设定模块40从解析部21输入呼吸周期Z1t，以呼吸周期Z1t为1次呼吸时间，按照预先设定的指示来设定两次呼吸时间以上的时间间隔T1，将该时间间隔T1作为移动平均时间使用。在该情况下，优选将移动平均时间设定模块40设定为与由基准数据测定部22设定的时间间隔T1相同的时间。移动平均时间设定模块40将移动平均时间(时间间隔T1)输出给移动平均瞳孔直径计算模块41。

移动平均瞳孔直径计算模块41从解析部21输入瞳孔直径Bt，并且，从移动平均时间设定模块40输入移动平均时间(时间间隔T1)，以移动平均时间(时间间隔T1)对瞳孔直径Bt进行移动平均，求出其移动平均值的瞳孔直径。在此，为了便于说明，作为移动平均值的瞳孔直径的标记，使用与从解析部21输入的瞳孔直径Bt相同的Bt。

据此，能够使周期性受到脉搏和呼吸的影响的瞳孔直径的变化平均化，从而能够排除脉搏和呼吸的影响。移动平均值的瞳孔直径Bt是仅受到明暗的影响的瞳孔直径。然后，移动平均瞳孔直径计算模块41将移动平均值的瞳孔直径Bt输出给注视瞳孔直径等计算模块42。

注视瞳孔直径等计算模块42从移动平均瞳孔直径计算模块41输入移动平均值的瞳孔直径Bt，并且从基准瞳孔直径等确定单元33输入基准瞳孔直径Csk。然后，注视瞳孔直径等计算模块42如所述算式1所示，将移动平均后的瞳孔直径Bt设定为注视瞳孔直径A1t(A1t＝Bt)，且如所述算式2所示，通过从瞳孔直径Bt中减去基准瞳孔直径Csk，来求出基于注视的瞳孔直径A2t(A2t＝Bt-Csk)。注视瞳孔直径等计算模块42将注视瞳孔直径A1t和基于注视的瞳孔直径A2t输出给注视度计算单元35，并且将其向外部输出。

如此，通过从移动平均值的瞳孔直径Bt中减去基准瞳孔直径Csk，能够排除明暗的影响。

移动平均后的瞳孔直径Bt是针对观看者正在观看内容时的视点位置St，排除了呼吸和脉搏的影响，而仅受到明暗的影响的瞳孔直径，基准瞳孔直径Csk也是针对观看者正在观看基准明暗画面时的视点位置St，排除了呼吸和脉搏的影响，而仅受到明暗的影响的瞳孔直径。因此，基于注视的瞳孔直径A2t是排除了明暗、呼吸和脉搏的影响的瞳孔直径。

(实施例2)

接着，对图4所示的实施例2的注视瞳孔直径等计算单元34进行详细说明。图6是表示实施例2的注视瞳孔直径等计算单元34的结构例的框图。实施例2是在两次脉搏时间以上且低于两次呼吸时间的时间间隔T2被设定为判定情绪的时间间隔的情况的例子，是判定稍微缓慢地变化的情绪波动的例子。该注视瞳孔直径等计算单元34-2具有移动平均时间设定模块43、移动平均瞳孔直径计算模块44、呼吸反应去除模块45和注视瞳孔直径等计算模块46。

移动平均时间设定模块43从解析部21输入呼吸周期Z1t和脉搏周期Z3t，将呼吸周期Z1t设为1次呼吸时间，将脉搏周期Z3t设为1次脉搏时间，按照预先设定的指示来设定在两次脉搏时间以上且低于两次呼吸时间的时间间隔T2，将该时间间隔T2作为移动平均时间使用。在该情况下，移动平均时间设定模块43优选被设定为与由基准数据测定部22设定的时间间隔T2相同的时间。移动平均时间设定模块43将移动平均时间(时间间隔T2)输出给移动平均瞳孔直径计算模块44。

移动平均瞳孔直径计算模块44从解析部21输入瞳孔直径Bt，并且，从移动平均时间设定模块43输入移动平均时间(时间间隔T2)，以移动平均时间(时间间隔T2)对瞳孔直径Bt进行移动平均，求出其移动平均值的瞳孔直径Bt。然后，移动平均瞳孔直径计算模块44将移动平均值的瞳孔直径Bt输出给呼吸反应去除模块45。

据此，能够使周期性地受到脉搏的影响的瞳孔直径的变化平均化，从而能够排除脉搏的影响。移动平均值的瞳孔直径Bt是受到明暗和呼吸的影响的瞳孔直径。

呼吸反应去除模块45从移动平均瞳孔直径计算模块44输入移动平均值的瞳孔直径Bt，并且，分别从解析部21输入呼吸状态数据Z2t，从基准瞳孔直径等确定单元33输入呼吸瞳孔直径Dskt。

呼吸反应去除模块45使移动平均值的瞳孔直径Bt的时间与呼吸状态数据Z2t同步，来确定移动平均值的瞳孔直径Bt的时间内的吸气开始点和吐气开始点。呼吸反应去除模块45使移动平均值的瞳孔直径Bt的时间内的吸气开始点和吐气开始点对应于呼吸瞳孔直径Dskt的时间内的吸气开始点和吐气开始点，从移动平均值的瞳孔直径Bt中减去呼吸瞳孔直径Dskt，据此求出新的移动平均值的瞳孔直径Bt’。呼吸反应去除模块45将新的移动平均值的瞳孔直径Bt’输出给注视瞳孔直径等计算模块46。

如此，通过从移动平均值的瞳孔直径Bt中减去呼吸瞳孔直径Dskt，能够排除呼吸的影响。

移动平均值的瞳孔直径Bt是针对观看者正在观看内容时的视点位置St，排除了脉搏的影响，而受到明暗和呼吸的影响的瞳孔直径，呼吸瞳孔直径Dskt是针对观看者正在观看基准明暗画面时的视点位置St，排除了明暗和脉搏的影响，而仅受到呼吸的影响的瞳孔直径。因此，新的移动平均值的瞳孔直径Bt’是排除了呼吸和脉搏的影响的瞳孔直径。

注视瞳孔直径等计算模块46从呼吸反应去除模块45输入移动平均值的瞳孔直径Bt’，并且，从基准瞳孔直径等确定单元33输入基准瞳孔直径Csk。然后，注视瞳孔直径等计算模块46如所述算式3所示，将移动平均后的瞳孔直径Bt’设定为注视瞳孔直径A1t(A1t＝Bt’＝Bt-Dskt)，且如所述算式4所示，进一步通过从瞳孔直径Bt’中减去基准瞳孔直径Csk，来求出基于注视的瞳孔直径A2t(A2t＝Bt’-Csk＝Bt-Dskt-Csk)。注视瞳孔直径等计算模块46将注视瞳孔直径A1t和基于注视的瞳孔直径A2t输出给注视度计算单元35，并且将其向外部输出。

如此，通过从移动平均值的瞳孔直径Bt’中减去基准瞳孔直径Csk，能够排除明暗的影响。

移动平均值的瞳孔直径Bt’是针对观看者正在观看内容时的视点位置St，排除了呼吸和脉搏的影响，而仅受到明暗的影响的瞳孔直径，基准瞳孔直径Csk也是针对观看者正在观看基准明暗画面时的视点位置St，排除了呼吸和脉搏的影响，而仅受到明暗的影响的瞳孔直径。因此，基于注视的瞳孔直径A2t是排除了明暗、呼吸和脉搏的影响的瞳孔直径。

(实施例3)

接着，对图4所示的实施例3的注视瞳孔直径等计算单元34进行详细说明。图7是表示实施例3的注视瞳孔直径等计算单元34的结构例的框图。实施例3是设定低于两次脉搏时间的时间间隔T3来作为判定情绪的时间间隔的情况的例子，是判定在较短时间内的变化的情绪波动的例子。该注视瞳孔直径等计算单元34-3具有移动平均时间设定模块47、移动平均瞳孔直径计算模块48、脉搏反应去除模块49、呼吸反应去除模块50和注视瞳孔直径等计算模块51。

移动平均时间设定模块47从解析部21输入呼吸周期Z1t和脉搏周期Z3t，将呼吸周期Z1t设为1次呼吸时间，将脉搏周期Z3t设为1次脉搏时间，按照预先设定的指示来设定低于两次脉搏时间的时间间隔T3，将该时间间隔T3作为移动平均时间使用。移动平均时间设定模块47将移动平均时间(时间间隔T3)输出给移动平均瞳孔直径计算模块48。

移动平均瞳孔直径计算模块48从解析部21输入瞳孔直径Bt，并且，从移动平均时间设定模块47输入移动平均时间(时间间隔T3)，以移动平均时间(时间间隔T3)对瞳孔直径Bt进行移动平均，求出其移动平均值的瞳孔直径Bt。然后，移动平均瞳孔直径计算模块48将移动平均值的瞳孔直径Bt输出给脉搏反应去除模块49。

脉搏反应去除模块49从移动平均瞳孔直径计算模块48输入移动平均值的瞳孔直径Bt，并且分别从解析部21输入脉搏状态数据Z4t、从基准瞳孔直径等确定单元33输入脉搏瞳孔直径Eskt。

脉搏反应去除模块49使移动平均值的瞳孔直径Bt的时间和脉搏状态数据Z4t同步，来确定移动平均值的瞳孔直径Bt的时间内的脉搏开始点。脉搏反应去除模块49使移动平均值的瞳孔直径Bt的时间内的脉搏开始点对应于脉搏瞳孔直径Eskt的时间内的脉搏开始点，从移动平均值的瞳孔直径Bt中减去脉搏瞳孔直径Eskt，据此求出新的移动平均值的瞳孔直径Bt’。脉搏反应去除模块49将新的移动平均值的瞳孔直径Bt’输出给呼吸反应去除模块50。

如此，通过从移动平均值的瞳孔直径Bt中减去脉搏瞳孔直径Eskt，能够排除脉搏的影响。

移动平均值的瞳孔直径Bt’与瞳孔直径Bt同样，是针对观看者正在观看内容时的视点位置St，受到明暗、呼吸和脉搏的影响的瞳孔直径，脉搏瞳孔直径Eskt是针对观看者正在观看基准明暗画面时的视点位置St，排除了明暗和呼吸的影响，而仅受到脉搏的影响的瞳孔直径。因此，新的移动平均值的瞳孔直径Bt’是排除了脉搏的影响而受到明暗和呼吸的影响的瞳孔直径。

呼吸反应去除模块50从脉搏反应去除模块49输入移动平均值的瞳孔直径Bt’，并且，分别从解析部21输入呼吸状态数据Z2t，从基准瞳孔直径等确定单元33输入呼吸瞳孔直径Dskt。

呼吸反应去除模块50进行与图6所示的呼吸反应去除模块45同样的处理，通过从移动平均值的瞳孔直径Bt’中减去呼吸瞳孔直径Dskt，来求出新的移动平均值的瞳孔直径Bt”。呼吸反应去除模块50将新的移动平均值的瞳孔直径Bt”输出给注视瞳孔直径等计算模块51。

如此，通过从移动平均值的瞳孔直径Bt’中减去呼吸瞳孔直径Dskt，能够排除呼吸的影响。

移动平均值的瞳孔直径Bt’是针对观看者正在观看内容时的视点位置St，排除了脉搏的影响，而受到明暗和呼吸的影响的瞳孔直径，呼吸瞳孔直径Dskt是针对观看者正在观看基准明暗画面时的视点位置St，排除了明暗和脉搏的影响，而受到呼吸的影响的瞳孔直径。因此，新的移动平均值的瞳孔直径Bt”是排除了呼吸和脉搏的影响而受到明暗的影响的瞳孔直径。

注视瞳孔直径等计算模块51从呼吸反应去除模块50输入移动平均值的瞳孔直径Bt”，并且，从基准瞳孔直径等确定单元33输入基准瞳孔直径Csk。然后，注视瞳孔直径等计算模块51如所述算式5所示，将移动平均值的瞳孔直径Bt”设定为注视瞳孔直径A1t(A1t＝Bt”＝Bt-Eskt-Dskt)，且如所述算式6所示，进一步通过从瞳孔直径Bt”中减去基准瞳孔直径Csk，来求出基于注视的瞳孔直径A2t(A2t＝Bt”-Csk＝Bt-Eskt-Dskt-Csk)。注视瞳孔直径等计算模块51将注视瞳孔直径A1t和基于注视的瞳孔直径A2t输出给注视度计算单元35，并且将其向外部输出。

如此，通过将移动平均后的瞳孔直径Bt”设定为注视瞳孔直径A1t，能够排除脉搏和呼吸的影响。另外，通过从移动平均值的瞳孔直径Bt”中减去基准瞳孔直径Csk，能够排除明暗的影响。

移动平均值的瞳孔直径Bt”是针对观看者正在观看内容时的视点位置St，排除了呼吸和脉搏的影响，而仅受到明暗的影响的瞳孔直径，成为注视瞳孔直径A1t。基准瞳孔直径Csk也是针对观看者正在观看同一条件的基准明暗画面时的视点位置St，排除了呼吸和脉搏的影响，而仅受到明暗的影响的瞳孔直径。因此，基于注视的瞳孔直径A2t是排除了明暗、呼吸和脉搏的影响的瞳孔直径。

(实施例4/混合型)

接着，对图4所示的实施例4的注视瞳孔直径等计算单元34进行详细说明。实施例4是图5所示的实施例1的注视瞳孔直径等计算单元34-1、图6所示的实施例2的注视瞳孔直径等计算单元34-2、和图7所示的实施例3的注视瞳孔直径等计算单元34-3混合存在的例子，针对1个内容，判定比较缓慢地变化的情绪波动，或者判定稍微缓慢地变化的情绪波动，或者判定在较短时间内变化的情绪波动。

注视瞳孔直径等计算单元34具有注视瞳孔直径等计算单元34-1～34-3。在判定比较缓慢地变化的情绪波动的情况下，注视瞳孔直径等计算单元34作为注视瞳孔直径等计算单元34-1发挥功能，设定两次呼吸时间以上的时间间隔T1，不考虑呼吸和脉搏而计算注视瞳孔直径A1t和基于注视的瞳孔直径A2t。另外，在判定稍微缓慢地变化的情绪波动的情况下，注视瞳孔直径等计算单元34作为注视瞳孔直径等计算单元34-2发挥功能，设定在两次脉搏时间以上且低于两次呼吸时间的时间间隔T2，不考虑脉搏但考虑呼吸，而计算注视瞳孔直径A1t和基于注视的瞳孔直径A2t。另外，在判定在较短时间内的变化的情绪波动的情况下，注视瞳孔直径等计算单元34作为注视瞳孔直径等计算单元34-3发挥功能，考虑呼吸和脉搏而计算注视瞳孔直径A1t和基于注视的瞳孔直径A2t。

如上所述，根据本发明实施方式的观看者情绪判定装置1，在测定基准数据时，使显示器8显示基准明暗画面，且使基准明暗画面的画面整体亮度和视点亮度随着时间经过而分多等级地变化。基准数据测定部22按每种该亮度，测定仅受到明暗的影响的基准瞳孔直径Csk、仅受到呼吸的影响的呼吸瞳孔直径Dskt、和仅受到脉搏的影响的脉搏瞳孔直径Eskt。然后，基准数据测定部22生成基准明暗反应表60、基准呼吸反应表61和基准脉搏反应表62。

在判定情绪时，在显示器8上显示着规定的内容的状态下，测定部23根据内容亮度Ht和视点位置亮度Tt、以及基准明暗反应表60、基准呼吸反应表61和基准脉搏反应表62，来确定与内容的经过时间对应的(与瞳孔直径Bt对应的)基准瞳孔直径Csk、呼吸瞳孔直径Dskt和脉搏瞳孔直径Eskt。

在时间间隔为T1(两次呼吸时间以上的时间间隔)的情况下，测定部23将移动平均后的瞳孔直径Bt设定为注视瞳孔直径A1t，并且，通过减去基准瞳孔直径Csk来求出基于注视的瞳孔直径A2t。另外，在时间间隔为T2(在两次脉搏时间以上且低于两次呼吸时间的时间间隔)的情况下，测定部23通过从瞳孔直径Bt中减去脉搏瞳孔直径Eskt，再从该减法结果中减去呼吸瞳孔直径Dskt，来求出注视瞳孔直径A1t，通过进一步减去基准瞳孔直径Csk来求出基于注视的瞳孔直径A2t。另外，在时间间隔为T3(低于两次脉搏的时间间隔)的情况下，测定部23通过从移动平均后的瞳孔直径Bt中减去脉搏瞳孔直径Eskt，再从该减法结果中减去呼吸瞳孔直径Dskt，来求出注视瞳孔直径A1t，通过进一步减去基准瞳孔直径Csk来求出基于注视的瞳孔直径A2t。据此，按照时间间隔T1、T2、T3，计算出排除了明暗、呼吸和脉搏的影响的基于注视的瞳孔直径A2t。

然后，测定部23通过将注视瞳孔直径A1t和基于注视的瞳孔直径A2t除以基准瞳孔直径Csk，来分别求出注视度P1t、P2t。据此，按照时间间隔T1、T2、T3，计算出排除了明暗、呼吸和脉搏的影响的注视度P1t、P2t。

因此，能够针对观看显示器8上显示的内容的观看者，测定排除了明暗、呼吸和脉搏的影响的瞳孔直径，从而能够更准确地判定观看者的情绪。

[观看者情绪判定系统/在开放环境下观看对象物的例子]

接着，对包括本发明的实施方式所涉及的观看者情绪判定装置的其他观看者情绪判定系统进行说明。该例子是在观看者在开放环境下观看对象物的情况下判定观看者的情绪的例子，设观看者在周围光线不发生变化的环境下移动。

图18是表示包含本发明实施方式所涉及的观看者情绪判定装置的其他观看者情绪判定系统的结构例的概略图。该观看者情绪判定系统构成为具有观看者情绪判定装置1、亮度测量装置3、呼吸波形仪4、脉搏波形仪5、存储装置6、发送装置7、眼球拍摄装置9和视觉场景拍摄装置10。在图18中，对与图1相同的部分标注与图1相同的附图标记，并省略其详细说明。

眼球拍摄装置9对观看者的眼球进行拍摄，来获取用于测定视点位置和瞳孔直径的眼球运动影像b。视觉场景拍摄装置10对包含观看者观看的对象物的场景进行拍摄，来获取视觉影像a。由眼球拍摄装置9获取到的眼球运动影像b、和由视觉场景拍摄装置10获取到的视觉影像a被存储于存储装置6，且由发送装置7向观看者情绪判定装置1发送。

在观看者在阴天的室外行走的情况下，或者在同一亮度的室内行走的情况下，通过比较瞳孔直径，能够比较注视度。例如，在观看者在街道上行走的情况下，能够用于在对引人注目的牌匾等显示物的引人注目程度进行比较、或者对商品陈列的引人注目程度进行比较时的验证。

在该情况下，为了排除呼吸和脉搏的影响，以观看者在周围光线不发生变化的环境下移动为前提，且需要以两次呼吸时间以上的时间间隔T1对瞳孔直径Bt进行移动平均。另一方面，在周围光线发生变化的环境中对象物的亮度也发生变化的情况下，通过图2所示的观看者情绪判定装置1的结构和处理，来测定与亮度的变化对应的基准数据，以低于两次呼吸时间的时间间隔T2、T3对瞳孔直径Bt进行移动平均，来排除呼吸等的影响。该情况下的基准明暗反应测定单元30按每种规定组合来测定与观看者的瞳孔有关的基准数据，其中，规定组合是指使包含对象物的规定的基准影像整体的亮度和视点的亮度分别分等级地变化的情况下的、基准影像整体的亮度和视点的亮度的组合。

如上所述，根据本发明实施方式的观看者情绪判定装置1，即使在开放环境下观看对象物的情况下，也能够与图1所示的观看者情绪判定装置1同样，针对在开放环境下观看对象物的观看者，测定排除了明暗、呼吸和脉搏的影响的瞳孔直径，从而能够更准确地判定观看者的情绪。

〔多个观看者〕

此外，假定针对多个观看者而计算对内容等对象物的注视度Pt的平均值的情况。在多个观看者以相同的经过时间来观看相同的内容等对象物的情况下，观看者情绪判定装置1的解析部21获取多个观看者的瞳孔直径Bt。然后，测定部23不进行移动平均处理和瞳孔直径Bt的补正处理等，而将从解析部21输入的、多个观看者的瞳孔直径Bt作为注视瞳孔直径At，来分别计算注视度P1t。然后，测定部23对多个观看者的注视度P1t按照每一时间加上注视度P1t来计算平均值。

据此，观看者越多，注视度P1t彼此峰值谷值越会抵消，因此，能够排除周期性的观看者个人的呼吸和脉搏对注视度P1t的影响，从而针对多个观看者的父集而得到按照每一时间的注视度P1t的平均值。因此，观看者的数量越多，呼吸和脉搏对注视度P1t的影响越小。

〔应用例〕

接着，对本发明实施方式所涉及的观看者情绪判定装置1的应用例进行说明。下面，对分割显示器8的画面的情况、问卷调查的回答画面的情况下的应用例进行说明。

(分割显示器8的画面的情况)

首先，对将本发明实施方式所涉及的观看者情绪判定装置1应用于分割显示器8的画面的情况的例子进行说明。图19是表示对显示器8的画面进行了分割的例子的图。如图19所示，在将显示器8分割为K×L个区域、且规定的内容被显示在显示器8上的情况下，观看者情绪判定装置1测定瞬间的观看者的视点位置Dxy和注视度Pxy。xy表示显示器8被分割为K×L个区域得到的分割区域的位置。

观看者情绪判定装置1的测定部23在针对例如TV的CM、电视剧等内容，通过验证观看者的注视点来判定观看者的情绪时，通过下面的算式来求出多个观看者(例如N人)的注视度的合计Q。

〔算式10〕

Qm表示第m个观看者的注视度，使用注视度P1t。其理由在于，注视度P2t有负值，因此不妥当，而注视度P1t没有负值。

测定部23通过下面的算式，求出视点位于分割区域Dxy的观看者的注视度的分布(分割区域Dxy的注视度的分布)Wxy。

〔算式11〕

Wxy＝Hxy/Q×100(％)

Hxy表示观看分割区域Dxy的观看者的注视度的合计。

据此，例如内容为TV的CM的情况下，能够验证商品名的文字所存在的分割区域集中了何种程度的注视度，从而能够应用于CM的设计评价。

另外，测定部23将整体的注视度Q的大小除以观看者的人数N，据此通过下面的算式来求出每人的画面整体的注视度R。

〔算式12〕

R＝Q/N

据此，能够验证每人的画面整体的注视度的大小，而得知对该CM的注视程度。

假定求出在特定场面持续期间的特定分割区域(分割画面)的注视度的平均值的情况。测定部23通过下面的算式，计算从时间(或内容的帧序号)t1到t2的期间的注视度的合计Vxy。

〔算式13〕

测定部23通过下面的算式，计算全体观看者的每单位时间的、该场面的分割区域Dxy的注视度分布Sxy。

〔算式14-1〕

Sxy＝Vxy/(t2-t1)(％)

另外，测定部23通过下面的算式，计算画面整体中的、该场面的注视度的时间合计S。

〔算式14-2〕

测定部23通过下面的算式，计算每人和每单位时间的、该场面下的画面整体的注视度F。

〔算式15〕

F＝S/(t2-t1)

(问卷调查的回答画面的情况)

接着，对将本发明实施方式所涉及的观看者情绪判定装置1应用于问卷调查的回答画面的例子进行说明。通常，在回答问卷调查的情况下，注视度集中于回答画面。另外，在犹豫的情况下，注视度还分散于其他解答栏。因此，根据注视度的分布可得知以何种程度的确信进行了回答。即，能够根据注视度求出问卷调查的回答确信率(反义词为回答犹豫度)。由于问卷调查画面的亮度大致固定，因此，亮度能够通过对最初画面的测定而进行统一，基准明暗画面的观看者固有的瞳孔直径也能够作为1个值来使用。在该情况下，由于注视度P2t有负值，因此使用没有负值的注视度P1t。

(两选项问卷调查的例子)

图20是表示两选项问卷调查的画面例的图。设某一时间t的注视度为P1t、问卷调查画面观看时间为T。注视时间的合计(合计注视度)G通过下面的算式计算。

〔算式16〕

观看者情绪判定装置1的测定部23分别计算在视点位置St的坐标(x，y)进入问题栏(a＜x＜c，b＜y＜e)时(观看者目视着问题栏的区域时)的合计注视度Q1、在视点位置St的坐标(x，y)仅进入回答栏A(a＜x＜d，e＜y＜f)时(观看者目视着回答栏A的区域时)的合计注视度A1、在视点位置St的坐标(x，y)仅进入回答栏B(d＜x＜c，e＜y＜f)时(观看者目视着回答栏B的区域时)的合计注视度B1。然后，测定部23通过下面的算式计算对该问题的合计注视度G。

〔算式17〕

G＝Q1+A1+B1

测定部23通过下面的算式计算对回答栏A、B中的回答栏A的注视度的分布比例来作为回答确信率(其补数为回答犹豫度)A’。

〔算式18〕

A’＝(A1/(A1+B1))×100(％)

另外，测定部23通过下面的算式计算回答栏B的区域的回答确信率B’。

〔算式19〕

B’＝(B1/(A1+B1))×100(％)

图21是表示两选项问卷调查的结果的画面例的图。如图21所示，观看者情绪判定装置1的测定部23将A的区域的回答确信率和B的区域的回答确信率用图表表示。从图21的图表可知，观看者以60％的确信选择了A。另外，可知观看者以40％的确信目视着B，40％的数值意味着观看者以该比例犹豫。

另外，设回答时间为T，测定部23通过下面的算式计算该问卷调查画面整体的每单位时间的注视度合计。

〔算式20〕

G/T＝(Q1+A1+B1)/T

根据该值，能够判断对该问题的注视度(关心度)的高低。

并且，测定部23通过下面的算式计算多人N(N为2以上的整数)的问卷调查测量的每人单位的平均值(回答栏A的回答确信率平均值Aa、回答栏B的回答确信率平均值Ba)。

〔算式21〕

〔算式22〕

测定部23通过下面的算式计算每人和每单位时间的、该问题的注视度(关心度)的平均值Qa。

〔算式23〕

通过该值，能够判定多人N对该问题的平均注视度(关心度)。

(四选项问卷调查的例子)

图22是表示四选项问卷调查的画面例的图。观看者情绪判定装置1的测定部23分别计算在视点位置St的坐标(x，y)进入问题栏(a＜x＜c，b＜y＜e)时(观看者目视着问题栏的区域时)的合计注视度Q1、在视点位置St的坐标(x，y)仅进入回答栏A(a＜x＜d，e＜y＜f)时(观看者目视着回答栏A的区域时)的合计注视度A1、在视点位置St的坐标(x，y)仅进入回答栏B(d＜x＜c，e＜y＜f)时(观看者目视着回答栏B的区域时)的合计注视度B1、在视点位置St的坐标(x，y)仅进入回答栏C(a＜x＜d，f＜y＜g)时(观看者目视着回答栏C的区域时)的合计注视度C1、视点位置St的坐标(x，y)仅进入回答栏D(d＜x＜c，f＜y＜g)时(观看者目视着回答栏D的区域时)的合计注视度D1。然后，测定部23通过下面的算式计算对该问题的合计注视度G。

〔算式24〕

G＝Q1+A1+B1+C1+D1

另外，测定部23通过下面的算式计算A、B、C、D的区域的回答确信率A’、B’、C’、D’。

〔算式25〕

A’＝(A1/(A1+B1+C1+D1))×100(％)

B’＝(B1/(A1+B1+C1+D1))×100(％)

C’＝(C1/(A1+B1+C1+D1))×100(％)

D’＝(D1/(A1+B1+C1+D1))×100(％)

图23是表示四选项问卷调查的结果的画面例的图。如图23所示，观看者情绪判定装置1的测定部23将A～D的区域的回答确信率用图表表示。从图23的图表可知，观看者以65％的确信选择了D。另外，可知观看者分别以15％、10％、10％的确信目视着A、B、C，合计35％的数值意味着观看者以该比例犹豫。

另外，测定部23设回答时间为T，通过下面的算式计算该问卷调查画面整体的每单位时间的注视度合计。

〔算式26〕

G/T＝(Q1+A1+B1+C1+D1)/T

根据该值，能够判断对该问题的注视度(关心度)的高低。

并且，测定部23通过下面的算式计算多人N(N为2以上的整数)的问卷调查测量的每人平均值(回答栏A的回答确信率平均值Aa、回答栏B的回答确信率平均值Ba、回答栏C的回答确信率平均值Ca、回答栏D的回答确信率平均值Da)。

〔算式27〕

〔算式28〕

〔算式29〕

〔算式30〕

测定部23通过所述算式23计算每人和每单位时间的、该问题的注视度(关心度)的平均值Qa。通过该平均值Qa的值，能够判定多人N对该问题的平均注视度(关心度)。

以上列举实施方式对本发明进行了说明，但本发明不局限于所述实施方式，能够在不脱离其技术思想的范围内进行各种变形。例如，图2所示的观看者情绪判定装置1也可以与因特网等网络连接。观看者情绪判定装置1经由网络从外部装置接收指示，根据该指示进行计算对规定的内容的注视瞳孔直径A1t、基于注视的瞳孔直径A2t和注视度P1t、P2t等的处理、分割了显示器8的画面的情况下的处理、问卷调查的回答画面的情况下的处理等。然后，观看者情绪判定装置1将处理结果经由网络向外部装置发送。

另外，在图1和图18所示的观看者情绪判定系统中，亮度测量装置3也可以为了自动测量观看者的视点位置St的亮度，而使该亮度测量装置3对亮度的测量方向追随视点位置St。

具体而言，在图1所示的观看者情绪判定系统中，亮度测量装置3具有改变该亮度测量装置3(所具有的亮度仪)的方向的执行器，且从观看者情绪判定装置1或视线和瞳孔直径测量仪2输入后述的亮度测量方向数据g。亮度测量方向数据g中包含用于使亮度测量装置3的方向朝向观看者的视点位置St的数据(例如，以该亮度测量装置3为基点而用极坐标表示朝向视点位置St的方向的数据)。

亮度测量装置3根据亮度测量方向数据g，通过执行器来将该亮度测量装置3的方向改变成亮度测量方向数据g所示的方向。据此，能够使亮度测量装置3的方向追随视点位置St，从而能够对应于视点位置St的变化而准确地测量视点位置St的亮度。即，观看者情绪判定装置1输入作为视点位置St的亮度的亮度数据c，而能够实时(与观看者观看内容同时)且准确地自动测定视点位置亮度Tt。

此外，假设亮度测量装置3被设置在观看者的头部附近。通过将亮度测量装置3设置在观看者的头部附近，亮度测量装置3的位置和观看者的眼睛的位置靠近。据此，由亮度测量装置3准确地测量视点位置St的亮度，其结果，准确地测量视点位置亮度Tt。

首先，对自动测定视点位置亮度Tt的第1个例子进行说明。图26是说明自动测定视点位置亮度Tt的第1个例子的框图。在第1个例子中，观看者情绪判定装置1除了图2所示的结构部外，还具有发送部26。

另外，参照图1，视线和瞳孔直径测量仪2作为测量观看者的视线方向的视线方向测量仪发挥功能。具体而言，视线和瞳孔直径测量仪2根据视觉影像a和眼球运动影像b，测定观看者对视觉对象的(对显示器8的画面的)视点位置St，且测定以观看者的眼睛为基点的视点位置St的方向(视线方向)，来生成视线方向数据f。测定视线方向的方法是已知的，例如使用角膜反射法。视线方向数据f中包含观看者的视线方向的数据(例如，用以观看者的眼睛为基点的极坐标表示的数据)。视线和瞳孔直径测量仪2将视线方向数据f与视觉影像a及眼球运动影像b一起向观看者情绪判定装置1发送。

参照图26，观看者情绪判定装置1的接收部20从视线和瞳孔直径测量仪2接收视觉影像a和眼球运动影像b，除此之外还接收视线方向数据f。然后，接收部20将视觉影像a等输出给解析部21，此外还将视线方向数据f输出给解析部21。

解析部21除了输入视觉影像a等之外还输入视线方向数据f而进行上述的处理，除此之外还根据视线方向数据f来生成亮度测量方向数据g，且将亮度测量方向数据g输出给发送部26。具体而言，解析部21将输入的视线方向数据f直接设定为亮度测量方向数据g，据此生成亮度测量方向数据g。

发送部26将亮度测量方向数据g向亮度测量装置3发送。据此，亮度测量装置3通过接收亮度测量方向数据g，能够根据亮度测量方向数据g来使该亮度测量装置3的朝向对准到视点位置St的方向。

此外，解析部21也可以从存储部24读取与视线方向数据f对应的补正数据，根据补正数据来补正视线方向数据f，而生成亮度测量方向数据g。在该情况下，存储部24中预先存储有视线方向数据f和与该视线方向数据f对应的补正数据。

在将视线方向数据f作为亮度测量方向数据g使用的情况下，亮度测量装置3的方向不一定准确地朝向视点位置St。其原因在于，由于观看者的眼睛的位置和亮度测量装置3的位置的差异，两者的基点不同。校正数据是用于吸收视线方向数据f的基点、即观看者的眼睛的位置和亮度测量方向数据g的基点、即亮度测量装置3的位置之间的空间位置的差异，使亮度测量装置3的方向准确地朝向视点位置St的数据。

据此，亮度测量装置3能够根据补正后的亮度测量方向数据g，来使该亮度测量装置3的方向准确地对准到视点位置St的方向，从而能够更准确地测量视点位置St的亮度。

如此，根据自动测定视点位置亮度Tt的第1个例子，观看者情绪判定装置1从视线和瞳孔直径测量仪2接收视线方向数据f，根据视线方向数据f来生成亮度测量方向数据g，且将亮度测量方向数据g向亮度测量装置3发送。据此，亮度测量装置3能够根据亮度测量方向数据g，来将该亮度测量装置3的方向改变成视点位置St的方向。

因此，亮度测量装置3的方向追随观看者的视点位置St，观看者情绪判定装置1能够实时且准确地自动测定视点位置亮度Tt。即，无需在观看者观看内容、测定视点位置St之后，再次显示内容来测定视点位置亮度Tt，因此，能够省去再次显示内容的麻烦。另外，观看者情绪判定装置1能够得到高精度的视点位置亮度Tt，因此，其结果，能够计算出高精度的注视度P1t、P2t等。

接着，对自动测定视点位置亮度Tt的第2个例子进行说明。与第1个例子相比，第2个例子是更实时地测定视点位置亮度Tt的例子。图27是说明自动测定视点位置亮度Tt的第2个例子的框图。

在图1所示的观看者情绪判定系统中，在第2个例子中，观看者情绪判定装置1具有与图2相同的结构部。与第1个例子同样，视线和瞳孔直径测量仪2根据视觉影像a和眼球运动影像b，测定观看者对内容的(对显示器8的画面的)视点位置St，且测定以观看者的眼睛为基点的视点位置St的方向，来生成视线方向数据f。

视线和瞳孔直径测量仪2将视线方向数据f直接设定为亮度测量方向数据g，据此生成亮度测量方向数据g。然后，视线和瞳孔直径测量仪2将亮度测量方向数据g向亮度测量装置3发送。

此外，视线和瞳孔直径测量仪2也可以从未图示的存储部读取与视线方向数据f对应的补正数据，与第1个例子同样，根据补正数据来补正视线方向数据f，而生成亮度测量方向数据g。在该情况下，未图示的存储部中预先存储有视线方向数据f和与该视线方向数据f对应的补正数据。

如此，根据自动测量视点位置亮度Tt的第2个例子，视线和瞳孔直径测量仪2根据视觉影像a和眼球运动影像b来生成视线方向数据f，根据视线方向数据f来生成亮度测量方向数据g，且将亮度测量方向数据g向亮度测量装置3发送。据此，亮度测量装置3能够根据从视线和瞳孔直径测量仪2直接接收到的亮度测量方向数据g，来将该亮度测量装置3的方向改变成视点位置St的方向。

因此，亮度测量装置3的方向立即追随观看者的视点位置St，与使用来自观看者情绪判定装置1的亮度测量方向数据g的情况相比，观看者情绪判定装置1能够更实时且准确地自动测定视点位置亮度Tt。即，无需在观看者观看内容、测定视点位置St之后，再次显示内容来测定视点位置亮度Tt，因此，能够省去再次显示内容的麻烦。另外，观看者情绪判定装置1能够得到高精度的视点位置亮度Tt，因此，其结果，能够计算出高精度的注视度P1t、P2t等。

以上对在图1所示的观看者情绪判定系统中使亮度测量装置3对亮度的测量方向追随视点位置St的例子进行了说明。这在图18所示的观看者情绪判定系统中亦同样。下面对图18所示的观看者情绪判定系统的变形例进行说明。

图28是将图18所示的观看者情绪判定系统变形得到的结构例，是表示在开放环境下自动测量视点位置亮度Tt的例子的概略图。该观看者情绪判定系统构成为具有观看者情绪判定装置1、亮度测量装置3、呼吸波形仪4、脉搏波形仪5、存储装置6、发送装置7、眼球拍摄装置9和视觉影像拍摄摄像头11。

亮度测量装置3和视觉影像拍摄摄像头11一体构成，亮度测量装置3对亮度的测量方向追随视点位置St。下面将一体构成的亮度测量装置3和视觉影像拍摄摄像头11称为亮度测量和视觉影像拍摄装置。

亮度测量和视觉影像拍摄装置获取由视觉影像拍摄摄像头11拍摄得到的视觉影像a，且输入来自眼球拍摄装置9的眼球运动影像b。然后，亮度测量和视觉影像拍摄装置根据视觉影像a和眼球运动影像b，来测定对开放环境的对象物的视点位置St，且测定以观看者的眼睛为基点的视点位置St的方向(视线方向)，而生成视线方向数据f。另外，亮度测量和视觉影像拍摄装置根据眼球运动影像b来求出观看者的瞳孔直径Bt。

如前面所述，亮度测量和视觉影像拍摄装置根据视线方向数据f来生成亮度测量方向数据g，通过亮度测量装置3具有的执行器，将亮度测量装置3的方向改变成亮度测量方向数据g所示的方向。

图29是说明视觉影像a内的视点位置St等的图。如图29所示，通过亮度测量和视觉影像拍摄装置，能够使亮度测量装置3的方向对准于在视觉影像a内的视点的视点位置St的坐标(x，y)的方向。而且，亮度测量和视觉影像拍摄装置能够获取视点位置St的亮度数据c。

亮度测量和视觉影像拍摄装置将视觉影像a、眼球运动影像b、亮度数据c、视点位置St、瞳孔直径Bt经由发送装置7向观看者情绪判定装置1发送。

如此，能够通过亮度测量装置3具有的执行器，使亮度测量和视觉影像拍摄装置的亮度测量装置3朝向视觉影像a内的视点位置St，从而能够测定对象物中的视点位置St的亮度。即，亮度测量装置3的方向立即追随对象物中的视点位置St，观看者情绪判定装置1能够实时且准确地自动测定视点位置亮度Tt。

例如，在作为观看者的作业者正在进行应当即刻采取行动的劳动安全作业(例如驾驶机动车)的情况下，能够实时获取瞳孔直径Bt、注视度P1t、P2t等，并且还实时获取视点位置亮度Tt。因此，观看者情绪判定装置1能够实时地检测出作业者没有注视(不注意)的状态，从而能够即刻向作业者通知警告，或使制动器动作。

另外，在上述说明中，图2所示的观看者情绪判定装置1的解析部21根据视觉影像a和眼球运动影像b来测定观看者的视点位置St，且根据眼球运动影像b来测定观看者的瞳孔直径Bt。与此相对，视线和瞳孔直径测量仪2也可以具有求出视点位置St和瞳孔直径Bt的功能。在该情况下，视线和瞳孔直径测量仪2根据视觉影像a和眼球运动影像b来求出观看者的视点位置St，且根据眼球运动影像b来求出观看者的瞳孔直径Bt。而且，观看者情绪判定装置1的接收部20除了从视线和瞳孔直径测量仪2接收视觉影像a和眼球运动影像b之外，还接收视点位置St和瞳孔直径Bt，解析部21除了输入来自接收部20的视觉影像a等之外，还输入视点位置St和瞳孔直径Bt。图18所示的观看者情绪判定装置1亦同样。

另外，在上述说明中，亮度测量装置3通过执行器使该亮度测量装置3(具有的亮度仪)的方向朝向视点位置St，据此来测量视点位置St的亮度。与此相对，亮度测量装置3也可以具有拍摄部70和视点位置亮度测定部71等，其中，拍摄部70是通过将多个亮度传感器(例如光电二极管)对应于图29的视觉影像的画面(图1的例子中显示器8的画面)整体进行排列而成。

图30是说明亮度测量装置3的结构和处理的图。亮度测量装置3的视点位置亮度测定部71使用定义了亮度传感器和视点位置St的关系的表72，来确定拍摄部70中排列的多个亮度传感器中的与视点位置St对应的位置的亮度传感器。然后，视点位置亮度测定部71将由该亮度传感器经由透镜73测量到的亮度作为亮度数据c存储到存储装置6，且经由发送装置7向观看者情绪判定装置1发送。这样一来，测量到的亮度数据c被作为视点位置亮度Tt使用，观看者情绪判定装置1能够实时地测定视点位置亮度Tt。

此外，作为本发明实施方式所涉及的观看者情绪判定装置1的硬件结构，可以使用通常的计算机。观看者情绪判定装置1由具有CPU、RAM等易失性存储介质、ROM等非易失性存储介质和接口等的计算机构成。观看者情绪判定装置1具有的接收部20、解析部21、基准数据测定部22、测定部23和存储部24、25的各功能分别通过由CPU执行描述了这些功能的程序来实现。另外，这些程序可以存储于磁盘(软盘(注册商标)、硬盘等)、光盘(CD-ROM、DVD等)、半导体存储器等存储介质来分发，也可以经由网络来收发。

附图标记说明

1：观看者情绪判定装置；2：视线和瞳孔直径测量仪；3：亮度测量装置；4：呼吸波形仪；5：脉搏波形仪；6：存储装置；7：发送装置；8：显示器；9：眼球拍摄装置；10：观看场景拍摄装置；11：视觉影像拍摄摄像头；20：接收部；21：解析部；22：基准数据测定部；23：测定部；24，25：存储部；26：发送部；30：基准明暗反应测定单元；31：基准呼吸反应测定单元；32：基准脉搏反应测定单元；33：基准瞳孔直径等确定单元；34：注视瞳孔直径等计算单元；35：注视度计算单元；40，43，47：移动平均时间设定模块；41，44，48：移动平均瞳孔直径计算模块；42，46，51：注视瞳孔直径等计算模块；45，50：呼吸反应去除模块；49：脉搏反应去除模块；60：基准明暗反应表；61：基准呼吸反应表；62：基准脉搏反应表；70：拍摄部；71：视点位置亮度测定部；72：表；73：透镜。

Claims (10)

1.一种观看者情绪判定装置，其根据观看显示器上显示的内容的观看者的瞳孔直径来判定所述观看者的情绪，其特征在于，

具有存储部和测定部，其中，

所述存储部存储与所述观看者的瞳孔直径有关的基准数据，该基准数据是基于按以下方式测定出的所述观看者的瞳孔直径的数据：在第1画面上显示着规定的基准明暗画面且使第1画面的亮度和当使所述观看者的视点对准第1画面的规定部位时的视点位置的亮度变化的情况下，按每种所述基准明暗画面中的第1画面的亮度与所述视点位置的亮度的组合来测定出所述观看者的瞳孔直径；

在所述显示器上显示着所述内容的情况下，所述测定部测定所述观看者的瞳孔直径而得到实际测定的瞳孔直径，并且，根据被存储于所述存储部的所述基准数据来确定与显示着所述内容的所述显示器的亮度和显示着所述内容的所述显示器内的视点位置的亮度对应的所述基准数据，且根据实际测定的所述瞳孔直径和经确定的所述基准数据来补正实际测定的所述瞳孔直径而得到补正后的瞳孔直径。

2.根据权利要求1所述的观看者情绪判定装置，其特征在于，

所述基准数据由基准数据测定部测定，

所述基准数据测定部具有基准明暗反应测定单元，该基准明暗反应测定单元以所述观看者的呼吸周期为1次呼吸时间来设定在两次呼吸时间以上的规定的时间间隔，按每种所述基准明暗画面中的第1画面的亮度与所述视点位置的亮度的组合，以所述时间间隔对所述瞳孔直径进行移动平均来求出移动平均后的瞳孔直径，以显示着所述基准明暗画面的时间对所述移动平均后的瞳孔直径进行平均来求出基准瞳孔直径，生成基准明暗反应表，该基准明暗反应表由按每种所述基准明暗画面中的第1画面的亮度与所述视点位置的亮度的组合的所述基准瞳孔直径构成，

所述测定部具有基准瞳孔直径等确定单元和求出基于注视的瞳孔直径的单元，其中，

所述基准瞳孔直径等确定单元根据由所述基准明暗反应测定单元生成的基准明暗反应表，来确定与显示着所述内容的所述显示器的亮度和显示着所述内容的所述显示器内的视点位置的亮度对应的所述基准瞳孔直径；

所述求出基于注视的瞳孔直径的单元设定在所述两次呼吸时间以上的规定的时间间隔，以所述时间间隔对所述瞳孔直径进行移动平均来求出移动平均后的瞳孔直径，将所述移动平均后的瞳孔直径作为注视瞳孔直径，从所述移动平均后的瞳孔直径中减去由所述基准瞳孔直径等确定单元确定的所述基准瞳孔直径，求出基于注视的瞳孔直径。

3.根据权利要求2所述的观看者情绪判定装置，其特征在于，

具有测定呼吸状态数据的解析部，其中所述呼吸状态数据包含所述观看者的呼吸中的吸气开始点和吐气开始点的时机，

所述基准数据测定部还具有基准呼吸反应测定单元，

该基准呼吸反应测定单元以所述观看者的呼吸周期为1次呼吸时间且以所述观看者的脉搏周期为1次脉搏时间，来设定在两次脉搏时间以上且低于两次呼吸时间的规定的时间间隔，

按每种所述基准明暗画面中的所述第1画面的亮度与所述视点位置的亮度的组合，以所述时间间隔对所述瞳孔直径进行移动平均来求出移动平均后的瞳孔直径，

以显示着所述基准明暗画面的时间对所述移动平均后的瞳孔直径进行平均来求出平均值，

从所述移动平均后的瞳孔直径中减去所述平均值，求出作为减法结果的仅受到呼吸的影响的瞳孔直径，

使用由所述解析部测定的所述呼吸状态数据，来从所述仅受到呼吸的影响的瞳孔直径的时间变化中提取出包含吸气开始点和吐气开始点的1个呼吸周期的时间内的呼吸瞳孔直径，生成基准呼吸反应表，该基准呼吸反应表由按每种所述基准明暗画面中的所述第1画面的亮度与所述视点位置的亮度的组合的所述呼吸瞳孔直径构成，

所述测定部的基准瞳孔直径等确定单元确定所述基准瞳孔直径，并且，根据由所述基准明暗反应测定单元生成的基准呼吸反应表来确定与显示着所述内容的所述显示器的亮度和显示着所述内容的所述显示器内的视点位置的亮度对应的所述呼吸瞳孔直径，

所述测定部的注视瞳孔直径等计算单元设定在所述两次脉搏时间以上且低于两次呼吸时间的规定的时间间隔，以所述时间间隔对所述瞳孔直径进行移动平均来求出移动平均后的瞳孔直径，且从所述移动平均后的瞳孔直径中减去由所述基准瞳孔直径等确定单元确定的所述呼吸瞳孔直径来求出注视瞳孔直径，且进一步减去由所述基准瞳孔直径等确定单元确定的所述基准瞳孔直径，来求出基于注视的瞳孔直径。

4.根据权利要求3所述的观看者情绪判定装置，其特征在于，

所述解析部除了测定所述呼吸状态数据之外，还测定脉搏状态数据，该脉搏状态数据包含所述观看者的脉搏中的脉搏开始点的时机，

所述基准数据测定部还具有基准脉搏反应测定单元，

该基准脉搏反应测定单元以所述观看者的呼吸周期为1次呼吸时间，且以所述观看者的脉搏周期为1次脉搏时间，来设定在两次脉搏时间以上且低于两次呼吸时间的规定的时间间隔，

以所述时间间隔对所述瞳孔直径进行移动平均来求出移动平均后的瞳孔直径，

从所述瞳孔直径中减去所述移动平均后的瞳孔直径，来求出作为减法结果的仅受到脉搏的影响的瞳孔直径，

使用由所述解析部测定的所述脉搏状态数据，来从所述仅受到脉搏的影响的瞳孔直径的时间变化中提取出包括脉搏开始点的1个脉搏周期的时间内的脉搏瞳孔直径，生成基准脉搏反应表，该基准脉搏反应表由按每种所述基准明暗画面中的第1画面的亮度与所述视点位置的亮度的组合的所述脉搏瞳孔直径构成，

所述测定部的基准瞳孔直径等确定单元确定所述基准瞳孔直径和所述呼吸瞳孔直径，并且，根据由所述基准明暗反应测定单元生成的基准脉搏反应表，来确定与显示着所述内容的所述显示器的亮度和显示着所述内容的所述显示器的视点位置的亮度对应的所述脉搏瞳孔直径，

所述测定部的注视瞳孔直径等计算单元从所述瞳孔直径中减去由所述基准瞳孔直径等确定单元确定的所述脉搏瞳孔直径和所述呼吸瞳孔直径来求出注视瞳孔直径，且进一步减去由所述基准瞳孔直径等确定单元确定的所述基准瞳孔直径，来求出基于注视的瞳孔直径。

5.根据权利要求4所述的观看者情绪判定装置，其特征在于，

所述测定部还具有注视度计算单元，

该注视度计算单元计算由所述基准瞳孔直径等确定单元确定的所述基准瞳孔直径和由所述注视瞳孔直径等计算单元求出的所述注视瞳孔直径之间的比值，来求出第1注视度，或者，计算由所述基准瞳孔直径等确定单元确定的所述基准瞳孔直径和由所述注视瞳孔直径等计算单元求出的所述基于注视的瞳孔直径之间的比值，来求出第2注视度。

6.根据权利要求5所述的观看者情绪判定装置，其特征在于，

在设定有对所述显示器的画面进行分割得到的多个分割区域且存在多个所述观看者的情况下，

所述测定部针对多个所述观看者中的各观看者，求出对所述显示器上显示的内容的所述第1注视度作为第1内容注视度，针对多个所述观看者对所述第1内容注视度进行合计来求出第1合计结果，通过将所述第1合计结果除以多个所述观看者的人数，来求出对所述内容的所述观看者每人的注视度，

所述测定部针对多个所述观看者中的各观看者，按照每个所述分割区域来求出所述第1注视度作为第1区域注视度，针对多个所述观看者对所述第1区域注视度进行合计来求出第2合计结果，通过将所述第2合计结果除以所述第1合计结果，来求出对所述内容的按照每个所述分割区域的注视度的分布，

所述测定部将对所述内容的按照每个所述分割区域的注视度的分布以规定时间期间进行积分，来求出按照每个所述分割区域的合计注视度的分布，通过将按照每个所述分割区域的合计注视度的分布除以所述规定时间期间，来求出对所述内容的每单位时间的按照每个所述分割区域的注视度的分布。

7.根据权利要求5所述的观看者情绪判定装置，其特征在于，

在所述显示器上显示着包含问题栏和多个回答栏的问卷调查画面的情况下，

所述测定部将对所述问题栏和多个所述回答栏中的各栏的所述第1注视度以规定时间期间进行积分，求出对所述问题栏和多个所述回答栏中的各栏的各栏注视度，

所述测定部将对所述问题栏和多个所述回答栏中的各栏的所述各栏注视度进行合计来求出第1合计结果，将对多个所述回答栏中的各栏的所述各栏注视度进行合计来求出第2合计结果，

所述测定部通过将对多个所述回答栏中的各栏的所述各栏注视度除以所述第2合计结果，来求出对多个所述回答栏中的各栏的回答确信率，

所述测定部通过将所述第1合计结果除以所述规定时间期间，来求出对所述问卷调查的注视度的高度。

8.根据权利要求1所述的观看者情绪判定装置，其特征在于，

成为所述基准数据的基础的所述观看者的瞳孔直径是按以下方式测定的：从最初在第1画面上向所述观看者显示规定的基准明暗画面开始，在经过40秒以上且10分钟以下之后，按照所述第一画面的规定的基准明暗画面的每次变化，在1秒以上且1分钟以下的时间之后进行测定。

9.一种观看者情绪判定系统，具有：

观看者情绪判定装置，其根据观看对象物的观看者的瞳孔直径来判定所述观看者的情绪；

亮度测量装置，其测量包含所述观看者观看的所述对象物的视觉影像整体的亮度和所述对象物内的所述观看者的视点位置的亮度；和

视觉影像拍摄装置，其对所述视觉影像进行拍摄，

所述观看者情绪判定系统的特征在于，

所述观看者情绪判定装置具有基准数据测定部和测定部，其中，

所述基准数据测定部在使包含所述对象物的规定的基准影像的亮度和当使所述观看者的视点对准所述基准影像内的规定部位时的视点位置的亮度多次变化的情况下，按每种所述基准影像的亮度与所述视点位置的亮度的组合，根据所述瞳孔直径来测定与所述观看者的瞳孔直径有关的基准数据；

所述测定部在所述观看者观看所述对象物的情况下，根据由所述基准数据测定部测定的、按每种所述基准影像整体的亮度与所述视点位置的亮度的组合的所述基准数据，来确定与包含所述对象物的视觉影像整体的亮度和所述对象物内的视点位置的亮度对应的所述基准数据，且根据所述瞳孔直径和所述基准数据来测定新的瞳孔直径，

所述亮度测量装置具有拍摄部和视点位置亮度测定部，其中，

所述拍摄部通过将多个亮度传感器与所述视觉影像整体对应配置而成；

所述视点位置亮度测定部使用定义了多个所述亮度传感器与所述视点位置的关系的表，来从多个所述亮度传感器中确定与所述观看者观看所述对象物时的所述视点位置对应的亮度传感器，将由该亮度传感器测量到的亮度作为所述观看者的视点位置的亮度输出。

10.一种程序，其根据观看显示器上显示的内容的观看者的瞳孔直径来判定所述观看者的情绪，其特征在于，

所述程序用于使计算机执行以下步骤：

从存储部读取与所述观看者的瞳孔直径有关的基准数据，该基准数据是基于按以下方式测定出的所述观看者的瞳孔直径的数据：在第1画面上显示着规定的基准明暗画面且使第1画面的亮度和当使所述观看者的视点对准第1画面的规定部位时的视点位置的亮度多次变化的情况下，按每种所述基准明暗画面中的第1画面的亮度与所述视点位置的亮度的组合来测定出所述观看者的瞳孔直径；

在所述显示器上显示着所述内容的情况下，根据所述基准数据来确定与显示着所述内容的所述显示器的亮度和显示着所述内容的所述显示器的视点位置的亮度对应的所述基准数据；

接收与在所述显示器上显示着所述内容的情况下测定所述观看者的瞳孔直径时实际测定的瞳孔直径有关的信息，根据所述实际测定的瞳孔直径和所确定的所述基准数据来补正所述实际测定的瞳孔直径，得到补正后的瞳孔直径。