CN111787861B - 不愉快状态判定装置 - Google Patents

Abstract

具备：行动检测部(16)，其根据与用户的不愉快原因相应的举动信息，来检测按照不愉快原因的每个类别而预先设定的行动信息；不愉快期间估计部(20)，其取得与行动信息对应的用户的不愉快期间(Δt)的估计条件(174)，使用与该估计条件(174)对应的历史信息，来估计不愉快期间(Δt)；不愉快估计器(21)，其基于用户的多个生物体信息(X、Y)，来估计该用户的不愉快状态；不愉快估计器学习部(22)，其基于不愉快期间(Δt)，估计多个生物体信息(X、Y)中的针对不愉快原因的反应时间(tx、ty)，基于不愉快期间(Δt)及反应时间(tx、ty)，使向不愉快估计器(21)输入多个生物体信息(X、Y)的输入定时同步；以及不愉快判定部(19)，其在检测到行动信息的情况下，基于不愉快估计器(21)的估计结果，来判定用户的不愉快状态。

Description

不愉快状态判定装置

技术领域

本发明涉及基于用户的生物体信息来判定该用户的不愉快状态的不愉快状态判定装置。

背景技术

以往，提供有基于生物体信息来判定用户的感情的技术。这样的采用了感情判定技术的装置例如被公开在专利文献1中。在该专利文献1中公开了一种基于脑电位数据及脉搏数据来判定用户的压力状态的不愉快状态判定装置。

现有技术文献

专利文献

专利文献1：日本特开2017-119109号公报

发明内容

发明要解决的问题

上述以往的不愉快状态判定装置使用脑电位数据及脉搏数据来判定用户的压力状态，因此，需要同时取得这2个数据。此时，取得脉搏数据所需的时间比取得脑电位数据所需的时间长。因此，上述以往的不愉快状态判定装置通过使脑电位数据的取得定时延迟来解决该问题。

但是，如上所述，上述以往的不愉快状态判定装置虽然考虑了取得生物体信息时的延迟时间，但未考虑直至针对对用户的刺激而作为反应显现出生物体信息为止的延迟时间及反应强度的个体差异。

本发明是为了解决上述问题而完成的，其目的在于，提供一种能够提高针对用户的不愉快状态的判定精度的不愉快状态判定装置。

用于解决问题的手段

本发明的不愉快状态判定装置具备：行动检测部，其根据与和用户的不愉快原因相应的举动相关的举动信息，来检测按照不愉快原因的每个类别而预先设定的与用户的行动相关的行动信息；不愉快期间估计部，其取得与由行动检测部检测到的行动信息对应的用户的不愉快期间的估计条件，使用与估计条件对应的历史信息估计不愉快期间；不愉快估计器，其基于用户的多个生物体信息估计该用户的不愉快状态；不愉快估计器学习部，其基于由不愉快期间估计部估计出的不愉快期间，分别估计多个生物体信息的针对不愉快原因的反应时间，基于不愉快期间及反应时间，使向不愉快估计器输入多个生物体信息的输入定时同步；以及不愉快判定部，其在行动检测部检测到行动信息的情况下，基于不愉快估计器的估计结果，判定用户的不愉快状态。

发明的效果

根据本发明，能够提高针对用户的不愉快状态的判定精度。

附图说明

图1是示出本发明的实施方式1的不愉快状态判定装置的结构的框图。

图2是示出本发明的实施方式1的不愉快状态判定装置的硬件结构的框图。

图3是示出行动信息数据库的存储例的图。

图4是示出控制信息数据库的存储例的图。

图5是示出学习用数据库的存储例的图。

图6是示出学习用数据库的另一存储例的图。

图7是示出估计参数保存部的存储例的图。

图8是示出本发明的实施方式1的不愉快状态判定装置的动作的流程图。

图9是示出环境信息取得部的动作的流程图。

图10是示出举动信息取得部的动作的流程图。

图11是示出生物体信息取得部的动作的流程图。

图12是示出控制信息取得部的动作的流程图。

图13是示出行动检测部的动作的流程图。

图14是示出不愉快判定部的动作的流程图。

图15是示出不愉快期间估计部的动作的流程图。

图16是示出不愉快估计器学习部的动作的流程图。

图17是示出不愉快估计器学习部中的反应时间的估计动作的流程图。

图18是示出不愉快估计器的动作的流程图。

图19是示出不愉快估计器的学习例的时序图。

图20是示出不愉快判定部的不愉快判定例的时序图。

具体实施方式

以下，为了更加详细地说明本发明，按照附图对其具体实施方式进行说明。

实施方式1.

图1是示出本发明的实施方式1的不愉快状态判定装置10的结构的框图。

如图1所示，不愉快状态判定装置10具备环境信息取得部11、举动信息取得部12、控制信息取得部13、控制信息数据库14、生物体信息取得部15、行动检测部16、行动信息数据库17、学习用数据库18、不愉快判定部19、不愉快期间估计部20、不愉快估计器21、不愉快估计器学习部22、以及估计参数保存部23。

环境信息取得部11取得与用户所在的环境的状态相关的环境信息。环境信息例如是与由温度传感器检测到的温度相关的温度信息、以及与由麦克风检测到的噪声的大小相关的噪声信息。

举动信息取得部12取得与用户的行动相关的举动信息。举动信息例如是与由照相机拍摄到的用户的面部及身体的运动相关的图像信息、与由麦克风检测到的用户的声音及说话内容相关的声音信息、以及与由触摸面板及开关等操作部检测到的用户的设备操作相关的操作信息。

控制信息取得部13从基于不愉快状态判定装置10的估计结果而进行动作的外部设备取得用于控制该外部设备的控制信息。外部设备例如是空调设备及音响设备。此外，控制信息取得部13将取得的控制信息与预先存储在后述的控制信息数据库14中的控制模式进行对照。

控制信息数据库14将控制模式与成为其控制的原因的用户的不愉快原因预先对应地存储，作为用于控制空调设备及音响设备的控制信息。用于控制空调设备的控制模式例如是与制冷或制热的开启(ON)或关闭(OFF)等相关的信息。用于控制音响设备的控制模式例如是与音量的上调下调等相关的信息。用户感觉到不愉快的不愉快原因成为对用户的刺激，例如是热、冷及吵杂等。

生物体信息取得部15从生物体传感器取得用户的多个生物体信息。生物体传感器例如是心率仪及脑电图仪。生物体信息例如是与由心率仪计测到的心率变动相关的信息、以及与由脑电图仪计测到的脑电图相关的信息。

行动检测部16将举动信息取得部12所取得的举动信息与预先存储在后述的行动信息数据库17中的行动模式进行对照。

行动信息数据库17将不愉快原因、按照该不愉快原因的每个类别而预先定义的行动模式、以及用户感觉到不愉快的不愉快期间的估计条件预先对应地存储。行动模式例如是用户针对作为“空调(热)”的不愉快原因而说出“热”、或者按下用于降低空调设备的设定温度的按钮的用户的行动模式。不愉快期间的估计条件例如是环境内的温度及环境内的噪声的大小。

学习用数据库18存储有环境信息取得部11所取得的环境信息、通过行动检测部16的对照动作而与存储在行动信息数据库17中的行动模式一致的行动模式、控制信息取得部13所取得的控制信息、生物体信息取得部15所取得的生物体信息、以及时间戳等。

不愉快判定部19在从行动检测部16输入了通过该行动检测部16的对照动作而与存储在行动信息数据库17中的行动模式一致的行动模式时，将表示检测到用户的不愉快状态的信号向外部输出。此外，不愉快判定部19将从行动检测部16输入的行动模式向后述的不愉快期间估计部20输出。并且，不愉快判定部19在从后述的不愉快估计器21输入了表示检测到用户的不愉快状态的信号时，将该信号向外部输出。

不愉快期间估计部20与从不愉快判定部19输入的行动模式对应地，取得存储在行动信息数据库17中的不愉快期间的估计条件。此外，不愉快期间估计部20基于取得的不愉快期间的估计条件和存储在学习用数据库18中的历史信息，来估计不愉快期间。即，历史信息是上述的环境信息、行动模式、控制信息、生物体信息及时间戳的经过历史。

不愉快估计器21基于存储在后述的估计参数保存部23中的生物体信息的反应时间、平常状态的阈值及不愉快状态的阈值，来估计从生物体信息取得部15输入的生物体信息是不愉快状态还是平常状态。

不愉快估计器学习部22在从控制信息取得部13输入了与由不愉快期间估计部20估计出的不愉快期间的不愉快原因对应的控制模式时，将从该控制模式输入时间点到由生物体信息取得部15取得的生物体信息从不愉快状态变化到平常状态的时间点为止的经过时间，估计为生物体信息的反应时间。此外，不愉快估计器学习部22基于按照每个生物体信息而估计的反应时间，对不愉快估计器21进行学习。并且，不愉快估计器学习部22将估计出的每个生物体信息的反应时间、平常状态的阈值及不愉快状态的阈值存储于后述的估计参数保存部23。

这里，不愉快估计器学习部22对不愉快估计器21进行学习是指，基于心率变动的反应时间及脑电图的反应时间，使表示心率变动的信号及表示脑电图的信号向不愉快估计器21的输入定时同步。

估计参数保存部23按照用户的每个生物体信息的类别，存储有不愉快估计器学习部22估计出的生物体信息的反应时间、平常状态的阈值及不愉快状态的阈值。

图2是示出本发明的实施方式1的不愉快状态判定装置10的硬件结构的框图。

不愉快状态判定装置10具备处理器31、存储器32、硬盘33、环境信息输入接口34、图像输入接口35、声音输入接口36、生物体信息输入接口37、以及设备信息输入接口38。

环境信息输入接口34由温度传感器及麦克风构成。图像输入接口35由照相机构成。声音输入接口36由麦克风构成。生物体信息输入接口37由心率仪及脑电图仪构成。设备信息输入接口38由触摸面板、开关、空调设备及音响设备之间的通信装置构成。

不愉快状态判定装置10由计算机构成，在硬盘33中存储有控制信息数据库14、行动信息数据库17、学习用数据库18及估计参数保存部23。此外，不愉快状态判定装置10将用于使处理器31作为环境信息取得部11、举动信息取得部12、控制信息取得部13、生物体信息取得部15、行动检测部16、不愉快判定部19、不愉快期间估计部20、不愉快估计器21及不愉快估计器学习部22发挥功能的程序存储于存储器32。然后，处理器31执行存储器32所存储的程序。

接着，参照图3至图7，对控制信息数据库14、行动信息数据库17及学习用数据库18、以及估计参数保存部23的存储例详细进行说明。

图3是示出行动信息数据库17的存储例的图。如图3所示，行动信息数据库17将用于识别行动信息的行动信息ID171、用户感觉到不愉快的不愉快原因172、与不愉快原因相应的行动模式173、以及不愉快期间估计条件174对应地存储。

图4是示出控制信息数据库14的存储例的图。如图4所示，控制信息数据库14将用于识别控制信息的控制信息ID141、空调设备或音响设备中的与用户的不愉快原因相应的控制模式142、以及用户感觉到不愉快的不愉快原因143对应地存储。

图5及图6是示出学习用数据库18的存储例的图。如图5所示，学习用数据库18将时间戳181、环境信息182、以及用于识别行动模式或控制模式的行动/控制模式ID183对应地存储。此外，如图6所示，学习用数据库18将用于识别用户的用户ID184、生物体信息的类别185、表示开始取得生物体信息的计测值的时刻的取得开始时刻186、以及生物体信息的计测值187对应地存储。

图7是示出估计参数保存部23的存储例的图。如图7所示，估计参数保存部23将用于识别用户的用户ID231、生物体信息的类别232、生物体信息的反应时间233、平常状态的阈值234、以及不愉快状态的阈值235对应起来，作为估计参数来保存。

接着，使用图8对不愉快状态判定装置10的动作详细进行说明。图8是示出实施方式1的不愉快状态判定装置10的动作的流程图。另外，不愉快状态判定装置10的动作被按照固定周期来实施。

在步骤ST1中，环境信息取得部11取得与由温度传感器检测到的温度相关的温度信息、以及与由麦克风检测到的噪声的大小相关的噪声信息，作为环境信息。

在步骤ST2中，举动信息取得部12取得与由照相机拍摄到的用户的面部及身体的运动相关的图像信息、与由麦克风检测到的用户的声音及说话内容相关的声音信息、以及与由触摸面板及开关等操作部检测到的用户的设备操作相关的操作信息，作为举动信息。

在步骤ST3中，生物体信息取得部15取得与由心率仪计测到的心率变动相关的信息、以及与由脑电图仪计测到的脑电图相关的信息，作为生物体信息。

在步骤ST4中，控制信息取得部13取得用于控制空调设备及音响设备的控制信息。

在步骤ST5中，行动检测部16从举动信息取得部12取得的举动信息中，检测行动信息。

在步骤ST6中，不愉快判定部19在输入了行动检测部16检测到的行动信息、以及不愉快估计器21输出的估计结果时，判定为用户是不愉快状态。

接着，使用图9对步骤ST1的处理更加详细地进行说明。图9是示出环境信息取得部11的动作的流程图。

在步骤ST11中，环境信息取得部11取得与由温度传感器检测到的温度相关的温度信息。

在步骤ST12中，环境信息取得部11取得与由麦克风检测到的噪声的大小相关的噪声信息。

在步骤ST13中，环境信息取得部11将取得的温度信息及噪声信息向学习用数据库18及不愉快判定部19输出。由此，如图5所示，学习用数据库18将上述2个信息被输入的时刻作为时间戳181来存储，将所输入的上述2个信息作为环境信息182来存储。然后，不愉快状态判定装置10的处理进入步骤ST2。

接着，使用图10对步骤ST2的处理更加详细地进行说明。图10是示出举动信息取得部12的动作的流程图。

在步骤ST21中，举动信息取得部12取得对从照相机输入的图像信号进行解析而得到的与用户的面部及身体的运动相关的图像信息。

在步骤ST22中，举动信息取得部12取得对从麦克风输入的声音信号进行解析而得到的与用户的声音及说话内容相关的声音信息。

在步骤ST23中，举动信息取得部12取得与由触摸面板及开关等操作部检测到的用户的设备操作相关的操作信息。

在步骤ST24中，举动信息取得部12将取得的图像信息、声音信息及操作信息作为举动信息向行动检测部16输出。然后，不愉快状态判定装置10的处理进入步骤ST3。

接着，使用图11对步骤ST3的处理更加详细地进行说明。图11是示出生物体信息取得部15的动作的流程图。

在步骤ST31中，生物体信息取得部15取得与由心率仪计测到的心率变动相关的信息。

在步骤ST32中，生物体信息取得部15取得与由脑电图仪计测到的脑电图相关的信息。

在步骤ST33中，生物体信息取得部15将取得的上述2个信息作为生物体信息向学习用数据库18及不愉快估计器21输出。然后，不愉快状态判定装置10的处理进入步骤ST4。

接着，使用图12对步骤ST4的处理更加详细地进行说明。图12是示出控制信息取得部13的动作的流程图。

在步骤ST41中，控制信息取得部13判定该控制信息取得部13是否取得了控制信息。这里，在控制信息取得部13取得了控制信息的情况下，该处理进入步骤ST42。另一方面，在控制信息取得部13未取得控制信息的情况下，该处理结束。即，不愉快状态判定装置10的处理进入步骤ST5。

在步骤ST42中，控制信息取得部13判定所取得的控制信息与存储在控制信息数据库14中的控制信息是否一致。这里，控制信息取得部13在判定为一致的情况下，该处理进入步骤ST43。另一方面，在控制信息取得部13判定为不一致的情况下，该处理进入步骤ST44。

例如，控制信息取得部13在所取得的控制模式为“空调控制(制冷)开启”这样的控制模式的情况下，判定为该取得的控制模式与图4所示的控制信息ID141为“b-2”的控制模式一致。

在步骤ST43中，控制信息取得部13从控制信息数据库14向学习用数据库18输出与所取得的控制信息一致的控制信息的控制信息ID141。然后，不愉快状态判定装置10的处理进入步骤ST5。

另一方面，在步骤ST44中，控制信息取得部13判定是否将所取得的控制信息与存储在控制信息数据库14中的全部的控制信息进行了对照。这里，在控制信息取得部13判定为与全部的控制信息进行了对照的情况下，该处理结束。即，不愉快状态判定装置10的处理进入步骤ST5。另一方面，在控制信息取得部13判定为未与全部的控制信息进行对照的情况下，该处理返回步骤ST42。即，控制信息取得部13开始所取得的控制信息与存储在控制信息数据库14中的剩余的全部控制信息的对照。

接着，使用图13对步骤ST5的处理更加详细地进行说明。图13是示出行动检测部16的动作的流程图。

在步骤ST51中，行动检测部16判定该行动检测部16是否取得了举动信息。这里，在行动检测部16取得了举动信息的情况下，该处理进入步骤ST52。另一方面，在行动检测部16未取得举动信息的情况下，该处理结束。即，不愉快状态判定装置10的处理进入步骤ST6。

在步骤ST52中，行动检测部16判定所取得的举动信息与存储在行动信息数据库17中的行动信息是否一致。这里，在行动检测部16判定为一致的情况下，该处理进入步骤ST53。另一方面，在行动检测部16判定为不一致的情况下，该处理进入步骤ST54。

例如，行动检测部16在所取得的行动模式是用户说出“热”的行动模式的情况下，判定为该取得的行动模式与图3所示的行动信息ID171为“a-1”的行动模式173一致。

在步骤ST53中，行动检测部16从行动信息数据库17向学习用数据库18及不愉快判定部19输出与所取得的举动信息一致的行动信息的行动信息ID171。然后，不愉快状态判定装置10的处理进入步骤ST6。

另一方面，在步骤ST54中，行动检测部16判定是否将所取得的举动信息与存储在行动信息数据库17中的全部的行动信息进行了对照。这里，在行动检测部16判定为与全部的行动信息进行了对照的情况下，该处理结束。即，不愉快状态判定装置10的处理进入步骤ST6。另一方面，在行动检测部16判定为未与全部的行动信息进行对照的情况下，该处理返回步骤ST52。即，行动检测部16开始所取得的举动信息与存储在行动信息数据库17中的剩余的全部行动信息的对照。

接着，使用图14对步骤ST6的处理更加详细地进行说明。图14是示出不愉快判定部19的动作的流程图。

在步骤ST61中，不愉快判定部19判定是否取得了存储在行动信息数据库17中的行动信息ID171。这里，在不愉快判定部19取得了行动信息ID171的情况下，该处理进入步骤ST62。另一方面，在不愉快判定部19未取得行动信息ID171的情况下，该处理进入步骤ST65。

在步骤ST62中，不愉快判定部19将表示检测到用户的不愉快状态的不愉快检测信号向外部输出。

在步骤ST63中，不愉快判定部19将所取得的行动信息ID171向不愉快期间估计部20输出。接下来，不愉快期间估计部20基于输入的行动信息ID171来估计不愉快期间，将该估计出的不愉快期间向不愉快估计器学习部22输出。

在步骤ST64中，不愉快估计器学习部22在从不愉快期间估计部20输入了不愉快期间时，对不愉快估计器21进行学习。然后，不愉快状态判定装置10的处理返回步骤ST1。

另一方面，在步骤ST65中，不愉快估计器21基于从生物体信息取得部15输入的生物体信息，来估计用户的不愉快状态。

在步骤ST66中，不愉快估计器21判定用户是否为不愉快状态。这里，在不愉快估计器21判定为是不愉快状态的情况下，该处理进入步骤ST67。另一方面，在不愉快估计器21判定为不是不愉快状态的情况下，该处理结束。即，不愉快状态判定装置10的处理返回步骤ST1。

在步骤ST67中，不愉快判定部19将表示检测到用户的不愉快状态的不愉快检测信号向外部输出。然后，不愉快状态判定装置10的处理返回步骤ST1。

接着，使用图3、图5图15及图19对步骤ST63的处理更加详细地进行说明。图15是示出不愉快期间估计部20的动作的流程图。图19是示出不愉快估计器21的学习例的时序图。另外，图19所记载的“t”表示时刻，“A”表示用户所存在的环境的温度。

在步骤ST631中，不愉快期间估计部20从行动信息数据库17所存储的多个行动信息ID171中提取与所输入的行动信息ID171相同的行动信息ID，取得与该提取出的行动信息ID171对应的不愉快原因172及不愉快期间估计条件174。

例如，如图3所示，在不愉快期间估计部20取得了“a-1”作为行动信息ID171的情况下，该不愉快期间估计部20从行动信息数据库17所存储的多个行动信息ID171中检索行动信息ID171为“a-1”的行动信息。然后，不愉快期间估计部20参照行动信息ID171为“a-1”的不愉快期间估计条件174，取得“温度(℃)”。

在步骤ST632中，不愉快期间估计部20取得学习用数据库18所存储的最新的环境信息182。

例如，如图5所示，不愉快期间估计部20参照学习用数据库18所存储的环境信息182，取得“温度28℃”。

在步骤ST633中，不愉快期间估计部20取得与最新的环境信息182对应的时间戳181，作为图19所示的不愉快期间Δt的结束时刻t2。

在步骤ST634中，不愉快期间估计部20依次回溯学习用数据库18所存储的环境信息182的历史，取得这些历史作为历史信息。

在步骤ST635中，不愉快期间估计部20判定在所取得的环境信息182的历史中是否存在与在步骤ST631中取得的不愉快期间估计条件174一致的历史。这里，在不愉快期间估计部20判定为存在一致的历史的情况下，该处理进入步骤ST636。另一方面，在不愉快期间估计部20判定为不存在一致的历史的情况下，该处理进入步骤ST637。

在步骤ST636中，不愉快期间估计部20与和在步骤ST631中取得的不愉快期间估计条件174一致的环境信息182对应地，取得时间戳181所示的时刻与结束时刻t2的差分，作为图19所示的不愉快期间Δt。

在步骤ST637中，不愉快期间估计部20针对所取得的不愉快期间估计条件174，判定是否参照了环境信息182的全部历史。这里，在不愉快期间估计部20判定为参照了环境信息182的全部历史的情况下，该处理进入步骤ST638。另一方面，在不愉快期间估计部20判定为未参照环境信息182的全部历史的情况下，该处理返回步骤ST634。

在步骤ST638中，不愉快期间估计部20将最终取得的不愉快期间Δt向不愉快估计器学习部22输出。然后，不愉快状态判定装置10的处理进入步骤ST64。

例如，如图19所示，不愉快期间估计部20将从检测到用户说出“热”的行动模式173的时刻t2开始回溯时间直至设定温度上限值A′成为28℃以下的时刻t1为止的期间，估计为不愉快期间Δt，将该估计出的不愉快期间Δt向不愉快估计器学习部22输出。

即，时刻t1是不愉快期间Δt的开始时刻，以下称为开始时刻t1。此外，开始时刻t1成为后述的不愉快判定的基准时刻。此外，时刻t2是不愉快期间Δt的结束时刻，以下称为结束时刻t2。

接着，使用图3、图4、图5、图7、图16及图19对步骤ST64的处理更加详细地进行说明。图16是示出不愉快估计器学习部22的动作的流程图。

在步骤ST641中，不愉快估计器学习部22在从不愉快期间估计部20输入了不愉快期间Δt的情况下，参照学习用数据库18所存储的历史信息，判定是否输入了与不愉快期间Δt的不愉快原因143对应的控制模式142。这里，在不愉快估计器学习部22判定为输入了控制模式142的情况下，该处理进入步骤ST642。另一方面，在不愉快估计器学习部22判定为未输入控制模式142的情况下，该处理进入步骤ST646。

例如，如图5所示，不愉快估计器学习部22从学习用数据库18所存储的行动/控制模式ID183中取得与所输入的不愉快期间Δt对应的行动信息ID171为“a-1”的行动模式。接着，如图3所示，不愉快估计器学习部22从行动信息数据库17所存储的多个行动模式173中，参照行动信息ID为“a-1”的行动模式，取得与其对应的不愉快原因172为“空调(热)”的不愉快原因。

接下来，如图5所示，不愉快估计器学习部22在学习用数据库18所存储的行动/控制模式ID183中，取得在行动信息ID为“a-1”的行动模式的紧后面存储的控制信息ID为“b-2”的控制模式。接着，如图4所示，不愉快估计器学习部22从控制信息数据库14所存储的多个控制模式142中，参照控制信息ID成为“b-2”的控制模式，取得与其对应的不愉快原因143为“空调(热)”的不愉快原因。因此，不愉快估计器学习部22被输入了与不愉快期间Δt的不愉快原因143对应的控制模式142。

在步骤ST642中，不愉快估计器学习部22估计作为心率变动的生物体信息X的反应时间tx、以及作为脑电图的生物体信息Y的反应时间ty。

在步骤ST643中，不愉快估计器学习部22判定是否估计出全部的生物体信息X、Y的反应时间tx、ty。这里，在不愉快估计器学习部22判定为估计出全部的生物体信息X、Y的反应时间tx、ty的情况下，进入步骤ST644。另一方面，在不愉快估计器学习部22判定为未估计出全部的生物体信息X、Y的反应时间tx、ty的情况下，进入步骤ST646。

例如，如图7所示，不愉快估计器学习部22分别确认在估计参数保存部23中用户ID231相同的各生物体信息的反应时间233，如果该全部的反应时间233的值为“-1”以外，则判定为估计出全部的生物体信息的反应时间。

在步骤ST644中，不愉快估计器学习部22参照从不愉快期间Δt的开始时刻t1到其结束时刻t2为止的生物体信息X、Y的变动，对不愉快估计器21进行学习。

例如，如图19所示，不愉快估计器学习部22将从不愉快期间Δt的开始时刻t1经过了反应时间tx的时间点处的心率变动的计测值设定为不愉快状态的阈值Xb。并且，不愉快估计器学习部22将该不愉快状态的阈值Xb与估计参数保存部23的用户ID231及生物体信息的类别232对应地存储于不愉快状态的阈值235。

此外，如图19所示，不愉快估计器学习部22将从不愉快期间Δt的开始时刻t1经过了反应时间ty的时间点处的脑电图的计测值设定为不愉快状态的阈值Yb。并且，不愉快估计器学习部22将该不愉快状态的阈值Yb与估计参数保存部23的用户ID231及生物体信息的类别232对应地存储于不愉快状态的阈值235。

在步骤ST645中，不愉快估计器学习部22输出表示愉快估计器21的学习已经完成的信号。然后，不愉快状态判定装置10的处理返回步骤ST1。

另一方面，在步骤ST646中，不愉快估计器学习部22输出表示不愉快估计器21的学习未完成的信号。然后，不愉快状态判定装置10的处理返回步骤ST1。

接着，使用图17对步骤ST642的处理更加详细地进行说明。图17是表示不愉快估计器学习部22中的反应时间tx、ty的估计动作的流程图。

在步骤ST6421中，不愉快估计器学习部22参照学习用数据库18所存储的行动/控制模式ID183，确认被输入了与不愉快期间Δt的不愉快原因143对应的控制模式142。

接着，不愉快估计器学习部22参照学习用数据库18所存储的生物体信息的类别185及生物体信息的计测值187，判定生物体信息X、Y是否为平常状态。这里，在不愉快估计器学习部22判定为生物体信息X、Y是平常状态的情况下，该处理进入步骤ST6422。另一方面，在不愉快估计器学习部22判定为生物体信息X、Y不平常的情况下，进入步骤ST6424。

例如，如图19所示，不愉快估计器学习部22在输入了控制信息ID141为“b-2”的控制模式时，由于在从输入了该控制模式的控制开始时刻t3起刚刚经过反应时间ty之后，生物体信息X的计测值未超过平常状态的阈值Xa，因此，判定为该生物体信息X不是平常状态。

在步骤ST6424中，不愉快估计器学习部22将表示反应时间tx、ty的估计未完的信息保存到估计参数保存部23的反应时间233中。例如，如图7所示，不愉快估计器学习部22在反应时间233中存储“-1”。

在步骤ST6425中，不愉快估计器学习部22判定是否针对全部的生物体信息X、Y确认到平常状态。这里，在不愉快估计器学习部22判定为针对全部的生物体信息X、Y进行了确认的情况下，该处理结束。即，不愉快估计器学习部22的处理进入步骤ST643。另一方面，在不愉快估计器学习部22判定为未针对全部的生物体信息X、Y进行了确认的情况下，该处理返回步骤ST6421。

例如，如图19所示，在从步骤ST6425返回的步骤ST6421中，不愉快估计器学习部22由于在从控制开始时刻t3起刚刚经过反应时间ty之后，生物体信息Y的计测值超过平常状态的阈值Ya，因此，判定为该生物体信息Y是平常状态。

在步骤ST6422中，不愉快估计器学习部22将从控制开始时刻t3到反应时间ty为止的经过时间更新为新的反应时间ty。

在步骤ST6423中，不愉快估计器学习部22将更新后的反应时间ty与估计参数保存部23的生物体信息的类别232对应地存储于反应时间233。即，在不愉快估计器学习部22中，反应时间ty的估计完成。

在步骤ST6425中，不愉快估计器学习部22判定为针对全部的生物体信息X、Y进行了确认，该处理结束。然后，不愉快估计器学习部22的处理进入步骤ST643。

接着，使用图18及图20对步骤ST65的处理更加详细地进行说明。图18是示出不愉快估计器21的动作的流程图。图20是示出不愉快判定部19的不愉快判定例的时序图。另外，在图20中，“t”表示时刻，“T”表示温度。

在步骤ST651中，不愉快估计器21基于从不愉快估计器学习部22输入的信号，判定是否完成了该不愉快估计器21的学习。这里，在不愉快估计器21判定为完成了学习的情况下，该处理进入步骤ST652。另一方面，在不愉快估计器21判定为未完成学习的情况下，进入步骤ST655。

在步骤ST652中，不愉快估计器21参照学习用数据库18所存储的取得开始时刻186、以及估计参数保存部23所存储的反应时间233，判定是否经过了全部的生物体信息X、Y的反应时间tx、ty。这里，在不愉快估计器21判定为经过了全部的反应时间tx、ty的情况下，该处理进入步骤ST653。另一方面，在不愉快估计器21判定为未经过全部的反应时间tx、ty的情况下，该处理进入步骤ST655。

具体而言，不愉快估计器21从估计参数保存部23中的用户ID231相同的反应时间233中，提取最长的反应时间，在该提取出的反应时间233比取得该生物体信息X、Y所需的取得时间长的情况下，判定为经过了全部的反应时间tx、ty。此外，不愉快估计器21在提取出的反应时间233比取得该生物体信息X、Y所需的取得时间短的情况下，判定为未经过全部的反应时间tx、ty。

在步骤ST653中，不愉快估计器21基于经过了反应时间tx、ty的生物体信息X、Y，来估计用户的不愉快状态。

例如，如图20所示，不愉快估计器21在用户ID231相同的多个生物体信息X、Y中的具有最长的反应时间tx的生物体信息X的心率变动中，使其反应时间tx的反应开始时间与开始时刻t1一致。接着，不愉快估计器21与从开始时刻t1起算的时间的经过一起，从学习用数据库18取得最新的生物体信息X，并且，从学习用数据库18取得从开始时刻t1经过了反应时间ty的时间点处的生物体信息Y的计测值。然后，不愉快估计器21分别比较所取得的生物体信息X、Y的计测值与估计参数保存部23所存储的不愉快状态的阈值Xb、Yb。此时，不愉快估计器21在生物体信息X、Y的计测值超过分别对应的不愉快状态的阈值Xb、Yb的情况下，判定为用户是不愉快状态。

在步骤ST654中，不愉快估计器21将用户是不愉快状态这一估计结果向不愉快判定部19输出，该处理结束。即，不愉快状态判定装置10的处理进入步骤ST66。

另一方面，在步骤ST655中，不愉快估计器21使该处理结束，而不向不愉快判定部19输出任何估计结果。即，不愉快状态判定装置10的处理进入步骤ST66。

根据以上，实施方式1的不愉快状态判定装置10在按照不愉快原因的每个类别而预先定义的用户的行动模式与实际检测到的用户的行动模式一致的情况下，基于该不愉快原因，来估计用户感觉到不愉快的不愉快期间Δt。接着，不愉快状态判定装置10在上述不愉快原因与和用于控制外部设备的控制信息对应的不愉快原因一致的情况下，将到生物体信息X、Y的计测值超过平常状态的阈值Xa、Ya为止的时间，即，到用户从不愉快状态转变到平常状态为止的时间估计为反应时间tx、ty。然后，不愉快状态判定装置10基于用户的不愉快期间Δt及生物体信息X、Y的反应时间tx、ty，使向不愉快估计器21输入生物体信息X、Y的输入定时同步，并估计用户的不愉快状态。

因此，不愉快状态判定装置10通过消除生物体传感器中的针对不愉快原因的反应速度的个体差异、并且估计针对不愉快原因而在生物体信息X、Y中显现出反应为止的延迟时间及反应强度的个体差异，从而能够提高针对用户的不愉快状态的判定精度。

此外，由于不愉快状态判定装置10将针对不愉快原因的用户的行动模式预先存在行动信息数据库17中，因此，能够在用户采取针对不愉快原因的行动之前，从用户消除该不愉快原因。由此，不愉快状态判定装置10能够提高用户的便利性。

但是，在上述的实施方式1中，不愉快状态判定装置10通过温度传感器及麦克风而构成环境信息输入接口34，环境信息取得部11能够取得它们的检测结果，但也可以向环境信息输入接口34追加湿度传感器及照度传感器，环境信息取得部11也能够取得它们的检测结果。由此，不愉快状态判定装置10也能够应对用户感觉到不愉快的湿度及照度。

此外，不愉快状态判定装置10通过心率仪及脑电图仪而构成生物体信息输入接口37，生物体信息取得部15能够取得心率变动及脑电图，但也可以向生物体信息输入接口37追加肌电仪，生物体信息取得部15能够取得其肌电图。由此，不愉快状态判定装置10能够增加生物体信息的类别，因此，能够进一步提高针对用户的不愉快状态的判定精度。

此外，在不愉快状态判定装置10中，不愉快估计器学习部22基于学习用数据库18的历史信息来更新不愉快状态的阈值Yb，不愉快估计器21对该不愉快状态的阈值Xb、Yb与生物体信息X、Y的计测值进行比较，判定用户的不愉快状态。

此时，在学习用数据库18中的历史信息的蓄积量充分的情况下，不愉快估计器学习部22通过使用了该历史信息的机器学习等单元，对不愉快估计器21进行学习，将通过该学习而生成的不愉快估计器21的参数存储于估计参数保存部23。对此，不愉快估计器21也可以使用通过机器学习而生成的参数，输出估计结果。由此，不愉快状态判定装置10即便在蓄积有大量的历史信息的情况下，也能够提高针对用户的不愉快状态的判定精度。另外，作为机器学习方法，例如能够采用深度学习的方法。

此外，在不愉快状态判定装置10中，不愉快估计器21基于生物体信息X的最长的反应时间tx来设定不愉快判定的基准时刻，但不愉快估计器21也可以仅使用反应时间ty最短的生物体信息Y来判定用户的不愉快状态。

例如，在不愉快状态判定装置10中，不愉快估计器学习部22在基于学习用数据库18的历史信息来更新不愉快状态的阈值Yb时，也可以仅在不愉快期间Δt内的心率变动的相对于平常状态的阈值Xa的变化量足够大的情况下，更新脑电图中的不愉快状态的阈值Yb，不愉快估计器21仅使用脑电图的计测值，来判定用户的不愉快状态。由此，不愉快状态判定装置10能够缩短从用户感觉到不愉快到进行消除不愉快原因的控制为止的经过时间，因此，能够提高用户的便利性。

此外，在不愉快状态判定装置10中，不愉快估计器学习部22仅进行生物体信息X、Y的学习，不愉快估计器21仅使用生物体信息X、Y，来判定用户的不愉快状态，但也可以使用举动信息取得部12所取得的举动信息，来判定用户的不愉快状态。

例如，在不愉快状态判定装置10中，不愉快估计器学习部22也可以学习表示举动信息取得部12所取得的举动信息的程度的阈值，不愉快估计器21使用该阈值，来判定用户的不愉快状态。由此，不愉快状态判定装置10能够根据用户无意识地示出的举动信息，检测用户的不愉快状态。

另外，本申请发明在该发明的范围内，能够进行各实施方式的自由组合、或者各实施方式中的任意的结构要素的变形、或者各实施方式中的任意的结构要素的省略。

产业利用性

本发明的不愉快状态判定装置基于估计出的用户的不愉快期间及多个生物体信息的反应时间，使向不愉快估计器输入该多个生物体信息的输入定时同步，因此，能够提高针对用户的不愉快状态的判定精度，适合于基于用户的生物体信息来判定该用户的不愉快状态的不愉快状态判定装置。

标号说明

10不愉快状态判定装置，11环境信息取得部，12举动信息取得部，13控制信息取得部，14控制信息数据库，15生物体信息取得部，16行动检测部，17行动信息数据库，18学习用数据库，19不愉快判定部，20不愉快期间估计部，21不愉快估计器，22不愉快估计器学习部，23估计参数保存部，t时刻，Δt不愉快期间，t1开始时刻，t2结束时刻，t3控制开始时刻，A环境温度，A′设定温度上限值，X、Y生物体信息，Xa、Ya平常状态的阈值，Xb、Yb不愉快状态的阈值，tx、ty反应时间。

Claims (3)

1.一种不愉快状态判定装置，其特征在于，

所述不愉快状态判定装置具备：

行动检测部，其根据与和用户的不愉快原因相应的举动相关的举动信息，检测按照不愉快原因的每个类别而预先设定的与用户的行动相关的行动信息；

不愉快期间估计部，其取得与由所述行动检测部检测到的所述行动信息对应的用户的不愉快期间的估计条件，使用与所述估计条件对应的历史信息来估计所述不愉快期间；

不愉快估计器，其基于用户的多个生物体信息估计该用户的不愉快状态；

不愉快估计器学习部，其基于由所述不愉快期间估计部估计出的所述不愉快期间，分别估计多个生物体信息的针对不愉快原因的反应时间，基于所述不愉快期间及所述反应时间，使向所述不愉快估计器输入多个生物体信息的输入定时同步；以及

不愉快判定部，其在所述行动检测部检测到所述行动信息的情况下，基于所述不愉快估计器的估计结果，判定用户的不愉快状态。

2.根据权利要求1所述的不愉快状态判定装置，其特征在于，

所述不愉快估计器仅使用如下的生物体信息估计用户的不愉快状态，其中，在所述不愉快估计器学习部估计出的多个反应时间中，该生物体信息的反应时间最短。

3.根据权利要求1或2所述的不愉快状态判定装置，其特征在于，

所述不愉快估计器学习部根据所述历史信息的蓄积量，对所述不愉快估计器进行使用了该历史信息的学习。

Images