CN107405120B - 信息处理装置、控制方法和程序 - Google Patents

信息处理装置、控制方法和程序 Download PDF

Info

Publication number
CN107405120B
CN107405120B CN201680017804.XA CN201680017804A CN107405120B CN 107405120 B CN107405120 B CN 107405120B CN 201680017804 A CN201680017804 A CN 201680017804A CN 107405120 B CN107405120 B CN 107405120B
Authority
CN
China
Prior art keywords
user
emotion
information
person
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680017804.XA
Other languages
English (en)
Other versions
CN107405120A (zh
Inventor
高桥亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107405120A publication Critical patent/CN107405120A/zh
Application granted granted Critical
Publication of CN107405120B publication Critical patent/CN107405120B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176—Recognition of faces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. SMS or e-mail
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting
    • G06Q10/1093—Calendar-based scheduling for persons or groups
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Abstract

[问题]提供一种可以使用用户的感测信息识别另一用户的情感的信息处理装置、控制方法和程序。[解决方案]一种信息处理装置，其包含：情感识别单元，其被配置成基于已经感测到的关于用户的信息和关于另一用户的信息识别所述另一用户的情感；以及通知控制单元，其被配置成实施控制，以使所述用户被通知关于已经识别出的所述另一用户的所述情感的信息。

Description

信息处理装置、控制方法和程序
技术领域
本公开内容涉及一种信息处理装置、一种控制方法和一种程序。
背景技术
近年来，已经提出一种用于基于生物信息估计人类情感(心理状态)并根据所估计生物信息控制装置的技术。
例如，以下专利文献1提出一种成像装置，其设置反映成为研究对象的人的心理状态的捕获参数并实施成像。
引用列表
专利文献
专利文献1：JP2013-239914A
发明内容
技术问题
在以上专利文献1中描述的技术基于由研究对象穿戴的传感器装置测量到的脉搏率、出汗量和呼吸率、从由摄影师握持的成像装置捕获的所捕获图像分析出的研究对象的眼睛移动和眨眼等等检测研究对象的心理状态。
然而，此技术迫使是研究对象的另一个人在实施成像时穿戴传感器装置，并且因此出现可用性差并且不实用的问题。
因此，本公开内容提出一种可以使用用户的感测信息识别另一用户的情感的信息处理装置、控制方法和程序。
问题的解决方案
根据本公开内容，提出一种信息处理装置，其包含：情感识别单元，其被配置成基于已经感测到的关于用户的信息和关于另一用户的信息识别该另一用户的情感；以及通知控制单元，其被配置成实施控制，以使该用户被通知关于已经识别出的该另一用户的情感的信息。
根据本公开内容，提出一种控制方法，其包含：基于已经感测到的关于一用户的信息和关于另一用户的信息识别该另一用户的情感；以及由通知控制单元实施控制，以使该用户被通知关于已经识别出的该另一用户的情感的信息。
根据本公开内容，提出一种程序，用于使计算机用作：情感识别单元，其被配置成基于已经感测到的关于一用户的信息和关于另一用户的信息识别该另一用户的情感；以及通知控制单元，其被配置成实施控制，以使该用户被通知关于已经识别出的该另一用户的情感的信息。
发明的有益效果
根据如上所述的本公开内容，可使用用户的感测信息识别另一用户的情感。
应注意，上述效果未必具有限制性。具有或代替以上效果，可以实现本说明书中所述的任一效果或可以从本说明书掌握的其它效果。
附图说明
图1是示出根据本公开内容的实施例的信息处理系统的概观的图示。
图2是显示根据第一实施例的信息处理装置的配置的实例的框图。
图3是显示情感的二维环状模型的图示。
图4是示出用户和另一个人在二维环状模型中在情感映射上类似的图示。
图5是显示根据本实施例的表示另一个人情感的转变(舒适-不舒适)的图形的实例的图示。
图6是显示根据本实施例的另一个人情感识别过程的流程图。
图7是显示根据本实施例的另一个人情感以及另一个人日程信息的图形显示的实例的图示。
图8是显示根据本实施例的情绪预测类型的另一个人情感的显示的实例的图示。
图9是显示根据本实施例的情绪预测类型的另一个人情感的显示的另一实例的图示。
图10是显示使用AR技术的另一个人情感的显示通知的实例的图示。
图11是显示在其中根据本实施例的估计另一个人情感的结果从日程管理应用输出的情况下的显示屏幕实例的图示。
图12A是示出其中自测量传感器也布置在另一个人侧上的情况的图示。
图12B是示出其中自测量传感器也布置在第三方一侧上的情况的图示。
图13是显示根据第二实施例的信息处理装置的配置的实例的框图。
图14是显示根据第三实施例的信息处理装置的配置的实例的框图。
图15是显示根据第四实施例的信息处理装置的配置的实例的框图。
图16是显示根据第四实施例的动作建议的实例的图示。
图17是显示根据第五实施例的信息处理装置的配置的实例的框图。
图18是用于示出根据第五实施例的即时消息屏幕的实例的图示。
图19是显示根据本公开内容的实施例的信息处理装置的硬件配置的说明图。
具体实施方式
在下文中，将参考附图详细描述本公开内容的优选实施例。在本说明书和附图中，具有实质上相同功能和结构的结构元件用相同参考编号表示，并且省略对这些结构元件的重复解释。
另外，将按以下次序提供描述。
1.根据本公开内容的一实施例的信息处理系统的概观
2.相应实施例
2-1.第一实施例
2-1-1.配置
2-1-2.操作
2-2.第二实施例
2-3.第三实施例
2-4.第四实施例
2-5.第五实施例
3.信息处理装置1的硬件配置
4.结论
<<1.根据本公开内容的实施例的信息处理系统的概观>>
根据本公开内容的实施例的信息处理系统能够基于从与另一人互动的用户感测到的传感器值识别另一个人的情感。
为识别另一个人的情感(心理状态)，通常需要使另一人穿戴传感器装置并分析通过捕获该另一人的图像获得的所捕获图像。然而，迫使另一人穿戴传感器装置以便知道该另一人的情感是不切实际的。此外，这是不准确的，因为存在其中另一人故意改变面部表情以便伪造他/她的情感的情况。
此处，在与另一个人互动时，假定用户的情感受该另一人的情感的影响。例如，用户在与另一人面对面进行对话时的情感和另一人的情感高度相关，并且其情感通常以在其中用户感到快乐的情况下另一人也感到快乐的方式匹配。
因此，根据本公开内容的信息处理系统基于从用户感测到的生物信息等等识别用户的情感，并且识别与该情感匹配、相似或相关的情感作为与该用户互动的另一个人(伙伴)的情感。因此，当使用本系统识别是互动伙伴的另一人的情感时，用户他/她自身仅需要穿戴(握持)预先确定的传感器装置，而无需迫使该另一人穿戴传感器装置。因此，这是实用的，并且方便性提高。在下文中，将参考图1描述根据本公开内容的此信息处理系统的概观。
图1是示出根据本公开内容的一实施例的信息处理系统的概观的图示。如图1中所示，在用户和另一个人P正进行面对面对话时，由该用户穿戴的信息处理装置1基于由自测量传感器感测到的该用户的生物信息等等和由另一个人测量传感器感测到的另一人P的所捕获图像等等识别另一人P的情感。信息处理装置1例如如图1中所示由透明玻璃型终端(智能眼镜)实现，并且通过透镜部分上的显示或音频输出来通知该用户另一人P的所识别情感。此允许用户在由另一人P伴随时实时知道另一人P的情感，而不迫使另一人P穿戴传感器装置。
此外，如果另一个人情感仅使用另一人P的所捕获图像基于另一人P的表情识别，则这是不准确的，因为存在如上所述其中该另一人故意改变面部表情以便伪造他/她的情感的情况。然而，在本实施例中，可以更准确地识别另一人P的情感，因为还利用在另一人P的影响下用户的生物信息等等。
此外，自测量传感器和另一个人测量传感器的至少一部分可以安装在由用户穿戴的信息处理装置1上或者可以安装在由用户穿戴的另一可穿戴装置上(诸如例如智能手环、智能手表或颈部穿戴式装置)。另一选择为，自测量传感器和另一个人测量传感器的至少一部分可以安装在由用户握持的移动终端上(诸如例如移动电话、智能电话或平板计算机终端)。
下文将使用多个实施例具体描述根据本公开内容的上述信息处理系统。
<<2.相应实施例>>
<2-1.第一实施例>
首先，将参考图2至图11具体描述本公开内容的第一实施例。
(2-1-1.配置)
图2是显示根据第一实施例的信息处理装置1-1的配置的实例的框图。如图2中所示，信息处理装置1-1具有自测量传感器值获取单元10、另一个人测量传感器值获取单元11、另一个人情感识别单元12、情感识别管理单元13、另一个人情感信息存储单元14、另一个人信息获取单元15、另一个人信息管理单元16、另一个人信息存储单元17、另一个人情感估计单元18和输出控制单元19。
自测量传感器值获取单元10获取由用户穿戴或握持的自测量传感器感测到的传感器值。该自测量传感器可以由感测生物信息(例如心率记录)的生物传感器实现，诸如例如脉搏波计或心电图仪、呼吸率计、汗水传感器、投影心搏仪、温度计、血压监视器、血糖计、视线检测装置或瞳孔测量装置。另一选择为，该自测量传感器可以由感测活动量信息的活动量传感器实现，诸如例如加速度传感器、角速度传感器、计步器或地磁传感器。另一选择为，该自测量传感器可以实现为其组合。
各种类型的自测量传感器可以安装在由用户穿戴的可穿戴装置上(诸如例如由智能眼镜、智能手环、智能手表或颈部穿戴式装置实现的信息处理装置1)，或者可以安装在用户的移动终端上。在其中自测量传感器作为信息处理装置1的外部装置存在的情况下，自测量传感器值获取单元10通过无线或有线通信从外部自测量传感器接收传感器值。
另一个人测量传感器值获取单元11获取由感测另一个人的另一个人测量传感器感测到的传感器值。该另一个人测量传感器可以例如由相机、麦克风、深度指示器、接近传感器、人类存在传感器、温度记录仪等等实现，或者可以实现为其组合。另一选择为，该另一个人测量传感器可以安装在由用户穿戴的可穿戴装置上，或者可以安装在由用户握持的移动终端上。另外，从另一人的情感还影响第三方的情感的观点来看，该另一个人测量传感器还能够感测伴随的第三方。
在本说明书中，另一个人是指根据本系统的情感识别的研究对象，以及通过对话等等与用户互动的伙伴(直接面对的伙伴或不直接面对但通过电话等等互动的伙伴)。另外，第三方是指除是情感识别的研究对象的伙伴以外的人，并且是通过对话等等与用户和另一人互动的人。
另一个人情感识别单元12基于由自测量传感器值获取单元10获取的自测量传感器值和由另一个人测量传感器值获取单元11获取的另一个人测量传感器值识别另一人的情感。除与另一人相关的传感器值以外，从如上所述另一人的情感还影响第三方的情感的观点来看，由另一个人测量传感器值获取单元11获取的另一个人测量传感器值可以是通过感测第三方获得的传感器值。此外，已经提出各种对人类情感进行分类的方法，并且在本实施例中使用由Russell提出的例如借助于二维环状模型的情感分类方法。图3是显示情感的二维环状模型的图示。图3中所示的二维环状模型通过将环上的相应情感布置在唤醒水平的程度(唤醒-睡眠)和舒适情感的程度(舒适-不舒适)的二维轴线上来整体涵盖情感。应注意，其它实例例如包含由Paul Ekman提出的分成惊喜、恐惧、愤怒、厌恶、悲伤和幸福六种情感的分类。
此处，在许多情况下，用户受该用户正与其互动的另一个人(伙伴)的影响，并且该用户的情感和该另一人的情感通常匹配、相似或相关。即，当在二维环状模型上映射伴随的两个人的情感时，用户和另一人通常在情感映射上类似，如图4中所示。
因此，根据本实施例的另一个人情感识别单元12基于相应传感器值识别用户的情感，并且识别与该情感匹配、相似或相关的情感作为另一人的情感。应注意，相关情感还包含与用户的情感对立的情感。
更具体来说，另一个人情感识别单元12能够基于从自测量传感器值提取的特征量和从另一个人传感器提取的特征量使用机器学习技术(例如支持向量机(SVM)、深度学习等等)和统计技术等等识别另一人的情感。
作为从自测量传感器值提取的特征量，在其中自测量传感器例如是脉搏波计的情况下，提取R-R间隔、间隔的平均值、均方根、LF/HF比(低频(LF)与高频(HF)之间的比)等等作为特征量。另一选择为，在其中自测量传感器是呼吸率测量传感器的情况下，可以提取呼吸率的平均值、均方根等等作为特征量。另一选择为，在其中自测量传感器是汗水传感器的情况下，可以提取皮肤电导水平(SCL)等等作为特征量。另一选择为，在其中自测量传感器是加速度传感器的情况下，可以提取峰值、平均速度等等作为特征量。
此外，作为从另一个人测量传感器值提取的特征量，在其中另一个人测量传感器例如是相机的情况下，从所捕获图像(静止图像/视频)提取灰度值、梯度值、四个方向特征、HOG特征、哈尔状特征等等作为特征量。另外，在其中可能已经从所捕获图像检测到面部的情况下，可以进一步提取表情相关信息(例如嘴部、眉毛、嘴唇或眼睑的角部的上升/下降程度、嘴部或眼睛的打开/闭合等等)作为特征量。另外，在其中可能已经从所捕获图像检测到身体的情况下，可以提取关于另一人的姿势或移动的信息作为特征量。另外，在其中另一个人测量传感器是温度记录仪的情况下，可以从红外图像提取另一人的温度信息作为特征量。另一选择为，在其中另一个人测量传感器是麦克风的情况下，可以提取另一人的语音的基频或声压、语速、第一至第三共振峰及其带宽等等作为特征量。
另一个人情感识别单元12能够基于机器学习技术将特征量(例如特别是结合自测量传感器值从脉搏波计获取的LF/HF比和从汗水传感器获取的SCL以及结合另一个人测量传感器值从相机获取的嘴部的角部或眉毛的上升/下降角度)输入到识别算法以识别另一个人情感。
对于用于另一个人情感的识别算法，例如考虑下文描述的四种情况。首先，作为情况1，假定独立于用户和情感识别的研究对象(另一个人)(即，不专用于个人)的通用识别算法。此外，作为情况2，假定针对每一用户生成(即，专用于个人用户)的识别算法。此外，作为情况3，假定针对情感识别的每一研究对象(另一个人)生成(即，专用于单独另一个人)的识别算法。然后，作为情况4，假定针对每一用户和情感识别的每一研究对象(另一个人)(即，专用于用户和特定另一个人的组合)的识别算法。例如，上述情况1中的识别算法可以提前存储在信息处理装置1-1中，并且上述情况2至情况4中的识别算法可以由另一个人情感识别单元12生成。
情感识别管理单元13具有在另一个人情感信息存储单元14中管理由另一个人情感识别单元12识别出的结果的功能。具体来说，情感识别管理单元13将由另一个人情感识别单元12识别出的结果存储在另一个人情感信息存储单元14中。此时，情感识别管理单元13可以存储与由与另一个人情感相关联的另一个人信息获取单元15在识别另一个人情感时获取的另一个人情感高度相关的另一个人信息(动作相关信息(例如日程信息)、生理现象信息或收入和支出信息)。
另一个人情感信息存储单元14是存储由另一个人情感识别单元12识别出的结果的数据库。
另一个人信息获取单元15从网络上的预先确定的服务器等等获取与另一个人相关的各种类型的信息。例如，另一个人信息获取单元15通过服务(例如社交网络服务(SNS))或从位于公司或教育机构中的数据库获取与另一个人相关的各种类型的信息。假定生理现象相关(例如月经周期、膳食、排泄、躁狂-抑郁或药物摄入)、日程相关(例如与朋友/熟人的联系、出席会议、交货日期、出差、上班/下班、上学/放学、考试或假期)、收入和支出相关(例如工资/奖金的汇款、购买历史记录或银行账户的提款/存款)以及其它信息(例如最喜欢的运动队的输/赢或股价变化)作为与另一个人相关的各种类型的信息的具体实例。应注意，可以根据用户与另一人之间的关系限制要获取的另一个人信息。例如，与生理现象相关的另一个人信息的获取可以限于其中用户和该另一人是家人的情况。
另一个人信息管理单元16具有在另一个人信息存储单元17中管理由另一个人信息获取单元15获取的另一个人信息的功能。具体来说，另一个人信息管理单元16将由另一个人信息获取单元15获取的另一个人信息存储在另一个人信息存储单元17中。
另一个人信息存储单元17是存储由另一个人信息获取单元15获取的另一个人信息的数据库。
另一个人情感估计单元18基于存储在另一个人情感信息存储单元14中的过去另一个人情感信息(也称为另一个人情感历史记录)和存储在另一个人信息存储单元17中的另一个人信息(具体来说，另一个人的动作相关信息)估计另一人的未来情感。例如，另一个人情感估计单元18通过统计技术等等实施倾向估计以从由另一个人信息指示的情况估计另一人的未来情感。具体来说，另一个人情感估计单元18能够实施此如下估计来估计另一人的未来情感：在“出席会议”和“交货日期”的周期中情绪通常往往不好(往往具有紧张或抑郁情绪)，并且在“工资/奖金的汇款”的周期中情绪通常往往良好(往往具有快乐或愉快情感)。另外，在其中另一个人情感和另一个人信息已经彼此相关联地累积在另一个人情感信息存储单元14中的情况下，另一个人情感估计单元18还能够使用过去另一个人情感历史记录估计另一人特有的情感倾向以估计另一个人情感。
输出控制单元19通过输出装置(未显示)实施输出控制，以便通知用户由另一个人情感识别单元12识别出的另一个人情感。对用户的通知可以是显示通知或音频通知。此外，输出控制单元19可以通过实施控制以使该用户被实时通知由另一个人情感识别单元12识别出的另一个人情感来告知用户当前伴随用户的另一个人(伙伴)的当前情感。此外，输出控制单元19可以告知用户由另一个人情感估计单元18估计出的未来另一个人情感。在其中信息处理装置1-1由智能眼镜实现的情况下，输出装置(未显示)可以是对应于在穿戴时定位在用户的眼睛之前的透镜部分的透明显示装置，或者可以是在穿戴时靠近于用户的耳朵定位的扬声器。该扬声器可以通过由定向扬声器或骨传导扬声器实现扬声器来更可靠地单独通知用户另一个人情感。另外，输出控制单元19并不限于提供在信息处理装置1-1中的显示装置或音频输出装置，而是可以将通知信息发射到外部装置(例如提供在由用户握持的移动终端中的显示装置或音频输出装置)以供通过该外部装置输出。
此外，输出控制单元19可以通过图形表示显示另一个人情感的通知。下文将显示图5中的实例提供描述。
图5是显示根据本实施例的表示另一个人情感的转变(舒适-不舒适)的图形的实例的图示。在图5中，以图形方式表示所累积过去另一个人情感、所识别当前另一个人情感和所估计未来另一个人情感的时间序列转变。图5中所示的图形允许用户直观地掌握另一个人(伙伴)的情绪正逐渐变得更好并且将然后变得不好。
上文已经具体描述根据本实施例的信息处理装置1-1的配置。应注意，信息处理装置1-1的配置并不限于图2中所示的实例，而是至少一部分可以存在于例如网络(所谓的云)上。
(2-1-2.操作)
随后，将参考图6描述根据本实施例的操作过程。图6是显示根据本实施例的另一个人情感识别过程的流程图。如图6中所示，首先，在步骤S103中，信息处理装置1-1的自测量传感器值获取单元10从自测量传感器获取用户的感测数据(也称为自测量传感器值)。此时，自测量传感器值获取单元10使所获取数据经历降噪和重新采样，并且将该数据格式化成在稍后阶段中容易在处理中利用的数据。
接着，在步骤S106中，另一个人测量传感器值获取单元11从另一个人测量传感器获取另一个人的感测数据(也称为另一个人测量传感器值)。此时，另一个人测量传感器值获取单元11使所获取数据经历降噪和重新采样，并且将该数据格式化成在稍后阶段中容易在处理中利用的数据。另外，在本实施例中，另一个人是与用户互动的伙伴，并且例如假定成与用户进行面对面对话的人。
然后，在步骤S109中，另一个人情感识别单元12从自测量传感器值和另一个人测量传感器值提取每一数据的特征量。例如，另一个人情感识别单元12提取特征量，例如结合自测量传感器值从心率传感器获取的LF/HF比或从汗水传感器获取的SCL以及结合另一个人测量传感器从相机获取的嘴部的角部或眉毛。
随后，在步骤S112中，另一个人情感识别单元12实施对其情感将被识别的研究对象(另一个人)的识别。具体来说，另一个人情感识别单元12基于从另一个人测量传感器获得的另一个人测量传感器值的特征量识别面对用户的另一人。对另一人的识别可以是另一人的存在与不存在之间的区分(用户是否由某人陪伴)，或者可以是关于另一人是否是用户的熟人的区分。另一人的存在与不存在之间的区分例如根据是否基于对话识别的结果与用户进行对话实施。此外，虽然另一个人情感识别的研究对象并不限于图6中所示流程中的用户的熟人，但是在将另一个人情感识别限于用户的熟人的情况下，另一个人情感识别单元12例如基于另一个人面部识别的结果根据该另一人是否对应于在SNS上注册的朋友或对应于属于相同团体(例如公司或教育机构)的人实施关于该另一人是否是熟人的区分。
接着，在步骤S115中，另一个人情感识别单元12识别当前另一个人情感。具体来说，另一个人情感识别单元12基于自测量传感器值的特征量和另一个人测量传感器值的特征量使用机器学习技术(例如神经网络)识别在以上S112中识别出的另一人的情感。例如，另一个人情感识别单元12使用以下表达式1在特征空间中映射相应特征量以识别另一人的情感。在以下表达式1中，特征量的总数由N表示，并且相应特征量由V1、V2…VN表示。另外，相应特征量可以经历预先确定的加权。
(表达式1)
Figure BDA0001416218490000101
接着，在步骤S118中，另一个人情感估计单元18基于另一个人情感历史记录和另一个人信息估计另一人的未来情感。例如，另一个人情感估计单元18将另一个人情感历史记录应用于统计模型(例如自回归模型)以估计另一人的未来情感。此时，另一个人情感估计单元18能够参考来自存储在另一个人信息存储单元17中的另一个人信息的与情感高度相关的信息(例如月经周期)以增加估计另一个人情感的准确度。另外，另一个人情感估计单元18还能够将信息(例如另一人最喜欢的运动队的输/赢)视为刺激以增加估计另一个人情感的准确度。
然后，在步骤S121中，输出控制单元19实施控制，以便显示并通知用户所识别另一个人情感或所估计另一个人情感。此外，当输出控制单元19实时通知用户所识别当前另一个人情感时，该用户可以实时知道当前对话的伙伴的当前情感。
上文已经具体描述根据本实施例的另一个人情感识别过程。应注意，上述过程是实例，并且本实施例并不限于此。例如，输出控制单元19可以比较由另一个人情感识别单元12识别出的当前另一个人情感与由另一个人情感估计单元18估计出的未来另一个人情感，并且在其中预测另一人的情绪将从现在开始显著改变的情况下，可以通知用户该情绪变化。
此外，输出控制单元19可以比较基于另一个人情感历史记录的平均情绪与未来另一个人情感，并且在其中出现统计显著差异的情况下，可以确定另一人的情绪将改善/恶化并通知用户该情绪变化。另一选择为，输出控制单元19可以在不使用统计技术的情况下基于特定阈值标准确定情绪变化。
(2-1-3.显示实例)
随后，将参考图7至图11具体描述由本实施例的输出控制单元19向用户通知另一个人情感的显示实例。
图7是显示根据本实施例的另一个人情感以及另一个人日程信息的图形显示的实例的图示。图7中所示的图形类似于图5中所示的图形显示另一个人情感从过去到未来的转变，并且具体来说，实线部分显示过去另一个人情感，并且虚线部分显示未来另一个人情感。另外，在图7中所示的实例中，从另一个人信息提取与情感高度相关的事件并与图形一起显示。此允许用户直观地掌握另一个人在“午餐”和“外出就餐”时处于良好情绪中，并且在进行“在上级前的发言”时处于不好情绪中(改变为紧张状态或抑郁状态)。应注意，可以根据用户与另一人之间的关系改变另一人的日程向用户的公开程度。例如，在其中用户与另一人之间的新紧密度高(即，隐私级别低)的情况下，输出控制单元19使所显示日程以更稀疏方式并且用较大数字显示(或使满足根据该隐私级别的公开程度的日程被显示)。
图8是显示根据本实施例的情绪预测类型的另一个人情感的显示的实例的图示。如图8中所示，在情绪预测中，由另一个人情感估计单元18基于另一个人信息(例如日程信息)和另一个人情感历史记录估计的情感每几个小时显示一次。此允许用户掌握另一个人在一天中情绪的转变。
具体来说，在情绪预测中，每次显示时间、情绪(极好-良好-普通-不好-极不好)、情感(例如愉快、快乐、正常、紧张)、可靠性和影响预测的因素。应注意，“情绪”根据由另一个人情感估计单元18估计出的情感确定。此外，“情感”可以通过文本显示，或者可以通过表达情感的面部图像(诸如例如头像、插图或另一人的实际面部图像的经编辑版本)显示，如图8中所示。
此外，在其中可能已经在情绪预测的显示之后实际观察到另一人的情感的情况下，输出控制单元19可以根据实际观察到的另一人的情感显示面部图像作为“所观察表情”。在图8中所示的实例中，预测另一个人情感在0:00-06:00将是“正常”，从面部图像看出，实际观察到的另一个人情感也是“正常”。此外，虽然预测另一个人情感在06:00-12:00将是“快乐”，但是从面部图像看出，实际观察到的另一个人情感是“正常”。另外，在其中可能尚未观察到实际另一个人情感或时间尚未到达的情况下，“尚未获取”显示在“所观察表情”的字段中。
此外，如图8中所示，预测可靠性也可以显示在情绪预测显示中。预测可靠性例如基于当另一个人情感估计单元18估计另一个人情感时利用的总体另一个人情感历史记录、与包含在另一个人信息中的情感高度相关的事件(即，因素)的存在/不存在以及相关强度、到目前为止的预测准确度等等计算。
此外，如图8中所示，影响预测的因素也可以显示在情绪预测显示中。此因素从另一个人信息提取，并且是与用于另一个人情感的估计的情感高度相关的事件，并且例如假定睡眠时间、用餐时间、用餐内容(是否是最喜欢的菜等)、工作日程(内勤、外勤、出差、发言等)、换乘期间列车的拥挤程度等等。此处，是显示还是隐藏要向用户公开的因素可以根据用户与另一人之间的关系决定。
上文已经具体描述情绪预测类型的另一个人情感的显示实例。应注意，一天中(每几个小时)的情绪预测显示实例显示在图8中所示的实例中，然而本实施例并不限于此，而是可以例如如图9中所示采用一周(每天一次)的情绪预测显示实例。
图9是显示根据本实施例的情绪预测类型的另一个人情感的显示的另一实例的图示。如图9中所示，在每周情绪预测中，显示另一个人(例如，A女士)从周一至周日的情绪预测。关于所显示情绪、情感、所观察表情、可靠性和影响预测的因素的更多详细描述类似于参考图8描述的情绪预测的实例。
应注意，显示实际观察到的另一人的情感的表情显示在图8和图9中所示的实例中，然而本实施例并不限于此，而是可以允许另一人他/她自身给出反馈。例如，还假定其中实际观察到的表情和另一人的真实情感不同的情况，并且因此，当另一人他/她自身向本系统给出关于他/她自己的情感的反馈时，真实另一个人情感被反馈给用户，并且用于在准确度上提高另一个人情感估计，这提高本系统的便利性。
上述图形和情绪预测图像可以显示在用户的智能电话、移动电话、平板计算机终端、个人计算机(PC)等等的显示单元上。另外，在其中信息处理装置1由智能眼镜实现的情况下，输出控制单元19可以使上述图形和情绪预测图像使用增强现实(AR)技术显示在智能眼镜的透明显示单元上。下文将参考图10提供描述。
图10是显示使用AR技术的另一个人情感的显示通知的实例的图示。当信息处理装置1如10图中所示由智能眼镜实现时，透明显示单元提供在在由用户穿戴时定位在用户的眼睛之前的透镜部分处。此处，当处于穿戴信息处理装置1的状态中的用户正与另一个人进行对话时，信息处理装置1识别存在于用户的眼睛之前的另一人以识别并估计另一个人情感，并且实施控制，以使表示另一个人情感的转变的图形图像30与存在于实空间中的另一人P相对应按叠加方式显示在实空间中，例如如图10中所示。此允许用户直观地掌握对话伙伴的情感。
应注意，何时实施另一个人情感的显示的定时可以是当信息处理装置1识别另一人P时，或者可以是当确定用户正基于自测量传感器值关注另一人P时(诸如例如当实施对用户的视线的检测并确定用户正看着另一人P时)。
此外，还可通过语音通知用户上述另一个人情感的转变和情绪预测的图形。例如，输出控制单元19可以通过提供在信息处理装置1中的扬声器(未显示)进行预测公告，例如“A女士在一周的前半周中将处于良好情绪中，并且在后半周中有时处于不好情绪中”。
此外，根据本实施例的输出控制单元19可以结合另一服务或系统通知用户所识别/所估计另一个人情感。例如，输出控制单元19能够结合公司日程管理应用按列表形式显示会议出席者的情绪。下文将参考图11具体提供描述。
图11是显示在其中根据本实施例的估计另一个人情感的结果从日程管理应用输出的情况下的显示屏幕实例的图示。如图11中所示，日程屏幕32包含日程信息，例如主持人、主题、地点、开始日期和时间、完成日期和时间以及出席者。这些信息已经例如由用户(此处，“AAA先生”)在制定日程时输入。
此外，在本实施例中，如图11中所示，显示估计参议会议的每一出席者的情感的结果。此情感估计的结果通过由另一个人情感估计单元18估计每一出席者在会议的日期和时间的情感来获得，并且由人物的表情表示，例如如图11中所示。此允许用户知道DDD先生(总经理)和FFF先生(部门主管)在会议期间似乎处于不好情绪中。另外，不仅每一出席者的个人情感，而且通过组合表示相应出席者的情感的数值(例如通过例如线性和的方法)计算的整体情感可以显示在日程屏幕32上。
另外，在本实施例中，每一出席者的生产力贡献率也根据每一会议出席者的所估计情感计算，并且与表示每一出席者的情感的人物相对应显示，如图11中所示。此外，在本实施例中，对整体生产力的整体评估也基于每一出席者的所估计情感和生产力贡献率计算，并且显示为“整体生产力评估”，如图11中所示。用户可以参考相应出席者的这些所估计情感和生产力贡献率以及整体生产力评估决定是否举行会议、暂停会议或改变会议时间。
此处，当用户选择包含在日程屏幕32中的“时间改变”按钮时，信息处理装置1可以基于由另一个人情感估计单元18进行的估计的结果从当前设置的会议日期和时间之前和之后的预先确定的日期之中寻找整体生产力评估高的日期和时间以供建议给用户。
另外，在本实施例中，以下使用形式可被视为结合另一服务或系统利用所识别/所估计另一个人情感的实例。例如，在其中信息处理装置1能够控制音乐播放器的情况下，实施反映另一个人的情感的歌曲选择，例如当伴随用户的另一人抑郁时播放令人鼓舞的歌曲，并且当另一人放松时，通过使均衡器进入流行曲调模式来根据另一人的情感进行播放模式改变。因此，可例如通过音乐愉悦拜访该用户的房间的另一个人。
此外，在其中信息处理装置1能够控制相机的情况下，可以实施根据另一个人的情感的快门控制(诸如例如当情绪良好时按击快门)、参数设置或捕获模式的切换(诸如例如当情绪良好时过度曝光)。
此外，在其中信息处理装置1能够控制游戏机的情况下，并且当与用户进行游戏的另一个人的情感处于“无聊”状态中时，可以通过在游戏期间引发事件等等来作出高度维持另一人对游戏的集中度的尝试。
另外，在其中信息处理装置1能够控制房间的照明的情况下，可以实施根据另一个人情感的照明控制，例如当另一个人放松并且狂喜时，将照明改变为暖色温。
以此方式，根据本实施例的信息处理装置1可以根据另一个人的所识别/所估计情感控制在房间中播放的音乐或照明来招待另一人，而不迫使另一人穿戴传感器装置等等。另外，信息处理装置1可以根据另一人的所识别/所估计情感实施适当相机控制或游戏控制。
如上所述，根据本实施例的信息处理系统可以使用用户的感测信息识别另一个人的情感、而不迫使另一人穿戴传感器装置，并且可以实现实用系统。此外，除实时识别另一人的当前情感以立即通知与该另一人互动的用户以外，根据本实施例的信息处理系统还能够基于另一个人信息和另一个人情感历史记录估计另一人的未来情感以提前通知用户。
应注意，根据本实施例的信息处理系统不仅可以在用户自愿利用本系统时连续识别/估计另一人的情感，并且还可以在另一人的情绪似乎显著改善/恶化时通知用户。上文已经描述根据第一实施例的信息处理系统。
<2-2.第二实施例>
随后，将参考图12至图13描述根据本公开内容的第二实施例的信息处理系统。在上述第一实施例中，自测量传感器如图1中所示存在于用户侧上，然而本公开内容并不限于此，而是自测量传感器可以存在于除用户以外的人处。例如，在其中是情感识别的研究对象的另一人P已经同意穿戴自测量传感器的情况下，自测量传感器也如图12A中所示布置在另一人P侧上，并且信息处理装置1可以使用从两种类型的自测量传感器获取的自测量传感器值和从用户侧上的另一个人测量传感器获取的另一个人测量传感器值识别另一人P的情感。在此情况下，可以预期，另一个人情感识别在准确度上提高。
此外，在其中如图12B中除用户和另一人P1以外的第三方P2已经同意穿戴自测量传感器的情况下，自测量传感器也布置在第三方P2侧上，并且信息处理装置1可以使用从两种类型的自测量传感器获取的自测量传感器值和从用户侧上的另一个人测量传感器获取的另一个人测量传感器值识别另一人P的情感。从另一人P1的情感还影响第三方P2的情感的此观点来看，可以预期，在此情况下，另一个人情感识别也在准确度上提高。
将参考图13描述根据本实施例的信息处理装置1-2在如上所述使用两种类型的自测量传感器的情况下的配置。
图13是显示根据第二实施例的信息处理装置1-2的配置的实例的框图。如图13中所示，信息处理装置1-2具有第一自测量传感器值获取单元10a、第二自测量传感器值获取单元10b、另一个人测量传感器值获取单元11、另一个人情感识别单元12、情感识别管理单元13、另一个人情感信息存储单元14、另一个人信息获取单元15、另一个人信息管理单元16、另一个人信息存储单元17、另一个人情感估计单元18和输出控制单元19。
信息处理装置1-2的配置不同于参考图2所述的信息处理装置1-1的配置之处在于包含第一自测量传感器值获取单元10a和第二自测量传感器值获取单元10b。第一自测量传感器值获取单元10a从感测用户的自测量传感器获取传感器值，并将该传感器值输出到另一个人情感识别单元12。此外，第二自测量传感器值获取单元10b从感测另一人(伙伴)或第三方的自测量传感器获取传感器值，并将该传感器值输出到另一个人情感识别单元12。感测另一人或第三方的自测量传感器由另一人或第三方穿戴/握持，并且感测另一人或第三方的生物信息和活动量信息。
然后，另一个人情感识别单元12使用从用户感测到的传感器值、从另一人或第三方感测到的传感器值和由由用户穿戴/握持的另一个人测量传感器感测到的另一人的传感器值识别另一个人情感。在本实施例中，通过以此方式使用从另一人或第三方感测到的传感器值，另一个人情感识别在准确度上提高。
应注意，信息处理装置1-2的其它组件类似于参考图2所述的信息处理装置1-1的具有相同名称的组件，并且因此，此处省略描述。
上文已经描述在其中自测量传感器也穿戴/握持在另一人或第三方侧上的情况下的根据第二实施例的信息处理系统。
<2-3.第三实施例>
接着，将描述根据本公开内容的第三实施例的信息处理系统。在上述第一实施例中，对另一个人情感的识别基于由自测量传感器感测到的传感器值和由另一个人测量传感器感测到的传感器值实施，然而本公开内容并不限于此。例如，在根据本公开内容的信息处理系统中，可在不使用由另一个人测量传感器感测到的传感器值的情况下识别另一个人情感。下文将参考图14具体描述根据第三实施例的此信息处理装置1-3的配置。
图14是显示根据第三实施例的信息处理装置1-3的配置的实例的框图。如图14中所示，信息处理装置1-3具有自测量传感器值获取单元10、另一个人情感识别单元12、情感识别管理单元13、另一个人情感信息存储单元14、另一个人信息获取单元15、另一个人信息管理单元16、另一个人信息存储单元17、另一个人情感估计单元18和输出控制单元19。
与参考图2所述的信息处理装置1-1的配置相比，信息处理装置1-3的不同之处在于不包含另一个人测量传感器值获取单元11。信息处理装置1-3的另一个人情感识别单元12仅基于从自测量传感器值获取单元10输出的传感器值(即，由自测量传感器从用户感测到的传感器值)识别另一个人情感。
应注意，信息处理装置1-3的其它组件类似于参考图2所述的信息处理装置1-1的具有相同名称的组件，并且因此，此处省略描述。
以此方式，根据第三实施例的信息处理装置1-3在不使用另一个人测量传感器值的情况下识别另一个人情感，此消除对用于安装另一个人测量传感器的成本和空间的需要，并且可有助于系统的成本减少和空间减少。
<2-4.第四实施例>
随后，将参考图15和图16描述根据本公开内容的第四实施例的信息处理系统。在上述实施例中的每一者中已经描述，用户由输出控制单元19通知所识别/所估计另一个人情感，然而本公开内容并不限于此，而是例如根据所识别/所估计另一个人情感的动作可以建议给用户。下文将参考图15描述根据第四实施例的此信息处理装置1-4的配置。
图15是显示根据第四实施例的信息处理装置1-4的配置的实例的框图。如图15中所示，信息处理装置1-4具有自测量传感器值获取单元10、另一个人测量传感器值获取单元11、另一个人情感识别单元12、情感识别管理单元13、另一个人情感信息存储单元14、另一个人信息获取单元15、另一个人信息管理单元16、另一个人信息存储单元17、另一个人情感估计单元18、输出控制单元19和动作建议单元20。
动作建议单元20基于由另一个人情感识别单元12识别出的当前另一个人情感或由另一个人情感估计单元18估计出的另一个人情感和另一个人信息(例如另一人的日程信息、待办事项列表、位置信息、爱好或偏好)向用户建议适当动作。动作建议单元20向输出控制单元19发送指示所建议动作的文本信息等等，并且输出控制单元19明确指示与另一个人情感的通知一起建议给用户的动作。
此处，将参考图16描述由动作建议单元20建议的动作的实例。图16是显示根据第四实施例的动作建议的实例的图示。如图16中所示，新动作可以例如与显示另一个人情感的转变的图形一起建议给用户。更具体来说，估计，另一个人的情绪将从当前时间(即，午餐时间)朝向将在下午进行的“在上级前的发言”的事件恶化，例如，如图16中所示，并且因此，建议鼓励伙伴的适当交流，例如“发送电子邮件说‘祝你发言好运！’如何？”。还估计，在“在上级前的发言”的事件之后的“外出就餐”时的情绪将变好(情感：欣喜、变得愉快)，并且因此，建议看看伙伴情况如何的适当交流定时，例如“进行联系如何？”。
此外，动作建议单元20并不限于如上所述新动作的建议，而是可以例如根据所识别/所估计另一个人情感关于现有计划向用户作出建议。具体来说，动作建议单元20可以向用户建议“EEE先生(部门主管)似乎处于不好情绪中，因此让我们将定于今天10:00的关于话题Q的会议推迟到17:00，那时EEE先生(部门主管)将处于良好情绪中”来推迟现有计划。动作建议单元20还可以向用户建议“JJ女士似乎处理处于不好情绪中，因此让我们取消与JJ女士在星期六的约会”来暂停现有计划。
此外，动作建议单元20可以根据所识别/所估计另一个人情感向用户建议新计划。例如，动作建议单元20基于估计用户的朋友的情感的结果建议此交流：“KK女士似乎在今天的课程后处于良好情绪中，因此要求她外出如何？”。另一选择为，动作建议单元20可以基于待办事项列表的内容和估计另一个人情感的结果建议此任务：“MM女士明天早上将处于良好情绪中，因此明天上午实施计划要和MM女士一起做的打扫房间Z的任务如何？”。
<2-5.第五实施例>
接着，将描述根据本公开内容的根据第五实施例的信息处理系统。在上述实施例中的每一者中已经描述，可由另一个人情感估计单元18基于另一个人信息和另一个人情感历史记录估计未来另一个人情感，然而在本实施例中，利用对另一个人情感的估计向用户通知存在于远处的另一个人的情感。即，由于可以估计另一人的未来情感，因此即使在其中用户不由另一人伴随的情况下也可估计另一人的当前情感，并且通知用户。下文将参考图17具体描述根据第五实施例的此信息处理装置1-5的配置。
图17是显示根据第五实施例的信息处理装置1-5的配置的实例的框图。如图17中所示，信息处理装置1-5具有自测量传感器值获取单元10、另一个人情感识别单元12、情感识别管理单元13、另一个人情感信息存储单元14、另一个人信息获取单元15、另一个人信息管理单元16、另一个人信息存储单元17、另一个人情感估计单元18、输出控制单元19和表情转换单元21。
表情转换单元21将由另一个人情感估计单元18估计的另一人的当前情感转换成表情。到表情的转换例如通过在对应于另一人的面部图像(诸如例如，头像、插图或另一人的实际面部图像)中编辑表情来实现。
输出控制单元19通知用户另一人的所识别/所估计情感，类似于上述实施例中的每一者。此外，根据本实施例的输出控制单元19还能够在显示来自另一人的即时消息的即时消息屏幕上通过由表情转换单元21转换的表情明确指示作为消息发起人或目的地的另一人的情感以供通知给用户。下文将参考图18描述此即时消息屏幕。
图18是用于示出根据第五实施例的即时消息屏幕的实例的图示。在图18中所示的即时消息屏幕34上，列出与相应伙伴的最后消息。当用户选择这些伙伴中的一者时，即时消息屏幕34转变为与所选伙伴的消息历史记录的屏幕。
此外，在即时消息屏幕34上，每一伙伴的姓名、面部图像和最后消息的发射/接收的时间(即，最后对话时间)与每一伙伴的最后消息一起显示。此处，即时消息屏幕34上显示的相应伙伴的面部图像341至343根据每一伙伴的当前情感各自实时转换成表情。每一伙伴的当前情感可以由另一个人情感估计单元18使用另一个人情感历史记录和另一个人信息估计。即，在其中另一人存在于远处并且未正与用户进行对话的情况下，不容易由另一个人情感识别单元12使用自测量传感器值(例如如上所述受另一个人情感影响的用户的生物信息)识别另一个人情感，但是由另一个人情感估计单元18基于过去另一个人情感历史记录进行的估计是可能的。
因此，当回复与“妈妈”的最后消息“你今天吃了晚餐吗？”时，例如，“妈妈”的当前情感反映在面部图像341上，并且用户可以知道伙伴的当前情绪。在图18中所示的实例中，估计，“妈妈”的当前情绪不好(情感：悲伤、抑郁)，并且因此，用户可以延迟回复消息的定时，或者考虑到伙伴处于不好情绪中回复消息(诸如例如“对不起，我回复迟了。请为我做晚餐”)。
以此方式，根据本实施例，可以估计未正与用户进行对话并且存在于远处的另一人的当前情感，并且可以将其通知用户，并且用户可以在掌握伙伴的情感时发送最佳消息。
应注意，在本实施例中，另一个人情感由表情转换单元21转换成表情并且将其通知用户，然而本实施例并不限于此，而是另一个人情感可以例如转换成文本或颜色，并且可以将其通知用户。例如，在即时消息屏幕上，显示文本(例如“良好情绪”或“不好情绪”)，或者与伙伴的姓名或个人简介图像(例如图标或面部图像)相对应用预先确定的颜色显示良好或不好情绪(诸如例如通过当情绪良好时用暖色表示伙伴的姓名或显示区域，并且当情绪不好时用冷色表示伙伴的姓名或显示区域)。
<<3.信息处理装置1的硬件配置>>
上文已经描述根据本公开内容的相应实施例的信息处理装置1-1至1-5。上述信息处理装置1-1至1-5的每一功能通过软件与硬件之间的合作实现，下文将对其进行描述。
图19是显示根据本公开内容的一实施例的信息处理装置1的硬件配置的说明图。如图19中所示，信息处理装置1包含中央处理单元(CPU)101、只读存储器(ROM)102、随机存取存储器(RAM)103、桥接器104、输入单元105、输出单元106、存储单元107、网络接口(I/F)108和无线通信I/F109。
CPU 101充当算术处理装置，并且与各种程序合作以实现信息处理装置1中的自测量传感器值获取单元10、另一个人测量传感器值获取单元11、另一个人情感识别单元12、情感识别管理单元13、另一个人信息获取单元15、另一个人信息管理单元16、另一个人情感估计单元18、输出控制单元19、动作建议单元20和表情转换单元21的操作。此外，CPU 101可以是微处理器。ROM102存储CPU 101使用的程序、算术参数等等。RAM 103临时存储在CPU 101的执行中使用的程序、在执行中视需要改变的参数等等。信息处理装置1中的另一个人情感信息存储单元14和另一个人信息存储单元17的一部分由ROM102和RAM 103实现。CPU 101、ROM 102和RAM 103通过配置有CPU总线等的内部总线相互连接。
输入单元105配置有用于用户输入信息的输入构件(例如鼠标、键盘、触摸面板、按钮、麦克风、相机、开关和操作杆)、基于由用户进行的输入生成输入信号并将输入信号输出到CPU 101的输入控制电路等等。信息处理装置1的用户可以通过操作输入单元105输入各种类型的数据并向信息处理装置1指示处理操作。
输出单元106向显示装置实施输出，例如使用全息光学技术提供显示的透镜单元(透明显示单元的实例)，例如，液晶显示(LCD)装置或有机发光二极管(OLED)装置。此外，输出单元106可以通过扬声器或耳机实施音频输出。
存储单元107是用于存储数据的装置。存储单元107可以包含存储媒体、将数据记录在存储媒体中的记录装置、从存储媒体读出数据的读出装置和删除记录在存储媒体中的数据的删除装置等等。存储单元107存储CPU 101执行的程序和各种类型的数据。
网络I/F 108是配置有用于连接到网络的通信装置的通信接口。此外，网络I/F108可以是适于无线局域网(LAN)的通信设备或适于长期演进(LTE)的通信设备。网络I/F108构成另一个人信息获取单元15的一部分，并且另一个人信息获取单元15能够从网络上的预先确定的服务器获取另一个人信息。
无线通信I/F 109是用于连接到信息处理装置或信息处理装置1外部的外围设备的通信接口。应注意，此处，其被配置成包含无线通信I/F 109作为实例，然而可以采用通过有线通信连接到外部信息处理装置或外围设备的通信接口。
<<4.结论>>
如上所述，在根据本公开内容的实施例的信息处理系统中，可使用用户的感测信息识别另一用户(另一个人)的情感。因此，在识别另一人的情感时不迫使另一人穿戴传感器装置，并且可以实现更实用系统，这提高便利性。
此外，在根据本实施例的信息处理系统中，通过在用户正与另一人进行对话等等时实时通知用户另一个人的情感，用户可以考虑伙伴的情绪采取措施。另外，在根据本实施例的信息处理系统中，通过估计未来另一个人情感并提前通知用户，用户可以考虑伙伴的情绪改变计划或采取动作。
另外，在根据本实施例的信息处理系统中，还可根据另一个人情感向用户作出适当动作建议，并且通知用户另一人的当前情感和另一人的未来情感。
上文已经参考随附图式描述本公开内容的优选实施例，然而本公开内容并不限于以上实例。所属领域的技术人员可以在所附权利要求的范围内找出各种变更和修改，并且应理解，其将自然落入本公开内容的技术范围内。
例如，还可创建用于使硬件(例如构建于上述信息处理装置1中的CPU 101、ROM102和RAM 103)发挥信息处理装置1的功能的计算机程序。此外，还提供其中记录有计算机程序的计算机可读存储媒体。
此外，在本说明书中，不一定需要按如流程图所述的次序按时间序列方式处理信息处理装置1的操作中的相应步骤。例如，信息处理装置1的操作中的相应步骤可以按不同于如流程图所述次序的次序处理，或者可以并行处理。具体来说，图6中所示的步骤S103和步骤S106可以按相反次序或同时实施，并且步骤S115和步骤S118可以按相反次序或同时实施。
此外，本说明书中所述的效果仅是示例性和例证性效果，而不具有限制性。即，具有或代替以上效果，根据本公开内容的技术可以实现所属领域的技术人员根据本说明书的描述显而易见的其它效果。
另外，本技术还可以如下配置。
(1)
一种信息处理装置，其包含：
情感识别单元，其被配置成基于已经感测到的关于用户的信息和关于另一用户的信息识别该另一用户的情感；以及
通知控制单元，其被配置成实施控制，以使该用户被通知关于已经识别出的该另一用户的情感的信息。
(2)
根据(1)所述的信息处理装置，其中
关于该用户的该信息是该用户的生物信息。
(3)
根据(2)所述的信息处理装置，其中
该生物信息包含心率传感器值或汗水传感器值，并且
该情感识别单元基于从该生物信息提取的特征量识别该另一用户的情感。(4)
根据(2)或(3)所述的信息处理装置，其中
该情感识别单元识别与基于从该生物信息提取的特征量识别出的该用户的情感匹配、相似或相关的情感作为该另一用户的情感。
(5)
根据(2)至(4)中的任一项所述的信息处理装置，其中
关于该用户的该信息进一步包含该用户的活动量信息。
(6)
根据(5)所述的信息处理装置，其中
该活动量信息包含加速度传感器值、角速度传感器值、计步器值或地磁传感器值。
(7)
根据(2)至(6)中的任一项所述的信息处理装置，其中
关于该另一用户的信息是该另一用户的表情信息。
(8)
根据(7)所述的信息处理装置，其中
该表情信息包含基于从通过对该另一用户进行成像获得的面部图像提取的特征点的嘴部的角部或眉毛的位置，并且
该情感识别单元进一步基于从该表情信息提取的特征量识别该另一用户的情感。
(9)
根据(7)或(8)所述的信息处理装置，其中
关于该另一用户的该信息包含该另一用户的所收集语音信息、所感测姿势信息或从红外图像获取的温度信息。
(10)
根据(2)至(9)中的任一项所述的信息处理装置，其中
关于该用户的该信息和关于该另一用户的该信息是从由该用户握持的传感器装置获得。
(11)
根据(2)至(10)中的任一项所述的信息处理装置，其中
该情感识别单元参考第三方的所感测生物信息识别该另一用户的情感。
(12)
根据(1)至(11)中的任一项所述的信息处理装置，其进一步包含：
情感估计单元，其被配置成基于从累积关于由该情感识别单元识别出的该另一用户的情感的信息的存储单元提取的另一用户情感历史记录估计该另一用户的未来情感。
(13)
根据(1)至12中的任一项所述的信息处理装置，其中
该通知控制单元实施控制，以使该另一用户的情感的转变按时间序列方式显示。
(14)
根据(12)所述的信息处理装置，其中
该通知控制单元实施控制，以使该另一用户的情感预测基于由该情感估计单元进行的估计的结果显示。
(15)
根据(1)至(14)中的任一项所述的信息处理装置，其进一步包含：
动作建议单元，其被配置成根据该另一用户的情感向该用户建议预先确定的动作。
(16)
根据(12)所述的信息处理装置，其中
该情感估计单元估计该另一用户的当前情感，并且
该通知控制单元实施控制，以使该用户被实时通知已经估计出的该另一用户的情感。
(17)
根据(12)或(16)所述的信息处理装置，其中
该情感估计单元基于该另一用户情感历史记录和该另一用户的动作相关信息估计该另一用户的情感。
(18)
一种控制方法，其包含：
基于已经感测到的关于用户的信息和关于另一用户的信息识别该另一用户的情感；以及
由通知控制单元实施控制，以使该用户被通知关于已经识别出的该另一用户的情感的信息。
(19)
一种程序，用于使计算机用作：
情感识别单元，其被配置成基于已经感测到的关于用户的信息和关于另一用户的信息识别该另一用户的情感；以及
通知控制单元，其被配置成实施控制，以使该用户被通知关于已经识别出的该另一用户的情感的信息。
参考符号列表
1、1-1至1-5信息处理装置
10 自测量传感器值获取单元
10a 第一自测量传感器值获取单元
10b 第二自测量传感器值获取单元
11 另一个人测量传感器值获取单元
12 另一个人情感识别单元
13 情感识别管理单元
14 另一个人情感信息存储单元
15 另一个人信息获取单元
16 另一个人信息管理单元
17 另一个人信息存储单元
18 另一个人情感估计单元
19 输出控制单元
20 动作建议单元
21 表情转换单元
P、P1 另一个人
P2 第三方。

Claims (17)

1.一种信息处理装置，其包括：
情感识别单元，其被配置成基于已经感测到的关于用户的信息和关于另一用户的信息来识别所述另一用户的情感，其中，关于所述另一用户的信息是从用户侧上的传感器装置获得；以及
通知控制单元，其被配置成实施控制，以使所述用户被通知关于已经识别出的所述另一用户的所述情感的信息，
其中，关于所述用户的信息是所述用户的生物信息，并且
其中，关于所述另一用户的信息是所述另一用户的表情信息，其中
所述生物信息包含心率传感器值或汗水传感器值，并且
所述表情信息包含基于从通过对所述另一用户进行成像获得的面部图像提取的特征点的嘴部的角部或眉毛的位置。
2.根据权利要求1所述的信息处理装置，其中
所述情感识别单元基于从所述生物信息提取的特征量识别所述另一用户的所述情感。
3.根据权利要求1所述的信息处理装置，其中
所述情感识别单元识别与基于从所述生物信息提取的特征量识别出的所述用户的情感匹配、相似或相关的情感作为所述另一用户的所述情感。
4.根据权利要求1所述的信息处理装置，其中
关于所述用户的所述信息进一步包含所述用户的活动量信息。
5.根据权利要求4所述的信息处理装置，其中
所述活动量信息包含加速度传感器值、角速度传感器值、计步器值或地磁传感器值。
6.根据权利要求1所述的信息处理装置，其中
所述情感识别单元进一步基于从所述表情信息提取的特征量识别所述另一用户的所述情感。
7.根据权利要求1所述的信息处理装置，其中
关于所述另一用户的所述信息包含所述另一用户的所收集语音信息、所感测姿势信息或从红外图像获取的温度信息。
8.根据权利要求1所述的信息处理装置，其中
关于所述用户的信息和关于所述另一用户的信息是从由所述用户握持的传感器装置获得。
9.根据权利要求1所述的信息处理装置，其中
所述情感识别单元参考第三方的所感测生物信息识别所述另一用户的所述情感。
10.根据权利要求1所述的信息处理装置，其进一步包括：
情感估计单元，其被配置成基于从累积关于由所述情感识别单元识别出的所述另一用户的所述情感的信息的存储单元提取的另一用户情感历史记录估计所述另一用户的未来情感。
11.根据权利要求1所述的信息处理装置，其中
所述通知控制单元实施控制，以使所述另一用户的所述情感的转变按时间序列方式显示。
12.根据权利要求10所述的信息处理装置，其中
所述通知控制单元实施控制，以使所述另一用户的情感预测基于由所述情感估计单元进行的估计的结果显示。
13.根据权利要求1所述的信息处理装置，其进一步包括：
动作建议单元，其被配置成根据所述另一用户的所述情感向所述用户建议预先确定的动作。
14.根据权利要求10所述的信息处理装置，其中
所述情感估计单元估计所述另一用户的当前情感，并且
所述通知控制单元实施控制，以使所述用户被实时通知已经估计出的所述另一用户的所述情感。
15.根据权利要求10所述的信息处理装置，其中
所述情感估计单元基于所述另一用户情感历史记录和所述另一用户的动作相关信息估计所述另一用户的所述情感。
16.一种控制方法，其包括：
基于已经感测到的关于用户的信息和关于另一用户的信息识别所述另一用户的情感，其中，关于所述另一用户的信息是从用户侧上的传感器装置获得；以及
由通知控制单元实施控制，以使所述用户被通知关于已经识别出的所述另一用户的所述情感的信息，
其中，关于所述用户的信息是所述用户的生物信息，并且
其中，关于所述另一用户的信息是所述另一用户的表情信息，其中
所述生物信息包含心率传感器值或汗水传感器值，并且
所述表情信息包含基于从通过对所述另一用户进行成像获得的面部图像提取的特征点的嘴部的角部或眉毛的位置。
17.一种存储程序的计算机可读存储介质，所述程序用于使计算机充用作：
情感识别单元，其被配置成基于已经感测到的关于用户的信息和关于另一用户的信息识别所述另一用户的情感，其中，关于所述另一用户的信息是从用户侧上的传感器装置获得；以及
通知控制单元，其被配置成实施控制，以使所述用户被通知关于已经识别出的所述另一用户的所述情感的信息，
其中，关于所述用户的信息是所述用户的生物信息，并且
其中，关于所述另一用户的信息是所述另一用户的表情信息，其中
所述生物信息包含心率传感器值或汗水传感器值，并且
所述表情信息包含基于从通过对所述另一用户进行成像获得的面部图像提取的特征点的嘴部的角部或眉毛的位置。
CN201680017804.XA 2015-04-23 2016-01-21 信息处理装置、控制方法和程序 Active CN107405120B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015088170 2015-04-23
JP2015-088170 2015-04-23
PCT/JP2016/051735 WO2016170810A1 (ja) 2015-04-23 2016-01-21 情報処理装置、制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN107405120A CN107405120A (zh) 2017-11-28
CN107405120B true CN107405120B (zh) 2021-10-29

Family

ID=57143867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680017804.XA Active CN107405120B (zh) 2015-04-23 2016-01-21 信息处理装置、控制方法和程序

Country Status (5)

Country Link
US (1) US11160479B2 (zh)
EP (1) EP3287075A4 (zh)
JP (1) JP6610661B2 (zh)
CN (1) CN107405120B (zh)
WO (1) WO2016170810A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644189B (zh) * 2016-07-20 2021-02-02 腾讯科技（深圳）有限公司 一种生物特征识别的方法及装置
US10768425B2 (en) * 2017-02-14 2020-09-08 Securiport Llc Augmented reality monitoring of border control systems
JP2018170714A (ja) * 2017-03-30 2018-11-01 日本電気株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
JP7306439B2 (ja) 2017-03-30 2023-07-11 日本電気株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
US20200114925A1 (en) * 2017-06-16 2020-04-16 Honda Motor Co., Ltd. Interaction device, interaction method, and program
JP6906197B2 (ja) * 2017-09-29 2021-07-21 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理装置及び情報処理プログラム
JP6910919B2 (ja) * 2017-10-18 2021-07-28 株式会社日立製作所 システム及び意思疎通を図るために行うアクションの評価方法
JP6713490B2 (ja) * 2018-02-07 2020-06-24 本田技研工業株式会社 情報提供装置及び情報提供方法
JP7005112B2 (ja) * 2018-03-05 2022-01-21 矢崎総業株式会社 表示システム、及び、車載システム
JP7034808B2 (ja) 2018-04-03 2022-03-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、情報処理装置及び情報処理システム
JP2019191824A (ja) * 2018-04-23 2019-10-31 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
US11315325B2 (en) * 2018-10-09 2022-04-26 Magic Leap, Inc. Systems and methods for artificial intelligence-based virtual and augmented reality
JP7384558B2 (ja) * 2019-01-31 2023-11-21 株式会社日立システムズ 有害行為検出システムおよび方法
US11132511B2 (en) * 2019-02-05 2021-09-28 International Business Machines Corporation System for fine-grained affective states understanding and prediction
JP7172705B2 (ja) * 2019-02-18 2022-11-16 沖電気工業株式会社 感情推定装置、感情推定方法、プログラム、及び感情推定システム
JP7352789B2 (ja) * 2019-02-28 2023-09-29 パナソニックＩｐマネジメント株式会社 表示方法、プログラム、及び表示システム
WO2021060544A1 (ja) * 2019-09-25 2021-04-01 西村　勉 情報提供装置、情報提供方法及びプログラム
JP7365637B2 (ja) * 2019-11-21 2023-10-20 パナソニックＩｐマネジメント株式会社 環境制御システム、環境制御方法及びプログラム
CN111407243B (zh) * 2020-03-23 2021-05-14 华南理工大学 一种基于深度学习的脉搏信号压力识别方法
US20230244297A1 (en) * 2020-06-25 2023-08-03 Sony Group Corporation Content presentation system, content presentation device, and content presentation method
KR102428916B1 (ko) * 2020-11-20 2022-08-03 오로라월드 주식회사 멀티-모달 기반의 감정 분류장치 및 방법
WO2022201264A1 (ja) * 2021-03-22 2022-09-29 株式会社I’mbesideyou 動画像分析プログラム
WO2022209499A1 (ja) * 2021-03-29 2022-10-06 ソニーグループ株式会社 情動情報を表示する情報処理システム
JP7435965B2 (ja) 2022-02-28 2024-02-21 株式会社Ｃｓイノベーション 情報処理装置、情報処理方法、学習モデルの生成方法、及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104428759A (zh) * 2012-07-17 2015-03-18 索尼公司 信息处理装置、服务器、信息处理方法和信息处理系统

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5676138A (en) * 1996-03-15 1997-10-14 Zawilinski; Kenneth Michael Emotional response analyzer system with multimedia display
RU2330607C2 (ru) * 2001-06-13 2008-08-10 Компьюмедикс Лимитед Способ и устройство для мониторинга сознания
JP2005253791A (ja) * 2004-03-12 2005-09-22 Brother Ind Ltd 推論情報作成装置、推論情報作成システム及び推論情報作成プログラム
JP2008532587A (ja) * 2005-02-22 2008-08-21 ヘルス−スマート リミテッド 生理学的及び心理学的／生理学的モニタリングのための方法及びシステム並びにその使用
CN100451924C (zh) * 2005-12-30 2009-01-14 财团法人工业技术研究院 情绪感知互动娱乐装置
US20070238934A1 (en) * 2006-03-31 2007-10-11 Tarun Viswanathan Dynamically responsive mood sensing environments
JP2010094493A (ja) 2008-09-22 2010-04-30 Koichi Kikuchi 視認情景に対する視認者情感判定装置
US8442832B2 (en) * 2008-12-08 2013-05-14 Electronics And Telecommunications Research Institute Apparatus for context awareness and method using the same
KR20130122535A (ko) * 2010-06-07 2013-11-07 어펙티바,아이엔씨. 웹서비스들을 이용한 심리 상태 분석
US10467916B2 (en) * 2010-06-15 2019-11-05 Jonathan Edward Bishop Assisting human interaction
US8438590B2 (en) * 2010-09-22 2013-05-07 General Instrument Corporation System and method for measuring audience reaction to media content
CN102176222B (zh) * 2011-03-18 2013-05-01 北京科技大学 多传感器信息采集分析系统及自闭症儿童监护辅助系统
WO2012143834A1 (en) * 2011-04-21 2012-10-26 Koninklijke Philips Electronics N.V. Emotion guidance device and method
US8911087B2 (en) * 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
JP2013029928A (ja) * 2011-07-27 2013-02-07 Nec Casio Mobile Communications Ltd 情報端末装置、そのデータ加工方法及びプログラム
JP2013052049A (ja) * 2011-09-02 2013-03-21 National Institute Of Information & Communication Technology 対人コミュニケーションにおける同調性検出装置
JP2013239914A (ja) 2012-05-15 2013-11-28 Nikon Corp 撮像装置
EP2698685A3 (en) * 2012-08-16 2015-03-25 Samsung Electronics Co., Ltd Using physical sensory input to determine human response to multimedia content displayed on a mobile device
US9418390B2 (en) * 2012-09-24 2016-08-16 Intel Corporation Determining and communicating user's emotional state related to user's physiological and non-physiological data
US9019174B2 (en) * 2012-10-31 2015-04-28 Microsoft Technology Licensing, Llc Wearable emotion detection and feedback system
CN104248442A (zh) * 2013-06-28 2014-12-31 昆山研达电脑科技有限公司 婴儿情绪分析装置及其实现方法
JP6122735B2 (ja) * 2013-08-28 2017-04-26 ヤフー株式会社 情報処理装置、判定方法および判定プログラム
US20150118663A1 (en) * 2013-10-28 2015-04-30 Revnc, Inc. System and Method for Predicting and Communicating Data Relating to a Partner's Mood and Sensitivity
CN104434142B (zh) * 2014-11-14 2018-08-21 惠州Tcl移动通信有限公司 可穿戴设备以及情绪提醒的方法
US10133918B1 (en) * 2015-04-20 2018-11-20 Snap Inc. Generating a mood log based on user images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104428759A (zh) * 2012-07-17 2015-03-18 索尼公司 信息处理装置、服务器、信息处理方法和信息处理系统

Also Published As

Publication number Publication date
CN107405120A (zh) 2017-11-28
WO2016170810A1 (ja) 2016-10-27
JP6610661B2 (ja) 2019-11-27
EP3287075A4 (en) 2018-12-05
US20180184959A1 (en) 2018-07-05
EP3287075A1 (en) 2018-02-28
JPWO2016170810A1 (ja) 2018-02-15
US11160479B2 (en) 2021-11-02

Similar Documents

Publication Publication Date Title
CN107405120B (zh) 信息处理装置、控制方法和程序
US10387898B2 (en) Crowd-based personalized recommendations of food using measurements of affective response
US11494390B2 (en) Crowd-based scores for hotels from measurements of affective response
US10198505B2 (en) Personalized experience scores based on measurements of affective response
US9955902B2 (en) Notifying a user about a cause of emotional imbalance
US10261947B2 (en) Determining a cause of inaccuracy in predicted affective response
JP6526700B2 (ja) 身体活動及びトレーニングモニタ
KR102277820B1 (ko) 반응정보 및 감정정보를 이용한 심리 상담 시스템 및 그 방법
US20180107793A1 (en) Health activity monitoring and work scheduling
US11113890B2 (en) Artificial intelligence enabled mixed reality system and method
US20190108191A1 (en) Affective response-based recommendation of a repeated experience
EP3660702A1 (en) Information processing device, information processing method, and program
CN107924550A (zh) 生活习惯管理辅助装置及生活习惯管理辅助方法
CN108574701A (zh) 用于确定用户状态的系统和方法
Budner et al. " Making you happy makes me happy"--Measuring Individual Mood with Smartwatches
Vinci et al. The use of ambulatory assessment in smoking cessation
CN111465949A (zh) 信息处理设备、信息处理方法和程序
JP2021157609A (ja) 情報処理装置、情報処理方法、およびプログラム
US20220206745A1 (en) Relationship analysis utilizing biofeedback information
JP2020052847A (ja) 感情管理システム、感情管理方法及びプログラム
JP2023065808A (ja) 情報提供装置、情報提供方法及びコンピュータプログラム
KR102506646B1 (ko) 라이프스타일 인식을 위한 서사 생성 장치 및 그 방법
WO2023167061A1 (ja) 情報処理方法、情報処理装置及び情報処理システム
WO2023176537A1 (ja) 推定装置、推定方法および推定プログラム
JP7108236B2 (ja) ウェルビーイング値推定システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant