CN107194151B - 确定情感阈值的方法和人工智能设备 - Google Patents

确定情感阈值的方法和人工智能设备 Download PDF

Info

Publication number
CN107194151B
CN107194151B CN201710262505.9A CN201710262505A CN107194151B CN 107194151 B CN107194151 B CN 107194151B CN 201710262505 A CN201710262505 A CN 201710262505A CN 107194151 B CN107194151 B CN 107194151B
Authority
CN
China
Prior art keywords
value
artificial intelligence
emotional state
emotion
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710262505.9A
Other languages
English (en)
Other versions
CN107194151A (zh
Inventor
董明杰
黄康敏
孙文华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201710262505.9A priority Critical patent/CN107194151B/zh
Publication of CN107194151A publication Critical patent/CN107194151A/zh
Priority to PCT/CN2018/083885 priority patent/WO2018192567A1/zh
Priority to EP18788158.6A priority patent/EP3605369A4/en
Priority to US16/657,576 priority patent/US20200050897A1/en
Application granted granted Critical
Publication of CN107194151B publication Critical patent/CN107194151B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00—Subject matter not provided for in other main groups of this subclass

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Hospice & Palliative Care (AREA)
  • Human Computer Interaction (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Psychology (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Operations Research (AREA)

Abstract

本申请提供确定情感阈值的方法和人工智能设备，该方法包括：步骤1，人工智能设备根据获取到的监测信息确定第一用户的情感状态为第一情感状态；步骤2，该人工智能设备获取第二用户的N个动作；步骤3，该人工智能设备根据Q值表，确定第一动作；步骤4，该人工智能设备更新该Q值表中该对应于该第一情感状态和该第一动作的Q值；步骤5，该人工智能设备确定更新的Q值是否大于预设阈值，若是，则根据该监测信息确定情感阈值，若否，则重复执行该步骤1至该步骤5直到确定该情感阈值为止。上述技术方案可以利用Q学习的方法对情感阈值进行优化，从而可以提高沟通效率与不同场景下的沟通效果。

Description

确定情感阈值的方法和人工智能设备
技术领域
本申请涉及人工智能领域，并且更具体地，涉及确定情感阈值的方法和人工智能设备。
背景技术
随着人工智能的不断发展，新一代人工智能系统的首要任务就是需要具备“感性”的情感连接能力，这样才能以更像真实人类的方式满足人们普遍心理和情感需求，从而逐步建立信任和依赖感。换句话说，人工智能不应该仅仅是普通的智力工具，人工智能的发展路径也不应该一味沿着理性的路线前行，而是应该落在感性和理性的交叉区域。
情感计算在人工智能的发展过程中将发挥至关重要的作用，我们也看到了越来越多的具有“情感”的产品，但这仅仅是一个开始，面对人类情感这个异常复杂的问题，人工智能还有很长的路要走。
目前，人工智能设备判断用户情感的方式是将获取到的用于监测用户生理信息的传感器参数与预设的情感阈值比较。例如，若获取到的传感器参数大于该情感阈值，则可以确定该用户的情感状态发生改变；若获取到的传感器参数不大于该情感阈值，则可以确定该用户的情感状态未发生改变。
上述技术方案中的情感阈值是预设在该人工智能设备中的。不同的用户的情感阈值可能是不同的，同样的用户在不同场景中的情感阈值也可能是不同的。因此，如何确定情感阈值以适用于不同的用户是一个亟待解决的问题。
发明内容
本申请提供确定情感阈值的方法和人工智能设备，能够对情感阈值进行优化，从而可以提高沟通效率与不同场景下的沟通效果。
第一方面，本申请实施例提供一种确定情感阈值的方法，该方法包括：步骤1，人工智能设备根据获取到的监测信息确定第一用户的情感状态为第一情感状态；步骤2，该人工智能设备获取第二用户的N个动作，其中该第二用户为与该第一用户进行交流的用户，N为大于或等于1的正整数；步骤3，该人工智能设备根据Q值表，确定第一动作，其中该Q值表中的每个Q值对应于一个情感状态和一个动作，对应于该第一情感状态和该第一动作的Q值为该Q值表中的N个Q值中的最大值，其中该N个Q值中的第n个Q值对应于该第一情感状态和该N个动作中的第n个动作，n＝1,…,N；步骤4，该人工智能设备更新该Q值表中该对应于该第一情感状态和该第一动作的Q值；步骤5，该人工智能设备确定更新的Q值是否大于预设阈值，若该人工智能设备确定该更新的Q值大于预设阈值，则根据该监测信息确定情感阈值，若该人工智能设备确定该更新的Q值不大于预设阈值，则重复执行该步骤1至该步骤5直到确定该情感阈值为止，其中该更新的Q值大于该预设阈值表示该第一用户的情感状态从该第一情感状态转移为特定情感状态。上述技术方案中，该人工智能设备可以利用Q学习的方法对情感阈值进行优化。通过情感阈值的优化，可以提高沟通效率与不同场景下的沟通效果。
结合第一方面，在第一方面的第一种可能的实现方式中，该人工智能设备更新该Q值表中该对应于该第一情感状态和该第一动作的Q值，包括：该人工智能设备根据第一回报率，更新该Q值表中该对应于该第一情感状态和该第一动作的Q值。
结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，该人工智能设备根据第一回报率，更新该Q值表中该对应于该第一情感状态和该第一动作的Q值，包括：该人工智能设备利用以下公式更新该Q值表中该对应于该第一情感状态和该第一动作的Q值：Qt+1(st+1,at+1)＝(1-λ)Qt(st,at)+λ[rt+γmaxQt(st,at)]，其中，Qt+1(st+1,at+1)表示更新后的该Q值表中该对应于该第一情感状态和该第一动作的Q值，λ表示学习强度，Qt(st,at)表示更新前的该Q值表中该对应于该第一情感状态和该第一动作的Q值，γ表示折扣因子，rt表示该第一回报率，maxQt(st,at)表示更新前的该Q值表中对应于该第一情感状态的最大Q值。
结合第一方面或第一方面的上述任一种可能的实现方式，在第一方面的第三种可能的实现方式中，该方法还包括：该人工智能设备确定情感阈值等级；该人工智能设备根据情感阈值等级，确定该预设阈值。通过设定情感阈值等级，可以使得优化后的情感阈值更符合用户的需求，从而可以提高预测准确性，进而提高沟通效率与沟通效果。
结合第一方面或第一方面的上述任一种可能的实现方式，在第一方面的第四种可能的实现方式中，该方法还包括：该人工智能设备确定情感阈值等级；该根据该第一情感状态对应的监测设备参数确定情感阈值，包括：根据该情感阈值等级和该监测信息，确定该情感阈值。通过设定情感阈值等级，可以使得优化后的情感阈值更符合用户的需求，从而可以提高预测准确性，进而提高沟通效率与沟通效果。
结合第一方面的第三种可能的实现方式或第一方面的第四种可能的实现方式，在第一方面的第五种可能的实现方式中，该人工智能设备确定情感阈值等级，包括：该人工智能设备根据该第一用户的个性化因子信息、会话场景信息、外部环境信息和输入信息中的至少一种，确定该情感阈值等级。上述技术方案在确定该情感阈值等级时考虑到了客观条件(即该第一用户的个性化因子信息、会话场景信息、外部环境信息和输入信息中的至少一种)，从从而可以提高预测的准确度。
结合第一方面或第一方面的上述任一种可能的实现方式，在第一方面的第六种可能的实现方式中，该方法还包括：在该人工智能设备确定该情感阈值的情况下，该人工智能设备确定当前监测信息是否大于该情感阈值；若确定该当前监测信息大于该情感阈值，则发出指示信息，该指示信息用于提示若该第二用户执行该第一动作，则会使得该第一用户的情感状态发生变化。这样，该人工智能设备可以根据确定的情感阈值，及时提醒与该用户进行交流的其他用户避免发出能够使得该用户情感状态发生变化的动作。
第二方面，本申请实施例提供一种人工智能设备，该人工智能设备包括用于执行第一方面或者第一方面的任一种可能的实现方式的单元。
第三方面，本申请实施例提供一种人工智能设备，该人工智能设备包括处理器、存储器和输入装置，该处理器用于执行该存储器存储的指令，并结合存储器和输入装置执行第一方面或第一方面的上述任一种可能的实现方式的各个步骤。
本申请的又一方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行上述各个方面所述的方法。
本申请的又一方面提供了一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述各方面所述的方法。
附图说明
图1是根据本申请实施例提供的确定情感阈值的方法的示意性流程图。
图2是根据本申请实施例提供的人工智能设备的结构框图。
图3是根据本申请实施例提供的人工智能设备的结构框图。
具体实施方式
下面将结合附图，对本申请中的技术方案进行描述。
本申请实施例中所称的人工智能设备是能够实现如图1所示方法的任何设备，例如，可以是计算机、机器人等。
图1是根据本申请实施例提供的确定情感阈值的方法的示意性流程图。
101，人工智能设备确定初始化参数，该初始化参数包括Q值表和预设阈值。
该Q值表中的每个Q值对应于一个情感状态和一个动作。例如，表1值一个Q值表的示意。
A1 A2 A3 A4 A5
S1 Q11 Q12 Q13 Q14 Q15
S2 Q21 Q22 Q23 Q24 Q25
S3 Q31 Q32 Q33 Q34 Q35
S4 Q41 Q42 Q43 Q44 Q45
表1
表1是一个四行五列的Q值表。四行分别表示四个情感状态。该四个情感状态分别为S1、S2、S3和S4。五列分别表示五个动作。该五个动作分别为A1、A2、A3、A4和A5。该Q值表中的每个Q值对应于一个动作和一个情感状态，例如，Q11表示在情感状态为S1，动作为A1时的Q值；Q12表示在情感状态为S1动作为A2时的Q值，以此类推。
可选的，在一个实施例中，在初始状态下，该Q值表中的所有Q值均为零。
102，该人工智能设备根据获取到的监测信息确定第一用户的情感状态为第一情感状态。
具体地，该人工智能设备可以获取监测信息。该监测信息可以是由监测设备通过监测该第一用户的生理、动作等数据得到的。该监测信息可以是能够用于确定用户的情感状态的一个或者多个信息。例如，该监测信息可以包括动作数据和/或生理数据。该动作数据可以包括语音、面部表情、手势、站姿等中的一个或多个。该生理数据可以包括心率、脉搏、皮肤电、体温等中的一个或多个。可以理解的是，若该监测信息为动作数据等非数字化表示的数据，则可以对该数据进行数字化表示，以便于对该数据进行处理。
该监测设备是能够获取到该监测信息的设备、装置或传感器。该监测设备可以是多个设备也可以是一个设备。例如，该监测设备可以包括语音识别的设备、识别面部表情的设备、心率传感器、温度传感器等。再如，该监测设备也可以是一个设备，该设备具有语音识别功能，面部表情识别功能，获取心率和体温功能。该监测设备可以与该人工智能设备集成在一起，也可以是独立设备，本申请实施例对此并不限定。
该人工智能设备可以直接根据获取到的监测信息确定该第一用户的情感状态，也可以对该监测信息进行进一步处理后确定该第一用户的情感状态，本申请实施例对此并不限定。
103，该人工智能设备获取第二用户的N个动作，其中该第二用户为与该第一用户进行交流的用户，N为大于或等于1的正整数。
本申请实施例中所称的动作是指该第二用户发出的一切可以被第一用户感知的动作，包括但不限于语音数据、肢体动作、面部表情动作等。例如，在该第一用户与该第二用户对话的场景中，该人工智能设备可以获取该第二用户语音数据。该语音数据可以包括该第二用户说话的具体内容、语气、语速等语音数据。该人工智能设备还可以获取该第二用户的肢体动作。
可以理解的是，在对话过程中，该第二用户可能会有一个动作，也可能会有多个动作。
该人工智能设备可以通过多种方式获取该第二用户的该至少一个动作。例如，该人工智能设备可以内置有摄像头以获取该第二用户的肢体动作、面部表情等。该人工智能设备还可以内置麦克风以获取该第二用户的语音数据。又如，摄像头和麦克风也可以是外置设备，该人工智能设备可以获取这些外置设备获取到的动作和语音数据。
104，该人工智能设备根据Q值表，确定第一动作，其中该Q值表中的每个Q值对应于一个情感状态和一个动作，对应于该第一情感状态和该第一动作的Q值为该Q值表中的N个Q值中的最大值，其中该N个Q值中的第n个Q值对应于该第一情感状态和该N个动作中的第n个动作，n＝1,…,N。
假设，该人工智能设备确定的该第一用户的第一情感状态为S1，该人工智能设备确定的该第二用户的N个动作包括A1、A2、和A5，Q11小于Q12，Q12小于Q15，则该人工智能设备确定的该第一动作为A5。
105，该人工智能设备更新该Q值表中该对应于该第一情感状态和该第一动作的Q值。
该更新该Q值表中该对应于该第一情感状态和该第一动作的Q值，包括：根据第一回报率，更新该Q值表中该对应于该第一情感状态和该第一动作的Q值该对应于该第一情感状态和该第一动作的Q值该对应于该第一情感状态和该第一动作的Q值。
该人工智能设备可以根据该第一动作和/或该第一情感状态确定该第一回报率。
可选的，在一些实施例中，该人工智能设备可以根据预设的回报率表确定出该第一回报率。该回报率表可以包括多个回报率。该回报率表中的每个回报率与一个动作和情感状态对应。该回报率包中的回报率可以是根据经验值确定的。
可选的，在另一些实施例中，该人工智能设备可以根据预设公式确定出该第一回报率。
可选的，在一些实施例中，该人工智能设备可以根据以下公式更新该Q值表中该对应于该第一情感状态和该第一动作的Q值：
Qt+1(st+1,at+1)＝(1-λ)Qt(st,at)+λ[rt+γmaxQt(st,at)]， (公式1.1)
其中，Qt+1(st+1,at+1)表示更新后的该Q值表中该对应于该第一情感状态和该第一动作的Q值，λ表示学习强度，Qt(st,at)表示更新前的该Q值表中该对应于该第一情感状态和该第一动作的Q值，γ表示折扣因子，rt表示该第一回报率，maxQt(st,at)表示更新前的该Q值表中对应于该第一情感状态的最大Q值。
可选的，在另一些实施例中，该人工智能设备可以根据以下公式更新该Q值表中该对应于该第一情感状态和该第一动作的Q值：
Qt+1(st+1,at+1)＝γQt(st,at)+λrt， (公式1.2)
其中，Qt+1(st+1,at+1)表示该更新后的该Q值表中该对应于该第一情感状态和该第一动作的Q值，Qt(st,at)表示更新前的该Q值表中该对应于该第一情感状态和该第一动作的Q值，γ表示折扣因子，rt表示该第一回报率。
106、该人工智能设备确定更新的Q值是否大于预设阈值，若是，则执行步骤107，若否，则重复执行步骤102至步骤106，直到步骤106的确定结果为是。
107，根据该监测信息确定情感阈值。
可选的，在一些实施例中，该预设阈值是根据经验值确定的。
可选的，在另一些实施例中，该预设阈值是根据情感阈值等级确定的。该人工智能设备可以先确定情感阈值等级，然后根据该情感阈值等级，确定该预设阈值。
可选的，在一些实施例中，该人工智能设备可以根据该第一用户的个性化因子信息、会话场景信息、外部环境信息和输入信息中的至少一种，确定该情感阈值等级。上述技术方案在确定该情感阈值等级时考虑到了客观条件(即该第一用户的个性化因子信息、会话场景信息、外部环境信息和输入信息中的至少一种)，从而可以提高预测的准确度。
个性化因子信息，用于表示用户的个性化特征。例如，用户的性格。具体而言，不同的人对于外界事物的刺激以及不同人在每个情感状态的停留时间，不同情感状态之间的自发迁移都会有一定的差异。可选地，该第一用户的个性化因子可以是根据基本个性模板库对该第一用户的个性信息进行训练，得到该第一用户的个性化因子信息。个性化因子库可以基于现有学术界研究的成熟的基本个性模板库训练学习得到的不同用户的个性化因子，个性化因子库可以模拟出不同类型的人的情感状态变化规律，进而提高预测的准确度。
例如，该人工智能设备可以根据该第一用户的个性化因子信息，确定情感阈值等级。例如，若该第一用户对于外界事物刺激的不敏感，则可以设定该情感阈值等级较高；若该第一用户对于外界事物刺敏感，则可以设定该情感阈值等级较低。
该第一用户在与不同的人进行交流时候时，该第一用户的情感阈值是不一样的。例如，该第一用户在与小孩子交流时，会很温和愉悦，触发该第一用户情感状态发生变化的阈值可能较高。再如，该第一用户在与一些特定对象交流时，情感状态波动较大，触发该第一用户情感状态发生变化的阈值可能较低。本发明实施例将与第二用户相关的信息，例如该第二用户的个性化因子信息、该第二用户的身份信息等，称为会话场景信息。
不同的外部环境也有可能影响到被测用户的感情状态。例如，在恐怖氛围和在家的环境下被测用户的情感变化是不一样的。本发明实施例将用于情感预测模块构建外部环境场景的、与第二用户无关的信息称为外部环境信息。该外部环境信息可以包括以下信息中的至少一种：天气信息、该第一用户的地理位置信息等。例如，若天气状况良好，该人工智能设备可以设定该情感阈值等级较高；若天气较差，该人工智能设备可以设定该情感阈值等级较低。
在另一些实施例中，该第一用户或该第二用户可以直接输入希望设定的情感阈值等级。
可选的，在一些实施例中，若该人工智能设备确定相关信息(即个性化因子信息、会话场景信息、外部环境信息)为以前从未遇到过的新的信息，则可以设定该情感阈值等级较高。
若该人工智能设备确定会话场景信息为以前从未遇到过的新的会话场景信息，则可以设定该情感阈值等级较低。
该情感阈值等级越高，根据该情感阈值等级确定的预设阈值就越高；相应的，该情感阈值等级越低，根据该情感阈值等级确定的预设阈值就越低。该情感阈值等级对应的预设阈值变化的曲线可以是线性的也可以是非线性的，本申请实施例对此并不限定。
可选的，在一些实施例中，情感阈值等级与预设阈值的对应关系是预先确定好的。在另一些实施例中，可以根据情感阈值等级和经验值确定出预设阈值。
该Q值表中的每个Q值都可以有一个对应的预设阈值，不同的Q值的预设阈值可以相同也可以不同。可以理解的是，步骤106中的预设阈值为该对应于该第一情感状态和该第一动作的Q值的预设阈值。
可选的，在该预设阈值是根据该情感阈值等级确定的情况下，该人工智能设备可以直接确定该监测信息为该情感阈值。
可选的，在一些实施例中，该预设阈值可以是该经验值。在此情况下，该人工智能设备可以根据该情感阈值等级和该监测信息，确定该情感阈值。
例如，该人工智能设备经过M个周期确定更新后的Q值大于该预设阈值，其中M为大于或等于2的正整数。在此情况下，该人工智能设备可以确定第M-m个周期时的监测信息为该情感阈值，其中m为大于或等于1且小于M的正整数。m的取值可以根据该情感阈值等级确定。若该情感阈值等级越高，则m取值越大；若该情感阈值等级越低，则该m取值越低。
再如，该情感阈值是根据该监测信息和情感阈值等级确定的。例如，可以将该监测信息与一个系数相乘。若该情感阈值等级越高，则该系数越高；若该情感阈值等级越低，则该系数越低。
当然，在一些实施例中，该预设阈值和该情感阈值可以都是根据该情感阈值等级确定的。具体方式可以参加上述实施例，在此就不必赘述。
图1所示的技术方案中，该人工智能设备可以利用Q学习的方法对情感阈值进行优化。通过情感阈值的优化，可以提高沟通效率与不同场景下的沟通效果。
此外，通过设定情感阈值等级，可以使得优化后的情感阈值更符合用户的需求，从而可以提高预测准确性，进而提高沟通效率与沟通效果。
进一步，在该人工智能设备确定了该情感阈值的情况下，该方法还可以包括：该人工智能设备确定当前监测信息是否超过该情感阈值。若是，则可以发出指示信息，该指示信息用于提示若该第二用户执行该第一动作，则会使得该第一用户的情感状态发生变化。这样，该人工智能设备可以及时提醒该第二用户哪些动作可以引发该第一用户的情感状态发生变化。该第二用户可以避免执行相应的动作，以触发该第一用户情感状态发生变化。该人工智能设备发出指示信息的方式可以有多种，例如声音提示、文字提示、图像提示等等，本申请实施例对此并不限定。
进一步，若该第一人工智能设备还可以确定更新后的Q值与更新前的Q值的差值，若该差值小于预设差值，则可以确定Q值表中该第一情感状态和该第一动作所对应的Q值仍使用更新前的Q值，若该差值大于该预设差值，则可以确定该Q值表中该第一情感状态和该第一动作所对应的Q值未更新后的Q值。
可选的，在一些实施例中，若更新后的Q值超过该Q值的预设阈值，则可以表示该用户的情感状态从当前的情感状态变化为特定情感状态。每个情感状态到另一个情感状态的变化都有一个对应的Q值的预设阈值和一个情感阈值。例如，当更新后的Q值超过该Q值的第一预设阈值时，可以表示该用户的情感状态从开心变为惊讶。再如，当更新后的Q值超过该Q值的第二预设阈值时，可以表示该用户的情感状态从惊讶变为愤怒。可以理解的是，图1所示的方式仅示出了一种情感阈值的确定方式。根据图1所示的方法，可以确定出对应于不同情感状态切换的情感阈值。
此外，该特定的情感状态可以是与该当前的情感状态相邻的情感状态，也可以是不相邻的情感状态。例如，情感状态从开心到愤怒可能会经过惊讶这一情感状态。该第一预设阈值小于该第二预设阈值。在一些实施例中，该Q值的预设阈值可以为该第一预设阈值和该第二预设阈值。也就是说，在这些实施例中，该智能设备可以为该第一用户的每个情感状态设置一个情感阈值。在另一些实施例中，该Q值的预设阈值可以直接设置为该第二预设阈值。在这些实施例中，该智能设备可以只为需要关注的情感状态(例如愤怒)设置一个情感阈值。
图2是根据本申请实施例提供的人工智能设备的结构框图。如图2所示，人工智能设备200可以包括：处理单元201、存储单元202和获取单元203。
获取单元203，用于获取第二用户的N个动作，其中N为大于或等于1的正整数。
存储单元202，用于存储Q值表。
处理单元201，用于执行以下步骤：
步骤1，根据监测信息确定第一用户的情感状态为第一情感状态；
步骤2，获取由获取单元203获取的该N个动作，其中该第二用户为与该第一用户进行交流的用户；
步骤3，根据存储单元202存储的Q值表，确定第一动作，其中该Q值表中的每个Q值对应于一个情感状态和一个动作，对应于该第一情感状态和该第一动作的Q值为该Q值表中的N个Q值中的最大值，其中该N个Q值中的第n个Q值对应于该第一情感状态和该N个动作中的第n个动作，n＝1,…,N；
步骤4，更新存储单元202存储的该Q值表中该对应于该第一情感状态和该第一动作的Q值；
步骤5，确定更新的Q值是否大于预设阈值，若确定该更新的Q值大于预设阈值，则根据该监测信息确定情感阈值，若确定该更新的Q值不大于预设阈值，则重复执行该步骤1至该步骤5直到确定该情感阈值为止，其中该更新的Q值大于该预设阈值表示该第一用户的情感状态从该第一情感状态转移为特定情感状态。
可选的，在一些实施例中，处理单元201，具体用于根据第一回报率，更新存储单元202存储的该Q值表中该对应于该第一情感状态和该第一动作的Q值。
可选的，在一些实施例中，处理单元201，具体用于利用以下公式更新存储单元202存储的该Q值表中该对应于该第一情感状态和该第一动作的Q值：
Qt+1(st+1,at+1)＝(1-λ)Qt(st,at)+λ[rt+γmaxQt(st,at)]
其中，Qt+1(st+1,at+1)表示更新后的该Q值表中该对应于该第一情感状态和该第一动作的Q值，λ表示学习强度，Qt(st,at)表示更新前的该Q值表中该对应于该第一情感状态和该第一动作的Q值，γ表示折扣因子，rt表示该第一回报率，maxQt(st,at)表示更新前的该Q值表中对应于该第一情感状态的最大Q值。
可选的，在一些实施例中，处理单元201，还用于确定情感阈值等级；处理单元201，还用于根据情感阈值等级，确定该预设阈值。
可选的，在一些实施例中，处理单元201，还用于确定情感阈值等级；处理单元201，具体用于根据该情感阈值等级和该监测信息，确定该情感阈值。
可选的，处理单元201，具体用于根据该第一用户的个性化因子信息、会话场景信息、外部环境信息和输入信息中的至少一种，确定该情感阈值等级。
可选的，在一些实施例中，人工智能设备200还可以包括输出单元，处理单元201，还用于在确定该情感阈值的情况下，确定当前监测信息是否大于该情感阈值；若确定该当前监测信息大于所述情感阈值，则指示该输出单元发出指示信息，该指示信息用于提示若该第二用户执行该第一动作，则会使得该第一用户的情感状态发生变化。
存储单元202还可以用于存储处理单元201确定的情感阈值等级、预设阈值和情感阈值等信息
处理单元201可以由处理器实现。存储单元202可以由存储器实现。获取单元202可以由输入设备实现，例如麦克风、摄像机等。输出单元可以由输出设备实现，例如扬声器、显示器等。
图2所示的人工智能设备200能够实现图1中的方法实施例所实现的各个过程，为避免重复，这里不再赘述。
图3是根据本申请实施例提供的人工智能设备的结构框图。如图3所示，人工智能设备300可以包括处理器301、存储器302和输入装置303。其中，存储器302可以用于存储Q值表、情感阈值等级、预设阈值和情感阈值等信息，还可以用于存储处理器301执行的代码、指令等。机器人300中的各个组件通过总线系统相连，其中，总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
图3所示的人工智能设备300能够实现前述图1中的方法实施例所实现的各个过程，为避免重复，这里不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
上述实施例可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital Subscriber Line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)或者半导体介质(例如，固态硬盘(Solid State Disk，SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (14)

1.一种确定情感阈值的方法，其特征在于，所述方法包括：
步骤1，人工智能设备根据获取到的监测信息确定第一用户的情感状态为第一情感状态；
步骤2，所述人工智能设备获取第二用户的N个动作，其中所述第二用户为与所述第一用户进行交流的用户，N为大于或等于1的正整数；
步骤3，所述人工智能设备根据Q值表，确定第一动作，其中所述Q值表中的每个Q值对应于一个情感状态和一个动作，对应于所述第一情感状态和所述第一动作的Q值为所述Q值表中的N个Q值中的最大值，其中所述N个Q值中的第n个Q值对应于所述第一情感状态和所述N个动作中的第n个动作，n＝1,…,N；
步骤4，所述人工智能设备更新所述Q值表中所述对应于所述第一情感状态和所述第一动作的Q值；
步骤5，所述人工智能设备确定更新的Q值是否大于预设阈值，若所述人工智能设备确定所述更新的Q值大于预设阈值，则根据所述监测信息确定情感阈值，若所述人工智能设备确定所述更新的Q值不大于预设阈值，则重复执行所述步骤1至所述步骤5直到确定所述情感阈值为止，其中所述更新的Q值大于所述预设阈值表示所述第一用户的情感状态从所述第一情感状态转移为特定情感状态。
2.如权利要求1所述的方法，其特征在于，所述人工智能设备更新所述Q值表中所述对应于所述第一情感状态和所述第一动作的Q值，包括：
所述人工智能设备根据第一回报率，更新所述Q值表中所述对应于所述第一情感状态和所述第一动作的Q值。
3.如权利要求2所述的方法，其特征在于，所述人工智能设备根据第一回报率，更新所述Q值表中所述对应于所述第一情感状态和所述第一动作的Q值，包括：所述人工智能设备利用以下公式更新所述Q值表中所述对应于所述第一情感状态和所述第一动作的Q值：
Qt+1(st+1,at+1)＝(1-λ)Qt(st,at)+λ[rt+γmax Qt(st,at)]
其中，Qt+1(st+1,at+1)表示更新后的所述Q值表中所述对应于所述第一情感状态和所述第一动作的Q值，λ表示学习强度，Qt(st,at)表示更新前的所述Q值表中所述对应于所述第一情感状态和所述第一动作的Q值，γ表示折扣因子，rt表示所述第一回报率，max Qt(st,at)表示更新前的所述Q值表中对应于所述第一情感状态的最大Q值。
4.如权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：
所述人工智能设备确定情感阈值等级；
所述人工智能设备根据情感阈值等级，确定所述预设阈值。
5.如权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：
所述人工智能设备确定情感阈值等级；
所述根据所述监测信息确定情感阈值，包括：
根据所述情感阈值等级和所述监测信息，确定所述情感阈值。
6.如权利要求4所述的方法，其特征在于，所述人工智能设备确定情感阈值等级，包括：
所述人工智能设备根据所述第一用户的个性化因子信息、会话场景信息、外部环境信息和输入信息中的至少一种，确定所述情感阈值等级。
7.如权利要求1所述的方法，其特征在于，所述方法还包括：在所述人工智能设备确定所述情感阈值的情况下，所述人工智能设备确定当前监测信息是否大于所述情感阈值；
若确定所述当前监测信息大于所述情感阈值，则发出指示信息，所述指示信息用于提示若所述第二用户执行所述第一动作，则会使得所述第一用户的情感状态发生变化。
8.一种人工智能设备，其特征在于，所述人工智能设备包括：处理单元、存储单元和获取单元；
所述获取单元，用于获取第二用户的N个动作，其中N为大于或等于1的正整数；
所述存储单元，用于存储Q值表；
所述处理单元，用于执行以下步骤：
步骤1，根据监测信息确定第一用户的情感状态为第一情感状态；
步骤2，获取所述获取单元获取的所述N个动作，其中所述第二用户为与所述第一用户进行交流的用户；
步骤3，根据所述存储单元存储的Q值表，确定第一动作，其中所述Q值表中的每个Q值对应于一个情感状态和一个动作，对应于所述第一情感状态和所述第一动作的Q值为所述Q值表中的N个Q值中的最大值，其中所述N个Q值中的第n个Q值对应于所述第一情感状态和所述N个动作中的第n个动作，n＝1,…,N；
步骤4，更新所述存储单元存储的所述Q值表中所述对应于所述第一情感状态和所述第一动作的Q值；
步骤5，确定更新的Q值是否大于预设阈值，若确定所述更新的Q值大于预设阈值，则根据所述监测信息确定情感阈值，若确定所述更新的Q值不大于预设阈值，则重复执行所述步骤1至所述步骤5直到确定所述情感阈值为止，其中所述更新的Q值大于所述预设阈值表示所述第一用户的情感状态从所述第一情感状态转移为特定情感状态。
9.如权利要求8所述的人工智能设备，其特征在于，所述处理单元，具体用于根据第一回报率，更新所述存储单元存储的所述Q值表中所述对应于所述第一情感状态和所述第一动作的Q值。
10.如权利要求9所述的人工智能设备，其特征在于，所述处理单元，具体用于利用以下公式更新所述存储单元存储的所述Q值表中所述对应于所述第一情感状态和所述第一动作的Q值：
Qt+1(st+1,at+1)＝(1-λ)Qt(st,at)+λ[rt+γmax Qt(st,at)]
其中，Qt+1(st+1,at+1)表示更新后的所述Q值表中所述对应于所述第一情感状态和所述第一动作的Q值，λ表示学习强度，Qt(st,at)表示更新前的所述Q值表中所述对应于所述第一情感状态和所述第一动作的Q值，γ表示折扣因子，rt表示所述第一回报率，max Qt(st,at)表示更新前的所述Q值表中对应于所述第一情感状态的最大Q值。
11.如权利要求8至10中任一项所述的人工智能设备，其特征在于，所述处理单元，还用于确定情感阈值等级；
所述处理单元，还用于根据情感阈值等级，确定所述预设阈值。
12.如权利要求8至10中任一项所述的人工智能设备，其特征在于，所述处理单元，还用于确定情感阈值等级；
所述处理单元，具体用于根据所述情感阈值等级和所述监测信息，确定所述情感阈值。
13.如权利要求11所述的人工智能设备，其特征在于，所述处理单元，具体用于根据所述第一用户的个性化因子信息、会话场景信息、外部环境信息和输入信息中的至少一种，确定所述情感阈值等级。
14.如权利要求8所述的人工智能设备，其特征在于，所述人工智能设备还包括输出单元，
所述处理单元，还用于在确定所述情感阈值的情况下，确定当前监测信息是否大于所述情感阈值；
若确定所述当前监测信息大于所述情感阈值，则指示所述输出单元发出指示信息，所述指示信息用于提示若所述第二用户执行所述第一动作，则会使得所述第一用户的情感状态发生变化。
CN201710262505.9A 2017-04-20 2017-04-20 确定情感阈值的方法和人工智能设备 Active CN107194151B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710262505.9A CN107194151B (zh) 2017-04-20 2017-04-20 确定情感阈值的方法和人工智能设备
PCT/CN2018/083885 WO2018192567A1 (zh) 2017-04-20 2018-04-20 确定情感阈值的方法和人工智能设备
EP18788158.6A EP3605369A4 (en) 2017-04-20 2018-04-20 METHOD FOR DETERMINING EMOTIONAL THRESHOLD AND ARTIFICIAL INTELLIGENCE DEVICE
US16/657,576 US20200050897A1 (en) 2017-04-20 2019-10-18 Method for Determining Sentiment Threshold and Artificial Intelligence Device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710262505.9A CN107194151B (zh) 2017-04-20 2017-04-20 确定情感阈值的方法和人工智能设备

Publications (2)

Publication Number Publication Date
CN107194151A CN107194151A (zh) 2017-09-22
CN107194151B true CN107194151B (zh) 2020-04-03

Family

ID=59871712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710262505.9A Active CN107194151B (zh) 2017-04-20 2017-04-20 确定情感阈值的方法和人工智能设备

Country Status (4)

Country Link
US (1) US20200050897A1 (zh)
EP (1) EP3605369A4 (zh)
CN (1) CN107194151B (zh)
WO (1) WO2018192567A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194151B (zh) * 2017-04-20 2020-04-03 华为技术有限公司 确定情感阈值的方法和人工智能设备
WO2019246239A1 (en) 2018-06-19 2019-12-26 Ellipsis Health, Inc. Systems and methods for mental health assessment
US20190385711A1 (en) 2018-06-19 2019-12-19 Ellipsis Health, Inc. Systems and methods for mental health assessment
CN111797857A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 数据处理方法、装置、存储介质及电子设备
US11809958B2 (en) * 2020-06-10 2023-11-07 Capital One Services, Llc Systems and methods for automatic decision-making with user-configured criteria using multi-channel data inputs
CN113524179A (zh) * 2021-07-05 2021-10-22 上海仙塔智能科技有限公司 基于情绪累积数值的控制方法、装置、设备以及介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100825719B1 (ko) * 2005-12-09 2008-04-29 한국전자통신연구원 복수의 감정 생성 로봇 및 로봇에서 복수의 감정 생성 방법
US9047871B2 (en) * 2012-12-12 2015-06-02 At&T Intellectual Property I, L.P. Real—time emotion tracking system
US20140191939A1 (en) * 2013-01-09 2014-07-10 Microsoft Corporation Using nonverbal communication in determining actions
US9386110B2 (en) * 2014-03-13 2016-07-05 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Communications responsive to recipient sentiment
WO2016029039A1 (en) * 2014-08-20 2016-02-25 Puretech Management, Inc. Systems and techniques for identifying and exploiting relationships between media consumption and health
CN105868694B (zh) * 2016-03-24 2019-03-08 中国地质大学（武汉） 基于面部表情和眼球动作的双模态情感识别方法及系统
CN106295568B (zh) * 2016-08-11 2019-10-18 上海电力学院 基于表情和行为双模态结合的人类自然状态情感识别方法
CN106503646B (zh) * 2016-10-19 2020-07-10 竹间智能科技（上海）有限公司 多模态情感辨识系统及方法
CN107194151B (zh) * 2017-04-20 2020-04-03 华为技术有限公司 确定情感阈值的方法和人工智能设备

Also Published As

Publication number Publication date
US20200050897A1 (en) 2020-02-13
EP3605369A4 (en) 2020-03-18
WO2018192567A1 (zh) 2018-10-25
CN107194151A (zh) 2017-09-22
EP3605369A1 (en) 2020-02-05

Similar Documents

Publication Publication Date Title
CN107194151B (zh) 确定情感阈值的方法和人工智能设备
CN110832511A (zh) 具有数据相关可用性的分布式设备上学习的系统和方法
US20150072322A1 (en) Situated simulation for training, education, and therapy
WO2017091629A1 (en) Reinforcement learning using confidence scores
CN108170739A (zh) 问题匹配方法、终端和计算机可读存储介质
CN107911491A (zh) 信息推荐方法、装置及存储介质、服务器和移动终端
CN113240778B (zh) 虚拟形象的生成方法、装置、电子设备和存储介质
CN112579909A (zh) 对象推荐方法及装置、计算机设备和介质
EP2997538A1 (en) Language proficiency detection in social applications
US11900959B2 (en) Speech emotion recognition method and apparatus
US20190070727A1 (en) Memory control system, system and computer readable medium
KR20160027640A (ko) 전자 장치 및 전자 장치에서의 개체명 인식 방법
CN105095080B (zh) 一种对待测应用进行测评的方法与设备
CN108959469A (zh) 阅读管理方法、装置、计算机设备及存储介质
WO2016035070A2 (en) Social networking and matching communication platform and methods thereof
KR20200089588A (ko) 전자 장치 및 이의 제어 방법
CN108229640B (zh) 情绪表达的方法、装置和机器人
CN112925412A (zh) 智能镜子的控制方法、设备和存储介质
CN113965313B (zh) 基于同态加密的模型训练方法、装置、设备以及存储介质
KR20200010061A (ko) 전자 장치 및 전자 장치의 학습 방법
CN116468826B (zh) 表情生成模型的训练方法、表情生成的方法及装置
CN112398952A (zh) 电子资源推送方法、系统、设备及存储介质
CN112949433A (zh) 视频分类模型的生成方法、装置、设备和存储介质
CN117252963A (zh) 数字人生成方法和装置
CN106926258B (zh) 机器人情绪的控制方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant