CN110378428A - 一种家用机器人及其情绪识别方法和装置 - Google Patents

一种家用机器人及其情绪识别方法和装置 Download PDF

Info

Publication number
CN110378428A
CN110378428A CN201910666279.XA CN201910666279A CN110378428A CN 110378428 A CN110378428 A CN 110378428A CN 201910666279 A CN201910666279 A CN 201910666279A CN 110378428 A CN110378428 A CN 110378428A
Authority
CN
China
Prior art keywords
information
mood
disaggregated model
emotion identification
training sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910666279.XA
Other languages
English (en)
Inventor
白艳君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Siyhua Robot Science And Technology Co Ltd
Original Assignee
Shanghai Siyhua Robot Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Siyhua Robot Science And Technology Co Ltd filed Critical Shanghai Siyhua Robot Science And Technology Co Ltd
Priority to CN201910666279.XA priority Critical patent/CN110378428A/zh
Publication of CN110378428A publication Critical patent/CN110378428A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Toys (AREA)

Abstract

本申请公开了一种家用机器人及其情绪识别方法和装置，该情绪识别方法和装置具体为接收用户输入的多种信息；利用情绪分类模型对多种信息进行处理，得到多个分类向量；根据每种信息的预设权重对多个分类向量进行计算，得到情绪分类向量；根据情绪分类向量输出用户的情绪信息。在能够得到用户的情绪信息的基础上，家用机器人即可判定用户的当前情绪，从而可以根据当前情绪做出相应的应对举动，这样无疑能够提高用户的使用体验。

Description

一种家用机器人及其情绪识别方法和装置
技术领域
本申请涉及人工智能技术领域，更具体地说，涉及一种家用机器人及其情绪识别方法和装置。
背景技术
家用机器人是为人类服务的特种机器人，主要从事家庭服务，维护、保养、修理、运输、清洗、监护等工作，种类可分为电器机器人、娱乐机器人、厨师机器人、搬运机器人、不动机器人、移动助理机器人和类人机器人。
在用户平时与家用机器人交流过程中，经常会输入相应的文本或图像，以实现本地或远方交流，当然，作为交流肯定会带有个人情绪，如高兴、生气、哀伤或者欢乐，如果能够藉由接收到的信息对用户的情绪进行判定，无疑会增加用户的使用体验。
发明内容
有鉴于此，本申请提供一种家用机器人及其情绪识别方法和装置，用于对用户的情绪进行识别，以提高用户的使用体验。
为了实现上述目的，现提出的方案如下：
一种情绪识别方法，应用于家用机器人，所述情绪识别方法包括步骤：
接收用户输入的多种信息；
利用情绪分类模型对所述多种信息进行处理，得到多个分类向量；
根据每种所述信息的预设权重对所述多个分类向量进行计算，得到情绪分类向量；
根据所述情绪分类向量输出用户的情绪信息。
可选的，所述多种信息包括文本信息和/或图像信息。
可选的，所述情绪分类模型包括基于文本信息的第一情绪分类模型和基于图像信息的第二情绪分类模型。
可选的，还包括步骤：
准备训练样本，所述训练样本包括经过标识的文本集；
利用所述训练样本对预先构建的RNN神经网络进行训练，得到所述第一情绪分类模型。
可选的，还包括步骤：
准备训练样本，所述训练样本包括经过标识的图像集；
利用所述训练样本对预先构建的CNN神经网络进行训练，得到所述第二情绪分类模型。
一种情绪识别装置，应用于家用机器人，所述情绪识别装置包括：
信息接收模块，被配置为接收用户输入的多种信息；
分类处理模块，被配置为利用情绪分类模型对所述多种信息进行处理，得到多个分类向量；
向量计算模块，被配置为根据每种所述信息的预设权重对所述多个分类向量进行计算，得到情绪分类向量；
信息输出模块，被配置为根据所述情绪分类向量输出用户的情绪信息。
可选的，所述多种信息包括文本信息和/或图像信息。
可选的，所述情绪分类模型包括基于文本信息的第一情绪分类模型和基于图像信息的第二情绪分类模型。
可选的，还包括：
第一样本准备模块，被配置为准备训练样本，所述训练样本包括经过标识的文本集；
第一训练模块，被配置为利用所述训练样本对预先构建的RNN神经网络进行训练，得到所述第一情绪分类模型。
可选的，还包括：
第二样本准备模块，被配置为准备训练样本，所述训练样本包括经过标识的图像集；
第二训练模块，被配置为利用所述训练样本对预先构建的CNN神经网络进行训练，得到所述第二情绪分类模型。
一种家用机器人，设置有如上所述的情绪识别装置。
一种家用机器人，设置有控制器，所述控制器包括至少一个处理器和与其信号连接的存储器，其中：
所述存储器用于存储计算机程序或指令；
所述处理器用于获取并执行所述计算机程序或指令，以使所述家用机器人实现如上所述的情绪识别方法。
从上述的技术方案可以看出，本申请公开了一种家用机器人及其情绪识别方法和装置，该情绪识别方法和装置具体为接收用户输入的多种信息；利用情绪分类模型对多种信息进行处理，得到多个分类向量；根据每种信息的预设权重对多个分类向量进行计算，得到情绪分类向量；根据情绪分类向量输出用户的情绪信息。在能够得到用户的情绪信息的基础上，家用机器人即可判定用户的当前情绪，从而可以根据当前情绪做出相应的应对举动，这样无疑能够提高用户的使用体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的一种情绪识别方法的流程图；
图2为本申请实施例的另一种情绪识别方法的流程图；
图3为本申请实施例的又一种情绪识别方法的流程图；
图4为本申请实施例的又一种情绪识别方法的流程图；
图5为本申请实施例的一种情绪识别装置的框图；
图6为本申请实施例的另一种情绪识别装置的框图；
图7为本申请实施例的又一种情绪识别装置的框图；
图8为本申请实施例的一种家用机器人的控制器的框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一
图1为本申请实施例的一种情绪识别方法的流程图。
如图1所示，本实施例所提供的情绪识别方法应用于家用机器人，这里家用机器人为但不限于电器机器人、娱乐机器人、厨师机器人、搬运机器人、不动机器人、移动助理机器人和类人机器人，该情绪识别方法用于识别用户输入的信息所代表的情绪，具体包括如下步骤：
S1、接收用户输入的多种信息。
在用户向家用机器人通过各种方式输入相应信息时，接收所输入的多种信息，如文本信息、图像信息和其他信息，例如声音信息。
S2、利用情绪分类模型对多种信息进行处理。
这里的情绪分类模型为提前通过机器学习所训练的深度神经网络模型，深度神经网络可以选用RNN网络、CNN网络等。在基于机器学习所训练的情绪分类模型的基础上，将所接收到的多种信息、如文本信息、图像信息和其他信息输入到相应的情绪分类模型，得到其输出的情绪分类向量。
本申请中情绪分类模型包括基于文本信息的第一情绪分类模型和基于图像信息的第二情绪分类模型。即在实际处理过程中，将前述文本信息输入到第一情绪分类模型，从而得到第一情绪分类向量；将图像信息输入到第二情绪分类模型中，得到第二情绪分类向量。
S3、根据预设权重计算多种信息的情绪分类向量。
在得到基于文本信息的第一情绪分类向量和基于图像信息的第二情绪分类向量后，根据预设权重计算所所接收的多种信息的情绪分类向量，这里预设权重是指预先对文本信息和图像信息所赋予的权重系数，分别为针对第一情绪分类向量Mt的第一权重系数a和针对第二情绪分类向量Mp的第二权重系数b。
在具体计算时，可以通过如下公式进行计算：
情绪分类向量＝a*Mt+b*Mp
S4、根据情绪分类向量输出用户的情绪信息。
在得到基于用户输入的多种信息、如文本信息和图像信息所得到的情绪分类向量后，即可根据该情绪分类向量所指向的情绪信息，如喜、怒、哀、乐、贪、嗔、痴等。
从上述技术方案可以看出，本实施例提供了一种情绪识别方法，该方法应用于家用机器人，具体为接收用户输入的多种信息；利用情绪分类模型对多种信息进行处理，得到多个分类向量；根据每种信息的预设权重对多个分类向量进行计算，得到情绪分类向量；根据情绪分类向量输出用户的情绪信息。在能够得到用户的情绪信息的基础上，家用机器人即可判定用户的当前情绪，从而可以根据当前情绪做出相应的应对举动，这样无疑能够提高用户的使用体验。
前一实施例基于已经训练好的情绪分类模型，为了使方更为完整，本申请还提供如下包含了机器学习的步骤的实施例，具体内容见下面的实施例。
实施例二
图2为本申请实施例的另一种情绪识别方法的流程图。
如图2所示，本实施例所提供的情绪识别方法应用于家用机器人，这里家用机器人为但不限于电器机器人、娱乐机器人、厨师机器人、搬运机器人、不动机器人、移动助理机器人和类人机器人，该情绪识别方法用于识别用户输入的信息所代表的情绪，具体包括如下步骤：
S01、准备训练样本。
这里的训练样本包括经过标识的文本集，文本集中包括多个经过标识的文本信息，每个文本信息对应的标识为相应的情绪信息，如喜、怒、哀、乐、贪、嗔、痴等。
S02、利用训练样本训练第一情绪分类模型。
即将上述训练样本代入到预先构建的RNN神经网络进行训练，从而得到该第一情绪分类模型。
RNN神经网络是一种节点定向连接成环的人工神经网络。这种网络的内部状态可以展示动态时序行为。不同于前馈神经网络的是，RNN可以利用它内部的记忆来处理任意时序的输入序列，这让它可以更容易处理如不分段的手写识别、语音识别等。
S1、接收用户输入的多种信息。
在用户向家用机器人通过各种方式输入相应信息时，接收所输入的多种信息，如文本信息、图像信息和其他信息，例如声音信息。
S2、利用情绪分类模型对多种信息进行处理。
这里的情绪分类模型为提前通过机器学习所训练的深度神经网络模型，深度神经网络可以选用RNN神经网络、CNN神经网络等。在基于机器学习所训练的情绪分类模型的基础上，将所接收到的多种信息、如文本信息、图像信息和其他信息输入到相应的情绪分类模型，得到其输出的情绪分类向量。
本申请中情绪分类模型包括基于文本信息的第一情绪分类模型和基于图像信息的第二情绪分类模型。即在实际处理过程中，将前述文本信息输入到第一情绪分类模型，从而得到第一情绪分类向量；将图像信息输入到第二情绪分类模型中，得到第二情绪分类向量。
S3、根据预设权重计算多种信息的情绪分类向量。
在得到基于文本信息的第一情绪分类向量和基于图像信息的第二情绪分类向量后，根据预设权重计算所所接收的多种信息的情绪分类向量，这里预设权重是指预先对文本信息和图像信息所赋予的权重系数，分别为针对第一情绪分类向量Mt的第一权重系数a和针对第二情绪分类向量Mp的第二权重系数b。
在具体计算时，可以通过如下公式进行计算：
情绪分类向量＝a*Mt+b*Mp
S4、根据情绪分类向量输出用户的情绪信息。
在得到基于用户输入的多种信息、如文本信息和图像信息所得到的情绪分类向量后，即可根据该情绪分类向量所指向的情绪信息，如喜、怒、哀、乐、贪、嗔、痴等。
从上述技术方案可以看出，本实施例提供了一种情绪识别方法，该方法应用于家用机器人，具体为接收用户输入的多种信息；利用情绪分类模型对多种信息进行处理，得到多个分类向量；根据每种信息的预设权重对多个分类向量进行计算，得到情绪分类向量；根据情绪分类向量输出用户的情绪信息。在能够得到用户的情绪信息的基础上，家用机器人即可判定用户的当前情绪，从而可以根据当前情绪做出相应的应对举动，这样无疑能够提高用户的使用体验。且相对于上一实施例来说，通过增设了模型训练步骤，从而使得技术方案更为完整。
实施例三
图3为本申请实施例的又一种情绪识别方法的流程图。
如图3所示，本实施例所提供的情绪识别方法应用于家用机器人，这里家用机器人为但不限于电器机器人、娱乐机器人、厨师机器人、搬运机器人、不动机器人、移动助理机器人和类人机器人，该情绪识别方法用于识别用户输入的信息所代表的情绪，具体包括如下步骤：
S03、准备训练样本。
这里的训练样本包括经过标识的图像集，图像集中包括多个经过标识的图像信息，每个图像信息对应的标识为相应的情绪信息，如喜、怒、哀、乐、贪、嗔、痴等。
S04、利用训练样本训练第二情绪分类模型。
即将上述训练样本代入到预先构建的CNN神经网络进行训练，从而得到该第一情绪分类模型。
RNN神经网络是一种节点定向连接成环的人工神经网络。这种网络的内部状态可以展示动态时序行为。不同于前馈神经网络的是，RNN可以利用它内部的记忆来处理任意时序的输入序列，这让它可以更容易处理如不分段的手写识别、语音识别等。
S1、接收用户输入的多种信息。
在用户向家用机器人通过各种方式输入相应信息时，接收所输入的多种信息，如文本信息、图像信息和其他信息，例如声音信息。
S2、利用情绪分类模型对多种信息进行处理。
这里的情绪分类模型为提前通过机器学习所训练的深度神经网络模型，深度神经网络可以选用RNN神经网络、CNN神经网络等。在基于机器学习所训练的情绪分类模型的基础上，将所接收到的多种信息、如文本信息、图像信息和其他信息输入到相应的情绪分类模型，得到其输出的情绪分类向量。
本申请中情绪分类模型包括基于文本信息的第一情绪分类模型和基于图像信息的第二情绪分类模型。即在实际处理过程中，将前述文本信息输入到第一情绪分类模型，从而得到第一情绪分类向量；将图像信息输入到第二情绪分类模型中，得到第二情绪分类向量。
S3、根据预设权重计算多种信息的情绪分类向量。
在得到基于文本信息的第一情绪分类向量和基于图像信息的第二情绪分类向量后，根据预设权重计算所所接收的多种信息的情绪分类向量，这里预设权重是指预先对文本信息和图像信息所赋予的权重系数，分别为针对第一情绪分类向量Mt的第一权重系数a和针对第二情绪分类向量Mp的第二权重系数b。
在具体计算时，可以通过如下公式进行计算：
情绪分类向量＝a*Mt+b*Mp
S4、根据情绪分类向量输出用户的情绪信息。
在得到基于用户输入的多种信息、如文本信息和图像信息所得到的情绪分类向量后，即可根据该情绪分类向量所指向的情绪信息，如喜、怒、哀、乐、贪、嗔、痴等。
从上述技术方案可以看出，本实施例提供了一种情绪识别方法，该方法应用于家用机器人，具体为接收用户输入的多种信息；利用情绪分类模型对多种信息进行处理，得到多个分类向量；根据每种信息的预设权重对多个分类向量进行计算，得到情绪分类向量；根据情绪分类向量输出用户的情绪信息。在能够得到用户的情绪信息的基础上，家用机器人即可判定用户的当前情绪，从而可以根据当前情绪做出相应的应对举动，这样无疑能够提高用户的使用体验。且相对于上一实施例来说，通过增设了模型训练步骤，从而使得技术方案更为完整。
实施例四
图4为本申请实施例的又一种情绪识别方法的流程图。
如图4所示，本实施例所提供的情绪识别方法应用于家用机器人，这里家用机器人为但不限于电器机器人、娱乐机器人、厨师机器人、搬运机器人、不动机器人、移动助理机器人和类人机器人，该情绪识别方法用于识别用户输入的信息所代表的情绪，具体包括如下步骤：
S01、准备训练样本。
这里的训练样本包括经过标识的文本集和图像集，文本集中包括多个经过标识的文本信息，图像集中则包括多个经过标识的图像信息，这里每个文本信息或每个图像信息所对应的标识均为相应的情绪信息，如喜、怒、哀、乐、贪、嗔、痴等。
S02、利用训练样本训练第一情绪分类模型。
即将上述训练样本代入到预先构建的RNN神经网络进行训练，从而得到该第一情绪分类模型。
RNN神经网络是一种节点定向连接成环的人工神经网络。这种网络的内部状态可以展示动态时序行为。不同于前馈神经网络的是，RNN可以利用它内部的记忆来处理任意时序的输入序列，这让它可以更容易处理如不分段的手写识别、语音识别等。
S03、利用训练样本训练第二情绪分类模型。
即将上述训练样本代入到预先构建的CNN神经网络进行训练，从而得到该第一情绪分类模型。
RNN神经网络是一种节点定向连接成环的人工神经网络。这种网络的内部状态可以展示动态时序行为。不同于前馈神经网络的是，RNN可以利用它内部的记忆来处理任意时序的输入序列，这让它可以更容易处理如不分段的手写识别、语音识别等。
S1、接收用户输入的多种信息。
在用户向家用机器人通过各种方式输入相应信息时，接收所输入的多种信息，如文本信息、图像信息和其他信息，例如声音信息。
S2、利用情绪分类模型对多种信息进行处理。
这里的情绪分类模型为提前通过机器学习所训练的深度神经网络模型，深度神经网络可以选用RNN神经网络、CNN神经网络等。在基于机器学习所训练的情绪分类模型的基础上，将所接收到的多种信息、如文本信息、图像信息和其他信息输入到相应的情绪分类模型，得到其输出的情绪分类向量。
本申请中情绪分类模型包括基于文本信息的第一情绪分类模型和基于图像信息的第二情绪分类模型。即在实际处理过程中，将前述文本信息输入到第一情绪分类模型，从而得到第一情绪分类向量；将图像信息输入到第二情绪分类模型中，得到第二情绪分类向量。
S3、根据预设权重计算多种信息的情绪分类向量。
在得到基于文本信息的第一情绪分类向量和基于图像信息的第二情绪分类向量后，根据预设权重计算所所接收的多种信息的情绪分类向量，这里预设权重是指预先对文本信息和图像信息所赋予的权重系数，分别为针对第一情绪分类向量Mt的第一权重系数a和针对第二情绪分类向量Mp的第二权重系数b。
在具体计算时，可以通过如下公式进行计算：
情绪分类向量＝a*Mt+b*Mp
S4、根据情绪分类向量输出用户的情绪信息。
在得到基于用户输入的多种信息、如文本信息和图像信息所得到的情绪分类向量后，即可根据该情绪分类向量所指向的情绪信息，如喜、怒、哀、乐、贪、嗔、痴等。
从上述技术方案可以看出，本实施例提供了一种情绪识别方法，该方法应用于家用机器人，具体为接收用户输入的多种信息；利用情绪分类模型对多种信息进行处理，得到多个分类向量；根据每种信息的预设权重对多个分类向量进行计算，得到情绪分类向量；根据情绪分类向量输出用户的情绪信息。在能够得到用户的情绪信息的基础上，家用机器人即可判定用户的当前情绪，从而可以根据当前情绪做出相应的应对举动，这样无疑能够提高用户的使用体验。且相对于上一实施例来说，通过增设了模型训练步骤，从而使得技术方案更为完整。
实施例五
图5为本申请实施例的一种情绪识别装置的框图。
如图5所示，本实施例所提供的情绪识别装置应用于家用机器人，这里家用机器人为但不限于电器机器人、娱乐机器人、厨师机器人、搬运机器人、不动机器人、移动助理机器人和类人机器人，该情绪识别装置用于识别用户输入的信息所代表的情绪，具体包括信息接收模块10、分类处理模块20、向量计算模块30和信息输出模块40。
信息接收模块用于接收用户输入的多种信息。
在用户向家用机器人通过各种方式输入相应信息时，接收所输入的多种信息，如文本信息、图像信息和其他信息，例如声音信息。
分类处理模块用于利用情绪分类模型对多种信息进行处理。
这里的情绪分类模型为提前通过机器学习所训练的深度神经网络模型，深度神经网络可以选用RNN网络、CNN网络等。在基于机器学习所训练的情绪分类模型的基础上，将所接收到的多种信息、如文本信息、图像信息和其他信息输入到相应的情绪分类模型，得到其输出的情绪分类向量。
本申请中情绪分类模型包括基于文本信息的第一情绪分类模型和基于图像信息的第二情绪分类模型。即在实际处理过程中，将前述文本信息输入到第一情绪分类模型，从而得到第一情绪分类向量；将图像信息输入到第二情绪分类模型中，得到第二情绪分类向量。
向量计算模块用于根据预设权重计算多种信息的情绪分类向量。
在得到基于文本信息的第一情绪分类向量和基于图像信息的第二情绪分类向量后，根据预设权重计算所所接收的多种信息的情绪分类向量，这里预设权重是指预先对文本信息和图像信息所赋予的权重系数，分别为针对第一情绪分类向量Mt的第一权重系数a和针对第二情绪分类向量Mp的第二权重系数b。
在具体计算时，可以通过如下公式进行计算：
情绪分类向量＝a*Mt+b*Mp
信息输出模块用于根据情绪分类向量输出用户的情绪信息。
在得到基于用户输入的多种信息、如文本信息和图像信息所得到的情绪分类向量后，即可根据该情绪分类向量所指向的情绪信息，如喜、怒、哀、乐、贪、嗔、痴等。
从上述技术方案可以看出，本实施例提供了一种情绪识别装置，该装置应用于家用机器人，具体为接收用户输入的多种信息；利用情绪分类模型对多种信息进行处理，得到多个分类向量；根据每种信息的预设权重对多个分类向量进行计算，得到情绪分类向量；根据情绪分类向量输出用户的情绪信息。在能够得到用户的情绪信息的基础上，家用机器人即可判定用户的当前情绪，从而可以根据当前情绪做出相应的应对举动，这样无疑能够提高用户的使用体验。
另外，本申请中的情绪识别装置还包括第一样本准备模块50和第一训练模块60，如图6所示。
第一样本准备模块用于准备训练样本。
这里的训练样本包括经过标识的文本集，文本集中包括多个经过标识的文本信息，每个文本信息对应的标识为相应的情绪信息，如喜、怒、哀、乐、贪、嗔、痴等。
第一训练模块用于利用训练样本训练第一情绪分类模型。
即将上述训练样本代入到预先构建的RNN神经网络进行训练，从而得到该第一情绪分类模型。
RNN神经网络是一种节点定向连接成环的人工神经网络。这种网络的内部状态可以展示动态时序行为。不同于前馈神经网络的是，RNN可以利用它内部的记忆来处理任意时序的输入序列，这让它可以更容易处理如不分段的手写识别、语音识别等。
还有，本申请中情绪识别装置还可以在上述第一样本准备模块和第一训练模块的基础上包括第二样本准备模块70和第二训练模块80，如图7所示。
第二样本准备模块用于准备训练样本。
这里的训练样本包括经过标识的图像集，图像集中包括多个经过标识的图像信息，每个图像信息对应的标识为相应的情绪信息，如喜、怒、哀、乐、贪、嗔、痴等。
第二训练模块用于利用训练样本训练第二情绪分类模型。
即将上述训练样本代入到预先构建的CNN神经网络进行训练，从而得到该第一情绪分类模型。
RNN神经网络是一种节点定向连接成环的人工神经网络。这种网络的内部状态可以展示动态时序行为。不同于前馈神经网络的是，RNN可以利用它内部的记忆来处理任意时序的输入序列，这让它可以更容易处理如不分段的手写识别、语音识别等。
实施例六
本实施例提供一种家用机器人，该家用机器人设置有上一实施例提供的情绪识别装置。
该情绪识别装置具体用于接收用户输入的多种信息；利用情绪分类模型对多种信息进行处理，得到多个分类向量；根据每种信息的预设权重对多个分类向量进行计算，得到情绪分类向量；根据情绪分类向量输出用户的情绪信息。在能够得到用户的情绪信息的基础上，家用机器人即可判定用户的当前情绪，从而可以根据当前情绪做出相应的应对举动，这样无疑能够提高用户的使用体验。
实施例七
图8为本申请实施例的一种家用机器人的控制器的框图。
如图8所示，本实施例提供的控制器包括至少一个处理器101和存储器102，两者通过数据总线103连接。
该存储器用于存储相应的计算机程序或指令，处理器则从该存储器获取计算机程序或指令并执行，从而使得该家用机器人能够执行本申请中实施例一～实施例四中的情绪识别方法。
该情绪识别方法具体为接收用户输入的多种信息；利用情绪分类模型对多种信息进行处理，得到多个分类向量；根据每种信息的预设权重对多个分类向量进行计算，得到情绪分类向量；根据情绪分类向量输出用户的情绪信息。在能够得到用户的情绪信息的基础上，家用机器人即可判定用户的当前情绪，从而可以根据当前情绪做出相应的应对举动，这样无疑能够提高用户的使用体验。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种情绪识别方法，应用于家用机器人，其特征在于，所述情绪识别方法包括步骤：
接收用户输入的多种信息；
利用情绪分类模型对所述多种信息进行处理，得到多个分类向量；
根据每种所述信息的预设权重对所述多个分类向量进行计算，得到情绪分类向量；
根据所述情绪分类向量输出用户的情绪信息。
2.如权利要求1所述的情绪识别方法，其特征在于，所述多种信息包括文本信息和/或图像信息。
3.如权利要求1所述的情绪识别方法，其特征在于，所述情绪分类模型包括基于文本信息的第一情绪分类模型和基于图像信息的第二情绪分类模型。
4.如权利要求3所述的情绪识别方法，其特征在于，还包括步骤：
准备训练样本，所述训练样本包括经过标识的文本集；
利用所述训练样本对预先构建的RNN神经网络进行训练，得到所述第一情绪分类模型。
5.如权利要求3所述的情绪识别方法，其特征在于，还包括步骤：
准备训练样本，所述训练样本包括经过标识的图像集；
利用所述训练样本对预先构建的CNN神经网络进行训练，得到所述第二情绪分类模型。
6.一种情绪识别装置，应用于家用机器人，其特征在于，所述情绪识别装置包括：
信息接收模块，被配置为接收用户输入的多种信息；
分类处理模块，被配置为利用情绪分类模型对所述多种信息进行处理，得到多个分类向量；
向量计算模块，被配置为根据每种所述信息的预设权重对所述多个分类向量进行计算，得到情绪分类向量；
信息输出模块，被配置为根据所述情绪分类向量输出用户的情绪信息。
7.如权利要求6所述的情绪识别装置，其特征在于，所述多种信息包括文本信息和/或图像信息。
8.如权利要求6所述的情绪识别装置，其特征在于，所述情绪分类模型包括基于文本信息的第一情绪分类模型和基于图像信息的第二情绪分类模型。
9.如权利要求8所述的情绪识别装置，其特征在于，还包括：
第一样本准备模块，被配置为准备训练样本，所述训练样本包括经过标识的文本集；
第一训练模块，被配置为利用所述训练样本对预先构建的RNN神经网络进行训练，得到所述第一情绪分类模型。
10.如权利要求8所述的情绪识别装置，其特征在于，还包括：
第二样本准备模块，被配置为准备训练样本，所述训练样本包括经过标识的图像集；
第二训练模块，被配置为利用所述训练样本对预先构建的CNN神经网络进行训练，得到所述第二情绪分类模型。
11.一种家用机器人，其特征在于，设置有如权利要求6～10任一项所述的情绪识别装置。
12.一种家用机器人，其特征在于，设置有控制器，所述控制器包括至少一个处理器和与其信号连接的存储器，其中：
所述存储器用于存储计算机程序或指令；
所述处理器用于获取并执行所述计算机程序或指令，以使所述家用机器人实现如权利要求1～5任一项所述的情绪识别方法。
CN201910666279.XA 2019-07-23 2019-07-23 一种家用机器人及其情绪识别方法和装置 Pending CN110378428A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910666279.XA CN110378428A (zh) 2019-07-23 2019-07-23 一种家用机器人及其情绪识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910666279.XA CN110378428A (zh) 2019-07-23 2019-07-23 一种家用机器人及其情绪识别方法和装置

Publications (1)

Publication Number Publication Date
CN110378428A true CN110378428A (zh) 2019-10-25

Family

ID=68255124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910666279.XA Pending CN110378428A (zh) 2019-07-23 2019-07-23 一种家用机器人及其情绪识别方法和装置

Country Status (1)

Country Link
CN (1) CN110378428A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112809694A (zh) * 2020-03-02 2021-05-18 腾讯科技（深圳）有限公司 机器人控制方法、装置、存储介质和计算机设备
CN112818841A (zh) * 2021-01-29 2021-05-18 北京搜狗科技发展有限公司 一种识别用户情绪的方法及相关装置
CN112847369A (zh) * 2021-01-08 2021-05-28 深圳市注能科技有限公司 机器人情绪转变的方法、装置、机器人及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203344A (zh) * 2016-07-12 2016-12-07 北京光年无限科技有限公司 一种用于智能机器人的情绪识别方法及系统
CN107220591A (zh) * 2017-04-28 2017-09-29 哈尔滨工业大学深圳研究生院 多模态智能情绪感知系统
CN109394247A (zh) * 2018-06-08 2019-03-01 青岛大学附属医院 一种多特征融合的就诊用户情绪监控方法
CN109512441A (zh) * 2018-12-29 2019-03-26 中山大学南方学院 基于多元信息的情绪识别方法及装置
CN109558935A (zh) * 2018-11-28 2019-04-02 黄欢 基于深度学习的情感识别与交互方法及系统
CN109597493A (zh) * 2018-12-11 2019-04-09 科大讯飞股份有限公司 一种表情推荐方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203344A (zh) * 2016-07-12 2016-12-07 北京光年无限科技有限公司 一种用于智能机器人的情绪识别方法及系统
CN107220591A (zh) * 2017-04-28 2017-09-29 哈尔滨工业大学深圳研究生院 多模态智能情绪感知系统
CN109394247A (zh) * 2018-06-08 2019-03-01 青岛大学附属医院 一种多特征融合的就诊用户情绪监控方法
CN109558935A (zh) * 2018-11-28 2019-04-02 黄欢 基于深度学习的情感识别与交互方法及系统
CN109597493A (zh) * 2018-12-11 2019-04-09 科大讯飞股份有限公司 一种表情推荐方法及装置
CN109512441A (zh) * 2018-12-29 2019-03-26 中山大学南方学院 基于多元信息的情绪识别方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112809694A (zh) * 2020-03-02 2021-05-18 腾讯科技（深圳）有限公司 机器人控制方法、装置、存储介质和计算机设备
CN112809694B (zh) * 2020-03-02 2023-12-29 腾讯科技（深圳）有限公司 机器人控制方法、装置、存储介质和计算机设备
CN112847369A (zh) * 2021-01-08 2021-05-28 深圳市注能科技有限公司 机器人情绪转变的方法、装置、机器人及存储介质
CN112818841A (zh) * 2021-01-29 2021-05-18 北京搜狗科技发展有限公司 一种识别用户情绪的方法及相关装置

Similar Documents

Publication Publication Date Title
CN110378428A (zh) 一种家用机器人及其情绪识别方法和装置
CN110334201A (zh) 一种意图识别方法、装置及系统
CN109961780A (zh) 一种人机交互方法、装置、服务器和存储介质
CN107544982A (zh) 文本信息处理方法、装置及终端
CN105304082B (zh) 一种语音输出方法及装置
CN112100337B (zh) 交互对话中的情绪识别方法及装置
US20200202075A1 (en) Natural Language Processing Method and Apparatus
CN104699711B (zh) 一种推荐方法及服务器
CN108121800A (zh) 基于人工智能的信息生成方法和装置
CN109791549A (zh) 面向对话的机器用户交互
CN107222384A (zh) 电子设备及其智能问答方法、电子设备、服务器和系统
CN111344717B (zh) 交互行为预测方法、智能装置和计算机可读存储介质
CN109635080A (zh) 应答策略生成方法及装置
CN108268637A (zh) 一种智能语音矫正识别方法、装置和用户终端
CN108040111A (zh) 一种支持自然语言交互的装置和方法
CN106022208A (zh) 人体动作识别方法及装置
CN108847229A (zh) 一种基于语音助手的信息交互方法及终端
CN109784367A (zh) 用户画像方法、装置、计算机可读存储介质及电子设备
CN109815322A (zh) 应答的方法、装置、存储介质及电子设备
CN108965081A (zh) 语音控制设备的方法及装置
CN109002434A (zh) 客服问答匹配方法、服务器及存储介质
CN109753994A (zh) 用户画像方法、装置、计算机可读存储介质及电子设备
CN106356056B (zh) 语音识别方法和装置
CN110472731A (zh) 一种分布式训练中梯度同步方法及装置
CN208284230U (zh) 一种语音识别装置、语音识别系统及智能设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191025