CN108326855A - 一种机器人的交互方法、装置、设备以及存储介质 - Google Patents

一种机器人的交互方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN108326855A
CN108326855A CN201810076953.4A CN201810076953A CN108326855A CN 108326855 A CN108326855 A CN 108326855A CN 201810076953 A CN201810076953 A CN 201810076953A CN 108326855 A CN108326855 A CN 108326855A
Authority
CN
China
Prior art keywords
mood
user
information
interaction
matched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810076953.4A
Other languages
English (en)
Inventor
杨鹏
何嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Wu Soul Intelligent Technology Co Ltd
Original Assignee
Shanghai Wu Soul Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Wu Soul Intelligent Technology Co Ltd filed Critical Shanghai Wu Soul Intelligent Technology Co Ltd
Priority to CN201810076953.4A priority Critical patent/CN108326855A/zh
Publication of CN108326855A publication Critical patent/CN108326855A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本发明实施例公开了一种机器人的交互方法、装置、设备以及存储介质，该方法包括：根据用户输入的用户交互信息，确定所述用户的交互情绪；生成与所述交互情绪匹配的情绪控制指令，并获取与所述用户交互信息匹配的反馈信息；在向所述用户提供所述反馈信息的过程中，执行所述情绪控制指令，其中，所述情绪控制指令用于控制机器人执行设定交互动作，和/或呈现设定交互表情。本发明实施例能够使机器人根据用户的交互情绪做出相应的情绪反应，增加了机器人与用户情感上的交流和沟通，从而提升了机器人的智能性，人机交互效果得到了改善，增强了用户体验感，可应用范围广泛。

Description

一种机器人的交互方法、装置、设备以及存储介质
技术领域
本发明实施例涉及人机交互技术领域，尤其涉及一种机器人的交互方法、装置、设备以及存储介质。
背景技术
随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人在现代生产生活中的应用领域不断拓宽，不再仅仅局限于工业领域，而是逐渐扩展到了医疗、家庭、娱乐以及服务行业等领域，进而促使人机交互更加频繁。
目前，机器人在与用户交互的过程中，一般通过接收用户发出的控制命令执行相应的工作任务，缺少与用户情感上的交流，难以实现真正意义上的沟通，导致人机交互缺乏根据用户的情绪进行相应的智能交互，造成用户体验感不佳。
发明内容
本发明实施例提供一种机器人的交互方法、装置、设备以及存储介质，解决现有技术中人机交互缺乏根据用户的情绪进行相应的智能交互、用户体验感不佳的问题。
第一方面，本发明实施例提供了一种机器人的交互方法，包括：
根据用户输入的用户交互信息，确定所述用户的交互情绪；
生成与所述交互情绪匹配的情绪控制指令，并获取与所述用户交互信息匹配的反馈信息；
在向所述用户提供所述反馈信息的过程中，执行所述情绪控制指令，其中，所述情绪控制指令用于控制机器人执行设定交互动作，和/或呈现设定交互表情。
进一步地，根据用户输入的用户交互信息，确定所述用户的交互情绪，包括：
在检测到用户输入所述用户交互信息时，通过摄像头捕获所述用户的交互表情图像；
根据所述用户交互信息以及所述交互表情图像，确定所述用户的交互情绪。
进一步地，根据所述用户交互信息以及所述交互表情图像，确定所述用户的交互情绪，包括：
根据所述用户交互信息，确定所述用户的语音情绪特征；
根据所述交互表情图像，确定所述用户的表情情绪特征；
根据所述语音情绪特征以及所述表情情绪特征查找二维情绪映射表，确定所述用户的交互情绪。
进一步地，根据所述用户交互信息，确定所述用户的语音情绪特征，包括：
解析所述用户交互信息，得到与所述用户交互信息对应的语音识别文本；
通过对所述语音识别文本进行基于自然语义的分词操作，实现关键词信息的抽取；
将所述关键词信息与预先按照不同情绪类别收集的样本关键词集和/或情绪词典库进行匹配，确定所述用户交互信息的所属情绪类别；
将所述用户交互信息的所属情绪类别确定为所述用户的语音情绪特征。
进一步地，根据所述交互表情图像，确定所述用户的表情情绪特征，包括：
提取所述交互表情图像中的关键表情信息；
将所述关键表情信息与预先按照不同情绪类别收集的样本表情集进行匹配，确定所述交互表情图像的所属情绪类别；
将所述交互表情图像的所属情绪类别确定为所述用户的表情情绪特征。
进一步地，生成与所述交互情绪匹配的情绪控制指令，包括：
将所述用户的交互情绪输入至预设的情绪属性分类器，获取情绪属性分类结果，并生成与所述情绪属性分类结果匹配的情绪控制指令；
其中，所述情绪属性分类结果包括：正面情绪、负面情绪或者中立情绪。
进一步地，生成与所述交互情绪匹配的情绪控制指令，还包括：
对所述用户的交互情绪进行情绪属性归类操作，生成与情绪属性归类结果匹配的情绪控制指令。
进一步地，获取与所述用户交互信息匹配的反馈信息，包括：
如果确定获取到与所述用户交互信息匹配的预制交互信息，则从所述预制交互信息对应的至少一个预制反馈信息中，提取与所述用户交互信息匹配的反馈信息；
如果确定未获取到与所述用户交互信息匹配的预制交互信息，则根据所述用户交互信息进行检索，将筛选后的检索结果作为与所述用户交互信息匹配的反馈信息。
进一步地，所述至少一个预制反馈信息包括：与不同的所述情绪控制指令分别对应的至少一个预制反馈信息。
第二方面，本发明实施例还提供了一种机器人的交互装置，包括：
交互情绪确定模块，用于根据用户输入的用户交互信息，确定所述用户的交互情绪；
反馈内容获取模块，用于生成与所述交互情绪匹配的情绪控制指令，并获取与所述用户交互信息匹配的反馈信息；
输出模块，用于在向所述用户提供所述反馈信息的过程中，执行所述情绪控制指令，其中，所述情绪控制指令用于控制机器人执行设定交互动作和/或呈现设定交互表情。
进一步地，所述交互情绪确定模块包括：
图像获取子模块，用于在检测到用户输入所述用户交互信息时，通过摄像头捕获所述用户的交互表情图像；
交互情绪确定子模块，用于根据所述用户交互信息以及所述交互表情图像，确定所述用户的交互情绪。
进一步地，所述交互情绪确定子模块包括：
语音情绪特征确定单元，用于根据所述用户交互信息，确定所述用户的语音情绪特征；
表情情绪特征确定单元，用于根据所述交互表情图像，确定所述用户的表情情绪特征；
交互情绪确定单元，用于根据所述语音情绪特征以及所述表情情绪特征查找二维情绪映射表，确定所述用户的交互情绪。
进一步地，所述语音情绪特征确定单元具体用于：
解析所述用户交互信息，得到与所述用户交互信息对应的语音识别文本；
通过对所述语音识别文本进行基于自然语义的分词操作，实现关键词信息的抽取；
将所述关键词信息与预先按照不同情绪类别收集的样本关键词集和/或情绪词典库进行匹配，确定所述用户交互信息的所属情绪类别；
将所述用户交互信息的所属情绪类别确定为所述用户的语音情绪特征。
进一步地，所述表情情绪特征确定单元具体用于：
提取所述交互表情图像中的关键表情信息；
将所述关键表情信息与预先按照不同情绪类别收集的样本表情集进行匹配，确定所述交互表情图像的所属情绪类别；
将所述交互表情图像的所属情绪类别确定为所述用户的表情情绪特征。
进一步地，所述反馈内容获取模块包括：
分类单元，用于将所述用户的交互情绪输入至预设的情绪属性分类器，获取情绪属性分类结果，并生成与所述情绪属性分类结果匹配的情绪控制指令；
其中，所述情绪属性分类结果包括：正面情绪、负面情绪或者中立情绪。
进一步地，所述反馈内容获取模块还包括：
归类单元，用于对所述用户的交互情绪进行情绪属性归类操作，生成与情绪属性归类结果匹配的情绪控制指令。
进一步地，所述反馈内容获取模块还包括：
预制反馈信息提取单元，用于如果确定获取到与所述用户交互信息匹配的预制交互信息，则从所述预制交互信息对应的至少一个预制反馈信息中，提取与所述用户交互信息匹配的反馈信息；
检索单元，用于如果确定未获取到与所述用户交互信息匹配的预制交互信息，则根据所述用户交互信息在设定网络地址中进行检索，将筛选后的检索结果作为与所述用户交互信息匹配的反馈信息。
进一步地，所述至少一个预制反馈信息包括：与不同的所述情绪控制指令分别对应的至少一个预制反馈信息。
第三方面，本发明实施例还提供了一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一所述的机器人的交互方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的机器人的交互方法。
本发明实施例通过用户交互信息确定出用户的交互情绪，在向用户提供与用户交互信息匹配的反馈信息的同时，执行与交互情绪匹配的情绪控制指令。本发明实施例能够使机器人根据用户的交互情绪做出相应的情绪反应，而不仅仅局限于机械地执行指令，在与用户进行交流互动时，可以显式地表达情绪，提供交互表情和/或交互动作，增加了机器人与用户情感上的交流和沟通，根据用户的情绪进行相应的智能交互，从而提升了机器人的智能性，人机交互效果得到了改善，增强了用户体验感，可应用范围广泛。
附图说明
图1是本发明实施例一中的一种机器人的交互方法的流程图；
图2是本发明实施例二中的一种机器人的交互方法的流程图；
图3是本发明实施例三中的一种机器人的交互方法的流程图；
图4a是本发明实施例四中的一种机器人的交互方法的流程图；
图4b是本发明实施例四中的一种机器人的交互方法的流程图；
图5a是本发明实施例五中的一种机器人的交互装置的结构示意图；
图5b是本发明实施例五中的一种机器人的交互装置的结构示意图；
图6是本发明实施例六中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1为本发明实施例一提供的一种机器人的交互方法的流程图，本实施例可适用于机器人根据用户交互信息进行信息反馈和情绪反馈的情况，该方法可以由本发明实施例提供的机器人的交互装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成在机器人的处理器中，例如，微处理器、微控制器或者数字信号处理器等。如图1所示，本实施例的方法具体包括：
S110、根据用户输入的用户交互信息，确定所述用户的交互情绪。
具体的，发明人通过研究发现，用户在交流互动的过程中会伴随着情绪的产生和变化，而情绪的产生和变化也会反过来影响用户在交流互动中的语言和行为。可以从用户的角度将交互情绪细分为不同的情绪类别，典型的，情绪类别可以包括喜、怒、哀、乐以及无明显情绪。在机器人与用户的交互过程中，机器人可以通过用户输入的用户交互信息，确定用户的交互情绪。
具体的，机器人可以包括显示装置、摄像头、至少一个传声器、以及处理器，显示装置可以显示三维虚拟人物形象。当机器人检测到用户输入的用户交互信息时，可以通过获取用户的情绪特征，来确定用户的交互情绪。在本发明实施例的一个可选的实施方式中，情绪特征可以包括语音情绪特征和表情情绪特征。机器人可以通过传声器采集用户的音频数据，即，将用户输入的语音转换成数字信号。同时，可以通过摄像头捕获用户的交互表情图像。机器人可以根据用户的音频数据提取用户的语音情绪特征，也可以根据用户的交互表情图像提取用户的表情情绪特征，并进一步根据用户的语音情绪特征和表情情绪特征确定用户的交互情绪。
S120、生成与所述交互情绪匹配的情绪控制指令，并获取与所述用户交互信息匹配的反馈信息。
具体的，根据用户的交互情绪，确定情绪控制指令，该情绪控制指令用于使机器人针对用户的交互情绪进行情绪反馈。示例性地，可以针对用户的负面情绪进行情绪引导，进行正面情绪的反馈，生成对应的情绪控制指令。情绪控制指令可以控制机器人的交互表情和/或交互动作，其中，交互表情可以包括卖萌表情、微笑表情等，交互动作可以包括转圈、安抚动作等。可以针对用户不同的情绪类别，确定与情绪类别匹配的情绪控制指令。示例性地，如果确定用户的交互情绪所属的情绪类别为哀，则情绪控制指令可以控制机器人执行鼓励动作，并呈现逗趣的表情。获取与用户输入的用户交互信息匹配的反馈信息，反馈信息可以理解为与用户交互信息的内容匹配的反馈内容，该反馈内容可以通过传声器提供给用户。反馈信息可以根据用户的交互情绪而确定，即获取的反馈信息与用户的交互情绪相关，也可以不根据用户的交互情绪而确定，即获取的反馈信息与用户的交互情绪不相关，仅获取与用户输入的语音内容匹配的反馈语音内容，本发明实施例对此不做限制。
S130、在向所述用户提供所述反馈信息的过程中，执行所述情绪控制指令，其中，所述情绪控制指令用于控制机器人执行设定交互动作，和/或呈现设定交互表情。
具体的，机器人可以根据用户当前输入的用户交互信息做出语音和情绪的反馈。机器人可以在向用户提供反馈信息的同时，通过执行情绪控制指令显示交互表情，和/或执行交互动作。示例性地，如果用户输入的用户交互信息为“好难用啊”，可以确定用户的交互情绪为怒，在向用户提供反馈信息“我会好好努力的，再给我一些时间好不好”的同时，执行的情绪控制指令包括低头和双手抱拳放置胸前的动作，以及呈现卖萌表情。其中，低头和双手抱拳放置胸前的动作，以及呈现卖萌表情可以通过显示装置中的三维虚拟人物形象来显示，也可以仅通过显示装置显示卖萌表情，通过仿真机器人的身体部件执行低头和双手抱拳放置胸前的动作，本发明实施例对此并不限制。
本发明实施例一提供的一种机器人的交互方法，能够使机器人根据用户的交互情绪做出相应的情绪反应，而不仅仅局限于机械地执行指令，在与用户进行交流互动时，可以显式地表达情绪，提供交互表情和/或交互动作，增加了机器人与用户情感上的交流和沟通，从而提升了机器人的智能性，人机交互效果得到了改善，增强了用户体验感，可应用范围广泛。
实施例二
图2为本发明实施例二提供的一种机器人的交互方法的流程图，本发明实施例二以上述实施例为基础进行了优化，具体是对根据用户输入的用户交互信息，确定所述用户的交互情绪的操作进一步优化，如图2所示，本发明实施例二的方法具体包括：
S210、在检测到用户输入所述用户交互信息时，通过摄像头捕获所述用户的交互表情图像。
具体的，在检测到用户输入用户交互信息时，控制摄像头开启，并通过摄像头捕获用户的交互表情图像。可以控制摄像头按照预设时间获取用户的交互表情图像，示例性地，预设时间可以根据实际情况而具体设置，例如，可以设置为3秒钟。用户交互信息可以理解为用户输入的交互语音。
S220、根据所述用户交互信息以及所述交互表情图像，确定所述用户的交互情绪。
可选的，根据所述用户交互信息以及所述交互表情图像，确定所述用户的交互情绪，包括：
根据所述用户交互信息，确定所述用户的语音情绪特征；
根据所述交互表情图像，确定所述用户的表情情绪特征；
根据所述语音情绪特征以及所述表情情绪特征查找二维情绪映射表，确定所述用户的交互情绪。
具体的，可以从用户交互信息中提取用户的语音情绪特征，通过语音情绪特征可以获取用户的语音所属的情绪类别。而且可以从交互表情图像中提取用户的表情情绪特征，通过表情情绪特征可以获取用户的表情所属的情绪类别。根据语音情绪特征和表情情绪特征查找二维情绪映射表，得到交互对象的交互情绪。在二维情绪映射表的一个维度上可以包括基于不同的情绪类别划分的各个表情情绪特征，在二维情绪映射表的另一个维度上可以包括基于不同的情绪类别划分的各个语音情绪特征。通过获取表情情绪特征与语音情绪特征的二维交叉结果，确定用户的交互情绪。基于情绪类别划分的表情情绪特征的数量与基于情绪类别划分的语音情绪特征的数量可以相同，表情情绪特征对应的各个情绪类别，与语音情绪特征对应的各个情绪类别可以相同，示例性地，可以按照情绪类别为喜、怒、哀、乐、无明显情绪分别对表情情绪特征和语音情绪特征进行划分，因此，二维情绪映射表可以包括25个二维交叉结果。二维情绪映射表的交叉结果可以预先根据实际情况而设置具体内容，示例性地，如果表情情绪特征为喜，语音情绪特征为乐，可以确定用户的交互情绪为乐，如果表情情绪特征为无明显情绪，语音情绪特征为喜，可以确定用户的交互情绪为喜，如果表情情绪特征为喜，语音情绪特征为怒，可以确定用户的交互情绪为喜。本发明实施例对于二维情绪映射表的交叉结果的具体内容不做限制。
可选的，根据所述用户交互信息，确定所述用户的语音情绪特征，包括：
解析所述用户交互信息，得到与所述用户交互信息对应的语音识别文本；
通过对所述语音识别文本进行基于自然语义的分词操作，实现关键词信息的抽取；
将所述关键词信息与预先按照不同情绪类别收集的样本关键词集和/或情绪词典库进行匹配，确定所述用户交互信息的所属情绪类别；
将所述用户交互信息的所属情绪类别确定为所述用户的语音情绪特征。
具体的，对用户输入的音频数据进行识别，转换为文本信息，通过自然语言处理技术，对文本信息进行拆分词的操作，获取关键词信息，例如：对“我今天难过了”进行分词操作，获取的关键词信息可以为“今天”和“难过”。可以预先按照情绪类别为喜、怒、哀、乐、无明显情绪收集样本关键词集，例如，关键词“今天”、“如何”、“蜜蜂”等词汇组成的关键词集可以对应的情绪类别为无明显情绪，关键词“开心”、“愉快”、“可爱”等词汇组成的关键词集可以对应的情绪类别为喜，关键词“讨厌”、“生气”、“烦死了”等词汇组成的关键词集可以对应的情绪类别为怒，关键词“哎”、“不开心”、“难过”等词汇组成的关键词集可以对应的情绪类别为哀，关键词“哈哈”、“笑死我了”、“好喜欢”等词汇组成的关键词集可以对应的情绪类别为乐。本领域技术人员可知，对于用于确定情绪类别的关键词汇不限于上述词汇，本发明对于样本关键词集的具体内容不做限制。如果根据样本关键词集无法确定情绪类别，可以将关键词信息输入至情绪词典库获取情绪类别的判定结果，情绪词典库可以为设定网站的情绪库，或者台湾大学情感词典。可以将关键词信息与预先按照不同情绪类别收集的样本关键词集和/或情绪词典库进行匹配，确定用户交互信息的所属情绪类别，将用户交互信息的所属情绪类别作为用户的语音情绪特征。
可选的，根据所述交互表情图像，确定所述用户的表情情绪特征，包括：
提取所述交互表情图像中的关键表情信息；
将所述关键表情信息与预先按照不同情绪类别收集的样本表情集进行匹配，确定所述交互表情图像的所属情绪类别；
将所述交互表情图像的所属情绪类别确定为所述用户的表情情绪特征。
具体的，在通过摄像头获取用户的交互表情图像之后，可以提取交互表情图像中人脸面部关键点作为关键表情信息。示例性地，人脸面部关键点可以包括嘴巴、眼睛、眉毛等。可以预先按照喜、怒、哀、乐、无明显表情的情绪类别收集样本表情集，并可以获取样本表情集中的关键表情信息。样本表情集中的样本表情可以是真实的表情图像，也可以是虚拟的表情图像，其中，为了提升情绪类别判断的准确性，真实的表情图像也可以按照男士样本表情图像和女士样本表情图像进行划分。将关键表情信息与预先按照不同情绪类别收集的样本表情集进行匹配，确定交互表情图像的所属情绪类别，将交互表情图像的所属情绪类别作为用户的表情情绪特征。
S230、生成与所述交互情绪匹配的情绪控制指令，并获取与所述用户交互信息匹配的反馈信息。
S240、在向所述用户提供所述反馈信息的过程中，执行所述情绪控制指令，其中，所述情绪控制指令用于控制机器人执行设定交互动作和/或呈现设定交互表情。
本发明实施例二提供的一种机器人的交互方法，能够根据用户的语音情绪特征和表情情绪特征来确定用户的交互情绪，并进一步根据交互情绪确定机器人执行的情绪控制指令，使机器人在人机交互的过程中与用户产生情绪上的共鸣，使人机交互更自然，更拟人化，提升了机器人的智能性。
实施例三
图3为本发明实施例三提供的一种机器人的交互方法的流程图，本发明实施例三以上述各实施例为基础进行了优化改进，对生成与所述交互情绪匹配的情绪控制指令进行了进一步说明，如图3所示，本发明实施例三的方法具体包括：
S310、根据用户输入的用户交互信息，确定所述用户的交互情绪。
S320、将所述用户的交互情绪输入至预设的情绪属性分类器，获取情绪属性分类结果，并生成与所述情绪属性分类结果匹配的情绪控制指令，其中，所述情绪属性分类结果包括：正面情绪、负面情绪或者中立情绪。
具体的，可以将用户的交互情绪输入至预设的情绪属性分类器，来获得情绪分类结果。可以预先将交互情绪输入至情绪属性分类器进行训练，获取训练后的情绪属性分类器。示例性地，将交互情绪为喜输入至情绪属性分类器，获得的情绪分类结果为正面情绪，将交互情绪为怒输入至情绪属性分类器，获得的情绪分类结果为负面情绪，将交互情绪为无明显情绪输入至情绪属性分类器，获得的情绪分类结果为中立情绪。如果交互情绪的情绪属性分类结果是正面情绪，则生成的情绪控制指令可以用于反馈正面情绪，如果交互情绪的情绪属性分类结果是负面情绪或者中立情绪，则生成的情绪控制指令可以用于反馈正面的带动情绪。
可选的，对所述用户的交互情绪进行情绪属性归类操作，生成与情绪属性归类结果匹配的情绪控制指令。
具体的，可以对用户的交互情绪进行情绪属性归类操作，即，可以将情绪类别为喜和乐确定为正面情绪，将情绪类别为怒和哀确定为负面情绪，将情绪类别为无明显情绪确定为中立情绪。建立情绪属性归类结果与情绪类别之间的映射关系。生成与情绪属性归类结果匹配的情绪控制指令，示例性地，如果交互情绪的情绪属性归类结果是正面情绪，则提供的情绪控制指令是陪伴附和式的指令，如果交互情绪的情绪属性归类结果是负面情绪或者中立情绪，则提供的情绪控制指令是情绪提升式的指令。例如，在实施例一中的二维映射表中，可以将带有至少一个维度负面情绪的交互情绪归类为负面情绪，带有两个维度正面情绪的交互情绪归类为正面情绪，将带有两个维度的中立情绪的交互情绪归类为中立情绪。可以对情绪控制指令所控制的动作和表情进行预先设定，本发明实施例对情绪控制指令所控制的动作和表情的具体内容不做限制。
S330、获取与所述用户交互信息匹配的反馈信息。
S340、在向所述用户提供所述反馈信息的过程中，执行所述情绪控制指令，其中，所述情绪控制指令用于控制机器人执行设定交互动作和/或呈现设定交互表情。
本发明实施例三提供的一种机器人的交互方法，能够根据用户的交互情绪进行情绪反馈，并能够引导用户进行情绪的改善，提升了机器人的趣味性，增强了用户的体验感。
实施例四
图4a为本发明实施例四提供的一种机器人的交互方法的流程图，本发明实施例四以上述各实施例为基础进行了优化改进，对获取与所述用户交互信息匹配的反馈信息进行了进一步说明，如图4a所示，本发明实施例四的方法具体包括：
S410、根据用户输入的用户交互信息，确定所述用户的交互情绪。
S420、生成与所述交互情绪匹配的情绪控制指令。
S430、判断是否获取到与用户交互信息匹配的预制交互信息，若是，则执行S440，否则，执行S450。
S440、从所述预制交互信息对应的至少一个预制反馈信息中，提取与所述用户交互信息匹配的反馈信息，执行S490。
具体的，预先存储预制交互信息，以及与预制交互信息匹配的至少一个预制反馈信息，即，预先对用户输入的用户交互信息进行预测，预测的结果可以理解为预制交互信息。将用户交互信息与预制交互信息进行匹配，如果预制交互信息中存在与用户交互信息匹配的结果，则从预制反馈信息中随机抽取一个回复作为反馈信息。预制反馈信息可以与情绪控制指令不相关，也可以与情绪控制指令相关，本发明实施例对此不做限制。
可选的，所述至少一个预制反馈信息包括：与不同的所述情绪控制指令分别对应的至少一个预制反馈信息。
具体的，如果预制反馈信息与情绪控制指令相关，则按照不同的情绪控制指令对应存储至少一个预制反馈信息。示例性地，如果通过用户交互信息为“今天还好吧”以及交互表情图像确定的用户的交互情绪为无明显情绪，则生成的情绪控制指令用于进行情绪提升，预制反馈信息可以包括“那我给你讲个笑话吧”。如果通过用户交互信息为“今天很开心啊”以及交互表情图像确定的用户的交互情绪为喜，则生成的情绪控制指令用于进行陪伴附和，预制反馈信息可以包括“哈哈哈，有什么喜事给我说说呗”。如果通过用户交互信息为“烦死了”以及交互表情图像确定的用户的交互情绪为怒，则生成的情绪控制指令用于进行情绪提升，预制反馈信息可以包括“要不然我给你讲个笑话吧”。如果通过用户交互信息为“很难受”以及交互表情图像确定的用户的交互情绪为哀，则生成的情绪控制指令用于进行情绪提升，预制反馈信息可以包括“那来猜个谜语吧”。如果通过用户交互信息为“哈哈哈，好玩”以及交互表情图像确定的用户的交互情绪为乐，则生成的情绪控制指令用于进行陪伴附和，预制反馈信息可以包括“嘻嘻，我还有更多好玩的呢”。本领域技术人员可知，对于预制反馈信息的内容不限于上述说明，各个情绪控制指令可以对应至少一个预制反馈信息，本发明实施例对于预制反馈信息的内容不做限制。
S450、根据所述用户交互信息在设定网络地址中进行检索。
S460、判断是否获取到检索结果，若是，则执行S470，否则，执行S480。
S470、将筛选后的检索结果作为与所述用户交互信息匹配的反馈信息，执行S490。
具体的，可以根据用户交互信息的文本内容在设定网络地址中进行网络检索，将用户交互信息的文本内容作为问题，再根据问题进行网络检索，获取检索结果。可以对检索结果进行筛选，例如设置筛选条件，以保证检索结果的合法性和合理性。如在指定开放网站爬取指定位置的文本内容，作为问题；再根据爬取的问题去指定网址检索网络，从这样情绪问题和答案都有的网络数据中得到答案。如使用python脚本，question_list＝craw_question('happy')，answer_list＝craw_answer('happy')，得到问题和答案列表，在此后用户的问题匹配上后，提供对应回复文本答案。
S480、通过模糊匹配获取反馈信息。
具体的，如果既没有获取到与用户交互信息匹配的预制交互信息，也没有获取到检索结果，则需要对用户交互信息进行模糊匹配，可以根据用户交互信息的语音情绪特征对应的情绪控制指令，任意选取预制反馈信息的内容或者获取网络检索的结果，得到反馈信息。
S490、在向所述用户提供所述反馈信息的过程中，执行所述情绪控制指令，其中，所述情绪控制指令用于控制机器人执行设定交互动作和/或呈现设定交互表情。
本实施例中，图4b为本发明实施例四提供的一种机器人的交互方法的流程图，参见图4b，分别获取用户的交互表情图像和语音，根据交互表情图像获取表情情绪特征，并对用户的语音进行识别，将语音转换为文本信息，对文本信息分别提取语音情绪特征和文本内容，基于自然语言技术，获取与文本内容对应的反馈信息，并根据表情情绪特征以及语音情绪特征判定用户的交互情绪，生成与交互情绪匹配的情绪控制指令。结合情绪控制指令和反馈信息发送控制指令至机器人，使机器人执行该控制指令。
本发明实施例四提供的一种机器人的交互方法，通过表情情绪特征和语音情绪特征共同确定用户的交互情绪，提升了交互情绪判定的准确性，能够使机器人与用户进行情感沟通，并根据用户的交互情绪提供应对方式，使人机交互更自然化和智能化。
实施例五
图5a是本发明实施例五中的一种机器人的交互装置的结构示意图，该装置应用于机器人根据用户交互信息进行信息反馈和情绪反馈的情况，该装置可采用软件和/或硬件的方式实现，并一般可集成在机器人的处理器中，例如，微处理器、微控制器或者数字信号处理器等。如图5a所示，装置包括：交互情绪确定模块510、反馈内容获取模块520、以及输出模块530，其中：
交互情绪确定模块510，用于根据用户输入的用户交互信息，确定所述用户的交互情绪；
反馈内容获取模块520，用于生成与所述交互情绪匹配的情绪控制指令，并获取与所述用户交互信息匹配的反馈信息；
输出模块530，用于在向所述用户提供所述反馈信息的过程中，执行所述情绪控制指令，其中，所述情绪控制指令用于控制机器人执行设定交互动作和/或呈现设定交互表情。
本发明实施例能够使机器人根据用户的交互情绪做出相应的情绪反应，而不仅仅局限于机械地执行指令，在与用户进行交流互动时，可以显式地表达情绪，提供交互表情和/或交互动作，增加了机器人与用户情感上的交流和沟通，从而提升了机器人的智能性，人机交互效果得到了改善，增强了用户体验感，可应用范围广泛。
图5b是本发明实施例五中的一种机器人的交互装置的结构示意图，参见图5b，在上述各个实施例的基础上，所述交互情绪确定模块510可以包括：
图像获取子模块511，用于在检测到用户输入所述用户交互信息时，通过摄像头捕获所述用户的交互表情图像；
交互情绪确定子模块512，用于根据所述用户交互信息以及所述交互表情图像，确定所述用户的交互情绪。
在上述各个实施例的基础上，所述交互情绪确定子模块512可以包括：
语音情绪特征确定单元5121，用于根据所述用户交互信息，确定所述用户的语音情绪特征；
表情情绪特征确定单元5122，用于根据所述交互表情图像，确定所述用户的表情情绪特征；
交互情绪确定单元5123，用于根据所述语音情绪特征以及所述表情情绪特征查找二维情绪映射表，确定所述用户的交互情绪。
在上述各个实施例的基础上，所述语音情绪特征确定单元5121可以具体用于：
解析所述用户交互信息，得到与所述用户交互信息对应的语音识别文本；
通过对所述语音识别文本进行基于自然语义的分词操作，实现关键词信息的抽取；
将所述关键词信息与预先按照不同情绪类别收集的样本关键词集和/或情绪词典库进行匹配，确定所述用户交互信息的所属情绪类别；
将所述用户交互信息的所属情绪类别确定为所述用户的语音情绪特征。
在上述各个实施例的基础上，所述表情情绪特征确定单元5122可以具体用于：
提取所述交互表情图像中的关键表情信息；
将所述关键表情信息与预先按照不同情绪类别收集的样本表情集进行匹配，确定所述交互表情图像的所属情绪类别；
将所述交互表情图像的所属情绪类别确定为所述用户的表情情绪特征。
在上述各个实施例的基础上，所述反馈内容获取模块520可以包括：
分类单元521，用于将所述用户的交互情绪输入至预设的情绪属性分类器，获取情绪属性分类结果，并生成与所述情绪属性分类结果匹配的情绪控制指令；
其中，所述情绪属性分类结果包括：正面情绪、负面情绪或者中立情绪。
在上述各个实施例的基础上，所述反馈内容获取模块520还可以包括：
归类单元522，用于对所述用户的交互情绪进行情绪属性归类操作，生成与情绪属性归类结果匹配的情绪控制指令。
在上述各个实施例的基础上，所述反馈内容获取模块520还可以包括：
预制反馈信息提取单元523，用于如果确定获取到与所述用户交互信息匹配的预制交互信息，则从所述预制交互信息对应的至少一个预制反馈信息中，提取与所述用户交互信息匹配的反馈信息；
检索单元524，用于如果确定未获取到与所述用户交互信息匹配的预制交互信息，则根据所述用户交互信息在设定网络地址中进行检索，将筛选后的检索结果作为与所述用户交互信息匹配的反馈信息。
在上述各个实施例的基础上，所述至少一个预制反馈信息包括：与不同的所述情绪控制指令分别对应的至少一个预制反馈信息。
本发明实施例提供的机器人的交互装置可执行本发明任意实施例提供的机器人的交互方法，具备执行机器人的交互方法相应的功能模块和有益效果。
实施例六
图6为本发明实施例六提供的一种计算机设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图6显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图6中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的一种机器人的交互方法。
也即，所述处理单元执行所述程序时实现：根据用户输入的用户交互信息，确定所述用户的交互情绪；生成与所述交互情绪匹配的情绪控制指令，并获取与所述用户交互信息匹配的反馈信息；在向所述用户提供所述反馈信息的过程中，执行所述情绪控制指令，其中，所述情绪控制指令用于控制机器人执行设定交互动作和/或呈现设定交互表情。
实施例七
本发明实施例七提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供的机器人的交互方法：
也即，该程序被处理器执行时实现：根据用户输入的用户交互信息，确定所述用户的交互情绪；生成与所述交互情绪匹配的情绪控制指令，并获取与所述用户交互信息匹配的反馈信息；在向所述用户提供所述反馈信息的过程中，执行所述情绪控制指令，其中，所述情绪控制指令用于控制机器人执行设定交互动作，和/或呈现设定交互表情。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (20)

1.一种机器人的交互方法，其特征在于，包括：
根据用户输入的用户交互信息，确定所述用户的交互情绪；
生成与所述交互情绪匹配的情绪控制指令，并获取与所述用户交互信息匹配的反馈信息；
在向所述用户提供所述反馈信息的过程中，执行所述情绪控制指令，其中，所述情绪控制指令用于控制机器人执行设定交互动作和/或呈现设定交互表情。
2.根据权利要求1所述的方法，其特征在于，根据用户输入的用户交互信息，确定所述用户的交互情绪，包括：
在检测到用户输入所述用户交互信息时，通过摄像头捕获所述用户的交互表情图像；
根据所述用户交互信息以及所述交互表情图像，确定所述用户的交互情绪。
3.根据权利要求2所述的方法，其特征在于，根据所述用户交互信息以及所述交互表情图像，确定所述用户的交互情绪，包括：
根据所述用户交互信息，确定所述用户的语音情绪特征；
根据所述交互表情图像，确定所述用户的表情情绪特征；
根据所述语音情绪特征以及所述表情情绪特征查找二维情绪映射表，确定所述用户的交互情绪。
4.根据权利要求3所述的方法，其特征在于，根据所述用户交互信息，确定所述用户的语音情绪特征，包括：
解析所述用户交互信息，得到与所述用户交互信息对应的语音识别文本；
通过对所述语音识别文本进行基于自然语义的分词操作，实现关键词信息的抽取；
将所述关键词信息与预先按照不同情绪类别收集的样本关键词集和/或情绪词典库进行匹配，确定所述用户交互信息的所属情绪类别；
将所述用户交互信息的所属情绪类别确定为所述用户的语音情绪特征。
5.根据权利要求3所述的方法，其特征在于，根据所述交互表情图像，确定所述用户的表情情绪特征，包括：
提取所述交互表情图像中的关键表情信息；
将所述关键表情信息与预先按照不同情绪类别收集的样本表情集进行匹配，确定所述交互表情图像的所属情绪类别；
将所述交互表情图像的所属情绪类别确定为所述用户的表情情绪特征。
6.根据权利要求1-5任一项所述的方法，其特征在于，生成与所述交互情绪匹配的情绪控制指令，包括：
将所述用户的交互情绪输入至预设的情绪属性分类器，获取情绪属性分类结果，并生成与所述情绪属性分类结果匹配的情绪控制指令；
其中，所述情绪属性分类结果包括：正面情绪、负面情绪或者中立情绪。
7.根据权利要求1-5任一项所述的方法，其特征在于，生成与所述交互情绪匹配的情绪控制指令，还包括：
对所述用户的交互情绪进行情绪属性归类操作，生成与情绪属性归类结果匹配的情绪控制指令。
8.根据权利要求1-5任一项所述的方法，其特征在于，获取与所述用户交互信息匹配的反馈信息，包括：
如果确定获取到与所述用户交互信息匹配的预制交互信息，则从所述预制交互信息对应的至少一个预制反馈信息中，提取与所述用户交互信息匹配的反馈信息；
如果确定未获取到与所述用户交互信息匹配的预制交互信息，则根据所述用户交互信息在设定网络地址中进行检索，将筛选后的检索结果作为与所述用户交互信息匹配的反馈信息。
9.根据权利要求8所述的方法，其特征在于，所述至少一个预制反馈信息包括：与不同的所述情绪控制指令分别对应的至少一个预制反馈信息。
10.一种机器人的交互装置，其特征在于，包括：
交互情绪确定模块，用于根据用户输入的用户交互信息，确定所述用户的交互情绪；
反馈内容获取模块，用于生成与所述交互情绪匹配的情绪控制指令，并获取与所述用户交互信息匹配的反馈信息；
输出模块，用于在向所述用户提供所述反馈信息的过程中，执行所述情绪控制指令，其中，所述情绪控制指令用于控制机器人执行设定交互动作和/或呈现设定交互表情。
11.根据权利要求10所述的装置，其特征在于，所述交互情绪确定模块包括：
图像获取子模块，用于在检测到用户输入所述用户交互信息时，通过摄像头捕获所述用户的交互表情图像；
交互情绪确定子模块，用于根据所述用户交互信息以及所述交互表情图像，确定所述用户的交互情绪。
12.根据权利要求11所述的装置，其特征在于，所述交互情绪确定子模块包括：
语音情绪特征确定单元，用于根据所述用户交互信息，确定所述用户的语音情绪特征；
表情情绪特征确定单元，用于根据所述交互表情图像，确定所述用户的表情情绪特征；
交互情绪确定单元，用于根据所述语音情绪特征以及所述表情情绪特征查找二维情绪映射表，确定所述用户的交互情绪。
13.根据权利要求12所述的装置，其特征在于，所述语音情绪特征确定单元具体用于：
解析所述用户交互信息，得到与所述用户交互信息对应的语音识别文本；
通过对所述语音识别文本进行基于自然语义的分词操作，实现关键词信息的抽取；
将所述关键词信息与预先按照不同情绪类别收集的样本关键词集和/或情绪词典库进行匹配，确定所述用户交互信息的所属情绪类别；
将所述用户交互信息的所属情绪类别确定为所述用户的语音情绪特征。
14.根据权利要求12所述的装置，其特征在于，所述表情情绪特征确定单元具体用于：
提取所述交互表情图像中的关键表情信息；
将所述关键表情信息与预先按照不同情绪类别收集的样本表情集进行匹配，确定所述交互表情图像的所属情绪类别；
将所述交互表情图像的所属情绪类别确定为所述用户的表情情绪特征。
15.根据权利要求10-14任一所述的装置，其特征在于，所述反馈内容获取模块包括：
分类单元，用于将所述用户的交互情绪输入至预设的情绪属性分类器，获取情绪属性分类结果，并生成与所述情绪属性分类结果匹配的情绪控制指令；
其中，所述情绪属性分类结果包括：正面情绪、负面情绪或者中立情绪。
16.根据权利要求10-14任一所述的装置，其特征在于，所述反馈内容获取模块还包括：
归类单元，用于对所述用户的交互情绪进行情绪属性归类操作，生成与情绪属性归类结果匹配的情绪控制指令。
17.根据权利要求10-14任一所述的装置，其特征在于，所述反馈内容获取模块还包括：
预制反馈信息提取单元，用于如果确定获取到与所述用户交互信息匹配的预制交互信息，则从所述预制交互信息对应的至少一个预制反馈信息中，提取与所述用户交互信息匹配的反馈信息；
检索单元，用于如果确定未获取到与所述用户交互信息匹配的预制交互信息，则根据所述用户交互信息在设定网络地址中进行检索，将筛选后的检索结果作为与所述用户交互信息匹配的反馈信息。
18.根据权利要求17所述的装置，其特征在于，所述至少一个预制反馈信息包括：与不同的所述情绪控制指令分别对应的至少一个预制反馈信息。
19.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-9中任一所述的方法。
20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的方法。
CN201810076953.4A 2018-01-26 2018-01-26 一种机器人的交互方法、装置、设备以及存储介质 Pending CN108326855A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810076953.4A CN108326855A (zh) 2018-01-26 2018-01-26 一种机器人的交互方法、装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810076953.4A CN108326855A (zh) 2018-01-26 2018-01-26 一种机器人的交互方法、装置、设备以及存储介质

Publications (1)

Publication Number Publication Date
CN108326855A true CN108326855A (zh) 2018-07-27

Family

ID=62926523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810076953.4A Pending CN108326855A (zh) 2018-01-26 2018-01-26 一种机器人的交互方法、装置、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN108326855A (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087644A (zh) * 2018-10-22 2018-12-25 奇酷互联网络科技（深圳）有限公司 电子设备及其语音助手的交互方法、具有存储功能的装置
CN109119077A (zh) * 2018-08-20 2019-01-01 深圳市三宝创新智能有限公司 一种机器人语音交互系统
CN109308916A (zh) * 2018-08-14 2019-02-05 上海常仁信息科技有限公司 一种配合机器人情感交流的音乐播放系统
CN109308466A (zh) * 2018-09-18 2019-02-05 宁波众鑫网络科技股份有限公司 一种对交互语言进行情绪识别的方法
CN109545212A (zh) * 2018-12-11 2019-03-29 百度在线网络技术（北京）有限公司 交互方法、智能设备及存储介质
CN109605403A (zh) * 2019-01-25 2019-04-12 北京番茄时代科技有限公司 机器人及其操作系统、控制装置、控制方法及存储介质
CN109670166A (zh) * 2018-09-26 2019-04-23 平安科技（深圳）有限公司 基于语音识别的催收辅助方法、装置、设备和存储介质
CN109877834A (zh) * 2019-03-12 2019-06-14 广东小天才科技有限公司 多屏显示机器人、方法和装置、显示机器人和显示方法
CN109933782A (zh) * 2018-12-03 2019-06-25 阿里巴巴集团控股有限公司 用户情绪预测方法和装置
CN110000777A (zh) * 2019-03-12 2019-07-12 广东小天才科技有限公司 多屏显示机器人、多屏显示方法和装置、可读存储介质
CN110085229A (zh) * 2019-04-29 2019-08-02 珠海景秀光电科技有限公司 智能虚拟外教信息交互方法及装置
CN110413841A (zh) * 2019-06-13 2019-11-05 深圳追一科技有限公司 多态交互方法、装置、系统、电子设备及存储介质
CN110465947A (zh) * 2019-08-20 2019-11-19 苏州博众机器人有限公司 多模态融合人机交互方法、装置、存储介质、终端及系统
CN110688911A (zh) * 2019-09-05 2020-01-14 深圳追一科技有限公司 视频处理方法、装置、系统、终端设备及存储介质
CN111063352A (zh) * 2019-12-24 2020-04-24 北京明略软件系统有限公司 基于语音助手的交互方法、装置、电子设备及存储介质
CN111080750A (zh) * 2019-12-30 2020-04-28 北京金山安全软件有限公司 一种机器人动画配置方法、装置及系统
CN111306692A (zh) * 2019-10-18 2020-06-19 珠海格力电器股份有限公司 空调器的人机交互方法、系统、空调器和存储介质
CN111354361A (zh) * 2018-12-21 2020-06-30 深圳市优必选科技有限公司 一种情感交流的方法、系统及机器人
CN111415662A (zh) * 2020-03-16 2020-07-14 北京字节跳动网络技术有限公司 用于生成视频的方法、装置、设备和介质
CN112060080A (zh) * 2020-07-31 2020-12-11 深圳市优必选科技股份有限公司 一种机器人的控制方法、装置、终端设备及存储介质
CN112171676A (zh) * 2020-09-30 2021-01-05 江苏迪迪隆机器人科技发展有限公司 一种提高机器人仿生能力的方法和装置
CN112329431A (zh) * 2019-08-01 2021-02-05 中国移动通信集团上海有限公司 音视频数据处理方法、设备及存储介质
CN112396536A (zh) * 2019-08-12 2021-02-23 北京国双科技有限公司 智能服务的实现方法及装置
CN112809694A (zh) * 2020-03-02 2021-05-18 腾讯科技（深圳）有限公司 机器人控制方法、装置、存储介质和计算机设备
CN113593521A (zh) * 2021-07-29 2021-11-02 北京三快在线科技有限公司 语音合成方法、装置、设备及可读存储介质
CN116228252A (zh) * 2023-02-10 2023-06-06 广东盛迪嘉电子商务股份有限公司 一种后台客服服务终端
WO2024190274A1 (ja) * 2023-03-15 2024-09-19 Ｎｅｃソリューションイノベータ株式会社 介護支援装置、介護支援方法、及びコンピュータ読み取り可能な記録媒体

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100084734A (ko) * 2009-01-19 2010-07-28 한국과학기술원 사람과 상호작용이 가능한 감정 표현 로봇
KR20130012349A (ko) * 2011-07-25 2013-02-04 한국생산기술연구원 로봇의 감정 생성 장치 및 방법
CN105345818A (zh) * 2015-11-04 2016-02-24 深圳好未来智能科技有限公司 带有情绪及表情模块的3d视频互动机器人
CN106537294A (zh) * 2016-06-29 2017-03-22 深圳狗尾草智能科技有限公司 一种机器人交互内容的生成方法、系统及机器人
CN106625678A (zh) * 2016-12-30 2017-05-10 首都师范大学 机器人表情控制方法和装置
CN106959839A (zh) * 2017-03-22 2017-07-18 北京光年无限科技有限公司 一种人机交互装置及方法
CN107491435A (zh) * 2017-08-14 2017-12-19 深圳狗尾草智能科技有限公司 基于计算机自动识别用户情感的方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100084734A (ko) * 2009-01-19 2010-07-28 한국과학기술원 사람과 상호작용이 가능한 감정 표현 로봇
KR20130012349A (ko) * 2011-07-25 2013-02-04 한국생산기술연구원 로봇의 감정 생성 장치 및 방법
CN105345818A (zh) * 2015-11-04 2016-02-24 深圳好未来智能科技有限公司 带有情绪及表情模块的3d视频互动机器人
CN106537294A (zh) * 2016-06-29 2017-03-22 深圳狗尾草智能科技有限公司 一种机器人交互内容的生成方法、系统及机器人
CN106625678A (zh) * 2016-12-30 2017-05-10 首都师范大学 机器人表情控制方法和装置
CN106959839A (zh) * 2017-03-22 2017-07-18 北京光年无限科技有限公司 一种人机交互装置及方法
CN107491435A (zh) * 2017-08-14 2017-12-19 深圳狗尾草智能科技有限公司 基于计算机自动识别用户情感的方法及装置

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308916A (zh) * 2018-08-14 2019-02-05 上海常仁信息科技有限公司 一种配合机器人情感交流的音乐播放系统
CN109119077A (zh) * 2018-08-20 2019-01-01 深圳市三宝创新智能有限公司 一种机器人语音交互系统
CN109308466A (zh) * 2018-09-18 2019-02-05 宁波众鑫网络科技股份有限公司 一种对交互语言进行情绪识别的方法
CN109670166A (zh) * 2018-09-26 2019-04-23 平安科技（深圳）有限公司 基于语音识别的催收辅助方法、装置、设备和存储介质
CN109087644B (zh) * 2018-10-22 2021-06-25 奇酷互联网络科技（深圳）有限公司 电子设备及其语音助手的交互方法、具有存储功能的装置
CN109087644A (zh) * 2018-10-22 2018-12-25 奇酷互联网络科技（深圳）有限公司 电子设备及其语音助手的交互方法、具有存储功能的装置
CN109933782B (zh) * 2018-12-03 2023-11-28 创新先进技术有限公司 用户情绪预测方法和装置
CN109933782A (zh) * 2018-12-03 2019-06-25 阿里巴巴集团控股有限公司 用户情绪预测方法和装置
CN109545212A (zh) * 2018-12-11 2019-03-29 百度在线网络技术（北京）有限公司 交互方法、智能设备及存储介质
CN111354361A (zh) * 2018-12-21 2020-06-30 深圳市优必选科技有限公司 一种情感交流的方法、系统及机器人
CN109605403B (zh) * 2019-01-25 2020-12-11 北京妙趣伙伴科技有限公司 机器人及其操作系统、控制装置、控制方法及存储介质
CN109605403A (zh) * 2019-01-25 2019-04-12 北京番茄时代科技有限公司 机器人及其操作系统、控制装置、控制方法及存储介质
CN109877834A (zh) * 2019-03-12 2019-06-14 广东小天才科技有限公司 多屏显示机器人、方法和装置、显示机器人和显示方法
CN110000777A (zh) * 2019-03-12 2019-07-12 广东小天才科技有限公司 多屏显示机器人、多屏显示方法和装置、可读存储介质
CN110085229A (zh) * 2019-04-29 2019-08-02 珠海景秀光电科技有限公司 智能虚拟外教信息交互方法及装置
CN110413841A (zh) * 2019-06-13 2019-11-05 深圳追一科技有限公司 多态交互方法、装置、系统、电子设备及存储介质
CN112329431B (zh) * 2019-08-01 2023-07-04 中国移动通信集团上海有限公司 音视频数据处理方法、设备及存储介质
CN112329431A (zh) * 2019-08-01 2021-02-05 中国移动通信集团上海有限公司 音视频数据处理方法、设备及存储介质
CN112396536A (zh) * 2019-08-12 2021-02-23 北京国双科技有限公司 智能服务的实现方法及装置
CN110465947B (zh) * 2019-08-20 2021-07-02 苏州博众机器人有限公司 多模态融合人机交互方法、装置、存储介质、终端及系统
CN110465947A (zh) * 2019-08-20 2019-11-19 苏州博众机器人有限公司 多模态融合人机交互方法、装置、存储介质、终端及系统
CN110688911A (zh) * 2019-09-05 2020-01-14 深圳追一科技有限公司 视频处理方法、装置、系统、终端设备及存储介质
CN110688911B (zh) * 2019-09-05 2021-04-02 深圳追一科技有限公司 视频处理方法、装置、系统、终端设备及存储介质
CN111306692A (zh) * 2019-10-18 2020-06-19 珠海格力电器股份有限公司 空调器的人机交互方法、系统、空调器和存储介质
CN111063352A (zh) * 2019-12-24 2020-04-24 北京明略软件系统有限公司 基于语音助手的交互方法、装置、电子设备及存储介质
CN111063352B (zh) * 2019-12-24 2023-01-17 北京明略软件系统有限公司 基于语音助手的交互方法、装置、电子设备及存储介质
CN111080750A (zh) * 2019-12-30 2020-04-28 北京金山安全软件有限公司 一种机器人动画配置方法、装置及系统
CN111080750B (zh) * 2019-12-30 2023-08-18 北京金山安全软件有限公司 一种机器人动画配置方法、装置及系统
CN112809694B (zh) * 2020-03-02 2023-12-29 腾讯科技（深圳）有限公司 机器人控制方法、装置、存储介质和计算机设备
CN112809694A (zh) * 2020-03-02 2021-05-18 腾讯科技（深圳）有限公司 机器人控制方法、装置、存储介质和计算机设备
CN111415662A (zh) * 2020-03-16 2020-07-14 北京字节跳动网络技术有限公司 用于生成视频的方法、装置、设备和介质
CN112060080A (zh) * 2020-07-31 2020-12-11 深圳市优必选科技股份有限公司 一种机器人的控制方法、装置、终端设备及存储介质
CN112171676B (zh) * 2020-09-30 2021-08-20 江苏迪迪隆机器人科技发展有限公司 一种提高机器人仿生能力的方法和装置
CN112171676A (zh) * 2020-09-30 2021-01-05 江苏迪迪隆机器人科技发展有限公司 一种提高机器人仿生能力的方法和装置
CN113593521B (zh) * 2021-07-29 2022-09-20 北京三快在线科技有限公司 语音合成方法、装置、设备及可读存储介质
CN113593521A (zh) * 2021-07-29 2021-11-02 北京三快在线科技有限公司 语音合成方法、装置、设备及可读存储介质
CN116228252A (zh) * 2023-02-10 2023-06-06 广东盛迪嘉电子商务股份有限公司 一种后台客服服务终端
WO2024190274A1 (ja) * 2023-03-15 2024-09-19 Ｎｅｃソリューションイノベータ株式会社 介護支援装置、介護支援方法、及びコンピュータ読み取り可能な記録媒体

Similar Documents

Publication Publication Date Title
CN108326855A (zh) 一种机器人的交互方法、装置、设备以及存储介质
CN106548773B (zh) 基于人工智能的儿童用户搜索方法及装置
Summaira et al. Recent advances and trends in multimodal deep learning: A review
Mai et al. Locally confined modality fusion network with a global perspective for multimodal human affective computing
US11282297B2 (en) System and method for visual analysis of emotional coherence in videos
WO2022048403A1 (zh) 基于虚拟角色的多模态交互方法、装置及系统、存储介质、终端
CN103456314B (zh) 一种情感识别方法以及装置
CN108000526B (zh) 用于智能机器人的对话交互方法及系统
CN110598576B (zh) 一种手语交互方法、装置及计算机介质
EP3508991A1 (en) Man-machine interaction method and apparatus based on artificial intelligence
US6526395B1 (en) Application of personality models and interaction with synthetic characters in a computing system
CN109036405A (zh) 语音交互方法、装置、设备及存储介质
CN108877336A (zh) 基于增强现实技术的教学方法、云服务平台和教学系统
CN110349572A (zh) 一种语音关键词识别方法、装置、终端及服务器
Deng et al. Multimodal utterance-level affect analysis using visual, audio and text features
JP2018014094A (ja) 仮想ロボットのインタラクション方法、システム及びロボット
Cevher et al. Towards multimodal emotion recognition in german speech events in cars using transfer learning
CN109271493A (zh) 一种语言文本处理方法、装置和存储介质
CN109034203A (zh) 表情推荐模型的训练、表情推荐方法、装置、设备及介质
JP6804763B2 (ja) 対話システム、対話装置及びそのためのコンピュータプログラム
CN114995657B (zh) 一种智能机器人的多模态融合自然交互方法、系统及介质
CN106502382B (zh) 用于智能机器人的主动交互方法和系统
KR20200059112A (ko) 로봇 상호작용 시스템 및 그를 위한 프로그램
CN108470188A (zh) 基于图像分析的交互方法及电子设备
CN111314771B (zh) 一种视频播放方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180727