CN107133368B - 人机交互方法、系统及机器人 - Google Patents

人机交互方法、系统及机器人 Download PDF

Info

Publication number
CN107133368B
CN107133368B CN201710433907.0A CN201710433907A CN107133368B CN 107133368 B CN107133368 B CN 107133368B CN 201710433907 A CN201710433907 A CN 201710433907A CN 107133368 B CN107133368 B CN 107133368B
Authority
CN
China
Prior art keywords
user
emotional state
interaction
determining
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710433907.0A
Other languages
English (en)
Other versions
CN107133368A (zh
Inventor
杜莉莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Siyixuan Robot Technology Co ltd
Original Assignee
Shanghai Siyixuan Robot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Siyixuan Robot Technology Co ltd filed Critical Shanghai Siyixuan Robot Technology Co ltd
Priority to CN201710433907.0A priority Critical patent/CN107133368B/zh
Publication of CN107133368A publication Critical patent/CN107133368A/zh
Application granted granted Critical
Publication of CN107133368B publication Critical patent/CN107133368B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种人机交互方法、系统及机器人,获取用户行为信息;根据所述用户行为信息确定用户情绪状态;根据所述用户情绪状态执行相应的互动策略,所述互动策略与所述用户情绪状态具有对应关系。本发明的人机交互方案,使整个人机交互过程均与用户情绪状态相适应,从而较好地满足用户的情感需求。

Description

人机交互方法、系统及机器人
技术领域
本发明涉及信息技术领域,更具体的说,涉及人机交互方法、系统及机器人。
背景技术
近年来,随着机器人技术的普及,市面上已有一些能够与人进行交互的机器人产品,用于对老年、儿童等用户进行情感陪护。在日常生活中,用户在不同时间可能会处于不同的情绪状态,用户通常会希望与机器人之间所进行的交互过程,能够适合于当前的情绪状态,甚至调节当前的不良情绪。
但是,现有的人机交互方式,通常是根据特定的语音或文字输入,输出与其相对应的语音或文字信息,整个交互过程缺乏对用户情绪状态的考虑,交互过程生硬、刻板,并不能很好地满足用户的情感需求。
所以,目前迫切需要一种能够很好地满足用户情感需求的人机交互方案。
发明内容
有鉴于此,本发明提供了一种人机交互方法、系统及机器人,以解决目前人机交互方式无法很好地满足用户情感需求的技术问题。
为实现上述目的,本发明提供如下技术方案:
一种人机交互方法,应用于人机交互系统,所述方法包括:
获取用户行为信息;
根据所述用户行为信息确定用户情绪状态;
根据所述用户情绪状态执行相应的互动策略,所述互动策略与所述用户情绪状态具有对应关系。
优选的,所述用户行为信息包括:用户语音信息和用户触摸信息;所述用户语音信息包括:关键词与音量值;所述用户触摸信息包括:触摸力度;所述根据所述用户行为信息确定用户情绪状态包括:
根据所述关键词确定情绪状态标识,所述情绪状态标识与情绪状态相对应;
根据所述音量值和所述触摸力度中的至少一项确定情绪状态强度;
当所述情绪状态强度满足预设条件时,将与所述情绪状态标识相对应的情绪状态确定为用户情绪状态。
优选的,所述根据所述音量值和所述触摸力度中的至少一项确定情绪状态强度包括:
将所述音量值转换为第一权重值,将所述第一权重值确定为情绪状态强度;
或,将所述触摸力度转换为第二权重值,将所述第二权重值确定为情绪状态强度;
或,将所述音量值转换为第一权重值,将所述触摸力度转换为第二权重值,将所述第一权重值与所述第二权重值之和确定为情绪状态强度。
优选的,所述根据所述用户情绪状态执行相应的互动策略包括:
根据所述用户情绪状态提取语音互动信息,所述语音互动信息与所述用户情绪状态相对应;
播放所述语音互动信息。
优选的,所述根据所述用户情绪状态执行相应的互动策略包括:
根据所述用户情绪状态确定媒体类型,所述媒体类型与所述用户情绪状态相对应;
播放属于所述媒体类型的媒体信息。
优选的,所述根据所述用户情绪状态执行相应的互动策略包括:
根据所述用户情绪状态确定动作序列,所述动作序列与所述用户情绪状态相对应;
控制机器人按照所述动作序列执行动作。
优选的,所述根据所述用户情绪状态执行相应的互动策略包括:
根据所述用户情绪状态确定环境控制策略,所述环境控制策略与所述用户情绪状态相对应;
执行所述环境控制策略。
优选的,
若所述用户情绪状态为愤怒状态,所述环境控制策略为第一控制策略,所述第一控制策略用于指示将灯光调节为冷色调、打开窗户与打开窗帘中的至少一项;
若所述用户情绪状态为悲伤状态,所述环境控制策略为第二控制策略,所述第二控制策略至少用于指示将灯光调节为暖色调。
一种人机交互系统,所述系统包括:
信息获取单元,用于获取用户行为信息;
情绪确定单元,用于根据所述用户行为信息确定用户情绪状态;
策略执行单元,用于根据所述用户情绪状态执行相应的互动策略,所述互动策略与所述用户情绪状态具有对应关系。
一种机器人,其特征在于,包括前述的人机交互系统。
从上述的技术方案可以看出,本发明提供的人机交互方法、系统及机器人,获取用户行为信息,不同的用户行为信息能够反映出用户不同的情绪状态,根据所述用户行为信息确定出用户情绪状态,再根据所述用户情绪状态执行相应的互动策略,使整个人机交互过程均与用户情绪状态相适应,从而较好地满足用户的情感需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的人机交互方法的一种流程图;
图2为本申请实施例提供的人机交互方法的另一种流程图;
图3为本申请实施例提供的人机交互方法的又一种流程图;
图4为本申请实施例提供的人机交互方法的又一种流程图;
图5为本申请实施例提供的人机交互方法的又一种流程图;
图6为本申请实施例提供的人机交互方法的再一种流程图;
图7为本申请实施例提供的人机交互系统的一种结构示意图;
图8为本申请实施例提供的人机交互系统的另一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,图1为本申请实施例提供的人机交互方法的一种流程图。
本实施例的人机交互方法,应用于人机交互系统。
如图1所示,所述方法包括:
S101:获取用户行为信息;
用户在不同的情绪状态下,通常有着不同的行为习惯,从而做出不同的行为,所以,根据用户行为信息,能够从一定程度上反映出用户情绪状态。
例如,用户大喊“气死我了!”,能够从一定程度上反映出用户处于生气状态;用户大喊“太好啦!”,能够从一定程度上反映出用户处于开心状态;用户用力拍击物体时,能够从一定程度上反映出用户当前的情绪状态非常强烈。
S102:根据所述用户行为信息确定用户情绪状态;
由于用户行为信息能够反映出用户情绪状态,所以根据用户行为信息能够确定出用户情绪状态。
S103:根据所述用户情绪状态执行相应的互动策略,所述互动策略与所述用户情绪状态具有对应关系。
本实施例为不同的用户情绪状态设置有相应的互动策略,在确定出用户情绪状态后,执行与该用户情绪状态相对应的互动策略,能够使互动策略的执行与用户情绪状态相适应,具有针对性,从而满足用户的情感需求。
本实施例提供的人机交互方法,获取用户行为信息,不同的用户行为信息能够反映出用户不同的情绪状态,根据所述用户行为信息确定出用户情绪状态,再根据所述用户情绪状态执行相应的互动策略,使整个人机交互过程均与用户情绪状态相适应,从而较好地满足用户的情感需求。
请参阅图2,图2为本申请实施例提供的人机交互方法的另一种流程图。
本实施例的人机交互方法,应用于人机交互系统。
如图2所示,所述方法包括:
S201:获取用户行为信息;
本实施例中,用户行为信息可以用户语音信息和用户触摸信息,其中,用户语音信息包括关键词与音量值,用户触摸信息包括触摸力度。
例如,关键词可以包括“高兴”、“开心”、“好”、“不好”、“生气”、“气死”、“烦”、“难受”等。
音量值可以是指用户语音的分贝值,也可以是指其他计量单位。
触摸力度是指用户触摸物体的力度值,可采用任何现有的计量单位。
S202:根据所述关键词确定情绪状态标识,所述情绪状态标识与情绪状态相对应;
例如,关键词“高兴”、“开心”与“好”均对应于第一情绪状态标识C,根据关键词“高兴”、“开心”与“好”中至少一项确定出来的第一情绪状态标识C与情绪状态“喜悦”相对应。
又例如,关键词“生气”、“气死”与“烦”均对应于第二情绪状态标识D,根据关键词“生气”、“气死”与“烦”中至少一项确定出来的第一情绪状态标识D与情绪状态“愤怒”相对应。
再例如,关键词“难受”与“不好”均对应于第三情绪状态标识E,根据关键词“难受”与“不好”中至少一项确定出来的第一情绪状态标识E与情绪状态“悲伤”相对应。
S203:根据所述音量值和所述触摸力度中的至少一项确定情绪状态强度;
音量值反映了用户语音的音量大小,触摸力度反映了用户触摸物体的力度大小,两者数值越大,表明用户的情绪状态越强烈。所以,根据所述音量值和所述触摸力度中的至少一项,均可确定出相对应的情绪状态强度。
在一示例中,步骤S203包括:
将所述音量值转换为第一权重值,将所述第一权重值确定为情绪状态强度;
或,将所述触摸力度转换为第二权重值,将所述第二权重值确定为情绪状态强度;
或,将所述音量值转换为第一权重值,将所述触摸力度转换为第二权重值,将所述第一权重值与所述第二权重值之和确定为情绪状态强度。
当仅根据所述音量值确定情绪状态强度时,就将音量值转换为第一权重值,并将第一权重值确定为情绪状态强度。
当仅根据所述触摸力度确定情绪状态强度时,就将触摸力度转换为第二权重值,并将第二权重值确定为情绪状态强度。
当根据音量值和触摸力度确定情绪状态强度时,就同时将音量值转换为第一权重值,将触摸力度转换为第二权重值,并将第一权重值与所述第二权重值之和确定为情绪状态强度。
其中,将音量值转换为第一权重值,与,将触摸力度转换为第二权重值的过程,可以分别是将音量值与触摸力度进行标准化的过程。例如,将音量值与触摸力度均转换(或称为“映射”)到区间[0,1]中。
S204:当所述情绪状态强度满足预设条件时,将与所述情绪状态标识相对应的情绪状态确定为用户情绪状态。
根据关键词能够确定出一种情绪状态,当并不意味着用户当前就处于这种情况状态,本实施例结合情绪状态强度,当情绪状态强度满足预设条件时,才将关键词确定出的情绪状态,确定为用户情绪状态。
在一示例中,预设条件可以是情绪状态强度大于预设阈值,也可以是情绪状态强度在预设范围内。
在另一示例中,预设阈值可以为情绪状态强度最大值的60%;预设范围可以为情绪状态强度最大值的60%~100%。
其中,步骤S202-S204可用于实现前述实施例中的步骤S102。
S205:根据所述用户情绪状态执行相应的互动策略,所述互动策略与所述用户情绪状态具有对应关系。
本实施例提供的人机交互方法,获取用户语音信息和用户触摸信息,根据关键词确定情绪状态标识,并根据所述音量值和所述触摸力度中的至少一项确定情绪状态强度,当所述情绪状态强度满足预设条件时,将与所述情绪状态标识相对应的情绪状态确定为用户情绪状态,从而准确确定出用户情绪状态,使互动策略的执行更准确,能够更好地满足用户的情感需求。
请参阅图3,图3为本申请实施例提供的人机交互方法的又一种流程图。
本实施例的人机交互方法,应用于人机交互系统。
如图3所示,所述方法包括:
S301:获取用户行为信息;
S302:根据所述用户行为信息确定用户情绪状态;
其中,步骤S301-S302与前述实施例中的步骤S101-S102相类似,在此不再赘述。
S303:根据所述用户情绪状态提取语音互动信息,所述语音互动信息与所述用户情绪状态相对应;
本实施例中,人机交互系统中包括一语音库,该语音库中保存有多种语音互动信息,如对应于“喜悦”状态的语音互动信息,对应于“愤怒”状态的语音互动信息,对应于“悲伤”状态的语音互动信息等。
每种语音互动信息至少有一条,所述提取语音互动信息具体为:提取对应于所述用户情绪状态的至少一条语音互动信息。
S304:播放所述语音互动信息。
在提取出与用户情绪状态相对应的语音互动信息后,播放所述语音互动信息,所述语音互动信息响应于用户行为信息。
本实施例提供的人机交互方法,通过语音交互方式实现基于用户情绪状态的聊天功能,更具人性化,有助于用户情绪状态的调节。
请参阅图4,图4为本申请实施例提供的人机交互方法的又一种流程图。
本实施例的人机交互方法,应用于人机交互系统。
如图4所示,所述方法包括:
S401:获取用户行为信息;
S402:根据所述用户行为信息确定用户情绪状态;
其中,步骤S401-S402与前述实施例中的步骤S101-S102相类似,在此不再赘述。
S403:根据所述用户情绪状态确定媒体类型,所述媒体类型与所述用户情绪状态相对应;
媒体类型可以包括:欢乐、伤感、平淡的、激情等各种不同的媒体风格。当用户情绪状态为“喜悦”时,与之相对应的媒体类型可以是“欢乐”;当用户情绪状态为“愤怒”时,与之相对应的媒体类型可以是“平淡”。
所述媒体类型与所述用户情绪状态之间的对应关系是可以根据具体需要或习惯进行设置的,并不局限于固定的对应关系。
媒体类型还可以包括自定义类型。根据用户播放或搜索媒体的历史记录,可以将用户最多播放或最多搜索的媒体信息所属的媒体类型确定为自定义类型。
S404:播放属于所述媒体类型的媒体信息。
在确定出与用户情绪状态相对应的媒体类型后,搜索属于该媒体类型的媒体信息,播放搜索到的至少一个媒体信息。
媒体信息包括:电影、电视剧、音乐、相声、小品、脱口秀、笑话等各种节目类型。
本实施例提供的人机交互方法,基于用户情绪状态,为用户播放媒体信息,如电影、电视剧或音乐等,使其适合于用户情绪状态,有助于用户情绪状态的调节。
请参阅图5,图5为本申请实施例提供的人机交互方法的又一种流程图。
本实施例的人机交互方法,应用于人机交互系统。
如图5所示,所述方法包括:
S501:获取用户行为信息;
S502:根据所述用户行为信息确定用户情绪状态;
其中,步骤S501-S502与前述实施例中的步骤S101-S102相类似,在此不再赘述。
S503:根据所述用户情绪状态确定动作序列,所述动作序列与所述用户情绪状态相对应;
本实施例中的人机交互系统中包括一动作库,该动作库中保存有多种动作序列,每种动作序列可以是一套舞蹈动作,可以是一套武术动作,还可以是前进、后退、弯腰、敬礼等单一动作。
S504:控制机器人按照所述动作序列执行动作。
本实施例的人机交互方法能够对机器人进行控制,使其按照确定出动作序列做出相应的动作展示,如控制机器人做出舞蹈动作或武术动作。
本实施例提供的人机交互方法,根据用户情绪状态控制机器人的动作,使机器人做出与用户情绪状态相适应的动作,如舞蹈动作,使其满足用户的情感需求,改善用户情绪状态。
请参阅图6,图6为本申请实施例提供的人机交互方法的再一种流程图。
本实施例的人机交互方法,应用于人机交互系统。
如图6所示,所述方法包括:
S601:获取用户行为信息;
S602:根据所述用户行为信息确定用户情绪状态;
其中,步骤S601-S602与前述实施例中的步骤S101-S102相类似,在此不再赘述。
S603:根据所述用户情绪状态确定环境控制策略,所述环境控制策略与所述用户情绪状态相对应;
本实施例的人机交互系统,还可以与智能家居设备进行交互,通过环境控制策略控制智能家居设备的状态,改变家居环境。家居环境能够影响用户的情绪状态,例如,敞亮的环境能够让人心情放松,改善用户压抑或愤怒等负面情绪,温馨的环境能够让人心情平静,缓解悲伤或失落等负面情绪。
在一示例中,若所述用户情绪状态为愤怒状态,所述环境控制策略为第一控制策略,所述第一控制策略用于指示将灯光调节为冷色调、打开窗户与打开窗帘中的至少一项;
若所述用户情绪状态为悲伤状态,所述环境控制策略为第二控制策略,所述第二控制策略至少用于指示将灯光调节为暖色调。
S604:执行所述环境控制策略。
在确定出与用户情绪状态相对应的环境控制策略后,执行所述环境控制策略,使家居环境与用户情绪状态相适应。
本实施例提供的人机交互方法,结合智能家居设备,根据用户情绪状态,对家居环境状态进行调节,使其与用户情绪状态相适应,通过用户所处的整体环境来改善用户情绪状态,能够进一步满足用户的情感需求。
对应于人机交互方法,本发明实施例还提供了相应的人机交互系统。
请参阅图7,图7为本申请实施例的人机交互系统的一种结构示意图。
本实施例的人机交互系统,用于实施前述实施例的人机交互方法,如图7所示,所述人机交互系统包括:
信息获取单元U101,用于获取用户行为信息;
用户在不同的情绪状态下,通常有着不同的行为习惯,从而做出不同的行为,所以,根据用户行为信息,能够从一定程度上反映出用户情绪状态。
情绪确定单元U102,用于根据所述用户行为信息确定用户情绪状态;
由于用户行为信息能够反映出用户情绪状态,所以根据用户行为信息能够确定出用户情绪状态。
策略执行单元U103,用于根据所述用户情绪状态执行相应的互动策略,所述互动策略与所述用户情绪状态具有对应关系。
本实施例为不同的用户情绪状态设置有相应的互动策略,在确定出用户情绪状态后,执行与该用户情绪状态相对应的互动策略,能够使互动策略的执行与用户情绪状态相适应,具有针对性,从而满足用户的情感需求。
本实施例提供的人机交互系统,获取用户行为信息,不同的用户行为信息能够反映出用户不同的情绪状态,根据所述用户行为信息确定出用户情绪状态,再根据所述用户情绪状态执行相应的互动策略,使整个人机交互过程均与用户情绪状态相适应,从而较好地满足用户的情感需求。
请参阅图8,图8为本申请实施例的人机交互系统的另一种结构示意图。
本实施例的人机交互系统,用于实施前述实施例的人机交互方法,如图8所示,所述系统包括:
信息获取单元U101,用于获取用户行为信息;
本实施例中,用户行为信息可以用户语音信息和用户触摸信息,其中,用户语音信息包括关键词与音量值,用户触摸信息包括触摸力度。
音量值可以是指用户语音的分贝值,也可以是指其他计量单位。
触摸力度是指用户触摸物体的力度,可采用任何现有的计量单位。
情绪确定单元U102,用于根据所述用户行为信息确定用户情绪状态;
在一示例中,情绪确定单元U102包括:
第一确定单元U1021,用于根据所述关键词确定情绪状态标识,所述情绪状态标识与情绪状态相对应;
第二确定单元U1022,用于根据所述音量值和所述触摸力度中的至少一项确定情绪状态强度;
音量值反映了用户语音的音量大小,触摸力度反映了用户触摸物体的力度大小,两者数值越大,表明用户的情绪状态越强烈。所以,根据所述音量值和所述触摸力度中的至少一项,均可确定出相对应的情绪状态强度。
在一示例中,所述根据所述音量值和所述触摸力度中的至少一项确定情绪状态强度包括:
将所述音量值转换为第一权重值,将所述第一权重值确定为情绪状态强度;
或,将所述触摸力度转换为第二权重值,将所述第二权重值确定为情绪状态强度;
或,将所述音量值转换为第一权重值,将所述触摸力度转换为第二权重值,将所述第一权重值与所述第二权重值之和确定为情绪状态强度。
该示例中,当仅根据所述音量值确定情绪状态强度时,就将音量值转换为第一权重值,并将第一权重值确定为情绪状态强度;当仅根据所述触摸力度确定情绪状态强度时,就将触摸力度转换为第二权重值,并将第二权重值确定为情绪状态强度;当根据音量值和触摸力度确定情绪状态强度时,就同时将音量值转换为第一权重值,将触摸力度转换为第二权重值,并将第一权重值与所述第二权重值之和确定为情绪状态强度。
其中,将音量值转换为第一权重值,与,将触摸力度转换为第二权重值的过程,可以分别是将音量值与触摸力度进行标准化的过程。例如,将音量值与触摸力度均转换(或称为“映射”)到区间[0,1]中。
第三确定单元U1023,用于当所述情绪状态强度满足预设条件时,将与所述情绪状态标识相对应的情绪状态确定为用户情绪状态。
根据关键词能够确定出一种情绪状态,当并不意味着用户当前就处于这种情况状态,本实施例结合情绪状态强度,当情绪状态强度满足预设条件时,才将关键词确定出的情绪状态,确定为用户情绪状态。
在一示例中,预设条件可以是大于预设阈值,也可以是在预设阈值范围内。
策略执行单元U103,用于根据所述用户情绪状态执行相应的互动策略,所述互动策略与所述用户情绪状态具有对应关系。
在一示例中,策略执行单元U103包括:
语音提取单元U1031,用于根据所述用户情绪状态提取语音互动信息,所述语音互动信息与所述用户情绪状态相对应;
该示例中,人机交互系统中包括一语音库,该语音库中保存有多种语音互动信息,如对应于“喜悦”状态的语音互动信息,对应于“愤怒”状态的语音互动信息,对应于“悲伤”状态的语音互动信息等。
每种语音互动信息至少有一条,所述提取语音互动信息具体为:提取对应于所述用户情绪状态的至少一条语音互动信息。
语音播放单元U1032,用于播放所述语音互动信息。
在提取出与用户情绪状态相对应的语音互动信息后,播放所述语音互动信息,所述语音互动信息响应于用户行为信息。
在另一示例中,策略执行单元U103包括:
媒体确定单元U1033,用于根据所述用户情绪状态确定媒体类型,所述媒体类型与所述用户情绪状态相对应;
媒体类型可以包括:欢乐、伤感、平淡的、激情等各种不同的媒体风格。当用户情绪状态为“喜悦”时,与之相对应的媒体类型可以是“欢乐”;当用户情绪状态为“愤怒”时,与之相对应的媒体类型可以是“平淡”。
所述媒体类型与所述用户情绪状态之间的对应关系是可以根据具体需要或习惯进行设置的,并不局限于固定的对应关系。
媒体类型还可以包括自定义类型。根据用户播放或搜索媒体的历史记录,可以将用户最多播放或最多搜索的媒体信息所属的媒体类型确定为自定义类型。
媒体播放单元U1034,用于播放属于所述媒体类型的媒体信息。
在确定出与用户情绪状态相对应的媒体类型后,搜索属于该媒体类型的媒体信息,播放搜索到的至少一个媒体信息。
在又一示例中,策略执行单元U103包括:
动作确定单元U1035,用于根据所述用户情绪状态确定动作序列,所述动作序列与所述用户情绪状态相对应;
该示例中的人机交互系统中包括一动作库,该动作库中保存有多种动作序列,每种动作序列可以是一套舞蹈动作,可以是一套武术动作,还可以是前进、后退、弯腰、敬礼等单一动作。
动作执行单元U1036,用于控制机器人按照所述动作序列执行动作。
该示例的人机交互方法能够对机器人进行控制,使其按照确定出动作序列做出相应的动作展示,如控制机器人做出舞蹈动作或武术动作。
在又一示例中,策略执行单元U103包括:
环境确定单元U1037,用于根据所述用户情绪状态确定环境控制策略,所述环境控制策略与所述用户情绪状态相对应;
该示例的人机交互系统,还可以与智能家居设备进行交互,通过环境控制策略控制智能家居设备的状态,改变家居环境。家居环境能够影响用户的情绪状态,例如,敞亮的环境能够让人心情放松,改善用户压抑或愤怒等负面情绪,温馨的环境能够让人心情平静,缓解悲伤或失落等负面情绪。
在具体示例中,若所述用户情绪状态为愤怒状态,所述环境控制策略为第一控制策略,所述第一控制策略用于指示将灯光调节为冷色调、打开窗户与打开窗帘中的至少一项;
若所述用户情绪状态为悲伤状态,所述环境控制策略为第二控制策略,所述第二控制策略至少用于指示将灯光调节为暖色调。
环境控制单元U1038,用于执行所述环境控制策略。
在确定出与用户情绪状态相对应的环境控制策略后,执行所述环境控制策略,使家居环境与用户情绪状态相适应。
本实施例提供的人机交互方法,获取用户语音信息和用户触摸信息,根据关键词确定情绪状态标识,并根据所述音量值和所述触摸力度中的至少一项确定情绪状态强度,当所述情绪状态强度满足预设条件时,将与所述情绪状态标识相对应的情绪状态确定为用户情绪状态,从而准确确定出用户情绪状态,使互动策略的执行更准确,能够更好地满足用户的情感需求。
并且,本实施例提供了上述多种互动策略,在执行相应的互动策时,可以执行上述多种互动策略中的一种或多种,从而提高人机交互过程的多样性,能够更好地适应于用户情绪状态,进一步满足用户的情感需求。
对应于人机交互系统,本发明实施例还提供了相应的机器人。
该实施例中,所述机器人包括前述实施例中的人机交互系统,用于执行前述实施例中的人机交互方法。
所述机器人身上安装有触摸传感器,所述触摸传感器用于采集用户触摸信息。
所述机器人还包括语音采集装置,如麦克风,用于获取用户语音信息。
本实施例提供的机器人,获取用户行为信息,不同的用户行为信息能够反映出用户不同的情绪状态,根据所述用户行为信息确定出用户情绪状态,再根据所述用户情绪状态执行相应的互动策略。
本发明提供的人机交互方法、系统及机器人,获取用户行为信息,不同的用户行为信息能够反映出用户不同的情绪状态,根据所述用户行为信息确定出用户情绪状态,再根据所述用户情绪状态执行相应的互动策略,使整个人机交互过程均与用户情绪状态相适应,从而较好地满足用户的情感需求。
最后,还需要说明的是,在本文中,诸如第一和第一等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的硬件平台的方式来实现,当然也可以全部通过硬件来实施,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种人机交互方法,其特征在于,应用于人机交互系统,所述方法包括:
获取用户行为信息,所述用户行为信息包括:用户语音信息和用户触摸信息;所述用户语音信息包括:关键词与音量值;所述用户触摸信息包括:触摸力度;
根据所述关键词确定情绪状态标识,所述情绪状态标识与情绪状态相对应,相同的情绪状态标识对应有不同的关键词;
根据所述音量值和所述触摸力度中的至少一项确定情绪状态强度;
当所述情绪状态强度满足预设条件时,将与所述情绪状态标识相对应的情绪状态确定为用户情绪状态;
根据所述用户情绪状态执行相应的互动策略,所述互动策略与所述用户情绪状态具有对应关系;所述根据所述用户情绪状态执行相应的互动策略包括:
根据所述用户情绪状态确定环境控制策略,所述环境控制策略与所述用户情绪状态相对应;执行所述环境控制策略。
2.如权利要求1所述的方法,其特征在于,所述根据所述音量值和所述触摸力度中的至少一项确定情绪状态强度包括:
将所述音量值转换为第一权重值,将所述第一权重值确定为情绪状态强度;
或,将所述触摸力度转换为第二权重值,将所述第二权重值确定为情绪状态强度;
或,将所述音量值转换为第一权重值,将所述触摸力度转换为第二权重值,将所述第一权重值与所述第二权重值之和确定为情绪状态强度。
3.如权利要求1所述的方法,其特征在于,所述根据所述用户情绪状态执行相应的互动策略包括:
根据所述用户情绪状态提取语音互动信息,所述语音互动信息与所述用户情绪状态相对应;
播放所述语音互动信息。
4.如权利要求1所述的方法,其特征在于,所述根据所述用户情绪状态执行相应的互动策略包括:
根据所述用户情绪状态确定媒体类型,所述媒体类型与所述用户情绪状态相对应;
播放属于所述媒体类型的媒体信息。
5.如权利要求1所述的方法,其特征在于,所述根据所述用户情绪状态执行相应的互动策略包括:
根据所述用户情绪状态确定动作序列,所述动作序列与所述用户情绪状态相对应;
控制机器人按照所述动作序列执行动作。
6.如权利要求1所述的方法,其特征在于,
若所述用户情绪状态为愤怒状态,所述环境控制策略为第一控制策略,所述第一控制策略用于指示将灯光调节为冷色调、打开窗户与打开窗帘中的至少一项;
若所述用户情绪状态为悲伤状态,所述环境控制策略为第二控制策略,所述第二控制策略至少用于指示将灯光调节为暖色调。
7.一种人机交互系统,其特征在于,所述系统包括:
信息获取单元,用于获取用户行为信息,所述用户行为信息包括:用户语音信息和用户触摸信息;所述用户语音信息包括:关键词与音量值;所述用户触摸信息包括:触摸力度;
情绪确定单元,用于根据所述关键词确定情绪状态标识,所述情绪状态标识与情绪状态相对应,相同的情绪状态标识对应有不同的关键词;根据所述音量值和所述触摸力度中的至少一项确定情绪状态强度;当所述情绪状态强度满足预设条件时,将与所述情绪状态标识相对应的情绪状态确定为用户情绪状态;
策略执行单元,用于根据所述用户情绪状态执行相应的互动策略,所述互动策略与所述用户情绪状态具有对应关系;所述根据所述用户情绪状态执行相应的互动策略包括:根据所述用户情绪状态确定环境控制策略,所述环境控制策略与所述用户情绪状态相对应;执行所述环境控制策略。
8.一种机器人,其特征在于,包括:如权利要求7所述的人机交互系统。
CN201710433907.0A 2017-06-09 2017-06-09 人机交互方法、系统及机器人 Active CN107133368B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710433907.0A CN107133368B (zh) 2017-06-09 2017-06-09 人机交互方法、系统及机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710433907.0A CN107133368B (zh) 2017-06-09 2017-06-09 人机交互方法、系统及机器人

Publications (2)

Publication Number Publication Date
CN107133368A CN107133368A (zh) 2017-09-05
CN107133368B true CN107133368B (zh) 2020-11-03

Family

ID=59734925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710433907.0A Active CN107133368B (zh) 2017-06-09 2017-06-09 人机交互方法、系统及机器人

Country Status (1)

Country Link
CN (1) CN107133368B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108255307A (zh) * 2018-02-08 2018-07-06 竹间智能科技(上海)有限公司 基于多模态情绪与脸部属性识别的人机交互方法、系统
CN108877795B (zh) * 2018-06-08 2020-03-10 百度在线网络技术(北京)有限公司 用于呈现信息的方法和装置
CN109243436A (zh) * 2018-08-23 2019-01-18 珠海格力电器股份有限公司 设备的控制方法及装置、电子装置及存储介质
CN109712644A (zh) * 2018-12-29 2019-05-03 深圳市慧声信息科技有限公司 基于语音识别情绪变化控制led显示效果的方法、用于控制led显示效果的装置及系统
CN110708610B (zh) * 2019-10-11 2021-09-28 孟奇 一种线下直播互动系统及方法
CN112462622A (zh) * 2020-04-02 2021-03-09 张瑞华 一种生物特征识别的智能家居控制方法及智能控制设备
CN114043497B (zh) * 2021-11-19 2023-06-30 济南大学 一种与老年人益智游戏智能交互的方法、系统和机器人

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3676981B2 (ja) * 2001-01-16 2005-07-27 株式会社エイ・ジー・アイ 感性発生方法及び感性発生装置並びにソフトウェア
CN101662546A (zh) * 2009-09-16 2010-03-03 中兴通讯股份有限公司 情绪监控的方法及装置
CN104881108B (zh) * 2014-02-27 2018-08-31 青岛海尔机器人有限公司 一种智能人机交互方法及装置
CN105807933B (zh) * 2016-03-18 2019-02-12 北京光年无限科技有限公司 一种用于智能机器人的人机交互方法及装置
CN106531162A (zh) * 2016-10-28 2017-03-22 北京光年无限科技有限公司 一种用于智能机器人的人机交互方法及装置
CN106985137B (zh) * 2017-03-09 2019-11-08 北京光年无限科技有限公司 用于智能机器人的多模态交互方法及系统

Also Published As

Publication number Publication date
CN107133368A (zh) 2017-09-05

Similar Documents

Publication Publication Date Title
CN107133368B (zh) 人机交互方法、系统及机器人
US11133008B2 (en) Reducing the need for manual start/end-pointing and trigger phrases
KR101983003B1 (ko) 미디어 탐색을 위한 지능형 자동화 어시스턴트
EP2932371B1 (en) Response endpoint selection
JP6351528B2 (ja) 行動制御システム及びプログラム
CN109243444B (zh) 语音交互方法、设备及计算机可读存储介质
JP2012155616A (ja) コンテンツ提供システム、コンテンツ提供方法、及びコンテンツ提供プログラム
CN104090652A (zh) 一种语音输入方法和装置
CN107463247A (zh) 一种文本阅读处理的方法、装置以及终端
KR102451925B1 (ko) 자연 언어 처리를 위한 네트워크-기반 학습 모델
JP2022501623A (ja) オーディオ処理方法、装置及び記憶媒体
CN110019777A (zh) 一种信息分类的方法及设备
CN113539261A (zh) 人机语音交互方法、装置、计算机设备和存储介质
WO2019093123A1 (ja) 情報処理装置および電子機器
CN115019798A (zh) 语音识别设备的控制方法、装置、电子设备及存储介质
US11942081B2 (en) Information processing device and information processing method for response presentation
CN113724544A (zh) 一种播放方法及其相关设备
Srikanth et al. Voice Assistant with Emotion Recognition
CN116721676A (zh) 基于情绪分析的人机互动方法、装置、计算机设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 201207 Shanghai City, Pudong New Area Chinese (Shanghai) free trade zone fanchun Road No. 400 Building 1 layer 3

Applicant after: SHANGHAI SIYIXUAN ROBOT TECHNOLOGY CO., LTD.

Address before: 200233 room F6, room 4, building No. 34, Guiping Road, Xuhui District, Xuhui District, Shanghai

Applicant before: SHANGHAI SIYIXUAN ROBOT TECHNOLOGY CO., LTD.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant