CN112566757A - 使用多模式用户反馈来调整和优化人机交互的系统和方法 - Google Patents

使用多模式用户反馈来调整和优化人机交互的系统和方法 Download PDF

Info

Publication number
CN112566757A
CN112566757A CN201980052249.8A CN201980052249A CN112566757A CN 112566757 A CN112566757 A CN 112566757A CN 201980052249 A CN201980052249 A CN 201980052249A CN 112566757 A CN112566757 A CN 112566757A
Authority
CN
China
Prior art keywords
interaction
control system
detected
participant
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980052249.8A
Other languages
English (en)
Inventor
斯蒂芬·谢勒
保罗·皮尔詹尼
艾伯特·阿萨土日安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Representational Ltd
Original Assignee
Representational Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Representational Ltd filed Critical Representational Ltd
Publication of CN112566757A publication Critical patent/CN112566757A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/408—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by data handling or data format, e.g. reading, buffering or conversion of data
    • G05B19/4083—Adapting programme, configuration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/164—Detection; Localisation; Normalisation using holistic features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/23—Pc programming
    • G05B2219/23067—Control, human or man machine interface, interactive, HMI, MMI
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36133—MMI, HMI: man machine interface, communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Manufacturing & Machinery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

用于人机交互的系统和方法。人机交互系统的自适应行为控制系统控制交互子系统以根据计算机行为策略执行针对第一动作类型的多个动作，每个动作是针对该动作类型的不同替代动作。该自适应行为控制系统根据从人类反应检测子系统接收到的数据来检测交互参与者对该第一动作类型的每个动作的执行的人类反应。该自适应行为控制系统将指示每个检测到的人类反应的信息与标识相关联动作的信息相关联地存储。在所存储的指示检测到的针对该第一动作类型的人类反应的信息满足更新条件的情况下，该自适应行为控制系统更新针对该第一动作类型的计算机行为策略。

Description

使用多模式用户反馈来调整和优化人机交互的系统和方法
相关申请的交叉引用
本申请要求2018年8月7日提交的美国临时申请序列号62/715,665的权益，该美国临时申请通过引用以其全部内容结合在此。
技术领域
本披露总体上涉及人机交互系统，并且更具体地涉及用于在人机交互系统中使用用户反馈的新型且有用的系统和方法。
背景技术
典型的人机交互系统接收经由输入设备接收的用户反馈。
附图说明
图1A至图1D是根据各实施例的系统的示意性表示；
图2是描绘了根据各实施例的系统的系统架构的简图；
图3A至图3E是根据各实施例的示例性策略的表示；
图4至图7是根据各实施例的方法的表示；以及
图8是根据各实施例的多方交互的表示。
具体实施方式
以下对实施例的描述并非旨在将本披露限制于这些实施例，而是使得任何本领域技术人员能够制造和使用本文所披露的实施例。
概述
本文的实施例包括使用(人机交互系统的)自适应行为控制系统的系统和方法，该自适应行为控制系统使用计算机可读的计算机行为策略来控制音频输出系统、显示设备和机器人中的至少一个。自适应行为控制系统被构造成响应于指示检测到的人类反应的信息来更新计算机行为策略。
在一些实施例中，计算机行为策略指定针对特定动作类型的多个动作和每个动作的权重值。例如，针对“问候”动作类型，该策略可以包括三个不同的问候动作选项，每个选项都有对应的权重值。在一些实施例中，每个权重值对应于使用频率。在一些实施例中，每个权重值是与应执行特定动作的频率相对应的百分比，并且针对该动作类型的所有动作的权重总计为100％。在一些实施例中，每个权重值用于生成加权随机采样，并且基于加权随机采样来选择特定动作类型的动作。
生成初始的计算机行为策略，并执行针对某动作类型的动作，自适应行为控制系统将指示响应于该动作的执行而检测到的人类反应的信息与标识该动作的信息相关联地存储。以这种方式，自适应行为控制系统创建记录了针对某动作的所有反应的日志。
在所存储的指示检测到的对某动作的人类反应的信息满足更新条件的情况下，自适应行为控制系统更新计算机行为策略中该动作和相同动作类型的其他动作的权重值。在一些实施例中，在所存储的指示检测到的对第一动作的人类反应的信息指示积极用户反馈低于阈值的情况下，自适应行为控制系统减小该第一动作的权重值。在一些实施例中，在所存储的指示检测到的对第一动作的人类反应的信息指示积极用户反馈高于阈值的情况下，自适应行为控制系统增大该第一动作的权重值。以这种方式，自适应行为控制系统更新计算机行为策略中的动作的权重值，以响应于根据计算机行为策略对人机交互系统的控制来引起人机交互参与者的积极用户反馈。
在一些实施例中，人机交互系统是机器人，该机器人包括机械身体组件(例如，图1D的104d)、可移动机械面部组件(例如，图1D的103d)和至少一个可移动机械附件(例如，图1D的105d)，并且自适应行为控制系统被构造成根据计算机行为策略来控制面部组件。在一些实施例中，根据计算机行为策略对面部组件的控制包括：通过使用由音频捕获系统捕获的音频数据和由视频捕获系统捕获的图像数据中的至少一个来控制面部组件以使该面部组件朝交互参与者的检测到的面部的方向定向。在一些实施例中，计算机行为策略中的某动作类型的动作包括控制面部组件以使面部组件朝交互参与者的检测到的面部的方向定向。在一些实施例中，某动作类型的动作包括谈话动作。在一些实施例中，计算机行为策略中的某动作类型的动作包括控制机器人执行谈话动作。在一些实施例中，计算机行为策略中的某动作类型的动作包括控制机器人移动。在一些实施例中，计算机行为策略中的某动作类型的动作包括控制机器人执行与姿势相对应的移动。
在一些实施例中，自适应行为控制系统被构造成检测交互参与者的存在和相应位置，并生成检测到的交互参与者的检测到的位置的三维世界模型。在一些实施例中，在与先前检测到的交互参与者的交互的发起期间，自适应行为控制系统控制面部组件以通过使用包括在世界模型中的先前检测到的位置来使面部组件朝检测到的交互参与者的方向定向。在一些实施例中，自适应行为控制系统被构造成生成所有检测到的面部的三维世界模型，并且其中，在与同先前检测到的面部相关联的参与者的交互的发起期间，自适应行为控制系统控制面部组件以通过使用包括在世界模型中的先前检测到的方向来使面部组件朝检测到的面部的方向定向。
在一些实施例中，基于从至少一个外部人机交互系统接收的信息来更新计算机行为策略中的权重值。
系统
图1A
在一些实施例中，人机交互系统100a包括自适应行为控制系统110、交互子系统112和人类反应检测子系统111，如图1A所示。在一些实施例中，自适应行为控制系统110是计算系统，如图2所示。在一些实施例中，自适应行为控制系统110是FPGA、ASIC和片上系统(SoC)之一。
交互子系统
在一些实施例中，交互子系统112包括音频输出子系统(例如，图1B的130、图1D的102d)。在一些实施例中，交互子系统112包括视频显示子系统(例如，图1C的102c)。在一些实施例中，交互子系统112包括机械机器人子系统(例如，图1的头部组件103d、附件105d)。在一些实施例中，交互子系统112包括发光子系统。在一些实施例中，交互子系统112包括LED(发光二极管)环。
在一些实施例中，音频输出子系统包括至少一个扬声器(例如，图1B的130、图1D的102d)。在一些实施例中，音频输出子系统包括至少一个音频输出设备。在一些实施例中，视频显示子系统包括至少一个显示设备(例如，图1C的102c)。在一些实施例中，机械机器人子系统包括至少一个机器人身体组件(例如，图1D的104d)。在一些实施例中，机械机器人子系统包括至少一个机器人身体头部组件(例如，图1D的103d)。在一些实施例中，机械机器人子系统包括至少一个机器人附件(例如，图1D的105d)。在一些实施例中，机械机器人子系统包括机械地附接到机器人身体组件的至少一个机器人身体头部组件。在一些实施例中，面部组件包括机动组件，该机动组件被构造成使头部组件相对于身体组件绕第一轴线以至少一个自由度旋转。在一些实施例中，面部组件包括机动组件，该机动组件被构造成使头部组件相对于身体组件绕第一轴线和绕第二轴线以至少两个自由度旋转。
在一些实施例中，交互子系统112包括发光子系统，该发光子系统包括灯的阵列，并且该发光子系统被构造成单独地控制该发光子系统的每个灯。在一些实施例中，交互子系统112包括LED环，该LED环包括灯的阵列，并且该LED环被构造成单独地控制LED环的每个灯。
检测子系统
在一些实施例中，人类反应检测子系统111包括音频捕获子系统(例如，图1B的120、图1D的106d)。在一些实施例中，人类反应检测子系统111包括视频捕获子系统(例如，图1C的101c、图1D的101d)。在一些实施例中，人类反应检测子系统111包括热检测子系统。
在一些实施例中，音频捕获子系统包括至少一个音频捕获设备。在一些实施例中，音频捕获子系统包括至少一个麦克风。在一些实施例中，音频捕获子系统包括至少一个麦克风阵列(例如，图2B的120)。
在一些实施例中，视频捕获子系统包括至少一个视频捕获设备。在一些实施例中，视频捕获子系统包括至少一个相机(例如，图1C的101c、图1D的101d)。在一些实施例中，视频捕获子系统包括至少一个相机阵列。
在一些实施例中，人类反应检测子系统111包括热检测子系统，该热检测子系统被构造成检测人类的体热。在一些实施例中，人类反应检测子系统111包括热检测子系统，该热检测子系统被构造成检测人类的体温。
在一些实施例中，人类反应检测子系统111包括触摸传感器。
在一些实施例中，人类反应检测子系统111包括压电式压力传感器。
在一些实施例中，人类反应检测子系统111包括电容式触摸传感器。
在一些实施例中，人类反应检测子系统111包括电阻式触摸传感器。
在一些实施例中，人类反应检测子系统111包括血压传感器。
在一些实施例中，人类反应检测子系统111包括心率传感器。
在一些实施例中，人类反应检测子111包括生物特征传感器。
在一些实施例中，人类反应检测子系统111包括接口(例如，蓝牙、NFC、WiFi等)，该接口被构造成从远程传感器(例如，可穿戴设备，如例如FitBit和Apple Watch)接收数据。
音频系统
图1B是根据各实施例的基于音频的人机交互系统的示意性表示。在一些实施例中，人机交互系统100b包括自适应行为控制系统110、包括音频输出控制器131和扬声器130的交互子系统、以及包括音频输入处理器121和麦克风120的人类反应检测子系统，如图1B所示。在一些实施例中，人机交互系统100b是智能扬声器。在一些实施例中，人机交互系统100b是包括根据本文披露的实施例的自适应行为控制系统的Amazon Echo(亚马逊回声)智能扬声器。
在一些实施例中，音频输入处理器121被构造成处理由每个麦克风120生成的音频数据，并将处理后的音频数据提供给自适应行为控制系统110。在一些实施例中，自适应行为控制系统110包括音频输入处理器121。在一些实施例中，音频输入处理器121被构造成通过将每个麦克风120的音频数据组合成组合的音频数据流来处理由每个麦克风120生成的音频数据。在一些实施例中，音频输入处理器121被构造成通过选择麦克风120的至少一个音频数据流、组合每个所选数据流来处理由每个麦克风120生成的音频数据，所选数据流的组合音频数据流到自适应行为控制系统110。
在一些实施例中，方向信息与每个麦克风120相关联，并且音频输入处理器121被构造成基于与所捕获音频音量最高的麦克风120相关联的方向信息来确定所捕获音频的方向。以这种方式，自适应行为控制系统110可以结合麦克风120使用音频输入处理器121，以基于所捕获音频来确定交互参与者的位置。
在一些实施例中，音频输出控制器131被构造成根据由自适应行为控制系统110提供给音频输出控制器131的数据来控制扬声器130。在一些实施例中，音频输出控制器131被构造成基于由自适应行为控制系统110提供的信息来选择多个扬声器130之一，并且根据自适应行为控制系统110提供给音频输出控制器131的数据来控制所选扬声器130发出音频。
在一些实施例中，方向信息与每个扬声器相关联，并且自适应行为控制系统110控制音频输出控制器131通过使用与由自适应行为控制系统提供的方向信息匹配的扬声器130来发出音频。以这种方式，自适应行为控制系统110可以结合扬声器130使用音频输出控制器131，以在特定交互参与者的方向上发出音频。
在一些实施例中，自适应行为控制系统110包括音频输入处理器121。在一些实施例中，自适应行为控制系统110包括音频输出控制器131。
音频和视频系统
图1C是根据各实施例的基于音频和视频的人机交互系统的示意性表示。在一些实施例中，人机交互系统100c包括自适应行为控制系统(例如110)、包括显示器102c和扬声器的交互子系统(未示出)、以及包括相机101c和麦克风(未示出)的人类反应检测子系统。在一些实施例中，人机交互系统100c是智能电话。在一些实施例中，人机交互系统100c是计算机。在一些实施例中，人机交互系统100c是移动设备。
机器人
图1D是根据各实施例的机器人人机交互系统的示意性表示。
在一些实施例中，人机交互系统100d包括自适应行为控制系统(例如110)、包括头部组件103d和至少一个附件105d的交互子系统、以及包括头部组件103d的相机101d和头部组件103d的麦克风106d的人类反应检测子系统。在一些实施例中，头部组件103d机械地附接到身体组件104d。在一些实施例中，头部组件103d机械地附接到身体组件104d。在一些实施例中，人机交互系统100d包括电机组件163，该电机组件被构造成使头部组件103d绕竖直轴线160d旋转。在一些实施例中，人机交互系统100d包括电机组件162，该电机组件被构造成使头部组件103d绕水平轴线161d移动。
在一些实施例中，头部组件103d包括扬声器102d。
在一些实施例中，头部组件103d包括自适应行为控制系统(例如110)。在一些实施例中，身体组件104d包括自适应行为控制系统(例如110)。
在一些实施例中，机器人交互系统100d包括音频输入处理器121，音频输入处理器121通信地耦合到系统100d的自适应行为控制系统，并且系统100d的自适应行为控制系统使用音频输入处理器121来识别交互参与者的方向，如本文所披露。
在一些实施例中，机器人交互系统100d包括音频输入处理器121，音频输入处理器121通信地耦合到系统100d的自适应行为控制系统，音频输入处理器121通信地耦合到麦克风106d，并且系统100d的自适应行为控制系统使用音频输入处理器121基于麦克风106d捕获的音频的音量和电机163的当前位置来识别交互参与者的方向。
在一些实施例中，机器人交互系统100d包括音频输入处理器121，音频输入处理器121通信地耦合到系统100d的自适应行为控制系统，音频输入处理器121通信地耦合包括按不同方向布置的多个麦克风的麦克风阵列，并且系统100d的自适应行为控制系统使用音频输入处理器121基于麦克风阵列中的麦克风捕获的音频的音量来识别交互参与者的方向。在一些实施例中，身体组件104d包括麦克风阵列。在一些实施例中，头部组件103d包括麦克风阵列，麦克风阵列通过电机163与头部组件103d一起旋转，并且系统100d的自适应行为控制系统使用电机163的旋转位置信息来识别交互参与者方向。在一些实施例中，头部组件103d包括麦克风阵列，麦克风阵列通过电机162与头部组件103d一起旋转，并且系统100d的自适应行为控制系统使用电机162的旋转位置信息来识别交互参与者方向。在一些实施例中，机器人系统100d包括GPS接收器，并且系统100d的自适应行为控制系统使用GPS接收器的信息来识别交互参与者的方向。在一些实施例中，机器人系统100d包括惯性测量单元(IMU)，并且系统100d的自适应行为控制系统使用IMU的信息来识别交互参与者的方向。在一些实施例中，机器人系统100d包括加速度计，并且系统100d的自适应行为控制系统使用加速度计的信息来识别交互参与者的方向。
计算机行为策略
在一些实施例中，自适应行为控制系统(例如110)存储计算机行为策略的计算机可读数据。
在一些实施例中，自适应行为控制系统(例如110)针对由自适应行为控制系统检测到的每个交互参与者存储计算机行为策略的计算机可读数据。
在一些实施例中，自适应行为控制系统(例如110)针对多个交互参与者中的每一个存储计算机行为策略的计算机可读数据。在一些实施例中，自适应行为控制系统(例如110)针对每个交互参与者存储相同的计算机行为策略。在一些实施例中，自适应行为控制系统(例如110)针对每个交互参与者独立地更新计算机行为策略。
在一些实施例中，自适应行为控制系统(例如110)基于针对与计算机行为策略相关联的参与者检测到的人类反应来更新计算机行为策略。在一些实施例中，自适应行为控制系统(例如110)基于从与计算机行为策略相关联的参与者检测到的人类反应来更新计算机行为策略。在一些实施例中，计算机行为策略针对第一动作类型指定相同的动作。在一些实施例中，计算机行为策略针对第一动作类型指定不同的动作。在一些实施例中，以相同的权重值对每个参与者的计算机行为策略进行初始化。在一些实施例中，以相同的加权序列对每个参与者的计算机行为策略进行初始化。在一些实施例中，每个参与者的计算机行为策略的独立更新得到具有不同加权序列的至少两个计算机行为策略。在一些实施例中，每个参与者的计算机行为策略的独立更新得到具有不同权重值的至少两个计算机行为策略。
在一些实施例中，计算机行为策略的数据包括用于执行某动作类型的动作的指令。在一些实施例中，计算机行为策略的数据包括特定动作类型(某动作类型)的动作的标识符以及用于确定何时执行该动作的对应权重值。在一些实施例中，计算机行为策略的数据包括特定动作类型(某动作类型)的动作的标识符以及用于确定何时优先考虑该动作的对应权重值。在一些实施例中，计算机行为策略的数据包括某动作类型的动作的标识符以及该动作类型的动作的对应加权序列，该加权序列用于确定何时执行该动作。在一些实施例中，计算机行为策略的数据包括某动作类型的动作的计算机可执行指令以及用于确定何时执行该动作的对应权重值。在一些实施例中，计算机行为策略的数据包括某动作类型的动作的计算机可执行指令以及该动作类型的动作的对应加权序列，该加权序列用于确定何时执行该动作。在一些实施例中，计算机行为策略的数据包括到某动作类型的动作的计算机可执行指令的链接以及用于确定何时执行该动作的对应权重值。在一些实施例中，计算机行为策略的数据包括到某动作类型的动作的计算机可执行指令的链接以及该动作类型的动作的对应加权序列，该加权序列用于确定何时执行该动作。
在一些实施例中，计算机行为策略的数据包括与第一动作类型的动作的执行相对应的交互参与者的检测到的人类反应的数据。在一些实施例中，检测到的人类反应的数据是指示交互参与者的检测到的情绪的数据。在一些实施例中，检测到的人类反应的数据是指示交互参与者的检测到的情绪的分类的数据。在一些实施例中，交互参与者的检测到的情绪的分类是“积极”和“消极”之一。在一些实施例中，交互参与者的检测到的情绪的分类是“积极”、“消极”和“中立”之一。在一些实施例中，交互参与者的检测到的情绪的分类是多个反应值中的一个多个。在一些实施例中，反应值是具有范围(例如0至100)的整数或具有范围(例如0.0至1.0)的浮点值，其中，反应值从负到正排序。在一些实施例中，反应值是指示“积极”或“消极”反应的二元值。
图3A至图3E是示例性计算机行为策略的表示。
图3A描绘了针对第一动作类型(“动作A”)的示例性计算机行为策略。在一些实施例中，第一动作类型是在人机交互应用的执行期间执行的动作类型，该人机交互应用根据交互会话指定多个动作的执行。在一些实施例中，人机交互应用指定第一动作类型的几个动作实例的执行。在一些实施例中，人机交互应用指定几种动作类型的动作的执行。根据图3A，为动作类型A定义了三个替代动作，即动作A、动作B和动作C。图3A描绘了未检测到人类反应的初始策略。在一些实施例中，在图3A的策略301的生成期间，指定动作类型A的每个动作的权重值，并且使用这些权重值来生成用于选择动作类型A(第一动作类型)的动作(动作A、动作B或动作C)的加权序列。在一些实施例中，图3A的加权序列指定要执行动作A七次，接着是执行动作B两次，然后是执行动作C一次，然后重复该序列。
图3B描绘了更新策略302，该更新策略是图3A的策略301的针对第一动作类型(动作类型A)的每个动作已经检测到十个反应之后的更新版本。如图3B所示，动作A已经收到两个积极反应，动作B已经收到两个积极反应，而动作C已经收到了六个积极反应。
图3C描绘了在针对动作类型A记录的人类反应已经满足更新条件之后的更新策略303。如图3C所示，权重值已更新，并且对应的加权序列已更新，以反映针对动作A、B和C记录的积极反应的分布。
图3D描绘了更新策略304，该更新策略是图3C的策略303的针对第一动作类型(动作类型A)的每个动作已经检测到二十个反应之后的更新版本。如图3D所示，动作A已经收到十个积极反应，动作B已经收到3个积极反应，而动作C已经收到了7个积极反应。
图3E描绘了基于图3D中描绘的积极反应的、在针对动作类型A记录的人类反应已经满足更新条件之后的更新策略305。如图3E所示，权重值已更新，并且对应的加权序列已更新，以反映针对动作A、B和C记录的积极反应的分布。
方法
方法400
图4是根据各实施例的方法的表示。在一些实施例中，人机交互系统执行方法400。在一些实施例中，图1A的人机交互系统执行方法400。在一些实施例中，图1B的人机交互系统执行方法400。在一些实施例中，图1C的人机交互系统执行方法400。在一些实施例中，图1D的人机交互系统执行方法400。
在一些实施例中，方法400包括：(人机交互系统的)自适应行为控制系统控制交互子系统(例如，图1A的112)以根据计算机行为策略(例如，图8的802和803)执行针对第一动作类型的多个动作，每个动作是针对该动作类型的不同替代动作(过程S401)；该自适应行为控制系统根据从人类反应检测子系统(例如，图1A的111)接收到的数据来检测(交互参与者，例如，图8中的810、820)对该第一动作类型的每个动作的执行的人类反应(过程S402)；以及该自适应行为控制系统将指示每个检测到的人类反应的信息与标识相关联动作的信息相关联地存储(过程S403)。在一些实施例中，方法400包括；在所存储的指示检测到的针对该第一动作类型的人类反应的信息满足更新条件的情况下，该自适应行为控制系统更新针对该第一动作类型的计算机行为策略(过程S404)。
在一些实施例中，方法400包括；响应于经由网络接口(例如211)从通信地耦合到自适应行为控制系统的操作员设备接收到的用户输入，自适应行为控制系统基于接收到的用户输入更新针对第一动作类型的计算机行为策略。
外部人机交互系统
在一些实施例中，方法400包括：该自适应行为控制系统存储指示针对由外部人机交互系统对该第一动作类型的动作的执行由该外部人机交互系统检测到的人类反应的信息，以及该自适应行为控制系统将该外部行为控制系统检测到的信息与标识相关联动作的信息相关联地存储。以这种方式，自适应行为控制系统基于由外部人机交互系统以及自适应行为控制系统的人机交互系统检测到的人类反应来更新由自适应行为控制系统使用的策略。
加权序列
在一些实施例中，策略指定针对第一动作类型的多个动作的加权序列，并且自适应行为控制系统控制交互子系统以根据针对第一动作类型的加权序列执行针对第一动作类型的多个动作。作为第一个示例，以下是动作A、B和C的示例性均等加权序列：{A,B,C,A,B,C,...}。作为第二个示例，以下是动作A、B和C的示例性加权序列，其中，A、B和C的权重值分别为70％、20％和10％：{A,A,A,A,A,A,A,B,B,C,A,A,A,A,A,A,A,B,B,C,...}。作为第三个示例，在一些实施例中，以下是动作A、B和C的示例性加权序列，其中，A、B和C的权重值分别为70％、20％和10％，其中，每个动作都是从以下分布中采样的：{C,A,A,A,C,B,A,A,A,A,B,C}。
策略选择
在一些实施例中，方法400包括：该自适应行为控制系统基于所识别的交互参与者、所确定的当前交互上下文、动作类型、当前治疗目标和所确定的当前疗法类型中的至少一项选择计算机行为策略。在一些实施例中，方法400包括：该自适应行为控制系统基于当前治疗目标选择计算机行为策略。在一些实施例中，方法400包括：该自适应行为控制系统确定在与至少一个参与者交互期间正在使用的当前疗法类型，并基于所确定的当前疗法类型选择计算机行为策略。在一些实施例中，当前疗法类型包括ABA(应用行为分析)、OT(职业疗法)和MI(动机访谈)疗法中的至少一种。在一些实施例中，方法400包括：该自适应行为控制系统识别至少第一交互参与者，并基于所识别的第一交互参与者来选择计算机行为策略。在一些实施例中，方法400包括：该自适应行为控制系统确定当前交互上下文，并基于所确定的当前交互上下文来选择计算机行为策略。在一些实施例中，当前交互上下文包括日期、位置、场合(例如，生日)、事件(例如，葬礼)、至少一个交互参与者的所检测到的整体人类情绪(例如，参与者今天似乎快乐或悲伤)、至少一个交互参与者的检测到的人类心情之一。
在一些实施例中，自适应行为控制系统包括多个计算机行为策略。在一些实施例中，自适应行为控制系统包括针对多个交互参与者中的每一个的计算机行为策略。在一些实施例中，自适应行为控制系统包括针对多种疗法类型中的每一种的计算机行为策略。在一些实施例中，自适应行为控制系统包括针对多个交互上下文中的每一个的计算机行为策略。在一些实施例中，自适应行为控制系统包括针对至少一个交互参与者的多个交互上下文中的每一个的计算机行为策略。在一些实施例中，自适应行为控制系统包括针对至少一个交互参与者的多种疗法类型中的每一种的计算机行为策略。在一些实施例中，自适应行为控制系统包括针对多个交互参与者中的每一个的多个交互上下文中的每一个的计算机行为策略。在一些实施例中，自适应行为控制系统包括针对多个交互参与者中的每一个的多种疗法类型中的每一种的计算机行为策略。
在一些实施例中，自适应行为控制系统包括针对多个交互参与者中的每一个的多个治疗目标中的每一个的计算机行为策略。在一些实施例中，自适应行为控制系统包括针对至少一个交互参与者的多个治疗目标中的每一个的计算机行为策略。
在一些实施例中，自适应行为控制系统将指示每个检测到的人类反应的信息与所选计算机行为策略相关联地存储，并且自适应行为控制系统响应于外部系统经由自适应行为控制系统的API提供的请求而向外部系统提供指示针对所选策略的每个检测到的人类反应的信息。
根据计算机行为策略执行针对第一动作类型的多个动作(过程S401)
在一些实施例中，控制交互子系统以根据计算机行为策略执行针对第一动作类型的多个动作包括：控制交互子系统(例如，112、131、130、102c、102d、103d、105d、106d)以基于包括在策略中的针对第一动作类型的多个动作的权重值来执行针对第一动作类型的第一动作。在一些实施例中，对于执行针对第一动作类型的动作的第一实例，自适应行为控制系统(例如110)选择具有最高权重值(如策略中所指定)的动作并执行所选动作。在一些实施例中，对于执行针对第一动作类型的动作的第一实例，自适应行为控制系统(例如110)随机地选择动作并执行所选动作。
在一些实施例中，控制交互子系统(例如112)以根据计算机行为策略执行针对第一动作类型的多个动作包括：控制交互子系统以基于策略中包括的针对第一动作类型的多个动作的权重值和指示人机交互系统先前针对第一动作类型执行的动作的日志信息来执行针对第一动作类型的第一动作。
在一些实施例中，控制交互子系统以根据计算机行为策略执行针对第一动作类型的多个动作包括：控制交互子系统以基于针对第一动作类型的多个动作的加权序列来选择针对第一动作类型的动作。例如，以下是动作A、B和C的示例性均等加权序列：{A,B,C,A,B,C,...}。例如，以下是动作A、B和C的示例性加权序列，其中，A、B和C的权重值分别为70％、20％和10％：{A,A,A,A,A,A,A,B,B,C,A,A,A,A,A,A,A,B,B,C,...}。
动作和动作类型
在一些实施例中，动作类型是人类交互的类型，如例如，问候、致谢、姿势、问题、陈述、反应、表达等。在一些实施例中，针对至少一种动作类型(例如，问候动作类型)，计算机行为策略指定多个替代动作。在一些实施例中，多个替代动作包括针对该动作类型的不同动作(例如，问候动作)。在一些实施例中，多个替代动作包括针对该动作类型的不同可听动作(例如，问候动作)。在一些实施例中，可听动作包括通过控制扬声器(例如130、102d)来执行的动作。在一些实施例中，多个替代动作包括针对该动作类型的不同身体移动动作(例如，问候动作)。在一些实施例中，身体移动动作包括通过控制电机(例如，图1D的162、163)来执行的动作。在一些实施例中，身体移动动作包括通过控制机器人附件(例如，图1D的105d)来执行的动作。在一些实施例中，身体移动动作包括通过控制机器人头部组件(例如，图1D的103d)来执行的动作。在一些实施例中，身体移动动作包括通过控制机器人身体组件(例如，图1D的104d)来执行的动作。在一些实施例中，多个替代动作包括(由显示设备呈现的)针对该动作类型的不同可显示动作(例如，问候动作)。在一些实施例中，可显示动作包括通过控制显示设备(例如，图1C的1052c)来执行的动作。
在一些实施例中，多个替代动作包括用于通过控制音频输出子系统(例如130、102d)以不同的音量发出可听声音的至少两个动作。
在一些实施例中，多个替代动作包括用于通过控制音频输出子系统以不同的回放速率发出可听声音的至少两个动作。
在一些实施例中，多个替代动作包括用于通过控制音频输出子系统以不同的速度发出口述词声音的至少两个动作。
在一些实施例中，多个替代动作包括用于通过控制音频输出子系统发出不同声音的至少两个动作。
在一些实施例中，多个替代动作包括用于通过控制音频输出子系统使用不同话音发出可听输出的至少两个动作。
在一些实施例中，多个替代动作包括用于通过控制音频输出子系统使用不同的声调来发出与口述词相对应的可听输出的至少两个动作。
在一些实施例中，多个替代动作包括用于通过控制音频输出子系统来发出与对应于不同口头指令的口述词相对应的可听输出的至少两个动作。
在一些实施例中，多个替代动作包括用于通过控制视频显示子系统(例如102c)来显示不同的图像的至少两个动作。
在一些实施例中，多个替代动作包括用于通过控制机械机器人子系统(例如103d、104d、105d、162、163)来执行不同的身体姿势的至少两个动作。
在一些实施例中，多个替代动作包括用于通过控制包括至少一个机器人附件(例如105d)的机械机器人子系统来执行不同的身体姿势的至少两个动作。
在一些实施例中，多个替代动作包括用于通过控制包括至少一个机器人附件(例如105d)、机械地附接到机器人身体组件(例如104d)的机器人头部组件(例如103d)的机械机器人子系统来执行不同的身体姿势的至少两个动作，其中，该头部组件包括机动组件(例如电机162、163)，该机动组件被构造成使头部组件相对于身体组件以至少一个自由度旋转。
在一些实施例中，多个替代动作包括通过控制包括灯阵列的发光子系统来执行的至少一个动作，其中，该发光子系统被构造成单独地控制该发光子系统的每个灯。
在一些实施例中，多个替代动作包括通过控制包括灯阵列的LED环来执行的至少一个动作，其中，该LED环被构造成单独地控制该LED环的每个灯。
在一些实施例中，多个替代动作包括通过控制音频输出子系统来执行的至少一个动作。在一些实施例中，多个替代动作包括通过控制音频输出子系统和视频输出子系统来执行的至少一个动作。在一些实施例中，多个替代动作包括通过控制音频输出子系统来执行的至少一个动作。在一些实施例中，多个替代动作包括通过控制音频输出子系统、视频输出子系统和机械机器人子系统来执行的至少一个动作。
在一些实施例中，多个替代动作包括通过控制音频输出子系统、视频输出子系统和机械机器人子系统中的至少一个来执行的至少一个动作。
在一些实施例中，多个替代动作包括通过控制音频输出子系统、视频输出子系统、机械机器人子系统、发光子系统和LED环中的至少一个来执行的至少一个动作。
在一些实施例中，多个替代动作包括用于通过控制机器人头部组件(例如103d)来执行面部表情的至少一个动作。在一些实施例中，该头部组件包括至少一个机械面部特征，并且该机器人头部组件被构造成控制该至少一个机械面部特征的移动以执行至少一个面部表情。在一些实施例中，该头部组件包括至少一个显示设备，并且该机器人头部组件被构造成控制该显示设备的显示以执行至少一个面部表情。在一些实施例中，该头部组件包括至少一个发光子系统，并且该机器人头部组件被构造成控制该发光显示系统的发光以执行至少一个面部表情。在一些实施例中，该头部组件包括至少一个LED环，并且该机器人头部组件被构造成控制该LED环中的至少一个LED以执行至少一个面部表情。
在一些实施例中，多个替代动作包括通过控制机器人头部组件的音频输出子系统来使该机器人头部组件(例如103d)以特定话音输出音频的至少一个动作。在一些实施例中，多个替代动作包括通过控制机器人头部组件的音频输出子系统来使该机器人头部组件(例如103d)输出可听语音的至少一个动作。
检测人类反应(过程S402)
反应检测
在一些实施例中，自适应行为控制系统检测人类反应(过程S402)包括根据从人类反应检测子系统(例如，图1A的111、图1B的120和121、图1C的101c、图1D的101d和106d)接收到的数据来检测交互参与者(例如，图8的810、820)对第一动作的执行的人类反应。
在一些实施例中，自适应行为控制系统被构造成通过使用姿势检测系统来检测人类反应，该姿势检测系统基于由人类反应检测子系统提供的交互参与者的视频数据来识别人类姿势。在一些实施例中，自适应行为控制系统包括将人类姿势与积极的人类反应和消极的人类反应之一相关联的数据结构。
在一些实施例中，自适应行为控制系统被构造成通过使用微笑检测系统来检测人类反应，该微笑检测系统基于由人类反应检测子系统提供的交互参与者的视频数据来识别人类姿势。
情绪检测
在一些实施例中，自适应行为控制系统检测人类反应(过程S402)包括使用情绪检测系统(例如，图2的279)根据从人类反应检测子系统(例如，图1A的111、图1B的120和121、图1C的101c、图1D的101d和106d)接收到的数据来检测交互参与者(例如，图8的810、820)对第一动作的执行的人类反应。在一些实施例中，检测到的人类反应是检测到的情绪。在一些实施例中，情绪检测系统被包括在人机交互系统中。在一些实施例中，情绪检测系统被包括在自适应行为控制系统中。在一些实施例中，情绪检测系统被包括在人类反应检测子系统中。在一些实施例中，情绪检测系统是经由人机交互系统的网络接口通信地耦合到人机交互系统的外部系统。在一些实施例中，情绪检测系统是可经由应用程序编程接口(API)访问的基于云的系统。在一些实施例中，情绪检测系统是
Figure BDA0002936410820000171
情绪检测系统。在一些实施例中，情绪检测系统是
Figure BDA0002936410820000172
情绪检测系统。在一些实施例中，情绪检测系统是
Figure BDA0002936410820000173
情绪检测系统。在一些实施例中，情绪检测系统是
Figure BDA0002936410820000174
情绪检测系统。在一些实施例中，情绪检测系统是
Figure BDA0002936410820000175
情绪检测系统。在一些实施例中，情绪检测系统是
Figure BDA0002936410820000176
情绪检测系统。在一些实施例中，情绪检测系统被构造成基于所捕获的图像数据来检测情绪。在一些实施例中，情绪检测系统被构造成基于所捕获的音频数据来检测情绪。在一些实施例中，情绪检测系统被构造成基于所捕获的图像数据和所捕获的音频数据来检测情绪。在一些实施例中，情绪检测系统包括可听情绪检测子系统，该可听情绪检测子系统被构造成基于所捕获的音频数据来检测情绪。在一些实施例中，情绪检测系统包括可见情绪检测子系统，该可见情绪检测子系统被构造成基于所捕获的图像数据来检测情绪。在一些实施例中，可由情绪检测系统检测到的情绪包括愤怒、轻蔑、厌恶、恐惧、快乐、中立、悲伤和惊讶。在一些实施例中，可由情绪检测系统检测到的情绪包括快乐、悲伤、愤怒、困惑、厌恶、惊讶、平静、未知。在一些实施例中，情绪检测系统被构造成将检测到的情绪分类为积极、消极或中立。在一些实施例中，自适应行为控制系统在执行第一动作类型的动作之后使用情绪检测系统获得所确定的情绪分类(例如，积极、中立、消极)，并与所执行的动作相关联地存储所确定的情绪分类。
存储指示每个检测到的人类反应的信息(过程S403)
在一些实施例中，自适应行为控制系统存储指示每个检测到的人类反应的信息(过程S403)包括存储指示每个检测到的情绪的数据。在一些实施例中，自适应行为控制系统存储指示每个检测到的人类反应的信息(过程S403)包括：确定每个检测到的情绪的分类，并存储指示每个检测到的情绪的分类的数据。在一些实施例中，交互参与者的检测到的情绪的分类是“积极”和“消极”之一。在一些实施例中，交互参与者的检测到的情绪的分类是“积极”、“消极”和“中立”之一。
在一些实施例中，自适应行为控制系统存储指示每个检测到的人类反应的信息(过程S403)包括：针对每个检测到的人类反应，确定该反应是否与至少一个治疗目标有关，并存储指示与检测到的人类反应有关的每个治疗目标的数据。
在一些实施例中，至少一个治疗目标是短期交互目标(例如，向机器人回以微笑)。在一些实施例中，至少一个治疗目标是长期目标(例如，表现出长期行为技能)。
在一些实施例中，自适应行为控制系统存储指示每个检测到的人类反应的信息(过程S403)包括：针对每个检测到的人类反应，确定该反应是否与至少一个交互目标有关，并存储指示与检测到的人类反应有关的每个交互目标的数据。
在一些实施例中，至少一个交互目标是短期交互目标(例如，向机器人回以微笑)。在一些实施例中，至少一个交互目标是长期目标(例如，表现出长期行为技能)。
更新针对第一动作类型的计算机行为策略(过程S404)
在一些实施例中，策略(例如301至305)指定针对第一动作类型的多个动作的加权序列，并且自适应行为控制系统控制交互子系统以根据针对第一动作类型的加权序列执行针对第一动作类型的多个动作。在一些实施例中，自适应行为控制系统存储指示每个检测到的人类反应的信息(过程S403)包括：确定每个检测到的情绪的分类，并存储指示每个检测到的情绪的分类(例如“积极”、“消极”和“中立”)的数据。
在一些实施例中，更新针对第一动作类型的计算机行为策略(过程S404)包括：基于分布比较的结果，确定针对该第一动作类型的动作存储的检测到的积极人类情绪的分布与针对该第一动作的动作的加权序列中的动作分布的差异是否高于差异阈值；以及响应于确定针对该第一动作类型的动作存储的检测到的积极人类情绪的分布与针对该第一动作的动作的加权序列中的动作分布的差异高于差异阈值而更新针对第一动作类型的计算机行为策略。
在一些实施例中，更新针对第一动作类型的计算机行为策略(过程S404)包括：基于分布比较的结果，确定针对该第一动作类型的动作所存储的检测到的消极人类情绪的分布与针对该第一动作的动作的加权序列中的动作分布的差异是否高于差异阈值；以及响应于确定针对该第一动作类型的动作存储的检测到的消极人类情绪的分布与针对该第一动作的动作的加权序列中的动作分布的差异高于差异阈值而更新针对第一动作类型的计算机行为策略。
在一些实施例中，更新针对第一动作类型的计算机行为策略(过程S404)包括：基于分布比较的结果，确定针对该第一动作类型的动作的所存储的人类反应信息中的与治疗目标相关的检测到的人类反应的分布与针对该第一动作的动作的加权序列中的动作分布的差异是否高于差异阈值；以及响应于确定针对该第一动作类型的动作的与该治疗目标相关的反应的分布与针对该第一动作的动作的加权序列中的动作分布的差异高于差异阈值而更新针对第一动作类型的计算机行为策略。
在一些实施例中，更新针对第一动作类型的计算机行为策略(过程S404)包括：基于分布比较的结果，确定针对该第一动作类型的动作的所存储的人类反应信息中的与多个治疗目标中的任何一个相关的检测到的人类反应的分布与针对该第一动作的动作的加权序列中的动作分布的差异是否高于差异阈值；以及响应于确定针对该第一动作类型的动作的与多个治疗目标中的任何一个相关的反应的分布与针对该第一动作的动作的加权序列中的动作分布的差异高于差异阈值而更新针对第一动作类型的计算机行为策略。
在一些实施例中，在对序列执行预定次数的迭代之后执行分布比较。在一些实施例中，以规则的时间间隔周期性地执行分布比较。在一些实施例中，在已经记录了预定数量的积极人类情绪之后执行分布比较。在一些实施例中，在已经针对第一动作类型的特定动作记录了预定数量的积极人类情绪之后执行分布比较。
在一些实施例中，在已经记录了预定数量的消极人类情绪之后执行分布比较。在一些实施例中，在已经针对第一动作类型的特定动作记录了预定数量的消极人类情绪之后执行分布比较。
在一些实施例中，在已经针对至少一个治疗目标记录了预定数量的人类反应之后执行分布比较。在一些实施例中，在已经针对第一动作类型的至少一个治疗目标记录了预定数量的人类反应之后执行分布比较。
在一些实施例中，在已经针对至少一个交互目标记录了预定数量的人类反应之后执行分布比较。在一些实施例中，在已经针对第一动作类型的至少一个交互目标记录了预定数量的人类反应之后执行分布比较。
例如，在具有动作A(70％)、动作B(20％)、动作C(10％)的分布的加权序列中，在将积极反应记录为动作A(10％)、动作B(20％)、动作C(70％)的情况下，将针对第一动作类型更新计算机行为策略。在一些实施例中，加权序列被更新，使得该序列内的动作分布与针对第一动作类型的动作所记录的积极反应的分布相匹配。在一些实施例中，加权序列被更新，使得基于针对第一动作类型的动作所记录的积极反应的分布来递增地调整该序列内的动作分布。
在一些实施例中，更新针对第一动作类型的计算机行为策略(过程S404)包括：确定是否已经针对第一动作类型的至少一个动作检测到预定数量的连续的积极人类情绪；以及响应于确定针对第一动作类型的至少一个动作已经检测到预定数量的连续的积极人类情绪来更新针对该第一动作类型的计算机行为策略。
在一些实施例中，更新针对第一动作类型的计算机行为策略(过程S404)包括：确定是否已经针对第一动作类型的至少一个动作检测到预定数量的连续的积极人类反应；以及响应于确定针对第一动作类型的至少一个动作已经检测到预定数量的连续的积极人类反应来更新针对该第一动作类型的计算机行为策略。
方法500
图5是根据各实施例的方法的表示。在一些实施例中，人机交互系统执行方法500。在一些实施例中，图1A的人机交互系统执行方法500。在一些实施例中，图1B的人机交互系统执行方法500。在一些实施例中，图1C的人机交互系统执行方法500。在一些实施例中，图1D的人机交互系统执行方法500。
在一些实施例中，方法500包括：(人机交互系统，例如100a、100b、100c、100d的)自适应行为控制系统(例如，图1A中的110)基于计算机行为策略(例如，图3A至图3E中的301至305)中包括的由该计算机行为策略针对第一动作类型指定的多个动作的权重值来选择该多个动作中的第一动作(过程S501)；该自适应行为控制系统控制该人机交互系统的交互子系统(例如，图1A的112)以执行所选的第一动作(过程S502)；该自适应行为控制系统根据从人机交互系统的人类反应检测子系统(例如，图1A的111)接收到的数据来检测交互参与者(例如，图8的810、820)对第一动作的执行的人类反应(过程S503)；以及该自适应行为控制系统将指示检测到的人类反应的信息与标识该第一动作的信息相关联地存储(过程S504)。在一些实施例中，方法500包括：在所存储的指示检测到的针对该第一动作的人类反应的信息满足更新条件的情况下，该自适应行为控制系统更新计算机行为策略中该第一动作的权重值(过程S505)。在一些实施例中，方法500包括：响应于经由网络接口(例如211)从通信地耦合到自适应行为控制系统的操作员设备接收到的用户输入，自适应行为控制系统基于接收到的用户输入更新计算机行为策略中该第一动作的权重值。
在一些实施例中，过程S502类似于图4的过程S401。在一些实施例中，过程S503类似于图4的过程S402。在一些实施例中，过程S504类似于图4的过程S403。在一些实施例中，过程S505类似于图4的过程S404。
策略选择
在一些实施例中，方法500包括：该自适应行为控制系统基于所识别的交互参与者、所确定的当前交互上下文、动作类型、当前治疗目标和所确定的当前疗法类型中的至少一项选择计算机行为策略。
在一些实施例中，方法500包括：该自适应行为控制系统基于当前治疗目标选择计算机行为策略。
在一些实施例中，方法500包括：该自适应行为控制系统确定在与至少一个参与者交互期间正在使用的当前疗法类型，并基于所确定的当前疗法类型选择计算机行为策略。在一些实施例中，当前疗法类型包括ABA(应用行为分析)、OT(职业疗法)和MI(动机访谈)疗法中的至少一种。在一些实施例中，方法500包括：该自适应行为控制系统识别至少第一交互参与者，并基于所识别的第一交互参与者来选择计算机行为策略。在一些实施例中，方法500包括：该自适应行为控制系统确定当前交互上下文，并基于所确定的当前交互上下文来选择计算机行为策略。在一些实施例中，当前交互上下文包括日期、场合(例如，生日)、事件(例如，葬礼)、至少一个交互参与者的所检测到的整体人类情绪(例如，参与者今天似乎快乐或悲伤)之一。
在一些实施例中，自适应行为控制系统包括多个计算机行为策略。在一些实施例中，自适应行为控制系统包括针对多个交互参与者中的每一个的计算机行为策略。在一些实施例中，自适应行为控制系统包括针对多种疗法类型中的每一种的计算机行为策略。在一些实施例中，自适应行为控制系统包括针对多个交互上下文中的每一个的计算机行为策略。在一些实施例中，自适应行为控制系统包括针对至少一个交互参与者的多个交互上下文中的每一个的计算机行为策略。在一些实施例中，自适应行为控制系统包括针对至少一个交互参与者的多种疗法类型中的每一种的计算机行为策略。在一些实施例中，自适应行为控制系统包括针对多个交互参与者中的每一个的多个交互上下文中的每一个的计算机行为策略。在一些实施例中，自适应行为控制系统包括针对多个交互参与者中的每一个的多种疗法类型中的每一种的计算机行为策略。
在一些实施例中，自适应行为控制系统包括针对多个交互参与者中的每一个的多个治疗目标中的每一个的计算机行为策略。在一些实施例中，自适应行为控制系统包括针对至少一个交互参与者的多个治疗目标中的每一个的计算机行为策略。
在一些实施例中，自适应行为控制系统将指示每个检测到的人类反应的信息与所选计算机行为策略相关联地存储，并且自适应行为控制系统响应于外部系统经由自适应行为控制系统的API提供的请求而向外部系统提供指示针对所选策略的每个检测到的人类反应的信息。
方法600
图6是根据各实施例的方法的表示。在一些实施例中，人机交互系统执行方法600。在一些实施例中，图1A的人机交互系统执行方法600。在一些实施例中，图1B的人机交互系统执行方法600。在一些实施例中，图1C的人机交互系统执行方法600。在一些实施例中，图1D的人机交互系统执行方法600。
在一些实施例中，方法600包括：人机交互系统的自适应行为控制系统通过使用热检测子系统、视频捕获子系统、音频捕获子系统、触摸传感器、压电式压力传感器、电容式触摸传感器、电阻式触摸传感器、血压传感器、心率传感器和生物特征传感器中的至少一个来检测多个交互参与者(例如，图8的810、820)(过程S601)；该自适应行为控制系统为每个检测到的交互参与者存储至少一个计算机行为策略(例如，图8的802、803)(S602)；该自适应行为控制系统控制交互子系统(例如112、131、130、102c、102d、103d、105d、106d)以根据为每个检测到的交互参与者选择的计算机行为策略，针对该交互参与者执行第一动作类型的动作(S603)；针对每个检测到的交互参与者，该自适应行为控制系统根据从人类反应检测子系统(例如，图1A的111、图1B的120和121、图1C的101c、图1D的101d和106d)接收到的数据来检测该交互参与者对该第一动作类型的每个动作的执行的人类反应(S604)；以及针对每个检测到的人类交互参与者，该自适应行为控制系统将指示每个检测到的人类反应的信息与标识相关联动作的信息相关联地存储(S605)。在一些实施例中，方法600包括：针对每个检测到的人类交互参与者，在所存储的指示检测到的针对该第一动作类型的人类反应的信息满足更新条件的情况下，该自适应行为控制系统更新该交互参与者的针对该第一动作类型的所选计算机行为策略(S606)。
在一些实施例中，方法600包括；响应于经由网络接口(例如211)从通信地耦合到自适应行为控制系统的操作员设备接收到的用户输入，自适应行为控制系统基于接收到的用户输入更新至少一个计算机行为策略。
每个检测到的交互参与者的计算机行为策略都是基于检测到的相关联交互参与者的人类反应而独立更新的。
在一些实施例中，该自适应行为控制系统至少存储针对第一交互参与者的第一计算机行为策略和针对第二交互参与者的第二计算机行为策略，该第一策略和该第二策略各自针对第一动作类型指定相同的多个动作，每个动作是针对该动作类型的不同替代动作。
在一些实施例中，过程S603类似于图4的过程S401。在一些实施例中，过程S604类似于图4的过程S402。在一些实施例中，过程S605类似于图4的过程S403。在一些实施例中，过程S606类似于图4的过程S404。
策略选择
在一些实施例中，方法600包括：该自适应行为控制系统基于以下至少一项为每个检测到的交互参与者选择计算机行为策略：该交互参与者的身份、针对该交互参与者确定的当前交互上下文、动作类型、当前治疗目标和针对该交互参与者确定的当前疗法类型。
在一些实施例中，方法600包括：该自适应行为控制系统基于当前治疗目标为至少一个检测到的交互参与者选择计算机行为策略。
在一些实施例中，方法600包括：针对至少一个检测到的交互参与者，该自适应行为控制系统确定在与该参与者交互期间正在使用的当前疗法类型，并基于所确定的当前疗法类型选择计算机行为策略。在一些实施例中，当前疗法类型包括ABA(应用行为分析)、OT(职业疗法)和MI(动机访谈)疗法中的至少一种。在一些实施例中，方法600包括：针对至少一个检测到的参与者，该自适应行为控制系统基于该交互参与者的识别来选择计算机行为策略。在一些实施例中，方法600包括：针对至少一个检测到的参与者，该自适应行为控制系统确定该参与者的当前交互上下文，并基于所确定的当前交互上下文来选择计算机行为策略。在一些实施例中，当前交互上下文包括日期、场合(例如，生日)、事件(例如，葬礼)、至少一个交互参与者的所检测到的整体人类情绪(例如，参与者今天似乎快乐或悲伤)之一。
在一些实施例中，该自适应行为控制系统包括多个计算机行为策略。在一些实施例中，该自适应行为控制系统包括针对多个交互参与者中的每一个的计算机行为策略。在一些实施例中，该自适应行为控制系统包括针对多种疗法类型中的每一种的计算机行为策略。在一些实施例中，该自适应行为控制系统包括针对多个交互上下文中的每一个的计算机行为策略。在一些实施例中，该自适应行为控制系统包括针对至少一个交互参与者的多个交互上下文中的每一个的计算机行为策略。在一些实施例中，该自适应行为控制系统包括针对至少一个交互参与者的多种疗法类型中的每一种的计算机行为策略。在一些实施例中，该自适应行为控制系统包括针对多个交互参与者中的每一个的多个交互上下文中的每一个的计算机行为策略。在一些实施例中，该自适应行为控制系统包括针对多个交互参与者中的每一个的多种疗法类型中的每一种的计算机行为策略。
在一些实施例中，自适应行为控制系统包括针对多个交互参与者中的每一个的多个治疗目标中的每一个的计算机行为策略。在一些实施例中，自适应行为控制系统包括针对至少一个交互参与者的多个治疗目标中的每一个的计算机行为策略。
在一些实施例中，该自适应行为控制系统将指示每个检测到的人类反应的信息与对应的计算机行为策略相关联地存储，并且响应于外部系统经由自适应行为控制系统的API提供的针对指定策略的人类反应信息的请求，该自适应行为控制系统向该外部系统提供指示针对指定策略的每个检测到的人类反应的信息。
方法700
图7是根据各实施例的方法的表示。在一些实施例中，图1D的人机交互系统执行方法700。
在一些实施例中，执行方法700的人机交互系统包括：身体组件(例如104d)；头部组件(例如103d)，该头部组件经由电机组件(例如162、163)机械地附接到该身体组件；该电机组件，该电机组件被构造成使该头部组件绕竖直轴线(例如160d)和水平轴线(例如161d)旋转；至少第一机动附件(例如105d)，该机动附件被构造成根据至少一个人类交互姿势(例如，手臂姿势、手部姿势、挥手、手语等)执行移动；自适应行为控制系统(例如110)，该自适应行为控制系统通信地耦合到该电机组件、该头部组件和该附件中的至少一个；人类反应检测子系统(例如111、101d、106d)，该人类反应检测子系统通信地耦合到该自适应行为控制系统；以及交互子系统(例如102d)，该交互子系统通信地耦合到该自适应行为控制系统。
在一些实施例中，方法700包括：人机交互系统(例如图1D的100d)的自适应行为控制系统(例如110)通过使用热检测子系统、视频捕获子系统、音频捕获子系统、触摸传感器、压电式压力传感器、电容式触摸传感器、电阻式触摸传感器、血压传感器、心率传感器和生物特征传感器中的至少一个来检测多个交互参与者(例如，图8的810、820)(过程S701)；该自适应行为控制系统为每个检测到的交互参与者存储至少一个计算机行为策略(例如，图8的802、803)(S702)；该自适应行为控制系统控制该交互子系统(例如102d)、该电机组件、该附件(例如105d)、该身体组件(104d)和该头部组件(103d)中的至少一个以根据为每个检测到的交互参与者选择的计算机行为策略，针对该交互参与者执行第一动作类型的动作(S703)；针对每个检测到的交互参与者，该自适应行为控制系统根据从该人类反应检测子系统接收到的数据来检测该交互参与者对该第一动作类型的每个动作的执行的人类反应(S704)；以及针对每个检测到的人类交互参与者，该自适应行为控制系统将指示每个检测到的人类反应的信息与标识相关联动作的信息相关联地存储(S705)。在一些实施例中，方法700包括：针对每个检测到的人类交互参与者，在所存储的指示检测到的针对该第一动作类型的人类反应的信息满足更新条件的情况下，该自适应行为控制系统更新该交互参与者的针对该第一动作类型的计算机行为策略(S706)。
在一些实施例中，方法700包括；响应于经由网络接口(例如211)从通信地耦合到自适应行为控制系统的操作员设备接收到的用户输入，自适应行为控制系统基于接收到的用户输入更新至少一个计算机行为策略。
每个检测到的交互参与者的计算机行为策略都是基于检测到的相关联交互参与者的人类反应而独立更新的。
在一些实施例中，检测多个交互参与者包括检测每个检测到的交互参与者的位置，以及生成检测到的交互参与者(例如图8的810、820)的检测到的位置的三维世界模型(例如图8的278)。
在一些实施例中，在与先前检测到的交互参与者(例如810、820)的交互的发起期间，自适应行为控制系统控制电机组件(例如162、163)以通过使用包括在世界模型(例如278)中的先前检测到的位置来使头部组件(例如103d)朝先前检测到的交互参与者的方向定向。
在一些实施例中，在处理先前检测到的交互参与者对所执行的动作的响应期间，自适应行为控制系统控制电机组件(例如162、163)以通过使用包括在世界模型(例如278)中的先前检测到的位置来使头部组件(例如103d)朝先前检测到的交互参与者的方向定向。
在一些实施例中，检测多个交互参与者包括检测每个交互参与者的面部。在一些实施例中，记录每个检测到的面部的取向。在一些实施例中，三维世界模型(例如278)指示每个检测到的面部的取向，并且在与先前检测到的交互参与者的交互的发起期间，该自适应行为控制系统控制该电机组件以通过使用包括在该世界模型中的先前检测到的位置和面部取向来使该头部组件朝先前检测到的交互参与者的面部的方向定向。
在一些实施例中，检测多个交互参与者包括检测每个交互参与者的面部，并且三维世界模型(例如278)包括检测到的面部的检测到的取向，并且在处理先前检测到的交互参与者对所执行的动作的响应期间，该自适应行为控制系统控制该电机组件以通过使用包括在该世界模型中的先前检测到的位置和面部取向来使该头部组件朝先前检测到的交互参与者的面部的方向定向。
在一些实施例中，该自适应行为控制系统至少存储针对第一交互参与者的第一计算机行为策略和针对第二交互参与者的第二计算机行为策略，该第一策略和该第二策略各自针对第一动作类型指定相同的多个动作，每个动作是针对该动作类型的不同替代动作。
在一些实施例中，过程S703类似于图4的过程S401。在一些实施例中，过程S704类似于图4的过程S402。在一些实施例中，过程S705类似于图4的过程S403。在一些实施例中，过程S706类似于图4的过程S404。
策略选择
在一些实施例中，方法700包括：该自适应行为控制系统基于以下至少一项为每个检测到的交互参与者选择计算机行为策略：该交互参与者的身份、针对该交互参与者确定的当前交互上下文、动作类型、当前治疗目标和针对该交互参与者确定的当前疗法类型。
在一些实施例中，方法600包括：该自适应行为控制系统基于当前治疗目标为至少一个检测到的交互参与者选择计算机行为策略。
在一些实施例中，方法700包括：针对至少一个检测到的交互参与者，该自适应行为控制系统确定在与该参与者交互期间正在使用的当前疗法类型，并基于所确定的当前疗法类型选择计算机行为策略。在一些实施例中，当前疗法类型包括ABA(应用行为分析)、OT(职业疗法)和MI(动机访谈)疗法中的至少一种。在一些实施例中，方法700包括：针对至少一个检测到的参与者，该自适应行为控制系统基于该交互参与者的识别来选择计算机行为策略。在一些实施例中，方法700包括：针对至少一个检测到的参与者，该自适应行为控制系统确定该参与者的当前交互上下文，并基于所确定的当前交互上下文来选择计算机行为策略。在一些实施例中，当前交互上下文包括日期、场合(例如，生日)、事件(例如，葬礼)、至少一个交互参与者的所检测到的整体人类情绪(例如，参与者今天似乎快乐或悲伤)之一。
在一些实施例中，自适应行为控制系统包括多个计算机行为策略。在一些实施例中，自适应行为控制系统包括针对多个交互参与者中的每一个的计算机行为策略。在一些实施例中，自适应行为控制系统包括针对多种疗法类型中的每一种的计算机行为策略。在一些实施例中，自适应行为控制系统包括针对多个交互上下文中的每一个的计算机行为策略。在一些实施例中，自适应行为控制系统包括针对至少一个交互参与者的多个交互上下文中的每一个的计算机行为策略。在一些实施例中，自适应行为控制系统包括针对至少一个交互参与者的多种疗法类型中的每一种的计算机行为策略。在一些实施例中，自适应行为控制系统包括针对多个交互参与者中的每一个的多个交互上下文中的每一个的计算机行为策略。在一些实施例中，自适应行为控制系统包括针对多个交互参与者中的每一个的多种疗法类型中的每一种的计算机行为策略。
在一些实施例中，自适应行为控制系统包括针对多个交互参与者中的每一个的多个治疗目标中的每一个的计算机行为策略。在一些实施例中，自适应行为控制系统包括针对至少一个交互参与者的多个治疗目标中的每一个的计算机行为策略。
在一些实施例中，该自适应行为控制系统将指示每个检测到的人类反应的信息与对应的计算机行为策略相关联地存储，并且响应于外部系统经由自适应行为控制系统的API提供的针对指定策略的人类反应信息的请求，该自适应行为控制系统向该外部系统提供指示针对指定策略的每个检测到的人类反应的信息。
多方和多平面交互
在一些实施例中，第一动作类型的动作是用于控制人机交互系统的机器人身体头部组件(例如，图1D的103d)以使头部组件朝检测到的交互参与者的方向定向的动作(例如810、820)。在一些实施例中，第一动作类型的动作是用于控制人机交互系统的机器人身体头部组件以使头部组件朝检测到的交互参与者的检测到的面部的方向定向的动作。
在一些实施例中，在与先前检测到的交互参与者的交互的发起期间，人机交互系统(例如，图1D的100d)被构造成通过使用由人机交互系统存储的世界模型(例如278)指定的参与者的先前检测到的位置来使头部组件朝先前检测到的交互参与者(例如810、820)的方向定向。在一些实施例中，在与先前检测到的交互参与者的交互的发起期间，人机交互系统(例如，图1D的100d)被构造成通过使用由人机交互系统存储的世界模型(例如278)指定的参与者的先前检测到的位置和先前检测的面部取向来使头部组件朝先前检测到的交互参与者的检测到的面部的方向定向。
在一些实施例中，在处理先前检测到的交互参与者对所执行的动作的响应期间，人机交互系统(例如，图1D的100d)被构造成通过使用由人机交互系统存储的世界模型(例如278)指定的参与者的先前检测到的位置来使头部组件朝先前检测到的交互参与者(例如810、820)的方向定向。在一些实施例中，在处理先前检测到的交互参与者对所执行的动作的响应期间，人机交互系统(例如，图1D的100d)被构造成通过使用由人机交互系统存储的世界模型(例如278)指定的参与者的先前检测到的位置和先前检测的面部取向来使头部组件朝先前检测到的交互参与者的检测到的面部的方向定向。
在一些实施例中，头部组件(例如103d)包括机动组件(例如162、163)，该机动组件被构造成使头部组件(例如103d)相对于身体组件(例如104d)以至少一个自由度旋转，并且在控制机器人头部组件以使该头部组件朝交互参与者的方向定向期间，自适应行为控制系统控制该头部组件沿检测到的交互参与者的方向绕第一轴线(例如160d)旋转。
机动组件使头部旋转
在一些实施例中，头部组件包括机动组件(例如162、163)，该机动组件被构造成使头部组件相对于身体组件以至少两个自由度旋转，并且在控制机器人头部组件以使该头部组件朝交互参与者的检测到的面部的方向定向期间，自适应行为控制系统控制该头部组件沿该交互参与者的方向绕第一轴线(例如160d)旋转，并控制头部组件绕第二轴线(例如161d)朝检测到的面部旋转。在一些实施例中，第一轴线是竖直轴线(例如160d)，并且第二轴线是水平轴线(例如161d)。
检测参与者
在一些实施例中，自适应行为控制系统通过使用由热检测子系统(例如，红外摄像机、热传感器等)捕获的温度数据、由视频捕获子系统(例如101d)捕获的图像数据、以及由音频捕获子系统(例如106d)捕获的音频数据中的至少一个来检测参与者。
在一些实施例中，自适应行为控制系统通过使用由热检测子系统(例如，红外摄像机、热传感器等)捕获的温度数据、由视频捕获子系统(例如101d)捕获的图像数据、由音频捕获子系统(例如106d)捕获的音频数据、以及电机组件(例如162、163)的旋转位置信息中的至少一个来确定检测到的参与者的方向。在一些实施例中，自适应行为控制系统通过使用由热检测子系统(例如，红外摄像机、热传感器等)捕获的温度数据、由视频捕获子系统(例如101d)捕获的图像数据、由音频捕获子系统(例如106d)捕获的音频数据、人机交互系统的IMU生成的IMU数据、人机交互系统的加速度计生成的加速度计数据、以及电机组件(例如162、163)的旋转位置信息中的至少一个来确定检测到的参与者的方向。
在一些实施例中，针对每个检测到的交互参与者，自适应行为控制系统将标识检测到的参与者的信息与指示检测到的参与者的所确定方向的信息相关联地存储在世界模型(例如278)中。
在一些实施例中，自适应行为控制系统通过使用由热检测子系统(例如，红外摄像机、热传感器等)捕获的温度数据、由视频捕获子系统(例如101d)捕获的图像数据、由音频捕获子系统(例如106d)捕获的音频数据、以及电机组件(例如162、163)的旋转位置信息中的至少一个来确定检测到的参与者的面部的取向。在一些实施例中，自适应行为控制系统通过使用由热检测子系统(例如，红外摄像机、热传感器等)捕获的温度数据、由视频捕获子系统(例如101d)捕获的图像数据、由音频捕获子系统(例如106d)捕获的音频数据、人机交互系统的IMU生成的IMU数据、人机交互系统的加速度计生成的加速度计数据、以及电机组件(例如162、163)的旋转位置信息中的至少一个来确定检测到的参与者的面部的取向。
在一些实施例中，针对每个检测到的交互参与者，自适应行为控制系统将标识检测到的参与者的信息与指示检测到的参与者的所确定方向的信息和指示该参与者的所确定面部取向的信息相关联地存储在世界模型(例如278)中。
在一些实施例中，音频捕获子系统捕获参与者发出的音频，并生成与所捕获音频相对应的音频数据，并且自适应行为控制系统使用音频数据来识别参与者的存在和一般位置。在一些实施例中，音频捕获子系统包括麦克风阵列，该麦克风阵列被构造成基于与该阵列中的麦克风相关联的方向来生成与所捕获音频相对应的方向信息，该麦克风以在由该麦克风阵列的麦克风捕获的音频的音量水平中的最高音量水平捕获音频。如图1B所示，麦克风120包括六个麦克风的麦克风阵列。在一些实施例中，自适应行为控制系统确定发出音频的参与者最靠近麦克风120，该麦克风捕获该参与者发出的音频的最高音频音量。
在一些实施例中，音频捕获子系统捕获参与者发出的音频，并生成与所捕获音频相对应的音频数据，并且自适应行为控制系统使用音频数据来通过将参与者发出的音频识别为人类发出的匹配音频来识别参与者的存在。在一些实施例中，音频捕获子系统捕获参与者发出的音频，并生成与所捕获音频相对应的音频数据，并且自适应行为控制系统使用音频数据来通过将参与者发出的音频识别为不是当前识别的参与者的人类发出的匹配音频来识别参与者的存在。在一些实施例中，音频捕获子系统捕获参与者发出的音频，生成与所捕获音频相对应的音频数据，确定该音频数据是否对应于人类话音，确定该人类话音是否对应于当前参与者，并且响应于确定该人类话音不对应于当前的人类交互参与者，自适应行为控制系统识别新参与者的存在。
在一些实施例中，音频捕获子系统捕获音频并生成与所捕获音频相对应的音频数据，自适应行为控制系统确定该音频数据是否对应于与新交互参与者的存在相对应的环境变化，并且在自适应行为控制系统确定该音频数据对应于与新交互参与者的存在相对应的环境变化的情况下，自适应行为控制系统识别新交互参与者的存在。在一些实施例中，对应于与新交互参与者的存在相对应的环境变化的音频数据包括对应于开门的音频数据。在一些实施例中，对应于与新交互参与者的存在相对应的环境变化的音频数据包括对应于脚步的音频数据。在一些实施例中，对应于与新交互参与者的存在相对应的环境变化的音频数据包括对应于呼吸的音频数据。
在一些实施例中，通过使用由人机交互系统的视频捕获子系统(例如，图1D的101d)捕获的图像数据来确定检测到的参与者的面部的取向。在一些实施例中，视频捕获子系统捕获图像并生成与所捕获的图像相对应的图像数据，自适应行为控制系统确定该图像数据是否对应于人脸，并响应于确定该图像数据对应于人脸，自适应行为控制系统执行面部检测过程以识别检测到的人脸的取向。
在一些实施例中，自适应行为控制系统被构造成检测交互参与者的存在和相应位置，并生成检测到的交互参与者的检测到的位置的三维世界模型。在一些实施例中，自适应行为控制系统被构造成通过使用人机交互系统的视频捕获子系统来检测交互参与者的存在，如本文所述。在一些实施例中，自适应行为控制系统被构造成通过使用人机交互系统的音频捕获子系统来检测交互参与者的存在，如本文所述。在一些实施例中，自适应行为控制系统被构造成通过使用视频捕获子系统来检测交互参与者的位置，如本文所述。在一些实施例中，自适应行为控制系统被构造成通过使用音频捕获子系统来检测交互参与者的位置，如本文所述。
在一些实施例中，在与先前检测到的交互参与者的交互的发起期间，自适应行为控制系统控制面部组件以通过使用包括在世界模型中的先前检测到的位置来使面部组件朝检测到的交互参与者的方向定向。
在一些实施例中，在处理先前检测到的交互参与者对所执行的动作的响应期间，自适应行为控制系统控制面部组件以通过使用包括在世界模型中的先前检测到的位置来使面部组件朝检测到的交互参与者的方向定向。
在一些实施例中，自适应行为控制系统被构造成生成所有检测到的面部的三维世界模型，并且其中，在与同先前检测到的面部相关联的参与者的交互的发起期间，自适应行为控制系统控制面部组件以通过使用包括在世界模型中的先前检测到的方向来使面部组件朝检测到的面部的方向定向。
系统架构
图2是描绘了根据各实施例的自适应行为控制系统(例如，图1A的110)的系统架构的简图。在一些实施例中，图2的系统被实施为单个硬件设备。在一些实施例中，图2的系统被实施为多个硬件设备。在一些实施例中，图2的系统被实施为ASIC(专用集成电路)，图2的系统被实施为FPGA(现场可编程门阵列)，图2的系统被实施为SoC(片上系统)。在一些实施例中，总线201与处理器201A-N、主存储器222(例如，随机存取存储器(RAM))、只读存储器(ROM)206、处理器可读存储介质205和网络设备211接口连接。在一些实施例中，总线201与显示设备(例如102c)和用户输入设备中的至少一个接口连接。
在一些实施例中，总线201与音频系统设备271接口连接。在一些实施例中，音频系统设备271包括音频输入处理器121。在一些实施例中，音频系统设备271包括音频输出控制器131。在一些实施例中，音频系统接口设备271包括人类反应检测子系统111的音频系统。在一些实施例中，音频系统接口设备271包括交互子系统111的音频系统。在一些实施例中，音频系统设备271包括扬声器(例如，图1B的120、图1D的102d)。在一些实施例中，音频系统设备271包括麦克风(例如，图1B的130、图1D的106d)。
在一些实施例中，总线201与视频系统设备272接口连接。在一些实施例中，视频系统设备272包括人类反应检测子系统111的视频系统。在一些实施例中，视频系统设备272包括交互子系统111的显示系统。在一些实施例中，视频系统设备272包括相机(例如，图1C的101c、图1D的101d)。在一些实施例中，视频系统设备272包括显示器(例如，图1C的102C、图1D的106d)。
在一些实施例中，总线201与电机控制器273接口连接。在一些实施例中，电机控制器273被构造成控制图1D的机器人系统100d的电机162和163中的至少一个。在一些实施例中，电机控制器273被构造成控制图1D的机器人系统100d的附件(例如105d)。在一些实施例中，电机控制器273被构造成控制图1D的机器人系统100d的附件(例如105d)的电机。在一些实施例中，电机控制器273被构造成控制图1D的机器人系统100d的身体组件104d的电机。
在一些实施例中，处理器包括ARM处理器、X86处理器、GPU(图形处理单元)等中的一个或多个。在一些实施例中，处理器中的至少一个包括至少一个算术逻辑单元(ALU)，该ALU支持为乘法和累加运算提供本地支持的SIMD(单指令多数据)系统。
在一些实施例中，包括中央处理单元(处理器)、GPU和多处理器单元(MPU)中的至少一者。
在一些实施例中，处理器和主存储器形成处理单元299。在一些实施例中，处理单元包括通信地耦合到RAM、ROM和机器可读存储介质中的一个或多个的一个或多个处理器；处理单元中的一个或多个处理器经由总线接收由RAM、ROM和机器可读存储介质中的一个或多个存储的指令；并且该一个或多个处理器执行接收到的指令。在一些实施例中，处理单元是ASIC(专用集成电路)。在一些实施例中，处理单元是SoC(片上系统)。
在一些实施例中，处理单元包括至少一个算术逻辑单元(ALU)，该ALU支持为乘法和累加运算提供本地支持的SIMD(单指令多数据)系统。在一些实施例中，处理单元是中央处理单元，诸如Intel Xeon(英特尔至强)处理器。在其他实施例中，处理单元包括诸如NVIDIA Tesla等图形处理单元。
网络适配器设备211提供用于交换数据和命令的一个或多个有线或无线接口。这样的有线和无线接口包括例如，通用串行总线(USB)接口、蓝牙接口、Wi-Fi接口、以太网接口、近场通信(NFC)接口等。
在一些实施例中，网络设备211通信地耦合到另一个人机交互系统。在一些实施例中，网络设备211经由网络(例如，互联网)通信地耦合到另一个人机交互系统。在一些实施例中，网络设备211经由网络(例如，互联网)通信地耦合到人机交互服务器，并且人机交互服务器被构造成经由网络设备211向自适应行为控制系统提供计算机行为策略。在一些实施例中，人机交互服务器被构造成经由网络设备211提供由其他人机交互系统针对自适应行为控制系统的计算机行为策略的至少一个动作识别的检测到的人类反应的信息。以这种方式，图2的自适应行为控制系统被构造成基于由外部人机交互系统(例如，机器人交互系统，诸如图1D的100d)检测到的人类反应来更新其计算机行为策略。
软件程序(诸如，操作系统、应用程序和设备驱动程序)中的机器可执行指令从处理器可读存储介质、ROM或任何其他存储位置加载到(处理单元的)存储器中。在这些软件程序的执行期间，相应的机器可执行指令被(处理单元的)处理器中的至少一个经由总线访问，并且然后被处理器中的至少一个执行。由软件程序使用的数据也存储在存储器中，并且此类数据在软件程序的机器可执行指令的执行期间被处理器中的至少一个访问。
处理器可读存储介质605是硬盘驱动器、闪存驱动器、DVD、CD、光盘、软盘、闪存、固态驱动器、ROM、EEPROM、电子电路、半导体存储器设备等中的一种(或两个或更多个的组合)。处理器可读存储介质205包括用于操作系统212、软件程序213、设备驱动器214的机器可执行指令(和相关数据)以及用于图4至图7的一个或多个过程的机器可执行指令。在一些实施例中，处理器可读存储介质205包括至少一个计算机行为策略277的数据。在一些实施例中，处理器可读存储介质205包括所存储的指示检测到的人类反应的信息。在一些实施例中，处理器可读存储介质205包括检测到的交互参与者的检测到的位置的世界模型278，如本文所述。
在一些实施例中，处理器可读存储介质205包括用于情绪检测模块279的机器可执行指令。在一些实施例中，情绪检测模块279被构造成基于所捕获的图像数据来检测情绪。在一些实施例中，情绪检测模块279被构造成基于所捕获的音频数据来检测情绪。在一些实施例中，情绪检测模块279被构造成基于所捕获的图像数据和所捕获的音频数据来检测情绪。在一些实施例中，可由情绪检测模块279检测到的情绪包括愤怒、轻蔑、厌恶、恐惧、快乐、中立、悲伤和惊讶。在一些实施例中，可由情绪检测模块279检测到的情绪包括快乐、悲伤、愤怒、困惑、厌恶、惊讶、平静、未知。在一些实施例中，情绪检测模块279被构造成将检测到的情绪分类为积极、消极或中立。在一些实施例中，自适应行为控制系统在执行第一动作类型的动作之后使用情绪检测模块279获得所确定的情绪分类(例如，积极、中立、消极)，并与所执行的动作相关联地存储所确定的情绪分类(例如，存储在存储介质205中)。
机器
一些实施例的系统和方法及其变型可以至少部分地体现为和/或实施为被配置为接收存储计算机可读指令的计算机可读介质的机器。这些指令优选地由计算机可执行部件执行。计算机可读介质可以存储在任何合适的计算机可读介质上，如RAM、ROM、闪存、EEPROM、光学设备(CD或DVD)、硬盘驱动器、软盘驱动器或任何合适的设备。计算机可执行部件优选是通用处理器或专用处理器，但是任何合适的专用硬件或硬件/固件组合设备可以可替代性或另外地执行这些指令。
结论
如本领域技术人员将从前面的详细描述以及从附图和权利要求书中认识到的，可以对本文所披露的实施例进行修改和变化而不偏离如在权利要求中限定的范围。

Claims (33)

1.一种方法，包括：
人机交互系统的自适应行为控制系统通过使用至少一个传感器来检测多个交互参与者；
该自适应行为控制系统为每个检测到的交互参与者存储至少一个计算机行为策略；
该自适应行为控制系统控制交互子系统以根据为每个检测到的交互参与者选择的计算机行为策略，针对该交互参与者执行第一动作类型的动作；
针对每个检测到的交互参与者，该自适应行为控制系统根据从人类反应检测子系统接收到的数据来检测该交互参与者对该第一动作类型的每个动作的执行的人类反应；
针对每个检测到的人类交互参与者，该自适应行为控制系统将指示每个检测到的人类反应的信息与标识相关联动作的信息相关联地存储；
针对每个检测到的人类交互参与者，在所存储的指示检测到的针对该第一动作类型的人类反应的信息满足更新条件的情况下，该自适应行为控制系统更新该交互参与者的针对该第一动作类型的所选计算机行为策略。
2.如权利要求1所述的方法，其中该至少一个传感器是以下项中的至少一个：热检测子系统的传感器、视频捕获子系统的传感器、音频捕获子系统的传感器、触摸传感器、压电式压力传感器、电容式触摸传感器、电阻式触摸传感器、血压传感器、心率传感器和生物特征传感器。
3.如权利要求1所述的方法，
其中，该自适应行为控制系统将指示每个检测到的人类反应的信息与对应的计算机行为策略相关联地存储，并且
该方法进一步包括：响应于经由该自适应行为控制系统的API来自外部系统的反应信息请求，该反应信息请求指定了计算机行为策略，该自适应行为控制系统向该外部系统提供所存储的指示针对指定的计算机行为策略的每个检测到的人类反应的信息作为对该反应信息请求的响应。
4.如权利要求1所述的方法，进一步包括：该自适应行为控制系统基于以下至少一项为每个检测到的交互参与者选择计算机行为策略：该交互参与者的身份、针对该交互参与者确定的当前交互上下文、动作类型、当前治疗目标和针对该交互参与者确定的当前疗法类型。
5.如权利要求1所述的方法，其中针对该第一动作类型的至少一个动作包括通过控制机器人头部组件来执行面部表情。
6.如权利要求5所述的方法，其中该头部组件包括至少一个机械面部特征，并且该机器人头部组件被构造成控制该至少一个机械面部特征的移动以执行至少一个面部表情。
7.如权利要求5所述的方法，其中该头部组件包括至少一个显示设备，并且该机器人头部组件被构造成控制该显示设备的显示以执行至少一个面部表情。
8.如权利要求5所述的方法，其中该头部组件包括至少一个发光子系统，并且该机器人头部组件被构造成控制该发光显示系统的发光以执行至少一个面部表情。
9.如权利要求5所述的方法，其中该头部组件包括至少一个LED环，并且该机器人头部组件被构造成控制该LED环中的至少一个LED以执行至少一个面部表情。
10.如权利要求1所述的方法，其中针对该第一动作类型的至少一个动作包括通过控制机器人头部组件的音频输出子系统来控制该机器人头部组件至机器人头部组件以特定话音输出音频。
11.如权利要求1所述的方法，其中针对该第一动作类型的至少一个动作包括通过控制机器人头部组件的音频输出子系统来控制该机器人头部组件输出可听语音。
12.如权利要求1所述的方法，其中针对该第一动作类型的至少一个动作包括控制至少第一机动附件以根据至少一个人类交互姿势来执行移动。
13.如权利要求1所述的方法，其中至少一个人类交互姿势包括人类可识别的手部姿势。
14.如权利要求1所述的方法，其中至少一个人类交互姿势包括人类可识别的手臂姿势。
15.如权利要求1所述的方法，其中人机交互系统的自适应行为控制系统通过使用至少一个传感器来检测多个交互参与者包括：检测每个检测到的交互参与者的位置，并生成检测到的交互参与者的检测到的位置的三维世界模型。
16.如权利要求15所述的方法，其中在与先前检测到的交互参与者的交互的发起期间，该自适应行为控制系统被构造成控制电机组件以通过使用包括在该世界模型中的先前检测到的位置来使头部组件朝先前检测到的交互参与者的方向定向。
17.如权利要求16所述的方法，
其中，检测多个交互参与者包括检测每个交互参与者的面部，
其中，该三维世界模型包括检测到的面部的检测到的取向，
其中，在与先前检测到的交互参与者的交互的发起期间，该自适应行为控制系统被构造成控制该电机组件以通过使用包括在该世界模型中的先前检测到的位置和面部取向来使该头部组件朝先前检测到的交互参与者的面部的方向定向。
18.如权利要求15所述的方法，其中在处理先前检测到的交互参与者对所执行的动作的响应期间，该自适应行为控制系统被构造成控制电机组件以通过使用包括在该世界模型中的先前检测到的位置来使头部组件朝先前检测到的交互参与者的方向定向。
19.如权利要求18所述的方法，
其中，检测多个交互参与者包括检测每个交互参与者的面部，
其中，该三维世界模型包括检测到的面部的检测到的取向，
其中，在处理先前检测到的交互参与者对所执行的动作的响应期间，该自适应行为控制系统被构造成控制该电机组件以通过使用包括在该世界模型中的先前检测到的位置和面部取向来使该头部组件朝先前检测到的交互参与者的面部的方向定向。
20.如权利要求1所述的方法，进一步包括：该自适应行为控制系统基于当前治疗目标为至少一个检测到的交互参与者选择计算机行为策略。
21.如权利要求1所述的方法，进一步包括：针对至少一个检测到的交互参与者，该自适应行为控制系统确定在与该参与者交互期间正在使用的当前疗法类型，并基于所确定的当前疗法类型选择计算机行为策略。
22.如权利要求1所述的方法，进一步包括：针对至少一个检测到的参与者，该自适应行为控制系统基于该交互参与者的身份来选择计算机行为策略。
23.如权利要求1所述的方法，进一步包括：针对至少一个检测到的参与者，该自适应行为控制系统确定该参与者的当前交互上下文，并基于所确定的当前交互上下文来选择计算机行为策略。
24.如权利要求1所述的方法，其中该自适应行为控制系统包括针对多个交互参与者中的每一个的多种疗法类型中的每一种的计算机行为策略。
25.一种系统，包括：
身体组件；
头部组件，该头部组件经由电机组件机械地附接到该身体组件；
该电机组件，电机组件被构造成使该头部组件绕竖直轴线和水平轴线旋转；
至少一个第一机动附件，该至少一个第一机动附件被构造成根据至少一个人类交互姿势执行移动；
自适应行为控制系统，该自适应行为控制系统通信地耦合到该电机组件、该头部组件和该附件中的至少一个；
人类反应检测子系统，该人类反应检测子系统通信地耦合到该自适应行为控制系统；以及
交互子系统，该交互子系统通信地耦合到该自适应行为控制系统，
其中，该自适应行为控制系统被构造成：
通过使用至少一个传感器检测多个交互参与者，
为每个检测到的交互参与者存储至少一个计算机行为策略，
控制该交互子系统、该电机组件、该附件、该身体组件和该头部组件中的至少一个以根据为每个检测到的交互参与者选择的计算机行为策略，针对该交互参与者执行第一动作类型的动作，
针对每个检测到的交互参与者，根据从该人类反应检测子系统接收到的数据来检测该交互参与者对该第一动作类型的每个动作的执行的人类反应，
针对每个检测到的人类交互参与者，将指示每个检测到的人类反应的信息与标识相关联动作的信息相关联地存储，以及
针对每个检测到的人类交互参与者，在所存储的指示检测到的针对该第一动作类型的人类反应的信息满足更新条件的情况下，更新该交互参与者的针对该第一动作类型的计算机行为策略。
26.一种方法，包括：
自适应行为控制系统控制交互子系统以根据计算机行为策略执行针对第一动作类型的多个动作，每个动作是针对该动作类型的不同替代动作；
该自适应行为控制系统根据从人类反应检测子系统接收到的数据来检测对该第一动作类型的每个动作的执行的人类反应；
该自适应行为控制系统将指示每个检测到的人类反应的信息与标识相关联动作的信息相关联地存储；以及
在所存储的指示检测到的针对该第一动作类型的人类反应的信息满足更新条件的情况下，该自适应行为控制系统更新针对该第一动作类型的计算机行为策略。
27.如权利要求26所述的方法，
其中，该自适应行为控制系统将指示每个检测到的人类反应的信息与该计算机行为策略相关联地存储，并且
该方法进一步包括：响应于经由该自适应行为控制系统的API(应用程序编程接口)来自外部系统的反应信息请求，该反应信息请求指定了该计算机行为策略，该自适应行为控制系统向该外部系统提供所存储的指示针对该计算机行为策略的每个检测到的人类反应的信息作为对该反应信息请求的响应。
28.如权利要求26所述的方法，
进一步包括：响应于经由该自适应行为控制系统的API(应用程序编程接口)来自外部系统的策略信息请求，该策略信息请求指定了该计算机行为策略，该自适应行为控制系统向该外部系统提供更新的计算机行为策略作为对该策略信息请求的响应。
29.如权利要求26所述的方法，进一步包括：
该自适应行为控制系统通过使用至少一个传感器来检测交互参与者；
该自适应行为控制系统基于检测到的交互参与者的检测的心情来选择计算机行为策略。
30.如权利要求26所述的方法，进一步包括：该自适应行为控制系统基于检测到的位置选择计算机行为策略。
31.如权利要求26所述的方法，进一步包括：
该自适应行为控制系统通过使用至少一个传感器来检测交互参与者；以及
该自适应行为控制系统基于检测到的交互参与者的识别来选择计算机行为策略。
32.如权利要求31所述的方法，其中该至少一个传感器是以下项中的至少一个：热检测子系统的传感器、视频捕获子系统的传感器、音频捕获子系统的传感器、触摸传感器、压电式压力传感器、电容式触摸传感器、电阻式触摸传感器、血压传感器、心率传感器和生物特征传感器。
33.如权利要求31所述的方法，其中该自适应行为控制系统为检测到的交互参与者存储多个计算机行为策略。
CN201980052249.8A 2018-08-07 2019-08-05 使用多模式用户反馈来调整和优化人机交互的系统和方法 Pending CN112566757A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862715665P 2018-08-07 2018-08-07
US62/715,665 2018-08-07
PCT/US2019/045037 WO2020033280A1 (en) 2018-08-07 2019-08-05 Systems and methods to adapt and optimize human-machine interaction using multimodal user-feedback

Publications (1)

Publication Number Publication Date
CN112566757A true CN112566757A (zh) 2021-03-26

Family

ID=69406012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980052249.8A Pending CN112566757A (zh) 2018-08-07 2019-08-05 使用多模式用户反馈来调整和优化人机交互的系统和方法

Country Status (4)

Country Link
US (4) US10969763B2 (zh)
EP (1) EP3834182A4 (zh)
CN (1) CN112566757A (zh)
WO (1) WO2020033280A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11557297B2 (en) 2018-11-09 2023-01-17 Embodied, Inc. Systems and methods for adaptive human-machine interaction and automatic behavioral assessment
US11796810B2 (en) * 2019-07-23 2023-10-24 Microsoft Technology Licensing, Llc Indication of presence awareness
KR20210020312A (ko) * 2019-08-14 2021-02-24 엘지전자 주식회사 로봇 및 그의 제어 방법
EP4143506A4 (en) * 2020-04-27 2024-01-17 Embodied Inc METHOD FOR SEMI-SUPERVISED DATA COLLECTION AND MACHINE LEARNING USING DISTRIBUTED COMPUTING DEVICES
US20210341968A1 (en) * 2020-04-30 2021-11-04 Newpower, Inc. Mount for a computing device
CN114211486B (zh) * 2021-12-13 2024-03-22 中国科学院深圳先进技术研究院 一种机器人的控制方法、机器人及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0653078A1 (de) * 1992-08-01 1995-05-17 Siemens Aktiengesellschaft Verfahren und leittechnisches system zum steuern, überwachen und regeln insbesondere von komplexen industriellen prozessen, wie z.b. in einem kernkraftwerk
US20010019193A1 (en) * 1993-05-28 2001-09-06 Anthony Gumina Interactive games and method of playing
US7442107B1 (en) * 1999-11-02 2008-10-28 Sega Toys Ltd. Electronic toy, control method thereof, and storage medium
US20110295392A1 (en) * 2010-05-27 2011-12-01 Microsoft Corporation Detecting reactions and providing feedback to an interaction
CN102854978A (zh) * 2010-12-22 2013-01-02 微软公司 使用身体作为天线来感测用户输入
US20130078600A1 (en) * 2011-08-29 2013-03-28 Worcester Polytechnic Institute System and method of pervasive developmental disorder interventions
CN105144202A (zh) * 2013-03-04 2015-12-09 微软技术许可有限责任公司 基于人类-机器人交互来调节机器人行为
CN107832748A (zh) * 2017-04-18 2018-03-23 黄海虹 一种共享汽车驾驶人员更换系统及方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4332276B2 (ja) * 2000-02-28 2009-09-16 株式会社センテクリエイションズ 表情変化装置
TWI221574B (en) * 2000-09-13 2004-10-01 Agi Inc Sentiment sensing method, perception generation method and device thereof and software
US7328196B2 (en) * 2003-12-31 2008-02-05 Vanderbilt University Architecture for multiple interacting robot intelligences
EP1392476A2 (en) * 2001-04-06 2004-03-03 Vanderbilt University Architecture for robot intelligence
US8406925B2 (en) * 2009-07-01 2013-03-26 Honda Motor Co., Ltd. Panoramic attention for humanoid robots
US8918209B2 (en) * 2010-05-20 2014-12-23 Irobot Corporation Mobile human interface robot
US9744672B2 (en) * 2011-11-16 2017-08-29 University Of South Florida Systems and methods for communicating robot intentions to human beings
US20170206064A1 (en) * 2013-03-15 2017-07-20 JIBO, Inc. Persistent companion device configuration and deployment platform
EP2933064A1 (en) * 2014-04-17 2015-10-21 Aldebaran Robotics System, method and computer program product for handling humanoid robot interaction with human
EP2933071A1 (en) * 2014-04-17 2015-10-21 Aldebaran Robotics Methods and systems for managing dialogs of a robot
US10366689B2 (en) * 2014-10-29 2019-07-30 Kyocera Corporation Communication robot
JP6467965B2 (ja) * 2015-02-13 2019-02-13 オムロン株式会社 感情推定装置及び感情推定方法
US10884503B2 (en) * 2015-12-07 2021-01-05 Sri International VPA with integrated object recognition and facial expression recognition
JP6772686B2 (ja) * 2016-09-06 2020-10-21 富士通株式会社 接客支援プログラム、接客支援方法、接客支援システムおよび情報処理装置
KR102576135B1 (ko) * 2016-09-13 2023-09-06 매직 립, 인코포레이티드 감각 안경류
US20180133900A1 (en) * 2016-11-15 2018-05-17 JIBO, Inc. Embodied dialog and embodied speech authoring tools for use with an expressive social robot
US20180229372A1 (en) * 2017-02-10 2018-08-16 JIBO, Inc. Maintaining attention and conveying believability via expression and goal-directed behavior with a social robot
WO2018175698A1 (en) * 2017-03-22 2018-09-27 Larsx Continuously learning and optimizing artificial intelligence (ai) adaptive neural network (ann) computer modeling methods and systems
JP6891601B2 (ja) * 2017-03-31 2021-06-18 富士通株式会社 ロボットの制御プログラム、ロボット装置、及びロボットの制御方法
WO2019021058A2 (en) * 2017-07-25 2019-01-31 Mbl Limited SYSTEMS AND METHODS FOR OPERATING A ROBOTIC SYSTEM AND EXECUTING ROBOTIC INTERACTIONS
US20190266617A1 (en) * 2018-02-28 2019-08-29 International Business Machines Corporation Reader reaction learning-based article cataloging management

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0653078A1 (de) * 1992-08-01 1995-05-17 Siemens Aktiengesellschaft Verfahren und leittechnisches system zum steuern, überwachen und regeln insbesondere von komplexen industriellen prozessen, wie z.b. in einem kernkraftwerk
US20010019193A1 (en) * 1993-05-28 2001-09-06 Anthony Gumina Interactive games and method of playing
US7442107B1 (en) * 1999-11-02 2008-10-28 Sega Toys Ltd. Electronic toy, control method thereof, and storage medium
US20110295392A1 (en) * 2010-05-27 2011-12-01 Microsoft Corporation Detecting reactions and providing feedback to an interaction
CN102854978A (zh) * 2010-12-22 2013-01-02 微软公司 使用身体作为天线来感测用户输入
US20130078600A1 (en) * 2011-08-29 2013-03-28 Worcester Polytechnic Institute System and method of pervasive developmental disorder interventions
CN105144202A (zh) * 2013-03-04 2015-12-09 微软技术许可有限责任公司 基于人类-机器人交互来调节机器人行为
CN107832748A (zh) * 2017-04-18 2018-03-23 黄海虹 一种共享汽车驾驶人员更换系统及方法

Also Published As

Publication number Publication date
US20210200182A1 (en) 2021-07-01
US20230324879A1 (en) 2023-10-12
US11709475B2 (en) 2023-07-25
US10969763B2 (en) 2021-04-06
US20200050173A1 (en) 2020-02-13
EP3834182A1 (en) 2021-06-16
EP3834182A4 (en) 2022-05-11
US20230087575A1 (en) 2023-03-23
US11526147B2 (en) 2022-12-13
WO2020033280A1 (en) 2020-02-13

Similar Documents

Publication Publication Date Title
US11526147B2 (en) Systems and methods to adapt and optimize human-machine interaction using multimodal user-feedback
US11854527B2 (en) Electronic device and method of controlling speech recognition by electronic device
CN106463114B (zh) 信息处理设备、控制方法及程序存储单元
US9412361B1 (en) Configuring system operation using image data
US8606735B2 (en) Apparatus and method for predicting user's intention based on multimodal information
US20200086496A1 (en) Emotion recognizer, robot including the same, and server including the same
KR20200073733A (ko) 전자 장치의 기능 실행 방법 및 이를 사용하는 전자 장치
KR20190105403A (ko) 전자 장치, 전자 장치와 결합 가능한 외부 디바이스 및 이의 디스플레이 방법
JP2023027060A (ja) ロボット、ロボットの制御方法及びプログラム
CN109478100A (zh) 信息处理系统、记录介质以及信息处理方法
KR20210044475A (ko) 대명사가 가리키는 객체 판단 방법 및 장치
JP2023055910A (ja) ロボット、対話システム、情報処理方法及びプログラム
JP2020173714A (ja) 対話支援装置、対話支援システム、及び対話支援プログラム
JP7295284B2 (ja) 適応ダイアライゼーションモデルおよびユーザインタフェース
WO2016206647A1 (zh) 用于控制机器装置产生动作的系统
JP6798258B2 (ja) 生成プログラム、生成装置、制御プログラム、制御方法、ロボット装置及び通話システム
US20230215436A1 (en) Systems and methods for adaptive human-machine interaction and automatic behavioral assessment
WO2021174162A1 (en) Multimodal beamforming and attention filtering for multiparty interactions
US11250853B2 (en) Sarcasm-sensitive spoken dialog system
US11997445B2 (en) Systems and methods for live conversation using hearing devices
WO2023017753A1 (ja) 学習装置、学習方法、およびプログラム
KR20200077936A (ko) 사용자 상태에 기초하여 반응을 제공하는 전자 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination