CN106660205A - 用于处理类人机器人与人类交互的系统、方法和计算机程序产品 - Google Patents

用于处理类人机器人与人类交互的系统、方法和计算机程序产品 Download PDF

Info

Publication number
CN106660205A
CN106660205A CN201580020082.9A CN201580020082A CN106660205A CN 106660205 A CN106660205 A CN 106660205A CN 201580020082 A CN201580020082 A CN 201580020082A CN 106660205 A CN106660205 A CN 106660205A
Authority
CN
China
Prior art keywords
excitation
robot
mankind
people
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580020082.9A
Other languages
English (en)
Other versions
CN106660205B (zh
Inventor
M·勒博尔涅
B·迈索尼耶
J·蒙索
T·韦尔特罗普
T·埃尔维耶
G·雅各布
G·加特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aldebaran SAS
Original Assignee
SoftBank Robotics Europe SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SoftBank Robotics Europe SAS filed Critical SoftBank Robotics Europe SAS
Publication of CN106660205A publication Critical patent/CN106660205A/zh
Application granted granted Critical
Publication of CN106660205B publication Critical patent/CN106660205B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)
  • Toys (AREA)

Abstract

公开了一种处理类人机器人与人类的交互的方法。该方法允许系统地存储在类人机器人环境内所检测到的全部事件,以及分类为临时激励。当机器人被设定以分析事件时,过程允许在存储的激励中选择一个优选的激励,并且取决于机器人的当前活动,生成用于机器人的一个或多个动作。

Description

用于处理类人机器人与人类交互的系统、方法和计算机程序 产品
技术领域
本发明总体上涉及机器人编程领域,更具体地涉及用于处理类人机器人与人类的交互的系统、方法和计算机程序产品。
背景技术
虽然机器人在工业领域长期存在并且越来越成为个人服务的一体的部分,类人机器人学仍处于初级阶段,因为要解决许多新的问题来创造集成人类行为而变成陪伴机器人的类人机器人。
大多数已知的类人机器人在与人类交互时表现为非常被动或静态的机器人。它们通常以标准化的反应来回应人类的请求,具有有限的积极主动的决策,因此使得机器人/人类关系对于用户而言不太有吸引力。
构建与人类具有更自然的交互的类人机器人是复杂的任务,提出了许多技术问题,不能与用户与普通一般计算机的交互问题相比。
在这些问题中,错误的人类感觉和/或虚假的人类检测会导致不恰当的或者甚至危险的机器人行为,因此当人类与机器人交互时会带来安全问题。
因此,对于改善类人机器人与人类的交互的系统和方法存在需求。本发明提供了针对该需求的解决方案。
发明内容
因此,本发明的目的是提供允许机器人与人类更协作且表现为具有他/她自己的意识的系统和方法。
为了达到上述目的,提供了如在随附的独立权利要求1、13和14中进一步描述的系统、方法和计算机程序产品。
特别地,一种在处理类人机器人与人类的交互的类人机器人内实现的方法,所述方法包括如下步骤:
-至少利用在类人机器人环境内检测到的事件的位置的指示,将所述事件作为临时激励存储在激励库中;
-判定所述临时激励中的一个临时激励符合人类激励;
-利用相关性规则来选择存储的激励和所述一个人类激励之中的一个激励;
-取决于当前活动以及与所述类人机器人与人类的接洽模式,处理所述选择的激励;以及
-响应于所述处理步骤,生成所述类人机器人的一个或多个动作。
在实施例中,事件是运动检测、触觉感测、声音定位、面部检测、视觉感知、图像识别中的一种或多种。
有益地,临时激励是在至少运动激励组、声音激励组、触摸激励组、人激励组中根据检测到的事件的类型来分组的。
在实施例中,所述激励库还包括存储永久激励的伪激励组。
有益地,所述相关性规则使用激励组与伪激励组之间的优先级标准。
有益地,所述判定步骤包括使用2D照相机和/或3D照相机所提供的信息。
在实施例中,所述类人机器人的当前活动是跟踪人类。
在另一实施例中,所述处理步骤还包括步骤:使用对应于所选择的激励的事件的位置的指示来判定在所述激励的方向周围的区域是否找到新的人类。
有益地,所述一个或多个类人机器人动作包括致动机器人构件来跟踪新的人类。有益地,所述致动之一包括将传感器朝向所检测到的激励的位置定向。
另外有益地,该方法还包括利用关于所找到的新的人类的位置的信息来更新所述激励库的步骤。
有益地,该方法允许甚至在没有感测到激励时也将所述类人机器人保持在视觉上活动状态,从而允许机器人构件的比如呼吸或使用LED或者产生声音的小运动显示出他/她可供用于即将发生的交互。
本发明还提供了用于处理类人机器人与人类的交互的系统。该系统在操作系统的控制下操作并且包括至少一个处理器,以及与处理器耦合的用于实现所述方法的步骤的模块。
本发明还可以被提供作为计算机程序产品,其包括非暂时性计算机可读存储介质,并且程序代码存储在计算机可读存储介质上并且被配置为,在执行时,使得处理器运行所述方法的步骤。
现在将参考附图,通过优选的实现方式和示例的方式来描述本发明的进一步的方面。
附图说明
将通过阅读以下结合附图对本发明的更具体的描述来更佳地理解本发明的上述的以及其它的项、特征和优点,在附图中:
图1示出了用于实现本发明的系统的一般环境;
图2是根据本发明的实施例的示范性的交互系统的框图;
图3是根据本发明的实施例的图2的事件检测模块的详细框图;
图4a至4c是图示出根据各种接洽情形来处理机器人交互的主要步骤的流程图。
具体实施方式
下文通过参考随附的图和附图,以示例的方式来描述本发明的实施例。
首先参考图1,描述了运行本发明的一般的技术环境。机器人130包括传感器(sensor)和执行器(actuator)。逻辑模块或“心理逻辑”100实现在机器人中或者与机器人相关联(例如,远程地)并且包括软件110和硬件组件120的集合。
类人机器人实现本发明的优选的实施例全面描述于申请人于同一天提交的名称为“Humanoid Robot with An Autonomous Life Capability(具有自主生活能力的类人机器人)”的专利申请中,其中心理逻辑实现为称为NAOqiTM OS的操作系统的部分。
机器人130正在(通过双边或双向通信140,包括一个或多个对话会话)与一个或多个用户150进行交互。所述一个或多个用户能够访问其它计算设备160(例如,个人计算机,诸如可佩戴式计算机或智能手机或平板设备),该其它计算设备可以是连接的设备(与服务器云和/或一队其它机器人或连接的对象等通信)。特别地,连接的设备可以是可佩戴式计算机(例如,手表、眼镜、沉浸式头盔等)。
在图中的具体的机器人130被视作仅仅是能够在其中实现本发明的类人机器人的示例。在图中机器人的下肢没有走步功能,但是能够在其底座上沿任意方向移动,底座在其所在的表面上滚动。本发明能够容易地实现在适合走步的机器人中。
在本发明的一些实施例中,机器人可以包括各种类型的传感器。其中一些传感器用于控制机器人的位置和运动。例如,位于机器人的躯干中的惯性单元就是这种情况,包括3轴陀螺仪和3轴加速度计。机器人还可以包括在机器人的前额的两个2D颜色RGB照相机(上和下)。3D传感器还可以包含在机器人的眼睛的后面。机器人还可以可选地包括激光行生成器,例如,在头部以及在底座中,以使得能够感测其相对于其环境中的对象/人类的相对位置。机器人还可以包括能够感测其环境中的声音的麦克风。本发明的机器人还可以包括声纳传感器,可能位于其底座的前面和后面,来测量距其环境中的对象/人类的距离。机器人还可以包括触觉传感器,在其头部上以及其手部上,以允许与人类进行交互。该机器人还可以包括在其底座上来感测其在其路径中所遇到的障碍物的缓冲器。为了转换其情感以及与其环境中的人类进行沟通,本发明的机器人还可以包括LED,例如,在其眼睛、耳部中,或者在其肩部上,以及扬声器(例如,位于其耳部中)。机器人能够通过各种网络(3D、4G/LTE,、Wifi,、BLE,、网格等)与基站通信,与其它连接的设备通信,或者与其它机器人通信。机器人包括电池或能量源。机器人能够访问充电站,适应它所包含的电池的类型。机器人的位置/运动由其电动机利用算法来控制,算法根据传感器的测量来激活由每个肢部以及限定在每个肢部的端部处的效应器所限定的链。
在具体的实施例中,机器人能够嵌入平板设备,利用该平板设备,机器人能够将消息(音频、视频、网页)传送到其环境,或者通过平板设备的触摸接口接收来自用户的输入。在另一实施例中,机器人不嵌入或呈现屏幕,但是其确实具有视频投影仪,利用该视频投影仪,能够将数据或信息投影到机器人附近的表面上。所述表面可以是平坦的(例如,地板)或不是平坦的(例如,投影表面的变形处可被补偿以获得基本上平坦的投影)。在两个实施例中(利用屏幕和/或利用投影仪),本发明的实施例均保持有效:要求保护的交互模型仅由视觉交互模块来补充或补偿。在任意情况下,如果图形模块无序或被有意地去激活,交互的对话模式保留。
在实施例中,机器人不包括这种图形用户接口装置。现有的类人机器人通常被提供有先进的语言能力,但是通常没有提供GUI。日益增加的用户的群体可能不使用图形模块(例如,平板设备,智能手机)甚至作为补充来与机器人通信,通过选择和/或必需(年轻人、功能缺损者,因实际情形,等等)。
图2提供了图示出根据本发明的实施例的交互处理系统200的主要组件的框图。交互处理系统200可以被配置为,响应于处理由事件检测组件202检测到的外部事件,而执行处理类人机器人与人类的交互的操作。将参考图3在下文进一步详述事件检测组件。
交互处理系统200包括存储由事件检测组件202输出的激励的激励库204。交互处理系统200还包括与相关性规则数据库207耦合的激励选择组件206,该相关性规则数据库207定义了用于选择激励以便由激励处理组件210处理的一组规则。
机器人状态组件208与激励处理组件210耦合,用于提供有关机器人状态的附加信息,尤其是关于机器人的接洽情形的。激励处理组件210的输出与机器人行为致动组件212耦合。机器人行为致动组件212允许响应于激励处理组件210而生成类人机器人的行为。机器人位置组件214也是系统200的部分,用于根据人类位移来伺服机器人的位置。
还显示在图2上,交互处理系统200正在操作系统20和至少一个处理器22的控制下操作。在优选的实施例中,操作系统是已经提到的NAOqiTMOS,其中本发明的交互处理系统被实现为称为“Basic Awareness Service(基本意识服务)”的组件,其归于“ExtractorServices(提取器服务)”组件。基本意识组件是基于情形来配置或者通过运行活动来配置或者靠自身作用。
激励库204允许临时存储由事件检测组件202提供的每一个激励,直至激励被验证为来自人类。为易于描述,源自人类的这种激励在后面的说明书中称为“人激励”,而任何其它类型的激励被称为“非人激励”。库中的临时激励根据所检测到的事件的类型按组来组织。因此,库包括用于将从任何运动传感器接收到的全部激励分组的运动激励组、用于将从任何声音传感器接收到的全部激励分组的声音激励组、用于将从任何触传感器接收到的全部激励分组的触摸激励组、以及用于将从人类感知检测器所接收到的全部激励分组的人激励组。
不是由检测器直接提供的、而是在内部生成的激励信号的附加激励也存储在激励库内,作为永久激励,并且下文称为“伪激励”。当由激励选择组件206选择时,伪激励由激励处理组件210来处理。
这样的伪激励的示例是:
–“强-人(Force-People)”伪激励,提供类似人激励的信息,但是在相关性规则中具有较高的优先级;
–“复位-头部(Reset-Head)”伪激励,其用于将机器人头部复位到其缺省位置。该伪激励在相关性规则上具有较低的优先级。
有益地,临时激励可以从激励库中删除。在优选的实现方式中,在激励被处理后,激励库为空的。然而,本领域技术人员将应用不同的标准,而不背离本发明的范围。
激励选择组件206允许从激励库中选择最可能导向检测到人类的激励。相关性规则允许例如基于优先级标准来确定最相关的激励。相关性规则可以由编程者根据类人机器人的使用的上下文来预先定义或更新。
在优选的实施例中,优先级是对于激励组按层级来定义的,更可能与人类相关联的具有较高的优先级,导向激励排序如下:强-人激励有较高的优先级,接着是人激励组,接着是触摸激励组,接着是声音激励组,接着是运动激励组,较低优先级的是复位-头部激励。
然而,相关性规则优选地被定义为用于检测类人机器人的环境中的人类,本领域技术人员将易于设计出任何其它适于另一应用的其它相关性规则。
激励选择组件包括用于比较同一组的激励以及确定组内的较相关的激励的基于相关性规则的软件例程。该判定可以基于激励存储在激励库内的时间,或者可以例如使用关于例如触摸组最后存储在组内的激励。然而,可以实现任何其它判定标准。例如,声音检测生成置信参数,且在声音组内的选择是通过判定较高的置信参数以及选择对应的激励来进行的。另一示例,运动组的判定可以基于判定对应于最大感兴趣区域的运动激励。
机器人状态组件208允许存储关于机器人的当前状态的信息。初始地,机器人处于不活跃状态,没有活动。每当机器人进入活动时,机器人状态组件采集关于当前条件、情形和上下文的数据。在选定的激励被处理时机器人状态的条件触发具体的方案以供激励处理组件210来操作,并且如下文参考图4a至4c所例示的。
行为致动组件212允许控制机器人的物理动作,诸如:
–通过激活机器人的关节或底座的电动机来运动;
–在机器人的环境中跟踪以跟随人类的运动,从而建立且维持与人类的眼睛联系;
–机器人的LED点亮以传达情感;
–生动语言以及语言和姿势的组合。
机器人行为是可以表达机器人的情感且允许其执行复杂动作的运动、词语、灯的组合。
如之前所述,有益地,本发明允许通过调节机器人面向人类讲话者的位置以在对话期间产生更多的兴趣和承担义务(commitment)来更加交互式的且更加生动地渲染类人机器人。另外,本发明允许预留阈值安全距离以及机器人的方位以确保人类的安全。本发明通过确保实时定位以及预留两者之间的置信距离和方向来增加了人类/类人机器人交互的品质且解决了紧密交互的用户与机器人之间的安全性问题。
为实现这些目标,行为致动组件212与机器人位置组件214耦合,用于根据人类位移来伺服(servoing)机器人的位置。有益地,类人机器人不仅能够跟随人类运动,而且能够具有类人姿态和姿势,这激发了人类的兴趣和情感,同时实时地预留了机器人与人类之间的安全距离和方位。
机器人位置组件214实时地计算与机器人交互的人体(包括躯干和肩部行)的位置(x,y)和方位(wz)参数。机器人位置组件使用相对于机器人轴线的原点的2D和3D图像的获取来获得代表与机器人交互的人类的3D定向的“人类blob(二进制大对象)”。类人机器人根据blob的运动来实时动态地调节他/她的位置,确保选定的距离和方位遵守人类预留置信间隔以限制振荡。置信间隔是在其以下机器人不能移动的跟踪运动的幅值的阈值。因此,机器人仅跟随那些在阈值之上的运动。通常,对于机器人的基础运动限定了20cm的阈值,意味着人类必须移动至少20cm来允许机器人也移动。
另外,距离值和/或方位值和/或这些值的置信间隔周期性地更新以强制机器人改变其在空间中相对于人类的位置。值可以随机地或者相对于当前交互的上下文来修正。例如,在对话活动中的同时,通过利用对话的内容的语义分析,可以调节所述值,从而确保与对话上下文相关的自然运动。因此,类人机器人被规则地设定运动,或者是对人类的运动的伺服操作模式,或者是通过改变其相对位置的值的强制模式。
在优选的实现方式中,交互开始时机器人的距离和方位的缺省值的范围是沿着X轴线-65cm+/-10cm,沿着Y轴线0cm+/-10cm,以及0°+/-10°Wz。例如,利用这些值,在交互开始时,类人机器人可以位于人类前方62cm,其身体相对于人类的角度为7°。
在另外的优选实施例中,改变X位置和/或Y位置和/或Wz方位和/或置信间隔的缺省频率可以设定为0.1Hz或者0.2Hz。按缺省,沿着X轴线的距离值的范围可以从-100cm至-40cm,+/-10cm;沿着Y轴线的距离值的范围可以从-45cm至+45cm,+/-10cm;方位值的范围可以从-45°至+45°+/-10°;置信间隔值的范围可以是从0.1cm至30cm的距离,以及从0.1°至30°的方位角。
本领域技术人员将易于根据类人机器人的尺寸来设计出任何其它缺省值。
有益地,通过相对于人类的运动来对机器人的位置进行规律且恒定的调节而实现的类人机器人的伺服操作模式允许甚至在非可预测上下文内也调节机器人运动。
参考图3,现在描述图2的事件检测组件202的详细框图。事件检测组件202包括多个检测器(302、304、306、308、310),允许检测在类人机器人的环境内的外部事件。多个检测器可配备有传感器,诸如照相机、麦克风、触觉传感器和嗅觉传感器,仅列举了几个,以便于接收并感测图像、声音、气味、味道等。传感器读数经预处理以便于提取与机器人的位置有关的相关数据、在其环境内的对象/人类的标识、所述对象/人类的距离、人类所讲的词语或其情感。
人感知检测器302允许利用由3D照相机30和/或2D照相机32提供的信息来检测人类。在操作中,由3D照相机提供的深度图像经处理以提取场景中的不同对象。所得到的对象通过一系列滤波器分析来判定它们是否可以是人类形状。优选地,滤波器基于粗略几何性质,比如宽度和高度或者是头部能够与身体区分开的事实,等等。2D照相机(32)用于利用RGB图像在所提取的对象上运行面部检测。2D和3D照相机的输出被组合(34)在融合模块中并且经处理(36)以判定从深度图像所提取的对象是否是人类形状。在优选的实施例中,卡尔曼滤波器用于处理两个照相机的输出。当对象被有效地检测为是人类时,该对象被添加到有效检测库内,该有效检测库将随时间推移而被跟踪。人感知检测器生成人感知激励以存储在激励数据库204中的人感知激励组内。
声音检测器304允许利用能够感测其环境中的声音的麦克风来检测机器人周围的声音。一旦检测到声音,则采集关于声音的细节,包括例如能级、声音原点的定位,从而提供关于声音定位的精度的置信参数。声音检测器生成声音激励以存储在激励数据库204中的声音激励组内。
触觉检测器306允许利用触觉传感器来检测机器人的表面上的碰撞或触摸。一旦检测到碰撞,则采集碰撞的本质的细节。触觉检测器生成触觉激励以存储在激励数据库204中的触觉激励组内。
运动检测器308允许利用3D照相机来检测机器人周围的运动。一旦检测到运动的对象,则采集细节,包括例如相对于机器人的位置、尺寸等。运动检测器生成运动激励以存储在激励数据库204中的运动激励组内。
事件检测组件202可以包括各种附加的检测器310来感测多种事件,诸如注视方向分析、面部特征(年龄、性别估计、“微笑程度”、头部姿势、面部表情等)。
总之,当检测到事件时,每个检测器可以利用激励所来自的位置的指示来输出“检测器类型”激励,并且对应的激励存储在激励数据库204中的相应的激励组内。事件位置的指示可以是由(x,y,z)坐标所定义的位置或者可以是至少具有角坐标信息的事件的位置的近似方向。
在NAOqiTM OS的优选的实施例中,事件检测组件202是用于接收来自关于图1所描述的类型的机器人传感器的输入读数的“提取器服务”的部分。提取器服务的一些示例是:感知机器人附近的人类的存在的人感知,检测这些人类的运动的运动检测,定位声音的声音定位,解释机器人触觉传感器上的触摸的触摸检测,语音识别,通过机器人附近的人类的词语或姿势来识别其所表达的情感的情感识别。
图4a至4c示出了图示出根据机器人的不同的状态来图示各个交互方案的主要步骤的多个流程图。
如之前所述,最初,机器人处于不活跃状态。当其开始跟踪一个人时,机器人被视为与其开始跟踪的所发现的人——被接洽人——进行“接洽”或者视为处于“接洽情形或接洽模式”。有益地,即使当没有感测到激励时,机器人也维持视觉上活动状态,允许机器人构件的小运动比如呼吸或产生LED动画或声音来表明他/她可供用于即将到来的交互。
机器人可以通过根据激励的处理,或者在当前被接洽人丢失时与某其他人接洽来中断接洽。如果激励处理导向检测到人类,通过处理与强-人伪激励相组合的人激励或非人激励,机器人可以中断他/她的当前接洽。
在本发明的上下文中,定义三种接洽模式:
–“全接洽”模式:当机器人“全接洽”时,它停止收听任何激励事件,直到当前的被接洽人丢失;
–“非接洽”模式:当激励被检测到时,机器人可以中断当前接洽情形;
–“半接洽”模式:机器人仍收听激励,但是不切换到另一人。如果在该半接洽模式中听到激励,则机器人甚至会看到激励,但是将总是使得该激励无效且仍将回到跟踪被接洽人。
图4a至4c示出了根据不同的接洽模式来处理人类/类人机器人交互的主要步骤。在初始化步骤402中,机器人不跟踪人类。过一会,机器人可以处于三种接洽模式之一。图4a被描述的是非接洽模式,从全接洽模式和半接洽模式的一般步骤的变化分别称为‘进行到图4b或4c’。
该过程允许在步骤404中确定激励库的内容。如果库是空的(分支到是(Yes)),过程允许机器人等待在408检测到第一激励以继续该过程,否则如果库不为空(分支到否(No)),则过程允许进入选择库中激励中的最佳激励的步骤406。
取决于直接从库的内容中选出的激励或者从库的内容以及从检测到的新激励所选定的激励的类型,取决于机器人的当前接洽模式开始不同的方案410。
如果人激励被选定410-1,则过程允许确定机器人的当前接洽模式:
–如果是非接洽模式(图4a),意味着机器人可被事件转移且中断其当前活动,过程允许进入观看人的位置的例程412。观看人的位置的例程允许判定机器人是否已经跟踪人。如果为是,则过程允许停止当前跟踪,通过致动头部运动来看到新人的位置并且开始跟踪413所检测到的新人。当机器人进入跟踪模式时,过程随后循环回到步骤404,并且并行地,开始子例程,允许规律地检查415当前跟踪的人类是否仍存在于机器人环境中。如果判定出人类不再在那并且已经消失,则跟踪例程停止并且将复位-头部激励添加到激励库中。
–如果处于全接洽模式(图4b),意味着机器人不能被任何事件转移,过程允许判定510机器人是否已经跟踪人。如果是,则过程返回步骤404,否则过程继续到步骤412,进行观看人的位置的例程。
在执行了例程412之后,过程允许判定机器人是否处于半接洽模式(图4c),意味着机器人可被事件转移,但是可以恢复回到其先前的活动。如果机器人已经在跟踪人520,则在步骤522过程继续,通过触发伪激励强-人(Force-People)来使得机器人跟踪当前的人,并且过程循环回到步骤404。如果机器人还没有跟踪人,则过程继续到步骤413,利用检测到的新人来开始跟踪活动,并且过程继续,如之前步骤415和426中所描述的。
如果非人激励被选定410-2,则过程允许确定机器人的当前接洽模式:
–如果机器人处于非接洽模式(图4a),则过程允许进入例程414,观看激励位置,因而将传感器朝向激励的位置定向。观看激励位置例程允许判定机器人是否已经在跟踪人。如果是,则过程允许停止当前的跟踪。如果为否,则过程允许使用非人激励的事件位置的指示,通过致动头部运动然后来判定在事件位置周围的区域中是否找到人。
–如果机器人处于全接洽模式(图4b),则过程允许判定510机器人是否已经在跟踪人。如果为是,则过程返回步骤404,否则过程继续到步骤414,进行观看激励位置例程。
在例程414执行之后,过程允许判定机器人是否处于半接洽模式(图4c)。如果机器人已经在跟踪人520,则在步骤522过程继续,通过触发伪激励强-人来强制机器人跟踪当前的人,并且过程循环回到步骤404。如果机器人没有在跟踪人,则过程继续到步骤417,进入检查其环境中的人的例程。
如果找到人420,则过程在步骤422继续,触发伪激励强-人以使得机器人跟踪所找到的新人,并且利用新找到的人的数据来在激励库中更新伪激励强-人。然后,过程循环回到步骤404。
如果在步骤420中没有找到人,则在步骤424过程继续,判定机器人是否先前处于跟踪活动。如果为是,则过程在步骤425处继续,触发伪激励强-人以使机器人跟踪先前跟踪的最后一个人。利用最后跟踪的人的数据,将伪激励强-人添加到激励库中。如果机器人先前不处于跟踪活动,则过程继续到步骤426以将复位-头部伪激励存储到激励库中,并且循环回到步骤404。
可替代地,伪激励(410-3,410-4)可以被选择和处理以生成机器人的动作。
当选定了强-人激励410-3时,机器人被强制进入观看人的位置例程412。观看人的位置例程允许判定机器人是否已经在跟踪一个人。如果为是,则过程允许停止当前的跟踪,通过致动头部运动来看到新人的位置并且进入与检测到的新人的新跟踪活动413。如果机器人尚未跟踪一个人,则过程允许机器人沿激励的方向观看并且开始跟踪例程413,如之前所述。
当选定了复位-头部激励410-4时,机器人被强制进入‘尝试复位-头部’例程416,允许机器人等待一定时间,并且过一会,如果头部没有移动并且没有处理激励,则例程允许机器人的头部复位到缺省位置。过程循环回到步骤404。
如所述的,本发明实现了在机器人内的意识跟踪器以允许与人类更密切的交互。
本领域技术人员将意识到,实施例是为了示例说明和描述的目的而呈现的,不旨在穷尽,也不以所公开的形式限制本发明。许多的变型例和修改方案对于本领域普通技术人员而言将是显而易见的。为了最佳地说明本发明的原理、实际的应用,以及使得本领域其它技术人员能够理解本发明的各个实施例,利用适合所构思的特定用途的各个修改方案,选择和描述了所述实施例。
需要理解的是,虽然已经参考优选的实施例具体显示和描述了本发明,可以在其中做出在形式和细节上的各种变化,而不背离本发明的精神和范围。具体地,本领域技术人员可以将本发明非常适合于以及易于应用于允许进行人类交互的任何形式、尺寸的机器人。
本发明可以呈现为能够从计算机可用或计算机可读介质访问的计算机程序产品的形式,计算机可用或计算机可读介质提供了程序代码,以便由计算机或任何指令执行系统使用或者与其相结合来使用。为了本说明书的目的,计算机可用或计算机可读介质可以是任何有形的装置,其能够包含、存储、传达、传播或传送程序,以便由指令执行系统、装置或设备使用或者与其相结合使用。介质可以是电子的、磁的、光的、电磁的、红外的或半导体的系统(或装置或设备)或者传播介质。计算机可读介质的示例包括半导体或固态存储器、磁带、可移除计算机磁盘、、随机存取存储器(RAM)、只读存储器(ROM)、刚性磁盘和光盘。光盘的当前的示例包括压缩盘-只读存储器(CD-ROM)、压缩盘-读/写(CD-R/W)以及DVD。

Claims (14)

1.一种在处理类人机器人与人类的交互的类人机器人内实现的方法,所述方法包括如下步骤:
-将在类人机器人环境内检测到的事件作为临时激励存储在激励库内,所述事件至少利用所述事件的位置的指示来存储;以及根据检测到的事件的类型而被分组在运动激励组、声音激励组、触摸激励组、人激励组中的至少一个内,所述激励库还存储强制所述类人机器人的动作的永久激励;
-判定检测到的事件何时符合人类激励,即,源自人类的激励;
-利用相关性规则,在存储的激励和所述人类激励中选择一个激励;
-通过触发特定的方案软件例程来处理所述选择的激励,所述软件例程取决于所述类人机器人的当前活动以及当前接洽模式,其中,所述接洽模式表示所述类人机器人与人类的跟踪关系,以使得所述机器人能够通过与某其他人接洽与否来中断所述当前接洽;以及
-响应于所述处理步骤,生成所述类人机器人的一个或多个动作。
2.如权利要求1所述的方法,其中,所述事件是运动检测、触觉感测、声音定位、面部检测、视觉感知、图像识别中的一种或多种。
3.如权利要求1或2所述的方法,其中,所述临时激励是根据检测到的所述事件的类型被分组在至少运动激励组、声音激励组、触摸激励组、人激励组中。
4.如任一前述权利要求所述的方法,其中,所述激励库还包括存储永久激励的伪激励组。
5.如权利要求3或4所述的方法,其中,所述相关性规则使用激励组与伪激励组之间的优先级标准。
6.如任一前述权利要求所述的方法,其中,所述判定步骤在于使用2D照相机和/或3D照相机所提供的信息。
7.如任一前述权利要求所述的方法,其中,所述类人机器人的当前活动是跟踪人类。
8.如任一前述权利要求所述的方法,其中,所述处理步骤还包括如下步骤:使用对应于所选择的激励的事件的位置的指示来判定在所述激励的方向周围的区域中是否找到新的人类。
9.如任一前述权利要求所述的方法,其中,所述一个或多个类人机器人动作包括至少致动机器人构件。
10.如权利要求9所述的方法,其中,所述致动中的一个在于将传感器朝向所检测到的激励的位置定向。
11.如任一前述权利要求所述的方法,还包括利用关于所找到的新的人类的位置的信息来更新所述激励库的步骤。
12.如任一前述权利要求所述的方法,还包括如下步骤:通过允许所述机器人构件的像呼吸或使用LED或者产生声音的小运动,即使没有感测到激励,也保持所述类人机器人处于视觉上活动状态。
13.一种用于处理类人机器人与人类的交互的系统,所述系统在操作系统的控制下操作且包括:
-至少一个处理器;以及
-与所述至少一个处理器耦合的用于实现权利要求1至12中的任一项所述的方法的步骤的模块。
14.一种计算机程序产品,包括:
-非暂时性计算机可读存储介质;以及
-程序代码,其存储在所述计算机可读存储介质上并且被配置为,在执行时,使得至少一个处理器运行如权利要求1至12中的任一项所述的方法的步骤。
CN201580020082.9A 2014-04-17 2015-04-17 用于处理类人机器人与人类交互的系统、方法和计算机程序产品 Expired - Fee Related CN106660205B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14305577.0 2014-04-17
EP14305577.0A EP2933064A1 (en) 2014-04-17 2014-04-17 System, method and computer program product for handling humanoid robot interaction with human
PCT/EP2015/058353 WO2015158876A1 (en) 2014-04-17 2015-04-17 System, method and computer program product for handling humanoid robot interaction with human

Publications (2)

Publication Number Publication Date
CN106660205A true CN106660205A (zh) 2017-05-10
CN106660205B CN106660205B (zh) 2019-12-06

Family

ID=50628736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580020082.9A Expired - Fee Related CN106660205B (zh) 2014-04-17 2015-04-17 用于处理类人机器人与人类交互的系统、方法和计算机程序产品

Country Status (13)

Country Link
US (1) US10144135B2 (zh)
EP (1) EP2933064A1 (zh)
JP (1) JP6495331B2 (zh)
KR (1) KR102003588B1 (zh)
CN (1) CN106660205B (zh)
AU (1) AU2015248794C1 (zh)
BR (1) BR112016023925A2 (zh)
CA (1) CA2945896C (zh)
MX (1) MX2016013018A (zh)
NZ (1) NZ724839A (zh)
RU (1) RU2664841C2 (zh)
SG (1) SG11201608199UA (zh)
WO (1) WO2015158876A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021164700A1 (en) * 2020-02-17 2021-08-26 The Hong Kong Polytechnic University Therapeutic robot for facilitating training and therapy for the elderly

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017151517A (ja) * 2016-02-22 2017-08-31 富士ゼロックス株式会社 ロボット制御システム
JP6726388B2 (ja) * 2016-03-16 2020-07-22 富士ゼロックス株式会社 ロボット制御システム
DE112017001573B4 (de) * 2016-03-28 2020-01-30 Groove X, Inc. Autonom agierender Roboter, der eine Begrüssungsaktion durchführt
EP3450118A4 (en) * 2016-04-28 2019-04-10 Fujitsu Limited ROBOT
JP6761598B2 (ja) * 2016-10-24 2020-09-30 富士ゼロックス株式会社 感情推定システム、感情推定モデル生成システム
KR102616403B1 (ko) 2016-12-27 2023-12-21 삼성전자주식회사 전자 장치 및 그의 메시지 전달 방법
US10678338B2 (en) 2017-06-09 2020-06-09 At&T Intellectual Property I, L.P. Determining and evaluating data representing an action to be performed by a robot
WO2018233856A1 (en) * 2017-06-19 2018-12-27 Zhongrui Funing Robotics (Shenyang) Co. Ltd METHOD FOR CONTROLLING ACTIVITIES OF A ROBOT
WO2019087484A1 (ja) * 2017-10-30 2019-05-09 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2020017206A (ja) * 2018-07-27 2020-01-30 ソニー株式会社 情報処理装置、行動決定方法及びプログラム
US10969763B2 (en) * 2018-08-07 2021-04-06 Embodied, Inc. Systems and methods to adapt and optimize human-machine interaction using multimodal user-feedback
JP7374581B2 (ja) * 2018-10-01 2023-11-07 カシオ計算機株式会社 ロボット、画像処理方法及びプログラム
US11557297B2 (en) 2018-11-09 2023-01-17 Embodied, Inc. Systems and methods for adaptive human-machine interaction and automatic behavioral assessment
JP6886130B2 (ja) * 2019-08-12 2021-06-16 学校法人拓殖大学 感性情報を用いたリハビリテーション支援ロボット
KR20190116190A (ko) * 2019-09-23 2019-10-14 엘지전자 주식회사 로봇
CN113084814B (zh) * 2021-04-13 2022-05-10 中国科学院自动化研究所 基于分布位置优化实现肌肉骨骼机器人运动控制的方法
KR20240148582A (ko) 2023-04-04 2024-10-11 주식회사 렌쥴리에듀테인먼트 특정 프로그램으로 다종 인공지능 휴머노이드 로봇을 제어하는 시스템 및 그 운용방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030055532A1 (en) * 2001-08-22 2003-03-20 Yoshiaki Sakagami Autonomous action robot
US20040015265A1 (en) * 2002-03-18 2004-01-22 Yasuharu Asano Robot apparatus and method for controlling the operation thereof
US20040117063A1 (en) * 2001-10-22 2004-06-17 Kohtaro Sabe Robot apparatus and control method thereof
US20040199292A1 (en) * 2003-04-01 2004-10-07 Yoshiaki Sakagami Apparatus, process, and program for controlling movable robot control
US20050197739A1 (en) * 2004-01-16 2005-09-08 Kuniaki Noda Behavior controlling system and behavior controlling method for robot
CN101346713A (zh) * 2005-12-29 2009-01-14 微软公司 在基于工作流的应用程序中对用户输入和交互建模
EP2031517A1 (en) * 2007-08-28 2009-03-04 Toyota Motor Europe NV Methods and systems for data processing and their applications
US20110007174A1 (en) * 2009-05-20 2011-01-13 Fotonation Ireland Limited Identifying Facial Expressions in Acquired Digital Images
CN102609089A (zh) * 2011-01-13 2012-07-25 微软公司 用于机器人和用户交互的多状态模型

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3843740B2 (ja) * 2001-03-09 2006-11-08 独立行政法人科学技術振興機構 ロボット視聴覚システム
US6967455B2 (en) * 2001-03-09 2005-11-22 Japan Science And Technology Agency Robot audiovisual system
JP4239635B2 (ja) * 2003-03-20 2009-03-18 ソニー株式会社 ロボット装置、その動作制御方法、及びプログラム
JP4048492B2 (ja) * 2003-07-03 2008-02-20 ソニー株式会社 音声対話装置及び方法並びにロボット装置
EP2281667B1 (en) * 2005-09-30 2013-04-17 iRobot Corporation Companion robot for personal interaction
US8909370B2 (en) * 2007-05-08 2014-12-09 Massachusetts Institute Of Technology Interactive systems employing robotic companions
JP5751610B2 (ja) * 2010-09-30 2015-07-22 学校法人早稲田大学 会話ロボット
US9044863B2 (en) * 2013-02-06 2015-06-02 Steelcase Inc. Polarized enhanced confidentiality in mobile camera applications
JP6662773B2 (ja) * 2013-08-02 2020-03-11 ソウル マシーンズ リミティド 神経行動学的アニメーションのためのシステム
US9358685B2 (en) * 2014-02-03 2016-06-07 Brain Corporation Apparatus and methods for control of robot actions based on corrective user inputs

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030055532A1 (en) * 2001-08-22 2003-03-20 Yoshiaki Sakagami Autonomous action robot
US20040117063A1 (en) * 2001-10-22 2004-06-17 Kohtaro Sabe Robot apparatus and control method thereof
CN1304177C (zh) * 2001-10-22 2007-03-14 索尼公司 机器人装置及其控制方法
US20040015265A1 (en) * 2002-03-18 2004-01-22 Yasuharu Asano Robot apparatus and method for controlling the operation thereof
US20040199292A1 (en) * 2003-04-01 2004-10-07 Yoshiaki Sakagami Apparatus, process, and program for controlling movable robot control
US20050197739A1 (en) * 2004-01-16 2005-09-08 Kuniaki Noda Behavior controlling system and behavior controlling method for robot
CN101346713A (zh) * 2005-12-29 2009-01-14 微软公司 在基于工作流的应用程序中对用户输入和交互建模
EP2031517A1 (en) * 2007-08-28 2009-03-04 Toyota Motor Europe NV Methods and systems for data processing and their applications
US20110007174A1 (en) * 2009-05-20 2011-01-13 Fotonation Ireland Limited Identifying Facial Expressions in Acquired Digital Images
CN102609089A (zh) * 2011-01-13 2012-07-25 微软公司 用于机器人和用户交互的多状态模型

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021164700A1 (en) * 2020-02-17 2021-08-26 The Hong Kong Polytechnic University Therapeutic robot for facilitating training and therapy for the elderly

Also Published As

Publication number Publication date
AU2015248794C1 (en) 2018-02-15
WO2015158876A1 (en) 2015-10-22
US10144135B2 (en) 2018-12-04
AU2015248794B2 (en) 2017-11-16
CA2945896A1 (en) 2015-10-22
AU2015248794A1 (en) 2016-10-20
RU2664841C2 (ru) 2018-08-23
CA2945896C (en) 2019-01-15
MX2016013018A (es) 2017-05-30
US20170100842A1 (en) 2017-04-13
SG11201608199UA (en) 2016-10-28
RU2016144021A3 (zh) 2018-05-17
BR112016023925A2 (pt) 2017-08-15
EP2933064A1 (en) 2015-10-21
KR102003588B1 (ko) 2019-07-24
NZ724839A (en) 2018-01-26
JP6495331B2 (ja) 2019-04-03
JP2017513724A (ja) 2017-06-01
KR20170029409A (ko) 2017-03-15
CN106660205B (zh) 2019-12-06
RU2016144021A (ru) 2018-05-17

Similar Documents

Publication Publication Date Title
CN106660205A (zh) 用于处理类人机器人与人类交互的系统、方法和计算机程序产品
JP7487265B2 (ja) 外部条件に基づくウェアラブルディスプレイデバイスの自動制御
CN106104423B (zh) 姿势参数调节
EP3523782B1 (en) Periocular test for mixed reality calibration
Hu et al. An overview of assistive devices for blind and visually impaired people
CN105393191B (zh) 自适应事件识别
CN106462233B (zh) 用于显示设备观看者视线吸引的方法和设备
US20200005539A1 (en) Visual flairs for emphasizing gestures in artificial-reality environments
CN112034977A (zh) Mr智能眼镜内容交互、信息输入、应用推荐技术的方法
CN109313911A (zh) 沉浸式显示设备上的自动音频衰减
US20230281988A1 (en) Systems and methods for temporarily disabling user control interfaces during attachment of an electronic device
Veronese et al. Probabilistic Mapping of human Visual attention from head Pose estimation
Wang et al. Research on intelligent methods in virtual reality games
WO2024085997A1 (en) Triggering actions based on detected motions on an artificial reality device
NZ794186A (en) Automatic control of wearable display device based on external conditions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191206

Termination date: 20210417

CF01 Termination of patent right due to non-payment of annual fee