CN102609089A - 用于机器人和用户交互的多状态模型 - Google Patents

用于机器人和用户交互的多状态模型 Download PDF

Info

Publication number
CN102609089A
CN102609089A CN2012100082341A CN201210008234A CN102609089A CN 102609089 A CN102609089 A CN 102609089A CN 2012100082341 A CN2012100082341 A CN 2012100082341A CN 201210008234 A CN201210008234 A CN 201210008234A CN 102609089 A CN102609089 A CN 102609089A
Authority
CN
China
Prior art keywords
robot
user
status
task
participant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100082341A
Other languages
English (en)
Other versions
CN102609089B (zh
Inventor
R·I·桑切斯
M·M·查拉必
K·B·克劳斯科普夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102609089A publication Critical patent/CN102609089A/zh
Application granted granted Critical
Publication of CN102609089B publication Critical patent/CN102609089B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40202—Human robot coexistence

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Fuzzy Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及用于机器人和用户交互的多状态模型。公开主题针对一种包括模型的机器人设备，该模型控制机器人的与任务相关的操作以执行任务并控制用户参与操作以与机器人交互。该模型控制操作状态，包括基于从各种刺激确定的当前上下文(例如通过机器人的传感器接收的信息和/或学习到的数据)从自主任务状态转变到参与状态。机器人可以寻求使用户参与，该用户可以寻求使机器人参与，或者用户和机器人可能偶然相遇，其中任一方都可能尝试发起参与。

Description

用于机器人和用户交互的多状态模型
技术领域
本发明涉及用于机器人和用户交互的多状态模型。
背景技术
被设计为供人类使用的诸如仪器、汽车、计算机、电话、手持式设备等之类的设备依靠用户的一个或多个显式的物理动作来发起交互，主要是触摸或其他基于手的接触。例如，微波炉等待某人按下其小键盘；计算机等待某人移动鼠标或按下按键；移动电话等待某人触摸其屏幕或按钮，等等。这样的设备在被显式地物理操作(直接地、或间接地通过遥控器)时参与用户，并且由用户的物理动作来支配交互。
与之相比，消费者机器人(包括具有传感感知力、计算智能、以及移动性的部件)展示出与人类交互的完全不同的范畴。其一，显式的物理接触通常不是发起机器人参与的最佳方式。相反，例如任一方(人类或机器人)可以发起或解除另一方的参与，包括通过口头或姿势通信。例如，机器人可以搜索、识别、物理接近特定的人以及使特定的人参与以递送消息、询问问题或提供信息。注意，为了参与的直接交互不是必需的，例如用户可能需要来自机器人的帮助并且将其从另一房间召唤来。
与常规电子设备的另一显著差异是，机器人常常不在固定位置等待，而是在某个空间(例如房屋)四周移动，代表用户、所有者、家庭成员、访客或来宾执行任务，或者自主地探索某个空间，记录和报告不寻常的现象或者甚至自我“娱乐”。机器人与人类之间仅仅接近不一定对应于参与，因为双方(机器人和人类)都可能在任何时间忙于独立的任务。例如，二者可以在走廊经过彼此，其中每个都专注于单独的不相关的任务。即使二者都有空参与，参与也是不需要的。然而，当偶然经过(例如在走廊)时，一方可能希望对另一方作出请求。
另外，当人和机器人参与时，任一方可以出于各种原因基于情况上下文解除参与。例如，机器人可能请求从事之前所排定(scheduled)的任务的许可，或者人可能被单独的谈话打断。
发明内容
提供本发明内容以便以简化形式介绍将在以下的具体实施方式中进一步描述的一些代表性概念。本发明内容不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在以限制所要求保护的主题的范围的任何方式来使用。
简言之，在此所述的主题的各方面针对一种使机器人包括交互模型的技术，所述交互模型包括多个状态(例如参与(engaged)、用户引导、自身引导、休息)，所述交互模型控制机器人的与任务相关的操作、以及与机器人交互的用户参与操作。该模型控制机器人设备相对于操作状态的操作，包括从机器人执行任务的自主任务状态转变到机器人与用户交互的参与状态，并且反之亦然。该模型基于包括通过机器人的传感器接收到的信息在内的当前上下文来确定何时转变。机器人可以寻求使用户参与，该用户可以寻求使机器人参与，或者用户和机器人可能偶然相遇，其中任一方都可能尝试发起参与。
在一方面，通过该模型，机器人在自主任务状态下操作，该自主任务状态包括：用户引导模式，其中机器人基于用户输入执行用户任务；以及自身引导模式，其中机器人执行不基于用户输入的任务。机器人还可以处于休息状态，其中机器人可以在与任务相关的触发事件以后或者在检测到用户参与的需要以后离开该休息状态。优先级排序使机器人处于参与状态，该参与状态高于自主状态(用户引导模式)，该自主状态又高于自主状态(自身引导模式)，该自主状态又高于休息状态。
在另一方面，机器人进入参与状态，并且在其中基于多个刺激中的哪个刺激导致了到参与状态的转变来不同地操作。示例性刺激包括远程代理通信、音频数据(例如对应于机器人名称的语音)、或者检测到对应于用户的运动。
机器人可以通过向用户移动或输出针对用户的听觉和/或可视通信数据来发起参与。可以基于用户之前的参与历史来调整参与用户的尝试，例如通过等待直到达到针对参与尝试的由频率确定的时间来不过于频繁地尝试参与。
结合附图阅读以下具体实施方式，本发明的其他优点会变得显而易见。
附图说明
作为示例而非限制，在附图中示出了本发明，附图中相同的附图标记指示相同或相似的元素，附图中：
图1是表示机器人设备的示例性实施例的框图，其中机器人设备的计算智能系统包括确定机器人设备的操作状态的模型。
图2是示例性机器人设备的输入模态、输出模态和操作状态的表示。
图3是表示机器人设备的状态和这些状态间转变的状态图。
图4是表示其中可实现此处所描述各种实施例的一个或多个方面的示例性非限制计算系统或操作环境的框图。
具体实施方式
在此所述的技术的各方面通常针对包括人(或“用户”)和机器人交互模型的机器人设备，所述模型包括多个状态(例如参与、用户引导、自身引导、休息)，所述模型以促进自然、合适、有帮助和令人愉快的交互的方式控制机器人的交互行为。在一方面，该模型支配非参与与参与状态之间的转变、机器人或人类进行发起的方法、以及上下文感知力的使用和管理这些转变的传感能力。该模型可以定义其他机器人行为，比如机器人如何使用传感感知力来仲裁其参与可用性。
应当理解，此处的任何示例均是非限制性的。例如，各种模型等等在此都是作为示例来使用的，但是可以使用所例示的模型以外的模型。因此，本发明不限于在此描述的任何具体的实施例、方面、概念、结构、功能或示例。相反，此处所描述的任何实施例、方面、概念、结构、功能或示例都是非限制性的，并且本发明一般能够以在机器人技术方面提供好处和优点的各种方式来使用。
图1是表示机器人设备102的示例性实施方式的框图，该机器人设备102被配置为通过移动性(驱动)机构104用于移动性。计算智能系统106通过合适的指令来驱动移动性机构104。这向机器人设备102提供了移动性，使得计算智能系统106能够基于来自计算智能系统106的指令被运输。
一般而言，机器人102包括传感器组108，该传感器组108包括一个或多个传感器，所述传感器向计算智能系统106提供一个或多个信号以指示当前状态数据等等，比如环境数据、一天中的时间、星期几、当前位置、剩余的电池电量、所识别的附近的人等等。该状态数据、与诸如机器人的时间表、历史数据(例如经调整的和所学习到的知识)等之类的所维护的其他数据一起包括了当前的上下文。
传感器组108可以包括任何机械、电气、光学和/或磁传感器，并且每个都可以定位在机器人102上的合适位置处以用于传感，例如被安装在高处以获得特定的视角。传感器组108可以包括一个或多个相机，所述相机能够被计算智能系统106用来检测特定人的物理存在注视方向、手姿势等等。机器人102还包括设备电池109(或者其他合适的便携式电源)。
计算智能系统106包括处理器110、存储器112和接口114。如下面所述那样，接口114可以被配置为供机器人102通过各种类型的输入和输出进行通信。如下面还将描述的那样，计算智能系统106包括用户(人类)交互模型120。
图2示出了用于与机器人通信的一些示例性机构，包括一个或多个机器人输入机构220和机器人输出机构222。如图2中所表示的那样，机器人可以包括遥控接收机224，其比如用于尤其是从诸如另一房间之类的远程位置接收遥控代理用户命令。注意，一种类型的遥控输入被称为“悬吊(pendant)”输入，因为用户可能在遥控器的一个实施例中佩戴有该遥控器。机器人也可以从任何有线(如果物理上耦合的话)或者无线源接收遥控命令，例如用户可以通过因特网连接、通过个人计算机等等与机器人通信。
另一类型的输入是由机器人通过语音识别器225来处理的语音。诸如由摄像机或深度传感器所捕捉的图像输入是其他类型的输入，并且可以如图2中所表示的那样由图像识别器(框226)利用面部识别技术、位置检测、注视检测、眼睛跟踪、姿势检测/识别技术、骨架跟踪等等加以处理。注意，一图像/所捕捉的图像序列仅仅是示例，并且不必是例如红外、运动、深度传感器等全部都能捕捉并由合适相机或类似传感器来检测的常规图像或视频。
在图2中还表示了通过框227所检测到的图像和语音输入。这是指语音与姿势组合，这可以组合成不同的含义(例如所讲出的单词“移动”伴随着合适的手姿势可以用于指示机器人移动以及向哪个方向移动，比如向左或向右)。可以将其他类型的输入相组合，例如用户在与机器人交谈时看着机器人可以与在该用户将目光从机器人上移开(例如用户甚至可能根本未与机器人交谈)的情况下不同地来解释。
可以接收由合适传感器感测到的其他类型的输入，例如触摸、气味、温度、湿度、用户生物数据等等。框228表示任何这样的其他输入机构和/或传感器。
机器人能够通过包括图2所描述的输出机构222中的一些或全部在内的各个输出机构222中的一个或多个、包括通过下列项目来输出信息：身体运动、姿态/注视231、视觉表达232(例如动画化的动作，比如眨“眼睛”)、音频233和显示234(比如可通过诸如屏幕或投影仪之类的显示设备来呈递的图形用户界面、图像等等)。诸如震动或气味之类的其他输出通过框235来表示。机器人可以在处于任何状态下使用其输出机构222中的一个或多个来指示其心情、总体状态、任务状态等等。
注意，所描述的输出结构222通常针对与人类用户的通信。然而，其他类型的输出可以针对电子设备，比如另一机器人、计算机、电话、仪器等等。这些设备例如可以通过有线或无线无线电信号或音频采样来通信。另外，机器人可以与其他机器人、以及诸如宠物、无生命物体(例如游戏控制台)等之类的其他实体进行交互。因此，人类以及这样的其他实体在此被称为“用户”(但是“人类”在此与“用户”可互换地使用，因为人类是最典型的用户)。
图2还示出了机器人可以在任何时候处于的一些示例性操作状态240-244，包括参与状态242，其中在参与状态242下，输入和输出机构220和222被用于机器人-用户交互。尽管下面描述了所表示出的状态240-244，但是应当理解，一个或多个其他状态是可行的，并且状态可以相组合(例如在另一实施方式中，机器人可以运行用户引导的任务的某部分，而在其他情况下处于休息状态)。下面的表概述了示例性状态：
  状态   描述   优先级
  参与   用户活动地与机器人交互   1
  用户引导的   活动地工作以完成用户分配的任务   2
  自身引导的   自主的活动、探索、运行自身选择的任务   3
  休息   减少的活动或无活动   4
如下面所述的那样，机器人具有上表所示的优先级顺序清楚的状态。较高优先级状态可以中断较低优先级状态，并且参与(转变为参与状态)可以中断任何自身引导或用户引导的任务。
图3是机器人的自主操作模式360(对应于图2的用户引导或自身引导的状态243和244)到应用交互模式362(对应于图2的参与状态242)之间的转变的表示。一般而言并且如图3中所表示的那样，机器人在检测到与用户的参与(框364)以后从自主模式360转变为应用交互模式362(参与状态)，并且在检测到解除参与(框366)以后从应用交互模式362转变回自主模式360。注意，图2中的诸如离开/不可用状态240和休息状态241之类的其他状态在下面参照这些其他状态予以描述，例如机器人可以诸如基于一天中的时间或其他触发事件从休息状态241进入自主模式360而不参与人类。
从这些转变中可以看出，需要区分用户相对于机器人的参与状态和解除参与状态。能够理解，情况上下文通常在作出区分方面是相关的。
为此目的，在此描述了动态的多状态用户-机器人交互模型120(图1)，其包括未结构化的环境内的参与/解除参与模型，所述模型基于诸如用户偏好、状态数据、位置、礼仪、社会规范等等的上下文因素。该模型支配参与与非参与状态之间的转变、由机器人或用户任一对参与和解除参与的发起、以及上下文感知力的使用和管理这些转变的传感能力。该模型定义机器人如何使用传感感知力来仲裁其参与可用性。
更具体而言，任一方(用户或机器人)需要能够根据情况上下文以多种方式(通常为非接触方法)合适地发起另一方的参与或解除参与。这可以包括诸如下列因素：一天中的时间、位置、用户的身份、以及在该时刻所预期的每一方的需求。机器人可以基于诸如典型集合时间和地点之类的所观察/学习到的家庭模式来优化其可用性。
如上面参照图2所述，为了促进参与，机器人具有多个状态(例如参与、用户引导、自身引导、休息)，这些状态定义了每个状态中的交互范畴以及状态间的转变。当机器人参与用户时，用户等待、接收或响应输入。参与可以基于上下文线索被维持。例如，用户和机器人的接近度、用户与机器人之间的注视/目光接触、语音的定位、和/或继续的交互可以控制彼此相对的参与和解除参与。注意，如果用户使用语音、运动或面部检测来参与机器人，则用户和机器人定位在彼此的交互范围内(该交互范围对于音频而言通常比针对运动/面部检测的范围更大)。如果用户使用遥控器(代理)设备参与机器人，则用户和机器人可以定位在彼此的发射/接收范围内的任何地方。
应当注意，下面的示例针对如下场景：在该场景中，每当涉及用户的判决点到来、例如覆盖(override)所排定的任务时，用户负责看管机器人。注意在一些场景中，不同的用户可以与机器人交互以及引导(命令)机器人。这些用户可以是对等用户，使得任何冲突都由模型120来解决，例如最后的命令获胜；或者可以存在用户的分层结构，例如用户B不能覆盖用户A的任务组，但是用户B可以简单地参与机器人以排定任务或者找出状态信息，比如机器人将在何时对用户B的任务组可用。另一类型的用户可以是未经授权/未经认证的用户，比如未经识别的人，其中机器人将不接受来自这些用户的命令(直到例如经授权的用户告诉机器人不同情况)。这可以取决于应用，例如在巡逻任务中，机器人可以仅被允许与最高级别的一个或多个用户通信。另外，这些示例对应于该模型的一个实施方式；该模型的替代实施方式可以具有支配机器人行为的其他规则等等，并且例示的模型的一些方面可以是用户可根据用户偏好进行配置的(例如覆盖某规则)。
作为一个示例性规则，模型120规定：在参与时，机器人不能在没有用户同意机器人进入自身引导状态244的情况下进入自身引导状态244，并且仅能因来自用户的显式命令而进入休息状态241。即使在诸如低电池电量情况之类的极端情况下，在参与期间，机器人仍然请求(或以其他方式用信号通知)用户让其去再充电。
在用户引导状态234中，机器人已经解除参与(框366)并且进入自主操作模式以代表用户执行任务，这在图3中予以表示。该状态是响应于来自用户的显式命令通过参与状态而进入的，或者被设置为在特定时间发生的显式任务使得进入该状态。机器人可以承担的在参与状态下未被显式地获得的(无论是直接地还是通过用户指定的时间表或其他标准)的其他任务被认为是在自身引导状态244下运行。
当处于用户引导状态243下时，机器人可以在被请求的情况下参与用户，但是将不进入任何自身引导的任务，直到用户引导的任务组已经完成。结果，通常发生在给定时间的自身引导的任务(比如探索以改善机器人的度量地图)等待直到用户引导的任务(或任务组)完成。
一旦用户引导的任务组完成，则机器人就转变到其自身引导状态244。注意，被排定为由用户运行的诸如巡逻之类的任务作为用户引导的任务来运行。用户引导的即刻任务优先于所排定的任务。
如果在用户引导状态243下时用户使机器人参与，则机器人输出指示其正忙于某任务的信息(例如对话)。该对话迫使用户要么解散该对话(由此取消参与请求)并允许机器人继续其任务，要么取消(或暂停)用户引导的当前任务或应用，使得用户可以继续参与。
在自身引导状态下，机器人完全自主地行动。在这种状态下，机器人执行机器人决定进行的任务，例如改善/更新其内部房屋地图、在基于所学习到的历史预期到用户需要时对其电池充电，等等。在自身引导状态244下，如果用户请求交互，则机器人将停止其当前任务。
在休息状态241下，机器人等待参与请求，并且不移动(除非可能促进参与请求，例如偶尔旋转以寻找用户)。机器人可以在休息状态下再充电或未再充电。一般而言，机器人例如通过语音、遥控器信号、视频输入等等来“监听”通信，同时节能和避免其零件磨损。尽管在休息状态241下没有用户的任何新交互，机器人仍然能够转变到自身引导状态244并且可以通过用户排定的任务转变到用户引导状态243。
转到参与和吸引，参与的类型可以确定机器人的行为。例如，用户可以使用遥控器(代理)设备来参与机器人，该机器人可以通过话筒和/或扬声器来中继音频(例如语音)，通过相机和/或显示设备来中继视觉信息，等等。机器人由此可以接收和响应语音，并且可以建议命令并显示关键词快捷方式对话。机器人可以在不活动时长时间段以后停止这样的远程参与。
在仅限于关键词的参与中，即使机器人在当时未参与或提议(offer)参与，机器人仍然已将其名称(例如通过语音识别)识别为关键词。在仅限于关键词的参与中，机器人可以显示关键词快捷方式对话并且响应关键词快捷方式。机器人还可以扫描以找出所定位的面部。注意，一般而言为了扫描以找出面部，机器人可以通过以有效覆盖其全角度视野的模式在其全运动范围内旋转和倾斜其头，然而，机器人可以反之扫描以找出定位的面部，其中机器人例如使用声音来源定位以有效覆盖以声音(语音)来源的方向为中心的一定范围的视野的模式在有限的运动范围内旋转和倾斜其头。机器人保持仅限于关键词的参与，直到被解散或者达到不活动超时(例如30秒)。
关于机器人名称识别，机器人可以对识别出其名称具有不同的反应，所述反应取决于当前上下文，例如在可用于参与时、在提议参与时、以及在参与时。例如，在可用时，机器人可以暂停，将其头转向声音来源，并且扫描以找出定位的面部。如果未检测到面部，则机器人进入语音参与，并且显示关键词快捷方式对话，并且机器人将识别事件看成是“随后听到语音”步骤，并且进行吸引操作，例如向声音来源移动、暂停并扫描以找出面部、在超时时间以前未检测到面部的情况下返回到上一任务。如果检测到面部或者如果机器人提议参与，则机器人进行下面所述的“附近”参与提议和接受操作。
在机器人识别出其名称的情况下提议参与时，机器人移动到参与模式。如果机器人在参与模式下识别出其名称，无论应用状态如何，都显示上下文合适的关键词快捷方式对话。
在某种类型的被称为附近参与的参与中，机器人和用户处于交互范围(例如可见范围)中，并且用户已经接受了机器人对参与的提议(或者可能反之亦然)。机器人保持为附近参与，直到被解散或者达到不活动超时。注意，机器人可以同时为远程代理设备参与的和通过与用户的接近度的附近参与的。可能有多个用户被检测到，在这种情况下，当前附近用户被确定为是其面部被检测到在交互范围内与深度相机最接近的用户(任选地识别面部和/或任选地进行认证)。机器人创建交互平面、跟踪和识别来自当前用户的姿势输入。
当机器人和用户为附近参与时，机器人例如可以检测和跟踪用户的手，并且响应姿势输入。如果用户的面部被识别，则机器人可以显示菜单，显示用户的表示(例如用户的化身)等等。如果用户的面部未被识别，则机器人可以显示“未知”表示，并且在整个参与期间继续尝试面部识别。
关于发起参与，当机器人处于休息状态时，机器人混杂地(promiscuously)寻求参与，但是寻求的程度和类型可以取决于其电池电量水平。在自身引导的状态下，机器人可以频繁和定期地(可能插入某些随机性)暂停并混杂地寻求参与。在用户引导状态下，机器人不寻求参与，但是将在用户例如使用语音、面部检测或远程代理设备直接请求该机器人的情况下参与。
转到附加的细节，在附近参与中，机器人被声音和运动吸引，并且执行面部检测以尝试识别所检测到的面部。机器人可以提议参与，并且用户可以故意地接受该参与提议。该提议可以是冗余的，并且因此在用户已经弄清楚期望参与的情况下是不需要的，然而出于下面解释的目的，机器人需要提议参与，并且用户需要故意接受该提议，使得机器人不(令人烦恼地)参与其检测到的每个面部并且不停止参与。
参与接受的示例包括注视，其中用户直接地(例如在15度以内)注视机器人的相机一定时长、例如两秒钟。如果用户鸟瞰或从侧面查看机器人，则不认为参与被接受。机器人可以在处于其中用户查看机器人的用户聚焦的注意力状态下时相对于处于环境注意力状态下不同地操作。另一示例是，用户讲出(并且机器人识别)机器人的名称。还可以检测姿势并将其用于参与接受，例如用户将手向前伸出穿过“空气接触”平面，或者用户作出另一特定姿势，比如在用户的下颚与机器人之间来回挥手。
运行在机器人上的一些应用可以主动地发起任何用户或特定用户的参与。在这种情况下，该应用可以混杂地寻找人并扫描以找出面部。当检测到面部时，应用可以作出参与提议。
参与过程可能导致不期望的行为，比如令用户烦恼。为了减轻参与问题，机器人可以采用或作出其他确定。例如，如果机器人检测到来自非人(该来源不具有头形状)的连续语音和/或RGB运动，则机器人将来源的位置标记为“媒体播放器”并且忽略该位置处的语音、运动和面部。机器人可以回退(back off)参与，例如如果机器人在某位置作出频繁的参与提议但没有提议被接受，则机器人暂时地减小其在该位置处或对特定用户的提议频率。机器人可以考虑诸如要递送的消息的紧迫性之类的因素来调整该频率。机器人可以检测另一人，并且反而尝试参与该人。机器人可以调整以及有时依次走向各用户，并且反之亦然。
转到另一方面，当机器人失去用户的面部时，则认定：用户已经离开了机器人的查看区域(画面)并且将在用户期望继续参与的情况下立刻返回。然而，用户可能不经意地离开了该画面，但是仍然想要交互。注意，机器人在参与时具有跟踪行为，并且由此这仅仅在用户走到交互范围以外或者移动过快以至于机器人不能跟踪时才发生。因此，在认为用户已经离开以前使用一时长(例如三秒)，例如将相机留在相同位置以帮助用户返回，然后机器人返回到其标准预参与状态。类似的情况是用户已经从机器人走开并且不再想要交互，在这种情况下，机器人例如在几秒以后恢复其任务。
例如，如果机器人失去对用户的面部的视图，则机器人使相机角度复位以使得能够容易地找到大多数用户。然后，机器人在切换到参与状态以外之前等待达到其不活动超时。
自主参与行为所基于的是，机器人需要是有帮助和交互式的，并且可以通过寻找和接近用户来部分地实现。当机器人处于自身引导状态或休息状态时，机器人观察其环境，寻找人，例如机器人可以旋转其相关传感器以优化检测。当机器人检测到人时，机器人提议参与，如果人处于参与范围以外，则机器人可以向用户导航，并且然后在其处于参与范围内时提议参与。
示例性计算设备
如上所述，有利地，本文所描述的技术可应用于任何设备。因此，应当理解，构想了结合各实施例使用的所有种类的手持式、便携式和其它计算设备和计算对象。例如，下面在图4中所述的通用远程计算机仅仅是可以形成机器人设备的许多硬件和底层软件平台的一个示例。
各实施例可部分地经由操作系统来实现，以供设备或对象的服务开发者使用和/或被包括在用于执行此处所述的各实施例的一个或多个功能方面的应用软件内。软件可以在由诸如客户机工作站、服务器或其它设备等一个或多个计算机执行的诸如程序模块等计算机可执行指令的通用上下文中描述。本领域的技术人员可以理解，计算机系统具有可用于传递数据的各种配置和协议，并且由此没有特定配置或协议应当被认为是限制性的。
图4由此示出了其中可实现本文所述的各实施例的一个或多个方面的合适的计算系统环境400的一个示例，尽管如上所述，计算系统环境400仅为合适的计算环境的一个示例，并非对使用范围或功能提出任何限制。此外，也不应当将计算系统环境400解释为对在示例性计算系统环境400中所示的组件中的任何一个或其组合有任何依赖。
参考图4，用于实现一个或多个实施例的示例性远程设备包括计算机410形式的通用计算设备。计算机410的组件可包括，但不限于，处理单元420、系统存储器430、以及将包括系统存储器的各种系统组件耦合到处理单元422的系统总线420。
计算机410通常包括各种计算机可读介质，并且可以是可由计算机410访问的任何可用介质。系统存储器430可包括诸如只读存储器(ROM)和/或随机存取存储器(RAM)之类的易失性和/或非易失性存储器形式的计算机存储介质。作为示例而非限制，系统存储器430还可包括操作系统、应用程序、其他程序模块、以及程序数据。
用户可通过输入设备440向计算机410输入命令和信息。监视器或其他类型的显示设备也经由诸如输出接口450之类的接口连接到系统总线422。除监视器以外，计算机还可包括诸如扬声器和打印机之类的其他外围输出设备，它们可通过输出接口450连接。
计算机410可使用到一个或多个其他远程计算机(诸如远程计算机470)的逻辑连接在联网或分布式环境中操作。远程计算机470可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见网络节点、或者任何其他远程媒体消费或传输设备，并且可包括以上关于计算机410所述的任何或全部元件。图4所示的逻辑连接包括诸如局域网(LAN)或广域网(WAN)之类的网络472，但也可包括其他网络/总线。这些联网环境在家庭、办公室、企业范围的计算机网络、内联网和因特网中是常见的。
如上所述，尽管结合各种计算设备和网络体系结构描述了各示例性实施例，但基本概念可被应用于其中期望改进资源使用的效率的任何网络系统和任何计算设备或系统。
而且，存在实现相同或相似功能的多种方法，例如适当的API、工具箱、驱动程序代码、操作系统、控件、独立或可下载软件对象等，它们使得应用和服务能够使用此处提供的技术。由此，此处的各实施例从API(或其他软件对象)的观点以及从实现如此处描述的一个或多个实施例的软件或硬件对象构想。由此，此处所述的各实施例可具有完全采用硬件、部分采用硬件并且部分采用软件、以及采用软件的方面。
本文中所使用的词语“示例性”意味着用作示例、实例、或说明。为避免疑惑，本文所公开的主题不限于这些示例。另外，在此所述的被描述为“示例性”的任意方面或设计并不一定要被解释为相比其它方面或设计更优选或有利。此外，在使用术语“包括”、“具有”、“包含”和其他类似词语的程度上，为避免疑惑，这些术语旨在当用于权利要求中时以类似于术语“包括”作为开放的过渡词的方式是包含性的而不排除任何附加或其他元素。
如所述的，此处所述的各种技术可结合硬件或软件或，在适当时，以两者的组合来实现。如此处所使用的，术语“组件”、“模块”、“系统”等同样旨在指计算机相关实体，或者是硬件、硬件和软件的组合、软件或者是执行中的软件。例如，组件可以是，但不限于是，在处理器上运行的进程、处理器、对象、可执行码、执行的线程、程序和/或计算机。作为说明，在计算机上运行的应用和计算机都可以是组件。一个或多个组件可以驻留在进程和/或执行线程中，并且组件可以位于一个计算机内和/或分布在两个或多个计算机之间。
如前所述的系统已经参考若干组件之间的交互来描述。可以理解，这些系统和组件可包括组件或指定的子组件、某些指定的组件或子组件和/或附加的组件，并且根据上述内容的各种置换和组合。子组件还可作为通信地耦合到其他组件的组件来实现，而不是被包括在父组件内(层次性)。另外，应注意到一个或多个组件可被组合成提供聚集功能的单个组件，或被分成若干单独的子组件，且诸如管理层等任何一个或多个中间层可被设置成通信耦合到这样的子组件以便提供集成功能。此处所述的任何组件也可与一个或多个此处未专门描述的但本领域技术人员一般已知的其他组件进行交互。
鉴于本文所述的示例性系统，可根据参考各附图的流程图还可理解根据所述的主题来实现方法。尽管为了说明简洁起见，作为一系列框示出和描述的方法，但是应当理解，各实施例不仅仅限于框的次序，因为一些框可以与此处所描绘和描述的框不同的次序发生和/或与其他框并发地发生。尽管经由流程图示出了非顺序或分支的流程，但可以理解，可实现达到相同或类似结果的各种其他分支、流程路径和框的次序。此外，某些示出的框在实现下文所述的方法中是可选的。
结语
尽管本发明易于作出各种修改和替换构造，但其某些说明性实施例在附图中示出并在上面被详细地描述。然而应当了解，这不旨在将本发明限于所公开的具体形式，而是相反地，旨在覆盖落入本发明的精神和范围之内的所有修改、替换构造和等效方案。
除此处所述的各实施例以外，应当理解，可使用其他类似实施例，或者可对所述实施例作出修改和添加以便执行对应实施例的相同或等效功能而不背离这些实施例。此外，多个处理芯片或多个设备可共享此处所述的一个或多个功能的性能，并且类似地，存储可跨多个设备实现。因此，本发明不应限于任何单个实施例，而是应当根据所附权利要求书的广度、精神和范围来解释。

Claims (10)

1.一种在计算环境中的机器人设备，包括：
传感器组(108)，所述传感器组(108)将信息输入到所述机器人设备中；
输出机构(222)，所述输出机构(222)包括用于与用户通信的一个或多个输出模态；以及
模型(120)，所述模型(120)被配置为控制所述机器人设备相对于操作状态的操作，所述状态包括：自主任务状态(360)，其中所述机器人执行与直接用户输入无关的任务；以及参与状态(364)，其中所述机器人通过所述传感器组和所述输出机构与用户交互，所述模型被配置为基于包括通过所述传感器组接收的信息在内的当前上下文来确定何时从自主任务状态转变到参与状态以及从参与状态转变到自主任务状态。
2.如权利要求1所述的机器人设备，其特征在于，自主任务状态包括：用户引导模式，其中所述机器人基于用户输入执行包括一个或多个用户任务的任务组；以及自身引导模式，其中所述机器人执行不基于用户输入的一个或多个任务。
3.如权利要求2所述的机器人设备，其特征在于，还包括休息状态，并且其中所述模型根据优先级排序来控制所述机器人设备的操作，在所述优先级排序中，参与状态具有比自主任务状态中的用户引导模式更高的优先级，用户引导模式具有比自主任务状态中的自身引导模式更高的优先级，并且自主任务状态中的自身引导模式具有比休息状态更高的优先级。
4.如权利要求1所述的机器人设备，其特征在于，当所述机器人发起用户的参与尝试并且该尝试成功时，所述模型将所述机器人从自主任务状态转变到参与状态。
5.如权利要求1所述的机器人设备，其特征在于，当所述机器人检测到偶然相遇的用户并且所述机器人还检测到该用户可能对与所述机器人交互感兴趣时，所述模型将所述机器人从自主任务状态转变到参与状态。
6.如权利要求1所述的机器人设备，其特征在于，当用户在所述机器人执行任务时发起机器人的参与尝试时，所述模型将所述机器人从自主任务状态转变到参与状态，并且在参与状态下，所述机器人与用户通信以确定是恢复该任务还是保持在参与状态。
7.一种在计算环境中至少部分地在至少一个处理器上执行的方法，包括：在机器人(102)中运行一个或多个程序，所述程序致使所述机器人自主地操作，包括在自主任务状态(360)下执行任务组；检测用户；尝试参与所述用户；以及如果该参与尝试成功，则进入参与状态(364)以与所述用户交互。
8.如权利要求7所述的方法，其特征在于，还包括：进入参与状态；与所述用户交互；以及基于当前状态数据的改变从参与状态解除参与。
9.一个或多个具有计算机可执行指令的计算机可读介质，所述计算机可执行指令在被执行时执行以下步骤，包括：
在机器人(102)中运行一个或多个程序，所述程序致使所述机器人自主地操作，包括在自主任务状态的自身引导模式下操作，在所述自身引导模式下，所述机器人独立地执行任务；
在自主任务状态(360)的用户引导模式下操作，在所述用户引导模式下，所述机器人基于来自用户的之前输入以及对触发事件的检测来执行用户任务；
完成所述用户任务；以及
在用户引导模式的另一实例中操作，在所述另一实例中，所述机器人执行另一用户任务，包括：从自主任务状态转变到参与状态(364)；在参与状态下接收对应于所述另一用户任务的信息；以及转变到自主任务状态以执行所述另一用户任务。
10.如权利要求9所述的一个或多个计算机可读介质，其特征在于，具有另外的计算机可执行指令，所述指令包括：感测输入数据以确定当前上下文，并且其中所述触发事件基于对应于当前上下文的信息。
CN201210008234.1A 2011-01-13 2012-01-12 用于机器人和用户交互的多状态模型 Active CN102609089B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/005,839 US8818556B2 (en) 2011-01-13 2011-01-13 Multi-state model for robot and user interaction
US13/005,839 2011-01-13

Publications (2)

Publication Number Publication Date
CN102609089A true CN102609089A (zh) 2012-07-25
CN102609089B CN102609089B (zh) 2015-12-16

Family

ID=46491380

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210008234.1A Active CN102609089B (zh) 2011-01-13 2012-01-12 用于机器人和用户交互的多状态模型

Country Status (7)

Country Link
US (1) US8818556B2 (zh)
EP (2) EP2663429A4 (zh)
JP (1) JP5905488B2 (zh)
KR (1) KR101984320B1 (zh)
CN (1) CN102609089B (zh)
HK (1) HK1171830A1 (zh)
WO (1) WO2012097109A2 (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104854821A (zh) * 2012-12-14 2015-08-19 三星电子株式会社 用户终端设备、网络设备及其控制方法
CN105446491A (zh) * 2015-12-16 2016-03-30 北京光年无限科技有限公司 一种基于智能机器人的交互方法和装置
CN106325113A (zh) * 2015-06-26 2017-01-11 北京贝虎机器人技术有限公司 机器人控制引擎及系统
CN106325142A (zh) * 2015-06-30 2017-01-11 芋头科技（杭州）有限公司 一种机器人系统及其控制方法
CN106660205A (zh) * 2014-04-17 2017-05-10 软银机器人欧洲公司 用于处理类人机器人与人类交互的系统、方法和计算机程序产品
CN107813306A (zh) * 2016-09-12 2018-03-20 深圳光启合众科技有限公司 机器人及其动作控制方法和装置
CN109108961A (zh) * 2017-06-23 2019-01-01 卡西欧计算机株式会社 机器人、机器人的控制方法以及存储介质
CN109144046A (zh) * 2017-06-09 2019-01-04 本田技研工业株式会社 服务提供系统、数据库和服务提供装置
CN109278051A (zh) * 2018-08-09 2019-01-29 北京光年无限科技有限公司 基于智能机器人的交互方法及系统
CN109416541A (zh) * 2016-06-14 2019-03-01 Groove X 株式会社 寻求凉爽的行为自主型机器人
CN109613913A (zh) * 2012-09-24 2019-04-12 罗巴特公司 自主移动机器人工作方法、自主移动机器人及系统
WO2019100738A1 (zh) * 2017-11-24 2019-05-31 科大讯飞股份有限公司 多人参与的人机交互方法及装置
CN109949721A (zh) * 2019-02-01 2019-06-28 腾讯科技（深圳）有限公司 一种全息影像显示装置以及全息影像的显示控制方法
CN110286771A (zh) * 2019-06-28 2019-09-27 北京金山安全软件有限公司 交互方法、装置、智能机器人、电子设备及存储介质
CN110653815A (zh) * 2018-06-29 2020-01-07 深圳市优必选科技有限公司 一种机器人控制方法、机器人及计算机存储介质
CN111152232A (zh) * 2018-11-08 2020-05-15 现代自动车株式会社 服务机器人以及用于操作该服务机器人的方法
CN112428270A (zh) * 2014-09-02 2021-03-02 约翰霍普金斯大学 用于灵活的人机协作的系统和方法
CN112512763A (zh) * 2018-08-08 2021-03-16 索尼公司 控制装置、控制方法和程序
CN112513762A (zh) * 2018-08-20 2021-03-16 宝马股份公司 可扩展的远程操作自主机器人
CN113771014A (zh) * 2021-10-09 2021-12-10 北京中海兴达建设有限公司 一种用于建筑施工的scara智能化机械臂控制方法和系统

Families Citing this family (156)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6309447B2 (ja) * 2011-05-31 2018-04-11 インテュイティブ サージカル オペレーションズ， インコーポレイテッド ロボットによる手術用器具のエンドエフェクタの積極的な制御
WO2012172721A1 (ja) * 2011-06-14 2012-12-20 パナソニック株式会社 ロボット装置、ロボット制御方法、及びロボット制御プログラム
KR20130021943A (ko) * 2011-08-24 2013-03-06 한국전자통신연구원 디지털 마인드 서비스 장치 및 방법
US9656392B2 (en) * 2011-09-20 2017-05-23 Disney Enterprises, Inc. System for controlling robotic characters to enhance photographic results
US9314307B2 (en) 2011-10-21 2016-04-19 Intuitive Surgical Operations, Inc. Grip force control for robotic surgical instrument end effector
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US9753453B2 (en) 2012-07-09 2017-09-05 Deep Learning Robotics Ltd. Natural machine interface system
AU2013204965B2 (en) * 2012-11-12 2016-07-28 C2 Systems Limited A system, method, computer program and data signal for the registration, monitoring and control of machines and devices
US8868238B1 (en) 2013-01-10 2014-10-21 The United States Of America As Represented By The Secretary Of The Army Apparatus and method for systematic control of robotic deployment and extraction
US9625884B1 (en) 2013-06-10 2017-04-18 Timothy Harris Ousley Apparatus for extending control and methods thereof
US9211644B1 (en) 2013-10-25 2015-12-15 Vecna Technologies, Inc. System and method for instructing a device
US9846843B2 (en) * 2013-10-30 2017-12-19 Georgia Tech Research Corporation Methods and systems for facilitating interactions between a robot and user
CN104881108B (zh) * 2014-02-27 2018-08-31 青岛海尔机器人有限公司 一种智能人机交互方法及装置
EP2933066A1 (en) * 2014-04-17 2015-10-21 Aldebaran Robotics Activity monitoring of a robot
EP2933070A1 (en) * 2014-04-17 2015-10-21 Aldebaran Robotics Methods and systems of handling a dialog with a robot
US11504192B2 (en) 2014-10-30 2022-11-22 Cilag Gmbh International Method of hub communication with surgical instrument systems
US10046457B2 (en) 2014-10-31 2018-08-14 General Electric Company System and method for the creation and utilization of multi-agent dynamic situational awareness models
JP6551507B2 (ja) * 2015-02-17 2019-07-31 日本電気株式会社 ロボット制御装置、ロボット、ロボット制御方法およびプログラム
WO2016142794A1 (en) 2015-03-06 2016-09-15 Wal-Mart Stores, Inc Item monitoring system and method
US9534906B2 (en) 2015-03-06 2017-01-03 Wal-Mart Stores, Inc. Shopping space mapping systems, devices and methods
US20180099846A1 (en) 2015-03-06 2018-04-12 Wal-Mart Stores, Inc. Method and apparatus for transporting a plurality of stacked motorized transport units
JP6726388B2 (ja) * 2016-03-16 2020-07-22 富士ゼロックス株式会社 ロボット制御システム
CN105843118B (zh) * 2016-03-25 2018-07-27 北京光年无限科技有限公司 一种机器人交互方法及机器人系统
CA2961938A1 (en) 2016-04-01 2017-10-01 Wal-Mart Stores, Inc. Systems and methods for moving pallets via unmanned motorized unit-guided forklifts
US10019566B1 (en) 2016-04-14 2018-07-10 X Development Llc Authorizing robot use and/or adapting physical control parameters for a robot
US10265844B2 (en) * 2017-03-24 2019-04-23 International Business Machines Corporation Creating assembly plans based on triggering events
US11250844B2 (en) * 2017-04-12 2022-02-15 Soundhound, Inc. Managing agent engagement in a man-machine dialog
US10427306B1 (en) * 2017-07-06 2019-10-01 X Development Llc Multimodal object identification
JP7075168B2 (ja) * 2017-07-18 2022-05-25 パナソニックホールディングス株式会社 装置、方法、プログラム、及びロボット
US11220008B2 (en) * 2017-07-18 2022-01-11 Panasonic Intellectual Property Management Co., Ltd. Apparatus, method, non-transitory computer-readable recording medium storing program, and robot
JP6393377B1 (ja) * 2017-07-24 2018-09-19 ユニティガードシステム株式会社 ロボット、情報提供方法及び情報提供システム
KR102000110B1 (ko) * 2017-08-21 2019-07-15 한국기계연구원 혼합현실을 이용한 자율기계시스템 및 자율기계시스템 제어방법
US11209907B2 (en) 2017-09-18 2021-12-28 Samsung Electronics Co., Ltd. Method for dynamic interaction and electronic device thereof
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11229436B2 (en) 2017-10-30 2022-01-25 Cilag Gmbh International Surgical system comprising a surgical tool and a surgical hub
US11564756B2 (en) 2017-10-30 2023-01-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11317919B2 (en) 2017-10-30 2022-05-03 Cilag Gmbh International Clip applier comprising a clip crimping system
US11510741B2 (en) 2017-10-30 2022-11-29 Cilag Gmbh International Method for producing a surgical instrument comprising a smart electrical system
US11026687B2 (en) 2017-10-30 2021-06-08 Cilag Gmbh International Clip applier comprising clip advancing systems
US11291510B2 (en) 2017-10-30 2022-04-05 Cilag Gmbh International Method of hub communication with surgical instrument systems
US10980560B2 (en) 2017-10-30 2021-04-20 Ethicon Llc Surgical instrument systems comprising feedback mechanisms
US11311342B2 (en) 2017-10-30 2022-04-26 Cilag Gmbh International Method for communicating with surgical instrument systems
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11160605B2 (en) 2017-12-28 2021-11-02 Cilag Gmbh International Surgical evacuation sensing and motor control
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11056244B2 (en) 2017-12-28 2021-07-06 Cilag Gmbh International Automated data scaling, alignment, and organizing based on predefined parameters within surgical networks
US11672605B2 (en) 2017-12-28 2023-06-13 Cilag Gmbh International Sterile field interactive control displays
US10943454B2 (en) 2017-12-28 2021-03-09 Ethicon Llc Detection and escalation of security responses of surgical instruments to increasing severity threats
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11969216B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
US11266468B2 (en) 2017-12-28 2022-03-08 Cilag Gmbh International Cooperative utilization of data derived from secondary sources by intelligent surgical hubs
US11273001B2 (en) 2017-12-28 2022-03-15 Cilag Gmbh International Surgical hub and modular device response adjustment based on situational awareness
US11364075B2 (en) 2017-12-28 2022-06-21 Cilag Gmbh International Radio frequency energy device for delivering combined electrical signals
US11069012B2 (en) 2017-12-28 2021-07-20 Cilag Gmbh International Interactive surgical systems with condition handling of devices and data capabilities
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US11419630B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Surgical system distributed processing
US10987178B2 (en) 2017-12-28 2021-04-27 Ethicon Llc Surgical hub control arrangements
US11571234B2 (en) 2017-12-28 2023-02-07 Cilag Gmbh International Temperature control of ultrasonic end effector and control system therefor
US11844579B2 (en) 2017-12-28 2023-12-19 Cilag Gmbh International Adjustments based on airborne particle properties
US11376002B2 (en) 2017-12-28 2022-07-05 Cilag Gmbh International Surgical instrument cartridge sensor assemblies
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US10755813B2 (en) 2017-12-28 2020-08-25 Ethicon Llc Communication of smoke evacuation system parameters to hub or cloud in smoke evacuation module for interactive surgical platform
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11903601B2 (en) 2017-12-28 2024-02-20 Cilag Gmbh International Surgical instrument comprising a plurality of drive systems
US11311306B2 (en) 2017-12-28 2022-04-26 Cilag Gmbh International Surgical systems for detecting end effector tissue distribution irregularities
US20190201118A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Display arrangements for robot-assisted surgical platforms
US11234756B2 (en) 2017-12-28 2022-02-01 Cilag Gmbh International Powered surgical tool with predefined adjustable control algorithm for controlling end effector parameter
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11076921B2 (en) 2017-12-28 2021-08-03 Cilag Gmbh International Adaptive control program updates for surgical hubs
US10966791B2 (en) 2017-12-28 2021-04-06 Ethicon Llc Cloud-based medical analytics for medical facility segmented individualization of instrument function
US11464535B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Detection of end effector emersion in liquid
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11324557B2 (en) 2017-12-28 2022-05-10 Cilag Gmbh International Surgical instrument with a sensing array
US10695081B2 (en) 2017-12-28 2020-06-30 Ethicon Llc Controlling a surgical instrument according to sensed closure parameters
US11045591B2 (en) 2017-12-28 2021-06-29 Cilag Gmbh International Dual in-series large and small droplet filters
US11013563B2 (en) 2017-12-28 2021-05-25 Ethicon Llc Drive arrangements for robot-assisted surgical platforms
US11410259B2 (en) 2017-12-28 2022-08-09 Cilag Gmbh International Adaptive control program updates for surgical devices
US11308075B2 (en) * 2017-12-28 2022-04-19 Cilag Gmbh International Surgical network, instrument, and cloud responses based on validation of received dataset and authentication of its source and integrity
US11304699B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11419667B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Ultrasonic energy device which varies pressure applied by clamp arm to provide threshold control pressure at a cut progression location
US11771487B2 (en) 2017-12-28 2023-10-03 Cilag Gmbh International Mechanisms for controlling different electromechanical systems of an electrosurgical instrument
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US11100631B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Use of laser light and red-green-blue coloration to determine properties of back scattered light
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US11446052B2 (en) 2017-12-28 2022-09-20 Cilag Gmbh International Variation of radio frequency and ultrasonic power level in cooperation with varying clamp arm pressure to achieve predefined heat flux or power applied to tissue
US11432885B2 (en) 2017-12-28 2022-09-06 Cilag Gmbh International Sensing arrangements for robot-assisted surgical platforms
US11147607B2 (en) 2017-12-28 2021-10-19 Cilag Gmbh International Bipolar combination device that automatically adjusts pressure based on energy modality
US11602393B2 (en) 2017-12-28 2023-03-14 Cilag Gmbh International Surgical evacuation sensing and generator control
US11423007B2 (en) * 2017-12-28 2022-08-23 Cilag Gmbh International Adjustment of device control programs based on stratified contextual data in addition to the data
US11304763B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Image capturing of the areas outside the abdomen to improve placement and control of a surgical device in use
US10892995B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US11540855B2 (en) 2017-12-28 2023-01-03 Cilag Gmbh International Controlling activation of an ultrasonic surgical instrument according to the presence of tissue
US11291495B2 (en) 2017-12-28 2022-04-05 Cilag Gmbh International Interruption of energy due to inadvertent capacitive coupling
US10932872B2 (en) 2017-12-28 2021-03-02 Ethicon Llc Cloud-based medical analytics for linking of local usage trends with the resource acquisition behaviors of larger data set
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US11696760B2 (en) 2017-12-28 2023-07-11 Cilag Gmbh International Safety systems for smart powered surgical stapling
US11096693B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Adjustment of staple height of at least one row of staples based on the sensed tissue thickness or force in closing
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11529187B2 (en) 2017-12-28 2022-12-20 Cilag Gmbh International Surgical evacuation sensor arrangements
US11253315B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Increasing radio frequency to create pad-less monopolar loop
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11576677B2 (en) 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US10849697B2 (en) 2017-12-28 2020-12-01 Ethicon Llc Cloud interface for coupled surgical devices
US11832840B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical instrument having a flexible circuit
US11051876B2 (en) 2017-12-28 2021-07-06 Cilag Gmbh International Surgical evacuation flow paths
US11633237B2 (en) 2017-12-28 2023-04-25 Cilag Gmbh International Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
US11179175B2 (en) 2017-12-28 2021-11-23 Cilag Gmbh International Controlling an ultrasonic surgical instrument according to tissue location
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US11278281B2 (en) 2017-12-28 2022-03-22 Cilag Gmbh International Interactive surgical system
US11304745B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical evacuation sensing and display
US11464559B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Estimating state of ultrasonic end effector and control system therefor
US11179208B2 (en) 2017-12-28 2021-11-23 Cilag Gmbh International Cloud-based medical analytics for security and authentication trends and reactive measures
US11786245B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Surgical systems with prioritized data transmission capabilities
US11559308B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method for smart energy device infrastructure
US11284936B2 (en) 2017-12-28 2022-03-29 Cilag Gmbh International Surgical instrument having a flexible electrode
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control
US11666331B2 (en) 2017-12-28 2023-06-06 Cilag Gmbh International Systems for detecting proximity of surgical end effector to cancerous tissue
US11257589B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes
US11304720B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Activation of energy devices
US10892899B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Self describing data packets generated at an issuing instrument
US10944728B2 (en) 2017-12-28 2021-03-09 Ethicon Llc Interactive surgical systems with encrypted communication capabilities
US11317937B2 (en) 2018-03-08 2022-05-03 Cilag Gmbh International Determining the state of an ultrasonic end effector
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11424027B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Method for operating surgical instrument systems
US11337746B2 (en) 2018-03-08 2022-05-24 Cilag Gmbh International Smart blade and power pulsing
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
US11399858B2 (en) 2018-03-08 2022-08-02 Cilag Gmbh International Application of smart blade technology
US11471156B2 (en) 2018-03-28 2022-10-18 Cilag Gmbh International Surgical stapling devices with improved rotary driven closure systems
US11219453B2 (en) 2018-03-28 2022-01-11 Cilag Gmbh International Surgical stapling devices with cartridge compatible closure and firing lockout arrangements
US11096688B2 (en) 2018-03-28 2021-08-24 Cilag Gmbh International Rotary driven firing members with different anvil and channel engagement features
US11207067B2 (en) 2018-03-28 2021-12-28 Cilag Gmbh International Surgical stapling device with separate rotary driven closure and firing systems and firing member that engages both jaws while firing
US11558482B2 (en) * 2018-03-28 2023-01-17 Sony Corporation Information processing apparatus, information processing system, and information processing method
US11589865B2 (en) 2018-03-28 2023-02-28 Cilag Gmbh International Methods for controlling a powered surgical stapler that has separate rotary closure and firing systems
US11278280B2 (en) 2018-03-28 2022-03-22 Cilag Gmbh International Surgical instrument comprising a jaw closure lockout
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
US11166716B2 (en) 2018-03-28 2021-11-09 Cilag Gmbh International Stapling instrument comprising a deactivatable lockout
US10973520B2 (en) 2018-03-28 2021-04-13 Ethicon Llc Surgical staple cartridge with firing member driven camming assembly that has an onboard tissue cutting feature
US10678228B2 (en) * 2018-04-04 2020-06-09 Invia Robotics, Inc. Autonomous robots performing concerted operation based on shared sensory access and holistic flow of information
CN108551355A (zh) * 2018-04-23 2018-09-18 王宏伟 一种安防巡逻用机器人
JP7374581B2 (ja) * 2018-10-01 2023-11-07 カシオ計算機株式会社 ロボット、画像処理方法及びプログラム
KR102228866B1 (ko) * 2018-10-18 2021-03-17 엘지전자 주식회사 로봇 및 그의 제어 방법
US11317915B2 (en) 2019-02-19 2022-05-03 Cilag Gmbh International Universal cartridge based key feature that unlocks multiple lockout arrangements in different surgical staplers
US11298130B2 (en) 2019-02-19 2022-04-12 Cilag Gmbh International Staple cartridge retainer with frangible authentication key
US11751872B2 (en) 2019-02-19 2023-09-12 Cilag Gmbh International Insertable deactivator element for surgical stapler lockouts
US11357503B2 (en) 2019-02-19 2022-06-14 Cilag Gmbh International Staple cartridge retainers with frangible retention features and methods of using same
US11369377B2 (en) 2019-02-19 2022-06-28 Cilag Gmbh International Surgical stapling assembly with cartridge based retainer configured to unlock a firing lockout
JP7273566B2 (ja) 2019-03-19 2023-05-15 パナソニックホールディングス株式会社 ロボット、ロボットの制御方法及びプログラム
USD950728S1 (en) 2019-06-25 2022-05-03 Cilag Gmbh International Surgical staple cartridge
USD964564S1 (en) 2019-06-25 2022-09-20 Cilag Gmbh International Surgical staple cartridge retainer with a closure system authentication key
USD952144S1 (en) 2019-06-25 2022-05-17 Cilag Gmbh International Surgical staple cartridge retainer with firing system authentication key
KR102292052B1 (ko) * 2020-02-21 2021-08-20 네이버 주식회사 로봇의 위치 정보와 모바일 단말의 센싱 정보를 수집하는 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6556892B2 (en) * 2000-04-03 2003-04-29 Sony Corporation Control device and control method for robot
US20040095389A1 (en) * 2002-11-15 2004-05-20 Sidner Candace L. System and method for managing engagements between human users and interactive embodied agents
CN101631651A (zh) * 2007-01-12 2010-01-20 汉斯乔格·巴尔特斯 用于产生机器人的方法和系统
US20100153317A1 (en) * 2008-12-11 2010-06-17 Samsung Electronics Co., Ltd Intelligent robot and control method thereof

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001300148A (ja) * 2000-04-18 2001-10-30 Casio Comput Co Ltd アクション応答システムおよびそのプログラム記録媒体
KR20020044499A (ko) 2000-12-06 2002-06-15 윤종용 로봇 제어시스템 및 그 제어방법
JP4143305B2 (ja) * 2001-01-30 2008-09-03 日本電気株式会社 ロボット装置、照合環境判定方法、及び照合環境判定プログラム
JP2003205483A (ja) * 2001-11-07 2003-07-22 Sony Corp ロボットシステム及びロボット装置の制御方法
JP3714268B2 (ja) * 2002-03-18 2005-11-09 ソニー株式会社 ロボット装置
JP2003305677A (ja) * 2002-04-11 2003-10-28 Sony Corp ロボット装置およびロボット制御方法、記録媒体、並びにプログラム
WO2004052598A1 (ja) 2002-12-12 2004-06-24 Matsushita Electric Industrial Co., Ltd. ロボット制御装置
JP4147960B2 (ja) * 2003-02-05 2008-09-10 ソニー株式会社 ロボット装置、及びロボット装置の動作制御方法
JP2004283958A (ja) * 2003-03-20 2004-10-14 Sony Corp ロボット装置、その行動制御方法及びプログラム
US8292433B2 (en) 2003-03-21 2012-10-23 Queen's University At Kingston Method and apparatus for communication between humans and devices
JP2007044825A (ja) * 2005-08-10 2007-02-22 Toshiba Corp 行動管理装置、行動管理方法および行動管理プログラム
ATE524784T1 (de) * 2005-09-30 2011-09-15 Irobot Corp Begleitroboter für persönliche interaktion
JP4764377B2 (ja) * 2007-05-09 2011-08-31 本田技研工業株式会社 移動型ロボット
KR20100081587A (ko) * 2009-01-06 2010-07-15 삼성전자주식회사 로봇의 소리 인식 장치 및 그 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6556892B2 (en) * 2000-04-03 2003-04-29 Sony Corporation Control device and control method for robot
US20040095389A1 (en) * 2002-11-15 2004-05-20 Sidner Candace L. System and method for managing engagements between human users and interactive embodied agents
CN101631651A (zh) * 2007-01-12 2010-01-20 汉斯乔格·巴尔特斯 用于产生机器人的方法和系统
US20100153317A1 (en) * 2008-12-11 2010-06-17 Samsung Electronics Co., Ltd Intelligent robot and control method thereof

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109613913A (zh) * 2012-09-24 2019-04-12 罗巴特公司 自主移动机器人工作方法、自主移动机器人及系统
CN104854821B (zh) * 2012-12-14 2018-10-12 三星电子株式会社 用户终端设备、网络设备及其控制方法
CN104854821A (zh) * 2012-12-14 2015-08-19 三星电子株式会社 用户终端设备、网络设备及其控制方法
CN106660205A (zh) * 2014-04-17 2017-05-10 软银机器人欧洲公司 用于处理类人机器人与人类交互的系统、方法和计算机程序产品
CN106660205B (zh) * 2014-04-17 2019-12-06 软银机器人欧洲公司 用于处理类人机器人与人类交互的系统、方法和计算机程序产品
CN112428270A (zh) * 2014-09-02 2021-03-02 约翰霍普金斯大学 用于灵活的人机协作的系统和方法
CN106325113B (zh) * 2015-06-26 2019-03-19 北京贝虎机器人技术有限公司 机器人控制引擎及系统
CN106325113A (zh) * 2015-06-26 2017-01-11 北京贝虎机器人技术有限公司 机器人控制引擎及系统
CN106325142A (zh) * 2015-06-30 2017-01-11 芋头科技（杭州）有限公司 一种机器人系统及其控制方法
CN105446491B (zh) * 2015-12-16 2018-09-18 北京光年无限科技有限公司 一种基于智能机器人的交互方法和装置
CN105446491A (zh) * 2015-12-16 2016-03-30 北京光年无限科技有限公司 一种基于智能机器人的交互方法和装置
CN109416541A (zh) * 2016-06-14 2019-03-01 Groove X 株式会社 寻求凉爽的行为自主型机器人
CN107813306B (zh) * 2016-09-12 2021-10-26 徐州网递智能科技有限公司 机器人及其动作控制方法和装置
CN107813306A (zh) * 2016-09-12 2018-03-20 深圳光启合众科技有限公司 机器人及其动作控制方法和装置
CN109144046A (zh) * 2017-06-09 2019-01-04 本田技研工业株式会社 服务提供系统、数据库和服务提供装置
CN109108961A (zh) * 2017-06-23 2019-01-01 卡西欧计算机株式会社 机器人、机器人的控制方法以及存储介质
US11000952B2 (en) 2017-06-23 2021-05-11 Casio Computer Co., Ltd. More endearing robot, method of controlling the same, and non-transitory recording medium
WO2019100738A1 (zh) * 2017-11-24 2019-05-31 科大讯飞股份有限公司 多人参与的人机交互方法及装置
CN110653815A (zh) * 2018-06-29 2020-01-07 深圳市优必选科技有限公司 一种机器人控制方法、机器人及计算机存储介质
CN112512763A (zh) * 2018-08-08 2021-03-16 索尼公司 控制装置、控制方法和程序
CN109278051A (zh) * 2018-08-09 2019-01-29 北京光年无限科技有限公司 基于智能机器人的交互方法及系统
CN112513762A (zh) * 2018-08-20 2021-03-16 宝马股份公司 可扩展的远程操作自主机器人
CN112513762B (zh) * 2018-08-20 2024-04-16 宝马股份公司 可扩展的远程操作自主机器人
CN111152232A (zh) * 2018-11-08 2020-05-15 现代自动车株式会社 服务机器人以及用于操作该服务机器人的方法
CN109949721A (zh) * 2019-02-01 2019-06-28 腾讯科技（深圳）有限公司 一种全息影像显示装置以及全息影像的显示控制方法
CN110286771A (zh) * 2019-06-28 2019-09-27 北京金山安全软件有限公司 交互方法、装置、智能机器人、电子设备及存储介质
CN113771014A (zh) * 2021-10-09 2021-12-10 北京中海兴达建设有限公司 一种用于建筑施工的scara智能化机械臂控制方法和系统
CN113771014B (zh) * 2021-10-09 2022-03-18 北京中海兴达建设有限公司 一种用于建筑施工的scara智能化机械臂控制方法和系统

Also Published As

Publication number Publication date
EP2663429A4 (en) 2017-12-27
HK1171830A1 (zh) 2013-04-05
EP3722054A1 (en) 2020-10-14
US8818556B2 (en) 2014-08-26
KR20140037802A (ko) 2014-03-27
KR101984320B1 (ko) 2019-05-30
WO2012097109A2 (en) 2012-07-19
US20120185090A1 (en) 2012-07-19
JP2014502566A (ja) 2014-02-03
JP5905488B2 (ja) 2016-04-20
CN102609089B (zh) 2015-12-16
WO2012097109A3 (en) 2012-10-26
EP2663429A2 (en) 2013-11-20

Similar Documents

Publication Publication Date Title
CN102609089B (zh) 用于机器人和用户交互的多状态模型
CN106794579B (zh) 具有自主生活能力的人形机器人
Gross et al. Progress in developing a socially assistive mobile home robot companion for the elderly with mild cognitive impairment
US8209179B2 (en) Speech communication system and method, and robot apparatus
Gross et al. Further progress towards a home robot companion for people with mild cognitive impairment
US10970527B2 (en) Robot attention detection
US20120268580A1 (en) Portable computing device with intelligent robotic functions and method for operating the same
KR20160034243A (ko) 지속적인 동반 디바이스를 제공하기 위한 장치 및 방법들
Hough et al. It's not what you do, it's how you do it: Grounding uncertainty for a simple robot
KR102353486B1 (ko) 이동 단말기 및 그 제어 방법
CN113199472B (zh) 机器人控制方法、装置、存储介质、电子设备和机器人
Michalowski et al. Socially distributed perception: Grace plays social tag at aaai 2005
William Evans et al. The future of human robot teams in the army: Factors affecting a model of human-system dialogue towards greater team collaboration
US10616343B1 (en) Center console unit and corresponding systems and methods
US11511410B2 (en) Artificial intelligence (AI) robot and control method thereof
US20190329417A1 (en) Method for performing emotional gestures by a device to interact with a user
López et al. GuideBot. A tour guide system based on mobile robots
WO2021140952A1 (ja) 情報処理装置、情報処理方法、並びにプログラム
Kim et al. Robotic computer as a mediator in smart environments
Kim et al. Introduction to system architecture for a robotic computer
Shiomi et al. Group attention control for communication robots
Skillicorn et al. The Design Space of Social Robots
Fernandes et al. A context aware architecture to support people with partial visual impairments
Bamagain Increasing User Confidence in Privacy-Sensitive Robots
Mariani et al. Argumentation-based coordination in IoT: A speaking objects proof-of-concept

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1171830

Country of ref document: HK

ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150727

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150727

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1171830

Country of ref document: HK