CN110997248A - 用于物品抓握的系统、装置、制品和方法 - Google Patents

用于物品抓握的系统、装置、制品和方法 Download PDF

Info

Publication number
CN110997248A
CN110997248A CN201880054358.9A CN201880054358A CN110997248A CN 110997248 A CN110997248 A CN 110997248A CN 201880054358 A CN201880054358 A CN 201880054358A CN 110997248 A CN110997248 A CN 110997248A
Authority
CN
China
Prior art keywords
processor
robot
end effector
values
executed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880054358.9A
Other languages
English (en)
Other versions
CN110997248B (zh
Inventor
佩特·利佩
理查德·乍得·科格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kindred Systems II Inc
Original Assignee
Kindred Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kindred Systems Inc filed Critical Kindred Systems Inc
Publication of CN110997248A publication Critical patent/CN110997248A/zh
Application granted granted Critical
Publication of CN110997248B publication Critical patent/CN110997248B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/02—Hand grip control means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/0009—Gripping heads and other end effectors comprising multi-articulated fingers, e.g. resembling a human hand
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/02—Gripping heads and other end effectors servo-actuated
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39466—Hand, gripper, end effector of manipulator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39474—Coordination of reaching and grasping
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39514—Stability of grasped objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39527—Workpiece detector, sensor mounted in, near hand, gripper
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40583—Detect relative position or orientation between gripper and currently handled object

Abstract

一种确定当与物品进行相互作用时机器人的末端执行器的抓握类型的系统和方法，其中收集末端执行器在其移动的各个位置处的多个速度值并将速度值用于当给定速度值低于预定阈值时确定抓握类型。

Description

用于物品抓握的系统、装置、制品和方法
技术领域
本公开总体上涉及机器人操作、机器人对物品的操作、数据收集和/或机器学习的领域。
背景技术
相关技术的描述
机器人
机器人是能够执行一项或多项任务的系统、机器或装置。机器人是由电路控制的机电机器，例如遵循处理器可执行指令的处理器；人工操作者可控制的机电机器；包括另一台机器人的另一台机器的机器人子系统；等等。机器人具有在物理空间中移动并完成物理任务的能力。机器人可以由人工操作者诸如经由远程控制操作，或者可以在没有操作者控制的情况下自主操作。存在混合机器人，其中一些功能是自主的，而其他功能是由操作者控制的，或者在自主模式与操作者控制模式之间进行控制切换。同样，机器人包括执行计算任务的计算资源。计算任务可以辅助物理任务。
机器学习
作为机器的计算机可以执行或成功进行由度量定义的一项或多项相关任务。计算机了解，在接触到表征事件的信息之后，计算机是否在度量下改善对一项或多项相关任务的执行。此外，计算机通过命令式编程来在不更新任何处理器可执行指令的情况下学习。
末端执行器
末端执行器或手臂工具的末端是附接到机器人臂、操纵器或附件的设计或构造为与环境相互作用的装置。末端执行器的示例包括抓取器或抓握器。在非结构化环境中操作的机器人的末端执行器是具有设计复杂的装置。理想地，它们可以执行许多任务，包括例如抓握或抓取或另外在物理上可释放地与物品或物体接合或相互作用。抓握包括静态的和动态的末端执行器体态或姿势，通过所述体态或姿势，一个或多个末端执行器可以牢固地保持或另外可释放地接合物品。
发明内容
一种系统可以概述为包括机器人，该机器人包括末端执行器；至少一个传感器；至少一个处理器，该处理器通信地联接到末端执行器和至少一个传感器；以及至少一个非暂时性处理器可读存储装置，该非暂时性处理器可读存储装置通信地联接到至少一个处理器。至少一个非暂时性处理器可读存储装置存储处理器可执行指令，该指令当由至少一个处理器执行时使至少一个处理器：使末端执行器至少尝试在物品上闭合；从至少一个传感器接收用于末端执行器的多个位置值；以及接收用于末端执行器的多个速度值。多个速度值中包括的相应速度值与多个位置值中包括的相应位置值相关联。处理器可执行指令当由至少一个处理器执行时使至少一个处理器：当多个速度值中包括的第一速度值低于第一阈值时确定抓握类型，以及创建至少一个输出信号，该输出信号包括表示所确定的抓握类型的信息。
一种系统操作方法，该系统包括至少一个处理器、与至少一个处理器通信的至少一个传感器以及包括与至少一个处理器通信的末端执行器的机器人。该方法可以概述为包括：通过至少一个处理器使末端执行器至少尝试在物品上闭合；通过至少一个处理器从至少一个传感器接收用于末端执行器的多个位置值；以及通过至少一个处理器接收用于末端执行器的多个速度值。多个速度值中包括的相应速度值与多个位置值中包括的相应位置值相关联。该方法包括当多个速度值中包括的第一速度值低于第一阈值时通过至少一个处理器确定抓握类型，以及创建至少一个输出信号，该输出信号包括表示抓握类型的信息。
可以概述一种基本上如本文中描述和示出的包括至少一个末端执行器的系统。
可以概述一种基本上如本文中描述和示出的装置。
一种基本上如本文中描述和示出的包括处理器可执行指令的处理器可读存储装置，所述指令当被执行时使处理器使末端执行器操作。
一种基本上如本文中描述和示出的机器人系统操作方法。
附图说明
在附图中，相同的附图标记标识相似的元件或行动。附图中元件的大小和相对位置未必按比例绘制。例如，各种元件的形状和角度未必按比例绘制，并且这些元件中的一些可以任意放大和定位以提高绘图的清晰度。此外，所描绘的元件的特定形状并不一定旨在传达有关特定元件的实际形状的任何信息，并且可能仅是为了便于在附图中辨识而选择。
在此参考以下附图更详细地描述系统、装置、制品和方法，在附图中：
图1是示出机器人系统的一部分的示意图；
图2是示出适合于包括在图1的系统中的示例性机器人的示意图；
图3是示出适合于包括在图1的系统中的示例性基于处理器的装置的示意图；
图4以透视图示出包括至少一个臂和末端执行器的示例性装置；
图5以透视图示出可以包括在末端执行器中的示例性装置；
图6是示出实施包括末端执行器的机器人系统的操作方法的流程图；
图7是示出实施包括末端执行器的机器人系统的操作方法的流程图；
图8是示出实施包括末端执行器的机器人系统的操作方法的流程图；以及
图9是示出实施包括末端执行器的机器人系统的操作方法的流程图。
具体实施方式
在以下描述中，包括一些具体细节以便提供对各种公开的实施例的全面理解。然而，相关领域的技术人员将认识到，可以在没有这些具体细节中的一个或多个的情况下，或者利用其他方法、部件、材料等来实践实施例。在一些情况下，未详细输出或描述与末端执行器和/或机器人相关联的熟知结构，诸如处理器、传感器、存储装置、网络接口、工件、拉伸构件、紧固件、电连接器等，以免不必要地混淆对所公开的实施例的描述。
除非上下文另外要求，否则在以下整个说明书和权利要求书中，词语“包括(comprise)”及其变体(诸如“包括(comprises)”和“包括(comprising)”应以开放的、包含性的含义解释，即解释为“包括，但不限于。”
在整个说明书中对应用于“实施例”、“示例”的“一个”、“一种”或“另一个”的引用意指结合实施例、示例或实施方式描述的特定所指特征、结构或特性包括在至少一个实施例、示例或实施方式中。因此，在整个说明书中各处的短语“在一个实施例中”或“另一个实施例”等的出现不一定都指相同实施例。此外，特定特征、结构或特性可以在一个或多个实施例、示例或实施方式中以任何合适的方式组合。
应注意的是，除非内容另外明确指出，否则在本说明书和所附权利要求中使用的用户形式“一种(a)”、“一种(an)”和“所述”都包括复数指代物。因此，例如，对包括“动作”的机器人的提及包括一个动作，或两个或更多个动作。还应注意的是，除非内容另外明确指出，否则术语“或”一般是在其包括“和/或”的意义上采用的。
本文提供的标题仅是为了方便起见，并不解释实施例的范围或含义。
可以指示机器人(例如，臂和末端执行器)抓握、可释放地接合或以其他方式处置具有不同有形属性的各种物品。此外，这些有形属性中的一些可能不同于先前操作中(例如在训练期间)遇到的那些有形属性。末端执行器对物品的抓握可能不符合系统、机器人、末端执行器、物品等的标准。例如，当由机器人末端执行器不当处置时，物品可能会损坏或掉落。
本文中公开系统、装置、制品和方法，其中控制器接收用于一个或多个末端执行器的操作的位置数据和速度数据，并且能够检测两种或更多种的抓握类型。位置数据和速度数据可以从末端执行器上的传感器(例如，机械抓握器)接收。位置数据和速度数据与末端执行器的操作有关，并且表示末端执行器的两个或更多部分相对于彼此的位置。两种或更多种的抓握类型可以包括抓握物品失败、抓握污染物品的袋子或抓握物品的错误部分。当末端执行器尝试完全闭合操作并且速度数据示出末端执行器的一个或多个材料部分不再运动时，则位置数据可用于自动选择抓握类型。例如，末端执行器完全闭合(指示末端执行器未在物品上闭合，或物品或其部分较薄，例如聚乙烯袋)。或者，末端执行器仍部分打开(指示较大物品，例如刚性物体正支撑末端执行器打开)。控制器可以使用抓握类型来执行进一步的操作，诸如生成包括表示抓握类型的处理器可读信息的信号，基于抓握类型来拒绝(例如，无法执行)机器人控制指令等。
图1示出根据本系统、装置、制品和方法的示例性系统100。系统100的各种部件是可选的。如所示出，系统100包括机器人102-1和机器人102-2(统称为102)。机器人102与一个或多个可选操作者接口(例如可选操作者接口104)相关联，例如通信地联接到一个或多个可选操作者接口。可选操作者接口104可以包括一个或多个显示器和输入装置。系统100包括计算机系统106，基于处理器的装置的示例。尽管示出为一对机器人102和计算机系统106，但是各种实施方式可以包括更多数量的机器人(102)和/或计算机系统(106)。在一些实施方式中，系统100包括非暂时性计算机可读和处理器可读存储装置110。
机器人102和计算机系统106经由网络或非网络通信信道108通信地联接。合适的网络或非网络通信信道108的示例包括基于有线的网络或通信信道、基于光学的网络或通信信道、无线网络或通信信道，或有线、光学和/或无线网络或通信信道的组合。
操作者接口104处的人工操作者105可以选择性地操控机器人102中的一个或两个。在人工操作者控制(或操控)模式下，人工操作者观察传感器数据的表示，例如从一个或多个环境传感器或内部传感器接收到的视频、音频或触觉数据。接着，人工操作者行动，其通过对数据表示的感知来调节，并创建信息或可执行指令以指示机器人102或其他机器人。机器人102在包括物理空间的环境140中操作并接收关于所述环境的数据。此处以表示、表征或概述的意义采用的术语“关于”。从一个或多个传感器接收关于环境140的数据。在一些实施方式中，一个或多个传感器在机器人102上。在一些实施方式中，一个或多个传感器在机器人102的外部，诸如相机156、麦克风158。
在操控模式下，机器人102实时地(例如，没有增加的延迟)执行机器人控制指令，如从操作者接口104所接收，而无需控制器根据感测到的信息进行考虑或修改。
在一些实施方式中，机器人102在没有操作者接口104或人工操作者的情况下例如自主地操作。机器人102可以通过执行自主控制指令来以自主控制模式操作。例如，计算机系统106或机器人102可以使用来自一个或多个传感器的与操作者生成的机器人控制指令相关联的传感器数据，并且来自一次或多次机器人102的操作者生成的机器人控制指令处于操控模式，以生成自主机器人控制指令，以供后续使用。例如，通过使用深度学习技术从传感器数据中提取特征，使得在自主模式下，机器人102自主地辨识其环境中的特征和/或条件，并作为响应，执行定义的行动、行动集、任务或一系列任务。示例性行动包括取决于从传感器数据中提取的特征识别红球或任何彩球的存在，并踢球。在没有球的情况下，执行自主机器人控制指令的机器人将不会好像有球一样踢空气。
在一些实施方式中，计算机系统106是基于诸如移动电话、单板计算机、嵌入式计算机等装置的小型处理器。在一些情况下，计算机系统106可以被称为或可互换地称为计算机、服务器或分析器106。计算机系统106可以为机器人102或另一个机器人创建自主控制指令。在一些实施方式中，机器人102自主地辨识其环境中的特征和/或条件，如由环境的表示(例如，呈现、描绘)所表示，并且响应于用表示呈现，执行一个或多个动作或任务。在一些实施方式中，机器人102自主地辨识环境的表示中的特征和/或条件。
在一些情况下，机器人102可以在一个时间被自主地控制，而在另一时间被人工操作者操控、操作或控制。也就是说，在自主控制模式下操作，并且改变为在操控(即，非自主)模式下操作。在第三种操作模式中，机器人102可以以人工操作者控制(操控)模式来重放或执行受操控的机器人控制指令。也就是说，在没有传感器数据和重放操控数据的情况下进行操作，所谓的重放模式。
机器人(像机器人102)是由电路(例如包括执行和遵循处理器可执行指令的处理器的电路)控制的机电机器；人工操作者可控制的机电机器；包括机器人的另一机器的机器人子系统(或设备)；等等。机器人执行物理行动、动作或任务，例如，处理有形结果和/或计算任务。机器人具有在物理空间(诸如环境140)中移动以完成物理任务的能力。同样，机器人包括计算资源、机载和/或远程计算资源，以执行计算任务。计算任务可以辅助物理任务，例如，作为任务，计划实现对物理任务的有形结果。机器人具有从传感器、机载和/或远程传感器获取信息的能力。机器人可以是较大的系统(像系统100)的一部分或包括在其中。
机器人通常包括推进或运动子系统，所述推进或运动子系统包括一个或多个电动机、螺线管或其他致动器，以及相关联的硬件(例如，动力传动系统、轮、踏面)，以在物理空间中推进机器人。运动子系统的示例是一组动力传动系统和轮，诸如分别是机器人102-1、102-2的动力传动系统和轮152-1、152-2(统称为152)。所述空间不必是水平的或地面的。空间的示例包括水、空气、地下、竖直空间、外部空间等。
机器人通常包括操纵子系统，所述操纵子系统包括一个或多个附件，诸如机器人102-1、102-2的一个或多个臂和/或一个或多个相关联的末端执行器、臂和末端执行器154-1、154-2(统称为154)。末端执行器是附接到机器人臂的设计为与环境相互作用的装置。在非结构化环境中操作的机器人的末端执行器是具有设计复杂的装置。理想地，它们可以执行许多任务，包括例如抓握、抓取物品、物理上可释放地与物品接合或另外于物品相互作用。
系统100包括传感器子系统，所述传感器子系统包括一个或多个传感器，诸如一个或多个成像器或相机156，和/或一个或多个麦克风158。(机器人102可以包括一个机载传感器子系统。参见至少在图2和图4处公开的示例。)
系统100可以包括传感器子系统，所述传感器子系统获取在上下文或场景中表征或表示机器人102的数据，和/或执行一个或多个任务。所述数据包括代表机器人102外部的环境条件的环境传感器信息或环境信息。
系统100包括观察者接口系统。系统100包括联接到网络或非网络通信信道108的一个或多个观察者接口160。观察者接口160包括输入或输出部分。输出部分的示例是在上下文或场景中机器人102的解释性文本或动态表示的显示。例如，动态表示机器人包括视频和音频馈送，例如计算机生成的动画。有用的视频和音频格式分别包括H264和Opus。输入部分的示例包括WIMP接口。观察者161可以从观察者接口160观察或监测系统100、机器人102等的操作。
图2示意性地示出根据本系统、装置、制品和方法的、在图1所示的系统100中使用的、包括处理器的机器人200的部分。机器人200包括至少一个主体或外壳202，以及包括至少一个处理器204的控制子系统203、至少一个非暂时性计算机可读和处理器可读存储装置208以及至少一条总线206，将至少一个处理器204和存储装置208通信地联接到所述总线，或通过所述总线通信地联接所述至少一个处理器和所述存储装置。在一些实施方式中，机器人200包括所示机器人200的子集，包括控制子系统203、总线206、存储装置208和网络接口子系统210。
机器人200包括网络接口子系统210，例如网络接口装置，所述网络接口子系统通信地联接到总线206，并提供经由网络或非网络通信信道108与其他系统(例如，机器人200外部的外部系统)进行的双向通信。网络接口子系统210包括一个或多个缓冲器。网络接口子系统210接收并发送与数据相关的多个物品的分区。网络接口子系统210可以是实现处理器可读数据和处理器可执行指令的双向通信的任何电路，例如无线电(例如，无线电或微波频率发射器、接收器、收发器)、通信端口和/或相关联的控制器。合适的通信协议包括FTP、HTTP、Web服务、具有XML的SOAP、WI-FITM兼容、BLUETOOTHTM兼容、蜂窝(例如，GSM、CDMA)等。合适的传输协议包括TCP/IP、SCTP和DCCP。
机器人200包括输入子系统212，所述输入子系统包括一个或多个传感器，所述传感器检测、感测或测量机器人200的状况或状态和/或机器人在其中操作的环境中的状况，并产生或提供对应的传感器数据或信息。这种传感器包括相机或其他成像器、触摸传感器、称重传感器、压力传感器、麦克风、气象传感器、化学传感器或检测器等。输入子系统212可以创建表示机器人200的环境的环境信息。
机器人200包括输出子系统214，所述输出子系统包括输出装置，诸如扬声器、灯和显示器。在一些实施方式中，输出子系统214包括推进或运动子系统216和/或操纵子系统218。机器人200可以使用输出子系统214来执行一个或多个动作。在本文中至少在图1、图2、图4和图5处进一步描述执行动作的机器人和相关联的装置。可以响应于执行自主处理器可执行机器人控制指令以及操作者生成的处理器可执行机器人控制指令来执行一个或多个动作。
输入子系统212和输出子系统214经由总线206通信地联接到处理器204。在一些实施方式中，输入子系统212包括用于接收位置和/或定向信息的接收器。例如，全球定位系统(GPS)接收器接收GPS数据、控制子系统203的多于两个时间信号，以基于信号中的数据(诸如飞行时间、信号强度或其他数据)创建位置测量，以实行位置测量。同样例如，一个或多个加速度计可以在一个、两个或三个轴上提供惯性或方向数据。
机器人200包括推进或运动子系统216，所述子系统包括电动机、致动器、动力传动系统、轮等，以在物理空间内推进或移动机器人200并与其相互作用。推进或运动子系统216推进或运动子系统包括一个或多个电动机、螺线管或其他致动器，以及相关联的硬件(例如，动力传动系统、轮、踏面)，以在物理空间中推进机器人。例如，推进或运动子系统216包括动力传动系统和轮152。
机器人200包括操纵子系统218，所述操纵子系统例如包括一个或多个臂、末端执行器、相关联的电动机、螺线管、其他致动器、联动装置、传动带以及联接并且可操作以引起臂和/或一个或多个末端执行器在运动范围内移动的装置。操纵子系统218可包括操纵器，从机器人(例如，从主体202)延伸的机构，所述机构包括一个或多个关节和布置在运动学链中的一个或多个连杆。操纵子系统218可以包括安置在操纵器的远侧报告上的末端执行器。末端执行器，也称为臂端工具，可以在物品或工件上执行工作。末端执行器的示例包括抓握器或致动器，但也包括专用扳手、喷嘴、探针等。操纵子系统218经由总线206通信地联接到处理器204。例如，操纵子系统218包括臂和末端执行器154。
本领域普通技术人员将理解，机器人200中的部件可以被改变、组合、分割、省略等。在一些实施方式中，网络接口子系统210、输入子系统212、输出子系统214、推进或运动子系统216和/或操纵子系统218中的一个或多个被组合。在一些实施方式中，输出子系统214包括推进或运动子系统216和/或操纵子系统218。在一些实施方式中，输入子系统212包括网络接口子系统210。在一些实施方式中，一个或多个子系统(例如，输入子系统212)被分成另外的子系统。在一些实施方式中，总线206是包括在至少一个主体中的多个总线(例如，数据总线、指令总线、电源总线)。例如，作为模块化计算架构的一部分，其中计算资源分布在机器人200的部件上。也就是说，在一些实施方式中，机器人(像机器人200)可以在左臂中具有处理器，并且在其胸部中具有存储装置。在一些实施方式中，计算资源位于机器人200的结构或机械部件之间的间隙空间中。数据存储装置可以在一条腿中，而单独的数据存储装置在另一条腿中。在一些实施方式中，分布在主体上的计算资源包括冗余计算资源。
至少一个处理器204可以是任何逻辑处理单元，诸如一个或多个微处理器、中央处理单元(CPU)、数字信号处理器(DSP)、图形处理单元(GPU)、专用集成电路(ASIC)、可编程门阵列(PGA)、可编程逻辑单元(PLU)等。至少一个处理器204可以单数形式指代，但是可以是两个或更多个处理器。
至少一个存储装置208是至少一个非暂时性或有形存储装置。在一些实施方式中，存储装置208包括两个或更多个不同的装置。存储装置208可以例如包括一个或多个易失性存储装置，例如随机存取存储器(RAM)，以及一个或多个非易失性存储装置，例如只读存储器(ROM)、闪存存储器、磁硬盘(HDD)、光盘、固态磁盘(SSD)等。本领域技术人员将理解，可以以多种方式来实施存储，诸如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器(HDD)、网络驱动器、闪存存储器、数字多功能磁盘(DVD)、任何其他形式的计算机可读和处理器可读存储器或存储介质，和/或其组合。根据需要，存储可以是只读的或读写的。另外，现代计算机系统和技术将合并易失性存储和非易失性存储，例如，高速缓存、使用固态装置作为硬盘驱动器、存储器中数据处理等。
至少一个存储装置208包括或存储与机器人200、系统100等的操作相关联的处理器可执行指令和/或处理器可读数据250。本文中，处理器可执行指令或数据包括处理器可执行指令和/或处理器可读数据。本文中和相关联的附图中的指令包括处理器可执行指令和/或处理器可读数据。
处理器可执行指令或数据的执行导致至少一个处理器204或控制子系统203例如经由推进或输入子系统212和/或操纵子系统218执行各种方法和动作。处理器204可以使机器人(诸如机器人200)执行各种方法和动作，例如，识别和操纵物品。处理器可执行指令或数据250可以例如包括基本输入/输出系统(BIOS)252、操作系统254、驱动器256、通信指令或数据258、输入指令或数据260、输出指令或数据262、运动指令或数据264以及执行指令或数据266。
操作系统254的示例性操作系统包括ANDROIDTM、
Figure BDA0002388674630000111
和
Figure BDA0002388674630000112
驱动器256包括允许处理器204控制机器人200的电路的处理器可执行指令或数据。处理器可执行通信指令或数据258包括处理器可执行指令或数据，以实施机器人200与操作者控制台或终端、计算机等之间的通信。处理器可执行输入指令或数据260指导机器人200处理来自输入子系统212中传感器的输入。处理器可执行输出指令或数据262指导机器人200经由操纵子系统218或输出子系统214的部件在环境内进行相互作用。处理器可执行运动指令或数据264指导机器人200经由推进或运动子系统216中的部件在其环境内移动。例如，处理器可执行运动指令或数据264可执行运动计划、逆运动学或其他与运动有关的任务。处理器可执行运动指令或数据264可以部分地实施本文描述的各种方法，包括在图6至图9中以及与图6至图9有关的方法。处理器可执行运动指令或数据264在被执行时可以生成处理器可执行机器人控制指令，所述指令在被执行时使机器人200执行一个或多个动作。例如，处理器可执行运动指令或数据264在被执行时可以使末端执行器在物品上闭合。
处理器可执行的执行指令或数据266指导机器人200进行推理、解决问题、计划任务、执行任务等。处理器可执行的执行指令或数据266在被执行时可以指导机器人200根据环境信息、模拟信息和增强现实信息来确定动作。处理器可执行的执行指令或数据266可以部分地实施本文描述的各种方法，包括图6至图9中以及与图6至图9有关的方法。
输入子系统212包括为机器人获取数据的传感器或换能器。数据包括传感器信息。传感器信息包括代表机器人200外部的环境条件的环境传感器信息。传感器信息包括机器人状况或代表机器人(包括各种子系统和其部件)的状况或状态的状态传感器信息。这种传感器可以包括相机或成像器中的一个或多个(例如，在包括例如红外和紫外线的电磁频谱的可见和/或不可见范围内做出响应)、雷达、声纳、触摸传感器、压力传感器、称重传感器、麦克风、气象传感器、化学传感器等。示例性传感器包括相机220和麦克风222。传感器信息可以例如包括诊断传感器信息，所述诊断传感器信息可用于诊断机器人200的状况或状态或机器人200在其中操作的环境。例如，这种传感器可以包括接触传感器、力传感器、应变计、振动传感器、位置传感器、姿态传感器、加速度计等。在一些实施方式中，诊断传感器包括用以监测机载电源(例如，电池阵列、超级电容器阵列、燃料电池阵列)的状况和/或健康的传感器。
输出子系统214包括一个或多个输出装置。输出子系统214允许机器人200将信号发送到机器人的环境中。输出装置的示例是扬声器、显示器、灯等。机器人200可以与代理(诸如人)和另一机器人通信。
图3示意性地示出可以用作图1中的计算机系统106的包括处理器的系统300的示例性部分。系统300与机器人200共享一些相似的部件，但是通常不同之处在于缺少推进或运动子系统和操纵子系统。系统300在某些子系统内具有不同的部件，诸如输入子系统312和输出子系统314。
系统300包括至少一个主体或外壳302，以及包括至少一个处理器304的控制子系统303、至少一个非暂时性计算机可读或处理器可读存储装置308以及至少一条总线306，至少一个处理器304和至少一个非暂时性计算机可读或处理器可读存储装置308通信地联接到所述总线。系统300包括网络接口子系统310，所述网络接口子系统通信地联接到总线306，并且经由网络或非网络通信信道108在系统300和其他系统(例如，与观察者、在线存储提供商相关联的基于处理器的装置)当中提供双向通信联接器。
系统300包括输入子系统312。输入子系统312可以包括一个或多个用户接口输入装置(诸如触摸显示器、键盘、鼠标或其他指示器装置)、麦克风和相机。在一些实施方式中，输入子系统312经由网络接口子系统310联接到控制子系统303。在一些实施方式中，输入子系统312包括一个或多个传感器，诸如环境传感器。
系统300包括输出子系统314，所述输出子系统包括一个或多个输出装置，诸如显示器、扬声器和灯。输入子系统312和输出子系统314经由总线206通信地联接到处理器304。
存储装置308包括或存储与系统300或系统100的操作相关联的处理器可执行指令或数据350。本文描述处理器可执行指令或数据(甚至参考标号252到262)，并且其中适当的改变适用于系统300，例如，没有运动子系统。在各种实施方式中，一个或多个存储装置308包括或存储以下中的一个或多个：处理器可执行分析器指令或数据368、处理器可执行服务器指令或数据370、处理器可执行分区指令或数据372，以及处理器可执行训练、验证、测试指令或数据374。处理器可执行分析器指令或数据368、处理器可执行服务器指令或数据370、处理器可执行分区指令或数据372以及处理器可执行训练、验证、测试指令或数据374可以部分地实施本文描述的各种方法，包括与图6到图9有关的方法。
处理器可执行分析器指令或数据368当由控制子系统304执行时生成处理器可执行机器人控制指令，诸如自主机器人控制指令。处理器可执行服务器指令或数据370当由处理器304执行时指导系统300以协调系统100的操作、充当机器人102、计算机系统106之间的中介、协调系统(例如，包括装置400的系统)的操作等。处理器可执行分区指令或数据372当由处理器304执行时指导系统300对物品进行分区。处理器可执行分区指令或数据372可以部分地实施本文描述的、包括在图6至图9中以及与图6至图9有关的各种系统、装置、制品和方法。处理器可执行分区指令或数据372可以部分地实施本文描述的各种方法，包括方法600、方法700、方法800和方法900。
处理器可执行训练、验证、测试指令或数据374当由处理器304执行时指导系统300以增强现实数据训练、验证和测试代理。处理器可执行训练、验证、测试指令或数据374可以部分地实施本文描述的、包括图4至图9中以及与图4至图9有关的各种系统、装置、制品和方法。处理器可执行训练、验证、测试指令或数据374在被执行时可以部分地实施本文描述的各种方法，包括方法600、方法700、方法800和方法900。
图4以透视图示出根据本系统、制品和方法的示例性装置400以及工作人员461。装置400包括至少一个末端执行器407。
装置400包括输入部分402和输出部分410。在一些实施方式中，输入部分402包括框架404，所述框架可以联接或连接到底座，例如地板、地面或平台。一个或多个多关节操纵器406(例如操纵器)可以联接或连接到框架404。操纵器406可联接到相对于框架404在远侧安置在操纵器406上的至少一个末端执行器407。本文中描述的装置400和方法被描述为由操纵器和末端执行器执行。然而，本文描述的装置400和方法(诸如方法600、方法700、方法800和方法900)可以包括至少一个操纵器或末端执行器。
操纵器406可以是轻质的六关节工业机器人臂，诸如来自丹麦奥登塞的UniversalRobots A/S的UR5TM。UR5TM具有5kg的提升能力，并且具有850mm的工作半径。操纵器406可以是多用途工业机器人臂，诸如来自FANUC Corporation的LR Mate 200iD-7LTM，公司地址为日本山梨县忍野村(Oshino,Yamanashi prefecture,JP)，营业地点为美国密歇根州罗彻斯特希尔斯(Rochester Hills,state of Michigan,US)。LR Mate 200iD-7L包括六个关节，并且可达911mm。操纵器406的尺寸可以被设置成允许操纵器406在很大程度上不受框架404阻碍的情况下移动。操纵器406可以装配有末端执行器，诸如来自例如来自美国加利福尼亚州雷德伍德城的Sake Robotics的EZGRIPPERTM(未示出)，或装配有于2017年6月6日提交的申请序列号为62/515,910的共同转让的美国临时申请中描述的末端执行器(本文的一些示例至少在图5中示出)。
操纵器406和相关联的末端执行器407可以将物品移动到输入空间408、从输入空间408移动或在输入空间408内移动。输入空间408可以被安置为靠近末端执行器407，使得末端执行器407可以抓握输入空间408中的工件或物品。末端执行器407和相关联的操纵器406可将工件或物品移动到输出空间410、从输出空间410移动或围绕输出空间410移动。输出空间可以包括可以从相对侧416访问的多个置物架412。
多个物品可以安置在输入空间408中。多个物品可以被称为批或组，可以是两种或更多种类型，或者可以与多个物品中的两个或更多个指定或限定的分区(即，部分)相关联。多个物品物品可以分批地添加到输入空间408中，例如由至少一个处理器或末端执行器407的干预动作一次一个容器。装置400可以按以下方式使用，所述方式使得当将连续的物品添加到输入空间408中已经存在的物品时，在所添加的物品部分地或完全地完成批次的情况下，物品的添加被认为是正确的。也就是说，当一个或多个物品存在于输入空间408中时，正确的程序可以是仅在其他物品完成批次时才允许将其他物品添加到输入空间408中。例如，可以将两个容器放置或倾倒到输入空间408中。一个工作人员461可以提供两个容器，或者两个不同的工作人员来提供包括物品的两个容器。在添加来自两个容器的物品之间可能具有一些时间间隔，也可能没有时间间隔。
装置400包括靠近输入空间408和操纵器406的多个接收空间412-1、412-2、412-3(为了附图的清楚起见，仅列出三个，统称为412)。例如，末端执行器407和相关联的操纵器406可以是可移动的，以至少靠近多个接收空间412。末端执行器407和相关联的操纵器406可将物品从输入空间408移动到多个接收空间412，或移动到输入空间408中、从输入空间408移动并围绕输入空间408移动。末端执行器和相关联的操纵器406可以从输入空间408中的多个物品中抓握第一相应物品。末端执行器407和相关联的操纵器406可将第一相应物品转移到多个接收空间412中的第一接收空间，例如空间412-1。末端执行器407和相关联的操纵器406可以从多个物品中抓握第二相应物品，并且可以将第二相应物品转移到第一接收空间(例如，空间412-1)或第二物品接收空间(例如，空间412-2或412-3)。
装置400可以包括多个提取空间416-1、416-2、416-3(为了清楚附图起见，仅列出三个，统称为416)。多个提取空间416可以对应于多个接收空间412(例如一对一)。例如，接收空间412-1可以对应于提取空间416-1，例如，对应于提取空间416-1的接收空间412-1可以经由其间的通道联接，或者以其他方式提供对放置在接收空间412-1中的物品的获取，以过渡到对应的提取空间416-1。也就是说，可以从提取空间416-1取回从输入空间408转移到接收空间412-1的物品。多个提取空间416可以重叠到多个接收空间412(例如一对一)。一对一个接收空间和一个提取空间可以包括重叠的体积或区域。一个接收空间可以经由第一开口获取，而一个提取空间可以经由第二开口获取。
装置400可包括多个隔片422-1(为了附图清楚起见，仅列出一个)。可以将相应的隔片(例如，隔片422-1)安置在相应一对接收空间412或相应一对提取空间416之间并使其分开。也就是说，隔片422-1可在一对空间之间限定边界，例如，将相应一对接收空间412、相应一对提取空间416或接收空间和提取空间分开。
装置400可以包括多个滑动件424-1、424-2(为了附图清楚起见，仅列出两个，统称为424)。相应的滑动件(例如滑动件424-1)可以安置在接收空间与提取空间(例如，接收空间412-1与提取空间416-1)之间，并联接所述接收空间和提取空间。也就是说，包括在多个滑动件424中的滑动件可以允许从接收空间和对应的提取空间转移(例如，滑动)一个或多个物品。滑动件可以被布置成使得末端执行器407可以释放在接收空间中的物品，并且工作人员(诸如工作人员461)可以从对应的提取空间提取或取回物品。
图5示出可以用作末端执行器(诸如图4所示的末端执行器407)的一部分的示例性装置500。装置500包括底座502，其他部件可以联接(例如，连接)到其上的主体。底座502可以由金属、塑料或复合材料制成一个或多个部分。底座502是包括两个或更多个节点的连杆。装置500可以联接到另一部件，诸如操纵器406或机器人102-1。例如，装置500可以包括附接点503，所述附接点可以是底座502的一部分，或者可以包括联接(例如，刚性地联接)到基座502的单独主体。
在至少一个实施方式中，装置500包括联接到底座502的致动器504。致动器504可以是旋转致动器，诸如直接或经由齿轮传动系统、轴、带、链条等联接到绞盘的伺服机或电动机。致动器504可以是线性致动器。一个或多个拉伸构件可以联接到致动器504并被所述致动器拉动。致动器504可以拉入或拉出、释放或放出拉伸构件。
在至少一个实施方式中，装置500包括多个指状件508。在一些实施方式中，指状件508欠致动。在一些实施方式中，多个指状件508包括两个指状件。在一些实施方式中，多个指状件508中的第一指状件与多个指状件508中的第二指状件相对。
多个指状件508中的相应指状件包括可以被描述为指骨或节段的近侧连杆510-1、510-2(统称为510)。近侧连杆510(诸如近侧连杆510-1和510-2)是主体，并且具体地是压缩构件。近侧连杆510包括至少两个节点，所述节点可以充当其他连杆(诸如底座502)的联接器。
多个指状件508中的相应指状件包括可以描述为指骨或节段的远侧连杆520-1和520-2(统称为520)。远侧连杆520(诸如远侧连杆520-1和520-2)包括至少两个节点，所述节点可以经由拉伸构件充当其他连杆(诸如近侧连杆510)或其他部件(诸如致动器504)的联接器。在一些实施方式中，多个指状件508中的一个或多个连杆包括安置在连杆(诸如连杆510和520)的掌侧上的垫。下文限定装置500的掌侧区域。例如，远侧连杆520-2可以与包括或联接到远侧连杆520-2的掌侧的远侧掌侧垫(例如532-2)相关联。在一些实施方式中，近侧连杆510-1与包括或联接到近侧连杆510-1的掌侧的近侧掌侧垫534-1相关联。安置在连杆的掌侧上的垫(诸如远侧掌侧垫，例如532-2)可以包括侵入式装置或表面处理，诸如物理上穿透物品表面的销、刺、鳞片或脊。安置在连杆的掌侧上的垫包括连续式装置或表面处理，诸如通过胶合、表面张紧等产生粘附的涂层、液体、光滑表面或脊。安置在连杆的掌侧上的垫(诸如远侧掌侧垫，例如532-2)可以包括多个触觉元件或触觉板。
装置500可以包括用作装置500中的手掌的支架536，但是其限定看起来像人手食指尖与拇指尖相接后中间形成的空间的边缘部分，即手指与拇指之间的空间。支架536可以由底座502的一部分或联接到底座502的至少一个主体限定。支架536限定掌侧区域，并且因此限定装置500的掌侧方向。
图6示出可由诸如电路或至少一个硬件处理器的控制器执行以在机器人系统中操作的方法600。方法600部分地示出可以如何向控制器呈现与末端执行器的操作有关的数据，以及如何使用所述数据来进一步操作末端执行器。本领域技术人员将理解，可以以不同的顺序包括、去除和/或改变或执行其他行动，以适应替代的实施方式。方法600被描述为由控制器(例如，计算机系统106或系统300中的控制子系统或处理器)与其他部件(诸如系统100、计算机系统106、机器人200、系统300、装置400和装置500中的部件)结合执行。然而，方法600可以由多个控制器或另一系统执行。
为了执行方法600的一部分或全部，控制器可以是至少一个硬件处理器。硬件处理器可以是任何逻辑处理单元，诸如一个或多个微处理器、中央处理单元(CPU)、数字信号处理器(DSP)、图形处理单元(GPU)、专用集成电路(ASIC)、可编程门阵列(PGA)、可编程逻辑单元(PLU)等。硬件处理器在本文中可以用单数指代，但是可以是两个或更多个处理器。硬件处理器可以例如执行存储在一个或多个非暂时性处理器可读存储装置上的一组或多组处理器可执行指令和/或数据。为了执行方法600的部分或全部，机器人系统的操作中可以包括一个或多个机器人。本文描述示例性机器人和部件。
例如响应于控制器的调用，方法600在601处开始。
在602处，控制器使末端执行器至少尝试在物品上闭合。控制器可以执行处理器可执行指令，并且响应于所述执行，使末端执行器(诸如末端执行器407)在物品上闭合或另外释放地接合物品。物品可以是限定的空间(例如输入空间408)中的多个相似和不相似物品中的一个。末端执行器可以物理地联接到例如安置在多连杆机械臂的远侧处的操纵器。
在604，控制器接收多个位置值或接收位置数据，其中多个位置值表示末端执行器的一个或多个部分的位置，例如角位置。控制器可从一个或多个传感器(诸如，末端执行器中包括的位置传感器)接收位置值。例如，末端执行器可以包括伺服电动机，所述伺服电动机包括电动机和位置传感器两者。在一些实施方式中，控制器从末端执行器或相关联的机器人外部的传感器接收位置值。例如，外部安装的相机。
多个位置值对应于一个或多个末端执行器的操作，并且表示末端执行器的两个或更多个部分相对于彼此的位置。例如，多个位置值可以包括能够实现指状件垫相对抓握的两个或更多个机器人指状件的相对位置。多个位置值可以包括角位置。例如，多个位置值可以包括例如在图像中并且、或、经由位置编码器(例如，旋转位置编码器)检测到的在能够实现手掌相对抓握的末端执行器中一个或多个指状件相对于手掌的相对位置。多个位置值可包括一个或多个指状件角度、致动器位置等。多个位置值可以包括处理器可读信息，所述处理器可读信息表示在像屈曲、伸展、外展和内收的操作之前和期间末端执行器的相对位置。
在606处，控制器接收多个速度值，其中多个速度值表示末端执行器的一个或多个部分的速度或速度数据，例如角速度。例如，速度数据可以随时间改变在两个指状件、末端执行器、一个指状件与支架等之间的角度。控制器可以从一个或多个传感器(诸如包括在末端执行器中的传感器)接收速度值。在一些实施方式中，控制器从末端执行器或相关联的机器人外部的传感器接收速度值。
在一些实施方式中，控制器接收多个位置值、多个时间值，并创建多个速度值。在一些实施方式中，控制器接收多个速度值、多个时间值(例如，每个时间值与速度值相关联)以及表示已知位置值的信息，并且接着创建多个位置值。例如，控制器使用诸如高斯正交、费耶正交等方法对多个速度值进行积分。控制器可以接收多个位置值作为处理器可读信息。另外地或替代地，控制器可以从安装在机器人末端执行器的各个部分上或由机器人末端执行器的各个部分携带的一个或多个加速度传感器(例如，一个轴或三个轴加速度计)接收一个或多个加速度值。
在608处，控制器基于多个速度值和多个位置值确定已经出现的抓握类型。例如，当多个速度值中包括的第一速度值低于第一阈值时，控制器从一组可能的抓握类型中选择第一抓握类型。
在610处，控制器生成(例如，创建)抓握类型信号，所述抓握类型信号包括表示第一抓握类型的信息。控制器可以通过通信信道发送抓握类型信号。控制器可以使用抓握类型信号来用表示第一抓握类型的信息更新处理器可读存储装置。
方法600例如在方法600中的一个或多个行动(诸如行动610)之后在611处结束。
图7示出可由诸如电路或至少一个硬件处理器的控制器执行以在机器人系统中操作的方法700。方法700部分地示出控制器可以如何处理代表末端执行器或其部分的位置、定向、移动和/或姿势的数据。本领域技术人员将理解，可以以不同的顺序包括、去除和/或改变或执行其他行动，以适应替代的实施方式。方法700被描述为由控制器(例如，计算机系统106或系统300中的控制子系统或处理器)与其他部件(诸如系统100、计算机系统106、机器人200、系统300、装置400和装置500中的部件)结合执行。然而，方法700可以由多个控制器或另一系统执行。
例如响应于控制器的调用，方法700在701处开始。
在702处，控制器接收处理器可执行机器人控制指令。处理器可执行机器人控制指令在被执行时使机器人至少尝试执行至少一个动作或任务。
在一些实施方式中，机器人与操作者接口通信。例如，机器人102-1通信地联接到操作者接口104。在704处，控制器可以从操作者接口接收操作者生成的处理器可执行机器人控制指令，所述指令在被执行时使机器人执行至少一个动作。
在706处，控制器可以接收自主处理器可执行机器人控制指令，所述指令在被执行时使机器人至少执行动作。例如，响应于来自控制器或另一代理的对自主处理器可执行机器人控制指令的请求，控制器可以从存储装置接收自主处理器可执行机器人控制指令。
机器人可以是可由人工操作者控制的机器人、具有机载或机外控制的自主机器人、由非人工操作者控制的自主机器人、以及混合型机器人(即，部分自主、部分操控的机器人)。在一些情况下，机器人(诸如机器人102中的一个)可以在一个时间被自主地控制，而在另一时间被人工操作者操控、操作或控制。也就是说，在自主控制模式下操作，并且改变为在操控(即，非自主)模式下操作。本文至少在图1中描述不同控制模式的其他示例。
在一些实施方式中，机器人与观察者接口通信。例如，机器人102-1通信地联接到接口160。控制器在708处可以从观察者接口接收观察者生成的表示末端执行器的姿势的处理器可读信息。例如，观察者可以提供表示物品上的抓握位置的信息。
在710处，控制器执行处理器可执行机器人控制指令。控制器可以执行方法600的一部分。例如，在602处，控制器可以使末端执行器在物品上闭合。在602处，控制器可以使末端执行器尝试在物品上闭合。同样，在604处，控制器可以接收用于末端执行器的一个或多个部分的多个位置值。
方法700在711处结束，直到再次被调用。
图8示出可由诸如电路或至少一个硬件处理器的控制器执行以在机器人系统中操作的方法800。方法800部分地示出控制器可以如何处理来自末端执行器的数据。本领域技术人员将理解，可以以不同的顺序包括、去除和/或改变或执行其他行动，以适应替代的实施方式。方法800被描述为由控制器(例如，计算机系统106或系统300中的控制子系统或处理器)与其他部件(诸如系统100、计算机系统106、机器人200、系统300、装置400和装置500中的部件)结合执行。然而，方法800可以由多个控制器或另一系统执行。
例如响应于控制器的调用，方法800在801处开始。例如，方法800可以在包括行动602和行动608的方法600或700中的一个或多个行动之后开始。
在802处，控制器接收处理器可执行机器人控制指令。处理器可执行机器人控制指令在被执行时使机器人移动物品并释放物品。也就是说，移动并释放控制器在602中使末端执行器在其上闭合的物品，如上文关于图6和图7所描述。处理器可执行机器人控制指令可以是在操控模式、自主模式、重放模式等下生成的指令。本文至少关于图1，描述机器人系统中的不同操作模式。
在804处，控制器部分地基于由执行机器人控制指令得到的特定抓握类型而拒绝机器人控制指令。例如，控制器部分地基于先前选择的抓握类型而拒绝机器人控制指令。控制器可以部分地基于抓握类型和关于物品的信息而拒绝机器人控制指令。控制器可以拒绝机器人控制指令，因为末端执行器已在不合适的位置处抓握物品，如由收集到的表示末端执行器或其部分的位置、定向、移动和/或姿势的值指示。
在806处，控制器生成包括处理器可读信息的输出信号，所述处理器可读信息包括抓握类型。处理器可读信息还可以包括关于物品的信息。
在808处，控制器可以通过通信信道发送输出信号。例如，控制器经由网络或非网络通信信道108发送输出信号。
在810处，控制器可以使用输出信号来用包括抓握类型的处理器可读信息来更新处理器可读存储装置。例如，控制器使用输出信号来更新非暂时性计算机可读和处理器可读存储装置110。
方法800在811处结束，直到再次被调用。
图9示出可由诸如电路或至少一个硬件处理器的控制器执行以在机器人系统中操作的方法900。方法900部分地示出控制器可以如何选择抓握类型。本领域技术人员将理解，可以以不同的顺序包括、去除和/或改变或执行其他行动，以适应替代的实施方式。方法800被描述为由控制器(例如，计算机系统106或系统300中的控制子系统或处理器)与其他部件(诸如系统100、计算机系统106、机器人200、系统300、装置400和装置500中的部件)结合执行。然而，方法900可以由多个控制器或另一系统执行。
例如响应于控制器的调用，方法900在901处开始。例如，方法800可以在方法600或700中的一个或多个行动之后开始，例如作为行动608的一部分。
在902处，当多个速度值中包括的第一速度值低于第一阈值且多个位置值中包括的与第一速度值相关联的第一位置值低于第二阈值时，控制器选择第一抓握类型值作为抓握类型。例如，末端执行器不再闭合(例如，接近零致动器速度)并且末端执行器几乎完全闭合(例如，接近零致动器位置)。
在904处，当多个速度值中包括的第一速度值低于第一阈值且多个位置值中包括的与第一速度值相关联的第一位置值高于第三阈值时，控制器选择第二抓握类型值作为抓握类型。例如，末端执行器不再闭合(例如，接近零致动器速度)并且末端执行器几乎没有闭合(例如，处于非零致动器位置)。在一些实施方式中，第二阈值和第三阈值相同。
方法900在905处结束，直到再次被调用。
包括摘要中描述的内容的所示出示例、实施方式和实施例的以上描述并不旨在是穷举性的或将实施例限制为所公开精确形式。尽管本文出于说明性目的而描述具体示例，但是如相关领域技术人员将认识到，可以在不脱离本公开的精神和范围的情况下进行各种等效修改。本文中提供的各种实施例的教导可以应用于许多计算机系统、机器人系统和机器人，而不必应用于本文中的和如上文总体描述的示例性计算机系统、机器人系统和机器人。
例如，前述详细描述已经由使用框图、示意图和示例来阐述装置和/或过程的不同实施例。至此，此类框图、示意图和/或示例包含一个或多个功能和/或操作，本领域的技术人员将理解，可以通过广泛的硬件、软件、固件、或者其任何组合来个别地和/或共同地实施在此类框图、流程图或者示例内的每个行动和/或操作。在一些实施例中，本发明主题经由专用集成电路(ASIC)实施。然而，本领域技术人员将认识到，本文公开的实施例整体或部分地可以等效地在标准集成电路中实施为由一个或多个基于处理器的装置执行的一个或多个计算机程序(即，处理器可执行指令)(例如，实施为在一个或多个计算机系统上运行的一个或多个处理器可执行指令集)、实施为由一个或多个控制器(例如，微控制器)执行的一个或多个程序、实施为由一个或多个处理器(例如，微处理器)执行的一个或多个程序、实施为固件、或实际上实施为其任何组合，且根据本公开的教导，设计电路系统和/或编写软件和/或固件的源代码将完全处于本领域普通技术人员的技能范围内。
如本文所使用，处理器可执行指令和/或处理器可读数据可以存储于任何非暂时性计算机可读存储介质(例如，存储器或磁盘)上，以供由与任何处理器有关的系统或方法使用或与其结合使用。在本说明书的上下文中，“计算机可读存储介质”是一种或多种有形的非暂时性计算机可读存储介质或元件，其可以存储与本文描述的系统、设备、装置和/或方法相关联和/或供其使用的处理器可执行指令和/或处理器可读数据。计算机可读存储介质可以是例如但不限于电子、磁性、光、电磁、红外或半导体系统、设备、装置或制造品。处理器可执行指令可以由处理器读取。计算机可读介质的更具体示例(非穷举性列表)将包括以下内容：便携式计算机软盘(磁性、紧凑型闪存卡、安全数字等)、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM、EEPROM或闪存)、便携式光盘只读存储器(CDROM)、数字磁带和其他非暂时性存储介质。
本文描述的许多方法可以变化地执行。例如，许多方法可以包括附加行动，省略一些行动和/或以如所示出或描述不同的顺序执行行动。
可以组合上文描述的各种示例、实施方式和实施例以提供其他实施例。如果必要，可以修改实施例的方面，以采用各种专利、申请和公开案中的系统、电路、装置、方法和概念来提供另外的其他实施例。
可以组合上述各种实施例以提供另外的实施例。在本说明书中提到和/或在应用数据表中列出的所有美国专利、美国专利申请公开案、美国专利申请、国外专利、国外专利申请和非专利公开案在本文中以全文引用的方式并入，包括2017年7月10日提交的美国临时专利申请序列号62/530,702。如果必要，可以修改实施例的方面，以采用各种专利、申请以及出版物的概念来提供另外的其他实施例。
可以根据上述描述而对示例、实施方式和实施例做出这些和其他修改。通常，在以下权利要求书中，所使用的术语不应解释为将权利要求限制为说明书和权利要求书中所公开的特定实施例，而应解释为包括所有可能的实施例以及此类权利要求是有权的全部等同范围。因此，权利要求不受公开内容的限制。

Claims (24)

1.一种系统，包括：
机器人，包括末端执行器；
至少一个传感器；
至少一个处理器，通信地联接到所述末端执行器和所述至少一个传感器；以及
至少一个非暂时性处理器可读存储装置，通信地联接到所述至少一个处理器并且存储处理器可执行指令，所述处理器可执行指令当由所述至少一个处理器执行时使所述至少一个处理器：
使所述末端执行器至少尝试在物品上闭合；
从所述至少一个传感器接收用于所述末端执行器的多个位置值；
接收用于所述末端执行器的多个速度值，其中所述多个速度值中包括的相应速度值与所述多个位置值中包括的相应位置值相关联；
当所述多个速度值中包括的第一速度值低于第一阈值时，确定抓握类型；以及
创建至少一个输出信号，所述至少一个输出信号包括表示所确定的抓握类型的信息。
2.根据权利要求1所述的系统，其中从所述至少一个传感器接收用于所述末端执行器的速度数据。
3.根据权利要求1所述的系统，还包括物理联接到所述末端执行器的操纵器。
4.根据权利要求1所述的系统，还包括：
操作者接口，通信地联接到所述至少一个处理器；以及
其中，所述处理器可执行指令当被执行时进一步使所述至少一个处理器：
在所述机器人处从所述操作者接口接收操作者生成的处理器可执行机器人控制指令，所述操作者生成的处理器可执行机器人控制指令当被执行时使所述机器人执行动作。
5.根据权利要求1所述的系统，其中，所述处理器可执行指令当被执行时进一步使所述至少一个处理器：
在所述机器人处接收自主处理器可执行机器人控制指令，所述自主处理器可执行机器人控制指令当被执行时使所述机器人执行动作。
6.根据权利要求1所述的系统，还包括：
观察者接口，通信地联接到所述至少一个处理器；以及
其中，所述处理器可执行指令当被执行时进一步使所述至少一个处理器：
在所述机器人处从所述观察者接口接收观察者生成的处理器可读信息，所述观察者生成的处理器可读信息表示所述末端执行器的姿势。
7.根据权利要求1所述的系统，还包括：
通信信道，通信地联接到所述至少一个处理器；以及
其中，所述处理器可执行指令当被执行时进一步使所述至少一个处理器：
经由输出子系统发送所述至少一个输出信号，所述至少一个输出信号包括表示所述机器人要执行的所述动作的信息。
8.根据权利要求1所述的系统，其中，所述处理器可执行指令当被执行时进一步使所述至少一个处理器：
接收自主机器人控制指令，所述自主机器人控制指令当被执行时使所述机器人移动所述物品并且释放所述物品。
9.根据权利要求8所述的系统，其中，所述处理器可执行指令当被执行时进一步使所述至少一个处理器：
基于所述抓握类型拒绝所述自主机器人控制指令。
10.根据权利要求1所述的系统，其中为了当所述多个速度值中包括的所述第一速度值低于所述第一阈值时选择所述抓握类型，所述处理器可执行指令当被执行时使所述至少一个处理器：
当所述多个速度值中包括的所述第一速度值低于所述第一阈值并且所述多个位置值中包括的与所述第一速度值相关联的第一位置值低于第二阈值时，选择所述抓握类型的第一抓握类型值，以及
当所述多个速度值中包括的所述第一速度值低于所述第一阈值并且所述多个位置值中包括的与所述第一速度值相关联的所述第一位置值高于第三阈值时，选择所述抓握类型的第二抓握类型值。
11.一种系统操作方法，所述系统包括至少一个处理器、与所述至少一个处理器通信的至少一个传感器以及包括与所述至少一个处理器通信的末端执行器的机器人，所述方法包括：
通过所述至少一个处理器使所述末端执行器至少尝试在物品上闭合；
通过所述至少一个处理器从所述至少一个传感器接收用于所述末端执行器的多个位置值；
通过所述至少一个处理器接收用于所述末端执行器的多个速度值，其中所述多个速度值中包括的相应速度值与所述多个位置值中包括的相应位置值相关联；
当所述多个速度值中包括的第一速度值低于第一阈值时，通过所述至少一个处理器确定抓握类型；以及
创建至少一个输出信号，所述至少一个输出信号包括表示所述抓握类型的信息。
12.根据权利要求11所述的方法，还包括：
通过所述最后至少一个处理器从所述至少一个传感器接收用于所述末端执行器的所述速度数据。
13.根据权利要求11所述的方法，其中所述系统还包括物理地联接到所述末端执行器的操纵器，所述方法还包括：
通过所述最后至少一个处理器使所述末端执行器经由所述操纵器改变位置。
14.根据权利要求11所述的方法，其中所述系统还包括与所述至少一个处理器通信的操作者接口，所述方法还包括：
在所述机器人处从所述操作者接口接收操作者生成的处理器可执行机器人控制指令，所述操作者生成的处理器可执行机器人控制指令当被执行时使所述机器人执行动作。
15.根据权利要求11所述的方法，还包括：
在所述机器人处接收自主处理器可执行机器人控制指令，所述自主处理器可执行机器人控制指令当被执行时使所述机器人执行动作。
16.根据权利要求11所述的方法，其中所述系统还包括与所述至少一个处理器通信的观察者接口；并且所述方法还包括：
在所述机器人处从所述观察者接口接收观察者生成的处理器可读信息，所述观察者生成的处理器可读信息表示所述末端执行器的姿势。
17.根据权利要求11所述的方法，其中所述系统还包括通信地联接到所述至少一个处理器的通信信道；并且所述方法还包括：
通过所述至少一个处理器经由所述通信信道发送所述至少一个输出信号。
18.根据权利要求11所述的方法，还包括：
在所述至少一个处理器处接收机器人控制指令，所述机器人控制指令当被执行时使所述机器人执行至少一个动作。
19.根据权利要求18所述的方法，还包括：
通过所述至少一个处理器拒绝所述机器人控制指令，所述机器人控制指令当被执行时使所述机器人执行至少一个动作。
20.根据权利要求11所述的方法，其中当所述多个速度值中包括的所述第一速度值低于所述第一阈值时通过所述至少一个处理器确定所述抓握类型包括：
当所述多个速度值中包括的所述第一速度值低于所述第一阈值并且所述多个位置值中包括的与所述第一速度值相关联的第一位置值低于第二阈值时，通过所述至少一个处理器选择所述抓握类型的第一抓握类型值；或
当所述多个速度值中包括的所述第一速度值低于所述第一阈值并且所述多个位置值中包括的与所述第一速度值相关联的所述第一位置值高于第三阈值时，通过所述至少一个处理器选择所述抓握类型的第二抓握类型值。
21.一种基本上如本文中描述和示出的系统。
22.一种基本上如本文中描述和示出的装置。
23.至少一个基本上如本文中描述和示出的存储处理器可执行指令的非暂时性处理器可读存储装置。
24.一种基本上如本文中描述和示出的机器人操作方法。
CN201880054358.9A 2017-07-10 2018-07-10 用于物品抓握的系统和用于物品抓握的系统操作的方法 Active CN110997248B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762530702P 2017-07-10 2017-07-10
US62/530,702 2017-07-10
PCT/CA2018/050842 WO2019010573A1 (en) 2017-07-10 2018-07-10 SYSTEMS, DEVICES, ARTICLES AND METHODS FOR PREPARING ARTICLES

Publications (2)

Publication Number Publication Date
CN110997248A true CN110997248A (zh) 2020-04-10
CN110997248B CN110997248B (zh) 2023-06-27

Family

ID=64904152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880054358.9A Active CN110997248B (zh) 2017-07-10 2018-07-10 用于物品抓握的系统和用于物品抓握的系统操作的方法

Country Status (4)

Country Link
US (2) US10836034B2 (zh)
EP (1) EP3651945A4 (zh)
CN (1) CN110997248B (zh)
WO (1) WO2019010573A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6669713B2 (ja) * 2017-11-28 2020-03-18 ファナック株式会社 ロボットおよびロボットシステム
US10335947B1 (en) * 2019-01-18 2019-07-02 Mujin, Inc. Robotic system with piece-loss management mechanism
US11203120B1 (en) * 2019-02-06 2021-12-21 Intrinsic Innovation Llc Mobile robotics frame system
US11738447B2 (en) * 2019-07-29 2023-08-29 Nimble Robotics, Inc. Storage systems and methods for robotic picking
CN112356028A (zh) * 2020-10-29 2021-02-12 哈尔滨工程大学 一种基于深度学习的移动机器人远程目标检测系统及其检测方法
US11822710B2 (en) * 2021-09-08 2023-11-21 Acumino Wearable robot data collection system with human-machine operation interface
CA3191818A1 (en) * 2022-03-04 2023-09-04 Sanctuary Cognitive Systems Corporation Robots, tele-operation systems, computer program products, and methods of operating the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060047361A1 (en) * 2003-05-21 2006-03-02 Matsushita Electric Industrial Co., Ltd Article control system ,article control server, article control method
US20110137463A1 (en) * 2009-12-09 2011-06-09 Gm Global Technology Operations, Inc. Systems and methods associated with handling an object with a gripper
JP2011131340A (ja) * 2009-12-25 2011-07-07 Kaneka Corp ハンド装置
US20160167228A1 (en) * 2014-12-16 2016-06-16 Amazon Technologies, Inc. Generating robotic grasping instructions for inventory items

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0691355B2 (ja) * 1988-01-19 1994-11-14 三洋電機株式会社 電子部品位置決め装置
JP2013136141A (ja) 2011-11-30 2013-07-11 Canon Inc 把持装置、ロボット装置及び把持装置の制御方法
US9605952B2 (en) * 2012-03-08 2017-03-28 Quality Manufacturing Inc. Touch sensitive robotic gripper
JP2014108466A (ja) * 2012-11-30 2014-06-12 Fanuc Ltd 力センサ付き電動ハンド
JP6486114B2 (ja) 2015-01-16 2019-03-20 株式会社東芝 荷役装置
JP2017177294A (ja) * 2016-03-31 2017-10-05 キヤノン株式会社 ロボット制御装置、ロボット制御方法、ロボットシステムおよびコンピュータプログラム
EP3693138B1 (en) * 2017-06-19 2022-08-03 Google LLC Robotic grasping prediction using neural networks and geometry aware object representation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060047361A1 (en) * 2003-05-21 2006-03-02 Matsushita Electric Industrial Co., Ltd Article control system ,article control server, article control method
US20110137463A1 (en) * 2009-12-09 2011-06-09 Gm Global Technology Operations, Inc. Systems and methods associated with handling an object with a gripper
JP2011131340A (ja) * 2009-12-25 2011-07-07 Kaneka Corp ハンド装置
US20160167228A1 (en) * 2014-12-16 2016-06-16 Amazon Technologies, Inc. Generating robotic grasping instructions for inventory items

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BIANCA S. HOMBERG等: "Haptic Identification of Objects using a Modular Soft Robotic Gripper", 《2015 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》 *

Also Published As

Publication number Publication date
US20210023702A1 (en) 2021-01-28
EP3651945A1 (en) 2020-05-20
CN110997248B (zh) 2023-06-27
US20190009414A1 (en) 2019-01-10
WO2019010573A1 (en) 2019-01-17
EP3651945A4 (en) 2021-04-07
US10836034B2 (en) 2020-11-17

Similar Documents

Publication Publication Date Title
CN110997248B (zh) 用于物品抓握的系统和用于物品抓握的系统操作的方法
US20230302665A1 (en) Systems, devices, articles, and methods for prehension
US10518372B2 (en) Compound prismatic platforms for use in robotic systems
US10322506B2 (en) Systems, devices, articles, and methods for using trained robots
CN109153129B (zh) 机器人装置的弹簧蜗杆夹持器
US8498745B2 (en) Robot apparatus and gripping method for use in robot apparatus
US10933533B2 (en) Systems, devices, articles, and methods for stow verification
US20210031373A1 (en) Robotic manipulators
EP2915636B1 (en) Coordinated robotic control
US20170259431A1 (en) Robot control apparatus, robot, and robot system
US11154985B1 (en) Null space jog control for robotic arm
JP5560948B2 (ja) ロボット装置
CN114728412A (zh) 使用视觉数据的机器人的运动路径的优化
JP2017205819A (ja) ロボット、制御装置、及びロボットシステム
Tunstel et al. Recent enhancements to mobile bimanual robotic teleoperation with insight toward improving operator control
Parga et al. Tele-manipulation of robot arm with smartphone
Parga et al. Smartphone-based human machine interface with application to remote control of robot arm
CN114619445A (zh) 抓取系统
CN111002295A (zh) 一种二指抓取机器人的示教手套及示教系统
CN211806133U (zh) 一种二指抓取机器人的示教器及示教系统
WO2022102403A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20230234231A1 (en) Teleoperation assist device, teleoperation assist method, and storage medium
CN111002294A (zh) 一种二指抓取机器人的示教器及示教系统
Garin et al. Telepresence and telerobotics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40017879

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant