CN109219856A - 用于人类及机器人协作的系统及方法 - Google Patents
用于人类及机器人协作的系统及方法 Download PDFInfo
- Publication number
- CN109219856A CN109219856A CN201780031685.8A CN201780031685A CN109219856A CN 109219856 A CN109219856 A CN 109219856A CN 201780031685 A CN201780031685 A CN 201780031685A CN 109219856 A CN109219856 A CN 109219856A
- Authority
- CN
- China
- Prior art keywords
- robot
- task
- optionally
- human operator
- operator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
- B25J9/1676—Avoiding collision or forbidden zones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40202—Human robot coexistence
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40425—Sensing, vision based motion planning
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
用于在一协作工作空间内同时进行人工执行及机器人操作的多个机器人系统被描述。在一些实施例中,所述协作工作空间通过一可重新配置的工作台所定义,根据任务需要多个机器人构件可选地添加和/或移除。多个任务本身可选地定义在一生产系统中,在保持组装流程本身如何被执行的灵活性的同时,潜在地降低预测和/或解释人类操作员动作的计算复杂度。在一些实施例中,机器人系统包括用于所述人类操作员的个别的多个身体部位的运动的一运动追踪系统。可选地,所述机器人系统计划和/或调整机器人运动,基于在当前操作之前的过去执行期间所观察到的运动。
Description
背景技术
本发明,在一些实施例中,涉及通过人类与机器人协作、分享工作空间的操作;特别是涉及,但不限于,工作者通过机器人来执行不同任务的组装工作站。
组装任务是人类工作者与机器人协作执行任务的最常见程序。今天,由于安全考量与缺乏适当的同步及操作方法,大多数这些程序依靠人类及机器人的孤立工作空间,这将允许平稳及安全的工作程序。
发明内容
根据本公开的一些实施例,提供了提供了一种机器人系统,支持在一协作工作空间内同时进行人工执行的及机器人操作,所述机器人系统包括:至少一机器人,配置成用以执行至少一机器人操作,所述机器人操作包括在所述协作工作空间内在一控制器的控制下的移动;一基站位置,通过多个人类身体部位的定位以提供对所述协作工作空间使用权,以执行至少一人工执行操作;及一运动追踪系统,包括瞄准所述协作工作空间的至少一成像器件,以个别地追踪在所述协作工作空间内多个人类身体部位的位置;其中所述控制器配置成用以,基于所述个别地被追踪的多个身体部位的位置,指示执行所述至少一机器人操作的至少一机器人运动,所述多个身体部位执行所述至少一人工执行操作。
在一些实施例中,根据一或多个安全考量来指示所述运动。
在一些实施例中,根据人工协作操作的一或多个考量来指示运动。
在一些实施例中,所述协作工作空间位于可从所述基站接近的所述工作台的一工作表面上,所述基站位置沿所述工作台的一侧定位,并且所述至少一机器人安装在所述工作台上。
在一些实施例中,所述工作台包括一轨道水平安装在所述工作表面上方,并且所述至少一机器人安装到所述轨道。
在一些实施例中,所述个别地被追踪的多个身体部位包括一人类操作员的两个手臂。
在一些实施例中,每个被追踪的手臂的至少两个部分是个别地被追踪。
在一些实施例中,所述个别地被追踪的多个身体部位包括所述人类操作员的一头部。
在一些实施例中,所述运动追踪系统使用佩戴在多个人类身体部位上的多个标记来追踪多个位置。
在一些实施例中,所述机器人系统包括附着在人类可穿戴物品上的所述多个标记。
在一些实施例中,所述至少一成像器件包括多个成像器件,所述多个成像器件安装到工作台并且指示对所述工作表面上的所述工作空间成像。
在一些实施例中,所述运动追踪系统配置成用以在三个维度中追踪人类身体部位位置。
在一些实施例中,所述控制器配置成用以指示所述至少一机器人的所述运动以避开至少一被追踪的人类身体部位的一位置。
在一些实施例中,所述控制器配置成用以将所述至少一机器人的所述运动指示朝向一区域,所述区域通过至少一个被追踪的人类身体部位的一位置所定义。
在一些实施例中,所述控制器配置成用以指示所述至少一机器人的所述运动,所述至少一机器人的所述运动执行所述至少一机器人操作,基于在所述至少一人工执行操作的一或多个先前执行期间所记录的多个人类身体部位的多个位置。
在一些实施例中,所述多个记录的位置是一当前人类操作员的。
在一些实施例中,所述多个记录的位置是多个先前人类操作员的。
在一些实施例中,所述控制器配置成用以,基于在所述运动过程中所述多个身体部位的多个预测位置,指示所述执行所述至少一机器人操作的至少一机器人的所述运动机器人操作,其中所述多个预测位置是基于所述多个身体部位的多个当前运动被预测出。
在一些实施例中,所述身体部位的多个预测位置是基于所述多个身体部位的所述当前位置及速度被预测出。
在一些实施例中,所述身体部位的多个预测位置是进一步基于所述多个身体部位的所述当前加速度被预测出。
在一些实施例中,所述控制器配置成用以,基于匹配所述协作工作空间内的多个身体部位的多个当前位置到在所述先前执行期间所追踪的多个位置,预测多个身体部位的多个未来位置。
在一些实施例中,所述控制器基于在所述先前执行期间所记录的多个位置来预测多个未来位置,所述记录的多个位置遵循先前执行位置的所述匹配。
根据本公开的一些实施例,提供了一种在一协作工作空间内控制一机器人的方法,其特征在于:所述方法包括:记录个别的多个人类身体部位的多个位置,所述多个人类身体部位在所述协作工作空间内执行一人工执行操作;然后使用所述先前多个记录的位置自动地计划一在所述协作工作空间内移动的机器人的运动,以定义所述工作空间的避开或瞄准的区域;及基于所述计划自动地在所述协作工作空间内移动所述机器人,当所述人工执行操作执行时。
在一些实施例中,所述机器人移动以避开靠近在所述先前多个记录的位置中多个人类身体部位的多个位置的多个区域。
在一些实施例中,所述避开被计划以减少对多个人类身体部位危险碰撞的一风险在所述先前多个记录的位置中的多个人类身体部位的所述多个位置上。
在一些实施例中,所述机器人移动以寻找多个区域,所述多个区域通过在先前多个记录的位置中的多个人类身体部位的多个位置定义而成。
在一些实施例中,所述多个定义区域通过相对于在所述先前多个记录的位置中的一定向及/或偏移定义而成。
在一些实施例中,所述寻找计划将所述机器人带入一区域,所述区域可直接用于与所述人工执行操作协作。
在一些实施例中,所述方法更包括:在自动地移动过程中,记录当前执行所述人工执行操作的多个人类身体部位的多个位置;及基于当前执行所述人工执行操作的多个人类身体部位的多个位置自动地调整所述移动。
在一些实施例中,所述调整是基于当前执行所述人工执行操作的所述多个人类身体部位的所述多个当前运动学特性。
在一些实施例中,所述调整使用基于所述多个当前运动学特性而具有多个参数的一运动方程式来推断当前执行所述人工执行操作的所述多个人类身体部位的多个未来位置。
在一些实施例中,所述调整是基于所述多个人类身体部位的多个当前运动学特性及先前记录执行所述人工执行操作的所述多个人类身体部位的多个当前运动学特性的一匹配。
根据本公开的一些实施例,提供了一种机器人系统,支持在一协作工作空间内同时人工执行及机器人操作,所述机器人系统包括:一工作台,具有一工作表面,所述工作表面用于布置在一组装任务中使用的多个物件,并且在所述工作台上方定义所述协作工作空间;一机器人构件;及一安装轨道,稳固地附着所述工作台上,用于将所述机器人构件可操作地安装在所述协作工作空间的机器人范围内;其中所述机器人构件具有一安装及释放机构,所述安装及释放机构允许所述机器人被安装到所述安装轨道及从所述安装轨道移除,而不会干扰所述工作表面上多个物件的布置。
在一些实施例中,所述安装及释放机构包括多个可手动操作的控制构件。
在一些实施例中,在释放所述安装机构之前,所述机器人构件可折叠成一折叠运输配置。
根据本公开的一些实施例,提供了一机器人构件,包括:多个机器人区段,通过一关节连接;一机器人运动控制器;其中,所述关节包括:两个板件,通过多个弹性构件保持彼此分离;至少一距离传感器,配置成用以感测所述两个板件之间的一距离;及其中所述机器人运动控制器配置成用以,在接收到来自所述距离传感器的所述两个板件之间在一距离改变的一指示时,减少所述机器人构件的运动。
在一些实施例中,所述运动控制器在接收到所述距离改变的所述指示时停止所述机器人构件的运动。
在一些实施例中,所述距离改变包括由于通过所述关节所承载的一负载上的施加力而使所述两个板件其中一个相对于另一个的倾斜。
根据本公开的一些实施例,提供了一种通过一人类操作员控制一机器人的方法,包括:基于一定义处理流程确定一当前机器人任务操作,所述定义处理流程包括所述任务的多个有序操作;从多个预定义操作相关指示语境选择一指示语境,所述指示语境定义与所述当前机器人任务操作相关的多个指示;接收来自一人类操作员的一指示;基于所述指示及所述指示语境之间的一映射,为所述当前操作执行一机器人动作。
在一些实施例中,所述指示包括通过所述人类操作员的一手势所指示的一物件或区域的一指定,及来自使用所述指定物件或区域来指定一机器人动作的所述人类操作员的一口语命令。
在一些实施例中,所述定义处理流程包括一有顺序的操作,并且所述确定包括选择在所述有顺序的操作中的一下一步操作。
根据本公开的一些实施例,提供了一种配置一协作机器人组装任务的方法,包括:接收一物料清单及工具清单;接收一组装步骤清单,所述组装步骤清单包括使用来自所述工具清单及在所述物料清单上的多个物件的多个动作;为了多个人类操作员类型中的每一个,接收描述每一个人类操作员类型的多个任务相关特征的人类操作员数据;为了所述多个人类操作员类型中的每一个,分配每一个组装步骤给一或多个相应的操作,每个操作通过来自一群组中的一个或多个动作所定义,所述群组包括至少一预定义的机器人执行动作及至少一个人工执行动作;及为了所述多个人类操作员类型中的每一个,提供一任务配置,所述任务配置以一编程格式定义多个操作及命令,所述编程格式适合一机器人系统使用以执行所述机器人执行动作,及多个人类可读指令,所述多个人类可读指令描述与所述多个机器人执行动作协作执行的多个人工执行动作;其中,所述任务配置基于所述人类操作员数据适用于每个人类操作员类型。
在一些实施例中,所述方法包括通过模拟验证所述提供的任务配置。
在一些实施例中,所述方法包括:作为每任务配置的部分,提供在用于执行所述组装任务的一协作环境内来自所述物料清单及所述工具清单的多个物件的一物理布局的一描述。
在一些实施例中,所述方法包括:指定多个人类操作员命令,所述多个人类操作员命令允许在所述多个操作之间切换。
在一些实施例中,通过操作员利手、缺陷、大小和/或工作速度,所述多个人类操作员类型中的至少一个与其他多个人类操作员类型中的至少一个有所区分。
在一些实施例中,当执行多个协作的人类机器人组装操作时,所述多个人类操作员类型通过先前记录的身体部位运动数据的多个差异来区分。
根据本公开的一些实施例,提供了一种优化一协作机器人组装任务的方法,包括:产生多个不同的任务配置用于完成一单一公共组装任务结果,每一个任务配置描述在一任务单元中执行的协作人类机器人操作的顺序期间的动作;当执行所述装配任务时,根据所述多个不同的任务配置中的每一个,监视一人类操作员的多个身体部位的运动及与所述人类操作员协作的一机器人的动作;及基于所述监视,选择一任务配置用于多个未来组装任务。
在一些实施例中,所述多个不同的任务配置中的至少两个描述在所述任务单元中多个工具和/或部件的多个不同放置。
除非另外定义,否则本文使用的所有技术和/或科学术语具有与本发明所属领域的普通技术人员通常理解的含义相同的含义。尽管与本文描述的那些类似或等同的方法和材料可用于实践或测试本发明的实施方案,但下文描述了示例性方法和/或材料。如有冲突,将以专利说明书,包括定义,为准。另外,材料、方法和实施例仅是说明性的,并非旨在限制。
如本领域技术人员将理解的,本发明的各方面可以体现为系统,方法或计算机程序产品。因此,本发明的各方面可以采取完全硬件实施例,完全软件实施例(包括固件,常驻软件,微代码等)的形式或者组合软件和硬件方面的实施例,这些实施例通常可以被称为此外,本发明的一些实施例可以采取体现在一个或多个计算机可读介质中的计算机程序产品的形式,该计算机可读介质具有包含在其上的计算机可读程序代码。本发明的一些实施例的方法和/或系统的实现可以涉及手动,自动或其组合执行和/或完成所选任务。此外,根据本发明的方法和/或系统的一些实施例的实际仪器和设备,若干所选任务可以通过硬件,软件或固件和/或其组合来实现,例如,使用操作系统。
例如,根据本发明的一些实施例的用于执行所选任务的硬件可以实现为芯片或电路。作为软件,根据本发明的一些实施例的所选任务可以被实现为由计算机使用任何合适的操作系统执行的多个软件指令。在本发明的示例性实施例中,根据本文描述的方法和/或系统的一些示例性实施例的一个或多个任务由数据处理器执行,诸如用于执行多个指令的计算平台。可选地,数据处理器包括用于存储指令和/或数据的易失性存储器和/或用于存储指令和/或数据的非易失性存储器,例如磁性硬盘和/或可移动介质。可选地,还提供网络连接。还可选地提供显示器和/或用户输入设备,例如键盘或鼠标。
一个或多个计算机可读介质的任何组合可以用于本发明的一些实施例。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电子,磁,光,电磁,红外或半导体系统,装置或设备,或者前述的任何合适的组合。计算机可读存储介质的更具体示例(非详尽列表)将包括以下内容:具有一条或多条电线的电连接,便携式计算机磁盘,硬盘,随机存取存储器(RAM),读取仅存储器(ROM),可擦除可编程只读存储器(EPROM或闪存),光纤,便携式光盘只读存储器(CD-ROM),光学存储设备,磁存储设备或任何前述的合适组合。在本文件的上下文中,计算机可读存储介质可以是任何有形介质,其可以包含或存储由指令执行系统,装置或设备使用或与其结合使用的程序。
计算机可读信号介质可以包括传播的数据信号,其中包含计算机可读程序代码,例如,在基带中或作为载波的一部分。这种传播信号可以采用多种形式中的任何一种,包括但不限于电磁,光学或其任何合适的组合。计算机可读信号介质可以是任何计算机可读介质,其不是计算机可读存储介质并且可以通信,传播或传输程序以供指令执行系统,装置或设备使用或与之结合使用。
计算机可读介质上包含的程序代码和/或由此使用的数据可以使用任何适当的介质传输,包括但不限于无线,有线,光纤电缆,RF等,或者前述的任何合适的组合。
用于执行本发明的一些实施例的操作的计算机程序代码可以用一种或多种编程语言的任何组合来编写,包括诸如Java,Smalltalk,C++等的面向对象的编程语言和传统的过程编程语言,诸如作为“C”编程语言或类似的编程语言。程序代码可以完全在用户的计算机上执行,部分在用户的计算机上执行,作为独立的软件包,部分在用户的计算机上,部分在远程计算机上或完全在远程计算机或服务器上执行。在后一种情况下,远程计算机可以通过任何类型的网络连接到用户的计算机,包括局域网(LAN)或广域网(WAN),或者可以连接到外部计算机(用于例如,通过互联网使用互联网服务提供商)。
下面参考根据本发明实施例的方法,装置(系统)和计算机程序产品的流程图和/或框图来描述本发明的一些实施例。应当理解,流程图图示和/或框图的每个框以及流程图图示和/或框图中的框的组合可以由计算机程序指令实现。这些计算机程序指令可以被提供给通用计算机,专用计算机或其他可编程数据处理装置的处理器以产生机器,使得指令通过计算机的处理器或其他可编程数据处理装置执行,创建用于实现流程图和/或框图块中指定的功能/动作的装置。
这些计算机程序指令还可以存储在计算机可读介质中,该计算机可读介质可以指示计算机,其他可编程数据处理装置或其他设备以特定方式起作用,使得存储在计算机可读介质中的指令产生制品。包括实现流程图和/或框图块中指定的功能/动作的指令。
计算机程序指令还可以被加载到计算机,其他可编程数据处理装置或其他设备上,以使得在计算机,其他可编程装置或其他设备上执行一系列操作步骤,以产生计算机实现的过程,使得在计算机或其他可编程装置上执行的指令提供用于实现在流程图和/或框图块中指定的功能/动作的过程。
附图说明
本文中仅通过示例的方式参考附图描述了本发明的一些实施例。现在详细地具体参考附图,要强调的是,所示的细节是作为示例,并且出于说明的目的。讨论了本发明的实施例。在这方面,通过附图进行的描述使得本领域技术人员清楚如何实施本发明的实施例。
在附图中:
图1A示意性地示出了根据本公开的一些实施例的用于与一人类操作员协作的一机器人任务单元。
图1B示意性地示出了根据本公开的一些实施例的一机器人手臂的部件。
图1C示意性地表示根据本公开的一些实施例的一任务单元的一框图。
图2A示意性地表示根据本公开的一些实施例的用于人类机器人协作的一任务框架。
图2B是根据本公开的一些实施例的在一协作任务单元中提供的不同级别的安全及移动计划的示意图。
图3A示意性地示出了根据本公开的一些实施例的用于一机器人任务单元的一人类操作员的多个身体部位的位置监视的装置。
图3B示意性地示出了根据本公开的一些实施例的与一机器人任务单元的一人类操作员的多个身体部位的位置监视相关联的安全和/或目标包封。
图3C至3E示意性地示出了由一人类操作员佩戴的多个标记和/或多个传感器,并且用于根据本公开的一些实施例的一机器人任务单元的一人类操作员的多个身体部位的位置监视。
图4是示意性地表示根据本公开的一些实施例,基于人类操作员多个身体部位在计划移动期间的位置的预测评估来计划机器人移动的流程图。
图5A至5C各自示意性地表示根据本公开的一些实施例的与机器人协作执行任务操作的人类操作员的多个身体部位的预期位置分区以及预测的协作分区。
图6是描述根据本公开的一些实施例,基于一人类操作员的移动的运动观察预测的一安全和/或目标包封的机器人活动控制的产生及可选使用的示意性流程图。
图7示意性地示出了根据本公开的一些实施例,根据图6的流程图产生及使用的一安全和/或目标运动包封的一示例。
图8示意性地示出了根据本公开的一些实施例的一接近包封的产生及使用的一示例。
图9示出了根据本公开的一些实施例的多个硬操作限制的检测及使用。
图10A示意性地示出了根据本公开的一些实施例的安装在一旋转位移力感测装置上的一机器人手臂,并且还包括一轴向位移感测装置。
图10B至10C示意性地示出了根据本公开的一些实施例的一轴向位移力感测装置的构造特征。
图10D至10E表示根据本公开的一些实施例的结合图10A至10C的所述轴向位移力感测装置的一机器人头部的轴向位移。
图10F至10G示意性地示出了根据本公开的一些实施例图10A的所述旋转位移力感测装置的一部分的正常及位移位置。
图11是示意性地示出根据本公开的一些实施例的配置及使用一机器人任务单元的方法的流程图。
图12示意性地示出了根据本公开的一些实施例的用于设计要与一任务单元执行的一新协作任务操作的流程图。
图13是示意性地表示根据本公开的一些实施例的一典型定义的机器人子操作的多个阶段的流程图。
图14示意性地示出了根据本公开的一些实施例的用于与一任务单元一起使用的任务(例如组装和/或检查任务)的定义及可选地验证的流程图。
图15A至15B示意性地示出了根据本公开的一些实施例的用于将一机器人手臂连接到一安装轨道的一快速连接安装组件的视图。
图16A至16B分别示意性地示出了根据本公开的一些实施例的一机器人手臂的展开及收起(折叠)位置。
图17A是根据本公开的一些实施例的用于一组装任务的一简化样本物料清单(BOM)。
图17B示出了根据本发明的一些实施例的一组装任务的流程图。
图17C示出了根据本公开的一些实施例的一组装任务的一任务单元布局。
图17D描述了根据本公开的一些实施例的在一组装任务期间两个机器人手臂及一人类的操作。
图17E是描述根据本公开的一些实施例的可在一组装任务,例如图17A至17D的组装任务,期间采用的三种不同去毛刺策略的示意性流程图。
具体实施方式
本发明,在一些实施例中,涉及通过人类与机器人协作、分享工作空间的操作;特别是涉及,但不限于,工作者通过机器人来执行不同任务的组装工作站。
概观
本发明的一些实施例的一广泛方面涉及配置及控制多个人类机器人协作任务单元的多个机器人部件,其可动态配置以辅助包括多个操作的多个任务,例如多个组装任务。
在一些实施例中,一协作任务机器人任务单元由一人类操作员操作以执行包括更多基本操作的集合的多步骤任务,每个操作在一个或多个部件、多个部件组件,或其他物件上执行(可选地具有机器人辅助),可选地使用一个或多个工具。
在一些实施例中,任务的多个操作被排序为在包括一预定义序列的一任务流中执行。在一些实施例中,一任务处理流程被定义为其包括可选地和/或以可变顺序执行的一个或多个操作。在一些实施例中,可以以任何合适的顺序执行所述任务的操作例如,可选地在若干单元(例如,5,10,100,1000或另一个更小,更大或中间数字)上重复相同的操作,和/或可以在一个单元上执行一有顺序的操作而不会中断。多个操作可以是可选的,例如,由于产品特征变化,实现相同结果的替代方法的可用性,和/或由于一偶尔的需要来修改或替换一部件以实现组装。
多个操作本身可选地是预定义的(例如,作为这种操作库的一部分);可选地,它们是被预定义具有多个可变参数,例如移动和/或操纵的目标(对象和/或区域)的位置。在一些实施例中,多个参数由来自一人类操作员的当前输入所定义;例如,机器人动作的目标是基于语音和/或手势或其他指示来定义的。
在一些实施例中,多个操作可在运行中定义;例如,作为一人类操作员设计一种创造性的解决方案来优化组装,或克服组装问题。
例如,一人类操作员可以多次执行一任务,作为一批单元的组装的一部分。可以重复一任务,例如,2、4、10、20、50、100、500或更大的更小或中间次数。然后,所述任务单元可用于通过同一人类操作员执行另一任务;或通过不同的人类操作员执行同一任务。可选地,所述任务单元在物理上和/或在软件中针对不同的任务和/或用户进行重新配置。
可选地,多个任务和/或多个操作的定义随时间改进,例如通过有意的调整和/或实验。
在一些实施例中,可用的多个机器人动作包括移动、工具操作及材料传输中的一个或多个。在一些实施例中,多个移动类型包括例如在其他动作的分区之间到达和/或移动的移动;避免移动以避开障碍物,特别是为了安全避开多个人类身体部位;追踪移动以跟随移动目标;在人类监督下进行移动的引导移动,例如实际的物理引导(抓住机器人及牵引)或通过多个手势或其他多个指示进行引导;和/或接近移动,尤其是安全地接近要进行一协作动作的一区域的移动。在一些实施例中,各种类型的停止包含在“移动”动作下,包括紧急(安全)停止、等待下一操作的停止、等待一人类操作员对于一协作动作的靠近的自主停止;通过一人类操作员明确指示的停止,例如通过手势和/或声音;和/或由人类操作员隐含指示的停止,例如通过所述人类操作员靠近用于进行一协作动作的多个用途的所述机器人。
本发明的一些实施例的一个方面涉及多个人类机器人协作任务单元,其包括一整合运动追踪系统,所述整合运动追踪系统配置为追踪所述任务单元环境内的一人类操作员的个人多个身体部位的移动。
在一些实施例中,一人类机器人协作任务单元提供有一个或多个成像器件,所述成像器件与一合适的处理器一起配置为充当用于一人类操作员的多个身体部位(例如,手臂和/或头部)的运动追踪装置(“运动追踪”应理解为即使在没有当前动作的情况下也包括位置感测)。追踪可选地在二维或三维中,其中三维运动追踪(例如,基于从两个或更多个有利位置获得的图像的分析)是优选的。
在一些实施例中,通过使用包括多个光学标记的多个操作员佩戴装置,简化了能够进行运动追踪的图像分析。所述多个光学标记可选地设置在一个或多个人类可穿戴物品上;例如,在长袜和/或手套、戒指和/或头饰(帽子、头带和/或发网)上。任选地,所述多个标记具有着色、尺寸、形状和/或反射特性,这使得它们可以通过机器视觉技术从它们的背景中容易地提取。可选地,穿戴在不同身体部位上的多个标记在它们的光学特性方面也是明显的,例如,以帮助它们的自动识别。可选地,所述多个标记是主动的(例如,自发光,例如使用发光二极管)。可选地,对于不同的标记,从主动标记发射的光被不同地调制,例如,用于帮助它们的自动识别。
可选地,每个被追踪的身体构件的各个位置是可区分的,例如,关节周围的区域(例如,个别的手指和/或手指关节是可区分的;和/或手,前臂和/或上臂是可区分的)。可选地,位置追踪包括追踪多个身体部位的方位。可选地,多个身体部位被追踪以质心位置、“棒”位置和/或至少近似多个身体部位的体积。
在一些实施例中,多个身体部位的运动追踪用于计划机器人移动和/或增加人类操作员的安全性。在一些实施例中,运动追踪被转换成被定义的安全和/或目标包封(在本文中也称为安全和/或目标“分区”),其定义了多个机器人移动要避开和/或寻找的多个区域。同时移动的不同机器人部件可以同时避开及同时寻找相同的包封;例如,一个机器人部件试图避开一个身体部位,当另一个机器人部件在一人类机器人协作动作之前接近身体部位。在一些实施例中,多个分区被定义为距身体部位约1厘米、2厘米、3厘米、5厘米、10厘米或另一更大,更小或中间距离内的区域。可选地,多个分区被定义为以某个距离和/或角度固定且远离一身体部位一些体积的区域(例如,约100立方厘米、500立方厘米、1000立方厘米、1500立方厘米,或另一个更大,更小或中间体积),例如,在手的远端附近,在约1厘米、2厘米、5厘米、10厘米或另一个更大,更小或中间距离内。可选地,多个分区被定义为与多个身体部位接触的区域。可选地,不同的多个身体部位和/或其部分通过不同尺寸的多个安全分区保护;例如,头部可选地通过比手更大的分区保护。可选地,相同身体部位的不同部分用不同尺寸的分区保护,例如,眼睛比头部的冠部接收一更大的保护分区。可选地,多个分区被定义为基本几何形状或其部分,例如圆柱体、椭圆体、球体、锥体、金字塔和/或立方体。在一些实施例中,多个分区被定义为通常遵循多个身体部位的轮廓,例如通过穿戴的指示器定义。
在一些实施例中,多个身体部位的运动追踪用于评估(例如,为了改进的目的)任务性能的方面,例如时间效率、资源使用和/或输出质量。在一些实施例中,运动追踪用于开发和/或改进一任务的最佳实践。可选地,一人类操作员参与对如何执行一任务的操作进行有意的调整和/或实验。运动追踪的结果可选地用作结果评估的一部分。另外地或替代地,评估任务性能的自然变化的结果。例如,关于一动作的速度,一动作的准确性和/或一动作的变化(例如对人类操作员动作的较低要求)进行评估,期望减少一压力的可能性、疲劳和/或受伤。可选地,评估结果用于修订用于训练和/或提供任务指令的最佳实践。
本发明的一些实施例的一个方面涉及基于一协作工作空间内一人类操作员的一个或多个多个身体部位的先前测量的物理位置,在所述协作工作空间中计划机器人运动。
在一些实施例中,一协作任务单元的运动追踪能力用于在使用所述任务单元执行多个任务操作期间记录及存储多个人类操作员的移动。在随后的多个操作执行期间,在一些实施例中,所述机器人控制器使用先前观察到的所述多个人类操作员的多个身体部位的运动和/或位置(可选地,特别是当前人类操作员)以帮助计划多个机器人移动。
在一些实施例中,所述计划是朝着在所述人类操作员的多个身体部位的所述预测附近避开不安全的多个机器人移动的目标,同时保持机器人效率(例如,不减慢和/或重新定向多个机器人移动到整体任务时间显着延长的程度)。
在一些实施例中,至少一些所述计划在其避开的所述预期移动之前发生;也就是说,在可以基于当前正在进行的运动学预测移动之前。这样做的一潜在优点是避免在计划运动中至少一些可能的中断发生,所述中断可能会降低效率。
在一些实施例中,运动追踪所述人类操作员的正在进行的多个移动被用于推断可能即将发生碰撞的位置。可选地,所述系统修改一计划的和/或正在进行的运动以减少不安全人类机器人碰撞的可能性:以防止冲击和/或防止当所机器人以高相对速度移动时的冲击。可选地,多个运动方程式被用来推断多个碰撞可能即将来临的位置。可选地,运动追踪行为的多个过去记录与当一前运动概述(例如,当前位置、速度和/或加速度)匹配,以便于推断人类操作员多个身体部位的最可能的近期位置。在一些实施例中,不安全的机器人接触包括例如以下中的一个或多个:(1)在一特定净速度以上与一机器人部件接触;(2)与一机器人部件接触,其中所述机器人部件的速度高于一特定速度;(3)与接触一机器人部件时超过一特定的总动量;(4)与机器人接触是不可阻挡的(也就是速度可能很慢,但是所述接触是危险的,因为所述机器人会继续接触而不管危险后果,例如抓住衣物);(5)当一人类身体部位在所述机器人与一坚硬的物件,例如一工作台表面或其他机器人部件,之间时的接触。
在一些实施例中,基于过去自动记录的经验(例如,经验包括多个人类操作员的运动追踪数据和/或关于所述机器人的多个移动的数据),在计划到达预期发生协作交互的多个区域的期间,多个机器人移动进一步以所述操作为目标。
例如,如果(在记录一特定操作的过去执行的记录数据中)多个人类操作员倾向于将机器人协助召唤到他们的工作范围的一特定分区,在这个操作期间计划将机器人移动带到这个位置,或者尽可能安全地接近它。潜在地,这种预期行为有助于提高效率。
本发明的一些实施例的一个方面涉及在多个人类机器人协作任务单元中执行的操作者特定定制的多个任务。
在一些实施例中,人类操作员在其中执行的任务动作的执行被评估;例如,基于人类操作员多个身体部位的运动追踪和/或机器人部件移动的分析。在一些实施例中,评估考虑所述任务单元配置的参数,例如,执行有顺序的操作的操作,和/或工具、零件、零件供给器和/或其他物件的放置。
在一些实施例中,所述评估用于调整任务以更好地合适观察操作员执行特征。例如,向任务和/或任务的某些操作展示特定设施和/或困难的工作人员被分配以更多/更少地执行任务和/或某些操作。可选地,基于个人执行来重新定义一任务。例如,一任务分为几个部分;每个部件分别分配给一个或多个操作员,例如,基于他们各自的设施以及这些部件的操作。可选地,可以使用执行任务的多个特定动作的多个替代预定义方法;可选地适应多个特定人类操作员的偏好、能力和/或无能力。例如,动作适应于一操作员的利手、肢体启用和/或物理协调水平。
在一些实施例中,定制适用于操作员动作的预测。例如,不同个体的操作员可选地使用其多个身体部位的移动的不同位置和/或节奏来执行相同的操作。在一些实施例中,多个机器人构件针对不同的人类操作员不同地移动以适应这些差异。可选地,针对不同的人类操作员调整所述单元内(例如,部件和工具)的其他多个物件的任务单元布局,例如,以调整尺寸、范围和/或视觉的差异。在一些实施例中,响应于和/或用于减少操作员疲劳而动态地调整多个任务。可选地,疲劳可以被观测,例如通过评估通过运动追踪测量的任务的动作期间的暂停和/或速度,和/或与人类操作员行动有关的机器人构件移动的特征,例如降低操作速度、降低操作之间切换节奏,和/或移动调整,几乎碰撞和/或碰撞的发生率。可选地,疲劳可以其他方面评估,例如,建模以所执行的操作次数、班次时间和/或休息时间、班次时间(例如,白天或夜晚)或其他参数而改变。
在一些实施例中,随着操作员疲劳增加,特定(例如,更苛刻的)操作可选地从稍后要执行的任务中删除。可选地,鼓励一操作员要周期性地切换执行特定动作或动作的方法(例如,在包括多个替代路线的任务处理流程内),潜在地减少疲劳和/或伤害的一发生率。另外地或替代地,鼓励一操作员定期改变执行多个动作的一顺序。
本发明的一些实施例的一个方面涉及多个人类机器人协作任务单元,每个实施例包括一工作空间,所述工作空间包括多个安装点,一个或多个机器人构件容易地附接、拆卸及更换;允许在多个这样的任务单元之间动态地重新分配多个机器人部件。在一些实施例中,所述工作空间通过一工作台和/或提供对多个部件和/或多个工具的使用权、所述机器人的多个安装点及允许通过一人类操作员的多个身体部位对所述工作空间的使用权的一基站的其他布置来定义。
在一些实施例中,多个任务单元被设计成通过提供多个安装点(例如多个轨道)来共享多个机器人部件(例如机器人手臂),其中多个机器人部件可以根据需要安装在其上,同时当有需要时还可以容易地移除以供其他地方使用。可选地,所述多个安装点提供动力,例如,为机器人运动提供动力。可选地,所述多个安装点提供数据连接(例如,用于控制)。在一些实施例中,机器人数据连接是无线的,其具有使得在多个任务单元之间的转移更容易的潜在优点。
在一些实施例中,一机器人任务单元被提供用于在一组装设施内使用,其中还存在多个其他机器人任务单元。多个机器人手臂是一任务单元的宝贵资本设备组成部分之一,因此有动力有效率地使用它们。重新配置一整个任务单元环境也需要成本,例如与拆除/恢复配置相关的人工及延迟成本,和/或恢复配置的重新验证。在某些情况下,可以更加节省成本,使得空闲的多个任务单元基本上按原样配置,并且使有价值的机器人资本设备移动到其他多个任务单元。因此,一任务单元可以容易地被转换到根据其当前配置的任务使用所需的更多或更少机器人设备,因此也提供了有效使用设备的一潜在优势。
本发明的一些实施例的一个方面涉及用于多个机器人构件(例如,机器人手臂)的多个位移力感测机构。在一些实施例中,多个机器人构件(例如,一协作任务单元中的)提供有位移力感测机构,作为连接所述机器人的多个区段的一个或多个安装件和/或关节的一部分。可选地,感测施加在所述机构上的一过量的力(例如,通过感测多个部件相对于彼此的位移及远离一默认位置),并且基于所述感测输出而停止或减小所述机器人的运动。在一些实施例中,这用作一安全机构:首先,由于机械地吸收力的偏转,其次通过所述机器人构件的持续致动来防止过大和/或持续的力施加。
在一些实施例中,连接一机器人构件的两个区段的一轴向关节包括被压入一组件中的两个板件,但是与彼此保持弹性地分离,例如通过位于它们之间的多个弹簧。在一些实施例中,所述弹性地分离是通过足够强的力,使得所述轴向关节的普通运动及其载荷导致可忽略的板件偏斜。然而,在所述轴向关节承载的所述负载上施加一足够的力时(例如,由于一碰撞),所述多个弹簧允许所述多个板件其中一个相对于另一个偏斜。偏斜被感测(例如,通过位于两个板件之间的多个距离传感器),并且可选地提供给一机器人移动控制器。所述控制器又可选地,基于来自所述多个距离传感器的输入,中止或限制所述机器人构件的移动。在一些实施例中,所述控制器动作可选地不做任何事情,例如,当机器人被命令执行通常可导致一偏斜的一动作时,例如一工具的操作,例如一螺丝刀其涉及按压一工件。
在一些实施例中,一机器人构件的一旋转关节包括一机构配置成用以,当关节在旋转力的某一范围内的操作时,准确地将旋转力从一第一部件传递到一第二部件(例如,一第二部件压在所述第一部件上)。然而,当过大的力施加在所述旋转关节上时,第一及第二部件滑动。在一些实施例中,通过检测所述两个部件之间的一相对位置变化的一传感器来感测所述滑动。可选地,所述传感器输出用于发信号通知所述机器人关节的操作变化:例如,停止所述关节的操作,和/或减少施加的力。潜在地,这可以作为一种安全机构,当所述手臂意外地遇到抵抗力时,例如在碰撞期间,以防止受伤。
本发明的一些实施例的一个方面涉及用于人类操作员控制一机器人系统的口语及视觉命令组合。
在一些实施例中,一机器人系统配置有一麦克风及用于接收及处理语音命令的语音文本系统;以及可操作以监控一人类操作员的多个身体部位的位置的一位置追踪器。在一些实施例中,给所述机器人系统的命令通过所述人类操作员通过身体部位姿势及口语命令的一组合发出。在一些实施例中,所述手势用以定义一机器人动作的一目标,而所述命令的口语部分指定一机器人动作。在一些实施例中,所述动作是非属机器人,例如,信息的显示。
例如,在一些实施例中,识别目标选择手势的实现包括,但不限于,用一手指或其他身体部位指向中的一个或多个、包围两个指尖之间的区域、通过放置一个或多个手指构成一区域、在一区域上方运行一手指,和/或保持一工件的一部份到一工作台环境的一特定部分或机器人,所述机器人用作一指针、支架、框架或其他指示器。识别口语命令可选地包括,例如:指示使用一工具的命令;指定携带、存储和/或检查其组件或部分;显示一目标的细节,例如一图像、规格表和/或库存报告;和/或通过一特定机器人构件来启动、停止和/或减慢多个操作。
在一些实施例中,所述机器人系统对手势/语音命令(可选地,仅手势或语音)的接受度是“门控的”,例如通过一激活的词或手势。在一些实施例中,另一命令模态用于门控,例如,使用一脚踏板。
本发明的一些实施例的一个方面涉及在一任务单元内协作多个人类机器人组装任务的计划。在一些实施例中,例如以一物料清单(BOM)、工具列表及使用和/或与这些物件相关的组装和/或检查操作的列表的形式提供需求输入。多个操作的列表被分配给多个预定义的机器人执行动作及多个人工执行动作的多个适当组合,随着工具及多个BOM物件被分配以在适当的每个动作中使用。对所述机器人系统进行编程,并且使用所述计划过程的输出训练所述人类操作员。在一些实施例中,所述计划还包括所述命令的定义,所述命令控制在多个操作之间和/或多个操作内的任务流。
在详细解释本发明的至少一个实施例之前,应理解的是,本发明不一定限于其应用于以下描述中阐述和/或在附图中示出的构造细节和组件和/或方法的布置。本发明能够具有其他实施例或者能够以各种方式实践或实施。
人类机器人协作任务单元
协助任务单元组件
现在参照图1A,其示意性地示出了根据本公开的一些实施例的用于与一人类操作员150协作的一机器人任务单元100。人类150接近任务单元100(例如,位于所述工作台140的前侧,如图1A所示);例如,为了执行协作机器人人类组装和/或检查任务。这里,一机器人任务单元100也称为“单元”或“组件单元”。
在一些实施例中,任务单元100包括一个或多个机器人120、122。在图1A中,所述多个机器人120、122各自实现为一机器人手臂。多个机器人手臂在此用作一机器人实现的示例,然而,应当理解的是,在一些实施例中,另外地或替代地,使用另一个机器人形状因子(例如,尺寸适于在所述任务单元桌面上漫游操作的一行走或滚动机器人)。可以提供任何合适数量的机器人,例如,1、2、3、4、5或更多个机器人。在一些实施例中,多个机器人120、122被置于一控制单元160的控制下,控制单元160又在一些实施例中与感测和/或任务计划能力整合,例如如本文所述。在一些实施例中,控制单元160是物理地分布,例如,至少一些机器人控制设施与机器人本身整合,运动追踪设施与摄像机或一专用运动追踪单元整合,和/或另一个单元,其专用于监督在所述任务单元100中使用的各种分布式处理设施之间的交互。在一些实施例中,由所述任务单元100内通过自动装置执行的任何控制和/或感测任务可选地通过硬件、软件和/或固件的任何合适组合来执行。
在图1A的实施例中,机器人120、122安装到任务单元100的一支撑构件,可选地一个或多个轨道121。在一些实施例中,轨道121是在工作台140的表面上方的一高度水平延伸的一架空轨道。另外地或替代地,多个机器人安装到位于另一位置的一轨道121,例如,沿着所述任务单元的一侧或两侧,到所述任务单元的一工作表面(例如,工作台140的表面),或另一个位置。
在一些实施例中,多个机器人是静态安装的(即,它们保持连接到沿轨道121的一固定位置或通过任务单元100提供的另一个连接点)。可选地,一机器人120能够沿着轨道121平移,例如,使用一自推进机构,和/或通过与通过轨道121实现的一运输机构(例如,链驱动器)接合。可选地,一机器人能够在二维或三维中进行平移(即,机器人底座可以二维或三维平移);例如,通过滑动地安装在一第一轨道上,可以在两个维度上平移,所述第一轨道本身安装在第二轨道上,所述第二轨道可以以与所述第一轨道的纵向方向垂直的角度平移。可选地,存在允许沿一第三正交轴平移的一第三轨道。在一些实施例中,多个机器人120、122被配置成用以允许从轨道121释放和/或安装(例如,如本文中关于图15A至15B的描述)。这提供了一潜在的优点,例如,用于不同任务的一单元的动态重新配置,和/或用于在多个单元中共享多个机器人120、122。
在一些实施例中,多个机器人配备有一单个器械(例如,一工具、传感器、材料处理操纵器)。可选地,任务单元100配备有一个或多个工具的至少一个工具组130,其在一些实施例中可以可互换地连接到所述机器人120中的一个或多个。在一些实施例中,一机器人(例如,机器人120)是配置成用以允许工具组130的多个工具的自动交换以与一工具头515一起使用。可选地,一机器人120改变其自己的多个工具。可选地,另一个机器人120协助工具交换。在一些实施例中,一个或多个机器人(例如,机器人122)配置有一材料处理工具,其被配置用于在任务单元100的环境内抓握、保持和/或传送物品。操纵多个物件可选地包括,例如组装中使用的多个部件,和/或通过所述人类操作员150使用和/或通过所述任务单元100的所述多个机器人120之一使用的工具。在一些实施例中,为了质量保证监控的目的,一机器人配备有一内置摄像机或其他感测装置。
在一些实施例中,多个成像器件110(多个摄像机)可操作以光学地监视所述任务单元100的工作范围。在一些实施例中,多个成像器件110形成多个标记的图像,所述多个标记指示人类操作员150的多个身体部位(例如,手,手臂和/或头部)的位置和/或移动。在一些实施例中,被监视的操作员身体部位位置和/或移动被用在安全包封的定义中,例如,用于引导机器人120、122的运动计划。在一些实施例中,控制单元160执行图像分析来自成像器件110和/或计划和/或控制多个机器人120、122的多个移动的执行。在一些实施例中,一操作员150通过一用户界面与控制单元160交互。例如,所述用户界面包括显示器161。为了输入到用户界面,提供键盘、鼠标、语音输入麦克风、触摸界面、通过成像器件110的手势接口,或其他输入方法。可选地,显示器161指示当前任务状态信息,例如,当前任务操作的列表、所述任务内当前操作的指示,和/或下一步可以执行的其他操作的指示。可选地,显示器161显示当前计划和/或预期的机器人运动和/或当前预期的人类运动,例如,作为对任务单元100的模拟和/或实际成像视图的叠加注释。可选地,所述显示器指示机器人系统当前正在执行和/或准备基于预测执行什么操作。
在一些实施例中,任务单元100的人类操作员150扮演直接通过合适的多个输入装置操纵机器人120中的一个或多个的角色。然后,所述任务单元中的其他机器人120可选地响应于直接受控的机器人120而操作,因为他们将在一实际的人类操作员150的情况下作出反应。可选地,机器人120的直接操纵被执行作为训练机器人的一部分,例如,如关于图12所描述的。可选地,所述人类操作员150甚至不是物理地存在于所述任务单元100本身,而是远程地操作其一个机器人。
现在参考图1B,其示意性地示出了根据本公开的一些实施例的机器人手臂120的部件。
在本文中,对机器人120的一般参考应理解为包括适用于任务单元100的任何机器人类型以及与其相关描述的方法和感测方式;例如,任何机器人类型包括一机器人手臂,和/或其他类型的机器人,例如一漫游机器人。机器人可以是现成的,和/或针对任务的任何特定要求适当地定制(例如,设置有适合于操纵特定部件形状和/或尺寸的一操纵器)。本文还描述了机器人120的特定实施例的一些特定方面(例如,关于图1B、10A至10G、15A至15B及16A至16B),而不限于其他潜在实施例的特征。在这里的示例的描述区别对多个机器人的参考(例如,关于图1A、3A至3B、5A至5C、7及17A至17D),机器人122指定配置有材料处理工具的机器人机器人120指的是配置有可更换工具安装的机器人。在所有这些情况下,在一些实施例中,作为任务单元100的一部分,所提及的特定机器人配置特征应当被理解为关于机器人和机器人配置的示例性而非限制性的。
机器人120的一些实施例的组件包括工具头515,包括工具510,其在一些实施例中包括一材料处理工具(在本文中也称为“夹具”),其被配置为例如抓握、保持和/或传递物件,如装配部件。在一些实施例中,工具510包括用于专门操作的工具,例如一螺丝刀、烙铁、扳手、旋转切割器和/或研磨机,或其他机器人式可操作的工具。在一些实施例中,工具510包括一摄像机或其他传感器,可选地配置为执行质量保证测量。
在一些实施例中,手臂部分540及手臂部分525之间的铰接角度通过由手臂旋转引擎530的操作设定。类似地,其他手臂旋转马达550、560可选地配置成旋转其他关节。在一些实施例中,轴向马达570被致动以使整个手臂围绕一轴线旋转。可选地,提供一个或多个马达580以允许所述机器人沿着一轨道121平移。
在一些实施例中,工具头515经由一位移感测机构520耦合到机器人手臂120的其余部分,例如,如本文关于图10A至10G所描述的一机构。可选地,由于施加在机器人120的一部件上的意外力(例如,在工具头515上)触发一位传感器,所述传感器向控制器(例如,控制单元160)指示已施加一过力。所述控制器可选地关闭所述手臂,和/或减小力,例如,直到消除过力检测。在一些实施例中,使用另一种力感测安全机构。可选地,例如,可以通过所述机器人120围绕一机器人的一个或多个关节(例如,通过手臂旋转引擎530)施加的力受到限制,例如通过一离合器机构或滑动机构。
现在参照图1C,其示意性地表示根据本公开的一些实施例的一任务单元100(整个图)的一框图。
在一些实施例中,机器人控制器160被配置为控制机器人构件120。机器人控制器160可选地被提供为任务单元100的组成部件;可选地,它被提供为远程装置,例如,连接到任务单元100的其他装置的网络。
在一些实施例中,机器人控制器160连接到用户界面183,所述用户界面183可以包括例如显示器161,并且可选地包括一个或多个输入装置,例如鼠标,键盘和/或触摸输入。
在一些实施例中,运动追踪系统183包括多个成像器件110,及用于驱动运动捕捉的运动捕捉硬件和/或软件。
在一些实施例中,协作工作空间180包括一工作台140及作为任务单元布局的一部分的任何部件、工具、工件或其他物件。
人类操作员150可选地通过所述用户界面183与所述任务单元100交互,并通过协作工作空间180内的动作:包括移动布局内容182,通过直接与协作工作空间中的多个机器人构件120交互,和/或通过运动追踪系统183监视的移动间接与机器人构件120或其他系统组件。
用于人类机器人协作的任务框架
现在参考图2A,其示意性地表示根据本公开的一些实施例的人类机器人协作的任务框架。
在一些实施例中,任务活动(任务的部分)可以由人类和/或机器人单独执行,或者在人类/机器人协作中执行。图2A左侧的弯曲箭头(活动261、265)表示通过一人类操作员150执行的任务活动的循环(循环回到每个箭头末尾的下一个活动),而右边的箭头(活动263、264)表示由一个或多个机器人执行的活动的循环。在协作人类机器人系统中,一些任务活动包括人类/机器人活动之间的协作交互261(例如,活动262、264)。协作交互可以涉及直接人类机器人接触、间接接触(例如,将工具保持在通过一机器人手臂持有的部件的一人类),和/或在时间或空间上紧密接近(例如,一机器人抓住一人类刚刚设定的一部件)。其他活动265、264可以由每个参与者独立地执行,并且可选地在任务的某些阶段期间并行地执行。在使用多于一个机器人120的实施例中,所述多个机器人可选地分别和/或协调地与人类操作员150交互。多个机器人可选地也彼此交互(有或没有人类交互),和/或可选地彼此分开地执行活动。
图2A还示出了人类/机器人协作,其在一些实施例中通过来自所述人类操作员150的关于何时以及将要执行哪些活动的指示来驱动。来自人类操作员150的指示271向所述机器人系统指示开始协作活动264。指示270指示所述机器人系统在与一些新活动的一协作活动之后继续,独立263或协作264两者择一。可选地,来自机器人的指示(未示出)向人类发出新的活动信号。然而,人类操作员150作为主要活动发起者是潜在的优点,因为与人类操作员150一起通常存在更大的态势感知和灵活性。
在本发明的一些实施例中解决的协作问题包括:(1)让所述人类操作员150有效地控制机器人活动选择的装置及方法,而所述控制本身不会成为所述人类操作员150(他经常忙于)的过度负担。(2)在交互261期间保护所述操作员的装置及方法,旨在减少机器人的多个安全行为(例如,避免和/或关闭)过度地干扰整体任务效率的情况。
协作任务的人类控制
在本发明的一些实施例中,所述任务环境被简化为多个预定义操作,并且提供了将多个预定义操作链接在一起以协作地完成诸如组装和/或检查的一更大任务的方法。可选地,多个预定义操作以一预定义顺序链接,和/或在通过多个产生路径将多个操作彼此链接的一任务流定义结构中链接。操作预定义和/或将多个操作结构化为更大的任务提供了允许从人类到机器人的相对简单的指示以触发相对复杂的机器人活动的潜在优点。潜在地,这减少了所述人类操作员150的控制负荷和/或提高了控制效率。
在一些实施例中,可选地卸载多个指示以通过所述人类操作员150的非任务执行官能执行,例如多个语音命令和/或多个脚踏板命令。在一些实施例中,多个指示由多个任务执行官能(例如,手及手臂)执行。可选地,它们以这样的方式定义,以使它们从活动本身的执行流出和/或进入活动本身的执行。例如,手势(例如,伸手、暂停、拿起工具、指向、打开/关闭手)都可以向机器人指示要执行什么活动,并且帮助定位所述人类操作员150的多个身体部位以执行所述任务。
移动安全与计划
现在参考图2B,图2B是根据本公开的一些实施例的在一协作任务单元中提供的不同级别的安全及移动计划的示意图。
多个嵌套框902、904、906及908指示通常增加(随着嵌套级别增加)最小安全期望901的连续级别,并且通常在每个连续的安全及计划级别下降低(再次增加嵌套级别)效率期望903。然而,应注意的是,(特别是外嵌的级别)可以包括相对大范围的安全和/或效率,这取决于它们如何实施;而内嵌的级别可能更侧重于确保安全(至少部分是因为它们降低了预测能力)。接下来总结嵌套的安全及计划级别,并且在本文中关于图4至9个别地更详细地讨论。
在一些实施例中,任务预测包封902提供一安全包封,所述安全包封基于一种类型的总体任务和/或任务操作“意识”。多个机器人运动被计划部分地基于在机器人运动期间内一人类操作员150的多个身体部位的期望位置。在一些实施例中,人类操作员150身体部位位置的期望基于先前的任务操作定义和/或模拟。在一些实施例中,期望基于执行任务操作的人类操作员(可选地,当前执行任务的特定人类操作员150)的先前自动观察。
在一些实施例中,所述系统已知即将进行的操作,例如,因为它是一预定义有顺序的操作中的下一步操作。在一些实施例中,通过所述人类操作员150向所述系统指示下一步操作,例如通过手势和/或口头命令。在一些实施例中,人类操作员指示从通过一任务的处理流程定义的一有限数量的可能选项中进行选择。在一些实施例中,即将进行的操作至少有时至少在某种程度上是不确定的,但是所述系统可选地仍然计划及执行运动,就好像下一步操作将是例如在当前任务内容中最频繁执行的(或以其他方式预测优选的)下一步操作。
应当注意的是,在一些实施例中,所述任务预测包封902用于防止一机器人部件移动通过可能是多个人类身体部位的区域中的一个或两个(即,所述预测包封用作一安全包封),并且将一机器人部件定位到预期通过所述人类操作员150指示/请求协作交互的位置(即,所述预测包封用作一目标包封)。
只要多个人类身体部位位置可预先预测,任务预测包封902可能允许移动计划从一开始就避开可能减慢任务性能的所述安全例外。由于在一些实施例中,没有绝对保证一特定操作员将总是实际上保留在任务预测包封902内,其他计划/安全级别,可选地充当后备,或者预先预测较少(例如,在一些实施例中,运动包封904),和/或检测并作出反应对于即时情况(例如,接近包封906和/或多个硬操作限制908)。可选地,当激活所述多个后备级别中的一个时,通过一视觉和/或听觉警报或另一指示来警告用户。可选地,警报的突出性取决于激活一安全后备级别所需的风险程度和/或任务干扰。例如,运动包封的非预期启动可选地通过一次要运动校正来处理,所述次要运动校正基本上不影响性能;在这种情况下,所述警报可能相对不引人注目;例如,足以警告用户他们正在将系统推到其最佳预测包封操作之外。另一方面,需要完全停止运动的一安全例外可以产生一突出的(例如,响亮的)警报指示,例如,警告所述人类操作员150和/或附近的其他人发生可能危险的事件。
在一些实施例中,运动包封904提供一安全包封,其使用人类操作员150的多个身体部位的近期位置追踪来预测那些多个身体部位在一机器人运动期间可能和/或可能将在何处。在一些实施例中,所述预测基于人类操作员150的一运动模型,可选地包括计算所述人类操作员150多个身体部位的不同关节处的加速度及速度的潜在变化。在一些实施例中,所述预测是基于观察的,例如,找到与一人类操作员150的当前运动具有相似性的过去观察情况,并基于过去发生的事情预测运动可能继续的位置。在一些实施例中,在一纯运动包封904及一任务预测包封902之间存在可选的交互:例如,一任务预测包封902基于运动学被实时细化(在机器人和/或操作员的移动期间);和/或当前任务场景(例如,当前操作)用于选择哪个运动包封904与当前移动最相关。
在下一个级别,在一些实施例中,一接近包封906通过多个传感器所定,所述传感器检测一机器人构件与一物体(例如,一人类操作员150的身体部位)的非预期接近。可选地,在不定位接近位置的情况下检测接近度;例如,检测到机器人的突出(例如,须状)和/或封装(例如,套筒状)构件的电场(例如,电容感测)、磁感测和/或机械偏转的干扰通过改变传感器值。此外地或替代地,在一些实施例中,通过感测所述操作员所佩戴的一装置的接近度来检测接近度。在一些实施例中,光学地检测接近度(例如,使用所述多个成像器件110)。一机器人对接近度的安全响应可选择将其视为一硬操作限制908,但也可以不那么生硬例如,一控制器(例如一控制单元160)可以命令所述机器人手臂减慢其移动速度,而不用完全停止。如果身体部位靠近机器人部位的空间位置是已知的(例如,通过光学感测),则可选地改变所述机器人部件的移动以使其从接近位置撤回。
在一些实施例中,安全级别902、904、906中的任何一个或多个使用所述操作员的光学追踪数据。例如,本文中关于图3A至3E中进一步讨论的光学追踪装置及方法的示例。
在最深层级别上示出的是多个硬操作限制908。所述多个硬操作限制908包括各种类型的最后一种故障保护机制,其设计用于防止(部分或完全)一机器人装置的操作,所述机器人装置只要至少与一触发条件一样长得以维持。在一些实施例中,多个触发器包括紧急停止按钮按压、口头停止命令(例如,某些单词和/或音量),检测潜在危险状况的多个传感器和/或多个机械设计限制中的一个或多个。
在一些实施例中,诸如一滑动离合器的一扭矩限制机构用以限制可通过一机器人关节施加的(潜在危险的)力的量。用于感测机器人手臂部件的相对位移的机构(例如,由于未预料到的接触力)在一些实施例中使用,并且在本文中描述,例如,关于图10A至10G。在一些实施例中,多个机器人系统包括这种机构的机器人系统被配置为当传感器指示位移时禁用或以其他方式缩减机器人的活动;例如,机器人致动在一些位移阈值之上停止。
人类操作员位置监视
现在参考图3A,其示意性地示出了根据本公开的一些实施例的用于一机器人任务单元100的一人类操作员150的多个身体部位的位置监视的装置。也参考参考图3B,其示意性地示出了根据本公开的一些实施例的与一机器人任务单元100的一人类操作员150的多个身体部位的位置监视相关联的安全和/或目标包封。进一步参考图3C至3E,其示意性地示出了由一人类操作员150佩戴的多个标记和/或多个传感器,并且用于根据本公开的一些实施例的一机器人任务单元100的一人类操作员150的多个身体部位的位置监视。
图3A强调了通过多个成像器件110(摄像机)可选地监视的所述任务单元100的部分,包括工作台140的桌面、人类操作员150和/或机器人120、122。在一些实施例中,通过多个成像器具110的监视包括通过用户150佩戴的多个位置指示装置的成像,例如关于图3C至3E所描述的。
图3B叠加在所述人类操作员150的个人多个身体部位周围的多个动态确定安全包封320、321、322的任务单元100表示的一不同视图上;包括所述操作员头部周围的包封320,以及所述操作员的手臂及双手周围的多个包封321、322。可选地,多个安全包封,附加地或替代地,也可以作为多个目标包封用于某些机器人运动,其可能有助于人类机器人协同工作。例如,一安全和/或目标包封延伸到所述操作员的多个身体部位(预测的和/或潜在的)近期到达范围内的区域;例如,通过多个包封321B及322B的说明。在一些实施例中,多个包封基于对来自多个成像器具110的图像处理来定义,以确定操作员的相应多个身体部位的位置(例如,在三维中;可选地在二维中)。基于身体部位位置感测定义的几种类型的多个分区被描述,例如本文中关于图2B及图4至9。可选地,同时管理任何所述类型的多个包封,例如,通过多个机器人移动来避开的多个安全包封,同时寻找一个或多个适当的目标包封。此外,在任何给定时间可能存在保护一特定人类操作员150身体部位的多个安全包封,例如一任务预测。
在一些实施例中,位置感测是基于人类操作员150所佩戴的传感器和/或指示器;例如,作为图3C至3E以手套340、环370、袖套350、手镯360和/或头盔380的一部分佩戴在手、手臂、手指和/或头部上。这种传感器和/或指示器的潜在优点是将人类运动追踪的计算复杂性降低到易于识别(例如,高对比度)标记的运动的追踪问题。
在一些实施例中,多个指示器341、342包括光学上明显的标记(即,与场景中的其他物体不同,例如,由于反射/荧光特性,和/或由于有源光发射)。可选地,环370和/或手镯360在光学上不同于其他场景对象,例如,它们的反射/荧光特性,和/或由于有源光发射。可选地,多个指示器也可以彼此区分,例如,通过它们的特定图案(可选地包括相对于彼此的布置图案)、方向和/或着色。
可选地,多个指示器包括发光二极管(LED)。可选地,一特殊光源(例如,UV光)被提供用以诱导荧光,和/或在特定波长下诱导反射,可选地所述波长在可见光、紫外和/或红外波长下的波长。多个成像器件110被配置成用以发送所示多个指示器的多个图像到控制单元160或配置用以处理所述多个图像的另一装置、检测光学区别及从中确定所述指示器的所述位置(例如,在三维空间中的位置,和/或可选地一个二维空间,例如相对于所述工作台140的主工作面的平面定义)并且由此推论,通过穿戴所述多个指示器的身体部位。用于分析操作员身体部位位置的任务单元100的所述子系统可选地是包括多个摄像机110、控制单元160的一运动捕捉系统。可选地,检测到的所述位置用于计算通过控制单元160到控制机器人运动的多个动态安全包封。可选地,检测到的位置用于确定多个运动目标,例如,将部件带到一预期人类操作员150将指示一协作操作的一位置(例如,如关于图4所描述)。
在一些实施例中,多个指示器包括非光学发射器和/或辐射能量接收器,例如射频能量。所述射频能量可选地通过所述机器人的部件来感测以指示接近。例如,在一些实施例中,RFID标签被佩戴,并且在与一机器人构件所携带的一RFID读取器足够接近时被感测。在一些实施例中,将传感器整合到手套340、环370、袖套350、手镯360和/或帽子380中的任何一个中,以指示人类操作员150的多个身体部位的移动和/或位置。例如,多个惯性传感器或多个电磁场传感器,其检测例如从多个机器人部件产生的电场的接近度。
在受控制的组装环境中,多个人类操作员经常穿着特殊服装;例如,使得一洁净室适合控制污染的一长袍。可选地,指示器341、342被附加到衣服本身,和/或由与污染控制和/或其他组装室要求兼容的材料制成的佩戴物品(手套、袖套、帽)制造。在一些实施例中,多个指示器341、342应用于标准组装区域服装,例如贴纸。
任务预测安全和/或目标包封
现在参考图4,其是示意性地表示根据本公开的一些实施例,基于人类操作员150多个身体部位在计划移动期间的位置的预测评估来计划机器人移动的流程图。
在本发明的一些实施例中,多个任务被分解为多个操作;每个操作本身可以包括一起完成所述操作的一系列一个或多个动作(机器人和/或人类)。一典型的协作人类/机器人操作包括一个或多个机器人移动、人类的移动以及一个或多个进一步的动作;例如,一工具的操作、一部件的放置和/或一部件的检查。操作也可能仅限于人类,仅限于机器人。机器人及人类操作员150可以同时执行不同的多个操作。本文关于图12至14的描述提供了如何定义多个任务、操作及其动作的示例。一任务的多个操作可选地以预定义的顺序发生。可选地,操作顺序是可变的,例如,在预定义的一组选项中的一些先前操作之后可选择下一步操作。可选地,一操作员从可用操作库中自由选择操作顺序。
在一些实施例中,一任务预测包封的自动确定(框902)导致产生一预期任务包封919。所述预选任务包封919又可选地通过移动规划器920(可选地与其他信息一起使用,例如,人类操作员指示和/或其他安全包封计算和/或数据)来产生一移动计划921。在一些实施例中,移动规划器920被实现为控制单元160的一模块。在一些实施例中,移动规划器920使用所述预期任务包封919来确定机器人移动期间以大致避开哪些区域及哪些时间。可选地,移动规划器920还计划机器人动作,例如工具和/或夹具致动,作为移动计划921的一部分,以避免违反多个安全包封考量。可选地,所述预期任务包封919也通过所述移动规划器被用来选择和/或细化多个移动目标,和/或规划工具致动。例如,具有一短暂预热或旋转周期的工具可选地被计划为开始在这个时段之前,基于何时预期将实际使用所述工具。
在输入侧,预期任务包封919的创建可选地从接收当前主动操作911的一指示开始。可选地,所述指示来自人类操作员150;可选地,所述指示被接受在初始处理,例如语音和/或运动处理,之后,以将指示转换为一机器可用形式)。此外地或替代地,可以存在一操作预测器912,其提供将要执行的一预测操作的一指示。在一些实施例中,操作预测器912被实现为控制单元160的一模块。在一些实施例中,预测是基于所述任务被预定义为一固定的有顺序的操作。在一些实施例中,预测是统计的,例如,基于通常是下一步骤的内容,可选地通过预期开始计划和/或移动的相对优势加权,考虑到预测不正确的可能性。在一些实施例中,预测基于多个隐含指示;例如,一操作员的多个身体部位正在和/或正在移动,可能是为了预期执行下一步操作。潜在地,这允许计划并且可选地甚至开始机器人移动,在所述人类操作员150指示它们之前,和/或允许机器人自主操作一段时间。在一些实施例中,操作预测器912基于任务计划操作,例如如关于图12至14的描述。应当理解的是,如果操作预测器912的所述预测证明是不正确的(例如,如果它被人类操作员150覆盖),则可以中止移动或其他动作,并且一不同动作被计划或其他动作启动。
框913表示一组一个或多个操作定义,其选自基于主动操作911的输入或操作预测器912的输出,以向包封规划器916提供一输入。在一些实施例中,包封规划器916被实现为控制单元160的模块。
例如,关于图12至14描述了操作定义的多个示例。在一些实施例中,提供给包封规划器916的所述操作定义包括例如移动路点和/或目标的描述之类的信息。描述可以是高级别的(例如,部分托盘指定和/或识别的多个组装分区),或低级别,例如,指定为特定的坐标。路点和/或目标可选择动态地自行移动;例如,所述目标可以被定义为人类操作员150(可能移动的)手前面的位置。还可以与操作指示相关联应该(或可以)怎么执行移动的速度和/或精确度。在一些实施例中,所述操作定义指定何时和/或何处应激活多个工具。在操作定义中可选地指定操作内事件,例如,触发操作中的下一个动作和/或终止当前操作的事件。可选地,所述操作定义包括与操作的协作方面有关的元数据。例如,可以使用所述信息来确定哪个安全包封在任何给定时间应该是激活的还是不激活的,具有什么激活阈值,和/或如果允许一安全包封被人类操作员停用例如,允许协作发生。
可选地,所述操作定义包括基于假设、模拟和/或包括位置测量的先前历史,在操作期间预期多个人类操作员移动发生的一指示。在一些实施例中,在框917,通过包封规划器916将完成操作所需的人类移动的多个指示转换为一操作框架包封。在一些实施例中,在框918,完成操作所需的人类移动的多个指示与多个操作员的先前经历的位置观察914、915组合以产生一操作经验包封。可选地,这些中的一个被提供作为预期任务包封919。可选地,所述两个包封被组合以产生预期任务包封919。
现在参考图5A,其根据本公开的一些实施例的与机器人120协作执行任务操作的人类操作员的多个身体部位的预期位置1015、1017分区以及预测的协作分区1021。。还示出了机器人122、轨道121及工作台140的工作表面以供参考。
在一些实施例中,一移动期望是基于关于所述人类操作员将如何执行一给定操作的一先验假设(在这种情况下,先验意味着在没有运动捕捉位置测量的益处的情况下做出的假设,如关于图5B至5C所描述)。可选地,这样的假设是从模拟产生的,例如一模拟人类操作员的移动范围,和/或在任务的计算机模拟期间一模拟人类操作员的详细模拟。例如,可以选择相关操作,因为它是一预定义的有顺序的操作或其他处理流程结构中的下一步操作;和/或因为通过人类操作员明确地或隐含地向所述系统指示。
所述假设可选地由一工程师(例如,制程、工业和/或制造工程师)定义,例如,在一计算机辅助设计(CAD)程序的帮助下工作。可选地,一先验的假设是基于模拟,其中一人类操作员的移动被预测,例如使用在所述任务中作为一代理执行的一模拟人类。可选地,模拟包括多个参数以模拟人类运动可变性,例如,部分随机化参数、在合适范围内变化的参数或其它方法。移动期望可选地被定义为预期发生移动的一路径,路径家族和/或区域。移动期望可以被定义为静态的,和/或作为时间的函数。
在图5A中,多个移动期望被定义为多个分区;分区1015定义用于左手的移动,分区1017定义用于右手的移动。分区1021表示一概念协作分区,在其中预期有机器人120及人类操作员150之间的多个协作动作发生。在一些实施例中,一个或多个附加运动分区被定义,例如用于所述操作员的头部(例如,可以将其带入所述协作分区以利于更好地检查工作)。所述多个分区用轮廓线表示,其可选地表示具有不同占用概率、停留时间或另一加权统计的多个分区子区域。可选地,多个分区被简单地定义为包括一路径或区域,而不参考相对权重。
多个运动路径1011、1013表示机器人120的一工具端可以采取以便于到达分区1021的两个不同的可能的接近路径。运动路径1011可选地是可能是优选的一路径(例如,时间最佳路径),在没有安全需求的干扰。运动路径1011提前侵入左手的预期人类运动分区1015,并保持在那里。运动路径1013表示可以通过移动规划器920根据人类运动分区1015产生的一不同路径。路径1013避免进入分区1015直到其目标附近。可选地,沿着路径1013的横断还被定义为在期望人类移动的地方使用较慢的移动。在一些实施例中,路径1013的计划考虑了多个分区子区域的不同权重。因为,在一些实施例中,所述预期任务包封919并不完全依赖于安全,所以可能优选的是选择初始运动计划以避免潜在的多个碰撞仅仅是一“可接受的低”部分时间(例如,不碰撞的50%、80%、85%、90%、95%的预期几率)。机器人行动以避免偶尔出现的潜在碰撞事件,这可能是基于其他考量,通过后备安全包封的激活引起的。
应当注意的是,协作分区1021的定义可能成为一种自我实现的预测,因此所述人类操作员150可以到达那个分区,因为他们认为这是机器人120正在移动到的地方。然而,可选地,例如,如果使用人类的运动追踪的手来定义所述机器人120的目标分区,则机器人120的实际路径将偏离原始计划的轨道1013以到达目标分区,无论其移动到何处。在一些实施例中,这种与一先验的人类操作移动期望的偏差的历史被使用以允许适应初始计划,例如现在关于图5B至5C的描述。
现在参考图5B,其示意性地表示根据本公开的一些实施例的与机器人120协作执行任务操作的人类操作员的多个身体部位的预期位置1008、1006分区以及预测的协作分区1010。还示出了机器人122、轨道121及工作台140的工作表面以供参考。
在图5B中,位置1008、1006及1010的所述多个分区是基于先前操作员观察915的一数据集,其中数据集包括对于一些操作员群体在所述操作执行期间操作员身体部位位置的多个测量值。在一些实施例中,所述测量值优先地进行使用运动捕捉系统进行测量,例如,使用多个成像器件110,以及可选地一个或多个关于图3C至3E描述的指示器和/或传感器。可选地,数据集包括对于一模拟人类操作员的身体部位位置模拟;例如,在所述任务的部署前开发期间,和/或在部署任务之后运行模拟以进行任务细化/故障排除。
在所示的情况下,人口级别的观察结果似乎反映了右手操作员的移动,他们更喜欢在左侧辅助的情况下略微向身体中心的右侧工作。同样,轮廓线可选地指示与观察到的移动相关的权重,例如,概率、停留时间、实例计数或另一加权统计。在一些实施例中,在这个模式之后,包封规划器916可选地在框918处定义一操作经验包封,其对人类操作员的左手侧附近的移动的限制比对图5A的情况的限制更少。可能比图5A的情况更现实地定义目标分区1010,从而可能需要更少的最终校正(以避免碰撞和/或将机器人120置于需要它的地方)。
同样,机器人运动路径1002表示在没有碰撞避免限制的情况下的概念“最佳路径”。机器人运动路径1004表示例如通过运动规划器920产生的人类运动调节路径。
现在参考图5C,其示意性地表示根据本公开的一些实施例的与机器人协作执行任务操作的人类操作员的多个身体部位的预期位置分区1005、1007以及预测的协作分区1012。还示出了机器人122、轨道121及工作台140的工作表面以供参考。
在所示的案例中,位置分区1005、1007及协作分区1012的观察是基于对执行任务的特定及当前人类操作员150的观察。与人类操作员150的一般群体(如图5B所示)中可获得的数据不同,当前的操作员似乎更喜欢左手主导行为,并且变化比一般人群显示的更少。现在最佳(碰撞-忽略)路径1001更短(因为协作分区1012更靠近机器人12的基部),因为碰撞-避开路径1003考虑了预期的人类身体部位位置。
在一些实施例中,操作员间差异的另一个原因是其后的操作的差异。关于图17A至17D描述了支持多个路径在多个操作之间的一任务。潜在地,不同的操作员(或者甚至在不同时间的相同操作员)可以通过这样的任务遵循不同的途径,并且所述不同的途径可以导致不同的人类操作员运动历史。
应当理解,图5A至5C中描述的不同类型的预测基础可选地在本发明的一些实施例中在某种程度上全部使用。例如,不同类型的位置指示可以通过权重的排列来组合;例如,个人数据的权重比群体数据更高(更重要),并且两者的权重都高于一先验的假设。在一些实施例中,对不同类型的位置指示进行加权,使得它们有效地形成彼此的后备:例如,如果可用则使用个人人类操作员数据;如果没有,则使用群体数据,并且在有群体经验之前,依赖一先验的人类运动假设。
然而,所述先验的假设可以被赋予最大的重要性,例如为了鼓励人类操作员允许最佳机器人运动的工作实践,可选地将偏差考虑到足以提高效率,但是不够,例如,将协作目标分区驱动到次优位置。
在一些实施例中,仅使用运动追踪历史的一部分;例如,时间限制的运动追踪历史仅使用最近的几个操作性能来预测运动。
在一些实施例中,操作的实际体验可以包括发现比最初可用的更有效的人类和/或机器人运动组。可以启用发现,只要可以设置机器人动作以适应个体人类操作员行为的变化。可选地,通过选择任务预测包封更加类似于已知的最有效的人类运动来利用这种发现。可选地,操作员被明确训练以遵循这个优选的运动包封。潜在地,所述机器人动作成为人类操作员150关于他们应该执行什么动作的线索:所述人类操作员150可能倾向于达到机器人120寻求的更有效的目标协作分区,和/或可能倾向于避开所述机器人经过的分区。同样,尽管这可能会导致“类似于接近未命中”的增加,而人类正在学习修改自己的行为,但安全分区的一层次结构可选地提供有助于保持整体人员操作员安全的多个后备。
可选地,单个用户的任务预测包封的部分似乎诱导机器人遵循次优(例如,慢于必要和/或目标)运动路径被指示给人类操作员150(例如,通过显示在一用户界面屏幕161)。人类操作员150可选地可以开始避开那些区域,可能在机器人路径规划中减轻它们的权重。可选地,人类操作员150可以选择从他们的运动历史中修剪问题区域,以便机器人可以返回到更优选的运动路径。可选地,可以类似地修剪群体历史;例如,为了消除历史上不太可能重复的运动的影响,和/或不经常使得优选依赖于后备安全机制。
运动安全和/或目标包封
现在参考图6,其是描述根据本公开的一些实施例,基于一人类操作员150的移动的运动观察预测的一安全和/或目标包封的机器人活动控制的产生及可选使用的示意性流程图。现在参考图7,其示意性地示出了根据本公开的一些实施例,根据图6的流程图产生及使用的一安全和/或目标运动包封的一示例。图7示意性地表示与机器人120协作执行一任务操作的人类操作员的多个身体部位的预期位置分区1108、1110。还示出了机器人122、轨道121及工作台140的工作表面以供参考。
在框904内,在一些实施例中,通过冲突预测器模块932生成一运动包封。在一些实施例中,冲突预测器932被实现为控制单元160的模块。在一些实施例中,冲突预测器模块932的输入包括所述人类操作员150的多个身体部位的多个运动观察931(包括位置测量,例如本文关于图3A至3E所述的测量)。可选地,所述输入包括现有的移动计划930(例如,根据图4的过程生成的一移动计划)。另外地或替代地使用一现有的移动计划之外,在一些实施例中提供并使用一操作定义(图6中未示出);例如,从关于图4所描述的操作定义913中选择。
在一些实施例中,冲突预测器932将运动方程应用于当前人类操作员150身体部位位置,速度(最近位置随时间的变化)和/或加速度(最近速度随时间的变化)的测量值以预测何处预计每个测量的身体部位将在短暂的未来时间段内,例如,机器人部件处于运动或执行另一活动的时段。刚才提到的运动学术语是作为示例提出;可选地,使用其他(例如,更高阶)运动学术语,例如:关节角度(可选地包括描述关节角度如何变化的术语),加速度的变化和/或改变加速度的变化。
在一些实施例中,从当前状态(例如,图7的位移箭头1115、1117表示在某个特定未来时间的位置)的简单推断被添加一定程度的未来不确定性。这可以以不同方式体现。例如,在一些实施例中,假设未来加速度可能与当前值不同。变化(及其在身体部位位置随时间的结果)可选地在基于当前加速度的范围内模拟(例如,在±10%、±20%、±30%、±40%、±100%内或内另一个范围)。
在一些实施例中,先前观察到的当前运动学测量与未来运动状态之间的关联用于定义一系列可能的未来位置。例如,对于一身体部位(例如,手),可以通过当前测量与一特定运动状态向量(例如,[P0,V0,A0],包括位置,速度及加速度)相关联。所述当前运动状态向量例如通过冲突预测器932映射,其中测量的多个身体部位(例如,其他手)的运动状态向量在一任务单元100内类似地移动。可以使用任何合适的相似性定义;例如,欧几里德矢量距离在一阈值内。然后,在一些实施例中,当前移动的身体部位的推断未来状态被预测为从那些相似的运动状态向量演变的先前观察到的未来状态的叠加。
在图7中,包封1108、1110示出了将当前运动状态扩展到可能的未来位置范围(在未来时间的某个时刻)的结果。轮廓线可选地描绘不同占用概率或另一个权重统计的分区。
在一些实施例中,移动规划器920使用包封1108、1110来调整机器人移动(和/或其他机器人动作)以避免(例如,为了安全)和/或寻求(例如,用于协作动作)多个的位置。身体部位的人类操作员150,生成一个新的或调整过的移动计划921。
例如,在点1101处,通过冲突预测器932的运动学预测表明在将来某个时候机器人手臂120沿路径1102的预期会侵入(和/或不能充分地排除路径1102将不会侵入)到所述预测的运动包封1108中。可选地,移动规划器920将机器人手臂920的运动转移到新路径1106上。
作为目标调整的示例,机器人120的原始计划的运动基于操作员150的右手的当时预期的最终位置而瞄准路径1106的末端。在运动期间,右手开始以一种方式移动在沿着路径1106的点1105处,现在预测机器人120具有过冲的可能性。移动规划器920通过沿移动路径1104产生新的和/或修改的移动计划921来补偿。
基于运动包封预测的动作调整不一定寻求绝对避免任何碰撞机会,或者在每个时刻完美地寻找目标。例如,当碰撞的可能性为约1%、5%、10%、20%、25%、50%或另一个更大,更小或中间概率时,可选地设定触碰可能性的阈值以触发重新计划。随着碰撞可能性随时间上升,可能超过阈值。应当注意的是,在机器人活动期间以任何合适的间隔(例如,每20毫秒,50毫秒,100毫秒,500毫秒,1000毫秒或另一更大,更小或中间间隔)连续地重新计算多个运动包封预测。
在一些实施例中,需要响应潜在碰撞的估计反应时间的标准用于计划活动调整。例如,当情况达到超过一点时机器人手臂不能保证及时响应避开命令时,可选的碰撞可选地仅通过移动规划器920作出反应(这也可以被理解为一接近包封的类型,如关于图8所述)。可选地,移动规划器920通过进行小的调整(例如,不超过一小的时间罚分的调整)来提前移动以寻求维持一特定最小避开缓冲器,从而不太可能需要突然调整以避免稍后的碰撞。可选地,立即实施任何足够低惩罚的路径调整以降低碰撞可能性,但是避免高惩罚路径调整直到无碰撞碰撞保证立即存在风险。可选地,代替完全碰撞避免是移动规划器920的目标,目标是避免碰撞达到或高于某个速度阈值,所述速度阈值被认为是潜在危险的,例如,5厘米/秒、10厘米/秒、20厘米/秒、50厘米/秒、100厘米/秒,或其他更快,更慢或中等的碰撞速度。可选地,所述速度阈值非对称设置对于通过所述机器人的移动及通过所述人类操作员的移动;例如,当机器人本身以相对较慢的速度移动时,允许人类操作员的身体部位以相对较高的速度接近机器人(例如,人类操作员以2:1、3:1的速度相对速度),5:1、7:1、10:1比例或更高)。
接近包封及停止命令
现在参考图8,其示意性地示出了根据本公开的一些实施例的一接近包封的产生及使用的一示例。
在一些实施例中,接近包封906基于接近数据943的输入通过冲突探测器944生成。在一些实施例中,冲突探测器944被实现为控制单元160的模块。在一些实施例中,接近数据943包括运动捕捉位置数据,例如在一些实施例中与包封902和/或904一起使用的运动捕捉位置数据。在这种情况下,接近包封906可选地实施为运动包封904的基本限制情况。在一些实施例中,提供其他接近数据作为输入。例如,例如关于图3C至3E描述的那些之一的佩戴装置可选地包括一无线电发射器和/或接收器(诸如RFID装置)。当适当配备的机器人部件进入所述发射器和/或接收器的范围内(例如,足够接近以引起并接收来自RFID装置的查询响应时),检测到接近,并采取规避行动。可选地,机器人设置有在危险接触之前(并且感测或允许感测)软接触的构件,例如,耦合到力检测器的突出的晶须、具有被配置为电容性地感测接触的表面的软套管、或者另一感测装置。根据可从接近数据获得的详细程度,通过移动规划器920计划用于产生一修改的移动计划921的规避行动可以是,例如:减慢机器人、停止机器人和/或撤回机器人。例如,如果仅检测到接近,则移动规划器920可能无法确定哪个规避方向是正确的,因此减慢或停止机器人手臂是最安全的选择。如果检测到方向以及接近(例如,已知机器人120的哪一侧传感器晶须展开),则在一些实施例中,撤回成为规避的附加选择。
现在参考图9,其示出了根据本公开的一些实施例的多个硬操作限制的检测及使用。
在一些实施例中,发出一停止命令955,在框956处停止机器人活动(例如,停止移动和/或停止工具操作)。多个包封902、904、906的任何光学或其他感测条件可选地被视为停止命令955;然而,停止行为仅限于碰撞的潜在优势显然迫在眉睫,否则是不可避免的,并且具有潜在的危险性。在一些实施例中,其他类型的输入也可以被接受为停止命令。例如,机器人在其一个或多个关节处的感测到的力位移可选地触发机器人停止(关于图10A至10G描述了提供这个选项的示例的实施例)。可选地,提供例如紧急停止按钮和/或设施以响应诸如“停止”、大声噪声、剧烈振动或在机器人操作中,任何其他明确或隐含的安全中断需要的口头命令。
示例位移力感测安装
现在参考图10A,其示意性地示出了根据本公开的一些实施例的安装在一旋转位移力感测装置430上的一机器人手臂120,并且还包括一轴向位移感测装置420。在图10B至10G中进一步解释了这两个装置。
现在参考图10B至10C,其示意性地示出了根据本公开的一些实施例的一轴向位移力感测装置420的构造特征。在一些实施例中,装置420包括通过弹簧462彼此分开的两个板件461A、461B。在图10B中,示出装置的弹簧不在适当位置,以便更好地显示两个板件的正常相对位置。在图1C中,弹簧464被示出就位,通过它们各自的弹簧安装件462、463保持在每个板件上。在两个板件之间定位有多个距离传感器465,其在一些实施例中包括光学传感器,其测量所述传感器到所述板件表面的距离。
现在参考图10D至10E,其表示根据本公开的一些实施例的结合图10A至10C的所述轴向位移力感测装置420的一机器人头部的轴向位移。机器人头部515在穿过其中的轴上安装到装置420,并且构造成沿图10D中箭头452所示的方向旋转。
当横向力(例如,由于与人类操作员的身体部位的碰撞)被引导到板件461A上承载的负载(例如,机器人头部515)时,板件461A倾向于在其弹簧464上倾斜(箭头451),改变由一个或多个传感器465感测的距离。在一些实施例中,控制单元160接收改变的传感器输出。在一些实施例中,当距离变化超过某个阈值时,控制单元160将其解释为停止命令,例如,如关于图9所描述的。在一些实施例中,连续监视距离变化,允许分级响应(例如,在完全停止之前实施,降低马达运行功率。可选地,缩减或调整停止和/或减慢响应以考虑预期负载下的变化,例如,当工具头515被压向工件以便完成操作动作时。
现在参考图10F至10G,其示意性地示出了根据本公开的一些实施例图10A的所述旋转位移力感测装置430的一部分的正常及位移位置。
在一些实施例中,机器人120的部件在任何合适的旋转铰接点处安装到一旋转感测装置430,例如如图10A中所示。图10F至10G从正面视图示出了装置430。在一些实施例中,元件433及434(外部元件434可以是用于内部元件433的壳体)彼此压靠以形成摩擦配合,所述摩擦配合抵抗旋转直到一特定力。它们可选地设有表面突起,例如棘齿,以增强摩擦配合。另外地或替代地,内部元件433通过弹性布置相对于外部元件434保持就位;例如,将它们互连的弹簧(未示出)。通常,元件434在元件433上施加旋转力时与元件433一起旋转。然而,当所述元件434产生足够的扭转力432时,元件434脱离与元件433的锁定,引起旋转位移,例如,如图10G所示。可选地以任何合适的方式感测位移,例如,使用光学编码器,电位计变化或其他感测装置。控制单元160可选地配置成对感测到的元件433和434的对准变化作出反应,例如,通过关闭机器人的操作,或者以另一种方式,例如关于轴向位移力感测装置420所描述。
任务配置及验证
任务的一般执行
现在参考图11,是示意性地示出根据本公开的一些实施例的配置及使用一机器人任务单元的方法的流程图200。
图11的流程图假设任务单元的先前配置以及描述与任务单元一起使用的任务(过程)的一个或多个任务计划。所述流程图启动(框210),其由人类操作员或软件或固件中的每组订单选择新的任务计划(例如组装流程的计划)。在一些实施例中,如关于图12至14进一步详细描述的那样实现任务计划。
在框220处,所述任务单元经受安全验证,例如通过执行应触发安全系统的操作。
在框230处,在一些实施例中,所述实际新任务通过人类操作员激活,和/或由预设信息激活。
在框240处,在一些实施例中,测试执行任务所需的有顺序的操作(在实际或模拟运行中步进),以验证机器人的功能以及人类操作员对该过程的理解。。
在框250处,任务流程开始。
此时,机器人任务260和人类任务262继续进行,独立地或协作地并行执行,例如如关于图2A所描述的,可选地包括同步和监视以保持双方协同工作。
操作计划/训练
现在参考图12,其示意性地示出了根据本公开的一些实施例的用于设计要与一任务单元执行的一新协作任务操作的流程图。所述流程图被描述为好像是针对物理任务单元执行的。然而,应当理解的是,模拟任务单元也可以用于训练,只要它被设置有适当的模拟部分,所述模拟部分对应于在执行任务时将在实际任务单元中找到的部分。可选地,协作任务操作的设计和/或修改作为任务的普通执行的一部分发生,例如,基于实际记录的动作。
提供图12的流程图是为了解释的目的,以提供如何完成配置任务操作的过程的可用示例,并且不排除配置任务操作的其他方法的替换,包括当前任务的修改。根据需要省略,复制或以其他方式更改特定任务不需要的步骤。
在一些实施例中,流程图开始,并且在框1202,执行任务单元100的布局。这可以包括安装机器人120,在其位置校准机器人,定位零件和工具,以及在其适当位置准备具有所需元件的工作环境。放置在任务单元100的工作环境中的物件的示例可包括例如材料处理装置,例如夹具部件进给器和/或固定装置;保持装置,例如桌面和/或机架安装的定位销,其配置成将部件保持在可再现的位置和/或方向;和/或工具架和/或工具库。所使用的工具可选地包括例如螺丝刀(和/或用于紧固的其他工具,例如套筒驱动器和/或铆接机),研磨机(和/或用于轻型加工中的其他工具,例如研磨,锉削和/或精加工)。焊接装置,切割器(激光器,水和/或机械切割器,例如剪刀和/或锯),和/或鼓风机(例如,用于加热和/或冷却的鼓风机)。可选地,提供专用工具(例如,用于执行特定于准备电缆连接器的动作的工具)。
在框1204处,在一些实施例中,给出了人类培训师指示要向系统“教导”新操作的指示。该指示可以是任何适当的按钮按压,用户界面命令,手势,口头命令或系统被配置为接收和解释的其他指示。
在框1206处,在一些实施例中,使机器人进入将要执行某些进一步操作的位置。可选地,该位置是绝对位置。但是,也可以有条件地定义或以其他方式部分抽象;例如,作为“第一可用组件”,“某个托盘中的第一个可用空闲空间”,“右手前方的位置”,和/或“对应于某个标记的位置”。当机器人执行已经定义的操作时,可选地执行定位(和/或操作的任何其他动作),该操作将在当前训练会话中被修改。
在框1208处,在一些实施例中,选择要在框1206中设置的位置处执行的子操作。子操作可以包括,例如,工具的操作,抓取工具或部件,或另一个子操作。
在框1210处,在一些实施例中,定义可应用于操作的当前部分的触发器,目标和/或停止条件。其中一些,特别是停止条件,可能与安全有关,例如,对接近和/或过力的敏感性。可选地,例如为了允许操作员手动与机器人交互和/或让机器人忽略通过工具施加的正常接触力,有意地禁用或以其他方式调整默认暂停条件。在一些实施例中,触发器指示子操作的开始和/或结束:例如,如果通过螺丝刀工具感测的扭矩超过阈值,则可以认为其驱动的螺钉已经完全插入。子操作的目标可选地表示为完全预定的(例如,特定工具),具有一些可变条件(例如,托盘中的下一个物件)预先确定,或动态确定,例如根据口语,手势和/或人类操作员给出的其他控制指示。
在解释“子操作”的含义时,现在参考图13,其是示意性地表示根据本公开的一些实施例的一典型定义的机器人子操作的多个阶段的流程图。
框1206至1210的结果一起被认为是定义“子操作”的示例,其中一个或多个可以串在一起以完成整体操作。反过来,操作可以串联起来创建任务。为方便起见,选择各级之间的划分;例如,不一定是子操作和什么是操作之间的绝对分界线。出于描述的目的,“子操作”是低级机器人设施的使用。它包括移动和驱动的简单配对(可选地只有其中一个),可选地与触发它的事件,先决条件和/或条件一起,以及存在在它完成之后的一状态(例如,等待下一个事件)。
“操作”封装子操作。它可以简单地是一个子操作,但是通常包括产生中间结果的一个或多个子操作的刻板序列,并且之后可以确定地选择或不确定下一个操作。在操作中可以存在多个代理的子操作,例如,一个或多个机器人和/或人类操作员。这里将操作视为面向目标的更大组装和/或检查任务的功能构建块。同时,一些操作足够通用,可以用作一系列不同任务的“插件”对象。
在一些实施例中,操作还定义“指示上下文”,其设置如何解释来自人类操作员的口头命令,手势和其他输入。例如,如果操作员说“带螺丝”,如果有多个螺钉类型,则在整个任务的上下文中命令术语可能不明确。然而,在某一操作的范围内,一旦操作开始,可能很清楚,在操作的当前部分需要哪种螺钉类型。在一些实施例中,为不同的操作设置不同的指示上下文。在一些实施例中,指示上下文定义可以命令的“名词”(认为对其起作用)和“动词”(可执行的动作)的可用调色板,将它们限制为当前操作的合理替代。
举一组例子:“操作螺丝刀”是子操作(或者可选的子操作的一部分,也包括“将螺丝刀移动到位”);“将两个部件拧在一起”是一种操作(部件,螺钉和工具都需要在操作螺丝刀之前作为单独的子操作移动到位),并且“组装包括两个部件和两个螺钉的组件”是任务(例如,根据图17A至17D的主要例子)。
在框1302,子操作以为其设置的任何触发开始(其可以是,例如,最后操作的结束,人类操作员150的指示,计时器事件,由操作完成操作)。不同的机器人,或其他事件)。在框1304处,在一些实施例中,机器人根据其对当前操作的训练可选地移动到位。在框1306处,在一些实施例中,可选地在机器人已经移动到的位置处执行动作,例如,激活工具,和/或抓取或释放零件或工具。子操作可选地包括没有平移移动1304的动作1306(例如,如果要在相同位置执行多于一个动作),或者没有动作的移动1304(例如,如果执行移动以便移动机器人手臂挡开,直到下次需要)。
在框1308处,在一些实施例中,机器人可选地触发其下一个子操作(或完全的新操作),和/或进入等待状态以接收下一个子操作或操作触发器。
返回到图12的流程图:在一些实施例中,在框1212做出是否将更多子操作添加到当前操作的决定。如果是,则流程返回到框1206。
否则,流程在框1214继续,其中操作定义可选地完成,其中将触发器,先决条件,暂停条件和/或目标指定分配给它所封装的子操作的“包”。在方框1210处关于子操作讨论的各种环境分配之上,可以定义操作以指定“指示环境”,其给予某些一般指示的本地化含义,例如,如关于图13所解释的。
在框1216,做出关于是否应该定义更多操作的决定。如果是,则流程返回到框1204。应当注意的是,操作不需要以其装配顺序实际教导;可选地,它们以较大的流程图连接,例如,如本文关于图14和图17A至17D所描述的。
否则,在框1218,在一些实施例中,根据需要执行测试和调整训练的操作,并且流程图结束。
任务计划/培训练
现在参考图14,其示意性地示出了根据本公开的一些实施例的用于与一任务单元100一起使用的任务(例如组装和/或检查任务)的定义及可选地验证的流程图。
在一些实施例中,基于任务提供任务需求规范1402来定义任务。在一些实施例中,任务需求规范包括工具清单1404,物料清单1406(BOM),以及需要在任务单元中执行的一组操作1408,并且使用工具1404及BOM1406来完成任务。出于本说明的目的,此时将操作指定为“高级别”描述-指定需要连接到什么的描述,例如,不必详细指定如何进行这个操作。
在一些实施例中,可选地为一个或多个操作员提供操作员特定数据/需求1411。操作员特定数据/需求1411可选地包括用于任务需求规范中指定的类型的操作的过去性能信息,例如,记录的身体部位运动数据,和/或诸如吞吐率和/或疲劳统计的汇总统计。在一些实施例中,操作员特定数据/需求包括特定偏好,特征和/或能力的提及;例如,手性,残疾(例如,操作员单手工作),操作员的大小(例如,体重,身高和/或肢体长度),操作员是否最接近他们的身体(例如,由于视力或肢体长度)或优选较大的间距,优选(和/或先前使用)的机器人运动速率和/或其他特征。在一些实施例中,按类型分配操作员专用数据,每种类型包括一个或多个操作员。在一些实施例中,
在框1410处,在一些实施例中,任务规范被转换为用于任务单元的可用任务配置。在一些实施例中,任务需求规范被加载到软件工具中,该软件工具包括实现可由例如生产和/或制造工程师使用的模块的CAD工具,以将任务需求规范1402映射到任务单元100的细节并且可选地它的环境。CAD工具可以例如提供任务单元100以及可选地其环境和/或人类操作员150的空间和运动建模。
在框1412处,在一些实施例中,工具列表1404和BOM1406上的物件被映射到计划任务单元100配置,例如通过在CAD工具模拟中创建这些物件的表示并将它们适当地放置在模拟任务单元100中。
在框1414处,在一些实施例中,操作1408被映射到任务的处理流程中。这本身可选地包括三个主要部分:操作选择,到整个任务流程的操作链接,以及控制设置。
对于第一部分,在一些实施例中,操作从预先存在的操作库中选择,该库适合(可能在对诸如工具,BOM物件及其在计划的单元配置中的位置的特定目标的适当修改之后)需求可选地,设计一个或多个新操作,例如,如本文关于图12所描述的。可选地,库还包括一个或多个预定义的操作序列。
对于第二部分,在一些实施例中,操作被链接在一起成为整个任务流。可以将任务流概念化为流程图,该流程图示出了可以在完成任务中使用的每个操作如何与关于跟随,在其之前和可选地与它们并行运行的其他此类操作相关。通过任务可以只有一个(例如,预定义的序列)或多个路径。可选地,定义了多个不同的路径,每个单独的操作可以是其中的一部分。操作可以彼此并行地(即,同时地)运行,例如在机器人活动和人类活动可以彼此分开进行的任务的部分中。
在一些实施例中,任务流环境在可用的一组操作中基本上或完全是自由形式的,或者可在定义的任务流和自由形式的任务模式之间切换。例如,这可能有助于操作员在“问题解决”模式下使用工作台。这可能会减少任务设置和设计的开销,但可能会降低准确性和/或效率。例如,自由形式的任务设计可能使机器人系统无法正确地预测下一个操作(可能降低移动计划效率),在适当时可能不太能够自主操作,在解释用户指示时可能更容易出错,和/或可能减少自信地验证整个组装任务的可能性。
单个操作优选地是模块化的,允许它们串联在一起而不需要基于之前或预期之后的内容进行内部修改。然而,在一些实施例中,操作将包括可能需要诸如切换工具之类的操作间重新配置和/或检索和/或收起部件和组件的先决条件。在操作中可能还有输入指定为“变量”;例如,将特定部分部分指定为操作的目标。不同路径的先决条件可能不同:沿着某些任务路径,部件可能已准备好立即工作,而在其他路径上,部件可能需要被检索。在一些实施例中,任务定义的过程提供了程序“粘合”,其允许以这种方式灵活地使用模块化操作。图17A至17D的示例更详细地示出了这一点。
在一些实施例中,第三部分是控制设置。如关于图2A所解释的,允许人类操作员控制模态超过机器人合作者是潜在的优点,这避免了对人类操作员施加沉重的注意力负担。
在一些实施例中,这些控制模态包括声音命令和/或手势(例如,头部,手部和/或手臂的移动)。
在一些实施例中,控制模态组合了操作员的语音和/或移动(手势)。简短的发言可能含糊不清,特别是在组装任务的情况下,可能有更多可能的行动目标,而不能通过名称轻易区分。例如,操作员必须给出可能需要机器人焊接辅助的每个部件的电路板或BOM指定,这可能是单调乏味和/或容易出错的。在许多装配操作中,甚至可能不存在所需分辨率的预先存在的指定(例如,部件的子区域)。添加指示手势的选择(例如指向口头命令)可能有助于克服此问题。除了指示之外指示手势的其他选择可选地包括,例如,将两个指尖之间的区域包围,通过放置一个或多个手指来构成区域,在区域上运行手指,和/或将一部分的一部分保持到一个区域。工作台环境或机器人的特定部分本身用作指针,支架,框架或其他指示器。在一些实施例中结合指示手势的命令的示例包括:“保持那个”,“在此焊接”,“在屏幕上放大显示”,“报告该部件的库存”,“显示部件的特征”,“检查焊接质量部分“,”钻这里“,”拧到这里“,”带兼容部分“,和/或”暂停组装执行协议“。可选地,(例如,为了避免无意的控制信令),诸如脚踏按压,激活单词和/或激活手势的选通命令用于指示人类操作员正在给出故意命令。可选地,激活手势是不太可能偶然发生的手,手臂和/或头部手势,例如特定的手形,手臂移动的序列,独特的面部移动(例如,斜视,眨眼,颌移动),以及/或其某种组合。
在一些实施例中,操作定义的指示上下文(例如,相关命令指示的预设列表)潜在地有助于通过减少操作员的控制指示在当前可能意味着的事物的数量来简化控制问题。上下文。例如,对于拧紧操作,可选地通过操作上下文清楚地指出,指向手势特别是指最近的螺钉孔形状。在另一示例中,取决于当前任务和操作上下文,在部件托盘的方向上移动的手势可替代地意味着,例如:(1)从所指示的托盘带来一部分,(2)将部件放入所指示的托盘中托盘,(3)从指定的托盘中拾取一部分并且不做任何操作,或者(4)什么都没有。通过将任务的命令环境分解为有序操作,其中只有其中一个含义可能是相关的,可以解决或减少歧义。在一些实施例中,作为命令接受的手势被选择为以下之一或两者:由人类容易地生成(例如,移动的宽方向);并且很容易通过运动追踪系统相互区分,并且从正常的任务导向,但非指示身体部位移动。
还应注意,一些面向任务的移动可选地也隐含地指示移动,其可被利用来定义用于操作的适当控制指示。例如,对于机器人操纵器的人类移动以协助通常是全自动的组装步骤可能表明出现了问题,并且机器人应该停下来等待校正。
在另一方面:虽然文本到语音转换的技术变得越来越准确,但是在一些实施例中,通过限制在任何给定操作上下文中可用的语音命令,进一步降低了潜在噪声,潜在危险的制造设置中的误解风险。那些可能相关的-不仅仅是特定于域的,而是可选地特定于当前操作的上下文。可选地,允许的语音命令被选择为在声音上彼此不同,以进一步降低混淆的可能性。可选地,语音感测被配置为拒绝来自除操作员头部之外的位置的声音;例如,通过使用定向麦克风。可选地,比较在不同麦克风处接收的声音之间的不同延迟,以确保它们与在操作员头部的假定或已知(可选地,运动跟踪)位置处产生的声音一致。
在一些实施例中,框1412和1414的结果产生单元/任务配置1416,其在流程图中的此时保持适用于任务单元的模拟的配置。可选地,产生多个版本单元/任务配置1416。可选地生产不同版本用于测试目的;例如,为了看到在减少练习时哪个版本更可取。
在一些实施例中,为不同容量,强度,弱点和/或偏好的用户提供不同版本,例如由操作员特定需求1411定义的。可选地,配置的一个或多个初始版本被明确定制为不同的人类操作员和/或类别操作员,例如,左手/右手操作员,新操作员/经验操作员,新操作员/疲劳操作员,和/或操作员被发现在某项任务中比其他人更好(和/或更差)。在一些实施例中,通过定制单个任务处理流程来平衡生产车间上的各个操作员的集合的任务流程。例如,如果有两个操作员,一个已知在检查任务中更快的人,那个检查速度更快的人可能会收到一个任务配置,偶尔会复制检查(其他操作员的组件),而第二个操作员偶尔会跳过检查(将程序集传递给第一个操作员)。这可能有助于优化每种操作所花费的总操作员时间。
在框1418处,在一些实施例中,仍然使用CAD工具模拟任务过程以验证其按预期执行。在通过模拟验证可接受的单元/任务配置1416之前,可能存在映射和模拟的附加循环(例如,返回到框1410并调整配置设置)。此时,在一些实施例中,存在到达生产车间的三个主要输出:机器人程序1420,其将管理机器人行为,操作员任务卡1424,其告知操作员该做什么(可选地,任务卡1424)不是文字卡,而是适合于呈现给人类操作员的任何指令,例如在屏幕161上,以及单元布局规范1422。
在一些实施例中,用户的指令被呈现为文本,图像,视频和/或听觉信息。例如,视频指令可选地被呈现为操作的实况记录,和/或作为从模拟导出的动画,例如,如在框1418中生成的。可选地,人类操作员可以选择呈现指令的细节级别。可选地,操作指令包括要执行的最佳实践移动的详细指示。可选地,指令包括所使用的部件和工具,执行的运动和/或操作的预期结果的文本说明。在一些实施例中,基于运动记录的差异和/或机器人与基线的运动差异,确定实际操作员执行与指示和/或最佳实践执行的变化。在一些实施例中,人类操作员(和/或管理者和/或工程师)实时显示差异(例如,在屏幕161上),鼓励校正。在一些实施例中,系统向操作员,管理者和/或工程师提供反馈,其指示记录的任务数据的趋势,例如机器人移动安全数据(事件和/或近事故),预测目标有效性和/或速度。整体上的行动,操作和/或任务。在一些实施方案中,作用速度为约100毫秒,500毫秒,1秒,2秒,5秒,10秒,20秒或更长的短或中间时间。在一些实施方案中,操作时间为约100毫秒,500毫秒,1秒,2秒,5秒,10秒,20秒,30秒,60秒,5分钟或更长的短或中间时间。在一些实施例中,任务总体上花费大约5秒,10秒,20秒,60秒,2分钟,5分钟,10分钟,15分钟或更长的更短或中间时间。可选地,这些数据用于引导任务配置的细化,和/或引导对人类操作员的分配,培训和/或再培训的决策。
在框1428,根据单元布局规范1422配置测试单元。在框1426,根据机器人程序1420和操作员任务卡142,在实际任务单元100中执行任务。如果全部工作如下预计,流程图结束。否则,可选地返回到较早阶段(例如,框1410)以便解决问题。
可选地,任务配置1416在其潜在延长的使用期间进行进一步调整。可能存在计划的实验和优化时段,在此期间,任务配置1416针对诸如瓶颈,疲劳和/或移动优化之类的问题进行调整。在一些实施例中,人类操作员在正常生产中对任务的体验表明了变化。可选地,开发一个或多个“最佳实践”操作序列,并且调整任务以要求和/或鼓励这些序列。在一些实施例中进行了个性化调整,例如,以适应不同的人类操作员能力和/或工作方式。
快速释放机器人安装
现在参考图15A至15B,其示意性地示出了根据本公开的一些实施例的用于将一机器人手臂120连接到一安装轨道121的一快速连接安装组件700的视图。
在一些实施例中,安装至少一个机器人手臂120(在这种情况下代表任何机器人手臂)以与轨道121上的任务单元100一起操作。在一些实施例中,轨道安装件700连接到轨道121包括拉紧轨道在一些实施例中,轨道安装旋钮710是可手动拧紧和可释放的。例如,通过拧紧或拧松。在一些实施例中,轨道安装旋钮710是弹簧加载的,使得它们可以卡入到位以进行初始安装,和/或在旋开之后被拉出位置以从安装轨道121释放安装组件700。
可手动拧紧和可释放的轨道安装旋钮710的潜在优点是允许多个机器人手臂120相对于任务单元100快速交换到新位置(例如,准备执行新任务),和/或根据需要,允许在多个任务单元100基站之间准备交换多个手臂。
在一些实施例中,在重新安装之后校准机器人手臂120包括使手臂成像(例如,使用成像器具110),并校正成像位置与目标位置的差异。
可选地,机器人手臂120直接从其安装轨道121接收电力和/或数据连接,进一步降低了传输的复杂性。
在一些实施例中,机器人120的另一个特征是无线控制。这可能减少运行数据电缆以连接控制单元160和机器人120之间的需要,该机器人120被移动到新单元单元。相反,可以执行无线配对过程。可选地,控制单元160甚至不需要是任务单元100的本地;它可以在远程位置提供,并通过网络协议链接到它控制的机器人120。
现在参考图16A至16B,其分别示意性地示出了根据本公开的一些实施例的机器人手臂120的展开和收起(折叠)位置。图16B的收起位置可选地由机器人手臂120在活动时段结束时假设,和/或例如,以允许更容易地操纵机器人手臂120;例如,在多个任务单元100中移动机器人手臂120。
协作人类机器人组装和/或检测任务
现在参考图17A,其是根据本公开的一些实施例的用于一组装任务的一简化样本物料清单(BOM)。现在参考图17B,其示出了根据本发明的一些实施例的一组装任务的流程图。现在参考图17C,其示出了根据本公开的一些实施例的一组装任务的一任务单元布局。进一步参考图17D,其描述了根据本公开的一些实施例的在一组装任务期间两个机器人手臂120、122及一人类150的操作。
图17A至17D在其不同方面所示的任务是用于组装壳子组件,该壳子组件包括两个部件(图17A的BOM中的部件1,部件2),其可选地是壳体的两半,以及两个螺钉(螺钉)3,图17A的BOM中的螺钉4,其将壳体的两半固定在一起。所述任务本身作为示例提供,以支持动态人类机器人协作任务流的描述。
在所示的示例中,组装操作AD(框810,812,814和816)由人类操作员150和机器人手臂120,122的组合执行。图17D包括描述角色的表(子操作)在操作AD中的每一个中的每一个(例如,模式A指的是框810的操作A)。机器人手臂120用于工具操作,而机器人手臂122用于零件拾取,存储和/或操纵。人类操作员150单独执行任何困难或不适合机器人手臂的任务,例如将壳部件装配在一起,部件检查以及做出关于任务流程的决定。图17B的块810,812,814和816之间的各种路径用标记A',A“,B',C',C”,D',D“,D″′标记。对于每个路径,单独定义(在图17D的表中)子操作,其涉及准备下一个组装操作。图17C示出了如何配置任务单元以执行组装任务的示例,包括机器人120,122(安装到轨道121,例如如图1所示),人类操作员150,工具组826,连接器供应825(用于螺钉3和螺钉4)和组装托盘或其他材料处理和/或存储装置821,822,823和824,其可选地用于保持部件1,部件2和那些部件的组件。不同的完成阶段。提供图17C中所示的物件作为示例;放置在任务环境中的物件可包括例如材料处理装置,例如夹具和/或零件供给器;保持装置,例如桌面和/或机架安装的定位销,其配置成将部件保持在可再现的位置和/或方向;和/或工具架和/或工具库。下面更详细地描述组装示例。
在本发明的一些实施例中,通过结合每个人的独立优势,人类-机器人协作提供了超过单独使用人类或单独使用机器人的潜在优势。例如,机器人非常适合以相对较低的增量费用执行精确的重复操作。人类能够提供机器人继续缺乏的判断力,灵活性和一些感知能力,和/或对于所有特殊情况的覆盖而言实施起来不方便和/或昂贵。在某些情况下(例如,“小批量”制造),配置和验证纯机器人装配序列可能成本过高。另一方面,由于相对较高的劳动力增量成本,人类密集型任务可能很昂贵。将任务分解为纯粹由人类或纯粹由机器人执行的部分可能在许多情况下是不切实际的,特别是在不断变换时需要各自的优势时。
在本发明的一些实施例中,任务被定义为在共享环境中工作的人类和机器人演员之间划分。潜在地,这通过卸载(例如,对机器人援助的重复和/或刻板操作)来提高人类劳动的效率。同时,在一些实施例中,在任务期间人类判断的连续可用性潜在地减少了计划工作,否则该计划工作将使纯粹多个机器人操作基本上防止故障。通过使环境协作,可能减少与人类和机器人演员之间切换相关的时间和精力开销。
在本发明的一些实施例中,为人类操作员150提供的机器人辅助具有相对常见和/或简单操作的库,其可以从更复杂的任务的上下文中选择并构造成在更复杂的任务的上下文中发生。从一个角度来看,人类操作员150提供了将任务操作连接成一个连贯整体的“粘合剂”:做出决策,检测故障,和/或填补没有适当的机器人操作可用的空白。从另一个角度来看,机器人或机器人有助于减少移动组装流程所浪费的时间,以达到真正需要人类能力的下一个情况。可选地,人类和机器人并行工作,例如,在非交互操作上,作为一些操作的等效替代,和/或允许同时执行单个演员(机器人或人类)否则将串行执行的操作。在一些实施例中,机器人辅助有效地提供额外的“手”;例如,允许操作依赖于三个或更多个同时操作(例如,第一部分,第二部分和连接器)来执行两只手或一个机器人手臂可能发现更难以完成的步骤。
图17A至17D的示例示出了这些点中的若干点,现在将特别参考图17B的流程图和图17D的附表详细描述。
在一些实施例中,组装任务启动具有来自人类操作员150的合适指示(诸如语音命令或菜单选择;其他类型的指示,例如,关于本文中的图14的框1414)。(图17D中的“启动”)。可选地,工具手臂120通过选择螺丝刀工具来自行准备。拾取器手臂122(在此也更正式地称为材料处理手臂)可以通过从这些部件的托盘(例如,托盘822)识别和抓握部件1的实例来自行准备。
在框810处,在一些实施例中(图17D中的操作模式A)),拾取器手臂122将部件1呈现给人类操作员150,人类操作员150接收并检查它是否有毛刺。
在这个示例中,部件1是最初可以在其上形成有额外材料的部件,例如,在诸如切割或钻孔的加工工艺之后的不规则性(称为“毛刺”)。通过几种可能的过程(例如研磨)中的一种“去毛刺”去除材料。可以存在的另一种类型的额外材料是“闪光”,(其去除被称为去毛刺)。例如,闪光可能是由于在模制或铸造操作期间通过模具的分型线泄漏材料。
对于人类操作员150而言,识别这样的材料相对容易,但是使用诸如机器视觉的自动化工具来识别可能是难以实现的。例如,毛刺材料可能出现在不规则位置,仅在部件的一些示例上出现,和/或可能以相对低的光学对比度出现(例如,因为它由与部件本身相同的材料制成),因此它是很难用机器视觉技术自动分割它。另一方面,自动研磨是去除毛刺的有吸引力的方法,因为它可以在所识别的目标上精确且快速地执行。因此,去毛刺是一种操作的例子,其中人类/机器人合作可能比单独工作的演员产生更有效的结果。
在本发明的一些实施例中,任务流(即,何时进行任务的下一个操作,以及可选地进行多个操作中的哪个操作)在人类操作员150的控制下。在图17A至17D中,在框810处检查之后,人类操作员150能够指示下一操作要去毛刺(框812的操作B)或执行组装(框814的操作C)。操作员提供的指示可选择采用几种不同形式中的一种或多种,例如:
·从预设的命令列表中选择(例如,通过触摸屏或鼠标输入)(例如,在显示器161上显示);
·人类操作员150的手势或其他移动(例如,由成像器件110检测到的);
·语音命令;和/或;
·由人类操作员150控制的另一输入装置,例如脚踏板。
在一些实施例中,该指示包括对系统的显式指令。在一些实施例中,该指示仅传达指令以继续该任务的下一步骤;例如按下和/或释放脚踏板,按钮或其他类似开关的输入。在一些实施例中,该指示是从呈现的选项中的选择:例如,通过与屏幕指示相关联的不同开关按压,或屏幕按钮选择按压。在一些实施例中,使用语音和/或键入命令。由于操作员150的手经常忙于任务,因此在一些实施例中优选非手动输入,例如脚踏操作或声控命令。
继续流程图:如果完成操作A之后的指示是进入操作B(框812)和去毛刺,则系统执行图17D的表中列出的A'的预备子操作。另一方面,如果完成操作A之后的指示是进入操作C(方框814)并跳过去毛刺,则系统执行图17D的表中列出的A“的预备子操作。在方框814,机器人手臂120,122和人类操作员两者通过将两个部件彼此相对而将它们拧在一起时参与创建部分子组件1至3。可选地,人类操作员的指示包括指示要使用哪个螺孔。
操作D(方框816)是另一种螺钉连接操作,使用子组件1至3的第二螺钉和螺钉接收部件来形成最终的子组件1至4。
所述任务的其余细节涉及不同的流动路径(由图17B和图17D中的标记A',A“,B',C',C”,D',D“,D'标记)链接操作块。人类操作员150能够在一个有顺序的操作中完全完成子组件1至4,或者首先完成多个子组件1至3,然后循环通过那些部分子组件。将它们完成到子组件1至4中。工作战略可能在工作会议期间有所不同。
现在参考图17E,其描述根据本公开的一些实施例的可在一组装任务,例如图17A至17D的组装任务(例如,结合框810和812),期间采用的三种不同去毛刺策略的示意性流程图。
在框850处,显示用于毛刺检查的部件,并且在852处,人类操作进行毛刺检查。此时,人类在此示例中指出采用去毛刺的三种可能策略中的哪一种。在第一策略中,在框854,人类操作员150标记用于自动去毛刺的区域,例如使用标记装置,或简单地通过用手指,触笔或其他指示装置指示去毛刺目标的范围。在框856,然后机器人120进入并且在框854中指示的区域上自动执行去毛刺(例如,使用研磨工具)。如果人类操作员在框858指示第二策略(例如,通过主动到达机器人手臂120可选地进入被动模式,其中人类可以将研磨工具拉到位并使用它来执行所需的去毛刺。在第三种策略中,人类操作员拿起人类支持的磨削工具(该动作本身可选地由任务单元100处理,作为所选操作的隐含指示)并手动执行去毛刺。
总体
预计在本申请成熟期间,将开发许多相关的机器人类型;机器人部件或机器人构件一词的范围旨在包括先验的所有此类新技术。
如本文中关于数量或值所使用的,术语“约”表示“在±10%以内”。
术语“包括”,“包含”,“包括”,“包括”,“具有”及其缀合物表示:“包括但不限于”。
术语“由...组成”是指:“包括但限于”。
术语“基本上由......组成”是指组合物,方法或结构可包括其他成分,步骤和/或部分,但仅在附加成分,步骤和/或部分不实质上改变所要求保护的基本和新颖特征的情况下。组成,方法或结构。
如本文所用,单数形式“一”,“一个”和“所述”包括复数指代,除非上下文另有明确说明。例如,术语“化合物”或“至少一种化合物”可包括多种化合物,包括其混合物。
词语“示例”和“示例性”在本文中用于表示“用作示例,实例或说明”。被描述为“示例”或“示例性”的任何实施例不必被解释为比其他实施例优选或有利和/或排除将特征与其他实施例结合。
词语“任选地”在本文中用于表示“在一些实施例中提供而在其他实施例中未提供”。除非这些特征冲突,否则本发明的任何特定实施例可包括多个“可选”特征。
如本文所用,术语“方法”是指用于完成给定任务的方式,手段,技术和程序,包括但不限于已知或易于从已知方式开发的那些方式,手段,技术和程序,化学,ph手臂,生物学,生物化学和医学领域的从业者的技术和程序。
如本文所用,术语“治疗”包括消除,基本上抑制,减缓或逆转病症的进展,基本上改善病症的临床或美学症状或基本上防止病症的临床或美学症状的出现。
在整个申请中,可以参考范围格式呈现本发明的实施例。应当理解,范围形式的描述仅仅是为了方便和简洁,不应该被解释为对本发明范围的不灵活限制。因此,应该认为范围的描述具体公开了所有可能的子范围以及该范围内的各个数值。例如,应该认为诸如“从1到6”的范围的描述具有特别公开的子范围,例如“从1到3”,“从1到4”,“从1到5”,“从2到2”。4“,”从2到6“,”从3到6“等;以及该范围内的个别数字,例如,1,2,3,4,5和6无论范围的广度如何,这都适用。
每当在此指示数值范围时(例如“10至15”,“10到15”,或由这些另一个这样的范围指示链接的任何数字对),它意味着包括任何数字(分数或积分)。指示范围限制,包括范围限制,除非上下文另有明确规定。短语“范围/范围/范围”,第一个指示数字,第二个指示数字和“范围/范围/范围”,第一个指示数字“到”,“直到”,“直到”或“通过”(或另一个这样的范围指示术语)第二个指示数在本文中可互换使用,并且意味着包括第一和第二指示数以及它们之间的所有分数和整数。
尽管已经结合本发明的具体实施方案描述了本发明,但显然许多替代,修改和变化对于本领域技术人员来说是显而易见的。因此,旨在涵盖落入所附权利要求的精神和广泛范围内的所有这些替代,修改和变化。
本说明书中提及的所有出版物,专利和专利申请均通过引用整体并入本说明书中,其程度如同每个单独的出版物,专利或专利申请具体地和个别地指出通过引用并入本文。另外,本申请中任何参考文献的引用或标识不应被解释为承认这样的参考文献可用作本发明的现有技术。在使用章节标题的范围内,它们不应被解释为必然限制。
应当理解,为了清楚起见,在单独的实施方案的上下文中描述的本发明的某些特征也可以在单个实施方案中组合提供。相反,为了简洁起见,在单个实施方案的上下文中描述的本发明的各种特征也可以单独提供或以任何合适的子组合提供或者在本发明的任何其他描述的实施方案中合适提供。在各种实施例的上下文中描述的某些特征不被认为是那些实施例的必要特征,除非该实施例在没有那些元件的情况下不起作用。
Claims (49)
1.一种机器人系统,支持在一协作工作空间内同时进行人工执行的及机器人操作,所述机器人系统包括:
至少一机器人,配置成用以执行至少一机器人操作,所述机器人操作包括在所述协作工作空间内在一控制器的控制下的移动;
一基站位置,通过多个人类身体部位的定位以提供对所述协作工作空间使用权,以执行至少一人工执行操作;及
一运动追踪系统,包括瞄准所述协作工作空间的至少一成像器件,以个别地追踪在所述协作工作空间内多个人类身体部位的位置;
其中所述控制器配置成用以,基于所述个别地被追踪的多个身体部位的位置,指示执行所述至少一机器人操作的至少一机器人运动,所述多个身体部位执行所述至少一人工执行操作。
2.如权利要求1所述的机器人系统,其特征在于:根据一或多个安全考量来指示所述运动。
3.如权利要求1至2任一项所述的机器人系统,其特征在于:根据人工协作操作的一或多个考量来指示运动。
4.如权利要求1所述的机器人系统,包括一工作台,其中所述协作工作空间位于可从所述基站接近的所述工作台的一工作表面上,所述基站位置沿所述工作台的一侧定位,并且所述至少一机器人安装在所述工作台上。
5.如权利要求4所述的机器人系统,其特征在于:所述工作台包括一轨道水平安装在所述工作表面上方,并且所述至少一机器人安装到所述轨道。
6.如权利要求1所述的机器人系统,其特征在于:其中所述个别地被追踪的多个身体部位包括一人类操作员的两个手臂。
7.如权利要求6所述的机器人系统,其特征在于:每个被追踪的手臂的至少两个部分是个别地被追踪。
8.如权利要求6至7任一项所述的机器人系统,其特征在于:所述个别地被追踪的多个身体部位包括所述人类操作员的一头部。
9.如权利要求1所述的机器人系统,其特征在于:所述运动追踪系统使用佩戴在多个人类身体部位上的多个标记来追踪多个位置。
10.如权利要求9所述的机器人系统,包括附着在人类可穿戴物品上的所述多个标记。
11.如权利要求4所述的机器人系统,其特征在于:所述至少一成像器件包括多个成像器件,所述多个成像器件安装到工作台并且指示对所述工作表面上的所述工作空间成像。
12.如权利要求1所述的机器人系统,其特征在于:所述运动追踪系统配置成用以在三个维度中追踪人类身体部位位置。
13.如权利要求1所述的机器人系统,其特征在于:所述控制器配置成用以指示所述至少一机器人的所述运动以避开至少一被追踪的人类身体部位的一位置。
14.如权利要求1所述的机器人系统,其特征在于:所述控制器配置成用以将所述至少一机器人的所述运动指示朝向一区域,所述区域通过至少一个被追踪的人类身体部位的一位置所定义。
15.如权利要求1所述的机器人系统,其特征在于:所述控制器配置成用以指示所述至少一机器人的所述运动,所述至少一机器人的所述运动执行所述至少一机器人操作,基于在所述至少一人工执行操作的一或多个先前执行期间所记录的多个人类身体部位的多个位置。
16.如权利要求15所述的机器人系统,其特征在于:所述多个记录的位置是一当前人类操作员的。
17.如权利要求15所述的机器人系统,其特征在于:所述多个记录的位置是多个先前人类操作员的。
18.如权利要求1所述的机器人系统,其特征在于:所述控制器配置成用以,基于在所述运动过程中所述多个身体部位的多个预测位置,指示所述执行所述至少一机器人操作的至少一机器人的所述运动机器人操作,其中所述多个预测位置是基于所述多个身体部位的多个当前运动被预测出。
19.如权利要求18所述的机器人系统,其特征在于:所述身体部位的多个预测位置是基于所述多个身体部位的所述当前位置及速度被预测出。
20.如权利要求19所述的机器人系统,其特征在于:所述身体部位的多个预测位置是进一步基于所述多个身体部位的所述当前加速度被预测出。
21.如权利要求15所述的机器人系统,其特征在于:所述控制器配置成用以,基于匹配所述协作工作空间内的多个身体部位的多个当前位置到所述先前执行期间所追踪的多个位置,预测多个身体部位的多个未来位置。
22.如权利要求21所述的机器人系统,其特征在于:所述控制器基于在所述先前执行期间所记录的多个位置来预测多个未来位置,所述记录的多个位置遵循先前执行位置的所述匹配。
23.一种在一协作工作空间内控制一机器人的方法,其特征在于:所述方法包括:
记录个别的多个人类身体部位的多个位置,所述多个人类身体部位在所述协作工作空间内执行一人工执行操作;然后
使用所述先前多个记录的位置自动地计划一在所述协作工作空间内移动的机器人的运动,以定义所述工作空间的避开或瞄准的区域;及
基于所述计划自动地在所述协作工作空间内移动所述机器人,计划当所述人工执行操作执行时。
24.如权利要求23所述的方法,其特征在于:所述机器人移动以避开靠近在所述先前多个记录的位置中多个人类身体部位的多个位置的多个区域。
25.如权利要求24所述的方法,其特征在于:所述避开被计划以减少对多个人类身体部位危险碰撞的一风险在所述先前多个记录的位置中的多个人类身体部位的所述多个位置上。
26.如权利要求23至25任一项所述的方法,其特征在于:所述机器人移动以寻找多个区域,所述多个区域通过在先前多个记录的位置中的多个人类身体部位的多个位置定义而成。
27.如权利要求26所述的方法,其特征在于:所述多个定义区域通过相对于在所述先前多个记录的位置中的一定向及/或偏移定义而成。
28.如权利要求26所述的方法,其特征在于:所述寻找计划将所述机器人带入一区域,所述区域可直接用于与所述人工执行操作协作。
29.如权利要求23所述的方法,更包括:
在自动地移动过程中,记录当前执行所述人工执行操作的多个人类身体部位的多个位置;及
基于当前执行所述人工执行操作的多个人类身体部位的多个位置自动地调整所述移动。
30.如权利要求29所述的方法,其特征在于:所述调整是基于当前执行所述人工执行操作的所述多个人类身体部位的所述多个当前运动学特性。
31.如权利要求30所述的方法,其特征在于:所述调整使用基于所述多个当前运动学特性而具有多个参数的一运动方程式来推断当前执行所述人工执行操作的所述多个人类身体部位的多个未来位置。
32.如权利要求29所述的方法,其特征在于:所述调整是基于所述多个人类身体部位的多个当前运动学特性及先前记录执行所述人工执行操作的所述多个人类身体部位的多个当前运动学特性的一匹配。
33.一种机器人系统,支持在一协作工作空间内同时人工执行及机器人操作,所述机器人系统包括:
一工作台,具有一工作表面,所述工作表面用于布置在一组装任务中使用的多个物件,并且在所述工作台上方定义所述协作工作空间;
一机器人构件;及
一安装轨道,稳固地附着所述工作台上,用于将所述机器人构件可操作地安装在所述协作工作空间的机器人范围内;
其中所述机器人构件具有一安装及释放机构,所述安装及释放机构允许所述机器人被安装到所述安装轨道及从所述安装轨道移除,而不会干扰所述工作表面上多个物件的布置。
34.如权利要求33所述的机器人系统,其特征在于:所述安装及释放机构包括多个可手动操作的控制构件。
35.如权利要求33所述的机器人系统,其特征在于:在释放所述安装机构之前,所述机器人构件可折叠成一折叠运输配置。
36.一机器人构件,包括:
多个机器人区段,通过一关节连接;
一机器人运动控制器;
其中,所述关节包括:
两个板件,通过多个弹性构件保持彼此分离;
至少一距离传感器,配置成用以感测所述两个板件之间的一距离;及
其中所述机器人运动控制器配置成用以,在接收到来自所述距离传感器的所述两个板件之间在一距离改变的一指示时,减少所述机器人构件的运动。
37.如权利要求36所述的机器人构件,其特征在于:所述运动控制器在接收到所述距离改变的所述指示时停止所述机器人构件的运动。
38.如权利要求36至37任一项所述的机器人构件,其特征在于:所述距离改变包括由于通过所述关节所承载的一负载上的施加力而使所述两个板件其中一个相对于另一个的倾斜。
39.一种通过一人类操作员控制一机器人的方法,包括:
基于一定义处理流程确定一当前机器人任务操作,所述定义处理流程包括所述任务的多个有序操作;
从多个预定义操作相关指示语境选择一指示语境,所述指示语境定义与所述当前机器人任务操作相关的多个指示;
接收来自一人类操作员的一指示;
基于所述指示及所述指示语境之间的一映射,为所述当前操作执行一机器人动作。
40.如权利要求39所述的方法,其特征在于:所述指示包括通过所述人类操作员的一手势所指示的一物件或区域的一指定,及来自使用所述指定物件或区域来指定一机器人动作的所述人类操作员的一口语命令。
41.如权利要求39至40任一项所述的方法,其特征在于:所述定义处理流程包括一有顺序的操作,并且所述确定包括选择在所述有顺序的操作中的一下一步操作。
42.一种配置一协作机器人组装任务的方法,包括:
接收一物料清单及工具清单;
接收一组装步骤清单,所述组装步骤清单包括使用来自所述工具清单及在所述物料清单上的多个物件的多个动作;
为了多个人类操作员类型中的每一个,接收描述每一个人类操作员类型的多个任务相关特征的人类操作员数据;
为了所述多个人类操作员类型中的每一个,分配每一个组装步骤给一或多个相应的操作,每个操作通过来自一群组中的一个或多个动作所定义,所述群组包括至少一预定义的机器人执行动作及至少一个人工执行动作;及
为了所述多个人类操作员类型中的每一个,提供一任务配置,所述任务配置以一编程格式定义多个操作及命令,所述编程格式适合一机器人系统使用以执行所述机器人执行动作,及多个人类可读指令,所述多个人类可读指令描述与所述多个机器人执行动作协作执行的多个人工执行动作;
其中,所述任务配置基于所述人类操作员数据适用于每个人类操作员类型。
43.如权利要求42所述的方法,包括通过模拟验证所述提供的任务配置。
44.如权利要求42所述的方法,包括:作为每任务配置的部分,提供在用于执行所述组装任务的一协作环境内来自所述物料清单及所述工具清单的多个物件的一物理布局的一描述。
45.如权利要求42所述的方法,包括:指定多个人类操作员命令,所述多个人类操作员命令允许在所述多个操作之间切换。
46.如权利要求42至45任一项所述的方法,其特征在于:通过操作员利手、缺陷、大小和/或工作速度,所述多个人类操作员类型中的至少一个与其他多个人类操作员类型中的至少一个有所区分。
47.如权利要求42所述的方法,其特征在于:当执行多个协作的人类机器人组装操作时,所述多个人类操作员类型通过先前记录的身体部位运动数据的多个差异来区分。
48.一种优化一协作机器人组装任务的方法,包括:
产生多个不同的任务配置用于完成一单一公共组装任务结果,每一个任务配置描述在一任务单元中执行的协作人类机器人操作的顺序期间的动作;
当执行所述装配任务时,根据所述多个不同的任务配置中的每一个,监视一人类操作员的多个身体部位的运动及与所述人类操作员协作的一机器人的动作;及
基于所述监视,选择一任务配置用于多个未来组装任务。
49.如权利要求48所述的方法,其特征在于:所述多个不同的任务配置中的至少两个描述在所述任务单元中多个工具和/或部件的多个不同放置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662312543P | 2016-03-24 | 2016-03-24 | |
US62/312,543 | 2016-03-24 | ||
PCT/IL2017/050367 WO2017163251A2 (en) | 2016-03-24 | 2017-03-24 | Systems and methods for human and robot collaboration |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109219856A true CN109219856A (zh) | 2019-01-15 |
Family
ID=59900024
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780031685.8A Pending CN109219856A (zh) | 2016-03-24 | 2017-03-24 | 用于人类及机器人协作的系统及方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20190105779A1 (zh) |
CN (1) | CN109219856A (zh) |
WO (1) | WO2017163251A2 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109955254A (zh) * | 2019-04-30 | 2019-07-02 | 齐鲁工业大学 | 移动机器人控制系统及机器人末端位姿的遥操作控制方法 |
CN110507972A (zh) * | 2019-09-26 | 2019-11-29 | 江西福方科技有限公司 | 一种人与机器人协作投篮竞赛系统 |
CN110936375A (zh) * | 2019-12-04 | 2020-03-31 | 路邦科技授权有限公司 | 一种机器人的同步多联连接系统及其同步多联连接方法 |
CN111975745A (zh) * | 2019-05-22 | 2020-11-24 | 精工爱普生株式会社 | 机器人系统 |
Families Citing this family (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109153134B (zh) * | 2016-05-26 | 2021-08-13 | 三菱电机株式会社 | 机器人控制装置 |
US10427305B2 (en) * | 2016-07-21 | 2019-10-01 | Autodesk, Inc. | Robotic camera control via motion capture |
EP3287243A1 (en) * | 2016-08-24 | 2018-02-28 | Siemens Aktiengesellschaft | Method for collision detection and autonomous system |
EP3287861A1 (en) * | 2016-08-24 | 2018-02-28 | Siemens Aktiengesellschaft | Method for testing an autonomous system |
KR102640420B1 (ko) * | 2016-12-22 | 2024-02-26 | 삼성전자주식회사 | 홈 로봇 장치의 동작 운용 방법 및 이를 지원하는 홈 로봇 장치 |
US11919173B2 (en) | 2019-08-23 | 2024-03-05 | Veo Robotics, Inc. | Motion planning and task execution using potential occupancy envelopes |
US10470841B2 (en) * | 2017-03-28 | 2019-11-12 | Steris Inc. | Robot-based rack processing system |
JP6886697B2 (ja) * | 2017-06-26 | 2021-06-16 | 株式会社エアレックス | グローブ・ロギングシステム |
US10899017B1 (en) * | 2017-08-03 | 2021-01-26 | Hrl Laboratories, Llc | System for co-adaptation of robot control to human biomechanics |
DE102017218819A1 (de) * | 2017-10-20 | 2019-04-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | System und Verfahren zum Informationsaustausch zwischen mindestens zwei Mensch-Roboter-Kooperationssystemen |
CN111278611A (zh) * | 2017-10-30 | 2020-06-12 | 索尼公司 | 信息处理设备、信息处理方法和程序 |
WO2019088990A1 (en) * | 2017-10-31 | 2019-05-09 | Hewlett-Packard Development Company, L.P. | Control system for mobile robots |
US20190138880A1 (en) * | 2017-11-03 | 2019-05-09 | Drishti Technologies, Inc. | Workspace actor selection systems and methods |
EP3479971A1 (en) * | 2017-11-03 | 2019-05-08 | Nederlandse Organisatie voor toegepast- natuurwetenschappelijk onderzoek TNO | Method of performing assembling of an object, and assembly system |
FR3073765B1 (fr) * | 2017-11-22 | 2021-05-14 | Centre Techn Ind Mecanique | Machine automatique asservie collaborative |
AT16425U1 (de) * | 2017-12-14 | 2019-08-15 | Wittmann Kunststoffgeraete | Verfahren zur Validierung von programmierten Ablaufsequenzen oder |
CA3085768A1 (en) | 2017-12-21 | 2019-06-27 | Magna International Inc. | Safety control module for a robot assembly and method of same |
JP6935772B2 (ja) * | 2018-02-27 | 2021-09-15 | 富士通株式会社 | 情報処理装置、作業計画編集支援プログラム及び作業計画編集支援方法 |
EP3569366B1 (en) * | 2018-05-17 | 2023-06-28 | Siemens Aktiengesellschaft | Robot control method and apparatus |
IT201800006156A1 (it) * | 2018-06-08 | 2019-12-08 | Metodo di controllo predittivo di un robot e relativo sistema di controllo | |
US11110610B2 (en) * | 2018-06-19 | 2021-09-07 | Bae Systems Plc | Workbench system |
GB2576403B (en) * | 2018-06-19 | 2021-03-10 | Bae Systems Plc | Robot Human Collaboration Workbench System |
GB2576402B (en) * | 2018-06-19 | 2021-05-05 | Bae Systems Plc | Workbench system |
US20210154829A1 (en) * | 2018-06-19 | 2021-05-27 | Bae Systems Plc | Workbench system |
DE112018007820A5 (de) | 2018-07-10 | 2021-04-15 | HELLA GmbH & Co. KGaA | Arbeitsvorrichtung mit Unter-Tisch-Roboter |
US10928822B2 (en) * | 2018-07-25 | 2021-02-23 | King Fahd University Of Petroleum And Minerals | Mobile robot, method of navigating the same, and storage medium |
EP3835008A4 (en) * | 2018-08-08 | 2022-04-13 | Sony Group Corporation | CONTROL DEVICE, CONTROL METHOD AND PROGRAM |
US11312015B2 (en) * | 2018-09-10 | 2022-04-26 | Reliabotics LLC | System and method for controlling the contact pressure applied by an articulated robotic arm to a working surface |
JP2020049642A (ja) * | 2018-09-28 | 2020-04-02 | セイコーエプソン株式会社 | 制御装置、ロボットシステム、及びロボット |
JP6916157B2 (ja) * | 2018-10-23 | 2021-08-11 | ファナック株式会社 | 人と協働作業を行うロボットシステム、及びロボット制御方法 |
WO2020097224A1 (en) * | 2018-11-06 | 2020-05-14 | Bono Peter L | Robotic surgical system and method |
US11077559B2 (en) * | 2018-12-05 | 2021-08-03 | Honda Motor Co., Ltd. | Support robot and methods of use thereof |
EP3924152A1 (en) * | 2019-02-11 | 2021-12-22 | Hypertherm, INC. | Motion distribution in robotic systems |
JP7248516B2 (ja) * | 2019-06-20 | 2023-03-29 | 株式会社日立製作所 | 作業支援装置、作業支援方法、および作業支援プログラム |
DE102019118012B3 (de) * | 2019-07-03 | 2020-09-17 | Günther Battenberg | Verfahren und Vorrichtung zum Steuern eines Robotersystems mittels menschlicher Bewegung |
US20220297304A1 (en) * | 2019-08-23 | 2022-09-22 | Carrier Corporation | System and method for early event detection using generative and discriminative machine learning models |
WO2021041213A1 (en) * | 2019-08-23 | 2021-03-04 | Veo Robotics, Inc. | Safe operation of machinery using potential occupancy envelopes |
US20220234209A1 (en) | 2019-08-23 | 2022-07-28 | Ilya A. Kriveshko | Safe operation of machinery using potential occupancy envelopes |
CN110895332B (zh) * | 2019-12-03 | 2023-05-23 | 电子科技大学 | 一种扩展目标的分布式跟踪方法 |
US11472028B2 (en) * | 2019-12-06 | 2022-10-18 | Mitsubishi Electric Research Laboratories, Inc. | Systems and methods automatic anomaly detection in mixed human-robot manufacturing processes |
US11442429B2 (en) * | 2019-12-06 | 2022-09-13 | Mitsubishi Electric Research Laboratories, Inc. | Systems and methods for advance anomaly detection in a discrete manufacturing process with a task performed by a human-robot team |
US11958198B2 (en) * | 2020-08-04 | 2024-04-16 | Artificial, Inc. | Predictive instruction text with virtual lab representation highlighting |
EP4255697A1 (en) * | 2020-12-07 | 2023-10-11 | Polygon T.R Ltd. | Systems and methods for automatic electrical wiring |
DE102021006546A1 (de) | 2020-12-29 | 2022-07-28 | B-Horizon GmbH | Verfahren zum nutzerabhängigen Betreiben zumindest eines Datenverarbeitungssystems |
US20240066702A1 (en) * | 2021-01-21 | 2024-02-29 | Abb Schweiz Ag | Method of handling safety of industrial robot, and system |
CN116745077A (zh) * | 2021-02-01 | 2023-09-12 | Abb瑞士股份有限公司 | 机器人运动路径的可视化及其在机器人路径规划中的使用 |
US11565400B2 (en) | 2021-02-17 | 2023-01-31 | Toyota Motor Engineering & Manufacturing North America, Inc. | Robot base assemblies |
US11657345B2 (en) * | 2021-03-24 | 2023-05-23 | International Business Machines Corporation | Implementing machine learning to identify, monitor and safely allocate resources to perform a current activity |
GB2607699B (en) * | 2021-04-14 | 2023-11-08 | Bae Systems Plc | Robotic cells |
EP4074472A1 (en) * | 2021-04-14 | 2022-10-19 | BAE SYSTEMS plc | Robotic cells |
EP4074470A1 (en) * | 2021-04-14 | 2022-10-19 | BAE SYSTEMS plc | Robotic cells |
JP2024513608A (ja) * | 2021-04-14 | 2024-03-26 | ビ-エイイ- システムズ パブリック リミテッド カンパニ- | ロボットセル |
JP2024515640A (ja) * | 2021-04-14 | 2024-04-10 | ビ-エイイ- システムズ パブリック リミテッド カンパニ- | ロボットセル |
EP4074471A1 (en) * | 2021-04-14 | 2022-10-19 | BAE SYSTEMS plc | Robotic cells |
EP4392990A2 (en) * | 2021-08-24 | 2024-07-03 | Plus One Robotics, Inc. | Systems and methods for determining operational paradigms for robotic picking based on pick data source |
IT202100027485A1 (it) * | 2021-10-26 | 2023-04-26 | Glance Vision Tech S R L | Apparato e procedimento per la programmazione di robot per mezzo di dimostrazione |
EP4198661A1 (en) * | 2021-12-15 | 2023-06-21 | Airbus SAS | System and method for cognitive assistance in at least partially manual aircraft assembly |
US20220105635A1 (en) * | 2021-12-17 | 2022-04-07 | Intel Corporation | Repetitive task and contextual risk analytics for human-robot collaboration |
US20230202037A1 (en) * | 2021-12-29 | 2023-06-29 | Datalogic Ip Tech S.R.L. | System and method for determining allowable robot speed in a collaborative workspace |
US20230401507A1 (en) * | 2022-06-13 | 2023-12-14 | International Business Machines Corporation | Support device deployment |
CN115847488B (zh) * | 2023-02-07 | 2023-05-02 | 成都秦川物联网科技股份有限公司 | 用于协作机器人监测的工业物联网系统及控制方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102300679A (zh) * | 2009-09-28 | 2011-12-28 | 松下电器产业株式会社 | 机器人手臂的控制装置及控制方法、机器人、机器人手臂的控制程序及机器人手臂控制用集成电路 |
CN104007715A (zh) * | 2013-02-27 | 2014-08-27 | 洛克威尔自动控制技术股份有限公司 | 具有位置和导数决定参考的基于识别的工业自动化控制 |
CN104870147A (zh) * | 2012-08-31 | 2015-08-26 | 睿信科机器人有限公司 | 机器人安全工作的系统和方法 |
CN105137973A (zh) * | 2015-08-21 | 2015-12-09 | 华南理工大学 | 一种人机协作场景下的机器人智能躲避人类方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8214098B2 (en) * | 2008-02-28 | 2012-07-03 | The Boeing Company | System and method for controlling swarm of remote unmanned vehicles through human gestures |
WO2015188011A1 (en) * | 2014-06-04 | 2015-12-10 | Quantum Interface, Llc. | Dynamic environment for object and attribute display and interaction |
-
2017
- 2017-03-24 WO PCT/IL2017/050367 patent/WO2017163251A2/en active Application Filing
- 2017-03-24 CN CN201780031685.8A patent/CN109219856A/zh active Pending
- 2017-03-24 US US16/086,637 patent/US20190105779A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102300679A (zh) * | 2009-09-28 | 2011-12-28 | 松下电器产业株式会社 | 机器人手臂的控制装置及控制方法、机器人、机器人手臂的控制程序及机器人手臂控制用集成电路 |
CN104870147A (zh) * | 2012-08-31 | 2015-08-26 | 睿信科机器人有限公司 | 机器人安全工作的系统和方法 |
CN104007715A (zh) * | 2013-02-27 | 2014-08-27 | 洛克威尔自动控制技术股份有限公司 | 具有位置和导数决定参考的基于识别的工业自动化控制 |
CN105137973A (zh) * | 2015-08-21 | 2015-12-09 | 华南理工大学 | 一种人机协作场景下的机器人智能躲避人类方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109955254A (zh) * | 2019-04-30 | 2019-07-02 | 齐鲁工业大学 | 移动机器人控制系统及机器人末端位姿的遥操作控制方法 |
CN109955254B (zh) * | 2019-04-30 | 2020-10-09 | 齐鲁工业大学 | 移动机器人控制系统及机器人末端位姿的遥操作控制方法 |
CN111975745A (zh) * | 2019-05-22 | 2020-11-24 | 精工爱普生株式会社 | 机器人系统 |
CN111975745B (zh) * | 2019-05-22 | 2023-08-15 | 精工爱普生株式会社 | 机器人系统 |
CN110507972A (zh) * | 2019-09-26 | 2019-11-29 | 江西福方科技有限公司 | 一种人与机器人协作投篮竞赛系统 |
CN110936375A (zh) * | 2019-12-04 | 2020-03-31 | 路邦科技授权有限公司 | 一种机器人的同步多联连接系统及其同步多联连接方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2017163251A2 (en) | 2017-09-28 |
US20190105779A1 (en) | 2019-04-11 |
WO2017163251A3 (en) | 2017-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109219856A (zh) | 用于人类及机器人协作的系统及方法 | |
El Zaatari et al. | Cobot programming for collaborative industrial tasks: An overview | |
CN104640677B (zh) | 训练和操作工业机器人 | |
Hentout et al. | Human–robot interaction in industrial collaborative robotics: a literature review of the decade 2008–2017 | |
US11986963B2 (en) | Augmented reality coordination of human-robot interaction | |
CN104936748B (zh) | 徒手机器人路径教导 | |
Naghsh et al. | Analysis and design of human-robot swarm interaction in firefighting | |
US11298825B2 (en) | Systems, apparatus, and methods for robotic learning and execution of skills | |
Dobra et al. | Technology jump in the industry: human–robot cooperation in production | |
KR20190075096A (ko) | 금속가공 산업에서의 내부 개인 추적에 기초한 제조 제어 | |
Herrero et al. | Skill based robot programming: Assembly, vision and Workspace Monitoring skill interaction | |
JP6938980B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
Velasco et al. | A human-centred workstation in industry 4.0 for balancing the industrial productivity and human well-being | |
Akkaladevi et al. | Human robot collaboration to reach a common goal in an assembly process | |
EP3637330B1 (en) | Content creation system | |
JP2020529932A (ja) | 少なくとも1つの作業ステップを実行するためのハンドリング装置を有するハンドリングアセンブリ、方法及びコンピュータプログラム | |
Akkaladevi et al. | Programming-free approaches for human–robot collaboration in assembly tasks | |
Llorens-Bonilla et al. | Control and coordination of supernumerary robotic limbs based on human motion detection and task petri net model | |
Kulakov et al. | Information Technology for Interactive Robot Task Training Through Demonstration of Movement 1 | |
Sylari et al. | Hand gesture-based on-line programming of industrial robot manipulators | |
Kumar | Dynamic speed and separation monitoring with on-robot ranging sensor arrays for human and industrial robot collaboration | |
Avram et al. | Generalized behavior framework for mobile robots teaming with humans in harsh environments | |
Weitschat | Industrial human-robot collaboration: maximizing performance while maintaining safety | |
EP3703915B1 (en) | Method of performing assembling of an object, and assembly system | |
De Santis | Modelling and control for human–robot interaction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190115 |
|
WD01 | Invention patent application deemed withdrawn after publication |