CN107664977B - 用于在包括机器的制造环境中操作机器的系统以及方法 - Google Patents

用于在包括机器的制造环境中操作机器的系统以及方法 Download PDF

Info

Publication number
CN107664977B
CN107664977B CN201710610743.4A CN201710610743A CN107664977B CN 107664977 B CN107664977 B CN 107664977B CN 201710610743 A CN201710610743 A CN 201710610743A CN 107664977 B CN107664977 B CN 107664977B
Authority
CN
China
Prior art keywords
computer
machine
bone joint
false positive
joint points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710610743.4A
Other languages
English (en)
Other versions
CN107664977A (zh
Inventor
约翰·德斯蒙德·惠兰
梅利莎·H·刘易斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN107664977A publication Critical patent/CN107664977A/zh
Application granted granted Critical
Publication of CN107664977B publication Critical patent/CN107664977B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676Avoiding collision or forbidden zones
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/05Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
    • G05B19/058Safety, monitoring
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06Safety devices
    • B25J19/061Safety devices with audible signals
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • G06V40/25Recognition of walking or running movements, e.g. gait recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/029Location-based management or tracking services
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/10Plc systems
    • G05B2219/14Plc safety
    • G05B2219/14006Safety, monitoring in general
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40202Human robot coexistence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • G06T2207/20044Skeletonization; Medial axis transform

Abstract

本申请公开了用于在包括机器的制造环境中操作机器的系统以及方法。有利实施方式包括一种用于操作制造环境中的机器的系统。系统包括传感器系统和计算机。传感器系统被配置为区分人类骨骼位置与非人类对象位置并且确定预定区域中是否存在一个或多个人。计算机被配置为:响应确定仅一个或多个人在预定区域中,确定是否产生误检结果,其中,误检包括当实际上不存在人时,做出存在一个或多个人的第一确定。计算机还被配置为:响应做出未产生误检结果的确定,采取选自于由发出警报、停止机器、或其组合构成的组中的动作。

Description

用于在包括机器的制造环境中操作机器的系统以及方法
技术领域
本公开涉及这样一种系统,即,检测机器周围的人的存在,如果存在人,则发出警报,并且消除确定存在人但实际不存在的误检结果。
背景技术
使用工业机器人的公司关注安全性。其中主要关注点在于确保在工业机器人附近人是安全的。安全伴随有关于人类行为以及机器人行为的程序和规则。然而,由于工业机器人的尺寸、复杂性以及速度,需要额外的安全系统。
发明内容
示意性实施方式提供一种用于在制造环境中操作机器的系统。该系统包括传感器系统,被配置为区分人类骨骼位置与非人类对象位置。传感器系统被进一步配置为确定与环境有关的受限制区域中是否存在一个或多个人。系统还包括计算机。计算机被配置为:响应于确定仅一个或多个人存在于受限制区域中,确定是否产生误检结果。误检可以是当实际上不存在人时,做出存在一个或多个人的第一确定。计算机还被配置为:响应于确定未产生误检结果,采取选自于由发出警报、停止或放慢机器或其组合构成的组中的动作。
有利实施方式还包括一种在机器工作时操作机器的方法。该方法包括:在机器工作时,确定机器的受限制区域中是否存在一个或多个人。通过传感器系统执行“确定”,该传感器系统被配置为区分人类骨骼位置与非人类对象位置。该方法还包括:响应于确定仅一个或多个人存在于受限制区域中,通过计算机确定是否产生误检结果。误检可以是当实际上不存在人时,做出存在一个或多个人的第一确定。该方法还包括:响应于做出未产生误检结果的确定,采取选自于由发出警报、停止或放慢机器或其组合构成的组中的动作。
附图说明
所附权利要求中阐述了视为示意性实施方式的特征的新颖性特征。然而,当通过参考结合所附附图阅读的本公开的示意性实施方式的下列细节描述,将能最好地理解示意性实施方式以及优选的具体实施方式、其他的目标及其特征,其中:
图1示出了根据示意性实施方式的制造环境;
图2示出了根据示意性实施方式的具有围栏的制造环境的实施例;
图3示出了根据示意性实施方式的人体动作传感器的实施例;
图4示出了根据示意性实施方式的使用人类骨骼的骨关节点检测边打电话边行走的人的实施例的移动/姿势识别;
图5是根据示意性实施方式的用于消除机器附近的人的误检检测读数的过程的流程图;
图6示出了根据示意性实施方式的检测人类骨骼的骨关节点的实施例;
图7是示出根据示意性实施方式的机器附近的人的误检检测的维恩图;
图8示出了根据示意性实施方式的机器附近的人的误检检测的实施例;
图9示出了根据示意性实施方式的机器附近的人的误检检测的另一实施例;
图10示出了根据示意性实施方式的合理移动、不合理移动以及不期望的移动的实施例;
图11示出了根据示意性实施方式的选择人类骨骼上的骨关节点同时忽略其他骨关节点的实施例;
图12示出了根据示意性实施方式的菊花链动作传感器的实施例;
图13示出了根据示意性实施方式的用于在制造环境中操作机器的系统的可能实施例;
图14示出了根据示意性实施方式的用于在制造环境中操作机器的另一系统;
图15是根据示意性实施方式的操作机器的流程图;
图16是根据示意性实施方式的机器人动作控制系统的框图;并且
图17是根据示意性实施方式的数据处理系统的示意图。
具体实施方式
示意性实施方式意识并且考虑到使用工业机器人的公司通常认识到,当人类与机器(具体地,制造环境中的工业机器人)交互时引发的安全问题。一种关注在于当人与工作的机器距离很近时会出现什么情况。由于其尺寸、复杂性以及速度,安全是非常重要的。因此,有利实施方式提供了这样的方法和设备,即,当人物理地位于机器运行的制造环境中时,提高人和设备的安全性。同样,有利实施方式提供了使用人动作传感器(human motionsensor)检测人在液压机器人附近时的移动。
有利实施方式进一步意识并且考虑到,当在诸如机器人等机器周围工作时,员工自身可能无意识地置于不期望的位置,诸如,机器人的动作路径。在操作过程中,如果机器人与人近距离交互,则这种情形将会更频繁地发生。
有利实施方式进一步意识并且考虑到,未经授权访问机器人工作所在的区域也可能引起问题。期望提高人在未经授权区域内的安全性并且防止对设备的损坏。
有利实施方式进一步意识并且考虑到,大多数机器人具有保护工作人员的安全机制和协议设置。然而,如果某人不知道或忘记这些程序,其可能不会遵循此。
有利实施方式进一步意识并且考虑到,使用与机器人连接的传感器监视整体移动。如果检测到移动,则发出警报或暂停机器的操作。这种解决方案的问题在于,大多数传感器不能准确地识别对象并且由此报告许多误检。此外,在假定用户与机器交互作为机器正常操作的一部分的情形下,这种传感器不是最佳的。
有利实施方式进一步意识并且考虑到,车间工长可以监控机器人工作区。如果其看到某人进入该区域,则可停止机器人或警告该人。然而,这种解决方案的问题在于,对工长的严重依赖性,而工长可能临时不在。进一步地,由于制造机器通常全天并且全周连续工作,所以使用人监控机器人工作区在体力上和财政上都是繁重的。
有利实施方式进一步意识并且考虑到,可以在机器人工作区内张贴安全警告标识。然而,这种解决方案将工作人员的安全性责任放到其自己手上。这种解决方案还假定了每个员工阅读、理解、并且遵循标识上的警告。
因此,有利实施方式解决了这些问题以及其他问题。有利实施方式使用从人动作传感器收集的信息向机器通知其附近有人。进一步地,有利实施方式具有区分误检对象与真实检测的人的能力。此外,有利实施方式将动作传感器菊花链在一起,以避免以其他方式阻碍人类对象的辨识的障碍物。
有利实施方式还提供了当识别人类时,考虑误检。例如,有利实施方式可以忽略已选择的骨关节点,从而允许系统转而集中于更为可能受伤的附属肢体,诸如,“手动冲床”附近的手指。
在另一解决方案中,使用“移动辨识”来识别已授权的工作人员或移动。将术语“移动辨识”与“动作辨识”进行区分。其中,“动作辨识”仅辨识是否产生任何形式的移动,“移动辨识”辨识具体的移动,特别是人的移动。因此,有利实施方式可以执行“移动辨识”,以识别人是否正在行走或奔跑。使用动作技术,有利实施方式具有学习授权工作人员的移动的能力。该特征使得可以辨识附近可接受的移动以及不可接受的移动。例如,有利实施方式可以识别进给机器人零件时可以接受的进给动作。另一方面,有利实施方式可以识别与附近打电话的某人相关联的移动并且视其为不适当。相应地,有利实施方式具有挑选哪些人处于受伤害的方式以及哪些人为处于受伤害的方式的能力。进一步地,有利实施方式可以确定移动的严重性,诸如,某人在受限制区域内行走,相对地,某人在受限制区域内边打电话边行走。下面参考图给出了描述如何区分这种类型的行为的细节。
有利实施方式可以进行变化。例如,有利实施方式可以将动作传感器菊花链在一起,以避免复杂制造环境中对传感器的阻碍。
有利实施方式具有多种优点和用途。有利实施方式是灵活的并且使用相对廉价。有利实施方式提供一种有助于制造商提高机器人工作的工厂的安全性的机制。有利实施方式可以与许多不同种的警告结合,诸如,接近警报、警报器、灯光、以及系统关闭等。有利实施方式可以对多个机器人以及其他机器同时起作用。有利实施方式可用于监控机器人工作区。由于有利实施方式能够辨识仅人的移动,所以有利实施方式对于具有繁重非人类通行(traffic)的区域特别有用。有利实施方式是语言独立的、升级为大型工厂、以及全球部署。如下面进一步描述的,有利实施方式具有其他特征。
图1示出了根据示意性实施方式的制造环境。制造环境100包括皆用于制造对象或组件的机器102、机器104。机器102和机器104可以是机器人或其他制造设备,诸如,但不限于液压机器、臂、压力机、工具、钻孔机、锯、打铆机、以及许多其他自动化或半自动化设备。制造环境100可以特别适用于航空器制造设施。
在示意性实施方式中,诸如传感器106、传感器108以及传感器110等传感器用于检测机器102或机器104附近的人和人的移动。此外,图1中示出了扫描区,诸如,扫描区112和扫描区114等,扫描区之间是给定传感器的视线。
这些传感器可用于检测人116的存在、形状、或具体移动。然而,与任何这种检测系统相关联的问题在于,由诸如墙壁上悬挂的静态衣物118等对象引起的误检可能性。
描述不同的是,制造环境100的特征在于,使用人动作传感器或传感器系统检测人相对于其周围环境的位置变化、或周围环境相对于人的变化。来自MICROSOFT
Figure BDA0001359453930000051
Figure BDA0001359453930000052
系统是这种设备的实例。
如上所述,机器102和机器104是用于完成工业任务的机械设备。在具体实施例中,大规模制造中通常使用的液压机器人是能够在三轴或多轴上移动的自动控制、可重新编程、多用途的机器。通常,液压机器人具有锚定至如图1中的机器102和机器104所示的底部状结构的大型液压驱动臂。多数液压机器人处理诸如焊接、喷涂以及模制等大量重复性任务。这些机器可以高速运作并且能够携带重的负荷,从而使得它们对于制造工作是理想的。这种机器人有助于制造商变得更有竞争力和成本有效,同时,减少由于重复而引起的工作相关伤害。
许多工业中广泛使用机器人。工业机器人通常一天24小时、一周七天运作。然而,这些机器的持久性工作为人带来问题。由于大多数机器人在完全意识不到其周围环境的情况下进行操作,所以需要改进的安全系统。
图2示出了根据示意性实施方式的具有围栏的制造环境的实施例。因此,制造环境200可以是图1中的制造环境100。
提高诸如图1中的制造环境100等制造环境的安全性的最为常见解决方案是围绕机器人的工作区建立围栏,如图2中所示的围栏202。当机器204工作时,围栏202可阻止人靠近。围栏202可用作机器人与员工之间的边界线的视觉提醒物。
不幸的是,这种解决方案是静态解决方案,这是因为工作人员或附属肢体能够在无警告的情况下穿过围栏。此外,当人与机器204的交互是机器204的正常操作的一部分时,这种解决方案是不合适的。
在一些情况下,存在员工能够容易进入制造环境200的入口点206。然而,这种解决方案未能考虑到需要接近机器人进行工作的工作人员。在这些情况下,员工必须进入围栏区。
对于当前安全系统,可能存在其他的问题。最为常见的问题在于,诸如动作传感器等传感器在其他机器移动时或授权存在的人移动时给出许多误检指示。误检结果导致不必要的警报并且或许导致不必要的关闭。因此,误检结果是不期望的。
图3示出了根据示意性实施方式的人动作传感器的实施例。人动作传感器300可以与用于在制造环境(诸如,图1中的制造环境100或图2中的制造环境200等)中操作设备的系统结合使用。
有利实施方式设想了使用如图3中所示的人动作传感器300识别人的移动。如上所述,人动作传感器300被配置为执行“移动辨识”。人动作传感器300检测人体型302相对于其周围环境306的位置变化。该设备的实施例包括但不限于作为人动作传感器300的实施例的
Figure BDA0001359453930000071
Figure BDA0001359453930000072
Figure BDA0001359453930000073
WII
Figure BDA0001359453930000074
在示意性实施方式中,人动作传感器300检测木人(stick man,树枝人)或骨骼304形式的主体移动的三维坐标。这种类型的识别可被称之为骨骼跟踪。
不同于仅仅检测移动的典型动作传感器,人动作传感器300的目的是检测人移动辨识。在示意性实施方式中,人动作传感器300检测似人的体型并且收集人体型的骨关节点的坐标。因此,人动作传感器300或与人动作传感器300所连接的计算机监控这种体型的任何移动。如果发生任何移动,人动作传感器300则报告该移动的坐标。
坐标通常与骨关节点或主体关节有关。为了更好地解释主体的移动,有利实施方式将坐标(无论是球坐标还是笛卡尔坐标)与相对位置相关联,以能够根据需要将测量标准化。例如,有利实施方式设想了使用头部、躯干、或臂部作为相对位置,以将各个主体标准化。在一些情况下,相对位置的处理比计算细节坐标更容易,并且由此形成有利实施方式设想使用的计算优势。
图4示出了根据示意性实施方式的使用人类骨骼的骨关节点对边打电话边行走的人进行检测的实施例的移动/姿势辨识。骨骼400可以是代表图3中的人体型302的骨骼304的另一实施例,即,由诸如图3中的人动作传感器300的人动作传感器产生。
姿势辨识可以被视为计算机尝试理解人体语言的一种方式,由此在机器与关联于原始文本用户界面或甚至图形用户界面(GUI)的人之间建立更强大的桥梁,这仍限制了键盘和鼠标的大量输入。姿势辨识使用计算机技术以及数学算法来识别不同的人移动。在有利实施方式的背景下,移动辨识远远超越仅姿势识别,诸如某人挥手。更确切地,有利实施方式中使用的计算机实际上定义了人类动作或移动。如图4所示,这种定义允许计算机对诸如边打电话边行走等实际移动进行辨识。
实现此技术的一种方式涉及学习过程,其中,系统通过对应的描述将具体动作进行分类。其他方法检测动作相对于其周围环境的差异,以确定正在采取何种动作。在任一情况下,终极目标是关于其动作确定人在做什么。
图5是根据示意性实施方式的用于消除机器附近的人的误检检测读数的过程的流程图。可以结合人动作传感器(诸如,图3中的人动作传感器300)使用计算机来实现该方法500。
在大规模制造中,诸如液压机器人的工业机器的使用相当普遍。公司使用这些机器提高产量、降低成本、提高质量、和/或完成繁重的大规模任务。然而,由于这些机器人更多是与人交互,所以涉及的安全性也增加。
有利实施方式通过使用人动作传感器来检测人是否在工作的机器的附近,或者是否相对于机器采取视为不期望的某些动作,解决了此问题。然后,计算机确定已检测的对象事实上是人还是误检结果。“误检”结果指某事物被检测到并且被初始假定为人但却非人的结果。在动作传感器中,甚至在人动作传感器中,误检非常常见。然而,因为不希望发出不必要的警报或暂停机器操作,所以误检是不期望的。在任何情况下,如果计算机确定对象为人并且相对于机器处于不期望的位置,计算机则能够指示机器停止工作或向人发出警报。如此处使用的,术语“不期望的”指以可能造成人受伤或机器损坏的方式将人置于危险处与机器交互的移动。
返回图5,方法500开始于收集信息(操作502)。计算机基于此信息确定是否存在人(操作504)。如果不存在,该过程则返回至操作502。
如果存在,计算机则向被配置为确定已检测的人是否代表误检结果的系统或软件发出通知(操作506)。尽管出于多种不同的原因而可能出现误检结果,然而,有利实施方式设想了至少四种误检结果来源。这些包括静止对象(诸如,衣服)被误认为人、传感器可到达但在距机器可接受的距离内的对象、被视为合理的动作或人、或被视为合理的人的一部分。下列操作涉及搜出这些误检,但有利实施方式可以设想搜出其他类型误检的额外步骤。
在该具体示意性实施方式中,在操作506中通知系统之后,计算机确定已检测的对象是否是静止的(操作508)。如果否,则将此事实通知给系统(操作510)。如果是,即,对象静止,则指示系统忽略或让某人将对象移开(操作512),在这种情况下,系统然后返回至收集信息的操作502。
然而,在操作510中,如果通知系统检测的对象不静止,系统则做出检测的对象距所指的机器是否处于可接受的距离的另一确定(操作514)。如果否,则再次通知系统对象未处于可接受的距离(操作516)。如果是,即,对象处于可接受的距离,则忽略对象或移开对象(操作512),随后,方法返回至操作502中的收集信息。
一旦向系统通知已检测的对象不静止、未处于距离机器的可接受的距离,系统则确定通过传感器检测的对象移动是否合理(操作518)。如果否,则触发警报(操作520)。警报可以是可视、音频、可视和音频、或者被配置为通知人应该采取动作以规避机器的一些其他警报。可替代地,或此外,以计算提高假定的人、机器、其他设备、或电源以及其组合的安全性的方式暂停或修改机器的操作。
然而,返回至操作518,如果移动视为合理的,则如此通知系统(操作522)。如果计算机被预编程以辨识视为合理的移动,则视为移动合理。例如,已检测的人体的骨骼位置可指示人正在对进料机器执行进料动作。该动作被视为机器的正常操作的一部分并且由此是合理的。在另一实施例中,诸如直立、拉伸、挥手、或下蹲等动作可能被视为合理的。除被定义为合理的这些动作之外,全部动作皆被视为不合理的,诸如,将一只手或其他身体部分伸入到机器的工作部件中或者走入未授权区内等。进一步地,正如系统能够被训练成辨识合理的移动,其还能够被训练成辨识“不期望的”移动,如触发警报的不合理移动(操作520)。用于不期望的移动的警报可能更重要并且严格。再次,如此处使用的,术语“不期望的”指以导致人受伤或机器损坏的方式将人置于危险处与机器交互的移动。
返回方法500,在操作522中,在通知系统动作是合理的之后,计算机或系统确定是否忽略身体各部分(操作524)。如果已经指示系统如此操作,诸如,忽略头部的动作、但关注双手的动作等,系统则忽略身体的特定部分。如果系统确定应忽略身体部分,方法500则返回至操作512,以忽略或移开对象,并且由此返回至操作502以继续收集信息。否则,系统触发警报(操作520),或者修改机器的操作,或者采取上述所述的一些其他动作。
在任何情况下,一旦在操作520中,触发警报,方法之后则终止。可替代地,方法可返回至操作502并且继续收集信息,尤其在系统同时控制或管理多个不同的机器的情况下。
除向主体发出警告之外,系统还用作反馈机构,由此员工学习将自身与机器拉开距离或者学习相对于工作的机器更好的移动。此外,由于系统自身也学习,所以反馈机构双向工作。具体地,系统可利用关于移动、接近度以及周围对象的机器学习。因此,系统可确定可被视为安全的新移动。最后,这些动作将防止制造环境中的人受伤、或可能的其他机器损坏,同时,建立安全的工作环境。
因此,有利实施方式描述了检测人在机器附近的移动的过程,而非用于完成此任务的基础核心技术。有利实施方式通过使用与人动作感测输入设备的接口具有检测移动的能力。该接口能够在范围与功能方面进行改变,但是,保持传感器能够处理而辨识人的工作。
有利实施方式可对多个人同时使用多个机器起作用。同样,有利实施方式可识别制造环境中每个人的多个移动。有利实施方式还设想了识别制造环境中的车辆或其他移动机器的安全动作。
在提高机器或彼此交互的人群的安全性的任何地方皆可以使用有利实施方式。因此,例如,在商用厨房或实验室或与强大的机器交互、发生火情或制造化学制品的其他环境中,可以使用有利实施方式。
当检测到人并且消除常见的误检结果时,有利实施方式设想了可以组合或不可组合或者排他性地采取的多种不同动作。这些动作包括警告、警报、或修改机器操作,包括放慢、暂停、或将机器移至另一位置、在不同的方向上移动机器、暂停或修改机器的部件、或者许多其他动作。
关于有利实施方式使用的人动作传感器可以位于任何有利的位置。这种位置的实施例包括但不限于位于机器或机器人上、位于制造设施的天花板或墙壁上、位于地板上、位于支架上、或者甚至潜在地位于在制造环境中移动的人自身上。
使用在与人动作传感器通信并且可能结合制造机器的计算机上操作的软件可以实现有利实施方式。软件可以任何便利的语言编写,但是为了便携,具体设想了
Figure BDA0001359453930000111
然而,可以使用其他编程语言。此外,使用专用计算机或专用集成电路可以实现有利实施方式,因此,可采用纯硬件实施方式的形式。
图6示出了根据示意性实施方式的检测人骨骼的骨关节点的实施例。例如,人动作传感器600可以是图3中的人动作传感器300,并且在制造环境的方法(诸如图5的方法500)中可以使用人动作传感器600。相对于图6描述的有利实施方式提供了关于人体结构或骨骼的骨关节点的检测与移动跟踪的进一步细节。
如上所示,有利实施方式使用从诸如人动作传感器600的人动作传感器收集的信息。一旦人动作传感器600将对象辨识为拟人类,如箭头602指示的,其则向计算机或软件发出存在人的信号,如骨骼604指示的。
计算机使用监听器606将该信号转化或解释成其能够使用的信息。监听器606采用被配置为执行此处描述的功能的软件或硬件形式。人动作传感器600将通过人动作传感器600收集的信息传递给其他软件或硬件以识别骨关节,如由箭头608指示的。这种其他软件或硬件针对木人或骨骼610的形状构建各个关节的标识符。其他软件或硬件使用此信息以确定拟人对象的真实性。
为便于后期处理,标识符可以是与由文本定义的相对位置相关联的纯文本标识符。因此,例如,图中所示的左上方骨关节点是指骨骼610中的手_左612。手_左612可以与对应于一空间坐标范围的指定位置相关联。例如,手_左612可以是通过文本定义的给定相对位置,诸如,“高”、“低”、“稍微_高”、“接近_头”、“远离_头”、“指示_末端”、或者潜在地许多其他文本描述符。因此,当计算机检测人位置或人移动或两者时,计算机则将这些文本描述的指定模式与计算机或软件被训练的已知模式进行比较。在更为具体的实施例中,当手_左612是“接近_头”和“高”时,计算机则被训练成返回人手持手机的结果并且相应地采取动作。
不同描述地是,有利实施方式与仅检测已发生动作的事实的动作传感器不同。有利实施方式设想了使用上述技术以跟踪体型的移动以及该体型的骨关节点的移动以识别人类行为和位置。与动作检测相对,该技术被称之为移动检测。
因此,有利实施方式使用骨关节点、关节以及四肢作为标识符来跟踪此体型的移动。有利实施方式概括了木人或骨骼形状的这些标识符。通常,每个标识符均可包括标签(诸如,手_左612等)、XY或XYZ坐标、以及距离。这种类型的标识可被称之为骨骼跟踪。
人动作传感器600首先检测拟人对象,然后,检测动作。因此,可以检测不移动的一些拟人。例如,当初始开启时,有利实施方式可以检测其附近的静止人。进一步地,如参考图2所述,当某人触发事件时,诸如进入围栏工作区,有利实施方式可以启动。
图7是示出根据示意性实施方式的机器附近的人的误检检测的维恩图。维恩图700有助于理解在人移动检测系统中可能产生的误检类型,如果可以,应消除误检。
如图指示,当计算机从人动作传感器接收信号时,信号可能是误检信号。误检指系统认为是人但实际上不是人(诸如,以挂在墙上的雨衣为例)的一些结果。在人辨识软件中,误检出乎意料地常见。
维恩图700示出了人702、机器人704以及对象706之间的交互。当人或对象与机器人交互时,将被忽略708或触发警报710(或者针对机器人或其他机器采取一些其他动作)。而且,计算机忽略静止对象712、可接受距离714内的对象、对象716的正当部分、以及合理移动718。位于对象720的非正当部分以及不合理移动722,计算机可指示机器或机器人停止工作或通过其他方式修改其操作。
为了处理人动作传感器能够潜在地将对象识别为误检的众多方式,在一个实施例中,本发明利用了四种不同的方法,视对象自身如何呈现而定。首先,如果对象静止,诸如,挂在墙上的雨衣,用户则能够指示计算机忽略它。其次,如果对象移动或在距工作的机器人的可接受距离内静止,用户则能够指示本发明忽略此对象。第三,如果对象移动,但是,其移动是合理的,用户则能够指示计算机忽略与识别对象共享相同移动的全部对象。最后,如果对象的一些部分比其他部分更为重要【更不重要】,用户则能够指示计算机对哪些部分进行检测以及忽略哪些部分。
图8示出了根据示意性实施方式的机器附近的人的误检检测的实施例。例如,机器800可以是图1中的机器102或104、或者图2中的机器204。
在示意性实施方式中,计算机可在预览画面802上显示位于检测到对象806的地方的木人轮廓804。如果已识别的对象806不是人,用户则将其视为误检。
在本发明识别的静止对象为误检的情况下,至少存在两种方式来纠正这种情形。首先,如果可以,移动对象远离动作检测器的扫描区,则移开对象806。否则,可以指示计算机忽略对象806。
为了忽略静止对象,计算机收集与通过人动作传感器808检测的该对象相关联的骨骼跟踪器中的全部标识符。计算机将这些标识符记录为“安全”并且忽略包含这些标识符的任何对象。在有利实施方式的运作使用之前,将发生这种检测。实质上,在起动制造环境中的机器之前,人们将会快速扫视误检静止对象的区域。
图9示出了根据示意性实施方式的机器附近的人的误检检测的另一实施例。因此,人动作传感器900可以是图3中的人动作传感器300,并且机器902可以是图1中的机器102或104或者图2中的机器204。
在示意性实施方式中,即使该对象在扫描器的扫描范围内,计算机不应将在距工作的机器的可接受距离内识别的对象视为目标,不管其是否是误检。如图9所示,计算机允许用户调整动作检测器或动作传感器的扫描区,如箭头904所示。同样,骨骼跟踪器软件906仅拾取位于工作的机器一定接近度的对象。
进一步地,如度量908指示的,用户也能够向扫描器范围分配严重性。对象越接近,计算机就会增加严重性。在这些情况下,当严重性达到预定范围时,计算机则发出警告或修改机器的操作。此外,在不同的严重性度量下,可以采取从第一严重性的发出警报至第二更高严重性的修改机器、至第三甚至更高严重性的暂停机器这种不同的动作。进一步地,随着主体接近工作的机器,计算机可发起接近度警报。随着主体越来越接近,警报加强。
如静止对象,另一补救措施是将对象移离动作检测器的扫描路径。优选地,在可操作的使用有利实施方式之前,发生这种动作。实质上,在起动机器之前,技术人员应对已检测的远处对象的区域进行快速扫视。
图10示出了根据示意性实施方式的合理移动、不合理移动以及不期望移动的实施例。箭头1002是指通过人动作传感器1000检测的合理移动,合理移动被预定义为可接受,从而不发出警报并且不执行机器的操作的修改。例如,人动作传感器1000可以是图3中的人动作传感器300。
如上指示,在某些情况下,授权个人位于工作的机器附近或对工作的机器采取指定动作。例如,工作人员可能需要向机器馈送零件,如图10中的箭头1002所示。为了解决此问题,计算机使用“移动辨识”来识别预定为合理或安全的移动。
另一方面,如果检测到未授权的移动,诸如,人在机器附近的未授权空间内行走,如箭头1004指示的,计算机则激活警报或修改机器的操作。同样,计算机能够获知安全或可接受的移动;如箭头1006指示的,其还能够获知或辨识不期望的移动。不期望的移动的实施例可以是边走边打电话、或者可能携带某物、或者预定为不期望的任何其他移动。
计算机可针对不同类型的移动发出指定的警报。因此,计算机可查找不期望的行为以及未批准的行为或位置或移动,同时针对每个采取不同动作。
因此,通过使用动作感测技术和骨骼跟踪,计算机具有获知某些移动的能力。计算机将各个获知的移动识别为合理移动或不期望的移动。然后,计算机将从人动作传感器1000接收的数据与已知合理或不期望的移动进行比较,并且然后将来自人动作传感器1000的每个给定输入分类为合理的或忽略的。在示意性实施方式中,如果移动不能被辨识,计算机则将其视为不合理的移动并且触发警报或者致使修改机器的操作。不合理和不期望的移动两者触发警报或致使修改机器的操作。
应注意,计算机获知“移动”,而非人做出移动。该事实允许任何人执行辨识的移动。
还应注意,有利实施方式可被适配成对机器人或其他机器上的骨关节点的移动或行为进行分析。如果机器人或其他机器开始以无意识的方式进行操作,有利实施方式则可辨识此事实并且发出警报或修改所指的机器的操作或者修改位于所指的机器附近的其他机器的操作。因此,有利实施方式不必局限于上述所述实施例。
图11示出了根据示意性实施方式的选择人骨骼上的骨关节点同时忽略其他关节点的实施例。骨关节点可如关于图4、图9、或图10所描述的。
存在甚至合理的工作人员能够受益于增加的安全性的情形。当靠近工作的机器进行操作时,安全性是关注问题。出于此原因,计算机集中于更为可能受伤害的特定附属肢体,诸如,手动冲床附近的手指、或者风动钻机附近的一些其他身体部位等。通过使用图形用户界面1100,用户能够将计算机配置成通知即将对哪些进行检测以及忽略哪些(勾选框1102)。图形用户界面1100使用具有已识别的骨关节点的人体的轮廓。用户能够打开或关闭每个点,从而使得可以检测或不可检测,诸如,(勾选框1102)指示的。这些点镜射出通过骨骼跟踪器1104捕获的木人或骨骼的标识符。
图11示出了配置的具体实施例。在此配置中,忽略人的头部、肩_中心、肩_左、肘_左、肩_右、肘_右、脊骨、臀部_中心、臀部_左、膝盖_左、脚踝_左、脚_左、臀部_右、膝盖_右、脚踝_右、以及脚_右。当这些骨关节点位于机器附近时,既不触发警报,也不修改机器操作。通过选择手腕_左、手_左、手腕_右、以及手_右,计算机将对这些骨关节点进行跟踪,使得当距机器小于预定距离时,将触发警报或者将改变机器的操作。同样,仅个人的双手或手腕能够激活警报或者停止工作的机器。
如图11所示,用户可使用图形用户界面1100选择可跟踪的骨关节点。因此,例如,每个骨关节点均可以与给定勾选框相关联。在该实施例中,用户对待跟踪的身体部位的特定的勾选框(诸如,勾选框1102)进行检查。此结果的另一示图在于骨骼跟踪器1104,其示出了跟踪的身体部位中包括的圆圈1106和圆圈1108以及未被跟踪的剩余圆圈。
如参考图9所述,此原理可以与严重性度量结合。因此,例如,计算机可被配置为仅跟踪特定的身体部位或仅跟踪特定的动作,并且测量各个身体部位的严重性(可能的接近机器的程度)。因此,例如,如果手在距手动冲床的第一距离处,触发警报,但是,如果手在距手动冲床处的第二更接近距离处,则可自动停止机器的操作。有利实施方式设想了许多其他实施例,并且由此上述实施例不必限制其他有利实施方式或要求保护的发明。
图12示出了根据示意性实施方式的菊花链动作传感器的实施例。在该示意性实施方式中,存在两个传感器,即,人动作传感器1200和人动作传感器1202。例如,这些传感器中的每个均可以是图3中的人动作传感器300。
如图12所示,可以是菊花链人动作传感器,以避免障碍物,或者提供重叠或冗余覆盖区。因此,如果某物阻挡了人动作传感器1200,人动作传感器1202仍可跟踪或检测人1204。
图13示出了根据示意性实施方式的用于在制造环境中操作机器的系统的可能实施例。系统1300可以用于实现用于在制造环境中操作机器的方法,诸如,图5中的方法500等。例如,制造环境可以是图1中的制造环境100或图2中的制造环境200。
在图13的示意性实施方式中,诸如人动作传感器1302或人动作传感器1304的一个或多个人动作传感器连接至机器1306。人动作传感器1302和人动作传感器1304可以是图3中的人动作传感器300。如由电线1308指示的,传感器的连接可以直接插入到机器中或机器提供的接口中。该连接还可以连接到计算机1310,其用作人动作传感器1302或人动作传感器1304与机器1306之间的中间件。
可选地,计算机1310可以在显示设备上显示具有跟踪的骨关节点的骨骼,由此允许人基于来自人动作传感器1302或人动作传感器1304的输入观察计算机正在跟踪什么。如果某人过于接近工作的机器,显示器还可能闪光警告。也可以是音响警报。如上所述,由于跟踪人的动作,所以计算机1310还可命令机器1306以修改或暂停操作。
最后,有利实施方式设想了使用膝上型电脑1312安装、配置并且或优化系统。膝上型电脑1312可以经由物理插头或通过可靠网络连接而连接至机器。因此,有利实施方式不必局限于专用计算机或计算机1310。
图14示出了根据示意性实施方式的用于在制造环境中操作机器的另一系统。系统1400可以用于实现用于在制造环境中操作机器的方法,诸如,以图5中的方法500为例。例如,制造环境可以是图1中的制造环境100或图2中的制造环境200。系统1400可以是图13中的系统1300的替代品。
系统1400是用于在包括机器1402的制造环境中操作机器的系统。系统1400包括传感器系统1404,被配置为区分人骨骼位置与非人对象位置。传感器系统1404被进一步配置为确定预定区域中是否存在一个或多个人。传感器系统1404可以是人动作传感器系统。传感器系统1404还可使用骨骼上的骨关节点跟踪人的移动。
系统1400包括计算机1406。计算机1406被配置为:响应于确定仅一个或多个人在预定区域中,确定是否产生误检结果。误检可以是实际上不存在人而做出存在一个或多个人的第一确定。计算机1406还被配置为:响应于做出未产生误检结果的确定,采取选自于由发出警报、停止机器1402或其组合构成的组中的动作。因此,计算机1406连接至机器1402。
可以对示意性实施方式进行修改或扩展。例如,在计算机1406被配置为确定预定区域中是否存在一个或多个人中,计算机1406被进一步配置为:使用传感器系统1404以跟踪一个或多个人的骨骼位置的多个骨关节点,以建立跟踪的骨关节点。在这种情况下,计算机1406被编程为将跟踪的骨关节点与已知的骨关节点组进行比较。计算机1406被进一步配置为:响应于跟踪的骨关节点与已知的骨关节点组中的至少一个匹配,确定仅一个或多个人存在预定区域中。
在相关示意性实施方式中,计算机1406被进一步配置为:响应于计算机1406做出跟踪的骨关节点与一个或多个人的禁止骨骼位置对应的第二确定,改变警报。仍进一步地,禁止骨骼位置可以选自于由下列位置构成的组:与移动通信器上的讲话对应的第一位置、与奔跑对应的第二组位置、与相对于机器1402在特定方向上的移动对应的第三组位置、以及与操作机器1402有关的未授权动作对应的第四组位置。
在又一实施例中,被配置为改变警报的计算机1406被配置为执行下列操作中的一种:改变音响警报的音调、改变音响警报的音量、改变可视警报的颜色、改变可视警报的强度以及其组合。
在又一示意性实施方式中,计算机1406被进一步配置为:在确定未产生误检之前,使用动作传感器跟踪一个或多个人的骨骼位置的多个骨关节点的移动,以建立跟踪的骨关节点。在这种情况下,计算机1406将跟踪的骨关节点与已知的骨关节点组进行比较。然后,计算机1406响应于跟踪的骨关节点与人相对于机器1402的授权移动对应的授权的骨关节点组匹配,确定产生误检结果。
在又一示意性实施方式中,计算机1406被进一步配置为:使用动作传感器检测对象,其中,在被配置为确定是否产生误检结果中,计算机1406被进一步配置为确定对象是否静止。如果对象静止,计算机1406则被进一步配置为确定产生误检。
在又一示意性实施方式中,计算机1406被进一步配置为:使用动作传感器检测对象。在被配置为确定是否产生误检结果中,计算机1406被进一步配置为确定对象是否在距机器1402的预定距离之外。如果对象在预定距离之外,计算机1406则被进一步配置为确定产生误检。
在又一不同的示意性实施方式中,计算机1406被进一步配置为:使用动作传感器检测对象。在被配置为确定是否产生误检结果中,计算机1406则被进一步配置为确定对象是否从事授权的移动。如果对象从事授权移动,计算机1406则被进一步配置为确定产生误检。
图15是根据示意性实施方式的操作机器的流程图。使用诸如图14中的系统1400或图13中的系统1300的系统可以实现方法1500。在诸如图1中的制造环境100或图2中的制造环境200的制造环境中可以执行方法1500。使用关于图3至图13描述的方法及设备可以执行方法1500。
方法1500包括:在操作机器时,确定机器的受限制区域中是否存在一个或多个人,其中,通过被配置为区分人骨骼位置与非人对象位置的传感器系统执行该确定(操作1502)。方法1500还包括:响应于确定仅一个或多个人在受限制区域中,通过计算机确定是否产生误检结果,其中,误检包括:当实际上上不存在人时,做出存在一个或多个人的第一确定(操作1504)。方法1500还包括:响应于做出未产生误检结果的确定,计算机采取选自于由发出警报、停止或放慢机器、或其组合构成的组中的动作(操作1506)。方法之后可终止。
方法1500可以改变。例如,确定受限制区域中是否存在一个或多个人的操作可进一步包括:跟踪一个或多个人的骨骼位置的多个骨关节点,以建立跟踪的骨关节点;将跟踪的骨关节点与已知的骨关节点组进行比较;并且响应于跟踪的骨关节点与已知的骨关节点组中的至少一个匹配,确定仅一个或多个人存在受限制区域中。
方法1500还可包括:响应于跟踪的骨关节点与一个或多个人的禁止骨骼位置对应的第二确定,改变警报。在这种情况下,禁止骨骼位置可选自于由下列位置构成的组:与移动通信器上的讲话对应的第一位置、与奔跑对应的第二组位置、与相对于机器在特定方向上的移动对应的第三组位置、以及与操作机器有关的未授权动作对应的第四组位置。然而,其他骨骼位置是可能的。在另一实施例中,改变警报可选自于由下列操作构成的组:改变音响警报的音调、改变音响警报的音量、改变可视警报的颜色、改变可视警报的强度、以及其组合。
在不同的示意性实施方式中,方法1500可进一步包括:在确定未产生误检之前,使用计算机和动作传感器跟踪一个或多个人的骨骼位置的多个骨关节点的移动,以建立跟踪的骨关节点。在这种情况下,方法1500还包括:通过计算机比较跟踪的骨关节点与已知的骨关节点组。进一步地,在该实施例中,方法1500还包括:响应于跟踪的骨关节点与对应于人相对于机器的授权移动的已知的骨关节点组匹配,计算机确定产生误检结果。
在又一不同的示意性实施方式中,方法1500可进一步包括:使用动作传感器检测对象。在这种情况下,通过计算机确定是否产生误检结果包括:确定对象是否静止。如果对象静止,计算机则确定产生误检。
在又一示意性实施方式中,方法1500还可包括:使用动作传感器检测对象。在这种情况下,通过计算机确定是否产生误检结果包括:确定对象是否在距机器的预定距离之外。如果对象在预定距离之外,计算机则确定产生误检。
在又一示意性实施方式中,方法1500还可包括:使用动作传感器检测对象。在这种情况下,通过计算机确定是否产生误检结果包括:确定对象是否从事授权移动。如果对象从事授权移动,计算机则确定产生误检。
在又一示意性实施方式中,方法1500可进一步包括:跟踪一个或多个人的骨骼位置的多个骨关节点,以建立跟踪的骨关节点。在这种情况下,方法1500还可包括:将跟踪的骨关节点与已知的骨关节点组进行比较。已知的骨关节点组对应于人的授权移动或授权位置。此外,对于这种情况,方法1500可进一步包括:响应于跟踪的骨关节点与已知骨关节点组中的至少一个匹配,确定产生误检。
就上述而言,许多变形是可能的。额外变形也是可能的。在一些有利实施方式中,可以存在更多或更少的操作,并且如参考图1至图13描述的,可以存在不同的操作。因此,相对于图15描述的有利实施方式不一定必须限制要求保护的发明。
图16是根据示意性实施方式的机器人动作控制系统的框图。机器人动作控制系统1600可包括多轴机器人1602。“多轴机器人”被定义为机器人机器,当作为整体设备观看时,机器人机器能够在三个维度上移动并且进行关节活动。机器人动作控制系统1600与动作控制器1604通信,动作控制器1604接收控制工作区1606中的多轴机器人1602的动作的动作控制指令。
机器人动作控制系统1600还包括与动作控制器1604通信的人传感器1608。人传感器1608被校准为使用结构化的光传感器1610对工作区1606进行扫描,以对工作区1606内的人1612及其动作进行识别。结构化光传感器的实施例是具有用于解释图像的软件的摄像机。另一实施例是被配置为从附接至人或移动对象的设备接收光输入的光传感器。其他实施例是可能的。
人传感器1608检测诸如人1612等的已识别的人是否在多轴机器人1602的第一距离内移动并且发出警告,并且如果已识别的人在多轴机器人1602的第二距离(小于第一距离)内移动,则向动作控制器1604发出停止动作指示。
在一些有利的实施方式中,机器人动作控制系统1600中可以存在更多或更少的设备,因此,参考图16描述的有利实施方式并非限制要求保护的发明。
现转向图17,根据示意性实施方式描述了数据处理系统的示意图。图17中的数据处理系统1700是可以用于实现参考图1至图15描述的示意性实施方式或者本文中公开的任何其他模块或系统或过程的数据处理系统的实施例。在该示意性实施例中,数据处理系统1700包括通信结构1702,通信结构1702提供处理器单元1704、存储器1706、永久性储存器1708、通信单元1710、输入/输出(I/O)单元1712、以及显示器1714之间的通信。
处理器单元1704用于执行加载到存储器1706中的软件的指令。该软件可以是本文中任何地方描述的任何相关联存储器、或者用于实现本文中任何地方描述的过程的软件。因此,例如,被装载到存储器1706中的软件可以是用于执行图5中的方法500或图15中的方法1500的软件。处理器单元1704可以是多个处理器、多处理器内核、或一些其他类型的处理器,视具体实现方式而定。如本文中参考项使用的,数字指一项或多项。进一步地,使用多个异构处理器系统可以实现处理器单元1704,多个异构处理器系统中,主处理器和次处理器存在于单个芯片上。作为另一示意性实施例,处理器单元1704可以是包含同一类型的多个处理器的对称多处理器系统。
存储器1706和永久性储存器1708是储存设备1716的实施例。储存设备是能够临时性和/或永久性储存信息的任何硬件,信息诸如但不限于数据、函数形式的程序代码、和/或其他合适信息。在这些实施例中,储存设备1716还可被称之为计算机可读储存设备。例如,在这些实施例中,存储器1706可以是随机存取存储器或任何其他合适的易失性或非易失性储存设备。永久性储存器1708可采用各种形式,视具体实现方式而定。
例如,永久性储存器1708可包含一个或多个部件或设备。例如,永久性储存器1708可以是硬驱动器、闪存存储器、可重写光盘、可重写磁带、或上述一些组合。也可以移除永久性储存器1708使用的介质。例如,可移除硬驱动器可用于永久性储存器1708。
在这些实施例中,通信单元1710提供与其他数据处理系统或设备的通信。在这些实施例中,通信单元1710是网络接口卡。通信单元1710可以通过使用物理和无线通信链路中的任一个或两个而提供通信。
输入/输出(I/O)单元1712允许与连接至数据处理系统1700的其他设备进行数据的输入和输出。例如,输入/输出(I/O)单元1712可为通过键盘、鼠标、和/或一些其他合适的输入设备的用户输入提供连接。进一步地,输入/输出(I/O)单元1712可向打印机发送输出。显示器1714提供将信息显示给用户的机构。
用于操作系统、应用程序、和/或程序的指令可以位于储存设备1716中,储存设备1716通过通信结构1702与处理器单元1704通信。在这些示意性实施例中,指令以函数形式位于永久性储存器1708中。这些指令可被加载到存储器1706中以由处理器单元1704执行。处理器单元1704通过使用可以位于诸如存储器1706等存储器中的计算机实现指令可以执行不同实施方式的过程。
这些指令被称之为程序代码、计算机可用程序代码、或可由处理器单元1704中的处理器读取并且执行的计算机可读程序代码。在不同的实施方式中,程序代码可涵盖不同的物理或计算机可读储存介质,诸如,存储器1706或永久性储存器1708等。
程序代码1718以函数形式位于计算机可读介质1720上,计算机可读介质1720可被选择性地移除并且可被装载到或转移至数据处理系统1700中以由处理器单元1704执行。在这些实施例中,程序代码1718和计算机可读介质1720构成计算机程序产品1722。在一个实施例中,计算机可读介质1720可以是计算机可读储存介质1724或计算机可读信号介质1726。计算机可读储存介质1724可包括例如被插入或放置到作为永久性储存器1708的一部分的驱动器或其他设备中的光盘或磁盘,以转移至诸如作为永久性储存器1708的一部分的硬驱动器等储存设备中。计算机可读储存介质1724还可采取永久性储存器形式,诸如,连接至数据处理系统1700的硬驱动器、拇指驱动器、或闪存存储器等。在一些实例中,从数据处理系统1700中不可移除计算机可读储存介质1724。
可替代地,使用计算机可读信号介质1726可以将程序代码1718转移至数据处理系统1700。例如,计算机可读信号介质1726可以是包含程序代码1718的传播数据信号。例如,计算机可读信号介质1726可以是电磁信号、光学信号、和/或任何其他合适类型的信号。通过诸如无线通信链路、光纤电缆、同轴电缆、电线、和/或任何其他适合类型的通信链路等通信链路可以传输这些信号。换言之,在示意性实施例中,通信链路和/或连接可以是物理或无线链路。
在一些示意性实施方式中,程序代码1718可以通过网络从另一设备或数据处理系统通过计算机可读信号介质1726下载至永久性储存器1708以在数据处理系统1700内使用。例如,经由网络可以将服务器数据处理系统的计算机可读储存介质中储存的程序代码从服务器下载至数据处理系统1700。提供程序代码1718的数据处理系统可以是服务器计算机、客户端计算机、或能够储存并且传输程序代码1718的一些其他设备。
针对数据处理系统1700示出的不同部件并不意在对实现不同实施方式的方式提供架构限制。除针对数据处理系统1700示出的部件之外或替代针对数据处理系统1700示出的部件,在包括各个部件的数据处理系统中可以实现不同的示意性实施方式。图17中所示的其他部件可以从所示的示意性实施例中改变。使用能够运行程序代码的任何硬件设备或系统均可以实现不同的实施方式。例如,数据处理系统可包括与无机部件集成的有机部件和/或包括全部有机部件(不含人)。例如,储存设备可包括有机半导体。
在另一示意性实施例中,处理器单元1704可采取具有出于特殊用途而制造或配置的电路的硬件单元形式。这种类型的硬件可在不需要从储存设备将被配置为执行操作的程序代码加载到存储器中的情况下执行操作。
例如,当处理器单元1704采取硬件单元形式时,处理器单元1704可以是电路系统、专用集成电路(ASIC)、可编程逻辑设备、或被配置为执行多个操作的一些其他合适类型的硬件。通过可编程逻辑设备,该设备被配置为执行多种操作。该设备可在后期被重新配置或永久配置为执行多种操作。例如,可编程逻辑设备的实施例包括可编程逻辑阵列、可编程阵列逻辑、场可编程逻辑阵列、场可编程门阵列、以及其他合适的硬件设备。通过这种类型的实现方式,由于在硬件单元中实现不同实施方式的过程,所以可以省去计算机可用程序代码1718。
在又一示意性实施例中,使用在计算机和硬件单元中建立的处理器组合可以实现处理器单元1704。处理器单元1704可具有被配置为执行计算机可用程序代码1718的多个处理器和多个硬件单元。通过该描述的实施例,在多个硬件单元中可以实现一些过程,而在多个处理器中可以实现其他过程。
又例如,数据处理系统1700中的储存设备是可以储存数据的任何硬件装置。存储器1706、永久性储存器1708、以及计算机可读介质1720是有形形式储存设备的实施例。
在另一实施例中,总线系统可用于实现通信结构1702并且可包括诸如系统总线或输入/输出总线等一个或多个总线。当然,使用提供在附接至总线系统的不同部件或设备之间数据传输的任何合适类型的架构均可以实现总线系统。此外,通信单元可包括用于传输和接收数据的一个或多个设备,诸如,调制解调器或网络适配器等。进一步地,例如,存储器可以是存储器1706、或高速缓存存取器,诸如通信结构1702中可能存在的接口和存储器控制器集线器中可以找到。
数据处理系统1700还可包括相关联的存储器1728。相关联存储器1728可以与通信结构1702通信。相关联存储器1728还可以与储存设备1716的一部分通信,或者在一些示意性实施方式中,相关联存储器1728可被视为储存设备1716的一部分。尽管示出了一个相关联存储器1728,然而,可以存在额外的相关联存储器。
进一步地,本公开包括根据下列项的实施方式:
第1项.一种用于在包括机器的制造环境中操作机器的系统,系统包括:
传感器系统,传感器系统被配置为区分人骨骼位置与非人对象位置,传感器系统被进一步配置为确定预定区域中是否存在一个或多个人;和
计算机,被配置为:
响应于确定仅一个或多个人在预定区域中,确定是否产生误检结果,其中,误检包括当实际上不存在人时而做出存在一个或多个人的第一确定;并且
响应于做出未产生误检结果的确定,计算机采取选自于由发出警报、停止机器或其组合构成的组中的动作。
第2项.根据第1项所述的系统,其中,计算机在被配置为确定预定区域中是否存在一个或多个人中,计算机被进一步配置为:
使用传感器系统跟踪一个或多个人的骨骼位置的多个骨关节点,以创建跟踪的骨关节点;
将跟踪的骨关节点与已知的骨关节点组进行比较;并且
响应于做出跟踪的骨关节点与已知的骨关节点组中的至少一个匹配,确定仅一个或多个人存在预定区域中。
第3项.根据第2项所述的系统,其中,计算机被进一步配置为:
响应于计算机做出跟踪的关节点与一个或多个人的禁止骨骼位置对应的第二确定,改变警报。
第4项.根据第3项所述的系统,其中,禁止骨骼位置选自于由下列位置构成的组:与移动通信器上的讲话对应的第一位置、与奔跑对应的第二组位置、与相对于机器在特定方向上移动对应的第三组位置、以及与操作机器有关的未授权动作对应的第四组位置。
第5项.根据第4项所述的系统,其中,计算机在被配置为改变警报中,被配置为执行下列操作中的一种:改变音响警报的音调、改变音响警报的音量、改变可视警报的颜色、改变可视警报的强度以及其组合。
第6项.根据第1项所述的系统,其中,计算机被进一步配置为:
在确定未产生误检之前,使用传感器系统跟踪一个或多个人的骨骼位置的多个骨关节点的移动,以创建跟踪的骨关节点;
将跟踪的骨关节点与已知的骨关节点组进行比较;并且
响应于做出跟踪的骨关节点与和人相对于机器的授权移动对应的授权组骨关节点匹配,确定产生误检结果。
第7项.根据第1项所述的系统,其中,计算机被进一步配置为:
使用传感器系统检测对象,其中,计算机在被配置为确定是否产生误检结果中,计算机被进一步配置为确定对象是否静止,并且其中,如果对象静止,计算机则被进一步配置为确定产生误检。
第8项.根据第1项所述的系统,其中,计算机被进一步配置为:
使用传感器系统检测对象,其中,计算机在被配置为确定是否产生误检结果中,计算机被进一步配置为确定对象是否在距机器的预定距离之外,并且其中,如果对象在预定距离之外,计算机则被进一步配置为确定产生误检。
第9项.根据第1项所述的系统,其中,计算机被进一步配置为:
使用传感器系统检测对象,其中,计算机在被配置为确定是否产生误检结果中,计算机被进一步配置为确定对象是否从事授权移动,并且其中,如果对象从事授权移动,计算机则被进一步配置为确定产生误检。
第10项.一种操作机器的方法,该方法包括:
在操作机器时,确定机器的预定区域中是否存在一个或多个人,其中,通过被配置为区分人骨骼位置与非人对象位置的传感器系统执行确定;
响应于确定仅一个或多个人在预定区域中,通过计算机确定是否产生误检结果,其中,误检包括当实际上不存在人时,做出存在一个或多个人的第一确定;并且
响应于确定未产生误检结果,计算机采取选自于由发出警报、停止机器、或其组合构成的组中的动作。
第11项.根据第10项所述的方法,其中,确定预定区域中是否存在一个或多个人包括:
跟踪一个或多个人的骨骼位置的多个骨关节点,以创建跟踪的骨关节点;将跟踪的骨关节点与已知的骨关节点组进行比较;并且响应于跟踪的骨关节点和与已知的骨关节点组中的至少一个匹配,确定仅一个或多个人存在预定区域中。
第12项.根据第11项所述的方法,进一步包括:
响应于做出跟踪的骨关节点与一个或多个人的禁止骨骼位置对应的第二确定,改变警报。
第13项.根据第12项所述的方法,其中,禁止骨骼位置选自于由下列位置构成的组:与移动通信器上的讲话对应的第一位置、与奔跑对应的第二组位置、与相对于机器在特定方向上的移动对应的第三组位置、以及与操作机器有关的未授权动作对应的第四组位置。
第14项.根据第13项所述的方法,其中,改变警报选自于由下列操作构成的组:改变音响警报的音调、改变音响警报的音量、改变可视警报的颜色、改变可视警报的强度、以及其组合。
第15项.根据第10项所述的方法,进一步包括:
在确定未产生误检之前,使用计算机和传感器系统跟踪一个或多个人的骨骼位置的多个骨关节点的移动,以创建跟踪的骨关节点;
通过计算机比较跟踪的骨关节点与已知的骨关节点组;并且
响应于跟踪的骨关节点和与人相对于机器的授权移动对应的授权的骨关节点组匹配,计算机确定产生误检结果。
第16项.根据第10项所述的方法,进一步包括:
使用传感器系统检测对象,其中,计算机做出是否产生误检结果的确定包括:确定对象是否静止,并且其中,如果对象静止,计算机则确定产生误检。
第17项.根据第10项所述的方法,进一步包括:
使用传感器系统检测对象,其中,计算机做出是否产生误检结果的确定包括:确定对象是否在距机器的预定距离之外,并且其中,如果对象在预定距离之外,计算机则确定产生误检。
第18项.根据第10项所述的方法,进一步包括:
使用传感器系统检测对象,其中,计算机做出是否产生误检结果的确定包括:确定对象是否从事授权移动,并且其中,如果对象从事授权移动,计算机则确定产生误检。
第19项.根据第10项所述的方法,进一步包括:
跟踪一个或多个人的骨骼位置的多个骨关节点,以创建跟踪的骨关节点;
将跟踪的骨关节点与已知的骨关节点组进行比较,已知的骨关节点组与人的授权移动或授权位置对应;并且
响应于跟踪的骨关节点与已知的骨关节点组中的至少一个匹配,确定产生误检。
第20项.一种机器人动作控制系统,包括:
多轴机器人,多轴机器人与动作控制器通信,动作控制器接收控制工作区中的多轴机器人的动作的动作控制指令;
人传感器,人传感器与动作控制器通信,并且被校准成使用结构化光传感器对工作区进行扫描,以识别工作区内的人及其动作;并且
人传感器则被配置为检测所识别的人是否在多轴机器人的第一距离内移动并且传达警告,并且如果所识别的人在多轴机器人的第二距离内,第二距离小于第一距离,人传感器则向动作控制器传达停止动作指令。
第21项.根据第20项所述的机器人动作控制系统,其中,被配置为进行检测的人传感器被进一步配置为:
跟踪人的骨骼位置的多个骨关节点,以创建跟踪的骨关节点;
将跟踪的骨关节点与已知的骨关节点组进行比较;并且
响应于跟踪的骨关节点与已知的骨关节点组中的至少一个匹配,确定仅所识别的人存在工作区中。
第22项.根据第21项所述的机器人动作控制系统,其中,人传感器被进一步配置为:
响应做出跟踪的骨关节点与人的禁止骨骼位置对应的第二确定,改变对人的通告。
第23项.根据第22项所述的机器人动作控制系统,其中,禁止骨骼位置选自于由下列位置构成的组:与移动通信器上的讲话对应的第一位置、与奔跑对应的第二组位置、与相对于机器在特定方向上的移动对应的第三组位置、以及与操作多轴机器人有关的授权动作对应的第四组位置。
第24项.根据第23项所述的机器人动作控制系统,其中,被配置为改变警告的人传感器被配置为执行下列操作中的一种:改变音响警报的音调、改变音响警报的音量、改变可视警报的颜色、改变可视警报的强度、以及其组合。
如此处使用的,术语“相关联存储器”指内容可寻址存储器。相关联存储器可以视为多个数据和多个数据之间的多种关联性。多个数据和多个关联性可储存在非临时性计算机可读储存介质中。多个数据可被集合到相关联的组中。除多个数据之间的直接相关性之外,相关联的存储器可被配置为至少基于多个数据之间的间接相互关系进行查询。因此,相关联存储器可被配置为单独基于直接相互关系、至少单独基于间接相互关系、以及基于直接与至少间接相互关系的组合而进行查询。相关联存储器可以是内容可寻址存储器。
因此,相关联存储器可表征为多个数据与多个数据之间的多个相关联性。多个数据可被集合到相关联的组中。进一步地,相关联的存储器可被配置为至少基于一种相互关系进行查询,即,选自于包括直接和至少间接相互关系的组、或者除多个数据之间的直接相关性之外的多个数据。相关联存储器还可采用软件形式。因此,相关联存储器还可被视为基于相互关系而非直接相关性而将信息集合到相关联组中以获得新视野的过程。相关联存储器还可采用硬件形式,诸如,专用处理器或场可编程门阵列等。
如此处使用的,术语“实体”指具有明显独立存在性的对象,但该存在性不需要是物质存在性。因此,抽象概念和合法构造可被视为实体。如此处使用的,实体不需要被赋予生命。相关联存储器与实体一起工作。
不同的示意性实施方式能够采取全部硬件实施方式、全部软件实施方式、或包含硬件和软件元件的实施方式的形式。以包括但不限于诸如固件、常驻软件以及微码等形式的软件实现一些实施方式。
进一步地,不同的实施方式能够采取从计算机可用或计算机可读介质访问的计算机程序产品形式提供计算机或任何设备或运行指令的系统使用的程序代码、或者与计算机或任何设备或运行指令的系统连接的。出于本公开之目的,计算机可用或计算机可读介质一般是能够包含、储存、通信、传播、或传输供指令运行系统、装置、或设备使用的程序或与指令运行系统、装置、或设备连接的任何有形装置。
计算机可用或计算机可读介质可以是例如但不限于电子、磁性、光学、电磁、红外、或半导体系统、或传播介质。计算机可读介质的非限制性实施例包括半导体或固态存储器、磁带、可移除计算机磁盘、随机访问存储器(RAM)、只读存储器(ROM)、刚性磁盘、以及光盘。光盘可包括压密盘-只读存储器(CD-ROM)、压密盘-读/写(CD-R/W)、以及DVD。
进一步地,计算机可用或计算机可读介质可包含或储存计算机可读或计算机可用程序代码,因此,当在计算机上运行计算机可读或计算机可用程序代码时,该计算机可读或计算机可用程序代码的运行致使计算机通过通信链路传输另一计算机可读或计算机可用程序代码。该通信链路可使用例如但不限于物理或无线介质。
适合用于储存和/或运行计算机可读或计算机可用程序代码的数据处理系统将包括通过诸如系统总线等通信结构直接或间接耦接至存储器元件的一个或多个处理器。存储器元件可包括程序代码实际运行过程中采用的本地存储器、大容量储存器、以及缓存存储器,缓存存储器提供临时储存至少一些计算机可读或计算机可用程序代码,以在代码运行过程中,从大容量储存器中可以检索到代码。并且减少代码运行次数。
输入/输出或I/O设备能够直接或通过中间I/O控制器耦接至系统。这些设备可包括例如但不限于键盘、触摸屏显示器、以及定点设备。不同的通信适配器也可以耦接至系统,以支持数据处理系统通过中间私有或公共网络而变得耦接至其他数据处理系统或远程打印机或储存设备。调制解调器和网络适配器的非限制性实施例仅是当前可用类型的通信适配器。
出于示出和描述之目的,展开了对不同示意性实施方式的描述,并且并不旨在穷尽或局限于所公开形式的实施方式。许多改造和变形对本领域普通技术人员变得显而易见。进一步地,与其他示意性实施方式相比较,不同示意性实施方式可提供不同的特征。为了最好地阐明实施方式、实际应用的原理,并且为了使本领域普通技术人员通过适合设定具体用途的各种改造理解本公开的各种实施方式,选定并且描述该实施方式或已选择的实施方式。

Claims (9)

1.一种用于在包括机器的制造环境中操作机器的系统,所述系统包括:
传感器系统,被配置为区分人类骨骼位置与非人类对象位置,所述传感器系统被进一步配置为确定一个或多个人是否存在于预定区域中;以及
计算机,被配置为:
响应于确定仅所述一个或多个人存在于所述预定区域中,确定是否产生误检,其中,误检包括实际上不存在人时,做出存在所述一个或多个人的第一确定;并且
响应于确定未产生所述误检,所述计算机采取选自于由发出警报、停止所述机器或其组合构成的组中的动作,
在确定未产生所述误检之前,使用所述传感器系统跟踪所述一个或多个人的骨骼位置的多个骨关节点的移动,以创建跟踪的骨关节点;
将所述跟踪的骨关节点与已知的骨关节点组进行比较;并且
响应于所述跟踪的骨关节点与授权的骨关节点组匹配,确定产生所述误检,所述授权的骨关节点对应于人相对于所述机器的授权移动。
2.根据权利要求1所述的系统,其中,所述计算机在被配置为确定所述预定区域中是否存在所述一个或多个人中,被进一步配置为:
使用所述传感器系统跟踪所述一个或多个人的骨骼位置的多个骨关节点,以创建跟踪的骨关节点;
将所述跟踪的骨关节点与已知的骨关节点组进行比较;并且
响应于所述跟踪的骨关节点与所述已知的骨关节点组中的至少一个骨关节点相匹配,确定仅所述一个或多个人存在于所述预定区域中。
3.根据权利要求2所述的系统,其中,所述计算机被进一步配置为:
响应于所述计算机做出所述跟踪的骨关节点与所述一个或多个人的禁止骨骼位置对应的第二确定,改变所述警报。
4.根据权利要求3所述的系统,其中,所述禁止骨骼位置选自于由以下构成的组:与移动通信器上的讲话对应的第一位置、与奔跑对应的第二组位置、与相对于所述机器在特定方向上移动对应的第三组位置、以及与操作所述机器有关的未授权动作对应的第四组位置。
5.根据权利要求4所述的系统,其中,所述计算机在被配置为改变所述警报中,被配置为执行下列操作中之一:改变可听警报的音调、改变可听警报的音量、改变可视警报的颜色、改变可视警报的强度、以及其组合。
6.根据权利要求1所述的系统,其中,所述计算机被进一步配置为:
使用所述传感器系统检测对象,其中,所述计算机在被配置为确定是否产生所述误检中,被进一步配置为确定所述对象是否静止,并且其中,如果所述对象静止,则所述计算机被进一步配置为确定产生所述误检。
7.根据权利要求1所述的系统,其中,所述计算机被进一步配置为:
使用所述传感器系统检测对象,其中,所述计算机在被配置为确定是否产生所述误检中,被进一步配置为确定所述对象是否在距所述机器的预定距离之外,并且其中,如果所述对象在所述预定距离之外,所述计算机则被进一步配置为确定产生所述误检。
8.根据权利要求1所述的系统,其中,所述计算机被进一步配置为:
使用所述传感器系统检测对象,其中,所述计算机在被配置为确定是否产生所述误检中,被进一步配置为确定所述对象是否进行授权移动,并且其中,如果所述对象进行所述授权移动,所述计算机则被进一步配置为确定产生所述误检。
9.一种操作机器的方法,所述方法包括:
在操作机器时,确定所述机器的预定区域中是否存在一个或多个人,其中,由被配置为区分人类骨骼位置与非人类对象位置的传感器系统执行所述确定;
响应于确定仅所述一个或多个人存在于所述预定区域中,通过计算机确定是否产生误检,其中,误检包括实际上不存在人时,做出存在一个或多个人的第一确定;并且
响应于确定未产生所述误检,所述计算机采取选自于由发出警报、停止所述机器、或其组合构成的组中的动作,
在确定未产生所述误检之前,使用所述传感器系统跟踪所述一个或多个人的骨骼位置的多个骨关节点的移动,以创建跟踪的骨关节点;
将所述跟踪的骨关节点与已知的骨关节点组进行比较;并且
响应于所述跟踪的骨关节点与授权的骨关节点组匹配,确定产生所述误检,所述授权的骨关节点对应于人相对于所述机器的授权移动。
CN201710610743.4A 2016-07-28 2017-07-25 用于在包括机器的制造环境中操作机器的系统以及方法 Active CN107664977B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/222,008 US10186130B2 (en) 2016-07-28 2016-07-28 Using human motion sensors to detect movement when in the vicinity of hydraulic robots
US15/222,008 2016-07-28

Publications (2)

Publication Number Publication Date
CN107664977A CN107664977A (zh) 2018-02-06
CN107664977B true CN107664977B (zh) 2021-11-12

Family

ID=59655853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710610743.4A Active CN107664977B (zh) 2016-07-28 2017-07-25 用于在包括机器的制造环境中操作机器的系统以及方法

Country Status (8)

Country Link
US (1) US10186130B2 (zh)
EP (1) EP3275604B1 (zh)
JP (1) JP7076184B2 (zh)
KR (1) KR102400964B1 (zh)
CN (1) CN107664977B (zh)
AU (2) AU2017203490B2 (zh)
BR (1) BR102017015871B1 (zh)
CA (1) CA2971432C (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11000953B2 (en) * 2016-08-17 2021-05-11 Locus Robotics Corp. Robot gamification for improvement of operator performance
JP6866673B2 (ja) * 2017-02-15 2021-04-28 オムロン株式会社 監視システム、監視装置、および監視方法
EP3437804A1 (en) * 2017-08-02 2019-02-06 ABB Schweiz AG Robot control method
EP3804918A4 (en) * 2018-05-25 2022-03-30 Kawasaki Jukogyo Kabushiki Kaisha ROBOT SYSTEM AND ADDITIONAL LEARNING METHOD
JP7107091B2 (ja) * 2018-08-22 2022-07-27 セイコーエプソン株式会社 ロボットシステム及び制御装置
CN110871315A (zh) * 2018-09-03 2020-03-10 苏州睿牛机器人技术有限公司 一种爬行弧焊机器人及爬行弧焊机器人的安全检测方法、装置
US10853934B2 (en) 2018-09-19 2020-12-01 Indus.Ai Inc Patch-based scene segmentation using neural networks
US10769422B2 (en) 2018-09-19 2020-09-08 Indus.Ai Inc Neural network-based recognition of trade workers present on industrial sites
JP7038642B2 (ja) * 2018-11-20 2022-03-18 株式会社日立製作所 作業習熟支援装置、及び作業習熟支援システム
US10795342B1 (en) * 2019-04-01 2020-10-06 The Boeing Company Proximity detection in assembly environments having machinery
US10789824B1 (en) * 2019-04-01 2020-09-29 The Boeing Company Proximity detection in fabrication environments having robots
CN111613022B (zh) * 2019-06-05 2022-06-21 北新集团建材股份有限公司 一种生产监测系统
JP2021163260A (ja) * 2020-03-31 2021-10-11 株式会社小松製作所 検出システムおよび検出方法
KR102202629B1 (ko) * 2020-04-20 2021-01-15 (주)시그너스 지능형 로봇 안전관리 시스템 및 그것의 동작 방법
US11348355B1 (en) 2020-12-11 2022-05-31 Ford Global Technologies, Llc Method and system for monitoring manufacturing operations using computer vision for human performed tasks
WO2023148971A1 (ja) * 2022-02-07 2023-08-10 日本電気株式会社 管理装置、管理方法、およびコンピュータ可読媒体
WO2023148970A1 (ja) * 2022-02-07 2023-08-10 日本電気株式会社 管理装置、管理方法、およびコンピュータ可読媒体

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2772336A2 (en) * 2013-02-27 2014-09-03 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with position and derivative decision reference
CN104111646A (zh) * 2014-07-08 2014-10-22 国家电网公司 高压带电作业区域安防监控系统
CN104700535A (zh) * 2014-12-31 2015-06-10 大亚湾核电运营管理有限责任公司 一种针对非法入侵核电厂的视频复核报警方法及装置
CN105035681A (zh) * 2015-07-01 2015-11-11 淮南联合大学 基于dsp带式输送机乘人越位监控系统
CN105366463A (zh) * 2014-08-11 2016-03-02 株式会社日立建筑系统 影像监视装置
CN105513036A (zh) * 2014-09-26 2016-04-20 上海联影医疗科技有限公司 三维ct图像的分割方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4149262A (en) 1977-04-19 1979-04-10 Semionics Associates Associative memory device with variable recognition criteria
US4144564A (en) 1977-04-19 1979-03-13 Semionics Associates Associative memory
US5014327A (en) 1987-06-15 1991-05-07 Digital Equipment Corporation Parallel associative memory having improved selection and decision mechanisms for recognizing and sorting relevant patterns
EP1911553B1 (en) * 2005-07-19 2014-04-02 Omron Corporation Safety management system for worker
US8160981B2 (en) 2007-09-25 2012-04-17 Saffron Technology, Inc. Event-based anticipation systems, methods and computer program products for associative memories wherein times of future events occurring are predicted
US8253792B2 (en) 2009-08-28 2012-08-28 GM Global Technology Operations LLC Vision system for monitoring humans in dynamic environments
US20110317871A1 (en) * 2010-06-29 2011-12-29 Microsoft Corporation Skeletal joint recognition and tracking system
US8437506B2 (en) * 2010-09-07 2013-05-07 Microsoft Corporation System for fast, probabilistic skeletal tracking
US9256781B2 (en) * 2012-05-10 2016-02-09 Pointguard Ltd. System and method for computer vision based tracking of an object
EP2838698B2 (de) * 2012-07-10 2020-01-01 Siemens Aktiengesellschaft Roboteranordnung und verfahren zum steuern eines roboters
CN103399637B (zh) * 2013-07-31 2015-12-23 西北师范大学 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法
US9269151B2 (en) * 2014-02-11 2016-02-23 Microsoft Technology Licensing, Llc Manufacturing line monitoring
JP6402469B2 (ja) * 2014-04-04 2018-10-10 富士電機株式会社 安全制御装置および安全制御システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2772336A2 (en) * 2013-02-27 2014-09-03 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with position and derivative decision reference
CN104111646A (zh) * 2014-07-08 2014-10-22 国家电网公司 高压带电作业区域安防监控系统
CN105366463A (zh) * 2014-08-11 2016-03-02 株式会社日立建筑系统 影像监视装置
CN105513036A (zh) * 2014-09-26 2016-04-20 上海联影医疗科技有限公司 三维ct图像的分割方法及装置
CN104700535A (zh) * 2014-12-31 2015-06-10 大亚湾核电运营管理有限责任公司 一种针对非法入侵核电厂的视频复核报警方法及装置
CN105035681A (zh) * 2015-07-01 2015-11-11 淮南联合大学 基于dsp带式输送机乘人越位监控系统

Also Published As

Publication number Publication date
AU2021269293C1 (en) 2023-05-25
BR102017015871A2 (pt) 2018-10-30
AU2021269293A1 (en) 2021-12-09
KR20180013757A (ko) 2018-02-07
JP7076184B2 (ja) 2022-05-27
AU2017203490B2 (en) 2021-09-09
EP3275604B1 (en) 2020-11-04
BR102017015871B1 (pt) 2023-01-10
CN107664977A (zh) 2018-02-06
US10186130B2 (en) 2019-01-22
AU2017203490A1 (en) 2018-02-15
JP2018049592A (ja) 2018-03-29
KR102400964B1 (ko) 2022-05-20
EP3275604A1 (en) 2018-01-31
US20180033276A1 (en) 2018-02-01
CA2971432A1 (en) 2018-01-28
CA2971432C (en) 2021-11-16
AU2021269293B2 (en) 2023-02-23

Similar Documents

Publication Publication Date Title
CN107664977B (zh) 用于在包括机器的制造环境中操作机器的系统以及方法
Hentout et al. Human–robot interaction in industrial collaborative robotics: a literature review of the decade 2008–2017
Wang et al. Overview of human-robot collaboration in manufacturing
US9914218B2 (en) Methods and apparatuses for responding to a detected event by a robot
US20140135984A1 (en) Robot system
US20190054631A1 (en) System and method for operating and controlling a hyper configurable humanoid robot to perform multiple applications in various work environments
Herrero et al. Skill based robot programming: Assembly, vision and Workspace Monitoring skill interaction
CN104102185A (zh) 具有人和物体区分的基于识别的工业自动化控制
CN104076761A (zh) 具有基于置信度的决定支持的基于识别的工业自动化控制
JP2021500668A (ja) 監視装置、産業用設備、監視方法及びコンピュータプログラム
JP7114885B2 (ja) 作業現場監視装置およびプログラム
Mastrogiovanni et al. A Distributed Architecture for Symbolic Data Fusion.
Wu et al. Thermal image-based hand gesture recognition for worker-robot collaboration in the construction industry: A feasible study
US11478932B2 (en) Handling assembly comprising a handling device for carrying out at least one work step, method, and computer program
Nguyen et al. Merging physical and social interaction for effective human-robot collaboration
Muharom et al. Room Searching Robot Based on Door Detection and Room Number Recognition for Automatic Target Shooter Robot Application
Sung et al. Smart garbage bin based on AIOT
Martínez et al. Visual identification and similarity measures used for on-line motion planning of autonomous robots in unknown environments
Ravipati et al. Real-time gesture recognition and robot control through blob tracking
Xie et al. An Image-Based Human-Robot Collision Avoidance Scheme: A Proof of Concept
Li et al. From assistive devices to manufacturing cobot swarms
Tang The development of a human-robot interface for industrial collaborative system
Lou et al. Posture Control of Collaborative Robotic Manipulator Based on Gesture Sensors
Gudovich Realizace virtuálního domácího asistenta na základě technologie počítačového vidění
Jaramillo Herrera et al. Virtual environment for assistant mobile robot.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant