CN104991519A - 飞行时间人机接口 - Google Patents

飞行时间人机接口 Download PDF

Info

Publication number
CN104991519A
CN104991519A CN201510350907.5A CN201510350907A CN104991519A CN 104991519 A CN104991519 A CN 104991519A CN 201510350907 A CN201510350907 A CN 201510350907A CN 104991519 A CN104991519 A CN 104991519A
Authority
CN
China
Prior art keywords
movement
user
time
industrial
body part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510350907.5A
Other languages
English (en)
Other versions
CN104991519B (zh
Inventor
卡尔·曼赫茨
克雷格·马丁·布罗克曼
埃利克·I·富克斯
曼弗雷德·诺贝特·斯坦
马丁·哈德格
陈玮洁
里顿·贝尔纳
理查德·加莱拉
罗贝特·M·布莱克
罗格·默茨
苏雷什·奈尔
史蒂文·A·艾森布朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rockwell Automation Switzerland GmbH
Rockwell Automation Technologies Inc
Original Assignee
Cedes Safety and Automation AG
Rockwell Automation Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cedes Safety and Automation AG, Rockwell Automation Technologies Inc filed Critical Cedes Safety and Automation AG
Publication of CN104991519A publication Critical patent/CN104991519A/zh
Application granted granted Critical
Publication of CN104991519B publication Critical patent/CN104991519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/409Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details, by setting parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676Avoiding collision or forbidden zones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • G05B19/4061Avoiding collision or forbidden zones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/35Nc in input of data, input till input file format
    • G05B2219/35444Gesture interface, controlled machine observes operator, executes commands
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/36Nc in input of data, input key till input tape
    • G05B2219/36133MMI, HMI: man machine interface, communication
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/36Nc in input of data, input key till input tape
    • G05B2219/36184Record actions of human expert, teach by showing
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/36Nc in input of data, input key till input tape
    • G05B2219/36442Automatically teaching, teach by showing
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40202Human robot coexistence
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40414Man robot interface, exchange of information between operator and robot
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves

Abstract

本发明涉及一种飞行时间人机接口,公开了用于在工业自动化环境中利用用户的身体移动的方法。提供了系统和方法,其用于在工业自动化环境中基于所检测到的用户身体移动在对各种工业活动的执行中控制工业设备。该方法包括:采用飞行时间传感器来检测用户的身体部位的移动;查明身体部位的移动是否符合身体部位的所辨别的移动;将身体部位的所辨别的移动解释为可执行动作;并且在之后开动工业机器以执行可执行动作。

Description

飞行时间人机接口
本申请是申请人于2011年10月14日向中国专利局提交的发明名称为“飞行时间人机接口”、申请号为201110322080.9的发明专利申请的分案申请。
技术领域
所要求保护的主题内容一般涉及工业控制系统,并且更具体地涉及在对工业环境中的工作的执行中利用飞行时间感测来控制工业设备。
背景技术
在目前为止,人机配合基于人类用户在工业机器离线时对工业机器进行操作或对工业机器进行编程的主从关系,这仅允许执行静态任务。此外,为了确保安全,通常在时间或者空间上分隔人类和工业设备的工作区。如将被了解到的那样,前述方案无法发挥潜在的人机设备/机器配合的优势,在潜在的人机设备/机器中,每个成员、人类和工业设备/机器都可以基于它们各自的能力主动地(actively)进行控制并且对任务的解决做出贡献。
为了交流的目的,在社会中以及在听力受损者中广泛性地利用了手语。此外,在嘈杂环境和/或距离对于传送命令和/或指示有影响的环境中,利用了手语和/或身体姿势/语言。例如,在诸如飞行器制造厂的工业工地处,看到人员在调动重型部件(诸如用于附接到制造中的航空器的机身的机翼)时使用手和/或手臂信号来指引吊车操作者并不是反常的。此外,与世界的地区和/或文化无关,特定的手语和/或身体姿势/表情可以具有通用性并且可以传达基本上相似的涵义。
如将被了解到的那样,工业环境或者这些工业环境内的工作区域,可能对于不经意地进入它们的人员造成巨大的危险和危害。在工业环境中,可能存在大量能以可观的速率和/或通过极大的力量进行旋转和/或移动的机械,使得妨碍这些机器的人被严重伤害甚至可能导致死亡。
在工业应用中采用的触摸屏幕监视器(如人机接口(HMI)),甚至在最无菌和/或洁净的条件下,尽管不断的清洁(例如,通过湿擦),仍可以随着时间而通过尘垢和/或碎屑(例如,尘土、来自与手指的接触的油、来自工业处理(特别是来自乳胶或橡胶手套)的油等)变得结壳。这样的尘垢和/或碎屑层的积聚可以使得触摸屏监视器的灵敏度随着时间而下降。此外,一些触摸屏监视器需要在身体部位(例如,手指)和屏幕之间进行真正的身体接触。例如,存在当人佩戴着手套时不起作用的触摸屏监视器。如所能想到的,在触摸屏监视器位于化学腐蚀性工业环境中的情况下,这可能是个问题,在化学腐蚀性工业环境中为了操纵显示在屏幕上的物体而暴露皮肤可能具有危害性的后果。
此外,因为在触摸屏的表面上划动或者拖动触笔可能最终永久地划伤或者蚀刻表面,使得以后对屏幕的观看变得有困难或者有问题,所以使用触笔或其他划线装置的触摸屏也会受制于缺点。此外,在工业工厂中很多工作区域可能位于如下环境中,在该环境中,大气中充满了能够沉降在触摸屏上的油和/或风媒的研磨颗粒物质。该研磨颗粒物质单独地或者与用作润滑剂的任何沉降的油相结合地,通过在触摸屏上拖动的触笔或者其他划线装置,能够不可消除地切割触摸屏。此外,使用光笔、光棒或光枪而非触笔通常与由于节约空间的原因而利用平板屏幕技术来摆脱阴极射线管(CRT)监视器的当前工业趋势不相符,并且进一步地,使用光笔、光棒或光枪需要用户相对靠近CRT监视器。
为了标出或者划出并且/或者监控可以包括以大的快速性和/或力量移动和/或转动的各种机器的工业自动化环境中的危害性区域,常用的实践是采用栅栏(fence)、光帘等,以在这些机器的操作期间人不经意地绊倒进入这样的危险区域并且/或者四肢意外地进入这样的危险区域的情况下,立即停止受控区域或者有边界的区域中的这些机器。也被用于防止无意地进入受限制的和/或受监督区(其在工业自动化环境中将生命和/或肢体暴露于风险)的更广泛实践是通过使用位置标记点,其中相机检测和查明位置标记点的位置并且生成所保护区域的边界,此后可以针对有意的和/或无意的/意外进入来监控所保护区域的边界。
发明内容
以下发明内容呈现了简化的概况,以提供对本文所描述的特定方面的基本理解。该发明内容不是广泛的概况,也不意在标识出关键元件或者描绘出本文所描述的各方面的范围。该发明内容的唯一目的是以简化的形式呈现一些特征,作为稍后呈现的更详细的描述的前序。
根据本公开的各种方面和/或实施例,提供了一种用于在工业自动化环境中利用用户的身体移动的方法。该方法包括:采用飞行时间传感器来检测用户的身体部位的移动,查明身体部位的移动是否符合身体部位的所辨别的移动,将身体部位的所辨别的移动解释为可执行动作,并且基于身体部位的所辨别的移动,开动工业机器以执行可执行动作。
根据另外的方面或实施例,公开了一种在工业自动化环境中采用身体移动来控制工业机器的系统。该系统可以包括:飞行时间传感器,其检测位于飞行时间传感器附近的用户的身体部位的移动;工业控制器,其确立身体部位的移动是否符合身体部位的所辨别的移动;以及工业机器,其至少部分地基于从工业控制器接收的指令来执行动作。
根据再另外的方面或实施例,描述了一种利用由用户执行的移动来开动工业设备上的动作的系统。该系统可以包括:用于不断地监控由用户执行的移动的装置;用于检测由用户执行的适当移动的装置;用于在所生成的或者所存储的工业工厂环境的地图上标出安全区的装置,安全区围绕由用户执行的适当移动而描述的工业设备;以及用于开动工业设备以针对无意闯入来监控安全区的装置。
为了完成前述的以及相关的目标,以下描述以及附图详细说明了特定示意性方面。这些方面仅仅指示了可以采用本文所描述的原理的各种方式中的少数。在结合考虑以下详细描述时,根据以下详细描述,其他优点和新特征可以变得明显。
附图说明
图1是图示了利用用户的身体移动来控制工业自动化环境中的工业设备或机器的工业控制系统的说明性框图。
图2是描绘了采用由位于飞行时间传感器附近的用户执行的身体移动来开动工业设备或工业机器上的任务的工业控制系统的另外的说明性框图。
图3是描绘了采用由位于飞行时间传感器的视线内的用户执行的身体移动来开动工业设备或工业机器上的任务的工业控制系统的其他说明性框图。
图4是图示了用于采用由位于飞行时间传感器的视线内的用户执行的身体移动来控制工业机器或者设备的处理的流程图。
图5是图示了用于利用由用户执行的姿态或移动来开动或实现工业设备或机器上的动作的处理的流程图。
图6是采用由用户执行的身体移动来控制工业机器或设备的示例性系统。
图7是利用由用户执行的姿态或移动来开动或实现工业设备或机器上的动作的另外的示例性系统。
图8至10图示了飞行时间传感器构思的例子。
图11是描绘了可操作以执行所公开的系统的计算机的框图。
图12是用于对根据另一方面的所公开的构架进行处理的示意性计算环境的说明性框图。
具体实施方式
在工业自动化环境中采用用户的身体移动、姿势或姿态来控制工业设备的系统。在一个实施例中,提供了一种方法,该方法采用飞行时间传感器来检测用户的身体部位的移动,查明身体部位的移动是否符合身体部位的所辨别的移动,将身体部位的所辨别的移动解释为可执行动作,并且其后开动工业机器以执行可执行动作。在另外的实施例中,提供了一种在工业自动化环境中采用身体移动来控制工业机器的系统,其中:可以采用飞行时间传感器来检测位于飞行时间传感器附近的用户的身体部位的移动;可以使用工业控制器来确立身体部位的移动是否符合身体部位的所辨别的移动(或者移动的模式);并且工业机器可以响应于从工业控制器接收的指令来执行动作。
最初参照图1,图示了利用用户的身体移动来控制工业设备或机器的工业控制系统100。系统100可以包括飞行时间传感器102,飞行时间传感器102持续不断地监控站在或者工作在时间传感器102的视线(例如,如朝着用户投射的虚线所描绘的)内的用户的移动。在一个实施例中,飞行时间传感器102通常监控或检测的身体移动是通常能够向感知该身体移动的人类观察者传达含义的身体移动。例如,在大规模的工业自动化环境中或者在由于距离和/或压倒性的环境噪音而导致声音命令徒劳的情况下,采用身体移动(例如,手势、手臂动作等)来指引控制工业设备执行任务的人是不罕见的,诸如,指引叉车操作者将具有货物的货板装载到存储架上,或者通知架空龙门架操作者将超尺寸的或者重型的部件部分(例如,机翼翼梁或者引擎)提升或者放下、向前后左右移动以附接到航空器的机身。这些人的手、手臂、身体姿势和/或手指姿态对于人类观察者来说可以具有通用的含义,并且/或者如果它们没有被立即理解,则它们通常是足够直观的使得它们可以在没有大量训练投入的情况下被容易地学会,并且此外,它们在大多数情况下可以被通用地和/或准确地大量重复。
以与人类观察者可以理解用来传送辅助含义的一贯地可重复的身体运动或移动的方式相同的方式,系统100也可以利用人类身体移动、身体姿势和/或手指姿态来以命令的形式传送有含义的信息,并且因此可以至少部分地基于所解释的身体移动和潜在的命令来执行随后的动作。因而,如前所述,飞行时间传感器102可以监控位于其视线内的用户的身体运动。飞行时间传感器102可以监控或检测任何与人类身体相关联的运动。按照一个实施例,飞行时间传感器102可以监控或检测位于飞行时间传感器102附近的用户的躯干相关联的运动。按照另一实施例,飞行时间传感器102可以检测或监控与位于飞行时间传感器102的视线内的用户的手和/或手臂相关联的运动。按照再另外的实施例,飞行时间传感器102可以检测或监控与位于飞行时间传感器102的工作界限内的用户相关联的眼睛移动。按照另一实施例,飞行时间传感器102可以检测或监控与位于飞行时间传感器102的最优操作区附近的用户的手和/或手指或脚趾(例如,手指)相关联的移动。
此时,要注意,在没有限制或者损失一般性的情况下,飞行时间传感器102与其他部件(例如,控制器104和逻辑部件106)相结合或者相协作,可以感知至少三维的运动。因此,按照实施例,飞行时间传感器102不仅可以感知发生在其视线内的侧向身体移动(例如,在x-y平面中的移动),也可以察觉在z轴中的身体移动。
此外,在与另外的部件(诸如,控制器104和/或相关联的逻辑部件106)的协作中,飞行时间传感器102可以测定执行身体移动、姿态或姿势的速度。例如,在位于飞行时间传感器102附近的用户以大的力气或速度来移动他们的手的情况下,飞行时间传感器102与控制器104和/或逻辑部件106相结合,可以领会用户移动他们的手的速度和/或力气以暗示紧急或侵略性。因此,在一个实施例中,飞行时间传感器102(与其他部件相合作)可以感知身体移动的力气和/或速度以提供对先前感知的身体运动的修改量。例如,在工业自动环境中,在叉车操作者正在接收来自同事的指令的情况下,同事可以通过前后轻挥他/她的手臂来最初开始他/她的指令(向叉车操作者指示他/她明白要倒退移动叉车)。同事在感知到叉车操作者正在过快地倒退并且/或者存在与正在驶来的车辆碰撞的可能性时,可以开始以更大的速度前后挥他/她的手臂(例如,通知叉车操作者抓紧)或者极为强调地停住他们的手臂(例如,通知叉车操作者急刹),以便避免即将到来的碰撞。
相反地,在另外的实施例中,飞行时间传感器102与控制器104和/或逻辑部件106相结合,可以检测位于飞行时间传感器102附近的用户移动他们的手的惯性和谨慎性。这些或强或弱的惯性、谨慎性或可以传达不确定、警告或提醒,并且一旦再次可以用作对先前感知的身体移动或者未来的身体移动的修改量。因而,继续前述叉车操作者例子,同事可以在以大的速度、力气和/或强调性来前后挥他/她的手臂之后,现在可以开始以迟缓或者犹豫得多的方式移动他/她的手臂,向叉车操作者指示应该小心倒退叉车。
在感知到(例如,检测到或监控到)与位于飞行时间传感器102的视线内的用户相关联的运动或移动时,飞行时间传感器102可以与控制器104通信。应当理解到,在不带限制或者损失一般性的情况下,飞行时间传感器102、控制器104(以及相关联的逻辑部件106)和工业机器108可以位于自动工业环境的全异的端。例如,按照实施例,飞行时间传感器102和工业机器108可以位于彼此附近,同时控制器104和相关联的逻辑部件106可以位于环境受控的(例如,有空调的、无尘的等)环境中。按照另外的实施例,飞行时间传感器102、控制器104和逻辑部件106可以位于环境受控的安全环境(例如,安全控制室)中,同时工业机器108可以位于环境有危害的或者不宜居的环境(例如,利用风媒的苛性或腐蚀性的试剂的工业环境)中。在又一个实施例中,飞行时间传感器102、控制器104、逻辑部件106和工业设备或工业机器108可以各自位于工业自动化环境的地理上全异的端(例如,为了多国合作,工业自动化环境的全异的端可以暗示位于不同城市和/或国家中的制造厂的组成部分)。不用说,为了便于系统100的各种全异地定位的部件部分之间的通信,通常会使用网络拓扑结构或者网络构造。通常网络拓扑结构和/或网络构造可以包括任何可变的通信和/或广播技术,例如,可以利用有线和/或无线调制模态和/或技术来实现本本申请。此外,网络技术和/或网络构造可以包括对集中式的以及分布式的个人局域网(PAN)、局域网(LAN)、校园局域网(CAN)、城域网(MAN)、外联网、内联网、因特网、广域网(WAN)以及/或者其任意组合、置换和/或聚合的应用。
飞行时间传感器102可以将由位于飞行时间传感器102附近的用户执行的、所检测到的移动或运动或者所感知到的移动或运动的模式通知(communicate)给控制器104。按照一个实施例,可以将由用户执行的个体移动、单个运动、信号或姿势(例如,以静态方式停住举手的手掌)通过飞行时间传感器102来检测并且传送到控制器104用于分析。按照另外的实施例,可以将单个重复运动、信号或姿势(例如,以从一边到另一边运动的方式移动手臂)通过飞行时间传感器102检测并且此后被通知给控制器104。按照再另外的实施例,例如包括复杂命令结构、序列或命令集的身体运动/移动、信号、姿势或姿态的系列或序列(例如,起初以从一边到另一边的方式移动手臂,随后利用伸开的大拇指提供向上移动的指示,并且最后使用朝向飞行时间传感器102的手的手掌提供刹车的指示)可以通过飞行时间传感器102来识别,并且被传递到控制器104上用于同时和/或依次地解释、分析和/或转换为要由工业机器108开动或者实现的命令(或者命令的序列或集合)。
如可能已从前述描述观察到的和/或将从前述描述理解到的,本申请所利用的身体/移动、信号、姿势或姿态的序列和/或系列可以是无限的,可以开发这种复杂命令结构或命令集用于工业机器108。此外,人们只需要考虑所确立的人类手语(例如,美国手语)以实现仅通过利用手语就可以传达大量的复杂信息。相应地,如将结合前述描述观察到的,在特定的背景中,在命令的序列或集合中的特定姿势、移动、运动等可以用作对之前或预期姿势、移动、运动、姿态等的修改量。
因此,为了将期望传达含义的有效身体移动(或身体移动的模式)与不期望传递信息的无效身体移动(或身体移动的模式)区分开,解析和/或解释所辨认的和/或有效的身体移动(或身体移动的模式),并将所辨认的和/或有效的身体移动(或身体移动的模式)翻译为开动或实现工业机器执行任务所需的命令、或者命令或指令的序列,飞行时间传感器可以耦合到控制器104,与相关联的逻辑部件106合作的控制器104可以区别有效身体移动(或身体移动的模式)与无效身体移动(或身体移动的模式),并且可以在之后将所辨认的身体移动(或身体移动的模式)翻译为命令、或者命令的集合或序列以激活工业机器108来执行所辨认的有效身体移动(或身体移动的模式)所指示的动作。
为了在区别有效身体移动与无效或未被辨认的身体移动中辅助控制器104和/或相关联的逻辑部件106,控制器104和/或逻辑部件106可以查阅预先确立的或辨认的身体移动(例如,个体手姿势、手指移动序列等等)的存储库或词典以查明所辨认出的身体移动,或者使从飞行时间传感器102接收的并由飞行时间传感器102提供的身体移动与辨认出的身体相关联,并在之后使用辨认出的身体移动来解释所辨认出的身体移动是否能够在工业机器108上执行一个或更多个可执行动作。控制器104和/或相关联的逻辑部件106可以在之后提供可以开动工业机器108上的动作性能的命令或命令序列。
应当注意到,在不带限制或损失一般性的情况下,预先确立或辨认的身体移动的库或词典、以及所辨认出的身体移动到命令或命令序列的翻译或相关性可以被存储到存储器或存储介质。因此,尽管未示出存储装置(例如,存储器、存储介质等),但是这些装置的通常例子包括计算机可读介质,计算机可读介质包括但不限于ASIC(特定应用集成电路)、CD(压缩盘)、DVD(数字多功能盘)、只读存储器(ROM)、随机存取存储器(RAM)、可编程ROM(PROM)、软盘、硬盘、EEPROM(电可擦除可编程只读存储器)、存储棒等等。
附加地,本领域普通技术人员将理解到,尽管身体移动是可以重复的,但是它们无论如何都会随着时间或在不同用户之间有轻微变化。因此,例如,用户可能一天使用他/她的整个前臂和手以指示指令或命令(例如,使叉车倒退),而在接下来那天同一用户可能仅使用他/她手腕处的手弯曲来指示同一指令或命令。相应地,控制器和/或逻辑部件104还可以利用模糊逻辑(或其他人工智能机制)来察觉系统100的同一用户或不同用户之间的身体移动模式上的轻微变化或修改,和/或识别由系统100的同一用户或不同用户执行的相似身体移动。
与所确立或所辨认的身体移动的前述库或词典相结合,应当理解到所确立或所辨认的身体移动一般与由工业自动化环境中的多种多样的和/或全异的工业自动化装备所普遍地领会或理解的工业自动化命令的集合相关。命令的集合因此通常对于工业自动化环境是唯一的,并且一般可以包括身体移动到命令的相关性,用于命令停止、启动、降速、升速等。附加地,身体移动到工业自动化命令的相关性可以包括对所确立手语(例如,美国手语)的利用,其中可以采用手语姿势或手指移动来输入字母数字式的符号。因此,根据一个方面,可以通过时间飞行传感器102来输入字母(或字符)和/或数字以与可应用的工业自动化命令相关。
命令的集合及相关的身体姿势和/或移动可以在飞行时间传感器102的加工期间被预先确立或安装,以及/或者可以在工业自动化环境中安装、配置和/或设置飞行时间传感器102期间将命令的集合及相关的身体姿势和/或移动教导给飞行时间传感器102。在向飞行时间传感器102教导在姿势或符号与可操作用于使工业自动化机器执行动作的命令之间的相关性或对应关系的情况下,这可以通过利用与飞行时间传感器102相关联的视频输入设施来完成。根据该方面,飞行时间传感器102可以被放置在学习模式中,在学习模式中,用户可以执行与使得工业自动化机器或装备执行动作的命令相关的姿势或手指移动,并且这些相关性可以在随后被存储到存储器。本领域普通技术人员将理解到,所选择的身体姿势和命令的相关性可以是针对特定类型的工业自动化装配而特有的,尽管其他身体姿势和命令的相关性可以具有对所有工业自动化装备的更宽或更普遍的应用。因此,特定类型工业自动化装备或机器所特有的或特定的身体姿势/命令相关性可以构成与所有工业自动化装备或机器有关的且对于所有工业自动化装备或机器普遍的身体姿势/命令相关性的子集。一旦飞行时间传感器102已配置有(或者通过安装并存储命令和身体姿势对应关系的预确立子集,或者通过前述学习模式)命令和身体姿势的相关性的集合,则飞行时间传感器102可以被切换到运行时间模式,在运行时间模式中,身体姿势/命令相关性的集合可以用于开动工业装备或机器。
在附加实施例中,飞行时间传感器102在处于运行时间模式的同时或在处于用户训练模式的同时可以被用于提供动态训练,在动态训练中,飞行时间传感器102通过相关联的视频输出设施可以向用户展示特定工业机器或装备上存储的并可在特定工业机器或装备上利用的各种身体姿势/命令对应关系、或者一般地通用于位于工业自动化环境中的工业机器的各种身体姿势/命令对应关系。此外,在工业机器的用户或操作员不能够回想起身体姿势/命令对应关系或身体姿势序列/命令对应关系的情况下,飞行时间传感器102可以再次通过相关联的视频输出功能性来提供教学,从而唤起操作者或用户关于身体姿势/命令对应关系的记忆。附加地,在运行时间模式期间,飞行时间传感器102还可以提供预测特征,在预测特征中,似乎可能的或潜在的身体姿势/命令对应关系可以通过与飞行时间传感器102相关联的视频输出特征来显示。因此,对于用户或者操作者已经通过身体姿势发出输入命令以操作工业自动化装备的实例,飞行时间传感器102可以在视频屏幕上预测地显示用户可能采取的潜在可选身体姿势以推动正由工业机器执行的任务。
参考图2,示出了又一工业控制系统200,工业控制系统200利用由位于飞行时间传感器102附近的用户执行的身体移动来开动工业装备或工业机器108上的任务。在该实施例中,除了之前讨论的、用于对可能在地理上分散地和/或集中地定位于单个整体设施内的工业机器或装备108进行控制的飞行时间传感器102、控制器104和逻辑部件106之外,工业控制系统200还可以包括可以与控制器104相关联的人机接口部件202。
与飞行时间传感器102(或位于各个位置中的多个飞行时间传感器)合作的人机接口部件202可以被用于提供无触觉的触摸屏界面,在无触觉的触摸屏界面中,手指和/或手的运动可以被用于与工业机器108交互。这样的无触觉触摸屏界面尤其可以应用在触摸屏界面的用户或操作者与油污染物接触(例如,烹调油类/脂肪/油脂)而又需要访问触摸屏的环境中(例如,食品加工)。本领域普通技术人员将领会到,用沾满油和/或油脂的手对触摸敏感装置触摸可能减损与屏幕关联的所显示内容的可视性并显著消弱触摸敏感装置的敏感性。
此外,可以由操作者或用户在远距离使用无触觉屏幕界面。例如,操作者或用户可以在距触摸屏幕的一定距离处(例如,超过可及范围)执行任务,并且通过由人机接口部件202和飞行时间传感器102提供的设施,操作者或用户可以与无触觉触摸屏幕交互,并从而开动要由工业机器108执行的任务。例如,在工业机器108被定位于有害环境区域中而同时用户可以在环境可控的安全区中经由人机接口部件202提供的无触觉触摸屏幕来控制工业机器108的情况下,这样的设施可以尤其有用。
如之前已讨论的,飞行时间传感器102可以检测身体移动,并且具体地可以精确地检测手和/或手指移动,使得运动可以被控制器104和相关联的逻辑部件106翻译为由工业机器108执行的动作。在一个实施例中,人机接口202可以被用于呈现无触觉触摸屏幕界面,该无触觉触摸屏幕界面可以解释用户或操作者在多个维度上执行的身体输入(例如,由飞行时间传感器102感知的手和/或手指移动)并将这些移动翻译为可以由工业机器108遵照行使的指令或命令。
根据至少一个实施例,可以由用户执行的通常身体输入可以包括对手信号的预定集合的利用,手信号可以被翻译为可以被用于实现或开动工业机器108上的任务的指令或命令(或指令或命令的序列)。此外,根据又一实施例,由用户或操作者执行的身体输入可以包括在单个平面(例如,在x-y平面上)上的手指和/或手移动,使得可以检测和翻译水平的、垂直的或对角的移动。例如,谨记操作者或用户正与人机接口部件202所产生的无触觉触摸显示器无触觉地交互,操作者或用户可以在不触摸显示器的情况下在三维空间中假装轻弹运动以开动由人机接口部件202投射到无触觉触摸显示器上的移动滑杆。
此外,再次铭记用户或操作者与人机接口部件202投射的无触觉触摸显示器无触觉地交互,可以假装触摸由人机接口部件202生成的并被投射到无触觉触摸显示器上的按钮。根据该方面,用户可以假装将指针/指针光标移动到所投射的无触觉触摸屏幕的预定位置上(例如,用户可以通过在第一平面上移动他/她的手或手指而使指针/指针光标移动到预定位置),并在之后假装按压按钮(例如,用户可以通过在第二平面上移动他/她的手或手指而激活/解除激活按钮)。此外,用户或操作者可以假装释放和/或按压按钮多次(例如,通过在第二平面上重复移动他/她的手/手指),从而假装轻点(jogging)的效果。应当注意到,在不带限制或损失一般性的情况下,尽管前述示例描述了采用第一和第二平面,然而与飞行时间部件102、控制器104和相关联的逻辑部件106合作的人机接口部件102可以监控并跟踪由用户或操作者在多个平面或维度上的移动。
此外,根据又一实施例,人机接口部件202可以将移动(或没有移动)辨认并翻译为对应于所施加的压力(以及压力的程度)。因此,继续前述例子,用户或操作者可能期望继续按压按钮。相应地,人机接口部件202可以辨认用户或操作员不是仅将他/她的手或手指放在按钮上来假装按压按钮,而是还继续让他/她的手或手指处于同一位置来表明他/她期望继续按压按钮。此外,人机接口部件202还可以检测用户或操作者期望施加在按钮上的压力的程度。例如,表明在按钮上施加恒定压力的、继续让他/她的手放在按钮上的同一相关位置的用户或操作员,可以将他/她的手或手指移动到第二平面中或从第二平面移动出以指示施加到按钮的压力的增大或减小。手或手指到第二平面中的相关移动量、或者手或手指从第二平面向外的相关移动量还可以被用于评估按钮被释放或按压的幅度,从而提供与用户或操作者期望施加的压力程度的增大或减小有关的指示。例如,在用户或操作者将他/她的手或手指从之前确立的静态位置移动基本进入第二平面的情况下,可以期望在按钮上更大的压力量。类似地,在用户或操作员将他/她的手或手指从第二平面移动出的情况下,可以期望按钮上更小的压力量。至少部分地基于这些手或手指移动,人机接口部件202可以匹配地调节按钮上的压力。
根据又一实施例,人机接口部件202可以将移动速度(或没有移动速度)辨认并翻译为对应于按压或释放按钮的紧急或不紧急。因此,例如,在用户或操作者将他/她的手或手指非常快速地(或速度地)移动到第二平面中或从第二平面移动出的情况下,该运动可以表明突然按压或释放按钮。例如,在飞行时间传感器102与控制器104、逻辑部件106和人机接口部件202一起查明用户或操作者将他/她的手指非常速度地移动的情况下(例如,测量为距离(d)随着时间(t)的变化率(Δd/Δt)),这可以被翻译为以很大压力按压按钮或突然释放按钮。应当注意到,手或手指的快速移动还可以被解释为推断操作者或用户希望以更高速度或更迅速地执行动作,相反地,较慢的移动可以被解释为推断操作者想要以更低或更有分寸的步调来执行动作。
根据又一实施例,以及之前讨论过的,飞行时间传感器还可以解释、领会和翻译公共手语或可接受的手信号,公共手语或可接受的手信号可以描述可以被工业机器用于执行任务的指令和/或命令的模式。例如,如果人机接口部件202将与一件工业装配关联的操作盘的影子投射到无触觉的触摸屏显示器上,则飞行时间传感器102可以检测或查明到操作者或用户的移动是否可以被解释为指示旋转操作盘的运动以及操作盘将要转动的速度。在又一例子中,人机接口部件202可以将与一件工业装备关联的操作杆的影子投射到无触觉的触摸屏显示器上,在该实例中,飞行时间传感器102可以查明用户的移动是否假装移动操作杆和/或应当被用于操纵操作杆的力量。
应当注意到,在没有限制或损失一般性的情况下,结合前述描述,尽管人机接口部件202投射与各种工业机器108关联的操作杆、按钮、操作盘、控制台显示器等的影子,并且这些各种机器的用户或操作者(通过人机接口部件202投射到投射表面上的显示)与各种影子接触,然而用户的移动开动了由定位于工业环境中的实体工业机器108执行的工作。
现在转向图3,其中示出了采用由位于飞行时间传感器102的视线内的用户执行的身体移动来启动工业装备或工业机器108上的任务的工业控制系统300。在该实施例中,工业控制系统300除了对地理上定位于和/或更接近地位于工业机器或装备108进行控制的之前讨论的飞行时间传感器102、控制器104、逻辑部件106和人机接口部件(未示出)之外还可以包括动态学习部件302。
动态学习部件302可以用于学习由用户执行的个体移动、移动序列和移动的变化(由于通常地没有两个个体可以精确地以相同方式执行相同动作)并将这些用户动作翻译为可由工业机器108执行的命令或指令。附加地,由于用户在执行各种动作或移动时的方式和移动可以随着时间而有所变化,因而动态学习部件302可以动态地并连续地修改所学习的移动以反映这些改变,而不会有害地改变移动到可执行命令或指令的潜在意义、含义或翻译,或者每次在发现或检测到用户移动的轻微变化时需要系统被重新训练或重新编程。
还可以采用动态学习部件302来执行以下任务,这些任务由于安全原因不对自身提供动态调节。例如,动态学习部件302可以用于围绕工业装备(例如,工业机器108)划分安全边界。这可以通过利用飞行时间传感器102和动态学习部件302在用户(例如,安全监督者)围绕用于(intendto)标记围绕工业机器108的安全边界的区域行走时监控或跟踪他/她的移动而完成。根据一个实施例,飞行时间传感器102和动态学习部件302可以聚焦于用户,并在他/她围绕工业装备徘徊时跟踪和监控用户,从而创建可以由与飞行时间传感器102、控制器104和逻辑部件106合作的动态学习部件302警觉地监控的安全边界。因此在有人员意外地、察觉地、或即将进入到所划分出的安全区的情况下,可以被实现具有安全对策的防护(例如,工业机器可以被断电,警报器可以被开动,围绕工业装备的门可以被关闭或放下,等等),并且通过这样做可以避免伤或亡。
根据又一实施例,飞行时间传感器102和动态学习部件302并不特别聚焦于用户,而是可以聚焦于由用户携带或佩戴的物品或传感器(例如,光发射器、超声、衣物,等等),同时用户确定预期安全区的外围的范围以提供标出的边界。如在前一例子中那样,飞行时间传感器102和动态学习部件302可以在用户围绕预期边界移动时跟踪物品或传感器,生成和/或更新标识了围绕工业设施内的各种工业机器108的安全区的所存储的边界地图,从而创建以下安全边界,这些安全边界可以由与飞行时间传感器102、控制器104和逻辑部件106合作的动态学习部件302连续地监控,以防止人员不期望地进入确定范围的安全区域。
应当注意,飞行时间传感器102和动态学习部件302还可以实现对以下安全或警告区域的区别和/或监控,可以利用集成有发光二极管(LED)的带子、冷光的或荧光的带子、三角标志等来先前但临时地标出该安全或警告区域。类似地,在安全或警告区域具有显著的尺度的情况下,飞行时间传感器102和动态学习部件302还可以实现以下警告或安全区域的标出,在该警告或安全区域处,移动的机器(例如,机器人)环航一个路径以表明危险区。
要注意,与工业控制系统100、200和300关联的部件可以包括各种计算机或网络部件,诸如服务器、客户机、控制器、工业控制器、可编程逻辑控制器(PLC)、能量监视器、批量控制器或服务器、分布式控制系统(DCS)、通信模块、移动计算机、无线部件、控制部件等等,它们能够横跨网络而交互。类似地,本文所使用的术语控制器或PLC可以包括横跨多个部件、系统或网络共享的功能性。例如,一个或多个控制器可以横跨网络与各种网络装置通信和协作。这基本上可以包括任意类型的控制、通信模块、计算机、I/O装置、传感器、人机接口(HMI),它们经由包括控制网络、自动网络或公共网络在内的网络而通信。控制器还可以向各种其他装置(诸如包括模拟、数字、编程/智能I/O模块在内的输入/输出模块、其他可编程控制器、通信模块、传感器、输出装置等等)通信并控制所述各种其他装置。
该网络可以包括公共网络,公共网络诸如因特网、内联网和自动网络,自动网络诸如包括DeviceNet和ControlNet在内的控制信息协议(CIP)网络。其他网络包括以太网、DH/DH+、远程I/O、现场总线、Modbus、Profibus(过程现场总线)、无线网络、串行协议等等。此外,网络装置可以包括各种可能性(硬件或软件部件)。这些包括部件如具有虚拟局域网(VLAN)能力的交换机、LAN、WAN、代理服务器、网关、路由器、防火墙、虚拟私有网络(VPN)装置、服务器、客户机、计算机、配置工具、监控工具、或其他装置。
图4是示出用于采用由位于飞行时间传感器的视线内的用户执行的身体移动(或身体姿势的序列)来控制工业机器或装配的过程的流程图400。以下描述的图5描绘了用于当用户位于飞行时间传感器的附近时利用由用户执行的姿态或移动来开动或实现工业装备或机器上的动作的又一方法或过程。然而为了简化阐述,这些方法被示出或描述为一系列行动,应理解和了解,这些方法不被行动顺序所限制,这是因为一些行动可以按与本文示出和描述的顺序不同的顺序发生或与其他行动同时发生。例如,本领域技术人员将理解和了解到一种方法可以被可替换地描绘为一系列相互关联的状态或事件,诸如状态图。此外,不是所有示出的行动都是实施本文描述的方法所必需的。
本文描述的技术和过程可以通过各种手段来实施。例如,这些技术可以以硬件、软件或其组合来实施。对于硬件实施方式,处理单元可以在一个或更多个特定应用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行本文描述的功能的其他电子单元或其组合内实施。利用软件,实施方式可以是执行本文描述的功能的直通模块(through module)(例如,过程、功能等等)。软件代码可以被存储在存储器单元中并由处理器执行。
图4是示出用于采用位于飞行时间传感器的视线内的用户执行的身体移动(或身体姿势的序列)来控制工业机器或装备的过程400的流程图。过程400可以在402处开始,在402处,连续地监控定位于飞行时间传感器附近的用户的移动。在404处,可以检测已知的或辨认出的与用户关联的移动或运动。在406处,所探测的或所辨认的与用户相关联的移动或运动可以被解释为查明移动或运动是否归因于在用户的控制下能够由工业机器或工业装备进行的动作(或可执行的动作)。在查明移动或运动可归因于可执行动作的情况下,命令或指令可以被传送到工业机器,使得在408处工业机器可以执行动作。
图5是示出用于创建和限定围绕工业机器的动态可调整的安全区的过程500的流程图。过程500可以在502处开始,在502处,飞行时间传感器在用户围绕工业机器徘徊时可以连续地监控他/她的移动以描述以下路径,可采用该路径来标出围绕工业机器的安全区。在504处,飞行时间传感器可以检测适当的用户移动(例如,可以被辨认为传达可解释含义的移动)。在506处,在已检测到适当用户移动的情况下,这些移动可以用于在存储于存储器中的地图上标出由用户的移动描述的路径(例如,他/她绕着围绕工业机器的外围边界徘徊)。在508处,工业机器(例如,门、鸣音器、自动屏障等)与时间飞行器一起可以用于监控针对用户的偶然或无意进入而确立的边界。
转向图6,示出的是系统600,系统600包括可以描绘由处理器、软件或其组合(例如,固件)实施的功能的功能块。系统600包括可以协力行动的电气部件的逻辑组602。逻辑组602可以包括用于不断地监控用户的移动的电气部件604。此外,逻辑组602可以包括用于检测由用户执行的适当移动的电气部件606。此外,逻辑组602可以包括用于将移动解释为可执行的动作的电气部件608。此外,逻辑组602可以包括用于开动工业机器以执行动作的电气部件610。此外,系统600可以包括保留用于执行与电气部件604、606、608和610关联的功能的指令的存储器612。尽管被示出为在存储器612外部,但是要理解到电气部件604、606、608和610可以存在于存储器612内部。
致力于本领域的普通技术人员将理解到,电气部件的逻辑组602根据一个实施例可以是用于执行各种动作的装置。因此,电气部件的逻辑组602可以包括用于不断地监控用户的移动的装置604。此外,逻辑组602还可以包括用于检测由用户执行的适当移动的装置606。此外,逻辑组602还可以包括用于将移动解释为可执行的动作的装置608。此外,逻辑组602还附加地包括用于开动工业机器以执行动作的装置610。
转向图7,示出的是系统700,系统700包括可以描绘由处理器、软件、或其组合(例如,固件)实施的功能的功能块。系统700包括可以协力行动的电气部件的逻辑组702。逻辑组702可以包括用于不断地监控用户的移动的电气部件704。此外,逻辑组702可以包括用于检测由用户执行的适当移动的电气部件706。此外,逻辑组702可以包括用于在存储的地图上标出由用户的移动所描述的边界的电气部件708。此外,逻辑组702可以包括用于开动或使得工业机器监控针对到标出的区域中的偶尔或无意闯入的标出边界的电气部件710。此外,系统700可以包括存储器712,存储器712保留用于执行与电气部件704、706、708和710关联的功能的指令。尽管被示出为在存储器712的外部,但是要理解到电气部件704、706、708和710可以存在于存储器712的内部。
本领域技术人员将再次领会到,电气部件的逻辑组702根据各种实施例可以用于完成各种动作或任务的装置。因此,逻辑组702可以包括用于不断地监控用户的移动的装置704。此外,逻辑组702可以包括用于检测由用户执行的适当移动的装置706。此外,逻辑组702可以包括用于在存储的地图上标出由用户的移动描述的边界的装置708。此外,逻辑组702可以包括用于开动或使得工业机器监控针对到标出的区域中的偶尔或无意闯入的标出边界的装置710。
本文描述的技术和过程可以由各种装置来实施。例如,这些技术可以以硬件、软件或其组合来实施。对于硬件实施方式,处理单元可以被实施在一个或更多个特定应用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行本文描述的功能的其他电子单元或其组合内。利用软件,实施方式可以是执行本文描述的功能的直通模块(例如,过程、功能等等)。软件代码可以被存储在存储器单元中并由处理器执行。
总地讨论图8-10,图8-10示出了示例性飞行时间传感器的构思。在图8的810处,发射器生成红外光束814,在818处,红外光束814被物体820反射,反射被检测器830接收。发射波814在检测器830处被接收到所花的时间被图850示出,图表850描述了Δt。一般而言,物体距离d可以从等式d=(c*Δt)/2检测出,其中d等于物体距离,c等于光速,Δt等于光从发射器810行进到检测器830的时间。要理解到,其他类型的飞行时间(TOF)测量是可能的,这将在下面更详细地描述。
前进到图9,图900示出了发射的信号与接收或反射的信号920之间的相移。一般而言,采用被示出为A0、A1、A2和A3的相移的参数来计算在图8的820处示出的各个物体的距离。一般而言,物体距离与检测到的相移基本成比例,基本不依赖于背景照明,并基本不依赖于物体的反射特性。
前进到图10,示例性电路1000被示出用于计算物体距离和速度。微处理器1010在1020处生成红外(IR)照明,经由发射光学器件1030向物体发射红外照明。来自物体的反射经由接收光学器件1040来收集,接下来经由光学带通滤波器1060来处理该反射。可以采用飞行时间(TOF)芯片1050来计算相移并存储距离或其他数据(诸如颜色或图像数据)。来自TOF芯片1050的输出可以被传递到微处理器1010,用于进一步的处理。在本应用中,微处理器可以采用用户的身体移动以基于由TOF芯片1050所提供的检测到的移动而在对各种工业活动的执行中控制工业装备。如所示,可以提供电源1070以生成分别用于微处理器1010和TOF芯片1050的不同工作电压。
要注意,如本文所使用的,可以采用各种形式的飞行时间(TOF)传感器以基于如本文描述的检测到的身体移动而在对各种工业活动的执行中控制工业装备。这些包括测量物体、粒子、声波、电磁波或其他波行进穿过介质的距离所需的时间的各种方法。该测量可以用于时间标准(诸如原子喷泉),用作测量穿过给定介质的速度或路径长度的方式、或用作学习关于粒子或介质(诸如成分或流率)的方式。可以直接(例如,质谱学中的离子检测器)或间接地(例如,在激光多普勒速度测量学中由物体散射的光)检测行进的物体。
在飞行时间质谱学中,离子被电场加速为相同动能,其中离子的速度依赖于质量电荷比。因此,飞行时间被用于测量速度,根据该速度可以确定质量电荷比。电子的飞行时间被用于测量它们的动能。在近红外光谱学中,TOF方法被用于在光学波长的范围上测量依赖于介质的光学路径长度,根据该光学路径长度可以分析介质的成分和属性。在超声波流量计测量中,TOF被用于测量介质流的信号传播上游和下游的速率,以估计总的流速度。该测量在与流共线的方向上进行。
在平面多普勒速度测量学(光学流量计测量)中,通过在单个粒子跨过沿着流的两个或更多个位置时的定时可以垂直于流进行TOF测量(共线测量通常将需要更好的流速和极窄带的光学滤波器)。在光学干涉测量法中,可以通过TOF方法来测量样品和基准臂之间的路径长度差,诸如其后有对信号的相移测量或交叉关联的频率调制。这样的方法用在激光雷达和激光跟踪器系统中,用于介质长范围距离测量。在动力学中,TOF是抛射体行进穿过空气的持续时间。假定从地面发射的粒子的初始速度u、向下(即重力)加速度和抛射体的投射角度。
超声波流量计利用声波传感器测量流体或气体穿过管子的速度。相比于其他测量技术,这具有一些优点。结果轻微受到温度、密度和传导率的影响。因为没有移动部分,所以维护并不昂贵。超声波流量计有三种不同类型:透射(逆传播渡越时间)流量计、反射(多普勒)流量计和明渠流量计。渡越时间流量计通过测量在流方向上发送的超声波脉冲和相对于流方向发送的超声脉冲之间的时间差来工作。多普勒流量计测量导致流体中的小粒子、流体中的气泡、或流动流体的紊流反射超声波光束的多普勒位移。明渠流量计测量渠或堰前面的上游物位(level)。
光学飞行时间传感器包括投射到介质(例如,流体或空气)的两个光束,该介质的检测被小粒子(假设小粒子跟随该流体)的经过而打断或鼓动(instigated)。这与用作机动的车库门中的安全装置或用作报警系统中的触发器的光束没有区别。通过已知两个光束之间的间隔来计算粒子的速率。如果只有一个检测器,则可以经由自相关来测量时间差。如果有两个检测器,则还能够知道方向。由于光束的位置相对容易确定,因而测量的精度主要依赖于可以将该设置做得多么小。如果这两个光束分开得过远,则流在它们之间可能大体上(substantially)改变了,因此测量结果在该空间中变得平均。然而,在任意给定时间,多个粒子都可能位于它们之间,并且由于粒子是不可区分的,因而这将使信号劣化。为了使这样的传感器提供有效数据,它相对于流和播种密度的尺度必须是小的。
现在参照图11,示出了可用于执行所披露系统的计算机的框图。为了提供其各个方面的附加背景,图11和以下讨论旨在提供适当的计算环境1100的简要大体描述,在计算环境1100中,可以实施所请求保护的主题内容的各个方面。尽管上述描述是在可在一个或更多个计算机上运行的计算机可执行指令的一般背景中进行的,然而本领域技术人员将认识到所请求保护要求主题内容还可以结合其他程序模块来实施以及/或者可以被实施为硬件和软件的组合。
一般而言,程序模块包括执行特定任务或实施特定抽象数据类型的例程、程序、部件、数据结构等。此外,本领域技术人员将理解到可以利用其他计算机系统配置来实现发明方法,其他计算机系统配置包括单处理器或多处理器计算机系统、微型计算机、大型计算机以及个人计算机、手持计算装置、基于微处理器的或可编程的消费电子产品等等,它们中的每个都可以可操作地耦合到一个或更多个相关联的装置。
所请求保护的主题内容的所示出方面还可以在分布式计算环境中实现,其中特定任务由通过通信网络链接的远程处理装置来执行。在分布式计算环境中,程序模块可以被定位于本地存储器存储装置和远程存储器存储装置两者中。
计算机通常地包括各种计算机可读介质。计算机可读介质可以是可以被计算机访问的任意可用介质并包括易失性和非易失性介质、可移动和非可移动介质。通过例子并且不加限制的方式,计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储信息的任意方法或技术实施的易失性和非易失性、可移动和非可移动介质,信息诸如计算机可读指令、数据结构、程序模块或其他数据。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储器、磁带盒、磁带、磁盘存储器或其他磁存储装置、或者能够用于存储期望信息并可以被计算机访问的任意其他介质。
再次参照图11,用于实施各个方面的示出环境1100包括计算机1102,计算机1102包括处理单元1104、系统存储器1106和系统总线1108。系统总线1108将包括(但不限于)系统存储器1106在内的系统部件耦合至处理单元1104。处理单元1104可以是各种可在市场上获得的处理器中的任一种。还可以采用双微处理器或其他多处理器构架作为处理单元1104。
系统总线1108可以是以下多种总线结构中的任一种,这些总线结构可以进一步互联到存储器总线(利用或不利用存储器控制器)、外围总线和利用各种可在市场上获得的总线构架中的任一种的本地总线。系统存储器1106包括只读存储器(ROM)1110和随机存取存储器(RAM)1112。基本输入/输出系统(BIOS)被存储在非易失性存储器1110(诸如ROM、EPROM、EEPROM)中,BIOS包含有助于诸如在启动期间在计算机1102内的各元件之间传输信息的基本例程。RAM 1112还可以包括高速RAM,诸如用于缓存数据的静态RAM。
计算机1102还包括内部硬盘驱动器(HDD)1114(例如,EIDE(增强型集成驱动电子装置)、SATA(串行高级技术附件))、磁软盘驱动器(FDD)1116(例如,用于从可移动磁盘1118读取或写入可移除软磁盘1118)以及光盘驱动器1120(例如,用于读取CD-ROM盘1112、或者用于从诸如DVD的其他高容量光学介质读取或写入诸如DVD的其他高容量光学介质),内部硬盘驱动1114还可以被配置用于在适当的机架(chassis)(未示出)中的外部使用。硬盘驱动器1114、磁盘驱动器1116和光盘驱动器1120可以分别通过硬盘驱动器接口1124、磁盘驱动器接口1126和光盘驱动器接口1128连接至系统总线1108。用于外部驱动器实施方式的接口1124包括通用串行总线(USB)和IEEE 1094接口技术中的至少一个或两个。其他外部驱动器连接技术在所请求保护主题内容的范围内。
这些驱动器及其相关联计算机可读介质提供了对数据、数据结构、计算机可执行指令等等的非易失性存储。对于计算机1102,这些驱动器和介质适应于对适当数字格式的任意数据的存储。尽管上述计算机可读介质的描述参照了HDD、可移动磁盘和可移动光学介质(诸如CD或DVD),但是本领域技术人员将理解到可由计算机读取的其他类型介质如zip驱动器、磁带盒、闪存卡、磁带卷等等也可以用于示出的操作环境中。此外,任意这种介质可以包括用于执行所披露的和所请求保护的主题内容的方法的计算机可执行指令。
多个程序模块可以被存储在驱动和RAM 1112中,所述多个程序模块包括操作系统1130、一个或更多个应用程序1132、其他程序模块1134和程序数据1136。操作系统、应用、模块和/或数据的全部或部分也可以被缓存在RAM 1112中。还要理解到,可以利用各种市场上可获得的操作系统或操作系统的组合来实施所请求保护的主题内容。
用户可以通过一个或更多个有线/无线输入装置(例如,键盘1138和诸如鼠标1140的定点装置)将命令或信息输入到计算机1102中。其他输入装置(未示出)可以包括麦克风、红外遥控器、操纵杆、游戏手柄、触笔、触摸屏等等。这些和其他输入装置经常通过输入装置接口1142连接至处理单元1104,输入装置接口1142耦合到系统总线1108,但是这些和其他输入装置可以通过其他接口如并行端口、IEEE 1094串行端口、游戏端口、USB端口、IR(红外)接口等来连接。
监视器1144或其它类型的显示装置还经由诸如视频适配器1146的接口而连接到系统总线1108。除了监视器1144之外,计算机还通常地包括其他外围输出装置(未示出),诸如扬声器、打印器等等。
计算机1102可以经由到一个或更多个远程计算机(诸如远程计算机1148)的有线和/或无线通信而在利用逻辑连接的联网环境中操作。远程计算机1148可以是工作站、服务器计算机、路由器、个人计算机、便携式计算机、基于微处理器的娱乐设备、对等装置或其他公共网络节点,并且通常地包括关于计算机1102描述的元件中的一些或全部,尽管为了简要的目的仅示出了存储器装置1150。所示出的逻辑连接包括到局域网(LAN)1152和/或更大网络(例如,广域网(WAN)1154)的有线/无线连接性。这样的LAN和WAN联网环境在办公室和公司中是常见的,并且促进了企业范围的计算机网络(诸如内联网),所有这些网络都可以连接到全球通信网络,例如因特网。
当用于LAN联网环境中时,计算机1102通过有线和/或无线通信网络接口或适配器1156连接到本地网络1152。适配器1156可以促进到LAN1152的有线或无线通信,LAN 1152还可以包括置于其上的无线接入点,用于与无线适配器1156通信。
当用于WAN联网环境中时,计算机1102可以包括调制解调器1158,或者通过WAN 1154连接到通信服务器,或者具有用于通过WAN 1154建立通信的其他手段(诸如通过因特网的方式)。调制解调器1158(其可以是内部的或外部的以及有线的或无线的装置)经由串行端口接口1142连接到系统总线1108。在联网的环境中,所示出的与计算机1102或其部分相关的程序模块可以被存储在远程存储器装置1150中。将理解到,所示出的网络连接是示例性的,而可以使用在计算机之间建立通信链接的其他手段。
计算机1102可操作用于与以无线通信可操作地放置的任意无线装置或实体(例如,打印机、扫描仪、桌上型计算机和/或便携式计算机、便携式数据助理、通信卫星、与可无线检测的标签(例如,信息站、报摊、休息室)关联的装备或位置中的任一件、以及电话)通信。这至少包括WiFi和BluetoothTM无线技术。因此,通信可以是如传统网络一样的预定义结构或者仅是至少两个装置之间的专用通信。
WiFi或无线保真允许从家里的沙发、旅馆房间中的床、工作处的会议室连接到因特网而无需线缆。WiFi是类似于手机中使用的无线技术的无线技术,它使得例如计算机这样的装置能够在户内外发送和接收数据;基站范围内的任意位置。WiFi网络利用称为IEEE 802.11x(a、b、g等等)的无线电技术来提供安全、可靠、快速的无线连接性。WiFi网络可以用于将计算机彼此连接,将计算机连接到因特网,并连接到有线网络(其使用IEEE 802.3或以太网)。
WiFi网络可以在没有执照的2.4和5GHz无线电带中工作。IEEE802.11一般适用于无线LAN并利用跳频扩频技术(frequency hoppingspread spectrum,FHSS)或直接序列扩频(direct sequence spreadspectrum,DSSS)在2.4GHz带中提供1或2Mbps的传输。IEEE 802.11a是对IEEE 802.11的扩展,其适用于无线LAN并在5GHz带中提供高达54Mbps。IEEE 802.11a利用正交频分复用(OFDM)编码方案而非FHSS或DSSS。IEEE 802.11b(也称作802.11高速DSSS或WiFi)是对802.11的扩展,其适用于无线LAN并在2.4GHz带中提供11Mbps的传输(其中跌落回5.5,2和1Mbps)。IEEE 802.11g适用于无线LAN并在2.4GHz带中提供20+Mbps。产品可以包含多于一个带(例如,双带),使得网络可以提供类似于许多公司中使用的基本10BaseT有线以太网网络的真实世界性能。
参照图12,示出了用于对根据其他方面的所披露构架进行处理的示例性计算环境1200的说明性框图。系统1200包括一个或更多个客户机1202。客户机1202可以是硬件和/或软件(例如,线程、处理、计算机装置)。例如,客户机1202可以通过采用所请求保护的主题内容来容纳cookie和/或相关联的背景信息。
系统1200还包括一个或更多个服务器1204。服务器1204还可以是硬件和/或软件(例如,线程、处理、计算装置)。例如,服务器1204可以容纳线程以通过采用所请求保护的主题内容来执行变换。在客户机1202和服务器1204之间的一种可能通信可以为适合于在两个或更多个计算机处理之间传输的数据包的形式。例如,数据包可以包括cookie和或相关联的背景信息。系统1200包括通信框架1206(例如,全球通信网络,诸如因特网),可以采用通信框架1206来促进客户机1202和服务器1204之间的通信。
可以经由有线(包括光纤)和/或无线技术来促进通信。客户机1202可操作地连接到一个或更多个客户机数据存储器1208,可以采用客户机数据存储器1208来存储客户机1202本地的信息(例如,cookie和/或相关联的背景信息)。类似地,服务器1204可操作地连接到一个或更多个服务器数据存储器1210,可以采用服务器数据存储器1210来存储服务器1204本地的信息。
要注意,如本申请中所使用的,诸如“部件”、“模块”、“系统”等等的属于旨在指代与计算机相关的、电机实体,或在完成时被应用于工业控制的自动系统的硬件和软件两者、硬件或软件、或硬件和软件的组合。例如,部件可以是但不限于运行在处理器上的过程、处理器、对象、可执行的、执行线程、程序和计算机。通过举例的方式,运行在服务器上的应用和服务器两者都可以是部件。一个或更多个部件可以位于执行过程或线程内,部件可以位于一个计算机上或被分布在两个或更多个计算机、工业控制器或在其间通信的模块之间。
上述的主题内容包括各种示例性方面。然而,应当理解,为了描述这些方面,不可能描述每个能想出的部件或方法。本领域技术人员将认识到其他组合和变换是可能的。可以采用各种方法和构架来实施本发明、修改、变形或其等同物。因此,本文描述的各方面的所有这些实施方式都旨在涵盖权利要求的范围和精神。此外,就术语“包含(including)”在详细描述和权利要求中都有所使用的情况来说,这样的术语旨在如“包括(comprising)”被用作权利要求中的传统词汇时所翻译的那样以类似于术语“包括(comprising)”的方式而为包括的含义。
附记
附记1.一种用于在工业自动化环境中利用用户的身体移动的方法,包括:
采用飞行时间传感器来检测所述用户的身体部位的移动;
查明所述身体部位的所述移动是否符合所述身体部位的所辨别的移动;
将所述身体部位的所辨别的移动解释为可执行动作;并且
开动工业机器以执行所述可执行动作。
附记2.根据附记1所述的方法,其中,采用所述飞行时间传感器还包括检测所述身体部位在三维上的移动。
附记3.根据附记1所述的方法,其中,采用所述飞行时间传感器还包括检测所述用户的手指、手、手臂或躯干的移动。
附记4.根据附记1所述的方法,其中,采用所述飞行时间传感器还包括检测所述用户的所述身体部位的移动的速度。
附记5.根据附记1所述的方法,还包括利用所述飞行时间传感器将所述身体部位的所述移动与由所述工业机器用来执行所述可执行动作的工业自动化命令相互关联,并且将所述身体部位的所述移动与所述工业自动化命令的对应关系存储到存储器。
附记6.根据附记5所述的方法,其中,所述身体部位的所述移动与所述工业自动化命令的所述对应关系能够应用于开动所述工业自动化环境中包括的所有工业机器或者所述工业自动化环境中包括的至少特定的工业机器。
附记7.根据附记1所述的方法,其中,所述身体部位的所述移动向所述工业机器传达命令以停止、前进或者处于待机。
附记8.根据附记1所述的方法,其中,所述身体部位的所述移动向所述工业机器传达命令以向右、左、上、下、前或后运动。
附记9.根据附记1所述的方法,其中,所述身体部位的所述移动传达命令修改量,以增大或减小与先前所解释的动作或者要被解释的动作相关联的幅度。
附记10.根据附记1所述的方法,其中,采用所述飞行时间传感器还包括利用逻辑部件以及存储移动模式的存储器。
附记11.根据附记10所述的方法,其中,结合所述逻辑部件和所述存储器来利用所述飞行时间传感器还包括:采用模糊逻辑来查明所述身体部位的所述移动是否符合所存储的移动模式。
附记12.根据附记1所述的方法,其中,采用所述飞行时间传感器来检测所述用户的所述身体部位的移动还包括:辨别所述身体部位的意外的或无意的闯入到被所述飞行时间传感器监控的有边界区域内。
附记13.根据附记12所述的方法,其中,通过所述用户使用身体部位来追踪所述有边界区域的外围而标出被所述飞行时间传感器监控的所述有边界区域,其中所追踪的并与所述有边界区域关联的所述外围被存储到存储器。
附记14.一种在工业自动化环境中采用身体移动来控制工业机器的系统,包括:
飞行时间传感器,其检测位于所述飞行时间传感器附近的用户的身体部位的移动,其中所述身体部位的所述移动包括利用预先确立的手语;
工业控制器,其确立所述身体部位的所述移动是否符合所述身体部位的所辨别的移动;以及
工业机器,其至少部分地基于从所述工业控制器接收的指令来执行动作。
附记15.根据附记14所述的系统,其中,从所述工业控制器接收的动作至少部分地基于将所述身体部位的所辨别的移动翻译为指令。
附记16.根据附记14所述的系统,其中,所述飞行时间传感器检测所述身体部位的所述移动的速度。
附记17.根据附记16所述的系统,其中,所述速度指示了:操纵与所述工业机器相关联的控制表面的速率,操纵所述控制表面的力量,或者施加在所述控制表面上的压力。
附记18.根据附记17所述的系统,其中,与所述工业机器相关联的所述控制表面包括:按钮、操作轮、操作杆或滚动条。
附记19.根据附记14所述的系统,还包括:人机接口部件,其生成投射到投射表面上的触摸屏幕显示器,所述用户与所述触摸屏幕显示器交互而不触摸所述投射表面。
附记20.一种利用由用户执行的移动来开动工业设备上的动作的系统,包括:
用于不断地监控由所述用户执行的所述移动的装置;
用于检测由所述用户执行的适当移动的装置;
用于在所生成的或所存储的地图上标出围绕所述工业设备的安全区的装置,由所述用户执行的所述适当移动来描述所述安全区;以及
用于开动所述工业设备以针对无意闯入来监控所述安全区的装置。

Claims (11)

1.一种用于在工业自动化环境中利用用户的身体移动的方法,包括:
采用飞行时间传感器来检测所述用户的身体部位的移动;
查明所述身体部位的所述移动是否符合所述身体部位的所辨别的移动;
将所述身体部位的所辨别的移动解释为可执行动作;并且
开动工业机器以执行所述可执行动作。
2.根据权利要求1所述的方法,其中,采用所述飞行时间传感器还包括结合逻辑部件和存储移动模式的存储器来利用所述飞行时间传感器,并且所述方法还包括:采用模糊逻辑来查明所述身体部位的所述移动是否符合所存储的移动模式。
3.根据权利要求1所述的方法,其中,采用所述飞行时间传感器来检测所述用户的所述身体部位的移动还包括:辨别所述身体部位的意外的或无意的闯入到被所述飞行时间传感器监控的有边界区域内。
4.根据权利要求3所述的方法,其中,通过所述用户使用身体部位来追踪所述有边界区域的外围而标出被所述飞行时间传感器监控的所述有边界区域,其中所追踪的并与所述有边界区域关联的所述外围被存储到存储器。
5.一种在工业自动化环境中采用身体移动来控制工业机器的系统,包括:
飞行时间传感器,其检测位于所述飞行时间传感器附近的用户的身体部位的移动,其中所述身体部位的所述移动包括利用预先确立的手语;
工业控制器,其确立所述身体部位的所述移动是否符合所述身体部位的所辨别的移动;以及
工业机器,其至少部分地基于从所述工业控制器接收的指令来执行动作。
6.根据权利要求5所述的系统,其中,从所述工业控制器接收的动作至少部分地基于将所述身体部位的所辨别的移动翻译为指令。
7.根据权利要求5所述的系统,其中,所述飞行时间传感器检测所述身体部位的所述移动的速度。
8.根据权利要求7所述的系统,其中,所述速度指示了:操纵与所述工业机器相关联的控制表面的速率,操纵所述控制表面的力量,或者施加在所述控制表面上的压力。
9.根据权利要求8所述的系统,其中,与所述工业机器相关联的所述控制表面包括:按钮、操作轮、操作杆或滚动条。
10.根据权利要求5所述的系统,还包括:人机接口部件,其生成投射到投射表面上的触摸屏幕显示器,所述用户与所述触摸屏幕显示器交互而不触摸所述投射表面。
11.一种利用由用户执行的移动来开动工业设备上的动作的系统,包括:
用于不断地监控由所述用户执行的所述移动的装置;
用于检测由所述用户执行的适当移动的装置;
用于在所生成的或所存储的地图上标出围绕所述工业设备的安全区的装置,由所述用户执行的所述适当移动来描述所述安全区;以及
用于开动所述工业设备以针对无意闯入来监控所述安全区的装置。
CN201510350907.5A 2010-10-14 2011-10-14 飞行时间人机接口 Active CN104991519B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/904,471 2010-10-14
US12/904,471 US20120095575A1 (en) 2010-10-14 2010-10-14 Time of flight (tof) human machine interface (hmi)
CN201110322080.9A CN102455803B (zh) 2010-10-14 2011-10-14 飞行时间人机接口

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201110322080.9A Division CN102455803B (zh) 2010-10-14 2011-10-14 飞行时间人机接口

Publications (2)

Publication Number Publication Date
CN104991519A true CN104991519A (zh) 2015-10-21
CN104991519B CN104991519B (zh) 2018-09-04

Family

ID=45001633

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201110322080.9A Active CN102455803B (zh) 2010-10-14 2011-10-14 飞行时间人机接口
CN201510350907.5A Active CN104991519B (zh) 2010-10-14 2011-10-14 飞行时间人机接口

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201110322080.9A Active CN102455803B (zh) 2010-10-14 2011-10-14 飞行时间人机接口

Country Status (3)

Country Link
US (1) US20120095575A1 (zh)
EP (1) EP2442196B1 (zh)
CN (2) CN102455803B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109669401A (zh) * 2017-10-13 2019-04-23 迪尔公司 无人飞行器辅助的工地数据获取
CN115599006A (zh) * 2021-06-28 2023-01-13 青岛海尔多媒体有限公司(Cn) 智能设备的控制方法、装置及智能设备

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120131513A1 (en) * 2010-11-19 2012-05-24 Microsoft Corporation Gesture Recognition Training
US8694152B2 (en) 2010-12-15 2014-04-08 Symbotic, LLC Maintenance access zones for storage and retrieval systems
KR101887099B1 (ko) * 2010-12-29 2018-08-09 삼성전자주식회사 이미지 처리 시스템 및 이미지 처리 방법
US9330710B2 (en) * 2011-01-18 2016-05-03 Spectra Logic, Corporation System for determining the location of a data storage library robot and methods of determining the same
CN103875021B (zh) 2011-10-19 2017-07-11 克朗设备公司 识别并选择图像场景中可能对应于托盘的对象
US20130204408A1 (en) * 2012-02-06 2013-08-08 Honeywell International Inc. System for controlling home automation system using body movements
US9672389B1 (en) * 2012-06-26 2017-06-06 The Mathworks, Inc. Generic human machine interface for a graphical model
US9607113B1 (en) * 2012-06-26 2017-03-28 The Mathworks, Inc. Linking of model elements to spatial elements
US9582933B1 (en) 2012-06-26 2017-02-28 The Mathworks, Inc. Interacting with a model via a three-dimensional (3D) spatial environment
US9430589B2 (en) * 2013-02-05 2016-08-30 Rockwell Automation Technologies, Inc. Safety automation builder
US9498885B2 (en) 2013-02-27 2016-11-22 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with confidence-based decision support
US9393695B2 (en) 2013-02-27 2016-07-19 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with person and object discrimination
US9798302B2 (en) * 2013-02-27 2017-10-24 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with redundant system input support
US9804576B2 (en) * 2013-02-27 2017-10-31 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with position and derivative decision reference
CN105209994A (zh) * 2013-03-14 2015-12-30 林肯环球股份有限公司 接收或使用来自针对焊接序列的外部源的数据的系统和方法
TWI642028B (zh) 2013-03-15 2018-11-21 辛波提克有限責任公司 具有整合式受保護的人員接觸區及遠端漫遊機關機之運送系統及自動化儲存和取放系統
KR102188622B1 (ko) 2013-03-15 2020-12-08 심보틱 엘엘씨 통합 보안 직원 액세스 구역 및 원격 로버 조업 중지를 구비한 자율화된 저장 및 인출 시스템
US10360052B1 (en) 2013-08-08 2019-07-23 The Mathworks, Inc. Automatic generation of models from detected hardware
US20150234373A1 (en) * 2014-02-20 2015-08-20 Lincoln Global, Inc. Proportional jog controls
JP5619330B1 (ja) 2014-03-06 2014-11-05 三菱電機株式会社 安全制御システム及び安全制御機器
CN108375983A (zh) * 2014-05-21 2018-08-07 深圳市大疆创新科技有限公司 一种遥控装置、控制系统以及控制方法
JP6293304B2 (ja) 2014-05-21 2018-03-14 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 遠隔制御装置、制御システム及び制御方法
NL2014037B1 (en) 2014-12-22 2016-10-12 Meyn Food Proc Technology Bv Processing line and method for inspecting a poultry carcass and/or a viscera package taken out from the poultry carcass.
US10691214B2 (en) 2015-10-12 2020-06-23 Honeywell International Inc. Gesture control of building automation system components during installation and/or maintenance
US9990535B2 (en) 2016-04-27 2018-06-05 Crown Equipment Corporation Pallet detection using units of physical length
US10168688B2 (en) * 2016-04-29 2019-01-01 Taylor BRUSKY Systems and methods for implementing a pointer-guided tracking system and a pointer-guided mechanical movable device control system
CN107544311A (zh) * 2017-10-20 2018-01-05 高井云 工业机器人手执示教的辅助装置和方法
US11301985B2 (en) * 2017-12-06 2022-04-12 Advancetrex Sensor Technologies Corp Sensing and alert system for electrical switchgear
US11453123B2 (en) * 2017-12-27 2022-09-27 Stmicroelectronics, Inc. Robotic device with time-of-flight proximity sensing system
JP7398658B2 (ja) * 2018-06-11 2023-12-15 パナソニックIpマネジメント株式会社 測距システム及び測距方法
GB2575096B (en) * 2018-06-29 2021-12-15 Sony Interactive Entertainment Inc Motion restriction system and method
DE102018124671B4 (de) * 2018-10-06 2020-11-26 Bystronic Laser Ag Verfahren und Vorrichtung zur Erstellung eines Robotersteuerprogramms
CN113330470A (zh) * 2019-01-25 2021-08-31 西门子股份公司 工业环境中的设备的自主协调
CN116097124A (zh) 2020-06-24 2023-05-09 斯洛文阀门公司 混合飞行时间传感器和ir传感器
US11774940B2 (en) 2021-03-29 2023-10-03 Rockwell Automation Technologies, Inc. Redundant touchless inputs for automation system
US20220375293A1 (en) * 2021-05-20 2022-11-24 Rockwell Automation Technologies, Inc. Electronic safety function lock-unlock system
EP4141592A1 (en) * 2021-08-24 2023-03-01 Technische Universität Darmstadt Controlling industrial machines by tracking movements of their operators
EP4302605A1 (de) * 2022-07-05 2024-01-10 Albert Handtmann Maschinenfabrik GmbH & Co. KG Vorrichtung zur produktion von nahrungsmitteln mit berührungsloser eingabeeinrichtung

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050094019A1 (en) * 2003-10-31 2005-05-05 Grosvenor David A. Camera control
CN1973258A (zh) * 2003-05-15 2007-05-30 秦内蒂克有限公司 非触式人机接口
US20070211031A1 (en) * 2006-03-13 2007-09-13 Navisense. Llc Touchless tablet method and system thereof
US20070220437A1 (en) * 2006-03-15 2007-09-20 Navisense, Llc. Visual toolkit for a virtual user interface
US20080246734A1 (en) * 2007-04-04 2008-10-09 The Hong Kong University Of Science And Technology Body movement based usage of mobile device
US20100066676A1 (en) * 2006-02-08 2010-03-18 Oblong Industries, Inc. Gestural Control of Autonomous and Semi-Autonomous Systems

Family Cites Families (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5252849A (en) * 1992-03-02 1993-10-12 Motorola, Inc. Transistor useful for further vertical integration and method of formation
US5471578A (en) * 1993-12-30 1995-11-28 Xerox Corporation Apparatus and method for altering enclosure selections in a gesture based input system
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6573883B1 (en) * 1998-06-24 2003-06-03 Hewlett Packard Development Company, L.P. Method and apparatus for controlling a computing device with gestures
US6249780B1 (en) * 1998-08-06 2001-06-19 Yamaha Hatsudoki Kabushiki Kaisha Control system for controlling object using pseudo-emotions and pseudo-personality generated in the object
US6950534B2 (en) * 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6512838B1 (en) * 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
JP3701182B2 (ja) * 2000-08-24 2005-09-28 株式会社日立製作所 出入管理方法及び出入管理システム
US6600475B2 (en) * 2001-01-22 2003-07-29 Koninklijke Philips Electronics N.V. Single camera system for gesture-based input and target indication
WO2003001879A2 (en) * 2001-06-26 2003-01-09 Mds Proteomics, Inc. Methods and systems for identifying kinases, phosphatases and substrates thereof
DE10152543A1 (de) * 2001-10-24 2003-05-08 Sick Ag Verfahren und Vorrichtung zum Steuern einer sicherheitsrelevanten Funktion einer Maschine
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
EP1408443B1 (en) * 2002-10-07 2006-10-18 Sony France S.A. Method and apparatus for analysing gestures produced by a human, e.g. for commanding apparatus by gesture recognition
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US6856737B1 (en) * 2003-08-27 2005-02-15 Mesophotonics Limited Nonlinear optical device
DE10360174B4 (de) * 2003-12-20 2007-03-08 Leuze Lumiflex Gmbh + Co. Kg Vorrichtung zur Überwachung eines Erfassungsbereichs an einem Arbeitsmittel
US7903084B2 (en) * 2004-03-23 2011-03-08 Fujitsu Limited Selective engagement of motion input modes
US20080174401A1 (en) * 2004-04-14 2008-07-24 L-3 Communications Security And Detection Systems, Inc Surveillance of subject-associated items with identifiers
US7397421B2 (en) * 2004-04-22 2008-07-08 Smith Gregory C Method for detecting acoustic emission using a microwave Doppler radar detector
US20050246064A1 (en) * 2004-04-29 2005-11-03 Smith Gregory C Method for detecting position errors using a motion detector
US7474408B2 (en) * 2004-05-14 2009-01-06 Medeikon Corporation Low coherence interferometry utilizing phase
US7742515B2 (en) * 2004-06-25 2010-06-22 Finisar Corporation Vertical cavity surface emitting laser optimized for optical sensitivity
DE102004043514A1 (de) * 2004-09-08 2006-03-09 Sick Ag Verfahren und Vorrichtung zum Steuern einer sicherheitsrelevanten Funktion einer Maschine
CN100556623C (zh) * 2004-10-19 2009-11-04 松下电器产业株式会社 自动机械装置
GB2419433A (en) * 2004-10-20 2006-04-26 Glasgow School Of Art Automated Gesture Recognition
DE102005021836A1 (de) * 2005-05-11 2006-11-16 Geoforschungszentrum Potsdam Verfahren und Vorrichtung zum massenselektiven Ionentransport
EP1744119A1 (en) * 2005-07-15 2007-01-17 Proximion Fiber Systems AB Swept-source optical coherence tomography
US7808478B2 (en) * 2005-08-22 2010-10-05 Samsung Electronics Co., Ltd. Autonomous handheld device having a drawing tool
US7522066B2 (en) * 2006-02-23 2009-04-21 Rockwell Automation Technologies, Inc. Systems and methods that evaluate distance to potential hazards utilizing overlapping sensing zones
US7701439B2 (en) * 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US7606411B2 (en) * 2006-10-05 2009-10-20 The United States Of America As Represented By The Secretary Of The Navy Robotic gesture recognition system
US8736420B2 (en) * 2007-01-29 2014-05-27 At&T Intellectual Property I, L.P. Methods, systems, and products for controlling devices
US8577126B2 (en) * 2007-04-11 2013-11-05 Irobot Corporation System and method for cooperative remote vehicle behavior
US9740386B2 (en) * 2007-06-13 2017-08-22 Apple Inc. Speed/positional mode translations
CA2591808A1 (en) * 2007-07-11 2009-01-11 Hsien-Hsiang Chiu Intelligent object tracking and gestures sensing input device
TW200907764A (en) * 2007-08-01 2009-02-16 Unique Instr Co Ltd Three-dimensional virtual input and simulation apparatus
ITBO20070596A1 (it) * 2007-08-30 2009-02-28 Marposs Spa Sistema programmabile di controllo di parti meccaniche
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US20090271004A1 (en) * 2008-04-28 2009-10-29 Reese Zecchin Method and apparatus for ranging detection of gestures
WO2009155946A1 (en) * 2008-06-26 2009-12-30 Abb Ag Adaptive robot system
US8443302B2 (en) * 2008-07-01 2013-05-14 Honeywell International Inc. Systems and methods of touchless interaction
US8169414B2 (en) * 2008-07-12 2012-05-01 Lim Seung E Control of electronic games via finger angle using a high dimensional touchpad (HDTP) touch user interface
DE102008041602B4 (de) * 2008-08-27 2015-07-30 Deutsches Zentrum für Luft- und Raumfahrt e.V. Roboter und Verfahren zum Steuern eines Roboters
US20100082118A1 (en) * 2008-09-30 2010-04-01 Rockwell Automation Technologies, Inc. User interface display object for logging user-implemented solutions to industrial field problems
US8440952B2 (en) * 2008-11-18 2013-05-14 The Regents Of The University Of California Methods for optical amplified imaging using a two-dimensional spectral brush
US9652030B2 (en) * 2009-01-30 2017-05-16 Microsoft Technology Licensing, Llc Navigation of a virtual plane using a zone of restriction for canceling noise
JP5436460B2 (ja) * 2009-02-12 2014-03-05 三菱電機株式会社 産業用ロボットシステム
US7983450B2 (en) * 2009-03-16 2011-07-19 The Boeing Company Method, apparatus and computer program product for recognizing a gesture
US9417700B2 (en) * 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
CN101901051A (zh) * 2009-05-26 2010-12-01 美国智能科技有限公司 基于区别的输入对象的数据输入方法及装置
US8890650B2 (en) * 2009-05-29 2014-11-18 Thong T. Nguyen Fluid human-machine interface
US8462134B2 (en) * 2009-06-29 2013-06-11 Autodesk, Inc. Multi-finger mouse emulation
DE102009031732B3 (de) * 2009-07-04 2010-11-25 Sick Ag Entfernungsmessender optoelektronischer Sensor
DE102010031878A1 (de) * 2009-07-22 2011-02-10 Logitech Europe S.A. System und Verfahren zur entfernten virtuellen auf-einen-Schirm-Eingabe
US8438503B2 (en) * 2009-09-02 2013-05-07 Universal Electronics Inc. System and method for enhanced command input
WO2011037980A2 (en) * 2009-09-22 2011-03-31 Bioptigen, Inc. Systems for extended depth frequency domain optical coherence tomography (fdoct) and related methods
KR20110055062A (ko) * 2009-11-19 2011-05-25 삼성전자주식회사 로봇 시스템 및 그 제어 방법
US8631355B2 (en) * 2010-01-08 2014-01-14 Microsoft Corporation Assigning gesture dictionaries
US9019201B2 (en) * 2010-01-08 2015-04-28 Microsoft Technology Licensing, Llc Evolving universal gesture sets
US20110298579A1 (en) * 2010-06-08 2011-12-08 Cedes Safety & Automation Ag Dynamically adaptable safety zones
US20110304541A1 (en) * 2010-06-11 2011-12-15 Navneet Dalal Method and system for detecting gestures
US20110310126A1 (en) * 2010-06-22 2011-12-22 Emil Markov Georgiev Method and system for interacting with datasets for display
US8660934B2 (en) * 2010-06-30 2014-02-25 Trading Technologies International, Inc. Order entry actions
US9274744B2 (en) * 2010-09-10 2016-03-01 Amazon Technologies, Inc. Relative position-inclusive device interfaces
US9025019B2 (en) * 2010-10-18 2015-05-05 Rockwell Automation Technologies, Inc. Time of flight (TOF) sensors as replacement for standard photoelectric sensors
US8842287B2 (en) * 2011-12-22 2014-09-23 General Electric Company System and method for auto-focusing in optical coherence tomography
US9498885B2 (en) * 2013-02-27 2016-11-22 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with confidence-based decision support
US9393695B2 (en) * 2013-02-27 2016-07-19 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with person and object discrimination

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1973258A (zh) * 2003-05-15 2007-05-30 秦内蒂克有限公司 非触式人机接口
US20050094019A1 (en) * 2003-10-31 2005-05-05 Grosvenor David A. Camera control
US20100066676A1 (en) * 2006-02-08 2010-03-18 Oblong Industries, Inc. Gestural Control of Autonomous and Semi-Autonomous Systems
US20070211031A1 (en) * 2006-03-13 2007-09-13 Navisense. Llc Touchless tablet method and system thereof
US20070220437A1 (en) * 2006-03-15 2007-09-20 Navisense, Llc. Visual toolkit for a virtual user interface
US20080246734A1 (en) * 2007-04-04 2008-10-09 The Hong Kong University Of Science And Technology Body movement based usage of mobile device
CN101711387A (zh) * 2007-04-04 2010-05-19 香港科技大学 移动设备的功能的对等共享

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YONG XU: ""An experiment study of gesture-based human-robot interface"", 《2007 IEEE/ICME INTERNATIONAL CONFERENCE ON COMPLEX MEDICAL ENGINEERING》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109669401A (zh) * 2017-10-13 2019-04-23 迪尔公司 无人飞行器辅助的工地数据获取
CN115599006A (zh) * 2021-06-28 2023-01-13 青岛海尔多媒体有限公司(Cn) 智能设备的控制方法、装置及智能设备

Also Published As

Publication number Publication date
CN102455803A (zh) 2012-05-16
EP2442196B1 (en) 2023-07-05
CN102455803B (zh) 2015-07-01
CN104991519B (zh) 2018-09-04
US20120095575A1 (en) 2012-04-19
EP2442196A3 (en) 2018-05-02
EP2442196A2 (en) 2012-04-18

Similar Documents

Publication Publication Date Title
CN102455803B (zh) 飞行时间人机接口
US11220002B2 (en) Robot simulation device
JP7324456B2 (ja) ロボットの遠隔操作および/または監視のためのシステムおよび方法
US9216510B2 (en) Remote vehicle control system
JP6392972B2 (ja) 演算システムによって実施される方法、持続性コンピュータ可読媒体及びシステム
EP3738009B1 (en) System and methods for robotic autonomous motion planning and navigation
EP3094452B1 (en) Remotely operating a mobile robot
CN104769522B (zh) 具有3d 指向和手势识别功能的远程控制器
US20160346921A1 (en) Portable apparatus for controlling robot and method thereof
CN109972674B (zh) 基于自然交互的复杂施工环境下的无人挖掘系统及方法
Singh et al. An interface for remote robotic manipulator control that reduces task load and fatigue
Villani et al. A natural infrastructure-less human–robot interaction system
JP2018151950A (ja) 情報処理装置、情報処理システム及びプログラム
US20070277112A1 (en) Three-Dimensional User Interface For Controlling A Virtual Reality Graphics System By Function Selection
Anh et al. Design and Development of an Obstacle Avoidance Mobile-controlled Robot
US20230011979A1 (en) Handheld device for training at least one movement and at least one activity of a machine, system and method
De Barros et al. A survey of user interfaces for robot teleoperation
CN114454176A (zh) 机器人的控制方法、控制装置、机器人和存储介质
Lam et al. Motion sensing for robot hands using MIDS
Vysocký et al. Interaction with collaborative robot using 2D and TOF camera
Chandrasekaran et al. A Robotic System Architecture Based on Safety Controller and Priority Module Using Robot Operating System (ROS), Sensor Fusion and Human Robot Interaction for Control and Safety
KR101161309B1 (ko) 지능형 로봇의 실시간 시뮬레이션 데이터 처리 시스템
Johansson Data Driven Adaptive Autonomy
CN117260776A (zh) 一种应用于机器人的人机交互方法及装置
UA110191C2 (uk) Маніпулятор для керування електронним пристроєм та спосіб керування електронним пристроєм

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: ohio

Applicant after: Rockwell Automation Tech Inc.

Applicant after: CEDES SAFETY AND AUTOMATION AG

Address before: ohio

Applicant before: Rockwell Automation Tech Inc.

Applicant before: Cedes Safety & Automation Ag

COR Change of bibliographic data
CB02 Change of applicant information
CB02 Change of applicant information

Address after: ohio

Applicant after: Rockwell automation technologies

Applicant after: CEDES SAFETY AND AUTOMATION AG

Address before: ohio

Applicant before: Rockwell Automation Tech Inc.

Applicant before: CEDES SAFETY AND AUTOMATION AG

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190702

Address after: ohio

Co-patentee after: Rockwell Automation Switzerland Co., Ltd.

Patentee after: ROCKWELL AUTOMATIONJ TECHNOLOGIES, INC.

Address before: ohio

Co-patentee before: CEDES SAFETY AND AUTOMATION AG

Patentee before: ROCKWELL AUTOMATIONJ TECHNOLOGIES, INC.