CN102778858B - 操作一种用于操作、装配或加工工件的自动化机床的设备 - Google Patents

操作一种用于操作、装配或加工工件的自动化机床的设备 Download PDF

Info

Publication number
CN102778858B
CN102778858B CN201210137738.3A CN201210137738A CN102778858B CN 102778858 B CN102778858 B CN 102778858B CN 201210137738 A CN201210137738 A CN 201210137738A CN 102778858 B CN102778858 B CN 102778858B
Authority
CN
China
Prior art keywords
operator
equipment
lathe
action
user interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210137738.3A
Other languages
English (en)
Other versions
CN102778858A (zh
Inventor
汉斯·格鲁贝切
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deckel Maho Pfronten GmbH
Original Assignee
Deckel Maho Pfronten GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deckel Maho Pfronten GmbH filed Critical Deckel Maho Pfronten GmbH
Publication of CN102778858A publication Critical patent/CN102778858A/zh
Application granted granted Critical
Publication of CN102778858B publication Critical patent/CN102778858B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35427—User controls machine with eye motion, activates icons on display
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35444—Gesture interface, controlled machine observes operator, executes commands
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39441—Voice command, camera detects object, grasp, move
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40398—Opto-electronic follow-up of movement of head, eyelids, finger to control robot
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Numerical Control (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明涉及用于操作自动化机床1的设备2，包括：显示装置10，该装置包括用于显示图形用户界面的显示屏11；操作装置20，用于输入触发命令的操作动作，以控制机床1的加工功能和/或通过机床1的操作员控制图形用户界面的功能；控制器（30），用于将人工输入或非接触方式输入的触发命令的操作动作转换为关联的控制命令，以控制机床（1）的加工功能和/或通过操作员控制图形用户界面的功能。操作装置20包括输入人工操作动作的第一输入装置21以及输入非接触操作动作的第二输入装置22，第二输入装置22包括：检测操作员的非接触动作的传感器系统50以及通过传感器系统（50）检测到的操作员非接触动作检测操作员触发命令的操作动作的检测装置（60）。

Description

操作一种用于操作、装配或加工工件的自动化机床的设备
技术领域
本发明涉及用于操作一种用于操作用来操作、装配或加工工件的自动化机床的设备，具体地，涉及一种数控机床。该操作设备包括一显示装置、一操作装置以及一控制器，显示装置包括用于显示图形用户界面的显示屏，该图形用户界面用于控制和/或监控机床的加工功能，操作装置用于输入触发命令的操作动作，以控制机床的加工功能以及通过机械操作控制图形用户界面的功能，控制器用于实现将触发命令的操作动作输入关联的控制命令，以用于控制机床的加工功能和/或通过所述机械操作员控制图形用户界面的功能。
进一步地，本发明涉及一种用于操作、装配或加工工件的自动化机床，具体地，涉及一种数控机床，所述数控机床包括前述用于操作所述自动化机床的设备。
背景技术
现有技术中，在操作、装配或加工工件的机床的机械操作或机械控制中，例如，数控机床，通过使用现有的操作设备，在机床的操作状态时，可提供纯人工操作动作的操作。在这里，使用了人工可操作的操作元件，例如字符键盘，进一步地，使用用于特定机械操作的输入键，操纵盘、软键盘、计算机鼠标等将指令发送给机床控制器。
人工操作动作的反馈可通过操作员站显示屏的图形用户界面进行输出，可选地，也可以通过信号灯进行输出。提供的操作动作可以用于多歧管控制或机床的监视，涉及的范围包括从参数变化到机床轴的位移以及加工功能的转换。
现有技术中，用于操作、装配或加工工件的数控自动化机床的人工控制可以通过操作员站的装置进行控制，例如，用于西门子CNC机床的西门子系统控制器，该控制器提供了一种软件，该软件包括一图形用户界面，从而可以在用于操作、装置或加工工件的自动化机床上建立操作员站，以控制机床的加工功能以及通过操作员控制图形用户界面的功能。
现有技术中，操作员的操作动作按照如下流程进行执行：在由控制器，操作设备，或机床或单个轴以及触发者触发的帧中，机床操作员与机床控制器通信。例如，操作员可以参看图形用户界面的某一印网掩模，或者他或她也可以命令一加工刀具、装配设备、一钳夹或类似工具相对于工件进行移动。在这个加工程中，操作动作通过操作员执行特定的操作元件或在对应操作域的一系统操作元件被直接地、人工地传达。
操作员的操作速度依赖于设计的各个操作域符合人体功率学的程度以及操作员操作的熟练程度。图形用户界面的各种印网掩模之间的转换基本上通过使用所谓的软键盘执行，软键盘也就是靠近显示屏的键盘，软键盘的功能可以根据各个掩模进行改变。直接显示在显示屏上的所述软键盘的功能与键盘相近。
在按压操作域内一个按键之前，操作员首先必须查看被操作的按键在哪里以及他或她是否按了正确的按键。这种情形下，在操作员眼睛没有观看操作元件时，控制操作域的操作不能直觉地、明确被执行。
另外，还有这样一个问题：操作员只能在机床自身的操作员站直接、人工地执行操作动作。当操作员移动至靠近机床时，例如，为了查看机床上的加工间隙，在机床上加工间隙或机床组件的维修工作时，操作员会远离操作员站，使得操作员难以执行操作动作。在发生危险情况时，如产生对员工和/或机床的危险时，要触发机床的立即紧急停机只有通过直接或人工激活机床的紧急停机开关才可以，在这种情况下，如果操作员没有靠近紧急停机开关，在激活机床的紧急停机开关之前，操作员必须首先够着紧急停机开关，这样，操作员将失去最有价值的时间。
发明内容
对于现有技术中用于操作一种操作、装配或加工工件的自动化机床的操作设备，操作员的操作动作仅仅总是直接地、手工地通过与操作元件接触在操作设备上被执行，本发明的目的在于提高在这样的操作设备上的可操作性以及操作可能性，以使得机床的控制或操作更直观、更灵活、更有效以及更安全。
为了获得本发明前述目的，独立权利要求中提出了操作一种用于操作用来操作、装配或加工工件的自动化机床的设备以及一种包括该设备的用于操作、装配或加工工件的自动化机床，其它从属权利要求则涉及了本发明的优选实施例。
本发明是基于提供另一操作可能性的概念提出的，该操作可能性可作为现有技术中用于操作一种自动化机床的操作设备的人工操作的补充可操作性，所述自动化机床通过操作员的人工执行的操作动作用于操作、装配或加工工件。在该操作可能性中，检测操作员的非接触动作并将非接触动作作为操作或控制机床的非接触操作动作，从而获得更直观、更灵活、更有效以及更安全的机床操作和控制。
在这个过程中，操作员的非接触操作动作可以合适地被检测，例如，光学和/或声学上的检测。这样，在本发明中，除了可以提供传统直接、人工操作可能性，还可以进一步提供非接触操作可能性，使得机床的整个可操作性或可控制性更直观、更灵活、更有效以及对操作员来说也更安全。
将传统人工操作可能性和本发明中非接触操作可能性结合起来有益于操作员，使得操作员可以根据他或她的喜好更灵活、更有效地操作机床。而且，通过非接触操作动作的操作本质上更直观，其中，依赖于他或她（操作员）的直觉操作员可以执行人工操作动作，这样，当非接触操作动作对操作员来说更直观时，操作员也可以执行人工操作动作对应的非接触操作动作。
在本发明实施例中，更有效、更直观的操作也可以被提供，因为在操作激活以前相对于人工操作动作，操作员首先不需要去寻找那些人工操作中需要查看的操作元件，而可以直接执行非接触操作动作。同时，当执行单个操作动作时，他或她可以查看图形用户界面上的信息，这对于他或她来说更有意思，具体地，当使用操作动作的光学识别时，例如手势，或使用声学操作动作的检测，或甚至查看加工空间时，通过图形用户界面上的信息，可以进一步增加可操作的安全性、有效性和灵活性。
在本发明中，可以取得一个更重要的有益效果：对于操作机床，操作员不再被操作员站上直接操作的操作动作所限制，而是当操作员没有直接站在操作员站时，他或她也可以通过使用提供的非接触操作可能性执行操作动作。这样，当操作机床时，为了在视觉上对机床的组件或加工空间获得一个较好的观看，操作员可以远离操作员站所在位置，且仍然可以执行非接触操作以用于操作或控制机床，而这些位置对于直接人工操作来说是必需的。当发生紧急事件时，由于操作无须靠近紧急停机开关，靠近紧急停机开关需要时间，然而通过非接触方式就可以直接、迅速地触发紧急停机开关，这非常适合于在机床上触发或启动紧急停机。
在本发明中，操作员的光学可检测的非接触操作动作包括预定义操作员的手势动作，优选地，这些手势动作可以通过计算机实现的光学图像处理方法进行识别，这些手势动作，操作员可以通过一只手或双手来执行，优选地，操作员的面部操作动作也可以通过计算机实现的光学图像处理方法进行识别，这些面部操作动作操作员可以通过其面部来执行。这些面部操作动作可以被实现，例如，通过特定的方式移动眼睛（例如，眼睛观看方面的检测，眼睑移动的检测）。
在本发明中，优选地，操作员的声学可检测非接触操作动作包括预先定义可以识别的声音命令，通过使用计算机实现的声音识别来识别声音命令。尽管如此，在本发明优选实施例中，声学可检测非接触操作动作也只包括人呼喊或尖叫响度的检测，从而明显提高了在机床上操作的安全性，特别是对在机床上触发紧急停机的操作动作，例如，只要检测到人呼喊的响度超过了设定的响度限制值和/或呼喊的时间长度超过了设定的限制值，就触发机床上的紧急停机。这样，即使操作员遇到紧急情况，如果需要触发紧急停机并且他或她没有时间靠近机床上的紧急停机开关时，紧急停机也可以被触发。
综上所述，本发明以非常合适的方式扩展了用于操作、装配或加工工件的自动化机床的可操作性，例如，数控机床，通过在传统技术中直接人工操作可能性的基础上进一步增加操作可能性，使得自动化机床可操作性更加有效、更加灵活、更加直观，也更加安全，从而使得机床操作员可以通过非接触操作动作在机床上触发操作或控制命令，其中，传统技术中人工操作可能性通过在机床操作设备触摸操作元件来实现的。
在本发明第一方面中，提出了一种用于操作自动化机床的设备，该机床可用于操作、装配或加工工件，具体地，提出了一种用于操作数控机床的设备。
本发明第一方面中的设备包括一显示装置、一操作装置以及一控制器，显示装置包括用于显示图形用户界面的显示屏，该图形用户界面用于控制和/或监视机床的加工功能，操作装置用于输入触发命令的操作动作，具体地，包括用于控制机床加工功能的人工操作动作，以及依赖机床操作员的控制图形用户界面功能的人工操作动作，控制器用于将输入的触发命令的操作动作转换为关联的控制命令，所述控制命令用于控制机床的加工功能和/或图形用户界面的功能。
在本发明中，操作设备包括一个用于输入人工操作动作的装置以及一个用于输入非接触操作动作的装置。在这种情况下，用于输入非接触操作动作的装置包括一个传感器系统以及一个检测装置，所述传感器系统用于检测操作员的非接触动作，所述检测装置通过传感器系统检测的操作员的非接触动作，用于检测检测操作员的触发命令的操作动作。
这样，在本发明中操作设备包括两种输入装置，一种已知的传统输入装置，以用于通过触摸操作元件输入人工操作动作，例如，操作键盘的可操作按键，操作鼠标、操作操纵杆、软键盘、操纵盘、开关和/或按钮，以及一种用于输入非接触操作动作的输入装置，优选地，非接触操作动作通过使用传感器系统进行光学和/或声学获得，以及通过使用检测装置进行检测。如前所述，这可以扩展用于操作、装配或加工工件的自动化机床的可操作性，使得该机床效率更高、更灵活、更直观以及更安全。
在本发明一优选实施例中，用于输入非接触操作动作的装置可光学检测操作员的非接触操作动作，其有益效果在于，操作员更广范围的不同动作可以通过传感器系统被光学检测到，所述传感器系统可光学检测操作员的非接触物理动作，其中，这些光学检测到的操作动作可以评估以及通过使用计算机实现的图像处理装置进行识别。具体地，操作员的这些光学可检测的动作包括身体姿势的变化、面部的变化、手势的变化以及其它物理动作变化。例如，操作员手臂移动、头部移动（例如，点头或摇头）。在这里，可以通过电子计算机实现的图像处理装置识别这些操作动作，并将这些操作动作与预先定义的操作动作进行匹配，预先定义的操作动作是与单个操作命令或操作功能相关联的，这样，关联的操作命令可以通过使用控制器进行执行。
优选地，在这种情况下，传感器系统包括一摄像系统，该摄像包括至少一个摄像机，以用于光学检测操作员面部的和/或手势动作。优选地，进一步地，该检测装置包括一个图像处理单元，以用于在摄像系统传感器信号的基础上执行图像识别，该图像处理单元用于光学识别摄像系统检测的操作员非接触操作动作。在本发明一特别优选的实施例中，摄像系统包括至少两个相互分离的摄像机，以用于光学检测操作面部的和/或手势动作，优选地，所述图像处理单元用于在摄像系统的传感器信号的基础上执行三维图像识别。
近年来，通过电子图像处理对人体光学可识别动作的光学识别的技术领域已经有了很大的进步，并一直在不断地研究中。例如，通过Fraunhofer-Institut für DigitaleMedien-technologie（用于数字多媒体技术Fraunhofer Institute）技术。最后，Fraunhofer-Institutfür Digitale Medientechnologie提出了一些方法和技术，可以对通过摄像系统光检测到的例如眼睛或瞳孔进行识别，其中，眼睑运动（眨眼）以及人观看方向可以通过使用图像处理软件，结合包括摄像系统的简单硬件装置被可靠地识别，摄像系统包括简单的摄像机，例如，网络摄像头。
当使用至少两个相互分离的摄像机时，这些摄像系统已可用于三维的图像识别，可以参见www.idmt.fraunhofer.de网站上关于“Integrated Eyetracker”系统的文章。在那篇文章中，描述的“integrated eyetracker”系统可以进行观看方向的非接触、完全地非校准3D确定。通过使用特定小型摄像机即使在非常小的空间内也可以安装眼部追踪系统，通过使用两台或多台摄像机可以获得观看方向上的信息的实时图像，并以200帧/称（fps）的速度进行处理。具体地，该眼部追踪系统可以获得一个观看方向少于一度的识别精度，而瞳孔位置可以被确定在多于1mm的精度。用户的距离只决定于使用的目标的焦点范围，由于只要用户的眼睛可以被捕捉到，用户几乎可以在摄像系统的整个可视范围内移动，因此，用户的移动范围几乎不被限定。
这样，从操作员面板的位置开始，由于可以通过合适地设置多个摄像机，甚至扩展到整个操作的机床范围，来扩展摄像系统，因此，操作员（用户）的可移动性也可以持续扩展。这样，根据原则可以对被操作或简单技术装置控制的机床周围范围内操作员的观看方向进行识别。与此相比，传统操作可能性通过单纯的人工可操作操作员面板进行操作，操作被不合适地限定在操作员站位置处的直接人工操作。
关于手势的识别，Fraunhofer-Institutfür Digitale Medien-technologie也提出了一种具有指定“手势ID（GestureID）”的技术，可以通过简单摄像系统结合图像处理软件对用户的手势进行光学检测和识别。具体请参考www.idmt.fraunhofer.de网站上“GestureID”系统的文章。其中，“GestureID”系统是基于物体识别算法的，该算法是通过对人类视觉感知详细研究而提出的，其中，预处理算法对预先确定的、定位了人的手势可视图像的必要信息进行过滤，并将这些信息转发到识别模块，以用于分析检测到的手势，接下来接收与之关联的反应。另外，手势的识别进一步地可以以近来发展的三维图像处理传感器系统进行，例如，用于微软公司的视频游戏控制台的控制的传感器系统。具体地，这些三维图像识别传感器系统可以检测和识别更广范围内的非接触操作动作，包括手势、面部和身体部分的任何移动变化，例如，操作的手臂、头部运动（例如，点头或摇头）。
在本发明一特别优选实施例中，摄像系统用于光学捕捉操作员的眼睛，图像处理单元用于在光学捕捉的操作员眼睛瞳孔的基础上识别操作的观看方向，例如，根据前述Fraunhofer-Institut f ür Digitale Medientechnologie(也可以参见国际专利申请文献WO 03/065886 A1以及WO 2006/032253 A1)的眼睛追踪系统。这可以非常有益的方式被使用，特别是用于操作或控制用于操作、装置或加工工件的自动化机床，具体地，如数控机床。除了图形用户界面上观看位置的识别，当观看位置被位置后，观看位置的识别还可以用于更宽的范围。例如，操作员直接观看机床的特定加工部件，其中，图形用户界面上观看位置的识别用于非接触获得指针的位置，该指针的位置用于在该机床上控制图形用户界面。然后，例如，观看方向的识别可特别有利地用于在图形用户界面向用户显示监控信息，以及可选地进一步用于对该观看的组件提供控制可能性，然后，该控制可能性可由其它操作动作再次触发，具体地，可以非接触或人工方式触发。
优选地，图像处理单元用于检测操作员眼睛或瞳孔大小的变化。优选地，在这里，具体地，当检测到操作员的眼睛或瞳孔突然放大，同时，识别到操作员的观看方向面向机床的加工空间时，控制器优选地、合适地在机床上触发紧急停机。该实施例具有以下优点：由于操作员的惊恐可以被转化为直接的命令以直接触发紧急停机，且不会有任何延迟（该延迟在纯手工操作的情形中是自然存在的，这是由于需要一段反应时间后紧急停机开关才会被操作员触发），使得操作的用于操作、装配或加工工件的机床更安全，其中，操作员的惊恐是通过对（例如，在机床的加工空间）危险状况的光学识别来触发的，然后可以通过识别的突然眼睛或瞳孔放大来识别。
优选地，图像处理单元用于在识别的观看方向基础上，检测图形用户界面上用户的观看方向。这使得操作员可以直观和有效地控制图形用户界面上指针的指针或位置，而不需要操作员的手，这是由于操作员的观看方向可以引导图形用户界面上指针的位置。
优选地，控制器用于在检测到的显示屏上操作员观看方向的基础上，选择或追踪图形用户界面的显示屏位置。
这样，由于用户可以选择或追踪图形用户界面显示屏的一部分，而不需要人工动作，此时他或她的空闲的手可用于其它操作动作，可以进一步改进操作设备显示屏上图形用户界面的控制。
优选地，在检测到的操作员在显示屏上观看方向的基础上，控制器用于激活图形用户界面上的交互元件。这样，由于不需要额外的人工动作操作员就可以激活图形用户界面上的交互元件，因此，操作设备显示屏上的图形用户界面的控制器可得到进一步的增强。优选地，在检测到的操作员在显示屏上观看方向的基础上，控制器用于在图形用户界面的多个印网掩膜之间进行切换。这样，由于操作员可以在图形用户界面的印网掩膜之间进行切换，而不需要人工动作，操作员的双手就可以用于其它操作动作。
优选地，图像处理单元在识别的观看方向的基础上，对操作员观看加工空间中机床组件的观看方向进行识别。该优选实施例使得除了前述确定用于图形用户界面的非接触控制的观看方向之外，还可以扩展到观看机床组件的观看方向的识别。
优选地，在检测到的所述机床组件上操作员的观看方向的基础上，控制器用于显示与图形用户界面上组件相关联的信息或显示控制掩膜。这种情形下，该实施例具有以下有益效果：关于机床组件的所述信息和/或可用控制选项可以在图形用户界面上向操作员显示输出，这样操作员可以通过另外的人工或非接触操作动作直接控制组件的功能，而不需要通过前置繁琐的人工操作动作首先去选择组件。
优选地，在光学检测操作员眼睛的基础上，图像处理单元用于识别操作员的眼睑运动。优选地，在检测到眼睑运动的基础上，检测装置用于检测眼睑运动模式，一个眼睑运动模式包括一系列眼睑运动以及眼睑运动之间的时间间隔，控制器用于将检测到的预先确定的眼睑运动模式划分到一个有效控制命令，以使得一个非接触操作动作有效，所述预先确定的眼睑运动模式在预先确定的时间间隔中具有预先确定的一系统眼睑运动。这样，操作员可以以非常有效的方式通过眼睑运动（眨眼）控制简单的操作命令，例如，涉及前一步给定命令的简单确认或拒绝的操作命令，其中，该命令用于通过图形用户界面重复询问（例如，由于安全原因需要重复询问）。在这里，例如，可以预先定义或在一时间间隔内预先设置一次、二次、n次眨眼或一次、二次、n次眼睑运动关联的操作动作，这些操作动作分别为控制功能和触发加工功能的确认或拒绝动作。
在本发明的另一非常优选的实施例中，摄像系统用于光学检测操作员的双手，图像处理单元用于检测操作员的人工手势动作。如前所述，该系统可以根据Fraunhofer-Institut f ür Digitale Medientechnologie的手势识别系统“GestureID”或根据已用于微软公司视频游戏控制台控制的三维图像识别传感器系统来设计。在这里，同样是可以确保只要操作员的操作手势动作位于传感器系统传感器范围内，就可以进行三维图像识别方法中的手势识别，例如，只要操作员以及他或她的手分别位于摄像系统的至少两个摄像机的可视范围内。这样，通过合适的扩展摄像系统，当摄像系统的摄像机设置在机床周围使得操作的机床范围内每个位置都可以被至少两个摄像机捕捉到，就可以类似于围绕操作的机床范围进行观看方向的检测一样进行手势的识别。尽管如此，在传统通过纯人工可操作的操作面板的操作可能性中，操作被不合适地限制在操作员站所在位置的直接人工操作范围内。
优选地，图像处理单元用于识别多个预定义手势命令中的手势命令，其中，每个预定义的手势命令与某一触发命令的操作动作相关联。这是非常有益的，因为多个手势命令可以确先定义，并分别可以与某一触发命令的操作命令关联，这使得如果要通过非接触手势识别获得额外的操作可能性，操作员只需要学习这些手势。当操作员需要发出某一控制或操作命令，他或她只需要在具有一个或两个摄像机的摄像系统可视范围内执行操作动作以触发控制或操作命令，也就是，执行与控制或操作命令关联的手势。在这里，可以使用多种手势，从握拳到伸出一个拇指的手势都可以，具体地，至少是可以想像到的预定义数字，这些数字是通过执行操作动作显示出的通过使用操作员的手指输入的阿拉伯数字（例如，用于选择要调换及类似的刀具或工件），其中，举起的一只手或两只手的手指（从一个到十个手指）的数目可以显示阿拉伯数字1到10或0到9。举起手臂或手可以定义为一个触发命令的操作动作，例如，举起两个手臂（作为明显的手势）可以用于在机床上立即触发紧急停机。具体地，在覆盖围绕操作的机床的整个范围的、具有简单装置的摄像系统中，紧急停机可以在围绕机床的任何位置被立即、直接地触发，从而不需要与传统操作设备一样接触紧急停机开关，这样，可以显著地提高机床的安全性。
在本发明的另一非常优选的实施例中，用于输入非接触操作动作的设备可声学地检测操作员的非接触操作动作。在这种情形下，优选地，传感器系统具有一麦克风系统，以用于检测操作员的声学动作。这样，操作的机床的操作可能性可以明显地改进，使得操作可能性更有效、更直观和更灵活。具体地，当实施声音识别时可以通过使用声音命令提供一种非常直观控制方法，其中声音识别目前已被可靠地用于机动车导航系统的控制。在这里，机床上的许多加工功能或操作功能可以与明确的声音命令相关联，这些声音命令需要操作员大声说出来。当多个麦克风被合适地使用时，这些口头的操作动作可以在围绕机床的范围内被有益地执行以产生触发功能的命令。
一个特定的合适的实施例可以触发危险情形下的紧急停机。当例如在麦克风系统可检测的范围内通过声音命令“紧急停机”，紧急停机可以在机床上被触发，而不需要首先接触被人工操作的紧急停机开关。
优选地，检测装置具有一声音识别单元，以用于识别麦克风系统检测的操作员的声音输入。优选地，声音识别单元用于从多个预定义的声音命令中检测操作员的声音命令，优选地，每个预定义的声音命令与某一个触发命令的操作动作相关联。如前所述，可以定义多个声音命令，包括“是”、“不是”、“工具转换”、“开”或“开始操作”和/或“紧急停机”。进一步地，为了选择或控制机床的组件，优选地，可以想像直接将这些组件指定为声音命令，例如“X轴”、“Y轴”、“Z轴”、“A轴”、“B轴”、“工具变换”、“棘爪”、“门”、“碎片搬运”、“轮盘”、“心轴”等类似物。
优选地，声音识别单元用于检测通过麦克风检测到的声音命令的声音模式，控制器用于将具有关联存储的声音模式注册到机床，并只执行检测到的声音命令，该声音命令具有检测到的声音模式，且该模式对应于与注册的操作员关联的声音模式。这使得可以以一种可益的方式只执行登录到机床进行操作的操作员的声音命令（这样操作员就获得了授权）。其中，当识别的声音命令的声音模式与机床上登录的操作员的声音模式不匹配时，其他人的声音命令或呼喊（例如邻近机床的操作员的）就可以被忽略。这样，那些不是用于操作机床的声音命令的错误地执行就可以被有益地避免。
优选地，检测装置可用于检测操作员的呼喊或尖叫以及通过麦克风捕捉的呼喊或尖叫的响度，优选地，当操作员发出的比预设响度限制值大的呼喊或尖叫被检测装置检测到时，控制器用于触发机床上的紧急停机。因此，由于当机床上发生危险情况时，这提供了另一触发紧急停机可能性，而不需要接触人工操作紧急停机开关，机床的安全性可以进一步地被提高。具体地，该实施例可合适地用于这些情形：发生的危险情况会导致或可能导致操作员受伤（例如，后者可能是由于操作员的身体某部或衣服被机床组件夹住，而机床继续在运转），以及尽管紧急停机急迫地需要马上执行以避免操作员或其他涉及到的人受伤或进一步受伤，操作员自己不能接触人工操作的紧急停机开关。在本发明合适的实施例中，在声学检测的呼喊或尖叫基础上，例如，当呼喊或尖叫的响度超过预设的响度或预设的时间间隔（例如，当操作员受伤时，也可以在痛苦的尖叫开始时触发，尽管如此，这主要不是用于触发紧急停机，而是用于紧急提示将触发即时紧急停机），可以触发紧急停机。
在本发明的进一步特别合适的实施例中，用于操作命令的非接触输入的输入装置以个相关联的方式被校准为适用于单个操作员。优选地，输入装置包括一数据输入接口，以用于导入个人相关的校准数据，这样，优选地，可以在个人相关的校准数据的基础将输入装置校准到适合操作员。如前所述，在大多数图像识别方法和声音识别方法中，输入装置通常需要调整或校准与单个操作员相同。尽管如此，在一些情况下，仍然可以有益地执行特定操作校准，例如，通过输入或传送操作员的高度到图像处理单元以优化观看方向的识别，或如前所述通过输入或传送登录的操作员的个人声音模式到声音识别单元以优化声音识别。最后，操作员每次登录校准不需要都执行，或操作员登录机床起动时但个人相关的校准数据被自动地导入，或机床可以以更有效和省时的方式开始执行校准时，都可以获得非常有益的效果。优选地，在这种情况下，校准数据包括与操作员关联的声音模式和/或身体维度数据，声音模式用于校准声音识别单元，身体维度数据与操作员关联，以用于校准图像处理单元。
为了该目的，操作设备的单个优选实施例的前述特征可以单个地或结合一起使用，其中，在不同非接触操作可能性结合的基础上，可操作性可以进一步增强，从而使得可操作性更直观、更有效和更安全。当由于个人喜好操作员需要放弃非接触操作可能性中一个或多个时，也可以临时地提供删除一个或多个之后的可操作性。这样，可以保证操作员可以选择使用哪些声学可检测的非接触操作可能性（例如，基于激活或不激活声音识别的可能性）和/或选择使用哪些使用光学可检测的非接触操作可能性（例如，基于激活或不激活图像处理、观看方向识别、观看位置识别和/或手势识别）。
在本发明的第二方面，用于操作、装配或加工工件的自动化机床被提供，包括操作自动化机床的设备，该自动化机床为本发明第一方面一个或多个前述实施例中用于操作、装配或加工工件的机床。该自动化机床相关的各个可能性、实施例以及有益效果与前述的本发明提出的操作设备相同。
在本发明的优选实施例中，所述机床为用于加工工件的数控机床。优选地，用于操作的设备连接在所述机床的数字控制器上，例如，机床的可编程逻辑控制器（PLC控制器）和/或机床的数字控制器（NC控制器）上。进一步地，优选实施例中，用于操作的设备可以直接连接在机床的紧急停机控制电路上。
优选地，机床的可通过操作设备控制的加工功能包括至少以下功能中的一个：起动机床、配置机床、装配机床、归零化设备、修复功能、激活机床的紧急停机、错误发现诊断、维护、程序管理、刀具操作、组件盘操作、刀具插入、刀具更换、包括激活和控制NC轴的NC控制功能以及机床的激活者和/或对数字控制器进行编程。
综上所述，本发明以非合适的方式扩展了用于操作、装配或加工工件的自动化机床的可操作性，除了提供传统已知的通过在机床操作设备上触摸操作元件方式直接人工操作的可能性，还提供了进一步的操作可能性，该操作可能性使得操作员可通过非接触操作动作触发机床上触发或控制命令，从而使得自动化机床的可操作性更灵活、更直观以及更安全，其中，自动化机床可以为数控机床。
本发明的前述和进一步的有益方面将在后续优选实施例中结合附图进行详细描述。
附图说明
图1示例性地示出了本发明一实施例中一种用于铣削工件的数控铣床1，该铣床包括操作设备2以用于操作和控制铣床1；
图2示例性地示出了本发明一实施例中操作设备2的结构示意图；
图3分别示例性地示出了本发明第一和第二实施例中用于输入非接触操作动作的输入装置22；
图4示例性地示出了本发明第三实施例中用于输入非接触操作动作的输入装置22。
具体实施方式
以下结合附图对本发明的优选实施例进行描述，尽管如此，此处所描述的实施例仅仅用以解释本发明，并不用于限定本发明。本发明由权利要求来定义。实施例中等同的和/或相似的特征在图中由相同的引用数字进行表示。实施例后列出了使用引用数字意义。
图1示出了一种用于铣削工件的数控铣床1，在本发明实施例中，包括用于操作和控制铣床1的设备2（为了简洁，该设备在后续描述中将通过操作设备2进行引用）。尽管如此，本发明并不限定于本实施例中用于铣床的操作设备，还可以用于其它数控机床的操作，例如，铣床、钻床、铣/钻机床、通用铣床、加工中心、旋床、自动旋床等。进一步地，有利地，本发明可用于多种自动化机床的操作，这些自动化机床可用于操作、装配或加工生产、制造中的工件。
所图1所示的本发明实施例，铣床1包括一转盘1b，该转盘位于加工空间1a内的床身底座上，用于夹住工件，通过铣刀1e对工件进行加工，铣刀由铣床的工作主轴1d握持，而工作主轴1d安置在铣床的轴头1c上，轴头则依附在铣床1的机架上，以方便替换。在转盘1b上加工的工件可以通过多个CNC控制线性轴和/或转轴相对于铣刀1e作移动，优选地，通过5数控轴装置。
类似于传统已知的操作设备（例如，通过西门子系统机床以及操作软件建立的操作设备），操作设备2可以对机床1的可控制功能进行控制。依赖于机床的设计，这些可控制的加工工具可能包括（具体地）：启动机床、故障诊断、维护、程序管理、装卸刀具、组件盘处理、刀具插入、刀具校准、刀具更换、NC控制功能（包括激活和控制NC轴）以及机床的激活者和/或数控编程。最后，操作设备连接到机床1的数字控制器（例如，CNC控制器）。进一步地，操作设备也可以与内存可编程控制器（例如，分别与SPS以及PLC连接）和/或机床1的紧急停机控制电路连接。
如图1所示的操作设备2，从外部看来，明显包括一显示装置10以及操作装置20，显示装置10包括一显示屏11，用于显示图形用户界面以控制和监视机床1的加工功能，操作装置20用于输入触发命令的操作动作，该操作动作可用于控制机床1的加工功能以及通过机床1的操作员控制图形用户界面的功能。
图2示例性地示出了本发明实施例中操作设备2的结构。操作设备2包括图1中示出的显示装置10以及操作装置20，显示装置10包括显示屏11，用于显示图形用户界面以用于控制和监视机床1的加工功能，操作装置20用于输入触发命令的操作动作，以用于控制机床1的加工功能以及通过机床1的操作员控制图形用户界面的功能。操作装置20包括第一输入装置21，以用于输入人工操作动作。为了达到该目的，输入装置21包括多个可直接人工操作的操作元件21a至21f，例如，字符键盘的按键，计算机鼠标、触摸屏（可与显示屏11任意方式连接）、软键盘、操作盘、开关、按钮等。
进一步地，操作设备2包括控制器30，以用于实现触发命令的操作动作，这些操作动作已经被操作员输入到操作装置20中，输入到关联的控制命令中，以用于控制机床1的加工功能和通过操作员控制图形用户界面的功能，通过接口31这些命令可被传送到机床1，例如，传送到机床1的CNC控制器或传送到PLC控制器或机床1的紧急停机电路。
除了用于输入人工操作动作的第一输入装置21，操作装置20进一步包括第二输入装置22以用于输入非接触操作动作，该第二输入装置包括传感器系统50以及检测装置60，该传感器系统用于检测操作员的非接触动作，检测装置60用于通过使用传感器系统50检测到的操作员非接触动作，检测操作员的触发命令的操作动作。这种情况下，传感器系统50适用于光学和/或声学检测操作员的非接触操作动作（例如，通过摄像机和/或麦克风）。检测装置60适用于通过传感器系统50光学地或声学地检测操作员的非接触动作，传感器系统50可通过用于光学信号的电子图像处理方法和/或用于听觉信号的处理装置检测操作员的非接触动作，例如，电子声音识别，检测操作员的非接触动作后并将其分别识别为预定义的非接触操作动作，检测装置60识别各个操作动作后，与某一控制或操作命令关联的预定义非接触操作动作被传送给机床1或通过控制器30被实现。
进一步地，操作设备2包括一数据接口22a（例如，USB接口、CD或碟片驱动、RFID接口等），通过该数据接口，特定用户的校准数据可以导入到第二输入装置22，例如，在机床1的操作员登录过程的帧中被导入，当启动机床1时，该接口也可以用于开放操作员授权等级，凭这个授权等级操作员可进行登录。利用他或她的授权等级可以向其打开或锁定加工功能，这决定于操作员的授权等级。用于操作命令的非接触输入的第二输入装置22适合于以个人相关的方式被校准以适合各个操作员。之后，在导入的个人相关的校准数据基础上，适合于各个操作员的校准被执行。这种校准数据可以包括（例如）与操作员相关的言语模式和/或与操作员相关的体部测量数据，所述言语模式用于校准声音识别单元，所述体部测量数据用于校准图像处理单元。
图3示例性地示出了本发明第一或第二实施例中的输入装置22，装置22用于输入非接触操作动作。图3中输入装置22的传感器系统50包括摄像系统51，摄像系统51包括，例如，四个摄像机51a至51d，以用于光学上检测操作员的面部动作和手势动作。
因此，输入装置22的检测装置60包括一图像处理单元61，该单元用于在摄像系统51的传感器信号基础上执行图像识别。具体地，根据本发明的第一实施例，摄像机51a到51d用于可视化检测操作员的面部动作。可选地（或附加地），根据本发明的第二实施例，摄像机51a到51d用于可视化检测操作员的手势动作。在摄像系统51的传感器信号的基础上，图像处理单元61执行三维图像识别，所述传感器信号由摄像机51a到51d中的至少二个检测得到。
最后，如图3所示，四个摄像机示例性地被提供，这样，由至少二个摄像机检测的区域可以被有利地扩展，这该区域中可以对操作员的操作动作进行三维识别。在手势识别的过程中，一个摄像机也许就足够了，对于通过使用图像处理单元61进行的三维图像识别，为了观看向上有利的识别，一个摄像机是必要的，这样在手势识别过程中可以获得非常好的结果，至少二个摄像机则更好，在一可视化检测情形下，在围绕机床1的范围内如此多的摄像机被提供，则操作员的任何可能位置都可以分别地通过至少二个摄像机被检测到。
在本发明的第一实施例中，摄像系统51用于可视化地检测操作员的眼睛或瞳孔，在可视化检测的操作员眼睛的瞳孔基础上，图像处理单元61用于识别操作员的眼睛的观看方向。这可以以特别适合的方式用于（例如）控制操作设备2的图形用户界面，在检测到的观看方向基础上，通过图像处理单元61检测图形用户界面上操作员的观看方向。
然后，控制器30（例如）在显示屏11观看位置的基础上，选择图像用户界面的一显示屏部分，在显示屏11上检测到的操作员观看位置的基础上，激活图形用户界面的交互元素，从而在显示屏11上检测到的操作员的观看位置的基础上，在图形用户界面多个印网掩模的显示之间进行转换，或减少或扩大显示屏上图形用户界面的多个印网掩模，或将它们卷起来。在识别的观看方向的基础上，当图像处理单元61用于检测机床空间1a中机床1的组件上的操作员观看位置时，在机床1上这种应用可以进一步改良。基于检测到的机床1组件上的操作员的观看位置，控制器30可用于显示与图形用户界面组件相关的信息或控制掩模。然后，操作员不必专门地人工选择或激活所述组件。
当摄像系统51用于检测操作员的眼睛或瞳孔时，在可视化检测到的操作眼睛的基础上，图形处理单元16更为合适地用于识别操作员眼睑动作。然后，优选地，在检测到的眼睑动作的基础上，检测装置60对眼睑动作模式进行检测，其中，眼睑动作模式可以包括一系列眼睑动作以及每个动作之间的时间间隔，之后，控制器30将检测到的预设的眼睑动作模式与确认或拒绝控制命令关联，以用于确认或拒绝非接触操作动作，其中，预设的眼睑动作包括在预设时间间隔内的一系列眼睑动作。
根据本发明第一实施例，操作设备2的一特别合适的设计被提供，该设计明显提高了在机床1上的安全性，在该设计中，图像处理单元61检测操作员眼睛的眼睑或瞳孔大小变化，当检测到操作员眼睛或瞳孔突然放大以及识别到操作员观看方向面向机床1的加工空间1a时，控制器30在机床1上触发紧急停机。即在这种情况下可以认为，由于在机床1的加工空间1a中进行危险情况的光学识别，眼睑或瞳孔的突然放大是对于操作员惊讶的反射反映，其中，由于等待操作员的反应时间，在没有任何延迟的情况下，机床1上一紧急停机可能被触发。
在本发明的第二实施例中，摄像系统51用于光学检测操作员的手或手臂，图像处理单元61用于识别操作员的人工手势动作。因此，图像处理单元61用于检测多个预设的手势命令中的手势命令，每个预设手势命令与特定的触发命令的操作运动相关联。这样，通过简单的预定义的手势（特定的手势），操作员可以简单、非接触方式执行控制或操作命令。
图4示例性示出了本发明第三实施例中用于输入非接触操作动作的输入装置22。在该情形下，输入装置22的传感器系统50包括麦克风系统52，以用于检测操作员的声学动作，作为示例地，麦克风系统52包括两个麦克风52a和52b。尽管对于声学检测一个麦克风52a就足够了，然而，还是设置了第二麦克风52b（如果需要，或可以设置更多麦克风），这样，就可以扩展检测操作员声学动作的范围，或者在多个麦克风的情形下，由于麦克风52a和52b（以及其它麦克风）信号接收的时间延迟，可以计算出操作员的位置信息，其中，时间延迟决定声学动作中操作员的位置。
如图4所示，检测装置60包括声音识别单元62，以用于对麦克风系统52检测到的操作员声音输入进行识别。声音识别单元62用于从多个预定义的声音命令中识别操作员的声音命令，其中，每个预定义的声音命令与特定的触发命令的操作动作关联。这样，在本发明第三实施例中，操作员可以通过声学命令（例如，通过简单的声音命令，例如“是”、“不是”、“好”、“停止”、“紧急停机”以及其它类似声音命令）发出相应的控制命令，这些声学命令在输入装置22中可以被识别并通过控制器30实施。
在本实施例中，声音识别单元62用于检测由麦克风系统52检测到的声音命令的声音模式，控制器30用于将在机床1中存储有关联的声音模式的操作员登录到机床1，并执行检测到的声音命令，该声音命令具有检测到的声音模式，该声音模式对应于已登录的操作员所关联的声音模式。在这种情形下，声音模式可以在校准过程中通过使用数据接口22a形成。邻近机床1的操作员的声音命令具有错误的声音模式可能会被用于控制机床1，因此，这样，对于阻止邻近机床1的操作员的声音命令是有益的，这是因为只有符合注册的操作员的声音模式的声音命令才会被控制器30执行或实施。
在本发明第三实施例中，操作设备2的特别适合的设计可以明显地提高机床1上的安全性。在该设计中，采用检测装置60检测操作员的呼喊或尖叫以及通过麦克风系统52检测呼喊或尖叫的响度。然后，当检测装置60检测到操作员的呼喊或尖叫具有比预设响度阈值高的响度时，控制器60可在机床1上即时、自动地触发紧急停机。
前面对本发明的优选实施例进行了描述。前述实施例中的特征，具体地，如第一、第二、第三实施例，以及这些特征的修改可以单个或任意地组合在一起。在以相互增效的方式通过特征组合而成的实施例情形中，如果结合了各种非接触操作可操作性时，机床的可操作性可设计得更灵活、更直观、更有效以及更安全。当操作员由于个人喜好需要放弃一个或多个非接触操作可能性时，可以向操作员单个或组合地提供临时解除一个或多个非接触操作可能性。这样，可以保证操作员可选择是否使用可声学检测的非接触操作可能性（例如，基于激活或解除声音识别的可能性）和/或是否使用可光学检测操作可能性（例如，基于激活或解除图像处理、观看方向识别、观看位置识别和/或手势识别的可能性）。
综上所述，本发明可以以一种非常有利的方式扩展用于操作、装配或加工工件的自动化机床的可操作性，例如，数据机床，除了提供传统已知技术中通过在机床操作设备上接触操作元件直接人工操作可能性外，进一步提供了可使机床操作员通过非接触操作动作触发操作或控制命令的操作可能性，使得自动化机床的操作更有效、更灵活、更直观和更安全。
引用数字
机床 1
操作设备 2
显示装置 10
显示屏 11
操作装置 20
第一输入装置 21（用于人工输入）
操作元件 21a、21b、21c、21d、21e、21f
第二输入装置 22（用于非接触输入）
数据接口 22a
控制器 30
接口 31
传感器系统 50
摄像系统 51
摄像机 51a、51b、51c、51d
麦克风系统 52
麦克风 52a、52b
检测装置 60
图像处理单元 61
声音识别单元 62

Claims (25)

1.一种用于操作用来操作、装配或加工工件的自动化机床的设备，所述设备包括：
-一个显示装置(10)，包括用于显示图形用户界面的显示屏，该图形用户界面用于控制和/或监视机床(1)的加工功能；
-一个操作装置(20)，用于输入触发命令的操作动作，以用于控制机床(1)的加工功能和/或通过机床(1)的操作员控制图形用户界面的功能，所述操作装置(20)包括第一输入装置(21)以用于输入人工操作动作以及第二输入装置(22)以用于输入非接触操作动作，
其中，用于输入非接触操作动作的第二输入装置(22)包括：
-一个传感器系统(50)，用于检测操作员的非接触动作；以及
-一个检测装置(60)，用于通过所述传感器系统(50)检测到的操作员非接触动作，检测操作员触发命令的操作动作；
-所述设备还包括控制器(30)，用于将人工输入的或非接触方式输入的触发命令的操作动作转换为关联的控制命令，以控制机床(1)的加工功能和/或通过操作员控制图形用户界面的功能；
其中，所述第二输入装置(22)还用于以个人相关的方式被校准为适合各个操作员，所述第二输入装置(22)还包括一数据接口(22a)，以用于导入个人相关的校准数据，以使得适合操作员的校准在个人相关校准数据的基础上进行执行。
2.如权利要求1所述的设备，其特征在于，所述传感器系统(50)包括一个摄像系统(51)，该摄像系统包括至少一个摄像机(51a)以用于光学检测操作员面部和手势动作，所述检测装置(60)包括一个图像处理单元(61)，以在所述摄像系统的传感器信息的基础上执行图像识别。
3.如权利要求2所述的设备，其特征在于，所述摄像系统(51)包括至少两个相互间隔设置的摄像机(51a、51b、51c、51d)，以用于光学检测操作员的面部和手势动作，所述图像处理单元(61)用于在在所述摄像系统(51)的传感器信息的基础上执行图像识别。
4.如权利要求3所述的设备，其特征在于，所述摄像系统(51)用于光学捕捉操作员的眼睛，所述图像处理单元(61)用于在光学捕捉到的操作员的眼睛的基础上，识别操作员的观看方向。
5.如权利要求3或4所述的设备，其特征在于，图像处理单元(61)用于检测操作员的眼睛或瞳孔大小的变化，所述控制器(30)用于当检测到操作员的突然眼睛或瞳孔放大时，或当检测到操作员的突然眼睛或瞳孔放大且操作员的观看方向被识别为面向机床的加工空间时，触发机床(1)上的紧急停机。
6.权利要求4所述的设备，其特征在于，其特征在于，所述图像处理单元(61)用于在所述识别的操作员的观看方向的基础上，检测图形用户界面上操作员的观看位置。
7.如权利要求6所述的设备，其特征在于，控制器(30)用于在检测到的显示屏(11)上操作员观看方向的基础上，选择图形用户界面上显示屏的部分。
8.如权利要求6所述的设备，其特征在于，所述控制器(30)用于在检测到的显示屏(11)上操作员观看方向的基础上，激活图形用户界面上的交互元件。
9.如权利要求6所述的设备，其特征在于，所述控制器(30)用于在检测到的显示屏(11)上操作员观看位置的基础上，在所述图形用户界面多个印网掩模之间进行切换。
10.如权利要求4所述的设备，其特征在于，所述图像处理单元(61)用于在识别的观看方向的基础上，检测操作员在加工空间中机床(1)的组件上的观看位置。
11.如权利要求10所述的设备，其特征在于，所述控制器(30)用于在检测到的所述机床(1)组件上操作员的观看位置的基础上，显示图形用户界面上的组件相关联的信息或控制掩模。
12.如权利要求2所述的设备，其特征在于，所述图像处理单元(61)用于在捕捉到的操作员的眼睛的基础上，识别操作员的眼睑运动。
13.如权利要求12所述的设备，其特征在于，检测装置用于在检测到的眼睑运动的基础上检测眼睑运动模式，所述眼睑运动模式包括一系列眼睑运动和眼睑运动之间的时间间隔，所述控制器(30)用于根据预先确定的时间间隔内一系列预先确定眼睑运动将检测到的预先确定的眼睑动作模式划分到确认控制命令，所述控制命令用于确认非接触操作动作。
14.如权利要求2所述的设备，其特征在于，所述摄像系统(51)用于光学捕捉操作员的手，所述图像处理单元(61)用于检测操作员的人工手势动作。
15.如权利要求14所述的设备，其特征在于，图像处理单元(61)用于识别多个预定义手势命令中的手势命令，每个预定义手势命令与一特定触发命令的操作动作关联。
16.如权利要求1所述的设备，其特征在于，所述传感器系统(50)包括麦克风系统(52)，以用于获取操作员的声学动作。
17.如权利要求16所述的设备，其特征在于，所述检测装置包括声音识别单元(62)以用于识别通过麦克风系统(52)检测到的操作员的声音输入。
18.如权利要求17所述的设备，其特征在于，所述声音识别单元(62)用于从多个预先定义的声音命令中识别操作员的声音命令，每个预先定义的声音命令与一特定触发命令的操作动作关联。
19.如权利要求17所述的设备，其特征在于，所述声音识别单元(62)用于检测通过使用麦克风系统(52)获取的声音命令的声音模式，所述控制器(30)用于将具有关联存储的声音模式的操作员注册到机床(1)，并只执行获取的声音命令，其中，该声音命令具有检测到的声音模式，该声音模式对应于注册的操作员关联的声音模式。
20.如权利要求16所述的设备，其特征在于，检测装置(60)用于检测通过麦克风系统(52)捕捉的操作员的呼喊或尖叫声以及所述呼喊或尖叫声的响度，所述控制器(30)用于当检测装置(60)检测的操作员呼喊或尖叫声的响度大于预先确定的响度限定值，在机床(1)上触发紧急停机。
21.如权利要求1所述的设备，其特征在于，所述校准数据包括与操作员关联的声音模式，以用于校准声音识别单元(62)。
22.如权利要求1所述的设备，其特征在于，所述校准数据包括与操作员关联的体部测量数据，以用于校准图像处理单元(61)。
23.一种用于操作、装配或加工工件的自动化机床，包括前述任一权利要求所述的设备(2)。
24.一种数控机床(1)，包括：
数字控制器；以及
权利要求1-22中任意一项所述的设备(2)，所述设备(2)被连接在所述数控机床(1)的所述数字控制器上。
25.如权利要求24所述的数控机床(1)，其特征在于，可通过使用所述设备(2)控制的所述数控机床(1)的加工功能包括：起动机床、配置机床、装配机床、归零化设备、修复功能、激活机床的紧急停机、错误发现诊断、维护、程序管理、刀具操作、组件盘操作、刀具插入、刀具更换、包括激活和控制NC轴的NC控制功能以及机床的激活者和/或对数字控制器进行编程。
CN201210137738.3A 2011-05-06 2012-05-07 操作一种用于操作、装配或加工工件的自动化机床的设备 Expired - Fee Related CN102778858B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011075467A DE102011075467A1 (de) 2011-05-06 2011-05-06 Vorrichtung zum bedienen einer automatisierten maschine zur handhabung, montage oder bearbeitung von werkstücken
DE102011075467.9 2011-05-06

Publications (2)

Publication Number Publication Date
CN102778858A CN102778858A (zh) 2012-11-14
CN102778858B true CN102778858B (zh) 2016-12-28

Family

ID=46177239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210137738.3A Expired - Fee Related CN102778858B (zh) 2011-05-06 2012-05-07 操作一种用于操作、装配或加工工件的自动化机床的设备

Country Status (5)

Country Link
US (1) US9158298B2 (zh)
EP (1) EP2520993A3 (zh)
JP (1) JP6042092B2 (zh)
CN (1) CN102778858B (zh)
DE (1) DE102011075467A1 (zh)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10866783B2 (en) * 2011-08-21 2020-12-15 Transenterix Europe S.A.R.L. Vocally activated surgical control system
DE202012008731U1 (de) * 2012-09-12 2014-01-14 Wilhelm Altendorf Gmbh & Co. Kg Bearbeitungsmaschine zum Betrieb einer Bearbeitungsmaschine
US9448650B2 (en) * 2012-11-09 2016-09-20 Wilson Tool International Inc. Display device for punching or pressing machines
JP6043596B2 (ja) * 2012-11-09 2016-12-14 東芝機械株式会社 パルス発生装置および数値制御装置
AT513675A1 (de) * 2012-11-15 2014-06-15 Keba Ag Verfahren zum sicheren und bewussten Aktivieren von Funktionen und/oder Bewegungen einer steuerbaren technischen Einrichtung
DE102012022882A1 (de) * 2012-11-23 2014-05-28 Heidelberger Druckmaschinen Ag Gestensteuerung für Druckmaschinen
EP2756953A1 (de) * 2013-01-18 2014-07-23 ABB Schweiz AG Verfahren zur Bedienung eines Leitstandes für Druckmaschinen
JP6115157B2 (ja) * 2013-01-31 2017-04-19 富士通株式会社 プログラム、演算装置および演算方法
WO2014122280A1 (de) * 2013-02-07 2014-08-14 manroland sheetfed GmbH System zur druckmaschinenbedienung
US9798302B2 (en) * 2013-02-27 2017-10-24 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with redundant system input support
US9393695B2 (en) * 2013-02-27 2016-07-19 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with person and object discrimination
US9498885B2 (en) 2013-02-27 2016-11-22 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with confidence-based decision support
US9804576B2 (en) * 2013-02-27 2017-10-31 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with position and derivative decision reference
CN104238452A (zh) * 2013-06-21 2014-12-24 鸿富锦精密工业(武汉)有限公司 机床控制电路
AT514528A1 (de) * 2013-06-21 2015-01-15 Engel Austria Gmbh Formgebungsanlage mit Gestensteuerung
DE102013214052A1 (de) * 2013-07-17 2015-02-19 Krones Ag Behälterbehandlungsmaschine mit Display
DE102013216740A1 (de) * 2013-08-23 2015-02-26 Robert Bosch Gmbh Bedienvorrichtung, Steuervorrichtung und Anlage der Automationstechnik
US20150092040A1 (en) * 2013-10-01 2015-04-02 Broadcom Corporation Gesture-Based Industrial Monitoring
WO2015056339A1 (ja) * 2013-10-18 2015-04-23 富士機械製造株式会社 加工機械ライン
DE102014208463B4 (de) * 2014-05-06 2017-07-06 Siemens Healthcare Gmbh Patientenliege mit einem Steuerungssystem und Verfahren zum Steuern einer Patientenliege
JP6386871B2 (ja) * 2014-10-22 2018-09-05 オークマ株式会社 工作機械用数値制御装置
US20170308055A1 (en) * 2014-10-27 2017-10-26 Makino Milling Machine Co., Ltd. Machine tool control method and machine tool control device
DE102014222194A1 (de) * 2014-10-30 2016-05-04 Bayerische Motoren Werke Aktiengesellschaft Fahrzeug mit dreidimensionaler Bedienschnittstelle
CN104942316A (zh) * 2015-07-01 2015-09-30 芜湖扬宇机电技术开发有限公司 一种卧式车床紧急停车附加系统及其控制方法
US11072077B2 (en) 2015-12-07 2021-07-27 Kawasaki Jukogyo Kabushiki Kaisha Robot system and operation method thereof
DE102015225036A1 (de) * 2015-12-14 2017-06-14 Robert Bosch Gmbh Werkzeug zum Bearbeiten mindestens eines Werkstücks und Verfahren zum Bearbeiten eines Werkstücks mit einem Werkzeug
JP2017145066A (ja) * 2016-02-15 2017-08-24 庸 菊池 悲鳴緊急停止装置
DE102016006568A1 (de) * 2016-05-25 2017-11-30 EMAG GmbH & Co. KG Verfahren zum sprachgeführten Steuern von Werkzeugmaschinen
KR20190075096A (ko) 2016-10-21 2019-06-28 트룸프 베르크초이그마쉬넨 게엠베하 + 코. 카게 금속가공 산업에서의 내부 개인 추적에 기초한 제조 제어
EP3529674A2 (de) 2016-10-21 2019-08-28 Trumpf Werkzeugmaschinen GmbH + Co. KG Innenraum-ortung-basierte steuerung von fertigungsprozessen in der metallverarbeitenden industrie
DE102017000290B3 (de) * 2017-01-13 2018-06-14 Mühlbauer Gmbh & Co. Kg Vorrichtung und Verfahren zur Überwachung eines Fräsvorgangs
CN108006750B (zh) * 2017-06-21 2023-09-15 宁波方太厨具有限公司 一种吸油烟机的非接触控制装置及其控制方法
DE202017007029U1 (de) * 2017-08-23 2019-03-19 Gdw Werkzeugmaschinen Gmbh Drehmaschine und Computerprogrammprodukt
WO2019092350A1 (fr) * 2017-11-07 2019-05-16 Compagnie Generale Des Etablissements Michelin Methode d'assistance au reglage dimensionnel d'une machine industrielle, et systeme associe
CN110015117B (zh) * 2017-12-13 2022-11-25 蔚来(安徽)控股有限公司 可视化人机交互的车辆换电操控系统和车载电池操作系统
DE102018208609A1 (de) * 2018-05-30 2019-12-05 Siemens Aktiengesellschaft Verfahren zum Betreiben einer drahtlosen Kommunikationsverbindung und Systemanordnung
WO2019239582A1 (ja) * 2018-06-15 2019-12-19 三菱電機株式会社 機器制御装置、機器制御システム、機器制御方法、および、機器制御プログラム
CN109079521A (zh) * 2018-08-30 2018-12-25 淮安信息职业技术学院 工业机床集成控制系统
DE102018121492B4 (de) 2018-09-04 2023-05-11 SIKA Dr. Siebert & Kühn GmbH & Co. KG Mess- oder Kalibriereinrichtung mit einer verbesserten Bedienung
JP2020042420A (ja) * 2018-09-07 2020-03-19 株式会社牧野フライス製作所 工作機械の制御装置
JP7198824B2 (ja) * 2018-09-07 2023-01-04 株式会社牧野フライス製作所 工作機械の制御装置
CN109166567A (zh) * 2018-10-09 2019-01-08 安徽信息工程学院 一种降噪方法及设备
CN109857314B (zh) * 2018-12-29 2021-06-29 百度在线网络技术（北京）有限公司 有屏设备的手势控制方法和装置
WO2020180773A1 (en) * 2019-03-01 2020-09-10 Schlumberger Technology Corporation Voice aware drilling control and reporting system
CN109773227A (zh) * 2019-03-20 2019-05-21 武汉鼎业环保工程技术有限公司 一种无模具密封件数控机床
DE102019113933A1 (de) * 2019-05-24 2020-11-26 Homag Bohrsysteme Gmbh Verfahren sowie Bedienungssystem zum Einrichten einer Bearbeitungseinrichtung, Bearbeitungseinrichtung und Computerprogramm zum Einrichten einer Bearbeitungseinrichtung
CN110164440B (zh) * 2019-06-03 2022-08-09 交互未来(北京)科技有限公司 基于捂嘴动作识别的语音交互唤醒电子设备、方法和介质
DE102019119359B4 (de) * 2019-07-17 2023-03-23 Gebr. Heller Maschinenfabrik Gmbh Werkzeugmaschine mit einstellbarer Bedieneinheit
CN110895402A (zh) * 2019-10-11 2020-03-20 沈阳华飞智能科技有限公司 一种数控手持单元终端
JP7320885B2 (ja) * 2019-11-06 2023-08-04 ナノトロニクス イメージング インコーポレイテッド 製造プロセスのためのシステム、方法、および媒体
DE112020006666T5 (de) * 2020-07-30 2023-04-13 Mitsubishi Electric Corporation Numerische Steuerung und numerisches Steuerungssystem
KR102256726B1 (ko) * 2020-12-08 2021-05-26 한국클라우드컴퓨팅연구조합 장비의 긴급 제동을 위한 원격 제어 시스템 및 제어 방법
TWI767590B (zh) * 2021-03-02 2022-06-11 伊斯酷軟體科技股份有限公司 用於多部電子計算裝置的機器人流程自動化裝置及機器人流程自動化方法
US11604675B2 (en) * 2021-03-04 2023-03-14 Vocollect, Inc. Enabling workers to swap between mobile devices
US20220028414A1 (en) * 2021-07-14 2022-01-27 Olszewski Tymoteusz BITLAND Method and system for safeguarding electrical devices
US11609550B2 (en) 2022-06-22 2023-03-21 Brett Bond System and method for automated precision control of a computer numerical control (CNC) machine
CN116967817A (zh) * 2023-07-26 2023-10-31 南通旭志精工科技有限公司 一种基于大数据的机床控制柜远程安全监控系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10026263A1 (de) * 1999-08-27 2001-03-08 Siemens Ag Steuerungsverfahren für eine industrielle technische Anlage, insbesondere eine Werkzeugmaschine oder einen Roboter
US6243076B1 (en) * 1998-09-01 2001-06-05 Synthetic Environments, Inc. System and method for controlling host system interface with point-of-interest data
CN1963917A (zh) * 2005-11-11 2007-05-16 株式会社东芝 评价语音的分辨力、说话人认证的注册和验证方法及装置
DE102007058708A1 (de) * 2006-12-22 2008-06-26 Heidelberger Druckmaschinen Ag Integriertes Bedienkonzept bei Druckmaschinen

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4462080A (en) * 1981-11-27 1984-07-24 Kearney & Trecker Corporation Voice actuated machine control
JPS58177294A (ja) * 1982-04-02 1983-10-17 オムロン株式会社 ロボツトの非常停止装置
US4896357A (en) * 1986-04-09 1990-01-23 Tokico Ltd. Industrial playback robot having a teaching mode in which teaching data are given by speech
US4836670A (en) * 1987-08-19 1989-06-06 Center For Innovative Technology Eye movement detector
JP2845926B2 (ja) * 1989-03-20 1999-01-13 株式会社日立製作所 マンマシンシステム
JPH07160410A (ja) * 1993-12-07 1995-06-23 Mitsubishi Electric Corp 計算機入力システム
JP3293308B2 (ja) 1994-03-10 2002-06-17 三菱電機株式会社 人物状態検出装置
JPH10260773A (ja) * 1997-03-19 1998-09-29 Nippon Telegr & Teleph Corp <Ntt> 情報入力方法及びその装置
US6401050B1 (en) * 1999-05-21 2002-06-04 The United States Of America As Represented By The Secretary Of The Navy Non-command, visual interaction system for watchstations
US6895380B2 (en) * 2000-03-02 2005-05-17 Electro Standards Laboratories Voice actuation with contextual learning for intelligent machine control
DE10018490A1 (de) 2000-04-14 2001-11-29 Winkler & Duennebier Ag Terminal zum Bedienen und/oder zur Anzeige der Betriebswerte einer Maschine
DE10056291A1 (de) * 2000-11-14 2002-05-23 Siemens Ag Verfahren zur visuellen Darstellung und interaktiven Steuerung von virtuellen Objekten auf einem Ausgabe-Sichtfeld
US6886137B2 (en) * 2001-05-29 2005-04-26 International Business Machines Corporation Eye gaze control of dynamic information presentation
JP2003080482A (ja) * 2001-09-07 2003-03-18 Yaskawa Electric Corp ロボット教示装置
AU2003212234A1 (en) 2002-02-05 2003-09-02 Technische Universitat Ilmenau Method and arrangement for the contactless determination of the direction of viewing
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
NZ535804A (en) * 2002-03-18 2005-05-27 Steven G A self programming computer controlled centerless grinding machine
DE10325894B4 (de) * 2003-06-06 2010-12-09 Siemens Ag Werkzeug- oder Produktionsmaschine mit Anzeigeeinheit zur Visualisierung von Arbeitsabläufen
US20050213036A1 (en) * 2003-06-19 2005-09-29 Schneider Automation Inc. System and method for ocular input to an automation system
DE102004046617A1 (de) 2004-09-22 2006-04-06 Eldith Gmbh Vorrichtung und Verfahren zur berührungslosen Bestimmung der Blickrichtung
JP4835898B2 (ja) * 2004-10-22 2011-12-14 ソニー株式会社 映像表示方法および映像表示装置
US7501995B2 (en) * 2004-11-24 2009-03-10 General Electric Company System and method for presentation of enterprise, clinical, and decision support information utilizing eye tracking navigation
US7835498B2 (en) * 2005-02-18 2010-11-16 Koninklijke Philips Electronics N. V. Automatic control of a medical device
JP4799045B2 (ja) * 2005-05-17 2011-10-19 株式会社東京精密 工作機械
US8270638B2 (en) * 2007-05-29 2012-09-18 Sonitus Medical, Inc. Systems and methods to provide communication, positioning and monitoring of user status
DE102008020772A1 (de) * 2008-04-21 2009-10-22 Carl Zeiss 3D Metrology Services Gmbh Darstellung von Ergebnissen einer Vermessung von Werkstücken
DE102009007286A1 (de) * 2009-02-03 2010-08-05 Soflex Fertigungssteuerungs-Gmbh Verfahren zum Bedienen von Anlagen
US9898675B2 (en) * 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
JP4740399B2 (ja) * 2009-09-09 2011-08-03 パナソニック株式会社 車両制御装置及び車両制御方法
US20110311144A1 (en) * 2010-06-17 2011-12-22 Microsoft Corporation Rgb/depth camera for improving speech recognition
US9619035B2 (en) * 2011-03-04 2017-04-11 Microsoft Technology Licensing, Llc Gesture detection and recognition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6243076B1 (en) * 1998-09-01 2001-06-05 Synthetic Environments, Inc. System and method for controlling host system interface with point-of-interest data
DE10026263A1 (de) * 1999-08-27 2001-03-08 Siemens Ag Steuerungsverfahren für eine industrielle technische Anlage, insbesondere eine Werkzeugmaschine oder einen Roboter
CN1963917A (zh) * 2005-11-11 2007-05-16 株式会社东芝 评价语音的分辨力、说话人认证的注册和验证方法及装置
DE102007058708A1 (de) * 2006-12-22 2008-06-26 Heidelberger Druckmaschinen Ag Integriertes Bedienkonzept bei Druckmaschinen

Also Published As

Publication number Publication date
DE102011075467A1 (de) 2012-11-08
US20120290121A1 (en) 2012-11-15
JP2012234549A (ja) 2012-11-29
CN102778858A (zh) 2012-11-14
US9158298B2 (en) 2015-10-13
JP6042092B2 (ja) 2016-12-14
EP2520993A3 (de) 2014-10-22
EP2520993A2 (de) 2012-11-07

Similar Documents

Publication Publication Date Title
CN102778858B (zh) 操作一种用于操作、装配或加工工件的自动化机床的设备
Wang et al. Symbiotic human-robot collaborative assembly
CN104936748B (zh) 徒手机器人路径教导
US10081109B2 (en) Haptic teach pendant
CN106808496A (zh) 机器人安全系统
JP6221224B2 (ja) ロボットシステム、プログラム、生産システム及びロボット
CN109219856A (zh) 用于人类及机器人协作的系统及方法
CN103802117A (zh) 机器人系统
JP5186723B2 (ja) コミュニケーションロボットシステムおよびコミュニケーションロボットの視線制御方法
CN107656505A (zh) 使用增强现实设备控制人机协作的方法、装置和系统
US20190163266A1 (en) Interaction system and method
EP2772812B1 (en) Recognition-based industrial automation control with redundant system input support
CN109074048A (zh) 用于食品工业的机器的操作系统
CN107257946B (zh) 用于虚拟调试的系统
Miądlicki et al. Real-time gesture control of a CNC machine tool with the use Microsoft Kinect sensor
Shu et al. Human-robot collaboration: Task sharing through virtual reality
CN108369451A (zh) 信息处理装置、信息处理方法及程序
US10133900B2 (en) Controlling the output of contextual information using a computing device
JPWO2016140129A1 (ja) 動作評価装置、動作評価方法、及びプログラム
Krishna Sharma et al. Comparing two safe distance maintenance algorithms for a gaze-controlled HRI involving users with SSMI
Thompson Redesigning the human-robot interface: intuitive teleoperation of anthropomorphic robots
JP2020009020A (ja) 情報管理装置，情報管理システム，情報管理方法
CN109769307A (zh) 具有与操作终端配对功能的外置设备
Lin et al. Perception and action augmentation for teleoperation assistance in freeform tele-manipulation
US10642377B2 (en) Method for the interaction of an operator with a model of a technical system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161228

Termination date: 20200507