CN104364723A - 用于操作工业机器人的方法 - Google Patents

用于操作工业机器人的方法 Download PDF

Info

Publication number
CN104364723A
CN104364723A CN201380017822.4A CN201380017822A CN104364723A CN 104364723 A CN104364723 A CN 104364723A CN 201380017822 A CN201380017822 A CN 201380017822A CN 104364723 A CN104364723 A CN 104364723A
Authority
CN
China
Prior art keywords
display
touch
finger
advance
industrial robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380017822.4A
Other languages
English (en)
Other versions
CN104364723B (zh
Inventor
F.佐姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Reis Group Holding GmbH and Co KG
Original Assignee
Reis Group Holding GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Reis Group Holding GmbH and Co KG filed Critical Reis Group Holding GmbH and Co KG
Publication of CN104364723A publication Critical patent/CN104364723A/zh
Application granted granted Critical
Publication of CN104364723B publication Critical patent/CN104364723B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/06Control stands, e.g. consoles, switchboards
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/409Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/23Pc programming
    • G05B2219/23377Touch screen, with representation of buttons, machine on screen
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/23Pc programming
    • G05B2219/23378Touch sensitive key
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/36Nc in input of data, input key till input tape
    • G05B2219/36168Touchscreen
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40099Graphical user interface for robotics, visual robot user interface

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Artificial Intelligence (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种用于借助于操作设备(10)操作工业机器人(12)的方法,该方法包括以下方法步骤:触摸图形用户界面(18)的被框架(34)包围的触敏显示器(20)上的虚拟操作元素,其中在触摸该虚拟操作元素时触发分配给该操作元素的功能。为了提高操作工业机器人的安全性并且为了能够以所期望的程度在工业机器人的位置方面对工业机器人进行调整而提出:选择性地检测操作人员的手指在触摸触摸显示器(20)的被构造成所定义的行进面的虚拟操作元素时偏移的速度或者路程;从所述偏移的速度或路程中生成控制信号,所述控制信号被用于移动工业机器人(12)的速度预先给定值或位置预先给定值;以及在与充当触觉标记的框架片段(36)相距一定距离处定义针对所述工业机器人的二维位置预先给定值的第一行进面,并且在所述距离以内定义针对所述工业机器人的第三位置预先给定值的第二行进面。

Description

用于操作工业机器人的方法
技术领域
本发明涉及一种用于借助于操作设备操作工业机器人的方法,该方法包括以下方法步骤:触摸图形用户界面的被框架包围的触敏显示器上的虚拟操作元素,其中在触摸该虚拟操作元素时触发分配给该操作元素的功能。
背景技术
在DE 10 2010 039 540 A1中描述了手持式操作设备形式的用于控制工业机器人的装置。该手持式操作设备可以与机器人控制装置耦合,以便对工业机器人进行编程或控制。
该手持式操作设备包括具有微处理器的电子设备,以便能够与机器人控制装置通信。该手持式操作设备还包括被构造成触摸屏的显示器、紧急停机按键、以及被构造成锁的转换开关。为了人工地移动例如机器人臂,该手持式操作设备包括不同的可彼此独立地人工操控的输入装置或行进装置,所述输入装置或行进装置例如被构造成6D鼠标或者触摸按键。借助于触摸屏,所存在的可能性是,给所述行进装置中的每个都分配其自己的参考坐标系。
但是在公知的实施方式中,对工业机器人的控制仅仅通过可人工操控的输入装置来进行,使得手持式操作设备在其制造方面是高成本的,并且在运行中易受影响。
在DE 10 2010 025 781 A1中描述了另一用于操作工业机器人的装置。移动电话形式的该手持式设备具有触摸屏,该触摸屏一方面充当用于输出机器人控制装置的信息、尤其是用于显示操作界面的输出装置,并且另一方面充当用于借助于按键输入控制命令的命令输入装置。
该手持式设备借助于在例如将移动电话保持在机动车辆中的原理中公知的夹持设备可松开地固定在便携式安全设备处,并且通过USB接口与该安全设备连接。安全输入设备具有紧急停止按钮、同意按键以及运行方式选择开关。该实施方式中的缺点是,为了安全地操作虚拟按键,操作人员总是被迫查看触摸屏以便避免误输入。同样的情况在诸如强光入射或者昏暗状况之类的妨碍对触摸屏的操作的不利环境条件时成立。
在引文Mark John Micir的博士论文“Multi-Touch Interaction for Robot Command and Control”(2010年12月)中描述了通过手指在触摸屏上行进来操作机器人。通过移动手指,可以控制平面中的方向和机器人的速度。在从触摸屏移除手指时,机器人进入停止状态。
根据US 2008/0165255 A1,可以通过在触摸屏的表面上移动手指来在二维上控制车辆。
多点触摸屏在NIEDERHUBER,Ch.的引文:“Bedienpanel: Multitouch-Technologie mit Haptischen Elementen vereint”(In: etz Elektrotechnik + Automation, 第1-2/2012期, 第2-4页)中予以了描述。
发明内容
本发明所基于的任务是,将开头提到类型的方法改进为使得提高操作工业机器人时的安全性。工业机器人还应当以所期望的程度在其位置方面被调整。在机器人的行进方向和速度方面对机器人的控制应当是可能的。
为了解决该任务而提出:选择性地检测操作人员的手指在触摸触摸显示器的被构造成所定义的行进面的虚拟操作元素时偏移的的速度或者路程(Strecke);从该偏移的速度或路程中生成控制信号,该控制信号被用于移动工业机器人的速度预先给定值或位置预先给定值;以及在与充当触觉标记的框架片段相距一定距离处定义针对该工业机器人的二维位置预先给定值(X、Y坐标(位置)或者Vx、Vy速度)的第一行进面,并且在该距离以内定义针对该工业机器人的第三位置预先给定值(Z坐标(位置)或Vz速度)的第二行进面。
尤其是通过手指在触摸所述行进面之一期间的偏移来生成控制信号,该控制信号根据操作设备的所设定的模式被用于移动工业机器人的速度预先给定值或者位置预先给定值。
根据本发明,通过触摸屏上的2D运动来实现机器人的三维运动。在此,沿着触摸显示器的充当触觉标记的片段引导手指、比如大拇指,以便在一定方向上调整机器人。在笛卡尔坐标系或所定义的坐标系的其余方向上的调整在与手指、比如大拇指相距一定距离之处进行。通过该特殊布置,操作者可以明显地区分并盲地到达两个行进域。直接处于显示器边缘处的域-手指与壳体边缘具有可触摸到的接触-激活针对第三维的行进预先给定值。大约手指宽地处于显示器边缘附近的域激活其余二维中的行进预先给定值。在此,诸如大拇指之类的手指明显地向侧面伸展并且与壳体边缘不具有接触。如果操作者想要针对第一或第二虚拟行进面作出决定,则手指的命中精度是次要的。与触摸显示器的第一手指接触仅须处于宽大地确定尺寸的一个或另一个虚拟行进面内。在此,手指的第一击中点被假定为零点,从该零点出发,每个进一步的手指运动-在与触摸显示器的持久手指接触的情况下-被评估为偏移,从其中生成用于机器人的行进预先给定值的控制信号。该通过壳体边缘的触觉标记所支持的行进允许在盲操作中移动机器人。
此外所存在的可能性是,通过改变模式来在机器人的位置预先给定值与速度预先给定值之间转变,其中触摸显示器的相同行进面可以以前面所描述的方式来利用。
手指在所定义的行进面或虚拟操作元素上的偏移的路程优选地与工业机器人的行进速度和/或位置成比例。在触摸所定义的行进面以后,在具有接触的滑动期间,还超出所示虚拟行进面的域界限的整个触摸显示面都对手指可用。
当操作人员将其手指从触摸显示器提离时,工业机器人达到停止状态。此外规定:对手指运动的反应的灵敏度通过虚拟操作元素、比如滑动调节器针对位置预先给定值以及针对速度预先给定值来无级地调整。
诸如X和Y坐标之类的二维位置预先给定值优选地通过触摸所定义的行进面来进行,所述行进面在触摸显示器上被定位为与显示器边缘相距一定距离,使得所述行进面可以用诸如大拇指之类的手指来操作。
作为具有平坦表面的市场上常见触摸屏(该触摸屏优选地被构造成电容触摸屏,但也可以考虑电阻触摸屏)的触摸显示器的为了预先给定机器人的X-Y坐标而操作人员的手指、尤其是大拇指必须在触摸显示器上接触式地移动的区域在触摸显示器的所谓远离边缘(randfern)的区域中延伸、优选地与包围触摸显示器的框架相距至少大拇指宽地延伸。
此外,本发明规定:工业机器人可以通过直接侧面地布置在显示器边缘处的操作元素在第三坐标方向(Z坐标)上被控制,其中操作人员的手指被引导得经过显示器边缘和/或在显示器边缘上并沿着该显示器边缘延伸的触觉标记。
X、Y和Z坐标尤其是笛卡尔坐标系的坐标。通过添加至少另一或另外的虚拟行进面,可以控制工作定向(旋转角)A、B和C。这些另外的行进面在构造和功能方面都类似于针对X、Y和Z行进预先给定值的行进面并且用这些行进面一起示出。在此,在触摸显示屏上的放置被选择为使得针对行进方向“C”的行进面与壳体框架的边缘片段(其充当触觉标记)接界,并且针对行进方向“A”和“B”的行进面被放置在与壳体边缘相距所定义的距离之处。
因此,可以用触摸显示器在盲操作中控制机器人的所有6个自由度。
如果不应当进行调整、而是仅仅进行X、Y和/或Z方向或A、B和/或C方向或角度上的位置处的速度影响,则通过触摸触摸显示器上的相应虚拟元素来转变模式,以便以之前所描述的方式调整行进速度。
换言之,将在触摸触摸显示器以后或多或少地“拉动”手指的可能性用于为机器人生成模拟行进预先给定值。因此,机器人可以以6个自由度(X、Y、Z和工具定向A、B、C)来灵敏地控制。
利用手指的偏移可能的是,与在笔记本计算机的情况下通过触摸板的光标控制类似地向机器人提供位置预先给定值。在此,机器人可以同时在两个坐标方向、例如X和Y或A和B上行进。
在另一模式下,通过手指偏移为机器人生成速度预先给定值:手指被偏移越多,则机器人行进得越快。
在触摸所选行进面以后,手指接着也可以经过域界限被拉动到整个显示器上并且因此生成行进预先给定值。在松开以后,机器人立即停下来。然后,为了重新的行进预先给定值必须再次命中所期望的域。
对手指运动的反应的灵敏度可以通过调节器、例如超驰针对位置预先给定值以及针对速度预先给定值来无级地调整。
针对2D行进(X、Y方向或A、B方向)的敏感面被放置在显示器边缘附近,使得该敏感面在与显示器边缘相距明显的距离处仍然可以用手指(例如利用伸展的大拇指)被良好地达到。
为了还能够在第三坐标方向(Z方向或C方向)上行进,手指宽的域被直接侧面地放置在显示器边缘处,使得该域可以用手指触摸出。该域生成一维行进预先给定值(Z方向上或C方向)。
通过该特殊布置,操作者可以明显地区分并盲地到达两个行进域:直接处于显示器边缘处的域(手指与壳体边缘具有可触摸到的接触)激活针对第三维的行进预先给定值。大约手指宽地处于显示器边缘附近的域激活二维中的同时行进预先给定值。
工业机器人具有6个自由度。为了以所述三个角度(A、B、C)调整工具定向,使用如上所述的相同方法。在此,显示器被划分成两个区。在一个区(例如上面的区)中存在针对维1-3(例如X、Y、Z)的域。在另一区(例如下面的区)中存在针对维4-6(例如A、B、C)的行进域。通过触觉标记,可以盲地区分这两个区。
作为触摸显示器优选地使用多点触摸显示器或单点触摸显示器。
利用多点触摸显示器,机器人因此可以以所有6个自由度同时地行进。利用单点触摸显示器,仅能顺序地使用所述行进功能。
根据本发明的装置与现有技术相比的特点尤其在于,硬件部件的数目被减少到绝对最小值。除了面向安全性的开关“紧急停止”和“同意”以外,所有操作功能都一致地以触摸软件来实现。不需要诸如薄膜按键、开关或信号灯之类的另外的电部件。由此,该系统是维护少的。
所实现的空间收益有利于大的舒适的触摸显示器。在触摸显示器上显示的虚拟操作元素和显示是针对工业应用提供的,并且被显示为高对比度和大的,使得实现可靠的操作。
根据该方法的另一优选实施方式规定:对触摸显示器的表面上的虚拟操作元素的触摸是通过确定触摸点的第一坐标来检测的;以及当触摸点的第一坐标在与触摸显示器的表面保持接触以后由于操作人员的人工动作而离开预先给定的坐标范围时,进行对虚拟操作元素的功能的触发。
在此,该人工动作可以通过操作人员的姿势来触发。该姿势可以通过将操作人员的手指在触摸显示器上拉入该预先给定的坐标范围或从其中拉出而执行。该姿势优选地在所定义的方向上执行,其中对手指运动的反应的灵敏度、姿势的强度可以被无级地调整。
此外,本发明涉及一种自主发明的用于用手持式设备操作工业机器人的方法。在此规定:对触摸功能的触发要求操作者在触摸显示器上的人工动作。为了防止由于无意的触摸导致不经意地触发虚拟操作元素,当在触摸触摸显示器以后执行特殊的“小姿势”、比如在所定义的方向上移开手指时才触发功能。因此得出“可靠触摸(reliable touch)”。
为了触发功能所需的姿势、即姿势的所需强度或类型可以无级地调整:所述姿势从简单的手指触摸、对触摸显示器的常用操作到所定义的姿势。通过触觉标记、比如显示器边缘中的指印槽的特殊成形,手指可以在指印槽的延续部中滑动到触摸显示器上并且在此触发功能。如果操作者意识到他已经发起了不想要的功能触发,则他可以通过将手指撤回原始位置来抑制该功能触发。
附图说明
本发明的另外的细节、优点和特征不仅从权利要求、由权利要求获得的特征-本身和/或特征的组合-得出,而且还从下面对可从附图中得知的实施例的描述中得出。
附图:
图1示出了用于操作工业机器人的编程手持式设备;
图2示出了编程手持式设备的与触摸显示器接界的显示器框架的片段;
图3示出了与触摸显示器接界的显示器框架的第二片段;
图4示出了与触摸显示器接界的显示器框架的第三片段;
图5示出了编程手持式设备的后视图;
图6示出了用于用操作设备操作工业机器人的示意性方法;
图7示出了操作设备的具有虚拟操作元素的操作界面的截取部分;
图8示出了操作设备的具有图像的操作界面的截取部分,所述图像具有图形信息;
图9示出了操作设备的具有不同行进面的操作界面;以及
图10示出了用于重新校准操作设备的坐标系的虚拟操作元素。
具体实施方式
图1示出了编程手持式设备形式的用于操作工业机器人12的装置10。为此,手持式设备10通过无线或有线通信连接14与机器人控制装置16连接。手持式设备10包括图形用户界面18,该图形用户界面18具有触敏显示器20-后面被称为触摸显示器。触摸显示器用于显示至少一个虚拟操作元素22.1...22.n、24.1...24.n,所述操作元素22.1...22.n、24.1...24.n表示用于控制、编程或操作工业机器人12的功能,其中在用操作人员的手指或指示笔触摸虚拟操作元素22.1...22.n、24.1...24.n时触发所分配的功能。
此外,手持式设备10包括用于控制图形用户界面18以及与机器人控制装置16通信的控制单元30、以及用于确定操作设备的位置和倾斜度的位置传感器。
具有触摸显示器20的图形用户界面18与控制单元一起布置在壳体32中。壳体32形成显示器框架34,该显示器框架34在边缘侧包围触摸显示器20。此外,在壳体32的上侧布置有面向安全性的“紧急停止”开关26。
虚拟操作元素22.1 ....22.n以及24.1 ...24.n沿着显示器框架的各一个与触摸显示器20接界的框架片段36、38布置。为了使得能够对虚拟操作元素22.1 ...22.n或24.1 ...24n进行盲操作,根据第一自主发明思想在框架片段36、38中分别布置触觉标记40.1 ...40.n或42.1 ...42.n。给每个触觉标记40.1 ...40.n、42.1...42.n都分配有虚拟操作元素22.1 ...22.n、24.1...24.n。
在此,尤其是虚拟操作元素22.1 ...22.n、24.1...24.n与触觉标记40.1 ...40.n或42.1 ...42.n直接接界,使得进行从触觉标记40.1 ...40.n或42.1 ...42.n到虚拟操作元素22.1 ...22.n、24.1...24.n的直接过渡。因此,沿着触觉标记40.1 ...40.n或42.1 ...42.n被引导的手指在一定程度上被连续地引导到虚拟操作元素22.1 ...22.n、24.1...24.n。由此可以避免或最小化误操作:首先,借助于触觉标记触摸出虚拟操作元素的位置,并且接着通过触摸该虚拟操作元素来触发功能。另外不必需要特殊地构造触摸屏、即显示器20。尤其是与现有技术不同的是,不需要将特殊的叠加材料安装到显示器上,否则由此出现透明度损失。
触觉标记40.1 ...40.n或42.1 ...42.n形成一种如下的引导:通过所述引导将操作人员的手指引导到所分配的虚拟操作元素22.1 ...22.n、24.1...24.n。
图2示出了操作元素22.1 ...22.n和分配给所述操作元素的触觉标记40.1 ...40.n的扩大图示。
通过沿着具有触觉标记40.1 ...40.n、42.1 ...42.n的框架片段36、38布置虚拟操作元素22.1 ...22. n或24.1 ...24.n保证了对虚拟操作元素的安全操作。在此,阶梯式(abgesetzt)和特殊成形(ausgeprägt)的框架片段36、36用于触摸显示器20上的触觉定向。
在图2中所示的实施例中,触觉标记40.1 ...40.n、42.1...42.n 被构造成指印槽,所述指印槽被成形为使得其可以用手指被可靠地触摸出,并且保证将手指从框架片段36、38向所分配的虚拟操作元素22.1 ...22.n或24.1 ...24.n方向的引导。
另外,设置有触觉标记43.1 ...43.n,所述触觉标记43.1 ...43.n被构造成凸块(Noppe),并且布置在显示器框架34的表面上。
由此一方面补偿了触摸显示器的原理上缺失的触感,并且另一方面操作者可以将视觉注意力瞄准工业机器人和工艺,而不必查看手持式操作设备,由此总体上提高了操作安全性。实现了“盲操作”。
图3作为显示器框架34的与触摸显示器20接界的框架角46示出了触觉标记44的一个实施方式。通过显示器框架34的框架角46,定义了触摸显示器20上的明确的、精确的位置。在所述选择的位置处在触摸显示器20上设置有滑动元素形式的虚拟操作元素48,该虚拟操作元素48例如以线性方向沿着框架角46的显示器侧框架片段50或另一框架片段52运动。根据所选择的运动方向,虚拟滑动元素48的显示和功能改变。
图4示出了触觉标记54的另一实施方式,所述触觉标记54被构造成显示器框架34的显示器侧框架片段56。沿着框架片段56,操作人员的手指可以执行移位运动,通过该移位运动可以调整沿着框架片段56延伸的虚拟滑动元素60。
图1和2中所示并被构造成指印槽的触觉标记40.1 ...40.n、42.1 ...42.n形成显示器边缘上的具有高分辨率的触觉定向,例如以用于触摸出虚拟操作元素22.1 ...22.n、24.1...24.n的位置,因为这些操作元素布置在紧靠指印槽之处。给每个指印槽都可以明确地分配虚拟操作元素。指印槽22.1 ....22.n、24.1...24.n被实施为半开放的,并且朝着触摸显示器20的方向打开,使得手指可以如在沟槽内引导那样滑动到触摸显示器20上,并且在那里触发虚拟操作元素22.1 ...22.n、24.1...24.n的功能。
根据自主的发明思想规定:触发分配给虚拟操作元素 22.1...22.n、24.1...24.n的功能需要操作人员在触摸显示器20上的人工动作。为了防止由于无意的触摸导致不经意地触发虚拟操作元素22.1...22.n、24.1...24.n,当在触摸触摸显示器20以后执行预定义的姿势、比如在所定义的方向上移开手指时才触发功能。对手指运动的反应的灵敏度可以通过调节器无级地调整。因此,为了触发功能所需的姿势的强度可以无级地调整。所述姿势从简单的手指触摸、对触摸显示器20的常用操作到特殊的小姿势。通过显示器框架的框架片段36、38中的指印槽22.1...22.n, 24.1...24.n的特殊成形,手指可以在指印槽的延续部中滑动到触摸显示器上并且在此触发功能。如果操作者意识到他已经发起了不想要的功能触发,则他可以通过将手指撤回原始位置来抑制该功能触发。
一旦操作人员用手指例如从指印槽40.n出发触摸到虚拟操作元素22.n,则通过控制单元30来检测触摸点在触摸显示器上的相应坐标。根据预设的姿势的定义,相关功能在操作人员的手指离开预先给定的坐标范围或者达到预定义的坐标范围时才被触发。如果虚拟操作元素被偏移(ausgelenkt)并因此做好触发准备(触发在松开手指时进行),则这由操作元素处的光学标志、例如由彩色边框来表征。如果通过将操作元素再次撤回到原点来取消不经意的偏移,则这通过该光学标志的消失来指示。
根据本发明的另一自主发明实施方式,将例如被放置在显示器框架34的框架角46中的虚拟操作元素48与特殊的姿势控制装置相关联。这些虚拟操作元素例如可以沿着框架片段50、52在两个方向62、64上移位,这如图3中所示。给每个运动方向62、64都分配有可选的功能。因此例如可能的是,在沿着框架片段52运动时激活功能“A”并且在沿着框架片段50运动时激活功能“B”。在此,分析偏移的程度,其中设置有两种分析方案。
根据第一分析方案,偏移的程度作为诸如速度预先给定值之类的模拟参数被立即转交给功能。如果手指在偏移位置处被松开,则该模拟值立即跳转为零。如果手指被滑动地再次引导到起始位置66,则参数类似于偏移再次置回为零。该功能例如可以用于在正或负方向上启动运动程序并且在此无级地改变速度。
根据第二分析方案规定:在超过可定义的阈值时触发开关功能。对该功能的激活在手指在偏移位置处离开触摸显示器20时才进行。但是如果手指在框架片段50、52上没有松开的情况下就再次被引导回零位置,则防止该功能触发。
本发明的另一自主发明思想涉及所谓的超驰功能(速度调节器)的实现,所述超驰功能通过图4中所示的虚拟滑动操作元素60来实现。为此,滑动操作元素60被放置为接界地处于框架片段56附近并关于触觉标记43居中。由此滑动操作元素60的位置可以被“触摸出”,并且通过手指沿着框架片段56的移位来调整。通过框架片段38、56的触觉标记42.1...42.n、43、54附加地支持盲调整。所谓的超驰(Override)可以在两个触觉标记之间移位所定义的数值、例如20%时来调整。借助于布置在边缘侧的滑动操作元素60,也可以在盲操作中调整其它模拟参量、比如工艺参数。
另一自主发明特征涉及触觉标记22.1...22.n、24.1...24.n关于触摸显示器20的纵轴线和/或横轴线的对称布置。在此,纵中轴线是居中地并平行于显示器框架34的纵向框架脚延伸的直线。
横中轴线与之垂直地延伸、即居中地在显示器框架34的较短横向脚之间并与之平行地延伸。由此保证:手持式设备10既适用于右手操作又适用于左手操作。这尤其是通过图形用户界面的连贯无按键设计以及通过触觉标记的对称布置而实现的。因此,图形用户界面可以通过简单的设置功能从右手操作切换到左手操作。在此,虚拟操作元素22.1...22.n、24.1...24.n的所有位置都在触摸显示器20的纵轴线处被镜像化。
图5示出了壳体32的背侧66。在背侧66并且与纵轴线68对称地布置持握条70、72,在所述持握条70、72处可以用一只手或两只手安全地持握手持式设备10。持握条70、72可以具有与柱体片段相对应的外部几何形状,其中持握条70、72应当从外边缘、即从显示器框架34的纵向边缘出发。在每个持握条70、72中分别集成有同意开关或同意按键74、76,其中为了工业机器人的行进启用(Verfahrfreigabe)必须选择性地操控所述同意开关或同意按键之一。
通过该对称布置,防止了手疲劳,因为同意开关74、76可以交替地用左手或右手来操控。在手疲劳的情况下,可以分别另一只手履行所述同意,而不会由此中断机器人运动的行进启用。
本发明的另一自主发明实施方式的特点在于,用于选择机器人运行方式的“设定”(Einrichten)、“自动”、“自动测试”的迄今为止常见的钥匙开关(Schlüsselschalter)被软件功能替代。其特点尤其在于安全技术中的数据处理。触摸显示器20在原理上是单通道的,并且因此是不安全的设备。借助于集成到根据图6的机器人控制装置16中的安全控制装置78(在后面被称为安全控制器78),保证了软件的安全功能。安全控制器78在欧洲专利申请1 035 953中予以了描述,其公开内容完整地结合到本申请中。但是根据本发明的教导不限于根据欧洲专利申请1 035 953的安全控制装置。
在触摸显示器20上提供了虚拟操作界面80、82、84形式的诸如软按键之类的与操作界面18不同的运行方式选项以供选择,这如在图7中所示。通过触摸这些软按键80、82、84之一,操作者选择新的运行方式“X”。由操作界面的软件将新选择的运行方式作为指令“请求新运行方式X”发送给安全控制器78。安全控制器78从其存储器86中取出与该运行方式相对应的图形信息、比如图标88,并且将其放置到较大图像90中的随机确定的显示位置处。图标88在图像90中的位置仅为安全控制器78所知。该图像90作为诸如位图之类的图像文件被发送到操作界面18,并且在那里被显示在所定义的位置处,这如在图8中所示。
操作者必须通过将指尖放到所示图标88上来确认由安全控制器78所识别的运行方式。触摸显示器上的触摸位置是以触摸坐标形式被检测的并且被发送回安全控制器78。该安全控制器78将触摸位置与图标88在图像99中的仅为该安全控制器所知的随机显示位置相比较。该比较在考虑到图像90在触摸显示器20上的已知位置的情况下进行。如果触摸位置(在所定义的公差内)等于显示位置,则执行所发起的运行方式切换。否则运行方式切换被丢弃并且在先运行方式保留。
通过该方法,产生了操作者与安全控制器78之间的安全的作用循环(Wirkkreis):
-操作者选择运行方式;
-安全控制器78在操作设备10上显示所识别的运行方式;
-操作者向安全控制器78确认所显示的运行方式的正确性;
-安全控制器78调整新的运行方式。
可替代于上述方法,安全控制器78可以显示图标化的数字码,该数字码必须被操作者识别并且作为数字通过所显示的键盘被输入。键盘的所显示的数字的触摸位置被发送给安全控制器,该安全控制器借此检查输入的正确性。
图标80、82、84以安全技术被存储在安全控制器78中。
可选地,用于运行方式切换的请求也可以通过硬件钥匙开关到达。
钥匙到运行方式选择开关中的插入/抽出是通过登入/登出方法借助于PIN来模拟的。
根据自主发明的方法,在触摸触摸显示器20以后或多或少地“拉动”手指的可能性被用于为工业机器人12生成模拟行进预先给定值。因此,根据图6的工业机器人12可以以6个自由度、例如X、Y、Z和工具91的定向A、B、C来灵敏地控制。
利用操作人员的手指的偏移可能的是,与在笔记本计算机的情况下通过触摸板的光标控制类似地向工业机器人12提供位置预先给定值。在此,工业机器人12可以同时在两个坐标方向、例如笛卡尔坐标系的X和Y上行进。
在另一模式下,通过偏移手指来为工业机器人12生成速度预先给定值:手指被偏移得越多,则机器人进行地越快。
在触摸图9所示的所选行进面100以后,用户激活定位在触摸点的区域中的虚拟操作元素92。接着,虚拟操作元素92也可以借助于手指经过界限94被拉动到整个触摸显示器20上,并且因此生成行进预先给定值。在松开以后,工业机器人12立即停下来。然后,为了重新的行进预先给定值必须再次命中所期望的面92。
对手指运动的反应的灵敏度可以通过虚拟操作元素96、比如滑动调节器(超驰)针对位置预先给定值以及针对速度预先给定值来无级地调整。
针对2D行进的敏感面100被放置在显示器边缘36附近,使得该敏感面100在与显示器边缘相距明显的距离处仍然可以用手指(例如利用伸展的大拇指)被良好地达到。
为了还能够在第三坐标方向(例如笛卡尔坐标系的Z坐标)上行进,将具有虚拟操作元素98的大致手指宽的域101直接侧面地放置在显示器边缘36处,使得该域101可以用手指“触摸出”,其方式是沿着显示器边缘36引导手指、尤其是大拇指。该域生成例如Z方向上的一维行进预先给定值。
通过该特殊布置,操作者可以明显地区分并盲地到达两个行进域100、101:直接处于显示器边缘36处的域101激活第三维(Z维)的行进预先给定值,其中手指与壳体边缘具有可触摸到的接触。大致手指或大拇指宽地放置在显示器边缘36附近的域100激活两个维(X-Y维)上的同时行进预先给定值。
工业机器人12具有6个自由度。为了以所述三个角度(A、B、C)调整工具91的定向,使用如上所述的相同方法。为此,显示器被划分成两个区。在例如上面的区中存在针对维1-3(例如X、Y、Z)的行进域100、101。在例如下面的区中存在针对维4-6、例如A、B、C的行进域102、103。通过以凸块108、110、112形式的触觉标记,两个域100、101和102、103可以盲地被区分。
在触摸行进面102以后,用户激活定位在触摸点的区域中的虚拟操作元素104。接着,可以在触摸显示器上将虚拟操作元素104移位,以便生成行进预先给定值。
利用多点触摸显示器20,工业机器人12因此可以以所有6个自由度同时地行进。利用单点触摸显示器,仅能顺序地使用所述行进功能。
在借助于之前所阐述的触摸运动功能行进时,触摸显示器理想地共线地定向到工业机器人的坐标系。在这种情况下,机器人运动可以最优地与触摸显示器上的手指运动一致。
但是如果操作员与操作设备10一起向侧面旋转开,则该一致不再存在。于是,机器人的运动方向不再与手指的运动方向一致。
触摸显示器的坐标系在这种情况下必须被再次重新校准到机器人的坐标系。
根据本发明的一个自主发明的实施方式,为此在触摸显示器20上设置有具有指针116的专门的虚拟操作元素114。
该操作元素114必须首先被用手指触摸,并且接着手指必须在与触摸显示器持久地接触的情况下与机器人坐标系的所选的方向、例如X方向平行地被拉动。为了可视地支持操作者,机器人坐标系的所选方向、例如X方向可以在机器人的工作区中例如通过地面上的标记来表征。这样的标记示例性地在图6中用“200”来表征。在将手指从触摸显示器20提离以后,第一触摸点与松开点之间的矢量方向被计算出,并且根据所确定的矢量方向在显示器上相应地显示指针116。
在此应用的重新校准方法基于如下假设:在校准的基本状态下,例如确定显示器坐标系的X轴的例如较长显示器缘被定向为平行于机器人坐标系的主轴线、例如X轴。在所述“排列好”(eingeordnet)的状态下,在触摸控制的手动方法的情况下,机器人将正确地遵循由手指运动预先给定的方向。
在需要重新校准的情况下,触摸显示器被旋转一定角度到机器人坐标系的所选方向、例如X方向,并且指针166根据所述方法为了人工指针调整而被定向为平行于机器人坐标系的所选方向、例如X方向,并且因此与显示器坐标系的X轴成所寻求的一定角度。指针方向与显示器坐标系的X轴方向之间的角度被计算出并且被录入到旋转矩阵中,至此以后手指在触摸显示器上的所有运动在其作为行进预先给定值被发送给机器人控制装置以前都由所述旋转矩阵来变换。在重新校准以后,两个坐标系被再次调整为彼此共线、在一定程度上被排列好。
该重新校准方法包括手指运动在内仅仅持续几个若干分之一秒,并且因此是最快的人工重新校准方法之一。根本不需要诸如磁强计或陀螺仪之类的附加传感器,由此该方法可以低成本地在每个操作设备上实现。
该校准方法也可以用于任何其它坐标系、比如可自由定义的坐标系。

Claims (9)

1.一种用于借助于操作设备(10)操作工业机器人(12)的方法,该方法包括以下方法步骤:触摸图形用户界面(18)的被框架(34)包围的触敏显示器(20)上的虚拟操作元素(92,98,104,106),其中在触摸虚拟操作元素(92,98,104,106)时触发分配给所述操作元素的功能,
其特征在于,
选择性地检测操作人员的手指在触摸触摸显示器(20)的被构造成所定义的行进面的虚拟操作元素(92,98,104,106)时偏移的速度或者路程;从所述偏移的速度或路程中生成控制信号,所述控制信号被用于移动工业机器人(12)的速度预先给定值或位置预先给定值;以及在与充当触觉标记的框架片段(36)相距一定距离处定义针对所述工业机器人的二维位置预先给定值的第一行进面(100),并且在所述距离以内定义针对所述工业机器人的第三位置预先给定值的第二行进面(101)。
2.根据权利要求1所述的方法,
其特征在于,
手指在所定义的行进面(100,102)上的或被手指移动的虚拟操作元素的偏移与工业机器人(12)的行进速度和/或位置改变成比例。
3.根据权利要求1或2所述的方法,
其特征在于,
手指在触摸所定义的行进面(100,102)以后在超过界限(94)的情况下被拉动到整个触摸显示器(20)上,由此生成位置预先给定值或行进预先给定值。
4.根据前述权利要求至少之一所述的方法,
其特征在于,
当操作人员将其手指从触摸显示器(20)提离时,工业机器人(12)达到停止状态。
5.根据前述权利要求至少之一所述的方法,
其特征在于,
对手指运动的反应的灵敏度通过虚拟操作元素(96)、比如滑动调节器针对位置预先给定值和/或针对速度预先给定值来无级地调整。
6.根据前述权利要求至少之一所述的方法,
其特征在于,
针对二维位置预先给定值(X和Y坐标或A、B方向)的所定义的行进面(100,102)在触摸显示器(20)上被定位为与显示器边缘(36)相距一定距离,使得行进面(100,102)能够用诸如伸展的大拇指之类的手指来操作。
7.根据前述权利要求至少之一所述的方法,
其特征在于,
在第三坐标方向(Z坐标或C方向)上控制工业机器人(12)时,操作人员的诸如大拇指之类的手指被引导得经过显示器边缘(36)和/或布置在显示器边缘上的触觉标记(41.1...41.n;108,110,112)。
8.根据前述权利要求至少之一所述的方法,
其特征在于,
作为触摸显示器(20)使用多点触摸显示器或单点触摸显示器。
9.根据前述权利要求至少之一所述的方法,
其特征在于,
工业机器人(12)能够借助于多点触摸显示器(20)以6个自由度行进,其中对X、Y和Z方向上的行进路径的调整在所述触摸显示器的第一区(100)中进行并且对工具(91)的定向(A,B,C)的调整在所述触摸显示器的第二区(102)中进行。
CN201380017822.4A 2012-04-05 2013-04-05 用于操作工业机器人的方法 Active CN104364723B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102012103031A DE102012103031A1 (de) 2012-04-05 2012-04-05 Verfahren zur Bedienung eines Industrieroboters
DE102012103031.6 2012-04-05
PCT/EP2013/057187 WO2013150134A1 (de) 2012-04-05 2013-04-05 Verfahren zur bedienung eines industrieroboters

Publications (2)

Publication Number Publication Date
CN104364723A true CN104364723A (zh) 2015-02-18
CN104364723B CN104364723B (zh) 2017-07-07

Family

ID=48087567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380017822.4A Active CN104364723B (zh) 2012-04-05 2013-04-05 用于操作工业机器人的方法

Country Status (7)

Country Link
US (1) US9387587B2 (zh)
EP (1) EP2834715B1 (zh)
KR (1) KR101706927B1 (zh)
CN (1) CN104364723B (zh)
DE (1) DE102012103031A1 (zh)
DK (1) DK2834715T3 (zh)
WO (1) WO2013150134A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109822565A (zh) * 2019-01-15 2019-05-31 北京镁伽机器人科技有限公司 机器人控制方法、系统及存储介质
CN114051442A (zh) * 2019-06-26 2022-02-15 富兰卡爱米卡股份有限公司 用于在机器人操纵器上预设输入值的方法
CN116350113A (zh) * 2023-05-31 2023-06-30 科沃斯家用机器人有限公司 机器人控制方法、系统及客户端设备

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6631279B2 (ja) * 2015-03-19 2020-01-15 株式会社デンソーウェーブ ロボット操作装置、ロボット操作プログラム
US10048851B2 (en) * 2015-03-19 2018-08-14 Denso Wave Incorporated Apparatus for operating robots
JP6657859B2 (ja) * 2015-11-30 2020-03-04 株式会社デンソーウェーブ ロボット安全システム
DE102016103055A1 (de) * 2015-12-22 2017-06-22 Konrad Gmbh Verfahren zum Bearbeiten eines Werkstücks
DE102016004630A1 (de) * 2016-04-16 2017-10-19 J.G. WEISSER SöHNE GMBH & CO. KG Werkzeugmaschine sowie Verwendung eines berührempfindlichen Displays zur Ansteuerung eines Maschinenteils einer Werkzeugmaschine
KR101898092B1 (ko) 2016-06-17 2018-09-12 주식회사 뉴로메카 다자유도 로봇의 말단 제어를 위한 콘트롤러, 상기 콘트롤러를 이용한 다자유도 로봇 제어방법 및 이에 의해 동작하는 로봇
WO2017217610A1 (ko) * 2016-06-17 2017-12-21 주식회사 뉴로메카 다자유도 로봇의 말단 제어를 위한 콘트롤러, 상기 콘트롤러를 이용한 다자유도 로봇 제어방법 및 이에 의해 동작하는 로봇
EP3512667A1 (en) * 2016-09-13 2019-07-24 ABB Schweiz AG Method of programming an industrial robot
DE102016122033B4 (de) * 2016-11-16 2019-05-29 Abb Schweiz Ag Anordnung mit einem Eingabegerät und einem Zustimmer sowie Verfahren
US10678338B2 (en) 2017-06-09 2020-06-09 At&T Intellectual Property I, L.P. Determining and evaluating data representing an action to be performed by a robot
CN110340866A (zh) * 2018-04-03 2019-10-18 台达电子工业股份有限公司 机械手臂的作动教导方法及其适用的手势教导装置
JP7379860B2 (ja) * 2019-04-25 2023-11-15 セイコーエプソン株式会社 教示装置およびロボットシステム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5091855A (en) * 1989-04-17 1992-02-25 Kabushiki Kaisha Toyoda Jidoshokki Seisakusho Operation control system for automated guide vehicles
JP3191074B2 (ja) * 1993-09-22 2001-07-23 キヤノン株式会社 一成分現像剤及び画像形成方法
JP4014662B2 (ja) * 1995-09-18 2007-11-28 ファナック株式会社 ロボット教示操作盤
EP0864401B1 (en) * 1996-07-24 2006-02-15 Fanuc Ltd Jog feeding method for robots
JP3901772B2 (ja) * 1996-11-13 2007-04-04 三菱重工業株式会社 ロボットの教示操作方法
DE59812696D1 (de) 1997-12-06 2005-05-04 Elan Schaltelemente Gmbh & Co Verfahren zur Überwachung einer Bremseinrichtung, insbesondere eines Handhabungsgerätes, sowie Überwachungs- und Steuergerät
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
EP1717681B1 (en) * 1998-01-26 2015-04-29 Apple Inc. Method for integrating manual input
JP3068546B2 (ja) * 1998-01-28 2000-07-24 山形日本電気株式会社 ロボットの制御方法及びその装置
DE10303793A1 (de) * 2003-01-31 2004-08-12 Robert Bosch Gmbh Bedieneinheit
JP3708097B2 (ja) * 2003-10-08 2005-10-19 ファナック株式会社 ロボットの手動送り装置
US7181314B2 (en) * 2003-11-24 2007-02-20 Abb Research Ltd. Industrial robot with controlled flexibility and simulated force for automated assembly
US7346478B2 (en) * 2004-09-21 2008-03-18 Ford Motor Company Method of embedding tooling control data within mechanical fixture design to enable programmable logic control verification simulation
PL1996376T3 (pl) * 2006-03-03 2016-12-30 Programowalny robot i interfejs użytkownika
US8970503B2 (en) * 2007-01-05 2015-03-03 Apple Inc. Gestures for devices having one or more touch sensitive surfaces
US8738181B2 (en) * 2007-04-16 2014-05-27 Alexander Greer Methods, devices, and systems for automated movements involving medical robots
US8049740B2 (en) * 2007-10-26 2011-11-01 Tyco Electronics Corporation Method and apparatus for laplace constrained touchscreen calibration
US8428781B2 (en) * 2008-11-17 2013-04-23 Energid Technologies, Inc. Systems and methods of coordination control for robot manipulation
US8325181B1 (en) * 2009-04-01 2012-12-04 Perceptive Pixel Inc. Constraining motion in 2D and 3D manipulation
AT509927B1 (de) * 2010-06-08 2015-05-15 Keba Ag Verfahren zum programmieren oder vorgeben von bewegungen oder abläufen eines industrieroboters
DE102010025781B4 (de) 2010-07-01 2022-09-22 Kuka Roboter Gmbh Tragbare Sicherheitseingabeeinrichtung für eine Robotersteuerung
DE102010039540C5 (de) 2010-08-19 2020-01-02 Kuka Deutschland Gmbh Handbediengerät zum manuellen Bewegen eines Roboterarms
US9013430B2 (en) * 2010-08-20 2015-04-21 University Of Massachusetts Hand and finger registration for control applications
US9415509B2 (en) * 2011-11-04 2016-08-16 Fanuc America Corporation Robot teach device with 3-D display

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109822565A (zh) * 2019-01-15 2019-05-31 北京镁伽机器人科技有限公司 机器人控制方法、系统及存储介质
CN114051442A (zh) * 2019-06-26 2022-02-15 富兰卡爱米卡股份有限公司 用于在机器人操纵器上预设输入值的方法
CN116350113A (zh) * 2023-05-31 2023-06-30 科沃斯家用机器人有限公司 机器人控制方法、系统及客户端设备
CN116350113B (zh) * 2023-05-31 2023-08-08 科沃斯家用机器人有限公司 机器人控制方法、系统及客户端设备

Also Published As

Publication number Publication date
EP2834715B1 (de) 2016-05-25
KR101706927B1 (ko) 2017-02-15
US9387587B2 (en) 2016-07-12
DE102012103031A1 (de) 2013-10-10
US20150081097A1 (en) 2015-03-19
EP2834715A1 (de) 2015-02-11
KR20140148471A (ko) 2014-12-31
WO2013150134A1 (de) 2013-10-10
DK2834715T3 (en) 2016-09-05
CN104364723B (zh) 2017-07-07

Similar Documents

Publication Publication Date Title
CN104302452B (zh) 用于操作工业机器人的方法
CN104364723A (zh) 用于操作工业机器人的方法
CN104379307B (zh) 用于操作工业机器人的方法
US9586324B2 (en) Method for operating an industrial robot, and a secure monitoring device for carrying out said method
DK2977841T3 (en) Procedure for operating an industrial robot
JP5515067B2 (ja) 操作入力装置および操作判定方法並びにプログラム
KR20140047515A (ko) 데이터 입력을 위한 전자 장치 및 그 운용 방법
CN103823630A (zh) 一种虚拟鼠标
EP3371686B1 (en) Improved method for selecting an element of a graphical user interface
CN110427139A (zh) 文本处理方法及装置、计算机存储介质、电子设备
CN103677616B (zh) 一种电子装置的操作方法
KR102169236B1 (ko) 터치스크린 장치 및 그 제어방법 그리고 디스플레이 장치
EP3371685B1 (en) Improved method for selecting an element of a graphical user interface
US10921978B2 (en) Shaft feeder
Brookes et al. Gesture-based control of ImageJ using Leap sensors
KR20230049520A (ko) 가상 현실 공간에 대한 제어를 수행하는 전자 시스템, 전자 장치 및 그 동작 방법
US20160253038A1 (en) Method and System for Precise Object Control on Touch Screen Device
JP2015211856A (ja) ゲーム装置及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant