CN111770815B - 对象控制方法及对象控制装置 - Google Patents

对象控制方法及对象控制装置 Download PDF

Info

Publication number
CN111770815B
CN111770815B CN201980014644.7A CN201980014644A CN111770815B CN 111770815 B CN111770815 B CN 111770815B CN 201980014644 A CN201980014644 A CN 201980014644A CN 111770815 B CN111770815 B CN 111770815B
Authority
CN
China
Prior art keywords
user
hands
variation amount
reference pattern
controllers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980014644.7A
Other languages
English (en)
Other versions
CN111770815A (zh
Inventor
裵锡亨
金容宽
李濬协
安祥均
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Advanced Institute of Science and Technology KAIST
Original Assignee
Korea Advanced Institute of Science and Technology KAIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Advanced Institute of Science and Technology KAIST filed Critical Korea Advanced Institute of Science and Technology KAIST
Priority claimed from PCT/KR2019/000817 external-priority patent/WO2019143204A1/ko
Publication of CN111770815A publication Critical patent/CN111770815A/zh
Application granted granted Critical
Publication of CN111770815B publication Critical patent/CN111770815B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/02—Hand grip control means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1682—Dual arm manipulator; Coordination of several manipulators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Abstract

本发明公开一种对象控制方法及对象控制装置。所公开的对象控制方法，感应用户生成的激活/禁用控制命令；在感应到所述激活/禁用控制命令的状态下，感应包括移动变化量命令及旋转变化量命令在内的用户命令；基于所述移动变化量命令及所述旋转变化量命令来确定用户输入；以及根据所述用户输入来控制对象。

Description

对象控制方法及对象控制装置
技术领域
以下说明涉及对象控制方法及装置，具体地，涉及由一个或两个控制器确定用户输入的控制方法及装置，以及由单手或双手确定用户输入来控制对象的方法及装置。
背景技术
工业机器人与工人相比可以更快速、更精细地完成重复工作，是现代产业现场中不可或缺的生产工具。其中，合作机器人强调工人与机器人的有机合作，是未来第四产业智能生产概念中的核心要素。通过将灵活应对多种状况的工人的判断力与机器人的高效性和精密性结合，对于过去无法适用机器人的各种产业现场，预计也可以大大提高生产效率。
控制合作机器人的方法有两种。第一种方法是操作员直接对机器人的机体施力，从而指示/记录运动。但是，这种方法需要操作员施加相当大的外力来操作机器人，而且操作员必须在所有方向上近距离接触机器人，因此存在难以适应多种安装环境的问题。
第二种方法是操作员通过独立连接的终端机按钮指示/记录机器人运动。但在这种方法中，运动方向定义在以机器人为基准固定的绝对坐标系上，因此操作员很容易混淆自己的位置/方向和机器人的运动方向，而且由于一次只能控制一个移动方向/轴，就连很简单的操作也要反复多次，存在降低操作性能及安全性的问题。
因此需要可以解决这些问题的对象控制方法。
发明内容
发明要解决的技术问题
本发明可以使用户在任何位置都可以按照自身所处位置的视角控制对象。可以在将视线保持在操作对象上的状态下，即刻确认对象动作的同时进行操作/应对。
本发明可以一次性完成复杂运动，与现有方法相比可以缩短作业时间。由于操作方法与实际物体(杆、平板)的运动方式相同，因此非专业用户通过短期学习就可以使用。
本发明利用包括长度可变部件及长度固定部件的支撑部件，可以根据作业状况即时、动态调整操作的精密度及速度。
本发明通过利用单手或双手，可以克服人体手腕及胳膊关节有限的活动范围在更广范围进行操作，并且通过进一步利用支撑部件，相比手在空中运动能够更稳定地进行控制。
解决问题的技术方法
根据一实施例的一种对象控制方法，包括以下步骤：感应用户生成的激活/禁用控制命令；在感应到所述激活/禁用控制命令的状态下，感应包括移动变化量命令及旋转变化量命令在内的用户命令；基于所述移动变化量命令及所述旋转变化量命令来确定用户输入；以及根据所述用户输入来控制对象。
在根据一实施例的对象控制方法中，感应所述用户命令的步骤是感应根据所述用户的单手手势及双手手势中任一种生成的所述用户命令。
在根据一实施例的对象控制方法中，感应所述激活/禁用控制命令的步骤是通过感应预先规定的特定形状的手势来感应激活/禁用控制命令。
在根据一实施例的对象控制方法中，所述预先规定的特定手势是所述用户的手指中至少两根手指相接触的手势及所述用户握拳的手势中的任一个。
在根据一实施例的对象控制方法中，所述确定用户输入的步骤是以用户单手或双手生成的手势为基础来设定虚拟的参考图形，并根据所述设定的参考图形的移动变化量及旋转变化量来确定所述对象的移动量及旋转量。
在根据一实施例的对象控制方法中，所述虚拟的参考图形是固定在所述用户的单手手指中相互接触的两根手指的接触点的平面。
在根据一实施例的对象控制方法中，所述虚拟的参考图形是固定在所述用户的双手手指中每只手的手指相接触的接触点的平面。
在根据一实施例的对象控制方法中，所述虚拟的参考图形是以所述用户的单手为基准一次形成，并通过投影至垂直于所述对象的轴的平面二次形成的杆。
在根据一实施例的对象控制方法中，所述虚拟的参考图形是以所述用户的双手手指中每只手的手指相接触的接触点为基准一次形成，并投影至垂直于所述对象的轴的平面二次形成的杆。
在根据一实施例的对象控制方法中，所述确定用户输入的步骤是以所述用户的双手间距离为基础确定对应比，并将根据所述对应比的所述移动变化量及所述旋转变化量反映至所述用户输入。
在根据一实施例的对象控制方法中，所述用户的双手间距离越短，所述对应比越大。
在根据一实施例的对象控制方法中，感应所述用户命令的步骤是感应由所述用户的单手或双手握持并安装有信号发生开关的一个或两个控制器所生成的用户命令。
在根据一实施例的对象控制方法中，感应所述激活/禁用控制命令的步骤是通过感应所述控制器上安装的开关的开/关(ON/OFF)状态来感应所述激活/禁用控制命令。
在根据一实施例的对象控制方法中，所述确定用户输入的步骤是以所述一个或两个控制器为基准设定虚拟的参考图形，并根据所述设定的参考图形的移动变化量及旋转变化量来确定对象的移动量及旋转量。
在根据一实施例的对象控制方法中，所述虚拟的参考图形是固定在由所述用户单手握持的控制器的特定位置的平面。
在根据一实施例的对象控制方法中，所述虚拟的参考图形是固定在由所述用户双手握持的控制器的特定位置的平面。
在根据一实施例的对象控制方法中，所述虚拟的参考图形是在所述用户单手握持的控制器的长或宽方向上一次形成，并投影至垂直于所述对象的轴的平面上二次形成的杆。
在根据一实施例的对象控制方法中，所述虚拟的参考图形是贯通所述用户双手握持的控制器的特定位置一次形成，并投影至垂直于所述对象的轴的平面上二次形成的杆。
在根据一实施例的对象控制方法中，所述确定用户输入的步骤是以所述用户双手握持的控制器间距离为基础来确定对应比，并将根据所述对应比的所述移动变化量及所述旋转变化量反映至所述用户输入。
在根据一实施例的对象控制方法中，所述控制器间距离越短，所述对应比越大。
在根据一实施例的对象控制方法中，所述控制对象的步骤是控制所述对象的末端部或轴部。
在根据一实施例的对象控制方法中，所述控制对象的步骤是控制实体对象及虚拟现实(VR；Virtual Reality)或增强现实(AR；Augmented Reality)中的虚拟对象中的任一个。
根据一实施例的一种对象控制装置，包括：感应手段，其感应用户生成的激活/禁用控制命令、移动变化量命令及旋转变化量命令；以及处理器，其接收所述感应手段感应的信号来识别用户命令，并将对应于所识别的用户命令的控制信号适用于对象。
根据一实施例的对象控制装置，还包括命令传递手段，其由所述用户可握持的器具构成，用于将所述用户命令传递至所述感应手段。
根据一实施例的对象控制装置，所述用户命令传递手段包括控制器，所述控制器由所述用户单手握持并具有用于生成激活/禁用控制信号的开关。
根据一实施例的对象控制装置，还包括用于固定所述控制器的支撑部件。
根据一实施例的对象控制装置，所述支撑部件是具有弹力的长度可变部件及没有弹力的长度可变部件中的任一个。
根据一实施例的对象控制装置，所述用户命令传递手段包括两个控制器，所述用户每只手握持一个所述控制器，至少一个控制器上安装有用于生成激活/禁用控制信号的开关。
根据一实施例的对象控制装置，还包括用于物理连接所述两个控制器的支撑部件。
根据一实施例的对象控制装置，所述支撑部件是具有弹力的长度可变部件或没有弹力的长度可变部件中的任一个。
发明的效果
根据一实施例，利用一个或两个控制器或通过单手或双手来控制对象，可以在三维空间上有效执行移动或操作物体等复杂作业，由此，在多种产业领域的作业环境中，即使不专业的机器人用户也可以轻松、快速地控制对象。此外，控制器或用户手部连接在支撑部件上，可以实现稳定操作，并且可以调节精密度、速度。
根据一实施例，通过具有线段/基准平面模型、利用支撑部件的稳定性，以及握持方法等特点的单手或双手的互动，可以克服人体结构上的局限，保障更高的精密度及更广的作业范围。
附图说明
图1是显示根据一实施例的对象控制系统的附图。
图2a及图2b是说明根据一实施例的对象控制形式的附图。
图3是说明根据一实施例的对象控制的激活过程的附图。
图4是说明根据一实施例的选择待控制对象的轴部的过程的附图。
图5至图8是说明根据一实施例的旋转对象的轴部的过程的附图。
图9是说明根据一实施例的对象控制的激活过程的附图。
图10是说明根据一实施例的选择待控制的对象末端部的过程的附图。
图11至图13是说明根据一实施例的控制对象末端部运动的过程的附图。
图14a及图14b是说明根据一实施例的确定物体末端部移动量及旋转量的过程的附图。
图15是说明根据一实施例的以可视方式提供待控制对象的预期动作的过程的附图。
图16至图20是显示根据一实施例的利用一个或两个控制器来控制对象的末端部的示例图。
图21至图25是显示根据一实施例的使用一个或两个控制器来控制对象的轴部的示例图。
图26至图30是显示根据一实施例的基于单手或双手确定的用户输入来控制对象的末端部的示例图。
图31至图35是显示根据一实施例的基于单手或双手确定的用户输入来控制对象的轴部的示例图。
图36是显示根据一实施例的对象控制方法的附图。
图37是显示根据一实施例的对象控制装置的附图。
具体实施方式
对于实施例的特定的结构性或功能性说明仅用于示例，也可变更为各种形式实施。由此，实施例不限于特定形式，还可包括本发明的思想及技术范围内的所有变更、其等同物乃至其替代物。
第一或第二等术语能够用于说明多种构成要素，然而，这些术语仅用于将一个构成要素区别于其他构成要素。例如，第一构成要素能够被命名为第二构成要素，类似地，第二构成要素同样能够被命名为第一构成要素。
当说明一个构成要素“连接”另一个构成要素时，能够是直接连接或接触其他构成要素，然而，也能够理解为在它们之间存在其他构成要素。
在内容中没有特别说明的情况下，单数表达包括复数含义。在本说明书中，“包括”或者“具有”等术语用于表达存在说明书中所记载的特征、数字、步骤、操作、构成要素、配件或其组合，并不排除还具有一个或一个以上其他特征、数字、步骤、操作、构成要素、配件或其组合或附加功能。
在没有其他定义的情况下，包括技术或者科学术语在内的本文使用的全部术语，都具有本领域普通技术人员所理解的通常含义。通常使用的如词典定义的术语，应理解为相关技术内容中的含义，在本说明书中没有明确定义的情况下，不能解释为理想化或过于形式化的含义。
下面，将参照附图进行详细说明。本说明书提及的特定结构乃至功能性说明仅用于说明目的，不能解释为实施例的范围仅限于本所明书中说明的内容。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。此外，各附图中相同的附图标记表示相同的部件，省略其公知的功能及构造。
图1是显示根据一实施例的对象控制系统的附图。
参照图1，根据一实施例的对象控制系统包括：对象110、控制器120、传感器130。
根据一实施例，对象(110)是指被控制的对象，例如，可包括用户要控制的远程对象，或者包括在虚拟现实(VR；Virtual Reality)或增强现实(AR；Augmented Reality)中的虚拟对象。
在此，远程对象的非限制性示例包括工业机器人(例如，合作机器人(collaborative robot))、无人驾驶机(drone)及安装在无人驾驶机上的照相机等多种现实世界的对象。如图1所示，对象110包括一个以上的轴部和末端部。对象110基于一个以上的轴部的旋转和末端部的移动/旋转进行动作。
根据一实施例的虚拟对象可以是包括在用户所体验的虚拟现实或增强现实中的对象。例如，虚拟对象可以是在游戏虚拟世界中用户所要控制的对象。
根据一实施例，控制器120可由支撑部件连接。在此，支撑部件可包括：具有弹力的长度可变部件、没有弹力的长度可变部件及长度固定部件。在此，具有弹力的长度可变部件可以包括橡胶带、弹簧、材料本身不具备伸缩性或弹力，但通过气压或机械装置设计而具有弹力/复原力的机械联动装置(mechanical linkage)、多节部件等装置。没有弹力的长度可变部件包括，不具备弹力/复原力的机械联动装置、多节部件等装置。长度固定部件包括杆、电缆等。
用户可用双手握持控制器120。可用支撑部件连接控制器120，由此，可向握有该控制器120的双手引导张力，并通过该张力来调节双手操作的稳定性、精密性、速度。换言之，通过在控制器120之间连接的支撑部件，相比在空中运动手可以更稳定地控制对象。控制器120包括一个以上的按钮，并通过选择按钮将提前设定的用户输入传达到对象控制系统。
根据一实施例，传感器130是追踪握持在双手的控制器120的三维位置的装置，例如可以包括视觉传感器。通过传感器130感应用户双手在三维空间的位置，将基于双手间相互作用的用户输入被传达到对象控制系统。
根据另一实施例，可以不用额外的控制器120，通过传感器130追踪用户的双手位置来确定用户输入。此时仍可以具有连接用户双手的支撑部件，通过这些支撑部件，可以相比在空中运动手更加稳定地、精密地、迅速地进行调节。此外，传感器130感应用户的握拳或伸开等手势变化来确定与是否选择控制器120中按钮相对应的用户输入。
图2a及图2b是说明根据一实施例的对象控制形式的附图。
参照图2a，根据一实施例，对象的轴部210可以基于用户输入旋转。随着对象轴部210的旋转，对象的一部分230能够以轴部210为中心一同旋转。
参照图2b，根据一实施例，对象的末端部250可以基于用户输入运动。根据用户输入，对象末端部250可以移动或旋转或边移动边旋转。
图3是说明根据一实施例的对象控制的激活过程的附图。
参照图3，根据一实施例，用户可通过选择控制器按钮来激活对象控制。例如，用户可通过选择控制器按钮来激活对象控制。此时，未选择任一个控制器的按钮或解除按钮选择时，立即禁用对象控制。通过这样的操作，可以防止启动错误，并且在发生突发状况时，可以即刻停止操作，确保用户安全。
图4是说明根据一实施例的选择待控制对象的轴部的过程的附图。
参照图4，根据一实施例，用户可选择待控制对象的轴部。例如，通过识别握持控制器的用户的手所触碰或用户的手所指向的对象轴部410来选择用户所要控制的部分。如此，为了特定用户指定的对象的轴部410，可利用图1所示的传感器，除此之外，还可以利用其他传感器(例如，包括在头戴式显示器(Head Mounted Display，HMD)的图像传感器等)。
如图4所示，用户可用食指选择对象轴部中所要控制的轴部410。
图5至图8是说明根据一实施例的旋转对象的轴部的过程的附图
参照图5，根据一实施例，对象轴部可基于用户输入旋转。首先，识别随着对象轴部的旋转而同时旋转的部分510并映射到连接控制器位置的线段上。之后，当由于用户操控控制器使得该线段发生旋转变化量时，根据旋转变化量来旋转部分510。此时，在线段的旋转变化量中只考虑垂直于对象轴部的部分。对此，在图6中进行详细说明。图5示出了根据旋转变化量从原位置530发生旋转后的部分550。
图6示出了根据一实施例的基于利用旋转平面测量的线段的旋转变化量来旋转对象的一部分的过程。
首先，可以生成线段和旋转平面来数学表达旋转变化量。可生成定义用户双手握持的控制器位置的可生成垂直于所要控制的对象的轴部/>的旋转平面Pa。此时，线段/>和旋转平面Pa可以不以可视化的方式提供给用户，并且，由于只利用线段/>的旋转变化量，线段/>和旋转对象/>可能不一致。
并且，可计算线段的旋转变化量。利用通过将用户输入前的线段/>和用户输入以后的线段/>分别投射到旋转平面Pa而得到的两个线段/> 来计算旋转变化量dθ。
并且，可以通过在旋转变化量dθ上适用一定对应比来确定轴部旋转量(x*dθ)。此时，可以对所适用的对应比x进行多种设置。对应比x的设定方式有，例如：以控制器间距离为基础设置；由用户进行设置；也可根据对象被控制的情况适当设置。例如，需要精密控制对象时(例如，机器人手术)，对应比x取值小，相对精密性更需要迅速控制时(例如，移动物体作业等)，对应比x取值大。
根据一实施例，可根据控制器间距离来调节对象控制的精密度和速度。
因控制器由支撑部件连接，根据控制器间距离的张力可以作用于控制器。例如，控制器间距离越远，产生的张力越大，可将该张力传递至握持控制器的用户的双手上。
参照图7a，根据控制器间距离，通过支撑部件引导至控制器的张力大小及实现相同的旋转变化量所需的双手运动的距离不同，因此，可根据控制器间距离来调节对象控制的精密性和速度。图7a的上半部分的图示“1”和“2”表示，为获得相同的旋转变化量θ1、θ2，根据控制器间距离，双手需要移动的距离变为d1、d2，此时对象轴部的旋转量相同。此外，图7a的下半部分的图示“3”、“4”表示，为取得相同的双手移动距离d3、d4，旋转变化量随着控制器间距离变为θ3、θ4，此时对象轴部的旋转量不同。
例如，控制器间距离越近，作用于控制器的张力越弱，用户的双手需要移动的距离就越短，因此对象控制的精密性降低而速度加快。反之，控制器间距离越远，作用于控制器的张力越强，用户的双手需要移动的距离就越长，因此对象控制的精密性提高而速度降低。如上，可以利用连接控制器的支撑部件来根据对象控制的情况适当地调节对象控制的精密性及速度。
根据一实施例，控制器间距离也可以适用于前面所述的对应比，图7b及图7c示出了示例。图7b显示控制器间距离710短的情况，图7c显示控制器间距离730长的情况。如图7b及图7c所示，与以短的控制器间距离710控制对象时相比，以长的控制器间距离730控制对象时的对象轴部的旋转量更小。即，相比以短的控制器间距离710控制对象，以长的控制器间距离730控制对象时所设定的对应比更小。由此，控制器间距离越长，根据线段的旋转变化量确定的对象轴部的旋转量越小。反之，控制器间距离越短，根据旋转变化量确定的对象轴部的旋转量越大。
参照图8，根据一实施例，握持(clutching)动作可适用于对象的轴部控制。根据一实施例，可以通过握持(clutching)动作在控制器有限的工作范围内反复叠加运动，从而在更大的移动范围内进行对象控制。
如图8所示，当要控制对象的部分810时，用户在按住控制器按钮的状态下移动控制器来执行对象控制，然后松开按钮并调整控制器的位置，之后再次在按住按钮的状态下移动控制器来执行对象控制。由此，可以不受控制器的工作范围的限制进行对象控制。
图9是说明根据一实施例的对象控制的激活过程的附图。
参照图9，根据一实施例，用户可通过按住控制器按钮来激活对象控制。例如，用户可通过选择控制器按钮来激活对象控制。此时，未选择任一个控制器的按钮或解除按钮选择时，立即禁用对象控制。通过这样的操作，可以防止启动错误，并且在发生突发状况时，可以即刻停止操作，确保用户安全。
图10是说明根据一实施例的选择待控制的对象末端部的过程的附图。
参照图10，根据一实施例，用户可选择待控制的对象末端部。例如，通过识别握持控制器的用户的手所触碰或用户的手所指向的对象末端部1010来选择用户所要控制的部分。如此，为了特定用户指定的对象末端部1010，可利用图1所示的传感器，除此之外，还可以利用其他传感器(例如，包括在头戴式显示器(Head Mounted Display，HMD)的图像传感器等)。如图10所示，用户可用右手食指从包括在对象的轴部中选择要控制的末端部1010。
图11至图13是说明根据一实施例的控制对象末端部运动的过程的附图。
参照图11，根据一实施例，对象末端部基于用户输入移动。首先，识别对象末端部1110并映射到由控制器定义的参考平面1130。参考平面1130由控制器定义，可以包括在三维空间连接控制器的线段。可以根据参考平面1170的移动变化量及旋转变化量中的至少一个移动对象末端部1150。
参照图12，根据一实施例，可根据控制器间距离来调节对象控制的精密度及速度。
因控制器由支撑部件连接，根据控制器间距离的张力可以作用于控制器。例如，控制器间距离越远，产生的张力越大，可将该张力传递至握持控制器的用户的双手上。
如图12所示，可以根据控制器间距离来确定参考平面1210的大小。参考平面1210用于对象末端部的控制，可将参考平面1210设置为使控制器位于角落。将参照图14对参考平面1210的设定过程进行说明。
根据控制器间距离，引导的张力大小及用于实现相同的旋转变化量所需的双手移动距离不同，因此，可以利用这一原理调节控制对象旋转的精密性和速度。例如，控制器间距离越近，导入的张力越弱，用户的双手需要移动的距离就越短，因此控制对象旋转的精密性下降而速度加快。相反，控制器间距离越远，导入的张力越强，用户的双手需要移动的距离就越长，因此控制对象旋转的精密性提高而速度下降。
此外，根据控制器间距离引导至支撑部件的张力大小不同，利用这一原理可调节控制对象移动的精密性和速度。例如，控制器间距离越近，引导的张力越弱，因此控制对象移动的精密性下降。反之，控制器间距离越远，引导的张力越强，因此控制对象移动的精密性提高。
根据一实施例，控制器间距离也可以适用于前面所述的对应比，12a及图12b示出了示例。图12a显示控制器间距离1210短的情况，图12b显示控制器间距离1230长的情况。如图12a及图12b所示，与以短的控制器间距离1210控制对象时相比，以长的控制器间距离730控制对象时的对象末端部的移动变化量和/或旋转变化量更小。即，相比以短的控制器间距离1210控制对象，以长的控制器间距离1230控制对象时所设定的对应比更小。由此，控制器间距离越长，所确定的参考平面的移动变化量和/或旋转变化量越小。相反，控制器间距离越短，所确定的参考平面的移动变化量和/或旋转变化量的旋转量越大。
参照图13，根据一实施例，握持(clutching)动作可适用于对象末端部控制。根据一实施例，可以通过握持(clutching)动作在控制器有限的工作范围内，反复叠加运动，从而在更大的移动范围内进行对象控制。
如图13所示，要控制对象末端部1310时，用户在按住控制器按钮的状态下移动控制器来执行对象控制，然后松开按钮并调整控制器的位置，之后再次在按住按钮的状态下移动控制器来执行对象控制。由此，可以不受控制器的工作范围的限制进行对象控制。
图14a及图14b是说明根据一实施例的确定物体末端部移动量及旋转量的过程的附图。
图14a显示了根据一实施例的确定参考平面的过程。为了对移动及旋转进行数学表达，可确定参考平面。此时，每个控制器的位置可以是参考平面相对边的中点。
在步骤1410，可获得垂直于每个控制器的第一向量第一向量/>表示每个控制器的向上向量。
在步骤1420，确定穿过控制器的中间位置C或线段上的特定位置，垂直于连接控制器的线段/>或贯穿线段/>的临时平面，在临时平面上投射(project)第一向量/>来获得投射的向量/>投射的向量/>垂直于线段/>
在步骤1430，通过计算投射的向量间的平均等向量计算来确定第二向量
在步骤1440，可确定垂直于第二向量并穿过控制器的中间位置C，并以线段/>为横轴的包括线段/>的参考平面。第二向量/>可以是参考平面的垂直向量。
此时，所确定的参考平面可不以可视化的方式进行显示。此外，只利用参考平面的移动变化量及旋转变化量，因此，参考平面和对象末端部的板块可能不一致。
参照图14b，根据一实施例，可计算对象末端部的移动量及旋转量。
根据一实施例，可以根据参考平面的中心点C的移动变化量来移动对象的末端部。图14b中，C表示移动前的位置，C’表示移动后的位置。由此，表示参考平面的移动变化量。
对象末端部的移动量可用下面数学式确定。
【数学式1】
上面的数学式1中，y是参考平面的中心点C的移动变化量与对象末端部的移动量之间的对应比，可用多种方法设定。可基于与控制器间距离相对应的参考平面的大小来确定对应比。例如，参考平面的大小越大，适用的对应比越小，使得对象末端部的移动量相对于参考平面的中心点C的移动变化量较小。并且，可适用根据用户设定或根据控制对象的情况而确定的对应比来确定对象末端部的移动量。
此外，根据一实施例，可根据垂直于参考平面的垂直向量的旋转变化量旋转对象末端部。图14b中，表示旋转前参考平面的垂直向量，/>表示旋转后参考平面的垂直向量。可使用四元数(quaternion)来显示参考平面的旋转变化量，参考平面的旋转变化量可用qPc→Pc’表示。其中，q表示定义旋转的四元数，Pc表示旋转前的参考平面，Pc’表示旋转后的参考平面。
对象末端部的旋转量可用以下数学式确定。
【数学式2】
qPT→PT’＝scale(x，qPc→Pc’)
上面的数学式2中，qPT→PT’表示对象末端部的旋转量。x是垂直于参考平面的垂直向量的旋转变化量与对象末端部旋转量之间的对应比，可用多种方法设定。可基于与控制器间距离相对应的参考平面的大小，或根据用户确定，也可根据控制对象的情况而适当地确定对应比。
如上所述，只要确定对象末端部的移动量及旋转量中至少一个，就可以通过逆运动学(inverse kinematic)的方法确定包括在对象的各轴的旋转量而进行旋转。
图15是说明根据一实施例的以可视方式提供待控制对象的预期动作的过程的附图。
图15示出了根据一实施例的根据用户输入的对象1510被控制的预期动作1520。
根据一实施例，相比根据用户输入立即控制对象1510，而是将根据用户输入得到控制的对象1510的预期动作1520以可视方式提供给用户。例如，将预期动作1520半透明地显现在用户穿戴的HMD上，从而与现实空间同时显现。确认基于用户输入的对象1510预期动作1520后，用户可命令执行对象控制，并根据命令来实际控制对象1510。
用户以可视化的方式获得对象1510的预期动作1520，可提前确认对象1510根据用户输入被控制的情况并做出调整，由此可以更精确地控制对象。
上述说明仅为根据一实施例的实现对象控制的一个实施例，除此之外还存在多种其他实施例。例如，对象控制方法及装置可使用一个或两个控制器确定用户输入来控制对象(参照图16至图25)，或者也可以不使用控制器，从用户的单手或双手确定用户输入来控制对象(图26至图35)。对此将参照下面的附图进行详细说明。
图16至图20是显示根据一实施例的利用一个或两个控制器来控制对象的末端部的示例图。
图16是显示根据一实施例的利用一个控制器控制对象末端部的过程的示例图。
首先，通过传感器来实时追踪用户单手握持的控制器的位置及角度。例如，传感器可包括图像传感器、红外线传感器等。控制器上可以另外包括提高追踪准确度的元件，也可根据实施例不包括该元件。
并且，用户按住控制器按钮即可激活控制模式。换言之，感应控制器的按钮是否被选择，如果控制器的按钮被选择，则激活控制模式。反之，控制器的按钮没有被选择，则解除控制模式。在解除控制模式期间不进行对象控制。在这里，用户按住控制器按钮相当于由用户生成激活/禁用控制命令，特别是激活控制的命令。
并且，在以控制模式进行操作期间，可确定以控制器的按钮位置为中心，并且相对于控制器主体，其位置和旋转相对固定的参考平面。此时，参考平面是为了控制对象的虚拟平面，可映射到待控制对象末端部。
并且，在以控制模式进行操作期间，可在对象末端部上适用相对于参考平面中心点的移动变化量来控制对象末端部的位置。换言之，基于参考平面的移动变化量确定用户输入，并根据确定的用户输入来控制对象末端部的位置。例如，确定第二参考平面，第二参考平面的位置和旋转相对于对象末端部固定，并根据对于参考平面中心点的移动变化量来移动第二参考平面，由此控制对象末端部的位置。
此外，在以控制模式进行操作期间，可在对象末端部上适用相对于参考平面中心点的旋转变化量来控制对象末端部的旋转。换言之，基于参考平面的旋转变化量确定用户输入，并根据确定的用户输入来控制对象末端部的旋转。例如，确定第二参考平面，第二参考平面的位置和旋转相对于对象末端部固定，并根据对于参考平面中心点的旋转变化量来旋转第二参考平面，由此控制对象末端部的旋转。
此时，如果只存在对于参考平面中心点的移动变化量，则只控制对象末端部的位置；如果只存在对于参考平面中心点的旋转变化量，则只控制对象末端部的旋转；如果存在对于参考平面中心点的移动变化量和旋转变化量，则可以控制对象末端部的位置和旋转。换言之，以参考平面的移动变化量及旋转变化量中至少一个为基础确定用户输入，并根据所确定的用户输入控制对象末端部的位置及旋转中的至少一个。
此外，根据实施例，在对于参考平面中心点的移动变化量上适用规定的对应比来确定用户输入。基本上将对应比设定为1，从而将对于参考平面中心点的移动变化量直接适用于用户输入，使得对象末端部的位置按照参考平面中心点的移动变化量来发生移动。并且，根据实施例，能够基于对于参考平面中心点的移动速度来确定适当的对应比。例如，参考平面的中心点的移动速度越快，确定的对应比大于1，使得对象末端部的位置相比对于参考平面中心点的移动变化量移动更多。反之，参考平面的中心点的移动速度越慢，确定的对应比小于1，使得对象末端部的位置比相对于参考平面中心点的移动变化量移动更少。除了按照对于参考平面的中心点的移动速度来确定对应比之外，可以不受限制地采用多种方式。同理，可以在对于参考平面中心点的旋转变化量上适用规定的对应比来确定用户输入，对此，可直接适用上述说明，因此省略详细说明。
根据一实施例，对应比与控制精密度有关。对应比相比1越小，反映至对象末端部的参考平面的变化量越少，因此控制精密度就越高。反之，对应比相比1越大，反映至对象末端部的参考平面的变化量越多，因此控制精密度就越低。
图17示出了根据一实施例的用支撑部件连接一个控制器的示例图。可以在图16的基础上额外使用支撑部件来连接控制器。例如，支撑部件可将控制器连接在固定位置，除此之外，还可以连接在用户的腰带、用户的脚等多个部位。通过这样的支撑部件可以稳定握持控制器的双手的动作，由此来提高控制的准确度，也能根据作业情况适当调整对象控制的精密度和速度。
例如，支撑部件包括具有弹力的长度可变部件及没有弹力的长度可变部件。在此，具有弹力的长度可变部件可体现为橡胶带、弹簧等伸缩材料。没有弹力的长度可变部件可体现为机械联动装置(mechanical linkage)、多节部件等没有伸缩性的材料。
图18示出了根据一实施例的利用两个控制器控制对象末端部的过程的附图。
首先，通过传感器来实时追踪用户双手握持的控制器的位置及角度。例如，传感器可包括图像传感器、红外线传感器等。控制器上可以另外包括提高追踪准确度的元件，也可根据实施例不包括该元件。
并且，用户按住控制器的按钮即可激活控制模式。换言之，感应控制器的按钮是否被选择，如果控制器的按钮被选择，则激活控制模式。此时，两个控制器的按钮都被选择才能激活控制模式，只要有一个控制器的按钮没有被选择，则可解除控制模式。
并且，在以控制模式进行操作期间，可确定参考平面，该参考平面贯穿控制器的按钮位置，并以控制器的按钮位置的中心为中心，并且其垂直方向相对于一个控制器主体相对固定。此时，参考平面是用于控制对象的虚拟平面，可映射在待控制对象末端部。
并且，在以控制模式进行操作期间，在对象末端部上适用对于参考平面中心点的移动变化量来控制对象末端部的位置。此外，在以控制模式进行操作期间，在对象末端部上适用对于参考平面中心点的旋转变化量来控制对象末端部的旋转。基于参考平面中心点的移动变化量及/或旋转变化量，控制对象末端部的位置及/或旋转的过程可直接适用图16中说明的内容，因此省略更为详细的说明。
此外，根据实施例，可以在对于参考平面中心点的移动变化量上适用规定的对应比来确定用户输入。例如，以两个控制器间距离为基础确定对应比。两个控制器间距离越近，所确定的对应比相比1越大，对象末端部的位置相比对于参考平面中心点的移动变化量移动更多。反之，两个控制器间距离越远，所确定的对应比相比1越小，对象末端部的位置相比对于参考平面中心点的移动变化量移动更少。此外，确定对应比的非限制性示例有对于参考平面的中心点的移动速度、旋转速度等多种要素。同理，可以在对于参考平面中心点的旋转变化量上适用规定的对应比来确定用户输入，对此，可直接适用上述说明，因此省略详细说明。
图19示出了根据一实施例的用长度可变部件连接两个控制器的示例图。在图18的基础上，额外使用长度可变部件连接控制器。可以通过这样的长度可变部件稳定握持控制器的手的动作来提高控制的准确度，也能根据作业情况适当调整对象控制的精密度和速度。
图20示出了根据一实施例的用长度固定部件连接两个控制器的示例图。在图18的基础上，额外使用长度固定部件连接控制器。例如，长度固定部件可以是没有伸缩性的长度不变的部件。用长度固定部件连接的两个控制器实质上可以是如游戏手柄、遥控器(remotecontrol)等单一部件。可以通过这样的长度固定部件稳定握持控制器的手的动作来提高控制的准确度，也能根据作业情况适当调整对象控制的精密度和速度。
图21至图25是显示根据一实施例的使用一个或两个控制器控制对象的轴部的示例图。
图21是说明根据一实施例的利用一个控制器来控制对象的轴部的过程的示例图。作为控制对象的对象包括一个以上的轴部。当具有多个轴部时，在对轴进行控制之前，需要在多个轴部中选择要控制的一个轴部。
首先，通过传感器来实时追踪用户单手握持的控制器的位置及角度。例如，传感器可包括图像传感器、红外线传感器等。控制器上可以另外包括提高追踪准确度的元件，也可根据实施例不包括该元件。
并且，用户按住控制器按钮即可激活控制模式。换言之，感应控制器的按钮是否被选择，如果控制器的按钮被选择，则激活控制模式，相反，如果控制器的按钮没有被选择，则解除控制模式。
并且，在以控制模式进行操作期间，可确定参考杆，参考杆贯穿控制器的按钮位置，并与控制器的主体平行，并且其位置和旋转对于控制器相对固定。所确定的参考杆可以垂直投影在垂直于待控制对象的轴的平面上。此时，参考杆可以是用于控制对象的虚拟杆。
并且，在以控制模式进行操作期间，在对象轴部上适用投影的参考杆的旋转变化量来控制对象轴部的旋转。换言之，基于投影的参考杆的旋转变化量来确定用户输入，并根据确定的用户输入来控制对象轴部的旋转。
并且，根据实施例，可以在投影的参考杆的旋转变化量上适用规定的对应比来确定用户输入。基本上将对应比设定为1，从而将投影的参考杆的旋转变化量直接适用于用户输入，使得对象轴部按照投影的参考杆的旋转变化量来发生移动。并且，根据实施例，能够以投影的参考杆的旋转速度为基础确定适当的对应比。例如，投影的参考杆的旋转速度越快，所确定的对应比相比1越大，使得对象轴部相比投影的参考杆的旋转变化量旋转更多。反之，投影的参考杆的旋转速度越慢，所确定的对应比相比1越小，使得对象轴部相比投影的参考杆的旋转变化量旋转更少。除此之外，可不受限制地使用多种要素来确定对应比。
图22示出了根据一实施例的用支撑部件连接一个控制器的示例图。可以在图21的基础上额外使用支撑部件来连接控制器。例如，支撑部件可将控制器连接在固定位置，除此之外，还可以连接在用户的腰带、用户的脚等多个部位。通过这样的支撑部件可以稳定握持控制器的双手的动作，由此来提高控制的准确度，也能根据作业情况适当调整对象控制的精密度和速度。
图23示出了根据一实施例的利用两个控制器控制对象轴部的过程的附图。
首先，通过传感器来实时追踪用户双手握持的控制器的位置及角度。例如，传感器可包括图像传感器、红外线传感器等。控制器上可以另外包括提高追踪准确度的元件，也可根据实施例不包括该元件。
并且，用户按住控制器的按钮即可激活控制模式。换言之，感应控制器的按钮是否被选择，如果控制器的按钮被选择，则激活控制模式。此时，两个控制器的按钮都被选择才能激活控制模式，只要有一个控制器的按钮没有被选择，则可解除控制模式。
并且，在以控制模式进行操作期间，可确定贯穿控制器的参考杆。所确定的参考杆垂直投影在垂直于待控制对象轴的平面上。此时，参考杆可以是用于控制对象的虚拟杆。
并且，在以控制模式进行操作期间，在对象轴部上适用投影的参考杆的旋转变化量来控制对象轴部的旋转。换言之，基于投影的参考杆的旋转变化量来确定用户输入，并根据确定的用户输入来控制对象轴部的旋转
并且，根据实施例，可以在投影的参考杆的旋转变化量上适用规定的对应比来确定用户输入。例如，以两个控制器间距离为基础确定对应比。两个控制器间距离越近，所确定的对应比相比1越大，对象轴部相比投影的参考杆的旋转变化量旋转更多。反之，两个控制器间距离越远，所确定的对应比相比1越小，对象轴部相比投影的参考杆的旋转变化量旋转更少。用于确定对应比的非限制性示例有投影的参考杆的旋转速度等多种要素。
图24示出了根据一实施例的用长度可变部件连接两个控制器的示例图。图25示出了根据一实施例的用长度固定部件连接两个控制器的示例图。长度可变部件和长度固定部件可直接使用上述说明，因此省略更为详细的说明。
图26至图30是说明根据一实施例的基于单手或双手确定的用户输入来控制对象的末端部的示例图。
根据实施例，不使用上述说明的控制器，而是基于用户的手的动作来确定用户输入，并根据所确定的用户输入来控制对象。因用户无需握持控制器，可以提高用户动作的自由度，更自然地移动控制对象。下面，将参照附图进行说明。
图26示出了根据一实施例的基于单手确定的用户输入来控制对象末端部的过程的附图。
首先，通过传感器来实时追踪用户单手的位置和角度、拇指和食指关节角度等。例如，传感器包括图像传感器、深度传感器(depth sensor)等。
并且，拇指尖和食指尖接触即可激活控制模式。反之，指尖分离没有接触即可解除控制模式。但拇指尖和食指尖的接触仅为一示例，只要感应到用户提前确定的手势(如握拳等规定的手势等)即可激活控制模式，相应手势消失即可解除控制模式。此外，不限于拇指和食指，也可根据用户手指中至少任意两根手指的接触来激活控制模式。此时，拇指尖和食指尖接触相当于用户生成激活/禁用控制命令，尤其是激活控制命令。
并且，在以控制模式进行操作期间，可确定以拇指和食指的接触点为中心，并包括拇指轴和食指轴的参考平面。根据实施例，并不限于拇指和食指，还可确定以相互接触的两根手指的接触点为中心，并包括相互接触的两根手指的各轴的参考平面。此时，参考平面是用于控制对象的虚拟平面，可映射在待控制对象末端部。
并且，在以控制模式进行操作期间，可以在对象末端部上适用对于参考平面中心点的移动变化量来可控制对象末端部的位置。并且，在以控制模式进行操作期间，可以在对象末端部上适用对于参考平面中心点的旋转变化量来控制对象末端部的旋转。此时，只存在对于参考平面中心点的移动变化量，就只能控制对象末端部的位置；若只存在对于参考平面中心点的旋转变化量，就只能控制对象末端部的旋转；若存在对于参考平面中心点的移动变化量及旋转变化量，就能控制对象末端部的位置及旋转。此外，根据实施例，可以在对于参考平面中心点的移动变化量上适用规定的对应比来确定用户输入，对此，可直接适用上述说明，因此省略更为详细的说明。
图27示出了根据一实施例的用支撑部件连接用户的单手的示例图。可以在图26的基础上额外使用支撑部件来连接用户的单手。例如，支撑部件可将控制器连接在固定位置，除此之外，还可以连接在用户的腰带、用户的脚等多个部位。例如，支撑部件可以包括具有弹力的长度可变部件及没有弹力的长度可变部件。通过这样的支撑部件可以稳定握持控制器的手的动作，由此来提高控制的准确度，也能根据作业情况适当调整对象控制的精密度和速度。
图28是显示根据一实施例的基于用户双手确定的用户输入来控制对象末端部的过程的附图。
首先，通过传感器来实时追踪用户双手的位置和角度、拇指和食指关节角度等。
并且，双手拇指尖和食指尖分别接触即可激活控制模式。反之，双手的拇指尖和食指尖分别分离无接触即可解除控制模式。此时，双手中只要有一只手的手指尖分离，即可解除控制，此外，可以根据感应用户提前设定的手势来确定激活控制模式。
并且，在以控制模式进行操作期间，可确定参考平面，该参考平面贯穿双手每个手指的接触点，并以接触点的中心为中心，并且垂直于双手中任意一只手的拇指轴。此时，参考平面是用于控制对象的虚拟平面，可映射在待控制对象末端部。
并且，在以控制模式进行操作期间，可以在对象末端部上适用对于参考平面中心点的移动变化量来可控制对象末端部的位置。此外，在以控制模式进行操作期间，可以在对象末端部上适用对于参考平面中心点的旋转变化量来控制对象末端部的旋转。并且，根据实施例，可以在对于参考平面中心点的移动变化量上适用规定的对应比来确定用户输入。例如，以用户的双手间距离为基础确定对应比。对此，可直接适用上述说明，因此省略更为详细的说明。
图29示出了根据一实施例的用长度可变部件连接用户的双手的示例图。在图28的基础上额外使用长度可变部件连接用户的双手。通过这样的长度可变部件可以稳定握持控制器的手的动作，由此来提高控制的准确度，也能根据作业情况适当调整对象控制的精密度和速度。
图30示出了根据一实施例的用长度固定部件连接用户的双手的示例图。在图28的基础上额外使用长度固定部件连接用户的双手。例如，长度固定部件可以是没有伸缩性的长度不变的部件。通过这样的长度固定部件可以稳定握持控制器的手的动作来，由此来提高控制的准确度，也能根据作业情况适当调整对象控制的精密度和速度。
图31至图35是显示根据一实施例的根据单手或双手确定的用户输入来控制对象的轴部的示例图。
图31是显示根据一实施例的基于用户单手确定的用户输入来控制对象轴部的过程的附图。作为控制对象的对象包括一个以上的轴部。当具有多个轴部时，在对轴进行控制之前，需要在多个轴部中选择要控制的一个轴部。
首先，通过传感器实时追踪用户单手的位置和角度、拇指和食指关节角度及手掌的位置及角度等。
并且，拇指尖和食指尖接触即可激活控制模式。反之，指尖分离无接触即可解除控制模式。对此，可直接适用上述说明，因此省略更为详细的说明。
并且，在以控制模式进行操作期间，可确定垂直贯穿由拇指和食指组成的环的中央，并与手掌平行的参考杆。所确定的参考杆垂直投影在垂直于待控制对象轴的平面上。此时，参考杆可以是用于控制对象的虚拟杆。
并且，在以控制模式进行操作期间，可以在对象轴部上适用投影的参考杆的旋转变化量来控制对象轴部的旋转。换言之，基于投影的参考杆的旋转变化量来确定用户输入，并根据确定的用户输入来控制对象轴部的旋转。根据实施例，可以在投影的参考杆的旋转变化量上适用规定的对应比来确定用户输入。对此，可直接适用上述说明，因此省略详细说明。
图32示出了根据一实施例的用支撑部件连接用户的单手的示例图。可以在图31的基础上额外使用支撑部件来连接用户的单手。例如，支撑部件可将控制器连接在固定位置，除此之外，还可以连接在用户的腰带、用户的脚等多个部位。例如，支撑部件包括具有弹力的长度可变部件及没有弹力的长度可变部件。通过这样的支撑部件可以稳定握持控制器的手的动作，由此来提高控制的准确度，也能根据作业情况适当调整对象控制的精密度和速度。
图33显示了根据一实施例的基于用户双手确定的用户输入来控制对象轴的过程的附图。
首先，通过传感器来实时追踪用户双手的拇指和食指指尖位置。
并且，双手拇指尖和食指尖分别接触即可激活控制模式。反之，双手的拇指尖和食指尖分别分离无接触即可解除控制模式。对此，可直接适用上述说明，因此省略详细说明
并且，在以控制模式进行操作期间，可确定贯穿双手手指的各个接触点的参考杆。确定的参考杆垂直投影在垂直于待控制对象轴的平面上。
并且，在以控制模式进行操作期间，在对象轴部上适用投影的参考杆的旋转变化量来控制对象轴部的旋转。换言之，基于投影的参考杆的旋转变化量来确定用户输入，并根据确定的用户输入来控制对象轴部的旋转。根据实施例，可以在投影的参考杆的旋转变化量上适用规定的对应比来确定用户输入。例如，能够以用户的双手间距离为基础确定对应比。对此，可直接适用上述说明，因此省略更为详细的说明。
图34示出了根据一实施例的用长度可变部件连接用户的双手的示例图。图35示出了根据一实施例的用长度固定部件连接用户的双手的示意图。对于长度可变部件和长度固定部件可适用上述说明，因此省略更为详细的说明。
图36是显示根据一实施例的对象控制方法的示例图。
图36示出了根据一实施例的通过对象控制装置的处理器进行的对象控制方法。
在步骤3610，对象控制装置感应用户生成的激活/禁用控制命令。在步骤3620，对象控制装置在感应到激活/禁用控制命令的状态下，感应包括移动变化量命令及旋转变化量命令的用户命令。在步骤3630，对象控制装置基于移动变化量命令及旋转变化量命令确定用户输入。在步骤3640，对象控制装置根据用户输入来控制对象。
图36所示的各个步骤适用前述说明，因此省略更详细的说明。
图37是显示根据一实施例的对象控制装置的附图。
参照37，根据一实施例，对象控制装置3700包括：传感器3710、处理器3720及对象3730。根据实施例，对象控制装置3700还可包括控制器3740。对象控制装置3700中包括的传感器3710、处理器3720、对象3730及控制器3740可以基于有线网络及无线网络中至少一个进行通讯。在这里，传感器3710还可被称为感应手段。控制器3740还可被称为用户命令传递手段。对象控制装置3700可处理上述操作，因此省略详细说明。
以上说明的实施例能够通过硬件构成要素、软件构成要素，和/或硬件构成要素及软件构成要素的组合实现。例如，实施例中说明的装置及构成要素，能够利用例如处理器、控制器、算术逻辑单元(arithmetic logic unit，ALU)、数字信号处理器(digital signalprocessor)、微型计算机、现场可编程门阵列(field programmable gate array，FPGA)、可编程逻辑单元(programmable logic unit，PLU)、微处理器、或能够执行与应答指令(instruction)的任何其他装置等的一个以上的通用计算机或特殊目的计算机进行体现。处理装置能够执行操作系统(OS)及在所述操作系统中执行的一个以上的应用软件。并且，处理装置应答软件的执行，从而访问、存储、操作、处理及生成数据。为方便理解，说明了仅具有一个处理装置的方式，但本领域普通技术人员应理解处理装置能够包括多个处理元件(processing element)和/或多个类型的处理要素。例如，处理装置能够包括多个处理器或一个处理器及一个控制器。并且，也能够包括类似于并行处理器(parallel processor)的其他处理配置(processing configuration)。
软件能够包括计算机程序(computer program)、代码(code)、指令(instruction)，或其中的一个以上的组合，能够使处理装置按照所期待的方式操作，或者，单独或共同(collectively)命令处理装置。为通过处理装置进行解释或者向处理装置提供命令或数据，软件和/或数据能够永久或临时体现于(embody)任何类型的设备、构成要素(component)、物理装置、虚拟装置(virtual equipment)、计算机存储介质或装置，或者传送的信号波(signal wave)。软件分布于通过网络连接的计算机系统上，能够以分布式存储或执行。软件及数据能够存储于一个以上的计算机读写存储介质中。
根据实施例的方法以能够通过多种计算机手段执行的程序命令的形式体现，并记录在计算机读写介质中。所述计算机读写介质能够以单独或者组合的形式包括程序命令、数据文件、数据结构等。记录在所述介质的程序指令能够是为实现实施例而特别设计与构成的指令，或者是计算机软件领域普通技术人员能够基于公知使用的指令。计算机读写记录介质能够包括硬盘、软盘以及磁带等磁性媒介(magnetic media)；与CD-ROM、DVD等类似的光学媒介(optical media)；与光磁软盘(floptical disk)类似的磁光媒介(magneto-optical media)，以及与只读存储器(ROM)、随机存取存储器(RAM)、闪存等类似的为存储并执行程序命令而特别构成的硬件装置。程序指令的例子不仅包括通过编译器生成的机器语言代码，还包括通过使用解释器等能够由计算机执行的高级语言代码。为执行实施例的操作，所述硬件装置能够构成为以一个以上的软件模块实现操作的方式，反之亦然。
根据实施例说明的构成要素能，够通利用如数字信号处理器(digital signalprocessor，DSP)、处理器(Processor)、控制器(Controller)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、现场可编程序门阵列(field programmablearray，FPGA)等可编程逻辑元件(Programmable Logic Element)，其他电子机械及其组合中的一个以上硬件构成要素(hardware components)进行体现。根据实施例说明的功能(functions)或程序(processes)中至少一部分，能够利用软件(software)进行实现，并记录在读写介质(recording medium)中。根据实施例说明的构成要素、功能及程序能够利用硬件和软件的组合进行体现。
综上，通过有限的附图对实施例进行了说明，本领域普通技术人员能够基于所述记载进行多种更改与变形。例如，所说明的技术按照与说明的方法不同的顺序执行，和/或所说明的系统、结构、装置、电路等构成要素按照与说明的方法不同的形式进行结合或组合，或者由其他构成要素或者等同物置换或代替，也能得到适当的结果。

Claims (24)

1.一种对象控制方法，其特征在于，
包括以下步骤：
基于用户的单手或双手是否做出预先确定的手势来感应激活/禁用控制命令；
在感应到所述激活/禁用控制命令的状态下，当所述用户的单手或双手做出所述预先确定的手势时，设定具有基于所述单手或双手的三维空间位置的中心点且映射在待控制的对象的虚拟的参考图形；
在做出所述预先确定的手势期间，若所述用户的单手或双手移动，则确定根据所述单手或双手而移动的所述参考图形的移动变化量和旋转变化量中的至少一个；以及
基于所述参考图形的移动变化量和旋转变化量中的至少一个来控制所述对象。
2.根据权利要求1所述的对象控制方法，其特征在于，
所述预先确定的手势是所述用户的手指中至少两根手指相接触的手势及所述用户握拳的手势中的任一个。
3.根据权利要求1所述的对象控制方法，其特征在于，
所述虚拟的参考图形是固定在所述用户的单手手指中相互接触的两根手指的接触点的平面。
4.根据权利要求1所述的对象控制方法，其特征在于，
所述虚拟的参考图形是固定在所述用户的双手手指中每只手的手指相接触的接触点的平面。
5.根据权利要求1所述的对象控制方法，其特征在于，
所述虚拟的参考图形是以所述用户的单手为基准一次形成，并通过投影至垂直于所述对象的轴的平面二次形成的杆。
6.根据权利要求1所述的对象控制方法，其特征在于，
所述虚拟的参考图形是以所述用户的双手手指中每只手的手指相接触的接触点为基准一次形成，并通过投影至垂直于所述对象的轴的平面二次形成的杆。
7.根据权利要求1所述的对象控制方法，其特征在于，
控制所述对象的步骤是基于所述用户的双手间距离来确定对应比，并将所述对应比适用于所述参考图形的移动变化量和旋转变化量中的至少一个来控制所述对象。
8.根据权利要求7所述的对象控制方法，其特征在于，
所述用户的双手间距离越短，所述对应比越大。
9.一种对象控制方法，其特征在于，
包括以下步骤：
基于感应由用户的单手或双手握持的一个或两个控制器上配置的开关的开/关状态来感应激活/禁用控制命令；
在感应到所述激活/禁用控制命令的状态下，当感应到所述一个或两个控制器上配置的开关的开状态时，设定具有基于所述一个或两个控制器的三维空间位置的中心点且映射在待控制的对象的虚拟的参考图形；
在感应到所述一个或两个控制器上配置的开关的开状态期间，若所述一个或两个控制器移动，则确定根据所述一个或两个控制器而移动的所述参考图形的移动变化量和旋转变化量中的至少一个；以及
基于所述参考图形的移动变化量和旋转变化量中的至少一个来控制所述对象。
10.根据权利要求9的对象控制方法，其特征在于，
所述虚拟的参考图形是固定在由所述用户单手握持的控制器的特定位置的平面。
11.根据权利要求9所述的对象控制方法，其特征在于，
所述虚拟的参考图形是固定在由所述用户双手握持的控制器的特定位置的平面。
12.根据权利要求9所述的对象控制方法，其特征在于，
所述虚拟的参考图形是在所述用户单手握持的控制器的长或宽方向上一次形成，并通过投影至垂直于所述对象的轴的平面二次形成的杆。
13.根据权利要求9所述的对象控制方法，其特征在于，
所述虚拟的参考图形是贯通所述用户双手握持的控制器的特定位置一次形成，并通过投影至垂直于所述对象的轴的平面二次形成的杆。
14.根据权利要求9所述的对象控制方法，其特征在于，
控制所述对象的步骤是基于所述用户的双手握持的控制器间距离来确定对应比，并将所述对应比适用于所述参考图形的移动变化量和旋转变化量中的至少一个来控制所述对象。
15.根据权利要求14所述的对象控制方法，其特征在于，
所述控制器间距离越短，所述对应比越大。
16.根据权利要求1或9所述的对象控制方法，其特征在于，
控制所述对象的步骤是控制所述对象的末端部或轴部。
17.根据权利要求1或9所述的对象控制方法，其特征在于，
控制所述对象的步骤是控制实体对象及虚拟现实或增强现实中的虚拟对象中的任一个。
18.一种对象控制装置，其特征在于，
包括：
感应手段，其感应由用户生成的激活/禁用控制命令以及映射在待控制的对象的虚拟的参考图形的移动变化量和旋转变化量中的至少一个；以及
处理器，其接收所述感应手段感应的信号来识别用户命令，并将对应于所识别的用户命令的控制信号适用于对象，
所述处理器被配置为：
基于通过所述感应手段感应用户的单手或双手是否做出预先确定的手势来感应激活/禁用控制命令，
在感应到所述激活/禁用控制命令的状态下，当所述用户的单手或双手做出所述预先确定的手势时，设定具有基于所述单手或双手的三维空间位置的中心点且映射在待控制的对象的虚拟的参考图形，
在做出所述预先确定的手势期间，若所述用户的单手或双手移动，则确定根据所述单手或双手而移动的所述参考图形的移动变化量和旋转变化量中的至少一个，
基于所述参考图形的移动变化量和旋转变化量中的至少一个来控制所述对象。
19.一种对象控制装置，其特征在于，
包括：
感应手段，其感应由用户生成的激活/禁用控制命令以及映射在待控制的对象的虚拟的参考图形的移动变化量和旋转变化量中的至少一个；以及
处理器，其接收所述感应手段感应的信号来识别用户命令，并将对应于所识别的用户命令的控制信号适用于对象，
所述处理器被配置为：
基于通过所述感应手段感应由用户的单手或双手握持的一个或两个控制器上配置的开关的开/关状态来感应激活/禁用控制命令，
在感应到所述激活/禁用控制命令的状态下，当感应到所述一个或两个控制器上配置的开关的开状态时，设定具有基于所述一个或两个控制器的三维空间位置的中心点且映射在待控制的对象的虚拟的参考图形，
在感应到所述一个或两个控制器上配置的开关的开状态期间，若所述一个或两个控制器移动，则确定根据所述一个或两个控制器而移动的所述参考图形的移动变化量和旋转变化量中的至少一个，
基于所述参考图形的移动变化量和旋转变化量中的至少一个来控制所述对象。
20.根据权利要求19所述的对象控制装置，其特征在于，
还包括用于固定所述控制器的支撑部件。
21.根据权利要求20所述的对象控制装置，其特征在于，
所述支撑部件是具有弹力的长度可变部件及没有弹力的长度固定部件中的任一个。
22.根据权利要求19所述的对象控制装置，其特征在于，
所述两个控制器中的至少一个配置有用于发生激活/禁用控制信号的开关。
23.根据权利要求22所述的对象控制装置，其特征在于，
还包括用于物理连接所述两个控制器的支撑部件。
24.根据权利要求23所述的对象控制装置，其特征在于，
所述支撑部件是具有弹力的长度可变部件或没有弹力的长度固定部件中的任一个。
CN201980014644.7A 2018-01-19 2019-01-21 对象控制方法及对象控制装置 Active CN111770815B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2018-0007069 2018-01-19
KR20180007069 2018-01-19
KR10-2019-0006921 2019-01-18
KR1020190006921A KR102239469B1 (ko) 2018-01-19 2019-01-18 객체 제어 방법 및 객체 제어 장치
PCT/KR2019/000817 WO2019143204A1 (ko) 2018-01-19 2019-01-21 객체 제어 방법 및 객체 제어 장치

Publications (2)

Publication Number Publication Date
CN111770815A CN111770815A (zh) 2020-10-13
CN111770815B true CN111770815B (zh) 2023-09-26

Family

ID=67480787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980014644.7A Active CN111770815B (zh) 2018-01-19 2019-01-21 对象控制方法及对象控制装置

Country Status (3)

Country Link
US (1) US20200384654A1 (zh)
KR (1) KR102239469B1 (zh)
CN (1) CN111770815B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3797931B1 (en) * 2018-05-21 2023-08-02 Telexistence Inc. Remote control system, information processing method, and program
TWI802115B (zh) * 2021-11-30 2023-05-11 仁寶電腦工業股份有限公司 無人機的控制裝置及其控制方法
US20240094831A1 (en) * 2022-09-21 2024-03-21 Apple Inc. Tracking Devices for Handheld Controllers

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1380996A (zh) * 2000-05-17 2002-11-20 皇家菲利浦电子有限公司 用于通过图象处理而不用三维建模来指示目标的设备和方法
KR20100106203A (ko) * 2009-03-23 2010-10-01 삼성전자주식회사 멀티 텔레포인터, 가상 객체 표시 장치, 및 가상 객체 제어 방법
KR20130022996A (ko) * 2011-08-27 2013-03-07 이경자 가상터치스크린을 생성과 제어하는 장치
CN104423548A (zh) * 2013-08-28 2015-03-18 联想(北京)有限公司 一种控制方法及装置
CN105722650A (zh) * 2013-09-20 2016-06-29 电装波动株式会社 机器人操作装置、机器人系统及机器人操作程序
KR101717375B1 (ko) * 2015-10-21 2017-03-17 세종대학교산학협력단 가상 모니터 기반의 핸드 마우스를 이용한 게임 인터페이스 방법 및 그 시스템
CN107160393A (zh) * 2017-05-25 2017-09-15 深圳市越疆科技有限公司 机械臂的运动控制方法和装置、以及存储介质、计算机

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8870655B2 (en) * 2005-08-24 2014-10-28 Nintendo Co., Ltd. Wireless game controllers
US9439736B2 (en) * 2009-07-22 2016-09-13 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for controlling a remote medical device guidance system in three-dimensions using gestures
US8682489B2 (en) * 2009-11-13 2014-03-25 Intuitive Sugical Operations, Inc. Method and system for hand control of a teleoperated minimally invasive slave surgical instrument
US20140282274A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a gesture performed with at least two control objects
US9566711B2 (en) * 2014-03-04 2017-02-14 Sarcos Lc Coordinated robotic control
CN109512516B (zh) * 2014-04-24 2021-12-14 柯惠Lp公司 机器人接口定位确定系统及方法
GB2560384B (en) * 2017-03-10 2022-07-20 Cmr Surgical Ltd Controlling a surgical instrument
GB201703878D0 (en) * 2017-03-10 2017-04-26 Cambridge Medical Robotics Ltd Control system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1380996A (zh) * 2000-05-17 2002-11-20 皇家菲利浦电子有限公司 用于通过图象处理而不用三维建模来指示目标的设备和方法
KR20100106203A (ko) * 2009-03-23 2010-10-01 삼성전자주식회사 멀티 텔레포인터, 가상 객체 표시 장치, 및 가상 객체 제어 방법
KR20130022996A (ko) * 2011-08-27 2013-03-07 이경자 가상터치스크린을 생성과 제어하는 장치
CN104423548A (zh) * 2013-08-28 2015-03-18 联想(北京)有限公司 一种控制方法及装置
CN105722650A (zh) * 2013-09-20 2016-06-29 电装波动株式会社 机器人操作装置、机器人系统及机器人操作程序
KR101717375B1 (ko) * 2015-10-21 2017-03-17 세종대학교산학협력단 가상 모니터 기반의 핸드 마우스를 이용한 게임 인터페이스 방법 및 그 시스템
CN107160393A (zh) * 2017-05-25 2017-09-15 深圳市越疆科技有限公司 机械臂的运动控制方法和装置、以及存储介质、计算机

Also Published As

Publication number Publication date
US20200384654A1 (en) 2020-12-10
CN111770815A (zh) 2020-10-13
KR20190088910A (ko) 2019-07-29
KR102239469B1 (ko) 2021-04-13

Similar Documents

Publication Publication Date Title
US9996153B1 (en) Haptic interaction method, tool and system
CN111770815B (zh) 对象控制方法及对象控制装置
KR101785360B1 (ko) 최소 침습 수술 시스템에서 손 존재 검출을 위한 방법 및 시스템
KR101762638B1 (ko) 최소 침습 수술 시스템에서 손 제스처 제어를 위한 방법 및 장치
US20160235489A1 (en) Control Device and Method for Controlling a Robot with a System by Means of Gesture Control
CN102470530A (zh) 生成机器人的教导数据的方法以及机器人教导系统
JP2015520041A (ja) ロボット訓練のためのユーザインターフェース
US9919424B1 (en) Analog control switch for end-effector
KR20120115487A (ko) 원격조종 최소 침습 종속 수술 기구의 손 제어를 위한 방법 및 시스템
EP3123284B1 (en) System and method for virtual feedback with haptic devices
WO2012062374A1 (en) A control system and an operating device for controlling an industrial robot comprising a touch -screen
EP3323036A1 (en) Apparatus and method for hybrid type of input of buttons/keys and "finger writing" and low profile/variable geometry hand-based controller
Yepes et al. Implementation of an Android based teleoperation application for controlling a KUKA-KR6 robot by using sensor fusion
Fishel et al. Tactile telerobots for dull, dirty, dangerous, and inaccessible tasks
EP1795315A1 (en) Hand-held control device for an industrial robot
Zubrycki et al. Using integrated vision systems: three gears and leap motion, to control a 3-finger dexterous gripper
JP5108032B2 (ja) 多関節構造体教示装置
Bier et al. A full-dimensional robot teleoperation platform
Toh et al. Dexterous telemanipulation with a multi-touch interface
US11104005B2 (en) Controller for end portion control of multi-degree-of-freedom robot, method for controlling multi-degree-of-freedom robot by using controller, and robot operated thereby
Chan et al. A multimodal system using augmented reality, gestures, and tactile feedback for robot trajectory programming and execution
WO2019120481A1 (en) System and method for determining a transformation representation
EP3587049A1 (en) Control apparatus, robot, and robot system
Du et al. An offline-merge-online robot teaching method based on natural human-robot interaction and visual-aid algorithm
Jiang et al. Flexible virtual fixture enhanced by vision and haptics for unstructured environment teleoperation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant