CN114077309A - 用于辅助对象控制的方法、系统和非暂时性计算机可读记录介质 - Google Patents

用于辅助对象控制的方法、系统和非暂时性计算机可读记录介质 Download PDF

Info

Publication number
CN114077309A
CN114077309A CN202110924201.0A CN202110924201A CN114077309A CN 114077309 A CN114077309 A CN 114077309A CN 202110924201 A CN202110924201 A CN 202110924201A CN 114077309 A CN114077309 A CN 114077309A
Authority
CN
China
Prior art keywords
coordinate
control means
vector
control
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110924201.0A
Other languages
English (en)
Inventor
金石中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vtouch Co Ltd
Original Assignee
Vtouch Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210005570A external-priority patent/KR102448108B1/ko
Application filed by Vtouch Co Ltd filed Critical Vtouch Co Ltd
Publication of CN114077309A publication Critical patent/CN114077309A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0426—Programming the control sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35444—Gesture interface, controlled machine observes operator, executes commands

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)

Abstract

提供了一种辅助对象控制的方法。该方法包括：参考是否产生与控制手段的移动相关的触发事件以及控制手段的运动坐标与控制对象区域之间的距离中的至少一项来确定指令矢量；和当控制手段的位置改变时，参考矢量来确定控制对象区域中的控制位置，所述矢量连接在控制手段的位置改变之前基于指令矢量的延长线指定的虚拟参考点以及在控制手段的位置改变之后的控制手段的运动坐标。

Description

用于辅助对象控制的方法、系统和非暂时性计算机可读记录 介质
相关申请的交叉引用
本申请要求于2020年8月14日提交的韩国专利申请号10-2020-0102814、2020年9月21日提交的韩国专利申请号10-2020-0121843和2021年1月14日提交的韩国专利申请号10-2021-0005570的优先权，其全部内容以引用方式并入本文。
技术领域
本发明涉及一种用于辅助对象控制的方法、系统和非暂时性计算机可读记录介质。
背景技术
在触摸显示屏、按下按钮、打开和关闭开关的过程中可能会发生不可避免的接触。用户可能会用他/她的手触摸病毒感染者(例如COVID-19)喷出的呼吸道飞沫附着的地方。在这种情况下，当用户用他/她的手触摸自己的粘膜或结膜时，用户可能会感染病毒。特别地，它们可能经由诸如位于聚集了不特定数量的人的公共场所中的触摸显示器、按钮、开关等的各种设备而彼此接触。这会增加感染的风险。
近年来，提出了以非接触方式控制对象的各种方法来解决这样的问题。
作为现有技术中的这种各种方法的一个示例，可以举例说明在韩国专利公开号2016-97410中公开的技术。该技术涉及一种基于动作识别的输入接口，用于以非接触方式接收用户输入的信息，其包括显示单元、设置有一个或多个感测设备并配置为经由感测设备来感测用户的非接触式手部动作的感测单元、配置为分析由感测单元感测到的非接触式感测信号以产生非接触式动作识别信息的动作识别单元以及配置为控制显示单元以显示由在其上生成的非接触式动作识别信息控制的图像的控制单元。
然而，在目前引入的技术中，包括前述的现有技术，当控制手段(例如手、指尖)的位置发生变化时，是基于指令矢量来指定在控制对象区域中即将发生变化的控制位置(例如光标、指针)的，该指令矢量用于基于控制手段的位置来指定控制对象区域中的控制位置。在这种情况下，根据用户和控制对象区域之间的位置关系，控制对象区域中的控制位置可能会比用户的意图移动得更多或更少。这使得用户难以执行直观的控制。
基于上述发现，发明人提出了一种新颖且进步的技术，当控制手段的位置改变时，能够通过基于指令矢量指定用于指定要在控制对象区域中改变的控制位置的矢量，使得用户能够执行直观控制，以及基于所述指定的矢量指定在所述控制对象区域中要改变的控制位置。
发明内容
本发明的一个目的是解决所有上述问题。
本发明的另一个目的是辅助用户直观而精细地控制控制对象区域中的控制位置。
本发明的另一个目的是动态地确定用于指定用户期望的控制位置的指令矢量。
下面描述用于实现上述目的的本发明的代表性配置。
根据本发明的一个方面，提供了一种辅助对象控制的方法，该方法包括以下步骤：参考是否产生与控制手段的移动相关的触发事件以及控制手段的运动坐标与控制对象区域之间的距离中的至少一项来确定指令矢量；并且当控制手段的位置改变时，参考一个矢量来确定控制对象区域中的控制位置，该矢量连接在控制手段的位置改变之前基于指令矢量的延长线指定的虚拟参考点和在控制手段的位置改变之后的控制手段的运动坐标。
根据本发明的另一方面，提供了一种辅助对象控制的方法，该方法包括以下步骤：参考是否产生与控制手段的移动相关的触发事件以及控制手段的运动坐标与控制对象区域之间的距离中的至少一项来确定指令矢量；并且当控制手段的位置改变时，参考指令矢量来确定控制对象区域中的控制位置，该指令矢量基于第一引导矢量和第二引导矢量之间的关系来校正，该第一引导矢量是在控制手段的位置改变之前参考控制手段的运动坐标而指定的，该第二引导矢量是在控制手段的位置改变之后参考控制手段的运动坐标而指定的。
根据本发明的又一方面，提供了一种辅助对象控制的系统，包括：指令矢量确定单元，配置为参考是否产生与控制手段的移动相关的触发事件以及控制手段的运动坐标与控制对象区域之间的距离中的至少一项来对象来确定指令矢量；控制位置管理单元，配置为当控制手段的位置改变时，参考一个矢量来确定控制对象区域中的控制位置，该矢量连接在控制手段的位置改变之前基于指令矢量的延长线指定的虚拟参考点和在控制手段的位置改变之后的控制手段的运动坐标。
根据本发明的又一方面，提供了一种辅助对象控制的系统，包括：指令矢量确定单元，配置为参考是否产生与控制手段的移动相关的触发事件以及控制手段的运动坐标与控制对象区域之间的距离中的至少一项来确定指令矢量；以及控制位置管理单元，配置为当控制手段的位置改变时，参考指令矢量来确定控制对象区域中的控制位置，该指令矢量基于第一引导矢量和第二引导矢量之间的关系来校正的，该第一引导矢量是参考控制手段的位置改变之前的控制手段的运动坐标而指定的，该第二引导矢量是参考控制手段的位置改变之后的控制手段的运动坐标而指定的。
此外，提供了用于实现本发明的另一种方法、另一种系统以及一种在其上存储有用于执行上述方法的计算机程序的非暂时性计算机可读记录介质。
根据本发明，用户可以直观且精细地控制控制对象区域中的控制位置。
此外，根据本发明，可以动态地确定用于指定用户期望的控制位置的指令矢量。
附图说明
图1示意性地示出了根据本发明的一个实施方式的对象控制辅助系统的详细内部配置。
图2示意性地示出了根据本发明的一个实施方式的基于控制手段的运动坐标与控制对象区域之间的距离动态确定指令矢量的过程。
图3示意性地示出了根据本发明的一个实施方式的在控制对象区域中改变控制位置的过程。
图4示意性地示出了根据本发明的一个实施方式的在控制对象区域中改变控制位置的过程。
图5示意性地示出了根据本发明的一个实施方式的在控制对象区域中改变控制位置的过程。
图6示意性地示出了根据本发明的一个实施方式的在控制对象区域中改变控制位置的过程。
图7示意性地示出了根据本发明的一个实施方式的确定运动矢量的过程。
图8示意性地示出了根据本发明的一个实施方式的确定运动矢量的过程。
图9示意性地示出了根据本发明的一个实施方式的确定运动矢量的过程。
图10示意性地示出了根据本发明的一个实施方式的确定运动矢量的过程。
图11示意性地示出了根据本发明的一个实施方式的确定运动矢量的过程。
图12示意性地示出了根据本发明的一个实施方式的确定运动矢量的过程。
图13示意性地示出了根据本发明的一个实施方式的基于指令矢量指定控制对象区域中的控制位置的过程。
图14示意性地示出了根据本发明的一个实施方式的基于指令矢量指定控制对象区域中的控制位置的过程。
图15示意性地示出了根据本发明的一个实施方式的控制对象区域中根据指令矢量而改变的控制位置。
图16示意性地示出了根据本发明的一个实施方式的确定垂直矢量的过程。
图17示意性地示出了根据本发明的一个实施方式的指定虚拟参考点的过程。
图18示意性地示出了根据本发明的一个实施方式的指定虚拟参考点的过程。
图19示意性地示出了根据本发明的一个实施方式的指定虚拟参考点的过程。
图20示意性地示出了根据本发明的一个实施方式的指定虚拟参考点的过程。
具体实施方式
在本发明的以下详细描述中参考了附图，这些附图通过说明的方式示出了可以在其中实践本发明的具体实施方式。充分详细地描述了这些实施方式以使本领域技术人员能够实践本发明。应当理解，本发明的各个实施方式虽然彼此不同，但不一定是相互排斥的。例如，在不脱离本发明的主旨和范围的情况下，可以将本文描述的特定形状、结构和特征实施为从一个实施方式修改到另一个实施方式。此外，应当理解，在不脱离本发明的主旨和范围的情况下，还可以修改每个实施方式中的各个元件的位置或布置。因此，以下详细描述不应被视为限制性的，本发明的范围应被视为包含所附权利要求及其所有等同物的范围。在附图中，贯穿若干视图，相同的附图标记涉及相同或相似的元件。
以下，将参照附图详细描述本发明的各种优选实施方式，以使本领域技术人员能够容易地实施本发明。
对象控制辅助系统的配置
将描述对于实现本发明至关重要的对象控制辅助系统100的内部配置及其各个组件的功能。
图1示意性地示出了根据本发明的一个实施方式的对象控制辅助系统100的内部配置。
参照图1，根据本发明的一个实施方式的对象控制辅助系统100可以包括指令矢量确定单元110、控制位置管理单元120、通信单元130和控制单元140。此外，根据本发明的一个实施方式，指令矢量确定单元110、控制位置管理单元120、通信单元130和控制单元140中的至少一些可以是与外部系统(未示出)通信的程序模块。这样的程序模块可以以操作系统、应用程序模块和其他程序模块的形式包含在对象控制辅助系统100中，同时它们可以物理地存储在各种公知的存储设备中。此外，程序模块也可以存储在可以与对象控制辅助系统100进行通信的远程存储设备中。同时，如下面将根据本发明所描述，这样的程序模块可以包括但不限于例程、子例程、程序、对象、组件、数据结构等等，用于执行特定任务或执行特定抽象数据类型。
尽管如上描述了对象控制辅助系统100，但是这样的描述是一个示例。如本领域技术人员将理解的，对象控制辅助系统100的至少一些组件或功能可以根据需要在设备(将在下面描述)内部实现或包括在设备中。此外，在一些情况下，对象控制辅助系统100的所有功能和所有组件可以完全在设备内部执行或者可以完全包括在设备中。
根据本发明的一个实施方式的设备是具有用于计算能力的存储装置和微处理器的数字设备，并且可以包括诸如智能眼镜、智能手表、智能手环、智能环、智能项链、智能耳塞、智能耳机、智能耳环等等可穿戴设备，或者是有点传统的设备，如智能手机、智能平板、台式电脑、服务器、笔记本电脑、工作站、个人数码助手(PDA)、网络平板、手机、遥控器等。在能够实现本发明以及前述示例的目的的水平上，可以以各种形式改变该设备。此外，根据本发明的一个实施方式的设备可以包括用于捕获控制手段(例如，用户持有的指针、用户的眼睛或指尖等)的图像的相机模块(未示出)，或者可以通过已知的通信网络与相机模块或设置有相机模块的其他设备进行通信。
此外，根据本发明的一个实施方式的上述设备可以包括根据本发明的用于辅助对象控制的应用程序。这样的应用程序可以从外部分发服务器(未示出)下载。此外，程序模块的特征可大体上类似于对象控制辅助系统100的指令矢量确定单元110、控制位置管理单元120、通信单元130和控制单元140的特征，以下将对其进行描述。在这里，根据需要，应用程序的至少一部分可以被可以执行基本上相同或等效的功能的硬件设备或固件设备代替。
根据本发明的一个实施方式的指令矢量确定单元110可以执行以下功能：参考是否产生与控制手段的移动相关的触发事件以及控制手段的运动坐标与控制对象区域之间的距离中的至少一项来确定指令矢量。根据本发明的一个实施方式，与控制手段的移动相关的触发事件可以包括改变控制手段的移动方向、停止控制手段的移动等。更具体地，触发事件可以包括控制手段向前移动然后向后移动的事件，或者控制手段向前移动然后停止的事件。诸如向前移动和向后移动的移动方向可以基于控制对象区域、用户的特定身体部分(例如眼睛)或稍后描述的虚拟参考点来指定。在这里，根据本发明的一个实施方式的控制对象区域可以表示在其上显示至少一个可由用户控制的对象的区域。
作为示例，当产生与控制手段的移动相关的触发事件时，指令矢量确定单元110可以：参考在控制手段的运动坐标中产生与控制手段的移动相关的触发事件的时间点的坐标而将第一坐标确定为触发坐标；参考触发坐标和运动坐标之间的距离、触发坐标和运动坐标指定的直线段、第一坐标和运动坐标之间的距离以及第一坐标和运动坐标指定的直线段中的至少一项确定第二坐标；以及将基于第一坐标和第二坐标确定的矢量(以下简称“运动矢量”)确定为指令矢量。更具体地，指令矢量确定单元110可以使用第二坐标作为起点并且使用第一坐标作为终点来确定运动矢量。稍后将描述确定运动矢量的方式的细节。
作为另一示例，当控制手段的运动坐标与控制对象区域之间的距离等于或小于预定水平(例如2.5cm)或当产生与控制手段的移动相关的触发事件并且运动矢量无效时，指令矢量确定单元110可以将经过触发坐标或第一坐标且与控制对象区域垂直的矢量(以下简称“垂直矢量”)确定为指令矢量。
更具体地，在产生控制手段向前移动然后停止的触发事件的情况下，第一坐标(或控制手段的运动坐标)与控制对象区域之间的距离落在预定范围内(更具体地，1cm至2.5cm)，并且运动矢量无效，指令矢量确定单元110可以将经过第一坐标并垂直于控制对象区域的矢量(例如，以第一坐标为起点，以控制对象区域中位于距第一坐标最短距离处的某个点为终点的矢量)确定为指令矢量。此外，在产生控制手段向前移动然后向后移动的触发事件的情况下，第一坐标(或控制手段的运动坐标)与控制对象区域的距离落在预定范围内(更具体地，1cm到2.5cm)，并且运动矢量无效，指令矢量确定单元110可以将经过触发坐标并且垂直于控制对象区域的矢量(例如，以触发坐标为起点，以控制对象区域中位于距第一坐标最短距离处的点为终点的矢量)确定为指令矢量。此外，在第一坐标(或控制手段的运动坐标)与控制对象区域之间的距离落在预定范围内(更具体地，0cm至1cm)且运动矢量无效的情况下，指令矢量确定单元110可以将经过第一坐标并垂直于控制对象区域的矢量(例如，以第一坐标为起点，以控制对象区域中位于距第一坐标最短距离处的某个点为终点的矢量)确定为指令矢量。
作为又一示例，在控制手段的运动坐标与控制对象区域之间的距离等于或大于预定水平(例如8cm)的情况下，指令矢量确定单元110可以将基于控制手段的运动坐标和用户的身体部位的坐标(例如，以用户的身体部位的坐标为起点，控制手段的运动坐标为终点的矢量)指定的矢量(以下称为“指向矢量”)确定为指令矢量。在本发明的一个实施方式中，用户的身体部位的坐标的示例可以包括与各种身体部位相关的坐标，例如用户的眼睛(例如，优势眼、双眼等)、头部、手、指尖等。当根据本发明的一个实施方式的控制手段是用户的特定身体部位时，可以基于用户的特定身体部位和不同于特定身体部位的另一身体部位来确定指令矢量。
更具体地，在控制手段为用户指尖的情况下，当用户指尖的运动坐标与控制对象区域的距离等于或大于8cm时，指令矢量确定单元110可以将以用户的眼睛(具体为优势眼)的坐标为起点、以指尖的运动坐标为终点的矢量确定为指令矢量。
图2示意性地示出了根据本发明的一个实施方式的基于控制手段的运动坐标与控制对象区域之间的距离动态确定指令矢量的过程。
参照图2，首先，当根据本发明的一个实施方式的控制手段的运动坐标是指尖的坐标(即，第一身体坐标)并且控制手段的运动坐标存在于距控制对象区域的第二距离(例如8cm)或更多处时，可以将基于用户的指尖坐标(即第一身体坐标)和用户的眼睛坐标(即第二身体坐标)指定的矢量201和202确定为指令矢量。例如，当控制手段的运动坐标存在于距控制对象区域的第一距离(例如30cm)或更多处时，可以将连接用户的指尖坐标(即第一身体坐标)和用户的优势眼坐标(即第二身体坐标)的矢量201确定为指令矢量。当控制手段的运动坐标存在于距控制对象区域的第二距离(例如8cm)或更多处且距控制对象区域的第一距离(例如30cm)或更少处时，可以将(i)连接用户的指尖坐标(即第一身体坐标)和用户的优势眼坐标(即第二身体坐标)的矢量201或(ii)连接用户的指尖坐标(即第一身体坐标)和用户双眼中心的坐标(即第二身体坐标)的矢量202确定为指令矢量。
此外，根据本发明的一个实施方式，当控制手段的运动坐标存在于距控制对象区域的第三距离(例如2.5cm)或大于且小于第二距离(例如8cm)处时，可以将基于用户的指尖坐标(即第一身体坐标)和用户的眼睛坐标(即第二身体坐标)指定的矢量201和202中的任何一个以及运动矢量203确定为指令矢量。例如，当确定基于用户的指尖坐标(即第一身体坐标)和用户的眼睛坐标(即第二身体坐标)指定的矢量201和202时，可以将基于用户的指尖坐标(即第一身体坐标)和用户的眼睛坐标(即第二身体坐标)指定的矢量201和202确定为指令矢量。当基于用户的指尖坐标(即第一身体坐标)和用户的眼睛坐标(即第二身体坐标)指定的矢量201和202未确定或无效时，可以将运动矢量203确定为指令矢量。
此外，根据本发明的一个实施方式，当控制手段的运动坐标存在于小于距控制对象区域的第三距离(例如2.5cm)的范围内时，可以将基于用户的指尖坐标(即第一身体坐标)和用户的眼睛坐标(即第二身体坐标)指定的矢量201和202中的任一个、运动矢量203和垂直矢量204确定为指令矢量。例如，当确定基于用户的指尖坐标(即第一身体坐标)和用户的眼睛坐标(即第二身体坐标)指定的矢量201和202时，可以将基于用户的指尖坐标(即第一身体坐标)和用户的眼睛坐标(即第二身体坐标)指定的矢量201和202确定为指令矢量。当基于用户的指尖坐标(即第一身体坐标)和用户的眼睛坐标(即第二身体坐标)指定的矢量201和202未确定或无效时，可以将运动矢量203确定为指令矢量。当基于用户的指尖坐标(即第一身体坐标)和用户的眼睛坐标(即第二身体坐标)指定的矢量201和202未确定或无效时，可以将运动矢量203确定为指令矢量。此外，当基于用户的指尖坐标(即第一身体坐标)和用户的眼睛坐标(即第二身体坐标)指定的矢量201和202以及运动矢量203未确定或无效时，可以将垂直于控制对象区域的垂直矢量204(例如，经过触发坐标或第一坐标的矢量)确定为指令矢量。
当控制手段的位置改变时，根据本发明的一个实施方式的控制位置管理单元120可以执行参考一个矢量(下文称为“连接矢量”)来确定控制对象区域中的控制位置的功能，所述矢量连接在控制手段的位置改变之前基于指令矢量的延长线指定的虚拟参考点和在控制手段的位置改变之后的控制手段的运动坐标。
作为示例，当控制手段的位置发生变化时，控制位置管理单元120可以指定存在于指令矢量的延长线上的某个点作为虚拟参考点，该延长线的方向与控制手段的位置改变之前而定向的指令矢量的方向相反，并确定连接虚拟参考点和在控制手段的位置改变之后的控制手段的运动坐标的矢量。此外，控制位置管理单元120可以将连接矢量的延长线和控制对象区域彼此相交的点(或区域)确定为控制位置。
更具体地，如图3所示，当指令矢量是运动矢量并且控制手段的位置改变时，控制位置管理单元120可以将在存在于运动矢量310的延长线上的点中与运动矢量310间隔40至50cm距离(例如，距运动矢量310的起点或终点)的点指定为虚拟参考点302，该延长线的方向与控制手段的位置(在点301)改变之前而定向的运动矢量310的方向相反，并且可以确定矢量320(即，连接矢量)，矢量320连接虚拟参考点302和控制手段的位置改变之后的控制手段的运动坐标303。此外，控制位置管理单元120可以将矢量320或矢量320的延长线与控制对象区域彼此相交的点确定为控制位置330。
在一些实施方式中，如图4所示，当指令矢量是垂直矢量并且控制手段的位置改变时，控制位置管理单元120可以将在存在于垂直矢量410的延长线上的点之间的与垂直矢量410间隔40至50cm距离(例如，距垂直矢量410的起点或终点)的点指定为虚拟参考点402，该延长线的方向与在控制手段的位置(在点401)改变之前而定向垂直矢量410的方向相反，并且可以确定矢量420(即，连接矢量)，矢量420连接虚拟参考点402和在控制手段的位置改变之后的控制手段的运动坐标403。此外，控制位置管理单元120可以将矢量420或矢量420的延长线与控制对象区域彼此相交处的点确定为控制位置430。
在一些实施方式中，当控制手段的位置改变时，控制位置管理单元120可以执行参考指令矢量来确定控制对象区域中的控制位置的功能，该指令矢量是基于第一引导矢量和第二引导矢量之间的关系(例如，位置关系)来校正的，第一引导矢量是参考控制手段的位置改变之前的控制手段的运动坐标而指定的，第二引导矢量是参考控制手段的位置改变之后的控制手段的运动坐标而指定的。
作为示例，当控制控制的位置改变时，基于第一引导矢量和第二引导矢量之间的位置或方向改变，控制位置管理单元120可以通过第一引导矢量和第二引导矢量之间的位置变化量或定向指令矢量的方向(例如，对应于第一引导矢量和第二引导矢量之间的方向或角度变化)以平行移动方式(例如，通过第一引导矢量和第二引导矢量之间的位置变化量的平行移动(更具体地，第一引导矢量和第二引导矢量的终点或起点之间的位置))来校正指令矢量，第一引导矢量是参考控制手段的位置改变之前的控制手段的运动坐标指定的，第二引导矢量是参考控制手段的位置改变之后的控制手段的运动坐标指定的。此外，控制位置管理单元120可以将校正后的指令矢量或校正后的指令矢量的延长线与控制对象区域彼此相交处的点(或区域)确定为控制位置。这些引导矢量可以是被设置以指定与控制手段(或用户的控制意图)相关联的方向的矢量。例如，引导矢量可以是通过连接控制手段的运动坐标和与相应运动坐标相关联的控制手段的其他坐标而指定的矢量。更具体地，当控制手段的运动坐标是用户的食指尖坐标时，以食指尖的坐标为终点、以食指的节点(或关节)的坐标为起点的矢量(例如，手指矢量)可指定为引导矢量。或者，当控制手段的运动坐标为手掌中心的坐标时，以食指尖的坐标为终点、以手掌中心的坐标为起点的矢量可指定为引导矢量。在此，需要说明的是，本发明上述实施方式中描述的其他坐标不一定限于控制手段的坐标，也可以是与控制手段相邻的其他控制手段的坐标。
更具体地，如图5所示，当指令矢量是运动矢量510并且控制手段的位置改变时，通过参考第一手指矢量511和第二手指矢量521之间的位置改变量551和方向改变量552，控制位置管理单元120可以通过平行移动运动矢量510(例如，平行移动运动矢量510为位置改变量551)以及校正定向运动矢量510的方向(例如，改变旋转方向为方向改变量552)来确定校正的运动矢量，第一手指矢量511是参考控制手段的位置改变之前的控制手段的运动坐标501(例如，食指尖的坐标)而指定为引导矢量(例如，以食指尖的坐标为终点，以食指的节点坐标为起点的矢量)，第二手指矢量521是参考控制手段的位置改变之后的控制手段的运动坐标503而指定的。此外，控制位置管理单元120可以将校正的运动矢量或校正的运动矢量的延长线与控制对象区域彼此相交处的点确定为控制位置530。
如图6所示，当指令矢量是垂直矢量610并且控制手段的位置改变时，通过参考第一手指矢量611和第二手指矢量621之间的位置改变量和方向改变量，控制位置管理单元120可以通过平行移动垂直矢量610(例如，平行移动垂直矢量610为位置改变量)以及校正定向垂直矢量610的方向(例如，改变旋转方向为方向改变量)来确定校正的垂直矢量620，第一手指矢量611是参考在控制手段的位置改变之前的控制手段的运动坐标601(例如，食指尖的坐标)而指定为引导矢量(例如，以食指尖的坐标为终点，以食指的节点坐标为起点的矢量)，第二手指矢量621是参考在控制手段的位置改变之后的控制手段的运动坐标603而指定的。此外，控制位置管理单元120可以将校正的垂直矢量620或校正的垂直矢量620的延长线与控制对象区域彼此相交处的点确定为控制位置630。
在一些实施方式中，可以考虑进一步改变控制手段的方向的情况。这里所说的控制手段的方向是指与用户期望的控制相关的方向，可以基于控制手段的运动坐标和与相应运动坐标相关联的控制手段的其他坐标来指定，或者可以基于控制手段的形状来指定。例如，当控制手段的运动坐标是食指尖的坐标时，食指所指示的方向可以是控制手段的方向。控制手段的方向可以与上述引导矢量的方向相同，但是可以根据需要被设置为与引导矢量的方向不同。
作为示例，根据本发明的一个实施方式，当控制手段的位置和方向改变时，控制位置管理单元120可以通过参考指令矢量来执行确定控制对象区域中的控制位置的功能，该指令矢量是基于第一引导矢量和第二引导矢量之间的关系(例如，位置关系或方向关系)来校正的，第一引导矢量是参考控制手段的位置和方向改变之前的控制手段的运动坐标和控制手段的方向而指定(例如，在控制手段的位置和方向改变之前，使用控制手段的运动坐标作为起点，在与控制手段的方向相同或平行的方向上延伸并与控制对象区域相交的点作为终点来指定，或者在控制手段的位置和方向改变之前，通过使用控制手段的运动坐标作为起点在等于或平行于控制手段的方向上延伸预定长度来指定)，第二引导矢量是参考控制手段的位置和方向改变之后的控制手段的运动坐标和控制手段的方向而指定(例如，在控制手段的位置和方向改变之后，使用控制手段的运动坐标作为起点，在与控制手段的方向相同或平行的方向上延伸并与控制对象区域相交的点作为终点来指定，或者在控制手段的位置和方向改变之前，通过使用控制手段的运动坐标作为起点在等于或平行于控制手段的方向上延伸预定长度来指定)。
在一些实施方式中，控制位置管理单元120可以参考用户的对象控制模式(或用户的偏好控制模式)在上述连接矢量和上述校正指令矢量之间确定用户用于对象控制的矢量，并且可以将矢量的延长线与控制对象区域彼此相交处的点确定为控制位置。
作为示例，控制位置管理单元120可以将上述连接矢量和上述校正指令矢量之间用户频繁使用超过一定水平的矢量、参考用户的反馈指定的矢量(例如，指定为具有高准确度或满意度的矢量)或通过分析或学习用户使用的模式而指定的矢量确定为用户用于对象控制的矢量。
根据本发明的实施方式，通信单元130可以用于实现来自/向指令矢量确定单元110和控制位置管理单元120的数据发送和接收。
根据本发明的实施方式，控制单元140可以用于控制指令矢量确定单元110、控制位置管理单元120和通信单元130之间的数据流。即，根据本发明的控制单元140可以控制数据流入/流出对象控制辅助系统100或对象控制辅助系统100的各个组件之间的数据流，使得指令矢量确定单元110、控制位置管理单元120和通信单元130可以分别执行它们的特定功能。
确定运动矢量的过程
在下文中，将详细描述确定运动矢量的过程。
根据本发明的一个实施方式的指令矢量确定单元110可以执行参考在控制手段的运动坐标中在产生与控制手段的移动有关的触发事件的时间点的坐标来将第一坐标确定为触发坐标的功能。
作为示例，指令矢量确定单元110可以将在控制手段的运动坐标中在产生控制手段向控制对象区域移动然后停止的触发事件的时间点的坐标(即触发坐标)确定为第一坐标。
作为另一示例，当产生控制手段向控制对象区域移动然后向后移动的触发事件时，指令矢量确定单元110可以参考在产生相应触发事件的时间点的控制手段的运动坐标、即触发坐标将在预定前一时间(例如，刚好在产生触发事件之前的时间点)的控制手段的运动坐标确定为第一坐标。这里所指的预定前一时间可以基于捕获模块(例如，相机)的捕获间隔或帧速率来指定，所述捕获模块捕获控制手段的图像。
在产生触发事件的时间点，控制手段可能会抖动。为了校正这样的抖动，指令矢量确定单元110可以参考基于触发坐标指定的控制手段的至少一个运动坐标来确定第一坐标。
作为示例，指令矢量确定单元110可以参考指定产生触发坐标的时间点通过对在预定时间段内指定的控制手段的多个运动坐标进行统计分析来确定第一坐标。根据本发明的一个实施方式的统计分析可以包括基于多个运动坐标的平均值、加权平均值、方差、标准偏差等的分析。更具体地，指令矢量确定单元110可以通过参考指定触发坐标的时间点对0.01秒至0.1秒内指定的多个运动坐标进行平均而获得的运动坐标确定为第一坐标。
作为另一示例，指令矢量确定单元110可以通过对存在于距触发坐标预定距离内的控制手段的多个运动坐标进行统计分析来确定第一坐标。更具体地，指令矢量确定单元110可以将通过对距触发坐标5mm至10mm的距离内指定的控制手段的多个运动坐标进行平均而获得的运动坐标确定为第一坐标。
在一些实施方式中，指令矢量确定单元110可以从统计分析的对象中排除上述触发坐标和在距触发坐标预定距离内的运动坐标中的至少一个。
作为示例，当产生控制手段向前移动然后停止或向前移动然后向后移动的触发事件时，参考产生触发事件的时间点指定的触发坐标，以及在距触发坐标5mm距离内的运动坐标可能会剧烈抖动。为此，指令矢量确定单元110可以从统计分析的对象中排除触发坐标和在距触发坐标5mm距离内的运动坐标。
在一些实施方式中，指令矢量确定单元110可以参考触发坐标或第一坐标与控制手段的运动坐标之间的距离来确定第二坐标。
作为示例，指令矢量确定单元110可以将在触发坐标或第一坐标与控制手段的运动坐标之间的距离等于或大于预定水平的时间点的控制手段的运动坐标确定为第二坐标。更具体地说，如图7所示，指令矢量确定单元110可以将在触发坐标701与控制手段的运动坐标之间的距离等于或大于40mm至50mm的时间点的控制手段的运动坐标702确定为第二坐标。
作为另一示例，指令矢量确定单元110可以在具有等于或大于距触发坐标的预定水平的距离的控制手段的运动坐标中，将在距指定第一坐标的时间点最近的时间点的运动坐标确定为第二坐标。更具体地，如图7所示，指令矢量确定单元110可以在具有等于或大于距触发坐标701的50mm的距离的控制手段的运动坐标中，将在与指定第一坐标703的时间点最近的时间点的运动坐标702确定为第二坐标。
在一些实施方式中，指令矢量确定单元110可以参考触发坐标或第一坐标和控制手段的运动坐标所指定的直线段来确定第二坐标。
作为示例，在由连接在其他时间的控制手段的每个运动坐标与第一坐标(或触发坐标)而指定的直线段内的运动坐标中，指令矢量确定单元110可以将存在于距离第一坐标(或触发坐标)最远的运动坐标确定为第二坐标，所述直线段，其他时间点在时间上与指定第一坐标(或触发坐标)的时间点相邻。在这种情况下，当从指定第一坐标(或触发坐标)的时间点到上述其它时间点的所有时间上相邻的运动坐标存在于距离连接第一坐标(或触发坐标)和控制手段在上述其它时间点的运动坐标的直线的预定距离内时，可以指定该直线段。
更具体地，假设指定第一坐标(或触发坐标)的时间点是第一时间点，在时间上与第一时间点相邻的第二时间点的控制手段的运动坐标是第二运动坐标，在时间上与第二时间点相邻的第三时间点的控制手段的运动坐标是第三运动坐标，以及在时间上与第三时间点时间相邻的第四时间点的控制手段的运动坐标是第四运动坐标。在这种情况下，当第二运动坐标存在于距连接第一坐标(或触发坐标)和第三运动坐标的直线的预定距离内时，指令矢量确定单元110可以指定该直线段包括第一坐标(或触发坐标)、第二运动坐标和第三运动坐标。此外，当第二运动坐标和第三运动坐标都存在于距连接第一坐标(或触发坐标)和第四运动坐标的直线的预定距离内时，指令矢量确定单元110可以指定该直线段包括第一坐标(或触发坐标)、第二运动坐标、第三运动坐标和第四运动坐标。
在一些实施方式中，指令矢量确定单元110可以指定通过以时间相邻的顺序将控制手段在其他时间点的运动坐标彼此连接来指定的直线段中最长的一个，其他时间点在时间上与指定第一坐标(或者触发坐标)的时间点相邻，并且指令矢量确定单元110可以将存在于最长直线段中的控制手段的多个运动坐标中的位于距第一坐标(或者触发坐标)最远距离的运动坐标确定为第二坐标。在一些实施方式中，存在于直线段中的控制手段的多个运动坐标之间的距离可以落入预定范围内。
此外，如图8所示，假设指定第一坐标821的时间点为第一时间点，在时间上与第一时间点相邻的第二时间点的控制手段的运动坐标是第二运动坐标822，在时间上与第二时间点相邻的第三时间点的控制手段的运动坐标是第三运动坐标823，以及在时间上与第三时间点时间相邻的第四时间点的控制手段的运动坐标是第四运动坐标824。在这种情况下，指令矢量确定单元110可以将连接第一坐标821和第二运动坐标822的第一直线段、连接第一坐标821和第三运动坐标823的第二直线段以及连接第一坐标821和第四运动坐标824的第三直线段确定为可指定直线段，并且可以将在第三直线段中的多个运动坐标之间的存在于距第一坐标821最远距离的第四运动坐标824确定为第二坐标，第三段直线段是多个可指定直线段(即第一直线段、第二段直线段和第三段直线段)中最长的一个。
在一些实施方式中，指令矢量确定单元110可以将参考第一坐标(或触发坐标)与控制手段的运动坐标之间的距离确定的坐标以及参考由第一坐标(或触发坐标)和控制手段的运动坐标指定的直线段的坐标之间最接近第一坐标(或触发坐标)的坐标确定为第二坐标。
作为示例，如图9所示，指令矢量确定单元110可确定(i)在触发坐标与控制手段的运动坐标之间的距离的时间点的控制手段的运动坐标910、912、914、916、920和922变得等于或大于预定水平，以及(ii)在直线段中的运动坐标中存在于距第一坐标最远距离的运动坐标911、913、915、917、921和923，所述直线段可由连接与在指定第一坐标的时间点相邻的其他时间点的控制手段的每个运动坐标和上述第一坐标来指定，并且可以将多个运动坐标910、911、912、913、914、915、916、917、920、921、922和923中的与第一坐标最接近的运动坐标911、913、915、917、920和922确定为第二坐标。
指令矢量确定单元110可以基于第一坐标和第二坐标来确定运动矢量。
作为示例，指令矢量确定单元110可以将以第二坐标为起点并且以第一坐标为终点的矢量确定为运动矢量。
在一些实施方式中，当不存在触发坐标或第一坐标与控制手段的运动坐标之间的距离等于或大于预定水平的运动坐标时，指令矢量确定单元110可以确定没有可指定的运动矢量。
作为示例，如图10所示，即使可以指定第二坐标1001和1002，其参考由触发坐标或第一坐标和控制手段的运动坐标指定的直线段而确定，当参考触发坐标或第一坐标与控制手段的运动坐标之间的距离确定的第二坐标不能指定时，指令矢量确定单元110可以确定不存在可指定的运动矢量。
在一些实施方式中，指令矢量确定单元110可以参考运动矢量的长度、速度、方向和第一坐标的位置中的至少一个来验证运动矢量的有效性。
作为一示例，当通过将运动矢量的长度按预定因子缩放而获得的长度大于控制对象区域与第一坐标之间的距离时，指令矢量确定单元110可以确定运动矢量有效。
作为另一示例，指令矢量确定单元110可以基于运动矢量的长度指定有效区域，并且当控制对象区域存在于有效区域内时确定运动矢量有效。更具体地，如图11所示，指令矢量确定单元110可以将通过将运动矢量的长度按预定水平缩放而获得的区域(或扩展区域)指定为有效区域1102，并当存在有效区域1102和控制对象区域共有的区域时，确定运动矢量有效。
作为又一示例，当运动矢量的长度长于预定长度(例如，10mm到20mm)时，指令矢量确定单元110可以确定运动矢量有效。
作为又一示例，当运动矢量的速度等于或大于预定速度(例如，10mm/sec至20mm/sec)时，指令矢量确定单元110可以确定运动矢量有效。
作为又一示例，如图12所示，当运动矢量与控制对象区域之间的角度(具体地，与控制对象区域的法向量形成的角度)落入预定范围(例如，45度<θx<45度，并且30度<θy<60度)内时，指令矢量确定单元110可以确定运动矢量有效。
作为又一示例，当上述第一坐标(即，运动矢量的终点)存在于距控制对象区域的预定距离(例如，100mm)内时，指令矢量确定单元110可以确定运动矢量有效。
在一些实施方式中，如图13和14所示，可以使用由用户的注视或用户头部的姿势指定的注视矢量来验证运动注视的有效性。
作为示例，当使用根据本发明的运动矢量在控制对象区域中指定的第一控制位置与使用由注视或用户头部的姿势指定的注视矢量在控制对象区域中指定的第二控制位置之间存在的误差等于或小于预定水平时，则可以将运动矢量确定为有效运动矢量。
第一实施方式
在下文中，将描述根据本发明的对象控制对使用包括根据本发明的一个实施方式的对象控制辅助系统100的设备的用户进行辅助的情况。本发明的一个实施方式中的控制手段可以是用户的指尖(例如，食指的指尖)。
首先，当控制手段的运动坐标与控制对象区域之间的距离等于或小于预定水平(例如，8cm)并且产生与控制手段的移动相关的触发事件时，根据本发明的一个实施方式的设备可以参考在用户指尖的运动坐标中在产生指尖向控制对象区域移动然后停止的触发事件的时间点的坐标将第一坐标确定为触发坐标。
作为示例，当产生用户的指尖向控制对象区域移动然后停止的触发事件时，用户指尖的运动坐标中在产生触发事件的时间点的运动坐标(即触发坐标)可以被确定为第一坐标。
之后，可以参考上述触发坐标与用户指尖的运动坐标之间的距离以及上述第一坐标与用户指尖的运动坐标所指定的直线段来确定第二坐标。
具体地，在参考上述触发坐标与用户指尖的运动坐标之间的距离确定的坐标中接近上述第一坐标的坐标，以及参考由第一坐标(或触发坐标)和用户指尖的运动坐标指定的直线段确定的坐标，可以被确定为第二坐标。
随后，可以参考指定为以第二坐标为起点、以第一坐标为终点的矢量(即运动矢量)的长度、速度、方向以及第一坐标的位置中的至少一个来验证运动矢量的有效性。
之后，当确定运动矢量有效时，可以将运动矢量确定为指令矢量，将控制对象区域中与运动矢量的延长线相交的区域确定为用户期望的控制位置。
在一些实施方式中，可以根据指令矢量的类型(或指定指令矢量的标准)或控制手段的运动坐标与控制对象区域之间的距离来确定与上述触发事件的产生相关的方向(例如，用于确定是否产生触发事件的标准的方向)。
作为示例，在根据本发明的一个实施方式的指向矢量作为指令矢量的情况下，可以参考用户的特定身体部分(例如，眼睛)来指定指向矢量的方向(即，用于确定是否产生触发事件的标准的方向)。在运动矢量作为指令矢量的情况下，可以参考基于运动矢量(或运动矢量的延长线)指定的虚拟参考点来指定运动矢量的方向(即，用于确定是否产生触发事件的标准的方向)。在垂直矢量作为指令矢量的情况下，可以参考控制对象区域或可以参考基于垂直矢量(或垂直矢量的延长线)指定的虚拟参考点来指定垂直矢量的方向(即，用于确定是否产生触发事件的标准的方向)。
作为另一示例，当控制手段的运动坐标与控制对象区域之间的距离等于或大于第一距离(例如，8cm)时，可以参考用户的特定身体部分(例如，眼睛)来指定方向(即，用于确定是否产生触发事件的标准的方向)。当控制手段的运动坐标与控制对象区域之间的距离小于第一距离且等于或大于第二距离(例如，2.5cm)时，可以参考虚拟参考点(例如，基于运动矢量或运动矢量的延长线指定的虚拟参考点)来指定方向(即，用于确定是否产生触发事件的标准的方向)。当控制手段的运动坐标与控制对象区域之间的距离小于第二距离(例如，0cm至小于第二距离)时，可以参考控制对象区域或可以参考虚拟参考点(例如，基于垂直矢量或垂直矢量的延长线指定的虚拟参考点)来指定方向(即，用于确定是否产生触发事件的标准的方向)。上述示例中对距离进行分割的方式(例如，距离段的数量)不一定限于上述的那些，只要能够达到本发明的目的，还可以进一步对距离进行分割。
如图15所示，当用户的指尖位置改变时，可以参考矢量来确定控制对象区域中要改变的控制位置，所述矢量连接在指尖位置改变之前基于运动矢量的延长线指定的虚拟参考点以及在指尖位置改变之后用户指尖的运动坐标。或者，可以参考上述运动矢量(即，校正运动矢量)确定控制对象区域中要改变的控制位置，上述运动矢量基于第一引导矢量和第二引导矢量之间的关系来校正，所述第一引导矢量在用户指尖的位置改变之前参考用户指尖的运动坐标而指定的，所述第二引导矢量在用户指尖的位置改变之后参考用户指尖的运动坐标而指定的。在一些实施方式中，可以参考用户的对象控制模式(或用户预设的对象控制方式)确定上述连接矢量和上述校正运动矢量之间用户用于对象控制的矢量。
第二实施方式
在下文中，将描述根据本发明的对象控制对使用包括对象控制辅助系统100的设备的用户进行辅助的另一种情况。本发明的一个实施方式中的控制手段可以是用户的指尖(例如，食指的指尖)。
首先，当控制手段的运动坐标与控制对象区域之间的距离等于或小于预定水平(例如，2.5cm)并且产生与控制手段的移动相关的触发事件时，根据本发明的一个实施方式的设备可以参考在用户指尖的运动坐标在产生指尖向控制对象区域移动然后停止的触发事件的时间点的坐标将第一坐标确定为触发坐标。
之后，可以参考触发坐标与用户指尖的运动坐标之间的距离以及第一坐标和用户指尖的运动坐标所指定的直线段确定第二坐标。
随后，可以参考第一坐标的位置以及基于第一坐标和第二坐标确定的矢量(即，运动矢量)的长度、速度、方向中的至少一个来验证运动矢量的有效性。
之后，当基于第一坐标和第二坐标确定的矢量(即，运动矢量)无效时，可以将经过触发坐标或第一坐标并垂直于控制对象区域的矢量1601(即垂直矢量)确定为指令矢量。
回来参照图15，当用户指尖的位置改变时，可以参考矢量(即，连接矢量)来确定控制对象区域中要改变的控制位置，所述矢量连接在指尖位置改变之前基于垂直矢量的延长线指定的虚拟参考点和在指尖位置改变之后的用户指尖的运动坐标。或者，可以参考垂直矢量(即，校正垂直矢量)来确定控制对象区域中要改变的控制位置，该垂直矢量是基于第一引导矢量和第二引导矢量之间的关系来校正，所述第一引导矢量是在指尖位置改变之前参考用户指尖的运动坐标而指定的，第二引导矢量是在指尖位置改变之后参考用户指尖的运动坐标而指定的。在一些实施方式中，可以参考用户的对象控制模式(或用户预设的对象控制方式)来确定连接矢量和校正垂直矢量之间用于用户对象控制的矢量。
与指定虚拟参考点相关的实施方式
当根据本发明的一个实施方式的控制手段接近或远离控制对象区域时，可以根据是否产生触发事件或者控制手段的运动坐标和控制对象区域之间的距离在各个时刻点确定指令矢量(即，可以确定多个指令矢量)。在下文中，将描述在这种情况下，确定虚拟参考点和控制位置的具体情况。
作为示例，如图17所示，假设时刻t的控制手段的运动坐标为PFTt，时刻t的虚拟参考点为RPt，时刻t的控制对象区域中的控制位置为Ct。在这种情况下，由于运动矢量在时刻t＝-5时被确定为无效，因此可以不基于运动矢量指定虚拟参考点，并且控制对象区域中的控制位置C-5(1721)也可能无法确定。随后，当在时刻t＝-4确定运动矢量有效时，可以基于运动矢量指定虚拟参考点RP-4(1702)，以及可以基于虚拟参考点RP-4(1702)和控制手段的运动坐标PFT-4(1712)来确定控制对象区域中的控制位置C-4(1722)。然后，当在时刻t＝-3确定运动矢量有效时，可以基于运动矢量指定虚拟参考点RP-3(1703)，以及可以基于虚拟参考点RP-3(1703)和控制手段的运动坐标PFT-3(1713)来确定控制对象区域中的控制位置C-3(1723)。此后，当在时刻t＝-2确定运动矢量有效时，可以基于运动矢量指定虚拟参考点RP-2(1704)，以及可以基于虚拟参考点RP-2(1704)和控制手段的运动坐标PFT-2(1714)来确定控制对象区域中的控制位置C-2(1724)。随后，当在时刻t＝-1确定运动矢量有效时，可以基于运动矢量指定虚拟参考点RP-1(1705)，以及可以基于虚拟参考点RP-1(1705)和控制手段的运动坐标PFT-1(1715)来确定控制对象区域中的控制位置C-1(1725)。然后，由于在时刻t＝0时运动矢量被确定为无效，因此不能基于运动矢量指定虚拟参考点，以及可以基于虚拟参考点RP-1(1705)和控制手段的运动坐标PFT0(1716)确定控制对象区域中的控制位置C0(1726)，虚拟参考点RP-1(1705)在先前时刻被确定为有效(具体地，在时刻t＝0或最近时刻之前的时刻被确定为有效的虚拟参考点)。
将描述根据本发明的一个实施方式的基于在先前时刻被确定为有效的虚拟参考点(具体地，在时刻t＝0或最近时刻之前的时刻被确定为有效的虚拟参考点)对当前虚拟参考点进行修正的过程。
如图18所示，首先，由于在时刻t＝-5时运动矢量被确定为无效，因此不能基于运动矢量指定虚拟参考点，并且控制对象区域中的控制位置C-5(1821)也可能无法确定。然后，当在时刻t＝-4确定运动矢量有效时，可以基于运动矢量指定虚拟参考点RP-4(1802)，以及可以基于虚拟参考点RP-4(1802)和控制手段的运动坐标PFT-4(1812)来确定控制对象区域中的控制位置C-4(1822)。然后，当在时刻t＝-3确定运动矢量有效时，可以基于运动矢量指定虚拟参考点RP-3(1803)，以及可以基于虚拟参考点RP'-3(1806)、和当前虚拟参考点RP-3(1803)以及控制手段的运动坐标PFT-3(1813)来确定在控制对象区域中的控制位置C'-3(1823)，该虚拟参考点RP'-3(1806)是基于虚拟参考点RP-4(1802)指定的，该虚拟参考点RP-4(1802)在先前时刻(或上一次)被确定为有效。在这种情况下，虚拟参考点RP'-3(1806)可以通过统计分析前一个虚拟参考点和当前虚拟参考点的两个坐标来指定，并且这种统计分析可以包括基于坐标的平均值、加权平均值、方差、标准差的分析。随后，当在时刻t＝-2确定运动矢量有效时，可以基于运动矢量指定虚拟参考点RP-2(1804)，以及可以基于虚拟参考点RP'3(1807)和控制手段的运动坐标PFT-2(1814)来确定控制对象区域中的控制位置C'-2(1824)，该虚拟参考点RP'3(1807)是基于虚拟参考点RP'-3(1806)确定的，该虚拟参考点RP'-3(1806)在先前时刻被确定为有效。虚拟参考点RP'-2(1807)也可以通过统计分析前一个虚拟参考点和当前虚拟参考点的两个坐标来指定，并且这种统计分析可以包括基于坐标的平均值、加权平均值、方差、标准差的分析。随后，当在时刻t＝-l确定运动矢量有效时，可以基于运动矢量指定虚拟参考点RP-1(1805)，以及可以基于虚拟参考点RP'-1(1808)、和当前虚拟参考点RP-1(1805)以及控制手段的运动坐标PFT-1(1815)来确定控制对象区域中的控制位置C'-1(1825)，该虚拟参考点RP'-1(1808)是基于虚拟参考点RP-2(1807)指定的，该虚拟参考点RP-2(1807)在先前时刻被确定为有效。虚拟参考点RP'-1(1808)也可以通过统计分析前一个虚拟参考点和当前虚拟参考点的两个坐标来指定，并且这种统计分析可以包括基于坐标的平均值、加权平均值、方差、标准差的分析。然后，由于在时刻t＝0时运动矢量被确定为无效，因此不能基于运动矢量指定虚拟参考点，以及可以基于虚拟参考点RP'-1(1808)和控制手段PFT0(1816)的运动坐标来确定控制对象区域中的控制位置C'0(1826)，该参考点RP'-1(1808)在先前时刻被确定为有效(具体地，在先前时刻或最近时刻被确定为有效的虚拟参考点)。
将描述根据本发明的一个实施方式的仅使用有效运动矢量来指定虚拟参考点的过程。
如图19所示，首先，由于在时间t＝-5至t＝-2时确定运动矢量无效，因此不能基于运动矢量指定虚拟参考点，并且控制对象区域中的控制位置C-5(1921)、C-4(1922)、C-3(1923)和C-2(1924)也可能无法确定。然后，当在时间t＝-1确定运动矢量有效时，可以基于运动矢量指定虚拟参考点RP-1(1905)，以及可以基于虚拟参考点RP-1(1905)和控制手段的运动坐标PFT-1(1915)来确定控制对象区域中的控制位置C-1(1925)。随后，由于在时间t＝0时确定运动矢量无效，因此不能基于运动矢量指定虚拟参考点，以及可以基于虚拟参考点RP-1(1905)和控制手段的运动坐标PFT0(1916)确定控制对象区域中的控制位置C0(1926)，虚拟参考点RP-1(1905)在先前时刻被确定为有效(具体地，在先前时刻或最近时刻被确定为有效的虚拟参考点)。
作为另一示例，如图20所示，假设时刻t的控制手段的运动坐标为PFTt，时刻t的虚拟参考点为RPt，时刻t的控制对象区域中的控制位置为Ct。在这种情况下，首先，由于运动矢量和垂直矢量在时间t＝-5到t＝-2被确定为无效(例如，由于控制对象区域和控制手段的运动坐标之间的距离等于或大于预定水平，则被确定为无效)，因此不能基于矢量指定虚拟参考点，并且控制对象区域中的控制位置C-5(2021)、C-4(2022)、C-3(2023)和C-2(2024)也可能无法确定。然后，当在时刻t＝-1确定运动矢量无效且垂直矢量有效时(例如，确定控制对象区域与控制手段的运动坐标之间的距离小于预定水平)，可以基于垂直矢量指定虚拟参考点RP-1(2005)，并且可以基于虚拟参考点RP-1(2005)和控制手段的运动坐标PFT-1(2015)来确定控制对象区域中的控制位置C-1(2025)。随后，由于运动矢量和垂直矢量在时刻t＝0被确定为无效(例如，由于控制对象区域与控制手段的运动坐标之间的距离等于或大于预定水平，则被确定为无效)，因此不能基于矢量指定虚拟参考点，以及可以基于虚拟参考点RP-1(2005)和控制手段的运动坐标PFT0(2016)来确定控制对象区域中的控制位置C0(2026)，该虚拟参考点RP-1(2005)在先前时刻被确定为有效(具体地，在先前时刻或最近时刻被确定为有效的虚拟参考点)。
如上所述的根据本发明的实施方式可以以可由各种计算机组件执行的程序指令的形式来实施，并且可以存储在非暂时性计算机可读记录介质上。非暂时性计算机可读记录介质可以包括单独或组合的程序指令、数据文件和数据结构。存储在非暂时性计算机可读记录介质上的程序指令可以是为本发明特别设计和配置的，或者也可以是计算机软件领域的技术人员已知和可用的。非暂时性计算机可读记录介质的示例可以包括：诸如硬盘、软盘和磁带的磁介质；诸如光盘只读存储器(CD-ROM)和数字多功能磁盘(DVD)的光学介质；诸如软盘的磁光介质；以及诸如只读存储器(ROM)、随机存取存储器(RAM)和闪存的硬件设备，其专门用于存储和执行程序指令。程序指令的示例不仅可以包括由编译器创建的机器语言代码，还可以包括可以由使用注释器的计算机执行的高级语言代码。上述硬件设备可以改变为一个或多个软件模块来执行本发明的过程，反之亦然。
尽管本发明已在上文中根据诸如详细元件的特定项目以及有限的实施方式和附图进行了描述，但仅是提供它们以帮助更一般地理解本发明，并且本发明不限于上述实施方式。本发明所属领域的技术人员将理解，可以根据以上描述进行各种修改和改变。
因此，本发明的主旨不应限于上述实施方式，所附权利要求及其等同内容的整个范围将落入本发明的范围和主旨内。

Claims (18)

1.一种辅助对象控制的方法，包括以下步骤：
参考是否产生与控制手段的移动相关的触发事件以及所述控制手段的运动坐标与控制对象区域之间的距离中的至少一项来确定指令矢量；以及
当所述控制手段的位置改变时，参考一个矢量来确定所述控制对象区域中的控制位置，所述矢量连接在所述控制手段的位置改变之前基于所述指令矢量的延长线指定的虚拟参考点和在所述控制手段的位置改变之后的所述控制手段的运动坐标。
2.一种辅助对象控制的方法，该方法包括以下步骤：
参考是否产生与控制手段的移动相关的触发事件以及所述控制手段的运动坐标与控制对象区域之间的距离中的至少一项来确定指令矢量；以及
当所述控制手段的位置改变时，参考所述指令矢量来确定所述控制对象区域中的控制位置，所述指令矢量基于第一引导矢量和第二引导矢量之间的关系来校正，所述第一引导矢量是在所述控制手段的位置改变之前参考所述控制手段的运动坐标而指定的，所述第二引导矢量是在所述控制手段的位置改变之后参考所述控制手段的运动坐标而指定的。
3.根据权利要求1所述的方法，其特征在于，
在确定所述指令矢量的步骤中，当所述控制手段的运动坐标与所述控制对象区域之间的距离等于或小于预定水平时，参考在所述控制手段的运动坐标中产生与所述控制手段的移动有关的触发事件的时间点的坐标将第一坐标确定为触发坐标，
参考所述触发坐标和所述运动坐标之间的距离、由所述触发坐标和所述运动坐标指定的直线段、所述第一坐标和所述运动坐标之间的距离以及由所述第一坐标和所述运动坐标指定的直线段中的至少一个来确定第二坐标，以及
将基于所述第一坐标和所述第二坐标确定的矢量确定为所述指令矢量。
4.根据权利要求3所述的方法，其特征在于，
在确定所述指令矢量的步骤中，当所述控制手段的运动坐标与所述控制对象区域之间的距离等于或小于预定水平时，或者当基于所述第一坐标和所述第二坐标确定的矢量无效时，则将经过所述触发坐标或所述第一坐标且与所述控制对象区域垂直的矢量确定为所述指令矢量。
5.根据权利要求1所述的方法，其特征在于，
在确定所述指令矢量的步骤中，当所述控制手段的运动坐标和所述控制对象区域之间的距离等于或大于预定水平时，将基于所述控制手段的运动坐标和用户身体部位的坐标指定的矢量确定为所述指令矢量。
6.根据权利要求1所述的方法，其特征在于，
在确定所述指令矢量的步骤中，根据所述指令矢量的类型来确定用于指定是否产生与所述控制手段的移动相关的触发事件的方向。
7.根据权利要求1所述的方法，其特征在于，
在确定所述指令矢量的步骤中，参考所述控制手段的运动坐标和所述控制对象区域之间的距离来确定用于指定是否产生与所述控制手段的移动有关的触发事件的方向。
8.根据权利要求1所述的方法，其特征在于，
在确定所述控制位置的步骤中，将存在于所述指令矢量的延长线上的某个点指定为虚拟参考点，所述延长线的方向与所述控制手段的位置改变之前而定向的所述指令矢量的方向相反。
9.根据权利要求2所述的方法，其特征在于，
在确定所述控制位置的步骤中，基于第一手指矢量和第二手指矢量之间的位置和方向变化来校正所述指令矢量，所述第一手指矢量是在所述控制手段的位置改变之前基于所述控制手段的运动坐标来指定的，所述第二手指矢量是在所述控制手段的位置改变之后基于所述控制手段的运动坐标来指定的。
10.根据权利要求2所述的方法，其特征在于，
在确定所述指令矢量的步骤中，当所述控制手段的运动坐标与所述控制对象区域之间的距离等于或小于预定水平时，参考在所述控制手段的运动坐标中产生与所述控制手段的移动有关的触发事件的时间点的坐标将第一坐标确定为触发坐标，
参考所述触发坐标和所述运动坐标之间的距离、由所述触发坐标和所述运动坐标指定的直线段、所述第一坐标和所述运动坐标之间的距离以及由所述第一坐标和所述运动坐标指定的直线段中的至少一个来确定第二坐标，以及
将基于所述第一坐标和所述第二坐标确定的矢量确定为所述指令矢量。
11.根据权利要求10所述的方法，其特征在于，
在确定所述指令矢量的步骤中，当所述控制手段的运动坐标与所述控制对象区域之间的距离等于或小于预定水平时，或者当基于所述第一坐标和所述第二坐标确定的矢量无效时，则将经过所述触发坐标或所述第一坐标且与所述控制对象区域垂直的矢量确定为所述指令矢量。
12.根据权利要求2所述的方法，其特征在于，
在确定所述指令矢量的步骤中，当所述控制手段的运动坐标和所述控制对象区域之间的距离等于或大于预定水平时，将基于所述控制手段的运动坐标和用户身体部位的坐标指定的矢量确定为所述指令矢量。
13.根据权利要求2所述的方法，其特征在于，
在确定所述指令矢量的步骤中，根据所述指令矢量的类型来确定用于指定是否产生与所述控制手段的移动相关的触发事件的方向。
14.根据权利要求2所述的方法，其特征在于，
在确定所述指令矢量的步骤中，参考所述控制手段的运动坐标和所述控制对象区域之间的距离来确定方向，该方向用于指定是否产生与所述控制手段的移动有关的触发事件。
15.一种非暂时性计算机可读记录介质，其特征在于，
其上存储有用于执行根据权利要求1所述的方法的计算机程序。
16.一种非暂时性计算机可读记录介质，其特征在于，
其上存储有用于执行根据权利要求2所述的方法的计算机程序。
17.一种辅助对象控制的系统，包括：
指令矢量确定单元，其配置为参考是否产生与控制手段的移动相关的触发事件以及所述控制手段的运动坐标与控制对象区域之间的距离中的至少一项来确定指令矢量；以及
控制位置管理单元，其配置为当所述控制手段的位置改变时，参考一个矢量来确定所述控制对象区域中的控制位置，所述矢量连接所述控制手段的位置改变之前基于所述指令矢量的延长线指定的虚拟参考点和在所述控制手段的位置改变之后的所述控制手段的运动坐标。
18.一种辅助对象控制的系统，包括：
指令矢量确定单元，其配置为参考是否产生与控制手段的移动相关的触发事件以及所述控制手段的运动坐标与控制对象区域之间的距离中的至少一项来确定指令矢量；以及
控制位置管理单元，其配置为当所述控制手段的位置改变时，参考所述指令矢量来确定所述控制对象区域中的控制位置，所述指令矢量基于第一引导矢量和第二引导矢量之间的关系来校正，所述第一引导矢量是在所述控制手段的位置改变之前参考所述控制手段的运动坐标来指定的，所述第二引导矢量是在所述控制手段的位置改变之后参考所述控制手段的运动坐标来指定的。
CN202110924201.0A 2020-08-14 2021-08-12 用于辅助对象控制的方法、系统和非暂时性计算机可读记录介质 Pending CN114077309A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2020-0102814 2020-08-14
KR20200102814 2020-08-14
KR20200121843 2020-09-21
KR10-2020-0121843 2020-09-21
KR1020210005570A KR102448108B1 (ko) 2020-08-14 2021-01-14 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR10-2021-0005570 2021-01-14

Publications (1)

Publication Number Publication Date
CN114077309A true CN114077309A (zh) 2022-02-22

Family

ID=77226762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110924201.0A Pending CN114077309A (zh) 2020-08-14 2021-08-12 用于辅助对象控制的方法、系统和非暂时性计算机可读记录介质

Country Status (4)

Country Link
US (1) US20220050432A1 (zh)
EP (1) EP4020136A1 (zh)
JP (1) JP7406817B2 (zh)
CN (1) CN114077309A (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107004279A (zh) * 2014-12-10 2017-08-01 微软技术许可有限责任公司 自然用户界面相机校准

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020126090A1 (en) * 2001-01-18 2002-09-12 International Business Machines Corporation Navigating and selecting a portion of a screen by utilizing a state of an object as viewed by a camera
US9501152B2 (en) * 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
WO2015015843A1 (ja) * 2013-08-02 2015-02-05 三菱電機株式会社 ジェスチャー判定装置及び方法、並びにジェスチャー操作装置、並びにプログラム及び記録媒体
TW201510771A (zh) * 2013-09-05 2015-03-16 Utechzone Co Ltd 指向位置偵測裝置及其方法、程式及電腦可讀取紀錄媒體
US9501138B2 (en) * 2014-05-05 2016-11-22 Aquifi, Inc. Systems and methods for remapping three-dimensional gestures onto a finite-size two-dimensional surface
CN107787497B (zh) * 2015-06-10 2021-06-22 维塔驰有限公司 用于在基于用户的空间坐标系中检测手势的方法和装置
JP6721713B2 (ja) * 2016-04-29 2020-07-15 ブイタッチ・カンパニー・リミテッド 動作−音声の多重モード命令に基づいた最適制御方法およびこれを適用した電子装置
KR20230070318A (ko) * 2016-12-05 2023-05-22 매직 립, 인코포레이티드 혼합 현실 환경의 가상 사용자 입력 콘트롤들
US10429949B2 (en) * 2017-06-30 2019-10-01 Htc Corporation User interaction apparatus and method
KR101980725B1 (ko) * 2017-07-11 2019-08-28 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR102455382B1 (ko) * 2018-03-02 2022-10-18 엘지전자 주식회사 이동단말기 및 그 제어 방법
CN110874179B (zh) * 2018-09-03 2021-09-14 京东方科技集团股份有限公司 指尖检测方法、指尖检测装置、指尖检测设备及介质
JP2021189659A (ja) * 2020-05-28 2021-12-13 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及びユーザの入力操作に基づく情報処理方法並びに該方法を実行するためのコンピュータプログラム
US11474690B2 (en) * 2020-08-14 2022-10-18 VTouch Co., Ltd. Method, system and non-transitory computer-readable recording medium for non-contact control

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107004279A (zh) * 2014-12-10 2017-08-01 微软技术许可有限责任公司 自然用户界面相机校准

Also Published As

Publication number Publication date
JP2022032985A (ja) 2022-02-25
US20220050432A1 (en) 2022-02-17
EP4020136A1 (en) 2022-06-29
JP7406817B2 (ja) 2023-12-28

Similar Documents

Publication Publication Date Title
US11983326B2 (en) Hand gesture input for wearable system
CN108052202B (zh) 一种3d交互方法、装置、计算机设备及存储介质
JP2022118183A (ja) デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
EP3090331B1 (en) Systems with techniques for user interface control
US20110148755A1 (en) User interface apparatus and user interfacing method based on wearable computing environment
WO2017029749A1 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
CN107633551B (zh) 一种虚拟键盘的展示方法及装置
US20160320846A1 (en) Method for providing user commands to an electronic processor and related processor program and electronic circuit
US20240185516A1 (en) A Method for Integrated Gaze Interaction with a Virtual Environment, a Data Processing System, and Computer Program
KR102184243B1 (ko) Imu 센서를 이용한 손가락 동작 기반 인터페이스 제어 시스템
EP4307096A1 (en) Key function execution method, apparatus and device, and storage medium
US20220415094A1 (en) Method and system for estimating gesture of user from two-dimensional image, and non-transitory computer-readable recording medium
Zhang et al. A novel human-3DTV interaction system based on free hand gestures and a touch-based virtual interface
US11474690B2 (en) Method, system and non-transitory computer-readable recording medium for non-contact control
CN114077309A (zh) 用于辅助对象控制的方法、系统和非暂时性计算机可读记录介质
KR102448108B1 (ko) 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR20130123116A (ko) 시스루 디스플레이를 이용한 동작인식 장치 및 그 방법
KR101337429B1 (ko) 입력 장치
Islam et al. Developing a novel hands-free interaction technique based on nose and teeth movements for using mobile devices
CN110947180A (zh) 一种游戏中的信息处理方法和装置
Nagy et al. Evaluation of AI-Supported Input Methods in Augmented Reality Environment
CN111766959B (zh) 虚拟现实交互方法和虚拟现实交互装置
CN116909387A (zh) 一种基于手势操控交互对象的方法、存储介质及电子设备
CN114637394A (zh) Vr环境中裸手与模拟触控屏界面的交互操作系统及方法
CN118871874A (zh) 控制装置及控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination