CN112020694B - 用于支持对象控制的方法、系统和非暂时性计算机可读记录介质 - Google Patents

用于支持对象控制的方法、系统和非暂时性计算机可读记录介质 Download PDF

Info

Publication number
CN112020694B
CN112020694B CN201980028509.8A CN201980028509A CN112020694B CN 112020694 B CN112020694 B CN 112020694B CN 201980028509 A CN201980028509 A CN 201980028509A CN 112020694 B CN112020694 B CN 112020694B
Authority
CN
China
Prior art keywords
motion
coordinate system
trajectory
principal component
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980028509.8A
Other languages
English (en)
Other versions
CN112020694A (zh
Inventor
金石中
郑直限
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN112020694A publication Critical patent/CN112020694A/zh
Application granted granted Critical
Publication of CN112020694B publication Critical patent/CN112020694B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4155—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by programme execution, i.e. part programme or machine function execution, e.g. selection of a programme
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36504—Adapt program to real coordinates, shape, dimension of tool, offset path

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明涉及一种用于支持对象控制的方法、系统和非暂时性计算机可读记录介质。根据本发明的方面，提供一种用于支持对象控制的方法，方法包括以下步骤：通过参考运动轨迹确定能够主要地表示用户执行的运动的主要因素；以及通过参考主要因素动态地配置运动参考空间坐标系；以及通过参考轨迹和轨迹的属性中的至少一个识别运动意图，参考运动参考空间坐标系指定该轨迹。

Description

用于支持对象控制的方法、系统和非暂时性计算机可读记录 介质
技术领域
本发明涉及一种用于辅助对象控制的方法、系统和非暂时性计算机可读记录介质。
背景技术
近年来，随着对增强现实(AR)或虚拟现实(VR)的兴趣不断增长，并且积极进行了相关技术领域的研究和开发，已经引入用于基于用户的注视和运动辅助用户控制真实空间或虚拟现实空间中的设备、虚拟对象等的技术。
图1示例性地示出用于使用用户的注视和手势控制对象的常规技术。
参考图1，根据常规技术的一个示例，当从用户的注视10到用户的指尖20的延伸30接触40到电视50，然后用户的指尖20沿向右方向60移动使得向右移动的指尖20被识别时，将电视50的频道改变为下一频道，或者当用户的指尖20朝着用户移动(即，在向后方向70上移动时)使得朝用户移动的指尖20被识别时，减小电视50的音量。
然而，根据到目前为止引入的技术和以上描述的常规技术，当确定使用他/她的身体部位(如指尖20)控制对象的用户的意图时，基于初始预先建立的空间坐标系来识别用户的手势和意图，而未考虑用户的状态或特征(例如习惯或身体的状态或特征)(例如，未考虑用户面对对象的方向，用户是坐着还是站着，用户的身体和手、主要使用的关节之间的角度，等)，并因此会出现由于各种因素而导致与用户的意图不同地错误识别用户的运动(即移动)的问题，各种因素诸如用户的身体特征或用户和相机之间的位置关系。
此外，根据常规技术，即使当用户做出的运动的方向实时改变时，只能通过基于预先建立的空间坐标系识别用户的运动或者通过情境校正预先建立的空间坐标系来识别用户的运动。然而，使用常规技术存在的限制是，在用户进行的运动类型或用户和相机之间的位置关系以各种方式发生迅速变化的实际使用环境中，难以准确地识别出用户的运动。
关于这一点，发明人提出一种技术，该技术通过动态地建立能够表示用户做出的运动的主要分量的运动参考空间坐标系以及分析相对于运动参考空间坐标系指定的运动轨迹或轨迹的特性，准确且快速地识别用户做出的运动意图。
发明内容
技术任务
本发明的一个目的是解决所有以上描述的问题。
本发明的另一目的是通过动态地建立能够表示用户做出的运动的主要分量的运动参考空间坐标系以及分析相对于运动参考空间坐标系指定的运动轨迹或轨迹的特性，准确且快速地识别用户做出的运动意图。
本发明的又一目的是通过识别用户相对于维度小于3(即通过减少运动识别所需的维度数量)的运动参考空间坐标系做出的运动，更有效地识别用户在三维真实世界空间中做出的运动意图。
解决问题的技术手段
以下描述实现以上目的的本发明的代表性配置。
根据本发明的一个方面，提供一种用于辅助对象控制的方法，方法包括以下步骤：参考运动轨迹确定能够主要地表示用户做出的运动的主要分量，并且参考主要分量动态地建立运动参考空间坐标系；以及参考相对于运动参考空间坐标系指定的轨迹和轨迹的特性中的至少一个识别运动意图。
根据本发明的另一方面，提供一种用于辅助对象控制的系统，包括：空间坐标系管理单元，被配置为参考运动轨迹确定能够主要地表示用户做出的运动的主要分量，并且参考主要分量动态地建立运动参考空间坐标系；以及运动识别单元，被配置为参考相对于运动参考空间坐标系指定的轨迹和轨迹的特性中的至少一个识别运动意图。
另外，还提供了用于实现本发明的其他方法和系统，以及其上存储有用于执行方法的计算机程序的非暂时性计算机可读记录介质。
发明效果
根据本发明，可以通过动态地建立能够表示用户做出的运动的主要分量的运动参考空间坐标系以及分析相对于运动参考空间坐标系指定的运动轨迹或轨迹的特性，准确且快速地识别用户在实际使用环境中做出的运动意图。
根据本发明，可以通过识别用户相对于维度小于3(即，通过减少运动识别所需的维度数量)的运动参考空间坐标系做出的运动，更有效地识别用户在三维真实世界空间中做出的运动意图。
附图的简要说明
图1示例性地示出用于使用用户的注视和手势控制对象的常规技术。
图2示意性地示出根据本发明的一个实施例的用于辅助对象控制的整个系统的配置。
图3具体示出根据本发明的一个实施例的对象控制辅助系统的内部配置。
图4示意性地示出根据本发明的一个实施例的将运动参考空间坐标系建立为一维的情况。
图5示意性地示出根据本发明的一个实施例的如何参考运动轨迹或轨迹的改变识别运动意图，该运动轨迹相对于建立为一维的运动参考空间坐标系指定。
图6示例性地示出根据本发明的一个实施例的将运动参考空间坐标系建立为二维的情况。
图7示意性地示出根据本发明的一个实施例的如何参考运动轨迹或轨迹的改变识别运动意图，该运动轨迹相对于建立为二维的运动参考空间坐标系指定。
<附图标记>
100：通信网络
200：对象控制辅助系统
210：空间坐标系管理单元
220：运动识别单元
230：通信单元
240：控制单元
300：对象
具体实施方式
在本发明的以下详细描述中参考附图，这些附图以说明的方式示出可以实践本发明的特定实施例。对这些实施例进行了足够详细的描述，以使本领域技术人员能够实践本发明。应当理解，本发明的各个实施例尽管彼此不同，但是不必相互排斥。例如，在不脱离本发明的精神和范围的情况下，可以将本文描述的特定形状、结构和特征实现为从一个实施例修改为另一实施例。此外，应当理解，在不脱离本发明的精神和范围的情况下，也可以修改实施例中的每个内的各个元件的位置或布置。因此，以下详细描述不应被视为限制性的，并且本发明的范围应被认为包含所附权利要求及其所有等同方案的范围。在附图中，相似的附图标记贯穿若干视图指代相同或相似的元件。
在下文中，将参考附图详细描述本发明的各种优选实施例，以使本领域技术人员能够容易地实现本发明。
整个系统的配置
图2示意性地示出根据本发明的一个实施例的用于辅助对象控制的整个系统的配置。
如图2所示，根据本发明的一个实施例的整个系统可以包括通信网络100、对象控制辅助系统200和对象300。
首先，根据本发明的一个实施例的通信网络100可以不考虑诸如有线和无线通信的通信方式而实现，并且可以从诸如局域网(LAN)、城域网(MAN)和广域网(WAN)的多种通信网络构建。优选地，本文描述的通信网络100可以是因特网或万维网(WWW)。然而，通信网络100不必限于此，并且可以至少部分地包括已知的有线/无线数据通信网络、已知的电话网络或已知的有线/无线电视通信网络。
例如，通信网络100可以是无线数据通信网络，其至少一部分可以利用常规通信方案实现，诸如射频(RF)通信、WiFi通信、蜂窝通信(例如长期演进(LTE)通信)、蓝牙通信(更具体地，低功耗蓝牙(BLE)通信)、红外通信和超声通信。
接下来，根据本发明的一个实施例的对象控制辅助系统200可以是具有存储装置和用于计算能力的微处理器的数字设备。对象控制辅助系统200可以是服务器系统。
根据本发明的一个实施例，对象控制辅助系统200可以用于参考运动轨迹确定能够主要地表示用户做出的运动的主要分量并且参考确定的主要分量动态地建立运动参考空间坐标系，以及参考相对于运动参考空间坐标系指定的运动轨迹和运动轨迹的特性中的至少一个识别运动意图。
本文描述的运动意味着用户执行的所有移动，并且可以包含基于针对被设置为识别或测量运动的每个参考时间或参考距离而获取的数据(例如位置、角度、方向等)指定的多个单元运动或者可以指多个单元运动中的每个单元运动。例如，根据本发明的一个实施例，用户运动可以基于每1/10秒测量的数据指定，或者每当发生1cm或更大的位置变化时指定。
此外，根据本发明的一个实施例，可以基于构成视频的多个帧指定用户做出的运动轨迹，在该视频中充当运动的基础的特征点(例如用户的指尖、用户持有的指示器等)被拍摄。具体地，根据本发明的一个实施例，可以通过随着时间累积充当运动的基础的特征点在空间坐标系中的三维空间坐标值，获取用户做出的运动轨迹。
同时，根据本发明的一个实施例，还可以通过随着时间累积来自诸如加速度传感器或陀螺仪传感器的另一感测装置的测量数据指定运动轨迹。
以下将更详细地讨论根据本发明的对象控制辅助系统200的配置和功能。同时，尽管已经如以上描述了对象控制辅助系统200，但是以上描述是示例性的，并且对于本领域技术人员而言显而易见的是，对象控制辅助系统200所需的功能或组件的至少一部分可以根据需要被实现或包括在待控制的对象300或外部系统(未显示)中。
接下来，根据本发明的一个实施例，对象300可以用作可以通过用户做出的运动控制的对象。即根据本发明的一个实施例，对象300可以从对象控制辅助系统200、另一对象300或外部系统(未示出)接收根据用户的运动的控制操纵，并允许根据接收到的控制操作控制其操作或功能。根据本发明的一个实施例，对象300可以是存在于真实世界中的真实对象，或者可以是可以存在于虚拟现实中或者可以被增强、混合或合并到真实世界中的虚拟对象。
具体地，根据本发明的一个实施例的对象300可以是可以用于连接到对象控制辅助系统200、另一对象300或外部系统(未示出)并且然后与对象控制辅助系统200、另一对象300或外部系统通信的设备，并且具有存储装置和用于计算能力的微处理器的任何类型的设备可以被用作根据本发明的对象300。根据本发明的一个实施例，对象300可以是诸如智能眼镜、智能手表、智能带、智能戒指和智能项链的可穿戴设备，或者可以是诸如智能电话、智能平板、台式计算机、笔记本计算机、工作站、个人数字助理(PDA)、Web平板和移动电话的稍微传统的设备。此外，根据本发明的一个实施例，对象300还可以是诸如电视、扬声器、灯、空调、加湿器、衣柜、窗户和窗帘的IoT(物联网)设备。
此外，根据本发明的一个实施例的对象300可以是在真实世界中具有预定物理位置的普通对象，其可能无法与对象控制辅助系统200、另一对象300或外部系统(未示出)进行通信，或者可能没有存储装置或微处理器。例如，根据本发明的一个实施例，可以采用诸如温度计、照片、图片、玩偶和镜子的普通对象作为对象300。
同时，根据本发明的一个实施例，作为设备的对象300可以包括用于执行根据本发明的功能的应用。该应用可以以程序模块的形式驻留在设备中。程序模块的特征通常可以与对象控制辅助系统200的空间坐标系管理单元210和运动识别单元220的特征相似。这里，应用的至少一部分可以根据需要被硬件设备或可以执行基本相同或等同功能的固件设备代替。
对象控制辅助系统的配置
在下文中，将讨论对于实现本发明至关重要的对象控制辅助系统200的内部配置及其相应组件的功能。
图3具体地示出根据本发明的一个实施例的对象控制辅助系统200的内部配置。
如图3所示，根据本发明的一个实施例的对象控制辅助系统200可以包括空间坐标系管理单元210、运动识别单元220、通信单元230和控制单元240。根据本发明的一个实施例，空间坐标系管理单元210、运动识别单元220、通信单元230和控制单元240中的至少一些可以是与外部系统通信的程序模块。程序模块可以以操作系统、应用程序模块和其他程序模块的形式包括在对象控制辅助系统200中，同时它们可以被物理地存储在各种公知存储设备中。此外，程序模块还可以存储在可以与对象控制辅助系统200进行通信的远程存储设备中。同时，这样的程序模块可以包括但不限于以下将根据本发明描述的例程、子例程、程序、对象、组件、数据结构等，用于执行特定任务或执行特定抽象数据类型。
首先，根据本发明的一个实施例，空间坐标系管理单元210可以参考运动轨迹确定能够主要地表示用户做出的运动的主要分量。
具体地，根据本发明的一个实施例的空间坐标系管理单元210可以从运动轨迹确定主要分量的方向和大小，并且基于主要分量的确定的方向和大小确定运动参考空间坐标系(将在以下描述)的维度数量和参考坐标轴。更具体地，根据本发明的一个实施例，可以基于大小不小于阈值水平的主要分量的数量确定维度数量，以及可以基于大小不小于阈值水平的主要分量的方向确定参考坐标轴。
例如，根据本发明的一个实施例的空间坐标系管理单元210可以使用奇异值分解、特征分解、主分量分析、潜在语义分析和非负矩阵分解中的至少一个确定运动的主要分量的方向和大小。
在下文中，将详细讨论其中使用主分量分析确定运动的主要分量的方向和大小的实施例。
根据本发明的一个实施例，空间坐标系管理单元210可以使用主分量分析从运动轨迹中得出主分量，并且基于得出的主分量确定运动的主要分量的方向和大小。本文描述的主分量分析是将高维度数据转换为低维度数据的分析方法，其中正交变换可以用于将可能相关的高纬度空间的样本转换为线性不相关的低纬度空间的样本，并且主分量的维度数量可以小于或等于原始样本的维度数量。
具体地，根据本发明的一个实施例的空间坐标系管理单元210可以通过对三维坐标系中的构成运动轨迹的多个点进行奇异值分解选择代表点，并且当选择的点被投影到对应于主要分量的某些坐标轴上时，方差最大的坐标轴可以被确定为第一主分量，而方差第二最大的坐标轴可以被确定为第二主分量。
例如，当对用户做出的运动轨迹执行主分量分析时，根据本发明的一个实施例的空间坐标系管理单元210可以(i)当第一主分量的可变比率PC1小于阈值水平时，确定运动不具有主要分量(例如，运动是静止运动)；(ii)当第一主导分量的可变比率PC1等于或大于阈值水平以及第二主分量的可变比率PC2小于阈值水平时，确定运动具有一个主要分量(例如，该运动是向前、向后、向上、向下、向左或向右运动)；(iii)当第一主分量的可变比率PC1和第二主分量的可变比率PC1两者均等于或大于阈值水平、以及第二主分量的可变比率PC2与第一主分量的可变比率PC1的相对值(即，PC2/PC1)等于或大于阈值水平时，确定运动具有两个主要分量(例如，该运动是旋转运动或在二维平面上绘制图形或人物的运动)；以及(iv)当第一主分量的可变比率PC1、第二主分量的可变比率PC2和第三主分量的可变比率PC3全部等于或大于阈值水平时，确定运动具有三个主要分量(例如，该运动是螺旋运动)。
此外，根据本发明的一个实施例，空间坐标系管理单元210可以参考确定的主要分量动态地建立运动参考空间坐标系。具体地，根据本发明的一个实施例的空间坐标系管理单元210可以基于确定的主要分量的方向和大小确定运动参考空间坐标系的维度数量和参考坐标轴。
例如，根据本发明的一个实施例的空间坐标系管理单元210可以(i)当确定运动不具有主要分量时，确定运动参考空间坐标系是零维坐标系；(ii)当确定运动具有一个主要分量时，将运动参考空间坐标系建立为以对应于主要分量的方向的参考坐标轴指定的一维空间坐标系；(iii)当确定运动具有两个主要分量时，将运动参考空间坐标系建立为以分别对应于两个主要分量的方向的两个参考坐标轴指定的二维空间坐标系；以及(iv)当确定运动具有三个主要分量时，将运动参考空间坐标系建立为以分别对应于三个主要分量的方向的三个参考坐标轴指定的三维空间坐标系。
同时，根据本发明的一个实施例，由于空间坐标系管理单元210可以参考用户做出的运动的主要分量动态地建立运动参考空间坐标系，运动参考空间坐标系可以(即，自适应地)随用户做出的运动改变而被改变以适于该运动的识别。例如，当用户做出诸如向前或向后运动的一维运动时，可以将由一个参考坐标轴指定的一维空间坐标系建立为运动参考空间坐标系，以及当用户做出诸如旋转的二维运动时，可以将由两个参考坐标轴(即，二维参考坐标平面)指定的二维空间坐标系建立为运动参考空间坐标系。
尽管以上已经主要描述了使用主分量分析确定用户做出的运动的主要分量的实施例，但注意的是，本发明的范围并不一定限于以上实施例，并且可以使用任何其他技术，只要这些技术可以确定运动的主要分量。根据本发明的另一个实施例，空间坐标系管理单元210可以使用诸如特征分解、潜在语义分析和非负矩阵分解的技术确定运动的主要分量。
同时，根据本发明的一个实施例，对象控制辅助系统200还可以包括用户接口管理单元(未示出)，其被配置为：当参考运动轨迹建立能够表示用户做出的运动的主要分量的运动参考空间坐标系时，通过在视觉上提供与运动参考空间坐标系有关的图形元素帮助用户理解。例如，当将运动参考空间坐标系建立为是零维时，根据本发明的一个实施例的用户接口管理单元(未示出)可以显示点(●)形状的图形元素；当运动参考空间坐标系建立为是一维时，显示箭头(->)形状的图形元素；以及在将运动参考空间坐标系建立为是二维时，显示“@”形状的图形元素。此外，根据本发明的一个实施例，如上显示的图形元素可以随着用户做出的运动的改变而动态地改变。
接下来，根据本发明的一个实施例，运动识别单元220可以参考相对于运动参考空间坐标系指定的运动轨迹和运动轨迹的特性中的至少一个识别运动意图。
图4示意性地示出根据本发明的一个实施例的将运动参考空间坐标系建立为一维的情况。
参考图4，根据本发明的一个实施例的空间坐标系管理单元210可以确定对应于用户的指尖做出的运动轨迹500的主要分量的参考坐标轴510，并且建立由确定的参考坐标轴510指定的一维空间坐标系作为运动参考空间坐标系。这里，根据本发明的一个实施例，可以确定远离用户的方向是参考坐标轴510的正方向。
同时，根据本发明另一实施例的空间坐标系管理单元210还可以确定与参考坐标轴510正交并且平行于地面的第一辅助坐标轴520、和与参考坐标轴510和第一辅助坐标轴520两者均正交的第二辅助坐标轴530，从而建立由参考坐标轴510、第一辅助坐标轴520和第二辅助坐标轴530指定的三维空间坐标系作为运动参考空间坐标系。
进一步参考图4，根据本发明的一个实施例的运动识别单元220可以参考运动轨迹500以及运动轨迹500的改变分析运动，运动轨迹500相对于建立的运动参考空间坐标系的参考坐标轴510指定，并且运动识别单元220可以基于分析结果识别运动意图。
图5示意性地示出根据本发明的一个实施例的如何参考运动轨迹或轨迹的改变识别运动意图，该运动轨迹相对于建立为一维的运动参考空间坐标系指定。
参考图5，根据本发明的一个实施例的运动识别单元220可以参考运动轨迹或运动轨迹的特性识别运动意图，该运动轨迹相对于运动参考空间坐标系的参考坐标轴510指定。
例如，当出现运动轨迹的速度(或位移)迅速减小同时具有相对于参考坐标轴的正值的部分时(即，出现相对于参考坐标轴向前移动然后停止的轨迹时)，根据本发明的一个实施例的运动识别单元220可以识别出用户做出按压用户前方的对象的运动。
作为另一示例，当出现运动轨迹的速度迅速减小同时具有相对于参考坐标轴的负值的部分时(即，当出现相对于参考坐标轴向后移动的轨迹时)，根据本发明的一个实施例的运动识别单元220可以识别出用户做出释放用户前方的对象的运动。
作为又一示例，当出现相对于参考坐标轴运动轨迹的速度具有正值然后迅速减小为具有负值的部分时(即，当出现相对于参考坐标轴向前移动然后向后移动的轨迹时)，根据本发明的一个实施例的运动识别单元220可以识别出用户做出轻拍用户前方的对象的运动。
同时，尽管结合图4和图5已经主要描述了识别相对于用户向前和向后移动的运动的实施例，注意的是本发明不必限于图4和图5的实施例，并且识别相对于用户向上、向下、向左和向右移动的运动的任何实施例都是可行的。
图6示例性地示出根据本发明的一个实施例的将运动参考空间坐标系建立为二维的情况。
参考图6，根据本发明的一个实施例的空间坐标系管理单元210可以确定与用户的指尖做出的运动轨迹700的主要分量对应的第一参考坐标轴710和第二参考坐标轴720，并建立由两个确定的参考坐标轴710和720(即参考坐标平面)的组合指定的二维空间坐标系作为运动参考空间坐标系。
同时，根据本发明的另一实施例的空间坐标系管理单元210还可以确定与第一参考坐标轴710和第二参考坐标轴720两者均正交的辅助坐标轴730，从而建立由第一参考坐标轴710、第二参考坐标轴720和辅助坐标轴730指定的三维空间坐标系作为运动参考空间坐标系。
进一步参考图6，根据本发明的一个实施例的运动识别单元220可以参考运动轨迹700以及运动轨迹700的改变分析运动，运动轨迹700相对于建立的运动参考空间坐标系的参考坐标平面指定，并且运动识别单元220可以基于分析结果识别运动意图。
图7示意性地示出根据本发明的一个实施例的如何参考运动轨迹或轨迹的改变识别运动意图，该运动轨迹相对于建立为二维的运动参考空间坐标系指定。
参考图7，根据本发明的一个实施例的运动识别单元220可以参考运动轨迹的特性(例如，旋转方向、旋转角度、旋转速度等)识别运动意图，该运动轨迹相对于运动参考空间坐标系的参考坐标平面740指定。
例如，当出现运动轨迹相对于参考坐标平面沿顺时针或逆时针方向旋转的部分时(即，当出现运动轨迹在参考坐标平面上作出旋转轨迹时)，根据本发明的一个实施例的运动识别单元220可以识别出用户做出旋转或抡打用户前方的对象的运动。
同时，尽管结合图6和图7已经主要描述了主要分量可以由面对用户并正交于地面的参考坐标平面表示的实施例，注意的是本发明不必限于图6和图7的实施例，并且主要分量可以由以与图6和图7的实施例不同的方向上的参考坐标平面表示的任何实施例都是可行的。
同时，根据本发明的一个实施例，运动识别单元220可以在识别相对于运动参考空间坐标系的运动意图时确定运动是否有效。具体地，根据本发明的一个实施例的运动识别单元220可以参考先前(或最近)识别的运动的特性和当前识别的运动的特性中的至少一个确定运动是否有效。
将参考图4和图5进行更详细的描述。根据本发明的一个实施例的运动识别单元220可以参考运动轨迹的特性(例如，移动方向、移动量、移动速度等)确定运动是否有效，该运动轨迹相对于参考坐标轴指定。
例如，在图4和图5中，根据本发明的一个实施例的运动识别单元220可以在相对于参考坐标轴的运动轨迹的移动速度等于或大于阈值水平时确定运动是有效的。
作为另一示例，在图4和图5中，根据本发明的一个实施例的运动识别单元220可以在在时间上连续的向前运动和向后运动的移动量之间的相对比值等于或大于阈值水平(例如40％)时，确定运动的移动方向改变是有效的。
将参考图6和图7进行更详细的描述。根据本发明的一个实施例的运动识别单元220可以参考相对于参考坐标平面指定的运动轨迹的特性(例如，旋转轴、旋转方向、旋转角度、旋转半径、旋转速度等)确定运动是否有效。
例如，在图6和图7中，根据本发明的一个实施例的运动识别单元220可以在运动轨迹在2秒内相对于参考坐标平面旋转了270度或更多时，确定运动已经有效地旋转了一圈，并且在运动轨迹在1秒内相对于参考坐标平面旋转135度或更多时，可以确定运动已经有效地旋转了半圈。
作为另一示例，在图6和图7中，根据本发明的一个实施例的运动识别单元220可以在时间上连续的向前旋转运动和向后旋转运动的旋转量之间的相对比值等于或大于阈值水平(例如40％)时，确定运动的旋转方向改变是有效的。
作为又一示例，根据本发明的一个实施例的运动识别单元220可以在运动轨迹中远离参考坐标平面的离群点的比值等于或大于阈值水平时，确定在参考坐标平面之外进行了运动。
接下来，根据本发明的一个实施例的通信单元230可以用于使得能够从空间坐标系管理单元210和运动识别单元220发送数据/使得空间坐标系管理单元210和运动识别单元220能够接收数据。
最后，根据本发明的一个实施例的控制单元240可以用于控制空间坐标系管理单元210、运动识别单元220和通信单元230之间的数据流。即，根据本发明的控制单元240可以控制数据流入/流出对象控制辅助系统200或对象控制辅助系统200的相应组件之间的数据流，使得空间坐标系管理单元210、运动识别单元220和通信单元230可以分别执行其特定功能。
尽管以上已经主要描述了从用户的身体部位做出的运动确定用户的意图的实施例，但注意的是本发明不必限于使用用户的身体部位，以及只要可以实现本发明的目的，也可以在用户使用运动识别装置等时，确定用户的运动意图。
以上描述的根据本发明的实施例可以以可以由各种计算机组件执行的程序指令的形式实现，并且可以被存储在计算机可读记录介质上。计算机可读记录介质可以单独地或组合地包括程序指令、数据文件和数据结构。存储在计算机可读记录介质上的程序指令可以针对本发明进行专门设计和配置，或者也可以是计算机软件领域的技术人员已知和可获得的。计算机可读记录介质的示例包括以下：诸如硬盘、软盘和磁带的磁性介质；诸如光盘只读存储器(CD-ROM)和数字通用磁盘(DVD)的光学介质；诸如光软盘磁盘的磁光介质；以及专门地被配置为存储和执行程序指令的硬件设备，诸如只读存储器(ROM)、随机存取存储器(RAM)和闪存。程序指令的示例不仅包括由编译器创建的机器语言代码，而且包括可以由计算机使用解释器执行的高级语言代码。可以将以上硬件设备改变为一个或多个软件模块以执行本发明的处理，反之亦然。
尽管以上已经就诸如详细元件以及受限制的实施例和附图的特定项描述了本发明，但是提供它们仅是为了帮助对本发明有更一般的理解，并且本发明不限于以上实施例。本发明所属领域的技术人员将理解的是，可以根据以上描述进行各种修改和改变。
因此，本发明的精神将不限于以上描述的实施例，并且所附权利要求及其等同物的整个范围将落入本发明的范围和精神内。

Claims (7)

1.一种用于辅助对象控制的方法，包括以下步骤：
指定用户做出的运动轨迹；
参考所述运动轨迹确定能够主要地表示所述用户做出的运动的主要分量，并且参考所述主要分量动态地建立运动参考空间坐标系；以及
参考相对于运动参考空间坐标系指定的轨迹和轨迹的特性中的至少一个识别所述运动的意图；
其中在动态地建立步骤中，从轨迹确定主要分量的方向和大小，并且基于确定的所述主要分量的方向和大小确定所述运动参考空间坐标系的维度数量和所述运动参考空间坐标系的参考坐标轴；
其中基于大小不小于阈值水平的主要分量的数量确定维度数量；
其中基于大小不小于阈值水平的主要分量的方向确定参考坐标轴。
2.根据权利要求1所述的方法，其中运动轨迹通过随着时间累积关于运动的测量数据而被指定。
3.根据权利要求1所述的方法，其中在建立步骤中，使用奇异值分解、特征分解、主分量分析、潜在语义分析和非负矩阵分解中的至少一个得出主要分量的方向和大小。
4.根据权利要求1所述的方法，其中运动参考空间坐标系由对应于主要分量的参考坐标轴指定，或者由参考坐标轴和相对于参考坐标轴建立的辅助坐标轴指定。
5.根据权利要求1所述的方法，其中在识别步骤中，参考先前识别的运动的特性和当前识别的运动的特性中的至少一个确定运动是否有效。
6.一种非暂时性计算机可读记录介质，其上存储有用于执行如权利要求1-5中任一项所述的方法的计算机程序。
7.一种用于辅助对象控制的系统，包括：
空间坐标系管理单元，被配置为参考运动轨迹确定能够主要地表示用户做出的运动的主要分量，并且参考所述主要分量动态地建立运动参考空间坐标系；以及
运动识别单元，被配置为参考相对于所述运动参考空间坐标系指定的轨迹和轨迹的特性中的至少一个识别所述运动的意图；
其中，所述用户做出的运动轨迹被指定；
其中从轨迹确定主要分量的方向和大小，并且基于确定的所述主要分量的方向和大小确定所述运动参考空间坐标系的维度数量和所述运动参考空间坐标系的参考坐标轴；
其中基于大小不小于阈值水平的主要分量的数量确定维度数量；
其中基于大小不小于阈值水平的主要分量的方向确定参考坐标轴。
CN201980028509.8A 2018-09-19 2019-09-17 用于支持对象控制的方法、系统和非暂时性计算机可读记录介质 Active CN112020694B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180112447A KR102155378B1 (ko) 2018-09-19 2018-09-19 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR10-2018-0112447 2018-09-19
PCT/KR2019/011999 WO2020060157A1 (ko) 2018-09-19 2019-09-17 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Publications (2)

Publication Number Publication Date
CN112020694A CN112020694A (zh) 2020-12-01
CN112020694B true CN112020694B (zh) 2024-02-20

Family

ID=69887595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980028509.8A Active CN112020694B (zh) 2018-09-19 2019-09-17 用于支持对象控制的方法、系统和非暂时性计算机可读记录介质

Country Status (6)

Country Link
US (1) US11886167B2 (zh)
EP (1) EP3770730A4 (zh)
JP (1) JP7062833B2 (zh)
KR (1) KR102155378B1 (zh)
CN (1) CN112020694B (zh)
WO (1) WO2020060157A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11474690B2 (en) 2020-08-14 2022-10-18 VTouch Co., Ltd. Method, system and non-transitory computer-readable recording medium for non-contact control
KR102477006B1 (ko) * 2020-08-14 2022-12-14 주식회사 브이터치 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN114422762B (zh) * 2021-12-25 2023-10-13 深圳市幕工坊科技有限公司 投影幕动作控制系统
KR20230102557A (ko) * 2021-12-30 2023-07-07 주식회사 브이터치 사용자 입력을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US20230341944A1 (en) * 2022-04-26 2023-10-26 Oura Health Oy Ring-inputted commands

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105353873A (zh) * 2015-11-02 2016-02-24 深圳奥比中光科技有限公司 基于三维显示的手势操控方法和系统

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4922095B2 (ja) * 2007-08-01 2012-04-25 日本放送協会 感情表現抽出処理装置及びプログラム
JP4853507B2 (ja) * 2008-10-30 2012-01-11 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR20100118317A (ko) * 2009-04-28 2010-11-05 삼성전자주식회사 휴대단말의 제스처 인식 방법 및 시스템
KR101858531B1 (ko) * 2011-01-06 2018-05-17 삼성전자주식회사 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
KR101381928B1 (ko) * 2011-02-18 2014-04-07 주식회사 브이터치 포인터를 사용하지 않는 가상 터치 장치 및 방법
US20120254809A1 (en) * 2011-03-31 2012-10-04 Nokia Corporation Method and apparatus for motion gesture recognition
JP5936038B2 (ja) * 2012-02-24 2016-06-15 国立大学法人東京農工大学 動作主識別方法、動作主識別システム、動作主識別プログラム及び情報記憶媒体
US9448636B2 (en) * 2012-04-18 2016-09-20 Arb Labs Inc. Identifying gestures using gesture data compressed by PCA, principal joint variable analysis, and compressed feature matrices
KR101334585B1 (ko) * 2012-05-29 2013-12-05 주식회사 브이터치 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법
KR101441882B1 (ko) * 2012-11-12 2014-09-22 주식회사 브이터치 포인터를 사용하지 않는 가상 터치 장치에서의 디스플레이 표시면 둘레의 가상 평면을 사용하여 전자기기를 제어하는 방법
JP2016509292A (ja) * 2013-01-03 2016-03-24 メタ カンパニー エクストラミッシブ空間撮像デジタル眼鏡装置または拡張介在ビジョン
CN103914242A (zh) * 2013-01-05 2014-07-09 纬创资通股份有限公司 触控屏幕上的指针控制方法
US9020194B2 (en) * 2013-06-14 2015-04-28 Qualcomm Incorporated Systems and methods for performing a device action based on a detected gesture
CN110442231A (zh) * 2013-06-27 2019-11-12 视力移动科技公司 用于与数字设备交互的直接指向检测的系统和方法
KR101533319B1 (ko) * 2014-02-22 2015-07-03 주식회사 브이터치 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
US9811555B2 (en) * 2014-09-27 2017-11-07 Intel Corporation Recognition of free-form gestures from orientation tracking of a handheld or wearable device
JP6087963B2 (ja) * 2015-02-17 2017-03-01 レノボ・シンガポール・プライベート・リミテッド ステレオ・カメラによる物体の存在の判別方法、デバイス制御システム、およびコンピュータ・プログラム
US9442575B1 (en) * 2015-05-15 2016-09-13 Atheer, Inc. Method and apparatus for applying free space input for surface constrained control
JP2018528551A (ja) * 2015-06-10 2018-09-27 ブイタッチ・コーポレーション・リミテッド ユーザー基準空間座標系上におけるジェスチャー検出方法および装置
US10503968B2 (en) * 2016-03-22 2019-12-10 Intel Corporation Identifying a local coordinate system for gesture recognition
JP2017207385A (ja) * 2016-05-19 2017-11-24 富士通株式会社 ３次元認識装置、３次元認識方法、及び３次元認識プログラム
KR101937823B1 (ko) * 2016-10-24 2019-01-14 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR20180045745A (ko) * 2016-10-26 2018-05-04 삼성에스디에스 주식회사 이동체에서의 객체 검출 장치 및 방법
KR101850410B1 (ko) * 2016-12-26 2018-04-20 한국생산기술연구원 가상 현실 기반 로봇 교시를 위한 시뮬레이션 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105353873A (zh) * 2015-11-02 2016-02-24 深圳奥比中光科技有限公司 基于三维显示的手势操控方法和系统

Also Published As

Publication number Publication date
JP7062833B2 (ja) 2022-05-06
JP2021518965A (ja) 2021-08-05
US20210026333A1 (en) 2021-01-28
WO2020060157A1 (ko) 2020-03-26
CN112020694A (zh) 2020-12-01
KR20200033040A (ko) 2020-03-27
US11886167B2 (en) 2024-01-30
KR102155378B1 (ko) 2020-09-14
EP3770730A4 (en) 2021-12-15
EP3770730A1 (en) 2021-01-27

Similar Documents

Publication Publication Date Title
CN112020694B (zh) 用于支持对象控制的方法、系统和非暂时性计算机可读记录介质
US10043308B2 (en) Image processing method and apparatus for three-dimensional reconstruction
CN109791608B (zh) 映射摘要和本地化
US9696859B1 (en) Detecting tap-based user input on a mobile device based on motion sensor data
CN110986969B (zh) 地图融合方法及装置、设备、存储介质
KR20160055177A (ko) 깊이 센서들을 사용하는 구조적 모델링
US10948995B2 (en) Method and system for supporting object control, and non-transitory computer-readable recording medium
US10488918B2 (en) Analysis of user interface interactions within a virtual reality environment
US12001205B2 (en) Remote control method and system for robot
KR102337209B1 (ko) 주변 상황 정보를 통지하기 위한 방법, 전자 장치 및 저장 매체
US11297244B2 (en) Click-and-lock zoom camera user interface
CN113289327A (zh) 移动终端的显示控制方法及装置、存储介质及电子设备
CN113692520A (zh) 控制便携式设备的方法和便携式设备
US20150185851A1 (en) Device Interaction with Self-Referential Gestures
CN112987924A (zh) 用于设备交互的方法、装置、设备和存储介质
US20220415094A1 (en) Method and system for estimating gesture of user from two-dimensional image, and non-transitory computer-readable recording medium
EP4207087A1 (en) Method and system for creating and storing map targets
KR101980725B1 (ko) 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN110631586A (zh) 基于视觉slam的地图构建的方法、导航系统及装置
CN111258413A (zh) 虚拟对象的控制方法和装置
KR102398404B1 (ko) 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
EP3770809A1 (en) Method and apparatus for estimating user&#39;s pose by using three-dimensional virtual space model
CN110688012B (zh) 一种实现与智能终端、与vr设备交互的方法和装置
KR102094944B1 (ko) 시선 추적 방법 및 이를 수행하기 위한 단말
CN111103967A (zh) 虚拟对象的控制方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant