CN105122178A - 针对用户界面控制的手势识别设备和方法 - Google Patents

针对用户界面控制的手势识别设备和方法 Download PDF

Info

Publication number
CN105122178A
CN105122178A CN201380072845.5A CN201380072845A CN105122178A CN 105122178 A CN105122178 A CN 105122178A CN 201380072845 A CN201380072845 A CN 201380072845A CN 105122178 A CN105122178 A CN 105122178A
Authority
CN
China
Prior art keywords
gesture
gyro data
gyro
data
identification equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380072845.5A
Other languages
English (en)
Other versions
CN105122178B (zh
Inventor
E·埃夫拉尔
F·科利内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sagemcom Broadband SAS
Original Assignee
Sagemcom Broadband SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sagemcom Broadband SAS filed Critical Sagemcom Broadband SAS
Publication of CN105122178A publication Critical patent/CN105122178A/zh
Application granted granted Critical
Publication of CN105122178B publication Critical patent/CN105122178B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

在用户界面控制的情况下，一种手势识别设备：接收(501)表示利用包括陀螺仪传感器的专用仪器执行的手势的陀螺仪数据；确定所接收到的陀螺仪数据和与监督学习相关并且被预先记录在数据库中的陀螺仪数据之间的相关性(504)；基于所述相关性来识别或不识别(505)所执行的手势，仅表示所执行的手势的数据被认为是所述陀螺仪数据；将各个识别的手势转换(506)为用户界面命令。

Description

针对用户界面控制的手势识别设备和方法
本发明涉及在用户界面控制的情况下的手势的识别。
与设备的用户界面(尤其是图形界面)的交互通常利用遥控或控制杆来进行。这种遥控或控制杆具有按压按钮，这些按压按钮旨在发送特定命令并且尤其用于在图形界面中导航或者用于经由图形界面确认或取消动作。这些遥控或控制杆通常设置有陀螺仪和加速度计，陀螺仪和加速度计使得用户能够利用他手中的遥控作出手势，进而控制设备的用户界面。从而改进用户和用户界面之间的交互。
允许通过手势进行控制的系统基于由遥控的陀螺仪和加速度计收集的数据到指向系统的变换，指向系统将描述屏幕上的踪迹(trace)，也就是说，从六个惯性坐标(陀螺仪在三个轴上的定向和在三个轴上的加速度)到平面上的笛卡尔坐标。然而，这不足以将加速度数据积分两次，以获得遥控的位置，使得从其建立正确的指向系统。还必须考虑到遥控的旋转，并且将所计算出的位置转换到用户世界的参照系。建立用户世界的该参照系是涉及校准阶段的强约束，并且由陀螺仪和加速度计持续测量数据，以在各个时刻确定遥控的坐标系的定向，进而获得有效平滑测量，而没有指示器的令人讨厌的跳动。该方法意味着用户可察觉的处理延迟和高硬件成本，并且在用户世界中不限定参照系的情况下这样做将导致指向系统的漂移。
期望通过提供一种解决方案来克服现有技术的这些缺陷，该方案使得能够在通过设备的用户界面的手势进行控制的情况下，免除在用户世界中限定参照系。尤其期望提供一种适于在图形界面中进行导航的解决方案。
还期望提供一种实现简单并且成本低的方案。
本发明涉及一种用于在用户界面控制的情况下识别手势的方法，所述方法由手势识别设备实现，所述方法包括以下步骤：接收表示利用包括陀螺仪传感器的专用仪器执行的手势的陀螺仪数据。所述方法使得其进一步包括以下步骤：确定所接收到的陀螺仪数据和被预先记录在数据库中的与监督学习相关的陀螺仪数据之间的相关性；根据所述相关性来识别或不识别所执行的手势，仅表示所执行的手势的数据被认为是所述陀螺仪数据；将各个识别的手势转换为用户界面命令。因此，通过设法仅从陀螺仪数据识别所执行的手势，本发明避免了在用户世界中限定参照系，并且免除了手势的踪迹在平面上的表示，这显著降低了实现手势识别的复杂性，并且相应地提高了用户界面的控制的反应度。
根据特定实施方式，所接收到的陀螺仪数据表示在所述专用仪器的按钮上检测到的两个动作之间的、由陀螺仪传感器进行的测量，接收陀螺仪数据的步骤之后是从测量的开始删除预定义数量的陀螺仪数据和/或到测量的结束删除预定义数量的陀螺仪数据的步骤。
根据特定实施方式，手势识别设备包括人工神经元网络，该人工神经元网络包括分别与所述手势识别设备能够识别的手势相关联的输出神经元，确定相关性的步骤由人工神经元网络执行。
根据特定实施方式，人工神经元网络实现S型(sigmoidtype)的激活函数，并且针对所接收到的陀螺仪数据和针对各个输出神经元，提供所述接收到的陀螺仪数据对应于与所述输出神经元相关联的手势的概率。
根据特定实施方式，所述方法包括以下步骤：通过对所接收到的陀螺仪数据当中的陀螺仪数据的均匀分布删除或均匀分布保存(preservation)来进行采样。
根据特定实施方式，被预先记录在数据库中的与监督学习相关的陀螺仪数据对应于所有以下手势：水平向右手势；水平向左手势；垂直向上手势；垂直向下手势。
根据特定实施方式，所接收到的陀螺仪数据表示由陀螺仪传感器在惯性参照系的三个轴上进行的测量，所述方法包括以下步骤：对所接收到的陀螺仪数据进行归一化，使得：针对关于给定轴限定的各个原始陀螺仪数据项，经归一化的陀螺仪数据项等于：所述原始陀螺仪数据项减去关于所述给定轴限定的所有原始陀螺仪数据的最小值，然后除以关于所述给定轴限定的所有原始陀螺仪数据的最小值与关于所述给定轴限定的所有原始陀螺仪数据的最小值之间的差值。
根据特定实施方式，这组手势还包括：对应于字母“V”的再现的手势；从高位置开始并且开始向左旋转的圆形手势。
根据特定实施方式，所接收到的陀螺仪数据表示由陀螺仪传感器在惯性参照系的三个轴上进行的测量，所述方法包括以下步骤：对所接收到的陀螺仪数据进行归一化，使得：针对关于给定轴限定的各个原始陀螺仪数据项，经归一化的陀螺仪数据项等于：所述原始陀螺仪数据项减去关于所述给定轴限定的所有原始陀螺仪数据的平均值，然后除以关于所述给定轴限定的所有原始陀螺仪数据的标准差。
本发明还涉及一种手势识别设备，该手势识别设备包括：用于接收表示利用包括陀螺传感器的专用仪器执行的手势的陀螺仪数据的装置。所述手势识别设备使得其还包括：用于确定所接收到的陀螺仪数据和被预先记录在数据库中的与监督学习相关的陀螺仪数据之间的相关性的装置；用于根据所述相关性识别或不识别所执行的手势的装置，仅表示所执行的手势的数据被认为是所述陀螺仪数据；用于将各个识别的手势转换为用户界面命令的装置。
本发明还涉及一种计算机程序，该计算机程序可以被存储在介质上和/或从通信网络下载，以由处理器读取。该计算机程序包括用于在所述程序由处理器执行时以任何其变型实现上述方法的指令。本发明还涉及包括这种计算机程序的存储装置。
本发明的上述特征以及其它特征将根据示例实施方式的以下描述的读取而变得更清楚，所述描述关于附图给出，在附图中：
图1示意性地示出可以实现本发明的系统；
图2示意性地示出手势识别设备的至少部分的模块划分的示例；
图3示意性地示出通信系统的手势识别设备的硬件架构的示例；
图4示意性地示出要被识别的一组手势；
图5示意性地示出手势识别算法。
图1示意性地示出可以实现本发明的系统。
图1的系统包括遥控100，通常也称作控制杆(joystick)，遥控设置有陀螺仪传感器，陀螺仪传感器用于收集关于遥控100在相对于惯性参照系的其参照系的三个轴上的角位置的陀螺仪数据。因此，陀螺仪数据表示由用户在遥控100上作出的移动，该移动是指由用户对他手中的遥控100作出的手势。概括地，遥控100是包括陀螺仪传感器的专用仪器，陀螺仪传感器适用于提供表示利用该专用仪器作出的手势的陀螺仪数据。
从而，遥控100可以包括加速度计，该加速度计是指适用于收集关于由用户在遥控100上作出的移动的线性加速度数据的传感器。如在下文中将看出，仅陀螺仪数据被用于执行移动的识别。然而，在图1的系统中，有可能使用现成可用的具有加速度计和陀螺仪的遥控，并且仅对由陀螺仪进行的测量执行手势的识别。
图1的系统还包括手势识别设备110。以下关于图2详细地描述手势识别设备110的至少部分的模块划分的示例，并且以下关于图5详细地描述手势识别设备110的操作。手势识别设备110可以被集成到机顶盒或者希望由手势控制的任何其它设备中。
遥控100和手势识别设备110通过第一链路101互连。第一链路101优选为无线链路，但是在一个变形例中，可以是有线链路。第一链路101适用于使得遥控100能够至少将陀螺仪数据发送到手势识别设备110。陀螺仪数据以分别对应于陀螺仪传感器在惯性参照系的三个轴上的固定间隔的测量的样本的形式来被提供。
图1的系统还包括通过第二链路111连接到手势识别设备110的屏幕120。例如，第二链路111为HDMI(高清多媒体接口)类型的。然后，屏幕120适用于根据由手势识别设备110经由第二链路111发送的数据来显示图形用户界面GUI。然后，依靠手势识别设备110，图形界面GUI由用户通过他/她手中的遥控100作出的手势来控制。
遥控100优选地包括控制按钮，诸如按压按钮或适用于检测用户的手指在传感器上施加的压力的压力传感器。然后，用户对该按钮执行第一动作，以指示控制图形界面GUI的手势的开始，并且对该按钮执行第二动作，以指示对图形界面GUI的命令手势的结束。例如，第一动作是按压按钮之后释放按钮，并且第二动作是持续按压按钮之后释放按钮。根据另一个示例，第一动作是按压按钮并且第二动作是释放按钮，在执行手势期间保持按压按钮。然后，这些动作界定(delimit)要由手势识别设备110识别的手势。遥控100发送与利用遥控100作出的任何移动相关的陀螺仪数据以及表示对按钮执行的动作的指示，使得手势识别设备110可以从由用户对他手中的遥控作出的所有手势来界定与要被识别的手势相关的陀螺仪数据，或者遥控100在对标记要被识别的手势的开始的按钮的动作与对标记要被识别的手势的结束的按钮的对应动作之间，发送与利用遥控作出的任何移动相关的陀螺仪数据。
为了能够在图形界面GUI中导航，手势识别设备110必须识别的少量手势是必要的。这些手势的一个示例在下面关于图4描述。
图2示意性地示出手势识别设备110的至少部分的模块划分的示例。该模块划分可以对应于例如由于FPGA(现场可编程门阵列)或ASIC(专用集成电路)组件的硬件实现或软件架构。
手势识别设备110包括用于经由第一链路101接收信号的模块210，所接收到的信号传送表示由用户利用他手中的遥控100作出的手势的陀螺仪数据。如已经提到的，所接收到的信号还可以传送表示对遥控100的按钮作出的动作的指示。然后，信号接收模块210负责对经由所述信号接收的数据进行分类，并且提取手势识别设备110识别手势所必需的陀螺仪数据。
手势识别设备110优选地包括用于对手势识别设备110识别手势所必需的陀螺仪数据进行归一化和采样的模块220。归一化和采样模块220的行为在下面关于图5进行描述。
手势识别设备110还包括数据库240，数据库240存储表示与要被识别的手势对应的遥控100的移动的陀螺仪数据。预先记录在数据库240中的陀螺仪数据从要被识别的手势的监督学习得到。手势识别设备110还包括用于确定由信号接收模块210提供的陀螺仪数据和通过监督学习获得的陀螺仪数据(是指存储在数据库240中的那些数据)之间的相关性的模块230。
根据优选实施方式，用于确定相关性的模块230是人工神经元网络。人工神经元网络包括数量等于手势识别设备110必须能够识别的手势的数量的多个输出神经元。输入神经元的数量等于要被考虑用于识别由用户执行的手势的陀螺仪数据的样本的数量乘以惯性参照系的轴的数量(一个陀螺仪数据项用于惯性参照系的三个轴中的每一个轴)，手势的样本被注入(inject)到相应的输入神经元。人工神经元网络包括按照经验限定的多个输入神经元和和多个中间层(也被称作隐藏层)。人工神经元网络实现了S型的激活函数，其使得能够针对各个输出神经元提供相关手势是与提供给输入神经元的陀螺仪数据对应的手势的概率。当这些概率中的一个概率高于预定义阈值时，认为对应手势要被识别。
在软件实现的情况下，人工神经元网络可以由史蒂芬尼森(SteffenNissen)创建的FANN(快速人工神经网络)库来实现。
根据另一个实施方式，用于确定相关性的模块230是支持向量机SVM，也被称作宽余量分离器(wide-marginseparator)。如同人工神经元网络一样，支持向量机SVM基于监督学习并且使得能够解决鉴别和分类问题。
数据库240通过学习来构建。这也可以在手势识别设备110的制造的上游实验室进行。然后，通过遥控100，用户的面板执行要被识别的手势，以用与这些手势对应的陀螺仪数据填充数据库240。用从由多个用户多次执行的手势得到的陀螺仪数据填充数据库240提高了手势识别的可靠性。实际上，相同的手势可以由不同的人以不同的方式并且甚至由相同的人以不同的方式来执行。
手势识别设备110还包括用于转换为用户界面命令的模块250。用于转换为用户界面命令的模块250适用于从用于确定相关性的模块230接收根据从遥控100接收的陀螺仪数据识别的手势的指示。用于转换为用户界面命令的模块250适用于将被识别手势指示转换为对应的用户界面命令。
手势识别设备110还包括用户界面管理模块260。用户界面管理模块260适用于接收来自转换模块250的用户界面命令。用户界面管理模块260负责将从由用户执行并且由手势识别设备110识别的手势得到的命令应用到用户界面。在图形界面GUI中进行导航的情况下，用户界面管理模块260负责根据由用户执行并且由手势识别设备110识别的手势来移动光标并且可选地进行确认和删除。因此，用户界面管理模块260适于图形界面GUI的重现(rendition)，并且经由第二链路111发送表示图形界面GUI的重现中的变化的数据，使得相应地更新屏幕120的显示。
当图形界面GUI基于网页浏览器的使用时，用于转换为用户界面命令的模块250优选地将所识别的手势表示为与计算机键盘的键对应的字符。
图3示意性地示出手势识别设备110的硬件架构的示例。
手势识别设备110则包括由通信总线320连接的以下组件：处理器或CPU(中央处理单元)310；随机存取存储器RAM311；只读存储器ROM312；存储单元或存储介质读取器，诸如SD(安全数字)读卡器或硬盘驱动器HDD313；以及用于经由第一链路101接收数据并且经由第二链路111发送数据的一组接口314。
处理器310能够执行从ROM312、从外部存储器(未示出)、从存储介质或者从通信网络加载到RAM311的指令。当手势识别设备110被加电时，处理器310能够从RAM311读取指令并且执行所读取的指令。这些指令形成计算机程序，该计算机程序使处理器310实现关于图2已描述的模块中的全部或一些以及以下描述的算法和步骤。
因此，这些模块、算法和步骤中的全部或一些可以通过由可编程机器(诸如DSP(数字信号处理器))或微控制器执行一组指令来以软件形式实现。这些模块、算法和步骤中的全部或一些还可以通过机器或专用组件(诸如FPGA或ASIC)来以硬件形式实现。
图4示意性地示出要被识别的一组手势，该组手势尤其适合于在图形界面GUI中导航。从这些手势的监督学习得到的陀螺仪数据被存储在数据库240中，并且用户能够通过用遥控100执行这些手势来控制用户界面。
第一手势401对应于遥控100向右的水平移动。第一手势401尤其适合于在图形界面GUI中向右移动光标。
第二手势402对应于遥控100向左的水平移动。第二手势402尤其适合于在图形界面GUI中向左移动光标。
第三手势403对应于遥控100向上的垂直移动。第三手势403尤其适合于在图形界面GUI中向上移动光标。
第四手势404对应于遥控100向下的垂直移动。第四手势404尤其适合于在图形界面GUI中向下移动光标。
因此，当手势识别设备110适用于至少识别第一手势401、第二手势402、第三手势403和第四手势404时，对用户来说，很容易在图形界面GUI中移动光标。
由第一手势401、第二手势402、第三手势403和第四手势404形成的集合可以通过第五手势405来扩充(augment)。第五手势405对应于通过遥控的字母“V”的再现，其对应于勾号。第五手势405尤其适合于在图形界面GUI中的确认动作。
由第一手势401、第二手势402、第三手势403和第四手势404以及可选的第五手势405形成的集合可以通过第六手势406来扩充。第六手势406对应于遥控100从高位置开始并且开始向左旋转的圆形移动。第六手势406尤其适合于在图形界面GUI中的删除动作。
上面描述的第一手势401、第二手势402、第三手势403、第四手势404、第五手势405以及第六手势406意味着充分不同的陀螺仪数据，以使得人工神经元网络或支持向量机SVM能够在不依赖于加速度数据的情况下进行分类。
手势识别设备110适于识别的所有手势可以通过其它手势增强。手势识别设备110适于识别的所有手势可以由任何其它组手势、或者包括上述手势的子集的一组手势组成，可选地用其它手势扩充。
图5示意性地示出由手势识别设备110使用的手势识别算法。
在步骤501中，手势识别设备110接收由遥控100记录的手势的陀螺仪数据。
在以下步骤502中，优选地，手势识别设备110删除所记录的手势的开始数据和/或结束数据。实际上，当用户作出要被识别的手势时，遥控的路径在手势的开始和/或结束处可能不稳定。这取决于用户是否对按钮执行了动作以在实际开始手势之前或之后指示手势的开始，以及取决于用户是否对按钮执行了动作以在实际结束手势之前或之后指示手势的结束。为此，当陀螺仪数据以连续帧(各帧包括陀螺仪数据的样本)的形式被接收时，手势识别设备110删除预定义数量N1的开始帧和/或预定义数量N2的结束帧，而不管N1是否等于N2。数量N1和N2根据经验来限定。
在以下步骤503中，优选地，当手势识别设备110包括人工神经元网络时，手势识别设备110执行对陀螺仪数据进行归一化的步骤。通过将陀螺仪数据转换到比原始值更密集的值域中，使得人工神经元网络能够不落入局部最小值。
根据第一实施方式，通过下式执行数据的归一化：
其中：
-xi表示在前述三个轴中的每一个轴上的各个陀螺仪数据项；
-表示根据第一实施方式的数据项xi的归一化结果；
-min(X)表示与xi相关的轴上的陀螺仪数据中的针对要被识别的手势的数据集合(population)中的最小值；以及
-max(X)表示与xi相关的轴上的陀螺仪数据中的针对要被识别的手势的数据集合中的最大值。
换言之，对于关于给定轴获得的原始陀螺仪数据项，经归一化的陀螺仪数据项等于：原始陀螺仪数据项减去关于所述给定轴获得的所有原始陀螺仪数据项的最小值，然后除以关于所述给定轴获得的所有原始陀螺仪数据的最小值与关于所述给定轴获得的所有原始陀螺仪数据的最小值之间的差值。
在第一实施方式的情况下应用的归一化尤其适于第一手势401、第二手势402、第三手势403和第四手势404的鉴别，第一手势401、第二手势402、第三手势403和第四手势404是指与在图形界面GUI中移动光标相关的那些手势。
根据第二实施方式，通过下式来进行数据的归一化：
其中：
-表示根据第二实施方式的数据项xi的归一化结果；
-表示与xi相关的轴上的陀螺仪数据中的针对要被识别的手势的数据集合的平均值；
-σX表示与xi相关的轴上的陀螺仪数据中的针对要被识别的手势的数据集合的标准差。
换言之，对于关于给定轴获得的原始陀螺仪数据，经归一化的陀螺仪数据项等于：原始陀螺仪数据项减去关于所述给定轴获得的所有原始陀螺仪数据的平均值，然后除以关于所述给定轴获得的所有原始陀螺仪数据的标准差。
在第二实施方式的情况下应用的归一化通常被称作定心和归约操作(centringandreductionoperation)。由于在第二实施方式的情况下应用的归一化对极值不太敏感，所以比第一实施方式的归一化更有效。
在第二实施方式的情况下应用的归一化尤其适于第一手势401、第二手势402、第三手势403、第四手势404、第五手势405和第六手势406的鉴别，也就是说，与光标移动、在图形界面GUI中的确认和删除相关的那些手势。
归一化在不影响变形轮廓(variationprofiles)(是指原始陀螺仪数据中的变形在经归一化的陀螺仪数据中再次被发现)的情况下，对单位进行改变以使值域更密集。此外，原始陀螺仪数据之间的相关性被保存在经归一化的陀螺仪数据的值域中。
在步骤503中，优选地，当手势识别设备110包括人工神经元网络时，手势识别设备110执行对陀螺仪数据进行采样的步骤。该采样步骤可以在归一化步骤之前或之后实现，优选地，在归一化步骤之前实现。该采样步骤包括：仅保持数量等于人工神经元网络的输入神经元的数量的多个陀螺仪数据。例如，可以通过均匀分布在针对所讨论的手势的所有陀螺仪数据上的删除、或者通过在针对所讨论的手势的整体陀螺仪数据上的均匀分布的保存来实现采样。
在以下步骤504中，手势识别设备110确定从遥控100接收的可选地经归一化和/或采样的陀螺仪数据和从监督学习得到的陀螺仪数据之间的相关性。换言之，根据前述实施方式，手势识别设备110将从遥控100接收的可选地经归一化和/或采样的陀螺仪数据注入人工神经元网络中或注入支持向量机SVM中。因此，仅表示所执行的手势的数据被认为是所述陀螺仪数据。实际上，发现对于很多手势并且尤其对于在图4中示例性描绘的手势，加速度数据将不被鉴别。因此，本发明使得能够避免在用户世界中限定参照系，并且免除手势的踪迹在平面上的表示，这显著降低了实现手势识别的复杂性，并且因此提高了用户界面的控制的反应度。
在以下步骤505中，手势识别设备110确定由用户执行的手势是否被识别。如果情况是这样，则执行步骤506；否则执行步骤507。在人工神经元网络的情况下，手势识别设备110确定由输出神经元提供的概率中的一个概率是否超过预定义阈值。如果情况是这样，则由所讨论的输出神经元表示的手势被识别。
在步骤506中，手势识别设备110将所识别的手势转换为控制用户界面的命令，诸如，例如，用于在图形界面GUI中进行导航的命令。
在步骤507中，由于由用户执行的手势不被识别，所以手势识别设备110进入错误状态。手势识别设备110什么也不做或者给用户提供表示手势识别失败的视觉或听觉反馈，因而提示他/她重复他的手势。

Claims (8)

1.一种用于在用户界面控制的情况下识别手势的方法，所述方法由手势识别设备(110)实现，所述方法包括接收表示利用包括陀螺仪传感器的专用仪器(100)执行的手势的陀螺仪数据的步骤(501)，所述方法的特征在于，所述手势识别设备包括人工神经元网络，所述人工神经元网络包括输出神经元，所述输出神经元分别与所述手势识别设备适于识别的手势相关联，并且所述方法的特征在于，所述方法还包括以下步骤：
-由所述人工神经元网络确定所接收到的陀螺仪数据和与监督学习相关并且被预先记录在数据库中的陀螺仪数据之间的相关性(504)，所述人工神经元网络实现S型的激活函数，并且针对所接收到的陀螺仪数据和针对各个输出神经元，提供所述接收到的陀螺仪数据对应于与所述输出神经元相关联的所述手势的概率；
-根据所述相关性来识别或不识别(505)所执行的手势，仅表示所执行的手势的数据被认为是所述陀螺仪数据；
-将各个识别的手势转换(506)为用户界面命令。
2.根据权利要求1所述的手势识别方法，所述方法的特征在于，所接收到的陀螺仪数据表示在所述专用仪器的按钮上检测到的两个动作之间的、由所述陀螺仪传感器进行的测量，所述陀螺仪数据接收步骤之后是从所述测量的开始删除预定义数量的陀螺仪数据和/或到所述测量的结束删除预定义数量的陀螺仪数据的步骤(502)。
3.根据权利要求1和2中的任一项所述的手势识别方法，所述方法的特征在于，所述方法包括：通过对所接收到的陀螺仪数据当中的陀螺仪数据的均匀分布删除或均匀分布保存来进行采样的步骤(503)。
4.根据权利要求1至3中的任一项所述的手势识别方法，所述方法的特征在于，与所述监督学习相关并且被预先记录在所述数据库中的所述陀螺仪数据对应于所有以下手势：
-水平向右手势(401)；
-水平向左手势(402)；
-垂直向上手势(403)；
-垂直向下手势(404)。
5.根据权利要求4所述的手势识别方法，所述方法的特征在于，所接收到的陀螺仪数据表示由所述陀螺仪传感器在惯性参照系的三个轴上进行的测量，所述方法包括对所接收到的陀螺仪数据进行归一化的步骤(503)，使得：
-针对关于给定轴限定的各个原始陀螺仪数据项，经归一化的陀螺仪数据项等于：所述原始陀螺仪数据项减去关于所述给定轴限定的所有所述原始陀螺仪数据的最小值，然后除以关于所述给定轴限定的所有所述原始陀螺仪数据的最小值与关于所述给定轴限定的所有所述原始陀螺仪数据的所述最小值之间的差值。
6.根据权利要求4所述的手势识别方法，所述方法的特征在于，这组手势还包括：
-对应于字母“V”的再现的手势(405)；
-从高位置开始并且开始向左旋转的圆形手势(406)。
7.根据权利要求6所述的手势识别方法，所述方法的特征在于，所接收到的陀螺仪数据表示由所述陀螺仪传感器在惯性参照系的三个轴上进行的测量，所述方法包括对所接收到的陀螺仪数据进行归一化的步骤(503)，使得：
-针对关于给定轴限定的各个原始陀螺仪数据项，经归一化的陀螺仪数据项等于：所述原始陀螺仪数据项减去关于所述给定轴限定的所有所述原始陀螺仪数据的最小值，然后除以关于所述给定轴限定的所有所述原始陀螺仪数据的最小值与关于所述给定轴限定的所有所述原始陀螺仪数据的平均值之间的差值，然后再除以关于所述给定轴限定的所有所述原始陀螺仪数据的标准差。
8.一种手势识别设备(110)，所述手势识别设备(110)包括用于接收陀螺仪数据的装置(210)，所述陀螺仪数据表示利用包括陀螺仪传感器的专用仪器(100)执行的手势，所述手势识别设备(110)的特征在于，所述手势识别设备(110)还包括：
-由人工神经元网络使用的装置(230)，所述人工神经元网络包括分别与所述手势识别设备适于识别的手势相关联的输出神经元，所述装置(230)用于确定所接收到的陀螺仪数据和与监督学习相关并且被预先记录在数据库(240)中的陀螺仪数据之间的相关性，所述人工神经元网络适于实现S型的激活函数，并且针对所接收到的陀螺仪数据和针对各个输出神经元，提供所述接收到的陀螺仪数据对应于与所述输出神经元相关联的手势的概率；
-用于根据所述相关性来识别或不识别所执行的手势的装置(230)，仅表示所执行的手势的数据被认为是所述陀螺仪数据；
-用于将各个识别的手势转换(506)为用户界面命令的装置(250)。
CN201380072845.5A 2012-12-12 2013-12-09 针对用户界面控制的手势识别设备和方法 Expired - Fee Related CN105122178B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR12/61939 2012-12-12
FR1261939A FR2999316A1 (fr) 2012-12-12 2012-12-12 Dispositif et procede de reconnaissance de gestes pour un controle d'interface utilisateur
PCT/EP2013/075984 WO2014090754A1 (fr) 2012-12-12 2013-12-09 Dispositif et procédé de reconnaissance de gestes pour un contrôle d'interface utilisateur

Publications (2)

Publication Number Publication Date
CN105122178A true CN105122178A (zh) 2015-12-02
CN105122178B CN105122178B (zh) 2017-08-29

Family

ID=47833251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380072845.5A Expired - Fee Related CN105122178B (zh) 2012-12-12 2013-12-09 针对用户界面控制的手势识别设备和方法

Country Status (6)

Country Link
US (1) US10802593B2 (zh)
EP (1) EP2932351B1 (zh)
CN (1) CN105122178B (zh)
BR (1) BR112015013661B1 (zh)
FR (1) FR2999316A1 (zh)
WO (1) WO2014090754A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114714358A (zh) * 2022-04-18 2022-07-08 山东大学 基于手势协议遥操作机械臂方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10078780B2 (en) * 2015-03-27 2018-09-18 Intel Corporation Gesture recognition mechanism

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101124534A (zh) * 2005-02-24 2008-02-13 诺基亚公司 用于计算终端的运动输入设备及其操作方法
US20080071540A1 (en) * 2006-09-13 2008-03-20 Honda Motor Co., Ltd. Speech recognition method for robot under motor noise thereof
US7706616B2 (en) * 2004-02-27 2010-04-27 International Business Machines Corporation System and method for recognizing word patterns in a very large vocabulary based on a virtual keyboard layout
CN101882015A (zh) * 2010-06-17 2010-11-10 金领导科技（深圳）有限公司 基于复合mems传感器的控制器及其手势控制按键方法
US20120054620A1 (en) * 2010-08-31 2012-03-01 Motorola, Inc. Automated controls for sensor enabled user interface

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
EP0849697B1 (en) * 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
SE0000850D0 (sv) * 2000-03-13 2000-03-13 Pink Solution Ab Recognition arrangement
US20040001113A1 (en) * 2002-06-28 2004-01-01 John Zipperer Method and apparatus for spline-based trajectory classification, gesture detection and localization
FI117308B (fi) * 2004-02-06 2006-08-31 Nokia Corp Eleohjausjärjestelmä
US8448083B1 (en) * 2004-04-16 2013-05-21 Apple Inc. Gesture control of multimedia editing applications
US7720786B2 (en) * 2007-05-25 2010-05-18 Samsung Electronics Co., Ltd. Method of pattern identification using retain operators on multisets
US9261979B2 (en) * 2007-08-20 2016-02-16 Qualcomm Incorporated Gesture-based mobile interaction
US8225343B2 (en) * 2008-01-11 2012-07-17 Sony Computer Entertainment America Llc Gesture cataloging and recognition
US9174123B2 (en) * 2009-11-09 2015-11-03 Invensense, Inc. Handheld computer systems and techniques for character and command recognition related to human movements
US8539385B2 (en) * 2010-01-26 2013-09-17 Apple Inc. Device, method, and graphical user interface for precise positioning of objects
US20120131513A1 (en) * 2010-11-19 2012-05-24 Microsoft Corporation Gesture Recognition Training
US9785335B2 (en) * 2010-12-27 2017-10-10 Sling Media Inc. Systems and methods for adaptive gesture recognition
US8873841B2 (en) * 2011-04-21 2014-10-28 Nokia Corporation Methods and apparatuses for facilitating gesture recognition
TWI534656B (zh) * 2014-08-28 2016-05-21 財團法人資訊工業策進會 辨識裝置、智慧裝置以及資訊提供方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7706616B2 (en) * 2004-02-27 2010-04-27 International Business Machines Corporation System and method for recognizing word patterns in a very large vocabulary based on a virtual keyboard layout
CN101124534A (zh) * 2005-02-24 2008-02-13 诺基亚公司 用于计算终端的运动输入设备及其操作方法
US20080071540A1 (en) * 2006-09-13 2008-03-20 Honda Motor Co., Ltd. Speech recognition method for robot under motor noise thereof
CN101882015A (zh) * 2010-06-17 2010-11-10 金领导科技（深圳）有限公司 基于复合mems传感器的控制器及其手势控制按键方法
US20120054620A1 (en) * 2010-08-31 2012-03-01 Motorola, Inc. Automated controls for sensor enabled user interface

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114714358A (zh) * 2022-04-18 2022-07-08 山东大学 基于手势协议遥操作机械臂方法及系统

Also Published As

Publication number Publication date
WO2014090754A1 (fr) 2014-06-19
FR2999316A1 (fr) 2014-06-13
US20150370332A1 (en) 2015-12-24
BR112015013661A2 (pt) 2017-07-11
BR112015013661B1 (pt) 2021-01-19
US10802593B2 (en) 2020-10-13
EP2932351A1 (fr) 2015-10-21
EP2932351B1 (fr) 2016-09-07
CN105122178B (zh) 2017-08-29

Similar Documents

Publication Publication Date Title
US10275022B2 (en) Audio-visual interaction with user devices
US11853108B2 (en) Electronic apparatus for searching related image and control method therefor
US11663784B2 (en) Content creation in augmented reality environment
CN102645972B (zh) 使用计算设备的移动来增强在与该计算设备交互时产生的输入事件的解释
KR101329956B1 (ko) 인터페이스 적응 시스템
CN106605202A (zh) 根据触摸输入的偏手性检测
CN110413357A (zh) 用于同步两个或更多个显示器的设备、方法和图形用户界面
JP2011523730A (ja) 手持ち式機器のユーザを識別する方法およびシステム
CN105518608A (zh) 上下文关联的手势分类
US20140160003A1 (en) Accelerometer-Based Biometric Data
KR20050097288A (ko) 입력모드 분류가능한 동작기반 입력장치 및 방법
US20130063494A1 (en) Assistive reading interface
US20090204703A1 (en) Automated document classifier tuning
CN110544287A (zh) 一种配图处理方法及电子设备
US20240192806A1 (en) Diffusion-based handedness classification for touch-based input
CN109739758B (zh) 测试用例转换方法和装置
CN107111441A (zh) 多级用户界面
CN105122178A (zh) 针对用户界面控制的手势识别设备和方法
JP4784367B2 (ja) 機器制御装置および機器制御処理のプログラム
JP2005092722A (ja) 動作認識装置
CN115424346A (zh) 一种人体坐姿检测方法、装置、计算机设备及系统
US9383906B2 (en) Object processing device, object processing method, and object processing program
WO2020170986A1 (ja) 情報処理装置、方法及びプログラム
US20210311621A1 (en) Swipe gestures on a virtual keyboard with motion compensation
TW201248456A (en) Identifying contacts and contact attributes in touch sensor data using spatial and temporal features

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170829

Termination date: 20211209

CF01 Termination of patent right due to non-payment of annual fee