CN102446025B - 基于物理模型的手势识别 - Google Patents

基于物理模型的手势识别 Download PDF

Info

Publication number
CN102446025B
CN102446025B CN201110302383.4A CN201110302383A CN102446025B CN 102446025 B CN102446025 B CN 102446025B CN 201110302383 A CN201110302383 A CN 201110302383A CN 102446025 B CN102446025 B CN 102446025B
Authority
CN
China
Prior art keywords
state
gesture
power
emulated physicses
emulated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110302383.4A
Other languages
English (en)
Other versions
CN102446025A (zh
Inventor
克里斯托弗·J·乌尔里奇
罗伯特·拉克鲁瓦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN102446025A publication Critical patent/CN102446025A/zh
Application granted granted Critical
Publication of CN102446025B publication Critical patent/CN102446025B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1636—Sensing arrangement for detection of a tap gesture on the housing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种用于在移动设备上识别手势的手势识别系统，该系统接收传感器数据以响应移动设备上被感应的手势。传感器数据包括力或冲量。力或冲量被施加到仿真物理对象，然后仿真物理对象的状态被观察。基于至少观察的仿真物理对象的状态，向应用提供输入。

Description

基于物理模型的手势识别
技术领域
一个实施例一般地是针对移动设备，尤其是用于移动设备的手势识别(gesturerecognition)。
背景技术
用于计算机系统和其他设备的手势(gesture)识别，通常涉及经由数学算法来翻译人类手势。手势(gesture)可以源于任何身体动作或状态，但是通常源于面部或手部。已经探讨了很多使用照相机和计算机视觉算法来翻译符号语言。然而，姿势、步态和人类行为的辨别和识别还是手势识别技术的主题。
一种类型的手势识别依赖于保持或另外操纵控制器或手持/移动设备的用户。这些控制器充当身体的延伸，使得做出手势时，一些它们的动作可以被软件方便地捕捉。鼠标手势就是一个这种示例，其中鼠标的动作与人手所画的符号相关。另一个示例是来自Nintendo集团的可以学习加速度随时间的变化以呈现手势的Wii遥控。为了识别手势这些方法通常都进行加速计数据的统计分析或信号处理。然而，一个缺点是统计分析典型地针对单一类型的动作，诸如当使用控制器与视频高尔夫游戏交互时挥动高尔夫球杆时的动作。
发明内容
一个实施例是用于在移动设备上识别手势的手势识别系统。系统接收传感器数据以响应移动设备上感应到的手势。传感器数据包括力(force)或冲量(impulse)。力或冲量被施加到仿真物理对象，然后观察仿真物理对象的状态。基于至少观察到的仿真物理对象的状态，输入被提供给应用。
附图说明
图1是根据本发明一个实施例的移动设备的立体图；
图2是根据本发明一个实施例的手势识别系统的框图；
图3是本发明一个实施例中仿真的示例物体的框图；
图4根据一个实施例示出了球的仿真动作；
图5是根据一个实施例经由例如手部动作/手势在空间中运动的移动设备的立体图；
图6是根据一个实施例为了识别手势观察仿真物理对象的有限状态机或“观察者”的框图；
图7根据一个实施例示出了包括两个门限值的容器中的仿真对象；
图8是当与应用共同识别手势时根据一个实施例的手势识别模块的功能的流程图。
具体实施方式
为了增加功能并提供到应用的用户界面，一个实施例是加入手势识别的移动设备。该设备包括仿真物理系统(physical system)和具有由物理系统的观察所驱动的状态迁移的状态机。每个状态可对应于识别的手势，以及基于识别的手势可生成触觉效果(haptic effect)。
图1是根据本发明一个实施例的移动设备50的立体图。如所示，移动设备50是移动电话。然而，其他实施例中的设备50可以是包括便携数字助理(“PDA”)、便携媒体播放器、便携游戏设备等的任何类型的手持设备。设备50包括允许用户与设备50上运行的软件应用进行接口(interface)的用户界面(“UI”)60。设备50进一步包括下面进一步详细公开的手势识别系统(未示出)，该系统允许用户使用手部55以诸如通过操纵设备50的有意义的方式与设备50和UI 60交互。
图2是根据本发明一个实施例的手势识别系统10的框图。系统10是图1的移动设备50的一部分，并且其提供手势识别功能。虽然作为单一系统来示出，但是系统10的功能可以作为分布式系统来实现。系统10包括总线12或其他用于沟通信息的通信机制，和耦合到总线12用于处理信息的处理器22。处理器22可能是任何类型的通用或专用处理器。系统10进一步包括用于存储将由处理器22所运行的信息和指令的存储器14。存储器14可以由随机访问存储器(“RAM”)、只读存储器(“ROM”)、诸如磁或光盘的静态存储器或任何其他类型的计算机可读介质的任何组合组成。
计算机可读介质可能是处理器22可访问的任何可用介质，包括易失性和不易失性介质、可擦除和不可擦除介质以及通信介质。通信介质可包括诸如载波或其他传输机制的调制数据信号中的计算机可读指令、数据结构、程序模块或其他数据，以及包括任何信息发送介质。
在一个实施例中，存储器14存储当被处理器22运行时提供功能的软件模块。模块包括在一个实施例中提供用于系统10的操作系统功能和设备50的其他功能的操作系统15。模块进一步包括如下面更详细公开的识别用户手势的手势识别模块16。系统10将典型地包括一个或更多附加应用模块18以包括附加功能，诸如生成触觉效果的应用和与模块16交互的应用，使得识别的手势可以用作那些应用的输入。
在实施例中从远程源传送和/或接收数据的系统10，进一步包括诸如网络接口卡的通信设备20，以提供诸如红外、无线、Wi-Fi或蜂窝网络通信的移动无线网络通信。在其他实施例中，通信设备20提供诸如以太网连接或调制解调器的有线网络连接。
处理器22进一步经由总线12耦合到用于向用户显示图形表示或用户界面的诸如液晶显示器(“LCD”)的显示器24。显示器24可能是诸如触摸屏幕、配置为从处理器22发送和接收信号的触摸感应输入设备，以及可能是多点触控触摸屏幕。
系统10进一步包括一个或更多致动器26。处理器22可传送与触觉效果相关的触觉信号到依次输出触觉效果的致动器26。致动器26可能是例如电动机、电磁致动器、音图(voice coil)、线性共振致动器、压电致动器、形状记忆合金、电活性聚合物、螺线管(solenoid)、质量偏心旋转电机(“ERM”)或线性共振致动器(“LRA”)。
系统10进一步包括一个或更多传感器28。传感器28可包括加速计(accelerometer)、陀螺仪、全球定位系统(“GPS”)传感器、触摸感应输入设备(例如，触摸屏幕、触摸板)、纹理手写笔(texture stylus)、图像传感器或一些其他类型传感器。传感器28可配置为检测加速度、倾角(inclination)、惯性(inertia)或地点(location)的变化。传感器28还可能包括地点传感器、旋转速度传感器、光线传感器、压力传感器、纹理传感器、照相机、麦克风或其他类型传感器。
随着图1的移动设备50被用户移动作为手势的结果，传感器28将检测到这些运动，并基于至少部分设备50的运动而生成传感器信号。手势可包括加速计、陀螺仪或一些其他传感器测量到的三维手势。三维手势可包括旋转、轻击、猛击或另外移动整个设备50。
在一个实施例中，手势识别系统10仿真(simulate)移动设备50的物理动作所扰动的物体，然后“观察者”追踪仿真物理对象的状态以确定手势。确定的手势可以作为输入提供到相关的软件应用，以及可以使软件生成触觉效果以向用户提供反馈来响应手势。物理仿真可以是将要被识别的手势的模拟，并且取决于应用可以与一维世界中具有质量(mass)的单一对象一样简单或更复杂。
图3是本发明一个实施例中仿真的示例物体的框图。在该示例中，手势识别系统10识别用于确定在UI 60中图形示出的诸如墙开关的“开关”是否是上/开或下/关的手势。在图3中所示的实施例中，仿真物理对象是管道或容器106中容纳的球102。球102限于箭头104所指示的上和下动作，就像球102被容纳在一个面上。球102任何时候都可以由其相对于x轴的位置(“x”)和其速度(v)或(x，v)表征。
图4根据一个实施例示出了球102的仿真动作。当未施加力时，球102留在线105所指示的容器106的中央。恒定背景力(constant background force)施加到球102，如势(potential)函数U(x)的空间导数(spatial derivative)所表示的。在图4中所示的势中，容器106中央有零净(net)背景力。在仿真物理系统中，依照势U(x)的斜率(slope)，向下方向中施加的扰动力使球102滑向容器106的底部。同样地，当在向上方向中施加力时，球102滑向容器106的顶部。施加的力可以作为势函数U(x)的导数d/dx表征，其是在每个x上施加到物体102的力，其中x是物体的空间位置。力可能是线性的，如在图4的示例中，或可能是周期流形(periodic manifold)(例如，如果x是角度)，任何其他函数U(x)或函数U(x，p)的参数化家族(其中p是参数)。算法将捕捉手势的类型，在确定手势的类型中，背景力的说明是有帮助的。
图5是根据一个实施例经由例如手部动作/手势在空间中运动的移动设备50的立体图。对于图3和4的示例，加速计沿着y轴(轴110)测量加速度，因为这是与使用手势以轻击UI 60中所示的开关开或关相关的方向。加速度由“ay”表示。
图6是根据一个实施例为了识别手势而观察仿真对象102的有限状态机600或“观察者”的框图。在一个实施例中，图6的有限状态机600的功能和下面图8的流程图，由存储器或其他计算机可读或有形介质中存储的软件实现，并由处理器运行。在其他实施例中，功能可以由硬件(例如，通过专用集成电路(“ASIC”)、可编程门阵列(“PGA”)、现场可编程门阵列(“FPGA”)等的使用)或任何硬件和软件的组合来执行。图7根据一个实施例示出了包括两个门限x值：xup和xdown的容器106中的仿真对象102。门限x值被状态机600使用以确定仿真开关是上或下。
在602中，物体102被初始化，使得位置x＝0和速度v＝0。
在604中，物体102的位置x和速度v被观察。在一个实施例中，下述伪码实现604的观察状态：
get sensor data()
convert sensors to forces()
apply forces to object()
time step physics()
if(collision)，play haptic effect
observe physical state()
上述伪码从传感器28获得传感器数据，然后将传感器数据映射到仿真对象102上的力或冲量，其然后使用数字积分器(numerical integrator)(物理时间步长(time stepphysics))被仿真以计算物体的位置和速度轨迹。如果基于力，在容器106的末端物体102碰撞，那么在一个实施例中提供冲突的指示的诸如振动的触觉效果将被生成。下面是上述伪码的功能一些示例实现。
将传感器转换为力()：在一个实施例中，通过比较加速度值与一系列不断增长的门限来将加速度值ay映射到速度冲量。上述加速度是具体门限，但是下面下一个较高门限将生成仿真对象102的冲量(速度的不连续变化)。
施加力到物体()：在一个实施例中，使用牛顿运动原理将力添加到力之和中。
另外，可能有可选的力场诸如重力，施加连续力到仿真对象。该力场可能与传感器相关，或者其可能被设计为向在一些方式中与仿真绑定的UI元件相关的物体提供势垒(potential barrier)。
物理时间步长()：在一个实施例中，诸如前向欧拉、库塔(Runge-Kutta)或向后差分公式(Backward Differentiation Formulas)(“BDF”)的标准数字积分方法被用于计算仿真对象的位置和速度。
碰撞：物体的碰撞通过观察其与仿真容器106的延伸相关的位置来计算。当物体的x值小于从仿真容器的末端开始的仿真圆的1个半径时，物体被认为与边界碰撞。该碰撞生成附加力或冲量，所以需要防止物体运动超过仿真容器的物理限制。在一些实施例中，与边界或与利益的其他位置或速度的碰撞可能触发触觉反馈，这给予用户移动设备在其中容纳物体的感觉。
另外，随着物体运动可能生成触觉反馈，就好像仿真球在木质斜坡、金属斜坡或其他材料上滚动。仿真斜坡的几何特征可以被认为是势函数U(x)的变化，并可以随着球运动通过势而产生触觉反馈。
如果在604中，物体102的位置小于xdown，那么在606中进入下状态，以及开关被认为按下。“下”事件被发送到图2的处理器22，其作为输入被提供给应用，并使UI 60示出开关向下运动。而且，在一个实施例中处理器22使致动器26生成诸如振动的触觉效果以指示开关已经运动到下状态。然后流程返回604。
如果在604中，物体102的位置大于xup，那么在608中进入上状态，以及开关被认为抬起。“上”事件被发送到图2的处理器22，其作为输入被提供到应用，使UI 60示出开关向上运动。而且，在一个实施例中处理器22使致动器26生成诸如振动的触觉效果以指示开关已经运动到上状态。然后，流程返回到604。
如所示，在上述示例中生成不止一种类型的触觉效果。一种类型的触觉效果提供开关已经从上状态运动到下状态的指示，或反之亦然。另一个触觉效果提供除了所观察到的状态之外的物体/球102的物理状态的指示，诸如球102是否已经与容器106的末端碰撞。
在其他实施例中，仿真物理对象对应于或基本上类似于UI 60中仿真的物体。例如，UI 60和其基础应用可显示在flipbook中，其中用户可以通过轻击手势来换页。在该示例中，仿真物理对象102是flipbook，而观察者600将观察仿真flipbook的状态以响应施加到移动设备50的力。如果在仿真flipbook中动作产生页面的轻击，那么UI 60中显示的flipbook将显示被轻击的页面，以及触觉效果被生成以指示被轻击的页面。
在另一个实施例中，UI 60显示可以通过用户手势上或下滚动的联系列表。一次只显示一部分联系列表，以及用户可以轻击移动设备50上或下以开始滚动列表。当用户使移动设备50停止时滚动将放慢并逐渐停止。
在该实施例中，仿真物理设备可能是棘轮(ratcheting)设备，其中物体沿着棘轮部分滑行并逐渐减速和掉入槽中。物体是球时，该仿真物理设备可能类似于轮盘。观察者可以观看自转(spin)的状态和当确定怎样放慢滚动时物体/球逐渐进入的状态，以及在哪个联系人逐渐停止滚动。触觉效果可以被生成以反应棘轮。当到达联系列表的末端时，反弹可能被仿真使得列表开始以相反的方向滚动。
在其他实施例中，势函数U(x)可以是对应于要求设备以特定时间频率上下运动的重复手势的诸如sin(x)的周期函数。而且，系统可以是二维的，以及从两个加速计信号(即，ax和ay)取得传感器输入。这种系统可要求二维中更复杂的空间动作以达到某种状态。这对于具有大量主控制的应用的手势控制是有用的，诸如可能响应于抖动、摆动和周期性空间动作的媒体播放器。
在另一个实施例中，系统可以是具有到力映射的多维传感器的多个势函数的笛卡儿积(Cartesian product)。与上述实施例一样，该系统将使各种复杂空间动作或其他感应的手势成为可能，并提供包括游戏、生产力(productivity)应用、电话拨号等复杂UI的控制。
图8是当与应用共同识别手势时根据一个实施例的手势识别模块16的功能的流程图。
在802中，生成仿真物理对象。在一个实施例中，仿真的物体是与应用所实现的物体相关的。例如，如果应用是UI上flipbook的显示，那么仿真物理对象可能是flipbook。
在804中，力或冲量施加到仿真物理对象以响应诸如手部移动移动设备的手势。力或冲量由传感器在移动设备上以传感器数据的形式生成。
在806中，观察到响应力的仿真物理对象的状态。在一个实施例中，观察者是有限状态机。
在808中，基于仿真物理对象的状态的变化，提供到应用的输入。应用可以使用该输入以提供功能并可响应生成一个或更多触觉效果。
如公开的，一个实施例提供使用两个主要元件：物理仿真和状态机的手势识别。物理仿真可能是将要被识别的手势的模拟，以及取决于应用可能与一维世界中具有质量的单一物体一样简单，或者更加复杂。系统的状态机组件由有限状态机架构和观察者组件构成。观察者组件监测物理仿真的一个或更多物理参数，并使用这些参数来触发可能导致到UI元件、应用状态或其他手势响应的变化的状态迁移。另外，状态迁移可能产生离散的或作为一个或更多观察到的物理参数的功能的多模式触觉音频反馈。最后，每个状态可能修改作为物体上的力并引导其他变化进入物理系统的函数U(x)。例如，设备倾斜角度(tilt angle)可以用于在U(x)函数的参数化家族之间选择。结果用于手势识别的不依赖于复杂的统计分析、也不专门适合一个应用的通用框架。
在这里几个实施例被具体示出和/或描述。然而，应该理解公开的实施例的修改和变化已被上述教导所覆盖，并且不脱离本发明的精神和意图范围情况下也在所附权利要求的范围内。

Claims (17)

1.一种用于在移动设备上执行手势识别的系统，所述系统包括：
用于生成仿真物理对象的装置；
用于响应于所述移动设备上感应到的手势而接收传感器数据的装置，所述传感器数据包括力或冲量；
用于施加所述力或冲量到所述仿真物理对象的装置；
用于响应于所施加的力或冲量而观察所述仿真物理对象的状态的装置，其中，所观察到的状态基于与所述仿真物理对象对应的物理对象上对所施加的力或冲量的物理反应的仿真；和
用于至少基于所观察到的所述仿真物理对象的状态向应用提供输入的装置。
2.根据权利要求1所述的系统，其中到所述应用的输入包括与用户界面的交互。
3.根据权利要求2所述的系统，其中所述用户界面显示类似于所述仿真物理对象的图形。
4.根据权利要求3所述的系统，其中所述图形响应于所述交互而变化。
5.根据权利要求1所述的系统，其中所述应用响应于所述输入而生成触觉效果。
6.根据权利要求5所述的系统，其中所述触觉效果包括观察到的所述仿真物理对象的状态的反馈。
7.根据权利要求5所述的系统，其中所述触觉效果包括所述仿真物理对象的物理状态的反馈。
8.根据权利要求5所述的系统，其中所述触觉效果包括在所述移动设备上生成振动的致动器。
9.根据权利要求1所述的系统，其中所述仿真物理对象是容器中的球并被限定在一维运动中。
10.根据权利要求1所述的系统，其中所述力或冲量由加速计感应。
11.根据权利要求1所述的系统，其中所述应用翻译观察到的状态作为识别的手势。
12.一种用于在移动设备上执行手势识别的计算机实现的方法，所述方法包括：
生成仿真物理对象；
响应于所述移动设备上感应到的手势而接收传感器数据，所述传感器数据包括力或冲量；
施加所述力或冲量到所述仿真物理对象；
响应于所施加的力或冲量而观察所述仿真物理对象的状态，其中，所观察到的状态基于与所述仿真物理对象对应的物理对象上对所施加的力或冲量的物理反应的仿真；和
至少基于所观察到的所述仿真物理对象的状态向应用提供输入。
13.根据权利要求12所述的计算机实现的方法，其中所述应用响应于所述输入而生成触觉效果。
14.根据权利要求12所述的计算机实现的方法，其中所述仿真物理对象是容器中的球并被限定在一维运动中。
15.一种用于在移动设备上执行手势识别的系统，所述系统包括：
处理器；
耦合到所述处理器的存储器；和
耦合到所述处理器用于感应所述系统上的手势的传感器；和
所述处理器被配置为：
生成仿真物理对象；
响应于所述系统上的手势而从所述传感器接收力；
施加所述力到所述仿真物理对象；
响应于所施加的力而观察所述仿真物理对象的状态，其中，所观察到的状态基于与所述仿真物理对象对应的物理对象上对所施加的力的物理反应的仿真；和
至少基于所观察到的所述仿真物理对象的状态向应用提供输入。
16.根据权利要求15所述的系统，进一步包括：
耦合到所述处理器的致动器；
其中响应于所述输入，所述应用使所述致动器生成触觉效果。
17.根据权利要求15所述的系统，其中所述仿真物理对象是容器中的球并被限定在一维运动中。
CN201110302383.4A 2010-10-05 2011-10-08 基于物理模型的手势识别 Expired - Fee Related CN102446025B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/898,032 2010-10-05
US12/898,032 US8564535B2 (en) 2010-10-05 2010-10-05 Physical model based gesture recognition

Publications (2)

Publication Number Publication Date
CN102446025A CN102446025A (zh) 2012-05-09
CN102446025B true CN102446025B (zh) 2017-05-10

Family

ID=44772864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110302383.4A Expired - Fee Related CN102446025B (zh) 2010-10-05 2011-10-08 基于物理模型的手势识别

Country Status (5)

Country Link
US (1) US8564535B2 (zh)
EP (2) EP3567458A1 (zh)
JP (1) JP6062621B2 (zh)
KR (3) KR20120035895A (zh)
CN (1) CN102446025B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120120017A1 (en) * 2010-11-17 2012-05-17 Synaptics Incorporated System and method for determining object information using an estimated deflection response
US8618428B2 (en) 2010-12-14 2013-12-31 Synaptics Incorporated System and method for determining object information using an estimated rigid motion response
CN103547899B (zh) * 2011-06-28 2016-01-27 国际商业机器公司 振动监视系统
KR102054370B1 (ko) * 2011-11-23 2019-12-12 삼성전자주식회사 햅틱 피드백 방법 및 장치, 기계로 읽을 수 있는 저장 매체 및 휴대용 통신 단말
US8711118B2 (en) 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
US8493354B1 (en) 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
US9665214B2 (en) 2012-03-29 2017-05-30 Synaptics Incorporated System and methods for determining object information using selectively floated electrodes
US8570296B2 (en) 2012-05-16 2013-10-29 Immersion Corporation System and method for display of multiple data channels on a single haptic display
WO2014205767A1 (en) * 2013-06-28 2014-12-31 Verizon Patent And Licensing Inc. Human-computer interaction using wearable device
US11229239B2 (en) * 2013-07-19 2022-01-25 Rai Strategic Holdings, Inc. Electronic smoking article with haptic feedback
WO2015038128A1 (en) * 2013-09-12 2015-03-19 Intel Corporation System to account for irregular display surface physics
US10535003B2 (en) 2013-09-20 2020-01-14 Namesforlife, Llc Establishing semantic equivalence between concepts
US9721411B2 (en) 2014-03-18 2017-08-01 Google Inc. Proximity-initiated physical mobile device gestures
CN106133738A (zh) * 2014-04-02 2016-11-16 索尼公司 信息处理系统以及计算机程序
US10613629B2 (en) 2015-03-27 2020-04-07 Chad Laurendeau System and method for force feedback interface devices
US9943066B2 (en) 2015-04-20 2018-04-17 Samsung Electronics Co., Ltd. Gesture control and directional force on remote object based on smart wearable
CN107015631A (zh) * 2016-01-28 2017-08-04 珠海格力电器股份有限公司 一种手势模拟方法、装置及系统
KR20180033822A (ko) * 2016-09-26 2018-04-04 포항공과대학교 산학협력단 물리적 시뮬레이션으로부터 진동 효과를 발생시키는 방법 및 장치
JP6817460B2 (ja) * 2017-10-26 2021-01-20 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法およびプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1543599A (zh) * 2001-07-22 2004-11-03 托莫沙利特股份公司 计算机化便携式手持装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5999168A (en) * 1995-09-27 1999-12-07 Immersion Corporation Haptic accelerator for force feedback computer peripherals
US6252583B1 (en) * 1997-11-14 2001-06-26 Immersion Corporation Memory and force output management for a force feedback system
JP3909994B2 (ja) * 2000-02-29 2007-04-25 アルプス電気株式会社 入力装置
JP3838173B2 (ja) * 2002-07-31 2006-10-25 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
US7432908B2 (en) * 2003-11-25 2008-10-07 International Business Machines Corporation Controller, system and method for controlling a cursor
US20070002018A1 (en) * 2005-06-30 2007-01-04 Eigo Mori Control of user interface of electronic device
US7657849B2 (en) * 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
JP2008033739A (ja) * 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置
US8098235B2 (en) * 2007-09-28 2012-01-17 Immersion Corporation Multi-touch device having dynamic haptic effects
US8154524B2 (en) * 2008-06-24 2012-04-10 Microsoft Corporation Physics simulation-based interaction for surface computing
CN106990811A (zh) 2008-07-15 2017-07-28 意美森公司 用于触觉消息传输的系统和方法
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1543599A (zh) * 2001-07-22 2004-11-03 托莫沙利特股份公司 计算机化便携式手持装置

Also Published As

Publication number Publication date
KR20120035895A (ko) 2012-04-16
EP3567458A1 (en) 2019-11-13
EP2439612A2 (en) 2012-04-11
CN102446025A (zh) 2012-05-09
JP6062621B2 (ja) 2017-01-18
JP2012108885A (ja) 2012-06-07
US20120081276A1 (en) 2012-04-05
EP2439612A3 (en) 2014-05-21
KR20190029546A (ko) 2019-03-20
US8564535B2 (en) 2013-10-22
KR20180029995A (ko) 2018-03-21

Similar Documents

Publication Publication Date Title
CN102446025B (zh) 基于物理模型的手势识别
CN105683882B (zh) 等待时间测量与测试系统和方法
US10496170B2 (en) Vehicle computing system to provide feedback
CN104111726B (zh) 用于输出触觉效果的方法和系统
Potter et al. The leap motion controller: a view on sign language
US20130307829A1 (en) Haptic-acoustic pen
CN104122992A (zh) 用于与可折叠可弯曲显示器交互作用的触觉反馈
CN105005376A (zh) 结合拉伸特性的触觉设备
CN105031919A (zh) 用于增强现实角色维持并体现观察者的认知的方法
CN108434726A (zh) 自动局部触觉生成系统
US10001914B2 (en) Method and apparatus for causing a deformation representation
US20180011538A1 (en) Multimodal haptic effects
US10065111B1 (en) Mapping user interactions with a controller to a hand position
KR101360980B1 (ko) 필기구형 전자 입력장치
Kranz et al. Developing gestural input
KR101605740B1 (ko) 스마트폰 사용자의 개인화된 동작인식 방법 및 이를 이용한 게임방법
US20220362631A1 (en) Virtual tastings and guided tours for augmented reality experiences
Lo et al. Gesture recognition system based on acceleration data for Robocup referees
Yalçinkaya Designing 3D scenarios and interaction tasks for immersive environments
Lee et al. Touchpair: Dynamic analog-digital object pairing for tangible interaction using 3d point cloud data
CN109523840A (zh) 一种体感教育系统
bin Megat Adnan Hand Gesture-based Interaction: A Review
Moussette HAPI: haptic interaction for mobile devices
KR20140060025A (ko) 게임 수행 방법, 이를 수행하는 게임 수행 서버 및 이를 저장한 기록매체

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: California, USA

Applicant after: Immersion Corp.

Address before: California, USA

Applicant before: Immersion Corp.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: IMMERSION CORP. TO: YIMEISEN COMPANY

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170510

Termination date: 20211008

CF01 Termination of patent right due to non-payment of annual fee