CN104137045B - 用于用户手势识别的方法和装置 - Google Patents

用于用户手势识别的方法和装置 Download PDF

Info

Publication number
CN104137045B
CN104137045B CN201280070147.7A CN201280070147A CN104137045B CN 104137045 B CN104137045 B CN 104137045B CN 201280070147 A CN201280070147 A CN 201280070147A CN 104137045 B CN104137045 B CN 104137045B
Authority
CN
China
Prior art keywords
user
group
gesture
user action
user gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280070147.7A
Other languages
English (en)
Other versions
CN104137045A (zh
Inventor
S·P·龙凯宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN104137045A publication Critical patent/CN104137045A/zh
Application granted granted Critical
Publication of CN104137045B publication Critical patent/CN104137045B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G06F3/041661—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving using detection at multiple resolutions, e.g. coarse and fine scanning; using detection within a limited area, e.g. object tracking window
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种装置，包括：至少一个处理器，以及包括计算机程序代码的至少一个存储器，至少一个存储器和计算机程序代码被配置成利用至少一个处理器使装置至少执行：依赖于用户手势确定至少一个参数，其中该参数是在该装置和用户手势之间的不同的任意方向下确定时具有相同的值的旋转不变性；以及响应于用户手势使用至少一个参数来确定操作。

Description

用于用户手势识别的方法和装置
技术领域
本发明的实施例涉及用户手势的识别。
背景技术
诸如触敏显示器的接近探测器被普遍用在诸如平板电脑和智能电话的便携式电子装置中。用户能够通过执行由接近探测器探测的手势(诸如在触敏显示器和用户手指之间移动触点)而提供输入命令。
发明内容
根据本发明的各种但不一定是全部实施例，提供了所附权利要求中要求保护的任何装置、方法和计算机程序。
本发明的一些但不一定是全部实施例能在用户不能或不能容易地看到装置、并因此不能确定用户手势的坐标系的方向时得到应用。
附图说明
为了更好地理解本发明实施例的各种示例，现在将仅仅通过示例的方式参考附图，在附图中：
图1示意性地示出包括接近探测器的装置；
图2示出使用第一状态(或第二状态)下的装置来消歧第一组(或第二组)有效用户动作；
图3示出使用第二状态中的装置来消歧第二组有效用户动作；
图4A示出接近探测器的个体传感器元件如何被用在高清晰度模式下感测高清晰度用户动作；
图4B示出接近探测器的个体传感器元件构成的群组如何被用在低清晰度模式下感测低清晰度用户动作；
图5A示出向内滑动用户动作的示例；
图5B示出向外滑动用户动作的示例；
图6A示出包括向内滑动、随后是以相反方向向外滑动的用户手势的示例；
图6B示出包括向外滑动、随后是以相反方向向内滑动的用户手势的示例；
图7A和7B示出包括向内滑动、随后是以不同方向向外滑动的用户手势的示例；
图7C示出包括向内滑动、随后是以相同方向向外滑动的用户手势的示例；
图8A和8B示出包括向内滑动、随后是以不同方向向外滑动的用户手势的示例；
图9A和9B示出包括以逆时针方向和顺时针方向进行的定向滑动的用户手势的示例；
图10A至10C示出不同方向下的示例装置；
图11示出类似于图1所示装置、包括两个不同的接近探测器的示例装置；
图12以剖面示出图11中所示装置的示例；
图13示出用于切换到第二状态以消歧第二组有效用户动作的方法的示例；
图14示出包括处理器的控制器的示例；并且
图15示出用于确定用户手势的旋转不变性参数的方法的示例。
具体实施方式
附图示出装置2，其包括：至少一个处理器50；以及包括计算机程序代码54的至少一个存储器52，至少一个存储器52和计算机程序代码54被配置成利用至少一个处理器50使装置2至少执行：依赖于用户手势14确定至少一个参数，其中该参数是旋转不变的，其在装置2和用户手势14之间的不同的任意方向下确定时具有相同的值；以及使用该至少一个参数来确定响应于用户手势14的操作。
在效果上是旋转不变的用户手势的使用使用户能够提供输入到装置2，而不必首先知道该装置的方向(旋转角)。这使用户能够提供输入到装置2，而不用保持或看着该装置。
图1示意性地示出装置2。装置2包括接近探测器4、控制器6以及用户输出设备8。
装置2可以是例如电子装置，诸如个人数字助理、个人媒体播放器、移动蜂窝电话、个人电脑、销售点终端等。在一些实施例中，装置2可以是手持便携式装置，即大小为可携带在手掌中或夹克口袋中的装置。
接近探测器4可以包括可以使用任何适合技术的一个或多个接近传感器。
接近探测器4执行的接近探测可以依赖于例如使用排列为阵列的一个或多个电容传感器的电容传感。
接近探测器4执行的接近探测可以依赖于例如电阻式触摸屏。
接近探测器4执行的接近探测可以依赖于例如照相机，诸如红外照相机。
接近探测器4执行的接近探测可以依赖于例如使用一个或多个超声波传感器的超声波传感。
接近探测器4执行的接近探测可以依赖于例如使用一个或多个压力传感器的压力传感。
在一些但不一定是所有示例中，接近探测器4可以是探测在屏幕处或屏幕前的触摸手势的位置的触摸屏。触摸屏可以作为例如触摸屏显示器与显示器组合使用。
接近探测器4可以工作在装置2的正面。可替换地或附加地，接近探测器4可以工作在装置2的背面。这些接近探测器中的一个或两个可以包括触摸屏。
接近探测器4被配置成消歧邻近于接近探测器4的不同用户动作。手势是用户动作的示例。即，接近探测器4被配置成提供输出，其使得能够区分不同的用户动作以及随后把用户动作识别为有效用户动作。有效用户动作是与装置2的操作相关联的用户动作。当用户动作被识别为有效用户动作时，相关联的操作作为用户输入命令被装置2执行。各个不同的有效用户动作可以用于引用不同的操作。如下面更详细描述的，不同的有效用户动作与装置可以执行的不同操作相关联。可以响应于相关联的有效用户动作的探测而执行特定操作。
控制器6被配置成接收来自接近探测器4的输出。其处理所接收的输出，识别所接收的输出作为对特定的探测到的有效用户动作的指示，并执行与该用户动作相关联的适当操作。
在一些但不一定是所有实施例中，装置2可以工作在多于一种状态中，例如工作在至少第一状态或第二状态中。
图2示出装置2在第一状态中或第二状态中、并消歧第一组用户动作14或第二组用户动作14的情况。在本示例中，用户动作14是通过手10的移动作出的手势，并且在本示例中，接近探测器4是触敏显示器。在一些但不一定是所有示例中，接近探测器4使得能够在显示器5上作出触摸输入。
装置2可以配置成响应于探测到第一标准，从第一状态切换到第二状态。
装置2可以配置成响应于探测到第二标准，从第二状态切换到第一状态。
在第一状态中，接近探测器4的输出被用于消歧第一组用户动作中的用户动作，并执行与消歧的用户动作相关联的各个操作。
在第二状态中，接近探测器4的输出被用于消歧第二组用户动作中的用户动作，并执行与消歧的用户动作相关联的各个操作。
第二组用户动作可以与第一组用户动作相同或不同，并且可以包括当执行用户手势时无论装置2相对于该用户手势是什么(固定)方向在效果上都不变的用户手势。
在一些但不一定是所有实施例中，第一组用户动作和第二组用户动作是相互排斥的组。
在一些但不一定是所有示例中，第二组用户动作可以比第一组用户动作少。
第一标准在一些示例中可以通过用户输入而得到满足，并且在其它示例或环境下可以自动地得到满足。在一些但不一定是所有示例中，可以在装置探测到用户不能看见该装置时(例如，由于其在口袋中，或环境照明度非常低、且装置处于低发光模式)满足第一标准。
第一标准和/或第二标准的探测可以包括一个或多个标准探测器。标准探测器是探测标准的探测器。可选地，接近探测器4可以用作标准探测器。可替换地或附加地，可以通过例如加速计或麦克风执行其它探测，或者可以执行其它接近探测，例如使用一个或多个传感器的光学或超声波传感。发射机可以用作波源(例如红外光或超声波)，并且接收机可以用于探测邻近物体反射的波。如果多于一个接近探测器4被使用，则它们可以感测相同的参数(例如电容、反射光或反射超声波)或不同的参数。
图3示出装置2处于第二状态中、并消歧第二组用户动作14的情况。在本示例中，用户动作是手势，并且在本示例中，接近探测器4是触敏显示器。接近探测器4使得能够在显示器5上作出触摸输入。
显示器5可以在装置2处于第二状态中时处于低功耗模式。作为示例，显示器5可以被停用。
在图3中，障碍物12被布置在做用户动作14的用户和接近探测器4之间。障碍物12会防止用户看见或清楚地看见装置2。障碍物可以是例如不透明的。在图示的示例中，障碍物12是一件衣服。该衣服可以是任何适合的衣服材料，诸如织物、布、服装、服饰等。
虽然第二组用户动作14通过障碍物12与至少一个接近探测器4隔离，但处于第二状态中的装置2被配置成准确消歧第二组用户动作14。
在一些但不一定是所有示例中，存在障碍物12的情况下的消歧会要求接近探测器4的探测灵敏度的增加。可以在接近探测器4自身处或在处理来自接近探测器4的输出期间控制灵敏度的增加。
在接近探测器4探测到动作时出现探测事件。探测事件可以通过距离处于第二状态而非第一状态中的接近探测器4更大阈值距离的用户动作触发(引起)。因此，在第二状态中，即使障碍物12在用户动作和接近探测器4之间“调解”，探测事件也会被触发。该增加的灵敏度会降低空间分辨率。
例如，接近探测器4在第二状态中会具有比第一状态中更高的增益，从而使其更加敏感。更高的增益可以通过例如放大来自接近探测器4的输出信号、或通过组合或整合来自相邻的接近探测器4或接近探测器4内的相邻传感器群组的输出信号来获得。
例如，在一些但不一定是所有实施例中，在探测到第一标准后，装置2可以自动地从使用至少一个处于高清晰度模式的接近探测器4以消歧第一组用户动作，切换到使用至少一个处于低清晰度模式的接近探测器4以消歧第二组用户动作而非第一组用户动作。
术语“清晰度”和“空间分辨率”是同义词。在探测或动作的上下文中使用时，术语“高清晰度”指的是每单位面积存在高信息内容，即，存在高空间分辨率。在探测或动作的上下文中使用时，术语“低清晰度”指的是每单位面积存在低信息内容，即，存在低空间分辨率。低空间分辨率和高空间分辨率之间的关系是，针对高空间分辨率的单位面积的信息内容可以是针对低空间分辨率的单位面积的信息内容的例如2、4、16或甚至64倍。
图4A和4B示出接近探测器排列的示例，其包括N行x M列的接近传感器元件26的阵列。每个传感器元件较小，例如小于0.5cm x 0.5cm。阵列的行或列中的相邻传感器元件的中心隔开例如小于1cm。
在图4A中所示的高清晰度模式下，每个传感器元件作为接近探测器4工作。接近探测器4能够消歧第一位置处的瞬时用户动作(例如触摸)与和第一位置隔开例如小于0.5cm的第二位置处的瞬时用户动作(例如触摸)。
因此，在高清晰度模式下，用户能够使用单独的用户动作明显地激励各个单独的传感器元件。因此，用户动作可以被作为例如瞬时输入点22局限于时间上一瞬间的小区域。用户动作14可以是诸如随时间在一系列小连续区域(例如作为跟踪输入点24)上延伸的滑动的手势。
在图4B所示的低清晰度模式下，N x M的传感器元件被用作n x m个传感器元件群组28。每个传感器元件群组28是N/n x M/m的传感器元件阵列。n和m都>1。
每个传感器元件群组28作为单个接近探测器4工作。这可以通过例如使用来自群组28中仅一个传感器元件的输出、或者组合群组28中传感器元件的所有输出来实现。
群组28执行探测所在的范围(面积)显著大于传感器元件执行探测所在的范围(面积)。因此，在低清晰度模式下，每单位面积存在更少的接近传感器26。因此，群组28不能够消歧高清晰度用户动作，诸如不能够消歧第一位置处的瞬时用户动作与和第一位置隔开小于例如0.5cm的第二位置处的瞬时用户动作。
然而，低清晰度用户动作可以被消歧。低清晰度用户动作14是(例如作为滑动输入)随时间在一系列群组28上延伸的用户动作14。
往回参考图1，第一状态和第二状态可以或可以不与特定清晰度模式匹配。处于第一状态中的装置2可以工作在高清晰度模式和/或低清晰度模式下。处于第二状态中的装置2可以工作在高清晰度模式和/或低清晰度模式下。
在一些但不一定是所有实施例中，处于第一状态中的装置可以工作在高清晰度模式下，并且处于第二状态中的装置2可以工作在低清晰度模式下。
可工作的特定清晰度模式会影响来自接近探测器4的输出和/或影响控制器6对输出的处理。因此，第一组用户动作可以包括高清晰度用户动作和低清晰度用户动作，而第二组用户动作仅限于低清晰度用户动作。
参考图10A和10B，当执行用户动作时，尽管装置2有不同的方向，但同一用户动作14在效果上是不变的。如果装置已经相对于用户动作旋转任意90、180或270度，则用户手势在效果上是不变的。
参考图10A、10B和10C，当执行用户动作时，尽管装置2有不同的任意方向，但同一用户动作14可以在效果上是不变的。
装置2可以配置成通过确定用户手势14的一个或多个旋转不变性参数来区分各有效用户手势14，而无论在用户手势14的持续时间内装置2相对于用户手势14被放置在什么方向。
当在装置和用户手势14之间的不同任意方向上确定时，旋转不变性参数具有相同的值。
然后旋转不变性参数被用于响应于用户手势而确定装置2执行的操作。
因此，用户能够在不知道或不在意装置2在该时刻的特定方向的情况下使用手势对装置2提供用户命令。
图15示意性地示出使用户能够在不知道或不在意装置2的特定方向的情况下使用手势对装置2提供用户命令的方法50。
在方框62处，确定旋转不变性参数。然后在方框64处，该旋转不变性参数被用于确定操作。
用户手势14的区分特征可以是其方向，而非特定起点或终点的绝对位置。不依赖于起点或终点的特定位置的用户手势可以被描述为“非约束性”或“相对”输入。起点和终点之间的相对关系而非其绝对位置定义了用户手势。
约束性输入被定义为需要特定起点和/或终点的动作。它是绝对输入。非约束性输入被定义为不需要特定起点和/或终点的动作。它是相对输入。
如果启用了非约束性用户手势，则用户因此能够在不知道或不在意装置2在该时刻相对于用户的特定相对位置的情况下使用手势对装置2提供用户命令。
因此，可能会期望使用具有平移不变性的参数。平移不变性意味着在用户手势14的持续时间内无论横向平移处于装置2和用户手势14之间的什么地方，该参数具有相同的值。
例如，在对平面(例如触摸屏)执行用户手势的情况下，当在平面和用户手势之间的不同任意方向上确定时方向不变性参数具有相同的值。如果方向不变性参数还具有平移不变性，则在用户手势在平面上的不同任意位置处的情况下确定时方向不变性参数具有相同的值。在触摸屏被用作接近探测器4的示例中，虽然曲面也可以用于触摸屏，但平面常常是二维平面。
该参数还可以被选择成使得其能够区分具有不同偏手性的用户手势14。即，该参数具有用于第一用户手势和第二用户手势的不同的值，其中第二用户手势与第一用户手势除了第一用户手势和第二用户手势具有相反的偏手性以外均相同。即，第一手势和第二手势是手性的(是镜像)，并且无论使用什么相对旋转/定向都不能被叠加。这使具有不同偏手性的手势能够得到区分。
图5A、5B、6A、6B、7A、7B、7C、8A、8B、9A和9B示出在执行用户动作时，尽管装置2的方向不同但在效果上不变的用户手势14的不同示例。在这些示例中，用户手势14是对触敏显示器5执行的痕迹。然而，不同的示例也是可能的。
可以相对于由用户手势14动态定义的基准来参数化用户手势14。该基准可以是例如触敏设备4的边缘25交叉的一交叉点(图5A、5B)，或者触敏设备4的一边缘或多个边缘25交叉的多个交叉点(图6A、6B、7A、7B、7C)。所述边缘可以配置成使得其可被用户的触摸感知。所述边缘可以形成具有一对平行边缘的矩形，所述一对平行边缘与不同对的正交边缘正交。
参数化可以用于创建用户手势14的旋转不变性参数。在这些示例中，旋转不变性参数依赖于在一个或多个边缘25处对用户手势14的探测。
装置2可以配置成在手势进入触敏设备4的边缘25定义的探测区域时探测进入边缘探测事件。这可以通过例如在首先探测到用户手势14时测量用户手势14和探测区域的边缘25之间的距离来探测。如果对于任意边缘该距离是0，则对于该边缘探测到进入边缘探测事件。
装置2可以配置成在手势离开探测区域时探测退出边缘探测事件。这可以通过例如在用户手势14靠近边缘25时测量用户手势14和探测区域的边缘25之间的距离来探测。如果在最后探测到用户手势14时到该边缘25的距离是0，则对于该边缘探测到退出边缘探测事件。
装置2被配置成依赖于进入边缘探测事件和退出边缘探测事件的相对位置和/或定时来确定方向不变性参数。
下表示出图5A、5B、6A、6B、7A、7B和7C中示出的每个用户手势14可以通过探测是否存在进入边缘探测事件(“进入”)、是否存在退出边缘探测事件(“退出”)、以及在存在进入边缘探测事件和退出边缘探测事件的情况下随后通过使用探测事件的时间顺序和相对位置来进行区分。这些变量可以被用作方向不变性参数的基础。
对于图5A而言，旋转不变性参数依赖于确定进入边缘探测事件作为初始边缘探测事件、以及在随后的阈值超时时段内没有确定退出边缘探测事件。
对于图5B而言，旋转不变性参数依赖于确定退出边缘探测事件作为初始边缘探测事件、以及在随后的阈值超时时段内没有确定进入边缘探测事件。
对于图6A、6B、7A、7B和7C而言，旋转不变性参数依赖于进入边缘探测事件和退出边缘探测事件的相对位置和定时。
图8A、8B、9A和9B示出在执行用户动作时，尽管装置2的方向不同但在效果上不变的用户手势14的示例。在这些示例中，用户手势14是对触敏显示器5执行的痕迹。然而，不同的示例也是可能的。
可以相对于由用户手势14动态定义的基准来参数化用户手势14。该基准可以是例如用户手势14的初始位置或速度。
每个图示的用户手势14包括转弯。在图8A和9A中，该转弯是逆时针方向的。在图8B和9B中，该转弯是顺时针方向的。转弯的方向可以通过参考用户手势方向的变化而被确定为顺时针或逆时针。
参数化可以被用于创建针对用户手势14的旋转不变性参数。
用户手势可以被建模为点沿着路径在空间中的运动。在这些示例中，旋转不变性参数依赖于用户手势14期间该点的移动。
例如，可以参考用户动作围绕其转动(但不接触)的假想轴来参数化用户动作。
旋转不变性参数可以具有位置不变性。位置不变性意味着当在相对于装置的不同任意位置处开始用户手势时，用户手势14具有相同的值。
旋转不变性参数可以依赖于例如下述中的一个或多个：点在第一方向上的速度变化Δvx，点在第一方向上的位移变化Δx，点在第二方向上的速度变化Δvy，以及点在第二方向上的位移变化Δy。
第一方向可以由例如点在方向变化前的移动、或者由用户手势14期间点的初始移动来定义。第二方向与第一方向正交。
旋转不变、但不遵守手势的偏手性的参数包括：
mod[Δx]+mod[Δy]
或
mod[Δvx]+mod[Δvx]
具有旋转不变性并且不遵守手势的偏手性的参数是手势14的速度的旋度(curl)。旋度是描述向量场的无穷小旋转的向量算子。它是量值等于每个点处的最大“环流”且其方向垂直于每个点的环流面。最大环流是在无穷小面积趋向于0的极限下，围绕限定该面积的界限的闭合回路的向量场的线积分。
因此，该旋转不变性参数可以被二维地表示为：
(Δvx/Δx)–(Δvx/Δvy)
或者
(Δy/Δx)–(Δx/Δvy)
应该理解的是，不同用户手势的旋转不变性参数具有不同的时变值。旋转不变性参数的随时间的变化可以用于消歧多个有效用户手势当中的用户手势。
例如，旋度向量的方向(其向量感，sense)可以用于在手性用户手势(诸如使用逆时针运动(图8A、9A)和使用顺时针运动(图8B、9B)的手势)之间消歧。
例如，旋度向量的初始大小可以用于在以显著曲率(图9A)开始的用户手势14和包括显著曲率但不以显著曲率开始(图8A)的用户手势之间消歧。
例如，用户手势期间旋度向量的变化可以用于在圆形手势(恒定旋度)和椭圆形手势(周期性变化的旋度)之间，或者在圆形手势和内螺旋(旋度的大小单调增加)或外螺旋(旋度大小单调减少)之间消歧。
将理解的是，这些仅仅是一些示例，可以使用旋度向量作为旋转不变性参数在许多不同的手势之间消歧。
在图8A中，用户动作14是转向左的用户动作，其中用户动作突然从前进轨迹变为具有向左的显著分量的轨迹。
在图8B中，用户动作14是转向右的用户动作，其中用户动作突然从前进轨迹变为具有向右的显著分量的轨迹。
在图9A和9B中，用户动作14是环流手势的一部分或全部。环流手势是连续时会穿过至少360度的弧形而具有或不具有位移的手势。其可以形成例如圆、螺旋等。
图9A示出逆时针滑动用户动作14的示例。它是以逆时针方向围绕假想轴移动的大型手势，所述假想轴可以或可以不设置在触敏显示器4的中心区域处。
图9B示出顺时针滑动用户动作14的示例。它是以顺时针方向围绕假想轴移动的大型手势，所述假想轴可以或可以不设置在触敏显示器4的中心区域处。
图13示出用于切换到第二状态以消歧第二组有效用户动作的方法30。
在方框32处，装置2在第一状态中使用。在第一状态中，装置2被用于消歧第一组用户动作并执行相关联的控制命令。
在方框34处，如果探测到第一标准，则方法继续进行到方框36。
虽然术语标准通常被用于指示多于一个标准，但是在本文件中，术语“标准”应被理解为指示一个或多个标准。下面更详细地讨论标准的示例。
在方框36处，装置2从第一状态切换到第二状态。在第二状态中，装置2消歧包括用户手势的第二组用户动作而非第一组用户动作。
第二组有效用户动作包括如果装置相对于用户动作旋转则在效果上不变的用户手势。
在方框38处，装置2探测用户手势14，识别用户手势14作为第二组中的有效用户动作，并消歧有效用户动作从而将其识别为第二组有效用户动作中的特定一个。本步骤可以发生在接近探测器4自身处，或者可以发生在控制器6处，或者可以经由接近探测器4和控制器6的合作而发生。
在方框40处，装置2执行与第二组有效用户动作中的识别出的有效用户动作相关联的控制命令。
在一些但不一定是所有实施例中，第一组用户动作可以例如被用于：启动应用使得其处于使用中，停止使用中的应用，和/或切换哪一个应用处于使用中。第一组用户动作可以例如被用于：提供对多个不同的应用的控制。
输入控制命令可以与第一组用户动作中的每个成员相关联。第一组中的大量用户动作能实现大量不同的控制命令，包括使用户能够控制对供使用的应用的选择的命令。
第二组有效用户动作可以是固定的(标准化的)或者其可以被改变。例如，第二组有效用户动作可以依赖于上下文，从而依赖于探测到第一标准时存在的上下文。对于多个不同的上下文中的每一个而言，可以存在不同的第二组有效用户动作。上下文的示例是在探测到第一标准时处于使用中的应用的身份。这可提供依赖于上下文的输入。例如，定义有效用户动作的组可以随上下文而变化。
与第二组有效用户动作相关联的控制命令可以是固定的、或者可以被改变。相关联的控制命令组可以依赖于在探测到第一标准时存在的上下文。对于多个不同的上下文中的每一个而言，可以存在不同的控制命令组。上下文的示例是在探测到第一标准时处于使用中的应用的身份。这可提供依赖于上下文的输出。例如，相同的有效用户动作可以依赖于上下文而具有不同的结果。作为另一个示例，不同的有效用户动作可以依赖于上下文而具有相同的结果。
在一些但不一定是所有示例中，响应于在方框36处状态的改变，方法30可以执行方框31。在方框31处，控制命令组与第二组有效用户动作相关联。
在方框31处，使用上下文的标识符访问输入控制命令库。该标识符可以例如标识在方框34中满足第一标准时处于使用中的应用。针对上下文的控制命令被取回并被用于将有效用户动作转换为控制命令。
在一些实施例中，第二组有效用户动作依赖于探测到第一标准时处于使用中的应用。取回的控制命令为当前使用中的应用提供第二组用户动作中的每个特定用户动作和用于处于使用中的应用的特定命令之间的映射(关联)。这些命令启用对处于使用中的应用的用户控制，但在一些实施例中，可以不启用对供使用的新应用的选择。
第一标准可以依赖于例如下述中的一个或多个：接近探测触发、装置方向触发、以及用户锁定触发。
接近探测触发是在特定接近探测事件发生或接近探测事件的组合发生时被激活的触发事件。接近探测触发可以要求例如用户动作的最小持续时间和/或用户动作的最小强度(例如触摸区域)。可替换地或附加地，接近探测触发可以要求例如接近探测同时发生在装置的正面21和装置2的背面23。
装置方向触发是在装置2的特定方向发生时被激活的触发事件。方向触发可以要求例如装置的特定方向持续最小持续时间。
用户锁定触发是在用户完全或部分锁定装置2时被激活的触发事件。完全锁定可以防止例如对装置2的用户输入。部分锁定可以限制例如对装置2的用户输入。
可替换地，可以在用户动作的特定序列模式发生时满足第一标准。
可替换地，可以在事件的特定序列模式发生时满足第一标准，所述事件的特定序列模式可以例如指示装置2被装载在口袋中。
指示装置2被装载在口袋中的事件的序列模式的一个示例是：应用处于使用中，然后用户在应用处于使用中时将用户锁定应用于装置，然后在超时时段内发生装载事件。
装载事件的示例是探测到：在装置锁定后经过超时时段后，装置2已经持续与另一个物体相邻，或者自从装置锁定后经过超时时段以来，装置2已经持续在其正面和背面与物体相邻。
装载事件的另一个示例是探测到：自从装置2锁定后经过超时时段以来，装置2已经持续处于基本垂直的方向。
装载事件的另一个示例是探测到：自从装置2锁定后经过超时时段以来，装置2已经持续处于垂直方向并与一物体(或多个物体)相邻。
在一些但不一定是所有实施例中，响应于方框36处的状态改变，方法30可以执行方框33。在方框33处，显示器5的功耗被控制。
显示器5可以被置于低功耗模式。作为一个示例，显示器5可以被停用。
在方框34处，如果探测到另一个标准而非第一标准，则装置2可以配置成防止使用接近探测器4，直到不再满足所述另一个标准为止。另一个标准可以是：例如，装置2被保持与用户的头部相邻以拨打或接听电话呼叫，或者需要锁定接近探测器以防止无意的用户输入的某个其他情景。
第二组有效用户动作包括在执行用户动作时尽管装置2有不同方向但在效果上不变的用户手势。即，对于装置的任何任意方向而言，用户手势具有相同的效果。因此，不论装置如何旋转，执行相同的用户手势会产生相同的效果。
在一些示例中，第二组有效用户动作仅由在执行用户动作时尽管装置2的方向不同但在效果上不变的用户手势组成。在本示例中，使用处于第二状态的手势的用户输入仅仅通过在执行用户手势时尽管装置2的方向不同但在效果上不变的用户手势来实现。
相比之下，在一些示例中，第一组有效用户动作可以不包括在执行用户手势时尽管装置2的方向不同但在效果上不变的任何用户手势。在本示例中，在第一状态中不需要确定用户手势的旋转不变性参数。
装置2可以使在效果上旋转不变的多个用户手势中的每一个与操作相关联。装置2确定用户手势的旋转不变性参数。如果装置2识别旋转不变性参数定义了多个用户手势中的特定一个，则其执行与该特定用户手势相关联的操作。该操作可以控制对用户的输出，例如对用户的音频输出和/或对用户的触觉反馈。
现在将描述如何使用装置2的示例。
装置2可以用于一个或多个不同的用户，并且在效果上旋转不变的用户手势可以用于控制这些使用。
例如，装置2可以用于提供对用户的输出。该输出可以是例如音频输出和/或触觉输出。在效果上旋转不变的用户手势可以用于防止、限制、或控制输出。
作为一个示例，在效果上旋转不变的用户手势可以用于拒绝蜂窝电话来电。
作为一个示例，在效果上旋转不变的用户手势可以用于接听蜂窝电话来电。
作为一个示例，在效果上旋转不变的用户手势可以用于将无论是音频警报或触觉警报(例如震动)的警报静音。
作为一个示例，在效果上旋转不变的用户手势可以用于将诸如语音导航指示、免提电话通话等的音频输出静音。
在以下示例中，第二组用户动作控制来自应用(诸如用于播放音乐曲目的音乐播放器应用)的音频输出。
第二组用户动作可以包括用于将一首音乐曲目向前滚动到下一首音乐曲目、并播放该下一首音乐曲目的第一定向滑动手势14。适当的第一定向滑动手势的示例如图5A、6A、7A、8A和9A所示。
第二组用户动作可以包括不同于第一定向滑动手势的、用于将一首音乐曲目向后滚动到前一首音乐曲目并播放该前一首音乐曲目的第二定向滑动手势14。适当的第二定向滑动手势的示例如图5B、6B、7B、8B和9B所示。
第二组用户动作可以包括用于控制音量的覆盖-移除(cover-uncover)动作。覆盖-移除动作是具有在用户的手靠近装置2时的第一覆盖部分、以及在从装置2收回用户的手时的第二移除部分的动作。音量的变化可以由覆盖-移除动作的覆盖部分持续的时间段来确定。控制可以利用每个覆盖-移除动作在增加音量和降低音量之间切换。因此，当它第一次被使用时，它降低音量，当它下一次被使用时，它增加音量，当它下一次被使用时，它降低音量。为了安全和用户舒适起见，它最初可以一直降低音量。
图11示出类似于图1中所示的装置2。在本示例中，装置2具有两个不同的接近探测器4A、4B，但是其它示例可以具有更多的接近探测器。接近探测器4A、4B中的任意一个可以作为上述的接近探测器4工作。另一个接近探测器可以用于例如确定是否满足第一和/或第二标准。
图12以剖面示出图11所示的装置2的示例。装置2具有正面21和相反的背面23。
一个或多个第一接近探测器4B设置在装置的正面21。第一接近探测器4B中的一个可以类似于前文描述的用户输入接近探测器4。其可以是例如触敏显示器。第二接近探测器4A设置在装置2的背面23。
第一标准和/或第二标准的探测可以涉及第一接近探测器和/或第二接近探测器中的一个或多个。如果是这样，则接近探测器4A、4B被用作标准探测器。
标准探测器可以使用任何适当类型的探测器，诸如电容传感或光学或超声波传感或加速度传感。对于超声波或光学传感而言，发射机(或者周围的外部源)可以被用作波(例如可见光、红外光或超声波)源，并且接收机可以被用于探测邻近物体反射的波。如果多于一个标准探测器被使用，则它们可以感测相同的属性(例如电容、反射光或反射超声波)或不同的属性。
如果图12中所示的装置2被置于口袋中，则人们会期望接近探测事件被第一接近探测器4B和第二接近探测器4A同时记录。接近探测事件可以发生在例如当接近探测器探测到物体的接近度低于阈值时。这可以是满足第一标准的必要或充分条件。
可以使用附加的或替换性的传感器作为标准探测器来提供满足第一标准的其它条件。例如，可以使用加速计、磁力计以及陀螺仪中的一个或多个来测量方向。
返回来参考图1和11，控制器6的实现可以是单独以硬件(例如电路、处理器、场可编程门阵列、或专用集成电路)、单独以软件、或以硬件和软件的组合来实现。术语“软件”包括“固件”。
可以使用实现硬件功能的指令，例如通过使用通用或专用处理器中的可执行计算机程序指令来实现控制器，所述可执行计算机程序指令可以存储在计算机可读存储介质(磁盘、存储器等)上以由该处理器执行。
图14示出包括处理器50的控制器6的示例。处理器50被配置成从存储器52读取并向其写入。处理器50也可以包括处理器50输出数据和/或命令所经由的输出接口、以及数据和/或命令输入处理器50所经由的输入接口。
存储器52存储计算机程序54，其包括在被加载到处理器50中时控制装置2的操作的计算机程序指令。计算机程序指令54提供使装置能够执行例如图13和15中所述和所示方法的逻辑和例程。处理器50通过读取存储器50能够加载和执行计算机程序指令54。
计算机程序可以经由任何适当的传输机制到达装置2。传输机制56可以是例如非暂时性计算机可读存储介质、计算机程序产品、存储器设备、诸如压缩盘只读存储器(CD-ROM)或数字多功能光盘(DVD)的记录介质、有形地体现计算机程序54的制造品。传输机制可以是配置成可靠传送计算机程序54的信号。装置2可以传播或发送作为计算机数据信号的计算机程序54。
虽然存储器52被示为单个构件，但是它也可以作为一个或多个独立构件实现，其中的一些或全部可以是集成/可移除的，和/或可以提供永久/半永久/动态/缓存存储。
对“计算机可读存储介质”、“计算机程序产品”、“有形地体现的计算机程序”等或“控制器”、“计算机”、“处理器”等的提及应该被理解为不仅包括具有不同的架构(诸如单/多处理器架构和顺序(冯·诺伊曼)/并行架构)的计算机，而且包括诸如场可编程门阵列(FPGA)、专用电路(ASIC)、信号处理设备、以及其它处理电路的专用电路。对计算机程序、指令、代码等的提及应该被理解为包括用于可编程处理器的软件或固件(诸如硬件设备的可编程内容)，无论是用于处理器的指令、还是用于固定功能设备、门阵列或可编程逻辑器件等的配置设置。
本说明书中使用的术语“电路”指的是下面的全部：
(a)仅硬件电路实现(诸如仅模拟和/或数字电路中的实现)，以及
(b)电路和软件(和/或固件)的组合，诸如(在适用时)：(i)处理器的组合，或(ii)处理器/软件(包括共同工作以使诸如移动电话或服务器之类的装置执行各种功能的数字信号处理器、软件、以及存储器)的一部分，以及
(c)诸如微处理器或微处理器的一部分的电路，其需要软件或固件进行操作，即使该软件或固件物理上不存在。
“电路”的定义适用于包括任何权利要求项在内的本申请中该术语的所有使用。作为另一个示例，本申请中使用的术语“电路”还覆盖以下实现：仅处理器(或多个处理器)，或处理器的一部分及其随附软件和/或固件。如果适用于特定权利要求元素，术语“电路”还覆盖例如用于移动电话或服务器、蜂窝网络设备或其它网络设备中的类似集成电路的基带集成电路或应用处理器集成电路。
图中构件的互连指示它们可操作地耦接，并且可以存在任何数量的中间元件或其组合(包括没有中间元件)。
这里使用的“模块”指的是排除会被最终制造商或用户增加的某些部件/构件的单元或装置。接近探测器4可以是模块4，控制器6可以是模块，装置2可以是模块。
图13中所示的方框可以表示方法和/或计算机程序54中的代码段。特定的方框次序的图示并不一定意味着存在必须或优选的方框次序，并且方框的次序和排列可以改变。此外，省略一些方框也是可能的。
图13示意性地示出装置2如何探测第一标准，以及从使用靠近接近探测器的、作为第一组有效用户动作的第一组用户动作的第一状态切换到使用不同于第一组用户动作的、作为第二组有效用户动作而非第一组有效用户动作的第二组用户动作的第二状态，其中第二组有效用户动作包括在装置相对于用户动作旋转的情况下在效果上不变的用户手势。
如下所述，装置2可以配置成例如响应于探测到第二标准而从第二状态切换到第一状态。
作为一个示例，在图13的方框40之后，方法可以返回到方框34。如果不再探测到第一标准，则方法返回到方框32。在本示例中，第二标准是第一标准的缺乏。
作为替换性示例，在方框40之后，方法可以返回到方框34。如果不再探测到第一标准、并且探测到第二标准，则方法返回到方框32。在本示例中，第二标准可以独立于第一标准。
虽然已经在前面段落中参考各种示例描述了本发明的实施例，但应该理解的是，可以做出对给出的示例的修改而不脱离要求保护的本发明的范围。
除了明确描述的组合以外，前面的说明中描述的特征可以组合使用。
虽然已经参考某些特征描述了功能，但无论描述与否，这些功能可以被其它特征执行。
虽然已经参考某些实施例描述了特征，但无论描述与否，这些特征还可以存在于其它实施例中。
虽然在前面的说明书中努力促使注意相信是特别重要的本发明的那些特征，但应该理解的是，申请人要求保护在前文中提到的和/或附图中示出的任何可专利特征或特征的组合，不管是否将其作为特定的重点来描述。

Claims (15)

1.一种装置，包括：
至少一个处理器；以及
包括计算机程序代码的至少一个存储器；
所述至少一个存储器和所述计算机程序代码被配置成利用所述至少一个处理器使所述装置至少执行：
在第一状态中，使得能够使用邻近于接近探测器的第一组用户动作作为第一组有效用户动作，其中所述第一组用户动作包括用户手势；
响应于探测到第一标准，从所述第一状态改变为第二状态；以及
在所述第二状态中，使得能够使用邻近于所述接近探测器且不同于所述第一组用户动作的第二组用户动作作为第二组有效用户动作；
其中所述第二组有效用户动作包括在所述装置相对于所述用户动作旋转的情况下在效果上不变的滑动用户手势。
2.根据权利要求1所述的装置，其中所述装置被配置成在所述第二状态中依赖于所述用户手势确定至少一个参数，其中所述参数是在所述装置相对于所述用户手势有不同的任意旋转的情况下确定时具有相同的值的旋转不变性，以及所述装置被配置成使用所述至少一个参数来识别作为所述第二组有效用户动作中的成员的用户手势。
3.根据权利要求1或2所述的装置，其中所述第二组有效用户动作包括：在所述装置相对于所述用户手势旋转任何任意角度的情况下在效果上不变的用户手势。
4.根据权利要求1或2所述的装置，其中所述第一组有效用户动作不包括：在所述装置相对于所述用户动作旋转的情况下在效果上不变的任何用户手势。
5.根据权利要求1或2所述的装置，还包括：
在所述第二状态中，相对于由用户手势动态定义的基准来参数化所述用户手势，以及使用所述参数化来识别所述用户手势作为所述第二组有效用户动作中的有效用户手势。
6.根据权利要求1或2所述的装置，其中所述用户手势是在触敏设备上作出的触摸手势。
7.根据权利要求1或2所述的装置，还包括：至少一个接近探测器，其被配置成在所述第二组有效用户动作通过不透明障碍物与所述至少一个接近探测器隔开时准确消歧所述第二组有效用户动作。
8.根据权利要求1或2所述的装置，其中所述第二组有效用户动作依赖于在探测到所述第一标准时处于使用中的应用，并且启用对所述处于使用中的应用的控制。
9.根据权利要求1或2所述的装置，其中所述第二组有效用户动作中的至少一些控制来自应用的输出。
10.根据权利要求9所述的装置，其中所述应用是用于播放音乐曲目的应用，以及所述第二组有效用户动作包括：用于将一首音乐曲目向前滚动至下一首音乐曲目并播放该下一首音乐曲目的第一用户手势，以及用于将一首音乐曲目向后滚动至前一首音乐曲目并播放该前一首音乐曲目的不同的第二用户手势，其中所述不同的第二用户手势具有在与所述第一用户手势相反的方向上的移动。
11.根据权利要求9所述的装置，其中所述第二组用户动作包括：用于控制音量的覆盖-移除用户手势，其中通过所述覆盖-移除用户手势的覆盖部分持续的时间段来确定音量的变化。
12.根据权利要求1或2所述的装置，其中所述第一标准依赖于下述中的一个或多个：
接近探测触发；
装置方向触发；以及
用户锁定触发。
13.根据权利要求1或2所述的装置，其中所述第一标准要求：应用处于使用中，用户已经将用户锁定应用于所述装置，以及所述装置探测到自从超时时段以来所述装置已经持续与另一个物体相邻。
14.一种方法，包括：
在装置的第一状态中，使得能够使用邻近于接近探测器的第一组用户动作作为第一组有效用户动作，其中所述第一组用户动作包括用户手势；
响应于探测到第一标准，从所述装置的所述第一状态改变为第二状态；以及
在所述第二状态中，使得能够使用邻近于所述接近探测器且不同于所述第一组用户动作的第二组用户动作作为第二组有效用户动作；
其中所述第二组有效用户动作包括在所述装置相对于所述用户动作旋转的情况下在效果上不变的滑动用户手势。
15.一种计算机可读介质，其中存储有计算机程序，所述计算机程序配置成在被处理器运行时执行权利要求14的方法。
CN201280070147.7A 2011-12-21 2012-12-19 用于用户手势识别的方法和装置 Active CN104137045B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/333,270 2011-12-21
US13/333,270 US9030407B2 (en) 2011-12-21 2011-12-21 User gesture recognition
PCT/FI2012/051279 WO2013093204A1 (en) 2011-12-21 2012-12-19 User gesture recognition

Publications (2)

Publication Number Publication Date
CN104137045A CN104137045A (zh) 2014-11-05
CN104137045B true CN104137045B (zh) 2017-09-29

Family

ID=47522714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280070147.7A Active CN104137045B (zh) 2011-12-21 2012-12-19 用于用户手势识别的方法和装置

Country Status (7)

Country Link
US (1) US9030407B2 (zh)
EP (2) EP3457270B1 (zh)
JP (1) JP5956607B2 (zh)
CN (1) CN104137045B (zh)
DK (1) DK2795450T3 (zh)
TW (1) TWI612442B (zh)
WO (1) WO2013093204A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9244606B2 (en) * 2010-12-20 2016-01-26 Apple Inc. Device, method, and graphical user interface for navigation of concurrently open software applications
TWM450762U (zh) * 2012-04-23 2013-04-11 shun-fu Luo 全新的一筆畫操作控制之裝置
TW201405443A (zh) * 2012-07-17 2014-02-01 Wistron Corp 手勢輸入系統及方法
US9298295B2 (en) * 2012-07-25 2016-03-29 Facebook, Inc. Gestures for auto-correct
US11137832B2 (en) 2012-12-13 2021-10-05 Eyesight Mobile Technologies, LTD. Systems and methods to predict a user action within a vehicle
US9274608B2 (en) * 2012-12-13 2016-03-01 Eyesight Mobile Technologies Ltd. Systems and methods for triggering actions based on touch-free gesture detection
US9971414B2 (en) 2013-04-01 2018-05-15 University Of Washington Through Its Center For Commercialization Devices, systems, and methods for detecting gestures using wireless communication signals
US9727915B2 (en) * 2013-09-26 2017-08-08 Trading Technologies International, Inc. Methods and apparatus to implement spin-gesture based trade action parameter selection
US20160259421A1 (en) * 2013-10-08 2016-09-08 University Of Washington Through Its Center For Commercialization Devices, systems, and methods for controlling devices using gestures
US9244608B2 (en) 2013-11-27 2016-01-26 Synaptics Incorporated Method and system for gesture identification
US11435895B2 (en) 2013-12-28 2022-09-06 Trading Technologies International, Inc. Methods and apparatus to enable a trading device to accept a user input
US9524142B2 (en) 2014-03-25 2016-12-20 Honeywell International Inc. System and method for providing, gesture control of audio information
US9671780B2 (en) * 2014-09-29 2017-06-06 Sonos, Inc. Playback device control
US9804702B2 (en) 2014-12-15 2017-10-31 Salt International Corp. Refreshing method of background signal and device for applying the method
TWI550466B (zh) * 2014-12-15 2016-09-21 創為精密材料股份有限公司 背景訊號更新方法及其感測裝置
TWI550489B (zh) * 2014-12-15 2016-09-21 創為精密材料股份有限公司 背景訊號更新方法及其感測裝置
CN104750253B (zh) * 2015-03-11 2018-10-12 苏州佳世达电通有限公司 一种供用户进行体感输入的电子装置
JP6567324B2 (ja) * 2015-05-21 2019-08-28 シャープ株式会社 画像表示装置、およびヘッドマウントディスプレイ
US11182853B2 (en) 2016-06-27 2021-11-23 Trading Technologies International, Inc. User action for continued participation in markets
CN106303006A (zh) * 2016-08-04 2017-01-04 珠海市魅族科技有限公司 一种来电处理的方法以及移动终端
US10405440B2 (en) 2017-04-10 2019-09-03 Romello Burdoucci System and method for interactive protection of a mobile electronic device
CN109271019B (zh) * 2018-08-22 2020-07-10 Oppo广东移动通信有限公司 接近事件检测元件切换控制方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1639766A (zh) * 2002-02-26 2005-07-13 西奎公司 具有精调和粗调输入分辨率的触摸板
CN101482785A (zh) * 2008-01-04 2009-07-15 苹果公司 选择性地拒绝触摸表面的边缘区域中的触摸接触
CN101884049A (zh) * 2007-10-03 2010-11-10 西门子产品生命周期管理软件公司 旋转不变的2d草图描述符
CN101952792A (zh) * 2007-11-19 2011-01-19 瑟克公司 与显示器结合且具有接近及触摸感应能力的触摸板

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6459424B1 (en) 1999-08-10 2002-10-01 Hewlett-Packard Company Touch-sensitive input screen having regional sensitivity and resolution properties
JP2002198894A (ja) * 2000-12-27 2002-07-12 Toshiba Corp 無線通信端末
JP2003029899A (ja) * 2001-07-17 2003-01-31 Sony Corp ユーザ入力装置
TWI248015B (en) * 2003-11-27 2006-01-21 Sentelic Corp Method and controller for recognizing drag gesture
TWI252433B (en) * 2003-11-27 2006-04-01 Sentelic Corp Method and control device for identifying a double-tap gesture
TW200601180A (en) * 2004-06-30 2006-01-01 Inventec Corp Gesture recognition system and the method thereof
US8564544B2 (en) * 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US8284165B2 (en) 2006-10-13 2012-10-09 Sony Corporation Information display apparatus with proximity detection performance and information display method using the same
US7747293B2 (en) * 2006-10-17 2010-06-29 Marvell Worl Trade Ltd. Display control for cellular phone
US7855718B2 (en) * 2007-01-03 2010-12-21 Apple Inc. Multi-touch input discrimination
US7907125B2 (en) * 2007-01-05 2011-03-15 Microsoft Corporation Recognizing multiple input point gestures
US20090128515A1 (en) * 2007-11-02 2009-05-21 Bytheway Jared G Proximity sensing by increasing gain in touchpad circuitry and increasing distance between sensor electrodes and a sense electrode
JP2009123004A (ja) * 2007-11-15 2009-06-04 Panasonic Corp 携帯電子機器の入力装置、携帯電子機器
JP5034912B2 (ja) * 2007-12-06 2012-09-26 パナソニック株式会社 情報入力装置、情報入力方法、および情報入力プログラム
US8390579B2 (en) 2008-03-14 2013-03-05 France Telecom System for classifying gestures
US8576181B2 (en) 2008-05-20 2013-11-05 Lg Electronics Inc. Mobile terminal using proximity touch and wallpaper controlling method thereof
JP2009301302A (ja) * 2008-06-12 2009-12-24 Tokai Rika Co Ltd ジェスチャ判定装置
US8054300B2 (en) 2008-06-17 2011-11-08 Apple Inc. Capacitive sensor panel having dynamically reconfigurable sensor size and shape
CN101609389B (zh) 2008-06-19 2012-09-19 深圳富泰宏精密工业有限公司 屏幕解析度调整系统及方法
US8452020B2 (en) 2008-08-20 2013-05-28 Apple Inc. Adjustment of acoustic properties based on proximity detection
JP4853507B2 (ja) * 2008-10-30 2012-01-11 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR101544475B1 (ko) * 2008-11-28 2015-08-13 엘지전자 주식회사 터치를 통한 입출력 제어
JP5093080B2 (ja) 2008-12-05 2012-12-05 富士通モバイルコミュニケーションズ株式会社 携帯端末
US20110010626A1 (en) * 2009-07-09 2011-01-13 Jorge Fino Device and Method for Adjusting a Playback Control with a Finger Gesture
US8341558B2 (en) * 2009-09-16 2012-12-25 Google Inc. Gesture recognition on computing device correlating input to a template
GB0916806D0 (en) 2009-09-24 2009-11-04 Plastic Logic Ltd Touch screen displays
KR101639383B1 (ko) 2009-11-12 2016-07-22 삼성전자주식회사 근접 터치 동작 감지 장치 및 방법
US20110163966A1 (en) 2010-01-06 2011-07-07 Imran Chaudhri Apparatus and Method Having Multiple Application Display Modes Including Mode with Display Resolution of Another Apparatus
JP5356272B2 (ja) * 2010-02-05 2013-12-04 パナソニック株式会社 座標入力装置、座標入力方法、座標入力プログラム、及び携帯端末
US9274682B2 (en) * 2010-02-19 2016-03-01 Microsoft Technology Licensing, Llc Off-screen gestures to create on-screen input
TWI605359B (zh) * 2010-04-02 2017-11-11 晨星半導體股份有限公司 觸控板之手勢辨識方法與手勢辨識裝置
US8954099B2 (en) * 2010-06-16 2015-02-10 Qualcomm Incorporated Layout design of proximity sensors to enable shortcuts
JP5529700B2 (ja) * 2010-09-27 2014-06-25 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、その制御方法、及びプログラム
US8615793B2 (en) * 2011-01-31 2013-12-24 Blackberry Limited Blacklisting of frequently used gesture passwords

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1639766A (zh) * 2002-02-26 2005-07-13 西奎公司 具有精调和粗调输入分辨率的触摸板
CN101884049A (zh) * 2007-10-03 2010-11-10 西门子产品生命周期管理软件公司 旋转不变的2d草图描述符
CN101952792A (zh) * 2007-11-19 2011-01-19 瑟克公司 与显示器结合且具有接近及触摸感应能力的触摸板
CN101482785A (zh) * 2008-01-04 2009-07-15 苹果公司 选择性地拒绝触摸表面的边缘区域中的触摸接触

Also Published As

Publication number Publication date
CN104137045A (zh) 2014-11-05
DK2795450T3 (en) 2019-03-18
US20130162513A1 (en) 2013-06-27
JP5956607B2 (ja) 2016-07-27
EP3457270A1 (en) 2019-03-20
US9030407B2 (en) 2015-05-12
EP2795450B1 (en) 2018-12-19
WO2013093204A1 (en) 2013-06-27
JP2015505100A (ja) 2015-02-16
TW201333754A (zh) 2013-08-16
EP2795450A1 (en) 2014-10-29
TWI612442B (zh) 2018-01-21
EP3457270B1 (en) 2021-03-31

Similar Documents

Publication Publication Date Title
CN104137045B (zh) 用于用户手势识别的方法和装置
US10139898B2 (en) Distracted browsing modes
US20140181710A1 (en) Proximity location system
US9746883B2 (en) Portable device and method of controlling therefor
JP6109847B2 (ja) ３自由度以上を有するユーザインターフェースを伴う電子デバイスであって、前記ユーザインターフェースが、タッチセンサ式表面および非接触検出手段を含む、電子デバイス
CN102681754B (zh) 信息处理设备和信息处理方法
Ketabdar et al. Towards using embedded magnetic field sensor for around mobile device 3D interaction
CN101901072A (zh) 信息处理设备、信息处理方法和程序
WO2014140827A2 (en) Systems and methods for proximity sensor and image sensor based gesture detection
CN104049734A (zh) 基于用户接触显示图形用户界面的方法和设备
CN102741782A (zh) 用于位置探测的方法和系统
CA2727213A1 (en) Camera gestures for user interface control
EP2402844B1 (en) Electronic devices including interactive displays and related methods and computer program products
TW201841586A (zh) 自行移動式行走器具之操作方法
TW200844820A (en) Electronic device with obstacle-free touch operation
CA2897300A1 (en) Capacitive gesture recognition book
US10042445B1 (en) Adaptive display of user interface elements based on proximity sensing
US20150002433A1 (en) Method and apparatus for performing a zooming action
CN112313623A (zh) 一种终端的用户界面显示方法和终端
CN112783318A (zh) 人机交互系统和人机交互方法
US20150277581A1 (en) Movement of an electronic personal display to perform a page turning operation
CN103890705B (zh) 使用接近检测器的装置和方法
US20160029014A1 (en) Display device and method for controlling the same
US9898183B1 (en) Motions for object rendering and selection
Le Ba et al. A 256 pixel, 21.6 μW infrared gesture recognition processor for smart devices

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160112

Address after: Espoo, Finland

Applicant after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Applicant before: Nokia Oyj

GR01 Patent grant
GR01 Patent grant