CN103425244A - 手势识别 - Google Patents
手势识别 Download PDFInfo
- Publication number
- CN103425244A CN103425244A CN2013101871503A CN201310187150A CN103425244A CN 103425244 A CN103425244 A CN 103425244A CN 2013101871503 A CN2013101871503 A CN 2013101871503A CN 201310187150 A CN201310187150 A CN 201310187150A CN 103425244 A CN103425244 A CN 103425244A
- Authority
- CN
- China
- Prior art keywords
- user
- optical sensor
- mobile data
- gesture
- input apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 claims abstract description 158
- 230000033001 locomotion Effects 0.000 claims abstract description 89
- 239000013598 vector Substances 0.000 claims abstract description 63
- 238000000034 method Methods 0.000 claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims description 23
- 230000008878 coupling Effects 0.000 claims description 9
- 238000010168 coupling process Methods 0.000 claims description 9
- 238000005859 coupling reaction Methods 0.000 claims description 9
- 238000007689 inspection Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 210000003811 finger Anatomy 0.000 description 74
- 238000012545 processing Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/0202—Constructional details or processes of manufacture of the input device
- G06F3/021—Arrangements integrating additional peripherals in a keyboard, e.g. card or barcode reader, optical scanner
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/0202—Constructional details or processes of manufacture of the input device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/0202—Constructional details or processes of manufacture of the input device
- G06F3/021—Arrangements integrating additional peripherals in a keyboard, e.g. card or barcode reader, optical scanner
- G06F3/0213—Arrangements providing an integrated pointing device in a keyboard, e.g. trackball, mini-joystick
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于手势识别的系统、装置和方法，该系统包括：用户输入装置，包括多个光学传感器，所述光学传感器中的每个光学传感器被布置为检测一个或多个用户部分中的一个用户部分相对于所述光学传感器的速度，所述用户输入装置被布置为生成对应于所述一个或多个用户部分的所述检测到的速度的移动数据；以及手势处理器，被布置为接收所述移动数据，将所述移动数据与一个或多个预定的手势匹配并且生成与所述一个或多个预定的手势相关联的对应的控制信息，其中所述移动数据对应于表示所述一个或多个用户部分相对于所述光学传感器的速度的运动矢量。
Description
技术领域
本发明涉及用于手势识别的系统、装置和方法，并且具体地用于接收来自用户的手势输入。
背景技术
许多年来人们已经知道定位装置(例如鼠标、追踪球、以及触摸板等等)的使用以允许用户控制显示屏上的光标或类似物的位置。然而，最近更多基于手势的控制技术已经得到发展，其试图通过使装置能够识别用户输入的具体“手势”而超越简单的光标控制。此类的手势具有与它们相关的控制动作。例如，“捏”手势可以用于缩小，“展开”手势可用于放大，并且“拂掠”手势可用于滚动等等。
使用基于手势的控制以允许用户来与计算装置(诸如智能手机、平板计算机、便携式个人计算机等等)交互。
例如，为诸如智能手机和平板计算机的装置提供覆盖在显示屏上的触敏式表面是众所周知的。触敏式表面检测一个或多个用户的手指在表面上的移动，然后装置将这种移动与一个或多个预定的手势相关联并且生成用于控制所述装置的对应的控制信息。例如，看到此类装置的显示屏上的图像，如果用户将两个手指放置在覆盖有触敏式表面的显示屏上并且然后将这两个手指分开，这种移动被识别为预定的“放大”手势并且显示屏上的图像相应地被放大。
类似地，大多数便携式个人计算机(诸如膝上计算机、笔记本、上网本等等)配备有典型地定位在键盘下方的触敏式板，所述触敏式板允许用户控制显示屏上的光标。在一些示例中，此类的便携式个人计算机还被布置为识别用户在触摸板上输入的手势。
使计算装置能够识别并且响应基于手势的控制是明显有利的，因为其为用户提供在装置上面的更多控制。然而，将常规手势识别硬件集成到计算装置中可能是复杂并且昂贵的。将触敏式表面安装到装置将增加装置的成本并且要求附加的硬件和软件来将用户的手指触摸转换成有意义的手势控制。虽然基于手势的控制增强用户能够控制装置的方式，但是为计算装置提供能够识别手势输入的硬件是昂贵并且复杂的。
发明内容
根据本发明的第一方面，提供了一种用于手势识别的系统，系统包括具有多个光学传感器的用户输入装置，光学传感器中的每个光学传感器被布置为检测一个或多个用户部分(诸如一个或多个用户手指)中的一个用户部分相对于光学传感器的速度(即速度大小和方向)。用户输入装置被布置为生成对应于一个或多个用户部分的所检测到的速度的移动数据。系统进一步包括手势处理器，其被布置为接收移动数据，将移动数据与一个或多个预定的手势匹配并且生成与一个或多个预定的手势相关联的对应的控制信息。
常规手势控制技术通过监测二维表面(例如触摸板、触敏式屏等等)上的用户接触点(即用户部分，诸如用户手指)的位置随着时间的变化而生成手势控制信息并且从这一点试图识别用户手势。使用此类技术生成手势控制信息所要求的处理是复杂的。在二维空间中必须准确地追踪一个或多个不同接触点的位置并且必须提供处理以减少误报(即在用户还未执行对应的手势时手势的检测)。这在用户使用两个或多个接触点来输入手势的“多触摸”实施方案中尤其困难。
此外，实施常规手势识别技术所要求的触敏式表面(诸如电容性触摸屏和触摸板)是昂贵的并且在操作期间消耗许多装置电力并且因此不适用于在其他方面从能够接收手势控制输入受益的许多应用。
根据本发明，人们已经认识到通过为用户输入装置提供两个或多个光学传感器，能够实现改进的手势识别系统，实施改进的系统比使用常规技术的手势识别的成本更低并且更简单。然而常规技术依赖于“位置随着时间”的监测，根据本发明人们已经认识到通过提供数个适合的光学传感器，能够捕捉与用户部分相对于光学传感器的速度相关的速度信息，从该速度信息能够容易地推导手势控制信息。因此，不需要在二维区域中监测用户部分随着时间的实际位置，仅需要监测用户部分相对于光学传感器的速度。
由仅捕捉速度信息而引起的复杂性的降低意味着将在计算装置的中央处理器上另外执行的多数手势识别处理可以在用户输入装置自身上执行并且如果期望的话甚至在光学传感器处执行。此外，检测用户部分的相对速度所必需的光学传感器的类型比对应的位置监测硬件(例如电容性触摸屏和触摸板等等)便宜。
在一些实施例中，由用户输入装置生成的移动数据对应于表示一个或多个用户部分相对于光学传感器的速度的运动矢量。通过将移动数据表示为运动矢量，可以提供关于用户部分相对于光学传感器的速度的精确信息但是以易于传输至系统的其他部件并且容易处理的格式。在一些实施例中，移动数据对应于方向象限，方向象限对应于多个方向象限中的每个运动矢量落入其内的方向象限。运动矢量典型地包括表示幅度(或者标准化的单元幅度)的值和方向值。根据这些实施例，运动矢量通过将方向成分表示为多个方向象限中的一个方向象限而被简化。这减少了表示移动数据需要的信息量但是依然保持了足够的信息以允许推导出有意义的手势信息。在一些实施例中，方向象限包括对应于上、下、左和右的四个方向象限。因此，移动数据可以通过进一步减少的信息量来表示，例如两个比特(例如00＝上，01＝下，10＝右，11＝左)。
在一些实施例中，只有运动矢量具有大于阈值幅度的幅度，才针对运动矢量生成移动数据。相应地，为了生成移动数据，必须检测阈值速度。这降低了小的或非常慢的用户移动被不正确地解译为手势(即误报)的可能性，并且减少了尤其是如果使用了低成本的光学传感器的系统中噪声的影响。
在一些实施例中，手势处理器结合在用户输入装置内。在此类的实施方案中，在用户输入装置自身上执行手势识别，减少了在用户输入装置可以被附接到的计算装置处必需的处理量。
在一些实施例中，多个光学传感器被布置为捕捉用户部分的一系列图像并且通过比较一系列图像的图像之间的区别而检测一个或者多个用户部分的速度。此类光学传感器由于它们在其他技术领域(诸如在诸如光学鼠标的大量生产的装置中的移动检测器)中的使用而广泛地可用。此类的光学传感器通常比常规使用的触敏式表面成本更低，进一步减少了实施根据本发明的示例的用户输入装置的成本。在此类实施例中，光学传感器包括耦合到移动处理器的光检器，移动处理器被布置为接收来自光检器的信号以生成一系列图像。
根据本发明的示例布置的用户输入装置的降低的成本和复杂度使得可以以低成本的外围装置实施手势识别功能。例如，在一些实施例中用户输入装置是键盘。在一些实施例中，一个或多个光学传感器被定位在基本在键盘的键之间。在其他实施例中，一个或多个光学传感器被定位为使得它们代替键盘的一个或多个键。
在一些实施例中，用户输入装置包括用于提供光标控制的另一个光学传感器。
在一些实施例中，系统进一步包括耦合到用户输入装置的计算装置，计算装置被布置为根据控制信息来控制图形显示单元。上述的用户输入装置适用于针对任何合适的应用提供用于生成手势控制信息的用户输入数据但是尤其适用于控制显示屏(诸如计算装置显示单元、电视机等等)的图形显示。
在一些实施例中，一个或多个用户部分是一个或多个用户手指。
根据本发明的第二方面，提供了一种包括多个光学传感器的用户输入装置，每个光学传感器被布置为检测一个或多个用户部分中的一个用户部分相对于光学传感器的速度。用户输入装置被布置为生成对应于一个或多个用户部分的检测到的速度的移动数据，其中移动数据适用于与一个或多个预定的手势匹配，以使与一个或多个预定的手势相关联的对应的控制信息能够被生成。
根据本发明的第三方面，提供了一种用于实现手势识别的处理器。处理器被布置为基于来自光学传感器的数据输出检测一个或多个用户部分相对于一个或多个光学传感器的速度并且生成对应于一个或多个用户部分的检测到的速度的移动数据。移动数据适用于与一个或多个预定的手势匹配，以使与一个或多个预定的手势相关联的对应的控制信息能够被生成。
根据本发明的第四方面，提供了一种手势识别的方法，包括以下步骤：检测一个或多个用户部分相对于用户输入装置的多个光学传感器的速度；生成对应于一个或多个用户部分的检测到速度的移动数据；将移动数据与一个或多个预定的手势匹配，并且生成与一个或多个预定的手势相关联的对应的控制信息。
本发明的各种进一步方面和特征在权利要求书中被限定。
附图说明
现在将仅参照附图通过示例对本发明的实施例进行描述，其中为相似的部件提供对应的参考数字并且其中：
图1提供了光学移动传感器的示意图；
图2提供了根据本发明的示例布置的系统的示意图；
图3a提供了示出光学传感器的典型输出的示意图；
图3b提供了示出对应于图3a中显示的光学传感器的输出的运动矢量的示意图；
图4a示出了根据本发明的示例的运动矢量简化函数的实施方案；
图4b示出了根据本发明的示例的运动矢量阈值函数的实施方案；
图4c示出了根据本发明的示例的图4a中显示的运动矢量简化函数和图4b中显示的运动矢量简化函数的组合实施方案；
图5a至图5c提供了根据本发明的示例的用户输入装置的示例实施方案的示意图，以及
图6提供了根据本发明的示例布置的系统的示意图。
具体实施方式
图1提供了示出常规光学移动传感器101的示意图。光学移动传感器包括照亮光源102(诸如发光二极管(LED)102)和耦合到移动处理器104的光检器103。光学移动传感器101被布置为追踪表面105相对于光学移动传感器101的移动。这通过光检器103捕捉对应于在光学移动传感器101以下的由光源102照亮的区域106的图像数据来完成。如将所理解的，尽管未在图1中显示，典型地光学传感器还包括将来自光源102的光引导到被成像的区域106上的光学元件以及将从被成像的区域106反射的光聚焦到光检器103上的光学元件。移动处理器106接收从光检器104捕捉的图像数据并且连续地生成区域106的一系列图像。将这些图像进行比较以确定光学移动传感器101穿过表面105的相对移动。典型地，在比较之前对原始的捕捉到的图像进行处理以加强图像特征(诸如边缘)从而强调一个图像与另一个图像之间的区别。对应于由移动处理器104确定的相对移动的移动数据继而被典型地输出为一系列X和Y坐标移动值。从处理器104输出的X和Y坐标移动值有时候被称为“X计数”和“Y计数”，这是因为它们对应于在给定的时间周期期间在X平面中检测到的移动的单元的数目和在Y平面中检测到的移动的单元的数目。
典型地，在运动传感器101已经检测到移动时，“运动”信号由移动处理器104发送。“运动”信号被发送至外部处理器(未显示)以指示光学移动传感器已经检测到移动。在接收到“运动”信号之后，因为上一次运动数据从移动处理器104读取，所以外部处理器然后从对应于移动的移动处理器104读取X计数值和Y计数值。
光学移动传感器(诸如图1中示出的类型的那些)的众所周知的应用用于在光学鼠标中提供移动追踪。
图2提供了根据本发明的示例布置的系统201的示意图。系统被布置为检测一个或多个用户部分相对于光学传感器的速度并且将速度转换成基于手势识别的控制信息。下面讨论的用户部分主要按照用户手指进行描述，即用户手上的手指(诸如左手或右手上的拇指、十指、中指、无名指或小指)。然而，将理解的是，可以使用其速度可以使用光学传感器检测的任何合适的用户部分，诸如手掌、手腕、前臂等等。类似地，将理解的是，下文使用的术语“手指移动”、“手指移动数据”和“手指速度数据”可以分别指代任何合适的用户部分的移动、速度和速度数据。
系统包括用户输入装置202和计算装置203。计算装置可以是任何类型的计算装置，诸如个人计算机、游戏控制台、或等效装置。
用户输入装置202包括第一光学传感器204和第二光学传感器205。在一些示例中第一光学传感器204和第二光学传感器205至少部分地对应于图1中显示的光学移动传感器101并且包括照亮光源、光检器和移动处理器。然而，将理解的是，在其他示例中，能够检测用户部分(诸如用户的手指)相对于传感器的速度的任何合适的光学传感器可以被使用。
典型地第一光学传感器204和第二光学传感器205经由数据总线214连接以确保时序同步等等。用户输入装置202还包括耦合到第一光学传感器202和第二光学传感器203的输入/输出(I/O)接口单元206。计算装置203包括由图形显示处理器212控制的图形显示单元213。
在操作中，第一光学传感器202和第二光学传感器203中的每个被布置为检测一个或多个用户部分(诸如用户手指207、208)中的一个用户部分在光学传感器202、203上的速度。检测用户手指速度的方式对应于图1中显示的光学移动传感器确定表面105相对于光学移动传感器101的移动的方式。换言之对于给定的传感器捕捉用户手指的一系列图像。然后比较这些图像以确定手指相对于光学传感器在给定的时间周期上(典型地在读信号之间的时间周期)的相对移动。
光学传感器202、203中的每个光学传感器被布置为输出对应于用户手指相对于光学传感器的速度的手指移动数据。关于手指移动数据的更多细节在下面提供。手指移动数据通过I/O接口单元206从光学传感器202、203中的每个光学传感器读取。
在一些示例中I/O接口单元206每隔一定时间从光学传感器读取手指移动数据。例如在预定的时间周期已过去后，I/O接口单元轮询光学传感器以获得手指移动数据。以此方式，I/O接口单元206以规则的速率接收手指移动数据。然而，在其他示例中，例如在电力消耗是重要因数的地方，如果未检测到手指移动，则每个光学传感器保持睡眠模式。如果检测到运动，则光学传感器I/O发送中断信号至接口单元206并且仅此时I/O接口单元206从光学传感器读取手指移动数据。
在读取手指移动数据之后，I/O接口单元206执行必需的任何进一步处理来解译手指移动数据，并且然后将来自光学传感器204、205的手指移动数据转换成适用于在用户输入装置202和计算装置203之间传输的格式。然后经由连接209将手指移动数据从用户输入装置202传输至计算装置203。
从用户输入装置202输出的手指移动数据在计算装置203处由I/O接口单元210接收，I/O接口单元210将其转换成合适的格式并且然后发送其至手势处理器211。在一些示例中，手势处理器是用合适的驱动器和应用编程的计算装置的中央处理单元。
手势处理器211被布置为使手指移动数据与数个预定的手势中的一个或多个手势相关联并且输出对应于预定的手势的控制信号。控制信号被输入至图形显示处理器212，该图形显示处理器212将控制信号转换成用于控制图形显示单元213的输出的显示控制信息。
例如，用户可以将两个手指207、208放置在用户输入装置202(一个手指在每个光学传感器之上)上并且朝着彼此移动手指207、208。换言之，从图2中显示的系统的视角来说，第一手指207向右移动并且第二手指208向左移动。用户的手指的速度由如上所述的光学传感器204、205检测，并且对应的手指移动数据由每个光学传感器204、205生成并且被发送至用户输入装置I/O接口单元206。这种手指移动数据被处理并且转换成合适的传输格式并且经由连接209发送至计算装置203并且在计算装置I/O接口单元210处被接收。接收到的手指移动数据被发送至手势处理器。手势处理器处理手指移动数据并且将手指移动数据解译为“捏”手势，并且确定这与图形“缩小”命令相关联。手势处理器211向图形显示处理器212输出对应的缩小控制信号，该图形显示处理器212通过例如缩小显示在图形显示单元213上的图形目标的尺寸来执行缩小操作。
手指移动数据
如上所述，用户输入装置202输出基于由光学传感器检测到的用户的手指的速度的手指移动数据。手指移动数据可以是表示用户的手指相对于光学传感器的速度的任何合适的数据。在一些示例中，手指移动数据是以运动矢量的形式。这在以下更详细地解释。
图3a提供了示出光学传感器(诸如图1中显示的光学移动传感器101)的典型的输出的示意图。
在每次从光学传感器读取时，上一次从光学传感器读取的检测到的X计数和Y计数的数量(即：在X方向上检测到的移动的单元和在Y方向上检测到的移动的单元)被外部处理器接收。这种信息的示例曲线图在图3a中显示。从图3a可以理解到，由光学传感器生成的X计数和Y计数信息对应于在给定的时间周期上在X方向和Y方向上经过的距离(例如从上次从光学传感器读取起)。X计数和Y计数数据可以被转换成单一的“运动矢量”，即矢量的方向对应于用户的手指相对于光学传感器的方向并且矢量的幅度对应于用户的手指相对于光学传感器的速度的矢量。
如上所述，在本发明的一些示例中，光学传感器被规则地轮询因此X计数和Y计数读取之间的时间周期从这个轮询的频率可知。在其他示例中，其中例如在光学传感器检测到运动时发送中断信号，可以使用其他时序信息来确定在X计数和Y计数读取之间的时间，例如通过参照系统时钟。例如，每次响应于中断从光学传感器读取X计数和Y计数数据以时，系统时钟时间被记录在光学传感器的移动处理器和/或I/O接口单元。为了确定X计数和Y计数读取之间的时间，在先前的读取点处所记录的系统时钟时间被从当前的读取的系统时钟时间减去。
图3b提供了示出从图3a中显示的X计数和Y计数信息推导的运动矢量301的示意图。将理解的是，每次新的X计数和Y计数数据从光学传感器被读取时(根据光学传感器的规则的轮询或者通过在检测到移动时生成中断信号)，运动矢量301的幅度和方向可以被更新。
在一些示例中，与每个光学传感器207、208相关联的移动处理器被布置为将如上所述收集的X计数和Y计数数据转换成运动矢量数据，该运动矢量数据然后被输出到I/O接口单元206。在此类示例中，从每个光学传感器读取的手指移动数据对应于运动矢量流，每次从光学传感器读取时生成运动矢量。在其他示例中，光学传感器被布置为以类似的方式输出X计数和Y计数至常规光学移动传感器并且I/O接口单元206被布置为将X计数和Y计数数据转换成运动矢量数据。
在一些示例中，执行运动矢量简化函数。这在图4a中显示。正如将理解的，根据光学传感器和I/O处理单元中的哪一个将X计数和Y计数数据转换成运动矢量数据，运动矢量简化函数可以由光学传感器的移动处理器或I/O处理单元执行。
图4a示出了如上所述从X计数和Y计数数据生成的运动矢量401的曲线图。然而，从图4a可以看出，曲线图被划分成4个象限：上、下、左和右。在一个示例中，一旦移动处理器(或I/O处理单元)已经从如上所述的X计数和Y计数数据生成运动矢量，而不是生成对应于精确的运动矢量(即幅度和方向)的手指移动数据，移动处理器(或I/O处理单元)作为替代以对应于运动矢量落入的象限的简化的移动数据的形式输出手指移动数据。例如，如果运动矢量401落入在右象限内(表明用户的手指相对于光学传感器正在向右移动)，光学传感器(或I/O处理单元)将输出指示用户的手指正在向右移动的简化的移动数据。另一方面，如果用户手指相对于光学传感器大体上向上移动，从X计数和Y计数数据推导的运动矢量将落入在上象限内并且光学传感器(或I/O处理单元)将输出指示用户的手指正向上移动等等的简化的移动数据。将理解的是，在这种情况下简化的运动矢量可以由两个数据位或开关表示。例如，00＝上，01＝下，10＝右，11＝左。在这个示例中，每个运动矢量的幅度被标准化成单位幅度。
在一些示例中，执行运动矢量阈值函数。这在图4b中显示。正如将理解的，运动矢量阈值函数可以由光学传感器的移动处理器或I/O处理单元执行。
图4b示出了显示关于在第一周期上所检测的手指速度的运动矢量402和在第二周期上所检测的手指速度的运动矢量403的曲线图。在这个示例中，光学传感器(或I/O处理单元)将不输出运动矢量数据除非运动矢量超出阈值幅度。阈值幅度在图4b中图示为虚线包围的区域404。从图4b可以看出，在第一周期402期间由光学传感器所检测的手指速度导致运动矢量402不超出运动矢量阈值。相应地，光学传感器(或I/O处理单元)在第一周期期间将不生成任何手指移动数据。另一方面，在第二周期期间由光学传感器所检测的手指速度导致运动矢量403超出运动矢量阈值。相应地，光学传感器(或I/O处理单元)在第一周期期间将输出相应的运动数据。
在一些示例中，可以同时执行运动矢量简化函数和运动矢量阈值函数。这个概念在图4c中示出。在这个示例中，运动矢量必须超出运动矢量幅度阈值404用于将由光学传感器(或I/O处理单元)生成的手指移动数据。如果运动矢量超出了运动矢量幅度阈值404，输出对应于运动矢量落入的象限的简化的移动数据。相应地，对应于第一运动矢量402的用户手指速度不导致任何手指移动数据被输出但是对应于第二运动矢量403的用户手指速度导致光学传感器(或I/O处理单元)输出表示用户的手指正向右移动的简化的移动数据。
轻拍识别
在一些示例中，与检测手指速度一起，光学传感器被布置为检测用户手指的“轻拍”-即检测用户短暂地将他们的手指放上、并且然后将他们的手指离开光学传感器。光学传感器可以被布置为在预定的持续时间期间通过识别用户手指的存在达到与人类手指“轻拍”移动相一致的预定持续时间并且具有有限的(例如在阈值以下)的手指移动而检测这一点。检测到轻拍时，光学传感器可被布置为输出指示已经检测到轻拍的数据。
在其他示例中，当在第一光学传感器上检测到非移动用户手指时检测到用户轻拍，而同时在第二光学传感器上检测到用户手指正在移动。
在用户输入装置上执行的手势识别
在图2所示的示例中，手势处理器211位于用户输入装置202的外部。然而，在一些示例中手势处理器结合在用户输入装置内。在此类实施方案中，手势识别在用户输入装置自身上被执行并且用户输入装置的输出对应于检测到的手势，即对应于已经检测到的数个预定的手势的手势数据。
用户输入装置上的单个处理器
在图2中显示的用户输入装置示例中，光学传感器(每个包括移动处理器)和I/O处理单元206被显示为分离的单元。然而，将理解的是，这仅为展示性目的并且可以使用任何合适的硬件布置。在一些示例中，与光学传感器和I/O处理单元206相关联的功能可以被安装在用户输入装置内的单个装置(例如集成电路)提供。这种装置可将从光检器捕捉的图像作为输入，并且输出如上所述的手指移动数据或如上所述的手势数据。
用户输入装置
图2中显示的用户输入装置202可以以任何合适的方式布置。在一些示例中，用户输入装置包括键盘，光学传感器已经被集成到所述键盘中。这类示例在图5a、图5b和图5c中示出。
图5a提供了根据本发明的示例布置的基于键盘的用户输入装置501的示意图。用户输入装置501包括具有键503的键盘502。然而，不像常规的基于键盘的用户输入装置，用户输入装置501包括第一光学传感器504和第二光学传感器505，第一光学传感器504和第二光学传感器505参照图2中显示的第一光学传感器和第二光学传感器如上所述操作。第一光学传感器504和第二光学传感器505被定位在键盘的键503之间。正如将理解的，基于键盘的用户输入装置502典型地包括I/O处理单元以接收从光学传感器504、505输出的数据并且转换并且与执行任何上述的其他处理一起输出此数据。基于键盘的用户输入装置501包括数据输出连接506，数据输出连接506用于向外部计算装置(诸如个人计算机)传输包括手指移动数据和例如键击数据的用户输入数据。
图5b提供了根据本发明的另一个示例布置的第二基于键盘的用户输入装置507的示意图。第二基于键盘的用户输入装置507的相似部件与图5a中显示的基于键盘的用户输入装置相对应地被标记。
与图5a中显示的基于键盘的用户输入装置相似，图5b中显示的基于键盘的用户输入装置507包括两个光学传感器508、509。然而，这些光学传感器被定位成好像它们是键盘502上的键，换言之它们被定制作和/或被定位好像它们是键盘的键。
图5c提供了根据本发明的另一个示例布置的第三基于键盘的用户输入装置510的示意图。第三基于键盘的用户输入装置510的相似部件与图5a中显示的基于键盘的用户输入装置相对应地被标记。从图5c可以看出，基于键盘的用户输入装置510与图5a中显示的基于键盘的用户输入装置对应，除了基于键盘的用户输入装置510包括第三光学传感器511除外。在一些示例中，除了被布置为检测用户手指速度之外，手势信息从用户手指速度推导出，第三光学传感器被布置为检测手指移动，光标控制数据从手指移动推导出。
示例实施方案
图6提供了示出根据本发明的示例布置的系统的实施方案的示意图。所述系统包括经由通用串行总线(USB)接口连接至个人计算机(PC)计算装置602的基于键盘的用户输入装置601。基于键盘的用户输入装置601包括键盘单元603和光学传感器单元604，光学传感器单元604包括第一光学传感器605和第二光学传感器606。每个光学传感器包括图像二极管607和基于意法半导体VD5376运动传感器装置的移动处理器。将理解的是，可以使用任何等效的移动处理器，诸如意法半导体VD5377运动传感器装置。
第一光学传感器605和第二光学传感器606经由MOTION线(MOTIONL用于第一光学传感器605并且MOTIONR用于第二光学传感器606)和12C总线608连接到移动处理器609。
如果光学传感器单元中的一个光学传感器单元检测到移动，它在相应的MOTION线上发送中断信号至移动处理器609。一旦接收到中断信号，移动处理器读取自从由相应的VD5376运动传感器装置所检测的X计数和Y计数数据上次被读取起的X计数和Y计数数据。第一光学传感器和第二光学传感器被布置为通过使用VD5376寄存器(#特征[0x31，0x32]，最大曝光像素[0x4F]和曝光[0x41])来检测用户“轻拍”(即手指存在但未移动)。
微控制器609经由USB接口输出所述手指移动数据至PC602。PC602在其上安装有驱动软件610和应用软件611以将从基于键盘的用户输入装置601接收的手指移动数据与预定的许多手势中的一个手势相关联并且输出相应的控制信息。
微控制器609被布置为根据带有在下面的表格中列出的十个开关的、修改的USB HID鼠标类标准将从第一光学传感器605和第二光学传感器606接收到的X计数和Y计数数据(对应于用户的手指相对于传感器的速度)转换成输出开关数据。
如上所述，安装在PC上的驱动软件610和应用程序软件611被布置为用预定数目的许多手势解译HID鼠标类开关信息并且输出相应的控制信息。对于使用从基于键盘的用户输入装置输出的手指移动数据来控制图形显示单元的显示的实现方案，检测到的运动与相应的手势控制的映射可以按照下面的表格所列出的实现：
将理解的是，上述的具体实施例仅通过示例进行描述并且设想了其他实施例和变体。
例如，尽管上面列出的具体实施例已经参照检测用户手指的速度的光学传感器进行描述，但是将理解的是可以使用任何合适的手势输入装置，诸如尖笔或指示物，其中所述的手势输入装置的速度可以由光学传感器检测。此外，如上所述，通常“手指”可以被认为是指用户的任何恰当的部分，诸如用户的手上的任何手指的任何部分，用户的手掌或手腕等等。
此外，将理解的是，用户输入装置和计算装置被包括的具体的部件部分，例如移动处理器、I/O接口单元、手势处理器等等在一些示例中是逻辑名称。相应地，这些部件部分提供的功能可以以与上述和附图中显示的形式未必精确地一致的方式表明。例如本发明的方面可以以包括指令(即计算机程序)的计算机程序产品的形式实施，所述指令可在处理器上实施，在数据子载体(诸如软盘、光盘、硬盘、PROM、RAM、闪存或这些或者其他储存介质的任何组合)上存储，或者经由数据信号在网络(如以太网、无线网络、因特网或这些或者其他储存介质的任何组合)上传输，或者以硬件如ASIC(专用集成电路)或FPGA(现场可编程门阵列)或适合用在适配常规的等效装置的其他可配置的或定做的电路而实现。
Claims (25)
1.一种用于手势识别的系统，包括：
用户输入装置，包括多个光学传感器，所述光学传感器中的每个光学传感器被布置为检测一个或多个用户部分中的一个用户部分相对于所述光学传感器的速度，所述用户输入装置被布置为生成对应于所述一个或多个用户部分的所述检测到的速度的移动数据，以及
手势处理器，被布置为接收所述移动数据，将所述移动数据与一个或多个预定的手势匹配并且生成与所述一个或多个预定的手势相关联的对应的控制信息，其中
所述移动数据对应于表示所述一个或多个用户部分相对于所述光学传感器的速度的运动矢量。
2.根据权利要求1所述的系统，其中所述移动数据对应于方向象限，所述方向象限对应于多个方向象限中的每个运动矢量落入其内的方向象限。
3.根据权利要求2所述的系统，其中所述方向象限包括对应于上、下、左和右的四个方向象限。
4.根据任何前述的权利要求所述的系统，其中仅当所述运动矢量具有大于阈值幅度的幅度时所述手势处理器才接收所述移动数据。
5.根据任何前述的权利要求所述的系统，其中，所述手势处理器结合在所述用户输入装置内。
6.根据任何前述的权利要求所述的系统，其中所述多个光学传感器中的每个光学传感器被布置为捕捉所述一个或多个用户部分中的一个用户部分的一系列图像并且通过比较所述一系列图像的图像之间的区别来检测所述一个或多个用户部分的速度。
7.根据权利要求6所述的系统，其中所述一个或多个光学传感器包括耦合到移动处理器的光检器，所述移动处理器被布置为接收来自所述光检器的信号以生成所述一系列图像。
8.根据任何前述的权利要求所述的系统，其中所述用户输入装置是键盘。
9.根据权利要求8所述的系统，其中所述多个光学传感器被基本定位于所述键盘的键之间。
10.根据权利要求8所述的系统，其中所述多个光学传感器被定位为使得其代替所述键盘的一个或多个键。
11.根据任何前述的权利要求所述的系统，其中所述用户输入装置包括用于提供光标控制的另一光学传感器。
12.根据任何前述的权利要求所述的系统，其中所述系统进一步包括耦合到所述用户输入装置的计算装置，所述计算装置被布置为根据所述控制信息控制图形显示单元。
13.根据任何前述的权利要求所述的系统，其中所述一个或多个用户部分是一个或多个用户手指。
14.一种用户输入装置，包括多个光学传感器，每个光学传感器被布置为检测一个或多个用户部分中的一个用户部分相对于所述光学传感器的速度，所述用户输入装置被布置为生成对应于所述一个或多个用户部分的所述检测到的速度的移动数据，其中
所述移动数据适用于与一个或多个预定的手势匹配以使得能够生成与所述一个或多个预定的手势相关联的对应的控制信息，并且其中
所述移动数据对应于表示所述一个或多个用户部分相对于所述光学传感器的速度的运动矢量。
15.根据权利要求14所述的用户输入装置，所述一个或多个用户部分是一个或多个用户手指。
16.一种用于实现手势识别的处理器，所述处理器被布置为基于从一个或多个光学传感器输出的数据检测一个或多个用户部分相对于所述光学传感器的速度并且生成对应于所述一个或多个用户部分的所述检测到的速度的移动数据，其中
所述移动数据适用于与一个或多个预定的手势匹配以使得能够生成与所述一个或多个预定的手势相关联的对应的控制信息，其中
所述移动数据对应于表示所述一个或多个用户部分相对于所述光学传感器的速度的运动矢量。
17.根据权利要求16所述的处理器，其中所述一个或多个用户部分是一个或多个用户手指。
18.一种手势识别的方法，包括：
检测一个或多个用户部分相对于用户输入装置的多个光学传感器的速度；
生成对应于所述一个或多个用户部分的所述检测到速度的移动数据；
将所述移动数据与一个或多个预定的手势匹配，以及
生成与所述一个或多个预定的手势相关联的对应的控制信息，其中
所述移动数据对应于表示所述一个或多个用户部分相对于所述光学传感器的速度的运动矢量。
19.根据权利要求18所述的方法，其中所述移动数据对应于方向象限，所述方向象限对应于多个方向象限中的每个运动矢量落入其内的方向象限。
20.根据权利要求19所述的方法，其中所述方向象限包括对应于上、下、左和右的四个方向象限。
21.根据权利要求18至20中的任一项所述的方法，包括仅当所述运动矢量具有大于阈值幅度的幅度时才使用用于与所述预定的手势中的一个手势匹配的所述移动数据。
22.根据权利要求18至21中的任一项所述的方法，其中所述一个或多个用户部分是一个或多个用户手指。
23.一种计算机程序，包括指令，当在计算机上所述指令实施时执行根据权利要求18至22中的任一项所述的方法。
24.一种计算机程序产品，在其上储存根据权利要求23所述的指令。
25.一种系统、用户输入装置或方法，基本参照附图的图2至图6在上文中进行描述。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB1208523.9 | 2012-05-15 | ||
| GB1208523.9A GB2502087A (en) | 2012-05-16 | 2012-05-16 | Gesture recognition |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103425244A true CN103425244A (zh) | 2013-12-04 |
Family
ID=46458857
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2013101871503A Pending CN103425244A (zh) | 2012-05-16 | 2013-05-14 | 手势识别 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20130307775A1 (zh) |
| CN (1) | CN103425244A (zh) |
| GB (1) | GB2502087A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106896914A (zh) * | 2017-01-17 | 2017-06-27 | 珠海格力电器股份有限公司 | 信息的转换方法和装置 |
| CN110045822A (zh) * | 2014-12-01 | 2019-07-23 | 罗技欧洲公司 | 具有空中物体检测的键盘 |
| CN110045824A (zh) * | 2014-02-10 | 2019-07-23 | 苹果公司 | 使用光学传感器检测到的运动手势输入 |
| CN110794960A (zh) * | 2014-12-08 | 2020-02-14 | 罗希特·塞思 | 可穿戴无线hmi装置 |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9678713B2 (en) * | 2012-10-09 | 2017-06-13 | At&T Intellectual Property I, L.P. | Method and apparatus for processing commands directed to a media center |
| US10222911B2 (en) * | 2013-04-12 | 2019-03-05 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device and driving method of the same |
| WO2015081485A1 (zh) * | 2013-12-03 | 2015-06-11 | 华为技术有限公司 | 一种终端设备识别用户手势的方法和设备 |
| US20150193011A1 (en) * | 2014-01-08 | 2015-07-09 | Microsoft Corporation | Determining Input Associated With One-to-Many Key Mappings |
| US9952660B2 (en) * | 2014-06-10 | 2018-04-24 | Intel Corporation | User interaction with wearable devices |
| JP2018506773A (ja) * | 2014-12-16 | 2018-03-08 | ソマティクス， インコーポレイテッド | ジェスチャベースの行動を監視し、それに影響を与える方法およびシステム |
| CN104615984B (zh) * | 2015-01-28 | 2018-02-02 | 广东工业大学 | 基于用户任务的手势识别方法 |
| US9984519B2 (en) | 2015-04-10 | 2018-05-29 | Google Llc | Method and system for optical user recognition |
| US10610133B2 (en) | 2015-11-05 | 2020-04-07 | Google Llc | Using active IR sensor to monitor sleep |
| DE102016100075A1 (de) * | 2016-01-04 | 2017-07-06 | Volkswagen Aktiengesellschaft | Verfahren zur Auswertung von Gesten |
| JP2020086939A (ja) * | 2018-11-26 | 2020-06-04 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| US12099653B2 (en) | 2022-09-22 | 2024-09-24 | Apple Inc. | User interface response based on gaze-holding event assessment |
| US12118200B1 (en) | 2023-06-02 | 2024-10-15 | Apple Inc. | Fuzzy hit testing |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020071036A1 (en) * | 2000-12-13 | 2002-06-13 | International Business Machines Corporation | Method and system for video object range sensing |
| WO2007097548A1 (en) * | 2006-02-20 | 2007-08-30 | Cheol Woo Kim | Method and apparatus for user-interface using the hand trace |
| US20090256802A1 (en) * | 2008-04-11 | 2009-10-15 | Primax Electronics Ltd. | Keyboard with optical cursor control device |
| US20110102570A1 (en) * | 2008-04-14 | 2011-05-05 | Saar Wilf | Vision based pointing device emulation |
| CN102112945A (zh) * | 2008-06-18 | 2011-06-29 | 奥布隆工业有限公司 | 用于交通工具接口的基于姿态的控制系统 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5424756A (en) * | 1993-05-14 | 1995-06-13 | Ho; Yung-Lung | Track pad cursor positioning device and method |
| US6681031B2 (en) * | 1998-08-10 | 2004-01-20 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
| JP4689812B2 (ja) * | 2000-11-17 | 2011-05-25 | 富士通コンポーネント株式会社 | ワイヤレスマウス |
| US20030159567A1 (en) * | 2002-10-18 | 2003-08-28 | Morton Subotnick | Interactive music playback system utilizing gestures |
| US7728821B2 (en) * | 2004-08-06 | 2010-06-01 | Touchtable, Inc. | Touch detecting interactive display |
| US20070040108A1 (en) * | 2005-08-16 | 2007-02-22 | Wenstrand John S | Optical sensor light switch |
| US8086971B2 (en) * | 2006-06-28 | 2011-12-27 | Nokia Corporation | Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications |
| US20080040692A1 (en) * | 2006-06-29 | 2008-02-14 | Microsoft Corporation | Gesture input |
| US9477310B2 (en) * | 2006-07-16 | 2016-10-25 | Ibrahim Farid Cherradi El Fadili | Free fingers typing technology |
| US8878796B2 (en) * | 2007-08-01 | 2014-11-04 | Kuo-Ching Chiang | Finger motion virtual object indicator with dual image sensor for electronic device |
| US8166421B2 (en) * | 2008-01-14 | 2012-04-24 | Primesense Ltd. | Three-dimensional user interface |
| DE102008037750B3 (de) * | 2008-08-14 | 2010-04-01 | Fm Marketing Gmbh | Verfahren zur Fernsteuerung von Multimediageräten |
| US20100149099A1 (en) * | 2008-12-12 | 2010-06-17 | John Greer Elias | Motion sensitive mechanical keyboard |
| US20100245289A1 (en) * | 2009-03-31 | 2010-09-30 | Miroslav Svajda | Apparatus and method for optical proximity sensing and touch input control |
| TW201042507A (en) * | 2009-05-19 | 2010-12-01 | Pixart Imaging Inc | Interactive image system and operating method thereof |
| JP5282661B2 (ja) * | 2009-05-26 | 2013-09-04 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| KR101615661B1 (ko) * | 2009-09-22 | 2016-04-27 | 삼성전자주식회사 | 실시간 동작인식시스템 및 그의 방법 |
| US8907894B2 (en) * | 2009-10-20 | 2014-12-09 | Northridge Associates Llc | Touchless pointing device |
| KR20110047600A (ko) * | 2009-10-30 | 2011-05-09 | 삼성전자주식회사 | 근접 센싱이 가능한 전자장치 |
| US9009628B2 (en) * | 2010-03-22 | 2015-04-14 | Infosys Limited | Method and system for processing information fed via an inputting means |
| US9195276B2 (en) * | 2010-08-19 | 2015-11-24 | Lenovo (Singapore) Pte. Ltd. | Optical user input devices |
| CN102486702A (zh) * | 2010-12-01 | 2012-06-06 | 敦南科技股份有限公司 | 反射式光学侦测装置及电子设备 |
| US8686946B2 (en) * | 2011-04-07 | 2014-04-01 | Hewlett-Packard Development Company, L.P. | Dual-mode input device |
| US8769409B2 (en) * | 2011-05-27 | 2014-07-01 | Cyberlink Corp. | Systems and methods for improving object detection |
-
2012
- 2012-05-16 GB GB1208523.9A patent/GB2502087A/en not_active Withdrawn
-
2013
- 2013-05-14 CN CN2013101871503A patent/CN103425244A/zh active Pending
- 2013-05-15 US US13/894,690 patent/US20130307775A1/en not_active Abandoned
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020071036A1 (en) * | 2000-12-13 | 2002-06-13 | International Business Machines Corporation | Method and system for video object range sensing |
| WO2007097548A1 (en) * | 2006-02-20 | 2007-08-30 | Cheol Woo Kim | Method and apparatus for user-interface using the hand trace |
| US20090256802A1 (en) * | 2008-04-11 | 2009-10-15 | Primax Electronics Ltd. | Keyboard with optical cursor control device |
| US20110102570A1 (en) * | 2008-04-14 | 2011-05-05 | Saar Wilf | Vision based pointing device emulation |
| CN102112945A (zh) * | 2008-06-18 | 2011-06-29 | 奥布隆工业有限公司 | 用于交通工具接口的基于姿态的控制系统 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110045824A (zh) * | 2014-02-10 | 2019-07-23 | 苹果公司 | 使用光学传感器检测到的运动手势输入 |
| CN110045824B (zh) * | 2014-02-10 | 2022-06-17 | 苹果公司 | 使用光学传感器检测到的运动手势输入 |
| US11422635B2 (en) | 2014-02-10 | 2022-08-23 | Apple Inc. | Optical sensing device |
| CN110045822A (zh) * | 2014-12-01 | 2019-07-23 | 罗技欧洲公司 | 具有空中物体检测的键盘 |
| CN110794960A (zh) * | 2014-12-08 | 2020-02-14 | 罗希特·塞思 | 可穿戴无线hmi装置 |
| CN110794960B (zh) * | 2014-12-08 | 2024-02-06 | 罗希特·塞思 | 可穿戴无线hmi装置 |
| CN106896914A (zh) * | 2017-01-17 | 2017-06-27 | 珠海格力电器股份有限公司 | 信息的转换方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| GB2502087A (en) | 2013-11-20 |
| US20130307775A1 (en) | 2013-11-21 |
| GB201208523D0 (en) | 2012-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103425244A (zh) | 手势识别 | |
| US11009950B2 (en) | Arbitrary surface and finger position keyboard | |
| US11775076B2 (en) | Motion detecting system having multiple sensors | |
| CN104679401B (zh) | 一种终端的触控方法及终端 | |
| Taylor et al. | Type-hover-swipe in 96 bytes: A motion sensing mechanical keyboard | |
| EP2717120B1 (en) | Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications | |
| US10042438B2 (en) | Systems and methods for text entry | |
| TWI471755B (zh) | 能操控電氣設備作動模式的操控裝置 | |
| WO2014045953A1 (ja) | 情報処理装置および方法、並びにプログラム | |
| US20090051671A1 (en) | Recognizing the motion of two or more touches on a touch-sensing surface | |
| US9746929B2 (en) | Gesture recognition using gesture elements | |
| CN104969157A (zh) | 交互感测 | |
| WO2010084498A1 (en) | Device and method for monitoring an object's behavior | |
| KR100972104B1 (ko) | 이동 터치 감지 방법, 장치 및 그 방법을 실행하는프로그램이 기록된 기록매체 | |
| CN203241934U (zh) | 用于手势识别的系统、用户输入装置及处理器 | |
| US10088943B2 (en) | Touch control device and operating method thereof | |
| Liang et al. | Indexmo: exploring finger-worn RFID motion tracking for activity recognition on tagged objects | |
| Zhang et al. | A virtual keyboard implementation based on finger recognition | |
| CN101604222A (zh) | 一种计算机图形用户界面的输入设备和方法 | |
| KR101211808B1 (ko) | 동작인식장치 및 동작인식방법 | |
| Le Ba et al. | A 256 pixel, 21.6 μW infrared gesture recognition processor for smart devices | |
| Chen et al. | A generic framework for the design of visual-based gesture control interface | |
| WO2019134606A1 (zh) | 终端的控制方法、装置、存储介质及电子设备 | |
| Borrego-Carazo et al. | Unsupervised Embedded Gesture Recognition Based on Multi-objective NAS and Capacitive Sensing | |
| Liang | Towards Ubiquitous Intelligent Hand Interaction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| ASS | Succession or assignment of patent right |
Owner name: ST MICROELECTRONICS (RD) S. A. Free format text: FORMER OWNER: ST MICROELECTRONICS SA Effective date: 20140408 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20140408 Address after: Buckinghamshire Applicant after: Stmicroelectronics (Research & Development) Limited Address before: Buckinghamshire Applicant before: ST Microelectronics SA |
|
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20131204 |