CN102870078B - 用于对三维移动空间中的手势进行非接触式检测与辨识的系统及方法 - Google Patents

用于对三维移动空间中的手势进行非接触式检测与辨识的系统及方法 Download PDF

Info

Publication number
CN102870078B
CN102870078B CN201180008083.3A CN201180008083A CN102870078B CN 102870078 B CN102870078 B CN 102870078B CN 201180008083 A CN201180008083 A CN 201180008083A CN 102870078 B CN102870078 B CN 102870078B
Authority
CN
China
Prior art keywords
gesture
mobile route
mobile
identification
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180008083.3A
Other languages
English (en)
Other versions
CN102870078A (zh
Inventor
罗兰·奥鲍尔
阿尔乔姆·伊万诺夫
托马斯·坎齐奥拉
曼弗雷德·沙赫特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microchip Technology Germany GmbH
Original Assignee
Ident Technology AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ident Technology AG filed Critical Ident Technology AG
Publication of CN102870078A publication Critical patent/CN102870078A/zh
Application granted granted Critical
Publication of CN102870078B publication Critical patent/CN102870078B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/046Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Input (AREA)

Abstract

本发明涉及一种用于对三维移动空间中的手势(3D手势)进行非接触式检测与辨识的方法,其中-在界定所述三维移动空间的电近场中,检测所述电近场的变形,所述变形可由例如一个或两个手指的至少一个物件在所述三维移动空间中的移动执行;-从所述电近场的所述经检测变形产生至少一个移动路径,所述至少一个移动路径对应于所述至少一个物件在所述三维移动空间中的所述移动,且-其中在所述产生所述移动路径期间,在所述移动路径中确定手势开始,其中以所述手势开始而开始从所述移动路径提取所述手势。本发明还涉及一种用于对三维移动空间中的手势进行非接触式检测与辨识的系统。

Description

用于对三维移动空间中的手势进行非接触式检测与辨识的系统及方法
技术领域
本发明涉及一种用于对三维移动空间中的手势进行非接触式检测与辨识的系统及方法,所述手势由至少一个物件在所述三维移动空间中的移动执行。
背景技术
从先前技术,已知用于对手势进行非接触式检测与辨识的方法及系统。因此,举例来说,已知基于光学方法的解决方案。在所述解决方案中,连续地拍摄图像,将所述图像馈送到图像处理。所述图像处理以使得从经拍摄图像提取数据的方式设计,举例来说,所述数据表示手或手指。从所述经提取数据确定手或手指的移动。使经确定移动经受分析,所述分析执行手势辨识且作为结果提供手势或关于经辨识手势的信息。然而,此些系统及方法非常昂贵且为计算密集型,且在不同或不良照明条件的情况下频繁地导致若干问题。此外,此些系统仅最适合于固定操作,因为此目的所需要的图像拍摄单元(举例来说,像相机系统)并不适合于移动使用。
对于移动使用,触敏系统(举例来说,像触敏显示器)较适合,因为对于此目的,无需用于辨识手或手指的移动的额外辨识系统。然而,众所周知的触敏辨识系统具有以下缺点:一方面,为辨识移动,必需(举例来说)与触敏显示器进行接触,且另一方面,在输入表面上仅可能有沿两个维度(即,沿X或Y方向)的移动。因此,此辨识移动的方式限于两个自由度,使得不能考虑还涉及第三维度(Z方向)的移动或手势。
发明内容
本发明的目标
因此,本发明的目标是提供一种用于对手势进行非接触式检测与辨识的方法及系统,所述方法及系统一方面允许对空间手势进行检测与辨识且另一方面也适合于供在移动装置或系统中使用。
根据本发明的解决方案
根据本发明,借助一种根据独立技术方案的用于对手势进行非接触式检测与辨识的系统及方法来实现。
根据所述独立技术方案,提供一种用于对三维移动空间中的手势进行非接触式检测与辨识的方法,其中
-在界定所述三维移动空间的电近场中,辨识所述电近场的变形,所述变形由至少一个物件在所述三维移动空间中的移动实现,
-从所述电近场的所述经辨识变形产生至少一个移动路径,所述至少一个移动路径对应于所述至少一个物件在所述三维移动空间中的所述移动,且
-其中在所述产生所述移动路径期间,在所述移动路径中确定手势的开始,其中以手势的开始而开始从所述移动路径提取所述手势。
以此方式,可首先检测三维空间中的移动并从所述移动辨识手势而不需要提供自身的图像拍摄装置(举例来说,像相机系统),使得所述方法也特别适合于(例如)在移动电话及游戏控制台中的移动使用。
所述产生所述至少一个移动路径可考虑所述至少一个物件的至少一个物件性质,从所述电近场的所述变形导出所述至少一个物件性质。
以所述方式,可明显改进根据本发明的方法的精度,因为并非移动空间中的每一移动均导致待评估的移动路径。以此方式,也可增加辨识速度。
导出所述至少一个物件性质可考虑将经提供以用于所述产生所述移动路径的步骤的预先信息。因此,可更高效地(即,更快速且更精确地)产生所述移动路径,因为可借助于预先信息至少部分地补偿(例如)测量不准确性。
所述物件性质可包含以下各项中的一者:所述物件的形式、所述物件的大小、物件的数目、所述物件相对于参考表面的定向、材料电性质及其组合。以此方式,可更精确地确定所述移动路径。
特定来说,如果在辨识所述移动路径时考虑所述物件性质及所述预先信息,那么可非常准确且非常快速地确定所述移动路径。
优选地,在所述产生所述移动路径时,仅考虑所述电近场的满足至少一个预定变形准则的此些变形。因此,举例来说,所述近场的外边缘区中的变形可保持不被考虑。
所述变形准则可为:
-引起所述变形的物件相对于所述参考表面的距离,
-绝对及/或相对场变化,
-所述场变化根据时间的一阶及/或二阶求导,
-及/或其组合。
已证明给所述移动路径的每一点指派若干个移动特性为有利的。
所述移动特性可包含:
-所述物件相对于所述参考表面的位置;
-所述物件相对于所述移动空间的定向;
-所述物件的速度;
-所述物件的加速度;及/或
-其组合。
所述从所述移动路径提取至少一个手势包含提取离散手势及提取连续手势。
给手势的提取指派上下文信息为特别有利的。以此方式,一方面,可显著增加识别率。另一方面,也可显著增加识别速度。
所述上下文信息可包含指示将提取离散手势的第一上下文信息及指示将提取连续手势的第二上下文信息。
在所指派的第一上下文信息中,所述从所述移动路径提取手势可包含用于从所述移动路径辨识手势结束的步骤。
可通过将至少一个移动特性与至少一个阈值进行比较来确定手势的开始及/或手势的结束,其中超过/降到低于所述阈值指示手势的结束及/或手势的开始。
当超过/降到低于所述阈值达预定持续时间时,所述超过/降到低于所述阈值可指示手势的开始及/或手势的结束。因此,防止将非常短地超过/降到低于所述阈值错误地辨识为手势的开始及/或手势的结束。
在数个移动特性的情况下,当以预定次序超过/降到低于相应阈值时,所述超过/降到低于所述相应阈值可指示手势的开始及/或手势的结束。
在以下情况下为有利的:所述上下文信息包含第三上下文信息,所述第三上下文信息包含参考手势集合,其中所述参考手势集合指示将提取哪些手势,其中优选地根据手势文法来描述所述参考手势。
因此,可进一步显著增加识别率及识别速度,因为仅若干个参考手势用于手势辨识。在特定实施例中,如果不能将待辨识的手势指派给任何参考手势,那么甚至在手势的结束之前也可中断手势辨识。
所述提取手势可包含用于辨识所述经提取手势的型式辨识。
刚已确定手势的结束,便将经提取离散手势完全地转发到型式辨识。
在辨识手势开始之后,也可将所述移动路径连续地馈送到所述型式辨识,其中通过所述型式辨识将所述经连续馈送的移动路径与参考手势的部分手势连续地进行比较以便从所述参考手势确定对应于所述经连续馈送的移动路径的参考手势。
所述型式辨识可包含用于将所述手势分段成单手势段的步骤,接着将所述手势段与参考手势的对应手势段进行比较。
在所述产生所述至少一个移动路径时,可执行补偿方法,借助所述补偿方法从所述移动路径消除对应于所述物件在所述移动空间中的无意移动的段。以此方式,可显著改进在辨识及辨识手势时的容错度。优选地在辨识所述移动路径期间执行所述补偿方法。
可在至少一个电极上发射所述电近场且可通过至少一个电极辨识所述电近场的变形,以预定频率、优选地以10kHz与300kHz之间的频率、特别优选地以20kHz与200kHz之间的频率、最特别优选地以75kHz与125kHz之间的频率发射交变电场。
可通过测量在相应电极处接收或发射的交变电场的改变来完成辨识所述电近场的所述变形,其中所述改变包含相位、振幅及/或频率的改变。
所述至少一个物件可包含手、手指、肢体及/或指尖。
在本发明的优选实施例中,所述产生所述移动路径经设计以用于在一只手用一个或数个可辨别手指移动时产生对应于所述一个手指或所述数个可辨别手指的指尖的一个或数个移动路径。
因此,可首先捕获并辨识三维空间中的多手指手势,而不需要其它构件,举例来说,像相机。
可由从数个移动路径提取的数个手势(部分手势)形成一手势,此在用数个数字同时输入手势的情况下为特别有利的,其中所输入的手势为总手势的分量。
本发明还提供一种用于描述手势及/或参考手势的上下文无关文法。已借助手势文法描述的参考手势的使用具有以下优点:可以特别简单的方式实现根据本发明的技术方法中的手势辨识。有利地,参考手势存储于数据库中,其中可发生对参考手势的在所述参考手势的段内的经变址存取。特别是在连续(即,顺序)手势辨识的情况下,经变址存取已证明为有利的,因为可借助于简单的数据库查询过滤基于已经辨识的手势段的相关参考手势。所述数据库可为嵌入式数据库,其特别适合于在微控制器中实现,根据本发明的方法也适合于在微控制器中实现。
通过本发明,还提供一种用于对三维移动空间中的手势进行非接触式检测与辨识的系统,其包括:
-用于产生界定所述移动空间的电近场的构件,
-用于辨识由至少一个物件在所述移动空间中的移动导致的所述电近场的变形的构件,
-用于从所述电近场的所述经辨识变形产生至少一个移动路径的构件,所述至少一个移动路径对应于所述至少一个物件的所述移动,及
-用于在正产生所述移动路径时在所述移动路径中辨识手势开始的构件,及
-用于以所述手势开始而开始从所述移动路径提取所述手势的构件。
所述用于产生所述电近场的构件可包含:至少一个发射电极,可在所述至少一个发射电处发射交变电场;及至少一个信号产生器,其与所述至少一个发射电极耦合以用于借助交变电信号给所述至少一个发射电极充电。
所述用于辨识所述电近场的变形的构件可包含:至少一个接收电极;及评估装置,其与所述至少一个接收电极耦合以用于辨识耦合到所述接收电极中的交变电场或在所述接收电极处发射的交变电场的频率、振幅及/或相位的改变。
优选地,交变电信号的频率、振幅及/或相位为可调整的。
根据本发明的系统可实施为专用集成电路(ASIC)。
还提供一种用于检测由电近场界定的三维移动空间中的非接触式移动的方法,其中所述方法至少包含
-辨识所述电近场的变形,所述变形可由至少一个物件在所述三维移动空间中的移动实现,及
-从所述电近场的所述经辨识变形产生至少一个移动路径,所述至少一个移动路径对应于所述至少一个物件的所述移动。
此外,一种用于从至少一个移动路径辨识手势的方法,其可借助根据本发明用于检测非接触式移动的方法进行检测且包含用于从所述至少一个移动路径提取至少一个手势的步骤。
本发明的其它益处及有利实施例由说明、图式及权利要求书得出。
附图说明
在图式中,以示意性简化方式图解说明若干实施例且在下文说明中更详细地解释所述实施例。所述图式展示:
图1根据本发明用于对手势进行非接触式检测与辨识的方法的流程图;
图2借助于电近场产生的移动空间以及布置于所述移动空间中的辨识空间的空间视图;
图3借助于电近场产生的移动空间、布置于所述移动空间中的辨识空间以及布置于所述辨识空间中的数个作用区域的移动空间,每次给所述作用区域指派一个动作;
图4用于确定手势的开始及结束的阈值方法的第一实例;
图5用于确定手势的开始及手势的结束的阈值方法的第二实例;
图6用于确定手势的开始及手势的结束的阈值方法的另一实例;
图7a由手势字母表的数个手势段构成的手势的实例;
图7b具有可校正的有缺陷段的移动路径的实例;
图8用于分割(分段)移动路径的命中框的实例;
图9a移动的实例,其中针对手势辨识,仅Z方向为相关的;
图9b移动的实例,其中针对手势辨识,仅X方向为相关的;
图10三维空间中的移动路径的实例,其中针对手势辨识,仅评估X及Y方向(坐标);
图11从两个移动路径(两手指手势)提取的手势的实例;
图12a到12c具有若干个一手指手势及两手指手势的手势库;及
图12d具有若干个手手势的手势库。
具体实施方式
图1展示用于对手势进行非接触式检测与辨识的方法的流程图。
在第一步骤100中,借助于电极系统产生电近场,所述电近场优选地形成为准静态交变电场,所述准静态交变电场界定相对于参考表面(举例来说,屏幕或平板PC)的移动空间。
将以使得对应于场变化的交变电场的频率f的周期T(T=1/f)比光覆盖伸展段L需要的时间小得多的方式来选择交变电场的频率f,其中L对应于参考表面的大小,即,在频率F的情况下,电磁波的波长比系统大小L大得多(T>>L/c或f<<c/L,其中c为光速)。已证明10kHz与300kHz之间的频率、优选地75kHz与100kHz之间的频率是特别适合的。约100kHz的频率对应于大约3km的波长,此波长远超过参考表面的大小。
近场为其中距场源的距离比波长小得多使得不能将所述场视为电磁波而是视为准静态场的区域。电极系统处的场强度随着距电极系统的电极的距离r在1/r到1/r2之间约成比例地降低。此指示电极系统的敏感度也随着所述距离降低。因此,电极系统的敏感度区域限于“靠近”于电极的空间。
参考表面可为(举例来说)移动装置(举例来说,移动电话或平板PC)的显示装置。所述显示装置也可为触敏的,使得除手势的非接触式检测与辨识以外,还可辨识借助于触摸显示装置所做的输入。作为参考表面,也可提供“无源”表面,例如橱柜门的表面,借助根据本发明的系统,可使得所述表面成为输入表面。
为产生准静态交变电场(在下文中其将称为电近场),可提供彼此之间隔开的数个电极,在所述电极处每次发射一交变电场。以使得在电极处共同发射的交变电场可跨越相对于参考表面围绕电极的移动空间的方式设定由一个或数个产生器提供的供应给相应电极的交变电信号。
在下一步骤200中,在移动空间中辨识交变电场的力线的变形,所述变形(举例来说)由至少一个物件在移动空间中的移动产生。举例来说,力线的变形可由一手指或数个手指在移动空间中的移动导致。可通过确定与其处发射交变电场的电极耦合的相应产生器处的负载的改变而在所述电极处辨识力线的变形。在下文中将交变电场的力线的变形称为电近场的变形。关于图2来指示用于产生交变电场且用于辨识电近场的力线的变形的其它实施例。
在下一步骤300中,从经辨识变形产生移动路径,所述移动路径对应于(举例来说)手指在移动空间中的移动。因此,根据本发明,如果(举例来说)使数个手指在移动空间中移动,那么还可产生数个移动路径。
在产生移动路径时,可考虑在移动空间中移动的物件的一个或一个以上物件性质。举例来说,为产生移动路径,可考虑物件的形式。举例来说,此在一只手用伸展的食指沉陷于移动空间中且因此整个手导致电近场的变形时为必需的。不管形式如何,均将产生实质上对应于在移动空间中移动的手的重心的移动的移动路径。以此方式产生的移动路径可能导致有缺陷的手势辨识,因为手的重心的移动并不始终与伸展手指的移动对应。
为了避免此情形,在产生移动路径时考虑在移动空间中移动的手的形式,其中又从电近场的变形导出手的形式。可接着从手的形式确定伸展手指的指尖,使得可确定对应于指尖的移动的移动路径。
在本发明的另一实施例中,还可辨识及评估数个手指的移动,其中针对每一伸展手指确定指尖。
在根据本发明产生移动路径时,仅考虑电近场的满足预定准则的此些变形。准则可为(举例来说)导致变形的物件距参考表面的距离。因此,举例来说,保证了在产生移动路径时不考虑在移动空间的外边缘的区域中执行的移动。
在产生移动路径时,给移动路径的每一点指派若干个移动特性,使得可从在移动空间中完成的移动可靠地提取一个或一个以上手势。举例来说,此移动特性可为例如食指的指尖的物件相对于参考表面的位置、手或食指相对于移动空间的定向、指尖的速度、指尖的加速度或其组合。如关于图4到6更详细地描述,还可使用这些移动特性来确定一个或数个手势中的一手势的开始及一个或数个手势中的一手势的结束。
在一个步骤400中,从所产生的移动路径提取一个或一个以上手势。根据本发明,可提取离散手势及/或连续手势。
离散手势由手势开始、手势结束及手势开始与手势结束之间的移动表征。连续手势由手势开始及跟随所述手势开始的移动表征,而连续手势未必一定具有手势结束。
当从移动路径提取手势时,针对离散手势及连续手势两者,首先在移动路径中确定手势开始。在产生移动路径期间确定手势开始。刚已确定手势开始,便可以手势开始而开始提取手势。参考图4到6来更详细地描述用于辨识手势开始的具体方法。
借助于型式辨识,可辨识经提取手势。对于型式辨识(举例来说,隐马尔科夫(HiddenMarkov)模型),可使用维特比(Viterbi)算法及/或贝叶斯(Bayesian)网络。关于图7更详细地描述根据本发明的另一辨识方法。
如果将检测及辨识离散手势,那么每次可将从移动路径提取的一个完整手势馈送到型式辨识。举例来说,刚已确定手势的结束,此操作便可发生。也关于图4到6来更详细地描述辨识手势结束。
如果将辨识连续手势,那么在检测到手势开始之后,将跟随手势开始的移动路径连续地馈送到型式辨识。所述型式辨识也使经连续馈送的移动路径连续地经受手势辨识。
为辨识连续及离散手势,提供用于与由型式辨识馈送的移动路径进行型式比较的参考手势。参考手势可为(举例来说)在装置的某一用户上下文中可采纳的手势。如果在用户上下文中(举例来说)仅可采纳经确定字母的输入,那么参考手势包含表示所允许字母的手势。
可以使得将移动路径的单段与参考手势的对应部分手势进行比较的方式执行型式比较。部分手势为参考手势的一段。如果移动路径的单段每次均与参考手势的部分手势重合,那么可将移动路径解释为经辨识手势。
在本发明的一个实施例中,可在移动路径的一段与对应部分手势的每一比较之后减少可能参考手势的集合,因为随着移动路径的经比较段的数目的增加,可排除用于手势比较的其对应部分手势不与移动路径的已经比较的段重合的所有那些参考手势。以此方式,移动路径的一段刚可不再被指派给参考手势的对应部分手势,便也可完成辨识的中断。
可给用于从移动路径提取一个或数个手势的步骤400指派上下文信息,可借助所述上下文信息告知提取步骤400待提取的手势是离散手势还是连续手势。因此,所述上下文信息指示必须评估哪一类型的手势。所述上下文信息实质上取决于其中使用根据本发明的方法的特定应用。举例来说,如果在显示/输入装置中显现滑动控制件(在无接触的情况下必须借助于手的移动来使所述滑动控制件向左或向右移动),那么可将上下文信息“连续手势”指派给提取步骤400。接着连续地评估手在指派给滑动控制件的移动空间中的移动,以便可使所述滑动控制件与手在显示装置处的移动实质上同步地移动。
举例来说,如果预期在输入装置处输入字母或数字,那么可将上下文信息“离散手势”指派给提取步骤400。此处,刚已在移动路径中辨识手势结束,便将手势开始与手势结束之间的移动路径馈送到型式辨识。或者,刚辨识出手势开始,便还可将离散手势的移动路径连续地馈送到型式辨识,此具有以下优点:甚至在完成手势之前,也可做出关于用户有意执行哪一手势的陈述。
指派给提取步骤400的上下文信息还可包含(举例来说)指示在所述上下文中可采纳哪些手势的参考手势集合。
举例来说,此在输入装置预期数字输入时为有利的。在此方面,上下文信息可包含数字“0”直到“9”作为参考手势。可接着通过根据本发明的方法将食指在移动空间中的移动(举例来说,所述移动将对应于字母“A”)辨识为不允许手势。通过使用界定在相应上下文中允许的手势的参考手势,可显著降低在辨识手势时的误释的概率。
此外,可在(举例来说)手势开始与手势结束之间的移动路径不能被指派给参考手势中的任一者然而移动路径类似于参考手势时进行错误校正。相似程度为可调整的且举例来说可依据参考手势的数目来设定。在少量的参考手势中,可设定小的相似程度,此具有以下优点:甚至非常不准确执行的移动也可能可靠地导致正确辨识的手势。
为了忽略(举例来说)手指在移动空间中的无意移动,在从移动路径提取手势时,提出一种补偿方法,在产生移动路径(步骤300)期间,所述补偿方法从移动路径消除对应于手指在移动空间中的无意移动的那些段。出于此目的,举例来说,可使用手指在移动空间中的速度及/或加速度,其中超过或降到低于预设速度或预设加速度可指示手指的无意移动。通过从移动路径提取此些段,还增加在步骤400中从移动路径提取手势时的辨识程度。
图2通常展示根据本发明用于借助电传感器系统的四个电极对移动空间中的移动进行非接触式检测的系统的结构。
在矩形参考表面B(举例来说,其可为显示装置)的四个边缘的区域中,每次布置一个电极,所述电极为电传感器系统的组件。电极E在参考表面B的相应边缘的总长度上延伸。在电极E处,每次辐照一交变电场,四个经辐照交变电场共同地界定移动空间10。
代替图2中所展示的四个条形电极E,在参考表面B的边缘处,每次可布置一个点状电极,此使得有可能对(举例来说)指尖在移动空间10中的空间坐标进行经改进的辨识。此外,在参考表面的每一边缘处,可存在数个点状电极以便甚至进一步增加辨识精度。
也可在参考表面B的拐角处布置点状电极。点状电极可(举例来说)由包括约0,5cm2到5cm2的表面的扁平金属板形成。在具体形式中,点状电极呈现1cm2的表面。
可使单电极作为发射电极及/或接收电极操作。
举例来说,可使图2中所展示的电极中的一者作为发射电极(产生器电极)操作,在所述发射电极处,发射交变电场。可使其它三个电极作为接收电极操作,在所述接收电极处接收或耦合由发射电极发射的交变电场。可从耦合到接收电极的交变电场确定电近场的变形。可以多路复用方法操作个别接收电极使得将在接收电极处测量的信号在时间上相继地馈送到评估单元。
也可同时测量接收电极处的信号,此导致经改进的信噪比(SNR)。
在替代实施例中,可使图2中所展示的电极中的一者作为接收电极操作。可使其它三个电极作为发射电极操作,在所述发射电极处,每次发射一交变电场,每次将所述交变电场耦合到接收电极中。在发射电极处发射的交变电场每次可具有不同频率及/或不同相位。
然而,在发射电极处发射的交变电场也可具有相同频率及相同相位,有利地以时分多路复用方法操作所述发射电极。
还有可能提供数个发射电极及数个接收电极使得可甚至进一步增加空间分辨率。
在另一实施例中,也可使至少一个电极作为发射电极及接收电极两者操作,其中借助于产生交变电压的产生器处的交变电场的负载来确定力线的变形。
用于辨识手指在交变电场中的位置的系统的具体实现由申请人描述于德国专利申请案DE102007020873中。
可进一步细分移动空间。在移动空间10内部,界定小于移动空间10的检测空间20。移动空间10内部的检测空间20为在产生移动路径期间考虑的空间,即,仅针对检测空间20内部的移动产生移动路径。
如果手H或指尖进入移动空间10中,那么手H或指尖引起电近场的变形。然而,根据本发明的实施例,手指或手H仅刚进入检测空间20,便从电近场的变形导出移动路径。此可(举例来说)通过评估指尖与参考表面B之间的距离d而发生。如果指尖与参考表面B之间的距离d小于距离D(距离D指示参考表面B的从电近场的经辨识变形导出其内部的移动路径的距离),那么指尖的移动导致从以所述方式导致的电近场的变形推论出移动路径。
提供检测空间20具有以下优点:在产生移动路径时移动空间的边缘区中的电近场的变形保持不被考虑。或者,还使用在检测空间20外部的电近场的变形以便(举例来说)激活输入表面以(举例来说)从睡眠模式改变成操作模式。
图3展示相对于参考表面界定作用区域的可能性。在图3中所展示的实例中,将九个作用区域指派给参考表面B。可给所述作用区域中的每一者指派刚用指尖选择(举例来说)对应作用区域便执行的功能。可通过使指尖接近对应作用区域来完成所述选择。优选地以使得作用区域30位于检测空间20内部的方式来界定作用区域30。作用区域30由指派给所述作用区域的空间界定。
在图3中,以示意性截面图展示作用区域。手H的食指的尖端刚进入作用区域30的空间,便辨识出指尖的X及Y坐标位于界定作用区域30的X或Y坐标内部。此外,通过以下事实来辨识指尖进入作用区域30的空间中:指尖距输入表面B的距离(Z坐标)降到低于预定值。因此,根据本发明的方法可通过评估手指或指尖在移动空间10中或在检测空间20中的X、Y及Z坐标来检测对作用区域的选择。根据从交变电场的时间改变导出的移动路径来确定X、Y或Z坐标。
对作用区域30的选择的确认可通过消除或通过使指尖沿Z方向移出作用区域30而发生。刚已辨识此确认,便可执行指派给作用区域30的对应功能。在确认选择时,即,在使指尖沿Z方向移动时,还可考虑移动的速度及/或加速度。因此,举例来说,可规定只有在沿正Z方向的移动超过预定速度或预定加速度的情况下才将所述移动解释为确认。
或者,确认还可通过使指尖沿X方向或Y方向从作用区域向外部移动而发生。所述确认还可以使得指尖在作用区域30的空间内部徘徊达预定周期的方式而发生。因此,举例来说,手指可在输入表面B上移动且接着进入不同作用区域,只有在指尖位于对应作用区域中且在预定时间内不在作用区域内部移动的情况下才完成对对应作用区域的选择的确认。
对于选择作用区域30或确认对作用区域30的选择,触摸输入表面B并非必需的。然而,可将输入表面B形成为输入表面,以便连同用于对手势进行非接触式检测与辨识的方法或连同用于对手势进行非接触式检测与辨识的系统扩展功能性。
然而,必须提供作用区域并非仅为了选择指派给相应作用区域30的经确定功能性。作用区域30还可经提供以根据依据本发明的方法检测作用区域内部的移动及检测一个或一个以上手势。连同上下文信息,举例来说,可提供第一作用区域30以便输入数字,可提供(举例来说)第二区域以便输入字母,且可提供第三作用区域以便仅做出选择,如上文所描述。
在下文中,关于图4到6更详细地描述可如何根据本发明在移动路径中确定手势开始及手势结束。为了将在移动空间中检测的移动馈送到型式辨识,首先必需检测至少一手势开始。基本上,也可将在手势开始之前发生的移动引到型式辨识,然而,此将具有以下缺点:如果型式辨识未经设计而使不属于手势的移动不被考虑,那么在手势开始之前的移动可导致有缺陷的手势辨识。针对将进行型式辨识的完整手势的情况,还必需检测移动路径中的手势结束。
在(举例来说)指尖在移动空间中的移动期间,借助于电传感器电子装置以预定时间间隔(举例来说,以5ms的时间间隔)检测一个或数个移动特性,且将所述移动特性指派给移动路径的对应点。还可将时间间隔选择为更大或更小,此取决于具体应用情况。举例来说,所述移动特性可为:
-指尖相对于参考表面(举例来说,触敏显示器的输入表面)的位置;所述位置可由相对于输入表面的X、Y及/或Z坐标指示;
-手指或手相对于移动空间的定向;
-手指的移动的速度;
-手指在移动期间的加速度;
-及/或其组合。
为确定手势开始或手势结束,可使用这些移动特性中的一些移动特性或其组合。
还可规定将把移动空间内部的总移动评估为手势。此处,直接从由传感器电极辨识的电信号测量手势开始或手势结束为有利的。刚存在指示电近场的变形的信号改变,便可将此解释为手势开始。此同样适用于手势结束。在电极处测量的电信号刚表示不存在电近场的变形的事实,便可将此解释为手势结束。
或者,甚至在启动根据本发明的手势辨识系统时,也可开始连续手势辨识。在所述连续手势辨识中,连续地分析移动路径。刚在移动路径中辨识出预定命令手势,便给从移动路径提取的跟随手势指派待执行的对应功能。即,在时间上在命令手势之前辨识的手势保持不被考虑。相同方法也可被实施(举例来说)以便借助于预定命令手势完成手势输入。在此方面,可从移动路径提取命令手势且以与其它手势相同的方式辨识所述命令手势。
或者,也可通过改变物件在移动空间中的电性质来确定手势开始及/或手势结束。举例来说,用户可使手在商店橱窗前面的交变电场中移动。如果用户同时用另一只手触摸商店橱窗前面的接地表面或他同时踏上商店橱窗前面的通地表面,那么此导致交变电场的力线的变形,可将此辨识为手势开始。
在另一实施例中,也可通过用户操作控制元件来确定手势开始及/或手势结束。
图4展示在移动期间指尖距参考表面的距离(沿Z方向的距离)的时间进程。可使用指尖距参考表面的距离作为准则以便确定手势的开始及结束。出于此目的,界定阈值且降到低于或超过所述阈值即确定手势的开始或结束。如4中所展示,将距参考表面4cm的距离界定为阈值。如图4中还可见,指尖连续地接近阈值。指尖距参考表面的距离刚小于4cm,便将移动路径40中的对应点40a标记为手势开始。指尖距参考表面的距离刚再次超过4cm的阈值,便将移动路径中的对应点40b标记为手势结束。现在手势由手势开始40a与手势结束40b之间的移动路径形成。如上文已解释,可将此移动路径馈送到型式辨识。
自然地,不同于图4中所展示的阈值的阈值可用于借助于指尖距参考表面的距离来确定手势开始或手势结束;此最终取决于根据本发明的方法的具体应用情况。可(举例来说)从在相应传感器电极处检测的电近场的变形借助于三角测量来确定指尖距参考表面的距离。
图5展示根据本发明用于确定移动空间中的手指移动的手势开始及手势结束的方法的第二阈值方法。使用指尖相对于参考表面的速度作为移动特性,在图5中展示为沿X方向的手指移动的速度的时间进程。
在图5中所展示的实例中,也将指尖沿X方向的速度进程评估为手势开始或手势结束的特征,其中超过预定速度(阈值)界定手势开始且降到低于预定阈值界定手势结束。类似于根据依据图4的阈值方法,此处也可给移动路径50的点50a指派手势开始标记且可给点50b指派手势结束标记。可再次将手势结束与手势开始之间的移动路径馈送到型式辨识。
速度进程也可用于从移动路径移除无意移动。出于此目的,举例来说,可提供第二阈值,且超过所述第二阈值即移动并非有意的而是在移动空间内部的无意移动(例如,手的颤抖)或干扰信号(例如,来自位于系统附近的移动电话、荧光管等)的证据。可给移动路径50的对应点51a指派指示超过第二阈值的对应信息。如果移动速度再次降到低于此第二阈值,那么也可给移动路径50的此点51b指派降到低于第二阈值的对应信息。
在图5中所展示的实例中,移动路径50还含有两个手势,即,由点50a与51a之间的移动路径形成的手势及由点51b与50b之间的移动路径形成的第二手势。根据图5中所展示的实例,将来自移动路径50的两个段馈送到型式辨识。不将表示无意移动的段51馈送到型式辨识,且如果必要,那么可拒绝所述段。
或者,可从图5中所展示的移动路径的两个段(50a到51a或51b到50b)再次产生点50a与50b之间的单个移动路径,可接着将所述单个移动路径馈送到型式辨识。出于此目的,可对点51a与51b之间的移动路径50进行内插。在图5中用参考符号52展示点51a与51b之间的经内插段。对于内插,可使用本身已知的内插方法,举例来说,三次样条内插。因此,可高效地补偿移动路径中的无意移动,而不会在此方面误取两个或数个手势且移动路径中的奇异值不会对接下来的型式辨识具有负面影响。
通过特别丰富的补偿方法,也可实现可仅辨识简单手势库存但另一方面就手势辨识中的错误来说更具容忍性的此些手势辨识系统。因此,也可提供用于具有显著受限运动机能的人(例如,由于残障、疾病(例如,帕金森症))的三维手势辨识的手势辨识系统。
代替沿X方向的速度进程,也可评估沿Y方向及/或沿Z方向的速度进程。或者,也可考虑沿所有三个方向的速度进程来确定手势开始或手势结束。代替随时间的速度进程,也可使用随时间的加速度进程来确定手势开始或手势结束。
图6展示用于在移动路径中确定手势开始或手势结束的又一方法。
图6展示在具有四个传感器电极的传感器系统中传感器电极与移动手指的指尖之间的距离的时间推移。举例来说,进程60a对应于指尖相对于第一传感器电极的距离的时间进程。此处也界定阈值,且超过或降到低于所述阈值即确定手势的开始或手势的结束。根据本发明,手势开始在图6中所展示的四个推移中的至少一者降到低于预设阈值时出现。因此,手势结束可在所有四个推移已再次超过对应阈值时存在。
可个别地或以组合方式使用图4到6中所展示的阈值方法来确定手势的开始或手势的结束。还可将以下确定为额外条件:必须在预定周期内超过或降到低于图4到6中所展示的阈值中的一者或一者以上,使得将超过或降到低于…解释为手势开始或解释为手势结束。还可想象出,必须以预定次序超过或降到低于图4到6中所展示的阈值以便检测手势开始或手势结束。
在下文中,参考图7a,描述用于从对应于指尖在移动空间10中或在检测空间20中的移动的移动路径辨识手势的方法,其中仅考虑X及Y坐标。用户已借助于在移动空间10中或在检测空间20中的移动输入数字“2”。在图7a中用参考符号70指示对应移动路径(在已辨识手势开始或手势结束之后)。出于手势辨识的目的,首先将移动路径分解成若干段。为将移动路径分解成单段,可使用(举例来说)在很大程度上包封来自移动路径的相应段的标准化命中框75(参看图8)。在三维手势的手势辨识中,即,在另外也考虑Z坐标的移动的情况下,代替命中框,优选地使用在很大程度上包封移动路径的相应段的定界框。
标准化命中框75为具有预定宽度及长度的预定数目个矩形,其中每一矩形倾斜预定角度。在简单的情况下,为了将移动路径分段,八个命中框即足够。关于图8来展示八个可能命中框。移动路径的方向对于分段来说并不重要,因为每一命中框描述来自可用手势段集合的两个手势段,所述两个手势段各自沿相反方向前行。
在第一步骤中,选择尽可能完全地环绕移动路径的第一段的命中框。在所考虑的情况下,从图8中所展示的命中框中选择命中框HB1并将其指派给移动路径的对应段。使此方法继续直到已借助于命中框将总移动路径分解成若干段。由于移动路径的方向(所述方向为已知的),在下一步骤中,从可用手势段集合72给每一命中框指派对应手势段。在此情况下,考虑到手势的方向、移动路径的段(A)而指派命中框HB1。重复此方法直到给每一命中框指派对应手势段。在图7a中用参考符号71指示此指派的结果。
使用以所述方式产生的手势段序列以便从参考手势集合中选择对应手势。出于此目的,优选地描述参考手势,每一参考手势来自一手势段序列。优选地,根据本发明,根据用于手势的上下文无关描述的文法来描述参考手势,下文更详细地描述所述文法。
为了增加手势辨识中的分辨率,可提供额外命中框及对应相关联手势段。也可将命中框自身选择为更小,在手势辨识中,此还导致更高分辨率。
也可以使得在检测第一命中框之后接着给此命中框指派对应手势段的方式执行用于借助于将移动路径分解成单段并指派对应命中框来辨识手势的前述方法。此程序具有以下优点:在第一经检测手势段之后就可排除其第一手势段不对应于经检测第一手势段的所有那些参考手势而不用于手势辨识。
在特定情况下,由于已经检测的手势段,如果仅经确定的手势段可遵循一手势段,那么还可限制可能的前述手势段的数目。借助于图7a中所展示的实例来对此进行解释。假设所述参考手势集合仅由图7a中所展示的描述数字2的参考手势71组成。在此情况下,在第一手势段(a)之后,仅手势段(b)可为跟随的手势段。如果现在处于第一手势段中的用户使移动以其将对应于(举例来说)手势段(e)的方式继续到移动空间中,那么可将输入或移动辨识为不可采纳的。
在下文中,指示用于手势的上下文无关描述的文法,可在根据本发明用于手势辨识的方法中使用所述文法来(举例来说)描述参考手势。
以EBNF记法指示手势文法。
G→AS{S}[E]
S→S1|S2|…|Sn
S1
S2
....
Sn
A→AM{(OPAM)}
AM→“Z<2cm”|…|“Vx>4cm/s”
E→EM{(OPEM)}
EM→“Z≥2cm”|…|“Vx≤4cm/s”
OP→“与”|“或”
此上下文无关手势文法具有以下意义:
手势G由后跟手势段S的手势开始A组成,手势段S可任选地后跟数个其它手势段,所述数个其它手势段任选地进一步后跟手势结束E。手势段S由来自手势段集合{S1,S2,...,Sn}的手势段形成。
举例来说,由符号等表示手势段S1。
因此,手势结束为任选的,因为连续手势并非始终必须具有手势结束。
手势开始由任选地后跟一个或数个序列的初始特征AM构成,所述一个或数个序列由后跟初始特征AM的运算符OP形成。
本实例中的运算符可为“与”或“或”。
手势的开始的一种形式将为(举例来说)“Z<2cm与Vx>4cm/s”。
此形式界定在(例如)指尖距参考表面的距离小于2cm的情况下且在指尖相对于参考表面的速度大于4cm/s的情况下,移动路径中存在手势开始。
手势结束E由任选地后跟一个或数个序列的结束特征EM构成,所述一个或数个序列由后跟结束特征EM的运算符OP形成。
还可通过文法的以下扩展来描述离散手势与连续手势之间的区别:
G→KG|DG
DG→AS{S}E
KG→AS{S}[E]
此外,此手势文法暗示每一手势由至少一个手势段组成。
根据此手势文法,可与相应上下文无关地描述所有手势。
因此,举例来说,可通过使用前述手势文法来描述表示正方形的手势,举例来说,如下:
□=A→↑←↓E
借助此文法,还可描述特殊命令手势,例如,上述开始手势。
在根据本发明用于手势辨识的方法中使用根据此手势文法描述的参考手势具有数个益处:
-可与其中根据本发明的方法用于手势辨识的上下文无关地描述参考手势。
-参考手势的手势段的序列也可存储于数据库中,其中在保存相应参考手势时,将维持所述文法。可就整个序列及单手势段两者来给存储于数据库中的参考手势加索引,关于图7a及7b中所描述的用于手势辨识的方法此引起显著速度益处,因为可通过对数据库的经变址存取来确定对应参考手势。
-可以非常节省空间的方式存储参考手势,此在仅配备小存储空间的嵌入式系统中特别有利。
图7b展示可在从移动路径提取手势期间或在从移动路径提取手势之后被实施的错误校正方法的实例。错误校正方法具有以下优点:即使移动路径含有根据关于图7a所描述的分段方法不能被指派给来自参考手势集合的手势的任何手势段的段,也可正确地辨识手势。
出于此目的,如图7a中所描述,借助于命中框将移动路径分解成若干段。给每一命中框指派对应手势段。
然而,将对应于数字“2”的移动路径呈现点P1与P2之间的凹陷,此引起在移动路径中,将两个命中框HB4a及HB4b指派给描述所述凹陷的手势段,然而,其中不存在包括对应手势段作为第四及第五手势段的参考手势。现在可将以此方式辨识的手势(其可能未被指派参考手势)作为未经辨识手势而拒绝。然而,期望可校正此些错误输入以便获得正确辨识的手势。
在本发明的一个实施例中,可以使得首先执行经辨识手势段的序列与参考手势的手势段之间的相似度比较的方式形成错误校正方法。如此一来,确立经辨识手势段的前三个手势段与最后四个手势段等同于用数字“2”描述的参考手势的对应手势段。如果相似度比较导致仅一个相似参考手势,那么可用手势段(d)替换指派给命中框HB4a及HB4b的手势段。所述替换接着导致正确辨识的手势。
作为替换手势段的替代方案,可从经辨识手势完全移除对应手势段。在接下来的步骤中,可接着在点P1与P2之间执行内插方法,如已关于图5对其进行描述。可接着再次使以此方式产生的点P1与P2之间的经内插移动路径经受借助于命中框的分段。
可递归地使用此错误校正方法以便(举例来说)校正在错误校正之后仍进一步存在的错误。
在此错误校正方法中,也可预设最大递归深度,且达到所述最大递归深度就中断错误校正。如果在中断错误校正之后,仍不能完全地辨识手势,那么可拒绝所述手势或可给用户提供经辨识手势的提议。或者,还可提供错误阈值,降到低于所述错误阈值即引起将手势接受为经正确辨识。举例来说,可以关于参考手势经辨识手势段的程度来指示错误阈值。举例来说,如果参考手势的手势段的80%与经提取手势的手势段重合,那么可假定经辨识手势对应于所述参考手势。
图9a及图9b展示三维手势辨识的两个实例,其中在从移动路径提取手势期间每次考虑一个上下文信息。
图9a展示其上显现确认按钮(OK按钮)的输入表面B。在电近场所跨越的移动空间(图9a中未展示)中,界定指派给确认按钮的检测空间20。将在检测空间20中发生的手H的指尖的移动解释为属于确认按钮的移动。即,将移动路径的位于检测空间20内部的部分解释为属于检测空间20的移动路径。
给确认按钮或检测空间20指派上下文信息,即确认按钮为选择按钮的信息,所述选择按钮可通过顺着距所述按钮的距离接近所述按钮来操作。在此上下文信息的基础上,手势辨识可实质上限于评估仅关于Z方向的移动路径。可接着根据此评估的结果推断是否已操作确认按钮。如果已操作确认按钮,那么可提供指示确认的信号。
为了检验指尖是否已沿横向方向离开检测空间20,仅需要评估移动路径的X或Y方向。如果指尖已沿横向方向离开检测空间20仅达非常短的时间且后来返回到检测空间20,那么可将此解释为无意离开检测空间20。在其中移动路径弃离检测空间20或再次进入检测空间20的地方之间,可关于Z方向对所述移动路径进行内插,如已(举例来说)关于图5对此进行展示。如果指尖沿横向方向弃离检测空间20达相当长的时间,那么也可将此解释为用户有意地中断手势。
图9b展示具有可沿X方向向左或向右移位的滑动控制件的输入表面B。给所述滑动控制件指派检测空间20。给检测空间20或滑动控制件指派上下文信息,所述上下文信息指示其为可仅沿X方向移动的滑动控制件。在此上下文信息的基础上,手势辨识可限于仅评估移动路径的在检测空间20内部的X坐标,在此处所展示的滑动控制件中,连续地评估移动路径的X坐标为有利的。以此方式,可使滑动控制件的移动与指尖的移动同步,使得用户获得关于其移动的直接反馈。
此外,此处,只要在预定周期内完成返回检测空间20中,就可将指尖沿Y方向或沿Z方向从检测空间20的短期离开解释为从检测空间20的非预期离开。如果指尖在此预定周期内未进入检测空间20,那么可将离开检测空间20解释为输入的中断。所述滑动控制件可接着返回到其原始位置中。代替滑动控制件,举例来说,可提供可通过指尖的圆形移动而移动的旋钮。
在输入表面B上,可指示(举例来说)通过接近打开且在打开状态中可通过其借助于对应移动导航的其它输入元件,举例来说,选择字段(复选按钮)或选择列表(组合框)。可在输入表面B上个别地或以组合方式显示所有输入元件。给每一输入元件指派对应检测空间20。还可给每一输入元件或每一检测空间20指派对应上下文信息,所述上下文信息指示将如何评估对应移动路径或相应检测空间20内部的哪些手势是可采纳的。除输入表面B处的所提及输入元件以外,还可提供用于输入符号(例如,字母或数字)的输入字段,如已关于图7描述。
图10以实例方式展示当手指沿Z方向的移动不与待评估的手势相关时可如何评估移动空间内部及/或辨识空间内部的移动或移动路径。在所述情况下,因此,其最终为二维手势,使得可将对移动路径的评估简化为二维评估。三维移动路径到二维移动路径的简化实质上对应于移动路径在X/Y平面上的投影。可接着对简化的移动路径执行二维手势评估,如(举例来说)关于图7所描述。以此方式,举例来说,在三维手势的情况下或在移动空间内部的三维移动的情况下(在此情况下,(例如)沿Z方向的移动不与评估相关),也可将三维评估简化为二维评估,此引起手势辨识对计算能力的微小需要。此对于仅配备甚小计算能力的移动终端来说可为特别重要的。
图11展示从两个不同移动路径(两个手指手势)提取的手势的实例。在移动空间中,用手H1的食指执行第一移动。用第二只手H2的食指,在移动空间中执行第二移动。每次从两个移动产生第一移动路径BP1及另一移动路径BP2。接着从两个移动路径中的每一者提取手势,可将所述手势解释为合成手势的部分手势。如果在提取部分手势时或在辨识部分手势时,未考虑Z坐标,那么两个部分手势中的每一者表示圆的一段,如图11中所显现。因此,由两个部分手势产生的总手势对应于一圆。关于两个部分手势是否为合成手势的分量,举例来说,可使得此依赖于第一手势的手势开始距第二手势的手势结束的距离。如果所述距离低于预界定的阈值,那么所述部分手势构成总手势。如果值不降到低于所述阈值,那么将两个部分手势解释为分开的手势。
图12a到图12c展示具有若干个一手指手势及两手指手势的手势库的选集。在本发明的实施例中,可以与移动方向无关的方式辨识图12b及12c中所展示的字母或数字。举例来说,可从左上方向右上方或也从右上方向左上方输入字符“V”。
图12d展示具有若干个手手势的手势库的选集。举例来说,可在必须考虑移动空间中的仅非常少的移动时提供此些手手势。

Claims (22)

1.一种用于对三维移动空间中的手势进行非接触式检测与辨识的方法,其中
在界定所述三维移动空间的电近场中,检测所述电近场的变形,所述变形由至少一个物件在所述三维移动空间中的移动实现,
从所述电近场的所述经检测变形产生至少一个移动路径,所述至少一个移动路径对应于所述至少一个物件在所述三维移动空间中的所述移动,且
其中在所述产生所述移动路径期间,在所述移动路径中确定手势开始,其中以所述手势开始而开始从所述移动路径提取所述手势;
其中所述从所述移动路径提取至少一个手势包含提取离散手势及提取连续手势;
其中所述提取手势包含用于辨识所述经提取手势的型式辨识;
其中对于检测离散手势,刚已确定所述手势的所述手势结束,便将离散手势完全地馈送到所述型式辨识,对于检测连续手势,在检测手势开始之后,将所述移动路径连续地馈送到所述型式辨识。
2.根据权利要求1所述的方法,其中所述产生所述至少一个移动路径考虑所述至少一个物件的至少一个物件性质,其中从所述电近场的所述变形导出所述至少一个物件性质。
3.根据权利要求2所述的方法,其中通过所述导出所述至少一个物件性质,考虑经提供以用于所述用于所述产生(300)所述移动路径的步骤的预先信息。
4.根据权利要求2或3所述的方法,其中所述物件性质包含包括以下各项的群组中的至少一者:所述物件的形式、所述物件的大小、物件的数目、所述物件相对于参考表面的定向、材料电性质及其组合。
5.根据权利要求1所述的方法,其中在所述产生所述移动路径时,仅考虑所述电近场的满足至少一个预定变形准则的此些变形,其中所述变形准则包括包含以下各项的群组中的至少一者:导致所述变形的所述物件相对于参考表面的距离、绝对及/或相对场变化、所述场变化根据时间的一阶及/或二阶求导及其组合。
6.根据权利要求1所述的方法,其中给所述移动路径的每一点指派若干个移动性质,其中所述移动性质包括以下各项的群组中的至少一者
所述物件相对于参考表面的位置;
所述物件相对于所述三维移动空间的定向;
所述物件的速度;
所述物件的加速度;及
其组合。
7.根据权利要求1所述的方法,其中给所述用于所述提取所述手势的步骤指派上下文信息。
8.根据权利要求7所述的方法,其中所述上下文信息包含指示将提取离散手势的第一上下文信息及指示将提取连续手势的第二上下文信息。
9.根据权利要求8所述的方法,其中在所指派的第一上下文信息中,在所述产生(300)所述移动路径期间,在所述移动路径中确定手势结束。
10.根据权利要求6所述的方法,其中通过将至少一个移动性质与至少一个阈值进行比较来确定所述手势开始及/或所述手势结束,其中超过/降到低于所述阈值指示所述手势开始及/或所述手势结束。
11.根据权利要求10所述的方法,其中如果超过/降到低于所述阈值达预定持续时间,那么所述超过/降到低于所述阈值指示所述手势开始及/或所述手势结束。
12.根据权利要求10或11所述的方法,其中在数个移动性质的情况下,如果以预定次序超过/降到低于相应阈值,那么所述超过/降到低于所述相应阈值指示所述手势开始及/或所述手势结束。
13.根据权利要求7所述的方法,其中所述上下文信息包含第三上下文信息,所述第三上下文信息包含参考手势集合,其中所述参考手势集合指示可检测哪些手势,其中根据手势文法来描述所述参考手势。
14.根据权利要求1所述的方法,其中在所述检测到所述手势开始之后,将所述手势连续地馈送到所述型式辨识,其中通过所述型式辨识将所述经连续馈送的手势与参考手势的部分手势连续地进行比较,以便从所述参考手势中检测对应于所述经连续馈送的手势的那些参考手势。
15.根据权利要求1所述的方法,其中所述型式辨识将所述手势分解成若干手势段并将所述手势段与参考手势的手势段进行比较。
16.根据权利要求1所述的方法,其中在所述产生所述至少一个移动路径时执行补偿过程,借助所述补偿过程从所述移动路径消除对应于所述物件在所述三维移动空间中的无意移动的段。
17.根据权利要求1所述的方法,其中所述产生所述移动路径适于在一只手用一个或数个可彼此辨别的手指在所述三维移动空间中移动时产生对应于所述一个手指或所述数个可辨别手指的指尖的一个或数个移动路径。
18.根据权利要求1所述的方法,其中由从数个移动路径提取的数个手势形成合成手势。
19.一种供在根据前述权利要求1所述的方法中使用的用于描述手势的上下文无关文法。
20.一种用于对三维移动空间中的手势进行非接触式检测与辨识的系统,其包括
用于产生界定所述三维移动空间的电近场的构件,其中所述用于所述产生所述电近场的构件包含:至少一个发射电极,可在所述至少一个发射电处发射交变电场;及至少一个信号产生器,其与所述至少一个发射电极耦合以用于借助交变电信号给所述至少一个发射电极充电;
用于检测由至少一个物件在所述三维移动空间中的移动导致的所述电近场的变形的构件;
用于从所述电近场的所述经检测变形产生至少一个移动路径的构件,所述至少一个移动路径对应于所述至少一个物件的所述移动;及
用于在正产生所述移动路径时在所述移动路径中检测手势开始及手势结束的构件;及
用于有待确定的连续手势时,以所述手势开始而开始从所述移动路径提取所述手势的构件,及用于在确定了离散手势时,将在手势开始和手势结束之间接收的移动路径完全地送至型式辨识的装置。
21.根据权利要求20所述的系统,其中所述用于检测变形的构件包含:所述电近场的至少一个接收电极;及评估装置,其与所述至少一个接收电极耦合以用于检测耦合到所述接收电极中的交变电场或在所述接收电极处发射的交变电场的频率、振幅及/或相位的改变。
22.根据权利要求20或21所述的系统,其中所述交变信号的频率、振幅及/或相位为可调整的。
CN201180008083.3A 2010-02-10 2011-02-09 用于对三维移动空间中的手势进行非接触式检测与辨识的系统及方法 Active CN102870078B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE1020100074551 2010-02-10
DE102010007455.1A DE102010007455B4 (de) 2010-02-10 2010-02-10 System und Verfahren zum berührungslosen Erfassen und Erkennen von Gesten in einem dreidimensionalen Raum
PCT/EP2011/051914 WO2011098496A1 (en) 2010-02-10 2011-02-09 System and method for contactless detection and recognition of gestures in a three-dimensional space

Publications (2)

Publication Number Publication Date
CN102870078A CN102870078A (zh) 2013-01-09
CN102870078B true CN102870078B (zh) 2016-07-06

Family

ID=43828364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180008083.3A Active CN102870078B (zh) 2010-02-10 2011-02-09 用于对三维移动空间中的手势进行非接触式检测与辨识的系统及方法

Country Status (8)

Country Link
US (1) US9921690B2 (zh)
EP (1) EP2430512B1 (zh)
JP (1) JP5812358B2 (zh)
KR (1) KR101871259B1 (zh)
CN (1) CN102870078B (zh)
DE (1) DE102010007455B4 (zh)
ES (1) ES2524987T3 (zh)
WO (1) WO2011098496A1 (zh)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011015806A1 (de) 2011-04-01 2012-10-04 Ident Technology Ag Displayeinrichtung
JP5581553B2 (ja) * 2010-11-15 2014-09-03 株式会社フジクラ 電気機器の入力装置
JP5780823B2 (ja) * 2011-04-28 2015-09-16 株式会社Nttドコモ 表示装置、表示装置の制御方法及びプログラム
US9507454B1 (en) * 2011-09-19 2016-11-29 Parade Technologies, Ltd. Enhanced linearity of gestures on a touch-sensitive surface
DE102011119082A1 (de) * 2011-11-21 2013-05-23 Übi UG (haftungsbeschränkt) Vorrichtungsanordnung zur Schaffung eines interaktiven Bildschirms aus einem Bildschirm
US9323379B2 (en) 2011-12-09 2016-04-26 Microchip Technology Germany Gmbh Electronic device with a user interface that has more than two degrees of freedom, the user interface comprising a touch-sensitive surface and contact-free detection means
CN104081321A (zh) * 2012-02-01 2014-10-01 约瑟夫·米兹腊希 改善在线游戏的预测的方法与系统
US20150220150A1 (en) * 2012-02-14 2015-08-06 Google Inc. Virtual touch user interface system and methods
JP5853755B2 (ja) * 2012-02-17 2016-02-09 株式会社豊田中央研究所 入力装置
DE102012103032B3 (de) 2012-04-05 2013-07-04 Reis Group Holding Gmbh & Co. Kg Verfahren zur Bedienung eines Industrieroboters
US9323985B2 (en) * 2012-08-16 2016-04-26 Microchip Technology Incorporated Automatic gesture recognition for a sensor system
US9552068B2 (en) 2012-08-27 2017-01-24 Microchip Technology Germany Gmbh Input device with hand posture control
US20140298672A1 (en) * 2012-09-27 2014-10-09 Analog Devices Technology Locking and unlocking of contacless gesture-based user interface of device having contactless gesture detection system
PT2925199T (pt) * 2012-11-29 2017-07-12 Vorwerk Co Interholding Máquina de cozinha
CN103885530A (zh) * 2012-12-20 2014-06-25 联想(北京)有限公司 一种控制方法以及一种电子设备
FR3000817B1 (fr) * 2013-01-04 2016-04-01 Epawn Commande d'une station d'accueil par mouvement de dispositif mobile
JP2014164624A (ja) * 2013-02-26 2014-09-08 Smk Corp 表示装置
KR102106354B1 (ko) * 2013-03-21 2020-05-04 삼성전자주식회사 전자장치에서 터치 입력을 이용한 동작 제어 방법 및 장치
CN104076910B (zh) * 2013-03-25 2017-11-03 联想(北京)有限公司 一种信息处理的方法及电子设备
JP6125310B2 (ja) * 2013-04-26 2017-05-10 アルパイン株式会社 入力装置及びコンピュータプログラム
JP6126904B2 (ja) * 2013-05-13 2017-05-10 株式会社Nttドコモ 電子機器、軌跡補正方法、プログラム
DE102013208999B4 (de) * 2013-05-15 2015-11-12 EDISEN SENSOR SYSTEME GmbH & Co. KG Verfahren und Vorrichtung für ein kapazitives berührungsloses Eingabesystem auf Basis einer einzigen Sensorfläche
DE102013008807A1 (de) 2013-05-24 2014-11-27 Balluff Gmbh Verfahren und Schaltungsanordnung zur Aktivierung und Parametrisierung einer elektrischen Einrichtung
US9625997B2 (en) 2013-07-19 2017-04-18 Microchip Technology Incorporated Human interface device and method
CN104344497A (zh) * 2013-08-07 2015-02-11 珠海格力电器股份有限公司 空调器及其控制方法、装置
KR20150019352A (ko) 2013-08-13 2015-02-25 삼성전자주식회사 전자장치에서 그립상태를 인지하기 위한 방법 및 장치
CN103440049B (zh) * 2013-08-28 2017-05-31 深圳超多维光电子有限公司 一种输入装置及输入方法
US9665204B2 (en) * 2013-10-04 2017-05-30 Microchip Technology Incorporated Continuous circle gesture detection for a sensor system
KR101535738B1 (ko) * 2013-10-28 2015-07-09 서울과학기술대학교 산학협력단 비접촉 동작 제어가 가능한 스마트 디바이스 및 이를 이용한 비접촉 동작 제어 방법
US9652137B2 (en) * 2013-10-31 2017-05-16 Tencent Technology (Shenzhen) Company Limited Method and device for confirming and executing payment operations
JP6307860B2 (ja) * 2013-12-03 2018-04-11 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
CN104699232A (zh) * 2013-12-09 2015-06-10 联想(北京)有限公司 三维位置检测装置、电子设备和方法
CN104793724B (zh) * 2014-01-16 2018-12-21 北京三星通信技术研究有限公司 空中书写处理方法及装置
JP6484859B2 (ja) * 2014-01-28 2019-03-20 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9921739B2 (en) * 2014-03-03 2018-03-20 Microchip Technology Incorporated System and method for gesture control
US10459623B2 (en) * 2014-04-17 2019-10-29 Microchip Technology Incorporated Touch detection in a capacitive sensor system
US9740338B2 (en) 2014-05-22 2017-08-22 Ubi interactive inc. System and methods for providing a three-dimensional touch screen
US9958946B2 (en) 2014-06-06 2018-05-01 Microsoft Technology Licensing, Llc Switching input rails without a release command in a natural user interface
US9552069B2 (en) 2014-07-11 2017-01-24 Microsoft Technology Licensing, Llc 3D gesture recognition
JP2016038905A (ja) * 2014-08-08 2016-03-22 パナソニックIpマネジメント株式会社 入力装置および機器制御方法
US10649488B2 (en) 2014-08-20 2020-05-12 Microchip Technology Germany Gmbh Electrode arrangement for gesture detection and tracking
US9665725B2 (en) * 2015-02-06 2017-05-30 Microchip Technology Incorporated Gesture based access control method and system
CN104834377A (zh) * 2015-05-05 2015-08-12 成都上生活网络科技有限公司 一种基于3d手势识别的音频控制方法
JP6481513B2 (ja) * 2015-05-28 2019-03-13 アイシン精機株式会社 操作装置
US9946397B2 (en) * 2015-06-15 2018-04-17 Microchip Technology Incorporated Sensor design for enhanced touch and gesture decoding
CN104992156A (zh) * 2015-07-07 2015-10-21 济南大学 基于手势与多语义之间柔性映射的手势操控方法
US10444892B2 (en) * 2015-10-07 2019-10-15 Microchip Technology Incorporated Capacitance measurement device with reduced noise
CN105151048A (zh) * 2015-10-22 2015-12-16 上海擎感智能科技有限公司 一种车载终端手势识别控制方法及系统
CN107562239A (zh) * 2016-07-01 2018-01-09 南昌欧菲光科技有限公司 压力感应装置和具有其的显示设备
KR102635976B1 (ko) 2016-12-30 2024-02-13 에스엘 주식회사 제스처 인식 장치
WO2018147254A1 (ja) 2017-02-10 2018-08-16 パナソニックIpマネジメント株式会社 車両用入力装置
WO2018186889A1 (en) * 2017-04-07 2018-10-11 Hewlett-Packard Development Company, L.P. Cursor adjustments
EP3680755A4 (en) * 2017-09-04 2020-10-28 Wacom Co., Ltd. SPATIAL POSITION INDICATOR SYSTEM
US10878231B2 (en) * 2018-05-10 2020-12-29 International Business Machines Corporation Writing recognition using wearable pressure sensing device
CN110069137B (zh) * 2019-04-30 2022-07-08 徐州重型机械有限公司 手势控制方法、控制装置和控制系统
CN110673736B (zh) * 2019-09-30 2023-04-07 广东万家乐燃气具有限公司 一种手势识别控制方法、控制装置以及存储介质
JP2023530577A (ja) * 2020-06-29 2023-07-19 ジェイティー インターナショナル エス.エイ. デバイスをロックするジェスチャ及びロック機能を有効にするジェスチャ
JP2023119599A (ja) * 2020-07-16 2023-08-29 アルプスアルパイン株式会社 ジェスチャ判定装置
KR102386088B1 (ko) * 2020-08-28 2022-04-15 (주)프리모 모션 인식 기반 제어 장치
CN114506754B (zh) * 2020-11-17 2023-12-05 上海三菱电梯有限公司 非接触按钮操作识别系统
WO2024122203A1 (ja) * 2022-12-07 2024-06-13 ソニーグループ株式会社 情報処理装置、および情報処理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1965290A (zh) * 2004-06-09 2007-05-16 皇家飞利浦电子股份有限公司 输入系统
CN101772750A (zh) * 2007-03-26 2010-07-07 艾登特技术股份公司 移动通信设备及其输入装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7532205B2 (en) * 1992-06-08 2009-05-12 Synaptics, Inc. Object position detector with edge motion feature and gesture recognition
US5844415A (en) * 1994-02-03 1998-12-01 Massachusetts Institute Of Technology Method for three-dimensional positions, orientation and mass distribution
GB2286247A (en) * 1994-02-03 1995-08-09 Massachusetts Inst Technology Capacitive position detection
US6323846B1 (en) * 1998-01-26 2001-11-27 University Of Delaware Method and apparatus for integrating manual input
JP2004213269A (ja) * 2002-12-27 2004-07-29 Toshiba Corp 文字入力装置
US7549131B2 (en) * 2002-12-31 2009-06-16 Apple Inc. Method of controlling movement of a cursor on a screen and a computer readable medium containing such a method as a program code
JP2005056059A (ja) 2003-08-01 2005-03-03 Canon Inc 撮像部を備えた頭部搭載型ディスプレイを用いた入力装置および方法
JP4708422B2 (ja) * 2004-04-15 2011-06-22 ジェスチャー テック,インコーポレイテッド 両手動作の追跡
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
JP5324440B2 (ja) * 2006-07-12 2013-10-23 エヌ−トリグ リミテッド デジタイザのためのホバリングおよびタッチ検出
JP4730784B2 (ja) * 2006-08-09 2011-07-20 アルパイン株式会社 車載表示システム
US8284165B2 (en) * 2006-10-13 2012-10-09 Sony Corporation Information display apparatus with proximity detection performance and information display method using the same
JP4766340B2 (ja) 2006-10-13 2011-09-07 ソニー株式会社 近接検知型情報表示装置およびこれを使用した情報表示方法
US8232970B2 (en) * 2007-01-03 2012-07-31 Apple Inc. Scan sequence generator
DE102007020873A1 (de) 2007-04-26 2008-10-30 Ident Technology Ag Sensoreinrichtung, sowie Verfahren zur Generierung von hinsichtlich der Position oder Positionsänderung von Gliedmaßen indikativen Signalen
US8390579B2 (en) * 2008-03-14 2013-03-05 France Telecom System for classifying gestures
US8526767B2 (en) * 2008-05-01 2013-09-03 Atmel Corporation Gesture recognition
US20090327974A1 (en) * 2008-06-26 2009-12-31 Microsoft Corporation User interface for gestural control
US8390577B2 (en) * 2008-07-25 2013-03-05 Intuilab Continuous recognition of multi-touch gestures

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1965290A (zh) * 2004-06-09 2007-05-16 皇家飞利浦电子股份有限公司 输入系统
CN101772750A (zh) * 2007-03-26 2010-07-07 艾登特技术股份公司 移动通信设备及其输入装置

Also Published As

Publication number Publication date
ES2524987T3 (es) 2014-12-16
KR20120123487A (ko) 2012-11-08
EP2430512A1 (en) 2012-03-21
EP2430512B1 (en) 2014-10-01
DE102010007455A1 (de) 2011-08-11
WO2011098496A1 (en) 2011-08-18
US20120313882A1 (en) 2012-12-13
US9921690B2 (en) 2018-03-20
KR101871259B1 (ko) 2018-06-27
JP5812358B2 (ja) 2015-11-11
CN102870078A (zh) 2013-01-09
DE102010007455B4 (de) 2024-06-27
JP2013519933A (ja) 2013-05-30

Similar Documents

Publication Publication Date Title
CN102870078B (zh) 用于对三维移动空间中的手势进行非接触式检测与辨识的系统及方法
US8619056B2 (en) Ghost resolution for a capacitive touch panel
JP5651036B2 (ja) 操作検出装置
CN107045408B (zh) 触控方法、智能笔、触控识别方法、装置及系统
US8937609B2 (en) Touch sensor system
US20120013555A1 (en) Touch screen system
US20120212440A1 (en) Input motion analysis method and information processing device
WO2013128291A2 (en) Method of fusing multiple information sources in image-based gesture recognition system
KR20130078462A (ko) 터치 센서 시스템의 멀티 터치 구분 방법
US9557821B2 (en) Gesture recognition apparatus and control method of gesture recognition apparatus
KR20130091874A (ko) 필기 인식을 위한 필기 입력 가이드 장치 및 방법
KR20130099420A (ko) 정전용량 방식의 터치 스크린을 구비하는 단말기와 그의 터치 위치 검출 방법
US20130321320A1 (en) Touch input device, electronic apparatus, and input method
CN102147688B (zh) 提升电容式触摸屏输入准确度的系统及方法
JP6952753B2 (ja) アクティブペンの位置検出方法及びセンサコントローラ
JP2016024684A (ja) データ処理装置およびデータ処理プログラム
CN111731956A (zh) 一种实现按下非接触电梯的按钮的设备和方法
CN101477419A (zh) 一种触摸定位的方法及装置
JP6698908B1 (ja) 手書き文字認識装置および手書き文字認識方法
CN104077001B (zh) 一种触摸屏接触物的辨别方法及其电容笔传递信号的方法
CN104123026A (zh) 一种触摸屏触摸轨迹运动方向识别的方法
US10712881B2 (en) Input device, object detection device, and method thereof
KR20150139396A (ko) 상이한 지문 입력 방식을 지원하는 지문 인증 방법 및 전자 장치
JP5776448B2 (ja) 情報処理装置、撮像装置及びプログラム
KR102242891B1 (ko) 가우시안 합성 모델을 이용한 터치 좌표 산출 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160812

Address after: German Ma Ning Ismail

Patentee after: Microchip technology Germany

Address before: Gil bloom

Patentee before: Ident Technology AG