CN106681575A - 使用电容感测的滑块和手势识别 - Google Patents
使用电容感测的滑块和手势识别 Download PDFInfo
- Publication number
- CN106681575A CN106681575A CN201610981442.8A CN201610981442A CN106681575A CN 106681575 A CN106681575 A CN 106681575A CN 201610981442 A CN201610981442 A CN 201610981442A CN 106681575 A CN106681575 A CN 106681575A
- Authority
- CN
- China
- Prior art keywords
- capacitance
- gesture
- grader
- information
- capacitance sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03547—Touch pads, in which fingers can move on a surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03548—Sliders, in which the moving part moves in a plane
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
公开了使用电容感测的滑块和手势识别。用于感测手势的常规用户接口通常需要物理接触传感器垫或填充有传感器垫的区域。这些传统的传感器垫在紧凑的移动设备上占据宝贵的空间,与移动设备的其他部件明显干扰,使设计复杂化,消耗功率,并且增加了最终产品的成本。通过将两个或更多个小的电容性感测电极放置在移动设备上(任意地或具有小得多的限制),电容性感测可以提供虚拟传感器垫作为用户接口。通过实现检测三种不同条件的算法,虚拟传感器垫可以有效地用作用户界面模态以检测诸如滑动手势,绘图手势,字母,书写等的手势。所得到的虚拟传感器垫可以灵活地改变到不同的期望位置,并且不再受到常规传感器垫的限制。
Description
技术领域
本发明涉及集成电路领域,尤其涉及使用低复杂度电容性感测电极设置来提供滑块和其它手势识别。
背景技术
移动设备是普遍存在的。与它们交互的方式和移动设备行为的方式随着时间的推移而演变。移动设备的一个重要技术是它们的感测能力。感测可以经由许多模态发生,例如触觉/压力感测,音频感测,光/视觉感测,温度感测和电容感测。这些模态不仅允许我们以各种不同的方式与移动设备交互,这些模态允许移动设备变得“更智能”,使得移动设备可以更好地理解上下文以及用户与移动设备交互的方式。
一种有趣的方式是电容感测。电容式感测已经与触摸屏一起使用了一段时间,以允许用户通过移动设备的屏幕提供用户输入,而不使用物理按钮。在一些应用中,大表面/皮肤上的电容感测甚至可以用于感测握力或手姿势。在一些其他应用中,可以提供两个电极,一个在移动设备的每一侧上,用于全手识别。在另一些其它应用中,可以邻近天线设置电极,以检测紧邻天线的手指或手的存在。
发明内容
用于感测这种手势的常规用户接口通常需要物理接触传感器垫或填充有传感器垫的区域。用于这些常规传感器垫的传感器垫在紧凑型移动设备上占据宝贵的空间,显着地与移动设备的其他部件干扰,使设计复杂化,消耗功率,并且增加了最终产品的成本。利用放置在移动设备上的两个或更多个小电容感测电极(任意或具有小得多的限制),电容感测可以提供虚拟传感器垫作为用户接口。通过实现检测三种不同条件的算法,虚拟传感器垫可以有效地用作用户界面模态,以检测诸如滑动手势,绘画手势,字母,书写等的手势。所得到的虚拟传感器垫可以灵活地改变到不同的期望位置,并且不再经受传统传感器垫的缺陷。
附图说明
为了提供对本公开及其特征和优点的更完整的理解,参考结合附图进行的以下描述,其中相同的附图标记表示相同的部分,其中:
图1示出根据本公开的一些实施例的具有单个电容感测电极的电容感测系统和当手指接近电极时由系统生成的示例性电容感测响应;
图2示出了机械滑动器;
图3-5示出了传统的传感器垫;
图6示出根据本公开的一些实施例的用于手势识别的改进的电容感测方法;
图7示出根据本公开的一些实施例的由改进的电容感测方法提供的各种使用情况和功能;
图8是示出根据本公开的一些实施例的用于手势识别的示例性方法的流程图;
图9是示出根据本公开的一些实施例的用于第一分类器的示例性方法的流程图;
图10-13示出了根据本公开的一些实施例的第一分类器和第二分类器的操作;
图14是示出根据本公开的一些实施例的用于第二分类器的示例性方法的流程图;
图15是示出根据本公开的一些实施例的用于第三分类器的示例性方法的流程图;
图16示出根据本公开的一些实施例的第三分类器的操作;
图17A-B和18示出根据本公开的一些实施例的用于手势识别的电容感测方法和方法的可能应用;
图19-27示出了根据本公开的一些实施例的示例性虚拟传感器垫;
图28-29示出了根据本公开的一些实施例的示例性姿势;
图30示出根据本公开的一些实施例的用于手势识别的电容感测方法和方法的示例性应用;和
图31示出根据本公开的一些实施例的用于手势识别的示例性电容感测系统。
具体实施方式
电容感测及其在移动设备中的应用
电容感测用于许多不同类型的传感器中,包括用于检测和测量接近,位置或位移,湿度,流体水平和加速度的传感器。作为人机接口装置(HID)技术(例如,提供触摸屏以替代计算机鼠标)的电容式感测已变得越来越流行。HID技术可以基于电容耦合,其采用人体电容作为输入。电容式触摸传感器用于诸如笔记本电脑触摸板,数字音频播放器,计算机显示器/触摸屏,移动电话,移动设备,平板电脑等许多设备中。设计工程师继续选择电容式传感器,用于其多功能性,可靠性和鲁棒性,唯一的人机接口,降低机械开关成本。
电容传感器通常检测任何导电或具有与空气不同的电介质的东西,例如人手或手指的一部分。图1示出根据本公开的一些实施例的具有单个电容性感测电极的电容性感测系统和当手指接近电极时由系统产生的示例性电容性感测响应。当激励信号对电容传感器102(例如,电极)充电时,电容传感器102变为虚拟电容器的两个板中的一个。当物体靠近用作虚拟电容器的第二板的电容传感器时,可以例如通过电容感测控制器104测量基于存在于电容传感器上的电荷的虚拟电容。电容感测控制器404是可以包括模拟前端的电子设备,其被配置为测量虚拟电容并使用电容数字转换器(CDC)106将模拟测量转换为数字数据。一些电容感测控制器可以生成高分辨率电容测量数据,如每个电容传感器的高16位或更高。电容感测控制器104还可以提供用于向电容传感器102提供激励信号的激励源108。通常,电容感测控制器104可以具有可连接到多个电容传感器的多个输入引脚。当对象(例如,手指)朝向电容传感器102移动时,电容传感器102产生上升响应,如示出CDC 106的输出的响应曲线图所示。当对象远离电容传感器102产生下降响应。在许多常规电容性感测应用中,跨越“传感器活动”阈值的CDC输出将触发“接通”状态,使得电容性传感器102能够提供“开或关”功能。
移动设备的电容性感测对于感测移动设备周围的动态环境特别有用。因为电容传感器的电极可以是廉价的,并且这些电极可以是非常紧凑和薄的,这使得电容感测特别适合于其形状因素可以对其内部的电子器件施加约束的移动设备。例如,电容感测可以消除对通常难以在移动设备中提供的机械按钮的需要,其设计约束连续地驱动设备更小,更平滑和/或防水。
在本公开的上下文中的移动设备包括可以由一个或多个用户的一只或多只手持握的电子设备(电子设备可以是完全移动的,并且电子设备可以被拴在其他电子设备上)。移动设备可以包括移动电话,平板电脑,膝上型计算机等。由于具有小形状因素,移动设备通常在使用期间由用户的手或手持握。对于移动设备,用户界面模态可以在其能力方面受到限制,因为物理用户界面通常局限于移动设备的小形状因数。此外,任何用户接口模态(例如,语音命令识别)可受到这些移动设备上的处理能力和功率预算的限制。尽管本公开集中于与具有可以由用户的手容易地握持的形状因素的这些类型的移动设备相关的示例,但是本文所描述的传感器布置也可应用于一般的电子设备。例如,示例性电子设备可以包括方向盘,游戏控制台控制器,家用电器,交互式显示器等。广义上讲,本领域技术人员应当理解,本文公开的传感器布置可以应用于用户预期使用他们的手和/或手指交互。
机械滑块
用户可以与设备交互的许多方式之一是通过机电继电器,其可以将机械部件的运动转换为电信号。机械继电器的示例包括机械按钮,机械开关,机械辊,机械滑动器,机械操纵杆等。图2示出了机械滑动器,正如示例性示例。机械滑动器包括可移动机械部分202,用户可以使用该机械部分向左和向右滑动。可移动机械部分202在轨道204中移动,并且机电电路将可移动机械部分202的移动和/或位置转换为电信号。与许多其它机械继电器一样,机械滑动件在使用期间容易断裂或磨损,并且停止工作。此外,机械滑动器很少防水。此外,机械滑块在电气设备中占据宝贵的空间。机械滑块是固定的,不能移动到不同的位置。
传感器垫
为了移除移动的机械部件,已经使用电容感测来代替机电继电器。通常,具有电容传感器布局的传感器垫用于感测手指在传感器垫上的位置。最普遍的是触摸敏感垫和触敏屏幕,其通常具有布置为检测手指在传感器垫上的触摸和位置的电容传感器网格。其他传感器垫已经被设计为检测特定手势,诸如横向滑动手势或旋转滑动手势。
图3-4示出了用于检测横向滑动手势的常规传感器垫。如图3所示,具有三角形形状的两个电容传感器302,304跨越期望横向滑动手势的区域(由虚线区域306指示)。由传感器产生的响应可以允许传感器垫检测手指在两个电容传感器302,304的跨度内(由虚线区域306指示)从左向右移动(反之亦然)。如图4所示,多个电容式传感器402,404,406,408,410,412彼此靠近地并排布置,以一排排列,以提供传感器垫。多个传感器402,404,406,408,410,412跨越期望横向滑动手势的区域(由虚线区域414指示)。由传感器产生的响应可以允许传感器垫检测手指在多个电容传感器402,404,406,408,410,412的跨度内从左向右移动(反之亦然)(由虚线区域414),并且在多个电容传感器402,404,406,408,410,412(由虚线区域414指示)的跨度内推断手指的原始位置信息。
图5示出了用于检测旋转滑动手势的常规传感器垫。如图5所示,多个传感器502,504,506,508,510,512,514,516跨越期望旋转滑动手势的区域(由虚线区域518指示)。由传感器产生的响应可以允许传感器垫检测在多个传感器502,504,506,508,510,512,514,516的跨度内以圆形运动移动的手指(由虚线区域518指示),并且推导手指以及在多个电容传感器502,504,506,508,510,512,514,516(由虚线区域518指示)的跨度内的原始位置信息。
图3-5所示的电容传感器垫虽然可以制成防水的(例如,隐藏在外壳后面),但传感器垫在设备上占据了宝贵的空间。此外,这些传感器垫被限制到其被设计为感测的特定手势,并且手势必须在电容传感器的范围内进行(即,需要手指在电容传感器的持续时间期间被放置在电容传感器的顶部上)手势用于正确操作)。此外,传感器垫固定在装置上,并且不能移动到不同的位置。
用于手势识别的改进的电容感测
手势允许用户以自然的方式与设备交互,其中用户可以使用对象(例如,笔或指针),手或手指来创建手势。然而,用于检测滑动或图3-5中所示的其它特定手势的传感器垫不太理想。为了解决本文提及的一些问题并且提供额外的技术优点,可以例如在移动设备中实现用于手势识别的电容感测和方法的改进方法。代替使用具有紧密间隔在一起的电容性感测电极作为用户接口的物理传感器垫,电容性感测的改进方法使用小且间隔开的两个或更多个电容性感测电极。例如,电极可以是0.25宽,并且彼此间隔5-10cm。电极在移动设备上的放置可以是任意的,或者由于电极小而可以放置的限制小得多,并且用于手势识别的方法对于电极的不同物理布置是灵活的。
图6示出根据本公开的一些实施例的用于手势识别的改进的电容感测方法。该图示出了两个(左和右)电容传感器电极602和604,其是小的并且彼此间隔开。实线圆线表示相对于左电极602的电场等电位曲线。虚线圆形线表示相对于右电极604的电场等电位曲线。所示的改进的电容感测方法的一个重要区别是,该方法不再需要对象(例如,手指,手)在紧密间隔的电容感测电极的顶部上移动。实际上,这种改进的感测方法利用了当物体不直接位于电容感测电极的顶部上时产生的电容感测电极和电容传感器测量之间的空间,以识别手势。
具体地,可以看出,当对象由箭头606所示向左和向右移动时,左和右电容感测电极产生不同的特性响应(即,电容传感器测量),这允许手势被认可:
·当物体向左移动到左电极(如箭头606所示)时:
左电极602将产生上升响应;和
右电极604将产生下降响应。
·当对象向右移动到右侧电极时(如箭头608所示):
左电极602将产生下降响应;和
右电极604将产生上升响应。
·当物体向左移动远离左电极并远离右电极时(如箭头610所示):
左电极602将产生下降响应;和
右电极604将产生下降和/或环境响应。
·当物体向右移动远离右电极并远离左电极时(如箭头612所示):
左电极602将产生下降和/或环境响应;和
右电极604将产生下降响应。
基于上述特性,两个电容性感测电极可以产生电容性传感器测量,其可以用于检测滑动手势,例如,手指从左到右或手指从右到左。可以通过一个或多个分类器来检查电容传感器测量,所述分类器检查一个或多个情况以确定是否已经做出滑动手势。可以看出,利用这种改进的电容感测方法可以检测在两个电容感测电极之间的空间上从左到右的横向滑动手势。
使用这种改进的电容感测方法,正在进行的手势不再必须在传感器垫的跨度内;相反,可以在可以放置在距离两个或更多个电容感测电极一定距离的虚拟传感器垫内进行手势。唯一的实际限制是进行手势的对象的位置不应该离电极太远,其中电场太弱以至于在进行手势时不能产生预期的特性响应。在一个示例中,虚拟传感器垫被放置在左电极602和右电极604之间。在其他示例中,虚拟传感器垫可以位于不同的地方。因此,改进的方法允许传感器垫被制成虚拟的,使得其可以根据需要重新定位或旋转,或者针对不同的需求容易地改变。所得到的虚拟传感器垫是柔性的,并且不再具有物理传感器垫的物理限制。此外,不需要在表面上的接触(而物理传感器垫通常需要接触),例如,用户可以在空中作业。此外,只要虚拟传感器的位置在电容性感测电极的“范围”内(可在所有方向上),虚拟传感器垫就可以存在。这消除了基于视觉的手势系统的通常要求,其限制了必须在何处进行手势,例如在相机的视场内。在一些应用中,虚拟传感器垫的柔性可以允许虚拟传感器垫适应其位置和/或取向以提供更好的人体工程学和/或用户的方便性。对于更多的电容感测电极,也可以用这种改进的电容感测方法来识别复杂手势(例如,绘制字符,形状或其他合适的手势)。
电容式感测作为用户界面具有多种用例
图7示出根据本公开的一些实施例的由改进的电容感测方法提供的各种使用情况和功能。如图2中的机械滑块所示,具有机电继电器的“传统”类型的用户接口702具有许多缺点,例如它们易于断裂。代替依赖于诸如机械滑块的常规用户接口,可以使用改进的电容感测方法来提供用户接口的类别。
在一个示例中,电容感测可以增强一类“增强”用户接口704中的常规机电继电器。例如,电容感测可以提供存在感测。例如,当电容感测检测到附近物体的存在时,机械滑动器可以打开,解锁,打开照明元件和/或触发机械滑动器的一些其它功能。在一些情况下,电容感测可以提供人为检测(即,确定附近的对象是否是人)以提供安全性和/或上述的任何功能。电容性感测还可以通过提供具有与机电继电器不同位置的虚拟传感器垫来支持常规机械继电器。电容式感测还可以通过在机电继电器失效时提供虚拟传感器垫来提高可靠性。
在另一个示例中,电容感测可以用于代替“HYBRID”用户接口706类别中的机电继电器,例如以通过提供具有电容感测电极的虚拟传感器垫来提高可靠性,同时提供机械移动部分或某种形式的触觉移动部分供用户使用。然而,没有机电继电器。可以仅利用电容性感测电极来检测手势。改善了可靠性,因为没有机电继电器引起的故障点,并且电容性感测不容易磨损。
在另一个示例中,电容感测可以替代或避免“虚拟”用户界面708类别中的常规机电继电器。改进的电容感测方法可以提供用于手势识别的虚拟传感器垫(在许多其他特征和优点中)。虚拟传感器垫可以设置在设备上或者设备外;虚拟传感器垫可以根据需要重新定位。虚拟传感器垫可以在表面上(基于触摸或接触的手势);在一些情况下,虚拟传感器垫不需要在表面上进行手势(无触摸)。根据电容感测电极的物理配置,可以从电容传感器测量识别宽范围的手势。除了手势识别之外,电容感测还可以提供存在检测和/或人检测,以增加安全性,以避免意外/无意识地检测手势等。
手势识别方法
除了实现改进的电容感测方法之外,本文描述的解决方案实现了用于姿势识别的有效方法,其在做出姿势时利用由电容感测电极产生的特性响应。该方法分析由电容传感器电极产生的电容传感器测量,以使用三个主分类器来检测某些特征(例如,与一个或多个手势相关联的特征响应)的存在。三个主分类器可以用于检测特征的存在,并且可以基于分类器的输出(即,指示一个或多个特征的存在)来识别一个或多个手势。一个或多个分类器可以被调谐以检测作为要识别的手势的特征的不同特征。
该方法提供准确和有效的手势识别。在使用移动设备的应用中,精确度和效率尤其重要,因为用户界面模式不应当消耗太多的功率或资源,而当用户做出手势时提供快速,反应和准确的响应。高效和清晰的算法也使得它更容易实现,理解和调试。
图8是示出根据本公开的一些实施例的用于手势识别的示例性方法的流程图。用于使用电容感测的手势识别的方法包括例如通过电容感测控制器接收在一段时间内由两个或更多个电容感测电极进行的电容传感器测量(任务802)。利用图6所示的教导,两个或更多个电容性感测电极可以提供为间隔开的小圆形电极。可以使用其他电极设计。一般来说,电容传感器测量表示对由两个或更多个电容感测电极产生的相应电场的干扰。转换为电容传感器读数的干扰提供了可以识别手势的信息。注意,用于相同运动或手势的干扰可以根据由电极产生的电场而不同。电场也可以根据电容感测电极的物理布置和设计(例如,尺寸,形状,材料等)而不同。可以针对给定应用(例如,基于诸如要识别的手势,设备的物理边界/限制,虚拟传感器垫的期望位置/取向等因素)优化物理布置和设计。
利用电容传感器测量,该方法包括使用三个分类器(任务804),交叉/幅度分类器806,导数分类器808和路径分类器810对姿势进行分类。这三个分类器被特别地提供以解决不同的角点情况(特征响应或特征)的各种手势。这些分类器之间的一致或不一致的正确组合可以指示已经做出了特定手势。
第一分类器,交叉/幅度分类器806,从电容传感器测量确定交叉信息和幅度信息。关于图9描述了第一分类器的细节。第二分类器(衍生分类器808)通过第二分类器从电容传感器测量确定导数信息。关于图14描述第一分类器的细节。第三分类器,路径分类器810,从电容传感器测量确定路径信息。关于图15描述第一分类器的细节。
三个分类器的输出可以被组合并且针对将特定输出映射到组合任务812中的手势的字典来检查。换言之,组合任务812可以基于第一,第二和第三分类器的相应输出来分类手势。该方法还可包括由组合任务810确定第一,第二和第三分类器的输出是否与对应于手势的预期输出匹配,以分类用户是否做出手势。响应于对姿势进行分类,该方法还可以包括触发与(识别的)姿势相对应的用户界面动作。
三个分类器可以一起提供手势的验证,例如滑动手势(或滑动)。应用所有三个不同的分类器以检查不同的特征可以避免不期望的边界情况行为(例如,假阳性,假否定)。三个分类器提供鲁棒的手势识别。不正确的手势识别对用户来说可能是一个很大的麻烦,因此,手势识别算法的稳定性和准确性是重要的优点。此外,一个或多个分类器可以被调谐到不同的场景(手势,虚拟传感器垫的位置/取向),使得其可以在主机的控制下适应。此外,分类器可以校准到当前传感器状态,并且在主机控制下必要时恢复到默认校准。
灵活的位置和方向
为了提供易于配置和适应性的虚拟传感器垫,用于手势识别的方法还可以包括将坐标变换应用于电容传感器测量,其中坐标变换对应于手势的特定参考系。坐标变换可以在它们被传递到三个分类器之前应用于电容传感器测量。例如,该方法可以包括改变或设置坐标变换以相对于两个或更多个电容感测电极的物理位置改变或设置姿势的参考系。
考虑电容传感器测量或其导出作为初始坐标系(即,初始参考系)内的测量矢量。特定的坐标系可以对应于关于电容式传感器电极的物理配置的要进行手势的虚拟传感器垫的特定位置和取向。虽然电容传感器电极的物理配置通常是固定的,但是虚拟传感器垫可以更新到新的位置和/或新的取向,即新的坐标系或新的参考系。为了将虚拟传感器垫改变到新位置和/或新方位,用于手势识别的方法可以进一步包括确定表示初始坐标系中的矢量的分量与矢量的分量之间的关系的矩阵,新坐标系。应用坐标变换可以使用矩阵,因此,应用坐标变换可以改变或设置参考帧。
电容式感测电极的物理布置和设计
如前所述,优选地,电容性感测电极彼此间隔开。此外,优选的是,由于大电极(例如,相对于对象大的电容性感测,例如大于手指的点的大电极/焊盘,或者大于/大于手指的点的大电极/比手宽)当物体放置在大电极的顶部上时可以容易地饱和。饱和电容传感器测量对于手势识别不是非常有用的,因为饱和通常意味着即使当对象移动时,电容传感器测量也不变化很大。当电容性感测电极小且间隔开时,可形成区域或空间(即,虚拟传感器垫),其中与电场相互作用的物体可请求变化的电容性传感器测量(即,增加或逐渐变细的响应)。变化的电容传感器测量对于提供可用于手势识别的丰富信息是重要的。
在许多实施例中,电容性感测电极设置在移动设备上,手将与之进行交互。当移动设备是手持设备时,手可能静态支配移动设备的区域。对于这样的装置,优选的是,电容性感测电极不放置在预期手的区域中(例如,当手握住装置时,手掌下方的移动装置的区域)。否则,用静电支配这样的具有电容感测电极的区域的手可以容易地使电极饱和,使得电极对于手势识别(尤其是如果另一只手正在做手势)非常有用。例如,优选的是,将电容性感测电极放置在用户通常长时间不保持的区域中,或者当用户正在做手势时。
在一些实施例中,电容感测电极可以设置在移动设备的玻璃屏幕之中,之上或之下,在一些情况下,移动设备可以包括触摸屏电路。例如,电极可以沿着玻璃屏幕的边缘放置(例如,在一些情况下,从用户的视线隐藏,但不阻挡显示屏幕)。与改进的电容感测方法一起,可以在没有来自触摸屏电路的帮助(降低由触摸屏电路消耗的功率)的情况下检测手势。改进的电容感测方法和电容感测电极还可以通过辅助手指跟踪和/或手势识别来补充触摸屏电路的功能。在一些情况下,如果玻璃屏幕破裂或电路故障,则改进的电容感测方法和电容感测电极可以替代触摸屏电路的功能。用户仍然能够与移动设备交互。更好的是,当玻璃破碎时,提供虚拟传感器垫的电容感测方法和电容感测电极不需要表面(即,玻璃屏幕),这意味着虚拟传感器垫可以作为用户接口操作,而不需要用户触摸移动设备上的碎玻璃片(提供安全故障模式)。
在一些实施例中,电容性感测电极可以放置在移动设备(包围移动设备的主要电路的内部外壳或壳体)的机箱内,外部机箱(例如,附接到或在机箱上),在后面的一侧或两侧盖(通常为可移除盖),玻璃屏内/玻璃屏,电池附近,可附接到可移除电路(SD卡)等。
虽然可以提供塑料柔性电路来实现电容性感测电极和电极的迹线,但是银涂料还可以提供电容性感测电极和迹线。使用银涂料或其它导电涂料可能是优选的,因为塑料柔性电路可随时间移动和/或由于湿度和/或温度而膨胀。移动和/或膨胀可以影响灵敏的电容传感器测量。
交叉/幅度分类器
第一分类器,交叉/幅度分类器被定制以跟踪通常位于两个传感器之间的某处的交叉点。与手势相关联的某些运动可以触发第一分类器的肯定检测。例如,从一个电容感测电极向另一个电容感测电极移动的滑动手势将触发用于经过两个电极之间的交叉点的正检测。
图9是示出根据本公开的一些实施例的用于第一分类器的示例性方法的流程图。由第一分类器实现的方法包括在一段时间内接收由两个或更多个电容感测电极进行的电容传感器测量(与图8的任务802相关的任务902)。然后,第一分类器确定交叉信息和量值信息(任务903),其包括计算一系列时间点的比率并检测比率中的符号变化,其中符号变化指示交叉点(任务904)。该比率可以表示为:
其中r(t)是时间t=1,2,3,...中的一系列点的比率,a(t)表示来自第一电容感测电极的电容传感器测量值,b(t)表示第二电容性感测电极的电容传感器测量值。给定时间点(r(t=T))的比值包括(1)在给定时间点由两个不同的电容性感测电极进行的两个电容性传感器测量之间的差(a(t=T)-b(t=T))和(2)相同的两个电容传感器测量的和(a(t=T)+b(t=T))。诸如手指相对于两个电容感测电极移动的移动物体,检测手指是否朝向两个电极中的一个移动。比率计算表示是当手指与电极的电场交互时表现良好的光滑表面。比率计算还示出了电容传感器测量中什么正在改变和隐藏共性。
参考图10,其示出了当手指1100围绕两个电容感测电极移动时两个电容感测电极的CDC输出的图:图11-13的左电容感测电极1102和右电容感测电极1104。手指1100进行横向滑动手势(在左和右滑动之间交替),并且在结束时,从虚拟传感器垫移除手指),并且显示由左电容感测电极1102和右电容感测电极1104产生的响应在图10的曲线图中。
图10中标绘为“1”的点对应于图11中所示的摄影图示,其中手指在左侧电容感测电极的左侧。图10中标绘为“2”的点对应于交叉点,这可以在图12所示的照相图中看出,其中手指在左和右电容感测电极之间(中点)。图10中标绘为“3”的点对应于图13中所示的摄影图示,其中手指离开虚拟传感器垫。当手指在虚拟传感器垫上从左向右和从右向左移动时,由左和右电容感测电极产生的响应(即CDC输出)轮流上升和下降。
当手指1100越过左电容感测电极1102和右电容感测电极1104之间的中点时,左右电容感测电极的CDC输出彼此交叉。这触发交叉点的检测(任务904),这可以指示手指正在两个电容感测电极之间进行横向运动,例如朝向/接近两个电容感测电极中的一个。
可以针对一对或多对电容感测电极计算比率,并且用于检测第一分类器中的交叉点的电容感测电极对的选择可以取决于应用。
为了增加交叉检测的鲁棒性,第一分类器可以在交叉点之前和/或之后缓冲(对称)数量的样本,并且根据最小变化增量参数检查a(t)和b(t)值改变幅度(任务906)。在一些实施例中,由第一分类器确定交叉信息和量值信息(任务903)还包括:确定(1)由两个不同的电容感测电极中的第一个在一段时间内进行的电容传感器测量中的第一量值变化在交叉点之前的周期和在交叉点之后的周期,以及(2)在相同周期内由所述两个不同的电容感测电极中的第二个进行的电容传感器测量中的第二量值变化,以及确定所述第一量幅度变化和/或第二量值变化量超过最小delta阈值以符合作为有效交叉点(对应于任务906)。
该附加检查(任务906)确保交叉点的肯定检测不是由短,弱,扭动或无意的手势引起的,并且确保故意滑动手势是触发交叉检测的手势。
此外,附加检查(任务906)还可以包括检查缓冲器中的电容传感器读数以确定滑动手势的方向。例如,保持电容传感器的缓冲器在交叉点之后或者比率的符号变化方向(例如,从正到负,或从负到正)期间进行的时间段期间测量a(t)和b(t)可以被检查以确定手指是否正向右电极(期望上升响应)和远离左电极(期望下降响应)移动,反之亦然。
导数分类器
第二分类器,导数分类器在交叉点检测之前和/或之后的特定时间点检查a(t)和b(t)缓冲器的导数,并且计算导数的平均幅度。如果两个或更多个缓冲器的导数的符号和幅度一致,则第二分类器输出肯定检测。这提供了鲁棒的分类器,其可以拒绝做得太慢的手势,无意做出的手势或噪声。
图14是示出根据本公开的一些实施例的用于第二分类器的示例性方法的流程图。由第二分类器实现的方法包括在一段时间内接收由两个或更多个电容感测电极进行的电容传感器测量(任务1401,与图8的任务802相关)。该方法还包括由第二分类器确定导数信息(任务1403),其包括确定在检测到的交叉点之前和/或之后的时间段内测量的来自两个不同的电容性感测电极中的第一个的第一电容性传感器测量,来自在相同周期内测量的两个不同电容感测电极中的第二电容感测电极的电容传感器测量(任务1402)。该任务允许检查在交叉点之前和/或之后的电容性感测测量的缓冲器。
确定导数信息(任务1403)还包括确定第一电容传感器测量的导数和第二电容传感器测量的导数(任务1404)。导数提供手指移动有多快的指示,使得当电容传感器测量中存在足够量的变化,即手指的足够移动量时,分类器仅输出肯定检测。
在一些情况下,确定派生信息(任务1403)还包括确定第一电容式传感器测量的导数的第一平均值和/或第二电容式传感器测量的导数的第二平均值是否超过最小量值阈值(任务1406)。该任务检查平均变化是否足够高以用于肯定检测。
在一些情况下,确定导数信息(任务1403)还包括确定第一电容传感器测量的导数的符号和第二电容传感器测量的导数的符号是否彼此相反(任务1406)。此任务检查以确保电容传感器测量中的变化的方向是正确的或一致的。例如,当手指朝向左电容性感测电极并且远离右电容性感测电极移动时,第二分类器可以预期来自左电容性感测电极的CDC输出的正导数和来自左电容性感测电极的CDC输出的负导数电容式感应电极。
可以通过找到CDC输出中的样本之间的差异来估计CDC输出的导数。除了所描述的实施例之外,可以应用用于检测电容感测测量中的足够且正确的变化量的其他等效数值方法。
路径分类器
第三分类器,路径分类器,利用路径信息来确定是否已经做出预期姿势。第三分类器可以确定在路径的初始和结束接触点之间的使用路径信息以识别滑动手势。对于给定的手势,存在对行程长度和路径的期望,并且使用该期望,可以相对于期望检查实际的电容传感器测量。如果实际电容性传感器测量与期望匹配,则第三分类器输出肯定检测。期望或手势的模型可以根据手势而不同,因此第三分类器优选地被调谐到感兴趣的手势。
图15是示出根据本公开的一些实施例的用于第三分类器的示例性方法的流程图。由第三分类器实现的方法包括在一段时间内接收由两个或更多个电容感测电极进行的电容传感器测量(任务1502,与图8的任务802相关)。该方法还包括确定路径信息(任务1503)。
在一些实施例中,由第三分类器确定路径信息(任务1503)可以包括基于来自两个或更多个电容感测电极的电容传感器测量来确定手势的初始和结束点(任务1504)。通过第三分类器(任务1503)确定路径信息还可以包括基于初始和结束点确定所行进的路径的估计长度,并且将所估计的行进路径长度与对应于手势的预期行进路径长度进行比较(任务1506)。
在一些实施例中,由第三分类器确定路径信息(任务1503)可以包括基于来自两个或更多个电容感测电极的电容传感器测量来确定手势的初始和结束点(任务1504)。通过第三分类器确定路径信息(任务1503)还可以包括沿着手势的初始点和结束点之间的路径确定中点信息,并将中点信息与对应于手势的预定中点的预期范围进行比较(任务1508)。
在一些实施例中,可以通过找到手指已经暂停或在短时间段内基本上没有移动的驻留点来确定手势的初始和结束点。自然地,手指在做手势之前和之后暂停,因此停留点是手势的初始和结束点的良好指示。
基于初始点和结束点,可以确定对于特定姿势行进的路径的预期长度。例如,两个点之间的横向滑动将具有对应于两个点之间的距离的预期长度。在另一实例中,从一个点开始并在另一个点结束的字母“S”的绘制将具有对应于两个点之间的距离的大约3倍的预期长度。例如,可以使用线积分从电容感测测量导出所行进的路径的实际或估计长度。
基于初始点和结束点,还可以确定期望中点的区域。图16示出了根据本公开的一些实施例的第三分类器的操作。在该示例中,使用三个电容感测电极(示为圆形)。假设要检测的手势是字母“S”的绘制,并且在所行进的路径的大致三分之一处,手势的模型将预期将指示手指在期望范围1602内的电容感测测量(例如,,区域,面积或体积)。因此,第三分类器可以确定沿着路径的一些中点信息(例如,大致为所行进的路径的三分之一处的中点),并且检查沿着路径的中点信息是否在期望范围1602内。沿着不同范围的几个中点可以检查路径以增加鲁棒性。
由于电容性感测测量不直接指示手指的位置,可以将电容性感测测量转换成位置信息(例如,通过使用来自三个或更多个电容式传感器的电容性感测测量来对手指位置进行三角测量),如果手势的模型被实现为位置信息。可以根据电容感测测量来定义手势的模型,并且因此避免将电容感测测量转换成位置信息的需要。
示例性设置
图17A-B和18示出根据本公开的一些实施例的用于手势识别的电容感测方法和方法的可能应用。在这些示例中,如果机械滑块失效,则两个或更多个电容传感器(示为电容感测电极1702和1704)可以补充机械滑块的功能或者替换机械滑块的功能。在图17A-B中,电容感测电极1702和1704可以放置在机械滑块的相对端上。在图18中,电容感测电极1802和1804可以放置在不同的位置(从而改变参考系),但是仍然可以检测在机械滑块上做出的滑动手势。这些示例属于图7的“AUGMENTED”类别704。
图19-27示出了根据本公开的一些实施例的示例性虚拟传感器垫。这些示例可以属于用户界面的“HYBRID”类706或“VIRTUAL”类708(如果虚拟传感器垫关闭或远离设备,则该示例落在“VIRTUAL”类708下)。从示例可以看出,利用相同的两个电容感测电极1902和1904,可以提供各种虚拟传感器垫(示为示例性虚线矩形)。虚拟传感器垫可以在尺寸,位置/位置和取向上不同。在图23中,可以看出,虚拟传感器垫甚至可以远离或远离该装置(该装置或表面由实线矩形指示)而设置。从图24-27还可以看出,不同数量的电容感测电极可以用于提供各种虚拟传感器垫,并且电容感测电极可以具有不同的位置/设计。
图28-29示出了根据本公开的一些实施例的示例性手势。可以看出,可以使用这里描述的方法来识别示例性手势,即字母“S”的绘制。可以在设备(图28)上或在设备外(图29)进行手势。
尽管本公开描述了在二维平面上做出的手势,但是本文所描述的改进的电容感测方法和方法还可以检测在虚拟传感器垫(在这种情况下,虚拟传感器体积)内进行的三维手势。图30示出根据本公开的一些实施例的用于手势识别的电容感测方法和方法的示例性应用。在该示例中,分布在三维体积中的四个电容感测电极可以检测在虚拟传感器垫内做出的三维手势。尽管未示出为单独的图,但是通过本公开可以设想,与图30中所示的示例相比,虚拟传感器垫可以位于不同的位置,具有不同的尺寸和/或具有不同的取向。注意,这是非常难以实现的基于视觉的手势识别机制,其中深度感知很难提供。相比之下,电容感测可以有利地并且容易地在三维体积中提供手势识别。
电容感测系统
图31示出根据本公开的一些实施例的用于手势识别的示例性电容感测系统。电容感测系统1302包括两个或更多个电容感测电极3104,电容感测控制器3106,一个或多个非暂时性计算机可读存储器3110和一个或多个处理器3108。电容感测电极3104电耦合(例如,经由信号迹线)到电容性感测控制器3106(类似于图1的控制器104),其经配置以输出电容性感测测量。电容性感测测量可以存储在存储器3110中。在一些情况下,处理器3108可以被配置为通过执行存储在诸如存储器3110的非暂时性计算机介质上的一个或多个指令来执行本文所描述的手势识别方法。在替代实施例中,处理器3108可以是具有专门为手势识别设计的电路的专用处理器。在一些实施例中,处理器3108可以包括可以执行存储在存储器3110中的指令的处理电路和专门设计用于手势识别的电路。专用电路可以包括可以实现例如一个或多个分类器或一个或多个分类器内的过程(例如,计算比,导数等)的电路。在一些实施例中,处理器3108可以包括一个或多个应用特定组件,或者可以包括被配置为执行本文描述的功能的可编程逻辑门。电路可以在模拟域,数字域或混合信号域中操作。
虚拟滑块作为示例
如上面广泛描述的,用于手势识别的改进的电容感测方法和方法可以提供虚拟滑块。识别的手势包括形成从第一点到第二点的线的滑动运动。滑动运动可以用于提供“滑动”以在移动设备上滚动/挖掘/翻转图标图像或文档,解锁设备,检查项目,通过虚拟空间改变视角等。虚拟滑块可以区分滑动运动的不同方向,或识别具有不同方向的滑动运动。本公开不限于识别幻灯片(或滑动),而是还限于其他手势。
提供关于手势的丰富信息
除了输出指示手势识别的最终输出之外,本文所描述的方法还可以报告单个手指位置,识别的手势的类型,初始(接触)点,结束(接触)点,手势方向,手势长度,分类器,姿势的路径信息,滑块特性的环境变化,姿势的速度,姿势识别的置信水平等。
示例性手势识别平台
平台(或管线)可以实现到电容感测系统,以允许识别各种手势。平台允许基于对应于不同手势的参数约束和规则的集合来识别各种手势。参数约束和规则的集合可以由用户界面设计者指定。可以动态修改平台以检测不同的姿势,因为参数约束和规则可以根据需要或期望而动态地更新。多个集合可以通过另一个规则连接以检测序列中的多个手势。
特征提取可以对输入传感器数据应用变换或者处理输入传感器数据以提取一个或多个特征。特征提取对传入的传感器数据应用变换以揭示数据行为的特定方面。一些示例是样本数据的向量,导数数据的向量,瞬时量值,瞬时量值的比率的方向和幅度的比较,或任何其他变换,其呈现对用户的行为,设备的行为的洞察,和/环境行为。特征提取可以同时用于跟踪影响传感器输出的环境,机械或任何其他寄生变化。特征提取可以包括确定交叉信息,量值信息,导数信息和路径信息。
平台可以将参数约束和/或规则应用于特征以实现分类,即,从数据中识别手势。参数约束和规则可以用作将特定输出映射到手势的字典。参数约束可以应用于特征提取和/或特征选择。例如,参数约束可以影响以下一个或多个:如何提取特征以及提取哪些特征。规则可以应用于用于分类的特征,包括检查是否存在某些特征或者某些特征是否满足特定标准。在一些实施例中,规则可以被参数化,使得特征所要满足的标准可以变化或改变以分类不同的手势。
对于滑块手势,示例性参数约束可包括以下中的一个或多个:质心信息(定义滑块的中心或预定义区域),有效半径信息(定义滑块的长度或长度的范围角度信息(控制滑块的旋转或旋转范围),初始触摸信息(可以是任何给定的初始触摸点或预定义区域),最终触摸信息(可以是任何给定的最终触摸点或预定义区域),以及速度信息(可以是任何给定的速度或预定义的速度,或预定的速度范围)。示例性规则可能需要存在以下特征中的一个或多个,或者满足特定标准:点,初始触摸,最终触摸和速度。一般来说,由规则指定的这些特征可以属于以下一个或多个:交叉信息,量值信息,导数信息和路径信息。
变化和实现
注意,上面参考附图讨论的活动可应用于涉及使用电容感测的手势识别的任何集成电路。改进的电容感测方法和方法可以适用于期望手势识别用户界面的任何电气设备。这些电气设备可以在许多不同的环境中找到,例如消费电子(移动设备,电器,游戏系统,计算机,增强现实,虚拟现实),医疗系统,科学仪器,工业系统,航空航天系统,系统等在一个示例实施例中,图中的任何数量的电路可以在相关联的电子设备的板上实现。板可以是能够保持电子设备的内部电子系统的各种部件并且还提供用于其他外围设备的连接器的通用电路板。更具体地,板可以提供电连接,系统的其他部件可以通过该电连接电通信。基于特定配置需求,处理需求,计算机设计等,任何合适的处理器(包括数字信号处理器,微处理器,支持芯片组等),计算机可读非暂时性存储器元件等可以适当地耦合到板。诸如外部存储器,附加传感器,用于音频/视频显示的控制器以及外围设备的其它组件可以作为插入卡,经由电缆附接到板或者集成到板本身中。在各种实施例中,本文描述的功能可以仿真形式被实现为在布置在支持这些功能的结构中的一个或多个可配置(例如,可编程)元件内运行的软件或固件。提供仿真的软件或固件可以在包括允许处理器执行那些功能的指令的非暂时性计算机可读存储介质上提供。
在另一示例实施例中,附图的电路可以被实现为独立模块(例如,具有被配置为执行特定应用或功能的相关组件和电路的设备)或实现为应用中的插件模块电子设备的特定硬件。注意,本公开的特定实施例可以部分地或整体地容易地包括在片上系统(SOC)封装中。SOC表示将计算机或其他电子系统的组件集成到单个芯片中的IC。它可以包含数字,模拟,混合信号和通常的射频功能:所有这些可以提供在单个芯片衬底上。其他实施例可以包括多芯片模块(MCM),其具有位于单个电子封装内的多个分离的IC,并且被配置为通过电子封装彼此紧密地相互作用。在各种其他实施例中,手势识别功能可以在专用集成电路(ASIC),现场可编程门阵列(FPGA)和其他半导体芯片中的一个或多个硅核中实现。
还必须注意,仅仅出于示例和教导的目的,提供了本文概述的所有规范,尺寸和关系(例如,处理器的数量,逻辑操作等)。在不脱离本公开的精神或所附权利要求的范围的情况下,可以相当大地改变这样的信息。该规范仅适用于一个非限制性示例,因此,它们应当被这样解释。在前面的描述中,已经参考特定的处理器和/或组件布置描述了示例实施例。在不脱离所附权利要求的范围的情况下,可对这些实施例进行各种修改和改变。因此,描述和附图被认为是示例性的而不是限制性的。
注意,利用本文提供的许多示例,可以根据两个,三个,四个或更多个电子部件来描述交互。然而,这仅仅是为了清楚和示例的目的。应当理解,系统可以以任何合适的方式合并。沿着类似的设计替代方案,附图的任何所示的部件,模块和元件可以以各种可能的配置组合,所有这些都明显在本说明书的广泛范围内。在某些情况下,可以通过仅参考有限数量的电气元件来更容易地描述给定的一组流的一个或多个功能。应当理解,图中的电路及其教导是容易扩展的,并且可以容纳大量部件以及更复杂/复杂的布置和配置。因此,所提供的示例不应限制可能应用于无数其它架构的电路的范围或抑制电路的广泛教导。
注意,在本说明书中,包括在“一个实施例”,“示例性实施例”,“实施例”,“另一实施例”,“一些实施例”,“各种实施例”,“其它实施例”,“替代实施例”等中的各种特征(例如,元件,结构,模块,组件,步骤,操作,特性等)旨在表示任何这样的特征包括在本公开的一个或多个实施例中,或者可以不必在相同的实施例中组合。
还重要的是注意,与姿势识别相关的功能仅示出可以由图中示出的系统(例如图31)执行或在其内执行的一些可能的功能。这些操作中的一些可以是删除或移除,或者在不脱离本公开的范围的情况下可以相当大地修改或改变这些操作。此外,这些操作的定时可以显着改变。前面的操作流程已经被提供用于示例和讨论的目的。由在此描述的实施例提供了基本的灵活性,因为在不脱离本公开的教导的情况下可以提供任何合适的布置,时间顺序,配置和定时机制。
本领域技术人员可确定许多其它改变,取代,变化,改变和修改,并且意图是本公开包括所有这样的改变,替代,变化,改变和修改,。注意,上述装置的所有可选特征也可以相对于本文描述的方法或过程实现,并且示例中的细节可以在一个或多个实施例中的任何地方使用。
Claims (20)
1.一种用于使用电容感测的手势识别的方法,所述方法包括:
在一段时间内接收由两个或多个电容感测电极进行的电容传感器测量,所述电容传感器测量表示对由所述两个或更多个电容感测电极生成的相应电场的干扰;
由第一分类器确定来自所述电容传感器测量的交叉信息和量值信息;
由第二分类器确定来自所述电容传感器测量的导数信息;
由第三分类器从所述电容传感器测量确定路径信息;和
基于所述第一,第二和第三分类器的相应输出对姿势进行分类。
2.根据权利要求1所述的方法,其中,所述手势包括形成从第一点到第二点的线的滑动运动。
3.根据权利要求1所述的方法,还包括:将坐标变换应用于所述电容传感器测量,其中所述坐标变换对应于所述姿势的特定参考系。
4.根据权利要求3所述的方法,还包括:改变或设置坐标变换以相对于两个或更多个电容感测电极的物理位置改变或设置姿势的参考系。
5.根据权利要求1所述的方法,其中由所述第一分类器确定交叉信息和幅度信息包括:
计算一系列时间点的比率,其中给定时间点的所述比率的值包括(1)在给定时间点由两个不同的电容性感测电极进行的两个电容式传感器测量之间的差异的比率和(2)相同的两个电容传感器测量的和;
检测所述比率中的符号变化,其中所述符号变化指示交叉点。
6.根据权利要求5所述的方法,其中由所述第一分类器确定交叉信息和幅度信息还包括:
确定(1)在交叉点之前的周期和交叉点之前的周期之间由所述两个不同的电容感测电极中的第一个进行的电容传感器测量中的第一量值变化,以及(2)第二量值由所述两个不同的电容感测电极中的第二电容感测电极在相同周期内进行的电容传感器测量的变化;和
确定所述第一量值变化量和/或所述第二量值变化量是否超过最小增量阈值以符合有效交叉点。
7.根据权利要求1所述的方法,其中由所述第二分类器确定派生信息包括:
从在所检测的交叉点之前和/或之后的时间段内测量的两个不同的电容性感测电极中的第一个确定第一电容性传感器测量;
从在相同周期内测量的两个不同电容性感测电极中的第二个确定第二电容性传感器测量;
确定所述第一电容传感器测量的导数和所述第二电容传感器测量的导数。
8.根据权利要求7所述的方法,其中由所述第二分类器确定派生信息还包括:
确定所述第一电容性传感器测量值的导数的第一平均值和/或所述第二电容性传感器测量值的导数的第二平均值是否超过最小量值阈值。
9.根据权利要求7所述的方法,其中由所述第二分类器确定派生信息还包括:
确定第一电容传感器测量的导数的符号和第二电容传感器测量的导数的符号是否彼此相反。
10.根据权利要求1所述的方法,其中由第三分类器确定路径信息包括:
基于来自所述两个或更多个电容感测电极的所述电容传感器测量来确定所述手势的初始点和结束点;
基于所述初始点和结束点确定所行进的路径的估计长度;和
将所估计的行进路径长度与对应于所述手势的行进路径的预期长度进行比较。
11.根据权利要求1所述的方法,其中由第三分类器确定路径信息包括:
基于来自所述两个或更多个电容感测电极的所述电容传感器测量来确定所述手势的初始点和结束点;
确定沿着所述姿势的初始点和结束点之间的路径的中点信息;和
将所述中点信息与对应于所述手势的预定中点的预期范围进行比较。
12.根据权利要求1所述的方法,还包括:
确定所述第一,第二和第三分类器的输出是否与对应于所述手势的期望输出匹配,以分类所述手势是否由用户作出。
13.根据权利要求1所述的方法,还包括:响应于对所述手势进行分类,触发与所述手势相对应的用户界面动作。
14.一种用于使用电容感测的手势识别的装置,所述装置包括:
两个或更多个电容性感测电极,用于产生各自的电场;
一个或多个处理器,被配置为:
在一段时间内接收由两个或更多个电容感测电极进行的电容传感器测量,所述电容传感器测量表示对由所述两个或更多个电容感测电极生成的相应电场的干扰;
由第一分类器确定来自所述电容传感器测量的交叉信息和量值信息;
由第二分类器确定来自所述电容传感器测量的导数信息;
由第三分类器从所述电容传感器测量确定路径信息;和
基于所述第一,第二和第三分类器的相应输出对姿势进行分类。
15.根据权利要求14所述的装置,还包括机械滑动器,其中,如果所述机械滑动器失效,则提供所述两个或更多个电容式传感器以补充所述机械滑动器的功能或者替换所述机械滑动器的功能。
16.一种或多种包括用于手势识别的一个或多个指令的计算机可读非暂态介质,当在处理器上执行所述一个或多个计算机可读非暂态介质时,配置所述处理器以执行一个或多个操作,包括:
在一段时间内接收由两个或更多个电容感测电极进行的电容传感器测量,所述电容传感器测量表示对由所述两个或更多个电容感测电极生成的相应电场的干扰;
由第一分类器确定来自所述电容传感器测量的交叉信息和量值信息;
由第二分类器确定来自所述电容传感器测量的导数信息;
由第三分类器从所述电容传感器测量确定路径信息;和
基于所述第一,第二和第三分类器的相应输出对姿势进行分类。
17.根据权利要求16所述的介质,其中由所述第一分类器确定交叉信息和幅度信息包括:
计算一系列时间点的比率,其中给定时间点的所述比率的值包括(1)在给定时间点由两个不同的电容性感测电极进行的两个电容式传感器测量之间的差异的比率和(2)相同的两个电容传感器测量的和;
检测所述比率中的符号变化,其中所述符号变化指示交叉点。
18.根据权利要求16所述的介质,其中由所述第二分类器确定派生信息包括:
从在所检测的交叉点之前和/或之后的时间段内测量的两个不同的电容性感测电极中的第一个确定第一电容性传感器测量;
从在相同周期内测量的两个不同电容性感测电极中的第二个确定第二电容性传感器测量;
确定所述第一电容传感器测量的导数和所述第二电容传感器测量的导数;和
确定所述第一电容性传感器测量值的导数的第一平均值和/或所述第二电容性传感器测量值的导数的第二平均值是否超过最小量值阈值。
19.根据权利要求16所述的介质,其中由第三分类器确定路径信息包括:
基于来自所述两个或更多个电容感测电极的所述电容传感器测量来确定所述手势的初始点和结束点;
基于所述初始点和结束点确定所行进的路径的估计长度;和
将所估计的行进路径长度与对应于所述手势的行进路径的预期长度进行比较。
20.根据权利要求16所述的介质,其中由第三分类器确定路径信息包括:
基于来自所述两个或更多个电容感测电极的所述电容传感器测量来确定所述手势的初始点和结束点;
确定沿着所述姿势的初始点和结束点之间的路径的中点信息;和
将所述中点信息与对应于所述手势的预定中点的预期范围进行比较。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/936,360 US10359929B2 (en) | 2015-11-09 | 2015-11-09 | Slider and gesture recognition using capacitive sensing |
US14/936,360 | 2015-11-09 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106681575A true CN106681575A (zh) | 2017-05-17 |
CN106681575B CN106681575B (zh) | 2019-11-26 |
Family
ID=58667689
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610981442.8A Active CN106681575B (zh) | 2015-11-09 | 2016-11-09 | 使用电容感测的滑块和手势识别 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10359929B2 (zh) |
CN (1) | CN106681575B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107844214A (zh) * | 2017-09-26 | 2018-03-27 | 青岛海高设计制造有限公司 | 具有操作控件的触控显示屏和电子设备 |
CN112203889A (zh) * | 2018-05-31 | 2021-01-08 | Iee国际电子工程股份公司 | 用于车辆的控制系统 |
CN112955832A (zh) * | 2018-10-25 | 2021-06-11 | 西门子股份公司 | 用于自动化系统的模拟过程中计算机实现的确定传感器位置的方法 |
CN114647362A (zh) * | 2022-03-22 | 2022-06-21 | 天马微电子股份有限公司 | 显示面板的触控算法 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10514768B2 (en) * | 2016-03-15 | 2019-12-24 | Fisher-Rosemount Systems, Inc. | Gestures and touch in operator interface |
US11057238B2 (en) | 2018-01-08 | 2021-07-06 | Brilliant Home Technology, Inc. | Automatic scene creation using home device control |
US11488361B1 (en) | 2019-02-15 | 2022-11-01 | Meta Platforms Technologies, Llc | Systems and methods for calibrating wearables based on impedance levels of users' skin surfaces |
US11755136B2 (en) * | 2020-01-05 | 2023-09-12 | Brilliant Home Technology, Inc. | Touch-based control device for scene invocation |
CN112966662A (zh) * | 2021-03-31 | 2021-06-15 | 安徽大学 | 一种近程电容式动态手势识别系统及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102246125A (zh) * | 2008-10-15 | 2011-11-16 | 因文森斯公司 | 具有运动姿态识别的移动设备 |
CN104662491A (zh) * | 2012-08-16 | 2015-05-27 | 微晶片科技德国第二公司 | 用于传感器系统的自动手势辨认 |
US20150248166A1 (en) * | 2014-01-26 | 2015-09-03 | Shangkar Meitei Mayanglambam | System for spontaneous recognition of continuous gesture input |
CN104937438A (zh) * | 2013-01-25 | 2015-09-23 | 夏普株式会社 | 光传感器和电子设备 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3732369A (en) * | 1971-04-05 | 1973-05-08 | Welland Investment Trust | Coordinate digitizer system |
US8479122B2 (en) | 2004-07-30 | 2013-07-02 | Apple Inc. | Gestures for touch sensitive input devices |
US7098896B2 (en) * | 2003-01-16 | 2006-08-29 | Forword Input Inc. | System and method for continuous stroke word-based text input |
US7719523B2 (en) * | 2004-08-06 | 2010-05-18 | Touchtable, Inc. | Bounding box gesture recognition on a touch detecting interactive display |
US8169421B2 (en) | 2006-06-19 | 2012-05-01 | Cypress Semiconductor Corporation | Apparatus and method for detecting a touch-sensor pad gesture |
US20090008161A1 (en) | 2007-07-04 | 2009-01-08 | Jones Christopher W | Capacitive sensor array and gesture recognition |
US9654104B2 (en) | 2007-07-17 | 2017-05-16 | Apple Inc. | Resistive force sensor with capacitive discrimination |
US8907897B2 (en) | 2009-06-16 | 2014-12-09 | Intel Corporation | Optical capacitive thumb control with pressure sensor |
EP2467772B1 (en) | 2009-08-21 | 2019-02-20 | Apple Inc. | Methods and apparatus for capacitive sensing |
FI20095880A0 (fi) | 2009-08-26 | 2009-08-26 | Valtion Teknillinen | Menetelmä sensorin valmistamiseksi ja sensori |
JP5882232B2 (ja) * | 2010-02-10 | 2016-03-09 | マイクロチップ テクノロジー ジャーマニー ゲーエムベーハー | 手動入力動作と相関する信号の発生のためのシステムおよび方法 |
US9710154B2 (en) * | 2010-09-03 | 2017-07-18 | Microsoft Technology Licensing, Llc | Dynamic gesture parameters |
US9524041B2 (en) * | 2010-12-22 | 2016-12-20 | Intel Corporation | Touch sensor gesture recognition for operation of mobile devices |
ES2409707T3 (es) | 2011-02-16 | 2013-06-27 | Linde Ag | Procedimiento de preparación de una composición catalítica para oligomerización de etileno y unidad de preformación de composición de catalizador respectiva |
US20130018489A1 (en) | 2011-07-14 | 2013-01-17 | Grunthaner Martin Paul | Combined force and proximity sensing |
US20150233998A1 (en) * | 2011-09-15 | 2015-08-20 | University Of Washington Through Its Center For Commercialization | Systems and methods for sensing environmental changes using emi signal sources as sensors |
US20130106704A1 (en) * | 2011-10-26 | 2013-05-02 | Yael Vidal | Laptop computer |
US8878438B2 (en) | 2011-11-04 | 2014-11-04 | Ford Global Technologies, Llc | Lamp and proximity switch assembly and method |
US8941619B2 (en) * | 2011-11-18 | 2015-01-27 | Au Optronics Corporation | Apparatus and method for controlling information display |
US20140267152A1 (en) | 2013-03-12 | 2014-09-18 | Mircrochip Technology Incorporated | Force Sensing X-Y Touch Sensor |
US9164622B2 (en) * | 2012-10-09 | 2015-10-20 | Facebook, Inc. | Denoising touch gesture input |
US9665204B2 (en) * | 2013-10-04 | 2017-05-30 | Microchip Technology Incorporated | Continuous circle gesture detection for a sensor system |
CN104346067B (zh) * | 2013-11-15 | 2019-02-05 | 上海触乐信息科技有限公司 | 连续滑动输入单词的方法和系统 |
US20150149801A1 (en) * | 2013-11-26 | 2015-05-28 | Synaptics Incorporated | Complex wakeup gesture framework |
EP3207545B1 (en) * | 2014-10-14 | 2021-09-01 | Sun Chemical Corporation | Thermoformable conductive inks and coatings and a process for fabrication of a thermoformed device |
US10394332B2 (en) * | 2016-04-07 | 2019-08-27 | Microchip Technology Germany Gmbh | Sensor design for enhanced touch and gesture decoding |
-
2015
- 2015-11-09 US US14/936,360 patent/US10359929B2/en active Active
-
2016
- 2016-11-09 CN CN201610981442.8A patent/CN106681575B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102246125A (zh) * | 2008-10-15 | 2011-11-16 | 因文森斯公司 | 具有运动姿态识别的移动设备 |
CN104662491A (zh) * | 2012-08-16 | 2015-05-27 | 微晶片科技德国第二公司 | 用于传感器系统的自动手势辨认 |
CN104937438A (zh) * | 2013-01-25 | 2015-09-23 | 夏普株式会社 | 光传感器和电子设备 |
US20150248166A1 (en) * | 2014-01-26 | 2015-09-03 | Shangkar Meitei Mayanglambam | System for spontaneous recognition of continuous gesture input |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107844214A (zh) * | 2017-09-26 | 2018-03-27 | 青岛海高设计制造有限公司 | 具有操作控件的触控显示屏和电子设备 |
CN112203889A (zh) * | 2018-05-31 | 2021-01-08 | Iee国际电子工程股份公司 | 用于车辆的控制系统 |
CN112955832A (zh) * | 2018-10-25 | 2021-06-11 | 西门子股份公司 | 用于自动化系统的模拟过程中计算机实现的确定传感器位置的方法 |
CN112955832B (zh) * | 2018-10-25 | 2022-04-08 | 西门子股份公司 | 用于自动化系统的模拟过程中计算机实现的确定传感器位置的方法 |
CN114647362A (zh) * | 2022-03-22 | 2022-06-21 | 天马微电子股份有限公司 | 显示面板的触控算法 |
CN114647362B (zh) * | 2022-03-22 | 2024-04-12 | 天马微电子股份有限公司 | 显示面板的触控算法 |
Also Published As
Publication number | Publication date |
---|---|
CN106681575B (zh) | 2019-11-26 |
US20170131891A1 (en) | 2017-05-11 |
US10359929B2 (en) | 2019-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106681575B (zh) | 使用电容感测的滑块和手势识别 | |
US8830189B2 (en) | Device and method for monitoring the object's behavior | |
CN107682520A (zh) | 用于变形效果和触觉效果的系统和方法 | |
JP6144431B2 (ja) | 識別力のある静電容量方式のタッチパネル | |
CN104216581B (zh) | 具有用于检测对象的双模电容式感测的触控面板传感器 | |
CN104133576B (zh) | 触摸输入系统及使用该系统的触摸检测方法 | |
EP2717120B1 (en) | Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications | |
CN103270423B (zh) | 用于使用所估计刚性运动响应来确定物体信息的系统和方法 | |
CN105302293B (zh) | 用于握持感测和手指跟踪的电容式传感器 | |
CN105683886B (zh) | 用于在触摸应用中以抗高噪声性计算坐标的方法和装置 | |
CN103440049B (zh) | 一种输入装置及输入方法 | |
CN105556434B (zh) | 用于传感器系统的连续圆形姿势检测 | |
CN105308467B (zh) | 近距离感测 | |
CN108646937A (zh) | 用于确定触摸输入刺激的装置 | |
JP6517932B2 (ja) | ヒューマンインターフェースデバイスおよび方法 | |
CN107817925B (zh) | 电容式触摸板基线值调整方法 | |
CN106415288A (zh) | 驱动传感器电极以用于绝对电容性感测 | |
US20210089133A1 (en) | Gesture detection system | |
CN101615090B (zh) | 触摸信号检测方法及装置 | |
US9360961B2 (en) | Methods and apparatus to associate a detected presence of a conductive object | |
WO2016022160A1 (en) | Multi-touch gesture recognition using multiple single-touch touch pads | |
TWM573860U (zh) | 一種指紋識別、觸控及顯示一體化之柔性顯示裝置 | |
CN109669565B (zh) | 用于缓慢触摸移动的触摸运动跟踪和报告技术 | |
Lee et al. | The 3d sensor table for bare hand tracking and posture recognition | |
KR20090080356A (ko) | 정전용량 방식과 저항막 방식의 터치입력이 가능한 복합형터치스크린 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |