CN105452997B - 基于隐式马尔可夫模型的手势辨识的方法 - Google Patents

基于隐式马尔可夫模型的手势辨识的方法 Download PDF

Info

Publication number
CN105452997B
CN105452997B CN201480044542.7A CN201480044542A CN105452997B CN 105452997 B CN105452997 B CN 105452997B CN 201480044542 A CN201480044542 A CN 201480044542A CN 105452997 B CN105452997 B CN 105452997B
Authority
CN
China
Prior art keywords
state
sensing system
spl
gesture
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480044542.7A
Other languages
English (en)
Other versions
CN105452997A (zh
Inventor
阿克塞尔·海姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microchip Technology Inc
Original Assignee
Microchip Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microchip Technology Inc filed Critical Microchip Technology Inc
Publication of CN105452997A publication Critical patent/CN105452997A/zh
Application granted granted Critical
Publication of CN105452997B publication Critical patent/CN105452997B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/045—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using resistive elements, e.g. a single continuous surface or two parallel surfaces put in contact
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means

Abstract

本发明涉及一种用于传感器系统的基于状态追踪的手势辨识引擎的方法，其具有以下步骤：界定有限状态机的多个循序状态；确定每一状态的序列进程级SPL；运行时将状态概率分布映射到(单一)SPL；以及将经映射SPL估计用作所述传感器系统的输出值。

Description

基于隐式马尔可夫模型的手势辨识的方法
相关申请案的交叉参考
本申请案主张2013年7月19日申请的第61/856,531号美国临时申请案的权利，所述临时申请案的全文以引用的方式并入本文中。
技术领域
本发明涉及一种用于人机接口的方法及装置，尤其涉及在用于传感器系统的基于HMM的手势辨识引擎中进行状态追踪。
背景技术
进行多级控制(例如，消费类电子产品中的音量控制或屏幕/光亮度控制)的已知系统通常使用环状触摸板或电容式线性滑杆(通常安装于笔记型计算机中的键盘上)，或当手指在通用笔记型计算机触摸板的右边框上的专用滑动区域中移动时，所述系统使用来自所述触摸板的触摸信息。
这些传感器提供关于指尖的绝对位置信息，且因此提供指尖在环状触摸板上所成的角或在滑杆上所处的位置——可以直截了当的方式直接或区别地映射到控制级的信息。
尤其是对于触摸式转盘，重要的是指尖及触摸式转盘的几何中心与所述转盘上的参考点成某角，且可对此角进行评估。
当涉及辨识无固定几何中心位置的环状手势时，确定环状移动中所成的角不再直截了当。对于例如通用非环状触摸板结合2D/3D自由悬浮手势使用近场电容式传感器系统或中场/远场传感器系统，如视频系统或红外摄像机系统，情况便是如此。
考虑可为顺时针或逆时针的环状移动，且我们不将其限于具有固定开始或停止位置。在环状移动期间的每一时间点，为了实时应用，我们可仅评估直到呈现时所获取的数据，即，仅部分手势型式。在未知所绘环中心的情况下，开始移动时检测单元无法断定所述环的方向：举例来说，左右移动出现于顺时针环的顶部但也出现于逆时针环的底部。
发明内容
根据实施例，一种用于传感器系统的基于状态追踪的手势辨识引擎的方法包括以下步骤：界定有限状态机的多个循序状态；确定每一状态的序列进程级(SPL)；运行时将状态概率分布映射到(单一)SPL；及将经映射SPL估计用作所述传感器系统的输出值。
根据另一实施例，最后状态可随后是多个循序状态中的第一状态。根据另一实施例，传感器系统可为三维(3D)感测系统。根据另一实施例，3D传感器系统可为近场电容式传感器系统或中场/远场传感器系统。根据另一实施例，中场/远场传感器系统可使用视频系统或红外摄像机系统。根据另一实施例，近场电容式传感器系统可为基于准静态电场测量的电容式非触摸3D传感器系统。根据另一实施例，传感器系统可为二维(2D)感测系统、电容式或电阻式触摸系统或触摸屏系统。根据另一实施例，传感器系统可为一维(1D)感测系统。根据另一实施例，多个状态可为环状手势的状态。根据另一实施例，有限状态机可为一阶马尔可夫(Markov)模型。根据另一实施例，可使用前向鲍姆-韦尔奇(Baum-Welch)算法计算最可能状态。根据另一实施例，可使用维特比(Viterbi)算法计算最可能状态及/或最可能状态序列。根据另一实施例，所述方法使用N态隐式马尔可夫模型(HMM)，其包括状态转变概率矩阵。根据另一实施例，状态转变概率矩阵在每一行中可包括最大概率值。根据另一实施例，每一行的所有概率可合计达100％。根据另一实施例，HMM可进一步使用指示预界定移动方向的概率的观测矩阵。根据另一实施例，观测矩阵在每一行中可包括最大概率值。根据另一实施例，每一行的所有概率可合计达100％。根据另一实施例，对于每一离散时间实例，由传感器系统提供的数据可转发到有限状态机，所述有限状态机计算N态HMM的状态概率分布。根据另一实施例，对于每一离散时间实例，可选择具有最大概率的状态且输出与所述状态相关联的SPL。根据另一实施例，对于每一时间实例，可根据状态概率分布计算并输出SPL。根据另一实施例，所述方法可区别顺时针环状手势、逆时针环状手势或非移动手势。根据另一实施例，最大似然规则可经应用以计算最可能状态。根据另一实施例，对于多个循序输出值，可在循序输出值的后处理期间应用平滑算法。
根据另一实施例，一种用于手势辨识的方法可包括如上文描述的方法，且进一步包括基于型式的手势辨识模式，其中当满足预界定条件时，所述方法在基于型式的手势辨识模式与由基于状态追踪的手势辨识引擎提供的基于状态追踪的手势辨识模式之间切换。
根据此方法的另一实施例，基于状态追踪的手势辨识模式可使用N态隐式马尔可夫模型(HMM)，其包括概率矩阵。根据此方法的另一实施例，每一状态可被指派给观测概率分布。根据此方法的另一实施例，在基于状态追踪的手势辨识模式期间，对于每一离散时间实例，由传感器系统提供的数据可经预处理并转发到有限状态机，所述有限状态机计算N态HMM的每一状态的状态概率分布。根据此方法的另一实施例，对于每一离散时间实例，可选择具有最大概率的状态并输出与所述状态相关联的SPL。根据此方法的另一实施例，对于每一时间实例，可根据所述状态概率分布计算并输出SPL。根据此方法的另一实施例，基于状态追踪的手势辨识模式可区别顺时针环状手势、逆时针环状手势或非移动手势。根据此方法的另一实施例，如果满足非移动手势的预界定时间阈值，那么所述方法可切换回到基于型式的手势辨识模式。根据此方法的另一实施例，最大似然规则可经应用以计算最可能状态。根据此方法的另一实施例，对于多个循序输出值，可在循序输出值的后处理期间应用平滑算法。根据此方法的另一实施例，输出值可用来控制所述装置的功能。根据此方法的另一实施例，所述功能可为增大或减小音量级，控制调光器，或控制滚动功能。
附图说明
图1展示根据实施例的2D手势辨识系统；
图2展示根据实施例的3D手势辨识系统；
图3展示使用多个接收电极的基于交变近电场评估的手势检测系统的示范性实施例；
图4展示相对于物体的距离的接收传感器的典型输出信号；
图5展示可由根据图1到3的系统检测的多个手势；
图6展示相对于根据图3的系统的传感器电极的逆时针环状手势；
图7展示其也出现于根据图6的手势的移动中时的方向向量的集合；
图8到10展示各种状态图；
图11及12展示由根据各种实施例的方法所产生的多个输出值；
图13展示具有条形图水平计的示范性应用，所述水平计的水平在检测环状手势时区别地更新。
具体实施方式
因此，所提议解决方案的部分是识别观测到的手势(或型式)。在所提议方法中，此为由使用概率度量比较其它可能手势集合(其可包含代表随机移动的无用手势)完成。一旦识别最可能手势(例如在绘制一半环之后)就追踪手势的进程。(此进程追踪也可刚好在开始做手势(检测到手势)时开始。同样地，也可出于不同目的，同时追踪不太可能手势的进程。)
根据各种实施例，可提供一种方法以：a)先验界定或确定有限状态机的每一状态的序列进程级(SPL)；b)运行时将状态概率分布映射到(单一)SPL；及c)利用此SPL估计作为信息源(使用案例)。
运用所提议方法追踪手势进程，甚至无需固定参考位置。我们的方法适用于(但不限于)所有前述传感器系统且将在下文实例中进一步解释。
图1展示例如典型二维(2D)检测系统100。2D传感器120可为例如与2D接口110耦合的电容式或电阻式轨迹板或触摸屏检测器，所述2D接口110经配置以对由传感器120提供的原始信息进行解码并产生相应数据及/或命令，以提供到与2D接口110耦合的数据处理系统130。
图2展示示范性三维检测系统200。此系统可使用具有多个电极的准静态电场检测系统210，所述电极与3D评估电路220(例如由申请人制造的集成电路装置MGC3130)耦合，3D评估电路220可与数据处理系统130耦合。图3展示可用于此系统的示范性电极布置，其包括布置于印刷电路板(PCB)305上的多个接收电极310到340。PCB也提供通常布置于PCB的下部层上(例如PCB 305的底侧上)的发射电极以产生准静态电场。此系统可例如通过使用馈送到所述发射电极的100kHz交变信号(例如，矩形脉冲列)产生电场，其在接收电极310到340上方的区域空间中延伸。检测空间内所做的非触摸手势引起场干扰，其可由布置于发射电极周围及/或其上方的接收电极310到340检测或通过测量发射电极的负载来检测。此电路板可同时包含评估芯片350且提供例如USB接口360用于数据处理系统。进入电场的物体干扰所述电场，其中在各种电极310到340处的信号不同程度地衰减，此尤其取决于距物体的距离。因此，由电极310到340提供的原始数据的处理提供实际3D数据。可能固有的是在此电场3D检测系统中物体距相应电极310到340的距离越大，测量值越小，如图4中所展示。然而，本申请案不限于此行为，且电场系统可提供不同信号响应。可使用基于隐式马尔可夫模型(HMM)的手势辨识系统来检测手势。所述模型称为“隐式”，这是因为无法直接观测其真实/实际状态。每一状态的‘优选’移动方向经由观测概率而与其相关联。标题为“用于传感器系统的自动手势辨识(AUTOMATIC GESTURE RECOGNITION FOR A SENSOR SYSTEM)”的共同待决的美国专利申请公开案US2014/0050354中揭示离散手势事件的辨识(例如，如图5中所展示的拨动及绕圈)，所述美国专利申请公开案的全文以引用的方式并入本文中。
传感器系统可例如为具有传感器电极的电容式传感器系统，其测量值为导电物体与电极之间的距离的单调度量。用于手势辨识的特征可例如为代表在二维(x,y)平面中手指的移动且根据传感器测量值计算的二维方向向量的正负号。如上文解释，3D系统可为任何检测系统，例如，光学系统、声学系统等等。再者，数据处理系统可从例如如图1及2中所展示的2D系统或3D接口接收经处理信息。
所提议方法也可应用于无需第二维的一维(1D)传感器系统，例如触摸或无触摸滑杆功能。在下文中，多数实例提到环状手势，例如，顺时针或逆时针环状手势。然而，如在本申请案内提及，所提议方法也可应用于1D、2D或3D感测系统。
实例：连续环状手势相位追踪(‘悬浮转盘(AirWheel)’)
假定我们具备基于隐式马尔可夫模型(HMM)的手势辨识系统，包含表1中界定的4态环状HMM，其中矩阵A是HMM的状态转变概率矩阵(行中为当前状态，列中为下一状态)，矩阵B是观测概率矩阵(行中为状态，列中为观测)，且π是初始状态概率向量。B中的列对应于图7中的方向向量，其次序与矩阵B顶部上指示的次序相同。HMM代表逆时针环状手势。
图6展示关于HMM状态的所有可能特征向量与使用图3中所展示具有四个接收电极310到340的电场3D传感器的系统的关联。观测空间是四个方向向量的集合，所述四个方向向量提取自由四个接收电极310到340提供的测量数据，用于追踪所述观测空间前面的一只手的移动。图7展示具有四个方向向量的集合的观测空间。图8展示HMM的状态图。结合概率矩阵B，我们发现第一状态‘s1’具有输出到左上方的方向向量的高概率B[1,1]＝0.95，且具有产生到右上方的向量的极小概率B[1,4]＝0.02。
如图6及8中所展示，为了检测逆时针环状手势，矩阵B(见表1)被设计成具有与相应方向向量相关联的最大值。矩阵A经设计以反映相应手势的状态及可能转变。因此，举例来说，对于逆时针手势，状态s1不会转变到状态s3及s4。仅非零转变概率是从状态s1转变到s1自身或转变到s2。优选地，矩阵A及B中的每一行的概率合计达100％。归因于手势为环状，矩阵B中的当前状态(例如s1)邻接先前状态s4及下一状态s2。每一状态与显性相关联，即，高可能观测(相关联于此状态的B的行中的相异最大值)，或具有高概率的类似观测的集合。举例来说，贯穿表1中B的行，即，对于每一状态，产生方向与其最可能方向向量相反的方向向量的概率最小，例如当处于状态s2时产生右上方移动的概率最小，其中s2的最可能观测为左下方。表1仅展示可如何指派概率的实例。其它值及最大值概率的应用取决于相应手势及其特性。举例来说，手势及其相关联HMM可非环状且具有相异的开始及结束。所述手势可变化且无须为环状。
表1
关于使用环状手势的实例，当手在正x轴上自相位开始逆时针移动时，在来自传感器的一些样本之后，在给定HMM中状态s1将为最可能状态，因为图6中的坐标系的第一象限内的环状移动的显性方向是朝向左上方，且当HMM处于状态s1时最可能产生对应方向向量：矩阵B的第一列中的最大值(其对应于左上方方向向量)在对应状态s1的行1中。随着手继续逆时针移动，最可能状态将行进到s2、s3、s4、s1，以此类推。
因此，知道通过手移动执行逆时针环，且知道对应HMM中的最可能状态，我们可推断‘在何处’，即，当前在环中移动的手处于何相位，而无需知道所绘环的绝对空间位置。
一般描述：
假定我们给定具有N种状态的有限状态机(FSM)。我们也给定特征空间，即，可选自或提取自由在离散时间实例下对连续时间型式取样的传感器提供的测量数据的特征集合。假定FSM的每一状态产生所述特征集合中的具有特定概率的特征(或观测)，即，每一状态被指派给观测概率分布。在最简单案例中，每一状态映射到所述特征集合中的具有概率1的单一特征。这些分布常存储于所谓的观测矩阵B中。FSM代表特定型式或特定型式集合。
基于此观测概率分布，我们根据序列进程在连续时间型式中按升序将序列进程级(SPL)指派给每一状态(先验)。在不失一般性的情况下，我们将SPL的值范围设定到[0,N]。实例：对于介绍性实例，图6展示分别指派给状态s1、s2、s3及s4的N＝4SPL q1＝Q(1)＝0.5、q2＝Q(2)＝1.5、q3＝Q(3)＝2.5及q4＝Q(4)＝3.5。如此做的动机如下：假定[0,N]范围中的SPL以单调方式分布于全环状型式内，从q＝0的正x轴且q＝1的正y轴开始分布，到q＝2的负x轴，到q＝3的负y轴，且返回到q＝4的正x轴。Q(1)到Q(4)被放置于匹配其对应状态s1到s4的显性观测的型式位置处。
运行时，给定FSM及提取自传感器数据的特征，计算FMS的状态的状态概率分布，并对于每一新传感器样本更新所述状态概率分布。在每一离散时间实例下，获得SPL估计的最简单方式是在此分布中选择具有最大概率的状态并输出指派给此状态的SPL。此外，下文列表1中展示更复杂的方法。
顺时针环状检测的HMM使用与图8中所展示类似且具有顺时针转变(如图8中所展示指向相反方向的箭头)的状态模型。在追踪滤波状态概率下，举例来说，当最可能状态主要与左上方方向向量相关联时(矩阵B中的左上方方向向量的显性概率)，可假定到下一状态的转变对应于约90°角度变化。接着可输出状态转变的累计数。
图9展示提供双向环状HMM进行顺时针手势检测及逆时针手势检测两者的另一实施例。此模型可用来潜在地替换两个既有的单向环状HMM，一者用于顺时针环且另一者用于逆时针环，从而可导致进行快闪存储器保存以用于实际实施例。
用于使如图11中的阶梯形输出变平滑的额外滤波器可为必要的。所述模型可另外经修改以包含停止准则以允许前向/后向滚动，例如通过在手指不移动时将延时超时包含于虚拟滚轮(VSW)模式中。根据其它实施例，状态数目可随细微度增大且不限于使用四种状态的实例。
运行时计算状态概率分布的规则可为最大值似然(ML)或最大值后验概率(MAP)规则以计算最可能状态或最可能状态序列。
每一状态被指派状态索引i及SPL Q(i)。
a)自行设计的FSM：对于预界定连续型式(或‘序列’)，FSM的每一状态被指派给此连续时间型式中的特定离散时间实例(SPL)，使得状态索引的次序与对应SPL出现于由此FSM代表的连续型式中的次序相同或相反。每一SPL被定位于N个相邻序列分段中的一者内，优选被定位于分段中心中。接着，对于每一状态，观测概率分布经选择使得其类似通常在传感器取样此分段中的连续时间型式时获得的观测。
实例：介绍性实例是此自行设计的FSM，更准确来说是具有N＝4种状态的一阶环状隐式马尔可夫模型。图6展示四个SPL q1、q2、q3及q4周围的序列分段(四个四分之一环，每一象限一个)。表1中的状态转变矩阵A反映所述模型的环状结构：如上述，具有非零概率的转变仅发生从状态转变到其自身状态或具有次高索引的状态，及从第四状态s4转变回到s1。对于每一状态，观测矩阵B具有对应于所述分段中的显性移动方向的显性，即，最可能观测。
b)预界定FSM(例如，训练的HMM)：给定具有指派给其每一状态的观测概率分布的FSM，对于预界定连续型式(或‘序列’)，识别所述连续时间型式内每一状态si的典型SPL Q(i)，使得索引的次序与对应SPL出现于连续时间型式中的次序相同(或相反)。
实例：给定观测集合及含有每一状态的观测的概率分布的矩阵B，计算每一状态的平均或预期观测(例如，算术平均值)。给定具有指派的SPL的参考型式，例如SPL在此型式的典型暂时持续时间内均匀分布，对于每一状态识别所述型式中的SPL(其中其预期观测拟合此SPL)并将此SPL指派给所述状态。给定表2中的观测概率矩阵B，其展示矩阵A及B的另一示范性集合，及对应SPL 0.5、1.5、2.5及3.5的相关联方向箭头、预期观测的计算(分布的平均值或加权和)，同时考虑模型环状结构将对于第二状态s2如下般工作：我们在矩阵B中搜索行2中对应于状态s2的最大值，从而产生在列4中到右上方的方向向量的B(2,4)＝0.9。此概率使对应于此观测的SPL q＝3.5加权。据此，列3中的概率B(2,3)使SPL q＝2.5加权。归因于所述模型的环状结构及SPL模数N的所得计算，对于每一观测，需要决定考虑其是在最可能观测之前还是在最可能观测之后出现。由于最大值概率是在列4中，因此列1中循环到其右边的观测的SPL是q＝0.5+(N＝4)＝4.5且对应概率是B(2,1)＝0.05。由于列1中循环到列4中最大值B(2,4)＝0.9右边的概率B(2,1)＝0.05大于到最大值左边的概率B(2,3)＝0.04，因此列2也应被视为循环到列4右边，从而产生SPL q＝5.5。因此，SPL的加权和变成：
SPL(s2)＝Q(2)＝B(2,1)*4.5+B(2,2)*5.5+B(2,3)*2.5+B(2,4)*3.5
＝0.05*4.5+0.01*5.5+0.04*2.5+0.9*3.5
＝3.53
如果此结果大于N或小于0，那么我们将需要计算模数N。用于将SPL指派给状态的不同方法也可行，例如，忽略面对具有最大值概率的方向向量的相反方向的方向向量。
表2
根据表2中所展示的实施例，状态转变概率矩阵A针对双向环状HMM设定以产生图11及图12中所展示的屏幕画面。图10展示所述双向环状HMM的相关联状态图。图11显现分成三个连续区段的手势的系统输出水平的实例。第一区段展示无活动，接着是激活VSW模式的顺时针环状手势。步阶分别指示相关联的递增滚动参数、或两种或更多种状态之间的转变。在特定顺时针循环时间之后，用户立即继续做逆时针手势，以减小如图11中所展示的相关联参数。
停止准则(即，检测连续时间型式的结束的决策规则)可能需要经调适使得其在所述型式几乎不变更达一定较短量的时间时不检测停止。
如上述，根据其它实施例，可通过增大级数目(即，通过增大状态数目)改进进程级的细微度(即，可使介于两个连续级之间的步阶更小)。
根据另一实施例，可应用后处理以使两级之间的转变变平滑，即，选择具有最高概率的状态的规则可被更复杂规则替换。使q表示通过我们的算法计算的SPL估计。在不失任何一般性的情况下，使q的值范围∈[0,N]，其中N是HMM中的考虑中的状态数目。使Q＝[Q(1)Q(2)…Q(N)]表示含有每一状态的SPL的向量，其中对于所有i＝1,2,…,N-1保持Q(i)<＝Q(i+1)且Q(i)具有与q相同的值范围。第一平滑步阶是利用状态概率传播的内部平滑：我们使用所有状态的概率计算平均SPL而非选择具有最大值概率的状态，其中用α(i)表示状态的(前向)概率。用于使状态转变变平滑的第二提议是引入∈[0,1]的记忆因子θ以逐步更新SPL估计q。我们区别具有相异的开始及停止(非周期性的)的序列/型式与在手势辨识的上下文中类似于环状(周期性的)的周期性序列。使q(k)表示离散时间实例k处的q。
a)非周期性的：q(k+1)＝θ*q(k)+(1-θ)*sum_{i＝1}{N}α(i)*Q(i)
b)周期性的：q的范围现在∈[0,N]。归因于HMM的周期性，如非周期性案例中的加权和不可行。而是，进行差分更新方法以避免例如状态从具有高SPL的状态转变到具有低SPL的状态时出现上溢/下溢问题。允许SPL估计q的更新量仅达N/2以下。
列表1
列表1显示获取测量数据及计算HMM前向概率之后在每一离散时间步阶应用的示范性更新规则。图11及12展示使用双向环状HMM与表2中的状态转变概率矩阵进行的(逆)顺时针环的追踪，其中SPL指派如图6。图式中顺时针环状移动增大信号水平，逆时针环状移动减小信号水平。因此，图12显现具有平滑的后处理的实施。首先，执行若干顺时针环状移动以增大图中所展示的滚动参数，接着暂停，且接着一些逆时针环状移动、暂停、再多一些逆时针环状移动。表2中的双向环状HMM已用于此实例。在图12中，所绘信号也存在分段，其中信号水平在移动暂停期间近似恒定。与图11相比，信号的阶梯特性归因于平滑而明显减小。
也可通过根据其它实施例修改矩阵A及/或B中的HMM模型参数实现平滑。
一些特征的概述
根据实施例，可无须选择具有最大值概率的状态，但可通过采用状态概率分布的平均值计算“内插”状态索引及对应SPL。
可根据各种实施例实施以下特征中的一或多者：
FSM可具有有限记忆。FSM可实现马尔可夫性质，即，FSM可为一阶马尔可夫模型。可使用前向鲍姆-韦尔奇算法计算最可能状态。可使用维特比算法计算最可能状态及/或最可能状态序列。马尔可夫模型的状态是隐式的，即，FSM是隐式马尔可夫模型(HMM)。FSM可为用于常规的基于事件的型式辨识系统中的隐式马尔可夫模型，其中根据HMM的集合，确定被给定连续时间型式或其对应离散时间观测序列的最可能状态，且所述观测序列是从传感器获得的在给定开始时间实例与给定停止时间实例之间的特征序列。
1.当对于准备用于SPL追踪的HMM满足预界定条件时，那么可从常规的基于事件的型式辨识模式切换到SPL追踪模式。
2.此条件将超过预界定概率。
3.常规的基于事件的型式辨识期间的停止检测的准则可不同于在SPL追踪模式期间应用的准则。
连续时间型式可为手势，其中手势被界定为预界定移动型式。举例来说，连续时间型式可为环状手势。然而，如上述，可使用其它类型的手势，甚至使用非环型的手势或甚至使用非手势型式。HMM可为线性HMM或环状HMM。HMM可为双向HMM。接着也可在型式的相反方向上执行SPL追踪，即，前向及后向。
检测方法的应用
环状手势类似旋钮的控制且因此优选地可用作例如HiFi集合的例如虚拟音量控制转盘：顺时针移动增大音量，逆时针移动减小音量。然而，可根据各种实施例实施任何其它旋钮功能。
图13展示使用指示对应于顺时针/逆时针环状手势的SPL的相应水平的垂直条形图的示范性设计，即，当SPL已增大/减小达特定量时(例如，在环的每一四分之一之后)，图的水平增大/减小达一条。图13展示可用作具有相位指示符的音量控制转盘及其中发光LED的条的高度指示音量的LED显示器的应用。零个LED发光对应于静音，所有LED发光对应于最大音量。调节音量转盘会增大/减小音量，且当已调节所述转盘达界定量时，例如达90度(对应于)，一个LED发光或关闭。虽然音量转盘理论上可调节达无限量，但LED条形图以静音或最大音量为饱和。如上述，可应用任何其它类型的旋钮功能。
例如但非限制性，其它应用可包含：
-从环状触摸板已知的任何媒体播放器控制类型功能性。
-以灯开关控制调光器
-替换PC鼠标的滚轮
-各种类型传感器系统/测量输入装置(实例)
1.1D滑杆功能或其它一维手势；
2.2D触摸面板/触摸显示器、2D摄像机
3.3D摄像机、3D电容式传感器系统
-内部使用型式辨识系统内的SPL信息以增大辨识稳健性。
其它模式
提供1D、2D或3D定位系统(例如，基于摄像机的传感器系统或电容式传感器系统)，也可行的是使用例如图像处理技术评估部分型式(例如，部分绘制环)。然而，这将需要额外算法机器(缩放、旋转、新距离度量)且因此不易根据所提议方法集成到既有的基于HMM的型式辨识系统中。备注：使用基于摄像机的传感器系统连同SPL追踪可被视为优选方法。
也可使用部分HMM来检测部分型式。然而，接着将需要对于每一部分HMM运行手势辨识算法，从而推断计算复杂度明显增大。
延伸
-双向环状HMM也可用来替换用于顺时针环及逆时针环的两个HMM：顺时针移动或逆时针移动之间的决策可在后处理阶中完成，其中在手势停止检测之后检查累计差分SPL的正负号。
-到HMM型式辨识算法中的观测(方向向量)的输入可限于检测到移动时的时间实例。以此方式，举例来说，当绘制顺时针环、暂停及绘制逆时针环时，在移动暂停时不输入观测，其中方向向量仅取决于噪声，而非实际移动信息。
参考文献
R.Aubauer等人(DE 10 2010 007 455 A1 2011.08.11)：“System und Verfahrenzum beruehrungslosen Erfassen und Erkennen von Gesten in einemdreidimensionalem Raum”
A.Heim等人：“用于传感器系统的自动手势辨识(Automatic GestureRecognition for a Sensor System)”，MTI#3654

Claims (36)

1.一种用于传感器系统的基于状态追踪的手势辨识引擎的方法，其包括以下步骤：
界定有限状态机的多个循序状态，其中所述有限状态机为一阶马尔可夫模型,确定每一状态的序列进程级SPL，
运行时将状态概率分布映射到一SPL，以及
将经映射SPL估计用作所述传感器系统的输出值，其中使用前向算法计算最可能状态。
2.根据权利要求1所述的方法，其中最后状态随后是所述多个循序状态中的第一状态。
3.根据权利要求1所述的方法，其中所述传感器系统为三维3-D感测系统。
4.根据权利要求3所述的方法，其中所述3-D感测系统为近场电容式传感器系统或中场/远场传感器系统。
5.根据权利要求4所述的方法，其中所述中场/远场传感器系统使用视频或红外摄像机系统。
6.根据权利要求4所述的方法，其中所述近场电容式传感器系统为基于准静态电场测量的电容式非触摸3-D传感器系统。
7.根据权利要求1所述的方法，其中所述传感器系统为二维2-D感测系统、电容式或电阻式触摸系统或触摸屏系统。
8.根据权利要求1所述的方法，其中所述传感器系统为一维1-D感测系统。
9.根据权利要求1所述的方法，其中所述多个循序状态为环状手势的状态。
10.一种用于传感器系统的基于状态追踪的手势辨识引擎的方法，其包括以下步骤：界定有限状态机的多个循序状态，其中所述方法使用包括状态转变概率矩阵的N态隐式马尔可夫模型HMM，
确定每一状态的序列进程级SPL，
运行时将状态概率分布映射到一SPL，
将经映射SPL估计用作所述传感器系统的输出值，其中对于每一离散时间实例，由所述传感器系统提供的数据转发到所述有限状态机，所述有限状态机计算所述N态HMM的状态概率分布，以及其中对于每一离散时间实例，选择具有最大概率的状态并输出与所述状态相关联的SPL。
11.根据权利要求10所述的方法，其中所述状态转变概率矩阵在每一行中包括最大概率值。
12.根据权利要求11所述的方法，其中每一行的所有概率合计达100％。
13.根据权利要求10所述的方法，其中所述HMM进一步使用指示预界定移动方向的概率的观测矩阵。
14.根据权利要求13所述的方法，其中所述观测矩阵在每一行中包括最大概率值。
15.根据权利要求14所述的方法，其中每一行的所有概率合计达100％。
16.根据权利要求10所述的方法，其中最后状态随后是所述多个循序状态中的第一状态。
17.根据权利要求10所述的方法，其中所述传感器系统为基于准静态电场测量的非触摸三维3-D近场电容式传感器系统。
18.根据权利要求10所述的方法，其中所述传感器系统为二维2-D感测系统、电容式或电阻式触摸系统或触摸屏系统。
19.根据权利要求10所述的方法，其中所述多个循序状态为环状手势的状态。
20.一种用于传感器系统的基于状态追踪的手势辨识引擎的方法，其包括以下步骤：界定有限状态机的多个循序状态，其中所述方法使用包括状态转变概率矩阵的N态隐式马尔可夫模型HMM，
确定每一状态的序列进程级SPL，
运行时将状态概率分布映射到一SPL，
将经映射SPL估计用作所述传感器系统的输出值，其中对于每一离散时间实例，由所述传感器系统提供的数据转发到所述有限状态机，所述有限状态机计算所述N态HMM的状态概率分布，以及其中对于每一时间实例，根据所述状态概率分布计算并输出SPL。
21.根据权利要求20所述的方法，其中所述方法区别顺时针环状手势、逆时针环状手势或非移动手势。
22.根据权利要求20所述的方法，其中最大似然规则经应用以计算最可能状态。
23.根据权利要求20所述的方法，其中对于多个循序输出值，在循序输出值的后处理期间应用平滑算法。
24.一种用于传感器系统的基于状态追踪的手势辨识引擎的方法，其包括以下步骤：提供基于状态追踪的手势辨识方法，所述方法包括：
界定有限状态机的多个循序状态，确定每一状态的序列进程级SPL，
运行时将状态概率分布映射到一SPL，以及
将经映射SPL估计用作所述传感器系统的输出值，
以及提供一基于型式的手势辨识模式，其中当满足预界定条件时，所述方法在所述基于型式的手势辨识模式与由所述基于状态追踪的手势辨识引擎提供的基于状态追踪的手势辨识模式之间切换。
25.根据权利要求24所述的方法，其中所述基于状态追踪的手势辨识模式使用N态隐式马尔可夫模型HMM，其包括概率矩阵。
26.根据权利要求25所述的方法，其中每一状态被指派给观测概率分布。
27.根据权利要求25所述的方法，其中在所述基于状态追踪的手势辨识模式期间，对于每一离散时间实例，由所述传感器系统提供的数据经预处理并转发到所述有限状态机，所述有限状态机计算所述N态HMM的每一状态的状态概率分布。
28.根据权利要求27所述的方法，其中对于每一离散时间实例，选择具有最大概率的状态并输出与所述状态相关联的SPL。
29.根据权利要求27所述的方法，其中对于每一时间实例，根据所述状态概率分布计算并输出SPL。
30.根据权利要求28所述的方法，其中所述基于状态追踪的手势辨识模式区别顺时针环状手势、逆时针环状手势或非移动手势。
31.根据权利要求30所述的方法，其中如果满足非移动手势的预界定时间阈值，那么所述方法切换回到所述基于型式的手势辨识模式。
32.根据权利要求28所述的方法，其中最大似然规则经应用以计算最可能状态。
33.根据权利要求28所述的方法，其中对于多个循序输出值，在循序输出值的后处理期间应用平滑算法。
34.根据权利要求29所述的方法，其中对于多个循序输出值，在循序输出值的后处理期间应用平滑算法。
35.一种操作经配置以实施根据权利要求1所述的方法的装置的方法，其中所述输出值用来控制所述装置的功能。
36.根据权利要求35所述的方法，其中所述功能是增大或减小音量级，控制调光器，或控制滚动功能。
CN201480044542.7A 2013-07-19 2014-07-16 基于隐式马尔可夫模型的手势辨识的方法 Active CN105452997B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361856531P 2013-07-19 2013-07-19
US61/856,531 2013-07-19
US14/328,265 2014-07-10
US14/328,265 US9625997B2 (en) 2013-07-19 2014-07-10 Human interface device and method
PCT/US2014/046789 WO2015009781A1 (en) 2013-07-19 2014-07-16 Method for hidden-markov-model based gesture recognition

Publications (2)

Publication Number Publication Date
CN105452997A CN105452997A (zh) 2016-03-30
CN105452997B true CN105452997B (zh) 2018-12-14

Family

ID=52343200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480044542.7A Active CN105452997B (zh) 2013-07-19 2014-07-16 基于隐式马尔可夫模型的手势辨识的方法

Country Status (7)

Country Link
US (3) US9625997B2 (zh)
EP (1) EP3033658B1 (zh)
JP (1) JP6463579B2 (zh)
KR (1) KR102364328B1 (zh)
CN (1) CN105452997B (zh)
TW (1) TWI649676B (zh)
WO (1) WO2015009781A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9625997B2 (en) 2013-07-19 2017-04-18 Microchip Technology Incorporated Human interface device and method
US9665725B2 (en) 2015-02-06 2017-05-30 Microchip Technology Incorporated Gesture based access control method and system
US9990113B2 (en) 2015-09-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for moving a current focus using a touch-sensitive remote control
US10768746B1 (en) 2016-05-10 2020-09-08 Apple Inc. Quasi-continuous-time sampling of discrete-time sampled signals
US10929767B2 (en) 2016-05-25 2021-02-23 International Business Machines Corporation Method for complex events detection using hidden markov models
CN107909003B (zh) * 2017-10-16 2019-12-10 华南理工大学 一种针对大词汇量的手势识别方法
CN112925430A (zh) * 2019-12-05 2021-06-08 北京芯海视界三维科技有限公司 实现悬浮触控的方法、3d显示设备和3d终端
KR102470023B1 (ko) * 2021-11-12 2022-11-24 주식회사 만나통신사 실시간 라이브를 이용한 원격 대리탐방 서비스 제공 시스템
CN114626666B (zh) * 2021-12-11 2023-05-05 国网湖北省电力有限公司经济技术研究院 一种基于全时空监测的工程现场进度识别系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101836207A (zh) * 2007-08-20 2010-09-15 格斯图尔泰克股份有限公司 超出词汇的词的增强的拒绝
CN102870078A (zh) * 2010-02-10 2013-01-09 微晶片科技德国第二公司 用于对三维移动空间中的手势进行非接触式检测与辨识的系统及方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6212510B1 (en) * 1998-01-30 2001-04-03 Mitsubishi Electric Research Laboratories, Inc. Method for minimizing entropy in hidden Markov models of physical signals
US6694044B1 (en) * 1999-09-16 2004-02-17 Hewlett-Packard Development Company, L.P. Method for motion classification using switching linear dynamic system models
US6944315B1 (en) * 2000-10-31 2005-09-13 Intel Corporation Method and apparatus for performing scale-invariant gesture recognition
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
SE0302711L (sv) 2003-10-13 2005-03-22 Anders Swedin Beröringskänslig bildskärmsenhet, samt metod för avkänning av en beröring på bildskärmsenheten
US8531431B2 (en) 2003-10-13 2013-09-10 Integritouch Development Ab High speed 3D multi touch sensitive device
JP2007087089A (ja) * 2005-09-21 2007-04-05 Fujitsu Ltd ジェスチャ認識装置、ジェスチャ認識プログラムおよびジェスチャ認識方法
TWI328201B (en) 2006-10-30 2010-08-01 Ind Tech Res Inst Method and system for object detection in an image plane
US8904312B2 (en) 2006-11-09 2014-12-02 Navisense Method and device for touchless signing and recognition
KR20090050199A (ko) * 2007-11-15 2009-05-20 주식회사 휴민텍 광류와 은닉 마르코프 모델을 이용한 실시간 얼굴 표정인식
EP2104023A3 (en) 2008-03-18 2012-08-22 Anders Swedin Method and apparatus at a touch sensitive device
JP2010079848A (ja) * 2008-09-29 2010-04-08 Waseda Univ 項目選択方法および装置
TWI430141B (zh) * 2010-02-25 2014-03-11 Egalax Empia Technology Inc 判斷旋轉手勢的方法與裝置
US10430066B2 (en) 2011-12-06 2019-10-01 Nri R&D Patent Licensing, Llc Gesteme (gesture primitive) recognition for advanced touch user interfaces
CN102592112B (zh) * 2011-12-20 2014-01-29 四川长虹电器股份有限公司 基于隐马尔科夫模型判断手势运动方向的方法
US9323985B2 (en) 2012-08-16 2016-04-26 Microchip Technology Incorporated Automatic gesture recognition for a sensor system
US9625997B2 (en) 2013-07-19 2017-04-18 Microchip Technology Incorporated Human interface device and method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101836207A (zh) * 2007-08-20 2010-09-15 格斯图尔泰克股份有限公司 超出词汇的词的增强的拒绝
CN102870078A (zh) * 2010-02-10 2013-01-09 微晶片科技德国第二公司 用于对三维移动空间中的手势进行非接触式检测与辨识的系统及方法

Also Published As

Publication number Publication date
TW201514767A (zh) 2015-04-16
US10365722B2 (en) 2019-07-30
CN105452997A (zh) 2016-03-30
US20170220124A1 (en) 2017-08-03
US9958953B2 (en) 2018-05-01
EP3033658B1 (en) 2020-01-01
KR102364328B1 (ko) 2022-02-17
JP2016527628A (ja) 2016-09-08
US20180314338A1 (en) 2018-11-01
EP3033658A1 (en) 2016-06-22
US20150022490A1 (en) 2015-01-22
TWI649676B (zh) 2019-02-01
WO2015009781A1 (en) 2015-01-22
KR20160033194A (ko) 2016-03-25
US9625997B2 (en) 2017-04-18
JP6463579B2 (ja) 2019-02-06

Similar Documents

Publication Publication Date Title
CN105452997B (zh) 基于隐式马尔可夫模型的手势辨识的方法
US9477324B2 (en) Gesture processing
CN105556434B (zh) 用于传感器系统的连续圆形姿势检测
CN110796259B (zh) 用于确定外围设备位移的方法和系统
CN103970264B (zh) 手势辨识与控制方法及其装置
KR20110132349A (ko) 객체의 거동을 모니터링하는 장치 및 방법
TWI703471B (zh) 人機介面裝置及方法
US20190114471A1 (en) Gesture identification with natural images
CN103902086A (zh) 一种基于曲线拟合的触摸轨迹平滑方法及系统
TWI528271B (zh) 多邊形手勢偵測及互動方法、裝置及電腦程式產品
TW201543342A (zh) 電子裝置及其繪圖方法及電腦程式產品
US9405397B2 (en) Touch panel-equipped display device and non-transitory computer-readable storage medium
CN108475137A (zh) 使用混合估计方法减轻共模显示噪声
US9857878B2 (en) Method and apparatus for processing gesture input based on elliptical arc and rotation direction that corresponds to gesture input
CN101957721A (zh) 触碰荧幕的显示连线的方法
CN102214028B (zh) 触控板的手势识别方法与手势识别装置
KR101370830B1 (ko) 사용자 인터페이스 구현 시스템 및 구현 방법
CN107256089B (zh) 以自然影像进行的手势识别方法
JP6933584B2 (ja) 移動モデルを用いた物体への位置測定のマッピング
CN113168990A (zh) 电气输入装置、电气设备及电气输入装置的控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant