CN102890557B - 用于响应于麦克风输出的触摸手势检测的方法和系统 - Google Patents

用于响应于麦克风输出的触摸手势检测的方法和系统 Download PDF

Info

Publication number
CN102890557B
CN102890557B CN201210250319.0A CN201210250319A CN102890557B CN 102890557 B CN102890557 B CN 102890557B CN 201210250319 A CN201210250319 A CN 201210250319A CN 102890557 B CN102890557 B CN 102890557B
Authority
CN
China
Prior art keywords
microphone
equipment
touch gestures
output
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210250319.0A
Other languages
English (en)
Other versions
CN102890557A (zh
Inventor
G·N·迪金斯
D·P·多内
孙学京
A·艾瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby International AB
Dolby Laboratories Licensing Corp
Original Assignee
Dolby International AB
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby International AB, Dolby Laboratories Licensing Corp filed Critical Dolby International AB
Publication of CN102890557A publication Critical patent/CN102890557A/zh
Application granted granted Critical
Publication of CN102890557B publication Critical patent/CN102890557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • H04R1/083—Special constructions of mouthpieces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise

Abstract

本发明涉及用于响应于麦克风输出的触摸手势检测的方法和系统。在一些实施例中，提供一种方法，用于处理设备（例如耳机）的至少一个麦克风的输出以识别用户对设备施加的至少一种触摸手势，包括通过将手势与用户故意的触摸手势之外对麦克风的输入区分开，以及通过区分用户对设备施加的敲击和用户对设备施加的至少一种动态手势，其中至少一个麦克风的输出也指示环境声音（例如人声）。其它实施例为检测环境声音（例如人声）和触摸手势的系统，每个系统包括具有至少一个麦克风的设备和处理器，该处理器耦接并配置为处理每个麦克风的输出以识别用户对设备施加的至少一种触摸手势。

Description

用于响应于麦克风输出的触摸手势检测的方法和系统
相关申请的交叉引用
本申请要求由GlennDickins等人于2011年7月19日提交的题为“MethodandsystemforTouchGestureDetectioninResponsetoMicrophoneOutput”的相关共同未决的美国临时专利申请No.61/509,199的优先权权益，其通过引用整体合并于此。
技术领域
本发明的实施例为用于响应于一个或更多麦克风的输出检测触摸手势的系统和方法。在一类实施例中，本发明为触摸手势检测系统，包括：包括至少一个麦克风的设备；以及处理器，其耦接且配置为处理每个麦克风的输出以识别至少一种触摸手势（手势，由设备用户做出，其是或者包括用户对设备的触摸）。
背景技术
贯穿本公开，包括在权利要求书中，“对”信号或数据执行操作（例如，对信号进行滤波、缩放或转换）的表述被广义地用于表示直接对信号或数据或者对信号或数据的处理过的变体（例如对在执行对其的操作之前已经经历了初步滤波的信号变体）执行操作。
贯穿本公开，包括在权利要求书中，表述“系统”被广义地用于表示设备、系统或子系统。例如，实现解码器的子系统可以称为解码器系统，包括该子系统的系统（例如，响应于多个输入产生X输出信号的系统，在其中该子系统产生输入M，其它的X-M输入接收自外部源）也可以称为解码器系统。
贯穿本公开，“扬声器”和“扩音器”同义地用于表示任何声音发射换能器。
贯穿本公开，包括在权利要求书中，“麦克风”表示响应于声音输入产生电信号的任何换能器。声音输入可以为入射在麦克风处的包括纵向压力波能量和/或剪切波能量（例如，表面声波）的声音信号，和/或麦克风或麦克风所安装到的物体的机械振动。例如，麦克风（安装到框架）可能响应于施加到麦克风或框架的导致麦克风振动的力（例如，触摸），或响应于通过空气传播到麦克风且入射在麦克风处的压力波，或响应于经框架传播到麦克风并入射在麦克风处的表面声波，产生输出信号（电信号）。
贯穿本公开，包括在权利要求书中，表述“触摸手势”表示设备用户做出的手势，其是或者包括用户对设备的触摸（例如敲击、滑动或者其它触摸）。
贯穿本公开，包括在权利要求书中，表述“敲击手势”（或“敲击”）表示具有空间中的固定位置以及持续时间的触摸手势。用户执行敲击的位置以及可选地敲击的持续时间同样在本发明的一些实施例中可以被识别。
贯穿本公开，包括在权利要求书中，表述“动态手势”（或“非敲击”手势）表示不是敲击手势的触摸手势，其具有轨迹（作为时间函数的空间路径）以及持续时间。动态手势的轨迹（或在表面上的轨迹投影）以及可选地持续时间同样在本发明的一些实施例中可以被识别。
贯穿本公开，包括在权利要求书中，术语“处理器”广义地用于表示可编程或能以其它方式配置（例如，用软件或固件）以对数据（例如，视频或其它图像数据）执行操作的系统或设备。处理器的例子包括现场可编程门阵列（或其它可配置的集成电路或芯片组）、编程和/或以其它方式配置来对音频或其它声音数据执行流水线处理的数字信号处理器、可编程通用处理器或计算机以及可编程微处理器芯片或芯片组。
许多常规设备包括允许用户触摸输入的换能器（例如，由用户的手和/或手指的位置和接触确定的输入）。这种设备的例子包括那些具有薄膜电导换能器、电容触摸屏、电容触摸换能器、跟踪设备（例如，计算机鼠标）、接触阵列、以及光（或可见光）换能器。触摸已经成为期望的设备操作模式。
对于许多简单设备（例如，蓝牙耳机（headset）），所需的用户控制接口非常简单，因为它只需要执行少量命令（例如，功率和音量控制）。尽管很多设备的控制可以使用接近或机械触摸接口（比如电容接近传感器）优雅地实现，但是额外的触摸传感器成本是不受欢迎的。在本发明的典型实施例中，已经存在于耳机（或其它设备）中的用于检测环境声音（例如，由用户和/或音乐发出的声音）的麦克风也用于检测设备上的触摸手势。
发明内容
在一类实施例中，本发明为用于检测环境声音（例如，由用户和音乐发出的声音）以及触摸手势的系统。该系统包括：设备，包括配置为检测环境声音的至少一个麦克风；以及处理器，耦接和配置（或编程）为处理每个所述麦克风的输出以识别由用户对该设备施加的至少一种触摸手势（包括通过将该触摸手势与除了用户故意的触摸手势之外的对该至少一个麦克风的输入区分开）以及区分用户对设备施加的敲击和用户对设备施加的至少一种动态手势（敲击之外的触摸手势）。在典型的实施例中，该设备为耳机，包括安装至框架并配置为检测由用户（也包括至少一个扬声器）发出的声音的麦克风，每种可识别的触摸手势为在框架上（或在一个或多个麦克风上）的敲击或滑动、或与在框架或一个或多个麦克风上的敲击和滑动相关的动作。典型地，使用例如从麦克风信号集得到的统计信号属性、关系和轨迹，从每个所述麦克风的输出推断的信息（例如，位置信息）用于（在一些情况下，与关于设备几何构型和/或表面属性的信息一起）将每种触摸手势分类为相对于设备的移动（手指或其它物体的）的一组预定类别之一。典型地，该处理器配置成识别（从每个所述麦克风的输出）施加在设备上的至少两种动态手势（例如，沿第一方向的滑动以及沿与第一方向相反的第二方向的滑动）中的每个的发生和类别以及在设备上的敲击的发生。
在一类实施例中，本发明为一种方法，用于处理设备的至少一个麦克风的输出（例如耳机中的麦克风的输出）以识别用户对设备施加的至少一种触摸手势，包括通过将该触摸手势与除了用户故意的触摸手势之外的对该至少一个麦克风的输入区分开、以及通过区分用户对设备施加的敲击和用户对设备施加的至少一种动态手势，其中该至少一个麦克风的输出也指示环境声音（例如，用户发出的声音）。在此，短语“环境声音”用于指与感兴趣的触摸手势不相关的所有音频。可选地，该方法还包括响应于每种所识别的触摸手势控制该设备（或包括该设备的系统）的步骤。在一些这种实施例中，该方法包括处理该至少一个麦克风的输出以区分施加在该设备上的敲击和施加在设备上的动态手势的预定组（典型地为小的组）中的每个的步骤。典型地，该设备包括每个麦克风安装至的结构（为了方便，称为“框架”），由在框架上（或直接在至少一个麦克风上）的触摸（例如，敲击或滑动）导致的麦克风输出信号被分析以确定其是否显示了指示预定手势组的手势之一的特性。该麦克风输出处理可采用该设备的特定表面纹理以识别施加在该设备的表面上的触摸手势的发生和特性。优选地，候选触摸手势的特性与预定组（例如小组）的可能手势相匹配以提供可靠的手势接口。当该设备包括至少两个安装至框架的麦克风时，该处理典型地采用该设备的空间特征（例如，安装至框架的麦克风的相对位置）和/或该设备的特定表面纹理，以识别施加在设备表面上的触摸手势的发生并识别其特性。
根据典型的实施例，触摸手势可以根据麦克风输出信号以合理的灵敏度和特定性被识别和信号化。手势处理（以根据本发明识别手势）可典型地与已有的对每个麦克风的输出的音频预处理（例如噪声、空间和回声处理）组合而不显著增加处理费用。
在第二类实施例中，本发明为一种方法，用于处理设备的至少一个麦克风的输出（例如耳机中的麦克风的输出）以识别用户对设备施加的至少一种触摸手势，包括通过确定以下中的至少一个：
该至少一个麦克风的输出（例如在适当频带中）的绝对功率（或电平）和/或该至少一个麦克风的所述输出的功率谱的特性（例如，谱倾斜（spectraltilt））；
该设备的两个麦克风的输出的功率比（例如在频带中），其中该设备包括至少两个麦克风；
从该设备的两个麦克风的输出确定的相对功率谱的特性，其中该设备包括至少两个麦克风；
该至少一个麦克风的所述输出的峰值对平均功率的比（例如，使用滑动时间窗口，窗口中的峰值功率（例如，在适当的频带中）与窗口上的平均功率相比较的比率）；以及
从设备的两个麦克风随时间的输出确定的相互关联峰值（crosscorrelationpeak）（例如，使用短时间的相互关联来确定在移动时间窗口中麦克风输出信号之间的相似度，作为应用到输出信号之一的时间滞后的函数，并找出每个窗口的峰值（即，产生最大相互关联值的时间滞后）），其中该设备包括两个麦克风。
在一些第二类实施例中，该方法处理至少一个麦克风的输出以识别至少一种触摸手势，包括通过确定所述绝对功率（或电平）、功率比、相对功率谱特性、峰值对平均功率的比、以及相互关联峰值中的至少两个的组合（例如，乘积或缩放和（scaledsum））。在一些第二类实施例中，该方法还包括一步骤，该步骤包括通过将所述触摸手势与除了用户故意的触摸手势之外的对该至少一个麦克风的输入区分开。在一些第二类实施例中，该方法还包括响应于每种所识别的触摸手势控制该设备（或包括该设备的系统）的步骤。
在一些实施例中，本发明的方法包括麦克风输出信号分析和分类步骤（例如，风检测器），其在某些情况下改变或禁止触摸手势的检测，以避免错误的触摸手势检测。在一些实施例中，本发明的方法包括将用户手指的指甲执行的触摸手势与用户手指的指肚（pad）执行的手势区分开的步骤。在一些实施例中，本发明的方法包括基于状态的滤波步骤（例如，使用隐马尔科夫模型），以改善触摸手势检测性能（例如，可靠性）。在一些实施例中，本发明的方法处理该至少一个麦克风的输出以识别该至少一种触摸手势，包括通过使用根据设备确定的与触摸手势检测不直接相关的背景或状态信息（例如，当前音量设定或其它当前设备用户设定，当前信号水平或用户活动，和/或其它麦克风输入诸如环境、非声音噪音水平）。
在本发明的系统的一些实施例中，该设备包括单个麦克风。在另一些实施例中，该设备包括两个或更多麦克风，并且该处理识别一维和/或二维手势。该设备的麦克风的首要目的可以是或可以不是手势识别。因此，用户的触摸手势（例如，在至少一个麦克风安装至的框架上的敲击或滑动）在某些情况下可以产生音频噪声，该噪声可泄露到由麦克风捕获的主音频信号中。对于许多应用来说，这不是所担忧的。在一些噪声情况下，该触摸手势可被噪声模糊，并且因此手势识别在过度喧闹的环境中可能不起作用。再一次地，对于许多应用来说，这不是所担忧的。
一些声音条件或与该设备的无意的物理接触可导致触摸手势的错误识别。在一类实施例中，错误的手势识别被最小化。在许多应用中，错误的手势识别将不会导致担忧。
本发明的一些方面包括配置来执行本发明方法的任何实施例的系统或设备，通过本发明的系统的任何实施例执行的触摸手势检测或识别方法，以及存储用于实施本发明的方法或其步骤的任何实施例的代码的计算机可读介质（例如，盘）。例如，本发明的系统可包括可编程通用处理器，其用软件或固件编程和/或以其它方式配置成对数据执行多种操作中的任何操作，包括本发明的方法或其步骤的实施例。这种通用处理器可以为或包括具有输入设备、存储器和图形卡的计算机系统，该计算机系统被编程（和/或以其它方式配置）以响应于断言到其的数据执行本发明的方法（或其步骤）的实施例。
附图说明
图1为本发明的触摸手势检测系统的一个实施例的正视图和侧视图，该系统的耳机被用户佩戴。
图2A为用户对图1的系统的耳机执行敲击手势的图。
图2B为用户对图1的系统的耳机执行向上滑动手势的图。
图2C为用户对图1的系统的耳机执行向下滑动手势的图。
图3为两个曲线图的组。上面的曲线图表示本发明的系统的一个实施例的麦克风的输出信号，下面的曲线图表示本发明的系统的所述实施例的另一个麦克风的输出信号。
图4为两个曲线图的组。上面的曲线图表示本发明的系统的一个实施例的麦克风的输出信号，下面的曲线图表示本发明的系统的该实施例的另一个麦克风的输出信号。
图5是一组曲线图。上面的曲线图是本发明的系统的一个实施例的麦克风的第一输出信号的波形，其与同一系统的另一麦克风的第二输出信号（其波形示于图5的从顶部起第二个曲线图中）同时产生。其它曲线图表示通过处理该第一输出信号和该第二输出信号所产生的信号。
具体实施方式
本发明的许多实施例是技术上可行的。本领域普通技术人员根据本公开将容易知晓如何实施它们。本发明的系统和方法的实施例将参照图1-5进行描述。
参照图1，我们描述本发明的系统的一个实施例，其包括耳机2和处理器6。图1示出了佩戴耳机2的用户的正视图和侧视图。耳机2包括安装到耳机的细长框架（3）的两个麦克风（4和5）以及同样安装到框架3的在用户耳朵附近的扬声器（未示出）。框架3的一端支承在用户的中耳（centralear）位置附近的麦克风5。麦克风4沿框架3的纵轴与麦克风5间隔开。处理器6通过无线链接（例如，蓝牙链接）耦接至耳机2，麦克风4和5的输出在链路上断言到处理器6。图1仅示出一个示例性实施例。许多备选的麦克风布置是可行的且实施在耳机设备以及体现本发明的其它系统中。通常，耳机的麦克风取向在大约指向用户的嘴的线上，但是离用户的嘴更远的麦克风不一定位于耳道的有效中心外侧，如图1所示。可行的设计包括超过两个麦克风，以及围绕耳朵并朝向用户的嘴各种各样地定位的多个麦克风或阵列。
在图1所示的系统的变型中，执行本发明的方法的处理器与包括其输出根据本发明被处理的至少一个麦克风的设备（例如，耳机）集成，或通过无线链路之外的链路与这样的设备耦接。
耳机2可以以常规方式实施，或其可以实施为具有设计成改善可靠性的表面（例如，以下所描述的类型），处理器6能利用该表面根据麦克风4和5的输出识别触摸手势。
处理器6可以实施为可编程数字信号处理器（DSP），其被编程和以其它方式配置成对麦克风4和5的输出执行所需处理，包括对麦克风4和5的输出信号的采样执行本发明的方法的实施例。备选地，处理器6可为可编程通用处理器（例如，PC或其它计算机系统或微处理器，其可以包括输入设备和存储器），该处理器被用软件或固件编程和/或以其它方式配置成执行包括本发明方法的实施例的多个操作中的任何操作。
在图1系统的操作中，麦克风4和5以常规方式用于检测环境声音（例如，由用户和音乐发出的声音）。例如，麦克风4和5的输出可以被放大、采样、编码、并传输给接收器（以常规方式），然后接收器可以解码所传输的数据并从解码数据生成信号，其驱动扬声器以使得收听者可以从扬声器的声学输出检测由麦克风4和5原始检测到的环境声音（例如由耳机2的用户发出的声音）。在很多情况下，麦克风4和5的输出被处理以实现对于期望信号的一些信号提取，典型地包括用户的声音。这种处理是通常的，技术对于本领域技术人员来说是公知的，且与本发明不太相关。本发明可以实施在这样的系统中：其中有对麦克风信号的额外实质处理以将声音（或其它想要的）信号与用户周围的不期望的背景噪音分离开。本发明的一些实施例的特征是：触摸手势检测使用各方面的该其它处理，比如频域转换或滤波器组，以实现手势检测的低附加复杂性。在图1系统的操作中，麦克风4和5的输出也根据本发明用于识别用户已对耳机2执行触摸手势的指示，并用于区分这些手势。
在图1系统的典型实施中，处理器6被编程和以其它方式配置为处理麦克风4和5的输出以识别用户已经做出三种简单触摸手势（在耳机2上敲击，或对框架3施加的两种不同动态手势之一）之一的指示，并区分这些手势。处理器6配置成识别框架3上的敲击（例如如图2A所示用户手指的敲击）或者直接对麦克风4或5执行的敲击。处理器6也配置成识别（并区分）如下动态手势：如图2B所示，从相对更靠近麦克风4（与到麦克风5相比）的点朝向麦克风5往上的手指滑动（在框架3上）；以及如图2C所示，从相对更靠近麦克风5（与到麦克风4相比）的点朝麦克风4往下的手指滑动（在框架3上）。
处理器6被编程以分析从麦克风4和5接收的输出信号从而识别该三种手势（敲击，往上滑动，往下滑动）中的每种的发生，并且从而将它们中的每种与其它普通信号状况（其可包括由于用户声音、或音乐或风造成的对麦克风4和5的声音输入）区分开。图3表示响应于这六种信号情形中的每种的麦克风4和5的示例输出。
图3的下曲线图表示响应于敲击手势（“敲击”）、接着是往上滑动手势（“上”）、接着是往下滑动手势（“下”）、接着是用户发出的声音、接着是环境音乐、以及最后的由于风吹在耳机上而产生的输入，由图1的上麦克风5产生的输出信号。图3的上曲线图表示响应于相同顺序的六种输入：敲击手势（“敲击”）、接着是相同的往上滑动手势（“上”）、然后是相同的往下滑动手势（“下”）、相同的由用户发出的声音、相同的音乐、以及最后由于风产生的相同的声学输入，由图1的下麦克风4产生的输出信号。
从图3显见的是，响应于该六种输入产生的麦克风信号的统计属性是截然不同的。因此，即使存在一个或多个其它三种类型的输入，处理器6也可以根据本发明的实施例被编程从而以可靠并高效的方式检测和归类三种用户触摸手势中的任何一种的发生。更具体地，处理器6根据本发明的实施例被编程以执行对图3所示的类型的信号的概略分析，从而将与另一个麦克风输出（例如麦克风5的输出）中的离散孤立脉冲一致（例如，在预定短时间窗口内）的一个麦克风输出（例如麦克风4的输出）中的离散孤立脉冲识别为“敲击”手势，其中每个脉冲具有比预定阈值（例如，表示普通信号水平或功率的阈值，例如，响应于“非敲击”输入的信号的平均幅值或功率）更大的幅值。响应于敲击的麦克风输出很大程度上可由机械振动引起，因而响应于框架3上的敲击的来自于麦克风4和5的信号的相位对准（phasealignment）可与机械耦合（通过框架3）以及声学耦合相关。在一些实施例中，处理器6将用户对设备2的敲击识别为来自麦克风4的信号中的孤立脉冲或尖峰（超过阈值）的发生，其与来自麦克风5的信号中的孤立脉冲或尖峰（超过阈值）对准（例如，发生在短的预定时间窗口内）。
在一些实施例中，处理器6被编程以将上（或下）滑动手势识别为麦克风4和5的输出的功率比的显著改变（例如，在预定短时间上或在预定持续时间的时间窗口期间）。参考图3，麦克风4的输出的功率的运行平均（在具有非常短的持续时间的窗口上，例如具有0.02秒持续时间的窗口）在从大约时间=1.3秒到大约时间=1.7秒的间隔期间随时间下降，麦克风5的输出功率的运行平均（在相同窗口上）在稍大间隔上（从大约时间=1.2秒到大约时间=1.7秒）随时间增大。因此，在从大约时间=1.3秒到大约时间=1.7秒的时间间隔上，麦克风4的输出的平均功率对麦克风5的输出的平均功率的比率降低，这可以被处理器6识别为“向上滑动”手势（用户手指从框架3上的靠近麦克风4的点朝向麦克风5的滑动）的发生。类似地，麦克风4的输出的平均功率对麦克风5的输出的平均功率的比率在从大约时间=2.3秒到大约时间=2.7秒的时间间隔上增大，这可以被处理器6识别为“向下滑动”手势（用户手指从框架3上的靠近麦克风5的点向麦克风4的滑动）的发生。
两个麦克风的输出（在预定短时间上或在预定持续时间的时间窗口期间）的功率比的变化不是经常的，因为它很少响应于除了滑动手势之外对麦克风的预期（或普通的）声学输入（例如，声音、音乐、风或用户敲击）而发生（以在图3的从时间=1.3秒到时间=1.7秒以及时间=2.3秒到时间=2.7秒的时间间隔中那样的结构方式）。因此，处理器6可根据本发明的一些实施例被编程为将这样的功率比偏移识别为滑动手势（沿连接两个麦克风的线段）的结果，该滑动手势从一个麦克风朝向另一个麦克风移开。滑动手势（例如，用户手指在麦克风4和5之间沿着框架3滑动）典型地也导致相对于响应正常声音和/或环境音乐（或外部噪音）产生的信号要大些的麦克风信号。因此，在一些实施例中，处理器6被编程为仅在每个麦克风的输出信号的平均功率在相关时间间隔期间超过预定阈值时将麦克风4的输出的平均功率对麦克风5的输出的平均功率的比的增大（或减小）（在预定短持续时间的时间间隔上或在预定持续时间的时间窗口期间）识别为滑动事件。
麦克风4和5响应于声音（在图3中标记为“声音”的时间间隔中的信号）、环境音乐（在图3中标记为“音乐”的时间间隔中的信号）、以及风（在图3中标记为“风”的时间间隔中的信号）的输出不展现出与由敲击和滑动手势导致的麦克风输出（图3的）同样强的趋势和孤立性。
麦克风4和5响应于风的输出（在图3中标记为“风”的时间间隔中的信号）可显示出在一些方面与敲击或滑动手势导致的相关性类似的随机相关性。为了避免将这种随机相关性识别为触摸手势，在一些实施例中处理器6被编程为实现风检测器（例如，将在比假定的手势持续时间更长的时间间隔上超出预定阈值的麦克风输出信号平均功率识别为风的结果，或者实现更精巧的检测机制）和/或试探器，其防止事件（由一个或多个麦克风的输出表示）被识别为触摸手势，除非该事件至少被该事件之前和之后的预定短时间间隔所隔离（从相关麦克风输出信号（例如，响应于风）超过预定阈值的每个时间间隔）。采用以此方式编程的处理器6，可能不能识别在风失真期间发生的触摸手势。然而，在许多应用中这不是问题。
图4的下曲线图表示图1的上麦克风5响应于在设备2和用户手指之间的一系列非手势（随机或偶然的）物理接触（无意作为手势）的输出信号。图4的上曲线图表示图1的下麦克风4响应于相同系列的非手势物理接触的输出信号。从图4中绘出的信号的包络线与由用户的敲击和滑动手势所导致的那些（在图3中绘出）相比显见的是，处理器6（或另一处理器）可根据本发明编程来将由故意的敲击和滑动手势导致的信号的结构和特性与由非手势接触导致的那些区分开。可能需要处理器6的一定程度的调谐（或机器学习能力）来配置该处理器以具有对用户对设备2有意执行的特定触摸手势具有高灵敏度，并对设备2上的非手势物理接触具有免疫性。
更一般地，实现本发明的实施例的用户接口可以在普通应用中有效地且方便地运行，尽管它们不实现机器学习技术。对于本领域普通技术人员显而易见的是，这些实施例可以通过实施标准统计信号处理和机器学习技术而进一步精炼和改善。
参考图5，我们下面描述本发明的方法和系统的一些实施例中可由麦克风输出指示的并用于隔离和识别触摸手势（例如，区分敲击手势和动态手势，以及区分不同类型的动态手势）的一些特征和提示。在与相关触摸手势的预期持续时间相关的时间长度上这些特征和提示的趋势和测量是所关心的。
图5的上曲线图示出三种手势和一些典型的普通信号状况的简单测试序列。更具体地，图5的上曲线图表示图1的上麦克风5响应于敲击手势（“敲击”）产生的输出信号，接着是往上滑动手势（“上”），接着是往下滑动手势（“下”），接着是用户发出的声音，接着是环境音乐，最后是由于风吹在耳机上而导致的声学输入。图5的第二个（从上起）曲线图表示由图1的下麦克风4响应于相同输入序列而产生的第二输出信号。
图5中的其它曲线图表示通过处理麦克风输出信号（由图1的麦克风4和5响应于所标注的输入序列产生）而产生的信号。可以看出，这些曲线图的特征对敲击、上和下手势具有灵敏性和特异性）。处理器6（或另一处理器）可编程为识别和使用这些特征的组合以实现触摸手势的全面的检测器和分类器。
图5的第三个曲线图（标为比率）是对于从200至1400Hz频带范围内的能量，远麦克风对近麦克风的输出的功率比。该比率绘制成dB对照时间。所述频率范围不是对本发明的限制，仅作为有用范围的示例给出。大体上，已发现主要位于100Hz-3kHz范围内的谱权重是有用的。在该示例中，比率总为正，表明在本特定示例中，较远的麦克风比较近的麦克风具有更大的增益。需要注意的是，麦克风的个体增益和取向在各种实施例中将变化，因此该比率的值的范围和轨迹取决于设备的属性。为了制作图5中的第三曲线图，在比率中使用了归一化，使得对于由麦克风产生的显著功率信号它仅从一致（unity）（0db）偏离，从而曲线图示出的比率为：该映射降低了仅对于大声信号由该曲线图指示的特征的活跃度，对于小功率，功率比渐进地接近一致。与分析频带中的最大可能输入功率相反，PowerMin值的建议范围为-50db到-20db。这种简单的方法产生功率比对由用户在设备2上的故意或显著触摸导致的输入的特异性。
功率比特征作为手势活动的指示符均是有用的，该比率随时间的轨迹是动态手势的方向的指示符（例如，往上或往下的滑动手势）。如果跨越一个或更多频带考虑本发明的系统的一对麦克风的输出信号的功率（或电平）比率，那么处理器6（或另一处理器）可根据本发明的一些实施例编程为将该比率的强趋势（在与手势方向相关的特定方向上）识别为动态手势。由于在这种手势的触摸点的摩擦移动中通常存在固有随机活动，因此一般不可能仅从功率（或电平）的大小比率（作为时间的函数）及时推断出任何情形下的触摸点位置。然而，在一类实施例中，适当加权的比率估计和噪声免疫（对低功率信号）表明一趋势，该趋势又指示滑动手势的方向。
更一般地，与总体谱形状诸如谱倾斜相关的特征在检测触摸手势的存在时可以是有利的。
图5中的第四个曲线图（标有“功率”）为在合适的频带（该例子中为200-1400Hz）中从麦克风5输出的信号的绝对功率电平。从该曲线图显见的是，绝对功率电平是显著信号且因此是设备2的麦克风附近的触摸手势活动的良好指示符（例如，处理器6可以将绝对功率电平超过预定阈值的每次发生识别为触摸手势）。由于触摸手势一般靠近麦克风应用，所以响应于这种手势产生的麦克风输出信号的绝对功率（或电平）是手势发生的指示符，特别是在被触摸的设备表面具有足够产生可检测声音以及机械振动的纹理时，该机械振动的幅度以可预知、可检测的方式取决于施加于其上的力。
特定手势，尤其是包括在设备（包括至少一个麦克风）上的敲击（例如，打击触摸）的那些，产生非常大的脉冲，该脉冲具有特征性的大的峰值对平均功率比。显然其它特征对于进一步的辨别而言可以是有用的，然而本发明中列出的特征表现出具有有用且足够的辨别能力且在分类目的的功用方面高于其它的特征。
更一般地，由动态手势造成的麦克风输出信号中出现峰值的时间（或相位）可以趋向于伴随着由声学或机械输入到达（麦克风处）的时间变化造成的触摸的位置变化。在一些实施例中（例如，设备仅包括单个麦克风的一些实施例），响应于滑动手势生成的麦克风输出信号的绝对功率（或电平）随时间的趋势用于指示滑动手势的发生，并指示手势是朝向还是远离麦克风地施加在设备上。
图5中的第五个曲线图（标记为“PAPR”）为来自麦克风5的信号输出的峰值对平均功率的比率。使用持续时间等于大约112ms的滑动时间窗口（7个16ms块率的采样块），该特征为任何一个窗口中的峰值功率（在200-1400Hz的频带中）对该窗口上的平均功率的线性刻度上的比率。触摸手势的摩擦和冲击本质可以产生这种特征中的显著信号。从曲线图显见的是，PAPR是显著信号且因此是设备2的麦克风附近的触摸手势活动的良好指示符（例如，处理器6可将PAPR超过预定阈值的每一次发生识别为触摸手势）。
图5中的第六个曲线图（标记为“XCorr峰值”）是随时间从两个麦克风的输出确定的相互相关峰值的图。该特征涉及两个麦克风之间到达的相位或相对时间。在这个示例中，使用短时间的相互关联（以确定在短的移动时间窗口中两个麦克风输出信号之间的相似性，作为应用到输出信号之一的时滞的函数）以及找出每个窗口的峰值（即，生成最大相互关联值的时滞）来计算它。生成最大相互关联值（对于每一个时间窗口）的时滞在图5中相对于时间绘出。该特征的方向是动态手势的方向（相对于麦克风之一）的指示符。延迟（图5中绘出的时滞）的强趋势指示滑动手势，趋势的倾斜指示滑动的方向（例如，在图5的第五个曲线图中具有负斜度的足够持续时间的趋势指示往上滑动手势，图5的第五个曲线图中具有正斜度的足够持续时间的趋势指示往下滑动手势）。
在本发明的一些实施例中，对响应于滑动手势产生的一对麦克风输出信号实施全窗口相互关联因子（correlator）延迟评估，并且结果被分析以指示滑动手势的发生及方向。频带相互关联因子可以用不同方式实现，包括跨越多个频率子带分析相位轨迹或组延迟。
处理器6可编程为确定组合手势指示符，例如，三个比率、功率以及PAPR特征的乘积（作为时间的函数）。图5中的第七个曲线图（绘制在从最小值“空闲”到最大值“手势”的刻度上）是这种组合手势指示符的图（比率、功率和PAPR特征的乘积）。组合手势指示符被缩放和门限（thresholded）（指示符的缩放变体的合适阈值被识别，缩放的指示符超过该阈值的发生被识别为触摸手势）以移除一些噪声并实现对于手势的合适的选择性和灵敏性。
图5的第八个曲线图（绘制在从最小值“下”到最大值“上”的刻度上）是另一组合手势指示符的图：比率和XCorr峰值特征的滤波变体导数的缩放和。这种组合手势指示符指示每种动态手势的发生和方向（即，往上手势的方向和往下手势的方向）。初始特征使用具有16ms块率的变换（transform）来计算。因此，对于每个16ms可以获得XCorr和比率的值。在10ms-80ms范围内的任何块率（blockrate）也适于本应用。为了生成图5中的第八个曲线图，每个特征信号的滤波导数（filteredderivative）使用100ms的时间常数计算，但是可以替代地使用从50ms-200ms滤波或平滑时间常数范围的其它时间常数计算。
从图5的例子可以看出，与普通声音、环境音乐（噪音）或风的活动分开，触摸手势可以容易地被识别。然而可以预见，设备周围的显著物理活动，诸如在置于头或耳朵上、调整等期间，将触发一定水平的初步手势检测错误警报。
因此，本发明的方法的一些实施例包括至少一个附加的步骤以减少这种错误检测的发生和影响。例如，该方法可以实施一种技术（诸如基于状态的模型，例如隐马尔科夫模型）以创建关于初步检测的触摸手势的频率和活跃度的可感测滤波器。控制速率不能任意快（典型地，从现实输入通常预期每秒仅一或两个手势）。此外，设备背景诸如所检测的先前的手势、当前操作模式、当前音量、输出信号水平、诸如取向和噪音的环境条件、以及诸如风或物理移动的正在进行的干扰的检测等可全部用于推断初步检测的手势是用户故意的触摸手势的可能性（并且可选地，也用于推断此时用户最可能打算的手势类型）。
使用基于状态的滤波方法可以改善总体的触摸手势检测可靠性。这种滤波可以利用触摸手势活动的成分和预期速率来滤除不想要的错误检测。例如，隐马尔科夫模型可用于模拟不同的音频手势。特别地，往上或往下滑动手势的动态本质可通过隐马尔科夫模型很好地捕获。
为了改善滑动手势可被分类的可靠性，一些实施例在手势分类期间向模型增加更多的状态信息和限制或者假定。例如，如果观察到可能的滑动手势（像滑动的手势），在确定其是往上滑动还是往下滑动时，处理器6可以利用额外的状态信息，诸如当前预设音量、接收到的讲话水平、当前输出到扬声器的信号水平、以及环境噪音水平。这种信息可对于分类不明确的情形可以是有用的。作为例子，如果环境噪音水平高或者最近增大，则处理器6可编程为增大不确定手势（例如，滑动手势）实际上是意图增加设备音量的手势的可能性（例如，将触发设备音量增大的方向上的滑动手势）。
在很多应用中，偶尔的错误手势检测不是很成问题。例如，在响应于所检测的触摸手势的耳机音量控制的情况中，由于单次错误手势检测而引起的小的音量调整可能不被用户注意到。尽管如此，通常期望将错误检测保持为最少。
通常，触摸手势的错误检测或丢失手势检测极可能发生在非常大声的环境下、在剧烈的风活动期间、或在不期望作为在设备上施加触摸手势的设备操纵期间。如上所述，可以采用合适的滤波以从初步手势评估显著减少噪声。给定该应用，错误触摸手势检测的危险或影响是非常低的，并且因此，任凭明显困难和噪音形式的输入，实践中触摸手势可以提供控制点和可用性而不需要任何附加硬件，这种实施方式的好处远胜于极端情况中任何错误控制的影响。
典型地，本发明的方法还包括响应于每个所识别的触摸手势控制设备或系统的步骤（例如，包括一个或多个麦克风的设备，该麦克风的输出被处理以识别触摸手势，或包括这种设备的系统）。例如，图1的系统的处理器6可配置成通过产生（响应于所检测的触摸手势）用于控制耳机2的扬声器的输出音量的控制信号来执行这种实施例。更一般地，在设备（例如耳机或其它小的音频设备）包括其输出被处理以识别触摸手势的至少一个麦克风的实施例中，所检测的触摸手势可用于低速控制功能（例如，音量控制）。
在本发明的系统包括具有多个麦克风的设备的情形下，设备可具有纹理表面，该表面的纹理在触摸手势期间产生增大的声学或机械振动。这改善了手势检测的可靠性。实现该作用的演示性纹理表面的一个例子是砂纸。对于触摸手势限定而言粗糙表面通常是优选的。
在本发明的包括具有单个麦克风的设备的系统的一些实施例中，由设备的纹理表面提供的空间限定可能有限。麦克风输出信号功率随时间的趋势将给出关于动态手势是朝向还是远离该单个麦克风的指示。然而，这种动态手势的错误识别可通过功率随时间自然降低或增加的其它信号容易地触发。
设备（其包括至少一个输出被处理以识别触摸手势的麦克风）的表面可具有可被有利地使用的特征图案或纹理。这对于单个麦克风的情形是特别有用的。例如，设备的表面可具有重复的小尺寸表面特征（例如，维可牢（velcro）状或拉链状特征）的图案，表面图案的周期横越该设备表面发生变化。这种情况中的触摸手势（由麦克风输出指示）将具有指示性节距范围以及跨越设备的节距趋势，其可用于指示动态手势的方向。
在一些实施例中，由本发明的系统检测的触摸手势包括至少一个由用户的指甲触摸设备的触摸手势，其中该设备包括至少一个其输出被处理以检测手势的麦克风。在一些这种实施例中，通过使用所检测的手势期间产生的麦克风输出信号的适当特征，将用户手指的指甲执行的手势和用户手指的指肚执行的手势区分开（例如，区分可通过分析所检测的手势期间麦克风输出信号的谱包络线来进行）。特别地，需要注意的是指甲制造的手势在更高的频率具有更多的内容。
在一些实施中，二维动态手势（具有跨越设备表面的二维轨迹）被检测和分类。尽管解决方案可能有限，但是可以检测和区分此类独特的动态手势的有用集合。将从本公开显见的是，二维动态手势检测可以使用纹理和麦克风的适当组合以识别可能已产生了检测信号的可能的摩擦手势轨迹。
在一些实施例中，利用麦克风信号活跃度检测（诸如检测当前风的存在）和围绕触摸接口的试探或语法规则的组合来获得与由于故意触摸手势之外的麦克风输入（例如风）引起的错误触摸手势识别相对照的鲁棒性。如对于任何传感接口那样，错误容忍度应当设计到该接口和用户接口聚合体中。在很多应用中，简单手势识别提供控制功能诸如功率和音量控制的健壮且方便的方式。
因为触摸手势一般生成显著的麦克风输出信号，所以它们可能难以在信号用于其常规目的之前从麦克风输出信号去除（在根据本发明的触摸手势识别之后）。虽然一旦触摸手势被识别，就可以应用对麦克风信号（由触摸手势产生）的衰减，但是一般没有足够的时间可用于这样做（而没有不期望地引入等待时间到麦克风输出信号处理中）。实际上，对于多个麦克风的情形，通常存在某些形式的常规噪音或适当的空间声束形成或抑制。触摸手势的接近度和特性响应可通过该处理被基本抑制。即使情况不是这样，许多应用中的触摸手势在设备使用期间（例如在使用蓝牙耳机的通话期间）是不频繁的。触摸手势噪音被限制发生，并且不会比用户在使用期间触摸设备更糟，该用户触摸是系统的其余部分必须容忍的普通且可接受的事件。此外，随后的信号处理可能增加压缩或限制度，从而尽管触摸手势可能显著大于由麦克风信号指示的正常声音信号，但是在随后的处理后，触摸手势的剩余声音会被减弱。以此方式，在普通场合，与设备上的偶尔触摸手势相关的音频的存在不妨碍用于处理和随后的通信的音频使用或其它音频应用。
本发明的普通实施例包括如下各方面：
一种用于包括一个或多个麦克风的设备（例如，紧凑设备）上的触摸手势的识别和分类的系统和方法，其利用至少一个所述麦克风的输出信号的信号特征；
这样的系统和方法，其中该设备包括至少两个麦克风，并且所使用的特征之一为跨越一个或多个频带麦克风信号功率或幅值的比率的趋势（在与手势的预期持续时间相关的时间窗口上），或者其中该设备包括至少一个麦克风，并且所使用的特征之一为在与手势的预期持续时间相关的时间窗口上跨越一个或多个频带的麦克风信号的绝对功率，或者所使用的特征之一是在与手势的预期持续时间相关的时间窗口上对于全部麦克风信号或者跨越一个或更多频带的峰值麦克风信号对平均功率的比率，或者（其中该设备包括麦克风的阵列）特征之一为在与手势的预期持续时间相关的时间窗口上跨越一个或多个频带跨越麦克风阵列的信号的相对相位的趋势，或（其中该设备包括两个麦克风）特征之一为在与手势的预期持续时间相关的时间窗口上对全部信号或者部分滤波的信号带计算的两个麦克风输出信号之间的瞬时时间索引的相互关联的趋势，或特征之一为与设备上所设计的表面纹理相关的节距评估量的趋势，该节距轨迹在与手势的预期持续时间相关的时间窗口上考虑；
这样的系统和方法，其中该设备包括两个麦克风，相对功率谱（从麦克风的输出确定）的特性用于检测和区分手势。为了确定该相对功率谱，确定指示麦克风输出的相对功率（作为时间的函数）的数据，并且对数据执行时域到频域的变换（例如余弦变换或傅立叶变换）；
这样的系统和方法，其中该设备的表面具有纹理或表面处理，其增强了从该设备的至少一个麦克风的输出检测触摸手势的能力；
上述中的任何一种，附加有一组规则，其管理触摸手势的可感测率以及序列以避免错误检测或丢失手势；
上述中的任何一种，附加有信号分析和分类（例如风检测器），其可在某些情况下改变或禁用手势检测以避免错误的触摸手势检测；
上述中的任何一种，其中通过使用适当的空间特征将由用户手指的指甲执行的手势与由用户手指的指肚执行的手势区分开（例如，其中该区分与在所检测的手势期间麦克风输出信号的谱包络线相关）；
上述中的任何一种，使用基于状态的滤波（例如隐马尔科夫模型）以改善触摸手势检测性能（例如，可靠性）；以及
上述中的任何一种，额外使用从设备确定的背景或状态信息，其与触摸手势方向不直接相关（例如，当前设备用户设置、当前信号水平或用户活动、和/或诸如环境噪音水平的其它麦克风输入）。
在一些实施例中，本发明的系统的处理器为可编程数字信号处理器（DSP），其被编程和/或以其它方式配置为对指示至少一个麦克风的输出信号的数据执行处理，包括本发明的方法的实施例的步骤。例如，图1的处理器6可实施为这种适当配置的DSP。备选地，本发明的系统的处理器为可编程通用处理器（例如，PC或其它计算机系统或微处理器，其可包括输入设备和存储器），该处理器用软件或固件编程和/或以其它方式配置（例如，响应于控制数据）为执行包括本发明的方法的实施例的多种操作中的任何一种。例如，图1的处理器6可实施为适当编程的微处理器或其它编程了的通用处理器。配置为执行本发明的方法的实施例的通用处理器典型地耦接至输入设备（例如，鼠标和/或键盘）、存储器和显示设备。
本发明的其它方面为计算机可读介质（例如盘），其存储用于实施本发明的方法的任何实施例或其步骤的代码。
虽然本发明的具体实施例和本发明的应用已经描述于此，但是对本领域普通技术人员而言显然的是，在不脱离这里描述和要求保护的本发明的范围的情况下，对于在此描述的实施例和应用的多种变型是可行的。例如，在此提及的信号（例如麦克风输出信号）的时域和/或频域处理（和/或时域到频域的转换）的示例旨在作为例子，无意将权利要求限制为需要任何权利要求中未明确的具体类型的处理和/或转换。应理解的是，虽然已经显示和描述了本发明的特定形式，但是本发明不限于所描述和显示的特定实施例或所描述的特定方法。

Claims (18)

1.一种用于识别由用户对设备施加的至少一种触摸手势的方法，其中，所述设备是包括至少两个麦克风的耳机，所述麦克风被配置为检测环境声音，所述方法包括如下步骤：
(a)处理该设备的所述麦克风的输出以识别由用户对该设备施加的所述至少一种触摸手势，包括确定所述麦克风中的两个麦克风的输出之间的相互关联峰值，并且，响应于识别所述相互关联峰值随时间的趋势，将至少一种所述触摸手势识别作为用户在该设备上施加的动态手势，其中，所述相互关联峰值是生成最大相互关联值的施加到所述输出之一的时滞，所述相互关联峰值是时间的函数。
2.根据权利要求1所述的方法，还包括如下步骤：
响应于对至少一种所述触摸手势的识别，控制该设备。
3.根据权利要求1所述的方法，还包括如下步骤：
响应于对至少一种所述触摸手势的识别，控制包括该设备的系统。
4.根据权利要求1所述的方法，其中步骤(a)包括处理所述麦克风的输出中的至少一个输出以区分对该设备施加的敲击和对该设备施加的动态手势的预定集合中的每种动态手势的步骤。
5.根据权利要求1所述的方法，其中步骤(a)包括麦克风输出信号分析和分类步骤，该步骤响应于至少一个确定的信号条件改变或禁用触摸手势的检测以避免错误的触摸手势检测。
6.根据权利要求1所述的方法，其中步骤(a)包括区分由用户手指的指甲施加的触摸手势与由用户手指的指肚施加的手势的步骤。
7.根据权利要求1所述的方法，其中步骤(a)包括执行基于状态的滤波以改善触摸手势检测性能的步骤。
8.根据权利要求1所述的方法，其中步骤(a)包括使用从该设备确定的与触摸手势检测不直接相关的背景和状态信息中的至少一个。
9.根据权利要求1所述的方法，其中步骤(a)包括确定所述麦克风的输出中的至少一个输出的峰值功率对平均功率的比率。
10.根据权利要求1所述的方法，其中步骤(a)包括确定所述麦克风中的两个麦克风的输出的功率比，所述功率比是时间的函数。
11.根据权利要求1所述的方法，其中步骤(a)包括确定从所述麦克风中的两个麦克风的输出确定的相对功率谱的特性。
12.根据权利要求1所述的方法，其中步骤(a)包括确定所述相互关联峰值随时间的趋势的倾斜，并且响应于该倾斜，识别相对于所述麦克风之一的动态手势的方向。
13.根据权利要求1所述的方法，其中该设备具有表面纹理，并且，步骤(a)包括从该输出确定与该表面纹理相关的节距评估量的趋势。
14.一种用于识别由用户对设备施加的至少一种触摸手势的方法，其中该设备是包括至少两个麦克风的耳机，所述方法包括如下步骤：
(a)处理所述麦克风的输出以识别由用户对该设备施加的所述至少一种触摸手势，包括确定所述麦克风中的两个麦克风的输出之间的相互关联峰值，并且，响应于识别所述相互关联峰值随时间的趋势以及随时间的所述趋势的倾斜，识别至少一种所述触摸手势作为用户在该设备上施加的滑动手势，其中，所述相互关联峰值是生成最大相互关联值的施加到所述输出之一的时滞，所述相互关联峰值是时间的函数。
15.根据权利要求14所述的方法，其中步骤(a)包括区分由用户对该设备施加的敲击和由用户对该设备施加的至少一种动态手势的步骤。
16.根据权利要求14所述的方法，还包括如下步骤：
响应于对至少一种所述触摸手势的识别，控制该设备或包括该设备的系统。
17.一种用于检测环境声音和触摸手势的系统，所述系统包括：
设备，包括至少两个麦克风，该至少两个麦克风配置为检测环境声音，其中，所述设备是耳机；以及
处理器，耦接且配置为处理所述麦克风的输出从而识别由用户对该设备施加的至少一种触摸手势，包括确定所述麦克风中的两个麦克风的输出之间的相互关联峰值，并且，响应于识别所述相互关联峰值随时间的趋势，将至少一种所述触摸手势识别作为用户在该设备上施加的动态手势，其中，所述相互关联峰值是生成最大相互关联值的施加到所述输出之一的时滞，所述相互关联峰值是时间的函数。
18.根据权利要求17所述的系统，其中该处理器耦接且配置为确定所述相互关联峰值随时间的趋势的倾斜，并且响应于该倾斜，识别相对于所述麦克风之一的动态手势的方向。
CN201210250319.0A 2011-07-19 2012-07-19 用于响应于麦克风输出的触摸手势检测的方法和系统 Active CN102890557B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161509199P 2011-07-19 2011-07-19
US61/509,199 2011-07-19

Publications (2)

Publication Number Publication Date
CN102890557A CN102890557A (zh) 2013-01-23
CN102890557B true CN102890557B (zh) 2016-01-13

Family

ID=47534078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210250319.0A Active CN102890557B (zh) 2011-07-19 2012-07-19 用于响应于麦克风输出的触摸手势检测的方法和系统

Country Status (2)

Country Link
US (1) US9042571B2 (zh)
CN (1) CN102890557B (zh)

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8907867B2 (en) * 2012-03-21 2014-12-09 Google Inc. Don and doff sensing using capacitive sensors
US9632683B2 (en) * 2012-11-08 2017-04-25 Nokia Technologies Oy Methods, apparatuses and computer program products for manipulating characteristics of audio objects by using directional gestures
US9717459B2 (en) 2013-03-04 2017-08-01 Anne Bibiana Sereno Touch sensitive system and method for cognitive and behavioral testing and evaluation
US9423913B2 (en) 2013-07-01 2016-08-23 Blackberry Limited Performance control of ambient light sensors
US9256290B2 (en) 2013-07-01 2016-02-09 Blackberry Limited Gesture detection using ambient light sensors
US9367137B2 (en) 2013-07-01 2016-06-14 Blackberry Limited Alarm operation by touch-less gesture
US9489051B2 (en) 2013-07-01 2016-11-08 Blackberry Limited Display navigation using touch-less gestures
US9323336B2 (en) 2013-07-01 2016-04-26 Blackberry Limited Gesture detection using ambient light sensors
US9398221B2 (en) 2013-07-01 2016-07-19 Blackberry Limited Camera control using ambient light sensors
US9342671B2 (en) 2013-07-01 2016-05-17 Blackberry Limited Password by touch-less gesture
US9405461B2 (en) 2013-07-09 2016-08-02 Blackberry Limited Operating a device using touchless and touchscreen gestures
US9465448B2 (en) 2013-07-24 2016-10-11 Blackberry Limited Backlight for touchless gesture detection
US9304596B2 (en) 2013-07-24 2016-04-05 Blackberry Limited Backlight for touchless gesture detection
US10013113B2 (en) 2013-08-19 2018-07-03 Touchsensor Technologies, Llc Capacitive sensor filtering apparatus, method, and system
MX350081B (es) 2013-08-19 2017-08-25 Touchsensor Tech Llc Método de filtración de sensor capacitivo.
US9569054B2 (en) 2013-08-19 2017-02-14 Touchsensor Technologies, Llc Capacitive sensor filtering apparatus, method, and system
US9194741B2 (en) 2013-09-06 2015-11-24 Blackberry Limited Device having light intensity measurement in presence of shadows
CN103680501B (zh) * 2013-12-23 2016-09-14 惠州Tcl移动通信有限公司 根据声音变化规律进行手势识别的方法、系统及手机
US20170026735A1 (en) * 2014-03-31 2017-01-26 Harman International Industries, Incorporated Gesture control earphone
US9232331B2 (en) 2014-05-08 2016-01-05 Microsoft Technology Licensing, Llc Hand-worn device for surface gesture input
EP2945398B1 (en) * 2014-05-15 2017-10-11 Nxp B.V. Motion sensor
CN103956164A (zh) * 2014-05-20 2014-07-30 苏州思必驰信息科技有限公司 一种声音唤醒方法及系统
US9594427B2 (en) 2014-05-23 2017-03-14 Microsoft Technology Licensing, Llc Finger tracking
US10222973B2 (en) * 2014-05-30 2019-03-05 Sonova Ag Method for controlling a hearing device via touch gestures, a touch gesture controllable hearing device and a method for fitting a touch gesture controllable hearing device
US9582076B2 (en) 2014-09-17 2017-02-28 Microsoft Technology Licensing, Llc Smart ring
CN104618831A (zh) * 2015-01-27 2015-05-13 深圳市百泰实业有限公司 无线智能耳机
GB2536208A (en) * 2015-03-03 2016-09-14 Soundchip Sa Earphone
US9609436B2 (en) 2015-05-22 2017-03-28 Microsoft Technology Licensing, Llc Systems and methods for audio creation and delivery
US10409394B2 (en) * 2015-08-29 2019-09-10 Bragi GmbH Gesture based control system based upon device orientation system and method
US9930440B2 (en) 2015-12-18 2018-03-27 Bose Corporation Acoustic noise reduction audio system having tap control
US10091573B2 (en) 2015-12-18 2018-10-02 Bose Corporation Method of controlling an acoustic noise reduction audio system by user taps
US9743170B2 (en) 2015-12-18 2017-08-22 Bose Corporation Acoustic noise reduction audio system having tap control
US10110987B2 (en) * 2015-12-18 2018-10-23 Bose Corporation Method of controlling an acoustic noise reduction audio system by user taps
US9939891B2 (en) * 2015-12-21 2018-04-10 Bragi GmbH Voice dictation systems using earpiece microphone system and method
CN107407805A (zh) * 2015-12-30 2017-11-28 深圳市柔宇科技有限公司 头戴式显示设备及其控制方法
US10055621B2 (en) * 2016-04-06 2018-08-21 Agex, Inc. Agriculture exchange
US10587945B2 (en) * 2016-04-11 2020-03-10 Sony Corporation Headphone, reproduction control method, and program
US10747337B2 (en) * 2016-04-26 2020-08-18 Bragi GmbH Mechanical detection of a touch movement using a sensor and a special surface pattern system and method
CN107491254A (zh) * 2016-06-13 2017-12-19 中兴通讯股份有限公司 一种手势操作方法、装置和移动终端
CN106095203B (zh) * 2016-07-21 2019-07-09 范思慧 感测触摸声音作为用户手势输入的计算设备及方法
US10477328B2 (en) * 2016-08-01 2019-11-12 Qualcomm Incorporated Audio-based device control
US10291975B2 (en) 2016-09-06 2019-05-14 Apple Inc. Wireless ear buds
GB2560878B (en) * 2017-02-24 2021-10-27 Google Llc A panel loudspeaker controller and a panel loudspeaker
CN107094274B (zh) * 2017-06-28 2019-08-20 歌尔科技有限公司 一种无线耳机操作方法、装置及无线耳机
EP3662465B1 (en) * 2017-08-03 2021-07-07 Bose Corporation Method of controlling an acoustic noise reduction audio system by user taps
CN109753191B (zh) * 2017-11-03 2022-07-26 迪尔阿扣基金两合公司 一种声学触控系统
US10157628B1 (en) * 2017-11-07 2018-12-18 Fortemedia, Inc. Sound identification device with microphone array
US10354641B1 (en) * 2018-02-13 2019-07-16 Bose Corporation Acoustic noise reduction audio system having tap control
KR102606766B1 (ko) 2018-06-01 2023-11-28 삼성전자주식회사 Em 센서 및 이를 포함하는 모바일 기기
US11009989B2 (en) * 2018-08-21 2021-05-18 Qeexo, Co. Recognizing and rejecting unintentional touch events associated with a touch sensitive device
EP3627854B1 (en) * 2018-09-18 2023-06-07 Sonova AG Method for operating a hearing system and hearing system comprising two hearing devices
US10789935B2 (en) 2019-01-08 2020-09-29 Cisco Technology, Inc. Mechanical touch noise control
CN209462561U (zh) * 2019-02-20 2019-10-01 深圳市冠旭电子股份有限公司 一种无按键控制装置及耳机
CN109769193B (zh) * 2019-02-27 2021-06-18 重庆邮电大学 一种基于峰均比和均值筛选的在线扬声器故障诊断系统
US10969873B2 (en) * 2019-04-12 2021-04-06 Dell Products L P Detecting vibrations generated by a swipe gesture
US11360567B2 (en) * 2019-06-27 2022-06-14 Dsp Group Ltd. Interacting with a true wireless headset
CN110784788A (zh) * 2019-09-18 2020-02-11 广东思派康电子科技有限公司 一种基于麦克风实现的手势识别方法
US11039250B2 (en) * 2019-09-20 2021-06-15 Peiker Acustic Gmbh System, method, and computer readable storage medium for controlling an in car communication system
US10911881B1 (en) * 2019-09-25 2021-02-02 Amazon Technologies, Inc. Inter-channel level difference based acoustic tap detection
TWI740277B (zh) * 2019-11-19 2021-09-21 美律實業股份有限公司 耳機裝置
CN111741389B (zh) * 2020-02-20 2022-07-22 珠海市杰理科技股份有限公司 真无线耳机及其触摸实现操作控制的方法、装置和系统
CN111370026A (zh) * 2020-02-25 2020-07-03 维沃移动通信有限公司 设备状态检测方法及电子设备
MX2022013115A (es) * 2020-04-20 2022-11-14 Polaris Inc Sistemas y metodos para comunicar informacion.
US11527232B2 (en) * 2021-01-13 2022-12-13 Apple Inc. Applying noise suppression to remote and local microphone signals
CN114296544A (zh) * 2021-11-15 2022-04-08 北京理工大学 一种基于多通道音频采集装置的手势交互系统及方法
CN114371796A (zh) * 2022-01-10 2022-04-19 上海深聪半导体有限责任公司 一种识别触摸位置的方法、设备和存储介质
WO2024029728A1 (ko) * 2022-08-02 2024-02-08 삼성전자주식회사 터치 인식을 위한 웨어러블 전자 장치, 그 동작 방법 및 저장 매체

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102016756A (zh) * 2008-04-21 2011-04-13 卡尔蔡司工业测量技术有限公司 根据对使用者手势的感测来显示工件测量结果

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001142641A (ja) 1999-11-15 2001-05-25 Pioneer Electronic Corp タッチパネル装置
GB9928682D0 (en) 1999-12-06 2000-02-02 Electrotextiles Comp Ltd Input apparatus and a method of generating control signals
JP2001318691A (ja) 2000-05-09 2001-11-16 Fuji Xerox Co Ltd 個人識別装置
SE519254C2 (sv) 2001-03-15 2003-02-04 Ulf Parke Anordning och förfarande för att medelst munhålan styra en markör på en bildskärm
US7643015B2 (en) * 2002-05-24 2010-01-05 Massachusetts Institute Of Technology Systems and methods for tracking impacts
EP1618759A1 (en) 2003-04-18 2006-01-25 Koninklijke Philips Electronics N.V. Personal audio system with earpiece remote controller
JP2007532055A (ja) 2004-04-05 2007-11-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ娯楽システム、装置、方法及びコンピュータプログラム
WO2006076217A2 (en) * 2005-01-10 2006-07-20 Herman Miller, Inc. Method and apparatus of overlapping and summing speech for an output that disrupts speech
WO2006075275A1 (en) 2005-01-12 2006-07-20 Koninklijke Philips Electronics N.V. Audio entertainment system, method, computer program product
US20080130910A1 (en) 2006-11-30 2008-06-05 Motorola, Inc. Gestural user interface devices and methods for an accessory to a wireless communication device
JP2010187218A (ja) 2009-02-12 2010-08-26 Sony Corp 制御装置、制御方法及び制御プログラム
US8687816B2 (en) * 2009-06-30 2014-04-01 Nokia Corporation Signal processing
US20110096036A1 (en) * 2009-10-23 2011-04-28 Mcintosh Jason Method and device for an acoustic sensor switch
US8421634B2 (en) * 2009-12-04 2013-04-16 Microsoft Corporation Sensing mechanical energy to appropriate the body for data input

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102016756A (zh) * 2008-04-21 2011-04-13 卡尔蔡司工业测量技术有限公司 根据对使用者手势的感测来显示工件测量结果

Also Published As

Publication number Publication date
US20130022214A1 (en) 2013-01-24
CN102890557A (zh) 2013-01-23
US9042571B2 (en) 2015-05-26

Similar Documents

Publication Publication Date Title
CN102890557B (zh) 用于响应于麦克风输出的触摸手势检测的方法和系统
JP5789270B2 (ja) 表面音響信号を用いたユーザインタフェース提供装置及び方法、ユーザインタフェースを備えるデバイス
US11587579B2 (en) Vowel sensing voice activity detector
US11175698B2 (en) Methods and systems for processing touch inputs based on touch type and touch intensity
EP2637167A1 (en) Endpoint detection apparatus for sound source and method thereof
Pillos et al. A Real-Time Environmental Sound Recognition System for the Android OS.
US20150310878A1 (en) Method and apparatus for determining emotion information from user voice
US11138987B2 (en) System and method to distinguish sources in a multiple audio source environment
CN104637489A (zh) 声音信号处理的方法和装置
EP3065043A1 (en) Mobile device
Luo et al. HCI on the table: robust gesture recognition using acoustic sensing in your hand
EP2990914A1 (en) User interaction with an apparatus using a location sensor and microphone signal(s)
KR20110065095A (ko) 디바이스를 제어하는 방법 및 그 장치
CN105788590B (zh) 语音识别方法及装置、移动终端
US20170154639A1 (en) Information processing apparatus, computer readable storage medium, and information processing method
JP5673351B2 (ja) 体動検出装置、体動検出方法及び体動検出プログラム
JP2008051516A (ja) 触覚検出装置
WO2023125534A1 (zh) 一种输入检测装置、系统及其相关设备
Kirby et al. HearHere: smartphone based audio localization using time difference of arrival
Gangatharan Activity Recognition On Unmodified Consumer Smartphones Via Active Ultrasonic Sensing
TR201905862A2 (tr) Bir dokunma tespit usulü.
JP2016173687A (ja) 情報受付システム、プログラムおよび情報入力方法
JP2014056165A (ja) 判定装置、判定方法、音声認識装置及びコンピュータプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant