CN102132227A - 用于对姿势的多维评估的系统和方法 - Google Patents

用于对姿势的多维评估的系统和方法 Download PDF

Info

Publication number
CN102132227A
CN102132227A CN2009801192699A CN200980119269A CN102132227A CN 102132227 A CN102132227 A CN 102132227A CN 2009801192699 A CN2009801192699 A CN 2009801192699A CN 200980119269 A CN200980119269 A CN 200980119269A CN 102132227 A CN102132227 A CN 102132227A
Authority
CN
China
Prior art keywords
posture
signal
described method
sensor
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801192699A
Other languages
English (en)
Other versions
CN102132227B (zh
Inventor
沃尔夫冈·里克特
罗兰·安鲍尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microchip Technology Germany GmbH
Original Assignee
Ident Technology AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ident Technology AG filed Critical Ident Technology AG
Publication of CN102132227A publication Critical patent/CN102132227A/zh
Application granted granted Critical
Publication of CN102132227B publication Critical patent/CN102132227B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Abstract

本发明涉及一种通过姿势生成控制信号的系统和方法,所述姿势具体为由用户相对于检测设备做出的手和/或手指姿势。本发明的目的是找到允许使用尽可能少的硬件可靠检测并解释姿势、并且可靠处理大范围的输入姿势的技术方案。根据本发明的第一实施例,通过一种用于对通过由用户相对于检测设备做出的、并且与其手或手指的空间运动相关的手姿势生成的输入信号实施信号处理的方法来实现该目的,其中,以输入信号表示频带包括语音识别系统可取得的音频信号的频带的传递信号的方式来生成或变换输入信号。经由语音识别系统使用所述传递信号来解释手姿势。

Description

用于对姿势的多维评估的系统和方法
技术领域
本发明涉及一种用于基于姿势生成控制信号的系统和方法,所述姿势具体地为由与检测设备面对面的用户执行的手和/或手指姿势。
背景技术
由本申请人提交的国际专利申请PCT/EP2007/00355[WO/2007/085367]公开了一种车辆控制系统,其包括电极布置,通过该电极布置可以检测驾驶者的手或乘客的手之一的空间运动,基于该运动,可以启动切换和输入操作,例如用于操作导航设备。
同样由本申请人提交的德国专利申请DE 10 2007 016 408.6公开了一种移动电话,其配备有传感器设备,通过该传感器设备可以经由用户的手指以非接触的方式进行输入操作。
另外,由本申请人提交的德国专利申请DE 10 2007 039 163.5公开了一种计算机鼠标,其允许通过相对于该计算机鼠标的手姿势来执行鼠标和菜单控制功能。
德国专利申请DE 10 2008 009 956.2以及由本申请人提交的德国专利申请DE 10 2007 036 636.3公开了一种配备有多个电极的玩偶,通过所述多个电极,可以检测玩玩偶的孩子相对于该玩偶的姿势,由此操作该玩偶的语言回放功能,并且可选地激活该玩偶的机电组件。该技术使得可以开发不单调的、与玩具进行的特别逼真的对话。
在上述系统中,基于场电交互效应,检测手相对于该检测系统的空间运动。为此目的,该检测系统配备有电极,所述电极被集成到LC网络中并且递送用于提供关于手和电极之间的间距的信息的信号。可以使用这些信号来计算姿势的路径。继而可以依据所计算的路径来确定姿势。
可以通过电子电路来进行距离和路径信息的计算,在该电子电路中,特征姿势路径被存储在电子存储器中。
发明内容
本发明的目的是建立如下的技术方案,其允许以最低可能的硬件成本来管理姿势的可靠检测和解释、以及可靠地处理大范围的输入姿势。
根据本发明的第一方面,通过以下方法来实现该目的,所述方法对被作为由用户相对于检测系统执行的、并且与手或其手指的空间运动相关的手姿势而生成的输入信号进行信号处理,并且以使所述输入信号组成频带包括语言识别系统可取得的声音信号的频带的传递信号的方式来生成或变换所述输入信号,并且基于所述传递信号,对手姿势的解释经由语言识别系统而发生。
因此,变得可以以有利的方式使用针对语音识别领域所开发的经过验证的电路和分析系统来检测并分析姿势。这里,其中针对语音识别所开发的概念和芯片组被专用于姿势识别的应用是可能的。语音识别系统也可能配备有姿势识别功能,麦克风输入也可以直接用作为姿势信号的输入。可以在普通计算机系统以及其中可以以相对低的附加硬件费用来实现语言识别的其他系统(具体为微处理器)中,实现根据本发明的用于将姿势路径转换为类似声音的(sound-like)序列的概念。可以以如下方式来生成根据本发明所生成的类似声音的序列:在适当的系统中,利用中间插头将所述类似声音的序列耦合到该系统的声学输入中,并且可选地与麦克风信号叠加。该概念允许以特别有利的方式将语言识别程序扩展为包括姿势解释功能。被提供用于获取姿势和/或用于检测做手势的手(或可选地仅手指)的空间运动的检测电极可以具体地被集成到头戴式耳机、键盘、鼠标垫、计算机鼠标或者甚至监视器框架中。检测电极还可以被集成到适合作为用于姿势检测的典型参考点的其他结构中。在汽车领域中,控制面板、方向盘、中央控制台以及车门衬里(lining)的区域中的结构尤其适合于该目的。
根据本发明的传感器设备还可以被构造为使得其可以检测占绝大多数的(predominately)静止姿势(例如,静止的手形),并且可以将该姿势转换为明显不同的声音序列。这种静止姿势可以被体现为例如“平展的手”、“伸出拇指的拳头”或“胜利手势”。可以基于在静止阶段期间生成的传感器信号,对于这些静止姿势而生成某种声音序列。静止姿势的结构和分解的典型的运动序列也可以被再现为声音,并且在识别姿势时被考虑。
通过将与姿势相关的路径信号转换为类似声音的信号序列,姿势信息也变得可以在声音数据的频率范围内,在电信和VoIP系统上传送。姿势信息因此也可以被操作者(即处于远程位置的做手势的用户)使用语音传送系统得到。根据本发明的概念还允许将手势语言转换为基于声音的语言。
可以使用教示处理来计算各种姿势的识别模式,或者甚至关于某些路径计算各种姿势的识别模式,并且可以将各种姿势的识别模式保存用以分析。
根据本发明,借助于检测器检测由生物(优选地为人类)做出的姿势,并且将其转换为音调序列(声音序列)。然后可以使用当前的语音或声音处理方法来分析并评估这些音调序列。可以可选地以并行的方式在相同信道上将口头上的口述(spoken)命令包括在该处理中,并且可以将口头上的口述命令与姿势一起分析、独立地分析、或者一个接一个地分析。
优选地,在与语音输入相同的频带中生成由姿势识别电路生成的音调序列,使得也可以使用在语音处理中使用的滤波方法。然而,也可以选择例如转移(displace)到所处理的频率范围的边缘区域的另一频率范围。以类似于或者等同于口述命令的方式,然后可以将姿势训练到系统中,并且在所述姿势返回时可以以保存在例如表格中的函数来表达所述姿势。因此,直至姿势/音调序列转换器,可以使用与语音处理中相同的硬件和软件,与分离的操作系统相比在经济性和电路方面表现出优势。这里,可以以某一时间间隔在检测设备前面以空间方式执行所讨论的姿势,并且所述姿势在很大程度上不依赖于用户。
原理上,根据本发明的概念适合于大多数各种各样的姿势检测技术,诸如光学的、电容性的、或图像处理技术。姿势检测按序列发生、以及可对于每个序列产生特定音调是有利的。因此,简单或复杂的姿势将产生具有较长或较短持续时间的各种各样的音调序列。因为无人能够以精确相同的方式输入相同姿势,因此该系统优选地具有容限(tolerant)识别,其优选地基于程序。根据本发明,具体地,如果根据本发明的、与姿势(具体地为姿势路径)相关的音调序列具有与口述单词或语句相似的特征,则可以使用在软件系统中提供的识别和解释过程来提供适当的软件。
获取姿势信号
优选地借助于一个或多个电容性(电场)传感器来获取姿势信号。这些传感器优选地被构造为使得它们检测人为产生的电场中的改变,并且由此相应地发送与手或手指的位置或运动充分紧密相关的信号。
优选地对姿势信号进行预处理。该预处理可以有利地与已经被识别的姿势协调。姿势检测可以通过将由(多个)传感器提供的信号(或者在优选地使用多个传感器的情况下的多个信号)分离(split)/多路解复用而发生。
优选地解释姿势如下:对于至少两个(优选地为三个)空间坐标生成传感器信号。优选地在多信道测量系统中获得这些传感器信号;可以以并行的多信道方式或者以时间多路复用来捕获传感器信号。还可以以时间多路复用或甚至频率多路复用来激励该系统。
来自各种传感器信道的载波调制的(电极接收的)信号的转换可以具体地通过低频接收信号中的包络线检测和/或整流(rectification)以及低通滤波(运动频率<低通频率<载波频率)而发生,所述低频接收信号的幅度与到接收传感器的接近度(proximity)/与接收传感器的距离成比例。
可以借助于以下方法的一种或多种组合来识别姿势开始和姿势结束。
a)接近度检测:当至少一个传感器信号超过或低于某一电平时,将来自电场传感器的信号识别为姿势,所述电平可以被预先确定或者以自适应方式自设置。
b)运动检测:将具有最小变化速度的、来自电场传感器的信号识别为姿势。为此目的,建立这些信号的数学导数是有利的。作为替代,也可以执行对应于该导数的高通滤波操作。
c)也可以组合地执行上面讨论的测量a)和b)。
根据本发明的尤为优选的实施例,例如通过从各个相应传感器信号中减去所有传感器信号的平均时间值和/或直流信号部分,来标准化(normalize)姿势信号。
此外,可以执行对所检测的传感器信号的坐标变换,使得将对应姿势映射到空间参考平面中。此姿势参考平面优选地基本上与电极表面平行并且与传感器轴垂直,使得对应姿势总是被映射在距传感器原点一定距离处。姿势所跨越的表面的中心有利地位于传感器轴上。
如此变换的多维传感器信号的转换优选地通过到适当音调序列的电压-频率变换(例如VCO)而发生,使得将各个(典型地为3个)传感器信号转换为要分析的单个姿势信号(一个信道)中,其中,所述适当音调序列位于50Hz-8000Hz或300-3400Hz(电话带范围)的典型口述频率范围中。在下一步骤中,提供该姿势信号用于分析。
可以将传感器信号生成为时间多路复用信号。借助于VCO转换进行的传感器信号的转换或变换优选地导致这样的信号,即,每个信号处于语音频率范围内的不同频带中。
姿势识别
类似语音识别器中的单词识别,姿势的识别优选地使用DTW(动态时间规整)模式识别器识别全部姿势而发生。这些识别器类型的特征在于:在被类似地执行的姿势之中的选择性,其对于许多应用是足够的;以及因此识别比率,其对于具有相对明显的姿势的较小范围的姿势而言是足够的。
作为对于上面提及的DTW模式识别的替代,还可以使用隐马尔科夫模型(HMM)识别器的方法,其也被已知为语音识别概念。在该类型的语音识别中,将单词划分为语音的音素、原子、准静态声音。类似地,将姿势划分为由HMM中的状态表示的姿势片段。可以将姿势的任何部分用作姿势片段,即,优选地,手指、手和/或手臂的任何给定姿势,具体地为直线或弯曲运动、定向的改变(例如手的旋转)、形状的改变(例如张开手)、以及这些改变的任何导出和集合形式(运动长度、速度等)。一个接一个独立地识别这些姿势片段,并且由HMM识别器将这些姿势片段分配回到(在训练或描述处理中)已经定义的相关联的总姿势(对于该示例:L姿势)中。
此外,根据本发明的作为类似声音的信号序列并且与手姿势相关而生成的信号也可以以类似于语音识别(音素分类器)的方式被神经网络识别器和姿势片段分类器分析。
上面提及的测量、以及其他已知的语音识别方法也可以组合地进行,以用于分析并由此解释作为类似声音的信号序列而生成的信号序列的目的。
3.训练和识别阶段之间的差别
要识别的姿势优选地被训练至少一次(优选地多次),并且作为参考模式而被存储在姿势识别器中。优选地拒绝在训练期间被识别为太困难的具有相同含义的姿势。未被拒绝的、并且充分类似并由此不同的姿势可以通过将对应的参考信号取平均而组合。
作为对于训练处理的替代,可以做出例如基于鼠标/菜单的参考姿势的图形输入(从右到左、从底部向上、圆形的箭头等)。可以计算对应于这些输入姿势的预期传感器信号,并将其作为参考模式而存储在姿势识别器中。
识别阶段
在识别阶段期间,将姿势信号与存储在训练/描述处理中的参考信号模式进行比较,并且返回最有可能的姿势。如果姿势信号与所有参考信号偏离太远,则返回“未识别”。这里,取决于该偏离,可以定义阈值,借助于该阈值,可以取决于应用而适配检测误差(所识别的姿势被不正确地分配)和错误拒绝(“遗漏”)(未识别并拒绝的姿势)的概率。
在HMM识别器中,优选地使用维特比算法进行对最佳姿势的搜索。
根据本发明的概念允许将姿势信号提供给语音识别系统,并且通过已经针对语音识别而开发的识别方法以惊人地有效的方式对其进行评估。使用在高达近似100kHz的范围中的低频电场的传感器(电场传感器)允许在典型地距检测电极高达50cm的距离处对运动的肯定识别。
优选地将三个电极用于姿势的空间映射,所述电极提供三个音调基值(tone contribution),每个与距离改变的动态相关。为了还能够具体地识别手的形状,以及为了增加总的分辨率,并且可选地建立一定水平的冗余度,有利的是:使用多于三个电极,从而关于坐标而建立了可选地构造过度的(overbuilt)系统。
附图说明
在下面结合附图的描述中可以看到本发明的附加细节和特征,在附图中:
图1示意性地示出了根据本发明的姿势识别概念,其中,通过三个发送电极和一个接收电极获取手的空间运动,并且以使得语音识别系统可以足够清楚地识别信号的方式来生成或修改经由该接收电极获取的信号;
图2示例性地示出了根据本发明的另一姿势识别概念;
图3是根据本发明的获取电路的照片,借助于该获取电路,可以生成与相对于电极布置而做出的姿势相关的类似声音的信号;
图4是示出根据图3的获取电路的结构的电路图;
图5是示出要借助于图形输入识别的姿势的存储的框图;
图6是示出处于学习模式的具有多个发送器和一个接收器的示例系统的框图;
图7是示出处于学习模式的具有多个接收器和一个发送器的示例系统的框图;
图8是示出处于识别模式的具有多个发送器和一个接收器的另外的示例系统的框图;
图9是示出处于识别模式的具有一个发送器和多个接收器的另外的示例系统的框图;
图10示出了具有姿势识别设备的计算机系统,在所述姿势识别设备中,姿势信号被耦合到麦克风输入中,并且经由具有扩展的词汇表的语音识别程序管理姿势识别;
图11示意性地示出根据本发明的、用于生成与姿势的轮廓和动态相关的类似声音的信号的概念的附加细节,所述信号被具有可容易扩展的词汇表的语音识别系统识别。
具体实施方式
图1示出了根据本发明的电路的第一变型。基本合适并且被配备用于语音处理的电子组件(例如,组件RSC 4128)包括可编程控制器。该控制器通过固件管理以在至少一个I/O端口处产生交变信号(1-0序列)。该信号可以例如通过发光二极管光学地发出,或者例如在耦合表面上以电容性方式发出。在后者情况下,其产生交变电场。优选地配备有跨阻抗放大器的检测器可以接收该场或者源自发光二极管的光。该场被转换为操作压控振荡器VCO的直流电流。例如通过人的肢体进入检测区域引起的电场的光强度的改变使音调的音高改变,其可能降低或升高。如果仅短暂地(例如40毫妙)激活对应的控制器引脚,则音调的改变将仅在该时段期间发生。最终,所讨论的VCO可以经由另一I/O引脚而接通或关断,使得在空闲时段期间听不到音调。按照接近度产生的音调序列被发送到原本被提供用于语音处理的分析电路,该分析电路典型地将硬件和软件的组合优选地包括在也产生该场或光信号的相同芯片中。如果期望捕获多维,则根据需要提供几个场产生电极或发光二极管。这可以借助于相同控制器的、可以一个接一个地(=序列)被激活的其他I/O引脚来实现。
根据本发明,借助于本身已知的用于语音处理的分析技术,根据本发明而发生信号处理和分析。根据本发明,将这些语音识别技术用于姿势识别:首先生成与姿势相关的类似于语音的类似声音的信号序列。对这些类似声音的信号序列的分析相对可靠,这是因为可以生成音调,使得它们听起来更像元音序列,而且可以忽略辅音和齿擦音(尽管不要求它们这样)。因此,还可以将口头命令和姿势命令彼此混合,并且可以同时或一个接一个地执行它们。借助于神经网络或其他学习算法,可以训练这样的系统并且可以调节容限阈值(tolerance threshold)。
在图1所示的电子组件中,例如三个场产生电极被耦合到其I/O端口(例如铜表面)。场接收电极Ein位于场产生电极附近。该场接收电极被示出在缓冲器(例如跨阻抗放大器)、随后的包括二极管和电容器的整流器电路以及压控振荡器(VCO,这里为尖脉冲发生器)上。借助于该电路,可以产生音调的序列,该音调的音高按照接近度(优选地为人的肢体的接近度)而改变。借助于序列发生器电路(软件或硬件),然后具体地利用包含1-0序列的交变场一个接一个地激活各个电极表面E1到E3,其中所述1-0序列具有例如一次20毫秒的100kHz的时间长度。产生交变电场。肢体插入可以减弱到输入电极Ke的场,或者充当旁路。两种效果都改变所连接的VCO的音高,所连接的VCO的输出被返回到芯片,其中集成了语音处理。以此方式,可以以简单的方式训练并评估运动序列。在相同输入(或者不同输入)处,也可以连接以相同方式处理口述命令的麦克风。
图2示出了具有晶体管的检测器的简单实施例。根据需要,该电路也可以被集成到芯片中,并且例如,仅充电电容器可被外部地附接。VCO还可以作为软件功能而在芯片中实现。
本发明可以以极其划算的方式实现,并且尤其适合于集成到玩具中,使得它们可以受语音和姿势控制,并且以便以持久的方式提高玩具的娱乐性。用户总是能够训练新的语音命令和/或姿势。
然而,本发明也适合于技术应用、文本和数据处理的领域、以及通信设备。例如,这类布置可以安装在家用电器中,例如在烘干机的筒内部。在放入衣物时产生与例如在孩子(或动物)爬入该筒中并且绕内部移动时不同的信号序列。另外,本发明也对声音敏感。因此,可以在家用电器内部的生物被该电器的操作伤害之前,识别出所述生物。借助于该电路,还可以(在间歇操作的情况下)仅利用某种口头命令或可定义的姿势将其从睡眠模式中唤醒、并且/或者将其激活(唤醒电路)。
这里描述的电极布置还可以被集成到家具中,以便例如分析与家具相结合的坐姿或姿势、或者对口头命令做出反应,例如可调节按摩台等。
借助于本发明,可以使得导航设备更容易操作。由姿势进行的定位和控制甚至允许缩放功能,这在驾驶时通过触摸屏难以实现。如果多个人希望操作这种系统,则可以提供依赖于用户的命令,或者可以分析所插入的姿势所源自的方向。
本发明可以有利地被用于较昂贵的各个电路由于它们的高成本而不能被使用的任何场合。
图5到图9的框图本身是解释性的。图5示出了用于呈现要通过图形输入识别的姿势的存储的框图。图6示出了用于呈现处于学习模式的具有多个发送器和一个接收器的示例系统的框图。图7示出了用于呈现处于学习模式的具有多个接收器和一个发送器的示例系统的框图。图8示出了用于呈现处于识别模式的具有多个发送器和一个接收器的另外的示例系统的框图。图9示出了用于呈现处于识别模式的具有一个发送器和多个接收器的另外的示例系统的框图。
作为对上面描述的具有多个发送器和一个接收器或者具有多个接收器和一个发送器的检测技术的替代,各个电极还可以以交替方式被操作为发送器和接收器,并且可以以对应地调制后的类似声音的信号的形式,输出在用作发送器和接收器的相应电极之间的绕开程度(degree of bypass)、和/或绕开程度的改变。
图10示出了包括配备有姿势传感器的计算机鼠标1和同样配备有姿势传感器的头戴式耳机2的电子数据处理系统。由计算机鼠标1生成的信号和由头戴式耳机2生成的信号被转换为类似声音的信号并且被直接发送到PC的声卡3的输入,其中,所述信号表示手H在三个空间方向x、y、z上的运动。鼠标插头4在这里被实现为中间插头,从而头戴式耳机插头同样可以附接到该中间插头。USB插头6也连接到鼠标插头4,从而可以以本身已知的方式将鼠标运动发送到PC系统7。
为了更好理解的目的,作为对这里示出的电缆的替代,与PC系统的通信也可以无线地发生。根据本发明的姿势捕获设备也可以集成到PC的其他外设中,例如,诸如监视器或触控板,或者在笔记本的情况下,例如根据本发明的姿势捕获设备也可以直接集成到PC中。
可以以系统确定使用哪个姿势输入设备来输入姿势的方式来调整系统。可以向每个姿势输入设备分配某些功能。例如,鼠标姿势传感器设备可以主要用于文档或数据内的导航。头戴式耳机姿势传感器设备可以具体地用于调整文本格式化、以及标点符号和修正。可以可选地同时操作这两种姿势传感器设备。鼠标姿势传感器设备可以例如经由在精细的运动技能方面更擅长的手(绝大多数为右手)被控制。余下的空闲的手可以被用来控制第二姿势传感器设备,例如头戴式耳机姿势传感器设备。可以将某些姿势(例如,以相对于鼠标姿势传感器设备的距离的直线改变的形式的简单姿势)作为连续的音调信号而传送,而当识别出姿势完成特征时,可以利用一定延迟将具有明显路径和动态特征的更复杂的姿势作为“独立的单词”而传送。姿势完成特征的识别可选地可以通过根据本发明的、连接在语音识别系统上游的转换设备的附加功能来管理。姿势完成特征可以例如是:在由输入姿势引起的在前阶段的10%的期限内,没有特殊的信号动态变化(dynamics)发生。
根据本发明的概念允许以协作的方式与语音信号一起处理姿势信号。
在不需要语音输入的应用中,可以将语音识别工具专用于姿势解释。
基于根据本发明的概念,可以使用针对语音识别应用而开发的芯片组或ASICS,以尤为有效的方式来实现姿势识别系统。
具体地,可以与在由申请人提交的上述在前申请中描述的技术组合地使用本发明。这里通过引用,将由申请人提交的并且在开头提及的这些较早专利申请的公开范围并入本申请中。

Claims (30)

1.一种对根据手姿势的要求生成的输入信号实施电子信号处理的方法,其中:
a)相对于检测系统而执行用户的手姿势,
b)以所述输入信号表示与手或其手指的空间运动相关的传递信号的方式,生成或变换所述输入信号,
c)生成所述传递信号,使得所述传递信号的频带包括语音识别系统可取得的声音信号的频带,以及
d)对所述手姿势的解释基于所述传递信号使用语音分析过程而发生。
2.如权利要求1所述的方法,其特征在于:由例如压控振荡器(VCO)的音调发生器系统生成所述输入信号。
3.如权利要求1所述的方法,其特征在于:由例如终端电路的电路生成所述输入信号。
4.如权利要求1到3中至少一项所述的方法,其特征在于:以所述传递信号映射所述姿势的空间运动的方式生成所述传递信号。
5.如权利要求1到4中至少一项所述的方法,其特征在于:类似音调的信号包括三种音调(三和音),并且各个音调的合成根据运动映射规则,由于做姿势的手或手指的运动而改变。
6.如权利要求1到5中至少一项所述的方法,其特征在于:在离开检测点的运动时,对于此参考点的信号的音高升高。
7.如权利要求1到5中至少一项所述的方法,其特征在于:在朝向检测点的运动时,对于此参考点的信号的音高降低。
8.如权利要求1到7中至少一项所述的方法,其特征在于:构造所述传递信号,使得所述传递信号描述来自做姿势的手的、相对于优选地包括至少三个参考点的参考系统的距离的改变。
9.如权利要求1到8中至少一项所述的方法,其特征在于:仅将来自电场传感器的、其中至少一个传感器信号超过预定的或适应性地调节的电平的那些信号识别为姿势。
10.如权利要求1到9中至少一项所述的方法,其特征在于:仅将来自电场传感器的、具有最小变化动态的那些信号识别为姿势。
11.如权利要求1到10中至少一项所述的方法,其特征在于:形成这些信号的数学导数。
12.如权利要求1到11中至少一项所述的方法,其特征在于:通过例如从各个相应传感器信号中减去所有传感器信号的平均时间值和/或直流信号部分,对所述姿势信号的标准化发生。
13.如权利要求1到12中至少一项所述的方法,其特征在于:进行对所检测的传感器信号的坐标变换,使得将对应姿势映射到空间姿势参考平面中。
14.如权利要求1到13中至少一项所述的方法,其特征在于:建立此姿势参考平面,使得其基本上与电极表面平行并且与传感器轴垂直,使得对应姿势总是被映射在距传感器原点的一定距离处。
15.如权利要求1到14中至少一项所述的方法,其特征在于:姿势所跨越的表面的中心基本上位于传感器的轴上。
16.如权利要求1到15中至少一项所述的方法,其特征在于:如此变换的多维传感器信号的转换通过适当音调序列中的适当电压-频率变换(例如VCO)而传达,使得将各个传感器信号组合成要分析的单个姿势信号(一个信道),其中,所述适当音调序列位于50Hz-8000Hz或300-3400Hz(电话带范围)的典型语音范围中。
17.如权利要求1到16中至少一项所述的方法,其特征在于:经由时间多路复用器捕获传感器信号。
18.如权利要求1到17中至少一项所述的方法,其特征在于:通过VCO转换将传感器信号变换到语音频率范围中的不同频带。
19.如权利要求1到18中至少一项所述的方法,其特征在于:类似于语音识别中的单词识别,使用DTW(动态时间规整)模式识别器来管理姿势识别,用于识别全部姿势。
20.如权利要求1到19中至少一项所述的方法,其特征在于:使用从语音识别已知的隐马尔科夫模型(HMM)识别器来管理姿势识别。
21.如权利要求1到20中至少一项所述的方法,其特征在于:训练要识别的姿势,并将其存储为参考模式。
22.如权利要求1到21中至少一项所述的方法,其特征在于:将在训练期间被识别为太困难的姿势作为不可靠的而拒绝。
23.如权利要求1到22中至少一项所述的方法,其特征在于:将未被拒绝的相似姿势通过对对应参考信号取平均而进行组合。
24.如权利要求1到23中至少一项所述的方法,其特征在于:通过视觉参数或视觉反馈来支持姿势训练处理。
25.一种执行如权利要求1到24中至少一项所述的方法的系统。
26.如权利要求25所述的系统,其特征在于:用于检测用户的手或手指的空间运动的设备被集成到计算机的外设系统中,具体为鼠标、鼠标垫、头戴式耳机、键盘和/或监视器。
27.如权利要求25所述的系统,其特征在于:被集成到例如家用电器或机器的技术设备中,用于执行输入操作。
28.如权利要求27所述的系统,其特征在于:被集成到移动通信设备中。
29.如权利要求27所述的系统,其特征在于:被集成到机动车中,具体地被集成到机动车的导航系统中。
30.如权利要求27所述的系统,其特征在于:被集成到电子玩具中。
CN200980119269.9A 2008-03-26 2009-03-26 用于对姿势的多维评估的系统和方法 Expired - Fee Related CN102132227B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102008015730.9 2008-03-26
DE102008015730 2008-03-26
PCT/EP2009/002229 WO2009118183A2 (de) 2008-03-26 2009-03-26 System und verfahren zur multidimensionalen gestenauwertung

Publications (2)

Publication Number Publication Date
CN102132227A true CN102132227A (zh) 2011-07-20
CN102132227B CN102132227B (zh) 2017-02-22

Family

ID=41000031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980119269.9A Expired - Fee Related CN102132227B (zh) 2008-03-26 2009-03-26 用于对姿势的多维评估的系统和方法

Country Status (7)

Country Link
EP (1) EP2277098B1 (zh)
JP (1) JP5529844B2 (zh)
KR (1) KR101576148B1 (zh)
CN (1) CN102132227B (zh)
DE (2) DE112009000684A5 (zh)
ES (1) ES2527073T3 (zh)
WO (1) WO2009118183A2 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105459817A (zh) * 2014-09-30 2016-04-06 大陆汽车系统公司 手加速控制系统
CN105980974A (zh) * 2014-03-03 2016-09-28 密克罗奇普技术公司 用于手势控制的系统及方法
CN106354889A (zh) * 2016-11-07 2017-01-25 北京化工大学 一种基于lwpt‑dtw的间歇过程不等长时段同步化的方法
CN106456043A (zh) * 2014-04-16 2017-02-22 博洛尼亚大学 具有用于测量瓣膜内电阻抗的集成电子电路的心脏瓣膜假体和用于监测假体功能的系统
CN107589782A (zh) * 2016-07-06 2018-01-16 可穿戴设备有限公司 用于可穿戴设备的姿势控制接口的方法和装置
CN108256433A (zh) * 2017-12-22 2018-07-06 银河水滴科技(北京)有限公司 一种运动姿态评估方法及系统
CN107589782B (zh) * 2016-07-06 2024-05-14 可穿戴设备有限公司 用于可穿戴设备的姿势控制接口的方法和装置

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010008301A1 (de) * 2010-02-17 2011-08-18 Siemens Enterprise Communications GmbH & Co. KG, 81379 Verfahren zur Aufnahme und Übertragung von Bewegungsinformation
DE102010014462A1 (de) * 2010-04-09 2011-10-13 Ecomal Deutschland Gmbh Steuereinrichtung zum Ansteuern eines elektrischen Verbrauchers und Verfahren zum Betrieb einer solchen Steuereinrichtung
KR101251730B1 (ko) * 2010-09-27 2013-04-05 한국과학기술원 키보드를 이용한 컴퓨터 제어방법, 제어장치 및 이를 위한 프로그램 명령어가 기록된 기록매체
CN102810056B (zh) * 2011-06-03 2015-04-22 宏碁股份有限公司 语音信号处理方法与应用其的触控面板手机
WO2013056431A1 (en) 2011-10-18 2013-04-25 Nokia Corporation Methods and apparatuses for gesture recognition
DE102012013503B4 (de) 2012-07-06 2014-10-09 Audi Ag Verfahren und Steuerungssystem zum Betreiben eines Kraftwagens
DE102013002680B3 (de) * 2013-02-15 2014-05-22 Audi Ag Verfahren zum Betreiben einer Vorrichtung, insbesondere eines Kraftwagens oder eines mobilen Endgeräts, mittels Gestensteuerung sowie Vorrichtung
CN105579319B (zh) 2013-03-12 2018-02-16 罗伯特·博世有限公司 用于识别车载信息系统中的手写手势的系统和方法
DE102013208999B4 (de) * 2013-05-15 2015-11-12 EDISEN SENSOR SYSTEME GmbH & Co. KG Verfahren und Vorrichtung für ein kapazitives berührungsloses Eingabesystem auf Basis einer einzigen Sensorfläche
DE102013019335A1 (de) 2013-11-20 2015-05-21 Expresso Deutschland Gmbh Von einem Bediener steuerbares Flurförderzeug
KR102550595B1 (ko) * 2014-12-08 2023-06-30 로힛 세스 착용가능 무선 hmi 디바이스
US10166995B2 (en) * 2016-01-08 2019-01-01 Ford Global Technologies, Llc System and method for feature activation via gesture recognition and voice command
CN105904945A (zh) * 2016-04-18 2016-08-31 皇田工业股份有限公司 手势控制的车用卷帘系统
CN106020492A (zh) * 2016-06-07 2016-10-12 赵武刚 通过手的动作与手势产生遥控无人机及附件的信号的方法
KR101959522B1 (ko) * 2017-07-21 2019-03-18 단국대학교 산학협력단 특징 강조형 dtw 기반의 패턴인식 모델 구축을 위한 장치 및 방법
DE102018100335B4 (de) * 2018-01-09 2023-04-06 Preh Gmbh Verfahren und Vorrichtung zur 3D-Gestenerkennung
CN109917909B (zh) * 2019-02-01 2022-05-31 成都思悟革科技有限公司 基于非传播电磁场的多点接收阵列的动作捕捉装置及方法
EP3839700A1 (en) * 2019-12-18 2021-06-23 Modelo Continente Hipermercados, S.A. Gesture recognition system for kitchen machines
WO2023044154A2 (en) * 2021-09-20 2023-03-23 Universal City Studios Llc Theremin-based tracking and triggering

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5982853A (en) * 1995-03-01 1999-11-09 Liebermann; Raanan Telephone for the deaf and method of using same
US6137042A (en) * 1998-05-07 2000-10-24 International Business Machines Corporation Visual display for music generated via electric apparatus
CN1408101A (zh) * 1999-12-06 2003-04-02 桑德特契有限公司 输入数据
JP3096424U (ja) * 2002-12-25 2003-09-19 菊男 萩原 デジタルテルミン
WO2004114107A1 (en) * 2003-06-20 2004-12-29 Nadeem Mohammad Qadir Human-assistive wearable audio-visual inter-communication apparatus.
CN1761997A (zh) * 2003-03-19 2006-04-19 英特尔公司 用于连续视听语音识别的耦合隐马尔可夫模型(chmm)
US20060161871A1 (en) * 2004-07-30 2006-07-20 Apple Computer, Inc. Proximity detector in handheld device

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1661058A (en) * 1924-12-08 1928-02-28 Firm Of M J Goldberg Und Sohne Method of and apparatus for the generation of sounds
JP3298578B2 (ja) 1998-03-18 2002-07-02 日本電信電話株式会社 装着型コマンド入力装置
KR20060066483A (ko) 2004-12-13 2006-06-16 엘지전자 주식회사 음성 인식을 위한 특징 벡터 추출 방법
DE102006003714A1 (de) 2006-01-26 2007-08-02 Zf Friedrichshafen Ag Verfahren und Vorrichtung zur Regelung eines elektrodynamischen Antriebssystems eines Kraftfahrzeuges
JP4720568B2 (ja) 2006-03-24 2011-07-13 ソニー株式会社 ユーザ入力装置及びユーザ入力方法
WO2007121977A2 (de) 2006-04-22 2007-11-01 Ident Technology Ag Steuersystem für ein fahrzeugcockpit
DE102007016408A1 (de) 2007-03-26 2008-10-02 Ident Technology Ag Mobiles Kommunikationsgerät und Eingabeeinrichtung hierfür
JPWO2008139550A1 (ja) * 2007-05-01 2010-07-29 学校法人 大阪電気通信大学 入力インタフェース装置
DE102007036636A1 (de) 2007-08-03 2009-02-05 Ident Technology Ag Spielzeug, insbesondere in der Art einer Puppe oder eines Stofftieres
DE102007039163A1 (de) 2007-08-20 2009-02-26 Ident Technology Ag Eingabeeinrichtung, insbesondere Computermaus

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5982853A (en) * 1995-03-01 1999-11-09 Liebermann; Raanan Telephone for the deaf and method of using same
US6137042A (en) * 1998-05-07 2000-10-24 International Business Machines Corporation Visual display for music generated via electric apparatus
CN1408101A (zh) * 1999-12-06 2003-04-02 桑德特契有限公司 输入数据
JP3096424U (ja) * 2002-12-25 2003-09-19 菊男 萩原 デジタルテルミン
CN1761997A (zh) * 2003-03-19 2006-04-19 英特尔公司 用于连续视听语音识别的耦合隐马尔可夫模型(chmm)
WO2004114107A1 (en) * 2003-06-20 2004-12-29 Nadeem Mohammad Qadir Human-assistive wearable audio-visual inter-communication apparatus.
US20060161871A1 (en) * 2004-07-30 2006-07-20 Apple Computer, Inc. Proximity detector in handheld device

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105980974A (zh) * 2014-03-03 2016-09-28 密克罗奇普技术公司 用于手势控制的系统及方法
CN106456043A (zh) * 2014-04-16 2017-02-22 博洛尼亚大学 具有用于测量瓣膜内电阻抗的集成电子电路的心脏瓣膜假体和用于监测假体功能的系统
CN106456043B (zh) * 2014-04-16 2019-12-31 博洛尼亚大学 具有用于测量瓣膜内电阻抗的集成电子电路的心脏瓣膜假体和用于监测假体功能的系统
CN105459817A (zh) * 2014-09-30 2016-04-06 大陆汽车系统公司 手加速控制系统
US9994233B2 (en) 2014-09-30 2018-06-12 Continental Automotive Systems, Inc. Hands accelerating control system
CN105459817B (zh) * 2014-09-30 2018-07-10 大陆汽车系统公司 手加速控制系统
CN107589782A (zh) * 2016-07-06 2018-01-16 可穿戴设备有限公司 用于可穿戴设备的姿势控制接口的方法和装置
CN107589782B (zh) * 2016-07-06 2024-05-14 可穿戴设备有限公司 用于可穿戴设备的姿势控制接口的方法和装置
CN106354889A (zh) * 2016-11-07 2017-01-25 北京化工大学 一种基于lwpt‑dtw的间歇过程不等长时段同步化的方法
CN106354889B (zh) * 2016-11-07 2020-01-21 北京化工大学 一种基于lwpt-dtw的间歇过程不等长时段同步化的方法
CN108256433A (zh) * 2017-12-22 2018-07-06 银河水滴科技(北京)有限公司 一种运动姿态评估方法及系统

Also Published As

Publication number Publication date
EP2277098A2 (de) 2011-01-26
DE112009000684A5 (de) 2011-05-26
KR101576148B1 (ko) 2015-12-09
JP2011530727A (ja) 2011-12-22
WO2009118183A2 (de) 2009-10-01
CN102132227B (zh) 2017-02-22
KR20100136984A (ko) 2010-12-29
EP2277098B1 (de) 2014-10-01
ES2527073T3 (es) 2015-01-19
WO2009118183A3 (de) 2009-12-10
DE102009014991A1 (de) 2010-08-05
JP5529844B2 (ja) 2014-06-25

Similar Documents

Publication Publication Date Title
CN102132227A (zh) 用于对姿势的多维评估的系统和方法
US8280732B2 (en) System and method for multidimensional gesture analysis
CN102023703B (zh) 组合唇读与语音识别的多模式界面系统
CN109767769B (zh) 一种语音识别方法、装置、存储介质及空调
CN102298443B (zh) 结合视频通道的智能家居语音控制系统及其控制方法
KR101939683B1 (ko) 사용자 행동 실시간 인식장치 및 방법
CN104040620B (zh) 用于进行直接语法存取的装置和方法
CN202110564U (zh) 结合视频通道的智能家居语音控制系统
CN106030697B (zh) 车载控制装置及车载控制方法
CN109941231B (zh) 车载终端设备、车载交互系统和交互方法
US11577379B2 (en) Robot and method for recognizing wake-up word thereof
CN104200805B (zh) 汽车驾驶员语音助手
CN106537492A (zh) 具有用于语音识别的校正策略的机动车操作装置
CN105355202A (zh) 语音识别装置、具有语音识别装置的车辆及其控制方法
WO2003071410A3 (en) Gesture recognition system using depth perceptive sensors
CN109830235A (zh) 语音控制方法、装置、车载控制设备和车辆
CN109102801A (zh) 语音识别方法和语音识别装置
CN105527862B (zh) 一种信息处理方法及第一电子设备
US20150039314A1 (en) Speech recognition method and apparatus based on sound mapping
CN107643753A (zh) 一种机器人智能定位寻址方法
CN113573938A (zh) 用于在车辆的语言对话系统中提供以手语的语言对话的方法
CN113347564A (zh) 基于uwb定位系统的控制信号生成方法及系统
KR20140035164A (ko) 음성인식시스템의 동작방법
EP1387350A1 (en) Spoken man-machine interface with speaker identification
KR101086602B1 (ko) 차량용 음성인식 시스템 및 그 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Gil bloom

Applicant after: Microchip Technology Germany Co.,Ltd.

Address before: Ji Erxin Germany

Applicant before: Ident Technology AG

COR Change of bibliographic data
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170222

CF01 Termination of patent right due to non-payment of annual fee