CN102132227B - 用于对姿势的多维评估的系统和方法 - Google Patents
用于对姿势的多维评估的系统和方法 Download PDFInfo
- Publication number
- CN102132227B CN102132227B CN200980119269.9A CN200980119269A CN102132227B CN 102132227 B CN102132227 B CN 102132227B CN 200980119269 A CN200980119269 A CN 200980119269A CN 102132227 B CN102132227 B CN 102132227B
- Authority
- CN
- China
- Prior art keywords
- posture
- sensor signal
- signal
- speech recognition
- described sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000011156 evaluation Methods 0.000 title description 2
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 230000033001 locomotion Effects 0.000 claims abstract description 20
- 230000036544 posture Effects 0.000 claims description 113
- 230000008859 change Effects 0.000 claims description 15
- 230000001144 postural effect Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 11
- 230000005684 electric field Effects 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000013507 mapping Methods 0.000 claims 1
- 238000010295 mobile communication Methods 0.000 claims 1
- 238000003786 synthesis reaction Methods 0.000 claims 1
- 230000000007 visual effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 5
- 238000012546 transfer Methods 0.000 abstract description 3
- 230000005236 sound signal Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 210000003811 finger Anatomy 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 239000012634 fragment Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000001149 cognitive effect Effects 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 210000003414 extremity Anatomy 0.000 description 3
- 230000001755 vocal effect Effects 0.000 description 3
- 239000011469 building brick Substances 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及一种通过姿势生成控制信号的系统和方法，所述姿势具体为由用户相对于检测设备做出的手和/或手指姿势。本发明的目的是找到允许使用尽可能少的硬件可靠检测并解释姿势、并且可靠处理大范围的输入姿势的技术方案。根据本发明的第一实施例，通过一种用于对通过由用户相对于检测设备做出的、并且与其手或手指的空间运动相关的手姿势生成的输入信号实施信号处理的方法来实现该目的，其中，以输入信号表示频带包括语音识别系统可取得的音频信号的频带的传递信号的方式来生成或变换输入信号。经由语音识别系统使用所述传递信号来解释手姿势。
Description
技术领域
本发明涉及一种用于基于姿势生成控制信号的系统和方法，所述姿势具体地为由与检测设备面对面的用户执行的手和/或手指姿势。
背景技术
由本申请人提交的国际专利申请PCT/EP2007/00355[WO/2007/085367]公开了一种车辆控制系统，其包括电极布置，通过该电极布置可以检测驾驶者的手或乘客的手之一的空间运动，基于该运动，可以启动切换和输入操作，例如用于操作导航设备。
同样由本申请人提交的德国专利申请DE 10 2007 016 408.6公开了一种移动电话，其配备有传感器设备，通过该传感器设备可以经由用户的手指以非接触的方式进行输入操作。
另外，由本申请人提交的德国专利申请DE 10 2007 039 163.5公开了一种计算机鼠标，其允许通过相对于该计算机鼠标的手姿势来执行鼠标和菜单控制功能。
德国专利申请DE 10 2008 009 956.2以及由本申请人提交的德国专利申请DE 102007 036 636.3公开了一种配备有多个电极的玩偶，通过所述多个电极，可以检测玩玩偶的孩子相对于该玩偶的姿势，由此操作该玩偶的语言回放功能，并且可选地激活该玩偶的机电组件。该技术使得可以开发不单调的、与玩具进行的特别逼真的对话。
在上述系统中，基于场电交互效应，检测手相对于该检测系统的空间运动。为此目的，该检测系统配备有电极，所述电极被集成到LC网络中并且递送用于提供关于手和电极之间的间距的信息的信号。可以使用这些信号来计算姿势的路径。继而可以依据所计算的路径来确定姿势。
可以通过电子电路来进行距离和路径信息的计算，在该电子电路中，特征姿势路径被存储在电子存储器中。
发明内容
本发明的目的是建立如下的技术方案，其允许以最低可能的硬件成本来管理姿势的可靠检测和解释、以及可靠地处理大范围的输入姿势。
根据本发明的第一方面，通过以下方法来实现该目的，所述方法对被作为由用户相对于检测系统执行的、并且与手或其手指的空间运动相关的手姿势而生成的输入信号进行信号处理，并且以使所述输入信号组成频带包括语言识别系统可取得的声音信号的频带的传递信号的方式来生成或变换所述输入信号，并且基于所述传递信号，对手姿势的解释经由语言识别系统而发生。
因此，变得可以以有利的方式使用针对语音识别领域所开发的经过验证的电路和分析系统来检测并分析姿势。这里，其中针对语音识别所开发的概念和芯片组被专用于姿势识别的应用是可能的。语音识别系统也可能配备有姿势识别功能，麦克风输入也可以直接用作为姿势信号的输入。可以在普通计算机系统以及其中可以以相对低的附加硬件费用来实现语言识别的其他系统(具体为微处理器)中，实现根据本发明的用于将姿势路径转换为类似声音的(sound-like)序列的概念。可以以如下方式来生成根据本发明所生成的类似声音的序列：在适当的系统中，利用中间插头将所述类似声音的序列耦合到该系统的声学输入中，并且可选地与麦克风信号叠加。该概念允许以特别有利的方式将语言识别程序扩展为包括姿势解释功能。被提供用于获取姿势和/或用于检测做手势的手(或可选地仅手指)的空间运动的检测电极可以具体地被集成到头戴式耳机、键盘、鼠标垫、计算机鼠标或者甚至监视器框架中。检测电极还可以被集成到适合作为用于姿势检测的典型参考点的其他结构中。在汽车领域中，控制面板、方向盘、中央控制台以及车门衬里(lining)的区域中的结构尤其适合于该目的。
根据本发明的传感器设备还可以被构造为使得其可以检测占绝大多数的(predominately)静止姿势(例如，静止的手形)，并且可以将该姿势转换为明显不同的声音序列。这种静止姿势可以被体现为例如“平展的手”、“伸出拇指的拳头”或“胜利手势”。可以基于在静止阶段期间生成的传感器信号，对于这些静止姿势而生成某种声音序列。静止姿势的结构和分解的典型的运动序列也可以被再现为声音，并且在识别姿势时被考虑。
通过将与姿势相关的路径信号转换为类似声音的信号序列，姿势信息也变得可以在声音数据的频率范围内，在电信和VoIP系统上传送。姿势信息因此也可以被操作者(即处于远程位置的做手势的用户)使用语音传送系统得到。根据本发明的概念还允许将手势语言转换为基于声音的语言。
可以使用教示处理来计算各种姿势的识别模式，或者甚至关于某些路径计算各种姿势的识别模式，并且可以将各种姿势的识别模式保存用以分析。
根据本发明，借助于检测器检测由生物(优选地为人类)做出的姿势，并且将其转换为音调序列(声音序列)。然后可以使用当前的语音或声音处理方法来分析并评估这些音调序列。可以可选地以并行的方式在相同信道上将口头上的口述(spoken)命令包括在该处理中，并且可以将口头上的口述命令与姿势一起分析、独立地分析、或者一个接一个地分析。
优选地，在与语音输入相同的频带中生成由姿势识别电路生成的音调序列，使得也可以使用在语音处理中使用的滤波方法。然而，也可以选择例如转移(displace)到所处理的频率范围的边缘区域的另一频率范围。以类似于或者等同于口述命令的方式，然后可以将姿势训练到系统中，并且在所述姿势返回时可以以保存在例如表格中的函数来表达所述姿势。因此，直至姿势/音调序列转换器，可以使用与语音处理中相同的硬件和软件，与分离的操作系统相比在经济性和电路方面表现出优势。这里，可以以某一时间间隔在检测设备前面以空间方式执行所讨论的姿势，并且所述姿势在很大程度上不依赖于用户。
原理上，根据本发明的概念适合于大多数各种各样的姿势检测技术，诸如光学的、电容性的、或图像处理技术。姿势检测按序列发生、以及可对于每个序列产生特定音调是有利的。因此，简单或复杂的姿势将产生具有较长或较短持续时间的各种各样的音调序列。因为无人能够以精确相同的方式输入相同姿势，因此该系统优选地具有容限(tolerant)识别，其优选地基于程序。根据本发明，具体地，如果根据本发明的、与姿势(具体地为姿势路径)相关的音调序列具有与口述单词或语句相似的特征，则可以使用在软件系统中提供的识别和解释过程来提供适当的软件。
获取姿势信号
优选地借助于一个或多个电容性(电场)传感器来获取姿势信号。这些传感器优选地被构造为使得它们检测人为产生的电场中的改变，并且由此相应地发送与手或手指的位置或运动充分紧密相关的信号。
优选地对姿势信号进行预处理。该预处理可以有利地与已经被识别的姿势协调。姿势检测可以通过将由(多个)传感器提供的信号(或者在优选地使用多个传感器的情况下的多个信号)分离(split)/多路解复用而发生。
优选地解释姿势如下：对于至少两个(优选地为三个)空间坐标生成传感器信号。优选地在多信道测量系统中获得这些传感器信号；可以以并行的多信道方式或者以时间多路复用来捕获传感器信号。还可以以时间多路复用或甚至频率多路复用来激励该系统。
来自各种传感器信道的载波调制的(电极接收的)信号的转换可以具体地通过低频接收信号中的包络线检测和/或整流(rectification)以及低通滤波(运动频率＜低通频率＜载波频率)而发生，所述低频接收信号的幅度与到接收传感器的接近度(proximity)/与接收传感器的距离成比例。
可以借助于以下方法的一种或多种组合来识别姿势开始和姿势结束。
a)接近度检测：当至少一个传感器信号超过或低于某一电平时，将来自电场传感器的信号识别为姿势，所述电平可以被预先确定或者以自适应方式自设置。
b)运动检测：将具有最小变化速度的、来自电场传感器的信号识别为姿势。为此目的，建立这些信号的数学导数是有利的。作为替代，也可以执行对应于该导数的高通滤波操作。
c)也可以组合地执行上面讨论的测量a)和b)。
根据本发明的尤为优选的实施例，例如通过从各个相应传感器信号中减去所有传感器信号的平均时间值和/或直流信号部分，来标准化(normalize)姿势信号。
此外，可以执行对所检测的传感器信号的坐标变换，使得将对应姿势映射到空间参考平面中。此姿势参考平面优选地基本上与电极表面平行并且与传感器轴垂直，使得对应姿势总是被映射在距传感器原点一定距离处。姿势所跨越的表面的中心有利地位于传感器轴上。
如此变换的多维传感器信号的转换优选地通过到适当音调序列的电压-频率变换(例如VCO)而发生，使得将各个(典型地为3个)传感器信号转换为要分析的单个姿势信号(一个信道)中，其中，所述适当音调序列位于50Hz-8000Hz或300-3400Hz(电话带范围)的典型口述频率范围中。在下一步骤中，提供该姿势信号用于分析。
可以将传感器信号生成为时间多路复用信号。借助于VCO转换进行的传感器信号的转换或变换优选地导致这样的信号，即，每个信号处于语音频率范围内的不同频带中。
姿势识别
类似语音识别器中的单词识别，姿势的识别优选地使用DTW(动态时间规整)模式识别器识别全部姿势而发生。这些识别器类型的特征在于：在被类似地执行的姿势之中的选择性，其对于许多应用是足够的；以及因此识别比率，其对于具有相对明显的姿势的较小范围的姿势而言是足够的。
作为对于上面提及的DTW模式识别的替代，还可以使用隐马尔科夫模型(HMM)识别器的方法，其也被已知为语音识别概念。在该类型的语音识别中，将单词划分为语音的音素、原子、准静态声音。类似地，将姿势划分为由HMM中的状态表示的姿势片段。可以将姿势的任何部分用作姿势片段，即，优选地，手指、手和/或手臂的任何给定姿势，具体地为直线或弯曲运动、定向的改变(例如手的旋转)、形状的改变(例如张开手)、以及这些改变的任何导出和集合形式(运动长度、速度等)。一个接一个独立地识别这些姿势片段，并且由HMM识别器将这些姿势片段分配回到(在训练或描述处理中)已经定义的相关联的总姿势(对于该示例：L姿势)中。
此外，根据本发明的作为类似声音的信号序列并且与手姿势相关而生成的信号也可以以类似于语音识别(音素分类器)的方式被神经网络识别器和姿势片段分类器分析。
上面提及的测量、以及其他已知的语音识别方法也可以组合地进行，以用于分析并由此解释作为类似声音的信号序列而生成的信号序列的目的。
3.训练和识别阶段之间的差别
要识别的姿势优选地被训练至少一次(优选地多次)，并且作为参考模式而被存储在姿势识别器中。优选地拒绝在训练期间被识别为太困难的具有相同含义的姿势。未被拒绝的、并且充分类似并由此不同的姿势可以通过将对应的参考信号取平均而组合。
作为对于训练处理的替代，可以做出例如基于鼠标/菜单的参考姿势的图形输入(从右到左、从底部向上、圆形的箭头等)。可以计算对应于这些输入姿势的预期传感器信号，并将其作为参考模式而存储在姿势识别器中。
识别阶段
在识别阶段期间，将姿势信号与存储在训练/描述处理中的参考信号模式进行比较，并且返回最有可能的姿势。如果姿势信号与所有参考信号偏离太远，则返回“未识别”。这里，取决于该偏离，可以定义阈值，借助于该阈值，可以取决于应用而适配检测误差(所识别的姿势被不正确地分配)和错误拒绝(“遗漏”)(未识别并拒绝的姿势)的概率。
在HMM识别器中，优选地使用维特比算法进行对最佳姿势的搜索。
根据本发明的概念允许将姿势信号提供给语音识别系统，并且通过已经针对语音识别而开发的识别方法以惊人地有效的方式对其进行评估。使用在高达近似100kHz的范围中的低频电场的传感器(电场传感器)允许在典型地距检测电极高达50cm的距离处对运动的肯定识别。
优选地将三个电极用于姿势的空间映射，所述电极提供三个音调基值(tonecontribution)，每个与距离改变的动态相关。为了还能够具体地识别手的形状，以及为了增加总的分辨率，并且可选地建立一定水平的冗余度，有利的是：使用多于三个电极，从而关于坐标而建立了可选地构造过度的(overbuilt)系统。
附图说明
在下面结合附图的描述中可以看到本发明的附加细节和特征，在附图中：
图1示意性地示出了根据本发明的姿势识别概念，其中，通过三个发送电极和一个接收电极获取手的空间运动，并且以使得语音识别系统可以足够清楚地识别信号的方式来生成或修改经由该接收电极获取的信号；
图2示例性地示出了根据本发明的另一姿势识别概念；
图3是根据本发明的获取电路的照片，借助于该获取电路，可以生成与相对于电极布置而做出的姿势相关的类似声音的信号；
图4是示出根据图3的获取电路的结构的电路图；
图5是示出要借助于图形输入识别的姿势的存储的框图；
图6是示出处于学习模式的具有多个发送器和一个接收器的示例系统的框图；
图7是示出处于学习模式的具有多个接收器和一个发送器的示例系统的框图；
图8是示出处于识别模式的具有多个发送器和一个接收器的另外的示例系统的框图；
图9是示出处于识别模式的具有一个发送器和多个接收器的另外的示例系统的框图；
图10示出了具有姿势识别设备的计算机系统，在所述姿势识别设备中，姿势信号被耦合到麦克风输入中，并且经由具有扩展的词汇表的语音识别程序管理姿势识别；
图11示意性地示出根据本发明的、用于生成与姿势的轮廓和动态相关的类似声音的信号的概念的附加细节，所述信号被具有可容易扩展的词汇表的语音识别系统识别。
具体实施方式
图1示出了根据本发明的电路的第一变型。基本合适并且被配备用于语音处理的电子组件(例如，组件RSC 4128)包括可编程控制器。该控制器通过固件管理以在至少一个I/O端口处产生交变信号(1-0序列)。该信号可以例如通过发光二极管光学地发出，或者例如在耦合表面上以电容性方式发出。在后者情况下，其产生交变电场。优选地配备有跨阻抗放大器的检测器可以接收该场或者源自发光二极管的光。该场被转换为操作压控振荡器VCO的直流电流。例如通过人的肢体进入检测区域引起的电场的光强度的改变使音调的音高改变，其可能降低或升高。如果仅短暂地(例如40毫妙)激活对应的控制器引脚，则音调的改变将仅在该时段期间发生。最终，所讨论的VCO可以经由另一I/O引脚而接通或关断，使得在空闲时段期间听不到音调。按照接近度产生的音调序列被发送到原本被提供用于语音处理的分析电路，该分析电路典型地将硬件和软件的组合优选地包括在也产生该场或光信号的相同芯片中。如果期望捕获多维，则根据需要提供几个场产生电极或发光二极管。这可以借助于相同控制器的、可以一个接一个地(＝序列)被激活的其他I/O引脚来实现。
根据本发明，借助于本身已知的用于语音处理的分析技术，根据本发明而发生信号处理和分析。根据本发明，将这些语音识别技术用于姿势识别：首先生成与姿势相关的类似于语音的类似声音的信号序列。对这些类似声音的信号序列的分析相对可靠，这是因为可以生成音调，使得它们听起来更像元音序列，而且可以忽略辅音和齿擦音(尽管不要求它们这样)。因此，还可以将口头命令和姿势命令彼此混合，并且可以同时或一个接一个地执行它们。借助于神经网络或其他学习算法，可以训练这样的系统并且可以调节容限阈值(tolerance threshold)。
在图1所示的电子组件中，例如三个场产生电极被耦合到其I/O端口(例如铜表面)。场接收电极Ein位于场产生电极附近。该场接收电极被示出在缓冲器(例如跨阻抗放大器)、随后的包括二极管和电容器的整流器电路以及压控振荡器(VCO，这里为尖脉冲发生器)上。借助于该电路，可以产生音调的序列，该音调的音高按照接近度(优选地为人的肢体的接近度)而改变。借助于序列发生器电路(软件或硬件)，然后具体地利用包含1-0序列的交变场一个接一个地激活各个电极表面E1到E3，其中所述1-0序列具有例如一次20毫秒的100kHz的时间长度。产生交变电场。肢体插入可以减弱到输入电极Ke的场，或者充当旁路。两种效果都改变所连接的VCO的音高，所连接的VCO的输出被返回到芯片，其中集成了语音处理。以此方式，可以以简单的方式训练并评估运动序列。在相同输入(或者不同输入)处，也可以连接以相同方式处理口述命令的麦克风。
图2示出了具有晶体管的检测器的简单实施例。根据需要，该电路也可以被集成到芯片中，并且例如，仅充电电容器可被外部地附接。VCO还可以作为软件功能而在芯片中实现。
本发明可以以极其划算的方式实现，并且尤其适合于集成到玩具中，使得它们可以受语音和姿势控制，并且以便以持久的方式提高玩具的娱乐性。用户总是能够训练新的语音命令和/或姿势。
然而，本发明也适合于技术应用、文本和数据处理的领域、以及通信设备。例如，这类布置可以安装在家用电器中，例如在烘干机的筒内部。在放入衣物时产生与例如在孩子(或动物)爬入该筒中并且绕内部移动时不同的信号序列。另外，本发明也对声音敏感。因此，可以在家用电器内部的生物被该电器的操作伤害之前，识别出所述生物。借助于该电路，还可以(在间歇操作的情况下)仅利用某种口头命令或可定义的姿势将其从睡眠模式中唤醒、并且/或者将其激活(唤醒电路)。
这里描述的电极布置还可以被集成到家具中，以便例如分析与家具相结合的坐姿或姿势、或者对口头命令做出反应，例如可调节按摩台等。
借助于本发明，可以使得导航设备更容易操作。由姿势进行的定位和控制甚至允许缩放功能，这在驾驶时通过触摸屏难以实现。如果多个人希望操作这种系统，则可以提供依赖于用户的命令，或者可以分析所插入的姿势所源自的方向。
本发明可以有利地被用于较昂贵的各个电路由于它们的高成本而不能被使用的任何场合。
图5到图9的框图本身是解释性的。图5示出了用于呈现要通过图形输入识别的姿势的存储的框图。图6示出了用于呈现处于学习模式的具有多个发送器和一个接收器的示例系统的框图。图7示出了用于呈现处于学习模式的具有多个接收器和一个发送器的示例系统的框图。图8示出了用于呈现处于识别模式的具有多个发送器和一个接收器的另外的示例系统的框图。图9示出了用于呈现处于识别模式的具有一个发送器和多个接收器的另外的示例系统的框图。
作为对上面描述的具有多个发送器和一个接收器或者具有多个接收器和一个发送器的检测技术的替代，各个电极还可以以交替方式被操作为发送器和接收器，并且可以以对应地调制后的类似声音的信号的形式，输出在用作发送器和接收器的相应电极之间的绕开程度(degree of bypass)、和/或绕开程度的改变。
图10示出了包括配备有姿势传感器的计算机鼠标1和同样配备有姿势传感器的头戴式耳机2的电子数据处理系统。由计算机鼠标1生成的信号和由头戴式耳机2生成的信号被转换为类似声音的信号并且被直接发送到PC的声卡3的输入，其中，所述信号表示手H在三个空间方向x、y、z上的运动。鼠标插头4在这里被实现为中间插头，从而头戴式耳机插头同样可以附接到该中间插头。USB插头6也连接到鼠标插头4，从而可以以本身已知的方式将鼠标运动发送到PC系统7。
为了更好理解的目的，作为对这里示出的电缆的替代，与PC系统的通信也可以无线地发生。根据本发明的姿势捕获设备也可以集成到PC的其他外设中，例如，诸如监视器或触控板，或者在笔记本的情况下，例如根据本发明的姿势捕获设备也可以直接集成到PC中。
可以以系统确定使用哪个姿势输入设备来输入姿势的方式来调整系统。可以向每个姿势输入设备分配某些功能。例如，鼠标姿势传感器设备可以主要用于文档或数据内的导航。头戴式耳机姿势传感器设备可以具体地用于调整文本格式化、以及标点符号和修正。可以可选地同时操作这两种姿势传感器设备。鼠标姿势传感器设备可以例如经由在精细的运动技能方面更擅长的手(绝大多数为右手)被控制。余下的空闲的手可以被用来控制第二姿势传感器设备，例如头戴式耳机姿势传感器设备。可以将某些姿势(例如，以相对于鼠标姿势传感器设备的距离的直线改变的形式的简单姿势)作为连续的音调信号而传送，而当识别出姿势完成特征时，可以利用一定延迟将具有明显路径和动态特征的更复杂的姿势作为“独立的单词”而传送。姿势完成特征的识别可选地可以通过根据本发明的、连接在语音识别系统上游的转换设备的附加功能来管理。姿势完成特征可以例如是：在由输入姿势引起的在前阶段的10％的期限内，没有特殊的信号动态变化(dynamics)发生。
根据本发明的概念允许以协作的方式与语音信号一起处理姿势信号。
在不需要语音输入的应用中，可以将语音识别工具专用于姿势解释。
基于根据本发明的概念，可以使用针对语音识别应用而开发的芯片组或ASICS，以尤为有效的方式来实现姿势识别系统。
具体地，可以与在由申请人提交的上述在前申请中描述的技术组合地使用本发明。这里通过引用，将由申请人提交的并且在开头提及的这些较早专利申请的公开范围并入本申请中。
Claims (31)
1.一种检测手的姿势的方法，该方法包括步骤：
用电场传感器检测手的姿势，并将所检测的姿势转换为相应的传感器信号，所述传感器信号的频带对应于语音的频带；
将所述传感器信号输入到语音识别系统；以及
用语音识别系统来分析所输入的传感器信号。
2.如权利要求1所述的方法，其特征在于：由音调发生器系统生成所述传感器信号。
3.如权利要求1所述的方法，其特征在于：由终端电路生成所述传感器信号。
4.如权利要求1所述的方法，其特征在于：所述传感器信号映射所述姿势的空间运动。
5.如权利要求1所述的方法，其特征在于：所述传感器信号由三种音调组成，并且各个音调的合成根据运动映射规则、由于做姿势的手或手指的运动而改变。
6.如权利要求1所述的方法，其特征在于：在离开检测点运动时，对于检测点的传感器信号的音高升高。
7.如权利要求1所述的方法，其特征在于：在朝向检测点运动时，对于检测点的传感器信号的音高降低。
8.如权利要求1所述的方法，其特征在于：构造所述传感器信号，使得所述传感器信号描述从做姿势的手相对于利用至少三个参考点的参考系统的距离的改变。
9.如权利要求1所述的方法，其特征在于：通过产生相应的传感器信号的至少三个电场传感器来感测所述姿势，并且其中至少一个传感器信号超过预定电平的那些传感器信号被识别为姿势。
10.如权利要求9所述的方法，其特征在于：仅将具有最小变化动态的所述传感器信号识别为姿势。
11.如权利要求10所述的方法，还包括步骤：
确定所述传感器信号的数学导数。
12.如权利要求11所述的方法，还包括步骤：
通过从各个相应传感器信号中减去所有传感器信号的平均时间值或直流信号部分，对所述传感器信号进行标准化。
13.如权利要求9所述的方法，还包括步骤：
对所述传感器信号进行坐标变换，使得将对应姿势映射到空间姿势参考平面中。
14.如权利要求13所述的方法，其特征在于：建立此姿势参考平面，使得其基本上与传感器电极表面平行并且与传感器轴垂直，使得对应姿势总是被映射在距传感器的一定距离处。
15.如权利要求14所述的方法，其特征在于：姿势所跨越的表面的中心基本上位于传感器的轴上。
16.如权利要求9所述的方法，其特征在于：将所述传感器信号变换为位于50Hz-3400Hz的语音范围中的音调序列，并将各个传感器信号组合成要由语音识别系统分析的单个姿势信号。
17.如权利要求1所述的方法，其特征在于：经由时间多路复用器捕获传感器信号。
18.如权利要求1所述的方法，其特征在于：利用VCO转换将传感器信号变换到语音频率范围中的不同频带。
19.如权利要求9所述的方法，其特征在于：类似于语音识别中的单词识别，使用动态时间规整模式识别器来管理姿势识别，用于识别全部姿势。
20.如权利要求9所述的方法，其特征在于：使用从语音识别已知的隐马尔科夫模型识别器来管理姿势识别。
21.如权利要求9所述的方法，其特征在于：训练要识别的姿势，并将其存储为参考模式。
22.如权利要求21所述的方法，其特征在于：将在训练期间被识别为太困难的姿势作为不可靠的而拒绝。
23.如权利要求22所述的方法，其特征在于：将未被拒绝的相似姿势通过对对应参考信号取平均而进行组合。
24.如权利要求21所述的方法，其特征在于：通过视觉参数或视觉反馈来支持姿势训练处理。
25.一种用于检测手的姿势的系统，该系统包括：
传感器阵列，检测手的姿势，并将所检测的手的姿势转换为相应的传感器信号，所述传感器信号的频带对应于语音的频带；
语音识别系统，
其中将所述传感器信号输入到该语音识别系统，由该语音识别系统分析所输入的传感器信号。
26.如权利要求25所述的系统，其特征在于：所述传感器阵列被集成到鼠标、鼠标垫、头戴式耳机、键盘或监视器中。
27.如权利要求25所述的系统，其特征在于：所述传感器阵列被集成到家用电器或机器中，用于执行输入操作。
28.如权利要求25所述的系统，其特征在于：所述传感器阵列被集成到移动通信设备中。
29.如权利要求25所述的系统，其特征在于：所述传感器阵列被集成到机动车的导航系统中。
30.如权利要求25所述的系统，其特征在于：所述传感器阵列被集成到电子玩具中。
31.一种用于检测手的姿势的系统，该系统包括：
包括传感器阵列的装置，用于检测手的姿势，并将所检测的姿势转换为相应的传感器信号，所述传感器信号的频带对应于语音的频带；
语音识别系统；以及
用于将所述传感器信号输入到语音识别系统、以由该语音识别系统分析所输入的传感器信号的装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102008015730.9 | 2008-03-26 | ||
| DE102008015730 | 2008-03-26 | ||
| PCT/EP2009/002229 WO2009118183A2 (de) | 2008-03-26 | 2009-03-26 | System und verfahren zur multidimensionalen gestenauwertung |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102132227A CN102132227A (zh) | 2011-07-20 |
| CN102132227B true CN102132227B (zh) | 2017-02-22 |
Family
ID=41000031
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200980119269.9A Expired - Fee Related CN102132227B (zh) | 2008-03-26 | 2009-03-26 | 用于对姿势的多维评估的系统和方法 |
Country Status (7)
| Country | Link |
|---|---|
| EP (1) | EP2277098B1 (zh) |
| JP (1) | JP5529844B2 (zh) |
| KR (1) | KR101576148B1 (zh) |
| CN (1) | CN102132227B (zh) |
| DE (2) | DE112009000684A5 (zh) |
| ES (1) | ES2527073T3 (zh) |
| WO (1) | WO2009118183A2 (zh) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102010008301A1 (de) | 2010-02-17 | 2011-08-18 | Siemens Enterprise Communications GmbH & Co. KG, 81379 | Verfahren zur Aufnahme und Übertragung von Bewegungsinformation |
| DE102010014462A1 (de) * | 2010-04-09 | 2011-10-13 | Ecomal Deutschland Gmbh | Steuereinrichtung zum Ansteuern eines elektrischen Verbrauchers und Verfahren zum Betrieb einer solchen Steuereinrichtung |
| KR101251730B1 (ko) * | 2010-09-27 | 2013-04-05 | 한국과학기술원 | 키보드를 이용한 컴퓨터 제어방법, 제어장치 및 이를 위한 프로그램 명령어가 기록된 기록매체 |
| CN102810056B (zh) * | 2011-06-03 | 2015-04-22 | 宏碁股份有限公司 | 语音信号处理方法与应用其的触控面板手机 |
| CN103890782B (zh) | 2011-10-18 | 2018-03-09 | 诺基亚技术有限公司 | 用于手势识别的方法和设备 |
| DE102012013503B4 (de) * | 2012-07-06 | 2014-10-09 | Audi Ag | Verfahren und Steuerungssystem zum Betreiben eines Kraftwagens |
| DE102013002680B3 (de) * | 2013-02-15 | 2014-05-22 | Audi Ag | Verfahren zum Betreiben einer Vorrichtung, insbesondere eines Kraftwagens oder eines mobilen Endgeräts, mittels Gestensteuerung sowie Vorrichtung |
| EP2969697B1 (en) | 2013-03-12 | 2018-06-13 | Robert Bosch GmbH | System and method for identifying handwriting gestures in an in-vehicle infromation system |
| DE102013208999B4 (de) * | 2013-05-15 | 2015-11-12 | EDISEN SENSOR SYSTEME GmbH & Co. KG | Verfahren und Vorrichtung für ein kapazitives berührungsloses Eingabesystem auf Basis einer einzigen Sensorfläche |
| DE102013019335A1 (de) | 2013-11-20 | 2015-05-21 | Expresso Deutschland Gmbh | Von einem Bediener steuerbares Flurförderzeug |
| US9921739B2 (en) * | 2014-03-03 | 2018-03-20 | Microchip Technology Incorporated | System and method for gesture control |
| ES2894828T3 (es) * | 2014-04-16 | 2022-02-16 | Univ Bologna Alma Mater Studiorum | Prótesis de válvula cardíaca con circuito electrónico integrado para medir la impedancia eléctrica intravalvular |
| US9315197B1 (en) * | 2014-09-30 | 2016-04-19 | Continental Automotive Systems, Inc. | Hands accelerating control system |
| KR102433382B1 (ko) * | 2014-12-08 | 2022-08-16 | 로힛 세스 | 착용가능 무선 hmi 디바이스 |
| US10166995B2 (en) * | 2016-01-08 | 2019-01-01 | Ford Global Technologies, Llc | System and method for feature activation via gesture recognition and voice command |
| CN105904945A (zh) * | 2016-04-18 | 2016-08-31 | 皇田工业股份有限公司 | 手势控制的车用卷帘系统 |
| CN106020492A (zh) * | 2016-06-07 | 2016-10-12 | 赵武刚 | 通过手的动作与手势产生遥控无人机及附件的信号的方法 |
| CN117032398A (zh) * | 2016-07-06 | 2023-11-10 | 可穿戴设备有限公司 | 用于可穿戴设备的姿势控制接口的方法和装置 |
| CN106354889B (zh) * | 2016-11-07 | 2020-01-21 | 北京化工大学 | 一种基于lwpt-dtw的间歇过程不等长时段同步化的方法 |
| KR101959522B1 (ko) * | 2017-07-21 | 2019-03-18 | 단국대학교 산학협력단 | 특징 강조형 ｄｔｗ 기반의 패턴인식 모델 구축을 위한 장치 및 방법 |
| CN108256433B (zh) * | 2017-12-22 | 2020-12-25 | 银河水滴科技（北京）有限公司 | 一种运动姿态评估方法及系统 |
| DE102018100335B4 (de) * | 2018-01-09 | 2023-04-06 | Preh Gmbh | Verfahren und Vorrichtung zur 3D-Gestenerkennung |
| CN109917909B (zh) * | 2019-02-01 | 2022-05-31 | 成都思悟革科技有限公司 | 基于非传播电磁场的多点接收阵列的动作捕捉装置及方法 |
| EP3839700A1 (en) * | 2019-12-18 | 2021-06-23 | Modelo Continente Hipermercados, S.A. | Gesture recognition system for kitchen machines |
| WO2023044154A2 (en) * | 2021-09-20 | 2023-03-23 | Universal City Studios Llc | Theremin-based tracking and triggering |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6137042A (en) * | 1998-05-07 | 2000-10-24 | International Business Machines Corporation | Visual display for music generated via electric apparatus |
| CN1408101A (zh) * | 1999-12-06 | 2003-04-02 | 桑德特契有限公司 | 输入数据 |
| CN1761997A (zh) * | 2003-03-19 | 2006-04-19 | 英特尔公司 | 用于连续视听语音识别的耦合隐马尔可夫模型(chmm) |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US1661058A (en) * | 1924-12-08 | 1928-02-28 | Firm Of M J Goldberg Und Sohne | Method of and apparatus for the generation of sounds |
| US5982853A (en) * | 1995-03-01 | 1999-11-09 | Liebermann; Raanan | Telephone for the deaf and method of using same |
| JP3298578B2 (ja) | 1998-03-18 | 2002-07-02 | 日本電信電話株式会社 | 装着型コマンド入力装置 |
| JP3096424U (ja) * | 2002-12-25 | 2003-09-19 | 菊男 萩原 | デジタルテルミン |
| AU2003243003A1 (en) * | 2003-06-20 | 2005-01-04 | Nadeem Mohammad Qadir | Human-assistive wearable audio-visual inter-communication apparatus. |
| US7653883B2 (en) * | 2004-07-30 | 2010-01-26 | Apple Inc. | Proximity detector in handheld device |
| KR20060066483A (ko) | 2004-12-13 | 2006-06-16 | 엘지전자 주식회사 | 음성 인식을 위한 특징 벡터 추출 방법 |
| DE102006003714A1 (de) | 2006-01-26 | 2007-08-02 | Zf Friedrichshafen Ag | Verfahren und Vorrichtung zur Regelung eines elektrodynamischen Antriebssystems eines Kraftfahrzeuges |
| JP4720568B2 (ja) | 2006-03-24 | 2011-07-13 | ソニー株式会社 | ユーザ入力装置及びユーザ入力方法 |
| WO2007121977A2 (de) | 2006-04-22 | 2007-11-01 | Ident Technology Ag | Steuersystem für ein fahrzeugcockpit |
| DE102007016408A1 (de) | 2007-03-26 | 2008-10-02 | Ident Technology Ag | Mobiles Kommunikationsgerät und Eingabeeinrichtung hierfür |
| JPWO2008139550A1 (ja) * | 2007-05-01 | 2010-07-29 | 学校法人 大阪電気通信大学 | 入力インタフェース装置 |
| DE102007036636A1 (de) | 2007-08-03 | 2009-02-05 | Ident Technology Ag | Spielzeug, insbesondere in der Art einer Puppe oder eines Stofftieres |
| DE102007039163A1 (de) | 2007-08-20 | 2009-02-26 | Ident Technology Ag | Eingabeeinrichtung, insbesondere Computermaus |
-
2009
- 2009-03-26 DE DE112009000684T patent/DE112009000684A5/de not_active Withdrawn
- 2009-03-26 KR KR1020107023992A patent/KR101576148B1/ko active IP Right Grant
- 2009-03-26 ES ES09723879.4T patent/ES2527073T3/es active Active
- 2009-03-26 WO PCT/EP2009/002229 patent/WO2009118183A2/de active Application Filing
- 2009-03-26 EP EP09723879.4A patent/EP2277098B1/de not_active Not-in-force
- 2009-03-26 CN CN200980119269.9A patent/CN102132227B/zh not_active Expired - Fee Related
- 2009-03-26 JP JP2011501152A patent/JP5529844B2/ja not_active Expired - Fee Related
- 2009-03-26 DE DE102009014991A patent/DE102009014991A1/de not_active Withdrawn
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6137042A (en) * | 1998-05-07 | 2000-10-24 | International Business Machines Corporation | Visual display for music generated via electric apparatus |
| CN1408101A (zh) * | 1999-12-06 | 2003-04-02 | 桑德特契有限公司 | 输入数据 |
| CN1761997A (zh) * | 2003-03-19 | 2006-04-19 | 英特尔公司 | 用于连续视听语音识别的耦合隐马尔可夫模型(chmm) |
Also Published As
| Publication number | Publication date |
|---|---|
| ES2527073T3 (es) | 2015-01-19 |
| DE102009014991A1 (de) | 2010-08-05 |
| WO2009118183A3 (de) | 2009-12-10 |
| KR20100136984A (ko) | 2010-12-29 |
| JP5529844B2 (ja) | 2014-06-25 |
| DE112009000684A5 (de) | 2011-05-26 |
| WO2009118183A2 (de) | 2009-10-01 |
| JP2011530727A (ja) | 2011-12-22 |
| EP2277098B1 (de) | 2014-10-01 |
| CN102132227A (zh) | 2011-07-20 |
| EP2277098A2 (de) | 2011-01-26 |
| KR101576148B1 (ko) | 2015-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102132227B (zh) | 用于对姿势的多维评估的系统和方法 | |
| US8280732B2 (en) | System and method for multidimensional gesture analysis | |
| CN107481718B (zh) | 语音识别方法、装置、存储介质及电子设备 | |
| CN102023703B (zh) | 组合唇读与语音识别的多模式界面系统 | |
| Ward et al. | Activity recognition of assembly tasks using body-worn microphones and accelerometers | |
| CN101226742B (zh) | 基于情感补偿的声纹识别方法 | |
| CN102298443B (zh) | 结合视频通道的智能家居语音控制系统及其控制方法 | |
| CN202110564U (zh) | 结合视频通道的智能家居语音控制系统 | |
| KR101157073B1 (ko) | 근전도 센서와 자이로 센서를 이용한 지화 인식 방법 및 장치 | |
| Tawari et al. | Speech emotion analysis in noisy real-world environment | |
| CN102985897A (zh) | 高效姿势处理 | |
| CN106157956A (zh) | 语音识别的方法及装置 | |
| WO2008069519A1 (en) | Gesture/speech integrated recognition system and method | |
| CN109941231A (zh) | 车载终端设备、车载交互系统和交互方法 | |
| KR20130110565A (ko) | 사용자 행동 실시간 인식장치 및 방법 | |
| RU2004105885A (ru) | Динамическая обратная связь для жестов | |
| EP0977175A3 (en) | Method and apparatus for recognizing speech using a knowledge base | |
| CN104200805A (zh) | 汽车驾驶员语音助手 | |
| EP3349100A1 (en) | Three-dimensional simulation system | |
| CN104464730A (zh) | 以语音识别来发生事件装置及方法 | |
| JP2004066367A (ja) | 行動パターン生成装置、行動パターン生成方法、及び行動パターン生成プログラム | |
| Fezari et al. | New speech processor and ultrasonic sensors based embedded system to improve the control of a motorised wheelchair | |
| Hui et al. | Use of electroglottograph (EGG) to find a relationship between pitch, emotion and personality | |
| CN109064720A (zh) | 位置提示方法、装置、存储介质及电子设备 | |
| CN113066462A (zh) | 一种修音方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Gil bloom Applicant after: Microchip Technology Germany Co.,Ltd. Address before: Ji Erxin Germany Applicant before: Ident Technology AG |
|
| COR | Change of bibliographic data | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170222 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |