CN1996205A - 动态动作捕捉与周边装置互动的方法与系统 - Google Patents

Abstract

本发明涉及一种动态动作捕捉与周边装置互动的方法与系统，将至少一微惯性传感器于人体适当位置，随着人体的动作，该至少一微惯性传感器可感测人体随时间做出的连续动作的相关参数，如：角速度或加速度。然后，将这些动作参数透过算法加以分析转变成随时间变化的一输入动作序列。接着将该输入动作序列与事先预定好的一预设动作信息进行比对。最后，以比对的结果来进行开启或触发或控制周边电子装置产生动作。此外，本发明也提出将所感测到的动作参数与时间进行运算而形成一运动量并藉由该运动量的大小与周边电子装置进行互动。

Description

动态动作捕捉与周边装置互动的方法与系统

技术领域

本发明涉及一种与周边电子装置进行互动的方法与系统，尤其是指一种利用传感器感测人体的动作状态，再藉由算法处理将感测到的运动状态进行转换成与时间有关系的动作序列以及运动量，藉以与周边电子装置进行互动的一种动态动作捕捉与周边装置互动的方法与系统。

背景技术

人体肢体动作感测在虚拟实境及控制电子装置的应用上占有很重要的地位，藉由捕捉人体的动作，可以使人与虚拟实境的场景做互动，产生许多的应用。以美国专利US.Pat.No.6,009,210来说，为一种常见以光学摄影机撷取影像的方式来捕捉人体的影像，再加以分析输入虚拟实境的场景做互动，但这些系统的价格动辄数百万，实难扩及一般消费者的使用，故至目前为止均未达到实用化与普及化。而另一美国专利US.Pat.No.4,905,001使用多个微小开关，以指套或腕带的方式穿戴在人体的手部处，当手部以自然的方式动作，恰好可以按压到这些开关，这些被按压的开关对应至周边电子装置不同的触发反应，以达成感测手部动作的效果，然而此种感测方式所呈现出的动作仅只有人体关节处开及关的讯号，因此难以完整描述手部动作的整体行为。

近十年来以微机电制程来制造微惯性感测组件的技术已相当成熟，组件的尺寸通常可以大幅度地缩小，因此以微惯性感测组件来感测人体动作的变化已成为一种发展的趋势。其中，美国专利US.Pat.No.5,617,515便是将惯性组件置于一装置中，此一装置底部设有一握把，使得人的手部可以握在此握把进行转动或平移的动作，而远程有一机械手臂装置，可感测到此装置的动作姿态，如此机械手臂便能够产生平移或转动的动作。此外，美国专利US.Pat.No.6,072,467也是另一种将装置设计成球状的方式适合于手部来抓取，当手部产生动作时，球状装置感测到手部的加速度大小，此时远程的虚拟动画便也产生相对应的动作，而相对应的动作是根据所量测加速度的波形来加以映像对应的动画，因此手部产生的动作与动画的对应必须自订一套规则(例如：手部上下直线摇动代表虚拟人物移动，接着手部旋转代表走路，再来手部剧烈摇晃代表快走)。然而上述以手部抓取装置的方式，在与远程装置做互动时，都必须另外再加上一个手持的物理感测模块，因此往往仅能侦测手腕或手臂关节的变化，对于人体其它各处的动作(如：手指、脚部等)并无法有效地加以描述，所以能控制的自由度并不大；再者使用者与受控装置作动连结往往需要自订一套规则，使用者必须先接受此规则的训练，才有可能对受控装置操控得宜，若是因为动作维度的增加而使得此规则变得十分复杂，一般使用者将不容易很快上手。

综上所述，人体动作传感器必须能够直接配戴至人体各处，才能有效地完整描述人体的动作，因此，在美国专利US.Pat.No.6,747,632便是将人体传感器直接配戴至人体上，当手指弯曲时红外线发射器光源会被反射，因此受控装置便无法接收到红外线发射器的光源。另外此专利的宣称中提到也可以并用惯性组件来加以运算人体动作的动作及姿态，惟其仍需要使用光学发射器来辅助，且惯性组件计算人体动作及姿态并无详细的原理说明。除此之外，如图1所示，其为美国专利US.Pat.No.6,681,031所公开的捕捉人体动作姿态影像来开启或触发周边的电子装置示意图。人体的动作姿态与相对应的触发动作为一对一，代表一种人体姿态动作对应一种触发的讯息，经影像捕捉不同的动作姿态，透过算法来产生相对应的触发，但此种装置仍需要以影像来捕捉动作姿态，并不符合可携式、便利性及价格便宜等优势。

综合上述，因此亟需一种动态动作捕捉与周边装置互动的方法与系统以解决习用技术的问题。

发明内容

本发明的主要目的是提供一种动态动作捕捉与周边装置互动的方法与系统，其可捕捉人体肢体动作所产生的加速度或角速度随时间变化的关系序列，并以无线传输传至接收端以进行演算与分析，然后将演算分析后的动作序列与一预设的动作序列进行比对，达到与周边电子装置进行互动的目的。

本发明的次要目的是提供一种动态动作捕捉与周边装置互动的方法与系统，藉由捕捉人体肢体动作所产生的加速度或角速度随时间进行演算产生运动量，并藉由运动量的大小控制周边电子装置的动作，达到与周边电子装置进行互动的目的。

本发明的另一目的是提供一种动态动作捕捉与周边装置互动的方法与系统，使用者可以预先设定自己的动作状态序列，达到使周边电子装置具有密码锁定功能的目的。

为了达到上述的目的，本发明提供一种动态动作捕捉与周边装置互动方法，其包括有下列步骤：提供一预设动作信息；以传感器侦测人体的运动状态；将该传感器所感测到的讯号进行讯号处理以形成一输入动作序列；以及将该输入动作序列与该至少一预设动作信息进行比对以产生输出动作序列讯号。

较佳的是，该预设动作信息，为单一动作讯号以及复数个动作讯号的组合。

较佳的是，该预设动作信息，为控制互动平台产生反应的控制平台动作。

较佳的是，该预设动作信息为一时间与加速度的状态关系序列。

较佳的是，该预设动作信息为一时间与角速度的状态关系序列。

较佳的是，该动态动作捕捉与周边装置互动方法，其更包括有如果该输入动作序列与该至少一预设动作信息一致的话，则控制一电子装置产生动作的步骤。该电子装置可为一家用电器装置或者是一多媒体互动装置。

较佳的是，该动态动作捕捉与周边装置互动方法，其更包括有将该传感器所量测到的讯号进行讯号处理以转换成一运动量来与一电子装置进行互动的步骤。其中该运动量为加速度、速度、位移、频率、时间及其组成其中之一。该运动量也可以是利用加速度、速度或频率与时间的换算后所得的卡路里消耗值。

为了达到上述的目的，本发明提供一种动态动作捕捉与周边装置互动系统，包括：至少一惯性传感器，其设置于人体上以侦测人体的一动作参数而产生一动作讯号；以及一运算控制模块，其可接收该动作讯号，该运算控制模块具有：一储存单元，其储存有至少一预设动作信息；以及一控制单元，其与该储存单元作电性连接，该控制单元可接收该动作讯号以计算出人体的运动状态与时间的关系，以形成一输入动作序列，该控制单元更可读取该储存单元内的至少一预设动作信息与该输入动作序列进行比对。

较佳的是，该控制单元更可将该惯性传感器所量测到的讯号进行讯号处理以转换成一运动量与一电子装置进行互动。其中该运动量为加速度、速度、位移频率、时间及其组成其中之一。该运动量也可以是利用加速度、速度或频率与时间的换算后所得的卡路里消耗值。

较佳的是，该动作讯号是以无线传输至该运算控制模块。

较佳的是，该动作参数为一角速度或者是一加速度或者是两者的组合。

为了达到上述的目的，本发明更提供一种动态动作捕捉与周边装置互动方法，其包括有下列步骤：预先于一储存单元内加载至少一预设动作信息；于人体上配置有至少一惯性传感器；人体产生运动动作；以该惯性传感器侦测人体的运动状态；将该惯性传感器所感测到的讯号进行一讯号处理以形成一输入动作序列；以及将该输入动作序列与该至少一预设动作信息进行比对，如果该输入运动状态与该至少一预设动作信息符合的话，则控制一电子装置产生动作。

较佳的是，该讯号处理更包括有下列步骤：计算人体运动的基准点；以及对感测到的讯号分析人体动作状态以计算出该输入动作序列。

附图说明

图1为习用技术的动作辨识系统示意图；

图2为本发明动态动作捕捉与周边装置互动系统的较佳实施例组合示意图；

图3为本发明动态动作捕捉与周边装置互动方法的较佳实施例流程示意图；

图4A为本发明动态动作捕捉与周边装置互动方法的较佳实施例中的预设动作信息示意图；

图4B为本发明动态动作捕捉与周边装置互动方法的较佳实施例中的输入动作序列示意图；

图4C为本发明动态动作捕捉与周边装置互动方法的较佳实施例中的预设动作信息与输入动作序列比较示意图；

图5A以及图5B为本发明动态动作捕捉与周边装置互动方法的另一较佳实施例流程示意图。

附图标号说明：2-动态动作捕捉与周边装置互动系统；20-惯性感测模块；201～205-惯性传感器；21-周边装置；22-运算控制模块；221-储存单元；222-控制单元；23-无线发射器；24-无线接收器；3-动态动作捕捉与周边装置互动方法；30～38-流程；4-动态动作捕捉与周边装置互动方法；40～49-流程；490～495-流程；5-预设动作信息；50～54-状态；6-输入动作序列；60～64-状态；8-使用者；90、91、92、94-状态曲线；

具体实施方式

为能对本发明的特征、目的及功能有更进一步的认知与了解，下文特将本发明的系统的相关细部结构以及设计的理念原由进行说明，以可以了解本发明的特点，详细说明陈述如下：

请参阅图2所示，该图为本发明动态动作捕捉与周边装置互动系统的较佳实施例组合示意图。该动态动作捕捉与周边装置互动系统2包括有于使用者8身上的特定部位设置有一惯性感测模块20，该惯性感测模块20包括有至少一惯性传感器，在本实施例中该惯性感测模块包括有五个惯性传感器201～205，分别设置在人体的手腕、腰部以及膝部关节位置。该惯性传感器201～205设置的位置可以根据需要而定，并不限制于本发明的实施例所公开的位置。

该惯性感测模块20可以感测使用者身体因运动而产生的动作参数，如：加速度、角速度，进而产生一动作讯号，再透过一无线传输器23传递至一运算控制模块22。前述所谓的运动，为使用者利用佩带有该惯性感测模块20之部位，产生单一动作(如：左移、右移、翻转、举手、放手、旋踢、直拳、勾拳、抬腿)或者是复数个动作组合(举手加放手、直拳加勾拳加放手等)。在前述之动作进行过程中，该惯性感测模块20可以感测出使用者的因动作而产生之加速度、角速度等动作参数，而转换成该动作讯号。该运算控制模块22更包括有一无线接收器24、储存单元221以及一控制单元222。该储存单元221内储存有至少一预设动作信息，该预设动作信息可以为时间与加速度的状态关系序列或者是时间与角速度的状态关系序列等或者是时间与加速度和角速度的关系序列。例如预先设定一随时间作动的动作，举手-＞挥手-＞放下，此时在使用者8进行前述的动作序列时，该惯性感测模块20即可感测出动作参数与时间的关系，因此使用者8可预先定义好标准的动作序列所对应的动作参数(加速度或角速度)与时间的关系而存在该储存单元内。

该控制单元222与该无线接收器24以及该储存单元221作电性连接。该无线接收器24可接收该动作讯号，并将讯号传递至该控制单元222，该控制单元222可接收该动作讯号以计算出人体因运动而产生的动作参数与时间的关系，以形成一输入动作序列，该输入动作序列也是时间与加速度的状态关系序列或者是时间与角速度的状态关系序列等。然后该控制单元222可将该输入动作序列与该预设动作信息进行比对是否符合，如果符合则发出一控制讯号控制一周边电子装置21使该周边电装置产生动作或者是与使用者进行互动。在本实施例中，该周边电子装置21可为一远程控制的电子家电装置，如：电视、冷气、果汁机等，或者是一多媒体互动装置，例如虚拟动画、音乐或者是游戏等。

请参阅图3所示，该图为本发明动态动作捕捉与周边装置互动方法的较佳实施例流程示意图。该方法包括有下列步骤，首先以步骤30让使用者于特定的位置佩带惯性感测模块。然后进行步骤31，使用者产生动作，然后以步骤32让该惯性感测模块感以20Hz～100Hz(不在此限)的频率感测使用者运动而产生加速度或者是角速度的感测讯号。接下来进行步骤33，将所感测到的讯号以无线传输传递至一运算控制模块。

该运算控制模块在收到讯号之前，首先会进行步骤34于一储存单元内加载预设动作信息，其中该预设动作信息，为单一动作讯号以及复数个动作讯号的组合，例如该单一动作讯号可为左移、右移、翻转、举手、放手、旋踢、直拳、勾拳、抬腿等动作。该复数个动作讯号的组合可以将前述的动作连续组合，如：举手加放手、直拳加勾拳加放手等，但不在此限。该预设动作信息，为控制互动平台产生反应的控制平台动作。使控制平台产生对应的上移、下移、左移、右移或者是旋转，但不在此限等控制平台动作。

然后以步骤35使该运算控制模块接收该步骤33所传出的无线讯号，然后将其译码并传输至运算控制模块内的控制单元以进行讯号解析处理。解析处理首先进行计算人体参数的基准点大小，有了基准点之后，进行步骤36，使该控制单元将接收到的讯号加以分析，并计算以产生一输入动作序列。之后，以步骤37将输入动作序列与预设动作信息进行比对看是否相符。如果不相符则回到步骤35持续监控以及接收该步骤33所传出的讯号。如果相符的话，则进行步骤38控制周边电子装置产生动作。

接下来对该步骤36、37举例说明，如图4A以及图4B所示，其中图4A为本发明动态动作捕捉与周边装置互动方法的较佳实施例中的预设动作信息示意图；图4B为本发明动态动作捕捉与周边装置互动方法的较佳实施例中的输入动作序列示意图。在图4A中，曲线90、91其代表着预设动作信息中的x、y双轴加速度与时间的关系图。该曲线大概可以分成五的序列段，第一段、第三段、第四段代表着静止状态50、52、53。第二段代表动作一51，例如：举手、挥手、扭腰等。第五段为动作二54，例如：举手、挥手、扭腰等。

当使用者产生动作时候，控制单元分析运算出的结果，会如图4B所示，这是一个将x、y双轴加速度计放置在手部所做出的动作状态而产生的曲线92、93，一开始x轴、y轴加速度随着时间的曲线几乎无改变地呈现静止状态60，接着x轴及y轴加速度曲线92、93产生同相位弦波、且x轴加速度振幅大于y轴加速度振幅三至四倍的动作波形，是为动作状态61代表着动作一，接着x、y轴加速度曲线92、93又是随着时间几乎无改变地呈现静止状态62，再来出现x轴及y轴加速度曲线92、93产生九十度相位差、且x轴加速度振幅与y轴加速度振幅大小相去不远的弦波，是为动作状态63代表着动作二，最后x、y轴加速度曲线92、93又是随着时间几乎无改变地呈现静止状态64。因此以上输入动作状态序列依序为：静止60、动作一61、静止62、动作二63、静止64。上述为步骤36的说明。

接着作步骤37的说明，将输入动作状态序列与预设的动作状态序列做比对，如图4C所示，由于预设动作信息，依序为：静止50、动作一51、静止52、静止53、动作二54，可从图4B发现比对相符的动作序列状态为60、61、62，以及比对错误的动作序列状态为63、64，因此在图4C中为比对不符合的状态，因此系统会重新接收下一个输入的动作状态。如果比对所有的动作状态与预设完全相符，则多媒体或电子装置将显示出对应的功能。

除了上述之外，本专利可达成与周边电子装置互动的效果，以及密码锁定的功能。例如可以对一电子装置的启动设定开启的预设动作信息，当使用者的输入动作序列与预设动作信息相符时，则可以启动该电子装置。此外，本发明更提供一种以运动量来控制周边装置动作，该运动量可为加速度、速度、位移、频率、时间及其组成其中之一。该运动量也可以是利用加速度、速度或频率与时间的换算后所得的卡路里消耗值。请参阅图5A以及图5B所示，该图为本发明动态动作捕捉与周边装置互动方法的另一较佳实施例流程示意图。首先参阅图5A所示，本发明的实施例是以前述的密码设定以及运动量的控制来做说明。在该方法4中使用者以步骤40将惯性感测模块置于腰部，接下来的步骤41至47与前述的步骤31至37相同，在此不做赘述。

当使用者的输入动作序列与预设动作信息相同时，则以步骤48启动果汁机进行运转，然后，进行步骤49来控制果汁机的转速。步骤49中控制果汁机转速的方式为摇摆身体来模拟摇呼拉圈的动作，而此摇呼拉圈的动作可对应果汁机打果汁的速度，此时我们将运动量定义成两个参数指标，一为摇呼拉圈时的速度，二为摇呼拉圈时所持续的时间。

如图5B所示，一开始腰部为静止不动，然后进行步骤490持续以惯性感测模块对腰部的动作进行感测，然后进行步骤491开始判断模拟摇呼拉圈的转速，如果速度小于2圈/每秒，则进行步骤492，果汁机打果汁的速度等同于使用者所摇呼拉圈的速度，此速度为果汁机的最低速。假如摇呼拉圈的转速大于2圈/每秒，则进行步骤493，接着判断此速度下持续摇呼拉圈的时间是否大于五分钟，如果持续不到5分钟，则进行步骤494，果汁机打果汁的速度等同于使用者所摇呼拉圈的速度乘上10倍，此速度为果汁机的中速。但假如使用者摇呼拉圈的转速大于2圈/每秒，且持续的时间又大于5分钟，则进行步骤495，果汁机打果汁的速度为高速运转，也在此高速转速下，使用者才有可能使用此果汁机打果汁来喝，因此以上便可透过微惯性感测模块侦测人体的运动量，来达成与周边装置互动的趣味性与功能性。

以上所述，仅为本发明的较佳实施例，不能以之限制本发明范围。即凡依本发明权利要求所做的均等变化及修饰，仍将不失本发明的要义所在，故都应视为本发明的进一步实施状况。

综合上述，本发明提供的动态动作捕捉与周边装置互动的方法与系统，具有轻巧设计有助于携带方便、可同时感测人体不同位置的动作状态以及具有以一连串动作状态序列设定周边电子装置密码的功能，因此可满足业界的需求，进而提高该产业的竞争力。

Claims (20)

1.一种动态动作捕捉与周边装置互动方法，其特征在于，其包括有下列步骤：

提供一预设动作信息；

以传感器侦测人体的运动状态；

将该传感器所感测到的讯号进行讯号处理以形成一输入动作序列；以及

将该输入动作序列与该预设动作信息进行比对以产生输出动作序列讯号。

2.如权利要求1所述的动态动作捕捉与周边装置互动方法，其特征在于，该预设动作信息为一时间与角速度的状态关系序列。

3.如权利要求1所述的动态动作捕捉与周边装置互动方法，其特征在于，该预设动作信息为一时间与加速度的状态关系序列。

4.如权利要求1所述的动态动作捕捉与周边装置互动方法，其特征在于，其更包括有如果该输入动作序列与该至少一预设动作信息一致，则控制一电子装置产生动作的步骤。

5.如权利要求1所述的动态动作捕捉与周边装置互动方法，其特征在于，其更包括有将该传感器所量测到的讯号进行讯号处理以转换成一运动量来与一电子装置进行互动的步骤，其中该运动量为加速度、速度、位移、频率、时间、消耗的卡路里值及其组成其中之一。

6.如权利要求4或5所述的动态动作捕捉与周边装置互动方法，其特征在于，该电子装置可选择为一家用电器装置以及一多媒体互动装置其中之一。

7.一种动态动作捕捉与周边装置互动系统，包括：

至少一惯性传感器，其设置于人体上以侦测人体的一动作参数而产生一动作讯号；以及

一运算控制模块，其可接收该动作讯号，该运算控制模块具有：

一储存单元，其储存有至少一预设动作信息；以及

一控制单元，其与该储存单元作电性连接，该控制单元可接收该动作讯号以计算出人体的运动状态与时间的关系，以形成一输入动作序列，该控制单元更可读取该储存单元内的至少一预设动作信息以与该输入动作序列进行比对。

8.如权利要求7所述的动态动作捕捉与周边装置互动系统，其特征在于，该预设动作信息为一时间与加速度的状态关系序列。

9.如权利要求7所述的动态动作捕捉与周边装置互动系统，其特征在于，该预设动作信息为一时间与角速度的状态关系序列。

10.如权利要求7所述的动态动作捕捉与周边装置互动系统，其特征在于，其更包括有一电子装置，可接收该控制单元所发出的一控制讯号以产生动作。

11.如权利要求7所述的动态动作捕捉与周边装置互动系统，其特征在于，该控制单元更可将该惯性传感器所量测到的讯号进行讯号处理以转换成一运动量与一电子装置进行互动，其中该运动量为加速度、速度、位移、频率、时间、一消耗的卡路里值及其组成其中之一。

12.如权利要求10或11所述的动态动作捕捉与周边装置互动系统，其特征在于，该电子装置可选择为一家用电器装置以及一多媒体互动装置其中之一。

13.如权利要求10所述的动态动作捕捉与周边装置互动系统，其特征在于，该动作讯号是以无线传输至该运算控制模块。

14.如权利要求7所述的动态动作捕捉与周边装置互动系统，其特征在于，该动作参数可选择为一角速度、加速度及其组合其中之一。

15.一种动态动作捕捉与周边装置互动方法，其特征在于，其包括有下列步骤：

预先于一储存单元内提供至少一预设动作信息；

于人体上配置有至少一惯性传感器；

人体产生运动动作；

以该惯性传感器侦测人体的运动状态；

将该惯性传感器所感测到的讯号进行一讯号处理以形成一输入动作序列；以及

将该输入动作序列与该预设动作信息进行比对，如果该输入运动状态与该预设动作信息符合的话，则控制一电子装置产生动作。

16.如权利要求15所述的动态动作捕捉与周边装置互动方法，其特征在于，该预设动作信息为一时间与加速度的状态关系序列。

17.如权利要求15所述的动态动作捕捉与周边装置互动方法，其特征在于，该预设动作信息为一时间与角速度的状态关系序列。

18.如权利要求15所述的动态动作捕捉与周边装置互动方法，其特征在于，其更包括有将该惯性传感器所量测到的讯号进行讯号处理以转换成一运动量而与该电子装置进行互动的步骤，该运动量可为加速度、速度、位移、频率、时间、消耗的卡路里值及其组成其中之一。

19.如权利要求15所述的动态动作捕捉与周边装置互动方法，其特征在于，该电子装置可选择为一家用电器装置以及一多媒体互动装置其中之一。

20.如权利要求15所述的动态动作捕捉与周边装置互动方法，其特征在于，该讯号处理更包括有下列步骤：

计算人体运动的基准点；以及

对感测到的讯号分析人体动作状态以计算出该输入动作序列。

Images