CN101995947B

CN101995947B - 通过网络感知用户动作的系统和方法

Info

Publication number: CN101995947B
Application number: CN2010101461276A
Authority: CN
Inventors: 刘云辉
Original assignee: Chinese University of Hong Kong CUHK
Current assignee: Chinese University of Hong Kong CUHK
Priority date: 2009-08-21
Filing date: 2010-04-12
Publication date: 2012-07-04
Anticipated expiration: 2030-04-12
Also published as: CN101995947A; HK1151598A1

Abstract

公开了一种通过网络感知用户动作的系统和方法，该系统包括：表面肌电传感器，在网络一侧采集第一用户的动作产生的肌电信号；识别模块，根据所述肌电信号识别所述第一用户的动作；以及机械活动部件，根据所识别的动作执行相应的动作，从而使得位于网络另一侧的第二用户感知所述第一用户的动作。还公开了一种根据由用户动作产生的肌电信号识别所述用户动作的系统、装置和方法。

Description

通过网络感知用户动作的系统和方法

技术领域

本申请涉及网络中的用户间交互，更具体地，涉及通过网络感知用户动作的系统和方法。

背景技术

在传统的网络通信中，用户之间主要通过文字、图像、语音等多媒体信息来进行交流。然而，现有的通信平台并不能通过网络使用户感知到网络另一端用户的肢体动作。

发明内容

根据本申请的第一方面，公开了一种通过网络感知用户动作的系统，包括：表面肌电传感器，在网络一侧采集第一用户的动作产生的肌电信号；识别模块，根据所述肌电信号识别所述第一用户的动作；以及机械活动部件，根据所识别的动作执行相应的动作，从而使得位于网络另一侧的第二用户感知所述第一用户的动作。

根据本申请的第二方面，公开了一种通过网络感知用户动作的方法，包括：从位于网络一侧的第一用户采集由所述第一用户的动作产生的肌电信号；根据所述肌电信号识别所述第一用户的动作；根据识别出的动作生成相应的控制指令；以及响应于所述控制指令在网络另一侧执行所述动作，从而使得位于网络另一侧的第二用户感知所述第一用户的动作。

根据本申请的第三方面，公开了一种根据由用户动作产生的肌电信号识别所述用户动作的系统，包括：表面肌电传感器，采集响应于用户的动作产生的肌电信号；以及识别模块，包括：特征提取单元，从所述肌电信号中提取特征信号；以及模式识别单元，根据预先存储的多个数据样本识别出与提取的特征信号对应的动作，所述多个数据样本中的每一个包括一个特征信号集群和相应的动作指示。

根据本申请的第四方面，公开了一种根据由用户动作产生的肌电信号识别所述用户动作的装置，包括：特征提取单元，从所述肌电信号中提取特征信号；以及模式识别单元，根据预先存储的多个数据样本识别出与提取的特征信号对应的动作，所述多个数据样本中的每一个包括一个特征信号集群和相应的动作指示。

根据本申请的第五方面，公开了一种根据由用户动作产生的肌电信号识别所述用户动作的方法，包括：从所述肌电信号中提取特征信号；将所提取特征信号与预先存储的多个数据样本进行比较；以及根据比较结果，识别所述肌电信号对应的用户动作，其中，所述多个数据样本中的每一个包括一个特征信号集群和相应的动作指示。

附图说明

图1示意性地示出了根据本申请的一个实施方式通过网络感知用户动作的系统。

图2示意性地示出了根据本申请一个实施方式的SEMG传感器的示意框图。

图3示意性地示出了根据本申请的一个实施方式的识别模块。

图4示意性地示出了采用时域方法从具有六个通道的SEMG传感环采集到的肌电信号中提取出的平方和特征。

图5示意性地示出了基于短时傅里叶变换从具有六个通道的SEMG传感环采集到的肌电信号中提取出的平方和特征。

图6示意性地示出了采用主成分分析法将提取的特征信号投影在二维平面得到的降维的特征信号。

图7示意性地示出了通过学习得到的在二维平面代表几个不同动作的特征信号集群。

图8示意性地示出了根据本申请的一个实施方式的机械手。

图9示意性地示出了图8的机械手中的手指结构。

图10a和10b分别示出了图9的手指转动前后的示意图。

图11示意性地示出了根据本申请一个实施方式通过网络感知用户动作的方法的流程图。

具体实施方式

下面，参照附图对本申请的示例性实施方式进行详细描述。

图1示出了根据本申请的一个实施方式通过网络(例如，局域网、广域网、有线网络、无线网络、3G网络等)感知用户动作的系统100。如图所示，系统100包括分别由用户10和20操作的、通过网络通信的终端11和21。终端11和21可以是网络中任何适当的通信终端，例如，个人计算机、笔记本电脑、移动电话、个人数字助理等。系统100还包括与用户10和终端11通信的SEMG(surfaceelectromyography，表面肌电)传感器12、以及与用户20和终端21通信的机械活动部件23。

SEMG传感器12由用户10佩戴在皮肤表面。用户在进行肢体动作时，其肌肉会伸缩，并且会有微弱的电能量聚集在对应位置处的皮肤表面。因此，响应于用户10的肢体动作，佩戴在其皮肤表面的SEMG传感器12检测到对应皮肤位置下的肌肉伸缩运动以及由此产生的电信号(即，肌电信号)。SEMG传感器12通过有线接口或例如蓝牙等无线接口将检测到的肌电信号传递给终端11。

根据一个实施方式，终端11包括根据接收的肌电信号识别用户10的动作的识别模块(未示出)，并通过网络将表示识别出的动作的信息传送给终端21。终端21包括指令生成模块(未示出)，该指令生成模块根据接收的信息生成用于控制机械活动部件23的控制指令。机械活动部件23根据来自终端21的控制指令为用户20再现与用户10的动作相一致的动作。机械活动部件23可以通过有线或无线接口与终端21相连。

根据另一实施方式，终端11将接收到的肌电信号直接传送给终端21。终端21包括根据肌电信号识别用户10的动作的识别模块和根据识别出的动作生成控制指令的指令生成模块。机械活动部件23根据来自终端21的控制指令为用户20再现与用户10的动作相一致的动作。可选地，终端11包括对接收到的肌电信号进行调制的调制模块，终端21相应地包括解调模块，用于对接收到的调制信号进行解调以恢复SEMG传感器12发送的肌电信号。

根据又一实施方式，终端11包括根据肌电信号识别用户10的动作的识别模块和根据识别出的动作生成控制指令的指令生成模块，并将生成的控制指令传送给终端21。终端21将接收的控制指令转发给机械活动部件23。机械活动部件23根据终端21转发的控制指令为用户20再现与用户10的动作相一致的动作。

由于肌电信号通常具有微弱的电压(例如，几微伏到几毫伏)并且混杂有大量的噪声，因此通常需要在SEMG传感器中对采集的肌电信号进行放大和滤波。图2示出了根据本申请一个实施方式的SEMG传感器12的示意框图。如图所示，SEMG传感器12包括从用户的皮肤表面采集肌电信号的多个电极201、将采集的肌电信号进行放大的放大器202、以及将放大后的肌电信号中的不期望分量滤除的滤波器203。放大器202例如可以是将肌电信号放大到几伏的差分放大器。由于有用的肌电信号分布在20Hz到500Hz之间，并且肌电信号中可能存在50Hz的工频噪声，因此，滤波器203可以由将频率低于20Hz的噪声滤除的高通滤波器、将频率高于500Hz的噪声滤除的低通滤波器、以及将频率为50Hz的噪声滤除的带阻滤波器共同构成。

在一个实施例中，SEMG传感器12是用来检测人手动作的手腕式SEMG传感环。由于人手的五个手指由前臂的四块肌肉控制，因此，在手腕式SEMG传感环中，可具有至少四个电极，每个电极的电通道用来检测一块肌肉的伸缩产生的肌电信号。作为一种选择，SEMG传感器12可具有六个电极，以确保当用户将其佩戴在手腕上时，这六个电极能充分覆盖四块肌肉所对应的皮肤位置，从而避免由于电极与肌肉位置错位而丢失动作信息。

图3示出了根据本申请的一个实施方式的识别模块30。识别模块30位于终端11或21中，并可包括特征提取单元301、样本存储单元302和模式识别单元303。

样本存储单元302预先存储有多个数据样本，每个样本包括一个特征信号和与之对应的动作指示。存储的数据样本可以是经过学习和训练得到的。特征提取单元301从接收自SEMG传感器12的肌电信号提取该肌电信号的特征信号，并将提取的特征信号提供至模式识别单元303。模式识别单元303将特征提取单元301提供的特征信号与样本存储单元302中存储的样本进行比较，从而识别出与该特征信号对应的动作。作为一种选择，样本存储单元也可以不包含在识别模块内。例如，数据样本可以存储在通信终端的其他存储设备中，或者可以分布式地存储在网络中。

肌电信号的特征信号可以通过对肌电信号进行时域处理、频域处理、或时-频域处理而获得。响应于用户的动作，SEMG传感器12的每个传感通道都会采集到一个肌电信号。特征提取单元301对每个传感通道采集到的肌电信号分别进行计算以提取出需要的特征信号。例如，肌电信号的特征信号可以是通过时域方法得到的平方和值、基于傅里叶变换得到的力矩值或平方和值、或者基于短时傅里叶变换得到的力矩值或平方和值。在时-频域方法中，根据短时距傅里叶变换的结果提取特征。也就是，在时域上把信号分成很短的时段，对每个时段进行傅里叶变换以得到每个时段的频域特性，从而提供更多的瞬态信息，以便更精确地识别每个时段的动作。

例如，图4示意性地示出了采用时域方法从具有六个通道的SEMG传感环采集到的肌电信号(分别对应于大拇指、食指、中指、及无名指和小拇指的动作)中提取出的平方和特征，其中，平方和特征f例如可通过下式获得：

f_{j} = Σ_{t = 1}^{N} {| s_{j} (t) |}^{2}

其中，j代表第j通道，N为每个通道在时域上的采集点数，s为在时间t从通道j采集到的肌电信号的大小。

图5示意性地示出了基于短时傅里叶变换从具有六个通道的SEMG传感环中的一个通道采集到的肌电信号中提取出的平方和特征。如图所示，图5中的每一条曲线对应于由一个手指的动作产生的肌电信号的平方和特征。

在一个实施方式中，由于将多个通道提取出的全部特征输入模式识别单元303进行处理会带来很大的计算量，因此，识别模块30可进一步包括降维单元304，对特征提取单元301提取的特征信号进行降维。在这种情况下，样本存储单元302中存储的数据样本中的特征信号也是预先经过降维处理的信号。在接收到经过降维单元304进行降维处理后的特征信号后，模式识别单元303将其与样本存储单元302中存储的样本进行比较，从而识别出对应的动作。在一个实施例中，降维单元304采用主成分分析法将来自多个通道的特征投影到二维平面上，以实现降维。例如，图6示意性地示出了采用主成分分析法投影在二维平面的特征。

作为一种选择，识别模块30可进一步包括学习单元305。学习单元305可与特征提取单元301通信连接，使特征提取单元30对多个已知的动作进行数据样本采集，将采集的(或降维后的)特征信号进行归类以得到代表不同动作的不同信号集群，并将得到的信号集群和已知与之对应的动作关联地存储到样本存储单元302。特征信号的归类例如可以采用统计学的马氏距离法来实现。例如，图6中代表各个不同动作的离散点经过马氏距离法的归类，可形成图7所示的几个集群。这样，在降维单元304通过主成分分析法将六个通道提取的特征投影到二维平面上之后，模式识别单元303可通过马氏距离法计算投影的特征到各个集群中心的距离。特征的投影距离哪个集群的中心最近，就属于哪个集群。通过这种方式，模式识别单元303识别出该特征信号对应的动作，并将指示该动作的信息发送至控制单元(未示出)，以控制机械活动部件23执行相应的动作。

在一个实施例中，机械活动部件23是机械手。该机械手包括手掌、五个手指、和用于驱动这五个手指的驱动单元，如图8所示。驱动单元例如可以包括五个电机，每个电机驱动一个手指。作为一种选择，驱动单元可包括四个电机，例如，伺服电机。其中，无名指和小拇指由同一个电机驱动，其余三个手指各由一个电机驱动。参见图9，与人手的结构类似，机械手的每根手指230由三段指骨231-233构成，并由三个旋转关节250将指骨231-233与手掌240顺序连接。机械手的每根手指采用耦合式结构，即，三个旋转关节250由一根线260牵动，并由相应的电机(未示出)驱动。在这种情况下，指令生成模块根据识别模块识别出的动作，生成适当的控制信号以驱动相应的手指进行相应的动作。例如，可以以适当大小的功率驱动一个或多个电机。响应于来自指令生成模块的控制信号，电机将线拉紧，从而由于线的牵引作用而在三个旋转关节处产生力矩并使之转动。图10a和10b分别示出了一个手指在由电机驱动前、后的示意图。

在以上描述的实施方式中，终端11和21分别与SEMG传感器12和机械活动部件23连接，从而将用户10的动作传递至用户20。显然，如图1中的虚线连接所示，终端11和21可分别进一步与机械活动部件13和SEMG传感器22连接，以类似地将用户20的动作传递至用户10，从而实现用户之间的动作交互。SEMG传感器22和机械活动部件13的结构与操作与上文描述的SEMG传感器12和机械活动部件23类似，因此不再赘述。

本发明还公开了一种通过网络感知用户动作的方法。图11示意性地示出了根据本申请一个实施方式的方法1100。如图所示，在步骤S1101，从位于网络一侧的第一用户采集由第一用户的动作产生的肌电信号。然后，在步骤S1102根据肌电信号识别第一用户的动作，并在步骤S1103根据识别出的动作生成相应的控制指令。接着，在步骤S1104，响应于控制指令在网络另一侧执行动作，从而使得位于网络另一侧的第二用户感知第一用户的动作。步骤S1101-S1104例如可以分别由上文的系统中的SEMG传感器、识别模块、指令生成模块和机械活动部件来执行。

根据一个实施方式，步骤S1102可进一步包括从肌电信号中提取特征信号；以及根据预先存储的多个数据样本识别出与提取的特征信号对应的动作。其中，多个数据样本可以是通过对第一用户的动作进行学习而得到的，多个数据样本中的每个可包括一个特征信号集群和相应的动作。

根据一个实施方式，在根据多个数据样本识别出与提取的特征信号对应的动作之前，可对提取的特征信号进行降维处理，以减少步骤S1104中的计算量。

上述各步骤的具体操作已在上文参照系统100的各组件进行了详细说明，因此不再赘述。

以上参照附图对本申请的示例性实施方式进行了描述，应该理解，本申请并不局限于上文描述的各具体实施方式。根据本申请公开的内容，本领域技术人员可以对上述实施方式进行适当的修改和变形，而并不超出本申请的精神和范围。本申请的保护范围由权利要求限定。

Claims

1.一种通过网络感知用户动作的系统，包括：

表面肌电传感器，在网络一侧采集第一用户的动作产生的肌电信号；

识别模块，根据所述肌电信号识别所述第一用户的动作；以及

机械活动部件，根据所识别的动作执行相应的动作，从而使得位于网络另一侧的第二用户感知所述第一用户的动作。

2.如权利要求1所述的系统，进一步包括：

指令生成模块，根据所识别的动作生成控制指令，所述控制指令控制所述机械活动部件执行与所识别的动作相对应的动作。

3.如权利要求1所述的系统，其中，所述识别模块设置在由所述第一用户操作的第一终端中，或者设置在由所述第二用户操作的第二终端中。

4.如权利要求2所述的系统，其中，所述指令生成模块设置在由所述第一用户操作的第一终端内，或者设置在由所述第二用户操作的第二终端内。

5.如权利要求1所述的系统，其中，所述表面肌电传感器是手腕式表面肌电传感环。

6.如权利要求5所述的系统，其中，所述手腕式表面肌电传感环具有至少四个电极传感通道。

7.如权利要求6所述的系统，其中，所述手腕式表面肌电传感环具有六个电极传感通道。

8.如权利要求1所述的系统，其中，所述识别模块包括：

特征提取单元，从所述肌电信号中提取特征信号；以及

模式识别单元，根据预先存储的多个数据样本识别出与提取的特征信号对应的动作，所述多个数据样本中的每一个包括一个特征信号集群和相应的动作指示。

9.如权利要求8所述的系统，其中，所述识别模块进一步包括：

降维单元，将所述特征提取单元提取的特征信号进行降维处理后传递至所述模式识别单元。

10.如权利要求8所述的系统，其中，所述识别模块进一步包括：

学习单元，响应于所述第一用户的指令对所述第一用户的动作进行学习，以获得所述多个数据样本。

11.如权利要求8所述的系统，其中，所述特征信号是所述肌电信号的平方和信号或力矩信号。

12.如权利要求2所述的系统，其中，所述机械活动部件是具有手掌、五个手指和驱动单元的机械手，所述驱动单元用于驱动五个手指的活动。

13.如权利要求12所述的系统，其中，所述五个手指中的每个手指包括第一指骨、第二指骨、第三指骨、三个旋转关节以及拉紧线，所述三个旋转关节分别连接于所述第一指骨和所述第二指骨之间、所述第二指骨和所述第三指骨之间、以及所述第三指骨和所述手掌之间，所述拉紧线连接于所述驱动单元和所述三个旋转关节，并在驱动单元的驱动下通过所述三个旋转关节牵引所述第一至第三指骨转动。

14.如权利要求13所述的系统，其中，所述指令生成模块生成的控制指令指示所述驱动单元驱动所述五个手指中的一个或多个转动。

15.如权利要求12所述的系统，其中，所述驱动单元包括四个电机，其中的一个电机驱动无名指和小拇指，另外三个分别驱动大拇指、食指和中指。

16.一种通过网络感知用户动作的方法，包括：

从位于网络一侧的第一用户采集由所述第一用户的动作产生的肌电信号；

根据所述肌电信号识别所述第一用户的动作；

根据识别出的动作生成相应的控制指令；以及

响应于所述控制指令在网络另一侧通过机械活动部件执行所述动作，从而使得位于网络另一侧的第二用户感知所述第一用户的动作。

17.如权利要求16所述的方法，其中，所述识别的步骤进一步包括：

从所述肌电信号中提取特征信号；以及

根据预先存储的多个数据样本识别出与提取的特征信号对应的动作，所述多个数据样本中的每一个包括一个特征信号集群和相应的动作指示。

18.如权利要求17所述的方法，其中，所述多个数据样本是通过对所述第一用户的动作进行学习而得到的。

19.如权利要求17所述的方法，其中，在根据所述多个数据样本识别出与提取的特征信号对应的动作之前，对提取的特征信号进行降维处理。

20.如权利要求17所述的方法，其中，所述特征信号是所述肌电信号的平方和信号或力矩信号。