CN107636566B - 可穿戴装置和用于提供可穿戴装置的反馈的方法 - Google Patents

Abstract

根据一个公开的实施例，一种用于提供可穿戴装置的反馈的方法包括：检测用户的运动；基于检测到的用户的运动来确定反馈信号所要发送到的身体部位；生成所述反馈信号；以及输出所述反馈信号，其中，所述反馈信号是用于刺激所述身体部位的肌肉的电信号。

Description

可穿戴装置和用于提供可穿戴装置的反馈的方法

技术领域

本发明构思涉及一种可穿戴装置和经由该可穿戴装置提供反馈的方法。

背景技术

在人机交互(HCI)中，从传统上讲，诸如键盘、鼠标等装置已经被用户用来执行输入操作。近年来，可以通过将虚拟用户界面(UI)映射到空间上以识别用户运动，来执行输入操作。

针对如上所述的输入处理和具体处理操作的结果，电子设备可以向用户提供反馈。电子设备可以通过生成振动或声音或者通过将具体图形元素显示在屏幕显示器上，来向用户提供有关完成了输入操作的反馈或有关具体结果的反馈。

发明内容

技术问题

本文所公开的实施例涉及一种反馈设备，该反馈设备配置为通过经由用于将反馈信号发送至与用户运动对应的身体部位的方法和设备模拟物理感觉来提高真实感。

技术方案

提供了一种由可穿戴装置执行以提供反馈的方法，该方法包括：检测用户运动；基于检测到的用户运动来确定反馈信号所要发送到的身体部位；生成反馈信号；以及输出反馈信号，其中，反馈信号是用于刺激身体部位的肌肉的电信号。

提供了一种可穿戴装置，该可穿戴装置包括：电极片，位于用户身体上；输入接口，配置为检测用户的运动；控制器，配置为基于检测到的所述用户的运动来确定反馈信号所要发送到的身体部位；以及输出接口，配置为经由位于身体部位上的电极片来输出反馈信号，其中，反馈信号是用于刺激身体部位的肌肉的电信号。

附图说明

图1是用于描述根据实施例的发送反馈信号的方法的示意图。

图2是根据实施例的提供反馈的方法的流程图。

图3是根据实施例的提供反馈的方法的流程图。

图4a是根据实施例的可穿戴装置的框图。

图4b是用于描述通过使用深度数据和肌电图(EMG)信号来检测用户运动的方法的框图。

图4c是用于描述通过使用深度数据和EMG信号来检测用户运动的方法的框图。

图5是用于描述在肌肉的收缩和舒张期间生成的EMG信号的示例的视图。

图6是用于描述根据实施例的可穿戴装置的示意图。

图7是用于描述根据另一实施例的可穿戴装置的电极类型的示图。

图8是用于描述根据另一实施例的可穿戴装置的电极类型的示图。

图9是用于描述根据另一实施例的可穿戴装置的电极类型的示图。

图10a至图10d是用于描述连接至反馈信号通过可穿戴装置所要发送到的身体部位的肌肉的视图。

图11是用于描述根据实施例的发送反馈信号的方法的示意图。

图12a是根据实施例的发送反馈信号的方法的流程图。

图12b是根据实施例的发送反馈信号的方法的流程图。

图13是用于描述通过发送反馈信号来改变用户运动的操作的视图。

图14是根据实施例的智能衣服的视图。

图15是根据另一实施例的智能衣服的视图。

图16a是根据实施例的输出反馈信号的方法的流程图。

图16b是根据实施例的输出反馈信号的方法的流程图。

图17是根据实施例的可穿戴装置的框图。

图18是根据另一实施例的可穿戴装置的框图。

图19是由可穿戴装置执行以通过检测电位来检测肌肉骨骼系统的运动的方法的流程图。

最佳实施方式

根据本发明构思的一个方面，提供了一种由可穿戴装置执行以提供反馈的方法，该方法包括：检测用户运动；基于检测到的用户运动来确定反馈信号所要发送到的身体部位；生成反馈信号；以及输出反馈信号，其中，反馈信号是用于刺激身体部位的肌肉的电信号。

根据本发明构思的另一方面，提供了一种可穿戴装置，该可穿戴装置包括：电极片，位于用户身体上；输入接口，配置为检测用户的运动；控制器，配置为基于检测到的所述用户的运动来确定反馈信号所要发送到的身体部位；以及输出接口，配置为经由位于身体部位上的电极片来输出反馈信号，其中，反馈信号是用于刺激身体部位的肌肉的电信号。

具体实施方式

图1是用于描述根据实施例的发送反馈信号的方法的示意图。参照图1，可穿戴装置14可以检测用户的执行了空间输入操作的身体部位并且可以将反馈信号发送至检测到的身体部位。

智能眼镜12可以检测空调11。智能眼镜12可以通过追踪用户双眼来检测用户想要控制的电子设备。

智能眼镜12可以显示配置为控制空调11的控制菜单13。例如，智能眼镜12可以显示配置为设置空调11的温度的控制菜单13。智能眼镜12可以将控制菜单13显示在虚拟空间中。因此，佩戴智能眼镜12的用户可以经由智能眼镜12看到控制菜单13。

用户可以触摸虚拟屏幕。用户可以经由智能眼镜12触摸虚拟屏幕来执行输入操作。例如，用户可以通过触摸显示在虚拟屏幕上的按钮来增加或者降低空调11的温度。

智能眼镜12可以根据用户输入来控制空调11。智能眼镜12可以检测输入操作中使用的用户运动并可以将该用户运动识别为控制信号以增加或者降低空调11的温度。

可穿戴装置14可以向用户提供反馈信号。可穿戴装置14可以从智能眼镜12接收用户运动并且基于用户运动将反馈信号发送至用户的身体部位。反馈信号可以是用于刺激该身体部位的肌肉的电信号。例如，当用户已经通过食指触摸了虚拟屏幕时，智能眼镜12可以检测到用户的食指，可以通过提取深度值检测到食指接近虚拟屏幕的具体用户界面(UI)的事件，并且可以将检测到的事件和深度值发送至可穿戴装置14作为检测结果。基于发送的数据，可穿戴装置14可以将电信号发送至连接至用户的食指的肌肉或者肌束。可穿戴装置14可以向肌肉或者肌束发送电肌肉刺激，以便经由肌肉骨骼系统的排斥力向用户提供用户已经触及到虚拟菜单的物理反馈。

当用户经由虚拟空间中的运动或者手势执行输入操作时，用户可以从物理上识别到该输入操作，即使用户实际上并未从物理上与该空间相接触。因此，针对用户的运动或手势，可穿戴装置14可以向用户提供有关完成了输入操作的物理反馈或者是诸如深度体验等物理反馈。

图2是根据实施例的提供反馈的方法的流程图。参照图2，可穿戴装置100可以基于从电子设备200接收到的用户运动将电信号发送至反馈部分。

在操作S210中，电子设备200可以检测用户运动。电子设备200可以通过使用相机、深度相机、红外传感器、超声波传感器、运动传感器等来检测用户运动。例如，电子设备200可以检测用户执行空间输入操作所使用的手指、用户正在进行哪种移动等。

在操作S220中，电子设备200可以将检测结果发送至可穿戴装置100。

在操作S230中，可穿戴装置100可以基于检测结果来确定反馈部分。反馈部分表示用户身体的一个部位。例如，反馈部分可以包括在输入操作中使用的用户的手指、指尖、脖子、背、膝盖等。可穿戴装置100可以基于用户运动来确定反馈信号所要发送到的用户身体的部位。可穿戴装置100可以基于从电子设备200接收到的检测结果和测量到的表面肌电图信号(下文中称为sEMG信号)来确定反馈部分。

在操作S240中，可穿戴装置100可以确定反馈强度。该反馈强度是指可穿戴装置100发送至用户的电信号的幅度。可穿戴装置100可以基于用户、外部环境(诸如，当前温度、湿度等)、用户设置、或者学习结果来有区别地设置反馈强度。同样，可穿戴装置100可以通过考虑用户、外部环境(诸如，当前温度、湿度等)、用户设置和学习结果中的至少两种，来设置反馈强度。

在操作S250中，可穿戴装置100可以确定反馈方向。该反馈方向是指可穿戴装置100将电信号发送至用户的方向。可穿戴装置100可以顺序地将电信号发送至多个身体部位。反馈方向是指顺序输出的电信号的方向。可穿戴装置100可以基于用户、外部环境(诸如，当前温度、湿度等)、用户设置、或者学习结果来有区别地设置反馈方向。同样，可穿戴装置100可以通过考虑用户、外部环境(诸如，当前温度、湿度等)、用户设置和学习结果中的至少两种，来设置反馈方向。

在操作S260中，可穿戴装置100可以确定反馈周期。该反馈周期可以指可穿戴装置100输出反馈信号的时间间隔。可替代地，该反馈周期可以指可穿戴装置100输出反馈信号的模式。可穿戴装置100可以基于用户、外部环境(诸如，当前温度、湿度等)、用户设置、或者学习结果来有区别地设置反馈周期。同样，可穿戴装置100可以通过考虑用户、外部环境(诸如，当前温度、湿度等)、用户设置和学习结果中的至少两种，来设置反馈周期。

在操作S270中，可穿戴装置100可以将电信号发送至反馈部分。例如，可穿戴装置100可以生成电肌肉刺激信号并且经由电极片发射该电肌肉刺激信号。该电极片可以位于用户的身体上或者附接至用户的身体。可穿戴装置100可以基于在操作S230至S260中确定的方法来将反馈信号发送至用户。换言之，可穿戴装置100可以基于确定的强度、方向、和周期来将反馈信号发送至确定的反馈部分。

根据本实施例，按照上述顺序确定反馈部分(S230)，确定反馈强度(S240)，确定反馈方向(S250)，并且确定反馈周期(S260)。然而，可以改变操作S230至S260的顺序，并且根据具体情况，可以同时执行操作S230至S260。

图3是根据实施例的提供反馈的方法的流程图。参照图3，可穿戴装置100可以基于从电子设备200接收到的确定的反馈方法的结果，来输出电信号。

根据图2中图示的流程图，可穿戴装置100确定所有这些反馈方法。然而，根据图3中图示的流程图，电子设备200可以确定反馈方法并且将确定的反馈方法发送至可穿戴装置100。因此，在操作S370中，可穿戴装置100可以基于接收到的反馈方法来输出电信号。

图3的操作S310至S360与操作S210至S260相同。然而，操作S310至S360由电子设备200执行。

当可穿戴装置100仅包括电信号生成器时，电子设备200(而非可穿戴装置100)可以确定反馈方法。因此，可穿戴装置100可以制造为具有简单的结构。

图4a是根据实施例的可穿戴装置400的框图。参照图4a，可穿戴装置400可以包括输入接口410、控制器420、通信器430、存储器440、和输出接口450。

输入接口410可以检测用户运动。输入接口410可以通过测量从用户的肌肉生成的sEMG信号来检测用户运动。同样，输入接口410可以通过对用户运动进行拍摄来检测用户运动。同样，输入接口410可以通过使用多种传感器来检测用户运动。

输入接口410可以包括传感器411、模数转换(ADC)滤波器412、和相机413。传感器411可以包括温度传感器、湿度传感器、EMG信号测量装置等。EMG信号测量装置可以包括导电电极、感应电极等，并且可以测量从用户的肌肉生成的电信号。

ADC滤波器412可以从自导电电极或者感应电极接收到的信号中仅提取用户的肌肉的激活信号，并且可以将提取到的激活信号转换成数字信号。

相机413可以对用户进行拍摄并且将拍摄得到的图像输出至控制器420。例如，相机413可以是深度相机，并且该深度相机可以获得用户的深度信息。因此，输入接口410可以比较从深度相机接收到的深度值的变化，提取用户的轮廓，并且追踪用户的运动变化。

输入接口410可以进一步包括配置为追踪可穿戴装置400的佩戴位置的传感器。例如，输入接口410可以进一步包括加速度传感器、陀螺仪传感器、运动传感器、EMG传感器、红外传感器、超声波传感器等，并且可以通过使用这些传感器来检测用户运动。

输入接口410可以通过使用从至少两个传感器接收到的信号来检测用户运动。例如，输入接口410可以通过使用利用相机413拍摄得到的图像来检测用户的整体运动并且可以通过使用利用EMG传感器检测到的数据来检测用户的详细运动。

可以随着时间改变可穿戴装置400的佩戴位置。因此，输入接口410可以通过使用多种传感器来追踪可穿戴装置400的佩戴位置并且将追踪结果输出至控制器420。

控制器420可以操作和控制信号处理模块、电极选择模块、信号生成模块、学习模块、佩戴位置确定模块、和接地控制模块。信号处理模块、电极选择模块、信号生成模块、学习模块、佩戴位置确定模块、和接地控制模块可以存储在存储器440中。控制器420可以基于从输入接口410接收到的信号，通过控制输出接口450，向用户输出反馈信号。

控制器420不仅可以基于用户运动输出反馈信号，并且还可以追踪用户的肌肉的张力变化并且将该张力变化用作输入。可以经由测量得到的sEMG信号来测量肌肉的张力变化。例如，用户可以经由手对虚拟空间上显示的物体的握持手势，以虚拟的方式获得物体。之后，当控制器420感测到肌肉的张力增加时，即使用户的手势没有发生变化，控制器420也可以确定用户对物体施加了抓力并且可以执行与对虚拟物体施加抓力有关的事件。因此，控制器420可以基于sEMG信号检测用户的意图并且基于用户的意图来处理事件，从而与用户执行交互。

控制器420可以基于从输入接口410接收到的信号来确定反馈方法。信号处理模块可以确定反馈信号所要发送到的身体部位、以及反馈信号的强度、方向、和周期。

控制器420可以基于确定的反馈方法来选择反馈信号要输出到的电极。电极选择模块可以选择至少一个电极或者一组电极。电极选择模块可以选择要打开或关闭的电极片，或者选择要打开或关闭的电极。

信号生成模块可以经由预定义的算法和参考值来生成反馈信号。同样，信号生成模块可以基于经由学习模块计算得到的值动态地改变反馈信号。

学习模块可以基于经由输入接口410或者通信器430接收到的用户运动、以及从参考数据库(DB)442接收到的数据，来计算适合该用户的反馈信号的强度、方向、周期等。学习模块可以将数据，诸如，计算得到的强度、方向、周期等，发送至信号处理模块。

佩戴位置确定模块可以追踪可穿戴装置400的佩戴位置并且确定当前佩戴位置。佩戴位置确定模块可以控制配置为防止佩戴位置变化的装置。

接地控制模块可以防止将电肌肉刺激(EMS)信号发射到非计划中的身体部位。接地控制模块可以维持EMS信号所要发射到的电极周围的接地状态。接地控制模块可以通过向EMS信号所要发射到的电极周围的接地电极输出信号，来维持EMS信号所要发射到的电极周围的接地状态。接地控制模块可以通过向接地电极输出信号来控制接地电极的开关状态。

通信器430可以从除了可穿戴装置400之外的其它电子设备接收用户运动的检测结果。通信器430可以经由Zigbee、Wifi、Blutooth等向该其它电子设备发送数据和从其它电子设备接收数据。

在控制器420的控制下，存储器440可以存储与学习数据有关的DB 411(下文称为“学习DB”)和与参考有关的DB 442(下文称为“参考DB”)。学习数据DB 441可以存储关于用户的使用特性和肌肉激活的学习数据。学习数据DB 441可以将针对各个用户的最佳EMS强度、最佳EMS方向、最佳EMS周期等输出至控制器420。同样，学习数据DB 441可以存储针对各个用户学习的敏感度和肌肉激活度。

参考DB 442可以将标准参考肌肉激活度提供至控制器420。参考DB 442可以基于用户的身高、体重等存储参考模型。

输出接口450可以包括数模转换(DAC)滤波器451、电机/泵452、EMS发射器453、和EMS消除器454。DAC滤波器451可以将从控制器420接收到的数字信号转换成模拟信号。电机/泵452可以控制配置为防止佩戴位置变化的装置。EMS发射器453可以经由电极发射EMS信号。对应于EMS发射器453，EMS消除器454可以生成配置为防止发射EMS信号的接地电极的激活模式和序列。EMS消除器454可以基于从EMS发射器453发射的电信号的强度和方向以及目标肌肉的类型来恰当地消除EMS信号。同样，EMS消除器454可以防止经由用户的皮肤的内部部分和外部部分传播的导电信号侵入非目标肌肉所在的区域中，从而控制由皮肤和人体的导电性而导致的EMS信号的传播。

图4b是用于描述通过使用深度数据和EMG信号来检测用户运动的方法的框图。参照图4b，可穿戴装置400可以通过从同步装置500接收深度数据来检测用户运动。

同步装置500可以是无线或者有线连接至可穿戴装置400的装置。同步装置500可以从可穿戴装置400接收数据或者向可穿戴装置400发送数据。

同步装置500可以包括深度相机510、控制器520、和通信器530。深度相机510可以对用户进行拍摄并且生成深度数据。可以将深度数据输出至控制器520并且可以经由通信器530将其发送至可穿戴装置400。

深度相机510可以使用飞行时间(TOF)方法和模式变化捕获方法。根据TOF方法，通过识别反射波的相位变化来计算深度。深度相机510可以使用红外线。在红外线入射较强的环境中，可能会降低深度相机510的识别率。因此，可穿戴装置400不仅可以使用深度数据，而且还可以使用输入接口410测量得到的sEMG信号来检测用户运动。

针对经由深度相机510进行的深度测量不可靠的部分，可穿戴装置400可以使用EMG信号来补充深度数据。输入接口410可以通过使用位于用户的局部肌肉骨骼系统上的电极片来测量EMG信号。可穿戴装置400可以通过对sEMG信号进行滤波并且提取sEMG信号的样式或者最大和最小值来估计用户的肌肉骨骼系统的运动。因此，可穿戴装置400可以通过基于估计的肌肉骨骼系统的运动补充深度数据来检测用户运动。

控制器420可以通过使用从输入接口410接收到的输入数据、以及深度数据来检测用户运动。例如，控制器420可以通过使用深度数据来检测整体用户运动并且可以通过使用输入数据来检测详细用户运动。控制器420可以通过使用深度数据来提取用户的轮廓并且通过使用输入数据来追踪运动状态的变化。输入数据可以是EMG信号。控制器420可以通过分析EMG信号来检测该运动。由于控制器420使用了深度数据和输入数据，所以控制器420可以精确地检测用户运动。

图4c是用于描述通过使用深度数据和EMG信号来检测用户运动的方法的框图。同步装置500可以通过使用输入数据和深度数据来执行计算并且将计算结果输出至可穿戴装置400。该计算结果可以指用户运动。换言之，同步装置500可以通过使用输入数据和深度数据来检测用户运动并且将检测结果输出至可穿戴装置400。例如，可穿戴装置400可以测量由于用户的肌肉的运动而生成的sEMG信号并将该sEMG信号发送至同步装置500。同步装置500可以通过使用接收到的sEMG信号来补充深度数据或者提供附加信息。

同步装置500可以通过分析sEMG信号的样式或者sEMG信号的变化来追踪用户的情绪状态或者位置变化。可替代地，同步装置500可以通过分析sEMG信号的样式或者将sEMG信号的变化与参考相比较，来追踪用户的情绪状态或者位置变化。

控制器520可以从深度相机510接收深度数据并且可以从可穿戴装置400接收输入数据。控制器520可以通过使用深度数据和输入数据来执行计算并且将计算结果再次输出至可穿戴装置400。因此，可穿戴装置400不必执行该计算并且可以基于接收到的计算结果来控制输出接口450输出反馈信号。

图5是用于描述在肌肉20的收缩和舒张期间生成的EMG信号21和22的示例的视图。如图5所示，当肌肉20收缩时生成的EMG信号21和当肌肉20舒张时生成的EMG信号22彼此不同。可穿戴装置400可以经由测量EMG信号21和22的位置、样式等来检测用户运动。同样，可穿戴装置400可以通过发送具有与EMG信号21或者22相同样式的信号，来诱导肌肉20的收缩或者舒张。

图6是用于描述根据实施例的可穿戴装置600的示意图。参照图6，可穿戴装置600可以是可佩戴到手腕上的类型。可穿戴装置600可以包括尼龙搭扣(Velcro)620和电极片610。用户可以通过使用尼龙搭扣620将可穿戴装置600固定到用户的手腕。用户可以固定可穿戴装置600从而使电极片610与用户的皮肤相接触。

当用户佩戴着可穿戴装置600时，电极片610与用户的身体相接触。同样，当用户将可穿戴装置600佩戴到手腕时，电极片610位于手指的肌肉分开的区域中。因此，可穿戴装置600可以向反馈信号所要发送到的手指的肌肉输出EMS信号。针对图6，描述了将可穿戴装置600佩戴到手腕的情况。然而，可以将可穿戴装置600佩戴到用户的身体的各个部位，诸如，手指、肩膀、大腿等。因此，可以将可穿戴装置600佩戴到反馈信号所要发送到的身体部位并且可穿戴装置600可以基于用户运动来发送反馈信号。

电极片610可以感测基于用户运动生成的EMG信号。电极片610可以经由电极611感测从身体生成的EMG信号。因此，可穿戴装置600可以根据经由其感测EMG信号的电极611的位置来检测用户运动。

电极片610可以包括向用户的手腕输出EMS信号的电极611。换言之，电极片610可以包括多个电极611。基于肌肉，电极611可以具有不同的分布、形状、大小等。

电极片610可以用于输入和输出信号。换言之，可穿戴装置600可以经由电极片610输出EMS信号或者接收EMG信号。

可穿戴装置600可以为各个手指发送反馈信号。电极片610可以经由多个电极611中的一些电极来输出EMS信号。可穿戴装置600可以确定EMS信号所要发送到的手指并且确定与确定的手指的肌肉相接触的电极611。可穿戴装置600可以经由确定的电极611来输出EMS信号。

图6示出了电极片610具有直线形状的情况。然而，电极片610的形状可以变化，从而使电极片610可以容易地与用户的身体相接触。同样，肌肉的形状和位置对于用户的各个身体部位都是不同的，因此，可以针对电极片610所在的各个身体部位将电极片610形成为不同的形状，或者电极片610可以包括具有不同形状的电极611。根据另一实施例，可以将电极片610形成为耦接至身体。

可穿戴装置600可以通过检测用户运动以检测手指，将反馈信号发送至用户的用于进行空间输入操作的手指或发送至连接至该手指的肌肉。生成EMG信号的位置、EMG信号的格式、EMG信号的强度等都可以基于用户运动变化。因此，可穿戴装置600可以基于感测到的EMG信号来检测用户运动。可穿戴装置600可以基于用户运动来选择反馈信号所要发送到的电极611，并且还将反馈信号(即，电信号)输出至所选择的电极611。可穿戴装置600可以将反馈信号输出至多个电极611，并且可以有区别地设置将电信号输出至多个电极611的时间点、电信号的持续时间等。

图7是用于描述根据另一实施例的可穿戴装置600的电极类型的示图。参照图7，可穿戴装置600可以进一步包括接地电极630。可以将接地电极630形成在电极片610周围。接地电极630可以防止将输出至电极片610的EMS信号发射到周围环境。

图8是用于描述根据另一实施例的可穿戴装置600的电极类型的图示。参照图8，可穿戴装置600可以包括多个电极片610。这多个电极片610可以经由接地电极630被彼此电分开。电极片610可以具有方形形状。可穿戴装置600可以确定EMS信号所要输出到的电极片610并且可以确定在所确定的电极片610中包括的电极611当中EMS信号所要输出到的一个电极。

图9是用于描述根据另一实施例的可穿戴装置600的电极类型的示图。参照图9，可穿戴装置600可以包括多边形电极片610。图9示出了，例如，六边形电极片610。然而，电极片610可以具有五边形、七边形或者圆形形状。各个六边形电极片610可以被接地电极630围住。

图10a至图10d是用于描述连接至反馈信号通过可穿戴装置600所要发送到的身体部位的肌肉的视图。参照图10a至图10d，可穿戴装置600可以输出反馈信号，从而使拇指、食指、中指、小指等感觉到物理排斥力。图10a是用于描述连接至拇指的肌肉的视图，图10b是用于描述连接至食指的肌肉的视图，图10c是用于描述连接至中指的肌肉的视图，并且图10c是用于描述连接至小指的肌肉的视图。

可穿戴装置600可以检测用户运动并且确定用户已使用拇指、食指、中指、和小指中的哪一个执行了空间输入操作。例如，当可穿戴装置600确定用户已经通过使用拇指执行了空间输入操作，则可穿戴装置600可以将反馈信号发送至经由其拇指感觉到物理排斥力的任何肌肉。

可穿戴装置600可以将反馈信号发送至与在图10a至图10d中示出的拇指、食指、中指、和小指的运动有关的肌肉，从而使这些手指可以感觉到物理排斥力。

可穿戴装置600可以与连接至手指的运动的肌肉相接触或者在连接至手指的运动的肌肉周围的电极，并且向所选择的电极输出EMS信号。可穿戴装置600可以基于用户来确定EMS信号的强度、方向、或周期，并且可以基于所确定的强度、方向、或者周期来输出EMS信号。

图10a至图10d示出了将反馈信号输出至与手指的运动有关的肌肉的实施例。然而，当用户通过使用除了手指之外的其它身体部位来执行空间输入操作时，可穿戴装置600可以将反馈信号发送至与已经执行了空间输入操作的其它身体部位有关的肌肉，从而使用户可以感觉到物理排斥力。

图11是用于描述根据实施例的发送反馈信号的方法的示意图。参照图11，带式反馈装置1110或者衣服式反馈装置1120可以确定用户运动是否与参考运动对应，并且可以基于确定结果将反馈信号发送至不对应于参考运动的身体部位。带式反馈装置1110或者衣服式反馈装置1120可以是可穿戴装置的示例。

带式反馈装置1110或者衣服式反馈装置1120可以直接检测用户运动或者可以从位于用户周围的电子设备接收检测到的用户运动。带式反馈装置1110或者衣服式反馈装置1120可以经由输入接口来检测用户运动。例如，带式反馈装置1110或者衣服式反馈装置1120可以经由经过电极接收到的EMG信号来检测用户运动。带式反馈装置1110或者衣服式反馈装置1120可以包括位于用户的身体上的电极片并且可以经由该电极片中包括的电极来感测EMG信号。带式反馈装置1110或者衣服式反馈装置1120的控制器可以基于测量到EMG信号的身体部位、EMG信号的强度、EMG信号的格式等来检测用户运动。

作为另一示例，带式反馈装置1110或者衣服式反馈装置1120可以经由通过同步装置的深度相机拍摄的深度图像来检测用户运动。深度相机可以通过基于用户的移动测量在用户的各个身体部位与深度相机之间的距离，来获得深度图像。当用户的移动改变时，在用户的各个身体部位与深度相机之间的距离改变。深度相机可以获得每当用户的移动改变时的深度图像。

带式反馈装置1110或者衣服式反馈装置1120可以从同步装置接收深度图像。带式反馈装置1110或者衣服式反馈装置1120的控制器可以经由接收到的深度图像来检测用户运动。同步装置可以将通过使用深度图像检测用户运动的结果发送至带式反馈装置1110或者衣服式反馈装置1120。同步装置可以是位于用户前方的附加装置。

同步装置可以无线或者有线地连接至带式反馈装置1110或者衣服式反馈装置1120，并且可以向带式反馈装置1110或者衣服式反馈装置1120发送数据和从带式反馈装置1110或者衣服式反馈装置1120接收数据。

带式反馈装置1110或者衣服式反馈装置1120可以将用户运动与参考运动相比较，或者可以从同步装置接收比较结果。带式反馈装置1110或者衣服式反馈装置1120可以确定用户运动和参考运动彼此不同的身体部位。例如，带式反馈装置1110或者衣服式反馈装置1120可以通过计算在用户运动和参考运动的特征点的位置坐标之间的差异来计算在用户运动与参考运动之间的误差。

带式反馈装置1110或者衣服式反馈装置1120可以基于计算得到的误差来确定电信号所要发送到的身体部位。带式反馈装置1110或者衣服式反馈装置1120可以输出电信号以刺激所确定的身体部位。可以将电信号发送至基于在用户运动与参考运动之间的误差确定的身体部位，或者将电信号发送至在所确定的身体部位周围的肌肉，并且可以输出电信号以降低在用户运动与参考运动之间的误差以便校正用户运动。带式反馈装置1110或者衣服式反馈装置1120可以输出电信号以降低误差。可替代地，带式反馈装置1110或者衣服式反馈装置1120可以输出电信号直到误差变为0。换言之，带式反馈装置1110或者衣服式反馈装置1120可以通过在输出电信号的同时重新检测用户运动来更新误差，并且可以经由电极片来输出电信号直到误差变为0。作为另一示例，带式反馈装置1110或者衣服式反馈装置1120可以输出电信号直到误差变得小于预定阈值。由于用户运动和参考运动无法完美地彼此对应，所以带式反馈装置1110或者衣服式反馈装置1120可以设置阈值并且输出电信号直到误差变得小于该阈值。此处，可以将阈值设置为如下值：即使误差不为0，也不需要提供反馈。

图12a是根据实施例的输出反馈信号的方法的流程图。参照图12a，可穿戴装置可以通过比较用户运动和参考运动来向用户提供反馈。

在操作S1210中，可穿戴装置可以检测用户运动。可穿戴装置可以通过使用传感器来检测用户运动。

可穿戴装置可以从用户接收用户的物理信息或者可以直接扫描用户的身体以获取物理信息。物理信息是指用户的身高、外貌、体重等。

可穿戴装置可以测量用户的身体比率。可穿戴装置可以检测用户的特征点(例如，脖子、左肘、右膝等)并且基于特征点之间的距离来测量用户的身体比率。

在操作S1220中，可穿戴装置可以确定用户运动是否与参考运动对应。当确定用户运动与参考运动对应时，结束该方法；并且，当确定用户运动不与参考运动对应时，该方法可以进入操作S1230。

用户可以选择参考运动。可替代地，可穿戴装置可以扫描用户的身体，并且可以确定与用户的身体最相似的参考模型并且选择该参考模型的运动中包括的与用户运动最相似的运动。

可穿戴装置可以将所选择的运动与用户运动相比较。可穿戴装置可以将用户的身体的运动与参考模型的运动相比较。可穿戴装置可以将用户的身体的特征点与参考模型的特征点相比较，参考模型的特征点与用户的身体的特征点对应。可穿戴装置可以计算在用户的身体的特征点与参考模型的特征点之间的差异。更详细地说，可穿戴装置可以使用户的身体与参考模型对应并且存储相对于各个特征点的变化量以获得用户的身体的变化量。

在操作S1230中，可穿戴装置可以提供反馈。当用户运动不与参考运动对应时，可穿戴装置可以将反馈信号发送至用户。可穿戴装置可以将反馈信号发送至用户运动和参考运动不彼此对应的身体部位，从而向用户提供哪个身体部位不与参考运动对应的反馈。在可穿戴装置提供反馈之后，该方法可以进入操作S1210。

可穿戴装置可以提供反馈直到可穿戴装置确定用户运动与参考运动对应。

图12b是根据实施例的发送反馈信号的方法的流程图。

在操作S1201中，同步装置可以经由深度相机获得深度图像。同步装置可以基于预定周期对用户进行拍摄来获得深度图像。同步装置不仅可以使用深度相机还可以使用各种传感器、相机等来检测用户运动。

在操作S1202中，可穿戴装置可以从同步装置接收深度图像。

在操作S1203中，可穿戴装置可以经由深度图像检测用户运动并且可以计算在用户运动与参考运动之间的误差。

在操作S1204中，可穿戴装置可以确定是否已经发生误差。可穿戴装置可以确定针对各个身体部位是否已经发生误差。

在操作S1205中，可穿戴装置可以确定位于已经发生了误差的身体部位上的电极。

在操作S1206中，可穿戴装置可以向所确定的电极输出电信号。可穿戴装置可以经由电极输出EMS信号以便向用户提供反馈信号。

当用户运动和参考运动不彼此对应时，可以重复地执行操作S1201至S1206，并且当用户运动和参考运动彼此对应时，可以结束该方法。

图13是用于描述通过发送反馈信号来改变用户的移动的操作的视图。参照图13，当用户进行弯曲其背部的瑜伽移动时，用户的移动可能不正确。例如，用户的肌肉收缩和舒张程度不与参考移动对应。可穿戴装置可以确定用户的移动是否正确并且向用户发送反馈信号。

可穿戴装置可以经由深度图像来检测用户的瑜伽移动。同步装置可以位于用户的正前方以便对用户的瑜伽移动进行拍摄并且获取深度图像。同步装置可以将深度图像发送至可穿戴装置。可穿戴装置可以经由深度图像检测用户的瑜伽移动，并且可以将用户的瑜伽移动与参考移动相比较来确定用户的瑜伽移动是否正确。可替代地，可穿戴装置可以经由位于用户的身体上的电极片感测到的电信号来检测用户的瑜伽移动，并且通过将深度图像和电信号进行组合来检测用户的瑜伽移动。

可穿戴装置可以通过将检测到的瑜伽移动与参考移动相比较来确定用户移动是否正确。例如，用户弯曲其背部的方向可能会与参考移动的方向相反，并且可穿戴装置可以将用户的背部确定为反馈信号所要发送到的身体部位。可替代地，用户的腿部或者臂部移动可能不与参考移动对应，并且可穿戴装置可以将腿部或者臂部确定为反馈信号所要发送到的身体部位。

可穿戴装置可以将反馈信号发送至位置1至3以改变用户移动。当用户进行经由实线指示的移动A并且参考移动是经由虚线指示的移动B时，可穿戴装置可以将反馈信号发送至位置1至3。可穿戴装置可以将反馈信号发送至位置1至3，直到用户将其移动改变为经由虚线指示的移动B。可穿戴装置可以按照从位置1到位置3的顺序来确定反馈信号的方向，并且可以按照从位置1到位置3的顺序来降低反馈信号的幅度。

根据本实施例，描述了用户进行瑜伽移动的示例。然而，本实施例可以适用于需要移动校正的其它体育游戏或者需要物理移动的其它游戏。

图14是根据实施例的智能衣服1700的视图。智能衣服1700可以包括多个反馈装置1710。

智能衣服1700可以通过经由反馈装置1710测量EMG信号来检测用户运动。智能衣服1700可以基于经由其测量EMG信号的反馈装置1710的位置、EMG信号的样式等来检测用户运动。

反馈装置1710可以按照圆形的形状布置在智能衣服1700中。因此，反馈装置1710可以与用户的身体相接触。智能衣服1700可以经由反馈装置1710将反馈信号发送至目标身体部位。反馈装置1710可以生成EMS信号并经由电极将该EMS信号输出至用户。

反馈装置1710可以是多个电极片，并且各个电极片可以包括至少一个电极。智能衣服1700可以确定反馈信号所要输出到的电极片，并且可以仅激活所确定的电极片。智能衣服1700可以将反馈信号输出至激活的电极片。同样，智能衣服1700可以将反馈信号仅输出至一个电极片中包括的多个电极中的一些电极以便更精确地输出反馈信号。

图15是根据另一实施例的智能衣服1800的视图。智能衣服1800可以包括多个反馈装置1810，并且这些反馈装置1810可以沿水平方向、垂直方向或者按照网格形状布置在智能衣服1800中。反馈装置1810可以是多个电极片，并且各个电极片可以包括多个电极。图15图示了方形的电极片。然而，电极片可以具有各种形状，诸如，圆形形状、多边形形状等。

智能衣服1800可以确定反馈信号所要输出到的电极片或电极，并且可以仅激活所确定的电极片或电极。智能衣服1800可以将反馈信号输出至激活的电极片或电极以便更精确地输出反馈信号。

图16a是根据实施例的输出反馈信号的方法的流程图。

在操作S1910中，可穿戴设备可以检测用户运动。可穿戴装置可以通过使用传感器来检测用户运动。同样，可穿戴装置可以从另一电子设备接收用户运动的检测结果。

在操作S1920中，可穿戴装置可以基于用户运动来确定反馈信号所要发送到的身体部位。可穿戴装置可以确定用户进行空间输入操作使用的用户身体部位，或者可以确定在用户运动与参考运动之间存在误差的身体部位。

在操作S1930中，可穿戴装置可以向所确定的身体部位发送反馈信号。可穿戴装置可以向所确定的身体部位发送振动、声音、或者电信号。

图16b是根据实施例的输出反馈信号的方法的流程图。

在操作S1901中，可穿戴装置可以经由电极片测量EMG信号。该EMG信号是基于用户运动从肌肉生成的。电极片可以感测EMG信号并且将感测到的EMG信号发送至可穿戴装置的控制器。

在操作S1902中，可穿戴装置可以分析测量到EMG信号的位置和EMG信号的样式。可穿戴装置可以确定是经由哪个电极片测量到了EMG信号并且分析测量得到的EMG信号的样式。可穿戴装置可以基于分析结果来预测用户运动。

在操作S1903中，可穿戴装置可以确定EMS信号所要发送到的身体部位。基于用户运动，可穿戴装置可以确定EMS信号所要发送到的身体部位以便向用户提供反馈。

在操作S1904中，可穿戴装置可以确定位于所确定的身体部位上的电极片。

在操作S1905中，可穿戴装置可以激活所确定的电极片。可替代地，可穿戴装置可以仅激活电极片中包括的一些电极。

在操作S1906中，可穿戴装置可以向所确定的电极片输出EMS信号。可穿戴装置可以确定EMS信号的强度、样式、持续时间等，并且可以在所确定的持续时间期间将具有所确定的强度和样式的EMS信号输出至电极片。

图17是根据实施例的可穿戴装置2000的框图。参照图17，可穿戴装置2000可以包括输入接口2010、处理器2020、输出接口2030、和电极片2040。

输入接口2010可以通过使用传感器来检测用户运动。输入接口2010可以对用户运动进行拍摄或者可以测量从用户的肌肉生成的信号。例如，输入接口2010可以感测来自位于用户的身体上的电极的EMG信号，并且可以通过分析感测到EMG信号的身体部位和EMG信号的样式来检测用户运动。

处理器2020可以基于用户运动来确定反馈信号所要发送到的身体部位。处理器2020可以确定用户进行空间输入操作所使用的身体部位。可替代地，处理器2020可以将参考运动与从输入接口2010接收到的用户运动相比较来确定反馈信号所要发送到的身体部位。处理器2020可以将反馈信号输出至连接至所确定的身体部位的肌肉或者肌束从而使所确定的身体部位感测到排斥力。

处理器2020可以计算在用户运动与参考运动之间的误差并且可以控制输出接口2030将反馈信号输出至所确定的身体部位直到误差变为等于或者小于阈值。

处理器2020可以确定反馈信号的强度、方向、和周期。处理器2020可以基于为各个用户存储的学习数据来确定反馈信号的强度、方向、和周期。

输出接口2030可以将反馈信号发送至所确定的身体部位。输出接口2030可以将用于刺激所确定的身体部位中的肌肉的电信号输出至位于所确定的身体部位上的电极片2040。例如，输出接口2030可以生成EMS信号并且经由电极片2040将该EMS信号发送至身体。

当输出接口2030输出反馈信号时，输出接口2030可以向反馈信号所输出道的电极周围的接地电极输出电力，以便防止将反馈信号发射至其它电极或者其它肌肉。

电极片2040可以包括至少一个多边形电极片和接地电极。多边形电极片可以布置为被接地电极围住。例如，多边形电极片可以是六边形的。然而，多边形电极可以具有各种形状。

电极片2040可以与身体相接触或者可以位于身体上。同样，电极片2040可以附接在衣服中。

图18是根据另一实施例的可穿戴装置2000的框图。参照图18，电极片2040可以经由开关2050连接至输入接口2010和输出接口2030。

当电极片2040连接至输入接口2010时，输入210可以经由电极片2040接收EMG信号。当电极片2040连接至输出接口2030时，输出接口2030可以经由电极片2040输出EMS信号。因此，电极片2040可以同时用于输入和输出信号，并且输入接口2010和输出接口2030可以共用电极片2040。

图19是由可穿戴装置2000执行以通过检测电位来检测肌肉骨骼系统的运动的方法的流程图。

在操作S2210中，可以转换可穿戴装置2000的模式。可穿戴装置2000可以将电极片2040转换为介于输入模式与输出模式之间的输入模式，以便将输入接口2010与电极片2040连接。

在操作S2220中，输入接口2010可以维持待机状态直到检测到电位。

在操作S2230中，输入接口2010可以确定是否检测到激活的电位。

在操作S2240中，输入接口2010可以确定测量得到的数据是否大于阈值。换言之，输入接口2010可以确定测量得到的电位是否大于阈值。

在操作S2250中，处理器2020可以通过检测测量得到的电位的样式来检测局部肌肉骨骼系统的运动。

在操作S2270中，处理器2020可以通过使用测量得到的数据来检测运动量和矢量。

在操作S2280中，处理器2020可以检测测量得到的电位的样式。

在操作S2290中，处理器2020可以通过对数据进行整合来检测全局肌肉骨骼系统的运动。处理器2020可以通过对运动量、矢量、和电位样式进行整合来检测整体肌肉骨骼系统的运动。

在操作S2260中，可穿戴装置2000可以将检测结果发送至另一装置，诸如，同步装置500。可穿戴装置2000可以将检测局部肌肉骨骼系统的运动和检测全局肌肉骨骼系统的运动的结果发送至另一装置。

参照图19描述了可穿戴装置2000将检测结果发送至另一装置。然而，可穿戴装置2000也可以从另一装置接收测量得到的数据并且可以使用检测结果和接收到的测量得到的数据来检测用户运动。

根据实施例的可穿戴装置可以将反馈信号发送至用户进行输入操作所使用的身体部位。

根据实施例的可穿戴装置可以将电信号发送至用户进行输入操作所使用的身体部位。

根据实施例的可穿戴装置可以通过将用户运动与参考运动相比较来将电信号发送至该身体部位。

本文描述的装置可以包括处理器、用于存储程序数据和执行程序数据的存储器、诸如磁盘驱动器等永久存储装置、用于处理与外部装置的通信的通信端口、以及诸如触摸面板、按键、按钮等用户接口装置。任何处理都可以被实施为软件模块或者算法，并且可以作为可由处理器执行的程序指令或者计算机可读代码而被存储在计算机可读介质上，这些计算机可读介质诸如是磁性存储介质(例如，只读存储器(ROM)、随机存取存储器(RAM)、软盘、硬盘等)和光学数据读取装置(例如，CD-ROM、数字通用盘(DVD)等)。还可以将非计算机可读存储介质分布在联网的计算机系统中从而使得计算机可读代码以分布式的方式被存储和执行。可以通过计算机来读取该介质，可以将该介质存储在存储器中，并且可以通过处理器来执行该介质。

可以从功能块组件和各种处理步骤方面来描述本公开。可以通过任何数量的配置用于执行指定功能的硬件和/或软件组件来实现这些功能块。例如，本公开可以采用各种集成电路组件，例如，存储器元件、处理元件、逻辑元件、查找表等，这些集成电路组件可以在一个或者多个微处理器或者其它控制装置的控制下实现多种功能。相似地，在通过使用软件编程或者软件元件来实现本公开的元件的情况下，可以利用任何编程或者脚本语言(诸如，C、C++、Java、汇编程序等)来实施本公开，利用数据结果、对象、进程、例程或者其它编程元素的任何组合来实施各种算法。而且，本公开可以采用任何数量的用于电子配置、信号处理和/或控制、数据处理等的传统技术。措辞“机构”、“元件”、“单元”和“组件”从广义意义上使用，并且不限于机械或者物理的实施例，而是可以包括结合处理器等的软件例程。

本文示出和描述的特定实施方式是本公开的说明性示例，并不旨在以任何方式限制本公开的范围。出于简洁起见，可以不详细描述传统的电子装置、控制系统、软件发展、和系统的其它功能方面(以及系统的单独的操作组件的组件)。而且，在所提供的各个附图中示出的连接线或者连接符旨在表示在各种元件之间的示例性功能关系和/或物理或者逻辑联接。应该注意，在实际装置中，可以存在许多替代的或者另外的功能关系、物理连接或者逻辑连接。

在描述本公开的上下文(尤其是以下权利要求书的上下文)中，术语“一”、“一个”、“该”和相似指代物的使用应该被解释为同时涵盖单数和复数。而且，本文中对值的范围的叙述仅仅旨在用作单独指代落入该范围内的每个单独的值的速记方法。除非本文中另有指明，否则每个单独的值如同其在本文中单独地叙述那样被并入到说明书中。最后，除非本文中另有指明或者根据上下文明确被反驳，否则可以按照任何合适的顺序来执行本文所描述的所有方法的步骤。除非另有要求，否则本文中提供的任何及所有实施例或示例性语言(例如，“诸如”)的使用仅旨在更好地说明本公开，并不构成对本公开的范围的限制。在不脱离本公开的精神和范围的情况下，本领域的普通技术人员可以容易地想到各种修改和变化。

Claims (20)

1.一种由可穿戴装置执行以提供反馈的方法，所述方法包括：

检测用户运动；

识别所述用户运动与虚拟屏幕之间的交互；

基于检测到的用户运动和所识别的交互来确定与所述虚拟屏幕交互的所述用户运动的身体部位；

生成反馈信号；以及

将所述反馈信号输出到所述身体部位，

其中，所述反馈信号是用于刺激所述身体部位的肌肉的电信号。

2.根据权利要求1所述的方法，其中，所述输出所述反馈信号包括：将所述电信号输出至位于所述身体部位上的电极。

3.根据权利要求1所述的方法，其中，所述确定所述身体部位包括：通过将所述检测到的用户运动与参考运动相比较，来确定所述反馈信号所要发送到的所述身体部位。

4.根据权利要求3所述的方法，其中，所述确定所述身体部位包括：计算所述检测到的用户运动与所述参考运动之间的误差；以及

所述输出所述反馈信号包括：输出所述反馈信号以减小所述误差。

5.根据权利要求1所述的方法，其中，所述生成所述反馈信号包括：确定所述反馈信号的强度、方向或周期。

6.根据权利要求5所述的方法，其中，所述强度、所述方向或所述周期基于为各个用户存储的学习数据来确定。

7.根据权利要求1所述的方法，其中，所述检测所述用户运动包括：通过感测来自位于用户的所述身体部位上的电极的肌电图（EMG）信号并且对感测到所述肌电图信号的所述身体部位和所述肌电图信号的样式进行分析，来检测所述用户运动。

8.根据权利要求1所述的方法，其中，所述检测所述用户运动包括：经由深度相机来检测所述用户运动。

9.根据权利要求8所述的方法，其中，所述检测所述用户运动包括：通过使用经由所述深度相机获得的运动检测数据和从位于用户的所述身体部位上的电极感测到的肌电图信号，来检测所述用户运动。

10.根据权利要求1所述的方法，其中，所述输出所述反馈信号包括：将所述反馈信号输出至与所述身体部位相连的所述肌肉或者肌束。

11.根据权利要求1所述的方法，其中，所述输出所述反馈信号包括：经由电极输出所述反馈信号并且向所述电极周围的接地电极输出信号以维持所述电极周围的接地状态。

12.一种可穿戴装置，其包括：

电极片，位于用户的身体上；

输入接口，配置为检测所述用户的运动；

控制器，配置为识别所述用户的运动与虚拟屏幕之间的交互，并基于所述检测到的所述用户的运动和所识别的交互来确定与所述虚拟屏幕交互的所述用户运动的身体部位；以及

输出接口，配置为经由位于所述身体部位上的所述电极片来输出反馈信号，

其中，所述反馈信号是用于刺激所述身体部位的肌肉的电信号。

13.根据权利要求12所述的可穿戴装置，其中，所述电极片包括多个电极，

所述控制器配置为确定所述电极片的区域，其中，所述区域与所述身体部位对应，以及

所述输出接口配置为将所述反馈信号输出至所述区域中的所述电极。

14.根据权利要求13所述的可穿戴装置，其中，所述控制器配置为确定输出至所述区域中包括的所述电极的所述反馈信号的强度、方向或周期，以及

所述输出接口配置为基于所述强度、所述方向或所述周期将所述反馈信号输出至所述区域中包括的所述电极。

15.根据权利要求12所述的可穿戴装置，其中，所述控制器配置为计算所述检测到的所述用户的运动与参考运动之间的误差，以及

所述输出接口配置为输出所述反馈信号以减小所述误差。

16.根据权利要求12所述的可穿戴装置，其中，所述控制器配置为基于为各个用户存储的学习数据来确定所述反馈信号的强度、方向、或周期。

17.根据权利要求12所述的可穿戴装置，其中，所述电极片包括至少一个多边形电极片和接地电极，所述多边形电极片被所述接地电极围住。

18.根据权利要求12所述的可穿戴装置，其中，所述电极片能够用于输入和输出信号。

19.根据权利要求12所述的可穿戴装置，还包括：

开关，配置为将所述输入接口连接至所述电极片或者将所述输出接口连接至所述电极片，

其中，所述开关经由所述控制器连接至所述输入接口或者所述输出接口。

20.一种非暂时性计算机可读记录介质，所述非暂时性计算机可读记录介质上包含有用于执行权利要求1至11中任一项所述的方法的程序。

Images