CN115114962A - 基于表面肌电信号的控制方法、装置及可穿戴设备 - Google Patents

基于表面肌电信号的控制方法、装置及可穿戴设备 Download PDF

Info

Publication number
CN115114962A
CN115114962A CN202210851303.9A CN202210851303A CN115114962A CN 115114962 A CN115114962 A CN 115114962A CN 202210851303 A CN202210851303 A CN 202210851303A CN 115114962 A CN115114962 A CN 115114962A
Authority
CN
China
Prior art keywords
gesture
signals
groups
action
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210851303.9A
Other languages
English (en)
Inventor
散华杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Inc
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Priority to CN202210851303.9A priority Critical patent/CN115114962A/zh
Publication of CN115114962A publication Critical patent/CN115114962A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本申请公开了一种基于表面肌电信号的控制方法、装置及可穿戴设备。本申请的控制方法包括：当贴合人体第二肢体的发射电极释放激励信号并且第二肢体在第一肢体的人体皮肤上进行手势动作时，通过贴合所述第一肢体的两组接收电极获取激励信号的两组电极响应信号；根据两组电极响应信号获取待识别的两组表面肌电信号，根据两组表面肌电信号的时域波形变化特征识别所述手势动作；将识别到的手势动作发送给头戴设备进行头戴设备控制。本申请的技术方案基于两组表面肌电信号的时域波形变化特征进行手势识别，能够提高识别精度和效率。

Description

基于表面肌电信号的控制方法、装置及可穿戴设备
技术领域
本申请涉及表面肌电信号处理技术领域，尤其涉及一种基于表面肌电信号的控制方法、装置及可穿戴设备。
背景技术
随着虚拟现实(Virtual Reality，简记为VR)和增强现实(Augmented Reality，简记为AR)领域的飞速发展，其配套设备的研发也越来越多，基于配套设备改善VR/AR设备的便利性和舒适性。目前用户与VR/AR设备进行交互时，大多是采用视觉解决方案，如利用摄像头跟踪用户手部并拍摄手部图像，根据手部图形识别手势动作。但视觉解决方案易受光线、拍摄角度等影响，手势识别精度较低，且需要摄像头一直处于工作状态，即占据计算资源又非常耗电。
发明内容
本申请实施例提供了一种基于表面肌电信号的控制方法、装置及可穿戴设备，在保证对头戴设备的控制便利性和舒适性的情况下，避免光线、拍摄角度对控制过程的影响。
本申请实施例采用下述技术方案：
第一方面，本申请实施例提供一种基于表面肌电信号的控制方法，包括：
当贴合人体第二肢体的发射电极释放激励信号并且第二肢体在第一肢体的人体皮肤上进行手势动作时，通过贴合第一肢体的两组接收电极获取激励信号的两组电极响应信号；
根据两组电极响应信号获取待识别的两组表面肌电信号，根据两组表面肌电信号的时域波形变化特征识别手势动作；
将识别到的手势动作发送给头戴设备进行头戴设备控制。
第二方面，本申请实施例提供一种基于表面肌电信号的控制装置，包括：
信号获取单元，用于当贴合人体第二肢体的发射电极释放激励信号并且第二肢体在第一肢体的人体皮肤上进行手势动作时，通过贴合第一肢体的两组接收电极接收激励信号的两组电极响应信号；
信号处理单元，用于根据两组电极响应信号获取待识别的两组表面肌电信号，根据两组表面肌电信号的时域波形变化特征识别手势动作；
手势发送单元，用于将识别到的手势动作发送给头戴设备进行头戴设备控制。
第三方面，本申请实施例提供一种可穿戴设备，包括处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行基于表面肌电信号的控制方法，该控制方法包括：
当贴合人体第二肢体的发射电极释放激励信号并且第二肢体在第一肢体的人体皮肤上进行手势动作时，通过贴合第一肢体的两组接收电极获取激励信号的两组电极响应信号；
根据两组电极响应信号获取待识别的两组表面肌电信号，根据两组表面肌电信号的时域波形变化特征识别手势动作；
将识别到的手势动作发送给头戴设备进行头戴设备控制。
第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储一个或多个程序，一个或多个程序当被处理器执行时，实现基于表面肌电信号的控制方法，该控制方法包括：
当贴合人体第二肢体的发射电极释放激励信号并且第二肢体在第一肢体的人体皮肤上进行手势动作时，通过贴合第一肢体的两组接收电极获取激励信号的两组电极响应信号；
根据两组电极响应信号获取待识别的两组表面肌电信号，根据两组表面肌电信号的时域波形变化特征识别手势动作；
将识别到的手势动作发送给头戴设备进行头戴设备控制。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：本申请实施例在贴合人体第二肢体的发射电极释放激励信号并且第二肢体在第一肢体的人体皮肤上进行手势动作时，先通过贴合第一肢体的两组接收电极获取激励信号的两组电极响应信号，然后根据两组电极响应信号获取待识别的两组表面肌电信号，根据两组表面肌电信号的时域波形变化特征识别手势动作，最后将识别到的手势动作发送给头戴设备进行头戴设备控制。
本申请实施例将手势动作的信号采集过程与信号识别过程从头戴设备中独立出去并由可穿戴设备执行，节省了头戴设备的功耗和系统资源，避免了视觉解决方案存在的诸如光线、拍摄角度等因素对交互控制的影响，能够在保证对头戴设备的控制的便利性和舒适性的情况下，提高识别精度和效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例中一种基于表面肌电信号的控制方法流程图；
图2为本申请实施例中一种手势识别系统结构示意图；
图3为本申请实施例中一种第一可穿戴设备结构示意图；
图4为本申请实施例中一种第二可穿戴设备结构示意图；
图5为本申请实施例中佩戴第一可穿戴设备的右手指在佩戴第二可穿戴设备的左手心表面上进行敲击动作的示意图；
图6-1为本申请实施例中任一组接收电极采集到的关于单击动作对应的电极响应信号示意图；
图6-2为本申请实施例中关于单击动作的任一组表面肌电信号的波形变化示意图；
图7-1为本申请实施例中任一组接收电极采集到的关于双击动作对应的电极响应信号示意图；
图7-2为本申请实施例中关于双击动作的任一组表面肌电信号的波形变化示意图；
图8-1为本申请实施例中任一组接收电极采集到的关于长按动作对应的电极响应信号示意图；
图8-2为本申请实施例中关于长按动作的任一组表面肌电信号的波形变化示意图；
图9-1为本申请实施例中佩戴第一可穿戴设备的右手指在佩戴第二可穿戴设备的左手心表面上进行向左滑动的示意图；
图9-2为本申请实施例中任一组接收电极采集到的关于向左滑动动作对应的电极响应信号示意图；
图9-3为本申请实施例中关于向左滑动动作的任一组表面肌电信号的波形变化示意图；
图10-1为本申请实施例中佩戴第一可穿戴设备的右手指在佩戴第二可穿戴设备的左手心表面上进行向右滑动的示意图；
图10-2为本申请实施例中任一组接收电极采集到的关于向右滑动动作对应的电极响应信号示意图；
图10-3为本申请实施例中关于向右滑动动作的任一组表面肌电信号的波形变化示意图；
图11-1为本申请实施例中佩戴第一可穿戴设备的右手指在佩戴第二可穿戴设备的左手心表面上进行向上滑动的示意图；
图11-2为本申请实施例中第一接收电极RS1采集到的关于向上滑动动作对应的电极响应信号示意图；
图11-3为本申请实施例中关于向上滑动动作的第一组表面肌电信号的波形变化示意图；
图11-4为本申请实施例中第二接收电极RS2采集到的关于向上滑动动作对应的电极响应信号示意图；
图11-5为本申请实施例中关于向上滑动动作的第二组表面肌电信号的波形变化示意图；
图12-1为本申请实施例中佩戴第一可穿戴设备的右手指在佩戴第二可穿戴设备的左手心表面上进行向下滑动的示意图；
图12-2为本申请实施例中第一接收电极RS1采集到的关于向下滑动动作对应的电极响应信号示意图；
图12-3为本申请实施例中关于向下滑动动作的第一组表面肌电信号的波形变化示意图；
图12-4为本申请实施例中第二接收电极采集到的关于向下滑动动作对应的电极响应信号示意图；
图12-5为本申请实施例中关于向下滑动动作的第二组表面肌电信号的波形变化示意图；
图13为本申请实施例中一种手势动作的识别流程示意图；
图14为本申请实施例中一种基于表面肌电信号的控制装置的结构示意图；
图15为本申请实施例中一种可穿戴设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如前所述，视觉解决方案易受光线、拍摄角度等影响，手势识别精度较低，且需要摄像头一直处于工作状态，即占据计算资源又非常耗电。针对这一问题，本申请实施例将手势动作信号的采集与识别过程从头戴设备中独立出去，由智能手环、智能手表等可穿戴设备执行，可穿戴设备在识别出手势动作之后，可以通过有线或无线的方式将手势动作发送给头戴设备，以节省头戴设备的功耗和系统资源。
基于此，本申请实施例提供了一种基于表面肌电信号的控制手势识别方法，如图1所示，提供了本申请实施例中一种基于表面肌电信号的控制方法的流程示意图，该方法至少包括如下的步骤S110至步骤S130：
步骤S110，当贴合人体第二肢体的发射电极释放激励信号并且第二肢体在第一肢体的人体皮肤上进行手势动作时，通过贴合第一肢体的两组接收电极获取激励信号的两组响应信号。
本申请实施例基于裸手交互实现对头戴设备的控制，具体是基于表面肌电信号(Surface Electromyography，简记为sEMG)实现裸手交互，表面肌电信号是人体表面肌肉通过收缩产生的生物电流，用通俗的理解就是，把人体比作巨大的电池，在肌肉活动时会释放出一些电量，这些电量变化的时间序列就是表面肌电信号。
本申请实施例是在贴合人体第二肢体的发射电极释放激励信号时，且第二肢体在第一肢体的人体皮肤上进行手势动作时，通过贴合第一肢体的两组接收电极组进行响应信号的采集。本申请实施例中，第一肢体例如包括右手，第二肢体例如包括左手，第一肢体上佩戴第一可穿戴设备，第二肢体上佩戴第二可穿戴设备，发射电极是指设置于第一可穿戴设备且与第一肢体的皮肤贴合的肌电电极，两组接收电极是指设置于第二可穿戴设备且与第二肢体的皮肤贴合的两组肌电电极，两组接收电极对应不同的导电回路。
在图2所示的手势识别系统中，控制第一可穿戴设备的发射电极TS将激励信号释放到人体皮肤表面，如图3所示，第一可穿戴设备包括顺次连接的激励源、滤波电路、运算放大器，激励源例如提供10MHz左右的激励信号，激励信号经过滤波、功率放大处理后由发射电极TS传导到右手腕的人体皮肤表面。
当右手指在左手心或左手背进行手势动作时，第二可穿戴设备的第一接收电极RS1和第二接收电极RS2通过相应的导电回路采集上述激励信号的响应信号。在实际应用中，两组接收电极可以响应于采集命令同步采集人体皮肤表面的生物电信号得到同步的两组响应信号，两组接收电极也可以是实时监测人体皮肤表面的生物电信号，当人体皮肤表面的生物电信号的幅度大于一定值时，同步采集。
步骤S120，根据两组电极响应信号获取待识别的两组表面肌电信号，根据两组表面肌电信号的时域波形变化特征识别手势动作。
在通过贴合第一肢体的两组接收电极获取激励信号的两组响应信号之后，可以通过图4所示信号处理支路将两组响应信号转换为两组表面肌电信号，即将模拟域的响应信号转化为可被机器识别的数字域的表面肌电信号，使得第二可穿戴设备的处理器基于数字域的表面肌电信号进行手势动作的识别。
如图5所示，第一可穿戴设备佩戴在右手腕，第二可穿戴设备佩戴在左手腕，当右手指接触左手时，人体皮肤充当发射电极TS和接收电极RS1、RS2之间的导体，使得发射电极TS、第一接收电极RS1及两者之间的人体皮肤形成第一导电回路，发射电极TS、第二接收电极RS2及两者之间的人体皮肤形成第二导电回路。激励信号在人体皮肤上传导的过程中，由两个导电回路传导到第二可穿戴设备的两组接收电极，发明人在研发过程中发现这两个导电回路对应的皮肤阻抗变化与发生的手势动作相关，从而能够基于表面肌电信号的时域波形变化特征识别手势动作，这里时域波形变化特征包括时间特征、波幅特征，波幅特征可以理解为表面肌电信号对应的时域波形的幅度变化，包括波幅变化趋势，时间特征可以理解为该时域波形的幅度变化对应的时间间隔信息。
这两个导电回路的阻抗包括皮肤电阻，皮肤电阻与接触电压、接触面积、接触压力、皮肤表面情况等因素有关，在接触电压，接触面积，接触压力等都保持不变的情况下，导电路径越大，皮肤阻抗越大，导电回路对应的电压幅值越小。
如图5所示，当发生如单击、双击等敲击动作时，或者如图9-1和图10-1所示，发生沿第一方向(在本申请实施例中，第一方向是指两组接收电极的中垂线方向)的左右滑动动作时，两个导电回路对应的皮肤阻抗变化相同，相应的，两组表面肌电信号的波幅变化趋势也相同；如图11-1和图12-1所示，当发生沿第二方向(在本申请实施例中，第二方向是指两组接收电极的连线方向，第二方向与第一方向垂直)的上下滑动动作时，两个导电回路对应的皮肤阻抗变化相反，相应的，两组表面肌电信号的波幅变化趋势也相反。
本申请实施例中的手势动作包括第一类动作和第二类动作，这两类动作对应的两组表面肌电信号在时域上的时间特征具有一致性，即两组表面肌电信号在时域上的同一时间间隔内发生明显的波幅变化。第一类手势动作是指第二肢体在第一肢体的人体皮肤上进行的敲击动作，第二类手势动作是指第二肢体在第一肢体的人体皮肤上进行的连续接触动作。
敲击动作和部分连续接触动作对应的两组表面肌电信号在时域上的波幅变化趋势相同，如两组表面肌电信号在波幅维持时间内波幅逐渐增大，或波幅逐渐减小，或波幅微小波动。另一部分连续接触动作对应的两组表面肌电信号在时域上的波幅变化趋势相反，如第一组表面肌电信号在波幅维持时间内波幅逐渐增大，而第二组表面肌电信号在波幅维持时间内波幅逐渐增小。
由此，本申请实施例可以基于两组表面肌电信号的时域波形变化特征识别上述手势动作，能够尽量避免个体差异对表面肌电信号的识别的干扰，提高手势识别的精度。
步骤S130，将识别到的手势动作发送给头戴设备进行头戴设备控制。
本申请实施例的第二可穿戴设备在获得手势动作的识别结果之后，可以通过有线或无线的方式将识别结果发送给头戴设备，例如基于蓝牙无线传输的方式将手势识别结果发送给头戴设备，使头戴设备基于手势识别结果进行相应的控制。
本申请实施例中的表面肌电信号是指对电极响应信号进行时域特征提取后的再处理信号，具体的，对两组电极响应信号进行采样处理，如以3.2KHz的采样率对电极响应信号进行均匀采样，得到采样信号；根据滑动时间窗分别将采样信号分割为多个信号段，其中滑动时间窗的窗长大于滑动时间窗的滑动步长，如滑动时间窗的窗长为30个采样点，滑动步长为20个采样点，这样相邻时刻下的滑动时间窗之间形成的增量窗的窗长为10个采样点；根据每个信号段中采样点的幅值得到每个信号段的信号特征值；根据每个信号段的信号特征值得到所述表面肌电信号。
需要说明的是，发明人在研发过程中发现，基于信号段中采样点幅值的平均绝对值(Mean Absolute Value，简记为MAV)、积分绝对值(Integrated Absolute Value，简记为IAV)和绝对值最大值(简记为fmax)等中的任一种方法得到每个信号段的信号特征值，将所有信号段的信号特征值进行滤波、平滑等处理，所得到的表面肌电信号具有本申请实施例所需的时域波形变化特征，而基于采样点幅值的其他特征值所得到的表面肌电信号则不具有本申请实施例所需的时域波形变化特征，无法基于本申请实施例完成手势动作的识别。
本实施例对电极响应信号进行时域特征提取得到所需的表面肌电信号，一方面是由于提取到的时域特征相对于原始的电极信号更能体现该信号的特征，且能够降低待识别信号的维度，另一方面采用滑动时间窗+增量窗的方式进行时域特征能够保证信号特征的连续性，便于后续基于表面肌电信号的时域波形变化特征进行手势动作的识别。
在本申请的一个实施例中，上述步骤S120中根据两组表面肌电信号的时域波形变化特征识别手势动作，包括：
获取任一组表面肌电信号的波幅上升到信号幅值参考值以上后，从信号幅值参考值以上下降到信号幅值参考值以下的波峰维持时间；若波峰维持时间小于或等于第一时段阈值，识别手势动作为第一类手势动作；若波峰维持时间大于第一时段阈值，识别手势动作为第二类手势动作。
这里，信号幅值参考值是指手势动作确定发生时对应的信号幅值的最小值，只要待识别的表面肌电信号的波幅大于该最小值，能够说明发生了手势动作。如图6-2、图7-2、图8-2、图9-2、图10-3、图11-3、图11-5、图12-3和图12-5，当表面肌电信号的波幅大于2V0时，出现显著的波幅变化，即在上述图中出现了较高的目标波峰，该目标波峰对应一次手势动作，2V0即为本实施例的信号幅值参考值。
在本申请实施例中，信号幅值参考值2V0是基于基准幅值V0得到的，基准幅值V0是指第一肢体与第二肢体接触但并未开始手势动作时的电极响应信号的信号特征值，以上述的绝对值最大值fmax为例，该基准幅值V0可以理解为，当发射电极释放激励信号到右手腕的人体皮肤时，右手指与左手心(或左手背)接触但并未开始手势动作时的电极响应信号的绝对值最大值fmax。其中当两组接收电极贴合左手腕手心一侧的人体皮肤时，右手指接触左手心，当两组接收电极贴合左手腕手背一侧的人体皮肤时，右手指接触左手背。
可选地，该基准幅值V0可以是在可穿戴设备初始化过程中，通过第二可穿戴设备对用户手部的人体皮肤进行电极响应信号采集所得到。
当然，基准幅值V0也可以是基于统计数据得到，例如可以按照不同年龄、不同性别、从事不同工作的人群设置多个样本人群集合，采集每个样本人群集合中每个人的动作信号后得到该样本人群集合中所有人对应的上述绝对值最大值fmax，将所有人对应的上述绝对值最大值fmax进行如聚类的统计处理，将聚类中心对应的绝对值最大值fmax作为该样本人群集合的基准幅值V0。在启动手势识别时，确定用户所属的样本人群集合，将用户所属的样本人群集合的基准幅值V0作为本实施例所需的基准幅值V0。又例如，也可以事先只构建一个样本人群集合，将该样本人群集合的基准幅值V0作为本实施例所需的基准幅值V0。可选地，基准幅值V0＝850mV。
为便于理解本申请的下述相关实施例，本申请实施例先说明各个手势动作的相关约束规定。
本申请实施例的手势动作包括第一类手势动作和第二类手势动作，其中第一类手势动作是指第二肢体在第一肢体的人体皮肤上进行的短时间(例如接触时间小于100ms可以理解为短时间)的敲击动作，包括单击动作和双击动作；第二类手势动作是指第二肢体在第一肢体的人体皮肤上进行的长时间(例如接触时间大于100ms可以理解为长时间)的连续接触动作，包括长按动作、沿着第一方向滑动的左右滑动动作和沿第二方向滑动的上下滑动动作。
其中左右滑动动作包括顺着第一方向的向左滑动和逆着第一方向的向右滑动，如图9-1所示，本实施例设定从远离两组接收电极的掌心位置2滑动到靠近两组接收电极的掌跟位置1为顺着第一方向的向左滑动。如图10-1所示，从掌跟位置1滑动到掌心位置2为逆着第一方向的向右滑动，掌跟位置是指手掌外缘与手臂的交界位置。
上下滑动动作包括顺着第二方向的向上滑动和逆着第二方向的向下滑动等滑动动作，第一接收电极RS1与大拇指位置3的相对距离小于第二接收电极RS2与大拇指位置3的相对距离，第一接收电极RS1与手掌外缘位置4的相对距离大于第二接收电极RS2与手掌外缘位置4的相对距离。如图11-1所示，将由从手掌外缘位置4滑动到大拇指位置3的滑动动作设定为顺着第二方向的向上滑动，如图12-1所示，将由从大拇指位置3滑动到手掌外缘位置4的滑动动作设定为逆着第二方向的向下滑动。
当基于波峰维持时间小于或等于第一时段阈值，识别手势动作为第一类手势动作时，本申请的一个实施例还获取该组表面肌电信号的波幅下降到信号幅值参考值以下后，在双击观测时间段内的时域波形变化特征，若在双击观测时间段内，该组表面肌电信号的波幅持续小于信号幅值参考值，识别手势动作为单击动作；若在双击观测时间段内，该组表面肌电信号的波幅又重新上升到信号幅值参考值以上并且在第一时段阈值以内又重新下降到信号幅值参考值以下后维持在信号幅值参考值以下，识别手势动作为双击动作。
举例来说，当两组接收电极采集的两组电极响应信号的时域波形如图6-1所示时，对电极响应信号进行信号处理后得到如图6-2所示的待识别的表面肌电信号，该表面肌电信号的波幅上升到信号幅值参考值2V0时的时间拐点为t1，并在时间拐点t2下降到信号幅值参考值2V0以下，[t1,t2]即为波峰维持时间，由于t2-t1＜T1，且在[t2,t2+T2]时间内该表面肌电信号的波幅持续小于信号幅值参考值2V0，因此该待识别的手势动作为单击动作，这里T1为第一时段阈值，可选地，T1＝100ms，T2是大于T1的时间段长度，T2＝500ms。
当两组接收电极采集的两组电极响应信号的时域波形如图7-1所示时，对电极响应信号进行信号处理后得到如图7-2所示的待识别的表面肌电信号，由于t2-t1＜T1，且在T2时间段内还存在一个后续目标波峰，且后续目标波峰的t4-t3＜T1，因此该待识别的手势动作为双击动作。
当基于波峰维持时间大于第一时段阈值，识别手势动作为第二类手势动作时，本实施例还包括：
分别获取两组表面肌电信号在波峰维持时间内的波幅变化趋势；若两组表面肌电信号中的波幅变化趋势相同，识别手势动作为长按动作或左右滑动动作；若两组表面肌电信号中的波幅变化趋势不相同，识别手势动作为上下滑动动作。
如前所述，本申请实施例中的表面肌电信号在波峰维持时间内的波幅变化趋势包括波幅逐渐增大，波幅逐渐减小，波幅微小波动三种变化趋势，可以根据目标波峰在相邻时刻的波幅变化情况确定出目标波峰的波幅变化趋势，例如将波峰维持时间等分成N份，计算相邻时区的波幅差值，若本时区的波幅小于下一时区的波幅，且波幅差值大于设定值，可以确定出目标波峰的波幅变化趋势为逐渐增大；同理，若本时区的波幅大于下一时区的波幅，且波幅差值大于设定值，可以确定出目标波峰的波幅变化趋势为逐渐减小；若本时区的波幅与下一时区的波幅的差值不大于设定值，可以确定出目标波峰的波幅变化趋势为波幅微小波动。如此可以确定出两组表面肌电信号中在波峰维持时间内的波幅变化趋势是否相同。
当然，在其他实施例中，也可以基于斜率特征判断表面肌电信号在波峰维持时间内的波幅变化趋势，例如确定出目标波峰对应的拟合直线，根据该拟合直线的斜率确定出表面肌电信号在波峰维持时间内的波幅变化趋势。
在识别手势动作为长按动作或左右滑动动作时，还可以获取任一组表面肌电信号在波峰维持时间内的波形倾斜角度θ，若θ＜Angth1，Angth1为第一倾角阈值，还确认该组表面肌电信号的波峰维持时间是否大于长按时间阈值T3，若大于长按时间阈值T3识别手势动作为长按动作。可选地，T3＝1000ms。
若θ＞Angth2，Angth2为第二倾角阈值，识别手势动作为顺着第一方向的向右滑动动作；若Angth2≥θ≥Angth1，识别手势动作为逆着第一方向的向左滑动动作。
在识别手势动作为上下滑动动作时，还分别获取第一组表面肌电信号在波峰维持时间内的第一波形倾斜角度θ1和第二组表面肌电信号在波峰维持时间内的第二波形倾斜角度θ2；若Angth2≥θ1≥Angth1，且θ2＞Angth2，识别手势动作为顺着第二方向的向上滑动动作；若θ1＞Angth2，且Angth2≥θ2≥Angth1，识别所述手势动作为向下滑动动作。可选地，Angth1＝5°，Angth2＝90°。
上述实施例中的波形倾斜角度表示了表面肌电信号在波峰维持时间内的时域波形相对于基准水平线的倾斜程度，如图8-2、图9-3、图10-3、图11-3、图11-5、图12-3和图12-5所示，可以根据时域波形对应的拟合直线与基准水平线之间的夹角表示该波形倾斜角度。当然，在其他实施例中，也可以计算时域波形在相邻采样点的切线之间的夹角，利用所有相邻切线之间的夹角的和值表示该波形倾斜角度。该切线是指由时域波形上相邻2个采样点的波幅所确定出的直线。
需要说明的是，在确定两组表面肌电信号的波幅变化趋势是否相同以及确定表面肌电信号的波幅变化趋势时，可以基于相同的波幅特征以提高识别效率，例如都基于波形倾斜角度进行判断，当90°≥θ≥5°时，表面肌电信号的波幅变化趋势是波幅逐渐增大的，当θ＞90°时，表面肌电信号的波幅变化趋势是波幅逐渐减小的，当θ＜5°时，表面肌电信号的波幅变化趋势是波幅微小波动。也可以基于不同的波幅特征以提高识别精度，例如基于较为简单的计算方案(基于相邻时区的波幅差值)判断两组表面肌电信号的波幅变化趋势是否相同，基于波形倾斜角度判断表面肌电信号在波峰维持时间内的波幅变化情况。
举例来说，当两组接收电极采集的两组电极响应信号的时域波形如图8-1所示时，经过前述实施例对电极响应信号进行信号处理后得到如图8-2所示的待识别的表面肌电信号，表面肌电信号的波幅上升到信号幅值参考值2V0以上并维持T3以上后，又下降到信号幅值参考值2V0以下，且在波峰维持时间内，波形倾斜角度θ＜Angth1，因此该待识别的手势动作为长按动作。
当右手指在左手心表面发生如图9-1所示的手势动作时，两组接收电极采集的两组电极响应信号的时域波形如图9-2所示，对电极响应信号进行信号处理后得到如图9-3所示的待识别的表面肌电信号，由于表面肌电信号的波幅上升到信号幅值参考值2V0以上并维持T1以上后，又下降到信号幅值参考值2V0以下，且在波峰维持时间内，Angth1≤θ≤Angth2，因此该待识别的手势动作为向左滑动动作。
当右手指在左手心表面发生如图10-1所示的手势动作时，两组接收电极采集的两组电极响应信号的时域波形如图10-2所示，对电极响应信号进行信号处理后得到如图10-3所示的待识别的表面肌电信号，由于表面肌电信号的波幅上升到信号幅值参考值2V0以上并维持T1以上后，又下降到信号幅值参考值2V0以下，且在波峰维持时间内，波形倾斜角度θ＞Angth2，因此该待识别的手势动作为向右滑动动作。
当右手指在左手心表面发生如图11-1所示的手势动作时，第一组接收电极RS1采集的第一组电极响应信号的时域波形如图11-2所示，第二组接收电极RS2采集的第二组电极响应信号的时域波形如图11-4所示，对第一组电极响应信号进行信号处理后得到如图11-3所示的待识别的第一组表面肌电信号，对第二组电极响应信号进行信号处理后得到如图11-5所示的待识别的第二组表面肌电信号，由于在两组表面肌电信号中，表面肌电信号的波幅上升到信号幅值参考值2V0以上并维持T1以上后，又下降到信号幅值参考值2V0以下，且在波峰维持时间内，Angth1≤θ1≤Angth2，θ2＞Angth2，因此该待识别的手势动作为向上滑动动作。
当右手指在左手心表面发生如图12-1所示的手势动作时，第一组接收电极RS1采集的第一组电极响应信号的时域波形如图12-2所示，第二组接收电极RS2采集的第二组电极响应信号的时域波形如图12-4所示，对第一组电极响应信号进行信号处理后得到如图12-3所示的待识别的第一组表面肌电信号，对第二组电极响应信号进行信号处理后得到如图12-5所示的待识别的第二组表面肌电信号，由于在两组表面肌电信号中，表面肌电信号的波幅上升到信号幅值参考值2V0以上并维持T1以上后，又下降到信号幅值参考值2V0以下，且在波峰维持时间内，θ1＞Angth2，Angth1≤θ2≤Angth2，因此该待识别的手势动作为向下滑动动作。
需要注意的是，本申请上述实施例在进行手势动作识别过程中，需要预先设置6种阈值，分别是基准幅值V0、第一时段阈值T1、双击观测时间段T2、长按时间阈值T3、第一倾角阈值Angth1和第二倾角阈值Angth2。其中，基准幅值V0的设置方法参考前文相关实施例，第一时段阈值T1、双击观测时间段T2、长按时间阈值T3、第一倾角阈值Angth1和第二倾角阈值Angth2的设置方法可以参考基准幅值V0的设定方式，本实施例在此不再赘述。
为便于理解本申请的上述各个实施例，下面详细说明手势识别过程。如图13所示，手势识别过程包括下述步骤S1301至步骤S1313：
步骤S1301对两组接收电极的电极响应信号用3.2KHz采样率进行采样，步骤S1302利用滑动时间窗+增量窗的方式进行信号分割，可选地，滑动时间窗的窗长为30采样点，增量窗的窗长为10个采样点，步骤S1303提取分割出的每段信号的信号特征值，如平均绝对值特征、积分绝对值特征或绝对值最大值特征，并对提取到的信号特征值进行滤波、平滑等处理，得到待识别的两组表面肌电信号。
步骤S1304分析两组表面肌电信号的时域波形变化特征，具体包括：
步骤S1306若任一组表面肌电信号的波幅上升到信号幅值参考值2V0以上，并在100ms内又下降到2V0以下，且在500ms内持续维持在2V0以下，识别发生在左手心表面的手势动作为单击动作；
步骤S1307若任一组表面肌电信号的波幅上升到信号幅值参考值2V0以上，并在100ms内又下降到2V0以下，且在500ms内又重新上升到2V0以上，100ms内又重新下降到2V0以下后持续维持在2V0以下，识别发生在左手心表面的手势动作为双击动作；
步骤S1309若两组表面肌电信号的波幅变化趋势相同，且任一组表面肌电信号的波幅上升到信号幅值参考值2V0以上，并维持1000ms以上后又下降到2V0以下，且波形倾斜角度θ＜5°，识别发生在左手心表面的手势动作为长按动作；
步骤S1310若两组表面肌电信号的波幅变化趋势相同，且任一组表面肌电信号的波幅上升到信号幅值参考值2V0以上，并维持100ms以上后又下降到2V0以下，且波形倾斜角度5°≤θ≤90°，识别发生在左手心表面的手势动作为向左滑动动作；
步骤S1311若两组表面肌电信号的波幅变化趋势相同，且任一组表面肌电信号的波幅上升到信号幅值参考值2V0以上，并维持100ms以上后又下降到2V0以下，且波形倾斜角度θ＞90°，识别发生在左手心表面的手势动作为向右滑动动作；
步骤S1312若两组表面肌电信号的波幅变化趋势不相同，第一组表面肌电信号的波幅都上升到信号幅值参考值2V0以上，并维持100ms以上后又下降到2V0以下，且第一波形倾斜角度90°≥θ1≥5°；而第二组表面肌电信号的波幅都上升到信号幅值参考值2V0以上，并维持100ms以上后又下降到2V0以下，且第二波形倾斜角度θ2＞90°，识别发生在左手心表面的手势动作为向上滑动动作；
步骤S1313若两组表面肌电信号的波幅变化趋势不相同，第一组表面肌电信号的波幅都上升到信号幅值参考值2V0以上，并维持100ms以上后又下降到2V0以下，且第一波形倾斜角度θ1＞90°；而第二组表面肌电信号的波幅都上升到信号幅值参考值2V0以上，并维持100ms以上后又下降到2V0以下，且第二波形倾斜角度90°≥θ2≥5°，识别发生在左手心表面的手势动作为向下滑动动作。
本实施例为提高识别效率，在分析两组表面肌电信号的时域波形变化特征，先执行步骤S1305计算出任一组表面肌电信号的波峰维持时间，波峰维持时间是指表面肌电信号的波幅上升到2V0的时间拐点t1与波幅下降到2V0以下的时间拐点t2之间的时间段[t1，t2]，判断t2-t1是否小于或等于100ms，基于判断结果选择相应的手势识别分支进行手势动作识别。
本实施例为了进一步提高识别效率，在判断出t2-t1＞100ms时，还执行步骤S1308判断两组表面肌电信号在波峰维持时间[t1，t2]内的波幅变化趋势是否相同，基于判断结果选择相应的手势识别分支进行手势动作识别。
本申请通过上述实施例能够准确识别出设定的各种手势动作，识别过程不需要借助手柄，能够解放双手，实现裸手交互。相比于主流的视觉解决方案，本申请不受光线影响，不存在手势动作的角度死角，且不需要使用摄像头等图像采集设备，能够节省计算资源和电能。此外，本申请是基于两组表面肌电信号的时域波形变化特征进行手势动作的识别，识别过程通过时域波形变化特征的至少两个维度特征(即波幅特征和时间特征)来提高识别精度和识别效率。
与前述实施例的基于表面肌电信号的控制方法同属于一个技术构思，本申请实施例还提供了一种基于表面肌电信号的控制装置，用于实现前述实施例的基于表面肌电信号的控制方法。
图14示出了根据本申请一个实施例的基于表面肌电信号的控制装置的结构示意图，如图14所示，基于表面肌电信号的控制装置1400包括：信号获取单元1410、信号处理单元1420和手势发送单元1430；
信号获取单元1410，用于当贴合人体第二肢体的发射电极释放激励信号并且第二肢体在第一肢体的人体皮肤上进行手势动作时，通过贴合第一肢体的两组接收电极接收所述激励信号的两组电极响应信号；
信号处理单元1420，用于根据两组电极响应信号获取待识别的两组表面肌电信号，根据两组表面肌电信号的时域波形变化特征识别手势动作；
手势发送单元1430，用于将识别到的手势动作发送给头戴设备进行头戴设备控制。
在本申请的一个实施例中，信号获取单元1410，具体是用于对两组电极响应信号进行采样处理，得到两组采样信号；根据滑动时间窗分别将两组采样信号分割为多个信号段，滑动时间窗的窗长大于滑动时间窗的滑动步长；根据每个信号段中采样点的幅值得到每个信号段的信号特征值；根据每个信号段的信号特征值得到所述表面肌电信号。
在本申请的一个实施例中，手势动作包括第一类手势动作和第二类手势动作，第一类手势动作是指所述第二肢体在第一肢体的人体皮肤上进行的敲击动作，第二类手势动作是指第二肢体在第一肢体的人体皮肤上进行的连续接触动作，信号处理单元1420，用于获取任一组表面肌电信号的波幅上升到信号幅值参考值以上后，从信号幅值参考值以上下降到信号幅值参考值以下的波峰维持时间；若波峰维持时间小于或等于第一时段阈值，识别手势动作为第一类手势动作；若波峰维持时间大于第一时段阈值，识别手势动作为第二类手势动作。
第一类手势动作包括单击动作和双击动作，信号处理单元1420，具体是用于若波峰维持时间小于或等于第一时段阈值，获取该组表面肌电信号的波幅下降到信号幅值参考值以下后，在双击观测时间段内的时域波形变化特征；若在双击观测时间段内，该组表面肌电信号的波幅持续小于信号幅值参考值，识别手势动作为单击动作；若在双击观测时间段内，该组表面肌电信号的波幅又重新上升到信号幅值参考值以上并且在第一时段阈值以内又重新下降到信号幅值参考值以下后维持在信号幅值参考值以下，识别手势动作为双击动作。
第二类手势动作包括长按动作和滑动动作，滑动动作包括沿第一方向滑动的左右滑动动作和沿第二方向滑动的上下滑动动作，信号处理单元1420，进一步用于若波峰维持时间大于第一时段阈值，分别获取两组表面肌电信号在所述波峰维持时间内的波幅变化趋势；若两组表面肌电信号中的波幅变化趋势相同，识别手势动作为长按动作或左右滑动动作；若两组表面肌电信号中的波幅变化趋势不相同，识别手势动作为上下滑动动作。
在本申请的一个实施例中，信号处理单元1420，具体是若两组表面肌电信号中的波幅变化趋势相同，获取任一组表面肌电信号在波峰维持时间内的波形倾斜角度；若波形倾斜角度小于第一倾角阈值，还确认该组表面肌电信号的波峰维持时间是否大于长按时间阈值，若大于长按时间阈值识别手势动作为长按动作；若波形倾斜角度大于第二倾角阈值，识别手势动作为顺着第一方向的向右滑动动作；若波形倾斜角度大于或等于第一倾角阈值且小于或等于第二倾角阈值，识别手势动作为逆着第二方向的向左滑动动作；
以及，若两组表面肌电信号中的波幅变化趋势不相同，分别获取第一组表面肌电信号在波峰维持时间内的第一波形倾斜角度和第二组表面肌电信号在波峰维持时间内的第二波形倾斜角度；若第一波形倾斜角度大于或等于第一倾角阈值且小于或等于第二倾角阈值，第二波形倾斜角度大于第二倾角阈值，识别手势动作为顺着第二方向的向上滑动动作；若第一波形倾斜角度大于第二倾角阈值，第二波形倾斜角度大于或等于第一倾角阈值且小于或等于第二倾角阈值，识别手势动作为逆着第二方向的向下滑动动作。
能够理解，上述基于表面肌电信号的控制装置，能够实现前述实施例提供的基于表面肌电信号的控制方法的各个步骤，关于基于表面肌电信号的控制方法的相关阐释均适用于基于表面肌电信号的控制装置，此处不再赘述。
图15提供了本申请实施例中一种可穿戴设备的结构示意图，请参考图15，在硬件层面，该可穿戴设备包括处理器和存储器，可选地还包括内部总线、网络接口。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该可穿戴设备还可能包括其他业务所需要的硬件，还包括两组接收电极，每组接收电极包括至少一个肌电电极，本申请不限定每组接收电极中的肌电电极的数量、肌电电极之间的相对位置以及肌电电极的类型。可选地，还可以包括两个信号处理支路，每个信号处理支路的输入端与相应的一组接收电极组连接，用于将该组接收电极组的接收到的响应信号转换为待识别的表面肌电信号后输出到处理器。
参考图4所示，每个信号处理支路包括顺次连接的滤波电路、运算放大器和模数转换器(Analog To Digital Converter，简记为ADC)。可选地，两个信号处理支路可以共用一个模数转换器。
处理器、接口模块、通信模块和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图15中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放计算机可执行指令。存储器通过内部总线向处理器提供计算机可执行指令。
处理器，执行存储器所存放的计算机可执行指令，并具体用于实现前文各项实施例中的基于表面肌电信号的控制方法。
上述如本申请图1所示实施例揭示的基于表面肌电信号的控制方法执行的功能可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序当被处理器执行时，实现前文各项实施例中的基于表面肌电信号的控制方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (14)

1.一种基于表面肌电信号的控制方法，其特征在于，所述方法包括：
当贴合人体第二肢体的发射电极释放激励信号并且所述第二肢体在第一肢体的人体皮肤上进行手势动作时，通过贴合所述第一肢体的两组接收电极获取所述激励信号的两组电极响应信号；
根据所述两组电极响应信号获取待识别的两组表面肌电信号，根据所述两组表面肌电信号的时域波形变化特征识别所述手势动作；
将识别到的手势动作发送给头戴设备进行头戴设备控制。
2.根据权利要求1所述的方法，其特征在于，所述根据所述两组电极响应信号获取待识别的两组表面肌电信号，包括：
对所述两组电极响应信号进行采样处理，得到两组采样信号；
根据滑动时间窗分别将所述两组采样信号分割为多个信号段，所述滑动时间窗的窗长大于所述滑动时间窗的滑动步长；
根据每个信号段中采样点的幅值得到每个信号段的信号特征值；
根据每个信号段的信号特征值得到所述表面肌电信号。
3.根据权利要求1所述的方法，其特征在于，所述手势动作包括第一类手势动作和第二类手势动作，所述第一类手势动作是指所述第二肢体在所述第一肢体的人体皮肤上进行的敲击动作，所述第二类手势动作是指所述第二肢体在所述第一肢体的人体皮肤上进行的连续接触动作，所述根据所述两组表面肌电信号的时域波形变化特征识别所述手势动作，包括：
获取任一组表面肌电信号的波幅上升到信号幅值参考值以上后，从所述信号幅值参考值以上下降到所述信号幅值参考值以下的波峰维持时间；
若所述波峰维持时间小于或等于第一时段阈值，识别所述手势动作为第一类手势动作；
若所述波峰维持时间大于所述第一时段阈值，识别所述手势动作为第二类手势动作。
4.根据权利要求3所述的方法，其特征在于，所述第一类手势动作包括单击动作和双击动作，所述若所述波峰维持时间小于或等于第一时段阈值，识别所述手势动作为第一类手势动作，包括：
获取该组表面肌电信号的波幅下降到所述信号幅值参考值以下后，在双击观测时间段内的时域波形变化特征；
若在所述双击观测时间段内，该组表面肌电信号的波幅持续小于所述信号幅值参考值，识别所述手势动作为单击动作；
若在所述双击观测时间段内，该组表面肌电信号的波幅又重新上升到所述信号幅值参考值以上并且在所述第一时段阈值以内又重新下降到所述信号幅值参考值以下后维持在所述信号幅值参考值以下，识别所述手势动作为双击动作。
5.根据权利要求3所述的方法，其特征在于，所述第二类手势动作包括长按动作和滑动动作，所述滑动动作包括沿第一方向滑动的左右滑动动作和沿第二方向滑动的上下滑动动作，所述若所述波峰维持时间大于所述第一时段阈值，识别所述手势动作为第二类手势动作，包括：
分别获取两组表面肌电信号在所述波峰维持时间内的波幅变化趋势；
若两组表面肌电信号中的波幅变化趋势相同，识别所述手势动作为长按动作或所述左右滑动动作；
若两组表面肌电信号中的波幅变化趋势不相同，识别所述手势动作为所述上下滑动动作。
6.根据权利要求5所述的方法，其特征在于，所述若两组表面肌电信号中的波幅变化趋势相同，识别所述手势动作为长按动作或所述左右滑动动作，包括：
获取任一组表面肌电信号在所述波峰维持时间内的波形倾斜角度；
若所述波形倾斜角度小于第一倾角阈值，还确认该组表面肌电信号的所述波峰维持时间是否大于长按时间阈值，若大于所述长按时间阈值识别所述手势动作为长按动作；
若所述波形倾斜角度大于第二倾角阈值，识别所述手势动作为顺着所述第一方向的向右滑动动作；
若所述波形倾斜角度大于或等于所述第一倾角阈值且小于或等于所述第二倾角阈值，识别所述手势动作为逆着所述第二方向的向左滑动动作。
7.根据权利要求5所述的方法，其特征在于，所述若两组表面肌电信号中的波幅变化趋势不相同，识别所述手势动作为所述上下滑动动作，包括：
分别获取第一组表面肌电信号在所述波峰维持时间内的第一波形倾斜角度和第二组表面肌电信号在所述波峰维持时间内的第二波形倾斜角度；
若所述第一波形倾斜角度大于或等于所述第一倾角阈值且小于或等于所述第二倾角阈值，所述第二波形倾斜角度大于所述第二倾角阈值，识别所述手势动作为顺着所述第二方向的向上滑动动作；
若所述第一波形倾斜角度大于所述第二倾角阈值，所述第二波形倾斜角度大于或等于所述第一倾角阈值且小于或等于所述第二倾角阈值，识别所述手势动作为逆着所述第二方向的向下滑动动作。
8.一种基于表面肌电信号的控制装置，其特征在于，所述装置包括：
信号获取单元，用于当贴合人体第二肢体的发射电极释放激励信号并且所述第二肢体在第一肢体的人体皮肤上进行手势动作时，通过贴合第一肢体的两组接收电极接收所述激励信号的两组电极响应信号；
信号处理单元，用于根据所述两组电极响应信号获取待识别的两组表面肌电信号，根据所述两组表面肌电信号的时域波形变化特征识别所述手势动作；
手势发送单元，用于将识别到的手势动作发送给头戴设备进行头戴设备控制。
9.一种可穿戴设备，其特征在于，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行基于表面肌电信号的控制方法，所述方法包括：
当贴合人体第二肢体的发射电极释放激励信号并且所述第二肢体在第一肢体的人体皮肤上进行手势动作时，通过贴合所述第一肢体的两组接收电极获取所述激励信号的两组电极响应信号；
根据所述两组电极响应信号获取待识别的两组表面肌电信号，根据所述两组表面肌电信号的时域波形变化特征识别所述手势动作；
将识别到的手势动作发送给头戴设备进行头戴设备控制。
10.根据权利要求9所述的可穿戴设备，其特征在于，所述手势动作包括第一类手势动作，所述第一类手势动作是指所述第二肢体在所述第一肢体的人体皮肤上进行的敲击动作，包括单击动作和双击动作，所述处理器还用于执行：
获取任一组表面肌电信号的波幅上升到信号幅值参考值以上后，从所述信号幅值参考值以上下降到所述信号幅值参考值以下的波峰维持时间；若所述波峰维持时间小于或等于第一时段阈值，识别所述手势动作为第一类手势动作；
其中，在识别所述手势动作为第一类手势动作时，所述处理器进一步用于执行：
获取该组表面肌电信号的波幅下降到所述信号幅值参考值以下后，在双击观测时间段内的时域波形变化特征；若在所述双击观测时间段内，该组表面肌电信号的波幅持续小于所述信号幅值参考值，识别所述手势动作为单击动作；若在所述双击观测时间段内，该组表面肌电信号的波幅又重新上升到所述信号幅值参考值以上并且在所述第一时段阈值以内又重新下降到所述信号幅值参考值以下后维持在所述信号幅值参考值以下，识别所述手势动作为双击动作。
11.根据权利要求10所述的可穿戴设备，其特征在于，所述手势动作还包括第二类手势动作，所述第二类手势动作是指所述第二肢体在所述第一肢体的人体皮肤上进行的连续接触动作，包括长按动作和滑动动作，所述滑动动作包括沿第一方向滑动的左右滑动动作和沿第二方向滑动的上下滑动动作，所述处理器还用于执行：
若所述波峰维持时间大于所述第一时段阈值，识别所述手势动作为第二类手势动作；
分别获取两组表面肌电信号在所述波峰维持时间内的波幅变化趋势；若两组表面肌电信号中的波幅变化趋势相同，识别所述手势动作为长按动作或所述左右滑动动作；若两组表面肌电信号中的波幅变化趋势不相同，识别所述手势动作为所述上下滑动动作；
其中，在识别所述手势动作为长按动作或所述左右滑动动作时，所述处理器进一步用于执行：
获取任一组表面肌电信号在所述波峰维持时间内的波形倾斜角度；若所述波形倾斜角度小于第一倾角阈值，还确认该组表面肌电信号的所述波峰维持时间是否大于长按时间阈值，若大于所述长按时间阈值识别所述手势动作为长按动作；若所述波形倾斜角度大于第二倾角阈值，识别所述手势动作为顺着所述第一方向的向右滑动动作；若所述波形倾斜角度大于或等于所述第一倾角阈值且小于或等于所述第二倾角阈值，识别所述手势动作为逆着所述第二方向的向左滑动动作；
以及，在识别所述手势动作为所述上下滑动动作时，所述处理器进一步用于执行：
分别获取第一组表面肌电信号在所述波峰维持时间内的第一波形倾斜角度和第二组表面肌电信号在所述波峰维持时间内的第二波形倾斜角度；若所述第一波形倾斜角度大于或等于所述第一倾角阈值且小于或等于所述第二倾角阈值，所述第二波形倾斜角度大于所述第二倾角阈值，识别所述手势动作为顺着所述第二方向的向上滑动动作；若所述波形第一倾斜角度大于所述第二倾角阈值，所述第二波形倾斜角度大于或等于所述第一倾角阈值且小于或等于所述第二倾角阈值，识别所述手势动作为逆着所述第二方向的向下滑动动作。
12.根据权利要求9所述的可穿戴设备，其特征在于，包括两组接收电极组，每组接收电极组包括至少一个肌电电极。
13.根据权利要求12所述的可穿戴设备，其特征在于，还包括两个信号处理支路，每个信号处理支路的输入端与相应的一组接收电极组连接，用于将该组接收电极组的接收到的响应信号转换为待识别的表面肌电信号后输出到所述处理器。
14.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现基于表面肌电信号的控制方法，所述方法包括：
当贴合人体第二肢体的发射电极释放激励信号并且所述第二肢体在第一肢体的人体皮肤上进行手势动作时，通过贴合所述第一肢体的两组接收电极获取所述激励信号的两组电极响应信号；
根据所述两组电极响应信号获取待识别的两组表面肌电信号，根据所述两组表面肌电信号的时域波形变化特征识别所述手势动作；
将识别到的手势动作发送给头戴设备进行头戴设备控制。
CN202210851303.9A 2022-07-19 2022-07-19 基于表面肌电信号的控制方法、装置及可穿戴设备 Pending CN115114962A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210851303.9A CN115114962A (zh) 2022-07-19 2022-07-19 基于表面肌电信号的控制方法、装置及可穿戴设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210851303.9A CN115114962A (zh) 2022-07-19 2022-07-19 基于表面肌电信号的控制方法、装置及可穿戴设备

Publications (1)

Publication Number Publication Date
CN115114962A true CN115114962A (zh) 2022-09-27

Family

ID=83333549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210851303.9A Pending CN115114962A (zh) 2022-07-19 2022-07-19 基于表面肌电信号的控制方法、装置及可穿戴设备

Country Status (1)

Country Link
CN (1) CN115114962A (zh)

Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102178524A (zh) * 2011-05-23 2011-09-14 天津大学 基于同步似然的脑肌电协同性分析方法
CN106236336A (zh) * 2016-08-15 2016-12-21 中国科学院重庆绿色智能技术研究院 一种肌电假肢手势及力度控制方法
CN106295212A (zh) * 2016-08-18 2017-01-04 电子科技大学 一种基于多元经验模式分解的肌电信号同步处理方法
CN107273798A (zh) * 2017-05-11 2017-10-20 华南理工大学 一种基于表面肌电信号的手势识别方法
CN107480697A (zh) * 2017-07-12 2017-12-15 中国科学院计算技术研究所 一种肌电手势识别方法和系统
CN109765823A (zh) * 2019-01-21 2019-05-17 吉林大学 基于手臂肌电信号的地面履带式无人车控制方法
CN110403609A (zh) * 2019-09-03 2019-11-05 北京海益同展信息科技有限公司 运动速度分析方法、装置和可穿戴设备
CN110618754A (zh) * 2019-08-30 2019-12-27 电子科技大学 基于表面肌电信号的手势识别方法和手势识别臂带
CN111317600A (zh) * 2018-12-13 2020-06-23 深圳先进技术研究院 一种假肢控制方法、装置、系统、设备和存储介质
CN111360792A (zh) * 2020-03-30 2020-07-03 哈尔滨工业大学 面向仿生机械手的可穿戴便携式实时控制动作识别系统
CN111553307A (zh) * 2020-05-08 2020-08-18 中国科学院合肥物质科学研究院 一种融合生物电阻抗信息和肌电信息的手势识别系统
WO2021042971A1 (zh) * 2019-09-03 2021-03-11 北京海益同展信息科技有限公司 表面肌电信号处理方法、装置和可穿戴设备
CN112773582A (zh) * 2021-01-20 2021-05-11 京东数科海益信息科技有限公司 一种假肢控制方法、装置、系统及介质
CN113536954A (zh) * 2021-06-23 2021-10-22 厦门大学 一种基于人体肌电信号的手势识别方法
CN113589920A (zh) * 2020-04-30 2021-11-02 北京海益同展信息科技有限公司 手势识别方法、人机交互方法、装置、设备及存储介质
CN113616395A (zh) * 2021-08-10 2021-11-09 长春理工大学 假肢控制方法、装置、假肢设备及计算机可读存储介质
CN113726466A (zh) * 2021-07-21 2021-11-30 歌尔股份有限公司 一种可穿戴设备及其信号采集方法
CN113791692A (zh) * 2021-09-28 2021-12-14 歌尔光学科技有限公司 交互方法、终端设备及可读存储介质
CN113849068A (zh) * 2021-09-28 2021-12-28 中国科学技术大学 一种手势多模态信息融合的理解与交互方法及其系统
CN113871028A (zh) * 2021-06-07 2021-12-31 钧晟(天津)科技发展有限公司 一种基于肌电智能穿戴的交互式康复系统
CN215458018U (zh) * 2021-07-14 2022-01-11 歌尔股份有限公司 可穿戴设备及具有其的乐器陪练系统
CN114145759A (zh) * 2021-11-11 2022-03-08 歌尔股份有限公司 肌电信号的补偿方法、装置、肌电检测设备及存储介质
CN114533089A (zh) * 2022-02-22 2022-05-27 北京工业大学 一种基于表面肌电信号的下肢动作识别分类方法
CN114626405A (zh) * 2022-01-30 2022-06-14 中国科学院自动化研究所 基于肌电信号的实时身份识别方法、装置及电子设备
CN114661161A (zh) * 2022-03-30 2022-06-24 歌尔股份有限公司 手势交互方法、装置、系统、可穿戴设备及存储介质

Patent Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102178524A (zh) * 2011-05-23 2011-09-14 天津大学 基于同步似然的脑肌电协同性分析方法
CN106236336A (zh) * 2016-08-15 2016-12-21 中国科学院重庆绿色智能技术研究院 一种肌电假肢手势及力度控制方法
CN106295212A (zh) * 2016-08-18 2017-01-04 电子科技大学 一种基于多元经验模式分解的肌电信号同步处理方法
CN107273798A (zh) * 2017-05-11 2017-10-20 华南理工大学 一种基于表面肌电信号的手势识别方法
CN107480697A (zh) * 2017-07-12 2017-12-15 中国科学院计算技术研究所 一种肌电手势识别方法和系统
CN111317600A (zh) * 2018-12-13 2020-06-23 深圳先进技术研究院 一种假肢控制方法、装置、系统、设备和存储介质
CN109765823A (zh) * 2019-01-21 2019-05-17 吉林大学 基于手臂肌电信号的地面履带式无人车控制方法
CN110618754A (zh) * 2019-08-30 2019-12-27 电子科技大学 基于表面肌电信号的手势识别方法和手势识别臂带
CN110403609A (zh) * 2019-09-03 2019-11-05 北京海益同展信息科技有限公司 运动速度分析方法、装置和可穿戴设备
WO2021042971A1 (zh) * 2019-09-03 2021-03-11 北京海益同展信息科技有限公司 表面肌电信号处理方法、装置和可穿戴设备
CN111360792A (zh) * 2020-03-30 2020-07-03 哈尔滨工业大学 面向仿生机械手的可穿戴便携式实时控制动作识别系统
CN113589920A (zh) * 2020-04-30 2021-11-02 北京海益同展信息科技有限公司 手势识别方法、人机交互方法、装置、设备及存储介质
WO2021219039A1 (zh) * 2020-04-30 2021-11-04 京东数科海益信息科技有限公司 手势识别方法、人机交互方法、装置、设备及存储介质
CN111553307A (zh) * 2020-05-08 2020-08-18 中国科学院合肥物质科学研究院 一种融合生物电阻抗信息和肌电信息的手势识别系统
CN112773582A (zh) * 2021-01-20 2021-05-11 京东数科海益信息科技有限公司 一种假肢控制方法、装置、系统及介质
CN113871028A (zh) * 2021-06-07 2021-12-31 钧晟(天津)科技发展有限公司 一种基于肌电智能穿戴的交互式康复系统
CN113536954A (zh) * 2021-06-23 2021-10-22 厦门大学 一种基于人体肌电信号的手势识别方法
CN215458018U (zh) * 2021-07-14 2022-01-11 歌尔股份有限公司 可穿戴设备及具有其的乐器陪练系统
CN113726466A (zh) * 2021-07-21 2021-11-30 歌尔股份有限公司 一种可穿戴设备及其信号采集方法
CN113616395A (zh) * 2021-08-10 2021-11-09 长春理工大学 假肢控制方法、装置、假肢设备及计算机可读存储介质
CN113791692A (zh) * 2021-09-28 2021-12-14 歌尔光学科技有限公司 交互方法、终端设备及可读存储介质
CN113849068A (zh) * 2021-09-28 2021-12-28 中国科学技术大学 一种手势多模态信息融合的理解与交互方法及其系统
CN114145759A (zh) * 2021-11-11 2022-03-08 歌尔股份有限公司 肌电信号的补偿方法、装置、肌电检测设备及存储介质
CN114626405A (zh) * 2022-01-30 2022-06-14 中国科学院自动化研究所 基于肌电信号的实时身份识别方法、装置及电子设备
CN114533089A (zh) * 2022-02-22 2022-05-27 北京工业大学 一种基于表面肌电信号的下肢动作识别分类方法
CN114661161A (zh) * 2022-03-30 2022-06-24 歌尔股份有限公司 手势交互方法、装置、系统、可穿戴设备及存储介质

Similar Documents

Publication Publication Date Title
Fang et al. A multichannel surface EMG system for hand motion recognition
Serby et al. An improved P300-based brain-computer interface
CN108681396A (zh) 基于脑-肌电双模态神经信号的人机交互系统及其方法
CN110123314B (zh) 基于脑电信号判断大脑专注放松状态的方法
CN110555468A (zh) 一种联合递归图和cnn的脑电信号识别方法及系统
WO2008097201A1 (en) A system and method for processing brain signals in a bci system
Hamedi et al. Human facial neural activities and gesture recognition for machine-interfacing applications
Gupta et al. Exploiting the P300 paradigm for cognitive biometrics
CN108334766A (zh) 电子装置、解锁方法及相关产品
CN108897418A (zh) 一种穿戴式脑-机接口装置、人机交互系统及方法
CN106484082B (zh) 一种基于生物电的控制方法、装置及控制器
Booth et al. Detecting finger gestures with a wrist worn piezoelectric sensor array
CN111259699A (zh) 一种人体动作识别和预测方法及装置
CN115114962A (zh) 基于表面肌电信号的控制方法、装置及可穿戴设备
CN113901881A (zh) 一种肌电数据自动标注方法
CN109662710A (zh) 一种基于卷积神经网络的肌电信号特征提取方法
Chang et al. Wearable emg-based gesture recognition systems during activities of daily living: An exploratory study
CN112783314B (zh) 基于ssvep的脑机接口刺激范式生成、检测方法、系统、介质、终端
CN113312994A (zh) 一种手势分类识别方法及其应用
CN109901711B (zh) 由弱肌电伪迹微表情脑电信号驱动的异步实时脑控方法
Lisogurski et al. Identification of finger flexions from continuous EEG as a brain computer interface
Zhang et al. A flexible speller based on time-space frequency conversion SSVEP stimulation paradigm under dry electrode
Tomczyński et al. Hand gesture-based interface with multichannel sEMG band enabling unknown gesture discrimination
Liu et al. A novel unsupervised dynamic feature domain adaptation strategy for cross-individual myoelectric gesture recognition
Han et al. Confidence-aware subject-to-subject transfer learning for brain-computer interface

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination