CN108227905A - 一种基于表面肌电信号的游戏控制系统 - Google Patents
一种基于表面肌电信号的游戏控制系统 Download PDFInfo
- Publication number
- CN108227905A CN108227905A CN201611194720.1A CN201611194720A CN108227905A CN 108227905 A CN108227905 A CN 108227905A CN 201611194720 A CN201611194720 A CN 201611194720A CN 108227905 A CN108227905 A CN 108227905A
- Authority
- CN
- China
- Prior art keywords
- signal
- collecting cassette
- computer
- system based
- connect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002567 electromyography Methods 0.000 claims abstract description 22
- 230000033001 locomotion Effects 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 8
- 238000004458 analytical method Methods 0.000 claims abstract description 7
- 210000003205 muscle Anatomy 0.000 claims abstract description 5
- 238000004891 communication Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 16
- 238000012706 support-vector machine Methods 0.000 claims description 10
- 238000000034 method Methods 0.000 claims description 9
- 230000001133 acceleration Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 2
- 230000009471 action Effects 0.000 description 11
- 241000270295 Serpentes Species 0.000 description 7
- 230000003321 amplification Effects 0.000 description 5
- 238000003199 nucleic acid amplification method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000002003 electrode paste Substances 0.000 description 1
- 238000002001 electrophysiology Methods 0.000 description 1
- 230000007831 electrophysiology Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003183 myoelectrical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Neurosurgery (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Health & Medical Sciences (AREA)
- Dermatology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种基于表面肌电信号的游戏控制系统，包括固定在人体上的肌电采集盒、与肌电采集盒信号连接的表面电极、与肌电采集盒信号连接的信号接收设备以及与信号接收设备信号连接的计算机，所述表面电极贴在身体皮肤表面并能够根据其所在位置附近肌肉的运动生成肌电信号，所述计算机能够对肌电信号进行分析，并且根据分析的结果控制安装在计算机内的游戏。该游戏控制系统采用人体的皮肤表面的肌电信号进行控制，能够使人们更加亲身的体验游戏，同时达到了康复训练的效果。
Description
技术领域
本发明属于生物医学信息处理领域，尤其涉及一种基于表面肌电信号的游戏控制系统。
背景技术
传感器技术和信号处理技术的发展使得便携式计算机设备直接感知肌肉活动成为可能。多种类的人体生理信号识别结果可转换为多自由度控制指令，在康复医学中为病患提供一种操作辅助设备的方法，在人机交互中用户可以根据情境自由选择合适的动作种类表达自身意图并与外界环境进行信息交换，在普适计算中可以智能感知用户无意识的动作，判断用户需求并提供人性化的服务。这其中重要的应用方向之一是表面肌电识别。
基于表面肌电信号的人体动作识别与交互可实现穿戴式电生理系统，突破传统的基于键盘和鼠标的人机交互的局限性，探索新颖的人与环境的信息传递方式。人体动作识别是指计算机自动检测、分析和理解人体各类运动和行为，判断人的意图并提供相应服务的过程。具体应用包括：多模态人机交互，使得用户以自然便利的方式操作计算机；通过体感游戏直接获取人体动作数据用于游戏控制等。
发明内容
本发明的主要目的在于提供一种基于表面肌电信号的游戏控制系统，通过人体的动作能够直接控制游戏，在玩游戏时，给人带来更直观的感受。
为达到以上目的，本发明采用的技术方案为：一种基于表面肌电信号的游戏控制系统，其特征在于，包括固定在人体上的肌电采集盒、与肌电采集盒信号连接的表面电极、与肌电采集盒信号连接的信号接收设备以及与信号接收设备信号连接的计算机，所述表面电极贴在身体皮肤表面并能够根据其所在位置附近肌肉的运动生成肌电信号，所述计算机能够对肌电信号进行分析，并且根据分析的结果控制安装在计算机内的游戏。
优选地，所述肌电采集盒内设置有与表面电极信号连接的微处理器和与微处理器信号连接的通讯模块，所述信号接收设备也设置有通讯模块，所述肌电采集盒与信号接收设备通过各自的通讯模块实现信号连接。
优选地，所述通讯模块均为无线通讯模块。
优选地，所述肌电采集盒内还设置有三轴加速度传感器，所述三轴加速度传感器与微处理器信号连接。
优选地，所述计算机对接收的肌电信号通过自回归模型进行特征提取。
优选地，所述计算机对提取的特征通过支持向量机算法进行分类。
本发明还提供了一种利用上述游戏控制系统控制游戏的方法，其特征在于，包括如下步骤：
步骤一：肌电采集盒将采集到的数据通过信号接收设备发送到计算机；
步骤二：安装在计算机内的控制软件对肌电采集盒采集到的数据进行处理；
步骤三：通过处理后的数据对控制游戏。
优选地，步骤二中对数据的处理包括动作特征提取和对提取的动作特征进行分类。
优选地，采用支持向量机算法对提取的动作特征进行分类。
优选地，所述控制软件具有用以对支持向量机算法进行优化的训练和学习功能。
与现有技术相比，本发明具有以下有益效果：
该控制系统通过手臂等身体部位来控制安装于计算机内的游戏，具有可玩性高，能够使用户得到更亲身的体验。
附图说明
图1是根据本发明的一个优选实施例的肌电采集盒的安装图
图2是根据本发明的一个优选实施例的原理图
图3是根据本发明的一个优选实施例的计算机对采集到的信号处理的流程图
图4是根据本发明的一个优选实施例的陷波滤波器的电路图
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。
如图1和图2所示的一种基于表面肌电信号的游戏控制系统，包括固定在手臂上的肌电采集盒1、与肌电采集盒1信号连接的信号采集设备2、与肌电采集盒1信号连接的信号接收设备3以及与信号接收设备3信号连接的计算机4，所述信号采集设备2为贴在手臂皮肤表面的表面电极，所述表面电极能够根据其所在位置附近肌肉的运动生成肌电信号。在所述计算机4内设置有肌电信号分析模块用以对肌电信号进行分析，并且根据分析的结果控制安装在计算机4内的游戏。
所述肌电采集盒1内设置有差分放大电路11、A/D转换模块12、微处理器16以及通讯模块13，所述差分放大电路11与表面电极信号连接用以对表面电极采集的肌电信号进行放大，所述A/D转换模块12与差分放大电路11的输出端连接用以将电信号转换为数字信号，所述A/D转换模块12的输出端与微处理器16信号连接，所述微处理器16与通讯模块13信号连接，所述微处理器16在接收到A/D转换模块12发来的肌电信号之后能够控制通讯模块13发出肌电信号。其中，差分放大电路11、A/D转换模块12、微处理器16以及通讯模块13可以采用现有技术。
具体地，所述差分放大电路11包括前置级放大电路、与前置级放大电路的输出端连接的陷波滤波器以及两个反相放大器，所述前置级放大电路的放大倍数为20，可以采用型号为AD8422的两级运算放大器。所述陷波滤波器的频率为50Hz。所述两个反相放大器串联设置，两者的放大倍数为25，反向放大器的型号为TL062，在此配置下，差分放大电路11的总的放大倍数为500，放大后输出的电压范围为-2.5V～+2.5V。
所述肌电采集盒1内还设置有与A/D转换模块12的输入端相连的三轴加速度传感器14用于测量手臂在控制贪吃蛇运动中相对惯性空间转角信号信号，通过惯性空间转角信号能够确定手臂的指向。所述三轴加速度传感器14检测到的相对惯性空间转角信号和表面电极检测到的肌电信号一起作为动作特通过通讯模块13发送到信号接收设备3。
所述信号接收设备3包括通讯模块31和与通讯模块31的输出端信号连接的接口转换模块32，所述通讯模块31与通信模块12信号连接，所述通讯模块31将接收到的肌电信号和加速度通过接口转换模块32发送到计算机。所述接口转换模块32具体为USB转串口芯片CH340G。
所述通讯模块12和31采用无线网络进行通讯，具体均采用型号为CC1110的无线收发芯片。
进一步，在所述肌电采集盒1内且在所述差分放大电路11和A/D转换模块12之间设置有带通滤波电路15用以滤除肌电信号中的噪音，所述带通滤波电路15的输入端连接差分放大电路11的输出端，所述带通滤波电路15的输出端连接A/D转换模块12的输入端。
所述肌电采集盒1内还设置有电池，所述电池用以为肌电采集盒1内的电路供电。
所述计算机内安装有分析软件用以对从信号接收设备3接收的肌电信号和惯性空间转角信号进行处理，包括动作特征提取和动作特征分类。
所述动作特征为用于控制贪吃蛇游戏的动作，包括向上、向下、向左以及向右。
所述动作特征提取采用自回归(AR)模型对接收到的肌电信号和惯性空间转角信号分别进行处理，需要提取的动作特征为AR模型的当前输出，AR模型的当前输出是现在输入和过去输入的加权和，公式如下：
p为AR模型的阶数，αk为AR模型系数，u(n)为均值零、方差σ2的白噪声序列。αk作为特征值，根据经验，阶数p优选为6。并且，f(n)为现在输入，f(n-k)为过去输入，并且f(n)和f(n-k)在本实施例中为肌电信号或者惯性空间转角信号，具体地，两者为电压值，当前输出为αk，即通过计算出的AR模型系数来对贪吃蛇游戏进行控制。
所述动作特征提取的算法在MATLAB平台下完成，利用NET Builder将MATLAB中的m函数编译为COM组件生成动态链接库供VC调用，之后根据界面提示做贪吃蛇等游戏控制动作进行训练。
所述动作特征分类是在动作特征提取后根据提取到的参数判断手臂所做的动作，所述动作特征分类功能由SVM(支持向量机)算法完成。
为了使SVM算法的分类更加准确，上述分析软件还具有训练和学习功能。在训练和学习时，软件进入训练和学习界面，在界面上随机出现向上、向下、向左以及向右的箭头，在出现箭头时，手臂做出相应的指向，通过不断地训练和学习，SVM算法不断地得到优化，使其分类更加的准确。其中通过训练和学习能够使SVM算法得到优化是现有技术，不再详述。
该控制系统控制游戏的过程如下：手臂动作，肌电采集盒采集表面电极和三轴加速度传感器14发出的信号并经过一系列电路的处理之后进入到计算机，计算机内的分析软件对接收到的信号进行动作特征提取和对提取的动作特征进行分类，并根据得到的分类信号控制贪吃蛇游戏。所述贪吃蛇游戏集成在上述分析软件中，在分析软件界面中具有贪吃蛇游戏界面。并且，在控制游戏的过程中，分析软件会记录来自手臂的动作信号和控制游戏需要的动作不一致的情况和总共需要的动作进而实时地计算出识别精度并在分析软件中显示。
并且，上述分析软件能够将接收到的肌电信号和惯性空间转角信号进行存储，并且能够对存储的上述信号进行读取，同时能够以波形的形式显示出来。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。
Claims (10)
1.一种基于表面肌电信号的游戏控制系统，其特征在于，包括固定在人体上的肌电采集盒、与肌电采集盒信号连接的表面电极、与肌电采集盒信号连接的信号接收设备以及与信号接收设备信号连接的计算机，所述表面电极贴在身体皮肤表面并能够根据其所在位置附近肌肉的运动生成肌电信号，所述计算机能够对肌电信号进行分析，并且根据分析的结果控制安装在计算机内的游戏。
2.根据权利要求1所述的一种基于表面肌电信号的游戏控制系统，其特征在于，所述肌电采集盒内设置有与表面电极信号连接的微处理器和与微处理器信号连接的通讯模块，所述信号接收设备也设置有通讯模块，所述肌电采集盒与信号接收设备通过各自的通讯模块实现信号连接。
3.根据权利要求2所述的一种基于表面肌电信号的游戏控制系统，其特征在于，所述通讯模块均为无线通讯模块。
4.根据权利要求2或3所述的一种基于表面肌电信号的游戏控制系统，其特征在于，所述肌电采集盒内还设置有三轴加速度传感器，所述三轴加速度传感器与微处理器信号连接。
5.根据权利要求1所述的一种基于表面肌电信号的游戏控制系统，其特征在于，所述计算机对接收的肌电信号通过自回归模型进行特征提取。
6.根据权利要求5所述的一种基于表面肌电信号的游戏控制系统，其特征在于，所述计算机对提取的特征通过支持向量机算法进行分类。
7.一种利用权利要求1所述的游戏控制系统控制游戏的方法，其特征在于，包括如下步骤：
步骤一：肌电采集盒将采集到的数据通过信号接收设备发送到计算机；
步骤二：安装在计算机内的控制软件对肌电采集盒采集到的数据进行处理；
步骤三：通过处理后的数据对控制游戏。
8.根据权利要求7所述的控制游戏的方法，其特征在于，步骤二中对数据的处理包括动作特征提取和对提取的动作特征进行分类。
9.根据权利要求8所述的控制游戏的方法，其特征在于，采用支持向量机算法对提取的动作特征进行分类。
10.根据权利要求9所述的控制游戏的方法，其特征在于，所述控制软件具有用以对SVM算法进行优化的训练和学习功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611194720.1A CN108227905A (zh) | 2016-12-21 | 2016-12-21 | 一种基于表面肌电信号的游戏控制系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611194720.1A CN108227905A (zh) | 2016-12-21 | 2016-12-21 | 一种基于表面肌电信号的游戏控制系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108227905A true CN108227905A (zh) | 2018-06-29 |
Family
ID=62656807
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611194720.1A Pending CN108227905A (zh) | 2016-12-21 | 2016-12-21 | 一种基于表面肌电信号的游戏控制系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108227905A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108983976A (zh) * | 2018-07-09 | 2018-12-11 | 清华大学 | 柔性交互装置以及信息交互方法及装置 |
| CN109864740A (zh) * | 2018-12-25 | 2019-06-11 | 北京津发科技股份有限公司 | 一种运动状态的表面肌电信号采集传感器和设备 |
| CN109876428A (zh) * | 2019-03-22 | 2019-06-14 | 五邑大学 | 一种体感装置、游戏机装置以及肢体动作信号处理方法 |
| CN110038272A (zh) * | 2019-04-16 | 2019-07-23 | 深圳市康美生科技有限公司 | 一种生物反馈及电刺激治疗仪的使用方法 |
| CN113680037A (zh) * | 2021-06-28 | 2021-11-23 | 深圳市奋达智能技术有限公司 | Hiit健身运动引导和监测方法、设备、存储介质、程序产品和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104382595A (zh) * | 2014-10-27 | 2015-03-04 | 燕山大学 | 基于肌电信号与虚拟现实交互技术的上肢康复系统及方法 |
| CN105824321A (zh) * | 2016-04-29 | 2016-08-03 | 泰山医学院 | 基于表面肌电信号的四轴飞行器控制系统及方法 |
| CN106166069A (zh) * | 2016-07-05 | 2016-11-30 | 上海丞电电子科技有限公司 | 一种肌电采集放大的微型传感器及基于传感器的训练方法 |
| CN206322115U (zh) * | 2016-12-21 | 2017-07-11 | 上海健康医学院 | 一种基于表面肌电信号的游戏控制系统 |
-
2016
- 2016-12-21 CN CN201611194720.1A patent/CN108227905A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104382595A (zh) * | 2014-10-27 | 2015-03-04 | 燕山大学 | 基于肌电信号与虚拟现实交互技术的上肢康复系统及方法 |
| CN105824321A (zh) * | 2016-04-29 | 2016-08-03 | 泰山医学院 | 基于表面肌电信号的四轴飞行器控制系统及方法 |
| CN106166069A (zh) * | 2016-07-05 | 2016-11-30 | 上海丞电电子科技有限公司 | 一种肌电采集放大的微型传感器及基于传感器的训练方法 |
| CN206322115U (zh) * | 2016-12-21 | 2017-07-11 | 上海健康医学院 | 一种基于表面肌电信号的游戏控制系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108983976A (zh) * | 2018-07-09 | 2018-12-11 | 清华大学 | 柔性交互装置以及信息交互方法及装置 |
| CN109864740A (zh) * | 2018-12-25 | 2019-06-11 | 北京津发科技股份有限公司 | 一种运动状态的表面肌电信号采集传感器和设备 |
| CN109876428A (zh) * | 2019-03-22 | 2019-06-14 | 五邑大学 | 一种体感装置、游戏机装置以及肢体动作信号处理方法 |
| WO2020192396A1 (zh) * | 2019-03-22 | 2020-10-01 | 五邑大学 | 一种体感装置、游戏机装置以及肢体动作信号处理方法 |
| CN110038272A (zh) * | 2019-04-16 | 2019-07-23 | 深圳市康美生科技有限公司 | 一种生物反馈及电刺激治疗仪的使用方法 |
| CN113680037A (zh) * | 2021-06-28 | 2021-11-23 | 深圳市奋达智能技术有限公司 | Hiit健身运动引导和监测方法、设备、存储介质、程序产品和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108227905A (zh) | 一种基于表面肌电信号的游戏控制系统 | |
| Huang et al. | TSE-CNN: A two-stage end-to-end CNN for human activity recognition | |
| Yang et al. | Chinese sign language recognition based on an optimized tree-structure framework | |
| Wang et al. | A triaxial accelerometer-based human activity recognition via EEMD-based features and game-theory-based feature selection | |
| US6712692B2 (en) | Using existing videogames for physical training and rehabilitation | |
| CN104780217B (zh) | 检测用户工作效率的方法、系统及客户端 | |
| CN105224104B (zh) | 基于智能手机持握方式的行人运动状态识别方法 | |
| CN107016342A (zh) | 一种动作识别方法及系统 | |
| CN105561567A (zh) | 一种计步及运动状态评估装置 | |
| CN105912142A (zh) | 一种基于加速传感器的记步与行为识别方法 | |
| JP2017511501A (ja) | 訓練支援装置及び訓練支援方法 | |
| CN206322115U (zh) | 一种基于表面肌电信号的游戏控制系统 | |
| Zhao et al. | Detection and recognition of human body posture in motion based on sensor technology | |
| Coffen et al. | Tinydl: Edge computing and deep learning based real-time hand gesture recognition using wearable sensor | |
| Ye et al. | An instance-based physical violence detection algorithm for school bullying prevention | |
| CN106910314A (zh) | 一种基于体形的个性化跌倒检测方法 | |
| CN108268132A (zh) | 一种基于手套采集的手势识别方法及人机交互装置 | |
| Chuang et al. | A wearable activity sensor system and its physical activity classification scheme | |
| CN113856132B (zh) | 一种跳绳动作识别系统、方法及跳绳 | |
| Alrazzak et al. | A survey on human activity recognition using accelerometer sensor | |
| CN110477924B (zh) | 适应性运动姿态感测系统与方法 | |
| CN101644952A (zh) | 基于眼电图信号的便携式无线人机交互系统 | |
| Javeed et al. | Automated gestures recognition in Exergaming | |
| CN104958897A (zh) | 一种运动轨迹和运动速度采集装置和系统 | |
| CN108096788A (zh) | 基于kinect的游戏下肢康复训练系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |