CN111522435A - 一种基于表面肌电信号的机械臂交互方法 - Google Patents
一种基于表面肌电信号的机械臂交互方法 Download PDFInfo
- Publication number
- CN111522435A CN111522435A CN202010106490.9A CN202010106490A CN111522435A CN 111522435 A CN111522435 A CN 111522435A CN 202010106490 A CN202010106490 A CN 202010106490A CN 111522435 A CN111522435 A CN 111522435A
- Authority
- CN
- China
- Prior art keywords
- mechanical arm
- method based
- surface electromyogram
- wrist
- interaction method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Biomedical Technology (AREA)
- Dermatology (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Human Computer Interaction (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
一种基于表面肌电信号的机械臂交互方法,包括以下步骤:步骤(1)受试者仔细观察手势动作的图片,熟悉每个动作的动作要领;步骤(2)受试者依次做出握拳、手腕左翻、手腕右翻、手腕内翻、手腕外翻、手腕下切、手腕上切7种动作;步骤(3)对所采集的表面肌电信号进行预处理并采用5种特征提取方法进行特征提取;步骤(4)对特征提取后的数据采用模式识别分类器进行分类并训练模型;步骤(5)受试者任意做出指定动作,电脑客户端上实时显示识别结果;步骤(6)将分类得到的手势结果通过局域网传输到Baxter机械臂控制端,机械臂做出对应的动作。本发明能够满足实时处理表面肌电信号并与机械臂交互,识别率满足操作要求。
Description
技术领域
本发明涉及一种基于支持向量机的表面肌电信号识别方法,并将信号用于控制机械臂的方法。
背景技术
表面肌电信号(surface electromyography signal,sEMG)是伴随肌肉运动而产生的一种生物电信号。在大脑皮层负责运动的区域产生运动意识时,大脑把这种运动意识以兴奋的形式传导到中枢神经,中枢神经进而沿着神经系统将这种兴奋传导给脊髓中的运动神经元。运动神经元的轴突末梢与多条肌肉仟维在终板区耦合。因此,当运动神经元收到兴奋时,产生的电脉冲由轴突传导到所有肌纤维并引起脉冲序列,这些电脉冲沿着肌纤维向两个方向传播,从而引起肌纤维进行收缩产生肌肉张力,牵引骨骼做出对应动作同时电极间会因为传播过程中的电脉冲在人体软组织中产生的电流场而检测出电位差,即为肌肉运动而产生的表面肌电信号。将表面肌电信号用于和外部设备交互,这种方法直接提取人体的表面肌电信号来传递操控者的动作信息。
模式识别方法的选择同样在很大程度上影响肌电模式识别问题的准确度。已有工作表明支持向量机在肌电模式识别方面有着较优异的性能。Atzori等人发布的NinaPro数据集基准测试结果中,非线性支持向量机是多种线性和非线性分类器中唯一一种能够在变换特征的情况下依然能够持续获得高识别率的分类器。
发明内容
为了克服现有技术的不足,本发明提供了一种基于表面肌电信号的实时手势识别系统,并用于操控机械臂。
为实现上述目的,本发明所提供的技术方案为:
一种基于表面肌电信号的机械臂交互方法,包括以下步骤:
(1)受试者仔细观察手势动作的图片,并预先佩戴交浦科技有限公司的Elonxi16通道肌电采集系统进行练习,以熟悉每个动作的动作要领;
(2)受试者坐在办公椅上,左手放置在扶手上,依次做出握拳、手腕左翻、手腕右翻、手腕内翻、手腕外翻、手腕下切、手腕上切动作,每个动作持续发力5秒,动作与动作之间休息5秒,利用肌电采集袖套采集前臂表面肌电信号数据;
(3)对所采集的表面肌电信号进行预处理并采用5种特征提取方法进行特征提取,分别是均方根RMS、波形长度WL、过零点数ZC、均值频率MNF和自回归模型系数AR;
(4)对特征提取后的数据采用模式识别分类器进行分类并训练模型;
(5)受试者任意做出指定动作,电脑客户端上实时显示识别结果;
(6)将分类得到的手势结果通过局域网传输到Baxter机械臂控制端,机械臂做出对应的动作。
进一步,所述步骤(1)中,肌电采集系统支持最多16个双极通道,采样分辨率为24比特,采样频率介于1000Hz到2000Hz之间,支持干湿电极自由切换,数据传输支持USB和蓝牙。
所述步骤(3)中,对采集的表面肌电信号进行预处理,将超出20-500Hz范围的频率部分和电源线噪声频率50Hz进行抑制。
所述步骤(3)中,均方根RMS的计算公式如下所示,其中,N是滑动窗口的长度,xi是第i个样本点:
其中,N是滑动窗口的长度,xi是第i个样本点。
所述步骤(3)中,波形长度WL的计算公式如下所示:
所述步骤(3)中,过零点数ZC的计算公式如下所示:
所述步骤(3)中,均值频率MNF的计算公式如下所示:
其中,fj表示频段上的频谱,pj表示该频段上的功率谱强度,M是整个频段长度。
所述步骤(3)中,自回归模型系数AR的计算公式如下所示:
其中p是AR模型的阶数,ai是作为肌电信号特征的系数。
所述步骤(4)中,模式识别分类器为支持向量机(SVM)。
所述步骤(6)中,局域网协议为UDP协议。
从以上技术方案可以看出,本发明具有以下有益效果:
本发明实例基于表面肌电信号的机械臂交互方法,通过采用5种特征组合算法和支持向量机分类器进行分类,从而有效地提高了手势识别的速度和准确性,应用于机械臂的控制,准确的判断识别用户的意图,带来直观的操作感受,有效提高了人机交互的体验。本发明选取的5种特征提取算法均为时域特征算法,可以降低计算量,有效提升操作的实时性。
附图说明
图1是本发明流程框图。
图2是7组手势图。
图3是电脑端实时显示肌电信号图。
具体实施方式:
为了使本技术领域的人员更好的理解本发明方案,下面将结合本发明实例中的附图,对本发明实例中的技术方案进行清楚、完整的描述。
图1为本发明实例提供的一种基于表面肌电信号的机械臂交互方法的流程框图。在该实例中,客户端计算机Windows需要完成的有四个环节,分别是肌电信号采集、信号预处理、特征提取、离线训练模型、模式识别。然后UDP传输识别结果到客户端计算机Ubuntu,根据运动学公式确定位置、速度、力矩等传输到Limb接口,同时轨迹规划结果传输到JTAS服务器。最后通过joint_command将信号传输到机载计算机Gentoo的关节控制接口,驱动电机控制器完成指定动作。三台计算机都处于同一个局域网内。
本发明的一种基于前臂表面肌电信号的机械臂交互方法具体步骤如下:
步骤1:清理受试者皮肤,受试者仔细观察手势动作的图片,并预先佩戴交浦科技有限公司的Elonxi16通道肌电采集系统,进行练习,以熟悉图2中每个动作的动作要领。肌电采集仪采用1kHz的采样频率以及12位ADC分辨率,采集模块得到的sEMG数据,将打包并通过两个蓝牙模块发送到PC端进行分析处理。该设备由一块3.3V的可充电锂电池供电,单次使用可长达10个小时以上。另外由于表面肌电信号是一种非稳态的信号,且极易受到外界环境的干扰,因此为了能够从人体表面提取干净的信号,本设备着重考虑了噪声来源与特性,使用了一种包含五个元件的sEMG放大器:无源低通滤波器,差分放大器,带通滤波器,陷波滤波器和主放大器。其中无源低通滤波器放在差分放大器之前,以抑制高频噪声。具有高输入阻抗和高共模抑制比(common-mode rejection ratio,CMRR)的差分放大器作为第一级放大器。带通滤波器能够消除超过sEMG频率范围(20Hz至500Hz,)的低频运动伪影和高频白噪声(尽管肌电信号的频率范围在某种程度上取决于电极的类型,但是通过范围约20Hz到500Hz的带通滤波器来过滤sEMG信号被广泛接受)。另外设置中心频率为50Hz的陷波滤波器,以抑制通过电容耦合渗透到肌电信号中的电源线噪声,减少负面影响并提升系统的鲁棒性。最后主放大器用于进一步放大sEMG信号并将其调节到适合于模数转换的电压范围。通过这部分设计,针对每一路通道的肌电数据,能够保持其噪声都小于1μV,从而达到一个良好的采集效果。
步骤2:受试者坐在办公椅上,左手放置在扶手上,依次做出握拳、手腕左翻、手腕右翻、手腕内翻、手腕外翻、手腕下切、手腕上切7种动作,每个动作持续发力5秒,动作与动作之间休息5秒,利用肌电采集袖套采集前臂表面肌电信号数据。其中16个电极所采集到的表面肌电信号原始数据如图3所示。其中,横轴表示时间,单位为毫秒(ms),纵轴表示电压幅值,单位为毫伏(mV);
步骤3:对所采集的表面肌电信号进行预处理,将超出20-500Hz范围的频率部分和50Hz(电源线噪声频率)进行抑制。本发明使用窗口分析法(Window Analysis)来处理记录电极获取的表面肌电信号。该方法存在两个参数:窗口长度和增量窗长度,这两个参数分别关联识别精度和智能假肢的响应时间。本发明采用有重叠的分析窗口,可以获得更多的数据样本。在每个窗口中,特征向量由16个通道的表面肌电信号组成。本发明采用的窗口长度是300ms,增量窗大小为100ms,因为实验表明,这种组合在不影响实时性处理的同时可以获得更高的识别精度。
表面肌电信号富含丰富的信息,它是表面电极获取的多块肌肉的动作电位在皮肤表面处的时间和空间上的综合结果。特征提取就是采用各种方法从原始获取的肌电信号中提取出对研究有价值的信息,过滤掉其中一些干扰因素和无用信息。为了提高系统的响应速度,保证操作实时性,我们需选用计算量较少、获取迅速的时域特征作为信息度量。目前,被广泛采用的表面肌电信号的特征提取方法主要有时域分析法(Time Domain,TD)、频域分析法(Frequency Domain,FD)、时频域分析法(Time-Frequency Domain,TFD)和参数模型法。本发明采用5种特征提取方法进行特征提取,分别是均方根(RMS)、波形长度(WL)、过零点数(ZC)、均值频率(MNF)、自回归模型系数(AR),公式如下:
其中,N是滑动窗口的长度,xi是第i个样本点;
其中,fj表示频段上的频谱,pj表示该频段上的功率谱强度,M是整个频段长;
其中p是AR模型的阶数,ai是作为肌电信号特征的系数;
步骤4:对特征提取后的数据采用支持向量机(SVM)进行训练得到人体手势肌电模型。在当前的模式识别领域,支持向量机(support vector machine,SVM)被广泛使用,它具有理论相对完整、适应性强、全局优化、训练时间短、泛化性能好等优点。由于系统需要较低的时延保证实验者操纵机械臂时的流畅度,所以选择该方法作为分类器。另外,SVM支持向量机分类器的准确度在肌电手势识别领域也优于其他的一些机器学习算法。SVM支持向量机可以通过将数据映射到更高维度并使用径向基函数(RBF)来处理线性不可分的数据,具体来说,我们使用Matlab(Mathworks Inc.,Natick,USA)中的SVM工具箱函数LibSVM来构建分类器。支持向量机(SVM)是由线性分类问题的最优分类面演化而来的。基本原理是通过一个非线性映射p把样本空间映射到一个高位特征空间中,使得在原来样本空间中非线性可分的问题转化为在特征空间中线性可分的问题;
步骤5:受试者任意做出指定动作,客户端计算机Windows上实时显示识别结果;
步骤6:将分类得到的手势结果通过局域网传输到客户端计算机Ubuntu,根据运动学公式确定位置、速度、力矩等传输到Limb接口,同时轨迹规划结果传输到JTAS服务器。最后通过joint_command将信号传输到机载计算机Gentoo的关节控制接口,驱动电机控制器完成指定动作。实验选用Baxter机器人为操作终端,Baxter配备了基于ROS(RobotOperating System)的软件开发套件(SDK),本体集成了相机、声纳、显示器等多种设备和传感器。Baxter机器人是一款双臂7轴机器人,其结构与人体类似,包含有头部、双臂、躯干以及基座(双腿)。头部位置配有一个显示屏,可以旋转、点头并显示丰富的表情与操作人员进行互动。显示屏上方还有一个相机,用以观察周围环境。头部的顶端有12个声呐传感器来探测周边情况,检测是否有人员靠近,防止机械臂伤人。Baxter躯干内置了一个低成本的PC,安装Baxter机载控制系统Gentoo。Baxter机械臂的每个关节具有一个力矩回馈系统,可以反馈得到当前的力矩值。
综上所述,在采用上述方法后,算法复杂度低,能够满足实时操控交互的要求,识别率达到90%以上,具有实际价值,值得推广。
Claims (10)
1.一种基于表面肌电信号的机械臂交互方法,其特征在于,所述方法包括以下步骤:
(1)受试者仔细观察手势动作的图片,并预先佩戴交浦科技有限公司的Elonxi16通道肌电采集系统进行练习,以熟悉每个动作的动作要领;
(2)受试者坐在办公椅上,左手放置在扶手上,依次做出握拳、手腕左翻、手腕右翻、手腕内翻、手腕外翻、手腕下切、手腕上切动作,每个动作持续发力5秒,动作与动作之间休息5秒,利用肌电采集袖套采集前臂表面肌电信号数据;
(3)对所采集的表面肌电信号进行预处理并采用5种特征提取方法进行特征提取,分别是均方根RMS、波形长度WL、过零点数ZC、均值频率MNF和自回归模型系数AR;
(4)对特征提取后的数据采用模式识别分类器进行分类并训练模型;
(5)受试者任意做出指定动作,电脑客户端上实时显示识别结果;
(6)将分类得到的手势结果通过局域网传输到Baxter机械臂控制端,机械臂做出对应的动作。
2.如权利要求1所述的一种基于表面肌电信号的机械臂交互方法,其特征在于:所述步骤(1)中,肌电采集系统支持最多16个双极通道,采样分辨率为24比特,采样频率介于1000Hz到2000Hz之间,支持干湿电极自由切换,数据传输支持USB和蓝牙。
3.如权利要求1或2所述的一种基于表面肌电信号的机械臂交互方法,其特征在于:所述步骤(3)中,对采集的表面肌电信号进行预处理,将超出20-500Hz范围的频率部分和电源线噪声频率50Hz进行抑制。
9.如权利要求1或2所述的一种基于表面肌电信号的机械臂交互方法,其特征在于:所述步骤(4)中,模式识别分类器为支持向量机SVM。
10.如权利要求1或2所述的一种基于表面肌电信号的机械臂交互方法,其特征在于:所述步骤(6)中,局域网协议为UDP协议。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010106490.9A CN111522435A (zh) | 2020-02-21 | 2020-02-21 | 一种基于表面肌电信号的机械臂交互方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010106490.9A CN111522435A (zh) | 2020-02-21 | 2020-02-21 | 一种基于表面肌电信号的机械臂交互方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111522435A true CN111522435A (zh) | 2020-08-11 |
Family
ID=71900965
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010106490.9A Pending CN111522435A (zh) | 2020-02-21 | 2020-02-21 | 一种基于表面肌电信号的机械臂交互方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111522435A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113199477A (zh) * | 2021-04-29 | 2021-08-03 | 浙江工业大学 | 一种基于强化学习的Baxter机械臂轨迹跟踪控制方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101317794A (zh) * | 2008-03-11 | 2008-12-10 | 清华大学 | 多指多自由度假手用肌电控制能力检测训练方法 |
CN102426651A (zh) * | 2011-08-25 | 2012-04-25 | 武汉理工大学 | 人体前臂表面肌电信号采集及模式识别系统 |
CN105426842A (zh) * | 2015-11-19 | 2016-03-23 | 浙江大学 | 基于支持向量机的表面肌电信号多类手部动作识别方法 |
CN105943206A (zh) * | 2016-06-01 | 2016-09-21 | 上海师范大学 | 一种基于myo臂环的假肢手控制方法 |
CN110413107A (zh) * | 2019-06-21 | 2019-11-05 | 浙江科技学院 | 基于肌电信号模式识别和粒子群优化的仿生机械手交互控制方法 |
-
2020
- 2020-02-21 CN CN202010106490.9A patent/CN111522435A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101317794A (zh) * | 2008-03-11 | 2008-12-10 | 清华大学 | 多指多自由度假手用肌电控制能力检测训练方法 |
CN102426651A (zh) * | 2011-08-25 | 2012-04-25 | 武汉理工大学 | 人体前臂表面肌电信号采集及模式识别系统 |
CN105426842A (zh) * | 2015-11-19 | 2016-03-23 | 浙江大学 | 基于支持向量机的表面肌电信号多类手部动作识别方法 |
CN105943206A (zh) * | 2016-06-01 | 2016-09-21 | 上海师范大学 | 一种基于myo臂环的假肢手控制方法 |
CN110413107A (zh) * | 2019-06-21 | 2019-11-05 | 浙江科技学院 | 基于肌电信号模式识别和粒子群优化的仿生机械手交互控制方法 |
Non-Patent Citations (1)
Title |
---|
张道辉: "仿生机械手肌电控制方法研究" * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113199477A (zh) * | 2021-04-29 | 2021-08-03 | 浙江工业大学 | 一种基于强化学习的Baxter机械臂轨迹跟踪控制方法 |
CN113199477B (zh) * | 2021-04-29 | 2022-06-17 | 浙江工业大学 | 一种基于强化学习的Baxter机械臂轨迹跟踪控制方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Nataraj et al. | Intelligent robotic chair with thought control and communication aid using higher order spectra band features | |
CN110495893B (zh) | 一种运动意图连续脑肌电多层次动态融合识别系统及方法 | |
Chen et al. | Exploring the relation between EMG sampling frequency and hand motion recognition accuracy | |
CN111584031B (zh) | 基于便携式脑电采集设备的脑控智能肢体康复系统及应用 | |
Wei et al. | EMG and visual based HMI for hands-free control of an intelligent wheelchair | |
CN202288542U (zh) | 假肢控制装置 | |
CN111317600A (zh) | 一种假肢控制方法、装置、系统、设备和存储介质 | |
CN102499797A (zh) | 假肢控制方法及系统 | |
George et al. | Sensing, processing and application of EMG signals for HAL (Hybrid Assistive Limb) | |
RU2738197C2 (ru) | Система и способ формирования команд управления на основании биоэлектрических данных оператора | |
Fatima et al. | Towards a low cost Brain-computer Interface for real time control of a 2 DOF robotic arm | |
CN106491251A (zh) | 一种基于非侵入式脑机接口机器臂控制系统及其控制方法 | |
Abougarair et al. | Real time classification for robotic arm control based electromyographic signal | |
JP2659653B2 (ja) | ロボットハンド制御装置 | |
Raurale | Acquisition and processing real-time EMG signals for prosthesis active hand movements | |
Fraiwan et al. | Real time virtual prosthetic hand controlled using EMG signals | |
CN111522435A (zh) | 一种基于表面肌电信号的机械臂交互方法 | |
Chen et al. | Robot arm control method using forearm EMG signals | |
KR100994408B1 (ko) | 손가락 힘 추정 방법 및 추정 장치, 손가락 힘 추정을 위한근육 판별 방법 및 근육 판별 장치 | |
Shair et al. | Finger movement discrimination of EMG signals towards improved prosthetic control using TFD | |
Xie et al. | Identification method of human movement intention based on the fusion feature of EEG and EMG | |
CN113426007B (zh) | 一种用于上肢功能恢复的闭环硬脊膜外电刺激系统 | |
Hassan et al. | Real-time control of a mobile robot using electrooculogram based eye tracking system | |
Salama et al. | Six prosthetic arm movements using electromyogram signals: A prototype | |
Ades et al. | Robotically Embodied Biological Neural Networks to Investigate Haptic Restoration with Neuroprosthetic Hands |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |