CN115501015A - 一种基于强化学习算法的智能假肢 - Google Patents
一种基于强化学习算法的智能假肢 Download PDFInfo
- Publication number
- CN115501015A CN115501015A CN202211223387.8A CN202211223387A CN115501015A CN 115501015 A CN115501015 A CN 115501015A CN 202211223387 A CN202211223387 A CN 202211223387A CN 115501015 A CN115501015 A CN 115501015A
- Authority
- CN
- China
- Prior art keywords
- resistor
- signals
- electromyographic
- acquisition module
- artificial limb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002787 reinforcement Effects 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 53
- 230000000875 corresponding effect Effects 0.000 claims abstract description 25
- 230000003183 myoelectrical effect Effects 0.000 claims abstract description 17
- 239000003990 capacitor Substances 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 9
- 238000000034 method Methods 0.000 claims description 8
- 238000003491 array Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012847 principal component analysis method Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 238000013480 data collection Methods 0.000 claims 1
- 210000002414 leg Anatomy 0.000 description 37
- 210000003414 extremity Anatomy 0.000 description 33
- 210000000544 articulatio talocruralis Anatomy 0.000 description 3
- 210000000629 knee joint Anatomy 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000001699 lower leg Anatomy 0.000 description 2
- 210000000689 upper leg Anatomy 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000002266 amputation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 210000003371 toe Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
- A61F2/50—Prostheses not implantable in the body
- A61F2/68—Operating or control means
- A61F2/70—Operating or control means electrical
- A61F2/72—Bioelectric control, e.g. myoelectric
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
- A61F2/50—Prostheses not implantable in the body
- A61F2/60—Artificial legs or feet or parts thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
- A61F2/50—Prostheses not implantable in the body
- A61F2/68—Operating or control means
- A61F2/70—Operating or control means electrical
- A61F2002/704—Operating or control means electrical computer-controlled, e.g. robotic control
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Transplantation (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Cardiology (AREA)
- Pathology (AREA)
- Artificial Intelligence (AREA)
- Vascular Medicine (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Fuzzy Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Prostheses (AREA)
Abstract
本发明公开了一种基于强化学习算法的智能假肢，包括：训练数据采集组件、云端工作站、核心处理器、第一肌电信号采集模块、执行机构和假肢本体；训练数据采集组件采集完整腿部在进行不同动作时的肌电信号和位姿信号；云端工作站利用训练集对预先构建的DQN模型进行训练；第一肌电信号采集模块采集残肢的肌电信号；核心处理器加载训练好的DQN模型，并输出与残肢肌电信号对应的位姿信号；执行机构根据DQN模型输出的位姿信号驱动假肢本体执行对应的动作。本发明利用完整腿部采集的肌电信号与动作位姿对DQN模型进行训练，识别残肢肌电信号并作出符合佩戴者习惯的腿部动作的能力，提高假肢动作识别精度。
Description
技术领域
本发明涉及智能假肢技术领域，更具体的说是涉及一种基于强化学习算 法的智能假肢。
背景技术
现有的商业化假肢主要有以下三种缺点：(1)肢体的复合动作必须分成 单一动作依次进行，不符合人体运动习惯；(2)多采用阈值控制，控制稳定 但识别率不高；(3)需要佩戴者完成多组训练以定制适合的假肢，费时费力。
因此，如何提供一种使腿部动作更贴近人体本身、动作识别率高的基于 强化学习算法的智能假肢是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于强化学习算法的智能假肢，利用被试 者完整腿部采集的肌电信号与动作位姿建立训练集对DQN模型进行强化学习 训练，并识别残肢肌电信号并作出符合佩戴者习惯的腿部动作的能力，提高 假肢动作识别精度，进而提升使用体验。
为了实现上述目的，本发明采用如下技术方案：
一种基于强化学习算法的智能假肢，包括：训练数据采集组件、云端工 作站、核心处理器、第一肌电信号采集模块、执行机构和假肢本体；
所述训练数据采集组件用于在安装所述假肢本体之前，采集完整腿部在 进行不同动作时的肌电信号和位姿信号；
所述核心处理器用于对完整腿部的肌电信号和位姿信号进行预处理后， 作为训练集，并上传至所述云端工作站；
所述云端工作站用于利用所述训练集对预先构建的DQN模型进行训练；
所述第一肌电信号采集模块用于在安装所述假肢本体之后，采集残肢的 肌电信号；
所述核心处理器用于加载训练好的DQN模型，并将采集的残肢肌电信号 输入训练好的DQN模型，输出与残肢肌电信号对应的位姿信号；
所述执行机构用于根据DQN模型输出的位姿信号驱动所述假肢本体执行 对应的动作。
进一步的，在上述一种基于强化学习算法的智能假肢中，所述训练数据 采集组件包括：第二肌电信号采集模块和动作采集模块；
所述第二肌电信号采集模块用于在安装所述假肢本体之前，采集完整腿 部的肌电信号；
所述动作采集模块用于在安装所述假肢本体之前，采集完整腿部的位姿 信号；
所述核心处理器根据完整腿部的位姿信号，实时构造腿部运动模型。
进一步的，在上述一种基于强化学习算法的智能假肢中，所述第一肌电 信号采集模块、所述第二肌电信号采集模块和所述动作采集模块均连接有放 大电路；所述放大电路用于将完整腿部的肌电信号和位姿信号以及残肢肌电 信号放大至所需幅度值。
进一步的，在上述一种基于强化学习算法的智能假肢中，所述放大电路 包括：仪用放大器U2、四运算放大器U1A、U1B、U1C和U1D、电阻R1、R2、 R3、R4、R5、R6、R7、R8、R9、R10、R11、以及电容C1、C2和C3；其中，仪 用放大器U2的型号为AD620AN；四运算放大器U1A、U1B、U1C和U1D的型号 均为LM324AD；
四运算放大器U1A的同相输入端与第一肌电信号采集模块或第二肌电信 号采集模块或动作采集模块的输出端连接，反相输入端分别与电阻R1的一端 和电阻R2的一端连接，电阻R2的另一端与四运算放大器U1A的输出端连接； 四运算放大器U1B的同相输入端与第一肌电信号采集模块或第二肌电信号采 集模块或动作采集模块的输出端连接，反向输入端分别与电阻R1的另一端和 电阻R3的一端连接，电阻R3的另一端与四运算放大器U1B的输出端连接； 电阻R4的一端和电阻R5的一端连接，四运算放大器U1C的反相输入端和同 相输入端共同接入电阻R4和电阻R5的连接节点，电阻R4的另一端分别与四 运算放大器U1A的输出端和电容C1的一端连接，电容C1的另一端分别与电 阻R6的一端和仪用放大器U2的反相输入端连接；电阻R7的一端与电阻R6 的另一端连接，电阻R7的另一端分别与仪用放大器U2的同相输入端和电容 C2的一端连接；电容C2的另一端分别与电阻R5的另一端和四运算放大器U1B 的输出端连接；四运算放大器U1D的同相输入端接地，电阻R10和电容C3并 联在四运算放大器U1D的反相输入端和输出端之间；四运算放大器U1D的输 出端与电阻R11的一端连接，电阻R11的另一端与核心处理器连接；四运算 放大器U1D的反相输入端和四运算放大器U1C的输出端之间连接电阻R9；仪 用放大器U2的输出端与核心处理器连接；电阻R8连接在仪用放大器U2的引 脚1和引脚8之间；仪用放大器U2的偏置输出端接地。
进一步的，在上述一种基于强化学习算法的智能假肢中，所述核心处理 器还用于对根据完整腿部的不同位姿信号为肌电信号打上对应的标签，并利 用主成分分析法对完整腿部的肌电信号活动段数据进行特征提取，得到肌电 信号的均方根值、方差、中值频率和样本熵特征，并将提取的肌电信号特征 和某一肌电信号下的位姿信号一一对应起来，组成多个数据组，形成训练集。
进一步的，在上述一种基于强化学习算法的智能假肢中，所述核心处理 器还用于在对肌电信号进行特征提取之前，对采集的肌电信号进行低通滤波、 高通滤波和工频率波处理。
进一步的，在上述一种基于强化学习算法的智能假肢中，所述DQN模型 包括目标网络和预测网络；所述目标网络和所述预测网络的初始化参数相同；
所述预测网络用于在训练阶段采用优选经验回放方式从经验回放池中随 机抽取数组样本，根据本轮抽取的数组样本计算当前各个动作所对应的Q值， 并采用∈-贪心算法选取当前数组样本下Q值最高的动作，在执行动作后更新 自身网络参数，在完成一定次数的更新后，将自身网络参数赋值给所述目标 网络；所述数组样本为某一肌电信号下所对应的完整腿部的各个运动参数；
所述经验回放池用于存储所述训练集以及每轮训练过程中产生的新的数 组，并在每轮训练过程中供所述预测网络抽取数组进行训练。
进一步的，所述云端工作站还用于每间隔一定时间对所述DQN模型进行 再次训练。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基 于强化学习算法的智能假肢，具有以下有益效果：通过采集残疾者完整腿部 日常生活中运动的肌电信号和腿部位姿信号，建立肌电信号与腿部位姿的对 应关系，并作为训练集对DQN模型进行训练。由于所采用的数据集由佩戴者 完好腿部采集得到，经过训练的模型在某一肌电信号的作用下做出的腿部动 作更贴近人体本身。将训练好的模型加载到假肢核心处理器中，对残肢采集 的肌电信号进行识别，提高动作识别率。除此之外，每隔一段时间，佩戴者 只需要佩戴训练数据采集组件正常生活就可以实现数据集的获取，且随着佩 戴时间的增长，完整腿部的数据会进一步积累，此时，对模型进行再次训练， 以进一步提高精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不 付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的基于强化学习算法的智能假肢的原理框图；
图2为本发明提供的放大电路的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例公开了一种基于强化学习算法的智能假肢， 包括：训练数据采集组件、云端工作站、核心处理器、第一肌电信号采集模 块、执行机构和假肢本体；
训练数据采集组件用于在安装假肢本体之前，采集完整腿部在进行不同 动作时的肌电信号和位姿信号；
核心处理器用于对完整腿部的肌电信号和位姿信号进行预处理后，作为 训练集，并上传至云端工作站；
云端工作站用于利用训练集对预先构建的DQN模型进行训练；
第一肌电信号采集模块用于在安装假肢本体之后，采集残肢的肌电信号；
核心处理器用于加载训练好的DQN模型，并将采集的残肢肌电信号输入 训练好的DQN模型，输出与残肢肌电信号对应的位姿信号；
执行机构用于根据DQN模型输出的位姿信号驱动假肢本体执行对应的 动作。
具体的，训练数据采集组件包括：第二肌电信号采集模块和动作采集模 块；
第二肌电信号采集模块用于在安装假肢本体之前，采集完整腿部的肌电 信号；
动作采集模块用于在安装假肢本体之前，采集完整腿部的位姿信号；
核心处理器根据完整腿部的位姿信号，实时构造腿部运动模型。
在安装假肢之前，应使截肢人员的完整腿部佩戴第二肌电信号采集模块 和动作采集模块，正常生活一个月以上，采集完整腿部在进行不同运动行为 时的肌电信号和腿部位姿，传输到核心处理器。动作采集模块由大腿、膝关 节、小腿、踝关节、脚掌与远、中、近三节脚指处的20个位置传感器与髋关 节、膝关节、踝关节的三个角加速度传感器组成。
DQN模型训练好后，将第一肌电信号采集模块布置在残肢截断点附近， 布置位置与安装加之前完整腿部的第二肌电信号采集模块的布置位置相同， 通过采集残肢表面肌电信号，训练好的DQN模型对肌电信号进行识别，判断 得出使用者想要进行的动作，使执行机构来驱动假肢本体来完成该动作。
在一个具体实施例中，第一肌电信号采集模块、第二肌电信号采集模块 和动作采集模块均连接有放大电路；放大电路用于将完整腿部的肌电信号和 位姿信号以及残肢肌电信号放大至所需幅度值。
如图2所示，放大电路包括：仪用放大器U2、四运算放大器U1A、U1B、 U1C和U1D、电阻R1、R2、R3、R4、R5、R6、R7、R8、R9、R10、R11、 以及电容C1、C2和C3；其中，仪用放大器U2的型号为AD620AN；四运算 放大器U1A、U1B、U1C和U1D的型号均为LM324AD；
四运算放大器U1A的同相输入端与第一肌电信号采集模块或第二肌电信 号采集模块或动作采集模块的输出端连接，反相输入端分别与电阻R1的一端 和电阻R2的一端连接，电阻R2的另一端与四运算放大器U1A的输出端连接； 四运算放大器U1B的同相输入端与第一肌电信号采集模块或第二肌电信号采 集模块或动作采集模块的输出端连接，反向输入端分别与电阻R1的另一端和 电阻R3的一端连接，电阻R3的另一端与四运算放大器U1B的输出端连接； 电阻R4的一端和电阻R5的一端连接，四运算放大器U1C的反相输入端和同 相输入端共同接入电阻R4和电阻R5的连接节点，电阻R4的另一端分别与 四运算放大器U1A的输出端和电容C1的一端连接，电容C1的另一端分别与 电阻R6的一端和仪用放大器U2的反相输入端连接；电阻R7的一端与电阻 R6的另一端连接，电阻R7的另一端分别与仪用放大器U2的同相输入端和电 容C2的一端连接；电容C2的另一端分别与电阻R5的另一端和四运算放大 器U1B的输出端连接；四运算放大器U1D的同相输入端接地，电阻R10和 电容C3并联在四运算放大器U1D的反相输入端和输出端之间；四运算放大 器U1D的输出端与电阻R11的一端连接，电阻R11的另一端与核心处理器连 接；四运算放大器U1D的反相输入端和四运算放大器U1C的输出端之间连接 电阻R9；仪用放大器U2的输出端与核心处理器连接；电阻R8连接在仪用放 大器U2的引脚1和引脚8之间；仪用放大器U2的偏置输出端接地。
在一个实施例中，对采集的肌电信号和位姿信号进行放大处理之后传输 至核心处理器，在训练阶段，核心处理器先对采集的完整腿部的肌电信号和 位姿信号进行低通滤波、高通滤波和工频率波处理，高通滤波器截断频率设 计为0.72Hz。低通滤波器截止频率设计为530Hz。工频滤波器截断频率为 50Hz。滤波处理之后，再根据完整腿部的不同位姿信号为肌电信号打上对应 的标签，并利用主成分分析法对完整腿部的肌电信号活动段数据进行特征提 取，得到肌电信号的均方根值、方差、中值频率和样本熵特征，并将提取的 肌电信号特征和某一肌电信号下的位姿信号一一对应起来，组成多个数据组， 形成训练集，并上传至云端工作站。
在具体应用阶段，即DQN模型训练好之后，核心处理器先对采集的残肢 肌电信号进行低通滤波、高通滤波和工频率波处理，对滤波后的残肢肌电信 号进行如上的特征提取，将提取的肌电信号特征输入训练好的DQN模型，得 到与该肌电信号特征对应的位姿信号，执行机构根据该位姿信号驱动假肢本 体执行对应的动作。
在一个具体实施例中，DQN模型包括目标网络和预测网络；目标网络和 预测网络的初始化参数相同；
预测网络用于在训练阶段采用优选经验回放方式从经验回放池中随机抽 取数组样本，根据本轮抽取的数组样本计算当前各个动作所对应的Q值，并 采用∈-贪心算法选取当前数组样本下Q值最高的动作，在执行动作后更新自 身网络参数，在完成一定次数的更新后，将自身网络参数赋值给目标网络； 数组样本为某一肌电信号下所对应的完整腿部的各个运动参数，例如大腿当 前的角度、膝关节的空间坐标、小腿摆动角度、踝关节摆动角度、脚掌三节 趾骨坐标等等由完整腿部动作采集模块中的传感器组采集到的动作数据；
经验回放池用于存储训练集以及每轮训练过程中产生的新的数组，并在 每轮训练过程中供预测网络抽取数组进行训练。
预测网络的作用是确定当前可以做出什么动作，以此来生成动作决策； 而目标网络的作用是计算当前动作对应的价值。第一步先使用预测网络来预 测出下一个状态时可以做的各个动作所对应的Q值，然后选取最大的Q值代 表的动作，第二步再根据目标网络计算出的结果了解到这个状态下所对应各 个状态所对应的Q值，最后再在预测网络中选择给定动作的索引所对应的Q 值。这个修正是一种非常直觉的修正。这两个网络相互制约，可以解决DQN 算法的过估计问题。
云端工作站还用于每间隔一定时间对DQN模型进行再次训练。每间隔一 定时间，只需在完整腿部重新佩戴一段时间的训练数据采集组件即可，不会 影响正常生活，利用最新采集的完整腿部的肌电信号和位姿信号结合之前的 训练集对DQN模型进行再次训练，使DQN模型的参数实现在线更新，以进 一步提高精度。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都 是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。 对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述 的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用 本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易 见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下， 在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例， 而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种基于强化学习算法的智能假肢，其特征在于，包括：训练数据采集组件、云端工作站、核心处理器、第一肌电信号采集模块、执行机构和假肢本体；
所述训练数据采集组件用于在安装所述假肢本体之前，采集完整腿部在进行不同动作时的肌电信号和位姿信号；
所述核心处理器用于对完整腿部的肌电信号和位姿信号进行预处理后，作为训练集，并上传至所述云端工作站；
所述云端工作站用于利用所述训练集对预先构建的DQN模型进行训练；
所述第一肌电信号采集模块用于在安装所述假肢本体之后，采集残肢的肌电信号；
所述核心处理器用于加载训练好的DQN模型，并将采集的残肢肌电信号输入训练好的DQN模型，输出与残肢肌电信号对应的位姿信号；
所述执行机构用于根据DQN模型输出的位姿信号驱动所述假肢本体执行对应的动作。
2.根据权利要求1所述的一种基于强化学习算法的智能假肢，其特征在于，所述训练数据采集组件包括：第二肌电信号采集模块和动作采集模块；
所述第二肌电信号采集模块用于在安装所述假肢本体之前，采集完整腿部的肌电信号；
所述动作采集模块用于在安装所述假肢本体之前，采集完整腿部的位姿信号；
所述核心处理器根据完整腿部的位姿信号，实时构造腿部运动模型。
3.根据权利要求2所述的一种基于强化学习算法的智能假肢，其特征在于，所述第一肌电信号采集模块、所述第二肌电信号采集模块和所述动作采集模块均连接有放大电路；所述放大电路用于将完整腿部的肌电信号和位姿信号以及残肢肌电信号放大至所需幅度值。
4.根据权利要求3所述的一种基于强化学习算法的智能假肢，其特征在于，所述放大电路包括：仪用放大器U2、四运算放大器U1A、U1B、U1C和U1D、电阻R1、R2、R3、R4、R5、R6、R7、R8、R9、R10、R11、以及电容C1、C2和C3；其中，仪用放大器U2的型号为AD620AN；四运算放大器U1A、U1B、U1C和U1D的型号均为LM324AD；
四运算放大器U1A的同相输入端与第一肌电信号采集模块或第二肌电信号采集模块或动作采集模块的输出端连接，反相输入端分别与电阻R1的一端和电阻R2的一端连接，电阻R2的另一端与四运算放大器U1A的输出端连接；四运算放大器U1B的同相输入端与第一肌电信号采集模块或第二肌电信号采集模块或动作采集模块的输出端连接，反向输入端分别与电阻R1的另一端和电阻R3的一端连接，电阻R3的另一端与四运算放大器U1B的输出端连接；电阻R4的一端和电阻R5的一端连接，四运算放大器U1C的反相输入端和同相输入端共同接入电阻R4和电阻R5的连接节点，，电阻R4的另一端分别与四运算放大器U1A的输出端和电容C1的一端连接，电容C1的另一端分别与电阻R6的一端和仪用放大器U2的反相输入端连接；电阻R7的一端与电阻R6的另一端连接，电阻R7的另一端分别与仪用放大器U2的同相输入端和电容C2的一端连接；电容C2的另一端分别与电阻R5的另一端和四运算放大器U1B的输出端连接；四运算放大器U1D的同相输入端接地，电阻R10和电容C3并联在四运算放大器U1D的反相输入端和输出端之间；四运算放大器U1D的输出端与电阻R11的一端连接，电阻R11的另一端与核心处理器连接；四运算放大器U1D的反相输入端和四运算放大器U1C的输出端之间连接电阻R9；仪用放大器U2的输出端与核心处理器连接；电阻R8连接在仪用放大器U2的引脚1和引脚8之间；仪用放大器U2的偏置输出端接地。
5.根据权利要求1所述的一种基于强化学习算法的智能假肢，其特征在于，所述核心处理器还用于对根据完整腿部的不同位姿信号为肌电信号打上对应的标签，并利用主成分分析法对完整腿部的肌电信号活动段数据进行特征提取，得到肌电信号的均方根值、方差、中值频率和样本熵特征，并将提取的肌电信号特征和某一肌电信号下的位姿信号一一对应起来，组成多个数据组，形成训练集。
6.根据权利要求5所述的一种基于强化学习算法的智能假肢，其特征在于，所述核心处理器还用于在对肌电信号进行特征提取之前，对采集的肌电信号进行低通滤波、高通滤波和工频率波处理。
7.根据权利要求1所述的一种基于强化学习算法的智能假肢，其特征在于，所述DQN模型包括目标网络和预测网络；所述目标网络和所述预测网络的初始化参数相同；
所述预测网络用于在训练阶段采用优选经验回放方式从经验回放池中随机抽取数组样本，根据本轮抽取的数组样本计算当前各个动作所对应的Q值，并采用∈-贪心算法选取当前数组样本下Q值最高的动作，在执行动作后更新自身网络参数，在完成一定次数的更新后，将自身网络参数赋值给所述目标网络；所述数组样本为某一肌电信号下所对应的完整腿部的各个运动参数；
所述经验回放池用于存储所述训练集以及每轮训练过程中产生的新的数组，并在每轮训练过程中供所述预测网络抽取数组进行训练。
8.根据权利要求1所述的一种基于强化学习算法的智能假肢，其特征在于，所述云端工作站还用于每间隔一定时间对所述DQN模型进行再次训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211223387.8A CN115501015A (zh) | 2022-10-08 | 2022-10-08 | 一种基于强化学习算法的智能假肢 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211223387.8A CN115501015A (zh) | 2022-10-08 | 2022-10-08 | 一种基于强化学习算法的智能假肢 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115501015A true CN115501015A (zh) | 2022-12-23 |
Family
ID=84507375
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211223387.8A Pending CN115501015A (zh) | 2022-10-08 | 2022-10-08 | 一种基于强化学习算法的智能假肢 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115501015A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117281667A (zh) * | 2023-11-09 | 2023-12-26 | 浙江强脑科技有限公司 | 运动模式识别方法、装置、智能假肢、终端及存储介质 |
-
2022
- 2022-10-08 CN CN202211223387.8A patent/CN115501015A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117281667A (zh) * | 2023-11-09 | 2023-12-26 | 浙江强脑科技有限公司 | 运动模式识别方法、装置、智能假肢、终端及存储介质 |
| CN117281667B (zh) * | 2023-11-09 | 2024-04-09 | 浙江强脑科技有限公司 | 运动模式识别方法、装置、智能假肢、终端及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Waris et al. | Multiday evaluation of techniques for EMG-based classification of hand motions | |
| US11596346B2 (en) | Signal processing for decoding intended movements from electromyographic signals | |
| CN110537922B (zh) | 基于深度学习的人体行走过程下肢运动识别方法及系统 | |
| Li | Electromyography pattern-recognition-based control of powered multifunctional upper-limb prostheses | |
| CN105615890B (zh) | 人体下肢行走关节角度肌电连续解码方法 | |
| Meng et al. | EMG signals based gait phases recognition using hidden Markov models | |
| US8828093B1 (en) | Identification and implementation of locomotion modes using surface electromyography | |
| US20140032462A1 (en) | Systems and methods for autoconfiguration of pattern-recognition controlled myoelectric prostheses | |
| CN106308809A (zh) | 大腿残肢者的步态识别方法 | |
| CN110236550B (zh) | 一种基于多模态深度学习的人体步态预测装置 | |
| CN115501015A (zh) | 一种基于强化学习算法的智能假肢 | |
| CN106420124A (zh) | 一种肌电控制虚拟机器人假手仿真系统的方法 | |
| EP2528550A2 (en) | Systems and methods for providing a neural-machine interface for artificial legs | |
| JP2913611B2 (ja) | 学習型筋電パターン認識ロボットハンド制御装置 | |
| Lamounier et al. | On the use of virtual and augmented reality for upper limb prostheses training and simulation | |
| CN113520683B (zh) | 基于模仿学习的下肢假肢控制系统及方法 | |
| CN106874874A (zh) | 一种运动状态的识别方法及装置 | |
| Gauthaam et al. | EMG controlled bionic arm | |
| EP1207823A2 (en) | Emg control of prosthesis | |
| Omama et al. | Surface EMG classification of basic hand movement | |
| CN113283373B (zh) | 一种用于增强深度相机检测肢体运动参数的方法 | |
| CN205031391U (zh) | 动力型假肢的路况识别装置 | |
| JP2019004915A (ja) | 時系列情報を用いた筋電パターン識別方法及び筋電義手 | |
| Wang et al. | An echo-based gait phase determination method of lower limb prosthesis | |
| Barraza-Madrigal et al. | A virtual upper limb prosthesis as a training system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |