CN113112017B - 基于神经流形的脑电分级与预后fpga解码系统 - Google Patents

基于神经流形的脑电分级与预后fpga解码系统 Download PDF

Info

Publication number
CN113112017B
CN113112017B CN202110409356.0A CN202110409356A CN113112017B CN 113112017 B CN113112017 B CN 113112017B CN 202110409356 A CN202110409356 A CN 202110409356A CN 113112017 B CN113112017 B CN 113112017B
Authority
CN
China
Prior art keywords
manifold
electroencephalogram
neural
stimulation
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110409356.0A
Other languages
English (en)
Other versions
CN113112017A (zh
Inventor
李珊珊
刘静
于海涛
李凯
张宏
牟凤群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TANGSHAN WORKER'S HOSPITAL
Tianjin University
Original Assignee
TANGSHAN WORKER'S HOSPITAL
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TANGSHAN WORKER'S HOSPITAL, Tianjin University filed Critical TANGSHAN WORKER'S HOSPITAL
Priority to CN202110409356.0A priority Critical patent/CN113112017B/zh
Publication of CN113112017A publication Critical patent/CN113112017A/zh
Application granted granted Critical
Publication of CN113112017B publication Critical patent/CN113112017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Neurology (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Fuzzy Systems (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明提供基于神经流形的脑电分级与预后FPGA解码系统,该系统包括脑电采集装置,FPGA解码计算装置,液晶可触摸显示屏和刺激装置四部分。FPGA解码计算装置由流形提取子系统,认知优化参数计算子系统,脑电分级处理子系统和脑电预后评估处理子系统组成,分别用于提取流形,计算优化认知功能需要的刺激参数,对脑电信号进行分级与预后评估。进行脑电分级并通过实际神经流形与目标流形差异值变化趋势进行预后评估,并通过导线将两种流形,刺激参数以及分级预后结果传输到显示屏,通过导线将最优刺激参数传输到刺激装置进行控制。本发明系统可以实现脑电自动分级、预后评估,以及脑认知功能优化。

Description

基于神经流形的脑电分级与预后FPGA解码系统
技术领域
本发明涉及生物医学工程技术,特别是基于神经流形的脑电分级与预后FPGA解码系统。
背景技术
大脑是人体的最复杂、最活跃的器官,大脑各类神经疾病可能会导致脑组织受损,引起功能损伤。其治疗手段的选择往往需要对大脑目前的损伤程度进行迅速而准确的诊断,脑损伤的分级便于对伤情进行评价,对急性重症脑功能损伤进行准确、客观的评价以及预测预后是救治工作的关键,能够有效提升患者的存活率。临床上对患者大脑损伤的检测基本依靠医生根据经验人工诊断,诊断结果往往具有主观性,缺乏客观定量的指标,存在受限于医生经验而出现误诊的现象。因此设计一种实时监测大脑动态并据此进行脑活动分级以及预后评估的系统十分必要。
近年来,利用脑电图(EEG)、磁共振成像等神经影像学技术检测受到广泛关注,其中,脑电图能够记录大脑神经群体电生理活动状态,易于获取、低成本且无创伤,因此广泛应用于临床医学以及脑科学研究中。科学发现,神经群体活动可以在低维状态空间中被描述,在低维状态空间中的每个点表示特定时间的种群活动,多个点随时间变化耦合成神经动态轨迹(trajectories),描述单次实验的时变规律。种群在运动时的活动轨迹原则上可以探索神经空间的所有区域。在实践中,神经元之间的相关性(协变)限制了可能的种群模式,从而限制了种群动力学实际探索的神经空间区域。因此在大多数情况下,多神经动态轨迹会稳定于一个平面,只需要低维状态空间的某些区域便能分析给定任务中的行为,这个状态空间子区域称为神经流形。神经流形(也称为内在流形)描述了易于由一群神经元表达的群体活动模式,并被认为反映了潜在的神经环路所施加的约束。
目前高维数据的流形提取方法主要是基于主成分分析(PCA),t-随机邻近嵌入(t-SNE)等传统降维方法。然而由于脑电高维,复杂的特性,大脑活动的神经流形并不是一个简单的线性平面,使用普通的线性降维方法(PCA)无法准确找到大脑的神经流形。传统非线性降维方法(t-SNE)可以提取非线性流形,但是由于其映射函数是非线性映射,没有显式的表达形式,神经流形无法重构回脑电数据,因此无法确保神经流形的可靠性。
发明内容
为解决目前临床问题,本发明的目的是提供一种基于神经流形的脑电分级与预后FPGA解码系统,旨在通过流形计算实现对大脑活动的实时监测,进行脑电分级以及预后评估,并通过自动调节外部刺激强度实现调控大脑活动到达最优状态,为临床脑电评估提供了严谨可靠的解决方案。
为实现上述目的,本发明通过以下技术方案实现:
一种基于神经流形的脑电分级与预后FPGA解码系统,包括用于进行脑电活动记录的脑电采集装置,FPGA解码计算装置,液晶可触摸显示屏和刺激装置;其中,FPGA解码计算装置中包括有流形提取程序,该流形提取程序过程是:
设定重构误差、神经流形维数,初始神经元连接权重W、LIF神经元的参数τ;
获取预处理后的脑电采集装置采集脑电活动信号EEG,记为原始EEG,输入到第一个LIF-RNN模型中,第一个LIF-RNN模型输出神经流形z,再连接第二个LIF-RNN模型,输出重构EEG,每个LIF-RNN模型均为由LIF神经元模型组成的RNN网络,对两个网络同时训练,训练目标是使重构EEG与原始EEG误差最小,当训练过程中的误差大于设定的重构误差,则按照先固定LIF神经元参数,再调整W,然后再固定W调整LIF神经元参数的规则对两个网络参数进行更新,在每次更新的LIF神经元参数和神经元连接权重条件下重新输入两个网络,计算下一次迭代的重构EEG,直至训练过程中的误差小于重构误差停止迭代;
所述LIF-RNN模型为:
Figure GDA0003783804300000021
Figure GDA0003783804300000022
其中,Wij为第i个神经元和第j个神经元的连接权重;τm是LIF神经元的膜时间常数,表示衰减到静息状态的时间,urest是静息膜电位,xi是第i个神经元的电流变量,Δu是当前时刻和上一时刻的膜电位差,x0是该神经元的初始电流变量,字母上的“.”表示求导。
两个网络输入输出层神经元个数不同,第一个LIF-RNN模型,输入层神经元个数为脑电活动记录的维数是64,隐含层神经元个数为500,输出层神经元个数与设定的神经流形维数相等;第二个LIF-RNN模型,输入层神经元个数与设定的神经流形维数相等,隐含层神经元个数为500,输出层神经元个数为64。
所述FPGA解码计算装置包括流形提取子系统,认知优化参数计算子系统,脑电分级处理子系统和脑电预后评估处理子系统,流形提取子系统包括脑电预处理模块,存储模块和流形提取模块,流形提取模块中嵌入流形提取程序;认知优化参数计算子系统,脑电分级处理子系统和脑电预后评估处理子系统各包括一个微处理器。
认知优化参数计算子系统的微处理器中设置有最优刺激参数评估规则为:最优刺激参数通过定义一个损失函数进行评估,当损失函数小于显示屏设定的流形对比阈值时,刺激优化结束:损失函数的计算公式为式(1):
Figure GDA0003783804300000023
式中,S为所有对角元素都为1的单位矩阵,用来选择一个状态子集的约束;β是惩罚因子,是指输入惩罚对损失函数的重要性;N指的是求取流形选取的数据量;u是外部输入量;xn为目标流形,x(n)为实际流形;
外部刺激装置为刺激电极,上述的u=δ×I×log(w)×(Δt)其中,δ是自由参数,用来调节刺激参数单位,默认为1;I是刺激强度,通过调节电流来实现,默认以毫安为单位;w是指以赫兹为单位的刺激频率;Δt是指当前刺激持续时间,以毫秒为单位;
脑电分级处理子系统的微处理器中设置脑电分级规则为:通过计算实际神经流形与设定流形的差异值进行评估,差值计算公式为式(2):
Figure GDA0003783804300000031
式中,S为所有对角元素都为1的单位矩阵,用来选择一个状态子集的约束;N指的是求取流形选取的数据量;xn为目标流形,x(n)为实际流形;本系统中定义脑电根据流形差值分为1-6级;
脑电预后评估处理子系统的微处理器中设置脑电预后评估规则为:通过计算迭代计算相邻时间段差异值变化进行评估,计算公式为式(3):
Figure GDA0003783804300000032
上述的
Figure GDA0003783804300000033
式中S为所有对角元素都为1的单位矩阵,用来选择一个状态子集的约束;N指的是求取流形选取的数据量;xn为目标流形,x(n)为实际流形;本系统中定义预后评估分为好转(<0.9),稳定(0.9-1.1)和加重(>1.1)三种情况。
一种基于神经流形的脑电分级与预后FPGA解码系统,包括脑电采集装置,FPGA解码计算装置,液晶可触摸显示屏和刺激装置;
其中,所述的脑电采集装置通过64导EEG设备进行脑电活动记录;
FPGA解码计算装置包括流形提取子系统,认知优化参数计算子系统,脑电分级处理子系统和脑电预后评估处理子系统;流形提取子系统实现脑电数据的预处理分析和流形提取,认知优化参数计算子系统,脑电分级处理子系统和脑电预后评估处理子系统分别进行最优刺激参数计算,脑电分级和预后评估。
可触摸显示屏用于实现FPGA解码计算装置的参数设置以及大脑实际流形和目标流形的显示对比;显示屏和FPGA解码计算装置通过导线连接;
刺激装置是由刺激器控制的刺激电极,FPGA解码计算装置与刺激装置通过导线连接。
所述的认知优化参数计算子系统将该实际流形和目标流形做对比分析,得到刺激优化参数,并将刺激优化参数通过导线连接传送给刺激装置,实现自动调节刺激装置的刺激强度、刺激频率参数。
所述的液晶可触摸显示屏包括刺激参数显示模块,功能选择模块,流形对比模块,参数设置模块和解码结果显示模块;所述的功能选择模块用来进行功能选择,包括认知优化、脑电分级和预后评估三个功能;所述的流形对比模块实现观测实际流形的实时变化以及与目标流形的对比情况;所述的参数设置模块用来设置FPGA解码计算装置的训练参数,包括神经流形个数、输入维度、重构误差和学习率。
所述脑电预处理模块对采集到的脑电信号进行滤波、去伪迹、去眼电、归一化处理。
所述的存储模块中的目标流形是大脑处于良好编码记忆的状态,通过选择具有良好记忆能力的健康受试者中采集得到的EEG数据来提取目标流形,作为动脑状态的优化目标存储到流形提取子系统的存储模块中。
所述的FPGA解码计算装置的FPGA电路设计实现使用直接内存访问端口实现LIF-RNN硬件网络和存储模块之间数据的传输;硬件内部模块由状态机控制,以执行一系列操作;在配置阶段,包含LIF神经元初始时间常数τ、流形对比阈值、重构误差、神经流形维数、学习率的系统所需的参数由微处理器存储到配置寄存器中用于控制硬件网络;逻辑门被配置为具有LIF神经元响应函数;该设计将初始连接权重矩阵和输入数据放入存储模块中;两个LIF-RNN模型每一轮迭代计算分为两步,第一步,逻辑门Gate模块根据路由器分配的数据输入并行产生连接权重矩阵的行向量流,并将其存储到先进先出寄存器模块,为下一步做准备;第二步,先进先出寄存器模块通过物联网感知模块将内部向量输出经路由器、直接内存访问端口回存储模块,之后微处理器进行评估损失误差计算比较,逻辑门Gate模块产生新的连接权重矩阵的行向量流;当微处理器比较符合条件时,向配置寄存器发送指令迭代停止。
与现有技术相比,本发明将新型RNN神经网络应用于针刺信号解码研究领域,并且建立基于FPGA的硬件实现平台。具体的有益效果是:
1.本发明中神经流形提取是指通过降维的方法从高维特征空间中挖掘数据紧致的内在低维分布结构,学习数据所隐含的有用信息,找到能够表征神经种群活动的稳定的本质特征用于大脑活动的解码,可以提高解码的稳定性,减小由于神经活动记录不稳定性和个体差异带来的影响。
2.本发明系统中将LIF神经元模型作为RNN的神经元节点,使网络的非线性特性更加明显,训练得到的神经流形更加准确。使用两个LIF神经元的RNN网络进行流形提取,具有更高的非线性特性,并且得到的神经流形可以重构回原始EEG数据,和传统的PCA、t-SNE等流形学习方法相对比,提高了神经流形的准确性和可靠性。
3.本发明设置了评估规则,通过训练目标流形与实际流形的损失函数,使两者差值最小化评估得到最优刺激参数。
4.本发明基于流形学习,从信号动态角度实现了脑电自动分级与预后评估,可以作为脑电监测评估的可靠依据。
4.本课题组基于复杂网络特征对针刺手法进行解码最高准确率为92.37%(对比文章Modulation Effect of Acupuncture on Functional Brain Networks andClassification of Its Manipulation With EEG Signals),使用相同的实验数据基于RNN网络提取神经流形对针刺手法进行解码的准确率为94.28%。
5.现场可编程门阵列(Field Programmable GateArray,FPGA)体积小、密度高、计算速度快(最高速率可达150MHz)、编程灵活、修改参数方便、低功耗、低成本、可重新配置、高可靠性等特点,同时FPGA具有灵活的重构功能也方便了算法的微调和优化,能够大大缩短开发周期。本系统采用最大工作频率200MHz的FPGA实现样本数据驱动下的RNN神经网络训练,FPGA设计采用基于Intel OpenCL SDK的编程框架开发,采用了流水计算的方法,对神经网络运算过程中涉及到的迭代运算进行了流水线设计,使得数据读取、加法、乘法等迭代运算步骤流水执行,有效减少了循环整体的执行周期,与只有在当前迭代执行结束之后才开始执行下一次迭代的传统方法对比,极大提高了运算效率,与CPU相比,该设计计算效率大约提高了10倍。由于EEG数据量比较大,FPGA选择Altera公司生产的一款高性能器件Stratix II。该芯片包含12个可编程PLL,并具有完善的时钟管理和频率合成能力,同时可以支持高达l Gb/s的高速差分I/O信号,能满足高性能系统的需求。存储模块要求5Gb。
附图说明
图1为本发明的结构示意图;
图2为图1所示的FPGA解码计算装置的结构示意图。
图3为图1所示的FPGA解码计算装置硬件实现示意图。
图4为图1所示的流形提取子系统中流形提取模块的FPGA电路实现图。
图5为图1所示的液晶显示屏界面示意图。
图中,1为脑电采集装置,2为FPGA解码计算装置,3为液晶可触摸显示屏,4为刺激装置,201为流形提取子系统,202为认知优化参数计算子系统,203为脑电分级处理子系统,204为脑电预后评估处理子系统,401为刺激器,402为刺激电极,403为机械刺激。
具体实施方式
下面结合附图及实施例对本发明的基于神经流形的脑电分级与预后FPGA解码系统做详细的说明,但并不以此作为对本申请保护范围的限定。
本发明基于神经流形的脑电分级与预后FPGA解码系统,参考附图1,其包括:脑电采集装置1,FPGA解码计算装置2,液晶可触摸显示屏3和刺激装置4;其中,
所述的脑电采集装置1通过采用64通道,采样率是1000Hz,硬件滤波器采样率是0.5-70Hz的Ag-Ag-C1头皮电极设备进行脑电活动记录;
FPGA解码计算装置2包括流形提取子系统201,认知优化参数计算子系统202,脑电分级处理子系统203,以及脑电预后评估处理子系统204。流形提取子系统实现对脑电数据的预处理分析和流形提取。认知优化参数计算子系统,脑电分级处理子系统,以及脑电预后评估处理子系统进行流形解码,分别基于流形实现最优刺激参数计算、脑电分级计算以及脑电预后评估。液晶可触摸显示屏3和FPGA解码计算装置2通过导线连接,脑电采集装置的信号输出与FPGA解码计算装置的信号输入连接。刺激装置4包括由刺激器401控制的刺激电极402。FPGA解码计算装置2与刺激装置4通过导线连接,刺激器401和刺激电极402通过导线连接,刺激器401与FPGA解码计算装置2的输出连接。
所述的流形提取子系统201(参见图2)包括脑电预处理模块、流形提取模块、存储模块、电源模块和电源管理模块。各个模块之间的数据通过导线传输。电源模块和电源管理模块负责为该系统提供电源,电源管理模块负责管理电源模块,脑电采集装置采集的脑电数据传输到流形提取子系统中后,首先经过脑电预处理模块对数据进行预处理,然后通过流形提取模块提取大脑神经流形(即实际流形)与存储模块存储的目标流形分别传输到认知优化参数计算子系统,脑电分级处理子系统和脑电预后评估处理子系统的微处理器进行解码,分别负责将流形提取模块提取的实际流形与存储模块中存储的目标流形对比评估得到最优刺激参数,脑电等级和预后情况,并在显示屏上显示解码结果。FPGA可采用Altera公司生产的一款高性能器件StratixII,该芯片包含12个可编程PLL,并具有完善的时钟管理和频率合成能力,同时可以支持高达l Gb/s的高速差分I/O信号,能满足高性能系统的需求。
所述脑电预处理模块对采集到的脑电信号进行滤波、去伪迹、去眼电、归一化处理,所使用的的算法包括快速傅里叶变换、独立成分分析方法等,预处理过程可依据现有技术实现。
所述流形提取模块对处理后的脑电降维得到神经流形并输出重构EEG,重构EEG与原始EEG误差最小,流形提取模块输出为重构误差最小时得到的神经流形,记为实际流形,流形提取模块使用两个包含LIF单元(leaky integrate-and-fire神经元模型)的RNN网络,采用强化学习FORCE训练算法进行网络训练。
流形提取模块过程是:
设定重构误差、神经流形维数,初始神经元连接权重W、LIF神经元的参数τ;
获取预处理后的脑电采集装置采集脑电活动信号EEG,记为原始EEG,输入到第一个LIF-RNN模型中,第一个LIF-RNN模型输出神经流形z,再连接第二个LIF-RNN模型,输出重构EEG,每个LIF-RNN模型均为由LIF神经元模型组成的RNN网络,对两个网络同时训练,训练目标是使重构EEG与原始EEG误差最小,当训练过程中的误差大于设定的重构误差,则按照先固定LIF神经元参数,再调整W,然后再固定W调整LIF神经元参数的规则对两个网络参数进行更新,在每次更新的LIF神经元参数和神经元连接权重条件下重新输入两个网络,计算下一次迭代的重构EEG,直至训练过程中的误差小于重构误差停止迭代,输出神经流形,记为实际流形;
所述LIF-RNN模型为:
Figure GDA0003783804300000061
Figure GDA0003783804300000062
其中,Wij为第i个神经元和第j个神经元的连接权重;τm是LIF神经元的膜时间常数,表示衰减到静息状态的时间,urest是静息膜电位,xi是第i个神经元的电流变量,Δu是当前时刻和上一时刻的膜电位差,x0是该神经元的初始电流变量,字母上的“.”表示求导。
本实施例中神经流形维数默认为3,流形对比阈值(默认为0.2),重构误差(默认0.1)和学习率(默认0.1)。
参考图3,所述的基于神经流形的类脑感知解码计算系统的FPGA电路设计实现使用直接内存访问端口实现LIF-RNN硬件网络和存储模块之间数据的传输。硬件内部模块由状态机控制,以执行一系列操作。在配置阶段,LIF神经元初始时间常数τ、流形对比阈值、重构误差、神经流形维数、学习率等系统所需的参数由微处理器存储到配置寄存器中用于控制硬件网络。逻辑门被配置为具有LIF神经元响应函数。该设计将初始连接权重矩阵和输入数据放入存储模块中。两个LIF-RNN模型每一轮迭代(与重构误差接近)计算分为两步,第一步,逻辑门Gate模块根据路由器分配的数据(预处理模块输出)输入并行产生连接权重矩阵的行向量流,并将其存储到先进先出寄存器模块,为下一步做准备。第二步,先进先出寄存器模块通过物联网感知模块将内部向量输出经路由器、直接内存访问端口端口回存储模块,之后微处理器进行评估损失误差计算比较,逻辑门Gate模块产生新的连接权重矩阵的行向量流。当微处理器比较符合条件时,向配置寄存器发送指令迭代停止。迭代运算进行了流水线通过流水线方式执行。当选择认知优化功能时,LIF-RNN硬件网络提取得到的用户大脑正常状态下的神经流形传输到存储模块进行保存。实时流形提取结束后,微处理器负责进行流形对比评估最优刺激参数。
进一步的,参考图4,为了保证提取神经流形的可靠性,流形提取模块包含两个由LIF单元组成的RNN网络,对两个网络同时训练,训练目标是使通过潜在因子(神经流形)重构EEG与原始EEG误差最小,其中,神经流形的维数是通过液晶可触摸显示屏设置的。采用FORCE(First-order Reduced and Controlled Error)训练算法对两个网络同时训练。
1、第一个LIF-RNN模型负责从原始EEG数据中提取低维神经流形,实现降维;第二个LIF-RNN输入为第一个LIF-RNN模型提取到的低维神经流形,输出为重构EEG。两个LIF-RNN模型的输入输出以及实现功能不同。
2、训练结束两个网络内部权重参数值不一样,本申请解码计算系统针对不同的个体均会通过这两个模型进行实时训练,使其两个网络输出的低维神经流形z更接近于真实流形,不同的脑电数据,两个网络实时训练过程中获得的权重及神经元参数不同,根据实际情况调整。
3、两个网络输入输出层神经元个数不同(第一个LIF-RNN模型,输入层神经元个数为脑电活动记录的维数是64,隐含层神经元个数为500,输出层神经元个数与设定的神经流形维数相等;第二个LIF-RNN模型,输入层神经元个数与设定的神经流形维数相等,隐含层神经元个数为500,输出层神经元个数为64)。
脑电数据集
Figure GDA0003783804300000071
是由一个不可见的神经流形z的随机过程产生的,N是数据点数量,x(n)是指EEG采集装置采集的脑电数据所有导联在第n个数据点位置的数据集,神经流形是由一个先验分布pγ(z)的变化产生的,而x是由条件分布pγ(x|z)的变化决定的。参数γ和神经流形z对都是未知的。在该神经网络的设计中,引入识别模型qε(z|x)来近似求真正的后验分布pγ(z|x)。利用第一个RNN神经网络将EEG输入降维为神经流形z,并进一步第二个RNN神经网络将该神经流形作为第二个神经网络的输入。该两个网络的联合训练(每2秒的EEG数据长度计算一次实时重构误差,EEG采样频率为1000Hz,即N为2×1000Hz=2000。)目标为:
Figure GDA0003783804300000081
(1)中第一部分
Figure GDA0003783804300000082
是对数似然关于近似后验qε(z|x)的期望。通过Monte Carlo估计,即通过L次采样得到,如下公式表示:
Figure GDA0003783804300000083
(1)中第二部分-DKL(qε(z|x)||pγ(z))是近似后验qε(z|x)与真实先验pγ(z)的KL散度。由下面公式计算:
Figure GDA0003783804300000084
J是z的维数,μ(n)和σ(n)分别为z的均值和标准差。
当重构EEG的实时误差到达液晶可触摸显示屏上参数设置模块的重构误差设定值后,训练结束,神经流形z和存储模块的目标流形通过导线被传送到微处理器做对比。
本发明提出使用深度学习的方法寻找神经流形,并且使神经流形可以重构回原始脑电数据,确保了神经流形的可靠性,解决了目前的解码计算方法主要基于时域分析法、频域分析法、时-频分析法、复杂网络以及非线性分析等通过对神经电信号进行公式计算提取特征,而带来的从侧面对EEG进行信号的挖掘和解读,容易受神经放电记录不稳定性影响的不足。本发明中提出基于LIF神经元的RNN模型,LIF神经元具有更明显的非线性特性,可以使得RNN网络的非线性特性更明显,提取的神经流形更加准确。
所述存储模块中存储的目标流形分为两种,一种是选择多名受试者做针刺实验,记录针刺效果较好的状态下大脑脑电活动,通过该脑电活动提取得到的神经流形作为目标流形,该流形在选择脑电分级和预后评估是使用;另一种是直接记录用户大脑正常状态下的脑电活动,通过流形提取模块提取(通过流形提取模块提取用户正常状态下的大脑神经流形,选取的30s时长的脑电信号作为样本数据提取神经流形)该用户大脑的神经流形,作为认知优化时的目标流形存储在流形提取子系统的存储模块中。
所述的认知优化参数计算子系统202中的微处理器将实际流形(就是实时神经流形)与流形提取子系统的存储模块中设置的目标流形做对比分析,得到刺激优化参数,刺激优化参数一方面通过显示屏显示,同时刺激优化参数通过导线连接传送给刺激装置的刺激器,刺激器将通过刺激频率和电流强度调节刺激电极的刺激强度,实现自动调节刺激装置的刺激强度、刺激频率等参数。
在刺激参数发生改变后会重新作用在脑电采集装置上获取新的脑电信号,再重复上述的预处理、流形提取得到实时实际流形、微处理器实时评估,实现实时解码优化。
所述的认知优化参数计算子系统202的微处理器中的最优刺激参数评估规则为:最优刺激参数通过定义一个损失函数进行评估,当损失函数小于显示屏设定的流形对比阈值时,刺激优化结束,也就是达到训练目标,能够获得此时最优的刺激参数;所述损失函数的表达式为公式(1):
Figure GDA0003783804300000091
式中,S指的是所有对角元素都为1的单位矩阵,用来选择一个状态子集的约束;β是惩罚因子,是指输入惩罚对损失函数的重要性;N指的是提取的实际流形的脑电数据量,即长度;u是外部输入量,根据不同的功能要求,外部输入量的表达式不同,可以通过不同的映射函数(指的是下述中u的表达式)计算得到最优刺激参数;xn为目标流形,x(n)为实际流形;
外部刺激装置为刺激电极,上述的u=δ×I×log(w)×(Δt)其中,δ是自由参数,通过用来调节刺激参数单位,默认为1;I是刺激强度,通过调节电流来实现,默认以毫安为单位;w是指以赫兹为单位的刺激频率;Δt是指当前刺激持续时间,以毫秒为单位。
所述的脑电分级处理子系统203的微处理器中设置脑电分级规则为:通过计算实际神经流形与设定流形的差异值进行评估,差值计算公式为式(2):
Figure GDA0003783804300000092
式中,S为所有对角元素都为1的单位矩阵,用来选择一个状态子集的约束;N指的是求取流形选取的数据量;xn为目标流形,x(n)为实际流形;本系统中定义脑电根据流形差值分为1-6级;
所述的脑电预后评估处理子系统204的微处理器中设置脑电预后评估规则为:通过计算迭代计算相邻时间段差异值变化进行评估,计算公式为式(3):
Figure GDA0003783804300000093
上述的
Figure GDA0003783804300000094
式中S为所有对角元素都为1的单位矩阵,用来选择一个状态子集的约束;N指的是求取流形选取的数据量;xn为目标流形,x(n)为实际流形;本系统中定义预后评估分为好转(<0.9),稳定(0.9-1.1)和加重(>1.1)三种情况。
所述的液晶可触摸显示屏(参考图5)包括刺激参数显示模块,功能选择模块,流形对比模块,参数设置模块和解码结果显示模块。
所述的刺激参数显示模块用来实时显示最优刺激参数,包括电流频率和电流强度;
所述的功能选择模块用来进行功能选择,包括认知优化、脑电分级和预后评估三个功能;对于三种功能,流形提取子系统的工作过程是相同的,区别在于:1)选取目标流形不同;2)当选择功能为认知优化时,认知优化参数计算子系统202开始工作,当大脑实际神经流形与目标流形的损失函数大于显示屏设定的流形对比阈值时,系统自动开启工作,大脑实际神经流形与目标流形的损失函数小于显示屏设定的流形对比阈值时,系统结束工作;当选择功能为脑电分级时,脑电分级处理子系统203开始工作,根据大脑实际神经流形与目标流形对比分析实时计算大脑等级;当选择功能为预后评估时,脑电预后评估处理子系统204开始工作,根据大脑实际神经流形与目标流形差异值随时间波动进行预后评估。
所述的流形对比模块实现观测实际流形的实时变化以及与目标流形的对比情况,并在优化参数显示模块内显示微处理器评估后的最优刺激参数,包括刺激电极的电流频率和电流强度;
所述参数设置模块用来设置FPGA解码计算装置的训练参数,包括流形对比阈值设置窗口、重构误差设置窗口、学习率设置窗口、神经流形维数设置窗口;
所述的解码结果显示模块实现脑电分级和预后评估结果的显示,脑电分级结果显示为1级-6级,预后评估结果显示为好转,稳定或加重。
本发明未述及之处适用于现有技术。

Claims (9)

1.一种基于神经流形的脑电分级与预后FPGA解码系统,包括用于进行脑电活动记录的脑电采集装置,FPGA解码计算装置,液晶可触摸显示屏和刺激装置;其特征在于,FPGA解码计算装置中包括有流形提取程序,该流形提取程序过程是:
设定重构误差、神经流形维数,初始神经元连接权重W、LIF神经元的参数τ;
获取预处理后的脑电采集装置采集脑电活动信号EEG,记为原始EEG,输入到第一个LIF-RNN模型中,第一个LIF-RNN模型输出神经流形z,再连接第二个LIF-RNN模型,输出重构EEG,每个LIF-RNN模型均为由LIF神经元模型组成的RNN网络,对两个网络同时训练,训练目标是使重构EEG与原始EEG误差最小,当训练过程中的误差大于设定的重构误差,则按照先固定LIF神经元参数,再调整W,然后再固定W调整LIF神经元参数的规则对两个网络参数进行更新,在每次更新的LIF神经元参数和神经元连接权重条件下重新输入两个网络,计算下一次迭代的重构EEG,直至训练过程中的误差小于重构误差停止迭代;
所述LIF-RNN模型为:
Figure FDA0003783804290000011
Figure FDA0003783804290000012
其中,Wij为第i个神经元和第j个神经元的连接权重;τm是LIF神经元的膜时间常数,表示衰减到静息状态的时间,urest是静息膜电位,xi是第i个神经元的电流变量,Δu是当前时刻和上一时刻的膜电位差,x0是该神经元的初始电流变量,字母上的“.”表示求导。
2.根据权利要求1所述的解码系统,其特征在于,两个网络输入输出层神经元个数不同,第一个LIF-RNN模型,输入层神经元个数为脑电活动记录的维数是64,隐含层神经元个数为500,输出层神经元个数与设定的神经流形维数相等;第二个LIF-RNN模型,输入层神经元个数与设定的神经流形维数相等,隐含层神经元个数为500,输出层神经元个数为64。
3.根据权利要求1所述的解码系统,其特征在于,所述FPGA解码计算装置包括流形提取子系统,认知优化参数计算子系统,脑电分级处理子系统和脑电预后评估处理子系统,流形提取子系统包括脑电预处理模块,存储模块和流形提取模块,流形提取模块中嵌入流形提取程序;认知优化参数计算子系统,脑电分级处理子系统和脑电预后评估处理子系统各包括一个微处理器;
认知优化参数计算子系统的微处理器中设置有最优刺激参数评估规则为:最优刺激参数通过定义一个损失函数进行评估,当损失函数小于显示屏设定的流形对比阈值时,刺激优化结束:损失函数的计算公式为式(1):
Figure FDA0003783804290000021
式中,S为所有对角元素都为1的单位矩阵,用来选择一个状态子集的约束;β是惩罚因子,是指输入惩罚对损失函数的重要性;N指的是求取流形选取的数据量;u是外部输入量;xn为目标流形,x(n)为实际流形;
外部刺激装置为刺激电极,上述的u=δ×I×log(w)×(Δt)其中,δ是自由参数,用来调节刺激参数单位,默认为1;I是刺激强度,通过调节电流来实现,默认以毫安为单位;w是指以赫兹为单位的刺激频率;Δt是指当前刺激持续时间,以毫秒为单位;
脑电分级处理子系统的微处理器中设置脑电分级规则为:通过计算实际神经流形与设定流形的差异值进行评估,差值计算公式为式(2):
Figure FDA0003783804290000022
式中,S为所有对角元素都为1的单位矩阵,用来选择一个状态子集的约束;N指的是求取流形选取的数据量;xn为目标流形,x(n)为实际流形;本系统中定义脑电根据流形差值分为1-6级;
脑电预后评估处理子系统的微处理器中设置脑电预后评估规则为:通过计算迭代计算相邻时间段差异值变化进行评估,计算公式为式(3):
Figure FDA0003783804290000023
上述的
Figure FDA0003783804290000024
式中S为所有对角元素都为1的单位矩阵,用来选择一个状态子集的约束;N指的是求取流形选取的数据量;xn为目标流形,x(n)为实际流形;本系统中定义预后评估分为好转(<0.9),稳定(0.9-1.1)和加重(>1.1)三种情况。
4.如权利要求3所述的基于神经流形的脑电分级与预后FPGA解码系统,其特征在于,所述脑电预处理模块对采集到的脑电信号进行滤波、去伪迹、去眼电、归一化处理。
5.如权利要求3所述的基于神经流形的脑电分级与预后FPGA解码系统,其特征在于,所述的存储模块中的目标流形是大脑处于良好编码记忆的状态,通过选择具有良好记忆能力的健康受试者中采集得到的EEG数据来提取目标流形,作为动脑状态的优化目标存储到流形提取子系统的存储模块中。
6.如权利要求1所述的基于神经流形的脑电分级与预后FPGA解码系统,其特征在于,包括脑电采集装置,FPGA解码计算装置,液晶可触摸显示屏和刺激装置;
其中,所述的脑电采集装置通过64导EEG设备进行脑电活动记录;
FPGA解码计算装置包括流形提取子系统,认知优化参数计算子系统,脑电分级处理子系统和脑电预后评估处理子系统;流形提取子系统实现脑电数据的预处理分析和流形提取,认知优化参数计算子系统,脑电分级处理子系统和脑电预后评估处理子系统分别进行最优刺激参数计算,脑电分级和预后评估;
可触摸显示屏用于实现FPGA解码计算装置的参数设置以及大脑实际流形和目标流形的显示对比;显示屏和FPGA解码计算装置通过导线连接;
刺激装置是由刺激器控制的刺激电极,FPGA解码计算装置与刺激装置通过导线连接。
7.如权利要求6所述的基于神经流形的脑电分级与预后FPGA解码系统,其特征在于,
所述的认知优化参数计算子系统将该实际流形和目标流形做对比分析,得到刺激优化参数,并将刺激优化参数通过导线连接传送给刺激装置,实现自动调节刺激装置的刺激强度、刺激频率参数。
8.如权利要求6所述的基于神经流形的脑电分级与预后FPGA解码系统,其特征在于,所述的液晶可触摸显示屏包括刺激参数显示模块,功能选择模块,流形对比模块,参数设置模块和解码结果显示模块;所述的功能选择模块用来进行功能选择,包括认知优化、脑电分级和预后评估三个功能;所述的流形对比模块实现观测实际流形的实时变化以及与目标流形的对比情况;所述的参数设置模块用来设置FPGA解码计算装置的训练参数,包括神经流形个数、输入维度、重构误差和学习率。
9.如权利要求6所述的基于神经流形的脑电分级与预后FPGA解码系统,其特征在于,所述的FPGA解码计算装置的FPGA电路设计实现使用直接内存访问端口实现LIF-RNN硬件网络和存储模块之间数据的传输;硬件内部模块由状态机控制,以执行一系列操作;在配置阶段,包含LIF神经元初始时间常数τ、流形对比阈值、重构误差、神经流形维数、学习率的系统所需的参数由微处理器存储到配置寄存器中用于控制硬件网络;逻辑门被配置为具有LIF神经元响应函数;该设计将初始连接权重矩阵和输入数据放入存储模块中;两个LIF-RNN模型每一轮迭代计算分为两步,第一步,逻辑门Gate模块根据路由器分配的数据输入并行产生连接权重矩阵的行向量流,并将其存储到先进先出寄存器模块,为下一步做准备;第二步,先进先出寄存器模块通过物联网感知模块将内部向量输出经路由器、直接内存访问端口回存储模块,之后微处理器进行评估损失误差计算比较,逻辑门Gate模块产生新的连接权重矩阵的行向量流;当微处理器比较符合条件时,向配置寄存器发送指令迭代停止。
CN202110409356.0A 2021-04-16 2021-04-16 基于神经流形的脑电分级与预后fpga解码系统 Active CN113112017B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110409356.0A CN113112017B (zh) 2021-04-16 2021-04-16 基于神经流形的脑电分级与预后fpga解码系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110409356.0A CN113112017B (zh) 2021-04-16 2021-04-16 基于神经流形的脑电分级与预后fpga解码系统

Publications (2)

Publication Number Publication Date
CN113112017A CN113112017A (zh) 2021-07-13
CN113112017B true CN113112017B (zh) 2022-09-27

Family

ID=76717969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110409356.0A Active CN113112017B (zh) 2021-04-16 2021-04-16 基于神经流形的脑电分级与预后fpga解码系统

Country Status (1)

Country Link
CN (1) CN113112017B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114098767A (zh) * 2021-11-26 2022-03-01 西安交通大学 一种显示器刷新率客观评估选择方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5687291A (en) * 1996-06-27 1997-11-11 The United States Of America As Represented By The Secretary Of The Army Method and apparatus for estimating a cognitive decision made in response to a known stimulus from the corresponding single-event evoked cerebral potential
CN102715903B (zh) * 2012-07-09 2014-04-16 天津市人民医院 基于定量脑电图的脑电特征提取方法
CN103793593B (zh) * 2013-11-15 2018-02-13 吴一兵 一种获取大脑状态客观定量指标的方法
CN105160205B (zh) * 2015-09-14 2018-07-27 天津大学 基于lnc模型的针刺神经电信号fpga编码分析平台
CN105559777B (zh) * 2016-03-17 2018-10-12 北京工业大学 基于小波包和lstm型rnn神经网络的脑电识别方法
CN106933348A (zh) * 2017-01-24 2017-07-07 武汉黑金科技有限公司 一种基于虚拟现实的脑电神经反馈干预系统及方法
US11141088B2 (en) * 2018-10-09 2021-10-12 Sony Corporation Electronic device for recognition of mental behavioral attributes based on deep neural networks
CN109157231B (zh) * 2018-10-24 2021-04-16 阿呆科技(北京)有限公司 基于情绪刺激任务的便携式多通道抑郁倾向评估系统
CN109614885A (zh) * 2018-11-21 2019-04-12 齐鲁工业大学 一种基于lstm的脑电信号快速分类识别方法
CN109583346A (zh) * 2018-11-21 2019-04-05 齐鲁工业大学 基于lstm-fc的脑电信号特征提取与分类识别方法
US11696714B2 (en) * 2019-04-24 2023-07-11 Interaxon Inc. System and method for brain modelling
CN110916654B (zh) * 2019-11-09 2022-03-25 天津大学 一种脑活动状态的等级评估方法
CN111461204B (zh) * 2020-03-30 2023-05-26 华南理工大学 一种用于游戏评估的基于脑电信号的情感识别方法
CN111539331B (zh) * 2020-04-23 2023-03-28 西安科技大学 一种基于脑机接口的视觉图像重建系统

Also Published As

Publication number Publication date
CN113112017A (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
Li et al. Clustering technique-based least square support vector machine for EEG signal classification
Nevado-Holgado et al. Characterising the dynamics of EEG waveforms as the path through parameter space of a neural mass model: application to epilepsy seizure evolution
CN110070105B (zh) 基于元学习实例快速筛选的脑电情绪识别方法、系统
Kshirsagar et al. Optimization of BPNN parameters using PSO for EEG signals
Giraldo-Suarez et al. Reconstruction of neural activity from EEG data using dynamic spatiotemporal constraints
CN109671500A (zh) 基于脑电图时域数据的精神分裂症辅助诊断分类方法
CN112675428B (zh) 抗癫痫电刺激硬件在环仿真系统
CN110522412A (zh) 基于多尺度脑功能网络分类脑电信号的方法
CN110392549A (zh) 确定引起期望行为的最佳大脑刺激的方法和设备
CN113112017B (zh) 基于神经流形的脑电分级与预后fpga解码系统
Mouleeshuwarapprabu et al. Nonlinear vector decomposed neural network based EEG signal feature extraction and detection of seizure
CN106510702A (zh) 基于中潜伏期听觉诱发电位的听觉注意特征提取、识别系统及方法
Zhang et al. Cross-patient automatic epileptic seizure detection using patient-adversarial neural networks with spatio-temporal EEG augmentation
Reddy et al. Optimization Driven Spike Deep Belief Neural Network classifier: a deep-learning based Multichannel Spike Sorting Neural Signal Processor (NSP) module for high-channel-count Brain Machine Interfaces (BMIs)
Shekokar et al. Epileptic seizure classification using LSTM
Valencia et al. Towards in vivo neural decoding
Saranya et al. Ensemble classification for epileptic seizure prediction
CN113967023B (zh) 闭环光遗传干预系统及干预方法
Shoham et al. The Theory of Central Nervous System Recording
Shoham et al. The theory of central nervous system recording
EP4230138A1 (en) Method and device for physiological signal preprocessing
Hueber et al. Benchmarking of hardware-efficient real-time neural decoding in brain–computer interfaces
Leelavathi et al. EEG-Based Seizure Prediction Using CNN and BiLSTM Algorithm of Deep Learning
MURUGESWARI WAVELET DECOMPOSITION METHOD BASED AUTOMATED DIAGNOSIS OF MUSCLE DISEASES
Klempíř Analysis of Neural Activity in the Human Basal Ganglia: From Micro to Macro

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant