CN113112017B - 基于神经流形的脑电分级与预后fpga解码系统 - Google Patents
基于神经流形的脑电分级与预后fpga解码系统 Download PDFInfo
- Publication number
- CN113112017B CN113112017B CN202110409356.0A CN202110409356A CN113112017B CN 113112017 B CN113112017 B CN 113112017B CN 202110409356 A CN202110409356 A CN 202110409356A CN 113112017 B CN113112017 B CN 113112017B
- Authority
- CN
- China
- Prior art keywords
- manifold
- electroencephalogram
- neural
- stimulation
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001537 neural effect Effects 0.000 title claims abstract description 90
- 238000004393 prognosis Methods 0.000 title claims abstract description 57
- 230000000638 stimulation Effects 0.000 claims abstract description 87
- 238000011156 evaluation Methods 0.000 claims abstract description 50
- 210000004556 brain Anatomy 0.000 claims abstract description 48
- 238000005457 optimization Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 37
- 230000001149 cognitive effect Effects 0.000 claims abstract description 26
- 239000004973 liquid crystal related substance Substances 0.000 claims abstract description 13
- 230000005611 electricity Effects 0.000 claims abstract description 9
- 230000008859 change Effects 0.000 claims abstract description 5
- 230000004936 stimulating effect Effects 0.000 claims abstract description 4
- 210000002569 neuron Anatomy 0.000 claims description 72
- 238000004364 calculation method Methods 0.000 claims description 37
- 238000000605 extraction Methods 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 36
- 238000000034 method Methods 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 25
- 230000000694 effects Effects 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 14
- 238000013461 design Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 7
- 239000012528 membrane Substances 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000010835 comparative analysis Methods 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005316 response function Methods 0.000 claims description 3
- 230000000284 resting effect Effects 0.000 claims description 3
- 230000036390 resting membrane potential Effects 0.000 claims description 3
- 230000003920 cognitive function Effects 0.000 abstract 2
- 238000013528 artificial neural network Methods 0.000 description 22
- 230000009467 reduction Effects 0.000 description 6
- 238000001467 acupuncture Methods 0.000 description 5
- 230000007177 brain activity Effects 0.000 description 5
- 230000006378 damage Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000000513 principal component analysis Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 210000005036 nerve Anatomy 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 208000029028 brain injury Diseases 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 229920000729 poly(L-lysine) polymer Polymers 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 208000025966 Neurological disease Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000006931 brain damage Effects 0.000 description 1
- 231100000874 brain damage Toxicity 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Pathology (AREA)
- Neurology (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Fuzzy Systems (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明提供基于神经流形的脑电分级与预后FPGA解码系统,该系统包括脑电采集装置,FPGA解码计算装置,液晶可触摸显示屏和刺激装置四部分。FPGA解码计算装置由流形提取子系统,认知优化参数计算子系统,脑电分级处理子系统和脑电预后评估处理子系统组成,分别用于提取流形,计算优化认知功能需要的刺激参数,对脑电信号进行分级与预后评估。进行脑电分级并通过实际神经流形与目标流形差异值变化趋势进行预后评估,并通过导线将两种流形,刺激参数以及分级预后结果传输到显示屏,通过导线将最优刺激参数传输到刺激装置进行控制。本发明系统可以实现脑电自动分级、预后评估,以及脑认知功能优化。
Description
技术领域
本发明涉及生物医学工程技术,特别是基于神经流形的脑电分级与预后FPGA解码系统。
背景技术
大脑是人体的最复杂、最活跃的器官,大脑各类神经疾病可能会导致脑组织受损,引起功能损伤。其治疗手段的选择往往需要对大脑目前的损伤程度进行迅速而准确的诊断,脑损伤的分级便于对伤情进行评价,对急性重症脑功能损伤进行准确、客观的评价以及预测预后是救治工作的关键,能够有效提升患者的存活率。临床上对患者大脑损伤的检测基本依靠医生根据经验人工诊断,诊断结果往往具有主观性,缺乏客观定量的指标,存在受限于医生经验而出现误诊的现象。因此设计一种实时监测大脑动态并据此进行脑活动分级以及预后评估的系统十分必要。
近年来,利用脑电图(EEG)、磁共振成像等神经影像学技术检测受到广泛关注,其中,脑电图能够记录大脑神经群体电生理活动状态,易于获取、低成本且无创伤,因此广泛应用于临床医学以及脑科学研究中。科学发现,神经群体活动可以在低维状态空间中被描述,在低维状态空间中的每个点表示特定时间的种群活动,多个点随时间变化耦合成神经动态轨迹(trajectories),描述单次实验的时变规律。种群在运动时的活动轨迹原则上可以探索神经空间的所有区域。在实践中,神经元之间的相关性(协变)限制了可能的种群模式,从而限制了种群动力学实际探索的神经空间区域。因此在大多数情况下,多神经动态轨迹会稳定于一个平面,只需要低维状态空间的某些区域便能分析给定任务中的行为,这个状态空间子区域称为神经流形。神经流形(也称为内在流形)描述了易于由一群神经元表达的群体活动模式,并被认为反映了潜在的神经环路所施加的约束。
目前高维数据的流形提取方法主要是基于主成分分析(PCA),t-随机邻近嵌入(t-SNE)等传统降维方法。然而由于脑电高维,复杂的特性,大脑活动的神经流形并不是一个简单的线性平面,使用普通的线性降维方法(PCA)无法准确找到大脑的神经流形。传统非线性降维方法(t-SNE)可以提取非线性流形,但是由于其映射函数是非线性映射,没有显式的表达形式,神经流形无法重构回脑电数据,因此无法确保神经流形的可靠性。
发明内容
为解决目前临床问题,本发明的目的是提供一种基于神经流形的脑电分级与预后FPGA解码系统,旨在通过流形计算实现对大脑活动的实时监测,进行脑电分级以及预后评估,并通过自动调节外部刺激强度实现调控大脑活动到达最优状态,为临床脑电评估提供了严谨可靠的解决方案。
为实现上述目的,本发明通过以下技术方案实现:
一种基于神经流形的脑电分级与预后FPGA解码系统,包括用于进行脑电活动记录的脑电采集装置,FPGA解码计算装置,液晶可触摸显示屏和刺激装置;其中,FPGA解码计算装置中包括有流形提取程序,该流形提取程序过程是:
设定重构误差、神经流形维数,初始神经元连接权重W、LIF神经元的参数τ;
获取预处理后的脑电采集装置采集脑电活动信号EEG,记为原始EEG,输入到第一个LIF-RNN模型中,第一个LIF-RNN模型输出神经流形z,再连接第二个LIF-RNN模型,输出重构EEG,每个LIF-RNN模型均为由LIF神经元模型组成的RNN网络,对两个网络同时训练,训练目标是使重构EEG与原始EEG误差最小,当训练过程中的误差大于设定的重构误差,则按照先固定LIF神经元参数,再调整W,然后再固定W调整LIF神经元参数的规则对两个网络参数进行更新,在每次更新的LIF神经元参数和神经元连接权重条件下重新输入两个网络,计算下一次迭代的重构EEG,直至训练过程中的误差小于重构误差停止迭代;
所述LIF-RNN模型为:
其中,Wij为第i个神经元和第j个神经元的连接权重;τm是LIF神经元的膜时间常数,表示衰减到静息状态的时间,urest是静息膜电位,xi是第i个神经元的电流变量,Δu是当前时刻和上一时刻的膜电位差,x0是该神经元的初始电流变量,字母上的“.”表示求导。
两个网络输入输出层神经元个数不同,第一个LIF-RNN模型,输入层神经元个数为脑电活动记录的维数是64,隐含层神经元个数为500,输出层神经元个数与设定的神经流形维数相等;第二个LIF-RNN模型,输入层神经元个数与设定的神经流形维数相等,隐含层神经元个数为500,输出层神经元个数为64。
所述FPGA解码计算装置包括流形提取子系统,认知优化参数计算子系统,脑电分级处理子系统和脑电预后评估处理子系统,流形提取子系统包括脑电预处理模块,存储模块和流形提取模块,流形提取模块中嵌入流形提取程序;认知优化参数计算子系统,脑电分级处理子系统和脑电预后评估处理子系统各包括一个微处理器。
认知优化参数计算子系统的微处理器中设置有最优刺激参数评估规则为:最优刺激参数通过定义一个损失函数进行评估,当损失函数小于显示屏设定的流形对比阈值时,刺激优化结束:损失函数的计算公式为式(1):
式中,S为所有对角元素都为1的单位矩阵,用来选择一个状态子集的约束;β是惩罚因子,是指输入惩罚对损失函数的重要性;N指的是求取流形选取的数据量;u是外部输入量;xn为目标流形,x(n)为实际流形;
外部刺激装置为刺激电极,上述的u=δ×I×log(w)×(Δt)其中,δ是自由参数,用来调节刺激参数单位,默认为1;I是刺激强度,通过调节电流来实现,默认以毫安为单位;w是指以赫兹为单位的刺激频率;Δt是指当前刺激持续时间,以毫秒为单位;
脑电分级处理子系统的微处理器中设置脑电分级规则为:通过计算实际神经流形与设定流形的差异值进行评估,差值计算公式为式(2):
式中,S为所有对角元素都为1的单位矩阵,用来选择一个状态子集的约束;N指的是求取流形选取的数据量;xn为目标流形,x(n)为实际流形;本系统中定义脑电根据流形差值分为1-6级;
脑电预后评估处理子系统的微处理器中设置脑电预后评估规则为:通过计算迭代计算相邻时间段差异值变化进行评估,计算公式为式(3):
上述的式中S为所有对角元素都为1的单位矩阵,用来选择一个状态子集的约束;N指的是求取流形选取的数据量;xn为目标流形,x(n)为实际流形;本系统中定义预后评估分为好转(<0.9),稳定(0.9-1.1)和加重(>1.1)三种情况。
一种基于神经流形的脑电分级与预后FPGA解码系统,包括脑电采集装置,FPGA解码计算装置,液晶可触摸显示屏和刺激装置;
其中,所述的脑电采集装置通过64导EEG设备进行脑电活动记录;
FPGA解码计算装置包括流形提取子系统,认知优化参数计算子系统,脑电分级处理子系统和脑电预后评估处理子系统;流形提取子系统实现脑电数据的预处理分析和流形提取,认知优化参数计算子系统,脑电分级处理子系统和脑电预后评估处理子系统分别进行最优刺激参数计算,脑电分级和预后评估。
可触摸显示屏用于实现FPGA解码计算装置的参数设置以及大脑实际流形和目标流形的显示对比;显示屏和FPGA解码计算装置通过导线连接;
刺激装置是由刺激器控制的刺激电极,FPGA解码计算装置与刺激装置通过导线连接。
所述的认知优化参数计算子系统将该实际流形和目标流形做对比分析,得到刺激优化参数,并将刺激优化参数通过导线连接传送给刺激装置,实现自动调节刺激装置的刺激强度、刺激频率参数。
所述的液晶可触摸显示屏包括刺激参数显示模块,功能选择模块,流形对比模块,参数设置模块和解码结果显示模块;所述的功能选择模块用来进行功能选择,包括认知优化、脑电分级和预后评估三个功能;所述的流形对比模块实现观测实际流形的实时变化以及与目标流形的对比情况;所述的参数设置模块用来设置FPGA解码计算装置的训练参数,包括神经流形个数、输入维度、重构误差和学习率。
所述脑电预处理模块对采集到的脑电信号进行滤波、去伪迹、去眼电、归一化处理。
所述的存储模块中的目标流形是大脑处于良好编码记忆的状态,通过选择具有良好记忆能力的健康受试者中采集得到的EEG数据来提取目标流形,作为动脑状态的优化目标存储到流形提取子系统的存储模块中。
所述的FPGA解码计算装置的FPGA电路设计实现使用直接内存访问端口实现LIF-RNN硬件网络和存储模块之间数据的传输;硬件内部模块由状态机控制,以执行一系列操作;在配置阶段,包含LIF神经元初始时间常数τ、流形对比阈值、重构误差、神经流形维数、学习率的系统所需的参数由微处理器存储到配置寄存器中用于控制硬件网络;逻辑门被配置为具有LIF神经元响应函数;该设计将初始连接权重矩阵和输入数据放入存储模块中;两个LIF-RNN模型每一轮迭代计算分为两步,第一步,逻辑门Gate模块根据路由器分配的数据输入并行产生连接权重矩阵的行向量流,并将其存储到先进先出寄存器模块,为下一步做准备;第二步,先进先出寄存器模块通过物联网感知模块将内部向量输出经路由器、直接内存访问端口回存储模块,之后微处理器进行评估损失误差计算比较,逻辑门Gate模块产生新的连接权重矩阵的行向量流;当微处理器比较符合条件时,向配置寄存器发送指令迭代停止。
与现有技术相比,本发明将新型RNN神经网络应用于针刺信号解码研究领域,并且建立基于FPGA的硬件实现平台。具体的有益效果是:
1.本发明中神经流形提取是指通过降维的方法从高维特征空间中挖掘数据紧致的内在低维分布结构,学习数据所隐含的有用信息,找到能够表征神经种群活动的稳定的本质特征用于大脑活动的解码,可以提高解码的稳定性,减小由于神经活动记录不稳定性和个体差异带来的影响。
2.本发明系统中将LIF神经元模型作为RNN的神经元节点,使网络的非线性特性更加明显,训练得到的神经流形更加准确。使用两个LIF神经元的RNN网络进行流形提取,具有更高的非线性特性,并且得到的神经流形可以重构回原始EEG数据,和传统的PCA、t-SNE等流形学习方法相对比,提高了神经流形的准确性和可靠性。
3.本发明设置了评估规则,通过训练目标流形与实际流形的损失函数,使两者差值最小化评估得到最优刺激参数。
4.本发明基于流形学习,从信号动态角度实现了脑电自动分级与预后评估,可以作为脑电监测评估的可靠依据。
4.本课题组基于复杂网络特征对针刺手法进行解码最高准确率为92.37%(对比文章Modulation Effect of Acupuncture on Functional Brain Networks andClassification of Its Manipulation With EEG Signals),使用相同的实验数据基于RNN网络提取神经流形对针刺手法进行解码的准确率为94.28%。
5.现场可编程门阵列(Field Programmable GateArray,FPGA)体积小、密度高、计算速度快(最高速率可达150MHz)、编程灵活、修改参数方便、低功耗、低成本、可重新配置、高可靠性等特点,同时FPGA具有灵活的重构功能也方便了算法的微调和优化,能够大大缩短开发周期。本系统采用最大工作频率200MHz的FPGA实现样本数据驱动下的RNN神经网络训练,FPGA设计采用基于Intel OpenCL SDK的编程框架开发,采用了流水计算的方法,对神经网络运算过程中涉及到的迭代运算进行了流水线设计,使得数据读取、加法、乘法等迭代运算步骤流水执行,有效减少了循环整体的执行周期,与只有在当前迭代执行结束之后才开始执行下一次迭代的传统方法对比,极大提高了运算效率,与CPU相比,该设计计算效率大约提高了10倍。由于EEG数据量比较大,FPGA选择Altera公司生产的一款高性能器件Stratix II。该芯片包含12个可编程PLL,并具有完善的时钟管理和频率合成能力,同时可以支持高达l Gb/s的高速差分I/O信号,能满足高性能系统的需求。存储模块要求5Gb。
附图说明
图1为本发明的结构示意图;
图2为图1所示的FPGA解码计算装置的结构示意图。
图3为图1所示的FPGA解码计算装置硬件实现示意图。
图4为图1所示的流形提取子系统中流形提取模块的FPGA电路实现图。
图5为图1所示的液晶显示屏界面示意图。
图中,1为脑电采集装置,2为FPGA解码计算装置,3为液晶可触摸显示屏,4为刺激装置,201为流形提取子系统,202为认知优化参数计算子系统,203为脑电分级处理子系统,204为脑电预后评估处理子系统,401为刺激器,402为刺激电极,403为机械刺激。
具体实施方式
下面结合附图及实施例对本发明的基于神经流形的脑电分级与预后FPGA解码系统做详细的说明,但并不以此作为对本申请保护范围的限定。
本发明基于神经流形的脑电分级与预后FPGA解码系统,参考附图1,其包括:脑电采集装置1,FPGA解码计算装置2,液晶可触摸显示屏3和刺激装置4;其中,
所述的脑电采集装置1通过采用64通道,采样率是1000Hz,硬件滤波器采样率是0.5-70Hz的Ag-Ag-C1头皮电极设备进行脑电活动记录;
FPGA解码计算装置2包括流形提取子系统201,认知优化参数计算子系统202,脑电分级处理子系统203,以及脑电预后评估处理子系统204。流形提取子系统实现对脑电数据的预处理分析和流形提取。认知优化参数计算子系统,脑电分级处理子系统,以及脑电预后评估处理子系统进行流形解码,分别基于流形实现最优刺激参数计算、脑电分级计算以及脑电预后评估。液晶可触摸显示屏3和FPGA解码计算装置2通过导线连接,脑电采集装置的信号输出与FPGA解码计算装置的信号输入连接。刺激装置4包括由刺激器401控制的刺激电极402。FPGA解码计算装置2与刺激装置4通过导线连接,刺激器401和刺激电极402通过导线连接,刺激器401与FPGA解码计算装置2的输出连接。
所述的流形提取子系统201(参见图2)包括脑电预处理模块、流形提取模块、存储模块、电源模块和电源管理模块。各个模块之间的数据通过导线传输。电源模块和电源管理模块负责为该系统提供电源,电源管理模块负责管理电源模块,脑电采集装置采集的脑电数据传输到流形提取子系统中后,首先经过脑电预处理模块对数据进行预处理,然后通过流形提取模块提取大脑神经流形(即实际流形)与存储模块存储的目标流形分别传输到认知优化参数计算子系统,脑电分级处理子系统和脑电预后评估处理子系统的微处理器进行解码,分别负责将流形提取模块提取的实际流形与存储模块中存储的目标流形对比评估得到最优刺激参数,脑电等级和预后情况,并在显示屏上显示解码结果。FPGA可采用Altera公司生产的一款高性能器件StratixII,该芯片包含12个可编程PLL,并具有完善的时钟管理和频率合成能力,同时可以支持高达l Gb/s的高速差分I/O信号,能满足高性能系统的需求。
所述脑电预处理模块对采集到的脑电信号进行滤波、去伪迹、去眼电、归一化处理,所使用的的算法包括快速傅里叶变换、独立成分分析方法等,预处理过程可依据现有技术实现。
所述流形提取模块对处理后的脑电降维得到神经流形并输出重构EEG,重构EEG与原始EEG误差最小,流形提取模块输出为重构误差最小时得到的神经流形,记为实际流形,流形提取模块使用两个包含LIF单元(leaky integrate-and-fire神经元模型)的RNN网络,采用强化学习FORCE训练算法进行网络训练。
流形提取模块过程是:
设定重构误差、神经流形维数,初始神经元连接权重W、LIF神经元的参数τ;
获取预处理后的脑电采集装置采集脑电活动信号EEG,记为原始EEG,输入到第一个LIF-RNN模型中,第一个LIF-RNN模型输出神经流形z,再连接第二个LIF-RNN模型,输出重构EEG,每个LIF-RNN模型均为由LIF神经元模型组成的RNN网络,对两个网络同时训练,训练目标是使重构EEG与原始EEG误差最小,当训练过程中的误差大于设定的重构误差,则按照先固定LIF神经元参数,再调整W,然后再固定W调整LIF神经元参数的规则对两个网络参数进行更新,在每次更新的LIF神经元参数和神经元连接权重条件下重新输入两个网络,计算下一次迭代的重构EEG,直至训练过程中的误差小于重构误差停止迭代,输出神经流形,记为实际流形;
所述LIF-RNN模型为:
其中,Wij为第i个神经元和第j个神经元的连接权重;τm是LIF神经元的膜时间常数,表示衰减到静息状态的时间,urest是静息膜电位,xi是第i个神经元的电流变量,Δu是当前时刻和上一时刻的膜电位差,x0是该神经元的初始电流变量,字母上的“.”表示求导。
本实施例中神经流形维数默认为3,流形对比阈值(默认为0.2),重构误差(默认0.1)和学习率(默认0.1)。
参考图3,所述的基于神经流形的类脑感知解码计算系统的FPGA电路设计实现使用直接内存访问端口实现LIF-RNN硬件网络和存储模块之间数据的传输。硬件内部模块由状态机控制,以执行一系列操作。在配置阶段,LIF神经元初始时间常数τ、流形对比阈值、重构误差、神经流形维数、学习率等系统所需的参数由微处理器存储到配置寄存器中用于控制硬件网络。逻辑门被配置为具有LIF神经元响应函数。该设计将初始连接权重矩阵和输入数据放入存储模块中。两个LIF-RNN模型每一轮迭代(与重构误差接近)计算分为两步,第一步,逻辑门Gate模块根据路由器分配的数据(预处理模块输出)输入并行产生连接权重矩阵的行向量流,并将其存储到先进先出寄存器模块,为下一步做准备。第二步,先进先出寄存器模块通过物联网感知模块将内部向量输出经路由器、直接内存访问端口端口回存储模块,之后微处理器进行评估损失误差计算比较,逻辑门Gate模块产生新的连接权重矩阵的行向量流。当微处理器比较符合条件时,向配置寄存器发送指令迭代停止。迭代运算进行了流水线通过流水线方式执行。当选择认知优化功能时,LIF-RNN硬件网络提取得到的用户大脑正常状态下的神经流形传输到存储模块进行保存。实时流形提取结束后,微处理器负责进行流形对比评估最优刺激参数。
进一步的,参考图4,为了保证提取神经流形的可靠性,流形提取模块包含两个由LIF单元组成的RNN网络,对两个网络同时训练,训练目标是使通过潜在因子(神经流形)重构EEG与原始EEG误差最小,其中,神经流形的维数是通过液晶可触摸显示屏设置的。采用FORCE(First-order Reduced and Controlled Error)训练算法对两个网络同时训练。
1、第一个LIF-RNN模型负责从原始EEG数据中提取低维神经流形,实现降维;第二个LIF-RNN输入为第一个LIF-RNN模型提取到的低维神经流形,输出为重构EEG。两个LIF-RNN模型的输入输出以及实现功能不同。
2、训练结束两个网络内部权重参数值不一样,本申请解码计算系统针对不同的个体均会通过这两个模型进行实时训练,使其两个网络输出的低维神经流形z更接近于真实流形,不同的脑电数据,两个网络实时训练过程中获得的权重及神经元参数不同,根据实际情况调整。
3、两个网络输入输出层神经元个数不同(第一个LIF-RNN模型,输入层神经元个数为脑电活动记录的维数是64,隐含层神经元个数为500,输出层神经元个数与设定的神经流形维数相等;第二个LIF-RNN模型,输入层神经元个数与设定的神经流形维数相等,隐含层神经元个数为500,输出层神经元个数为64)。
脑电数据集是由一个不可见的神经流形z的随机过程产生的,N是数据点数量,x(n)是指EEG采集装置采集的脑电数据所有导联在第n个数据点位置的数据集,神经流形是由一个先验分布pγ(z)的变化产生的,而x是由条件分布pγ(x|z)的变化决定的。参数γ和神经流形z对都是未知的。在该神经网络的设计中,引入识别模型qε(z|x)来近似求真正的后验分布pγ(z|x)。利用第一个RNN神经网络将EEG输入降维为神经流形z,并进一步第二个RNN神经网络将该神经流形作为第二个神经网络的输入。该两个网络的联合训练(每2秒的EEG数据长度计算一次实时重构误差,EEG采样频率为1000Hz,即N为2×1000Hz=2000。)目标为:
(1)中第二部分-DKL(qε(z|x)||pγ(z))是近似后验qε(z|x)与真实先验pγ(z)的KL散度。由下面公式计算:
J是z的维数,μ(n)和σ(n)分别为z的均值和标准差。
当重构EEG的实时误差到达液晶可触摸显示屏上参数设置模块的重构误差设定值后,训练结束,神经流形z和存储模块的目标流形通过导线被传送到微处理器做对比。
本发明提出使用深度学习的方法寻找神经流形,并且使神经流形可以重构回原始脑电数据,确保了神经流形的可靠性,解决了目前的解码计算方法主要基于时域分析法、频域分析法、时-频分析法、复杂网络以及非线性分析等通过对神经电信号进行公式计算提取特征,而带来的从侧面对EEG进行信号的挖掘和解读,容易受神经放电记录不稳定性影响的不足。本发明中提出基于LIF神经元的RNN模型,LIF神经元具有更明显的非线性特性,可以使得RNN网络的非线性特性更明显,提取的神经流形更加准确。
所述存储模块中存储的目标流形分为两种,一种是选择多名受试者做针刺实验,记录针刺效果较好的状态下大脑脑电活动,通过该脑电活动提取得到的神经流形作为目标流形,该流形在选择脑电分级和预后评估是使用;另一种是直接记录用户大脑正常状态下的脑电活动,通过流形提取模块提取(通过流形提取模块提取用户正常状态下的大脑神经流形,选取的30s时长的脑电信号作为样本数据提取神经流形)该用户大脑的神经流形,作为认知优化时的目标流形存储在流形提取子系统的存储模块中。
所述的认知优化参数计算子系统202中的微处理器将实际流形(就是实时神经流形)与流形提取子系统的存储模块中设置的目标流形做对比分析,得到刺激优化参数,刺激优化参数一方面通过显示屏显示,同时刺激优化参数通过导线连接传送给刺激装置的刺激器,刺激器将通过刺激频率和电流强度调节刺激电极的刺激强度,实现自动调节刺激装置的刺激强度、刺激频率等参数。
在刺激参数发生改变后会重新作用在脑电采集装置上获取新的脑电信号,再重复上述的预处理、流形提取得到实时实际流形、微处理器实时评估,实现实时解码优化。
所述的认知优化参数计算子系统202的微处理器中的最优刺激参数评估规则为:最优刺激参数通过定义一个损失函数进行评估,当损失函数小于显示屏设定的流形对比阈值时,刺激优化结束,也就是达到训练目标,能够获得此时最优的刺激参数;所述损失函数的表达式为公式(1):
式中,S指的是所有对角元素都为1的单位矩阵,用来选择一个状态子集的约束;β是惩罚因子,是指输入惩罚对损失函数的重要性;N指的是提取的实际流形的脑电数据量,即长度;u是外部输入量,根据不同的功能要求,外部输入量的表达式不同,可以通过不同的映射函数(指的是下述中u的表达式)计算得到最优刺激参数;xn为目标流形,x(n)为实际流形;
外部刺激装置为刺激电极,上述的u=δ×I×log(w)×(Δt)其中,δ是自由参数,通过用来调节刺激参数单位,默认为1;I是刺激强度,通过调节电流来实现,默认以毫安为单位;w是指以赫兹为单位的刺激频率;Δt是指当前刺激持续时间,以毫秒为单位。
所述的脑电分级处理子系统203的微处理器中设置脑电分级规则为:通过计算实际神经流形与设定流形的差异值进行评估,差值计算公式为式(2):
式中,S为所有对角元素都为1的单位矩阵,用来选择一个状态子集的约束;N指的是求取流形选取的数据量;xn为目标流形,x(n)为实际流形;本系统中定义脑电根据流形差值分为1-6级;
所述的脑电预后评估处理子系统204的微处理器中设置脑电预后评估规则为:通过计算迭代计算相邻时间段差异值变化进行评估,计算公式为式(3):
上述的式中S为所有对角元素都为1的单位矩阵,用来选择一个状态子集的约束;N指的是求取流形选取的数据量;xn为目标流形,x(n)为实际流形;本系统中定义预后评估分为好转(<0.9),稳定(0.9-1.1)和加重(>1.1)三种情况。
所述的液晶可触摸显示屏(参考图5)包括刺激参数显示模块,功能选择模块,流形对比模块,参数设置模块和解码结果显示模块。
所述的刺激参数显示模块用来实时显示最优刺激参数,包括电流频率和电流强度;
所述的功能选择模块用来进行功能选择,包括认知优化、脑电分级和预后评估三个功能;对于三种功能,流形提取子系统的工作过程是相同的,区别在于:1)选取目标流形不同;2)当选择功能为认知优化时,认知优化参数计算子系统202开始工作,当大脑实际神经流形与目标流形的损失函数大于显示屏设定的流形对比阈值时,系统自动开启工作,大脑实际神经流形与目标流形的损失函数小于显示屏设定的流形对比阈值时,系统结束工作;当选择功能为脑电分级时,脑电分级处理子系统203开始工作,根据大脑实际神经流形与目标流形对比分析实时计算大脑等级;当选择功能为预后评估时,脑电预后评估处理子系统204开始工作,根据大脑实际神经流形与目标流形差异值随时间波动进行预后评估。
所述的流形对比模块实现观测实际流形的实时变化以及与目标流形的对比情况,并在优化参数显示模块内显示微处理器评估后的最优刺激参数,包括刺激电极的电流频率和电流强度;
所述参数设置模块用来设置FPGA解码计算装置的训练参数,包括流形对比阈值设置窗口、重构误差设置窗口、学习率设置窗口、神经流形维数设置窗口;
所述的解码结果显示模块实现脑电分级和预后评估结果的显示,脑电分级结果显示为1级-6级,预后评估结果显示为好转,稳定或加重。
本发明未述及之处适用于现有技术。
Claims (9)
1.一种基于神经流形的脑电分级与预后FPGA解码系统,包括用于进行脑电活动记录的脑电采集装置,FPGA解码计算装置,液晶可触摸显示屏和刺激装置;其特征在于,FPGA解码计算装置中包括有流形提取程序,该流形提取程序过程是:
设定重构误差、神经流形维数,初始神经元连接权重W、LIF神经元的参数τ;
获取预处理后的脑电采集装置采集脑电活动信号EEG,记为原始EEG,输入到第一个LIF-RNN模型中,第一个LIF-RNN模型输出神经流形z,再连接第二个LIF-RNN模型,输出重构EEG,每个LIF-RNN模型均为由LIF神经元模型组成的RNN网络,对两个网络同时训练,训练目标是使重构EEG与原始EEG误差最小,当训练过程中的误差大于设定的重构误差,则按照先固定LIF神经元参数,再调整W,然后再固定W调整LIF神经元参数的规则对两个网络参数进行更新,在每次更新的LIF神经元参数和神经元连接权重条件下重新输入两个网络,计算下一次迭代的重构EEG,直至训练过程中的误差小于重构误差停止迭代;
所述LIF-RNN模型为:
其中,Wij为第i个神经元和第j个神经元的连接权重;τm是LIF神经元的膜时间常数,表示衰减到静息状态的时间,urest是静息膜电位,xi是第i个神经元的电流变量,Δu是当前时刻和上一时刻的膜电位差,x0是该神经元的初始电流变量,字母上的“.”表示求导。
2.根据权利要求1所述的解码系统,其特征在于,两个网络输入输出层神经元个数不同,第一个LIF-RNN模型,输入层神经元个数为脑电活动记录的维数是64,隐含层神经元个数为500,输出层神经元个数与设定的神经流形维数相等;第二个LIF-RNN模型,输入层神经元个数与设定的神经流形维数相等,隐含层神经元个数为500,输出层神经元个数为64。
3.根据权利要求1所述的解码系统,其特征在于,所述FPGA解码计算装置包括流形提取子系统,认知优化参数计算子系统,脑电分级处理子系统和脑电预后评估处理子系统,流形提取子系统包括脑电预处理模块,存储模块和流形提取模块,流形提取模块中嵌入流形提取程序;认知优化参数计算子系统,脑电分级处理子系统和脑电预后评估处理子系统各包括一个微处理器;
认知优化参数计算子系统的微处理器中设置有最优刺激参数评估规则为:最优刺激参数通过定义一个损失函数进行评估,当损失函数小于显示屏设定的流形对比阈值时,刺激优化结束:损失函数的计算公式为式(1):
式中,S为所有对角元素都为1的单位矩阵,用来选择一个状态子集的约束;β是惩罚因子,是指输入惩罚对损失函数的重要性;N指的是求取流形选取的数据量;u是外部输入量;xn为目标流形,x(n)为实际流形;
外部刺激装置为刺激电极,上述的u=δ×I×log(w)×(Δt)其中,δ是自由参数,用来调节刺激参数单位,默认为1;I是刺激强度,通过调节电流来实现,默认以毫安为单位;w是指以赫兹为单位的刺激频率;Δt是指当前刺激持续时间,以毫秒为单位;
脑电分级处理子系统的微处理器中设置脑电分级规则为:通过计算实际神经流形与设定流形的差异值进行评估,差值计算公式为式(2):
式中,S为所有对角元素都为1的单位矩阵,用来选择一个状态子集的约束;N指的是求取流形选取的数据量;xn为目标流形,x(n)为实际流形;本系统中定义脑电根据流形差值分为1-6级;
脑电预后评估处理子系统的微处理器中设置脑电预后评估规则为:通过计算迭代计算相邻时间段差异值变化进行评估,计算公式为式(3):
4.如权利要求3所述的基于神经流形的脑电分级与预后FPGA解码系统,其特征在于,所述脑电预处理模块对采集到的脑电信号进行滤波、去伪迹、去眼电、归一化处理。
5.如权利要求3所述的基于神经流形的脑电分级与预后FPGA解码系统,其特征在于,所述的存储模块中的目标流形是大脑处于良好编码记忆的状态,通过选择具有良好记忆能力的健康受试者中采集得到的EEG数据来提取目标流形,作为动脑状态的优化目标存储到流形提取子系统的存储模块中。
6.如权利要求1所述的基于神经流形的脑电分级与预后FPGA解码系统,其特征在于,包括脑电采集装置,FPGA解码计算装置,液晶可触摸显示屏和刺激装置;
其中,所述的脑电采集装置通过64导EEG设备进行脑电活动记录;
FPGA解码计算装置包括流形提取子系统,认知优化参数计算子系统,脑电分级处理子系统和脑电预后评估处理子系统;流形提取子系统实现脑电数据的预处理分析和流形提取,认知优化参数计算子系统,脑电分级处理子系统和脑电预后评估处理子系统分别进行最优刺激参数计算,脑电分级和预后评估;
可触摸显示屏用于实现FPGA解码计算装置的参数设置以及大脑实际流形和目标流形的显示对比;显示屏和FPGA解码计算装置通过导线连接;
刺激装置是由刺激器控制的刺激电极,FPGA解码计算装置与刺激装置通过导线连接。
7.如权利要求6所述的基于神经流形的脑电分级与预后FPGA解码系统,其特征在于,
所述的认知优化参数计算子系统将该实际流形和目标流形做对比分析,得到刺激优化参数,并将刺激优化参数通过导线连接传送给刺激装置,实现自动调节刺激装置的刺激强度、刺激频率参数。
8.如权利要求6所述的基于神经流形的脑电分级与预后FPGA解码系统,其特征在于,所述的液晶可触摸显示屏包括刺激参数显示模块,功能选择模块,流形对比模块,参数设置模块和解码结果显示模块;所述的功能选择模块用来进行功能选择,包括认知优化、脑电分级和预后评估三个功能;所述的流形对比模块实现观测实际流形的实时变化以及与目标流形的对比情况;所述的参数设置模块用来设置FPGA解码计算装置的训练参数,包括神经流形个数、输入维度、重构误差和学习率。
9.如权利要求6所述的基于神经流形的脑电分级与预后FPGA解码系统,其特征在于,所述的FPGA解码计算装置的FPGA电路设计实现使用直接内存访问端口实现LIF-RNN硬件网络和存储模块之间数据的传输;硬件内部模块由状态机控制,以执行一系列操作;在配置阶段,包含LIF神经元初始时间常数τ、流形对比阈值、重构误差、神经流形维数、学习率的系统所需的参数由微处理器存储到配置寄存器中用于控制硬件网络;逻辑门被配置为具有LIF神经元响应函数;该设计将初始连接权重矩阵和输入数据放入存储模块中;两个LIF-RNN模型每一轮迭代计算分为两步,第一步,逻辑门Gate模块根据路由器分配的数据输入并行产生连接权重矩阵的行向量流,并将其存储到先进先出寄存器模块,为下一步做准备;第二步,先进先出寄存器模块通过物联网感知模块将内部向量输出经路由器、直接内存访问端口回存储模块,之后微处理器进行评估损失误差计算比较,逻辑门Gate模块产生新的连接权重矩阵的行向量流;当微处理器比较符合条件时,向配置寄存器发送指令迭代停止。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110409356.0A CN113112017B (zh) | 2021-04-16 | 2021-04-16 | 基于神经流形的脑电分级与预后fpga解码系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110409356.0A CN113112017B (zh) | 2021-04-16 | 2021-04-16 | 基于神经流形的脑电分级与预后fpga解码系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113112017A CN113112017A (zh) | 2021-07-13 |
CN113112017B true CN113112017B (zh) | 2022-09-27 |
Family
ID=76717969
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110409356.0A Active CN113112017B (zh) | 2021-04-16 | 2021-04-16 | 基于神经流形的脑电分级与预后fpga解码系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113112017B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114098767A (zh) * | 2021-11-26 | 2022-03-01 | 西安交通大学 | 一种显示器刷新率客观评估选择方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5687291A (en) * | 1996-06-27 | 1997-11-11 | The United States Of America As Represented By The Secretary Of The Army | Method and apparatus for estimating a cognitive decision made in response to a known stimulus from the corresponding single-event evoked cerebral potential |
CN102715903B (zh) * | 2012-07-09 | 2014-04-16 | 天津市人民医院 | 基于定量脑电图的脑电特征提取方法 |
CN103793593B (zh) * | 2013-11-15 | 2018-02-13 | 吴一兵 | 一种获取大脑状态客观定量指标的方法 |
CN105160205B (zh) * | 2015-09-14 | 2018-07-27 | 天津大学 | 基于lnc模型的针刺神经电信号fpga编码分析平台 |
CN105559777B (zh) * | 2016-03-17 | 2018-10-12 | 北京工业大学 | 基于小波包和lstm型rnn神经网络的脑电识别方法 |
CN106933348A (zh) * | 2017-01-24 | 2017-07-07 | 武汉黑金科技有限公司 | 一种基于虚拟现实的脑电神经反馈干预系统及方法 |
US11141088B2 (en) * | 2018-10-09 | 2021-10-12 | Sony Corporation | Electronic device for recognition of mental behavioral attributes based on deep neural networks |
CN109157231B (zh) * | 2018-10-24 | 2021-04-16 | 阿呆科技(北京)有限公司 | 基于情绪刺激任务的便携式多通道抑郁倾向评估系统 |
CN109614885A (zh) * | 2018-11-21 | 2019-04-12 | 齐鲁工业大学 | 一种基于lstm的脑电信号快速分类识别方法 |
CN109583346A (zh) * | 2018-11-21 | 2019-04-05 | 齐鲁工业大学 | 基于lstm-fc的脑电信号特征提取与分类识别方法 |
US11696714B2 (en) * | 2019-04-24 | 2023-07-11 | Interaxon Inc. | System and method for brain modelling |
CN110916654B (zh) * | 2019-11-09 | 2022-03-25 | 天津大学 | 一种脑活动状态的等级评估方法 |
CN111461204B (zh) * | 2020-03-30 | 2023-05-26 | 华南理工大学 | 一种用于游戏评估的基于脑电信号的情感识别方法 |
CN111539331B (zh) * | 2020-04-23 | 2023-03-28 | 西安科技大学 | 一种基于脑机接口的视觉图像重建系统 |
-
2021
- 2021-04-16 CN CN202110409356.0A patent/CN113112017B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113112017A (zh) | 2021-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | Clustering technique-based least square support vector machine for EEG signal classification | |
Nevado-Holgado et al. | Characterising the dynamics of EEG waveforms as the path through parameter space of a neural mass model: application to epilepsy seizure evolution | |
CN110070105B (zh) | 基于元学习实例快速筛选的脑电情绪识别方法、系统 | |
Kshirsagar et al. | Optimization of BPNN parameters using PSO for EEG signals | |
Giraldo-Suarez et al. | Reconstruction of neural activity from EEG data using dynamic spatiotemporal constraints | |
CN109671500A (zh) | 基于脑电图时域数据的精神分裂症辅助诊断分类方法 | |
CN112675428B (zh) | 抗癫痫电刺激硬件在环仿真系统 | |
CN110522412A (zh) | 基于多尺度脑功能网络分类脑电信号的方法 | |
CN110392549A (zh) | 确定引起期望行为的最佳大脑刺激的方法和设备 | |
CN113112017B (zh) | 基于神经流形的脑电分级与预后fpga解码系统 | |
Mouleeshuwarapprabu et al. | Nonlinear vector decomposed neural network based EEG signal feature extraction and detection of seizure | |
CN106510702A (zh) | 基于中潜伏期听觉诱发电位的听觉注意特征提取、识别系统及方法 | |
Zhang et al. | Cross-patient automatic epileptic seizure detection using patient-adversarial neural networks with spatio-temporal EEG augmentation | |
Reddy et al. | Optimization Driven Spike Deep Belief Neural Network classifier: a deep-learning based Multichannel Spike Sorting Neural Signal Processor (NSP) module for high-channel-count Brain Machine Interfaces (BMIs) | |
Shekokar et al. | Epileptic seizure classification using LSTM | |
Valencia et al. | Towards in vivo neural decoding | |
Saranya et al. | Ensemble classification for epileptic seizure prediction | |
CN113967023B (zh) | 闭环光遗传干预系统及干预方法 | |
Shoham et al. | The Theory of Central Nervous System Recording | |
Shoham et al. | The theory of central nervous system recording | |
EP4230138A1 (en) | Method and device for physiological signal preprocessing | |
Hueber et al. | Benchmarking of hardware-efficient real-time neural decoding in brain–computer interfaces | |
Leelavathi et al. | EEG-Based Seizure Prediction Using CNN and BiLSTM Algorithm of Deep Learning | |
MURUGESWARI | WAVELET DECOMPOSITION METHOD BASED AUTOMATED DIAGNOSIS OF MUSCLE DISEASES | |
Klempíř | Analysis of Neural Activity in the Human Basal Ganglia: From Micro to Macro |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |