CN102973279A - 独立成分分析联合最小二乘法的近红外脑机接口的信号检测方法 - Google Patents

独立成分分析联合最小二乘法的近红外脑机接口的信号检测方法 Download PDF

Info

Publication number
CN102973279A
CN102973279A CN2012105519561A CN201210551956A CN102973279A CN 102973279 A CN102973279 A CN 102973279A CN 2012105519561 A CN2012105519561 A CN 2012105519561A CN 201210551956 A CN201210551956 A CN 201210551956A CN 102973279 A CN102973279 A CN 102973279A
Authority
CN
China
Prior art keywords
lambda
brain
delta
detector
epsiv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012105519561A
Other languages
English (en)
Other versions
CN102973279B (zh
Inventor
张岩
孙金玮
王宽全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201210551956.1A priority Critical patent/CN102973279B/zh
Publication of CN102973279A publication Critical patent/CN102973279A/zh
Application granted granted Critical
Publication of CN102973279B publication Critical patent/CN102973279B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

独立成分分析联合最小二乘法的近红外脑机接口的信号检测方法,属于血红蛋白浓度检测技术领域。它解决了近红外脑机接口检测中由于人体生理干扰造成检测获得的氧合血红蛋白浓度变化和还原血红蛋白浓度变化量不准确,而影响脑功能活动信号准确提取的问题。它通过检测器记录大脑安静状态下和处于诱发激励时漫反射光强,获得光密度变化量的时间序列
Figure DDA00002609430100011
Figure DDA00002609430100012
Figure DDA00002609430100013
Figure DDA00002609430100014
再获取Δ[HbO2]N(k)、Δ[HHb]N(k)、Δ[HbO2]F(k)Δ[HHb]F(k);用x1(k)表示步骤二中的Δ[HbO2]N(k)或Δ[HHb]N(k);用x2(k)表示步骤二中Δ[HbO2]F(k)或Δ[HHb]F(k);推算出脑功能信号表达式s(k);求解脑功能信号s(k)。本发明适用于脑机接口的信号检测。

Description

独立成分分析联合最小二乘法的近红外脑机接口的信号检测方法
技术领域
本发明涉及独立成分分析联合最小二乘法的近红外脑机接口的信号检测方法,属于血红蛋白浓度检测技术领域。
背景技术
脑机接口是一种由人脑与计算机或其它电子设备建立起来的,基于大脑功能的电生理测量,而不依赖于外周神经和肌肉组织这些常规的人脑信息输出通道,实现人与外界信息交流和控制的全新通讯系统。通过分析脑信号将用户的运动等意图转换为语言、设备的控制输入量等,使用户直接通过脑信号与外面的环境进行实时的交互,从而绕开了人类神经末梢和肌肉等通常的信息通道,建立能直接“让思想变成行动”的对外信息交流和控制新途径。
目前,脑机接口研究的基本方法是提取并识别特定意识活动的脑功能状态特征信息,现有的主要技术包括脑电图、脑磁图、正电子放射层扫描术、功能磁共振。基于神经元的活动、局部能量代谢与局部血液动力学之间存在着一定的关系,通过测量脑组织对近红外光波的吸收特性,能够提供基于氧合血红蛋白和还原血红蛋白浓度等信息的血液动力学变化。因此,利用近红外光谱技术测量该区域光学参数、血氧及血液动力学参数信息,可以获取大脑皮质在肢体运动、视觉、听觉、触觉以及语言等刺激激励时的功能响应,用于脑机接口的研究。功能近红外光谱技术可以安全、便携、经济以及非侵入式的检测脑活动等特性,基于较高的时间分辨率和合理的空间分辨率,在脑机接口研究中具有一定的发展潜力。
然而,通过近红外光谱技术进行诱发激励时脑功能活动的检测,会受到人体的生理活动如心脏跳动、呼吸、低频振荡、超低频振荡的影响,称之为生理干扰。这种生理干扰不但出现在头皮、颅骨和脑脊液等外层脑组织中,也出现在脑灰质和脑白质等深层脑组织中,这些原因会使得近红外脑机接口检测获得的氧合血红蛋白浓度变化和还原血红蛋白浓度变化量不准确,进而严重影响脑功能活动信号的准确提取。
发明内容
本发明是为了解决近红外脑机接口检测中由于人体生理干扰造成检测获得的氧合血红蛋白浓度变化和还原血红蛋白浓度变化量不准确,而影响脑功能活动信号准确提取的问题,提供了一种独立成分分析联合最小二乘法的近红外脑机接口的信号检测方法。
本发明所述独立成分分析联合最小二乘法的近红外脑机接口的信号检测方法,它包括以下步骤:
步骤一:采用近红外探头靠近待检测头部的头皮表面,使得该近红外探头发射的近红外光入射至待测脑组织,该近红外探头由双波长光源S、检测器D1和检测器D2构成,其中双波长光源S到检测器D1之间的直线距离为r1,5mm≤r1≤15mm,双波长光源S到检测器D2之间的直线距离为r2,30mm≤r2≤45mm;检测器D1用于感应外层脑组织的血液动力学变化,检测器D2用于感应大脑皮质的血液动力学变化;
步骤二:通过检测器D1记录大脑安静状态下的漫反射光强和大脑处于诱发激励状态下的漫反射光强,获得大脑安静状态下双波长光源S波长为λ1时、对应的漫反射光的光密度变化量的时间序列
Figure BDA00002609429900021
及获得大脑处于诱发激励状态下双波长光源S波长为λ2时、对应的漫反射光的光密度变化量的时间序列
Figure BDA00002609429900022
通过检测器D2记录大脑安静状态下的漫反射光强和大脑处于诱发激励状态下的漫反射光强,获得大脑安静状态下双波长光源S波长为λ1时、对应的漫反射光的光密度变化量的时间序列
Figure BDA00002609429900023
及获得大脑处于诱发激励状态下双波长光源S波长为λ2时、对应的漫反射光的光密度变化量的时间序列
Figure BDA00002609429900024
k为获得时间序列的点数,k=1,2,...,M,M为正整数;
步骤三:根据步骤二中获得的时间序列
Figure BDA00002609429900025
和时间序列
Figure BDA00002609429900026
采用修正朗伯比尔定律获取与检测器D1的检测信号对应的氧合血红蛋白浓度变化量的时间序列Δ[HbO2]N(k),及获取与检测器D1的检测信号对应的还原血红蛋白浓度变化量的时间序列Δ[HHb]N(k):
Δ [ HbO 2 ] N ( k ) = ( ϵ HHb ( λ 1 ) ΔOD λ 2 N ( k ) / DPF ) - ( ϵ HHb ( λ 2 ) ΔOD λ 1 N ( k ) / DPF ) r 1 ( ϵ HbO 2 ( λ 2 ) ϵ HHb ( λ 1 ) - ϵ HbO 2 ( λ 1 ) ϵ HHb ( λ 2 ) ) ,
Δ [ HHb ] N ( k ) = ( ϵ HbO 2 ( λ 2 ) ΔOD λ 1 N ( k ) / DPF ) - ( ϵ HbO 2 ( λ 1 ) ΔOD λ 2 N ( k ) / DPF ) r 1 ( ϵ HbO 2 ( λ 2 ) ϵ HHb ( λ 1 ) - ϵ HbO 2 ( λ 1 ) ϵ HHb ( λ 2 ) ) ;
其中,εHHb1)为双波长光源S的波长为λ1时还原血红蛋白的消光系数,
εHHb2)为双波长光源S的波长为λ2时还原血红蛋白的消光系数,
为双波长光源S的波长为λ1时氧合血红蛋白的消光系数,
Figure BDA00002609429900032
为双波长光源S的波长为λ2时氧合血红蛋白的消光系数,
DPF为差分路径因子;
根据步骤二中获得的时间序列
Figure BDA00002609429900033
和时间序列
Figure BDA00002609429900034
采用修正朗伯比尔定律获取与检测器D2的检测信号对应的氧合血红蛋白浓度变化量的时间序列Δ[HbO2]F(k),及获取与检测器D2的检测信号对应的还原血红蛋白浓度变化量的时间序列Δ[HHb]F(k):
Δ [ HbO 2 ] F ( k ) = ( ϵ HHb ( λ 1 ) ΔOD λ 2 F ( k ) / DPF ) - ( ϵ HHb ( λ 2 ) ΔOD λ 1 F ( k ) / DPF ) r 2 ( ϵ HbO 2 ( λ 2 ) ϵ HHb ( λ 1 ) - ϵ HbO 2 ( λ 1 ) ϵ HHb ( λ 2 ) ) ,
Δ [ HHb ] F ( k ) = ( ϵ HbO 2 ( λ 2 ) ΔOD λ 1 F ( k ) / DPF ) - ( ϵ HbO 2 ( λ 1 ) ΔOD λ 2 F ( k ) / DPF ) r 2 ( ϵ HbO 2 ( λ 2 ) ϵ HHb ( λ 1 ) - ϵ HbO 2 ( λ 1 ) ϵ HHb ( λ 2 ) ) ;
步骤四:用x1(k)表示步骤三中的Δ[HbO2]F(k)或Δ[HHb]F(k),将x1(k)作为脑机接口检测中的测量通道信号,x1(k)扩展至加噪模型为:
x1(k)=s(k)+n(k),
其中s(k)为脑机接口信号中的血液动力学信号,n(k)为生理干扰信号;
用x2(k)表示步骤三中的Δ[HbO2]N(k)或Δ[HHb]N(k),作为脑机接口检测中的虚拟通道信号,则有观测矩阵x:
x = x 1 x 2 = s + n u = 1 a 0 1 s u = Ar , A = 1 a 0 1 , r = s u ,
其中,x1为整个观测的时间序列x1(k),是一维相量;
x2为整个观测的时间序列x2(k),是一维相量,即检测器D2检测的生理干扰混合相量u;
s为血液动力学信号的整个时间序列;
n为整个观测的时间序列x1(k)中混叠的噪声,
a为检测器D2检测获得的干扰信号与检测器D1检测获得信号的比例权值;
A为混合矩阵,
r为分离的脑机接口信号和噪声组成的相量;
步骤五、用独立成分分析ICA算法,在混合矩阵A和血液动力学信号的整个时间序列s未知的情况下,根据观测矩阵x确定分离矩阵W,使得变换后的输出Y=Wx;
步骤六、根据步骤五中的Y=Wx推算出二维矩阵,两行分别表示为l和d,l和d分别与s和u满足线性相关条件,用bl(k)+c作为s(k)的最优估计,则残差e(k)为:
e(k)=x1(k)-bl(k)-c;
步骤七、利用最小二乘算法,采用残差e(k)的累计平方误差性能函数J作为代价函数:
J = Σ k = 1 N e 2 ( k ) = Σ k = 1 N ( x 1 ( k ) - bl ( k ) - c ) 2 ,
求取使J最小的系数b和c,再将求取的系数b和c带入步骤六中的bl(k)+c公式中,即可获得脑机接口信号中的血液动力学信号s(k)。
步骤二中光密度变化量的时间序列和光密度变化量的时间序列
Figure BDA00002609429900043
按如下公式获取:
ΔOD λ 1 N ( k ) = log I base N ( λ 1 ) / I stim N ( λ 1 ) ,
ΔOD λ 1 F ( k ) = log I base F ( λ 1 ) / I stim F ( λ 1 ) ,
其中:
Figure BDA00002609429900046
为双波长光源S波长为λ1时,大脑安静状态下检测器D1测得的出射光强;
Figure BDA00002609429900047
为双波长光源S波长为λ1时,大脑安静状态下检测器D2测得的出射光强;
Figure BDA00002609429900048
为双波长光源S波长为λ1时,大脑处于诱发激励状态下检测器D1测得的出射光强;
Figure BDA00002609429900049
为双波长光源S波长为λ1时,大脑处于诱发激励状态下检测器D2测得的出射光强,
步骤二中光密度变化量的时间序列
Figure BDA000026094299000410
和光密度变化量的时间序列
Figure BDA000026094299000411
按如下公式获取:
ΔOD λ 2 N ( k ) = log I base N ( λ 2 ) / I stim N ( λ 2 ) ,
ΔOD λ 2 F ( k ) = log I base F ( λ 2 ) / I stim F ( λ 2 ) ,
其中:
Figure BDA000026094299000414
为双波长光源S波长为λ2时,大脑安静状态下检测器D1测得的出射光强,
Figure BDA00002609429900051
为双波长光源S波长为λ2时,大脑处于诱发激励状态下检测器D1测得的出射光强;
Figure BDA00002609429900052
为双波长光源S波长为λ2时,大脑安静状态下检测器D2测得的出射光强,
Figure BDA00002609429900053
为双波长光源S波长为λ2时,大脑处于诱发激励状态下检测器D2测得的出射光强。
步骤七中残差e(k)的获得方法为:
首先,通过最小二乘估计准则表示使残差e(k)的累计平方误差性能函数J最小,J表示为:
J = Σ k = 1 N e 2 ( k ) = Σ k = 1 N ( x 1 ( k ) - bl ( k ) - c ) 2 ;
其次,求解最优系数b和c:
对J相对于b,c求导,并将求导结果置为0,即:
∂ J / ∂ b = Σ k = 1 N 2 [ x 1 ( k ) - bl ( k ) - c ] ( - l ( k ) ) = 2 Σ k = 1 N ( c + bl ( k ) - x 1 ( k ) ) l ( k ) = 0 ,
∂ J / ∂ c = Σ k = 1 N 2 [ x 1 ( k ) - bl ( k ) - c ] ( - 1 ) = 2 Σ k = 1 N [ c + bl ( k ) - x 1 ( k ) ] = 0 ,
则:
b Σ k = 1 N l 2 ( k ) - Σ k = 1 N l ( k ) x 1 ( k ) + c Σ k = 1 N l ( k ) = 0 ,
b Σ k = 1 N l ( k ) - Σ k = 1 N x 1 ( k ) + Nc = 0 ;
最后,求解脑机接口信号中的血液动力学信号s(k):
s(k)=bl(k)+c。
本发明的优点:本发明是针对近红外脑机接口研究过程中大脑特定区域氧合血红蛋白浓度变化Δ[HbO2]和还原血红蛋白浓度变化Δ[HHb]易受到心跳、呼吸及人体自发低频振荡噪声干扰的状况,在多距测量方法的基础上,考虑近端检测器D1获得的血液动力学参数和远端检测器D2受到的生理干扰具有相关性,通过独立成分分析算法对远端和近端检测器测量结果进行分解,并通过对分解的独立成分分量建立线性映射来估计测量信号中的脑功能信号。独立成分分析能将复合信号分解为一系列的独立成分分量,并且分解的独立成分分量具有很好的独立性,适用于盲源信号的分析。本发明通过用独立成分分析算法分解远端检测器和近端检测器测得的外层组织血液动力学参数,从而获得表示大脑皮质血液动力学参数的估计,实现对脑功能信号的准确提取。
附图说明
图1为近红外探头的检测状态示意图,其中a表示头皮,b表示颅骨,c表示脑脊液,d表示脑灰质,e表示脑白质。
具体实施方式
具体实施方式一:下面结合图1说明本实施方式,本实施方式所述独立成分分析联合最小二乘法的近红外脑机接口的信号检测方法,它包括以下步骤:
步骤一:采用近红外探头靠近待检测头部的头皮表面,使得该近红外探头发射的近红外光入射至待测脑组织,该近红外探头由双波长光源S、检测器D1和检测器D2构成,其中双波长光源S到检测器D1之间的直线距离为r1,5mm≤r1≤15mm,双波长光源S到检测器D2之间的直线距离为r2,30mm≤r2≤45mm;检测器D1用于感应外层脑组织的血液动力学变化,检测器D2用于感应大脑皮质的血液动力学变化;
步骤二:通过检测器D1记录大脑安静状态下的漫反射光强和大脑处于诱发激励状态下的漫反射光强,获得大脑安静状态下双波长光源S波长为λ1时、对应的漫反射光的光密度变化量的时间序列
Figure BDA00002609429900061
及获得大脑处于诱发激励状态下双波长光源S波长为λ2时、对应的漫反射光的光密度变化量的时间序列
Figure BDA00002609429900062
通过检测器D2记录大脑安静状态下的漫反射光强和大脑处于诱发激励状态下的漫反射光强,获得大脑安静状态下双波长光源S波长为λ1时、对应的漫反射光的光密度变化量的时间序列
Figure BDA00002609429900063
及获得大脑处于诱发激励状态下双波长光源S波长为λ2时、对应的漫反射光的光密度变化量的时间序列
Figure BDA00002609429900064
k为获得时间序列的点数,k=1,2,...,M,M为正整数;
步骤三:根据步骤二中获得的时间序列
Figure BDA00002609429900065
和时间序列采用修正朗伯比尔定律获取与检测器D1的检测信号对应的氧合血红蛋白浓度变化量的时间序列Δ[HbO2]N(k),及获取与检测器D1的检测信号对应的还原血红蛋白浓度变化量的时间序列Δ[HHb]N(k):
Δ [ HbO 2 ] F ( k ) = ( ϵ HHb ( λ 1 ) ΔOD λ 2 F ( k ) / DPF ) - ( ϵ HHb ( λ 2 ) ΔOD λ 1 F ( k ) / DPF ) r 1 ( ϵ HbO 2 ( λ 2 ) ϵ HHb ( λ 1 ) - ϵ HbO 2 ( λ 1 ) ϵ HHb ( λ 2 ) ) ,
Δ [ HHb ] N ( k ) = ( ϵ HbO 2 ( λ 2 ) ΔOD λ 1 N ( k ) / DPF ) - ( ϵ HbO 2 ( λ 1 ) ΔOD λ 2 N ( k ) / DPF ) r 1 ( ϵ HbO 2 ( λ 2 ) ϵ HHb ( λ 1 ) - ϵ HbO 2 ( λ 1 ) ϵ HHb ( λ 2 ) ) ;
其中,εHHb1)为双波长光源S的波长为λ1时还原血红蛋白的消光系数,
εHHb2)为双波长光源S的波长为λ2时还原血红蛋白的消光系数,
Figure BDA00002609429900073
为双波长光源S的波长为λ1时氧合血红蛋白的消光系数,
Figure BDA00002609429900074
为双波长光源S的波长为λ2时氧合血红蛋白的消光系数,
DPF为差分路径因子;
根据步骤二中获得的时间序列
Figure BDA00002609429900075
和时间序列
Figure BDA00002609429900076
采用修正朗伯比尔定律获取与检测器D2的检测信号对应的氧合血红蛋白浓度变化量的时间序列Δ[HbO2]F(k),及获取与检测器D2的检测信号对应的还原血红蛋白浓度变化量的时间序列Δ[HHb]F(k):
Δ [ HbO 2 ] F ( k ) = ( ϵ HHb ( λ 1 ) ΔOD λ 2 F ( k ) / DPF ) - ( ϵ HHb ( λ 2 ) ΔOD λ 1 F ( k ) / DPF ) r 2 ( ϵ HbO 2 ( λ 2 ) ϵ HHb ( λ 1 ) - ϵ HbO 2 ( λ 1 ) ϵ HHb ( λ 2 ) ) ,
Δ [ HHb ] F ( k ) = ( ϵ HbO 2 ( λ 2 ) ΔOD λ 1 F ( k ) / DPF ) - ( ϵ HbO 2 ( λ 1 ) ΔOD λ 2 F ( k ) / DPF ) r 2 ( ϵ HbO 2 ( λ 2 ) ϵ HHb ( λ 1 ) - ϵ HbO 2 ( λ 1 ) ϵ HHb ( λ 2 ) ) ;
步骤四:用x1(k)表示步骤三中的Δ[HbO2]F(k)或Δ[HHb]F(k),将x1(k)作为脑机接口检测中的测量通道信号,x1(k)扩展至加噪模型为:
x1(k)=s(k)+n(k),
其中s(k)为脑机接口信号中的血液动力学信号,n(k)为生理干扰信号;
用x2(k)表示步骤三中的Δ[HbO2]N(k)或Δ[HHb]N(k),作为脑机接口检测中的虚拟通道信号,则有观测矩阵x:
x = x 1 x 2 = s + n u = 1 a 0 1 s u = Ar , A = 1 a 0 1 , r = s u ,
其中,x1为整个观测的时间序列x1(k),是一维相量;
x2为整个观测的时间序列x2(k),是一维相量,即检测器D2检测的生理干扰混合相量u;
s为血液动力学信号的整个时间序列;
n为整个观测的时间序列x1(k)中混叠的噪声,
a为检测器D2检测获得的干扰信号与检测器D1检测获得信号的比例权值;
A为混合矩阵,
r为分离的脑机接口信号和噪声组成的相量;
步骤五、用独立成分分析ICA算法,在混合矩阵A和血液动力学信号的整个时间序列s未知的情况下,根据观测矩阵x确定分离矩阵W,使得变换后的输出Y=Wx;
步骤六、根据步骤五中的Y=Wx推算出二维矩阵,两行分别表示为l和d,l和d分别与s和u满足线性相关条件,用bl(k)+c作为s(k)的最优估计,则残差e(k)为:
e(k)=x1(k)-bl(k)-c;
步骤七、利用最小二乘算法,采用残差e(k)的累计平方误差性能函数J作为代价函数:
J = Σ k = 1 N e 2 ( k ) = Σ k = 1 N ( x 1 ( k ) - bl ( k ) - c ) 2 ,
求取使J最小的系数b和c,再将求取的系数b和c带入步骤六中的bl(k)+c公式中,即可获得脑机接口信号中的血液动力学信号s(k)。
本实施方式中,x1(k)包含s(k)以及n(k),x2(k)为近距离光源检测器获得的血液动力学信息,主要为生理干扰信号且与x1(k)中噪声信号n(k)相关,从而获得观测矩阵x。
具体实施方式二:本实施方式对实施方式一的进一步说明,本实施方式所述双波长光源S发出的两种波长分别为λ1=760nm,λ2=850nm。
具体实施方式三:本实施方式对实施方式一或二的进一步说明,本实施方式所述双波长光源S到检测器D1之间的直线距离r1为10mm,双波长光源S到检测器D2之间的直线距离r2为40mm。
本实施方式中设置的两个检测器间距约为近红外光探测深度的两倍,这样设置能够使检测器D2检测的近红外光可有效穿入大脑皮层,检测器D1检测的近红外光仅穿入头外层脑组织。然后将获得的光密度变化通过修正朗伯比尔定律转变为氧合血红蛋白浓度变化量的时间序列Δ[HbO2]N(k)、Δ[HbO2]F(k)和还原血红蛋白浓度变化量的时间序列Δ[HHb]N(k)、Δ[HHb]F(k)。将时间序列Δ[HbO2]N(k)、Δ[HbO2]F(k)或时间序列Δ[HHb]N(k)、Δ[HHb]F(k)构成二维观测矩阵x。通过独立成分分析算法根据观测矩阵x确定分离矩阵W,使得变换后的输出Y=Wx。矩阵Y的两行分别表示为l和d,l和d分别与s和u满足线性相关条件。将得到的分量l进行线性组合估计脑功能信号s,构建鳌头e(k)。通过最小二乘估计准则求解使残差e(k)的累计平方误差性能函数J最小,获得线性组合参数b和c,从而解得剔除生理干扰的脑机接口研究中的脑功能信号。
具体实施方式四:本实施方式对实施方式一、二或三的进一步说明,本实施方式所述步骤二中光密度变化量的时间序列
Figure BDA00002609429900091
和光密度变化量的时间序列按如下公式获取:
ΔOD λ 1 N ( k ) = log I base N ( λ 1 ) / I stim N ( λ 1 ) ,
ΔOD λ 1 F ( k ) = log I base F ( λ 1 ) / I stim F ( λ 1 ) ,
其中:为双波长光源S波长为λ1时,大脑安静状态下检测器D1测得的出射光强;
为双波长光源S波长为λ1时,大脑安静状态下检测器D2测得的出射光强;
Figure BDA00002609429900097
为双波长光源S波长为λ1时,大脑处于诱发激励状态下检测器D1测得的出射光强;
Figure BDA00002609429900098
为双波长光源S波长为λ1时,大脑处于诱发激励状态下检测器D2测得的出射光强,
步骤二中光密度变化量的时间序列和光密度变化量的时间序列
Figure BDA000026094299000910
按如下公式获取:
ΔOD λ 2 N ( k ) = log I base N ( λ 2 ) / I stim N ( λ 2 ) ,
ΔOD λ 2 F ( k ) = log I base F ( λ 2 ) / I stim F ( λ 2 ) ,
其中:
Figure BDA000026094299000913
为双波长光源S波长为λ2时,大脑安静状态下检测器D1测得的出射光强,
为双波长光源S波长为λ2时,大脑处于诱发激励状态下检测器D1测得的出射光强;
Figure BDA00002609429900101
为双波长光源S波长为λ2时,大脑安静状态下检测器D2测得的出射光强,
为双波长光源S波长为λ2时,大脑处于诱发激励状态下检测器D2测得的出射光强。
在近红外波段氧合血红蛋白HbO2和还原血红蛋白HHb是吸收体,并且其吸收谱存在显著差异。因此,基于连续光谱技术的近红外脑功能检测是HbO2和HHb的浓度变化。
具体实施方式五:本实施方式对实施方式一、二、三或四的进一步说明,本实施方式所述步骤七中残差e(k)的获得方法为:
首先,通过最小二乘估计准则表示使残差e(k)的累计平方误差性能函数J最小,J表示为:
J = Σ k = 1 N e 2 ( k ) = Σ k = 1 N ( x 1 ( k ) - bl ( k ) - c ) 2 ;
其次,求解最优系数b和c:
对J相对于b,c求导,并将求导结果置为0,即:
∂ J / ∂ b = Σ k = 1 N 2 [ x 1 ( k ) - bl ( k ) - c ] ( - l ( k ) ) = 2 Σ k = 1 N ( c + bl ( k ) - x 1 ( k ) ) l ( k ) = 0 ,
∂ J / ∂ c = Σ k = 1 N 2 [ x 1 ( k ) - bl ( k ) - c ] ( - 1 ) = 2 Σ k = 1 N [ c + bl ( k ) - x 1 ( k ) ] = 0 ,
则:
b Σ k = 1 N l 2 ( k ) - Σ k = 1 N l ( k ) x 1 ( k ) + c Σ k = 1 N l ( k ) = 0 ,
b Σ k = 1 N l ( k ) - Σ k = 1 N x 1 ( k ) + Nc = 0 ;
最后,求解脑机接口信号中的血液动力学信号s(k):
s(k)=bl(k)+c。

Claims (5)

1.一种独立成分分析联合最小二乘法的近红外脑机接口的信号检测方法,其特征在于,它包括以下步骤:
步骤一:采用近红外探头靠近待检测头部的头皮表面,使得该近红外探头发射的近红外光入射至待测脑组织,该近红外探头由双波长光源S、检测器D1和检测器D2构成,其中双波长光源S到检测器D1之间的直线距离为r1,5mm≤r1≤15mm,双波长光源S到检测器D2之间的直线距离为r2,30mm≤r2≤45mm;检测器D1用于感应外层脑组织的血液动力学变化,检测器D2用于感应大脑皮质的血液动力学变化;
步骤二:通过检测器D1记录大脑安静状态下的漫反射光强和大脑处于诱发激励状态下的漫反射光强,获得大脑安静状态下双波长光源S波长为λ1时、对应的漫反射光的光密度变化量的时间序列
Figure FDA00002609429800011
及获得大脑处于诱发激励状态下双波长光源S波长为λ2时、对应的漫反射光的光密度变化量的时间序列
Figure FDA00002609429800012
通过检测器D2记录大脑安静状态下的漫反射光强和大脑处于诱发激励状态下的漫反射光强,获得大脑安静状态下双波长光源S波长为λ1时、对应的漫反射光的光密度变化量的时间序列
Figure FDA00002609429800013
及获得大脑处于诱发激励状态下双波长光源S波长为λ2时、对应的漫反射光的光密度变化量的时间序列
Figure FDA00002609429800014
k为获得时间序列的点数,k=1,2,...,M,M为正整数;
步骤三:根据步骤二中获得的时间序列
Figure FDA00002609429800015
和时间序列
Figure FDA00002609429800016
采用修正朗伯比尔定律获取与检测器D1的检测信号对应的氧合血红蛋白浓度变化量的时间序列Δ[HbO2]N(k),及获取与检测器D1的检测信号对应的还原血红蛋白浓度变化量的时间序列Δ[HHb]N(k):
Δ [ HbO 2 ] N ( k ) = ( ϵ HHb ( λ 1 ) ΔOD λ 2 N ( k ) / DPF ) - ( ϵ HHb ( λ 2 ) ΔOD λ 1 N ( k ) / DPF ) r 1 ( ϵ HbO 2 ( λ 2 ) ϵ HHb ( λ 1 ) - ϵ HbO 2 ( λ 1 ) ϵ HHb ( λ 2 ) ) ,
Δ [ HHb ] N ( k ) = ( ϵ HbO 2 ( λ 2 ) ΔOD λ 1 N ( k ) / DPF ) - ( ϵ HbO 2 ( λ 1 ) ΔOD λ 2 N ( k ) / DPF ) r 1 ( ϵ HbO 2 ( λ 2 ) ϵ HHb ( λ 1 ) - ϵ HbO 2 ( λ 1 ) ϵ HHb ( λ 2 ) ) ;
其中,εHHb1)为双波长光源S的波长为λ1时还原血红蛋白的消光系数,
εHHb2)为双波长光源S的波长为λ2时还原血红蛋白的消光系数,
Figure FDA00002609429800021
为双波长光源S的波长为λ1时氧合血红蛋白的消光系数,
Figure FDA00002609429800022
为双波长光源S的波长为λ2时氧合血红蛋白的消光系数,
DPF为差分路径因子;
根据步骤二中获得的时间序列
Figure FDA00002609429800023
和时间序列
Figure FDA00002609429800024
采用修正朗伯比尔定律获取与检测器D2的检测信号对应的氧合血红蛋白浓度变化量的时间序列Δ[HbO2]F(k),及获取与检测器D2的检测信号对应的还原血红蛋白浓度变化量的时间序列Δ[HHb]F(k):
Δ [ HbO 2 ] F ( k ) = ( ϵ HHb ( λ 1 ) ΔOD λ 2 F ( k ) / DPF ) - ( ϵ HHb ( λ 2 ) ΔOD λ 1 F ( k ) / DPF ) r 2 ( ϵ HbO 2 ( λ 2 ) ϵ HHb ( λ 1 ) - ϵ HbO 2 ( λ 1 ) ϵ HHb ( λ 2 ) ) ,
Δ [ HHb ] F ( k ) = ( ϵ HbO 2 ( λ 2 ) ΔOD λ 1 F ( k ) / DPF ) - ( ϵ HbO 2 ( λ 1 ) ΔOD λ 2 F ( k ) / DPF ) r 2 ( ϵ HbO 2 ( λ 2 ) ϵ HHb ( λ 1 ) - ϵ HbO 2 ( λ 1 ) ϵ HHb ( λ 2 ) ) ;
步骤四:用x1(k)表示步骤三中的Δ[HbO2]F(k)或Δ[HHb]F(k),将x1(k)作为脑机接口检测中的测量通道信号,x1(k)扩展至加噪模型为:
x1(k)=s(k)+n(k),
其中s(k)为脑机接口信号中的血液动力学信号,n(k)为生理干扰信号;
用x2(k)表示步骤三中的Δ[HbO2]N(k)或Δ[HHb]N(k),作为脑机接口检测中的虚拟通道信号,则有观测矩阵x:
x = x 1 x 2 = s + n u = 1 a 0 1 s u = Ar , A = 1 a 0 1 , r = s u ,
其中,x1为整个观测的时间序列x1(k),是一维相量;
x2为整个观测的时间序列x2(k),是一维相量,即检测器D2检测的生理干扰混合相量u;
s为血液动力学信号的整个时间序列;
n为整个观测的时间序列x1(k)中混叠的噪声,
a为检测器D2检测获得的干扰信号与检测器D1检测获得信号的比例权值;
A为混合矩阵,
r为分离的脑机接口信号和噪声组成的相量;
步骤五、用独立成分分析ICA算法,在混合矩阵A和血液动力学信号的整个时间序列s未知的情况下,根据观测矩阵x确定分离矩阵W,使得变换后的输出Y=Wx;
步骤六、根据步骤五中的Y=Wx推算出二维矩阵,两行分别表示为l和d,l和d分别与s和u满足线性相关条件,用bl(k)+c作为s(k)的最优估计,则残差e(k)为:
e(k)=x1(k)-bl(k)-c;
步骤七、利用最小二乘算法,采用残差e(k)的累计平方误差性能函数J作为代价函数:
J = Σ k = 1 N e 2 ( k ) = Σ k = 1 N ( x 1 ( k ) - bl ( k ) - c ) 2 ,
求取使J最小的系数b和c,再将求取的系数b和c带入步骤六中的bl(k)+c公式中,即可获得脑机接口信号中的血液动力学信号s(k)。
2.根据权利要求1所述的独立成分分析联合最小二乘法的近红外脑机接口的信号检测方法,其特征在于,双波长光源S发出的两种波长分别为λ1=760nm,λ2=850nm。
3.根据权利要求1所述的独立成分分析联合最小二乘法的近红外脑机接口的信号检测方法,其特征在于,双波长光源S到检测器D1之间的直线距离r1为10mm,双波长光源S到检测器D2之间的直线距离r2为40mm。
4.根据权利要求1所述的独立成分分析联合最小二乘法的近红外脑机接口的信号检测方法,其特征在于,
步骤二中光密度变化量的时间序列
Figure FDA00002609429800032
和光密度变化量的时间序列
Figure FDA00002609429800033
按如下公式获取:
ΔOD λ 1 N ( k ) = log I base N ( λ 1 ) / I stim N ( λ 1 ) ,
ΔOD λ 1 F ( k ) = log I base F ( λ 1 ) / I stim F ( λ 1 ) ,
其中:
Figure FDA00002609429800036
为双波长光源S波长为λ1时,大脑安静状态下检测器D1测得的出射光强;
Figure FDA00002609429800037
为双波长光源S波长为λ1时,大脑安静状态下检测器D2测得的出射光强;
Figure FDA00002609429800038
为双波长光源S波长为λ1时,大脑处于诱发激励状态下检测器D1测得的出射光强;
Figure FDA00002609429800039
为双波长光源S波长为λ1时,大脑处于诱发激励状态下检测器D2测得的出射光强,
步骤二中光密度变化量的时间序列
Figure FDA000026094298000310
和光密度变化量的时间序列
Figure FDA000026094298000311
按如下公式获取:
ΔOD λ 2 N ( k ) = log I base N ( λ 2 ) / I stim N ( λ 2 ) ,
ΔOD λ 2 F ( k ) = log I base F ( λ 2 ) / I stim F ( λ 2 ) ,
其中:为双波长光源S波长为λ2时,大脑安静状态下检测器D1测得的出射光强,
Figure FDA00002609429800044
为双波长光源S波长为λ2时,大脑处于诱发激励状态下检测器D1测得的出射光强;
Figure FDA00002609429800045
为双波长光源S波长为λ2时,大脑安静状态下检测器D2测得的出射光强,
Figure FDA00002609429800046
为双波长光源S波长为λ2时,大脑处于诱发激励状态下检测器D2测得的出射光强。
5.根据权利要求4所述的独立成分分析联合最小二乘法的近红外脑机接口的信号检测方法,其特征在于,步骤七中残差e(k)的获得方法为:
首先,通过最小二乘估计准则表示使残差e(k)的累计平方误差性能函数J最小,J表示为:
J = Σ k = 1 N e 2 ( k ) = Σ k = 1 N ( x 1 ( k ) - bl ( k ) - c ) 2 ;
其次,求解最优系数b和c:
对J相对于b,c求导,并将求导结果置为0,即:
∂ J / ∂ b = Σ k = 1 N 2 [ x 1 ( k ) - bl ( k ) - c ] ( - l ( k ) ) = 2 Σ k = 1 N ( c + bl ( k ) - x 1 ( k ) ) l ( k ) = 0 ,
∂ J / ∂ c = Σ k = 1 N 2 [ x 1 ( k ) - bl ( k ) - c ] ( - 1 ) = 2 Σ k = 1 N [ c + bl ( k ) - x 1 ( k ) ] = 0 ,
则:
b Σ k = 1 N l 2 ( k ) - Σ k = 1 N l ( k ) x 1 ( k ) + c Σ k = 1 N l ( k ) = 0 ,
b Σ k = 1 N l ( k ) - Σ k = 1 N x 1 ( k ) + Nc = 0 ;
最后,求解脑机接口信号中的血液动力学信号s(k):
s(k)=bl(k)+c。
CN201210551956.1A 2012-12-18 2012-12-18 独立成分分析联合最小二乘法的近红外脑机接口的信号检测方法 Expired - Fee Related CN102973279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210551956.1A CN102973279B (zh) 2012-12-18 2012-12-18 独立成分分析联合最小二乘法的近红外脑机接口的信号检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210551956.1A CN102973279B (zh) 2012-12-18 2012-12-18 独立成分分析联合最小二乘法的近红外脑机接口的信号检测方法

Publications (2)

Publication Number Publication Date
CN102973279A true CN102973279A (zh) 2013-03-20
CN102973279B CN102973279B (zh) 2014-09-17

Family

ID=47847832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210551956.1A Expired - Fee Related CN102973279B (zh) 2012-12-18 2012-12-18 独立成分分析联合最小二乘法的近红外脑机接口的信号检测方法

Country Status (1)

Country Link
CN (1) CN102973279B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104182645A (zh) * 2014-09-01 2014-12-03 黑龙江省计算中心 基于经验模态分解和滑动时间窗加权最小二乘法的脑机接口信号提取方法
CN104224165A (zh) * 2014-09-17 2014-12-24 哈尔滨工业大学 基于多距测量方法及最小一乘准则的近红外脑功能信号抗差估计方法
CN105962950A (zh) * 2016-07-07 2016-09-28 哈尔滨工业大学 基于最小二乘支持向量机的近红外脑功能信号提取方法
CN107080543A (zh) * 2017-04-27 2017-08-22 北京师范大学 一种新型近红外实时脑皮质血氧信号采集装置
CN107174204A (zh) * 2017-05-12 2017-09-19 哈尔滨工业大学 基于总体最小二乘法的近红外脑功能信号处理方法
CN107928631A (zh) * 2017-12-21 2018-04-20 哈尔滨工业大学 基于差分路径因子估计的近红外脑功能信号处理方法
CN108464813A (zh) * 2018-01-30 2018-08-31 东南大学 采用高-低双密度光极配置的功能性近红外脑功能成像系统
US20190046099A1 (en) * 2016-02-17 2019-02-14 Nuralogix Corporation System and method for detecting physiological state
CN109567818A (zh) * 2018-11-20 2019-04-05 苏州大学 基于血红蛋白信息的多种行走步态调整意图的识别方法
CN110613462A (zh) * 2019-09-11 2019-12-27 河南大学 一种不受个体差异影响的组织氧饱和度检测方法及装置
CN112987919A (zh) * 2021-02-07 2021-06-18 江苏集萃脑机融合智能技术研究所有限公司 一种基于间接测量飞行时间技术的脑机接口系统以及实现方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3079625C (en) 2017-10-24 2023-12-12 Nuralogix Corporation System and method for camera-based stress determination

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1626032A (zh) * 2003-12-12 2005-06-15 中国科学院自动化研究所 基于约束优化的脑功能核磁共振时间序列分析方法
JP2006280421A (ja) * 2005-03-31 2006-10-19 Shimadzu Corp 脳機能情報モニタリング装置
CN1878505A (zh) * 2003-11-12 2006-12-13 株式会社日立医药 生物体光测量装置
CN101287410A (zh) * 2005-10-12 2008-10-15 学校法人东京电机大学 脑功能分析方法及脑功能分析程序
US20100081903A1 (en) * 2008-09-30 2010-04-01 Drexel University Functional near-infrared spectroscopy as a monitor for depth of anesthesia
JP2010148674A (ja) * 2008-12-25 2010-07-08 Shimadzu Corp 光脳機能計測装置
CN101940475A (zh) * 2010-09-03 2011-01-12 深圳市纽泰克电子有限公司 一种提高血氧饱和度检测精度的方法
WO2012005303A1 (ja) * 2010-07-06 2012-01-12 株式会社日立メディコ 生体光計測装置およびそれを用いた生体光計測方法
CN102512142A (zh) * 2011-12-22 2012-06-27 哈尔滨工业大学 基于多距测量方法的递归最小二乘自适应滤波近红外脑功能活动信号提取方法
CN102525422A (zh) * 2011-12-26 2012-07-04 哈尔滨工业大学 基于多距测量方法的经验模态分解优化算法的脑功能信号提取方法
WO2012135413A1 (en) * 2011-03-29 2012-10-04 Drexel University Real time artifact removal

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1878505A (zh) * 2003-11-12 2006-12-13 株式会社日立医药 生物体光测量装置
CN1626032A (zh) * 2003-12-12 2005-06-15 中国科学院自动化研究所 基于约束优化的脑功能核磁共振时间序列分析方法
JP2006280421A (ja) * 2005-03-31 2006-10-19 Shimadzu Corp 脳機能情報モニタリング装置
CN101287410A (zh) * 2005-10-12 2008-10-15 学校法人东京电机大学 脑功能分析方法及脑功能分析程序
US20100081903A1 (en) * 2008-09-30 2010-04-01 Drexel University Functional near-infrared spectroscopy as a monitor for depth of anesthesia
JP2010148674A (ja) * 2008-12-25 2010-07-08 Shimadzu Corp 光脳機能計測装置
WO2012005303A1 (ja) * 2010-07-06 2012-01-12 株式会社日立メディコ 生体光計測装置およびそれを用いた生体光計測方法
CN101940475A (zh) * 2010-09-03 2011-01-12 深圳市纽泰克电子有限公司 一种提高血氧饱和度检测精度的方法
WO2012135413A1 (en) * 2011-03-29 2012-10-04 Drexel University Real time artifact removal
CN102512142A (zh) * 2011-12-22 2012-06-27 哈尔滨工业大学 基于多距测量方法的递归最小二乘自适应滤波近红外脑功能活动信号提取方法
CN102525422A (zh) * 2011-12-26 2012-07-04 哈尔滨工业大学 基于多距测量方法的经验模态分解优化算法的脑功能信号提取方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张红娟: "扩展独立成分分析的若干算法及其应用研究", 《中国博士学位论文全文数据库信息科技辑》 *
王斐等: "《脑-机接口研究进展》", 《智能系统学报》 *
胡汉彬: "功能近红外光谱成像研究及应用", 《中国科技技术大学 硕士学位论文》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104182645A (zh) * 2014-09-01 2014-12-03 黑龙江省计算中心 基于经验模态分解和滑动时间窗加权最小二乘法的脑机接口信号提取方法
CN104224165A (zh) * 2014-09-17 2014-12-24 哈尔滨工业大学 基于多距测量方法及最小一乘准则的近红外脑功能信号抗差估计方法
US10694988B2 (en) * 2016-02-17 2020-06-30 Nuralogix Corporation System and method for detecting physiological state
US20190046099A1 (en) * 2016-02-17 2019-02-14 Nuralogix Corporation System and method for detecting physiological state
US11497423B2 (en) 2016-02-17 2022-11-15 Nuralogix Corporation System and method for detecting physiological state
CN105962950A (zh) * 2016-07-07 2016-09-28 哈尔滨工业大学 基于最小二乘支持向量机的近红外脑功能信号提取方法
CN107080543A (zh) * 2017-04-27 2017-08-22 北京师范大学 一种新型近红外实时脑皮质血氧信号采集装置
CN107174204A (zh) * 2017-05-12 2017-09-19 哈尔滨工业大学 基于总体最小二乘法的近红外脑功能信号处理方法
CN107928631A (zh) * 2017-12-21 2018-04-20 哈尔滨工业大学 基于差分路径因子估计的近红外脑功能信号处理方法
CN108464813A (zh) * 2018-01-30 2018-08-31 东南大学 采用高-低双密度光极配置的功能性近红外脑功能成像系统
CN109567818A (zh) * 2018-11-20 2019-04-05 苏州大学 基于血红蛋白信息的多种行走步态调整意图的识别方法
CN109567818B (zh) * 2018-11-20 2021-06-01 苏州大学 基于血红蛋白信息的多种行走步态调整意图的识别方法
CN110613462B (zh) * 2019-09-11 2022-04-08 河南大学 一种不受个体差异影响的组织氧饱和度检测方法及装置
CN110613462A (zh) * 2019-09-11 2019-12-27 河南大学 一种不受个体差异影响的组织氧饱和度检测方法及装置
CN112987919A (zh) * 2021-02-07 2021-06-18 江苏集萃脑机融合智能技术研究所有限公司 一种基于间接测量飞行时间技术的脑机接口系统以及实现方法
CN112987919B (zh) * 2021-02-07 2023-11-03 江苏集萃脑机融合智能技术研究所有限公司 一种基于间接测量飞行时间技术的脑机接口系统以及实现方法

Also Published As

Publication number Publication date
CN102973279B (zh) 2014-09-17

Similar Documents

Publication Publication Date Title
CN102973279B (zh) 独立成分分析联合最小二乘法的近红外脑机接口的信号检测方法
WO2018107915A1 (zh) 一种基于时序分析的通用无创血糖预测方法
CN102512142B (zh) 基于多距测量方法的递归最小二乘自适应滤波近红外脑功能活动信号提取方法
CN104055524B (zh) 基于近红外光谱的脑功能连接检测方法及系统
CN101972148B (zh) 基于经验模态分解的近红外脑功能检测的扰动消除方法
CN106901705A (zh) 一种无感知人体多生理参数采集装置及采集方法和应用
CN105473060A (zh) 用于从远程检测到的电磁辐射中提取生理信息的系统和方法
Tiwari et al. A comparative study of stress and anxiety estimation in ecological settings using a smart-shirt and a smart-bracelet
US20230172565A1 (en) Systems, devices, and methods for developing a model for use when performing oximetry and/or pulse oximetry and systems, devices, and methods for using a fetal oximetry model to determine a fetal oximetry value
Zhang et al. Reduction of global interference in functional multidistance near-infrared spectroscopy using empirical mode decomposition and recursive least squares: a Monte Carlo study
CN102525422B (zh) 基于多距测量方法的经验模态分解优化算法的脑功能信号提取方法
CN108185992B (zh) 一种无创光学脑组织氧代谢的测量方法
AU2021350834A9 (en) Systems, devices, and methods for developing a fetal oximetry model for use to determine a fetal oximetry value
US20220361774A1 (en) Systems and methods for performing trans-abdominal fetal oximetry or pulse-oximetry
CN104182645A (zh) 基于经验模态分解和滑动时间窗加权最小二乘法的脑机接口信号提取方法
Chen et al. Performance improvement for detecting brain function using fNIRS: a multi-distance probe configuration with PPL method
CN104224165B (zh) 基于多距测量方法及最小一乘准则的近红外脑功能信号抗差估计方法
Elwell et al. Measurement of changes in cerebral haemodynamics during inspiration and expiration using near infrared spectroscopy
CN112914564A (zh) 一种婴幼儿血氧饱和度监测方法及智能监测装置
Halim et al. Evaluation of Light Distribution and the Penetration Depth under Isometric Studies using fNIRS
Li et al. Assessing working memory in real-life situations with functional near-infrared spectroscopy
Jelzow In vivo quantification of absorption changes in the human brain by time-domain diffuse near-infrared spectroscopy
CN110246576A (zh) 一种人体活动能量消耗情况及转化为生活习惯报表方法
US20050027183A1 (en) Method for non-invasive monitoring of blood and tissue glucose
Wang et al. Monte Carlo simulation of light propagation in human tissue models

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140917

Termination date: 20141218

EXPY Termination of patent right or utility model