CN112099619B - 一种混合视线脑机接口的时间窗长度自适应选择方法 - Google Patents
一种混合视线脑机接口的时间窗长度自适应选择方法 Download PDFInfo
- Publication number
- CN112099619B CN112099619B CN202010801696.3A CN202010801696A CN112099619B CN 112099619 B CN112099619 B CN 112099619B CN 202010801696 A CN202010801696 A CN 202010801696A CN 112099619 B CN112099619 B CN 112099619B
- Authority
- CN
- China
- Prior art keywords
- thrp
- max
- signal
- probability
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010187 selection method Methods 0.000 title claims abstract description 11
- 238000013145 classification model Methods 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000005457 optimization Methods 0.000 claims abstract description 12
- 238000012360 testing method Methods 0.000 claims abstract description 12
- 230000005540 biological transmission Effects 0.000 claims abstract description 11
- 210000004556 brain Anatomy 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 23
- 238000005070 sampling Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000000763 evoking effect Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 3
- 238000007500 overflow downdraw method Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims 1
- 238000009825 accumulation Methods 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 abstract description 2
- 230000002035 prolonged effect Effects 0.000 abstract 1
- 230000003993 interaction Effects 0.000 description 8
- 230000006872 improvement Effects 0.000 description 7
- 238000012546 transfer Methods 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
- G06F18/24155—Bayesian classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Dermatology (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种混合视线脑机接口的时间窗长度自适应选择方法，在训练阶段分别建立脑电信号与视线追踪信号的分类模型，对分类结果进行融合，选取分类结果置信度指标，使用贝叶斯优化方法计算使得信息传输速率最大的指标阈值。在线测试阶段，选取计算周期，在每个计算周期中计算分类结果置信度指标，若没有达到指标阈值则继续采集数据延长时间窗，若达到阈值则输出分类结果。由于脑电信号和视线追踪信号的不稳定性，每个试次的最优时间是不同的，本发明提出的时间窗长度自适应选择方法为每个试次选择最优的时间窗长度，充分利用了脑电信号与视线追踪信号检测算法的累积效应，提高了混合视线脑机接口的信息传输速率。
Description
技术领域
本发明属于脑机接口相关技术领域，涉及一种混合视线脑机接口的时间窗长度自适应选择方法。
背景技术
脑-机接口是一种新型的人-机交互技术，该技术涉及神经科学、信号检测、信号处理、模式识别等多学科，研究如何用神经信号与外部设备进行直接交互。在不同类型的脑机接口中，基于稳态视觉诱发电位(Steady State Visual Evoked Potentials,SSVEP)的脑机接口在目标选择的场景中展现出了卓越的性能，相比基于运动想象等信号的脑机接口，基于SSVEP的脑机接口具有使用简便、识别准确率高、信息传输速率高等优点，因此在目标选择的场景中得到了广泛的应用。视线追踪技术目前主要应用于心理学、界面设计与评估、和人机交互等领域。人眼跳动相比人的手动操作具有更快的反应速度，因此设计使用眼睛操控的设备必然会大大提高交互效率。
脑机接口中的SSVEP信号和视线追踪信号在人机交互展现出了互补的优点：视线追踪技术使得用户能够快速地确定待选择目标所在的大致范围，SSVEP信号使得用户能够选中待选择目标，当对同一个目标选择进行两种测量方法时，通过对比两种测量方法的一致性，可以提高检测结果的可靠性。
然而在使用脑电信号的SSVEP范式及视线追踪技术进行目标选择时往往存在一个检测时间长短的问题，特别是在实时实验中，较长的检测时间可以保证选择的正确性，却会导致交互效率的降低，因此需要选择最适当的检测时间从而在准确率和交互效率间达到平衡。这方面的研究工作目前还尚不充分，因此本发明提出了一种在脑电与视线信号融合的情况下，如何采用优化方法自适应地选择检测时间以提高交互效率的方法。
发明内容
针对以上问题，本发明提供一种混合视线脑机接口的时间窗长度自适应选择方法，由于脑电信号和视线追踪信号的不稳定性，每个试次的最优时间是不同的，因此本发明提出了一种时间窗长度自适应选择方法为每个试次选择最优的时间窗长度，充分利用了脑电信号与视线追踪信号检测算法的累积效应，提高了混合视线脑机接口的信息传输速率，本专利提供一种混合视线脑机接口的时间窗长度自适应选择方法，该方法包括如下步骤：
步骤一：建立脑电信号分类模型：使用多变量同步指数方法对稳态视觉诱发电位信号建立分类模型，得到K个目标被选中的概率分别为s1,s2...sk；
步骤二：建立视线追踪信号分类模型：使用高斯分布建立注视点精度模型，根据用户注视点距离第i个目标的距离di，计算得到第i个目标被选中的概率ci，从而得到K个目标被选中的概率分别为c1,c2...ck；
步骤三：将通过脑电信号分类模型得到的s1,s2...sk和通过视线追踪分类模型得到的c1,c2...ck分别进行标准化，使用朴素贝叶斯方法将两者进行融合，得到K个目标被选中的概率分别为p1,p2...pk；
步骤四：选取衡量分类结果置信度的指标向量P；
步骤五：离线训练阶段，通过贝叶斯优化计算得到使得信息传输速率最大的指标向量Thrp*；
步骤六：在线测试阶段，在每个计算周期中比较当前的置信度指标向量P与Thrp*的大小，当P的值大于Thrp*时输出分类结果，以实现时间窗长度自适应选择的目的。
作为本发明进一步改进，步骤一所述脑电信号分类模型如下：
使用多变量同步指数方法估计SSVEP信号与构造的正余弦参考信号Y之间的同步指数，其中SSVEP信号X为一组N*M的脑电信号，其中N为脑电信号的通道个数，M为脑电信号的采样点数，第i个目标的参考信号Yi的构造如下：
其中fi是第i个目标对应的闪烁频率，fs是脑电信号的采样频率，NH是参考信号含有的谐波个数；
计算X与Yi的相关矩阵C:
其中：
为了减少X与Yi的自相关影响，计算C的自相关矩阵U:
根据如下公式计算新矩阵R：
设λ1,λ2...λq是R的特征值，将其进行标准化操作：
其中q＝N+2NH；
则X与Yi的同步指数si可以按如下公式计算：
将同步指数si作为第i个目标被选中的概率，则将X与每个目标的参考信号分别进行同步指数的计算则得到每个目标被选中的概率s1,s2...sk。
作为本发明进一步改进，步骤二所述注视点精度模型如下：
设用户注视点位置为(xg,yg)，第i个目标所在位置坐标为(xti,yti)，则注视点距离目标的距离使用高斯分布为注视点的精度建模，当用户注视点位置为(xg,yg)时第i个目标被选中的概率为：
其中σ为视线追踪设备的检测误差，将用户注视点位置和每个目标所在位置坐标进行计算则得到每个目标被选中的概率为c1,c2...ck。
作为本发明进一步改进，步骤三所述融合方法如下：
得到将脑电信号分类模型与视线追踪信号分类模型分类结果融合后，每个目标被选中的概率为p1,p2...pk。
作为本发明进一步改进，步骤四所述衡量分类结果置信度的指标向量P构成如下；
选取p1,p2...pk中的最大值pmax，p1,p2...pk中最大值与次大值的差pdiff作为分类结果置信度指标，构成分类结果置信度指标向量P＝[pmax,pdiff]。
作为本发明进一步改进，步骤五所述离线训练阶段如下，
设定阈值向量Thrp＝[Thrpmax,Thrpdiff]，令Thrp＝[Thrpmax,Thrpdiff]为自变量，信息传输速率ITR＝g(Thrp)为因变量，g(.)为Thrp与ITR间的函数关系，ITR的计算方法如下：
其中t为信号采集的时间，单位：s，K为目标的个数，acc为t时间下的识别准确率；
通过贝叶斯优化计算Thrp*＝[Thrp* max,Thrp* diff]使得信息传输速率最大。
作为本发明进一步改进，步骤五通过贝叶斯优化计算Thrp*＝[Thrp* max,Thrp* diff]，具体步骤如下：
1)设初始训练数据集D＝(Thrp,ITR)，其中Thrp＝[Thrp1,Thrp2,...,Thrpn]∈Rn *2，ITR＝[ITR1,ITR2,...,ITRn]∈Rn；
2)使用高斯过程对g(.)进行建模，其通过均值函数和协方差函数进行定义，均值函数通常设置为零，协方差函数定义如下：
假设Thrp＝Thrp1，则Thrp'为数据集中除Thrp1外的所有数据，则此时生成的高斯分布为ITR＝g(Thrp)＝N(0,k(Thrp,Thrp'))；
3)通过最大化采集函数确定下一个采样点Thrpnext，采集函数PI的表达式为：
其中φ(.)表示正态累计分布函数，g(Thrp+)表示现有的最大值，超参数v用于调节下一个采样点的探索程度，v＝0时更倾向于收敛到g(Thrp+)附近，取下一个采样点的原理就是找到未知点的函数值比g(Thrp+)大的概率，取这些点中概率最大的点作为下一个采样点；
4)确认是否达到收敛条件，若没有达到收敛条件，则将(Thrpnext,g(Thrpnext))加入数据集D，返回步骤2)继续更新函数，直到达到收敛条件；若达到收敛条件，则
Thrp*＝[Thrp* max,Thrp* diff]＝Thrpnext。
作为本发明进一步改进，步骤六所述在线测试阶段如下，设定脑电信号与视线追踪信号的最短检测时间tmin，最长检测时间tmax，计算周期Δt，当信号持续时间t大于tmin时，每隔Δt计算当前的pmax,pdiff，若分别大于分类结果置信度指标向量Thrp* max，Thrp* diff，则输出结果，否则继续检测，经过Δt后继续判断，若到达最长检测时间tmax输出结果。
本发明与现有技术相比，具有的有益效果是：
(1)本发明采用混合视线的脑机接口，将脑电信号与视线追踪信号的分类结果进行融合，视线追踪技术使得用户能够快速地确定待选择目标所在的大致范围，SSVEP信号使得用户能够选中待选择目标，当对同一个目标选择进行两种测量方法时，通过对比两种测量方法的一致性，可以提高检测结果的可靠性
(2)本发明采用自适应选择时间窗的方式进行识别结果的输出，在识别准确率与交互效率之间达到了平衡，提高了混合脑机接口的性能。
(3)本发明采用贝叶斯优化进行参数的选择，贝叶斯优化作为一种随机搜索方法，相比网格搜索具有迭代次数少，搜索粒度小的优点，提高了参数搜索的效率。
附图说明
图1为本发明的系统流程图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述：
本发明提供一种混合视线脑机接口的时间窗长度自适应选择方法，由于脑电信号和视线追踪信号的不稳定性，每个试次的最优时间是不同的，因此本发明提出了一种时间窗长度自适应选择方法为每个试次选择最优的时间窗长度，充分利用了脑电信号与视线追踪信号检测算法的累积效应，提高了混合视线脑机接口的信息传输速率。
本发明提供如图1所示的一种混合视线脑机接口的时间窗长度自适应选择方法，包括
步骤一：建立脑电信号分类模型：使用多变量同步指数(multivariate synchronizationindex,MSI)方法对稳态视觉诱发电位信号(Steady State Visual Evoked Potentials,SSVEP)建立分类模型，得到K个目标被选中的概率分别为s1,s2...sk。
步骤二：建立视线追踪信号分类模型：使用高斯分布建立注视点精度模型，根据用户注视点距离第i个目标的距离di，计算得到第i个目标被选中的概率ci，从而得到K个目标被选中的概率分别为c1,c2...ck。
步骤三：将通过脑电信号分类模型得到的s1,s2...sk和通过视线追踪分类模型得到的c1,c2...ck分别进行标准化，使用朴素贝叶斯方法将两者进行融合，得到K个目标被选中的概率分别为p1,p2...pk。
步骤四：选取衡量分类结果置信度的指标向量P。
步骤五：离线训练阶段，通过贝叶斯优化计算得到使得信息传输速率(InformationTransfer Rate,ITR)最大的指标向量Thrp*。
步骤六：在线测试阶段，在每个计算周期中比较当前的置信度指标向量P与Thrp*的大小，当P的值大于Thrp*时输出分类结果，以实现时间窗长度自适应选择的目的。
进一步地，步骤一所述脑电信号分类模型如下：
使用多变量同步指数(MSI)方法估计SSVEP信号与构造的正余弦参考信号Y之间的同步指数，其中SSVEP信号X为一组N*M的脑电信号，其中N为脑电信号的通道个数，M为脑电信号的采样点数，第i个目标的参考信号Yi的构造如下：
其中fi是第i个目标对应的闪烁频率，fs是脑电信号的采样频率，NH是参考信号含有的谐波个数。
计算X与Yi的相关矩阵C:
其中：
为了减少X与Yi的自相关影响，计算C的自相关矩阵U:
根据如下公式计算新矩阵R：
设λ1,λ2...λq是R的特征值，将其进行标准化操作：
其中q＝N+2NH。
则X与Yi的同步指数si可以按如下公式计算：
将同步指数si作为第i个目标被选中的概率，则将X与每个目标的参考信号分别进行同步指数的计算则可以得到每个目标被选中的概率s1,s2...sk。
进一步地，步骤二所述注视点精度模型如下：
设用户注视点位置为(xg,yg)，第i个目标所在位置坐标为(xti,yti)，则注视点距离目标的距离使用高斯分布为注视点的精度建模，当用户注视点位置为(xg,yg)时第i个目标被选中的概率为：
其中σ为视线追踪设备的检测误差。将用户注视点位置和每个目标所在位置坐标进行计算则可以得到每个目标被选中的概率为c1,c2...ck。
进一步地，步骤三所述融合方法如下：
可以得到将脑电信号分类模型与视线追踪信号分类模型分类结果融合后，每个目标被选中的概率为p1,p2...pk。
进一步地，步骤四中选取p1,p2...pk中的最大值pmax，p1,p2...pk中最大值与次大值的差pdiff作为分类结果置信度指标，构成分类结果置信度指标向量P＝[pmax,pdiff]。
进一步地，步骤五的离线训练阶段中，设定阈值向量Thrp＝[Thrpmax,Thrpdiff]。令Thrp＝[Thrpmax,Thrpdiff]为自变量，信息传输速率ITR＝g(Thrp)为因变量，g(.)为Thrp与ITR间的函数关系。ITR的计算方法如下：
其中t为信号采集的时间(单位：s)，K为目标的个数，acc为t时间下的识别准确率。
通过贝叶斯优化计算Thrp*＝[Thrp* max,Thrp* diff]使得信息传输速率(ITR)最大。步骤如下：
1)设初始训练数据集D＝(Thrp,ITR)，其中Thrp＝[Thrp1,Thrp2,...,Thrpn]∈Rn *2，ITR＝[ITR1,ITR2,...,ITRn]∈Rn。
2)使用高斯过程(Gaussian processes,GP)对g(.)进行建模，其通过均值函数和协方差函数进行定义，均值函数通常设置为零，协方差函数定义如下：
假设Thrp＝Thrp1，则Thrp'为数据集中除Thrp1外的所有数据。则此时生成的高斯分布为ITR＝g(Thrp)＝N(0,k(Thrp,Thrp'))
3)通过最大化采集函数确定下一个采样点Thrpnext，采集函数PI的表达式为：
其中φ(.)表示正态累计分布函数，g(Thrp+)表示现有的最大值，超参数v用于调节下一个采样点的探索程度，v＝0时更倾向于收敛到g(Thrp+)附近。取下一个采样点的原理就是找到未知点的函数值比g(Thrp+)大的概率，取这些点中概率最大的点作为下一个采样点。
4)确认是否达到收敛条件，若没有达到收敛条件，则将(Thrpnext,g(Thrpnext))加入数据集D，返回步骤2)继续更新函数，直到达到收敛条件；若达到收敛条件，则Thrp*＝[Thrp* max,Thrp* diff]＝Thrpnext。
进一步地，步骤六的在线测试阶段，设定脑电信号与视线追踪信号的最短检测时间tmin，最长检测时间tmax，计算周期Δt。当信号持续时间t大于tmin时，每隔Δt计算当前的pmax,pdiff，若分别大于分类结果置信度指标向量Thrp* max，Thrp* diff，则输出结果，否则继续检测，经过Δt后继续判断，若到达最长检测时间tmax输出结果。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。
Claims (1)
1.一种混合视线脑机接口的时间窗长度自适应选择方法，其特征在于，该方法包括如下步骤：
步骤一：建立脑电信号分类模型：使用多变量同步指数方法对稳态视觉诱发电位信号建立分类模型，得到K个目标被选中的概率分别为s1,s2...sk；
步骤一所述脑电信号分类模型如下：
使用多变量同步指数方法估计SSVEP信号与构造的正余弦参考信号Y之间的同步指数，其中SSVEP信号X为一组N*M的脑电信号，其中N为脑电信号的通道个数，M为脑电信号的采样点数，第i个目标的参考信号Yi的构造如下：
其中fi是第i个目标对应的闪烁频率，fs是脑电信号的采样频率，NH是参考信号含有的谐波个数；
计算X与Yi的相关矩阵C:
其中：
为了减少X与Yi的自相关影响，计算C的自相关矩阵U:
根据如下公式计算新矩阵R：
设λ1,λ2...λq是R的特征值，将其进行标准化操作：
其中q＝N+2NH；
则X与Yi的同步指数si可以按如下公式计算：
将同步指数si作为第i个目标被选中的概率，则将X与每个目标的参考信号分别进行同步指数的计算则得到每个目标被选中的概率s1,s2...sk；
步骤二：建立视线追踪信号分类模型：
使用高斯分布建立注视点精度模型，根据用户注视点距离第i个目标的距离di，计算得到第i个目标被选中的概率ci，从而得到K个目标被选中的概率分别为c1,c2...ck；
步骤二所述注视点精度模型如下：
设用户注视点位置为(xg,yg)，第i个目标所在位置坐标为(xti,yti)，则注视点距离目标的距离使用高斯分布为注视点的精度建模，当用户注视点位置为(xg,yg)时第i个目标被选中的概率为：
其中σ为视线追踪设备的检测误差，将用户注视点位置和每个目标所在位置坐标进行计算则得到每个目标被选中的概率为c1,c2...ck；
步骤三：将通过脑电信号分类模型得到的s1,s2...sk和通过视线追踪分类模型得到的c1,c2...ck分别进行标准化，使用朴素贝叶斯方法将两者进行融合，得到K个目标被选中的概率分别为p1,p2...pk；
步骤三所述融合方法如下：
得到将脑电信号分类模型与视线追踪信号分类模型分类结果融合后，每个目标被选中的概率为p1,p2...pk；
步骤四：选取衡量分类结果置信度的指标向量P；
步骤四所述衡量分类结果置信度的指标向量P构成如下；
选取p1,p2...pk中的最大值pmax，p1,p2...pk中最大值与次大值的差pdiff作为分类结果置信度指标，构成分类结果置信度指标向量P＝[pmax,pdiff]；
步骤五：离线训练阶段，通过贝叶斯优化计算得到使得信息传输速率最大的指标向量Thrp*；
步骤五所述离线训练阶段如下，
设定阈值向量Thrp＝[Thrpmax,Thrpdiff]，令Thrp＝[Thrpmax,Thrpdiff]为自变量，信息传输速率ITR＝g(Thrp)为因变量，g(.)为Thrp与ITR间的函数关系，ITR的计算方法如下：
其中t为信号采集的时间，单位：s，K为目标的个数，acc为t时间下的识别准确率；
通过贝叶斯优化计算Thrp*＝[Thrp* max,Thrp* diff]使得信息传输速率最大；
步骤五通过贝叶斯优化计算Thrp*＝[Thrp* max,Thrp* diff]，具体步骤如下：
1)设初始训练数据集D＝(Thrp,ITR)，其中Thrp＝[Thrp1,Thrp2,...,Thrpn]∈Rn*2，ITR＝[ITR1,ITR2,...,ITRn]∈Rn；
2)使用高斯过程对g(.)进行建模，其通过均值函数和协方差函数进行定义，均值函数通常设置为零，协方差函数定义如下：
假设Thrp＝Thrp1，则Thrp'为数据集中除Thrp1外的所有数据，则此时生成的高斯分布为ITR＝g(Thrp)＝N(0,k(Thrp,Thrp'))；
3)通过最大化采集函数确定下一个采样点Thrpnext，采集函数PI的表达式为：
其中φ(.)表示正态累计分布函数，g(Thrp+)表示现有的最大值，超参数v用于调节下一个采样点的探索程度，v＝0时更倾向于收敛到g(Thrp+)附近，取下一个采样点的原理就是找到未知点的函数值比g(Thrp+)大的概率，取这些点中概率最大的点作为下一个采样点；
4)确认是否达到收敛条件，若没有达到收敛条件，则将(Thrpnext,g(Thrpnext))加入数据集D，返回步骤2)继续更新函数，直到达到收敛条件；若达到收敛条件，则
Thrp*＝[Thrp* max,Thrp* diff]＝Thrpnext；
步骤六：在线测试阶段，在每个计算周期中比较当前的置信度指标向量P与Thrp*的大小，当P的值大于Thrp*时输出分类结果，以实现时间窗长度自适应选择的目的；
步骤六所述在线测试阶段如下，设定脑电信号与视线追踪信号的最短检测时间tmin，最长检测时间tmax，计算周期Δt，当信号持续时间t大于tmin时，每隔Δt计算当前的pmax,pdiff，若分别大于分类结果置信度指标向量Thrp* max，Thrp* diff，则输出结果，否则继续检测，经过Δt后继续判断，若到达最长检测时间tmax输出结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010801696.3A CN112099619B (zh) | 2020-08-11 | 2020-08-11 | 一种混合视线脑机接口的时间窗长度自适应选择方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010801696.3A CN112099619B (zh) | 2020-08-11 | 2020-08-11 | 一种混合视线脑机接口的时间窗长度自适应选择方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112099619A CN112099619A (zh) | 2020-12-18 |
| CN112099619B true CN112099619B (zh) | 2024-02-06 |
Family
ID=73753536
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010801696.3A Active CN112099619B (zh) | 2020-08-11 | 2020-08-11 | 一种混合视线脑机接口的时间窗长度自适应选择方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112099619B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113100786A (zh) * | 2021-05-19 | 2021-07-13 | 南京邮电大学 | 一种稳态视觉诱发电位信号的频率识别方法 |
| CN113349802A (zh) * | 2021-06-01 | 2021-09-07 | 杭州回车电子科技有限公司 | 基于ssvep的分类方法、系统、装置及可读存储介质 |
| CN113255238B (zh) * | 2021-07-07 | 2021-11-12 | 华能东莞燃机热电有限责任公司 | 一种基于混合神经网络的燃气利用率预测方法和系统 |
| CN115590535B (zh) * | 2022-11-17 | 2023-03-31 | 季华实验室 | 脑电信号识别的时间窗调节方法、装置、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7983490B1 (en) * | 2007-12-20 | 2011-07-19 | Thomas Cecil Minter | Adaptive Bayes pattern recognition |
| CN106527732A (zh) * | 2016-11-30 | 2017-03-22 | 中国医学科学院生物医学工程研究所 | 体感电刺激脑机接口中特征信号的选择和优化方法 |
| CN106940592A (zh) * | 2017-02-20 | 2017-07-11 | 华南理工大学 | 一种脑控虚拟人避障控制方法 |
| CN109255309A (zh) * | 2018-08-28 | 2019-01-22 | 中国人民解放军战略支援部队信息工程大学 | 面向遥感图像目标检测的脑电与眼动融合方法及装置 |
| CN109582131A (zh) * | 2018-10-29 | 2019-04-05 | 中国航天员科研训练中心 | 一种异步混合脑机接口方法及系统 |
| CN110222643A (zh) * | 2019-06-06 | 2019-09-10 | 西安交通大学 | 一种基于卷积神经网络的稳态视觉诱发电位信号分类方法 |
| CN111190484A (zh) * | 2019-12-25 | 2020-05-22 | 中国人民解放军军事科学院国防科技创新研究院 | 一种多模态交互系统和方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110072730A (ko) * | 2009-12-23 | 2011-06-29 | 한국과학기술원 | 적응형 뇌-컴퓨터 인터페이스 장치 |
-
2020
- 2020-08-11 CN CN202010801696.3A patent/CN112099619B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7983490B1 (en) * | 2007-12-20 | 2011-07-19 | Thomas Cecil Minter | Adaptive Bayes pattern recognition |
| CN106527732A (zh) * | 2016-11-30 | 2017-03-22 | 中国医学科学院生物医学工程研究所 | 体感电刺激脑机接口中特征信号的选择和优化方法 |
| CN106940592A (zh) * | 2017-02-20 | 2017-07-11 | 华南理工大学 | 一种脑控虚拟人避障控制方法 |
| CN109255309A (zh) * | 2018-08-28 | 2019-01-22 | 中国人民解放军战略支援部队信息工程大学 | 面向遥感图像目标检测的脑电与眼动融合方法及装置 |
| CN109582131A (zh) * | 2018-10-29 | 2019-04-05 | 中国航天员科研训练中心 | 一种异步混合脑机接口方法及系统 |
| CN110222643A (zh) * | 2019-06-06 | 2019-09-10 | 西安交通大学 | 一种基于卷积神经网络的稳态视觉诱发电位信号分类方法 |
| CN111190484A (zh) * | 2019-12-25 | 2020-05-22 | 中国人民解放军军事科学院国防科技创新研究院 | 一种多模态交互系统和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112099619A (zh) | 2020-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112099619B (zh) | 一种混合视线脑机接口的时间窗长度自适应选择方法 | |
| Fu et al. | Automatic calibration method for driver's head orientation in natural driving environment | |
| Jannat et al. | Efficient Wi-Fi-based human activity recognition using adaptive antenna elimination | |
| Xiuliang et al. | Multiple model soft sensor based on affinity propagation, Gaussian process and Bayesian committee machine | |
| CN111626152B (zh) | 一种基于Few-shot的时空视线方向估计原型设计方法 | |
| CN113313040A (zh) | 基于fmcw雷达信号的人体姿势识别方法 | |
| Schumann-Bischoff et al. | State and parameter estimation using unconstrained optimization | |
| CN114495267A (zh) | 基于多维数据融合的老人跌倒风险评估方法 | |
| CN107203271B (zh) | 基于多传感器融合技术的双手识别方法 | |
| Hazra et al. | Novel data fusion strategy for human gait analysis using multiple kinect sensors | |
| TW201830223A (zh) | 時間序列資料處理裝置及處理方法 | |
| Zhang et al. | Integrated sensing and computing for wearable human activity recognition with MEMS IMU and BLE network | |
| Yu et al. | An intelligent implementation of multi-sensing data fusion with neuromorphic computing for human activity recognition | |
| Fakhrurroja et al. | Hand state combination as gesture recognition using kinect v2 sensor for smart home control systems | |
| CN115469303A (zh) | 一种检测人体姿态和生命体征的认知生物雷达方法与装置 | |
| CN108845287A (zh) | 小生境遗传算法的单矢量水听器相干源快速方位估计方法 | |
| Li et al. | Robust generalized labeled multi-Bernoulli filter and smoother for multiple target tracking using variational Bayesian | |
| CN109063652B (zh) | 一种信号处理方法、系统及计算机存储介质 | |
| CN114445456B (zh) | 基于部分模型的数据驱动智能机动目标跟踪方法及装置 | |
| CN116437290A (zh) | 一种基于csi指纹定位的模型融合方法 | |
| Sun et al. | FMCW multi-person action recognition system based on point cloud nearest neighbor sampling algorithm | |
| CN111208506B (zh) | 一种简化的交互式多模型跟踪方法 | |
| CN109960892B (zh) | 一种基于眼动信号的cad指令生成方法及系统 | |
| CN112083410A (zh) | 机动目标跟踪方法 | |
| CN112936259A (zh) | 一种适用于水下机器人的人机协作方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |