CN114356095A - 基于脑电信号的触觉再现装置体验质量客观评测方法 - Google Patents

基于脑电信号的触觉再现装置体验质量客观评测方法 Download PDF

Info

Publication number
CN114356095A
CN114356095A CN202210019489.1A CN202210019489A CN114356095A CN 114356095 A CN114356095 A CN 114356095A CN 202210019489 A CN202210019489 A CN 202210019489A CN 114356095 A CN114356095 A CN 114356095A
Authority
CN
China
Prior art keywords
electroencephalogram
tactile
qoe
touch
reproduction device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210019489.1A
Other languages
English (en)
Other versions
CN114356095B (zh
Inventor
孙晓颖
张岩
张淼
聂东研
费洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202210019489.1A priority Critical patent/CN114356095B/zh
Publication of CN114356095A publication Critical patent/CN114356095A/zh
Application granted granted Critical
Publication of CN114356095B publication Critical patent/CN114356095B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及一种基于脑电信号的触觉再现装置体验质量客观评测方法,属于信号处理、虚拟现实与人机交互领域。确定触觉再现装置诱发的情绪相关的脑电信号特征,确定情绪相关的脑电信号特征中能反映QoE主观评分的触觉脑电信号特征,确定触觉脑电信号特征和QoE主观评分之间的映射关系。有益效果是:实现了对触觉再现装置由以心理感受为依据的主观评测到以生理信号数据为依据的客观评测,在触觉再现装置评测上,该方法的使用将降低人为因素的影响,通用性及可扩展性强,在评测触觉再现装置的QoE上,有效降低了样本量的需求。

Description

基于脑电信号的触觉再现装置体验质量客观评测方法
技术领域
本发明涉及信号处理、虚拟现实与人机交互领域,尤其涉及一种基于脑电信号的触觉再现装置体验质量QoE客观评测方法。
背景技术
现有人机交互技术多数停留在视觉听觉上,已经不能满足人工智能发展人性化的需求。触觉作为人体除视觉和听觉之外最重要的一种获取信息的知觉形式,在信息获取和感知方面有独特优势,是目前未被充分研究的信息传输通道。
触觉再现技术是当前人机交互与虚拟现实领域内的前沿技术,目前还处于起步阶段,但已经引起了包括中美日德在内的国内外学者的广泛关注。2008年,在Nature期刊上Vincent Hayward预测触觉再现技术将是未来改变世界的十大技术之一。现阶段,触觉再现技术的科研与产业生态正在逐步形成,有巨大的经济价值和市场潜力。据Markets&Markets最新报告,到2022年触觉再现技术市场规模将达195.5亿美元。触觉再现技术被广泛应用在游戏娱乐、机器人、医疗教育以及导航控制等领域中,并将人类与虚拟世界交流推向听觉、视觉与触觉三维融合崭新阶段,不断的提升虚拟环境下的真实感和沉浸感体验。
利用触觉再现技术形成的装置包括:振动式、压膜式、超声式、静电力式和气动式触觉再现装置。触觉再现装置通过电机马达振动,压膜振动,超声振动,静电力吸引和气压变化实现对接触部位的触觉反馈,通过改变摩擦力、法向力、切向力、粗糙度、粘稠度、柔软度等实现对触觉反馈的调节。触觉再现技术的发展,为提升用户体验质量QoE提供了新途径。但触觉再现装置的体验质量还缺少客观有效的评估。作为QoE的一种生理测量手段,脑电信号中的很多特征能反映触觉再现装置体验的主观感受,并有效排除个体差异影响,如事件相关电位中300毫秒到500毫秒的正成分P300和事件相关电位晚期正成分LPP。QoE属于人的一种感受,而感受属于情绪的内在表现,将情绪相关的脑电信号分析技术引入到触觉再现装置评测当中,将有助于触觉再现装置技术的进一步完善发展。
目前现有技术中存在如下问题:
触觉再现装置评测方法可以归为两种:主观评测和模型评估。现有的触觉再现装置评测方法以主观评价为主,主观评价依赖于用户行为,在一定程度上反映用户的主观感受。但由于不同人之间差异较大,需要大量的样本才能归纳出可测触觉再现装置参数到QoE主观评分的映射关系,在应用上有一定局限性。模型评估包括回归分析和机器学习,一定程度上降低了主观因素的影响,相对客观的反映触觉再现装置的QoE,但其性能受客观指标选择的影响,有效的客观指标才能建立可靠的模型。此外,机器学习性能还受训练样本量的影响,可能和主观评价面临同样的大样本量难题。
发明内容
本发明提供一种基于脑电信号的触觉再现装置体验质量客观评测方法,利用QoE主观评分和反映触觉再现装置QoE的脑电信号特征,建立了生理心理映射关系,实现了对触觉再现装置由以心理感受为依据的主观评测到以生理信号为依据的客观评测,在触觉再现装置评测上,该方法的使用将降低人为因素的影响,通用性及可扩展性强。
本发明采取的技术方案是,包括下列步骤:
(1)、确定触觉再现装置诱发的情绪相关的脑电信号特征,包括脑电瞬时响应特征和脑电非瞬时响应特征;
(2)、确定情绪相关的脑电信号特征中能反映QoE主观评分的触觉脑电信号特征;
(3)、确定触觉脑电信号特征和QoE主观评分之间的映射关系。
本发明所述步骤(1)中触觉再现装置包括以下任意之一项或多项:
振动式、压膜式、超声式、静电力式和气动式触觉再现装置。
本发明所述步骤(1)中确定触觉再现装置诱发的情绪相关的脑电瞬时响应特征,具体包括:
当持续产生触觉反馈时,采集脑电信号的同时,依次标记多个起始反馈时间点或起始反馈时间段;
采集大于等于N人次的脑电信号,以标记处为0时刻,截取固定长度数据段,在使用无限脉冲响应数字滤波器去噪后重新选择电位参考点,使用独立成分分析去噪之后按照标记进行数据分割,基线矫正后进行叠加平均,得到脑电瞬时响应特征。
本发明所述脑电瞬时响应特征为事件相关电位中300毫秒到500毫秒的正成分P300和事件相关电位中的晚期正成分LPP。
本发明所述步骤(1)中确定触觉再现装置诱发的情绪相关的脑电非瞬时响应特征,具体包括:
当持续产生触觉反馈时,记录整体触觉反馈过程诱发的全过程脑电信号,对所述全过程脑电信号在使用无限脉冲响应数字滤波器去噪后重新选择电位参考点,使用独立成分分析去噪之后进行变换域处理,得到所述脑电非瞬时响应特征。
本发明所述脑电非瞬时响应特征具体包括以下任意一项或多项:
大脑左右额叶功率不对称性、大脑节律功率不对称性、大脑相位同步性以及非线性特征;
非线性特征包括李雅谱诺夫指数、复杂度、熵(香农熵、谱熵、小波熵、样本熵、近似熵、模糊熵以及排序熵)、递归定量分析、关联维度、去趋势波动分析、赫斯特指数。
本发明所述步骤(2)中确定情绪相关的脑电信号特征中能反映QoE主观评分的触觉脑电信号特征,具体包括:
由于脑电信号的位置和频率不同,触觉再现装置诱发的情绪相关的脑电瞬时响应特征和脑电非瞬时响应特征需进一步确定。
根据触觉再现装置的主观评价计算QoE主观评分;
根据中介效应分析方法计算所述触觉再现装置的参数,所述脑电信号特征以及所述QoE主观评分之间的显著性;
根据所述显著性判断所述脑电信号特征是否对所述触觉再现装置的QoE起到中介作用;
若是,则确定所述脑电信号特征为所述触觉脑电信号特征。
本发明所述中介效应分析的方法为Bootstrap方法或Sobel方法。
本发明所述步骤(3)中确定触觉脑电信号特征和QoE主观评分之间的映射关系,具体包括:
根据触觉再现装置的主观评价计算QoE主观评分;
根据回归分析确定触觉脑电信号特征和QoE主观评分之间的映射关系。
本发明所述回归分析方法为多元线性回归分析,具体包括:
设Y为因变量x1,x2,…xn为自变量,并且自变量与因变量之间为线性关系时,则多元线性回归分析的模型为:
Y=C+c1x1+c2x2+…+cnxn+e
其中,C为常数项,c1,c2,…cn为回归系数,e为偏差项,c1为x1,x2,…xn固定时,x1每增加一个单位对Y的效应;c2,c3,…cn同理。
由趋同性的生理学机理,人体受到触觉刺激时,除了会产生对刺激的心理反映外,大脑皮层的电位会发生相应改变。因此根据触觉再现装置刺激到QoE形成的过程,以大脑电位活动变化为客观依据,提出一种基于脑电信号的触觉再现装置体验质量QoE客观评测方法,该方法利用少量的触觉再现装置参数诱发的脑电信号和对应的主观评分,建立具有一般性的脑电信号到主观QoE的映射模型,该模型可以完成对其他触觉再现装置的QoE预测。
本发明的有益效果是:该方法采用回归分析建模的技术手段,通过建立触觉再现装置诱发的情绪相关的脑电信号特征和QoE主观评分之间的映射模型,由客观脑电信号预测不同参数下触觉再现装置的QoE,并根据预测结果进行触觉再现装置参数的优化。本发明实现了对触觉再现装置由以心理感受为依据的主观评测到以生理信号数据为依据的客观评测,在触觉再现装置评测上,该方法的使用将降低人为因素的影响,通用性及可扩展性强,在评测触觉再现装置的QoE上,有效降低了样本量的需求。
附图说明
图1是本发明的流程图;
图2是本发明的情绪相关的脑电瞬时响应特征提取示意图;
图3是本发明的情绪相关的脑电非瞬时响应特征中的稳态响应特征提取示意图;
图4是本发明的基本中介效应分析示意图;
图5是本发明的情绪相关的脑电瞬时响应特征和QoE主观评分的映射关系示意图;
图6是本发明的情绪相关的脑电非瞬时响应特征和QoE主观评分的映射关系示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例,为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细描述。应理解,此处所描述的具体实施例仅被配置为解释本发明,并不被配置为限定本发明。对于本领域技术人员来说,本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了更好地理解本发明,下面结合图1至图6对本发明实施例提供的基于脑电信号的触觉再现装置体验质量(QoE)客观评测方法进行详细描述。应注意,这些实施例并不是用来限制本发明公开的范围。
图1是示出根据本发明一个实施例的基于脑电信号的触觉再现装置体验质量(QoE)客观评测方法的流程图,本发明实施例中的基于脑电信号的触觉再现装置体验质量(QoE)客观评测方法100包括步骤110至步骤130。
步骤110,确定触觉再现装置诱发的情绪相关的脑电信号特征,包括脑电瞬时响应特征和脑电非瞬时响应特征。
在一个可选的实施例中,触觉再现装置可以包括以下任意之一项或多项:
振动式、压膜式、超声式、静电力式和气动式触觉再现装置。触觉再现的方式可以根据上述不同的装置对应不同的触觉反馈。
在一个可选的实施例中,步骤110具体可以包括步骤1101至步骤1102:
步骤1101,确定触觉再现装置诱发的情绪相关的脑电瞬时响应特征。
在该步骤中,情绪相关的脑电瞬时响应特征包括事件相关电位中300毫秒到500毫秒的正成分P300和事件相关电位中的晚期正成分LPP,这两种脑电信号为时域振幅波动变化特征,情绪相关的脑电瞬时响应特征提取示意图如图2所示。当持续产生触觉反馈时,采集脑电信号的同时,依次标记多个起始反馈时间点或起始反馈时间段;采集大于等于N人次的脑电信号,具体的,N可以为32。以标记处为0时刻,截取固定长度数据段,在使用无限脉冲响应数字滤波器去噪后重新选择电位参考点,使用独立成分分析去噪之后按照标记进行数据分割,基线矫正后进行叠加平均,得到情绪相关的脑电瞬时响应特征。
在一个可选的实施例中,步骤1101具体还可以包括:
对采集的原始脑电信号进行降采样,使用无限脉冲响应数字滤波器滤波提取出目标频段,使用全脑平均作为重新参考电极,利用快速独立成分分析去除眼电干扰影响,按照标记进行固定长度的数据分割,选择标记点前200毫秒作为校正基线,将所有数据段进行叠加平均,降低随机噪声的影响,得到情绪相关的脑电瞬时响应特征。
在一个可选的实施例中,步骤1101具体还可以包括:
P300为标记处之后一段时间内,例如300毫秒到500毫秒,最大幅值对应的脑电信号,特征包括时间点和幅值。LPP为标记处之后一段时间内,例如300毫秒到1000毫秒,最大幅值对应的脑电信号,特征包括时间点和幅值。特别的,P300和LPP也可以为标记处之后同一段时间内,例如300毫秒到500毫秒,最大幅值对应的脑电信号,特征包括时间点和幅值,此时P300和LPP可以相同。
步骤1102,确定触觉再现装置诱发的情绪相关的脑电非瞬时响应特征。
在触觉再现装置持续的对用户产生触觉反馈时,记录整个触觉反馈过程诱发的全过程脑电信号,对所述全过程脑电信号在使用无限脉冲响应数字滤波器去噪后重新选择电位参考点,使用独立成分分析去噪之后进行变换域处理,得到所述脑电非瞬时响应特征。
在一个可选的实施例中,步骤1102具体还可以包括:
情绪相关的脑电非瞬时响应特征中的稳态响应特征提取示意图如图3所示,具体为达到一定速率的连续周期性刺激诱发范式。
此外,在该步骤中,和情绪相关的脑电非瞬时响应特征具体包括以下任意一项或多项:
大脑左右额叶功率不对称性、大脑节律功率不对称性、大脑相位同步性以及非线性特征;
在一个可选的实施例中,步骤1102具体还可以包括:
大脑左右额叶功率不对称性为大脑额叶位置F3-F4、F5-F6和F7-F8电极对,根据位置分布计算Theta、Alpha和Beta节律频段的功率不对称性,计算公式为:
ALR=|(L-R)/(L+R)|
其中,ALR为大脑左右额叶功率不对称值,L为左额叶功率,电极位置包括F3、F5和F7,R为左额叶功率,电极位置包括F4、F6和F8。
在一个可选的实施例中,步骤1102具体还可以包括:
脑电信号中的Theta节律功率通常与情感活动有关,低频Theta节律(4-6Hz)的功率在快乐和恐惧时增大,高频Theta节律(6-8Hz)功率在快乐、愤怒、厌恶和悲伤情绪时也会增大。在负性情绪状态下Theta节律功率减小,Beta节律功率增大;在正性情绪状态下Theta节律功率增大,Beta节律功率减小,因此大脑Theta和Beta节律功率的不对称性计算公式为:
ATB=|(θ-β)/(θ+β)
其中,ATB为大脑Theta和Beta节律功率不对称值,θ为Theta节律的功率值,β为Beta节律的功率值。
在一个可选的实施例中,步骤1102具体还可以包括:
Alpha节律代表大脑由昏睡到清醒的状态,通常被认为和情感因素有关,Beta节律为大脑兴奋状态,正性情绪状态下其功率减小,大脑Alpha和Beta节律功率的不对称性计算公式为:
AAB=|(α-β)/(α+β)|
其中,AAB为大脑Alpha和Beta节律功率不对称值,α为Alpha节律的功率值,β为Beta节律的功率值。
在一个可选的实施例中,步骤1102具体还可以包括:
大脑相位同步性是一段时间内特定频段的两个信号出现的相位锁定现象,忽略信号幅值的影响,仅通过信号间的瞬时相位关系来检测不同信号对之间的微弱的相互关系,己被证明是有效的用于推断神经连接功能的方法,相位同步指标可反映大脑不同功能区域的信息交互情况。
在一个可选的实施例中,步骤1102具体还可以包括:
非线性特征可以对大脑神经活动过程进行解释,并反映人的主观感受。脑电信号中反映的人类大脑神经活动是具有非线性动力学特征的复杂活动。脑电信号的非线性特征已经被证明可用于主观感受的分类任务当中。
在一个可选的实施例中,步骤1102具体还可以包括:
非线性特征包括李雅谱诺夫指数、复杂度、熵(香农熵、谱熵、小波熵、样本熵、近似熵、模糊熵以及排序熵)、递归定量分析发、关联维度、去趋势波动分析、赫斯特指数。
步骤120,确定情绪相关的脑电信号特征中能反映QoE主观评分的触觉脑电信号特征。在该步骤中,
由于脑电信号的位置和频率不同,触觉再现装置诱发的情绪相关的脑电瞬时响应特征和脑电非瞬时响应特征需进一步确定。
根据触觉再现装置的主观评价计算QoE主观评分;
根据中介效应分析方法计算所述触觉再现装置参数,所述脑电信号特征以及所述QoE主观评分之间的显著性,其中,所述脑电信号特征包括步骤110所确定的脑电瞬时响应特征和脑电非瞬时响应特征;根据所述显著性判断所述脑电信号特征是否对所述触觉再现装置的QoE起到中介作用;若是,则确定所述脑电信号特征为所述触觉脑电信号特征。
在一个可选的实施例中,步骤120具体还可以包括:
在中介效应分析过程中,在不加入控制变量和加入控制变量两种情况下进行中介效应计算。不加入控制变量为单独将每个脑电信号特征作为中介变量输入,中介效应为基本中介效应,基本中介效应分析示意图;如图4所示。加入控制变量为将所有脑电信号特征同时作为中介变量输入,中介效应为非基本中介效应。在加入控制变量和不加入控制变量两种情况下基本中介效应和非基本中介效应都显著的脑电信号特征作为能反映QoE主观评分的触觉脑电信号特征。
所述非基本中介效应包括多重中介效应,链式中介效应和有调节的中介效应。
在一个可选的实施例中,步骤120具体还可以包括:
可用于中介效应分析的方法为Bootstrap方法或Sobel方法。
步骤130,确定所述触觉脑电信号特征和QoE主观评分之间的映射关系。在该步骤中,根据触觉再现装置的主观评价计算所述QoE主观评分;根据多元线性回归分析确定步骤120所述触觉脑电信号特征和所述QoE主观评分之间的映射关系;
所述回归分析方法为多元线性回归分析,具体包括:
设Y为因变量x1,x2,…xn为自变量,并且自变量与因变量之间为线性关系时,则多元线性回归分析的模型为:
Y=C+c1x1+c2x2+…+cnxn+e
其中,C为常数项,c1,c2,…cn为回归系数,e为偏差项,c1为x1,x2,…xn固定时,x1每增加一个单位对Y的效应;c2,c3,…cn同理。
在一个可选的实施例中,步骤130具体可以包括:
例如,静电力触觉再现装置体验中,以情绪相关的脑电瞬时响应特征评测屏幕触觉力的变化,特征提取示意图同图2。以静电力发生变化时刻为图2中的关注点,当人手触摸到的静电力发生变化时,对该时刻进行标记。采集完成后,对脑电信号预处理后,按照标记进行分割叠加。之后以静电力变化大小为自变量,静电力触觉再现装置的QoE主观评分作为因变量,分割叠加后的脑电信号特征作为中介变量。根据步骤120,确定脑电瞬时响应特征。之后以脑电瞬时响应特征作为自变量,静电力触觉再现的主观评价计算得到的QoE主观评分作为因变量,利用多元线性回归分析计算回归系数,以回归系数作为加权系数,常数作为较准,对触觉脑电信号特征加权求和,得到静电力再现装置诱发脑电信号到QoE主观评分的映射关系。情绪相关的脑电瞬时响应特征和QoE主观评分的映射关系如图5所示。
在一个可选的实施例中,步骤130具体可以包括:
例如,在VR射击游戏场景中,情绪相关的脑电非瞬时响应特征为稳态响应特征,特征提取示意图同图3。对手柄上分别施加振动频率3Hz、15Hz和60Hz,振动频率作为自变量,VR场景中触觉再现装置的QoE主观评分作为因变量,在VR体验过程中计算采集到的脑电信号特征作为中介变量。根据步骤120,确定脑电非瞬时响应特征。之后以脑电非瞬时响应特征作为自变量,VR场景体验主观评价计算得到的QoE主观评分作为因变量,利用多元线性回归分析计算脑电非瞬时响应特征的回归系数,以回归系数作为加权系数,常数项作为较准,对触觉脑电信号特征加权求和,得到触觉再现装置诱发脑电信号到QoE主观评分的映射关系。情绪相关的脑电非瞬时响应特征和QoE主观评分的映射关系如图6所示。
在一个可选的实施例中,步骤130还具体可以包括:
例如,在VR射击游戏场景中,对手柄施加其他频率的振动触觉刺激,采集脑电信号,计算能反映触觉再现装置QoE的脑电信号特征;根据前述触觉再现装置诱发脑电信号到QoE主观评分的映射关系预测其他频率对应的VR场景中触觉再现装置的QoE主观评分。
根据本发明实施例的基于脑电信号的触觉再现装置体验质量客观评测方法,通过以少量触觉再现装置参数为依据,确定能表征触觉再现装置的脑电信号特征,利用多元线性回归分析建立触觉再现装置诱发脑电信号和QoE主观评分的映射模型,由映射模型对其他触觉再现装置参数刺激下的QoE进行预测。实现了对触觉再现装置由以心理感受为依据的主观评测到以生理信号数据为依据的客观评测的转变,实现了以少数触觉再现装置参数对应的QoE预测多数触觉再现装置参数对应QoE的功能。在触觉再现装置客观评测思想上,该方法的使用将降低人为因素的影响,通用性及可扩展性强。
需要明确的是,本发明并不局限于上文实施例中所描述并在图中示出的特定配置和处理。为了描述的方便和简洁,这里省略了对已知方法的详细描述,并且上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使对应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于脑电信号的触觉再现装置体验质量客观评测方法,其特征在于,包括下列步骤:
(1)、确定触觉再现装置诱发的情绪相关的脑电信号特征,包括脑电瞬时响应特征和脑电非瞬时响应特征;
(2)、确定所述情绪相关的脑电信号特征中能反映QoE主观评分的触觉脑电信号特征;
(3)、确定所述触觉脑电信号特征和QoE主观评分之间的映射关系。
2.根据权利要求1所述的基于脑电信号的触觉再现装置体验质量客观评测方法,其特征在于:所述步骤(1)中触觉再现装置包括以下任意之一项或多项:
振动式、压膜式、超声式、静电力式和气动式触觉再现装置。
3.根据权利要求1所述的基于脑电信号的触觉再现装置体验质量客观评测方法,其特征在于:所述步骤(1)中确定触觉再现装置诱发的情绪相关的脑电瞬时响应特征,具体包括:
当持续产生触觉反馈时,采集脑电信号的同时,依次标记多个起始反馈时间点或起始反馈时间段;
采集大于等于N人次的脑电信号,以标记处为0时刻,截取固定长度数据段,在使用无限脉冲响应数字滤波器去噪后重新选择电位参考点,使用独立成分分析去噪之后按照标记进行数据分割,基线矫正后进行叠加平均,得到所述脑电瞬时响应特征。
4.根据权利要求3所述的基于脑电信号的触觉再现装置体验质量客观评测方法,其特征在于:所述脑电瞬时响应特征为事件相关电位中300毫秒到500毫秒的正成分P300和事件相关电位中的晚期正成分LPP。
5.根据权利要求1所述的基于脑电信号的触觉再现装置体验质量客观评测方法,其特征在于:所述步骤(1)中确定触觉再现装置诱发的情绪相关的脑电非瞬时响应特征,具体包括:
当持续产生触觉反馈时,记录整体触觉反馈过程诱发的全过程脑电信号,对所述全过程脑电信号在使用无限脉冲响应数字滤波器去噪后重新选择电位参考点,使用独立成分分析去噪之后进行变换域特征提取计算,得到所述脑电非瞬时响应特征。
6.根据权利要求5所述的基于脑电信号的触觉再现装置体验质量客观评测方法,其特征在于,所述脑电非瞬时响应特征具体包括以下任意一项或多项:
大脑左右额叶功率不对称性、大脑节律功率不对称性、大脑相位同步性以及非线性特征;
所述非线性特征包括李雅谱诺夫指数、复杂度、熵(香农熵、谱熵、小波熵、样本熵、近似熵、模糊熵以及排序熵)、递归定量分析、关联维度、去趋势波动分析、赫斯特指数。
7.根据权利要求1所述的基于脑电信号的触觉再现装置体验质量客观评测方法,其特征在于:所述步骤(2)中确定所述情绪相关的脑电信号特征中能反映QoE主观评分的触觉脑电信号特征,具体包括:
根据所述触觉再现装置的主观评价计算所述QoE主观评分;
根据中介效应分析方法计算所述触觉再现装置的参数,所述脑电信号特征以及所述QoE主观评分之间的显著性;
根据所述显著性判断所述脑电信号特征是否对所述触觉再现装置的QoE起到中介作用;
若是,则确定所述脑电信号特征为所述触觉脑电信号特征。
8.根据权利要求7所述的基于脑电信号的触觉再现装置体验质量客观评测方法,其特征在于:所述中介效应分析的方法为Bootstrap方法或Sobel方法。
9.根据权利要求1所述的基于脑电信号的触觉再现装置体验质量客观评测方法,其特征在于:所述步骤(3)中确定触觉脑电信号特征和QoE主观评分之间的映射关系,具体包括:
根据所述触觉再现装置的主观评价计算所述QoE主观评分;
根据回归分析确定所述触觉脑电信号特征和所述QoE主观评分之间的映射关系。
10.根据权利要求9所述的基于脑电信号的触觉再现装置体验质量客观评测方法,其特征在于:所述回归分析方法为多元线性回归分析,具体包括:
设Y为因变量x1,x2,…xn为自变量,并且自变量与因变量之间为线性关系时,则多元线性回归分析的模型为:
Y=C+c1x1+c2x2+…+cnxn+e
其中,C为常数项,c1,c2,…cn为回归系数,e为偏差项,c1为x1,x2,…xn固定时,x1每增加一个单位对Y的效应;c2,c3,…cn同理。
CN202210019489.1A 2022-01-08 2022-01-08 基于脑电信号的触觉再现装置体验质量客观评测方法 Active CN114356095B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210019489.1A CN114356095B (zh) 2022-01-08 2022-01-08 基于脑电信号的触觉再现装置体验质量客观评测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210019489.1A CN114356095B (zh) 2022-01-08 2022-01-08 基于脑电信号的触觉再现装置体验质量客观评测方法

Publications (2)

Publication Number Publication Date
CN114356095A true CN114356095A (zh) 2022-04-15
CN114356095B CN114356095B (zh) 2023-07-21

Family

ID=81107885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210019489.1A Active CN114356095B (zh) 2022-01-08 2022-01-08 基于脑电信号的触觉再现装置体验质量客观评测方法

Country Status (1)

Country Link
CN (1) CN114356095B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115407872A (zh) * 2022-08-12 2022-11-29 北京津发科技股份有限公司 一种智能人机协同系统测评方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8380561B1 (en) * 2008-07-30 2013-02-19 Immersion Corporation Method and apparatus for scoring haptic devices
KR20130115573A (ko) * 2012-04-12 2013-10-22 경희대학교 산학협력단 두부경락활성 측정장치 및 측정방법
CN109316196A (zh) * 2018-12-12 2019-02-12 上海市精神卫生中心(上海市心理咨询培训中心) 基于虚拟现实联合脑电监测的苯丙胺类兴奋剂渴求评估方法
CN109920498A (zh) * 2018-12-28 2019-06-21 清华大学 基于情绪脑电响应相似性的人际关系预测方法
CN110764619A (zh) * 2019-10-24 2020-02-07 吉林大学 基于特征相似度的触觉再现轮廓渲染真实感定量评估方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8380561B1 (en) * 2008-07-30 2013-02-19 Immersion Corporation Method and apparatus for scoring haptic devices
KR20130115573A (ko) * 2012-04-12 2013-10-22 경희대학교 산학협력단 두부경락활성 측정장치 및 측정방법
CN109316196A (zh) * 2018-12-12 2019-02-12 上海市精神卫生中心(上海市心理咨询培训中心) 基于虚拟现实联合脑电监测的苯丙胺类兴奋剂渴求评估方法
CN109920498A (zh) * 2018-12-28 2019-06-21 清华大学 基于情绪脑电响应相似性的人际关系预测方法
CN110764619A (zh) * 2019-10-24 2020-02-07 吉林大学 基于特征相似度的触觉再现轮廓渲染真实感定量评估方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DARRAGH EGAN等: "An evaluation of Heart Rate and ElectroDermal Activity as an objective QoE evaluation method for immersive virtual reality environment", 《2016 EIGHTH INTERNATIONAL CONFERENCE ON QUALITY OF MULTIMEDIA EXPERIENCE(QOMEX)》, pages 16107021 *
LIN XIN等: "Human emotion classification based on multiple physiological signals by wearable system", 《TECHNOLOGY AND HEALTH CARE》, vol. 26, no. 1, pages 459 - 469 *
姜颖;洪军;王崴;瞿珏;: "面向VDT显示界面的视觉舒适度客观描述方法", 中南大学学报(自然科学版), vol. 48, no. 01, pages 77 - 83 *
燕学智等: "一种表面触觉再现设备性能的评估方法", 《第十九届中国科协年会——分4信息新技术 东北新工业论坛论文集》, pages 35 - 41 *
蔡船;邓丽;陈波;陈治霖;文荣;庞茜月;: "脑电技术在工业设计中的应用", 机械设计与制造工程, vol. 46, no. 10, pages 80 - 84 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115407872A (zh) * 2022-08-12 2022-11-29 北京津发科技股份有限公司 一种智能人机协同系统测评方法、装置及存储介质
CN115407872B (zh) * 2022-08-12 2023-10-13 北京津发科技股份有限公司 一种智能人机协同系统测评方法、装置及存储介质
WO2024032728A1 (zh) * 2022-08-12 2024-02-15 北京津发科技股份有限公司 一种智能人机协同系统测评方法、装置及存储介质

Also Published As

Publication number Publication date
CN114356095B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
Jerritta et al. Electrocardiogram-based emotion recognition system using empirical mode decomposition and discrete Fourier transform.
Artusi et al. Performance of a simulated adaptive BCI based on experimental classification of movement-related and error potentials
CN110604565A (zh) 一种基于便携式eeg设备的脑部健康筛查方法
CN101690659A (zh) 脑电波分析方法
CN110946576A (zh) 一种基于宽度学习的视觉诱发电位识别情绪方法
Khalili et al. Emotion detection using brain and peripheral signals
CN110251124B (zh) 一种有效性脑网络的确定方法及系统
JP7336755B2 (ja) データ生成装置、生体データ計測システム、識別器生成装置、データ生成方法、識別器生成方法及びプログラム
CN109009098B (zh) 一种运动想象状态下的脑电信号特征识别方法
Sharma et al. Audio-video emotional response mapping based upon electrodermal activity
CN105105774A (zh) 基于脑电信息的驾驶人警觉度监测方法及监测系统
Fatima et al. Towards a low cost Brain-computer Interface for real time control of a 2 DOF robotic arm
CN114356095A (zh) 基于脑电信号的触觉再现装置体验质量客观评测方法
Hamedi et al. Facial gesture recognition using two-channel bio-sensors configuration and fuzzy classifier: A pilot study
CN112168185B (zh) 视觉持续注意力测试装置和方法
Roy et al. A generic neural network model to estimate populational neural activity for robust neural decoding
Sutharsan et al. Electroencephalogram signal processing with independent component analysis and cognitive stress classification using convolutional neural networks
Turnip et al. Utilization of EEG-SSVEP method and ANFIS classifier for controlling electronic wheelchair
Ashwini et al. Classification of EEG signal using EACA based approach at SSVEP-BCI
CN114010208B (zh) 适用于ssvep分类的零填充频域卷积神经网络方法
Arnau-González et al. Image-evoked affect and its impact on eeg-based biometrics
Özmen et al. Discrimination between mental and motor tasks of EEG signals using different classification methods
Aznan et al. EEG-based motor imagery classification in BCI system by using unscented Kalman filter
CN113017648B (zh) 一种脑电信号识别方法和系统
CN115392287A (zh) 一种基于自监督学习的脑电信号在线自适应分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant