CN114779930A - 基于一对多支持向量机的vr用户触觉体验的情绪识别方法 - Google Patents
基于一对多支持向量机的vr用户触觉体验的情绪识别方法 Download PDFInfo
- Publication number
- CN114779930A CN114779930A CN202210380616.0A CN202210380616A CN114779930A CN 114779930 A CN114779930 A CN 114779930A CN 202210380616 A CN202210380616 A CN 202210380616A CN 114779930 A CN114779930 A CN 114779930A
- Authority
- CN
- China
- Prior art keywords
- user
- matrix
- touch
- emotion
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012706 support-vector machine Methods 0.000 title claims abstract description 23
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 12
- 238000004088 simulation Methods 0.000 claims abstract description 49
- 230000008451 emotion Effects 0.000 claims abstract description 43
- 238000010008 shearing Methods 0.000 claims abstract description 9
- 230000006399 behavior Effects 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 67
- 239000013598 vector Substances 0.000 claims description 47
- 230000004927 fusion Effects 0.000 claims description 46
- 238000012549 training Methods 0.000 claims description 26
- 239000000835 fiber Substances 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 14
- 239000002245 particle Substances 0.000 claims description 13
- 230000036772 blood pressure Effects 0.000 claims description 12
- 239000004744 fabric Substances 0.000 claims description 11
- 210000005239 tubule Anatomy 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 239000012530 fluid Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 230000002087 whitening effect Effects 0.000 claims description 5
- 230000009977 dual effect Effects 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims 2
- 239000000284 extract Substances 0.000 claims 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims 1
- 230000003044 adaptive effect Effects 0.000 claims 1
- 238000000354 decomposition reaction Methods 0.000 claims 1
- 230000009466 transformation Effects 0.000 claims 1
- 230000035807 sensation Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 3
- 239000008280 blood Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 206010040007 Sense of oppression Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000004118 muscle contraction Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
Abstract
本发明涉及基于一对多支持向量机的VR用户触觉体验的情绪识别方法，包括：场景计算机通过显示终端向用户展示虚拟场景，用户佩戴触觉模拟和反馈装置与场景计算机进行交互；场景计算机捕捉用户在虚拟场景中的触摸行为；根据用户的触摸对象，场景计算机控制触觉模拟和反馈装置，对皮肤触觉模拟模块接触的用户皮肤部位产生不同的压力、剪切力，使用户产生触觉体验；触觉模拟和反馈装置的生理信号模块采集用户的生理信号；根据实时采集的用户的生理信号，判断用户的情绪。本发明实时分析用户虚拟场景中的触摸行为产生的情绪，得到用户对体验对象的反馈信息，准确性好，可广泛用于各种新生事物的虚拟体验的用户情绪识别，体验度高，省时省力，节约成本。
Description
技术领域
本发明属于模式识别领域，具体涉及一种基于一对多支持向量机的VR用户触觉体验的情绪识别方法。
背景技术
当前虚拟现实技术已经广泛运用在产品体验行业，一个典型的应用场景就是虚拟现实下的汽车驾驶体验：使用者戴上VR头显，配合力反馈手套、汽车座椅等外部设备，就可以在虚拟现实场景中感受到接近真实的驾驶体验。然而，上述外部设备所提供的感观有一定的局限性。例如，用户感受到的触觉由直接触摸上述方向盘、座椅产生，而当用户在虚拟现实场景中用手部触摸到其他表面时，则无法产生触觉，这在一定程度上降低了用户体验。
目前，现有的触觉模拟装置存在的问题大多为结构复杂，模拟的真实程度较低。例如，当利用电磁力或微型振动马达来提供力反馈时，由于这些构件本身的尺寸较大，使得整个装置较为笨重，当使用者手部佩戴该类装置时，易产生压迫感和疲劳感，在一定程度上令使用者的体验感下降。另外，使用电磁力、振动马达或类似手段来模拟触觉反馈时，仅可在垂直方向上对皮肤施加力，而在真实世界中皮肤对力的感知绝非仅限于一个平面内，故此类装置无法完整地模拟不同维度上的力反馈，使得拟真程度下降。
此外，用户与虚拟现实场景进行交互时，其情感、生理信号也在不断变化。例如，当用户在虚拟现实场景中触摸外表尖锐的物体时，内心将产生抵触情绪，在生理层面上将表现为心跳加快、肌肉收缩等等。将这些生理信号进行收集、分析，就能得出用户在虚拟场景中与不同对象交互意识情感的变化。当前，生理信号采集在可穿戴设备如智能手表领域应用广泛，而在虚拟现实领域的使用还比较少。基于生理信号的情感分析还难以整合到现有的虚拟现实体感设备系统中。
然而，情感分析在虚拟现实中的应用，一方面，需要一种轻便且精确的感官模拟装置，来保证用户与虚拟场景交互时有尽可能接近现实的体验；另一方面，由于此类交互的拟真程度高，其产生的生理信号足以反映用户在现实世界中进行同种交互所产生的情感，因此需要一套能实时收集、分析用户生理信号的系统。
发明内容
本发明的目的是针对上述问题，提供基于一对多支持向量机的VR用户触觉体验的情绪识别方法，用户在虚拟场景中有触摸行为时，对用户手部提供垂直方向的压力和水平方向的剪切力，模拟出更逼真的触觉体验；同时，采集用户的脑电、肌电、血压信号，分析得出用户的情绪，得到用户对触摸对象的喜好程度，收集用户对体验对象的反馈信息，可用于现实生活中各种新生事物的虚拟体验。
本发明的虚拟现实系统VR包括场景计算机以及与其通讯连接的触觉模拟和反馈装置，所述触觉模拟和反馈装置佩戴在用户肢体上，它包括微处理器以及分别与其连接的皮肤触觉模拟模块、生理信号模块；皮肤触觉模拟模块根据场景和用户的肢体位置，对皮肤触觉模拟模块接触的皮肤产生不同的压力、剪切力，模拟出用户触摸场景中物体的触感；生理信号模块包括分别与微处理器连接的血压传感器、肌电传感器和脑电传感器。
本发明的技术方案是基于一对多支持向量机的VR用户触觉体验的情绪识别方法，包括以下步骤：
步骤1：场景计算机通过显示终端向用户展示虚拟场景，用户佩戴触觉模拟和反馈装置与场景计算机进行交互；
步骤2：场景计算机捕捉用户在虚拟场景中的触摸行为；
步骤3：根据用户的触摸对象，场景计算机控制触觉模拟和反馈装置，对皮肤触觉模拟模块接触的用户皮肤部位产生不同的压力、剪切力，使用户产生触觉体验；
步骤4：触觉模拟和反馈装置的生理信号模块采集用户的生理信号；
步骤5：根据实时采集的用户的生理信号，判断用户的情绪；
步骤5.1：采集不同用户不同情绪下的脑电、肌电、血压信号，提取生理信号特征的脑电特征向量、肌电特征向量、血压特征向量，得到用户的生理信号特征向量组，并人工标记每个试次的生理信号特征向量的情绪标签；·
步骤5.2：初始化融合系数矩阵，对每个试次的脑电特征向量、肌电特征向量、血压特征向量进行融合，得到融合特征向量矩阵，将融合系数矩阵的特征值作为粒子群的粒子，利用粒子群优化算法对融合系数矩阵进行优化，使得经融合系数矩阵计算的生理信号特征向量组的融合数值与其标记的情绪标签相适应，得到初次优化的融合系数矩阵；
步骤5.3：利用融合系数矩阵，对步骤5.1采集的用户生理信号特征进行融合，得到每个试次的融合特征向量矩阵，并结合人工对其标记的情绪标签，构建训练数据集；
步骤5.4：对训练数据集采用一对多支持向量机进行训练，计算适应度，更新融合系数，达到预定适应度后停止训练，得到多个带情绪标签的训练网络模型；
步骤5.5：从实时采集的用户的生理信号中提取特征向量组，利用融合系数矩阵得到融合特征矩阵，利用训练网络模型对融合特征矩阵进行训练后使用一对多支持向量机进行分类，分类结果与情绪标签进行匹配，将匹配程度最好的情绪标签作为用户的情绪判断结果。
步骤5.1采用共空间模式算法从用户的脑电信号中提取脑电特征向量，去除脑电信号中的不相关成分，提高抗噪效果。共空间模式算法的本原理为协方差矩阵对角化，将用户的脑电信号进行二分类特征提取，其具体步骤如下：
设E为预处理后的一个Trial试次脑电信号矩阵，维数为N×T，式中N表示脑电数据通道数目，T表示通道的采样率。则脑电数据的协方差矩阵为：
式中ET是E的转置矩阵，trace(X)为矩阵X的迹。
计算两类脑电信号所有Trial试次的平均协方差
表示第一类脑电信号的平均协方差矩阵，
表示第二类脑电信号的平均协方差矩阵；
并求其平均协方差矩阵之和，即混合空间协方差
为：
对
进行特征值分解，得：
式中U为特征向量矩阵；λ为特征值构成的对角阵。将特征值进行降序排列，则白化矩阵为：
对
进行白化，得：
式中I为单位矩阵，对
进行变换，得：
式中S1和S2有相同的特征向量，因经过降序排列，故S1和S2的特征值大小顺序相反，S1的最大特征值对应S2的最小特征值。
若
S1＝Bλ1BT
则：
B表示S1、S2的特征矩阵；
求得空间滤波器W为：
W＝BTP
将脑电信号E通过空间滤波器投影后得到新信号：
ZN×T＝WN×NEN×T
提取Z的前m行和后m行共2m(2m＜N)行新信号进行如下变化，即可得到一个Trial试次的最终特征值如下：
上述步骤对脑电信号进行二分类。
对脑电信号进行n分类时，利用上述原理将其转化为n(n-1)/2个二分类任务进行两两运算即可。
所述一对多支持向量机算法为支持向量机算法的推广。分类训练时依次将某类别的样本与其余样本构造决策平面，即利用k个样本构造出k个分类平面，从而实现样本的多分类。其具体步骤为：首先将训练样本中第j类样本作为正类(j＝1，2，3，...，k)，将其余k-1类样本看作负类；其次对此两类样本使用支持向量机算法进行二分类，该算法流程利用数学语言可描述为：①构造约束条件下的目标函数；②求解其拉格朗日函数的鞍点，即利用对偶理论将目标函数转换为对偶问题；③求解转换函数的最优解；④得出此二类样本的决策函数f(x)；⑤重复上述步骤可得出k个决策函数fj(x)。最后，将某样本分别带入k个决策函数并求值，即可通过结果中的最大值确定该样本的分类，从而达到多类识别的目的。
优选地，所述皮肤触觉模拟模块包括穿戴在用户肢体上的纤维布以及纤维布孔中布置的触觉片，触觉片外部设有与纤维布固定连接的限位环，触觉片四周多个连接点与沿限位环均匀分布的纤维绳的末端连接，纤维绳远离触觉片端与细管中的微型活塞固定连接，细管与液压机构连接，细管中充满液压流体，在液压机构的驱动下，触觉片四周不同方向的细管中液压流体具有不同的压强，使得不同方向的与细管中活塞连接的纤维绳产生不同的拉力，触觉片在不同方向纤维绳的不同大小的拉力的作用下，对与其接触的用户体皮肤产生压力和剪切力。
优选地，所述述触觉模拟和反馈装置还包括微型液压模块，细管与微型液压模块的细管接头连接。
优选地，所述触觉模拟和反馈装置还包括与微处理器连接的陀螺仪传感器。
相比现有技术，本发明的有益效果包括：
1)本发明的方法实时分析用户虚拟场景中的触摸行为产生的情绪，得到用户对体验对象的反馈信息，准确性好，可广泛用于各种新生事物的虚拟体验的用户情绪识别，体验度高，省时省力，节约成本；
2)本发明实时采集用户的脑电、肌电和血压等生理信号，分析用户的情绪，得到用户对触摸对象的喜好程度；
3)本发明采用共空间模式算法从用户的脑电信号中提取区分度高的脑电特征信息，去除脑电信号中的不相关成分，抗噪效果好；
4)本发明的方法利用粒子群算法对生理信号特征向量的融合系数进行优化后，再利用一对多支持向量机针对情绪标签进行分类训练，提高了情绪识别的精度。
附图说明
下面结合附图和实施例对本发明作进一步说明。
图1为本发明实施例的虚拟场景体验系统的结构示意图。
图2为本发明实施例的皮肤触觉模拟模块的示意图。
图3为本发明实施例的皮肤触觉模拟模块穿戴在用户手部的示意图。
图4为本发明实施例的分析得到用户情绪的流程示意图。
具体实施方式
如图1所示，虚拟场景体验系统，包括场景计算机1以及分别与其通讯连接的显示终端3、触觉模拟和反馈装置2，触觉模拟和反馈装置2佩戴在用户手部，它包括微处理器201以及分别与其连接的第二通信模块202、定位模块205、皮肤触觉模拟模块203、存储器206和陀螺仪传感器207；生理信号模块208包括分别与微处理器201连接的血压传感器、肌电传感器和脑电传感器。第二通信模块202经无线网络与场景计算机1的通信模块通讯连接。场景计算1利用触觉模拟和反馈装置2的定位模块205和陀螺仪传感器207，精确追踪用户手部的运动轨迹和姿态。
如图2和图3所示，皮肤触觉模拟模块203包括穿戴在用户肢体上的纤维布2031以及纤维布孔中布置的圆形触觉片2036，触觉片2036外部设有与纤维布固定连接的圆形限位环2032，触觉片2036外圈均匀分布的4个连接点分别与沿限位环2032均匀分布的纤维绳2033的末端连接，纤维绳2033远离触觉片端与细管2035中的微型活塞2034固定连接，细管2035与微型液压模块204的细管接头2041连接，细管2035中充满液压流体，在微型液压模块的驱动下，触觉片2036四周不同方向的细管中液压流体具有不同的压强，使得不同方向的与细管中活塞连接的纤维绳产生不同的拉力，触觉片2036在不同方向纤维绳的不同大小的拉力的作用下，对与其接触的用户体皮肤产生垂直方向的压力和水平方向的剪切力。皮肤触觉模拟模块203根据显示终端3展示的场景和用户的肢体位置，对皮肤触觉模拟模块接触的皮肤产生不同的压力、剪切力，模拟出用户触摸场景中物体的触感。
实施例中，显示终端3采用VR头盔。
上述系统的VR用户触觉体验的情绪识别方法，包括以下步骤：
步骤1：场景计算机通过显示终端向用户展示虚拟场景，用户佩戴触觉模拟和反馈装置与场景计算机进行交互；
步骤2：场景计算机捕捉用户在虚拟场景中的触摸行为；
步骤3：根据用户的触摸对象，场景计算机控制触觉模拟和反馈装置，对皮肤触觉模拟模块接触的用户皮肤部位产生不同的压力、剪切力，使用户产生触觉体验；
步骤4：触觉模拟和反馈装置的生理信号模块采集用户的生理信号；
步骤5：根据实时采集的用户的生理信号，判断用户的情绪；
步骤5.1：采集不同用户不同情绪下的脑电、肌电、血压信号，提取生理信号特征的肌电特征向量x2、血压特征向量x3，采用共空间模式算法提取脑电特征向量x1，得到用户的生理信号特征向量组X＝[x1，x2，x3]，并人工标记每个试次的生理信号特征向量的情绪标签；
步骤5.2：初始化融合系数矩阵A＝[a1，a2，a3]，对每个试次的脑电特征向量x1、肌电特征向量x2、血压特征向量x3进行融合，得到融合特征向量矩阵v＝[a1x1，a2x2，a3x3]，将融合系数矩阵的特征值作为粒子群的粒子，利用粒子群优化算法对融合系数矩阵进行优化，使得经融合系数矩阵计算的生理信号特征向量组的融合数值与其标记的情绪标签相适应，得到初次优化的融合系数矩阵；
步骤5.3：利用融合系数矩阵A，对步骤5.1采集的用户生理信号特征进行融合，得到每个试次的融合特征向量矩阵，并结合人工对其标记的情绪标签，构建训练数据集；
步骤5.4：对训练数据集采用一对多支持向量机进行训练，计算适应度，更新融合系数矩阵A，达到预定适应度后停止训练，得到多个带情绪标签的训练网络模型；
步骤5.5：从实时采集的用户的生理信号中提取特征向量组，利用融合系数矩阵A得到融合特征向量矩阵，利用训练网络模型对融合特征矩阵进行训练后使用一对多支持向量机进行分类，分类结果与情绪标签进行匹配，将匹配程度最好的情绪标签作为用户的情绪判断结果。
步骤5.1的共空间模式算法参照1990年第2期《Brain Topography》刊登的ZoltanJ.等的论文“Spatial patterns underlying population differences in thebackground EEG”公开的共空间模式算法。
步骤5.2的粒子群优化算法参照IEEE 2007年群体智能会议(Swarm IntelligenceSymposium)论文“Particle swarm optimization”公开的粒子群优化算法。
步骤5.3的支持向量机参照2002年第13期《IEEE transactions on neuralnetworks》刊登的Hsu Chih-Wei等的论文“A comparison of methods for multiclasssupport vector machines”公开的一对多支持向量机。
当用户与虚拟现实场景系统交互时，由于本发明的皮肤触觉模拟装置可以提供精确的触觉模拟，使用户产生身临其境的体验感。而此类体验感与用户在现实中真正触摸某物体产生的体验感十分接近，通过实时采集用户体验过程的生理信号，即可反映用户在视觉、触觉层面上对任意物体的体验情感。例如，当用户想体验一款汽车座椅或内饰的质地、手感时，只需要戴上一个终端显示平台，如VR头显，再佩戴本发明提出的皮肤触觉模拟装置，即可在虚拟场景中完成这一体验，而不需要在现实中亲自前往实地体验；用户在上述体验过程中的生理信号变化，经过本发明提出的生理信号模块，即可分析得出用户对上述汽车座椅、内饰质地、手感的喜好程度。例如，虚拟场景中内设的汽车座椅材料为织物，而用户更青睐的材质为皮革，当触觉反馈装置在向用户模拟出织物的触感后，用户将产生一定的抵触情绪。本发明在收集、分析用户体验情绪后，可以帮助厂商改进设计。
Claims (6)
1.基于一对多支持向量机的VR用户触觉体验的情绪识别方法，其特征在于，虚拟现实系统VR包括场景计算机以及与其通讯连接的触觉模拟和反馈装置，所述触觉模拟和反馈装置佩戴在用户肢体上，它包括微处理器以及分别与其连接的皮肤触觉模拟模块、生理信号模块；
皮肤触觉模拟模块根据场景和用户的肢体位置，对皮肤触觉模拟模块接触的皮肤产生不同的压力、剪切力，模拟出用户触摸场景中物体的触感；
生理信号模块包括分别与微处理器连接的血压传感器、肌电传感器和脑电传感器；
所述方法包括以下步骤：
步骤1：场景计算机通过显示终端向用户展示虚拟场景，用户佩戴触觉模拟和反馈装置与场景计算机进行交互；
步骤2：场景计算机捕捉用户在虚拟场景中的触摸行为；
步骤3：根据用户的触摸对象，场景计算机控制触觉模拟和反馈装置，对皮肤触觉模拟模块接触的用户皮肤部位产生不同的压力、剪切力，使用户产生触觉体验；
步骤4：触觉模拟和反馈装置的生理信号模块采集用户的生理信号；
步骤5：根据实时采集的用户的生理信号，判断用户的情绪；
步骤5.1：采集不同用户不同情绪下的脑电、肌电、血压信号，提取生理信号特征的脑电特征向量、肌电特征向量、血压特征向量，得到用户的生理信号特征向量组，并人工标记每个试次的生理信号特征向量的情绪标签；
步骤5.2：初始化融合系数矩阵，对每个试次的脑电特征向量、肌电特征向量、血压特征向量进行融合，得到融合特征向量矩阵，将融合系数矩阵的特征值作为粒子群的粒子，利用粒子群优化算法对融合系数矩阵进行优化，使得经融合系数矩阵计算的生理信号特征向量组的融合数值与其标记的情绪标签相适应，得到初次优化的融合系数矩阵；
步骤5.3：利用融合系数矩阵，对步骤5.1采集的用户生理信号特征进行融合，得到每个试次的融合特征向量矩阵，并结合人工对其标记的情绪标签，构建训练数据集；
步骤5.4：对训练数据集采用一对多支持向量机进行训练，计算适应度，更新融合系数，达到预定适应度后停止训练，得到多个带情绪标签的训练网络模型；
步骤5.5：从实时采集的用户的生理信号中提取特征向量组，利用融合系数矩阵得到融合特征矩阵，利用训练网络模型对融合特征矩阵进行训练后使用一对多支持向量机进行分类，分类结果与情绪标签进行匹配，将匹配程度最好的情绪标签作为用户的情绪判断结果。
2.根据权利要求1所述的VR用户触觉体验的情绪识别方法，其特征在于，步骤5.1采用共空间模式算法从用户的脑电信号中提取脑电特征向量，共空间模式算法将脑电信号的协方差矩阵对角化，提取用户的脑电信号的二分类特征；
其具体过程如下：
设E为预处理后的某个试次的脑电信号矩阵，维数为N×T，N表示脑电数据通道的数目，T表示通道的采样率；
则脑电信号矩阵E的协方差矩阵R为：
式中ET是E的转置矩阵；trace(EET)为矩阵EET的迹；
利用式(1)计算得到所有试次的第一类脑电信号的平均协方差
同理，计算得到所有试次的第二类脑电信号的平均协方差
求取平均协方差矩阵
之和，得到混合空间协方差
对
进行特征值分解，
式中U为特征向量矩阵，λ为特征值构成的对角阵；
将特征值进行降序排列，白化矩阵P如下：
对混合空间协方差
进行白化，
式中I为单位矩阵；
分别对第一类、第二类脑电信号的平均协方差
进行白化变换，
式中S1、S2分别表示白化后的第一类、第二类脑电信号的协方差矩阵；
S1和S2有相同的特征向量，经过降序排列，S1和S2的特征值大小顺序相反，S1的最大特征值对应S2的最小特征值；
若满足
S1＝Bλ1BT (6)
则：
B表示S1、S2的特征矩阵；
计算得到空间滤波器W：
W＝BTP (8)
将脑电信号矩阵EN×T通过空间滤波器WN×N投影，得到新的脑电信号矩阵ZN×T：
ZN×T＝WN×NEN×T (9)
选取矩阵ZN×T的前m行以及后m行共2m行信号提取最终特征值fp,p＝1,2,…,2m，
根据式(10)计算得到的特征值对脑电信号进行二分类；
对脑电信号进行n分类时，n>2，将n分类转化为n(n-1)/2个二分类任务进行两两运算即实现n分类。
3.根据权利要求1所述的VR用户触觉体验的情绪识别方法，其特征在于，所述一对多支持向量机，依次将某类别的样本与其余样本构造决策平面，即利用k个样本构造出k个分类平面，从而实现样本的多分类，k表示分类的数量；
一对多支持向量机进行分类训练时，首先将训练样本中第j类样本作为正类，j＝1,2,3,…,k，将其余k-1类样本看作负类；其次，对正类、负类样本使用支持向量机算法进行二分类；
该过程具体包括：
①构造约束条件下的目标函数；
②求解其拉格朗日函数的鞍点，即利用对偶理论将目标函数转换为对偶问题；
③求解转换函数的最优解；
④得出此二类样本的决策函数f(x)；
⑤重复上述步骤可得出k个决策函数fj(x)，j＝1,2,3,…,k；
⑥将某样本分别带入k个决策函数并求值，即可通过结果中的最大值确定该样本的分类。
4.根据权利要求1所述的VR用户触觉体验的情绪识别方法，其特征在于，所述皮肤触觉模拟模块(203)包括穿戴在用户肢体上的纤维布(2031)以及纤维布孔中布置的触觉片(2036)，触觉片(2036)外部设有与纤维布固定连接的限位环(2032)，触觉片(2036)四周多个连接点与沿限位环(2032)均匀分布的纤维绳(2033)的末端连接，纤维绳(2033)远离触觉片端与细管中的微型活塞(2034)固定连接，细管(2035)与液压机构连接，细管(2035)中充满液压流体，在液压机构的驱动下，触觉片(2036)四周不同方向的细管中液压流体具有不同的压强，使得不同方向的与细管中活塞连接的纤维绳产生不同的拉力，触觉片(2036)在不同方向纤维绳的不同大小的拉力的作用下，对与其接触的用户体皮肤产生压力和剪切力。
5.根据权利要求4所述的VR用户触觉体验的情绪识别方法，其特征在于，所述述触觉模拟和反馈装置(2)还包括微型液压模块(204)，细管(2035)与微型液压模块的细管接头(2041)连接。
6.根据权利要求1-5任意一项所述的VR用户触觉体验的情绪识别方法，其特征在于，所述触觉模拟和反馈装置(2)还包括与微处理器连接的陀螺仪传感器(207)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210380616.0A CN114779930A (zh) | 2021-04-14 | 2021-04-14 | 基于一对多支持向量机的vr用户触觉体验的情绪识别方法 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110400345.6A CN113190114B (zh) | 2021-04-14 | 2021-04-14 | 具有触觉模拟和情绪感知的虚拟场景体验系统和方法 |
| CN202210380616.0A CN114779930A (zh) | 2021-04-14 | 2021-04-14 | 基于一对多支持向量机的vr用户触觉体验的情绪识别方法 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110400345.6A Division CN113190114B (zh) | 2021-04-14 | 2021-04-14 | 具有触觉模拟和情绪感知的虚拟场景体验系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114779930A true CN114779930A (zh) | 2022-07-22 |
Family
ID=76974082
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110400345.6A Active CN113190114B (zh) | 2021-04-14 | 2021-04-14 | 具有触觉模拟和情绪感知的虚拟场景体验系统和方法 |
| CN202210380616.0A Pending CN114779930A (zh) | 2021-04-14 | 2021-04-14 | 基于一对多支持向量机的vr用户触觉体验的情绪识别方法 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110400345.6A Active CN113190114B (zh) | 2021-04-14 | 2021-04-14 | 具有触觉模拟和情绪感知的虚拟场景体验系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN113190114B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116909392A (zh) * | 2023-06-30 | 2023-10-20 | 青岛登云智上科技有限公司 | 可穿戴可感知交互系统及交互方法 |
| CN117289796A (zh) * | 2023-09-22 | 2023-12-26 | 中山大学 | 基于触觉手套的复杂装备高交互混合现实系统与方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115202471A (zh) * | 2022-06-21 | 2022-10-18 | 京东方科技集团股份有限公司 | 一种全身姿态追踪及触觉设备及虚拟现实系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11150794A (ja) * | 1997-11-18 | 1999-06-02 | Japan Science & Technology Corp | 触感呈示方法及び装置 |
| KR20080052216A (ko) * | 2006-12-05 | 2008-06-11 | 한국전자통신연구원 | 시촉감 디스플레이 장치 |
| US20090036212A1 (en) * | 2007-07-30 | 2009-02-05 | Provancher William R | Shear Tactile Display System for Communicating Direction and Other Tactile Cues |
| CN102713546A (zh) * | 2009-10-14 | 2012-10-03 | 国立大学法人东北大学 | 片状触觉传感器系统 |
| KR20170060696A (ko) * | 2015-11-25 | 2017-06-02 | 인하대학교 산학협력단 | 나노셀룰로오스 기반 투명 필름형 촉감장치의 제조방법 |
| WO2018014436A1 (zh) * | 2016-07-18 | 2018-01-25 | 天津大学 | 一种提高情绪识别模型时间鲁棒性的情绪脑电识别方法 |
| CN109145513A (zh) * | 2018-09-30 | 2019-01-04 | 南京航空航天大学 | 基于电磁场组合激励控制的非接触式力触觉再现系统及方法 |
| CN111782034A (zh) * | 2020-06-10 | 2020-10-16 | 华南理工大学 | 基于线性马达的新型电磁触觉模拟反馈装置及方法 |
| CN112154401A (zh) * | 2018-05-09 | 2020-12-29 | 苹果公司 | 具有织物的手指安装设备 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9741216B1 (en) * | 2016-10-14 | 2017-08-22 | Oculus Vr, Llc | Skin stretch instrument |
| CN106448339A (zh) * | 2016-10-19 | 2017-02-22 | 华南理工大学 | 基于增强现实和生物反馈的驾驶培训系统 |
| CN107422841B (zh) * | 2017-03-03 | 2020-03-20 | 杭州市第一人民医院 | 一种基于非接触式情绪识别的人机交互方法 |
| KR20230074849A (ko) * | 2017-06-29 | 2023-05-31 | 애플 인크. | 센서들 및 햅틱들을 갖는 핑거 장착형 디바이스 |
| US10915174B1 (en) * | 2017-07-20 | 2021-02-09 | Apple Inc. | Electronic devices with directional haptic output |
| US10617942B2 (en) * | 2017-12-29 | 2020-04-14 | Microsoft Technology Licensing, Llc | Controller with haptic feedback |
| WO2020141330A2 (en) * | 2019-01-04 | 2020-07-09 | Ultrahaptics Ip Ltd | Mid-air haptic textures |
| US20210081048A1 (en) * | 2019-09-11 | 2021-03-18 | Facebook Technologies, Llc | Artificial reality devices, including haptic devices and coupling sensors |
| CN211577846U (zh) * | 2019-10-11 | 2020-09-25 | 安徽建筑大学 | 一种触觉反馈手套及具有其的vr装备组件 |
-
2021
- 2021-04-14 CN CN202110400345.6A patent/CN113190114B/zh active Active
- 2021-04-14 CN CN202210380616.0A patent/CN114779930A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11150794A (ja) * | 1997-11-18 | 1999-06-02 | Japan Science & Technology Corp | 触感呈示方法及び装置 |
| KR20080052216A (ko) * | 2006-12-05 | 2008-06-11 | 한국전자통신연구원 | 시촉감 디스플레이 장치 |
| US20090036212A1 (en) * | 2007-07-30 | 2009-02-05 | Provancher William R | Shear Tactile Display System for Communicating Direction and Other Tactile Cues |
| CN102713546A (zh) * | 2009-10-14 | 2012-10-03 | 国立大学法人东北大学 | 片状触觉传感器系统 |
| KR20170060696A (ko) * | 2015-11-25 | 2017-06-02 | 인하대학교 산학협력단 | 나노셀룰로오스 기반 투명 필름형 촉감장치의 제조방법 |
| WO2018014436A1 (zh) * | 2016-07-18 | 2018-01-25 | 天津大学 | 一种提高情绪识别模型时间鲁棒性的情绪脑电识别方法 |
| CN112154401A (zh) * | 2018-05-09 | 2020-12-29 | 苹果公司 | 具有织物的手指安装设备 |
| CN109145513A (zh) * | 2018-09-30 | 2019-01-04 | 南京航空航天大学 | 基于电磁场组合激励控制的非接触式力触觉再现系统及方法 |
| CN111782034A (zh) * | 2020-06-10 | 2020-10-16 | 华南理工大学 | 基于线性马达的新型电磁触觉模拟反馈装置及方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116909392A (zh) * | 2023-06-30 | 2023-10-20 | 青岛登云智上科技有限公司 | 可穿戴可感知交互系统及交互方法 |
| CN116909392B (zh) * | 2023-06-30 | 2024-01-26 | 青岛登云智上科技有限公司 | 可穿戴可感知交互系统及交互方法 |
| CN117289796A (zh) * | 2023-09-22 | 2023-12-26 | 中山大学 | 基于触觉手套的复杂装备高交互混合现实系统与方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113190114A (zh) | 2021-07-30 |
| CN113190114B (zh) | 2022-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114779930A (zh) | 基于一对多支持向量机的vr用户触觉体验的情绪识别方法 | |
| CN103473294B (zh) | 基于msvm脑电信号特征分类的方法及智能轮椅系统 | |
| Benalcázar et al. | Hand gesture recognition using machine learning and the Myo armband | |
| Shen et al. | Movements classification of multi-channel sEMG based on CNN and stacking ensemble learning | |
| CN105608432B (zh) | 一种基于瞬时肌电图像的手势识别方法 | |
| CN106383579A (zh) | 一种基于emg和fsr的精细手势识别系统及方法 | |
| CN111265212A (zh) | 一种运动想象脑电信号分类方法及闭环训练测试交互系统 | |
| CN108703824B (zh) | 一种基于肌电手环的仿生手控制系统及控制方法 | |
| CN101310242A (zh) | 用于检测和分类面部肌肉运动的方法和系统 | |
| Hekmatmanesh et al. | Review of the state-of-the-art of brain-controlled vehicles | |
| CN110955330B (zh) | 基于复杂对象控制的高唤醒度的脑电意图辨析方法 | |
| CN109310561A (zh) | 运动示教系统和运动示教方法 | |
| CN110399846A (zh) | 一种基于多通道肌电信号相关性的手势识别方法 | |
| CN112101401B (zh) | 一种基于稀疏监督最小二乘多类核典型相关分析的多模态情感识别方法 | |
| JP7070253B2 (ja) | パフォーマンス計測装置、パフォーマンス計測方法及びパフォーマンス計測プログラム | |
| Kanoga et al. | Subject transfer framework based on source selection and semi-supervised style transfer mapping for sEMG pattern recognition | |
| CN113208593A (zh) | 基于相关性动态融合的多模态生理信号情绪分类方法 | |
| Ajili et al. | Gesture recognition for humanoid robot teleoperation | |
| Borges et al. | Classifying confusion: autodetection of communicative misunderstandings using facial action units | |
| KR20110037726A (ko) | 뇌-컴퓨터 인터페이스를 위한 합성 공통 공간 패턴 분석 방법 및 이를 이용한 뇌파 분석 방법 | |
| Beltrán Hernández et al. | Multi-Stroke handwriting character recognition based on sEMG using convolutional-recurrent neural networks | |
| KR102363879B1 (ko) | 환자의 상지 동작에 의해 도출되는 특징값을 이용한 임상평가척도 예측 방법 | |
| CN114131635A (zh) | 融合视触觉主动感知的多自由度辅助抓握外肢体机器人系统 | |
| CN114510956A (zh) | 基于黎曼空间量化的多类别运动想象脑电信号识别方法 | |
| CN114694245A (zh) | 基于Capsule和GRU的实时行为识别和体征状态监测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |