CN110917613A - 一种基于振动触觉的游戏智能桌垫 - Google Patents
一种基于振动触觉的游戏智能桌垫 Download PDFInfo
- Publication number
- CN110917613A CN110917613A CN201911211207.2A CN201911211207A CN110917613A CN 110917613 A CN110917613 A CN 110917613A CN 201911211207 A CN201911211207 A CN 201911211207A CN 110917613 A CN110917613 A CN 110917613A
- Authority
- CN
- China
- Prior art keywords
- sound
- data
- imf
- vibration
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 66
- 230000008569 process Effects 0.000 claims abstract description 39
- 230000004927 fusion Effects 0.000 claims abstract description 27
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 23
- 210000000245 forearm Anatomy 0.000 claims abstract description 6
- 210000000707 wrist Anatomy 0.000 claims abstract description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 21
- 230000005236 sound signal Effects 0.000 claims description 19
- 230000009467 reduction Effects 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 11
- 238000000513 principal component analysis Methods 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 10
- 230000008447 perception Effects 0.000 claims description 10
- 230000007704 transition Effects 0.000 claims description 10
- 238000001228 spectrum Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 230000037433 frameshift Effects 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 6
- 238000004088 simulation Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 208000027418 Wounds and injury Diseases 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000006378 damage Effects 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 3
- 208000014674 injury Diseases 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000010349 pulsation Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 239000004576 sand Substances 0.000 claims description 2
- 238000013480 data collection Methods 0.000 claims 1
- 230000003993 interaction Effects 0.000 abstract description 9
- 230000008901 benefit Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000007654 immersion Methods 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
- A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
- A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1037—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted for converting control signals received from the game device into a haptic signal, e.g. using force feedback
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明涉及一种基于振动触觉的游戏智能桌垫，属于虚拟现实与人际交互领域。包括第一区域，为处理区域，得到结果后用于驱动第二区域和第三区域，第二区域为左侧触觉反馈区域，第三区域为右侧触觉反馈区域，在游戏过程中来针对人手腕或小臂进行触觉反馈，用于增强游戏过程中用户的游戏体验。优点在于：使用基于经验模态分解的能量比以及梅尔频率倒谱系数这两种参量的融合特征参量，与单一特征参量相比，可以提高识别精度，能更加准确的判断声音类型；振动类型的匹配简单方便，在游戏过程中为用户带来振动触觉反馈，为用户规避游戏中遇到的危险，增强游戏体验。
Description
技术领域
本发明属于虚拟现实与人际交互领域，尤其涉及音频的触觉反馈装置及方法。
背景技术
触觉是人与外界交互的重要感知通道，触觉能让人感觉到物体表面的硬度、形状、温度以及粗糙度等多种物理属性，是五种感官中唯一存在双向交互的感官知觉，具有重要的意义，尤其是对视障听障患者而言，触觉是他们认识这个世界的重要途径之一。触觉反馈技术涉及电子、计算机、通信、心理学、生理学等多个学科，是当前虚拟现实和人机交互的热点和前沿，触觉再现能给人带来更加真实的沉浸感，与传统的视觉和听觉交互相比更加注重交互的自然和谐性，将人机交互的发展推向了新的发展阶段。
触觉技术广泛应用于远程操作、医学仿真、艺术设计、娱乐、飞行仿真、虚拟现实等领域。如今，研究人员对将触觉反馈整合到听觉系统中越来越感兴趣。听觉感受的研究和技术仍然主要集中在改善声音本身，虽然似乎是存有潜在的工业影响，但在多媒体环境中，触觉反馈与音频、视频和文本等一种或多种媒体相结合的触觉反馈仍然未得到充分利用。然而，报道多媒体触觉反馈潜力的文章越来越多。少数研究人员已经表明触觉反馈是用户沉浸感的一个关键因素，因此触觉反馈在音频信号中的应用是具有广阔前景的。触觉反馈可能为体验音频内容开辟新的途径：用户与音频内容之间的关系不仅限于用户只是倾听的被动环境，而且可以使身体参与更多的沉浸体验。除了与听觉内容平行的物理感觉之外，用户还可以接收到一条互补的信息，或者通过触觉交互来强化一种情感，而不是简单的沉浸。在现有技术的基础上，通过增强听觉与触觉联合体验，这一领域具有令人兴奋的研究前景，其社会利益也具有重大意义。
目前已有一些应用于游戏场景下的发明装置。
2015年中国专利CN204246822U中公开了一种无线游戏振动背靠,通过无线接收装置接收游戏设备发出的控制信号,随着游戏的振动信号,通过振动刺激游戏者背部感触,提高游戏的仿真性与代入感,特别是针对格斗类、射击类、飞行类、赛车类游戏,背部振动不但可以保障手部操作的精准性,而且全新的背部振动,让背部感受游戏中的被打击、被碰撞等振动反馈,使游戏者更能身临其境。
2015年中国专利CN204428794U提公开的游戏体感背心，提高了游戏的真实感，增强了游戏的娱乐性。2019年CN110215697A中公开了一种游戏振动手柄。根据所述事件坐标确定目标马达标识，控制所述目标马达标识对应的马达振动。根据不同的事件坐标确定目标马达标识，不同的目标马达标识对应游戏手柄上不同的马达，实现了根据振动事件的事件坐标控制游戏手柄上不同的马达振动，根据游戏手柄上不同马达的振动情况实现了基于触觉的信息传递，玩家从而根据振感获取游戏场景信息，可快速、准确的作出判断及反应操作。
总体来看，现有的音频触觉反馈装置基本分为手持式、可穿戴式和座椅式几种。其中手持式和可穿戴式体积小、便于携带，座椅式接收反馈的面积更大、沉浸感更强。但是如果是用户在普通场景下的电脑游戏过程中使用音频触觉反馈，这三种装置都会或多或少的对用户产生限制。因为在电脑游戏操作过程中，用户的手腕和小臂部分始终在操作键盘和鼠标，始终能接触到桌面，因此提出了一种可以便捷地平铺于桌面的基于振动触觉的智能游戏桌垫来为用户提供振动触觉反馈，避免了其他装置造成的对身体其他部位的约束性。
发明内容
本发明提供一种基于振动触觉的游戏智能桌垫，目的是在电脑游戏过程中通过基于振动触觉的游戏智能桌垫来传递触觉，触觉输出是通过电脑向桌垫传送声音数据来智能触发的，在此过程中，可以增强玩家的游戏体验。
本发明采取的技术方案是：包括：
第一区域，所述第一区域为处理区域，得到结果后用于驱动第二区域和第三区域；
第二区域，所述第二区域为左侧触觉反馈区域；
第三区域，所述第三区域为右侧触觉反馈区域。
本发明所述第二区域和第三区域，在游戏过程中来针对人手腕或小臂进行触觉反馈，用于增强游戏过程中用户的游戏体验。
本发明所述第一区域的处理方法被完整地封装在芯片中并植入桌垫内部，并引出USB连接线与电脑连接，包括下列步骤：
(1)数据采集；
(2)预处理；
(3)数据训练；
(4)结果识别。
本发明所述步骤(1)数据采集包括：采用portaudio音频接口对对游戏中发出的声音数据进行采集，采样率为44.1kHz，采集后对数据进行分帧处理，每帧取1024个数据，采用交叠分段方法取数，使帧与帧之间平滑过渡、保持其连续性。前一帧和后一帧之间的交叠部分为帧移，此处设置帧移为512。
本发明所述步骤(2)中的预处理部分，包括下列步骤：
1)滤波，对采集到的声音数据进行过滤，使用二阶带通滤波器，通带和阻带分别为60Hz和1000Hz；
2)端点检测，从连续的语音流中检测出有效的语音段，它包括两个方面，检测出有效语音的起始点即前端点，检测出有效语音的结束点即后端点；
3)特征提取，提取每帧数据中能够表征音频信号特性的特征参数，要提取的参量为基于经验模态分解(EMD)的能量比以及梅尔频率倒谱系数(MFCC)这两种参量的融合特征参量。
本发明所述的3)特征提取方法，包括下列步骤：
(I)采用基于经验模态分解算法EMD的IMF能量比的特征提取方法：
经验模态分解算法是Hilbert-Huang变换HHT的核心算法，验模式分解算法是通过算法过程定义的，而并非由确定的理论公式定义的，所以对其进行准确的理论分析非常困难，我们目前只能借助大量的数字仿真试验不断对其性能进行深入的研究，经验模态分解算法的实质是依不同时间尺度特征将多分量信号分解成一系列单分量信号，即本征模态函数Intrinsic Mode Function，IMF，并提取出该复杂信号的趋势项，从而使得信号的瞬时频率具有物理意义，其分解步骤如下：
a)将信号x(t)所有局部极大值点和局部极小值点分别用3次样条曲线连起来构成x(t)的上下包络线，两条曲线间包含所有的信号。计算其平均值曲线θ1(t)，进而得：
h1(t)＝x(t)-θ1(t)
将h1(t)作为待处理信号，重复上述求包络均值和差值的计算，筛选k次得到第k个待处理信号h1k(t)；
h1k(t)＝h1(k-1)(t)-θ1k(t)
直到h1k(t)符合IMF分量的特征，从原信号中分解得到了第1个IMF，记为c1(t)；
c1(t)＝h1k(t)
b)从原信号中减去c1(t)，得到第1阶剩余信号r1(t):
r1(t)＝x(t)-c1(t)
把r1(t)作为新的信号重复步骤(I)，将第2、第3直到第n-1个IMF分量c2(t)、c3(t)、…cn-1(t)，若第n阶IMF分量cn(t)或其剩余信号rn(t)小于预先设定的值或rn(t)变成1个单调函数时，筛选结束，这样原始音频数据x(t)可表示为有限个IMF和1个剩余信号的和：
IMF反映了原信号中不同的频率成分，且n个IMF的频率从大到小排列，余项变为很低频率的脉动即趋势项，信号经EMD分解后得到有限个IMF分量，每个分量均代表机动目标内某一部件的频率，因此各个分量的频域能量可能存在某种关系，据此提出基于EMD的IMF能量比的特征提取算法，过程如下：
对任一信号，定义第i阶IMF的能量为；
以各个IMF分量的能量(Ei)相对于原信号能量(E)的能量比作为特征向量，即：
(II)结合传统的MFCC特征提取方法
MFCC是一种传统且非常重要的特征提取算法，它模拟了人耳的听觉感知特性来分析音频的频谱，根据实验结果，人的主观感知频域的划定并不是线性的，而Mel倒谱尺度更符合人耳的听觉特性，Mel频率与实际频率的具体关系可用关系式表示：
其中：Fmel是以美尔(Mel)为单位的感知频率；f是以Hz为单位的实际频率。
MFCC特征提取的实质是将时域内的频谱通过非线性的频谱进行转化，通过离散余弦变换得到MFCC倒谱；
(III)EMD与MFCC的特征融合与降维
以往的方法只用一个特征来进行训练识别，得到的结果并不十分理想，所以考虑将两个特征融合得到一个新的特征，将每一帧数据的IMF能量比向量和MFCC倒谱取平均值，即可得到新的融合特征向量，但如果只是简单地将两个特征结合，则会得到一个高维特征，也意味着计算复杂度的增加，所以要在融合特征时对特征进行降维处理，利用主成分分析的最优降维性质，在特征降维的同时，还能保证系统的识别性能；主成分分析(PCA)是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中表示，并期望在所投影的维度上数据的方差最大，以此使用较少的数据维度，同时保留住较多的原数据点的特性；
设X为p维向量，且X的协方差存在，令λm为X的特征值，这里的代表从大到小的第m个位置，φm为λm对应的特征向量，X向量的第m个主成分因子则定义成：
γm＝φm TX
这里所有γm构成了特征空间一个正交基，它们之间不存在冗余。则γm的方差贡献率为：
根据上式的结果进行大小排序，计算
值，定义其为主成分因子γ1，…，γs，对应累计方差贡献率，根据贡献率的大小即可将融合后的特征降到s维，得到新的低维度的融合特征。
本发明所述(3)数据训练包括：预先对采集到的玩家被击中时自身角色可能会发出的几种叫声，以及玩家承受的伤害达到一定程度系统出现相应的提示音进行采集，将每种声音录制成20秒的wav音频文件，并且在采集过程中，应尽量减少噪声，获得相对纯净的目标声音信号；下一步，通过针对之前提取到的融合特征参量对每一类声音信号进行训练学习，通过模糊C均值聚类算法，即每个样本都有其对应的隶属度数组，数组里的每一个元素代表该样本属于某种类别的程度，以此建立每种声音的模型参数参考集。
本发明所述(4)结果识别部分采用模式匹配方法：选择的是隐马尔可夫模型方法HMM，隐马尔可夫模型是一种基于转移概率和输出概率的随机模型最早在CMU和IBM被用于语音识别，它把语音看成由可观察到的符号序列组成的随机过程，符号序列则是发声系统状态序列的输出，在使用隐马尔可夫模型识别时，为每个说话人建立发声模型，通过训练得到状态转移概率矩阵和符号输出概率矩阵，识别时计算未知语音在状态转移过程中的最大概率，根据最大概率对应的模型进行判决，需要把从待识别声音信号中提取的融合特征参数，与在训练过程中得到的每一个模型相比较，把与它距离最近的那个参考模型所对应的声音类型识别为发出的声音类型，即为最终的识别结果。
本发明所述第二区域和第三区域的触觉反馈分别由左右两侧的一组2*2阵列的振动电机组提供。通过这两组振动电机来向用户传递振动触觉反馈，在采集训练数据的过程中，为达到一种与声音本身的听觉特性更相似的触觉反馈，选择将音频流在滤波后直接接入电机的驱动电路，与电机直接映射后，封装为振动电机的一种振动模式，设游戏中可能出现的声音有ω种，则为这ω种声音相应地匹配ω种不同的振动效果，当第一区域完成对声音的采集和处理等工作后，得到当前声音的识别结果，在电机的振动库中找到与该结果相对应的振动触觉效果，由第一区域向第二区域和第三区域发送驱动信号，来激励第二区域和第三区域的振动触觉反馈。
本发明一共分为两个模块：处理模块和振动触觉模块。
处理模块的功能是对游戏中的声音信号进行采集和处理。
在游戏过程中，当用户的游戏角色被击中时，游戏中会发出固定的角色的叫声以及系统提示音，需要事先对这些声音进行采集和训练。训练过程涉及到音频信号的特征提取，在这里选择基于EMD的能量比的特征提取，再结合传统的Mel倒谱系数(MFCC)特征提取方法，将两种特征用PCA降维处理，得到融合后的综合特征。针对融合特征进行训练，由此得到了游戏中所有声音的训练集模型。使用音频接口对声音信号进行接收和采集，为后续的处理过程做准备。
后续处理过程分为预处理过程和识别过程。预处理过程包括滤波和端点检测，通过滤波来获取相对纯净的声音信号，然后通过端点检测来从连续的语音流中检测出有效的语音段，即寻找有效的语音起始点和语音终结点。针对有效的语音段，并结合融合特征的提取对音频信号进行识别处理。识别部分的算法采用隐马尔可夫模型方法(HMM)来进行模型匹配，需要把从待识别声音信号中提取的融合特征参数，与在训练过程中得到的每一个模型的状态转移概率矩阵和符号输出概率矩阵相比较，把与它距离最近的那个参考模型所对应的声音类型识别为发出的声音类型，即为最终的识别结果。
振动触觉模块的功能是为不同的声音匹配振动触觉效果。通过对电脑的声音输出进行识别，并对识别结果进行预设振动。根据声音的强弱，为不同的声音匹配相应强度的振动效果，由桌垫上的左右振动器传递给人体。通过对游戏本身的操作和触觉感知相结合的方式，使用户在游戏中获得更好的游戏体验，使用户能在未注意到危险来临的时候得到提示，增强游戏体验。
本发明优点在于：
(1)装置本身平铺于桌面，针对用户始终在桌面上的手腕和小臂来进行触觉反馈，避免了其他装置造成的对身体其他部位的约束性；
(2)其内部使用的处理算法流程简单，方便移植到芯片；
(3)使用基于经验模态分解(EMD)的能量比以及梅尔频率倒谱系数(MFCC)这两种参量的融合特征参量，与单一特征参量相比，可以提高识别精度，能更加准确的判断声音类型；
(4)振动类型的匹配简单方便，并且为每种声音匹配用其时域波形封装的振动效果，这样的振动反馈和声音本身更接近使用户更加容易接受；
(5)在游戏过程中为用户带来振动触觉反馈，为用户规避游戏中遇到的危险，增强游戏体验。
附图说明
图1为本发明的结构模块示意图；
图2为本发明对声音信号的处理分析过程图；
图3为MFCC倒谱计算流程图。
具体实施方式
一种基于振动触觉的游戏智能桌垫，包括：
第一区域，所述第一区域为处理区域，得到结果后用于驱动第二区域和第三区域；所处理方法，包括下列步骤：
(1)数据采集；包括：采用portaudio音频接口对对游戏中发出的声音数据进行采集，采样率为44.1kHz，采集后对数据进行分帧处理，每帧取1024个数据，采用交叠分段方法取数，使帧与帧之间平滑过渡、保持其连续性。前一帧和后一帧之间的交叠部分为帧移，此处设置帧移为512；
(2)预处理；包括下列步骤：
1)滤波，对采集到的声音数据进行过滤，使用二阶带通滤波器，通带和阻带分别为60Hz和1000Hz；
2)端点检测，从连续的语音流中检测出有效的语音段，它包括两个方面，检测出有效语音的起始点即前端点，检测出有效语音的结束点即后端点；
3)特征提取，提取每帧数据中能够表征音频信号特性的特征参数，要提取的参量为基于经验模态分解(EMD)的能量比以及梅尔频率倒谱系数(MFCC)这两种参量的融合特征参量；
所述的3)特征提取方法，包括下列步骤：
(I)采用基于经验模态分解算法EMD的IMF能量比的特征提取方法：
经验模态分解算法是Hilbert-Huang变换HHT的核心算法，验模式分解算法是通过算法过程定义的，而并非由确定的理论公式定义的，所以对其进行准确的理论分析非常困难，我们目前只能借助大量的数字仿真试验不断对其性能进行深入的研究，经验模态分解算法的实质是依不同时间尺度特征将多分量信号分解成一系列单分量信号，即本征模态函数Intrinsic Mode Function，IMF，并提取出该复杂信号的趋势项，从而使得信号的瞬时频率具有物理意义，其分解步骤如下：
a)将信号x(t)所有局部极大值点和局部极小值点分别用3次样条曲线连起来构成x(t)的上下包络线，两条曲线间包含所有的信号。计算其平均值曲线θ1(t)，进而得：
h1(t)＝x(t)-θ1(t)
将h1(t)作为待处理信号，重复上述求包络均值和差值的计算，筛选k次得到第k个待处理信号h1k(t)；
h1k(t)＝h1(k-1)(t)-θ1k(t)
直到h1k(t)符合IMF分量的特征，从原信号中分解得到了第1个IMF，记为c1(t)；
c1(t)＝h1k(t)
b)从原信号中减去c1(t)，得到第1阶剩余信号r1(t):
r1(t)＝x(t)-c1(t)
把r1(t)作为新的信号重复步骤(I)，将第2、第3直到第n-1个IMF分量c2(t)、c3(t)、…cn-1(t)，若第n阶IMF分量cn(t)或其剩余信号rn(t)小于预先设定的值或rn(t)变成1个单调函数时，筛选结束，这样原始音频数据x(t)可表示为有限个IMF和1个剩余信号的和：
IMF反映了原信号中不同的频率成分，且n个IMF的频率从大到小排列，余项变为很低频率的脉动即趋势项，信号经EMD分解后得到有限个IMF分量，每个分量均代表机动目标内某一部件的频率，因此各个分量的频域能量可能存在某种关系，据此提出基于EMD的IMF能量比的特征提取算法，过程如下：
对任一信号，定义第i阶IMF的能量为；
以各个IMF分量的能量(Ei)相对于原信号能量(E)的能量比作为特征向量，即：
(II)结合传统的MFCC特征提取方法
MFCC是一种传统且非常重要的特征提取算法，它模拟了人耳的听觉感知特性来分析音频的频谱，根据实验结果，人的主观感知频域的划定并不是线性的，而Mel倒谱尺度更符合人耳的听觉特性，Mel频率与实际频率的具体关系可用关系式表示：
其中：Fmel是以美尔(Mel)为单位的感知频率；f是以Hz为单位的实际频率。MFCC特征提取的实质是将时域内的频谱通过非线性的频谱进行转化，通过离散余弦变换得到MFCC倒谱；
(III)EMD与MFCC的特征融合与降维
以往的方法只用一个特征来进行训练识别，得到的结果并不十分理想，所以考虑将两个特征融合得到一个新的特征，将每一帧数据的IMF能量比向量和MFCC倒谱取平均值，即可得到新的融合特征向量，但如果只是简单地将两个特征结合，则会得到一个高维特征，也意味着计算复杂度的增加，所以要在融合特征时对特征进行降维处理，利用主成分分析的最优降维性质，在特征降维的同时，还能保证系统的识别性能；主成分分析(PCA)是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中表示，并期望在所投影的维度上数据的方差最大，以此使用较少的数据维度，同时保留住较多的原数据点的特性；
设X为p维向量，且X的协方差存在，令λm为X的特征值，这里的代表从大到小的第m个位置，φm为λm对应的特征向量，X向量的第m个主成分因子则定义成：
γm＝φm TX
这里所有γm构成了特征空间一个正交基，它们之间不存在冗余。则γm的方差贡献率为：
根据上式的结果进行大小排序，计算
值，定义其为主成分因子γ1，…，γs，对应累计方差贡献率，根据贡献率的大小即可将融合后的特征降到s维，得到新的低维度的融合特征；
(3)数据训练包括：
预先对采集到的玩家被击中时自身角色可能会发出的几种叫声，以及玩家承受的伤害达到一定程度系统出现相应的提示音进行采集，将每种声音录制成20秒的wav音频文件，并且在采集过程中，应尽量减少噪声，获得相对纯净的目标声音信号；下一步，通过针对之前提取到的融合特征参量对每一类声音信号进行训练学习，通过模糊C均值聚类算法，即每个样本都有其对应的隶属度数组，数组里的每一个元素代表该样本属于某种类别的程度，以此建立每种声音的模型参数参考集；
(4)结果识别采用模式匹配方法：选择的是隐马尔可夫模型方法HMM，隐马尔可夫模型是一种基于转移概率和输出概率的随机模型最早在CMU和IBM被用于语音识别，它把语音看成由可观察到的符号序列组成的随机过程，符号序列则是发声系统状态序列的输出，在使用隐马尔可夫模型识别时，为每个说话人建立发声模型，通过训练得到状态转移概率矩阵和符号输出概率矩阵，识别时计算未知语音在状态转移过程中的最大概率，根据最大概率对应的模型进行判决，需要把从待识别声音信号中提取的融合特征参数，与在训练过程中得到的每一个模型相比较，把与它距离最近的那个参考模型所对应的声音类型识别为发出的声音类型，即为最终的识别结果；
第二区域，所述第二区域为左侧触觉反馈区域；
第三区域，所述第三区域为右侧触觉反馈区域；
所述第二区域和第三区域的触觉反馈分别由左右两侧的一组2*2阵列的振动电机组提供。通过这两组振动电机来向用户传递振动触觉反馈，在采集训练数据的过程中，为达到一种与声音本身的听觉特性更相似的触觉反馈，选择将音频流在滤波后直接接入电机的驱动电路，与电机直接映射后，封装为振动电机的一种振动模式，设游戏中可能出现的声音有ω种，则为这ω种声音相应地匹配ω种不同的振动效果，当第一区域完成对声音的采集和处理等工作后，得到当前声音的识别结果，在电机的振动库中找到与该结果相对应的振动触觉效果，由第一区域向第二区域和第三区域发送驱动信号，来激励第二区域和第三区域的振动触觉反馈，具体的模块分布示意图如图1所示。
所述第二区域和第三区域，在游戏过程中来针对人手腕或小臂进行触觉反馈，用于增强游戏过程中用户的游戏体验。
Claims (9)
1.一种基于振动触觉的游戏智能桌垫，其特征在于，包括：
第一区域，所述第一区域为处理区域，得到结果后用于驱动第二区域和第三区域；
第二区域，所述第二区域为左侧触觉反馈区域；
第三区域，所述第三区域为右侧触觉反馈区域。
2.根据权利要求1所述的基于振动触觉的游戏智能桌垫，其特征在于：所述第二区域和第三区域，在游戏过程中来针对人手腕或小臂进行触觉反馈，用于增强游戏过程中用户的游戏体验。
3.根据权利要求1所述的基于振动触觉的游戏智能桌垫，其特征在于，所述第一区域的处理方法，包括下列步骤：
(1)数据采集；
(2)预处理；
(3)数据训练；
(4)结果识别。
4.根据权利要求3所述的基于振动触觉的游戏智能桌垫，其特征在于，所述步骤(1)数据采集包括：采用portaudio音频接口对对游戏中发出的声音数据进行采集，采样率为44.1kHz，采集后对数据进行分帧处理，每帧取1024个数据，采用交叠分段方法取数，使帧与帧之间平滑过渡、保持其连续性。前一帧和后一帧之间的交叠部分为帧移，此处设置帧移为512。
5.根据权利要求3所述的基于振动触觉的游戏智能桌垫，其特征在于，所述步骤(2)中的预处理部分，包括下列步骤：
1)滤波，对采集到的声音数据进行过滤，使用二阶带通滤波器，通带和阻带分别为60Hz和1000Hz；
2)端点检测，从连续的语音流中检测出有效的语音段，它包括两个方面，检测出有效语音的起始点即前端点，检测出有效语音的结束点即后端点；
3)特征提取，提取每帧数据中能够表征音频信号特性的特征参数，要提取的参量为基于经验模态分解EMD的能量比以及梅尔频率倒谱系数MFCC这两种参量的融合特征参量。
6.根据权利要求5所述的基于振动触觉的游戏智能桌垫，其特征在于，所述的3)特征提取方法，包括下列步骤：
(I)采用基于经验模态分解算法EMD的IMF能量比的特征提取方法：
经验模态分解算法是Hilbert-Huang变换HHT的核心算法，验模式分解算法是通过算法过程定义的，而并非由确定的理论公式定义的，所以对其进行准确的理论分析非常困难，我们目前只能借助大量的数字仿真试验不断对其性能进行深入的研究，经验模态分解算法的实质是依不同时间尺度特征将多分量信号分解成一系列单分量信号，即本征模态函数Intrinsic Mode Function，IMF，并提取出该复杂信号的趋势项，从而使得信号的瞬时频率具有物理意义，其分解步骤如下：
a)将信号x(t)所有局部极大值点和局部极小值点分别用3次样条曲线连起来构成x(t)的上下包络线，两条曲线间包含所有的信号。计算其平均值曲线θ1(t)，进而得：
h1(t)＝x(t)-θ1(t)
将h1(t)作为待处理信号，重复上述求包络均值和差值的计算，筛选k次得到第k个待处理信号h1k(t)；
h1k(t)＝h1(k-1)(t)-θ1k(t)
直到h1k(t)符合IMF分量的特征，从原信号中分解得到了第1个IMF，记为c1(t)；
c1(t)＝h1k(t)
b)从原信号中减去c1(t)，得到第1阶剩余信号r1(t):
r1(t)＝x(t)-c1(t)
把r1(t)作为新的信号重复步骤(I)，将第2、第3直到第n-1个IMF分量c2(t)、c3(t)、…cn-1(t)，若第n阶IMF分量cn(t)或其剩余信号rn(t)小于预先设定的值或rn(t)变成1个单调函数时，筛选结束，这样原始音频数据x(t)可表示为有限个IMF和1个剩余信号的和：
IMF反映了原信号中不同的频率成分，且n个IMF的频率从大到小排列，余项变为很低频率的脉动即趋势项，信号经EMD分解后得到有限个IMF分量，每个分量均代表机动目标内某一部件的频率，因此各个分量的频域能量可能存在某种关系，据此提出基于EMD的IMF能量比的特征提取算法，过程如下：
对任一信号，定义第i阶IMF的能量为；
以各个IMF分量的能量(Ei)相对于原信号能量(E)的能量比作为特征向量，即：
(II)结合传统的MFCC特征提取方法
MFCC是一种传统且非常重要的特征提取算法，它模拟了人耳的听觉感知特性来分析音频的频谱，根据实验结果，人的主观感知频域的划定并不是线性的，而Mel倒谱尺度更符合人耳的听觉特性，Mel频率与实际频率的具体关系可用关系式表示：
其中：Fmel是以美尔(Mel)为单位的感知频率；f是以Hz为单位的实际频率。MFCC特征提取的实质是将时域内的频谱通过非线性的频谱进行转化，通过离散余弦变换得到MFCC倒谱；
(III)EMD与MFCC的特征融合与降维
以往的方法只用一个特征来进行训练识别，得到的结果并不十分理想，所以考虑将两个特征融合得到一个新的特征，将每一帧数据的IMF能量比向量和MFCC倒谱取平均值，即可得到新的融合特征向量，但如果只是简单地将两个特征结合，则会得到一个高维特征，也意味着计算复杂度的增加，所以要在融合特征时对特征进行降维处理，利用主成分分析的最优降维性质，在特征降维的同时，还能保证系统的识别性能；主成分分析(PCA)是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中表示，并期望在所投影的维度上数据的方差最大，以此使用较少的数据维度，同时保留住较多的原数据点的特性；
设X为p维向量，且X的协方差存在，令λm为X的特征值，这里的代表从大到小的第m个位置，φm为λm对应的特征向量，X向量的第m个主成分因子则定义成：
γm＝φm TX
这里所有γm构成了特征空间一个正交基，它们之间不存在冗余。则γm的方差贡献率为：
根据上式的结果进行大小排序，计算
值，定义其为主成分因子γ1，…，γs，对应累计方差贡献率，根据贡献率的大小即可将融合后的特征降到s维，得到新的低维度的融合特征。
7.根据权利要求3所述的基于振动触觉的游戏智能桌垫，其特征在于，所述(3)数据训练包括：预先对采集到的玩家被击中时自身角色可能会发出的几种叫声，以及玩家承受的伤害达到一定程度系统出现相应的提示音进行采集，将每种声音录制成20秒的wav音频文件，并且在采集过程中，应尽量减少噪声，获得相对纯净的目标声音信号；下一步，通过针对之前提取到的融合特征参量对每一类声音信号进行训练学习，通过模糊C均值聚类算法，即每个样本都有其对应的隶属度数组，数组里的每一个元素代表该样本属于某种类别的程度，以此建立每种声音的模型参数参考集。
8.根据权利要求3所述的基于振动触觉的游戏智能桌垫，其特征在于，(4)结果识别部分采用模式匹配方法：选择的是隐马尔可夫模型方法HMM，隐马尔可夫模型是一种基于转移概率和输出概率的随机模型最早在CMU和IBM被用于语音识别，它把语音看成由可观察到的符号序列组成的随机过程，符号序列则是发声系统状态序列的输出，在使用隐马尔可夫模型识别时，为每个说话人建立发声模型，通过训练得到状态转移概率矩阵和符号输出概率矩阵，识别时计算未知语音在状态转移过程中的最大概率，根据最大概率对应的模型进行判决，需要把从待识别声音信号中提取的融合特征参数，与在训练过程中得到的每一个模型相比较，把与它距离最近的那个参考模型所对应的声音类型识别为发出的声音类型，即为最终的识别结果。
9.根据权利要求1所述的基于振动触觉的游戏智能桌垫，其特征在于：所述第二区域和第三区域的触觉反馈分别由左右两侧的一组2*2阵列的振动电机组提供。通过这两组振动电机来向用户传递振动触觉反馈，在采集训练数据的过程中，为达到一种与声音本身的听觉特性更相似的触觉反馈，选择将音频流在滤波后直接接入电机的驱动电路，与电机直接映射后，封装为振动电机的一种振动模式，设游戏中可能出现的声音有ω种，则为这ω种声音相应地匹配ω种不同的振动效果，当第一区域完成对声音的采集和处理等工作后，得到当前声音的识别结果，在电机的振动库中找到与该结果相对应的振动触觉效果，由第一区域向第二区域和第三区域发送驱动信号，来激励第二区域和第三区域的振动触觉反馈。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911211207.2A CN110917613A (zh) | 2019-11-30 | 2019-11-30 | 一种基于振动触觉的游戏智能桌垫 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911211207.2A CN110917613A (zh) | 2019-11-30 | 2019-11-30 | 一种基于振动触觉的游戏智能桌垫 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110917613A true CN110917613A (zh) | 2020-03-27 |
Family
ID=69847211
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911211207.2A Pending CN110917613A (zh) | 2019-11-30 | 2019-11-30 | 一种基于振动触觉的游戏智能桌垫 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110917613A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111679735A (zh) * | 2020-05-20 | 2020-09-18 | 瑞声科技(新加坡)有限公司 | 激励信号的生成方法、装置、终端及存储介质 |
| CN113177536A (zh) * | 2021-06-28 | 2021-07-27 | 四川九通智路科技有限公司 | 基于深度残差收缩网络的车辆碰撞检测方法及装置 |
| CN113181628A (zh) * | 2021-05-12 | 2021-07-30 | 歌尔科技有限公司 | 手柄及其按键反馈力的矫正方法、控制装置及存储介质 |
| CN114035686A (zh) * | 2021-11-10 | 2022-02-11 | 浙江大学 | 融合触觉的多模态微动效广告情境构建方法 |
| CN114995638A (zh) * | 2022-05-12 | 2022-09-02 | 北京有竹居网络技术有限公司 | 触觉信号生成方法、装置、可读介质及电子设备 |
| WO2023240545A1 (zh) * | 2022-06-16 | 2023-12-21 | 京东方科技集团股份有限公司 | 触觉反馈方法、触觉反馈膜层的驱动电路及触觉反馈设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101227764A (zh) * | 2006-12-15 | 2008-07-23 | 诺基亚公司 | 提供由声音生成的触觉反馈的装置、方法和程序产品 |
| US20140082465A1 (en) * | 2012-09-14 | 2014-03-20 | Electronics And Telecommunications Research Institute | Method and apparatus for generating immersive-media, mobile terminal using the same |
| US20170120146A1 (en) * | 2014-08-20 | 2017-05-04 | Shinji Nishimura | Simulated experience device for video-game |
| CN107405081A (zh) * | 2015-03-09 | 2017-11-28 | 皇家飞利浦有限公司 | 获得用于诊断的音频数据库的可穿戴设备 |
| CN206908769U (zh) * | 2017-07-20 | 2018-01-19 | 昝建超 | 一种音频震动装置 |
| WO2018081320A1 (en) * | 2016-10-25 | 2018-05-03 | Performance Designed Products Llc | Systems and methods for enhanced interactivity between physical toys, gaming consoles, gaming pads, and/or other smart devices in a gaming environment |
| US20180126263A1 (en) * | 2015-04-03 | 2018-05-10 | SonicSensory, Inc. | A modular system for building variable interactive platforms and enclosures for deep multisensory immersion into audio and audio-visual entertainment |
| CN109871120A (zh) * | 2018-12-31 | 2019-06-11 | 瑞声科技(新加坡)有限公司 | 触觉反馈方法 |
| CN110215682A (zh) * | 2018-03-01 | 2019-09-10 | 致伸科技股份有限公司 | 人工智能的辅助操作系统 |
| CN110215697A (zh) * | 2019-06-28 | 2019-09-10 | 瑞声科技(新加坡)有限公司 | 游戏手柄、游戏手柄的振动方法及装置 |
| WO2019181955A1 (ja) * | 2018-03-23 | 2019-09-26 | 日本電産株式会社 | 音声／振動変換装置 |
-
2019
- 2019-11-30 CN CN201911211207.2A patent/CN110917613A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101227764A (zh) * | 2006-12-15 | 2008-07-23 | 诺基亚公司 | 提供由声音生成的触觉反馈的装置、方法和程序产品 |
| US20140082465A1 (en) * | 2012-09-14 | 2014-03-20 | Electronics And Telecommunications Research Institute | Method and apparatus for generating immersive-media, mobile terminal using the same |
| US20170120146A1 (en) * | 2014-08-20 | 2017-05-04 | Shinji Nishimura | Simulated experience device for video-game |
| CN107405081A (zh) * | 2015-03-09 | 2017-11-28 | 皇家飞利浦有限公司 | 获得用于诊断的音频数据库的可穿戴设备 |
| US20180126263A1 (en) * | 2015-04-03 | 2018-05-10 | SonicSensory, Inc. | A modular system for building variable interactive platforms and enclosures for deep multisensory immersion into audio and audio-visual entertainment |
| WO2018081320A1 (en) * | 2016-10-25 | 2018-05-03 | Performance Designed Products Llc | Systems and methods for enhanced interactivity between physical toys, gaming consoles, gaming pads, and/or other smart devices in a gaming environment |
| CN206908769U (zh) * | 2017-07-20 | 2018-01-19 | 昝建超 | 一种音频震动装置 |
| CN110215682A (zh) * | 2018-03-01 | 2019-09-10 | 致伸科技股份有限公司 | 人工智能的辅助操作系统 |
| WO2019181955A1 (ja) * | 2018-03-23 | 2019-09-26 | 日本電産株式会社 | 音声／振動変換装置 |
| CN109871120A (zh) * | 2018-12-31 | 2019-06-11 | 瑞声科技(新加坡)有限公司 | 触觉反馈方法 |
| CN110215697A (zh) * | 2019-06-28 | 2019-09-10 | 瑞声科技(新加坡)有限公司 | 游戏手柄、游戏手柄的振动方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 丘恺彬: "无人机识别的音频特征提取方法" * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111679735A (zh) * | 2020-05-20 | 2020-09-18 | 瑞声科技(新加坡)有限公司 | 激励信号的生成方法、装置、终端及存储介质 |
| WO2021232472A1 (zh) * | 2020-05-20 | 2021-11-25 | 瑞声声学科技(深圳)有限公司 | 激励信号的生成方法、装置、终端及存储介质 |
| CN113181628A (zh) * | 2021-05-12 | 2021-07-30 | 歌尔科技有限公司 | 手柄及其按键反馈力的矫正方法、控制装置及存储介质 |
| CN113181628B (zh) * | 2021-05-12 | 2023-03-28 | 歌尔科技有限公司 | 手柄及其按键反馈力的矫正方法、控制装置及存储介质 |
| CN113177536A (zh) * | 2021-06-28 | 2021-07-27 | 四川九通智路科技有限公司 | 基于深度残差收缩网络的车辆碰撞检测方法及装置 |
| CN113177536B (zh) * | 2021-06-28 | 2021-09-10 | 四川九通智路科技有限公司 | 基于深度残差收缩网络的车辆碰撞检测方法及装置 |
| CN114035686A (zh) * | 2021-11-10 | 2022-02-11 | 浙江大学 | 融合触觉的多模态微动效广告情境构建方法 |
| CN114035686B (zh) * | 2021-11-10 | 2024-04-16 | 浙江大学 | 融合触觉的多模态微动效广告情境构建方法 |
| CN114995638A (zh) * | 2022-05-12 | 2022-09-02 | 北京有竹居网络技术有限公司 | 触觉信号生成方法、装置、可读介质及电子设备 |
| WO2023240545A1 (zh) * | 2022-06-16 | 2023-12-21 | 京东方科技集团股份有限公司 | 触觉反馈方法、触觉反馈膜层的驱动电路及触觉反馈设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110917613A (zh) | 一种基于振动触觉的游戏智能桌垫 | |
| CN110853618B (zh) | 一种语种识别的方法、模型训练的方法、装置及设备 | |
| Chen et al. | Triple-classification of respiratory sounds using optimized s-transform and deep residual networks | |
| CN110853617B (zh) | 一种模型训练的方法、语种识别的方法、装置及设备 | |
| Wang et al. | Robust environmental sound recognition for home automation | |
| CN110838286A (zh) | 一种模型训练的方法、语种识别的方法、装置及设备 | |
| CN105989842B (zh) | 对比声纹相似度的方法、装置及其在数字娱乐点播系统中的应用 | |
| US20170154640A1 (en) | Method and electronic device for voice recognition based on dynamic voice model selection | |
| CN104700843A (zh) | 一种年龄识别的方法及装置 | |
| CN103985381B (zh) | 一种基于参数融合优化决策的音频索引方法 | |
| CN108399923A (zh) | 多人发言中发言人识别方法以及装置 | |
| CN110033029A (zh) | 一种基于多模态情感模型的情感识别方法和装置 | |
| Kim et al. | Emotion recognition using physiological and speech signal in short-term observation | |
| CN108922541A (zh) | 基于dtw和gmm模型的多维特征参数声纹识别方法 | |
| CN102404278A (zh) | 一种基于声纹识别的点歌系统及其应用方法 | |
| CN112309365A (zh) | 语音合成模型的训练方法、装置、存储介质以及电子设备 | |
| CN117041807B (zh) | 蓝牙耳机播放控制方法 | |
| CN111583936A (zh) | 一种智能语音电梯控制方法及装置 | |
| CN108831450A (zh) | 一种基于用户情绪识别的虚拟机器人人机交互方法 | |
| CN113823323A (zh) | 一种基于卷积神经网络的音频处理方法、装置及相关设备 | |
| Wu et al. | The DKU-LENOVO Systems for the INTERSPEECH 2019 Computational Paralinguistic Challenge. | |
| Umapathy et al. | Feature analysis of pathological speech signals using local discriminant bases technique | |
| CN113782032A (zh) | 一种声纹识别方法及相关装置 | |
| CN116369949B (zh) | 一种脑电信号分级情绪识别方法、系统、电子设备及介质 | |
| Li et al. | Interpreting sign components from accelerometer and sEMG data for automatic sign language recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200327 |
|
| WD01 | Invention patent application deemed withdrawn after publication |