CN104707331B - 一种游戏体感产生方法及装置 - Google Patents

一种游戏体感产生方法及装置 Download PDF

Info

Publication number
CN104707331B
CN104707331B CN201510147685.7A CN201510147685A CN104707331B CN 104707331 B CN104707331 B CN 104707331B CN 201510147685 A CN201510147685 A CN 201510147685A CN 104707331 B CN104707331 B CN 104707331B
Authority
CN
China
Prior art keywords
sensing
frequency characteristics
voice data
audio frequency
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510147685.7A
Other languages
English (en)
Other versions
CN104707331A (zh
Inventor
闭乐鹏
陆骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201510147685.7A priority Critical patent/CN104707331B/zh
Publication of CN104707331A publication Critical patent/CN104707331A/zh
Application granted granted Critical
Publication of CN104707331B publication Critical patent/CN104707331B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明实施例公开了一种游戏体感产生方法及装置,应用于终端设备,该终端设备中安装有游戏应用程序,该方法包括:获得该游戏应用程序输出的音频数据流;提取所获得的音频数据流的音频特征;在预先训练得到的特征库中查找与提取的音频特征的相似度在第一预设范围内的音频特征;确定查找到的音频特征对应的体感参数,根据所确定的体感参数控制体感设备的运行以产生体感。本发明实施例在系统层面获得游戏音频数据流,并根据该游戏音频数据流的音频特征确定对应的体感参数,进而根据体感参数产生体感,因此本发明可以使得用户在玩不具有体感功能的游戏时,仍能体验到震动等体感效果,用户感受良好。

Description

一种游戏体感产生方法及装置
技术领域
本发明实施例涉及游戏应用领域,特别涉及一种游戏体感产生方法及装置。
背景技术
随着娱乐生活的逐渐丰富,玩游戏的用户也在逐渐增加。用户通过游戏主设备玩游戏,在实际中,游戏杆、手柄、方向盘等附加设备可以与游戏主设备连接,用户通过这些设备玩游戏更加方便。游戏杆还能提供震动功能,给用户带来了很好的体验。当用户玩带有震动功能的游戏时,该游戏就会在特定场景下发送震动参数给游戏杆,游戏杆就会震动。
但并不是所有的游戏都有震动功能,对于不具有震动功能的游戏来说,游戏杆将不会震动,用户体验较差。同样,对于安卓游戏而言,由于安卓设备处理能力相对较差,因此安卓游戏也大多没有震动功能,也同样存在上述问题。
如何让用户使用可震动的手柄玩不具有震动功能的游戏时也能体验到手柄的震动,仍是一个亟待解决的问题。当然,具有震动功能的PSP等游戏设备也具有该问题。
发明内容
基于上述问题,本发明实施例公开了一种游戏体感产生方法及装置,以给用户提供游戏体感。技术方案如下:
本发明实施例提供了一种游戏体感产生方法,应用于终端设备,所述终端设备中安装有游戏应用程序,所述方法包括:
获得所述游戏应用程序输出的音频数据流;
提取所获得的音频数据流的音频特征;
在预先训练得到的特征库中查找与提取的音频特征的相似度在第一预设范围内的音频特征,其中,所述特征库中存储有与体感参数对应的音频特征;
确定查找到的音频特征对应的体感参数,根据所确定的体感参数控制体感设备的运行以产生体感,其中,所述体感设备位于所述终端设备内或所述体感设备与所述终端设备相连接。
可选的,所述提取所获得的音频数据流的音频特征,包括:
提取所获得的音频数据流的频域特征和/或时域特征。
可选的,所述提取所获得的音频数据流的音频特征,包括:
对所获得的音频数据流进行A/D转换,得到数字音频信号流;
预加重所得到的数字音频信号流,以增强所述数字音频信号流中音频的高频分辨率,得到第一信号流;
为所述第一信号流加窗,进而实现对所述第一信号流的分帧处理,以得到具有短时特征的第二信号流;
利用能频值法对所述第二信号流进行端点检测,以确定所述第二信号流的起始点和结束点;
对起始点和结束点之间的第二信号流的倒谱参数进行提取,得到所获得的音频数据流的音频特征。
可选的,所述体感参数包括:震动参数和/或摇晃参数。
可选的,还包括:
当检测到所述体感设备持续产生体感的时长超过预设时长时,控制所述体感设备停止产生体感。
本发明实施例还提供了一种游戏体感产生装置,应用于终端设备,所述终端设备中安装有游戏应用程序,所述装置包括:获得单元、提取单元、查找单元和体感单元;其中,
所述获得单元,用于获得所述游戏应用程序输出的音频数据流;
所述提取单元,用于提取所述获得单元获得的音频数据流的音频特征;
所述查找单元,用于在预先训练得到的特征库中查找与所述提取单元提取的音频特征的相似度在第一预设范围内的音频特征,其中,所述特征库中存储有与体感参数对应的音频特征;
所述体感单元,用于确定所述查找单元查找到的音频特征对应的体感参数,根据所确定的体感参数控制体感设备的运行以产生体感,其中,所述体感设备位于所述终端设备内或所述体感设备与所述终端设备相连接。
可选的,所述提取单元,具体用于:提取所述获得单元获得的音频数据流的频域特征和/或时域特征。
可选的,所述提取单元,包括:A/D转换子单元、预加重子单元、分帧子单元、端点检测子单元和特征提取子单元;其中,
所述A/D转换子单元,用于对所述获得单元获得的音频数据流进行A/D转换,得到数字音频信号流;
所述预加重子单元,用于预加重所述A/D转换子单元得到的数字音频信号流,以增强所述数字音频信号流中音频的高频分辨率,得到第一信号流;
所述分帧子单元,用于为所述预加重子单元得到的第一信号流加窗,进而实现对所述第一信号流的分帧处理,以得到具有短时特征的第二信号流;
所述端点检测子单元,用于利用能频值法对所述分帧子单元得到的第二信号流进行端点检测,以确定所述第二信号流的起始点和结束点;
所述特征提取子单元,用于对起始点和结束点之间的第二信号流的倒谱参数进行提取,得到所述获得单元获得的音频数据流的音频特征。
可选的,还包括:
停止单元,用于当检测到所述体感设备持续产生体感的时长超过预设时长时,控制所述体感设备停止产生体感。
本发明实施例还提供了一种终端设备,包括:显示器、处理器、接口、存储器和扬声器;
所述处理器在游戏应用程序运行时,将所述游戏应用程序的游戏画面的显示信号发送给所述显示器,所述显示器在接收到所述显示信号后,显示所述游戏画面;
所述处理器获得所述游戏应用程序输出的音频数据流,提取所获得的音频数据流的音频特征,在所述存储器中存储的预先训练得到的特征库中查找与提取的音频特征的相似度在第一预设范围内的音频特征,其中,所述特征库中存储有与体感参数对应的音频特征;确定查找到的音频特征对应的体感参数,根据所确定的体感参数控制体感设备的运行以产生体感,其中,所述体感设备位于所述终端设备内或所述体感设备通过所述接口与所述终端设备相连接;
所述处理器对所述游戏应用程序输出的音频数据流进行混频,并将混频后的音频数据流发送给所述扬声器,所述扬声器对混频后的音频数据流进行播放。
本发明实施例中,终端设备获得所述游戏应用程序输出的音频数据流,在提取所获得的音频数据流的音频特征后,在预先训练得到的特征库中查找与提取的音频特征的相似度在第一预设范围内的音频特征,其中,所述特征库中存储有与体感参数对应的音频特征,进而确定查找到的音频特征对应的体感参数,根据所确定的体感参数控制体感设备的运行以产生体感,其中,所述体感设备位于所述终端设备内或所述体感设备与所述终端设备相连接。本发明实施例在系统层面获得游戏音频数据流,并根据该游戏音频数据流的音频特征确定对应的体感参数,进而根据体感参数产生体感,因此本发明可以使得用户在玩不具有体感功能的游戏时,仍能体验到震动等体感效果,用户感受良好。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种游戏体感产生方法的一种流程图;
图2为本发明实施例所提供的一种游戏体感产生方法的另一种流程图;
图3为本发明实施例所提供的一种游戏体感产生方法的另一种流程图;
图4为本发明实施例所提供的一种游戏体感产生方法的另一种流程图;
图5为本发明实施例所提供的一种游戏体感产生装置的一种结构示意图;
图6为本发明实施例所提供的一种游戏体感产生装置的另一种结构示意图;
图7为本发明实施例所提供的一种游戏体感产生装置的另一种结构示意图;
图8为本发明实施例所提供的一种游戏体感产生装置的另一种结构示意图;
图9为本发明实施例所提供的一种体感设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
首先对本发明实施例提供的一种游戏体感产生方法进行说明,该方法应用于终端设备,所述终端设备中安装有游戏应用程序,该方法可以包括以下步骤:
获得所述游戏应用程序输出的音频数据流;
提取所获得的音频数据流的音频特征;
在预先训练得到的特征库中查找与提取的音频特征的相似度在第一预设范围内的音频特征,其中,所述特征库中存储有与体感参数对应的音频特征;
确定查找到的音频特征对应的体感参数,根据所确定的体感参数控制体感设备的运行以产生体感,其中,所述体感设备位于所述终端设备内或所述体感设备与所述终端设备相连接。
需要说明的是,本发明实施例所提供的一种游戏体感产生方法应用于终端设备,其中,该终端设备可以是:手机、平板电脑、笔记本电脑等便携式终端,当然,该终端设备也可以是:智能电视、台式电脑等非便携式终端。而且,该终端设备上需安装有游戏应用程序,且需要和相应的体感设备配合才可以使用户感受到游戏体感,该体感设备可以处于该终端设备内部,例如PSP游戏设备,可通过自身内部的马达产生体感,该体感设备也可以通过一定的接口与该终端设备相连接,例如:带手柄的电视体感游戏。
本发明实施例在系统层面获得游戏音频数据流,并根据该游戏音频数据流的音频特征确定对应的体感参数,进而根据体感参数产生体感,因此本发明可以使得用户在玩不具有体感功能的游戏时,仍能体验到震动等体感效果,用户感受良好。
下面对本发明实施例所提供的一种游戏体感产生方法的步骤进行详细介绍。
图1为本发明实施例所提供的一种游戏体感产生方法的一种流程图,该方法应用于终端设备,该终端设备中安装有游戏应用程序,该方法可以包括以下步骤:
S101,获得所述游戏应用程序输出的音频数据流;
需要说明的是,终端设备中安装有游戏应用程序,当用户启动该游戏应用程序时,该游戏应用程序则在该终端设备中运行。在游戏应用程序运行过程中,会输出音频数据流到该终端设备的操作系统中,操作系统对该音频数据流进行处理,并将处理后的音频数据流发送给扬声器,从而由扬声器对其进行播放。
具体的,在游戏应用程序运行过程中,获得该游戏应用程序输出的音频数据流。实际中,可通过对在游戏应用程序的音频输出端口将输出的音频数据流进行复制而获得,也可以从音频数据流输出到的终端设备系统具体音频处理模块中获得,当然,也可以根据本领域技术人员所公知的其他技术获得该音频数据流,本发明实施例并不对此进行限定。
在一种具体实施例中,可以实时获得该游戏应用程序输出的音频数据流,即,随着该游戏应用程序的音频数据流的产生而获得,这样得到的音频数据流更加全面;在另一个具体实施例中,可以周期性的获得该游戏应用程序输出的音频数据流,即,按照预设周期获得该游戏应用程序产生的音频数据流,例如:预设周期为5分钟,则每隔5分钟获得一次游戏应用程序输出的音频数据流,这样可以节省该步骤对终端设备硬件的过度消耗,减少终端设备产生的热量,相对加快游戏应用程序的运行速度。
S102,提取所获得的音频数据流的音频特征;
需要说明的是,S101中获得音频数据流后,需提取该音频数据流的音频特征,该音频特征是表征音频数据流的一种方式,不同的音频特征对应的提取方法是不一致的,也不是唯一的,本发明实施例并不对此进行限定。
具体的,音频数据流的音频特征可以包括:时域特征和频域特征。在步骤S102中,所述提取所获得的音频数据流的音频特征,可以包括:
提取所获得的音频数据流的频域特征和/或时域特征。
其中,时域特征为音频数据流中的音频信号的幅度随时间进行变化的特征,频域特征为音频数据流中的音频信号的幅度随频率进行变化的特征。该时域特征可以包括:短时平均能量、线性预测系数、过零率以及衍生特征,该频域特征可以包括:梅尔频率倒谱系数和线性预测倒频谱系数等。由于音频信号在时域上的变化快速而不稳定,因此常常利用音频信号的频域上的频域特征研究音频特征。本领域技术人员可以理解的是,在一种具体实施例中,可利用线性预测技术提取该音频信号的线性预测倒频谱系数,在另一种具体实施例中,可经过快速傅里叶变换、三角形带通滤波器和余弦变换等处理而提取出该音频信号的梅尔频率倒谱系数,当然,梅尔频率倒谱系数和线性预测倒频谱系数的提取方法并不仅限于上述描述,还可以是本领域技术人员所公知的其他提取方法,也可以对音频信号的其他参数进行提取。
在图1所示实施例基础上,图2为本发明实施例所提供的一种游戏体感产生方法的另一种流程图,步骤S102,所述提取所获得的音频数据流的音频特征,可以包括以下子步骤:
S102a,对所获得的音频数据流进行A/D转换,得到数字音频信号流;
具体的,S101中获得的音频数据流是连续模拟信号,而终端设备只能处理数字化的信息,所以音频数据流中的音频信号要经过A/D转换变成终端设备能够处理的数字音频信号,进而得到数字音频信号流。为了得到更稳定准确的音频信号,也可在进行A/D转换之前对音频信号进行放大和滤波。
S102b,预加重所得到的数字音频信号流,以增强所述数字音频信号流中音频的高频分辨率,得到第一信号流;
具体的,因为受声门激励的影响,音频信号的高频段在800Hz以上会按6dB/倍频程衰减,所以预加重步骤S102a中得到的数字音频信号流,可以增强所述数字音频信号流中音频的高频分辨率,使频谱变得平坦一些,便于用同样的信噪比求频谱,本领域技术人员可以理解的是,预加重可利用软件实现,进而得到第一信号流,这里不再赘述。
S102c,为所述第一信号流加窗,进而实现对所述第一信号流的分帧处理,以得到具有短时特征的第二信号流;
具体的,音频数据流中的音频信号在本质上是非稳定的,但是又具有短时平稳的特点,一般认为在10-30ms内音频信号特征是基本不变的,或者变化缓慢。因此可利用短时分析技术将音频信号进行分帧处理,短时分析技术最基本手段就是加窗,即用一个有限长度的窗函数截取一段音频信号进行分析,一般常用的窗函数有矩形窗、汉明窗和汉宁窗等,最常用的窗函数为汉明窗。加窗截取后的每一段音频信号成为音频信号的一帧,即将音频信号分为若干短时帧来处理,帧长一般取10-30ms。这样可得到具有短时特征的第二信号流。
S102d,利用能频值法对所述第二信号流进行端点检测,以确定所述第二信号流的起始点和结束点;
具体的,端点检测就是在实时输入的声音信号中,区别背景噪声和环境噪声,准确的判断出音频信号的开始点和结束点。这一过程一般由特定算法自动完成,通常利用短时能量来检测浊音,用过零率来检测清音,两者配合实现可靠的端点检测。端点检测算法常用的有能谱值法,该能谱值法由短时能量和过零率的乘积构成。当然,也可以利用本领域技术人员所公知的其他端点检测的方法,本发明实施例并不对此进行限定。该步骤可确定S102c中分帧后得到的第二信号流的起始点和结束点。
S102e,对起始点和结束点之间的第三信号流的倒谱参数进行提取,得到所获得的音频数据流的音频特征。
需要说明的是,上述倒谱是音频信号的特征参数,对研究音频特征具有很高的代表性。常利用的倒谱有线性预测倒谱系数和梅尔频率倒谱系数等。
具体的,在S102d得到起始点和结束点之间的第三信号流后,然后对起始点和结束点之间的第三信号流的倒谱进行提取,提取的方法可以根据本领域技术人员所公知的技术,例如:利用线性预测技术对线性预测倒谱系数进行提取,本发明实施例则不再赘述。
S103,在预先训练得到的特征库中查找与提取的音频特征的相似度在第一预设范围内的音频特征;
其中,所述特征库中存储有与体感参数对应的音频特征;
需要说明的是,上述特征库中存储的音频特征为预先训练得到的,在实际训练过程中,可以首先利用录音软件录制音频片段,进而将录制的音频片段的特征按照S102步骤的方法进行提取,存储在特征库中,基于本发明实施例的目的,该特征库中需存储有与后续所需的体感参数对应的音频特征,例如:游戏中的爆炸声对应的音频特征、打枪声对应的音频特征和碰撞声对应的音频特征等。
具体的,当S102中提取所获得的音频数据流的音频特征后,在预先训练得到的特征库中查找与提取的音频特征的相似度在第一预设范围内的音频特征。实际中,提取的音频特征的长度和特征库中的音频特征的长度往往不一致,这时常利用动态时间调整(DTW)算法在特征库中查找与该提取的音频特征相似度在第一预设范围内的音频特征。本领域技术人员可以理解的是,该动态时间调整(DTW)算法能较好的应对在查找过程中音频特征长度不一致的情况,从而减少查找过程中的误差,提高查找结果的准确性。上述的动态时间调整(DTW)算法属于本领域技术人员所公知的算法,这里不再赘述。查找到的音频特征可以是一个,也可以是多个。当查找到的音频特征是一个时,上述体感参数即对应该查找到的一个音频特征;当查找到的音频特征是多个时,即这多个音频特征共同对应一个体感参数,为了使对应关系更加明确,可以首先确定这多个音频特征对应的特效声音,进而由该特效声音对应体感参数。在实际中,两个音频特征并不能完全的相同,因此该步骤查找相似度在第一预设范围内的音频特征,能一定程度上保障可以查找到,而且还可以保证查找到的音频特征的准确性,另外,上述第一预设范围可以预先由终端设备根据计算得到,也可以由人工进行设置,也使得本发明实施例更加灵活,当然,本发明实施例并不对第一预设范围的数值进行限定。
S104,确定查找到的音频特征对应的体感参数,根据所确定的体感参数控制体感设备的运行以产生体感;
其中,所述体感设备位于所述终端设备内或所述体感设备与所述终端设备相连接。
具体的,在S103中查找到相似度在第一预设范围内的音频特征后,可根据音频特征与体感参数的对应关系确定查找到的音频特征对应的体感参数,进而将执行该体感参数的信号发送给体感设备,使得体感设备按照该体感参数产生体感,该体感设备可位于终端设备内部,如PSP,也可以与终端设备相连接,如:游戏手柄与电脑连接、游戏摇晃椅与智能电视连接等,产生体感的硬件设备可以是马达或电磁铁等。体感设备与终端设备相连接时,可以通过蓝牙、USB和收发器等连接。
为了使本发明实施例的方案更加具体,所述体感参数可以包括:震动参数和/或摇晃参数。
具体的,上述震动参数为可使体感设备产生震动的参数,该震动参数可以包括:左马达震动的时间、右马达震动的时间、左马达震动的强度和/或右马达镇定的强度等;上述摇晃参数为可使体感设备产生摇晃的参数,该摇晃参数包括:摇晃的幅度、力度和/或方向等。例如:震动参数包括:左马达轻微震动时长2分钟,然后右马达剧烈震动1分钟,那么,当以该震动参数控制体感设备运行以产生震动时,体感设备会按照该震动参数震动,相应用户会感受到左马达轻微震动了2分钟,接着由右马达剧烈震动1分钟。摇晃参数类似,这里不再举例说明。
为了使本发明实施例的方案更加智能,避免体感给用户造成困扰,可在图1所示实施例基础上,增加S105步骤。如图3所示,提供了一种游戏体感产生方法的另一流程图,该方法还可以包括以下步骤:
S105,当检测到所述体感设备持续产生体感的时长超过预设时长时,控制所述体感设备停止产生体感。
具体的,在S104步骤中,终端设备可控制体感设备按照体感参数运行以产生体感,在一种具体情况下,如果该体感参数中包括体感持续时长,那么体感设备持续产生体感的时长应为体感参数中包括的体感持续时长,但是在实际中,有可能由于体感设备故障或体感惯性,会使实际体感持续时长变长;在另一种具体情况下,可能体感参数中未包括体感持续时长,那么可能使得体感设备一直产生体感。这两种情况可能导致体感设备运行负担,更有甚者,可能引起体感设备的损坏,当然,还可以有其他体感时长无法控制的情况。那么S105步骤中,当检测到该体感设备持续产生体感的时长超过预设时长时,控制该体感设备停止产生体感。
由以上可知,当检测到体感设备持续产生体感的时长超过预设时长时,控制该体感设备停止产生体感,可以减轻体感设备的体感负担,在一定情况下有效避免体感设备的进一步损坏,一定程度上减少体感持续时长过长对用户引起的困扰,使用户感受更佳。
当然也可以在图2所示的实施例的基础上增加S105步骤,如图4所示。
本发明实施例中,终端设备获得所述游戏应用程序输出的音频数据流,在提取所获得的音频数据流的音频特征后,在预先训练得到的特征库中查找与提取的音频特征的相似度在第一预设范围内的音频特征,其中,所述特征库中存储有与体感参数对应的音频特征,进而确定查找到的音频特征对应的体感参数,根据所确定的体感参数控制体感设备的运行以产生体感,其中,所述体感设备位于所述终端设备内或所述体感设备与所述终端设备相连接。本发明实施例利用游戏音频数据流的音频特征确定对应的体感参数,进而根据体感参数产生体感,因此本发明可以使得用户在玩不具有体感功能的游戏时,仍能体验到震动等体感效果,用户感受良好。
对应于上述方法实施例,本发明实施例还提供了一种游戏体感产生装置,参见图5,该装置应用于终端设备,所述终端设备中安装有游戏应用程序,所述装置可以包括:获得单元210、提取单元220、查找单元230和体感单元240;其中,
所述获得单元210,用于获得所述游戏应用程序输出的音频数据流;
所述提取单元220,用于提取所述获得单元获得的音频数据流的音频特征;
所述查找单元230,用于在预先训练得到的特征库中查找与所述提取单元提取的音频特征的相似度在第一预设范围内的音频特征,其中,所述特征库中存储有与体感参数对应的音频特征;
所述体感单元240,用于确定所述查找单元查找到的音频特征对应的体感参数,根据所确定的体感参数控制体感设备的运行以产生体感,其中,所述体感设备位于所述终端设备内或所述体感设备与所述终端设备相连接。
具体的,在游戏应用程序运行过程中,该装置首先获得该游戏应用程序输出的音频数据流。实际中,可通过对在游戏应用程序的音频输出端口将输出的音频数据流进行复制而获得,也可以从音频数据流输出到的终端设备系统具体音频处理模块中获得。其次,提取所获得的音频数据流的特征,主要有时域特征和频域特征;再次,在预先训练得到的特征库中查找与提取的音频特征的相似度在第一预设范围内的音频特征。实际中,提取的音频特征的长度和特征库中的音频特征的长度往往不一致,这时常利用动态时间调整(DTW)算法在特征库中查找与该提取的音频特征相似度在第一预设范围内的音频特征。本领域技术人员可以理解的是,该动态时间调整(DTW)算法能较好的应对在查找过程中音频特征长度不一致的情况,从而减少查找过程中的误差,提高查找结果的准确性。上述的动态时间调整(DTW)算法属于本领域技术人员所公知的算法,这里不再赘述。查找到的音频特征可以是一个,也可以是多个。当查找到的音频特征是一个时,上述体感参数即对应该查找到的一个音频特征;当查找到的音频特征是多个时,即这多个音频特征共同对应一个体感参数,为了使对应关系更加明确,可以首先确定这多个音频特征对应的特效声音,进而由该特效声音对应体感参数;最后,可根据音频特征与体感参数的对应关系确定查找到的音频特征对应的体感参数,进而将执行该体感参数的信号发送给体感设备,使得体感设备按照该体感参数产生体感,该体感设备可位于终端设备内部,如PSP,也可以与终端设备相连接,如:游戏手柄与电脑连接、游戏摇晃椅与智能电视连接等,产生体感的硬件设备可以是马达或电磁铁等。体感设备与终端设备相连接时,可以通过蓝牙、USB和收发器等连接。
本发明实施例中,游戏体感产生装置获得所述游戏应用程序输出的音频数据流,在提取所获得的音频数据流的音频特征后,在预先训练得到的特征库中查找与提取的音频特征的相似度在第一预设范围内的音频特征,其中,所述特征库中存储有与体感参数对应的音频特征,进而确定查找到的音频特征对应的体感参数,根据所确定的体感参数控制体感设备的运行以产生体感,其中,所述体感设备位于所述终端设备内或所述体感设备与所述终端设备相连接。本发明实施例利用游戏音频数据流的音频特征确定对应的体感参数,进而根据体感参数产生体感,因此本发明可以使得用户在玩不具有体感功能的游戏时,仍能体验到震动等体感效果,用户感受良好。
在本发明的另一具体实施例中,所述提取单元220,具体用于:提取所述获得单元获得的音频数据流的频域特征和/或时域特征。
在图5所示实施例的基础上,参见图6,所述提取单元220,可以包括以下子单元:A/D转换子单元220a、预加重子单元220b、分帧子单元220c、端点检测子单元220d和特征提取子单元220e;其中,
所述A/D转换子单元220a,用于对所述获得单元获得的音频数据流进行A/D转换,得到数字音频信号流;
所述预加重子单元220b,用于预加重所述A/D转换子单元得到的数字音频信号流,以增强所述数字音频信号流中音频的高频分辨率,得到第一信号流;
所述分帧子单元220c,用于为所述预加重子单元得到的第一信号流加窗,进而实现对所述第一信号流的分帧处理,以得到具有短时特征的第二信号流;
所述端点检测子单元220d,用于利用能频值法对所述第二信号流进行端点检测,以确定所述第二信号流的起始点和结束点;
所述特征提取子单元220e,用于对起始点和结束点之间的第二信号流的倒谱参数进行提取,得到所述获得单元获得的音频数据流的音频特征。
具体的,首先将获得的音频数据流经过A/D转换变成数字音频信号流;其次,预加重所得到的数字音频信号流,以增强所述数字音频信号流中音频的高频分辨率,得到第一信号流;再次,对第一信号流加窗,分帧处理得到具有短时特征的第二信号流;然后,对该第二信号流进行端点检测;最后,对端点检测得到的起始点和结束点之间的第三信号流的倒谱参数进行提取,得到音频数据流的音频特征。
在图5所示实施例的基础上,参见图7,本发明实施例的方法还可以包括以下单元:
停止单元250,用于当检测到所述体感设备持续产生体感的时长超过预设时长时,控制所述体感设备停止产生体感。
当然,也可以在图6所示实施例的基础上增加停止单元250,如图8所示。
由以上可知,当检测到体感设备持续产生体感的时长超过预设时长时,控制该体感设备停止产生体感,可以减轻体感设备的体感负担,在一定情况下有效避免体感设备的进一步损坏,一定程度上减少体感持续时长过长对用户引起的困扰,使用户感受更佳。
在本发明的另一具体实施例中,所述体感参数包括:震动参数和/或摇晃参数。
具体的,上述震动参数为可使体感设备产生震动的参数,该震动参数可以包括:左马达震动的时间、右马达震动的时间、左马达震动的强度和/或右马达镇定的强度等;上述摇晃参数为可使体感设备产生摇晃的参数,该摇晃参数包括:摇晃的幅度、力度和/或方向等。例如:震动参数包括:左马达轻微震动时长2分钟,然后右马达剧烈震动1分钟,那么,当以该震动参数控制体感设备运行以产生震动时,体感设备会按照该震动参数震动,相应用户会感受到左马达轻微震动了2分钟,接着由右马达剧烈震动1分钟。摇晃参数类似,这里不再举例说明。
参见图9,图9为本发明实施例所提供的一种终端设备的结构示意图,该终端设备,可以包括:显示器310、处理器320、接口330、存储器340和扬声器350;
所述处理器在游戏应用程序运行时,将所述游戏应用程序的游戏画面的显示信号发送给所述显示器,所述显示器在接收到所述显示信号后,显示所述游戏画面;
所述处理器获得所述游戏应用程序输出的音频数据流,提取所获得的音频数据流的音频特征,在所述存储器中存储的预先训练得到的特征库中查找与提取的音频特征的相似度在第一预设范围内的音频特征,其中,所述特征库中存储有与体感参数对应的音频特征;确定查找到的音频特征对应的体感参数,根据所确定的体感参数控制体感设备360的运行以产生体感,其中,所述体感设备360位于所述终端设备内或所述体感设备360通过所述接口与所述终端设备相连接;
所述处理器对所述游戏应用程序输出的音频数据流进行混频,并将混频后的音频数据流发送给所述扬声器,所述扬声器对混频后的音频数据流进行播放。
具体的,上述体感设备通过所述接口与所述终端设备相连接,如图9所示,当然,上述体感设备也可以位于该终端设备内。
终端设备的处理器有三方面的工作:第一,将游戏应用程序的游戏画面的显示信号发送给显示器;第二,处理游戏应用程序输出的音频数据流,进而控制体感设备运行以产生体感,对于产生体感的具体过程在方法实施例中已进行详细阐述,这里不再赘述;第三,将游戏应用程序输出的音频数据流进行混频,并将混频后的音频数据流发送给所述扬声器。
相对应的,终端设备的显示器接收处理器发送的游戏画面的显示信号,进而将游戏画面显示出来。
终端设备的扬声器接收处理器发送的混频后的音频数据流,进而对混频后的音频数据流进行播放。
对于系统或装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机可读取存储介质中,这里所称得的存储介质,如:ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (10)

1.一种游戏体感产生方法,其特征在于,应用于终端设备,所述终端设备中安装有游戏应用程序,所述方法包括:
获得所述游戏应用程序输出的音频数据流;
提取所获得的音频数据流的音频特征;
在预先训练得到的特征库中查找与提取的音频特征的相似度在第一预设范围内的音频特征,其中,所述特征库中存储有与体感参数对应的音频特征;
确定查找到的音频特征对应的体感参数,根据所确定的体感参数控制体感设备的运行以产生体感,其中,所述体感设备位于所述终端设备内或所述体感设备与所述终端设备相连接。
2.根据权利要求1所述的方法,其特征在于,所述提取所获得的音频数据流的音频特征,包括:
提取所获得的音频数据流的频域特征和/或时域特征。
3.根据权利要求1所述的方法,其特征在于,所述提取所获得的音频数据流的音频特征,包括:
对所获得的音频数据流进行A/D转换,得到数字音频信号流;
预加重所得到的数字音频信号流,以增强所述数字音频信号流中音频的高频分辨率,得到第一信号流;
为所述第一信号流加窗,进而实现对所述第一信号流的分帧处理,以得到具有短时特征的第二信号流;
利用能频值法对所述第二信号流进行端点检测,以确定所述第二信号流的起始点和结束点;
对起始点和结束点之间的第二信号流的倒谱参数进行提取,得到所获得的音频数据流的音频特征。
4.根据权利要求1所述的方法,其特征在于,所述体感参数包括:震动参数和/或摇晃参数。
5.根据权利要求1至4任一项所述的方法,其特征在于,还包括:
当检测到所述体感设备持续产生体感的时长超过预设时长时,控制所述体感设备停止产生体感。
6.一种游戏体感产生装置,其特征在于,应用于终端设备,所述终端设备中安装有游戏应用程序,所述装置包括:获得单元、提取单元、查找单元和体感单元;其中,
所述获得单元,用于获得所述游戏应用程序输出的音频数据流;
所述提取单元,用于提取所述获得单元获得的音频数据流的音频特征;
所述查找单元,用于在预先训练得到的特征库中查找与所述提取单元提取的音频特征的相似度在第一预设范围内的音频特征,其中,所述特征库中存储有与体感参数对应的音频特征;
所述体感单元,用于确定所述查找单元查找到的音频特征对应的体感参数,根据所确定的体感参数控制体感设备的运行以产生体感,其中,所述体感设备位于所述终端设备内或所述体感设备与所述终端设备相连接。
7.根据权利要求6所述的装置,其特征在于,所述提取单元,具体用于:提取所述获得单元获得的音频数据流的频域特征和/或时域特征。
8.根据权利要求6所述的装置,其特征在于,所述提取单元,包括:A/D转换子单元、预加重子单元、分帧子单元、端点检测子单元和特征提取子单元;其中,
所述A/D转换子单元,用于对所述获得单元获得的音频数据流进行A/D转换,得到数字音频信号流;
所述预加重子单元,用于预加重所述A/D转换子单元得到的数字音频信号流,以增强所述数字音频信号流中音频的高频分辨率,得到第一信号流;
所述分帧子单元,用于为所述预加重子单元得到的第一信号流加窗,进而实现对所述第一信号流的分帧处理,以得到具有短时特征的第二信号流;
所述端点检测子单元,用于利用能频值法对所述分帧子单元得到的第二信号流进行端点检测,以确定所述第二信号流的起始点和结束点;
所述特征提取子单元,用于对起始点和结束点之间的第二信号流的倒谱参数进行提取,得到所述获得单元获得的音频数据流的音频特征。
9.根据权利要求6至8任一项所述的装置,其特征在于,还包括:
停止单元,用于当检测到所述体感设备持续产生体感的时长超过预设时长时,控制所述体感设备停止产生体感。
10.一种终端设备,其特征在于,包括:显示器、处理器、接口、存储器和扬声器;
所述处理器在游戏应用程序运行时,将所述游戏应用程序的游戏画面的显示信号发送给所述显示器,所述显示器在接收到所述显示信号后,显示所述游戏画面;
所述处理器获得所述游戏应用程序输出的音频数据流,提取所获得的音频数据流的音频特征,在所述存储器中存储的预先训练得到的特征库中查找与提取的音频特征的相似度在第一预设范围内的音频特征,其中,所述特征库中存储有与体感参数对应的音频特征;确定查找到的音频特征对应的体感参数,根据所确定的体感参数控制体感设备的运行以产生体感,其中,所述体感设备位于所述终端设备内或所述体感设备通过所述接口与所述终端设备相连接;
所述处理器对所述游戏应用程序输出的音频数据流进行混频,并将混频后的音频数据流发送给所述扬声器,所述扬声器对混频后的音频数据流进行播放。
CN201510147685.7A 2015-03-31 2015-03-31 一种游戏体感产生方法及装置 Active CN104707331B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510147685.7A CN104707331B (zh) 2015-03-31 2015-03-31 一种游戏体感产生方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510147685.7A CN104707331B (zh) 2015-03-31 2015-03-31 一种游戏体感产生方法及装置

Publications (2)

Publication Number Publication Date
CN104707331A CN104707331A (zh) 2015-06-17
CN104707331B true CN104707331B (zh) 2018-08-07

Family

ID=53407366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510147685.7A Active CN104707331B (zh) 2015-03-31 2015-03-31 一种游戏体感产生方法及装置

Country Status (1)

Country Link
CN (1) CN104707331B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107682642A (zh) * 2017-09-19 2018-02-09 广州艾美网络科技有限公司 识别视频特效触发时间点的方法、装置和终端设备
CN109157836A (zh) * 2018-08-21 2019-01-08 网易(杭州)网络有限公司 游戏中显示元素的显示方法、装置、存储介质及电子装置
CN109379485B (zh) * 2018-09-26 2021-03-19 腾讯数码(天津)有限公司 应用程序的反馈方法、装置、终端及存储介质
CN109862176A (zh) * 2018-12-27 2019-06-07 努比亚技术有限公司 终端及其特效辅助实现方法、及计算机可读存储介质
CN110010151A (zh) * 2018-12-31 2019-07-12 瑞声科技(新加坡)有限公司 一种音频信号处理方法及设备、存储介质
CN109871120A (zh) * 2018-12-31 2019-06-11 瑞声科技(新加坡)有限公司 触觉反馈方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201179331Y (zh) * 2007-12-29 2009-01-14 董海颖 一种游戏椅的控制系统
CN101800052A (zh) * 2009-12-29 2010-08-11 宇龙计算机通信科技(深圳)有限公司 一种音乐转换方法、装置及音乐播放设备
CN101879375A (zh) * 2009-05-06 2010-11-10 鼎亿数码科技(上海)有限公司 基于蓝牙传输的手机游戏手柄及其实现方法
CN102024481A (zh) * 2009-09-14 2011-04-20 展讯通信(上海)有限公司 从音频文件提取振动信息的方法、装置以及振动装置
EP2540357A1 (en) * 2011-06-03 2013-01-02 We R Interactive Limited Audio visual game system and computer implemented game method
CN103127718A (zh) * 2011-11-30 2013-06-05 北京德信互动网络技术有限公司 基于声控的游戏实现装置和方法
CN103824555A (zh) * 2012-11-19 2014-05-28 腾讯科技(深圳)有限公司 音频段提取方法及提取装置
CN104091591A (zh) * 2013-10-15 2014-10-08 腾讯科技(深圳)有限公司 一种音频处理方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8323106B2 (en) * 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201179331Y (zh) * 2007-12-29 2009-01-14 董海颖 一种游戏椅的控制系统
CN101879375A (zh) * 2009-05-06 2010-11-10 鼎亿数码科技(上海)有限公司 基于蓝牙传输的手机游戏手柄及其实现方法
CN102024481A (zh) * 2009-09-14 2011-04-20 展讯通信(上海)有限公司 从音频文件提取振动信息的方法、装置以及振动装置
CN101800052A (zh) * 2009-12-29 2010-08-11 宇龙计算机通信科技(深圳)有限公司 一种音乐转换方法、装置及音乐播放设备
EP2540357A1 (en) * 2011-06-03 2013-01-02 We R Interactive Limited Audio visual game system and computer implemented game method
CN103127718A (zh) * 2011-11-30 2013-06-05 北京德信互动网络技术有限公司 基于声控的游戏实现装置和方法
CN103824555A (zh) * 2012-11-19 2014-05-28 腾讯科技(深圳)有限公司 音频段提取方法及提取装置
CN104091591A (zh) * 2013-10-15 2014-10-08 腾讯科技(深圳)有限公司 一种音频处理方法及装置

Also Published As

Publication number Publication date
CN104707331A (zh) 2015-06-17

Similar Documents

Publication Publication Date Title
CN104707331B (zh) 一种游戏体感产生方法及装置
CN110832580B (zh) 重放攻击的检测
CN105405448B (zh) 一种音效处理方法及装置
CN102568478B (zh) 一种基于语音识别的视频播放控制方法和系统
CN103440862B (zh) 一种语音与音乐合成的方法、装置以及设备
CN104538011B (zh) 一种音调调节方法、装置及终端设备
CN103943104B (zh) 一种语音信息识别的方法及终端设备
CN108847215B (zh) 基于用户音色进行语音合成的方法及装置
CN109257659A (zh) 字幕添加方法、装置、电子设备及计算机可读存储介质
CN110602624B (zh) 音频测试方法、装置、存储介质及电子设备
CN110581915B (zh) 稳定性测试方法、装置、存储介质及电子设备
CN111888765B (zh) 多媒体文件的处理方法、装置、设备及介质
WO2016165334A1 (zh) 一种语音处理方法及装置、终端设备
US9613616B2 (en) Synthesizing an aggregate voice
CN111935555B (zh) 一种直播互动方法、装置、系统、设备及存储介质
CN111261195A (zh) 音频测试方法、装置、存储介质及电子设备
CN111179915A (zh) 基于语音的年龄识别方法及装置
CN102456342A (zh) 音频处理装置和方法以及程序
CN110310642A (zh) 语音处理方法、系统、客户端、设备和存储介质
CN110246489A (zh) 用于儿童的语音识别方法及系统
CN111312281B (zh) 一种触感振动实现方法
CN109584904A (zh) 应用于基础音乐视唱教育的视唱音频唱名识别建模方法
CN111028861B (zh) 频谱掩码模型训练方法、音频场景识别方法及系统
CN110232928A (zh) 文本无关说话人验证方法和装置
US20210373670A1 (en) Vibration control method and system for computer device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant