CN108744498A - 一种基于双vr设备的虚拟游戏快速启动方法 - Google Patents
一种基于双vr设备的虚拟游戏快速启动方法 Download PDFInfo
- Publication number
- CN108744498A CN108744498A CN201810470492.9A CN201810470492A CN108744498A CN 108744498 A CN108744498 A CN 108744498A CN 201810470492 A CN201810470492 A CN 201810470492A CN 108744498 A CN108744498 A CN 108744498A
- Authority
- CN
- China
- Prior art keywords
- equipment
- voice signal
- virtual game
- portrait
- attribute information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/35—Details of game servers
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/70—Game security or game management aspects
- A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/80—Special adaptations for executing a specific game genre or game mode
- A63F13/837—Shooting of targets
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1081—Input via voice recognition
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
- A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8076—Shooting
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8082—Virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Computer Security & Cryptography (AREA)
- General Business, Economics & Management (AREA)
- Processing Or Creating Images (AREA)
- Stereophonic System (AREA)
Abstract
一种基于双VR设备的虚拟游戏快速启动方法,其特点为:已佩戴第一目标VR设备的第一用户可以根据第一目标VR设备的提示发出第一现场声音信号,而已佩戴第二目标VR设备的第二用户可以根据第二目标VR设备的提示发出第二现场声音信号,服务设备可以对第一现场声音信号以及第二现场声音信号进行合成得到现场合成声音信号,并且在判断出现场合成声音信号与目标虚拟游戏关联的验证声音信号匹配时启动目标虚拟游戏,并将启动后的目标虚拟游戏对应的游戏场景同步推送给第一目标VR设备和第二目标VR设备进行虚拟游戏PK。可以避免第一用户和第二用户分别先去搜索然后再分别启动需要进行PK的虚拟游戏,节省操作时间,从而有利于快速的进行虚拟游戏PK。
Description
技术领域
本发明涉及虚拟现实(Virtual Reality,VR)技术领域,尤其涉及一种基于双VR设备的虚拟游戏快速启动方法。
背景技术
VR技术是一种可以创建和体验虚拟世界的计算机仿真系统,它利用计算机生成一种模拟环境,是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真以使用户沉浸到该环境中。随着VR技术的快速发展,利用 VR设备(如VR头盔)来参与虚拟游戏PK已经成为了十分普遍的一种游戏方式。
在实践中发现,在两个用户各自使用VR设备来参与虚拟游戏PK之前,两个用户需要从各自的VR设备上打开虚拟游戏选择界面,并且两个用户需要从各自的虚拟游戏选择界面中搜索出要进行PK的虚拟游戏并点击虚拟游戏进行启动。这种方式需要两个用户分别先去搜索然后再分别启动需要进行PK的虚拟游戏,难以快速的进行虚拟游戏PK。
发明内容
本发明实施例公开了一种基于双VR设备的虚拟游戏快速启动方法,有利于快速的进行虚拟游戏PK。
其中,一种基于双VR设备的虚拟游戏快速启动方法,所述方法包括:
服务设备分别建立与第一目标VR设备、第二目标VR设备的通讯连接;
所述服务设备获取所述第一目标VR设备上报的第一现场声音信号以及获取所述第二目标VR设备上报的第二现场声音信号;其中,所述第一现场声音信号是由所述第一目标VR设备检测到第一用户已佩戴所述第一目标VR设备时由所述第一目标VR设备提示所述第一用户发出的第一现场声音信号;所述第二现场声音信号是由所述第二目标VR设备检测到第二用户已佩戴所述第二目标VR设备时由所述第二目标VR设备提示所述第二用户发出的第二现场声音信号;
所述服务设备对所述第一现场声音信号以及所述第二现场声音信号进行合成得到现场合成声音信号;
所述服务设备判断所述现场合成声音信号与目标虚拟游戏关联的验证声音信号是否匹配,若匹配,启动所述目标虚拟游戏并将启动后的所述目标虚拟游戏对应的游戏场景同步推送给所述第一目标VR设备和第二目标VR设备进行虚拟游戏PK。
作为一种可选的实施方式,本发明实施例中,所述服务设备分别建立与第一VR设备、第二VR设备的通讯连接之前,所述方法还包括:
所述服务设备建立与虚拟游戏配置设备之间的通讯连接;
所述服务设备向所述虚拟游戏配置设备推送包括至少两个待选VR设备的待选VR设备集合,以及向所述虚拟游戏配置设备推送包括至少一个待选虚拟游戏的待选虚拟游戏集合;
所述虚拟游戏配置设备检测所述待选VR设备集合中被选中的第一候选VR 设备,以及检测所述待选VR设备集合中被选中的第二候选VR设备;
所述虚拟游戏配置将所述第一候选VR设备和所述第二候选VR设备上报给所述服务设备;
所述服务设备将所述第一候选VR设备作为所述第一目标VR设备,将所述第二候选VR设备作为所述第二目标VR设备;
所述虚拟游戏配置设备检测所述待选虚拟游戏集合中被选中的待选虚拟游戏,以及采集第一认证声音信号以及采集发出所述第一认证声音信号的人员对应的第一人像,以及采集第二认证声音信号以及采集发出所述第二认证声音信号的人员对应的第二人像;
所述虚拟游戏配置设备判断所述第一人像包含的第一人脸图像是否与所述服务设备预先配置的会员A的人脸图像相匹配,以及第二人像包含的第二人脸图像是否与所述服务设备预先配置的会员B的人脸图像相匹配;其中,所述会员A的人脸图像与所述会员B的人脸图像的不同;
若所述第一人像包含的第一人脸图像与所述会员A的人脸图像相匹配,以及所述第二人像包含的第二人脸图像与所述会员B的人脸图像相匹配,所述虚拟游戏配置设备将所述被选中的待选虚拟游戏的标识、所述第一认证声音信号以及所述第二认证声音信号一并上报给所述服务设备;
所述服务设备将所述被选中的待选虚拟游戏作为所述目标虚拟游戏,并对所述第一认证声音信号以及所述第二认证声音信号进行合成得到验证声音信号;
所述服务设备将所述验证声音信号与所述目标虚拟游戏进行关联。
作为一种可选的实施方式,本发明实施例中,所述虚拟游戏配置设备判断出所述第一人像包含的第一人脸图像与所述会员A的人脸图像相匹配,以及所述第二人像包含的第二人脸图像与所述会员B的人脸图像相匹配之后,以及所述虚拟游戏配置设备将所述被选中的待选虚拟游戏的标识、所述第一认证声音信号以及所述第二认证声音信号一并上报给所述服务设备之前,所述方法还包括:
所述虚拟游戏配置设备利用人像属性算法对所述第一人像进行前向计算,得到所述第一人像的属性信息;利用所述人像属性算法对所述第二人像进行前向计算,得到所述第二人像的属性信息;
所述虚拟游戏配置设备判断所述第一人像的属性信息是否与所述服务设备预先配置的所述会员A的属性信息相匹配,以及所述第二人像的属性信息是否与所述服务设备预先配置的所述会员B的属性信息相匹配;
若所述第一人像的属性信息与所述会员A的属性信息相匹配以及所述第二人像的属性信息与所述会员B的属性信息相匹配,所述虚拟游戏配置设备执行所述的将所述被选中的待选虚拟游戏的标识、所述第一认证声音信号以及所述第二认证声音信号一并上报给所述服务设备的步骤;
其中,所述人像属性算法是基于多个样本人像图像以及所述多个样本人像图像的多个属性信息的识别结果按照属性信息的不同类型进行训练得到;其中,所述属性信息包括年龄、性别以及身高
作为一种可选的实施方式,本发明实施例中,所述人像属性算法通过以下方式训练得到,即:
所述虚拟游戏配置设备读取预先录入的样本人像数据,每个样本人像数据中包含样本人像图像以及样本人像图像的多个属性信息;
所述虚拟游戏配置设备从预先录入的样本人像图像中提取人像特征;
所述虚拟游戏配置设备根据初始模型中的不同属性信息对应的子模型对每个样本人像图像的人像特征进行前向计算,得到每个样本人像图像的多个属性信息的预测值;
所述虚拟游戏配置设备根据预测值与属性信息的值,按照属性信息的不同类型计算得到多个属性信息的损耗;
所述虚拟游戏配置设备将多个属性信息的损耗求和,得到多个属性信息的总损耗;
所述虚拟游戏配置设备对初始模型中的不同属性信息对应的子模型的参数进行调整,直到调整后的参数使得多个属性信息的总损耗小于或等于预设阈值时,停止调整得到人像属性算法;
其中,所述虚拟游戏配置设备根据预测值与属性信息的值,按照属性信息的不同类型计算得到多个属性信息的损耗,包括:
所述虚拟游戏配置设备对于多个属性信息中每一个属性信息,若所述属性信息为回归属性,按照如下公式对所述属性信息的预测值和属性信息的值进行计算,得到所述属性信息的损耗:
其中,s表示所述属性信息在多个属性信息中的编号,表示初始模型计算得到的预测值,表示所述属性信息的值,i表示回归维度,j表示回归维度的标,L表示所述属性信息对应的损耗。
作为一种可选的实施方式,本发明实施例中,所述服务设备对所述第一现场声音信号以及所述第二现场声音信号进行合成得到现场合成声音信号,包括:
所述服务设备确定所述第一现场声音信号与所述第二现场声音信号之间的对齐点;其中,所述对齐点是指所述第一现场声音信号和所述第二现场声音信号合成的开始位置;
所述服务设备根据所述对齐点将所述第一现场声音信号与所述第二现场声音信号合成为现场合成声音信号。
作为一种可选的实施方式,本发明实施例中,所述服务设备确定所述第一现场声音信号与所述第二现场声音信号之间的对齐点,包括
所述服务设备计算所述第一现场声音信号的第一时长以及所述第二现场声音信号的第二时长;其中,所述第一时长表示所述第一现场声音信号的声音持续的时间;所述第二时长表示所述第二现场声音信号的声音持续的时间;
所述服务设备计算所述第一时长和所述第二时长之间的差值;
所述服务设备判断所述差值是否小于或等于预设数值,若是,对所述第一现场声音信号和所述第二现场声音信号中的任一现场声音信号进行周期上的缩放,以获得最终持续时长相同的第一现场声音信号和第二现场声音信号,再以所述最终持续时长相同的第一现场声音信号和第二现场声音信号的首个音频帧作为对齐点。
作为一种可选的实施方式,本发明实施例中,所述服务设备对所述第一现场声音信号和所述第二现场声音信号中的任一现场声音信号进行周期上的缩放,包括:
若所述第一现场声音信号的第一时长相对于所述第二现场声音信号的第二时长较短,所述服务设备根据所述差值确定所述差值占所述第一现场声音信号的第一时长的比例X;
所述服务设备计算所述第一现场声音信号的音频帧数Y;
所述服务设备计算放大系数Z,所述Z=X*(Y/(Y-1));
所述服务设备按照所述放大系数,对所述第一现场声音信号中除了首个音频帧之外的其他音频帧进行等比例放大,以使得放大后的第一现场声音信号的最终持续时长与所述第二现场声音信号的第二时长相同。
作为一种可选的实施方式,本发明实施例中,若所述差值大于所述预设数值,所述方法还包括:
所述服务设备使用相同的默认采样频率对所述第一现场声音信号以及所述第二现场声音信号分别进行采样,得到第一采样组和第二采样组;
所述服务设备根据所述默认采样频率、所述第一采样组、所述第二采样组以及互相关权值生成互相关组;其中,所述互相关权值与所述差值正相关,所述互相关组中包含有多个数值;
所述服务设备将所述互相关组中的多个数值进行比较,找出最大的数值;
所述服务设备使用所述最大的数值对应的音频帧位置作为对齐点。
作为一种可选的实施方式,本发明实施例中,所述服务设备根据所述默认采样频率、所述第一采样组、所述第二采样组以及互相关权值生成互相关组,包括:
其中,Sn[t]表示互相关组,x[m]表示所述第一采样组中的第m个采样数据,y[m-t]表示所述第二采样组中的第(m-t)个采样数据,t表示时间的偏移量,t为整数,取值为从0到m,Wt表示窗函数,其中n=l*f,l为互相关权值,f为所述默认采样频率。
作为一种可选的实施方式,本发明实施例中,所述服务设备判断所述现场合成声音信号与目标虚拟游戏关联的验证声音信号是否匹配,包括:
所述服务设备对所述现场合成声音信号进行预处理,预处理包括预加重、分帧和加窗处理;从预处理后的现场合成声音信号中提取声纹特征MFCC、LPCC、△MFCC、△LPCC、能量、能量的一阶差分以及GFCC共同组成第一多维特征向量,其中:MFCC为梅尔频率倒谱系数,LPCC为线性预测倒谱系数,△ MFCC为MFCC的一阶差分,△LPCC为LPCC的一阶差分,GFCC为Gammatone滤波器倒谱系数;判断第一多维特征向量是否与目标虚拟游戏关联的验证声音信号的声纹特征对应的第二多维向量匹配,如果匹配,则确定所述现场合成声音信号与所述目标虚拟游戏关联的验证声音信号匹配。
本发明实施例中,已佩戴第一目标VR设备的第一用户可以根据第一目标 VR设备的提示发出第一现场声音信号,而已佩戴第二目标VR设备的第二用户可以根据第二目标VR设备的提示发出第二现场声音信号,服务设备可以对第一现场声音信号以及第二现场声音信号进行合成得到现场合成声音信号,并且在判断出现场合成声音信号与目标虚拟游戏关联的验证声音信号匹配时启动目标虚拟游戏,并将启动后的目标虚拟游戏对应的游戏场景同步推送给第一目标VR设备和第二目标VR设备进行虚拟游戏PK。可见,实施本发明实施例,可以避免第一用户和第二用户分别先去搜索然后再分别启动需要进行PK 的虚拟游戏,节省操作时间,从而有利于快速的进行虚拟游戏PK。此外,服务设备在获取到第一现场声音信号和第二现场声音信号之后,并不是逐一的对这两个现场声音信号进行验证,而是把这两个现场声音信号进行合成得到现场合成声音信号,然后再将现场合成声音信号与目标虚拟游戏关联的验证声音信号进行匹配,而现场声音信号合成后,会产生更多的可验证参数(例如两段声音是否对齐,两段声音的相位差等),相比于逐一验证两段现场声音信号,提高了验证的可靠性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种基于双VR设备的虚拟游戏快速启动的网络架构图;
图2为本发明实施例公开的一种基于双VR设备的虚拟游戏快速启动方法的流程示意图;
图3为本发明实施例公开的另一种基于双VR设备的虚拟游戏快速启动方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明实施例的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开了一种基于双VR设备的虚拟游戏快速启动方法,有利于快速的进行虚拟游戏PK。以下进行结合附图进行详细描述。
为了更好的理解本发明实施例,下面先对本发明实施例涉及到的基于双 VR设备的虚拟游戏快速启动的网络架构进行描述。请参阅图1,图1为本发明实施例公开的一种基于双VR设备的虚拟游戏快速启动的网络架构图。在图 1所示的网络架构中,可以包括:服务设备、虚拟游戏配置设备、第一目标 VR设备以及第二目标VR设备,其中,第一目标VR设备、第二目标VR设备可以分别通过无线方式与服务设备进行通讯连接;服务设备通过无线方式或有线方式与虚拟游戏配置设备进行通讯连接。其中,第一目标VR设备、第二目标VR设备为需要进行虚拟游戏PK的两个VR设备;虚拟游戏配置设备可以向服务设备配置第一目标VR设备和第二目标VR设备;进一步地,虚拟游戏配置设备还可以向服务设备配置第一目标VR设备和第二目标VR设备需要进行 PK的目标虚拟游戏,以及虚拟游戏配置设备还可以采集声音、图像等媒体信息并上报给服务设备;更进一步的,虚拟游戏配置设备还可以对采集媒体信息(如声音、图像等)进行验证处理,本发明实施例不作限定。在图1所示的网络架构图中,已佩戴第一目标VR设备的第一用户可以根据第一目标VR 设备的提示发出第一现场声音信号,而已佩戴第二目标VR设备的第二用户可以根据第二目标VR设备的提示发出第二现场声音信号,服务设备可以对第一现场声音信号以及第二现场声音信号进行合成得到现场合成声音信号,并且在判断出现场合成声音信号与目标虚拟游戏关联的验证声音信号匹配时启动目标虚拟游戏,并将启动后的目标虚拟游戏对应的游戏场景同步推送给第一目标VR设备和第二目标VR设备进行虚拟游戏PK。可见,在图1所示的网络架构图中,可以避免第一用户和第二用户分别先去搜索然后再分别启动需要进行PK的虚拟游戏,节省操作时间,从而有利于快速的进行虚拟游戏PK。此外,服务设备在获取到第一现场声音信号和第二现场声音信号之后,并不是逐一的对这两个现场声音信号进行验证,而是把这两个现场声音信号进行合成得到现场合成声音信号,然后再将现场合成声音信号与目标虚拟游戏关联的验证声音信号进行匹配,而现场声音信号合成后,会产生更多的可验证参数(例如两段声音是否对齐,两段声音的相位差等),相比于逐一验证两段现场声音信号,提高了验证的可靠性。
请参阅图2,图2为本发明实施例公开的一种基于双VR设备的虚拟游戏快速启动方法的流程示意图。如图2所示,该基于双VR设备的虚拟游戏快速启动方法可以包括以下步骤:
201、服务设备分别建立与第一目标VR设备、第二目标VR设备的通讯连接。
202、服务设备获取第一目标VR设备上报的第一现场声音信号以及获取第二目标VR设备上报的第二现场声音信号;其中,第一现场声音信号是由第一目标VR设备检测到第一用户已佩戴第一目标VR设备时由第一目标VR设备提示第一用户发出的第一现场声音信号;第二现场声音信号是由第二目标VR 设备检测到第二用户已佩戴第二目标VR设备时由第二目标VR设备提示第二用户发出的第二现场声音信号。
203、服务设备对第一现场声音信号以及第二现场声音信号进行合成得到现场合成声音信号。
204、服务设备判断现场合成声音信号与目标虚拟游戏关联的验证声音信号是否匹配,若匹配,执行步骤205;若不匹配,返回步骤201。
205、服务设备启动目标虚拟游戏并将启动后的目标虚拟游戏对应的游戏场景同步推送给第一目标VR设备和第二目标VR设备进行虚拟游戏PK。
作为一种可选的实施方式,第一现场声音信号是由第一目标VR设备在判断出第一现场声音信号为语音信号后,由第一目标VR设备上报给服务设备,其中,第一目标VR设备判断第一现场声音信号是否为语音信号的方式为:
第一目标VR设备对第一现场声音信号进行快速傅里叶变换得到频域信号;
第一目标VR设备根据频域信号计算谱幅度值;
第一目标VR设备根据谱幅度值计算概率密度;
第一目标VR设备根据概率密度计算第一声音信号的谱熵;
第一目标VR设备根据谱熵确定第一现场声音信号是否为语音信号。
其中,第一目标VR设备根据频域信号计算谱幅度值,包括:
第一目标VR设备根据频域信号并结合以下公式计算谱幅度值,即:
其中,X(k,y)表示第一现场声音信号的第y个音频帧的第k个频段的谱幅度值,z(c,y)表示第y个音频帧的音频中的第c个点的幅度,N表示快速傅里叶变换的变化长度,k小于或等于N,exp(-j2πkc/N)表示幅角为2π的kc/N 倍的复数。
其中,第一目标VR设备根据谱幅度值计算概率密度,可以包括:
其中,第一目标VR设备根据谱幅度值计算第y个音频帧的带噪语音功率谱总能量;
其中,第一目标VR设备根据带噪语音功率谱总能量以及谱幅度值计算概率密度;
其中,带噪语音功率谱总能量的计算方式为:
其中,Esum(y)表示第y个音频帧的带噪语音功率谱总能量,X(k,y)表示第y个音频帧的第k个频段的谱幅度值,N表示快速傅里叶变换的变化长度;
其中,概率密度的计算方式为:
D(k,y)=|X(k,y)|2/Esum(y),其中,D(k,y)表示第y个音频帧的第k个频段所对应的概率密度。
其中,第一目标VR设备根据概率密度计算第一现场声音信号的谱熵的具体过程为:
其中,H(y)表示第y个音频帧的谱熵。
其中,第一目标VR设备根据谱熵确定第一现场声音信号是否为语音信号,可以包括:
第一目标VR设备计算第一现场声音信号的能量;
第一目标VR设备根据第一现场声音信号的能量以及谱熵确定第一现场声音信号是否为语音信号;
其中,第一现场声音信号的能量的计算过程为:
其中,E(y)表示第y个音频帧的能量,M表示音频帧的帧长,z(c,y)表示第y个音频帧的第c个点的幅度。
其中,第一目标VR设备根据第一现场声音信号的能量以及谱熵确定第一现场声音信号是否为语音信号,包括:
第一目标VR设备判断P(y)是否大于预置门限值,若是,则确定第一现场声音信号是语音信号,若否,则确定第一现场声音信号不是语音信号,
其中,实施上述实施方式,第一目标VR设备可以在精确的确定出第一现场声音信号是语音信号而非噪音信号之后,将第一现场声音信号上报给服务设备,从而可以提高语音信号上报的精确性。
本发明实施例中,第二现场声音信号是由第二目标VR设备在判断出第二现场声音信号为语音信号后,由第二目标VR设备上报给服务设备,并且第二目标VR设备判断第二现场声音信号是否为语音信号的方式与第一目标VR设备判断第一现场声音信号是否为语音信号的方式相同,本发明实施例此处不作赘述。
作为一种可选的实施方式,上述步骤203中,服务设备对第一现场声音信号以及第二现场声音信号进行合成得到现场合成声音信号,包括:
服务设备确定第一现场声音信号与第二现场声音信号之间的对齐点;其中,该对齐点是指第一现场声音信号和第二现场声音信号合成的开始位置;换句话说,第一现场声音信号与第二现场声音信号要合成的话,需要找到从哪个音频帧开始合成,这个音频帧就可以理解为对齐点;
以及,服务设备根据该对齐点将第一现场声音信号与第二现场声音信号合成为现场合成声音信号。
作为一种可选的实施方式,本发明实施例中,服务设备确定第一现场声音信号与第二现场声音信号之间的对齐点,包括
服务设备计算第一现场声音信号的第一时长以及第二现场声音信号的第二时长;其中,第一时长表示该第一现场声音信号的声音持续的时间;第二时长表示该第二现场声音信号的声音持续的时间;
服务设备计算该第一时长和该第二时长之间的差值;
服务设备判断该差值是否小于或等于预设数值,若是,对该第一现场声音信号和该第二现场声音信号中的任一现场声音信号进行周期上的缩放,以获得最终持续时长相同的第一现场声音信号和第二现场声音信号,再以最终持续时长相同的第一现场声音信号和第二现场声音信号的首个音频帧作为对齐点。
本发明实施例中,如果该差值小于或等于预设数值,则说明两段现场声音信号(即该第一现场声音信号和该第二现场声音信号)在输入时的差距较小,此时可以对其中的一段现场声音信号(如该第一现场声音信号)进行周期上的缩放,例如对时长较长的现场声音信号进行周期上的压缩(也就是俗称的快进),和/或对时长较短的现场声音信号进行周期上的放大(也就是俗称的慢进),使得两段现场声音信号的最终持续时长相同,再以两段现场声音信号的首个音频帧作为对齐点进行对齐。
其中,该预设数值的取值范围可以为0至0.1秒。
本发明实施例中,服务设备对该第一现场声音信号和该第二现场声音信号中的任一现场声音信号进行周期上的缩放,包括:
若该第一现场声音信号的第一时长相对于该第二现场声音信号的第二时长较短,则根据该差值确定该差值占该第一现场声音信号的第一时长的比例 X;
计算该第一现场声音信号的音频帧数Y;
计算放大系数Z,该Z=X*(Y/(Y-1));
按照该放大系数,对该第一现场声音信号中除了首个音频帧之外的其他音频帧进行等比例放大,以使得放大后的第一现场声音信号的最终持续时长与该第二现场声音信号的第二时长相同。
举例来说,该第一现场声音信号为1秒,有100个音频帧,则每个音频帧0.01秒,该第二现场声音信号为1.1秒,需要把该第一现场声音信号放大至1.1秒。第一帧不动,放大后续的99帧,先确定放大的系数Z为0.1*(100/ (100-1))=0.101,即10.1%;此时后续的99帧,每帧需要放大10.1%,放大后的每帧为0.01*(1+10.1%)=0.01101,放大后这99帧的长度为1.09秒,再加上没有动的第一帧0.01秒,就为1.1秒了,即放大后的第一现场声音信号的最终持续时长与该第二现场声音信号的第二时长相同。
本发明实施例中,如果该差值大于预设数值,则说明两段现场声音信号 (即该第一现场声音信号和该第二现场声音信号)在输入时的差距较大,如果此时还是对其中的一段现场声音信号进行周期上的缩放,则缩放后会造成比较严重的失真,后续的校验会出现问题,所以可以采用互相关算法来确定对齐点。即,在该差值大于预设数值时,该方法还包括:
服务设备使用相同的默认采样频率对该第一现场声音信号以及该第二现场声音信号分别进行采样,得到第一采样组和第二采样组;
服务设备根据该默认采样频率(例如8000Hz到10000Hz)、第一采样组、第二采样组以及互相关权值生成互相关组;其中,该互相关权值与该差值正相关(例如该互相关权值可以为该差值的1.5倍),该互相关组中包含有多个数值;
服务设备将该互相关组中的多个数值进行比较,找出最大的数值;
服务设备使用该最大的数值对应的音频帧位置作为对齐点。
其中,服务平台根据该默认采样频率、第一采样组、第二采样组以及互相关权值生成互相关组,包括:
其中,Sn[t]表示互相关组,x[m]表示第一采样组中的第m个采样数据, y[m-t]表示第二采样组中的第(m-t)个采样数据,t表示时间的偏移量,t 为整数,取值为从0到m,Wt表示窗函数,其中n=l*f,l为互相关权值,f 为默认采样频率。
其中,服务设备使用该最大的数值对应的音频帧位置作为对齐点可以为:
服务设备找到最大的数值后,可以根据上述的公式(1)反推出m是多少,也就是哪一个采样数据,然后再确定该采样数据所在的音频帧是哪一个,并且使用该音频帧作为对齐点。
作为一种可选的实施方式,上述步骤204中,服务设备判断合成声音信号与预存的任一默认声音信号是否匹配,可以包括:
服务设备对现场合成声音信号进行预处理,预处理包括预加重、分帧和加窗处理;
服务设备从预处理后的现场合成声音信号中提取声纹特征MFCC、LPCC、△MFCC、△LPCC、能量、能量的一阶差分以及GFCC共同组成第一多维特征向量,其中:MFCC为梅尔频率倒谱系数,LPCC为线性预测倒谱系数,△MFCC为 MFCC的一阶差分,△LPCC为LPCC的一阶差分,GFCC为Gammatone滤波器倒谱系数;
服务设备判断第一多维特征向量是否与目标虚拟游戏关联的验证声音信号的声纹特征对应的第二多维向量匹配,如果匹配,则确定现场合成声音信号与目标虚拟游戏关联的验证声音信号匹配;如果不匹配,则确定现场合成声音信号与目标虚拟游戏关联的验证声音信号不匹配。
本发明实施例中,服务设备对合成声音信号进行预处理还可以包括对合成声音信号的格式转换、删除合成声音信号中的静音段、删除音频中的白噪声等等。
其中,实施上述实施方式,可以提高声音匹配的准确性。
可见,实施图2所描述的方法,可以避免第一用户和第二用户分别先去搜索然后再分别启动需要进行PK的虚拟游戏,节省操作时间,从而有利于快速的进行虚拟游戏PK。此外,服务设备在获取到第一现场声音信号和第二现场声音信号之后,并不是逐一的对这两个现场声音信号进行验证,而是把这两个现场声音信号进行合成得到现场合成声音信号,然后再将现场合成声音信号与目标虚拟游戏关联的验证声音信号进行匹配,而现场声音信号合成后,会产生更多的可验证参数(例如两段声音是否对齐,两段声音的相位差等),相比于逐一验证两段现场声音信号,提高了验证的可靠性。
请参阅图3,图3为本发明实施例公开的另一种基于双VR设备的虚拟游戏快速启动方法的流程示意图。如图2所示,该基于双VR设备的虚拟游戏快速启动方法可以包括以下步骤:
301、服务设备建立与虚拟游戏配置设备之间的通讯连接。
302、服务设备向虚拟游戏配置设备推送包括至少两个待选VR设备的待选VR设备集合,以及向虚拟游戏配置设备推送包括至少一个待选虚拟游戏的待选虚拟游戏集合。
303、虚拟游戏配置设备检测待选VR设备集合中被选中的第一候选VR设备,以及检测待选VR设备集合中被选中的第二候选VR设备。
304、虚拟游戏配置设备将第一候选VR设备和第二候选VR设备上报给服务设备。
305、服务设备将第一候选VR设备作为第一目标VR设备,将第二候选VR 设备作为第二目标VR设备。
306、虚拟游戏配置设备检测待选虚拟游戏集合中被选中的待选虚拟游戏,以及采集第一认证声音信号以及采集发出第一认证声音信号的人员对应的第一人像,以及采集第二认证声音信号以及采集发出第二认证声音信号的人员对应的第二人像。
307、虚拟游戏配置设备判断第一人像包含的第一人脸图像是否与服务设备预先配置的会员A的人脸图像相匹配,以及第二人像包含的第二人脸图像是否与所述服务设备预先配置的会员B的人脸图像相匹配;其中,会员A的人脸图像与会员B的人脸图像的不同;若第一人像包含的第一人脸图像与会员A的人脸图像相匹配,以及第二人像包含的第二人脸图像与会员B的人脸图像相匹配,执行步骤308-步骤314;反之,若第一人像包含的第一人脸图像与会员A的人脸图像不相匹配,和/或,第二人像包含的第二人脸图像与会员B的人脸图像不相匹配,结束本流程。
308、虚拟游戏配置设备将被选中的待选虚拟游戏的标识、第一认证声音信号以及第二认证声音信号一并上报给服务设备。
309、服务设备将被选中的待选虚拟游戏作为目标虚拟游戏,并对第一认证声音信号以及第二认证声音信号进行合成得到验证声音信号。
310、服务设备将验证声音信号与目标虚拟游戏进行关联。
311、服务设备分别建立与第一目标VR设备、第二目标VR设备的通讯连接。
312、服务设备获取第一目标VR设备上报的第一现场声音信号以及获取第二目标VR设备上报的第二现场声音信号;其中,第一现场声音信号是由第一目标VR设备检测到第一用户已佩戴第一目标VR设备时由第一目标VR设备提示第一用户发出的第一现场声音信号;第二现场声音信号是由第二目标VR 设备检测到第二用户已佩戴第二目标VR设备时由第二目标VR设备提示第二用户发出的第二现场声音信号。
313、服务设备对第一现场声音信号以及第二现场声音信号进行合成得到现场合成声音信号。
其中,上述步骤313的实现过程与步骤203的实现过程相同,本发明实施例不作赘述。
314、服务设备判断现场合成声音信号与目标虚拟游戏关联的验证声音信号是否匹配,若匹配,执行步骤315;若不匹配,返回步骤312。
其中,上述步骤314的实现过程与步骤204的实现过程相同,本发明实施例不作赘述。
315、服务设备启动目标虚拟游戏并将启动后的目标虚拟游戏对应的游戏场景同步推送给第一目标VR设备和第二目标VR设备进行虚拟游戏PK。
作为一种可选的实施方式,本发明实施例中,在上述步骤307中,虚拟游戏配置设备判断出第一人像包含的第一人脸图像与会员A的人脸图像相匹配,以及第二人像包含的第二人脸图像与会员B的人脸图像相匹配之后,以及虚拟游戏配置设备执行步骤308之前,该方法还可以包括:
虚拟游戏配置设备利用人像属性算法对第一人像进行前向计算,得到第一人像的属性信息;利用人像属性算法对第二人像进行前向计算,得到第二人像的属性信息;
虚拟游戏配置设备判断第一人像的属性信息是否与服务设备预先配置的会员A的属性信息相匹配,以及第二人像的属性信息是否与服务设备预先配置的会员B的属性信息相匹配;
若第一人像的属性信息与会员A的属性信息相匹配以及第二人像的属性信息与会员B的属性信息相匹配,虚拟游戏配置设备才准确的执行步骤308。
其中,人像属性算法是基于多个样本人像图像以及多个样本人像图像的多个属性信息的识别结果按照属性信息的不同类型进行训练得到;其中,属性信息包括年龄、性别以及身高
本发明实施例中,人像属性算法通过以下方式训练得到,即:
虚拟游戏配置设备读取预先录入的样本人像数据,每个样本人像数据中包含样本人像图像以及样本人像图像的多个属性信息;
虚拟游戏配置设备从预先录入的样本人像图像中提取人像特征;
虚拟游戏配置设备根据初始模型中的不同属性信息对应的子模型对每个样本人像图像的人像特征进行前向计算,得到每个样本人像图像的多个属性信息的预测值;
虚拟游戏配置设备根据预测值与属性信息的值,按照属性信息的不同类型计算得到多个属性信息的损耗;
虚拟游戏配置设备将多个属性信息的损耗求和,得到多个属性信息的总损耗;
虚拟游戏配置设备对初始模型中的不同属性信息对应的子模型的参数进行调整,直到调整后的参数使得多个属性信息的总损耗小于或等于预设阈值时,停止调整得到人像属性算法;
其中,虚拟游戏配置设备根据预测值与属性信息的值,按照属性信息的不同类型计算得到多个属性信息的损耗,包括:
虚拟游戏配置设备对于多个属性信息中每一个属性信息,若该属性信息为回归属性,按照如下公式对该属性信息的预测值和属性信息的值进行计算,得到该属性信息的损耗:
其中,s表示该属性信息在多个属性信息中的编号,表示初始模型计算得到的预测值,表示该属性信息的值,i表示回归维度,j表示回归维度的标,L表示该属性信息对应的损耗。
或者,虚拟游戏配置设备根据预测值与属性信息的值,按照属性信息的不同类型计算得到多个属性信息的损耗,包括:
虚拟游戏配置设备对于多个属性信息中每一个属性信息,若该属性信息不为回归属性,按照如下公式对该属性信息的预测向量和属性信息向量进行计算,得到该属性信息的损耗:
其中,s表示该属性信息在多个属性信息中的编号,x表示该属性信息的值,q表示初始模型计算得到的预测值,d表示该属性信息的识别结果数目, h表示该属性信息的识别结果的标识,L表示该属性信息对应的损耗。
本发明实施例中,虚拟游戏配置设备将人像包含人脸图像以及人像的属性信息作为双层判断依据,在根据该双层判断依据准确的判断出发出第一认证声音信号的人员以及发出第二认证声音信号的人员属于服务设备预先配置的会员时,才执行步骤308,从而可以安全、可靠的生成用于关联目标虚拟游戏的验证声音信号。
可见,实施图3所描述的方法,可以避免第一用户和第二用户分别先去搜索然后再分别启动需要进行PK的虚拟游戏,节省操作时间,从而有利于快速的进行虚拟游戏PK。此外,服务设备在获取到第一现场声音信号和第二现场声音信号之后,并不是逐一的对这两个现场声音信号进行验证,而是把这两个现场声音信号进行合成得到现场合成声音信号,然后再将现场合成声音信号与目标虚拟游戏关联的验证声音信号进行匹配,而现场声音信号合成后,会产生更多的可验证参数(例如两段声音是否对齐,两段声音的相位差等),相比于逐一验证两段现场声音信号,提高了验证的可靠性。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种基于双VR设备的虚拟游戏快速启动方法进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (9)
1.一种基于双VR设备的虚拟游戏快速启动方法,其特征在于,所述方法包括:
服务设备分别建立与第一目标VR设备、第二目标VR设备的通讯连接;
所述服务设备获取所述第一目标VR设备上报的第一现场声音信号以及获取所述第二目标VR设备上报的第二现场声音信号;其中,所述第一现场声音信号是由所述第一目标VR设备检测到第一用户已佩戴所述第一目标VR设备时由所述第一目标VR设备提示所述第一用户发出的第一现场声音信号;所述第二现场声音信号是由所述第二目标VR设备检测到第二用户已佩戴所述第二目标VR设备时由所述第二目标VR设备提示所述第二用户发出的第二现场声音信号;
所述服务设备对所述第一现场声音信号以及所述第二现场声音信号进行合成得到现场合成声音信号;
所述服务设备判断所述现场合成声音信号与目标虚拟游戏关联的验证声音信号是否匹配,若匹配,启动所述目标虚拟游戏并将启动后的所述目标虚拟游戏对应的游戏场景同步推送给所述第一目标VR设备和第二目标VR设备进行虚拟游戏PK。
2.根据权利要求1所述的基于双VR设备的虚拟游戏快速启动方法,其特征在于,所述服务设备分别建立与第一VR设备、第二VR设备的通讯连接之前,所述方法还包括:
所述服务设备建立与虚拟游戏配置设备之间的通讯连接;
所述服务设备向所述虚拟游戏配置设备推送包括至少两个待选VR设备的待选VR设备集合,以及向所述虚拟游戏配置设备推送包括至少一个待选虚拟游戏的待选虚拟游戏集合;
所述虚拟游戏配置设备检测所述待选VR设备集合中被选中的第一候选VR设备,以及检测所述待选VR设备集合中被选中的第二候选VR设备;
所述虚拟游戏配置将所述第一候选VR设备和所述第二候选VR设备上报给所述服务设备;
所述服务设备将所述第一候选VR设备作为所述第一目标VR设备,将所述第二候选VR设备作为所述第二目标VR设备;
所述虚拟游戏配置设备检测所述待选虚拟游戏集合中被选中的待选虚拟游戏,以及采集第一认证声音信号以及采集发出所述第一认证声音信号的人员对应的第一人像,以及采集第二认证声音信号以及采集发出所述第二认证声音信号的人员对应的第二人像;
所述虚拟游戏配置设备判断所述第一人像包含的第一人脸图像是否与所述服务设备预先配置的会员A的人脸图像相匹配,以及第二人像包含的第二人脸图像是否与所述服务设备预先配置的会员B的人脸图像相匹配;其中,所述会员A的人脸图像与所述会员B的人脸图像的不同;
若所述第一人像包含的第一人脸图像与所述会员A的人脸图像相匹配,以及所述第二人像包含的第二人脸图像与所述会员B的人脸图像相匹配,所述虚拟游戏配置设备将所述被选中的待选虚拟游戏的标识、所述第一认证声音信号以及所述第二认证声音信号一并上报给所述服务设备;
所述服务设备将所述被选中的待选虚拟游戏作为所述目标虚拟游戏,并对所述第一认证声音信号以及所述第二认证声音信号进行合成得到验证声音信号;
所述服务设备将所述验证声音信号与所述目标虚拟游戏进行关联。
3.根据权利要求2所述的基于双VR设备的虚拟游戏快速启动方法,其特征在于,所述虚拟游戏配置设备判断出所述第一人像包含的第一人脸图像与所述会员A的人脸图像相匹配,以及所述第二人像包含的第二人脸图像与所述会员B的人脸图像相匹配之后,以及所述虚拟游戏配置设备将所述被选中的待选虚拟游戏的标识、所述第一认证声音信号以及所述第二认证声音信号一并上报给所述服务设备之前,所述方法还包括:
所述虚拟游戏配置设备利用人像属性算法对所述第一人像进行前向计算,得到所述第一人像的属性信息;利用所述人像属性算法对所述第二人像进行前向计算,得到所述第二人像的属性信息;
所述虚拟游戏配置设备判断所述第一人像的属性信息是否与所述服务设备预先配置的所述会员A的属性信息相匹配,以及所述第二人像的属性信息是否与所述服务设备预先配置的所述会员B的属性信息相匹配;
若所述第一人像的属性信息与所述会员A的属性信息相匹配以及所述第二人像的属性信息与所述会员B的属性信息相匹配,所述虚拟游戏配置设备执行所述的将所述被选中的待选虚拟游戏的标识、所述第一认证声音信号以及所述第二认证声音信号一并上报给所述服务设备的步骤;
其中,所述人像属性算法是基于多个样本人像图像以及所述多个样本人像图像的多个属性信息的识别结果按照属性信息的不同类型进行训练得到;其中,所述属性信息包括年龄、性别以及身高。
4.根据权利要求3所述的基于双VR设备的虚拟游戏快速启动方法,其特征在于,所述人像属性算法通过以下方式训练得到,即:
所述虚拟游戏配置设备读取预先录入的样本人像数据,每个样本人像数据中包含样本人像图像以及样本人像图像的多个属性信息;
所述虚拟游戏配置设备从预先录入的样本人像图像中提取人像特征;
所述虚拟游戏配置设备根据初始模型中的不同属性信息对应的子模型对每个样本人像图像的人像特征进行前向计算,得到每个样本人像图像的多个属性信息的预测值;
所述虚拟游戏配置设备根据预测值与属性信息的值,按照属性信息的不同类型计算得到多个属性信息的损耗;
所述虚拟游戏配置设备将多个属性信息的损耗求和,得到多个属性信息的总损耗;
所述虚拟游戏配置设备对初始模型中的不同属性信息对应的子模型的参数进行调整,直到调整后的参数使得多个属性信息的总损耗小于或等于预设阈值时,停止调整得到人像属性算法;
其中,所述虚拟游戏配置设备根据预测值与属性信息的值,按照属性信息的不同类型计算得到多个属性信息的损耗,包括:
所述虚拟游戏配置设备对于多个属性信息中每一个属性信息,若所述属性信息为回归属性,按照如下公式对所述属性信息的预测值和属性信息的值进行计算,得到所述属性信息的损耗:
其中,s表示所述属性信息在多个属性信息中的编号,表示初始模型计算得到的预测值,表示所述属性信息的值,i表示回归维度,j表示回归维度的标,L表示所述属性信息对应的损耗。
5.根据权利要求1-4任一项所述的基于双VR设备的虚拟游戏快速启动方法,其特征在于,所述服务设备对所述第一现场声音信号以及所述第二现场声音信号进行合成得到现场合成声音信号,包括:
所述服务设备确定所述第一现场声音信号与所述第二现场声音信号之间的对齐点;其中,所述对齐点是指所述第一现场声音信号和所述第二现场声音信号合成的开始位置;
所述服务设备根据所述对齐点将所述第一现场声音信号与所述第二现场声音信号合成为现场合成声音信号。
6.根据权利要求5所述的基于双VR设备的虚拟游戏快速启动方法,其特征在于,所述服务设备确定所述第一现场声音信号与所述第二现场声音信号之间的对齐点,包括
所述服务设备计算所述第一现场声音信号的第一时长以及所述第二现场声音信号的第二时长;其中,所述第一时长表示所述第一现场声音信号的声音持续的时间;所述第二时长表示所述第二现场声音信号的声音持续的时间;
所述服务设备计算所述第一时长和所述第二时长之间的差值;
所述服务设备判断所述差值是否小于或等于预设数值,若是,对所述第一现场声音信号和所述第二现场声音信号中的任一现场声音信号进行周期上的缩放,以获得最终持续时长相同的第一现场声音信号和第二现场声音信号,再以所述最终持续时长相同的第一现场声音信号和第二现场声音信号的首个音频帧作为对齐点。
7.根据权利要求6所述的基于双VR设备的虚拟游戏快速启动方法,其特征在于,所述服务设备对所述第一现场声音信号和所述第二现场声音信号中的任一现场声音信号进行周期上的缩放,包括:
若所述第一现场声音信号的第一时长相对于所述第二现场声音信号的第二时长较短,所述服务设备根据所述差值确定所述差值占所述第一现场声音信号的第一时长的比例X;
所述服务设备计算所述第一现场声音信号的音频帧数Y;
所述服务设备计算放大系数Z,所述Z=X*(Y/(Y-1));
所述服务设备按照所述放大系数,对所述第一现场声音信号中除了首个音频帧之外的其他音频帧进行等比例放大,以使得放大后的第一现场声音信号的最终持续时长与所述第二现场声音信号的第二时长相同。
8.根据权利要求6或7所述的基于双VR设备的虚拟游戏快速启动方法,其特征在于,若所述差值大于所述预设数值,所述方法还包括:
所述服务设备使用相同的默认采样频率对所述第一现场声音信号以及所述第二现场声音信号分别进行采样,得到第一采样组和第二采样组;
所述服务设备根据所述默认采样频率、所述第一采样组、所述第二采样组以及互相关权值生成互相关组;其中,所述互相关权值与所述差值正相关,所述互相关组中包含有多个数值;
所述服务设备将所述互相关组中的多个数值进行比较,找出最大的数值;
所述服务设备使用所述最大的数值对应的音频帧位置作为对齐点。
9.根据权利要求8所述的基于双VR设备的虚拟游戏快速启动方法,其特征在于,所述服务设备根据所述默认采样频率、所述第一采样组、所述第二采样组以及互相关权值生成互相关组,包括:
其中,Sn[t]表示互相关组,x[m]表示所述第一采样组中的第m个采样数据,y[m-t]表示所述第二采样组中的第(m-t)个采样数据,t表示时间的偏移量,t为整数,取值为从0到m,Wt表示窗函数,其中n=l*f,l为互相关权值,f为所述默认采样频率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810470492.9A CN108744498B (zh) | 2018-05-17 | 2018-05-17 | 一种基于双vr设备的虚拟游戏快速启动方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810470492.9A CN108744498B (zh) | 2018-05-17 | 2018-05-17 | 一种基于双vr设备的虚拟游戏快速启动方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108744498A true CN108744498A (zh) | 2018-11-06 |
CN108744498B CN108744498B (zh) | 2021-05-07 |
Family
ID=64008275
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810470492.9A Active CN108744498B (zh) | 2018-05-17 | 2018-05-17 | 一种基于双vr设备的虚拟游戏快速启动方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108744498B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109558853A (zh) * | 2018-12-05 | 2019-04-02 | 维沃移动通信有限公司 | 一种音频合成方法及终端设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006132276A1 (ja) * | 2005-06-08 | 2006-12-14 | Konami Digital Entertainment Co., Ltd. | ユーザ音声合成装置、仮想空間共有システム、コンピュータの制御方法及び情報記憶媒体 |
CN105678124A (zh) * | 2014-11-20 | 2016-06-15 | 华为终端(东莞)有限公司 | 一种提升终端安全性的装置及方法 |
CN106155621A (zh) * | 2015-04-20 | 2016-11-23 | 钰太芯微电子科技(上海)有限公司 | 可识别声源位置的关键词语音唤醒系统及方法及移动终端 |
US9824206B1 (en) * | 2016-09-29 | 2017-11-21 | International Business Machines Corporation | Eye gazing passcode generation crossing augmented reality (AR) and virtual reality (VR) devices |
CN107731223A (zh) * | 2017-11-22 | 2018-02-23 | 腾讯科技(深圳)有限公司 | 语音活性检测方法、相关装置和设备 |
-
2018
- 2018-05-17 CN CN201810470492.9A patent/CN108744498B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006132276A1 (ja) * | 2005-06-08 | 2006-12-14 | Konami Digital Entertainment Co., Ltd. | ユーザ音声合成装置、仮想空間共有システム、コンピュータの制御方法及び情報記憶媒体 |
CN105678124A (zh) * | 2014-11-20 | 2016-06-15 | 华为终端(东莞)有限公司 | 一种提升终端安全性的装置及方法 |
CN106155621A (zh) * | 2015-04-20 | 2016-11-23 | 钰太芯微电子科技(上海)有限公司 | 可识别声源位置的关键词语音唤醒系统及方法及移动终端 |
US9824206B1 (en) * | 2016-09-29 | 2017-11-21 | International Business Machines Corporation | Eye gazing passcode generation crossing augmented reality (AR) and virtual reality (VR) devices |
CN107731223A (zh) * | 2017-11-22 | 2018-02-23 | 腾讯科技(深圳)有限公司 | 语音活性检测方法、相关装置和设备 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109558853A (zh) * | 2018-12-05 | 2019-04-02 | 维沃移动通信有限公司 | 一种音频合成方法及终端设备 |
Also Published As
Publication number | Publication date |
---|---|
CN108744498B (zh) | 2021-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210183395A1 (en) | Method and system for automatically diarising a sound recording | |
Tao et al. | End-to-end audiovisual speech recognition system with multitask learning | |
US11218771B2 (en) | Calibration system for audience response capture and analysis of media content | |
Khalid et al. | Evaluation of an audio-video multimodal deepfake dataset using unimodal and multimodal detectors | |
US7046300B2 (en) | Assessing consistency between facial motion and speech signals in video | |
US11355099B2 (en) | Word extraction device, related conference extraction system, and word extraction method | |
JP2005532582A (ja) | 音響信号に音響クラスを割り当てる方法及び装置 | |
CN111312286A (zh) | 年龄识别方法、装置、设备及计算机可读存储介质 | |
Ronchini et al. | The impact of non-target events in synthetic soundscapes for sound event detection | |
CN108744498A (zh) | 一种基于双vr设备的虚拟游戏快速启动方法 | |
CN109344794B (zh) | 一种钢琴演奏评分方法、装置及计算机存储介质 | |
CN114333844A (zh) | 声纹识别方法、装置、介质及设备 | |
Kumar et al. | Audio-visual speech synchronization detection using a bimodal linear prediction model | |
US7039587B2 (en) | Speaker identification employing a confidence measure that uses statistical properties of N-best lists | |
CN108704310A (zh) | 一种双vr设备参与虚拟游戏时的虚拟场景同步切换方法 | |
CN108771864A (zh) | 一种双vr设备参与虚拟游戏pk前的虚拟场景配置方法 | |
CN108765653A (zh) | 一种电气设备接入的倒闸柜的柜门控制方法 | |
Imoto et al. | Acoustic scene classification using asynchronous multichannel observations with different lengths | |
Kumar et al. | Robust audio-visual speech synchrony detection by generalized bimodal linear prediction. | |
CN110737802B (zh) | 盗版视频检测方法、装置、电子设备及存储介质 | |
QIU et al. | HiddenTag: Enabling Person Identification Without Privacy Exposure | |
CN108847228A (zh) | 一种基于双人发声的空间机器人控制方法 | |
CN108766435A (zh) | 一种基于非触控式的空间机器人控制方法 | |
CN116434772A (zh) | 一种音频检测方法、检测装置以及存储介质 | |
CN114333846A (zh) | 发声者识别方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210419 Address after: Room 01, 15th floor, Poly International Center, 332 Guanshan Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province, 430000 Applicant after: WUHAN WEIPAI NETWORK TECHNOLOGY Co.,Ltd. Address before: 523073, room 35, No. three, Lane 403, Dongguan, Xiping, Guangdong Applicant before: DONGGUAN HUARUI ELECTRONIC TECHNOLOGY Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |