CN108647003B - 一种基于声控的虚拟场景互动方法和存储介质 - Google Patents

Abstract

本发明公开了一种基于声控的虚拟场景互动方法和存储介质，所述包括以下步骤：首先显示第一操控对象和第一文字信息，控制第一操控对象沿第一预设轨迹运动；而后根据第一文字信息中各个字符的时间戳信息实时调整各个字符的显示信息，以及根据各个字符的显示信息控制第一操控对象的显示坐标位置；而后接收演唱音频信息，根据演唱音频信息控制第一操控对象沿第二预设轨迹运动。上述方案将接收到的演唱音频信息与第一操控对象的控制相结合，使得用户可以通过输入不同的音频信息来控制第一操控对象的运动轨迹，从而实现了边唱歌边玩游戏的功能，既增加了演唱过程中的娱乐性，也解决了市面上声控游戏单调枯燥的问题。

Description

一种基于声控的虚拟场景互动方法和存储介质

技术领域

本发明涉及计算机交互应用领域，特别涉及一种基于声控的虚拟场景互动方法和存储介质。

背景技术

随着科技的发展和社会的进步，人们的生活水平得到了很大的提升，业余生活也变得越来越丰富。数字视听场所(例如，KTV、酒吧等)是当代人们休闲活动的重要场所之一。在KTV中，人们可以拿话筒K歌，尽情地释放自己，达到舒缓压力的目的。然而，现有的KTV场所中，显示屏中的画面往往只是显示当前演唱歌曲的MV，用户只能对MV的播放进度、播放音量等参数进行调节，显示画面本身与用户之间不存在任何交互，用户操作感不强，感官体验差。KTV场所中单纯的唱歌方式已经越来越无法满足大众需求，这也间接影响了KTV商家的收入。

发明内容

为此，需要提供一种基于声控的虚拟场景互动打的技术方案，用以解决现有单纯的唱歌方式无法满足大众需求、交互性不强、用户体验差等问题。

为实现上述目的，发明人提供了一种基于声控的虚拟场景互动方法，包括以下步骤：

显示第一操控对象和第一文字信息，控制第一操控对象沿第一预设轨迹运动；

根据第一文字信息中各个字符的时间戳信息实时调整各个字符的显示信息，以及根据各个字符的显示信息控制第一操控对象的显示坐标位置；所述显示信息包括字符对应的显示坐标位置；

接收演唱音频信息，根据演唱音频信息控制第一操控对象沿第二预设轨迹运动。

进一步地，所述方法还包括：建立3D坐标系，分别将游戏背景层、游戏元素层、特效层叠加显示，所述游戏背景层的显示内容为3D场景画面，所述控制对象层的显示内容为第一控制对象、第一文字信息或第一游戏对象；所述特效层的显示内容为特效显示效果。

进一步地，还包括以下步骤：

在第二预设轨迹方向上显示第一游戏对象，当第一操控对象与第一游戏对象坐标信息的差值小于预设坐标距离时，控制第一操控对象和第一游戏对象执行互动操作。

进一步地，控制第一操控对象和第一游戏对象执行互动操作包括：控制第一操控对象和第一游戏对象进行相互碰撞；或控制第一操控对象主动攻击第一游戏对象；或调整第一操控对象的坐标信息。

进一步地，在第二预设轨迹方向上显示第一游戏对象包括：根据演唱音频信息的音准信息，在第二预设轨迹方向上显示第一游戏对象。

进一步地，根据演唱音频信息控制第一操控对象沿第二预设轨迹运动包括：

检测当前演唱音频信息的音频属性信息，并将其与预设音频属性信息进行比较；或检测演唱音频的音准得分，将其与预算音准得分进行比较；或检测演唱音频的声纹得分，并将其与预设声纹得分进行比较；

根据比较结果控制第一操控对象沿第二预设轨迹运动；

所述音频属性信息包括音频的音量大小、音色或频率大小；所述音准得分为演唱音频的音准与对应标准音频的音准相似度值；所述声纹得分为演唱音频与对应的标准音频的声纹相似度值。

进一步地，所述音频属性信息为音量大小，所述方法包括：

当检测到当前演唱音频信息的音量大于预设音量阈值时，控制第一操控对象沿第二预设轨迹运动，并根据当前演唱音频信息的音量实时调整第一操控对象在第二预设轨迹方向上的运动速度。

进一步地，所述方法还包括：若检测到当前演唱音频信息的音量大于上一次沿第二预设轨迹运动的输入音量时，控制第一操控对象再次沿第二预设轨迹运动。

进一步地，所述根据各个字符的显示信息控制第一操控对象的显示坐标位置包括：

根据上一字符的显示位置、上一字符与下一字符的时间戳信息以及相邻两个字符之间的间距实时调整第一操控对象的显示坐标位置。

发明人还提供了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

显示第一操控对象和第一文字信息，控制第一操控对象沿第一预设轨迹运动；

根据第一文字信息中各个字符的时间戳信息实时调整各个字符的显示信息，以及根据各个字符的显示信息控制第一操控对象的显示坐标位置；所述显示信息包括字符对应的显示坐标位置；

接收演唱音频信息，根据演唱音频信息控制第一操控对象沿第二预设轨迹运动。

进一步地，所述计算机程序被处理器执行时还实现以下步骤：

建立3D坐标系，分别将游戏背景层、游戏元素层、特效层叠加显示所述游戏背景层的显示内容为3D场景画面，所述控制对象层的显示内容为第一控制对象、第一文字信息或第一游戏对象；所述特效层的显示内容为特效显示效果。

进一步地，所述计算机程序被处理器执行时还实现以下步骤：

在第二预设轨迹方向上显示第一游戏对象，当第一操控对象与第一游戏对象坐标信息的差值小于预设坐标距离时，控制第一操控对象和第一游戏对象执行互动操作。

进一步地，所述控制第一操控对象和第一游戏对象执行互动操作包括：控制第一操控对象和第一游戏对象进行相互碰撞；或控制第一操控对象主动攻击第一游戏对象；或调整第一操控对象的坐标信息。

进一步地，所述在第二预设轨迹方向上显示第一游戏对象包括：根据演唱音频信息的音准信息，在第二预设轨迹方向上显示第一游戏对象。

进一步地，所述根据演唱音频信息控制第一操控对象沿第二预设轨迹运动包括：

检测当前演唱音频信息的音频属性信息，并将其与预设音频属性信息进行比较；或检测演唱音频的音准得分，将其与预算音准得分进行比较；或检测演唱音频的声纹得分，并将其与预设声纹得分进行比较；

根据比较结果控制第一操控对象沿第二预设轨迹运动；

所述音频属性信息包括音频的音量大小、音色或频率大小；所述音准得分为演唱音频的音准与对应标准音频的音准相似度值；所述声纹得分为演唱音频与对应的标准音频的声纹相似度值。

进一步地，所述音频属性信息为音量大小，

当检测到当前演唱音频信息的音量大于预设音量阈值时，控制第一操控对象沿第二预设轨迹运动，并根据当前演唱音频信息的音量实时调整第一操控对象在第二预设轨迹方向上的运动速度。

进一步地，若检测到当前演唱音频信息的音量大于上一次沿第二预设轨迹运动的输入音量时，控制第一操控对象再次沿第二预设轨迹运动。

进一步地，所述根据各个字符的显示信息控制第一操控对象的显示坐标位置包括：

根据上一字符的显示位置、上一字符与下一字符的时间戳信息以及相邻两个字符之间的间距实时调整第一操控对象的显示坐标位置。

区别于现有技术，上述技术方案所述的基于声控的虚拟场景互动方法和存储介质，所述包括以下步骤：首先显示第一操控对象和第一文字信息，控制第一操控对象沿第一预设轨迹运动；而后根据第一文字信息中各个字符的时间戳信息实时调整各个字符的显示信息，以及根据各个字符的显示信息控制第一操控对象的显示坐标位置；而后接收演唱音频信息，根据演唱音频信息控制第一操控对象沿第二预设轨迹运动。上述方案将接收到的演唱音频信息与第一操控对象的控制相结合，使得用户可以通过输入不同的音频信息来控制第一操控对象的运动轨迹，从而实现了边唱歌边玩游戏的功能，既增加了演唱过程中的娱乐性，也解决了市面上声控游戏单调枯燥的问题。

附图说明

图1为本发明一实施方式涉及的基于声控的虚拟场景互动方法的流程图；

图2为本发明一实施方式涉及的基于声控的虚拟场景互动方法的应用过程的示意图；

图3为本发明另一实施方式涉及的基于声控的虚拟场景互动方法的应用过程的示意图。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

请参阅图1，为本发明一实施方式涉及的基于声控的虚拟场景互动方法的流程图。所述方法包括以下步骤包括以下步骤：

首先进入步骤S101显示第一操控对象和第一文字信息，控制第一操控对象沿第一预设轨迹运动。

所述第一操控对象为玩家操作的对象，在本实施方式中，玩家为演唱者，即输入音频信息的用户；第一操控对象可以为事先设定好的图像，如卡通人物、自定义形状等。演唱者可以通过输入不同的音频信息，对第一操控对象进行控制。第一操控对象在显示画面中的显示位置可以根据实际需要进行设定。优选的，为了更加符合用户的感官，第一操控对象设置于歌词的上方，始终处于显示画面中部或者中部偏右的位置。游戏画面实时进行更新，沿第一操控对象移动方向的反方向进行变化。

在实际应用过程中，玩家控制的第一操控对象置身于虚拟场景中，虚拟场景的构建过程为：建立3D坐标系，分别将游戏背景层、游戏元素层、特效层叠加显示，所述游戏背景层的显示内容为3D场景画面，所述控制对象层的显示内容为第一控制对象、第一文字信息或第一游戏对象；所述特效层的显示内容为特效显示效果。其中，虚拟场景在X方向具有无限空间，随着第一操控对象的移动相对运动，游戏背景层、游戏元素层、特效层可以按照预制、或随机、或触发等机制实时生成，并传输给显示屏进行显示，生成游戏画面(即虚拟场景)。所述特效层为游戏过程中第一操控对象与第一游戏对象的互动特效显示层，例如第一操控对象为卡通人物，第一游戏对象为苹果，当玩家控制的卡通人物吃到水果时，游戏画面中将出现礼花特效等。

所述第一文字信息为歌词文字信息，通常显示在显示界面的底部位置，第一文字信息会随着时间的推移而不断变化，通常第一文字信息的播放进度与正在播放的曲目的进度相一致。

第一预设轨迹可以根据实际需要进行设定，为了使得显示画面的变化与第一操控对象的移动更加协调，在本实施方式中，第一预设轨迹方向为水平方向(即X轴方向)。第一操控对象可以沿着第一预设轨迹保持匀速运动或非匀速运动，为了使得第一操控对象的移动更加符合人眼习惯，在本实施方式中，第一操控对象沿第一预设轨迹运动的方式为匀速运动。为了保证游戏的公平性，在不同节奏的播放歌曲中，第一操控对象的移动速度始终保持一致。

而后进入步骤S102根据第一文字信息中各个字符的时间戳信息实时调整各个字符的显示信息，以及根据各个字符的显示信息控制第一操控对象的显示坐标位置；所述显示信息包括字符对应的显示坐标位置。

对于一首歌的歌词而言，其通过由多个字符组成，每个字符都有其对应的时间戳信息，所述字符可以为汉字、字母、数字等。时间戳信息包括字符开始播放时间点以及字符持续播放的时间，即时间戳信息记载了每个字符从什么时间点开始唱、需要唱多久的相关信息。

为了保证演唱者的视线始终聚焦在显示画面的同一个位置，且演唱者聚焦的位置上的字符又是当前播放进度对应的字符，需要对歌词文字信息中各个字符之间的距离进行动态调整，即实时调整各个字符的显示信息。具体地，相邻字符之间的距离可以采用以下公式进行调整：

delta(n).x＝speed*(start_time(n)-start_time(n-1))；

其中，delta(n).x为第n个字符与前一个字符的字间距，speed为第一操控对象的运动速度(通常为匀速，非匀速情况则取平均速度)，start_time(n)为第n个字符开始播放时间点。优选的，为了保证各个字符在显示过程中不相互重叠覆盖，当计算得到的字符间距小于单个字符的长度时，则将计算得到的字符间距赋值为单个字符长度，即令delta.x＝单个字符长度，从而适应某些曲目中各个字符的持续播放时间短暂，字符间距过短导致字符显示时相互覆盖的情况。

为了使演唱者能够跟上当前播放的歌曲进度，需要对正在播放字符添加一定的提示信息，通常的做法是改变字符的显示颜色，例如将还未播放的字符显示为白色，将已经播放过的字符显示为蓝色，即对歌词进行“描蓝”处理。具体地，描蓝进度(为反应未播放字符占比物理量)可以采用以下公式进行计算：

p(n)＝(t–start_time(n))/(end_time(n)–start_time(n))*100％

start_time(n)≤t≤end_time(n)；

其中，t为歌曲播放的总时间，p(n)为描蓝进度，start_time(n)表示第n个字符(即正在执行描蓝处理的字符)开始播放时间点，end_time(n)表示第n个字符(即正在执行描蓝处理的字符)结束播放的时间点。若t>end_time(n)，则p(n)＝100％，表示当前歌曲已经播放完成。

为了使得描蓝处理过程与第一操控对象的运动协调一致，在本实施方式中，第一预设轨迹方向为X轴方向，描蓝处理的方向也为X轴方向，优选为自左向右对歌词中的各个字符依次进行描蓝处理。

假设第一操控对象从左向右沿X轴方向运动，为保证第一操控对象在显示画面中的显示位置始终与歌曲进度同步，需要根据歌曲播放进度实时调整第一操控对象的显示位置，而非单独根据全局速度计算位置(单独根据速全局度计算第一操控对象的显示位置会导致播放出现暂停或卡顿时，第一操控对象的显示位置与描蓝位置发生错乱，影响用户的感官体验)。在本实施方式中，根据各个字符的显示信息控制第一操控对象的显示坐标位置包括：根据上一字符的显示位置、上一字符与下一字符的时间戳信息以及相邻两个字符之间的间距实时调整第一操控对象的显示坐标位置。

具体地，第一操控对象的显示坐标位置的计算公式如下：

pos(n).x＝pos(n-1).x+delta(n).x*(time(n)–time(n-1))/(start_time(n)-start_time(n-1))。即，当前显示坐标位置＝前一次坐标显示位置+当前字符间距*(两次计算的时间差/当前字符和下一个字符的时间差)。

而后进入步骤S103接收演唱音频信息，根据演唱音频信息控制第一操控对象沿第二预设轨迹运动。在本实施方式中，所述第二预设轨迹方向垂直于第一预设轨迹方向，例如第一预设轨迹方向为X轴方向(即水平方向)，则可以将第二预设轨迹方向设定为Y轴方向(即竖直方向)。

为了进一步丰富演唱过程的娱乐性，将演唱与游戏更好地融合在一起，在本实施方式中，所述方法还包括步骤：在第二预设轨迹方向上显示第一游戏对象，当第一操控对象与第一游戏对象坐标信息的差值小于预设坐标距离时，控制第一操控对象和第一游戏对象执行互动操作。

优选的，控制第一操控对象和第一游戏对象执行互动操作包括：控制第一操控对象和第一游戏对象进行相互碰撞；或控制第一操控对象主动攻击第一游戏对象；或调整第一操控对象的坐标信息。

如图2所示，中间歌词上方的人物为第一操控对象，人物上方的苹果为第一游戏对象，第一操控对象沿水平方向自左向右运动，当检测到音频输入信息满足一定条件时，可以控制人物沿Y轴方向(垂直)跳跃，当跳跃到一定高度，人物(第一操控对象)与苹果(第一游戏对象)的坐标信息的差值小于预设坐标距离时，人物和苹果执行互动操作。例如人物撞击“苹果”或人物踩踏“乌龟”，从而获得一定的人物属性加成。在另一些实施例中，第一游戏对象也可以被设计为“怪兽”形象，当检测到音频输入信息满足一定条件，人物沿Y轴方向(垂直)跳跃，人物(第一操控对象)与怪兽(第一游戏对象)的坐标信息的差值小于预设坐标距离时，可以控制人物对怪兽进行攻击，如发射子弹操作等，丰富演唱过程的娱乐性，提升用户体验。在其他实施例中，第一游戏对象还可以被设计为障碍物、坑道或陷阱等，当第一操控对象与第一游戏对象坐标信息的差值小于预设坐标距离时，即玩家未能通过演唱音频信息完成对人物的及时起跳，第一操控对象的坐标信息将被改变，如掉入坑道。

在本实施方式中，在第二预设轨迹方向上显示第一游戏对象包括：根据演唱音频信息的音准信息，在第二预设轨迹方向上显示第一游戏对象。考虑到游戏的娱乐性，奖励和障碍(即第一游戏对象)应该相对均匀且随机地分布在整首歌曲的不同位置，而非集中在开头一段或者结尾一段。综合以上两点，需要对歌曲时长进行分片计算，规定每个时间片段内只允许出现预设数量(如1个)奖励/障碍，并且单个时间片段内奖励/障碍随机出现。为了进一步提升游戏体验，可以将第一游戏对象设置于高音区，即音准信息中记载的音量较大(例如，音量为80分贝)的字符上方位置。同时，为了适应不同播放长度歌曲需求，优选的将所有的歌曲中障碍、奖励个数均设置为一致，从而保持游戏公平性。

当然，在某些实施例中，在第一预设轨迹运动方向上还设置有第二游戏对象，第二游戏对象的显示位置可以根据实际需要进行设定。演唱者也可以根据输入不同的演唱音频信息，控制第一操控对象与第二游戏对象进行互动。优选的，第一操控对象与第二游戏对象互动的方式、第二游戏对象的设定位置与第一游戏对象相似，此处不再赘述。

在本实施方式中，根据演唱音频信息控制第一操控对象沿第二预设轨迹运动包括：检测当前演唱音频信息的音频属性信息，并将其与预设音频属性信息进行比较；或检测演唱音频的音准得分，将其与预算音准得分进行比较；或检测演唱音频的声纹得分，并将其与预设声纹得分进行比较；根据比较结果控制第一操控对象沿第二预设轨迹运动；所述音频属性信息包括音频的音量大小、音色或频率大小；所述音准得分为演唱音频的音准与对应标准音频的音准相似度值；所述声纹得分为演唱音频与对应的标准音频的声纹相似度值。

简言之，第一操控对象是否沿第二预设轨迹运动可以通过以下方式中的任意一种或多种触发：(1)判断演唱音频信息的音量是否大于预设音量阈值，若是则触发，否则不触发；(2)判断演唱音频信息的音色与标准音色的匹配度是否大于预设匹配度阈值，若是则触发，否则不触发；所述标准音色可以是演唱曲目相对应歌星的音色信息；(3)判断演唱音频信息的频率大小与预设频率大小的匹配度是否大于预设匹配度阈值，若是则触发，否则不触发。这样，通过上述方案可以使得用户对第一操控对象的控制方式更具多样性，有效提升了用户体验。

在实际应用过程中，考虑到用户边唱歌边玩游戏，如果用户发出的所有声音都会对第一操控对象进行控制，势必会影响到用户的游戏体验，因而需要对第一操控对象的控制设定一定的条件。具体地，可以通过设定音量阈值，将采集到的演唱音频信息与音量阈值实时进行比较，完成对第一操控对象的坐标控制。具体包括：当检测到当前演唱音频信息的音量大于预设音量阈值时，控制第一操控对象沿第二预设轨迹运动，并根据当前演唱音频信息的音量实时调整第一操控对象在第二预设轨迹方向上的运动速度。

优选的，第一操控对象在跳跃过程中(即沿第二预设轨迹运动过程中)，受到虚拟场景中设定的重力影响，其跳跃到一定的高度后会转而下降，第一操控对象的起跳速度越大，跳得也就越高。第一操控对象的起跳速度可以采用如下公式进行计算：

起跳速度＝基础速度*(当前音量–预设阈值阈值)/最大音量；

其中，基础速度和最大音量可以根据实际需要进行设定，不同游戏界面中的基础速度可以有所不同，最大音量为人体发出声音的极限音量。

目前，市面上很多的声控游戏，应用程序本身接收的参数只有一个维度，也就是音量大小，这使得玩家对操控角色的控制方式比较单调，往往是音量达到预设阈值就进行互动操作。然而，在实际应用过程中，用户在对操控角色进行控制时，往往会遇到以下情况：例如因为输入音量达不到预期导致操控角色跳跃高度不够，此时用户往往会下意识加大输出音量，以期望操控角色能够在空中完成接力，在原有跳跃高度的基础上更上一层楼；再如当操控角色在下落过程中下落速度过快时，用户往往也会意识加大输出音量，以期望操控角色减慢下降速度。基于以上考虑，以沿第二预设轨迹方向为Y轴方向为例，本发明设计了多段跳算法和降速算法，具体内容如下：

(1)多段跳算法：当演唱音频信息的音量超过预设音量阈值时，则控制操控角色(即第一操控对象)进行跳跃，跳跃速度可以用如下公式表示：

跳跃速度1＝基础速度*(输入音量-音量阈值)/最大音量；

当操控角色已跳跃一定高度时，若检测到当前演唱音频信息的音量大于上一次起跳时的跳跃音量，则控制操控角色继续执行向上跳跃操作，继续跳跃的速度可以用如下公式表示：

跳跃速度2＝基础速度*(当前音量-上次跳跃音量)/最大音量；

这样，当演唱音频信息的音量持续升高时，就可以触发操控角色连续向上的多段跳跃。由于向上起跳的跳跃速度随着音量增大逐渐减小，且音量有最大极限值，故跳跃高度值会收敛到一个极限值，避免超出显示弧面的场景范围。

(2)降速算法：当角色跳跃到一定高度，且检测到当前演唱音频信息的音量大小高于预设音量阈值但低于上一次跳跃音量时，则控制操控角色缓慢进行下降，给用户呈现一个类似于滑翔的效果。当检测到当前演唱音频信息的音量小于预设音量阈值时，则控制操控角色做自由落体运动，此时玩家为了减慢操控角色降落速度，可以通过加大音量输入来达到相应目的。

通过设计多段跳算法和降速算法，相较于单一的通过将音量大小与音量阈值比较来控制操控角色的方式，使得玩家对操控角色的操作更加灵活，更具交互性和娱乐性。

在某些实施例中，在第一预设轨迹方向上显示第二游戏对象，当第一操控对象与第一游戏对象坐标信息一致时，对第一操控对象对应的对象属性信息执行变更操作；当检测到第一操控对象对应的对象属性信息小于预设属性值时，显示提示信息。例如对象属性信息为操控角色的生命值，第一游戏对象为设置于一定高度的加分道具(如“苹果”)，当操控角色触碰到第一游戏对象后，其生命值将增加；反之，当第一游戏角色为陷阱、障碍物时，当操控角色触碰到障碍物或掉入陷阱时，其生命值将减少甚至归零。当操控角色的生命值归零后，将在显示画面中弹出提示信息告知用户。

如图3所示，当用户在演唱完成某个曲目时，本次演唱的分数将以二维码的形式呈现出来，用户通过扫描二维码的方式，可以将分数上传至云端进行排名打榜。演唱分数可以通过以下方式生成：(1)对演唱的音准、音色、音量设定一定的权重值，将演唱音频信息(即用户演唱音频)与演唱曲目的音频信息(包括歌曲的音准信息和音色信息等)进行比较，匹配度越高则演唱分数越高；(2)对玩家控制的操控角色的生命值也设定一定的权重值，将其也作为最终生成演唱分数的考虑因素之一。这样，通过竞争排名机制，能够有效激发玩家的演唱动力，提升交互体验。

为了避免用户用户篡改演唱分数进行刷榜，影响排名公平性，在KTV中玩家上传的演唱分数将通过多个通信工具进行上传。KTV场所的每个包厢设有点歌终端(机顶盒)和点歌屏，机顶盒可与云端直接通讯，或机顶盒通过场所的网关服务器与云端通讯；用户通过移动终端可与场所中的机顶盒通讯，移动终端还可以与云端直接通讯。玩家的演唱分数上传过程可以为：(1)移动终端通过微信扫码显示界面(包厢点歌屏显示)的演唱结果二维码，向云端发送通知获取分数；(2)云端向机顶盒请求分数；(3)机顶盒将加密后的分数发送给云端；(4)云端将解密后的分数参与排名；(5)云端将排名结果发送给移动终端和机顶盒进行显示。

发明人还提供了一种存储介质，所述存储介质中存储有计算机程序。所述的存储介质，包括但不限于：RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。所述计算机程序被处理器执行时实现以下步骤：

首先显示第一操控对象和第一文字信息，控制第一操控对象沿第一预设轨迹运动。

所述第一操控对象为玩家操作的对象，在本实施方式中，玩家为演唱者，即输入音频信息的用户；第一操控对象可以为事先设定好的图像，如卡通人物、自定义形状等。演唱者可以通过输入不同的音频信息，对第一操控对象进行控制。第一操控对象在显示画面中的显示位置可以根据实际需要进行设定。优选的，为了更加符合用户的感官，第一操控对象设置于歌词的上方，始终处于显示画面中部或者中部偏右的位置。游戏画面实时进行更新，沿第一操控对象移动方向的反方向进行变化。

所述第一文字信息为歌词文字信息，通常显示在显示界面的底部位置，第一文字信息会随着时间的推移而不断变化，通常第一文字信息的播放进度与正在播放的曲目的进度相一致。

第一预设轨迹可以根据实际需要进行设定，为了使得显示画面的变化与第一操控对象的移动更加协调，在本实施方式中，第一预设轨迹方向为水平方向(即X轴方向)。第一操控对象可以沿着第一预设轨迹保持匀速运动或非匀速运动，为了使得第一操控对象的移动更加符合人眼习惯，在本实施方式中，第一操控对象沿第一预设轨迹运动的方式为匀速运动。为了保证游戏的公平性，在不同节奏的播放歌曲中，第一操控对象的移动速度始终保持一致。

而后根据第一文字信息中各个字符的时间戳信息实时调整各个字符的显示信息，以及根据各个字符的显示信息控制第一操控对象的显示坐标位置；所述显示信息包括字符对应的显示坐标位置。

对于一首歌的歌词而言，其通过由多个字符组成，每个字符都有其对应的时间戳信息，所述字符可以为汉字、字母、数字等。时间戳信息包括字符开始播放时间点以及字符持续播放的时间，即时间戳信息记载了每个字符从什么时间点开始唱、需要唱多久的相关信息。

为了保证演唱者的视线始终聚焦在显示画面的同一个位置，且演唱者聚焦的位置上的字符又是当前播放进度对应的字符，需要对歌词文字信息中各个字符之间的距离进行动态调整，即实时调整各个字符的显示信息。具体地，相邻字符之间的距离可以采用以下公式进行调整：

delta(n).x＝speed*(start_time(n)-start_time(n-1))；

其中，delta(n).x为第n个字符与前一个字符的字间距，speed为第一操控对象的运动速度(通常为匀速，非匀速情况则取平均速度)，start_time(n)为第n个字符开始播放时间点。优选的，为了保证各个字符在显示过程中不相互重叠覆盖，当计算得到的字符间距小于单个字符的长度时，则将计算得到的字符间距赋值为单个字符长度，即令delta.x＝单个字符长度，从而适应某些曲目中各个字符的持续播放时间短暂，字符间距过短导致字符显示时相互覆盖的情况。

为了使演唱者能够跟上当前播放的歌曲进度，需要对正在播放字符添加一定的提示信息，通常的做法是改变字符的显示颜色，例如将还未播放的字符显示为白色，将已经播放过的字符显示为蓝色，即对歌词进行“描蓝”处理。具体地，描蓝进度(为反应未播放字符占比物理量)可以采用以下公式进行计算：

p(n)＝(t–start_time(n))/(end_time(n)–start_time(n))*100％

start_time(n)≤t≤end_time(n)；

其中，t为歌曲播放的总时间，p(n)为描蓝进度，start_time(n)表示第n个字符(即正在执行描蓝处理的字符)开始播放时间点，end_time(n)表示第n个字符(即正在执行描蓝处理的字符)结束播放的时间点。若t>end_time(n)，则p(n)＝100％，表示当前歌曲已经播放完成。

为了使得描蓝处理过程与第一操控对象的运动协调一致，在本实施方式中，第一预设轨迹方向为X轴方向，描蓝处理的方向也为X轴方向，优选为自左向右对歌词中的各个字符依次进行描蓝处理。

假设第一操控对象从左向右沿X轴方向运动，为保证第一操控对象在显示画面中的显示位置始终与歌曲进度同步，需要根据歌曲播放进度实时调整第一操控对象的显示位置，而非单独根据全局速度计算位置(单独根据速全局度计算第一操控对象的显示位置会导致播放出现暂停或卡顿时，第一操控对象的显示位置与描蓝位置发生错乱，影响用户的感官体验)。在本实施方式中，所述根据各个字符的显示信息控制第一操控对象的显示坐标位置包括：根据上一字符的显示位置、上一字符与下一字符的时间戳信息以及相邻两个字符之间的间距实时调整第一操控对象的显示坐标位置。

具体地，第一操控对象的显示坐标位置的计算公式如下：

pos(n).x＝pos(n-1).x+delta(n).x*(time(n)–time(n-1))/(start_time(n)-start_time(n-1))。即，当前显示坐标位置＝前一次坐标显示位置+当前字符间距*(两次计算的时间差/当前字符和下一个字符的时间差)。

而后接收演唱音频信息，根据演唱音频信息控制第一操控对象沿第二预设轨迹运动。在本实施方式中，所述第二预设轨迹方向垂直于第一预设轨迹方向，例如第一预设轨迹方向为X轴方向，则可以将第二预设轨迹方向设定为Y轴方向。

为了进一步丰富演唱过程的娱乐性，将演唱与游戏更好地融合在一起，在本实施方式中，所述计算机程序被处理器执行时还实现步骤：在第二预设轨迹方向上显示第一游戏对象，当第一操控对象与第一游戏对象坐标信息的差值小于预设坐标距离时，控制第一操控对象和第一游戏对象执行互动操作。

优选的，所述控制第一操控对象和第一游戏对象执行互动操作包括：控制第一操控对象和第一游戏对象进行相互碰撞；或控制第一操控对象主动攻击第一游戏对象；或调整第一操控对象的坐标信息。

如图2所示，中间歌词上方的人物为第一操控对象，人物上方的苹果为第一游戏对象，第一操控对象沿水平方向自左向右运动，当检测到音频输入信息满足一定条件时，可以控制人物沿Y轴方向(垂直)跳跃，当跳跃到一定高度，人物(第一操控对象)与苹果(第一游戏对象)的坐标信息的差值小于预设坐标距离时，人物和苹果执行互动操作。例如人物撞击“苹果”或人物踩踏“乌龟”，从而获得一定的人物属性加成。在另一些实施例中，第一游戏对象也可以被设计为“怪兽”形象，当检测到音频输入信息满足一定条件，人物沿Y轴方向(垂直)跳跃，人物(第一操控对象)与怪兽(第一游戏对象)的坐标信息的差值小于预设坐标距离时，可以控制人物对怪兽进行攻击，如发射子弹操作等，丰富演唱过程的娱乐性，提升用户体验。在其他实施例中，第一游戏对象还可以被设计为障碍物、坑道或陷阱等，当第一操控对象与第一游戏对象坐标信息的差值小于预设坐标距离时，即玩家未能通过演唱音频信息完成对人物的及时起跳，第一操控对象的坐标信息将被改变，如掉入坑道。

在本实施方式中，所述在第二预设轨迹方向上显示第一游戏对象包括：根据演唱音频信息的音准信息，在第二预设轨迹方向上显示第一游戏对象。考虑到游戏的娱乐性，奖励和障碍(即第一游戏对象)应该相对均匀且随机地分布在整首歌曲的不同位置，而非集中在开头一段或者结尾一段。综合以上两点，需要对歌曲时长进行分片计算，规定每个时间片段内只允许出现预设数量(如1个)奖励/障碍，并且单个时间片段内奖励/障碍随机出现。为了进一步提升游戏体验，可以将第一游戏对象设置于高音区，即音准信息中记载的音量较大(例如，音量为80分贝)的字符上方位置。同时，为了适应不同播放长度歌曲需求，优选的将所有的歌曲中障碍、奖励个数均设置为一致，从而保持游戏公平性。

当然，在某些实施例中，在第一预设轨迹运动方向上还设置有第二游戏对象，第二游戏对象的显示位置可以根据实际需要进行设定。演唱者也可以根据输入不同的演唱音频信息，控制第一操控对象与第二游戏对象进行互动。优选的，第一操控对象与第二游戏对象互动的方式、第二游戏对象的设定位置与第一游戏对象相似，此处不再赘述。

在本实施方式中，所述根据演唱音频信息控制第一操控对象沿第二预设轨迹运动包括：检测当前演唱音频信息的音频属性信息，并将其与预设音频属性信息进行比较；或检测演唱音频的音准得分，将其与预算音准得分进行比较；或检测演唱音频的声纹得分，并将其与预设声纹得分进行比较；根据比较结果控制第一操控对象沿第二预设轨迹运动；所述音频属性信息包括音频的音量大小、音色或频率大小；所述音准得分为演唱音频的音准与对应标准音频的音准相似度值；所述声纹得分为演唱音频与对应的标准音频的声纹相似度值。

简言之，第一操控对象是否沿第二预设轨迹运动可以通过以下方式中的任意一种或多种触发：(1)判断演唱音频信息的音量是否大于预设音量阈值，若是则触发，否则不触发；(2)判断演唱音频信息的音色与标准音色的匹配度是否大于预设匹配度阈值，若是则触发，否则不触发；所述标准音色可以是演唱曲目相对应歌星的音色信息；(3)判断演唱音频信息的频率大小与预设频率大小的匹配度是否大于预设匹配度阈值，若是则触发，否则不触发。这样，通过上述方案可以使得用户对第一操控对象的控制方式更具多样性，有效提升了用户体验。

在实际应用过程中，考虑到用户边唱歌边玩游戏，如果用户发出的所有声音都会对第一操控对象进行控制，势必会影响到用户的游戏体验，因而需要对第一操控对象的控制设定一定的条件。具体地，可以通过设定音量阈值，将采集到的演唱音频信息与音量阈值实时进行比较，完成对第一操控对象的坐标控制。具体包括：当检测到当前演唱音频信息的音量大于预设音量阈值时，控制第一操控对象沿第二预设轨迹运动，并根据当前演唱音频信息的音量实时调整第一操控对象在第二预设轨迹方向上的运动速度。

优选的，第一操控对象在跳跃过程中(即沿第二预设轨迹运动过程中)，受到虚拟场景中设定的重力影响，其跳跃到一定的高度后会转而下降，第一操控对象的起跳速度越大，跳得也就越高。第一操控对象的起跳速度可以采用如下公式进行计算：

起跳速度＝基础速度*(当前音量–预设阈值阈值)/最大音量；

其中，基础速度和最大音量可以根据实际需要进行设定，不同游戏界面中的基础速度可以有所不同，最大音量为人体发出声音的极限音量。

目前，市面上很多的声控游戏，应用程序本身接收的参数只有一个维度，也就是音量大小，这使得玩家对操控角色的控制方式比较单调，往往是音量达到预设阈值就进行互动操作。然而，在实际应用过程中，用户在对操控角色进行控制时，往往会遇到以下情况：例如因为输入音量达不到预期导致操控角色跳跃高度不够，此时用户往往会下意识加大输出音量，以期望操控角色能够在空中完成接力，在原有跳跃高度的基础上更上一层楼；再如当操控角色在下落过程中下落速度过快时，用户往往也会意识加大输出音量，以期望操控角色减慢下降速度。基于以上考虑，以沿第二预设轨迹方向为Y轴方向为例，本发明设计了多段跳算法和降速算法，具体内容如下：

(1)多段跳算法：当演唱音频信息的音量超过预设音量阈值时，则控制操控角色(即第一操控对象)进行跳跃，跳跃速度可以用如下公式表示：

跳跃速度1＝基础速度*(输入音量-音量阈值)/最大音量；

当操控角色已跳跃一定高度时，若检测到当前演唱音频信息的音量大于上一次起跳时的跳跃音量，则控制操控角色继续执行向上跳跃操作，继续跳跃的速度可以用如下公式表示：

跳跃速度2＝基础速度*(当前音量-上次跳跃音量)/最大音量；

这样，当演唱音频信息的音量持续升高时，就可以触发操控角色连续向上的多段跳跃。由于向上起跳的跳跃速度随着音量增大逐渐减小，且音量有最大极限值，故跳跃高度值会收敛到一个极限值，避免超出显示弧面的场景范围。

(2)降速算法：当角色跳跃到一定高度，且检测到当前演唱音频信息的音量大小高于预设音量阈值但低于上一次跳跃音量时，则控制操控角色缓慢进行下降，给用户呈现一个类似于滑翔的效果。当检测到当前演唱音频信息的音量小于预设音量阈值时，则控制操控角色做自由落体运动，此时玩家为了减慢操控角色降落速度，可以通过加大音量输入来达到相应目的。

通过设计多段跳算法和降速算法，相较于单一的通过将音量大小与音量阈值比较来控制操控角色的方式，使得玩家对操控角色的操作更加灵活，更具交互性和娱乐性。

本发明提供了一种基于声控的虚拟场景互动方法和存储介质，所述包括以下步骤：首先显示第一操控对象和第一文字信息，控制第一操控对象沿第一预设轨迹运动；而后根据第一文字信息中各个字符的时间戳信息实时调整各个字符的显示信息，以及根据各个字符的显示信息控制第一操控对象的显示坐标位置；而后接收演唱音频信息，根据演唱音频信息控制第一操控对象沿第二预设轨迹运动。上述方案将接收到的演唱音频信息与第一操控对象的控制相结合，使得用户可以通过输入不同的音频信息来控制第一操控对象的运动轨迹，从而实现了边唱歌边玩游戏的功能，既增加了演唱过程中的娱乐性，也解决了市面上声控游戏单调枯燥的问题。

需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。

Claims (12)

1.一种基于声控的虚拟场景互动方法，其特征在于，包括以下步骤：

显示第一操控对象和第一文字信息，控制第一操控对象沿第一预设轨迹运动；

根据第一文字信息中各个字符的时间戳信息实时调整各个字符的显示信息，以及根据各个字符的显示信息控制第一操控对象的显示坐标位置；所述显示信息包括字符对应的显示坐标位置；

接收演唱音频信息，根据演唱音频信息控制第一操控对象沿第二预设轨迹运动；

还包括以下步骤：

在第二预设轨迹方向上显示第一游戏对象，当第一操控对象与第一游戏对象坐标信息的差值小于预设坐标距离时，控制第一操控对象和第一游戏对象执行互动操作；

控制第一操控对象和第一游戏对象执行互动操作包括：控制第一操控对象和第一游戏对象进行相互碰撞；或控制第一操控对象主动攻击第一游戏对象；或调整第一操控对象的坐标信息。

2.如权利要求1所述的基于声控的虚拟场景互动方法，其特征在于，所述方法还包括：建立3D坐标系，分别将游戏背景层、游戏元素层、特效层叠加显示，所述游戏背景层的显示内容为3D场景画面，控制对象层的显示内容为第一控制对象、第一文字信息或第一游戏对象；所述特效层的显示内容为特效显示效果。

3.如权利要求1所述的基于声控的虚拟场景互动方法，其特征在于，在第二预设轨迹方向上显示第一游戏对象包括：根据演唱音频信息的音准信息，在第二预设轨迹方向上显示第一游戏对象。

4.如权利要求1至3任一项所述的基于声控的虚拟场景互动方法，其特征在于，根据演唱音频信息控制第一操控对象沿第二预设轨迹运动包括：

检测当前演唱音频信息的音频属性信息，并将其与预设音频属性信息进行比较；或检测演唱音频的音准得分，将其与预算音准得分进行比较；或检测演唱音频的声纹得分，并将其与预设声纹得分进行比较；

根据比较结果控制第一操控对象沿第二预设轨迹运动；

所述音频属性信息包括音频的音量大小、音色或频率大小；所述音准得分为演唱音频的音准与对应标准音频的音准相似度值；所述声纹得分为演唱音频与对应的标准音频的声纹相似度值。

5.如权利要求4所述的基于声控的虚拟场景互动方法，其特征在于，所述音频属性信息为音量大小，所述方法包括：

当检测到当前演唱音频信息的音量大于预设音量阈值时，控制第一操控对象沿第二预设轨迹运动，并根据当前演唱音频信息的音量实时调整第一操控对象在第二预设轨迹方向上的运动速度。

6.如权利要求5所述的基于声控的虚拟场景互动方法，其特征在于，所述方法还包括：若检测到当前演唱音频信息的音量大于上一次沿第二预设轨迹运动的输入音量时，控制第一操控对象再次沿第二预设轨迹运动。

7.如权利要求1所述的基于声控的虚拟场景互动方法，其特征在于，所述根据各个字符的显示信息控制第一操控对象的显示坐标位置包括：

根据上一字符的显示位置、上一字符与下一字符的时间戳信息以及相邻两个字符之间的间距实时调整第一操控对象的显示坐标位置。

8.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

显示第一操控对象和第一文字信息，控制第一操控对象沿第一预设轨迹运动；

根据第一文字信息中各个字符的时间戳信息实时调整各个字符的显示信息，以及根据各个字符的显示信息控制第一操控对象的显示坐标位置；所述显示信息包括字符对应的显示坐标位置；

接收演唱音频信息，根据演唱音频信息控制第一操控对象沿第二预设轨迹运动；

所述计算机程序被处理器执行时还实现以下步骤：

在第二预设轨迹方向上显示第一游戏对象，当第一操控对象与第一游戏对象坐标信息的差值小于预设坐标距离时，控制第一操控对象和第一游戏对象执行互动操作；

所述控制第一操控对象和第一游戏对象执行互动操作包括：控制第一操控对象和第一游戏对象进行相互碰撞；或控制第一操控对象主动攻击第一游戏对象；或调整第一操控对象的坐标信息。

9.如权利要求8所述的存储介质，其特征在于，所述计算机程序被处理器执行时还实现以下步骤：

建立3D坐标系，分别将游戏背景层、游戏元素层、特效层叠加显示所述游戏背景层的显示内容为3D场景画面，控制对象层的显示内容为第一控制对象、第一文字信息或第一游戏对象；所述特效层的显示内容为特效显示效果。

10.如权利要求8至9任一项所述的存储介质，其特征在于，所述根据演唱音频信息控制第一操控对象沿第二预设轨迹运动包括：

检测当前演唱音频信息的音频属性信息，并将其与预设音频属性信息进行比较；或检测演唱音频的音准得分，将其与预算音准得分进行比较；或检测演唱音频的声纹得分，并将其与预设声纹得分进行比较；

根据比较结果控制第一操控对象沿第二预设轨迹运动；

所述音频属性信息包括音频的音量大小、音色或频率大小；所述音准得分为演唱音频的音准与对应标准音频的音准相似度值；所述声纹得分为演唱音频与对应的标准音频的声纹相似度值。

11.如权利要求10所述的存储介质，其特征在于，所述音频属性信息为音量大小，

当检测到当前演唱音频信息的音量大于预设音量阈值时，控制第一操控对象沿第二预设轨迹运动，并根据当前演唱音频信息的音量实时调整第一操控对象在第二预设轨迹方向上的运动速度。

12.如权利要求11所述的存储介质，其特征在于，所述根据各个字符的显示信息控制第一操控对象的显示坐标位置包括：

根据上一字符的显示位置、上一字符与下一字符的时间戳信息以及相邻两个字符之间的间距实时调整第一操控对象的显示坐标位置。

Images