CN117579979B - 游戏全景声的生成方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及音频技术领域，公开了一种游戏全景声的生成方法、装置、设备及存储介质。该方法包括：获取目标用户在目标游戏的游戏空间音频和游戏运行数据，并基于游戏运行数据，提取游戏空间音频多重音频要素的音频要素特征；基于音频要素特征，生成各音频要素对应的二维音频特征，并基于前置音响模块和后置音响模块，将二维音频特征转换为对应音响单元的多个三维播放音频；通过前置音响模块和后置音响模块对三维播放音频进行音频播放，生成目标游戏的游戏全景声，其中，后置音响模块布置于目标用户的颈部位置，前置音响模块布置于目标用户的前方。本申请提高了音频音响等设备对游戏音频的三维全景声音的输出效果。

Description

游戏全景声的生成方法、装置、设备及存储介质

技术领域

本发明涉及音频技术领域，尤其涉及一种游戏全景声的生成方法、装置、设备及存储介质。

背景技术

随着游戏技术和终端设备技术等的发展，游戏玩家对于游戏的体验和要求也越来越高。部分游戏玩家开始在听觉、视觉、触感等方面进行游戏体验的改进，其中，空间音频技术是一种使用户通过转动头部等操作能感受到身临其境的环绕声体验的技术，它可以极大的增加用户动作类、射击类等的游戏体验，对此，如何使得用户能听到更高保真度和空间立体感的游戏音频成为一个亟需解决的问题。

现今，服务商或者用户基于房间的空间布局，通过利用多个音响设备来在该房间多个空间位置上布置对应的音响设备，使得布置后的音响设备组成相应的多声道空间结构，在用户游戏、听歌等能够提高音频的三维空间立体感，从而提高用户的听觉体验。但是，这种方式并不能很好的区分音频中的全景声音，使得各种类型的音频区别性较低，影响用户一定的游戏体验，即现有音频音响等设备对游戏音频的全景声音的输出效果较差。

发明内容

本发明的主要目的在于解决有音频音响等设备对游戏音频的全景声音的输出效果较差的问题。

本发明第一方面提供了一种游戏全景声的生成方法，所述生成方法应用于游戏全景声的生成系统，所述游戏全景声的生成系统报包括至少一个前置音响模块和至少一个后置音响模块，所述生成方法包括： 获取目标用户在目标游戏的游戏空间音频和游戏运行数据，并基于所述游戏运行数据，提取所述游戏空间音频多重音频要素的音频要素特征；基于所述音频要素特征，生成各所述音频要素对应的二维音频特征，并基于所述前置音响模块和所述后置音响模块，将所述二维音频特征转换为对应音响单元的多个三维播放音频；通过所述前置音响模块和所述后置音响模块对所述三维播放音频进行音频播放，生成所述目标游戏的游戏全景声，其中，所述后置音响模块布置于所述目标用户的颈部位置，所述前置音响模块布置于所述目标用户的前方。

可选的，在本发明第一方面的第一种实现方式中，所述音频要素特征包括背景音频特征、空间音频特征和角色音频特征，所述基于所述游戏运行数据，提取所述游戏空间音频多重音频要素的音频要素特征，包括：基于所述游戏运行数据，提取所述游戏空间音频对应游戏模式的背景音频特征；基于所述游戏运行数据，识别所述目标游戏的空间虚拟环境，并基于所述空间虚拟环境，提取所述游戏空间音频中的空间音频特征；基于所述游戏运行数据，识别所述目标游戏在当前预设时序内的至少一个游戏角色，并提取所述游戏空间音频中所述游戏角色的角色音频特征。

可选的，在本发明第一方面的第二种实现方式中，所述基于所述游戏运行数据，提取所述游戏空间音频对应游戏模式的背景音频特征，包括：基于所述游戏运行数据，识别所述目标用户的游戏模式，并基于预设背景特征数据库，匹配所述游戏模式的多种背景音频标签；按照预设背景划分角度，对所述游戏空间音频进行多角度音频的划分，得到音频划分结果；基于所述背景音频标签，分别计算出所述音频划分结果中各位角度的背景置信度，以及提取所述音频划分结果中各位角度初始的背景音频特征，并选取所述背景置信度中超过预设阈值对应角度的最终的背景音频特征。

可选的，在本发明第一方面的第三种实现方式中，所述基于所述空间虚拟环境，提取所述游戏空间音频中的空间音频特征，包括：基于所述空间虚拟环境，提取所述游戏空间音频中预设音频划分通道的多个通道音频特征；基于所述通道音频特征，提取出所述空间虚拟环境中各通道边界的二维音频特征；基于预设的多个空间参数，对所述二维音频特征进行对应空间参数的特征映射，得到所述游戏空间音频中的空间音频特征。

可选的，在本发明第一方面的第四种实现方式中，所述基于所述游戏运行数据，识别所述目标游戏在当前预设时序时段的至少一个游戏角色，并提取所述游戏空间音频中所述游戏角色的角色音频特征，包括：基于所述游戏运行数据，确定所述目标用户当前游戏画面的空间坐标原点，并基于空间坐标原点，检测在当前预设时序时段所述目标游戏的至少一个游戏角色，以及确定各所述游戏角色的角色移动轨迹；基于所述游戏角色，对所述游戏空间音频进行多个时序对应角色移动轨迹的角色音频标记，得到角色音频特征。

可选的，在本发明第一方面的第五种实现方式中，所述基于所述音频要素特征，生成各所述音频要素对应的二维音频特征，包括：基于所述游戏运行数据，确定所述目标游戏的游戏对战状态，并基于所述游戏对战状态，分别确定各所述音频要素的要素权要值，以及计算出各所述音频要素对应的特征零均值和特征方差；基于所述特征零均值和所述特征方差，构建出所述音频要素的音频特征矩阵；基于所述要素权要值，对所述音频特征矩阵进行对应音频要素的主成分映射，得到二维音频特征。

可选的，在本发明第一方面的第六种实现方式中，所述基于所述前置音响模块和所述后置音响模块，将所述二维音频特征转换为对应音响单元的多个三维播放音频，包括：基于所述前置音响模块和所述后置音响模块，配置所述二维音频特征对应管线的音响单元；基于所述角色移动轨迹，对所述二维音频特征进行对应音响单元的三维特征映射，得到各所述音响单元对应的多个三维播放音频。

本发明第二方面提供了一种游戏全景声的生成装置，所述生成装置应用于游戏全景声的生成系统，其特征在于，所述游戏全景声的生成系统报包括至少一个前置音响模块和至少一个后置音响模块，所述生成装置包括：要素提取模块，用于获取目标用户在目标游戏的游戏空间音频和游戏运行数据，并基于所述游戏运行数据，提取所述游戏空间音频多重音频要素的音频要素特征；音频转换模块，用于基于所述音频要素特征，生成各所述音频要素对应的二维音频特征，并基于所述前置音响模块和所述后置音响模块，将所述二维音频特征转换为对应音响单元的多个三维播放音频；音质生成模块，用于通过所述前置音响模块和所述后置音响模块对所述三维播放音频进行音频播放，生成所述目标游戏的游戏全景声，其中，所述后置音响模块布置于所述目标用户的颈部位置，所述前置音响模块布置于所述目标用户的前方。

可选的，在本发明第二方面的第一种实现方式中，所述要素提取模块包括：背景音频单元，用于基于所述游戏运行数据，提取所述游戏空间音频对应游戏模式的背景音频特征；空间音频单元，用于基于所述游戏运行数据，识别所述目标游戏的空间虚拟环境，并基于所述空间虚拟环境，提取所述游戏空间音频中的空间音频特征；角色音频单元，用于基于所述游戏运行数据，识别所述目标游戏在当前预设时序内的至少一个游戏角色，并提取所述游戏空间音频中所述游戏角色的角色音频特征。

可选的，在本发明第二方面的第二种实现方式中，所述背景音频单元包括：基于所述游戏运行数据，识别所述目标用户的游戏模式，并基于预设背景特征数据库，匹配所述游戏模式的多种背景音频标签；按照预设背景划分角度，对所述游戏空间音频进行多角度音频的划分，得到音频划分结果；基于所述背景音频标签，分别计算出所述音频划分结果中各位角度的背景置信度，以及提取所述音频划分结果中各位角度初始的背景音频特征，并选取所述背景置信度中超过预设阈值对应角度的最终的背景音频特征。

可选的，在本发明第二方面的第三种实现方式中，所述空间音频单元包括：基于所述空间虚拟环境，提取所述游戏空间音频中预设音频划分通道的多个通道音频特征；基于所述通道音频特征，提取出所述空间虚拟环境中各通道边界的二维音频特征；基于预设的多个空间参数，对所述二维音频特征进行对应空间参数的特征映射，得到所述游戏空间音频中的空间音频特征。

可选的，在本发明第二方面的第四种实现方式中，所述角色音频单元包括：基于所述游戏运行数据，确定所述目标用户当前游戏画面的空间坐标原点，并基于空间坐标原点，检测在当前预设时序时段所述目标游戏的至少一个游戏角色，以及确定各所述游戏角色的角色移动轨迹；基于所述游戏角色，对所述游戏空间音频进行多个时序对应角色移动轨迹的角色音频标记，得到角色音频特征。

可选的，在本发明第二方面的第五种实现方式中，所述音频转换模块包括：权要确定单元，用于基于所述游戏运行数据，确定所述目标游戏的游戏对战状态，并基于所述游戏对战状态，分别确定各所述音频要素的要素权要值，以及计算出各所述音频要素对应的特征零均值和特征方差；矩阵构建单元，用于基于所述特征零均值和所述特征方差，构建出所述音频要素的音频特征矩阵；特征映射单元，用于基于所述要素权要值，对所述音频特征矩阵进行对应音频要素的主成分映射，得到二维音频特征。

可选的，在本发明第二方面的第六种实现方式中，所述音频转换模块还包括：音响配置单元，用于基于所述前置音响模块和所述后置音响模块，配置所述二维音频特征对应管线的音响单元；二维映射单元，用于基于所述角色移动轨迹，对所述二维音频特征进行对应音响单元的三维特征映射，得到各所述音响单元对应的多个三维播放音频。

本发明第三方面提供了一种游戏全景声的生成设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述游戏全景声的生成设备执行上述的游戏全景声的生成方法的各个步骤。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的游戏全景声的生成方法的各个步骤。

本发明提供的技术方案中，获取目标用户在目标游戏的游戏空间音频和游戏运行数据，并基于游戏运行数据，提取游戏空间音频多重音频要素的音频要素特征；基于音频要素特征，生成各音频要素对应的二维音频特征，并基于前置音响模块和后置音响模块，将二维音频特征转换为对应音响单元的多个三维播放音频；通过前置音响模块和后置音响模块对三维播放音频进行音频播放，生成目标游戏的游戏全景声，其中，后置音响模块布置于目标用户的颈部位置，前置音响模块布置于目标用户的前方。相比于现有技术，本申请通过获取目标游戏的多种音频要素的音频要素特征，进而将各个音频要素特征的特征转换为对应音频要素的二维音频特征，进而基于游戏全景声的生成系统中各个单元，将二维音频特征转换为对应音响单元的三维播放音频，从而利用前置音响模块和后置音响模块来播放出游戏三维全景声，从而提高了音频音响等设备对游戏音频的三维全景声音的输出效果。

附图说明

图1为本发明实施例中游戏全景声的生成方法的第一个实施例示意图；

图2为本发明实施例中游戏全景声的生成方法的第二个实施例示意图；

图3为本发明实施例中游戏全景声的生成系统中组成模块示意图；

图4为本发明实施例中游戏全景声的生成装置的一个实施例示意图；

图5为本发明实施例中游戏全景声的生成装置的另一个实施例示意图；

图6为本发明实施例中游戏全景声的生成设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种游戏全景声的生成方法、装置、设备及存储介质，该方法包括：获取目标用户在目标游戏的游戏空间音频和游戏运行数据，并基于游戏运行数据，提取游戏空间音频多重音频要素的音频要素特征；基于音频要素特征，生成各音频要素对应的二维音频特征，并基于前置音响模块和后置音响模块，将二维音频特征转换为对应音响单元的多个三维播放音频；通过前置音响模块和后置音响模块对三维播放音频进行音频播放，生成目标游戏的游戏全景声，其中，后置音响模块布置于目标用户的颈部位置，前置音响模块布置于目标用户的前方。本申请提高了音频音响等设备对游戏音频的三维全景声音的输出效果。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中游戏全景声的生成方法的第一个实施例包括：

101、获取目标用户在目标游戏的游戏空间音频和游戏运行数据，并基于游戏运行数据，提取游戏空间音频多重音频要素的音频要素特征；

本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能（Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

本实施例中，这里的目标游戏，指的是用户此时连接游戏全景声的生成系统时所玩的游戏，包括手游、端游和掌机游戏等；这里的游戏空间音频，指的是目标用户在玩游戏时该游戏程序所生成的各种游戏音频数据；这里的游戏运行数据，指的是在游戏程序运行时所产生的除游戏空间音频之外的所有运行数据（包括游戏进度、游戏对战模式和程序运行状态等）；这里的音频要素，指的是组成游戏音频的多个要素特征，包括背景音频特征、空间音频特征和角色音频特征。

在实际应用中，通过获取用户在玩目标游戏时所产生的各种游戏空间音频数据和游戏运行数据，进而基于游戏运行数据，提取游戏空间音频对应游戏模式的背景音频特征，即通过基于游戏运行数据，识别目标用户的游戏模式，并基于预设背景特征数据库，匹配游戏模式的多种背景音频标签，进而按照预设背景划分角度，对游戏空间音频进行多角度音频的划分，得到音频划分结果，从而基于背景音频标签，分别计算出音频划分结果中各位角度的背景置信度，以及提取音频划分结果中各位角度初始的背景音频特征，并选取背景置信度中超过预设阈值对应角度的最终的背景音频特征；进而基于游戏运行数据，识别目标游戏的空间虚拟环境，并基于空间虚拟环境，提取游戏空间音频中的空间音频特征，即通过基于空间虚拟环境，提取游戏空间音频中预设音频划分通道的多个通道音频特征，并基于通道音频特征，提取出空间虚拟环境中各通道边界的二维音频特征，从而基于预设的多个空间参数，对二维音频特征进行对应空间参数的特征映射，得到游戏空间音频中的空间音频特征；基于游戏运行数据，识别目标游戏在当前预设时序内的至少一个游戏角色，并提取游戏空间音频中游戏角色的角色音频特征，即基于游戏运行数据，确定目标用户当前游戏画面的空间坐标原点，并基于空间坐标原点，检测在当前预设时序时段目标游戏的至少一个游戏角色，以及确定各游戏角色的角色移动轨迹，从而基于游戏角色，对游戏空间音频进行多个时序对应角色移动轨迹的角色音频标记，得到角色音频特征。

102、基于音频要素特征，生成各音频要素对应的二维音频特征，并基于前置音响模块和后置音响模块，将二维音频特征转换为对应音响单元的多个三维播放音频；

本实施例中，这里的二维音频特征，指的是各个音响单元所要播出音频数据对应二维维度的音频特征数据（如高度、深度、宽度维度的特征数据）；这里的三维播放音频，指的是将二维特征数据在各个音响单元上以三维感知方式进行特征表达的数据。

在实际应用中，基于游戏运行数据，确定目标游戏的游戏对战状态，并基于游戏对战状态，分别确定各音频要素的要素权要值，以及计算出各音频要素对应的特征零均值和特征方差；进而基于特征零均值和特征方差，构建出音频要素的音频特征矩阵，并基于要素权要值，对音频特征矩阵进行对应音频要素的主成分映射，得到二维音频特征；进而基于前置音响模块和后置音响模块，配置二维音频特征对应管线的音响单元；从而基于角色移动轨迹，对二维音频特征进行对应音响单元的三维特征映射，得到各音响单元对应的多个三维播放音频。

103、通过前置音响模块和后置音响模块对三维播放音频进行音频播放，生成目标游戏的游戏全景声，其中，后置音响模块布置于目标用户的颈部位置，前置音响模块布置于目标用户的前方。

本实施例中，通过前置音响模块和后置音响模块中的多个音响单元对对应单元的三维播放音频进行音频播放，以生成目标游戏的游戏全景声，提供目标用户一个逼真的游戏声效，从而提高音频音响等设备对游戏音频的三维全景声音的整体输出效果。

本发明实施例中，获取目标用户在目标游戏的游戏空间音频和游戏运行数据，并基于游戏运行数据，提取游戏空间音频多重音频要素的音频要素特征；基于音频要素特征，生成各音频要素对应的二维音频特征，并基于前置音响模块和后置音响模块，将二维音频特征转换为对应音响单元的多个三维播放音频；通过前置音响模块和后置音响模块对三维播放音频进行音频播放，生成目标游戏的游戏全景声，其中，后置音响模块布置于目标用户的颈部位置，前置音响模块布置于目标用户的前方。相比于现有技术，本申请通过获取目标游戏的多种音频要素的音频要素特征，进而将各个音频要素特征的特征转换为对应音频要素的二维音频特征，进而基于游戏全景声的生成系统中各个单元，将二维音频特征转换为对应音响单元的三维播放音频，从而利用前置音响模块和后置音响模块来播放出游戏三维全景声，从而提高了音频音响等设备对游戏音频的三维全景声音的输出效果。

请参阅图2，本发明实施例中游戏全景声的生成方法的第二个实施例包括：

201、基于游戏运行数据，提取游戏空间音频对应游戏模式的背景音频特征；

本实施例中，这里的背景音频特征，指的是各种游戏模式下游戏对战背景对应的音频特征数据；这里的背景音频标签，指的是各种类型背景音频都有着相应标签进行划分；这里的背景划分角度，指的是基于游戏视角，将当前游戏画面划分多个空间扇形区域对应的扇形角度；这里的背景置信度，指的是各个背景划分角度对应扇形区域中的音频数据所确定对应背景类型的置信度数值。

在实际应用中，在获取目标用户在目标游戏的游戏空间音频和游戏运行数据之后，

通过分析游戏运行数据中目标用户的游戏操作、游戏状态和其他相关数据，识别出目标用户当前所处的游戏模式（如，在一款多人竞技游戏中，根据用户所加入的战斗队伍、参与的比赛类型等信息来确定游戏模式。），并利用预设的背景特征数据库，对识别出的游戏模式进行匹配，其中该数据库存储了各种游戏模式对应的背景音频特征，通过比对用户当前的游戏模式和数据库中的游戏模式之间的相似性和背景音频特征的匹配程度，匹配得到背景音频标签。进而根据预设的背景划分角度，确定需要对游戏空间音频进行的划分方式，并针对每个划分角度，对游戏空间音频进行对应角度音频的音频划分，得到音频划分结果；进而基于每个背景音频标签，计算出音频划分结果中该角度的背景置信度（如通过分析不同角度音频是否包含对应场景音频的背景特征来计算出背景置信度），并基于每个角度，从音频划分结果中提取初始的背景音频特征，如通过选取特定时间段内的音频数据，并进行频谱分析、时域分析等处理得到，进而选取超过预设阈值的背景置信度对应角度的最终背景音频特征。

202、基于游戏运行数据，识别目标游戏的空间虚拟环境，并基于空间虚拟环境，提取游戏空间音频中的空间音频特征；

本实施例中，这里的音频划分通道，指的是多种特征通道，如三种相互正交方向的6特征通道（还可包括枪声通道、环境音通道、队友语音通道等）；这里的空间参数，指的是各种空间特征参数（如宽度、高度、长度等）。

在实际应用中，根据预设的音频划分通道，确定需要提取的多个通道音频特征，进而基于每个预设的音频划分通道，利用卷积神经网络从游戏空间音频中提取相应通道的音频特征，进而整合多个通道的音频特征，形成针对整个游戏空间音频的多通道特征表示，其中这一表示是一个多维度的向量，每个维度代表一个预设的音频划分通道；进而根据多通道的音频特征，确定各通道之间的边界位置，并基于每个边界位置，提取出相应的二维音频特征（包括该位置周围的时域分布、频谱分布、能量分布等特征），进而将各通道边界的二维音频特征进行整合，形成针对整个游戏空间音频的多通道边界特征表示；进而确定预设的多个空间参数，这些参数包括声源位置、听者位置、房间大小、反射率等，并根据预设的空间参数，建立对应的特征映射模型，进而将二维音频特征输入到特征映射模型中，对应空间参数的特征映射将被应用于二维音频特征，以产生一组反映游戏空间的音频特征，其中包含了声音在空间中传播和分布的信息，从而整合所有预设的空间参数的特征映射结果，得到游戏空间音频中的空间音频特征（其中空间音频特征是一个多维向量，每个维度代表一个预设的空间参数对应的特征映射结果）。

203、基于游戏运行数据，识别目标游戏在当前预设时序内的至少一个游戏角色，并提取游戏空间音频中游戏角色的角色音频特征；

本实施例中，这里的空间坐标原点，指的是该游戏画面所在空间坐标的参考系原点；这里的角色移动轨迹，指的是游戏角色在游戏对战中的运动轨迹。

在实际应用中，利用游戏运行数据中的视角、场景构造和物体位置等信息，确定目标用户当前游戏画面的空间坐标原点，并基于空间坐标原点，检测在当前预设时序时段游戏运行数据中的角色模型、运动轨迹等信息，确定目标用户当前的游戏场景中至少一个游戏角色，从而确定各所述游戏角色的位置、速度、加速度等信息，以获取角色在游戏场景中的实时位置和运动轨迹，从而确定各个角色的角色移动轨迹，得到目标用户当前游戏场景的空间信息；进而基于确定的角色移动轨迹，将游戏空间音频进行多个时序上的标记（如每个时间点上角色的位置信息，确定该时间段内哪些音频片段与特定角色相关），并根据所标记的角色音频片段，提取相应的音频特征（如频谱特征、时域特征、声学特征等），从而对所提取的角色音频特征进行整合和编码，得到角色音频特征，其为包含多个角色的音频特征向量的集合，每个向量代表一个角色在游戏空间音频中的声音特征，反映了该角色的音频表现和移动轨迹。

204、基于游戏运行数据，确定目标游戏的游戏对战状态，并基于游戏对战状态，分别确定各音频要素的要素权要值，以及计算出各音频要素对应的特征零均值和特征方差；

本实施例中，利用游戏运行数据，包括玩家位置、敌对单位位置、游戏时长等，来确定目标游戏的当前对战状态；进而基于游戏对战状态，针对不同的音频要素（如背景音乐、音效、对话音频等），确定它们在当前对战状态下的要素权重值，其中这些权重值是根据对战状态的紧张程度、氛围需求等因素进行调整，以使音频表现更符合当前游戏情境，并增强对玩家的沉浸感，进而基于每个音频要素，计算其特征的零均值和特征方差（如通过对音频特征进行零均值处理，使音频数据的中心位于零点，有助于消除不同对战状态下的整体音频能量差异，使得音频表现更加稳定和统一），从而得到各音频要素在当前对战状态下的要素权重值，以及它们对应的特征零均值和特征方差。

205、基于特征零均值和特征方差，构建出音频要素的音频特征矩阵；

本实施例中，基于特征零均值和特征方差，构建出一个音频特征矩阵，其中该矩阵包含各个音频要素的特征向量，每行代表一个音频要素的特征向量，每列代表一个特征维度。通过这个矩阵，对不同音频要素之间的相似性和差异性进行比较和分析。

206、基于要素权要值，对音频特征矩阵进行对应音频要素的主成分映射，得到二维音频特征；

本实施例中，基于上述的要素权值，对音频特征矩阵中的每个音频要素的特征向量进行加权处理，即通过对特征向量乘以相应的权值，在降维过程中更准确地保留音频要素的关键信息，进而利用主成分分析或其他相似的降维技术，通过线性变换将原始特征投影到新的特征空间，使得新特征具有最大的方差，从而将加权后的音频特征矩阵映射到二维空间，得到二维音频特征，即将音频特征矩阵降维后得到的二维数据。

207、基于前置音响模块和后置音响模块，配置二维音频特征对应管线的音响单元；

本实施例中，这里的管线，指的是音频单元在相应时间下输出音频的前后或者同时工作任务状态。

在实际应用中，基于前置音响模块和后置音响模块，将游戏音频信号分为不同的通道并进行预处理，进而基于二维音频特征对应的管线，配置相应的音响单元，通过配置这些音响单元，实现对游戏音频的定向输出和空间感知，使得玩家能够更加身临其境地感受到游戏中的声音效果。

208、基于角色移动轨迹，对二维音频特征进行对应音响单元的三维特征映射，得到各音响单元对应的多个三维播放音频；

本实施例中，基于角色移动轨迹、游戏场景信息和二维音频特征对应的管线，将不同声音源的位置和运动状态映射到相应的音响单元上，其中映射过程为基于三维坐标系和声学模型等技术，将不同声音源的位置和运动状态转换为相应的音响输出参数，如声源位置、方向、距离、延迟等，进而根据映射得到的音响输出参数，生成各音响单元对应的多个三维播放音频。这些三维播放音频包括不同方向、距离、大小、声音特效等，用于模拟不同声源在空间中的位置和运动轨迹，进而通过实时调整这些三维播放音频，实现游戏中声音效果的动态化和多样化，使得玩家能够更加身临其境地感受到游戏中的声音效果。

209、通过前置音响模块和后置音响模块对三维播放音频进行音频播放，生成目标游戏的游戏全景声，其中，后置音响模块布置于目标用户的颈部位置，前置音响模块布置于目标用户的前方。

本实施例中，这里的游戏全景声的生成系统报包括至少一个前置音响模块和至少一个后置音响模块（如图3所示），其中，前置音响模块为301位于目标用户前面的游戏桌上，后置音响模块302一般安装在目标用户的椅子靠背的颈部位置，其中前置音响模块与后置音响模块通过5.8G通信方式进行音频等数据的传输。

本发明实施例中，通过获取目标游戏的多种音频要素的音频要素特征，进而将各个音频要素特征的特征转换为对应音频要素的二维音频特征，进而基于游戏全景声的生成系统中各个单元，将二维音频特征转换为对应音响单元的三维播放音频，从而利用前置音响模块和后置音响模块来播放出游戏三维全景声，从而提高了音频音响等设备对游戏音频的三维全景声音的输出效果。

上面对本发明实施例中游戏全景声的生成方法进行了描述，下面对本发明实施例中游戏全景声的生成装置进行描述，请参阅图4，本发明实施例中游戏全景声的生成装置一个实施例包括：

要素提取模块401，用于获取目标用户在目标游戏的游戏空间音频和游戏运行数据，并基于所述游戏运行数据，提取所述游戏空间音频多重音频要素的音频要素特征；

音频转换模块402，用于基于所述音频要素特征，生成各所述音频要素对应的二维音频特征，并基于所述前置音响模块和所述后置音响模块，将所述二维音频特征转换为对应音响单元的多个三维播放音频；

音质生成模块403，用于通过所述前置音响模块和所述后置音响模块对所述三维播放音频进行音频播放，生成所述目标游戏的游戏全景声，其中，所述后置音响模块布置于所述目标用户的颈部位置，所述前置音响模块布置于所述目标用户的前方。

本发明实施例中，获取目标用户在目标游戏的游戏空间音频和游戏运行数据，并基于游戏运行数据，提取游戏空间音频多重音频要素的音频要素特征；基于音频要素特征，生成各音频要素对应的二维音频特征，并基于前置音响模块和后置音响模块，将二维音频特征转换为对应音响单元的多个三维播放音频；通过前置音响模块和后置音响模块对三维播放音频进行音频播放，生成目标游戏的游戏全景声，其中，后置音响模块布置于目标用户的颈部位置，前置音响模块布置于目标用户的前方。相比于现有技术，本申请通过获取目标游戏的多种音频要素的音频要素特征，进而将各个音频要素特征的特征转换为对应音频要素的二维音频特征，进而基于游戏全景声的生成系统中各个单元，将二维音频特征转换为对应音响单元的三维播放音频，从而利用前置音响模块和后置音响模块来播放出游戏三维全景声，从而提高了音频音响等设备对游戏音频的三维全景声音的输出效果。

请参阅图5，本发明实施例中游戏全景声的生成装置的另一个实施例包括：

要素提取模块401，用于获取目标用户在目标游戏的游戏空间音频和游戏运行数据，并基于所述游戏运行数据，提取所述游戏空间音频多重音频要素的音频要素特征；

音频转换模块402，用于基于所述音频要素特征，生成各所述音频要素对应的二维音频特征，并基于所述前置音响模块和所述后置音响模块，将所述二维音频特征转换为对应音响单元的多个三维播放音频；

音质生成模块403，用于通过所述前置音响模块和所述后置音响模块对所述三维播放音频进行音频播放，生成所述目标游戏的游戏全景声，其中，所述后置音响模块布置于所述目标用户的颈部位置，所述前置音响模块布置于所述目标用户的前方。

进一步的，所述要素提取模块401包括：

背景音频单元4011，用于基于所述游戏运行数据，提取所述游戏空间音频对应游戏模式的背景音频特征；空间音频单元4012，用于基于所述游戏运行数据，识别所述目标游戏的空间虚拟环境，并基于所述空间虚拟环境，提取所述游戏空间音频中的空间音频特征；角色音频单元4013，用于基于所述游戏运行数据，识别所述目标游戏在当前预设时序内的至少一个游戏角色，并提取所述游戏空间音频中所述游戏角色的角色音频特征。

进一步的，所述背景音频单元4011包括：

基于所述游戏运行数据，识别所述目标用户的游戏模式，并基于预设背景特征数据库，匹配所述游戏模式的多种背景音频标签；按照预设背景划分角度，对所述游戏空间音频进行多角度音频的划分，得到音频划分结果；基于所述背景音频标签，分别计算出所述音频划分结果中各位角度的背景置信度，以及提取所述音频划分结果中各位角度初始的背景音频特征，并选取所述背景置信度中超过预设阈值对应角度的最终的背景音频特征。

进一步的，所述空间音频单元4012包括：

基于所述空间虚拟环境，提取所述游戏空间音频中预设音频划分通道的多个通道音频特征；基于所述通道音频特征，提取出所述空间虚拟环境中各通道边界的二维音频特征；基于预设的多个空间参数，对所述二维音频特征进行对应空间参数的特征映射，得到所述游戏空间音频中的空间音频特征。

进一步的，所述角色音频单元4013包括：

基于所述游戏运行数据，确定所述目标用户当前游戏画面的空间坐标原点，并基于空间坐标原点，检测在当前预设时序时段所述目标游戏的至少一个游戏角色，以及确定各所述游戏角色的角色移动轨迹；基于所述游戏角色，对所述游戏空间音频进行多个时序对应角色移动轨迹的角色音频标记，得到角色音频特征。

进一步的，所述音频转换模块402包括：

权要确定单元4021，用于基于所述游戏运行数据，确定所述目标游戏的游戏对战状态，并基于所述游戏对战状态，分别确定各所述音频要素的要素权要值，以及计算出各所述音频要素对应的特征零均值和特征方差；矩阵构建单元4022，用于基于所述特征零均值和所述特征方差，构建出所述音频要素的音频特征矩阵；特征映射单元4023，用于基于所述要素权要值，对所述音频特征矩阵进行对应音频要素的主成分映射，得到二维音频特征。

进一步的，所述音频转换模块402还包括：

音响配置单元4024，用于基于所述前置音响模块和所述后置音响模块，配置所述二维音频特征对应管线的音响单元；二维映射单元4025，用于基于所述角色移动轨迹，对所述二维音频特征进行对应音响单元的三维特征映射，得到各所述音响单元对应的多个三维播放音频。

本发明实施例中，通过获取目标游戏的多种音频要素的音频要素特征，进而将各个音频要素特征的特征转换为对应音频要素的二维音频特征，进而基于游戏全景声的生成系统中各个单元，将二维音频特征转换为对应音响单元的三维播放音频，从而利用前置音响模块和后置音响模块来播放出游戏三维全景声，从而提高了音频音响等设备对游戏音频的三维全景声音的输出效果。

上面图4和图5从模块化功能实体的角度对本发明实施例中的游戏全景声的生成装置进行详细描述，下面从硬件处理的角度对本发明实施例中游戏全景声的生成设备进行详细描述。

图6是本发明实施例提供的一种游戏全景声的生成设备的结构示意图，该游戏全景声的生成设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（central processing units，CPU）610（例如，一个或一个以上处理器）和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630（例如一个或一个以上海量存储设备）。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对游戏全景声的生成设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在游戏全景声的生成设备600上执行存储介质630中的一系列指令操作。

游戏全景声的生成设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作系统631，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图6示出的游戏全景声的生成设备结构并不构成对游戏全景声的生成设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种游戏全景声的生成设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述游戏全景声的生成方法的各个步骤。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述游戏全景声的生成方法的各个步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种游戏全景声的生成方法，所述生成方法应用于游戏全景声的生成系统，其特征在于，所述游戏全景声的生成系统报包括至少一个前置音响模块和至少一个后置音响模块，所述生成方法包括：

获取目标用户在目标游戏的游戏空间音频和游戏运行数据，并基于所述游戏运行数据，提取所述游戏空间音频多重音频要素的音频要素特征；

基于所述音频要素特征，构建出所述音频要素对应的音频特征矩阵，以及对所述音频特征矩阵进行各所述音频要素的主成分映射，得到二维维度的音频特征数据，并基于所述前置音响模块和所述后置音响模块，将所述二维维度的音频特征数据转换为对应音响单元的多个三维播放音频；

通过所述前置音响模块和所述后置音响模块对所述三维播放音频进行音频播放，生成所述目标游戏的游戏全景声，其中，所述后置音响模块布置于所述目标用户的颈部位置，所述前置音响模块布置于所述目标用户的前方。

2.根据权利要求1所述游戏全景声的生成方法，其特征在于，所述音频要素特征包括背景音频特征、空间音频特征和角色音频特征，所述基于所述游戏运行数据，提取所述游戏空间音频多重音频要素的音频要素特征，包括：

基于所述游戏运行数据，提取所述游戏空间音频对应游戏模式的背景音频特征；

基于所述游戏运行数据，识别所述目标游戏的空间虚拟环境，并基于所述空间虚拟环境，提取所述游戏空间音频中的空间音频特征；

基于所述游戏运行数据，识别所述目标游戏在当前预设时序内的至少一个游戏角色，并提取所述游戏空间音频中所述游戏角色的角色音频特征。

3.根据权利要求2所述游戏全景声的生成方法，其特征在于，所述基于所述游戏运行数据，提取所述游戏空间音频对应游戏模式的背景音频特征，包括：

基于所述游戏运行数据，识别所述目标用户的游戏模式，并基于预设背景特征数据库，匹配所述游戏模式的多种背景音频标签；

按照预设背景划分角度，对所述游戏空间音频进行多角度音频的划分，得到音频划分结果；

基于所述背景音频标签，分别计算出所述音频划分结果中各位角度的背景置信度，以及提取所述音频划分结果中各位角度初始的背景音频特征，并选取所述背景置信度中超过预设阈值对应角度的最终的背景音频特征。

4.根据权利要求2所述游戏全景声的生成方法，其特征在于，所述基于所述空间虚拟环境，提取所述游戏空间音频中的空间音频特征，包括：

基于所述空间虚拟环境，提取所述游戏空间音频中预设音频划分通道的多个通道音频特征；

基于所述通道音频特征，提取出所述空间虚拟环境中各通道边界的二维音频特征；

基于预设的多个空间参数，对所述二维音频特征进行对应空间参数的特征映射，得到所述游戏空间音频中的空间音频特征。

5.根据权利要求1所述游戏全景声的生成方法，其特征在于，所述基于所述游戏运行数据，识别所述目标游戏在当前预设时序时段的至少一个游戏角色，并提取所述游戏空间音频中所述游戏角色的角色音频特征，包括：

基于所述游戏运行数据，确定所述目标用户当前游戏画面的空间坐标原点，并基于空间坐标原点，检测在当前预设时序时段所述目标游戏的至少一个游戏角色，以及确定各所述游戏角色的角色移动轨迹；

基于所述游戏角色，对所述游戏空间音频进行多个时序对应角色移动轨迹的角色音频标记，得到角色音频特征。

6.根据权利要求1所述游戏全景声的生成方法，其特征在于，所述基于所述音频要素特征，构建出所述音频要素对应的音频特征矩阵，以及对所述音频特征矩阵进行各所述音频要素的主成分映射，得到二维维度的音频特征数据，包括：

基于所述游戏运行数据，确定所述目标游戏的游戏对战状态，并基于所述游戏对战状态，分别确定各所述音频要素的要素权要值，以及计算出各所述音频要素对应的特征零均值和特征方差；

基于所述特征零均值和所述特征方差，构建出所述音频要素的音频特征矩阵；

基于所述要素权要值，对所述音频特征矩阵进行对应音频要素的主成分映射，得到二维维度的音频特征数据。

7.根据权利要求5所述游戏全景声的生成方法，其特征在于，所述基于所述前置音响模块和所述后置音响模块，将所述二维维度的音频特征数据转换为对应音响单元的多个三维播放音频，包括：

基于所述前置音响模块和所述后置音响模块，配置所述二维维度的音频特征数据对应管线的音响单元；

基于所述角色移动轨迹，对所述二维维度的音频特征数据进行对应音响单元的三维特征映射，得到各所述音响单元对应的多个三维播放音频。

8.一种游戏全景声的生成装置，所述生成装置应用于游戏全景声的生成系统，其特征在于，所述游戏全景声的生成系统报包括至少一个前置音响模块和至少一个后置音响模块，所述生成装置包括：

要素提取模块，用于获取目标用户在目标游戏的游戏空间音频和游戏运行数据，并基于所述游戏运行数据，提取所述游戏空间音频多重音频要素的音频要素特征；

音频转换模块，用于基于所述音频要素特征，构建出所述音频要素对应的音频特征矩阵，以及对所述音频特征矩阵进行各所述音频要素的主成分映射，得到二维维度的音频特征数据，并基于所述前置音响模块和所述后置音响模块，将所述二维维度的音频特征数据转换为对应音响单元的多个三维播放音频；

音质生成模块，用于通过所述前置音响模块和所述后置音响模块对所述三维播放音频进行音频播放，生成所述目标游戏的游戏全景声，其中，所述后置音响模块布置于所述目标用户的颈部位置，所述前置音响模块布置于所述目标用户的前方。

9.一种游戏全景声的生成设备，其特征在于，所述游戏全景声的生成设备包括：存储器和至少一个处理器，所述存储器中存储有指令；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述游戏全景声的生成设备执行如权利要求1-7中任一项所述的游戏全景声的生成方法的各个步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述游戏全景声的生成方法的各个步骤。