CN113332723A - 一种游戏中的音效处理方法及装置 - Google Patents
一种游戏中的音效处理方法及装置 Download PDFInfo
- Publication number
- CN113332723A CN113332723A CN202110579764.0A CN202110579764A CN113332723A CN 113332723 A CN113332723 A CN 113332723A CN 202110579764 A CN202110579764 A CN 202110579764A CN 113332723 A CN113332723 A CN 113332723A
- Authority
- CN
- China
- Prior art keywords
- audio
- motion
- quantization parameter
- game
- motion quantization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000694 effects Effects 0.000 title claims abstract description 64
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 230000033001 locomotion Effects 0.000 claims abstract description 143
- 238000013139 quantization Methods 0.000 claims abstract description 99
- 238000012545 processing Methods 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 49
- 239000002245 particle Substances 0.000 claims abstract description 40
- 230000009471 action Effects 0.000 claims abstract description 35
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 29
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012952 Resampling Methods 0.000 claims description 6
- 230000003321 amplification Effects 0.000 claims description 6
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 6
- 230000000875 corresponding effect Effects 0.000 abstract description 18
- 230000001360 synchronised effect Effects 0.000 abstract description 5
- 230000000007 visual effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 14
- 210000002414 leg Anatomy 0.000 description 13
- 230000001133 acceleration Effects 0.000 description 12
- 230000001960 triggered effect Effects 0.000 description 11
- 239000000203 mixture Substances 0.000 description 10
- 238000013461 design Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 235000003599 food sweetener Nutrition 0.000 description 7
- 239000003765 sweetening agent Substances 0.000 description 7
- 210000003414 extremity Anatomy 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 210000004197 pelvis Anatomy 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 210000003127 knee Anatomy 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/64—Methods for processing data by generating or executing the game program for computing dynamical parameters of game objects, e.g. motion determination or computation of frictional forces for a virtual car
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Stereophonic System (AREA)
Abstract
本发明实施例提供了一种游戏中的音效处理方法及装置，其中，所述的方法包括：获取游戏中虚拟角色对应的运动数据；根据所述运动数据计算得到运动量化参数；根据所述运动量化参数进行颗粒合成处理得到第一音频；将所述运动量化参数进行阈值比较以得到第二音频；对所述第一音频和所述第二音频进行混音处理得到动作音效。由于实时基于游戏数据生成对应的动作音效，因此声音会始终与动作保持同步，从而解决了拟音与视觉效果不同步的问题。
Description
技术领域
本发明涉及游戏技术领域，特别是涉及一种游戏中的音效处理方法和一种游戏中的音效处理装置。
背景技术
对于任何含有复杂角色动画的游戏来说，拟音都是必不可少的。为角色动作配上声音，使其更写实，同时增强沉浸式体验，例如，每当角色移动(包括漫步、行走、奔跑、跳跃和战斗)时，都需要拟音。通常情况下，每个角色会有独立的拟音集，该拟音集具体取决于角色所穿的衣服或装甲、角色大小、体型、速度等。
大多数情况下，拟音通过动画系统来实现，在不同动画片段中，设置在特定关键帧处触发预备好的声音资源，如，漫步的动画片段可以触发“char_x1_idle”声音，boss攻击动画片段会包含“boss_x2_attack”声音等。这是一种从游戏引擎触发声音文件的方法，但是，这种方法存在如下两类缺点：
一、与方法本身的性质有关的缺点：
作为一种样本触发方法，它依赖于声音设计师在声音中准确地再现角色动作，声音设计好后，就将动作“烘焙”到声音中，并且无法在游戏运行期间更改或调整。游戏引擎的动画系统可以将多个动画混合在一起，并且如果每个动画都包含声音触发关键帧，则可同时播放两种声音，大多数情况下，用户体验不佳。有很多现代动画技术可以程序化调整角色动画以适应周围环境；在这种情况下，被声音设计师烘焙到波形文件中的“动作”声音与游戏中的动作画面不符。声音是否被重复使用很容易被玩家发现，因此，大多数时候，每个角色都有自己特有的声音。对于某些类型的游戏，这可能会成为个问题，尤其是对于开放世界游戏，因为在开放世界中，会有许多角色穿着不同类型的衣服，这时基于动画来触发声音就无法很好地开展。
二、与开发工作流程有关的缺点：
大多数情况下，需要游戏设计师手动添加触发声音的关键帧，而且，游戏设计师可能会随时更改动画速度，这需要对源音频文件进行调整，另外，音频团队的规模要比动画或设计团队小，并且音频团队通常会花很多精力专门用来进行同步更改，这样，用于音频设计上的时间就会变少。以上所列缺点可能会导致以下情况：音频团队的大部分时间会花在维护上，而不是在新的开发上。
发明内容
鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种游戏中的音效处理方法和相应的一种游戏中的音效处理装置。
本发明实施例公开了一种游戏中的音效处理方法，包括：
获取游戏中虚拟角色对应的运动数据；
根据所述运动数据计算得到运动量化参数；
根据所述运动量化参数进行颗粒合成处理得到第一音频；
将所述运动量化参数进行阈值比较以得到第二音频；
对所述第一音频和所述第二音频进行混音处理得到动作音效。
可选地，所述根据所述运动量化参数进行颗粒合成处理得到第一音频，包括：
确定与所述运动量化参数匹配的音频片段；
对所述音频片段进行重采样处理得到新的播放速度，并根据所述新的播放速度调整所述音频片段的时间包络得到音频样本颗粒；
根据预设音量对所述音频样本颗粒进行衰减处理或放大处理，以得到第一音频。
可选地，所述根据所述运动量化参数进行颗粒合成处理得到第一音频，包括：
通过预设时间间隔或实时触发，根据所述运动量化参数进行颗粒合成处理得到第一音频。
可选地，所述将所述运动量化参数进行阈值比较以得到第二音频，包括：
当所述运动量化参数达到预设阈值时，触发确定第二音频。
可选地，所述当所述运动量化参数达到预设阈值时，触发确定第二音频，包括：
当所述预设阈值具有对应的偏移量时，计算预设阈值与第一偏移量的和值；其中，所述第一偏移量为所述偏移量的二分之一；
当所述运动量化参数大于所述和值时，触发确定第二音频。
可选地，所述当所述运动量化参数大于所述和值时，触发确定第二音频，包括：
当所述运动量化参数大于所述和值时，生成包含样本参数的触发命令；
根据所述样本参数确定第二音频。
可选地，在所述根据所述运动量化参数进行颗粒合成处理得到第一音频的步骤之前，还包括：
根据所述运动量化参数判断是否需要针对所述虚拟角色生成动作音效。
本发明实施例还公开了一种游戏中的音效处理装置，包括：
运动数据获取模块，用于获取游戏中虚拟角色对应的运动数据；
运动量化模块，用于根据所述运动数据计算得到运动量化参数；
第一音频生成模块，用于根据所述运动量化参数进行颗粒合成处理得到第一音频；
第二音频生成模块，用于将所述运动量化参数进行阈值比较以得到第二音频；
混音模块，用于对所述第一音频和所述第二音频进行混音处理得到动作音效。
本发明实施例还公开了一种电子设备，包括：
处理器和存储介质，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器执行所述机器可读指令，以执行如本发明实施例任一项所述的方法。
本发明实施例还公开了一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如本发明实施例任一项所述的方法。
本发明实施例包括以下优点：
在本发明实施例中，通过对虚拟角色的运动数据进行分析计算得到运动量化参数，然后根据运动量化参数生成动作音效。由于实时基于游戏数据生成对应的动作音效，因此声音会始终与动作保持同步，从而解决了拟音与视觉效果不同步的问题，使得声音设计工作流程发生转变，从为单个动作制作样本转变为设计实时音频，例如设计声音织体和单次甜味剂(One-Shot Sweetener)。由于这些声音固有的抽象性质，可以将它们以不同的方式组合在一起，并可以在不影响角色独特性的情况下将这些声音重复使用于多个角色。音频生成器的动态控制可确保声音始终与动画保持同步，因此，无需重新设计源声音或重新调整动画关键帧的声音触发器。而且这种方法可以自动实现拟音，从而设计源可以腾出时间来集中精力在声音设计上。
附图说明
为了更清楚地说明本发明的技术方案，下面将对本发明的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种游戏中的音效处理方法的步骤流程图；
图2是本发明实施例提供的一种游戏中的音效处理系统的架构示意图；
图3是本发明实施例提供的一种游戏中的音效处理装置的结构框图；
图4是本发明实施例提供的一种电子设备的结构框图；
图5是本发明实施例提供的一种存储介质的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明其中一种实施例中的游戏中的音效处理方法可以运行于终端设备或者是服务器。其中，终端设备可以为本地终端设备。当游戏中的音效处理方法运行于服务器时，该游戏中的音效处理方法则可以基于云交互系统来实现与执行，其中，云交互系统包括服务器和客户端设备。
在一可选的实施方式中，云交互系统下可以运行各种云应用，例如：云游戏。以云游戏为例，云游戏是指以云计算为基础的游戏方式。在云游戏的运行模式下，游戏程序的运行主体和游戏画面呈现主体是分离的，游戏中的音效处理方法的储存与运行是在云游戏服务器上完成的，客户端设备的作用用于数据的接收、发送以及游戏画面的呈现，举例而言，客户端设备可以是靠近用户侧的具有数据传输功能的显示设备，如，第一终端设备、电视机、计算机、掌上电脑等；但是进行游戏中的音效处理方法的终端设备为云端的云游戏服务器。在进行游戏时，玩家操作客户端设备向云游戏服务器发送操作指令，云游戏服务器根据操作指令运行游戏，将游戏画面等数据进行编码压缩，通过网络返回客户端设备，最后，通过客户端设备进行解码并输出游戏画面。
在一可选的实施方式中，终端设备可以为本地终端设备。以游戏为例，本地终端设备存储有游戏程序并用于呈现游戏画面。本地终端设备用于通过图形用户界面与玩家进行交互，即，常规的通过电子设备下载安装游戏程序并运行。该本地终端设备将图形用户界面提供给玩家的方式可以包括多种，例如，可以渲染显示在终端的显示屏上，或者，通过全息投影提供给玩家。举例而言，本地终端设备可以包括显示屏和处理器，该显示屏用于呈现图形用户界面，该图形用户界面包括游戏画面，该处理器用于运行该游戏、生成图形用户界面以及控制图形用户界面在显示屏上的显示。
参照图1，示出了本发明实施例提供的一种游戏中的音效处理方法的步骤流程图，所述的方法具体可以包括如下步骤：
步骤101，获取游戏中虚拟角色对应的运动数据；
本发明实施例可以应用于第一终端设备中，第一终端设备可以是前述提到的本地终端设备，也可以是前述提到的云交互系统中的客户端设备。该第一终端设备的操作系统可以包括Android(安卓)、IOS、Windows Phone、Windows等等，通常可以支持各种游戏应用的运行。
通过在第一终端设备上运行游戏应用，并在第一终端设备的显示器上渲染得到图形用户界面，图形用户界面所显示的内容至少部分地包含一局部或全部的游戏场景，游戏场景的具体形态可以是方形，也可以是其它形状(比如，圆形等)。游戏场景中可以包含一个或多个虚拟角色，其中，虚拟角色可以是游戏场景中玩家通过第一终端设备所操控的虚拟单位，玩家可以操控虚拟角色在游戏场景中进行运动，包括移动、跳跃、攻击等。
为了增强游戏的真实性，在玩家操控虚拟角色运动时，可以对虚拟角色添加Foley音效，该Foley音效可以指游戏中虚拟角色的身体动作所产生的一种特定声音类型，例如，不同的布料或盔甲会产生不同的声音，玩家移动速度不同也会产生不同的声音等等。
由于现有技术中通过动画系统在关键帧处添加预先针对单个动作制作的音效的方式，不利于更新动作对应的音效，在本发明实施例中，通过实时获取游戏中虚拟角色对应的运动数据，以根据这些运动数据实时生成Foley音效。
在具体实现中，游戏应用可以包含GE(Galaxy Engine，游戏引擎)组件，游戏引擎可以实时收集游戏中虚拟角色的运动数据。其中，运动数据可以是用于表示虚拟角色在游戏场景中的运动情况的各项数据，包括世界空间中虚拟角色的手掌的位置、脖子的位置、膝盖的位置、骨盆的位置和双脚的位置等等，通过这些位置数据可以分析到虚拟角色是在移动还是站立不动，以及站立时双手是不是在动等情况，进而可以生成与虚拟角色的动作对应的Foley音效。
步骤102，根据所述运动数据计算得到运动量化参数；
在本发明实施例中，可以通过运动数据分析虚拟角色运动并产生一组实值的参数，以便于根据这些参数生成Foley音效。具体的，可以对运动数据进行运动量化分析处理，计算得到运动量化参数QOM(Quantity Of Motion)，该运动量化参数用于以估算虚拟角色在指定时间段内发生了多少运动。其中，运动量化参数可以包括虚拟角色的速度和加速度，所述虚拟角色的四肢的速度和加速度，所述虚拟角色的双手的最大速度，所述虚拟角色的双腿的最大速度，以及所述虚拟角色的四肢的角度等参数，本发明实施例对此不作限制。
在具体实现中，游戏应用可以包含MC(Motion Compensation，运动量化)组件，通过MC组件来根据运动数据计算得到运动量化参数，MC组件中的计算过程包括通过标准公式计算速度和加速度。
速度V的计算公式为：V＝|dP|/dt，其中，P为虚拟角色的各个部位身体的位置，dt表示时间段，dP是在时间段dt内坐标P的差。加速度A的计算公式为：A＝|dV|/dt，其中，dV是在时间段dt内速度V的差。为了计算虚拟角色整体的速度，P由游戏引擎中虚拟角色的位置来定义，例如胶囊形状碰撞体的中心。
对于手的P计算如下：P＝P_palm-P_neck，其中，P_palm为在世界空间中虚拟角色的手掌的位置，P_neck为在世界空间中虚拟角色的脖子的位置。
对于手的P计算如下：P＝P_knee-P_pelvis，其中，P_knee为在世界空间中虚拟角色的膝盖的位置，P_pelvis为在世界空间中虚拟角色的骨盆的位置。
通过max()函数计算双手或双脚加起来的运动量。
四肢之间的角度表示为肢体向量的点积：alpha＝P_1·P_2，其中，P_1和P_2向量分别表示按上述各项计算出的四肢的位置。
最后，生成的参数列表如下所示：
-V_char，A_char-分别表示虚拟角色的速度和加速度。
-V_hand_left，V_hand_right，V_hand_max-分别表示虚拟角色的左手和右手的速度，以及双手的最大速度。
-A_hand_left，A_hand_right，A_hand_max-分别表示虚拟角色的左手和右手的加速度，以及双手的最大加速度。
–V_leg_left,V_leg_right,V_leg_max—分别表示虚拟角色的左腿和右腿的速度，以及双腿的最大速度。
–A_leg_left,A_leg_right,A_leg_max—分别表示虚拟角色的左腿和右腿的加速度，以及双腿的最大加速度。
–alpha_legs,alpha_hands—分别表示虚拟角色的腿和对应手的角度。
步骤103，根据所述运动量化参数进行颗粒合成处理得到第一音频；
在本发明实时例中，可以通过运动量化参数可以触发生成动作音效，以增强游戏的真实感。具体的，可以将运动量化参数传递到一个音频生成器，通过该音频生成器依据运动量化参数进行处理并输出动作音效。
在具体实现中，游戏应用可以包含GS(Granular Synthesis，颗粒合成)组件。该GS组件中集成了颗粒合成的处理逻辑，其中，颗粒合成是一种生成声音的方法，该方法包括以一些程序定义的顺序播放现有音频文件的微小区域(颗粒)。在需要生成声音时，可以通过执行GS组件中的颗粒合成的处理逻辑，从而根据运动量化参数进行颗粒合成处理得到第一音频。其中，通过颗粒合成组件生成的第一音频是声音的材质织体。
步骤104，将所述运动量化参数进行阈值比较以得到第二音频；
在本发明实施例中，除了通过颗粒合成的方式生成第一音频，还可以通过注册触发器的方式，在触发器被触发时生成短声音，即通过运动量化参数进行阈值比较，以在运动量化参数达到设置的阈值时生成第二音频，以进一步丰富音频的表现效果。
作为一种示例，第二音频可以为声音Sound Sweetener声音甜味剂，声音甜味剂Sound Sweetener是声音设计中的一个的通用术语，指的是一些短声音，这些短声音对听者Listener来说本身并不明显，但会为声音增添一些元素以彰显其特征，并改善听觉感受。具体的，游戏应用中可以包含SP(Sweetener Player，甜味剂播放器)组件，该甜味剂播放器可以通过播放非常短的声音来对快速变化的QOM做出反应，因此，可以利用SP可以生成所需要的声音甜味剂。
在具体实现中，游戏应用中还可以包括ST(Schmidt trigger，施密特触发器)组件，通过ST组件设置触发条件，当运动量化参数达到预设阈值时，则ST组件被触发，生成触发命令，然后将触发命令传输到SP组件，通过SP组件确定第二音频，其中，SP组件是一个简单的样本播放，通过响应施密特触发器产生的触发命令，可以向每个播放器上传一些简短的声音甜味剂。SP组件具有一个参数sample index，用于定义下一个触发命令将播放哪个样本；该参数可在用户定义的范围内随机化。需要说明的是，sample index并非一开始就是随机的，游戏引擎可以基于其他游戏逻辑选择任何样本索引，但是，本发明实施例的方法已经包含随机化以辅助通常的声音设计工作流程，音效设计师可以控制这种随机程度。
步骤105，对所述第一音频和所述第二音频进行混音处理得到动作音效。
在生成音频之后，可以进一步对生成的音频进行混音处理以得到所需要的动作音效。具体的，游戏应用还可以包含Mix(混音器)组件，通过将生成的音频传递到Mix组件，采用Mix组件对接收到的音频进行混音处理得到动作音效。
在具体实现中，当运动量化参数满足设置的阈值时，则生成对应的第二音频，可以通过Mix组件对第一音频和第二音频进行混音处理生成动作音效。当运动量化参数不满足设置的阈值时，则未触发生成对应的第二音频，可以通过Mix组件对第一音频进行混音处理生成动作音效。
在游戏得应用情境中，在通过Mix组件进行混音处理得到动作音效之后，还可以进一步播放该动作音效。
在本发明的一种优选实施例中，所述根据所述运动量化参数进行颗粒合成处理得到第一音频，包括：
确定与所述运动量化参数匹配的音频片段；对所述音频片段进行重采样处理得到新的播放速度，并根据所述新的播放速度调整所述音频片段的时间包络得到音频样本颗粒；根据预设音量对所述音频样本颗粒进行衰减处理或放大处理，以得到第一音频。
在本发明实施例中，可以通过颗粒合成器来根据运动量化参数生成第一音频。具体的，可以预先针对虚拟角色的运动制作一些音频片段，在进行拟音时，从预先制作的音频片段中确定与运动量化参数匹配的音频片段，对音频片段进行重采样处理得到新的播放速度，并根据新的播放速度调整音频片段的时间包络得到音频样本颗粒，例如，可以将汉恩函数(Hann function)应用于该音频片段，从而调整音频片段的时间包络，得到音频样本颗粒。在调整音频片段的时间包络之后，可以，根据预设音量对音频样本颗粒进行衰减处理或放大处理以得到第一音频，具体的，可以将所得到的音频样本颗粒写入预设缓冲区，根据预设音量对音频样本颗粒进行衰减处理或放大处理，从预设缓冲区中输出处理后的所述音频样本颗粒得到第一音频。其中，预设音量可以是第一终端设备上设置的音量。
在本发明的一种优选实施例中，所述根据所述运动量化参数进行颗粒合成处理得到第一音频，包括：
通过预设时间间隔或实时触发，根据所述运动量化参数进行颗粒合成处理得到第一音频。
在本发明实施例中，颗粒合成器中可以包含定时器，通过注册定时器的方式，设置预设时间间隔以定时触发执行颗粒合成器中的处理逻辑，使用在定时器触发的一个时间段内的运动量化参数，根据这些运动量化参数进行颗粒合成处理得到第一音频，其中，从定时器开始计时的时间到结束的时间为定时器触发的一个时间段内。此外，还可以通过实时触发的方式，实时根据运动量化参数进行颗粒合成处理得到第一音频。
在具体实现中，颗粒合成器可以具有以下参数：
1、gate—用于设置打开和关闭计时器；
2、trigger interval—用于设置两个连续的计时器触发事件所需的时间间隔，该触发支持变化，这意味着接下来每一个时间间隔将随机从某个范围中选择，从而在不固定时间间隔中生成颗粒。
下面的参数会影响计时器触发的颗粒播放：
grain position,grain length—用于设置起始位置和长度，用于定义从音频文件中提取的音频片段的开始和结束位置；
grain amp—应用于颗粒波形数据的振幅缩放；
grain speed—重采样因子，用于颗粒来改变其播放速度；
table index—所选表格的规范化索引，用于从中读取波形数据，即每次触发时，可以选择来自不同音频文件的样本。
在具体实现中，在每次定时器触发时，上述参数也可以在一定范围内随机化，从而进一步提高实时生成拟音的多样性。
在本发明的一种优选实施例中，所述步骤104，具体可以包括如下子步骤：
当所述运动量化参数达到预设阈值时，触发确定第二音频。
在本发明实施例中，预设阈值可以是预先设定的临界值，用于判断是否需要生成短声音，例如，可以在虚拟角色加速时需要添加第二音频，则预设阈值可以为加速度的值，还可以在虚拟角色减速时需要添加第二音频，则预设阈值可以为加速度的负值。在具体实现中，通过比较运动量化参数和预设阈值，当运动量化参数达到预设阈值时，触发确定第二音频；当运动量化参数未达到预设阈值时，则不触发生成第二音频。
在本发明的一种优选实施例中，所述当所述运动量化参数达到预设阈值时，触发确定第二音频，包括：
当所述预设阈值具有对应的偏移量时，计算预设阈值与第一偏移量的和值；其中，所述第一偏移量为所述偏移量的二分之一；当所述运动量化参数大于所述和值时，触发确定第二音频。
在本发明实施例中，为了防止在某些情况下误触发，可以针对预设阈值设置偏移量，当预设阈值具有对应的偏移量时，计算预设阈值与第一偏移量的和值，其中，第一偏移量为偏移量的二分之一，当运动量化参数大于和值时，触发确定第二音频。
具体的，ST组件可以具有以下参数：
T(threshold)—一个阈值，当输入升高到该值以上时，将生成触发命令；
H(hysteresis)—阈值的偏移量，用于防止在某些情况下误触发。当H设置为非零值时，激活阈值增加H/2；在触发后，除非输入降低到T-H/2以下，否则不会发生其他触发。
在本发明的一种优选实施例中，所述当所述运动量化参数大于所述和值时，触发确定第二音频，包括：
当所述运动量化参数大于所述和值时，生成包含样本参数的触发命令；根据所述样本参数确定第二音频。
具体的，可以预先针对虚拟角色的运动制作一些短声音，当运动量化参数大于和值时，生成包含样本参数的触发命令，然后根据样本参数确定第二音频。其中，样本参数用于指示所需要播放的短声音样本，在具体实现中，ST组件可以具有参数：sample index，用于定义下一个触发命令将播放哪个短声音样本，该参数可在用户定义的范围内随机变化。
在本发明的一种优选实施例中，在所述步骤103之前，还可以包括如下步骤：
根据所述运动量化参数判断是否需要针对所述虚拟角色生成动作音效。
具体的，上述描述的组件包括一套映射工具，该映射工具用于对应运动数据反应性地生成动作音效。为正常使用，需要配置这些映射工具并将其映射到运动量化参数上，从而根据这些配置生成动作音效的触发条件，以在运动量化参数满足触发条件时，即根据运动量化参数判断需要针对虚拟角色生成动作音效，生成动作音效。
在具体实现中，在配置完成映射工具之后，通过运行映射工具，可以根据运动量化参数判断需要针对游戏中的虚拟角色生成动作音效，当判定需要针对虚拟角色生成动作音效，则可以执行后续的步骤103-105，以根据运动量化参数生成动作音效。
作为一种示例，映射工具可以将GS组件的“gate”参数映射到虚拟角色的速度V_char，从而使其仅在虚拟角色闲逛时起作用，将GS组件的“grain amp”参数映射到虚拟角色的双手的最大速度V_hands_max，使颗粒振幅在每个计时间隔都不同，且与角色的手速有关。此外，还可以将触发器的触发映射到虚拟角色的加速上，以便在虚拟角色开始移动时播放声音；还可以映射另一个触发器映射到虚拟角色的减速上，来对虚拟角色的减速做出反应，从而在虚拟角色停下脚步时播放声音。
为了能够好地理解本发明实施提供的一种游戏中的音效处理方法，如图2示出了本发明实施例的一种整体架构示意图，包括GE游戏引擎、MC运动量化、GS颗粒合成、ST施密特触发器、SP甜味剂播放器、MIX混音器。在游戏运行时，通过GE收集游戏中虚拟角色的运动数据，然后将运动数据传递到MC，通过MC对运动数据进行量化分析得到运动量化参数，并将运动量化参数传递到GS和ST，由GS执行颗粒合成的过程生成第一音频，ST在根据运动量化参数判断符合触发条件时，生成触发命令，并将触发命令传递到SP触发确定第二音频，最后GS和SP分别将第一音频和第二音频传递到MIX进行混音得到动作音效并播放。
通过本发明实施例提供的方案，由于可以实时基于游戏数据生成对应的动作音效，因此声音会始终与动作保持同步，从而解决了拟音与视觉效果不同步的问题。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图3，示出了本发明实施例提供的一种游戏中的音效处理装置的结构框图，所述的装置具体可以包括如下模块：
运动数据获取模块301，用于获取游戏中虚拟角色对应的运动数据；
运动量化模块302，用于根据所述运动数据计算得到运动量化参数；
第一音频生成模块303，用于根据所述运动量化参数进行颗粒合成处理得到第一音频；
第二音频生成模块304，用于将所述运动量化参数进行阈值比较以得到第二音频；
混音模块305，用于对所述第一音频和所述第二音频进行混音处理得到动作音效。
在本发明的一种优选实施例中所述第一音频生成模块303，包括：
音频片段确定单元，用于确定与所述运动量化参数匹配的音频片段；
时间包络调整单元，用于对所述音频片段进行重采样处理得到新的播放速度，并根据所述新的播放速度调整所述音频片段的时间包络得到音频样本颗粒；
颗粒处理单元，用于根据预设音量对所述音频样本颗粒进行衰减处理或放大处理，以得到第一音频。
在本发明的一种优选实施例中所述第一音频生成模块，包括：
定时触发单元，用于通过预设时间间隔或实时触发，根据所述运动量化参数进行颗粒合成处理得到第一音频。
在本发明的一种优选实施例中，所述第二音频生成模块304，包括：
第二音频确定子模块，用于当所述运动量化参数达到预设阈值时，触发确定第二音频。
在本发明的一种优选实施例中，所述第二音频确定子模块，包括：
偏移计算单元，用于当所述预设阈值具有对应的偏移量时，计算预设阈值与第一偏移量的和值；其中，所述第一偏移量为所述偏移量的二分之一；
第二音频生成单元，用于当所述运动量化参数大于所述和值时，触发确定第二音频。
在本发明的一种优选实施例中所述第二音频生成单元，包括：
触发命令生成子单元，用于当所述运动量化参数大于所述和值时，生成包含样本参数的触发命令；
第二音频确定子单元，用于根据所述样本参数确定第二音频。
在本发明的一种优选实施例中，还包括：
判断模块，用于根据所述运动量化参数判断是否需要针对所述虚拟角色生成动作音效。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明实施例还提供了一种电子设备，如图4所示，包括：
处理器401和存储介质402，所述存储介质402存储有所述处理器401可执行的机器可读指令，当电子设备运行时，所述处理器401执行所述机器可读指令，以执行如本发明实施例任一项所述的方法。具体实现方式和技术效果与方法实施例部分类似，这里不再赘述。
本发明实施例还提供了一种计算机可读存储介质，如图5所示，所述存储介质上存储有计算机程序501，所述计算机程序501被处理器运行时执行如本发明实施例任一项所述的方法。具体实现方式和技术效果与方法实施例部分类似，这里不再赘述。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种游戏中的音效处理方法和一种游戏中的音效处理装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种游戏中的音效处理方法，其特征在于，包括：
获取游戏中虚拟角色对应的运动数据；
根据所述运动数据计算得到运动量化参数；
根据所述运动量化参数进行颗粒合成处理得到第一音频；
将所述运动量化参数进行阈值比较以得到第二音频；
对所述第一音频和所述第二音频进行混音处理得到动作音效。
2.根据权利要求1所述的方法，其特征在于，所述根据所述运动量化参数进行颗粒合成处理得到第一音频，包括：
确定与所述运动量化参数匹配的音频片段；
对所述音频片段进行重采样处理得到新的播放速度，并根据所述新的播放速度调整所述音频片段的时间包络得到音频样本颗粒；
根据预设音量对所述音频样本颗粒进行衰减处理或放大处理，以得到第一音频。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述运动量化参数进行颗粒合成处理得到第一音频，包括：
通过预设时间间隔或实时触发，根据所述运动量化参数进行颗粒合成处理得到第一音频。
4.根据权利要求1所述的方法，其特征在于，所述将所述运动量化参数进行阈值比较以得到第二音频，包括：
当所述运动量化参数达到预设阈值时，触发确定第二音频。
5.根据权利要求4所述的方法，其特征在于，所述当所述运动量化参数达到预设阈值时，触发确定第二音频，包括：
当所述预设阈值具有对应的偏移量时，计算预设阈值与第一偏移量的和值；其中，所述第一偏移量为所述偏移量的二分之一；
当所述运动量化参数大于所述和值时，触发确定第二音频。
6.根据权利要求5所述的方法，其特征在于，所述当所述运动量化参数大于所述和值时，触发确定第二音频，包括：
当所述运动量化参数大于所述和值时，生成包含样本参数的触发命令；
根据所述样本参数确定第二音频。
7.根据权利要求1所述的方法，其特征在于，在所述根据所述运动量化参数进行颗粒合成处理得到第一音频的步骤之前，还包括：
根据所述运动量化参数判断是否需要针对所述虚拟角色生成动作音效。
8.一种游戏中的音效处理装置，其特征在于，包括：
运动数据获取模块，用于获取游戏中虚拟角色对应的运动数据；
运动量化模块，用于根据所述运动数据计算得到运动量化参数；
第一音频生成模块，用于根据所述运动量化参数进行颗粒合成处理得到第一音频；
第二音频生成模块，用于将所述运动量化参数进行阈值比较以得到第二音频；
混音模块，用于对所述第一音频和所述第二音频进行混音处理得到动作音效。
9.一种电子设备，其特征在于，包括：
处理器和存储介质，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器执行所述机器可读指令，以执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110579764.0A CN113332723B (zh) | 2021-05-26 | 一种游戏中的音效处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110579764.0A CN113332723B (zh) | 2021-05-26 | 一种游戏中的音效处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113332723A true CN113332723A (zh) | 2021-09-03 |
| CN113332723B CN113332723B (zh) | 2024-06-25 |
Family
ID=
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114917585A (zh) * | 2022-06-24 | 2022-08-19 | 四川省商投信息技术有限责任公司 | 一种音效生成方法及系统 |
| CN115487502A (zh) * | 2022-09-29 | 2022-12-20 | 深圳市手心游戏科技有限公司 | 一种游戏空间音效的合成方法、装置和计算机设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060068058A1 (en) * | 2004-09-30 | 2006-03-30 | Cadbury Adams Usa Llc | Thermally stable, high tensile strength encapsulation compositions for actives |
| CN103513766A (zh) * | 2012-06-14 | 2014-01-15 | 英默森公司 | 使用颗粒合成的触觉效果转换系统 |
| KR20140146346A (ko) * | 2013-06-17 | 2014-12-26 | 삼성전자주식회사 | 파지된 물체를 이용한 모션을 인식하는 장치 및 방법, 시스템 |
| US20150057779A1 (en) * | 2013-08-26 | 2015-02-26 | Dolby Laboratories Licensing Corporation | Live Engine |
| CN107820166A (zh) * | 2017-11-01 | 2018-03-20 | 江汉大学 | 一种声音对象的动态渲染方法 |
| CN108268136A (zh) * | 2017-01-04 | 2018-07-10 | 2236008安大略有限公司 | 三维仿真系统 |
| CN109089156A (zh) * | 2018-09-19 | 2018-12-25 | 腾讯科技（深圳）有限公司 | 一种音效调节方法、装置及终端 |
| CN112451968A (zh) * | 2020-11-25 | 2021-03-09 | 努比亚技术有限公司 | 游戏声音控制方法、移动终端及计算机可读存储介质 |
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060068058A1 (en) * | 2004-09-30 | 2006-03-30 | Cadbury Adams Usa Llc | Thermally stable, high tensile strength encapsulation compositions for actives |
| CN103513766A (zh) * | 2012-06-14 | 2014-01-15 | 英默森公司 | 使用颗粒合成的触觉效果转换系统 |
| KR20140146346A (ko) * | 2013-06-17 | 2014-12-26 | 삼성전자주식회사 | 파지된 물체를 이용한 모션을 인식하는 장치 및 방법, 시스템 |
| US20150057779A1 (en) * | 2013-08-26 | 2015-02-26 | Dolby Laboratories Licensing Corporation | Live Engine |
| CN108268136A (zh) * | 2017-01-04 | 2018-07-10 | 2236008安大略有限公司 | 三维仿真系统 |
| CN107820166A (zh) * | 2017-11-01 | 2018-03-20 | 江汉大学 | 一种声音对象的动态渲染方法 |
| CN109089156A (zh) * | 2018-09-19 | 2018-12-25 | 腾讯科技（深圳）有限公司 | 一种音效调节方法、装置及终端 |
| CN112451968A (zh) * | 2020-11-25 | 2021-03-09 | 努比亚技术有限公司 | 游戏声音控制方法、移动终端及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| SU, F ET AL.: "Procedurally-Generated Audio for Soft-Body Animations", 《2018 CONFERENCE ON INTERACTION WITH SOUND (AUDIO MOSTLY): SOUND IN IMMERSION AND EMOTION》, pages 1 - 4 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114917585A (zh) * | 2022-06-24 | 2022-08-19 | 四川省商投信息技术有限责任公司 | 一种音效生成方法及系统 |
| CN115487502A (zh) * | 2022-09-29 | 2022-12-20 | 深圳市手心游戏科技有限公司 | 一种游戏空间音效的合成方法、装置和计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9741146B1 (en) | Kinetic energy smoother | |
| JP4822553B2 (ja) | ゲーム装置、ゲームプログラム、コンピュータ読み取り可能な情報記憶媒体、ゲームシステムおよびゲーム処理方法 | |
| CN109690450A (zh) | Vr场景下的角色模拟方法和终端设备 | |
| US20110293144A1 (en) | Method and System for Rendering an Entertainment Animation | |
| US20100022305A1 (en) | Program, information storage medium, image generation system, and image/sound control method | |
| CN101854986A (zh) | 运动动画制作方法和设备 | |
| JP2007259881A (ja) | ゲームシステム、ゲーム制御方法、ならびに、プログラム | |
| CN111467804B (zh) | 一种游戏中的受击处理方法和装置 | |
| US20200301814A1 (en) | System for testing command execution latency within an application | |
| US11904238B2 (en) | System for testing command execution latency within a video game | |
| JP2008250813A (ja) | 画像生成装置、画像処理方法、および、プログラム | |
| US11670030B2 (en) | Enhanced animation generation based on video with local phase | |
| CN114053688A (zh) | 在线体感斗舞方法、装置、计算机设备及存储介质 | |
| Bastos et al. | Assessing the experience of immersion in electronic games | |
| CN109120990A (zh) | 直播方法、装置和存储介质 | |
| CN114570017A (zh) | 游戏中游戏对象位置同步方法、装置、电子设备 | |
| CN113332723A (zh) | 一种游戏中的音效处理方法及装置 | |
| CN113332723B (zh) | 一种游戏中的音效处理方法及装置 | |
| CN112642149A (zh) | 游戏动画更新方法、装置及计算机可读存储介质 | |
| CN105892680A (zh) | 基于虚拟现实头盔的交互设备控制方法及装置 | |
| KR102495213B1 (ko) | 증강 현실 기반의 스크린 스포츠 체험 장치 및 방법 | |
| CN111714875A (zh) | 用于在视频游戏中测试命令执行延迟的系统 | |
| CN106492460B (zh) | 一种数据的压缩方法和设备 | |
| Iwamoto et al. | DanceDJ: A 3D dance animation authoring system for live performance | |
| GB2510438A (en) | Interacting with audio and animation data delivered to a mobile device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |