CN117528337A - 音频处理方法、装置、电子设备和介质 - Google Patents

Abstract

本公开的实施例涉及音频处理方法、装置、电子设备和介质。方法包括获取多个音轨的响度参数。方法还包括基于多个音轨的类型确定多个音轨各自的目标响度。方法还包括基于目标响度和响度参数，调整多个音轨中的至少一个音轨的响度。方法还包括基于响度经调整的至少一个音轨来生成音频或视频。基于这种方式，能够对所创作的音频或视频中的多个音轨的响度进行均衡的设置，达到多个音轨之间的协调性，所得到的音频或视频具有良好且一致的听感效果，提高了用户体验。

Description

音频处理方法、装置、电子设备和介质

技术领域

本公开的实施例涉及音频处理技术领域，并且更具体地，涉及音频处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

音频或视频可以包括多个音轨，例如语音、背景音乐、录音、视频原声等。在音视频创作过程中，多个音轨之间的响度搭配是否适宜，直接影响音频或视频的听感效果和用户体验。

常见的多音轨响度搭配是通过用户手动调节来实现的。视频用户基于个人听感，不断手动调节多个音轨的响度，从而达到令人满意的效果。这种手动调节方式要求反复调节各个音轨的响度，费时费力。

发明内容

有鉴于此，本公开的实施例提出了一种音频处理方案，用于对音频或视频中的多个音轨的响度进行均衡。

根据本公开的第一方面，提供了一种音频处理方法。方法包括获取多个音轨的响度参数。方法还包括基于多个音轨的类型确定多个音轨各自的目标响度。方法还包括基于目标响度和响度参数，调整多个音轨中的至少一个音轨的响度。方法还包括基于经响度调整的至少一个音轨来生成音频或视频。基于这种方式，能够对所创作的音频或视频中的多个音轨的响度进行均衡设置，达到多个音轨之间的协调性，所得到的音频或视频具有良好且一致的听感效果，提高了用户体验。

在第一方面的一些实施例中，多个音轨至少包括第一类型的第一音轨和第二类型的第二音轨，并且基于多个音轨的类型确定多个音轨的目标响度可以包括：基于第一音轨的第一类型，将第一音轨的目标响度确定为第一目标响度，并且，基于第二音轨的第二类型，将第二音轨的目标响度确定为与第一目标响度不同的第二目标响度。基于这种方式，能够对不同类型的音轨的响度进行差异化设置，提高了用户听感效果。

在第一方面的一些实施例中，第一音轨的第一类型指示第一音轨包括语音，第二音轨的第二类型指示第二音轨不包括语音，其中第一目标响度大于第二目标响度。基于这种方式，能够为人声设置更大的响度，确保用户能够听清楚人声内容，由此提高用户听感效果。

在第一方面的一些实施例中，确定多个音轨各自的目标响度可以包括：将多个音轨中的第一音轨确定为主音轨；确定第一音轨的第一目标响度；以及基于多个音轨中的第二音轨的类型和第一目标响度，确定第二音轨的第二目标响度。基于这种方式，能够将多个音轨的响度进行协同设置，实现多个音轨之间的协调性。

在第一方面的一些实施例中，方法还可以包括基于用户输入来确定多个音轨中的音轨的目标响度。基于这种方式，使用户能够为音轨设置个性化的响度。

在第一方面的一些实施例中，确定多个音轨各自的目标响度可以包括：基于历史用户输入来确定多个音轨各自的目标响度。基于这种方式，能够使音轨的响度与用户习惯相适应，减少了用户操作。

在第一方面的一些实施例中，获取多个音轨的响度参数可以包括：获取多个音轨中的每个音轨的最大响度、最小响度和平均响度。

在第一方面的一些实施例中，调整多个音轨的响度可以包括：针对每个音轨，基于音轨的平均响度和目标响度之间的差值和参数调整系数，确定增益；基于最小响度和增益，确定触发阈值；基于最大响度、最小响度和平均响度，确定压缩比；以及基于增益、触发阈值和压缩比，调整音轨的响度。基于这种方式，能够基于音轨本身的声学特性来调整其响度，避免过度调节。

在一些实施例中，调整多个音轨中的至少一个音轨的响度可以包括调整以下至少一项：电平、满量程分贝(dBfs)、均方根分贝(dBRMS)和满量程响度(LUFS)。

根据本公开的第二方面，提供了一种音频处理装置。装置包括响度参数获取单元、目标响度确定单元、响度调整单元和生成单元。响度参数获取单元被配置为获取多个音轨的响度参数。目标响度确定单元被配置为基于多个音轨的类型来确定多个音轨各自的目标响度。响度调整单元被配置为基于目标响度和响度参数来调整多个音轨中的至少一个音轨的响度。生成单元被配置为基于经响度调整的至少一个音轨来生成音频或视频。

第二方面的一些实施例可以具有实现第一方面所述的动作或功能的单元，其所能达到的有益效果与第一方面也类似。为了简洁起见，这里不再重复。

根据本公开的第三方面，提供了一种电子设备，包括至少一个处理单元和至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令，指令当由至少一个处理单元执行时，使电子设备执行根据本公开的第一方面所述的方法。

根据本公开的第四方面，提供了一种计算机可读存储介质，包括机器可执行指令，机器可执行指令在由设备执行时使设备执行根据本公开的第一方面所述的方法。

根据本公开的第五方面，提供了一种计算机程序产品，包括机器可执行指令，机器可执行指令在由设备执行时使设备执行根据本公开的第一方面所述的方法。

提供发明内容部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或必要特征，也无意限制本公开的范围。

附图说明

通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。

图1示出了本公开的多个实施例能够在其中实现的示例环境的示意图；

图2示出了根据本公开的实施例的音频处理方法的示意流程图；

图3示出了根据本公开的实施例的获取音轨的响度参数的示例过程的示意流程图；

图4示出了根据本公开的实施例的确定多个音轨的目标响度的示例过程的示意流程图；

图5示出了根据本公开的实施例的基于目标响度来调整音轨响度的示例过程的示意流程图；

图6示出了根据本公开的实施例的音频处理装置的示意框图；以及

图7示出了可以用来实施本公开内容的实施例的示例设备的示意性框图。

具体实施方式

可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。

下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

需要注意的是，本文中使用的数字或数值均是为了方便理解本公开的技术，而非限制本公开的范围。

如上所提及的，音频或视频可能包括多个音轨，而多个音轨之间的响度搭配可能存在明显差异或者不均衡，例如，背景音乐音轨的响度较大，甚至盖过了人声，而有的音轨可能响度过小，难以被听清楚。当用户在视听平台上切换浏览音频或视频时，这种音轨之间的响度搭配的差异，可能给带来不佳的听感效果，用户可能被迫需要频繁调整设备音量。

在传统方案中，一些视听平台通过调整音视频的总体响度来保证音视频内容都具有一致的听感效果，这依然无法解决音视频的音轨之间的响度均衡问题。

有鉴于此，本公开的实施例提供了音频处理方法。方法包括获取多个音轨的响度参数。响度参数反映了音轨的响度特性，例如，整个音轨的平均响度，最大响度、最小响度等。方法还包括根据多个音轨的类型来确定各个音轨的目标响度。在一些情况下，目标响度可以根据音轨类型被指定，也可以根据音轨类型和音轨之间的响度关系来确定。目标方法还包括基于目标响度和响度参数，调整多个音轨的响度。方法还包括基于经响度调整的多个音轨来生成音频或视频。基于这种方式，能够对所创作的音频或视频中的多个音轨的响度进行均衡的设置，达到多个音轨之间的协调性，相比于现有技术，所得到的音频或视频具有良好且一致的听感效果，改善了用户体验。

以下参考图1至7详细描述本公开的实施例的实现细节。

图1示出了本公开的多个实施例能够在其中实现的示例环境100的示意图。环境100包括电子设备110。电子设备110可以是具有计算能力的任何设备，例如个人计算机、平板计算机、可穿戴设备、云服务器、大型机和分布式计算系统等。电子设备110可以是单个设备，或者是由多个设备组成的集群。

根据本公开的实施例，电子设备110可以用于接收多个音轨120-1、120-2、120-3(统称为120)，进行音频处理并产生对应的音频或视频130。应理解，音轨的数目可以是任意的，本公开对此不做限制。为方便描述，下文中使用视频130来指代音频或视频130。

电子设备110上可以运行能够用于视频创作的应用。用户可以多个音轨120添加到应用中，来创作视频130。在这种情况下，电子设备110对这些音轨120进行调整以生成视频130。备选地，电子设备110还可以是运行视听平台的服务器，其接收用户已经创建好的包括多个音轨的音频或视频。在这种情况下，电子设备110可以从接收的音频或视频中提取出音轨，对提取的音轨进行调整，以重新生成新的视频。

音轨120可以包括纯音频，也可以包括视频中的音频。如图所示，音轨120可以包括视频中的音轨、作为背景音乐提供的音轨以及作为解说的语音等等。在一些实施例中，音轨120可以具有类型信息，类型可以指示音轨120是人的语音、音乐、录音、视频原声等。类型信息可以是用户提供的，也可以通过音频分类算法(例如，机器学习模型)来获得。

应当理解，图1所示的环境100仅仅是本公开的实施例可以实现于其中的一种示例，不旨在限制本公开的范围。本公开的实施例同样适用于其他系统或架构。

以下结合图2至图5进一步描述本公开的实施例的音频处理方法的示例性过程。

图2示出了根据本公开的实施例的音频处理方法200的示意流程图。过程200可以由图1中的电子设备110来实施。为了方便描述，将参考图1来描述过程200。

在图2的框210，电子设备110获取多个音轨的响度参数。响度参数可以包括各个音轨的平均响度、最大响度和最小响度。在一些实施例中，响度可以通过如下任一个参数来表示：电平、满量程分贝(dBfs)、均方根分贝(dBRMS)和满量程响度(LUFS)。上述参数被编码在音轨120的音频文件中，或者可以从音频文件的编码数据导出。

图3示出了根据本公开的实施例的获取音轨的响度参数的示例过程300的示意流程图。过程300可以是框210的示例实现方式。

在框310，电子设备110确定是否存在多个音轨。如果仅有一个音轨或者更少，则不执行后续动作。如果存在两个或更多个音轨，则方法300前进到框320，电子设备110扫描音轨的音频文件。

在一些实施例中，通过响度扫描技术可以获取音轨的在时间采样点的信号幅值。作为示例，对于wav格式的音轨，电子设备110可以直接获取采样点处的诸如dBFS值的幅值序列。对于经编码或压缩的音轨，电子设备110可以先将解码为wav格式再获取随时间变化的信号幅值。

然后，在框330，电子设备110确定音轨的响度参数。电子设备110可以从信号幅值确定音轨的平均响度、最大响度和最小响度。

音轨的平均响度就是音轨的响度的平均值，可以基于音轨中的各个采样时间点的响度数据而获得。可以基于音轨整个时间跨度来确定音轨的平均响度，例如对于音乐类型的音轨可以这样做。备选地，也可以基于存在最低阈值以上响度的时间来确定音轨的平均响度，例如，对于语音类型的音轨可以这样操作，即，不考虑人说话时的间歇期。

音轨的最大幅值和最小幅值可以针对单个采样点而确定。这种情况下，将音轨的单个采样点处的最大响度或最小响度确定为音轨的最大响度和最小响度。备选地，可以基于一个较短时间区间内(例如，0.1秒或其他)的平均响度而确定最大响度和最小响度。例如，以时间区间作为滑动窗口，确定若干个瞬时响度。进一步地，可以确定出一个最大值作为音轨的最大响度，并且确定出一个最小值作为音轨的最小响度。最大响度、最小响度和平均响度将用于当前音轨的响度调整。

在框340，确定是否所有音轨都已经扫描过。如果还有未扫描的，则返回并重复框320和330的操作。如果是，则在框350，返回所有音轨的响度参数。

继续参考图2，在框220，电子设备110基于多个音轨的类型，确定多个音轨的目标响度。如上所提及的，音轨可以是语音、音乐、录音或其他类型。利用类型信息，可以将各个音轨响度设置为目标响度，从而实现音频或视频内的多个音轨之间的响度均衡。因此，对于不同类型的音轨，分别为其确定不同的目标响度。目标响度从整体上反映所期望的音轨响度水平。

在一些实施例中，预先建立音轨类型与目标响度之间的对应关系。利用这种对应关系，就可以直接从音轨类型得到音轨的目标响度。可以根据广泛采集的用户反馈或根据对音频视频内容的分析而得到这种对应关系。在这种情况下，每个音轨的目标响度是单独确定的，而不依赖于其他音轨的响度。

作为示例，多个音轨可以包括第一类型的第一音轨，第一音轨具有第一类型，并且第一类型指示音轨包括人的语音。这时，根据对应关系，可以将第一音轨的目标响度确定为第一目标响度。作为示例而非限制，当音轨的信号幅值通过dBFS值来表示时，第一目标响度可以是-12dB。对于多个音轨中的第二类型的第二音轨，第二类型指示第二音轨不包括语音，例如第二音轨是音乐，则可以将第二音轨的目标响度确定为第二目标响度。作为示例而非限制，当音轨的信号幅值通过dBFS值来表示时，第二目标响度可以是-16dB。也就是说，在多个音轨中，包含语音的音轨可以具有比其他类型的音轨更大的目标响度。

备选地，音轨的目标响度可以根据另一音轨的目标响度来确定。图4示出了根据本公开的实施例的确定多个音轨的目标响度的另一示例过程400的示意流程图。过程400可以是框220的一种示例实现方式。

在框410，电子设备110将多个音轨中的第一音轨确定为主音轨。作为示例，电子设备110可以将音频或视频的原生音轨确定为主音轨。备选地，还可以由用户来指定作为主音轨的音轨(例如，用户自己创作的解说录音)。

在框420，电子设备110确定第一音轨的第一目标响度。电子设备110可以根据第一音轨的类型来确定其目标响度，例如，通过预先设置的类型和目标响度的对应关系。第一目标响度可以是也可以是预先设置的固定值。

在框430，电子设备110基于多个音轨中的第二音轨的类型和第一目标响度，确定第二音轨的第二目标响度。在一些实施例中，主音轨之外的其他音轨的目标响度可以被确定为不高于主音轨的目标响度。在这一情况下，还考虑音轨的类型来确定其目标响度。

例如，当第二音轨是语音类型时，为了保证听感效果，可以将第二目标响度设置为与第一音轨的目标响度相同。当第二音轨是音乐或其他类型时，可以将第二目标响度设置为小于第一音轨的第一目标响度，例如，低-3dB至-6dB。

另外，在一些实施例中，为了提供个性化需要，电子设备110还可以接收用于设置一个或多个音轨的目标响度的用户输入。例如，如果用户对电子设备110确定的目标响度不满意，则可以选择音轨并确定其所期望的目标响度。

在一些实施例中，电子设备110可以记录用户输入中的目标响度，以便当后续用户创作新的音频或视频时，电子设备110可以基于用户历史输入来确定音轨的目标响度，以满足用户习惯。

基于上述方式，电子设备110可以为每个音轨设置其目标响度。继续参考图2，在框230，电子设备110基于目标响度和响度参数，调整多个音轨中的至少一个音轨的响度。具体地，电子设备110基于每个音轨的目标响度和已获取响度参数(例如，包括最大响度、最小响度、平均响度)分别调整音轨的响度。

电子设备110可以使用动态范围压缩器DRC(dynamic range compressor)来调整音轨的响度。动态范围压缩器可以是一个自动的响度控制器，能够把能量小的信号放大，并且对能量大的信号进行缩小，以达到均衡的效果。在音频处理过程中，动态范围压缩器调整编码在音频文件中的信号幅值的动态范围。取决于信号幅值的具体实现，调整可以包括调整音轨的电平、满量程分贝、均方根分贝和满量程响度中任一个。在使用动态范围压缩器时，还可以预先设置触发其工作的触发阈值，为超过该阈值的幅值设置调整规则。例如，当音频信号幅值超过触发阈值时，将幅值转换为另一个幅值(压缩或放大)。以下参考图5描述调整音轨响度的示例性过程。

图5示出了根据本公开的实施例的基于目标响度来调整音轨响度的过程500的示意流程图。过程500可以是框230的一种示例实现方式。

在框510，电子设备110基于音轨的平均响度和目标响度之间的差值和参数调整系数来确定增益。增益可以被理解为动态范围压缩器对音轨进行全局放大或缩小的程度。例如，如果音轨的平均响度大于目标响度，说明当前音轨的响度比目标响度大，所以要降低其响度，相应的差值为负值，在调整时拉低信号幅值。相反，如果平均响度小于目标响度，说明当前音轨的响度比目标响度小，所以要提高其响度，响应的差值为正值。

在一些实施例中，增益可以被确定为上述差值与参数调整系数之比。参数调整系数可以是例如3.5或其他任何值(例如大于1)。采用这种方式，使得增益对音轨响度做出部分均衡，由动态范围压缩器的其他调整参数在后续再做进一步的均衡，防止过度调节。

在框520，电子设备110基于音轨的最小响度和增益来确定触发阈值。如上所提及，动态范围压缩器对音轨中幅值达到触发阈值的信号进行放大或缩小。这里，结合音轨本身的特性来确定触发阈值。在一些实施例中，触发阈值可以被确定为音轨的最小响度和在框510确定的增益之和。采用这种方式，根据待处理音轨的最小响度来确定触发阈值，从而当信号大于触发阈值时动态范围压缩器工作，避免其过多工作在无效区间。

在框530，电子设备110基于音轨的最大响度、最小响度和平均响度来确定压缩比。压缩比通常用数字来表示。例如，如果压缩比为2，则幅值超过触发阈值的音轨中，2dB对应于1dB的输出。这里，同样结合音轨本身的特征来确定压缩比。

在一些实施例中，压缩比可以被确定为音轨的最大响度和最小响度之间的差值与目标响度和最小响度之间的差值的比值。采用这种方式，能够将音轨调整至目标响度的水平，并且避免了过度调节，例如削波。

在框540，电子设备110基于增益、触发阈值和压缩比，调整音轨的响度。具体地，对于信号幅值在触发阈值以下的信号，电子设备110不处理，对于达到触发阈值的信号，使用增益和压缩比来调整信号幅值。至此，电子设备110完成了对多个音轨的响度的调整。

返回图2，在框240，电子设备110基于响度经调整的多个音轨，生成音频或视频。由此，所生成的音频或视频中的多个音轨是经过响度均衡处理的，音轨之间彼此协调，从而用户具有良好且一致的听感效果。

图6示出了根据本公开的实施例的音频处理装置600的示意框图。装置600可以被布置在电子设备110处。

如图所示，装置600包括响度参数获取单元610、目标响度确定单元620、响度调整单元630和生成单元640。响度参数获取单元610被配置为获取多个音轨的响度参数。目标响度确定单元620被配置为基于多个音轨的类型来确定多个音轨各自的目标响度。响度调整单元630被配置为基于目标响度和响度参数来调整多个音轨中的至少一个音轨的响度。生成单元640被配置为基于经响度调整的至少一个音轨来生成音频或视频。

在一些实施例中，多个音轨可以至少包括第一类型的第一音轨和第二类型的第二音轨，并且目标响度确定单元620可以被配置为基于第一音轨的第一类型，将第一音轨的目标响度确定为第一目标响度，并且基于第二音轨的第二类型，将第二音轨的目标响度确定为与第一目标响度不同的第二目标响度。在一些实施例中，第一音轨的类型指示第一音轨包括语音，第二音轨的类型指示第二音轨不包括语音，第一目标响度被确定为大于第二目标响度。

在一些实施例中，目标响度确定单元620可以被配置为将多个音轨中的第一音轨确定为主音轨，确定第一音轨的第一目标响度，以及基于多个音轨中的第二音轨的类型和第一目标响度，确定第二音轨的第二目标响度。

在一些实施例中，装置600还可以包括输入单元。输入单元被配置为接收用于设置多个音轨中的至少一个音轨的目标响度的用户输入。在一些实施例中，目标响度确定单元620可以被配置为基于用户输入确定多个音轨中的音轨的目标响度。

在一些实施例中，目标响度确定单元620可以被配置为基于历史用户输入来确定多个音轨的目标响度。

在一些实施例中，响度参数获取单元610可以被配置为获取多个音轨中的每个音轨的最大响度、最小响度和平均响度。

在一些实施例中，响度调整单元630可以被配置为针对每个音轨：基于音轨的平均响度和目标响度之间的差值和参数调整系数，确定增益；基于最小响度和增益，确定触发阈值；基于最大响度、最小响度和平均响度，确定压缩比；以及基于增益、触发阈值和压缩比，调整音轨的响度。

在一些实施例中，调整多个音轨的响度包括调整以下至少一项：电平、满量程分贝、均方根分贝和满量程响度。

图7示出了可以用来实施本公开内容的实施例的示例设备700的示意性框图。例如，根据本公开实施例的计算设备110可以由设备700来实施。如图所示，设备700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的计算机程序指令或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序指令，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

上文所描述的各个过程和处理，例如过程200、300、400和/或500，可由处理单元701执行。例如，在一些实施例中，方法过程200、300、400和/或500可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序被加载到RAM 703并由CPU 701执行时，可以执行上文描述的过程200、300、400和/或500的一个或多个动作。

本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施方式，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施方式。在不偏离所说明的各实施方式的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施方式的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施方式。

Claims (13)

1.一种音频处理方法，包括：

获取多个音轨各自的响度参数；

基于所述多个音轨的类型，确定所述多个音轨各自的目标响度；

基于所述目标响度和所述响度参数，调整所述多个音轨中的至少一个音轨的响度；以及

基于经响度调整的所述至少一个音轨，生成音频或视频。

2.根据权利要求1所述的方法，其中，所述多个音轨至少包括第一类型的第一音轨和第二类型的第二音轨，并且所述基于所述多个音轨的类型，确定所述多个音轨各自的目标响度包括：

基于第一音轨的第一类型，将所述第一音轨的目标响度确定为第一目标响度；以及

基于第二音轨的第二类型，将所述第二音轨的目标响度确定为与所述第一目标响度不同的第二目标响度。

3.根据权利要求2所述的方法，其中，所述第一音轨的第一类型指示所述第一音轨包括语音，所述第二音轨的第二类型指示所述第二音轨不包括语音，其中所述第一目标响度被确定为大于所述第二目标响度。

4.根据权利要求1所述的方法，其中，所述确定所述多个音轨各自的目标响度包括：

将所述多个音轨中的第一音轨确定为主音轨；

确定所述第一音轨的第一目标响度；以及

基于所述多个音轨中的第二音轨的类型和所述第一目标响度，确定所述第二音轨的第二目标响度。

5.根据权利要求1所述的方法，所述方法还包括：

基于用户输入来确定所述多个音轨中的音轨的所述目标响度。

6.根据权利要求1所述的方法，其中，所述确定所述多个音轨各自的目标响度包括：

基于历史用户输入来确定所述多个音轨各自的所述目标响度。

7.根据权利要求1所述的方法，其中，所述获取所述多个音轨的响度参数包括：

获取所述多个音轨中的每个音轨的最大响度、最小响度和平均响度。

8.根据权利要求7所述的方法，其中，所述调整所述多个音轨中的至少一个音轨的响度包括：

针对所述至少一个音轨中的每个音轨，

基于所述音轨的所述平均响度和所述目标响度之间的差值和参数调整系数，确定增益；

基于所述最小响度和所述增益，确定触发阈值；

基于所述最大响度、所述最小响度和所述平均响度，确定压缩比；以及

基于所述增益、所述触发阈值和所述压缩比，调整所述音轨的响度。

9.根据权利要求1至8中任一项所述的方法，其中，所述调整所述多个音轨中的至少一个音轨的响度包括调整以下至少一项：电平、满量程分贝、均方根分贝和满量程响度。

10.一种音频处理装置，包括：

响度参数获取单元，被配置为获取多个音轨各自的响度参数；

目标响度确定单元，被配置为基于所述多个音轨的类型来确定所述多个音轨各自的目标响度；

响度调整单元，被配置为基于所述目标响度和所述响度参数来调整所述多个音轨中的至少一个音轨的响度；以及

生成单元，被配置为基于经响度调整的所述至少一个音轨来生成音频或视频。

11.一种电子设备，包括：

至少一个处理单元；和

至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令当由所述至少一个处理单元执行时，使所述电子设备执行根据权利要求1至9中任一项所述的方法。

12.一种计算机可读存储介质，包括机器可执行指令，所述机器可执行指令在由设备执行时使所述设备执行根据权利要求1至9中的任一项所述的方法。

13.一种计算机程序产品，包括机器可执行指令，所述机器可执行指令在由设备执行时使所述设备执行根据权利要求1至9中的任一项所述的方法。