CN111405416B - 立体声录制方法、电子设备及存储介质 - Google Patents
立体声录制方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111405416B CN111405416B CN202010203716.7A CN202010203716A CN111405416B CN 111405416 B CN111405416 B CN 111405416B CN 202010203716 A CN202010203716 A CN 202010203716A CN 111405416 B CN111405416 B CN 111405416B
- Authority
- CN
- China
- Prior art keywords
- audio signal
- compensation
- gain
- target
- microphone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000005236 sound signal Effects 0.000 claims abstract description 425
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 34
- 230000004044 response Effects 0.000 description 25
- 230000006870 function Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 12
- 238000012360 testing method Methods 0.000 description 12
- 238000001228 spectrum Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 5
- 102220621241 Proline-rich membrane anchor 1_S32A_mutation Human genes 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000010998 test method Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/22—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only
- H04R1/24—Structural combinations of separate transducers or of two parts of the same transducer and responsive respectively to two or more frequency ranges
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
Abstract
本公开提供了一种立体声录制方法、电子设备及存储介质，涉及网络技术领域，以解决相关技术中电子设备通过两个麦克风录制立体声效果不佳的问题。该方法包括：获取第一音频信号和第二音频信号，该第一音频信号为电子设备的第一麦克风拾取的一帧音频信号，该第二音频信号为电子设备的第二麦克风拾取的一帧音频信号；对该第一音频信号进行增益补偿，并对该第二音频信号进行增益补偿；并且将增益补偿后的第一音频信号和增益补偿后的第二音频信号合成目标音频信号。该方法可以应用于录制短视频或直播场景中。
Description
技术领域
本公开涉及网络技术领域，尤其涉及一种立体声录制方法、电子设备及存储介质。
背景技术
随着电子技术及网络技术的快速发展，越来越多的电子设备采用多麦克风设计。以手机为例，手机通常设置有两个麦克风(也称为话筒)，在用户使用手机拍摄短视频或者直播时，手机可以通过两个麦克风采集声音，产生立体声信号。
然而，由于录音的两个麦克风的特性未必一致，在录制短视频和直播场景中的位置也有差别，因此在录音时会造成两个声道能量不均衡，导致立体声录音效果不佳。
发明内容
本公开提供一种立体声录制方法、电子设备及存储介质，以至少解决相关技术中电子设备通过两个麦克风录制立体声效果不佳的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种立体声录制方法，应用于电子设备，所述电子设备包括第一麦克风和第二麦克风，所述方法包括：
获取第一音频信号和第二音频信号，所述第一音频信号为所述第一麦克风拾取的一帧音频信号，所述第二音频信号为所述第二麦克风拾取的一帧音频信号；
对所述第一音频信号进行增益补偿，并对所述第二音频信号进行增益补偿；
将增益补偿后的所述第一音频信号和增益补偿后的所述第二音频信号合成目标音频信号。
在一种可能实现方式中，所述对所述第一音频信号进行增益补偿，并对所述第二音频信号进行增益补偿，包括：
若满足目标条件，则采用第一目标补偿系数对所述第一音频信号进行增益补偿，并采用第二目标补偿系数对所述第二音频信号进行增益补偿；
其中，所述第一目标补偿系数和所述第二目标补偿系数为所述目标条件对应的一组补偿系数，不同的目标条件对应不同的一组补偿系数；增益补偿后的所述第一音频信号的性能参数值和增益补偿后的所述第二音频信号的性能参数值之间的差值在目标预设范围内。
在一种可能实现方式中，所述目标条件为第一条件，所述第一条件为：所述第一麦克风的频率特性值和所述第二麦克风的频率特性值之间的差值大于或等于第一预设阈值；所述第一条件对应的一组补偿系数包括针对所述第一麦克风的第一补偿系数和针对所述第二麦克风的第二补偿系数；
所述若满足目标条件，则采用第一目标补偿系数对所述第一音频信号进行增益补偿，并采用第二目标补偿系数对所述第二音频信号进行增益补偿，包括：
若满足所述第一条件，则采用所述第一补偿系数对所述第一音频信号进行增益补偿，并采用所述第二补偿系数对所述第二音频信号进行增益补偿；
其中，增益补偿后的所述第一音频信号的频率响应值和增益补偿后的所述第二音频信号的频率响应值之间的差值在第一预设范围内。
在一种可能实现方式中，采用所述第一补偿系数G01(k)，对所述第一音频信号M01(t，k)进行增益补偿后的音频信号M11(t，k)表示为：M11(t，k)＝M01(t，k)×G01(k)；
采用所述第二补偿系数G02(k)，对所述第二音频信号M02(t，k)进行增益补偿后的音频信号M12(t，k)表示为：M12(t，k)＝M02(t，k)×G02(k)。
在一种可能实现方式中，所述目标条件为第二条件，所述第二条件为：所述电子设备获取所述第一音频信号和所述第二音频信号时处于竖屏录制状态或横屏录制状态；所述第二条件对应的一组补偿系数包括针对所述第一麦克风的第三补偿系数和针对所述第二麦克风的第四补偿系数；
所述若满足目标条件，则采用第一目标补偿系数对所述第一音频信号进行增益补偿，并采用第二目标补偿系数对所述第二音频信号进行增益补偿，包括：
若满足所述第二条件，则采用所述第三补偿系数对所述第一音频信号进行增益补偿，并采用所述第四补偿系数对所述第二音频信号进行增益补偿；
其中，增益补偿后的所述第一音频信号的音量值和增益补偿后的所述第二音频信号的音量值之间的差值在第二预设范围内。
在一种可能实现方式中，采用所述第三补偿系数G11(k)，对所述第一音频信号M01(t，k)进行增益补偿后的音频信号M21(t，k)表示为：M21(t，k)＝M01(t，k)×G11(k)；
采用所述第四补偿系数G12(k)，对所述第二音频信号M02(t，k)进行增益补偿后的音频信号M22(t，k)表示为：M22(t，k)＝M02(t，k)×G12(k)。
在一种可能实现方式中，所述目标条件为第三条件，所述第三条件为：所述电子设备获取所述第一音频信号和所述第二音频信号时输出音频信号；所述第二条件对应的一组补偿系数包括针对所述第一麦克风的第五补偿系数和针对所述第二麦克风的第六补偿系数；
所述若满足目标条件，则采用第一目标补偿系数对所述第一音频信号进行增益补偿，并采用第二目标补偿系数对所述第二音频信号进行增益补偿，包括：
若满足所述第三条件，则采用所述第五补偿系数对所述第一音频信号进行增益补偿，并采用所述第六补偿系数对所述第二音频信号进行增益补偿；
其中，增益补偿后的所述第一音频信号的音量值和增益补偿后的所述第二音频信号的音量值之间的差值在第三预设范围内。
在一种可能实现方式中，采用所述第五补偿系数β，对所述第一音频信号M01(t，k)进行增益补偿后的音频信号M31(t，k)表示为：M31(t，k)＝β×((M01(t，k)+M02(t，k))/2)+(1-β)×M01(t，k)，0≤β≤1；
采用所述第六补偿系数β，对所述第二音频信号M02(t，k)进行增益补偿后的音频信号M32(t，k)表示为：M32(t，k)＝β×((M01(t，k)+M02(t，k))/2)+(1-β)×M02(t，k)。
根据本公开实施例的第二方面，提供一种电子设备，包括第一麦克风和第二麦克风，所述电子设备包括获取模块、增益补偿模块和合成模块；
所述获取模块，被配置为获取第一音频信号和第二音频信号，所述第一音频信号为所述第一麦克风拾取的一帧音频信号，所述第二音频信号为所述第二麦克风拾取的一帧音频信号；
所述增益补偿模块，被配置为对所述获取模块获取的所述第一音频信号进行增益补偿，并对所述获取模块获取的所述第二音频信号进行增益补偿；
所述合成模块，被配置为将增益补偿后的所述第一音频信号和增益补偿后的所述第二音频信号合成目标音频信号。
可选的，本公开实施例中，所述增益补偿模块，具体被配置为若满足目标条件，则采用第一目标补偿系数对所述第一音频信号进行增益补偿，并采用第二目标补偿系数对所述第二音频信号进行增益补偿；
其中，所述第一目标补偿系数和所述第二目标补偿系数为所述目标条件对应的一组补偿系数，不同的目标条件对应不同的一组补偿系数；增益补偿后的所述第一音频信号的性能参数值和增益补偿后的所述第二音频信号的性能参数值之间的差值在目标预设范围内。
在一种可能实现方式中，所述目标条件为第一条件，所述第一条件为：所述第一麦克风的频率特性值和所述第二麦克风的频率特性值之间的差值大于或等于第一预设阈值；所述第一条件对应的一组补偿系数包括针对所述第一麦克风的第一补偿系数和针对所述第二麦克风的第二补偿系数；
所述增益补偿模块，具体被配置为若满足所述第一条件，则采用所述第一补偿系数对所述第一音频信号进行增益补偿，并采用所述第二补偿系数对所述第二音频信号进行增益补偿；
其中，增益补偿后的所述第一音频信号的频率响应值和增益补偿后的所述第二音频信号的频率响应值之间的差值在第一预设范围内。
可选的，在本公开实施例中，所述增益补偿模块采用所述第一补偿系数G01(k)，对所述第一音频信号M01(t，k)进行增益补偿后的音频信号M11(t，k)表示为：
M11(t，k)＝M01(t，k)×G01(k)；
所述增益补偿模块采用所述第二补偿系数G02(k)，对所述第二音频信号M02(t，k)进行增益补偿后的音频信号M12(t，k)表示为：
M12(t，k)＝M02(t，k)×G02(k)。
在另一种可能实现方式中，所述目标条件为第二条件，所述第二条件为：所述电子设备获取所述第一音频信号和所述第二音频信号时处于竖屏录制状态或横屏录制状态；所述第二条件对应的一组补偿系数包括针对所述第一麦克风的第三补偿系数和针对所述第二麦克风的第四补偿系数；
所述增益补偿模块，具体被配置为若满足所述第二条件，则采用所述第三补偿系数对所述第一音频信号进行增益补偿，并采用所述第四补偿系数对所述第二音频信号进行增益补偿；
其中，增益补偿后的所述第一音频信号的音量值和增益补偿后的所述第二音频信号的音量值之间的差值在第二预设范围内。
可选的，在本公开实施例中，所述增益补偿模块采用所述第三补偿系数G11(k)，对所述第一音频信号M01(t，k)进行增益补偿后的音频信号M21(t，k)表示为：
M21(t，k)＝M01(t，k)×G11(k)；
所述增益补偿模块采用所述第四补偿系数G12(k)，对所述第二音频信号M02(t，k)进行增益补偿后的音频信号M22(t，k)表示为：
M22(t，k)＝M02(t，k)×G12(k)。
在再一种可能实现方式中，所述目标条件为第三条件，所述第三条件为：所述电子设备获取所述第一音频信号和所述第二音频信号时输出音频信号；所述第三条件对应的一组补偿系数包括针对所述第一麦克风的第五补偿系数和针对所述第二麦克风的第六补偿系数；
所述增益补偿模块，具体被配置为若满足所述第三条件，则采用所述第五补偿系数对所述第一音频信号进行增益补偿，并采用所述第六补偿系数对所述第二音频信号进行增益补偿；
其中，增益补偿后的所述第一音频信号的音量值和增益补偿后的所述第二音频信号的音量值之间的差值在第三预设范围内。
可选的，在本公开实施例中，所述增益补偿模块采用所述第五补偿系数β，对所述第一音频信号M01(t，k)进行增益补偿后的音频信号M31(t，k)表示为：
M31(t，k)＝β×((M01(t，k)+M02(t，k))/2)+(1-β)×M01(t，k)，0≤β≤1；
所述增益补偿模块采用所述第六补偿系数β，对所述第二音频信号M02(t，k)进行增益补偿后的音频信号M32(t，k)表示为：
M32(t，k)＝β×((M01(t，k)+M02(t，k))/2)+(1-β)×M02(t，k)。
根据本公开实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储该处理器可执行指令的存储器；
其中，该处理器被配置为执行指令，以实现如上述第一方面或第一方面的任一种可能实现方式所述的立体声录制方法。
根据本公开实施例的第四方面，提供一种存储介质，当该存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述第一方面或第一方面的任一种可能实现方式所述的立体声录制方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，当该计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述第一方面或第一方面的任一种可能实现方式所述的立体声录制方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
本公开实施例可以应用于在短视频或者直播过程中电子设备通过两个麦克风拾取音频信号生成立体声信号的场景中，通过该方案，电子设备可以分别对第一音频信号和第二音频信号进行增益补偿，使得增益补偿后的第一音频信号和增益补偿后的第二音频信号在声道能量上相对均衡，从而可以基于这两路增益补偿后的音频信号生成音频立体体验效果更好的立体声，从而可以提升短视频或直播的场景中的立体声效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种立体声录制方法的实施环境示意图。
图2是根据一示例性实施例示出的一种立体声录制方法中不同型号的两个麦克风拾取的音频信号的频谱示意图。
图3是根据一示例性实施例示出的一种立体声录制方法的流程图。
图4是根据一示例性实施例示出的一种立体声录制方法中用于测试补偿参数的场景示意图之一。
图5是根据一示例性实施例示出的一种立体声录制方法中用于测试补偿参数的场景示意图之二。
图6是根据一示例性实施例示出的一种电子设备的框图。
图7是根据一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种实施环境的架构图，如图1所示，下述立体声录制方法可以应用于该实施环境中。该实施环境包括电子设备01和服务器02。其中，电子设备01和服务器02可以通过网络互连并通信。
其中，电子设备01可以为能够录制音频数据的设备。电子设备01可以通过两个麦克风，从周围环境获取两路音频数据，并对该两路音频数据进行处理，得到立体声音频数据，然后向服务器02发送该立体声音频数据；或者，电子设备01可以将该立体声音频数据存储到本地。
电子设备01可以是任何一种可与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品，例如手机、平板电脑、掌上电脑、个人计算机(Personal Computer，PC)、可穿戴设备、智能电视等。
服务器02可以是一台服务器，也可以是由多台服务器组成的服务器集群，或者是一个云计算服务中心。服务器02可以包括处理器、存储器以及网络接口等。
本领域技术人员应能理解上述电子设备和服务器仅为举例，其他现有的或今后可能出现的电子设备或服务器如可适用于本公开，也应包含在本公开保护范围以内，并在此以引用方式包含于此。
目前，相关技术中电子设备直接用两个麦克风采集的声音作为立体声，在短视频或直播应用中可能会存在如下缺陷：
一方面，由于录音的两个麦克风的性能指标(例如频响特性)未必一致，因此在录制短视频或直播场景中，录音时会出现两个声道能量不均衡的情况。如果两个声道能量差异明显，那么会严重影响立体声效果。
另一方面，由于录音的两个麦克风在电子设备上的设置位置有差别且朝向也可能不同，如图2中的(a)所示，电子设备上端设置有麦克风21以及下端设置有麦克风22，且麦克风21超前设置而麦克风22朝下设置，因此在录制短视频或直播场景中，两个麦克风在拾取主播声音时会出现两个声道能量不均衡的情况。如果两个声道能量差异明显，那么会严重影响立体声效果。
再一方面，在短视频或直播场景中，主播用户通常会播放背景音乐(BackgroundMusic，BGM)，如图2中的(a)所示，外放的BGM从电子设备的扬声器23播出，由于扬声器23与麦克风21和麦克风22距离不同(麦克风22距离扬声器23较近，麦克风21距离扬声器23较远)，因此如图2中的(b)所示，麦克风22采集的声道能量24会远远大于另一个麦克风21采集的声道能量25，出现两个声道能量不均衡的情况。如果两个声道能量差异明显，那么会严重影响立体声效果。
鉴于此，本公开实施例提出一种短视频或直播场景中立体声录制的方案设计，本公开实施例旨在解决在短视频或直播场景中，立体声采集的两个声道能量不均衡的问题，以改善立体声效果。
本发明实施例提供的立体声录制方法的执行主体可以为上述的电子设备，也可以为该电子设备中能够实现该立体声录制方法的功能模块和/或功能实体，具体的可以根据实际使用需求确定，本发明实施例不作限定。下面以电子设备为例，结合各个附图，对本发明实施例提供的立体声录制方法进行示例性的说明。
图3是根据一示例性实施例示出的一种立体声录制方法的流程图，该立体声录制方法应用于电子设备，该电子设备包括第一麦克风和第二麦克风。如图3所示，立体声录制方法包括以下步骤S31-步骤S33。
在步骤S31中，电子设备获取第一音频信号和第二音频信号。
其中，该第一音频信号为第一麦克风拾取的一帧音频信号，第二音频信号为第二麦克风拾取的一帧音频信号。
本公开实施例中，在主播用户录制短视频或直播的场景中，主播用户讲话或唱歌时，电子设备可以通过两个麦克风分别拾取主播用户的音频信号(即语音信号或声音信号)，形成两路声道。
需要说明的是，电子设备通常通过麦克风可以拾取连续多帧的音频信号，这里为了便于描述，从一帧音频信号的角度来说明对音频信号进行增益补偿的原理。可以理解，如何对连续多帧音频信号进行增益补偿，可以基于对一帧音频信号进行增益补偿来实现。
在步骤S32中，电子设备对第一音频信号进行增益补偿，并对第二音频信号进行增益补偿。
如上所述，在录制短视频或直播场景中，两个麦克风在拾取主播声音时会出现两个声道能量不均衡的情况。如果两个声道能量差异明显，那么会严重影响立体声效果。为了解决在短视频或直播场景中，立体声采集的两个声道能量不均衡的问题，本公开实施例中通过对第一音频信号和第二音频信号进行增益补偿，使得两个声道能量相对均衡，以提升立体声效果。
其中，第一音频信号和第二音频信号可以均为频域音频信号，或者，第一音频信号和第二音频信号可以均为时频域音频信号。具体可以根据实际使用需求确定，本公开实施例不作限定。
具体的，第一麦克风拾取的音频信号和第二麦克风拾取的音频信号通常均为时域音频信号。电子设备可以先对麦克风拾取的时域音频信号进行模数转换或傅里叶变换处理，得到频域音频信号或时频域音频信号，然后再对该频域音频信号或时频域音频信号进行增益补偿。
其中，电子设备对第一音频信号进行增益补偿，并对第二音频信号进行增益补偿，使得增益补偿后的第一音频信号和增益补偿后的第二音频信号在声道能量上相对均衡。
需要说明的是，上述电子设备对第一音频信号进行增益补偿，并对第二音频信号进行增益补偿可以涵盖下述几种情况：
(1)针对第一音频信号的增益补偿系数不为1，针对第二音频信号的增益补偿为1；
即，在实际实现时，电子设备对第一音频信号进行增益补偿即可，无需对第二音频信号进行增益补偿。
(2)针对第一音频信号的增益补偿系数为1，针对第二音频信号的增益补偿不为1；
即，在实际实现时，电子设备对第二音频信号进行增益补偿即可，无需对第一音频信号进行增益补偿。
(3)针对第一音频信号的增益补偿系数不为1，针对第二音频信号的增益补偿不为1；
即，在实际实现时，电子设备对第一音频信号和第二音频信号均需要进行增益补偿。
本公开实施例中，在电子设备获取第一音频信号和第二音频信号时，电子设备可以先判断在当前场景下第一音频信号和第二音频信号是否需要进行增益补偿，即判断当前场景是否满足增益补偿条件，在满足条件时电子设备才对第一音频信号和第二音频信号进行增益补偿。
具体的，上述的步骤S32具体可以通过下述的步骤实现。
在步骤S32A中，若满足目标条件，则采用第一目标补偿系数对第一音频信号进行增益补偿，并采用第二目标补偿系数对第二音频信号进行增益补偿；
其中，上述第一目标补偿系数和第二目标补偿系数为目标条件对应的一组补偿系数。不同的目标条件对应不同的一组补偿系数。
本公开实施例中，增益补偿后的第一音频信号的性能参数值和增益补偿后的第二音频信号的性能参数值之间的差值在目标预设范围内。如此，增益补偿后的两个音频信号之间的特性差异被调整到合理范围内，从而可以提升立体声效果。
其中，上述音频信号的性能参数值可以为音频信号的频率响应值，也可以为音频信号的音量值，还可以为其它任意可能的参数值，具体可以根据实际使用需求确定，本公开实施例不作限定。
可选的，上述目标条件可以包括下述的第一条件、第二条件和第三条件中的至少一项。
(1)第一条件为：第一麦克风的频率特性值和第二麦克风的频率特性值之间的差值大于或等于第一预设阈值。
本公开实施例中，上述频率特性值可以为麦克风的频率响应值。上述第一预设阈值可以为根据大量实验数据得到的数值，用于判断两个麦克风的频率响应差异的程度，具体可以根据实际使用需求确定，本公开实施例不作限定。
(2)第二条件为：电子设备获取第一音频信号和第二音频信号时处于竖屏录制状态或横屏录制状态。
本公开实施例中，上述竖屏录制状态可以为电子设备的屏幕所在表面垂直地面且屏幕短边所在直线平行于地面的状态；上述横屏录制状态可以为电子设备的屏幕所在表面垂直地面且屏幕长边所在直线平行于地面的状态。
或者，竖屏录制状态可以指屏幕在处于竖屏状态下进行短视频或直播录制的情形；横屏录制状态可以指屏幕在处于横屏状态下进行短视频或直播录制的情形。
具体的，电子设备可以通过内置的传感器，检测电子设备当前处于竖屏录制状态，还是横屏录制状态。
(3)第三条件为：电子设备获取第一音频信号和第二音频信号时输出音频信号。
本公开实施例中，电子设备可以通过扬声器输出与第一音频信号和第二音频信号不同的音频信号，例如BGM。
示例性的，在通过手机进行直播的场景中，主播用户通常会通过扬声器播放BGM，同时主播用户会对着手机讲话，此时手机的两个麦克风会分别拾取音频信号，此时这两个麦克风拾取的音频信号不但包括用户讲话的声音，还包括扬声器播放的BGM。
本公开实施例中，条件不同，对应的补偿系数不同。每个条件均对应一组补偿系数。
例如，对于第一条件，对应的一组补偿系数包括针对第一麦克风的第一补偿系数和针对第二麦克风的第二补偿系数。
例如，对于第二条件，对应的一组补偿系数包括针对第一麦克风的第三补偿系数和针对第二麦克风的第四补偿系数。
例如，对于第三条件，对应的一组补偿系数包括针对第一麦克风的第五补偿系数和针对第二麦克风的第六补偿系数。
其中，第一补偿系数、第三补偿系数和第五补偿系数均是针对第一麦克风的补偿系数；第二补偿系数、第四补偿系数和第六补偿系数均是针对第二麦克风的补偿系数。
可以理解，上述与目标条件对应的第一目标补偿系数包括以下至少一项：与第一条件对应的第一补偿系数、与第二条件对应的第三补偿系数，以及与第三条件对应的第五补偿系数。上述与目标条件对应的第二目标补偿系数包括以下至少一项：与第一条件对应的第二补偿系数、与第二条件对应的第四补偿系数，以及与第三条件对应的第六补偿系数。
进一步的，由于条件不同，对应的补偿系数不同，因此采用相应补偿系数对两路音频信号补偿后得到的效果也不同。不同条件对应的具体效果将在下文中进行详细描述。
下面通过下述的第一应用场景、第二应用场景、第三应用场景和第四应用场景，示例性的说明在满足不同条件的情况下，对两路音频信号进行增益补偿的具体实现方式以及具体技术效果。
第一应用场景：校准增益补偿
在第一应用场景中，主要说明在满足第一条件的情况下，对两路音频信号进行增益补偿的具体实现方式。校准增益补偿主要解决同一电子设备(例如手机)设置有不同型号的麦克风，会出现由于使用不同型号的两个麦克风而产生频响差异的问题。
在实际实现时，在短视频或直播的场景中，若检测到手机的两个录音麦克风的频率特性差异较大，则可以通过对两个麦克风各自拾取的两路音频信号进行增益补偿，使得两个麦克风的实际录音效果校准一致，相应地这样的增益补偿可称为校准增益补偿。
具体的，上述的步骤S32A具体可以通过下述的步骤S32A1实现。假设与第一条件对应的补偿系数包括针对第一音频信号的第一补偿系数，以及针对第二音频信号的第二补偿系数。
在步骤S32A1中，若满足第一条件，则电子设备采用第一补偿系数对第一音频信号进行增益补偿，并采用第二补偿系数对第二音频信号进行增益补偿。
其中，增益补偿后的第一音频信号的频率响应值和增益补偿后的第二音频信号的频率响应值之间的差值在第一预设范围内。如此，使得在进行增益补偿后，第一音频信号和第二音频信号之间的频率响应差异在合理范围内，从而可以提升立体声效果。
示例性的，若检测到第一麦克风的频率特性值和第二麦克风的频率特性值之间的差值大于或等于第一预设阈值，此时这两个麦克风存在较大频率响应差异，需要进行校准增益补偿，则电子设备采用第一补偿系数对第一音频信号进行增益补偿，并采用第二补偿系数对第二音频信号进行增益补偿，使得增益补偿后的第一音频信号和增益补偿后的第二音频信号在声道能量上相对均衡，以提升立体声效果。
在实际实现时，假设G01(k)表示针对第一麦克风的第一补偿系数，G02(k)表示针对第二麦克风的第二补偿系数。假设第一音频信号M01(t，k)和第二音频信号M02(t，k)分别表示第一麦克风和第二麦克风t帧录音波形的FFT变换。其中，t为帧序列，0<t≤T，T为总帧数；k为中心频率序列0<k≤K，K为总频点数。若帧长为512点，则可得到257个频点信息，即K＝257。
在此情况下，电子设备采用第一补偿系数G01(k)，对第一音频信号M01(t，k)进行增益补偿后的音频信号M11(t，k)可以表示为：
M11(t，k)＝M01(t，k)×G01(k)。 (等式1)
电子设备采用第二补偿系数G02(k)，对第二音频信号M02(t，k)进行增益补偿后的音频信号M12(t，k)可以表示为：
M12(t，k)＝M02(t，k)×G02(k)。 (等式2)
在加载G01(k)和G02(k)后，得到的对应的M11(k)和M12(k)信号可保证两个麦克风在校准后拥有相同的频率响应。若两个麦克风的频率特性相同或差异不大，则无需进行校准增益补偿。
在第一应用场景中，由于不同型号的麦克风，频率响应特性不同，因此在检测到两个麦克风的频率响应特性存在较大差异时，对两路音频信号进行校准增益补偿。
需要说明的是，针对第一麦克风的第一补偿系数以及针对第二麦克风的第二补偿系数可以为函数，也可以为数值，具体可以预先根据大量实验数据确定，具体说明将在下文中描述，此处不予赘述。
第二应用场景：场景增益补偿
在第二应用场景中，主要说明在满足第二条件的情况下，对两路音频信号进行增益补偿的具体实现方式。场景增益补偿主要解决两个麦克风由于屏幕摆放位置差异等因素导致的频响不一致的问题。
在实际实现时，在短视频或直播的场景中，如果检测到手机处于竖屏录制状态或横屏录制状态，由于两个麦克风在电子设备上的设置位置有差别且朝向也可能不同，因此两个麦克风在拾取主播声音时会出现两个声道能量不均衡的情况(在理想状态下，若声源距离两个麦克风距离相同，则两个麦克风对应的声道能量相等)，那么此时电子设备可以通过对两个麦克风各自拾取的两路音频信号进行增益补偿，使得两个声道能量相对均衡。
具体的，上述的步骤S32A具体可以通过下述的步骤S32A2实现。假设与第二条件对应的补偿系数包括针对第一音频信号的第三补偿系数，以及针对第二音频信号的第四补偿系数。
在步骤S32A2中，若满足第二条件，则采用第三补偿系数对第一音频信号进行增益补偿，并采用第四补偿系数对第二音频信号进行增益补偿。
其中，增益补偿后的第一音频信号的音量值和增益补偿后的第二音频信号的音量值之间的差值在第二预设范围内。如此，使得在进行增益补偿后，第一音频信号和第二音频信号之间的音量差异在合理范围内，从而可以提升立体声效果。
示例性的，若检测到电子设备获取第一音频信号和第二音频信号时处于竖屏录制状态或横屏录制状态，此时这两个麦克风由于位置差异会出现频响差异，需要进行场景增益补偿，则电子设备采用第三补偿系数对第一音频信号进行增益补偿，并采用第四补偿系数对第二音频信号进行增益补偿，使得增益补偿后的第一音频信号和增益补偿后的第二音频信号在声道能量上相对均衡，以提升立体声效果。
需要说明的是，竖屏录制状态和横屏录制状态分别有对应的场景补偿增益。竖屏录制状态对应一组补偿系数(针对第一音频信号的第三补偿系数和针对第二音频信号的第四补偿系数)。横屏录制状态对应一组补偿系数(针对第一音频信号的第三补偿系数和针对第二音频信号的第四补偿系数)。
示例性的，在检测到电子设备处于竖屏录制状态的情况下，电子设备可以采用竖屏录制状态对应的第三补偿系数对第一音频信号进行增益补偿，并采用竖屏录制状态对应的第四补偿系数对第二音频信号进行增益补偿。
再示例性的，在检测到电子设备处于横屏录制状态的情况下，电子设备可以采用横屏录制状态对应的第三补偿系数对第一音频信号进行增益补偿，并采用横屏录制状态对应的第四补偿系数对第二音频信号进行增益补偿。
其中，竖屏录制状态和横屏录制状态可以通过传感器检测到。并且，竖屏录制状态对应的一组补偿系数以及横屏录制状态对应的一组补偿系数可以预先根据大量实验数据确定，具体说明将在下文中描述，此处不予赘述。
在此情况下，电子设备采用第三补偿系数G11(k)，对第一音频信号M01(t，k)进行增益补偿后的音频信号M21(t，k)可以表示为：
M21(t，k)＝M01(t，k)×G11(k)。 (等式3)
电子设备采用第四补偿系数G12(k)，对第二音频信号M02(t，k)进行增益补偿后的音频信号M22(t，k)可以表示为：
M22(t，k)＝M02(t，k)×G12(k)。 (等式4)
在加载G11(k)和G12(k)之后，得到对应场景的M21(t，k)和M22(t，k)，可保证两个麦克风在校准后拥有相同或近似相同的频率响应，使得两个声道能量相对均衡，以提升立体声效果。
需要说明的是，竖屏录制状态对应的一组补偿系数或者横屏录制状态对应的一组补偿系数(即针对第一麦克风的第三补偿系数以及针对第二麦克风的第四补偿系数)可以为函数，也可以为数值，具体可以预先根据大量实验数据确定，具体说明将在下文中描述，此处不予赘述。
第三应用场景：平衡增益补偿
在第三应用场景中，主要说明在满足第三条件的情况下，对两路音频信号进行增益补偿的具体实现方式。
在实际实现时，在短视频或直播的场景中，如果检测到手机通过扬声器输出音频信号(例如BGM)，由于扬声器与两个麦克风距离不同，一个麦克风采集的声道能量会远远大于另一个麦克风采集的声道能量，因此出现两个声道能量不均衡的情况，那么此时电子设备可以通过对两个麦克风各自拾取的两路音频信号进行增益补偿，使得两个声道能量相对均衡。
具体的，上述的步骤S32A具体可以通过下述的步骤S32A3实现。假设与第三条件对应的补偿系数包括针对第一音频信号的第五补偿系数，以及针对第二音频信号的第六补偿系数。
在步骤S32A3中，若满足第三条件，则采用第五补偿系数对第一音频信号进行增益补偿，并采用第六补偿系数对第二音频信号进行增益补偿。
其中，增益补偿后的第一音频信号的音量值和增益补偿后的第二音频信号的音量值之间的差值在第三预设范围内。如此，使得在进行增益补偿后，第一音频信号和第二音频信号之间的音量差异在合理范围内，从而可以提升立体声效果。
示例性的，若检测到电子设备获取第一音频信号和第二音频信号时输出音频信号，此时这两个麦克风由于与输出音频信号的扬声器距离不同而存在较大频响差异，需要进行平衡增益补偿，则电子设备采用第五补偿系数对第一音频信号进行增益补偿，并采用第六补偿系数对第二音频信号进行增益补偿，使得增益补偿后的第一音频信号和增益补偿后的第二音频信号在声道能量上相对均衡，以提升立体声效果。
需要说明的是，针对第一音频信号的第五补偿系数和针对第二音频信号的第六补偿系数可以相同，例如均为β，可称为平衡增益补偿因子。该平衡增益补偿因子的具体数值可以预先根据大量实验数据或者经验值确定，具体说明将在下文中描述，此处不予赘述。
在此情况下，电子设备采用第五补偿系数β，对第一音频信号M01(t，k)进行增益补偿后的音频信号M31(t，k)表示为：
M31(t，k)＝β×((M01(t，k)+M02(t，k))/2)+(1-β)×M01(t，k)。 (等式5)
电子设备采用第六补偿系数β，对第二音频信号M02(t，k)进行增益补偿后的音频信号M32(t，k)表示为：
M32(t，k)＝β×((M01(t，k)+M02(t，k))/2)+(1-β)×M02(t，k)。 (等式6)
其中，0≤β≤1，若β为1，则经过增益补偿后的两个音频信号大小相等，这导致立体声效果变为单声道效果；若β为0，则相当于不作增益补偿。通常β可以取0～1之间的数值，比如β取0.5，在此情况下可以在立体声效果和音量均衡上折衷。
可以理解，上述通过第一应用场景、第二应用场景和第三应用场景分别说明了在不同应用场景中对两个信道的音频信号进行增益补偿的具体实现方式，在实际实现时，还可能存在上述第一条件、第二条件和第三条件中的任意两个条件满足的情况，也可能存在上述三个条件均满足的情况，这些情况下的具体实现均可以参照上述不同应用场景的具体实现方式。
下面以上述三个条件均满足的情况(称为第四应用场景)为例，示例性地说明本公开实施例对两个信道的音频信号进行增益补偿的具体实现方式。
第四应用场景：校准补偿增益+场景补偿增益+平衡补偿增益
在第一条件满足(即第一麦克风的频率特性值和第二麦克风的频率特性值之间的差值大于或等于第一预设阈值)的情况下，电子设备采用第一补偿系数G01(k)，对第一音频信号M01(t，k)进行增益补偿后的音频信号M11(t，k)，以及采用第二补偿系数G02(k)，对第二音频信号M02(t，k)进行增益补偿后的音频信号M12(t，k)可以表示为：
M11(t，k)＝M01(t，k)×G01(k)。 (等式1)
M12(t，k)＝M02(t，k)×G02(k)。 (等式2)
进一步的，在第二条件满足(即电子设备获取第一音频信号和第二音频信号时处于竖屏录制状态或横屏录制状态)的情况下，电子设备采用第三补偿系数G11(k)，对通过上述等式1补偿后的第一音频信号M11(t，k)进行增益补偿后的音频信号M21(t，k)，以及采用第四补偿系数G12(k)，对通过上述等式2补偿后的第二音频信号M12(t，k)进行增益补偿后的音频信号M22(t，k)可以表示为：
M21(t，k)＝M11(t，k)×G11(k)＝M01(t，k)×G01(k)×G11(k)。 (等式7)
M22(t，k)＝M12(t，k)×G12(k)＝M02(t，k)×G02(k)×G12(k)。 (等式8)
再进一步的，在第三条件满足(即电子设备获取第一音频信号和第二音频信号时输出音频信号)的情况下，电子设备采用第五补偿系数β，对通过上述等式7补偿后的第一音频信号M21(t，k)进行增益补偿后的音频信号M31(t，k)，以及采用第六补偿系数β，对通过上述等式8补偿后的第二音频信号M22(t，k)进行增益补偿后的音频信号M32(t，k)表示为：
M31(t，k)＝β×((M21(t，k)+M22(t，k))/2)+(1-β)×M21(t，k)。 (等式9)
M32(t，k)＝β×((M21(t，k)+M22(t，k))/2)+(1-β)×M22(t，k)。 (等式10)
本公开实施例中，在满足上述三个条件的情况下，对第一音频信号和第二音频信号分别进行校准增益补偿，场景增益补偿以及平衡增益补偿，使得增益补偿后的第一音频信号和增益补偿后的第二音频信号在声道能量上相对均衡，以提升立体声效果。
在步骤S33中，电子设备将增益补偿后的第一音频信号和增益补偿后的第二音频信号合成目标音频信号。
在电子设备对第一音频信号进行增益补偿，并对第二音频信号进行增益补偿之后，增益补偿后的第一音频信号和增益补偿后的第二音频信号在声道能量上相对均衡。从而使得在录制短视频或直播场景中，两个声道能量相对均衡，可提升立体声效果。
本公开实施例提供的立体声录制方法，可以获取第一音频信号和第二音频信号，该第一音频信号为电子设备的第一麦克风拾取的一帧音频信号，该第二音频信号为电子设备的第二麦克风拾取的一帧音频信号；对该第一音频信号进行增益补偿，并对该第二音频信号进行增益补偿；并且将增益补偿后的第一音频信号和增益补偿后的第二音频信号合成目标音频信号。本公开实施例可以应用于在短视频或者直播过程中电子设备通过两个麦克风拾取音频信号生成立体声信号的场景中，通过该方案，电子设备可以分别对第一音频信号和第二音频信号进行增益补偿，使得增益补偿后的第一音频信号和增益补偿后的第二音频信号在声道能量上相对均衡，从而可以基于这两路增益补偿后的音频信号生成音频立体体验效果更好的立体声，从而可以提升短视频或直播的场景中的立体声效果。
本公开实施例中，上述第一应用场景中，与第一条件对应的第一补偿系数G01(k)和第二补偿系数G02(k)分别为预先通过对两个不同型号麦克风的频率响应进行测试并进行补偿后确定的补偿系数。其中，G01(k)和G02(k)是预先根据测量麦克风的频率特性的测量结果得到的。不同型号的麦克风具有对应的补偿系数。下面描述获取G01(k)和G02(k)的具体过程。
如图4所示，待测手机的麦克风41和麦克风42分别与扬声器43相距预设距离(例如15厘米至30厘米左右)。通过扬声器播放测试信号，手机两路麦克风分别拾取信号，得到两路测量信号S1(t)和S2(t)，进而得到测量信号的频谱S1(t，k)和S2(t，k)，其中t表示时间，k表示频率。
这里可以采用各种测量方法得到测量信号的频谱，如使用粉红噪声作为测试信号，则可将两路测量信号S1(t)和S2(t)分别做时频变换(例如短时傅里叶变换(Short-timeFourier transform，STFT))：
S1(t，k)＝STFT(S1(t))；
S2(t，k)＝STFT(S2(t))。
然后，再计算平均的频谱：
S1_avg(k)＝mean(S1(t，k))；
S2_avg(k)＝mean(S2(t，k))。
由于预期的两路测试信号频谱应该相当，故对S1_avg(k)和S2_avg(k)计算校准增益，使得：
S1_avg(k)×G01(k)＝S2_avg(k)×G02(k)；
在这里，可以针对S1路信号进行增益计算，使得S1_avg(k)×G01(k)＝S2_avg(k)；在此情况下，G01(k)＝S2_avg(k)/S1_avg(k)，G02(k)＝1。
或者，可以针对S2路信号进行增益计算，使得S1_avg(k)＝S2_avg(k)×G02(k)；在此情况下，G01(k)＝1，G02(k)＝S1_avg(k)/S2_avg(k)。
再或者，S1和S2两路信号均作调整，使得S1_avg(k)×G01(k)＝S2_avg(k)×G02(k)＝S_ref1(k)，S_ref1(k)为某一参考频谱；在此情况下，G01(k)＝S_ref1(k)/S1_avg(k)，G02(k)＝S_ref1(k)/S2_avg(k)。
如此，通过上述测试方法，预先计算得到校准参数：第一补偿系数G01(k)和第二补偿系数G02(k)。
本公开实施例中，上述第二应用场景中，与第二条件对应的第三补偿系数G11(k)和第四补偿系数G12(k)分别为预先通过对两个麦克风的频率响应进行测试并进行补偿后确定的补偿系数。其中G11(k)和G12(k)是根据测量横屏录制状态或者竖屏录制状态时，两个麦克风由于位置的差异，录音拍摄范围中央的声源的增益得到的。针对横屏录制状态，可以预先通过测试得到一组补偿系数G11(k)和G12(k)；针对竖屏录制状态，可以预先通过测试得到另一组补偿系数G11(k)和G12(k)。下面以手机处于横屏录制状态为例，说明获取G11(k)和G12(k)的具体过程。
图5示例性地示出了手机的两个麦克风与扬声器之间的位置关系的俯视图，如图5所示，待测手机横屏放置，将扬声器45放置于手机的麦克风46和麦克风47的轴对称截面上(即扬声器45到麦克风46的距离和扬声器45到麦克风47的距离相等)，扬声器45垂直位置应与麦克风46和麦克风47位置保持水平。
通过扬声器播放测试信号，手机两路麦克风同时拾取信号，得到两路测量信号S1(t)和S2(t)，进而得到测量信号的频谱S3(t，k)和S4(t，k)，其中t表示时间，k表示频率。
这里可以采用各种测量方法得到测量信号的频谱，如使用粉红噪声作为测试信号，则可将两路测量信号S1(t)和S2(t)分别做时频变换(例如STFT)：
S3(t，k)＝STFT(S1(t))；
S4(t，k)＝STFT(S2(t))。
然后，再计算平均的频谱：
S3_avg(k)＝mean(S3(t，k))；
S4_avg(k)＝mean(S4(t，k))。
由于预期的两路测试信号频谱应该相当，故对S3_avg(k)和S4_avg(k)计算校准增益，使得：
S3_avg(k)×G11(k)＝S4_avg(k)×G12(k)；
在这里，可以针对S1路信号进行增益计算，使得S3_avg(k)×G11(k)＝S4_avg(k)；在此情况下，G11(k)＝S4_avg(k)/S3_avg(k)，G12(k)＝1。
或者，可以针对S2路信号进行增益计算，使得S3_avg(k)＝S4_avg(k)×G12(k)；在此情况下，G11(k)＝1，G12(k)＝S3_avg(k)/S4_avg(k)。
再或者，两路信号均作调整，使得S3_avg(k)×G11(k)＝S4_avg(k)×G12(k)＝S_ref2(k)，S_ref2(k)为某一参考频谱；在此情况下，G11(k)＝S_ref2(k)/S3_avg(k)，G12(k)＝S_ref2(k)/S4_avg(k)。
如此，通过上述测试方法，预先计算得到上述第三补偿系数G11(k)和第四补偿系数G12(k)。
图6是根据一示例性实施例示出的一种电子设备的框图。该电子设备包括第一麦克风和第二麦克风。参照图6，该电子设备50包括获取模块51、增益补偿模块52和合成模块53；
获取模块51被配置为获取第一音频信号和第二音频信号，该第一音频信号为第一麦克风拾取的一帧音频信号，该第二音频信号为第二麦克风拾取的一帧音频信号；
增益补偿模块52被配置为对获取模块51获取的第一音频信号进行增益补偿，并对获取模块51获取的第二音频信号进行增益补偿；
合成模块53被配置为将增益补偿后的第一音频信号和增益补偿后的第二音频信号合成目标音频信号。
在一种可能实现方式中，增益补偿模块52具体被配置为若满足目标条件，则采用第一目标补偿系数对第一音频信号进行增益补偿，并采用第二目标补偿系数对第二音频信号进行增益补偿；
其中，上述第一目标补偿系数和第二目标补偿系数为目标条件对应的一组补偿系数，不同的目标条件对应不同的一组补偿系数；增益补偿后的第一音频信号的性能参数值和增益补偿后的第二音频信号的性能参数值之间的差值在目标预设范围内。
在一种可能实现方式中，上述目标条件为第一条件，该第一条件为：第一麦克风的频率特性值和第二麦克风的频率特性值之间的差值大于或等于第一预设阈值；该第一条件对应的一组补偿系数包括针对第一麦克风的第一补偿系数和针对第二麦克风的第二补偿系数；
增益补偿模块52具体被配置为若满足上述第一条件，则采用第一补偿系数对第一音频信号进行增益补偿，并采用第二补偿系数对第二音频信号进行增益补偿；
其中，增益补偿后的第一音频信号的频率响应值和增益补偿后的第二音频信号的频率响应值之间的差值在第一预设范围内。
可选的，本公开实施例中，增益补偿模块52采用第一补偿系数G01(k)，对第一音频信号M01(t，k)进行增益补偿后的音频信号M11(t，k)表示为：
M11(t，k)＝M01(t，k)×G01(k)；
并且，增益补偿模块52采用第二补偿系数G02(k)，对第二音频信号M02(t，k)进行增益补偿后的音频信号M12(t，k)表示为：
M12(t，k)＝M02(t，k)×G02(k)。
在另一种可能实现方式中，上述目标条件为第二条件，该第二条件为：电子设备获取第一音频信号和第二音频信号时处于竖屏录制状态或横屏录制状态；该第二条件对应的一组补偿系数包括针对第一麦克风的第三补偿系数和针对第二麦克风的第四补偿系数；
增益补偿模块52具体被配置为若满足上述第二条件，则采用第三补偿系数对第一音频信号进行增益补偿，并采用第四补偿系数对第二音频信号进行增益补偿；
其中，增益补偿后的第一音频信号的音量值和增益补偿后的第二音频信号的音量值之间的差值在第二预设范围内。
可选的，本公开实施例中，增益补偿模块52采用第三补偿系数G11(k)，对第一音频信号M01(t，k)进行增益补偿后的音频信号M21(t，k)表示为：
M21(t，k)＝M01(t，k)×G11(k)；
并且，增益补偿模块52采用第四补偿系数G12(k)，对第二音频信号M02(t，k)进行增益补偿后的音频信号M22(t，k)表示为：
M22(t，k)＝M02(t，k)×G12(k)。
在再一种可能实现方式中，上述目标条件为第三条件，该第三条件为：电子设备获取第一音频信号和第二音频信号时输出音频信号；该第三条件对应的一组补偿系数包括针对第一麦克风的第五补偿系数和针对第二麦克风的第六补偿系数；
增益补偿模块52具体被配置为若满足上述第三条件，则采用第五补偿系数对第一音频信号进行增益补偿，并采用第六补偿系数对第二音频信号进行增益补偿；
其中，增益补偿后的第一音频信号的音量值和增益补偿后的第二音频信号的音量值之间的差值在第三预设范围内。
可选的，本公开实施例中，增益补偿模块52采用第五补偿系数β，对第一音频信号M01(t，k)进行增益补偿后的音频信号M31(t，k)表示为：
M31(t，k)＝β×((M01(t，k)+M02(t，k))/2)+(1-β)×M01(t，k)，0≤β≤1；
并且，增益补偿模块52采用第六补偿系数β，对第二音频信号M02(t，k)进行增益补偿后的音频信号M32(t，k)表示为：
M32(t，k)＝β×((M01(t，k)+M02(t，k))/2)+(1-β)×M02(t，k)。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开实施例提供的电子设备，可以获取第一音频信号和第二音频信号，该第一音频信号为电子设备的第一麦克风拾取的一帧音频信号，该第二音频信号为电子设备的第二麦克风拾取的一帧音频信号；对该第一音频信号进行增益补偿，并对该第二音频信号进行增益补偿；并且将增益补偿后的第一音频信号和增益补偿后的第二音频信号合成目标音频信号。本公开实施例可以应用于在短视频或者直播过程中电子设备通过两个麦克风拾取音频信号生成立体声信号的场景中，通过该方案，电子设备可以分别对第一音频信号和第二音频信号进行增益补偿，使得增益补偿后的第一音频信号和增益补偿后的第二音频信号在声道能量上相对均衡，从而可以基于这两路增益补偿后的音频信号生成音频立体体验效果更好的立体声，从而可以提升短视频或直播的场景中的立体声效果。
另外，上述实施例提供的电子设备在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将电子设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
图7是根据一示例性实施例示出的一种电子设备的结构示意图。电子设备100包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备以及计步器等。如图7所示，电子设备100包括但不限于：处理器101、存储器102、显示器103、输入单元104、输出单元105、网络单元106、接口单元107、射频单元108、电源109以及传感器110等。
需要说明的是，本领域技术人员可以理解，图7中示出的电子设备100的结构并不构成对电子设备100的限定，电子设备100可以包括比图7所示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本公开实施例中，显示器103，用于显示拍摄预览界面，该拍摄预览界面中包括至少一个时长标签，一个时长标签对应一个拍摄时长。
处理器101，用于响应于用户在拍摄预览界面上的拍摄输入，开始拍摄视频，并保持显示至少一个时长标签；并响应于用户对至少一个时长标签中的目标时长标签的第一输入，在目标时长标签对应的目标拍摄时长内进行视频拍摄。
需要说明的是，上述电子设备100能够实现上述方法实施例中电子设备实现的各个过程，且能达到相同的技术效果，为避免重复，详细描述这里不再赘述。
处理器101是电子设备100的控制中心，利用各种接口和线路连接整个电子设备100的各个部分，通过运行或执行存储在存储器102内的软件程序和/或模块，以及调用存储在存储器102内的数据，执行电子设备100的各种功能和处理数据，从而对电子设备100进行整体监控。处理器101可包括一个或多个处理单元；可选的，处理器101可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器101中。
存储器102可用于存储软件程序以及各种数据。存储器102可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器102可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
显示器103用于显示由用户输入的信息或提供给用户的信息。显示器103可包括显示面板，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(OrganicLight-Emitting Diode，OLED)等形式来配置显示面板。
输入单元104可以用于接收音频或视频信号。输入单元104可以包括图形处理器(Graphics Processing Unit，GPU)和麦克风，图形处理器对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示器103上。经图形处理器处理后的图像帧可以存储在存储器102(或其它存储介质)中或者经由射频单元108或网络单元106进行发送。麦克风可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元108发送到移动通信基站的格式输出。
输入单元104可以为用户输入单元，可用于接收输入的数字或字符信息，以及产生与电子设备100的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元包括触控面板以及其他输入设备。触控面板，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)。触控面板可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器101，接收处理器101发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板。除了触控面板，用户输入单元还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
进一步的，触控面板可覆盖在显示面板上，当触控面板检测到在其上或附近的触摸操作后，传送给处理器101以确定触摸事件的类型，随后处理器101根据触摸事件的类型在显示面板上提供相应的视觉输出。触控面板与显示面板可以作为两个独立的部件来实现电子设备100的输入和输出功能，也可以将触控面板与显示面板集成而实现电子设备100的输入和输出功能，具体此处不做限定。
输出单元105可以为音频输出单元，可以将射频单元108或网络单元106接收的或者在存储器102中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元还可以提供与电子设备100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元包括扬声器、蜂鸣器以及受话器等。
电子设备100通过网络单元106为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
接口单元107为外部装置与电子设备100连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元107可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备100内的一个或多个元件或者可以用于在电子设备100和外部装置之间传输数据。
射频单元108可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器101处理；另外，将上行的数据发送给基站。通常，射频单元108包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元108还可以通过无线通信系统与网络和其他设备通信。
电源109(比如电池)可以用于为各个部件供电，可选的，电源109可以通过电源管理系统与处理器101逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
传感器110可以包括光传感器、运动传感器以及其他传感器中的至少一个。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度，接近传感器可在电子设备100移动到耳边时，关闭显示面板和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器110还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。
另外，电子设备100包括一些未示出的功能模块(例如摄像头)，在此不再赘述。
在示例性实施例中，本公开实施例还提供了一种包括指令的存储介质，例如包括指令的存储器102，上述指令可由电子设备100的处理器101执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，该非临时性计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，本公开实施例还提供了一种包括一条或多条指令的计算机程序产品，该一条或多条指令可以由电子设备100的处理器101执行以完成上述方法。
需要说明的是，上述存储介质中的指令或计算机程序产品中的一条或多条指令被处理器101执行时实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (5)
1.一种立体声录制方法，应用于电子设备，所述电子设备包括第一麦克风和第二麦克风，其特征在于，所述方法包括：
获取第一音频信号和第二音频信号，所述第一音频信号为所述第一麦克风拾取的一帧音频信号，所述第二音频信号为所述第二麦克风拾取的一帧音频信号；
对所述第一音频信号进行增益补偿，并对所述第二音频信号进行增益补偿；
若满足目标条件，则采用第一目标补偿系数对所述第一音频信号进行增益补偿，并采用第二目标补偿系数对所述第二音频信号进行增益补偿；
其中，所述第一目标补偿系数和所述第二目标补偿系数为所述目标条件对应的一组补偿系数，不同的目标条件对应不同的一组补偿系数；增益补偿后的所述第一音频信号的性能参数值和增益补偿后的所述第二音频信号的性能参数值之间的差值在目标预设范围内；
将增益补偿后的所述第一音频信号和增益补偿后的所述第二音频信号合成目标音频信号；
所述目标条件为第二条件，所述第二条件为：所述电子设备获取所述第一音频信号和所述第二音频信号时处于竖屏录制状态或横屏录制状态；所述第二条件对应的一组补偿系数包括针对所述第一麦克风的第三补偿系数和针对所述第二麦克风的第四补偿系数；
所述若满足目标条件，则采用第一目标补偿系数对所述第一音频信号进行增益补偿，并采用第二目标补偿系数对所述第二音频信号进行增益补偿，包括：
若满足所述第二条件，则采用所述第三补偿系数对所述第一音频信号进行增益补偿，并采用所述第四补偿系数对所述第二音频信号进行增益补偿；
其中，增益补偿后的所述第一音频信号的音量值和增益补偿后的所述第二音频信号的音量值之间的差值在第二预设范围内。
2.根据权利要求1所述的方法，其特征在于，
采用所述第三补偿系数G11(k)，对所述第一音频信号M01(t，k)进行增益补偿后的音频信号M21(t，k)表示为：M21(t，k)＝M01(t，k)×G11(k)；
采用所述第四补偿系数G12(k)，对所述第二音频信号M02(t，k)进行增益补偿后的音频信号M22(t，k)表示为：M22(t，k)＝M02(t，k)×G12(k)。
3.一种电子设备，包括第一麦克风和第二麦克风，其特征在于，所述电子设备包括获取模块、增益补偿模块和合成模块；
所述获取模块，被配置为获取第一音频信号和第二音频信号，所述第一音频信号为所述第一麦克风拾取的一帧音频信号，所述第二音频信号为所述第二麦克风拾取的一帧音频信号；
所述增益补偿模块，被配置为对所述获取模块获取的所述第一音频信号进行增益补偿，并对所述获取模块获取的所述第二音频信号进行增益补偿；
所述增益补偿模块，具体被配置为若满足目标条件，则采用第一目标补偿系数对所述第一音频信号进行增益补偿，并采用第二目标补偿系数对所述第二音频信号进行增益补偿；
其中，所述第一目标补偿系数和所述第二目标补偿系数为所述目标条件对应的一组补偿系数，不同的目标条件对应不同的一组补偿系数；增益补偿后的所述第一音频信号的性能参数值和增益补偿后的所述第二音频信号的性能参数值之间的差值在目标预设范围内；
所述合成模块，被配置为将增益补偿后的所述第一音频信号和增益补偿后的所述第二音频信号合成目标音频信号；
所述目标条件为第二条件，所述第二条件为：所述电子设备获取所述第一音频信号和所述第二音频信号时处于竖屏录制状态或横屏录制状态；所述第二条件对应的一组补偿系数包括针对所述第一麦克风的第三补偿系数和针对所述第二麦克风的第四补偿系数；
所述增益补偿模块，具体被配置为若满足所述第二条件，则采用所述第三补偿系数对所述第一音频信号进行增益补偿，并采用所述第四补偿系数对所述第二音频信号进行增益补偿；
其中，增益补偿后的所述第一音频信号的音量值和增益补偿后的所述第二音频信号的音量值之间的差值在第二预设范围内。
4.根据权利要求3所述的电子设备，其特征在于，
所述增益补偿模块采用所述第三补偿系数G11(k)，对所述第一音频信号M01(t，k)进行增益补偿后的音频信号M21(t，k)表示为：M21(t，k)＝M01(t，k)×G11(k)；
所述增益补偿模块采用所述第四补偿系数G12(k)，对所述第二音频信号M02(t，k)进行增益补偿后的音频信号M22(t，k)表示为：M22(t，k)＝M02(t，k)×G12(k)。
5.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至2中任一项所述的立体声录制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010203716.7A CN111405416B (zh) | 2020-03-20 | 2020-03-20 | 立体声录制方法、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010203716.7A CN111405416B (zh) | 2020-03-20 | 2020-03-20 | 立体声录制方法、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111405416A CN111405416A (zh) | 2020-07-10 |
| CN111405416B true CN111405416B (zh) | 2022-06-24 |
Family
ID=71431059
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010203716.7A Active CN111405416B (zh) | 2020-03-20 | 2020-03-20 | 立体声录制方法、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111405416B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112165590B (zh) * | 2020-09-30 | 2022-05-31 | 联想(北京)有限公司 | 视频的录制实现方法、装置及电子设备 |
| CN116208704A (zh) * | 2021-06-24 | 2023-06-02 | 北京荣耀终端有限公司 | 一种声音处理方法及其装置 |
| CN113542960B (zh) * | 2021-07-13 | 2023-07-14 | RealMe重庆移动通信有限公司 | 音频信号处理方法、系统、装置、电子设备和存储介质 |
| CN113709619A (zh) * | 2021-08-31 | 2021-11-26 | Oppo广东移动通信有限公司 | 音频处理方法、装置、用户终端及计算机可读介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1698395A (zh) * | 2003-02-07 | 2005-11-16 | 日本电信电话株式会社 | 声音获取方法和声音获取装置 |
| CN102969003A (zh) * | 2012-11-15 | 2013-03-13 | 东莞宇龙通信科技有限公司 | 摄像声音提取方法及装置 |
| CN103458210A (zh) * | 2013-09-03 | 2013-12-18 | 华为技术有限公司 | 一种录制方法、装置及终端 |
| CN105554674A (zh) * | 2015-12-28 | 2016-05-04 | 努比亚技术有限公司 | 一种麦克风校准方法、装置及移动终端 |
-
2020
- 2020-03-20 CN CN202010203716.7A patent/CN111405416B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1698395A (zh) * | 2003-02-07 | 2005-11-16 | 日本电信电话株式会社 | 声音获取方法和声音获取装置 |
| CN102969003A (zh) * | 2012-11-15 | 2013-03-13 | 东莞宇龙通信科技有限公司 | 摄像声音提取方法及装置 |
| CN103458210A (zh) * | 2013-09-03 | 2013-12-18 | 华为技术有限公司 | 一种录制方法、装置及终端 |
| CN105554674A (zh) * | 2015-12-28 | 2016-05-04 | 努比亚技术有限公司 | 一种麦克风校准方法、装置及移动终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111405416A (zh) | 2020-07-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111405416B (zh) | 立体声录制方法、电子设备及存储介质 | |
| CN110740259B (zh) | 视频处理方法及电子设备 | |
| CN111554321B (zh) | 降噪模型训练方法、装置、电子设备及存储介质 | |
| CN111835488B (zh) | 一种确定天线端口映射方法和终端 | |
| CN108319445B (zh) | 一种音频播放方法及移动终端 | |
| CN111385714B (zh) | 扬声器的音圈温度确定方法、电子设备及存储介质 | |
| CN109086027B (zh) | 一种音频信号播放方法及终端 | |
| CN111343540B (zh) | 一种钢琴音频的处理方法及电子设备 | |
| CN110012143B (zh) | 一种受话器控制方法及终端 | |
| CN111638779A (zh) | 音频播放控制方法、装置、电子设备及可读存储介质 | |
| CN108668024B (zh) | 一种语音处理方法及终端 | |
| CN107785027B (zh) | 一种音频处理方法及电子设备 | |
| CN111147919A (zh) | 一种播放调整方法、电子设备及计算机可读存储介质 | |
| CN111370018A (zh) | 音频数据的处理方法、电子设备及介质 | |
| CN110995909B (zh) | 一种声音补偿方法及装置 | |
| CN111477243A (zh) | 音频信号处理方法及电子设备 | |
| CN107749306B (zh) | 一种振动优化的方法及移动终端 | |
| CN111182118B (zh) | 一种音量调节方法及电子设备 | |
| CN114125639A (zh) | 音频信号处理方法、装置及电子设备 | |
| CN110677770B (zh) | 发声控制方法、电子设备及介质 | |
| CN111049972B (zh) | 一种音频播放方法及终端设备 | |
| CN109325219B (zh) | 一种生成记录文档的方法、装置及系统 | |
| CN109451146B (zh) | 一种振动处理方法及终端 | |
| CN110839108A (zh) | 一种降噪方法及电子设备 | |
| CN108418961B (zh) | 一种音频播放方法和移动终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |