CN114598984A - 立体声合成方法和系统 - Google Patents

Abstract

本申请实施例提供了一种立体声合成方法和系统，电子设备在拍摄视频，且使用声音采集设备采集声音时，电子设备可以同步获取声音采集设备相对于电子设备的位置，进而根据声音采集设备相对于电子设备的位置，对声音采集设备采集到的音频进行渲染，得到携带有位置属性的音频，因此电子设备在播放拍摄的视频时，可以达到电子设备播放空间立体声音效的视频的目的。

Description

立体声合成方法和系统

技术领域

本申请实施例涉及计算机技术，尤其涉及一种立体声合成方法和系统。

背景技术

越来越多的用户采用拍摄视频的方式记录生活，如用户可以使用手机等电子设备拍摄视频。用户使用手机拍摄视频时，可以使用手机中自带的麦克风(microphone，MIC)收音，或者使用与手机连接的耳机中的MIC收音，或者还可以使用单独的收音MIC进行收音，或者还可以使用手机中自带的MIC和其他收音的MIC共同收音等。

目前，在用户使用手机拍摄视频，以及使用其他收音设备的MIC进行收音的场景中，用户播放手机拍摄的视频时，其他收音设备的MIC收集到的声音是简单叠加至视频中的，不具备空间立体声的效果。

发明内容

本申请实施例提供一种立体声合成方法和系统，在采用其他设备采集声音时，可以达到电子设备播放具有空间立体声音效的视频的目的。

第一方面，本申请实施例提供一种立体声合成方法，该方法应用于立体声合成方法，所述立体声合成系统包括电子设备和声音采集设备，所述声音采集设备设置在对象上，该方法包括：响应于用户的第一操作，所述电子设备拍摄所述对象，得到第一视频；所述电子设备获取视频拍摄过程中所述声音采集设备采集到的第二音频；所述电子设备获取视频拍摄过程中所述声音采集设备相对于所述电子设备的位置，得到第一位置集合；所述电子设备根据所述第一位置集合中的位置对所述第二音频进行渲染，得到具有空间立体声音效的第二音频；所述电子设备播放所述第一视频和所述具有空间立体声音效的第二音频。

本申请实施例中，电子设备在拍摄视频，且使用声音采集设备采集声音时，电子设备可以同步获取声音采集设备相对于电子设备的位置，进而根据声音采集设备相对于电子设备的位置，对声音采集设备采集到的音频进行渲染，得到携带有位置属性的音频，因此电子设备在播放拍摄的视频时，可以达到电子设备播放空间立体声音效的视频的目的。

在一种可能的实现方式中，所述电子设备获取视频拍摄过程中所述声音采集设备采集到的第二音频，包括：所述电子设备向所述声音采集设备发送第一信息，所述第一信息指示所述声音采集设备采集声音；所述声音采集设备响应于所述第一信息，采集声音，得到所述第二音频；所述声音采集设备向所述电子设备发送所述第二音频。

在一种场景中，电子设备可以在获取第一视频、第二音频，以及第一位置集合后，对第二音频进行渲染处理。其中，所述电子设备根据所述第一位置集合中的位置对所述第二音频进行渲染之前，还包括：所述电子设备检测所述电子设备是否开启空间立体声音效；所述电子设备根据所述第一位置集合中的位置对所述第二音频进行渲染，包括：响应于所述电子设备已开启空间立体声音效，所述电子设备根据所述第一位置集合中的位置对所述第二音频进行渲染。所述电子设备将渲染后的第二音频进行编码；所述电子设备按照采集时刻，将编码后的第二音频、所述第一视频，以及所述第一位置集合中的位置对应存储。

在该场景中，响应于所述电子设备未开启空间立体声音效，所述电子设备按照采集时刻，将所述第一视频、所述第二音频，以及所述第一位置集合中的位置对应存储。

在一种场景中，电子设备可以先将第一视频、所述第二音频，以及所述第一位置集合存储，在视频播放时对第二音频进行渲染处理。其中，所述电子设备按照采集时刻，将所述第一视频、所述第二音频，以及所述第一位置集合中的位置对应存储。

所述电子设备根据所述第一位置集合中的位置对所述第二音频进行渲染，包括：响应于所述用户的第二操作，所述电子设备检测所述电子设备是否开启空间立体声音效，所述第二操作用于指示所述电子设备播放所述第一视频；若是，则所述电子设备根据所述第一位置集合对所述第二音频进行渲染。其中，响应于未开启空间立体声音效，所述电子设备输出提示信息，所述提示信息用于提示用户开启空间立体声音效；响应于所述用户执行开启空间立体声音效的第三操作，所述电子设备根据所述第一位置集合中的位置对所述第二音频进行渲染。

在播放视频时，电子设备可以提示用户是否开启空间立体声音效，进而基于用户的操作播放视频和音频，可以提高用户体验。

在如上可能的实现方式中，所述电子设备根据所述第一位置集合中的位置对所述第二音频进行渲染，包括：所述电子设备根据所述第一位置集合中的位置，对所述第二音频进行矢量基幅值相移渲染。

在如上可能的实现方式中，所述将所述第一视频、所述第二音频，以及所述第一位置集合中的位置对应存储，包括：所述电子设备对所述第二音频进行编码；所述电子设备将所述第一视频、编码后的第二音频，以及所述第一位置集合中的位置对应存储。

在如上可能的实现方式中，所述电子设备播放所述第一视频和所述具有空间立体声音效的第二音频，包括：所述电子设备解码编码后的第二音频；所述电子设备播放解码后的第二音频和所第一视频。

在一种场景中，电子设备在拍摄视频时，不仅可以采用声音采集设备采集音频，电子设备自身也可以采集音频，其中，在该场景中，响应于所述用户的所述第一操作，所述电子设备在拍摄视频过程中采集声音，得到第一音频；所述电子设备将所述第一音频和渲染后的第二音频进行混音；所述电子设备播放所述第一视频和混音处理后的音频。

本申请实施例中还可以采用如下方式减少电子设备采集声音采集设备相对于所述电子设备的位置的能耗：

方式一：响应于所述用户的所述第一操作，所述电子设备获取所述声音采集设备相对于所述电子设备的初始位置；若在所述电子设备拍摄视频的过程中，所述电子设备的姿态和所述声音采集设备的姿态均未发生改变，则所述第一位置集合中包括所述初始位置。

在该方式中，响应于所述电子设备的姿态或所述声音采集设备的姿态发生改变，所述电子设备获取一次所述声音采集设备相对于所述电子设备的位置，所述第一位置集合中包括所述初始位置和所述电子设备的姿态或所述声音采集设备的姿态发生改变时所述声音采集设备相对于所述电子设备的位置。

方式二：响应于检测到所述声音采集设备采集到一次声音，所述电子设备获取一次所述声音采集设备相对于所述电子设备的位置。其中，响应于接收来自所述声音采集设备的响应信息，所述电子设备确定所述声音采集设备采集到一次声音，所述响应信息指示所述声音采集设备采集到声音。

如上两个方式中，电子设备可以在声音采集设备采集到声音时，获取声音采集设备相对于电子设备的位置，在声音采集设备未采集到声音时，不获取声音采集设备相对于电子设备的位置，不仅可以有效地获取对应时刻下的音频和位置，还可以减少电子设备的能耗。

在一种可能的实现方式中，所述方法还包括：所述电子设备向所述声音采集设备发送第二信息，所述第二信息用于指示所述声音采集设备停止采集声音；所述电子设备停止获取所述声音采集设备相对于所述电子设备的位置。

在一种场景中，多个电子设备可以拍摄对象，以实现多机位拍摄，该在场景中拍摄视频的电子设备可以包括第一电子设备和第二电子设备，如上实施例中的电子设备可以为第一电子设备，所述方法还包括：

所述第一电子设备控制第二电子设备拍摄所述对象；所述第一电子设备获取所述第二电子设备拍摄所述对象得到的第二视频；所述第一电子设备获取所述第二电子设备拍摄视频过程中所述声音采集设备采集到的第四音频；所述第一电子设备获取所述第二电子设备拍摄视频过程中所述声音采集设备相对于所述第二电子设备的第二位置集合；所述第一电子设备根据所述第二位置集合中的位置对所述第四音频进行渲染，得到具有空间立体声音效的第四音频；所述第一电子设备播放第二视频和所述具有空间立体声音效的第四音频。

在一种可能的实现方式中，所述第一电子设备获取所述第二电子设备拍摄视频过程中所述第二电子设备采集的第三音频。

在该方式中，所述第一电子设备播放第二视频和所述具有空间立体声音效的第四音频之前，还包括：所述第一电子设备将所述第三音频和渲染后的第四音频进行混音；所述第一电子设备播放第二视频和所述具有空间立体声音效的第四音频，包括：所述第一电子设备播放所述第二视频和混音处理后的音频。

第二方面，本申请实施例提供一种立体声合成方法，应用于电子设备，该方法可以包括：响应于用户的第一操作，所述电子设备拍摄所述对象，得到第一视频；所述电子设备获取视频拍摄过程中所述声音采集设备采集到的第二音频；所述电子设备获取视频拍摄过程中所述声音采集设备相对于所述电子设备的位置，得到第一位置集合；所述电子设备根据所述第一位置集合中的位置对所述第二音频进行渲染，得到具有空间立体声音效的第二音频；所述电子设备播放所述第一视频和所述具有空间立体声音效的第二音频。

在一种可能的实现方式中，所述电子设备获取视频拍摄过程中所述声音采集设备采集到的第二音频，包括：所述电子设备向所述声音采集设备发送第一信息，所述第一信息指示所述声音采集设备采集声音；所述电子设备接收来自所述声音采集设备的所述第二音频。

在一种可能的实现方式中，所述电子设备根据所述第一位置集合中的位置对所述第二音频进行渲染之前，还包括：所述电子设备检测所述电子设备是否开启空间立体声音效。

所述电子设备根据所述第一位置集合中的位置对所述第二音频进行渲染，包括：响应于所述电子设备已开启空间立体声音效，所述电子设备根据所述第一位置集合中的位置对所述第二音频进行渲染。

在一种可能的实现方式中，所述方法还包括：所述电子设备将渲染后的第二音频进行编码；所述电子设备按照采集时刻，将编码后的第二音频、所述第一视频，以及所述第一位置集合中的位置对应存储。

在一种可能的实现方式中，所述方法还包括：响应于所述电子设备未开启空间立体声音效，所述电子设备按照采集时刻，将所述第一视频、所述第二音频，以及所述第一位置集合中的位置对应存储。

在一种可能的实现方式中，所述电子设备根据所述第一位置集合中的位置对所述第二音频进行渲染之前，还包括：所述电子设备按照采集时刻，将所述第一视频、所述第二音频，以及所述第一位置集合中的位置对应存储。

所述电子设备根据所述第一位置集合中的位置对所述第二音频进行渲染，包括：响应于所述用户的第二操作，所述电子设备检测所述电子设备是否开启空间立体声音效，所述第二操作用于指示所述电子设备播放所述第一视频；若是，则所述电子设备根据所述第一位置集合对所述第二音频进行渲染。

在一种可能的实现方式中，所述方法还包括：响应于未开启空间立体声音效，所述电子设备输出提示信息，所述提示信息用于提示用户开启空间立体声音效；响应于所述用户执行开启空间立体声音效的第三操作，所述电子设备根据所述第一位置集合中的位置对所述第二音频进行渲染。

在一种可能的实现方式中，所述电子设备根据所述第一位置集合中的位置对所述第二音频进行渲染，包括：所述电子设备根据所述第一位置集合中的位置，对所述第二音频进行矢量基幅值相移渲染。

在一种可能的实现方式中，所述将所述第一视频、所述第二音频，以及所述第一位置集合中的位置对应存储，包括：所述电子设备对所述第二音频进行编码；所述电子设备将所述第一视频、编码后的第二音频，以及所述第一位置集合中的位置对应存储。

在一种可能的实现方式中，所述电子设备播放所述第一视频和所述具有空间立体声音效的第二音频，包括：所述电子设备解码编码后的第二音频；所述电子设备播放解码后的第二音频和所第一视频。

在一种可能的实现方式中，所述方法还包括：响应于所述用户的所述第一操作，所述电子设备在拍摄视频过程中采集声音，得到第一音频。

所述电子设备播放所述第一视频和所述具有空间立体声音效的第二音频之前，还包括：所述电子设备将所述第一音频和渲染后的第二音频进行混音。

所述电子设备播放所述第一视频和所述具有空间立体声音效的第二音频，包括：所述电子设备播放所述第一视频和混音处理后的音频。

在一种可能的实现方式中，所述方法还包括：响应于所述用户的所述第一操作，所述电子设备获取所述声音采集设备相对于所述电子设备的初始位置；若在所述电子设备拍摄视频的过程中，所述电子设备的姿态和所述声音采集设备的姿态均未发生改变，则所述第一位置集合中包括所述初始位置。

在一种可能的实现方式中，所述电子设备获取视频拍摄过程中所述声音采集设备相对于所述电子设备的位置，包括：响应于所述电子设备的姿态或所述声音采集设备的姿态发生改变，所述电子设备获取一次所述声音采集设备相对于所述电子设备的位置，所述第一位置集合中包括所述初始位置和所述电子设备的姿态或所述声音采集设备的姿态发生改变时所述声音采集设备相对于所述电子设备的位置。

在一种可能的实现方式中，所述电子设备获取视频拍摄过程中所述声音采集设备相对于所述电子设备的位置，包括：响应于检测到所述声音采集设备采集到一次声音，所述电子设备获取一次所述声音采集设备相对于所述电子设备的位置。

在一种可能的实现方式中，所述响应于检测到所述声音采集设备采集到一次声音，包括：响应于接收来自所述声音采集设备的响应信息，所述电子设备确定所述声音采集设备采集到一次声音，所述响应信息指示所述声音采集设备采集到声音。

在一种可能的实现方式中，所述方法还包括：所述电子设备向所述声音采集设备发送第二信息，所述第二信息用于指示所述声音采集设备停止采集声音；所述电子设备停止获取所述声音采集设备相对于所述电子设备的位置。

在一种可能的实现方式中，所述电子设备为第一电子设备，所述方法还包括：所述第一电子设备控制第二电子设备拍摄所述对象；所述第一电子设备获取所述第二电子设备拍摄所述对象得到的第二视频；所述第一电子设备获取所述第二电子设备拍摄视频过程中所述声音采集设备采集到的第四音频；所述第一电子设备获取所述第二电子设备拍摄视频过程中所述声音采集设备相对于所述第二电子设备的第二位置集合；所述第一电子设备根据所述第二位置集合中的位置对所述第四音频进行渲染，得到具有空间立体声音效的第四音频；所述第一电子设备播放第二视频和所述具有空间立体声音效的第四音频。

在一种可能的实现方式中，所述第二电子设备拍摄视频的过程中还用于采集声音，所述方法还包括：所述第一电子设备获取所述第二电子设备拍摄视频过程中所述第二电子设备采集的第三音频。

在一种可能的实现方式中，所述第一电子设备播放第二视频和所述具有空间立体声音效的第四音频之前，还包括：所述第一电子设备将所述第三音频和渲染后的第四音频进行混音；所述第一电子设备播放第二视频和所述具有空间立体声音效的第四音频，包括：所述第一电子设备播放所述第二视频和混音处理后的音频。

第三方面，本申请实施例提供一种立体声合成方法，应用于声音采集设备，所述方法包括：接收来自电子设备的第一信息；采集声音，得到第二音频，且向所述电子设备发送所述第二音频，所述第一信息指示所述声音采集设备采集声音。

在一种可能的实现方式中，所述方法还包括：接收来自电子设备的第二信息；停止采集声音。

在一种可能的实现方式中，所述方法还包括：响应于采集到声音，向所述电子设备发送响应信息，所述响应信息指示所述声音采集设备采集到声音。

第四方面，本申请实施例提供一种电子设备，包括：视频采集装置、第一定位模块，以及处理器。视频采集装置用于采集视频，第一定位模块用于获取声音采集设备相对于电子设备的位置，所述处理器用于对采集到的视频、声音采集设备相对于电子设备的位置，以及来自声音采集设备的音频进行处理，处理过程可以参照第一方面电子设备的相关描述。

在一种可能的实现方式中，电子设备中还可以包括第一MIC，第一MIC用于采集电子设备所处的环境的第一音频。

在一种可能的实现方式中，电子设备中还可以包括：第一无线通信模块。第一无线通信模块用于建立电子设备和声音采集设备之间的无线连接。

在一种可能的实现方式中，第一无线通信模块为第一蓝牙模块。

在一种可能的实现方式中，电子设备中还可以包括：加速度传感器等用于获取电子设备的姿态的装置。

第五方面，本申请实施例提供一种声音采集设备，包括：第二MIC、第二定位模块。第二MIC用于采集音频，第二定位模块和第一定位模块用于实现电子设备获取声音采集设备相对于电子设备的位置。

在一种实施例中，声音采集设备还可以包括：第二无线通信模块。第二无线通信模块用于建立电子设备和声音采集设备之间的无线连接。

在一种可能的实现方式中，第二无线通信模块为第二蓝牙模块。

在一种可能的实现方式中，声音采集设备中还可以包括：加速度传感器等用于获取声音采集设备的姿态的装置。

第六方面，本申请实施例提供一种立体声合成系统，包括如上第四方面所述的电子设备，以及第五方面所述的声音采集设备。

第七方面，本申请实施例提供一种电子设备，该电子设备可以为上述第四方面的电子设备、第五方面的声音采集设备。该电子设备可以包括：处理器、存储器。存储器用于存储计算机可执行程序代码，程序代码包括指令；当处理器执行指令时，指令使所述电子设备执行如第二方面、第三方面中的方法。

第八方面，本申请实施例提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第二方面、第三方面中的方法。

第九方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第二方面、第三方面中的方法。

上述第二方面至第九方面的各可能的实现方式，其有益效果可以参见上述第一方面所带来的有益效果，在此不加赘述。

附图说明

图1为本申请实施例提供的立体声合成方法适用的一种场景示意图；

图2A为本申请实施例提供的立体声合成系统的一种示意图；

图2B为本申请实施例适用的电子设备与UWB标签之间的连接和通信流程示意图；

图3为本申请实施例提供的电子设备的界面的一种示意图；

图4为本申请实施例提供的立体声合成方法的一种实施例的流程示意图；

图5A为本申请实施例提供的立体声合成方法的另一种实施例的流程示意图；

图5B为本申请实施例提供的立体声合成方法的另一种实施例的流程示意图；

图5C为本申请实施例提供的查找音频对应的位置的一种示意图；

图6为本申请实施例提供的立体声合成方法的另一种实施例的流程示意图；

图7为本申请实施例提供的电子设备的界面的另一种示意图；

图8A为本申请实施例提供的立体声合成方法的另一种实施例的流程示意图；

图8B为本申请实施例提供的立体声合成方法的一种示意图；

图8C为本申请实施例提供的立体声合成方法的另一种示意图；

图9为本申请实施例提供的立体声合成系统的另一种示意图；

图10为本申请实施例提供的立体声合成方法适用的另一种场景示意图；

图11A为本申请实施例提供的立体声合成方法的另一种实施例的流程示意图；

图11B为本申请实施例提供的立体声合成方法的另一种示意图；

图12为本申请实施例提供的立体声合成方法的另一种实施例的流程示意图；

图13为本申请实施例提供的电子设备的一种结构示意图。

具体实施方式

本申请实施例涉及到的术语释义：

空间立体声的效果或空间立体声音效：视频播放时，听起来发声源的方向来自于视频画面对应位置(如被拍摄对象在视频中的位置)的方向，声音的大小也随视频画面中对应位置与电子设备的远近形成大小关系。如被拍摄对象距离电子设备越近，则视频播放时声音越大，被拍摄对象距离电子设备越远，则视频播放时声音越小。

图1为本申请实施例提供的立体声合成方法适用的一种场景示意图。参照图1，该场景中可以包括：电子设备和声音采集设备。声音采集设备可以包括但不限于：无线耳机、无线麦克风(microphone，MIC)。图1中以电子设备为手机，声音采集设备为无线耳机为例进行说明。

无线耳机中包括用于采集声音的MIC，无线耳机可以包括但不限于为：真无线立体声(true wireless stereo，TWS)、蓝牙耳机，以及其他类型的无线耳机。应理解，采集声音可以理解为收音。

在一种实施例中，电子设备中可以集成有MIC，以及视频采集装置，视频采集装置如摄像头等。电子设备可以称为用户设备(user equipment，UE)、终端(terminal)等，例如，电子设备可以为手机、平板电脑(portable android device，PAD)、个人数字处理(personal digital assistant，PDA)、具有无线通信功能的手持设备、计算设备、或可穿戴设备，虚拟现实(virtual reality，VR)终端设备、增强现实(augmented reality，AR)终端设备、智慧家庭(smart home)中的无线终端等，本申请实施例中对电子设备的形态不做具体限定。

用户可以使用电子设备拍摄视频，在拍摄视频的过程中，可以使用如下几种方式采集声音：

1、使用电子设备中自带的MIC采集声音。

2、使用声音采集设备中的MIC采集声音。

3、使用电子设备中自带的MIC，以及声音采集设备中的MIC采集声音。

在如上1的收音方式中，电子设备在拍摄视频时，电子设备可以计算视频中被拍摄对象与电子设备的距离，电子设备可以将采集到的声音(音频)叠加在视频中被拍摄对象上，在播放该视频时，视频可以呈现空间立体声的效果。

在2和3的收音方式中，电子设备将声音采集设备中的MIC采集到的声音简单叠加到电子设备拍摄的视频上，并未基于视频中被拍摄对象的位置叠加声音，因此在电子设备播放视频时，声音无法呈现空间立体声的效果。示例性的，被拍摄对象为人物，电子设备的拍摄画面中的人物由远及近地走向电子设备，电子设备使用2和3的收音方式进行收音。电子设备在播放视频时，用户听到的声音如都是从视频画面的中间发出的，而非由远及近具备空间立体声的效果。

本申请实施例提供一种立体声合成方法，在使用声音采集设备采集声音的场景中，电子设备可以获取被拍摄对象与电子设备的相对位置，根据被拍摄对象与电子设备的相对位置，将声音采集设备采集的声音叠加在视频中被拍摄对象上，使得电子设备播放视频时可以呈现空间立体声的效果。

在介绍本申请实施例提供的立体声合成方法之前，首先对本申请实施例提供的立体声合成方法适用的立体声合成系统进行介绍：

图2A为本申请实施例提供的立体声合成系统的一种示意图。参照图2A，立体声合成系统中可以包括：电子设备和声音采集设备。本申请实施例中，电子设备拍摄视频时，声音采集设备设置在被拍摄对象上。示例性的，被拍摄对象为人物，则声音采集设备可以夹持(或以其他方式)设置在人物上。电子设备和声音采集设备的形态可以参照图1中的相关描述。

本申请实施例中，电子设备中包括：第一MIC、视频采集装置、第一定位模块，以及第一蓝牙模块。声音采集设备中包括：第二MIC、第二定位模块，以及第二蓝牙模块。在一种实施例中，第一蓝牙模块、第二蓝牙模块可以替换为其他无线通信模块，即电子设备和声音采集设备还可以通过通信网络进行互联，以实现无线信号的交互。该通信网络可以但不限于为：WI-FI热点网络、WI-FI点对点(peer-to-peer，P2P)网络、zigbee网络或近场通信(near field communication，NFC)网络等近距离通信网络，本申请实施例对此不作限制，下述实施例以电子设备和声音采集设备为蓝牙连接为例进行说明。

第一MIC，用于电子设备采集声音。视频采集装置，用于电子设备拍摄视频。第二MIC，用于声音采集设备采集声音。

电子设备可以通过第一蓝牙模块和第二蓝牙模块，与声音采集设备建立蓝牙连接，以实现数据传输，如声音采集设备可以将采集到的音频(声音)通过第二蓝牙模块、第一蓝牙模块传输至电子设备。

电子设备可以通过第一定位模块和第二定位模块，获取声音采集设备相对于电子设备的位置，声音采集设备相对于电子设备的位置可以包括但不限于：声音采集设备相对于电子设备的距离、角度。

在一种实施例中，电子设备可以采用超宽带(ultra wide band，UWB)技术，获取声音采集设备相对于电子设备的相对位置。其中，当电子设备采用UWB技术时，第一定位模块可以为用于发射请求性质脉冲信号的UWB基站，第二定位模块可以为用于发射响应性质脉冲信号的UWB标签tag。在一种实施例中，UWB标签中可以包括：第三蓝牙模块和UWB模块。

参照图2B，这里先对电子设备与UWB标签之间的连接，以及通信过程进行介绍：

S201，电子设备的第一蓝牙模块与声音采集设备的第二蓝牙模块建立蓝牙连接。

S201用于建立电子设备和声音采集设备之间的蓝牙连接。

S202，电子设备的第一蓝牙模块与UWB标签tag的第三蓝牙模块建立蓝牙连接。

应理解，第一蓝牙模块和第三蓝牙模块之间建立的蓝牙通路上可以传输“电子设备和UWB标签之间建立UWB链接所需的控制参数、安全认证，以及与UWB连接相关的MAC层和物理层的参数”。

S203，电子设备的UWB基站与UWB标签tag中的UWB模块建立UWB链接通路。

S204，声音采集设备通过与电子设备之间的蓝牙通路，通知电子设备获取声音采集设备相对于电子设备的位置。

S205，电子设备的UWB基站与UWB模块进行交互，以获取声音采集设备相对于电子设备的位置。

如上S201-S205为电子设备与UWB标签之间的连接，以及通信过程的简要说明，更为详细的过程可以参照IEEE802.15.4z协议中的相关描述。应理解，该IEEE802.15.4z协议中定义了UWB技术中采用双向测距(two way ranging，TWR)获取电子设备的与声音采样设备之间的距离，以及协议中定义了采用STS(Scramble Timestamp Sequence)信号，进行相位差测距算法(phase difference of arrival，PDOA)以获取声音采集设备相对于电子设备的角度，即能够获取声音采集设备相对于电子设备的位置(距离和角度)。其中，双向测距方法包括：Single Side和Double Side两种方式，本申请实施例对此不做赘述。

下面分别简述电子设备获取电子设备的与声音采样设备之间的距离，以及声音采集设备相对于电子设备的角度的过程：

示例性的，UWB基站中设置有3根天线，其中2根天线在X轴方向测量声音采集设备相对于电子设备的角度，另外1根天线和2根中的其中1根天线在Y轴方向测量测量声音采集设备相对于电子设备的角度。以PDOA技术为例，UWB基站可以通过X轴方向、Y轴方向上2根天线的接收信号的相位差，以及两根天线之间的距离可以计算出对应轴向(如X轴方向、Y轴方向)的角度。示例性的，电子设备为安装了3根天线的设备，因此可以计算出声音采集设备相对于电子设备在X轴方向和Y轴方向的角度。

电子设备采用TWR是测量距离的过程可以简述为：UWB基站通过计算其中一根天线的飞行时间得到声音采集设备相对于电子设备距离，具体可以参照现有技术中TWR的相关说明。

在一种实施例中，第一定位模块中还可以包括：加速度传感器等，以用于获取电子设备的姿态。在一种实施例中，第二定位模块也可以包括加速度传感器等，以用于获取声音采集设备的姿态。其中，采用加速度传感器获取设备的姿态的过程可以参照现有技术的相关描述。

本申请实施例中，用户可以自定义是否开启电子设备的空间立体声音效，若用户已开启电子设备的空间立体声音效，则电子设备可以执行下述实施例中S408-S410，以进行立体声合成。若用户未开启电子设备的空间立体声音效，则电子设备可以不响应。或者，若用户未开启电子设备的空间立体声音效，则电子设备可以引导用户开启电子设备的空间立体声音效，使得用户可以体验到空间立体声音效，提高用户体验，可以参照下述实施例中的S412-S414的描述。

这里对用户自定义开启或关闭电子设备的空间立体声音效的方式进行示例说明。图3为本申请实施例提供的电子设备的界面的一种示意图。图3中的a显示的为电子设备的声音和震动的设置界面，电子设备的声音和震动的设置界面包括：音效设置选项31。用户操作该音效设置选项31，可以触发电子设备显示音效设置界面。如图3中的b所示，音效设置界面包括：空间立体声音效的控件32。其中，用户可以打开空间立体声音效的控件32，以开启电子设备的空间立体声音效，用户可以关闭空间立体声音效的控件32，以关闭电子设备的空间立体声音效。

在该实施例中，电子设备可以响应于用户的操作，存储空间立体声音效的控件32的状态，即空间立体声音效的状态，如空间立体声音效的状态为开启状态或关闭状态。

在图2A所示的立体声合成系统的基础上，下面结合具体的实施例对本申请实施例提供的立体声合成方法进行说明。下面这几个实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图4为本申请实施例提供的立体声合成方法的一种实施例的流程示意图。应理解，图4所示的实施例中，电子设备在拍摄视频时使用声音采集设备采集声音，电子设备未采集声音。参照图4，本申请实施例提供的立体声合成方法可以包括：

S401，响应于用户的第一操作，电子设备拍摄视频，得到第一视频。

在一种实施例中，电子设备中安装有使用视频拍摄的应用程序，如相机、社交类应用程序等。第一操作可以包括但不限于：用户操作应用程序的界面上显示的拍摄控件，或者用户发出指示电子设备开始拍摄视频的声音等。电子设备响应于第一操作，可以开始拍摄视频。

应理解，电子设备拍摄的视频中包括多个视频画面。相应的，第一视频中可以包括：多个视频画面。

S402，电子设备向声音采集设备发送第一信息，第一信息指示声音采集设备采集声音。

电子设备响应于用户的第一操作，可以向声音采集设备发送第一信息。该第一信息指示声音采集设备采集声音，因为本申请实施例中的声音采集设备设置在被拍摄对象上，因此声音采集设备可以采集被拍摄对象发出的声音，以及被拍摄对象周围的声音。换句话说，电子设备在开始拍摄视频时，声音采集设备也同步开始采集声音。

在一种实施例中，电子设备可以通过第一蓝牙模块、第二蓝牙模块向采集设备发送第一信息。

S403，声音采集设备响应于第一信息，采集声音，得到第二音频。

声音采集设备开始采集声音后，可以采集多个声音信号。相应的，第二音频中可以包括：声音采集设备采集到的多个声音信号。

S404，电子设备获取声音采集设备相对于电子设备的位置，得到第一位置集合。

电子设备响应于用户的第一操作，可以启动第一定位模块和第二定位模块，以在电子设备拍摄视频的过程中，获取声音采集设备相对于电子设备的位置，具体的原理可以参照图2A中的相关描述。

参照图2A中的描述，电子设备获取声音采集设备相对于电子设备的位置，即可以得到电子设备在拍摄视频的过程中的声音采集设备的多个坐标。本申请实施例中，因为电子设备可以获取电子设备的坐标，进而电子设备可以根据声音采集设备的坐标以及电子设备的坐标，获取声音采集设备相对于电子设备的距离、角度，即被拍摄对象相对于电子设备的距离、角度。相应的，第一位置集合中可以包括：声音采集设备相对于电子设备的距离、角度。

在一种实施例中，当电子设备完成拍摄视频时，电子设备可以停止获取声音采集设备相对于电子设备的位置。示例性的，电子设备可以关闭第一定位模块和第二定位模块，如电子设备可以向声音采集设备发送定位模块关闭的指示信息，声音采集设备响应于接收到该指示信息，可以关闭第二定位模块。

S405，声音采集设备向电子设备发送第二音频。

在一种实施例中，声音采集设备可以一边采集得到声音，一边向电子设备发送采集到的音频，即声音采集设备可以向电子设备实时传输采集得到的音频。示例性的，声音采集设备可以通过第二蓝牙模块、第一蓝牙模块向电子设备发送音频。

在一种实施例中，当电子设备完成拍摄视频时，电子设备可以向声音采集设备发送第二信息，第二信息用于指示声音采集设备停止采集声音。在该种实施例中，声音采集设备响应于接收到第二信息，可以停止采集声音，且向电子设备发送已采集得到的第二音频。

其中，电子设备可以通过第一蓝牙模块、第二蓝牙模块向声音采集设备发送第二信息。

S406，电子设备将第二音频和第一位置集合中的位置对应存储。

本申请实施例中，电子设备响应于用户的第一操作，可以开始拍摄视频，以及获取声音采集设备相对于电子设备的位置，且声音采集设备开始采集声音。另外，电子设备完成拍摄视频时，电子设备可以停止获取声音采集设备相对于电子设备的位置，且控制声音采集设备停止采集声音。也就是说，电子设备获取的第二音频、第一位置集合以及第一视频是同步的。因此，电子设备可以第二音频、第一位置集合中的位置按照采集时刻对应存储，换句话说，电子设备可以将同一时刻采集的音频和位置进行标定存储。

在一种实施例中，假设第二音频是以数据包的形式存储，每个数据包的采集时长为20ms，则电子设备可以按照20ms的时间窗口存储第一位置集合中的位置，每个时间窗口中存储有数组，每个数组用于指示音频对应的位置，即在采集音频时采集的声音采集设备相对于电子设备的位置。示例性的，第一个时间窗口中存储的数组为1、2、3…20，则第一个时间窗口中数字1表征第1ms采集的音频对应时间窗口中存储的第1个位置，第2ms采集的音频对应时间窗口中存储的第2个位置。在一种实施例中，电子设备可以以数据表的形式将音频和位置对应存储。

S407，电子设备检测电子设备是否开启空间立体声音效。若是，执行S408，若否，不响应。

电子设备可以查询电子设备中存储的空间立体声音效的状态，检测电子设备是否开启空间立体声音效，空间立体声音效的状态可以参照图3的相关描述。其中，当空间立体声音效的状态为开启状态时，电子设备确定电子设备已开启空间立体声音效，当空间立体声音效的状态为关闭状态时，电子设备确定电子设备未开启空间立体声音效。

其中，当电子设备未开启空间立体声音效时，电子设备无需合成立体声，电子设备无需进行响应，当电子设备已开启空间立体声音效时，电子设备可以执行S408。

S408，电子设备根据第一位置集合中的位置对第二音频进行矢量基幅值相移渲染，得到渲染后的第二音频。

矢量基幅值相移(vector base amplitude panning，VBAP)渲染是基于位置关系的幅度声音渲染算法。矢量基幅值相移渲染可以理解为：将同一时刻声音采集设备采集的音频，标记上对应的“声音采集设备相对于电子设备的距离、角度”，以得到渲染后的第二音频。

S409，电子设备对渲染后的第二音频进行编码，得到声音的编码文件。

电子设备得到渲染后的第二音频后，可以对渲染后的第二音频进行编码，得到且存储编码文件。编码文件中包括：渲染后的第二音频。应理解，进行VBAP渲染后的第二音频因为在音频中增加了对应的位置，仅此VBAP渲染后的第二音频具备空间立体声效果。

在一种实施例中，电子设备可以采用如下任一种编码方式对渲染后的第二音频进行编码：脉冲编码调制(pulse code modulation，PCM)、高级音频编码(advanced audiocoding，AAC)，以及无损音频压缩编码(free lossless audio codec，FLAC)，本申请实施例对编码方式不做限制。

S410，电子设备播放第一视频以及渲染后的第二音频。

在一种实施例中，电子设备响应于用户的第二操作，可以播放播放第一视频以及渲染后的第二音频。其中，第二操作用于指示电子设备播放电子设备拍摄的第一视频。示例性的，第二操作如可以为：电子设备在应用程序的界面上操作播放控件，或者在电子设备拍摄完成后说出“播放视频”等语音的操作，本申请实施例对第二操作不做限制。

在一种实施例中，电子设备在拍摄完视频后，可以自动播放播放第一视频以及渲染后的第二音频，以使用户及时观看到视频，进而在用户不喜欢拍摄的第一视频时，重新拍摄视频。如实施例对应的场景可以为：在社交类应用程序中拍摄视频。

本申请实施例中，电子设备响应于第二操作或者响应于完成拍摄，可以对编码文件进行解码，得到渲染后的第二音频，进而播放第一视频以及渲染后的第二音频。因为编码文件中的音频为基于位置进行VBAP渲染后的第二音频，因此电子设备播放的声音具有位置属性，即电子设备播放的声音为视频中对应位置处的声音，具备空间立体声效果。

本申请实施例中，电子设备在拍摄视频，且使用声音采集设备采集声音时，电子设备可以同步获取声音采集设备(或被拍摄对象)相对于电子设备的位置，进而根据声音采集设备相对于电子设备的位置，对声音采集设备采集到的音频进行VBAP渲染，得到携带有位置属性的音频，因此电子设备在播放拍摄的视频时，播放的音频具有空间立体声效果，可以提高用户体验。

如上实施例中，电子设备开始拍摄视频时就开始获取声音采集设备相对于电子设备的位置，若声音采集设备一直未采集到声音，电子设备仍一直在获取声音采集设备相对于电子设备的位置。但因为声音采集设备未采集到声音，因此电子设备无需对未采集到的声音进行VBAP渲染，因此在声音采集设备未采集到声音时，电子设备获取的声音采集设备相对于电子设备的位置是无用的，电子设备一直获取声音采集设备相对于电子设备的位置会增加电子设备的能耗。应理解，本申请实施例中，声音采集设备采集到的声音可以理解为：声音采集设备采集的声音的音量大于预设音量。

本申请实施例提供的立体声合成方法中，电子设备可以在声音采集设备采集到声音时，获取声音采集设备相对于电子设备的位置，在声音采集设备未采集到声音时，不获取声音采集设备相对于电子设备的位置，不仅可以有效地获取对应时刻下的音频和位置，还可以减少电子设备的能耗。

参照图5A，本申请实施例提供的立体声合成方法可以包括：

S501，响应于用户的第一操作，电子设备拍摄视频，得到第一视频。

S502，电子设备向声音采集设备发送第一信息，第一信息指示声音采集设备采集声音。

S503，声音采集设备响应于第一信息，采集声音。

S501-S503可以参照S401-S403中的相关描述。

S504，声音采集设备响应于采集到声音，向电子设备反馈响应信息，响应信息指示电子设备获取声音采集设备相对于电子设备的位置。

与上述S403不同的是，S503中声音采集设备开始采集声音，可以采集到声音或采集不到声音，当声音采集设备采集到声音时，可以得到对应的音频。

声音采集设备响应于采集到声音，可以向电子设备反馈响应信息。其中，响应信息指示电子设备获取声音采集设备相对于电子设备的位置。也就是说，本申请实施例中，声音采集设备在采集到声音时，可以通知电子设备开始获取声音采集设备相对于电子设备的位置。

在该实施例中，声音采集设备响应于从采集到声音转换到未采集到声音，可以向电子设备发送指示电子设备停止获取声音采集设备相对于电子设备的位置的信息。相应的，电子设备响应于接收到该信息，可以停止获取声音采集设备相对于电子设备的位置。

S505，声音采集设备向电子设备发送采集到的第二音频。

在一种实施例中，因为声音采集设备采集的音频可以是不连续的，因此第二音频可以为多段音频的集合。

S506，电子设备获取声音采集设备相对于电子设备的位置，得到第一位置集合。

应理解，在S506之后，电子设备可以执行上述S406-S410。

在一种实施例中，因为声音采集设备可以一边采集音频，一边向电子设备发送采集到的音频，因此当声音采集设备未采集得到音频时，可以不向电子设备发送音频。在该种实施例中，电子设备可以响应于接收到音频，开始获取声音采集设备相对于电子设备的位置，电子设备响应于未接收到音频息，可以停止获取声音采集设备相对于电子设备的位置，因此可以使得获取的音频和位置相同步。

换句话说，在该实施例中，上述S404-S405可以替换为：声音采集设备在采集到声音时向电子设备发送音频。电子设备响应于接收到音频，获取声音采集设备相对于电子设备的位置，电子设备响应于未接收到音频，停止获取声音采集设备相对于电子设备的位置。

本申请实施例中，电子设备可以在声音采集设备采集到声音时，获取声音采集设备相对于电子设备的位置，不仅可以有效地获取对应时刻下的音频和位置，还可以减少电子设备的能耗。

在一种实施例中，参照图5B，本申请实施例提供的立体声合成方法可以包括：

S501A，响应于用户的第一操作，电子设备获取声音采集设备相对于电子设备的初始位置。

在一种实施例中，S501A中电子设备获取的声音采集设备相对于电子设备的位置可以称为初始位置。

S502A，电子设备拍摄视频，得到第一视频。

S503A，电子设备向声音采集设备发送第一信息，第一信息指示声音采集设备采集声音。

S504A，声音采集设备响应于第一信息，采集声音，得到第二音频，且向电子设备发送第二音频。

S502A-S504A可以参照S401-S403中的相关描述。

S505A，电子设备响应于检测到电子设备的姿态或声音采集设备的姿态发生变化，获取声音采集设备相对于电子设备的位置，以得到第一位置集合。

该实施例中，第一位置集合中可以包括初始位置，以及在电子设备拍摄视频的过程中，电子设备的姿态或声音采集设备的姿态发生变化时电子设备获取声音采集设备相对于电子设备的位置(可以为一个或多个)。

本申请实施例中，电子设备可以在接收到用户指示拍摄视频的第一操作时，获取一次声音采集设备相对于电子设备的位置，若在电子设备拍摄视频的过程中，电子设备的姿态和/或声音采集设备的姿态未发生变化，则声音采集设备相对于电子设备的位置也未发生改变，因为电子设备可以将电子设备响应于用户的第一操作时获取的声音采集设备相对于电子设备的位置，作为该段时间的音频对应的位置。

若在电子设备拍摄视频的过程中，电子设备的姿态和/或声音采集设备的姿态发生变化，则声音采集设备相对于电子设备的位置也发生改变，电子设备需要重新获取声音采集设备相对于电子设备的位置，因此电子设备可以采用UWB技术，获取声音采集设备相对于电子设备的位置。

应理解，电子设备可以基于电子设备中的加速度传感器检测电子设备的姿态是否变化，声音采集设备可以基于声音采集设备中的加速度传感器检测声音采集设备的姿态是否变化，当声音采集设备检测到声音采集设备的姿态变化时，可以向电子设备同步声音采集设备的姿态发生变化的信息。如此，电子设备可以检测电子设备的姿态和/或声音采集设备的姿态是否发生变化。应注意，本申请实施例中的姿态变化可以理解为：姿态的变化超出预设的范围。

应理解，在S505A之后，电子设备可以执行上述S406-S410。

在一种实施例中，电子设备还可以在响应于接收到来自声音采集设备的响应信息，以及检测到电子设备的姿态和/或声音采集设备的姿态发生变化，获取声音采集设备相对于电子设备的位置。

在一种实施例中，电子设备还可以采集声音，具体可以参照图8A-图8C中的描述。在该实施例中，电子设备中存储的第二音频，以及第一位置集合中的位置可以如图5C所示。

在该实施例中，电子设备在播放视频时，假设第二音频是以数据包的形式存储，每个数据包的时长为20ms，电子设备在播放数据包中的音频时，可以按照20ms的时间窗口搜索位置。因为每个时间窗口中存储有数组，每个数组用于指示音频对应的位置。示例性的，参照图5C，电子设备在播放数据包1的第1ms的声音时，可以基于与该数据包中的1ms(时刻)对应的数字，如1，查找到第1ms的声音对应的为第一个时间窗口中的第1个位置。电子设备在播放数据包2的声音时，可以基于与该数据包中的时刻对应的数字1，将对应窗口内的第1个位置作为该数据包2的声音对应的位置。应理解，数据包2对应一个位置，可以理解为在数据包2采集的时间窗口内，电子设备和声音采集设备的相对位置未发生变化(如电子设备的姿态和/或声音采集设备的姿态未发生变化)。

本申请实施例中，电子设备可以在电子设备的姿态和/或声音采集设备的姿态发生变化时，获取声音采集设备相对于电子设备的位置，或者在声音采集设备采集到声音以及电子设备的姿态和/或声音采集设备的姿态发生变化时，获取声音采集设备相对于电子设备的位置，不仅可以有效地获取对应时刻下的音频和位置，还可以减少电子设备的能耗。

如上图4、图5A，以及图5B所示的实施例中，电子设备在将第二音频、第一位置集合中的位置以及第一视频对应存储后，即对第二音频进行VBAP渲染等操作。而在本申请实施例中，电子设备在将第二音频、第一位置集合中的位置以及第一视频对应存储后，可以先不对第二音频进行VBAP渲染等操作，而在电子设备播放视频时，再对第二音频进行VBAP渲染等操作，这样用户可以选择开启空间立体声音效播放具有空间立体声音效的视频，或者用户也可以选择播放不具备空间立体声音效的视频，用户可以自主选择，提高用户体验。

在该实施例中，参照图6，在如上S406之后不执行S407-S410，可以执行如下步骤：

S411，电子设备响应于播放视频的指令，检测电子设备是否开启空间立体声音效。若是，执行S408-S410，若否，执行S412。

示例性的，如用户执行第二操作，即向电子设备输入播放视频的指令，电子设备检测到用户执行第二操作(即电子设备响应于用户的第二操作)，即为接收到播放视频的指令。或者，电子设备检测到完成拍摄视频，即电子设备接收到播放视频的指令。电子设备检测电子设备是否开启空间立体声音效可以参照S407中的相关描述。

其中，若电子设备已开启空间立体声音效，则电子设备可以执行S408-S410，以播放立体声音效的视频。若电子设备未开启空间立体声音效，则电子设备可以执行S412，以引导用户开启空间立体声音效，其中，电子设备可以基于用户对是否开启空间立体声音效的选择，执行相应的操作。

S412，电子设备输出提示信息，提示信息用于提示用户开启空间立体声音效。

若电子设备未开启空间立体声音效，则电子设备可以输出提示信息。其中，提示信息用于提示用户开启空间立体声音效。在一种实施例中，电子设备可以采用在界面上显示提示信息的方式，或者播放提示信息的语音的方式，输出提示信息，本申请实施例对此不作限制。

以电子设备在电子设备的界面上显示提示信息为例，参照图7中的a，用户在相机应用程序的界面上点击播放视频的控件71(图7的a中以黑色的三角形表征)，即用户执行第二操作，可以触发电子设备执行S411。若电子设备未开启空间立体声音效，则电子设备可以显示弹框72，该弹框72中包括如“点击这里，开启空间立体声音效，享受空间立体音效”的提示信息，如图7中的b所示。应理解，显示提示信息的界面为示例说明，本申请实施例对显示提示信息的界面的形式不做限制。

S413，电子设备响应于用户开启空间立体声音效的第三操作，执行S408-S410。

若用户执行开启空间立体声音效的第三操作，则电子设备可以执行S408-S410，以在播放视频时播放空间立体声。

示例性的，如图7中的b，用户点击提示信息中的“这里”，电子设备响应于该操作，可以显示如图3中的b的音效设置界面(如图7中的c所示)，以引导用户开启空间立体声音效。在该示例中，第三操作可以为：用户打开空间立体声音效的控件32，电子设备响应于用户打开空间立体声音效的控件32，可以执行S408-S410。

S414，电子设备响应于用户未开启空间立体声音效的第四操作，播放第二音频和第一视频。

若用户执行未开启空间立体声音效的第四操作，则电子设备可以播放第二音频和第一视频。因为电子设备未对第二音频进行VBAP渲染等处理，因此电子设备播放的第二音频不具备空间立体声音效。

示例性的，如图7中的b，如第四操作可以为：用户点击界面上显示的弹框72之外的其他位置的操作，电子设备响应于该操作，可以播放第二音频和第一视频。

本申请实施例中，电子设备在将第二音频、第一位置集合中的位置，以及第一视频对应存储后，可以先不对第二音频进行VBAP渲染等处理，在用户需求播放视频时，若电子设备已开启空间立体声音效，则电子设备可以对第二音频进行VBAP渲染等处理，以播放具有空间立体声音效的视频。若电子设备未开启空间立体声音效，则电子设备可以提示用户开启空间立体声音效，进而电子设备基于用户开启空间立体声音效的操作，可以对第二音频进行VBAP渲染等处理，以播放具有空间立体声效果的视频。本申请实施例中，用户可以在播放视频时，选择是否采用空间立体声音效，选择灵活，可以提高用户体验。

如上实施例中讲述的均为电子设备拍摄视频，以及声音采集设备采集声音的场景，下述实施例中对“电子设备拍摄视频，电子设备也采集声音以及声音采集设备采集声音的场景”进行说明。参照图8A，在该场景中，上述实施例中的S401可以替换为S401A，S406可以替换为S406A，以及在上述S408之后和S409之前可以执行S408A，S409可以替换为S409A，S410可以替换为S410A：

S401A，响应于用户的第一操作，电子设备拍摄视频以及采集声音，得到第一视频和第一音频。

本申请实施例中，电子设备不仅拍摄视频，得到第一视频，还可以使用自身中的MIC采集声音，得到第一音频，第一音频可以参照图4所示的实施例中第二音频相关描述。

S406A，电子设备将第一音频、声音采集设备采集的第二音频，以及第一位置集合中的位置对应存储。

应理解，在该实施例中将声音采集设备采集的声音称为第二音频，以便于区分电子设备采集的音频和声音采集设备采集的音频。其中，电子设备可以按照采集时刻，将第一音频、声音采集设备采集的第二音频，以及第一位置集合中的位置对应存储。

S408A，电子设备将第一音频和渲染后的第二音频进行混音处理。

本申请实施例中，因为电子设备和声音采集设备均采集得到音频，因此电子设备可以将第一音频，以及渲染后的第二音频，进行混音处理，得到混音处理后的音频。对第二音频的VBAP渲染可以参照S408的相关描述。

S409A，电子设备对混音处理后的音频进行编码，得到声音的编码文件。

S409A可以参照S409中的相关描述，与S409不同的是，S409A中编码的对象是混音处理后的音频，而非渲染后的音频。

S410A，电子设备播放第一视频，以及混音处理后的音频。

在该实施例中，图8A所示的流程可以简化如图8B所示。

在一种实施例中，若在图6所示的流程中，参照图8C，电子设备也可以采集声音，得到第一音频，则电子设备可以将第一音频、第二音频、第一位置集合中的位置对应存储，且将第一音频和第二音频不进行混音，而是进行编码处理，得到编码文件。在该实施例中，当电子设备播放视频时，可以对编码文件进行解码处理，得到第一音频、第二音频。若电子设备已开启空间立体声音效，则电子设备可以执行S408、S408A后，在播放视频的同时播放音频。

本申请实施例中，电子设备在拍摄视频时，不仅使用声音采集设备采集声音，也可以使用电子设备中的MIC采集声音，这样采集的声音更丰富，播放视频时让用户具有身临其境的感受。在存储音频时，可以对第二音频进行VBAP渲染等处理后存储，或者在视频播放时对第二音频进行VBAP渲染等处理再播放，可以使得用户听到具有空间立体音效的音频。

图9为本申请实施例提供的立体声合成系统的另一种示意图。参照图9，在一种实施例中，立体声合成系统中可以包括：至少两个电子设备，该至少两个电子设备均可以拍摄对象，进而达到多机位拍摄的目的，每个电子设备的结构可以参照图2A中所示的电子设备的结构的相关描述。图9中以立体声合成系统中包括第一电子设备和第二电子设备为例进行说明，示例性的，参照图9，第二电子设备中可以包括：视频采集装置、第三MIC、第三定位模块，以及第三蓝牙模块，第三MIC、第三定位模块，以及第三蓝牙模块可以分别参照第一电子设备中的第一MIC、第一定位模块，以及第一蓝牙模块的描述。

其中，第一电子设备和第二电子设备可以接入同一网络，如第一电子设备和第二电子设备均接入同一WI-FI网络，或者第二电子设备接入第一电子设备的热点网络。第一电子设备和声音采集设备蓝牙连接，第二电子设备和声音采集设备也是蓝牙连接。

本申请实施例中，第一电子设备和第二电子设备均可以拍摄视频，且第一电子设备可以控制第二电子设备拍摄视频。在一种实施例中，在一种场景中，如第一电子设备和第二电子设备设置在对象的不同位置，第一电子设备和第二电子设备可以拍摄对象不同角度的视频，或者拍摄不同对象的视频。示例性的，如，第一电子设备上可以显示拍摄切换控件，用户点击该拍摄切换控件，可以控制第二电子设备拍摄视频。

参照图10中的a，第一电子设备可以先拍摄一段视频，且第一电子设备采集声音以及使用声音采集设备采集声音。参照图10中的b，第一电子设备控制第二电子设备拍摄视频，第一电子设备停止拍摄视频，且第二电子设备采集声音以及使用声音采集设备采集声音。

下面结合图11A，对图10所示的场景中的立体声合成方法进行说明，本申请实施例提供的立体声合成方法可以包括：

S1101，第一电子设备响应于用户的第一操作，拍摄视频且采集声音，得到第一视频和第一音频。

S1102，第一电子设备向声音采集设备发送第一信息，第一信息指示声音采集设备采集声音。

S1103，声音采集设备响应于第一信息，采集声音，得到第二音频。

S1104，第一电子设备获取声音采集设备相对于第一电子设备的位置，得到第一位置集合。

S1105，声音采集设备向第一电子设备发送第二音频。

S1106，第一电子设备将第一音频、第二音频，以及第一位置集合中的位置对应存储。

S1101-S1106可以参照S401A、S402-S405，以及S406A中的相关描述。

S1101-S1106可以理解为如上图10中a所示的场景，即第一电子设备拍摄视频、第一电子设备采集声音，以及使用声音采集设备采集声音的场景。

S1107，第一电子设备向第二电子设备发送拍摄指令，且第一电子设备停止拍摄视频，拍摄指令用于指示第二电子设备拍摄视频。

第一电子设备可以控制切换拍摄对象的电子设备，如第一电子设备可以向第二电子设备发送拍摄指令，控制第二电子设备开始拍摄视频。其中，拍摄指令用于指示第二电子设备拍摄视频。本申请实施例中，第一电子设备向第二电子设备发送拍摄指令，第一电子设备可以停止拍摄视频。

S1108，第二电子设备响应于拍摄指令，拍摄视频、采集声音，以及获取声音采集设备相对于第二电子设备的位置，得到第二视频、第三音频，以及第二位置集合。

第二电子设备响应于拍摄指令，可以开始拍摄视频，得到第二视频。另外，因为此时是第二电子设备拍摄视频，因此为了获取空间立体声的效果，第二电子设备还可以获取声音采集设备相对于第二电子设备的位置，而非第一电子设备获取声音采集设备相对于第一电子设备的位置，进而第二电子设备可以得到第二位置集合。且本申请实施例中，第二电子设备还可以同步采集声音，得到第三音频。第二位置集合中的位置的获取方式可以参照第一位置集合的相关说明。

S1109，第二电子设备向第一电子设备发送第二视频、第三音频，以及第二位置集合。

本申请实施例中，第二电子设备在拍摄视频时，可以一边拍摄视频得到第二视频，一边向第一电子设备发送第二视频。或者，第二电子设备在完成视频拍摄，如接收到来自第一电子设备的停止拍摄指令时，可以将已拍摄得到的第二视频发送至第一电子设备。

同理的，第二电子设备可以在拍摄视频时，一边获取声音采集设备相对于第二电子设备的位置得到第二位置集合，一边向第一电子设备发送第二位置集合。或者，第二电子设备在完成视频拍摄时，可以将获取的第二位置集合发送至第一电子设备。本申请实施例对此不作限制。第三音频的传输方式可以参照S405中音频的传输方式。

S1110，声音采集设备继续采集声音，得到第四音频。

本申请实施例中，第二电子设备在拍摄视频的过程中，声音采集设备可以继续采集声音，得到第四音频。

S1111，声音采集设备向第一电子设备发送第四音频。

S1110-S1111可以参照S1103和S1105的描述。

S1112，第一电子设备将第三音频、第四音频，以及第二位置集合中的位置对应存储。

S1112可以参照S1106中的描述。S1107-S1112可以理解为如上图10中b所示的场景，即第一电子设备拍摄视频、第二电子设备采集声音，以及使用声音采集设备采集声音的场景。

在S1112之后，第一电子设备还可以执行S407，以及S408A-S410A中的渲染、混音、编码等操作，可以参照S408A-S410A中的描述。示例性的，如第一电子设备可以将第二音频和第一位置集合中的位置进行VBAP渲染，得到渲染后的第二音频。电子设备可以将第一音频和渲染后的第二音频进行混音处理，且对混音处理后的音频进行编码，得到声音的编码文件。第一电子设备可以根据第一视频以及声音的编码文件，播放视频和声音。

示例性的，如第一电子设备可以将第四音频和第二位置集合中的位置进行VBAP渲染，得到渲染后的第四音频。电子设备可以将第三音频和渲染后的第四音频进行混音处理，且对混音处理后的音频进行编码，得到声音的编码文件。第一电子设备可以根据第二视频，以及声音的编码文件，播放视频和声音。

在一种实施例中，声音采集设备可以将采集得到的第四音频发送给第二电子设备，再由第二电子设备转发至第一电子设备。在该实施例中，如第二电子设备采集到的音频为第三音频，则第二电子设备也可以将第四音频和第二位置集合中的位置进行VBAP渲染，得到渲染后的第四音频。第二电子设备可以将第三音频和渲染后的第四音频进行混音处理，且对混音处理后的音频进行编码，得到声音的编码文件，进而将声音的编码文件发送至第一电子设备。

在该种实现方式中，第二电子设备对音频、位置进行渲染处理，可以避免在第一电子设备在连接多个第二电子设备的场景中第一电子设备的计算量较大的问题，本申请实施例中可以由每个第二电子设备对音频、位置进行渲染进行处理，第一电子设备只需将声音的编码文件和视频对应存储即可，可以提高第一电子设备的处理效率。

在一种实施例中，在第一电子设备向第二电子设备发送拍摄指令后，第一电子设备可以仍继续采集声音。在一种实施例中，在第一电子设备向第二电子设备发送拍摄指令后，第一电子设备可以仍继续采集声音，第二电子设备不采集声音。

应理解的是，本申请实施例中的第一音频、第三音频，以及第四音频可以参照S403中的第二音频的描述。第二视频可以参照S401中的第一视频的描述。在本申请实施例的描述中，“第一”、“第二”等词汇，仅用于区分不同时间段采集得到的信息，而不能理解为指示或暗示相对重要性。

在该实施例中，图11A所示的流程可以简化如图11B所示。其中，图10中的a对应的录音过程可以参照图11B中的录音过程a，图10中的b对应的录音过程可以参照图11B中的录音过程b。其中，录音过程b中用虚线表征可选的步骤，如在第二电子设备拍摄视频时，第一电子设备可以采集声音，进而第一电子设备可以对第一电子设备采集到的音频、渲染后的第四音频、第三音频进行混音处理，编码等。

本申请实施例中，立体声合成系统中可以包括至少两个电子设备，每个电子设备均可以拍摄视频，拍摄视频的第二电子设备可以获取声音采集设备相对与第二电子设备的位置，因此第一电子设备可以基于声音采集设备相对与第二电子设备的位置，第一电子设备采集的声音，以及声音采集设备采集的声音，合成立体声，使得第一电子设备在播放视频时具备立体声音效。

在一种实施例中，参照图12，本申请实施例提供的立体声合成方法可以包括：

S1201，响应于用户的第一操作，电子设备拍摄对象，得到第一视频。

S1201可以参照S401中的相关描述。

S1202，电子设备获取视频拍摄过程中声音采集设备采集到的第二音频。

在一种实施例中，S1202可以参照S402-S403、S405中的相关描述。

在一种实施例中，电子设备可以实时从声音采集设备中读取声音采集设备采集到的音频，以得到第二音频。

S1203，电子设备获取视频拍摄过程中声音采集设备相对于电子设备的位置，得到第一位置集合。

S1203可以参照S404中的相关描述。

S1204，电子设备根据第一位置集合中的位置对第二音频进行渲染，得到具有空间立体声音效的第二音频。

S1203可以参照S408中的相关描述。

S1205，电子设备播放第一视频和具有空间立体声音效的第二音频。

S1205可以参照S410中的相关描述。

应理解，本申请实施例也能够达到电子设备可以播放具有空间立体声效果的目的。

在一种实施例中，参照图13，本申请实施例还提供一种电子设备，该电子设备可以为上述实施例中所述的电子设备或声音采集设备，该电子设备中可以包括：处理器1301(例如CPU)、存储器1302。存储器1302可能包含高速随机存取存储器(random-access memory，RAM)，也可能还包括非易失性存储器(non-volatile memory，NVM)，例如至少一个磁盘存储器，存储器1302中可以存储各种指令，以用于完成各种处理功能以及实现本申请的方法步骤。

可选的，本申请涉及的电子设备还可以包括：电源1303、通信总线1304以及通信端口1305。上述通信端口1305用于实现电子设备与其他外设之间进行连接通信。在本申请实施例中，存储器1302用于存储计算机可执行程序代码，程序代码包括指令；当处理器1301执行指令时，指令使电子设备的处理器1301执行上述方法实施例中的动作，其实现原理和技术效果类似，在此不再赘述。

需要说明的是，上述实施例中所述的模块或部件可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个专用集成电路(application specificintegrated circuit，ASIC)，或，一个或多个微处理器(digital signal processor，DSP)，或，一个或者多个现场可编程门阵列(field programmable gate array，FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(central processing unit，CPU)或其它可以调用程序代码的处理器如控制器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，SOC)的形式实现。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

本文中的术语“多个”是指两个或两个以上。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系；在公式中，字符“/”，表示前后关联对象是一种“相除”的关系。

可以理解的是，在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。

可以理解的是，在本申请的实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。

Claims (20)

1.一种立体声合成方法，其特征在于，应用于立体声合成系统，所述立体声合成系统包括电子设备和声音采集设备，所述声音采集设备设置在对象上，所述方法包括：

响应于用户的第一操作，所述电子设备拍摄所述对象，得到第一视频；

所述电子设备获取视频拍摄过程中所述声音采集设备采集到的第二音频；

所述电子设备获取视频拍摄过程中所述声音采集设备相对于所述电子设备的位置，得到第一位置集合；

所述电子设备根据所述第一位置集合中的位置对所述第二音频进行渲染，得到具有空间立体声音效的第二音频；

所述电子设备播放所述第一视频和所述具有空间立体声音效的第二音频。

2.根据权利要求1所述的方法，其特征在于，所述电子设备获取视频拍摄过程中所述声音采集设备采集到的第二音频，包括：

所述电子设备向所述声音采集设备发送第一信息，所述第一信息指示所述声音采集设备采集声音；

所述声音采集设备响应于所述第一信息，采集声音，得到所述第二音频；

所述声音采集设备向所述电子设备发送所述第二音频。

3.根据权利要求1或2所述的方法，其特征在于，所述电子设备根据所述第一位置集合中的位置对所述第二音频进行渲染之前，还包括：

所述电子设备检测所述电子设备是否开启空间立体声音效；

所述电子设备根据所述第一位置集合中的位置对所述第二音频进行渲染，包括：

响应于所述电子设备已开启空间立体声音效，所述电子设备根据所述第一位置集合中的位置对所述第二音频进行渲染。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

所述电子设备将渲染后的第二音频进行编码；

所述电子设备按照采集时刻，将编码后的第二音频、所述第一视频，以及所述第一位置集合中的位置对应存储。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

响应于所述电子设备未开启空间立体声音效，所述电子设备按照采集时刻，将所述第一视频、所述第二音频，以及所述第一位置集合中的位置对应存储。

6.根据权利要求1或2所述的方法，其特征在于，所述电子设备根据所述第一位置集合中的位置对所述第二音频进行渲染之前，还包括：

所述电子设备按照采集时刻，将所述第一视频、所述第二音频，以及所述第一位置集合中的位置对应存储；

所述电子设备根据所述第一位置集合中的位置对所述第二音频进行渲染，包括：

响应于所述用户的第二操作，所述电子设备检测所述电子设备是否开启空间立体声音效，所述第二操作用于指示所述电子设备播放所述第一视频；

若是，则所述电子设备根据所述第一位置集合中的位置对所述第二音频进行渲染。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

响应于未开启空间立体声音效，所述电子设备输出提示信息，所述提示信息用于提示用户开启空间立体声音效；

响应于所述用户执行开启空间立体声音效的第三操作，所述电子设备根据所述第一位置集合中的位置对所述第二音频进行渲染。

8.根据权利要求1-7中任一项所述的方法，其特征在于，所述电子设备根据所述第一位置集合中的位置对所述第二音频进行渲染，包括：

所述电子设备根据所述第一位置集合中的位置，对所述第二音频进行矢量基幅值相移渲染。

9.根据权利要求5或6所述的方法，其特征在于，所述将所述第一视频、所述第二音频，以及所述第一位置集合中的位置对应存储，包括：

所述电子设备对所述第二音频进行编码；

所述电子设备将所述第一视频、编码后的第二音频，以及所述第一位置集合中的位置对应存储。

10.根据权利要求4或9所述的方法，其特征在于，所述电子设备播放所述第一视频和所述具有空间立体声音效的第二音频，包括：

所述电子设备解码编码后的第二音频；

所述电子设备播放解码后的第二音频和所述第一视频。

11.根据权利要求1-9中任一项所述的方法，其特征在于，所述方法还包括：

响应于所述用户的所述第一操作，所述电子设备在拍摄视频过程中采集声音，得到第一音频；

所述电子设备播放所述第一视频和所述具有空间立体声音效的第二音频之前，还包括：

所述电子设备将所述第一音频和渲染后的第二音频进行混音；

所述电子设备播放所述第一视频和所述具有空间立体声音效的第二音频，包括：

所述电子设备播放所述第一视频和混音处理后的音频。

12.根据权利要求1-11中任一项所述的方法，其特征在于，所述方法还包括：

响应于所述用户的所述第一操作，所述电子设备获取所述声音采集设备相对于所述电子设备的初始位置；

若在所述电子设备拍摄视频的过程中，所述电子设备的姿态和所述声音采集设备的姿态均未发生改变，则所述第一位置集合中包括所述初始位置。

13.根据权利要求12所述的方法，其特征在于，所述电子设备获取视频拍摄过程中所述声音采集设备相对于所述电子设备的位置，包括：

响应于所述电子设备的姿态或所述声音采集设备的姿态发生改变，所述电子设备获取一次所述声音采集设备相对于所述电子设备的位置，所述第一位置集合中包括所述初始位置和所述电子设备的姿态或所述声音采集设备的姿态发生改变时所述声音采集设备相对于所述电子设备的位置。

14.根据权利要求1-11中任一项所述的方法，其特征在于，所述电子设备获取视频拍摄过程中所述声音采集设备相对于所述电子设备的位置，包括：

响应于检测到所述声音采集设备采集到一次声音，所述电子设备获取一次所述声音采集设备相对于所述电子设备的位置。

15.根据权利要求14所述的方法，其特征在于，所述响应于检测到所述声音采集设备采集到一次声音，包括：

响应于接收来自所述声音采集设备的响应信息，所述电子设备确定所述声音采集设备采集到一次声音，所述响应信息指示所述声音采集设备采集到声音。

16.根据权利要求1-15中任一项所述的方法，其特征在于，所述方法还包括：

所述电子设备向所述声音采集设备发送第二信息，所述第二信息用于指示所述声音采集设备停止采集声音；

所述电子设备停止获取所述声音采集设备相对于所述电子设备的位置；

所述声音采集设备响应于所述第二信息，停止采集声音。

17.根据权利要求1-16中任一项所述的方法，其特征在于，所述电子设备为第一电子设备，所述方法还包括：

所述第一电子设备控制第二电子设备拍摄所述对象；

所述第一电子设备获取所述第二电子设备拍摄所述对象得到的第二视频；

所述第一电子设备获取所述第二电子设备拍摄视频过程中所述声音采集设备采集到的第四音频；

所述第一电子设备获取所述第二电子设备拍摄视频过程中所述声音采集设备相对于所述第二电子设备的第二位置集合；

所述第一电子设备根据所述第二位置集合中的位置对所述第四音频进行渲染，得到具有空间立体声音效的第四音频；

所述第一电子设备播放第二视频和所述具有空间立体声音效的第四音频。

18.根据权利要求17所述的方法，其特征在于，所述第二电子设备拍摄视频的过程中还用于采集声音，所述方法还包括：

所述第一电子设备获取所述第二电子设备拍摄视频过程中所述第二电子设备采集的第三音频。

19.根据权利要求18所述的方法，其特征在于，所述第一电子设备播放第二视频和所述具有空间立体声音效的第四音频之前，还包括：

所述第一电子设备将所述第三音频和渲染后的第四音频进行混音；

所述第一电子设备播放第二视频和所述具有空间立体声音效的第四音频，包括：

所述第一电子设备播放所述第二视频和混音处理后的音频。

20.一种立体声合成系统，其特征在于，包括：电子设备和声音采集设备。

Images