CN115942066A - 一种音频直播方法、电子设备及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种音频直播方法、电子设备以及计算机可读存储介质，方法包括：接收录入音频及音轨同步页面中关于音轨同步控件的调节信号；根据调节信号确定信号类型，信号类型包括关于录入音频的延迟信号和提前信号；当调节信号为延迟信号时，根据延迟信号确定延迟帧数量，并在本地音频的第一个播放音频帧之前插入延迟帧数量个空白帧；当调节信号为提前信号时，根据提前信号确定提前帧数量，并在本地音频的第一个混流音频帧之前插入提前帧数量个空白帧；对录入音频和本地音频进行混流，生成直播音频。应用本申请所提供的技术方案，可以在音频直播过程中实现录入音频与本地音频之间的音轨同步，进一步提高用户的观看体验。

Description

一种音频直播方法、电子设备及计算机可读存储介质

技术领域

本申请涉及多媒体技术领域，特别涉及一种音频直播方法、电子设备及计算机可读存储介质。

背景技术

在网络直播过程中，先利用直播设备播放本地音乐，主播跟着播放音乐唱歌，然后再利用直播设备采集主播声音将其与本地音乐进行混流后上传至互联网络，从而实现网络直播。

其中，在利用直播设备播放本地音乐时，相应的音乐文件会被解码，并被拷贝分成SendQueue(上行混流队列)和PlayQueue(本地播放队列)两条队列，PlayQueue用于进行本地播放，以便主播跟唱，SendQueue用于上行与主播跟唱音频进行混流，并直播至互联网络。然而，由于受到互联网络和本地播放器的影响，很容易出现SendQueue和PlayQueue不同步的问题，例如，当互联网络不稳定时，SendQueue会延迟于PlayQueue，当本地播放器性能不稳定时，PlayQueue会延迟于SendQueue。进一步，由于主播是跟随PlayQueue进行演唱，并且主播声音是与SendQueue进行混流直播，因此，SendQueue和PlayQueue的播放不同步问题将会导致SendQueue与主播声音音轨不同步的问题，进而造成观看用户体验不佳的问题。

因此，如何在音频直播过程中实现录入音频与本地音频之间的音轨同步，提高用户的观看体验是本领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种音频直播方法，该方法可以在音频直播过程中实现录入音频与本地音频之间的音轨同步，进一步提高用户的观看体验；本申请的另一目的是提供一种电子设备及计算机可读存储介质，均具有上述有益效果。

第一方面，本申请提供了一种音频直播方法，包括：

接收录入音频及音轨同步页面中关于音轨同步控件的调节信号；

根据所述调节信号确定信号类型，所述信号类型包括关于所述录入音频的延迟信号和提前信号；

当所述调节信号为所述延迟信号时，根据所述延迟信号确定延迟帧数量，并在本地音频的第一个播放音频帧之前插入所述延迟帧数量个空白帧；

当所述调节信号为所述提前信号时，根据所述提前信号确定提前帧数量，并在本地音频的第一个混流音频帧之前插入所述提前帧数量个空白帧；

对所述录入音频和所述本地音频进行混流，生成直播音频。

可选地，所述音轨同步控件为滑动按钮，所述根据所述调节信号确定信号类型，包括：

根据所述调节信号确定所述滑动按钮在滑杆上的滑动方向；

当所述滑动方向为第一方向时，确定所述信号类型为所述延迟信号；

当所述滑动方向为第二方向时，确定所述信号类型为所述提前信号。

可选地，所述根据所述延迟信号确定延迟帧数量，包括：

根据所述延迟信号确定所述滑动按钮在所述第一方向上的第一滑动距离；

根据所述第一滑动距离确定延迟时间；

获取单位音频帧对应的单位时间；

根据所述延迟时间和所述单位时间计算获得所述延迟帧数量；

相应地，所述根据所述提前信号确定提前帧数量，包括：

根据所述提前信号确定所述滑动按钮在所述第二方向上的第二滑动距离；

根据所述第二滑动距离确定提前时间；

根据所述提前时间和所述单位时间计算获得所述提前帧数量。

可选地，所述音轨同步控件包括延迟按钮和提前按钮，所述根据所述调节信号确定信号类型，包括：

当所述调节信号为关于所述延迟按钮的触控信号时，确定所述信号类型为所述延迟信号；

当所述调节信号为关于所述提前按钮的触控信号时，确定所述信号类型为所述提前信号。

可选地，所述根据所述延迟信号确定延迟帧数量，包括：

根据所述延迟信号确定所述延迟按钮的第一触控次数；

根据所述第一触控次数确定延迟时间；

获取单位音频帧对应的单位时间；

根据所述延迟时间和所述单位时间计算获得所述延迟帧数量；

相应地，所述根据所述提前信号确定提前帧数量，包括：

根据所述提前信号确定所述提前按钮的第二触控次数；

根据所述第二触控次数确定提前时间；

根据所述提前时间和所述单位时间计算获得所述提前帧数量。

可选地，所述根据所述延迟信号确定延迟帧数量，包括：

根据所述延迟信号确定所述延迟按钮的第一触控时长；

根据所述第一触控时长确定延迟时间；

获取单位音频帧对应的单位时间；

根据所述延迟时间和所述单位时间计算获得所述延迟帧数量；

相应地，所述根据所述提前信号确定提前帧数量，包括：

根据所述提前信号确定所述提前按钮的第二触控时长；

根据所述第二触控时长确定提前时间；

根据所述提前时间和所述单位时间计算获得所述提前帧数量。

可选地，所述音频直播方法还包括：

获取本地设备信息；

当所述调节信号为所述延迟信号时，将所述延迟帧数量和所述本地设备信息上传至服务器；

当所述调节信号为所述提前信号时，将所述提前帧数量和所述本地设备信息上传至所述服务器。

可选地，所述接收录入音频及音轨同步页面中关于音轨同步控件的调节信号之前，还包括：

接收所述音轨同步页面中关于录音按钮的第一触控信号，并根据所述第一触控信号采集获得所述录入音频；

接收所述音轨同步页面中关于播放按钮的第二触控信号，并根据所述第二触控信号对所述录入音频和所述本地音频进行混流播放，以便用户根据混流音频输入所述调节信号。

第二方面，本申请还公开了一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上所述的任一种音频直播方法的步骤。

第三方面，本申请还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的任一种音频直播方法的步骤。

应用本申请所提供的技术方案，为实现音频直播过程中录入音频与本地音频之间的音轨同步，可以在音频直播设备中创建包含有音轨同步控件的音轨同步页面，在音频直播过程中，用户则可以在音轨同步页面中对音轨同步控件进行调节，由此，音频直播设备即可根据接收到的关于音轨同步控件的调节信号对录入音频进行调节，若调节信号为关于录入音频的延迟信号，可以在本地音频的第一个播放音频帧之前插入一定数量个空白帧，使得本地播放队列延迟，相当于实现录入音频的延迟，从而使得延迟后的录入音频与本地音频的上行混流队列同步；若调节信号为关于录入音频的提前信号，可以在本地音频的第一个混流音频帧之前插入一定数量个空白帧，使得上行混流队列延迟，相当于实现录入音频的提前，从而实现提前候的录入音频与本地音频的上行混流队列同步，由此，在完成调节之后，基于录入音频和本地音频即可生成音轨同步的直播音频，即实现了音频直播过程中录入音频与本地音频之间的音轨同步，有效地提高了用户的观看体验。

附图说明

为了更清楚地说明现有技术和本申请实施例中的技术方案，下面将对现有技术和本申请实施例描述中需要使用的附图作简要的介绍。当然，下面有关本申请实施例的附图描述的仅仅是本申请中的一部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图，所获得的其他附图也属于本申请的保护范围。

图1为本申请所提供的一种音频直播方法的流程示意图；

图2为本申请所提供的一种默认状态下进阶调音面板的界面图；

图3为本申请所提供的一种录音开始和结束状态下进阶调音面板的界面图；

图4为本申请所提供的一种录音播放状态下进阶调音面板的界面图；

图5为本申请所提供的一种音轨同步页面示意图；

图6为本申请所提供的另一种音轨同步页面示意图；

图7为本申请所提供的一种电子设备的结构示意图。

具体实施方式

本申请的核心是提供一种音频直播方法，该方法可以在音频直播过程中实现录入音频与本地音频之间的音轨同步，进一步提高用户的观看体验；本申请的另一核心是提供一种电子设备及计算机可读存储介质，均具有上述有益效果。

为了对本申请实施例中的技术方案进行更加清楚、完整地描述，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行介绍。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了一种音频直播方法。

请参考图1，图1为本申请所提供的一种音频直播方法的流程示意图，该音频直播方法可以包括如下S101至S105。

S101：接收录入音频及音轨同步页面中关于音轨同步控件的调节信号。

本步骤旨在实现录入音频和调节信号的获取，该调节信号是指音轨同步页面中关于音轨同步控件的调节信号，用于实现音频直播过程中录入音频和本地音频之间的音轨同步调节。

可以理解的是，在音频直播(包括视频直播)过程中，主播会利用音频直播设备的本地播放器播放本地音乐，并跟随播放音乐唱歌，然后由直播设备的录音器采集主播的音频，并将其与本地音乐进行混流后发布至互联网络，从而实现音频直播。在本申请实施例中，音频直播设备录音器所采集到的主播音频即为上述录入音频，本地音乐即为上述本地音频。

在实现过程中，当出现录入音频和本地音频音轨不同步的问题时，主播用户即可在音频直播设备中登录音轨同步页面，并对其中的音轨同步控件进行调节，对于音频直播设备而言，将会接收到关于该音轨同步控件的调节信号。其中，音频直播设备可以为电脑、手机、平板等任意类型的电子设备。

其中，直播用户输入关于音轨同步控件的调节信号的实现方式并不唯一，可以为直接基于音频直播设备显示屏的触屏信号，也可以为基于外部输入设备(如键盘、鼠标等)的按键信号，本申请对此不做限定。并且，音轨同步控件的具体类型也不唯一，可以通过控件操作实现音轨同步即可，本申请对此同样不做限定。

S102：根据调节信号确定信号类型，信号类型包括关于录入音频的延迟信号和提前信号。

本步骤旨在实现信号类型的确定。可以想到的是，在直播过程中，录入音频和本地音频的音轨不同步存在以下两种情况：录入音频提前于本地音频、录入音频延迟于本地音频。显然，为解决录入音频提前于本地音频的问题，可以对录入音频进行调节以使录入音频延迟；为解决录入音频延迟于本地音频的问题，可以对录入音频进行调节以使录入音频提前。基于此，调节信号的信号类型可以分为两种，即：关于录入音频的延迟信号和关于录入音频的提前信号，显而易见地，当录入音频提前于本地音频时，调节信号为关于录入音频的延迟信号，当录入音频延迟于本地音频时，调节信号为关于录入音频的提前信号。对于音频直播设备而言，其在接收到关于关于音轨同步控件的调节信号之后，即可对其进行信号类型识别，以便于根据信号类型确定当前需要对录入音频执行提前操作还是延迟操作。

S103：当调节信号为延迟信号时，根据延迟信号确定延迟帧数量，并在本地音频的第一个播放音频帧之前插入延迟帧数量个空白帧。

本步骤旨在实现录入音频的延迟操作。可以理解的是，当调节信号为延迟信号时，说明当前录入音频提前于本地音频，需要对录入音频执行延迟操作。

对于音频直播设备而言，其在识别确定调节信号为延迟信号之后，可以先对其进行信号解析，以确定延迟帧数量，该延迟帧数量是指需要延迟的录入音频的音频帧的数量。可以理解的是，在音频直播过程中，本地音频的音频文件会被解码，并被拷贝分成SendQueue和PlayQueue两条队列，PlayQueue用于进行本地播放，以便主播用户跟唱，SendQueue用于上行与主播用户的跟唱音频(即录入音频)进行混流，并直播至互联网络，显然，由于主播用户是跟随PlayQueue进行演唱，因此，对录入音频进行延迟，其本质上是对PlayQueue进行延迟，当PlayQueue延迟时，录入音频必然也会延迟，因此，上述延迟帧数量也即需要延迟的PlayQueue的音频帧的数量。基于此，在确定延迟帧数量之后，即可在本地音频的第一个播放音频帧之前插入延迟帧数量个空白帧，其中，第一个播放音频帧即为PlayQueue中的第一个音频帧，显然，在PlayQueue的第一个音频帧之前插入延迟帧数量个空白帧，相当于将本地音频的PlayQueue延迟了该延迟帧数量个音频帧，也即实现了将录入音频延迟了该延迟帧数量个音频帧，由此，实现了关于录入音频的延迟操作。

其中，延迟帧数量的具体取值由录入音频的延迟时间所决定，而录入音频的延迟时间则由直播用户根据录入音频与本地音频之间的不同步情况进行设定，而设定结果则是由直播用户对于音轨同步控件的调节方式所决定。显然，当录入音频提前于本地音频较多时，录入音频的延迟时间必然较长，因此，延迟帧数量的取值也越大；当录入音频提前本地音频较少时，录入音频的延时时间必然较短，因此，延迟帧数量的取值也越小。

S104：当调节信号为提前信号时，根据提前信号确定提前帧数量，并在本地音频的第一个混流音频帧之前插入提前帧数量个空白帧。

本步骤旨在实现录入音频的提前操作。可以理解的是，当调节信号为提前信号时，说明当前录入音频延迟于本地音频，需要对录入音频执行提前操作。

对于音频直播设备而言，其在识别确定调节信号为提前信号之后，可以先对其进行信号解析，以确定提前帧数量，该提前帧数量是指需要提前的录入音频的音频帧的数量。可以理解的是，在音频直播过程中，本地音频的音频文件会被解码，并被拷贝分成SendQueue和PlayQueue两条队列，PlayQueue用于进行本地播放，以便主播用户跟唱，SendQueue用于上行与主播用户的跟唱音频(即录入音频)进行混流，并直播至互联网络，显然，由于主播用户是跟随PlayQueue进行演唱，而录入音频则是与SendQueue进行混流直播，因此，对录入音频进行提前，其本质上是对SendQueue进行延迟。对比而言，当SendQueue延迟时，录入音频必然会提前，因此，上述提前帧数量也即需要延迟的SendQueue的音频帧的数量。基于此，在确定提前帧数量之后，即可在本地音频的第一个混流音频帧之前插入该提前帧数量个空白帧，其中，第一个混流音频帧即为SendQueue中的第一个音频帧，显然，在SendQueue的第一个音频帧之前插入提前帧数量个空白帧，相当于将本地音频的SendQueue延迟了该提前帧数量个音频帧，也即实现了将录入音频提前了该提前帧数量个音频帧，由此，实现了关于录入音频的提前操作。

同样地，提前帧数量的具体取值由录入音频的提前时间所决定，而录入音频的提前时间则由直播用户根据录入音频与本地音频之间的不同步情况进行设定，而设定结果则是由直播用户对于音轨同步控件的调节方式所决定。显然，当录入音频延迟于本地音频较多时，录入音频的提前时间必然较长，因此，提前帧数量的取值也越大；当录入音频延迟于本地音频较少时，录入音频的提前时间必然较短，因此，提前帧数量的取值也越小。

S105：对录入音频和本地音频进行混流，生成直播音频。

本步骤旨在实现直播音频的生成，即对录入音频和本地音频进行混流，生成直播音频。可以理解的是，在完成上述关于录入音频的调节之后，说明当前已经完成了录入音频与本地音频之间的音轨同步，因此，基于录入音频和本地音频进行混流所得到的直播音频，则是已经完成音轨同步的直播音频。此时，直播用户则可以使用音轨调节后的音频直播设备进行音频直播，在音频直播过程中，音频直播设备可以利用本地播放器对本地音频进行本地播放，这里是指对插入空白帧后的PlayQueue进行本地播放，以便于直播用户跟唱；同时，音频直播设备将会利用录音器采集直播用户的声频获得录入音频，并将该录入音频与本地音频进行混流后上传至互联网络，这里是指将录入音频与插入空白帧后的SendQueue进行混流，从而实现音频直播。

可见，本申请实施例所提供的音频直播方法，为实现音频直播过程中录入音频与本地音频之间的音轨同步，可以在音频直播设备中创建包含有音轨同步控件的音轨同步页面，在音频直播过程中，用户则可以在音轨同步页面中对音轨同步控件进行调节，由此，音频直播设备即可根据接收到的关于音轨同步控件的调节信号对录入音频进行调节，若调节信号为关于录入音频的延迟信号，可以在本地音频的第一个播放音频帧之前插入一定数量个空白帧，使得本地播放队列延迟，相当于实现录入音频的延迟，从而使得延迟后的录入音频与本地音频的上行混流队列同步；若调节信号为关于录入音频的提前信号，可以在本地音频的第一个混流音频帧之前插入一定数量个空白帧，使得上行混流队列延迟，相当于实现录入音频的提前，从而实现提前候的录入音频与本地音频的上行混流队列同步，由此，在完成调节之后，基于录入音频和本地音频即可生成音轨同步的直播音频，即实现了音频直播过程中录入音频与本地音频之间的音轨同步，有效地提高了用户的观看体验。

在上述实施例的基础上：

如上所述，延迟帧数量的具体取值由录入音频的延迟时间所决定，提前帧数量的具体取值由录入音频的提前时间所决定，而录入音频的延迟时间和提前时间均是由直播用户根据录入音频与本地音频之间的不同步情况进行设定，为了方便直播用户可以直观地了解到当前视频直播设备对于录入音频与本地音频的不同步情况，本申请实施例提供了一种解决方法。

在本申请的一个实施例中，上述接收录入音频及音轨同步页面中关于音轨同步控件的调节信号之前，还可以包括如下步骤：

接收音轨同步页面中关于录音按钮的第一触控信号，并根据第一触控信号采集获得录入音频；

接收音轨同步页面中关于播放按钮的第二触控信号，并根据第二触控信号对录入音频和本地音频进行混流播放，以便用户根据混流音频输入调节信号。

在本申请实施例中，提供了一种录音试听方法，使得直播用户可以通过录音试听的实现方式了解当前视频直播设备中录入音频与本地音频的不同步情况。具体而言，在音轨同步页面中可以增设录音按钮和播放按钮，其中，直播用户对于录音按钮的触控信号(即上述第一触控信号)对应于录音信号，也就是说，当直播用户点击录音按钮时，音频直播设备将会响应该第一触控信号执行录音操作；直播用户对于播放按钮的触控信号(即上述第二触控信号)对应于播放试听信号，也就是说，当直播用户点击播放按钮时，音频直播设备将会响应该第二触控信号执行播放试听操作。

在实现过程中，直播用户在登录音轨同步页面之后，先点击录音按钮，此时，音频直播设备将会接收到关于该录音按钮的第一触控信号，并根据该第一触控信号启动本地播放器和录音器，其中，通过本地播放器对本地音频进行播放，以便直播用户进行跟唱，通过录音器采集直播用户跟唱的音频，获得录入音频，需要说明的是，该录音音频只包括直播用户跟唱的声频，不包括本地播放器播放的音频。进一步，在完成录入音频的采集之后，用户可以点击播放按钮，此时，音频直播设备降火接收到关于该播放按钮的第二触控信号，并根据该第二触控信号对采集得到的录入音频和本地音频进行混流播放。由此，直播用户即可了解到在实际直播过程中收听用户所体验到的直播音频，从而确定录入音频是延迟于本地音频还是提前于本地音频，并了解到延迟或者提前的具体情况，基于此，用户则可以根据该混流音频对音轨同步控件进行相应的调节操作，从而实现调节信号的输入。

以手机直播为例，请参考图2至图4，图2为本申请所提供的一种默认状态下进阶调音面板的界面图，图3为本申请所提供的一种录音开始和结束状态下进阶调音面板的界面图，图4为本申请所提供的一种录音播放状态下进阶调音面板的界面图，其中，进阶调音面板用于展示音轨同步页面。如图2所示，直播用户可以点击页面左下方的录音按钮进行录入音频的采集，采集时间可以预先设定(如10秒)，由于图2示出的状态为当前没有已采集的录入音频，故页面右下方的播放按钮置灰不可点击；如图3所示，左侧为直播用户点击录音按钮之后开始采集录入音频，录入音频采集过程中播放按钮置灰不可点击，右侧为录入音频采集结束，此时，录音按钮和播放按钮均可点击，点击录音按钮可重新采集录入音频，点击播放按钮可播放调节后的混流音频，以供直播用户试听；如图4所示，直播用户点击播放按钮后将会对调节后的混流音频进行播放，以供直播用户试听，此时录音按钮置灰不可点击。

显然，通过录音试听的方式，可以使用户直观地了解到当前视频直播设备对于录入音频与本地音频的不同步情况，进而实现调节信号的输入，也方便直播用户可以在直播开始时直接就做好录入音频与本地音频的音轨同步，避免在直播过程中再进行该操作，有助于提高收听用户体验。

当然，本申请实施例所提供的录音试听方法也适用于在直播过程中进行，直播用户可以通过多次循环调节的方式达到录入音频与本地音频音轨同步的目的。

关于音轨同步控件，本申请提供了如下两种实现形式。

在本申请的一个实施例中，音轨同步控件可以为滑动按钮，上述根据调节信号确定信号类型，可以包括如下步骤：

根据调节信号确定滑动按钮在滑杆上的滑动方向；

当滑动方向为第一方向时，确定信号类型为延迟信号；

当滑动方向为第二方向时，确定信号类型为提前信号。

本申请实施例提供了一种具体类型的音轨同步控件，即滑动按钮，上述关于音轨同步控件的调节信号即为该滑动按钮在滑动滑杆上的滑动信号，直播用户可以通过滑动该滑动按钮实现调节信号的输入，滑动按钮在滑动滑杆上的滑动方向则对应于调节信号的信号类型，相反的滑动方向可以分别对应于关于录入音频的提前信号和延迟信号。

进一步，当需要进行音轨同步操作时，可以通过音频直播设备展示包括有滑动按钮的音轨同步页面，直播用户则可以根据实际需要控制滑动按钮进行滑动。对于音频直播设备而言，其在接收到滑动按钮在滑动滑杆上的滑动信号时，可以确定接收到调节信号，并根据该调节信号确定滑动按钮在滑杆上的滑动方向，从而根据滑动方向确定调节信号的信号类型，即：当滑动方向为第一方向时，确定信号类型为所述延迟信号，当滑动方向为第二方向时，确定信号类型为所述提前信号，当然，第一方向和第二方向互为反方向。由此，实现信号类型的确定。

在基于滑动按钮实现信号类型确定的基础上，进一步提出了如下根据调节信号确定调节帧数量的实现方法，显而易见地，该调节帧数量是指延迟帧数量或者提前帧数量。

在一种可能的实现方式中，上述根据延迟信号确定延迟帧数量，可以包括如下步骤：

根据延迟信号确定滑动按钮在第一方向上的第一滑动距离；

根据第一滑动距离确定延迟时间；

获取单位音频帧对应的单位时间；

根据延迟时间和单位时间计算获得延迟帧数量；

相应地，上述根据提前信号确定提前帧数量，可以包括如下步骤：

根据提前信号确定滑动按钮在第二方向上的第二滑动距离；

根据第二滑动距离确定提前时间；

根据提前时间和单位时间计算获得提前帧数量。

如上所述，滑动按钮在滑动滑杆上的滑动方向对应于调节信号的信号类型时，更进一步地，滑动按钮在滑动滑杆上的滑动距离则可以用于确定调节帧数量。有基于此，可以预先创建滑动按钮的滑动距离与调节时间之间的对应关系，当然，该调节时间是指关于录入音频的延迟时间或提前时间，用于实现调节帧数量的计算，例如，滑动距离1毫米对应于调节时间20毫秒，也就是说，当滑动按钮向第一方向上滑动1毫米时，对应于延迟时间为20毫秒，当滑动按钮向第二方向上滑动1毫米时，对应于提前时间为20毫秒，由此，即可根据滑动按钮在滑动滑杆上的滑动距离确定对应的调节时间，进而根据调节时间计算获得调节帧数量。

因此，当关于录入音频的调节信号为延迟信号时，可以进一步根据该延迟信号确定滑动按钮在第一方向上的滑动距离，即上述第一滑动距离，并根据上述对应关系确定该第一滑动距离对应的延迟时间，同时，获取单位音频帧对应的单位时间，也即一个音频帧所占用的时间，然后计算延迟时间和单位时间的商值，该商值即为延迟帧数量。当关于录入音频的调节信号为提前信号时，可以进一步根据该提前信号确定滑动按钮在第二方向上的滑动距离，即上述第二滑动距离，并根据上述对应关系确定该第二滑动距离对应的提前时间，同时，获取单位音频帧对应的单位时间，也即一个音频帧所占用的时间，然后计算提前时间和单位时间的商值，该商值即为提前帧数量。

例如，请参考图5，图5为本申请所提供的一种音轨同步页面示意图，在该音轨同步页面中，采用图5所示滑动按钮和滑动滑杆作为音轨同步控件，直播用户可以以触屏的方式拖动滑动按钮在滑动滑杆上左右滑动，滑动过程中所产生的滑动信号即为关于音轨同步控件的调节信号，并且，滑动按钮在滑动滑杆上的滑动方向对应于调节信号的信号类型(关于录入音频的延迟信号或者提前信号)，滑动距离对应于调节时间(关于录入音频的延迟时间或者提前时间)。如图5所示，滑动按钮在滑动滑杆上默认居中(图5左侧图手部图标处)，将滑动按钮在滑动滑杆上向右(即第二方向)移动，对应于将录入音频提前一定的时长(图5中间图手部图标处)，将滑动按钮在滑动滑杆上向左(即第一方向)移动，对应于将录入音频延迟一定的时长(图5右侧图手部图标处)，并且，在滑动滑杆上标示有刻度，例如，可以设定每一小格对应于20毫秒，基于该音轨同步控件最多可以提前300毫秒和延迟300毫秒。

至此，基于滑动按钮实现了音频直播过程中录入音频与本地音频的音轨同步。

在本申请的另一个实施例中，音轨同步控件可以包括延迟按钮和提前按钮，上述根据所述调节信号确定信号类型，可以包括如下步骤：

当调节信号为关于延迟按钮的触控信号时，确定信号类型为延迟信号；

当调节信号为关于提前按钮的触控信号时，确定信号类型为提前信号。

本申请实施例提供了另一种具体类型的音轨同步控件，即延迟按钮和提前按钮，上述关于音轨同步的调节信号即为关于延迟按钮或提前按钮的触控信号，显然，关于延迟按钮的触控信号对应于关于录入音频的延迟信号，关于提前按钮的触控信号对应于关于录入音频的提前信号，由此，直播用户则可以通过触控延迟按钮实现延迟信号的输入，通过触控提前按钮实现提前信号的输入。

进一步，当需要进行音轨同步操作时，可以通过音频直播设备展示包括有延迟按钮和提前按钮的音轨同步页面，直播用户则可以根据实际需要触控延迟按钮或提前按钮。对于音频直播设备而言，当其接收到的调节信号为关于延迟按钮的触控信号时，则可以确定调节信号的信号类型为延迟信号；当其接收到的调节信号为关于提前按钮的触控信号时，则可以确定调节信号的信号类型为提前信号。由此，实现信号类型的确定。

在基于延迟按钮和提前按钮实现信号类型确定的基础上，进一步提出了如下两种根据调节信号确定调节帧数量的方法，同样地，该调节帧数量是指延迟帧数量或者提前帧数量。

在一种可能的实现方式中，上述根据延迟信号确定延迟帧数量，可以包括如下步骤：

根据延迟信号确定延迟按钮的第一触控次数；

根据第一触控次数确定延迟时间；

获取单位音频帧对应的单位时间；

根据延迟时间和单位时间计算获得延迟帧数量；

相应地，上述根据提前信号确定提前帧数量，可以包括如下步骤：

根据提前信号确定提前按钮的第二触控次数；

根据第二触控次数确定提前时间；

根据提前时间和单位时间计算获得提前帧数量。

如上所述，关于延迟按钮的触控信号对应于关于录入音频的延迟信号，关于提前按钮的触控信号对应于关于录入音频的提前信号，更进一步地，关于延迟按钮和提前按钮的触控次数则可以用于确定调节帧数量。有基于此，可以预先创建关于延迟按钮和提前按钮的触控次数与调节时间之间的对应关系，同样地，该调节时间是指关于录入音频的延迟时间或提前时间，用于实现调节帧数量的计算，例如，触控次数一次对应于调节时间为20毫秒，也就是说，当触控一次延迟按钮时，对应于延迟时间为20毫秒，当触控一次提前按钮时，对应于提前时间为20毫秒，由此，即可根据关于延迟按钮和提前按钮的触控次数确定对应的调节时间，进而根据调节时间计算获得调节帧数量。

因此，当关于录入音频的调节信号为延迟信号时，可以进一步根据该延迟信号确定关于延迟按钮的触控次数，即上述第一触控次数，并根据上述对应关系确定该第一触控次数对应的延迟时间，同时，获取单位音频帧对应的单位时间，也即一个音频帧所占用的时间，然后计算延迟时间和单位时间的商值，该商值即为延迟帧数量。当关于录入音频的调节信号为提前信号时，可以进一步根据该提前信号确定关于提前按钮的触控次数，即上述第二触控次数，并根据上述对应关系确定该第二触控次数对应的提前时间，同时，获取单位音频帧对应的单位时间，也即一个音频帧所占用的时间，然后计算提前时间和单位时间的商值，该商值即为提前帧数量。

例如，请参考图6，图6为本申请所提供的另一种音轨同步页面示意图，在该音轨同步页面中，采用图6所示延迟按钮(图6所示左侧图手部图标处)和提前按钮(图6所示右侧图手部图标处)作为音轨同步控件，直播用户可以以触屏的方式点击延迟按钮和提前按钮，点击按钮过程中所产生的触控信号即为关于音轨同步控件的调节信号，并且，延迟按钮的触控次数对应于将录入音频延迟一定的时长，提前按钮的触控次数对应于将录入音频提前一定的时长，例如，可以设定每触控一次按钮对应于提前或者延迟录入音频20毫秒。

至此，基于延迟按钮和提前按钮实现了音频直播过程中录入音频与本地音频的音轨同步。

可以理解的是，结合图5和图6可知，两类音轨同步控件可以同时存在，以便直播用户可以根据实际需要选择调节方式，显然，当调节幅度较大时，可以采用图5所示实现方式，当调节幅度较小时，可以采用图6所示实现方式。

在另一种可能的实现方式中，上述根据延迟信号确定延迟帧数量，可以包括如下步骤：

根据延迟信号确定延迟按钮的第一触控时长；

根据第一触控时长确定延迟时间；

获取单位音频帧对应的单位时间；

根据延迟时间和单位时间计算获得延迟帧数量；

相应地，上述根据提前信号确定提前帧数量，可以包括如下步骤：

根据提前信号确定提前按钮的第二触控时长；

根据第二触控时长确定提前时间；

根据提前时间和单位时间计算获得提前帧数量。

如上所述，关于延迟按钮的触控信号对应于关于录入音频的延迟信号，关于提前按钮的触控信号对应于关于录入音频的提前信号，更进一步地，关于延迟按钮和提前按钮的触控时长则可以用于确定调节帧数量。有基于此，可以预先创建关于延迟按钮和提前按钮的触控时长与调节时间之间的对应关系，同样地，该调节时间是指关于录入音频的延迟时间或提前时间，用于实现调节帧数量的计算，例如，触控时长1秒钟对应于调节时间为20毫秒，也就是说，当触控延迟按钮达到一秒钟时，对应于延迟时间为20毫秒，当触控提前按钮达到一秒钟时，对应于提前时间为20毫秒，由此，即可根据关于延迟按钮和提前按钮的触控时长确定对应的调节时间，进而根据调节时间计算获得调节帧数量。

因此，当关于录入音频的调节信号为延迟信号时，可以进一步根据该延迟信号确定关于延迟按钮的触控时长，即上述第一触控时长，并根据上述对应关系确定该第一触控时长对应的延迟时间，同时，获取单位音频帧对应的单位时间，也即一个音频帧所占用的时间，然后计算延迟时间和单位时间的商值，该商值即为延迟帧数量。当关于录入音频的调节信号为提前信号时，可以进一步根据该提前信号确定关于提前按钮的触控时长，即上述第二触控时长，并根据上述对应关系确定该第二触控时长对应的提前时间，同时，获取单位音频帧对应的单位时间，也即一个音频帧所占用的时间，然后计算提前时间和单位时间的商值，该商值即为提前帧数量。

至此，基于延迟按钮和提前按钮实现了音频直播过程中录入音频与本地音频的音轨同步。

在上述各实施例的基础上：

在本申请的一个实施例中，该音频直播方法还可以包括如下步骤：

获取本地设备信息；

当调节信号为延迟信号时，将延迟帧数量和本地设备信息上传至服务器；

当调节信号为提前信号时，将提前帧数量和本地设备信息上传至服务器。

本申请实施例所提供的音轨同步方法还可以进一步实现信息上报功能，其中，上报的信息即为针对当前音频直播设备的调节帧数量。具体而言，在完成音轨同步之后，可以进一步获取本地设备信息，也即音频直播设备的相关信息，包括但不限于音频直播设备的设备名称、出产厂商、设备类型以及型号等；进一步，将该本地设备信息与音轨调节过程中的延迟帧数量或者提前帧数量进行对应，并将二者对应上报至服务器进行存储。

可以理解的是，服务器通过统计各个音频直播设备的调节帧数量，可以采用大数据分析的形式确定各种类型的音频直播设备所适用的调节帧数量，由此，对于后续新出厂的音频直播设备，可以直接将与其对应的调节帧数量预存于其中，也即直接默认延迟帧数量或者提前帧数量，以有效减少直播用户的调节次数，提高用户体验。

本申请实施例提供了一种电子设备。

请参考图7，图7为本申请所提供的一种电子设备的结构示意图，该电子设备可包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时可实现如上述任意一种音频直播方法的步骤。

如图7所示，为电子设备的组成结构示意图，电子设备可以包括：处理器10、存储器11、通信接口12和通信总线13。处理器10、存储器11、通信接口12均通过通信总线13完成相互间的通信。

在本申请实施例中，处理器10可以为中央处理器(Central Processing Unit，CPU)、特定应用集成电路、数字信号处理器、现场可编程门阵列或者其他可编程逻辑器件等。

处理器10可以调用存储器11中存储的程序，具体的，处理器10可以执行音频直播方法的实施例中的操作。

存储器11中用于存放一个或者一个以上程序，程序可以包括程序代码，程序代码包括计算机操作指令，在本申请实施例中，存储器11中至少存储有用于实现以下功能的程序：

接收录入音频及音轨同步页面中关于音轨同步控件的调节信号；

根据调节信号确定信号类型，信号类型包括关于录入音频的延迟信号和提前信号；

当调节信号为延迟信号时，根据延迟信号确定延迟帧数量，并在本地音频的第一个播放音频帧之前插入延迟帧数量个空白帧；

当调节信号为提前信号时，根据提前信号确定提前帧数量，并在本地音频的第一个混流音频帧之前插入提前帧数量个空白帧；

对录入音频和本地音频进行混流，生成直播音频。

在一种可能的实现方式中，存储器11可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及至少一个功能所需的应用程序等；存储数据区可存储使用过程中所创建的数据。

此外，存储器11可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。

通信接口12可以为通信模块的接口，用于与其他设备或者系统连接。

当然，需要说明的是，图7所示的结构并不构成对本申请实施例中电子设备的限定，在实际应用中电子设备可以包括比图7所示的更多或更少的部件，或者组合某些部件。

本申请实施例提供了一种计算机可读存储介质。

本申请实施例所提供的计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如上所述的任一种音频直播方法的步骤。

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

对于本申请实施例提供的计算机可读存储介质的介绍请参照上述方法实施例，本申请在此不做赘述。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的技术方案进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请的保护范围内。

Claims (10)

1.一种音频直播方法，其特征在于，包括：

接收录入音频及音轨同步页面中关于音轨同步控件的调节信号；

根据所述调节信号确定信号类型，所述信号类型包括关于所述录入音频的延迟信号和提前信号；

当所述调节信号为所述延迟信号时，根据所述延迟信号确定延迟帧数量，并在本地音频的第一个播放音频帧之前插入所述延迟帧数量个空白帧；

当所述调节信号为所述提前信号时，根据所述提前信号确定提前帧数量，并在本地音频的第一个混流音频帧之前插入所述提前帧数量个空白帧；

对所述录入音频和所述本地音频进行混流，生成直播音频。

2.根据权利要求1所述的音频直播方法，其特征在于，所述音轨同步控件为滑动按钮，所述根据所述调节信号确定信号类型，包括：

根据所述调节信号确定所述滑动按钮在滑杆上的滑动方向；

当所述滑动方向为第一方向时，确定所述信号类型为所述延迟信号；

当所述滑动方向为第二方向时，确定所述信号类型为所述提前信号。

3.根据权利要求2所述的音频直播方法，其特征在于，所述根据所述延迟信号确定延迟帧数量，包括：

根据所述延迟信号确定所述滑动按钮在所述第一方向上的第一滑动距离；

根据所述第一滑动距离确定延迟时间；

获取单位音频帧对应的单位时间；

根据所述延迟时间和所述单位时间计算获得所述延迟帧数量；

相应地，所述根据所述提前信号确定提前帧数量，包括：

根据所述提前信号确定所述滑动按钮在所述第二方向上的第二滑动距离；

根据所述第二滑动距离确定提前时间；

根据所述提前时间和所述单位时间计算获得所述提前帧数量。

4.根据权利要求1所述的音频直播方法，其特征在于，所述音轨同步控件包括延迟按钮和提前按钮，所述根据所述调节信号确定信号类型，包括：

当所述调节信号为关于所述延迟按钮的触控信号时，确定所述信号类型为所述延迟信号；

当所述调节信号为关于所述提前按钮的触控信号时，确定所述信号类型为所述提前信号。

5.根据权利要求4所述的音频直播方法，其特征在于，所述根据所述延迟信号确定延迟帧数量，包括：

根据所述延迟信号确定所述延迟按钮的第一触控次数；

根据所述第一触控次数确定延迟时间；

获取单位音频帧对应的单位时间；

根据所述延迟时间和所述单位时间计算获得所述延迟帧数量；

相应地，所述根据所述提前信号确定提前帧数量，包括：

根据所述提前信号确定所述提前按钮的第二触控次数；

根据所述第二触控次数确定提前时间；

根据所述提前时间和所述单位时间计算获得所述提前帧数量。

6.根据权利要求4所述的音频直播方法，其特征在于，所述根据所述延迟信号确定延迟帧数量，包括：

根据所述延迟信号确定所述延迟按钮的第一触控时长；

根据所述第一触控时长确定延迟时间；

获取单位音频帧对应的单位时间；

根据所述延迟时间和所述单位时间计算获得所述延迟帧数量；

相应地，所述根据所述提前信号确定提前帧数量，包括：

根据所述提前信号确定所述提前按钮的第二触控时长；

根据所述第二触控时长确定提前时间；

根据所述提前时间和所述单位时间计算获得所述提前帧数量。

7.根据权利要求1至6任一项所述的音频直播方法，其特征在于，还包括：

获取本地设备信息；

当所述调节信号为所述延迟信号时，将所述延迟帧数量和所述本地设备信息上传至服务器；

当所述调节信号为所述提前信号时，将所述提前帧数量和所述本地设备信息上传至所述服务器。

8.根据权利要求1所述的音频直播方法，其特征在于，所述接收录入音频及音轨同步页面中关于音轨同步控件的调节信号之前，还包括：

接收所述音轨同步页面中关于录音按钮的第一触控信号，并根据所述第一触控信号采集获得所述录入音频；

接收所述音轨同步页面中关于播放按钮的第二触控信号，并根据所述第二触控信号对所述录入音频和所述本地音频进行混流播放，以便用户根据混流音频输入所述调节信号。

9.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至8任一项所述的音频直播方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的音频直播方法的步骤。

Images