CN110691218B - 音频数据传输方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本申请提供一种音频数据传输方法、装置、电子设备及可读存储介质，包括：采集视频数据，将视频数据缓存在存储设备中；接收用户终端发送的与视频数据对应的音频数据，并将音频数据缓存在存储设备中；将存储设备中的已经缓存第一时间长度的视频数据与对应的音频数据合成为音视频文件。携带有摄像头的智能设备，在采集到视频数据后，先将视频数据缓存一段时间，然后将缓存一段时间后的视频数据与对应的音频数据合成音视频文件，音频数据由用户终端发送过来。在视频数据缓存的时间内，若智能设备与用户终端断开并重连，则不会对音频数据与视频数据的合成产生影响，使得音视频文件的合成更加稳定，改善了现有技术中的声音信号较差的问题。

Description

音频数据传输方法、装置、电子设备及可读存储介质

技术领域

本申请涉及数据传输领域，具体而言，涉及一种音频数据传输方法、装置、电子设备及可读存储介质。

背景技术

现有技术中，携带有摄像头的智能设备在拍摄视频时，往往拍摄到的是无声的视频画面。其中，携带摄像头的智能设备包括：无人机、遥控车、遥控船、机器人等。即使智能设备拍摄的画面有声音，但由于智能设备自身运行产生的噪音，往往导致智能设备获得的声音信号较差。

发明内容

本申请实施例的目的在于提供一种音频数据传输方法、装置、电子设备及可读存储介质，用以改善现有技术中携带有摄像头的智能设备获得的声音信号较差的问题。

第一方面，本申请实施例提供了一种音频数据传输方法，应用于智能设备，所述智能设备携带有用于采集视频的摄像头，所述方法包括：采集视频数据，将所述视频数据缓存在存储设备中；接收用户终端发送的与所述视频数据对应的音频数据，并将所述音频数据缓存在所述存储设备中；将所述存储设备中的已经缓存第一时间长度的视频数据与对应的音频数据合成为音视频文件。

在上述的实施方式中，智能设备在采集到视频数据后，并不会马上将视频数据与对应的音频数据合成音视频文件，而是先将视频数据缓存一段时间，然后将缓存一段时间后的视频数据与对应的音频数据合成音视频文件，音频数据由用户终端发送过来。在视频数据缓存的时间内，若智能设备与用户终端断开并重连，则不会对音频数据与视频数据的合成产生影响，使得音视频文件的合成更加稳定，改善了现有技术中的声音信号较差的问题。

在一个可能的设计中，所述音频数据包括多个第一时间戳以及与多个第一时间戳中的每个第一时间戳对应的音频内容信息；所述视频数据包括多个第二时间戳以及与所述多个第二时间戳中的每个第二时间戳对应的视频内容信息；所述将所述存储设备中的已经缓存第一时间长度的视频数据与对应的音频数据合成为音视频文件，包括：对于已经缓存第一时间长度的视频数据，提取所述视频数据的第二时间戳；判断所述音频数据的多个第一时间戳中是否存在与所述第二时间戳对应的第一时间戳；若是，将与所述第二时间戳对应的第一时间戳所对应的音频内容信息与所述已经缓存第一时间长度的视频数据合成音视频文件。

在上述的实施方式中，多个第一时间戳中的每个第一时间戳均有各自对应的时刻，多个第二时间戳中的每个第二时间戳同样也有各自对应的时刻。可以根据时间戳的对应关系来实现音频内容信息与视频内容信息的对应，从而实现了即使视频不是实时地与音频合成音视频文件，也能合成音视频同步的音视频文件。

在一个可能的设计中，所述判断所述音频数据的多个第一时间戳中是否存在与所述第二时间戳对应的第一时间戳之后，所述方法还包括：若所述音频数据的多个第一时间戳中不存在与所述第二时间戳对应的第一时间戳，向所述已经缓存第一时间长度的视频数据添加语音缺失的提示信息。

在上述的实施方式中，若音频数据中不存在与第二时间戳对应的第一时间戳，则说明与本次缓存第一时间长度的视频数据对应的音频数据未在缓存中，无法合成音视频文件，则可以在视频数据中添加语音缺失的提示信息，以便较好地与有音频的视频段落区分开，便于后期对语音缺失的视频进行筛选和处理。

在一个可能的设计中，所述接收用户终端发送的与所述视频数据对应的音频数据，包括：若所述智能设备与所述用户终端断开第二时间长度后重新连接，接收所述用户终端发送的所述第二时间长度对应的音频数据，其中，所述第一时间长度为所述智能设备的最大缓存时长，所述第二时间长度小于或等于所述第一时间长度，所述已经缓存第一时间长度的视频数据对应的音频数据包括所述第二时间长度对应的音频数据。

在上述的实施方式中，智能设备与用户终端断开后重连，且断开的时长不超过视频的最大缓存时长，则在智能设备与用户终端重连时，用户终端依然可以把断开时间段内未成功发送的音频发给智能设备，以便智能设备合成音视频文件，从而使得音视频文件的合成更加稳定。

在一个可能的设计中，所述接收用户终端发送的与所述视频数据对应的音频数据，包括：若所述智能设备与所述用户终端断开第三时间长度后重新连接，接收所述用户终端发送的第三时间长度中最新时间的第一时间长度对应的音频数据，其中，所述第三时间长度大于所述第一时间长度。

在上述的实施方式中，智能设备与用户终端断开后重连，且断开的时长超过视频的最大缓存时长，则在智能设备与用户终端重连时，用户终端可以把最新的音频数据发送给智能设备，最新的音频数据的时长可以与视频的最大缓存时长相同，以便智能设备尽可能多地合成有音频的音视频文件。

在一个可能的设计中，所述方法还包括：若所述智能设备与所述用户终端在断开后无法重新连接，发出断开连接的提示信息。

在上述的实施方式中，若智能设备与用户终端断开后始终无法重现连接，且无法重连超过了一定的预设时长，则可以判定连接断开，因此智能设备可以发出断开连接的提示信息，给提示信息可以被智能设备的操作者察觉，以便操作者进行补救措施。

在一个可能的设计中，所述音频数据包括音频内容信息和音频冗余数据，所述音频冗余数据由所述音频内容信息编码获得，所述方法还包括：若音频内容信息丢失且音频冗余数据未丢失，对所述音频冗余数据进行解码，获得与丢失的所述音频内容信息相同的数据。

在上述的实施方式中，用户终端传给智能设备的音频数据可以包括音频内容信息以及音频冗余数据，若音频内容信息丢失且音频冗余数据未丢失的情况下，智能设备可以对音频冗余数据解码获得丢失的音频内容信息相同的数据，从而进一步提高了数据传输的可靠性。

第二方面，本申请实施例提供了一种音频数据传输方法，应用于用户终端，所述方法包括：采集音频内容信息；向智能设备发送包括音频内容信息的音频数据，以使所述智能设备将缓存第一时间长度的视频数据与对应的音频数据合成为音视频文件。

在上述的实施方式中，用户终端在采集到音频内容信息后，可以为音频内容信息添加相应的第一时间戳，然后将包括有音频内容信息以及第一时间戳的音频数据发送给智能设备，以使智能设备把缓存了一段时间的视频数据与相应的音频数据进行合成。

在一个可能的设计中，所述向智能设备发送包括音频内容信息的音频数据，包括：若所述用户终端与所述智能设备断开第二时间长度后重新连接，向所述智能设备发送第二时间长度对应的音频数据，其中，所述第二时间长度小于或等于所述第一时间长度。

在上述的实施方式中，智能设备与用户终端断开后重连，且断开的时长不超过视频的最大缓存时长，则在智能设备与用户终端重连时，用户终端依然可以把断开时间段内未成功发送的音频发给智能设备，以便智能设备合成音视频文件，从而使得音视频文件的合成更加稳定。

在一个可能的设计中，所述向智能设备发送包括音频内容信息的音频数据，包括：若所述用户终端与所述智能设备断开第三时间长度后重新连接，向所述智能设备发送最近的第一时间长度对应的音频数据，其中，所述第三时间长度大于所述第一时间长度。

在上述的实施方式中，智能设备与用户终端断开后重连，且断开的时长超过视频的最大缓存时长，则在智能设备与用户终端重连时，用户终端可以把最新的音频数据发送给智能设备，最新的音频数据的时长可以与视频的最大缓存时长相同，以便智能设备尽可能多地合成有音频的音视频文件。

在一个可能的设计中，所述向智能设备发送包括音频内容信息的音频数据，包括：所述用户终端对音频内容信息进行编码处理，得到音频冗余数据；所述用户终端向所述智能设备发送包括音频内容信息和音频冗余数据的所述音频数据。

在上述的实施方式中，用户终端传给智能设备的音频数据可以包括音频内容信息以及音频冗余数据，若音频内容信息丢失且音频冗余数据未丢失的情况下，智能设备可以对音频冗余数据解码获得丢失的音频内容信息相同的数据，从而进一步提高了数据传输的可靠性。

第三方面，本申请实施例提供了一种音频数据传输装置，应用于智能设备，所述智能设备携带有用于采集视频的摄像头，所述装置包括：视频缓存模块，用于采集视频数据，将所述视频数据缓存在存储设备中；音频缓存模块，用于接收用户终端发送的与所述视频数据对应的音频数据，并将所述音频数据缓存在所述存储设备中；音视频合成模块，用于将所述存储设备中的已经缓存第一时间长度的视频数据与对应的音频数据合成为音视频文件。

在一个可能的设计中，音视频合成模块具体用于对于已经缓存第一时间长度的视频数据，提取所述视频数据的第二时间戳；判断所述音频数据的多个第一时间戳中是否存在与所述第二时间戳对应的第一时间戳；若是，将与所述第二时间戳对应的第一时间戳所对应的音频内容信息与所述已经缓存第一时间长度的视频数据合成音视频文件。

在一个可能的设计中，所述装置还包括：语音缺失提示添加模块，用于当所述音频数据的多个第一时间戳中不存在与所述第二时间戳对应的第一时间戳时，向所述已经缓存第一时间长度的视频数据添加语音缺失的提示信息。

在一个可能的设计中，音频缓存模块具体用于当所述智能设备与所述用户终端断开第二时间长度后重新连接时，接收所述用户终端发送的所述第二时间长度对应的音频数据，其中，所述第一时间长度为所述智能设备的最大缓存时长，所述第二时间长度小于或等于所述第一时间长度，所述已经缓存第一时间长度的视频数据对应的音频数据包括所述第二时间长度对应的音频数据。

在一个可能的设计中，音频缓存模块具体还用于当所述智能设备与所述用户终端断开第三时间长度后重新连接时，接收所述用户终端发送的第三时间长度中最新时间的第一时间长度对应的音频数据，其中，所述第三时间长度大于所述第一时间长度。

在一个可能的设计中，所述装置还包括：断开提示模块，用于当所述智能设备与所述用户终端在断开后无法重新连接时，发出断开连接的提示信息。

在一个可能的设计中，所述装置还包括：冗余解码模块，用于当音频内容信息丢失且音频冗余数据未丢失时，对所述音频冗余数据进行解码，获得与丢失的所述音频内容信息相同的数据。

第四方面，本申请实施例提供了一种音频数据传输装置，应用于用户终端，所述装置包括：音频采集模块，用于采集音频内容信息；音频发送模块，用于向智能设备发送包括音频内容信息的音频数据，以使所述智能设备将缓存第一时间长度的视频数据与对应的音频数据合成为音视频文件。

在一个可能的设计中，所述音频发送模块具体用于当所述用户终端与所述智能设备断开第二时间长度后重新连接时，向所述智能设备发送第二时间长度对应的音频数据，其中，所述第二时间长度小于或等于所述第一时间长度。

在一个可能的设计中，所述音频发送模块具体还用于当所述用户终端与所述智能设备断开第三时间长度后重新连接时，向所述智能设备发送最近的第一时间长度对应的音频数据，其中，所述第三时间长度大于所述第一时间长度。

在一个可能的设计中，所述音频发送模块具体用于对音频内容信息进行编码处理，得到音频冗余数据；向所述智能设备发送包括音频内容信息和音频冗余数据的所述音频数据。

第五方面，本申请提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行第一方面或第一方面的任一可选的实现方式所述的方法。

第六方面，本申请提供一种可读存储介质，该可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行第一方面或第一方面的任一可选的实现方式所述的方法。

第七方面，本申请提供一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行第一方面或第一方面的任意可能的实现方式中的方法。

为使本申请实施例所要实现的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了智能设备与用户终端通信的应用场景示意图；

图2为本申请实施例提供的音频数据传输方法的一种具体实施方式的流程示意图；

图3为图2中步骤S130的具体步骤的流程示意图；

图4为本申请实施例提供的音频数据传输方法的另一种具体实施方式的流程示意图；

图5为图4中步骤S220的具体步骤的流程示意图；

图6为本申请实施例提供的音频数据传输装置的一种具体实施方式的示意性结构框图；

图7为本申请实施例提供的音频数据传输装置的另一种具体实施方式的示意性结构框图。

具体实施方式

在介绍本申请的具体实施例之前，先对本申请的应用场景进行简单介绍。本申请实施例应用于用户终端与携带有摄像头的智能设备的交互的应用场景，携带有摄像头的智能设备可以为无人机、遥控车、遥控船、机器人等。为了便于描述，下面不妨以无人机为例进行说明。

请参见图1，图1示出了本申请实施例提供的音频数据传输方法的应用场景，无人机100在天空飞行时，可与用户持有的用户终端200相互通信。用户终端200采集音频数据，并将采集到的音频数据传输给无人机100。

无人机100可通过WiFi模块与用户终端200的无线模块进行无线通信，用户终端200的无线模块可以为WiFi模块，也可以为4G模块。可选地，无人机100与用户终端200通信时，还可以借助地面中继器(图未示)。即无人机100可通过自身的大功率WiFi模块与地面中继器的大功率WiFi模块通信，地面中继器的大功率WiFi模块再与用户终端200进行通信。

可以理解，无人机100与用户终端200除了通过WiFi通信外，还可以通过其他短距离无线通信技术进行通信，例如蓝牙、ZigBee等，无人机100与用户终端200的具体通信方式不应该理解为是对本申请的限制。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

图2为本申请实施例提供的音频数据传输方法的一种具体实施方式的流程示意图，该方法可以由携带有摄像头的智能设备来执行，该方法具体包括如下步骤S110至步骤S130：

步骤S110，采集视频数据，将所述视频数据缓存在存储设备中。

视频数据包括多个第二时间戳以及与每个第二时间戳对应的视频内容信息。

智能设备可以通过自身携带的摄像头拍摄并采集视频内容信息，智能设备可以根据视频拍摄的时刻为视频内容信息添加对应的第二时间戳。随后，智能设备可以将包括有视频内容信息以及第二时间戳的视频数据缓存在存储设备中。存储设备为存储缓存数据的存储器，例如随机存取存储器(Random Access Memory，简称RAM)。

步骤S120，接收用户终端发送的与所述视频数据对应的音频数据，并将所述音频数据缓存在所述存储设备中。

音频数据包括多个第一时间戳以及与每个第一时间戳对应的音频内容信息。用户终端可以采集音频内容信息，并且用户终端可以根据音频采集的时刻为音频内容信息添加对应的第一时间戳。

与视频数据对应的音频数据可以指视频数据的第二时间戳对应的拍摄时刻与音频数据的第一时间戳对应的采集时刻相同，也可以是第二时间戳对应的拍摄时刻与第一时间戳对应的采集时刻相差一个确定的时间长度，一个确定的时间长度可以是1秒，也可以是0.5秒。例如，第二时间戳对应的拍摄时刻早于第一时间戳对应的采集时刻1秒，或第二时间戳对应的拍摄时刻晚于第一时间戳对应的采集时刻0.5秒。

若智能设备与用户终端一直连接良好，则智能设备可以持续地拍摄视频内容信息，并为视频内容信息添加相应的第二时间戳，并将包括视频内容信息以及第二时间戳的视频数据缓存在存储设备中。智能设备还可以持续地接收用户终端发送的音频数据，并将音频数据缓存在存储设备中，以等待与缓存的视频数据合成音视频文件。

可选地，若所述智能设备与所述用户终端断开第二时间长度后重新连接，接收所述用户终端发送的所述第二时间长度对应的音频数据。

其中，第一时间长度为所述智能设备的最大缓存时长，第二时间长度小于或等于所述第一时间长度，已经缓存第一时间长度的视频数据对应的音频数据包括所述第二时间长度对应的音频数据。

为了便于描述，不妨以第一时间长度(即视频的最大缓存时长)为10秒，第二时间长度为5秒为例进行说明：

视频最大缓存时长为10秒，表示视频从采集的时刻开始计算，推迟10秒才会与对应的音频数据合成音视频文件。例如，假设视频的采集时刻是第0秒时刻，则第0秒时刻采集的视频会在第10秒时刻与音频合成音视频文件。

若智能设备与用户终端断开连接5秒，且在5秒后重新连接，则用户终端不仅将从5秒后重新连接时开始采集新的音频数据发送给智能设备，用户终端还会把断开连接的5秒内采集到的音频数据也发送给智能设备。

断开连接的5秒可以是上述第0秒时刻至第10秒时刻这10秒钟时长的时间段中的任一5秒钟时长，例如，可以是第0秒时刻至第5秒时刻，也可以是第3秒时刻至第8秒时刻，还可以是第5秒时刻至第10秒时刻…

当时间到达第10秒时刻时，第0秒时刻采集的视频开始与对应的音频数据合成音视频文件，由于智能设备与用户终端断开连接的5秒在第0秒时刻至第10秒时刻内，因此，此次智能设备与用户终端的断开连接不会影响到音视频文件的合成。

智能设备与用户终端断开后重连，且断开的时长不超过视频的最大缓存时长，则在智能设备与用户终端重连时，用户终端依然可以把断开时间段内未成功发送的音频发给智能设备，以便智能设备合成音视频文件，从而使得音视频文件的合成更加稳定。

可选地，若所述智能设备与所述用户终端断开第三时间长度后重新连接，接收所述用户终端发送的第三时间长度中最新时间的第一时间长度对应的音频数据，其中，所述第三时间长度大于所述第一时间长度。

不妨设第三时间长度为15秒，在上文所举的例子继续进行说明：

不妨设智能设备与用户终端断开的15秒就是第0秒时刻至第15秒时刻，则时间到达第10秒时刻时，由于智能设备与用户终端依然处于断开状态，第0秒时刻采集到的视频无对应的音频数据，又因为视频的最大缓存时长是10秒，因此第0秒时刻采集到的视频在无对应音频数据的情况下会生成无音频的视频文件。同理，第1秒时刻采集到的视频、第2秒时刻采集到的视频、第3秒时刻采集到的视频…在无对应音频数据的情况下会生成无音频的视频文件。直到第5秒时刻采集到的视频会在第15秒时刻与对应的音频数据合成音视频文件，而第15秒时刻是智能设备与用户终端断开后重新连接的时刻，因此，用户终端可以将最新的与第一时间长度等长的时间段(即第5秒时刻至第15秒时刻这10秒时间长度的时间段)内对应的音频数据发送给智能设备，以便智能设备可以对尚在缓存中的视频数据执行合成动作。

智能设备与用户终端断开后重连，且断开的时长超过视频的最大缓存时长，则在智能设备与用户终端重连时，用户终端可以把最新的音频数据发送给智能设备，最新的音频数据的时长可以与视频的最大缓存时长相同，以便智能设备尽可能多地合成有音频的音视频文件。

步骤S130，将所述存储设备中的已经缓存第一时间长度的视频数据与对应的音频数据合成为音视频文件。

智能设备在采集到视频数据后，并不会马上将视频数据与对应的音频数据合成音视频文件，而是先将视频数据缓存一段时间，然后将缓存一段时间后的视频数据与对应的音频数据合成音视频文件，音频数据由用户终端发送过来。在视频数据缓存的时间内，若智能设备与用户终端断开并重连，则不会对音频数据与视频数据的合成产生影响，使得音视频文件的合成更加稳定，改善了现有技术中的声音信号较差的问题。

请参见图3，图3示出了步骤S130的具体步骤，合成音视频文件的具体过程可以包括如下步骤S131至步骤S134：

步骤S131，对于已经缓存第一时间长度的视频数据，提取所述视频数据的第二时间戳。

提取已经缓存第一时间长度的视频数据的第二时间戳，即获得该视频数据包括的视频内容信息所对应的采集时刻。

步骤S132，判断所述音频数据的多个第一时间戳中是否存在与所述第二时间戳对应的第一时间戳，若是，执行步骤S133；若否，执行步骤S134。

与所述第二时间戳对应的第一时间戳可以指第二时间戳对应的采集时刻与第一时间戳对应的采集时刻相同，或者第二时间戳对应的采集时刻比第一时间戳对应的采集时刻早一个固定时长，或者第二时间戳对应的采集时刻比第一时间戳对应的采集时刻晚一个固定时长。

获得已经缓存第一时间长度的视频数据的第二时间戳后，从智能设备的存储设备中查找是否存在与该第二时间戳对应的第一时间戳，若查找到与第二时间戳对应的第一时间戳，则表明该视频数据有对应的音频数据可合成，执行步骤S133；若未查找到与第二时间戳对应的第一时间戳，则表明该视频数据无对应的音频数据可合成，执行步骤S134。

步骤S133，将与所述第二时间戳对应的第一时间戳所对应的音频内容信息与所述已经缓存第一时间长度的视频数据合成音视频文件。

多个第一时间戳中的每个第一时间戳均有各自对应的时刻，多个第二时间戳中的每个第二时间戳同样也有各自对应的时刻。可以根据时间戳的对应关系来实现音频内容信息与视频内容信息的对应，从而实现了即使视频不是实时地与音频合成音视频文件，也能合成音视频同步的音视频文件。

步骤S134，向所述已经缓存第一时间长度的视频数据添加语音缺失的提示信息。

若音频数据中不存在与第二时间戳对应的第一时间戳，则说明与本次缓存第一时间长度的视频数据对应的音频数据未在缓存中，无法合成音视频文件，则可以在视频数据中添加语音缺失的提示信息，以便较好地与有音频的视频段落区分开，便于后期对语音缺失的视频进行筛选和处理。

在一种具体实施方式中，若所述智能设备与所述用户终端在断开后无法重新连接，发出断开连接的提示信息。

可选地，若智能设备与用户终端断开连接，且断开超过预设时长，即可判定智能设备与用户终端无法重连。断开连接的提示信息为提醒智能设备的操作者连接断开的信息，可以是智能设备机体的闪光信号，也可以是声响信号，智能设备可以发出断开连接的提示信息，令提示信息可以被智能设备的操作者察觉，以便操作者进行补救措施。

在一种具体实施方式中，若音频内容信息丢失且音频冗余数据未丢失，对所述音频冗余数据进行解码，获得与丢失的所述音频内容信息相同的数据。

其中，所述音频数据包括音频内容信息和音频冗余数据，所述音频冗余数据由所述音频内容信息编码获得。

音频冗余数据可以由用户终端对音频内容信息进行编码处理获得，具体的编码方式可以为预先设置的规则，该预先设置的规则为智能设备和用户终端均知晓的规则。

用户终端传给智能设备的音频数据可以包括音频内容信息以及音频冗余数据，若音频内容信息丢失且音频冗余数据未丢失的情况下，智能设备可以对音频冗余数据解码获得丢失的音频内容信息相同的数据，从而进一步提高了数据传输的可靠性。

请参见图4，图4示出了本申请实施例提供的音频数据传输方法的另一种具体实施方式的流程示意图，该方法可以由用户终端执行，具体包括如下步骤S210至步骤S220：

步骤S210，采集音频内容信息。

步骤S220，向智能设备发送包括音频内容信息的音频数据，以使所述智能设备将缓存第一时间长度的视频数据与对应的音频数据合成为音视频文件。

用户终端可以采集音频内容信息，然后为音频内容信息添加上对应的第一时间戳，随后将包括有音频内容信息以及第一时间戳的音频数据发送给智能设备，以使智能设备把已经缓存一段时间的视频数据与相应的音频数据进行合成。

可选地，步骤S220具体包括：若所述用户终端与所述智能设备断开第二时间长度后重新连接，向所述智能设备发送第二时间长度对应的音频数据，其中，所述第二时间长度小于或等于所述第一时间长度。

智能设备与用户终端断开后重连，且断开的时长不超过视频的最大缓存时长，因此在智能设备与用户终端重连时，用户终端依然可以把断开时间段内未成功发送的音频发给智能设备，以便智能设备合成音视频文件，从而使得音视频文件的合成更加稳定。

可选地，步骤S220具体还包括：若所述用户终端与所述智能设备断开第三时间长度后重新连接，向所述智能设备发送最近的第一时间长度对应的音频数据，其中，所述第三时间长度大于所述第一时间长度。

智能设备与用户终端断开后重连，且断开的时长超过视频的最大缓存时长，则在智能设备与用户终端重连时，用户终端可以把最新的音频数据发送给智能设备，最新的音频数据的时长可以与视频的最大缓存时长相同，以便智能设备尽可能多地合成有音频的音视频文件。

在一种具体实施方式中，请参见图5，步骤S220具体包括如下步骤S221至步骤S222：

步骤S221，对音频内容信息进行编码处理，得到音频冗余数据。

用户终端可以根据预先设置的规则对音频内容信息进行编码处理，例如，若音频内容信息为A、B、C、D，用户终端可将A、B、C、D分别进行编码处理，得到音频冗余数据a、b、c、d，其中，a与A对应，b与B对应，c与C对应，d与D对应。

步骤S222，向所述智能设备发送包括音频内容信息和音频冗余数据的所述音频数据。

接上文的例子继续说明，用户终端可以把包括音频内容信息A、B、C、D和音频冗余数据a、b、c、d的音频数据发给智能设备。

请参见图6，图6示出了本申请实施例提供的音频数据传输装置的一种具体实施方式，所述装置300包括：

视频缓存模块310，用于采集视频数据，将所述视频数据缓存在存储设备中。

音频缓存模块320，用于接收用户终端发送的与所述视频数据对应的音频数据，并将所述音频数据缓存在所述存储设备中。

音视频合成模块330，用于将所述存储设备中的已经缓存第一时间长度的视频数据与对应的音频数据合成为音视频文件。

音视频合成模块330具体用于对于已经缓存第一时间长度的视频数据，提取所述视频数据的第二时间戳；判断所述音频数据的多个第一时间戳中是否存在与所述第二时间戳对应的第一时间戳；若是，将与所述第二时间戳对应的第一时间戳所对应的音频内容信息与所述已经缓存第一时间长度的视频数据合成音视频文件。

音频缓存模块320具体用于当所述智能设备与所述用户终端断开第二时间长度后重新连接时，接收所述用户终端发送的所述第二时间长度对应的音频数据，其中，所述第一时间长度为所述智能设备的最大缓存时长，所述第二时间长度小于或等于所述第一时间长度，所述已经缓存第一时间长度的视频数据对应的音频数据包括所述第二时间长度对应的音频数据。

音频缓存模块320具体还用于当所述智能设备与所述用户终端断开第三时间长度后重新连接时，接收所述用户终端发送的第三时间长度中最新时间的第一时间长度对应的音频数据，其中，所述第三时间长度大于所述第一时间长度。

所述装置还包括：语音缺失提示添加模块，用于当所述音频数据的多个第一时间戳中不存在与所述第二时间戳对应的第一时间戳时，向所述已经缓存第一时间长度的视频数据添加语音缺失的提示信息。

断开提示模块，用于当所述智能设备与所述用户终端在断开后无法重新连接时，发出断开连接的提示信息。

冗余解码模块，用于当音频内容信息丢失且音频冗余数据未丢失时，对所述音频冗余数据进行解码，获得与丢失的所述音频内容信息相同的数据。

请参见图7，图7示出了本申请实施例提供的音频数据传输装置的另一种具体实施方式，所述装置400包括：

音频采集模块410，用于采集音频内容信息。

音频发送模块420，用于向智能设备发送包括音频内容信息的音频数据，以使所述智能设备将缓存第一时间长度的视频数据与对应的音频数据合成为音视频文件。

音频发送模块420具体用于当所述用户终端与所述智能设备断开第二时间长度后重新连接时，向所述智能设备发送第二时间长度对应的音频数据，其中，所述第二时间长度小于或等于所述第一时间长度。

音频发送模块420具体还用于当所述用户终端与所述智能设备断开第三时间长度后重新连接时，向所述智能设备发送最近的第一时间长度对应的音频数据，其中，所述第三时间长度大于所述第一时间长度。

音频发送模块420具体用于对音频内容信息进行编码处理，得到音频冗余数据；向所述智能设备发送包括音频内容信息和音频冗余数据的所述音频数据。

本申请还提供一种可读存储介质，该可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行方法实施例所述的方法。

本申请还提供一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行方法实施例所述的方法。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种音频数据传输方法，其特征在于，应用于智能设备，所述智能设备携带有用于采集视频的摄像头，所述方法包括：

采集视频数据，将所述视频数据缓存在存储设备中；

接收用户终端发送的与所述视频数据对应的音频数据，并将所述音频数据缓存在所述存储设备中；

将所述存储设备中的已经缓存第一时间长度的视频数据与对应的音频数据合成为音视频文件；

其中，所述接收用户终端发送的与所述视频数据对应的音频数据，包括：

若所述智能设备与所述用户终端断开第二时间长度后重新连接，接收所述用户终端发送的所述第二时间长度对应的音频数据，其中，所述第一时间长度为所述智能设备的最大缓存时长，所述第二时间长度小于或等于所述第一时间长度，所述已经缓存第一时间长度的视频数据对应的音频数据包括所述第二时间长度对应的音频数据；

或者，

若所述智能设备与所述用户终端断开第三时间长度后重新连接，接收所述用户终端发送的第三时间长度中最新时间的第一时间长度对应的音频数据，其中，所述第三时间长度大于所述第一时间长度。

2.根据权利要求1所述的方法，其特征在于，所述音频数据包括多个第一时间戳以及与多个第一时间戳中的每个第一时间戳对应的音频内容信息；所述视频数据包括多个第二时间戳以及与所述多个第二时间戳中的每个第二时间戳对应的视频内容信息；

所述将所述存储设备中的已经缓存第一时间长度的视频数据与对应的音频数据合成为音视频文件，包括：

对于已经缓存第一时间长度的视频数据，提取所述视频数据的第二时间戳；

判断所述音频数据的多个第一时间戳中是否存在与所述第二时间戳对应的第一时间戳；

若是，将与所述第二时间戳对应的第一时间戳所对应的音频内容信息与所述已经缓存第一时间长度的视频数据合成音视频文件。

3.根据权利要求2所述的方法，其特征在于，所述判断所述音频数据的多个第一时间戳中是否存在与所述第二时间戳对应的第一时间戳之后，所述方法还包括：

若所述音频数据的多个第一时间戳中不存在与所述第二时间戳对应的第一时间戳，向所述已经缓存第一时间长度的视频数据添加语音缺失的提示信息。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述智能设备与所述用户终端在断开后无法重新连接，发出断开连接的提示信息。

5.根据权利要求1所述的方法，其特征在于，所述音频数据包括音频内容信息和音频冗余数据，所述音频冗余数据由所述音频内容信息编码获得，所述方法还包括：

若音频内容信息丢失且音频冗余数据未丢失，对所述音频冗余数据进行解码，获得与丢失的所述音频内容信息相同的数据。

6.一种音频数据传输方法，其特征在于，应用于用户终端，所述方法包括：

采集音频内容信息；

向智能设备发送包括音频内容信息的音频数据，以使所述智能设备将缓存第一时间长度的视频数据与对应的音频数据合成为音视频文件，其中，若所述用户终端与所述智能设备断开第二时间长度后重新连接，向所述智能设备发送第二时间长度对应的音频数据，其中，所述第二时间长度小于或等于所述第一时间长度；

其中，所述向智能设备发送包括音频内容信息的音频数据，包括：

若所述用户终端与所述智能设备断开第三时间长度后重新连接，向所述智能设备发送最近的第一时间长度对应的音频数据，其中，所述第三时间长度大于所述第一时间长度；

或者，

对音频内容信息进行编码处理，得到音频冗余数据；以及，向所述智能设备发送包括音频内容信息和音频冗余数据的所述音频数据。

7.一种音频数据传输装置，其特征在于，应用于智能设备，所述智能设备携带有用于采集视频的摄像头，所述装置包括：

视频缓存模块，用于采集视频数据，将所述视频数据缓存在存储设备中；

音频缓存模块，用于接收用户终端发送的与所述视频数据对应的音频数据，并将所述音频数据缓存在所述存储设备中；

音视频合成模块，用于将所述存储设备中的已经缓存第一时间长度的视频数据与对应的音频数据合成为音视频文件；

其中，所述音频缓存模块具体用于：

若所述智能设备与所述用户终端断开第二时间长度后重新连接，接收所述用户终端发送的所述第二时间长度对应的音频数据，其中，所述第一时间长度为所述智能设备的最大缓存时长，所述第二时间长度小于或等于所述第一时间长度，所述已经缓存第一时间长度的视频数据对应的音频数据包括所述第二时间长度对应的音频数据；

或者，

若所述智能设备与所述用户终端断开第三时间长度后重新连接，接收所述用户终端发送的第三时间长度中最新时间的第一时间长度对应的音频数据，其中，所述第三时间长度大于所述第一时间长度。

8.一种音频数据传输装置，其特征在于，应用于用户终端，所述装置包括：

音频采集模块，用于采集音频内容信息；

音频发送模块，用于向智能设备发送包括音频内容信息的音频数据，以使所述智能设备将缓存第一时间长度的视频数据与对应的音频数据合成为音视频文件，其中，若所述用户终端与所述智能设备断开第二时间长度后重新连接，向所述智能设备发送第二时间长度对应的音频数据，其中，所述第二时间长度小于或等于所述第一时间长度；

其中，所述音频发送模块具体用于：

若所述用户终端与所述智能设备断开第三时间长度后重新连接，向所述智能设备发送最近的第一时间长度对应的音频数据，其中，所述第三时间长度大于所述第一时间长度；

或者，

对音频内容信息进行编码处理，得到音频冗余数据；以及，向所述智能设备发送包括音频内容信息和音频冗余数据的所述音频数据。

9.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行时执行如权利要求1-6任一项所述的方法。

10.一种可读存储介质，其特征在于，该可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1-6任一项所述的方法。

Images