CN117240417A - 音视频传输方法及装置 - Google Patents

Abstract

本申请提供了音视频传输方法及装置，该方法应用于发送端，该方法包括：响应于与接收端建立通信连接，获取音视频数据；对加密或未加密的音视频数据，添加冗余信息以防止数据帧丢失损坏；向接收端发送经过添加冗余信息的音视频数据。通过对加密或未加密的音视频数据添加冗余信息，可以有效防止音视频数据的数据帧丢失和损坏，提高了音视频数据在发送端和接收端之间传输的安全性和完整性。

Description

音视频传输方法及装置

技术领域

本申请涉及计算机技术领域，特别涉及一种音视频传输方法及装置。

背景技术

从智能化的物联网层面看，音视频的采集、管理及应用都需要通过智能技术更有效的进行处理，而这对音视频的传输速度、视频传输质量以及传输安全性有更高的要求。现有技术中，在进行音视频传输时，并没有对音视频进行加密，导致音视频有泄漏风险；同时没有一定的抗丢包保护，使得音视频在传输过程中发生损坏，比如图像模糊、帧率下降等。

发明内容

本申请实施例的目的在于提供一种音视频传输方法及装置，以解决现有技术中音视频传输过程中存在的泄漏及损坏问题。

本申请的实施例采用如下技术方案：音视频传输方法，应用于发送端，所述方法包括：

响应于与接收端建立通信连接，获取音视频数据；

对加密或未加密的音视频数据，添加冗余信息以防止数据帧丢失损坏；

向接收端发送经过添加冗余信息的音视频数据。

在一些实施例中，与接收端建立通信连接，包括：

基于网络传输协议，建立发送端与接收端的通信连接；

启动接收数据线程，维持发送端与接收端的心跳连接，以接收音视频数据。

在一些实施例中，获取音视频数据，包括：

基于设定的计算机程序，打开设定设备的流地址以形成上下文；

从形成的上下文中进行探测流信息，以得到每一帧音视频数据。

在一些实施例中，音视频数据的加密，包括：

判断是否对音视频数据进行加密；

需加密情况下，发送端获取存储的音视频数据，将网络传输协议的头部字段设置为已加密，对网络传输协议中携带的有效数据进行加密处理；

将加密处理后的有效数据存储至第一队列。

在一些实施例中，添加冗余信息，包括：

从第一队列中获取至少部分加密处理后的有效数据，并对其进行向前纠错编码处理；

将从第一队列中获取的、前向纠错编码前的有效数据在前向纠错字段中置为第一字段；

将前向纠错编码后生成的冗余数据置为第二字段。

在一些实施例中，所述向接收端发送经过添加冗余信息的音视频数据，包括：

基于KCP网络传输协议，向接收端发送经过添加冗余信息的音视频数据，其中，KCP网络传输协议的KCP包，包括KCP基础字段、向前纠错编码可选字段和加密可选字段。

本申请实施例还公开了一种音视频传输方法，应用于接收端，所述方法包括：

响应于与发送端建立通信连接，接收来自发送端的音视频数据，所述音视频数据经过添加冗余信息处理；

在判断接收到的音视频数据损坏的情况下，基于冗余数据进行恢复；

在音视频数据经过加密的情况下，解密并输出音视频数据，以响应发送端。

在一些实施例中，所述在判断接收到的音视频数据损坏的情况下，基于冗余数据进行恢复，包括：

判断接收到的音视频数据是否损坏；

在判断接收到的音视频数据损坏的情况下，对有效数据进行向前纠错编码，以对音视频数据进行恢复。

本申请实施例还公开了一种音视频传输装置，用于发送经过添加冗余信息的音视频数据；所述装置包括：

第一处理模块，配置为用于响应于与接收端建立通信连接，获取音视频数据；

第二处理模块，配置为用于对加密或未加密的音视频数据，添加冗余信息以防止数据帧丢失损坏。

本申请实施例还公开了一种音视频传输装置，音视频传输装置，用于输出音视频数据，以响应发送端；其特征在于，所述装置包括：

第三处理模块，配置为用于响应于与发送端建立通信连接，接收来自发送端的音视频数据，所述音视频数据经过添加冗余信息处理；

第四处理模块，配置为用于在判断接收到的音视频数据损坏的情况下，基于冗余数据进行恢复。

本申请实施例的有益效果在于：

通过对加密或未加密的音视频数据添加冗余信息，可以有效防止音视频数据的数据帧丢失和损坏，提高了音视频数据在发送端和接收端之间传输的安全性和完整性。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例的音视频传输方法的流程图。

图2为本申请实施例的图1中步骤S100的一个实施例的流程图。

图3为本申请实施例的图1中步骤S100的另一个实施例的流程图。

图4为本申请实施例的图1中步骤S200的一个实施例的流程图。

图5为本申请实施例的图1中步骤S200的另一个实施例的流程图。

图6为本申请实施例的音视频传输方法的另一流程图。

图7为本申请实施例的图6中步骤S20的一个实施例的流程图。

图8为本申请实施例的音视频传输装置的结构框图。

图9为本申请实施例的音视频传输装置的另一结构框图。

具体实施方式

此处参考附图描述本申请的各种方案以及特征。

应理解的是，可以对此处申请的实施例做出各种修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本申请的范围和精神内的其他修改。

包含在说明书中并构成说明书的一部分的附图示出了本申请的实施例，并且与上面给出的对本申请的大致描述以及下面给出的对实施例的详细描述一起用于解释本申请的原理。

通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本申请的这些和其它特性将会变得显而易见。

还应当理解，尽管已经参照一些具体实例对本申请进行了描述，但本领域技术人员能够确定地实现本申请的很多其它等效形式，它们具有如上述“发明内容”的特征并因此都位于借此所限定的保护范围内。

当结合附图时，鉴于以下详细说明，本申请的上述和其他方面、特征和优势将变得更为显而易见。

此后参照附图描述本申请的具体实施例；然而，应当理解，所申请的实施例仅仅是本申请的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本申请模糊不清。因此，本文所申请的具体的结构性和功能性细节并非意在限定，而是仅仅作为上述“发明内容”的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本申请。

本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本申请的相同或不同实施例中的一个或多个。

为解决背景技术中的问题，本申请公开了一种音视频传输方法，该方法应用于发送端。

结合图1，该音视频传输方法包括：

步骤S100，响应于与接收端建立通信连接，获取音视频数据；

步骤S200，对加密或未加密的音视频数据，添加冗余信息以防止数据帧丢失损坏；

步骤S300，向接收端发送经过添加冗余信息的音视频数据。

其中，步骤S100，响应于与接收端建立通信连接，获取音视频数据。可以基于网络传输协议，比如KCP网络传输协议等，建立发送端与接收端的通信连接。然后，响应于两者的通信连接，获取音视频数据。比如，可以但不限于从摄像头设备中获取音视频数据。

KCP网络传输协议并不负责底层协议的收发，能以比TCP传输控制协议浪费10％-20％的带宽的代价，换取平均延迟降低30％-40％，减少数据传输的延迟性。

步骤S200，对加密或未加密的音视频数据，添加冗余信息以防止数据帧丢失损坏。

对获取的音视频数据进行是否需要加密的判断，如果需要对获取的音视频进行加密，则先对音视频数据进行加密处理，发送端与接收端进行密钥交换，以备接收端可以根据私钥进行解密。加密算法具体可为国际算法或者国密算法。可以根据所选算法在物联网平台使用公钥对视频流进行加密，得到加密后的视频流。加密处理后的音视频数据在后续传输过程中，不会存在泄漏的风险，提高了音视频数据传输的安全性。

音视频数据加密处理后，再对加密后的音视频数据添加冗余信息，使得添加冗余信息后的音视频数据具有抗丢包保护。对不需要加密的音视频数据也进行冗余信息的添加，使其具有抗丢包保护。使得音视频数据在后续传输过程中将保持完整性及较高的音视频质量，不会出现图像模糊、帧率下降等影响音视频质量的情况发生。同时，避免了因音视频数据质量受损而进行的数据重传。

或者先对获取的音视频数据添加冗余信息后，再对需要未加密或加密的音视频数据进行加密处理。对音视频数据进行加密处理和添加冗余信息的处理顺序可以根据具体情况进行调整。

步骤S300，向接收端发送经过添加冗余信息的音视频数据。

可以基于网络传输协议，响应于发送端与接收端的通信连接，向接收端发送经过添加冗余信息的音视频数据。此时的音视频数据在需要加密的情况下已经进行了加密处理，同时进行了冗余信息的添加，保证了经发送端发送至接收端的音视频数据安全且完整，音视频质量不受传输过程的影响。

在一些实施例中，结合图2，与接收端建立通信连接，包括：

步骤S110，基于网络传输协议，建立发送端与接收端的通信连接。

网络传输协议可以采用KCP网络传输协议，在建立发送端与接收端的通信连接之前，可以先对KCP网络传输协议进行初始化。

步骤S120，启动接收数据线程，维持发送端与接收端的心跳连接，以接收音视频数据。

其中，心跳连接是指通过心跳包在发送端和接收端间定时通知对方自己状态的一个自己定义的命令字，按照一定的时间间隔发送，用于长连接的保活和断线处理。接收数据线程启动之后，等待接收音视频数据即可。

在一些实施例中，结合图3，获取音视频数据，包括：

步骤S130，基于设定的计算机程序，打开设定设备的流地址以形成上下文。

作为其中一种实现方式，设定的计算机程度可以但不限于采用FFmpeg(可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序)。在使用FFmpeg之前，可以先对FFmpeg进行初始化。

作为其中一种实现方式，设定设备可以为摄像头设备。使用FFmpeg打开摄像头设备的流地址(URL)后，会成形成一个上下文。

步骤S140，从形成的上下文中进行探测流信息，以得到每一帧音视频数据。

可以从上述形成的上下文中探测出音视频流的一些基础信息，获取每一帧音视频数据。在探测流信息之前，可以先对流编码器进行初始化。通过探测流信息可以得到流编码的编码格式，不探测流信息则编码器得到的流编码的编码类型可能为空，后续进行数据转换的时候就无法知晓原始的格式，导致后续处理处理出现错误。可以将得到的音视频数据进行存储，比如存储到内存中，等待后续使用。

在一些实施例中，结合图4，音视频数据的加密，包括：

步骤S210，判断是否对音视频数据进行加密。

步骤S220，需加密情况下，发送端获取存储的音视频数据，将网络传输协议的头部字段设置为已加密，对网络传输协议中携带的有效数据进行加密处理。

网络传输协议采用KCP网络传输协议时，KCP网络传输协议的KCP包，包括KCP头和KCP数据。其中，其中KCP头包括KCP(ARQ)基础字段，FEC(Forward Error Correction)可选字段(表征原始数据、校验数据的字段)，CRYPTO可选字段(表征是否加密的字段)。如果音视频数据需要加密，可以将KCP头中CRYPTO可选字段置为已加密，对payload(有效数据)进行加密操作。

步骤S230，将加密处理后的有效数据存储至第一队列。

在一些实施例中，结合图5，添加冗余信息，包括：

步骤S240，从第一队列中获取至少部分加密处理后的有效数据，并对其进行向前纠错编码处理。

从第一队列中获取N条加密处理后的有效数据，使用FEC异或算法对这N条数据中的payload进行FEC编码操作。

步骤S250，将从第一队列中获取的、前向纠错编码前的有效数据在前向纠错字段中置为第一字段。

作为一种可实施方式，可以将从第一队列中获取的、前向纠错编码前的有效数据，也就是原始数据在KCP网络传输协议FEC字段置为0XF1。增加后的冗余数据和原始数据封装到一起。

步骤S260，将前向纠错编码后生成的冗余数据置为第二字段。

将前向纠错编码后生成的冗余数据置为区别于第一字段的第二字段，比如，第二字段可以置为区别于0XF1的0XF2。以在后续调用数据时，对两种字段分别对应的数据进行区分和处理操作。

在一些实施例中，向接收端发送经过添加冗余信息的音视频数据，包括：

基于KCP网络传输协议，向接收端发送经过添加冗余信息的音视频数据，比如，可以调用ikcp_send接口发送N+1条数据至KCP协议栈，以备接收端接收。其中，KCP网络传输协议的KCP包，包括KCP基础字段、向前纠错编码可选字段(FEC可选字段)和加密可选字段(CRYPTO可选字段)。

结合图6，本申请实施例还公开了一种音视频传输方法，该方法应用于接收端，所述方法包括：

步骤S10：响应于与发送端建立通信连接，接收来自发送端的音视频数据，所述音视频数据经过添加冗余信息处理。

可以基于网络传输协议，比如KCP网络传输协议等，建立接收端与发送端的通信连接。然后，响应于两者的通信连接，接收来自发送端的音视频数据，音视频数据经过添加冗余信息处理。

步骤S20：在判断接收到的音视频数据损坏的情况下，基于冗余数据进行恢复。

在判断接收到的音视频数据损坏的情况下，利用冗余数据恢复出丢失的数据包。数据送入协议栈之前通过纠错，修复丢失的数据。

步骤S30：在音视频数据经过加密的情况下，解密并输出音视频数据，以响应发送端。

在音视频数据经过加密的情况下，接收端利用与发送端进行密钥交换得到的私钥，进行数据的解密。具体的，接收端接收到数据后，根据CRYPTO字段，判断是否需要解密，如需要，使用自己的私钥对payload进行解密，解密后的数据存入第二队列。然后输出音视频数据，以响应发送端。比如，调用ikcp_input，此时协议栈认为数据是完整的，不会要求重发。

可以先对音视频数据进行解密后，再基于冗余数据进行丢失数据包的恢复。

在一些实施例中，结合图7，在判断接收到的音视频数据损坏的情况下，基于冗余数据进行恢复，包括：

步骤S21：判断接收到的音视频数据是否损坏。

步骤S22：在判断接收到的音视频数据损坏的情况下，对有效数据进行向前纠错编码，以对音视频数据进行恢复。

结合图8，本申请实施例还公开了一种音视频传输装置，用于发送经过添加冗余信息的音视频数据。

该音视频传输装置包括第一处理模块和第二处理模块。

第一处理模块，配置为用于响应于与接收端建立通信连接，获取音视频数据。

第二处理模块，配置为用于对加密或未加密的音视频数据，添加冗余信息以防止数据帧丢失损坏。

其中，第一处理模块进一步配置为：响应于与接收端建立通信连接，获取音视频数据。可以基于网络传输协议，比如KCP网络传输协议等，建立发送端与接收端的通信连接。然后，响应于两者的通信连接，获取音视频数据。比如，可以但不限于从摄像头设备中获取音视频数据。

KCP网络传输协议并不负责底层协议的收发，能以比TCP传输控制协议浪费10％-20％的带宽的代价，换取平均延迟降低30％-40％，减少数据传输的延迟性。

第二处理模块进一步配置为：对获取的音视频数据进行是否需要加密的判断，如果需要对获取的音视频进行加密，则先对音视频数据进行加密处理，加密处理后的音视频数据在后续传输过程中，不会存在泄漏的风险，提高了音视频数据传输的安全性。

音视频数据加密处理后，再对加密后的音视频数据添加冗余信息，使得添加冗余信息后的音视频数据具有抗丢包保护。对不需要加密的音视频数据也进行冗余信息的添加，使其具有抗丢包保护。使得音视频数据在后续传输过程中将保持完整性及较高的音视频质量，不会出现图像模糊、帧率下降等影响音视频质量的情况发生。同时，避免了因音视频数据质量受损而进行的数据重传。

或者先对获取的音视频数据添加冗余信息后，再对需要未加密或加密的音视频数据进行加密处理。对音视频数据进行加密处理和添加冗余信息的处理顺序可以根据具体情况进行调整。

向接收端发送经过添加冗余信息的音视频数据。可以基于网络传输协议，响应于发送端与接收端的通信连接，向接收端发送经过添加冗余信息的音视频数据。此时的音视频数据在需要加密的情况下已经进行了加密处理，同时进行了冗余信息的添加，保证了经发送端发送至接收端的音视频数据安全且完整，音视频质量不受传输过程的影响。

第一处理模块进一步配置为：与接收端建立通信连接，包括：

基于网络传输协议，建立发送端与接收端的通信连接；

启动接收数据线程，维持发送端与接收端的心跳连接，以接收音视频数据。

第一处理模块进一步配置为：获取音视频数据，包括：

基于设定的计算机程序，打开设定设备的流地址以形成上下文；

从形成的上下文中进行探测流信息，以得到每一帧音视频数据。

第二处理模块进一步配置为：音视频数据的加密，包括：

判断是否对音视频数据进行加密；

需加密情况下，发送端获取存储的音视频数据，将网络传输协议的头部字段设置为已加密，对网络传输协议中携带的有效数据进行加密处理；

将加密处理后的有效数据存储至第一队列。

第二处理模块进一步配置为：添加冗余信息，包括：

从第一队列中获取至少部分加密处理后的有效数据，并对其进行向前纠错编码处理；

将从第一队列中获取的、前向纠错编码前的有效数据在前向纠错字段中置为第一字段；

将前向纠错编码后生成的冗余数据置为第二字段。

向接收端发送经过添加冗余信息的音视频数据，包括：

基于KCP网络传输协议，向接收端发送经过添加冗余信息的音视频数据，比如，可以调用ikcp_send接口发送N+1条数据至KCP协议栈，以备接收端接收。其中，KCP网络传输协议的KCP包，包括KCP基础字段、向前纠错编码可选字段和加密可选字段。

结合图9，本申请实施例还公开了一种音视频传输装置，音视频传输装置，用于输出音视频数据，以响应发送端；所述装置包括：

第三处理模块，配置为用于响应于与发送端建立通信连接，接收来自发送端的音视频数据，所述音视频数据经过添加冗余信息处理；

第四处理模块，配置为用于在判断接收到的音视频数据损坏的情况下，基于冗余数据进行恢复。

其中，第三处理模块进一步配置为：可以基于网络传输协议，比如KCP网络传输协议等，建立接收端与发送端的通信连接。然后，响应于两者的通信连接，接收来自发送端的音视频数据，音视频数据经过添加冗余信息处理。

第四处理模块进一步配置为：在判断接收到的音视频数据损坏的情况下，利用冗余数据恢复出丢失的数据包。数据送入协议栈之前通过纠错，修复丢失的数据。

在音视频数据经过加密的情况下，解密并输出音视频数据，以响应发送端。

在音视频数据经过加密的情况下，接收端利用与发送端进行密钥交换得到的私钥，进行数据的解密。具体的，接收端接收到数据后，根据CRYPTO字段，判断是否需要解密，如需要，使用自己的私钥对payload进行解密，解密后的数据存入第二队列。然后输出音视频数据，以响应发送端。比如，调用ikcp_input，此时协议栈认为数据是完整的，不会要求重发。

可以先对音视频数据进行解密后，再基于冗余数据进行丢失数据包的恢复。

第四处理模块进一步配置为：

判断接收到的音视频数据是否损坏。

在判断接收到的音视频数据损坏的情况下，对有效数据进行向前纠错编码，以对音视频数据进行恢复。

以上对本申请多个实施例进行了详细说明，但本申请不限于这些具体的实施例，本领域技术人员在本申请构思的基础上，能够做出多种变型和修改实施例，这些变型和修改都应落入本申请所要求保护的范围之内。

Claims (10)

1.音视频传输方法，应用于发送端，其特征在于，所述方法包括：

响应于与接收端建立通信连接，获取音视频数据；

对加密或未加密的音视频数据，添加冗余信息以防止数据帧丢失损坏；

向接收端发送经过添加冗余信息的音视频数据。

2.根据权利要求1所述的音视频传输方法，其特征在于，与接收端建立通信连接，包括：

基于网络传输协议，建立发送端与接收端的通信连接；

启动接收数据线程，维持发送端与接收端的心跳连接，以接收音视频数据。

3.根据权利要求2所述的音视频传输方法，其特征在于，获取音视频数据，包括：

基于设定的计算机程序，打开设定设备的流地址以形成上下文；

从形成的上下文中进行探测流信息，以得到每一帧音视频数据。

4.根据权利要求1所述的音视频传输方法，其特征在于，音视频数据的加密，包括：

判断是否对音视频数据进行加密；

需加密情况下，发送端获取存储的音视频数据，将网络传输协议的头部字段设置为已加密，对网络传输协议中携带的有效数据进行加密处理；

将加密处理后的有效数据存储至第一队列。

5.根据权利要求4所述的音视频传输方法，其特征在于，添加冗余信息，包括：

从第一队列中获取至少部分加密处理后的有效数据，并对其进行向前纠错编码处理；

将从第一队列中获取的、前向纠错编码前的有效数据在前向纠错字段中置为第一字段；

将前向纠错编码后生成的冗余数据置为第二字段。

6.根据权利要求1所述的音视频传输方法，其特征在于，所述向接收端发送经过添加冗余信息的音视频数据，包括：

基于KCP网络传输协议，向接收端发送经过添加冗余信息的音视频数据，其中，KCP网络传输协议的KCP包，包括KCP基础字段、向前纠错编码可选字段和加密可选字段。

7.音视频传输方法，应用于接收端，其特征在于，所述方法包括：

响应于与发送端建立通信连接，接收来自发送端的音视频数据，所述音视频数据经过添加冗余信息处理；

在判断接收到的音视频数据损坏的情况下，基于冗余数据进行恢复；

在音视频数据经过加密的情况下，解密并输出音视频数据，以响应发送端。

8.根据权利要求7所述的音视频传输方法，其特征在于，所述在判断接收到的音视频数据损坏的情况下，基于冗余数据进行恢复，包括：

判断接收到的音视频数据是否损坏；

在判断接收到的音视频数据损坏的情况下，对有效数据进行向前纠错编码，以对音视频数据进行恢复。

9.音视频传输装置，用于发送经过添加冗余信息的音视频数据；其特征在于，所述装置包括：

第一处理模块，配置为用于响应于与接收端建立通信连接，获取音视频数据；

第二处理模块，配置为用于对加密或未加密的音视频数据，添加冗余信息以防止数据帧丢失损坏。

10.音视频传输装置，用于输出音视频数据，以响应发送端；其特征在于，所述装置包括：

第三处理模块，配置为用于响应于与发送端建立通信连接，接收来自发送端的音视频数据，所述音视频数据经过添加冗余信息处理；

第四处理模块，配置为用于在判断接收到的音视频数据损坏的情况下，基于冗余数据进行恢复。