CN104703051B - 码流发送方法和装置 - Google Patents

Abstract

本发明提供了一种码流发送方法和码流发送装置，其中，该方法包括：根据多个编码码率，将码流分别编码为多个传输等级的数据帧；根据多个传输链路的网络状态，确定多个传输链路支持的传输等级；通过多个传输链路传输与确定的传输等级对应的数据帧。通过本发明，解决了相关技术中采用单条传输链路传输码流导致传输带宽不足的问题，从而提升了传输链路的带宽容量。

Description

码流发送方法和装置

技术领域

本发明涉及通信领域，具体而言，涉及一种码流发送方法和装置。

背景技术

术语解释：

I帧：不依赖于其它图像，能够独立解码的帧内编码帧，I帧一般情况下是参考帧。I帧在码流中一般以一定间隔（如1秒，4秒）出现，解码必须从I帧开始。

P帧：单向帧间编码帧。大部分情况下P帧也是参考帧。

无线网络：本申请中的无线网络包括移动通信数据网络，如通用分组无线业务（General Packet Radio Service，简称为GPRS），宽带码分多址接入（Wideband CodeDivision Multiple Access，简称为WCDMA），数据传输优化（Evolution DataOnly，简称为EVDO）等。

在移动视频监控行业，相关技术中的无线视频传输控制技术主要有：

①通过获取网络传输状态预估当前传输能力，进行降低视频编码的帧率及码率等参数，以降低视频数据量。该方法的缺点一是获取网络状态依赖于接收端的反馈，中间具有滞后和不稳定性，不适用于封闭式的传输环境中；缺点二是实际的编码码率不会立即降低至所期望的等级，反而可能因为修改编码参数而产生新的I帧导致传输数据瞬时冲上很高的值，加之蜂窝网络的瞬时变化等特征，会导致传输控制出现几秒的滞后，传输的图像延时较大或者卡顿等现象；

②正常情况下编码I帧间隔很大，实际传输过程中根据网络状态进行插入I帧，若网络较差则延缓插入的速度，若网络状态良好则加快插入的速度。该方法的缺点是在网络状态持续较差时，I帧间隔会被拉的非常大，图像质量受到很大的影响，且由于H.264的编码特性，P帧向前依赖，中间出现任何数据错误，则在下一个I帧到来之前都无法进行解码，从而出现长时间的卡顿。

③在相关技术中传输码流时，即使是在具有多拨号卡的设备上，也都是采用一个拨号卡建立的一条传输链路传输码流，因此，传输带宽受到这一条传输链路的限制，无法进一步提升。

针对相关技术中采用单条传输链路传输码流导致传输带宽不足的问题，目前尚未提出有效的解决方案。

发明内容

本发明提供了一种码流发送方法和装置，以至少解决采用单条传输链路传输码流导致传输带宽不足的问题。

根据本发明的一个方面，提供了一种码流发送方法，包括：根据多个编码码率，将码流分别编码为多个传输等级的数据帧；根据多个传输链路的网络状态，确定所述多个传输链路支持的传输等级；通过所述多个传输链路传输与确定的所述传输等级对应的数据帧。

优选地，通过所述多个传输链路传输与确定的所述传输等级对应的数据帧包括：将所述数据帧中的I帧和该I帧对应的P帧封装为多组数据包，其中，所述多组数据包中的一组数据包对应于所述数据帧中的一个数据帧；通过所述多个传输链路，分别传输所述多组数据包。

优选地，在通过所述多个传输链路传输与确定的所述传输等级对应的数据帧之前，所述方法还包括：判断所述多个传输链路当前传输的数据帧对应的传输等级与确定的所述传输等级是否一致；其中，在判断结果为一致的情况下，通过所述多个传输链路传输与确定的所述传输等级对应的数据帧。

优选地，在判断结果为不一致的情况下，所述方法还包括：将所述多个传输链路当前传输的数据帧的传输等级切换为确定的所述传输等级；通过所述多个传输链路传输与确定的所述传输等级对应的所述数据帧。

优选地，当前的传输等级对应的数据帧与确定的所述传输等级对应的所述数据帧中相同画面对应的I帧的编码时刻的时间间隔在预定范围之内。

优选地，将所述多个传输链路当前传输的数据帧的传输等级切换为确定的所述传输等级包括：确定当前时刻为与确定的所述传输等级对应的数据帧中的I帧的起始时刻；在所述起始时刻将所述多个传输链路当前传输的数据帧的传输等级切换为确定的所述传输等级。

优选地，所述方法还包括：根据对存储编码后的码流的编码缓冲区的环形自检，和/或，所述数据帧的接收端的反馈，确定所述多个传输链路的所述网络状态。

根据本发明的另一个方面，还提供了一种码流发送装置，包括：编码模块，用于根据多个编码码率，将码流分别编码为多个传输等级的数据帧；确定模块，用于根据多个传输链路的网络状态，确定所述多个传输链路支持的传输等级；传输模块，用于通过所述多个传输链路传输与确定的所述传输等级对应的数据帧。

优选地，所述装置还包括：判断模块，用于判断所述多个传输链路当前传输的数据帧对应的传输等级与确定的所述传输等级是否一致；所述传输模块，用于在所述判断模块的判断结果为一致的情况下，通过所述多个传输链路传输与确定的所述传输等级对应的数据帧。

优选地，所述装置还包括：切换模块，用于在所述判断模块的判断结果为不一致的情况下，将所述多个传输链路当前传输的数据帧的传输等级切换为确定的所述传输等级；第二确定模块，用于根据对存储编码后的码流的编码缓冲区的环形自检，和/或，所述数据帧的接收端的反馈，确定所述多个传输链路的所述网络状态。

通过本发明，采用根据多个编码码率，将码流分别编码为多个传输等级的数据帧；根据多个传输链路的网络状态，确定多个传输链路支持的传输等级；通过多个传输链路传输与确定的传输等级对应的数据帧的方式，解决了相关技术中采用单条传输链路传输码流导致传输带宽不足的问题，从而提升了传输链路的带宽容量。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的码流发送方法的流程示意图；

图2是根据本发明实施例的码流发送装置的结构示意图；

图3是根据本发明实施例的码流发送装置的优选结构示意图一；

图4是根据本发明实施例的码流发送装置的优选结构示意图二；

图5是根据本发明优选实施例的码流发送方法的流程示意图；

图6是根据本发明优选实施例的通道切换时机的示意图；

图7是根据本发明优选实施例的码流发送端的工作流程示意图；

图8是根据本发明优选实施例的码流接收端的工作流程示意图；

图9是根据本发明优选实施例的反馈任务循环检测的流程示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本实施例提供了一种码流发送方法，图1是根据本发明实施例的码流发送方法的流程示意图，如图1所示，该流程包括如下步骤：

步骤S102，根据多个编码码率，将码流分别编码为多个传输等级的数据帧；

步骤S104，根据多个传输链路的网络状态，确定多个传输链路支持的传输等级；

步骤S106，通过多个传输链路传输与确定的传输等级对应的数据帧。

通过上述步骤，采用多个传输链路传输与确定的传输等级对应的数据帧的方式，解决了相关技术中采用单条传输链路传输码流导致传输带宽不足的问题，从而提升了传输链路的带宽容量。

优选地，上述的多个传输链路为通过无线连接建立的传输链路，例如通过3G卡建立的基于移动网络的无线传输链路。

优选地，在实施过程中，步骤S106可以采用下列方式：将待传输的多个数据帧中的I帧和该I帧对应的P帧封装为多组数据包，其中，多组数据包中的一组数据包对应于数据帧中的一个数据帧；通过多个传输链路，分别传输该多组数据包。其中，在数据包的包头中封装有序号、时标信息、传输链路的序号等信息，在接收端接收到该多组数据包之后，通过对多组数据包的解封装并重新组包，从而可以得到待传输的多个数据帧以及这多个数据帧的排列顺序；接收端通过对重新组包得到的多个按照次序排列的数据帧进行解码，从而显示解码得到的视频画面。

在本实施例中，为了能够支持传输的码流的编码码率的瞬时调整，采用分别编码多个传输等级的数据帧的方式，即将同一个视频源的码流分别通过预设的多个编码码率，编码为多个传输等级的数据帧，每一个传输等级的数据帧对应于一种编码码率的码流。在步骤S106中传输的数据帧是该多个传输等级的数据帧中的某一个传输等级的数据帧，该传输等级通过当前的网络状态来确定。优选地，在步骤S106之前，还可以判断多个传输链路当前传输的数据帧对应的传输等级与确定的传输等级是否一致；其中，在判断结果为一致的情况下，通过多个传输链路传输与确定的传输等级对应的数据帧。

优选地，在当前传输的数据帧对应的传输等级与根据网络状态确定的传输等级不一致的情况下，可以将多个传输链路当前传输的数据帧的传输等级切换为确定的传输等级，并通过多个传输链路传输与确定的传输等级对应的数据帧。由于每一个传输等级对应于一种编码码率的码流，因此对传输等级的切换实际上就是对传输的编码码率的切换，从而实现了传输码率的瞬时调整，实现了快速自适应、低控制延时。并且，采用该方式之后，在一些优选的实施例中，由于码流的编码码率可以瞬时变化，因此在网络状况不佳的情况下，通过瞬时降低编码码率，从而使得码流得以在较低的带宽中正常传输；在这种情况下，也可以不需要根据网络状态调整I帧的插入频率，从而可以尽量保证图像的质量，并尽量避免了在I帧间隔较大的情况下，接收端接收到的图像由于I帧或者对应的P帧解码失败导致的图像卡顿的问题。

优选地，采用多种编码码率编码得到的多个传输等级对应的数据帧中，每个传输等级对应的数据帧中相同画面对应的I帧的编码时刻的时间间隔在预定范围之内，例如，该预定范围可以以不影响人的视觉感受为限，如[-40ms，40ms]。优选地，每个传输等级对应的数据帧中相同画面对应的I帧的编码时刻相同，即预定范围为0。

优选地，在当前的传输等级对应的数据帧与确定的传输等级对应的数据帧中相同画面对应的I帧的编码时刻的时间间隔在预定范围之内的情况下，将多个传输链路当前传输的数据帧的传输等级切换为确定的传输等级时：可以先确定当前时刻为与确定的传输等级对应的数据帧中的I帧的起始时刻，并在起始时刻将多个传输链路当前传输的数据帧的传输等级切换为确定的传输等级。通过在I帧的起始时刻切换传输等级的方式，可以使得接收端接收到的码流能够保证解码得到的画面的流畅，避免了在P帧时刻切换传输等级导致的在下一个I帧到来之前的P帧都无法解码的问题。

优选地，在本实施例中可以采用根据对存储编码后的码流的编码缓冲区的环形自检，和/或，数据帧的接收端的反馈，以确定多个传输链路的网络状态；例如，在环形自检过程中，通过检测采用相应的传输等级传输码流的过程中，检测编码缓冲区中已经编码的码流的缓存情况，在缓存超过预定值的情况下，则可以判断当前网络状况较差，从而可以选择降低编码码率（传输等级）。其中，采用环形自检的方式可以不依赖于接收端的反馈，从而避免了对网络状态判断的滞后。

本实施例还提供了一种码流发送装置，该装置用于实现上述码流发送方法，该装置的功能实现已经在上述方法实施例中进行了说明，在此不再赘述。

图2是根据本发明实施例的码流发送装置的结构示意图，如图2所示，该装置包括：编码模块22、确定模块24和传输模块26，其中，编码模块22，用于根据多个编码码率，将码流分别编码为多个传输等级的数据帧；确定模块24耦合至编码模块22，用于根据多个传输链路的网络状态，确定多个传输链路支持的传输等级；传输模块26耦合至确定模块24，用于通过多个传输链路传输与确定的传输等级对应的数据帧。

本发明的实施例中所涉及到的模块、单元可以通过软件的方式实现，也可以通过硬件的方式来实现。本实施例中的所描述的模块、单元也可以设置在处理器中，例如，可以描述为：一种处理器包括编码模块22、确定模块24和传输模块26。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，编码模块22还可以被描述为“用于根据多个编码码率将码流分别编码为多个传输等级的数据帧的模块”。

图3是根据本发明实施例的码流发送装置的优选结构示意图一，如图3所示，优选地，该装置还包括：判断模块32分别耦合至确定模块24和传输模块26，用于判断多个传输链路当前传输的数据帧对应的传输等级与确定的传输等级是否一致；其中，传输模块26，用于在判断模块的判断结果为一致的情况下，通过多个传输链路传输与确定的传输等级对应的数据帧。

图4是根据本发明实施例的码流发送装置的优选结构示意图二，如图4所示，优选地，装置还包括：切换模块42耦合至判断模块32和传输模块26，用于在判断模块的判断结果为不一致的情况下，将多个传输链路当前传输的数据帧的传输等级切换为确定的传输等级。

优选地，当前的传输等级对应的数据帧与确定的传输等级对应的数据帧中相同画面对应的I帧的编码时刻的时间间隔在预定范围之内。

优选地，传输模块26还用于确定当前时刻为与确定的传输等级对应的数据帧中的I帧的起始时刻，并在起始时刻将多个传输链路当前传输的数据帧的传输等级切换为确定的传输等级。

优选地，该装置还包括：第二确定模块，可以耦合至确定模块24，用于根据对存储编码后的码流的编码缓冲区的环形自检，和/或，数据帧的接收端的反馈，确定多个传输链路的网络状态。

下面结合优选实施例进行描述和说明。

本优选实施例提供了一种码流发送方法和码流接收方法。

首先，在本优选实施例的一些实施方式中，采用了多卡捆绑发送的模式，在链路上增加了带宽的容量；多卡根据自身网络状态进行对节目流（Program Stream，简称为PS流）的分包、封装，各自独立传输；在码流接收端进行重新组包、解封装成PS流。本优选实施例中通过双卡传输的带宽增益倍数在1.3～1.8之间。

其次，在本优选实施例的一些方式中，在无线视频输控制方面，为解决现有方案的控制滞后、图像质量差、存在长时间数据丢失风险等问题，可以采用根据无线网络状况从好到差规划预出若干个不同等级（即传输等级），每个等级对应编码一路码流通道，所有码流通道都来自同一路视频源，保持1～2秒的I帧并保证每一路同时编码I帧（差距在40ms内）。当进行传输控制时，选择匹配的码流通道，以I帧位置进行切换，达到瞬时降低至期望值的问题，且不改变I帧间隔，图像质量也得到了保障。

图5是根据本发明优选实施例的码流发送方法的流程示意图，如图5所示的系统中采用的中央处理器（CPU）是数字信号处理器（Digital Signal Processor，简称为DSP）+ARM（Advanced RISC Machines）的集成，在本系统中，DSP负责视频处理，ARM负责传输、控制、其他算法。DSP和ARM之前通过共享缓冲区交换数据。DSP还负责启用高清晰视频图像加速系统（High Definition Image and Video Accelerator，简称为IVA-HD）将数据编码成标准H.264码流，然后取出码流进行打包。例如，在这个过程中DSP将码流分成16个档次，打包完成后放入和ARM共享缓冲区（16个）；ARM取出各缓冲区码流进行算法处理。

基于图5所示的系统的码流发送方法的流程包括：通过DSP编码多个等级的码流（例如图中的A、B、C、D…），码流发送任务负责从网络状态监测任务获取网络状态，ARM传输控制处理任务负责根据当前网络状态选择合适的码流通道（即传输等级）；码流分包封装任务负责将数据分发到各卡对应的传输单元进行传输。

其中，ARM传输控制处理任务检测是否需要切换通道。图6是根据本发明优选实施例的通道切换时机的示意图，如图6所示，当需要通道切换时，通过前一通道A的当前最后P帧的时标，在切换至的B通道已经编码出的数据中查找对应的第一个I帧，若查找不到则表示该I帧还未生成，则继续等待，等到到I帧后立即从B通道的I帧开始传输，直到检测到B通道的下一个I帧，进入下一次循环，即通过传输单元传输B通道中的数据帧，直至根据监测到的网络状态的变化确定需要再切换通道。

在本优选实施例的一个实例中，提供了一种码流发送方法，图7是根据本发明优选实施例的码流发送端的工作流程示意图，如图7所示，该工作流程包括如下步骤：

首先，与对端建立连接后，启动各等级的通道编码以及码流帧解析任务；其中，对于WCDMA网络可以分为80千比特每秒（Kbps）、160Kbps、256Kbps、312Kbps、400Kbps、512Kbps、640Kbps、764Kbps、892Kbps、1024Kbps、1196Kbps、1400Kbps、1536Kbps、1736Kbps、1892Kbps；对于EV-DO网络，其通道编码码率的范围可以缩小为60Kbps～764Kbps。

其次，执行下列步骤：

步骤S702，启用多卡传输链路及环形自检、接收对端反馈任务；

步骤S704，根据环形自检及对端反馈的网络状态计算当前最大能承受的传输等级，选择当前合适的通道；

步骤S706，若不是第一次传输且不需要切换通道，则转至步骤S708，若第一次传输则等待该通道最新的I帧到来，若切换通道，则根据记录的前一通道最后P帧时标在新的通道进行查找最接近的I帧；

步骤S708，确认下一个要传输的I帧后，逐帧进行组包，组包大小为4*1440，同一帧组的包全部给相同的空闲第三代移动通信技术（3rd-Generation，简称为3G）卡对应的传输单元，下一帧重新寻找空闲的3G卡，包头封装数据包的序号、时标信息、传输的卡序号等；逐帧组包一直持续到下一个I帧出现，停止分包封装并记录最后一个P帧的时标信息；

执行上述步骤之后，一次控制结束，转至S702继续执行下一次控制过程。

对应于上述发送端，在本优选实施例的一个实例中提供了一种码流接收方法，图8是根据本发明优选实施例的码流接收端的工作流程示意图，如图8所示，该工作流程包括如下步骤：

首先，与对端建立连接后，启用检测反馈任务、接收任务、组包解码任务；

其次，执行下列步骤：

步骤S802，如图9所示，接收任务接收到包后，检测反馈任务循环检测是否有包丢失，有则通知对端；例如，若有不连续的包没有解码输出，则超时等待接收包；超时时间到，还未收到数据包或者数据包不连续则进行标记超时，并反馈对端；检测包是否连续（若为首个数据包则默认连续），若不连续则转入步骤S804；连续则转入步骤S808；

步骤S804，检测解码缓冲区是否处于空或即将空的状态，若不是则继续接收数据包，等待还未到达的数据包的达到；若是则标记超时，立即放弃等待；

步骤S806，若超过时间阀值数据包未到达（阀值由网络状态动态获取，在1s～4s间浮动），则标记超时，立即放弃等待；

步骤S808，对已经到达的数据包进行解封装，去除包头，重新组包，输出到解码缓冲区进行解码显示；转入步骤S802。

综上所述，通过本优选实施例，在无线视频传输中，首次提出以切换编码通道以实现快速降低码率的带宽自适应算法，相比以往的传输控制算法，切换通道的算法真正实现了快速自适应、控制延时、维持图像质量的功能；同时本发明实施例和优选实施例中还使用了多卡绑定传输的方式，采用了分包-组包的模式，提高了带宽的容量；此外，由于同一视频源的数据包可以通过不同的传输链路传输，可以在一定程度上保证数据的保密性。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上上述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种码流发送方法，其特征在于包括：

根据多个编码码率，将码流分别编码为多个传输等级的数据帧；

根据多个传输链路的网络状态，确定所述多个传输链路支持的传输等级；

通过所述多个传输链路传输与确定的所述传输等级对应的数据帧；

其中，在通过所述多个传输链路传输与确定的所述传输等级对应的数据帧之前，所述方法还包括：判断所述多个传输链路当前传输的数据帧对应的传输等级与确定的所述传输等级是否一致；

在判断结果为不一致的情况下，所述方法还包括：将所述多个传输链路当前传输的数据帧的传输等级切换为确定的所述传输等级；通过所述多个传输链路传输与确定的所述传输等级对应的所述数据帧。

2.根据权利要求1所述的方法，其特征在于，通过所述多个传输链路传输与确定的所述传输等级对应的数据帧包括：

将所述数据帧中的I帧和该I帧对应的P帧封装为多组数据包，其中，所述多组数据包中的一组数据包对应于所述数据帧中的一个数据帧；

通过所述多个传输链路，分别传输所述多组数据包。

3.根据权利要求1所述的方法，其特征在于，在判断所述多个传输链路当前传输的数据帧对应的传输等级与确定的所述传输等级是否一致之后，所述方法还包括：

在判断结果为一致的情况下，通过所述多个传输链路传输与确定的所述传输等级对应的数据帧。

4.根据权利要求1所述的方法，其特征在于，当前的传输等级对应的数据帧与确定的所述传输等级对应的所述数据帧中相同画面对应的I帧的编码时刻的时间间隔在预定范围之内。

5.根据权利要求4所述的方法，其特征在于，将所述多个传输链路当前传输的数据帧的传输等级切换为确定的所述传输等级包括：

确定当前时刻为与确定的所述传输等级对应的数据帧中的I帧的起始时刻；

在所述起始时刻将所述多个传输链路当前传输的数据帧的传输等级切换为确定的所述传输等级。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：

根据对存储编码后的码流的编码缓冲区的环形自检，和/或，所述数据帧的接收端的反馈，确定所述多个传输链路的所述网络状态。

7.一种码流发送装置，其特征在于包括：

编码模块，用于根据多个编码码率，将码流分别编码为多个传输等级的数据帧；

确定模块，用于根据多个传输链路的网络状态，确定所述多个传输链路支持的传输等级；

传输模块，用于通过所述多个传输链路传输与确定的所述传输等级对应的数据帧；

其中，所述装置还包括：

判断模块，用于判断所述多个传输链路当前传输的数据帧对应的传输等级与确定的所述传输等级是否一致；

切换模块，用于在所述判断模块的判断结果为不一致的情况下，将所述多个传输链路当前传输的数据帧的传输等级切换为确定的所述传输等级。

8.根据权利要求7所述的装置，其特征在于，

所述传输模块，用于在所述判断模块的判断结果为一致的情况下，通过所述多个传输链路传输与确定的所述传输等级对应的数据帧。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

第二确定模块，用于根据对存储编码后的码流的编码缓冲区的环形自检，和/或，所述数据帧的接收端的反馈，确定所述多个传输链路的所述网络状态。