CN102970616B - 一种传输视频的方法及装置 - Google Patents

Abstract

本发明涉及一种传输视频的方法，包括：服务器接收实时传输控制协议RTCP反馈信息，获得信道的损伤特征值；计算所述损伤特征值对应的编码序列控制参数，按照所述编码序列控制参数对视频帧的帧序号进行分组，并编码出所述分组后的帧序号对应的视频帧；按照预定的顺序发送所述分组后的视频帧。相应地，本发明提供一种服务器，解决了如何提高传输的抗丢包的问题，提高了用户体验，提高了传输的可靠性。

Description

一种传输视频的方法及装置

技术领域

本发明实施例涉及通信领域，尤其涉及一种传输视频的方法及装置。

背景技术

视频压缩技术在各种应用行业飞速发展，尤其在数字视频和安防领域.近来在通讯领域也呈现出强烈的诉求，GSMA和3GPP等标准组织相继将视频业务纳入业务提供范围，尤其以GSMA制定的RCS/RCS-e业务为代表，对视频业务提出了Live Sharing等应用场景的诉求，但由于现有无线带宽资源的限制，以及无线信道的信道质量等问题，一直没有能够得到大规模应用.

视频压缩主要涉及帧编码技术，其中I帧图像采用帧内编码方式，即只利用了单帧图像内的空间相关性，而没有利用时间相关性。P帧和B帧图像采用帧间编码方式，即同时利用了空间和时间上的相关性。P帧图像只采用前向时间预测，可以提高压缩效率和图像质量。P帧图像中可以包含帧内编码的部分，即P帧中的每一个宏块可以是前向预测，也可以是帧内编码。B帧图像采用双向时间预测，可以大大提高压缩倍数。H.264使图像压缩技术上升到了一个更高的阶段，能够在较低带宽上提供高质量的图像传输，这正好适应了目前运营商接入网带宽还非常有限的状况。

视频抗丢包是视频应用中的关键技术。现有技术中，可以用前一视频帧替换当前丢失的视频帧，从而对视频帧的传输错误进行隐藏。但在整个P帧丢失的情况下，由于失去了参考，无法恢复图象，只能选择重新传输整段丢失的视频帧，传输可靠性差，用户体验低。

发明内容

有鉴于此，本发明实施例提供了一种传输视频的方法及装置，解决了如何提高传输的抗丢包的问题，提高了用户体验，提高了传输的可靠性。

第一方面，本发明实施例提供了一种传输视频的方法，包括：

服务器接收实时传输控制协议RTCP反馈信息，获得信道的损伤特征值；

计算所述损伤特征值对应的编码序列控制参数，按照所述编码序列控制参数对视频帧的帧序号进行分组，并编码出所述分组后的帧序号对应的视频帧；

按照预定的顺序发送所述分组后的视频帧。

在第一方面的第一种可能的实现方式中，所述编码出所述分组后的帧序号对应的视频帧，包括：

参考任一视频帧编码出所述任一视频帧同一分组内的下一帧，以及参考所述任一视频帧前一帧序号对应的视频帧，编码出所述任一视频帧同一分组内的下一帧，所述任一视频帧同一分组内的下一帧经过如上两种方式编码获得，且所述任一视频帧同一分组内的下一帧不同于所述任一视频帧下一帧序号对应的视频帧。

结合在第一方面或第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述按照所述编码序列控制参数对视频帧的帧序号进行分组，包括：

以所述编码序列控制参数为组数，对所述视频帧的帧序号进行分组，所述视频帧为待编码的视频帧。

第二方面，本发明实施例提供一种传输视频的服务器，包括：

接收单元，用于接收实时传输控制协议RTCP反馈信息，获得信道的损伤特征值；

计算单元，用于计算所述损伤特征值对应的编码序列控制参数；

分组单元，用于按照所述编码序列控制参数对视频帧的帧序号进行分组；

编码单元，用于编码出所述分组后的帧序号对应的视频帧；

发送单元，用于按照预定的顺序发送所述分组后的视频帧。

在第二方面的第一种可能的实现方式中，所述编码单元编码出所述分组后的帧序号对应的视频帧，包括：

参考任一视频帧编码出所述任一视频帧同一分组内的下一帧，以及参考所述任一视频帧前一帧序号对应的视频帧，编码出所述任一视频帧同一分组内的下一帧，所述任一视频帧同一分组内的下一帧经过如上两种方式编码获得，且所述任一视频帧同一分组内的下一帧不同于所述任一视频帧下一帧序号对应的视频帧。

结合在第二方面或第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述分组单元按照所述编码序列控制参数对视频帧的帧序号进行分组，包括：

以所述编码序列控制参数为组数，对所述视频帧的帧序号进行分组，所述视频帧为待编码的视频帧。

本发明实施例提供的传输视频的方法及装置，服务器接收实时传输控制协议RTCP反馈信息，获得信道的损伤特征值，计算损伤特征值对应的编码序列控制参数，按照编码序列控制参数对视频帧的帧序号进行分组，并编码出该分组后的帧序号对应的视频帧，按照预定的顺序发送分组后的视频帧。解决了解决了现有技术中连续帧丢失而无法恢复视频图像的问题，提高了系统的可靠性及用户体验。

附图说明

图1为本发明实施例1的流程图；

图2为本发明实施例2中的流程图；

图3为本发明实施例2中的串并联编码模型图；

图4为本发明实施例2中的编码示意图；

图5为本发明实施例3中的装置组成图；

图6为本发明实施例3中的装置硬件架构图。

具体实施方式

本发明实施例揭示的方法可以中央处理器中，或者说由中央处理器以实现。中央处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过中央处理器中的硬件的集成逻辑电路或者软件形式的指令完成。用于执行本发明实施例揭示的方法，上述的中央处理器可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，中央处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

实施例一：

如图1所示，本发明实施例中视频传播的流程如下：

S101、服务器接收实时传输控制协议RTCP反馈信息，获得信道的损伤特征值；

信道的损伤特征值包括但不限于最大丢包率，最大连续丢包数，平均连续丢包数，典型丢包率，典型连续丢包数等。

S102、计算所述损伤特征值对应的编码序列控制参数，按照所述编码序列控制参数对视频帧的帧序号进行分组，并编码出所述分组后的帧序号对应的视频帧；

服务器计算所述损伤特征值对应的编码序列控制参数，具体为：根据所述损伤特征值，计算出传输信道的平均丢包率，比较预设定的丢包率与所述平均丢包率，根据预设定的动态调整算法计算出所述编码序列控制参数。

服务器按照所述编码序列控制参数对视频帧的帧序号进行分组，具体为：以所述编码序列控制参数为组数，对所述视频帧的帧序号进行分组，所述视频帧为待编码的视频帧。

服务器编码出所述分组后的帧序号对应的视频帧，具体为：参考任一视频帧编码出所述任一视频帧同一分组内的下一帧，以及参考所述任一视频帧前一帧序号对应的视频帧，编码出所述任一视频帧同一分组内的下一帧，所述任一视频帧同一分组内的下一帧经过如上两种方式编码获得，且所述任一视频帧同一分组内的下一帧不同于所述任一视频帧下一帧序号对应的视频帧。

S103、按照预定的顺序发送所述分组后的视频帧。

服务器可以按照分组的组序号依次发送所述分组后的视频帧，也可以按照别的顺序进行发送，本发明实施例对此并无限制。

这样，分组后的视频帧传送到接收端之后，由于每一帧都可以有两个参考帧编码构成，因此，无论是哪一分组，万一传输过程中出现连续性的帧丢失，只要保证一组视频帧到达，都可以恢复出所有的视频帧，解决了现有技术中连续帧丢失而无法恢复视频图像的问题，提高了系统的可靠性及用户体验。

实施例二：

图2是本发明实施例的流程图，如图2所示，本发明实施例流程如下：

S201、服务器对收到的RTCP反馈信息进行分析；

服务器对收到的RTCP反馈信息进行分析，并完成信道损伤模型的诊断过程，得出信道的损伤特征值，包括但不限于最大丢包率，最大连续丢包数，平均连续丢包数，典型丢包率，典型连续丢包数等参数。

S202、计算编码序列控制参数；

服务器根据当前信道损伤特征值，进行算法计算并得到调整后的编码序列控制参数。具体为：根据所述损伤特征值，计算出传输信道的平均丢包率，比较预设定的丢包率与所述平均丢包率，根据预设定的动态调整算法计算出所述编码序列控制参数。该动态调整算法可以是：将预设定丢包率和平均丢包率求差值，并算出该差值的本发明实施例对该动态调整算法具体如何实现并没有限制，

S203、进行交叉参考的编码方式进行编码；

在介绍编码之前，先要介绍以下视频帧的分组。P帧分组和并联参考，可以使得接收端在仅仅接收到一个分组的情况下也能有效恢复出原始图象；同时考虑一个分组可能无法完整的到达接收端，在多个分组间采用交叉参考，这样在多个分组间形成多个参考，从而提升P帧参考恢复原始图象的可靠性.

P帧分组和并联参考示意如图3：

如图3所示，串连分组的缺点非常明显，一旦整个序列中的一个P帧丢失或不能完全到达，则整个图象无法有效恢复，而只能依靠重新传送I帧，从而导致马赛克效应，严重影响用户体验.

针对这个问题，可以简单的将一系列P帧进行分组，如上图3所示，每隔3帧形成一个新的编排序列，即第一个序列为3N+1，第二个序列为3N+2，第三个序列为3N+3，这样当这3个序列中的任一个序列到达接收端后，都能够有效恢复出原始图象，例如3N+1和3N+2序列由于信道受损而不能达到接收端或不能完整到达接收端，而仅仅3N+3序列能够完成到达，则接收方根据3N+3就能够有效的恢复出原始图象。

交叉参考编码示意如图4所示：

3N+3序列的P15帧同时有2个参考，即参考本序列P12编码一个P15，同时又参考3N+2序列的P11又编码一个P15，即有效参考帧P12的前一帧，这样在不同的两个序列之间形成了交叉参考，针对不同的参考编码了两个P15帧，这2个P15帧只要有一个到达接收端就可以有效的恢复出原始图象.

同理3N+1序列的P19和3N+2序列的P20都分配了2个参考帧，并编码了2个P19和P20.

并联序列的数量是自适应的，具体的条数主要决定于丢包率，例如3％丢包则并联2条，10％丢包并联3条，重度损伤情况下一般考虑20％的丢包上限，此时并联序列需要达到4条即可.

交叉参考的间距是可以动态调整的，这个动态参数主要考虑连续丢包的数量，例如为了克服无线环境上近200ms的丢包，考虑一个每秒30帧的图象，则有连续丢6帧的可能，P15的备份编码可以参考前6个时刻的P帧，这样P15的备份参考的就是P5，而不是P11。

S204、将分组后的视频帧发送至接收端；

服务器可以按照分组的组序号依次发送所述分组后的视频帧，也可以按照别的顺序进行发送，本发明实施例对此并无限制。

这样，分组后的视频帧传送到接收端之后，由于每一帧都可以有两个参考帧编码构成，因此，无论是哪一分组，万一传输过程中出现连续性的帧丢失，只要保证一组视频帧到达，都可以恢复出所有的视频帧，解决了现有技术中连续帧丢失而无法恢复视频图像的问题，提高了系统的可靠性及用户体验。

本发明实施例提供的方法，服务器接收实时传输控制协议RTCP反馈信息，获得信道的损伤特征值，计算损伤特征值对应的编码序列控制参数，按照编码序列控制参数对视频帧的帧序号进行分组，并编码出该分组后的帧序号对应的视频帧，按照预定的顺序发送分组后的视频帧。解决了解决了现有技术中连续帧丢失而无法恢复视频图像的问题，提高了系统的可靠性及用户体验。

实施例三：

图5是视频传输的服务器的组成结构图，如图5所示，包括：

接收单元301，用于接收实时传输控制协议RTCP反馈信息，获得信道的损伤特征值；

信道的损伤特征值包括但不限于最大丢包率，最大连续丢包数，平均连续丢包数，典型丢包率，典型连续丢包数等。

计算单元302，用于计算所述损伤特征值对应的编码序列控制参数；

计算单元302计算所述损伤特征值对应的编码序列控制参数，具体为：根据所述损伤特征值，计算出传输信道的平均丢包率，比较预设定的丢包率与所述平均丢包率，根据预设定的动态调整算法计算出所述编码序列控制参数。

分组单元303，用于按照所述编码序列控制参数对视频帧的帧序号进行分组；

分组单元303按照所述编码序列控制参数对视频帧的帧序号进行分组，具体为：以所述编码序列控制参数为组数，对所述视频帧的帧序号进行分组，所述视频帧为待编码的视频帧。

编码单元304，用于编码出所述分组后的帧序号对应的视频帧；

编码单元304编码出所述分组后的帧序号对应的视频帧，具体为：参考任一视频帧编码出所述任一视频帧同一分组内的下一帧，以及参考所述任一视频帧前一帧序号对应的视频帧，编码出所述任一视频帧同一分组内的下一帧，所述任一视频帧同一分组内的下一帧经过如上两种方式编码获得，且所述任一视频帧同一分组内的下一帧不同于所述任一视频帧下一帧序号对应的视频帧。

发送单元305，用于按照预定的顺序发送所述分组后的视频帧。

发送单元305可以按照分组的组序号依次发送所述分组后的视频帧，也可以按照别的顺序进行发送，本发明实施例对此并无限制。

这样，分组后的视频帧传送到接收端之后，由于每一帧都可以有两个参考帧编码构成，因此，无论是哪一分组，万一传输过程中出现连续性的帧丢失，只要保证一组视频帧到达，都可以恢复出所有的视频帧，解决了现有技术中连续帧丢失而无法恢复视频图像的问题，提高了系统的可靠性及用户体验。

图6描述了本发明另一个实施例提供的基础设施管理节点的硬件架构图，包括至少一个处理器401(例如CPU)，至少一个网络接口402或者其他通信接口，存储器403，和至少一个通信总线404，用于实现这些装置之间的连接通信。处理器401用于执行存储器403中存储的可执行模块，例如计算机程序。存储器403可能包含高速随机存取存储器(RAM：Random AccessMemory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个网络接口402(可以是有线或者无线)实现该系统网关与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。

在一些实施方式中，存储器403存储了程序指令，程序指令可以被处理器401执行，其中，程序指令包括接收单元301、计算单元302、分组单元303、编码单元304和发送单元305，其中，各单元的具体实现参见图5所揭示的相应单元，这里不再累述。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可以用硬件实现，或固件实现，或它们的组合方式来实现。当使用软件实现时，可以将上述功能存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。以此为例但不限于：计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。此外。任何连接可以适当的成为计算机可读介质。例如，如果软件是使用同轴电缆、光纤光缆、双绞线、数字用户线(DSL)或者诸如红外线、无线电和微波之类的无线技术从网站、服务器或者其他远程源传输的，那么同轴电缆、光纤光缆、双绞线、DSL或者诸如红外线、无线和微波之类的无线技术包括在所属介质的定影中。如本发明所使用的，盘(Disk)和碟(disc)包括压缩光碟(CD)、激光碟、光碟、数字通用光碟(DVD)、软盘和蓝光光碟，其中盘通常磁性的复制数据，而碟则用激光来光学的复制数据。上面的组合也应当包括在计算机可读介质的保护层级之内。

总之，以上所述仅为本发明技术方案的较佳实施例而已，并非用于限定本发明的保护层级。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护层级之内。

Claims (7)

1.一种传输视频的方法，其特征在于，包括：

服务器接收实时传输控制协议RTCP反馈信息，获得信道的损伤特征值；

计算所述损伤特征值对应的编码序列控制参数，按照所述编码序列控制参数对视频帧的帧序号进行分组，并编码出所述分组后的帧序号对应的视频帧；

按照预定的顺序发送所述分组后的视频帧；

其中，所述编码出所述分组后的帧序号对应的视频帧，包括：

参考任一视频帧编码出所述任一视频帧同一分组内的下一帧，以及参考所述任一视频帧前一帧序号对应的视频帧，编码出所述任一视频帧同一分组内的下一帧，所述任一视频帧同一分组内的下一帧经过如上两种方式编码获得，且所述任一视频帧同一分组内的下一帧不同于所述任一视频帧下一帧序号对应的视频帧。

2.根据权利要求1所述的方法，其特征在于，所述按照所述编码序列控制参数对视频帧的帧序号进行分组，包括：

以所述编码序列控制参数为组数，对所述视频帧的帧序号进行分组，所述视频帧为待编码的视频帧。

3.根据权利要求1所述的方法，其特征在于，所述计算所述损伤特征值对应的编码序列控制参数，包括：

根据所述损伤特征值，计算出传输信道的平均丢包率；

比较预设定的丢包率与所述平均丢包率，根据预设定的动态调整算法计算出所述编码序列控制参数。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述按照预定的顺序发送所述分组后的视频帧，包括：

按照分组的组序号依次发送所述分组后的视频帧。

5.一种传输视频的服务器，其特征在于，包括：

接收单元，用于接收实时传输控制协议RTCP反馈信息，获得信道的损伤特征值；

计算单元，用于计算所述损伤特征值对应的编码序列控制参数；

分组单元，用于按照所述编码序列控制参数对视频帧的帧序号进行分组；

编码单元，用于编码出所述分组后的帧序号对应的视频帧；

发送单元，用于按照预定的顺序发送所述分组后的视频帧；

其中，所述编码单元编码出所述分组后的帧序号对应的视频帧，包括：

参考任一视频帧编码出所述任一视频帧同一分组内的下一帧，以及参考所述任一视频帧前一帧序号对应的视频帧，编码出所述任一视频帧同一分组内的下一帧，所述任一视频帧同一分组内的下一帧经过如上两种方式编码获得，且所述任一视频帧同一分组内的下一帧不同于所述任一视频帧下一帧序号对应的视频帧。

6.根据权利要求5所述的服务器，其特征在于，所述分组单元按照所述编码序列控制参数对视频帧的帧序号进行分组，包括：

以所述编码序列控制参数为组数，对所述视频帧的帧序号进行分组，所述视频帧为待编码的视频帧。

7.根据权利要求5所述的服务器，其特征在于，所述计算单元计算所述损伤特征值对应的编码序列控制参数，包括：

根据所述损伤特征值，计算出传输信道的平均丢包率；

比较预设定的丢包率与所述平均丢包率，根据预设定的动态调整算法计算出所述编码序列控制参数。