CN105681342B - 一种基于h264的多路视频会议系统的抗误码方法及系统 - Google Patents

Abstract

本发明提供一种基于H264的多路视频会议系统的抗误码方法及系统，方法包括把H264视频编码器配置成N个线程并行编码模式；建立参考图像标志位列表，每个H264视频编码器对应一个唯一的长度为M×N的参考图像标志位列表；参考图像标志位列表接收H264视频编码器输出的编码码流和参考信息，参考信息为IP帧的帧号和slice图像；发送方客户端把视频码流打包成RTP包进行发送；接收方客户端接收RTP包并判断RTP包序号是否连续、CRC校验是否正确；H264视频解码器收到序号连续、CRC校验正确的RTP包的视频码流，并对视频码流进行解码。本发明把视频编解码和RTP传输统一考虑，降低了抗误码功能对视频解码器的依赖性和开发成本，降低了会议整体延时，避免了插入关键帧的码率增大。

Description

一种基于H264的多路视频会议系统的抗误码方法及系统

技术领域

本发明属于信息技术领域，特别是涉及一种多路网络视频会议中的抗误码视频处理方法及系统。

背景技术

近年来，互联网、移动互联网、多媒体技术等都获得了快速发展，具有较好实时性和交互性的网络视频会议也得到了越来越广泛的应用。视频会议终端扩展到了手机、平板电脑、个人计算机等多种类型，视频质量面临着越来越高的要求，并且正逐渐成为各个厂商相互比拼的热点之一。

在网络视频会议系统中，各个终端一般处于不同的地点，终端之间的视频通话要经过互联网或移动互联网进行传输。然而网络通信一般都不能保证传输过程完全可靠，这就需要依靠一些技术手段来保证视频通信质量。目前，在视频编解码层面、码流传输层面、应用层面等都出现了很多新技术和新方法。

在编解码层面，H264编码器采用了数据分割、帧内编码、宏块级帧场自适应MBAFF、宏块重排FMO、长参考帧以及SP/SI帧技术等。当误码错误无法恢复时，可以使用错误隐藏技术来改善解码后的图像质量，但是这种改善无法恢复到原有的图像质量。另外，网络视频会议的特性限制了很多延迟大、复杂度高的抗误码技术的使用。

在码流传输层面，网络视频会议大多采用基于UDP协议的RTP/RTCP传输视频流，并采用冗余传输、错误检测和重传等技术来保证传输的可靠性。

近来，为了适应更加复杂的网络传输环境，满足网络视频会议的低延迟等特性，把视频编解码和视频码流传输结合起来设计整体抗误码方案，可以获得较好的效果。例如，在码流丢包时插入关键帧的实时流媒体丢包处理方案，根据解码器宏块错误信息反馈来灵活选择编码宏块的参考图像的方案，使用多个子序列并行独立编码和传输的方案，均获得了一定效果。

现有的技术方案或产品一般存在如下的问题：

(1)在工程应用中，直接解码带有错误的视频码流，容易导致没有容错能力的视频解码器崩溃；网络视频会议的终端一般要支持多种不同的软件解码器、硬件解码器。逐个开发解码器的容错功能，一方面开发成本较高，另一方面将很难使用终端平台的通用硬件解码器来降低终端功耗和解码时间。

(2)现有H264协议所述的抗误码机制和算法并不能保证码流传输的可靠性，他们只是为缓解码流传输错误出现几率提供了一些可选的工具和算法，并且很多工具和算法的实现复杂度较高，对编码处理器要求较高。

(3)网络视频会议对延时比较敏感。如果在解码器模块处理码流错误并反馈错误信息，会增加会议系统的整体延时。

(4)对于RTP层的视频码流错误检测和重传机制，如果重传次数太多则会加重网络负载和系统延时；如果重传次数少很难保证码流的完整性，只能依靠插入关键帧来保证视频帧的连续性，但是插入关键帧会导致码率突然增大，恶化网络传输环境。

因此，有必要提出一种新的技术方案。

发明内容

针对上述问题，本发明提出一种基于H264的多路视频会议系统抗误码方法及系统，把视频编解码和RTP传输统一考虑，降低了抗误码功能对视频解码器的依赖性和开发成本，降低了会议整体延时，避免了插入关键帧的码率增大。

本发明提供一种基于H264的多路视频会议系统的抗误码方法，所述抗误码方法包括如下步骤：

S1、把H264视频编码器配置成N个线程并行编码模式，将每帧待编码图像划分为N个Slice图像，把H264视频解码器缓存的参考帧数设置为M；

S2、在发送方客户端建立参考图像标志位列表，所述参考图像标志位列表与编码器输出的I/P帧参考图像对应，每个H264视频编码器对应一个唯一的长度为M×N的参考图像标志位列表；

S3、所述参考图像标志位列表接收H264视频编码器输出的编码码流和参考信息，所述参考信息为IP帧的帧号和slice图像；

S4、发送方客户端把包括编码码流和参考信息的视频码流打包成RTP包进行发送，每个RTP包最多包含一个slice图像的码流数据，并建立图像帧号、slice图像号和RTP包序号之间的关系唯一对应关系列表，所述对应关系列表最多保存M帧图像的对应关系；

S5、接收方客户端接收RTP包并判断RTP包序号是否连续、CRC校验是否正确，将序号连续、CRC校验正确的RTP包的视频码流发送给H264视频编码器，否则将RTP包的错误信息反馈给发送方客户端，所述H264视频解码器接收正确视频码流，并对视频码流进行解码。

进一步的，所述H264视频编码器把编码码流和参考信息输入至所述参考图像标志位列表，所述H264视频编码器开始编码P/B帧类型的图像前，从所述参考图像标志位列表中读取当前可用的参考图像的slice图像信息，更新至H264视频编码器的参考图像列表中。

进一步的，步骤S3中，所述参考图像标志位列表收到编码码流和参考信息后，若是IDR帧则清空参考图像标志位列表，否则按照帧号和slice图像信息插入到参考图像标志位列表，为每个slice图像设立一个标志位，并设置为“可参考”。

进一步的，步骤S5中，若接收方客户端判断RTP包错误，则将错误信息反馈到发送方客户端，发送方客户端可重传对应的RTP包，重传次数达到最大，则丢弃该RTP包，并根据图像帧号、slice图像号和RTP包序号，更新参考图像标志位列表中的slice图像为“不可参考，其中，重传次数最大可设置为2次。

进一步的，发送方客户端的参考图像标志位列表接收RTP包错误信息，并将错误信息反馈到H264视频编码器。

进一步的，根据权利要求1或2所述的基于H264的多路视频会议系统抗误码方法，步骤S5中，若H264视频解码器解码出的是I/P帧，则缓存该参考图像，根据系统延时要求，最大缓存可设置M＝15帧。

本发明还提供一种基于H264的多路视频会议系统的抗误码系统，所述抗误码系统包括发送方客户端和接收方客户端；

发送方客户端包括H264视频编码器、参考图像标志位列表模块和RTP包发送模块；

接收方客户端包括H264视频解码器和RTP包接收模块；

所述H264视频编码器用于输出编码码流和参考信息，所述参考信息为IP帧的帧号和slice图像，其中，所述H264视频编码器采用N个线程并行编码模式，将每帧待编码图像划分为N个Slice图像；

所述参考图像标志位列表模块，其用于建立参考图像标志位列表，所述参考图像标志位列表与H264视频编码器输出的I/P帧参考图像对应，所述参考图像标志位列表模块接收H264视频编码器输出的编码码流和参考信息，其中，每个H264视频编码器对应一个唯一的长度为M×N的参考图像标志位列表，M为解码器缓存的参考帧数；

所述RTP包发送模块，用于将参考图像标志位列表模块输出的包括编码码流和参考信息的视频码流打成RTP包发送，其中，每个RTP包最多包含一个slice图像的码流数据，并建立图像帧号、slice图像号和RTP包序号之间的唯一对应关系列表，该对应关系列表最多保存M帧图像的对应关系；

所述RTP包接收模块，用于接收所述RTP包发送模块发送的RTP包，并判断RTP包序号是否连续、CRC校验是否正确；

所述H264视频解码器，用于解码RTP包接收模块发送序号连续、CRC校验正确的RTP包的视频码流，H264视频解码器缓存的参考帧数为M。

进一步的，所述H264视频编码器把编码码流和参考信息输入至所述参考图像标志位列表模块，所述H264视频编码器开始编码P/B帧类型的图像前，从所述参考图像标志位列表模块中读取当前可用的参考图像的slice图像信息，更新至H264视频编码器的参考图像列表中。

进一步的，所述参考图像标志位列表模块收到编码码流和参考信息后，若是IDR帧则清空参考图像标志位列表，否则按照帧号和slice图像信息插入到参考图像标志位列表，为每个slice图像设立一个标志位，并设置为“可参考”。

进一步的，若接收方客户端判断RTP包错误，则将错误信息反馈到RTP包发送模块，RTP包发送模块可重传对应的RTP包，重传次数达到最大，则丢弃该RTP包，并根据图像帧号、slice图像号和RTP包序号，更新参考图像标志位列表中的slice图像为“不可参考，其中，重传次数最大可设置为2次。

本发明的基于H264的多路视频会议系统的抗误码方法及系统，其具有如下优点：

(1)视频码流的错误检测和信息反馈从解码器模块提前到RTP接收模块，缩短了错误反馈时间和整体延时；另一方面，传给视频解码器的码流不含误码，可以使用任何H264软件解码器和硬件解码器而不用考虑误码问题，提高了终端兼容性，减少了解码器的研发成本。

(2)发送客户端在编码器模块和RTP传输模块之间建立了独立的参考图像标志位列表，以slice为单位进行错误屏蔽和可参考图像标识，对于采用多slice并行编码的多核、多线程硬件处理器，有较好的算法适应性，提高了并行处理性能、降低了研发成本。

(3)发送客户端的独立参考图像标志位列表，可以接收多个RTP接收端的错误反馈信息，进行整合后统一反馈到视频编码器，这样视频编码器不用额外考虑多方接收和多方反馈的问题，简化了发送方客户端系统。

(4)对于网络传输过程中产生的视频码流丢包和误码，本方案可以避免插入关键帧带来的码率突然增大，有利于传输错误恢复，并保证较好的视频质量。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本发明基于H264的多路视频会议系统的抗误码系统框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种基于H264的多路视频会议系统的抗误码方法，其具体包括如下步骤：

步骤一、配置H264视频编码器。获取发送客户端CPU的物理线程数N，把H264视频编码器配置成N个线程并行编码模式，这样每帧待编码图像需要划分为N个slice图像，每个物理线程独立编码一个slice图像；配置H264视频解码器参数，把H264视频解码器缓存的参考帧数设置为较大值M(例如15帧)。

步骤二、建立参考图像标志位列表。在发送客户端建立一个参考图像的标志位列表，该列表与H264视频编码器输出的I/P帧参考图像对应。每个H264视频编码器对应一个唯一的、长度为M x N的参考图像标志位列表。

步骤三、编码IDR帧。H264视频编码器清空参考帧列表，对输入的图像使用IDR帧类型编码，把重构图像作为参考图像缓存在H264视频编码器内部；输出码流到RTP包发送模块；发送slice图像信息和帧号到参考图像标志位列表。

步骤四、设置参考图像标志位列表。收到H264视频编码器随同码流一起传输过来的I/P帧的帧号和slice图像之后，如果是IDR帧首先清空参考图像标志位列表；否则按照帧号和slice图像插入到参考图像标志位列表：为每个slice图像设立一个标志位，并设置为可参考。其中值"0"表示该slice图像不可参考，值"1"表示该slice图像可参考。

步骤五、使用RTP协议发送视频码流。发送方客户端把视频码流打包成RTP包进行发送，每个RTP包最多包含一个slice图像的码流数据，并建立图像帧号、slice图像号和RTP包序号之间的唯一对应关系列表。该列表最多保存M帧(例如15帧)图像的对应关系。

步骤六、接收RTP视频码流包。接收方客户端收到视频码流RTP包之后，首先判断RTP包序号是否连续、CRC校验是否有错误。如果包序号连续且CRC校验无误则把码流送给H264视频解码器进行解码显示；否则把错误信息反馈到发送方客户端的RTP包发送模块，并等待重传RTP包或者新RTP包。在一个实施例中，RTP包发送模块把错误包列表发送给参考图像标志位列表，所述参考图像标志位列表接收错误包列表信息，并将列表信息反馈到H264视频编码器。所述参考图像标志位列表可以接收多个接收方客户端的RTP包的错误反馈信息，进行整合后统一反馈到H264视频编码器，这样H264视频编码器不用额外考虑多方接收和多方反馈的问题，简化了发送方客户端系统。

步骤七、解码器视频码流。H264视频解码器收到正确的视频码流之后，对其进行解码。如果解码出的是I/P帧，则缓存该参考图像，根据系统延时要求，最大缓存可设置M＝15帧。

步骤八、重传和标识RTP包。如果发送方客户端的RTP包发送模块收到错误反馈信息，根据其中的包序号可重传对应的RTP包。当重传次数达到最大值(例如2次)时，则不再重传该包，然后根据RTP包序号、图像帧号和slice图像号，更新参考图像标志位列表中的对应slice图像为不可参考。在一个实施例中，如果发送方客户端的RTP包发送模块收到错误反馈信息，也可以不重传对应的RTP包，直接丢包，然后更新参考图像标志位列表，例如最大重传次数为0次。

步骤九、编码P/B帧图像。H264视频编码器开始编码P/B帧类型的图像前，首先从外部的参考图像标志位列表中读取当前可用的参考图像的slice图像信息，并更新至编码器的参考图像列表中。编码时只使用“可参考”的slice图像作为参考图像。如果当前无可用的参考图像，则使用帧内预测模式进行编码。

在一个实施例中，本发明还提供一种基于H264的多路视频会议系统的抗误码系统。请参阅图1，其为本发明基于H264的多路视频会议系统的抗误码系统框图。本发明的抗误码系统包括发送方客户端和接收方客户端；发送方客户端包括H264视频编码器、参考图像标志位列表模块和RTP包发送模块；接收方客户端包括H264视频解码器和RTP包接收模块。

所述H264视频编码器用于输出编码码流和参考信息，所述参考信息为IP帧的帧号和slice图像，其中，所述H264视频编码器采用N个线程并行编码模式，将每帧待编码图像划分为N个Slice图像。其中，所述H264视频编码器把编码码流和参考信息输入至所述参考图像标志位列表模块，所述H264视频编码器开始编码P/B帧类型的图像前，从所述参考图像标志位列表中读取当前可用的参考图像的slice图像信息，更新至编码器的参考图像列表中。

所述参考图像标志位列表模块，其用于建立参考图像标志位列表，所述参考图像标志位列表与H264视频编码器输出的I/P帧参考图像对应，所述参考图像标志位列表模块接收H264视频编码器输出的编码码流和参考信息，其中，每个H264视频编码器对应一个唯一的长度为M×N的参考图像标志位列表，M为解码器缓存的参考帧数。所述参考图像标志位列表模块收到编码码流和参考信息后，若是IDR帧则清空参考图像标志位列表，否则按照帧号和slice图像信息插入到参考图像标志位列表，为每个slice图像设立一个标志位，并设置为“可参考”。

所述RTP包发送模块，用于将参考图像标志位列表模块输出的包括编码码流和参考信息的视频码流打成RTP包发送，其中，每个RTP包最多包含一个slice图像的码流数据，并建立图像帧号、slice图像号和RTP包序号之间的唯一对应关系列表，该对应关系列表最多保存M帧图像的对应关系。

所述RTP包接收模块，用于接收所述RTP包发送模块发送的RTP包，并判断RTP包序号是否连续、CRC校验是否正确。若接收方客户端判断RTP包错误，则将错误信息反馈到RTP包发送模块，RTP包发送模块可重传对应的RTP包，重传次数达到最大，则丢弃该RTP包，并根据图像帧号、slice图像号和RTP包序号，更新参考图像标志位列表中的slice图像为“不可参考，其中，重传次数最大可设置为2次。在一个实施例中，如果发送方客户端的RTP包发送模块收到错误反馈信息，也可以不重传对应的RTP包，直接丢包，然后更新参考图像标志位列表，例如最大重传次数为0次。

所述H264视频解码器，用于解码RTP包接收模块发送的正确的视频码流，H264视频解码器缓存的参考帧数为M。

本发明的基于H264的多路视频会议系统的抗误码方法及系统，其具有如下优点：

(1)视频码流的错误检测和信息反馈从解码器模块提前到RTP接收模块，缩短了错误反馈时间和整体延时；另一方面，传给视频解码器的码流不含误码，可以使用任何H264软件解码器和硬件解码器而不用考虑误码问题，提高了终端兼容性，减少了解码器的研发成本。

(2)发送客户端在编码器模块和RTP传输模块之间建立了独立的参考图像标志位列表，以slice为单位进行错误屏蔽和可参考图像标识，对于采用多slice并行编码的多核、多线程硬件处理器，有较好的算法适应性，提高了并行处理性能、降低了研发成本。

(3)发送客户端的独立参考图像标志位列表，可以接收多个RTP接收端的错误反馈信息，进行整合后统一反馈到视频编码器，这样视频编码器不用额外考虑多方接收和多方反馈的问题，简化了发送方客户端系统。

(4)对于网络传输过程中产生的视频码流丢包和误码，本方案可以避免插入关键帧带来的码率突然增大，有利于传输错误恢复，并保证较好的视频质量。

以上所揭露的仅为本发明的几种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (6)

1.一种基于H264的多路视频会议系统的抗误码方法，其特征在于：所述抗误码方法包括如下步骤：

S1、把H264视频编码器配置成N个线程并行编码模式，将每帧待编码图像划分为N个Slice图像，把H264视频解码器缓存的参考帧数设置为M；

S2、在发送方客户端建立参考图像标志位列表，所述参考图像标志位列表与编码器输出的I/P帧参考图像对应，每个H264视频编码器对应一个唯一的长度为M×N的参考图像标志位列表；

S3、所述参考图像标志位列表接收H264视频编码器输出的编码码流和参考信息，所述参考信息为IP帧的帧号和slice图像；所述参考图像标志位列表收到编码码流和参考信息后，若是IDR帧则清空参考图像标志位列表，否则按照帧号和slice图像信息插入到参考图像标志位列表，为每一个slice图像设立一个标志位，并设置为“可参考”；

S4、发送方客户端把包括编码码流和参考信息的视频码流打包成RTP包进行发送，每个RTP包最多包含一个slice图像的码流数据，并建立图像帧号、slice图像号和RTP包序号之间的关系唯一对应关系列表，所述对应关系列表最多保存M帧图像的对应关系；

S5、接收方客户端接收RTP包并判断RTP包序号是否连续、CRC校验是否正确，将序号连续、CRC校验正确的RTP包的视频码流发送给H264视频编码器，否则将RTP包的错误信息反馈给发送方客户端，所述H264视频解码器接收正确视频码流，并对视频码流进行解码；若接收方客户端判断RTP包错误，则将错误信息反馈到发送方客户端，发送方客户端可重传对应的RTP包，重传次数达到最大，则丢弃该RTP包，并根据图像帧号、slice图像号和RTP包序号，更新参考图像标志位列表中的slice图像标志位为“不可参考”，其中，重传次数最大可设置为2次。

2.根据权利要求1所述的基于H264的多路视频会议系统的抗误码方法，其特征在于：所述H264视频编码器把编码码流和参考信息输入至所述参考图像标志位列表，所述H264视频编码器开始编码P/B帧类型的图像前，从所述参考图像标志位列表中读取当前可用的参考图像的slice图像信息，更新至H264视频编码器的参考图像列表中。

3.根据权利要求1所述的基于H264的多路视频会议系统的抗误码方法，其特征在于：发送方客户端的参考图像标志位列表接收RTP包错误信息，并将错误信息反馈到H264视频编码器。

4.根据权利要求1或2所述的基于H264的多路视频会议系统的抗误码方法，其特征在于：步骤S5中，若H264视频解码器解码出的是I/P帧，则缓存该参考图像，根据系统延时要求，最大缓存可设置M＝15帧。

5.一种基于H264的多路视频会议系统的抗误码系统，其特征在于：所述抗误码系统包括发送方客户端和接收方客户端；

发送方客户端包括H264视频编码器、参考图像标志位列表模块和RTP包发送模块；

接收方客户端包括H264视频解码器和RTP包接收模块；

所述H264视频编码器用于输出编码码流和参考信息，所述参考信息为IP帧的帧号和slice图像，其中，所述H264视频编码器采用N个线程并行编码模式，将每帧待编码图像划分为N个Slice图像；

所述参考图像标志位列表模块，其用于建立参考图像标志位列表，所述参考图像标志位列表与H264视频编码器输出的I/P帧参考图像对应，所述参考图像标志位列表模块接收H264视频编码器输出的编码码流和参考信息，其中，每个H264视频编码器对应一个唯一的长度为M×N的参考图像标志位列表，M为解码器缓存的参考帧数；所述参考图像标志位列表收到编码码流和参考信息后，若是IDR帧则清空参考图像标志位列表，否则按照帧号和slice图像信息插入到参考图像标志位列表，为每一个slice图像设立一个标志位，并设置为“可参考”；

所述RTP包发送模块，用于将参考图像标志位列表模块输出的包括编码码流和参考信息的视频码流打成RTP包发送，其中，每个RTP包最多包含一个slice图像的码流数据，并建立图像帧号、slice图像号和RTP包序号之间的唯一对应关系列表，该对应关系列表最多保存M帧图像的对应关系；

所述RTP包接收模块，用于接收所述RTP包发送模块发送的RTP包，并判断RTP包序号是否连续、CRC校验是否正确；

若接收方客户端判断RTP包错误，则将错误信息反馈到RTP包发送模块，RTP包发送模块可重传对应的RTP包，重传次数达到最大，则丢弃该RTP包，并根据图像帧号、slice图像号和RTP包序号，更新参考图像标志位列表中的slice图像标志位为“不可参考”，其中，重传次数最大可设置为2次；

所述H264视频解码器，用于解码RTP包接收模块发送序号连续、CRC校验正确的RTP包的视频码流，H264视频解码器缓存的参考帧数为M。

6.根据权利要求5所述的基于H264的多路视频会议系统的抗误码系统，其特征在于：所述H264视频编码器把编码码流和参考信息输入至所述参考图像标志位列表模块，所述H264视频编码器开始编码P/B帧类型的图像前，从所述参考图像标志位列表模块中读取当前可用的参考图像的slice图像信息，更新至H264视频编码器的参考图像列表中。