CN101330622B - 基于h.264编码的播放系统、方法以及用户设备 - Google Patents

Abstract

本发明公开了一种基于H.264编码的播放系统、方法以及用户设备，其中，该系统包括：编码服务器，用于将接入数据执行基于H.264格式的编码操作，并发送编码操作得到的数据包；切片服务器，用于接收来自编码服务器的数据包，并对接收的数据包进行基于H.264格式的切片处理得到数据；补偿服务器，用于获取来自切片服务器的数据，并将数据发送到客户端。通过本发明，能够实现高清晰的P2P视频业务。

Description

基于H.264编码的播放系统、方法以及用户设备

技术领域

本发明涉及通信领域，具体而言，涉及一种基于H.264编码的播放系统、方法以及用户设备。

背景技术

随着音/视频编码技术和IP网络传输技术的不断完善，数字媒体业务得到了迅速发展，并已发展成为宽带的核心应用。目前，中国电信数字媒体业务采用集中服务的模式，在该模式下，通过基于C/S(Client/Server，客户/服务器)或C/S+CDN(Content DeliveryNetwork，内容分发网络)架构为用户提供服务。但是，随着业务需求日益增长，这种架构下的系统投资剧增，产出效益不明显的问题也日益显现。另一方面，系统的服务能力始终有限，尤其在一些特殊情况下(如球赛实况转播时)，仍然难以满足用户密集突发的流媒体业务需求。

与集中服务模式相比，P2P(Peer to Peer，对等节点)业务平台具有低成本、高扩展性、高服务质量、高安全性等优势，可以解决现有数字媒体业务发展中所面临的平台高投入、低回报、热点效应的问题。因此，有必要建设P2P业务平台，以优化宽带网络流量，提高现有资源利用率，节省投资，为数字媒体产业的发展构建新型的业务支撑平台。

目前，国内以PPLive、PPStream等为代表的P2P流媒体直播软件已经得到广泛应用，其中，PPLive的日常在线用户高达200万。但是，这些P2P流媒体软件的压缩编码标准大多采用WMV编码或者Real编码。

H.264是ITU-T(国际电信联盟远程通信标准化组)VCEG(VideoCoding Experts Group，视频编码专家组)和ISO(国际标准化组织)/IEC MPEG的联合小组(Joint Video Team，简称为JVT)共同制定的新一代数字视频编码标准，同时被收录为MPEG-4的第10部分，称为AVC(Advanced Video Coding，高级视频编码)。

H.264作为高清视频(High Definition TV，简称为HDTV)的编码格式之一，在P2P流媒体领域具有广阔的应用前景。对于视频业务，以后发展的趋势主要是基于H.264。H.264最大的优势是具有很高的数据压缩比，在同等图像质量的条件下，H.264的压缩比是MPEG-2的2倍以上，是MPEG-4的1.5～2倍。高效的压缩性能意味着相同的数据量可以表示更好的图像质量，或者在相同的网络带宽下可以传输质量更好的图像；同时也意味着，提供相同质量的视频，只需要更少的数据量(或带宽)。

但是，现有技术中缺少采用H.264编码的P2P流媒体直播技术。

发明内容

考虑到上述问题而提出本发明，为此，本发明旨在提供一种基于H.264编码的播放系统、方法以及用户设备，以解决现有技术缺少采用H.264编码的P2P流媒体直播系统的问题。

根据本发明的一个方面，提供了一种基于H.264编码的播放系统。

根据本发明的基于H.264编码的播放系统，包括：编码服务器，用于将接入数据执行基于H.264格式的编码操作，并发送编码操作得到的数据包；切片服务器，用于接收来自编码服务器的数据包，并对接收到的数据包进行基于H.264格式的切片处理得到数据；补偿服务器，用于获取来自切片服务器的数据，并将数据发送到客户端。

优选地，切片服务器进一步包括：接收模块，用于接收来自编码服务器的实时传输协议数据包；切片模块，用于将实时传输协议数据包组成完整的视频帧和音频帧，根据视频帧和音频帧的时间戳组成P2P传输所需要的数据块，并将视频帧和音频帧根据时间戳进行交错存放。

优选地，编码服务器进一步包括：接入模块，用于接入实时的模拟信号；编码模块，用于对模拟信号进行数字化处理，并对数字化的数据执行基于H.264格式的编码操作，得到经过H.264编码的数据包；发送模块，用于将经过H.264编码的数据进行实时传输协议组包，得到实时传输协议数据包，并通过用户数据报协议的方式将实时传输协议数据包发送到切片服务器。

优选地，该系统还包括：业务管理平台，用于对节目执行上线操作，并发送上线指令；区域管理服务器，用于接收来自业务管理平台的上线指令，并指示补偿服务器连接至切片服务器。

优选地，区域管理服务器，还用于将补偿服务器和/或具有相同数据内容的对等节点的地址信息发送给客户端；补偿服务器还用于，在接收到客户端的握手信息后，将当前播放的进度和数据发送给客户端，以使客户端确定当前的播放起点。

优选地，该系统还包括：播放器，用于将来自补偿服务器的数据分离为视频数据以及音频数据，并对视频数据以及音频数据执行基于H.264格式的解码操作。

根据本发明的另一方面，还提供了一种用户设备。

根据本发明的用户设备包括：接收模块，用于接收来自补偿服务器和/或具有相同数据内容的对等节点的基于H.264格式的数据块；分离模块，用于将数据块分离为视频数据以及音频数据；获取模块，用于在分离模块分离出的视频数据中获取关键帧；解码器，用于根据获取模块获取的关键帧，将视频数据以及音频数据进行同步解码，并用于在获取模块获取到所述关键帧之前阻塞音频数据的解码。

根据本发明的另一方面，还提供了一种基于H.264编码的播放方法。

根据本发明的基于H.264编码的播放方法包括：将接入的实时信号执行基于H.264格式的编码操作并进行基于H.264格式的同步切片处理，得到满足对等节点传输要求的数据块；在数据块上线的情况下，将数据块发送到客户端。

优选地，将接入的实时信号执行基于H.264格式的编码操作并进行基于H.264格式的同步切片处理具体包括：将实时传输协议数据包组成完整的视频帧和音频帧，根据视频帧和音频帧的时间戳组成P2P传输所需要的数据块，并将视频帧和音频帧根据时间戳进行交错存放。

优选地，该方法还包括：客户端接收基于H.264格式的数据块；客户端将数据块分离为视频数据以及音频数据，并启动视频数据读取线程以及音频数据读取线程；视频数据读取线程解析视频数据，在解析到关键帧的情况下，视频数据读取线程与音频读取线程根据时间戳交错存放的规则进行同步解码。

优选地，在视频数据读取线程在当前数据块没有解析到关键帧的情况下，该方法还包括：阻塞音频读取线程，视频数据读取线程继续解析下一数据块；在视频数据读取线程解析到关键帧的情况下，视频数据读取线程通知音频数据读取线程解除阻塞，并根据时间戳交错存放的规则进行同步解码。

通过本发明的上述技术方案，系统能够在低码率下达到比较好的视频质量，使得系统真正实现了高清晰的P2P视频业务。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据发明实施例的P2P流媒体的应用环境示意图；

图2是根据本发明实施例的基于H.264编码的播放系统的框图；

图3是根据本发明优选实施例的基于H.264编码的播放系统的框图；

图4是根据本发明实施例的基于H.264编码的播放方法的流程图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

系统实施例

根据本发明的实施例，提供了一种基于H.264编码的直播系统。

图1是根据本发明实施例的P2P流媒体的应用场景的示意图，如图1所示，区域中心主要包括：补偿服务器(静态PEER)和区域管理服务器；补偿服务器对于在直播、点播时由于ADSL上行/下行不对称带宽引起的P2P流量供给不足进行补偿；客户端(动态PEER)：可以为普通PC；区域管理服务器：主要负责本区域用户的资源调度和内容提供。

图2是根据本发明实施例的基于H.264编码的播放系统的框图，该直播系统为P2P流媒体的直播系统。

如图2所示，根据本发明实施例的直播系统包括：编码服务器10，用于将接入数据执行基于H.264格式的编码操作，并发送编码操作得到的数据包；切片服务器20，连接至编码服务器10，用于接收来自编码服务器的数据包，并对接收的数据包进行基于H.264格式的切片处理得到数据；补偿服务器30，连接至切片服务器20，用于获取来自切片服务器的数据，并将数据发送到客户端。

其中，切片服务器20进一步包括：接收模块，用于接收来自编码服务器的实时传输协议(Real-time Transport Protocol，简称为RTP)数据包；切片模块，用于将RTP数据包组成完整的视频帧和音频帧，根据视频帧和音频帧的时间戳组成P2P传输所需要的数据块，并将视频帧和音频帧根据时间戳进行交错存放。

编码服务器10进一步包括：接入模块，用于接入实时的模拟信号；编码模块，连接至接入模块，用于对模拟信号进行数字化处理，并对数字化的数据执行基于H.264格式的编码操作，得到经过H.264编码的数据包；发送模块，连接至编码模块，用于将经过编码的数据进行RTP组包，得到RTP数据包，并通过用户数据报协议(UserDatagram Protocol，简称为UDP)的方式将RTP数据包发送到切片服务器。

优选地，如图3所示，该系统还包括：业务管理平台40，用于对节目执行上线操作，并发送上线指令；区域管理服务器50，用于接收来自业务管理平台的上线指令，并指示补偿服务器连接至切片服务器。

区域管理服务器50还用于将补偿服务器和/或具有相同数据内容的对等节点的地址信息发送给客户端；补偿服务器30还用于在接收到客户端的握手信息后，将当前播放的进度和数据发送给客户端，以使客户端确定当前的播放起点。

另外，该系统还可以包括：播放器，用于将来自补偿服务器的数据分离为视频数据以及音频数据，并对视频数据以及音频数据执行基于H.264格式的解码操作。其中，播放器可以通过如下结构来实现：接收模块，用于接收来自补偿服务器的数据；分离模块，用于将数据分离为视频数据以及音频数据；获取模块，用于在视频数据中获取关键帧；解码器，用于根据关键帧进行同步解码。

通过本发明的上述实施例，系统能够在低码率下达到较好的视频质量，使得系统真正实现了高清晰的P2P视频业务。

装置实施例

根据本发明的实施例，还提供了一种用户设备。

根据本发明的用户设备包括：接收模块，用于接收来自补偿服务器和/或具有相同数据内容的对等节点的基于H.264格式的数据块；分离模块，用于将数据块分离为视频数据以及音频数据；获取模块，用于在分离模块分离出的视频数据中获取关键帧；解码器，用于根据获取模块获取的关键帧，将视频数据以及音频数据进行同步解码，并用于在获取模块获取到关键帧之前阻塞音频数据的解码。

通过该实施例，能够实现在低码率下接收到较好质量的视频，实现了高清晰的P2P视频业务。

下面具体描述根据本发明实施例的基于H.264编码的直播系统的处理过程。

1.系统的前端编码设备采用Envivio的编码服务器，该服务器在将实时的电视信号接入后，实现信号的数字化、对数字化后的原始视频数据和音频数据进行基于H.264方式的编码，对于编码后的数据进行RTP的组包，并通过UDP的方式向指定的切片服务器的IP地址和端口进行发送；

2.Envivio服务器输出的是RTP流，相应地，切片服务器的前端有一个RTP接收模块，实现与Envivo服务器输出的RTP流进行对接；

切片服务器将接收到的RTP包组成完整的视频帧和音频帧，并根据视频帧和音频帧的时间戳组成P2P传输所需要的数据块，视频帧和音频帧根据时间戳进行交错存放，因此，保证了任何一个数据块在传输到客户端时就可以实现视频和音频的同步播放；切片服务器在将组成的数据块存储在缓存区中，并开启一个端口进行监听，等待来自补偿服务器的连接请求，如果缓存区中已全部存满，则将前面的数据清空，让出空间来存放后来的数据；

3.在节目进行上线后，业务管理平台会对区域管理服务器发送上线指令，区域管理服务器向补偿服务器发送一个指令，通知补偿服务器主动连接切片服务器；切片服务器在接收到连接后，会主动将缓存区中的数据向补偿服务器进行发送；

4.客户端在接收到足够的数据块后，首先会根据H.264的视频格式实现视频帧和音频帧的分离，然后会启动两个线程：一个线程负责读取视频数据，另一个线程负责读取音频数据；然后，选择相应的解码器，这里最重要的就是H.264的编码格式的视频帧的解码；

5.客户端在进行节目观看时，需要确定当前的播放起始点，首先，客户端向区域管理服务器进行节点申请，区域管理服务器会将具有相同内容的补偿服务器和其他客户端返回给该客户端，客户端与补偿服务器建立连接，然后向补偿服务器发送握手信息，补偿服务器在接收到握手信息后，会主动将当前播放的进度和数据信息发送给客户端，由于补偿服务器中的数据在不断的刷新，因此客户端在接收到补偿服务器发送过来的播放起点后，在此基础上向前跳过一段，以此为起点开始播放；

6.H.264格式的视频数据的解码；第一帧的解码必须是对于关键帧的解码处理；

在对数据块进行基于H.264的解码时，首先需要获得一个关键帧，而由于补偿服务器的数据在不断的刷新，编码器在进行编码时是在自适应的在编码过程中插入关键帧，因此，客户端在一开始获得的数据中未必有关键帧，视频数据读取线程在进行视频帧的解析时，首先需要判断该视频帧是否是关键帧，如果不是，则需要将该视频帧丢掉，如果该数据块中都没有，则需要重新从下一块中进行读取；此时，虽然音频解码不需要关键帧，但是为了保证视频和音频的同步，音频读取线程阻塞在那里，等待视频读取线程读取到关键帧，视频读取线程读取到关键帧后，同时音频读取线程解除阻塞，同时根据时间戳交替变化的原则，通知音频读取线程从哪里开始读取因此数据，从而保证了视频和音频播放的同步。

方法实施例

根据本发明的实施例，还提供了一种基于H.264编码的播放方法。

图4是根据本发明实施例的基于H.264编码的播放方法的流程图，如图4所示，该方法包括以下处理：

步骤S402，将接入的实时信号执行基于H.264格式的编码操作并进行基于H.264格式的同步切片处理，得到满足对等节点传输要求的数据块；

步骤S404，在数据块上线的情况下，将数据块发送到客户端。

其中，步骤S402具体包括：将RTP数据包组成完整的视频帧和音频帧，根据视频帧和音频帧的时间戳组成P2P传输所需要的数据块，并将视频帧和音频帧根据时间戳进行交错存放。

并且，该方法还包括：客户端接收基于H.264格式的数据块；客户端将数据块分离为视频数据以及音频数据，并启动视频数据读取线程以及音频数据读取线程；视频数据读取线程解析视频数据，在解析到关键帧的情况下，视频数据读取线程与音频读取线程根据时间戳交错存放的规则进行同步解码。

以及，在视频数据读取线程在当前数据块没有解析到关键帧的情况下，该方法还包括：阻塞音频读取线程，视频数据读取线程继续解析下一数据块；在视频数据读取线程解析到关键帧的情况下，视频数据读取线程通知音频数据读取线程解除阻塞，并根据时间戳交错存放的规则进行同步解码。

综上所述，根据本发明实施例的基于H.264编码的直播系统以及用户设备，能够实现在低码率下达到比较好的视频质量，实现了高清晰的P2P视频业务。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于H.264编码的播放系统，其特征在于，包括：

编码服务器，用于将接入数据执行基于H.264格式的编码操作，并发送编码操作得到的数据包；

切片服务器，用于接收来自所述编码服务器的数据包，并对接收到的数据包进行基于H.264格式的切片处理得到数据；

补偿服务器，用于获取来自所述切片服务器的数据，并将所述数据发送到客户端；

所述切片服务器包括：

接收模块，用于接收来自所述编码服务器的实时传输协议数据包；

切片模块，用于将所述实时传输协议数据包组成完整的视频帧和音频帧，根据所述视频帧和音频帧的时间戳组成对等节点传输所需要的数据块，并将所述视频帧和音频帧根据时间戳进行交错存放。

2.根据权利要求1所述的系统，其特征在于，所述编码服务器进一步包括：

接入模块，用于接入实时的模拟信号；

编码模块，用于对所述模拟信号进行数字化处理，并对数字化的数据执行基于H.264格式的编码操作，得到经过H.264编码的数据包；

发送模块，用于将经过H.264编码的所述数据进行实时传输协议组包，得到实时传输协议数据包，并通过用户数据报协议的方式将所述实时传输协议数据包发送到所述切片服务器。

3.根据权利要求2所述的系统，其特征在于，还包括：

业务管理平台，用于对节目执行上线操作，并发送上线指令；

区域管理服务器，用于接收来自所述业务管理平台的所述上线指令，并指示所述补偿服务器连接至所述切片服务器。

4.根据权利要求3所述的系统，其特征在于，

所述区域管理服务器，还用于将所述补偿服务器和/或具有相同数据内容的对等节点的地址信息发送给所述客户端；

所述补偿服务器还用于，在接收到所述客户端的握手信息后，将当前播放的进度和数据发送给所述客户端，以使所述客户端确定当前的播放起点。

5.根据权利要求1至4中任一项所述的系统，其特征在于，还包括：

播放器，用于将来自所述补偿服务器的数据分离为视频数据以及音频数据，并对所述视频数据以及音频数据执行基于H.264格式的解码操作。

6.一种用户设备，其特征在于，包括：

接收模块，用于接收来自补偿服务器和/或具有相同数据内容的对等节点的基于H.264格式的数据块；

分离模块，用于将所述数据块分离为视频数据以及音频数据；

获取模块，用于在所述分离模块分离出的视频数据中获取关键帧；

解码器，用于根据所述获取模块获取的所述关键帧，将所述视频数据以及音频数据进行同步解码，并用于在所述获取模块获取到所述关键帧之前阻塞所述音频数据的解码。

7.一种基于H.264编码的播放方法，其特征在于，包括：

将接入的实时信号执行基于H.264格式的编码操作并进行基于H.264格式的同步切片处理，得到满足对等节点传输要求的数据块，其中，所述将接入的实时信号执行基于H.264格式的编码操作并进行基于H.264格式的同步切片处理包括：将实时传输协议数据包组成完整的视频帧和音频帧，根据所述视频帧和音频帧的时间戳组成P2P传输所需要的数据块，并将所述视频帧和音频帧根据时间戳进行交错存放；

在所述数据块上线的情况下，将所述数据块发送到客户端。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

所述客户端接收基于H.264格式的数据块；

所述客户端将所述数据块分离为视频数据以及音频数据，并启动视频数据读取线程以及音频数据读取线程；

所述视频数据读取线程解析所述视频数据，在解析到关键帧的情况下，所述视频数据读取线程与所述音频读取线程根据所述时间戳交错存放的规则进行同步解码。

9.根据权利要求8所述的方法，其特征在于，在所述视频数据读取线程在当前数据块没有解析到关键帧的情况下，所述方法还包括：

阻塞所述音频读取线程，所述视频数据读取线程继续解析下一数据块；

在所述视频数据读取线程解析到关键帧的情况下，所述视频数据读取线程通知所述音频数据读取线程解除阻塞，并根据所述时间戳交错存放的规则进行同步解码。

Images