CN104869461A - 视频数据处理系统及方法 - Google Patents

Abstract

本发明公开了一种视频数据处理系统，包括发送端和接收端，发送端包括编码模块、发送数据缓冲队列以及稳态发送模块：编码模块用于将视频数据编码后均匀封装成多个实时传输数据包，并储存至发送数据缓冲队列；稳态发送模块用于以预设发送频率将实时传输数据包逐一向接收端发送；接收端包括缓存模块和解码模块：缓存模块用于逐一接收所述实时传输数据包；解码模块用于在接收到同一帧视频的所有实时传输数据包之后，从缓存模块中调取该帧视频进行解码播放。本发明还公开了一种视频数据处理方法。本发明所提供的视频数据处理系统能降低网络拥塞的可能，以及能避免不同帧视频发送时长有差异对正常的数据接收和显示的影响。

Description

视频数据处理系统及方法

技术领域

本发明涉及通讯技术领域，尤其涉及一种视频数据处理系统以及一种视频数据处理方法。

背景技术

目前，视频聊天软件更多的应用在电脑或专用设备上，在智能电视上还没有完备的解决方案，尤其是在智能电视机硬件处理能力受限、网络环境复杂的情况下，视频聊天技术在智能电视机上的研发、应用难度加大。特别地，在视频聊天应用中，在传输视频数据时，通常是在相同时间内发送定量的帧数，即通过控制发送帧率来实现视频数据的传输，由于视频数据具有量大且不均匀的特性，视频数据序列的第一帧通常为关键帧(I帧)，其数据量通常为后续非关键帧(P/B帧)的几倍甚至几十倍，因此，通过控制发送帧率来实现视频数据的传输时容易出现网络拥塞的现象。

发明内容

本发明的主要目的在于提供一种视频数据处理系统以及一种视频数据处理方法，旨在解决现有技术中在视频数据传输时容易出现网络拥塞现象的技术问题。

为实现上述目的，本发明提供的一种视频数据处理系统，包括发送端和接收端；

所述发送端包括编码模块、发送数据缓冲队列以及稳态发送模块：

编码模块，用于将视频数据编码后封装成多个实时传输数据包，并储存至所述发送数据缓冲队列；所述视频数据中的每一帧视频包括多个所述实时传输数据包；

发送数据缓冲队列，用于储存所述实时传输数据包；

稳态发送模块，用于以预设发送频率将所述发送数据缓冲队列中的多个实时传输数据包逐一向所述接收端发送；

所述接收端包括缓存模块和解码模块：

缓存模块，用于逐一接收所述稳态发送模块所发送的实时传输数据包；

解码模块，用于在接收到同一帧视频的所有实时传输数据包之后，从所述缓存模块中调取该帧视频进行解码播放。

优选地，所述发送端还包括序列号标识模块和第一发送索引队列；

序列号标识模块，用于为所有实时传输数据包逐一标识传输序列号；所述传输序列号自关键帧视频的第一个实时传输数据包起依序增加；

第一发送索引队列，用于记录每一实时传输数据包的时间戳和所述传输序列号；

所述稳态发送模块还用于根据所述第一发送索引队列中的所述传输序列号将所述发送数据缓冲队列中与所述传输序列号相对应的实时传输数据包向所述接收端发送。

优选地，所述缓存模块包括第一缓冲单元和第二缓冲单元，

所述第一缓冲单元用于储存即时接收的所述稳态发送模块所发送的实时传输数据包，并当接收到同一帧视频的所有实时传输数据包之后，将该帧视频的所有实时传输数据包转移至所述第二缓冲单元，以供所述解码模块从所述第二缓冲单元中调取完整帧进行解码播放。

优选地，所述接收端还包括统计处理模块，用于根据接收到的所有实时传输数据包的传输序列号，判断是否有实时传输数据包丢失；

所述统计处理模块还用于建立丢包列表，当有实时传输数据包丢失时，将丢失的实时传输数据包所对应的传输序列号存入所述丢包列表中，并向所述发送端发送重传数据包请求；所述重传数据包请求携带有丢失的实时传输数据包所对应的传输序列号；

所述稳态发送模块还用于响应所述重传数据包请求，将传输过程中丢失的实时传输数据包再次向所述接收端发送；

所述统计处理模块还用于在接收端接收到重传的实时传输数据包之后，将该实时传输数据包储存至所述第一缓冲单元的对应位置，并在所述丢包列表中删除对应的传输序列号。

优选地，所述发送端还包括第二发送索引队列，用于在所述发送端接收到所述重传数据包请求后，记录所述丢失的实时传输数据包所对应的传输序列号；所述第二发送索引队列的优先级高于所述第一发送索引队列的优先级；

所述稳态发送模块还用于根据所述第二发送索引队列中的传输序列号将相对应的实时传输数据包再次向所述接收端发送。

优选地，在所述第一缓冲单元中所储存实时传输数据包的数量大于预设数量阀值，且所述第一缓冲单元中没有关键帧视频的实时传输数据包时，所述统计处理模块还用于清空所述缓存模块和所述丢包列表，并向所述发送端发送视频关键帧数据请求；

所述发送端在接收到所述视频关键帧数据请求之后，响应所述视频关键帧数据请求，清空所述发送数据缓冲队列、所述第一发送索引队列和所述第二发送索引队列，并将所述视频关键帧数据再次向所述接收端发送。

此外，为实现上述目的，本发明还提供一种视频数据处理方法，包括以下步骤：

发送端将视频数据编码后封装成多个实时传输数据包，并储存至发送端的发送数据缓冲队列；所述视频数据中的每一帧视频包括多个所述实时传输数据包；

发送端以预设发送频率将发送数据缓冲队列中的多个实时传输数据包逐一向接收端发送；

接收端的缓冲模块逐一接收发送端所发送的实时传输数据包，且接收端在接收到同一帧视频的所有实时传输数据包之后，将该帧视频进行解码播放。

优选地，所述发送端以预设发送频率将发送数据缓冲队列中的多个实时传输数据包逐一向接收端发送的步骤具体包括：

发送端为所有实时传输数据包逐一标识传输序列号，并将每一实时传输数据包的时间戳和所述传输序列号记录在发送端的第一发送索引队列中；所述传输序列号自关键帧视频的第一个实时传输数据包起依序增加；

发送端根据所述第一发送索引队列中的所述传输序列号将所述发送数据缓冲队列中与所述传输序列号相对应的实时传输数据包以预设发送频率逐一向接收端发送。

优选地，所述接收端的缓冲模块逐一接收发送端所发送的实时传输数据包，且接收端在接收到同一帧视频的所有实时传输数据包之后，将该帧视频进行解码播放的步骤具体包括：

接收端将发送端所发送的实时传输数据包逐一接收并储存至接收端的第一缓冲单元；

当所述第一缓冲单元储存有同一帧视频的所有实时传输数据包之后，将该帧视频的所有实时传输数据包转移至接收端的第二缓冲单元，以供接收端从所述第二缓冲单元中调取完整帧进行解码播放。

优选地，所述缓冲模块将发送端所发送的实时传输数据包逐一接收并储存至所述缓冲模块的第一缓冲单元的步骤之后还包括：

接收端根据储存在所述第一缓冲单元中的所有实时传输数据包的传输序列号，判断是否有实时传输数据包丢失；

若是，接收端将丢失的实时传输数据包所对应的传输序列号存入接收端的丢包列表中，并向发送端发送重传数据包请求；所述重传数据包请求携带有丢失的实时传输数据包所对应的传输序列号；

发送端响应所述重传数据包请求，将传输过程中丢失的实时传输数据包再次向接收端发送；

接收端接收到重传的实时传输数据包之后，将该实时传输数据包储存至所述第一缓冲单元的对应位置，并在所述丢包列表中删除对应的传输序列号。

优选地，所述发送端响应所述重传数据包请求，将丢失的实时传输数据包再次向所述接收端发送的步骤具体包括：

发送端在接收到所述重传数据包请求后，将所述丢失的实时传输数据包所对应的传输序列号记录到发送端的第二发送索引队列；所述第二发送索引队列的优先级高于所述第一发送索引队列的优先级；

发送端根据所述第二发送索引队列中的传输序列号将相对应的实时传输数据包再次向接收端发送。

优选地，所述接收端的缓冲模块逐一接收发送端所发送的实时传输数据包，且接收端在接收到同一帧视频的所有实时传输数据包之后，将该帧视频进行解码播放的步骤之后还包括：

在所述第一缓冲单元中所储存实时传输数据包的数量大于预设数量阀值，且所述第一缓冲单元中没有关键帧视频的实时传输数据包时，接收端清空所述第一缓冲单元、所述第二缓冲单元和所述丢包列表，并向发送端发送视频关键帧数据请求；

发送端在接收到所述视频关键帧数据请求之后，响应所述视频关键帧数据请求，清空所述发送数据缓冲队列、所述第一发送索引队列和所述第二发送索引队列，并将所述视频关键帧数据再次向接收端发送。

本发明所提供的视频数据处理系统通过发送端和接收端的配合处理，一方面通过稳态发送模块将待发送的实时传输数据包以稳定的预设发送频率逐一发送至接收端，能降低网络拥塞的可能，另一方面通过缓冲模块对帧视频的缓冲储存，能避免不同帧视频发送时长有差异对正常的数据接收和显示的影响，能解决网络抖动带来的视频卡顿问题。

附图说明

图1为本发明视频数据处理系统一实施例的功能模块示意图；

图2为图1中接收端的缓存模块的细化功能模块示意图；

图3为本发明视频数据处理方法第一实施例的流程示意图；

图4为图3中步骤S20的细化流程示意图；

图5为图3中步骤S30的细化流程示意图；

图6为本发明视频数据处理方法第二实施例的流程示意图；

图7为图6中步骤S305的细化流程示意图；

图8为本发明视频数据处理方法第三实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种视频数据处理系统。

参照图1，图1为本发明视频数据处理系统一实施例的功能模块示意图。

在一实施例中，该视频数据处理系统包括发送端10和接收端20：

发送端10包括编码模块11、发送数据缓冲队列12以及稳态发送模块13，其中：编码模块11，用于将视频数据编码后封装成多个实时传输数据包，并储存至发送数据缓冲队列12；

发送数据缓冲队列12，用于储存所述多个实时传输数据包；

稳态发送模块13，用于以预设发送频率将发送数据缓冲队列12中的多个实时传输数据包逐一向接收端20发送；

接收端20包括缓存模块21和解码模块22，其中：

缓存模块21，用于逐一接收稳态发送模块13所发送的实时传输数据包；

解码模块22，用于在接收到同一帧视频的所有实时传输数据包之后，从缓存模块21中调取该帧视频进行解码播放。

本实施例中，编码模块11用于将待发送视频数据的所有帧视频逐一编码并封装成多个实时传输数据包，并储存至发送数据缓冲队列12中，以便于稳态发送模块13稳定地发送；稳态发送模块13则将待发送的实时传输数据包以预设发送频率逐一发送至接收端20，通常地，预设发送频率可以但不限于设置为200Hz，即每5ms将一实时传输数据包发送至接收端20；当然，发送数据缓冲队列12的容量是有限的，其容量可以存储发送前5秒的待发送实时传输数据包。本实施例中，优选地，所封装成的每一实时传输数据包的大小有最大值的限制，以使得在正常网络带宽下，稳态发送模块13能在发送间隔将对应的实时传输数据包发送出去；另外，稳态发送模块13还计算其在单位时间内所发送实时传输数据包的数据总量(发送码率)，若计算所得的单位时间数据总量超过预设的数据量阀值时，则稳态发送模块13将取消一下实时传输数据包的发送，以维持发送端10发送码率的相对均衡。本实施例中，由于视频数据中关键帧(I帧)的数据量通常比非关键帧的数据大很多，关键帧的即时传输数据包数量要明显多于非关键帧的即时传输数据包数量，因此会导致关键帧的发送时长要大于非关键帧的发送时长，为此，在接收端20设置有缓冲模块21，以在每一帧视频(无论是关键帧还是非关键帧)的所有实时传输数据包都储存至缓冲模块21之后，再通过解码模块22从缓存模块21中调取该帧视频进行解码播放，以屏蔽掉不同帧视频发送时长有差异的影响，从而使解码模块22的解码流程较为均匀，使的视频数据能在合适的时间均匀的显示。

本实施所提供的视频数据处理系统通过发送端10和接收端20的配合处理，一方面通过稳态发送模块13将待发送的实时传输数据包以稳定的预设发送频率逐一发送至接收端20，能降低网络拥塞的可能，另一方面通过缓冲模块21对帧视频的缓冲储存，能避免不同帧视频发送时长有差异对正常的数据接收和显示的影响，能解决网络抖动带来的视频卡顿问题。

在本实施例中，进一步地，发送端10还包括序列号标识模块14和第一发送索引队列15；其中，序列号标识模块14，用于为所有实时传输数据包逐一标识传输序列号；所述传输序列号自I帧视频的第一个实时传输数据包起依序增加；第一发送索引队列15，用于记录每一实时传输数据包的时间戳和传输序列号；稳态发送模块13还用于根据第一发送索引队列15中的传输序列号顺序依次将发送数据缓冲队列12中与传输序列号相对应的实时传输数据包向接收端20发送。本实施例中，所述传输序列号自I帧视频的第一个实时传输数据包起逐渐增加，即任意两个实时传输数据包所对应的传输序列号不相同；稳态发送模块13将根据第一发送索引队列15中的传输序列号需要在发送数据缓冲队列12中进行匹配查找其对应的实时传输数据包，如果命中，则将该对应的实时传输数据包发送至接收端20。

参见图2，图2为图1中接收端的缓存模块的细化功能模块示意图。在本实施例中，进一步地，缓存模块21包括第一缓冲单元211和第二缓冲单元212，其中，第一缓冲单元211用于储存即时接收的稳态发送模块13所发送的实时传输数据包，并当接收到同一帧视频的所有实时传输数据包之后，将该帧视频的所有实时传输数据包转移至第二缓冲单元212，以供解码模块22从第二缓冲单元212中调取完整帧进行解码播放。本实施例中，第一缓冲单元211和第二缓冲单元212可以为缓存模块21中预置的不同存储区域；当然，第一缓冲单元211和第二缓冲单元212还可以仅为对缓存模块21存储区域的临时属性标识，此时当接收端20接收到实时传输数据包后，会直接将其储存至缓存模块21存储区域的相应位置中，在同一帧视频的所有实时传输数据包未全部接收时，该帧视频的已接收的实时传输数据包所占用的存储区域的属性标识为第一缓冲单元211，而在同一帧视频的所有实时传输数据包都接收时，该帧视频的所有实时传输数据包所占用的存储区域的属性标识更改为第二缓冲单元212。

在本实施例中，进一步地，接收端20还包括统计处理模块23，用于根据接收到的所有实时传输数据包的传输序列号，判断是否有实时传输数据包丢失；

该统计处理模块23还用于建立丢包列表，当有实时传输数据包丢失时，将丢失的实时传输数据包所对应的传输序列号存入该丢包列表中，并向发送端10发送重传数据包请求；该重传数据包请求携带有丢失的实时传输数据包所对应的传输序列号；

稳态发送模块13还用于响应接收到的重传数据包请求而将丢失的实时传输数据包再次向接收端20发送；

统计处理模块23还用于在接收端20接收到重传的实时传输数据包之后，将该实时传输数据包储存至第一缓冲单元211的对应位置，并在丢包列表中删除对应的传输序列号。

由于与实时传输数据包一一对应的传输序列号是自I帧视频的第一个实时传输数据包起逐渐增加的，即每一帧视频的多个实时传输数据包所对应的传输序列号是连续的，且相邻帧视频的头实时传输数据包和尾实时传输数据包所对应的传输序列号也是连续的；本实施例中，具体地，当统计处理模块23统计到所接收到的所有实时传输数据包所相对应的传输序列号出现不连续时，统计处理模块23可以判定有实时传输数据包丢失，且所丢失的实时传输数据包为未出现的传输序列号所对应的实时传输数据包。本实施例中，具体地，发送端10还包括第二发送索引队列16，用于在发送端10接收到重传数据包请求后，记录重传数据包请求中所携带的丢失实时传输数据包所对应的传输序列号；稳态发送模块13还用于根据第二发送索引队列16中的传输序列号将相对应的实时传输数据包再次向接收端10发送。本实施例中，第二发送索引队列16的优先级高于第一发送索引队列15的优先级，具体地，稳态发送模块13优先将第二发送索引队列16中传输序列号所对应的实时传输数据包向接收端20发送，再将第一发送索引队列15中传输序列号所对应的实时传输数据包向接收端20发送，以使得缓冲模块21的第一缓冲单元211中所储存的同一帧视频的多个实时传输数据包尽快接收完整。

本实施例中，当接收端20接收到重传的实时传输数据包后，将该重传实时传输数据包按传输序列号顺序插入第一缓冲单元211中，若判断到某一帧视频的所有实时传输数据包已全部接收而转移至第二缓冲单元212中后，则解码模块22从第二缓冲单元212调取该帧视频的所有实时传输数据包去进行解码显示，使得在整个重传过程中，视频通话的效果不会受到丢包的影响而变差，特别地，在重传一次或若干次后需要的重传实时传输数据包仍然没有收到时，可继续等待，此时正常数据也在源源不断自发送端10向接收端20发送，如此，提高了该视频数据处理系统的数据容错及恢复能力。本实施例中，统计处理模块23每隔预设时间间隔向发送端10发送一次重传数据包请求，以避免同一实时传输数据包在网络传输的过程中出现多次丢包所带来的影响。

在本实施例中，进一步地，在第一缓冲单元211中所储存实时传输数据包的数量大于预设数量阀值，且第一缓冲单元211中没有I帧视频的实时传输数据包时，统计处理模块23还用于清空缓存模块21和丢包列表，并向发送端10发送视频关键帧数据请求；而发送端10在接收到该视频关键帧数据请求之后，响应该视频关键帧数据请求而清空其发送数据缓冲队列12、第一发送索引队列15和第二发送索引队列16，并将视频关键帧数据再次向接收端10发送。

本实施例中，如果某丢失的实时传输数据包一直没有重传回来，那么接收到的实时传输数据包会在第一缓冲单元211中堆积，当堆积大小超过预设数量阀值时，则判断第一缓冲单元211和第二缓冲单元212中是否有I帧视频的实时传输数据包，若是，则统计处理模块23将第一缓冲单元211丢包至下一个关键帧(I帧)位置，并向发送端10发送携带有重传非关键帧信息的非关键帧数据重传请求，以使发送端10将第一发送索引队列15中与该关键帧相关的传输序列号之前的传输序列号全部删除，而留下与该关键帧相关的传输序列号之后的传输序列号；若否，则统计处理模块23清空丢包列表、以及将第二缓冲单元212和第一缓冲单元211全部清空，并向发送端10发送携带有重传关键帧视频信息的视频关键帧数据请求，此时发送端10在接收到该视频关键帧数据请求之后，响应该视频关键帧数据请求，清空发送数据缓冲队列12、第一发送索引队列15和第二发送索引队列16，并通知编码模块11重新编码待发送的视频数据，继续执行发送流程，以将视频关键帧数据再次向接收端10发送。本实施例中，该预设数量阀值通常设置为200个至300个之间。

本发明进一步提供一种视频数据处理方法。

参照图3，图3为本发明视频数据处理方法第一实施例的流程示意图。

在第一实施例中，该视频数据处理方法，包括以下步骤：

步骤S10，发送端将视频数据编码后封装成多个实时传输数据包，并储存至发送端的发送数据缓冲队列；

步骤S20，发送端以预设发送频率将发送数据缓冲队列中的多个实时传输数据包逐一向接收端发送；

步骤S30，接收端的缓冲模块逐一接收发送端所发送的实时传输数据包，且接收端在接收到同一帧视频的所有实时传输数据包之后，将该帧视频进行解码播放。

本实施例中，发送端将待发送视频数据的所有帧视频逐一编码并封装成多个实时传输数据包，并储存至发送数据缓冲队列，以便于发送端稳定地从发送数据缓冲队列中逐一调取实时传输数据包向接收端发送；本实施例中，通常地，预设发送频率可以但不限于设置为200Hz，即每5ms将一实时传输数据包发送至接收端。本实施例中，优选地，所封装成的每一实时传输数据包的大小有最大值的限制，以使得在正常网络带宽下，发送端能在发送间隔将对应的实时传输数据包发送出去；另外，发送端还计算其在单位时间内所发送实时传输数据包的数据总量(发送码率)，若计算所得的单位时间数据总量超过预设的数据量阀值时，则发送端将取消一下实时传输数据包的发送，以维持发送端发送码率的相对均衡。本实施例中，由于视频数据中关键帧(I帧)的数据量通常比非关键帧的数据大很多，关键帧的即时传输数据包数量要明显多于非关键帧的即时传输数据包数量，因此会导致关键帧的发送时长要大于非关键帧的发送时长，为此，接收端会将所有接收到的实时传输数据包进行缓存，以在每一帧视频(无论是关键帧还是非关键帧)的所有实时传输数据包都接收到后，再将该帧视频进行解码播放，以屏蔽掉不同帧视频发送时长有差异的影响，从而使解码流程较为均匀，使的视频数据能在合适的时间均匀的显示。

本实施所提供的视频数据处理系统通过发送端和接收端的配合处理，一方面通过将待发送的实时传输数据包以稳定的预设发送频率逐一发送至接收端，能降低网络拥塞的可能，另一方面通过对帧视频的缓冲储存，能避免不同帧视频发送时长有差异对正常的数据接收和显示的影响，能解决网络抖动带来的视频卡顿问题。

参照图4，在本实施例中，进一步地，步骤S20具体包括：

步骤S201，发送端为所有实时传输数据包逐一标识传输序列号，并将每一实时传输数据包的时间戳和所述传输序列号记录在发送端的第一发送索引队列中；,

步骤S202，发送端根据所述第一发送索引队列中的所述传输序列号将所述发送数据缓冲队列中与所述传输序列号相对应的实时传输数据包以预设发送频率逐一向接收端发送。

本实施例中，所述传输序列号自I帧视频的第一个实时传输数据包起依序增加，即任意两个实时传输数据包所对应的传输序列号不相同；发送端将根据第一发送索引队列中的传输序列号需要在发送数据缓冲队列中进行匹配查找其对应的实时传输数据包，如果命中，则将该对应的实时传输数据包发送至接收端。

参照图5，在本实施例中，进一步地，步骤S30具体包括：

步骤S301，接收端将发送端所发送的实时传输数据包逐一接收并储存至接收端的第一缓冲单元；

步骤S302，当所述第一缓冲单元储存有同一帧视频的所有实时传输数据包之后，将该帧视频的所有实时传输数据包转移至接收端的第二缓冲单元，以供接收端从所述第二缓冲单元中调取完整帧进行解码播放。

本实施例中，第一缓冲单元和第二缓冲单元可以为接收端缓存区域中预置的不同存储区域；当然，第一缓冲单元和第二缓冲单元还可以仅为对接收端缓存区域的临时属性标识，此时当接收端接收到实时传输数据包后，会直接将其储存至接收端缓存区域的相应位置中，在同一帧视频的所有实时传输数据包未全部接收时，该帧视频的已接收的实时传输数据包所占用的存储区域的属性标识为第一缓冲单元，而在同一帧视频的所有实时传输数据包都接收时，该帧视频的所有实时传输数据包所占用的存储区域的属性标识更改为第二缓冲单元。

参照图6，图6为本发明视频数据处理方法第二实施例的流程示意图。

在前述实施例的基础上，进一步地，在步骤S301之后，步骤S30还包括：

步骤S303，接收端根据储存在所述第一缓冲单元中的所有实时传输数据包的传输序列号，判断是否有实时传输数据包丢失；若是，执行步骤S50；若否，继续传输流程；

步骤S304，接收端将丢失的实时传输数据包所对应的传输序列号存入接收端的丢包列表中，并向发送端发送重传数据包请求；所述重传数据包请求携带有丢失的实时传输数据包所对应的传输序列号；

步骤S305，发送端响应所述重传数据包请求，将丢失的实时传输数据包再次向接收端发送；

步骤S306，接收端接收到重传的实时传输数据包之后，将该实时传输数据包储存至所述第一缓冲单元的对应位置，并在所述丢包列表中删除对应的传输序列号。

由于与实时传输数据包一一对应的传输序列号是自I帧视频的第一个实时传输数据包起依序增加的，即每一帧视频的多个实时传输数据包所对应的传输序列号是连续的，且相邻帧视频的头实时传输数据包和尾实时传输数据包所对应的传输序列号也是连续的；本实施例中，具体地，当接收端统计到所接收到的所有实时传输数据包所相对应的传输序列号出现不连续时，接收端可以判定有实时传输数据包丢失，且所丢失的实时传输数据包为未出现的传输序列号所对应的实时传输数据包。

参照图7，本实施例中，具体地，步骤S305具体包括：步骤S3051，发送端在接收到所述重传数据包请求后，将所述丢失的实时传输数据包所对应的传输序列号记录到发送端的第二发送索引队列；步骤S3052，发送端根据所述第二发送索引队列中的传输序列号将相对应的实时传输数据包再次向接收端发送。本实施例中，第二发送索引队列的优先级高于第一发送索引队列的优先级，具体地，发送端优先将第二发送索引队列中传输序列号所对应的实时传输数据包向接收端发送，再将第一发送索引队列中传输序列号所对应的实时传输数据包向接收端发送，以使得第一缓冲单元中所储存的同一帧视频的多个实时传输数据包尽快接收完整。

本实施例中，当接收端接收到重传的实时传输数据包后，将该重传实时传输数据包按传输序列号顺序插入第一缓冲单元中，若判断到某一帧视频的所有实时传输数据包已全部接收而转移至第二缓冲单元中后，则接收端从第二缓冲单元调取该帧视频的所有实时传输数据包去进行解码显示，使得在整个重传过程中，视频通话的效果不会受到丢包的影响而变差，特别地，在重传一次或若干次后需要的重传实时传输数据包仍然没有收到时，可继续等待，此时正常数据也在源源不断自发送端向接收端发送，如此，提高了该视频数据处理系统的数据容错及恢复能力。本实施例中，接收端每隔预设时间间隔向发送端发送一次重传数据包请求，以降低同一实时传输数据包在网络传输的过程中出现多次丢包所带来的影响。

参照图8，图8为本发明视频数据处理方法第三实施例的流程示意图。

在前述实施例的基础上，进一步地，该视频数据处理方法在步骤S30之后还包括：

步骤S401，在所述第一缓冲单元中所储存实时传输数据包的数量大于预设数量阀值，且所述第一缓冲单元中没有I帧视频的实时传输数据包时，接收端清空所述第一缓冲单元、所述第二缓冲单元和所述丢包列表，并向发送端发送视频关键帧数据请求；

步骤S402，发送端在接收到所述视频关键帧数据请求之后，响应所述视频关键帧数据请求，清空所述发送数据缓冲队列、所述第一发送索引队列和所述第二发送索引队列，并将所述视频关键帧数据再次向接收端发送。

本实施例中，如果某丢失的实时传输数据包一直没有重传回来，那么接收到的实时传输数据包会在第一缓冲单元中堆积，当堆积大小超过预设数量阀值时，则判断第一缓冲单元和第二缓冲单元中是否有I帧视频的实时传输数据包，若是，则接收端将第一缓冲单元丢包至下一个关键帧(I帧)位置，并向发送端发送携带有重传非关键帧信息的非关键帧数据重传请求，以使发送端10将第一发送索引队列15中与该关键帧相关的传输序列号之前的传输序列号全部删除，而留下与该关键帧相关的传输序列号之后的传输序列号；若否，则接收端清空丢包列表、以及将第二缓冲单元和第一缓冲单元全部清空，并向发送端发送携带有重传关键帧视频信息的视频关键帧数据请求，此时发送端在接收到该视频关键帧数据请求之后，响应该视频关键帧数据请求，清空发送数据缓冲队列、第一发送索引队列和第二发送索引队列，并重新编码待发送的视频数据，继续执行发送流程，以将视频关键帧数据再次向接收端发送。本实施例中，该预设数量阀值通常设置为200个至300个之间。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (12)

1.一种视频数据处理系统，其特征在于，所述视频数据处理系统包括发送端和接收端；

所述发送端包括编码模块、发送数据缓冲队列以及稳态发送模块：

编码模块，用于将视频数据编码后封装成多个实时传输数据包，并储存至所述发送数据缓冲队列；所述视频数据中的每一帧视频包括多个所述实时传输数据包；

发送数据缓冲队列，用于储存所述实时传输数据包；

稳态发送模块，用于以预设发送频率将所述发送数据缓冲队列中的多个实时传输数据包逐一向所述接收端发送；

所述接收端包括缓存模块和解码模块：

缓存模块，用于逐一接收所述稳态发送模块所发送的实时传输数据包；

解码模块，用于在接收到同一帧视频的所有实时传输数据包之后，从所述缓存模块中调取该帧视频进行解码播放。

2.如权利要求1所述的视频数据处理系统，其特征在于，所述发送端还包括序列号标识模块和第一发送索引队列；

序列号标识模块，用于为所有实时传输数据包逐一标识传输序列号；所述传输序列号自关键帧视频的第一个实时传输数据包起依序增加；

第一发送索引队列，用于记录每一实时传输数据包的时间戳和所述传输序列号；

所述稳态发送模块还用于根据所述第一发送索引队列中的所述传输序列号将所述发送数据缓冲队列中与所述传输序列号相对应的实时传输数据包向所述接收端发送。

3.如权利要求2所述的视频数据处理系统，其特征在于，所述缓存模块包括第一缓冲单元和第二缓冲单元，

所述第一缓冲单元用于储存即时接收的所述稳态发送模块所发送的实时传输数据包，并当接收到同一帧视频的所有实时传输数据包之后，将该帧视频的所有实时传输数据包转移至所述第二缓冲单元，以供所述解码模块从所述第二缓冲单元中调取完整帧进行解码播放。

4.如权利要求3所述的视频数据处理系统，其特征在于，所述接收端还包括统计处理模块，用于根据接收到的所有实时传输数据包的传输序列号，判断是否有实时传输数据包丢失；

所述统计处理模块还用于建立丢包列表，当有实时传输数据包丢失时，将丢失的实时传输数据包所对应的传输序列号存入所述丢包列表中，并向所述发送端发送重传数据包请求；所述重传数据包请求携带有丢失的实时传输数据包所对应的传输序列号；

所述稳态发送模块还用于响应所述重传数据包请求，将传输过程中丢失的实时传输数据包再次向所述接收端发送；

所述统计处理模块还用于在接收端接收到重传的实时传输数据包之后，将该实时传输数据包储存至所述第一缓冲单元的对应位置，并在所述丢包列表中删除对应的传输序列号。

5.如权利要求4所述的视频数据处理系统，其特征在于，所述发送端还包括第二发送索引队列，用于在所述发送端接收到所述重传数据包请求后，记录所述丢失的实时传输数据包所对应的传输序列号；所述第二发送索引队列的优先级高于所述第一发送索引队列的优先级；

所述稳态发送模块还用于根据所述第二发送索引队列中的传输序列号将相对应的实时传输数据包再次向所述接收端发送。

6.如权利要求5所述的视频数据处理系统，其特征在于，在所述第一缓冲单元中所储存实时传输数据包的数量大于预设数量阀值，且所述第一缓冲单元中没有视频关键帧的实时传输数据包时，所述统计处理模块还用于清空所述缓存模块和所述丢包列表，并向所述发送端发送视频关键帧数据请求；

所述发送端在接收到所述视频关键帧数据请求之后，响应所述视频关键帧数据请求，清空所述发送数据缓冲队列、所述第一发送索引队列和所述第二发送索引队列，并将所述视频关键帧数据再次向所述接收端发送。

7.一种视频数据处理方法，其特征在于，所述视频数据处理方法包括以下步骤：

发送端将视频数据编码后封装成多个实时传输数据包，并储存至发送端的发送数据缓冲队列；所述视频数据中的每一帧视频包括多个所述实时传输数据包；

发送端以预设发送频率将发送数据缓冲队列中的多个实时传输数据包逐一向接收端发送；

接收端的缓冲模块逐一接收发送端所发送的实时传输数据包，且接收端在接收到同一帧视频的所有实时传输数据包之后，将该帧视频进行解码播放。

8.如权利要求7所述的视频数据处理方法，其特征在于，所述发送端以预设发送频率将发送数据缓冲队列中的多个实时传输数据包逐一向接收端发送的步骤具体包括：

发送端为所有实时传输数据包逐一标识传输序列号，并将每一实时传输数据包的时间戳和所述传输序列号记录在发送端的第一发送索引队列中；所述传输序列号自关键帧视频的第一个实时传输数据包起依序增加；

发送端根据所述第一发送索引队列中的所述传输序列号，将所述发送数据缓冲队列中与所述传输序列号相对应的实时传输数据包，以预设发送频率逐一向接收端发送。

9.如权利要求8所述的视频数据处理方法，其特征在于，所述接收端的缓冲模块逐一接收发送端所发送的实时传输数据包，且接收端在接收到同一帧视频的所有实时传输数据包之后，将该帧视频进行解码播放的步骤具体包括：

所述缓冲模块将发送端所发送的实时传输数据包逐一接收并储存至所述缓冲模块的第一缓冲单元；

当所述第一缓冲单元储存有同一帧视频的所有实时传输数据包之后，将该帧视频的所有实时传输数据包转移至接收端的所述缓冲模块的第二缓冲单元，以供接收端从所述第二缓冲单元中调取完整帧进行解码播放。

10.如权利要求9所述的视频数据处理方法，其特征在于，所述缓冲模块将发送端所发送的实时传输数据包逐一接收并储存至所述缓冲模块的第一缓冲单元的步骤之后还包括：

接收端根据储存在所述第一缓冲单元中的所有实时传输数据包的传输序列号，判断是否有实时传输数据包丢失；

若是，接收端将丢失的实时传输数据包所对应的传输序列号存入接收端的丢包列表中，并向发送端发送重传数据包请求；所述重传数据包请求携带有丢失的实时传输数据包所对应的传输序列号；

发送端响应所述重传数据包请求，将传输过程中丢失的实时传输数据包再次向接收端发送；

接收端接收到重传的实时传输数据包之后，将该实时传输数据包储存至所述第一缓冲单元的对应位置，并在所述丢包列表中删除对应的传输序列号。

11.如权利要求10所述的视频数据处理方法，其特征在于，所述发送端响应所述重传数据包请求，将丢失的实时传输数据包再次向所述接收端发送的步骤具体包括：

发送端在接收到所述重传数据包请求后，将所述丢失的实时传输数据包所对应的传输序列号记录到发送端的第二发送索引队列；所述第二发送索引队列的优先级高于所述第一发送索引队列的优先级；

发送端根据所述第二发送索引队列中的传输序列号将相对应的实时传输数据包再次向接收端发送。

12.如权利要求11所述的视频数据处理方法，其特征在于，所述接收端的缓冲模块逐一接收发送端所发送的实时传输数据包，且接收端在接收到同一帧视频的所有实时传输数据包之后，将该帧视频进行解码播放的步骤之后还包括：

在所述第一缓冲单元中所储存实时传输数据包的数量大于预设数量阀值，且所述第一缓冲单元中没有关键帧视频的实时传输数据包时，接收端清空所述第一缓冲单元、所述第二缓冲单元和所述丢包列表，并向发送端发送视频关键帧数据请求；

发送端在接收到所述视频关键帧数据请求之后，响应所述视频关键帧数据请求，清空所述发送数据缓冲队列、所述第一发送索引队列和所述第二发送索引队列，并将所述视频关键帧数据再次向接收端发送。