CN110545161B - 一种具有冗余的多媒体数据实时传输方法 - Google Patents

Abstract

本发明公开了一种具有冗余的多媒体数据实时传输方法，属于无线音视频通信技术领域。本发明将FEC算法和RTP协议有机地结合起来，能够减小RTP实时多媒体数据传输过程中的丢包率，提高RTP多媒体播放的质量。此外，本发明通过末尾补零使数据包长度相等，从而便于应用FEC算方生成冗余数据包，同时，在传输数据包时，本发明又将末尾零去掉，从而能够有效节省带宽，提高传输效率。本发明还可以根据带宽情况和数据传输质量动态调整冗余度，从而适应当前的传输情况，提高数据传输效率。本专利受国家重点研发计划资助，项目编号2017YFC0821900。

Description

一种具有冗余的多媒体数据实时传输方法

技术领域

本发明属于无线音视频通信技术领域，特别是指一种具有冗余的多媒体数据实时传输方法。

背景技术

无线音视频多媒体应用经常会受到数据包丢失、错误或网络带宽资源不足的干扰。相关研究表明，在多数情况下，丢包率是影响视频流化质量的关键因素。有鉴于此，为了保证音视频质量，通常可以采用前向纠错(forward error correction，简称FEC)编码来提高视频数据传输的可靠性。

FEC算法一般有RS编码（Reed-Solomon Codes）和LDPC码等形式。该算法的基本原理是，对k个大小相等的原始数据包冗余出n-k个冗余数据包，使得在n个数据包内，随机选取k个数据，就可以恢复出原始有序的k个数据包。也就是说，一组n个数据包，可以抵抗n-k/n的丢包率。FEC算法中，需要保证每个数据包的大小都是相等，并且，在恢复数据包时，需要知道该包在这一组包内的序号。该算法中，n-k越大，就代表冗余所需的额外带宽也越大。现有技术中用于实现该算法的开源库有OpenFEC等。

目前，音视频传输大都采用实时传输协议（Real-time Transport Protocol，简写为RTP）。但是，对于RTP传输过程中的丢包问题，现有技术中还缺少有效的解决方案。

发明内容

有鉴于此，本发明提出一种具有冗余的多媒体数据实时传输方法，该方法将FEC算法和RTP传输协议有机地结合起来，能够有效地克服音频实时传输中的网络丢包问题。

为了实现上述目的，本发明采用的技术方案为：

一种用于发送端的具有冗余的多媒体数据实时传输方法，包括以下步骤：

（t1）根据带宽和数据传输质量设定数据冗余度，确定一组数据包的数据包总数n以及一组数据包中原始多媒体数据包的个数k，并设定数据包的规范大小symbol_size，symbol_size大于或等于原始多媒体数据包的最大长度；

（t2）将待发送的k个原始多媒体数据包按照帧结构进行封包，并通过RTP协议发送出去；

（t3）根据需要对k个原始多媒体数据包进行末尾补零，得到k个大小均为symbol_size的数据包，然后通过FEC前向纠错算法生成这k个数据包的n-k个冗余数据包，冗余数据包的大小均为symbol_size；

所述帧结构的帧头部分包括：magic魔数，用来验证数据的合法性；session_id，用来标识数据包的组序号；n，用来标识一组数据包中数据包的总数；k，用来标识一组数据包中原始多媒体数据包的个数；n-k，用来标识一组数据包中冗余数据包的个数；symbol_size，用来标识一个数据包的规范大小；length，用来标识一个数据包的实际大小；Timestamp，用于表示RTP协议中的时间戳；Sequence，用于表示RTP协议中的数据包序列号；esi，用来标识数据包在一组数据包内的位置；

（t4）将各冗余数据包的末尾零剔除，更新冗余数据包的实际大小length，然后通过RTP协议将不含末尾零的n-k个冗余数据包发送出去；

（t5）重复步骤（t1）～（t4），发送下一组n个数据包，下一组数据包的组序号等于前一组数据包的组序号加一。

一种用于接收端的具有冗余的多媒体数据实时传输方法，该方法用于接收如上所述方法发送的多媒体数据包，包括以下步骤：

（r1）设置当前待处组序号cur_session_id；

（r2）通过RTP协议接收数据包；

（r3）若收到数据包的session_id大于cur_session_id，则直接结束组序号为cur_session_id的处理过程，并将cur_session_id加一，回到步骤（r2）接收下一组数据；若收到数据包的session_id小于cur_session_id，则直接丢弃该数据包；若收到数据包的session_id等于cur_session_id，则执行步骤（r4）；

（r4）根据数据包中的k值和esi值判断收到的数据包是否为前k个数据包，若是，则将该数据包直接转给音/视频解码模块，每个数据包只转发给音/视频解码模块一次；同时，根据需要对接收到的数据包进行末尾补零，使数据包的长度为symbol_size，然后将该数据包存入缓存；

（r5）若具有同一session_id的前k个数据包均已转发给音/视频解码模块，则清空缓存，将cur_session_id加一，回到步骤（r2）接收下一组数据；若缓存中的数据包达到k个，且同一session_id的前k个数据包尚未全部接收到，则根据缓存中的数据包，通过FEC前向纠错算法的解码算法，获得前k个原始数据包，并将其中未接收到的数据包转发给音/视频解码模块，然后清空缓存，将cur_session_id加一，回到步骤（r2）接收下一组数据。

采用上述技术方案的有益效果在于：

1、本发明将FEC算法和RTP协议有机地结合起来，能够减小RTP实时多媒体数据传输过程中的丢包率，提高RTP多媒体播放的质量。

2、本发明通过末尾补零使数据包长度相等，从而便于应用FEC算方生成冗余数据包，同时，在传输数据包时，本发明又将末尾零去掉，从而能够有效节省带宽，提高传输效率。

3、本发明可以根据带宽情况和数据传输质量动态调整冗余度，即，动态调整一组数据包的数据包总数n以及一组数据包中原始多媒体数据包的个数k，从而适应当前的传输情况，提高数据传输效率。

附图说明

图1是本发明实施例中数据包帧结构的示意图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步的说明。

一种用于发送端的具有冗余的多媒体数据实时传输方法，包括以下步骤：

（t1）根据带宽和数据传输质量设定数据冗余度，确定一组数据包的数据包总数n以及一组数据包中原始多媒体数据包的个数k，并设定数据包的规范大小symbol_size，symbol_size大于或等于原始多媒体数据包的最大长度；

（t2）将待发送的k个原始多媒体数据包按照帧结构进行封包，并通过RTP协议发送出去；

（t3）根据需要对k个原始多媒体数据包进行末尾补零，得到k个大小均为symbol_size的数据包，然后通过FEC前向纠错算法生成这k个数据包的n-k个冗余数据包，冗余数据包的大小均为symbol_size；

所述帧结构的帧头部分包括：magic魔数，用来验证数据的合法性；session_id，用来标识数据包的组序号；n，用来标识一组数据包中数据包的总数；k，用来标识一组数据包中原始多媒体数据包的个数；n-k，用来标识一组数据包中冗余数据包的个数；symbol_size，用来标识一个数据包的规范大小；length，用来标识一个数据包的实际大小；Timestamp，用于表示RTP协议中的时间戳；Sequence，用于表示RTP协议中的数据包序列号；esi，用来标识数据包在一组数据包内的位置；

（t4）将各冗余数据包的末尾零剔除，更新冗余数据包的实际大小length，然后通过RTP协议将不含末尾零的n-k个冗余数据包发送出去；

（t5）重复步骤（t1）～（t4），发送下一组n个数据包，下一组数据包的组序号等于前一组数据包的组序号加一。

一种用于接收端的具有冗余的多媒体数据实时传输方法，该方法用于接收如上所述方法发送的多媒体数据包，包括以下步骤：

（r1）设置当前待处组序号cur_session_id；

（r2）通过RTP协议接收数据包；

（r3）若收到数据包的session_id大于cur_session_id，则直接结束组序号为cur_session_id的处理过程，并将cur_session_id加一，回到步骤（r2）接收下一组数据；若收到数据包的session_id小于cur_session_id，则直接丢弃该数据包；若收到数据包的session_id等于cur_session_id，则执行步骤（r4）；

（r4）根据数据包中的k值和esi值判断收到的数据包是否为前k个数据包，若是，则将该数据包直接转给音/视频解码模块，每个数据包只转发给音/视频解码模块一次；同时，根据需要对接收到的数据包进行末尾补零，使数据包的长度为symbol_size，然后将该数据包存入缓存；

（r5）若具有同一session_id的前k个数据包均已转发给音/视频解码模块，则清空缓存，将cur_session_id加一，回到步骤（r2）接收下一组数据；若缓存中的数据包达到k个，且同一session_id的前k个数据包尚未全部接收到，则根据缓存中的数据包，通过FEC前向纠错算法的解码算法，获得前k个原始数据包，并将其中未接收到的数据包转发给音/视频解码模块，然后清空缓存，将cur_session_id加一，回到步骤（r2）接收下一组数据。

上述发送端传输方法中，根据测试经验，可将参数设置为：n=10，k=6，symbol_size=500。数据包的帧结构如图1所示，其中，magic是魔数，用来验证数据的合法性；session_id用来标识每一组数据包，n用来标识每组数据包的个数，k用来标识每组数据包内原始数据包的个数，n-k用来标识冗余数据包的个数；symbol_size用来标识每个数据包的应有的大小；length标识每个数据包的实际大小；Timestamp是每个数据的时候时间戳，Sequence是每个数据包的序列号，这两个值的含义与RTP协议中的含义一致；esi是每个数据包在该组数据包内位置，从0开始，最大到n-1；marker表示该包是不是一个帧的结束。

这样，前6个数据包为原始数据包，按照帧结构进行封包，数据体部分直接填充原始数据包，然后通过RTP协议发送。此外，将数据长度不够500的数据包末尾补零，并保存到一个数组array[10]内，该数组内所有数据包长度为500。将array[0-5]输入到FEC 编码模块（该模块可直接采用OpenFEC实现，此为现有技术，此处不再赘述），可以直接得到array[6-9]的冗余数据包，其长度也都是500。由于array[0-5]进行了大量补零操作，array[6-9]冗余数据包末尾也存在大量的0。剔除冗余包末尾的0，计算出真正的数据长度length，可以大量节省带宽。最后，剔除末尾0的array[6-9]也分别通过RTP协议发送出去。

在接收端，收到数据包后首先检查magic是否符合，如果符合，解析接收到的数据包，获得各个参数的值，即，n=10，k=6，symbol_size=500；接着检查session_id是否与接收端当前的组序号cur_session_id一致，若一致则执行后续步骤。

对于接收到的数据包，若其为前6个原始数据包，则转发给音/视频解码模块（音/视频解码模块及其处理过程均为现有技术，此处不再赘述）。同时，将接收的数据包以esi为索引存储到一个数组array[10]里，长度不够500的数据包，末尾补0。当array[10]内存储数据包个数达到6个时，将array[10]输入到FEC解码模块（该模块可直接采用OpenFEC实现，此为现有技术，此处不再赘述），获得6个原始数据包，此时，即可根据需要将未接收到的原始数据包转发给音/视频解码模块。

总之，本发明将FEC算法和RTP传输协议有机地结合起来，其通过FEC算法产生冗余数据，从而能够抵抗网络丢包。本发明很好地结合了FEC算法和RTP协议，同时充分考虑了对网络带宽的节省以及音视频的流畅性。通过实际测试，本发明在极端网络环境下，能够达到良好的传输效果，这充分表明了本发明的有效性。

本专利受国家重点研发计划资助，项目编号2017YFC0821900。

综上所述，以上仅为本发明的较佳应用示例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种用于发送端的具有冗余的多媒体数据实时传输方法，其特征在于，包括以下步骤：

（t1）根据带宽和数据传输质量设定数据冗余度，确定一组数据包的数据包总数n以及一组数据包中原始多媒体数据包的个数k，并设定数据包的规范大小symbol_size，symbol_size大于或等于原始多媒体数据包的最大长度；

（t2）将待发送的k个原始多媒体数据包按照帧结构进行封包，并通过RTP协议发送出去；

（t3）根据需要对k个原始多媒体数据包进行末尾补零，得到k个大小均为symbol_size的数据包，然后通过FEC前向纠错算法生成这k个数据包的n-k个冗余数据包，冗余数据包的大小均为symbol_size；

所述帧结构的帧头部分包括：magic魔数，用来验证数据的合法性；session_id，用来标识数据包的组序号；n，用来标识一组数据包中数据包的总数；k，用来标识一组数据包中原始多媒体数据包的个数；n-k，用来标识一组数据包中冗余数据包的个数；symbol_size，用来标识一个数据包的规范大小；length，用来标识一个数据包的实际大小；Timestamp，用于表示RTP协议中的时间戳；Sequence，用于表示RTP协议中的数据包序列号；esi，用来标识数据包在一组数据包内的位置；

（t4）将各冗余数据包的末尾零剔除，更新冗余数据包的实际大小length，然后通过RTP协议将不含末尾零的n-k个冗余数据包发送出去；

（t5）重复步骤（t1）～（t4），发送下一组n个数据包，下一组数据包的组序号等于前一组数据包的组序号加一。

2.一种用于接收端的具有冗余的多媒体数据实时传输方法，其特征在于，用于接收如权利要求1所述方法发送的多媒体数据包，包括以下步骤：

（r1）设置当前待处组序号cur_session_id；

（r2）通过RTP协议接收数据包；

（r3）若收到数据包的session_id大于cur_session_id，则直接结束组序号为cur_session_id的处理过程，并将cur_session_id加一，回到步骤（r2）接收下一组数据；若收到数据包的session_id小于cur_session_id，则直接丢弃该数据包；若收到数据包的session_id等于cur_session_id，则执行步骤（r4）；

（r4）根据数据包中的k值和esi值判断收到的数据包是否为前k个数据包，若是，则将该数据包直接转给音/视频解码模块，每个数据包只转发给音/视频解码模块一次；同时，根据需要对接收到的数据包进行末尾补零，使数据包的长度为symbol_size，然后将该数据包存入缓存；

（r5）若具有同一session_id的前k个数据包均已转发给音/视频解码模块，则清空缓存，将cur_session_id加一，回到步骤（r2）接收下一组数据；若缓存中的数据包达到k个，且同一session_id的前k个数据包尚未全部接收到，则根据缓存中的数据包，通过FEC前向纠错算法的解码算法，获得前k个原始数据包，并将其中未接收到的数据包转发给音/视频解码模块，然后清空缓存，将cur_session_id加一，回到步骤（r2）接收下一组数据。

Images