CN109729307A - 一种基于喷泉码的组播视频会议系统 - Google Patents

一种基于喷泉码的组播视频会议系统 Download PDF

Info

Publication number
CN109729307A
CN109729307A CN201910148841.XA CN201910148841A CN109729307A CN 109729307 A CN109729307 A CN 109729307A CN 201910148841 A CN201910148841 A CN 201910148841A CN 109729307 A CN109729307 A CN 109729307A
Authority
CN
China
Prior art keywords
module
multicast
conference
fountain
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910148841.XA
Other languages
English (en)
Inventor
卢继华
杨志良
王欢
李泽英
王震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North University of China
Beijing Institute of Technology BIT
Original Assignee
North University of China
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North University of China, Beijing Institute of Technology BIT filed Critical North University of China
Priority to CN201910148841.XA priority Critical patent/CN109729307A/zh
Publication of CN109729307A publication Critical patent/CN109729307A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明涉及一种基于喷泉码的组播视频会议系统,属于视频组播及可靠性传输技术领域。所述组播视频会议系统包括会议服务器端和会议用户端以及组播协议模块;会议服务器端周期性地通过组播方式将喷泉编码传输至会议用户端,满足后一组数据传输之前对当前周期内接收的数据编码;同时,会议用户端接收所述喷泉编码后的数据并对该数据解码及恢复所有的原始视频。所述组播视频会议系统引入喷泉编码模块使得会议用户端的接收效率高且能减少丢包率,有利于提高视频传输的可靠性及数据的精准性;可实现异步接入,会议用户可以随时加入组播,也可以在退出组播后重新加入。

Description

一种基于喷泉码的组播视频会议系统
技术领域
本发明涉及一种基于喷泉码的组播视频会议系统,属于视频组播及可靠性传输技术领域。
背景技术
随着互联网技术的迅速发展以及公众对于信息的消费需求急剧增长,各种宽带网络应用如IPTV、视频会议、多媒体远程教育等有了广阔的市场前景。视频会议系统是视频传输技术在互联网上的典型应用。
组播是一种允许一个或多个发送者(组播源)发送单一的数据包到多个接收者(一次且同时)的网络技术。组播可以节省网络带宽,因为具有相同数据传输要求的用户可以共享一个共同的链路,可以显著减少服务器负载和连接数目。应用较多的组播模式有IP组播和应用层组播。
组播技术可以显著减少连接的数目,由此减少网络吞吐量。然而,传统开环的组播方法数据没有反馈,不能完全保证流媒体视频的稳定传输。
组播技术主要包括IP组播和应用层组播,区别简述如下:
IP组播技术指的是路由器及链路在网络中形成了一个控制组播数据传送的逻辑结构-组播转发树,并由路由器承担组播数据的寻路、复制和转发控制功能。
应用层组播技术是在整个网络中构建一个逻辑上的组播转发树,发送端为组播树的根节点,接收端构成组播树的中间节点和叶节点。由主机来进行数据的复制和转发,在应用层形成一个逻辑网络利用路由层的单播方式向组成员进行组播。实际运用时可根据用户的数量及带宽情况选用合适的组播模式。
IP网络层组播需要网络硬件的支持,应用灵活性较差,而应用层组播只需通过端系统进行数据的复制和转发,不需要路由器的支持,便于实现和推广。
喷泉码最早由Michael Luby等人于1998年提出,Luby等人在Tornado码的基础上,于2002年提出第一个有效的喷泉码—LT码。它的主要思想是在发送端把源文件分割为K个数据包,称为K个输入符号,对K个输入符号进行编码,可以生成任意数量的编码符号,接收端只要接收到任意N=K(1+ε)(N略大于K)个编码符号,即可高概率成功恢复出原始输入符号。喷泉码的实际应用越来越来越受到人们的重视,已经被多媒体广播业务(MBMS)、单向文件传输(FLUTE)、手机电视标准(DVB-H)等纳入标准,并应用于一些实际的商品中。在组播传输中,喷泉码可以完成不同的编码格式、媒体类型、压缩率数据的兼容操作处理,提高视频传输的鲁棒性,提供高质量且低开销的视频效果。
会议用户端和会议服务器端是视频会议系统的两个主要模块,会议模式开启时,就对会议用户端和会议服务器端装置进行视频帧分割,并对分割后的区域进行视频数据预处理以进行转换、压缩、封装,再送达会议系统的两端。当链路质量很差且传输负荷大时,很有可能无法提供清晰流畅的会议直播效果。
喷泉码具有不需数据有序排列以及能简化数据传输方式的优点。通过添加冗余及高效译码方式实现可靠通信。若发挥喷泉码的优势,将其应用于组播视频系统,有希望提供一种数据传输稳定且可靠、计算复杂度低,兼容性强即不同规格和不同位置的异构设备均可加入会议的组播视频会议系统。
发明内容
本发明的目的在于针对现有组播方式存在数据传输不灵活、系统部署较为复杂以及传输流媒体数据错误率较高的技术缺陷,提出了一种基于喷泉码的组播视频会议系统,会议服务器端实时地通过组播方式将喷泉编码传输至会议用户端,满足后一组数据传输之前对当前接收的数据编码;同时,会议用户端接收所述喷泉编码后的数据并对该数据解码以及恢复所有的原始视频。
为了实现本发明,采用如下技术方案:
一种基于喷泉码的组播视频会议直播系统,主要包括会议服务器端和会议用户端以及组播协议模块。
其中,会议服务器端包括服务器控制模块、视频会议管理模块以及流媒体处理模块A。其中,流媒体处理模块A包括缓冲区A、基本参数单元以及喷泉编码模块以及数据管理与调度模块A;
组播协议模块包括组播协议模块A和组播协议模块B;
会议用户端包括用户控制模块、实时信息管理模块、音视频采集模块以及流媒体处理模块B;实时信息管理模块包括用户信息管理单元、会议实时状态管理单元;
其中,流媒体处理模块B包括预处理单元、喷泉解码模块、缓冲区B以及数据管理与调度模块B。
所述组播视频会议直播系统中各模块的功能如下:
会议服务器端是所述组播视频会议直播系统的核心,负责视频会议系统的大部分业务逻辑包括会议管理、会议成员管理以及组播树维护,还兼具编码服务及转发的功能;
会议服务器端中各模块的功能如下:
服务器控制模块的主要功能是控制会议的进程,包括创建会议、协调会议和结束会议;视频会议管理模块用于管理参加会议人员的账户信息备份、安全性认证,权限信息管理以及会议参与者会议信息保存、发送及更新;流媒体处理模块A中的缓冲区A用于存储和发送会议用户端采集到的源视频数据和经喷泉编码模块喷泉编码后的数据,同时使用计时器周期性地检查缓冲区A中数据的生存时间,若时间超过生存周期,则删除缓冲区A中的所有数据;其中,生存周期的范围为大于等于0.05秒小于等于10秒;喷泉编码模块用于对收到的源视频数据进行喷泉编码;
数据管理和调度模块A的主要功能是数据传输给缓存区使用,同时转发喷泉编码后的数据;基本参数单元的功能是存储喷泉编码模块以及喷泉译码模块需要使用的喷码编码类型、编码信息的长度以及译码方法。
会议用户端模块中各模块的功能如下:
用户控制模块的功能是用户申请加入、注册、登录及显示;音视频采集模块用于会议用户端图像数据和音频信息采集,基于软件通过USB摄像头和声音录入系统完成采集工作;
实时信息管理模块中的用户信息管理单元对用户各种状态的信息实时更新和记录;会议实时状态管理单元用于记录会议的实时进程及突发状况。
流媒体处理模块B中的预处理单元主要用于处理音视频信息采集模块采集到的信息,主要包括对音视频信息采集模块采集到的原视频数据进行转换、压缩以及封装;缓冲区B中的数据主要来源于预处理模块处理后的数据和转发来的喷泉编码数据;喷泉解码模块用于对收到的转发来的喷泉编码数据进行解码;数据管理和调度模块B主要功能是将预处理后的原视频数据发送给会议服务器端,同时接受会议服务器端的发送的喷泉编码数据,提供给缓冲区B使用;使用计时器用于周期性地检查缓冲区中数据的生存时间,若时间超过生存时间,则删除缓冲区B中的所有数据。
组播协议模块A的主要功能是组播树管理、整体拥塞的流量控制,一对多转发的管理和调度和消息处理;组播协议模块B的主要功能是组播树维护、局部拥塞的流量控制,一对多转发管理和调度和消息处理。
所述组播视频会议系统的工作过程,包括如下步骤:
步骤1、会议服务器端上电并开始工作,服务器控制模块发起创建组播会议信息,会议服务器端的服务器控制模块等待会议用户发出加入组播会议的申请,用于形成组播树覆盖网络;
步骤2、会议参与者运行会议用户端,通过用户控制模块请加入、注册、登录与显示,并使用组播协议模块B向会议服务器端发送加入组播会议的申请;
其中,每个会议参与者即一个会议端用户节点,简称节点;
步骤3、会议服务器端的服务器控制模块接收到会议参与者请求加入会议的申请,对会议参与者进行身份认证和发送通过信息;
步骤4、会议服务器端的服务器控制模块根据组播协议模块A将申请者加入到组播树覆盖网络中,同时建立组播列表;
步骤5、会议参与者成功加入组播会议后,会议用户端通过音视频采集模块采集会议参与者的音视频信息,流媒体处理模块B将采集到的音视频信息进行处理;
其中,实时信息管理模块经用户信息管理单元对会议参与者的各种状态信息实时更新和记录;
会议用户端需按时间间隔,定期向会议服务器端发送一个反映自己状态叫心跳包的命令字,方便会议服务器端了解节点的工作状况,及时更新组播树列表;
步骤6、流媒体处理模块B将采集到的音视频信息经预处理模块进行压缩,封装处理后,通过组播协议模块B传输给组播协议模块A再发送给会议服务器端的流媒体处理模块A;
步骤7、流媒体处理模块A接收到所有会议用户端发送的音视频信息后,确定喷泉编码要用的基本参数,并存储进基本参数单元;
其中,基本参数包括喷码编码类型、编码信息的长度以及译码方法;
步骤8、流媒体处理模块A的喷泉码编码模块根据所设置的基本参数,对收到的源视频信息进行喷泉编码;
其中,喷泉编码包括但不限于Raptor码、LT码、不等错误保护喷泉码、在线喷泉码、Spinal编码以及各种喷泉码与信道编码的级联与组合码;
步骤9、会议服务器端再通过组播协议模块A将经步骤8喷泉码编码后的数据发送给各个会议用户端;
步骤10、会议用户端的流媒体处理模块B将收到的喷泉编码后的数据进行喷泉码译码,再将喷泉码译码后的数据进行解封装、解压,进行播放;
其中,会议用户端喷泉码译码的译码吞吐量应该大于会议用户端音视频采集模块采集后经压缩及封装后的速率;
其中,喷泉码译码方法包括但不限于BP译码、SCL、滑窗译码以及高斯消元译码;
步骤11、某会议用户端节点想要加入或者退出组播会议,需向会议服务器端发出申请,会议服务器端的服务器控制模块通过组播协议模块A协助完成会议用户端加入或者退出组播会议,并更新维护组播列表;
会议增加的人数变多时,组播规模变大,会使得需要经过中间节点转发的数据包变得更多,在会议系统中采用喷泉码编译码模块,不需建立反馈信道,减少网络丢包,提升系统整体差错控制能力。
不采用喷泉码在丢包时,丢失的包无法恢复造成误包率较大,使得音视频传输效果不好。而采用喷泉码只要接收一定数目的编码包,就能恢复出丢失的数据包,取得比不采用喷泉码更好的性能,这种优势在信道条件不好的的情况下更加明显。
步骤12、视频组播会议要结束时,由会议用户端向会议服务器端发出结束整个会议的申请,会议服务器端的视频会议管理模块通过申请后,由服务器控制模块执行结束会议。
有益效果
本发明提出的一种基于喷泉码的组播视频会议系统,与现有技术相比,具有如下有益效果:
1.所提出的组播视频会议系统中引入喷泉编码模块使得会议用户端的接收效率高且能减少丢包率,有利于提高视频传输的可靠性及数据的精准性;
2.所提出的组播视频会议系统,在步骤11中可实现异步接入,会议用户可以随时加入组播,也可以在退出组播后重新加入。
附图说明
图1为本发明一种基于喷泉码的组播视频会议系统的组成框图;
图2为本发明一种基于喷泉码的组播视频会议系统及实施例中的工作流程图;
图3为本发明一种基于喷泉码的组播视频会议系统实施例1的组成及工作示意图;
图4为本发明一种基于喷泉码的组播视频会议系统实施例2的组成及工作示意图。
具体实施方式
下面结合附图及具体实施例对本发明所述的一种基于喷泉码的组播视频会议系统进行详细阐述。
实施例1
本实施例阐述了本发明一种基于喷泉码的组播视频会议系统的组成及在用户为5个情况下的具体实施。
从图1可以看出,一种基于喷泉码的组播视频会议直播系统,主要包括会议服务器端和会议用户端以及组播协议模块。
具体实施时:首先,需要确定实施的应用层组播协议的类型。可为分布式应用层组播协议Narada,它适用于中小型组播网,所有节点都可对等通信;或者选用分布式应用层组播协议NICE,它可支持规模较大组播,控制拓扑中已定好数据转发路径,成员节点之间不需要额外相互交信息。
图2为本发明一种基于喷泉码的组播视频会议系统的工作过程示意图。具体步骤如下:
步骤A)、会议服务器端上电并开始工作,服务器控制模块发起创建组播会议信息。会议服务器端的服务器控制模块等待会议用户发出加入的申请,再形成应用层组播树覆盖网络;一个会议用户端即为一个组播网络中的节点;
步骤B)、会议用户端1至会议用户端5运行会议用户端,并使用对应的应用层组播协议模块B向会议服务器端发送加入组播会议的申请;
步骤C)、会议服务器端的服务器控制模块接收到会议参与者请求加入会议的申请,对会议用户端1至会议用户端5进行身份认证和发送通过信息;
步骤D)、会议服务器端的服务器控制模块根据组播协议模块A将申请者加入到组播网中,同时建立组播列表;
步骤E)、会议用户端1至会议用户端5成功加入组播会议后,通过音视频采集模块,采集会议用户端1至会议用户端5会议参与者的音频和视频图像信息,并将采集到的音频和视频图像信息发送给流媒体处理模块B处理;
步骤F)、流媒体处理模块B将采集到的信息经预处理模块,按照H.263标准对视频信号进行压缩,按照G.272的标准对音频信号进行压缩,H.263和G.272标准的音视频传输协议H.323推荐的视频和音频编码/解码器,然后再封装成RTP/RTCP数据报进行传输。
压缩以及封装后,通过组播协议模块B和组播协议模块A,发送给会议服务器端的流媒体处理模块A;步骤G)、流媒体处理模块A接收到会议用户端1至会议用户端5的源视频信息后,确定喷泉编码要用的基本参数,并存储进基本参数单元;
其中,本实施例中喷码编码类型为LT码、编码信息的长度K为512个字节,以及为BP译码方法;
步骤H)、流媒体处理模块A的喷泉码编码模块根据所设置的基本参数,对收到的音视频信息K进行喷泉编码,喷泉编码步骤具体如下:
步骤H.1、生成喷泉编码的鲁棒孤波Robust-Soliton分布,其具体可分为以下子步骤:
步骤H.1.1、设定喷泉编码参数c与编码失败概率δ;
步骤H.1.2、计算输出符号节点度为1的平均值,如公式(1):
步骤H.1.3、计算理想情况下的输出符号节点度分布-Soliton分布,如公式(2):
ρ(1)=1/K
ρ(d)=1/d(d-1),d=2,3,…,K(2)
步骤H.1.4、计算解码失败概率的上界值,如公式(3):
步骤H.1.5、计算成功解码度量值,如公式(4):
步骤H.1.6、生成鲁棒孤波(Robust-Soliton)分布,如公式(5):
步骤H.2将步骤H)中会议服务器端接收到的源视频信息用生成的鲁棒孤波分布进行喷泉编码,可分为以下子步骤:
步骤H.2.1、根据步骤H.1.6生成的Robust-Soliton分布随机选取一个输出符号度;
步骤H.2.2、从步骤H)输出的K比特数据中利用均匀分布选取d个符号;
步骤H.2.3、将步骤H.2.2选取的d个符号做异或运算,得到输出符号;
H.2.4、重复步骤H.2.1-步骤H.2.3,得到足够长的编码包序列,完成编码。
步骤I)、会议服务器端再通过应用层组播协议模块A将喷泉编码后的数据发送给会议用户端1和会议用户端2,再由会议用户端1转发给会议用户端3,由会议用户端2转发给会议用户端4和会议用户端5。
步骤J)、会议用户端1至会议用户端5流媒体处理模块B将收到的喷泉编码后的数据进行译码,然后将译码后的数据解压转化后进行播放;流媒体处理模块B接收数据,进行喷泉码译码,包含以下子步骤:
步骤K.1、接收端接收N比特符号信息yn,其中N=(1+R)K;
步骤K.2、将符号yn作为校验节点,输入符号xk作为输入符号,建立连接图;
步骤K.3、寻找一个只与一个输入符号xk相连接的检验节点,若能找到,令xk=yn,同时对所有与xk相连接的校验节点,进行如下赋值运算:其中yn'是任意一个与相连接的校验节点,表示将它左边的运算结果赋值给右边的变量;最后在连接图中删除与xk相连接的所有的边。若找不到,表明解码失败,重新执行步骤K.1;
步骤K.4、重复步骤K.2到步骤K.3直到所有的xk被确定,解码成功;
步骤L、会议用户端1至会议用户端5能收到所有会议用户端的的音视频,发言用户为大框,其它会议用户端为小框。若是后来增加的会议用户端太多,可以根据需求向会议服务器端选择只接收发言用户的音视频,也可以根据服务器自动调配。
步骤M、若会议用户端6要参加会议,需向会议服务器端发出申请。会议服务器端的服务器控制模块通过组播协议模块A,确定节点的信息,并选择距离会议用户端6最近的节点作为新的插入点或者转发节点,并更新维护组播列表,保证组播树的性能平衡,实现组播会议异步接入。
应用层组播会议的节点可以是视频的接受者,也可以是转发者,一个节点可以伸展出很多的子节点,拓展性强,支持大型多场景组播视频会议。
步骤N、若是会议用户端2想要退出正在进行的会议,会议服务器端的服务器控制模块通过组播协议模块A,确定节点的信息,将重新选择合适的节点作为会议用户端4和会议用户端5的转发节点,并更新维护组播列表。
步骤L、视频会议要结束时,由会议用户端向会议服务器端发出结束整个会议的申请,会议服务器端的视频会议管理模块通过申请后,由服务器控制模块执行结束会议的相关操作。
实施例2
本实施例阐述了本发明一种基于喷泉码的IP组播视频会议系统的组成及在用户为5个情况下的具体实施。
用户为5的IP组播视频会议系统工作实施图如图4所示,具体步骤如下:
步骤a、会议服务器端上电并开始工作,服务器控制模块发起创建组播会议信息。会议服务器端的服务器控制模块等待会议用户端发出加入的申请,再形成IP组播树覆盖网络;
步骤b、会议用户端1至会议用户端5运行会议用户端,并使用对应的IP组播协议模块B向会议服务器端发送加入组播会议的申请;
步骤c、会议服务器端的服务器控制模块接收到会议参与者请求加入会议的申请,对会议用户端1至会议用户端5进行身份认证和发送组播地址和端口号;
步骤d、会议用户端1至会议用户端5组通过与组播协议模块中的路由器对接,加入到IP组播网中,同时建立组播列表;
步骤e、会议用户端1至会议用户端5成功加入组播会议后,通过音视频采集模块,采集会议用户端1至会议用户端5会议参与者的音频和视频图像信息,并将采集到的音频和视频图像信息发送给流媒体处理模块B处理;
步骤f、流媒体处理模块B将采集到的信息经预处理模块,按照H.263标准对视频信号进行压缩,按照G.722的标准对音频信号进行压缩,H.263和G.722标准的音视频传输协议H.323推荐的视频和音频编码/解码器,然后再封装成RTP/RTCP数据报进行传输。
压缩以及封装后,通过组播协议模块B和组播协议模块A,发送给会议服务器端的流媒体处理模块A;
步骤g、流媒体处理模块A接收到会议用户端1至会议用户端5的源视频信息后,确定喷泉编码要用的基本参数,并存储进基本参数单元;
其中,本实施例中喷码编码类型为LT码、编码信息的长度K为512个字节,以及为BP译码方法;
步骤h、流媒体处理模块A的喷泉码编码模块根据所设置的基本参数,对收到的音视频信息进行喷泉编码,具体编码如实施例1中步骤H所述;
步骤i、会议服务器端再通过组播协议模块A将喷泉编码后的数据发送给会议用户端1至会议用户端5。
步骤j、会议用户端1至会议用户端5流媒体处理模块B将收到的喷泉编码后的数据进行译码,然后将译码后的数据解压转化后进行播放;流媒体处理模块B接收数据,进行喷泉码译码。具体的译码方法如实施例1步骤J所述;
喷泉码编码技术也可用于IP组播的MAC地址加密,增强数据传输过程的安全性。
步骤k、会议用户端1至会议用户端5能收到所有会议用户端的的音视频,发言用户为大框,其它会议用户端为小框。若是后来增加的会议用户端太多,可以根据需求向会议服务器端选择只接收发言用户的音视频,也可以通过会议服务器端自动调配。
步骤l、会议用户端想要插入或者退出会议,需向会议服务器端发出申请,会议服务器端的服务器控制模块通过组播协议模块A,发送给会议用户端指定的组播地址加入会议,并更新维护组播列表,保证组播树的性能平衡,实现组播会议会议用户端的异步接入。
步骤m、视频会议要结束时,由会议用户端向会议服务器端发出结束整个会议的申请,会议服务器端的视频会议管理模块通过申请后,由服务器控制模块执行结束会议。
以上所述为本发明的较佳实施例而已,本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改,都落入本发明保护的范围。

Claims (5)

1.一种基于喷泉码的组播视频会议直播系统,其特征在于:主要包括会议服务器端和会议用户端以及组播协议模块;
其中,会议服务器端包括服务器控制模块、视频会议管理模块以及流媒体处理模块A;
其中,流媒体处理模块A包括缓冲区A、基本参数单元以及喷泉编码模块以及数据管理与调度模块A;
组播协议模块包括组播协议模块A和组播协议模块B;
会议用户端包括用户控制模块、实时信息管理模块、音视频采集模块以及流媒体处理模块B;实时信息管理模块包括用户信息管理单元、会议实时状态管理单元;
其中,流媒体处理模块B包括预处理单元、喷泉解码模块、缓冲区B以及数据管理与调度模块B;
所述组播视频会议直播系统中各模块的功能如下:
会议服务器端是所述组播视频会议直播系统的核心,负责视频会议系统的大部分业务逻辑包括会议管理、会议成员管理以及组播树维护,还兼具编码服务及转发的功能;
会议服务器端中各模块的功能如下:
服务器控制模块的主要功能是控制会议的进程,包括创建会议、协调会议和结束会议;视频会议管理模块用于管理参加会议人员的账户信息备份、安全性认证,权限信息管理以及会议参与者会议信息保存、发送及更新;流媒体处理模块A中的缓冲区A用于存储和发送会议用户端采集到的源视频数据和经喷泉编码模块喷泉编码后的数据,同时使用计时器周期性地检查缓冲区A中数据的生存时间,若时间超过生存周期,则删除缓冲区A中的所有数据;喷泉编码模块用于对收到的源视频数据进行喷泉编码;
数据管理和调度模块A的主要功能是数据传输给缓存区使用,同时转发喷泉编码后的数据;基本参数单元的功能是存储喷泉编码模块以及喷泉译码模块需要使用的喷码编码类型、编码信息的长度以及译码方法;
会议用户端模块中各模块的功能如下:
用户控制模块的功能是用户申请加入、注册、登录及显示;音视频采集模块用于会议用户端图像数据和音频信息采集,基于软件通过USB摄像头和声音录入系统完成采集工作;
实时信息管理模块中的用户信息管理单元对用户各种状态的信息实时更新和记录;会议实时状态管理单元用于记录会议的实时进程及突发状况;
流媒体处理模块B中的预处理单元主要用于处理音视频信息采集模块采集到的信息,主要包括对音视频信息采集模块采集到的原视频数据进行转换、压缩以及封装;缓冲区B中的数据主要来源于预处理模块处理后的数据和转发来的喷泉编码数据;喷泉解码模块用于对收到的转发来的喷泉编码数据进行解码;数据管理和调度模块B主要功能是将预处理后的原视频数据发送给会议服务器端,同时接受会议服务器端的发送的喷泉编码数据,提供给缓冲区B使用;使用计时器用于周期性地检查缓冲区中数据的生存时间,若时间超过生存时间,则删除缓冲区B中的所有数据;
组播协议模块A的主要功能是组播树管理、整体拥塞的流量控制,一对多转发的管理和调度和消息处理;组播协议模块B的主要功能是组播树维护、局部拥塞的流量控制,一对多转发管理和调度和消息处理;
所述组播视频会议系统的工作过程,包括如下步骤:
步骤1、会议服务器端上电并开始工作,服务器控制模块发起创建组播会议信息,会议服务器端的服务器控制模块等待会议用户发出加入组播会议的申请,用于形成组播树覆盖网络;
步骤2、会议参与者运行会议用户端,通过用户控制模块请加入、注册、登录与显示,并使用组播协议模块B向会议服务器端发送加入组播会议的申请;
其中,每个会议参与者即一个会议端用户节点,简称节点;
步骤3、会议服务器端的服务器控制模块接收到会议参与者请求加入会议的申请,对会议参与者进行身份认证和发送通过信息;
步骤4、会议服务器端的服务器控制模块根据组播协议模块A将申请者加入到组播树覆盖网络中,同时建立组播列表;
步骤5、会议参与者成功加入组播会议后,会议用户端通过音视频采集模块采集会议参与者的音视频信息,流媒体处理模块B将采集到的音视频信息进行处理;
其中,实时信息管理模块经用户信息管理单元对会议参与者的各种状态信息实时更新和记录;
会议用户端需按时间间隔,定期向会议服务器端发送一个反映自己状态叫心跳包的命令字,方便会议服务器端了解节点的工作状况,及时更新组播树列表;
步骤6、流媒体处理模块B将采集到的音视频信息经预处理模块进行压缩,封装处理后,通过组播协议模块B传输给组播协议模块A再发送给会议服务器端的流媒体处理模块A;
步骤7、流媒体处理模块A接收到所有会议用户端发送的音视频信息后,确定喷泉编码要用的基本参数,并存储进基本参数单元;
步骤8、流媒体处理模块A的喷泉码编码模块根据所设置的基本参数,对收到的源视频信息进行喷泉编码;
其中,喷泉编码包括但不限于Raptor码、LT码、不等错误保护喷泉码、在线喷泉码、Spinal编码以及各种喷泉码与信道编码的级联与组合码;
步骤9、会议服务器端再通过组播协议模块A将经步骤8喷泉码编码后的数据发送给各个会议用户端;
步骤10、会议用户端的流媒体处理模块B将收到的喷泉编码后的数据进行喷泉码译码,再将喷泉码译码后的数据进行解封装、解压,进行播放;
其中,会议用户端喷泉码译码的译码吞吐量应该大于会议用户端音视频采集模块采集后经压缩及封装后的速率;
步骤11、某会议用户端节点想要加入或者退出组播会议,需向会议服务器端发出申请,会议服务器端的服务器控制模块通过组播协议模块A协助完成会议用户端加入或者退出组播会议,并更新维护组播列表;
步骤12、视频组播会议要结束时,由会议用户端向会议服务器端发出结束整个会议的申请,会议服务器端的视频会议管理模块通过申请后,由服务器控制模块执行结束会议。
2.根据权利要求1所述的一种基于喷泉码的组播视频会议直播系统,其特征在于:生存周期的范围为大于等于0.05秒小于等于10秒。
3.根据权利要求1所述的一种基于喷泉码的组播视频会议直播系统,其特征在于:步骤7中的基本参数包括喷码编码类型、编码信息的长度以及译码方法。
4.根据权利要求1所述的一种基于喷泉码的组播视频会议直播系统,其特征在于:步骤8中的喷泉编码包括但不限于Raptor码、LT码、不等错误保护喷泉码、在线喷泉码、Spinal编码以及各种喷泉码与信道编码的级联与组合码。
5.根据权利要求1所述的一种基于喷泉码的组播视频会议直播系统,其特征在于:步骤10中的喷泉码译码方法包括但不限于BP译码、SCL、滑窗译码以及高斯消元译码。
CN201910148841.XA 2019-02-28 2019-02-28 一种基于喷泉码的组播视频会议系统 Pending CN109729307A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910148841.XA CN109729307A (zh) 2019-02-28 2019-02-28 一种基于喷泉码的组播视频会议系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910148841.XA CN109729307A (zh) 2019-02-28 2019-02-28 一种基于喷泉码的组播视频会议系统

Publications (1)

Publication Number Publication Date
CN109729307A true CN109729307A (zh) 2019-05-07

Family

ID=66301090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910148841.XA Pending CN109729307A (zh) 2019-02-28 2019-02-28 一种基于喷泉码的组播视频会议系统

Country Status (1)

Country Link
CN (1) CN109729307A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110418165A (zh) * 2019-08-01 2019-11-05 辽宁奥创纪元科技有限公司 一种跨密级单向文件传输方法
CN111669537A (zh) * 2020-04-24 2020-09-15 视联动力信息技术股份有限公司 一种数据分发方法、装置、电子设备及存储介质
WO2024067430A1 (zh) * 2022-09-29 2024-04-04 华为技术有限公司 一种传输方法、系统及相关装置

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101510783A (zh) * 2009-03-26 2009-08-19 北京理工大学 一种基于有限域的多进制喷泉编码和译码方法
CN101873219A (zh) * 2010-05-31 2010-10-27 中山大学深圳研究院 一种基于应用层组播的视频会议直播系统
CN101872555A (zh) * 2010-05-31 2010-10-27 中山大学 一种基于应用层组播的实时互动授课系统
CN101902296A (zh) * 2010-06-23 2010-12-01 中兴通讯股份有限公司 一种喷泉码的编解码方法和装置
CN102130690A (zh) * 2010-01-15 2011-07-20 华为技术有限公司 一种喷泉码编码方法及装置
WO2012018339A1 (en) * 2010-08-05 2012-02-09 Thomson Licensing Application of unequal error protection rateless codes in multimedia streaming over multi-path networks
CN102833691A (zh) * 2012-09-12 2012-12-19 北京理工大学 基于波束成形和喷泉码的d2d多媒体广播和组播方法
CN103856560A (zh) * 2014-02-19 2014-06-11 东莞中山大学研究院 一种基于编码耦合的p2p流媒体调度系统及方法
US20140294118A1 (en) * 2013-04-01 2014-10-02 Korea University Research And Business Foundation Apparatus and method for transmitting data using fountain code in wireless communication system
CN104243096A (zh) * 2014-09-15 2014-12-24 重庆邮电大学 一种基于喷泉码的深空多文件传输方法
CN105262564A (zh) * 2015-09-09 2016-01-20 哈尔滨工业大学深圳研究生院 一种分布式喷泉码的二维度分布设计方法
CN105874794A (zh) * 2014-01-28 2016-08-17 华为技术有限公司 用于视频组播的系统和方法
CN106131968A (zh) * 2016-08-10 2016-11-16 浙江工商大学 一种基于喷泉码的中继基站多播调度方法
CN107786560A (zh) * 2017-10-31 2018-03-09 南京邮电大学盐城大数据研究院有限公司 基于网络编码的多播移动设备视频会议系统
CN109347603A (zh) * 2018-10-24 2019-02-15 中通服咨询设计研究院有限公司 4g和5g无线通信系统中数字喷泉码的参数的优选方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101510783A (zh) * 2009-03-26 2009-08-19 北京理工大学 一种基于有限域的多进制喷泉编码和译码方法
CN102130690A (zh) * 2010-01-15 2011-07-20 华为技术有限公司 一种喷泉码编码方法及装置
CN101873219A (zh) * 2010-05-31 2010-10-27 中山大学深圳研究院 一种基于应用层组播的视频会议直播系统
CN101872555A (zh) * 2010-05-31 2010-10-27 中山大学 一种基于应用层组播的实时互动授课系统
CN101902296A (zh) * 2010-06-23 2010-12-01 中兴通讯股份有限公司 一种喷泉码的编解码方法和装置
WO2012018339A1 (en) * 2010-08-05 2012-02-09 Thomson Licensing Application of unequal error protection rateless codes in multimedia streaming over multi-path networks
CN102833691A (zh) * 2012-09-12 2012-12-19 北京理工大学 基于波束成形和喷泉码的d2d多媒体广播和组播方法
US20140294118A1 (en) * 2013-04-01 2014-10-02 Korea University Research And Business Foundation Apparatus and method for transmitting data using fountain code in wireless communication system
CN105874794A (zh) * 2014-01-28 2016-08-17 华为技术有限公司 用于视频组播的系统和方法
CN103856560A (zh) * 2014-02-19 2014-06-11 东莞中山大学研究院 一种基于编码耦合的p2p流媒体调度系统及方法
CN104243096A (zh) * 2014-09-15 2014-12-24 重庆邮电大学 一种基于喷泉码的深空多文件传输方法
CN105262564A (zh) * 2015-09-09 2016-01-20 哈尔滨工业大学深圳研究生院 一种分布式喷泉码的二维度分布设计方法
CN106131968A (zh) * 2016-08-10 2016-11-16 浙江工商大学 一种基于喷泉码的中继基站多播调度方法
CN107786560A (zh) * 2017-10-31 2018-03-09 南京邮电大学盐城大数据研究院有限公司 基于网络编码的多播移动设备视频会议系统
CN109347603A (zh) * 2018-10-24 2019-02-15 中通服咨询设计研究院有限公司 4g和5g无线通信系统中数字喷泉码的参数的优选方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘德康: "喷泉码在多播传输机制中的应用", 《现代电信科技》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110418165A (zh) * 2019-08-01 2019-11-05 辽宁奥创纪元科技有限公司 一种跨密级单向文件传输方法
CN111669537A (zh) * 2020-04-24 2020-09-15 视联动力信息技术股份有限公司 一种数据分发方法、装置、电子设备及存储介质
CN111669537B (zh) * 2020-04-24 2023-12-29 视联动力信息技术股份有限公司 一种数据分发方法、装置、电子设备及存储介质
WO2024067430A1 (zh) * 2022-09-29 2024-04-04 华为技术有限公司 一种传输方法、系统及相关装置

Similar Documents

Publication Publication Date Title
CN101872555B (zh) 一种基于应用层组播的实时互动授课系统
CN110049271B (zh) 一种视联网会议信息展示方法及装置
CN101873219B (zh) 一种基于应用层组播的视频会议直播系统
CN109729307A (zh) 一种基于喷泉码的组播视频会议系统
CN110557597A (zh) 一种视频会议签到方法、服务器、电子设备及存储介质
CN110475090B (zh) 一种会议控制的方法和系统
CN109120879B (zh) 一种视频会议的处理方法和系统
CN110460804B (zh) 会议数据发送方法、系统、设备和计算机可读存储介质
CN109788232A (zh) 一种视频会议的会议记要记录方法、装置和系统
CN103248882A (zh) 多媒体数据传输的方法、多媒体数据传输装置及系统
CN108809921B (zh) 一种音频处理方法、视联网服务器和视联网终端
CN108616328A (zh) 一种音视频流丢包恢复方法及音视频流发送端和接收端
CN110049273B (zh) 一种基于视联网的会议录制方法和中转服务器
CN110545395B (zh) 一种视联网会议切换方法及装置
CN110446001A (zh) 基于视联网的视频会议处理方法、装置、电子设备及介质
CN109040656B (zh) 一种视频会议的处理方法和系统
CN111327868B (zh) 设置会议发言方角色的方法、终端、服务器、设备及介质
CN109756789A (zh) 一种音视频数据包的丢包处理方法和系统
CN110855926A (zh) 视频会议的处理方法和装置
CN111478884B (zh) 不同视联网之间进行数据传输的方法、装置和存储介质
CN110457575B (zh) 文件推送方法、装置及存储介质
Zhang et al. Gridmedia: A multi-sender based peer-to-peer multicast system for video streaming
CN109302384B (zh) 一种数据的处理方法和系统
Jennehag et al. Increasing bandwidth utilization in next generation IPTV networks
CN110913162A (zh) 一种音视频流数据处理方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190507

RJ01 Rejection of invention patent application after publication