CN102938833A - 视频会议中的方法及装置、多点控制设备及视频会议系统 - Google Patents
视频会议中的方法及装置、多点控制设备及视频会议系统 Download PDFInfo
- Publication number
- CN102938833A CN102938833A CN2012102605071A CN201210260507A CN102938833A CN 102938833 A CN102938833 A CN 102938833A CN 2012102605071 A CN2012102605071 A CN 2012102605071A CN 201210260507 A CN201210260507 A CN 201210260507A CN 102938833 A CN102938833 A CN 102938833A
- Authority
- CN
- China
- Prior art keywords
- udp bag
- udp
- bag
- side terminal
- receiving side
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及一种用于在视频会议中检测UDP包并自动重传的方法及装置、多点控制设备以及视频会议系统。该方法包括：检测所接收到的来自发送方终端的UDP包是否正常，根据检测结果确定是转发该UDP包还是请求重传该UDP包，其中在检测到该UDP包正常的情况下，将该UDP包发送给一个或多个接收方终端，在检测到该UDP包异常的情况下，丢弃该UDP包，向该发送方终端发送该UDP包的重传请求；在接收到该发送方终端重传的UDP包之后，存储该重传的UDP包，并将该重传的UDP包转发给该一个或多个接收方终端的至少其中之一。本发明能够减少视频会议的发送方终端的负载量，从而释放更多的网络资源，以保证视频会议服务质量。
Description
技术领域
本发明涉及视频会议通信系统领域，尤其涉及一种用于在视频会议中检测UDP包并自动重传的方法及装置、多点控制设备以及视频会议系统。
背景技术
视频会议系统是指两个或两个以上不同地方的个人或群体，通过传输线路及多媒体设备，将声音、影像及文件资料互传，实现即时且互动的沟通，以实现会议目的的系统设备。如图1所示，视频会议系统基于H.323协议标准，通过TCP/IP网络，将多方不同的终端都连入数据交换装置（例如，多点处理单元MCU）进行集中交换，组成一个视频会议网络。多点处理单元MCU是多点视频会议系统的关键设备，它的作用相当于一个交换机的作用，它将来自各会议场点的信息流，经过同步分离后，抽取出音频、视频以及数据等信息和信令，再将各会议场点的信息和信令,送入同一种处理模块，完成相应的音频混合或切换、视频混合或切换、数据广播和路由选择以及定时和会议控制等过程，最后将各会议场点所需的各种信息重新组合起来,送往各相应的终端系统设备。
然而，视频会议系统的音/视频数据通过RTP协议被封装成RTP数据包，然后基于UDP（User Datagram Protocol）传输协议进行传输，由于UDP传输协议不属于连接型的协议，因而其是一种不可靠的传输技术，即，当报文从发送方终端发送之后，对于接收该报文的接收方终端设备而言是无法得知该报文是否安全完整到达的。事实上，UDP包在传输过程中可能经过多个路由器或其它网络设备，而这些网络设备可能会对所传输的UDP数据包进行篡改，如果接收方终端设备接收到被篡改的数据则可能会导致该接收方终端设备的异常，例如，解码花屏而导致编解码芯片重启等问题。
虽然UDP传输协议可以使用报头中的校验值（checksum）来保证数据的安全，但是对UDP包的校验值的校验在TCP/IP协议中是非强制的(烦请解释其原因。如果在MCU中强制做校验值的校验功能（即，一旦发现checksum值异常则丢弃该包），使视频会议系统的接收方终端设备具有丢包检测功能，但是现有技术中接收方终端设备在检测到丢包后请求丢包重传的机制会使得网络资源占用严重并且可能使丢包重传失败。这是因为，发送方终端的主要功能是采集-编码-发送音视频码流的，而一个终端的CPU处理能力是有限的，如果多个接收方终端检测到丢包后都同时向发送终端请求丢包重传，势必对发送终端造成很大的负载，可能会导致重传消息大量堵塞，不能及时处理，从而导致重传失败，甚至导致发送端系统崩溃，并且一个终端所连接的带宽是有限制的，如果频繁的响应大量的重传请求势必会导致正常发送码流使用的带宽变窄，可能导致发送丢包。
假设有这样一种场景：召开一个多点会议，有191个终端入会，将其中一个与会终端设置为发言人，另外190个终端作为观众接受发言人的音/视频码流，此时发言终端的音/视频码流会成为当前会议的广播源，广播源码流通过网络将码流传输给MCU，MCU对接受到的音视频UDP包进行checksum值校验后并进行码流转发，如果MCU检测到UDP包的checksum值异常会丢弃该UDP包，结果所有的观众终端都会检测到丢包。如果此时所有观众终端都去向发言终端申请重传，势必导致发言终端的负载过大，可能会导致重传失败或其他异常。
发明内容
为了解决上述问题，本发明的目的是提供一种用于在视频会议中检测UDP包并自动重传的方法及装置，能偶在保证码流重传功能的正常同时保证发送方终端的负载量不会太大。
为实现上述目的，根据本发明的一个方案，提供了一种用于在视频会议中检测UDP包并自动重传的方法，所述方法包括：检测所接收到的来自发送方终端的UDP包是否正常，根据检测结果确定是转发该UDP包还是请求重传该UDP包，其中在检测到该UDP包正常的情况下，将该UDP包发送给一个或多个接收方终端，在检测到该UDP包异常的情况下，丢弃该UDP包，向该发送方终端发送该UDP包的重传请求；在接收到该发送方终端重传的UDP包之后，存储该重传的UDP包，并将该重传的UDP包转发给该一个或多个接收方终端的至少其中之一。
在上述本发明的方案中，所述用于在视频会议中检测UDP包并自动重传的方法还可对一段预定时间内接收到的UDP包进行丢包检测，如果检测到丢包，则向该发送方终端发送被丢掉UDP包的重传请求。
根据本发明的另一个方案，提供一种用于在视频会议中检测UDP包并自动重传的方法，所述方法适用于包括发送方终端、多点控制设备以及一个或多个接收方终端的视频会议系统，所述方法包括：发送方终端通过网络发送UDP包，并同时备份该UDP包；多点控制设备接收该UDP包，并检测该UDP包是否正常，根据检测结果确定是转发该UDP包还是请求重传该UDP包，其中在检测到该UDP包正常的情况下，将该UDP包发送给一个或多个接收方终端，在检测到该UDP包异常的情况下，丢弃该UDP包，向该发送方终端发送该UDP包的重传请求；发送方终端接收到该UDP包的重传请求之后，取出备份的该UDP包，并将其重传给该多点控制单元；所述多点控制设备在接收到该发送方终端重传的UDP包之后，存储该重传的UDP包，并将该重传的UDP包转发给该一个或多个接收方终端的至少其中之一。
在上述本发明的方案中，所述多点控制设备可通过检测校验值来检测来自发送方终端的UDP包是否正常。
在上述本发明的方案中，所述多点控制设备还对一段预定时间内接收到的UDP包进行丢包检测，如果检测到丢包，则向该发送方终端发送被丢掉UDP包的重传请求。
相应地，在本发明的再一个方案中，本发明还提供一种相应方法的用于在视频会议中检测UDP包并自动重传的装置，包括：检测模块，用于检测所接收到的来自发送方终端的UDP包是否正常，根据检测结果确定是转发该UDP包还是请求重传该UDP包，其中在检测到该UDP包正常的情况下，将该UDP包发送给一个或多个接收方终端，在检测到该UDP包异常的情况下，丢弃该UDP包，向该发送方终端发送该UDP包的重传请求；重传模块，用于在接收到该发送方终端重传的UDP包之后，存储该重传的UDP包，并将该重传的UDP包转发给该一个或多个接收方终端的至少其中之一。
根据本发明的一个实施例，上述装置还包括：备份模块，用于在向所述一个或多个接收方终端发送该UDP包的同时对该UDP包进行备份。
根据本发明的一个实施例，上述装置还包括：丢包检测模块，用于对一段预定时间内接收到的UDP包进行丢包检测，如果检测到丢包，则向该发送方终端发送被丢掉UDP包的重传请求。
进一步地，根据本发明的又一个方案，本发明还提供一种多点控制设备，包括：
终端接入板，用于管理和控制视频会议双方终端的呼叫、接入以及释放；
转发板，用于接收来自发送方终端的UDP包，并将该UDP包转发给该一个或多个接收方终端，所述转发板还用于在转发该UDP包给该一个或多个接收方终端之前对该UDP包进行检测，包括：检测模块，用于检测该UDP包是否正常，根据检测结果确定是转发该UDP包还是请求重传该UDP包，其中在检测到该UDP包正常的情况下，将该UDP包发送给一个或多个接收方终端，在检测到该UDP包异常的情况下，丢弃该UDP包，向该发送方终端发送该UDP包的重传请求；重传模块，用于在接收到该发送方终端重传的UDP包之后，存储该重传的UDP包，并将该重传的UDP包转发该一个或多个接收方终端的至少其中之一；
控制板，用于对所述终端接入板和转发板进行管理控制。
根据本发明的再一个方案，本发明还提供另一种结构的多点控制设备，将重传功能单设到另一个板卡上，具体包括终端接入板、转发板、重传板以及控制板。其中，所述终端接入板用于管理和控制视频会议双方终端的呼叫、接入以及释放；所述转发板用于检测所接收到的来自发送方终端的UDP包是否正常，根据检测结果确定是转发该UDP包还是请求重传该UDP包，其中在检测到该UDP包正常的情况下，将该UDP包发送给一个或多个接收方终端，在检测到该UDP包异常的情况下，丢弃该UDP包，向该发送方终端发送该UDP包的重传请求；所述重传板用于在接收到该发送方终端重传的UDP包之后，存储该重传的UDP包，并将该重传的UDP包转发该一个或多个接收方终端的至少其中之一；所述控制板用于对所述终端接入板、所述转发板以及所述重传板进行管理控制。
在上述多点控制设备中，所述重传板还包括丢包检测模块，用于对一段预定时间内接收到的UDP包进行丢包检测，如果检测到丢包，则向该发送方终端发送被丢掉UDP包的重传请求。
由此，本发明还提供一种视频会议系统，包括：发送方终端，将其端采集到的音视频数据编码成UDP包，并通过网络发送该UDP包，并同时备份该UDP包；上面描述的多点控制设备，接收来自所述发送方终端的UDP包；一个或多个接收方终端，接收并解码来自所述多点控制设备的UDP包。
本发明通过将码流请求重传的功能从接收方终端中释放出来，从而减少视频会议的发送方终端的负载量，释放更多的网络资源，因此保证了视频会议服务质量。
附图说明
图1为现有技术的视频会议系统的示意图；
图2为示出了根据本发明一个实施例的用于在视频会议中检测码流并自动重传的方法的流程图；
图3为示出根据本发明的一个实施例的在视频会议中码流传输并自动重传的方法的示意图；
图4为示出根据本发明的一个实施例的在视频会议中码流传输并自动重传的方法的流程图；
图5为示出了用于本发明的RTCP结构体的一个实例的图示；
图6为示出根据本发明的另一个实施例的在视频会议中码流传输并自动重传的方法的流程图；
图7为示出根据本发明的另一个实施例在视频会议中码流传输并自动重传的方法的流程图；
图8为示出根据本发明的再一个实施例在视频会议中码流传输并自动重传的方法的流程图；
图9为示出了根据本发明的一实施例的一种用于在视频会议中检测UDP包并自动重传的装置的结构示意图；
图10为示出了根据本发明一实施例的视频会议系统的主要结构的示意图；
图11为示出了根据本发明另一实施例的视频会议系统的主要结构的示意图。
具体实施方式
下文中，将参照附图对本技术的优选实施例进行阐释。所举实例仅用于解释本发明，而并非用于限定本发明的范围。
参考图1，在一个视频会议中，共涉及到三方数据的交换，即，发送方终端（发言者）、数据交换设备（例如，多点控制单元MCU）、以及接收方终端。视频会议传输通常基于UDP协议通过互联网（例如TCP/IP网络）进行传输。
在现有技术中，如果发起了一个视频会议，则发送方终端会在其源端将音频、视频以及数据封装成UDP包，然后通过TCP/IP网络将其传输给用于视频会议数据交换的多点控制单元MCU。之后，该多点控制单元MCU仅是检验发送方终端发送的UDP包是否异常，并将没有异常的UDP包通过网络转发给接收方终端，然后接收方终端向发送方终端请求重传有异常的UDP包。
通常，发送方终端的数量仅为一个，而接收方终端的数量为多个，因而，对于发送方终端而言，如果存在多个接收方终端，其广播码流的负载会有多个，这意味着一旦码流传输异常，则响应多个接收方终端的重传请求，这势必会增加发送方终端的负载量，从而可能导致响应不及时而进而引起重传失败，并影响接下来的码流传输。
与现有技术不同的是，在本发明中，多点控制单元MCU在接收到发送方终端的UDP包时，检测UDP包是否存在异常，而且在UDP包不存在异常的情况下转发给多个接收方终端，同时备份转发的UDP包，如果存在异常的UDP包，则仅通过MCU向发送方终端请求重传，之后将接收到的重传UDP包再分发给各接收方终端。由此可以看出，在本发明中，通过在多点控制单元MCU上设置码流重传功能，使得在接收方终端检测到丢包之后不用向发送方终端请求重传，而是直接向MCU多点控制单元请求丢包重传，从而保证码流重传功能的正常同时还减轻了发送终端的负载量。
图2为示出了根据本发明一个实施例的用于在视频会议中检测码流并自动重传的方法的流程图。参考图2，在多点控制单元MCU中，设置检测UDP包并自动重传的功能，即，检测来自发送方终端的UDP包是否异常，在该UDP包正常的情况下，将该UDP包发送给一个或多个接收方终端，同时对该UDP包进行备份，在该UDP包异常的情况下，丢弃该UDP包，向该发送方终端发送该UDP包的重传请求；在接收到该发送方终端重传的UDP包之后，存储该重传的UDP包，并将该重传的UDP包转发该一个或多个接收方终端的至少其中之一。
图3为示出根据本发明的一个实施例的在视频会议中码流传输并自动重传的方法的结构示意图；图4为示出根据本发明的一个实施例的在视频会议中码流传输并自动重传的方法的流程图。
参考图3和图4，在视频会议中，发送方终端将音视频等数据帧通过网络（例如，TCP/IP网路）传输给多点控制单元MCU。通常，TCP/IP协议链路层的最大传输单元（Maximum Transmission Unit，MTU）是有限制的，因而，在视频会议中，是需要将音视频等数据帧“分割”成多个小的UDP包进行传输，为了保证这些分割的UDP包到达目的端能够正确地“组装”起来，所分割出的UDP包需包含以下信息：SSRC，用于标志同步源；sn，UDP包的序号，同一个同步源出来的包序号是连续的，TS，时间戳，同一帧的数据包时间戳相同；mark，用来标志同一帧的最后一个数据包。
如果发送方终端开启丢包重传功能，其在发送UDP包的同时将该UDP包备份到发送方终端的重传缓存中，然后，该UDP包通过网络传输到多点处理控制单元MCU中。
多点处理控制单元MCU对接收到的UDP包进行检测，如果没有异常，则转发给各接收方终端，同时存储该UDP包，如果存在异常，则丢弃该UDP包，并向发送方终端请求重传。检测的方式可为对收到的UDP包的校验值（即，checksum值）重新计算并和该UDP包发送时的checksum值进行比较，如果发现不一致则认为该UDP异常，反之，则认为该UDP包为从发送方终端发送的源UDP包。
这里需要说明的是，由于通过UDP传输通道的媒体流较多，如果重传请求信令也通过UDP传输通道进行传输，则也会发生丢失以及篡改的情况，因此，在发送重传请求时，多点控制单元MCU可基于RTCP(Real-time TransportControl Protocol,实时传输控制协议)协议通过RTCP通道向发送方终端发送重传请求，从而可以保证视频会议双方的服务质量不会受到损失。在这种情况下，多点控制单元MCU将重传请求结构消息封装到RTCP包，然后在RTCP通道进行传输，其中重传请求结构消息包括丢弃UDP包的sn（序列号）、TS（时间戳）、SSRC（同步源）等。
通常，在TCP/IP协议中定义了多种结构类型的RTCP包，在本发明中，可以优选使用SDES类型，其中该SDES类型如图5所示，该类型中包含了NOTE项，该NOTE项中包含了重传请求的消息。
一旦发送方终端接收到MCU的UDP包重传请求时，则向其备份缓存中查找该UDP包，例如，根据sn（序列号）、TS（时间戳）、SSRC（同步源）等从备份缓存中进行查找，然后将查找到的UDP包发送给多点控制单元MCU。多点控制单元MCU接收到重传的UDP包之后，预先将其备份到自己的缓存中，然后再分发给接收方终端。这里，多点控制单元MCU会定时清空自己的缓存，以使不过多的占用内存资源。
图6为示出根据本发明的另一个实施例的在视频会议中码流传输并自动重传的方法的流程图。
在上述实施例中，多点控制单元MCU没有区别地将收到的UDP包（包括源UDP包和重传的UDP包）转发给各接收方终端。然而，在本发明的另一个实施例中，多点控制单元MCU选择性地将重传UDP包转发给向其请求重传的接收方终端。
存在这样的一种情况，即，从发送方终端到多点控制单元MCU的传输过程中，UDP包没有发生异常，但是在多点控制单元MCU转发给各接收方终端时，可能会发生由于网络质量不好而导致丢包情况的发生，则某些接收方终端并不会收到该UDP包。在这种情况下，如图6所示，接收方终端需要对所接收到的码流进行丢包检测，对一段预定时间内接收到的UDP包进行丢包检测，如果检测到丢包，则向该发送方终端发送被丢掉UDP包的重传请求。例如，可通过在设定的丢包检测时间过去之后，开始检测同一个时间戳的UDP包的sn序号是否连续，如果不连续，则认为有UDP包被丢失，然后将向多点控制单元MCU发送丢弃的UDP包的重传请求。这里，重传请求的信令也可基于上文描述的RTCP通道进行传输，因而省略其详细描述。
由于音视频帧的信息量很大而受到网络限制，因此在发送之前会被分割成多个小的“UDP数据包”进行发送，接收方终端在接收音视频数据包时，会先把音视频数据包放置到缓存中，同一帧的数据包收齐以后才开始进行丢包检测。根据每个UDP数据包的时间戳来判断是否为同一帧数据，如果是同一音视频帧分割成的“数据包”后则具有相同的“时间戳”，在接收完该帧的数据包才启动丢包检测功能，因此丢包检测时间点是根据每帧数据的时间长度而定。
此时，多点控制单元MCU如果接收到某个接收方终端的丢包重传请求，则从自己的缓存中查找备份的UDP包，然后将所找到的UDP包发送给该接收方终端。
图7为示出根据本发明的另一个实施例在视频会议中码流传输并自动重传的方法的流程图。
事实上，在发送方终端向多点控制单元MCU发送UDP包时，也可能存在上述同样的丢包问题，因而，在本发明另一个实施例中，如图7所示，为了更好地保证视频会议的传输服务质量，多点控制单元MCU不仅具有UDP包异常的检测功能，还具有丢包检测功能，该丢包检测方式同样于接收方终端的检测方式，即对一段预定时间内接收到的UDP包进行丢包检测，如果检测到丢包，则向该发送方终端发送被丢掉UDP包的重传请求。具体地，通过在设定的丢包检测时间过去之后，检测同一个时间戳的UDP包的sn序号是否连续，如果不连续，则认为有UDP包被丢失，然后向发送方终端发送丢弃的UDP包的重传请求。
图8为示出根据本发明的再一个实施例在视频会议中码流传输并自动重传的方法的流程图。
如图8所示，在本发明再一个实施例中，多点控制单元MCU和接收方终端都具有丢包检测功能。即，多点控制单元MCU对接收到的UDP进行异常检测，如果该UDP包不存在异常，则在转发给各接收方终端的同时备份该UDP包，然后，多点控制单元MCU和各接收方终端检测所接收到的UDP包码流是否连续，如果在设定的丢包检测时间过去之后检测到同一个时间戳的UDP包的序号不连续，则多点控制单元MCU向发送方终端发送请求重传丢弃包的信令，而接收方终端向多点控制单元MCU发送请求重传丢弃包的信令，当多点控制单元MCU接收到来自发送方终端的重传包时，在转发给向其请求的接收方终端的同时，也会将其备份在自己的缓存中。
图9为示出了根据本发明的一实施例的一种用于在视频会议中检测UDP包并自动重传的装置的结构示意图。
参考图9，多点控制单元MCU除具有现有技术中在视频会议中所需要的用于接入各方终端并交换数据等装置之外，还具有在视频会议中检测UDP包并自动重传的装置，该装置包括：检测模块，用于检测所接收到的来自发送方终端的UDP包是否正常，根据检测结果确定是转发该UDP包还是请求重传该UDP包，其中在检测到该UDP包正常的情况下，将该UDP包发送给一个或多个接收方终端，在检测到该UDP包异常的情况下，丢弃该UDP包，向该发送方终端发送该UDP包的重传请求；重传模块，用于在接收到该发送方终端重传的UDP包之后，存储该重传的UDP包，并将该重传的UDP包转发给该一个或多个接收方终端的至少其中之一。
根据本发明的一个实施例，上述在视频会议中检测UDP包并自动重传的装置还包括备份模块，该备份模块用于向所述一个或多个接收方终端发送该UDP包的同时对该UDP包进行备份。进一步地，在接收方终端也进行丢包检测并发送请求重传UDP包时，上述重传模块还用于在接收到所述一个或多个接收方终端的重传请求时，将所述备份的UDP包发送给发送了重传请求的所述一个或多个接收方终端，这里所述重传模块仅向其请求重传UDP包的接收方终端转发重传的UDP包。
根据本发明的另一个实施例，所述在视频会议中检测UDP包并自动重传的装置还包括丢包检测模块，用于对一设定时间内接收到的UDP包进行丢包检测，如果检测到丢包，则向该发送方终端发送被丢掉UDP包的重传请求。根据本发明的一个实施例，丢包检测模块可通过在一设定时间过去之后，检测同一时间戳内所接收到的UDP包的序号是否连续，如果不连续，则向该发送方终端发送被丢掉UDP包的重传请求。
图10为示出了根据本发明一实施例的视频会议系统的主要结构的示意图。
在图10所示的视频会议系统中，多点控制单元MCU主要包括三个功能板卡，即终端接入板、转发板以及控制板。当然，多点控制单元MCU一个多个功能板卡组成的集合体，在实际使用时不局限于上述三种板卡，还可具有其它功能的扩展板卡，由于其它功能的扩展板卡与本发明的核心之处并无关联，为了简洁本发明的描述，因此这里省略了其它板卡的描述，但并不意味着不需要其它板卡。
终端接入板（简称为HDI板）用于管理和控制包括视频会议双方终端的呼叫、接入以及释放，例如召集呼叫终端参与视频会议，还可对挂断会议进行控制。
转发板（简称为MP板），用于接收来自发送方终端的UDP包，并将该UDP包转发给该一个或多个接收方终端，所述转发板还用于在转发该UDP包给该一个或多个接收方终端之前对该UDP包进行检测，包括检测模块和重传模块。所述检测模块用于检测该UDP包是否正常，根据检测结果确定是转发该UDP包还是请求重传该UDP包，其中在检测到该UDP包正常的情况下，将该UDP包发送给一个或多个接收方终端，在检测到该UDP包异常的情况下，丢弃该UDP包，向该发送方终端发送该UDP包的重传请求。所述重传模块用于在接收到该发送方终端重传的UDP包之后，存储该重传的UDP包，并将该重传的UDP包转发该一个或多个接收方终端的至少其中之一。
在本发明的一个实施例中，转发板还包括备份模块，用于在向所述一个或多个接收方终端发送该UDP包的同时对该UDP包进行备份。进一步地，在接收方终端也进行丢包检测并发送请求重传UDP包时，转发板中的重传模块还用于在接收到所述一个或多个接收方终端的重传请求时，将所述备份的UDP包发送给发送重传请求的所述一个或多个接收方终端。这里所述重传模块仅向其请求重传UDP包的接收方终端转发重传的UDP包。
在本发明的另一个实施例中，该转发板还具有丢包检测功能，其进一步包括丢包检测模块，用于在对一段预定时间内接收到的UDP包进行丢包检测，如果检测到丢包，则向该发送方终端发送被丢掉UDP包的重传请求。根据本发明的一个实施例，丢包检测模块可通过在一设定时间过去之后，检测同一时间戳内所接收到的UDP包的序号是否连续，如果不连续，则向该发送方终端发送被丢掉UDP包的重传请求。具有丢包检测功能的转发板可以进一步保证视频会议的传输质量。
控制板（简称为MPC板）是MCU的核心板卡，用于对所述多点处理设备所包括的其它板进行管理控制，这里所述的其它板例如为终端接入板和转发板等。。
图11为示出了根据本发明另一实施例的视频会议系统的主要结构的示意图。
图11所示的MCU结构在总体功能同样于图10所示的MCU结构，但是在硬件结构上，将重传功能从转发板分离出来，单设一个重传板（PRS板）。由此，图11所示的MCU设备包括终端接入板、转发板、重传板以及控制板。图11中的终端接入板与图10中的功能和结构相同，而图11中的控制板需要增设控制管理重传板的功能。
图11中的转发板的功能为，用于检测所接收到的来自发送方终端的UDP包是否正常，根据检测结果确定是转发该UDP包还是请求重传该UDP包，其中在检测到该UDP包正常的情况下，将该UDP包发送给一个或多个接收方终端，在检测到该UDP包异常的情况下，丢弃该UDP包，向该发送方终端发送该UDP包的重传请求。
图11中的重传板用于在接收到该发送方终端重传的UDP包之后，存储该重传的UDP包，并将该重传的UDP包转发该一个或多个接收方终端的至少其中之一。
换言之，在图11中所示的MCU的结构为本发明的最优选实施例。在图7所示的结构中，将本发明的重传功能外设到另一块单独的重传板上的好处是，不需要对现有的MCU设备中的其它板卡进行改进，从而可以基于现有的MCU设备进行扩展，便于实施和制造。
根据本发明的另一实施例，图11中的转发板在向所述一个或多个接收方终端发送该UDP包的同时还将该UDP包发送给重传板，所述重传板将所接收到的UDP包存储。
根据本发明的另一个实施例，图11中的重传板还具有丢包检测功能，其包括丢包检测模块，用于对一段预定时间内接收到的UDP包进行丢包检测，如果检测到丢包，则向该发送方终端发送被丢掉UDP包的重传请求。所述丢包检测模块可通过在一设定时间过去之后，检测同一时间戳内所接收到的UDP包的序号是否连续，如果不连续，则向该发送方终端发送被丢掉UDP包的重传请求。此外，如果接收方终端也具有上述的丢包检测功能，所述重传板还用于在接收到所述一个或多个接收方终端的重传请求时，将所述存储的UDP包发送给发送重传请求的所述一个或多个接收方终端。这里，所述重传板仅向其请求重传UDP包的接收方终端转发重传的UDP包。
另外，在图11所示的重传板中，还可设置多个不同的逻辑通道（即，缓存区）用于备份不同类型的广播源码流。
再次参考图10和图11，视频会议系统包括视频会议通信的双方终端（即发送方终端和接收方终端）以及MCU设备。
所述发送方终端采集其端的音视频数据，并对该音视频数据进行编码，然后分割封装成适于传输的UDP包，然后通过网络发送UDP包。除此以外，在本发明中，发送方终端还需要在通过网络发送UDP包的同时备份该UDP包到其缓存中，以便于能够响应MCU设备的重传请求。当然，备份的UDP包会定时清空，以便于释放空间，清空的时间依据需要而进行设置。
MCU设备则为本发明的采用上述功能模块和结构的MCU设备。
接收方终端接收并解码来自所述多点控制设备的UDP包。接收方终端通常为多个，当然，也存在只有一个的情况。
在本发明的一个实施例中，接收方终端还具有丢包检测并向MCU设备请求丢包重传的功能，即，对一段预定时间内接收到的UDP包进行丢包检测，如果检测到丢包，则向该发送方终端发送被丢掉UDP包的重传请求。
在图10和图11的视频会议系统中，发送方终端和接收方终端根据发言的时间顺序，其相对位置是互换的。例如，这个时刻作为发送方的终端又可在另一时刻作为接收方的终端，同样，这个时刻作为接收方的终端又可在另一时刻作为发送方的终端。因而，可以理解到，作为视频会议的终端，需要兼具作为发送方和作为接收方的功能。
虽然已参照几个典型实施例描述了本发明，但应当理解，所用的术语是说明和示例性、而非限制性的术语。由于本发明能够以多种形式具体实施而不脱离发明的精神或实质，所以应当理解，上述实施例不限于任何前述的细节，而应在随附权利要求所限定的精神和范围内广泛地解释，因此落入权利要求或其等效范围内的全部变化和改型都应为随附权利要求所涵盖。
Claims (24)
1.一种用于在视频会议中检测UDP包并自动重传的方法，其特征在于，所述方法包括：
检测所接收到的来自发送方终端的UDP包是否正常，根据检测结果确定是转发该UDP包还是请求重传该UDP包，其中在检测到该UDP包正常的情况下，将该UDP包发送给一个或多个接收方终端，在检测到该UDP包异常的情况下，丢弃该UDP包，向该发送方终端发送该UDP包的重传请求；
在接收到该发送方终端重传的UDP包之后，存储该重传的UDP包，并将该重传的UDP包转发给该一个或多个接收方终端的至少其中之一。
2.根据权利要求1所述的方法，其特征在于，其中通过校验值来检测来自发送方终端的UDP包是否异常。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：在向所述一个或多个接收方终端发送该UDP包的同时对该UDP包进行备份。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：在接收到所述一个或多个接收方终端的重传请求时，将所述备份的UDP包发送给发送重传请求的所述一个或多个接收方终端。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
对一段预定时间内接收到的UDP包进行丢包检测，如果检测到丢包，则向该发送方终端发送被丢掉UDP包的重传请求。
6.一种用于在视频会议中检测UDP包并自动重传的方法，所述方法适用于包括发送方终端、多点控制设备以及一个或多个接收方终端的视频会议系统，其特征在于，所述方法包括：
发送方终端通过网络发送UDP包，并同时备份该UDP包；
多点控制设备接收该UDP包，并检测该UDP包是否正常，根据检测结果确定是转发该UDP包还是请求重传该UDP包，其中在检测到该UDP包正常的情况下，将该UDP包发送给一个或多个接收方终端，在检测到该UDP包异常的情况下，丢弃该UDP包，向该发送方终端发送该UDP包的重传请求；
发送方终端接收到该UDP包的重传请求之后，取出备份的该UDP包， 并将其重传给该多点控制单元；
所述多点控制设备在接收到该发送方终端重传的UDP包之后，存储该重传的UDP包，并将该重传的UDP包转发给该一个或多个接收方终端的至少其中之一。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
所述一个或多个接收方终端对一段预定时间内接收到的UDP包进行丢包检测，如果检测到丢包，则向所述多点控制单元发送被丢掉UDP包的重传请求。
8.根据权利要求6或7所述的方法，其特征在于，所述多点控制设备在向所述一个或多个接收方终端发送该UDP包的同时对该UDP包进行备份。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：在接收到所述一个或多个接收方终端的重传请求时，将所述备份的UDP包发送给发送重传请求的所述一个或多个接收方终端。
10.根据权利要求6-9任一项所述的方法，其特征在于，所述多点控制设备还对一段预定时间内接收到的UDP包进行丢包检测，如果检测到丢包，则向该发送方终端发送被丢掉UDP包的重传请求。
11.一种用于在视频会议中检测UDP包并自动重传的装置，其特征在于，所述装置包括：
检测模块，用于检测所接收到的来自发送方终端的UDP包是否正常，根据检测结果确定是转发该UDP包还是请求重传该UDP包，其中在检测到该UDP包正常的情况下，将该UDP包发送给一个或多个接收方终端，在检测到该UDP包异常的情况下，丢弃该UDP包，向该发送方终端发送该UDP包的重传请求；
重传模块，用于在接收到该发送方终端重传的UDP包之后，存储该重传的UDP包，并将该重传的UDP包转发给该一个或多个接收方终端的至少其中之一。
12.根据权利要求11所述的装置，其特征在于，所述装置还包括：
备份模块，用于在向所述一个或多个接收方终端发送该UDP包的同时对该UDP包进行备份。
13.根据权利要求12所述的装置，其特征在于，所述重传模块还用于在接收到所述一个或多个接收方终端的重传请求时，将所述备份的UDP包发送给发送重传请求的所述一个或多个接收方终端。
14.根据权利要求11-13任一项所述的装置，其特征在于，所述装置还包括：丢包检测模块，用于对一段预定时间内接收到的UDP包进行丢包检测，如果检测到丢包，则向该发送方终端发送被丢掉UDP包的重传请求。
15.一种多点控制设备，其特征在于，所述多点控制设备包括：
终端接入板，用于管理和控制视频会议双方终端的呼叫、接入以及释放；
转发板，用于接收来自发送方终端的UDP包，并将该UDP包转发给该一个或多个接收方终端，所述转发板还用于在转发该UDP包给该一个或多个接收方终端之前对该UDP包进行检测，包括：
检测模块，用于检测该UDP包是否正常，根据检测结果确定是转发该UDP包还是请求重传该UDP包，其中在检测到该UDP包正常的情况下，将该UDP包发送给一个或多个接收方终端，在检测到该UDP包异常的情况下，丢弃该UDP包，向该发送方终端发送该UDP包的重传请求；
重传模块，用于在接收到该发送方终端重传的UDP包之后，存储该重传的UDP包，并将该重传的UDP包转发该一个或多个接收方终端的至少其中之一；
控制板，用于对所述终端接入板和转发板进行管理控制。
16.根据权利要求15所述的多点控制设备，其特征在于，所述转发板还包括：备份模块，用于在向所述一个或多个接收方终端发送该UDP包的同时对该UDP包进行备份。
17.根据权利要求16所述的多点控制设备，其特征在于，所述重传模块还用于在接收到所述一个或多个接收方终端的重传请求时，将所述备份的UDP包发送给发送重传请求的所述一个或多个接收方终端。
18.根据权利要求15-17任一项所述的多点控制设备，其特征在于，所述转发板还包括：丢包检测模块，用于对一段预定时间内接收到的UDP包进行丢包检测，如果检测到丢包，则向该发送方终端发送被丢掉UDP包的重传请求。
19.一种多点控制设备，其特征在于，所述多点控制设备包括终端接入板、转发板、重传板以及控制板；
其中，所述终端接入板用于管理和控制视频会议双方终端的呼叫、接入以及释放；
所述转发板用于检测所接收到的来自发送方终端的UDP包是否正常，根据检测结果确定是转发该UDP包还是请求重传该UDP包，其中在检测到该UDP包正常的情况下，将该UDP包发送给一个或多个接收方终端，在检测到该UDP包异常的情况下，丢弃该UDP包，向该发送方终端发送该UDP包的重传请求；
所述重传板用于在接收到该发送方终端重传的UDP包之后，存储该重传的UDP包，并将该重传的UDP包转发该一个或多个接收方终端的至少其中之一；
所述控制板用于对所述终端接入板、所述转发板以及所述重传板进行管理控制。
20.根据权利要求19所述的多点控制设备，其特征在于，所述转发板在向所述一个或多个接收方终端发送该UDP包的同时还将该UDP包发送给所述重传板，所述重传板存储所接收到的该UDP包。
21.根据权利要求20所述的多点控制设备，其特征在于，所述重传板还包括丢包检测模块，用于对一段预定时间内接收到的UDP包进行丢包检测，如果检测到丢包，则向该发送方终端发送被丢掉UDP包的重传请求。
22.根据权利要求20或21所述的多点控制设备，其特征在于，所述重传板还用于在接收到所述一个或多个接收方终端的重传请求时，将所述存储的UDP包发送给发送重传请求的所述一个或多个接收方终端。
23.一种视频会议系统，其特征在于，包括：
发送方终端，将其端采集到的音视频数据编码成UDP包，并通过网络发送该UDP包，并同时备份该UDP包；
根据权利要求15-22任一项所述的多点控制设备，接收来自所述发送方终端的UDP包；
一个或多个接收方终端，接收并解码来自所述多点控制设备的UDP包。
24.根据权利要求23所述的视频会议系统，其特征在于，所述一个或 多个接收方终端还对一段预定时间内接收到的UDP包进行丢包检测，如果检测到丢包，则向该发送方终端发送被丢掉UDP包的重传请求。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210260507.1A CN102938833B (zh) | 2012-07-25 | 2012-07-25 | 视频会议中的方法及装置、多点控制设备及视频会议系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210260507.1A CN102938833B (zh) | 2012-07-25 | 2012-07-25 | 视频会议中的方法及装置、多点控制设备及视频会议系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102938833A true CN102938833A (zh) | 2013-02-20 |
| CN102938833B CN102938833B (zh) | 2016-10-12 |
Family
ID=47697699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210260507.1A Active CN102938833B (zh) | 2012-07-25 | 2012-07-25 | 视频会议中的方法及装置、多点控制设备及视频会议系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102938833B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103685243A (zh) * | 2013-11-28 | 2014-03-26 | 许继电气股份有限公司 | 一种基于udp协议的故障录波数据的传输方法 |
| CN105187759A (zh) * | 2014-06-20 | 2015-12-23 | 鸿富锦精密工业（深圳）有限公司 | 降低视频数据错误率的方法及视频设备 |
| CN109842821A (zh) * | 2018-12-25 | 2019-06-04 | 视联动力信息技术股份有限公司 | 一种视频数据传输的方法和装置 |
| CN110099242A (zh) * | 2019-04-02 | 2019-08-06 | 视联动力信息技术股份有限公司 | 一种远程直播方法和装置 |
| CN110290130A (zh) * | 2019-06-21 | 2019-09-27 | 京信通信系统（中国）有限公司 | Volte数据的传输方法、装置、接入网设备以及存储介质 |
| CN112565430A (zh) * | 2020-12-08 | 2021-03-26 | 上证所信息网络有限公司 | 一种多市场行情数据在广域网的低时延可靠传输方法 |
| CN115242757A (zh) * | 2022-09-21 | 2022-10-25 | 北京威泰视信科技有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
| WO2023051153A1 (zh) * | 2021-09-30 | 2023-04-06 | 中兴通讯股份有限公司 | 会议电视mcu巡检方法、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1910926A (zh) * | 2004-01-21 | 2007-02-07 | 达丽星网络有限公司 | 用于处理视频通信差错的方法和装置 |
| CN101075948A (zh) * | 2006-05-15 | 2007-11-21 | 中兴通讯股份有限公司 | 一种实现实时流媒体节目可靠传输的方法 |
| CN101304302A (zh) * | 2008-06-06 | 2008-11-12 | 广东威创视讯科技股份有限公司 | 视频数据的传输方法及其系统 |
| CN101883240A (zh) * | 2010-06-09 | 2010-11-10 | 广东威创视讯科技股份有限公司 | 基于mcu的视频会议系统及其视频传输丢包处理的方法 |
| US20120013748A1 (en) * | 2009-06-12 | 2012-01-19 | Cygnus Broadband, Inc. | Systems and methods for prioritization of data for intelligent discard in a communication network |
-
2012
- 2012-07-25 CN CN201210260507.1A patent/CN102938833B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1910926A (zh) * | 2004-01-21 | 2007-02-07 | 达丽星网络有限公司 | 用于处理视频通信差错的方法和装置 |
| CN101075948A (zh) * | 2006-05-15 | 2007-11-21 | 中兴通讯股份有限公司 | 一种实现实时流媒体节目可靠传输的方法 |
| CN101304302A (zh) * | 2008-06-06 | 2008-11-12 | 广东威创视讯科技股份有限公司 | 视频数据的传输方法及其系统 |
| US20120013748A1 (en) * | 2009-06-12 | 2012-01-19 | Cygnus Broadband, Inc. | Systems and methods for prioritization of data for intelligent discard in a communication network |
| CN101883240A (zh) * | 2010-06-09 | 2010-11-10 | 广东威创视讯科技股份有限公司 | 基于mcu的视频会议系统及其视频传输丢包处理的方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103685243A (zh) * | 2013-11-28 | 2014-03-26 | 许继电气股份有限公司 | 一种基于udp协议的故障录波数据的传输方法 |
| CN105187759A (zh) * | 2014-06-20 | 2015-12-23 | 鸿富锦精密工业（深圳）有限公司 | 降低视频数据错误率的方法及视频设备 |
| CN105187759B (zh) * | 2014-06-20 | 2018-08-07 | 南宁富桂精密工业有限公司 | 降低视频数据错误率的方法及视频设备 |
| CN109842821A (zh) * | 2018-12-25 | 2019-06-04 | 视联动力信息技术股份有限公司 | 一种视频数据传输的方法和装置 |
| CN110099242A (zh) * | 2019-04-02 | 2019-08-06 | 视联动力信息技术股份有限公司 | 一种远程直播方法和装置 |
| CN110290130A (zh) * | 2019-06-21 | 2019-09-27 | 京信通信系统（中国）有限公司 | Volte数据的传输方法、装置、接入网设备以及存储介质 |
| CN112565430A (zh) * | 2020-12-08 | 2021-03-26 | 上证所信息网络有限公司 | 一种多市场行情数据在广域网的低时延可靠传输方法 |
| WO2023051153A1 (zh) * | 2021-09-30 | 2023-04-06 | 中兴通讯股份有限公司 | 会议电视mcu巡检方法、电子设备及存储介质 |
| CN115242757A (zh) * | 2022-09-21 | 2022-10-25 | 北京威泰视信科技有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102938833B (zh) | 2016-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102938833A (zh) | 视频会议中的方法及装置、多点控制设备及视频会议系统 | |
| US9083585B2 (en) | Retransmission-based stream repair and stream join | |
| RU2501172C2 (ru) | Способ и устройство для компенсации потери пакетов в режиме передачи данных по протоколу пользовательских дейтаграмм | |
| CN101861709B (zh) | 用于具有合并的自动重复请求的自适应前向纠错以在无线局域网中进行可靠多播的方法和装置 | |
| Pejhan et al. | Error control using retransmission schemes in multicast transport protocols for real-time media | |
| RU2634908C2 (ru) | Способ и устройство для управления доставкой медиаданных | |
| US9641588B2 (en) | Packets recovery system and method | |
| CN101867453B (zh) | 一种rtp抗丢包的方法 | |
| CN106301694B (zh) | 一种减少可靠组播传输中数据包重传次数的方法及装置 | |
| US8873368B2 (en) | Method for processing channel switching failure case, terminal device, and channel switching server | |
| CN101998174B (zh) | 组播rtp会话快速接入的方法、服务器、客户端及系统 | |
| CN105721950A (zh) | 一种可靠媒体流传输装置 | |
| CN111447392B (zh) | 数据传输方法、装置、服务器及计算机可读存储介质 | |
| CN101185310A (zh) | 在分组通信网络中以文本消息形式复制语音消息的方法 | |
| US8379083B1 (en) | Simultaneous viewing and reliable recording of multimedia content over a network | |
| CN103686055B (zh) | 电视会议系统中丢包补偿的处理方法及装置 | |
| CN106130746B (zh) | 一种数据传输方法及装置 | |
| CN110430385B (zh) | 视频会议处理方法、装置及存储介质 | |
| CN110087020B (zh) | 一种iOS设备进行视联网会议的实现方法及系统 | |
| US10721171B2 (en) | Data transfer system and corresponding methods | |
| CN101394363A (zh) | 一种rtcp通信的实现方法 | |
| JP2016058909A (ja) | 通信システム、通信装置、通信方法及び通信プログラム | |
| CN101998143A (zh) | 组播视频数据的方法、单播服务器及客户端 | |
| KR20070025323A (ko) | 인트라 프레임의 전송오류 복구 방법 | |
| Kouvelas | A combined network, system and user based approach to improving the quality of multicast audio |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C53 | Correction of patent of invention or patent application | ||
| CB02 | Change of applicant information |
Address after: 215011 No. 131 Jin Shan Road, Suzhou hi tech Industrial Development Zone, Jiangsu, Suzhou Applicant after: Suzhou Keda Technology Co., Ltd. Applicant after: Suzhou Keyuan Software Technology Development Co., Ltd. Address before: 215011 No. 131 Jin Shan Road, Suzhou hi tech Industrial Development Zone, Jiangsu, Suzhou Applicant before: Suzhou Keda Technology Co., Ltd. Applicant before: Suzhou Keyuan Software Technology Development Co., Ltd. |
|
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |