CN106878659B - 视频会议系统以及服务器 - Google Patents

视频会议系统以及服务器 Download PDF

Info

Publication number
CN106878659B
CN106878659B CN201710135715.1A CN201710135715A CN106878659B CN 106878659 B CN106878659 B CN 106878659B CN 201710135715 A CN201710135715 A CN 201710135715A CN 106878659 B CN106878659 B CN 106878659B
Authority
CN
China
Prior art keywords
terminal device
video
multipoint
bandwidth
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710135715.1A
Other languages
English (en)
Other versions
CN106878659A (zh
Inventor
刘恕
廖文伟
方杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Via Technologies Inc
Original Assignee
Via Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Via Technologies Inc filed Critical Via Technologies Inc
Priority to CN201710135715.1A priority Critical patent/CN106878659B/zh
Priority to US15/480,687 priority patent/US9894322B1/en
Priority to TW106111669A priority patent/TWI652943B/zh
Publication of CN106878659A publication Critical patent/CN106878659A/zh
Application granted granted Critical
Publication of CN106878659B publication Critical patent/CN106878659B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827—Network arrangements for conference optimisation or adaptation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Environmental & Geological Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明提供一种视频会议系统、服务器以及终端设备，该视频会议系统，包括多个终端设备和服务器。每一终端设备评估并发送实时带宽状况和会议需求至服务器。服务器的多点控制单元包括多点控制器和多点处理器。多点控制器依据实时带宽状况和会议需求决定终端设备对应的转发规则和分配方案。多点处理器接收转发规则和来自终端设备的音频数据流或视频数据流。多点处理器依该转发规则转发终端设备所需的音频数据流或视频数据流。服务器将每一分配方案发送至对应的终端设备。当任一终端设备发送新的实时带宽状况或新的会议需求时，多点控制器重新决定转发规则和分配方案。本发明可提升视频会议系统的整体效率。

Description

视频会议系统以及服务器
技术领域
本发明有关于视频会议系统的多点处理器，特别是有关于依据实时带宽状况调整多点处理器的转发规则。
背景技术
在视频会议中，服务器的多点控制单元(Multipoint Control Unit，MCU)是进行视频会议的核心设备。图1是熟知的视频会议系统1的一区块图。如图1所示，视频会议系统1包括服务器10和多个终端设备T1～Tn。服务器10中的多点控制单元100包括一多点控制器(Multipoint Controller，MC)101和一多点处理器(Multipoint Processor，MP)102。多点控制器101接收会议控制命令，并设置编码参数给多点处理器102。多点处理器102包括解码器电路和编码器电路。多点处理器102依据多点控制器101所给予的编码参数对来自不同终端设备的媒体数据(视频和音频)进行编码解码。因此多点处理器102所需的硬件要求很高。另外，编码和解码是有损操作，在降低质量的同时也增加了延时。有鉴于此，本发明从另一观点提出一种视频会议系统及其对应的适应性带宽调整方法。
发明内容
本发明提供一种视频会议系统。该视频会议系统包括多个终端设备和一服务器。该等终端设备的每一个评估实时带宽状况，并发送该实时带宽状况和会议需求。该服务器分别无线地或有线地连接至每一该终端设备，以接收每一该终端设备对应的该实时带宽状况和该会议需求。该服务器的一多点控制单元包括一多点控制器和一多点处理器。该多点控制器接收一会议控制命令以开启一多方视频会议。该多点控制器依据每一该终端设备对应的该实时带宽状况和该会议需求决定一转发规则和每一该终端设备对应的一分配方案。该多点处理器连接该多点控制器，并接收该转发规则以及来自每一该终端设备的音频数据流或视频数据流。该多点处理器依据该转发规则转发每一该终端设备所需的该音频数据流或该视频数据流。该服务器将每一该分配方案发送至对应的该终端设备。当该等终端设备的任一个发送新的该实时带宽状况或新的该会议需求时，该多点控制器重新决定该转发规则和该等分配方案。
本发明还提供一种服务器，用以执行一多方视频会议。该服务器包括一多点控制单元。该多点控制单元无线地或有线地连接多个终端设备，以接收每一该终端设备对应的该实时带宽状况和该会议需求。该多点控制单元包括一多点控制器和一多点处理器。该多点控制器接收一会议控制命令以执行该多方视频会议。该多点控制器依据每一该终端设备对应的该实时带宽状况和该会议需求决定一转发规则和每一该终端设备对应的一分配方案。该多点处理器连接该多点控制器，并接收该转发规则以及来自每一该终端设备的音频数据流或视频数据流。该多点处理器依据该转发规则转发每一该终端设备所需的该音频数据流或该视频数据流。该服务器将每一该分配方案发送至对应的该终端设备。当该等终端设备的任一个发送新的该实时带宽状况或新的该会议需求时，该多点控制器重新决定该转发规则和该等分配方案。
本发明还提供一种终端设备。该终端设备参与一服务器所执行的一多方视频会议，并提供估算的带宽至该服务器。该终端设备被配置以执行：评估该终端设备的硬件能力和数据传输状况是否符合要求；若上述硬件能力和上述数据传输状况的任一个不符合要求，且上述终端设备判断并未进行带宽上升测试，则上述终端设备降低带宽并重新估算该带宽；以及若上述硬件能力和上述数据传输状况皆符合要求，则上述终端设备判断是否正在进行带宽增量测试。
本发明可提升视频会议系统的整体效率。
附图说明
图1是熟知的视频会议系统1的一区块图。
图2是依据本发明的一实施例实现一视频会议系统2的一区块图。
图3是依据本发明的一实施例说明多点控制器201进行带宽分配的一流程图。
图4A至图4C是依据本发明的一实施例说明应用于上述终端设备的一实时带宽估算方法的一流程图。
其中，附图中符号的简单说明如下：
1～视频会议系统；10～服务器；100～多点控制单元；101～多点控制器；102～多点处理器；T1-Tn～终端设备；2～视频会议系统；20～服务器；200～多点控制单元；201～多点控制器；202～多点处理器；C1-C10～终端设备；S301-S308、S401-S411～步骤。
具体实施方式
本揭露所附图示的实施例或例子将如以下说明。本揭露的范畴并非以此为限。本领域技术人员应能知悉在不脱离本揭露的精神和架构的前提下，当可作些许更动、替换和置换。在本揭露的实施例中，元件符号可能被重复地使用，本揭露的数种实施例可能共用相同的元件符号，但为一实施例所使用的特征元件不必然为另一实施例所使用。
图2是依据本发明的一实施例实现一视频会议系统2的一区块图。在本发明实施例中，视频会议系统2包括一服务器20和多个终端设备C1～C10。服务器20分别连接至每一上述终端设备C1～C10。服务器20包括多点控制单元(Multipoint Control Unit，MCU)200。如图2所示，多点控制单元200包括一多点控制器(Multipoint Controller，MC)201和一多点处理器(Multipoint Processor，MP)202。多点控制器201连接多点处理器202。服务器20可以是一云端服务器。终端设备C1～C10的每一个可以是移动终端(例如，笔记型计算机、平板计算机、掌上型计算机、智能型手机、智能型手表等)、区域网络内的个人计算机、以及接收、处理和/或传送串流数据资料的任何类型的处理器控制装置。
在本发明实施例中，多点控制器201接收会议控制命令，并发送转发规则给多点处理器202。多点控制器201还会接收与会终端设备(例如，终端设备C1、C4和C5)各自的带宽和需求，以进行带宽方案的分配。更明确地说，多点控制器201收集所有终端设备C1～C10的实时带宽状况和会议需求，例如，该实时带宽状况包括实时上行带宽和实时下行带宽，而该会议需求包括最高编码能力(最高视频级别)、摄像头分辨率、或是对其他终端设备的视频申请表等。
在本发明实施例中，带宽资源优先满足主视频申请，上述带宽方案的分配包括给与会终端设备的分配方案和给多点处理器202的分配方案。
在本发明实施例中，上述多点控制器201给与会终端设备的分配方案可以包括：是否发送音频、是否发送共享及对应级别、是否发送视频、发送一路视频还是两路视频以及没路视频级别。更明确地说，上述多点控制器201给与会终端设备的上行视频方案包括：(a)不上传视频；(b)仅上传一路视频(主视频Z或辅视频F或共享S)；(c)上传两路视频(主视频Z加辅视频F，或是共享S加辅视频F)，而上述多点控制器201给与会终端设备的下行视频方案包括：(a)不转发；(b)转发主视频Z；(c)转发辅视频F；(d)转发共享S；(e)转发共享S和辅视频F。
在本发明实施例中，上述多点控制器201给多点处理器202的分配方案可以包括：从一个终端到另一个终端的转发规则(例如，终端设备C1到终端设备C5的转发规则)、是否转发音频、是否转发共享、是否转发视频以及转发视频的级别。
在本发明实施例中，依据不同的分辨率(解析度)、帧率、压缩质量和视频码率，上述转发视频的固定占用带宽可以分为20种级别，并表示如以下表(一)。
表(一)
在本发明实施例中，上述转发视频的共享占用带宽依据不同的视频码率分成2种级别，并表示如以下表(二)。
表(二)
级别 视频码率(k bit/s)
0 100
1 320
但本发明并不限定于此，本领域技术人员可以在不脱离本发明精神之下依据实际需求调整所需级别。
在本发明实施例中，多点处理器202只进行帧缓冲和帧交换。换言之，多点处理器202不对音频流和视频流进行编解码的处理，而只对音频的数据流和视频的数据流进行转发与控制。更明确地说，多点处理器202可以通过帧缓冲映射演算法查找终端设备C1～C10对应的缓冲区。接着，多点处理器202把接收到的音频和视频的数据流储存在该缓冲区之中。多点处理器202再依据上述会议控制命令把音频的数据流和视频的数据流转发至特定的终端设备。
因此，在本发明实施例中，多点控制单元200的多点处理器202把对多路音频和视频编解码的大数据量处理工作转移到各个终端设备C1～C10之上。各个终端设备C1～C10对相应的音频和视频编解码进行处理，而多点控制单元200的多点处理器202只对各路音频的数据流和视频的数据流进行储存和转发。通过上述配置，多点控制单元200的负荷得以减轻，进而提升视频会议系统2的整体效率。
在本发明实施例中，上述终端设备C1～C10的每一个定期监测自身的中央处理器(CPU)使用率、RTP(Real-time Transport Protocol，实时传输协议)数据丢包和RTP数据延时(例如，>2000毫秒)，以评估实时带宽状况。上述终端设备C1～C10的每一个还告知多点控制器201自身的带宽变化，使多点控制器201据此重新分配上述带宽方案。
在本发明实施例中，在视频会议开始之前，与会终端设备(例如，终端设备C1、C4和C5)先测试到多点处理器202的上下行带宽。在进入视频会议之后，与会终端设备(例如，终端设备C1、C4和C5)提交测试的带宽和想要查看的其他终端设备的视频(共享)需求，并对视频需求指定优先级。当上述与会终端设备的需求(例如，需要查看的视频和共享优先级)改变时，多点控制器201会据此重新分配上述带宽方案。
在本发明实施例中，上述终端设备C1～C10的每一个和服务器20的多点处理器202独立进行上行和下行实时传输控制协议(Real-time Transport Control Protocol或RTPControl Protocol，以下简称RTCP)统计，其统计内容包括计算丢包和延时，且统计间隔不超过2秒。最后，上述终端设备C1～C10的每一个再根据上述RTCP统计评估实时网络状况。
在本发明实施例中，当上述终端设备评估网络变差时，上述终端设备立即停止视频和共享RTP数据发送，并通告新的评估带宽给多点控制器201，以让多点控制器201重新分配方案。当上述终端设备评估网络状况正常时，上述终端设备不调整评估带宽。当上述终端设备评估网络状态持续较好时，上述终端设备试探性缓慢测试带宽增长。如果在测试期间出现RTCP丢包，延时增大，则放弃测试，带宽不变。直到6秒测试结束，上述终端设备评估新的带宽值给多点控制器201，以让多点控制器201重新分配方案。
在本发明实施例中，上述终端设备C1～C10的每一个最多只能申请看一路主视频Z，且最多只能申请看一路共享S。此外上述终端设备C1～C10的每一个可以申请看多路辅视频F。此外带宽资源需优先满足主视频Z申请。
在本发明实施例中，多点控制器201进行带宽预处理，以限制终端设备的上行带宽和下行带宽之间的差别在5倍以内。例如，终端设备C1提交的上行带宽值和下行带宽值分别为100kb和1000kb。经过多点控制器201处理后，终端设备C1的上行带宽值和下行带宽值分别为100kb和500kb。
图3是依据本发明的一实施例说明多点控制器201进行带宽分配的一流程图。在步骤S301中，多点控制器201收集所有终端设备C1～C10各自的带宽和需求，例如，上行带宽、下行带宽、最高编码能力(最高视频级别)、摄像头分辨率、或是对其他终端设备的视频申请表等。
在步骤S302中，多点控制器201计算上述终端设备C1～C10的每一个的视频可用带宽。在本发明实施例中，对于上行而言，至少需要减掉一路音频带宽。当上行带宽小于100kb/s(前向揪错(FEC)音频最低需求60kb/s加上一路Level 0视频40kb/s)时，关闭终端设备音频FEC。
在本发明实施例中，对于下行而言，最多减掉三路音频带宽(不存在三方以上同时说话的情形)。例如，对于有音频的会议而言，下行一路的音频固定带宽(fixAudioBand)预留60kb/s，下行二路的音频固定带宽预留80kb/s，下行三路的音频固定带宽预留100kb/s，上行的音频固定带宽预留60kb/s。当任意终端设备的下行带宽小于100kb/s(前述FEC音频最低需求60kb/s加上一路Level 0视频40kb/s)时，关闭终端设备音频FEC。前述音频固定带宽的数值计算无关于FEC的关闭与否。此外对于无音频的会议而言，上下行音频固定占用带宽为40kb/s。
在本发明另一实施例中，当任意终端设备的下行带宽小于两方100kb/s、三方120kb/s或四方140kb/s时，关闭终端设备所有音频FEC。
在本发明实施例中，除去音频占用外，多点控制器201还预留15％带宽以保障音频。因此，上行视频可用最大带宽(MaxVUband)和下行视频可用最大带宽(MaxVDband)可分别表示为：
MaxVUband＝(UBand－fixAudioBand)×85％
MaxVDband＝(DBand－fixAudioBand)×85％
其中fixAudioBand表示音频固定带宽，UBand表示上行测试TCP带宽，而DBand表示下行测试TCP带宽。
在步骤S303中，多点控制器201处理共享申请。在本发明实施例中，多点控制器201依据一共享带宽演算法，接收共享发送方上行可用带宽和共享接收方的下行共享可用带宽列表并依此计算出共享带宽(SharingBand)。
在本发明实施例中，若多点控制器201计算出的共享带宽大于0，则表示为发送共享。在一实施例中，共享发送方上行视频可用带宽需减去共享带宽(MaxVUband－sharingBand)。在一实施例中，若共享接收方下行可用视频带宽大于等于共享带宽，则该终端设备(亦即该共享接收方)能接收到共享。此时，下行视频可用带宽需减去共享带宽(MaxVDband－sharingBand)。在一实施例中，当共享接收方下行可用视频带宽小于共享带宽时，则该终端设备(亦即该共享接收方)不接收共享，下行视频可用带宽维持不变。
在本发明实施例中，共享编码的分辨率和共享源的分辨率一致，并通过调整编码帧率和编码质量，来确保共享编码带宽为共享带宽(SharingBand)。
本发明的一实施例举例说明上述共享带宽演算法。在本实施例中，假设有N个终端设备(C1～Cn)都接收同一终端设备C0的共享，多点控制器201通过上述共享带宽演算法来确定共享发送的带宽。发送方(终端设备C0)的可用上行共享带宽记为SendBand，而接收方(终端设备C1～Cn)的可用下行共享带宽列表则记为RecvBands。多点控制器201输出的共享带宽值记为sharingBand，其中当sharingBand为0时，多点控制器201不发送共享。
在本实施例中，若SendBand小于100kb/s，则sharingBand为0。若SendBand大于或等于100kb/s，则，多点控制器201依据所有接收方(终端设备C1～Cn)各自的下行共享带宽，将所有接收方分成三组g1、g2和g3。例如，分成[0,100)、[100,320)和[320,∞)三组。
在本实施例中，若g2不为空集合，则sharingBand为100kb/s。若g3不为空集合且SendBand小于320kb/s，则sharingBand为100kb/s。若g3不为空集合且SendBand大于或等于320kb/s，则sharingBand为320kb/s。当g2和g3皆为空集合时，则sharingBand为0。
在步骤S304中，多点控制器201根据上述终端设备C1～C10的每一个的带宽能力，过滤修改不当申请。在本发明实施例中，当有一终端设备(例如，终端设备C1)的MaxVUband<Level 0时，该终端设备(终端设备C1)若未发送共享则将上行设为Level 0，否则该终端设备(终端设备C1)的上行方案确定为不发送。
在本发明另一实施例中，若并未有任何终端设备需要看终端设备C1，此时终端设备C1的上行方案确定为不发送。在本发明另一实施例中，若终端设备C1同时被申请了主视频和辅视频，但终端设备C1的MaxVUband<(Level 8+Level 0)，则将该主视频申请改成辅视频申请。
在本发明另一实施例中，若终端设备C1申请了一路主视频和K路辅视频，但是终端设备C1的MaxVDband<(Level 8+K×Level 0)，则将该主视频申请改成辅视频申请。在本发明另一实施例中，若终端设备C1需要发送共享，则多点控制器201把所有申请终端设备C1主视频的申请降低成申请终端设备C1的辅视频(避免终端设备C1编码三路，降低带宽和CPU，内存占用)。
在步骤S305中，多点控制器201计算下行主视频Z可用带宽(MaxVZDband)和上行主视频Z可用带宽(MaxVZUband)。在本发明的一实施例中，若该终端设备(例如，终端设备C1)只被申请了主视频Z，则MaxVZUband＝MaxVUband。
在本发明另一实施例中，主视频Z的带宽占用比例：ZUband％＝80％，而辅视频F的带宽占用比例：FUband％＝1-ZUband％＝20％。
在本发明另一实施例中，若该终端设备(例如，终端设备C1)同时被申请了主视频Z和辅视频F，上行主视频Z可用带宽(MaxVZUband)＝MaxVUband×ZUband％。
在本发明另一实施例中，若该终端设备(例如，终端设备C1)下行申请了主视频Z和辅视频F，并记申请辅视频F的视频路数为ReqF，则：下行主视频Z可用带宽(MaxVZDband)＝MaxVDband×(ZUband％/FUband％)/(ReqF+(ZUband％/FUband％))。
在步骤S306中，多点控制器201确定每组上行和下行主视频Z的具体级别(Level)。在本发明一实施例中，多点控制器201依据“主视频演算法”使用该组上行最大主视频Z的Level(基于MaxVZUband)和其他各组主视频Z的需求(例如，下行)最大Level，计算该组上行和下行主视频Z对应的Level。在本发明另一实施例中，多点控制器201还计算每个终端设备的上行剩余带宽和下行剩余带宽(减掉主视频Z的真实带宽)。
本发明的一实施例举例说明上述主视频演算法。在本实施例中，假设有9个终端设备(C1～C9)都申请了接收同一终端设备C0的主视频，多点控制器201通过上述主视频演算法确定终端设备C0该发送主视频的具体级别(Level)。上述主视频演算法能够衡量所有接收终端设备的能力，以确定哪些终端设备接收主视频以及哪些终端设备接收辅视频。
在本实施例中，终端设备C0的主视频上行极限级别(Level)定义为L-C0，并作为所有申请主视频的终端设备的下行极限级别(Level)。最终，所求出主视频的具体级别(Level)则记为L。
上述主视频演算法的执行步骤简述如下。首先，定义满意度扣分表如下表(三)。
表(三)
在本实施例中，每个终端设备(C1～C9)初始的满意度都为100分。接着，终端设备的满意度计算规则举例说明如下。例如，终端设备C1的极限Level是Level 12；若主视频取level 12时，终端设备C1能得到Level 12的视频，此时满意度为100；若主视频取level 11时，终端设备C1能得到Level 11的视频，满意度为100–5＝95；主视频取level 13时，终端设备C1只能得到辅视频；若辅视频输入是level 0，满意度为100–100＝0。
接着，多点控制器201把每个终端设备(C1～C9)按照各自的极限Level从小到主排序(记为L-C1、L-C2、L-C3、…、L-C9)。接着，多点控制器201依次取L＝L-C1、L＝L-C2、…、L＝L-Cn，其中L小于等于L-C0，因此多点控制器201计算出每个终端设备的满意度。接着，多点控制器201在所有L取值中，找出所有终端设备对应满意度最高的一个(如果多个L总满意度一样，则取最高的L)，并确定此L为主视频的具体级别(Level)。
在步骤S307中，多点控制器201确定每组辅视频F的具体级别(Level)。在本发明一实施例中，多点控制器201对所有请求F视频的组排序，将Z视频申请被降成F视频申请的组排到后面，然后依次计算每组的F视频Level。
在本发明另一实施例中，若一终端设备(例如，终端设备C1)上行已确定发送主视频为Level Z，则该终端设备的上行F视频不得超过(包含)Level(Z–4)。
在本发明另一实施例中，假设有N个终端设备需要接收终端设备C1的F视频，则从Level 0依次往上增加level，判断每一该终端设备上下行是否到达极限。当上行(或下行)到达极限时，则确定该终端设备上行(或下行)的Level。
在本发明另一实施例中，若一终端设备(例如，终端设备C5)需要发送辅视频，记作MinVFDlevel＝MIN(需要接收终端设备C1的辅视频的客户端中的极限Level)，则确定终端设备C1的辅视频上行带宽Level为：MIN(MaxVFUlevel,MinVFDlevel)，其中MaxVFUlevel为终端设备C1的带宽扣除所有音频占用带宽、主视频Z或共享S后所能达到的最高Level。
在本发明另一实施例中，如果一终端设备(例如，终端设备C4)已确定需要发送辅视频，但没发送主视频，并且上行带宽和编码极限足够发送Level Z＝MIN(Level F+4，Level 8)，则进一步计算是否应该发送Z视频。在一实施例中，在请求终端设备C1的Z视频的所有终端设备中各自的下行极限Level都小于Level Z时，则确定终端设备C1不需要发送Z视频。在一实施例中，在终端设备C1的Z视频的所有终端设备中，找到下行极限刚好大于Level Z的终端设备，并将该下行极限为记为Level X，其中Level X>＝MIN(Level F+4，Level 8)。此时，多点控制器201确定终端设备C1的主视频Level F_Z＝MIN(Level X，终端设备C1的L视频上行极限，终端设备C1的编码极限)，并下行转发Z视频到该终端设备(下行极限刚好大于Level Z的终端设备)。
在步骤S308中，多点控制器201执行最后的优化操作。此时，所有终端设备C1～C10各自的上下行分配方案均已确定。最后，多点控制器201找出下行带宽仍有剩余的终端设备，并检查是否足够将一些接收视频提高。如果足够，多点控制器201依据每个终端设备提交申请的优先级，依次检查提高。
图4A至图4C是依据本发明的一实施例说明上述终端设备(例如，终端设备C1)的一实时带宽估算方法的一流程图。在步骤S401中，上述终端设备评估硬件能力和数据传输状况是否符合要求。在一实施例中，上述硬件能力包括CPU使用率，例如，上述终端设备评估CPU使用率是否大于第一百分比(例如，85％)。在一实施例中，上述数据传输状况包括RTP数据传输情形，例如，上述终端设备监测RTP数据是否丢包。例如，上述终端设备监测RTP数据延时是否大于2000毫秒。例如，上述终端设备监测本次RTP数据延时是否大于前次RTP数据延时500毫秒。若上述终端设备评估硬件能力和数据传输皆符合要求，则进入步骤S402；反之若上述终端设备评估硬件能力和数据传输的任何一个不符合要求(例如，CPU使用率大于85％、RTP数据丢包、RTP数据延时大于2000毫秒或是本次RTP数据延时是否大于前次RTP数据延时500毫秒)，则进入步骤S403。
在步骤S402中，上述终端设备判断目前是否正在进行带宽上升测试。若是进入步骤S404；反之进入步骤S405。在步骤S404中，上述终端设备取消带宽上升测试。在步骤S405中，上述终端设备降低实时带宽，并更新提交至多点控制器201的估算带宽。
在步骤S403中，上述终端设备判断目前是否正在进行带宽增量测试。若是进入步骤S406；反之进入步骤S407。在步骤S406中，上述终端设备判断带宽增量的测试时间是否能大于第一既定时间，例如，6秒。若是进入步骤S408；反之进入步骤S409。在步骤S408中，上述终端设备判定带宽上升测试成功，并更新提交至多点控制器201的估算带宽。在步骤S409中，上述终端设备不调整带宽。
在步骤S407中，上述终端设备判断是否连续4次以上的RTP数据延时小于第二既定时间(例如，500毫秒)且两次RTP数据延时之间的差异小于第三既定时间(例如，100毫秒)。若是进入步骤S410；反之进入步骤S409。
在步骤S410中，上述终端设备判断带宽利用率是否大于第一百分比(例如，60％)。若是进入步骤S411；反之进入步骤S409。在步骤S411中，上述终端设备开始进行带宽增量测试。
以上实施例使用多种角度描述。显然这里的教示可以多种方式呈现，而在范例中揭露的任何特定架构或功能仅为一代表性的状况。根据本文的教示，任何熟知此技术的人员应理解在本文呈现的内容可独立利用其他某种型式或综合多种型式作不同呈现。举例说明，可遵照前文中提到任何方式利用某种装置或某种方法实现。一装置的实施或一种方式的执行可用任何其他架构、或功能性、又或架构及功能性来实现在前文所讨论的一种或多种型式上。
本领域技术人员还会了解在此描述各种说明性的逻辑区块、模块、处理器、装置、电路、以及演算步骤与以上所揭露的各种情况可用的电子硬件(例如用来源编码或其他技术设计的数字实施、类似实施、或两者的组合)、各种形式的程序或与指示作为连结的设计码(在内文中为方便而称作“软件”或“软件模块”)、或两者的组合。为清楚说明此硬件及软件间的可互换性，多种具描述性的元件、方块、模块、电路及步骤在以上的描述大致上以其功能性为主。不论此功能以硬件或软件型式呈现，将根据加注在整体系统上的特定应用及设计限制而定。熟知此技术的人员可为每一特定应用将描述的功能以各种不同方法作实现，但此实现的决策不应被解读为偏离本文所揭露的范围。
此外，多种各种说明性的逻辑区块、模块、及电路以及在此所揭露的各种情况可实施在集成电路(integrated circuit,IC)、存取终端、存取点；或由集成电路、存取终端、存取点执行。集成电路可由一般用途处理器、数字信号处理器(digital signal processor,DSP)、特定应用集成电路(application specific integrated circuit,ASIC)、现场可编程门阵列(field programmable gate array,FPGA)或其他可编程逻辑装置、离散门(discrete gate)或晶体管逻辑(transistor logic)、离散硬件元件、电子元件、光学元件、机械元件、或任何以上的组合的设计以完成在此文内描述的功能；并可能执行存在于集成电路内、集成电路外、或两者皆有的执行码或指令。一般用途处理器可能是微处理器，但也可能是任何常规处理器、控制器、微控制器、或状态机。处理器可由计算机设备的组合所构成，例如：数字信号处理器(DSP)及微计算机的组合、多组微计算机、一组至多组微计算机以及数字信号处理器核、或任何其他类似的配置。
在此所揭露程序的任何具体顺序或分层的步骤纯为一举例的方式。基于设计上的偏好，必须了解到程序上的任何具体顺序或分层的步骤可在此文件所揭露的范围内被重新安排。伴随的方法权利要求以一示例顺序呈现出各种步骤的元件，也因此不应被此所展示的特定顺序或阶层所限制。
实施方式和权利要求书中用以修饰元件的“第一”、“第二”、“第三”等序数词的使用本身未暗示任何优先权、优先次序、各元件之间的先后次序、或方法所执行的步骤的次序，而仅用作标识来区分具有相同名称(具有不同序数词)的不同元件。
以上所述仅为本发明较佳实施例，然其并非用以限定本发明的范围，任何熟悉本项技术的人员，在不脱离本发明的精神和范围内，可在此基础上做进一步的改进和变化，因此本发明的保护范围当以本申请的权利要求书所界定的范围为准。

Claims (14)

1.一种视频会议系统，其特征在于，包括：
多个终端设备，该多个终端设备的每一个评估实时带宽状况，并发送该实时带宽状况和会议需求；以及
服务器，分别无线地或有线地连接至每一该终端设备，以接收每一该终端设备对应的该实时带宽状况和该会议需求，该服务器的多点控制单元包括：
多点控制器，接收会议控制命令以执行多方视频会议，其中该多点控制器依据每一该终端设备对应的该实时带宽状况和该会议需求决定转发规则和每一该终端设备对应的分配方案；以及
多点处理器，连接该多点控制器，并接收该转发规则以及来自每一该终端设备的音频数据流或视频数据流，其中该多点处理器依据该转发规则转发每一该终端设备所需的该音频数据流或该视频数据流；
其中该服务器将每一该分配方案发送至对应的该终端设备；
其中当该多个终端设备的任一个发送新的该实时带宽状况或新的该会议需求时，该多点控制器重新决定该转发规则和该分配方案；以及
其中该音频数据流和该视频数据流的编码和解码由各个终端设备处理，该多点处理器不进行该音频数据流和该视频数据流的编码和解码的处理。
2.根据权利要求1所述的视频会议系统，其特征在于，该多点控制器决定该转发规则和该分配方案还包括计算每一该终端设备的视频可用带宽。
3.根据权利要求1所述的视频会议系统，其特征在于，该多点控制器决定该转发规则和该分配方案还包括：
当该多个终端设备的一个是共享发送方时，该多点控制器还接收该共享发送方的上行可用带宽和共享接收方的下行共享可用带宽列表，并依此计算出共享带宽。
4.根据权利要求1所述的视频会议系统，其特征在于，该多点控制器决定该转发规则和该分配方案还包括：
根据每一该终端设备的该实时带宽状况，过滤或修改不当申请。
5.根据权利要求1所述的视频会议系统，其特征在于，该多点控制器决定该转发规则和该分配方案还包括：
计算下行主视频可用带宽和上行主视频可用带宽；
确定每一该终端设备对应上行和下行主视频的视频占用带宽；以及
确定每一辅视频的视频占用带宽。
6.根据权利要求1所述的视频会议系统，其特征在于，该服务器是云端服务器，且该多点处理器是软件模块。
7.根据权利要求1所述的视频会议系统，其特征在于，该会议需求包括该终端设备对应的最高编码能力和摄像头分辨率或是该终端设备对其他该终端设备的视频申请表。
8.一种服务器，其特征在于，用以执行多方视频会议，该服务器包括：
多点控制单元，无线地或有线地连接多个终端设备，以接收每一该终端设备对应的实时带宽状况和会议需求，该多点控制单元包括：
多点控制器，接收会议控制命令以执行该多方视频会议，其中该多点控制器依据每一该终端设备对应的该实时带宽状况和该会议需求决定转发规则和每一该终端设备对应的分配方案；以及
多点处理器，连接该多点控制器，并接收该转发规则以及来自每一该终端设备的音频数据流或视频数据流，其中该多点处理器依据该转发规则转发每一该终端设备所需的该音频数据流或该视频数据流；
其中该服务器将每一该分配方案发送至对应的该终端设备；
其中当该多个终端设备的任一个发送新的该实时带宽状况或新的该会议需求时，该多点控制器重新决定该转发规则和该分配方案；以及
其中该音频数据流和该视频数据流的编码和解码由各个终端设备处理，该多点处理器不进行该音频数据流和该视频数据流的编码和解码的处理。
9.根据权利要求8所述的服务器，其特征在于，该多点控制器决定该转发规则和该分配方案还包括计算每一该终端设备的视频可用带宽。
10.根据权利要求8所述的服务器，其特征在于，该多点控制器决定该转发规则和该分配方案还包括：
当该多个终端设备中的一个是共享发送方时，该多点控制器还接收该共享发送方的上行可用带宽和共享接收方的下行共享可用带宽列表，并依此计算出共享带宽。
11.根据权利要求8所述的服务器，其特征在于，该多点控制器决定该转发规则和该分配方案还包括：
根据每一该终端设备的该实时带宽状况，过滤或修改不当申请。
12.根据权利要求8所述的服务器，其特征在于，该多点控制器决定该转发规则和该分配方案还包括：
计算下行主视频可用带宽和上行主视频可用带宽；
确定每一该终端设备对应上行和下行主视频的视频占用带宽；以及
确定每一辅视频的视频占用带宽。
13.根据权利要求8所述的服务器，其特征在于，该服务器是云端服务器，且该多点处理器是软件模块。
14.根据权利要求8所述的服务器，其特征在于，该会议需求包括该终端设备对应的最高编码能力和摄像头分辨率或是该终端设备对其他该终端设备的视频申请表。
CN201710135715.1A 2017-03-08 2017-03-08 视频会议系统以及服务器 Active CN106878659B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710135715.1A CN106878659B (zh) 2017-03-08 2017-03-08 视频会议系统以及服务器
US15/480,687 US9894322B1 (en) 2017-03-08 2017-04-06 Video conference system, server and terminal equipment
TW106111669A TWI652943B (zh) 2017-03-08 2017-04-07 視訊會議系統、伺服器以及終端設備

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710135715.1A CN106878659B (zh) 2017-03-08 2017-03-08 视频会议系统以及服务器

Publications (2)

Publication Number Publication Date
CN106878659A CN106878659A (zh) 2017-06-20
CN106878659B true CN106878659B (zh) 2019-11-29

Family

ID=59171321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710135715.1A Active CN106878659B (zh) 2017-03-08 2017-03-08 视频会议系统以及服务器

Country Status (3)

Country Link
US (1) US9894322B1 (zh)
CN (1) CN106878659B (zh)
TW (1) TWI652943B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108540745B (zh) * 2017-03-06 2021-04-30 中兴通讯股份有限公司 高清双流视频的传输方法、发送端、接收端及传输系统
US10389772B1 (en) * 2018-01-31 2019-08-20 Facebook, Inc. Systems and methods for optimizing simulcast streams in group video calls
CN109361893A (zh) * 2018-11-21 2019-02-19 华平信息技术股份有限公司 视频会议同路多源直播方法及系统
CN111314738A (zh) * 2018-12-12 2020-06-19 阿里巴巴集团控股有限公司 数据传输方法和装置
CN111050108A (zh) * 2019-12-19 2020-04-21 维沃移动通信有限公司 多路视频通话的实现方法、装置及电子设备
CN111641802A (zh) * 2020-06-04 2020-09-08 天津卓朗科技发展有限公司 视频数据共享方法、装置和服务器
CN111757040B (zh) * 2020-06-24 2022-06-07 维沃移动通信有限公司 通讯方法及装置
CN112995424B (zh) * 2021-04-19 2021-07-27 南京仁高隆软件科技有限公司 针对会议通话的数据传送系统和方法
CN114449311B (zh) * 2021-12-27 2023-11-10 济南超级计算技术研究院 一种基于高效视频流转发的网络视频交换系统及方法
CN115052172A (zh) * 2022-06-02 2022-09-13 北京世纪好未来教育科技有限公司 音视频数据传输方法、装置、电子设备和存储介质
CN115242566B (zh) * 2022-06-28 2023-09-05 深圳乐播科技有限公司 一种云会议加入方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101365125A (zh) * 2008-09-27 2009-02-11 腾讯科技（深圳）有限公司 多路视频通信方法与系统
CN104639866A (zh) * 2013-11-14 2015-05-20 中兴通讯股份有限公司 一种调节会议终端通话质量的方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6128649A (en) * 1997-06-02 2000-10-03 Nortel Networks Limited Dynamic selection of media streams for display
US7492387B2 (en) * 2002-08-05 2009-02-17 Chih-Lung Yang Implementation of MPCP MCU technology for the H.264 video standard
US20050213557A1 (en) 2004-03-26 2005-09-29 Cherng-Daw Hwang Multimedia communication and collaboration system and protocols
US7499719B2 (en) 2005-06-22 2009-03-03 Mototola, Inc. Method and apparatus for mixed mode multimedia conferencing
EP1909451B1 (en) 2006-10-03 2011-07-27 Research In Motion Limited Method and apparatuses for managing Call Continuity in IMS network environment using SIP messaging
CN101102456A (zh) * 2007-07-25 2008-01-09 中兴通讯股份有限公司 一种具有即时通信功能的视频会议系统及其实现方法
CN101483758B (zh) * 2008-01-11 2012-11-21 天地阳光通信科技（北京）有限公司 一种视频监控系统与视频会议系统的融合系统
CN101552913B (zh) * 2009-05-12 2011-07-06 腾讯科技（深圳）有限公司 多路视频通讯系统及处理方法
FR3014275A1 (fr) * 2013-11-29 2015-06-05 Orange Procede et serveur de reservation de ressources materielles de visioconference
CN104270326B (zh) * 2014-10-11 2018-10-16 北京邮电大学 一种光联网定制业务接入的方法和装置
CN106303551A (zh) * 2015-05-18 2017-01-04 阿里巴巴集团控股有限公司 一种视频采集方法及相关设备与系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101365125A (zh) * 2008-09-27 2009-02-11 腾讯科技（深圳）有限公司 多路视频通信方法与系统
CN104639866A (zh) * 2013-11-14 2015-05-20 中兴通讯股份有限公司 一种调节会议终端通话质量的方法及装置

Also Published As

Publication number Publication date
US9894322B1 (en) 2018-02-13
TWI652943B (zh) 2019-03-01
TW201834442A (zh) 2018-09-16
CN106878659A (zh) 2017-06-20

Similar Documents

Publication Publication Date Title
CN106878659B (zh) 视频会议系统以及服务器
US10129043B2 (en) Apparatus and method for network flow scheduling
CN101682568B (zh) 用于在协作会话期间调节带宽分配的方法和设备
US20100149308A1 (en) Data processing apparatus and method, and network system
CN109600262A (zh) Urllc传输网络切片中资源自配置和自优化方法及装置
US8984156B2 (en) Multi-party mesh conferencing with stream processing
CN109714557A (zh) 视频通话的质量评估方法、装置、电子设备和存储介质
US20110235709A1 (en) Frame dropping algorithm for fast adaptation of buffered compressed video to network condition changes
CN111611129B (zh) PaaS云平台的性能监控方法及装置
US20230138038A1 (en) Reinforcement learning for jitter buffer control
Guskova et al. Study of the effect of repeated requests for quality of customer service in digital radio communication networks of railway transport
US9118806B2 (en) Device and method for multistream bandwidth control in videoconferencing
JP5621196B2 (ja) ネットワーク制御システム、方法及びプログラム
CN115378832B (zh) 拥塞检测方法、装置及流媒体传输系统、电子设备和介质
CN108574840B (zh) 一种评估视频体验质量的方法及装置
CN113225519A (zh) 视频会议的码流传输方法、设备、存储介质
Orlov Network-driven adaptive video streaming in wireless environments
Chapagain et al. A novel solution for real time video and path quality, and latency minimization: tele-training in surgical education
CN114448838A (zh) 系统可靠度评估方法
US11936698B2 (en) Systems and methods for adaptive video conferencing
Baraković et al. The Influence of SIP Call Control Signalling on VoIP Quality of Experience
US20230403240A1 (en) Generating mission-specific analytics information
Poryazov et al. Different Traffic quality aggregations for a service composition
Carr-Motyckova et al. Encoding of video in layers based on perceptual quality of video
US20240048501A1 (en) Method and system for transmitting data by radio signals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant