CN115208861B - 基于值函数优化的视频通信网络 - Google Patents

基于值函数优化的视频通信网络 Download PDF

Info

Publication number
CN115208861B
CN115208861B CN202111317687.8A CN202111317687A CN115208861B CN 115208861 B CN115208861 B CN 115208861B CN 202111317687 A CN202111317687 A CN 202111317687A CN 115208861 B CN115208861 B CN 115208861B
Authority
CN
China
Prior art keywords
multimedia session
bandwidth
multimedia
scaling factors
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111317687.8A
Other languages
English (en)
Other versions
CN115208861A (zh
Inventor
钟声
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dayin Network Technology Shanghai Co ltd
Original Assignee
Dayin Network Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dayin Network Technology Shanghai Co ltd filed Critical Dayin Network Technology Shanghai Co ltd
Publication of CN115208861A publication Critical patent/CN115208861A/zh
Application granted granted Critical
Publication of CN115208861B publication Critical patent/CN115208861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0882—Utilisation of link capacity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0894—Packet rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/752—Media network packet handling adapting media to network capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2408—Monitoring of the upstream path of the transmission network, e.g. client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提出了一种在通信网络中使用的方法，包括在控制节点处分别获取多媒体会话的各个连接设备的带宽信息；获得多媒体会话中相应连接设备的一个或多个相应带宽的一个或多个缩放因子；发送一个或多个缩放因子至相应的一个或多个连接设备。该一个或多个相应的连接设备使用缩放因子来调整可用带宽。该一个或多个连接设备使用缩放因子来调整多媒体会话的编码参数。

Description

基于值函数优化的视频通信网络
技术领域
本发明涉及多媒体通信领域，更具体而言，本发明涉及领域为基于值函数优化的码率调整策略。
背景技术
实时多媒体(如音频和/或视频)通信的应用非常广泛，比如会议、直播、视频聊天会话、网络研讨会等(统称为多媒体会话)。公司机构(如营利性组织或非营利组织、政府机构、金融机构、教育机构、社交媒体平台等)可以部署视频通信网络(VCN)让用户参加多媒体会话。在VCN中，可能会同时进行多个(如数千个)多媒体会话。
媒体流(如视频流)可以在源设备(如配备有音频/视频(A/V)的用户设备，比如麦克风和/或相机等)处生成并且被传输给其他一位或多位用户。编码器采用有损压缩的方式压缩媒体流以减少网络流量负载(如传输媒体流所需的带宽)。
通常，通信网络(如VCN)的带宽是有限的。随着并发的通信会话数量的增加，网络的带宽总流量可能接近或超过网络的上限(如可用带宽)，此时网络将无法正常处理流量(急剧)增加。
发明内容
下文将阐述实现本发明提出的实时视频通信技术的方法、设备和系统。
一方面，本发明提出了一种在通信网络中采用的方法，包括：在控制节点处分别获取多媒体会话的各个连接设备的带宽信息；确定多媒体会话的一个或多个连接设备的相应带宽的一个或多个缩放因子；并将该一个或多个缩放因子发送至相应的一个或多个连接设备。所述一个或多个相应的连接设备使用该缩放因子来调整可用带宽。所述一个或多个相应的连接设备使用该缩放因子调整多媒体会话的编码参数。
另一方面，本发明提出了一种用于实时多媒体通信的系统，所述系统包括：与第一多媒体会话连接的第一用户设备、与第二多媒体会话连接的第二用户设备，和控制节点。所述第一用户设备被配置为使其可从控制节点处接收一个或多个缩放因子；并且使用该一个或多个缩放因子调整第一多媒体会话所采用的编码器的编码参数。所述控制节点被配置为使其可获取第一用户设备的第一上行带宽；获取第二用户设备的第二上行带宽；如检测到第三个多媒体会话已开始，则使用第一上行带宽和第二上行带宽计算一个或多个缩放因子；并且将该一个或多个缩放因子发送至第一用户设备处。
第三方面，本发明提出了一种设备，所述设备包括：处理器，所述处理器被配置为使其采用第一编码参数值以第一码率对第一段媒体流进行编码；将该设备的上行带宽发送至视频通信网络的控制节点；从控制节点处接收缩放因子；使用该缩放因子对上行带宽进行缩放以获得第二码率；然后使用第二编码参数值以第二码率对第二段媒体流进行编码。
附图说明
在阅读以下详细描述时参考附图将有助于更好地理解本发明的内容。需要强调的是，根据惯例图示中各个部分并不是按比例绘制的。相反，附图中对各个不同部分的尺寸做了任意扩大或缩小，以利于表述清晰。
图1是根据本发明实施例所绘制的用于实时视频通信的系统100(如VCN)的示例图。
图2是根据本发明实施例所绘制的计算设备的示例图。
图3是根据本发明实施例所绘制的实时视频通信的技术示例流程图。
图4是根据本发明实施例所绘制的实时视频通信的技术示例流程图。
图5是根据本发明实施例所绘制的实时视频通信中的交互示例图。
具体实施方式
如上所述，在通信网络中可以在任何时间点同时进行多个多媒体会话，并且多媒体会话也可以随时开始或随时终止。每个多媒体会话都可以有多个参与者(如用户)。更具体而言，每个参与者都可以使用诸如图2的计算设备200这样的用户设备连接至多媒体会话。一个参与者的用户设备(即源设备)捕获(如生成等)的多媒体内容可以被编码(如压缩)并传输到同一个多媒体会话中的其余参与者中的一个或多个处。
通常，有损压缩可减少网络上的流量负载并减少传输时间。众所周知，有损压缩旨在优化信息率失真值。率失真值指的是平衡失真量(如媒体流的视频质量损失)与用于编码媒体流(如数据块或视频组件等)的速率(如码数)的比率。源设备处的编码器可以根据可用带宽或所需码率来压缩媒体流。码率通常会受到源设备处/的可用上传带宽(即上行带宽或上行码率)的限制。
现有的技术可以估算源设备的上行带宽并且编码器可使用该值设置编码参数。例如，源设备可以向一个或多个接收设备发送预定大小的多媒体数据包，从一个或多个接收设备中的至少一些处接收应答(如确认应答)，并且根据接收到的应答确定上行带宽。因此，每个源设备可以独立地识别(如计算、确定等)在编码多媒体流时使用的码率。在另一种技术中，多媒体会话的每个用户设备可以在“呼叫建立”阶段得到足够的运行流量(如上行带宽)。
视频通信网络只能在可用网络总带宽的最大值范围内容纳多个多媒体(如视频聊天等)会话。网络带宽是指每秒可以通过网络传输的最大数据量。换句话说，网络的带宽是由在特定时间段内可通过网络传输的比特数给出的。
当网络上的总流量接近网络的上限时(例如当新用户加入当前多媒体会话，或当启动多个用户使用的新多媒体会话时)，网络可能无法正常处理流量(急剧)增加。当可用的网络带宽不足时，多媒体会话用户的服务质量(QoS)会受到影响。例如，网络的吞吐量(即通过网络的实际数据量)可能会因冲突、延迟等而受到影响。
随着用户规模的增加，对支持大规模多媒体通信(如多个并发的多媒体会话)的网络和系统的质量、能力和服务质量的要求也变得更高。
现在我们简要地参考图1，图1描述了目前视频通信网络系统中存在的问题。在图1中，假设具有相同阴影的框是参与相同多媒体会话的用户设备。假设在当前时间，有两个多媒体会话处于活动状态：用户设备102A、102C和102F共同参与的第一多媒体会话，以及用户设备102D、102E和102H共同参与的第二多媒体会话。再假设在当前时间，用户设备102B和102G共同参与的第三多媒体会话还没有开始。
使用等式(1)可计算运行中的第一多媒体会话和第二多媒体会话使用的总网络带宽b：
等式(1)中，bc,i为多媒体会话c中设备i(被分配、使用)的上行码率(如上行视频码率)；B为网络系统带宽上限；Kc为会话c中连接的用户设备数；fi c为用户i在会话c中使用的带宽。fi c可以是用户设备i的上行码率的函数(如线性函数或其他函数)。因此，如图1所示，因为有两个活动的多媒体会话(即第一多媒体会话和第二多媒体会话)，则N＝2。在第一多媒体会话中，Kc＝3(即用户设备102A、102C和102F)；在第二多媒体会话中，Kc＝3(即用户设备102D、102E和102H)。
当开始一个新的多媒体会话(如会话N+1)时，所有处于活动状态的会话所使用的新的总网络带宽b′变为：
在等式(2)中，KN+1为会话N+1中的用户设备总数。为便于参考，将称为Δnew，即新的多媒体会话总带宽。
部署了通信网络系统的公司机构可以预先估算并购买足够的网络带宽以满足最大的预期需求，以便应对新的会话所需的网络流量。也就是说，公司机构可以预先购买足够的带宽来处理高峰流量需求。但是这种策略也存在一些问题。
一个问题是带宽增加的量需要在购买(如租用、安装等)之前提前预知(可以从因特网服务提供商(ISP)等处购买带宽)。然而，这种方式有时并不可行，因为流量的增加可能无法预测或可能会在短时间内突然出现。当发生这种流量突然增加并且超过VCN的剩余可用带宽时，VCN系统将变得过度拥挤，导致系统范围内的服务受到损害，甚至将导致很多用户在使用服务中被中断或停止。
针对高峰流量需求购买足够的带宽还会导致在非高峰时段期间剩余大量未使用的带宽，既昂贵又浪费。峰值网络流量和非峰值(如典型、平均流量等)网络流量之间的差异越大，这种策略就越浪费。
还有一种简单的策略(如解决方案)可以将流量的增加限制在可允许的限度范围内以保护系统，这个操作可以由系统管理员完成。例如，可以通过管理数量(如并发多媒体会话的数量)来减少需求，这样在每条链路上同时进行的多媒体会话被限制在一定数量之内。举例说明，如果一个办公室有三个视频会议，但办公室的链路带宽只能支持两个同时进行的多媒体会话，则可以制定调度策略以确保每次仅同时打开两个视频会议。但是，这种策略非常限制用户的使用，从而明显降低了服务质量(QoS)。
本发明所述的实施方式通过缩减现有视频传输服务(即多媒体会话)为新多媒体会话腾出空间(即可用带宽)来解决上述问题，同时保持可接受的服务质量(QoS)。因此，即使有新的多媒体会话开始和/或新用户加入到多媒体会话中，VCN仍可以继续正常扩展。根据本发明，计算一个或多个缩放因子，并将其发送回相应的用户设备，下文将对该实施方式作详细描述。这些相应的用户设备(或设备中的编码器)可以使用一个或多个缩放因子调整编码参数以反映/适应网络上新增的额外负载。在一些实现方式中，可以通过优化值函数(如目标函数)来计算缩放因子，该值函数与参与多媒体会话的用户体验相关或者可以用来反映用户体验。
传统方法中每个用户设备(如设备中的编码器)识别上行带宽以调整编码参数，与这种方法相比，本发明所述的方式基于多媒体会话中所有数据的整体视图，也就是整个网络的带宽需求，来调整各个用户设备处的编码参数。
图1是根据本发明实施例所绘制的用于实时视频通信的系统100(如VCN)的示例图。系统100包括多个设备或装置，如用户设备102A-102H，它们通过服务器116A-116D和网络106的服务器118(也可以称为作为VCN)互连(如发送和接收实时多媒体内容)。服务器116A-116D和服务器118可以统称为“服务器”或“服务节点”。系统100还包括控制节点120。在一些实施方式中，控制节点120可以是服务器116A-116D中的一个或多个服务器或服务器118。控制节点120可被用于控制网络流量，例如，可以通过向用户设备102A-102H中的至少一些用户设备提供相应的缩放因子，详见下文所述。图1仅示出了一定数量的设备、服务器和网络，但须指出的是，系统100中包含的组件可以增加，也可以减少。
在一些实施方式中，系统100可以使用具有计算机程序的通用计算机来实现，该计算机程序在被运行时执行本发明描述的方法、算法、过程和/或指令。须指出的是，图2所述的计算设备200的设备或组件并不仅限于图2所示，还可包含更多设备或组件。
用户设备102A-102H、服务器116A-11D、服务器118和控制节点120中的每一个都可以是任意数量的任意配置的计算机，例如微型计算机、大型计算机、超级计算机、通用计算机、集成计算机、数据库计算机或远程服务器计算机等等。用户设备102A-102H中的用户设备可以是任何能够进行多媒体通信的终端用户设备，例如智能手机、相机、台式计算机、笔记本电脑、工作站计算机、平板电脑、手机、个人数据助理(PDA)、可穿戴计算设备或由计算服务提供商(如网络主机或云服务提供商)提供的计算设备。用户设备102A-102H、服务器116A-116D、服务器118和控制节点120中的一个或多个设备都可以具有如图2的计算设备200所示的硬件配置，也可以具有其他不同的配置。
网络106可以是任何合适类型的物理或逻辑网络的任何组合，例如无线网络、有线网络、局域网(LAN)、广域网(WAN)、虚拟专用网络(VPN)、蜂窝数据网络、蓝牙网络、红外线连接、NFC连接或互联网。网络106可是用于实现(如启用、执行等)多媒体会话的基础设施。网络106还可以包含下述设备之外的许多其他组件。例如，网络106可以包括用于信令、网络地址转换(NAT)、防火墙穿越、身份验证、路由等的组件或服务。
网络106的服务器可以相互连接。服务器还可以连接到用户设备。直接连接到用户设备的服务器被称为“边缘服务器”。服务器116A-116D中的每一个都是边缘服务器，因为它直接连接到至少一个用户设备。例如，图示中服务器116A为直接连接到用户设备102A-102B，图示中服务器116D为直接连接到用户设备102E-102F，等等。而服务器118为非边缘服务器。
在本发明中，术语“直接连接”是指不通过中间节点、路由节点或转发节点，在网络中的第一节点和第二节点之间建立连接。即直接连接是指可以在第一节点和第二节点之间发送和接收数据，而无需网络的任何其他节点的帮助或协调。需要说明的是，“直接连接”是在网络的应用层面，“直接连接”的建立不排除使用辅助或便利的装置或设备，如网关、路由器、交换机等，也不排除其他不作为网络应用级节点的路由或转发设备或装置。
网络106可以包括多个边缘服务器和非边缘服务器。须指出的是，边缘服务器可以在网络106中直接或间接地相互连接。例如，图示中服务器116A和116B为直接连接，而图示中服务器116A和服务器116D为间接连接。还应该注意的是，多个用户设备可以连接到同一个边缘服务器。同时在图1中，为避免视觉混乱，控制节点120没有被视觉上描绘为连接到任何其他计算设备，但控制节点120实际上直接或间接与系统100的计算设备相连。
服务器可以从不同的用户设备处接收、转发和发送多媒体数据(如多媒体会话的数据)以及向不同的用户设备转发和发送多媒体数据。服务器和控制节点可以相互连接，这在图1中并未完全显示出来。也就是说，网络106中的任何两个节点都可以直接连接。节点之间的一些连接可以是双向的，而节点之间的另一些连接也可以是单向的。路由器节点，例如服务器118，并不直接连接到任何用户设备。路由器节点参与转发数据。在一些实施方式中，服务节点可以在不同的时间在边缘节点和路由器节点之间切换角色，或者同时充当两者。在一些实施方式中，边缘节点可以连接到由互联网服务提供商(ISP)运营的自治系统(AS)。
图2是根据本发明实施例所绘制的计算设备200的示例图。计算设备200可以包括处理器202、存储器204、输入/输出(I/O)设备206和网络接口208。
处理器202可以是能够运行或处理信息的任何类型的设备。在一些实施方式中，处理器202可以包括中央处理器(如中央处理单元即CPU)。在一些实施方式中，处理器202可以包括图形处理器(如图形处理单元即GPU)。图示中仅示出了单个处理器，但计算设备200也可以使用多个处理器。例如，处理器202可以包括分布在多台机器上的多个处理器(每台机器具有一个或多个处理器)，这些机器可以通过网络(如局域网)直接或间接相连。
存储器204可以是能够存储代码和数据的任何暂时或非暂时性的一个或多个设备，这些代码和数据可由处理器(通过诸如总线)访问。本发明所述的存储器204可以是随机存取存储器设备(RAM)、只读存储器设备(ROM)、光盘或磁盘、硬盘驱动器、固态驱动器，闪存驱动器、安全数字(SD)卡、记忆棒、紧凑型闪存(CF)卡或任何合适类型的存储设备的任意组合。在一些实施方式中，存储器204可以分布在多个机器或设备上，诸如基于网络的存储器或基于云的存储器。存储器204可以存储数据(未示出)、操作系统(未示出)和一个或多个应用程序(未示出)，数据可以包括用于处理的任何数据(如音频流、视频流或多媒体流)，应用程序可以包括允许处理器202执行指令以生成控制信号的一个或多个程序，这些控制信号可用于执行下文描述的方法中所述的各项功能。应用程序可以包括或者可以是编码器，该编码器对要传输到另一台设备的多媒体流进行编码。应用程序可以包括或者也可以是接收压缩多媒体流、解码(即解压缩)压缩多媒体流并在计算设备200处存储或显示多媒体流的解码器。应用程序可以是或可以包括一种或多种用于计算上行带宽的缩放因子的技术。
在一些实施方式中，计算设备200还可以包括辅助(如外接)存储设备(未示出)。如使用上述辅助存储设备，则可在高处理需求时提供额外的存储空间。辅助存储设备可以包括任何合适的非暂时性计算机可读介质形式的存储设备，如存储卡、硬盘驱动器、固态驱动器、闪存驱动器或光驱等。此外，辅助存储设备既可以是计算设备200的组件，也可以是通过网络访问的共享设备。在一些实现中，存储器204中的应用程序可以全部或部分地存储在辅助存储设备中，并根据处理需要加载到存储器204中。
I/O设备206可通过多种方式实现，比如它可以包括适配计算设备200的显示器，并被配置为可以显示图形数据的图像。I/O设备206可以是向用户传输视觉、听觉或触觉信号的任何设备，如显示器、触敏设备(例如触摸屏)、扬声器、耳机、发光二极管(LED)指示灯或振动电机等。所述显示器可以是液晶显示器(LCD)、阴极射线管(CRT)或任何其他能够向个人提供视觉输出的输出设备。I/O设备206也可以是能够从用户接收视觉、听觉或触觉信号的任何设备，如键盘、数字小键盘、鼠标、轨迹球、触敏设备(例如，触摸屏)、传感器、麦克风、相机或手势感应输入设备。在某些情况下，输出设备还可以用作输入设备，例如被配置为接收基于触摸的输入的触摸屏显示器。
网络接口208可用于与另一设备传送信号和/或数据(如通过网络106这样的通信网络进行传输)。例如，网络接口208可以包括用于将信号或数据从计算设备200传输到另一个设备的有线装置。又如，网络接口208也可以包括使用与无线传输兼容的协议的无线发射器或接收器。网络接口208可以以各种方式实现，如转发器/收发器设备、调制解调器、路由器、网关、系统级芯片(SoC)、有线(如RJ-45)网络适配器、无线(如Wi-Fi)网络适配器、蓝牙适配器、红外适配器、近场通信(NFC)适配器、蜂窝网络天线或能够提供与网络106进行通信功能的任何合适类型的设备的任何组合。在一些实施方式中，网络接口208可以是通用网络接口，不是专用于某一个专用网络，也不仅适用于某一个专用的(如闭源、专有、非开放、或非公共)网络协议。例如，网络接口可以是支持传输控制协议/互联网协议(TCP/IP)通信协议类(或“套件”)的通用网络接口。再如，网络接口也可以是仅支持TCP/IP通信协议类的通用网络接口。应当注意的是，网络接口208可以以各种方式实现并且不限于前述示例。
在本发明所述的范围之内，计算设备200在执行实时多媒体通信的功能中可以对所述部件、组件、硬件模块或软件模块进行适当增减。
图3是根据本发明实施例所绘制的实时视频通信的技术示例流程图。技术300可用于通信网络(如VCN)，例如图1中的网络106。技术300可通过图1中的系统100中的软件和/或硬件模块来实现。例如，技术300可以实现为控制节点的软件模块，如图1的控制节点120。又如，实现技术300的软件模块也可以存储在存储器中，如图1中的存储器204，它可以是控制节点的存储器，作为可由处理器(如图2的处理器202)执行的指令和/或数据，该处理器可以是控制节点的处理器，如图2所示。
可以在任何时间和/或周期性地运行技术300以确定(如计算等)一个或多个缩放因子。在另一个示例中，也可以在有新的多媒体(如视频通信)会话加入(如开始等)时运行技术300。在又一个示例中，当现有(如当前运行的)多媒体会话中的当前(如并发)用户的数量增加时，可以开始运行技术300。在另一个示例中，当新的会话的流量很大和/或活动多媒体会话中的当前用户的数量显著增加以至于无法提供新用户或会话所需的任何额外带宽时，可以开始运行技术300。在以上这些情况下，一个或多个缩放因子的范围在(0,1)内。
在另一个示例中，也可以在多媒体会话断开连接时(如当活动多媒体会话的数量减少时)或者当现有多媒体会话中的当前用户的数量减少时运行技术300。在这些情况下，只要满足以下等式中的总带宽限制(即总带宽不超过网络系统带宽的上限B)，则该一个或多个缩放因子可以大于1。
因此，在一个示例中，技术300可以包含这一操作：即在控制节点处监测多媒体会话所发生的变化。多媒体会话的变化可以是以下两种变化中的其中之一或两种兼有：(运行中的)多媒体会话的数量发生变化，或者是(运行中的)一个或多个多媒体会话中一个或多个用户数量发生变化。
在步骤302处，技术300分别获得多媒体会话的各个连接设备(即用户设备)的带宽信息。在本发明中，术语“获得”可以指以任何方式形成、产生、选择、识别、构建、确定、接收、指定、生成或以其他方式获得。在控制节点处可接收到相应的带宽信息。
在一个示例中，获得相应的带宽信息包括在控制节点处从连接的设备获取相应的上行码率值(如bc,i，如上文等式(1)所述)；以及使用各个上行码率值分别计算各个带宽信息。各个带宽信息可以作为相应上行码率值的函数(如fi c)来计算。该函数可以是线性函数。在对该函数进行设置时可以考虑到并非所有从用户设备传输的数据都是多媒体数据这一事实。例如，传输的一些数据可能是与用户设备使用的协议相关损耗(如TCP/IP损耗、WebRTC损耗等)。在一个示例中，在对该函数进行设置时可以考虑到除了与多媒体会话相关的多媒体数据之外还可以从用户设备传输其他应用程序数据这一事实。每个上行bc,i使用的流量取决于接收流量的接收器的数量、经由这些接收器的路由、以及其他等等因素。此外，至少有一些路由路径是可以共享的；或者至少有一些路由可能会出现拥塞或丢包现象，因此只能传输部分数据。在设置函数fi c时，VCN系统(如控制单元)可以将上述这些因素加以考虑。在另一个示例中，函数fi c可以简单地设置为fi c＝bc,i。在又一个示例中，函数fi c还可以同时采用下行链路的码率值，也可以采用下行链路的码率值作为替代。
在一个示例中，参与活动多媒体会话的用户设备中的至少一些设备可以将它们各自的上行码率传送到控制节点。在另一个示例中，控制节点可以轮询至少一些用户设备或连接到所述至少一些用户设备的边缘服务器以获得相应的上行码率。在另一示例中，当用户设备加入多媒体会话时，控制节点可以获得每个用户设备的初始最大允许上行码率。此类信息可从包含此类信息的服务器处获得。例如，可以从连接到参与多媒体会话的用户设备的各个边缘服务器处获得上行码率。
在步骤304处，技术300获得多媒体会话中相应连接设备中的一个或多个相应带宽的一个或多个缩放因子。
在一个示例中，该一个或多个缩放因子可以是一个统一的缩放因子。也就是说，所有运行中的多媒体会话(如活动视频传输服务)都可以被统一缩小(如使用相同的缩放因子进行缩小)以便为新的服务(如新的多媒体会话或新用户设备)腾出空间。通过方程(5)的优化问题求解可获得该统一的缩放因子s。当新增一个多媒体会话时(即会话数从N增加到(N+1))，上述等式(2)导出下列等式，其中新的总网络带宽b'保持低于或等于网络带宽的上限B，：
因此，每个当前会话的带宽使用必须按缩放因子s进行缩减。等式(4)则可以改写为等式(5)的优化问题：
因此，可以使用通信网络的总带宽(即网络B的上限)和其中一个多媒体会话的总带宽(如新多媒体会话的总带宽)来确定(如计算等)一个或多个缩放因子。如果多媒体会话终止，则(5)的优化问题变为：当其中b′≤B，其中Δnew是刚刚终止的多媒体会话的总带宽。
假设当前多媒体会话包括第一多媒体会话、第二多媒体会话和其他多媒体会话，则可以将一个或多个缩放因子s发送到第一多媒体会话、第二多媒体会话和至少一些其他多媒体会话中的每一个。将一个或多个缩放因子发送到多媒体会话意味着将一个或多个缩放因子发送至多媒体会话的每个用户设备。
在另一个示例中，至少一些(如每个)多媒体会话可以被单独地进行缩放。因此，确定一个或多个缩放因子可以包括通过优化总值来获得至少一些多媒体会话的相应缩放因子，该总值是多媒体会话的相应值函数的组合。每一个值函数都可以使用多媒体会话中用户设备的相应缩放因子和相应码率作为参数，详见下文所述。值函数可被赋予一个多媒体会话的用户。一个会话中所有用户的值总和就是该会话的总值。VCN的总值可以是所有会话的值之和。
也就是说，可以为每个要缩放的多媒体会话获得相应的缩放因子sc，而不是采用统一的缩放因子。因此，等式(2)可以改写为：
根据等式(6)，使用对应的缩放因子sc对每个当前多媒体会话c(c＝1,…,N)进行缩放，使得当前多媒体会话和新的多媒体会话的总网络带宽b'保持小于或等于网络系统的带宽上限B。
对值函数(如目标函数)做出定义和使用，可计算出缩放因子sc。值函数可以反映用户体验(即用户对接收的多媒体内容的性能和/或视频质量的体验感受)。用户体验通常在很大程度上取决于用户正在收看(如接收)的码流的码率。例如，码率越高，则编码器在编码中可生成具有更高分辨率的压缩视频和/或更高帧率的视频，然后进行网络传输。
重申一下，值函数或用户体验可以是码率的函数。在另一个示例中，值函数可以是或可以还包括某一给定服务水平的标价。标价也可以是码率的函数。值函数可以用等式(7)中的ri c(bc,i)表示，计算所有运行中的多媒体会话的总值：
通过求解式(8)的优化问题可获得各个比例因子sc，该优化问题可以使用任何已知的方法来求解。例如，可以使用线性规划或动态规划来解决式(8)的优化问题。
在步骤306处，技术300将一个或多个缩放因子发送至所连接的一个或多个设备。可以从控制节点经由连接的设备连接到的边缘服务器将一个或多个缩放因子传输到连接的设备。如图1所示，在分别得出各个缩放因子sc的情况下，第一多媒体会话的缩放因子s1被传送到用户设备102A、102C和102F；第二多媒体会话的缩放因子s2被传送到用户设备102D、102E和102H；新的多媒体会话的缩放因子s3则被传送到用户设备102B和102G。缩放因子sc{c＝1,…,N+1}从控制节点处传送到用户设备中的相应视频编码器，并将其用于缩放视频编码的码率。也就是说，一个或多个连接的设备可使用缩放因子来调整可用带宽。如前所述，一个或多个连接的设备使用缩放因子来调整多媒体会话的编码参数。在一个示例中，其中一个连接设备可以使用缩放因子和估算的带宽来确定用于编码的码率，该估算带宽是由连接设备估算(如计算、确定)出来。在一个示例中，连接的设备也可能不采用估算的带宽来确定编码码率。因此，可以将缩放后的码率直接发送到连接的设备，而不是发送缩放因子。
图4是根据本发明实施例所绘制的实时视频通信的技术400示例流程图。技术400可以由连接到网络(如视频通信网络，例如图1中的网络106)的设备来实现，该设备通过网络参加多媒体会话。例如，在设备处捕获或生成的多媒体流可以由设备的编码器(如视频和/或音频编码器)进行编码，然后经由网络传输到一个或多个接收设备。
实现技术400可通过在计算设备(如图1的用户设备102A-102H或图2的计算设备200中的一个或多个)上运行的软件程序来实现。软件程序可以包括机器可读指令，这些指令存储在如存储器204或二级存储器这样的存储器中，并且当由处理器(如处理器202)执行时，可以使得计算设备运行技术400。技术400也可以使用专用硬件或固件来实现。还可以使用多个处理器、存储器或两者。
在步骤402处，技术400使用第一编码参数以第一码率对第一段多媒体流进行编码。所述第一码率可以是设备的上行带宽，或者也可以根据设备的上行带宽计算得出。在一个示例中，上行带宽是指设备可用于将多媒体内容(如视频内容)上传到网络的带宽。
在步骤404处，技术400将设备的上行带宽传输到视频通信网络的控制节点。控制节点可以是图1中的控制节点120。在一个示例中，根据来自控制节点的请求将上行带宽传输到控制节点。在另一个示例中，可以以有规律的时间间隔(如每1秒、1/2秒或其他时间间隔)将上行带宽传输到控制节点。在又一个示例中，可以通过与设备相连的边缘服务器将设备的上行带宽传输给控制节点。
在步骤406处，技术400从控制节点处接收缩放因子。如上所述，缩放因子可以是缩放因子s或缩放因子sc。缩放因子sc是设备正在参与的多媒体会话的缩放因子。须注意的是，设备可以同时参与多个多媒体会话。因此，可以为每个多媒体会话接收相应的缩放因子。
在步骤408处，技术400使用缩放因子对上行带宽进行缩放以获得第二码率。缩放可以是指简单地将上行带宽乘以缩放因子从而获得第二码率。当然也可以采用其他计算方式根据缩放因子和上行带宽获得第二码率。如上所述，缩放因子可以在(0,1)范围之内或者也可以大于1。因此，在一个示例中，如果缩放因子在(0,1)范围内，则第二码率将小于第一码率。
在步骤410处，技术400使用第二编码参数以第二码率对第二段多媒体流进行编码。编码参数可以是帧率和/或帧分辨率。因此，当缩放因子在范围(0,1)内时，可以使用较小的帧率和/或较小的分辨率对第二段多媒体流进行编码。
图5是根据本发明实施例所绘制的实时视频通信中的交互示例图500。交互示例图500可以在诸如系统100这样的系统中实现。交互示例图500包括第一用户设备504参与的第一多媒体会话502、第二用户设备508参与的第二多媒体会话506，以及控制节点510。第一多媒体会话502和第一用户设备504是当前活动的多媒体会话并且可以分别是图1中所述的第一多媒体会话和第二多媒体会话。第一用户设备504可以是用户设备102A、102C或102F中的一个或多个；第二用户设备508可以是用户设备102D、102E或102H中的一个或多个。控制节点510可以是图1中的控制节点120。交互示例图500还包括第三个多媒体会话512，该会话在当前活动的多媒体会话(如第一多媒体会话502和第二多媒体会话506)之后才开始。
在520处，控制节点510接收第一用户设备504的第一上行带宽；在522处，控制节点510接收第二用户设备508的第二上行带宽。在一个示例中，控制节点510要求获取第一上行带宽和第二上行带宽。在另一个示例中，第一用户设备504和第二用户设备508在没有控制节点510发出指令的情况下分别传输第一上行带宽和第二上行带宽。在又一个示例中，控制节点510可以从一个或多个其他设备(如服务器)处获得第一上行带宽和第二上行带宽，所述一个或多个其他设备中包含和/或可以导出所述第一上行带宽和第二上行带宽。
在524处，控制节点检测到第三个多媒体会话512已经开始。在526处，在检测到第三多媒体会话512开始后，控制节点510随即使用第一上行带宽和第二上行带宽计算一个或多个缩放因子；并且在528处，控制节点向第一用户设备发送一个或多个缩放因子。在530处，第一用户设备504使用一个或多个缩放因子来调整第一多媒体会话中编码器的编码参数。
在一个示例中，上述一个或多个缩放因子也可以被发送到用户设备508处。在一个示例中，该一个或多个缩放因子包括第一多媒体会话的缩放因子1和第二多媒体会话的缩放因子2，这两个缩放因子互不相同。控制节点510将缩放因子1发送至第一用户设备504，将缩放因子2发送至第二用户设备508。第三用户设备(未示出)可以连接到(如参与等)第一多媒体会话。此时，控制节点510也可以将缩放因子1发送至第三用户设备处。在一个示例中，第四用户设备处可以开始一个新的多媒体会话，根据等式(5)或等式(8)计算出新的缩放因子将被发送至第四用户设备处。
在一个示例中，控制节点510根据通信网络的总带宽和第三个多媒体会话的网络带宽计算一个或多个缩放因子。在一个示例中，在确保新的网络总带宽小于或等于网络系统带宽的上限的前提下计算一个或多个比例因子。新的网络总带宽包括第一多媒体会话的总带宽1、第二多媒体会话的总带宽2和第三多媒体会话的总带宽3。
根据第一上行带宽和第二上行带宽计算一个或多个缩放因子可以是指对用户体验值进行优化或者可以包括优化用户体验值，如上所述。衡量用户体验的值可以是码率的函数。
如上所述，本领域专业人士应该会发现本发明所述的本发明的全部或部分内容可以使用具有计算机程序的通用计算机或处理器来实现，该计算机程序在被运行时可执行本发明所述的任何相应的技术、算法和/或指令。
本发明所述的计算设备(以及存储在其上和/或由此执行的算法、方法、指令等)可以通过硬件、软件或其任何组合来实现。硬件可包括计算机、知识产权(IP)内核、专用集成电路(ASIC)，可编程逻辑阵列(FPGA)、光处理器、可编程逻辑控制器、微代码、微控制器、服务器、微处理器、数字信号处理器或其他任何适用的电路。在本权利要求中，“处理器”一词应理解为包含任何上述内容中的一个或其多个组合。
本发明所述各方面内容可通过功能块组件和各种处理操作来描述。本发明的流程和序列可以单独或以任意组合形式来执行。功能块可以通过执行任意数量的可运行特定功能的硬件和/或软件组件来实现。例如，所述的内容可以采用各种集成电路组件，例如存储器元件、处理元件、逻辑元件、查找表等，在一个或多个微处理器或其他控制设备的控制下执行各种功能。类似地，实现所述内容各个功能时如需采用软件编程或软件元件，都可以采用诸如C、C++、Java、汇编程序等的任何编程或脚本语言来实现本发明，并且可以采用任何数据结构、对象、进程、例程或其他编程元素的任意组合来执行各种算法。各项功能可以在一个或多个处理器上通过执行算法来实现。此外，本发明所述各功能可以采用任意数量的常规技术来进行电子配置、信号处理和/或控制、数据处理等。本发明广泛使用“机制”和“元素”这些词语，并不限于机械或物理实现，而是可以包括与处理器结合的软件例程等。
以上发明的实现或部分实现可以采取计算机程序产品的形式，该程序产品可通过计算机使用或可由计算机可读介质进行访问。计算机可用或计算机可读介质可以是任何设备，该设备可以具体包含、存储、传送或传输供任何处理器使用或与其结合使用的程序或数据结构。该介质可以是电子的、磁的、光学的、电磁的或半导体设备等等。也可包含其他适用的介质。上述计算机可用或计算机可读介质可以被称为非暂时性存储器或介质，并且可以包括RAM或其他易失性存储器或存储设备，它们可以随时间变化而发生改变。本发明所述的设备存储器并非必须物理上配备于设备中，而是可以由设备远程访问，并且不必与设备中其他物理上配备的存储器相邻，除非另有特别说明。
本发明所述作为本发明的示例执行的一项或多项功能均可使用机器可读指令来实现，该指令用于对前述一个或多个组合的硬件执行操作。计算代码可以以一个或多个模块的形式实现，通过这些模块可以将一个或多个组合的功能作为计算工具来执行，在运行本发明所述方法和系统时，输入和输出数据在每个模块与一个或多个其他模块之间进行相互传输。
在本发明中，“信号”和“数据”两词可以互换使用。此外，计算设备各部分功能并非必须以相同的方式来实现。信息、数据和信号可以使用各种不同的技术和方法来表示。例如，本发明中提到的任何数据、指令、命令、信息、信号、比特、符号和芯片可以用电压、电流、电磁波、磁场或粒子、光学场或粒子等一项或多项组合来表示。
本发明采用“示例”一词来表示举例、实例或说明。本发明所述用于“示例”的任何功能或设计不一定表示其优于或胜于其他功能或设计。相反，使用“示例”一词是为了以具体的方式呈现概念。另外，“一个功能”或“一项功能”这两个短语在全文中多次用到，但并不意味着同一个实施方式或同一功能。
本发明中所使用的“或”字旨在表示包含性的“或”而不是排他性的“或”。也就是说，“X包括A或B”意在表示任何自然的包含性排列，除非另有说明，或者从上下文可明确判断则另当别论。换句话说，如果X包含A，X包含B，或X包含A和B，那么在任何前述实例下“X包含A或B”都成立。以此类推，“X包括A和B中的一个”是指“X包括A或B”。本公开中使用的“和/或”一词旨在表示“和”或不排他性的“或”。也就是说，“X包括A、B和/或C”旨在表示X可包括A、B和C的任意组合，除非另有说明或上下文另有明确指示。换句话说，如果X包括A，X包括B，X包括C，X包括A和B，X包括B和C，X包括A和C，或者X包括A、B和C中的全部，那么上述情况中的每一种或多种都满足“X包括A、B和/或C”的描述。以此类推，“X包括A、B和C中的至少一个”是指“X包括A、B和/或C”。
本发明中“包含”或“具有”及其同义词旨在表示包括其后列出的项目及其等同物以及附加项目。根据上下文语境，本发明中的“如果”一词可以被解释为“当”“当……时”或“假设”等意思。
在本发明所述内容(特别是下文的权利要求书)中，“一”、“一个”和“该”以及类似的指示代词应理解为包含一个和多个的单数和复数形式。此外，本发明中对数值范围的描述只是一种简便的描述方式，旨在表示包含在该范围之内的每一个单独数值，并且每个单独值并入规格范围中，等效于在本发明中单独列举。最后，本发明所述的所有方法的步骤可以以任何合适的顺序执行，除非本发明另有说明或者与上下文明显矛盾。本发明提供的示例或示例性语言(例如“诸如”)的使用旨在更好地说明本发明，而非用于限制本发明的范围，除非另有说明。
本发明使用各种标题和小标题列出列举条目。包含这些内容是为了增强可读性并简化查找和引用材料的过程。这些标题和小标题并非用于、也不会用来影响对权利要求的解释或以任何方式限制权利要求的范围。本发明示出和描述的具体实现是本发明的说明性示例，而并非以任何方式限制本发明的范围。
本发明引用的所有参考文献(包括出版物、专利申请和专利等)均通过引用纳入本发明，等效于单独且明确地指明将每个参考文献通过引用纳入本发明，且涵盖参考文献的全部相关内容。
虽然本发明已经结合某些实施例和实施方式对本发明进行描述说明，但提请注意的是，本发明并不限于所公开的实施方式，与之相反，本公开旨在覆盖权利要求范围之内所涵盖的各种变体和等同设置，该范围应被赋予最宽泛的解释以涵盖法律允许的所有上述变体和等同设置。

Claims (16)

1.一种在通信网络中使用的方法，包括：
在控制节点处分别获取多媒体会话的各个连接设备的带宽信息；
确定所述多媒体会话中一个或多个连接设备的相应带宽的一个或多个缩放因子；以及
将所述一个或多个缩放因子发送至相应的一个或多个连接设备；其中，
所述一个或多个相应的连接设备使用所述缩放因子调整可用带宽；以及
所述一个或多个相应的连接设备使用所述缩放因子调整多媒体会话的编码参数。
2.根据权利要求1所述的方法，其中所述分别获取各个连接设备的带宽信息包括：
在控制节点处，从连接设备获得相应的上行码率值；
使用相对应的上行码率值分别计算相应的带宽信息。
3.根据权利要求1所述的方法，还包括：
在控制节点处监测多媒体会话所发生的变化。
4.根据权利要求3所述的方法，其中多媒体会话的变化可以是以下两种变化中的其中之一或两种兼有：一是多媒体会话的数量发生变化，另一是一个或多个多媒体会话中的用户数量发生变化。
5.根据权利要求1所述的方法，其中采用通信网络的总带宽和其中一个多媒体会话的带宽计算得出一个或多个缩放因子。
6.根据权利要求5所述的方法，
其中所述多媒体会话包括第一多媒体会话和第二多媒体会话，以及
其中将所述一个或多个缩放因子发送至相应的一个或多个连接设备包括：
将所述一个或多个缩放因子发送至所述第一多媒体会话和所述第二多媒体会话。
7.根据权利要求1所述的方法，其中所述确定多媒体会话的一个或多个连接设备的相应带宽的一个或多个缩放因子包括：
通过优化总值来获得一个或多个多媒体会话的相应缩放因子，所述总值是各个多媒体会话的相应值函数的组合，其中相应值函数的每一个使用所述多媒体会话中用户设备的相应缩放因子和相应码率作为参数。
8.根据权利要求7所述的方法，其中值函数反映了相关的用户体验。
9.一种用于实时多媒体通信的系统，包括：
参与第一多媒体会话的第一用户设备，所述第一用户设备被配置为使其用于：
从控制节点处接收一个或多个缩放因子；以及
使用所述一个或多个缩放因子调整所述第一多媒体会话所采用的编码器的编码参数；
参与第二多媒体会话的第二用户设备；以及
一个控制节点，该控制节点可用于：
获取第一用户设备的第一上行带宽；
获取第二用户设备的第二上行带宽；以及
如检测到第三多媒体会话已开始，则：
使用所述第一上行带宽和所述第二上行带宽计算一个或多个缩放因子；
将所述一个或多个缩放因子发送至第一用户设备。
10.根据权利要求9所述的系统，其中所述控制节点还可被配置为：
将所述一个或多个缩放因子发送至所述第二用户设备。
11.根据权利要求9所述的系统，
其中所述一个或多个缩放因子包括第一多媒体会话的第一缩放因子和第二多媒体会话的第二缩放因子，以及
其中将所述一个或多个缩放因子发送至第一用户设备包括：
将第一缩放因子发送至第一用户设备；以及
将第二缩放因子发送至第二用户设备。
12.权利要求11所述的系统，还包括：
第三用户设备参与到所述第一多媒体会话，其中将一个或多个缩放因子发送至第一用户设备包括：
将所述第一缩放因子发送至所述第三用户设备。
13.权利要求9所述的系统，其中计算一个或多个缩放因子包括：
根据通信网络的总带宽和所述第三多媒体会话的网络带宽计算一个或多个缩放因子。
14.根据权利要求9所述的系统，其中在确保新的网络总带宽小于或等于网络系统带宽的上限的前提下计算一个或多个缩放因子，其中新的网络总带宽包括第一多媒体会话的总带宽1、第二多媒体会话的总带宽2和第三多媒体会话的总带宽3。
15.根据权利要求9所述的系统，其中使用第一上行带宽和第二上行带宽计算一个或多个缩放因子包括：
对用户体验的相关分值进行优化。
16.根据权利要求15所述的系统，其中衡量用户体验的值是码率的函数。
CN202111317687.8A 2021-04-05 2021-11-09 基于值函数优化的视频通信网络 Active CN115208861B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/222,375 2021-04-05
US17/222,375 US11277460B1 (en) 2021-04-05 2021-04-05 Video communications network with value optimization

Publications (2)

Publication Number Publication Date
CN115208861A CN115208861A (zh) 2022-10-18
CN115208861B true CN115208861B (zh) 2023-12-15

Family

ID=76553651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111317687.8A Active CN115208861B (zh) 2021-04-05 2021-11-09 基于值函数优化的视频通信网络

Country Status (3)

Country Link
US (2) US11277460B1 (zh)
EP (1) EP4072151A1 (zh)
CN (1) CN115208861B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11277460B1 (en) * 2021-04-05 2022-03-15 Agora Lab, Inc. Video communications network with value optimization

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103999532A (zh) * 2011-11-07 2014-08-20 高通股份有限公司 弹性带宽系统中的动态带宽调整
CN104012158A (zh) * 2011-11-07 2014-08-27 高通股份有限公司 灵活带宽系统中的动态带宽调整
CN111937334A (zh) * 2018-04-05 2020-11-13 高通股份有限公司 使用缩放因子的替代的调制编码方案的信令

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8250618B2 (en) * 2006-09-18 2012-08-21 Elemental Technologies, Inc. Real-time network adaptive digital video encoding/decoding
US8711929B2 (en) * 2006-11-01 2014-04-29 Skyfire Labs, Inc. Network-based dynamic encoding
US8804821B2 (en) * 2008-09-26 2014-08-12 Microsoft Corporation Adaptive video processing of an interactive environment
US8416690B2 (en) * 2010-01-11 2013-04-09 Research In Motion Limited Explicit congestion notification based rate adaptation using binary marking in communication systems
NO333235B1 (no) * 2010-05-25 2013-04-15 Cisco Systems Int Sarl System og fremgangsmate for konferanser med skalerbar mediesvitsjing
US9113486B2 (en) * 2011-08-12 2015-08-18 Alcatel Lucent Method and apparatus for controlling wireless uplink sessions
US8971271B2 (en) * 2012-01-30 2015-03-03 Telefonaktiebolaget L M Ericsson (Publ) Methods and network nodes for scheduling transmission
CN103379044A (zh) * 2012-04-26 2013-10-30 鸿富锦精密工业（深圳）有限公司 网络装置及其动态调整带宽的方法
EP3164963A4 (en) * 2014-07-04 2018-04-04 Telefonaktiebolaget LM Ericsson (publ) Priority of uplink streams in video switching
US10171536B2 (en) * 2016-09-30 2019-01-01 Atlassian Pty Ltd Rapid optimization of media stream bitrate
US10904798B2 (en) * 2016-11-04 2021-01-26 Apple Inc. UE and devices for codec rate adaptation
US20180316741A1 (en) * 2017-05-01 2018-11-01 Microsoft Technology Licensing, Llc Synthetic Transaction based on Network Condition
CN112262593B (zh) * 2018-06-21 2023-04-11 中兴通讯股份有限公司 一种无线通信方法、装置及计算机可读程序存储介质
US10924526B2 (en) * 2018-08-10 2021-02-16 Verizon Patent And Licensing Inc. Adapting an audio bit rate based on changing network conditions
US11146599B1 (en) * 2019-02-04 2021-10-12 C/Hca, Inc. Data stream processing to facilitate conferencing based on protocols
US11277460B1 (en) * 2021-04-05 2022-03-15 Agora Lab, Inc. Video communications network with value optimization

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103999532A (zh) * 2011-11-07 2014-08-20 高通股份有限公司 弹性带宽系统中的动态带宽调整
CN104012158A (zh) * 2011-11-07 2014-08-27 高通股份有限公司 灵活带宽系统中的动态带宽调整
CN111937334A (zh) * 2018-04-05 2020-11-13 高通股份有限公司 使用缩放因子的替代的调制编码方案的信令

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
An integrated resource negotiation, pricing, and QoS adaptation framework for multimedia applications;Xin Wang and H. Schulzrinne;IEEE Journal on Selected Areas in Communications;第18卷(第122514-2529期);2514-2529 *

Also Published As

Publication number Publication date
EP4072151A1 (en) 2022-10-12
US11757967B2 (en) 2023-09-12
US20220321625A1 (en) 2022-10-06
CN115208861A (zh) 2022-10-18
US11277460B1 (en) 2022-03-15

Similar Documents

Publication Publication Date Title
US11949588B2 (en) Large-scale real-time multimedia communications
US10122547B2 (en) Enabling high-bandwidth, responsive mobile applications in LTE networks
US9538134B2 (en) Method and system for resource load balancing in a conferencing session
KR101518799B1 (ko) 무선 업링크 세션들을 제어하기 위한 방법 및 장치
EP3219106B1 (en) Context-aware resource management for video streaming services
US10194180B2 (en) Systems and methods for transmitting video data over a network
KR20150108856A (ko) 다수의 미디어 스트림의 사용을 통한 무선 실시간 미디어 통신
US11206298B2 (en) Method and system utilizing event specific priority in a network controlled uplink media transmission for a collaborative media production
US10080231B2 (en) Channel bandwidth optimization for dynamic network conditions
TW201505427A (zh) 一種通信視頻品質調節方法和相關設備及系統
CN108206925B (zh) 多路视频通话的实现方法、装置及多通终端
CN115208861B (zh) 基于值函数优化的视频通信网络
Fu et al. QoE-aware traffic management for mobile video delivery
US10333994B2 (en) Method and device for improved multi-homed media transport
EP1971100A1 (en) Method and device for processing data in a network component and system comprising such a device
CN112236986B (zh) 用于网络容量受限场景中的协作媒体制作的网络控制上行媒体传送
US20150223105A1 (en) Modifying feedback information to control a source device
US20210243243A1 (en) Method and system for utilizing network conditions feedback for improving quality of a collaborative media production
WO2019112494A1 (en) A first node and a second node and methods of operating the same
EP3526918A1 (en) Dynamically partitioning media streams
Sarwar et al. QoS and QoE Aware N‐Screen Multicast Service
CN113396597A (zh) 自适应比特率数据广播
KR101335332B1 (ko) 부담 정보에 기초한 자원 인지형 콘텐츠 제공 방법
CN105635631A (zh) 视频会议控制方法及系统
TW201626789A (zh) 視訊會議控制方法及系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant