CN109479113B - 用于在多媒体通信中使用压缩并行编解码器的方法和装置 - Google Patents

用于在多媒体通信中使用压缩并行编解码器的方法和装置 Download PDF

Info

Publication number
CN109479113B
CN109479113B CN201780044339.3A CN201780044339A CN109479113B CN 109479113 B CN109479113 B CN 109479113B CN 201780044339 A CN201780044339 A CN 201780044339A CN 109479113 B CN109479113 B CN 109479113B
Authority
CN
China
Prior art keywords
codec
message
parallel
listed
list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780044339.3A
Other languages
English (en)
Other versions
CN109479113A (zh
Inventor
N·K·梁
Y·王
R·苏布拉马尼安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN109479113A publication Critical patent/CN109479113A/zh
Application granted granted Critical
Publication of CN109479113B publication Critical patent/CN109479113B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/756—Media network packet handling adapting media to device capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H04L65/1104—Session initiation protocol [SIP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/24—Negotiation of communication capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Function (AREA)

Abstract

公开了用于会议中的会话发起的方法和装置。在一个方面中，公开了一种用于多方之间的通信的方法。该方法包括：在第一设备处，生成第一消息以向第二设备传输。该方法还包括：在第一设备处，接收第二消息以建立会议。第二消息包括第二设备支持的一个或多个并行编解码器能力的列表。第二设备支持的一个或多个并行编解码器能力的列表包括如下指示：可用于第一列出的编解码器的一个或多个并行实例的一个或多个资源，是否可以替代地用于第二列出的编解码器的一个或多个并行实例。

Description

用于在多媒体通信中使用压缩并行编解码器的方法和装置
技术领域
本公开内容涉及编解码器协商领域，具体地说，本公开内容涉及分散式多媒体会议和通信中的压缩并行编解码器协商。
背景技术
能够将数字视频和音频能力并入到各种各样的设备中，其包括数字电视、数字直接广播系统、无线广播系统、个人数字助理(PDA)、膝上型计算机或桌面型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏设备、视频游戏控制台、蜂窝或卫星无线电话、视频电话会议设备等等。数字视频和音频设备实现视频和音频压缩技术，例如，由运动图像专家组2(MPEG-2)、MPEG-4、国际电报联盟电信标准化部门(ITU-T)H.263、ITU-TH.264/MPEG-4、第10部分所规定的标准、高级视频编码(AVC)、高效率视频编码(HEVC)标准、以及这些标准的扩展里所描述的那些技术。视频和音频设备可以通过实现这些视频和音频编码技术，来更有效地发送、接收、编码、解码和/或存储数字视频和音频信息。
诸如可伸缩HEVC(SHVC)和多视角HEVC(MV-HEVC)的视频和音频编码标准提供用于定义解码器能力的层级(level)定义。在下文中，基于在进行发明时SHVC的现有层级定义和其他上下文来描述问题和解决方案，但这些解决方案也适用于MV-HEVC以及其它多层编解码器。
发明内容
落入所附权利要求的保护范围内的系统、方法和设备的各种实施方式各具有一些方面，这些方面中没有单个方面单独地对本文描述的所期望的属性负责。在不限制所附权利要求的保护范围的情况下，本文描述了一些突出的特征。
在附图和下文的描述中，阐述了本说明书中描述的主题的一个或多个实施方式的细节。通过这些描述、附图和权利要求，其它特征、方面和优点将变得显而易见。应当注意，附图中的相对尺寸可能没有按比例进行描绘。
在一个方面中，公开了一种用于多方之间进行通信的方法。该方法包括：在第一设备处，生成第一消息以向第二设备传输。该方法还包括：在该第一设备处，接收第二消息以建立会议。该第二消息包括该第二设备支持的一个或多个并行编解码器能力的列表。该第二设备支持的一个或多个并行编解码器能力的该列表包括如下指示：可用于第一列出的编解码器的一个或多个并行实例的一个或多个资源，是否可以替代地用于第二列出的编解码器的一个或多个并行实例。
本公开内容的另一方面是一种用于发起采用多个编解码器的多方、多流会议的装置。该装置包括处理器和接收机。该处理器被配置为生成第一消息以向第一设备传输。该接收机被配置为，从该第一设备接收第二消息以建立会议。该第二消息包括该第一设备支持的一个或多个并行编解码器能力的列表。该第一设备支持的一个或多个并行编解码器能力的该列表包括如下指示：可用于第一列出的编解码器的一个或多个并行实例的一个或多个资源，是否可以替代地用于第二列出的编解码器的一个或多个并行实例。
本公开内容的另一方面是一种用于发起采用多个编解码器的多方、多流会议的装置。该装置包括：用于生成第一消息以向第一设备传输的单元以及用于从该第一设备接收第二消息以建立会议的单元。该第二消息包括该第一设备支持的一个或多个并行编解码器能力的列表。该第一设备支持的一个或多个并行编解码器能力的该列表包括如下指示：可用于第一列出的编解码器的一个或多个并行实例的一个或多个资源，是否可以替代地用于第二列出的编解码器的一个或多个并行实例。
本公开内容的额外的方面是一种包括指令的非暂时性计算机可读介质，当执行该指令时，该指令使处理器执行方法。该方法包括：在第一设备处，生成第一消息以向第二设备传输。该方法还包括：在该第一设备处，接收第二消息以建立会议。该第二消息包括该第二设备支持的一个或多个并行编解码器能力的列表，其中，该第二设备支持的一个或多个并行编解码器能力的该列表包括如下指示：可用于第一列出的编解码器的一个或多个并行实例的一个或多个资源，是否可以替代地用于第二列出的编解码器的一个或多个并行实例。
附图说明
图1示出了用于多个参与方的会议架构的示例。
图2示出了用于多个参与方的分散式会议架构的示例。
图3示出了用于多个参与方的分散式会议架构的另一示例。
图4示出了在终端用作混合器的情况下，用于多个参与方的混合会议架构的示例。
图5示出了在终端用作混合器和参与方的情况下，用于多个参与方的混合会议架构的示例。
图6是用于会议中的编解码器协商的另一示例性方法的流程图。
图7是用于使用压缩并行编解码器以发起会议会话的示例性方法的流程图。
图8是用于使用压缩并行编解码器以发起会议会话的示例性方法的另一流程图。
具体实施方式
下面结合附图阐述的具体实施方式旨在作为对本发明的某些实施方式的描述，而不是要表示可以实践本发明的唯一实施方式。遍及本描述所使用的术语“示例性”意味着“用作示例、实例或说明”，并且不应被解释为对于其它示例性实施方式是优选的或有优势的。具体实施方式包括出于提供对所公开的实施方式的透彻理解目的的具体细节。在一些实例中，以方块图的形式示出了一些设备。
视频编码标准包括ITU-T H.261、ISO/IEC MPEG-1视频、ITU-T H.262或ISO/IECMPEG-2视频、ITU-T H.263、ISO/IEC MPEG-4视频和ITU-T H.264(其还称为ISO/IEC MPEG-4AVC)，包括其可伸缩视频编码(SVC)扩展和多视角视频编码(MVC)扩展。
此外，ITU-T视频编码专家组(VCEG)的视频编码联合协作小组(JCT-VC)和ISO/IECMPEG已经开发一种视频编码标准，即高效率视频编码(HEVC)。针对HEVC草案10的全文引用是Bross等人于2013年1月14日至2013年1月23日在瑞士日内瓦的ITU-T视频编码联合协作小组(JCT-VC)SG16WP3和ISO/IEC JTC1/SC29/WG11，第12次会议上的题为“HighEfficiency Video Coding(HEVC)Text Specification Draft 10”的文档JCTVC-L1003。此外，JVC-3V(ITU-T/ISO/IEC三维视频编码扩展开发联合协作小组)和JCT-VC也分别正在开发HEVC多视角扩展，即MV-HEVC，和HEVC可伸缩扩展，即SHVC。MV-HEVC的最新工作草案(WD)将在下文中称为MV-HEVC WD7。SHVC的最新WD将在下文称为SHVC WD5。
层级定义的现有方法有时不能提供足够的信息以定义解码器能力来高效解码多层比特流。例如，为了对多于4个的各具有720p分辨率的信噪比(SNR)可伸缩层(具有等同分辨率的层)进行解码，将需要层级5解码器或者更高层级的解码器。因此，亮度编码树块(CTB)大小将等于32x32或64x64(即，不能使用诸如16x16的更小的编码大小)。但是，对于一些层，例如具有720p或更低的分辨率的那些层，这种限制可能导致次优的编码效率。
在一些实例中，可以通过重用多个现有的单层解码器来制造解码器。在示例中，由4个单层HEVC层级3.1解码器组成的SHVC解码器将必须符合层级4或者更高层级，以根据现有的层级定义来解码720p的4个SNR层。通过该定义，解码器将必须能够对任何层级4比特流进行解码。然而，除非对解码器硬件进行改变，否则这样的解码器将不能解码具有1080p分辨率的2个SNR层的SHVC层级4比特流。
现有HEVC层级定义的另一问题是，以能够解码1080p的单层HEVC比特流和720p的双层SHVC比特流两者的方式实现的解码器将被标记为层级3.1。但是，层级3.1标记并不表示对1080p的单层比特流进行解码的能力。
在另一示例中，对于根据现有的层级定义，能够对720p的4个SNR层进行解码的使用4个单层HEVC 3.1解码器实现的解码器来说，该解码器将必须符合层级4或者更高层级。因此，将需要解码器能够对具有多于3个并联(tile)行和多于3个并联(tile)列的比特流进行解码，每个并联具有256个亮度样本的宽度和144个亮度样本的高度。但是，解码器的层级3.1限制将不能对一些这样的比特流进行解码。
在SHVC的现有设计下，将HEVC文本的A.4.1节中的所有项目指定为适用于每个层。但是，一些项目不能直接适用于每个层。例如，针对解码图像缓冲区(DPB)大小上的项目d，序列参数集(SPS)语法元素不适用于增强层。此外，SHVC WD5中的DPB是共享子DPB设计，因此不能直接将项目d应用于每个层。作为另一示例，针对编码图像缓冲区(CPB)大小上的项目h和i，针对比特流特定的CPB操作，不能将参数应用于每个层。
需要对CPB大小(按照HEVC文本的A.4.1节中的项目h和i)进行比特流特定的限制。然而，不能将HEVC文本的A.4.1节中的项目h和i直接应用于比特流层级，因为如果直接应用，则针对单层比特流的相同CPB大小限制也将是针对多层比特流的限制。这对于多个层而言将是不可缩放的，并且当有很多层时，这将只允许低的图像质量。
将通过HEVC文本A.4.2节中的项目b、c、d、g、h、i和j进行的限制指定为仅是层特定的。但是，应该指定通过这些项目进行比特流特定的限制，而不管是否指定了其层特定的对应物。
虽然本文在HEVC和/或H.264标准的上下文中描述了某些实施例，但本领域普通技术人员应当理解，本文所公开的系统和方法可以适用于任何适当的视频编码标准或者非标准视频编解码器设计。例如，本文所公开的实施例可以适用于以下标准中的一个或多个标准：国际电信联盟(ITU)电信标准化部门(ITU-T)H.261、国际标准化组织/国际电工委员会(ISO/IEC)MPEG1视频、ITU-T H.262或ISO/IEC MPEG-2视频、ITU-T H.263、ISO/IEC MPEG 4视频和ITU-T H.264(其还称为ISO/IEC MPEG-4 AVC)，包括可伸缩扩展和多视角扩展。
在很多方面中，HEVC总体上遵循先前的视频编码标准的框架。HEVC中的预测单元与某些先前的视频编码标准中的预测单元(例如，宏块)不同。事实上，如某些先前的视频编码标准中理解的，在HEVC中不存在宏块的概念。宏块由基于四叉树方案的层次结构来代替，这可以提供高灵活性以及其它可能的益处。例如，在HEVC方案内，定义了三种类型的块：编码单元(CU)、预测单元(PU)和变换单元(TU)。CU可以指代区域分割的基本单元。可以将CU认为是类似于宏块的概念，但是HEVC并不限制CU的最大大小，并且可以允许递归地分割成四个相等大小的CU以提高内容自适应性。可以将PU认为是帧间/帧内预测的基本单元，并且单个PU可以包含多个任意形状的分区以有效地编码不规则图像模式。可以将TU认为是变换的基本单元。能够独立于PU来定义TU；但是，可能将TU的大小限制为TU所属的CU的大小。将块结构分成三个不同的概念可以允许每个单元根据单元的相应角色进行优化，这可以实现改进的编码效率。
仅仅为了说明的目的，利用只包括视频和/或音频数据的两个层(例如，诸如基本层的下层以及诸如增强层的上层)的示例来描述本文公开的某些实施例。视频数据的“层”通常可以指代具有至少一个诸如视角、帧速率、分辨率等的共同特征或者参数的图像序列。例如，层可以包括与多视角视频数据的特定视角(例如，视点)相关联的视频数据。作为另一示例，层可以包括与可伸缩视频数据的特定层相关联的视频数据。因此，本公开内容可以互换地指代视频数据的层和视角。也就是说，视频数据的视角可以称为视频数据的层，视频数据的层可以称为视频数据的视角。此外，多层编解码器(其还称为多层视频编码器或者多层编码器-解码器)可以联合地指代多视角编解码器或者可伸缩编解码器(例如，被配置为使用MV-HEVC、3D-HEVC、SHVC或者另一多层编码技术对视频数据进行编码和/或解码的编解码器)。视频编码和视频解码二者通常可以称为视频编码。应当理解的是，这些示例可适用于包括多个基本层和/或增强层的配置。此外，为了便于解释，下面的公开内容包括参照某些实施例的术语“帧”或者“块”。但是，这些术语并不意味着是限制性的。例如，下面描述的技术可以利用诸如块(例如，CU、PU、TU、宏块等等)、切片(slice)、帧等的任何适当的视频单元来使用。
视频编码标准
诸如视频图像、TV图像、静止图像或者由视频记录器或计算机生成的图像的数字图像，可以由以水平和垂直线排列的像素或样本组成。单个图像中的像素数量通常为数万。每个像素通常包含亮度和色度信息。在不压缩的情况下，要从图像编码器传送到图像解码器的全量的信息将使得实时图像传输变得不可能。为了减少要发送的信息量，已经开发了许多不同的压缩方法，例如JPEG、MPEG和H.263标准。视频编码标准包括本文先前所描述的那些。
多流多方会议
在一些实施例中，在多流多方会议中，期望支持多流视频、至少两个视频内容(例如，一个主要内容和一个演示内容)、多流音频、至少2个音频内容、以及其它额外的能力。在一些方面中，中央处理器或者网桥可以用于支持这些功能。中央处理器或网桥可以接收多流视频/音频数据、对视频/音频数据进行混合并将混合后的数据流发送给参与方中每一个参与方。
图1是用于多个参与方的示例性会议架构100的图。会议架构100包括终端110A-D和中央处理器125。在一些方面中，中央处理器125可以包括服务器或者会议网桥提供器。中央处理器125可以从终端110A-D中的每一个终端接收数据流、解码、混合并向终端110A-D发送混合后的数据流。在一些方面中，中央处理器125可以使用多播传输来发送混合后的数据流。在一些实施例中，数据流可以包括一个或多个音频、视频和/或媒体流。在一些方面中，终端110A-D各可以包括处理器、接收机、发射机、收发机、天线、存储器、数据库和用户接口中的一者或多者。
在一些实施例中，可能期望建立不具有中央处理器125的多流多方会议。例如，中央处理器125可能需要单独的基础设施和服务，这可能增加成本和/或复杂度。在一些实施例中，复杂度可以是至少部分地基于多流会议的一个或多个媒体流的复杂度的。额外地，可能需要参与方在多流多方会议之前，与中央处理器125进行建立或者注册。因此，可能期望参与方在他们的终端(例如，计算机、平板设备、智能电话、其它用户设备等)上建立多流多方会议，而不使用中央处理器125(例如，分散式会议)。
图2是用于多个参与方的分散式会议架构200的示例的图。如图2中所示，分散式会议架构200可以包括终端110A、110B和110C。终端110A、110B和110C可以彼此之间交换数据流，并且可以对其接收和/或发送的数据流进行解码、编码和/或混合。例如，如图2中所示，参与方110A从终端110B和110C接收数据流，并向终端110B和110C发送数据流。这些数据流可以包括媒体流、音频流、视频流或者这些流的组合。可以在每个终端处独立地和并行地对这些多个数据流进行解码并且随后混合在一起(优选地具有一些感知的空间分离)，然后将混合后的数据流渲染给观看者或收听者。终端110A、110B和110C中的每一个终端可能对于它们能够并行操作的解码器/编码器实例的数量具有计算限制。在一些方面中，当建立采用终端内混合的多流多方会议(例如，分散式会议)时，可能期望会议发起方考虑这些限制。
如上文参照图2描述的，可能需要终端110A、110B和110C中的每一个终端并行解码从其它会议参与方接收的多个数据流。每个终端110可能对于其能够并行操作的解码器实例的数量具有计算限制。这限制了能够与终端进行会议的参与方的数量，或者要求终端具有优先解码某些数据流并忽略其它数据流的能力。例如，如果终端没有忽略其接收的任何数据流，则参与方的数量必须小于或等于解码器的最大数量加1(N<＝MaxDec+1)。其中，N是会议中的包括会议发起方在内的参与方的数量，以及MaxDec是能够由终端并行运行的解码器的最大数量。在一些实施例中，终端110A可以通过与终端110B和110C连接来发起会议，并且随后终端110B和110C可以彼此连接以完成会议。
参照图2，如果终端110A是会议发起方，则终端110A可以使用上面的计算来确定邀请多少呼叫者/终端到该会议(即，N-1)。此外，如果其它终端(例如，终端110B和110C)中的每一个终端没有对其接收的数据流进行优先化和忽略，则每个终端也可能能够解码N-1个数据流。因此，可能期望发起方终端110A考虑下面的限制：N<＝Min[每个终端的MaxDec]+1。因此，发起方终端110A考虑会议中的每个参与终端能够并行运行的解码器的最大数量，并能够确保参与方的数量不超过各解码器最大数量中的最小值加1。
类似地，采用终端内混合的会议可能需要终端对发送给其它参与终端的多个数据流进行并行编码。当发起方针对数据类型提供多于一种类型的编解码器，并且其它参与方选择使用不同的编解码器时，就可能发生这种情形。在一些方面中，数据类型可以包括音频类型、视频类型或者其它媒体类型。
在图1和图2中描述的集中式或分散式会议架构中，在向参与会议的一个或多个终端传送会话描述协议(SDP)要约(offer)消息之前，中央处理器或发起方终端(取决于架构的类型)可以经由SDP前的协商阶段，确定将什么信息包括在SDP要约消息中。在该协商阶段期间，中央处理器或发起方终端可以请求形成适用的会议架构的其它终端的编码和解码能力。可以在离散的协商消息中传送针对其它终端的编码和解码能力的请求。协商消息可以被配置为包括发送终端或者处理器的能力的信息，以及关于将作为会议的一部分传送的一个或多个媒体流的信息。
在一些实施例中，协商消息可以用作并行编解码器能力交换(CCCex)。在一些实施例中，要约消息和应答消息也可以用作CCCex，如本文所描述的。因此，可以将协商消息实现为包括，关于发送设备的编码和解码能力的属性和/或鉴于会议中可能涉及的媒体流的编码和解码要求。可以将这些能力和需求信息中的大部分信息包括在终端和中央处理器之间传输的SDP要约消息和响应消息中。但是，通过在传送SDP要约消息和响应消息之前执行能力的协商或者交换，可以对SDP要约消息和响应消息进行精简和简化，以只包括对于在会议架构的设备之间建立会议有用的信息。对于会议发起方能够建立不超过任何一个参与方的并行编码和解码能力的会议而言，先前的通信和能力交换也是必需的。因此，被传送以交换并行编解码器能力的协商消息可以包括SDP要约消息和响应消息将包括的信息中的至少一些信息。
协商消息可以被配置为包括级联形式的必要的SDP要约信息和响应信息，使得可以有效地在终端和/或处理器之间传送协商消息，并且不会对网络和/或处理资源造成压力。例如，在协商消息中，可以可选地包括各种参数，同时它们可以始终保持在SDP要约消息和响应消息中。在一些实施例中，协商消息可以在单行消息中，传送包括在SDP要约消息和响应消息中的超过40行信息。
在一些实施例中，本文描述的协商消息可以是作为请求一个或多个终端提供它们的并行编解码器能力的协商请求消息发送的。在一些实施例中，本文描述的协商消息可以是作为响应于协商请求消息的协商响应消息发送的。在一些实施例中，协商请求消息可以包括发送请求的终端或处理器的能力。在一些实施例中，协商响应消息可以包括与请求终端或处理器的能力有关的响应终端或处理器的能力，或者独立于请求终端或处理器的能力的响应终端或处理器的能力。在一些实施例中，协商消息，作为请求消息或者作为响应消息，可以包括编解码器能力的列表的指示，如本文更详细描述的。
例如，可以将从发起方终端传送的协商消息规定为包括如下所述的期望的属性和/或信息。应当注意，下面是协商消息结构的增强型Backus-Naur形式(ABNF)表示：
Figure BDA0001948284750000101
因此，上面的ABNF代码对应于如何可以生成包括并行编解码器能力信息的协商消息以进行传送。协商消息可以包括发送消息的实体能够使用的编解码器的列表(例如，由发送消息的实体支持的编解码器的列表)。在一些实施例中，发送协商消息(作为响应或者请求)的任何实体能够接收相应的协商(请求或者响应)消息。
为了减少与SDP要约消息和响应消息有关的协商消息的大小，可以在协商消息中排除或者调整各种参数和/或信息。例如，在一些实施例中，可以将能够标识视频编解码器分辨率的编解码器层级参数可选地包括在协商消息中，因为不是所有编解码器都可以包括编解码器层级和/或编解码器层级信息。类似地，可以可选地包括各种其它参数，因此与SDP要约消息和响应消息相比，协商消息能够在大小上减小。
此外，协商消息可以被配置为指示一个或多个编解码器可以何时或者如何由其它编解码器替代(例如，用于一个或多个编解码器的资源可以替代地由其它编解码器使用)。例如，协商消息可以指示中央终端能够经由多个编解码器对通信进行解码。例如，中央终端可以指示其能够解码增强型语音服务(EVS)、自适应多速率(AMR)和自适应多速率宽带(AMR-WB)，同时指示根据需要，在处理器上运行的EVS的实例可以由AMR-WB的实例替代，AMR-WB的实例可以由AMR的实例替代。额外地，协商消息还可以被配置为要求与<codec>实例的数量相同的<num>实例(如本文的消息定义中所示出的)。在一些实施例中，尽管一个或多个参数被包括在SDP要约消息和/或响应消息中，但是可以从协商消息中排除该一个或多个参数。
在一些实施例中，如上面的协商消息定义中指示的，<codec>项对应于如在实时协议(RTP)有效载荷格式中针对编解码器规定的该编解码器的媒体类型名称。在一些实施例中，<codec>项的示例可以分别地包括对应于H.264视频压缩编解码器的“video/H264”和/或对应于H.265视频压缩编解码器的“video/H265”。由<codec>项标识的编解码器可以对应于发送协商消息的终端或处理器被配置为用于对媒体流进行编码和/或解码的编解码器。协商消息可以包括由<codec>项标识的一个或多个编解码器；例如，如<codec>项标识的编解码器，本文示出的协商消息#1包括EVS、AMR和ARM-WB。
如上所述，<level>项是可选的。<level>项可以指定编解码器的层级，该层级针对视频编解码器标识支持什么分辨率。例如，当<codec>项指示H.264或H.265编解码器时，<level>项可以分别等于level_idc或者level-id。当<codec>项指示EVS编解码器时，<level>项可以等于1、2、3和/或4，它们分别指定窄带(NB)、WB、超宽带(SWB)和全频段(FB)。
额外地，<profile>项在协商消息中也是可选的。<profile>项可以指定编解码器的简档(profile)，该简档针对视频编解码器标识视频编码器使用什么标准化的工具。例如，针对<codec>项指示的编解码器H.264和H.265，<profile>项可以分别指示或者等于profile_idc和profile-id。如果在协商消息中包括<profile>项，则也必须包括<level>项。另一方面，准许协商消息在不包括<profile>项的情况下，包括<level>项。
协商消息的<rule>项可以指定用于编解码器的并行实例的资源是否可以替代地由在该编解码器之前或者之后列出的编解码器的并行实例使用。例如，在本文描述的协商消息#1中，<codec>项标识AMR、AMR-WB和EVS编解码器(但不必以该顺序)。基于<rule>项，下一个列出的编解码器可以是计算复杂度更低的，并因此可以与先前列出的编解码器在相同的处理器上运行。例如，当<rule>项等于“，”时，则<codec>项的一个或多个实例可以由接下来的一个或多个列出的编解码器替代。但是，<rule>项还可以指示下一个列出的编解码器是计算复杂度更大的，或者是在单独的处理器上实现的，并因此不能与先前列出的编解码器在相同的处理器上运行。例如，当<rule>项等于“；”时，则<codec>项的一个或多个实例可能不由下一个列出的编解码器替代。因此，<rule>项可以被配置为向接收协商消息的终端和/或处理器显示解码处理器比编码处理器更灵活。
在本文的协商消息#1中示出的<num>项可以指定所支持的并行编码器或并行解码器的最大数量。例如，当<num>项在协商消息中跟着文本“ENC”时，<num>项指示所支持的由<codec>项(当存在时，在指定的层级和简档处)指定的编解码器中的每一个编解码器的并行编码器的最大数量。类似地，当<num>项在协商消息中跟着文本“DEC”时，<num>项指示由<codec>项(当存在时，在指定的层级和简档处)指定的编解码器的所支持的并行解码器的最大数量。由紧跟着文本“ENC”的<num>项标识的实例数量，以及由紧跟着文本“DEC”的<num>项标识的实例的数量两者都应当与由<codec>项标识的实例的数量相同。此外，在一些实施例中，可以以相同的顺序，将由<num>项标识的实例映射到由<codec>项标识的实例上。
在一些实施例中，终端和/或处理器可以具有修剪其实际解码的接收到的媒体流的数量(m行)的能力。因此，终端和/或处理器可以通告具有指示以下内容的值的<num>项：与终端和/或处理器实际具有的进行解码的并行解码能力相比，该终端和/或处理器能够解码更大数量的媒体流。
根据本文的描述，协商消息可以在单个SDP行中，提供由终端和/或处理器支持的并行编解码器能力(其包括编码器能力和解码器能力两者)的通信和/或协商。例如，下面的表1描述了典型的SDP要约消息。该SDP要约消息可以对应于被配置成MSMTSI终端的发起方终端的配置“A”，如结合表2描述的。
表1
Figure BDA0001948284750000131
Figure BDA0001948284750000141
如上所示，SDP要约消息包括超过40个SDP行。这些SDP行中的大部分SDP行可以包括在本文描述的协商消息中包括的信息。但是，虽然这些行可以包括SDP要约消息中的将近40个单独的SDP行，但本文描述的协商消息可以将这40行减少到单个行。这种可扩展SDP要约消息的减少，降低了每一个终端和/或处理器进行接收、处理以及对于SDP要约消息和响应消息进行响应本该需要的通信和计算资源的数量。例如，本文描述的协商消息将上面的表1中的以“**”偏移的SDP要约消息行(等于38个SDP行)减少到单个行的协商消息#1：
协商消息#1
a＝codec_list:EVS；AMR-WB；AMR:ENC:1；1；1:DEC:3,1,1
此外，当在协商消息中进行传送时，下面的表2中示出的针对配置“B”和“C”的SDP要约消息也可以进行类似地减少。例如，用于下面的组合“B”的SDP要约消息的42个SDP行，可以通过协商消息#2的单个SDP行来替代：
协商消息#2
a＝codec_list:EVS；AMR-WB；AMR:ENC:1；1；0:DEC:4,1,0
类似地，下面的组合“C”的SDP要约消息的44个SDP行，可以通过协商消息#3的单个SDP行来替代：
协商消息#3
a＝codec_list:EVS；AMR-WB；AMR:ENC:1；0；0:DEC:5,0,0
表2：MSMTSI终端中的示例性并行编解码器能力配置
Figure BDA0001948284750000161
因此，总之，使用如本文描述的协商消息可以在三个SDP行中传送124个SDP行，同时维持具有六个参与方的CCCex(如表2中所述)，其等于通信开销的大于41：1的减少。因此，使用本文描述的协商消息，通常可以根据下面的压缩比来减少SDP行。
压缩比1≥(5*(N-2)+4):1,其中
·N是并行解码器(例如，用户)的数量；以及
·m是支持并行解码器的编解码器的组合的数量。
因此，可以提供显著的通信和处理开销和资源的节省。
在一些实施例中，为了进一步减少通信和计算资源，终端可以被配置为在对接收到的流进行解码之前，“修剪”接收到的流的数量。修剪可以涉及减少将被解码的接收到的流的数量并且修剪可以节省终端处的解码计算资源。这种“修剪”能力可以通过以下方式来指示：终端通过列出与该终端能够并行解码的媒体流相比更多的媒体流(例如，m行)来广播SDP要约。因此，该终端可以被配置为生成新的压缩SDP属性以包括上至12个或更多个并行解码器，从而将压缩比增加到≥54:1。
在一些实施例中，如本文进一步描述的，一旦如上所述地交换了协商消息，则终端或处理器中的一个或多个终端或处理器就可以生成和传送一个或多个要约消息和/或数据流，以传送给一个或多个其它终端或设备。在一些实施例中，可以使用编解码器能力的列表的指示以选择用于通信的编解码器的类型，如本文更详细描述的。例如，协商响应消息可以指示终端被配置为处理哪个编解码器，并且处理器(或者发起方终端)可以基于协商响应消息的指示来选择编解码器类型。在一些实施例中，可以将针对任何给定处理器或终端的编解码器能力的列表的指示符或指示存储在数据库或其它存储位置，和/或可以从数据库或其它存储位置获取针对任何给定处理器或终端的编解码器能力的列表的指示符或指示。在一些实施例中，会议支持的编解码器能力的列表可以是至少部分地基于两个或更多个设备中的每一个设备支持的编解码器能力的列表的指示。
图3示出了用于多个参与方的分散式会议架构300的另一示例。在一些实施例中，发起方终端110A可以向终端110B和110C要约提供(offer)多个编解码器。可以在使用上面描述的协商消息的协商完成之后传送这些要约(offer)。例如，如图3中所示，终端110A向终端110B和110C要约提供增强型语音服务(EVS)编解码器和自适应多速率宽带(AMR-WB)两者。在一些方面中，该要约可以包括会话描述协议(SDP)要约消息。如图所示，终端110C支持EVS并利用选择EVS的消息进行响应。终端110B可以只支持AMR-WB，并且在其对终端110A的响应中选择AMR-WB。在一些方面中，终端110B和110C响应于来自终端110A的要约而发送的消息可以包括SDP应答消息。此外，终端110B和110C还可以执行它们自己的编解码器协商(例如，经由来自终端110A的会话发起协议(SIP)REFER方法来建立)，其中终端110B和110C选择AMR-WB，因为终端110B不支持EVS。如从图3能够看到的，终端110A和110C必须在EVS和AMR-WB格式两者中并行地编码其内容，而终端110B只需要在AMR-WB格式中进行编码/解码。
图4是在终端/媒体网关450用作混合器的情况下，用于多个参与方的示例性混合会议架构400的图。如图4中所示，终端110A-C各可以向终端/媒体网关450发送数据流，该终端/媒体网关450随后向终端110A-C发送多个数据流。例如，终端/媒体网关450可以从终端110B和110C接收数据流，对这些数据流进行解码并将这些数据流发送给终端110A。在一些方面中，终端/媒体网关450可以对来自终端110B和110C的数据流进行混合，向终端110A发送混合后的数据流。
在一个实施方式中，终端110A可以基于某些限制或者会议参数来调整该终端110A从终端/媒体网关450接收的数据流的数量。例如，终端110A可以使用终端/媒体网关450(或者图1的中央处理器125)处理能力以减少或者卸载其自己的处理，或者确保会议架构(无论集中式、分散式还是混合的)限制内的高效通信。在一个方面中，终端110A可以请求终端/媒体网关450只发送一个混合后的数据流，因为终端110A可能仅能够解码一个数据流，或者因为终端110A具有有限的处理能力。
额外地，可能的是，图1-4(和下面的图5)中的终端110A-D、中央处理器125和/或终端/媒体网关450能够切换能力。例如，终端110A-D和中央处理器125可以在图1的会议架构100中进行操作并且中央处理器125可能丢失功率或者丢失混合能力。在一些方面中，终端110D可以从作为会议参与方进行操作切换到作为图4的非参与的终端/媒体网关450进行操作，本质上是替代中央处理器125功能。额外地，图4的终端/媒体网关450还可以通过向会议中的一个或多个参与方(例如，终端110A-D)发送其自己的数据流来作为会议中的参与的终端/媒体网关450进行操作。因此，终端110A-D、中央处理器125和/或终端/媒体网关450中的每一者都可以被配置为在图1的集中式会议架构100、图2和图3的分散式会议架构200和300以及图4的混合会议架构400中的一个或多个架构中进行操作。
在一个示例中，会议(例如，会议架构100、200、300、400和500[下面将讨论])可以具有包括第一持续时间和第二持续时间的会议持续时间。在一些方面中，在第一持续时间期间，终端110D可以作为会议参与方进行操作，如图1中所示。在一些方面中，在第二持续时间期间，终端110D可以切换到作为终端/媒体网关450进行操作，如图4(和下面的图5)中描述的。在一些方面中，终端110D可以请求将操作功能切换到中央处理器125、切换到终端110A-C中的一个或多个终端(如图1中所示)或者切换到另一控制器或设备。在其它方面中，中央处理器125或者终端110A-C中的一个或多个终端(如图1中所示)可以确定终端110D能够切换到作为终端/媒体网关450进行操作。
在一些方面中，可以在第一持续时间期间发生会议发起或者关联，并且可以在第二持续时间期间发生会议数据的交换。例如，参照图2和图3，在第一持续时间期间，终端110A可以向终端110B和110C发送包括终端110A支持的编解码器能力的列表的要约消息。终端110A可以从终端110B和110C中的每一个终端接收响应消息。响应消息可以包括相应的终端110B或110C的编解码器能力的列表以及终端110B和110C选择的编解码器类型。终端110A可以基于每一个响应消息中的编解码器能力的列表来确定终端110B和110C中的每一个终端是否能够参与会议。在第二持续时间期间，终端110A-C可以彼此之间交换数据流。
在一些方面中，中央处理器125或者终端110A-C中的一个或多个终端可以请求终端110D切换到作为终端/媒体网关450进行操作。在一些实施例中，请求可以是基于终端110D的编码/解码能力的，和/或基于中央处理器125或者终端110A-C中的一个或多个终端的编码/解码能力的。例如，终端110A可以确定其只能够接收两个数据流，并且可以请求终端110D切换操作。请求可以包括：请求终端110D对来自终端110B和110C的通信进行处理和混合，以及请求终端110D向终端110A发送混合后的数据流。在一些方面中，可以从终端110A、110D或者中央处理器125中的一者向终端110B和110C发送请求，该请求指示新的会议标识符或针对终端110B和110C的会议统一资源标识符(URI)是针对终端110D的地址。在一些方面中，可以经由带外通信来发送用于处理和混合终端110B和110C的数据流的请求或者新目的地(即，终端110D)的指示。响应于该请求，终端110B和110C可以随后从向中央处理器125发送数据流切换到向终端110D发送数据流。为了减少切换涉及的潜在延时问题，终端110B和110C可以向中央处理器125和终端110D两者发送数据流，直到中央处理器125和/或终端110D确定切换完成的时间为止。
图5是当终端/媒体网关450用作混合器和参与方时，用于多个参与方的示例性混合会议架构500的图。如图5中所示，终端110A可以发起与作为会议的参与方的终端110B、终端/媒体网关450和终端110D-E的会议。终端110A可以通过任何方法来发起会议，使得参与方(终端110B、终端/媒体网关450和终端110D-E)加入该会议。例如，终端110A可以使用与参与方的带外通信(例如，指示会议的电子邮件通信和/或会议网桥)来发起会议。在一些方面中，终端110A还可以通过采用上面描述的针对终端110B和终端/媒体网关450的REFER方法，结合对终端110D和110E的带外通信来发起会议，以使这些终端经由终端/媒体网关450加入会议。在其它方面中，终端110A可以通过宣告会议的开始的轮询消息来发起该会议，并且终端110B和110D-110E和终端/媒体网关450可以发送具有它们的编解码器能力的消息以加入会议。如上所述，发起会议的其它方法也是可以的。
如上面参照图1-4讨论的，终端110A可以在发起会议时，考虑每一个参与方的编码/解码能力。在图5中，终端110A可以向终端110B发送数据流516、向终端/媒体网关450发送数据流519并且分别从终端110B和终端/媒体网关450接收数据流517和521。终端110B还可以向终端/媒体网关450发送数据流518，并且从终端/媒体网关450接收数据流520。终端/媒体网关450还可以分别从终端110D和110E接收数据流524和525，并且分别向终端110D和110E发送数据流522和523。数据流516-525中的每一个数据流可以包括一个或多个音频和/或视频(媒体)流。
在一些实施例中，终端/媒体网关450用作会议中的混合器和参与方两者。例如，终端/媒体网关450可以从终端110A接收数据流519、从终端110B接收数据流518、从终端110D接收数据流524、从终端110E接收数据流525。在一些方面中，终端110D和110E只能够各对一个数据流进行解码，而终端110A和110B能够各对三个数据流进行解码。在一些方面中，与终端110D和110E相比，可以将终端110A和110B认为是新型的或者更高效的终端。在一些方面中，与终端110A和110B相比，可以将终端110D和110E认为是传统的或者更旧的设备。在一个实施例中，终端/媒体网关450可以向终端110D发送单个混合后的数据流522，并且向终端110E发送单个混合后的数据流523。在一些方面中，终端/媒体网关450可以向终端110D和110E发送多播混合后的数据流，同时并行地向终端110A和110B发送单播数据流521和520。额外地，终端/媒体网关450可以向终端110A发送数据流521，该数据流521可以包括来自终端110B的数据流、来自终端/媒体网关450的数据流以及来自终端110D和110E的混合后的数据流。
在其它方面中，终端/媒体网关450可以发送来自会议中的其它参与方的数据流的其它组合。例如，终端/媒体网关450可以忽略来自终端110E的数据流，并且只向终端110A发送来自终端110B、110D和终端/媒体网关450的数据流。终端/媒体网关450(以及终端110A、110B、110D和110E中的任何终端)可以根据本文描述的任何实施方式或者组合来优先化、选择和/或忽略某些数据流。在另一示例性实施例中，终端/媒体网关450可以从终端接收数据流并且标识是活动语音(例如，110B、110C)的流以及是背景/非活动语音(例如，110D、110E)的流。终端/媒体网关450可以选择对DTX/非活动帧进行解码和混合，并将其作为一个非活动帧连同多个活动帧一起进行发送(例如，向终端110A发送)。在具有较大数量的参与方(例如，N>10)的多方会议中，上面讨论的在终端/网关450处的对于DTX/非活动帧的选择性预解析和混合，可以减少在终端处接收到的用于处理的多个流的数量。现在，接收终端(例如，110A)可以具有更少的流以针对解码进行检查和优先化。在另一示例性实施例中，终端/媒体网关450可以确定与DTX/非活动帧相关联的相应的视频流，并执行这些视频/图像数据流向一个视频流的并联/重新编码，从而减少在终端处接收到的用于处理的多个视频流的数量。
如上面参照图4讨论的，在一些方面中，图5的终端110A、110B、110D、110E和终端/媒体网关450中的任何一者可以以各种方式来切换操作功能。例如，终端110B和终端/媒体网关450可以确定(例如，经由带外通信或者通过编解码器能力的分析)将终端/媒体网关450的混合操作转移到终端110B。在一些方面中，终端/媒体网关450和/或终端110B可以直接或者间接地(例如，带外或者通过另一个终端)向其它会议参与方广播：终端110B正在接管终端/媒体网关450的处理和混合操作。虽然将终端110B讨论成接管终端/媒体网关450的处理操作，但在其它实施例中，终端110A、110D或110E中的任何一个终端或者另一设备可以类似地替代终端/媒体网关450的处理和/或混合操作。
在其它实施例中，终端/媒体网关450可以使用REFER方法以向其它会议参与方广播，以将会议参与方正在向终端/媒体网关450发送的会议数据流转移到现在向终端110B发送会议数据流。此外，会议参与方可以在一段时间内，向终端/媒体网关450和终端110B两者发送它们相应的数据流，直到所有的会议参与方都向终端110B发送它们的数据流。类似地，终端/媒体网关450和终端110B可以在一段时间内，对它们从其它会议参与方接收的多个数据流进行并行地处理和混合，直到终端/媒体网关450和/或终端110B确定所有终端都已经进行了切换，以减少潜在的中断或者延时问题。
在一些实施例中，在要提供的信息的粒度以及用于指示能够支持更多并行操作的能力的功能(ability)之间，可能存在某种平衡。可能存在下面的场景或者设备：供应商或运营商希望传送关于能够支持的并行会话的细节信息，例如，为多方会议专门设计的高端商业终端。另一方面，可能存在没有被设计为在会话中支持多于3-4个参与方的中端或者低端终端，对于这些终端供应商或运营商只希望暴露非常基本的功能。由于要传送的信息的合适的量可能取决于场景和设备，因此可能期望适应不同的情况。不是选择上面描述的格式中的一种格式，而是在一些方面中，终端(例如，终端110A-E或者终端/媒体网关450)可以能够选择所描述的格式中的任何格式。必须从会议参与方接收所有编解码器能力信息的发起方终端(例如，终端110A)，应当能够对所有格式进行解码和理解。
满足针对编解码器能力信息的上面格式要求的一个示例是传送每一个数据类型(例如，音频或视频)或者每一个编解码器的并行实现的最大数量。
每数据类型的限制
例如，能够如下地规定新的会话级SDP属性：
a＝max_dec_audio:<num_instances>
a＝max_dec_video:<num_instances>
a＝max_enc_audio:<num_instances>
a＝max_enc_video:<num_instances>
在一些方面中，<num_instances>是位于包括性的1到16的范围内的整数，其指定由终端支持的该数据类型(例如，针对第一和第三的音频，或者针对第二和第四的视频)的并行解码器(针对前两个)或者编码器(针对后两个)的最大数量。
或者，能够如下地规定新的数据级SDP属性：
a＝max_dec:<num_instances>
a＝max_enc:<num_instances>
在一些方面中，<num_instances>是位于包括性的1到16的范围内的整数，其指定由终端支持的(在“m＝”行上的最后项的)数据类型的并行解码器的最大数量(针对a＝max_dec)或者并行编码器的最大数量(针对a＝max_enc)。
在一些实施例中，这种示例性解决方案可能不能满足上面描述的对编解码器能力信息的格式要求。在一些方面中，可以通过最计算密集的编解码器来约束并行实例的最大数量。在示例性实施例中，针对其中终端支持H.265编解码器并宣称其能够支持多达两个视频编码器事件(H.264和H.265)且知道其必须针对这两个视频编码器预留足够的资源的视频电话会话，终端可能在其能够处理的数据(例如，视频或语音)的解码器实例的数量上受限制。
在一些方面中，对于解码器实例的数量的限制，可能阻止终端被包括在具有更大数量的使用较不复杂解码器的参与方的会议中，或者阻止会议中的所有参与方在该会话中使用更高级的可选的编解码器。
每编解码器类型的限制
额外地，能够如下地规定新的SDP参数：
a＝max_dec:<codec><num_instances>
a＝max_enc:<codec><num_instances>
在一些方面中，<codec>是如针对编解码器的RTP有效载荷格式中规定的该编解码器的数据类型名称，例如分别地，如IETF RFC 6184中规定的用于H.264的“video/H.264”(在https://tools.ietf.org/html/rfc6184可获得)，以及如H.265RTP有效载荷格式中规定的用于H.265的“video/H.265”(其最新版本位于：https://tools.ietf.org/html/draft-ietf-payload-rtp-h265-14)。在一些方面中，<num_instances>是位于包括性的1到16的范围内的整数，其指定：指定的编解码器的并行解码器的最大数量(针对a＝max_dec)或者并行编码器的最大数量(针对a＝max_eec)。
在其它实施方式中，为了考虑不同层级的视频编解码器可能具有不同的能力，能够如下地规定新的数据级SDP属性：
a＝max_dec:<codec><level><num_instances>[<profile>]
a＝max_enc:<codec><level><num_instances>[<profile>]
在一些方面中，<codec>与上面的相同。在一些方面中，<level>指定编解码器的层级，例如，针对H.264和H.265，该值分别等于如ITU-T H.264规范中规定的level_idc和如H.265 RTP有效载荷格式(其最新版本位于：https://tools.ietf.org/html/draft-ietf-payload-rtp-h265-14)中规定的level-id，并且当编解码器是EVS时，该字段的值为1、2、3和4分别指定NB、WB、SWB和FB。在一些方面中，<num_instances>是位于包括性的1到16的范围内的整数，其指定：在指定的层级和简档(当存在时)处的指定的编解码器的并行解码器的最大数量(针对a＝max_dec)或者并行编码器的最大数量(针对a＝max_enc)。在一些方面中，<profile>是可选的，其指定编解码器的简档，例如，针对H.264和H.265，该值分别等于如ITU-T H.264规范中规定的profile-idc和如H.265RTP有效载荷格式(其最新版本位于：https://tools.ietf.org/html/draft-ietf-payload-rtp-h265-14)中规定的profile-id。
在一些实施例中，对于所有上面的替代方案，针对<num_instances>也可以允许0的值，值0指定终端能够对数据流进行挑选和修剪。在一些方面中，能够对数据流进行挑选和修剪的终端能够处理无限数量的数据流。
在其它实施方式中，用于视频编解码器的另一替代方案可以是要规定新的SDP属性，如下所述：
a＝max_vdec_cap:<codec><max_block_ps>
a＝max_venc_cap:<codec><max_block_ps>
在一些方面中，<codec>与如上所述的相同。在一些方面中，<max_block_ps>指定：指定的视频编解码器的所有并行视频解码器能够处理的每秒8x8亮度块的最大数量(针对a＝max_vdec_cap)或者所有并行编码器能够处理的每秒8x8亮度块的最大数量(针对a＝max_venc_cap)。
在一些实施例中，该示例性解决方案可能不满足上面描述的针对编解码器能力信息的格式要求。在一些方面中，可能不清楚的是，当存在编解码器的混合时，会议发起方终端(例如，图2-5的终端110A)如何能够准确地确定能够支持多少并行编码器和解码器。在一些实施例中，用于估计能够支持多少并行编码器和解码器的方式，是使用正在使用的计算最为繁重的编解码器的编码器/解码器限制。在一些方面中，编码器/解码器限制可以通过最复杂编解码器来约束，该最复杂编解码器可以限制终端能够处理的数据(例如，视频或语音)的解码器实例的数量。例如，在一些方面中，对解码器实例的数量的限制，可能阻止终端被包括在具有更大数量的使用较不复杂解码器的参与方的会议中，或者可以阻止会议中的所有参与方在该会话中使用更高级的可选的编解码器。
满足上面的针对编解码器能力信息的格式要求的另一示例，是描述针对每个编码/解码功能可用的或者分配的处理器资源的百分比。这允许发起方终端混合并匹配编解码器(包括不同数据类型的那些编解码器)以及它们的编码器和解码器，只要其保持总复杂度负荷不大于给定处理器中的所分配资源的100％。描述上面的信息的一种方式，可以是引入两个新的SDP属性：
a＝enc_use:<codec><alloc_factor><proc_idx>
a＝dec_use:<codec><alloc_factor><proc_idx>
其中，<alloc_factor>的范围从0到1.0，并且描述当使用具有处理器索引<proc_idx>的处理器以进行编码(针对a＝enc_use)或者解码(针对a＝dec_use)时，用于指定的编解码器的资源分配因子。
在其它实施例中，描述上面的信息的另一方式可以是引入两个新的SDP属性：
a＝enc_use:<codec><level><alloc_factor><proc_idx>[<profile>]
a＝dec_use:<codec><level><alloc_factor><proc_idx>[<profile>]
在一些方面中，<codec>、<level>和<profile>与如上所述的相同。在一些方面中，<alloc_factor>的范围从0到1.0，并且描述当使用具有处理器索引<proc_idx>的处理器以进行编码(针对a＝enc_use)或者解码(针对a＝dec_use)时，用于指定的层级处的指定的编解码器的资源分配因子。在一些实施例中，发起方终端可以使用上面的来自每个参与方的信息以确保所提议的会议不超过参与方的并行编解码器能力中的任何并行编解码器能力。
能够如下面的表3来将信息概念化：
表3
Figure BDA0001948284750000261
列出编解码器的并行编解码器组合简档
满足上面的用于编解码器能力信息的格式要求的另一示例性解决方案，是列出终端能够同时处理的编解码器操作的所有组合。这可以具有不需要传送由每个编解码器功能消耗的处理器负载的优点。下面的表4给出了基于在先前部分中描述的处理器负载因子的所支持的简档的非详尽列表。例如，处理器负载因子可以包括上面参照表3描述的资源分配因子。在一些方面中，终端对于编解码器类型或者数据类型的选择可以是基于处理器负载因子或者资源分配因子的。
在一些实施例中，(在增强型backus-naur形式(ABNF)中)规定了两个新的SDP属性：a＝enc_list和a＝dec_list，如下所述：
Figure BDA0001948284750000271
在一些方面，num指定列表的条目中的指定的层级和简档(当存在时)处的指定的编解码器的所支持的并行编码器的最大数量(针对a＝enc_list)或者并行解码器的最大数量(针对a＝enc_list)。在一些方面中，上面的列表的条目中给定的codec、level和profile分别与<codec>、<level>和<profile>具有相同的语义。
替代地，可以在ABNF中规定新的SDP属性，如下所述：
Figure BDA0001948284750000272
在一些方面中，num指定列表的条目中的指定的层级和简档(当存在时)处的指定的编解码器的所支持的并行编码器(当function＝“ENC”时)或者并行解码器(当function＝“DEC”时)的最大数量。在一些实施例中，上面给定的codec、level和profile分别与<codec>、<level>和<profile>具有相同的语义。
在其它实施例中，可以在ABNF中规定新的SDP属性，如下所述：
Figure BDA0001948284750000281
在一些方面中，上面给定的codec、level和profile分别与<codec>、<level>和<profile>具有相同的语义。在一些方面中，num指定在指定的层级和简档(当存在时)处的指定的编解码器的所支持的并行编码器(当“combination”跟随“ENC”时)或者并行解码器(当“combination”跟随“DEC”时)的最大数量。在一些方面中，codec_idx指定在指定的层级和简档(当存在时)处的指定的编解码器的列表编解码器列表的索引。
在一些实施例中，可以将num规定为num＝％d0-16。除了上面的描述和等式之外，值0指定该终端能够对数据流进行挑选和修剪。在一些方面中，能够对数据流进行挑选和修剪的终端能够处理无限数量的数据流。
在其它实施例中，在上面的替代方案中，其中，num位于包括性的1到16的范围内，如下地规定一个或多个新的SDP属性：
a＝stream_trimming
在一些方面中，该属性的存在指定该终端能够对数据流进行挑选和修剪。在一些方面，能够对数据流进行挑选和修剪的终端可以处理无限数量的数据流。组合中的num的值仍然指定特定的编解码器、简档和层级实际支持的并行编码器或并行解码器的最大数量。在该情况下，终端能够接收任意数量的数据流，并且能够将数据流修剪成针对每个编解码器/简档/层级组合的a＝codec_list属性允许的数量。
在一些方面中，可能存在多个编解码器组合，其随着所支持的编解码器的数量增加而指数地增加。这能够增加消息大小，例如，SDP/SIP。例如，能够通过应用诸如以复杂度的降序来列出编解码器功能的额外的规则来实现信令的某种减少。随后，应当理解，如果更高复杂度的编解码器功能的实例的数量减少一个，则相同处理器上的较不复杂的编解码器功能中的一个功能的实例能够增加至少一个。虽然在一些方面中，当实例数量减少的编解码器处理比其它编解码器处理更复杂时，这可能给出次最优的限制，但其可以允许省略多个简档。在一些方面中，如果终端需要生成与完全分辨率图像进行联播的缩略图，则相同视频编解码器的并行操作可能是必需的。
表4
Figure BDA0001948284750000291
Figure BDA0001948284750000301
所支持的并行编解码器组合的简档
表4中列出的简档不能很好地应用于需要使用相同编解码器的视频联播的使用情形(即，低和高分辨率图像)，因为在一个时间只支持一个编码器。这可能是处理器负载而不是简档方案本身的限制。
在一些实施例中，表4中的简档A到D能够被认为是以不允许使用EVS为代价来使用H.265的“HD Video”简档。虽然简档A到C可以处理四个H.264流的解码，但它们可能不能用于典型的多点单播(multi-unicast)视频会议，因为它们可能只能够对一个视频流进行编码。在一些方面中，该终端的用户可能希望只向其它参与方中的一个参与方发送视频，例如，用于传送符号语言的视频侧栏对话。
除了简单的两方视频会话之外，简档A到D可能更适用于多播或者“基于聚焦的多播(focused-based multicast)”会议，其中已知所有终端都支持H.265编解码器。应当注意，如果AMR-NB是用于正在提供的服务的强制性编解码器，则简档C可以认为是无效的，因为不支持AMR-NB解码。
在一些方面中，简档F能够被认为是要用于只有语音的会议中的“HD Voice only”简档。由于还要识别需要使用相同的编码器来同时编码语音的使用情形，所以只有语音的简档可以只需要考虑并行操作每个语音编码器的一个实例。这可以简化针对只有语音的会议需要列出的简档的数量，并且简档F呈现为是仅有的相关的只有语音的简档，因为支持多于13个参与方的会议是不可能的，并且非常可能超过终端的RTP流处理限制(下面将进一步描述)。
针对在不需要解码所有接收到的媒体流的情况下，对接收到的媒体流执行修剪或者减少的终端而言(如下面进一步描述的)，如以下表5中所示，能够将解码器功能的实例的数量指示为“无限(infinity)”。表5示出了针对能够向下修剪到三个接收到的音频数据流的终端的示例性实施例：
表5
Figure BDA0001948284750000302
Figure BDA0001948284750000311
如上面参照图1-5描述的，接收终端或者设备(例如，终端110B、终端/媒体网关450等)能够对特定的数据流进行优先化和忽略，以减少其必须并行操作/解码的解码器实例的数量。如果终端采用这种“修剪”算法，并能够限制其必须解码的数据流的数量以匹配其并行解码能力，则该终端不需要会议发起方基于该终端的解码能力来限制呼叫中的参与方的数量。在该情况下，终端能够指示与这些数据流相对应的0的资源分配因子，如下面的表6的示例中所示：
表6
Figure BDA0001948284750000312
Figure BDA0001948284750000321
RTP流处理限制
支持并行解码很多数据流的能力，使得解码可能不是设置会议的大小的限制因素成为可能。终端的协议栈能够处理的实时传输协议(RTP)数据流的数量变成限制因素。因此，传送该信息也可能是有益的。此外，能够规定两个新的会话级SDP属性，以指定对并行RTP栈的数量的限制：
a＝rtp_tx_limit:<rtp_instances>
a＝rtp_rx_limit:<rtp_instances>
在一些方面中，<rtp_instances>是位于包括性的1到32的范围内的整数，其指定所支持的并行RTP会话的最大数量。在一些方面中，会议发起方终端(例如，图2-5的终端110A)使用来自于会议中的每个参与方的上述信息以确保提议的会议不超过参与方的编解码器或RTP处理能力。
在一些实施例中，发起方终端可以基于其并行编解码器能力以及预先知道其并行能力的其它参与方的并行编解码器能力来发送要约消息。在接收到该要约消息之后，每个参与方的终端可以检查要约消息以确定N和所要约提供的编解码器的最大数量，以确定其是否能够满足在先前部分中描述的约束。如果终端能够参与，则其可以用经选择的编解码器进行响应。
在另一实施例中，其它参与终端(例如，终端110B和110C)也能够在响应消息中，包括它们的并行编解码器能力。这允许发起方终端存储并保证针对相同的发起方终端发起的任何未来的会议恰当地考虑了终端的能力。在一些方面中，发起方终端可以将这些能力存储在数据库中。
如果参与终端确定其不能够参与，则其在响应消息中指示该情况，并发送其并行编解码器能力。随后，发起方终端可以对来自其它参与终端的响应进行处理，如下所述：(1)如果发起方终端未接收到否定响应，则其允许会议继续；(2)如果发起方终端接收到否定响应，则其使用所有接收到的并行编解码器能力来构建可行的要约消息，并在新的消息(例如，SIP Re-INVITE/UPDATE消息)中向参与方中的一些参与方或全部参与方发送该可行的要约消息。
在一些实施例中，每个终端可以将其地址簿或者数据库中的每一个终端的并行编解码器能力简档进行存储。该简档能够包括针对每个终端的每种数据类型的MaxEnc和MaxDec。在其它方面中，该简档能够包括针对所有数据类型的终端的编解码器的列表，以及编解码器的每个实例使用的资源分配因子或者处理器复杂度的百分比。例如，下面的表7示出了针对所有数据类型的终端的编解码器的示例性列表，以及编解码器的每个实例使用的处理器复杂度的百分比。
表7
数据类型 编解码器名称 编码器复杂度 解码器复杂度
音频 AMR-NB 10％ 2％
音频 AMR-WB 20％ 4％
音频 EVS 60％ 20％
视频 H.264/AVC 60％ 15％
视频 H.265/HEVC 90％ 23％
在一些方面中，发起方终端能够随后使用每个参与方的上面简档以确定在使用本文描述的约束考虑的情况下每个参与方都能够满足的要约消息。
在传送它们的并行编解码器能力时，终端还能够指示它们能够处理更多数据流的接收，因为它们能够对特定数据类型的数据流进行优先化和忽略。例如，终端110A可以指示其能够并行地解码多达三个EVS数据流(每个使用其处理器的20％)，之后，其将会忽略接收到的任何额外的数据流。
在一些方面中，终端还能够在发起会议之前，交换并行编解码器能力信息，以更好地保证将可行的要约消息包括在第一个发起消息(例如，第一个SIP INVITE)中。能够如下所述地执行这种并行编解码器能力信息的交换：当用户向终端上的其地址簿或者目录增加另一用户时，地址簿应用进行彼此联系以交换并行编解码器能力以及任何其它个人信息(家庭地址等)，或者当终端的编解码器能力发生改变时(经由下载或者终端硬件的交换)。能够使用在用户之间提供的任意联系信息标识符(ID)，来执行信息/简档的这种交换。例如，如果ID是电子邮件地址，则经由电子邮件交换中的嵌入的简档多目的互联网邮件扩展(MIME)类型；如果ID是电话号码，则经由通过短消息服务(SMS)发送的可扩展标示语言(XML)方案；经由某种其它消息发送协议发送的XML方案。能够以多种方式来更新简档信息。例如，用户彼此之间或者经由先前描述的协议进行呼叫，来建立采用终端内混合的会议，即，能够在响应中发送并行编解码器能力。在另一示例中，存储该简档的终端可以设置定时器，以自主地和定期地(例如，每月)检查其它用户的终端，以查看能力是否发生了改变。因为用户的软件更新或者软件下载或者改变了他们的手持装置，所以这些能力可能发生改变。在一些方面中，每当已经提供简档的终端自身的能力发生变化时，其可以更新其地址簿中的所有用户。替代地，当会议中的两个或更多个参与方(它们不是发起方)在其之间建立数据会话时，该会议中的两个或更多个参与方能够交换其并行编解码器能力。
在一些方面中，能够使用OPTIONS请求以通过如下方式来查询另一终端的编解码器能力：要求终端发送用于描述终端的编解码器能力的终端将要约提供的会话描述协议(SDP)的副本。该SDP将包含如上所述的并行编解码器能力信息。能够在会议呼叫的很长时间之前来进行OPTIONS请求，并且可以将SDP响应存储在用于受查询的终端的简档中。在一些实施例中，在紧邻建立会议之前，会议发起方能够查询其计划邀请的、会议发起方对其没有预先存储的信息的所有终端的编解码器能力。
图6是用于会议中的编解码器协商的另一示例性方法的流程图。图10中所示出的方法600可以经由会议架构100、200、300和/或400中的一个或多个设备来实现。在一些方面中，方法可以由类似于图1-4中的用户终端110A-D和/或中央处理器125的设备或者任何其它适当的设备来实现。
在方块605处，终端或者处理器可以向两个或更多个设备发送请求消息，该请求消息请求两个或更多个设备中的每一个设备支持的编解码器能力的列表。消息可以包括终端或者处理器支持的编解码器能力的列表的指示。在一些方面中，消息可以是基于发起方终端或者处理器的并行编解码器能力的。在一些实施例中，消息还可以是基于预先知道其并行能力的其它参与方的编解码器能力的。
在方块610处，终端从两个或更多个设备中的每一个设备接收响应消息，该响应消息包括两个或更多个设备中的每一个设备支持的编解码器能力的列表的指示。在一些方面中，在接收到响应之后，终端或处理器可以对接收到的消息进行处理，以确定多个参与方的编解码器能力的经过指示的列表。
在一些实施例中，可以使用压缩CCC SPD要约和应答，在多流多方会议媒体处理(MMCMH)会话建立中类似地减少SDP参数。本文描述的压缩CCC SDP参数的ABNF定义可以应用于针对MMCMH会话建立的压缩CCCEx和CCC两者。但是，虽然使用针对CCCEx的压缩CCC允许将CCC压缩到单个SDP行，但使用压缩CCC进行MMCMH会话发起可能会受到以下内容的限制：针对SDP要约的需要是要符合SDP要约/应答模型或期望的。例如，在MMCMH会话建立中，SDP要约可以包含足够的媒体行，以允许SDP应答选择终端(例如，要约方(offeror)终端和应答终端)支持的编解码器配置的任意组合。例如，在要约中必须存在至少R个媒体行，其中R是要约方终端能够并行地接收和解码的最大数量的流。
如本文演示的，能够执行针对MMCMH会话建立的压缩CCC SDP要约参数。在一些实施方式中，要约方终端(例如，寻求创建MMCMH会话的终端)可以获得三种音频编解码器(AMR-NB、AMR-WB和EVS)。“A”对应于并行AMR-NB编解码器的最大数量，而“B”对应于并行AMR-WB编解码器的最大数量，并且“C”对应于并行EVS编解码器的最大数量，其中由于A、B和C的相对复杂性，因此A>＝B>＝C。因此，当生成要约消息时，要约方终端可以列出总共A个媒体行，其中这A个媒体行中的每一个媒体行包括AMR-NP作为编解码器。类似地，要约方终端可以列出总共B个媒体行，其中B个媒体行将包括AMR-WB作为编解码器，接收到与AMR-NB的联播。额外地，要约方终端可以列出将包括EVS作为编解码器的总共C个媒体行，接收到与AMR-WB和AMR-NB两者的联播。当指示要约方终端的发送/编码能力时，上面的媒体行中的一个或多个媒体行还可以在联播发送配置中包括所有编解码器。
上面的A个媒体行可以覆盖能够在SDP应答中进行选择的所有可能的媒体配置。为了对于选择一个或多个可接受配置的要约进行响应，应答终端可以在依赖于也包括在该要约中的压缩CCC SDP行的情况下，传送其应答。
如本文所描述的，不使用压缩CCC SDP行的SDP要约可以包括以下媒体行的集合以传送基本相同的信息：
·“A”个媒体行，其指示支持最大数量的可解码流时的配置。这可以对应于使用压缩CCC，除了在联播接收配置中将至少存在具有两个编解码器的B个媒体行和具有三个编解码器的C个媒体行。这些额外的编解码器中的每一个编解码器将在媒体行中增加两个更多的SDP行；及
·用于能够支持并行解码的流的不同数量和集合的每个配置的媒体行集合。
例如，如果要约方终端支持单个EVS解码器，则要约方终端将AMR-NB流的最大数量从A减少到要约消息中的A1EVS。额外地，要约消息可以包括列出多个AMR-NB编解码器的A1EVS+1个接收媒体行的单独集合以及一个包含EVS编解码器的行。此外，当未使用压缩CCC SDP行时，媒体行集合中的每一个将需要不同的媒体配置，如在MediaCapNeg框架中指定的。
在下面的表中，示出了当未使用压缩CCC SDP参数时，可以传送的不同的配置集合的示例。该表包括针对N＝6的三个配置(A、B和C)。但是，针对N的不同值可能存在不同的配置集合，其中N是会议中的参与方的数量，包括要约方终端和所有应答终端。
Figure BDA0001948284750000371
Figure BDA0001948284750000381
Figure BDA0001948284750000391
表8
但是，通过实现具有要约消息和应答消息的压缩CCC SDP参数，可以避免列出除了A个媒体行之外的任何配置，并因此可以避免使用MediaCapNeg框架。通过实现具有MMCMH会话建立的压缩CCC SDP参数所节省的SDP行的数量，可以取决于每一个编解码器之间的相对复杂度。相对复杂度的变化越大，非压缩CCC SDP参数要约中将会需要的媒体行的集合就越多，因为将一个编解码器实例替换为另一个编解码器实例可能对并行解码器的数量具有更大的影响。
例如，假定编解码器C的复杂度是编解码器B的复杂度的两倍，编解码器B的复杂度是编解码器A的复杂度的两倍，并且其中编解码器A代表能够运行的最简单编解码器的实例的最大数量。当针对要约消息使用压缩CCC SDP参数时，在SDP要约消息中将只有A个媒体行的一个集合，该要约消息将包含以下数量的SDP行：
·用于公共SDP方面的7行
·用于包括编解码器A的A个媒体行中的每一个媒体行的2行
·用于包括编解码器B的B个媒体行中的每一个媒体行的2行
·用于包括编解码器C的C个媒体行中的每一个媒体行的2行
·用于压缩CCC SDP参数的1行因此，针对SDP要约消息，将存在总共8+2A+2B+2C＝8+2A+A+0.5A＝8+3.5A个SDP行。
但是，当针对要约消息未使用压缩CCC SDP参数时，可能存在以下媒体行的集合：
Figure BDA0001948284750000401
扩展上面的模式，能够看到，当未使用压缩CCC SDP参数时，指示所有的可能配置所需要的SDP行的总数量是A(1+2+3+…A/4)x(2A+mi)，其中mi是针对独立于A的特定媒体行集合的常数。至少，上面的下限是媒体行的数量至少为0.25A4+A3。
因此，在SDP要约中使用压缩CCC SDP格式的增益，以近似(0.25A4+A3)/(3.5A+8)～＝0.0714A3+0.286A2的因子减少SDP要约中的SDP行的数量。
因此，对于A＝4，存在5.81的压缩增益因子；对于A＝8，存在42.67的压缩增益因子；对于A＝16，存在320的压缩增益因子。这表明减少SDP要约的大小获得的压缩增益可能是巨大的，特别是对于具有支持大量的不同计算复杂度的并行编解码器的能力的要约方终端。
在一些实施例中，如本文描述的使用压缩CCC SDP参数来压缩SDP要约中的媒体行的数量，可能需要将应答方终端配置为理解压缩CCC SDP参数，使得应答方终端知道不是所有的在压缩CCC SDP要约中描述的媒体配置都被支持。如果应答方终端不理解压缩CCC SDP参数，则其可能不恰当地选择要约方终端不支持的并行编解码器的集合。
因此，只要要约方使用压缩CCC SDP参数以及A个媒体行的单个媒体配置，则要约方终端可以知道应答方终端能够恰当地理解压缩CCC SDP参数。例如，要约方终端可能先前已经使用任何方法(例如，OPTION方法)查询了应答方终端的CCC，并接收到包括压缩CCCSDP参数的响应，要约方终端以此为基础来记录应答方终端理解压缩CCC格式，并当发起MMCMH会话时，能够使用该格式。替代地，要约方终端可以防止未理解压缩CCC格式的应答方终端选择不支持的配置。例如，要约方终端能够通过定义针对CCC的新标签来完成该目标，该标签填充在SIP INVITE(邀请)的Require报头以及主体中的压缩CCC SDP参数中。如果应答方终端理解CCC标签，则其相应地将对INVITE进行响应。如果应答方终端不理解CCC标签，则其将拒绝INVITE，并且要约方终端将必须发送不具有该CCC的并且具有所有相关联的媒体行配置的更详细要约的re-INVITE。
在一些实施例中，要约方终端可以向一个或多个应答方终端发送压缩CCC SDP要约参数。压缩CCC SDP要约参数可以包括要约方终端支持的一个或多个CCC。要约方终端可以随后从一个或多个应答方终端中的至少一个应答方终端接收到响应。响应可以包括：对要约方终端支持且该至少一个应答方终端也支持的一个CCC的选择。基于该响应，要约方终端可以向该至少一个应答方终端发送数据流。
图7是用于使用压缩并行编解码器以发起会议会话的示例性方法700的流程图。图7中示出的方法700可以经由会议架构100、200、300和/或400中的一个或多个设备来实现。在一些方面中，方法700可以由类似于图1-4中的用户终端110A-D和/或中央处理器125的设备或者任何其它适当的设备来实现。
在方块705处，终端或者处理器可以向一个或多个设备发送要约消息以建立会议。要约消息可以包括会议支持的并行编解码器能力的列表的指示。在一些方面中，消息可以是基于发起方终端或者处理器的并行编解码器能力的。在一些实施例中，消息还可以是基于预先知道其并行能力的其它参与方的编解码器能力的。
在方块710处，终端从一个或多个设备接收应答消息。应答消息可以包括从并行编解码器能力的列表的指示中进行的选择。
在方块715处，终端基于应答消息，向一个或多个设备选择性地发送数据流。
图8是用于使用压缩并行编解码器来发起会议会话的示例性方法800的另一流程图。图8中示出的方法800可以经由会议架构100、200、300和/或400中的一个或多个设备来实现。在一些方面中，方法800可以由类似于图1-4中的用户终端110A-D和/或中央处理器125的设备或者任何其它适当的设备来实现。
在方块805处，第一设备的终端或者处理器可以生成第一消息以向第二设备传输。第一消息可以包括要约消息或者请求消息。第一消息可以包括终端或者处理器支持的并行编解码器能力的列表的指示，或者可以请求第二设备支持的并行编解码器能力的列表的指示。在一些实施例中，通过用于生成第一消息以向第二设备传输的单元可以生成第一消息。在一些实施例中，用于生成第一消息的单元可以包括，会议架构100、200、300和/或400中的一个或多个设备。在一些方面中，用于生成第一消息的单元，可以由类似于图1-4中的用户终端110A-D和/或中央处理器125的设备或者任何其它适当的设备来实现。
在方块810处，终端接收第二消息以在终端和第二设备之间建立会议。第二消息可以包括第二设备支持的一个或多个并行编解码器能力的列表。第二设备支持的一个或多个并行编解码器能力的列表可以包括如下指示：可用于第一列出的编解码器的一个或多个并行实例的一个或多个资源，是否可以替代地用于第二列出的编解码器的一个或多个并行实例。在一些实施例中，通过用于接收第二消息以在终端和第二设备之间建立会议的单元可以接收第二消息。在一些实施例中，用于接收第二消息的单元可以包括：会议架构100、200、300和/或400中的一个或多个设备。在一些方面中，用于生成第一消息的单元，可以由类似于图1-4中的用户终端110A-D和/或中央处理器125的设备或者任何其它适当的设备来实现。
在一些实施例中，第二消息可以包括第二设备响应于要约消息而发送的响应消息。在一些实施例中，第二消息可以包括应答消息。
上面描述的方法的各种操作，可以由能够执行这些操作的任何适当的单元来执行，例如，各种硬件和/或软件组件、电路和/或模块。通常，在附图中示出的任何操作，可以由能够执行这些操作的相应功能单元来执行。例如，用于向两个或更多个设备发送要约消息的单元，可以包括终端110A-D的发射机或天线。额外地，用于接收响应消息的单元，可以包括终端110A-D的接收机或天线。额外地，用于确定两个或更多个设备是否可以继续参与会议的单元，可以包括用户终端110A-D的处理器。此外，用于从设备接收要约消息的单元，可以包括终端110A-D的接收机或天线。此外，用于发送响应消息的单元，可以包括终端110A-D的发射机或天线。
信息和信号可以使用多种不同的技术和技艺中的任意一种来表示。例如，遍及上面的描述可能提及的数据、指令、命令、信息、信号、比特、符号和码片可以由电压、电流、电磁波、磁场或磁粒子、光场或光粒子或者其任意组合来表示。
结合本文公开的实施例描述的各种示例性逻辑方块、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或二者的组合。为了清楚地表示硬件和软件之间的这种可交换性，上文已经以其功能的用语总体描述了各种示例性的组件、方块、模块、电路和步骤。这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束。可以针对每个特定应用，以不同的方式实现所描述的功能，但是，这种实现决策不应当解释为导致偏离本发明的实施例的范围。
利用被设计为执行本文所述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或者晶体管逻辑、分立硬件组件或者其任意组合，可以实现或执行结合本文公开的实施例描述的各种示例性方块、模块和电路。通用处理器可以是微处理器，但是在替代方案中，处理器可以是任何传统处理器、控制器、微控制器或者状态机。处理器还可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP内核的结合，或者任何其它此种配置。
结合本文所公开的实施例描述的方法或者算法的步骤和功能可直接体现为硬件、由处理器执行的软件模块或二者的组合。当利用软件实现时，可以将这些功能存储在有形、非暂时性计算机可读介质上，或者作为有形、非暂时性计算机可读介质上的一个或多个指令或代码进行传输。软件模块可以位于随机存取存储器(RAM)、闪存、只读存储器(ROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、寄存器、硬盘、移动硬盘、CD ROM、或者本领域已知的任何其它形式的存储介质。存储介质耦合到处理器，使得处理器能够从存储介质读取信息，以及向存储介质写入信息。在替代方案中，可以将存储介质整合到处理器。如本文使用的，磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字通用光盘(DVD)、软盘和和蓝光光盘，其中磁盘通常磁性地复制数据，而光盘则利用激光来光学地复制数据。上面的组合也应当包括在计算机可读介质的范围之内。处理器和存储介质可以位于ASIC中。
出于概括本公开内容的目的，本文已经描述了本发明的某些方面、优点和新颖特征。应当理解的是，根据本发明的任何特定实施例不一定可以获得所有这些优点。因此，本发明可以以实现或者优化如本文所教导的一个优点或者一组优点的方式来体现或者执行，而不必实现如本文可能教导或者建议的其它优点。
对上面所描述的实施例的各种修改将是显而易见的，并且，本文定义的总体原理可以在不脱离本发明的精神或保护范围的情况下适用于其它实施例。因此，本发明并不是要限于本文所示出的实施例，而是要符合与本文所公开的原理和新颖特征的相一致的最广范围。

Claims (72)

1.一种用于多方之间的通信的方法，所述方法包括：
在第一设备处，生成第一消息以向第二设备传输，其中，所述第一消息包括来自由请求消息和要约消息构成的群组之一；以及
在所述第一设备处，接收第二消息以建立会议，所述第二消息包括所述第二设备支持的一个或多个并行编解码器能力的列表，其中，所述第二设备支持的一个或多个并行编解码器能力的所述列表包括如下指示：用于向所述第二设备发送数据流的第一列出的编解码器的一个或多个并行实例是否能够替换为用于向所述第二设备发送所述数据流的第二列出的编解码器的一个或多个并行实例。
2.根据权利要求1所述的方法，其中，所述指示指出，所述第一列出的编解码器的所述一个或多个并行实例能够替换为所述第二列出的编解码器的所述一个或多个并行实例。
3.根据权利要求2所述的方法，其中，所述指示包括分离所述第一列出的编解码器和所述第二列出的编解码器的“，”。
4.根据权利要求1所述的方法，其中，所述指示指出：所述第一列出的编解码器的所述一个或多个并行实例不能替换为所述第二列出的编解码器的所述一个或多个并行实例。
5.根据权利要求4所述的方法，其中，所述指示包括分离所述第一列出的编解码器和所述第二列出的编解码器的“；”。
6.根据权利要求1所述的方法，其中，所述第一列出的编解码器和所述第二列出的编解码器是在会话描述协议(SDP)格式中呈现的。
7.根据权利要求1所述的方法，其中，所述列表中的所述一个或多个并行编解码器能力是根据计算复杂度来排序的。
8.根据权利要求7所述的方法，其中，所述第二列出的编解码器的计算复杂度低于所述第一列出的编解码器的计算复杂度，并且其中，在SDP格式中，所述第二列出的编解码器是在所述第一列出的编解码器之后列出的。
9.根据权利要求1所述的方法，其中，所述第一消息是对所述第二设备的请求消息，所述请求消息请求所述第二设备支持的一个或多个并行编解码器能力的所述列表，并且其中，所述第二消息是来自所述第二设备的响应消息，所述响应消息包括所述第二设备支持的一个或多个并行编解码器能力的所述列表。
10.根据权利要求9所述的方法，还包括：
在所述第一设备处，基于所述第二设备支持的一个或多个并行编解码器能力的所述列表来确定所述第二设备是否能够参与所述会议。
11.根据权利要求10所述的方法，其中，所述第二设备支持的一个或多个并行编解码器能力的所述列表包括，与列出的编解码器支持的媒体流的复杂度对应的层级。
12.根据权利要求10所述的方法，其中，所述第二设备支持的一个或多个并行编解码器能力的所述列表包括，指示能够用于列出的编解码器的一个或多个工具集的简档指示符。
13.根据权利要求9所述的方法，还包括：
从所述第一设备向所述第二设备发送要约消息以建立所述会议，所述要约消息包括所述会议支持的一个或多个并行编解码器能力的列表，其中，所述会议支持的一个或多个并行编解码器能力的所述列表包括以下指示：所述第一列出的编解码器的一个或多个并行实例是否能够替换为所述第二列出的编解码器的一个或多个并行实例；以及
基于所述会议支持的一个或多个编解码器能力的所述列表来选择性地从所述第一设备向所述第二设备发送所述数据流。
14.根据权利要求1所述的方法，其中，所述第一消息是对所述第二设备的用于建立所述会议的要约消息，所述要约消息包括所述会议支持的并行编解码器能力的列表，并且其中，所述第二消息是来自所述第二设备的应答消息，包括所述第二设备支持的一个或多个并行编解码器能力的所述列表的所述应答消息，包括从所述会议支持的并行编解码器能力的所述列表中做出的选择，并且所述方法还包括：在接收所述第二消息之前，向所述第二设备发送所述第一消息，以及在所述第一设备处，基于所述第一消息和所述第二消息的共同的并行编解码器能力来选择性地向所述第二设备发送所述数据流。
15.根据权利要求14所述的方法，还包括：
在所述第一设备处，基于所述应答消息来确定所述第二设备是否能够参与所述会议。
16.根据权利要求14所述的方法，其中，所述列表中的至少一个列表包括编解码器的层级，所述层级与列出的编解码器能够支持的媒体流的复杂度对应。
17.根据权利要求14所述的方法，其中，所述列表中的至少一个列表包括简档指示符，所述简档指示符指示能够用于列出的编解码器的一个或多个工具集。
18.根据权利要求14所述的方法，还包括：
在所述第一设备处，基于从所述第二设备支持的一个或多个并行编解码器能力的所述列表中做出的所述选择来选择用于向所述第二设备进行传送的编解码器类型。
19.一种用于发起采用多个编解码器的多方、多流会议的装置，所述装置包括：
处理器，其被配置为生成第一消息以向第一设备传输，其中，所述第一消息包括来自由请求消息和要约消息构成的群组之一；以及
接收机，其被配置为从所述第一设备接收第二消息以建立会议，所述第二消息包括所述第一设备支持的一个或多个并行编解码器能力的列表，其中，所述第一设备支持的一个或多个并行编解码器能力的所述列表包括如下指示：用于向所述第一设备发送数据流的第一列出的编解码器的一个或多个并行实例是否能够替换为用于向所述第一设备发送所述数据流的第二列出的编解码器的一个或多个并行实例。
20.根据权利要求19所述的装置，其中，所述指示指出，所述第一列出的编解码器的所述一个或多个并行实例能够替换为所述第二列出的编解码器的所述一个或多个并行实例。
21.根据权利要求20所述的装置，其中，所述指示包括分离所述第一列出的编解码器和所述第二列出的编解码器的“，”。
22.根据权利要求19所述的装置，其中，所述指示指出：所述第一列出的编解码器的所述一个或多个并行实例不能替换为所述第二列出的编解码器的所述一个或多个并行实例。
23.根据权利要求22所述的装置，其中，所述指示包括分离所述第一列出的编解码器和所述第二列出的编解码器的“；”。
24.根据权利要求19所述的装置，其中，所述第一列出的编解码器和所述第二列出的编解码器是在会话描述协议(SDP)格式中呈现的。
25.根据权利要求19所述的装置，其中，所述列表中的所述一个或多个并行编解码器能力是根据计算复杂度来排序的。
26.根据权利要求25所述的装置，其中，所述第二列出的编解码器的计算复杂度低于所述第一列出的编解码器的计算复杂度，并且其中，在SDP格式中，所述第二列出的编解码器是在所述第一列出的编解码器之后列出的。
27.根据权利要求19所述的装置，其中，所述第一消息是对所述第一设备的请求消息，所述请求消息请求所述第一设备支持的一个或多个并行编解码器能力的所述列表，并且其中，所述第二消息是来自所述第一设备的响应消息，所述响应消息包括所述第一设备支持的一个或多个并行编解码器能力的所述列表。
28.根据权利要求27所述的装置，其中，所述处理器还被配置为：
基于所述第一设备支持的一个或多个并行编解码器能力的所述列表来确定所述第一设备是否能够参与所述会议。
29.根据权利要求28所述的装置，其中，所述第一设备支持的一个或多个并行编解码器能力的所述列表包括，与列出的编解码器支持的媒体流的复杂度对应的层级。
30.根据权利要求28所述的装置，其中，所述第一设备支持的一个或多个并行编解码器能力的所述列表包括，指示能够用于列出的编解码器的一个或多个工具集的简档指示符。
31.根据权利要求27所述的装置，还包括发射机，其被配置为：
向所述第一设备发送要约消息以建立所述会议，所述要约消息包括所述会议支持的一个或多个并行编解码器能力的列表，其中，所述会议支持的一个或多个并行编解码器能力的所述列表包括以下指示：所述第一列出的编解码器的一个或多个并行实例是否能够替换为所述第二列出的编解码器的一个或多个并行实例；以及
基于所述会议支持的一个或多个编解码器能力的所述列表来选择性地向所述第一设备发送所述数据流。
32.根据权利要求19所述的装置，其中，所述第一消息是对所述第一设备的用于建立所述会议的要约消息，所述要约消息包括所述会议支持的并行编解码器能力的列表，并且其中，所述第二消息是来自所述第一设备的应答消息，包括所述第一设备支持的一个或多个并行编解码器能力的所述列表的所述应答消息，包括从所述会议支持的并行编解码器能力的所述列表中做出的选择，并且所述装置还包括发射机，其被配置为：
在所述接收机接收所述第二消息之前，向所述第一设备发送所述第一消息，以及
基于所述第一消息和所述第二消息的共同的并行编解码器能力来选择性地向所述第一设备发送所述数据流。
33.根据权利要求32所述的装置，其中，所述处理器还配置为：
基于所述应答消息来确定所述第一设备是否能够参与所述会议。
34.根据权利要求32所述的装置，其中，所述列表中的至少一个列表包括编解码器的层级，所述层级与列出的编解码器能够支持的媒体流的复杂度对应。
35.根据权利要求32所述的装置，其中，所述列表中的至少一个列表包括简档指示符，所述简档指示符指示能够用于列出的编解码器的一个或多个工具集。
36.根据权利要求32所述的装置，其中，所述处理器还被配置为：
基于从所述第一设备支持的一个或多个并行编解码器能力的所述列表中做出的所述选择来选择用于向所述第一设备进行传送的编解码器类型。
37.一种用于发起采用多个编解码器的多方、多流会议的装置，所述装置包括：
用于生成第一消息以向第一设备传输的单元，其中，所述第一消息包括来自由请求消息和要约消息构成的群组之一；以及
用于从所述第一设备接收第二消息以建立会议的单元，所述第二消息包括所述第一设备支持的一个或多个并行编解码器能力的列表，其中，所述第一设备支持的一个或多个并行编解码器能力的所述列表包括如下指示：用于向所述第一设备发送数据流的第一列出的编解码器的一个或多个并行实例是否能够替换为用于向所述第一设备发送所述数据流的第二列出的编解码器的一个或多个并行实例。
38.根据权利要求37所述的装置，其中，所述指示指出：所述第一列出的编解码器的所述一个或多个并行实例能够替换为所述第二列出的编解码器的所述一个或多个并行实例。
39.根据权利要求38所述的装置，其中，所述指示包括分离所述第一列出的编解码器和所述第二列出的编解码器的“，”。
40.根据权利要求37所述的装置，其中，所述指示指出：所述第一列出的编解码器的所述一个或多个并行实例不能替换为所述第二列出的编解码器的所述一个或多个并行实例。
41.根据权利要求40所述的装置，其中，所述指示包括分离所述第一列出的编解码器和所述第二列出的编解码器的“；”。
42.根据权利要求37所述的装置，其中，所述第一列出的编解码器和所述第二列出的编解码器是在会话描述协议(SDP)格式中呈现的。
43.根据权利要求37所述的装置，其中，所述列表中的所述一个或多个并行编解码器能力是根据计算复杂度来排序的。
44.根据权利要求43所述的装置，其中，所述第二列出的编解码器的计算复杂度低于所述第一列出的编解码器的计算复杂度，并且其中，在SDP格式中，所述第二列出的编解码器是在所述第一列出的编解码器之后列出的。
45.根据权利要求37所述的装置，其中，所述第一消息是对所述第一设备的请求消息，所述请求消息请求所述第一设备支持的一个或多个并行编解码器能力的所述列表，并且其中，所述第二消息是来自所述第一设备的响应消息，所述响应消息包括所述第一设备支持的一个或多个并行编解码器能力的所述列表。
46.根据权利要求45所述的装置，还包括：
用于基于所述第一设备支持的一个或多个并行编解码器能力的所述列表来确定所述第一设备是否能够参与所述会议的单元。
47.根据权利要求46所述的装置，其中，所述第一设备支持的一个或多个并行编解码器能力的所述列表包括：与列出的编解码器支持的媒体流的复杂度对应的层级。
48.根据权利要求46所述的装置，其中，所述第一设备支持的一个或多个并行编解码器能力的所述列表包括：指示能够用于列出的编解码器的一个或多个工具集的简档指示符。
49.根据权利要求45所述的装置，还包括发射机，其被配置为：
向所述第一设备发送要约消息以建立所述会议，所述要约消息包括所述会议支持的一个或多个并行编解码器能力的列表，其中，所述会议支持的一个或多个并行编解码器能力的所述列表包括如下指示：所述第一列出的编解码器的一个或多个并行实例是否能够替换为所述第二列出的编解码器的一个或多个并行实例；以及
基于所述会议支持的一个或多个编解码器能力的所述列表来选择性地向所述第一设备发送所述数据流。
50.根据权利要求37所述的装置，其中，所述第一消息是对所述第一设备的用于建立所述会议的要约消息，所述要约消息包括所述会议支持的并行编解码器能力的列表，并且其中，所述第二消息是来自所述第一设备的应答消息，包括所述第一设备支持的一个或多个并行编解码器能力的所述列表的所述应答消息，包括从所述会议支持的并行编解码器能力的所述列表中做出的选择，并且所述装置还包括发射机，其被配置为：
在所述接收机接收所述第二消息之前，向所述第一设备发送所述第一消息，以及
基于所述第一消息和所述第二消息的共同的并行编解码器能力来选择性地向所述第一设备发送所述数据流。
51.根据权利要求50所述的装置，还包括：
用于基于所述应答消息来确定所述第一设备是否能够参与所述会议的单元。
52.根据权利要求50所述的装置，其中，所述列表中的至少一个列表包括编解码器的层级，所述层级与列出的编解码器能够支持的媒体流的复杂度对应。
53.根据权利要求50所述的装置，其中，所述列表中的至少一个列表包括简档指示符，所述简档指示符指示能够用于列出的编解码器的一个或多个工具集。
54.根据权利要求50所述的装置，还包括：
用于基于从所述第一设备支持的一个或多个并行编解码器能力的所述列表中做出的所述选择来选择用于向所述第一设备进行传送的编解码器类型的单元。
55.一种包括指令的非暂时性计算机可读介质，当执行所述指令时，所述指令使处理器执行以下方法：
在第一设备处，生成第一消息以向第二设备传输，其中，所述第一消息包括来自由请求消息和要约消息构成的群组之一；以及
在所述第一设备处，接收第二消息以建立会议，所述第二消息包括所述第二设备支持的一个或多个并行编解码器能力的列表，其中，所述第二设备支持的一个或多个并行编解码器能力的所述列表包括如下指示：用于向所述第二设备发送数据流的第一列出的编解码器的一个或多个并行实例是否能够替换为用于向所述第二设备发送所述数据流的第二列出的编解码器的一个或多个并行实例。
56.根据权利要求55所述的非暂时性计算机可读介质，其中，所述指示指出，所述第一列出的编解码器的所述一个或多个并行实例能够替换为所述第二列出的编解码器的所述一个或多个并行实例。
57.根据权利要求56所述的非暂时性计算机可读介质，其中，所述指示包括分离所述第一列出的编解码器和所述第二列出的编解码器的“，”。
58.根据权利要求55所述的非暂时性计算机可读介质，其中，所述指示指出：所述第一列出的编解码器的所述一个或多个并行实例不能替换为所述第二列出的编解码器的所述一个或多个并行实例。
59.根据权利要求58所述的非暂时性计算机可读介质，其中，所述指示包括分离所述第一列出的编解码器和所述第二列出的编解码器的“；”。
60.根据权利要求55所述的非暂时性计算机可读介质，其中，所述第一列出的编解码器和所述第二列出的编解码器是在会话描述协议(SDP)格式中呈现的。
61.根据权利要求55所述的非暂时性计算机可读介质，其中，所述列表中的所述一个或多个并行编解码器能力是根据计算复杂度来排序的。
62.根据权利要求61所述的非暂时性计算机可读介质，其中，所述第二列出的编解码器的计算复杂度低于所述第一列出的编解码器的计算复杂度，并且其中，在SDP格式中，所述第二列出的编解码器是在所述第一列出的编解码器之后列出的。
63.根据权利要求55所述的非暂时性计算机可读介质，其中，所述第一消息是对所述第二设备的请求消息，所述请求消息请求所述第二设备支持的一个或多个并行编解码器能力的所述列表，并且其中，所述第二消息是来自所述第二设备的响应消息，所述响应消息包括所述第二设备支持的一个或多个并行编解码器能力的所述列表。
64.根据权利要求63所述的非暂时性计算机可读介质，还包括：
在所述第一设备处，基于所述第二设备支持的一个或多个并行编解码器能力的所述列表来确定所述第二设备是否能够参与所述会议。
65.根据权利要求64所述的非暂时性计算机可读介质，其中，所述第二设备支持的一个或多个并行编解码器能力的所述列表包括，与列出的编解码器支持的媒体流的复杂度对应的层级。
66.根据权利要求63所述的非暂时性计算机可读介质，其中，所述第二设备支持的一个或多个并行编解码器能力的所述列表包括，指示能够用于列出的编解码器的一个或多个工具集的简档指示符。
67.根据权利要求63所述的非暂时性计算机可读介质，还包括：
从所述第一设备向所述第二设备发送要约消息以建立所述会议，所述要约消息包括所述会议支持的一个或多个并行编解码器能力的列表，其中，所述会议支持的一个或多个并行编解码器能力的所述列表包括以下指示：所述第一列出的编解码器的一个或多个并行实例是否能够替换为所述第二列出的编解码器的一个或多个并行实例；以及
基于所述会议支持的一个或多个编解码器能力的所述列表来选择性地从所述第一设备向所述第二设备发送所述数据流。
68.根据权利要求55所述的非暂时性计算机可读介质，其中，所述第一消息是对所述第二设备的用于建立所述会议的要约消息，所述要约消息包括所述会议支持的并行编解码器能力的列表，并且其中，所述第二消息是来自所述第二设备的应答消息，包括所述第二设备支持的一个或多个并行编解码器能力的所述列表的所述应答消息，包括从所述会议支持的并行编解码器能力的所述列表中做出的选择，并且还包括：在接收所述第二消息之前，向所述第二设备发送所述第一消息，以及在所述第一设备处，基于所述第一消息和所述第二消息的共同的并行编解码器能力来选择性地向所述第二设备发送所述数据流。
69.根据权利要求68所述的非暂时性计算机可读介质，还包括：
在所述第一设备处，基于所述应答消息来确定所述第二设备是否能够参与所述会议。
70.根据权利要求68所述的非暂时性计算机可读介质，其中，所述列表中的至少一个列表包括编解码器的层级，所述层级与列出的编解码器能够支持的媒体流的复杂度对应。
71.根据权利要求68所述的非暂时性计算机可读介质，其中，所述列表中的至少一个列表包括简档指示符，所述简档指示符指示能够用于列出的编解码器的一个或多个工具集。
72.根据权利要求68所述的非暂时性计算机可读介质，还包括：
在所述第一设备处，基于从所述第二设备支持的一个或多个并行编解码器能力的所述列表中做出的所述选择来选择用于向所述第二设备进行传送的编解码器类型。
CN201780044339.3A 2016-07-21 2017-07-19 用于在多媒体通信中使用压缩并行编解码器的方法和装置 Active CN109479113B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662365348P 2016-07-21 2016-07-21
US62/365,348 2016-07-21
US201662381559P 2016-08-30 2016-08-30
US62/381,559 2016-08-30
US15/652,946 US11171999B2 (en) 2016-07-21 2017-07-18 Methods and apparatus for use of compact concurrent codecs in multimedia communications
US15/652,946 2017-07-18
PCT/US2017/042892 WO2018017736A1 (en) 2016-07-21 2017-07-19 Methods and apparatus for use of compact concurrent codecs in multimedia communications

Publications (2)

Publication Number Publication Date
CN109479113A CN109479113A (zh) 2019-03-15
CN109479113B true CN109479113B (zh) 2021-03-26

Family

ID=60990163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780044339.3A Active CN109479113B (zh) 2016-07-21 2017-07-19 用于在多媒体通信中使用压缩并行编解码器的方法和装置

Country Status (9)

Country Link
US (2) US11171999B2 (zh)
EP (2) EP4380147A1 (zh)
JP (1) JP6940587B2 (zh)
KR (2) KR20230133936A (zh)
CN (1) CN109479113B (zh)
AU (2) AU2017298381B2 (zh)
BR (1) BR112019000850A2 (zh)
TW (2) TWI753928B (zh)
WO (1) WO2018017736A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3049140A1 (fr) * 2016-03-15 2017-09-22 Orange Procede de gestion dynamique de chemins de communication entre routeurs en fonction de besoins applicatifs
JP6847115B2 (ja) * 2016-08-12 2021-03-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 端末、基地局及び通信方法
US10915521B2 (en) * 2018-08-21 2021-02-09 Syniverse Technologies, Llc Blockchain gateway device and associated method of use
US11611909B2 (en) * 2018-09-07 2023-03-21 Apple Inc. Apparatus and method for signaling ran-assisted codec adaptation capabilities in IMS multimedia telephony sessions
CN111050108A (zh) * 2019-12-19 2020-04-21 维沃移动通信有限公司 多路视频通话的实现方法、装置及电子设备
KR20220027577A (ko) * 2020-08-27 2022-03-08 삼성전자주식회사 복수의 모드들에 따른 통화를 지원하기 위한 방법 및 장치
CN112511788B (zh) * 2020-11-27 2022-04-01 厦门亿联网络技术股份有限公司 一种视频会议的视频传输控制方法及视频传输系统
US20220294839A1 (en) * 2021-03-12 2022-09-15 Tencent America LLC Techniques for signaling audio mixing gain in teleconferencing and telepresence for remote terminals
CN113316129B (zh) * 2021-04-22 2022-05-20 荣耀终端有限公司 一种蓝牙设备中编解码能力的获取方法及电子设备
CN113316013B (zh) * 2021-05-31 2022-04-26 烽火通信科技股份有限公司 一种视频投屏方法及系统
CN113438230B (zh) * 2021-06-23 2022-08-30 中移（杭州）信息技术有限公司 协议协商方法、装置、代理服务器及存储介质
KR20230029122A (ko) * 2021-08-23 2023-03-03 삼성전자주식회사 영상 통화를 수행하는 동안 복수의 이미지 스트림을 전송하는 전자 장치 및 전자 장치의 동작 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100734408B1 (ko) * 2003-06-19 2007-07-03 노키아 코포레이션 점진적 디코더 리프레시에 기반한 스트림 스위칭
CN100553329C (zh) * 2004-08-25 2009-10-21 日本电气株式会社 图像编码数据的转换方法以及装置、系统
WO2010117326A1 (en) * 2009-04-07 2010-10-14 Telefonaktiebolaget Lm Ericsson (Publ) Method and arrangement for session negotiation
CN102710617A (zh) * 2012-05-21 2012-10-03 深圳市共进电子股份有限公司 Sip终端sdp协商方法
US20120300015A1 (en) * 2011-05-23 2012-11-29 Xuemin Chen Two-way audio and video communication utilizing segment-based adaptive streaming techniques
US20150229487A1 (en) * 2014-02-12 2015-08-13 Talk Fusion, Inc. Systems and methods for automatic translation of audio and video data from any browser based device to any browser based client
WO2015129181A1 (ja) * 2014-02-28 2015-09-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 音声通信端末、中間ノード、処理装置、接続方法およびプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI112140B (fi) 2001-05-23 2003-10-31 Nokia Corp Informaation kommunikointi
WO2006019380A1 (en) 2004-07-19 2006-02-23 Thomson Licensing S.A. Non-similar video codecs in video conferencing system
US20060168637A1 (en) * 2005-01-25 2006-07-27 Collaboration Properties, Inc. Multiple-channel codec and transcoder environment for gateway, MCU, broadcast and video storage applications
CN101064863A (zh) 2006-04-27 2007-10-31 华为技术有限公司 一种ims网络下提供媒体资源服务的方法和系统
CN101119292B (zh) 2006-07-31 2010-07-21 华为技术有限公司 一种网关之间协商传送数据业务的方法
CN101822093A (zh) 2007-08-14 2010-09-01 爱立信电话股份有限公司 编解码器协商和选择中的或与之相关的改进
US9356987B2 (en) 2012-10-09 2016-05-31 Vantrix Corporation System and method for optimizing a communication session between multiple terminals involving transcoding operations
JP6405804B2 (ja) 2014-09-02 2018-10-17 沖電気工業株式会社 コーデック調停装置及びプログラム
US9137187B1 (en) * 2014-09-29 2015-09-15 Edifire LLC Dynamic conference session state management in secure media-based conferencing
US10063609B2 (en) 2015-08-19 2018-08-28 Qualcomm Incorporated Methods and apparatus for multimedia conferences using single source multi-unicast

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100734408B1 (ko) * 2003-06-19 2007-07-03 노키아 코포레이션 점진적 디코더 리프레시에 기반한 스트림 스위칭
CN100553329C (zh) * 2004-08-25 2009-10-21 日本电气株式会社 图像编码数据的转换方法以及装置、系统
WO2010117326A1 (en) * 2009-04-07 2010-10-14 Telefonaktiebolaget Lm Ericsson (Publ) Method and arrangement for session negotiation
US20120300015A1 (en) * 2011-05-23 2012-11-29 Xuemin Chen Two-way audio and video communication utilizing segment-based adaptive streaming techniques
CN102710617A (zh) * 2012-05-21 2012-10-03 深圳市共进电子股份有限公司 Sip终端sdp协商方法
US20150229487A1 (en) * 2014-02-12 2015-08-13 Talk Fusion, Inc. Systems and methods for automatic translation of audio and video data from any browser based device to any browser based client
WO2015129181A1 (ja) * 2014-02-28 2015-09-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 音声通信端末、中間ノード、処理装置、接続方法およびプログラム

Also Published As

Publication number Publication date
EP3488605B1 (en) 2024-02-21
US11171999B2 (en) 2021-11-09
WO2018017736A1 (en) 2018-01-25
TW201808001A (zh) 2018-03-01
KR20230133936A (ko) 2023-09-19
CN109479113A (zh) 2019-03-15
AU2022209216B2 (en) 2024-06-13
KR102577373B1 (ko) 2023-09-11
US20220030039A1 (en) 2022-01-27
TWI753928B (zh) 2022-02-01
JP2019530996A (ja) 2019-10-24
JP6940587B2 (ja) 2021-09-29
EP4380147A1 (en) 2024-06-05
EP3488605A1 (en) 2019-05-29
TW202218416A (zh) 2022-05-01
AU2017298381A1 (en) 2018-12-20
BR112019000850A2 (pt) 2019-04-30
TWI829058B (zh) 2024-01-11
AU2017298381B2 (en) 2022-04-28
EP3488605C0 (en) 2024-02-21
KR20190031239A (ko) 2019-03-25
US20180027027A1 (en) 2018-01-25
AU2022209216A1 (en) 2022-08-18

Similar Documents

Publication Publication Date Title
CN109479113B (zh) 用于在多媒体通信中使用压缩并行编解码器的方法和装置
US10063609B2 (en) Methods and apparatus for multimedia conferences using single source multi-unicast
CN101578884B (zh) 提供和使用译码的媒体流的互操作点的预定信令的系统和方法
Sjoberg et al. Overview of HEVC high-level syntax and reference picture management
TWI423679B (zh) 可縮放視訊編碼與解碼技術
US20140079116A1 (en) Indication of interlaced video data for video coding
US20120275517A1 (en) Dependency parameter set for scalable video coding
US20170006078A1 (en) Methods and apparatus for codec negotiation in decentralized multimedia conferences
CN101518087A (zh) 用于指示媒体文件中轨道关系的系统和方法
CN101147400A (zh) 分屏多媒体视频会议
CN104093028B (zh) 一种设备能力协商的方法和装置
WO2022100528A1 (zh) 音视频转发方法、装置、终端与系统
US20230061442A1 (en) Method, An Apparatus and A Computer Program Product for Video Encoding and Video Decoding
CN110557593A (zh) 一种媒体传输方法及h323-sip网关
CN103347201A (zh) 集群系统组呼中的视频传输方法和视频传输系统
EP4388749A1 (en) A method, an apparatus and a computer program product for video encoding and video decoding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant