CN107155083A - 一种多端多媒体数据处理方法、装置和系统 - Google Patents

Abstract

本发明实施例公开了一种多端多媒体数据处理方法、装置和系统；本发明实施例采用接收客户端发送的多媒体数据，其中，该多媒体数据携带用于指示多媒体源的第一标识，根据该第一标识确定该多媒体数据所属的多媒体源，以及根据该第一标识获取对应的会话描述信息，然后，基于该多媒体源，以及会话描述信息对该多媒体数据进行交换处理；该方案不仅可以节省网络资源，而且，也可以提高MCU的处理能力和灵活性。

Description

一种多端多媒体数据处理方法、装置和系统

技术领域

本发明涉及通信技术领域，具体涉及一种多端多媒体数据处理方法、装置和系统。

背景技术

多端多媒体通信，也称为多人音视频通信或视频会议系统，指的是可供多方进行音频或视频通话的技术。在这一类技术中，一般会设置一个居中的通信服务器，称为多点控制单元(MCU，Multipoint Control Unit)，主要用于连接每个需要进行通信的客户端，负责交换各个客户端的多媒体数据，比如音频数据包或视频数据包，等等。现在的MCU在与多个客户端通信时，为了区分来自多个客户端的数据，一般会为每个客户端分配一个对应用户数据报协议(UDP，User Datagram Protocol)端口，并通过会话描述协议(SDP，SessionDescription Protocol)报文将该分配的UDP端口通知给相应的客户端，以便客户端通过该UDP端口与MCU建立连接，并基于该连接进行通信，比如，客户端可以通过该端口发送SDP报文、以及多媒体数据给MCU，由MCU根据这些数据在传输时所采用的端口来找到具有关联关系(即属于同一多媒体源)的多媒体数据和SDP报文，然后，根据SDP报文对多媒体数据进行交换处理。

在对上述方法的研究和实践过程中，发现由于MCU需要为每一个客户端都分配一个UDP端口，因此，随着客户端的增加，所需要的UDP端口的数量也会越来越多，而UDP端口的数量是有限的，因此，极大地限制了MCU的处理能力，以及降低了其灵活性。

发明内容

本发明实施例提供一种多端多媒体数据处理方法、装置和系统，可以提高MCU的处理能力和灵活性。

本发明实施例提供一种多端多媒体数据处理方法，其特征在于，包括：

接收客户端发送的多媒体数据，所述多媒体数据携带用于指示多媒体源的第一标识；

根据所述第一标识确定所述多媒体数据所属的多媒体源，以及根据所述第一标识获取对应的会话描述信息；

基于所述多媒体源，以及会话描述信息对所述多媒体数据进行交换处理。

相应的，本发明实施例还提供一种多端多媒体数据处理装置，包括：

接收单元，用于接收客户端发送的多媒体数据，所述多媒体数据携带用于指示多媒体源的第一标识；

确定单元，用于根据所述第一标识确定所述多媒体数据所属的多媒体源；

获取单元，用于根据所述第一标识获取对应的会话描述信息；

处理单元，用于基于所述多媒体源，以及会话描述信息对所述多媒体数据进行交换处理。

此外，本发明实施例还提供一种多端多媒体数据处理系统，包括客户端和本发明实施例所提供的任一种多端多媒体数据处理装置，其中：

所述客户端，用于向多端多媒体数据处理装置发送多媒体数据，所述多媒体数据携带用于指示多媒体源的第一标识。

本发明实施例采用接收客户端发送的多媒体数据，其中，该多媒体数据携带用于指示多媒体源的第一标识，根据该第一标识确定该多媒体数据所属的多媒体源，以及根据该第一标识获取对应的会话描述信息，然后，基于该多媒体源，以及会话描述信息对该多媒体数据进行交换处理；由于在该方案中，主要是基于多媒体数据中所携带的标识来识别出相应的多媒体源和关联的会话描述信息，因此，相对于现有的基于端口来识别多媒体源的方案而言，无需为每个客户端都分配一个端口，可以大大减少端口资源的使用，不仅可以节省网络资源，而且，也提高了MCU的处理能力和灵活性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是本发明实施例提供的多端多媒体数据处理系统的场景示意图；

图1b是本发明实施例提供的多端多媒体数据处理方法的流程图；

图2是本发明实施例提供的多端多媒体数据处理方法的另一流程图；

图3a是本发明实施例提供的多端多媒体数据处理装置的结构示意图；

图3b是本发明实施例提供的多端多媒体数据处理装置的另一结构示意图；

图3c是本发明实施例提供的多端多媒体数据处理装置的又一结构示意图；

图4是本发明实施例提供的网络设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种多端多媒体数据处理方法、装置和系统。

该多端多媒体数据处理系统可以包括本发明实施例所提供的任一种多端多媒体数据处理装置，其中，该多端多媒体数据处理装置可以集成在网络设备，比如控制服务器或多点控制单元(MCU，Multipoint Control Unit)等设备中，例如，以该多端多媒体数据处理装置集成在MCU中为例，参见图1a，MCU可以接收客户端发送的多媒体数据，其中，该多媒体数据携带用于指示多媒体源的第一标识，比如，该第一标识可以包括用户名、外网地址(即客户端的外网地址)和外网端口(即客户端的外网端口)，等等，此后，MCU便可以根据该第一标识确定该多媒体数据所属的多媒体源，以及根据该第一标识获取对应的会话描述信息，然后，基于该多媒体源，以及会话描述信息对该多媒体数据进行交换处理，比如，可以根据会话描述信息中的密钥等信息对该多媒体数据进行解密，等等。

此后，MCU还可以将交换处理后的多媒体处理发送给相应的目标客户端，比如，参见图1a，如果该场景为客户端A、客户端B、客户端C和客户端D在进行视频会议的场景，则此时，可以将客户端A所发送的多媒体数据进行交换处理后，分别发送给客户端B、客户端C和客户端D，等等。

以下将分别进行详细说明。

实施例一、

本实施例将从多端多媒体数据处理装置的角度进行描述，该多端多媒体数据处理装置具体可以集成在网络设备，比如控制服务器或MCU等设备中。

一种多端多媒体数据处理方法，包括：接收客户端发送的多媒体数据，该多媒体数据携带用于指示多媒体源的第一标识；根据该第一标识确定该多媒体数据所属的多媒体源，以及根据该第一标识获取对应的会话描述信息；基于该多媒体源，以及会话描述信息对该多媒体数据进行交换处理。

如图1b所示，该多端多媒体数据处理方法的具体流程可以如下：

101、接收客户端发送的多媒体数据，其中，该多媒体数据携带用于指示多媒体源的标识，为了描述方便，在本发明实施例中，将该标识称为第一标识。

其中，该第一标识可以包括用户名、客户端的外网地址(简称外网地址)和客户端的外网端口(简称外网端口)等信息，或者，该第一标识也可以包括同步信源(SSRC，Synchronization Source)字段，其中，该SSRC字段是实时传输协议(RTP，Real-time Transport Protocol)中用于标识多媒体源的标识，该标识符是随机生成的，参加同一视频会议的两个同步信源不能有相同的SSRC字段。

需说明的是，本发明实施例所说的多媒体数据可以包括音频视频包、视频数据包、以及stun(NAT的UDP简单穿越，Simple Traversal of UDP over NATs，其中，NAT指的是Network Address Translation，即网络地址转换)数据包，等；其中，stun数据包，指的stun协议相关的各种数据包，包括请求包和响应包等。按照源自网页实时通信(WebRTC，Web Real-Time Communication)的规定，客户端可以向对方的传输地址发送一个stun协议的请求包，如果能收到对方stun协议的响应包，则说明这个方向上的通信链路是通的，如果双向通信链路是相通的，则说明通信连接建立完成，之后便可以基于这一通信地址发送实际的音频数据包和/或视频数据包(统称音视频数据包)了。其中，通信双方互相发送stun数据包，和最后实际的音视频数据包是在同一传输地址上发送和接收的，因此，当该多端多媒体数据处理装置(比如MCU)在收到stun数据包的时候，只要知道这个stun数据包是对应前面哪一个会话描述信息(比如SDP报文)，就可以知道这个stun数据包是来自哪个客户端，从而在接收音视频数据包的时候也可以知道是来自哪个客户端的。

102、根据该第一标识确定该多媒体数据所属的多媒体源。

例如，可以根据用户名、外网地址和外网端口等信息确定该多媒体数据是由哪个客户端发送的，或者，也可以根据SSRC字段来确定该多媒体数据是由哪个客户端发送的，等等。

103、根据该第一标识获取对应的会话描述信息。

其中，会话描述信息具体可以为SDP报文，在SDP报文中有本端(即发送该SDP报文的客户端)的用户名、密码、以及本端用于通信的传输地址等信息。在双方交换SDP报文完成之后，本端就可以知道对方的通信地址，随后开始尝试建立通信连接，比如，可以开始发送stun数据包，等等，详见步骤102中的说明。

例如，该步骤“根据该第一标识获取对应的会话描述信息”具体可以如下：

确定与该第一标识匹配的第二标识，根据匹配到的第二标识获取对应的会话描述信息。

其中，该第二标识为从会话描述信息中提取到的多媒体源标识，即在步骤“接收客户端发送的多媒体数据”之前，该多端多媒体数据处理方法还可以包括：

接收客户端发送的会话描述信息，从该会话描述信息中提取多媒体源标识，得到第二标识。

其中，与第一标识对应的，该第二标识也可以包括多种形式的信息，比如，如果第一标识包括用户名、外网地址和外网端口，则该第二标识可以包括用户名和外网地址等信息，而如果第一标识包括SSRC字段，则第二标识也需要用SSRC字段来表示。

可选的，为了更加方便快捷地找到与第一标识对应的第二标识，在步骤“从该会话描述信息中提取多媒体源标识，得到第二标识”之后，还可以先建立第一标识和第二标识的关联关系，即可以将同属一多媒体源的第一标识和第二标识关联在一起；例如，根据第一标识和第二标识所包含的信息的不同，分别可以采用如下方式来建立这两者之间的关联关系，如下：

(1)第一种方式；

该第一标识包括用户名、外网地址和外网端口，该第二标识包括用户名和外网地址，则步骤“从该会话描述信息中提取多媒体源标识，得到第二标识”之后，该多端多媒体数据处理方法还可以包括：

根据用户名和外网地址建立第一标识和第二标识的关联关系，得到第一关联关系；

比如，可以找到具有相同{用户名，外网地址}的第一标识和第二标识，将其关联起来，得到第一关联关系，等等。

则此时，步骤“确定与该第一标识匹配的第二标识”具体可以为：基于该第一关联关系确定与该第一标识匹配的第二标识。

(2)第二种方式；

该第一标识和第二标识均包括同步信源字段，则步骤“从该会话描述信息中提取多媒体源标识，得到第二标识”之后，该多端多媒体数据处理方法还可以包括：

根据同步信源字段建立第一标识和第二标识的关联关系，得到第二关联关系；

则此时，步骤“确定与该第一标识匹配的第二标识”具体可以为：基于该第二关联关系确定与该第一标识匹配的第二标识。

104、基于该多媒体源，以及会话描述信息对该多媒体数据进行数据交换处理，简称交换处理，例如，可以如下：

根据该多媒体源确定当前需要进行交换的多媒体数据，根据该会话描述信息中的处理参数对该当前需要进行交换的多媒体数据进行交换处理。

由于该多端多媒体数据处理装置可以会同时接收到多个客户端(即多端)发送的多媒体数据，因此，需要确定当前需要交换处理的是哪个客户端发送的多媒体数据，然后，才能采用对应的会话描述信息中的处理参数来进行处理。

在对多媒体数据进行交换处理后，还可以将该交换处理后的多媒体数据发送给相应的客户端，比如，如果客户端A需要将该多媒体数据传送给客户端B和客户端C，则此时，该多端多媒体数据处理装置可以将该交换处理后的多媒体数据分别传送给客户端B和客户端C，以此类推，等等。也就是说，在步骤“基于该多媒体源，以及会话描述信息对该多媒体数据进行交换处理”之后，该多端多媒体数据处理方法还可以包括：

根据该多媒体源确定目标客户端，将交换处理后的多媒体数据发送该目标客户端。

由上可知，本实施例采用接收客户端发送的多媒体数据，其中，该多媒体数据携带用于指示多媒体源的第一标识，根据该第一标识确定该多媒体数据所属的多媒体源，以及根据该第一标识获取对应的会话描述信息，然后，基于该多媒体源，以及会话描述信息对该多媒体数据进行交换处理；由于在该方案中，主要是基于多媒体数据中所携带的标识来识别出相应的多媒体源和关联的会话描述信息，因此，相对于现有的基于端口来识别多媒体源的方案而言，无需为每个客户端都分配一个端口，可以大大减少端口资源的使用，不仅可以节省网络资源，而且，也提高了MCU的处理能力和灵活性。

实施例二、

根据实施例一所描述的方法，以下将举例作进一步详细说明。

在本实施例中，将以该多端多媒体数据处理装置具体集成在MCU中，且第一标识包括用户名、外网地址和外网端口，第二标识包括用户名和外网地址，以及会话描述信息具体为SDP报文为例进行说明。

如图2所示，一种多端多媒体数据处理方法，具体流程可以如下：

201、客户端A向MCU发送SDP报文，其中，该SDP报文中携带用户名、外网地址、以及处理参数等信息。

其中，处理参数指的是交换处理时所需的一些参数，比如密钥等。

需说明的是，该SDP报文也可以携带外网端口(该外网端口不同于多媒体数据中所携带的外网端口)但是，由于大多数客户端的外网地址和外网端口都是由NAT分配的，而NAT在为客户端分配外网端口时，NAT与客户端通信所使用的外网端口(即该SDP报文中所携带的外网端口)、与客户端和其他服务器，比如MCU所使用的外网端口(即多媒体数据中所携带的外网端口)有可能不同，因此，在本发明实施例中，在对第一标识和第二标识进行匹配时，并不考虑SDP报文中所携带的外网端口，而由于NAT在为客户端分配的外网地址都是NAT的地址，是相同的，所以，在本发明实施例中，将用户名和外网地址都作为与第二标识进行匹配的考量因素之一，其中，第一标识和第二标识的匹配可参见步骤204。

202、MCU在接收到客户端A发送的SDP报文后，从该SDP报文中提取相应的用户名和外网地址等信息，得到第二标识，并记录该第二标识，即记录该用户名和外网地址等信息。

203、客户端A向MCU发送stun数据包，其中，该stun数据包的包头中可以携带用户名、外网地址和外网端口等信息。

例如，客户端A可以向MCU发送stun请求包，其中，该stun请求包的包头中可以携带用户名、外网地址和外网端口等信息，此后，MCU还可以向客户端A返回相应的stun响应包。

204、MCU接收到该stun数据包，如stun请求包后，从该stun数据包(如stun请求包)的包头中解析出用户名、外网地址和外网端口等信息，得到第一标识。

可选的，此时，可以根据用户名和外网地址建立第一标识和第二标识的关联关系，比如，可以找到具有相同{用户名，外网地址}的第一标识和第二标识，然后，将其关联起来，得到第一关联关系，等等。

例如，如果第一标识ID₀中的用户名为“abc”，外网地址为“010.0.0.0”，而MCU中所记录的第二标识有两个，分别是ID₁和ID₂，其中，ID₁的用户名为“abc”，外网地址为“010.0.0.0”，外网端口为“1234”；ID₂的用户名为“kfh”，外网地址为“010.1.1.1”，外网端口为“4321”；则此时，可以确定ID₀和ID₁具有相同的用户名和外网地址，因此，可以建立ID₀和ID₁之间的关联关系，得到第一关联关系，与此同时，也可以得到外网端口为“1234”与用户名为“abc”、以及外网地址为“010.0.0.0”之间的对应关系，即可以知道客户端A所采用的外网端口为“1234”。

205、客户端A向MCU采用与发送stun数据包同样的传输地址发送音视频数据包，其中，该传输地址包括外网地址和外网端口。

例如，如果客户端A采用外网端口“1234”、以及外网地址“010.0.0.0”来发送stun数据，则此时，客户端A也会采用外网端口“1234”、以及外网地址“010.0.0.0”来发送音视频数据包。

206、MCU在接收到客户端A发送的音视频数据包后，根据该第一标识确定该音视频数据包所属的多媒体源。

例如，可以根据用户名、外网地址和外网端口等信息确定该音视频数据包是由哪个客户端发送的。

比如，还是以步骤204中的例子为例，如果第一标识中的用户名为“abc”，外网地址为“010.0.0.0”，外网端口为“1234”，则此时，可以确定该音视频数据包是由客户端A所发送的。

207、MCU根据该第一标识获取该音视频数据包对应的SDP报文。

例如，可以基于第一关联关系确定与该第一标识匹配的第二标识，然后，根据匹配到的第二标识获取对应的SDP报文。

比如，还是以步骤204中的例子为例，如果第一标识中的用户名为“abc”，外网地址为“010.0.0.0”，外网端口为“1234”，则此时，可以根据之前建立的第一关联找到具有相同用户名和外网地址的第二标识，然后根据该第二标识获取对应的SDP报文。

208、MCU基于该多媒体源，以及SDP报文对该音视频数据包进行交换处理。

例如，可以根据该多媒体源确定当前需要进行交换的音视频数据包，根据该SDP报文中的处理参数，比如密钥等信息对该当前需要进行交换的音视频数据包进行交换处理。

此外，在对音视频数据包进行交换处理后，还可以将该交换处理后的音视频数据包发送给相应的客户端，比如，如果客户端A需要将该音视频数据包传送给客户端B和客户端C，则此时，MCU可以将该交换处理后的音视频数据包分别传送给客户端B和客户端C，以此类推，等等。

需说明的是，除了可以通过用户名和外网地址等信息来识别多媒体源之外，也可以通过SSRC字段来进行识别，其实现方式与上述类似，在此不再赘述。

由上可知，本实施例采用接收客户端发送的多媒体数据，其中，该多媒体数据携带用于指示多媒体源的第一标识，根据该第一标识确定该多媒体数据所属的多媒体源，以及根据该第一标识获取对应的SDP报文，然后，基于该多媒体源，以及SDP报文对该多媒体数据进行交换处理；由于在该方案中，主要是基于多媒体数据中所携带的标识来识别出相应的多媒体源和关联的SDP报文，因此，相对于现有的基于端口来识别多媒体源的方案而言，无需为每个客户端都分配一个端口，可以大大减少端口资源的使用，不仅可以节省网络资源，而且，也提高了MCU的处理能力和灵活性。

实施例三、

为了更好地实施以上方法，本发明实施例还提供一种多端多媒体数据处理装置，如图3a所示，该多端多媒体数据处理装置包括接收单元301、确定单元302、获取单元303和处理单元304，如下：

(1)接收单元301；

接收单元301，用于接收客户端发送的多媒体数据，该多媒体数据携带用于指示多媒体源的第一标识。

其中，该第一标识可以包括用户名、外网地址和外网端口等信息，或者，该第一标识也可以包括SSRC字段。该多媒体数据可以包括音频视频包、视频数据包、以及stun数据包等，其中，音频视频包和视频数据包统称为音视频数据包。

(2)确定单元302；

确定单元302，用于根据该第一标识确定该多媒体数据所属的多媒体源。

例如，确定单元302可以根据用户名、外网地址和外网端口等信息确定该多媒体数据是由哪个客户端发送的，或者，也可以根据SSRC字段来确定该多媒体数据是由哪个客户端发送的，等等。

(3)获取单元303；

获取单元303，用于根据该第一标识获取对应的会话描述信息，比如SDP报文。

例如，该获取单元303，具体可以用于确定与该第一标识匹配的第二标识，根据匹配到的第二标识获取对应的会话描述信息。

其中，该第二标识为从会话描述信息中提取到的多媒体源标识，即：

接收单元301，还可以用于接收客户端发送的会话描述信息，从该会话描述信息中提取多媒体源标识，得到第二标识。

其中，与第一标识对应的，该第二标识也可以包括多种形式的信息，比如，如果第一标识包括用户名、外网地址和外网端口，则该第二标识可以包括用户名和外网地址等信息，而如果第一标识包括SSRC字段，则第二标识也需要用SSRC字段来表示。

可选的，为了更加方便快捷地找到与第一标识对应的第二标识，在“从该会话描述信息中提取多媒体源标识，得到第二标识”之后，还可以先建立第一标识和第二标识的关联关系，即可以将同属一多媒体源的第一标识和第二标识关联在一起；例如，根据第一标识和第二标识所包含的信息的不同，分别可以采用如下方式来建立这两者之间的关联关系，如下：

A、第一种方式；

该第一标识包括用户名、外网地址和外网端口，该第二标识包括用户名和外网地址，则如图3b所示，该多端多媒体数据处理装置还可以包括第一建立单元305，如下：

该第一建立单元305，可以用于根据用户名和外网地址建立第一标识和第二标识的关联关系，得到第一关联关系。

则此时，该获取单元303，具体可以用于基于该第一关联关系确定与该第一标识匹配的第二标识，根据匹配到的第二标识获取对应的会话描述信息。

B、第二种方式；

该第一标识和第二标识均包括同步信源字段，则如图3c所示，该多端多媒体数据处理装置还可以包括第二建立单元306，如下：

该第二建立单元306，可以用于根据同步信源字段建立第一标识和第二标识的关联关系，得到第二关联关系。

则此时，该获取单元303，具体可以用于基于该第二关联关系确定与该第一标识匹配的第二标识，根据匹配到的第二标识获取对应的会话描述信息。

(4)处理单元304；

处理单元304，用于基于该多媒体源，以及会话描述信息对该多媒体数据进行交换处理。

例如，该处理单元304，具体可以用于根据该多媒体源确定当前需要进行交换的多媒体数据，根据该会话描述信息中的处理参数对该当前需要进行交换的多媒体数据进行交换处理。

在对多媒体数据进行交换处理后，还可以将该交换处理后的多媒体数据发送给相应的客户端，比如，如果客户端A需要将该多媒体数据传送给客户端B和客户端C，则此时，该多端多媒体数据处理装置可以将该交换处理后的多媒体数据分别传送给客户端B和客户端C，以此类推，等等，即：

该处理单元304，还可以用于根据该多媒体源确定目标客户端，将交换处理后的多媒体数据发送该目标客户端。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

该多端多媒体数据处理装置具体可以集成在网络设备，比如控制服务器或MCU等设备中。

由上可知，本实施例采用的多端多媒体数据处理装置的接收单元301可以接收客户端发送的多媒体数据，其中，该多媒体数据携带用于指示多媒体源的第一标识，然后，由确定单元302根据该第一标识确定该多媒体数据所属的多媒体源，以及由获取单元303根据该第一标识获取对应的会话描述信息，再然后，由处理单元304基于该多媒体源，以及会话描述信息对该多媒体数据进行交换处理；由于在该方案中，主要是基于多媒体数据中所携带的标识来识别出相应的多媒体源和关联的会话描述信息，因此，相对于现有的基于端口来识别多媒体源的方案而言，无需为每个客户端都分配一个端口，可以大大减少端口资源的使用，不仅可以节省网络资源，而且，也提高了MCU的处理能力和灵活性。

实施例四、

此外，本发明实施例还提供一种多端多媒体数据处理系统，包括本发明实施例所提供的任一种多端多媒体数据处理装置，具体可参见实施例三，其中，该多端多媒体数据处理装置可以集成在网络设备，比如控制服务器或MCU等设备中，例如，可以如下：

MCU，用于接收客户端发送的多媒体数据，该多媒体数据携带用于指示多媒体源的第一标识；根据该第一标识确定该多媒体数据所属的多媒体源，以及根据该第一标识获取对应的会话描述信息；基于该多媒体源，以及会话描述信息对该多媒体数据进行交换处理。

此外，该多端多媒体数据处理系统还可以包括其他的设备，比如，可以包括多个客户端，其中，每一个客户端均可实现以下功能，如下：

客户端，用于向多端多媒体数据处理装置，比如MCU发送多媒体数据，其中，多媒体数据携带用于指示多媒体源的第一标识。

该客户端，还可以用于向多端多媒体数据处理装置，比如MCU发送会话描述信息，比如SDP报文，其中，该会话描述信息携带用于指示多媒体源的第二标识。

以上各个设备的实施具体可参见前面的实施例，在此不再赘述。

由于该多端多媒体数据处理系统可以包括本发明实施例所提供的任一种多端多媒体数据处理装置，因此，可以实现本发明实施例所提供的任一种多端多媒体数据处理装置所能实现的有益效果，详见前面的实施例，在此不再赘述。

实施例五、

本发明实施例还提供一种网络设备，如控制服务器或MCU等。参见图4，该网络设备的结构可以如下：

该网络设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、射频(Radio Frequency，RF)电路403、电源404、输入单元405、以及显示单元406等部件。本领域技术人员可以理解，图4中示出的网络设备结构并不构成对网络设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器401是该网络设备的控制中心，利用各种接口和线路连接整个网络设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行网络设备的各种功能和处理数据，从而对网络设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。

存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据网络设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

RF电路403可用于收发信息过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器401处理；另外，将涉及上行的数据发送给基站。通常，RF电路403包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM)卡、收发信机、耦合器、低噪声放大器(LNA，Low Noise Amplifier)、双工器等。此外，RF电路403还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GSM，Global System ofMobile communication)、通用分组无线服务(GPRS，General Packet RadioService)、码分多址(CDMA，Code Division Multiple Access)、宽带码分多址(WCDMA，Wideband Code Division Multiple Access)、长期演进(LTE，LongTerm Evolution)、电子邮件、短消息服务(SMS，Short Messaging Service)等。

网络设备还包括给各个部件供电的电源404(比如电池)，优选的，电源404可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源404还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该网络设备还可包括输入单元405，该输入单元405可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，在一个具体的实施例中，输入单元405可包括触敏表面以及其他输入设备。触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器401，并能接收处理器401发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元405还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

该网络设备还可包括显示单元406，该显示单元406可用于显示由用户输入的信息或提供给用户的信息以及网络设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元406可包括显示面板，可选的，可以采用液晶显示器(LCD，Liquid CrystalDisplay)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器401以确定触摸事件的类型，随后处理器401根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图4中，触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面与显示面板集成而实现输入和输出功能。

尽管未示出，网络设备还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，网络设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：

接收客户端发送的多媒体数据，该多媒体数据携带用于指示多媒体源的第一标识；根据该第一标识确定该多媒体数据所属的多媒体源，以及根据该第一标识获取对应的会话描述信息；基于该多媒体源，以及会话描述信息对该多媒体数据进行交换处理。

上述操作的具体实施、以及相应的有益效果可参见前面的实施例，在此不再赘述。

此外，还需说明的是，本发明实施例的编号顺序仅为描述方便而作，应当理解的是，其并不作为实施例优选顺序的限制。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

以上对本发明实施例所提供的一种多端多媒体数据处理方法、装置和系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种多端多媒体数据处理方法，其特征在于，包括：

接收客户端发送的多媒体数据，所述多媒体数据携带用于指示多媒体源的第一标识；

根据所述第一标识确定所述多媒体数据所属的多媒体源，以及根据所述第一标识获取对应的会话描述信息；

基于所述多媒体源，以及会话描述信息对所述多媒体数据进行交换处理。

2.根据要求1所述的方法，其特征在于，所述根据所述第一标识获取对应的会话描述信息，包括：

确定与所述第一标识匹配的第二标识，所述第二标识为从会话描述信息中提取到的多媒体源标识；

根据匹配到的第二标识获取对应的会话描述信息。

3.根据要求2所述的方法，其特征在于，所述接收客户端发送的多媒体数据之前，还包括：

接收客户端发送的会话描述信息；

从所述会话描述信息中提取多媒体源标识，得到第二标识。

4.根据权利要求3所述的方法，其特征在于，所述第一标识包括用户名、外网地址和外网端口，所述第二标识包括用户名和外网地址，则所述从所述会话描述信息中提取多媒体源标识，得到第二标识之后，还包括：

根据用户名和外网地址建立第一标识和第二标识的关联关系，得到第一关联关系；

所述确定与所述第一标识匹配的第二标识，具体为：基于所述第一关联关系确定与所述第一标识匹配的第二标识。

5.根据权利要求3所述的方法，其特征在于，所述第一标识和第二标识均包括同步信源字段，则所述从所述会话描述信息中提取多媒体源标识，得到第二标识之后，还包括：

根据同步信源字段建立第一标识和第二标识的关联关系，得到第二关联关系；

所述确定与所述第一标识匹配的第二标识，具体为：基于所述第二关联关系确定与所述第一标识匹配的第二标识。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述基于所述多媒体源，以及会话描述信息对所述多媒体数据进行交换处理，包括：

根据所述多媒体源确定当前需要进行交换的多媒体数据；

根据所述会话描述信息中的处理参数对所述当前需要进行交换的多媒体数据进行交换处理。

7.根据权利要求1至5任一项所述的方法，其特征在于，所述基于所述多媒体源，以及会话描述信息对所述多媒体数据进行交换处理之后，还包括：

根据所述多媒体源确定目标客户端；

将交换处理后的多媒体数据发送给所述目标客户端。

8.一种多端多媒体数据处理装置，其特征在于，包括：

接收单元，用于接收客户端发送的多媒体数据，所述多媒体数据携带用于指示多媒体源的第一标识；

确定单元，用于根据所述第一标识确定所述多媒体数据所属的多媒体源；

获取单元，用于根据所述第一标识获取对应的会话描述信息；

处理单元，用于基于所述多媒体源，以及会话描述信息对所述多媒体数据进行交换处理。

9.根据权利要求8所述的装置，其特征在于，

所述获取单元，具体用于确定与所述第一标识匹配的第二标识，根据匹配到的第二标识获取对应的会话描述信息；所述第二标识为从会话描述信息中提取到的多媒体源标识。

10.根据权利要求9所述的装置，其特征在于，

所述接收单元，还用于接收客户端发送的会话描述信息，从所述会话描述信息中提取多媒体源标识，得到第二标识。

11.根据权利要求10所述的装置，其特征在于，所述第一标识包括用户名、外网地址和外网端口，所述第二标识包括用户名和外网地址，则所述装置还包括第一建立单元；

所述第一建立单元，用于根据用户名和外网地址建立第一标识和第二标识的关联关系，得到第一关联关系；

所述获取单元，具体用于基于所述第一关联关系确定与所述第一标识匹配的第二标识，根据匹配到的第二标识获取对应的会话描述信息。

12.根据权利要求10所述的装置，其特征在于，所述第一标识和第二标识均包括同步信源字段，则所述装置还包括第二建立单元；

所述第二建立单元，用于根据同步信源字段建立第一标识和第二标识的关联关系，得到第二关联关系；

所述获取单元，具体用于基于所述第二关联关系确定与所述第一标识匹配的第二标识，根据匹配到的第二标识获取对应的会话描述信息。

13.根据权利要求8至12任一项所述的装置，其特征在于，

所述处理单元，具体用于根据所述多媒体源确定当前需要进行交换的多媒体数据，根据所述会话描述信息中的处理参数对所述当前需要进行交换的多媒体数据进行交换处理。

14.根据权利要求8至12任一项所述的装置，其特征在于，

所述处理单元，还用于根据所述多媒体源确定目标客户端，将交换处理后的多媒体数据发送所述目标客户端。

15.一种多端多媒体数据处理系统，其特征在于，包括客户端和权利要求8至14任一项所述的多端多媒体数据处理装置，其中：

所述客户端，用于向多端多媒体数据处理装置发送多媒体数据，所述多媒体数据携带用于指示多媒体源的第一标识。