CN105991707A - 多媒体交互方法、服务器及系统 - Google Patents

Abstract

本发明涉及一种多媒体交互方法、服务器及系统，其方法包括：云端服务器接收用户终端的多媒体交互请求；响应多媒体交互请求，获取预先收集的所述用户终端的历史网络质量数据以及用户终端的交互对端的历史网络质量数据；根据用户终端的历史网络质量数据、所述用户终端的交互对端的历史网络质量数据，以及预设规则计算获取用户终端与其交互对端进行多媒体交互的网络接入策略；将获取的网络接入策略提供给用户终端及其交互对端。本发明接入分配策略结合多媒体通信过程中的网络质量，能够更加贴合业务实际情况，为用户提供更为高质量、稳定的网络传输通道，提高了网络传输质量，从而给用户带来更好的音视频通话体验。

Description

多媒体交互方法、服务器及系统

技术领域

本发明涉及互联网技术领域，尤其涉及一种多媒体交互方法、服务器及系统。

背景技术

目前，随着互联网的迅猛发展以及多媒体技术的日益成熟，音视频通信技术在日常生活中的应用越来越广泛，实现音视频通信的方式也变得多种多样，如音视频聊天、远程网络教育、远程监控、远程医疗、智能家居等。

在激烈的市场竞争中，为用户提供高质量的音视频服务成为音视频产品的核心竞争力，而良好的接入网络则是提供高质量音视频服务器的基础保障。而目前互联网环境极其复杂，各种运营商服务水平各异，导致网络质量参差不齐，跨网带宽不足等问题一直存在。

因此，如何为用户选择高质量的接入通道成为保证高质量音视频通信的基础问题。

发明内容

本发明实施例提供一种多媒体交互方法、服务器及系统，旨在提高音视频等多媒体业务的网络传输质量。

本发明实施例提出了一种多媒体交互方法，包括：

云端服务器接收用户终端的多媒体交互请求；

响应所述多媒体交互请求，获取预先收集的所述用户终端的历史网络质量数据以及所述用户终端的交互对端的历史网络质量数据；

根据所述用户终端的历史网络质量数据、所述用户终端的交互对端的历史网络质量数据，以及预设规则计算获取所述用户终端与其交互对端进行多媒体交互的网络接入策略；

将获取的网络接入策略提供给所述用户终端及其交互对端。

本发明实施例还提出一种多媒体交互服务器，包括：

请求接收模块，用于接收用户终端的多媒体交互请求；

质量数据获取模块，用于响应所述多媒体交互请求，获取预先收集的所述用户终端的历史网络质量数据以及所述用户终端的交互对端的历史网络质量数据；

接入策略获取模块，用于根据所述用户终端的历史网络质量数据、所述用户终端的交互对端的历史网络质量数据，以及预设规则计算获取所述用户终端与其交互对端进行多媒体交互的网络接入策略；

策略分配模块，用于将获取的网络接入策略提供给所述用户终端及其交互对端。

本发明实施例还提出一种多媒体交互系统，包括：云端服务器、进行媒体交互的至少两用户终端，以及为所述用户终端提供接入服务的接入服务器；其中：

所述云端服务器为如上所述的服务器；

所述用户终端，用于向所述云端服务器上报自身的网络质量状态信息，以及获取所述云端服务器提供的网络接入策略，根据获取的所述网络接入策略接入对应的接入服务器；

所述接入服务器，还用于向所述云端服务器上报接入的用户终端的上行网络状态信息。

本发明实施例提出的一种多媒体交互方法、服务器及系统，针对音视频通话等多媒体业务的数据传输过程中，用户的网络环境大、网络状况变化无常等问题，提出一种适合用户网络环境的最优接入方案，接入分配策略结合多媒体通信过程中的网络质量，能够更加贴合业务实际情况，为用户提供更为高质量、稳定的网络传输通道，提高了网络传输质量，从而给用户带来更好的音视频通话体验。

附图说明

图1是本发明实施例方案涉及的云端服务器的硬件结构示意图；

图2是本发明多媒体交互方法第一实施例的流程示意图；

图3是本发明实施例中响应所述多媒体交互请求，获取预先收集的所述用户终端的历史网络质量数据以及所述用户终端的交互对端的历史网络质量数据的流程示意图；

图4是本发明多媒体交互方法第二实施例的流程示意图；

图5是本发明实施例中云端服务器的接入策略分配系统功能模块架构示意图；

图6是本发明多媒体交互服务器第一实施例的功能模块示意图；

图7是本发明多媒体交互服务器第二实施例的功能模块示意图。

为了使本发明的技术方案更加清楚、明了，下面将结合附图作进一步详述。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例方案的主要思路是：针对音视频通话的数据传输过程中，用户的网络环境大、网络状况变化无常等问题，提出一种适合用户网络环境的最优接入方案，接入分配策略结合多媒体通信过程中的网络质量，能够更加贴合业务实际情况，为用户提供更为高质量、稳定的网络传输通道，提高网络传输质量，从而给用户带来更好的音视频通话体验。

其主要方案是：云端服务器在用户进行音视频通话的过程中，通过云引擎实时收集双方用户的网络状态信息，并根据双方网络状态信息，采用一定的计算方法，分析计算出用户各自到其所在接入服务器的网络质量，并把这些数据以不同粒度存储到相应模块。后续，用户在发起视频请求时，云端服务器的策略产生模块根据历史存储的网络质量数据，采用一定的计算方式，得到针对该用户最优的网络接入策略。

本实施例中涉及的多媒体交互包括但不限于音视频通信等，本实施例以音视频通信进行举例，具体以双人音视频通话进行举例，并涉及双人音视频通话过程中的网络接入策略选择分配问题，其中音视频可以包括音频、视频或音频和视频两者都有。

目前，在用户发起音视频通信请求时，调度系统通常根据用户终端的IP查询IP库，得到用户终端网络的运营商类型，然后调度系统选择运营商相应的服务器分配给用户终端，用户终端通过连接该服务器进行音视频通信。

然而，这种方式中，调度系统为用户分配接入服务器时，只考虑到用户运营商纬度，而忽略了用户地域纬度，比如广东电信用户和北京电信用户进行视频通信，应该分配哪个地区的电信服务器会更优？

此外，IP库的数据更多是基于测速而得到的结果，测速时的发包长度、发包频率和测速时长往往与用户真正音视频过程中的网络状态有所差别，未能真正体现音视频的网络状态。而音视频通信的网络状态，除了丢包率和时延，网络抖动也是一个重要的参数指标，在现有方案中，抖动因素难以得到体现。

基于上述考虑，本发明实施例方案将接入分配策略结合多媒体通信过程中的综合网络质量(综合运营商类型、国际、省份、城市，终端通信过程中的丢包率、时延和网络抖动等因素)，能够更加贴合业务实际情况，为用户提供更为高质量、稳定的网络传输通道，以提高网络传输质量，从而给用户带来更好的音视频通话体验。

具体地，本实施例方案涉及的硬件运行环境包括具有云端引擎功能的云端服务器，该云端服务器可以承载于PC端，也可以承载于手机、平板电脑等具有网络功能的移动终端。上述云端服务器的硬件结构可以如图1所示。

参照图1，该云端服务器可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现该云端服务器中各组成部件之间的连接通信。用户接口1003可以包括显示屏(Display)、键盘(Keyboard)、鼠标等组件，用于接收用户输入的信息，并将接收的信息发送至处理器1005进行处理。显示屏可以为LCD显示屏、LED显示屏，也可以为触摸屏。可选地，用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及多媒体交互程序。

在图1所示的云端服务器中，网络接口1004主要用于网络平台，与用户终端进行数据通信，接收用户终端的多媒体交互请求，将获取的网络接入策略提供给用户终端；用户接口1003主要用于连接后台管理平台，与后台维护人员进行数据通信，接收维护人员输入的信息和指令；而处理器1001可以用于调用存储器1005中存储的多媒体交互程序，并执行以下操作：

接收用户终端的多媒体交互请求；

响应所述多媒体交互请求，获取预先收集的所述用户终端的历史网络质量数据以及所述用户终端的交互对端的历史网络质量数据；

根据所述用户终端的历史网络质量数据、所述用户终端的交互对端的历史网络质量数据，以及预设规则计算获取所述用户终端与其交互对端进行多媒体交互的网络接入策略；

将获取的网络接入策略提供给所述用户终端及其交互对端。

进一步地，在一个实施例中，处理器1001调用存储器1005中存储的多媒体交互程序，还可以执行以下操作：

根据所述多媒体交互请求，获取所述用户终端及其交互对端的登录IP；

根据所述用户终端及其交互对端的登录IP，查找IP库，得到所述用户终端及其交互对端的地理信息；

以所述用户终端及其交互对端的地理信息为查询粒度，查询预先收集并存储的历史网络质量数据，获取所述用户终端的历史网络质量数据以及所述用户终端的交互对端的历史网络质量数据。

进一步地，在一个实施例中，处理器1001调用存储器1005中存储的多媒体交互程序，还可以执行以下操作：

将所述用户终端的历史网络质量数据，以及所述用户终端的交互对端的历史网络质量数据做笛卡尔积，得到综合质量数据表，所述综合质量数据表包括不同网络接入策略及对应的网络质量数据；

将所述综合质量数据表按照所述网络质量数据从小到大进行排序；

获取所述综合质量数据表中，网络质量数据最小的网络接入策略，作为所述用户终端与其交互对端进行多媒体交互的网络接入策略。

进一步地，在一个实施例中，处理器1001调用存储器1005中存储的多媒体交互程序，还可以执行以下操作：

收集所述用户终端的历史网络质量数据以及所述用户终端的交互对端的历史网络质量数据。

进一步地，在一个实施例中，处理器1001调用存储器1005中存储的多媒体交互程序，还可以执行以下操作：

在用户终端使用多媒体服务的过程中，云端服务器获取用户终端上报的所述用户终端的网络质量状态信息，以及所述用户终端所在接入服务器上报的所述用户终端的上行网络状态信息；

根据所述用户终端的网络质量状态信息以及上行网络状态信息，计算获取所述用户终端至所在接入服务器的综合质量数据；

将所述用户终端至所在接入服务器的综合质量数据作为所述用户终端的历史网络质量数据，以相应的粒度进行存储，所述粒度为用于查询所述用户终端的历史网络质量数据的关键字。

进一步地，在一个实施例中，处理器1001调用存储器1005中存储的多媒体交互程序，还可以执行以下操作：

从所述用户终端的网络质量状态信息获取所述用户终端的端到端接收丢包率、时延和抖动；

从所述上行网络状态信息获取所述用户终端到所在接入服务器的上行丢包率，以及所述用户终端的交互对端的上行丢包率；

根据所述用户终端到所在接入服务器的上行丢包率、所述用户终端的端到端接收丢包率，以及所述用户终端的交互对端的上行丢包率，计算得到所述接入服务器到所述用户终端的下行丢包率；

根据所述用户终端到所在接入服务器的上行丢包率，以及所述接入服务器到所述用户终端的下行丢包率，计算得到所述用户终端到所在接入服务器的综合丢包率；

根据所述用户终端到所在接入服务器的综合丢包率，以及所述用户终端的时延和抖动计算得到所述用户终端到所在接入服务器的综合质量数据。

本实施例通过上述方案，针对音视频通话等多媒体业务的数据传输过程中，用户的网络环境大、网络状况变化无常等问题，提出一种适合用户网络环境的最优接入方案，接入分配策略结合多媒体通信过程中的网络质量，能够更加贴合业务实际情况，为用户提供更为高质量、稳定的网络传输通道，提高了网络传输质量，从而给用户带来更好的音视频通话体验。

基于上述硬件架构，提出本发明多媒体交互方法实施例。

如图2所示，本发明第一实施例提出一种多媒体交互方法，包括：

步骤S101，云端服务器接收用户终端的多媒体交互请求；

具体地，以音视频通信为例，用户在需要与对方进行音视频交互时，通过其使用的终端(比如手机等)向云端服务器发送音视频交互请求，该请求中携带有用户终端的终端设备标识和登录IP地址等参数，还包括用户终端请求进行通信的交互对端，即对方终端。

步骤S102，响应所述多媒体交互请求，获取预先收集的所述用户终端的历史网络质量数据以及所述用户终端的交互对端的历史网络质量数据；

云端服务器接收到用户终端发来的音视频交互请求，获取预先收集的所述用户终端的历史网络质量数据以及所述用户终端的交互对端的历史网络质量数据。

本实施例结合用户终端音视频通信过程中的历史网络质量数据，来分配当前通信过程中的网络接入策略。

其中，历史网络质量数据由云端服务器在用户终端的历史音视频通信过程中预先收集，并经过相应处理后得到。

云端服务器在用户进行音视频通话的过程中，通过云引擎实时收集双方用户的网络状态信息，并根据双方网络状态信息，采用一定的计算方法，分析计算出用户各自到其所在接入服务器的网络质量，并把这些数据以不同粒度存储到相应模块。因此，在用户发起视频请求时，云端服务器会根据历史存储的网络质量数据，采用一定的计算方式，得到针对该用户最优的网络接入策略。

对于每一用户终端，云端服务器均收集有对应的历史网络质量数据。其中，历史网络质量数据包括用户终端的用户信息、接入服务器信息以及用户终端到接入服务器的接入网络的网络质量信息，某一用户终端的历史网络质量数据可以以表格形式体现，如下表1所示。

其中，用户信息可以包括用户终端的运营商类型、国家、省份、城市等；接入服务器信息可以包括服务器的运营商类型、国家、省份、城市等；用户终端到接入服务器的接入网络的网络质量信息以质量系数表示，质量系数越小，则表明网络质量越好。

在接收到用户终端发来的音视频交互请求后，云端服务器根据音视频交互请求所携带的用户终端的IP地址以及请求进行通信的交互对端，查找IP库，得到所述用户终端及其交互对端的地理信息(比如运营商类型、国家、省份、城市等)，然后可以根据用户终端及其交互对端的地理信息，查找上述历史网络质量数据表，即可得到该用户终端的相应历史网络质量。

步骤S103，根据所述用户终端的历史网络质量数据、所述用户终端的交互对端的历史网络质量数据，以及预设规则计算获取所述用户终端与其交互对端进行多媒体交互的网络接入策略；

在用户发起视频请求时，云端服务器会根据历史存储的网络质量数据，采用一定的计算方式，得到针对该用户最优的网络接入策略。

具体地，云端服务器将所述用户终端的历史网络质量数据，以及所述用户终端的交互对端的历史网络质量数据做笛卡尔积，得到综合质量数据表，所述综合质量数据表包括不同网络接入策略及对应的网络质量数据。

将所述综合质量数据表按照所述网络质量数据从小到大进行排序；

获取所述综合质量数据表中，网络质量数据最小的网络接入策略，作为所述用户终端与其交互对端进行多媒体交互的网络接入策略。

步骤S104，将获取的网络接入策略提供给所述用户终端及其交互对端。

最后，云端服务器将获取的网络接入策略提供给所述用户终端及其交互对端，以便用户终端及其交互对端选择网络接入策略中对应的接入服务器接入网络，由此通过接入分配策略结合多媒体通信过程中的网络质量，能够更加贴合业务实际情况，为用户提供更为高质量、稳定的网络传输通道，提高网络传输质量，给用户带来更好的音视频通话体验。

更为具体地，作为一种实施方式，如图3所示，上述步骤S102：响应所述多媒体交互请求，获取预先收集的所述用户终端的历史网络质量数据以及所述用户终端的交互对端的历史网络质量数据可以包括：

步骤S1021，根据所述多媒体交互请求，获取所述用户终端及其交互对端的登录IP；

步骤S1022，根据所述用户终端及其交互对端的登录IP，查找IP库，得到所述用户终端及其交互对端的地理信息；

其中，地理信息包括终端的运营商类型、国家、省份、城市等。

步骤S1023，以所述用户终端及其交互对端的地理信息为查询粒度，查询预先收集并存储的历史网络质量数据，获取所述用户终端的历史网络质量数据以及所述用户终端的交互对端的历史网络质量数据。

以用户的地理信息(运营商类型，国家，省份，城市)为Key，查找之前存储的历史单向网络质量数据，得到双方用户所在群体到各个接入机房(接入服务器)的质量系数。假设用户1为深圳电信用户，用户2为长春联通用户，用户1和用户2到各机房的质量参数分别如下表1和表2所示：

表1-用户1到各机房的质量系数

表2-用户2到各机房的质量系数

之后，将双方用户的接入质量表交叉做笛卡尔积，得到不同调度策略的综合质量数据表，如表3所示：

假设用户1的质量系数为Q1，用户2的质量系数为Q2，于是综合质量系数为MQ＝F4(Q1,Q2)。

表3

综合质量表根据综合质量系数从小到大排序，综合质量系数越小，表明质量最高，从上到下遍历综合质量表，在专线带宽满足的情况下，优先选择综合质量系数小的分配策略。

本实施例通过上述方案，针对音视频通话等多媒体业务的数据传输过程中，用户的网络环境大、网络状况变化无常等问题，提出一种适合用户网络环境的最优接入方案，接入分配策略结合多媒体通信过程中的网络质量，能够更加贴合业务实际情况，为用户提供更为高质量、稳定的网络传输通道，提高了网络传输质量，从而给用户带来更好的音视频通话体验。

如图4所示，本发明第二实施例提出一种多媒体交互方法，基于上述图1所示的第一实施例，在云端服务器接收用户终端的多媒体交互请求的步骤之前还可以包括：

步骤100，收集所述用户终端的历史网络质量数据以及所述用户终端的交互对端的历史网络质量数据。

相比上述实施例，本实施例还包括云端服务器收集各用户终端的历史网络质量数据的方案。

具体地，云端服务器收集所述用户终端的历史网络质量数据的步骤包括：

在用户终端使用多媒体服务的过程中，云端服务器获取用户终端上报的所述用户终端的网络质量状态信息，以及所述用户终端所在接入服务器上报的所述用户终端的上行网络状态信息；

根据所述用户终端的网络质量状态信息以及上行网络状态信息，计算获取所述用户终端至所在接入服务器的综合质量数据；

具体地，从所述用户终端的网络质量状态信息获取所述用户终端的端到端接收丢包率、时延和抖动；

从所述上行网络状态信息获取所述用户终端到所在接入服务器的上行丢包率，以及所述用户终端的交互对端的上行丢包率；

根据所述用户终端到所在接入服务器的上行丢包率、所述用户终端的端到端接收丢包率，以及所述用户终端的交互对端的上行丢包率，计算得到所述接入服务器到所述用户终端的下行丢包率；

根据所述用户终端到所在接入服务器的上行丢包率，以及所述接入服务器到所述用户终端的下行丢包率，计算得到所述用户终端到所在接入服务器的综合丢包率；

根据所述用户终端到所在接入服务器的综合丢包率，以及所述用户终端的时延和抖动计算得到所述用户终端到所在接入服务器的综合质量数据。

最后，将所述用户终端至所在接入服务器的综合质量数据作为所述用户终端的历史网络质量数据，以相应的粒度进行存储，所述粒度为用于查询所述用户终端的历史网络质量数据的关键字。

以下详细阐述本实施例云端服务器收集各用户终端的历史网络质量数据并分配最优接入策略的详细过程：

如图5所示，图5示出了本发明实施例中云端服务器的接入策略分配系统功能模块架构。

该云端服务器可以包括：引擎(可以包括单向网络质量计算分析模块)、接入策略生成系统(可以包括单向质量存储模块和接入策略产生模块)、接入策略调度分配系统，其中：

引擎具有网络质量收集和上报功能。用户在使用音视频服务的过程中，用户终端上的客户端程序需要将自己的实时状态信息上报到云端服务器的引擎，包括用户终端的端到端的接收丢包率、时延、抖动等信息。另外在服务器接入层，接入服务器需要统计用户的上行网络状态，该状态同样需要实时上报到云端服务器的引擎。

单向网络质量计算分析模块，根据双方用户上报的质量数据和接入服务器上报的质量数据，抽取得到各用户分别到相应接入服务器的综合质量数据，并将这些数据发送到单向质量存储模块。

单向质量存储模块，负责将所有引擎分析出来的单向综合质量数据以各种粒度存储起来，支持各种粒度的查询，以便接入策略产生模块生成分配策略时使用。

接入策略产生模块的功能主要是根据前期收集到的历史单向质量数据，根据一定的规则，计算出用户的最佳接入策略。

具体过程如下：

用户在使用音视频通信的过程中，客户端程序需要根据数据包序列号和时间戳统计用户的网络质量参数(包括端到端丢包率、时延、抖动等参数)，实时地上报到云引擎的单向网络网络质量分析计算模块。另外接入服务器侧需要根据用户数据包的序列号来统计用户上行的网络质量，也同样上报给引擎的单向网络质量分析计算模块。

云端服务器引擎的单向网络质量分析计算模块根据上报数据，能得到用户到服务器的上行丢包率UploadLost，用户端到端的丢包率P2PLost。

假设用户A和B在音视频通信过程中，A的上行丢包率为aUploadLost，A的端到端接收丢包率为aP2PLost，B的上行丢包率为bUploadLost,即可算出服务器到A的下行丢包率为aDownLoadLost＝F1(aP2PLost，aUploadLost，bUploadLost)。

于是A到服务器的综合丢包率为：aSvrLost＝F2(aUploadLost,aDownLoadLost)。

单向网络质量分析计算模块根据用户到服务器的单向丢包率SvrLost，时延SvrDelay，抖动SvrJitter来计算用户到该服务器的综合接入质量Quality＝F3(SvrLost,SvrDelay,SvrJitter)，并把本次双方音视频通信的接入质量结果上报到单向质量存储模块归类存储。

单向质量数据存储模块将接收到的用户网络接入质量，以不同的粒度分别存储起来，不同粒度包括以用户的IP为Key，以用户IP的C段为Key，以用户的运营商、省份、城市为Key，以用户的运营商、省份为Key。通过不同的Key，能够查到对应粒度的网络质量数据，如表1和表2所示。

后续，用户每次发起视频请求时，由策略接入产生模块生成相应的网络接入策略。网络接入策略的生成规则如下：

根据双方用户的登录IP，查找IP库，得到双方的具体地理信息(运营商类型、国家、省份、城市等)。

以用户的地理信息(运营商类型，国家，省份，城市)为Key，查找之前存储的历史单向网络质量数据，得到双方用户所在群体到各个接入机房(接入服务器)的质量系数。假设用户1为深圳电信用户，用户2为长春联通用户，用户1和用户2到各机房的质量参数分别如上表1和表2所示。

之后，将双方用户的接入质量表交叉做笛卡尔积，得到不同调度策略的综合质量数据表，如上表3所示。

假设用户1的质量系数为Q1，用户2的质量系数为Q2，于是综合质量系数为MQ＝F4(Q1,Q2)。

综合质量表根据综合质量系数从小到大排序，综合质量系数越小，表明质量最高，从上到下遍历综合质量表，在专线带宽满足的情况下，优先选择综合质量系数小的分配策略。

本实施例通过上述方案，针对音视频通话等多媒体业务的数据传输过程中，用户的网络环境大、网络状况变化无常等问题，提出一种适合用户网络环境的最优接入方案，接入分配策略结合多媒体通信过程中的网络质量，能够更加贴合业务实际情况，为用户提供更为高质量、稳定的网络传输通道，提高了网络传输质量，从而给用户带来更好的音视频通话体验。

对应地，提出本发明多媒体交互服务器实施例。

如图6所示，本发明第一实施例提出一种多媒体交互服务器，包括：请求接收模块201、质量数据获取模块202、接入策略获取模块203及策略分配模块204，其中：

请求接收模块201，用于接收用户终端的多媒体交互请求；

质量数据获取模块202，用于响应所述多媒体交互请求，获取预先收集的所述用户终端的历史网络质量数据以及所述用户终端的交互对端的历史网络质量数据；

接入策略获取模块203，用于根据所述用户终端的历史网络质量数据、所述用户终端的交互对端的历史网络质量数据，以及预设规则计算获取所述用户终端与其交互对端进行多媒体交互的网络接入策略；

策略分配模块204，用于将获取的网络接入策略提供给所述用户终端及其交互对端。

具体地，以音视频通信为例，用户在需要与对方进行音视频交互时，通过其使用的终端(比如手机等)向云端服务器发送音视频交互请求，该请求中携带有用户终端的终端设备标识和登录IP地址等参数，还包括用户终端请求进行通信的交互对端，即对方终端。

云端服务器接收到用户终端发来的音视频交互请求，获取预先收集的所述用户终端的历史网络质量数据以及所述用户终端的交互对端的历史网络质量数据。

本实施例结合用户终端音视频通信过程中的历史网络质量数据，来分配当前通信过程中的网络接入策略。

其中，历史网络质量数据由云端服务器在用户终端的历史音视频通信过程中预先收集，并经过相应处理后得到。

云端服务器在用户进行音视频通话的过程中，通过云引擎实时收集双方用户的网络状态信息，并根据双方网络状态信息，采用一定的计算方法，分析计算出用户各自到其所在接入服务器的网络质量，并把这些数据以不同粒度存储到相应模块。因此，在用户发起视频请求时，云端服务器会根据历史存储的网络质量数据，采用一定的计算方式，得到针对该用户最优的网络接入策略。

对于每一用户终端，云端服务器均收集有对应的历史网络质量数据。其中，历史网络质量数据包括用户终端的用户信息、接入服务器信息以及用户终端到接入服务器的接入网络的网络质量信息，某一用户终端的历史网络质量数据可以以表格形式体现，如下表1所示。

其中，用户信息可以包括用户终端的运营商类型、国家、省份、城市等；接入服务器信息可以包括服务器的运营商类型、国家、省份、城市等；用户终端到接入服务器的接入网络的网络质量信息以质量系数表示，质量系数越小，则表明网络质量越好。

在接收到用户终端发来的音视频交互请求后，云端服务器根据音视频交互请求所携带的用户终端的IP地址以及请求进行通信的交互对端，查找IP库，得到所述用户终端及其交互对端的地理信息(比如运营商类型、国家、省份、城市等)，然后可以根据用户终端及其交互对端的地理信息，查找上述历史网络质量数据表，即可得到该用户终端的相应历史网络质量。

在用户发起视频请求时，云端服务器会根据历史存储的网络质量数据，采用一定的计算方式，得到针对该用户最优的网络接入策略。

具体地，云端服务器将所述用户终端的历史网络质量数据，以及所述用户终端的交互对端的历史网络质量数据做笛卡尔积，得到综合质量数据表，所述综合质量数据表包括不同网络接入策略及对应的网络质量数据。

将所述综合质量数据表按照所述网络质量数据从小到大进行排序；

获取所述综合质量数据表中，网络质量数据最小的网络接入策略，作为所述用户终端与其交互对端进行多媒体交互的网络接入策略。

最后，云端服务器将获取的网络接入策略提供给所述用户终端及其交互对端，以便用户终端及其交互对端选择网络接入策略中对应的接入服务器接入网络，由此通过接入分配策略结合多媒体通信过程中的网络质量，能够更加贴合业务实际情况，为用户提供更为高质量、稳定的网络传输通道，提高网络传输质量，给用户带来更好的音视频通话体验。

更为具体地，作为一种实施方式，所述质量数据获取模块202，还用于根据所述多媒体交互请求，获取所述用户终端及其交互对端的登录IP；根据所述用户终端及其交互对端的登录IP，查找IP库，得到所述用户终端及其交互对端的地理信息；以所述用户终端及其交互对端的地理信息为查询粒度，查询预先收集并存储的历史网络质量数据，获取所述用户终端的历史网络质量数据以及所述用户终端的交互对端的历史网络质量数据。

具体地，其中，地理信息包括终端的运营商类型、国家、省份、城市等。

以用户的地理信息(运营商类型，国家，省份，城市)为Key，查找之前存储的历史单向网络质量数据，得到双方用户所在群体到各个接入机房(接入服务器)的质量系数。假设用户1为深圳电信用户，用户2为长春联通用户，用户1和用户2到各机房的质量参数分别如上表1和表2所示。

进一步地，所述接入策略获取模块203，还用于将所述用户终端的历史网络质量数据，以及所述用户终端的交互对端的历史网络质量数据做笛卡尔积，得到综合质量数据表，所述综合质量数据表包括不同网络接入策略及对应的网络质量数据；将所述综合质量数据表按照所述网络质量数据从小到大进行排序；获取所述综合质量数据表中，网络质量数据最小的网络接入策略，作为所述用户终端与其交互对端进行多媒体交互的网络接入策略。

具体地，将双方用户的接入质量表交叉做笛卡尔积，得到不同调度策略的综合质量数据表，如表3所示。

假设用户1的质量系数为Q1，用户2的质量系数为Q2，于是综合质量系数为MQ＝F4(Q1,Q2)。

综合质量表根据综合质量系数从小到大排序，综合质量系数越小，表明质量最高，从上到下遍历综合质量表，在专线带宽满足的情况下，优先选择综合质量系数小的分配策略。

本实施例通过上述方案，针对音视频通话等多媒体业务的数据传输过程中，用户的网络环境大、网络状况变化无常等问题，提出一种适合用户网络环境的最优接入方案，接入分配策略结合多媒体通信过程中的网络质量，能够更加贴合业务实际情况，为用户提供更为高质量、稳定的网络传输通道，提高了网络传输质量，从而给用户带来更好的音视频通话体验。

如图7所示，本发明第二实施例提出一种多媒体交互服务器，基于上述实施例，还包括：

历史质量数据收集模块200，用于收集所述用户终端的历史网络质量数据以及所述用户终端的交互对端的历史网络质量数据。

相比上述实施例，本实施例还包括云端服务器收集各用户终端的历史网络质量数据的方案。

具体地，云端服务器收集所述用户终端的历史网络质量数据的步骤包括：

在用户终端使用多媒体服务的过程中，云端服务器获取用户终端上报的所述用户终端的网络质量状态信息，以及所述用户终端所在接入服务器上报的所述用户终端的上行网络状态信息；

根据所述用户终端的网络质量状态信息以及上行网络状态信息，计算获取所述用户终端至所在接入服务器的综合质量数据；

具体地，从所述用户终端的网络质量状态信息获取所述用户终端的端到端接收丢包率、时延和抖动；

从所述上行网络状态信息获取所述用户终端到所在接入服务器的上行丢包率，以及所述用户终端的交互对端的上行丢包率；

根据所述用户终端到所在接入服务器的上行丢包率、所述用户终端的端到端接收丢包率，以及所述用户终端的交互对端的上行丢包率，计算得到所述接入服务器到所述用户终端的下行丢包率；

根据所述用户终端到所在接入服务器的上行丢包率，以及所述接入服务器到所述用户终端的下行丢包率，计算得到所述用户终端到所在接入服务器的综合丢包率；

根据所述用户终端到所在接入服务器的综合丢包率，以及所述用户终端的时延和抖动计算得到所述用户终端到所在接入服务器的综合质量数据。

最后，将所述用户终端至所在接入服务器的综合质量数据作为所述用户终端的历史网络质量数据，以相应的粒度进行存储，所述粒度为用于查询所述用户终端的历史网络质量数据的关键字。

以下详细阐述本实施例云端服务器收集各用户终端的历史网络质量数据并分配最优接入策略的详细过程：

如图5所示，图5示出了本发明实施例中云端服务器的接入策略分配系统功能模块架构。

该云端服务器可以包括：引擎(可以包括单向网络质量计算分析模块，其可以集成本实施例中质量数据获取模块202的功能)、接入策略生成系统(可以包括单向质量存储模块和接入策略产生模块，两者可以集成本实施例中接入策略获取模块203的功能)、接入策略调度分配系统(相当于本实施例中策略分配模块204)，其中：

引擎具有网络质量收集和上报功能。用户在使用音视频服务的过程中，用户终端上的客户端程序需要将自己的实时状态信息上报到云端服务器的引擎，包括用户终端的端到端的接收丢包率、时延、抖动等信息。另外在服务器接入层，接入服务器需要统计用户的上行网络状态，该状态同样需要实时上报到云端服务器的引擎。

单向网络质量计算分析模块，根据双方用户上报的质量数据和接入服务器上报的质量数据，抽取得到各用户分别到相应接入服务器的综合质量数据，并将这些数据发送到单向质量存储模块。

单向质量存储模块，负责将所有引擎分析出来的单向综合质量数据以各种粒度存储起来，支持各种粒度的查询，以便接入策略产生模块生成分配策略时使用。

接入策略产生模块的功能主要是根据前期收集到的历史单向质量数据，根据一定的规则，计算出用户的最佳接入策略。

具体过程如下：

用户在使用音视频通信的过程中，客户端程序需要根据数据包序列号和时间戳统计用户的网络质量参数(包括端到端丢包率、时延、抖动等参数)，实时地上报到云引擎的单向网络网络质量分析计算模块。另外接入服务器侧需要根据用户数据包的序列号来统计用户上行的网络质量，也同样上报给引擎的单向网络质量分析计算模块。

云端服务器引擎的单向网络质量分析计算模块根据上报数据，能得到用户到服务器的上行丢包率UploadLost，用户端到端的丢包率P2PLost。

假设用户A和B在音视频通信过程中，A的上行丢包率为aUploadLost，A的端到端接收丢包率为aP2PLost，B的上行丢包率为bUploadLost,即可算出服务器到A的下行丢包率为aDownLoadLost＝F1(aP2PLost，aUploadLost，bUploadLost)。

于是A到服务器的综合丢包率为：aSvrLost＝F2(aUploadLost,aDownLoadLost)。

单向网络质量分析计算模块根据用户到服务器的单向丢包率SvrLost，时延SvrDelay，抖动SvrJitter来计算用户到该服务器的综合接入质量Quality＝F3(SvrLost,SvrDelay,SvrJitter)，并把本次双方音视频通信的接入质量结果上报到单向质量存储模块归类存储。

单向质量数据存储模块将接收到的用户网络接入质量，以不同的粒度分别存储起来，不同粒度包括以用户的IP为Key，以用户IP的C段为Key，以用户的运营商、省份、城市为Key，以用户的运营商、省份为Key。通过不同的Key，能够查到对应粒度的网络质量数据，如表1和表2所示。

后续，用户每次发起视频请求时，由策略接入产生模块生成相应的网络接入策略。网络接入策略的生成规则如下：

根据双方用户的登录IP，查找IP库，得到双方的具体地理信息(运营商类型、国家、省份、城市等)。

以用户的地理信息(运营商类型，国家，省份，城市)为Key，查找之前存储的历史单向网络质量数据，得到双方用户所在群体到各个接入机房(接入服务器)的质量系数。假设用户1为深圳电信用户，用户2为长春联通用户，用户1和用户2到各机房的质量参数分别如上表1和表2所示。

之后，将双方用户的接入质量表交叉做笛卡尔积，得到不同调度策略的综合质量数据表，如上表3所示。

假设用户1的质量系数为Q1，用户2的质量系数为Q2，于是综合质量系数为MQ＝F4(Q1,Q2)。

综合质量表根据综合质量系数从小到大排序，综合质量系数越小，表明质量最高，从上到下遍历综合质量表，在专线带宽满足的情况下，优先选择综合质量系数小的分配策略。

本实施例通过上述方案，针对音视频通话等多媒体业务的数据传输过程中，用户的网络环境大、网络状况变化无常等问题，提出一种适合用户网络环境的最优接入方案，接入分配策略结合多媒体通信过程中的网络质量，能够更加贴合业务实际情况，为用户提供更为高质量、稳定的网络传输通道，提高了网络传输质量，从而给用户带来更好的音视频通话体验。

此外，本发明实施例还提出一种多媒体交互系统，包括：云端服务器、进行媒体交互的至少两用户终端，以及为所述用户终端提供接入服务的接入服务器；其中：

所述云端服务器可以为如上所述的服务器；

所述用户终端，用于向所述云端服务器上报自身的网络质量状态信息，以及获取所述云端服务器提供的网络接入策略，根据获取的所述网络接入策略接入对应的接入服务器；

所述接入服务器，还用于向所述云端服务器上报接入的用户终端的上行网络状态信息。

本实施例中云端服务器、用户终端及接入服务器之间交互实现音视频通信接入策略分配的原理请参照上述实施例，在此不再赘述。

本发明实施例多媒体交互方法、服务器及系统，针对音视频通话等多媒体业务的数据传输过程中，用户的网络环境大、网络状况变化无常等问题，提出一种适合用户网络环境的最优接入方案，接入分配策略结合多媒体通信过程中的网络质量，能够更加贴合业务实际情况，为用户提供更为高质量、稳定的网络传输通道，提高了网络传输质量，从而给用户带来更好的音视频通话体验。

还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (13)

1.一种多媒体交互方法，其特征在于，包括：

云端服务器接收用户终端的多媒体交互请求；

响应所述多媒体交互请求，获取预先收集的所述用户终端的历史网络质量数据以及所述用户终端的交互对端的历史网络质量数据；

根据所述用户终端的历史网络质量数据、所述用户终端的交互对端的历史网络质量数据，以及预设规则计算获取所述用户终端与其交互对端进行多媒体交互的网络接入策略；

将获取的网络接入策略提供给所述用户终端及其交互对端。

2.根据权利要求1所述的方法，其特征在于，所述响应所述多媒体交互请求，获取预先收集的所述用户终端的历史网络质量数据以及所述用户终端的交互对端的历史网络质量数据的步骤包括：

根据所述多媒体交互请求，获取所述用户终端及其交互对端的登录IP；

根据所述用户终端及其交互对端的登录IP，查找IP库，得到所述用户终端及其交互对端的地理信息；

以所述用户终端及其交互对端的地理信息为查询粒度，查询预先收集并存储的历史网络质量数据，获取所述用户终端的历史网络质量数据以及所述用户终端的交互对端的历史网络质量数据。

3.根据权利要求2所述的方法，其特征在于，所述根据所述用户终端的历史网络质量数据、所述用户终端的交互对端的历史网络质量数据，以及预设规则计算获取所述用户终端与其交互对端进行多媒体交互的网络接入策略的步骤包括：

将所述用户终端的历史网络质量数据，以及所述用户终端的交互对端的历史网络质量数据做笛卡尔积，得到综合质量数据表，所述综合质量数据表包括不同网络接入策略及对应的网络质量数据；

将所述综合质量数据表按照所述网络质量数据从小到大进行排序；

获取所述综合质量数据表中，网络质量数据最小的网络接入策略，作为所述用户终端与其交互对端进行多媒体交互的网络接入策略。

4.根据权利要求1、2或3所述的方法，其特征在于，所述云端服务器接收用户终端的多媒体交互请求的步骤之前还包括：

收集所述用户终端的历史网络质量数据以及所述用户终端的交互对端的历史网络质量数据。

5.根据权利要求4所述的方法，其特征在于，所述收集所述用户终端的历史网络质量数据的步骤包括：

在用户终端使用多媒体服务的过程中，云端服务器获取用户终端上报的所述用户终端的网络质量状态信息，以及所述用户终端所在接入服务器上报的所述用户终端的上行网络状态信息；

根据所述用户终端的网络质量状态信息以及上行网络状态信息，计算获取所述用户终端至所在接入服务器的综合质量数据；

将所述用户终端至所在接入服务器的综合质量数据作为所述用户终端的历史网络质量数据，以相应的粒度进行存储，所述粒度为用于查询所述用户终端的历史网络质量数据的关键字。

6.根据权利要求5所述的方法，其特征在于，所述根据所述用户终端的网络质量状态信息以及上行网络状态信息，计算获取所述用户终端至所在接入服务器的综合质量数据的步骤包括：

从所述用户终端的网络质量状态信息获取所述用户终端的端到端接收丢包率、时延和抖动；

从所述上行网络状态信息获取所述用户终端到所在接入服务器的上行丢包率，以及所述用户终端的交互对端的上行丢包率；

根据所述用户终端到所在接入服务器的上行丢包率、所述用户终端的端到端接收丢包率，以及所述用户终端的交互对端的上行丢包率，计算得到所述接入服务器到所述用户终端的下行丢包率；

根据所述用户终端到所在接入服务器的上行丢包率，以及所述接入服务器到所述用户终端的下行丢包率，计算得到所述用户终端到所在接入服务器的综合丢包率；

根据所述用户终端到所在接入服务器的综合丢包率，以及所述用户终端的时延和抖动计算得到所述用户终端到所在接入服务器的综合质量数据。

7.一种多媒体交互服务器，其特征在于，包括：

请求接收模块，用于接收用户终端的多媒体交互请求；

质量数据获取模块，用于响应所述多媒体交互请求，获取预先收集的所述用户终端的历史网络质量数据以及所述用户终端的交互对端的历史网络质量数据；

接入策略获取模块，用于根据所述用户终端的历史网络质量数据、所述用户终端的交互对端的历史网络质量数据，以及预设规则计算获取所述用户终端与其交互对端进行多媒体交互的网络接入策略；

策略分配模块，用于将获取的网络接入策略提供给所述用户终端及其交互对端。

8.根据权利要求7所述的服务器，其特征在于，

所述质量数据获取模块，还用于根据所述多媒体交互请求，获取所述用户终端及其交互对端的登录IP；根据所述用户终端及其交互对端的登录IP，查找IP库，得到所述用户终端及其交互对端的地理信息；以所述用户终端及其交互对端的地理信息为查询粒度，查询预先收集并存储的历史网络质量数据，获取所述用户终端的历史网络质量数据以及所述用户终端的交互对端的历史网络质量数据。

9.根据权利要求8所述的服务器，其特征在于，

所述接入策略获取模块，还用于将所述用户终端的历史网络质量数据，以及所述用户终端的交互对端的历史网络质量数据做笛卡尔积，得到综合质量数据表，所述综合质量数据表包括不同网络接入策略及对应的网络质量数据；将所述综合质量数据表按照所述网络质量数据从小到大进行排序；获取所述综合质量数据表中，网络质量数据最小的网络接入策略，作为所述用户终端与其交互对端进行多媒体交互的网络接入策略。

10.根据权利要求7、8或9所述的服务器，其特征在于，还包括：

历史质量数据收集模块，用于收集所述用户终端的历史网络质量数据以及所述用户终端的交互对端的历史网络质量数据。

11.根据权利要求10所述的服务器，其特征在于，

所述历史质量数据收集模块，还用于在用户终端使用多媒体服务的过程中，获取用户终端上报的所述用户终端的网络质量状态信息，以及所述用户终端所在接入服务器上报的所述用户终端的上行网络状态信息；根据所述用户终端的网络质量状态信息以及上行网络状态信息，计算获取所述用户终端至所在接入服务器的综合质量数据；将所述用户终端至所在接入服务器的综合质量数据作为所述用户终端的历史网络质量数据，以相应的粒度进行存储，所述粒度为用于查询所述用户终端的历史网络质量数据的关键字。

12.根据权利要求11所述的服务器，其特征在于，

所述历史质量数据收集模块，还用于从所述用户终端的网络质量状态信息获取所述用户终端的端到端接收丢包率、时延和抖动；从所述上行网络状态信息获取所述用户终端到所在接入服务器的上行丢包率，以及所述用户终端的交互对端的上行丢包率；根据所述用户终端到所在接入服务器的上行丢包率、所述用户终端的端到端接收丢包率，以及所述用户终端的交互对端的上行丢包率，计算得到所述接入服务器到所述用户终端的下行丢包率；根据所述用户终端到所在接入服务器的上行丢包率，以及所述接入服务器到所述用户终端的下行丢包率，计算得到所述用户终端到所在接入服务器的综合丢包率；根据所述用户终端到所在接入服务器的综合丢包率，以及所述用户终端的时延和抖动计算得到所述用户终端到所在接入服务器的综合质量数据。

13.一种多媒体交互系统，其特征在于，包括：云端服务器、进行媒体交互的至少两用户终端，以及为所述用户终端提供接入服务的接入服务器；其中：

所述云端服务器为权利要求7-12中任一项所述的服务器；

所述用户终端，用于向所述云端服务器上报自身的网络质量状态信息，以及获取所述云端服务器提供的网络接入策略，根据获取的所述网络接入策略接入对应的接入服务器；

所述接入服务器，还用于向所述云端服务器上报接入的用户终端的上行网络状态信息。