CN107623657A - 媒体数据传输方法、装置及终端 - Google Patents

Abstract

本发明提供了一种媒体数据传输方法、装置及终端，其中，所述方法包括：获取终端的硬件配置和/或所述终端在视频会议中传输媒体数据的网络性能状况；根据获取的所述硬件配置和/或所述网络性能状况，调整所述终端在所述视频会议中传输媒体数据的媒体数据参数；根据调整后的所述媒体数据参数，在所述视频会议中传输媒体数据。通过本发明，解决了的问题，进而达到了提高视频会议媒体数据传输流畅性的效果。

Description

媒体数据传输方法、装置及终端

技术领域

本发明涉及通信领域，具体而言，涉及一种媒体数据传输方法、装置及终端。

背景技术

在多点实时视频会议中，经常需要在会议中传输与会者或会议室摄像头的图像和声音。

运行于终端设备(例如智能移动终端设备等)的视频会议APP是一种新兴的视频会议软终端，无需昂贵的视频会议硬终端即可随时随地接入视频会议系统，大大提高了入会便利性并降低了会议成本。但由于终端设备的性能有限，导致在视频会议中媒体数据(例如，视频，声音等)存在卡顿的情况，降低了用户体验。

发明内容

本发明实施例提供了一种媒体数据传输方法、装置及终端，以至少解决相关技术中视频会议中的媒体数据存在卡顿的问题。

根据本发明的一个实施例，提供了一种媒体数据传输方法，包括：获取终端的硬件配置和/或所述终端在视频会议中传输媒体数据的网络性能状况；根据获取的所述硬件配置和/或所述网络性能状况，调整所述终端在所述视频会议中传输媒体数据的媒体数据参数；根据调整后的所述媒体数据参数，在所述视频会议中传输媒体数据。

可选地，根据调整后的所述媒体数据参数，在所述视频会议中传输媒体数据之前，还包括：向远程终端发送用于共享远程桌面的连接请求消息；接收所述远程终端返回的连接成功消息；获取所述远程终端中用于在所述视频会议中传输的所述媒体数据。

可选地，获取所述远程终端中用于在视频会议中传输的所述媒体数据包括：在所述媒体数据包括所述远程终端的显示屏的显示画面的情况下，根据所述终端的所述硬件配置和/或所述网络性能状况，确定所述显示屏的显示参数；根据确定的所述显示参数，调整所述远程终端的所述显示屏的显示画面；获取调整后的显示画面。

可选地，根据调整后的所述媒体数据参数，在所述视频会议中传输媒体数据包括：申请用于在所述视频会议中传输媒体数据的令牌；根据申请到的所述令牌，打开所述终端至所述视频会议系统的媒体通道；通过打开的所述媒体通道，在所述视频会议中传输获取的所述远程终端中用于在所述视频会议中传输的所述媒体数据。

可选地，根据获取的所述硬件配置和/或所述网络性能状况，调整所述终端在所述视频会议中传输媒体数据的媒体数据参数包括：根据获取的所述硬件配置和/或所述网络性能状况，确定所述终端支持的第一媒体数据参数；确定所述视频会议的视频会议系统支持的第二媒体数据参数；根据所述第一媒体数据参数以及所述第二媒体数据参数，确定用于所述终端在所述视频会议中传输媒体数据的所述媒体数据参数；根据确定的所述媒体数据参数，调整所述终端在所述视频会议中传输媒体数据的媒体数据参数。

根据本发明的另一个实施例，提供了一种媒体数据传输装置，包括：第一获取模块，用于获取终端的硬件配置和/或所述终端在视频会议中传输媒体数据的网络性能状况；调整模块，用于根据获取的所述硬件配置和/或所述网络性能状况，调整所述终端在所述视频会议中传输媒体数据的媒体数据参数；传输模块，用于根据调整后的所述媒体数据参数，在所述视频会议中传输媒体数据。

可选地，所述装置还包括：请求模块，用于向远程终端发送用于共享远程桌面的连接请求消息；接收模块，用于接收所述远程终端返回的连接成功消息；第二获取模块，用于获取所述远程终端中用于在所述视频会议中传输的所述媒体数据。

可选地，所述第二获取模块包括：第一确定单元，用于在所述媒体数据包括所述远程终端的显示屏的显示画面的情况下，根据所述终端的所述硬件配置和/或所述网络性能状况，确定所述显示屏的显示参数；第一调整单元，用于根据确定的所述显示参数，调整所述远程终端的所述显示屏的显示画面；获取单元，用于获取调整后的显示画面。

可选地，所述传输模块包括：申请单元，用于申请用于在所述视频会议中传输媒体数据的令牌；打开单元，用于根据申请到的所述令牌，打开所述终端至所述视频会议的视频会议系统的媒体通道；传输单元，用于通过打开的所述媒体通道，在所述视频会议中传输获取的所述远程终端中用于在所述视频会议中传输的所述媒体数据。

可选地，调整模块包括：第二确定单元，用于根据获取的所述硬件配置和/或所述网络性能状况，确定所述终端支持的第一媒体数据参数；第三确定单元，用于确定所述视频会议的视频会议系统支持的第二媒体数据参数；第四确定单元，根据所述第一媒体数据参数以及所述第二媒体数据参数，确定用于所述终端在所述视频会议中传输媒体数据的所述媒体数据参数；第二调整单元，用于根据确定的所述媒体数据参数，调整所述终端在所述视频会议中传输媒体数据的媒体数据参数。

根据本发明的另一个实施例，提供了一种终端，该装置包括上述实施例中任一项所述的装置。

根据本发明的又一个实施例，还提供了一种存储介质。该存储介质设置为存储用于执行以下步骤的程序代码：获取终端的硬件配置和/或所述终端在视频会议中传输媒体数据的网络性能状况；根据获取的所述硬件配置和/或所述网络性能状况，调整所述终端在所述视频会议中传输媒体数据的媒体数据参数；根据调整后的所述媒体数据参数，在所述视频会议中传输媒体数据。

可选地，存储介质还设置为存储用于执行以下步骤的程序代码：根据调整后的所述媒体数据参数，在所述视频会议中传输媒体数据之前，还包括：向远程终端发送用于共享远程桌面的连接请求消息；接收所述远程终端返回的连接成功消息；获取所述远程终端中用于在所述视频会议中传输的所述媒体数据。

可选地，存储介质还设置为存储用于执行以下步骤的程序代码：获取所述远程终端中用于在视频会议中传输的所述媒体数据包括：在所述媒体数据包括所述远程终端的显示屏的显示画面的情况下，根据所述终端的所述硬件配置和/或所述网络性能状况，确定所述显示屏的显示参数；根据确定的所述显示参数，调整所述远程终端的所述显示屏的显示画面；获取调整后的显示画面。

可选地，存储介质还设置为存储用于执行以下步骤的程序代码：根据调整后的所述媒体数据参数，在所述视频会议中传输媒体数据包括：申请用于在所述视频会议中传输媒体数据的令牌；根据申请到的所述令牌，打开所述终端至所述视频会议系统的媒体通道；通过打开的所述媒体通道，在所述视频会议中传输获取的所述远程终端中用于在所述视频会议中传输的所述媒体数据。

可选地，存储介质还设置为存储用于执行以下步骤的程序代码：根据获取的所述硬件配置和/或所述网络性能状况，调整所述终端在所述视频会议中传输媒体数据的媒体数据参数包括：根据获取的所述硬件配置和/或所述网络性能状况，确定所述终端支持的第一媒体数据参数；确定所述视频会议的视频会议系统支持的第二媒体数据参数；根据所述第一媒体数据参数以及所述第二媒体数据参数，确定用于所述终端在所述视频会议中传输媒体数据的所述媒体数据参数；根据确定的所述媒体数据参数，调整所述终端在所述视频会议中传输媒体数据的媒体数据参数。

通过本发明，由于终端传输媒体数据的媒体数据参数根据终端的硬件配置和/或终端所在网络会议中传输媒体数据的网络性能状况进行了调整，因此，可以解决相关技术中视频会议中的媒体数据存在卡顿的问题，达到提高视频会议媒体数据传输流畅性的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的一种媒体数据传输方法的移动终端的硬件结构框图；

图2是根据本发明实施例的媒体数据传输方法的流程图；

图3是根据本发明优选实施例的视频会议网络架构的示意图一；

图4是根据本发明优选实施例的视频会议的流程图一；

图5是根据本发明优选实施例的视频会议网络架构的示意图二；

图6是根据本发明优选实施例的在视频会议过程中共享远程桌面时显示适配过程的流程图；

图7是根据本发明优选实施例的视频会议网络架构的示意图三；

图8是根据本发明优选实施例的视频会议的流程图二；

图9是根据本发明实施例的媒体数据传输装置的结构框图一；

图10是根据本发明实施例的媒体数据传输装置的结构框图二；

图11是根据本发明实施例的媒体数据传输装置中第二获取模块106的结构框图；

图12是根据本发明实施例的媒体数据传输装置中传输模块96的结构框图；

图13是根据本发明实施例的媒体数据传输装置中调整模块94的结构框图；

图14是根据本发明实施例的终端的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

在多点实时视频会议中，与会者或会议室摄像头的图像和声音外，经常需要在会议中同时传输辅视频的图像和声音给会议成员，例如在会议中将电脑中的演示文稿(简称为PPT)或视频文件实时发送出来供所有与会者观看和讨论，以下简称共享远程桌面的视频会议。

运行于智能移动设备(例如手机、PAD等)的视频会议APP是一种新兴的视频会议软终端，无需昂贵的视频会议硬终端即可随时随地接入视频会议系统，大大提高了入会便利性并降低了会议成本。但由于移动设备的性能有限，目前的视频会议应用程序(Application，简称为APP)还不支持在会议中共享远程桌面，降低了移动用户在视频会议中的操控性。

实施例1

本申请实施例1所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种媒体数据传输方法的移动终端的硬件结构框图。如图1所示，移动终端1可以包括一个或多个(图中仅示出一个)处理器12(处理器12可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器14、以及用于通信功能的传输装置16。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，移动终端1还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器14可用于存储应用软件的软件程序以及模块，如本发明实施例中的媒体数据传输方法对应的程序指令/模块，处理器12通过运行存储在存储器14内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器14可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器14可进一步包括相对于处理器12远程设置的存储器，这些远程存储器可以通过网络连接至移动终端1。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置16用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端1的通信供应商提供的无线网络。在一个实例中，传输装置16包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置16可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种运行于上述移动终端或网络架构的媒体数据传输方法，图2是根据本发明实施例的媒体数据传输方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，获取终端的硬件配置和/或终端在视频会议中传输媒体数据的网络性能状况；

步骤S204，根据获取的硬件配置和/或网络性能状况，调整终端在视频会议中传输媒体数据的媒体数据参数；

步骤S206，根据调整后的媒体数据参数，在视频会议中传输媒体数据。

通过上述步骤，由于终端传输媒体数据的媒体数据参数根据终端的硬件配置和/或终端所在网络会议中传输媒体数据的网络性能状况进行了调整，因此，解决了相关技术中视频会议中的媒体数据存在卡顿的问题，提高了视频会议媒体数据传输流畅性的效果。

可选地，在步骤S206之前，上述方法还可以包括：向远程终端发送用于共享远程桌面的连接请求消息；接收远程终端返回的连接成功消息；获取远程终端中用于在视频会议中传输的媒体数据。通过连接请求消息与连接成功消息进行信令交互建立信令通道来共享远程桌面，获取远程终端中用于在视频会议中传输的媒体数据，不需要将远程终端带入会议室将其与视频会议硬终端连接就能共享远程桌面，提高了视频会议的灵活性。

通过本发明实施例的上述技术方案，通过连接请求消息与连接成功消息进行信令交互建立信令通道来共享远程桌面，获取远程终端中用于在视频会议中传输的媒体数据，提高了视频会议的灵活性。

可选地，获取的远程终端中在视频会议中传输的媒体数据可以包括多种形式，例如，该远程终端中存储的PPT或视频文件等，可以将远程终端中存储文件通过信令通道进行传输。又例如，根据终端的硬件配置和/或网络性能状况，确定显示屏的显示参数(例如，显示屏显示图像的分辨率，亮度，饱和度等)，根据确定的显示参数，调整远程终端的显示屏的显示画面，获取调整后的显示画面。由于根据终端的硬件配置和/或网络性能状况调整了远程终端的显示参数，使得获取的远程终端显示屏显示画面的大小适用于终端的硬件配置和/或网络性能状况，提高了视频会议中媒体数据传输的效率，提高了用户体验。

通过本发明实施例的上述技术方案，根据终端的硬件配置和/或网络性能状况调整远程终端的显示屏的显示参数，根据调整后的远程终端的显示参数获取远程终端中用于在视频会议中传输的媒体数据，提高了视频会议中媒体数据传输的效率，提高了用户体验。

可选地，可以采用多种方式调整后的媒体数据参数，在视频会议中传输媒体数据，例如，可以将获取的远程终端中用于在视频会议中用于在视频会议中传输的媒体数据直接发送给视频会议的视频会议系统，由视频会议系统根据视频会议主持人或者某一人的控制命令确定在各个终端中显示的媒体数据。又例如，可以首先申请用于在视频会议中传输媒体数据的令牌，根据申请到的令牌打开终端至视频会议的视频会议系统的媒体通道，通过打开的媒体通道，在视频会议中传输获取的远程终端中用于在视频会议中传输的媒体数据。与直接传输的方式相比，通过申请令牌的方式可以保证预定时间内只有某个或某些视频会议的终端可以在视频会议中传输媒体数据，此时网络中的带宽资源可以更多地分给特定用户，避免了带宽资源的占用冲突，提高了用户体验。

通过本发明实施例的上述技术方案，通过申请令牌的方式在视频会议中传输获取的远程终端中用于在视频会议中传输的媒体数据，避免了带宽资源的占用冲突，提高了用户体验。

可选地，步骤S204中可以采用多种方式调整终端在视频会议中传输媒体数据的媒体数据参数，例如，可以根据获取的硬件配置和/或网络性能状况，确定终端在视频会议中传输媒体数据的媒体数据参数，根据确定的媒体数据参数，调整终端在视频会议中传输媒体数据的媒体数据参数。又例如，可以根据由根据获取的硬件配置和/或网络性能状况确定的终端支持的第一媒体数据参数，与确定的视频会议的视频会议系统支持的第二媒体数据参数，确定用于终端在视频会议中传输媒体数据的媒体数据参数；根据确定的媒体数据参数，调整终端在视频会议中传输媒体数据的媒体数据参数。与根据获取的硬件配置和/或网络性能状况，确定终端在视频会议中传输媒体数据的媒体数据参数相比，根据终端支持的第一媒体数据参数以及视频会议系统支持的第二媒体数据参数，确定用于终端在视频会议中传输媒体数据的媒体数据参数的方式，可以综合考虑终端支持的媒体数据参数和视频会议系统支持的媒体会议参数确定终端传输媒体数据的媒体数据参数，提高了媒体数据参数的准确性。

通过本发明实施例的上述技术方案，综合考虑终端支持的媒体数据参数和视频会议系统支持的媒体会议参数确定终端传输媒体数据的媒体数据参数，提高了媒体数据参数的准确性。

基于上述实施例及可选实施方式，为说明方案的整个流程交互，在本优选实施例中，提供了媒体数据传输方法。该方法可以运行与视频会议网络架构上，该视频会议网络架构包括以下三部分：运行有视频会议APP的终端(如，移动设备等)、运行有远程代理的电脑和视频会议系统。需要说明的是，在该媒体数据传输方法中，运行有视频会议APP的终端以移动设备为例说明。

对于视频会议，可以分为未共享远程桌面与共享远程桌面两种场景。

对于未共享远程桌面的场景(此时，该视频会议网络架构中可以不包括运行有远程代理的电脑)，图3是根据本发明优选实施例的视频会议网络架构的示意图一，如图3所示，该视频会议网络架构包括以下两部分：运行有视频会议APP的移动设备A和视频会议系统，其中，该移动设备A包括：网络监测模块32、性能评估模块34、主控模块36、媒体处理模块38、网络传输模块310、显示模块312、摄像头/麦克314。上述模块可以部分位于视频会议APP中(网络监测模块32、性能评估模块34、主控模块36、媒体处理模块38、网络传输模块310)，部分位于移动设备A的其他部分(例如，显示模块312、摄像头/麦克314)中，下面对该移动设备A进行说明。

网络监测模块32，用于实时探测网络情况，根据视频会议系统316的网络处理单元(图中未标出)回复的网络包判断网络状况并确定网络速率。

性能评估模块34，与上述网络监测模块32相连，用于自动获取本移动设备硬件配置，包括但不限于：处理器型号、内存等信息，分别确定本移动设备在主视频优先策略和辅视频优先策略下的最大编码格式。其中，主视频为由本移动设备中获取的视频信息，辅视频为由其他设备中(如，远程电脑)获取的视频信息，主视频优先策略为优先向视频会议系统输出由本移动设备的摄像头/麦克314获取的视频信息。辅视频优先策略为优先向视频会议系统输出由其他设备获取的视频信息。

主控模块36，用于根据网络监测模块32和性能评估模块34的输出，与视频会议系统316的多点控制单元(图中未标出)动态交互会议的主辅视频和音频能力，打开媒体通道，申请和释放双流令牌，在关闭双流和结束会议时关闭媒体通道。

在移动设备A使用视频会议APP加入或召集会议的过程中，主控模块36可以启用主视频优先策略，在该策略下，优先保证音频和主视频的格式及带宽，提升对主视频的体验，辅视频带宽在需要共享远程桌面时再动态分配。

在开始共享远程桌面后，主控模块36可以启用辅视频优先策略，在该策略下，优先保证本机音频和辅视频格式，降低主视频编码格式；由于共享桌面过程中本移动设备主要对运程电脑进行操控，无需看远端图像(例如，视频会议其他成员的视频信息)，因而在该策略下也将停止对远端图像的解码，以使本移动设备性能得到最大化的有效利用。在共享远程桌面结束后恢复到主视频自适应策略(主视频优先策略)。

媒体处理模块38，用于根据主控模块36下发的通道状态和端口号建立或解除媒体链路，创建编解码节点，采集视频和音频数据进行编码，同时接收网络传输模块310传输过来的码流，进行视/音频的解码，并传送给显示模块312以及本移动设备扬声器输出。

媒体处理模块38中还可以包括混音单元(图中未标出)，在共享远程桌面过程中将本地麦克和运程电脑的声音进行混音，再对混音后数据进行编码。

网络传输模块310，将主控模块36发送的消息及媒体处理模块38编码后的码流封装成网络包后发送到视频会议系统316的网络处理单元。同时接收视频会议系统316发送的信令和媒体包，拆封后分别发送给主控模块36以及媒体处理模块38进行解码。

显示模块312，用于显示媒体处理模块38解码后输出的图像，网络和性能评估结果，主辅视频通道开闭状态，视音频格式，以及会议中主辅视频发送和接收的实时码率等，也可以根据需要显示其中的一种或者几种。

下面结合图3中的视频会议网络架构对未共享远程桌面的场景下的视频会议的流程进行说明。图4是根据本发明优选实施例的视频会议的流程图一，如图4所示，该流程包括以下步骤：

步骤S402，视频会议APP登录视频会议系统注册成功后，网络监测模块启用网络探测流程实时测试网络指标情况。

视频会议APP登录视频会议系统注册成功后，网络监测模块32对网络状况进行探测，将探测的网络指标输出给性能评估模块34。

步骤S404，视频会议APP用户发起加入或召集会议流程后，主控模块启用主视频优先策略，通知性能评估模块输出主视频优选能力。

移动设备A的视频会议APP用户发起或者加入会议的流程，或者，移动设备A根据其他移动设备的邀请加入会议。在进入视频会议后，移动设备A的主控模块36启用主视频优先策略，优先保证音频和主视频的格式及带宽，并通知性能评估模块34输出主视频优选能力。性能评估模块34首先获取本移动设备的硬件配置，包括CPU、内存等，然后结合网络指标计算在主视频优先策略下的最佳(或优选)主视频能力。并向主控模块36输出计算结果。

步骤S406，主控模块和视频会议系统进行能力交互，携带性能评估模块输出的能力集，与视频会议系统进行能力协商。

主控模块36根据性能评估模块34输出的能力集和视频会议系统316进行交互，获得公共能力集：主控模块36和视频会议系统316进行能力交互，移动设备A在发送的消息中携带有性能评估模块34输出的能力集，上述能力集可以包括但不限于以下内容：移动设备A在输出音频和/或视频分辨率、码率等，移动设备A接收视频会议系统316返回的消息，返回的消息中可以包含视频会议系统316所支持的能力集，上述能力集可以包括但不限于以下内容：音频和/或视频分辨率、码率等，也可以包含视频会议系统316根据移动设备A的能力集与自身所支持的能力集确定的移动设备A在此次视频会议中可以使用的能力集。

步骤S408，主控模块通知媒体处理模块根据协商出的能力创建编解码节点。

主控模块36根据步骤S408中与视频会议系统316的能力交互结果，向媒体处理模块38下发主视频和音频媒体通道打开视音频能力的消息，并通知媒体处理模块38当前视频源为本移动设备的摄像头，音频源为本机麦克。

步骤S410，媒体处理模块建立媒体链路，并创建编解码节点，将采集的视频和音频数据进行编码。

媒体处理模块38建立媒体链路，并创建编解码节点。媒体处理模块38采集本移动设备的摄像头图像和麦克声音进行编码，并将编码后媒体码流发送给网络传输模块310。

步骤S412，网络传输模块将编码后的媒体码流以及主控模块的信令进行网络封装后发送给视频会议系统，并接收移动网络中的媒体和信令包，解封装后分别传送给媒体处理模块和主控模块。

网络传输模块310接收媒体处理模块38发送的编码后的媒体码流，以及主控模块36发送的信令，并将上述编码后的媒体码流以及信令进行网络封装后通过移动网络发送给视频会议系统316。同时，网络传输模块310还可以接收视频会议系统316通过移动网络发送的媒体和信令包，将接收到的媒体和信令包解封装后分别传送给媒体处理模块38和主控模块36。

步骤S414，媒体处理模块对网络传输模块解封装后的媒体码流进行视频和音频的解码，将解码后的视频传送给显示模块进行显示，将解码后的声音传送给本机扬声器输出声音。

媒体处理模块38对网络传输模块310解封装后的媒体码流进行视频和音频的解码，传送给显示模块312显示远端画面，同时传送给本移动设备扬声器输出声音。

通过上述步骤，运行有视频会议APP的移动设备A将自己的主视频和音频编码后发送出去，并将远端的视频在本移动设备中进行显示，将远端的音频在本移动设备中进行输出。

对于共享远程桌面的场景，图5是根据本发明优选实施例的视频会议网络架构的示意图二，如图5所述，该视频会议网络架构除了包含图3所示的所有结构外，还包括：运行有远程代理的电脑。其中，运行有视频会议APP的移动设备A还包括：远程控制模块52，该运行有远程代理的电脑包括：运程代理模块54。下面对该视频会议网络架构进行说明。

远程控制模块52，用于和运行有远程代理的电脑的运程代理模块54进行交互，完成对电脑的远程访问。

运程代理模块54，用于完成电脑的配置下发，并配合运行于移动设备A的远程控制模块完成显示器分辨率信息交互。

下面结合图5中的视频会议网络架构对共享远程桌面的场景下的视频会议的流程进行说明。图6是根据本发明优选实施例的在视频会议过程中共享远程桌面时显示适配过程的流程图，如图6所示，该流程包括以下步骤：

步骤S602，启动电脑中的远程代理服务，远程代理监听移动设备A的远程控制模块发送的连接请求。

启动运行有远程代理的电脑中的远程代理服务，远程代理模块54监听移动设备A的远程控制模块52发送的连接请求。

步骤S604，在视频会议中接收用于共享远程桌面的指令后，主控模块通知远程控制模块发出远程连接请求。

在视频会议的过程中，用户需要共享远程桌面时，可以通过点击视频会议APP中如“共享远程桌面”等与共享远程桌面对应按键的方式，生成用于共享远程桌面的指令。将生成的指令发送到主控模块36。主控模块36通知远端控制模块52向远程电脑发送远程连接请求。

步骤S606，远程控制模块连接远程代理模块，连接成功后通过远程代理模块获取电脑的显示屏设置。

接收到主控模块36发送的通知后，远程控制模块52向电脑的远程代理模块54发送远程连接请求，连接到电脑的远程代理模块54。在连接成功后，通过远程代理模块54获取电脑的显示屏设置。例如，可以向远程代理模块54发送用于获取电脑的显示屏设置的消息，接收远程代理模块54返回的携带有电脑显示屏设置的消息。

步骤S608，远程控制模块将电脑配置上报给主控模块，主控通知性能评估模块给出适于本移动设备显示的分辨率。

远程控制模块52将通过远程代理模块54获取的电脑显示屏设置上报给主控模块36，主控模块36通知性能评估模块34给出适于本移动设备显示的电脑分辨率。

步骤S610，向远程代理模块下发电脑配置，完成电脑到移动设备的显示适配。

经由步骤S604和步骤S606的信令通道，由远程控制模块52将电脑配置下发给远程代理，其中，电脑配置中携带有性能评估模块34给出的适于本移动设备显示的电脑分辨率。远程代理模块54修改电脑的显示配置，完成电脑到移动设备A的显示适配。

可选地，也可以直接由性能评估模块34给出适于本移动设备显示的电脑分辨率，向远程代理模块54下发电脑配置，而无需获取电脑的显示屏设置。

可选地，当用户停止共享远程桌面后，主控模块36可以通知远程控制模块52对电脑显示进行恢复设置，远程控制模块52通过远程代理模块54恢复电脑原有分辨率设置后关闭和远程代理的连接。该过程可以由如下方式实现：在移动设备A中保存有步骤S606获取的电脑显示屏设置的情况下，主控模块36可以将获取的电脑显示屏设置经由远程控制模块52发送给运程电脑的远程代理模块54，远程代理模块54根据接收的电脑显示屏设置恢复电脑的设置；或者，在远程电脑中保存有更改前的显示屏设置，远程控制模块52可以向远程代理模块54发送用于恢复运程电脑的显示屏设置的通知消息后，远程代理模块54根据保存的显示屏设置，恢复电脑的设置。

图7是根据本发明优选实施例的视频会议网络架构的示意图三，如图7所示，该视频会议网络架构除了包含图5所示的所有结构外，还包括：运行有视频会议APP的移动设备B。该移动设备B的可以包含与移动设备A相同的结构，也可以包含与移动设备A不同的结构，只要能实现通过视频会议APP进行视频会议即可。

图8是根据本发明优选实施例的视频会议的流程图二，如图8所述，该流程包括如下步骤：

步骤S802，接收用于共享远程桌面的指令后，主控模块通知远程控制模块发出远程连接请求，连接成功后获取电脑的显示屏数据进行显示适配。

当用户需要共享远程桌面时，可以通过步骤S604至步骤S610的方式，实现与远程电脑的连接，获取电脑的显示屏数据进行显示适配。

可选地，也可以不对运程电脑的显示屏设置进行适配，在建立与运程电脑的连接后直接执行后续步骤。

在步骤S802之前，移动设备还可以执行步骤S402至步骤S414中的全部或者部分操作，实现主视频优先策略下的视频会议。

步骤S804，用户共享远程桌面后，主控模块启动辅视频优先策略，通知性能评估模块进行该策略下主辅视频能力的评估。

用户共享远程桌面后，主控模块36启动辅视频优先策略，通知性能评估模块34进行在辅视频优先策略下本移动设备的主辅视频能力的评估。

步骤S806，性能评估模块根据当前网络监测状况和本机硬件配置优选主辅视频能力。

在辅视频优先策略下，性能评估模块34首先获取本移动设备的硬件配置，包括CPU、内存等，然后结合网络指标计算在辅视频优先策略下的最佳(或优选)辅视频能力。并向主控模块36输出计算结果。

步骤S808，主控模块采用优选辅视频能力和视频会议系统进行能力协商。

主控模块36根据性能评估模块34输出的优选辅视频能力和视频会议系统316进行交互，获得公共能力集：主控模块36和视频会议系统316进行能力交互，移动设备在发送的消息中携带有性能评估模块34输出的优选辅视频能力，上述优选辅视频能力可以为能力集，包括但不限于以下内容：移动设备A在输出音频和/或视频的分辨率、码率等。移动设备A接收视频会议系统316返回的消息，返回的消息中可以包含视频会议系统316所支持的能力集，上述能力集可以包括但不限于以下内容：音频和/或视频分辨率、码率等，也可以包含视频会议系统316根据移动设备A的辅视频能力与自身所支持的能力集确定的移动设备A在此次视频会议中可以使用的能力集。

步骤S810，能力协商结束后，主控模块通知媒体处理媒体打开主辅视频通道，媒体处理模块根据主控下发的能力创建编码器。

辅视频优先能力协商结束后，主控模块36通知媒体处理模块38打开主辅视频通道。接收到通知以后，媒体处理模块38建立至视频会议系统316的媒体链路(可以通过申请双流令牌的方式完成媒体链路的建立)，创建编码节点开始编码。同时，由于此时需要共享远端桌面，即本移动设备为主讲移动设备，因此，可以停止对远端图像的解码。

步骤S812，媒体处理模块采集摄像头的图像进行主视频编码，采集显示的远程桌面图像进行辅视频编码，采集本机麦克和远程桌面声音进行混音及编码。

媒体处理模块38进行远程电脑的桌面和声音的采集，将两路音频(远程电脑的声音和本移动设备麦克的声音)送入媒体处理模块38中的混音单元进行混音，并分别对由主视频摄像头(本移动设备摄像头)和辅视频显示屏(远程电脑显示屏)获取的图像进行视频编码。

步骤S814，将编码后媒体码流通过网络传输模块封装为网络包发送给视频会议系统。

该步骤与步骤S412中网络传输模块310将编码后的媒体码流以及主控模块36的信令进行网络封装后发送给视频会议系统316的过程类似。

步骤S816，视频会议系统接收各个视频会议APP发送过来的主、辅视频媒体包进行解码。

由于视频会议中可以包含多个视频会议的终端，即，视频会议系统316与多个视频会议APP相连。视频会议系统316可以对接收到的各个视频会议APP发送过来的主、辅视频媒体包进行解码。

步骤S818，视频会议系统将主视频编码合成为多画面图像，辅视频编码为移动设备B所支持的格式。

视频会议系统316在向移动设备B发送码流时，视频会议系统316将主视频编码合成为多画面图像，辅视频编码为移动设备B所支持的格式，并将编码后的码流发送给移动设备B。

步骤S820，移动设备B将主辅视频分别解码后显示。

此时移动设备B即可看到移动设备A的主视频及共享的远程桌面。

当移动设备用户停止共享桌面后，主控模块36通知远程控制模块52恢复远程电脑的分辨率，并停止远程控制模块52；主控模块36可以启用或者重新启用主视频优先策略。

当移动设备用户停止共享桌面后，移动设备A的主控模块36可以启用主视频优先策略，执行步骤S404及后续步骤。

通过本发明优选实施例的上述技术方案，移动用户无需坐在配备有硬移动设备的会议室，也无需随身携带电脑，即可实现在会议中共享远程桌面，节省了成本，并提升了移动用户共享远程桌面的便利性；采用的网络和性能自动适应和/或主辅视频能力优先策略(主辅视频优先策略)，可以解决移动网络带宽不稳定，视频体验不畅的问题。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

实施例2

在本实施例中还提供了一种媒体数据传输装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图9是根据本发明实施例的媒体数据传输装置的结构框图一，如图9所示，该装置包括：第一获取模块92(与上述网络监测模块32作用类似)、调整模块94(与上述性能评估模块34、主控模块36的作用类似)、传输模块96(与上述网络传输模块310的作用类似)。下面对该装置进行说明。

第一获取模块92，用于获取终端的硬件配置和/或终端在视频会议中传输媒体数据的网络性能状况；

调整模块94，与上述第一获取模块92相连，用于根据获取的硬件配置和/或网络性能状况，调整终端在视频会议中传输媒体数据的媒体数据参数；

传输模块96，与上述调整模块94相连，用于根据调整后的媒体数据参数，在视频会议中传输媒体数据。

图10是根据本发明实施例的媒体数据传输装置的结构框图二，如图10所示，该装置除包括图9所示的所有模块外，还包括：请求模块102、接收模块104、第二获取模块106(与上述远程控制模块52的作用类似)。下面对该装置进行说明。

请求模块102，用于向远程终端发送用于共享远程桌面的连接请求消息；

接收模块104，与上述请求模块102相连，用于接收远程终端返回的连接成功消息；

第二获取模块106，与上述接收模块104相连，用于获取远程终端中用于在视频会议中传输的媒体数据。

图11是根据本发明实施例的媒体数据传输装置中第二获取模块106的结构框图，如图11所示，该第二获取模块106包括：第一确定单元112、第一调整单元114、获取单元116。下面对该第二获取模块106进行说明。

第一确定单元112，用于在媒体数据包括远程终端的显示屏的显示画面的情况下，根据终端的硬件配置和/或网络性能状况，确定显示屏的显示参数；

第一调整单元114，与上述第一确定单元112相连，用于根据确定的显示参数，调整远程终端的显示屏的显示画面；

获取单元116，与上述第一调整单元114相连，用于获取调整后的显示画面。

图12是根据本发明实施例的媒体数据传输装置中传输模块96的结构框图，如图12所示，该传输模块96包括：申请单元122、打开单元124、传输单元126。下面对该传输模块96进行说明。

申请单元122，用于申请用于在视频会议中传输媒体数据的令牌；

打开单元124，与上述申请单元122相连，用于根据申请到的令牌，打开终端至视频会议的视频会议系统的媒体通道；

传输单元126，与上述打开单元124相连，用于通过打开的媒体通道，在视频会议中传输获取的远程终端中用于在视频会议中传输的媒体数据。

图13是根据本发明实施例的媒体数据传输装置中调整模块94的结构框图，如图13所示，该调整模块94包括：第二确定单元132、第三确定单元134、第四确定单元136、第二调整单元138。下面对该调整模块94进行说明。

第二确定单元132，用于根据获取的硬件配置和/或网络性能状况，确定终端支持的第一媒体数据参数；

第三确定单元134，用于确定视频会议的视频会议系统支持的第二媒体数据参数；

第四确定单元136，与上述第二确定单元132和第三确定单元134相连，用于根据第一媒体数据参数以及第二媒体数据参数，确定用于终端在视频会议中传输媒体数据的媒体数据参数；

第二调整单元138，与上述第四确定单元136相连，用于根据确定的媒体数据参数，调整终端在视频会议中传输媒体数据的媒体数据参数。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

实施例3

在本实施例中还提供了一种终端，图14是根据本发明实施例的终端的结构框图，如图14所示，该终端包括上述实施例中的媒体数据传输装置142。

实施例4

本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：

S1，获取终端的硬件配置和/或终端在视频会议中传输媒体数据的网络性能状况；

S2，根据获取的硬件配置和/或网络性能状况，调整终端在视频会议中传输媒体数据的媒体数据参数；

S3，根据调整后的媒体数据参数，在视频会议中传输媒体数据。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：

根据调整后的媒体数据参数，在视频会议中传输媒体数据之前，还包括：

S1，向远程终端发送用于共享远程桌面的连接请求消息；

S2，接收远程终端返回的连接成功消息；

S3，获取远程终端中用于在视频会议中传输的媒体数据。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：

获取远程终端中用于在视频会议中传输的媒体数据包括：

S1，在媒体数据包括远程终端的显示屏的显示画面的情况下，根据终端的硬件配置和/或网络性能状况，确定显示屏的显示参数；

S2，根据确定的显示参数，调整远程终端的显示屏的显示画面；

S3，获取调整后的显示画面。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：

根据调整后的媒体数据参数，在视频会议中传输媒体数据包括：

S1，申请用于在视频会议中传输媒体数据的令牌；

S2，根据申请到的令牌，打开终端至视频会议的视频会议系统的媒体通道；

S3，通过打开的媒体通道，在视频会议中传输获取的远程终端中用于在视频会议中传输的媒体数据。

可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：

根据获取的硬件配置和/或网络性能状况，调整终端在视频会议中传输媒体数据的媒体数据参数包括：

S1，根据获取的硬件配置和/或网络性能状况，确定终端支持的第一媒体数据参数；

S2，确定视频会议的视频会议系统支持的第二媒体数据参数；

S3，根据第一媒体数据参数以及第二媒体数据参数，确定用于终端在视频会议中传输媒体数据的媒体数据参数；

S4，根据确定的媒体数据参数，调整终端在视频会议中传输媒体数据的媒体数据参数。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

可选地，在本实施例中，处理器根据存储介质中已存储的程序代码执行：获取终端的硬件配置和/或终端在视频会议中传输媒体数据的网络性能状况；根据获取的硬件配置和/或网络性能状况，调整终端在视频会议中传输媒体数据的媒体数据参数；根据调整后的媒体数据参数，在视频会议中传输媒体数据。

可选地，在本实施例中，处理器根据存储介质中已存储的程序代码执行：根据调整后的媒体数据参数，在视频会议中传输媒体数据之前，还包括：向远程终端发送用于共享远程桌面的连接请求消息；接收远程终端返回的连接成功消息；获取远程终端中用于在视频会议中传输的媒体数据。

可选地，在本实施例中，处理器根据存储介质中已存储的程序代码执行：获取远程终端中用于在视频会议中传输的媒体数据包括：在媒体数据包括远程终端的显示屏的显示画面的情况下，根据终端的硬件配置和/或网络性能状况，确定显示屏的显示参数；根据确定的显示参数，调整远程终端的显示屏的显示画面；获取调整后的显示画面。

可选地，在本实施例中，处理器根据存储介质中已存储的程序代码执行：根据调整后的媒体数据参数，在视频会议中传输媒体数据包括：申请用于在视频会议中传输媒体数据的令牌；根据申请到的令牌，打开终端至视频会议系统的媒体通道；通过打开的媒体通道，在视频会议中传输获取的远程终端中用于在视频会议中传输的媒体数据。

可选地，在本实施例中，处理器根据存储介质中已存储的程序代码执行：根据获取的硬件配置和/或网络性能状况，调整终端在视频会议中传输媒体数据的媒体数据参数包括：根据获取的硬件配置和/或网络性能状况，确定终端支持的第一媒体数据参数；确定视频会议的视频会议系统支持的第二媒体数据参数；根据第一媒体数据参数以及第二媒体数据参数，确定用于终端在视频会议中传输媒体数据的媒体数据参数；根据确定的媒体数据参数，调整终端在视频会议中传输媒体数据的媒体数据参数。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种媒体数据传输方法，其特征在于，包括：

获取终端的硬件配置和/或所述终端在视频会议中传输媒体数据的网络性能状况；

根据获取的所述硬件配置和/或所述网络性能状况，调整所述终端在所述视频会议中传输媒体数据的媒体数据参数；

根据调整后的所述媒体数据参数，在所述视频会议中传输媒体数据。

2.根据权利要求1所述的方法，其特征在于，根据调整后的所述媒体数据参数，在所述视频会议中传输媒体数据之前，还包括：

向远程终端发送用于共享远程桌面的连接请求消息；

接收所述远程终端返回的连接成功消息；

获取所述远程终端中用于在所述视频会议中传输的所述媒体数据。

3.根据权利要求2所述的方法，其特征在于，获取所述远程终端中用于在视频会议中传输的所述媒体数据包括：

在所述媒体数据包括所述远程终端的显示屏的显示画面的情况下，根据所述终端的所述硬件配置和/或所述网络性能状况，确定所述显示屏的显示参数；

根据确定的所述显示参数，调整所述远程终端的所述显示屏的显示画面；

获取调整后的显示画面。

4.根据权利要求2所述的方法，其特征在于，根据调整后的所述媒体数据参数，在所述视频会议中传输媒体数据包括：

申请用于在所述视频会议中传输媒体数据的令牌；

根据申请到的所述令牌，打开所述终端至所述视频会议的视频会议系统的媒体通道；

通过打开的所述媒体通道，在所述视频会议中传输获取的所述远程终端中用于在所述视频会议中传输的所述媒体数据。

5.根据权利要求1至4中任一项所述的方法，其特征在于，根据获取的所述硬件配置和/或所述网络性能状况，调整所述终端在所述视频会议中传输媒体数据的媒体数据参数包括：

根据获取的所述硬件配置和/或所述网络性能状况，确定所述终端支持的第一媒体数据参数；

确定所述视频会议的视频会议系统支持的第二媒体数据参数；

根据所述第一媒体数据参数以及所述第二媒体数据参数，确定用于所述终端在所述视频会议中传输媒体数据的所述媒体数据参数；

根据确定的所述媒体数据参数，调整所述终端在所述视频会议中传输媒体数据的媒体数据参数。

6.一种媒体数据传输装置，其特征在于，包括：

第一获取模块，用于获取终端的硬件配置和/或所述终端在视频会议中传输媒体数据的网络性能状况；

调整模块，用于根据获取的所述硬件配置和/或所述网络性能状况，调整所述终端在所述视频会议中传输媒体数据的媒体数据参数；

传输模块，用于根据调整后的所述媒体数据参数，在所述视频会议中传输媒体数据。

7.根据权利要求6所述的装置，其特征在于，还包括：

请求模块，用于向远程终端发送用于共享远程桌面的连接请求消息；

接收模块，用于接收所述远程终端返回的连接成功消息；

第二获取模块，用于获取所述远程终端中用于在所述视频会议中传输的所述媒体数据。

8.根据权利要求7所述的装置，其特征在于，所述第二获取模块包括：

第一确定单元，用于在所述媒体数据包括所述远程终端的显示屏的显示画面的情况下，根据所述终端的所述硬件配置和/或所述网络性能状况，确定所述显示屏的显示参数；

第一调整单元，用于根据确定的所述显示参数，调整所述远程终端的所述显示屏的显示画面；

获取单元，用于获取调整后的显示画面。

9.根据权利要求7所述的装置，其特征在于，所述传输模块包括：

申请单元，用于申请用于在所述视频会议中传输媒体数据的令牌；

打开单元，用于根据申请到的所述令牌，打开所述终端至所述视频会议的视频会议系统的媒体通道；

传输单元，用于通过打开的所述媒体通道，在所述视频会议中传输获取的所述远程终端中用于在所述视频会议中传输的所述媒体数据。

10.根据权利要求6至9中任一项所述的装置，其特征在于，调整模块包括：

第二确定单元，用于根据获取的所述硬件配置和/或所述网络性能状况，确定所述终端支持的第一媒体数据参数；

第三确定单元，用于确定所述视频会议的视频会议系统支持的第二媒体数据参数；

第四确定单元，用于根据所述第一媒体数据参数以及所述第二媒体数据参数，确定用于所述终端在所述视频会议中传输媒体数据的所述媒体数据参数；

第二调整单元，用于根据确定的所述媒体数据参数，调整所述终端在所述视频会议中传输媒体数据的媒体数据参数。

11.一种终端，其特征在于，包括权利要求6至10中任一项所述的装置。