CN105025094A - 多屏互动方法及系统 - Google Patents

Abstract

本发明提供了一种多屏互动方法及系统，包括如下步骤：步骤S1：接收端获取移动端的网络标识，与所述移动端建立点对点连接；步骤S2：所述接收端根据所述连接开启相对应的传输信道；步骤S3：所述移动端确定待传输的目标文件，形成文件列表，以预加载的方式通过所述传输信道传输所述文件列表中的目标文件至所述接收端；步骤S4：所述接收端根据所述移动端发送的控制指令展示所述目标文件。本发明中接收端通过获取移动端的网络标识，与移动端建立点对点连接，不需要进行搜索即可快速连接终端从而进行多屏交互的需求；本发明中各文件通过预加载的方式按文件列表中的排列顺序进行传输，从而能够提高视频文件。图片文件的播放速度。

Description

多屏互动方法及系统

技术领域

本发明涉及多屏互动，具体地，涉及一种多屏互动方法及系统。

背景技术

随着互联网技术的不断发展进步，智能电子产品也越来越普及流行。移动互联网也逐渐成为主流，客户的需求也在不断多元化，随着技术不断发展和业务的深入开展，智能电视业务已从单纯为机顶盒提供业务服务，扩展到为手机、个人电脑PC、手持终端等多种终端提供业务服务。多屏融合业务模式已成为智能电视发展的主要方向。

当智能设备在局域网内时，手机或pad可以将共享在局域网内的多媒体资源相互推送至局域网内的电视端播放，多媒体资源包括音频、视频和图片；当智能设备在局域网内时，手机或pad可以将网络多媒体文件传送到智能电视端播放。目前市场上各大品牌的智能电视，基本都支持多屏互动技术，应用也将越来越广。

目前的多屏融合方式往往基于统一的软件平台，软件平台有移动端和PC端，用户将手机上的资源发送到电视屏幕中显示时，需同时开启移动端和电视端的APP，通过软件平台将两者分别与服务器连接后，将移动端的目标文件上传到服务器上，再由服务器发送指令，将目标文件下发至电视端，由电视端显示目标文件。造成信息传输过程过于复杂，降低了信息传输的效率。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种多屏互动方法及系统，能够解决现有的多屏互动方法成本高普及性差及延迟严重的问题。

根据本发明一个方面提供的多屏互动方法，包括如下步骤：

步骤S1：接收端获取移动端的网络标识，与所述移动端建立点对点连接；

步骤S2：所述接收端根据所述连接开启相对应的传输信道；

步骤S3：所述移动端确定待传输的目标文件，形成文件列表，以预加载的方式通过所述传输信道传输所述文件列表中的目标文件至所述接收端；

步骤S4：所述接收端根据所述移动端发送的控制指令展示所述目标文件。

优选地，所述步骤S1包括如下步骤：

步骤S11：接收端获取网络IP地址，且在接收端的多屏互动显示面生成交互绑定二维码；

步骤S12：移动端扫描所述交互绑定二维码，从而与所述接收端建立点对点连接

优选地，所述步骤S3包括如下步骤：

步骤S31：所述接收端获取移动端中待传输的目标文件，形成文件列表；

步骤S32：所述移动端根据所述目标文件从帧内存缓冲中获取帧数据；将所述帧数据进行格式转换，将经过格式转换后的数据进行编码通过所述传输信道传输发送到接收端；

其中，所述移动端通过前反馈和后反馈调整所述编码的编码参数和发送速度；其中，所述前反馈包括根据所述帧内存缓冲的数据量调整所述编码参数和发送速度，所述后反馈包括根据网络传输丢包率调整调所述编码参数和发送速度。

优选地，所述步骤S32具体为：

所述移动端根据所述目标文件从帧内存缓冲framebuffer中获取帧数据；将所述帧数据进行FFmpeg转换，将经过FFmpeg转换后的数据进行H.264编码通过所述传输信道传输发送到接收端。

优选地，还包括如下步骤：

-接收端对接收到的目标文件进行缓存，将缓存后的目标文件进行解压播放并在播放后将解压后的目标文件在缓存中释放。

优选地，所述步骤S3还包括如下步骤：

-当移动端加载所述目标文件进行显示时，同时通过所述传输信道实时将所述目标文件发送至所述接收端。

优选地，所述步骤S3还包括如下步骤还包括：

-按照预先设置的预测策略在所述移动端中寻找与所述目标文件相关联的关联文件；

-将所述关联文件分别加入所述文件列表中，并通过所述传输信道实时发送至所述接收端；

其中，所述预测策略表示了所述目标文件与所述关联文件的关联性，根据对各场景下全网用户的文件浏览习惯进行统计获得。

优选地，所述步骤S3还包括如下步骤：

-当所述移动端浏览其中存储的各目录时，根据各目录对应的浏览顺序进行同步分析，确定所述目标文件，并通过所述传输信道实时将所述目标文件发送至所述接收端。

优选地，所述步骤S3还包括如下步骤：

-在所述移动端预先采集当前用户对应的用户行为；

-对所述用户行为进行分析，确定所述用户行为对应的特征标签，根据所述特征标签在所述移动端中实时确定所述目标文件；

-通过所述传输信道实时将所述目标文件发送至所述接收端。

优选地，所述控制指令用于控制解压后的目标文件在接收端的播放进度或显示范围。

优选地，所述控制指令通过所述移动端触摸屏的滑动、点击输入，所述移动端的键盘输入、所述移动端的鼠标输入、所述移动端的重力感应或所述预测策略生成。

优选地，当所述目标文件为图片时，在接收端，所述控制指令用于根据所述移动端因图片拖动而不在移动端显示区域的图片区域控制接收端显示所述图片区域。

优选地，当所述图片区域在所述接收端的显示区域的位置对应至接收端的显示区域时，位于所述移动端因图片拖动而不在移动端显示区域的图片区域所在位置的相反侧。

优选地，根据所述移动端因图片拖动而不在移动端显示区域的图片区域控制接收端显示所述图片区域的具体方法如下：

-当移动端查找到所述图片时，通过预加载的方式自动发送至接收端；

-当在移动端的显示区域内拖动所述图片，使所述图片的部分不在移动端显示区域时，根据不在移动端显示区域时的图片区域生成控制指令并发送至接收端；

-所述控制指令控制所述接收端显示所述图片区域。

根据本发明另一个方面提供的多屏互动系统，包括移动端和接收端；

所述接收端用于获取移动端的网络标识，与所述移动端建立点对点连接，用于根据所述连接开启相对应的传输信道；

所述移动端用于确定待传输的目标文件，形成文件列表，以预加载的方式通过所述传输信道传输所述文件列表中的目标文件；

所述接收端用于根据所述移动端发送的控制指令展示所述目标文件。

优选地，所述接收端与移动端建立点对点连接的具体过程如下：

接收端获取网络IP地址，且在接收端的多屏互动显示面生成交互绑定二维码；

移动端扫描所述交互绑定二维码，从而与所述接收端建立点对点连接

优选地，通过所述传输信道传输所述文件列表中的目标文件的具体过程如下：

所述接收端获取移动端中待传输的目标文件，形成文件列表；

所述移动端根据所述目标文件从帧内存缓冲中获取帧数据；将所述帧数据进行格式转换，将经过格式转换后的数据进行编码通过所述传输信道传输发送到接收端；

其中，所述移动端通过前反馈和后反馈调整所述编码的编码参数和发送速度；其中，所述前反馈包括根据所述帧内存缓冲的数据量调整所述编码参数和发送速度，所述后反馈包括根据网络传输丢包率调整调所述编码参数和发送速度。

优选地，所述步骤S32具体为：

所述帧内存缓冲采用帧内存缓冲framebuffer；所述格式转换采用FFmpeg转换；所述编码采用H.264编码。

优选地，接收端对接收到的目标文件进行缓存，将缓存后的目标文件进行解压播放并在播放后将解压后的目标文件在缓存中释放。

优选地，-当移动端加载所述目标文件进行显示时，同时通过所述传输信道实时将所述目标文件发送至所述接收端。

优选地，所述移动端还包括关联文件查找模块；

关联文件查找模块用于按照预先设置的预测策略在所述移动端中寻找与所述目标文件相关联的关联文件；

用于将所述关联文件分别加入所述文件列表中，并通过所述传输信道实时发送至所述接收端；

其中，所述预测策略表示了所述目标文件与所述关联文件的关联性，根据对各场景下全网用户的文件浏览习惯进行统计获得。

优选地，当所述移动端浏览其中存储的各目录时，根据各目录对应的浏览顺序进行同步分析，确定所述目标文件，并通过所述传输信道实时将所述目标文件发送至所述接收端。

优选地，所述移动端还包括用户行为采集模块；

所述用户行为采集模块用于在所述移动端预先采集当前用户对应的用户行为；

用于对所述用户行为进行分析，确定所述用户行为对应的特征标签，根据所述特征标签在所述移动端中实时确定所述目标文件；

用于通过所述传输信道实时将所述目标文件发送至所述接收端。

优选地，所述控制指令用于控制解压后的目标文件在接收端的播放进度或显示范围。

优选地，所述控制指令通过所述移动端触摸屏的滑动、点击输入，所述移动端的键盘输入、所述移动端的鼠标输入、所述移动端的重力感应或所述预测策略生成。

优选地，当所述目标文件为图片时，在接收端，所述控制指令用于根据所述移动端因图片拖动而不在移动端显示区域的图片区域控制接收端显示所述图片区域。

优选地，当所述图片区域在所述接收端的显示区域的位置对应至接收端的显示区域时，位于所述移动端因图片拖动而不在移动端显示区域的图片区域所在位置的相反侧。

优选地，根据所述移动端因图片拖动而不在移动端显示区域的图片区域控制接收端显示所述图片区域的具体方法如下：

-当移动端查找到所述图片时，通过预加载的方式自动发送至接收端；

-当在移动端的显示区域内拖动所述图片，使所述图片的部分不在移动端显示区域时，根据不在移动端显示区域时的图片区域生成控制指令并发送至接收端；

-所述控制指令控制所述接收端显示所述图片区域。

与现有技术相比，本发明具有如下的有益效果：

1、本发明中接收端与移动端建立点对点连接，并将移动端中的各文件通过预加载的方式按文件列表中的排列顺序进行传输至接收端，从而能够提高视频文件，图片文件的传送速度和视频文件在接收端的播放速度，提高了信息传输的效率，同时同步传输对接收端的控制指令，满足了用户进行多屏互动时数据传输、控制的实时性；

2、本发明中通过前反馈和后反馈调整所述H.264编码的编码参数，使发送速度得到了调整，达到了快速浏览的效果，从而使用户能够快速观看媒体文件。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明中多屏互动方法的步骤流程图；

图2为本发明中多屏互动系统的模块示意图；

图3为本发明中多屏互动方法中图片传输过程的示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

在本实施例中，本发明提供的多屏互动方法，包括如下步骤：

步骤S1：接收端获取移动端的网络标识，与所述移动端建立点对点连接；

步骤S2：所述接收端根据所述连接开启相对应的传输信道；

步骤S3：所述移动端确定待传输的目标文件，形成文件列表，以预加载的方式通过所述传输信道传输所述文件列表中的目标文件至所述接收端；

步骤S4：所述接收端根据所述移动端发送的控制指令展示所述目标文件。

在本实施例中，所述移动端为笔记本电脑、智能手机和平板电脑；所述接收端为安装在酒店房间内的智能电视。所述传输信道选自局域网、无线局域网、移动互联网、蓝牙或红外。本发明能够适用于酒店房间内的智能电视和住客的移动端的屏幕交互。

所述步骤S1包括如下步骤：

步骤S11：接收端获取网络IP地址，且在接收端的多屏互动显示面生成交互绑定二维码；

步骤S12：移动端扫描所述交互绑定二维码，从而与所述接收端建立点对点连接。

在变形例中，所述步骤S1包括如下步骤：

步骤S11：接收端获取网络IP地址，且在接收端的多屏互动显示面生成交互绑定识别码；

步骤S12：移动端输入所述识别码，从而与所述接收端建立点对点连接。

移动端的目标文件被传输至接收端时，所述步骤S3包括如下步骤：

步骤S31：所述接收端获取移动端中待传输的目标文件，形成文件列表；

步骤S32：所述移动端根据所述目标文件从帧内存缓冲中获取帧数据；将所述帧数据进行格式转换，将经过格式转换后的数据进行编码通过所述传输信道传输发送到接收端；

其中，所述移动端在发送数据时，同时对传输信道实时进行前反馈和后反馈，调整所述编码的编码参数和发送速度，实现数据的动态发送，并对传输信道进行流量控制；其中，所述前反馈包括根据所述帧内存缓冲的数据量调整所述编码参数和发送速度，所述后反馈包括根据网络传输丢包率调整调所述编码参数和发送速度。

所述步骤S32具体为：所述移动端根据所述目标文件从帧内存缓冲framebuffer中获取帧数据；将所述帧数据进行FFmpeg转换压缩，将经过FFmpeg转换后的数据进行H.264编码通过所述传输信道传输发送到接收端。

其中，framebuffer是用一个视频输出设备从包含完整的帧数据的一个内存缓冲区中来驱动一个视频显示设备。framebuffer模仿显卡的功能，将显卡硬件结构抽象掉，可以通过framebuffer的读写直接对显存进行操作。可以将framebuffer看成是显存的一个映像，将其映射到进程地址空间之后，就可以直接进行读写操作。帧数据是指屏幕上显示的内容，即视频数据。其中，FFmpeg(Fast Forward Moving Picture Expert Group)是一个视频和音频流的开源免费平台。从framebufer中获取帧数据通常为rgb格式，在此通过FFmpeg转换，将其转换为nv12T格式的数据，使其符合H.264编码器的输入格式。FFmpeg是一个开源免费跨平台的视频和音频流方案，属于自由软件，它提供了录制、转换以及流化音视频的完整解决方案。H.264编码是一种硬编码技术，具有低码率、高质量的图像、容错能力强、网络适应性强的优点，其最大的优势是具有很高的数据压缩比率，在同等图像质量的条件下，H.264的压缩比是MPEG-2的2倍以上，是MPEG-4的1.5～2倍。为提高编码效率可优选嵌入式芯片进行H.264编码，嵌入式芯片例如cortext—a8的mfc模块。通过H.264编码这种硬编码的方式大大缩短了编码耗时，减少了CPU占用率。

本发明提供的多屏互动方法，还包括如下步骤：

-接收端对接收到的目标文件进行缓存，将缓存后的目标文件进行解压播放并在播放后将解压后的目标文件在缓存中释放。

所述步骤S3中以预加载的方式通过所述传输信道传输所述文件列表中的目标文件至所述接收端，还包括如下步骤：当移动端加载所述目标文件进行显示时，同时通过所述传输信道实时将所述目标文件发送至所述接收端。例如：当用户在手机端查看相片时或播放视频时，由于手机端的屏幕较小，影响到相片的查看效果和视频的观看效果，在这种情况下，用户具有将相片或视频传至所述智能电视的倾向，因此当用户在手机端查看相片时或播放视频时，在加载的过程中，同时所述相片或所述视频通过所述传输信道将所述目标文件发送至接收端，从而当所述用户操作手机端将所述相片或所述视频发送至所述智能电视时，所述智能电视已接受部分或全部所述相片或所述视频，从而加快了传输速度，提高了用户的体验效果。

所述步骤S3中以预加载的方式通过所述传输信道传输所述文件列表中的目标文件至所述接收端，还包括如下步骤：

-按照预先设置的预测策略在所述移动端中寻找与所述目标文件相关联的关联文件；

-将所述关联文件分别加入所述文件列表中，并通过所述传输信道实时发送至所述接收端；

其中，所述预测策略表示了所述目标文件与所述关联文件的关联性，根据对各场景下全网用户的文件浏览习惯进行统计获得。其中，所述预测策略根据统计各场景下用户的使用行为习惯获得，具体为，当用户观看电视连续局的第一集时，有很大的概率查看第二集；当用户查看时间点较为接近的一组照片中的一张时，有很大的概率查看剩余的其他照片。这里的概率阈值可以根据根需求设定。例如，当所述目标文件为视频文件，且为系列视频文件中一个，如电视连续剧的中一集，则根据预测策略可知，此场景下用户有很大的概率会看电视连续剧中的下一集或剩下部分，于是接收端获取电视连续剧中的下一集或剩下部分，通过所述传输信道将所述电视连续剧中的下一集或剩下部分发送至接收端。之后，当用户不干预视频文件播放，从当前视频文件自动进入下一个视频文件的播放时，下一个视频文件的加载已经就绪，即可实现立即平滑播放；当用户自主选择播放视频文件时，只要是已经完成了预加载的任何视频文件，都基本可以实现平滑播放。当所述目标文件为相片文件，且为同日拍摄的多组照片的一张，则根据预测策略可知，此场景下用户有很大的概率会查看同日拍摄相片片中的下一张或剩下部分，于是接收端获取所述多组照片中的下一张或剩下照片，通过所述传输信道将所述多组照片中的下一张或剩下照片发送至接收端。之后，用户查看下一张相片时，下一张相片已经加载就绪，从而能够实现快速查看。

所述步骤S3中以预加载的方式通过所述传输信道传输所述文件列表中的目标文件至所述接收端，还包括如下步骤：

-当所述移动端浏览其中存储的各目录时，根据各目录对应的浏览顺序进行同步分析，分析用户待浏览的文件，从而确定所述目标文件，并通过所述传输信道实时将所述目标文件发送至所述接收端。例如，当用户在手机上打开内存卡，进而打开DCIM文件夹时，将用户对相应目录的浏览行为的日志上传至服务器进行分析，由打开“DCIM”这个相机程序对应的默认保存目录在既定的用户模型中分析可得，预知用户有很大的概率查看最近拍摄的图片或视频资料，则服务器预先将图片或视频资料传送至接收端上查看，因此，此时将最近拍摄的图片或视频资料按照时间顺序在用户打开DCIM文件夹时就预先从新到旧依次传送至接收端，当用户选择将最近拍摄的图片或视频资料发送至接收端进行查看时，已有部分最近拍摄的图片或视频资料预先传送至接收端，从而用户能够快速查看已经加载就绪的图片或视频。又如，当用户在手机上打开内存卡，进而打开Tencent文件夹时，将用户对相应目录的浏览行为的日志上传至服务器进行分析，由打开Tencent文件夹在既定的用户模型中分析可得，预知用户有很大的概率查看最近通过QQ通信工具接收到的图片或视频资料，则服务器预先将这些图片或视频资料传送至接收端上查看，因此，此时将最近通过QQ通信工具接收到的图片或视频资料按照时间顺序在用户打开Tencent文件夹时就预先从新到旧依次传送至接收端，当用户选择将最近通过QQ通信工具接收到的图片或视频资料发送至接收端进行查看时，已有部分最近拍摄的图片或视频资料预先传送至接收端，从而用户能够快速查看已经加载就绪的图片或视频。

所述步骤S3还包括如下步骤：

-在所述移动端预先采集当前用户对应的用户行为；

-对所述用户行为进行分析，确定所述用户行为对应的特征标签，根据所述特征标签在所述移动端中实时确定所述目标文件；

-通过所述传输信道实时将所述目标文件发送至所述接收端。

其中，所述特征标签为根据统计各场景下全网用户行为发生后的文件传输习惯获得，即通过移动端采集当前用户对应的用户行为后上传，将所述用户行为矢量化后在既定的预测模型中进行匹配，预测用户下一步是否要对所拍摄照片或视频进行查看。如当根据移动端采集的GPS信息得知用户在旅游景点进行游览后，将用户的浏览行为上传到服务器后，经分析得到有很大的概率查看在景点拍摄的照片；具体为，当用户的位置在景点，用户有很大的概率拍摄照片；当用户发生拍照行为时，下一步有很大的概率查看刚刚拍摄的相片；当用户通过通讯工具，接收到一个文件时，下一步有很大的概率查看该文件，通过采集这些用户行为训练后建立既定的预测模型。例如，当移动端与接收端建立点对点连接，接收端与移动端建立传输信道；所述传输信道为互联网时，接收端获取移动端的GPS信息，从而确定移动端所在的位置；当所述移动端之前所在的位置为景点，且当前所在的位置为酒店房间时，根据位置轨迹对应的特征标签在预测模型中分析可知，在景点拍摄的照片有很大的概率被用户传送至接收端查看，因此接收端可以预先获取移动端内用户在景点拍摄的照片，即移动端通过所述传输信道将用户在景点拍摄的照片在用户手动操作移动端将照片预先发送至接收端。在具体实例中，在采集到移动端的位置为游览完毕后重新回到酒店房间内时，则可在移动端的后台透明地将这些照片预先发送至接收端，从而当用户回到酒店内将在景点拍摄的照片发送至接收端查看时，接收端已经加载了部分或全部用户在景点拍摄的照片，使用户能够在接收端快速查看已经加载就绪的在景点拍摄的照片。又如，当移动端采集到用户的拍照行为时，根据特征标签可知，近期有新的拍照行为发生后，有很大的概率用户需要查看所拍摄的照片，则在移动端的后台透明地将该照片通过传输信道预先传送至接收端查看；因此当采集到用户的拍照行为时，即查找相对应拍摄的相片，所述接收端获取所述相片件，通过所述传输信道将所述相片发送至接收端；从而当用户将拍摄的相片发送接收端查看时，接收端已经预先加载完成该照片，从而用户能够快速在接收端端查看刚刚拍到的照片。

在本实施例中，移动端通过发送控制指令控制目标文件的展示，控制指令用于控制解压后的目标文件在接收端的播放进度或显示范围。所述控制指令通过所述移动端触摸屏的滑动、点击输入，所述移动端的键盘输入、所述移动端的鼠标输入、所述移动端的重力感应或所述预测策略生成。例如，当所述接收端正在播放视频时，可以在移动端的触摸屏滑动同步输入控制指令，实时控制正在播放视频的进度；当所述接收端正在查看图片时，可以在移动端的触摸屏滑动同步输入控制指令，实时控制正在查看图片的范围，拖动图片实时控制图片在接收端的显示区域的位置。

当所述目标文件为图片时，如图3所示，在接收端，所述控制指令用于根据所述移动端因图片拖动而不在移动端显示区域的图片区域控制接收端显示所述图片区域。当所述图片区域在所述接收端的显示区域的位置对应至接收端的显示区域时，位于所述移动端因图片拖动而不在移动端显示区域的图片区域所在位置的相反侧，即图片的上半部分在接收端显示，图片的下半部分在移动端显示，模拟图片从移动端拖动至接收端的显示效果。从而实现图片从移动端的显示区域到接收端的显示区域的过程，

根据所述移动端因图片拖动而不在移动端显示区域的图片区域控制接收端显示所述图片区域的具体方法如下：

-当移动端查找到所述图片时，通过预加载的方式自动发送至接收端；

-接收端接收图片后，通过移动端同步发送的控制指令控制图片在接收端进行显示，当在移动端的显示区域内拖动所述图片，以拖动形式向接收端发送控制指令，使所述图片的部分不在移动端显示区域时，根据不在移动端显示区域时的图片区域生成控制指令并发送至接收端；

-所述控制指令控制所述接收端显示所述图片区域。

更为具体地，当在移动端的显示区域移动所述图片时，移动端检测因图片拖动而不在移动端显示区域的图片区域，并跟所述图片区域同步生成控制指令后将所述控制指令发送至接收端，接收端根据所述控制指令控制已收到的显示位置可显示区域；随着所述图片在移动端的显示区域每一次移动，同步生成一条控制指令，所述接收端进而根据新接收到的控制指令再次控制图片显示不在移动端显示区域时的图片区域，一直保持移动端显示区域的部分图片和接收端显示的部分图片拼接起来形成为一张完整的图片，从而模拟图片从移动端拖动至接收端的显示效果，为文件传输带来良好的体验。

本发明中接收端与移动端建立点对点连接，并将移动端中的各文件通过预加载的方式按文件列表中的排列顺序进行传输至接收端，从而能够提高视频文件，图片文件的传送速度和视频文件在接收端的播放速度，提高了信息传输的效率，同时同步传输对接收端的控制指令，满足了用户进行多屏互动时数据传输、控制的实时性；本发明中通过前反馈和后反馈调整所述H.264编码的编码参数，使发送速度得到了调整，达到了快速浏览的效果，从而使用户能够快速观看媒体文件的效果。

本发明提供的多屏互动系统，其特征在于，包括移动端和接收端；

所述接收端用于获取移动端的网络标识，与所述移动端建立点对点连接，用于根据所述连接开启相对应的传输信道；

所述移动端用于确定待传输的目标文件，形成文件列表，以预加载的方式通过所述传输信道传输所述文件列表中的目标文件；

所述接收端用于根据所述移动端发送的控制指令展示所述目标文件。

所述接收端与移动端建立点对点连接的具体过程如下：

接收端获取网络IP地址，且在接收端的多屏互动显示面生成交互绑定二维码；

移动端扫描所述交互绑定二维码，从而与所述接收端建立点对点连接

通过所述传输信道传输所述文件列表中的目标文件的具体过程如下：

所述接收端获取移动端中待传输的目标文件，形成文件列表；

所述移动端根据所述目标文件从帧内存缓冲中获取帧数据；将所述帧数据进行格式转换，将经过格式转换后的数据进行编码通过所述传输信道传输发送到接收端；

其中，所述移动端通过前反馈和后反馈调整所述编码的编码参数和发送速度；其中，所述前反馈包括根据所述帧内存缓冲的数据量调整所述编码参数和发送速度，所述后反馈包括根据网络传输丢包率调整调所述编码参数和发送速度。所述帧内存缓冲采用帧内存缓冲framebuffer；所述格式转换采用FFmpeg转换；所述编码采用H.264编码。

更进一步地，接收端对接收到的目标文件进行缓存，将缓存后的目标文件进行解压播放并在播放后将解压后的目标文件在缓存中释放。

-当移动端加载所述目标文件进行显示时，同时通过所述传输信道实时将所述目标文件发送至所述接收端。

所述移动端还包括关联文件查找模块；

关联文件查找模块用于按照预先设置的预测策略在所述移动端中寻找与所述目标文件相关联的关联文件；

用于将所述关联文件分别加入所述文件列表中，并通过所述传输信道实时发送至所述接收端；

其中，所述预测策略表示了所述目标文件与所述关联文件的关联性，根据对各场景下全网用户的文件浏览习惯进行统计获得。

-当所述移动端浏览其中存储的各目录时，根据各目录对应的浏览顺序进行同步分析，确定所述目标文件，并通过所述传输信道实时将所述目标文件发送至所述接收端。

所述移动端还包括用户行为采集模块；

所述用户行为采集模块用于在所述移动端预先采集当前用户对应的用户行为，

用于对所述用户行为进行分析，确定所述用户行为对应的特征标签，根据所述特征标签在所述移动端中实时确定所述目标文件，

用于通过所述传输信道实时将所述目标文件发送至所述接收端。如当用户在景点游览后，有很大的概率在景点拍摄的照片；具体为，当用户的位置景点，用户有很大的概率拍摄照片；当用户发生拍照行为时，下一步有很大的概率查看刚刚拍摄的相片；当用户通过通讯工具，接收到一个文件时，下一步有很大的概率查看该文件。例如，当移动端与接收端建立点对点连接，接收端与移动端建立传输信道；所述传输信道为互联网时，接收端获取移动端的GPS信息，从而确定移动端所在的位置；当所述移动端所在的位置为景点时，根据特征标签可知，用户在景点拍摄照片有很大的概率传送至接收端查看，因此接收端可以提前获取用户在景点拍摄的照片，并通过所述传输信道将用户在景点拍摄的照片发送至接收端。从而当用户回到酒店内将在景点拍摄的照片发送至接收端查看时，接收端已经加载了部分或全部用户在景点拍摄的照片，从而用户能够在接收端快速查看已经加载就绪的在景点拍摄的照片。有如，当移动端采集到用户的拍照行为时，根据特征标签可知，用拍照行为发生后，有很大的概率传送至接收端查看；因此当采集到用户的拍照行为时，即查找相对应拍摄的相片，所述接收端获取所述相片件，通过所述传输信道将所述相片发送至接收端；从而当用户将拍摄的相片发送接收端查看时，接收端已经加载完成，从而用户能够快速在接收端端查看刚刚拍到的照片。

所述控制指令用于控制解压后的目标文件在接收端的播放进度或显示范围。所述控制指令通过所述移动端触摸屏的滑动、点击输入，所述移动端的键盘输入、所述移动端的鼠标输入、所述移动端的重力感应或所述预测策略生成。

当所述目标文件为图片时，在接收端，所述控制指令用于根据所述移动端因图片拖动而不在移动端显示区域的图片区域控制接收端显示所述图片区域。当所述图片区域在所述接收端的显示区域的位置对应至接收端的显示区域时，位于所述移动端因图片拖动而不在移动端显示区域的图片区域所在位置的相反侧。

根据所述移动端因图片拖动而不在移动端显示区域的图片区域控制接收端显示所述图片区域的具体方法如下：

-当移动端查找到所述图片时，通过预加载的方式自动发送至接收端；

-当在移动端的显示区域内拖动所述图片，使所述图片的部分不在移动端显示区域时，根据不在移动端显示区域时的图片区域生成控制指令并发送至接收端；

-所述控制指令控制所述接收端显示所述图片区域。

当把本发明提供的多屏互动系统应用与酒店中时，所述移动端为用户的智能手机或平板电脑，接收段位酒店的智能电视；智能电视能够获取酒店网络IP地址，且在屏幕上生成交互绑定二维码，用户可以通过智能手机或平板电脑与所述智能电视建立点对点连接；所述智能电视通过连接开启相对应的传输信道；当用户在手机端查看相片时或播放视频时，由于手机端的屏幕较小，影响到相片的查看效果和视频的观看效果，在这种情况下，用户具有将相片或视频传至所述智能电视的倾向，因此当用户在手机端查看相片时或播放视频时，所述智能电视，获取所述相片或所述视频通过所述传输信道将所述目标文件发送至接收端，从而当所述用户在点击将所述相片或所述视频发送至所述智能电视时，所述智能电视已接受部分或全部所述相片或所述视频，从而加快了传输速度，提高了用户的体验效果。

用户的智能手机或平板电脑开启dlna媒体服务器服务后，利用传输信道把媒体文件的资源地址以及名称发送到终端；终端拿到媒体文件的地址后进行请求播放。

本发明中接收端通过获取移动端的网络标识，与移动端建立点对点连接，不需要进行搜索即可快速连接终端从而进行多屏交互的需求；本发明中各文件通过预加载的方式按文件列表中的排列顺序进行传输，从而能够提高视频文件，图片文件的传送速度和视频文件的播放速度；本发明中通过前反馈和后反馈调整所述H.264编码的编码参数，使发送速度得到了调整，达到了快速浏览的效果，从而使用户能够快速观看媒体文件的效果。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (14)

1.一种多屏互动方法，其特征在于，包括如下步骤：

步骤S1：接收端获取移动端的网络标识，与所述移动端建立点对点连接；

步骤S2：所述接收端根据所述连接开启相对应的传输信道；

步骤S3：所述移动端确定待传输的目标文件，形成文件列表，以预加载的方式通过所述传输信道传输所述文件列表中的目标文件至所述接收端；

步骤S4：所述接收端根据所述移动端发送的控制指令展示所述目标文件。

2.根据权利要求1所述的多屏互动方法，其特征在于，所述步骤S1包括如下步骤：

步骤S11：接收端获取网络IP地址，且在接收端的多屏互动显示面生成交互绑定二维码；

步骤S12：移动端扫描所述交互绑定二维码，从而与所述接收端建立连接。

3.根据权利要求1所述的多屏互动方法，其特征在于，所述步骤S3包括如下步骤：

步骤S31：所述移动端确定其中存储的待传输的目标文件，形成文件列表；

步骤S32：所述移动端根据所述目标文件从帧内存缓冲中获取帧数据；将所述帧数据进行格式转换，将经过格式转换后的数据进行编码通过所述传输信道传输发送到所述接收端；

其中，所述移动端通过前反馈和后反馈调整所述编码的编码参数和发送速度；其中，所述前反馈包括根据所述帧内存缓冲的数据量调整所述编码参数和发送速度，所述后反馈包括根据网络传输丢包率调整调所述编码参数和发送速度。

4.根据权利要求3所述的多屏互动方法，其特征在于，所述步骤S32具体为：

所述移动端根据所述目标文件从帧内存缓冲framebuffer中获取帧数据；将所述帧数据进行FFmpeg转换，将经过FFmpeg转换后的数据进行H.264编码通过所述传输信道传输发送到接收端。

5.根据权利要求1所述的多屏互动方法，其特征在于，所述步骤S3还包括如下步骤：

-当移动端加载所述目标文件进行显示时，同时通过所述传输信道实时将所述目标文件发送至所述接收端。

6.根据权利要求1所述的多屏互动方法，其特征在于，所述步骤S3还包括如下步骤还包括：

-按照预先设置的预测策略在所述移动端中寻找与所述目标文件相关联的关联文件；

-将所述关联文件分别加入所述文件列表中，并通过所述传输信道实时发送至所述接收端；

其中，所述预测策略表示了所述目标文件与所述关联文件的关联性，根据对各场景下全网用户的文件浏览习惯进行统计获得。

7.根据权利要求1所述的多屏互动方法，其特征在于，所述步骤S3还包括如下步骤：

-当所述移动端浏览其中存储的各目录时，根据各目录对应的浏览顺序进行同步分析，确定所述目标文件，并通过所述传输信道实时将所述目标文件发送至所述接收端。

8.根据权利要求1所述的多屏互动方法，其特征在于，所述步骤S3还包括如下步骤：

-在所述移动端预先采集当前用户对应的用户行为；

-对所述用户行为进行分析，确定所述用户行为对应的特征标签，根据所述特征标签在所述移动端中实时确定所述目标文件；

-通过所述传输信道实时将所述目标文件发送至所述接收端。

9.根据权利要求1所述的多屏互动方法，其特征在于，

所述控制指令用于控制解压后的目标文件在接收端的播放进度或显示范围。

10.一种多屏互动系统，其特征在于，包括移动端和接收端；

所述接收端用于获取移动端的网络标识，与所述移动端建立点对点连接，用于根据所述连接开启相对应的传输信道；

所述移动端用于确定待传输的目标文件，形成文件列表，以预加载的方式通过所述传输信道传输所述文件列表中的目标文件；

所述接收端用于根据所述移动端发送的控制指令展示所述目标文件。

11.根据权利要求10所述的多屏互动系统，其特征在于，

-当移动端加载所述目标文件进行显示时，同时通过所述传输信道实时将所述目标文件发送至所述接收端。

12.根据权利要求10所述的多屏互动系统，其特征在于，所述移动端还包括关联文件查找模块；

关联文件查找模块用于按照预先设置的预测策略在所述移动端中寻找与所述目标文件相关联的关联文件，

用于将所述关联文件分别加入所述文件列表中，并通过所述传输信道实时发送至所述接收端，

其中，所述预测策略表示了所述目标文件与所述关联文件的关联性，根据对各场景下全网用户的文件浏览习惯进行统计获得。

13.根据权利要求10所述的多屏互动系统，其特征在于，

-当所述移动端浏览其中存储的各目录时，根据各目录对应的浏览顺序进行同步分析，确定所述目标文件，并通过所述传输信道实时将所述目标文件发送至所述接收端。

14.根据权利要求10所述的多屏互动系统，其特征在于，所述移动端还包括用户行为采集模块；

所述用户行为采集模块用于在所述移动端预先采集当前用户对应的用户行为，

用于对所述用户行为进行分析，确定所述用户行为对应的特征标签，根据所述特征标签在所述移动端中实时确定所述目标文件，

用于通过所述传输信道实时将所述目标文件发送至所述接收端。