CN102664939A

CN102664939A - 一种屏幕镜像移动终端的方法及设备

Info

Publication number: CN102664939A
Application number: CN2012101083642A
Authority: CN
Inventors: 王继平; 陈云浩; 储刘火; 陈文焕; 卢新广
Original assignee: JIANGSU CHENGMAI TECHNOLOGY Co Ltd
Current assignee: Technology (Nanjing) Limited by Share Ltd
Priority date: 2012-04-13
Filing date: 2012-04-13
Publication date: 2012-09-12

Abstract

本发明公开了一种屏幕镜像移动终端的方法及设备，该方法包括：客户端向所述移动终端请求数据，移动终端通过本地的核心层压缩数据，将压缩后的数据传输到客户端，并在客户端显示。该系统包括：多媒体投影服务系统，用来建立移动终端和客户端的连接，处理客户端的请求；传感器处理系统，用来处理客户端发送过来的传感器信息，或将移动终端的传感信息发送给客户端；多媒体成像系统，用来在移动终端接收到客户端的数据请求后，进行数据压缩，把移动终端的像素信息压缩成一张张的图片。本技术弥补了手持设备成像速度过慢的问题，并且，通过硬件的成像系统压缩，成像的每帧数据量都非常的小，客户端进行解压后的图像数据也可以清晰观看，同时也解决了在有效的带宽上数据传输的阻塞问题。

Description

一种屏幕镜像移动终端的方法及设备

技术领域

本发明涉及通信技术领域，尤其涉及一种屏幕镜像移动终端的方法及设备。

背景技术

随着无线传输速率的不断提高和智能手持设备的发展，智能手持设备从语音终端转变成为了具有通信功能的多媒体娱乐终端。现有的智能手持设备包括了语音通讯，摄影，上网和多媒体视频，音频等多种功能。考虑到硬件的便携性能和成本，一般来说，智能手持设备的屏幕尺寸都比较小，这大大的影响了智能手持设备的娱乐性能，特别是在大家看电影，相片等娱乐的时候。一般来说，我们可以把手机的内容投影到电脑的显示器，通过机顶盒投影到电视机，连接到投影仪等具有大屏幕的设备上。在现有的屏幕传输技术上，有以下两种比较常见的技术：远程桌面技术和VNC技术。

远程桌面技术的主体核心是远程桌面协议（RDP），远程桌面协议是微软的分布式服务协议，该协议控制显示和用户输入的客户端和终端服务器之间的传输。远程桌面技术主要应用在PC领域，解决远程访问另外一台电脑的问题。可以通过网络信道传输屏幕内容同时远程端也可以相应本地操作。近年来，针对远程桌面技术的课题，相关的公司也申请了好些专利，比如微软公司的《用于远程桌面协议的硬件加速》（申请号：200980147966.5）,它提出了将远程终端服务处理任务卸载至一外围设备的方法，所述远程终端服务处理软任务否则将在计算机的处理器和存储器中执行。微软公司提出的《使用单指令，多派遣指令的远程桌面协议压缩加速》（申请号：CN200980150120.7）公开了用于使用向量处理器上可用的并行指令来压缩图像数据的技术。联想公司提出的《一种远程桌面获取数据的实现方法》（申请号CN200310121263.X）提出了当本地设备的桌面发生变化后，获取数据的一些步骤。

VNC技术，VNC基本上是属于一种显示系统，也就是说它能将完整的窗口界面通过网络，传输到另一台计算机的屏幕上。它是以framebuffer（帧缓冲）级别的工作方式。VNC系统由客户端，服务端和一个协议组成。VNC的服务端目的是分享其所运行机器的屏幕，服务端被动的允许客户端控制它。VNC客户端（或Viewer）观察控制服务端，与服务端交互。 VNC 协议 Protocol (RFB)是一个简单的协议，传送服务端的原始图像到客户端（一个X,Y 位置上的正方形的点阵数据），客户端传送事件消息到服务端。服务器发送小方块的帧缓存给客户端，在最简单的情况，VNC协议使用大量的带宽，因此各种各样的方法被发明出来减少通讯的开支，举例来说，有各种各样的编码方法来决定最有效率的方法来传送这些点阵方块）协议允许客户端和服务端去协议哪种编码会被使用，最简单的编码，被大多数客户端和服务端所支持的是，从左到右的像素扫描数据的原始编码，当原始的满屏被发送后，只发送变化的方块区域。这种编码在幁间只有小部分屏幕变化的情况下工作的非常好（像是鼠标键在桌面移动的情况，或在光标处敲击文字），不过如果大量的像素同时变化带宽将会增加的非常高，像是拖动一个窗口或观看全屏录像。

以上技术主要在桌面计算机进行使用，有的是软件算法对像素进行压缩，有的是运用了芯片的指令处理单元进行数据处理，都需要服务器的处理能力较快，在传输过程中要求高传输带宽。但是这些技术，由于移动设备的数据处理能力有限和传输媒介带宽的限制，暂时在移动设备产品上并不成熟。特别是在一些需要高速率，实时交互性强的场景上，以上提及的这些技术应用在移动设备上一般只能达到十一二帧甚至于几帧的传输速率，在用户看来会出现如卡机、失帧等现象，根本就做不到流畅显示。这对于要求高传输率、实时响应的人机交互的游戏，视频等应用来说是满足不了需求的。

针对以上现有技术的不足，我们提出了本技术：通过硬件编码实现屏幕投影。

发明内容

本发明的目的主要用于较低通用计算能力的手持移动设备，解决手持移动设备屏幕较小，不方便展示和游戏娱乐等方面的问题。现有的解决方案主要是通过上层应用对智能设备的屏幕或者直接把变化的像素点传输到客户端，这样的方案总体来说有以下三方面的缺点：

一、手持设备的CPU处理能力不够，造成了处理时间过长。

二、像素的数据量太大，造成了传输数据通道不够带宽。

三、无法适应复杂的多媒体娱乐特别是游戏场景。

本发明的技术方案如下：一种屏幕镜像移动终端的方法，客户端向所述移动终端请求数据，移动终端通过本地设置的核心层压缩数据，将压缩后的数据传输到客户端，并在客户端显示。核心层采用硬件指令加速功能对帧缓冲区的数据进行压缩，并通过核心层的零拷贝技术将压缩后的数据传输到客户端。数据压缩可根据选择，压缩成JPEG图像数据或H264视频流。客户端可通过标准WIFI或USB物理连接移动终端。客户端在连接移动终端后，可通过客户端的设备控制移动终端。客户端可为客人电脑、机顶盒、投影仪等具有大屏幕显示的终端，移动终端为Android系统的智能手机。

一种屏幕镜像移动终端的系统，包括：多媒体投影服务系统，用来建立移动终端和客户端的连接，处理客户端的请求；传感器，用来处理客户端发送的信号，或将移动终端的信号发送给客户端；多媒体成像系统，用来在移动终端接收到客户端的数据请求后，进行数据压缩。多媒体成像系统包括桢缓冲区、JPEG编/解码器、H.264编/解码器，先把帧缓冲的RGB数据转换成硬件编码器需要的格式，如果硬件编码器需要的就是RGB那就不需要转化；如果硬件编码器需要的是YUV，那么利用硬件把RGB转化成YUV的数据，如果没有硬件，即用相应的算法转化。此外系统还包括多媒体投影配置程序，用来选择移动终端和客户端的连接方式，也可选择是否允许移动终端处理客户端的输入；场景管理器，为适应不同应用场景，各种特色应用程序和定制应用程序的切换、过滤和选择功能；对时服务：用来处理客户端和移动终端的时间同步；虚拟输入服务：用来处理客户端的输入请求信息；UPNP服务：用来处理客户端和移动终端的即插即用，自动提供服务；传感器驱动：用来处理传感器信息；虚拟输入驱动：用来处理输入信息。

本技术提出的目的弥补了手持设备成像速度过慢的问题，并且，通过硬件的成像系统压缩，成像的每帧数据量都非常的小，客户端进行解压后的图像数据也可以清晰观看，同时也解决了在有效的带宽上数据传输的阻塞问题。通过此种技术，可以让用户的手持设备性能得到更大得发挥，让手持设备的娱乐性得到充分的释放。

本方案基于Android系统主要对Android的框架以及Linux kernel成像系统进行技术创新。

本技术方案主要由两个大组件构成：客户端和服务器。客户端的载体可能是个人电脑、平板、手机、机顶盒、投影仪等具有大屏幕显示的终端。服务器是Android系统的智能手机或者Android平板。客户端主要是请求服务器的服务，服务器根据客户端请求提供服务。其中，设备服务器是本方案的最重要的部分，设备服务器在智能手机的Android系统上构建了一系列的组件为客户端提供服务。

附图1揭示了服务器数据的处理流程：手机端101接收到客户端的服务请求，通过所示的传输媒介102包括USB和Wifi链路把数据传输到客户端103，客户端拿到数据后进行解码，把数据播放到大屏幕上。

附图2体现了本技术在Android系统上面的技术革新。众所周知，Android系统的大框架主要包括以下四个部分：Android 应用层，Android框架层，Linux库层，Linux核心层。而多媒体投影技术主要的组件分布在Android系统的各个部分。下面简单描述下分布在各层的多媒体投影技术组件的作用:

201：多媒体投影配置程序，主要用来给用户选择程序的一些配置，如进行选择连接方式包括USB，WIFI，3G等。还有是否允许服务器处理用户的输入包括键盘，鼠标，传感器等用户信息。是否允许服务器进行屏幕的旋转。

202：场景管理器，主要的功能是为适应不同应用场景，各种特色应用程序和定制应用程序的切换、过滤和选择功能。

203：多媒体投影服务系统，主要用来建立和客户端的连接，处理客户端的请求。服务系统会将不同的服务请求分发到各个子系统进行处理。

204：对时服务，处理客户端和服务器端的时间同步。

205：虚拟输入服务，处理客户端的输入请求信息。

206：传感器服务，处理客户端的要求传感器信号请求服务。将客户端发送过来的传感器信号进行处理，或者将服务器的传感器信号提供给客户端。

207：UPNP服务，处理客户端和服务器端得即插即用，自动提供服务。极大便利了用户体验。

多媒体成像系统是实现本技术的关键组件。在本技术中，优选了硬件指令加速功能对原始像素进行转换，通过内核层面的物理寻址技术实现了无需像素内容的拷贝。硬件编码器对转换后的像素内存进行编码。通过上层通知选择的类型的方式，编码成像可以是JPEG编码器和H264编码器。本技术的多媒体成像系统主要包括以下组件：

208：帧缓冲区，图像像素的原始存储空间。

209：JPEG 编/解码器，通过此编码器压缩成JPEG图像。

210：H.264编/解码器，通过此编码器将图像压缩成H.264视频。

在内核空间还包含以下的组件：

211：传感器驱动，处理传感器信息。

212：虚拟输入驱动，处理输入信息。

分布在Android系统的各个组件间的协作简单描述如下：在启动服务器进行设置后，Library层面开启一个本地网络服务，通过标准的WIFI或USB物理连接，在一个有可接入服务的环境下，客户端通过向服务器请求数据，服务器响应客户端的请求，通过Linux kernel层面的硬件压缩图像，通过上层的数据传输接口把经过硬件压缩后的图像数据传输到客户端，然后在客户端显示，同时接受客户端输入数据送到服务器。

由于本技术方案提出了通过操作系统层面的零拷贝技术对Frame buffer进行数据转移，并且通过硬件对Frame buffer进行数据压缩成JPEG图像数据或H264视频流。而且，通过Android特有的数据动态监测技术，实现了对Frame buffer双缓冲动态切换的监测。通过这样种种的技术，使得本技术方案具有了非常好的预期效果。

以下是本发明的一组测试数据：物理设备：Android手机；运行频率：1GHZ ；CPU：单核CPU；内存：512MB RAM；屏幕分辨：480×800。效果：图像显示速率达到最高46 帧/秒。一般来说，播放电影的速率达到24帧每秒的时候人眼就感觉不到延时，本技术达到的效果可以适应任何的多媒体娱乐场景，当然，把手机终端通过此技术可以实现游戏娱乐的最佳效果。

本发明为了提高用户的多媒体交互体验的友好性，同时支持客户端设备控制手机，如键盘，鼠标，遥控器。优点是：

1、在性能有限的硬件上通过WIFI或者USB快速传输多媒体内容。

2、充分利用手机的剩余计算能力，提供用户一种新的应用场景。

3、提高了手机终端的多媒体娱乐能力，使得手机终端的多媒体包括视频，游戏体验得到了很大得提高。

4、具备一定的通用性，可以在多种芯片平台上实施。

附图说明

图1是本发明数据传输流程示意图。

图2是本发明的系统框架图。

图3是本发明实施例的服务器处理流程图。

图4是本发明实施例的成像系统流程图。

具体实施方式

下面结合附图来对本技术方案的具体实施方式做出具体的实施描述。

如图3所示：本技术方案服务器端的一个具体实施流程如下。

301：打开多媒体投影程序。在本流程中，用户可以进行选择服务器接受的连接方式包括USB、WIFI等，可以选择是否允许屏幕旋转，是否接受客户端的输入支持等一系列和交互有关的各种配置。

302：应用场景选择。用户进行配置后，应用场景选择系统自动调整好手机端的各种参数。真正配置好提供的场景服务。

303：用户可以再界面上选择连接方式或者将USB线缆直接插入用户的大屏幕设备中。如果是USB有线连接，服务器将会启动304UPNP服务。如果用户选择了无线连接，将跳过UPNP服务，服务器端生成安全码，客户端可根据安全码或输入服务器的IP地址进行连接。

304：启动UPNP服务，实现了服务提供的自动化。

305：对时服务启动，将客户端和服务器端得时间进行同步操作，有效防止传输信息不同步。

306：客户端和服务器端连接后，服务器接收到客户端得请求后开始进行服务的派发。

如果接收到的是输入请求，将启动307输入服务子系统进行处理，输入服务子系统将请求信息处理后调用310虚拟输出驱动后完成本服务。

如果接收到的是传感请求，将启动309传感信息服务子系统进行处理，传感信息子系统将处理后调用312传感器驱动完成本服务。

如果接收到的是成像请求，将启动308的成像服务服务，成像服务系统将请求交给成像系统进行处理完成本服务。

成像系统的效率问题是本技术是否能实施的关键。

下面结合成像系统处理流程（图4）来具体讲述一下如何实施本技术：

401：成像系统接收到成像服务通知后通过内核层面找到Frame Buffer的物理地址402，根据此物理地址利用ARM平台的多媒体加速指令对缓冲区内容进行转换403，其中403步骤为优选步骤。转换后的数据还要经过404成像类型的判断来选择不同的编解码方式。

如果选择JPEG成像类型则进行405步骤利用JEPG硬编解码器对图像数据进行编码。

如果选择H.264类型则进行406步骤利用H.264硬编码器进行图像编码。

压缩图像完成后通知成像服务系统。本地应用将图像通过Socket通道传输到客户端。客户端接收到数据后进行解压，显示。

本领域的开发人员可以对本发明的实施例进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明实施例中的这些修改和变型属于本发明权利要求及其等同的范围之内，则本发明中的实施例也包含这些改动和变型在内。

Claims

1.一种屏幕镜像移动终端的方法，其特征在于：客户端向所述移动终端请求数据，移动终端通过本地的核心层压缩数据，将压缩后的数据传输到客户端，并在客户端显示。

2.根据权利要求1所述的屏幕镜像移动终端的方法，其特征在于：在所述核心层采用硬件指令加速功能对帧缓冲区的数据进行压缩，并通过核心层的零拷贝技术将压缩后的数据传输到客户端。

3.根据权利要求1所述的屏幕镜像移动终端的方法，其特征在于：所述数据压缩可根据选择，压缩成JPEG图像数据或H264视频流。

4.根据权利要求1所述的屏幕镜像移动终端的方法，其特征在于：所述的客户端可通过标准WIFI或USB物理连接移动终端。

5.根据权利要求1所述的屏幕镜像移动终端的方法，其特征在于：所述客户端在连接移动终端后，可通过客户端的设备控制移动终端。

6.根据权利要求1所述的屏幕镜像移动终端的方法，其特征在于：所述客户端可为个人电脑、平板、手机、机顶盒、投影仪等具有大屏幕显示的终端，所述移动终端为Android系统的智能手机。

7.一种屏幕镜像移动终端的系统，其特征在于包括：多媒体投影服务系统，用来建立移动终端和客户端的连接，处理客户端的请求；传感器处理系统，用来处理客户端发送过来的传感器信息，或将移动终端的传感信息发送给客户端；多媒体成像系统，用来在移动终端接收到客户端的数据请求后，进行数据压缩。

8.根据权利要求7所述的系统，其特征在于：所述的多媒体成像系统包括桢缓冲区、JPEG编/解码器、H.264编/解码器，在接收到成像服务通知后，找到帧缓冲区地址，利用硬件指令进行颜色空间的转换，然后用硬件编码器编码。

9.根据权利要求7所述的系统，其特征在于：还包括多媒体投影配置程序，用来选择移动终端和客户端的连接方式，也可选择是否允许移动终端处理客户端的输入；场景管理器，为适应不同应用场景，各种特色应用程序和定制应用程序的切换、过滤和选择功能；对时服务：用来处理客户端和移动终端的时间同步；虚拟输入服务：用来处理客户端的输入请求信息；UPNP服务：用来处理客户端和移动终端的即插即用，自动提供服务；传感器驱动：用来处理传感器信息；虚拟输入驱动：用来处理输入信息。