CN103442071A - 一种手机屏幕内容的实时分享方法 - Google Patents

Abstract

本发明公开了一种手机屏幕内容的实时分享方法，包括以下步骤：S1、实时采集信息发送端的屏幕内容，并以图片的方式存储在缓冲区；S2、对采集得到的屏幕内容进行数据压缩转换，然后编码成视频流数据；S3、在信息发送端的手机上即时将视频流数据进行封装，并采用RTMP流媒体协议和经过无线网络或移动网络，上传到RTMP流媒体服务器；S4、信息接收端向流媒体服务器发送请求信息，流媒体服务器把封装好的视频流数据发送给信息接收端。具有实用性强和成本低等优点。

Description

一种手机屏幕内容的实时分享方法

技术领域

本发明涉及一种图像视频编码和流媒体通信技术，特别涉及一种手机屏幕内容的实时分享方法,可用于智能终端用户之间的屏幕内容分享，特别适用于android手机的屏幕内容的实时分享。

背景技术

以Android系统为代表的智能手机已经在我们普通消费者的群体中不断普及，手机正在向系统化、智能化的方向不断发展，智能手机已经逐渐发展成为一种强大的信息载体，信息处理终端。同时随着移动互联网的日益壮大，移动终端用户之间的信息交流分享将会从从前的文字信息向如今丰富的多媒体信息转变，如图片，音视频等。正是由于智能手机系统的强大功能，满足终端用户之间的应用需求，使得日常的生活、交流更加信息化智能化，提出新型的基于智能手机的应用显得很有必要。智能终端之间屏幕内容分享的功能，丰富了终端用户之间的多媒体信息交流的内容和形式，只要是能在终端屏幕上显示的内容信息，都可以作为与其他用户的分享交流资源。在我们的日常生活中，分享手机应用或手机游戏的使用效果，通过摄像头获取图像分享当前所处环境的周围状况，分享手机的桌面主题，分享手机里的图片文档信息等已经成为媒体信息分享的新需求，依赖日益发展的网络通信技术和智能终端的处理能力，这些需求将会显得更加迫切。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种手机屏幕内容的实时分享方法，该方法极大的丰富了移动终端之间的信息交流内容。

本发明的目的通过下述技术方案实现：一种手机屏幕内容的实时分享方法，包括以下步骤：

S1、实时采集信息发送端的屏幕内容，并以图片的方式存储在缓冲区；

S2、对采集得到的屏幕内容进行数据压缩转换，然后编码成H.264格式的视频流数据；

S3、在信息发送端的手机上即时将H.264视频流数据进行封装，并采用RTMP流媒体协议和经过无线网络或移动网络，上传到RTMP流媒体服务器；

S4、信息接收端向流媒体服务器发送请求信息，流媒体服务器把封装好的视频流数据发送给信息接收端。

所述步骤S1包括以下步骤：

（1-1）根据手机屏幕的分辨率大小，通常为（1280*720），为了提高手机的编码效率和降低对手机资源的消耗，采取降低分辨率对手机屏幕进行截屏（举例为640*480），只需要调用android系统封装好的截屏的API，设置好分辨率参数即可；

（1-2）截取的手机屏幕数据为RGB数据，根据分辨率开辟固定的手机内存空间，存储每次截屏得到的图片数据。

所述步骤S2包括以下步骤：

（2-1）获取数据缓冲区中的屏幕图片RGB数据，将其转换为YUV420数据，压缩数据量，以适应视频压缩编码和实时传输的需求；

（2-2）使用android系统库stagefright，库里封装了使用硬件编解码的API，根据手机的相关硬件参数设置好手机硬件编码器，启用硬件编码器将每一帧YUV420数据编码为一帧H.264视频流数据。

所述步骤S3包括以下步骤：

（3-1）交叉编译第三方音视频编解码库，将其移植到手机系统里；

(3-2)使用第三方音视频编解码库，将手机硬件编码得到的H.264视频流数据封装成FLV格式；

(3-3)根据RTMP协议的要求，将封装好的FLV数据通过RTMP协议，经过手机连接的无线网络（如Wi-Fi）或移动网络，上传到流媒体服务器。

所述步骤S4包括以下步骤：

（4-1）流媒体服务器将实时接收分享手机端上传的屏幕内容视频流，等待手机客户端的浏览请求；

（4-2）接收手机端向RTMP流媒体服务器发送请求，就将获取到分享手机端的视频流数据，并对其进行播放，便能浏览到对方手机的屏幕内容，达到了分享交流的目的。

所述步骤（4-2）中：接收手机端的手机Flash插件支持RTMP协议的解码播放，因此接收手机端将调用手机系统中的Flash插件，解码播放获取的屏幕视频流数据。

所述步骤S1属于异步线程1，所述步骤S2、S3和S4属于异步线程2，所述异步线程1和异步线程2并行工作，提高程序效率；采取的处理策略为截取一张图片立即编码一帧视频，然后立刻上传到流媒体服务器。

本发明的目的：本发明针对当前移动终端之间缺乏的屏幕内容分享应用而提出的一种手机屏幕内容实时分享系统，用智能手机硬件的视频编码压缩技术将手机当前的屏幕快照得到的屏幕内容（RGB图片数据）在手机上进行视频编码（H.264），实时地将其封装成FLV格式，通过RTMP协议以视频流的形式经过无线网络（移动网络）上传至开源的流媒体服务器，并使用一种通用的流媒体传输协议RTMP在流媒体服务器上将编码成视频流的屏幕内容在互联网上下发到申请浏览的用户手机（客户端），使得用户（客户端）可以在手机的软件客户端上浏览到对方手机的屏幕内容，实现内容分享和交流。手机之间的屏幕分享交流，可以使得用户之间的信息交流更加形象化、直观化。用户可以通过本系统浏览到对方手机屏幕的内容。A用户可以将自己手机上的新装的手机应用展示给用户B，B通过本系统的客户端就可以直观地看到运行在A手机上应用的操作效果；用户A还可以通过屏幕分享自己的照片，手机的桌面，实时通过摄像头拍摄的现场画面等。通过手机之间的屏幕内容实时分享方法和系统，就基本可以实现分享用户手机上所有能通过屏幕显示的一切信息，这样的创新手机信息交流方法将更好地使得移动用户的信息交流更加形象化，内容更加丰富，有效地推动手机用户之间的移动信息交流发展。本发明利用智能android手机终端的视频编码压缩技术将手机屏幕内容按RTMP协议上传到流媒体服务器，流媒体服务器将视频流按RTMP协议发布并下发到其他手机用户，采用一对一或一对多的形式，本发明的实用性强，成本低，应用广泛。

本发明相对于现有技术具有如下的优点及效果：

1、智能终端之间屏幕内容分享的功能，丰富了终端用户之间的多媒体信息交流的内容和形式，只要是能在终端屏幕上显示的内容信息，都可以作为与其他用户的分享交流资源。如通过本发明方法实现分享手机应用或手机游戏的使用效果，通过摄像头获取图像分享当前所处环境的周围状况，分享手机的桌面主题，分享手机里的图片文档信息等。在功能上具有创新性，极大的丰富了移动终端之间的信息交流内容。

2、在智能终端中实现截取手机屏幕内容，通过调用终端的硬件实现硬件图像压缩编码，然后通过第三方音视频编解码库实现RTMP协议的封装上传到流媒体服务器。整个流程都是在智能终端上完成，使得应用的安装实现环境方便；同时充分地利用的智能终端的处理能力，而且利用硬件进行编码极大地提高了编码效率，明显优于软编码。

3、使用RTMP流媒体协议进行视频流信息的传输，只需要调用终端系统中的Flash插件实现解码播放，就能浏览到分享的屏幕内容，方便高效，实施简单。

附图说明

图1a是android手机屏幕内容分享系统的单用户模式架构图，单用户模式架构指端对端。

图1b是android手机屏幕内容分享系统的多用户模式架构图，多用户模式架构指一点对多点。

图2是android手机屏幕内容分享实现方法处理流程图。

图3是android手机屏幕内容分享实施流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

一种手机屏幕内容的实时分享方法，基于一种实时分享系统，如图1a和图1b所示，所述实时分享系统主要包括三个部分：信息发送端，流媒体服务器和信息接收端（本实施例中所述信息发送端为分享手机端，所述信息接收端为接收手机端）；信息发送端主要是用于实现手机屏幕内容的压缩发送，流媒体服务器接收信息发送端的屏幕内容数据，发布到网络上，信息接收端向服务器发送请求，接收屏幕内容视频流数据，在手机上实现播放浏览。信息接收端可以是单个或多个，流媒体服务器根据客户端请求分发视频流数据。

所述信息发送端主要的工作流程如下：

S1、实时采集当前手机的屏幕内容，以图片的方式存储在缓冲区。

根据手机屏幕的分辨率大小（通常为1280*720），在不降低用户浏览体验视频的效果前提下，为了提高手机的编码效率和降低对手机资源的消耗，采取降低分辨率对手机屏幕进行截屏（举例为640*480），只需要调用android系统封装的截屏的API，设置好分辨率参数即可；

截取的手机屏幕数据为RGB数据，根据分辨率开辟固定的手机内存空间，存储每次截屏得到的图片数据。

S2、对采集得到的屏幕图片数据进行压缩转换，然后编码成H.264格式的视频流数据。

获取数据缓冲区中的屏幕图片RGB数据，将其转换为YUV420数据，压缩数据量，以适应视频压缩编码和实时传输的需求；

使用android系统库stagefright，库里封装了使用硬件编解码的API，根据手机的相关硬件参数设置好手机硬件编码器，启用硬件编码器将每一帧YUV420数据编码为一帧H.264视频流数据，适应网络上的实时传输。

S3、在手机上即时将H.264视频流数据封装，通过RTMP流媒体协议经过无线网络或移动网络，上传到RTMP流媒体服务器。

交叉编译第三方音视频编解码库，将其移植到android手机系统里；

使用第三方音视频编解码库，将手机硬件编码得到的H.264视频流数据封装成FLV格式，根据RTMP协议的要求，将封装好的FLV数据通过RTMP协议，经过手机连接的无线网络（如Wi-Fi）或移动网络，上传到流媒体服务器。

对于信息发送端的整个程序架构来讲，手机的屏幕快照并保存成RGB图片的操作和对手机屏幕图片转码压缩成H.264数据并封装成FLV格式视频，两个具体功能操作分属于两个异步线程，高程序效率。采取的处理策略为截取一张图片立即编码一帧视频然后立刻上传到流媒体服务器。

所述信息接收端（客户端），通过向流媒体服务器发送请求获取信息发送端的屏幕内容视频流数据，实现分享交流。

流媒体服务器将实时接收分享手机端上传的屏幕内容视频流，等待手机客户端的浏览请求；

接收手机端向RTMP流媒体服务器发送请求，就将获取到分享手机端的视频流数据，并对其进行播放，便能浏览到对方手机的屏幕内容，达到了分享交流的目的。

手机Flash插件支持RTMP协议的解码播放，因此接收手机端将调用手机系统中的Flash插件，解码播放获取的屏幕视频流数据。

如图2所示，分别介绍了作为分享端和接收端的具体程序执行流程图，其中分享端流程实现了屏幕快照和编码传输功能，接收端流程则实现了屏幕内容的视频流解码播放功能。。

如图3所示，以两个手机用户手机A和手机B之间的屏幕内容分享场景为例，介绍整个系统的工作流程：

分享手机端用户手机A，启动应用程序，选择为分享自己的手机屏幕内容，然后进入屏幕分享处理流程，具体步骤为：

S1、选择作为分享端，程序则转为后台运行，回到正常的手机操作；

S2、后台程序分为两个异步线程执行，两个线程并行操作：

线程一：程序不断读取当前手机屏幕的显示内容，以图片的形式存储在数据缓冲区；

线程二：获取数据缓冲区中的图片数据，每次读取一帧图片，将RGB格式的图片通过压缩转换为YUV420格式；通过系统底层程序的硬件API初始化硬件编码器，使用硬件编码将YUV420数据编码压缩为H.264视频流；使用第三方音视频编解码库将H.264数据封装成FLV格式的视频流，通过RTMP协议上传到流媒体服务器；

接收手机端用户手机B，启动应用程序，选择为浏览A的手机屏幕内容，然后进入接收屏幕内容视频流处理流程，具体步骤为：

选择作为接收端，通过无线网络或移动网络连接到RTMP流媒体服务器，获取A的手机屏幕内容视频流，同时程序调用手机系统的Flash插件，对视频流进行解码播放，从而达到浏览A用户的手机的屏幕内容，达到分享交流的效果。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种手机屏幕内容的实时分享方法，其特征在于，包括以下步骤：

S1、实时采集信息发送端的屏幕内容，并以图片的方式存储在缓冲区；

S2、对采集得到的屏幕内容进行数据压缩转换，然后编码成视频流数据；

S3、在信息发送端的手机上即时将视频流数据进行封装，并采用RTMP流媒体协议和经过无线网络或移动网络，上传到RTMP流媒体服务器；

S4、信息接收端向流媒体服务器发送请求信息，流媒体服务器把封装好的视频流数据发送给信息接收端。

2.根据权利要求1所述的实时分享方法，其特征在于，所述步骤S1中，所述信息发送端为分享手机端；所述步骤S3中，所述信息接收端为接收手机端；

所述步骤S1包括以下步骤：

（1-1）根据手机屏幕的分辨率大小，对手机屏幕进行截屏设置好分辨率参数，调用手机系统封装好的截屏的API；

（1-2）截取的手机屏幕数据为RGB数据，根据分辨率开辟固定的手机内存空间，存储每次截屏得到的图片数据。

3.根据权利要求1所述的实时分享方法，其特征在于，所述步骤S2包括以下步骤：

（2-1）获取数据缓冲区中的屏幕图片RGB数据，并转换为YUV420数据，压缩数据量；

（2-2）使用手机系统库中封装的使用硬件编解码的API，根据手机的硬件参数设置好手机硬件编码器，启用硬件编码器将每一帧YUV420数据编码为一帧视频流数据。

4.根据权利要求1所述的实时分享方法，其特征在于，所述步骤S3包括以下步骤：

（3-1）交叉编译第三方音视频编解码库，并移植到手机系统里；

(3-2)使用第三方音视频编解码库，将手机硬件编码得到的视频流数据封装成FLV格式；

(3-3)根据RTMP协议的要求，将封装好的FLV数据通过RTMP协议，经过与手机连接的无线网络或移动网络，上传到流媒体服务器。

5.根据权利要求1所述的实时分享方法，其特征在于，所述步骤S4包括以下步骤：

（4-1）流媒体服务器将实时接收分享手机端上传的屏幕内容视频流，等待手机客户端的浏览请求；

（4-2）接收手机端向RTMP流媒体服务器发送请求，获取分享手机端的视频流数据，并进行播放，以浏览到对方手机的屏幕内容。

6.根据权利要求5所述的实时分享方法，其特征在于，所述步骤（4-2）中，接收手机端的手机Flash插件支持RTMP协议的解码播放，接收手机端调用手机系统中的Flash插件，解码并播放获取的屏幕视频流数据。

7.根据权利要求1所述的实时分享方法，其特征在于，所述步骤S1属于异步线程1，所述步骤S2、S3和S4属于异步线程2，所述异步线程1和异步线程2并行工作。

Images