CN105049955A - 一种实时传屏的方法和系统 - Google Patents

Abstract

本发明适用于通信领域，提供了一种实时传屏的方法和系统，所述方法包括：传屏客户端与传屏服务器端建立通信连接；传屏服务器端通过所述通信连接与所述传屏客户端确定传屏参数，所述传屏参数包括：显示区域大小和图像播放频率；传屏客户端根据所述传屏参数进行图像截取和图像编码，并将经过编码的图像发送到传屏服务器端；传屏服务器端对所述图像进行解码，并根据预设的缓冲规则对所述图像进行缓冲渲染，实现传屏，所述缓冲规则为：当缓冲队列中的图像的数量大于预设的图像缓冲数量时，才允许对图像进行缓冲渲染。实施本发明实施例，可以在无线局域网环境中实现终端间的低延时传屏。

Description

一种实时传屏的方法和系统

技术领域

本发明属于通信领域，尤其涉及一种实时传屏的方法和系统。

背景技术

传屏技术是指两个终端之间(比如PC端和Android端)，将一个终端上的显示内容通过截屏编码等方式传送到另一终端，并在其上解码显示。这里有两个指标可以来评价传屏效果的优劣：流畅性和实时性。好的流畅性是指在传屏播放过程中不出现卡顿、不出现画面失真，同时播放的帧率至少20fps以上；好的实时性是指两个终端间的画面同步延时至少要小于500ms。

目前在实时传屏的技术上一般采用RTSP(RealTimeStreamingProtocol)、HTTPStream等实时流媒体协议来传输媒体数据，这些协议主要应用于互联网环境，提供了传输和控制的机制，对于网络视频播放应用来讲很适用。如果应用于室内无线实时投影等场合，协议上有较多冗余，因为包含了控制部分，造成实现时客户端和服务器端的资源消耗较大；而且接收解码显示模块也给予较大的缓冲以便视频能较为流畅的播放，但也因此造成实时性不足。经测试和文献描述，采用标准协议所能达到的传屏同步延时基本在500ms以上，甚至达到秒级，而且还受无线环境和硬件资源影响较大。

发明内容

鉴于此，本发明提供一种实时传屏的方法和系统，以解决现有技术传屏延时较高的技术问题。

本发明实施例是这样实现的，一种实时传屏的方法，所述方法包括以下步骤：

传屏客户端与传屏服务器端建立通信连接；

传屏服务器端通过所述通信连接与所述传屏客户端确定传屏参数，所述传屏参数包括：显示区域大小和图像播放频率；

传屏客户端根据所述传屏参数进行图像截取和图像编码，并将经过编码的图像发送到传屏服务器端；

传屏服务器端对所述图像进行解码，并根据预设的缓冲规则对所述图像进行缓冲渲染，实现传屏，所述缓冲规则为：当缓冲队列中的图像的数量大于预设的图像缓冲数量时，才允许对图像进行缓冲渲染。

本发明实施例还提供一种实时传屏的系统，所述系统包括：

传屏客户端，用于与传屏服务器端建立通信连接，通过所述通信连接与所述传屏服务器端确定传屏参数，根据所述传屏参数进行图像截取和图像编码，并将经过编码的图像发送到传屏服务器端，所述传屏参数包括：显示区域大小和图像播放频率；

传屏服务器端，用于与所述传屏客户端建立通信连接，通过所述通信连接与所述传屏客户端确定传屏参数，接收传屏客户端发送的图像，对所述图像进行解码，并根据预设的缓冲规则对所述图像进行缓冲渲染，实现传屏，所述缓冲规则为：当缓冲队列中的图像的数量大于预设的图像缓冲数量时，才允许对图像进行缓冲渲染。

本发明实施例中，传屏客户端与传屏服务器端确定传屏参数，传屏客户端根据所述传屏参数进行图像截取和图像编码，传屏服务器端对所述图像进行解码，并根据预设的缓冲规则对所述图像进行缓冲渲染，实现传屏，使得无线局域网可以实现低延时的传屏。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的实时传屏方法的流程图；

图2是本发明实施例提供的确定传屏参数的流程图；

图3是本发明实施例提供的传屏客户端截屏编码的流程图；

图4是本发明实施例提供的传屏服务器端解码渲染的流程图；

图5是本发明实施例提供的实时传屏系统的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一

如图1所述为本发明实施例提供的实时传屏方法的流程图，所述方法包括以下步骤：

步骤S101，传屏客户端与传屏服务器端建立通信连接。

在本发明实施例中，进行传屏的客户端和服务器端首先建立通信连接，具体为：传屏客户端启动用于媒体数据传输的socket_server，同时传屏服务器端启动用于媒体数据传输的socket，这样传屏服务器端即可与socket_server建立TCP(TransmissionControlProtocol，简称：传输控制协议)连接。

步骤S102，传屏服务器端通过所述通信连接与所述传屏客户端确定传屏参数，所述传屏参数包括：显示区域大小和图像播放频率。

在本发明实施例中，在建立了通信连接之后，传屏服务器端通过该通信连接与进行传屏的传屏客户端确定传屏参数，该传屏参数包括但不限于：显示区域大小和图像播放频率。所述传屏服务器端通过所述通信连接与所述传屏客户端确定传屏参数的步骤，包括：

1、传屏服务器端预设第一传屏参数，并将所述第一传屏参数发送到传屏客户端，所述第一传屏参数包括：第一显示区域大小和第一图像播放频率。

在本发明实施例中，传屏服务器端获取当前能用于传屏显示的区域大小和图像播放频率，即预设第一显示区域大小和第一图像播放频率，将第一传屏参数发送到传屏客户端，其中，第一传屏参数使用JSON字符串格式，其格式具体为：{“fps”：fs,“size”：“ws/hs”}，其中fs表示图像播放频率，ws表示显示区域宽，hs表示显示区域高。

2、传屏客户端接收所述第一传屏参数，并将所述第一传屏参数与本地的第二传屏参数进行比较。

在本发明实施例中，传屏客户端在接收了第一传屏参数之后，将该第一传屏参数与传屏客户端本地的第二传屏参数进行比较。

3、根据所述比较的结果，确定所述传屏参数。

在本发明实施例中，主要比较的是传屏参数中的图像播放频率：如果第一图像播放频率小于第二图像播放频率，则所述图像播放频率为第一图像播放频率；如果第一图像播放频率大于第二图像播放频率，则所述图像播放频率为第二图像播放频率。

4、传屏客户端将所述传屏参数发送到传屏服务器端。

在本发明实施例中，传屏客户端在确定了传屏参数之后，初始化截屏模块和编码模块，如果没有出现错误则ok＝1，否则ok＝0，并设置错误代码errorMsg。传屏客户端向传屏服务器端发送响应数据包，参数确定效应的具体内容格式为：{“ok”：d，“errorMsg”：“”，“fps”：f}，其中d取1或0的整数，表示客户端参数设置成功或失败，errorMsg表示错误码，f表示客户端和服务器端最终采用的帧率值。

如图2所示为本发明实施例提供的确定传屏参数的流程图。

步骤S103，传屏客户端根据所述传屏参数进行图像截取和图像编码，并将经过编码的图像发送到传屏服务器端。

在本发明实施例中，传屏客户端在和传屏客户端确定了传屏参数之后，根据该传屏参数进行图像截取，并将经过编码的图像发送到传屏服务器端。所述传屏客户端根据所述传屏参数进行图像截取和图像编码的步骤，包括：

1、将图像截取频率设置为所述图像播放频率。

2、根据所述图像截取频率截取图像，并将所述图像存储到图像队列。

3、将所述图像与所述显示区域大小进行比较，根据所述比较的结果，判断所述图像是否需要进行压缩。

在本发明实施例中，设图像的高为hc、宽为wc，显示区域的高为hs、宽为ws，如果wc≤ws且hc≤hs，则图像不需要进行压缩。

4、如果需要压缩，则对经过压缩的图像进行编码，如果不需要压缩，则直接对所述图像进行编码。

在本发明实施例中，设压缩后的图像的高为h，宽为w，如果ws/hs≥wc/hc。则h＝hs、w＝h*wc/hc，如果ws/hs＜wc/hc，则w＝ws，h＝w*hc/wc。

5、计算所述经过编码的图像的长度，并以占3个字节的所述长度与所述经过编码的图像进行组包，并将该组包发送到传屏服务器端。

在本发明实施例中，计算经过编码的图像的长度length，以占3个字节的length和经过编码的图像组包的形式生成屏幕图像数据包，将该屏幕图像数据包发送到传屏服务器端。

如图3所示为本发明实施例提供的传屏客户端截屏编码的流程图。

步骤S104，传屏服务器端对所述图像进行解码，并根据预设的缓冲规则对所述图像进行缓冲渲染，实现传屏，所述缓冲规则为：当缓冲队列中的图像的数量大于预设的图像缓冲数量时，才允许对图像进行缓冲渲染。

在本发明实施例中，传屏服务器端在接收了图像之后，对图像进行解码，并根据预设的缓冲规则对图像进行缓冲渲染，实现图像传屏，该缓冲规则为：当缓冲队列中的图像的数量大于预设的图像缓冲数量时，才允许对图像进行缓冲渲染。所述传屏服务器端对所述图像进行解码，并根据预设的缓冲规则对所述图像进行缓冲渲染的步骤，具体为：

1、传屏服务器端读取所述length，根据所述length读取经过编码的图像。

2、通过硬件解码技术对所述经过编码的图像进行解码。

3、根据预设的缓冲规则对所述图像进行缓冲。

在发明实施例中，在参数约定过程中已经设置好渲染缓冲队列的初始缓冲帧数q。如果是第一次从渲染缓冲队列render_queue中取帧数据，那么render_queue中的帧数据量必须大于等于q时，才能取出。渲染模块按固定时间间隔t＝1/K(K＝参数约定过程中确定的帧率f)从render_queue中取出图像帧数据frame_pic。如果缓冲队列已空，并且在时间t之内还未有图像帧数据到达render_queue，那么等待不再取帧，直到render_queue中的帧数据量达到q时，才开始从render_queue中取帧。

4、对缓冲的图像进行调整，并渲染经过调整的图像。

在本发明实施例中，对取出的帧数据frame_pic进行图像调整。计算frame_pic的宽wf、高hf，服务器端显示区域的宽ws、高hs，最终调整后图像的宽w、高h。如果wf≠ws且hf≠hs，则放大frame_pic，如果ws/hs>＝wf/hf，则h＝hs，w＝h*wf/hf，否则w＝ws，h＝w*hf/wf。最后以中央居中形式显示frame_pic。

如图4所示为本发明实施例提供的传屏服务器端解码渲染的流程图。

其中，缓冲规则的解释如下：

传输过来的视频帧数据中可能是关键帧数据，该数据比一般帧数据大，传输、解码的时间也相对较长。本发明设计在渲染缓冲队列render_queue中设置一个初始缓冲帧数q，通过合理设置q来消除帧数据大小不定带来的到达时间浮动的影响，使播放能流畅，同时又不失实时性。本渲染缓冲策略的目的就是为了计算q的合理值。

设约定的帧率K(单位：帧每秒)，约定的画面最小同步时延Tmin，接收到帧的时间间隔t1，解码一帧所需时间t2，渲染一帧所需时间t3，渲染缓冲队列的初始必须缓冲帧数q。其中，t1、t2、t3因为关键帧或硬件原因会有较大幅度变化，存在峰值和谷值。

则，实际的画面最小同步时延为(t₁+t₂+t₃)×q，需要满足(t₁+t₂+t₃)×q≤T_min，同时要满足最低的流畅要求：q≥K(t₁+t₂)_max，其中(t₁+t₂)_max取t1+t2的峰值。

那么，渲染缓冲队列的初始缓冲帧数取值范围为t1+t2+t3取均值。

关于t1、t2、t3的平均值：因为采用了硬件解码和yuv直接渲染，t2+t3大约为10ms，t1受影响于网络环境和截屏图像压缩大小，在室内局域网环境和一帧数据1280*768尺寸的情况下，传送大约为70ms。

本发明实施例中，传屏客户端与传屏服务器端确定传屏参数，传屏客户端根据所述传屏参数进行图像截取和图像编码，传屏服务器端对所述图像进行解码，并根据预设的缓冲规则对所述图像进行缓冲渲染，实现传屏，使得无线局域网可以实现低延时的传屏。

实施例二

如图5所示为本发明实施例提供的实时传屏系统的结构图，为了便于说明，仅示出与本发明实施例相关的部分，包括：

传屏客户端501，用于与传屏服务器端502建立通信连接，通过所述通信连接与所述传屏服务器端502确定传屏参数，根据所述传屏参数进行图像截取和图像编码，并将经过编码的图像发送到传屏服务器端502，所述传屏参数包括：显示区域大小和图像播放频率；

传屏服务器端502，用于与所述传屏客户端501建立通信连接，通过所述通信连接与所述传屏客户端501确定传屏参数，接收传屏客户端501发送的图像，对所述图像进行解码，并根据预设的缓冲规则对所述图像进行缓冲渲染，实现传屏，所述缓冲规则为：当缓冲队列中的图像的数量大于预设的图像缓冲数量时，才允许对图像进行缓冲渲染。

在本发明实施例中，在建立了通信连接之后，传屏服务器端通过该通信连接与进行传屏的传屏客户端确定传屏参数，该传屏参数包括但不限于：显示区域大小和图像播放频率。所述传屏服务器端通过所述通信连接与所述传屏客户端确定传屏参数的步骤，包括：

1、传屏服务器端预设第一传屏参数，并将所述第一传屏参数发送到传屏客户端，所述第一传屏参数包括：第一显示区域大小和第一图像播放频率。

在本发明实施例中，传屏服务器端获取当前能用于传屏显示的区域大小和图像播放频率，即预设第一显示区域大小和第一图像播放频率，将第一传屏参数发送到传屏客户端，其中，第一传屏参数使用JSON字符串格式，其格式具体为：{“fps”：fs,“size”：“ws/hs”}，其中fs表示图像播放频率，ws表示显示区域宽，hs表示显示区域高。

2、传屏客户端接收所述第一传屏参数，并将所述第一传屏参数与本地的第二传屏参数进行比较。

在本发明实施例中，传屏客户端在接收了第一传屏参数之后，将该第一传屏参数与传屏客户端本地的第二传屏参数进行比较。

3、根据所述比较的结果，确定所述传屏参数。

在本发明实施例中，主要比较的是传屏参数中的图像播放频率：如果第一图像播放频率小于第二图像播放频率，则所述图像播放频率为第一图像播放频率；如果第一图像播放频率大于第二图像播放频率，则所述图像播放频率为第二图像播放频率。

4、传屏客户端将所述传屏参数发送到传屏服务器端。

在本发明实施例中，传屏客户端在确定了传屏参数之后，初始化截屏模块和编码模块，如果没有出现错误则ok＝1，否则ok＝0，并设置错误代码errorMsg。传屏客户端向传屏服务器端发送响应数据包，参数确定效应的具体内容内饰为：{“ok”：d，“errorMsg”：“”，“fps”：f}，其中d取1或0的整数，表示客户端参数设置成功或失败，errorMsg表示错误码，f表示客户端和服务器端最终采用的帧率值。

传屏客户端在和传屏客户端确定了传屏参数之后，根据该传屏参数进行图像截取，并将经过编码的图像发送到传屏服务器端。所述传屏客户端根据所述传屏参数进行图像截取和图像编码的步骤，包括：

1、将图像截取频率设置为所述图像播放频率。

2、根据所述图像截取频率截取图像，并将所述图像存储到图像队列。

3、将所述图像与所述显示区域大小进行比较，根据所述比较的结果，判断所述图像是否需要进行压缩。

在本发明实施例中，设图像的高为hc、宽为wc，显示区域的高为hs、宽为ws，如果wc≤ws且hc≤hs，则图像不需要进行压缩。

4、如果需要压缩，则对经过压缩的图像进行编码，如果不需要压缩，则直接对所述图像进行编码。

在本发明实施例中，设压缩后的图像的高为h，宽为w，如果ws/hs≥wc/hc。则h＝hs、w＝h*wc/hc，如果ws/hs＜wc/hc，则w＝ws，h＝w*hc/wc。

5、计算所述经过编码的图像的长度，并以占3个字节的所述长度与所述经过编码的图像进行组包，并将该组包发送到传屏服务器端。

在本发明实施例中，计算经过编码的图像的长度length，以占3个字节的length和经过编码的图像组包的形式生成屏幕图像数据包，将该屏幕图像数据包发送到传屏服务器端。

传屏服务器端在接收了图像之后，对图像进行解码，并根据预设的缓冲规则对图像进行缓冲渲染，实现图像传屏，该缓冲规则为：当缓冲队列中的图像的数量大于预设的图像缓冲数量时，才允许对图像进行缓冲渲染。所述传屏服务器端对所述图像进行解码，并根据预设的缓冲规则对所述图像进行缓冲渲染的步骤，具体为：

1、传屏服务器端读取所述length，根据所述length读取经过编码的图像。

2、通过硬件解码技术对所述经过编码的图像进行解码。

3、根据预设的缓冲规则对所述图像进行缓冲。

在发明实施例中，在参数约定过程中已经设置好渲染缓冲队列的初始缓冲帧数q。如果是第一次从渲染缓冲队列render_queue中取帧数据，那么render_queue中的帧数据量必须大于等于q时，才能取出。渲染模块按固定时间间隔t＝1/K(K＝参数约定过程中确定的帧率f)从render_queue中取出图像帧数据frame_pic。如果缓冲队列已空，并且在时间t之内还未有图像帧数据到达render_queue，那么等待不再取帧，直到render_queue中的帧数据量达到q时，才开始从render_queue中取帧。

4、对缓冲的图像进行调整，并渲染经过调整的图像。

在本发明实施例中，对取出的帧数据frame_pic进行图像调整。计算frame_pic的宽wf、高hf，服务器端显示区域的宽ws、高hs，最终调整后图像的宽w、高h。如果wf≠ws且hf≠hs，则放大frame_pic，如果ws/hs>＝wf/hf，则h＝hs，w＝h*wf/hf，否则w＝ws，h＝w*hf/wf。最后以中央居中形式显示frame_pic。

本发明实施例中，传屏客户端与传屏服务器端确定传屏参数，传屏客户端根据所述传屏参数进行图像截取和图像编码，传屏服务器端对所述图像进行解码，并根据预设的缓冲规则对所述图像进行缓冲渲染，实现传屏，使得无线局域网可以实现低延时的传屏。

本领域普通技术人员可以理解为上述实施例二所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

本领域普通技术人员还可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以在存储于一计算机可读取存储介质中，所述的存储介质，包括ROM/RAM、磁盘、光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种实时传屏的方法，其特征在于，所述方法包括以下步骤：

传屏客户端与传屏服务器端建立通信连接；

传屏服务器端通过所述通信连接与所述传屏客户端确定传屏参数，所述传屏参数包括：显示区域大小和图像播放频率；

传屏客户端根据所述传屏参数进行图像截取和图像编码，并将经过编码的图像发送到传屏服务器端；

传屏服务器端对所述图像进行解码，并根据预设的缓冲规则对所述图像进行缓冲渲染，实现传屏，所述缓冲规则为：当缓冲队列中的图像的数量大于预设的图像缓冲数量时，才允许对图像进行缓冲渲染。

2.如权利要求1所述的方法，其特征在于，所述传屏服务器端通过所述通信连接与所述传屏客户端确定传屏参数的步骤，包括：

传屏服务器端预设第一传屏参数，并将所述第一传屏参数发送到传屏客户端，所述第一传屏参数包括：第一显示区域大小和第一图像播放频率；

传屏客户端接收所述第一传屏参数，并将所述第一传屏参数与本地的第二传屏参数进行比较；

根据所述比较的结果，确定所述传屏参数；

传屏客户端将所述传屏参数发送到传屏服务器端。

3.如权利要求2所述的方法，其特征在于，所述传屏客户端根据所述传屏参数进行图像截取和图像编码的步骤，包括：

将图像截取频率设置为所述图像播放频率；

根据所述图像截取频率截取图像，并将所述图像存储到图像队列；

将所述图像与所述显示区域大小进行比较，根据所述比较的结果，判断所述图像是否需要进行压缩；

如果需要压缩，则对经过压缩的图像进行编码，如果不需要压缩，则直接对所述图像进行编码；

计算所述经过编码的图像的长度，并以占3个字节的所述长度与所述经过编码的图像进行组包，并将该组包发送到传屏服务器端。

4.如权利要求3所述的方法，其特征在于，所述传屏服务器端对所述图像进行解码，并根据预设的缓冲规则对所述图像进行缓冲渲染的步骤，具体为：

传屏服务器端读取所述length，根据所述length读取经过编码的图像；

通过硬件解码技术对所述经过编码的图像进行解码；

根据预设的缓冲规则对所述图像进行缓冲；

对缓冲的图像进行调整，并渲染经过调整的图像。

5.一种实时传屏的系统，其特征在于，所述系统包括：

传屏客户端，用于与传屏服务器端建立通信连接，通过所述通信连接与所述传屏服务器端确定传屏参数，根据所述传屏参数进行图像截取和图像编码，并将经过编码的图像发送到传屏服务器端，所述传屏参数包括：显示区域大小和图像播放频率；

传屏服务器端，用于与所述传屏客户端建立通信连接，通过所述通信连接与所述传屏客户端确定传屏参数，接收传屏客户端发送的图像，对所述图像进行解码，并根据预设的缓冲规则对所述图像进行缓冲渲染，实现传屏，所述缓冲规则为：当缓冲队列中的图像的数量大于预设的图像缓冲数量时，才允许对图像进行缓冲渲染。

6.如权利要求5所述的系统，其特征在于，所述传屏服务器端通过所述通信连接与所述传屏客户端确定传屏参数的步骤，包括：

传屏服务器端预设第一传屏参数，并将所述第一传屏参数发送到传屏客户端，所述第一传屏参数包括：第一显示区域大小和第一图像播放频率；

传屏客户端接收所述第一传屏参数，并将所述第一传屏参数与本地的第二传屏参数进行比较；

根据所述比较的结果，确定所述传屏参数；

传屏客户端将所述传屏参数发送到传屏服务器端。

7.如权利要求6所述的系统，其特征在于，所述传屏客户端根据所述传屏参数进行图像截取和图像编码的步骤，包括：

将图像截取频率设置为所述图像播放频率；

根据所述图像截取频率截取图像，并将所述图像存储到图像队列；

将所述图像与所述显示区域大小进行比较，根据所述比较的结果，判断所述图像是否需要进行压缩；

如果需要压缩，则对经过压缩的图像进行编码，如果不需要压缩，则直接对所述图像进行编码；

计算所述经过编码的图像的长度，并以占3个字节的所述长度与所述经过编码的图像进行组包，并将该组包发送到传屏服务器端。

8.如权利要求7所述的系统，其特征在于，所述传屏服务器端对所述图像进行解码，并根据预设的缓冲规则对所述图像进行缓冲渲染的步骤，具体为：

传屏服务器端读取所述length，根据所述length读取经过编码的图像；

通过硬件解码技术对所述经过编码的图像进行解码；

根据预设的缓冲规则对所述图像进行缓冲；

对缓冲的图像进行调整，并渲染经过调整的图像。