CN114338550A - 一种减低带宽的云电脑实时编码方法及系统 - Google Patents

Abstract

本发明公开了一种减低带宽的云电脑实时编码方法及系统，桌面抓屏模块根据设置的最大帧率进行桌面抓屏；网络拥塞检测模块根据接收的数据包状态回复计算出当前的网络状态值传递给帧率控制模块；系统渲染表面检测模块计算出系统渲染帧率及鼠标光标刷新率；帧率控制模块根据系统渲染帧率及鼠标光标刷新率计算目标帧率，并根据网络最大可用帧率和平滑处理，最终计算出实际设置帧率设置到图像控制模块中；图像控制模块根据实际设置帧率对抓屏的图像数据进行重采样，并将图像发送到编码器进行编码，编码后发送给云盒端。本发明使用动态帧率的方式在保证视频图像质量与视频流畅性的前提下，有效降低云电脑在使用中的整体带宽流量。

Description

一种减低带宽的云电脑实时编码方法及系统

技术领域

本发明涉及网络信息处理领域，更具体的，涉及一种减低带宽的云电脑实时编码方法及系统。

背景技术

日常网络带宽是有限的，而有效降低使用带宽就变的很有必要，在无法提高编码压缩比的情况下当前常用减低带宽多使用动态码率的方式来实现，但在低码率时会导致视频图像质量无法保证的问题。

发明内容

鉴于上述问题，本发明的目的是提供一种减低带宽的云电脑实时编码方法及系统，使用动态帧率的方式在保证视频图像质量与视频流畅性的前提下，有效降低云电脑在使用中的整体带宽流量。

本发明第一方面提供一种减低带宽的云电脑实时编码方法，所述方法包括以下步骤：

桌面抓屏模块根据设置的最大帧率f_limit-max进行桌面抓屏，获取抓屏数据；

网络拥塞检测模块根据接收的数据包状态回复计算出当前的网络状态值传递给帧率控制模块；帧率控制模块更新网络最大可用帧率f_n-max；

系统渲染表面检测模块计算出系统渲染帧率f_image及鼠标光标刷新率f_mouse；

帧率控制模块根据系统渲染帧率f_image及鼠标光标刷新率f_mouse计算出一个目标帧率f_tail，并根据网络最大可用帧率f_n-max和平滑处理，最终计算出实际设置帧率f_now设置到图像控制模块中；

图像控制模块根据实际设置帧率f_now对抓屏的图像数据进行重采样，并将图像发送到编码器进行编码，编码完成后发送给云盒端。

本方案中，所述网络拥塞检测模块根据接收的数据包状态回复计算出当前的网络状态值传递给帧率控制模块，并更新网络最大可用帧率f_n-max，包括以下步骤：

根据接收的数据包状态回复获取每个包接收和发送的时延差即d_i；

每隔一段时间，计算该时间段内所有的d_i值；

然后通过最小二乘法求出这段时间内d_i值的变化直线的斜率k_i；

再根据k_i计算网络的自适应阀值γ_i；

根据网络的自适应阀值γ_i；判断出当前网络的拥塞状况；

根据当前网络的拥塞状况，更新网络最大可用帧率f_n-max。

本方案中，所述斜率k_i的计算公式为：

x_i=T_i-T_0；

y_i=α·y_i-1＋(1-α)·acc_i

acc_i=∑d₀＋d₁＋…＋d_i

d_i=t_i- t_i-1

其中，t为时间包的个数，

为x_i的平均数，

为y_i的平均数，T_i为当前包的接收时 间，T₀为第一个包的接收时间；t_i为当前包到达延时，t_i-1为前一包到达延时；α=0.9。

本方案中，所述网络的自适应阀值γi的计算公式为：

γ_i=γ_i-1＋△t_i·K_i·(|k_i|-γ_i-1)

△t_i表示接收数据包时延；K_i表示增长系数当|k_i|<γ_i-1时值为0.039，其他时候为0.0087。

本方案中，所述前网络的拥塞状况的判断方法为：当k_i大于γ_i时表示网络出现拥塞，否则当前网络畅通。

本方案中，所述根据当前网络的拥塞状况，更新网络最大可用帧率f_n-max，具体为：

当网络拥塞时：

f_n-max = f_now·0.85

当网络通畅时：

如果f_tail>f_n-max，则f_n-max = f_now·1.15

其中，f_now为当前实际帧率, 初始值为30；f_tail 为目标帧率。

本方案中，所述系统渲染表面检测模块计算出系统渲染帧率f_image及鼠标光标刷新率f_mouse；具体包括以下步骤：

使用系统api（DXGI）接口统计特定时间周期T_ms内产生的图像渲染次数N计算出当前系统渲染的刷新率得到对应帧率：

f_image = N *(1000/T_ms)

通过调用系统api函数以T₂（10ms）为周期进行鼠标移动事件的获取，并以T_ms为周期进行统计获取到移动次数N_m根据公式计算出光标刷新率f_mouse ：

当 N_m>0时，f_m-i = (N_m * T₂ /T_ms) * 90

f_mouse = max(30,f_m-i)

当N_m=0时，f_mouse = 0

将当前获取的f_image和f_mouse 通过函数调用帧率控制模块的实际帧率更新接口进行传递。

本方案中，所述目标帧率f_tail的计算公式为：

f_tail = max((f_image * b) , f_mouse)

f_tail = min(f_limit-max, f_tail)

其中

。

本方案中，所述实际设置帧率f_now的计算公式为：

对帧率设置值f_set进行平滑处理：

f_set = （f_tail-f_now）* 0.15 +f_now

对光标显示评估：

f_set = max(f_set ,f_mouse)

根据网络拥塞状态控制，计算实际设置帧率f_now：

当f_{set >} f_n-max，f_now = f_n-max

否则，f_now = max(f_set, f_limit-min)

其中，f_limit-min为设置的最小帧率。

本发明第二方面提供一种减低带宽的云电脑实时编码系统，所述系统包括：桌面抓屏模块、网络拥塞检测模块、帧率控制模块、系统渲染表面检测模块、图像控制模块、编码模块；

所述桌面抓屏模块用来根据设置的最大帧率f_limit-max进行桌面抓屏，获取抓屏数据；并将抓屏数据传递给图像控制模块；

所述网络拥塞检测模块用来根据接收的数据包状态回复计算出当前的网络状态值传递给帧率控制模块；

所述帧率控制模块用来通过网络更新接口更新网络最大可用帧率f_n-max；

所述系统渲染表面检测模块用来计算系统渲染帧率f_image及鼠标光标刷新率f_mouse；

所述帧率控制模块还用来根据系统渲染帧率f_image及鼠标光标刷新率f_mouse计算出一个目标帧率f_tail，并根据网络最大可用帧率f_n-max和平滑处理，最终计算出实际设置帧率f_now设置到图像控制模块中；

所述图像控制模块用来根据实际设置帧率f_now对抓屏的图像数据进行重采样，并将图像发送到编码器进行编码。

所述编码模块用来对图像控制模块传递来的数据进行编码，并将编码后的数据发送给云盒端。

本发明公开了一种减低带宽的云电脑实时编码方法及系统，使用动态帧率的方式在保证视频图像质量与视频流畅性的前提下，有效降低云电脑在使用中的整体带宽流量。达到画面变化小时低帧率，变化大时高帧率，并保证了光标的流畅性。在保证了视频及游戏享受到高刷体验时，又有效减少了云电脑整体带宽的消耗。

附图说明

图1示出了本申请一种基于大数据分析的健康警示方法的流程图；

图2示出了本申请一种基于大数据分析的健康警示系统的框图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

图1示出了本申请一种基于大数据分析的健康警示方法的流程图。

如图1所示，本发明提供了一种减低带宽的云电脑实时编码方法，所述方法包括以下步骤：

S102：桌面抓屏模块根据设置的最大帧率f_limit-max进行桌面抓屏，获取抓屏数据；

S104：网络拥塞检测模块根据接收的数据包状态回复计算出当前的网络状态值传递给帧率控制模块；帧率控制模块更新网络最大可用帧率f_n-max；

S106：系统渲染表面检测模块计算出系统渲染帧率f_image及鼠标光标刷新率f_mouse；

S108：帧率控制模块根据系统渲染帧率f_image及鼠标光标刷新率f_mouse计算出一个目标帧率f_tail，并根据网络最大可用帧率f_n-max和平滑处理，最终计算出实际设置帧率f_now设置到图像控制模块中；

S110：图像控制模块根据实际设置帧率f_now对抓屏的图像数据进行重采样, 可以始终是最新的抓屏图像数据，并将图像发送到编码器进行编码，编码完成后发送给云盒端。达到画面变化小时低帧率，变化大时高帧率，并保证了光标的流畅性。在保证了视频及游戏享受到高刷体验时，又有效减少了云电脑整体带宽的消耗。

需要说明的是，所述最大帧率f_limit-max由云盒端传递的最大解码帧率决定，本实施例当前最大帧率f_limit-max为144。

根据本发明实施例，所述网络拥塞检测模块根据接收的数据包状态回复计算出当前的网络状态值传递给帧率控制模块，并更新网络最大可用帧率f_n-max，包括以下步骤：

根据接收的数据包状态回复获取每个包接收和发送的时延差即d_i；

每隔一段时间，优先的，采用是20个数据包，计算该时间段内所有的d_i值；

然后通过最小二乘法求出这段时间内d_i值的变化直线的斜率k_i；

再根据k_i计算网络的自适应阀值γ_i；

根据网络的自适应阀值γ_i；判断出当前网络的拥塞状况；

根据当前网络的拥塞状况，更新网络最大可用帧率f_n-max。

需要说明的是，作为一个具体的实施例，本实施例参考webRTC TCC方法进行网络带宽估计，计算出当前网络的拥塞状况，再根据当前网络的拥塞状况，更新网络最大可用帧率f_n-max。

即根据接收的数据包状态回复获取每个包接收和发送的时延差即d_i=t_i- t_i-1（t_i为当前包到达延时，t_i-1为前一包到达延时）。每隔一段时间（本实施例默认是20个包）就计算一下这段时间内所有的di值，然后通过最小二乘法求出直线（直线y=k*x+b）的斜率。然后，再根据当前网络的拥塞状况，更新网络最大可用帧率f_n-max。

根据本发明实施例，所述斜率k_i的计算公式为：

x_i=T_i-T_0；

y_i=α·y_i-1＋(1-α)·acc_i

acc_i=∑d₀＋d₁＋…＋d_i

d_i=t_i- t_i-1

其中，t为时间包的个数，

为x_i的平均数，

为y_i的平均数，T_i为当前包的接收时 间，T₀为第一个包的接收时间；t_i为当前包到达延时，t_i-1为前一包到达延时；α=0.9。

需要说明的是，作为一个具体的实施例，本实施例中t=20，所以，斜率k_i的计算过程为：

首先，根据计算公式直线y_i =k_i* x_i +b，计算y值，

acc_i=∑d₀＋d₁＋…＋d_i

y_i=α·y_i-1＋(1-α)·acc_i(α=0.9)

y_i在网络好时该值不断下降，网络不好时该值不断增长。

然后，计算出x_i值：

x_i=T_i-T₀

其中，T_i为当前包的接收时间，T₀为第一个包的接收时间。

最后，计算出x,y的平均值，再通过他们计算出一条误差平方和最小的直线，并求出斜率k_i（值越小网络状态越好）

根据本发明实施例，所述网络的自适应阀值γi的计算公式为：

γ_i=γ_i-1＋△t_i·K_i·(|k_i|-γ_i-1)

△t_i表示接收数据包时延；K_i表示增长系数当|k_i|<γ_i-1时值为0.039，其他时候为0.0087。

根据本发明实施例，所述前网络的拥塞状况的判断方法为：当k_i大于γ_i时表示网络出现拥塞，否则当前网络畅通。

需要说明的是，若设网络拥塞状态为n_b

则当k_i大于γ_i时表示网络出现拥塞，

n_b = true

否则当前网络畅通，

n_b = false

根据本发明实施例，所述根据当前网络的拥塞状况，更新网络最大可用帧率f_n-max，具体为：

当网络拥塞时：

f_n-max = f_now·0.85

当网络通畅时：

如果f_tail>f_n-max，则f_n-max = f_now·1.15

其中，f_now为当前实际帧率, 初始值为30；f_tail 为目标帧率。

根据本发明实施例，所述系统渲染表面检测模块计算出系统渲染帧率f_image及鼠标光标刷新率f_mouse；具体包括以下步骤：

使用系统api（DXGI）接口统计特定时间周期T_ms，优选的，为250ms，内产生的图像渲染次数，其中，窗口变化越频繁渲染次数越大，N计算出当前系统渲染的刷新率得到对应帧率：

f_image = N *(1000/T_ms)

通过调用系统api函数以T₂（本实施例为10ms）为周期进行鼠标移动事件的获取，并以T_ms为周期进行统计获取到移动次数N_m根据公式计算出光标刷新率f_mouse ：

当 N_m>0时，f_m-i = (N_m * T₂ /T_ms) * 90

f_mouse = max(30,f_m-i)

当N_m=0时，f_mouse = 0

将当前获取的f_image和f_mouse 通过函数调用帧率控制模块的实际帧率更新接口进行传递。

根据本发明实施例，所述目标帧率f_tail的计算公式为：

f_tail = max((f_image * b) , f_mouse)

f_tail = min(f_limit-max, f_tail)

其中

。

根据本发明实施例，所述实际设置帧率f_now的计算公式为：

对帧率设置值f_set进行平滑处理：

f_set = （f_tail-f_now）* 0.15 +f_now

对光标显示评估：

f_set = max(f_set ,f_mouse)

根据网络拥塞状态控制，计算实际设置帧率f_now：

当f_{set >} f_n-max，f_now = f_n-max

否则，f_now = max(f_set, f_limit-min)

其中，f_limit-min为设置的最小帧率。

图2示出了本申请一种基于大数据分析的健康警示系统的框图。

如图2所示，本发明提供了一种减低带宽的云电脑实时编码系统，所述减低带宽的云电脑实时编码系统2包括：桌面抓屏模块21、网络拥塞检测模块22、帧率控制模块23、系统渲染表面检测模块24、图像控制模块25、编码模块26；

所述桌面抓屏模块21用来根据设置的最大帧率f_limit-max进行桌面抓屏，获取抓屏数据；并将抓屏数据传递给图像控制模块；

所述网络拥塞检测模块22用来根据接收的数据包状态回复计算出当前的网络状态值传递给帧率控制模块23；

所述帧率控制模块23用来通过网络更新接口更新网络最大可用帧率f_n-max；

所述系统渲染表面检测模块24用来计算系统渲染帧率f_image及鼠标光标刷新率f_mouse；

所述帧率控制模块23还用来根据系统渲染帧率f_image及鼠标光标刷新率f_mouse计算出一个目标帧率f_tail，并根据网络最大可用帧率f_n-max和平滑处理，最终计算出实际设置帧率f_now设置到图像控制模块25中；

所述图像控制模块25用来根据实际设置帧率f_now对抓屏的图像数据进行重采样，可以始终是最新的抓屏图像数据，并将图像发送到编码器26进行编码。

所述编码模块26用来对图像控制模块传递来的数据进行编码，并将编码后的数据发送给云盒端。

本发明公开了一种减低带宽的云电脑实时编码方法及系统，使用动态帧率的方式在保证视频图像质量与视频流畅性的前提下，有效降低云电脑在使用中的整体带宽流量。达到画面变化小时低帧率，变化大时高帧率，并保证了光标的流畅性。在保证了视频及游戏享受到高刷体验时，又有效减少了云电脑整体带宽的消耗。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种减低带宽的云电脑实时编码方法，其特征在于，所述方法包括以下步骤：

桌面抓屏模块根据设置的最大帧率f_limit-max进行桌面抓屏，获取抓屏数据；

网络拥塞检测模块根据接收的数据包状态回复计算出当前的网络状态值传递给帧率控制模块；帧率控制模块更新网络最大可用帧率f_n-max；

系统渲染表面检测模块计算出系统渲染帧率f_image及鼠标光标刷新率f_mouse；

帧率控制模块根据系统渲染帧率f_image及鼠标光标刷新率f_mouse计算出一个目标帧率f_tail，并根据网络最大可用帧率f_n-max和平滑处理，最终计算出实际设置帧率f_now设置到图像控制模块中；

图像控制模块根据实际设置帧率f_now对抓屏的图像数据进行重采样，并将图像发送到编码器进行编码，编码完成后发送给云盒端。

2.根据权利要求1所述的一种减低带宽的云电脑实时编码方法，其特征在于，所述网络拥塞检测模块根据接收的数据包状态回复计算出当前的网络状态值传递给帧率控制模块，并更新网络最大可用帧率f_n-max，包括以下步骤：

根据接收的数据包状态回复获取每个包接收和发送的时延差即d_i；

每隔一段时间，计算该时间段内所有的d_i值；

然后通过最小二乘法求出这段时间内d_i值的变化直线的斜率k_i；

再根据k_i计算网络的自适应阀值γ_i；

根据网络的自适应阀值γ_i；判断出当前网络的拥塞状况；

根据当前网络的拥塞状况，更新网络最大可用帧率f_n-max。

3.根据权利要求2所述的一种减低带宽的云电脑实时编码方法，其特征在于，所述斜率k_i的计算公式为：

x_i=T_i-T_0；

y_i=α·y_i-1＋(1-α)·acc_i

acc_i=∑d₀＋d₁＋…＋d_i

d_i=t_i- t_i-1

其中，t为时间包的个数，

为x_i的平均数，

为y_i的平均数，T_i为当前包的接收时间，T₀ 为第一个包的接收时间；t_i为当前包到达延时，t_i-1为前一包到达延时；α=0.9。

4.根据权利要求2或3所述的一种减低带宽的云电脑实时编码方法，其特征在于，所述网络的自适应阀值γi的计算公式为：

γ_i=γ_i-1＋△t_i·K_i·(|k_i|-γ_i-1)

其中，△t_i表示接收数据包时延；K_i表示增长系数当|k_i|<γ_i-1时值为0.039，其他时候为0.0087。

5.根据权利要求4所述的一种减低带宽的云电脑实时编码方法，其特征在于，所述前网络的拥塞状况的判断方法为：当k_i大于γ_i时表示网络出现拥塞，否则当前网络畅通。

6.根据权利要求3或5所述的一种减低带宽的云电脑实时编码方法，其特征在于，所述根据当前网络的拥塞状况，更新网络最大可用帧率f_n-max，具体为：

当网络拥塞时：

f_n-max = f_now·0.85

当网络通畅时：

如果f_tail>f_n-max，则f_n-max = f_now·1.15

其中，f_now为当前实际帧率, 初始值为30；f_tail为目标帧率。

7.根据权利要求6所述的一种减低带宽的云电脑实时编码方法，其特征在于，所述系统渲染表面检测模块计算出系统渲染帧率f_image及鼠标光标刷新率f_mouse；具体包括以下步骤：

使用系统api接口统计特定时间周期T_ms内产生的图像渲染次数N计算出当前系统渲染的刷新率得到对应帧率：

f_image = N *(1000/T_ms)

通过调用系统api函数以T₂为周期进行鼠标移动事件的获取，并以T_ms为周期进行统计获取到移动次数N_m根据公式计算出光标刷新率f_mouse ：

当 N_m>0时，f_m-i = (N_m * T₂ /T_ms) * 90

f_mouse = max(30,f_m-i)

当N_m=0时，f_mouse = 0

将当前获取的f_image和f_mouse 通过函数调用帧率控制模块的实际帧率更新接口进行传递。

8.根据权利要求7所述的一种减低带宽的云电脑实时编码方法，其特征在于，所述目标帧率f_tail的计算公式为：

f_tail= max((f_image * b) , f_mouse)

f_tail= min(f_limit-max, f_tail)

其中

。

9.根据权利要求8所述的一种减低带宽的云电脑实时编码方法，其特征在于，所述实际设置帧率f_now的计算公式为：

对帧率设置值f_set进行平滑处理：

f_set = （f_tail-f_now）* 0.15 +f_now

对光标显示评估：

f_set = max(f_set,f_mouse)

根据网络拥塞状态控制，计算实际设置帧率f_now：

当f_{set >} f_n-max，f_now = f_n-max

否则，f_now = max(f_set, f_limit-min)

其中，f_limit-min为设置的最小帧率。

10.一种减低带宽的云电脑实时编码系统，其特征在于，所述系统包括：桌面抓屏模块、网络拥塞检测模块、帧率控制模块、系统渲染表面检测模块、图像控制模块、编码模块；

所述桌面用来抓屏模块根据设置的最大帧率f_limit-max进行桌面抓屏，获取抓屏数据；并将抓屏数据传递给图像控制模块；

所述网络拥塞检测模块用来根据接收的数据包状态回复计算出当前的网络状态值传递给帧率控制模块；

所述帧率控制模块用来通过网络更新接口更新网络最大可用帧率f_n-max；

所述系统渲染表面检测模块用来计算系统渲染帧率f_image及鼠标光标刷新率f_mouse；

所述帧率控制模块还用来根据系统渲染帧率f_image及鼠标光标刷新率f_mouse计算出一个目标帧率f_tail，并根据网络最大可用帧率f_n-max和平滑处理，最终计算出实际设置帧率f_now设置到图像控制模块中；

所述图像控制模块用来根据实际设置帧率f_now对抓屏的图像数据进行重采样，并将图像发送到编码器进行编码；

所述编码模块用来对图像控制模块传递来的数据进行编码，并将编码后的数据发送给云盒端。

Images