CN101901126B - 组合式大屏幕流媒体播放的计算机控制方法 - Google Patents

Abstract

组合式大屏幕流媒体播放的计算机控制方法，属于组合式大屏幕的显示控制领域，采用屏幕比较传输的方式，即选取每一帧图像中的若干像素点作为采样点，将这些点分别与前一帧中的对应点比较：若不同，认为该点周围区域内的图像已发生改变，将该区域内的图像传至目的主机；若相同，认为该点周围区域图像没有变化，不进行传输；通过比较传输，当图像与上一帧相比变化不大时，可大大减少传输的数据量，本发明方法的另一个优点是价格低廉且通用性更强。

Description

组合式大屏幕流媒体播放的计算机控制方法

技术领域

本发明属于组合式大屏幕的显示控制领域，特别涉及一种组合式大屏幕流媒体播放的计算机控制方法。

背景技术

随着社会信息化的高速增长，信息的可视化需求也急剧扩大，同时高端可视化的难度也越来越高，单台显示设备所能显示的信息量已经远远不能满足市场需求，特别是一些监控中心，指挥中心，调度中心等各行各业重要场所，大屏幕拼接显示系统已经成为信息可视化不可或缺的核心基础系统，大多数传统的解决方案采用专用的硬件设备和视频技术，向用户提供高清晰度的视频输出，但这种方式的电视墙大多实现复杂且价格昂贵，使它很难得到大范围推广应用。

发明内容

为克服上述方法的不足，本发明提出一种组合式大屏幕流媒体播放的计算机控制方法，通过采用组合式大屏幕实现流媒体播放，以达到节约成本、可大范围使用的目的。

本发明的技术方案是这样实现的：

由于网络带宽、计算机处理能力、显存容量等指标均是有限的，组合式大屏幕的实时显示效果要受到上述因素制约和限制，总体来讲，用户的视觉体验E可以定义为：

E＝F(V，Q)            (1)

式中，V代表传输图像的快慢程度；Q代表每一帧图像的质量，显然，当图像的传输越快时，播放出的画面越流畅；当每一帧图像的质量越高时，呈现出的画面越清晰；用户的体验E将随着V和Q的增大而提升，因此成正比例关系，其中F表示函数，其具体表达式如下：

$E={\mathrm{\α}}_1\frac{V_r}{V_e}+{\mathrm{\α}}_2+\frac{Q_r}{Q_e}---\left(2\right)$

式中，V_r是实际的传输快慢，V_e是用户的期望值，Q_r是实际的图像质量，Q_e是用户的图像质量期望值，α₁和α₂分别是V和Q的权重，有α₁，α₂∈[0，1]且α₁+α₂＝1，又因为V_r∈[0，V_e]，Q_r∈[0，Q_e]，因此，E∈[0，1]；

V_r取决于网络带宽，以及主机对图像的处理效率，因此：

V_r＝F′(B，T)            (3)

式中，B表示网络带宽，它直接影响着每秒传输的帧数的多少；T代表主机处理一帧图像所需要的时间；显然，B越大，V越大；T越大，V越小，因此V与B成正比关系，与T成反比关系，可以表示为：

$V_r=\frac{{\mathrm{\α}}_3{B}_r/B_s}{{\mathrm{\α}}_4{T}_r/T_s}---\left(4\right)$

式中，B_r表示实际的带宽，B_s是带宽的标准值，在这里用作比对的标准；T_r是处理一帧的实际时间，T_s是处理一帧的标准时间；α₃和α₄分别是B和T的权重，有α₃，α₄∈[0，1]且α₃+α₄＝1；

其中每一帧的实际处理时间T_r取决于主机处理一个像素点的时间T′与每一帧实际需要处理的点数N_r

T_r＝N_r×T′        (5)

同理，每一帧的标准处理时间T_s表示为：

T_s＝N_s×T′        (6)

式中，N_s是一帧图像中需要处理的像素点数的标准值；

本发明采用屏幕比较传输的方式，即选取每一帧图像中的若干像素点作为采样点，将这些点分别与前一帧中的对应点比较：若不同，认为该点周围区域内的图像已发生改变，将该区域内的图像传至目的主机；若相同，认为该点周围区域图像没有变化，不进行传输；通过比较传输，当图像与上一帧相比变化不大时，可大大减少传输的数据量，但由于以一个像素点代一个区域，判断不能完全精确，也会影响图像的质量，因此，图像质量Q_r定义为采样点数与总像素点数的比值：

$Q_r={\mathrm{\α}}_5\frac{N_{\mathrm{Samplel}}}{N_{\mathrm{Total}1}}+{\mathrm{\α}}_6\frac{N_{\mathrm{Sample}2}}{N_{\mathrm{Total}2}}---\left(7\right)$

公式(7)将一帧图像划分为重要区域和非重要区域，N_Total1表示一帧图像中重要区域内的像素点总数，N_Total2表示非重要区域内的像素点总数，N_Sample1表示一帧图像中采样的像素点落在重要区域中的个数，N_Sample2表示采样的像素点落在非重要区域中的个数，α₅和α₆分别为两个比值的权重，值均位于[0，1]区间内，且α₅大于α₆；重要区域的识别需要由具体的语义环境决定，本发明从通用的角度出发，只考虑一般情况，不设定具体的语义环境，因此认为一帧图像全部为重要区域：用N_Total表示一帧图像的全部像素点数，N_Sample表示采样的像素点总数，有：N_Total＝N_Total1，N_Sample＝N_Sample1，α₅＝1，α₆＝0，因此公式(7)在本说明书中用公式(8)来代替：

$Q_r=\frac{N_{\mathrm{Samplel}}}{N_{\mathrm{Total}2}}=\frac{N_{\mathrm{Sample}}}{N_{\mathrm{Total}}}---\left(8\right)$

采样比Q_r影响了每一帧图像中需要处理的像素点数，且两者成正比关系：当采样比增大，需要处理的像素点数也增多；反之，则相应减小，因此可以将公式(5)中的N_r表示为：

$N_r=\mathrm{\β}\frac{N_{\mathrm{Sample}}}{N_{\mathrm{Total}}}\×N_{\mathrm{Total}}=\mathrm{\β}\×N_{\mathrm{Sample}}---\left(9\right)$

上式中，β是正比例系数，公式(6)中的N_s表示需要处理的像素点的标准值，这里设为N_Total：

N_s＝N_Total        (10)

由式(4)、(5)、(6)、(8)、(9)、(10)，可以推出：

$V_r\×Q_r=\frac{{\mathrm{\α}}_3{B}_r}{{\mathrm{\α}}_4\mathrm{\β}{B}_s}---\left(11\right)$

因此，当网络带宽一定时，V与Q成反比例关系：图像质量越高，图像传输就越慢，播放越不流畅；相反，图像播放越流畅，每一帧图像的质量就要降低，因此，用户需根据具体情况决定倾向于哪种性能，在V和Q之间取一个折衷；本发明以用户指定的两个期望值V_c和Q_o为输入参数，计算出最接近期望值且使E达到最大的V_r和Q_r，根据这些参数控制组合式大屏幕的显示，以满足用户对效果的要求；

组合式大屏幕流媒体播放的计算机控制方法包括源主机控制方法和目的主机控制方法，其中，源主机控制方法包括以下步骤：

步骤1：提取源主机每一帧图像的采样点；

1)用户输入参数：用户的图像质量期望值Q_e，图像传输快慢的期望值V_e；

2)计算每一帧图像中的采样点个数：

$\left\{\begin{array}{c}E=\frac{{\mathrm{\α}}_1}{V_e}{V}_r+\frac{{\mathrm{\α}}_2}{Q_e}{Q}_r\\ V_r\×Q_r=\frac{{\mathrm{\α}}_3{B}_r}{{\mathrm{\α}}_4\mathrm{\β}{B}_s}\end{array}\·\·\·\·\·\·\·\·\·\·\·\·\·\·\right.\left(\begin{array}{c}{V}_r\≤V_e\\ Q_r\≤Q_e\end{array}\right)---\left(12\right)$

式中，E指用户的视觉体验，E∈[0，1]；Q_r指实际的图像质量，Q_e指用户期望的图像质量；α₁是指图像传输快慢的权重，α₂是指图像质量的权重，α₁，α₂∈[0，1]且α₁+α₂＝1；α₃是指网络带宽的权重，α₄是指主机处理一帧图像所需时间的权重，α₃，α₄∈[0，1]且α₃+α₄＝1；

利用公式(12)计算的V_r值和Q_r值，使E在约束条件下达到最大值，计算每一帧图像中的采样点个数N_sample，公式如下：

N_Sample＝Q_r×N_Total        (2)

式中，N_Total表示一帧图像的全部像素点数；

步骤2：根据采样点个数进行屏幕划分；

屏幕的划分参数包括：横向划分区域数X、纵向划分区域数Y、区域横向宽w、区域纵向宽h、横向步进调整值Δ_width以及纵向步进调整值Δ_height，所述的横向步进调整值及纵向步进调整值分别是与w、h互质的最小正整数，各参数的计算公式如下：

1)计算横向划分区域数X和纵向划分区域数Y，公式如下：

$\left\{\begin{array}{c}X\×Y=N_{\mathrm{Sample}}\\ \frac{X}{Y}=\frac{R_{\mathrm{width}}}{R_{\mathrm{height}}}\end{array}\right.---\left(14\right)$

式中，R_width为屏幕横向分辨率，R_height为屏幕纵向分辨率；

2)计算区域横向宽w和区域纵向宽h，公式如下：

$\begin{array}{c}w=\frac{R_{\mathrm{width}}}{X}\\ h=\frac{R_{\mathrm{height}}}{Y}\end{array}---\left(15\right)$

3)计算横向步进调整值Δ_width以及纵向步进调整值Δ_height：

横向步进调整值Δ_width包括以下步骤：

(a)如果w的值小于5，返回1；

(b)设置变量i等于2；

(c)如果变量i与w互质，返回i；

(d)i增加1，转至(c)；

纵向步进调整值Δ_height包括以下步骤：

(a)如果h的值小于5，返回1；

(b)设置变量i等于2；

(c)如果变量i与h互质，返回i；

(d)i增加1，转至(c)；

步骤3：进行屏幕比较并实时传输图像；

(1)发送第一帧图像和刷屏信号，并保存第一帧图像数据；

(2)设i_init，j_init为采样点的初始坐标，并初始化为0，设i，j为采样点的横、纵坐标，并分别初始化为i_init，j_init：

i_init＝0

j_init＝0

i＝i_init

j＝j_init

(3)提取新的一帧图像的数据；

(4)比较当前帧图像与前一帧图像在坐标i，j处的像素点，若不相同，将i，j对应点所在区域内图像数据压缩并传至对应的目的主机；

(5)将i增大一个区域的横向宽度，将采样点移到下一个区域内

i＝i+w

(6)如果i小于R_width，返回(4)，否则，令i_init增加一个横向步进调整值：

i_init＝(i_init+Δ_width)％w

将两者的和与区域宽度w取余是为了确保每一行的第一个采样点落在该行的第一个区域内；

(7)将j增大一个区域的纵向宽度，将采样点移动到下一行区域，将横坐标修改为i_init：

j＝j+h

i＝i_init

(8)如果j小于R_height，返回(4)，否则，令j_init增加一个纵向步进调整值：

j_init＝(j_init+Δ_height)％h

将两者的和与区域高度h取余是为了确保每一帧图像的第一个采样点落在该帧的第一行内

(9)将纵坐标修改为j_init：

j＝j_init

(10)向目的主机发送刷屏信号；

(11)保存当前帧的图像数据；

(12)如果未接到结束信号，则返回(3)，否则，向目的主机发送结束指令。

目的主机的控制方法如下：

(1)等待接收来自源主机的指令；

(2)如果指令为结束指令，则结束；

(3)如果指令包含当前帧发生变化的图像区域的数据，将该数据解压并放入显存中对应的区域内，但并不将改动实时显示出来；

(4)如果指令为刷屏指令，向显示器发送更新命令，将显存内更新过的图像内容在显示器上显示出来；

(5)执行步骤(1)。

本发明优点：本发明价格更加低廉，且随着电子工业技术的进步，硬件成本逐渐降低，这种价格优势将进一步增大；同时，由于采用普通的PC机及局域网通信技术，本发明很容易部署和实现，适用于很多应用环境，因而通用性更强；本发明的另一个显著特点是它是用户可定制的：它为用户提供了品质参数供用户设置，按照用户的需求自动调整、控制组合屏幕的显示，以满足不同用户在不同应用场景下的需求，因此具有很高的实用价值和经济价值。

附图说明

图1为组合式大屏幕流媒体播放的计算机控制方法组合式大屏幕示意图；

图2为组合式大屏幕流媒体播放的计算机控制方法源主机控制方法流程图；

图3为组合式大屏幕流媒体播放的计算机控制方法目的主机控制方法流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细说明。

如图1所示，组合式大屏幕由九个屏幕组成，每个屏幕由一个目的主机控制，提取源主机图像的每一帧，将一帧图像分割成九份，然后将每一份发送至对应的目的主机上，再由目的主机将图像显示在屏幕上，具体过程如下：

假设控制端显示器分辨率为4196*2160；用户要求V_e＝0.9，Q_e＝0.5，取α₁＝0.5，α₂＝0.5，α₃＝0.5，α₄＝0.5，β＝5，B_r＝B_s＝100Mbpms，实施过程如下：

步骤1：提取源主机每一帧图像的采样点；

(1)用户输入参数：用户的图像质量期望值Q_e＝0.5，图像传输快慢的期望值V_e＝0.9；

(2)计算每一帧的采样点个数：

根据公式：

$\left\{\begin{array}{c}E=\frac{0.5}{0.9}{V}_r+\frac{0.5}{0.5}{Q}_r\\ V_r\×Q_r=\frac{0.5\×100}{0.5\×5\×100}\end{array}\right.\·\·\·\·\·\·\·\·\·\·\·\·\left(\begin{array}{c}{V}_r\≤0.9\\ Q_r\≤0.5\end{array}\right)$

解得当V_r＝0.9，Q_r＝0.22，E可以达到最大，则每一帧图像中应选取的采样点个数为：

N_Sample＝Q_r×N_Total＝0.22×4196×2160＝1993939

步骤2：根据采样点个数确定屏幕划分方案：

1)计算横向划分区域数X，纵向划分区域数Y，公式如下：

$\left\{\begin{array}{c}X\×Y=1993939\\ \frac{X}{Y}=\frac{4096}{2160}\end{array}\right.$

解得X＝1944，Y＝1025

2)计算区域横向宽w、区域纵向宽h，公式如下：

$w=\frac{R_{\mathrm{width}}}{X}=\frac{4096}{1944}=2$

$h=\frac{R_{\mathrm{height}}}{X}=\frac{2160}{1025}=2$

3)计算横向步进调整值Δ_width，纵向步进调整值Δ_height：

将w＝2代入求Δ_width的过程如下：

(a)判断2小于5，则返回1；

因此，Δ_width＝1；

同理，Δ_height＝1；

上述计算步骤由于输入的值都小于5，因此一步就结束，现假设输入w＝h＝12，则计算过程如下：

(a)判断12大于等于5，不返回；

(b)令x＝2；

(c)x＝2与12不互质，x的值增加1；

(d)x＝3与12不互质，x的值增加1；

(e)x＝4与12不互质，x的值增加1；

(f)x＝5与12互质，返回5；

因此Δ_width＝5；

同理Δ_height＝5；

步骤3：进行屏幕比较并实时传输图像：

(1)向目的端发送第一帧图像和刷屏指令，并保存图像数据；

(2)将采样点初始横坐标i_init、纵坐标j_init置为0，将采样点横坐标i、纵坐标j置为采样点初始横、纵坐标；

(3)获得新一帧的图像数据；

(4)比较新、旧帧图像上的采样点是否相同，若不相同，压缩该采样点所在区域的图像数据，并将数据发送至对应目的端主机，若相同则执行(5)；

(5)将i增加一个区域宽度2，并判断是否大于等于屏幕横向分辨率4096，如果不是，转至(4)；

(6)将i_init增加一个横向步进调整值1，并与区域宽度2取余；

(7)将j增加一个区域高度2，将i置为i_init，并判断j是否大于等于屏幕纵向分辨率2160，如果不是，转至(4)；

(8)将j_init增加一个纵向步进调整值1，并与区域高度2取余；

(9)将纵坐标修改为j_init：

j＝j_init

(10)向全部目的主机发送刷屏命令；

(11)保存当前图像的数据；

(12)判断是否应该结束，如果是，则结束，如果否，将i、j置为i_init、j_init，转至(4)；

目的端主机控制方法包括以下步骤：

(1)接收控制端主机发来的命令；

(2)如果命令为退出命令，程序结束，退出；

(3)如果命令包含图像变化部分的数据，将此数据解压缩，并存放到显卡缓存中的对应位置；

(4)如果命令为刷屏命令，将显卡缓存中更新后的数据同时显示在屏幕上；

(5)转至(1)。

Claims (1)

1.一种组合式大屏幕流媒体播放的计算机控制方法，其特征在于：包括源主机控制方法和目的主机控制方法，其中，源主机控制方法包括以下步骤：

步骤1：提取源主机每一帧图像的采样点；

1)用户输入参数：用户的图像期望值Q_e，图像传输快慢的期望值V_e；

2)计算每一帧图像中的采样点个数：

$\left\{\begin{array}{c}E=\frac{{\mathrm{\α}}_1}{V_e}{V}_r+\frac{{\mathrm{\α}}_1}{Q_e}{Q}_r\\ V_r\×Q_r=\frac{{\mathrm{\α}}_3{B}_r}{{\mathrm{\α}}_4\mathrm{\β}{B}_s}\end{array}\right.\·\·\·\left(\begin{array}{c}{V}_r\≤V_e\\ Q_r\≤Q_e\end{array}\right)---\left(12\right)$

式中，E指用户的视觉体验，E∈[0，1]；Q_r指实际的图像质量，Q_e指用户期望的图像质量；α₁是指图像传输快慢的权重，α₂是指图像质量的权重，α₁，α₂∈[0，1]且α₁+α₂＝1；α₃是指网络带宽的权重，α₄是指主机处理一帧图像所需时间的权重，α₃，α₄∈[0，1]且α₃+α₄＝1；Vr是实际的传输快慢，Br表示实际的带宽，Bs是带宽的标准值，β是正比例系数；

利用公式(12)计算的V_r值和Q_r值，使E在约束条件下达到最大值，计算每一帧图像中的采样点个数N_sample，公式如下：

N_Sample＝Q_r×N_Total    (13)

式中，N_Total表示一帧图像的全部像素点数；

步骤2：根据采样点个数进行屏幕划分；

屏幕的划分参数包括：横向划分区域数X、纵向划分区域数Y、区域横向宽w、区域纵向宽h、横向步进调整值Δ_width以及纵向步进调整值Δ_height，所述的横向步进调整值及纵向步进调整值分别是与w、h互质的最小正整数，各参数的计算公式如下：

1)计算横向划分区域数X和纵向划分区域数Y，公式如下：

$\left\{\begin{array}{c}X\×Y=N_{\mathrm{Sample}}\\ \frac{X}{Y}=\frac{R_{\mathrm{width}}}{R_{\mathrm{height}}}\end{array}\right.---\left(14\right)$

式中，R_width为屏幕横向分辨率，R_height为屏幕纵向分辨率；

2)计算区域横向宽w和区域纵向宽h，公式如下：

$w=\frac{R_{\mathrm{width}}}{X}$ (15)

$h=\frac{R_{\mathrm{height}}}{Y}$

3)计算横向步进调整值Δ_width以及纵向步进调整值Δ_height：

横向步进调整值Δ_width包括以下步骤：

(a)如果w的值小于5，返回1；

(b)设置变量i等于2；

(c)如果变量i与w互质，返回i；

(d)i增加1，转至(c)；

纵向步进调整值Δ_height包括以下步骤：

(a)如果h的值小于5，返回1；

(b)设置变量i等于2；

(c)如果变量i与h互质，返回i；

(d)i增加1，转至(c)；

步骤3：进行屏幕比较并实时传输图像；

(1)发送第一帧图像和刷屏信号，并保存第一帧图像数据；

(2)设i_init，j_init为采样点的初始坐标，并初始化为0，设i，j为采样点的横、纵坐标，并分别初始化为i_init，j_init：

i_init＝0

j_init＝0

i＝i_init

j＝j_init

(3)提取新的一帧图像的数据；

(4)比较当前帧图像与前一帧图像在坐标i，j处的像素点，若不相同，将i，j对应点所在区域内图像数据压缩并传至对应的目的主机；

(5)将i增大一个区域的横向宽度，将采样点移到下一个区域内：

i＝i+w

(6)如果i小于R_width，返回(4)，否则，令i_init增加一个横向步进调整值：

i_init＝(i_init+Δ_width)％w

将两者的和与区域宽度w取余是为了确保每一行的第一个采样点落在该行的第一个区域内；

(7)将j增大一个区域的纵向宽度，将采样点移动到下一行区域，将横坐标修改为i_init：

j＝j+h

i＝i_init

(8)如果j小于R_height，返回(4)，否则，令j_init增加一个纵向步进调整值：

j_init＝(j_init+Δ_height)％h

将两者的和与区域高度h取余是为了确保每一帧图像的第一个采样点落在该帧的第一行内；

(9)将纵坐标修改为j_init：

j＝j_init

(10)向目的主机发送刷屏信号；

(11)保存当前帧的图像数据；

(12)如果未接到结束信号，则返回(3)，否则，向目的主机发送结束指令；

所述的目的主机控制方法如下：

(1)等待接收来自源主机的指令；

(2)如果指令为结束指令，则结束；

(3)如果指令包含当前帧发生变化的图像区域的数据，将该数据解压并放入显存中对应的区域内，但并不将改动实时显示出来；

(4)如果指令为刷屏指令，向显示器发送更新命令，将显存内更新过的图像内容在显示器上显示出来；

(5)执行步骤(1)。

Images