CN103886853A - 显示墙布局优化 - Google Patents

Abstract

本申请公开显示墙布局优化。本发明提供一种系统、方法和装置，用于针对显示系统的显示墙上的窗口布局，优化地确定每个窗口中显示的显示内容的质量而不超越系统资源。显示系统从至少一个源接收显示内容，至少一个源中的至少一个以多质量提供显示内容。显示显示内容使用系统资源，显示高质量显示内容比显示低质量显示内容使用更多系统资源。接收的布局定义了显示墙上的窗口安排，其中每个窗口被指定显示来自一个源的显示内容。目标函数定义了每个窗口中显示的显示内容的质量。优化目标函数来确定不超越系统资源的优化布局。

Description

显示墙布局优化

技术领域

本发明一般关于显示系统(例如，显示墙)，且尤其关于用于优化在显示系统中显示的窗口布局的方法和系统。 

背景技术

现代显示系统通常包括由显示渲染器(例如，监视器、电视机、和／或投影仪)的集合组成的显示墙。显示系统通常被分配适合于显示墙的特定使用的布局。该布局描述了带有提供不同质量的显示内容的相关联源的窗口安排。每个窗口在显示内容可见的显示墙上定义了一个区域。由于显示系统部件的有限的系统资源，重要的是在布局的每个窗口中通过选择显示内容质量来管理系统资源，从而使得显示系统能够显示如布局中所定义的显示内容。例如，在接收来自源的通过网络流送的显示内容的显示墙中，显示渲染器依赖和受限制于网络来接收显示内容源。此外，每个显示渲染器具有受限的能力并且仅能够接收和组成一定数量的显示内容。由于其受限的能力，显示渲染器可能需要使用更低质量的显示内容。 

在被分配包括小数量窗口的小布局的显示系统中，这可能手动确定在每个窗口中显示的显示内容的质量。然而随着布局中窗口数量的增加，手动确定在每个窗口显示的显示内容的质量变得非常耗时和非常困难。也有这样的可能，用户可能错误地超越系统资源(导致显示系统不能显示该布局)或当系统有可用资源来显示更高质量显示内容时分配更低质量的显示内容。 

发明内容

本发明提供，用于显示墙窗口的布局的系统和方法，该系统和方法用于优化地确定每个窗口中显示的内容质量而无需超越系统资源。 

根据本发明的一个方面，提供控制器用于优化地确定，用于在显示系统的显示墙中的窗口布局、每个窗口中显示的显示内容的质量，而无需超越系统资 源。显示系统从至少一个源接收显示内容，该至少一个源中的至少一个提供多种质量的显示内容。对显示内容进行显示使用系统资源，且显示高质量显示内容比显示低质量显示内容使用更多系统资源。安排控制器来接收该布局。该布局定义显示墙中窗口的安排，其中每个窗口涉及从一个源显示显示内容。还安排控制器来构建目标函数，该目标函数定义了每个窗口中显示的显示内容的质量。控制器包括处理器。安排处理器来优化该目标函数，以确定不超越系统资源的优化布局。控制器输出优化布局。 

可以对目标函数加权来支持选择高质量显示内容用于具有更大面积的窗口。 

在目标函数中，赋予每个窗口用来支持选择高质量显示内容用于具有更大面积的窗口的权重可与窗口的面积成比例。 

优化目标函数可以包括最大化目标函数，使得对于优化布局，使用了最大量的系统资源而不会超越系统资源。 

目标函数可以是通过使用整数编程而最大化的线性目标函数。 

目标函数可以通过使用二进制整数编程获得最大化。 

对目标函数的约束可在优化目标函数之前被构建，并且目标函数可在约束中被优化。 

显示系统可通过网络接收显示内容，并且一个约束可以是接收所有显示内容所需求的带宽不超越分配的网络带宽的最大值。 

在优化中，目标函数可以不对给定窗口中的显示内容分配质量水平，从而使得在给定的窗口中可能不显示该显示内容。 

对目标函数的约束可在优化目标函数之间被构建，该目标函数可以在约束中被优化，并且一个约束可以是每个窗口被分配质量等级，该质量等级包含在窗口中对显示内容进行显示。 

多种质量可以是低质量和高质量。 

多种质量可以通过分辨率、压缩、颜色内容、加密、或进一步处理要求中的至少一个来区别。 

布局可以定义窗口数量、每个窗口的位置、每个窗口的形状、以及每个窗口的面积中的至少一个。 

布局可以是用户定义的布局。 

每个源可以是照相机或计算机中的一个。 

控制器可以包括安排来执行存储在存储器中的指令的处理器。 

显示系统可以从不止一个源接收显示内容。 

控制器可以计算布局中的窗口并且为布局中每个窗口计算窗口面积。 

控制器可以进一步被安排来接收提交的布局并且处理器可以进一步被安排为作为一个种子点使用提交的布局来优化目标函数。 

控制器可以进一步被安排来提供指令给至少一个源，该至少一个源指定了输出显示内容的质量。 

根据本发明的另一个方面，提供显示系统，用于针对在显示系统的显示墙上的窗口布局，优化地确定在每个窗口显示的显示内容的质量并且不超越系统资源。显示系统包括上述的控制器、至少一个显示渲染器、以及显示墙。每个显示渲染器负责在显示墙的特定区域上显示显示内容。每个显示渲染器从至少一个源中的至少一个接收显示内容。窗口布局在显示墙上显示，并且显示内容以优化布局的指定质量等级在每个窗口中显示。 

至少一个显示渲染器可以通过网络接收显示内容。系统资源可以包括最大网络带宽、每个显示渲染器接收显示内容的最大带宽、每个显示渲染器解码显示内容的最大解码容量、以及每个源编码显示内容的最大编码容量中的至少一个。 

可以约束目标函数从而使得对于每个显示渲染器，通过每个显示渲染器经由网络接收所有显示内容需要的带宽不超越那个显示渲染器的最大带宽。 

可以约束目标函数从而使得对于每个显示渲染器，解码通过那个显示渲染器接收的所有显示内容需要的解码容量不超越可用于那个显示渲染器来解码显示内容的最大解码容量。 

可以约束目标函数从而使得对于每个显示渲染器，编码通过那个显示渲染器接收的所有显示内容需要的编码容量不超越可用于每个源来编码显示内容的最大编码容量。 

系统可以包括至少两个显示渲染器。 

对于窗口跨越多显示渲染器，可以约束目标函数来对窗口的每个区域应用同样的质量。 

布局中的至少一个窗口可以包括由至少两个显示渲染器显示的显示内容。 

对于窗口跨越多显示渲染器，可以约束目标函数来对窗口的每个区域应用同样的质量。 

布局中的至少一个窗口可以包括由至少两个显示渲染器显示的显示内容。 

至少两个显示渲染器可有不同的屏分辨率、像素数量、像素密度中的至少一个。 

显示系统可以从不止一个源接收显示内容。 

目标函数M可以被定义为： 

$M=\underset{i}{\overset{N}{\mathrm{\Σ}}}\underset{j}{\overset{n_i}{\mathrm{\Σ}}}(w_x{x}_{\mathrm{ij}}+w_y{y}_{\mathrm{ij}})a_{\mathrm{ij}},$

其中N是显示渲染器的数量，n_i是第i个显示渲染器将显示的布局中窗口的数量，w_x是给低质量显示内容的加权因子，w_y是给高质量内容的加权因子，其中如果第i个显示渲染器在窗口w_ij使用低质量显示内容时，则w_x＜w_y，x_ij＝1，如果第i个显示渲染器在窗口w_ij使用高质量显示内容时，则y_ij=1，以及a_ij是窗口w_ij的面积。 

控制器可以对布局中的每个窗口计算w_ij和a_ij。 

若布局中相邻窗口w_ij和w_kl从同样源接收显示内容，并且窗口w_ij是在第i个显示渲染器上，并且w_kl是在第k个显示渲染器上，则可以约束目标函数M从而使得x_ij＝x_kl和y_ij＝y_kl。 

可以根据如下的约束来约束目标函数M： 

$b_x\underset{j}{\overset{n_i}{\mathrm{\Σ}}}{x}_{\mathrm{ij}}+b_y\underset{j}{\overset{n_i}{\mathrm{\Σ}}}{y}_{\mathrm{ij}}\≤P,i=1...N,$

其中b_x是接收低质量显示内容的所需带宽，b_y是接收高质量显示内容的所需带宽，并且P是显示渲染器用于接收显示内容的可用最大带宽。 

可以根据如下约束来约束目标函数M： 

b_xX+b_yY≤B 

其中b_x是接收低质量显示内容需要的带宽，b_y是接收高质量显示内容需要的带宽，B是可用于传输显示内容给显示系统的网络最大带宽。如果源使用单播传输显示内容，则X和Y可以等于： 

$X=\underset{i}{\overset{N}{\mathrm{\Σ}}}\underset{j}{\overset{n_i}{\mathrm{\Σ}}}{x}_{\mathrm{ij}}$

$Y=\underset{i}{\overset{N}{\mathrm{\Σ}}}\underset{j}{\overset{n_i}{\mathrm{\Σ}}}{y}_{\mathrm{ij}}$

如果源使用多播传输显示内容，则X和Y可以等于： 

$X=\underset{k}{\overset{K}{\mathrm{\Σ}}}\{1-\underset{i}{\overset{N}{\∏}}\underset{j}{\overset{n_i}{\∏}}(1-x_{\mathrm{ij}}{s}_{\mathrm{ijk}})\}$

$Y=\underset{k}{\overset{K}{\mathrm{\Σ}}}\{1-\underset{i}{\overset{N}{\∏}}\underset{j}{\overset{n_i}{\∏}}(1-y_{\mathrm{ij}}{s}_{\mathrm{ijk}})\}$

其中K是源的数量，并且如果窗口w_ij是与第k个源相关联，则s_ijk＝1，而且如果窗口w_ij不与第k个源相关联，则s_ijk＝0。 

可以根据下列约束来约束目标函数M： 

$d_x\underset{j}{\overset{n_i}{\mathrm{\Σ}}}{x}_{\mathrm{ij}}+d_y\underset{j}{\overset{n_i}{\mathrm{\Σ}}}{y}_{\mathrm{ij}}\≤D,i=1...N,$

其中d_x是解码低质量显示内容需要的解码容量，d_y是解码高质量显示内容需要的解码容量，并且D是显示渲染器可用于解码显示内容的最大解码容量。 

显示墙可以是IP显示墙并且源通过网络流向显示系统。 

每个显示渲染器可以是投影仪、监视器、或电视机中的一个。 

对于显示系统的显示墙上窗口的布局，提供一种方法用来优化地确定在每个窗口中要显示的显示内容的质量并且不超越系统资源。显示系统可从至少一个源接收显示内容，至少一个源中的至少一个以多种质量提供显示内容。显示显示内容可以使用系统资源，并且显示高质量显示内容可以比显示低质量显示内容使用更多系统资源。该方法可以包括接收显示墙的布局。该布局可以定义显示墙上窗口的安排，并且每个窗口可以显示来自一个源的显示内容。该方法还可以包括构建目标函数，该目标函数定义了布局的每个窗口中显示的显示内容质量。该方法可以进一步包括优化目标函数来确定不超越系统资源的优化布局，并且输出该优化布局。 

目标函数可以被加权来支持选择高质量显示内容用于具有更大面积的窗口。 

本发明的特征将会在如下的说明书和附图中更加明显。在说明书和附图中，详细地披露了本发明特定的实施例，是为了指示一些使用本发明原则的方式，但是需要理解的是本发明不会在范围上相应地受限。 

关于一个实施例描述和／或阐述的特征可以按相同或相似的方法在一个或多个其它实施例中使用，和／或结合或替代其它实施例的特征来使用。 

附图说明

图1是在包括显示墙的显示系统上显示的示例布局的呈现； 

图2A和2B是阐述显示系统的框图； 

图3是阐述用于优化地确定在布局每个窗口中显示的内容质量且不超越系统资源的方法的框图； 

图4是阐述基于系统资源构建目标函数约束的步骤的框图。 

具体实施方式

对于显示墙上的窗口的布局，本发明提供一种系统和方法来优化地确定在每个窗口中显示的内容质量，而不超越系统资源。优化地确定在每个窗口中显示的显示内容质量而不超越系统资源涉及构建定义了每个窗口中显示的显示内容质量的目标函数。优化目标函数来确定不超越系统资源的优化布局。在这种方式中，可以确定布局的每个窗口中显示的显示内容的质量，从而使得不超越系统资源地使用最大系统资源。 

在有更少窗口的更小的布局中，可能手工确定在每个窗口中显示的显示内容的质量。然而，当布局中窗口数量增加，手工确定每个窗口中显示的显示内容的质量将变得非常耗时和非常困难。例如，当确定显示内容质量时，用户需要考虑例如显示系统中每个部件的编码和解码容量、总网络带宽、以及系统中单个部件的带宽。当用户想要优化系统资源使用时，用户可能错误地超越系统资源或当系统有可用资源来显示更高质量显示内容时分配更低质量显示内容。 

最初转向图1，显示了包括显示墙100的示例性显示系统。在显示墙100上显示包括多个窗口112的用户定义的布局110。显示墙100允许展开在显示渲染器102、104、106、108上的大量窗口112的可视化。显示墙100包括平铺在一起的四个显示渲染器102、104、106、108。显示渲染器102、104、106、108每个负责在显示墙100的特定区域显示内容。显示墙100被分为四个区域，其由虚线分隔开且被标记为1-4，其中第一显示渲染器102负责在区域1中显示内容，第二显示渲染器104负责在区域2中显示内容，第三显示渲染器106负责在区域3中显示内容，以及第四显示渲染器108负责在区域4显示内容。 

图2A中阐述了根据本公开诸方面的示例显示系统10。显示系统10从至少一个源14接收内容，并且包括至少一个显示渲染器16和控制器12。至少一个显示渲染器16可以从单个源14(“相关联的源”)接收显示内容。至少一个源14中的至少一个以多种质量提供显示内容。例如，以多种质量提供显示内容的源14可以以低质量和高质量提供显示内容。此处使用的“源”，被假设来以多种 质量提供显示内容。然而，本领域普通技术人员将会理解的是，显示系统可以从不以多种质量提供显示内容的源接收显示内容。该多种质量可以通过分辨率、压缩、颜色内容、加密、或进一步的处理要求中的至少一个来区分。通过系统对显示内容进行显示使用系统资源，其中高质量显示内容的显示比显示低质量显示内容使用更多系统资源。 

该至少一个源14可以是web(网)照相机、视频照相机、安全照相机、联网照相机、或计算机中的一个。本领域普通技术人员将会理解的是，该至少一个源14可以包括视频内容的任何源。由至少一个源14提供的显示内容可以是视频内容、静态图像、或任何其它适合于在显示渲染器16上显示的内容形式。该至少一个源14可以以任何合适方式提供显示内容给显示系统10。例如，图2A中每个源14被直接连接到至少一个显示渲染器16。可选地，在图2B中显示系统10是IP显示系统(例如IP显示墙)，其中源通过网络20流送显示内容给显示系统10。该至少一个源14可以被额外地配置为从控制器12接收关于提供给至少一个显示渲染器16的显示内容的质量的指令。例如，图2B中，控制器12连接网络20，从而控制器12通过网络指导由显示渲染器16提供的显示内容的质量。本领域普通技术人员将会理解的是，控制器12可以直接或以任何合适方式连接到源14。 

显示系统10可以从多个源14接收显示内容。负责显示与显示内容相关联的窗口的显示渲染器16可以接收显示内容。源可以提供显示内容给一个或多个显示渲染器16，并且显示内容可以在不止一个显示窗口中显示。 

本领域普通技术人员将会理解的是，该至少一个显示渲染器16可以是投影仪、电视机、监视器、或任何其它合适的显示器。对于包括多个显示渲染器16的系统，显示渲染器16中的两个可以有不同屏分辨率、像素数量、长宽比、或像素密度中的至少一个。 

控制器12优化地确定布局中每个窗口中显示的显示内容的质量，而不超越系统资源。本领域普通技术人员将会理解的是，控制器12可以有不同的实现。例如，控制器12可以包括处理器或任何其它合适设备，例如可编程电路、集成电路、存储器和I/O电路、专用集成电路、微控制器、复杂可编程逻辑设备、其它可编程电路、或类似物。控制器12还可以包括非瞬态计算机可读介质、例如随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器 (EPROM或闪存)、或任何其它合适介质。执行以下描述的该方法的指令可以被存储在非瞬态计算机可读介质上并且由处理器执行。控制器12可以是分隔的物理部件或可以是至少一个显示渲染器16的组合。例如，控制器12可以由至少一个显示渲染器16中的一个实现，或作为多个显示渲染器16的组合，或者以任何其它合适方式实现。 

控制器12可接收定义显示渲染器16上的窗口安排的布局。该布局可以是用户定义的，并且可以从一个源分配显示内容到每个窗口。该布局可以定义布局中的窗口数量、每个窗口的位置、每个窗口的形状、每个窗口的面积中的至少一个。可选地，控制器可计算布局中的窗口数量、每个窗口的位置、每个窗口的形状以及每个窗口的面积。例如，该布局可以定义每个窗口被分配至的显示渲染器以及定义每个窗口的面积。可选地，控制器可以确定每个窗口被分配的显示渲染器和／或确定每个窗口的面积。例如，图1中，第二显示渲染器104的仅有的窗口(“分离窗口”)也被包含在第一显示渲染器102中。该窗口可以被定义为布局中的两个分隔窗口，或者控制器可以确定该窗口被容纳在两个显示渲染器中，并且控制器定义该窗口作为两个分隔窗口。图1中，分离窗口被分割成第一渲染器部件和第二渲染器部件。第一渲染器部件包括分离窗口的由第一渲染器102显示并且被分配给第一显示渲染器102的部分。第二渲染器部件包括分离窗口的由第二渲染器104显示并且被分配给第二显示渲染器104的部分。 

控制器12构建了定义布局中每个窗口显示的显示内容质量的目标函数，并且优化了该目标函数来确定不超越系统资源的优化布局。优化布局中的窗口可以被分配质量(例如低质量或高质量)，或者窗口可以不被分配显示内容质量。例如，从以低质量或高质量提供内容的源14接收显示内容的窗口可以被分配低质量、高质量，或者不给该窗口分配质量。对于没有被分配质量的窗口，在窗口中不显示显示内容。 

优化目标函数不超越系统资源。在这种方式下，系统资源作为对目标函数的约束。系统资源可以包括多个不同约束，目标函数在这些约束中得到优化。例如，系统资源可以包括最大网络带宽、每个显示渲染器16接收显示内容的最大带宽、每个显示渲染器16解码显示内容的最大解码容量、以及每个源14编码显示内容的最大编码容量中的至少一个。可以约束目标函数，从而对于每个 显示渲染器16，通过网络接收由显示渲染器16接收的所有显示内容所需的带宽不会超越显示渲染器16的最大带宽。此外，可以约束目标函数，从而对于每个显示渲染器16，解码通过显示渲染器16接收的所有显示内容所需的解码容量不会超越可用于显示渲染器16解码显示内容的最大解码容量。同样地，可以考虑另一个限制，就是可用于每个源编码显示内容的最大编码容量。在包括多个(例如，至少两个)显示渲染器16的显示系统10中，解码容量、和／或每个显示渲染器16的带宽对于每个显示渲染器16可以是相同的，或者在显示渲染器16之间可以是不同。 

构建目标函数是为了对优化布局的某些特性加权。例如，可以对目标函数加权来支持对有更大面积窗口的高质量显示内容的选择。赋予每个窗口的支持选择高质量显示内容的权重与每个窗口的面积成比例。本领域普通技术人员将会理解的是，构建目标函数是为了支持可选实现以对不同特性加权。 

优化目标函数可以包括最大化目标函数，从而对于优化的布局，使用最大系统资源，而不超越系统资源。可以在优化目标函数之前构建的对系统资源的额外约束中优化目标函数。例如，额外约束可以是布局中的每个窗口被分配质量等级，从而在该窗口中显示显示内容。对于跨越多个显示渲染器的窗口，目标函数还可以被约束来对于窗口中每个区域的显示内容应用相同的质量。 

控制器12还可以在优化目标函数之前接收提交的布局。该提交布局可以被作为种子点来优化布局。这里使用的术语“种子点”，指代布局优化开始的起始点。 

控制器可以输出优化的布局。例如，通过指示至少一个源14以优化布局中定义的质量提供显示内容给相关联的至少一个显示渲染器16，而使控制器12输出优化布局。控制器12还可以输出优化布局给存储器或数据库。 

参考图3，显示了一个框图，该框图描述了用于优化地确定布局中每个窗口所显示的显示内容的质量而不超越系统资源的方法。控制器12可以执行方法的每个步骤。 

在过程块150中，接收布局。布局可以定义布局中的窗口和每个窗口的面积。如果窗口和窗口的面积没有被定义，在可选过程块152，系统可以从布局获得窗口和布局中每个窗口的面积。 

在过程块154中，构建目标函数。目标函数可以是线性目标函数，其通过 整数编程最大化，例如，二进制整数编程。对目标函数的约束，例如，可以是线性或非线性的。例如，在显示内容的质量不是低质量就是高质量的情况下，目标函数M可以如以下等式所述来定义： 

$M=\underset{i}{\overset{N}{\mathrm{\Σ}}}\underset{j}{\overset{n_i}{\mathrm{\Σ}}}(w_x{x}_{\mathrm{ij}}+w_y{y}_{\mathrm{ij}})a_{\mathrm{ij}},$

在以上等式中，N是显示渲染器16的数量，n_i是第i个显示渲染器16必须显示的布局中的窗口数量，w_ij是第i个显示渲染器16中的第j个窗口，w_x是给低质量显示内容的加权因子，w_y是给高质量内容的加权因子，以及a_ij是窗口w_ij的面积。在该等式中，如果第i个显示渲染器将要在窗口w_ij中使用低质量显示内容，则x_ij=1。类似地，如果第i个显示渲染器将要在窗口w_ij中使用高质量显示内容，则y_ij＝1。照这样，对于给定的窗口w_ij，如果y_ij=1，则在该窗口中显示高质量显示内容。可选地，对于给定的窗口w_ij，如果x_ij＝1，则在窗口w_ij中显示低质量显示内容。然而，如果x_ij=0并且y_ij=0，则窗口w_ij中不显示显示内容。 

本领域普通技术人员将会理解的是，目标函数M能被扩展到多于两个质量等级，其中每个质量等级有不同要求带宽、编码资源、以及解码资源。 

构建目标函数M，从而有更大面积a_ij的窗口w_ij相比于较小的窗口，扮演更重要的角色。为了相对低质量给高质量优先权，选择因子w_x和w_y使得w_x<w_y。 

最大化目标函数M导致在布局中对每个窗口w_ij有一组变量x_ij和y_ij。因此，下列不等式应用到了该组变量x_ij和y_ij： 

x_ij+y_ij≤1，i=1…N，j=1…n_i

对于任何窗口w_ij，以上不等式表达了低质量显示内容、或高质量显示内容，或如果例如系统正缺乏资源来在那个窗口对显示内容进行显示(即，x_ij和y_ij都等于0)，则不分配显示内容的质量。当变量x_ij和y_ij是整数并且能仅仅取值0或1时，模型可以是二进制整数编程模型。 

然后，在过程块156中，对目标函数的约束基于系统资源被构建。在图4中进一步描述了基于系统资源的约束构建。 

可选地，在过程块158，构建对目标函数的额外约束。例如，可以构建布局约束。布局约束是依赖布局的并且可以被自动地从分析该布局获得。例如，如果布局中相邻窗口w_ij和w_kl从相同的源接收显示内容并且窗口w_ij是在第i个显示渲染器上，并且w_kl是在第k个显示渲染器上，那么目标函数M被约束使得x_ij＝x_kl以及y_ij=y_kl。该约束是基于这样的假设，第i个显示渲染器上的窗口w_ij和第k个显示渲染器上的窗口w_kl使用相同的源并且因此应当使用相同的质量等 级。 

在过程块160中，在系统资源和可选额外约束内优化目标函数以确定优化布局。在优化布局中，为布局的窗口指示显示内容的质量。过程块162中在显示墙上可以可选地显示该优化布局。 

图4进一步描述了基于系统资源的约束的构建。在过程块170中，构建显示渲染器约束。例如，正如显示渲染器16具有有限带宽来接收显示内容，显示渲染器16也可以具有有限容量来解码显示内容。可以根据下列等式通过约束目标函数M来计算该限制： 

$d_x\underset{j}{\overset{n_i}{\mathrm{\&Sigma;}}}{x}_{\mathrm{ij}}+d_y\underset{j}{\overset{n_i}{\mathrm{\&Sigma;}}}{y}_{\mathrm{ij}}\&le;D,i=1...N,$

在以上等式中，dx是解码低质量显示内容所需的解码容量，dy是解码高质量显示内容所需的解码容量，以及D是显示渲染器16可用于解码显示内容的最大解码容量。最大解码容量D对于系统10中所有显示渲染器16可以相同，或者可以在显示渲染器16之间不同。 

正如显示渲染器具有有限的容量来解码显示内容，源14可以有有限容量来编码显示内容。 

在过程块176中，构建网络约束。例如，目标函数M可以根据下列等式来被约束： 

b_xX+b_yY≤B 

在以上等式中，B是可用于传输显示内容给显示渲染器16的最大网络带宽。变量X和Y依赖于源14是否使用单播或多播提供显示内容。因此，在确定块172时，先于确定网络约束，执行检查来确定源14在传输显示内容时是在使用单播还是多播。如果使用单播发送显示内容，则通过计算由所有显示渲染器16接收的低质量和高质量流的数量，在过程块176中可以计算网络20的负载。这种情况下，X和Y等于： 

$X=\underset{i}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j}{\overset{n_i}{\mathrm{\&Sigma;}}}{x}_{\mathrm{ij}}$

$Y=\underset{i}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j}{\overset{n_i}{\mathrm{\&Sigma;}}}{y}_{\mathrm{ij}}$

相反地，如果源14使用多播传输显示内容，过程移动到过程块174。如果使用多播发送显示内容，则通过考虑是否例如一个或多个显示渲染器16要求低质量的特定源14，以及通过考虑低质量流仅仅需要被计算一次，来计算网络20的负载。对在布局中的每个窗口通过确定s_ijk来考虑这个情况。为了精确地计算以多播来提供显示内容的源14，分析带有窗口w_ij的布局并且推导参数s_ijk具有下列含义：如果s_ijk＝1，则窗口w_ij关联于第k个源，并且如果s_ijk＝0，则窗口w_ij不关联于第k个源。因此，对于每个窗口w_ij精确地一个s_ijk参数是等于1，因为 窗口w_ij一次仅仅能显示一个源。通过使用s_ijk，X和Y等于： 

$X=\underset{k}{\overset{K}{\mathrm{\&Sigma;}}}\{1-\underset{i}{\overset{N}{\&prod;}}\underset{j}{\overset{n_i}{\&prod;}}(1-x_{\mathrm{ij}}{s}_{\mathrm{ijk}})\}$

$Y=\underset{k}{\overset{K}{\mathrm{\&Sigma;}}}\{1-\underset{i}{\overset{N}{\&prod;}}\underset{j}{\overset{n_i}{\&prod;}}(1-y_{\mathrm{ij}}{s}_{\mathrm{ijk}})\}$

在以上等式中，K是不同源14的数量并且每个源14通过k＝1……K来索引。因此，在过程块176中，对于多播场景中X和Y的以上公式计算分别具有低质量和高质量的不同源14的数量，其中当使用特定的一组x_ij和y_ij变量时，该低质量和高质量将在网络20上呈现。 

对目标函数M的另一个示例性网络约束由下列方程描述： 

$b_x\underset{j}{\overset{n_i}{\mathrm{\&Sigma;}}}{x}_{\mathrm{ij}}+b_y\underset{j}{\overset{n_i}{\mathrm{\&Sigma;}}}{y}_{\mathrm{ij}}\&le;P,i=1...N,$

在以上方程中，b_x是接收低质量显示内容的所需带宽，b_y是接收高质量显示内容的所需带宽，以及P是显示渲染器16可用于接收显示内容的最大带宽。在以上的方程中，约束每个显示渲染器16从而接收的所有显示内容的带宽小于显示渲染器16的最大带宽。最大带宽P对于每个显示渲染器可以相同，或者显示渲染器16之间可以不同。 

如之前所示，w_x表示系统对低质量相较于高质量的偏好，而w_y表示对高质量相较于低质量的偏好。可以向加权因子w_x、w_y赋值，从而w_x<w_y，即，系统偏好高质量胜于低质量。例如，可以向加权因子赋予下列值：w_x＝1以及w_y＝2。比例w_y/w_x越大，系统将更加“偏好”将高质量显示内容分配给更大窗口。加权因子的示例值是w_x＝1以及w_y＝1.2。加权因子w_x和w_y的实际值是可配置的，并且可以被调整来适应用户和应用的偏好。 

可以重复地执行图3的方法来实现期望结果。例如，在至少一个窗口中显示内容没有被分配质量等级的情况下(也就是，在至少一个窗口中不显不显不内容)，可以重新配置约束从而在布局中的每个窗口中显示显示内容。在该例子中，在至少一个窗口中没有显示显示内容的优化布局中，用于优化布局的解空间可以通过重新配置带宽b_x和／或b_y来更改，从而可能确定在每个窗口中显示显示内容的优化解决方案。也就是说，对于给定的一组约束，显示内容可不在每个窗口中显示，而通过重复地执行图3描述的方法以及每次迭代重新配置带宽b_x和/或b_y，可能可以找到布局中每个窗口中显示显示内容的带宽值。 

还可以使用以上描述的方法呈现在显示渲染器16接收之前的需要预处理的显示内容，以及呈现能被显示渲染器16直接接收和解码的显示内容。例如，如 果x_ij=1，则在第i个显示渲染器接收在窗口w_ij中显示的显示内容之前需要预处理步骤。替换地，如果y_ij=1，则在第i个显示渲染器接收在窗口w_ij中显示的显示内容之前不需要预处理步骤。例如，可以将该模型公式用于通过联网的定标器对显示内容的缩减或者通过联网的代码转换机对源的代码转换。这些例子中，系统可以应用两阶段方法：首先计算需要预处理的显示内容，接下来开始需要的预处理。 

如以上所述，网络20建模为单个变量、网络可以支持的最大带宽B。如果网络20的拓扑已知，则可以考虑更复杂的场景。例如，如果例如网络元素的拓扑已知，每个编码器和解码器的连接性已知，以及网络20中每个源选择的路径已知，则对网络20的更复杂的抽象是可能的。已知网络元素(例如开关和路由器)的拓扑可以包括已知元素之间的连接以及元素之间可用的带宽。已知每个编码器和解码器的连接性可以包括已知通过每个编码器发送显示内容的源14、每个编码器连接的网络元素、接收显示内容的每个解码器、以及解码器连接的网络元素。已知源14选择的路径可以包括已知每个编码器通过网络20到达每个接收解码器所选择的路径。通过使用这些信息，例如，可以对在一个网络元素和另一个网络元素之间流动的业务量上的限制进行建模，从而避免在网络元素之间链接超载。 

可以进一步对使用多播提供显示内容的源14建模。例如，可以固定网络20管理的同步多播群的数量。通过对此作为额外约束建模，系统10可以阻止显示渲染器16请求超过网络可以处理的更多多播群。这个可以以非常类似于带宽的方式在约束中建模。 

对于布局中的所有窗口，可以使用直接的方法计算面积a_ij，例如窗口的高乘以宽。也有其它更好的方法来计算面积a_ij。例如，在一些情况下，显示墙中显示渲染器16的像素密度是不同的。这种情况下，计算面积a_ij可能要考虑每个显示渲染器16的像素密度。举一个例子，虽然简单象素计算支持LCD面板上的窗口，但是高密度LCD面板上的窗口的可见面积可以比投影仪立方上的窗口更小。在这种情况，虽然窗口像素的实际数量可能比LCD面板窗口的要小，但是通过优先在投影仪立方上的窗口分配更高的质量，用户可以获得更好的结果。 

与窗口w_ij自身面积相反，基于窗口w_ij中显示的显示内容的面积，可以确定窗口w_ij的面积a_ij。例如，如果显示渲染器16上的窗口面积a_ij的尺寸不匹配 源14的长宽比，则解码器可以执行对显示内容的缩放。可执行缩放，从而显示内容的长宽比被保留并且使用黑色边线缩减或扩大窗口中显示的显示内容来适应窗口的尺寸。可选地，为了适应窗口的面积，显示内容在一维上展开。保持长宽比或展开显示内容可以是在对窗口面积a_ij计算期间被考虑的用户偏好。如果长宽比被保持，则可以不计算面积a_ij作为窗口区域，而是可以计算窗口面积来等于被缩放源填充的窗口部分。也就是说，在缩减或扩大显示内容来适应窗口之后，基于被占用的窗口部分，可以计算窗口w_ij的面积a_ij。 

Claims (39)

1.一种控制器，用于针对显示系统的显示墙上的窗口的布局，优化地确定每个窗口中显示的显示内容的质量而不超越系统资源，所述显示系统从至少一个源接收显示内容，所述至少一个源中的至少一个以多种质量提供显示内容，显示显示内容使用系统资源，以及显示高质量显示内容比显示低质量显示内容使用更多系统资源，其中：

所述控制器被安排为：

接收所述布局，所述布局定义所述显示墙上的窗口的安排，其中每个窗口被指定显示来自一个源的显示内容；

构建目标函数，所述目标函数定义在每个窗口中显示的显示内容的质量；

所述控制器包括处理器，所述处理器被安排来优化所述目标函数，以确定不超越系统资源的优化布局；以及

所述控制器输出所述优化布局。

2.如权利要求1所述的控制器，其中所述目标函数被加权来支持选择高质量显示内容用于具有更大面积的窗口。

3.如权利要求1-2中任意一项所述的控制器，其中，在所述目标函数中，赋予每个窗口来支持选择高质量显示内容用于具有更大面积的窗口的权重与窗口的面积成比例。

4.如权利要求1-3中任意一项所述的控制器，其中优化所述目标函数包括最大化所述目标函数，使得对于所述优化布局使用了最大系统资源而不超越系统资源。

5.如权利要求1-4中任意一项所述的控制器，其中所述目标函数是通过使用整数编程而被最大化的线性目标函数。

6.如权利要求1-5中任意一项所述的控制器，其中所述目标函数通过使用二进制整数编程而被最大化。

7.如权利要求1-6中任意一项所述的控制器，其中在优化所述目标函数之前构建对所述目标函数的约束并且所述目标函数在所述约束中被优化。

8.如权利要求7所述的控制器，其中所述显示系统通过网络接收显示内容，其中一个约束是接收所有显示内容的所需带宽不超越网络最大分配的带宽。

9.如权利要求1-8中任意一项所述的控制器，其中在优化期间，所述目标函数可以不分配质量等级给给定窗口中的显示内容，使得在所述给定窗口不显示显示内容。

10.如权利要求9所述的控制器，其中在优化所述目标函数之前构建对所述目标函数的约束，所述目标函数在所述约束中被优化，并且一个约束是每个窗口被分配质量等级，所述质量等级包括在所述窗口中显示显示内容。

11.如权利要求1-10中任意一项所述的控制器，其中多种质量是低质量和高质量。

12.如权利要求1-11中任意一项所述的控制器，其中通过分辨率、压缩、颜色内容、加密、或进一步处理需求中的至少一个来区分多种质量。

13.如权利要求1-12中任意一项所述的控制器，其中所述布局定义窗口数量、每个窗口的位置、每个窗口的形状、以及每个窗口的面积中的至少一个。

14.如权利要求1-13中任意一项所述的控制器，其中所述布局是用户定义的布局。

15.如权利要求1-14中任意一项所述的控制器，其中每个源是照相机或计算机中的一种。

16.如权利要求1-15中任意一项所述的控制器，其中所述控制器包括被安排为执行存储在存储器中的指令的处理器。

17.如权利要求1-16中任意一项所述的控制器，其中所述显示系统从不止一个源接收显示内容。

18.如权利要求1-17中任意一项所述的控制器，其中所述控制器计算所述布局中的窗口以及所述布局中每个窗口的面积。

19.如权利要求1-18中任意一项所述的控制器，其中：

所述控制器进一步被安排来接收提交的布局；以及

所述处理器进一步被安排来使用所述提交的布局作为种子点用于优化所述目标函数。

20.如权利要求1-19中任意一项所述的控制器，其中所述控制器进一步被安排来向所述至少一个源提供指定要输出的显示内容的质量的指令。

21.一种显示系统，用于针对所述显示系统的显示墙上的窗口的布局，优化地确定在每个窗口中显示的显示内容的质量而不超越系统资源，所述显示系统包括：

如权利要求1-20中任意一项所述的控制器；

至少一个显示渲染器，其中：

每个显示渲染器负责在所述显示墙的特定区域上显示显示内容；

每个显示渲染器从所述至少一个源的至少一个接收显示内容；以及

所述显示墙，其中在所述显示墙上显示窗口的布局并且在每个窗口中以在所述优化布局中指定的质量等级显示显示内容。

22.如权利要求21所述的显示系统，所述至少一个显示渲染器通过网络接收显示内容，其中所述系统资源包括最大网络带宽、每个显示渲染器接收显示内容的最大带宽、每个显示渲染器解码显示内容的最大解码容量、以及每个源编码显示内容的最大编码容量中的至少一个。

23.如权利要求22所述的显示系统，其中约束所述目标函数使得对于每个显示渲染器，接收由每个显示渲染器通过网络接收的所有显示内容所需的带宽不超越那个显示渲染器的最大带宽。

24.如权利要求22-23中任意一项所述的显示系统，其中约束所述目标函数使得对于每个显示渲染器，解码由那个显示渲染器接收的所有显示内容所需的解码容量不超越可用于那个显示渲染器解码显示内容的最大解码容量。

25.如权利要求22-24中任意一项所述的显示系统，进一步包括至少两个显示渲染器。

26.如权利要求25所述的显示系统，其中对于跨越多个显示渲染器的窗口，约束所述目标函数，来对所述窗口的每个区域应用相同的质量。

27.如权利要求25-26中任意一项所述的显示系统，其中所述布局中的至少一个窗口包括由至少两个显示渲染器显示的显示内容。

28.如权利要求25-27中任意一项所述的显示系统，其中显示渲染器中的至少两个具有不同屏幕分辨率、像素数量、或像素密度中的至少一个。

29.如权利要求21-28中任意一项所述的显示系统，其中所述显示系统从不止一个源接收显示内容。

30.如权利要求21-29中任意一项所述的显示系统，其中所述目标函数M被定义为：

$M=\underset{i}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j}{\overset{n_i}{\mathrm{\&Sigma;}}}(w_x{x}_{\mathrm{ij}}+w_y{y}_{\mathrm{ij}})a_{\mathrm{ij}},$

其中N是显示渲染器的数量，n_i是第i个显示渲染器将显示的布局中窗口的数量，w_x是给低质量显示内容的加权因子，w_y是给高质量内容的加权因子，其中w_x<w_y，如果第i个显示渲染器应当在窗口w_ij使用低质量显示内容则x_ij=1，如果第i个显示渲染器应当在窗口w_ij使用高质量显示内容则y_ij=1，以及a_ij是窗口w_ij的面积。

31.如权利要求30所述的显示系统，其中所述控制器对所述布局中的每个窗口计算w_ij和a_ij。

32.如权利要求30-31中任意一项所述的显示系统，其中如果所述布局中的相邻窗口w_ij和w_kl从相同源接收显示内容，并且窗口w_ij在第i个显示渲染器上，并且w_kl在第k个显示渲染器上，那么所述目标函数M被约束使得x_ij＝x_kl并且y_ij＝y_kl。

33.如权利要求30-32中任意一项所述的显示系统，其中所述目标函数M根据下列约束被约束：

$b_x\underset{j}{\overset{n_i}{\mathrm{\&Sigma;}}}{x}_{\mathrm{ij}}+b_y\underset{j}{\overset{n_i}{\mathrm{\&Sigma;}}}{y}_{\mathrm{ij}}\&le;P,i=1...N,$

其中b_x是接收低质量显示内容所需的带宽，b_y是接收高质量显示内容所需的带宽，并且P是显示渲染器可用于接收显示内容的最大带宽。

34.如权利要求30-33中任意一项所述的显示系统，其中所述目标函数M根据下列约束被约束：

b_xX+b_yY≤B

其中b_x是接收低质量显示内容所需的带宽，b_y是接收高质量显示内容所需的带宽，B是可用于传输显示内容给所述显示系统的网络最大带宽，如果源使用单播传输显示内容，则X和Y等于：

$X=\underset{i}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j}{\overset{n_i}{\mathrm{\&Sigma;}}}{x}_{\mathrm{ij}}$

$Y=\underset{i}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j}{\overset{n_i}{\mathrm{\&Sigma;}}}{y}_{\mathrm{ij}}$

如果源使用多播传输显示内容，则X和Y等于：

$X=\underset{k}{\overset{K}{\mathrm{\&Sigma;}}}\{1-\underset{i}{\overset{N}{\&prod;}}\underset{j}{\overset{n_i}{\&prod;}}(1-x_{\mathrm{ij}}{s}_{\mathrm{ijk}})\}$

$Y=\underset{k}{\overset{K}{\mathrm{\&Sigma;}}}\{1-\underset{i}{\overset{N}{\&prod;}}\underset{j}{\overset{n_i}{\&prod;}}(1-y_{\mathrm{ij}}{s}_{\mathrm{ijk}})\}$

其中K是源的数量，并且如果窗口w_ij关联于第k个源，则s_ijk＝1，而且如果窗口w_ij不关联于第k个源，则s_ijk=0。

35.如权利要求30-34中任意一项所述的显示系统，其中所述目标函数M根据下列约束被约束：

$d_x\underset{j}{\overset{n_i}{\mathrm{\&Sigma;}}}{x}_{\mathrm{ij}}+d_y\underset{j}{\overset{n_i}{\mathrm{\&Sigma;}}}{y}_{\mathrm{ij}}\&le;D,i=1...N,$

其中d_x是解码低质量显示内容所需的解码容量，d_y是解码高质量显示内容所需的解码容量，并且D是显示渲染器可用于解码显示内容的最大解码容量。

36.如权利要求21-35中任意一项所述的显示系统，其中所述显示墙是IP显示墙并且所述源通过网络流向所述显示系统。

37.如权利要求21-36中任意一项所述的显示系统，其中每个显示渲染器是投影仪、监视器、或电视机中的一种。

38.一种方法，用于针对显示系统的显示墙上的窗口的布局，优化地确定每个窗口中显示的显示内容的质量而不超越系统资源，所述显示系统从至少一个源接收显示内容，所述至少一个源中的至少一个以多种质量提供显示内容，显示显示内容使用系统资源，以及显示高质量显示内容比显示低质量显示内容使用更多系统资源，所述方法包括：

接收所述显示墙的所述布局，其中所述布局定义所述显示墙上的窗口的安排并且每个窗口显示来自一个源的显示内容；

构建目标函数，所述目标函数定义所述布局的每个窗口中显示的显示内容的质量；

优化所述目标函数来确定不超越系统资源的优化布局；以及

输出所述优化布局。

39.如权利要求38所述的方法，其中所述目标函数被加权来支持选择高质量显示内容用于具有更大面积的窗口。

Images