CN102483844A

CN102483844A - 一种用于处理电子图像内容以显示的方法和系统

Info

Publication number: CN102483844A
Application number: CN2010800245102A
Authority: CN
Inventors: H·拉维德拉巴布; 刘祖江
Original assignee: NCS Pte Ltd
Current assignee: NCS Pte Ltd
Priority date: 2009-04-02
Filing date: 2010-03-31
Publication date: 2012-05-30
Also published as: SG165211A1; WO2010114491A1

Abstract

本发明提供一种用于处理电子图像内容以显示的方法、设备和装置。在该方法中，计算系统(12)接收包括第一阵列像素的第一图像和包括第二阵列像素的第二图像；该计算系统(12)的比较器(14)通过比较第一阵列和第二阵列来识别第二阵列中哪些像素与第一阵列的对应像素不同并将第二阵列的不同像素输出到至少一个图像编辑器(16)；该图像编辑器(16)构建新图像用于显示，该新图像包括由比较器从第二阵列识别的不同像素和第一阵列中对第二阵列的不同像素的互补像素。随后，该新图像被输出用于显示。

Description

一种用于处理电子图像内容以显示的方法和系统

技术领域

本发明涉及一种用于处理电子图像内容以显示的方法和系统，尤其涉及一种图像处理器；以及用于执行该方法的计算机程序代码。本发明给出了详细说明，但并不排除以显示在计算机屏幕上的内容的形式处理图像数据来在电视上或诸如投影仪等的其他显示装置上显示的应用。

背景技术

电子图像内容通常通过以适合显示装置接收的格式或者经由中间装置传输该内容来显示在例如投影仪、电视等的显示装置上，该中间装置通常接收原始电子图像内容并且以诸如用于标准接口连接的VGA或HDMI的适合显示的格式输出该内容。

一种现有的中间装置是数字媒体接收器，用于在家庭网络内使用以能够将家庭计算机的内容显示在电视上，来在与计算机分开的位置(例如客厅)欣赏图像内容，或者用于将计算机的内容呈现在更方便观看的装置上，例如投影屏幕。数字媒体接收器使得先前在计算机上可访问的内容能够被显示在任何显示装置上且可被任何显示装置所访问。但是，虽然这样的装置能够显示家庭计算机的内容，但还存在和显示质量和健壮性相关的许多问题。

现代显示装置，例如等离子显示器、LCD屏幕和投影仪，能够显示高分辨率的图像内容，当其被看作来自计算机的数据的输入流时，其需要大的带宽。可以采用压缩技术来降低带宽需求，但是这些技术可能降低图像质量，并且不仅耗时而且大量占用处理器。当多个计算机连接到该装置和/或多个显示装置时，这尤其明显。所采用的另一技术为减小每秒传输的图像帧的数目，但这通常导致图像抖动和/或音频被显示。

发明内容

根据本发明的一个方面，提供了一种处理电子图像内容用于显示的方法，该方法包括：计算系统接收包括第一阵列像素的第一图像；所述计算系统接收包括第二阵列像素的第二图像；所述计算系统的比较器通过比较所述第一阵列和所述第二阵列来识别第二阵列中哪些像素与第一阵列的对应像素不同并将所述第二阵列的所述不同像素输出到至少一个图像编辑器；所述图像编辑器构建新图像用于显示，该新图像包括由所述比较器从所述第二阵列识别的所述不同像素和所述第一阵列中与第二阵列的所述不同像素互补的像素；并且输出该新图像用于显示。

该计算系统可以是分布式计算系统且可包括一个或多个计算机。该计算系统还可包括具有计算能力的其他装置，例如数码相机、PDA、移动电话等。

在一个实施例中，该图像编辑器通过电信网络连接到该计算系统，通常是计算机。但是，本领域技术人员应该理解，该计算系统可以包括显示装置。同样，计算系统中的任一计算机可以将不同像素作为图像碎片输出到至少一个图像编辑器，其中该图像编辑器可被包含到显示装置中，或者包含到作为图像处理器的中间图像处理装置中，其远离计算机以接收图像内容用于在不同种类的显示装置上显示。在一个实例中，输出该图像碎片的一个计算机是源计算机，其可额外地输出控制信息以控制该图像内容的显示。在这种情况中，用于传输图像和控制信息的电信网络可以是有线或无线LAN且通信协议可以是TCP/IP用于可靠数据传送。

本领域普通技术人员可以理解，比较器从第二阵列识别的不同像素形成图像数据，具体地，图像碎片。而且，应该理解，图像由像素阵列形成，像素阵列中的每个像素根据诸如颜色和透明度的像素质量被指定为位集(collection of bits)。例如，图像可以是每像素8位以指定这些质量。这样，图像碎片仅包括与第一阵列中对应像素不同的那些像素，且互补像素是未发现与第一阵列存在不同的像素。通常，在帧之间，仅图像的一部分发生改变，因此，优选地，仅该部分经由TCP/IP输出到图像编辑器。

这也有利于出于安全考虑认证数据的接收。这样，该方法还包括当图像编辑器远离计算机时，图像编辑器认证对计算机的接收。如果图像编辑器包括在计算系统中，认证可以在系统的部件之间执行，以确保可靠性。在另一实施例中，远程图像编辑器和计算系统之间的所有数据通信可经由握手认证协议来执行以用于可靠的数据传输。

本领域普通技术人员可以理解，显示装置在本说明书中可以被称为电视，但是也可包括LCD屏幕、投影仪等，所有这些都需要使用标准化的音频/视频接口以标准化格式接收视频内容，尤其是其图像部分，该接口例如HDMI、VGA、分量视频等。

另外，本领域普通技术人员应该理解，该显示装置还可以是目的计算机的计算机屏幕。在这种情况下，可以使用诸如VGA的标准化接口接收图像内容，或者目的计算机可包括图像编辑器以使用所接收的图像碎片构建新图像用于在所连接的计算机屏幕上显示。

如上所述，期望控制图像内容的显示，且在一个实施例中，除图像数据外还输出控制信息以控制图像内容在一个或多个显示装置上的显示。控制信息可用于远程控制显示装置的显示，包括图像内容显示的暂停、继续、开始和停止。而且，控制信息可用于允许计算系统的源计算机调整目的显示装置的显示，包括调整显示的尺寸或分辨率。

在另一实施例中，该控制信息包括第一和第二阵列的像素阵列尺寸。像素阵列尺寸信息便于显示装置在没有调整显示尺寸的情况下改变其来自所切换的源的不同尺寸图像内容的显示。

还期望除了上述图像内容，还接收音频和/或视频内容或数据用于显示，尤其是用于视频剪辑的显示。在这种情况下，期望通过电信网络将音频、视频和/或图像内容作为流数据传输，以减小带宽需求。在一个实例中，在计算机桌面图像内显示视频剪辑，这可以以比整个计算机屏幕小的显示尺寸显示。在该实例中，在时间上分开的第一阵列与第二阵列的像素差异可仅应用到正在被显示的视频剪辑的改变中，而不应用到计算机桌面图像的其余部分。因此，本领域普通技术人员应该理解显示视频剪辑的一种方法是经由计算机以合适的高刷新率识别显示该视频剪辑的一部分屏幕的哪些像素已经改变。但是，这样的高刷新率通常要求高带宽需求且因此可能发生抖动。另一种方法是除了以流数据输出视频剪辑的音频和视频数据外，还将桌面图像的不包括视频剪辑像素的不同像素输出到图像编辑器。这种方法中，音频和视频数据与包括不同像素的数据重叠，以显示包括视频剪辑的图像内容并且没有拖尾且无需这样的高刷新率因此进一步减小带宽需求。

在另一实例中，将流数据输出到以存储器为媒介且通常位于服务器中的所述图像编辑器。所存储的数据可被压缩且该存储器可以是随机存取存储器以减小处理时间。该服务器还可以是不止一个图像编辑器的媒介，使得多个图像编辑器能够接收相同的流数据用于显示。另外，由于流数据被记录在存储器上，单个显示装置可以被定制为在任意一个时间显示流数据的不同部分。替代地，存储器和图像编辑器可以位于每个图像处理装置中，以使流数据本地存储。

在存在多个图像编辑器的实施例中，普通技术人员可以理解还可存在至少一个显示装置对应于图像编辑器，特别是对应于位于图像处理装置中的图像编辑器。在这种情况下，由所述比较器识别的不同像素到每个图像编辑器的输出是同步的，以提供在对应显示装置上的同步显示。例如，一种方法包括源计算机显示和控制图像内容在多个显示装置上的显示，该多个显示装置采用多个图像编辑器，以为每个对应的显示装置处理图像和控制数据。

该方法还包括监控计算机的CPU使用率，以避免减小用于处理图像数据之外的处理其他信息的可用的资源。在一个实施例中，当超过CPU使用率阈值时，计算机将比较器通过比较第一阵列和第二阵列来识别第二阵列中哪些像素与第一阵列的对应像素不同，以及输出第二阵列的不同像素到图像编辑器予以暂停。在一个实施例中，该阈值是30％。

根据本发明的另一方面，提供了一种用于处理电子图像内容以显示的系统，该系统包括：计算系统，被设置为接收包括第一阵列像素的第一图像和包括第二阵列像素的第二图像；所述计算系统的比较器被设置为通过比较所述第一阵列和所述第二阵列来识别第二阵列中哪些像素与第一阵列的对应像素不同并将所述第二阵列的所述不同像素输出到至少一个图像编辑器；由此，所述图像编辑器被设置为构建新图像用于显示，该新图像包括由所述比较器从所述第二阵列识别的所述不同像素和所述第一阵列中与第二阵列的所述不同像素互补的像素；并且输出该新图像用于显示。

根据本发明的另一方面，提供了一种用于处理电子图像内容用于显示的装置，该装置包括图像编辑器，该图像编辑器被设置为：接收包括第一阵列像素的第一图像；接收包括第二阵列像素的第二图像的像素，该包括第二阵列像素的第二图像的像素与第一阵列的对应像素不同；构建新图像用于显示，该新图像包括由所述比较器从所述第二阵列识别的所述不同像素和所述第一阵列中与第二阵列的所述不同像素互补的像素；并且输出该新图像用于显示。

根据本发明的另一方面，提供了一种计算机程序代码，当被执行时，其实现了上述方法。

根据本发明的另一个方面，提供了一种包括上面程序代码的计算机可读介质。

根据本发明的另一个方面，提供了一种包括上面程序代码的数据信号。

附图说明

为了更清楚地确定本发明，现在将结合附图通过实例来描述实施例，其中

图1是根据本发明实施例的用于处理电子图像内容以显示的系统的示意图；

图2是根据本发明的由图1的系统所实现的方法的流程图；

图3是示出通过网络在计算、图像处理装置和显示装置之间发送信息的图2的方法的流程图；

图4A是图1的系统的示意图；

图4B是图1的系统的示意图；

图4C是图1的系统的示意图；

图5是示出多个计算机通过网络连接到多个用于处理电子图像内容的装置、接下来该用于处理电子图像内容的装置连接到多个显示装置的图1的系统的示意图；

图6是示出图5的系统的示意图，其示出以服务器为媒介的包括存储器的装置，其中该存储器用于由对应的装置存取；

图7是示出具有存储器的处理装置的图5的系统的示意图；

图8是图1的系统的状态图。

具体实施方式

根据本发明的实施例，提供一种用于处理电子图像内容以显示的系统10，包括具有比较器14的、用于接收第一和第二图像的计算系统12，该比较器被设置为识别第一图像的哪些像素与第二图像的哪些像素不同并将不同像素作为图像碎片输出到图像编辑器16。如所描述的，该计算系统可包括一个或多个计算机，或具有计算能力的装置，例如数码相机、PDA、移动电话等，且因此包括显示器、处理器、输入装置、硬盘驱动器等部件。而且，由于图像编辑器16可被设置为远离计算系统和比较器，普通技术人员应该理解，图像编辑器16可包括诸如处理器等的类似硬件，以构建图像用于显示。如果图像编辑器位于计算系统内，则可以共享硬件。而且，如果图像编辑器位于诸如投影仪的显示装置内，则诸如电源和网络端口的硬件也可以共享。

在一个实施例中，图像编辑器16由从比较器14接收的图像碎片和第一图像中处于与图像碎片的像素阵列互补位置的像素构建新图像，用于由诸如电视的显示装置显示。因此，图像编辑器16需要另外的硬件来接收和转发数据，尤其是接收图像数据和以电视或类似装置易于接受的、例如HDMI的形式输出显示数据。该显示器还可以是等离子显示器或LCD屏幕，投影仪、手持观看装置等。

图2是由处理电子图像内容的系统实现的方法18的流程图。方法18包括首先接收包括第一阵列像素的第一图像20。如所描述的，图像通常由像素阵列形成，像素阵列中的每个像素根据像素质量被指定为位集(collection of bits)。同样，本领域普通技术人员应该理解用于显示的电子图像内容可以是显示在计算系统的源计算机屏幕或诸如PDA的源电子装置的屏幕上的图像，其可包括静态电子图像，例如桌面图像，或在桌面示出的、包括视频和音频数据二者的视频剪辑。同样，桌面可仅显示正在播放的音频剪辑，且在这种情况下，将音频数据输出到显示装置用于显示。在图像内容包括静态图像序列或帧的情况下，诸如计算机屏幕的显示，在连续的帧之间仅图像的一部分发生变化。

在一个实施例中，方法18还包括接收包括第二阵列像素的第二图像22。在一个实施例中，第一和第二图像可以由计算机接收。而且，该计算机可包括比较器，该比较器用于识别第二阵列像素中哪些像素与第一阵列的对应像素不同24。也就是说，比较每一阵列的对应坐标的像素以识别哪些像素不同。通常，第一和第二图像的阵列尺寸是相同的，但是，在它们不同的情况下，计算机可实现变换算法来扩大或缩小阵列，以确保对应像素之间的精确比较且识别出不同像素。

计算系统的比较器随后可输出发现存在不同的像素26，以用于构建新图像28用于显示。在一个实例中，不同像素通过网络输出到远离该计算系统的图像编辑器。但是，在另一实例中，图像编辑器包含在该计算系统中。该图像编辑器可执行构建新图像用于显示的步骤，该新图像包括不同像素和第一阵列的与不同像素互补的像素。在一个实例中，通过将该不同像素覆盖到其在第一图像的像素阵列的对应位置来形成该新图像，但是可以想象采用其他方法来构建该新图像，例如组合该不同像素和第一图像的像素。无论如何，该新图像被输出30用于显示。该方法还可包括将该新图像输出到任意数量的显示装置用于显示，例如，多个电视位于例如一房子内的客厅和卧室的多个观看位置的情况。

处理电子图像内容的方法还可包括通过网络输出该不同像素到多个远离该计算系统的图像编辑器。采用这样的方法的实例是具有源计算机的授课者希望显示和控制电子图像内容的教学环境，该电子图像内容以桌面内容形式无线地传输到多个学生的显示器，例如计算机屏幕和投影仪。

图3中也示出处理电子图像内容方法的流程图32，其中示出了图像内容通过电信网络在计算系统(源计算机)34和一个图像处理装置(图像处理器)36之间发送，并且最后到达显示装置(电视)38用于显示。在所示实施例中，图像编辑器42与计算机和其比较器40远离，且被包含在图像处理器36中。设想图像处理器36包括其独立完成功能所必须的特征，例如处理器和电源，还包括使其能够通过网络与诸如合适的端口、接口等的任意显示装置通信的特征。

流程图32还示出了图1的系统随时间实现的方法。在一个实例中，首先，计算机34接收上述类型的第一和第二图像，但是，在该情况中，比较器40识别第一图像是空图像并因此所输出的不同像素对应于所接收的第二图像。在所示实例中，图像44被输出到图像处理器36，处理器36接下来辨认互补像素是空的，并输出该图像用于由电视38显示。如果方法需要，则图像处理器36返回确认图像的接收或者图像成功显示的确认包。

在所示实例中，计算机所接收的第二图像形成接下来由比较器40接收的第一图像44。还接收了随后的第二图像46。随后，比较器40识别两幅图像之间哪些像素不同，并仅将不同像素48作为图像碎片通过网络输出到图像处理器36，因此输出到所包含的图像编辑器42，而不是输出具有较大包尺寸的全像素阵列的图像。如果方法需要，可以确认图像碎片48的接收。通过实例，在图像处理器36和计算机34之间采用握手认证协议，其中直到接收到确认，才传输数据包。

本领域普通技术人员应该理解，电信网络可以是有线或无线LAN，且通信协议通常是TCP/IP。该协议使得图像处理器可以位于远离计算机的任意位置，而不仅仅是位于家庭网络实例中的相同房子内或教学环境实例中的相同大学内。同样，还应该理解，可以采用其他网络和协议，例如UDP。

图像编辑器42可接收图像碎片48并构建新图像用于显示，该新图像包括图像碎片48和第一阵列中处于与图像碎片的像素阵列互补的位置的像素50。该新图像52随后作为图像数据通过合适的线缆以适合电视的形式输出到电视38用于显示，其形式例如VGA或HDMI。

本领域普通技术人员还应该理解，输出到显示装置的图像数据还可通过有线或无线电信网络输出，且允许显示装置位于任意地点。

在另一实例中，参考图4A、4B和4C进一步描述处理电子图像内容的系统。因此，参见图4A，可以从示意图中看出，用于处理电子图像内容的系统54可以在用于处理电子图像内容的计算机56中实现。在此实施例中，计算机56包括：比较器14，设置为识别第一图像中的哪些像素与第二图像中的像素不同，并且将这些不同的像素作为图像碎片输出；以及图像编辑器16，设置为由从比较器接收到的图像碎片和第一图像中处于与图像碎片的像素阵列互补的位置的像素构建新图像，用于由显示装置58和显示屏59(例如可以是电视屏幕)显示。图像编辑器16以及因此计算机56将新图像输出到电视59，用于显示。

本领域技术人员可以理解图4A中示出的系统的另一实施例的实例可以是当图像处理器被用作处理和显示电子图像内容的独立的系统的情况。例如，希望显示来自录制光盘的图像内容的用户可以直接将光盘插入图像处理器并且将图像内容显示出来，这是因为图像处理器可以包含计算机处理能力。

图4B示出了另一实施例。从图中可以看出，用于处理图像内容的系统60也包括具有比较器14的计算机56，但是图像编辑器16远离计算机设置而包含在显示装置58中。在此实施例中，显示装置可以是具有屏幕59的电视机，并且可以想象，如果具有多于一个显示装置，每个显示装置都具有使用单独的图像编辑器16构建用于显示的新图像的处理能力。此外，在此实施例中，比较器14和位于电视中的图形编辑器16之间可以通过上述类型的电信网络通信。此外，本领域技术人员将理解，可以有多于一个计算机56，每个计算机56自身具有比较器14，以识别图像碎片并将其输出到图像编辑器16从而输出到电视58。因此，在图像编辑器16包含于电视中的这种实例中，提供适当的硬件和软件以通过网络从一个或多个所连接的计算机接收图像碎片，从而可以构建用于在屏幕59上显示的新图像。

图4C示出了又一实施例。从图中可以看出，用于处理图像内容的系统62可包括具有比较器14的计算机56，如上所述，比较器14设置为识别不同的像素作为图像碎片。此外，可以看出，比较器14输出图像碎片，用于通过计算机56能力经由电信网络传输到位于单独图像处理器64中的图像编辑器16。然后，图像编辑器16使用与上述相同的方法构建新图像，用于显示在显示装置58的屏幕59上。

在图5中更详细地示出了图4C中所示的实施例，从图中可以看出，系统66中可以有多于一个计算机56，用于通过电信网络68将图像内容提供给多于一个图像处理器64，该图像内容可以显示在多于一个显示装置上，例如电视或计算机屏幕59以及投影仪70。示出的网络为互联网云，但是其也可以是如上所述的LAN。可以看出，利用上述处理图像内容的系统所实现的方法，计算机56将图像作为桌面内容显示在计算机屏幕72上并且期望通过投影仪70在用户屏幕59上观看该图像。

在一个实例中，图像处理器64可以通过使具有音频数据的序列图像流式输出至电视屏幕59来输出音频内容。因此，在实例中，除了正在输出的计算机桌面内容图像之外，音频图像也从计算机输出到显示装置58，用于由该显示装置的扬声器接收。

在另一个实例中，图像处理器64还可以通过使具有音频和视频数据的序列图像流向显示装置来输出除图像内容之外的视频内容。例如，源计算机可能希望在显示装置上显示视频剪辑。在这种情况下，视频剪辑音频和视频数据作为流数据通过网络68传输到图像编辑器64。在视频剪辑被显示在计算机屏幕72上的源计算机桌面图像内的实例中，其可以显示在比计算机屏幕更小的尺寸上。在此情况下，由计算机的比较器14识别的不同的像素仅应用于不包括视频剪辑的桌面图像部分。因此，在视频剪辑是全屏的情况下，比较器输出零差异。此外，计算机可以随流音频和视频数据输出用于视频剪辑的控制信息，以控制视频剪辑在显示装置上的显示，例如暂停、播放等。

在一个实例中，源计算机56和图像处理器64运行应用以传递(communicate)来自源计算机上的定制的媒体播放器的信息，该源计算机处理命令和视频剪辑数据以将音频和视频数据作为流数据输出。例如，可以使用已知的通信信道通过网络68传递流数据。然后，通过这些信道，以图像处理器、最终是显示装置可以理解的格式发送来自源计算机的命令和播放器数据。此外，一旦建立通信，就会有连续的通信以保持源计算机和图像处理器同步。

可在源计算机或图像处理器上运行的一部分应用作为代理，其接收第一示例中的命令和播放器同步数据。在此实例中，代理位于源计算机上并且将控制源计算机桌面的图像环境内的视频碎片数据。如果源计算机接收到命令，例如连接、暂停、播放、继续，则其相应地作用于播放器，因为这些命令不是播放器控制，而是用于相应的显示装置的命令。例如在显示装置是投影仪的实例中，如果用户希望暂停投影，则代理将相应地控制视频碎片数据。除了这些投影命令之外，代理还可以接收播放器相关命令，例如调整尺寸、静音、改变音量等等，这些命令还将被传送至代理以产生作用。

在上述实例中，视频碎片本身可以对上述代理的控制做出反应。在此情况下，用比较器14从源计算机的图像环境中识别的图像碎片覆盖视频碎片。视频碎片包使视频和音频数据能回放的数据和使数据与在图像处理器64上运行的应用同步的数据。在一个实例中，图像处理器64位于用户计算机内，例如膝上型电脑，在另一个实例中，图像处理器64远离膝上型电脑，其对应于显示装置，并且该膝上型电脑包括膝上型电脑屏幕59。因此，可以看出，同步数据可以用于对源计算机和用户的膝上型电脑分辨率不同的情况下的分辨率进行转换，从而可以相应地调整图像的尺寸。还可以相对于图像环境，调整可能重叠在显示屏幕的图像环境上的视频碎片或剪辑尺寸，以提供与源桌面图像一致的显示图像。本领域技术人员也将理解，可能需要另外的算法和模块来实现此步骤。

在另一个实例中，通过在图像处理器64和/或计算机56的操作系统上上运行的软件应用之间的通信，可以控制并远程操作图像处理器64。在此实例中，可以使用期望的通信信道来远程操作显示装置58和屏幕59。例如，电视可以接收基本操作员ASCII命令，例如打开和关闭。此外，可以使用计算机56上的控制应用远程控制电视，其中除了上述流图像和音频/视频数据之外，计算机56还将控制数据输出到图像处理器64。可以将控制数据、图像和音频/视频数据一起打包以使用TCP/IP通过电信网络传输，并且还可以将控制数据、图像和音频/视频数据与认证协议一起打包，以确保数据的传输。在一个实例中，使用用于通过电信网络的所有通信的握手协议来减少未授权使用的情况以及减少数据盗用的风险。

图6中示出了另一实施例。从图中可以看出，图像处理器64的媒介是存储器72，其用于存储由至少一个图像处理器64检索的流图像和/或音频和视频数据。在所示实施例中，存储器位于服务器73中，该服务器73通过电信网络68与计算系统从而与源计算机连接。服务器73和图像处理器64(客户端)的客户端-服务器设置允许每个客户端单独地控制对接收到的流数据的显示。图7中示出了可替换实施例，其中图像处理器64包括存储器72，以根据用户的请求存储接收到的流数据，用于随后的检索。本领域技术人员将理解，存储器72可以远离图像处理器64设置，例如存储器72可以包含在独立的硬盘驱动器中。

此外，计算机56可以运行另外的应用，例如定制的媒体播放器，以提供直观的用户界面，从而在显示装置上显示图像内容。媒体播放器还可以具有能够记录所显示的图像内容的功能，在此情况下，使用存储器进行记录。

通过实例，定制的媒体播放器可以与在客户端-服务器设置中的源计算机56和图像处理器64上操作的软件一起实现，在客户端-服务器设置中，源计算机用作服务器。但是可以想象，例如上述实例，服务器可以不同于源计算机。在此实例中，显示屏幕59和投影仪70在接收到每个图像处理器64的流图像数据和音频和视频数据之后显示来自源计算机的视频和音频剪辑。这种客户端-服务器设置还提供各种其他功能，例如从服务器播放器控制远程媒体播放器。例如，可以从服务器传输控制功能(例如停止、静音、播放、暂停、关闭等)，以控制客户端显示屏幕上的显示。此外，还可以建立从服务器到客户端图像处理器上运行的特定客户端播放器或者一组客户端播放器的连接，以独立地控制每个客户端播放器。

在上述实例中，定制的媒体播放器服务器组件被划分为三个主要的范围，即内容传输、控制传输和连接传输。有两个信道用于从服务器到客户端的通信，其中一个信道用于内容传输，另一个用于控制和连接传输。内容传输是实际的视频、音频或者视频和音频二者从服务器流向客户端组件。可以远离服务器组件建立例如静音、停止、暂停、播放、调整尺寸、重新定位、偏斜、放大、关闭、打开等控制。也可以从一个服务器到运行定制的媒体播放器的许多其它服务器建立如连接、断开连接、暂停以及取消暂停等连接控制，每个播放器可以在任一时间点被暂停、连接、取消暂停以及断开连接，而不干扰其它的客户端播放器。通过VLC流模块传输视频和音频内容，并且当服务器组件的用户界面中发生变化时，将包括控制传输的数据包通过远程接口发送到所连接的定制的媒体播放器客户端，以使其同步。此外，每个同步控制传输包以及连接传输包被发送到所有连接的客户端。它们是除图像内容和控制传输包之外被发送的，并且使得服务器播放器能够启动与特定的客户端或一组客户端的连接。因此，本领域技术人员将理解，这些命令包括如下高优先级命令：连接、断开连接、暂停以及继续。

此外，上述实例的客户端组件通常在远程系统上运行，该远程系统是被动的直到其从服务器接收到任何信息。在最初建立连接之后，保持所连接的客户端和服务器组件之间的主动通信，并且每个客户端从服务器接收三种类型的数据，即内容传输、控制传输和连接传输。此外，每个客户端操作其数据而不干扰其它客户端。客户端接收到的第一信息是连接传输，其提供关于连接类型的信息和关于已经与其建立了连接的服务器的信息。其它的连接命令还包括断开连接、暂停和继续。接收到的第二信息是内容传输，其为正在从服务器流出的实际的视频和音频内容。最后，从服务器接收控制命令以使客户端同步。例如在每个客户端接收音量控制、停止、播放、暂停、继续、关闭、调整尺寸、重新定位、全屏，以完全控制服务器、从而控制源计算机的显示。

在包括多个计算机56的另一实例中，上述控制信息可以包括关于将要显示的每个计算机图像的尺寸的详细信息。当切换每个源计算机与图像处理器64之间的连接时，可以使用不同的有限自动机算法来决定静态桌面图像内容的尺寸。例如如果发生状态改变(例如暂停、开始、停止、继续等)，则仅在检测到桌面内容的变化时，图像处理算法将图像数据从每个计算机发送到图像处理器64，但在其它情况下，不发送图像数据，从而避免了对网络带宽不必要的使用。此外，当切换每个计算机与图像处理器64之间的连接而没有任何不连接时，不同的有限自动机算法还可以确定静态计算机桌面图像的尺寸，从而避免了连接延迟。该实例示出的是每个计算机同时连接到多个图像处理器使得系统的连接拓扑为多对多的情况。即，每个图像处理器可以连接到一个单个的输出显示装置，其可以一次从许多源计算机接收图像内容作为输入，并且每个源计算机一次可以连接到多个图像处理器，使得其连接拓扑为多对多。如果这种情况存在，则可以使用上述应用及时、实时地切换使任一计算机作为主要的源或目的的选择。此外，在任一时间点，可以及时暂停、继续、开始、或停止显示或投影。

图8示出了实现该方法的状态图，其包括除图像数据之外，还输出控制信息以控制多对多拓扑实例中的一个或多个显示装置。这里，可以看出，当出现下列情况时，不同的有限自动机算法决定必须调整尺寸的静态桌面图像：在源计算机和/或图像处理器之间及时切换连接、而没有不连接的情况；或者发生了如暂停、开始、停止、继续等状态变化的情况。

可以使用状态设计模式以任意适当的计算机语言来实现有限自动机。

以下是对有限自动机的描述：

每个状态下的值n描述了图像是否必须被重置为全图像，其中0为假，1为真。

Q为一组有限状态；E为符号的有限集，d为从QxE到Q的函数。

Q＝{S0，SC，SPS，NC，SPA，SRS，SRA，URS，UPA，URA，UPS}

E＝{DS，DA，CS，CA，PS，PA，RS，RA}

q_o为初始状态

符号表

S0-启动状态

SC-同步连接

SPS-同步暂停单个

NC-无连接

SPA-同步暂停所有

SRA-同步重启所有

SRS-同步重启单个

URS-不同步重启单个

URA-不同步重启所有

UPS-不同步暂停单个

UPA-不同步暂停所有

DS-断开单个的连接

DA-断开所有的连接

CS-连接单个

CA-连接所有

PS-暂停单个

PA-暂停所有

RS-重启单个

RA-重启所有

在图8中，S0、SPS、SPA、SRS、UPA和UPS的值n为0，SC、NC、URS和URA的值n为1。此外，下面描述了指示状态之间的控制的符号：

S0-SC (CS)

S0-NC (CA)

SC-S0(DS，DA)

SC-SPS (PS)

SC-NC(CS，CA)

SPS-S0(DA)

SPS-SC (DS)

SPS-SPS(PS，RS，DS)

SPS-SPA (PA)

SPS-NC(CS，CA)

NC-SPS (DS)

NC-NC(CS，CA)

NC-SPA (PA)

NC-UPS (PS)

NC-S0(DA)

SPA-SRS (RS)

SPA-URS(CS，CA)

SPA-SRA (RA)

SPA-S0(DA)

SPA-SPA (DS)

SPA-SPS (DS)

SRA-S0(DA)

SRA-NC(CS，CA)

SRA-SPA (PA)

SRA-SPS (DA)

SRA-SRA (DS)

SRA-UPS (PS)

SRS-NC(CS，CA)

SRS-S0(DA)

SRS-SRS(DS，PS)

SRS-URA (RA)

SRS-URS (RS)

URS-UPA (PA)

URS-URA (PA)

URS-UPS(RS，PS)

URS-URS(RS，CS，CA)

URA-UPS(CS，PS)

URA-SPA (PA)

URA-NC(CS，CA)

URA-S0(DA)

UPS-URS(RS，CS，CA，DS)

UPS-SPS (PA)

UPS-URA (RA)

UPS-UPA (PA)

UPS-UPS(PS，DS)

UPS-S0(DA)

UPA-S0(DA)

UPA-URS(RS，CS，CA)

UPA-UPS(DS)

UPA-URA (RA)

在又一实例中，除了传输控制和图像包数据的算法之外，系统可以执行维持源计算机的低CPU使用率、高图像清晰度、容易切换以及控制多对多连接中的转换的另外的算法。CPU使用率算法首先读取源计算机的CPU使用率并且调整其它算法以使所需CPU使用率上限限制(cap off)到预配的极限。因此，算法适当地使用了可用资源并且为源计算机的用户提供了用于其它应用的空间。

下面给出了算法的另外的细节。

自动初始CPU上限限制算法

自动初始CPU上限限制算法首先读取用户的CPU使用率并且将上述算法自动调整到预配值。因此，适当地使用了可用资源并且为用户提供了用于其它应用的空间。在前10秒，算法记录学习下的线程并计算线程必须等待以在CPU上限限制值内执行的间隔时间。

伪代码：

函数1.

该函数承担一个重要任务：捕获桌面图像。其与图像差分算法同步运行。在捕获桌面执行一个周期之后，其等待图像差分算法来完成其执行。

函数2

该函数计算需要被发送到远程客户端系统的差分图像。该线程与图像捕获线程一起工作。由该算法计算的等待值将用于该线程。

函数3

该函数计算正在由上述线程使用的等待时间，以使它们的CPU使用率在特定限制以下。其利用许多统计数据得出等待时间，该等待时间为收集到的十次的算数平均值。一旦得到等待时间，该计算将不再执行。

函数4.

为了核算所需的等待时间，需要记录在当前CPU上运行的所有线程以及它们的CPU使用率的值，其将用于下面的计算。

函数5

由于该算法涉及两个主要的耗CPU线程，因此我们需要过滤出不产生影响或者过多地使用CPU的这些线程。因此，该函数将过滤出不必要的线程并且仅考虑上文描述的、CPU密集的这两个线程。

部分图像发送处理算法

仅当检测到桌面内容变化时，图像处理算法将图像数据发送到图像处理器，而在其它情况下不向图像处理器发送图像数据，从而避免了对网络带宽不必要的使用。下面解释基于算法做出的决定所发生的图像转换。

伪代码：

函数1

该函数捕获桌面图像并通知计算差分图像的线程。图像及其相关数据被发送到dataContainer中，dataContainer为结构包。

函数2

该函数计算当前桌面图像和之前桌面图像的差分图像，如果_resetImage没有被设置为真，则当需要全图像而非部分图像时将_resetImage设置为真。该函数返回仅包含变化而不包含冗余部分的图像。将_resetImage设置为真的条件是重启连接、连接单个、新连接、重新发送数据和分辨率变化。

该函数与StartCapturing同步工作，一个进程接着一个进程。

函数3

一旦差分图像或全图像就绪，就将其发送到目的程序，并且如果图像已经被使用或更新则得到返回值。这对于自始至终维持相同的前一图像是必须的，其为源或客户端桌面以及接收计算机。只有这样做，差分图像才会被附加而没有任何帧损失。否则，源和目的图像将不同。

函数4

计算差分图像

从单个客户端到多个图像处理器连接的算法

运行客户端组件程序的用户显示装置，例如用户膝上型电脑，一次可以连接到多于一个图像处理器。所有这些连接通过单个套接字连接完成。膝上型电脑维护用作服务器的所有活动图像处理器的列表。活动的图像处理器是

在该时间点连接并且正在进行主动通信的图像处理器。每个包被传送到整个列表。此外，内置同步化属性以确保所有图像处理器接收相同的包而无差异。

伪代码：

函数1

该函数使得客户端膝上型电脑(显示装置)连接到图像处理器。该方法还含有用于连接的认证机制。仅在连接有效时，图像处理器被加入活动服务器的列表中。

函数2

该函数负责将图像以及鼠标数据包发送至由函数1添加的列表中的所有的服务器。在发送完每个数据包之后，等待图像处理器的确认，在确认之后，发送随后的包。存在用于客户端将要等待每个图像处理器确认的时间的阈值时间。如果计时器暂停，则切断与图像处理器的连接并将该连接从图像处理器的列表中删除。

函数3

该函数负责一旦用于确认的阈值等待时间结束则从连接的图像处理器列表中移除图像处理器。

从单个图像处理器到多个客户端的连接

单个图像处理器可以连接到输出将要被显示的图像内容的多个客户端显示装置。通过维护主动连接到该图像处理器的客户端或源的列表，这是可能的。所有的连接通过单个套接字实现。基于源IP地址挑选从所有源接收到的数据包；如果之前已经成为碎片则进行组合并更新该连接的显示。

伪代码

函数1

该函数能够实现到源膝上型电脑的连接。其还包含用于连接的认证机制。仅在连接有效时，该源被添加到活动源的列表中。

函数2

此函数基于接收到的包类型以及发送该包的源对接收到的数据包执行多个操作。

其执行以下操作：

■其接受来自需要将其内容投送到图像处理器的源的连接。

■当接收连接时，其认证连接然后将该源IP地址加入其活动投射源列表的列表中。

■基于头部分离包并且通过检查包大小查明其是否是有效包，如果包是有效的，则将其发送到其各自的处理函数。如果包是无效的，则将其存储在临时缓冲器中并将其它包附加在其上直到其为有效包。

Claims

1.一种处理电子图像内容用于显示的方法，该方法包括：

计算系统接收包括第一阵列像素的第一图像；

所述计算系统接收包括第二阵列像素的第二图像；

所述计算系统的比较器通过比较所述第一阵列和所述第二阵列来识别第二阵列中哪些像素与第一阵列的对应像素不同，并将所述第二阵列的所述不同像素输出到至少一个图像编辑器；

所述图像编辑器构建新图像用于显示，该新图像包括由所述比较器从所述第二阵列识别的所述不同像素和所述第一阵列中与第二阵列的所述不同像素互补的像素；和

输出该新图像用于显示。

2.如权利要求1所述的方法，其中所述图像编辑器通过电信网络连接到所述计算系统。

3.如权利要求2所述的方法，还包括通过所述电信网络经由TCP/IP从所述计算系统输出由所述比较器从所述第二阵列识别的所述不同像素。

4.如权利要求3所述的方法，还包括所述图像编辑器认证所述不同像素的接收。

5.如权利要求1所述的方法，还包括输出该新图像用于由至少一个显示装置显示。

6.如权利要求5所述的方法，还包括使用音频/视频接口输出到该显示装置。

7.如权利要求5所述的方法，还包括所述计算系统输出控制信息以控制所述图像内容在该显示装置上的显示。

8.如权利要求7所述的方法，其中所述控制信息包括所述第一和第二阵列的像素阵列尺寸。

9.如权利要求1所述的方法，还包括所述计算系统接收音频和/或视频数据并且除了由所述比较器从所述第二阵列识别的所述不同像素外还将所述音频和/或视频数据作为流数据输出到该图像编辑器。

10.如权利要求9所述的方法，还包括所述计算系统输出控制信息以控制用于由至少一个显示装置显示的所述音频和/或视频数据的显示。

11.如权利要求9所述的方法，还包括输出所述流数据到对于以存储器为媒介的所述图像编辑器。

12.如权利要求11所述的方法，其中所述存储器位于通过电信网络连接到所述计算系统的服务器中。

13.如权利要求1所述的方法，还包括从所述计算系统将由所述比较器识别的所述不同像素输出到该至少一个图像编辑器的每一个，以构建所述新图像用于由对应于该图像编辑器的每个显示装置显示。

14.如权利要求13所述的方法，还包括所述计算系统将由所述比较器识别的所述不同像素同步输出到每个图像编辑器以提供在每个对应显示装置上的同步显示。

15.如权利要求14所述的方法，还包括所述计算系统输出控制信息以同步所述图像内容在每个对应显示装置上的显示。

16.如权利要求1所述的方法，还包括在输出到所述图像编辑器之前压缩由所述比较器从所述第二阵列识别的所述不同像素。

17.如权利要求1所述的方法，其中所述计算系统包括至少一个计算机。

18.如权利要求17所述的方法，其中所述图像内容作为电子图像来自该至少一个计算机。

19.如权利要求1所述的方法，还包括当所述比较器超过所述计算系统的CPU使用率阈值时，所述计算暂停所述比较器通过比较所述第一阵列和所述第二阵列来识别第二阵列中哪些像素与第一阵列的对应像素不同以及输出所述第二阵列的所述不同像素到所述图像编辑器。

20.如权利要求19所述的方法，其中所述阈值是所述计算系统的CPU使用率的30％。

21.一种用于处理电子图像以显示的系统，该系统包括：

计算系统，被设置为接收包括第一阵列像素的第一图像和包括第二阵列像素的第二图像；

所述计算系统的比较器，被设置为通过比较所述第一阵列和所述第二阵列来识别第二阵列中哪些像素与第一阵列的对应像素不同并将所述第二阵列的所述不同像素输出到至少一个图像编辑器，

由此，所述图像编辑器被设置为构建新图像用于显示，该新图像包括由所述比较器从所述第二阵列识别的所述不同像素和所述第一阵列中与第二阵列的所述不同像素互补的像素，并且输出该新图像用于显示。

22.如权利要求21所述的系统，其中所述图像编辑器通过电信网络连接到所述计算系统。

23.如权利要求22所述的系统，其中所述计算系统通过所述电信网络经由TCP/IP输出由所述比较器从所述第二阵列识别的所述不同像素。

24.如权利要求21所述的系统，其中所述图像编辑器输出所述新图像用于由至少一个显示装置显示。

25.如权利要求21所述的系统，其中所述图像编辑器使用音频/视频接口输出到该显示装置。

26.如权利要求21所述的系统，其中所述计算系统将由所述比较器识别的所述不同像素输出到多个图像编辑器，以构建所述新图像用于由多个对应显示装置显示。

27.如权利要求21所述的系统，其中所述计算系统包括至少一个计算机。

28.一种用于处理电子图像内容以显示的装置，该装置包括：

图像编辑器，被设置为：

接收包括第一阵列像素的第一图像；

接收包括第二阵列像素的第二图像的像素，该包括第二阵列像素的第二图像的像素与第一阵列的对应像素不同；

构建新图像用于显示，该新图像包括由所述比较器从所述第二阵列识别的所述不同像素和所述第一阵列中与第二阵列的所述不同像素互补的像素；并且

输出该新图像用于显示。

29.计算机程序代码，当其被执行时，实现权利要求1至20任一项所述的方法。

30.一种计算机可读介质，包括权利要求28的程序代码。

31.一种数据文件，包括权利要求29的程序代码。