CN103593046A - 信息处理装置、投影装置、信息处理方法以及投影方法 - Google Patents

Abstract

本发明提供一种信息处理装置、投影装置、信息处理方法以及投影方法。该图像处理装置与投影仪连接并且将图像数据发送到投影仪。该图像处理装置包括用于捕捉显示屏幕的捕捉单元、用于存储捕捉的显示屏幕的图像数据的存储单元、用于通过剪切在所捕捉的显示屏幕的图像数据和先前捕捉的显示屏幕的图像数据之间的差分来生成差分图像数据的差分图像生成器、用于选择差分图像数据或显示屏幕的图像数据作为要发送到投影仪的图像数据的传送方法确定单元以及用于将图像数据传送到投影仪的图像传送单元。

Description

信息处理装置、投影装置、信息处理方法以及投影方法

技术领域

本发明涉及图像处理装置、图像处理方法、图像投影装置以及图像投影系统。

背景技术

传统上，在个人计算机（PC）与投影机经由网络连接的环境下，周期地捕捉PC的桌面屏幕、将其作为图像数据发送到投影仪并且通过使用投影仪投影图像数据的技术是广为人知的。另外，通过只将已变化区域的图像数据（差分图像数据）发送到投影仪来减少网络负载的技术也是广为人知的。通过减少网络负载，在给定时段投影仪能接收的图像数据量（帧数）增加，这导致了提高投影帧率。

通常，在制作经由网络从PC将桌面屏幕发送到投影仪的软件的情况下，在PC中安装虚拟显示驱动并且使得操作系统（OS）通知用户桌面屏幕的变化的方法是广为人知的。但是由于需要或用户友好软件，此方法不能用于在PC中没有安装虚拟显示驱动的安装较少版本的情况下。

与此相反，捕捉整个桌面屏幕、将其与先前捕捉的桌面屏幕的图像数据逐像素比较、只剪切包括所有变化的像素（以下称为“差分像素”）的区域、生成差分图像数据并将其发送到投影仪的技术是广为人知的。在这种方法中，投影仪通过在先前投影的图像数据上叠加所接收的差分图像数据来仅更新差分区域。

发明内容

本发明提供了新颖的图像处理装置，其与投影仪连接并且将图像数据发送到投影仪。

更具体地，本发明提供了一种图像处理装置，该图像处理装置包括用于捕捉显示屏幕的捕捉单元、用于存储所捕捉的显示屏幕的图像数据的存储单元、用于通过剪切在所捕捉的显示屏幕的图像数据和先前捕捉的显示屏幕的图像数据之间的差分来生成差分图像数据的差分图像生成器、用于选择差分图像数据或显示屏幕的图像数据作为要发送到投影仪的图像数据的传送方法确定单元以及用于将图像数据传送到投影仪的图像传送单元。所述传送方法确定单元基于差分图像数据量或将差分图像数据传送到所述投影仪所需的时间来确定传送方法。

图9是示出了通过投影仪接收的差分图像数据、通过投影仪先前投影的在存储单元存储的图像数据以及合成前两个图像的叠加图像的示意图。即，图9A是示出了通过投影仪接收的先前投影的图像数据的示意图，图9B是示出了从PC发送的差分图像数据的示意图，而图9C是示出了在通过投影仪先前投影的图像数据上叠加从PC发送的差分图像数据的投影图像数据的示意图。

在将差分图像数据发送到投影仪并将其投影的传统技术中，如果差分图像数据微小，则由于其并不占用太多时间来提取差分图像数据因此提高了帧速率并且减少了网络业务。但是如果差分图像数据巨大，不仅网络业务与以原样发送PC桌面屏幕的图像数据相比减少，而且由于其占用了太多的时间来提取差分图像数据，反而造成帧率变差，并且这构成了技术问题。

特别的，如果在PC桌面屏幕上显示动态图像，则由于生成大量差分和差分图像数据量保持巨大，因此帧率容易变差。

作为将图像数据传送到投影仪的另一系统，已经提出一种图像传送系统（即JP-2005-257948-A）。在这个图像传送系统中，将发送到投影仪的层与不发送到投影仪的层分离。图像传送系统捕捉发送到投影仪的层，并且将捕捉的层发送到投影仪。同时投影仪接收从PC发送的层并且在屏幕上投影所接收的层。即，PC分离了在投影仪上不显示的层并通过不使投影仪投影不需要的桌面屏幕来减少网络业务。

然而，在上述图像传送系统中，如果差分图像数据量巨大，则即使网络业务没有如此减少，帧率仍然变差，并且这占用时间来提取差分图像数据。

附图说明

当通过结合附图考虑时，参照以下具体实施方式，同样内容变得更好理解，将容易地获取对本公开更加全面的理解和许多由此获得的优点。

图1是示出了如本发明实施例的图像处理系统的示意图。

图2是示出了如本发明实施例的个人计算机（PC）的硬件配置的方框图。

图3是示出了如本发明实施例的投影仪的硬件配置的方框图。

图4A和图4B是示出了如本发明实施例的PC和投影仪的功能配置的方框图。

图5是示出了在如本发明实施例的PC中发送图像数据的处理的流程图。

图6是示出了通过在如本发明实施例的PC中的传送方法确定单元执行处理的流程图。

图7是示出了通过如本发明实施例的投影仪执行处理的流程图。

图8是示出了当在如本发明实施例的PC中生成用于提取差分像素的差分图像数据时的每个图像数据的示意图。

图9是示出了现有技术中先前投影的图像数据、通过投影仪接收的差分图像数据以及叠加的投影图像数据的示意图。

具体实施方式

在描述图中示出的优选实施例中，为了清楚的目的采用具体术语。然而，本专利说明书的公开并不是为了限制于如此选择的具体术语，而是应理解每个具体要素包括所有具有相同功能、以相似方式运行以及达到相似效果的技术等同体。

图1是示出了PC 10和投影仪20经由网络NT连接的图像处理系统的示意图。在此实施例中，多个PC 10（1）、（2）和（3）和多个投影仪20（1）、（2）和（3）经由网络NT连接。

图2是示出了PC 10的硬件配置的方框图。在此实施例中，PC 10具有与通用信息处理终端相同的配置。也就是说，在此实施例的PC 10中，中央处理器（CPU）、随机存取存储器（RAM）、只读存储器（ROM）、硬盘驱动器(HDD)和接口（I/F）经由总线相互连接。并且液晶显示器（LCD）和输入设备与I/F连接。CPU是处理单元并且控制整个PC 10的运行。RAM是能读取和写入数据的高速易失性存储设备并且当CPU处理数据时作为工作区域使用。ROM是只读非易失性存储设备并且存储如固件的程序。HDD是能读取和写入数据的非易失性存储设备并且存储操作系统（OS）、各种控制程序和应用程序等。I/F将各种硬件和网络等连接到总线并且控制它们。LCD是用户能检查PC 10的状态的可视用户界面。输入设备是用户能使用以将信息输入到PC 10中的如键盘和鼠标的用户接口。

图3是示出了投影仪20的硬件配置的方框图。投影仪20包括CPU、存储器控制器、主存储器以及主机-PCI桥。存储器控制器经由主机总线与CPU、主存储器、主机-PCI桥连接。CPU控制整个投影仪20。主控制器控制来自主存储器的读取数据并且将数据写入到主存储器等。主存储器是用于存储程序和数据、执行程序和处理数据的系统存储器并且作为视频存储器使用。主机-PCI桥连接外围设备和PCI设备。主机-PCI桥经由HDD I/F与存储器卡连接。并且主机-PCI桥经由PCI总线与PCI设备连接。并且主机-PCI桥经由PCI总线和PCI槽与通信卡、无线通信卡和视频卡等连接。存储器卡作为OS的引导设备使用。通信卡和无线通信卡用于与如LAN的网络和通信线路连接。视频卡用于投影图像并且向显示输出连接器输出视频信号。在此实施例中，预先在主存储器中的存储设备存储器区域等中安装在投影仪20上执行的控制程序。

图4A和图4B是示出了PC 10和投影仪20的功能配置的方框图。PC 10包括用于获取在PC 10上的桌面屏幕的图像数据（其可以是整个图像数据或在指定要显示的部分图像情况下部分图像的图像数据）的捕捉单元101、用于确定以桌面屏幕的图像数据或以差分图像数据传送的传送方法确定单元102、用于控制存储设备103a的存储单元103、差分图像生成器104和图像传送单元105，其中存储设备103a存储桌面屏幕的图像数据，差分数据生成器104从先前桌面屏幕的图像数据剪切差分并且生成差分图像数据，图像传送单元105将图像数据传送到投影仪20。包括这些功能块的单元是基于在计算机可读存储介质中存储的程序的PC 10中的功能执行单元。

此处，传送方法确定单元102包括计数器106，用于在差分图像数据量或差分图像数据的传送时间高于预定值的情况下，计数传送差分图像数据的次数；以及仲裁时间测量单元107，用于测量在将差分图像数据的传送变化到桌面屏幕的图像数据的传送之后流逝的时间并且利用内部时钟等。

投影仪20包括从PC 10接收图像数据的图像接收器201、在先前投影的投影图像数据上叠加接收到的图像数据的图像叠加单元202、投影图像数据的图像投影单元203、存储所投影的图像数据的存储设备204a以及控制存储设备204a的存储单元204。

接着，将在下面描述在如上述配置的PC 10中图像数据的传送处理。图5是示出了在PC 10中发送图像数据的处理的流程图。在PC 10中开始处理后，捕捉单元101获取在PC 10中桌面屏幕的图像数据（S101）。经由存储单元103在存储设备103a中存储所获取的桌面屏幕的图像数据（S102）。随后，传送方法确定单元102参考差分图像数据的量或将差分图像数据传送到投影仪需要的时间来确定将桌面屏幕的图像数据传送到投影仪20还是将差分图像数据传送到投影仪20并且执行切换（S103）。

在执行S103中的切换之后，如果要传送桌面屏幕的图像数据（S104中的“否”），则图像传送单元105将获取的桌面屏幕的图像数据以原样传送给投影仪20（S105）。

在执行S103中的切换之后，如果要传送差分图像数据（S104中的“是”），则差分数据生成器104经由存储单元103从存储设备103a获取先前桌面屏幕的图像数据以包括所有提取的差分像素（S106），将先前桌面屏幕的图像数据与当前桌面屏幕的图像数据逐个像素比较，提取差分像素（S107），并生成差分图像数据。图像传送单元105将生成的差分图像数据传送到投影仪20（S108）。重复从S101到S108的步骤直到投影仪20完成投影（S109中的“是”）。

接着，下面将描述在PC 10中通过传送方法确定单元102执行的处理。图6是示出了通过在PC中的传送方法确定单元102执行处理的流程图。在开始处理中，计数器计数差分图像数据量超过例如多于100K字节的预定值的次数N，并且首先将计数器值设定为0（S201）。传送差分图像数据（S203）直到N变为例如15的预定值（S202中的“否”）。在这种情况下，如果要传送的差分图像数据量超过例如超过100K字节的预定值（S204中的“是”），则递增N（S205）。如果在S204中要传送的差分图像数据量小于100K字节（S204中的“否”），则计数器值每次复位并且将N初始化为0（S206）。

如果确定N达到例如15的预定值（S202中的“是”），则存在向传送桌面屏幕的图像数据的切换，并且传送桌面屏幕的图像数据（S208）。如果已完成投影（S209中的“是”），则处理结束。如果尚未完成投影（S209中的“否”），则保持传送桌面屏幕的图像数据（从S208到S210）直到达到例如60秒的预定时间（S210中的“否”）。

如果在S210已流逝60秒（S210中的“是”），则将N初始化为0（S206）。在这种情况下，如果还没有完成投影（S207中的“否”），则处理返回到S202，并且存在再次传送差分图像数据的切换并且传送差分图像数据。重复从S202到S210的步骤直到完成投影。

如上述，在此实施例中，如果差分图像数据量超过100K字节重复15次，则传送方法确定单元102变化到传送桌面屏幕的图像数据，并且除非其已经完成投影，否则在开始传送桌面屏幕的图像数据之后60秒再次变化到传送差分图像数据。

这些参数，例如差分图像数据的预定量（阈值：在本实施例中100K字节）、重复数（15）、在开始传送桌面屏幕的图像数据之后再次开始传送差分图像数据的预定（流逝）时间（60秒），能经由例如键盘的输入设备（图中未示出）被任意设置。另外，这些阈值能根据使用环境调整。

并且，假设30ms用于生成差分图像数据，30ms用于将150-字节差分图像数据传送到投影仪20，20ms用于将100K-字节差分图像数据传送到投影仪20，10ms用于将50K-字节差分图像数据传送到投影仪20以及50ms用于将桌面屏幕的图像数据传送到投影仪20，生成要传送的图像数据并且完成传送到投影仪20的时间成为如下面表1所示。

表1

如表1所示，如果差分图像数据量小于100K字节，则通过传送桌面屏幕的图像数据来缩短总时间。

并且在上面描述中，存在根据差分图像数据量来做出传送桌面屏幕的图像数据的切换。此外，可以根据将差分图像数据传送到投影仪20的传送速率（其可以是传送时间，以下称为“传送时间”）来切换。在那种情况下，如果差分图像数据的传送时间超过预定时间，例如多于20ms重复15次，做出传送桌面屏幕的图像数据的切换。

接着，下面将描述投影仪20执行的处理。图7是示出了通过投影仪20执行处理的流程图。首先，图像接收器201从PC 10接收图像数据（S301）。如果接收到差分图像数据（S302中的“是”），则图像叠加单元202经由存储单元204从存储设备204a获取先前投影的图像数据并且将它叠加在从PC 10接收的差分图像数据上（S303）。投影仪20使用图像投影单元203投影所叠加的图像数据（S304）并且经由存储单元204在存储设备204a中存储它。

如果在S302中没有接收到差分图像数据，即接收到PC 10的桌面屏幕的图像数据（S302中的“否”），则投影仪20以原样投影从PC 10接收的图像数据（S306）并且经由存储单元204在存储设备204a中存储它（S305）。

如果不存在从PC 10传送的图像数据（S307中的“是”），则处理结束。如果从PC 10传送图像数据（S307中的“否”），则重复从S301到S307的步骤。即重复从S301到S307的步骤直到不存在来自PC 10的更多图像数据。

在PC 10和投影仪20电连接的环境下，即经由网络NT相互连接，假如投影仪20投影PC 10的桌面屏幕的图像数据，则所传送的图像数据能被改变为在先前的桌面屏幕的图像数据和当前的桌面屏幕的图像数据（所捕捉的图像数据）之间的差分图像数据或PC 10的桌面屏幕的图像数据。

也就是说，如果桌面屏幕变化很小，如鼠标操作，则传送方法确定单元102将桌面屏幕的差分图像数据传送到投影仪20。如果桌面屏幕变化很大，如播放动态图像，则传送方法确定单元102在预定时间变化到不传送差分图像数据而是传送桌面屏幕的图像数据。接着，在已流逝预定时间（60秒）之后，传送方法确定单元102变化到将差分图像数据传送到投影仪20。也就是说，基于提取差分像素并且生成差分图像数据所需的时间以及由于所传送的图像数据量的增大（即传送图像数据的负担增大）导致的传送时间的增加，来改变所传送的图像数据，并且可以始终以高效帧率传送图像数据。

本发明基于在处理要发送到投影仪的图像过程中的将差分数据图像传送到投影仪的传送时间或差分图像数据量，通过将要发送的图像数据变化为显示屏幕的差分图像数据或显示屏幕的图像数据，从而实现了适当的帧率。

虽然上面描述了将PC的桌面屏幕传送到投影仪的情况，但是本发明并不限制于此，移动和固定的图像处理装置能用于代替PC。在这种情况下，屏幕是图像处理装置的显示屏幕。

鉴于上述教导，众多附加修改和变形是可能的。因此需要理解的是在所附权利要求的范围内，本说明书的公开可以用不同于此处具体描述的内容实践。

作为那些计算机领域所属技术人员能够理解的，为了便利可以使用便利性的根据本说明书的教导编程的通用数字计算机执行此发明。正如对于软件领域所属技术人员将是明显的，基于本公开的教导通过技术程序员能轻易地准备适当的软件编码。正如对于相关领域所属技术人员将是显而易见的，也能通过准备专用集成电路或通过互连常规组件电路的适当网络执行本发明。

Claims (8)

1.一种信息处理装置，所述信息处理装置与投影装置连接并且将图像数据发送到所述投影装置，包括：

捕捉单元，用于捕捉显示屏幕；

存储单元，用于存储所捕捉的显示屏幕的图像数据；

差分图像生成器，用于通过剪切在所捕捉的显示屏幕的图像数据和先前捕捉的显示屏幕的图像数据之间的差分来生成差分图像数据；

传送方法确定单元，用于选择差分图像数据或显示屏幕的图像数据作为要发送到所述投影装置的发送图像数据；以及

图像传送单元，用于将所述发送图像数据传送到所述投影装置，

其中，所述传送方法确定单元基于差分图像数据量或将差分图像数据传送到所述投影装置所需的时间来选择传送方法。

2.根据权利要求1所述的信息处理装置，其中，所述传送方法确定单元包括计数器，如果差分图像数据量或差分图像数据的传送时间多于预定值，则所述计数器计数传送差分图像数据的次数，并且在所述计数器达到预定计数值的情况下，从传送差分图像数据改变为传送显示屏幕的图像数据。

3.根据权利要求2所述的信息处理装置，其中，所述传送方法确定单元包括时间测量单元，用于测量在将差分图像数据的传送改变为桌面屏幕的图像数据的传送之后流逝的时间，并且在所述时间测量单元达到预定时间的情况下，从传送差分图像数据改变为传送显示屏幕的图像数据。

4.根据权利要求3所述的信息处理装置，还包括输入设备，用于设置差分图像数据的预定量、预定计数值、传送差分图像数据的预定时间以及从传送差分图像数据改变为传送显示屏幕的图像数据之后流逝的预定时间。

5.根据权利要求2所述的信息处理装置，其中，在传送的差分图像数据量小于预定值的情况下，将所述传送方法确定单元中的所述计数器复位。

6.一种投影装置，所述投影装置投影从信息处理装置传送的图像数据，包括：

图像接收器，用于从所述信息处理装置接收图像数据；

存储单元，用于存储所投影的图像数据；

图像叠加单元，如果接收到通过剪切所捕捉的显示屏幕的图像数据和先前捕捉的显示屏幕的图像数据之间的差分而生成的差分图像数据，则所述图像叠加单元从先前投影的图像数据和差分图像数据生成投影图像数据；以及

图像投影单元，用于投影通过所述图像叠加单元生成的投影图像数据。

7.一种控制信息处理装置的方法，所述信息处理装置与投影装置连接并且将图像数据发送到所述投影装置，包括如下步骤：

捕捉显示屏幕；

存储所捕捉的显示屏幕的图像数据；

通过剪切在所捕捉的显示屏幕的图像数据和先前捕捉的显示屏幕的图像数据之间的差分来生成差分图像数据；

选择差分图像数据或显示屏幕的图像数据作为要发送到所述投影装置的图像数据；以及

将图像数据传送到所述投影装置，

其中，基于差分图像数据量或将差分图像数据传送到所述投影装置所需的时间执行所述选择步骤。

8.一种控制投影装置的方法，所述投影装置投影从信息处理装置传送的图像数据，包括如下步骤：

从所述信息处理装置接收图像数据；

存储所投影的图像数据；

如果接收到通过剪切所捕捉的显示屏幕的图像数据和先前捕捉的显示屏幕的图像数据之间的差分而生成的差分图像数据，则从先前投影的图像数据和差分图像数据生成投影图像数据；以及

投影在投影图像数据生成步骤中生成的投影图像数据。

Images