CN103294618A - 信息处理装置及控制方法 - Google Patents

Abstract

本发明提供信息处理装置及控制方法。与在所述信息处理装置的显示单元上显示的画面相对应的画面数据的至少一部分被发送到图像输出装置。所述发送包括第一发送模式和第二发送模式，在所述第一发送模式中，所述画面数据的至少一部分和指示指针在所述画面中的位置的指针位置信息在不相关联的情况下被发送，在所述第二发送模式中，所述画面数据的至少一部分和指针位置信息被相关联并发送。在检测到针对所述画面中包括的对象的使用所述指针的预定操作的情况下，在所述第二发送模式下发送所述画面数据的至少一部分。

Description

信息处理装置及控制方法

技术领域

本发明涉及信息处理装置及控制方法，具体地，涉及以预定的间隔依次发送在信息处理装置中生成的图像并且由图像输出装置呈现图像的技术。

背景技术

最近的诸如投影仪的图像输出装置的普及，使得能够在演示等的场合中通过将诸如PC的信息处理装置连接到投影仪来输出图像信号，并向许多人呈现由PC生成的图像，使得他们能够观看这些图像。PC和投影仪之间的连接通常使用经由模拟RGB电缆的模拟连接，并且根据需要通过与时钟信号同步地输出由PC生成的模拟图像信号来进行流畅且连续的图像呈现。

然而，在PC和投影仪之间使用电缆的连接受到电缆的准备、在多个PC之间切换连接以使用投影仪时的连接工作、以及在使用PC时诸如空间限制的连接问题的影响。即，使用投影仪的图像呈现具有由物理布线的使用所施加的各种限制。

为了解决该问题，最近已经提出了能够在不使用物理布线的情况下接收图像的投影仪。当将图像呈现在该类型的投影仪上时，PC经由无线通信装置发送图像。例如，当按照传统方式呈现关于PC的桌面的图像信号时，PC发送通过定期捕捉桌面而获得的图像数据（从视频存储器获取桌面画面数据）。

在通过将图像从PC经由无线通信装置发送到投影仪而进行的图像呈现中，所呈现的连续图像可能包含对象的运动，例如鼠标操作对指针的移动。在这种情况下，所呈现的连续图像可能会根据进行捕捉的频率而不适当地表现运动。因此，在检测到运动时，捕捉并发送图像，使得能够呈现适当地表现运动的图像。换言之，当检测到运动时，捕捉和发送的频率变得比正常高。

最近的投影仪上能够投影的图像数据的像素数越来越多。上述经由无线通信装置的图像呈现有时使用许多像素的图像数据。在检测到运动时图像数据发送频率上升的结构中，单位时间的发送量增加。这可能会增加发送信道中的流量。增加流量引起要呈现的图像数据的发送延迟，以及所谓的丢帧，即由投影仪呈现的图像变得不连续。结果，呈现的连续图像可能无法适当地表现对象等的运动，从而损害用户体验到的操作感。

为了解决该问题，例如，日本专利特开第2005-257948号公报公开了避免在指针移动时由频繁的图像更新生成的发送延迟的方法。为此，针对指针的移动仅发送坐标信息，并且图像输出装置在相应的坐标绘制指针。

日本专利特开第2005-257948号公报中的方法能够实现在更新指针位置时的有效图像发送。然而，在更新诸如画面内的窗口的部分对象时，该方法可能无法有效地发送图像。

发明内容

本发明被作出以解决传统问题。本发明提供了一种减少在将输出图像发送到图像输出装置时用户体验到的操作感的退化的技术。

本发明的第一方面提供了一种能够与图像输出装置通信的信息处理装置，所述信息处理装置包括：获取单元，其被配置为获取指示指针在所述信息处理装置的显示单元上显示的画面中的位置的指针位置信息；检测单元，其被配置为检测针对所述画面中包括的对象的使用所述指针的操作；以及发送控制单元，其被配置为进行控制，以将与所述画面相对应的画面数据的至少一部分发送到所述图像输出装置，其中，所述发送控制单元的发送模式包括第一发送模式和第二发送模式，在所述第一发送模式中，所述画面数据的至少一部分和由所述获取单元获取的所述指针位置信息在不相关联的情况下被发送，在所述第二发送模式中，所述画面数据的至少一部分和由所述获取单元获取的所述指针位置信息被相关联并发送，并且在所述检测单元检测到预定操作的情况下，所述发送控制单元在所述第二发送模式下发送所述画面数据的至少一部分。

本发明的第二方面提供了一种能够与图像输出装置通信的信息处理装置，所述信息处理装置包括：检测单元，其被配置为检测针对所述信息处理装置的显示单元上显示的画面中包括的对象的预定操作；以及发送控制单元，其被配置为进行控制，以将与所述画面相对应的画面数据的至少一部分发送到所述图像输出装置，其中，所述发送控制单元的发送模式包括第一发送模式和第二发送模式，在所述第一发送模式中，在所述画面数据中，包括所述对象的第一区域和不包括所述对象的第二区域被作为独立的数据发送，在所述第二发送模式中，所述第一区域和所述第二区域被作为单个数据发送，并且在所述检测单元检测到所述预定操作的情况下，所述发送控制单元在所述第二发送模式下发送所述画面数据的至少一部分。

本发明的第三方面提供了一种能够与图像输出装置通信的信息处理装置的控制方法，所述控制方法包括：获取指示指针在所述信息处理装置的显示单元上显示的画面中的位置的指针位置信息；检测针对所述画面中包括的对象的使用所述指针的操作；以及进行控制，以将与所述画面相对应的画面数据的至少一部分发送到所述图像输出装置，其中，所述发送包括第一发送模式和第二发送模式，在所述第一发送模式中，所述画面数据的至少一部分和在所述获取步骤中获取的所述指针位置信息在不相关联的情况下被发送，在所述第二发送模式中，所述画面数据的至少一部分和在所述获取步骤中获取的所述指针位置信息被相关联并发送，并且在检测到预定操作的情况下，在所述第二发送模式下发送所述画面数据的至少一部分。

本发明的第四方面提供了一种能够与图像输出装置通信的信息处理装置的控制方法，所述控制方法包括：检测针对所述信息处理装置的显示单元上显示的画面中包括的对象的预定操作；以及进行控制，以将与所述画面相对应的画面数据的至少一部分发送到所述图像输出装置，其中，所述发送包括第一发送模式和第二发送模式，在所述第一发送模式中，在所述画面数据中，包括所述对象的第一区域和不包括所述对象的第二区域被作为独立的数据发送，在所述第二发送模式中，所述第一区域和所述第二区域被作为单个数据发送，并且在检测到所述预定操作的情况下，在所述第二发送模式下发送所述画面数据的至少一部分。

通过以下对示例性实施例的描述（参照附图），本发明的其他特征将变得清楚。

附图说明

图1是示出根据本发明的实施例的图像发送/呈现系统的图；

图2是示出根据本发明的实施例的PC和投影仪的功能结构的框图；

图3是示出根据本发明的第一实施例的图像发送处理的流程图；

图4A、图4B和图4C是用于说明根据本发明的第一实施例的图像发送处理中发送的图像数据的图；

图5是示出根据本发明的第一实施例的图像呈现处理的流程图；

图6是示出根据本发明的变形例的图像发送处理的流程图；

图7是用于说明根据本发明的变形例的图像数据差分提取处理的图；

图8A和图8B是用于说明根据本发明的变形例的另一图像数据差分提取处理的图；

图9是用于说明在本发明的第二实施例中要解决的问题的图；

图10是示出根据本发明的第二实施例的呈现信息发送处理的流程图；

图11是示出根据本发明的第二实施例的指针相关信息发送处理的流程图；

图12是示出根据本发明的第二实施例的图像发送处理的流程图；以及

图13是示出根据本发明的第二实施例的图像呈现处理的流程图。

具体实施方式

[第一实施例]

下面，将参照附图来详细描述本发明的优选实施例。以下所述的实施例将说明如下示例：将本发明应用于作为信息处理装置的示例的能够无线发送图像的PC，以及作为图像输出装置的示例的能够呈现无线接收到的图像的投影仪。然而，本发明适用于使用任意设备的具有如下结构的系统，即，由信息处理装置生成的数字图像数据被发送到图像输出装置，图像输出装置呈现接收到的图像数据。

<图像发送/呈现系统400的结构>

图1示出了根据本发明的实施例的图像发送/呈现系统400的结构。图像发送/呈现系统400包括生成要呈现的图像数据的PC100以及呈现从PC100生成并发送的图像数据的投影仪200。

在本实施例中，经由无线网络300使用自组织通信等直接进行PC100和投影仪200之间的图像数据的发送。然而，本发明的实施不限于此。即，本发明适用于如下图像发送/呈现系统，在该系统中，通过使用由于发送量的限制而可能发生发送延迟的发送信道、将由信息处理装置生成的图像数据发送到图像输出装置，来呈现该图像数据。图像数据发送信道不限于无线连接。

独立于图像数据，PC100发送根据用作指示设备的鼠标106的操作移动的指针在要由投影仪200呈现的图像数据上的坐标信息。根据本实施例的投影仪200呈现通过在接收到的图像数据上与指针坐标信息相对应的位置处叠加指针而获得的图像数据。

（PC100和投影仪200的功能结构）

图2是示出根据本发明的实施例的PC100和投影仪200的功能结构的框图。首先将说明PC100的功能结构。

CPU101是控制PC100中各块的操作的块。CPU101通过例如读出PC-ROM102或HDD104中存储的（稍后描述的）图像发送处理的程序、在PC-RAM103中展开程序并执行程序，来控制PC100中各块的操作。

PC-ROM102是例如可重写的非易失性存储器，并存储PC100的各块的操作所需的参数以及描述CPU101的处理过程的控制程序等。PC-RAM103是例如易失性存储器。PC-RAM103用作图像发送处理的程序的展开区域，还用作各块的操作中的工作存储器以临时存储由该操作输出的数据及控制程序。

HDD104是可拆卸地连接到PC100的记录介质，并记录诸如操作系统（OS）及应用的数据。在该实施例中，OS功能获取指针坐标信息、以及关于正在运行的应用以及该应用的窗口位置和大小的信息。

PC网络I/F105是用于经由无线网络300（例如，无线LAN）与投影仪200通信的网络接口。在该实施例中，图像数据、指针坐标信息等在CPU101的控制下经由PC网络I/F105发送到投影仪200。在该实施例中，从PC100发送到投影仪200的图像数据被（稍后描述的）图像处理单元108转换为预定格式的数据，然后被发送。

如上所述，鼠标106是根据本实施例的PC100中的指示设备。通过操作鼠标106，用户能够选择诸如（稍后描述的）显示单元110上显示的应用窗口的对象，或通过拖动操作改变对象位置。本实施例将使用和描述鼠标106，作为指示设备或用于改变对象的位置的用户接口。然而，容易理解的是，在本发明的实施中，用户接口可以由键盘、触摸面板传感器等构成。

VRAM107是用于保持诸如在（稍后描述的）显示单元110上显示的应用窗口和指针的GUI、并且生成由GUI构成的画面（图像数据）的视频存储器。图像处理单元108使用VRAM107。图像处理单元108是使用VRAM107作为工作存储器、生成合成上述GUI数据的图像数据、将图像数据转换为发送格式、并进行诸如放大/缩小和编码的图像处理的块。在该实施例中，VRAM107临时存储要从PC100发送到投影仪200的所生成的或捕捉的图像数据。

显示控制单元109是控制（稍后描述的）显示单元110上的图像呈现的块。例如，显示控制单元109将D/A转换处理应用于由图像处理单元108生成的图像数据，并将获得的模拟图像信号输出到显示单元110。显示单元110是诸如液晶监视器的显示设备，并显示从显示控制单元109输入的模拟图像信号。

接下来，将说明投影仪200的功能结构。

控制单元201例如是CPU，并控制投影仪200中各块的操作。更具体地，控制单元201通过例如读出ROM202中存储的（稍后描述的）图像呈现处理的程序、在RAM203中展开程序并执行程序，来控制投影仪200中各块的操作。

ROM202是例如可重写的非易失性存储器，并存储投影仪200的各块的操作所需的参数以及描述控制单元201的处理过程的控制程序等。RAM203是例如易失性存储器。RAM203用作图像呈现处理的程序的展开区域，还用作各块的操作中的工作存储器以临时存储由该操作输出的数据及控制程序。

网络I/F204是用于经由无线网络300与PC100通信的网络接口。在该实施例中，经由网络I/F204接收从PC100发送的图像数据、指针坐标信息等。在该实施例中，（稍后描述的）投影控制单元206展开从PC100接收到的、具有通过转换图像数据获得的预定格式的数据。

用户I/F205包括诸如在投影仪200中设置的电源按钮的用户接口、以及诸如用于接收通过用户操作远程控制器而发送的远程控制信号的红外接收单元的用户接口。用户I/F205检测由用户操作输入的信号，并将与该操作相对应的控制信号发送到控制单元201。

投影控制单元206是控制（稍后描述的）投影单元207的块。投影控制单元206光栅化要显示的图像数据，将其输出到投影单元207，并针对图像数据在与接收到的指针坐标信息相对应的位置绘制指针GUI。投影单元207包括光源、液晶面板、镜头以及镜头的驱动系统（均未示出）。在液晶面板上绘制输入到投影单元207的图像数据，并由光源将该图像数据投影到镜头的成像面上。

<图像发送处理>

将参照图3的流程图说明根据本实施例的具有以上结构的PC100中的图像发送处理。通过例如由CPU101读出PC-ROM102中存储的相应的处理程序、在PC-RAM103中展开程序并执行程序，能够实现与该流程图相对应的处理。在下面的描述中，在例如用户输入将在PC100的显示单元110上显示的画面投影在投影仪200上的指令并且建立了PC100和投影仪200之间的通信连接时，图像发送处理开始。请注意，重复执行图像发送处理，直到用户输入停止投影的指令为止。

将使用用户拖动当前绘制的对象的情况描述图像发送处理。然而，应理解，本发明的实施不限于此。即，可以基于滚动操作、对象放大/缩小操作等的执行/未执行，来确定在依次发送到投影仪200的图像数据之中的连续的图像数据之间是否已改变当前绘制的对象。

在步骤S301中，CPU101确定用户是否拖动了诸如应用窗口的当前绘制的对象。更具体地，CPU101分析从鼠标106输入到CPU101的时间序列的控制信号，并确定用户是否拖动了对象。如果CPU101确定用户拖动了当前绘制的对象，则处理进行到步骤S303；如果确定用户尚未拖动当前绘制的对象，则处理进行到步骤S302。

例如，在拖动操作保持执行时，在预定的时间或更长的时间内未移动指针的情况下，认为在时间序列图像数据中尚未改变对象，因此CPU101可以使处理进行到步骤S302。

在步骤S302中，CPU101从VRAM107中获取要显示在显示单元110上的全画面的图像数据。由于即使在投影仪200中发生显示延迟，也认为显示延迟难以影响到在投影仪200上投影的图像的质量，所以获取全画面的图像数据。

如果在步骤S301中，CPU101确定进行了拖动操作，则为了在投影仪200中不生成显示延迟，需要发送图像数据。因此，CPU101执行在步骤S303至S305中的处理以获取发送图像数据。

在步骤S303中，CPU101从VRAM107中获取背景图像数据。背景图像数据是在通过从全画面的区域中排除由当前拖动操作移动的对象（移动目标对象）的区域获得的区域中包含的图像数据。在步骤S304中，CPU101从VRAM107中获取移动目标对象的区域的图像数据。

例如，当在显示单元110上当前显示的、并且要呈现在投影仪200上的图像由图4A中的图像401形成时，在步骤S302中获取的全画面的图像数据是图像401。在步骤S303中获取的背景图像数据是图4B中的图像402，在步骤S304中获取的移动目标对象的图像数据是图4C中的图像403。

在步骤S305中，CPU101控制图像处理单元108，从而针对在步骤S304中获取的移动目标对象的图像数据执行缩小处理。然后，CPU101创建包含缩小后的移动目标对象的图像数据和背景图像数据的发送图像数据。此时，发送图像数据可以不包含指针。在这种情况下，指针坐标信息与发送图像数据一起被发送。

当如拖动操作移动另一对象时，需要发送包含该对象的图像数据。然而，连续地发送大量图像数据生成了发送延迟和显示延迟，并且投影仪200可能无法流畅地再现对象的运动。为了防止这种情况，在步骤S305中减少移动对象的数据量。

缩小对象可能损害图像质量。然而，当移动目标对象移动时，认为用户难以感知对象的图像质量和明锐度。因此，认为缩小并发送移动对象难以影响用户体验到的可见性。通过发送由此生成的背景图像数据和数据量已经被减少的移动目标对象的图像数据，能够减少发送延迟和显示延迟的生成。当根据滚动操作、对象放大/缩小操作等确定当前绘制的对象是否改变时，根据对象的时间序列变形率改变数据量消除率。

注意，步骤S305中的处理旨在消除移动目标对象的图像数据的数据量。因此，应用于图像数据的图像处理不限于所谓的改变大小的缩小处理，而可以是编码处理、压缩处理或其组合。由于移动目标对象的可见性根据对象的移动速度而改变，所以在该步骤中的缩小处理的缩小率可以根据拖动速度而改变。更具体地，CPU101可以通过确定由鼠标106的操作输入的指针轨迹的移动速度来决定缩小率，并且将缩小率发送到图像处理单元108以执行缩小处理。移动对象移动或改变越大，在一次发送中图像数据的发送量能够减少越多。

在步骤S306中，CPU101控制图像处理单元108以将发送图像数据转换为在PC100和投影仪200之间预先定义的格式。在步骤S307中，CPU101将转换后的发送图像数据经由PC网络I/F105发送到投影仪200，从而完成图像发送处理。

通过该图像发送处理，即使当在要呈现在投影仪200上的图像中发生诸如对象的移动的改变并且在与正常图像发送定时不同的定时发送图像数据时，也能够减少在一次发送中的发送量。

<图像呈现处理>

将参照图5的流程图详细说明由投影单元207将通过上述图像发送处理从PC100发送到投影仪200的图像数据呈现在投影表面上的投影仪200中的图像呈现处理。通过例如由控制单元201读出ROM202中存储的相应的处理程序、在RAM203中展开程序并执行程序，能够实现与该流程图相对应的处理。在下面的描述中，在例如用户输入将在PC100的显示单元110上显示的画面投影在投影仪200上的指令并且建立了PC100和投影仪200之间的通信连接时，图像呈现处理开始。请注意，重复执行图像呈现处理，直到用户操作PC100并输入停止投影的指令为止，即，直到完成图像数据的发送为止。

在步骤S501中，控制单元201经由网络I/F204接收从PC100发送的图像数据，并且将接收的图像数据存储在RAM203中。在步骤S502中，控制单元201控制投影控制单元206在RAM203中将从PC100接收到的图像数据转换为由投影单元207可呈现的格式的图像数据。

在步骤S503中，控制单元201确定在RAM203中展开的图像数据是否包含缩小的移动目标对象的图像数据。即，控制单元201确定图像数据是否为在用户在PC100中拖动对象时发送的图像数据。如果控制单元201确定在RAM203中展开的图像数据包含缩小的移动目标对象的图像数据，则处理进行到步骤S505；如果确定图像数据不包含缩小的移动目标对象的图像数据，则处理进行到步骤S504。包含移动目标对象的图像数据是指已经接收到对象图像数据和背景图像数据两者。

在步骤S504中，控制单元201在与一起接收到的指针坐标信息相对应的位置叠加指针GUI，并且将合成的图像数据发送到投影控制单元206。在该步骤中，在RAM203中展开的图像数据是全画面的图像数据。因此，控制单元201控制投影控制单元206以使用投影单元207呈现图像，从而完成图像呈现处理。应注意，与在建立通信连接之后第一次接收的指针坐标信息一起接收指针GUI，并且指针GUI被存储在RAM203中。

在步骤S505中，控制单元201针对在RAM203中已经展开的缩小的移动目标对象的图像数据执行解压缩处理，由此将缩小的移动目标对象的图像数据恢复为具有缩小前的大小的移动目标对象的图像数据。请注意，关于在PC100中应用的缩小处理的缩小率、缩小前的图像数据的大小等的信息被包含在例如缩小的移动目标对象的图像数据的头信息中。在该步骤中，投影控制单元206基于该信息进行解压缩处理。当PC100进行缩小处理以外的处理以减少移动目标对象的图像数据的数据量时，执行与该处理相反的处理以获取与处理前的移动目标对象的图像数据相对应的图像数据。

在步骤S506中，控制单元201在一起接收的背景图像数据上叠加在步骤S505中已经获得的具有缩小前的大小的移动目标对象的图像数据，从而生成呈现图像数据。此外，控制单元201在与同时接收的指针坐标信息相对应的位置叠加指针GUI，并将合成的图像数据发送到投影控制单元206以使用投影单元207呈现图像，从而完成图像呈现处理。请注意，呈现数据可以在不进行叠加的情况下独立生成，然后依次叠加并呈现。

在本实施例中，进行上述处理以减少一次发送中的图像数据的发送量。然而，本发明的实施不仅针对图像数据，还适用于例如其他GUI数据等的发送。

如上所述，当对象移动时，根据该实施例的PC100减少数据量并将对象图像发送到投影仪200，同时发送背景图像而不缩小背景图像。这样能够在使对由投影仪200呈现的图像的质量的影响最小化的同时，减少用户体验到的操作感的退化。

[变形例]

第一实施例已经描述了通过削减移动目标对象的图像数据的数据量来削减一次发送中的图像数据的发送量的方法。该变形例将说明通过进一步削减背景图像数据的数据量来进一步减少图像发送延迟的生成的方法。

<图像发送处理>

将参照图6的流程图描述具有与第一实施例相同的结构的变形例的PC100中的图像发送处理。通过例如由CPU101读出PC-ROM102中存储的相应的处理程序、在PC-RAM103中展开程序并执行程序，能够实现与该流程图相对应的处理。在下面的描述中，例如在用户输入将在PC100的显示单元110上显示的画面投影在投影仪200上的指令并且建立了PC100和投影仪200之间的通信连接时，图像发送处理开始。

在图像发送处理的描述中，与上述第一实施例的图像发送处理中相同的附图标记表示进行相同处理的步骤，因此将不重复其描述。下面将仅描述进行变形例中的特征处理的步骤。

如果在步骤S301中CPU101确定尚未进行拖动操作，则在步骤S302中从VRAM107中获取全画面的图像数据，并且处理进行到步骤S601。在步骤S601中，当PC-RAM103存储有之前在将图像数据发送到投影仪200时获取的全画面的图像数据时，CPU101提取该图像数据与在步骤S302中获取的全画面的图像数据之间的差分。

如果在步骤S301中CPU101确定进行了拖动操作，则在步骤S303中从VRAM107中获取背景图像数据，并且处理进行到步骤S602。在步骤S602中，当PC-RAM103存储有之前在将图像数据发送到投影仪200时获取的背景图像数据时，CPU101提取该背景图像数据与在步骤S303中获取的背景图像数据之间的差分。

以这种方式，在变形例的图像发送处理中，存储在将图像数据发送到投影仪200时获取的全画面的图像数据或背景图像数据。针对全画面图像数据或背景图像数据，提取并发送与之前在将图像数据发送到投影仪200时获取的图像数据的差分。这能够进一步减少要发送的图像数据的数据量。

更具体地，针对全画面的图像数据，CPU101将各图像数据划分为如图7所示的各自具有预定大小的多个块。CPU101确定各块是否存在差分。如果各块存在差分，则CPU101提取块的数据作为发送图像数据。

关于背景图像数据，CPU101在不同于正常图像数据发送定时的定时发送图像数据。因此，经过差分提取处理的块的数量减少，如图8A所示，从而缩短差分提取所需的处理时间。在图8A的示例中，包含之前的移动目标对象801和当前目标对象802的区域被设置为构成一个块803，将该块作为基准设置剩余的块。即，当进行拖动操作时，改变很有可能仅发生在移动目标对象存在的区域或移动目标对象在拖动操作前存在的区域。为此，已经明显发生改变的区域，即，移动目标对象在移动之前和之后存在的区域被定义为一个块。因此，针对该块可以省略差分提取处理，并且在步骤S602中仅针对剩余的块进行差分提取处理。

请注意，不需要总是以上述方式改变块分类方法。例如，如图7所示，在划分各自具有预定大小的多个块时，只需针对所有块进行差分提取，并且仅发送具有差分的块，如图8B所示。

当在通信连接的建立、拖动操作的完成、或拖动操作的开始之后第一次执行差分提取处理时，不存在之前发送的全画面的图像数据。在这种情况下，处理进行到下一步骤，而不执行步骤S601或S602中的处理。

在步骤S307中，CPU101将包括在步骤S601或S602中提取的图像数据差分的转换后的发送图像数据发送到投影仪200，并且处理进行到步骤S603。在步骤S603中，CPU101将在步骤S307中发送的、通过提取差分图像数据获得的图像数据，即，在步骤S302或S303中获取的图像数据存储在PC-RAM103中，从而完成图像发送处理。在该步骤中存储在PC-RAM103中的图像数据用作在之前的图像数据的发送中获取的图像数据。在反复进行图像发送处理时，针对步骤S601或S602中的差分提取比较该图像数据。

如上所述，根据变形例的图像发送处理不仅能够在诸如对象的移动的改变在要呈现在投影仪200上的图像中发生的情况下，还能够在其他情况下，减少在一次发送中图像数据的发送量。

[第二实施例]

上述第一实施例和变形例已经说明通过在进行可能生成图像发送延迟的操作时减少一次发送中的发送量来避免显示延迟的生成的方法。然而，在发送/显示延迟发生在图像数据发送中的情况下，发送图像数据和仅发送指针的坐标信息的方法具有以下问题。更具体地，如果发送/显示延迟发生在图像数据发送中，则投影仪可能首先显示具有小数据量的坐标信息，并且稍后显示图像数据。因此，不可以保持指针的移动和对象的移动之间的匹配。在这种情况下，呈现指针到目标位置的移动，然后呈现所拖动的对象的移动，如图9所示。这可能给用户不自然的印象。

第二实施例将说明如下的方法，该方法能够呈现至少保持对象的移动和指针的移动之间的匹配的图像数据，从而改善用户体验到的操作感。请注意，根据第二实施例的图像发送/呈现系统的装置结构以及该系统中各装置的功能结构与第一实施例和变形例中相同，因此将不重复其描述。

<呈现信息发送处理>

将参照图10的流程图详细说明根据第二实施例的PC100中的呈现信息发送处理。通过例如由CPU101读出在PC-ROM102中存储的相应的处理程序、在PC-RAM103中展开程序并且执行程序，能够实现与该流程图相对应的处理。在下面的描述中，在例如用户输入将在PC100的显示单元110上显示的画面投影在投影仪200上的指令时，呈现信息发送处理开始。

在步骤S1001中，CPU101建立通信连接，使得PC100能够经由PC网络I/F105和无线网络300与投影仪200通信。在建立通信连接之后，在步骤S1002中，CPU101获取在VRAM107中保持的指针GUI数据，并且将GUI数据经由PC网络I/F105发送到投影仪200。即，在步骤S1002中，不需要在每次指针位置改变时发送图像数据。相反，在建立通信连接之后，发送用于绘制的指针GUI数据，使得投影仪200能够进行指针绘制处理。请注意，指针GUI数据可以由针对各指针状态不同的多个GUI数据构成。可选地，当一个GUI数据表示动画时，单个GUI数据可以包含多个GUI图像。当指针GUI数据包含多个GUI图像时，各GUI图像由ID管理，并且发送ID以向投影仪200指示要绘制的GUI图像。

在步骤S1003中，CPU101并行执行与指针相关的信息（指针相关信息）的发送处理（指针相关信息发送处理）以及发送图像数据的处理（图像发送处理）。为此，CPU101创建关于这两个处理的线程。然后，CPU101开始所创建的多个线程的处理。

在步骤S1004中，CPU101确定用户是否已经输入结束投影的指令。如果CPU101确定用户已经输入结束投影的指令，则处理进行到步骤S1005；如果确定用户尚未输入该指令，则重复该步骤中的处理，直到用户输入该指令为止。在该实施例中，通过在该步骤中确定用户是否输入结束投影的指令，CPU101决定是否停止信息的发送。然而，本发明的实施不限于此。例如，当从投影仪200接收到断开指令时，CPU101可以决定停止信息的发送。

在步骤S1005中，CPU101结束在步骤S1003中开始的指针相关信息发送处理和图像发送处理的线程。之后，CPU101取消与投影仪200的通信连接，从而完成呈现信息发送处理。

（指针相关信息发送处理）

下面将参照图11的流程图详细说明在步骤S1003中开始的线程之中的指针相关信息发送处理。通过例如由CPU101读出在PC-ROM102中存储的相应的处理程序、在PC-RAM103中展开程序并且执行程序，能够实现与该流程图相对应的处理。

在步骤S1101中，CPU101确定用户是否已经拖动当前绘制的对象。更具体地，CPU101分析从鼠标106输入到CPU101的时间序列控制信号，并确定用户是否已经拖动对象。如果CPU101确定用户已经拖动当前绘制的对象，则处理进行到步骤S1102；如果确定用户尚未拖动当前绘制的对象，则处理进行到步骤S1103。

在步骤S1102中，CPU101使用OS功能获取指针相关信息，并经由PC网络I/F105将该信息发送到投影仪200。除上述指针坐标信息之外，指针相关信息还包含例如用于识别要绘制的指针的GUI数据（图像）的ID。

在步骤S1103中，CPU101确定是否已经接收到停止指针相关信息的发送的指令。在该描述中，CPU101发送结束呈现信息发送处理的步骤S1005中的线程的指令。然而，该指令可以由用户输入或由已经建立通信连接的投影仪200接收。如果CPU101确定已经接收到指针相关信息发送停止指令，则完成指针相关信息发送处理。如果CPU101确定尚未接收到指针相关信息发送停止指令，则处理返回到步骤S1101。

在指针相关信息发送处理中，根据是否已经进行拖动操作来确定是否发送了指针相关信息。当进行诸如拖动操作的、可能生成图像发送延迟的操作时，如果独立发送图像数据和指针相关信息，则对象的移动和指针的移动可能由于发送延迟而不同步。因此，在指针相关信息发送处理中，当进行可能生成图像发送延迟的操作时，进行控制，从而不独立发送图像数据和指针相关信息，以至少维持对象的移动和指针的移动之间的匹配。

（图像发送处理）

下面将参照图12的流程图详细描述在步骤S1003中开始的线程之中的图像发送处理。通过例如由CPU101读出在PC-ROM102中存储的相应的处理程序、在PC-RAM103中展开程序并且执行程序，能够实现与该流程图相对应的处理。在根据第二实施例的图像发送处理的描述中，与上述第一实施例的图像发送处理相同的附图标记表示进行相同处理的步骤，并且将不重复其描述。下面将仅描述进行第二实施例中的特征处理的步骤。

如果在步骤S301中CPU101确定已经进行拖动操作，则在步骤1201中使用OS功能获取指针相关信息。在步骤S1202中，CPU101从VRAM107中获取要显示在显示单元110上的全画面的图像数据。

如上所述，当进行可能生成图像发送延迟的操作时，如果将图像数据和指针相关信息单独发送到投影仪200，则对象的移动和指针的移动之间的匹配可能由于发送/显示延迟而无法维持。为了防止这种情况，在第二实施例中，当进行可能生成图像发送延迟的操作时，PC100在相同定时或在被视为相同的定时内的期间获取指针相关信息和图像数据。通过在图像发送处理中将所获取的指针相关信息和图像数据立刻发送到投影仪200，即使发生发送延迟，也能够至少维持对象的移动和指针的移动之间的匹配。因此，在相同的定时或在被视为相同的定时内的期间中连续执行步骤S1201和S1202中的处理。在步骤S1203中，CPU101通过将在步骤S1201中获取的指针相关信息添加到在步骤S1202中获取的全画面的图像数据，来创建发送图像数据。

在步骤S307中将发送图像数据发送到投影仪200之后，在步骤S1204中，CPU101确定是否已经接收到停止发送图像数据的发送的指令。在该描述中，CPU101发送结束呈现信息发送处理的步骤S1005中的线程的指令。然而，该指令可以由用户输入，或由已经建立通信连接的投影仪200接收。如果CPU101确定已经接收到发送图像数据发送停止指令，则完成图像发送处理。如果CPU101确定尚未接收到发送图像数据发送停止指令，则处理返回到步骤S301。

<图像呈现处理>

接下来，将参照图13的流程图详细说明使用在上述呈现信息发送处理中已经从PC100发送到投影仪200的图像数据和指针相关信息将图像呈现在投影表面上的投影仪200中的图像呈现处理。通过例如由控制单元201读出在ROM202中存储的相应的处理程序、在RAM203中展开程序并且执行程序，能够实现与该流程图相对应的处理。在下面的描述中，在例如用户输入将在PC100的显示单元110上显示的画面投影在投影仪200上的指令并且投影仪200从PC100接收通信连接请求时，图像呈现处理开始。

在步骤S1301中，控制单元201响应于来自PC100的通信连接请求执行预定的处理，并且经由网络I/F204建立PC100和投影仪200之间的通信连接。在步骤S1302中，控制单元201经由网络I/F204从PC100接收要绘制在呈现图像上的指针的GUI数据，并且将所接收的GUI数据存储在RAM203中。

在步骤S1303中，控制单元201经由网络I/F204接收从PC100发送的数据，并且将所接收的数据存储在RAM203中。在步骤S1304中，控制单元201确定“添加有指针相关信息的图像数据”、“图像数据”以及“指针相关信息”中的何者是所接收的数据。如果控制单元201确定所接收的数据是“添加有指针相关信息的图像数据”，则处理进行到步骤S1305；如果确定所接收的数据是“图像数据”，则处理进行到步骤S1307；如果确定所接收的数据是“指针相关信息”，则处理进行到步骤S1308。

在步骤S1305中，控制单元201将指针相关信息与所接收的数据分开。此外，控制单元201控制投影控制单元206在RAM203中将剩余的图像数据转换为由投影单元207可呈现的格式的图像数据。在步骤S1306中，控制单元201使用分开的指针相关信息，来更新在RAM203中存储的作为当前指针相关信息的信息。

在步骤S1307中，控制单元201控制投影控制单元206在RAM203中将从PC100接收的图像数据转换为由投影单元207可呈现的格式的图像数据。在步骤S1308中，控制单元201使用从PC100接收到的指针相关信息来更新在RAM203中存储的当前指针相关信息。

在步骤S1309中，控制单元201根据在RAM203中存储的可呈现的格式的图像数据中的当前指针相关信息将指针GUI叠加在相应的位置。控制单元201将合成的图像数据发送到投影控制单元206。控制单元201控制投影控制单元206使用投影单元207呈现图像，并且处理进行到步骤S1310。

在步骤S1310中，控制单元201确定用户是否已经经由PC100或直接输入结束投影的指令。如果控制单元201确定用户已经输入结束投影的指令，则处理进行到步骤S1311；如果确定用户尚未输入该指令，则处理返回到步骤S1303。

在步骤S1311中，控制单元201取消当前经由网络I/F204与PC100的通信连接，从而完成图像呈现处理。

以这种方式，投影仪200执行图像呈现处理。即使进行可能生成图像发送延迟的操作，投影仪200也能够呈现对象的移动与指针的移动匹配的图像。

在第二实施例中，当进行拖动操作时，在图像发送处理中指针相关信息与图像数据一起被发送。作为选择，PC100可以生成指针图像被叠加在全画面的图像数据上的图像，并且发送该图像。

在第二实施例中，当进行拖动操作时，同时发送相互同步的图像数据和指针相关信息。与未进行拖动操作的情况相比，用户可能会觉得指针的移动的响应性下降。为了解决这个问题，例如，通知响应性下降的可能性的消息可以显示在通过显示单元110或投影单元207呈现图像的投影表面上的图像上。

第二实施例提供了如下结构：实现了呈现指针的移动匹配对象的移动的图像而不减少一次发送中图像数据的发送量。然而，第二实施例也能够通过仅在生成与之前将数据发送到投影仪200时获取的数据的差分时发送差分数据来实现发送量的减少，与上述变形例类似。

如上所述，即使当图像数据发送/显示延迟发生时，根据该实施例的信息处理装置也能够在图像输出装置上呈现指针的移动与对象的移动匹配的图像。能够减少用户体验到的操作感的退化。

在本说明书中，使用第一和第二实施例以及变形例描述了本发明，但本发明不限于此。例如，可以适当地组合各实施例。例如，当拖动对象时，可以减少对象的数据量，并且可以生成包含指针的发送图像。

[其他实施例]

本发明的各方面还可以通过读出并执行记录在存储设备上的用于执行上述实施例的功能的程序的系统或装置的计算机（或诸如CPU或MPU的设备）来实现，以及通过由系统或装置的计算机通过例如读出并执行记录在存储设备上的用于执行上述实施例的功能的程序来执行各步骤的方法来实现。鉴于此，例如经由网络或者从用作存储设备的各种类型的记录介质（例如计算机可读介质）向计算机提供程序。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (12)

1.一种能够与图像输出装置通信的信息处理装置，所述信息处理装置包括：

获取单元，其被配置为获取指示指针在所述信息处理装置的显示单元上显示的画面中的位置的指针位置信息；

检测单元，其被配置为检测针对所述画面中包括的对象的使用所述指针的操作；以及

发送控制单元，其被配置为进行控制，以将与所述画面相对应的画面数据的至少一部分发送到所述图像输出装置，

其中，所述发送控制单元的发送模式包括第一发送模式和第二发送模式，在所述第一发送模式中，所述画面数据的至少一部分和由所述获取单元获取的所述指针位置信息在不相关联的情况下被发送，在所述第二发送模式中，所述画面数据的至少一部分和由所述获取单元获取的所述指针位置信息被相关联并发送，并且

在所述检测单元检测到预定操作的情况下，所述发送控制单元在所述第二发送模式下发送所述画面数据的至少一部分。

2.根据权利要求1所述的信息处理装置，其中，在所述检测单元检测到使用所述指针拖动所述对象的操作的情况下，所述发送控制单元在所述第二发送模式下发送所述画面数据的至少一部分。

3.根据权利要求1所述的信息处理装置，其中，所述对象包括在所述画面中包括的窗口。

4.根据权利要求1所述的信息处理装置，所述指针位置信息包括指示所述指针在所述画面中的位置的坐标信息。

5.根据权利要求1所述的信息处理装置，其中，在所述第一发送模式中，所述发送控制单元进行控制，以独立发送所述画面数据的至少一部分和由所述获取单元获取的所述指针位置信息。

6.根据权利要求1所述的信息处理装置，其中，在所述第二发送模式中，所述发送控制单元进行控制，以将由所述获取单元获取的所述指针位置信息添加到所述画面数据的至少一部分，并且发送所述画面数据的至少一部分和所述指针位置信息。

7.根据权利要求1至6中任一项所述的信息处理装置，其中，在所述图像输出装置中使用由所述发送控制单元发送的所述画面数据的至少一部分和所述指针位置信息，以将所述画面数据的至少一部分和所述指针叠加在已输出的画面数据上，并且输出所述画面数据的至少一部分、所述指针以及所述已输出的画面数据。

8.根据权利要求1所述的信息处理装置，其中，所述画面数据被作为压缩图像数据发送到所述图像输出装置。

9.一种能够与图像输出装置通信的信息处理装置，所述信息处理装置包括：

检测单元，其被配置为检测针对所述信息处理装置的显示单元上显示的画面中包括的对象的预定操作；以及

发送控制单元，其被配置为进行控制，以将与所述画面相对应的画面数据的至少一部分发送到所述图像输出装置，

其中，所述发送控制单元的发送模式包括第一发送模式和第二发送模式，在所述第一发送模式中，在所述画面数据中，包括所述对象的第一区域和不包括所述对象的第二区域被作为独立的数据发送，在所述第二发送模式中，所述第一区域和所述第二区域被作为单个数据发送，并且

在所述检测单元检测到所述预定操作的情况下，所述发送控制单元在所述第二发送模式下发送所述画面数据的至少一部分。

10.根据权利要求9所述的信息处理装置，其中，在所述第一发送模式中，所述发送控制单元减少所述第一区域的数据大小，并且发送所述第一区域。

11.一种能够与图像输出装置通信的信息处理装置的控制方法，所述控制方法包括：

获取指示指针在所述信息处理装置的显示单元上显示的画面中的位置的指针位置信息；

检测针对所述画面中包括的对象的使用所述指针的操作；以及

进行控制，以将与所述画面相对应的画面数据的至少一部分发送到所述图像输出装置，

其中，所述发送包括第一发送模式和第二发送模式，在所述第一发送模式中，所述画面数据的至少一部分和在所述获取步骤中获取的所述指针位置信息在不相关联的情况下被发送，在所述第二发送模式中，所述画面数据的至少一部分和在所述获取步骤中获取的所述指针位置信息被相关联并发送，并且

在检测到预定操作的情况下，在所述第二发送模式下发送所述画面数据的至少一部分。

12.一种能够与图像输出装置通信的信息处理装置的控制方法，所述控制方法包括：

检测针对所述信息处理装置的显示单元上显示的画面中包括的对象的预定操作；以及

进行控制，以将与所述画面相对应的画面数据的至少一部分发送到所述图像输出装置，

其中，所述发送包括第一发送模式和第二发送模式，在所述第一发送模式中，在所述画面数据中，包括所述对象的第一区域和不包括所述对象的第二区域被作为独立的数据发送，在所述第二发送模式中，所述第一区域和所述第二区域被作为单个数据发送，并且

在检测到所述预定操作的情况下，在所述第二发送模式下发送所述画面数据的至少一部分。

Images