CN101414251A

CN101414251A - 信息处理装置、信息处理方法及计算机可读介质

Info

Publication number: CN101414251A
Application number: CNA2008101323885A
Authority: CN
Inventors: 托鲁·福斯; 钟志华
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2007-10-16
Filing date: 2008-07-16
Publication date: 2009-04-22
Anticipated expiration: 2028-07-16
Also published as: AU2008202939A1; US20090100350A1; CN101414251B; JP4626775B2; JP2009098883A; AU2008202939B2; US8434009B2

Abstract

本发明公开一种信息处理装置、计算机可读介质和信息处理方法，该信息处理装置包括：图像获取单元，其获取显示在第一屏幕上的图像；变化判断单元，其判断显示在所述第一屏幕上的第一对象的变化；对象获取单元，其获取显示在第二屏幕上的第二对象，所述第二屏幕叠加显示在所述第一屏幕上；改变单元，其基于由所述变化判断单元判断的所述第一对象的变化来改变由所述对象获取单元获取的所述第二对象；以及发送单元，其将所述图像获取单元获取的图像和所述改变单元得到的变化结果发送到另一信息处理装置中。

Description

信息处理装置、信息处理方法及计算机可读介质

技术领域

本发明涉及信息处理装置和计算机可读介质。

背景技术

通常，存在这样的需求：经由通信线路连接处于远程位置的多个信息处理装置以便在会议系统中共享它们的屏幕，并且在共享屏幕上添加和编辑诸如文字或图形等对象。

例如，作为与此相关的技术，已经在JP-A-2004-013318(在本文中使用的术语“JP-A”指的是“未审查的已公开的日本专利申请”)中披露了一种信息处理方法，该信息处理方法解决了这样的技术问题：管理形成在透明屏幕上的对象的位置(在记录时记录绘制位置、在发送时发送绘制位置以及在再显示时确定再显示位置)而不会引起与内容有关的应用程序的执行处理。该信息处理方法在显示器显示的内容之上叠加地显示已经在显示器上绘制有对象的透明屏幕；并且该信息处理方法的特征在于包括：提取步骤，从用于在显示器上显示内容的显示位置的信息中提取出内容上的固定点相对于显示器上的固定点的位置；以及管理步骤，基于在提取步骤中提取的位置来管理对象的位置。

此外，例如在JP-A-2006-164177中披露的内容解决了这样的技术问题：提供一种可以同时利用屏幕共享软件和应用软件来进行电子会议的电子会议系统，其中该屏幕共享软件可以实时浏览电子数据，该应用软件使得电子会议的所有参加者能够自由地输入文字、图画等作为讨论内容。在JP-A-2006-164177中，服务器包括用于处理由用户和客户机(客户端)输入的绘图数据的白板、用于存储绘图数据的屏幕缓冲器、用于存储电子数据的屏幕缓冲器、用于使用户能够浏览存储在屏幕缓冲器中的电子数据的屏幕共享服务器以及用于处理存储在屏幕缓冲器中的电子数据的电子数据处理装置。此外，其中客户机包括用于将通信终端的用户所输入的绘图数据输入到电子会议服务器中的白板。

在信息处理装置之间共享屏幕的情况下，为了根据操作者的操作在屏幕上显示要添加的对象，必须对要显示在屏幕上的各应用程序进行不同的处理。

发明内容

本发明的目的是提供一种信息处理装置、计算机可读介质和信息处理方法，其中，在与其它信息处理装置共享屏幕的情况下，可以抑制将要显示在屏幕上的应用程序造成的影响，并且与第一屏幕中发生改变的对象相关联地显示出将要显示在第二屏幕上的对象。

(1)根据本发明的第一方面，提供了一种信息处理装置，该信息处理装置包括：图像获取单元，其获取显示在第一屏幕上的图像；变化判断单元，其判断显示在所述第一屏幕上的第一对象的变化；对象获取单元，其获取显示在第二屏幕上的第二对象，所述第二屏幕叠加地显示在所述第一屏幕上；改变单元，其基于由所述变化判断单元判断的所述第一对象的变化来改变由所述对象获取单元获取的所述第二对象；以及发送单元，其将所述图像获取单元获取的图像和所述改变单元得到的变化结果发送到另一信息处理装置中。

(2)根据本发明的第二方面，提供了一种信息处理装置，该信息处理装置包括：接收单元，其从另一信息处理装置接收图像和由坐标值表示的绘制对象的变化结果；第一绘制单元，其在第一屏幕上绘制由所述接收单元接收到的图像；第二绘制单元，其基于由所述接收单元接收到的所述对象的变化结果在第二屏幕上进行绘制；显示单元，其以叠加的状态显示由所述第一绘制单元在其上进行绘制的所述第一屏幕和由所述第二绘制单元在其上进行绘制的所述第二屏幕；对象获取单元，其获取显示在所述第二屏幕上的对象；以及发送单元，在所述对象获取单元获取的对象已发生改变的情况下，所述发送单元将与已发生改变的对象的相关的信息发送到所述另一信息处理装置中。

(3)如第(1)项所述的信息处理装置，其中，所述对象获取单元基于与所述第一对象的距离来获取与所述变化判断单元将要判断的所述第一对象相关联的第二对象。

(4)如第(1)项或第(3)项所述的信息处理装置，其中，所述对象获取单元基于与所获取的第二对象的距离来获取显示在所述第二屏幕上的第三对象。

(5)根据本发明的第三方面，提供了一种计算机可读介质，该计算机可读介质存储使计算机执行信息处理的程序，所述处理包括：图像获取单元，其获取显示在第一屏幕上的图像；变化判断单元，其判断显示在所述第一屏幕上的第一对象的变化；对象获取单元，其获取显示在第二屏幕上的第二对象，所述第二屏幕叠加地显示在所述第一屏幕上；改变单元，其基于由所述变化判断单元判断的第一对象的变化来改变由所述对象获取单元获取的所述第二对象；以及发送单元，其将所述图像获取单元获取的图像和所述改变单元得到的变化结果发送到另一信息处理装置中。

(6)根据本发明的第四方面，提供了一种计算机可读介质，该计算机可读介质存储使计算机执行信息处理的程序，所述处理包括：从另一信息处理装置接收图像和由坐标值表示的绘制对象的变化结果；在第一屏幕上绘制接收到的图像；基于接收到的对象的变化结果进行绘制；以叠加的状态显示已由所述第一绘制单元进行绘制的第一屏幕和已由所述第二绘制单元进行绘制的第二屏幕；获取显示在所述第二屏幕上的对象；以及在所述对象获取单元所获取的对象已发生改变的情况下，发送单元将与已发生改变的对象相关的信息发送到所述另一信息处理装置中。

(7)根据本发明的第五方面，提供了一种信息处理方法，该信息处理方法包括：获取显示在第一屏幕上的图像；判断显示在所述第一屏幕上的第一对象的变化；获取显示在第二屏幕上的第二对象，所述第二屏幕叠加地显示在所述第一屏幕上；基于所判断的所述第一对象的变化来改变所获取的所述第二对象；以及发送所获取的图像和变化结果。

(8)根据本发明的第六方面，提供了一种信息处理方法，该信息处理方法包括：接收图像和由坐标值表示的绘制对象的变化结果；在第一屏幕上绘制接收到的图像；基于接收到的对象的变化结果进行绘制；以叠加的状态显示所述第一屏幕和第二屏幕；获取显示在所述第二屏幕上的对象；以及在所获取的对象已发生改变的情况下，发送与已发生改变的对象相关的信息。

根据第(1)项所述的本发明，在与其它信息处理装置共享屏幕的情况下，可以抑制将要显示在屏幕上的应用程序造成的影响，并且可以与第一屏幕中已发生改变的对象相关联地显示出将要显示在第二屏幕上的对象。

根据第(2)项所述的本发明，在与其它信息处理装置共享屏幕的情况下，在反映出其它信息处理装置的屏幕变化时，可以将自身信息处理装置的屏幕变化发送到其它信息处理装置中。

根据第(3)项所述的本发明，可以与第一对象相关联地改变与已发生改变的第一对象相关联的第二对象。

根据第(4)项所述的本发明，在第二屏幕上显示的对象有多个的情况下，可以与第二对象相关联地改变与第二对象相关联的第三对象。

根据第(5)项所述的本发明，在与其它信息处理装置共享屏幕的情况下，可以抑制将要显示在屏幕上的应用程序造成的影响，并且可以与第一屏幕上已发生改变的对象相关联地显示出将要显示在第二屏幕上的对象。

根据第(6)项所述的本发明，在与其它信息处理装置共享屏幕的情况下，在反映出其它信息处理装置的屏幕变化时，可以将自身信息处理装置的屏幕变化发送到其它信息处理装置中。

根据第(7)项所述的本发明，在与其它信息处理装置共享屏幕的情况下，可以抑制将要显示在屏幕上的应用程序造成的影响，并且可以与第一屏幕上已发生改变的对象相关联地显示出将要显示在第二屏幕上的对象。

根据第(8)项所述的本发明，在与其它信息处理装置共享屏幕的情况下，在反映出其它信息处理装置的屏幕变化时，可以将自身信息处理装置的屏幕变化发送到其它信息处理装置中。

附图说明

基于以下附图详细说明本发明的示例性实施例，其中：

图1是示出根据本发明实施例中的构造实例的概念模块构造图；

图2是示出用于实现本实施例的系统构造实例的说明图；

图3是示出第一屏幕、第二屏幕以及第三屏幕之间关系的说明图；

图4是示出实施例中的处理实例的流程图；

图5是示出窗口与对象之间的关联的说明图；

图6是示出实施例中的处理实例的说明图；

图7是示出实施例中的处理实例的说明图；

图8是示出实施例中的处理实例的说明图；

图9是示出用于获取存在于已获取对象附近的对象的处理实例的流程图；

图10是示出已获取对象与存在于已获取对象附近的对象之间的关系的说明图；以及

图11是示出实现实施例的计算机的硬件构造实例的框图。

具体实施方式

下面，将参照附图说明用于实施本发明的优选实施例。

图1示出实施例中的构造实例的概念模块构造图。

模块通常指的是逻辑上可分离的软件部分(计算机程序)和硬件部件。相应地，在本实施例中的模块不仅指计算机程序中的模块，而且还指硬件构造中的模块。因此，本实施例描述了计算机程序、系统还有方法。虽然使用“存储”、“使…存储”和与这些词语等同的词语以便于说明，但是在实施例是计算机程序的情况下，这些词语指的是“使存储装置存储”或“进行控制以使存储装置存储”。此外，模块几乎按照一一对应的关系对应于功能。关于安装，一个模块可以由一个程序构成，多个模块可以由一个程序构成，相反，一个模块也可以由多个程序构成。此外，多个模块可以由一台计算机执行，或者一个模块可以由布置在分布式环境或并行环境下的多台计算机来执行。此外，在一个模块中可以包括另一个模块。此外，“连接”既包括物理连接又包括逻辑连接(数据发送和接收、指示以及数据之间的参照关系)。

此外，系统或装置由通过诸如网络(包括一对一通信连接)等的通信装置连接的多台计算机、硬件、装置等构造而成，或者也可以由一台计算机、硬件、装置等来实现系统或装置。

本实施例中的信息处理装置和信息处理程序在会议中使用，并且该装置包括如图1所示的主持用PC 110、服务器120、客户机130A等。主持用PC 110经由通信线路191与服务器120连接，并且服务器120经由通信线路192和193与客户机130A和130N连接。此外，客户机的数量可以是一个或两个或更多。

此外，虽然将参照第一屏幕、第二屏幕和第三屏幕来说明本实施例，但是稍后将参照图3说明这些屏幕。在说明主持用PC 110的情况下，第一屏幕指的是主持用PC 110上的第一屏幕；在说明客户机130的情况下，第一屏幕指的是客户机130的第一屏幕。

对象的变化包括对象的移动、对象的放大或缩小、对象的变形、对象的删除等。在本文中，将主要说明对象的移动。此外，在下文中将待操作的对象称为对象。

主持用PC 110包括绘制对象获取模块111、移动区域判断模块112、屏幕捕捉模块113、绘制对象坐标校正模块114、叠加绘制模块115、数据发送/接收模块116以及输出模块117。主持用PC 110是会议的主持者主要使用的PC。

移动区域判断模块112与屏幕捕捉模块113和绘制对象坐标校正模块114连接，根据操作者的操作接收鼠标事件(鼠标按钮的点击等)或在鼠标事件发生时鼠标光标的坐标，并且判断在第一屏幕上显示的第一对象的移动。接下来，移动区域判断模块112将其判断结果发送到屏幕捕捉模块113和绘制对象坐标校正模块114。

绘制对象获取模块111与绘制对象坐标校正模块114连接，根据操作者的操作接收鼠标事件或在鼠标事件发生时鼠标光标的坐标，并且获取将显示在第二屏幕上的第二对象，其中第二屏幕以叠加的状态显示在第一屏幕上。接下来，绘制对象获取模块111将所获取的第二对象发送到绘制对象坐标校正模块114。基于与将由移动区域判断模块112判断的第一对象之间的距离，可以获取与第一对象相关联的第二对象。

屏幕捕捉模块113与移动区域判断模块112、叠加绘制模块115以及数据发送/接收模块116连接，并且捕捉在第一屏幕上显示的图像(屏幕图像)。此处，捕捉是获取显示在显示器上的移动图像和静态图像作为数字图像，也称为屏幕截图。屏幕捕捉模块113将所捕捉的图像发送到叠加绘制模块115和数据发送/接收模块116。

绘制对象坐标校正模块114与绘制对象获取模块111、移动区域判断模块112、叠加绘制模块115以及数据发送/接收模块116连接。基于移动区域判断模块112所判断的第一对象的移动，绘制对象坐标校正模块114对绘制对象获取模块111所获取的第二对象的坐标进行校正由此移动第二对象。接下来，绘制对象坐标校正模块114将移动结果发送到数据发送/接收模块116和叠加绘制模块115。

叠加绘制模块115与屏幕捕捉模块113、绘制对象坐标校正模块114以及输出模块117连接。叠加绘制模块115将由绘制对象坐标校正模块114移动的第二对象所在的第二屏幕叠加(“或”运算)在屏幕捕捉模块113所捕捉的图像(第一屏幕上的图像)上从而进行绘制；并且将图像发送到输出模块117。此外，叠加绘制模块115将数据发送/接收模块116接收到的要显示在第二屏幕上的对象的移动结果叠加在屏幕捕捉模块113所捕捉的图像上从而进行绘制；并且将图像发送到输出模块117中。

数据发送/接收模块116与屏幕捕捉模块113和绘制对象坐标校正模块114连接，并且经由通信线路191与服务器120的数据发送/接收模块121连接。数据发送/接收模块116经由服务器120将屏幕捕捉模块113所获取的图像和绘制对象坐标校正模块114得到的移动结果(第二屏幕上的图像本身或者显示在第二屏幕上的对象的移动方向和移动量)传送到客户机130A和130N。此外，数据发送/接收模块116接收经由服务器120从客户机130A和130N传送来的要显示在第二屏幕上的对象的移动结果。

输出模块117从叠加绘制模块115接收图像，进而将图像显示在主持用PC 110的CRT或液晶屏幕上。

服务器120包括数据发送/接收模块121、连接管理模块122、数据管理模块123以及DB 124。在会议系统中，服务器120将主持用PC110、客户机130A以及客户机130N连接起来，并且控制数据发送、数据分发的目的地以及数据的内容。

数据发送/接收模块121与连接管理模块122和数据管理模块123连接、经由通信线路191与主持用PC 110的数据发送/接收模块116连接、经由通信线路192与客户机130A的数据发送/接收模块131A连接并且经由通信线路193与客户机130N的数据发送/接收模块131N连接。也就是说，数据发送/接收模块121将主持用PC 110、客户机130A以及客户机130N连接起来。

连接管理模块122与数据发送/接收模块121和DB 124相连接。连接管理模块122对数据发送/接收模块121给出这样的指示：即，将数据发送/接收模块121接收到的数据传送到预先记录在DB 124中的分发目的地(主持用PC 110、客户机130A以及客户机130N)。

数据管理模块123与数据发送/接收模块121和DB 124连接。数据管理模块123使DB 124存储由数据发送/接收模块121接收到的数据作为会议中的历史数据。此外，数据管理模块123可以对数据发送/接收模块121给出指示使该数据发送/接收模块121根据来自创建会议记录的主持用PC 110的请求来发送历史数据。

DB 124与连接管理模块122和数据管理模块123连接，并且存储诸如将组合哪些装置(主持用PC 110、客户机130A和客户机130N)来进行哪个会议等的管理数据以及在各个装置之间作为历史数据而发送接收的数据。

客户机130A包括数据发送/接收模块131A、叠加绘制模块132A、绘制对象获取模块133A以及输出模块134A。客户机130A例如是会议参加者使用的PC。客户机130N具有与客户机130A相似的构造。

数据发送/接收模块131A与叠加绘制模块132A和绘制对象获取模块133A连接，并且还经由通信线路192与服务器120的数据发送/接收模块121连接。数据发送/接收模块131A通过服务器120接收来自主持用PC 110的图像和对象的移动结果。然后，数据发送/接收模块131A将所接收到的内容传送到叠加绘制模块132A中。在绘制对象获取模块133A所获取的对象发生移动的情况下，数据发送/接收模块131A经由服务器120将移动的对象的相关信息传送到主持用PC110。

叠加绘制模块132A与数据发送/接收模块131A、绘制对象获取模块133A以及输出模块134A，并且将数据发送/接收模块131A接收到的图像绘制在第一屏幕上。然后，基于数据发送/接收模块131A所接收的对象的移动结果，叠加绘制模块132A在第二屏幕上绘制图像。可选的是，一从绘制对象获取模块133A接收到第二屏幕上的对象的移动结果，叠加绘制模块132A就在第二屏幕上绘制图像。此外，叠加绘制模块132A将第一屏幕和第二屏幕叠加以绘制图像，并且将图像发送到输出模块134A。

绘制对象获取模块133A与数据发送/接收模块131A和叠加绘制模块132A连接。绘制对象获取模块133A根据操作者的操作接收鼠标事件或鼠标事件发生时鼠标光标的坐标，并且获取显示在第二屏幕上的第二对象。

输出模块134A与叠加绘制模块132A连接。输出模块134A从叠加绘制模块132A接收图像并将图像显示在客户机130A的CRT或液晶屏幕上。

参照图2，将说明在实现本实施例时系统的构造实例。该系统包括会议室211中的PC 210、会议室231A中的客户机230A、会议室231B中的客户机230B以及分别通过各个网络291、292和293将这些装置连接起来的服务器220。PC 210对应于如图1所示的主持用PC 110，服务器220对应于如图1所示的服务器120，客户机230A对应于如图1所示的客户机130A，并且客户机230B对应于如图1所示的客户机130N。

将说明在该系统构造实例中的工作和操作。

首先，对作为PC 210的第一屏幕的桌面进行屏幕捕捉，接着经由服务器220将该桌面发送到客户机230A和230B。

将PC 210的第二屏幕上所绘制的对象绘制在客户机230A等的第二屏幕上以使该对象位于与PC 210的桌面上相对相同的位置。也就是说，PC 210的桌面屏幕与各个客户机230A、230B共享，从而使得这三个人都看到相同的桌面屏幕。

相反，将客户机230A等的第二屏幕上所绘制的对象绘制在PC210的第二屏幕上以使该对象位于与PC 210的桌面上相同的位置。因此，在客户机230A等与PC 210之间对称地共享绘制对象。

另一方面，虽然客户机230A等总是共享PC 210的屏幕，但是客户机230A等并不将其桌面屏幕发送到PC 210中。因此，在客户机230A等与PC 210之间不对称地共享桌面屏幕。

将客户机230A的第二屏幕上所绘制的对象绘制在PC 210的第二屏幕上。在PC 210上，在通过操作包括在PC 210的第三屏幕中的绘制指示区域(绘制工具)来给出绘制指示的情况下，将鼠标事件发送到显示在第二屏幕上的应用程序中。通过将已经接收到绘制指示的坐标上的像素值改变为指定值可以绘制对象，其中该绘制指示是由第二屏幕上发生的鼠标事件而产生的。例如，通过将绘制之前显示无色的像素值改变成显示红色的像素值，可以绘制出红点。

另一方面，客户机230A不包括第三屏幕。因此，总是将鼠标事件发送到第二屏幕上。然而，为了对生成第二屏幕的应用程序给出指示，将用于接收操作者的操作的绘制指示区域显示在第二屏幕上。可以将绘制指示区域的显示切换成不显示。

当通过PC 210上的鼠标事件来绘制对象时，将形成对象的像素坐标与像素值的组合数据作为绘制对象数据发送到服务器220中。已经接收到数据的服务器220将数据发送到作为预先记录的分发目的地的客户机230A中。已经从服务器220接收到数据的客户机230A根据该数据将客户机230A的第二屏幕上的像素改变为指定值从而使得该像素位于与PC 210的桌面上相对相同的位置。由此，绘制出绘制对象。

当通过客户机230A上的鼠标事件在客户机230A的第二屏幕上绘制对象时，将形成对象的像素坐标与像素值的组合数据作为绘制对象数据发送到服务器220中。

已经接收到数据的服务器220将数据发送到预先记录的PC 210中。

已经从服务器220接收到数据的PC 210根据该数据将PC 210的第二屏幕上的像素改变为指定值，从而绘制出绘制对象。

参照图3，将说明第一屏幕310、第二屏幕320以及第三屏幕330之间的关系。

通过第一屏幕310、第二屏幕320以及第三屏幕330的叠加形成主持用PC 110的屏幕。

在第一屏幕310上，绘制有OS(操作系统)管理的对象组即当应用程序运行时所显示的应用程序窗口311，以及用于参考应用程序的图标、文件夹或文档文件。由于第一屏幕310是用于通过OS绘制对象组的屏幕，因此其通常是指称为桌面的屏幕。

第二屏幕320具有透明的背景。相应地，当第二屏幕320叠加在第一屏幕310上时，绘制在第二屏幕320上的对象321被看成是直接绘制在由OS管理的对象组(应用程序窗口311)上。

在第三屏幕330上布置有绘制指示区域。该绘制指示区域至少包括绘制ON(打开)按钮331和绘制OFF(关闭)按钮332以用于由操作者给出绘制模式的指示或非绘制模式的指示。此外，只要绘制ON按钮331和绘制OFF按钮332可以表示出是否应用绘制功能的二值状态，就可以由诸如按钮、开关、游标(滚动条)、复选框以及笔的ON/OFF等任意图形或文字来表示。此外，可以将绘制ON按钮331和绘制OFF按钮332切换成布置在键盘上的任意键或快捷键。

第三屏幕330总是叠加在第一屏幕310和第二屏幕320的上层(即叠加成总是能够显示出)。可以根据绘制应用程序的具体内容将颜色指定工具、笔厚度工具、笔类型工具等添加到绘制指示区域。

在通过按下第三屏幕330上的绘制ON按钮331来应用绘制功能的情况下，鼠标事件被发送到正控制第二屏幕320的应用程序中。在通过按下第三屏幕330上的绘制OFF按钮332从而不应用绘制功能的情况下，鼠标事件被发送到正控制第一屏幕310的OS或应用程序中。

参照图4中所示的流程图，说明本实施例中的处理实例。

首先，将参照图6至图8说明应用该流程图的实例。

如图6所示，在主持用PC 110的输出模块117中，在第一屏幕310(桌面)中绘制有OS所控制的应用程序窗口600，并且在应用程序窗口600中绘制有对象611，并且在第二屏幕320中绘制有对象612和613。对象612由圆圈和箭头组成并且绘制成指向对象611。也就是说，应用程序窗口600或对象611与对象612相关联。另一方面，对象613远离应用程序窗口600并且与应用程序窗口600不相关。

图7示出在固定的应用程序窗口600中所绘制的对象611已经在应用程序窗口600中发生二维移动(例如滚动)的情况下的实例。也就是说，在应用程序窗口600本身不移动并且位于应用程序窗口600外部的对象也不移动的状态下，应用程序窗口600中的对象611已从对象6111的位置滚动到对象611的位置。在这样的情况下，与对象611相关联的对象612也应该跟随对象611的移动而移动。然而，对象613不应该移动。

图8示出在对象612跟随对象611的移动而移动的情况下的实例。也就是说，在OS所管理的对象611的位置改变的情况下，第二屏幕320中的对象612的位置跟随对象611的位置的改变而改变。对象613不移动。

在该实例中，移动的对象是绘制在第二屏幕320上的同心椭圆830中的对象。同心椭圆830比应用程序窗口600的外接椭圆820大d。相应地，虽然对象612是移动的对象，但是对象613不是移动的对象。

在图4的流程图中示出了实现参照图6至图8所说明的操作的处理实例。

在步骤S402中，屏幕捕捉模块113对第一屏幕310进行屏幕捕捉并将第一屏幕310上的图像二值化，从而生成二值图像(在下文中，将该二值图像称为图像1)。

在步骤S404中，移动区域判断模块112从图像1中提取出第一屏幕310中的窗口区域的绝对坐标和绝对尺寸。此时，在不能提取窗口的情况下，将全屏视为窗口并且提取出该窗口的绝对坐标和绝对尺寸。

在步骤S406中，移动区域判断模块112监测鼠标事件。仅在图像1的窗口区域中发生鼠标事件的情况下，移动区域判断模块112对屏幕捕捉模块113给出这样的指示：即，在鼠标事件结束的时刻对第一屏幕310进行屏幕捕捉。然后，与步骤S402中的操作相似，屏幕捕捉模块113对第一屏幕310进行屏幕捕捉并将第一屏幕310上的图像二值化从而生成二值图像(在下文中将此二值图像称为图像2)。

在步骤S408中，移动区域判断模块112找出图像1与图像2之间的差异。

在步骤S410中，移动区域判断模块112从在步骤S408中所获得的差异中提取出图像1与图像2之间的移动量Dv。

在步骤S412中，移动区域判断模块112判断Dv是否不为0。也就是说，移动区域判断模块112判断在第一屏幕310中是否存在变化。在判断结果是肯定的情况下(在存在变化的情况下)，处理转入步骤S414。在另一情况下(在不存在变化的情况下)，处理结束(步骤S430)。

在步骤S414中，移动区域判断模块112判断对象的移动是否发生在窗口外部或者窗口本身是否移动。在判断结果是肯定的情况下，处理转入步骤S416；在另一情况下(在窗口内部存在变化的情况下)，处理转入步骤S418。

在步骤S416中，绘制对象坐标校正模块114使第二屏幕320上的所有绘制对象移动Dv。然后，数据发送/接收模块116向服务器120通知该移动。

在步骤S418至步骤S428的处理中，找出与第一屏幕310中的窗口相关联的对象(第二屏幕320中的对象)。将参照图5说明该处理。

在步骤S418中，绘制对象获取模块111找出表示第一屏幕310上的窗口500区域的矩形的外接椭圆520(包括圆)。也就是说，以窗口500的中心作为椭圆的中心，找出这样围绕窗口500的外接椭圆520。

在步骤S420中，绘制对象获取模块111在第二屏幕320上找出将预先设定的d加到外接椭圆520上的同心椭圆530。也就是说，找出这样的同心椭圆530：其中心处在与外接椭圆520的中心位置相同的位置上并且比椭圆520大d。

在步骤S422中，绘制对象获取模块111选择绘制在第二屏幕320上的一个对象。在图5的情况下，选择对象510。

在步骤S424中，绘制对象获取模块111判断在步骤S422中选择的对象510的一部分是否包含在同心椭圆530的区域中。在判断结果是肯定的情况下(在对象存在于窗口附近的情况下)，处理转入步骤S426；在另一情况下(在对象不存在于窗口附近的情况下)，处理转入步骤S428。在图5的情况下，由于对象510包含在同心椭圆530中，因此判断结果是肯定的。

在步骤S426中，绘制对象坐标校正模块114使第二屏幕320上所选择的绘制对象移动Dv。然后，数据发送/接收模块116向服务器120通知该移动。

在步骤S428中，绘制对象获取模块111判断是否存在下一个对象。在判断结果是肯定的情况下(在存在剩余对象的情况下)，处理返回到步骤S424；在另一情况下(在不存在要判断的其它对象的情况下)，处理结束(步骤S430)。

参照如图9所示的流程图，说明如下处理实例：即，进一步获取位于绘制对象获取模块111所获取的对象附近的另一对象。

首先，将参照图10说明具体处理实例。

可以基于如图4所示的流程图的处理来选择与第一屏幕310中的窗口1000相关的对象1010。另一方面，虽然对象1011位于对象1010附近，但是判断出对象1011不与窗口1000相关联，进而在如图4所示的流程图的处理中不进行移动。然而，由于对象1011与对象1010相关联，因此对象1011应该随着对象1010的移动而移动，在图9的流程图中示出了用于实现对象1011的移动的处理实例。

在步骤S902中，绘制对象获取模块111找出外接矩形的椭圆1020，其中该矩形是第二屏幕320上判断为位于窗口1000附近的对象1010的外接矩形。

在步骤S904中，绘制对象获取模块111在第二屏幕320上找出将预先设定的dA加到外接椭圆1020上的同心椭圆1030。也就是说，找出这样的同心椭圆1030：其中心处在与外接椭圆1020的中心位置相同的位置上并且比椭圆1020大dA。

在步骤S906中，绘制对象获取模块111选择绘制在第二屏幕320上的一个对象。在图10的情况下，选择对象1011。

在步骤S908中，绘制对象获取模块111判断在步骤S906中所选择的对象1011的一部分是否包含在同心椭圆1030的区域中。在判断结果是肯定的情况下(在该对象附近存在另一对象的情况下)，处理转入步骤S910；在另一情况下(在该对象附近不存在另一对象的情况下)，处理转入步骤S912。在图10的情况下，由于对象1011包含在同心椭圆1030中，因此判断结果是肯定的。

在步骤S910中，绘制对象坐标校正模块114使第二屏幕320上所选择的绘制对象移动Dv。然后，数据发送/接收模块116向服务器120通知该移动。

在步骤S912中，绘制对象获取模块111判断是否存在下一个对象。在判断结果是肯定的情况下(在存在剩余对象的情况下)，处理返回到步骤S908；在另一情况下(在不存在要判断的其它对象的情况下)，处理结束(步骤S914)。

如图11所示，执行本实施例中的程序的计算机(主持用PC110、服务器120、客户机130A等)就硬件构造来讲是通用计算机；并且具体而言是可以作为个人计算机或服务器的计算机。该计算机包括：CPU 1101，其执行诸如绘制对象获取模块111、移动区域判断模块112、屏幕捕捉模块113、绘制对象坐标校正模块114、叠加绘制模块115、连接管理模块122、数据管理模块123、叠加绘制模块132A以及绘制对象获取模块133A等的程序；RAM 1102，其存储程序和数据；ROM 1103，其存储用于启动该计算机的程序；HD 1104，其是辅助存储装置(例如硬盘)；诸如键盘和鼠标等的输入装置1106，其输入数据；诸如CRT或液晶显示器等的输出装置1105；通信线路接口1107(例如网络接口卡)，其用于与通信网络连接；以及总线1108，其将各部分连接起来以在各部分之间发送接收数据。多台计算机可以经由网络彼此连接。

关于上述实施例的计算机程序，使得具有该硬件构造的系统载入作为软件的计算机程序，并且软件资源和硬件资源彼此协作由此实现上述实施例。

如图11所示的硬件构造示出该构造的一个实例，但本实施例并不限于如图11所示的构造，而是可以使用任何构造只要该构造能够执行实施例中所述的模块。例如，一部分模块可以由专用硬件(例如ASIC)构成，一部分模块可以位于外部系统中只要该模块经由通信线路与其它模块连接，此外如图11所示的多个系统可以经由通信线路彼此连接以便彼此协作。此外，除了个人计算机以外，该系统可以嵌入信息装置、复印机、传真机、扫描仪、打印机以及多功能机(具有扫描仪、打印机、复印机、传真机等任意两种或多种功能的图像处理装置)中。

在实施例中，在第二屏幕320中选择与第一屏幕310中的对象相关联的对象的情况下，已经说明了使用外接椭圆和同心椭圆的实例。然而，也可以选择与第一屏幕310中的对象的外周相距预定距离内存在的第二屏幕320中的对象。

此外，在实施例中，虽然将移动表示为第一对象的变化实例，但也可以使用放大、缩小、变形或删除。在放大、缩小或变形的情况下，根据对第一对象的缩放处理或变形处理，将第二对象(包括第三对象)放大、缩小或变形。此外，在删除的情况下，也删除第二对象。

此外，上述程序可以以记录介质中的存储形式来提供，或者该程序也可以由通信装置来提供。在这种情况下，可以将上述程序理解为“存储程序的计算机可读记录介质”的发明。

“存储程序的计算机可读记录介质”指的是可以通过计算机读取数据的记录介质，用于程序的安装、执行和分发，并且在该记录介质中存储有程序。

记录介质例如是其中有由DVD论坛制定的[DVD-R、DVD-RW、DVD-RAM等]、由DVD+RW制定的[DVD+R、DVD+RW等]的数字通用光盘(DVD)和致密光盘(CD)。具体地说，有只读型CD(CD-ROM)、可记录CD(CD-R)、可写入CD(CD-RW)、磁光盘(MO)、软盘(FD)、磁带、硬盘、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存、随机存取存储器(RAM)等。

此外，程序或其一部分可以存储在记录介质中以进行保存或分发。此外，程序或其一部分可以借助于通信装置进行传输，该通信装置诸如为用于局域网(LAN)、城域网(MAN)、广域网(WAN)、互联网、内联网和外联网的有线网络或无线通信网络；或者借助于与这些网络结合的传输介质来传输该程序或其一部分。此外，程序或其一部分可以由载体承载。

此外，该程序可以是另一程序的一部分，或者可以与单独的程序一起存储在记录介质中。此外，该程序可以以分割的方式记录在多个记录介质中。此外，只要可恢复，该程序就可以以诸如压缩形式或加密等任何形式进行存储。

为了示例和说明的目的提供本发明实施例的上述描述。其意图不是为了列举或限制本发明为所披露的精确形式。显然，对于本领域的技术人员来说，许多修改和变型都是显而易见的。选择和描述实施例以最佳地说明本发明的原理和其实际应用从而使得本领域的其它技术人员理解到本发明的各种实施例和其各种变型适用于特殊应用。其意图是通过所附权利要求书和其等同体限定本发明的范围。

Claims

1.一种信息处理装置，包括：

图像获取单元，其获取显示在第一屏幕上的图像；

变化判断单元，其判断显示在所述第一屏幕上的第一对象的变化；

对象获取单元，其获取显示在第二屏幕上的第二对象，所述第二屏幕叠加地显示在所述第一屏幕上；

改变单元，其基于由所述变化判断单元判断的所述第一对象的变化来改变由所述对象获取单元获取的所述第二对象；以及

发送单元，其将所述图像获取单元获取的图像和所述改变单元得到的变化结果发送到另一信息处理装置中。

2.一种信息处理装置，包括：

接收单元，其从另一信息处理装置接收图像和由坐标值表示的绘制对象的变化结果；

第一绘制单元，其在第一屏幕上绘制由所述接收单元接收到的图像；

第二绘制单元，其基于由所述接收单元接收到的所述对象的变化结果在第二屏幕上进行绘制；

显示单元，其以叠加的状态显示由所述第一绘制单元在其上进行绘制的所述第一屏幕和由所述第二绘制单元在其上进行绘制的所述第二屏幕；

对象获取单元，其获取显示在所述第二屏幕上的对象；以及

发送单元，在所述对象获取单元获取的对象已发生改变的情况下，所述发送单元将与已发生改变的对象相关的信息发送到所述另一信息处理装置中。

3.根据权利要求1所述的信息处理装置，其中，

所述对象获取单元基于与所述第一对象的距离来获取与所述变化判断单元将要判断的所述第一对象相关联的第二对象。

4.根据权利要求1或3所述的信息处理装置，其中，

所述对象获取单元基于与所获取的第二对象的距离来获取显示在所述第二屏幕上的第三对象。

5.一种计算机可读介质，其存储使计算机执行信息处理的程序，所述处理包括：

图像获取单元，其获取显示在第一屏幕上的图像；

6.一种计算机可读介质，其存储使计算机执行信息处理的程序，所述处理包括：

从另一信息处理装置接收图像和由坐标值表示的绘制对象的变化结果；

在第一屏幕上绘制接收到的图像；

基于接收到的对象的变化结果进行绘制；

以叠加的状态显示已由所述第一绘制单元进行绘制的第一屏幕和已由所述第二绘制单元进行绘制的第二屏幕；

获取显示在所述第二屏幕上的对象；以及

在所述对象获取单元所获取的对象已发生改变的情况下，发送单元将与已发生改变的对象相关的信息发送到所述另一信息处理装置中。

7.一种信息处理方法，包括：

获取显示在第一屏幕上的图像；

判断显示在所述第一屏幕上的第一对象的变化；

获取显示在第二屏幕上的第二对象，所述第二屏幕叠加地显示在所述第一屏幕上；

基于所判断的所述第一对象的变化来改变所获取的所述第二对象；以及

发送所获取的图像和变化结果。

8.一种信息处理方法，包括：

接收图像和由坐标值表示的绘制对象的变化结果；

在第一屏幕上绘制接收到的图像；

基于接收到的对象的变化结果进行绘制；

以叠加的状态显示所述第一屏幕和第二屏幕；

获取显示在所述第二屏幕上的对象；以及

在所获取的对象已发生改变的情况下，发送与已发生改变的对象相关的信息。