CN101150704B - 图像处理系统和图像处理方法 - Google Patents

Abstract

本发明提供了一种图像处理系统、图像处理方法及其程序产品，该图像处理系统包括：投影部，其投影图像数据；第一图像记录部，其以第一分辨率记录所述投影部的投影区域作为第一图像数据；第二图像记录部，其以高于所述第一分辨率的第二分辨率来记录所述投影部的所述投影区域作为第二图像数据；以及图像处理部，其将所述第一分辨率的第一图像数据和所述第二分辨率的第二图像数据发送到终端装置，并将来自所述终端装置的待投影的图像数据输出到所述投影部。

Description

图像处理系统和图像处理方法

技术领域

本发明总体上涉及一种在远程指示系统、远程会议系统等中使用的设置有投影仪和摄像机的图像处理系统。 

背景技术

例如，在远程修理系统、远程维护系统、远程医疗系统、远程会议系统等中，存在着从远程终端侧向实际物体侧给出诸如操作过程等的各种指示的需要。作为这样的远程指示系统(通过该远程指示系统，远程终端侧可以对实际物体侧进行指示)，公知下面的技术：通过在实际物体侧的投影仪将注释图像数据投影到对象上，同时通过摄像机对存在于实际物体侧的对象进行记录，并将这样记录的图像数据发送到远程终端，在远程终端处基于所记录的图像数据来指定注释图像(例如，美国专利申请公报No.2004/0070674)。 

然而，在上述远程指示系统中，当在远程侧的显示装置等上显示在实际物体侧投影的所记录图像时，在某些情况下难以识别其内容。在这样的情况下，存在着不能建立稳定的通信的可能性。此外，当在远程侧再利用实际物体侧的所记录图像时，存在着在不能识别所记录图像的内容的情况下妨碍有效利用的可能性。 

发明内容

考虑到上述情况而做出本发明，本发明提供了一种具有投影仪和摄像机的图像处理系统，通过该图像处理系统来改进由摄像机记录的图像数据的识别，以增强远程位置之间的平稳通信。 

根据本发明的一方面，提供了一种图像处理系统，该图像处理系统包括：投影部，其投影图像数据；第一图像记录部，其以第一分辨率记 录所述投影部的投影区域作为第一图像数据；第二图像记录部，其以高于所述第一分辨率的第二分辨率来记录所述投影部的投影区域作为第二图像数据；以及图像处理部，其将第一分辨率的第一图像数据和第二分辨率的第二图像数据发送到终端装置，并将来自所述终端装置的待投影的图像数据输出到所述投影部。 

在上述图像处理系统中，所述图像处理部根据所述终端装置给出的指令选择性地向所述终端装置发送第一分辨率的第一图像和第二分辨率的第二图像。 

在上述图像处理系统中，所述图像处理部可以发送所述第二分辨率的所述第二图像，所述第二图像表示与所述终端装置基于所述第一分辨率的所述第一图像而选择的区域相对应的区域。 

在上述图像处理系统中，所述图像处理部可以调整或校准所述投影区域与记录区域之间的相对或绝对位置或定位，所述投影区域和所述记录区域具有公共区域。 

在上述图像处理系统中，在没有投影由所述终端装置指定的所述注释图像数据的状态下，所述图像处理部可以获得所述第二分辨率的所述第二图像数据。 

在上述图像处理系统中，所述图像处理部通常将所述第一分辨率的所述第一图像数据发送到所述远程装置，而仅当所述远程装置请求时，才将所述第二分辨率的所述第二图像数据发送到所述远程装置。 

在上述图像处理系统中，所述第一图像记录部和所述第二图像记录部可以由公共设置的图像记录部组成，可以通过该公共设置的图像记录部改变待记录的图像数据的分辨率。 

在上述图像处理系统中，所述第一图像记录部、所述第二图像记录部和所述投影部可以被构造为对透镜(1ens)进行共享。 

根据本发明的另一方面，提供了一种图像处理方法，该图像处理方法包括：投影图像数据；以第一分辨率记录投影区域作为第一图像数据；以高于所述第一分辨率的第二分辨率记录所述投影区域作为第二图像数据；以及发送所述第一分辨率的所述第一图像数据和所述第二分辨率的 所述第二图像数据，并输出来自所述终端装置的待投影的图像数据。 

根据本发明的另一方面，提供了一种计算机可读介质，该计算机可读介质存储程序，该程序使计算机执行用于图像处理的处理，所述处理包括：投影图像数据；以第一分辨率记录投影区域作为第一图像数据；以高于所述第一分辨率的第二分辨率记录所述相同投影区域或所述投影区域的一部分作为第二图像数据；以及发送所述第一分辨率的所述第一图像数据和所述第二分辨率的所述第二图像数据，并输出来自所述终端装置的待投影的图像数据。 

在所述终端装置中，获得所述第一分辨率的图像数据和高于所述第一分辨率的第二分辨率的图像数据，从而改进对所述记录的图像数据的内容的识别。 

可以根据需要来选择待发送到所述终端装置的第一分辨率的图像数据和第二分辨率的图像数据，由此抑制在所述图像处理部与所述终端装置之间发送和接收的数据量的增加。 

仅发送所述第二分辨率的图像数据中的所选择的区域，由此使所述图像处理部与所述终端装置之间的数据量的增加最小化。 

获得图像数据以使得不投影从所述终端装置指示的注释图像，由此改进对从所述投影部投影的图像的识别。 

通常发送具有较小数据量的所述第一分辨率的数据，并且仅根据需要发送具有较大数据量的所述第二分辨率的数据，由此使要发送的数据量的增加最小化。 

可以简化所述装置的结构。 

附图说明

将根据以下的附图来详细描述本发明的示例性实施例，在附图中： 

图1示出了设置有在本发明的示例性实施例中采用的图像处理系统的远程指示系统的系统结构； 

图2是图像处理装置的功能框图； 

图3是示出了图像处理装置的通信处理的示例的流程图；

图4是示出了图像处理装置的图像处理的示例的流程图； 

图5是示出了计算机的处理的示例的流程图； 

图6A和图6B是示出了被投影到目标上的图像的示例的视图； 

图7A和图7B是示出了计算机侧的显示装置的显示示例的视图； 

图8是示出了计算机侧的显示装置上的高清晰度图像数据的屏幕显示的示例的视图； 

图9是示出了计算机侧的显示装置上的其他高清晰度图像数据的屏幕显示的另一示例的视图； 

图10示出了其中使用了本发明的另一示例性实施例中所采用的图像处理系统的远程指示系统的系统结构； 

图11示出了其中使用了本发明的另一示例性实施例中所采用的图像处理系统的远程指示系统的系统结构； 

图12示出了注释图像数据的投影的状态和高清晰度摄像机30或摄像机20A的状态； 

图13示出了摄像机和投影仪单元相对于公共透镜的结构； 

图14A和图14B示出了反射镜单元203的形状的示例；以及 

图15示出了具有旋转单元的摄像机和投影仪单元的另一结构。 

具体实施方式

现将参照附图给出对本发明的示例性实施例的描述。 

现将参照附图给出对本发明的示例性实施例的描述。图1示出了其中使用了本发明的示例性实施例中所采用的图像处理系统的远程指示系统的系统结构。图2是图像处理装置的功能框图。现在参照图1，该远程指示系统包括：用作第一图像记录部的普通摄像机20；用作第二图像记录部的高清晰度摄像机30；用作投影部的投影仪40；图像处理装置50；连接到图像处理装置50的用作远程装置的计算机60，该图像处理装置50设置在目标TG侧，目标TG是实际物体。白板或屏幕可以是目标TG。该目标还可以包括白板和其他类似的产品。作为远程维护系统的示例，在大屏幕前方的待修理的汽车可以是目标TG。在远程医疗系统的情况 下，人或动物的身体可以是目标TG。该远程指示系统还包括：安装在远程位置处并经由网络300连接到图像处理装置50的用作终端装置的计算机100。这里，图1仅示出了通过网络300连接的一台计算机100。但是，可以通过网络300连接多台计算机100。 

普通摄像机20例如由CCD摄像机等组成并且能够以第一分辨率来记录目标TG(例如白板)。将这样记录的图像输入到图像处理装置50中。 

高清晰度摄像机30例如由CCD摄像机等组成并且能够以高于第一分辨率的第二分辨率来记录目标TG(例如白板)。将这样记录的图像数据输入到图像处理装置50中。当记录相同区域的图像数据时，由于通过高清晰度摄像机30获得的图像数据的高清晰度，因此通过高清晰度摄像机30获得的图像数据的大小比通过普通摄像机20获得的图像数据大。这里，高清晰度摄像机30由此被设置用来记录与由普通摄像机20记录的区域基本上相同的区域或者具有相对于普通摄像机20所记录区域的公共区域的区域。 

投影仪40由液晶投影仪等组成，并且将从图像处理装置50获得的图像数据投影到目标TG上。投影仪40能够将图像数据的光投影到与由高清晰度摄像机30和普通摄像机20记录的区域基本上相同的区域或者相对于高清晰度摄像机30和普通摄像机20所记录区域的公共区域上。 

计算机60连接有显示装置70、诸如鼠标等的输入装置，如图1所示。显示装置70显示图像数据等，以输出来自图像处理装置50的图像数据。鼠标80用于图像数据的输入操作、编辑操作等。也就是说，计算机60被设置为可以将待从投影仪40投影到目标TG上的图像输入到图像处理装置50中。 

计算机100连接有显示装置110(例如液晶显示装置、CRT等)和输入装置(例如鼠标130等)。显示装置110在屏幕上显示图像数据，用来对在目标TG侧由普通摄像机20记录的图像和由高清晰度摄像机30记录的图像进行编辑，或者对注释图像进行编辑。当创建例如与待投影到目标TG上的注释图像相关的指令时，使用鼠标130来操作在编辑画面上设置的各种按钮。通过使用由计算机100等组成的终端装置，用户能 够绘制注释图像，利用注释图像对图像给出指令，同时在显示装置110的屏幕上观看目标TG等的图像。 

用户使用鼠标120、显示装置110和计算机100来创建注释图像的操作可以在图像处理装置50以及计算机100和60中表示为如SVG(可缩放矢量图形)格式的矢量图形数据。 

然后，为矢量图形数据格式而不是像素格式的注释图像可以通过网络300在计算机100与图像处理装置50之间传送，以减小其数据大小。 

图像处理装置50能够使图像数据从矢量图形数据转换为像素数据，以在投影仪40处显示图像数据。 

计算机100和60二者还具有创建从矢量图形数据到像素数据的图像数据的能力，以在显示装置110和70中的每一个上显示图像数据。 

另外，矢量图形数据可以利用符合ISO10303STEP/AP202标准的CAD(计算机辅助设计)格式之一或者利用在商业CAD系统中使用的另一格式来表示。 

现在参照图2，图像处理装置50包括：控制器501；存储器502；图像输入部503；高清晰度图像获得部504；普通图像获得部505；注释图像创建部506；投影图像创建部507；通信部508；时间管理部509，等等，它们彼此互连，以使得可以通过内部总线510来发送和接收数据。 

控制器501由常用的中央处理单元(CPU)、内部存储器等组成，并且对图像处理装置50的存储器502、图像输入部503、高清晰度图像获得部504、普通图像获得部505、注释图像创建部506、投影图像创建部507、通信部508、时间管理部509、内部总线510和各种数据进行控制。 

存储器502由常用的半导体存储器、磁盘装置等组成，并且保持、累积和存储在图像处理装置50中进行了处理的数据。此外，如果需要，保持、累积或存储在存储器502中的图像数据可以输出到投影仪40。 

图像输入部503由常用的半导体存储器等组成，并且在从计算机60输入图像数据之后存储该图像数据。前述图像数据可以通过在计算机60上运行的常用应用软件等来创建。 

高清晰度图像获得部504由常用的半导体存储器等组成，并且获取 由高清晰度摄像机30记录的图像。 

高清晰度摄像机30可以获得分辨率比普通摄像机20高的数字图像数据。 

普通图像获得部505由常用的半导体存储器等组成，并且获取由普通摄像机20记录的图像。 

普通摄像机20可以获得分辨率比高清晰度摄像机30低的数字图像数据。 

注释图像创建部506由常用的CPU、内部存储器等组成，并且通过对从诸如计算机100等的终端装置提供的与注释图像有关的绘制命令进行解码来创建注释图像。 

注释图像创建部506能够创建从SVG格式到像素格式的注释图像数据。即，注释图像创建部506能够解释SVG数据以及再现或创建像素格式的图形数据。 

投影图像创建部507创建要从投影仪40投影的图像。具体地说，当需要时，投影图像创建部507通过使用从图像输入部503提供的图像、从注释图像创建部506提供的图像、存储在存储器502中的图像等来创建待投影的图像。 

通信部508由CPU、通信电路等组成，并且经由网络300在计算机100(其为终端装置)之间传送包括图像数据和注释数据在内的各种数据。 

时间管理部509由内部系统时钟、计数器、定时器等组成，并且对控制器501、存储器502、图像输入部503、高清晰度图像获得部504、普通图像获得部505、注释图像创建部506、投影图像创建部507、通信部508以及内部总线510的处理定时以及时间进行控制。 

内部总线510由用于控制的控制总线和用于数据的数据总线组成，并且传送控制数据、图像数据、图形数据、高清晰度图像数据等。 

接下来，将参照图3至图9给出对远程指示系统的操作示例的描述。这里，图3是示出了图像处理装置50的通信处理的示例的流程图。图4是示出了图像处理装置50的图像处理的示例的流程图。图5是示出了计算机100的处理的示例的流程图。图6A和图6B是示出了被投影到目标 上的图像数据的示例的视图或屏幕图像数据或屏幕的快照。图7A和图7B是示出了计算机100侧的显示装置的显示示例的视图或屏幕图像数据或屏幕的快照。图8是示出了在计算机100侧的显示装置上的高清晰度图像数据的屏幕显示的示例的视图或屏幕图像数据或屏幕的快照。图9是示出了在计算机100侧的显示装置上的其他高清晰度图像数据的屏幕显示的另一示例的视图或屏幕图像数据或屏幕的快照。 

首先，将给出对通过网络300在图像处理装置50与计算机100之间进行通信处理的描述。可以重复图3中的通信处理例程。图像处理装置50将由普通摄像机20记录的图像数据输出到计算机100，如图3所示(步骤ST1)。 

接下来，图像处理装置50确定是否从计算机100接收到命令(步骤ST2)。该命令例如由以下命令组成：绘制命令，用于绘制注释图像数据；选择命令，用于选择所期望的区域以获得高清晰度图像数据；移动命令，用于移动注释图像。可以发送和执行如“删除”、“复制”和“粘贴”的其他命令，而不是移动命令。这里，注释图像数据是用于给出指令、或解释或附加信息以及用于通过使用图像数据在远程位置之间共享信息的图像数据，并且包括诸如图形图像、文本图像等的任何图像数据。 

如果接收到绘制命令，则执行处理以将与该绘制命令相对应的注释图像数据投影到目标TG或白板上(步骤ST3和步骤ST4)。 

在图6A中，目标TG是白板。并且该白板上还设置有由纸张制成的日历CAL。 

图6B示出了作为日历上的星形标记的注释图像数据AN。 

也就是说，用户通过计算机100给出了星形标记的绘制命令。 

图像处理装置50具有对注释图像数据AN与目标TG之间的定位或布局进行校准的功能。例如，图像处理装置50对要由普通摄像机20和高清晰度摄像机30记录的区域与待由投影仪40投影的区域之间的布局进行校准。该校准可以通过如图像处理中的仿射变换(Affinetransformation)的几何变换来进行。 

如果没有接收到绘制命令，则确定是否接收到选择命令(步骤ST5)。 如果接收到选择命令，则确定注释图像数据是否被投影到目标TG上(步骤ST6)。然后，如果注释图像数据被投影到目标TG上，则暂时删除(关闭)注释图像数据(步骤ST7)。如上所述，如果注释图像数据被投影到目标TG上，则暂时删除注释图像数据。这是因为图像处理装置50不需要从图像处理装置50向计算机100发送在计算机100处指定的注释图像。计算机100能够在其中保持注释图像数据。 

另外，当高清晰度摄像机30记录图像数据时，目标TG上的注释图像数据可能是噪声。 

然后，暂时删除注释图像数据，以使得可以避免作为噪声的注释图像数据对以高分辨率记录的图像数据的影响。换言之，就图像质量而言，为了获得更好的图像数据，高清晰度摄像机30能够记录目标TG的图像数据而不需要注释图像数据。 

容易组成来自高清晰度摄像机30的图像数据和图像处理装置5上或计算机100和计算机60上的注释图像数据二者。 

接下来，获取由高清晰度摄像机30记录的图像数据(步骤ST8)(稍后描述)，即与计算机100选择的区域相对应的图像。将所记录的图像发送到计算机100(步骤ST9)。当在步骤ST7暂时关闭注释图像时，再次投影注释图像(步骤ST11)。 

在步骤ST5，如果命令不是选择命令，则确定该命令是移动命令并且移动正被投影的注释图像数据(步骤ST12)。 

可以在步骤ST5中处理如“删除”、“复制”和“粘贴”的其他命令，而不是移动命令。 

接下来，现将给出对由图像处理装置50执行的图像处理的示例的描述。图像处理装置50可以重复图4中的图像处理例程。图像处理装置50确定是否从计算机60提供图像数据，如图4所示(步骤ST21)。如果提供图像数据，则图像处理装置50确定是否从计算机100发送了注释图像数据的绘制指令(绘制命令)(步骤ST22)。 

如果没有发送绘制命令，则投影根据从计算机60提供的图像数据而获得的图像(步骤ST25)。例如，参照图6A，当根据从计算机60提供 的图像数据而创建的投影图像数据PI(例如，通过应用软件创建的并且包括来自数字摄像机的四条图像数据的平铺(tiled)图像数据)从投影仪40输出到白板的目标TG时，将该投影图像数据PI投影到白板上。投影图像数据PI可以表示为像素格式。普通摄像机20记录如图6A或图6B的场景，并且将所记录的图像数据发送到计算机100。 

如果已发送了绘制命令，则对从计算机60提供的图像数据和从计算机100提供的注释图像数据进行组合(步骤ST23)。从投影仪40投影这样组合的图像数据(步骤ST24)。例如，当在图6A的状态下接收到注释图像数据的绘制命令时，注释图像数据AN和从计算机60提供的投影图像数据PI被投影到如图6B的白板上。 

接下来，现将给出对在计算机100处的处理示例的描述。在从图像处理装置50接收到所记录的图像数据时，计算机100将所记录的图像数据输出到显示装置110。与图6A中所示的白板相关的图像数据作为图像数据IM显示在显示装置110上，如图7A所示。此时，如果包括在图像数据IM(特别是日历CAL)中的字符的尺寸小，则用户可能难以识别显示装置110的屏幕上的字符。这可能不但发生在写在日历CAL等中的字符等，而且发生在投影图像PI中。然而，这对于物理或实际物体经常发生。 

如果需要，计算机100侧的用户执行输入操作，同时观察图7A中所示的显示器。参照图5，将描述计算机100此时的处理。当用户使用鼠标120来操作形成在显示装置110的屏幕上的各种按钮BT时，输入命令(步骤ST41)。然后，确定该命令是否是绘制注释图像数据的绘制命令(步骤ST42)。 

在图7A中，这些按钮包括笔按钮PEN、文本按钮TXT、选择按钮SEL和移动按钮MOV。笔按钮PEN用于绘制注释图像数据。文本按钮TXT用于键入一些文本。选择按钮SEL用于选择利用高清晰度摄像机30以高分辨率来记录的区域，移动按钮MOV用于移动注释图像数据。 

当用户操作屏幕上的各种按钮BT等并且输入了绘制命令时，在显示装置110的屏幕上绘制注释图像数据AN，如图7B所示(步骤ST43)。 然后，当这样输入的绘制命令被发送到图像处理装置50(步骤ST44)并且存在用户的结束请求(步骤ST45)时，处理结束。 

在步骤ST42，如果命令不是绘制命令，则确定该命令是否是选择命令(步骤ST46)。如果该命令是选择命令，则执行选择处理，以与选择命令相对应。具体地说，如果用户不能识别写在显示装置110上的图像数据IM中的日历CAL中的字符(在图7A和图7B中，各个字符都被表示为星号“*”)，则用户通过操作鼠标120等并且选择该选择按钮SEL来指定选择区域SR，如图7B所示。通过该操作来输入选择命令。然后，所选择的区域数据(即，选择区域SR的数据)被发送到图像处理装置50，作为这样计算的选择命令(步骤ST48)。应该注意的是，对利用高分辨率摄像机30记录图像数据的区域进行计算，以与图像处理装置50中在步骤ST7或ST8中的所选择的区域数据相对应。在步骤ST46，如果该命令不是选择命令，则确定为用户输入了移动注释图像数据的移动命令。移动显示装置110的屏幕上的注释图像数据AN并且将该移动命令发送到图像处理装置50(步骤ST49)。 

这里，将给出对在向图像处理装置50发送选择命令时计算机100的处理示例的描述。参照图7B，难以辨别选择区域SR中的小字符等。然而，当选择命令被发送到图像处理装置50时，与由高清晰度摄像机30记录的选择区域SR相对应的区域的高清晰度图像数据被发送到计算机100。在这之前，图像处理装置50将高清晰度图像数据HD叠加或组合到与由普通摄像机20记录的图像数据相对应的区域上。这使得用户能够辨别投影在白板上的投影图像PI的内容。 

作为另一示例，如图9所示，计算机100可以将由普通摄像机20记录的图像数据显示为窗口WD1上的显示区域，并且还可以将高清晰度图像数据HD显示为另一窗口WD2上的另一显示区域。然后，图像数据IM可以包括显示装置110上的具有按钮BT的窗口WD1和WD2。这样的结构使得能够进行与先前利用单个摄像机描述的处理相类似的处理。 

图10示出了其中使用了本发明的另一示例性实施例中所采用的图像处理系统的远程指示系统的系统结构。在图10中，与上述示例性实施 例中所采用的相同组件和结构具有相同的标号，并且将省略详细说明。图10中所示的远程指示系统中使用的摄像机20A的分辨率可以根据从图像处理装置50提供的控制信号CTL而变化。可以选择性地将高分辨率图像数据HRS和普通分辨率图像数据NRS输出到图像处理装置50。图像处理装置50根据例如从计算机100提供的选择信号，将高分辨率图像数据HRS和普通分辨率图像数据NRS选择性地发送到计算机100，或者将高分辨率图像数据HRS和普通分辨率图像数据NRS的组合图像数据发送到计算机100。这样的结构使得能够进行与先前描述的利用单个摄像机的处理相类似的处理。 

可以使用如JPEG2000或MPEG-4系统的小波变换从高分辨率的原始图像数据获得低分辨率的图像数据。利用小波变换进行了变换或编码的图像数据可以从经变换或经编码的图像数据中提取低分辨率的图像数据的一部分。 

图11示出了其中使用了本发明的另一示例性实施例中所采用的图像处理系统的远程指示系统的系统结构。在图11中，与上述示例性实施例中采用的相同组件和结构具有相同的标号，并且将省略详细说明。在该远程指示系统中，两个图像处理装置50经由网络300而连接，以能够进行双向通信。各个图像处理装置50分别连接有上述摄像机20A、投影仪40、计算机60和100，等等。通过这样的结构，计算机60和计算机100可以利用图像数据来进行双向通信。根据上述实施例，已经给出了对其中在远程位置处的计算机100的显示装置110等上显示这样获得的高清晰度图像数据的情况的描述。另外，从另一摄像机20A获得的高清晰度图像数据也通过网络300传送到图像处理装置50并显示在另一显示装置110上。通过这样的结构，计算机60和计算机100可以利用图像来进行双向通信。根据上述实施例，己经给出了对其中在远程位置处的计算机100的显示装置110等上显示这样获得的高清晰度图像的情况的描述。然而，高清晰度图像不但可以从显示装置110投影而且可以从投影仪40投影。 

根据前述的示例性实施例，当获得了高清晰度图像数据时，强行关 闭注释图像数据。然而，本发明并不限于此。例如，可以利用时间管理部509来控制投影仪40不投影注释图像数据的时间周期，以使得可以在该周期中获得高清晰度图像数据。 

图12示出了注释图像数据的投影的状态和高清晰度摄像机30或摄像机20A的状态。 

水平轴表示时间。在图12中，在点t1和t2处将时间分成三个部分T1、T2和T3。然后，注释图像数据的投影的状态根据持续时间T1、T2和T3可以包括三个部分DUR1、DUR2和DUR3。高清晰度摄像机30或摄像机20A的状态也可以包括三个部分DUR4、DUR5和DUR6。在DUR1或DUR3的状态下，投影仪40投影注释图像数据。在DUR2状态下的投影仪40不投影注释图像数据。 

同时，在DUR5的状态下，高清晰度摄像机30或摄像机20A以高分辨率记录图像数据。高清晰度摄像机30或摄像机20A在DUR4和DUR6的状态下不记录图像数据。 

可以重复对注释图像数据的投影的状态和高清晰度摄像机30或摄像机20A的状态的控制。例如，可以重复用于注释图像数据的投影的DUR1(开)和DUR2(关)以及用于由高清晰度摄像机30或摄像机20A进行的记录的DUR4(关)和DUR5(开)。然后，DUR3(开)可被看作是DUR1的重复。DUR6(关)也可被看作是DUR4的重复。 

上述控制可以通过图像处理装置50(特别是通过时间管理部509)来电实现。 

另外，上述控制也可以通过时间管理部509以及图13中的特定摄像机和投影仪单元来物理地或机械地实现。图13示出了摄像机单元201和投影仪单元401相对于公共透镜单元202的结构。摄像机单元201和投影仪单元401共享反射镜单元203和透镜单元202。来自目标TG的光通过透镜单元202和反射镜单元203(其具有一个狭缝或多个狭缝，以使光通过)，并且反射镜单元将来自投影仪单元401的光反射到透镜单元202中。然后，来自投影仪单元401的光离开透镜单元202。 

图14A和图14B示出了反射镜单元203的形状的示例。反射镜单元 203可以具有诸如图14A和图14B的圆形形状。反射镜单元203的中心对应于旋转轴的位置。图14A中的反射镜单元203包括两个狭缝部分和两个反射镜部分。另一方面，图14B中的反射镜单元203包括一个狭缝部分和一个反射镜部分。将图14A和图14B中的狭缝部分表示为黑色区域。另一方面，将图14A和图14B中的反射镜部分表示为反射镜单元203上的白色区域。反射镜单元203的狭缝可以使来自透镜单元202的光通过而进入摄像机单元201，并且反射镜单元203的反射镜可以将来自投影仪单元401的光反射到透镜单元202。 

图像处理装置50的时间管理部509控制反射镜单元203的旋转速度，以使摄像机单元201在图12的DUR5期间获得高清晰度图像数据，并且投影仪单元401在图12的DUR1和DUR3期间投影注释图像数据。 

图15示出了具有旋转单元的摄像机和投影仪单元的另一结构。旋转单元204可以与摄像机单元201和投影仪单元401组成为一个整体，并且绕其旋转轴旋转，以使摄像机单元201可以在图12的DUR5期间获得高清晰度图像数据，并且投影仪单元401可以在图12的DUR1和DUR3期间投影注释图像数据。图像处理装置50的时间管理部509也可以控制旋转单元204的旋转。摄像机单元201和投影仪单元401共享透镜单元202。 

从投影仪单元401投影的光和由摄像机单元201捕获的光二者通过的中心彼此准确对应，以使得在图13或图15中没有产生视差。 

在上述实施例中，选择性地将普通图像数据和高清晰度图像数据发送到远程位置处的计算机。普通图像数据指的是正常分辨率的或分辨率低于高清晰度图像数据的图像数据。但是，本发明并不限于此。例如，可以采用这样的结构，该结构使得可以基于时间分割来对普通摄像机20和高清晰度摄像机30进行控制，并且始终获取由普通摄像机20记录的图像数据和由高清晰度摄像机30记录的图像数据，以发送到远程位置处的计算机100。此时，使得高清晰度图像的传输帧速率小于分辨率低于高清晰度图像数据的图像数据的传输帧速率(例如60帧每秒)。例如，每秒发送10帧，由此控制其质量。此外，当传送高清晰度图像数据时，高 清晰度图像数据和普通图像数据可以以不同的帧速率来多路传输，或者可以以不同的带宽来同时发送。 

如上所述，普通图像数据和高清晰度图像数据可以组合或叠加或者多路传输。 

在上述实施例中，已给出了对在公共显示装置110上显示普通图像数据和高清晰度图像数据的情况的描述。然而，用于普通图像数据的显示装置和用于高清晰度图像数据的显示装置可以连接到计算机100并且可以独立地显示。普通图像数据和高清晰度图像数据可以通过不同的通信线路来传送，可以被多路传输和传送，或者可以在不同的带宽上传送。例如，普通图像数据可以无线地传送，而高清晰度图像数据可以通过(光)线缆来传送。 

此外，例如，可以将普通分辨率的图像数据指定为100千比特每秒，并且可以将高清晰度图像数据指定为100兆比特每秒，以进行传输，因此通信质量可以得到控制。按照类似的方式，普通分辨率的图像数据的“所谓的”帧速率或记录时间间隔可以为30帧每秒，而高清晰度图像数据的记录时间间隔可以为1帧每秒，因此图像质量或通信质量可以得到控制。普通图像数据的传输系统和高清晰度图像数据的传输系统可以具有相同的协议或者可以具有不同的协议。例如，普通图像数据可以通过所谓的HTTP协议来传送，高清晰度图像数据可以是所谓的FTP协议。 

在上述实施例中，为了防止由普通摄像机20采集并且传送到计算机100的投影注释数据与用户在显示装置110上绘制的原始图相混淆，计算机100或图像处理装置50可以删除注释图像数据并且在显示装置110(其显示来自普通摄像机20的图像数据)上再次绘制注释图像数据。 

计算机60可以具有利用计算机100给出注释图像的相同功能。 

用户还可以利用计算机100来提供来自数码相机或应用软件的图像数据，并且计算机100可以将图像数据发送到图像处理装置50，以通过投影仪40来投影该图像数据。 

如果用户不需要观看图像处理装置50中的图像数据，则可以不配置计算机60、显示装置70和鼠标80而实现本发明。

通过从诸如硬盘设备、CD-ROM、DVD或软盘的便携式存储器设备或存储设备来安装程序或者通过通信线路下载程序，通过中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)等来执行根据本发明的一个方面所采用的图像处理方法。然后，在CPU运行该程序时，执行该程序的多个步骤。 

对本发明的示例性实施例的前述描述是为了例示和描述的目的而提供的。其并非旨在对本发明的穷举或者将本发明限于所公开的确切形式。显然，许多修改和变型对于本领域技术人员是显而易见的。选择并描述这些示例性实施例是为了最好地说明本发明的原理及其实际应用，从而使得本领域其他技术人员能够理解本发明的适用于所构想的特定用途的各种实施例和各种变型例。旨在由所附权利要求及其等同物来限定本发明的范围。 

本申请基于2006年9月19日提交的日本专利申请No.2006-251992，并且根据35USC119要求其优先权。

Claims (8)

1.一种图像处理系统，该图像处理系统包括：

投影部，其投影图像数据；

第一图像记录部，其以第一分辨率记录所述投影部的投影区域作为第一图像数据；

第二图像记录部，其以高于所述第一分辨率的第二分辨率记录所述投影部的所述投影区域作为第二图像数据；

图像处理部，其选择性地发送所述第一图像记录部记录的第一图像数据和所述第二图像记录部记录的第二图像数据；以及

终端装置，其同时显示所接收的第一图像数据和所接收的第二图像数据，所接收的第二图像数据表示与根据所述第一图像数据而选择的区域相对应的区域，

其中，在所述投影部投影注释图像数据的状态下，响应于来自所述终端装置的选择要由所述第二图像记录部记录的所述投影区域的一部分的选择命令，所述图像处理部响应于所述选择命令暂时强制删除所投影的注释图像数据，在没有投影所述注释图像数据的状态下以第二分辨率获得所述第二图像数据，并且在获得所述第二图像数据之后再次将所述注释图像数据输出到所述投影部。

2.根据权利要求1所述的图像处理系统，其中，所述图像处理部根据所述终端装置给出的指令，选择性地向所述终端装置发送所述第一分辨率的第一图像数据和所述第二分辨率的第二图像数据。

3.根据权利要求1所述的图像处理系统，其中，所述图像处理部调整或校准所述投影区域与记录区域之间的相对或绝对位置或定位，所述投影区域和所述记录区域具有公共区域。

4.根据权利要求2所述的图像处理系统，其中，在没有投影由所述终端装置指定的注释图像数据的状态下，所述图像处理部获得所述第二分辨率的所述第二图像数据。

5.根据权利要求1所述的图像处理系统，其中，所述第一图像记录部和所述第二图像记录部由公共设置的图像记录部组成，可以通过该公共设置的图像记录部来改变待记录的图像数据的分辨率。

6.根据权利要求1所述的图像处理系统，其中，所述第一图像记录部、所述第二图像记录部和所述投影部被构造为对透镜进行共享。

7.根据权利要求1所述的图像处理系统，其中，所述终端装置将所述第二图像数据叠加地显示在所述第一图像数据的所选择的区域上。

8.一种图像处理方法，该图像处理方法包括：

投影图像数据；

以第一分辨率记录投影区域作为第一图像数据；

以高于所述第一分辨率的第二分辨率记录所述投影区域作为第二图像数据；以及

选择性地发送所述第一图像数据和所述第二图像数据；以及

由终端装置同时显示所接收的第一图像数据和所接收的第二图像数据，所接收的第二图像数据表示与根据所述第一图像数据而选择的区域相对应的区域，

其中，在投影注释图像数据的状态下，响应于来自所述终端装置的选择要以第二分辨率记录的所述投影区域的一部分的选择命令，暂时强制删除所投影的注释图像数据，在没有投影所述注释图像数据的状态下以第二分辨率获得所述第二图像数据，并且在获得所述第二图像数据之后再次输出所述注释图像数据。

Images