CN102170546A - 校正信息计算装置、图像处理装置、图像显示系统及方法 - Google Patents

Abstract

一种校正信息计算装置、图像处理装置、图像显示系统及方法，能够将用户负担抑制在最小限度，准确地求出被摄入摄影图像的特征点与被投影面上的特征点的对应关系。校正信息计算装置(6)具有：位置信息取得部(62)，取得用户输入的位置信息，作为表示在投影包括第1图形的第1测定用图像时，与拍摄被投影面上的第1图形得到的第1摄影图像中的第1图形对应的位置的信息；第2图形位置检测部(65)，使用在将位置信息表示的位置作为基准检测第1摄影图像中的第1图形的位置时的检测结果、以及第2测定用图像的元数据上的第2图形的位置相对于第1测定用图像的元数据上的第1图形的位置之间的位置关系，检测第2摄影图像中的第2图形的位置。

Description

校正信息计算装置、图像处理装置、图像显示系统及方法

技术领域

本发明涉及校正信息计算装置、图像处理装置、图像显示系统以及图像校正方法。

背景技术

过去，已知有作为一种图像显示装置的投影仪。投影仪具有容易设置、能够显示大画面的图像等特点。投影仪被用于在平面或者曲面的被投影面上显示图像的用途中。并且，在从多个投影仪分别投影部分图像，作为多个部分图像的整体来显示一个图像的用途中，有时也采用投影仪。近年来，提出了对被投影面上的图像的变形或多个部分图像的相对位置的偏移进行校正的图像校正方法。

在上述的图像校正方法中，例如进行以下处理。首先，使投影仪投影包含特征点的测定用图案，拍摄被投影面上的测定用图案。并且，根据表示测定用图案的图像数据上的特征点的位置、与拍摄测定用图案而得到的摄影图像中的特征点的位置的对应关系，求出表示像素位置的校正量的校正信息。在显示面向视听者的图像(以下称为内容图像)时，根据上述的校正信息对表示该图像的图像数据进行校正，根据校正后的图像数据来显示图像。

在进行上述处理后，根据特征点的数量和形状，有时很难准确地确定被摄入摄影图像中的特征点与所投影的特征点的对应关系。当对应关系的确定失败时，需要重新进行处理，在极端的情况下有时不能进行处理。作为解决这些问题的技术，可以列举专利文献1公开的技术。在专利文献1中，使用户指定几个特征点的坐标，根据这几个坐标，通过插值运算来估算剩余特征点的坐标。

【专利文献1】国际公开第06/025191号小册子

在专利文献1中，由用户指定特征点自身的坐标，由于将搜索指定对象的特征点的作业委托给用户，因此有可能产生下述的问题。

在使用包括多个特征点的测定用图案的情况下、和在表示特征点的图形都相同的情况下等，搜索指定对象的特征点需要许多的功夫和时间，对用户造成莫大的负担。并且，用户容易认错指定对象的特征点，有可能导致处理的鲁棒性下降。

发明内容

本发明正是鉴于上述情况而提出的，其目的之一在于，提供一种校正信息计算装置、图像处理装置、图像显示系统以及图像校正方法，能够将用户的负担抑制在最小限度，并准确地求出被摄入摄影图像中的特征点与被投影面上的特征点的对应关系。

为了达到上述目的，本发明采用了以下方案。

本发明的校正信息计算装置的特征在于，该校正信息计算装置具有：位置信息取得部，其取得用户输入的位置信息，作为表示第1摄影图像中的与第1图形对应的位置的信息，其中，所述第1摄影图像是在将包括所述第1图形的第1测定用图像从投影仪投影到被投影面上时，拍摄所述被投影面上的所述第1图形而得到的；第2图形位置检测部，其使用在将所述位置信息表示的位置作为基准来检测所述第1摄影图像中的所述第1图形的位置时的检测结果、以及第2测定用图像的元数据上的第2图形的位置相对于所述第1测定用图像的元数据上的所述第1图形的位置之间的位置关系，检测第2摄影图像中的所述第2图形的位置，其中，所述第2摄影图像是在将包括所述第2图形的所述第2测定用图像从所述投影仪投影到所述被投影面上时，拍摄所述被投影面上的所述第2图形而得到的，所述第2图形的形状和尺寸中的至少一方与所述第1图形不同；以及校正信息运算部，其对由所述第2图形位置检测部检测到的所述第2摄影图像中的所述第2图形的位置、与所述第2测定用图像的元数据上的所述第2图形的位置进行比较，计算表示所述被投影面上的像素的位置、与所述投影仪的图像形成元件上的像素的位置之间的对应关系的校正信息。

这样，由于使用用户输入的位置信息来检测第1图形，因而第1图形的检测成功率提高，能够准确地求出第2图形的位置。第2图形的形状和尺寸中的至少一方与第1图形不同，用户容易将第1图形与第2图形进行区分。因此，能够减少用户搜索第1图形的时间，能够减少用户认错第1图形的情况的发生。因此，能够将用户的负担抑制在最小限度，并准确地求出被摄入摄影图像中的特征点与被投影面上的特征点的对应关系，能够以较少的时间取得能够高精度地校正图像变形等的校正信息。

也可以是所述校正信息计算装置具有第1图形位置检测部，该第1图形位置检测部检测所述第1摄影图像中的所述第1图形的位置，在所述第1图形位置检测部对所述第1图形的检测成功时，第2图形位置检测部使用所述第1图形位置检测部的检测结果，检测所述第2摄影图像中的所述第2图形的位置，在所述第1图形位置检测部对所述第1图形的检测失败时，第2图形位置检测部使用利用所述位置信息检测到的所述第1图形的位置，检测所述第2摄影图像中的所述第2图形的位置。

这样，在第1图形位置检测部对第1图形的位置检测成功的情况下，第2图形位置检测部使用其检测结果来检测第2图形，因而在第1图形位置检测部对第1图形的检测成功时，能够省略用户对位置信息的输入。因此，能够将用户的负担抑制在最小限度，并准确地求出被摄入摄影图像中的特征点与被投影面上的特征点的对应关系。

也可以是所述位置信息包括表示所述第1图形的内侧的位置的第1位置信息、和表示特征点的位置的第2位置信息，其中，所述特征点规定所述第1摄影图像中的所述第1图形的位置，所述位置信息取得部在使用所述第1位置信息的所述第1图形的位置检测失败时，取得所述第2位置信息，在所述位置信息取得部取得了所述第2位置信息时，所述第2图形位置检测部将所述第2位置信息表示的特征点所规定的所述第1图形的位置，用作所述第1摄影图像中的所述第1图形的位置，检测所述第2摄影图像中的所述第2图形的位置。

这样，用户只要输入表示第1图形的内侧的位置的第1位置信息即可，因此能够容易地指定成为第1图形的检测基准的位置，能够将用户的负担抑制在最小限度。在将第1位置信息表示的位置作为基准的第1摄影图像中的第1图形的位置的检测失败时，第2图形位置检测部使用第2位置信息表示的特征点所规定的第1图形的位置来检测第2图形，因而能够避免由于第1图形的位置检测失败而造成的处理的发散。

也可以是所述第1测定用图像包括所述第2图形，第2图形位置检测部将所述第1摄影图像用作所述第2摄影图像，检测所述第2摄影图像中的所述第2图形的位置。

这样，与投影与第1测定用图像不同的第2测定用图像并进行摄影的情况相比，能够减少投影和摄影所需要的功夫和时间。并且，由于在第1测定用图像的摄影和第2测定用图像的摄影之间产生摄影装置等的位置偏移的概率降低，因而能够减小起因于摄影装置的位置偏移的误差。

也可以是所述第1图形的尺寸比所述第2图形的尺寸大，所述第1测定用图像中包含的所述第2图形的数量，比所述第1测定用图像中包含的所述第1图形的数量多。

这样，由于第1图形的尺寸比第2图形的尺寸大，因此用户容易将第1图形与第2图形进行区分，能够将检索第1图形所需要的用户的负担抑制在最小限度。由于第1测定用图像中包含的第2图形的数量比第1图形的数量多，因此能够在多个点进行第2摄影图像中的第2图形的位置与由第1测定用图像的元数据规定的第2图形的位置的比较，能够高精度地求出校正信息。

也可以是在所述第1测定用图像中，所述第1图形的色调与所述第2图形的色调不同，将以所述第1图形的色调与所述第2图形的色调相区分的方式拍摄所述被投影面上的所述第1测定用图像而得到的摄像图像用作所述第1摄影图像。

这样，被投影面上的第1图形的色调与第2图形的色调不同，用户容易将第1图形与第2图形进行区分，因而能够将检索第1图形所需要的用户的负担抑制在最小限度。并且，由于在第1摄影图像上第1图形的色调与第2图形的色调不同，因此在检测第1图形时，能够以不考虑第2图形的影响的方式实施利用了颜色差异的滤波处理。因此，能够提高第1图形的检测成功率。同样，在检测第2图形时，能够以不考虑第1图形的影响的方式实施滤波处理，能够提高第2图形的检测成功率。

本发明的图像处理装置的特征在于，该图像处理装置具有：本发明的校正信息计算装置；以及图像校正部，其参照由所述校正信息计算装置计算出的所述校正信息来校正所述图像数据，以使由所述投影仪根据校正后的所述图像数据投影在所述被投影面上的图像、与校正前的所述图像数据表示的图像大致一致。

根据本发明的校正信息计算装置，能够以较少的时间取得高精度的校正信息，因而本发明的图像处理装置能够节省取得校正信息的时间，并且高精度地校正部分图像的变形和相对位置的偏移。

本发明的图像显示系统的特征在于，该图像显示系统具有：本发明的图像处理装置；以及多个投影仪，其根据由所述图像处理装置进行校正的所述校正后的图像数据来投影图像。

根据本发明的图像处理装置，能够节省取得校正信息的时间，并且高精度地校正部分图像的变形和相对位置的偏移，因而本发明的图像显示系统的便利性提高，而且能够显示高质量的图像。

本发明的图像校正方法的特征在于，该图像校正方法具有以下步骤：将包括第1图形的第1测定用图像从投影仪投影到被投影面上；拍摄所述被投影面上的所述第1图形，取得第1摄影图像；取得用户输入的位置信息，作为表示所述第1摄影图像中的与所述第1图形对应的位置的信息；将包括第2图形的第2测定用图像从所述投影仪投影到所述被投影面上，其中，所述第2图形的形状和尺寸中的至少一方与所述第1图形不同；拍摄所述被投影面上的所述第2图形，取得第2摄影图像；将关于所述第2摄影图像中的所述第2图形的位置由所述位置信息表示的位置作为基准，检测所述第1摄影图像中的所述第1图形的位置；使用所述第1摄影图像中的所述第1图形的位置的检测结果、以及所述第2测定用图像的元数据上的所述第2图形的位置相对于所述第1测定用图像的元数据上的所述第1图形的位置之间的位置关系，检测所述第2摄影图像中的所述第2图形的位置；对所述第2摄影图像中的所述第2图形的位置的检测结果、与所述第2测定用图像的元数据上的所述第2图形的位置进行比较，计算表示所述被投影面上的像素的位置、与所述投影仪的图像形成元件上的像素的位置之间的对应关系的校正信息；以及参照所述校正信息对所述图像数据进行校正，以使由所述投影仪根据校正后的所述图像数据投影在所述被投影面上的图像、与校正前的所述图像数据表示的图像大致一致。

这样，能够将用户的负担抑制在最小限度，并准确地求出被摄入摄影图像中的特征点与被投影面上的特征点的对应关系，能够节省取得校正信息的时间，高精度地校正图像变形等。

附图说明

图1是表示本发明的实施方式的图像显示系统的简要图。

图2是表示被投影面上的投影区域的位置关系的说明图。

图3是表示图像显示系统的结构的图。

图4是表示测定用图案的一例的说明图。

图5是表示截止到显示内容图像为止的处理流程的图。

图6是表示第1位置信息的输入方法的一例的说明图。

图7是表示第2位置信息的输入方法的一例的说明图。

图8是表示校正信息的计算方法的一例的说明图。

标号说明

1图像显示系统；2投影仪；3图像处理装置；4摄影装置；5图像控制装置；6校正信息计算装置；8信号源；9被投影面；21第1投影仪；22第2投影仪；23第3投影仪；24第4投影仪；51图像输入部；52图像保存部；53图像校正部；54图像输出部；61校正信息运算部；62位置信息取得部；63存储部；64第1图形位置检测部；65第2图形位置检测部；A有效投影区域；A0整体投影区域；A1第1投影区域；A2第2投影区域；A3第3投影区域；A4第4投影区域；D测定用图案；D1～D4特征点；D5区域；D11～D14测定用图案；D111～D114第1图形；D121～D124第2图形；P内容图像；P1第1部分图像；P2第2部分图像；P3第3部分图像；P4第4部分图像；P5重叠区域；M1～M4图标；S1～S13步骤；T摄影图案；T1～T4特征点；T5区域；T11～T14投影测定用图案；T111～T114第1投影图形；T121～T124第2投影图形。

具体实施方式

下面，参照附图说明本发明的实施方式。在进行说明时使用的附图中，为了容易理解地示出特征性部分，有时使附图中的结构的尺寸和比例尺与实际结构不同。并且，在实施方式中对相同的构成要素标注相同的标号进行图示，有时省略其详细说明。

图1是表示本发明的一个实施方式的图像显示系统的概念图，图2是表示投影在被投影面上的图像与投影区域的关系的说明图。

如图1所示，图像显示系统1具有多个投影仪2、图像处理装置3以及摄影装置4。图像显示系统1使多个投影仪2分担从例如信号源8输入的图像数据表示的内容图像P，投影在屏幕或墙壁等被投影面9上。在此，作为多个投影仪2，说明了设置有第1投影仪21、第2投影仪22、第3投影仪23以及第4投影仪24的情况。本发明的适用范围对投影仪的数量和配置没有限定。例如，在利用一台投影仪向平面状或者曲面状的被投影面进行投影时，也能够适用本发明。另外，在下面的说明中，有时将从多个投影仪中的各个投影仪投影的图像称为“部分图像”。并且，在下面的说明中，有时将表示部分图像的图像数据称为“部分图像数据”。

投影仪2能够根据所提供的图像数据(在此是指部分图像数据)显示图像(在此是指部分图像)。本发明的适用范围对投影仪2的结构没有限定。例如，投影仪2可以是单板式的投影仪，也可以是三板式的投影仪等包括多个图像形成元件的投影仪。并且，投影仪2可以是从与视听者相同的一侧向被投影面9进行投影的前投式投影仪，也可以是隔着被投影面9从视听者的相反侧进行投影的背投式投影仪。

本实施方式的多个投影仪2具有光源、图像形成元件以及投影光学系统。图像形成元件具有被排列成二维状的多个像素。关于图像形成元件，例如可以列举透射型或者反射型的液晶光阀、数字镜装置(DMD)等。在各个投影仪中，从光源射出的光入射到图像形成元件。图像形成元件根据输入到该投影仪的部分图像数据的每个像素的数据(以下称为像素数据)，相互独立地控制多个像素。入射到像素的光被按照每个像素进行调制而成为由像素数据规定的光量的光。由多个像素调制后的光整体上成为光学像(图像)，该光学像通过投影光学系统被投影在被投影面9上。在此，在多个投影仪中，图像形成元件的像素数和像素的排列一致。

各个投影仪在被投影面9上能够进行投影的区域即投影区域，根据多个投影仪2被设定为不同的区域。如图2所示，第1～第4投影区域A1～A4被设定成相互的周缘部重合，整体上构成整体投影区域。即，第1～第4投影区域A1～A4分别包括与邻接的其它投影区域重叠的重叠区域A5。

第1投影仪21的投影区域(第1投影区域A1)与第2投影仪22的投影区域(第2投影区域A2)沿被投影面9上的水平方向并行排列。在该水平方向上，第1投影区域A1的端部与第2投影区域A2的端部重合。第3投影仪23的投影区域(第3投影区域A3)与第4投影仪24的投影区域(第4投影区域A4)的水平方向的位置关系，与第1、第2投影区域A1、A2的水平方向的位置关系相同。

第1投影区域A1沿与被投影面9上的水平方向垂直的垂直方向与第3投影区域A3并行排列。在该垂直方向上，第1投影区域A1的端部(周缘部)与第3投影区域A3的端部(周缘部)重合。第2投影区域A2与第4投影区域A4的垂直方向的位置关系，与第1、第3投影区域A1、A3的垂直方向的位置关系相同。

可是，通常整体投影区域A0的外形不会成为矩形。这是因为根据第1～第4投影仪21～24的配置，产生第1～第4投影区域A1～A4的变形或相对位置的偏移。在此，将收纳在整体投影区域A0中的大致矩形的区域设为在图像的投影中实际使用的区域(有效投影区域A)。第1～第4投影仪21～24向各个投影区域中被收纳在有效投影区域A中的区域投影部分图像。

例如，利用从第1投影仪21投影的光，在第1投影区域A1中被收纳在有效投影区域A中的区域显示第1部分图像P1。以下相同，利用第2～第4投影仪22～24显示第2～第4部分图像P2～P4。第1～第4部分图像P1～P4以使端部相互重合的方式被显示在被投影面9上，整体上构成内容图像P。

返回图1的说明，图像处理装置3从例如信号源8接收表示内容图像P的图像数据。图像处理装置3对图像数据实施各种处理(将在后面进行说明)，同时根据图像数据生成多个部分图像数据。各个部分图像数据是表示第1～第4部分图像P1～P4中的任意一个部分图像的数据。图像处理装置3向第1～第4投影仪21～24分别提供表示由各个投影仪分担的部分图像的部分图像数据。第1～第4投影仪21～24根据从图像处理装置3输入的部分图像数据，向被投影面9上投影第1～第4部分图像P1～P4。

图像处理装置3进行上述的各种处理中的一种处理(以下称为位置校正处理)，即对第1～第4部分图像P1～P4各自的图像变形进行校正，同时对第1～第4部分图像P1～P4的相对位置的偏移进行校正。图像处理装置3在适当选择的时刻计算在位置校正处理中使用的校正信息，该时刻是指设置图像显示系统1时、从设置图像显示系统1时起经过了预定期间的维护时等。

作为上述的图像变形的一例，例如可以列举根据第1～第4投影仪21～24各自向被投影面9的投影方向、即垂直方向的仰角和俯角、水平方向的倾斜角等而产生的图像变形(例如梯形变形)。作为图像变形的其它示例，例如可以列举由于布状屏幕的挠曲等而产生的图像变形，由于被投影面9局部变形而产生的图像变形。上述的第1～第4部分图像P1～P4的相对位置的偏移起因于第1～第4投影仪21～24的例如投影方向不一致、相对位置的偏移等。

本发明的图像处理装置可以取例如下述第1～第3方式所示的多种方式。

作为第1方式的图像处理装置，可以列举基于进行各种处理的ASIC等一个以上的逻辑电路的结构。第1方式的图像处理装置的一部分或者全部可以与第1～第4投影仪21～24、摄影装置4、信号源8中的任意一方形成为一体。

作为第2方式的图像处理装置，可以列举基于安装有程序的计算机的结构。即，通过使计算机按照程序执行各种处理，能够实现图像处理装置3的功能。例如，使存储器和CPU协作执行各个处理中的运算，将运算结果保存在硬盘或存储器等存储部中，根据需要读出运算结果并供给其它处理使用，由此能够取得与使用逻辑电路等时相同的处理结果。另外，在第2方式的图像处理装置3中，也可以使多个计算机分担各种处理。

作为第3方式的图像处理装置，可以列举将进行各种处理中的一部分处理的逻辑电路、和按照程序进行各种处理中的其它处理的计算机组合而成的结构。

这样，本发明的图像处理装置除了作为进行各种处理的独立的装置的方式之外，还能够取作为进行各种处理的一部分处理的多个功能单元的集合体的方式。即，可以是将多个功能单元分开设置成分体的多个装置，并使它们相互协作进行处理的方式。

摄影装置4能够取得对包括整体投影区域A0的整个区域的被投影面9上的区域进行拍摄而得到的摄影图像。摄影装置4例如由CCD摄像机等二维成像传感器构成。二维成像传感器具有将由光电二极管等构成的多个感光元件排列成二维状的结构。本实施方式的摄影装置4由全彩色的二维成像传感器构成，能够在摄影图像中体现摄影对象的色调的差异。

在计算上述的校正信息时，摄影装置4同时或者分别拍摄由第1～第4投影仪21～24分别投影到被投影面9上的第1测定用图像和第2测定用图像，并向图像处理装置3输出表示摄影结果的摄影图像数据。其中，“第1测定用图像”包括第1图形，“第2测定用图像”包括第2图形。在下面的说明中，将第1测定用图像和第2测定用图像称为“测定用图案”。并且，将在从投影仪向被投影面9投影第1测定用图像时，对被投影面9上的第1图形进行拍摄而得到的摄影图像称为“第1摄影图像”。另外，将在从投影仪向被投影面9投影第2测定用图像时，对被投影面9上的第2图形进行拍摄而得到的摄影图像称为“第2摄影图像”。具体情况将在后面进行说明，被用作本实施方式的测定用图案的第1测定用图像包括第1图形和第2图形。即，本实施方式的第1测定用图像兼做第2测定用图像，对投影在被投影面9上的第1测定用图像进行拍摄而得到的摄影图像，在第1摄影图像和第2摄影图像中都能够使用。并且，在不需要区分第1摄影图像和第2摄影图像的情况下，有时将第1摄影图像和第2摄影图像都简称为摄影图像。

本实施方式的摄影装置4被配置成能够通过一次摄影对整体投影区域A0的整个区域进行拍摄。与将通过多次摄影而得到的摄影图像进行组合来拍摄整体投影区域A0的整个区域时相比，能够消除由于摄影和摄影之间的摄影装置的移动等造成的误差。根据整体投影区域A0的尺寸和纵横尺寸比，也存在整体投影区域A0的整个区域没有收纳在摄影装置的视场角之内的情况。在这种情况下，也可以通过将摄影装置安装在三脚架上等，在使摄影装置相对于被投影面9的相对位置大致固定的状态下，按照每个部分对整体投影区域A0进行拍摄，将两次以上的摄影结果进行组合，取得对整体投影区域A0的整个区域进行拍摄而得到的摄影图像。

在按照上面所述利用多个投影仪2显示内容图像P时，能够显示大画面、高分辨率、高亮度的内容图像P。例如，与利用一台投影仪进行显示时相比，在一台投影仪的像素数相同的条件下，不需降低分辨率，即可显示大画面的内容图像P。并且，在以相同的画面尺寸来显示内容图像P的条件下进行比较时，能够按照投影仪的数量来增加像素数，能够显示高分辨率的内容图像。在一台投影仪的输出光量相同的条件下进行比较时，能够按照投影仪的数量来增加有助于显示的光的光量，能够显示高亮度的内容图像P。

在与为了取得这些效果而增加投影仪的像素数和输出的方法进行比较时，能够使各个投影仪的成本明显下降，因而即使考虑到投影仪的数量，也能够期待降低装置成本的效果。并且，通常将每个投影仪设置在例如不同的场所(例如小会议室)使用，根据用途，例如也能够在大会议室中构建图像显示系统，显示大画面、高分辨率、高亮度的内容图像。这样，能够根据用途选择是单独使用投影仪、还是组合使用多个投影仪，因而与利用一台投影仪来取得上述效果的情况相比，便利性得到提高。

并且，由于根据利用图像处理装置3实施了位置校正处理后的图像数据来显示内容图像P，因此能够降低各个部分图像的图像变形和多个部分图像的相对位置的偏移。因此，能够在图像变形较小、而且不易观察到部分图像的连接处的状态下显示内容图像P，能够将内容图像P显示为高质量的图像。在本发明中，能够高精度地校正部分图像的图像变形和相对位置的偏移，而且能够高效地计算校正信息。因此，例如能够减少设置图像显示系统所需要的功夫和时间，能够提高图像显示系统的便利性。

下面，参照图3、图4详细说明本发明的图像处理装置3的构成要素。图3是表示图像处理装置3的功能结构的图，图4是表示测定用图案的一例的说明图。

如图3所示，图像处理装置3具有图像控制装置5和校正信息计算装置6。校正信息计算装置6主要计算校正信息。图像控制装置5进行各种处理，同时使用校正信息对图像数据实施各种处理之一的位置校正处理。在本实施方式中，图像控制装置5构成为第1计算机的一部分，校正信息计算装置6利用与第1计算机不同的第2计算机的CPU和存储部等构成。

图像控制装置5具有图像输入部51、图像保存部52、图像校正部53以及图像输出部54。图像输入部51例如由视频截取板等构成。图像输入部51根据需要从图像控制装置5外部的DVD播放器、通信设备等信号源8接收内容图像。图像保存部52例如由内置在计算机中或者外置的硬盘等存储装置构成，能够保存表示内容图像P的图像数据。输入到图像输入部51的图像数据和保存在图像保存部52中的图像数据，在显示内容图像P时被输出给图像校正部53。

另外，图像控制装置5也可以构成为只设置图像输入部51和图像保存部52中的一方。图像控制装置5还可以构成为将从图像输入部51输入的图像数据保存在图像保存部52中，适当读出该图像数据而输入到图像校正部53。

图像校正部53包括运算部和存储部，但没有示出其具体结构。运算部例如由图形处理装置(GPU)等构成。存储部由视频存储器(VRAM)或非易失性存储器等构成。图像校正部53参照校正信息对从信号源8输入的图像数据进行校正，以使由投影仪21～24根据校正后的图像数据投影到被投影面9上的图像与校正前的图像数据表示的图像大致一致。

运算部将存储部用作图像缓存器等，对输入到运算部的图像数据进行伽玛校正和色调校正等各种处理。也可以使用程序使计算机的CPU取代上述GPU来进行运算，由此进行各种处理。另外，存在从图像输入部51和图像保存部52输入的图像数据上的像素的排列，与投影仪2的图像形成元件的像素的排列不吻合的情况，例如有可能存在图像数据中包含的像素数与图像形成元件的像素数不同的情况。在这种情况下，运算部对输入的图像数据实施插值处理或尺寸调整处理等，对图像数据进行校正，使校正后的图像数据与图像形成元件的像素的排列吻合。关于这些处理，可以在各个投影仪中设置处理部，在每个投影仪中使该处理部进行处理。

运算部参照校正信息对图像数据实施位置校正处理，同时生成部分图像数据。校正信息被存储在上述的存储部(例如非易失性存储器)中。校正信息是表示在被投影面9上的整体投影区域A0(参照图2)中的各个像素的位置、与在多个投影仪2各自的图像形成元件的像素的排列中的各个像素的位置之间的对应关系的信息。

校正信息例如以表的形式被存储为图像形成元件的每个像素的值。即，参照表(校正信息)可知，要将预定的像素显示在整体投影区域A0的预定位置，则将各个图像数据输入到图像形成元件的哪个像素即可。

为了将基于位置校正处理的校正前的图像数据表示的图像、即应该显示的内容图像显示在有效投影区域A中，运算部进行例如以下处理。运算部针对整体投影区域A0的内侧且有效投影区域A的外侧的各个像素(以下称为不显示像素)，根据校正信息，将供给与各个不显示像素对应的图像形成元件的各个像素的数据，设为不显示用的掩码数据(例如表示黑色的数据)。并且，针对有效投影区域A的内侧的各个像素(以下称为显示像素)，根据校正信息，将供给与显示像素对应的图像形成元件的像素的数据，设为作为该显示像素用的像素数据而在图像数据中规定的数据。

在显示像素的位置偏离网格状的像素排列中的网格点位置的情况下，根据需要进行插值处理。例如，使用与显示像素对应的图像数据上的像素周围的像素的像素数据，通过插值来求出与显示像素的位置对应的像素数据。也可以预先求出在进行插值时参照的周围像素的位置、在进行插值时与周围像素的像素数据相乘的权重系数(插值系数)等，作为校正信息的一部分。通过对各个投影区域中包含的显示像素和不显示像素进行这种处理，能够取得分担各个投影区域的投影仪用的部分图像数据。

图像校正部53将由运算部生成的部分图像数据输出给图像输出部54。图像输出部54将由图像校正部53输出的部分图像数据，输出给分担各个部分图像数据的投影仪。例如，图像输出部54将图1所示的表示第1部分图像P1的部分图像数据输出给第1投影仪21。以后相同，图像输出部54将表示第2～第4部分图像P2～P4的部分图像数据输出给第2～第4投影仪22～24。

本实施方式的校正信息计算装置6使用程序使上述第2计算机进行预定的处理(将在后面进行说明)，由此实现该功能。第2计算机与安装有图像控制装置5的第1计算机是分体设置的，例如，通过总线线缆等与第1计算机电连接。在由校正信息计算装置6计算出校正信息后，通过总线线缆向图像控制装置5输出校正信息，然后在卸下第2计算机(校正信息计算装置6)和摄影装置4的状态下，能够通过多个投影仪2和图像控制装置5显示内容图像P。并且，还能够在投影仪2产生位置偏移时，再次设置第2计算机(校正信息计算装置6)和摄影装置4，再次计算校正信息，并更新校正信息。

校正信息计算装置6具有作为功能单元的校正信息运算部61、位置信息取得部62、存储部63、第1图形位置检测部64以及第2图形位置检测部65。存储部63由第2计算机的硬盘或存储器构成。在存储部63中存储有表示计算校正信息时使用的第1测定用图像和第2测定用图像(测定用图案)的测定用图像数据(元数据)。各个投影仪用的测定用图案在多个投影仪2中可以相同，也可以相互不同。在本实施方式中，采用在多个投影仪2中相互不同的测定用图案。测定用图像数据也可以存储在第1计算机的存储部或其它存储部中。

如图4所示，各个测定用图案由沿i方向和j方向排列的像素的排列构成。测定用图像数据成为在提供给各个投影仪的阶段与图像形成元件的像素的排列吻合的形式。例如，在图像形成元件的像素的排列是1920×1080个的情况下，将测定用图像数据作为沿i方向排列1920个像素、沿j方向排列1080个像素的图像的图像数据提供给投影仪。

第1投影仪用的第1测定用图案D11包括一个第1图形D111和多个第2图形D121。该示例的第1图形D111是矩形状的图形，被配置在第1测定用图案D11的大致中央。第2图形D121的形状和尺寸中的至少一方与第1图形D111不同。

第2图形D121由特征图形构成。特征图形是指能够通过边缘检测处理或图案识别处理等图像处理技术进行检测的形状或亮度分布的图形，是指在检测到特征图形时能够求出代表特征图形的点作为特征点的图形。关于特征图形，只要是能够检测其形状，并且能够确定与该形状相关联的位置作为特征点的位置的形状，就没有特殊限定。作为特征图形的形状，例如可以是相互交叉的线段(网状线)或正方形等。

该示例的第2图形由点形状(spot形状)的特征图形构成。例如，在特征图形是点形状的情况下，通过利用上述的图像处理技术检测点形状的轮廓或者亮度分布，能够求出点形状的中心点，并将中心点作为特征点。在特征图形是矩形状的情况下，除了能够与点形状相同地将其中心点用作特征点之外，还能够将4个顶点分别用作特征点。即，能够通过半(half)转换等检测相当于矩形各边的线段，能够求出检测到的线段的交点即4个顶点，分别作为特征点。即，第1图形D111也能够用作包括4个特征点的特征图形。

第1图形D111可以设定成与第2图形D121相比更容易利用上述的图像处理技术进行检测的图形。一般，检测对象的图形越大，即，特征图形相对于测定用图案的尺寸比率越大，越容易进行检测。并且，检测对象的图形的形状越简单(例如矩形或圆形)，而且边缘的亮度的跨度越明显，越容易进行检测。在该示例中，第1图形D111是比第2图形D121大、并容易检测的图形。

在该示例中，在测定用图像数据中规定的第1图形D111的色调与第2图形D121的色调不同。第2图形D121的色调被设定为可见度(人的锥体细胞的光吸收率)比第1图形D111的色调高的色调，例如设定为绿色。第1图形D111的色调被设定为例如蓝色或红色。

多个第2图形D121在i方向按照预定的间距进行排列，在j方向也按照预定的间距进行排列。即，以各个特征图形的特征点位于正交网格的网格点上的方式，有规律地排列多个第2图形D121。

第2～第4投影仪用的测定用图案除了第2图形的配置之外，与第1测定用图案D11相同。即，第2投影仪用的第2测定用图案D12包括一个第1图形D112和多个第2图形D122。第3投影仪用的第3测定用图案D13包括一个第1图形D113和多个第2图形D123。第4投影仪用的第4测定用图案D14包括一个第1图形D114和多个第2图形D124。第1图形D111～D114都是相同的形状和尺寸。第2图形D121～D124在各个测定用图案中被有规律地排列成为二维状态。

在投影于相互邻接的一对投影区域中的一对测定用图案中，将第2图形的配置设定成为在使相互的端部没有位置偏移地重合的状态下，配置在端部的第2图形相互不重合。具体地讲，将第1测定用图案D11和第2测定用图案D12设定成为，从将j方向的位置对齐而沿i方向排列的状态起相互接近，使相互的端部重合。在这种状态下，将第2图形D121的配置与第2图形D122的配置的关系设定成为，配置在第1测定用图案D11的端部的第2图形D121、与配置在第2测定用图案D12的端部的第2图形D122沿j方向交替排列。针对第3、第4测定用图案D13、D14，也将第2图形D123的配置与第2图形D124的配置的关系设定成为满足相同的条件。

并且，将第1测定用图案D11和第3测定用图案D13设定成为，从将i方向的位置对齐而沿j方向排列的状态起相互接近，使相互的端部重合。在这种状态下，将第2图形D121的配置与第2图形D123的配置的关系设定成为，配置在第1测定用图案D11的端部的第2图形D121、与配置在第3测定用图案D13的端部的第2图形D123沿i方向交替排列。针对第2、第4测定用图案D12、D14，也将第2图形D122的配置与第2图形D124的配置的关系设定成为满足相同的条件。

第1测定用图案D11是由第1投影仪21投影的，在被投影面9的第1投影区域A1中显示第1投影测定用图案T11。第1投影测定用图案T11包括相当于第1图形D111的第1投影图形T111以及相当于第2图形D121的第2投影图形T121。同样，第2～第4测定用图案D12～D14是由第2～第4投影仪22～24投影的，在被投影面9的第2～第4投影区域A2～A4中显示第2～第4投影测定用图案T12～T14。第2～第4投影测定用图案T12～T14包括相当于第1图形D112～D114的第1投影图形T112～T114以及相当于第2图形D122～D124的第2投影图形T121～T124。在本实施方式中，按照上述方式来设定第2图形的配置的关系，因而在相互的端部重叠的一对投影区域中，被显示在端部的第2投影图形不会相互重合。

返回图3的说明，校正信息运算部61、位置信息取得部62、第1图形位置检测部64以及第2图形位置检测部65，由第2计算机的CPU和存储器等构成。校正信息运算部61将由第2图形位置检测部65检测到的第2摄影图像中的第2图形的位置、与第2测定用图像的元数据上的第2图形的位置进行比较，计算表示被投影面9上的像素的位置与投影仪的图像形成元件上的像素的位置的对应关系的校正信息。校正信息运算部61在计算校正信息时，读出在存储部63中存储的测定用图像数据，直接或者间接地输出给各个投影仪。在此，校正信息运算部61将测定用图像数据输出给图像控制装置5的图像校正部53。测定用图像数据通过图像控制装置5被间接地输出给各个投影仪。图像控制装置5根据需要将测定用图像数据校正成为与图像形成元件的像素的排列吻合的形式。第1～第4投影仪21～24根据所提供的测定用图像数据，在被投影面9上投影测定用图案。

第1图形位置检测部64接收表示对投影在被投影面9上的测定用图案进行拍摄而得到的摄影图像的摄影图像数据。第1图形位置检测部64对摄影图像数据实施例如边缘处理、图案识别处理等，检测被摄入摄影图像中的测定用图案(以下称为摄影图案)。第1图形位置检测部64将表示检测到的摄影图案的图像数据存储在存储部63中。

第1图形位置检测部64进行用于检测摄影图案中包含的各个第1图形的位置的第一次处理。本实施方式的第1图形位置检测部64利用半转换来检测矩形的第1图形的4个顶点，将表示4个顶点在摄影图案上的位置的数据的组作为各个第1图形的信息，输出给第2图形位置检测部65。

第1图形位置检测部64在第一次处理中第1图形的位置检测失败时，向位置信息取得部62输出表示检测失败的信息。第1图形位置检测部64在第1图形的位置检测失败时，从位置信息取得部62接收第1位置信息。第1位置信息是表示用户选择的位置的信息，该位置是在摄影图案中第1图形所处的大致位置、例如第1图形的内侧的位置。

第1图形位置检测部64将第1位置信息表示的位置作为基准，进行用于检测各个第1图形的位置的第二次处理。在第二次处理中，将搜索的范围限定在基准位置的周围，与第一次处理相比缩小搜索的单位区域进行精细检测。由此，不需增加运算的负荷即可提高搜索的精度，与第一次处理相比，第1图形的位置检测的成功率提高。第1图形位置检测部64在第二次处理中第1图形的位置检测成功时，向第2图形位置检测部65输出上述的各个第1图形的信息。

第1图形位置检测部64在第二次处理中第1图形的位置检测失败时，向位置信息取得部62输出表示检测失败的信息，并从位置信息取得部62接收第2位置信息。第2位置信息是表示用户指定的位置的信息，该位置是在摄影图案中第1图形的特征点的位置(在此是指矩形的4个顶点的位置)。第1图形位置检测部64将接收到的第2位置信息表示的特征点的位置作为上述的各个第1图形的信息，输出给第2图形位置检测部65。这样，第1位置信息和第2位置信息是指由用户输入的、作为表示与第1摄影图像中的第1图形对应的位置的信息的位置信息。

在从第1图形位置检测部64输出了表示第一次或者第二次处理的检测失败的信息时，位置信息取得部62通过图形用户界面(以下称为GUI)66通知用户检测失败，接收第1位置信息的输入。GUI66利用例如第2计算机的监视器显示表示各种处理的经过和结果的信息。用户能够根据各种处理的经过和结果，利用与第2计算机连接的键盘或鼠标等输入装置，根据需要进行第1、第2位置信息等的输入。在此，位置信息取得部62从第1图形位置检测部64接收表示第一次或者第二次处理的检测成功的信息，通过GUI66通知用户检测成功。

第2图形位置检测部65从存储部63读出表示摄影图案的图像数据，参照从第1图形位置检测部64输出的上述的各个第1图形的信息，进行检测第2图形的处理。例如，第2图形位置检测部65参照从第1图形位置检测部64输出的各个第1图形的信息，推算投影有各个第1图形的投影区域在摄影图案中的范围。第2图形位置检测部65搜索推算出的各个投影区域的范围的内侧而检测第2图形，求出在检测到的各个第2图形中规定的特征点在摄影图案中的位置。第2图形位置检测部65将求出的各个特征点的位置作为对象的特征点所属的每个投影区域的数据，输出给校正信息运算部61。

另外，也可以使用在测定用图像数据中规定的各个第2图形相对于第1图形的相对位置，例如使第2图形位置检测部65推算摄影图案中的各个第2图形的大致位置。如果对推算出的大致位置的周围进行分析来检测各个第2图形，则不需增加运算负荷即可进行精细检测，能够高精度地检测第2图形。并且，在针对任意一个第2图形的检测失败时，也可以使用被推算为该第2图形的大致位置的值，例如使第2图形位置检测部65计算在该第2图形中规定的特征点的位置。由此，能够避免因第2图形的检测失败而造成的处理发散。

即，第2图形位置检测部65能够使用第2测定用图像的元数据上的第2图形的位置与第1测定用图像的元数据上的第1图形的位置之间的位置关系，检测第2摄影图像中的第2图形的位置。并且，在本实施方式中，第1图形和第2图形都包含在测定用图案中，因而容易掌握元数据中的两者的位置关系。另外，即使包括第1图形的第1测定用图像和包括第2图形的第2测定用图像是不同的图像，只要构成各个图像的元数据的像素的对应关系是已知的，就能够掌握第1图形和第2图形的位置关系。因此，可以将一个图像兼做第1测定用图像和第2测定用图像，也可以将不同的两个图像分别用作第1测定用图像和第2测定用图像。

这样，第2图形位置检测部65能够使用将第1位置信息或者第2位置信息表示的位置作为基准由第1图形位置检测部64检测第1摄影图像中的第1图形的位置时的检测结果、以及第2测定用图像的元数据上的第2图形的位置与第1测定用图像的元数据上的第1图形的位置之间的位置关系，检测第2摄影图像中的第2图形的位置。

校正信息运算部61将由第2图形位置检测部65检测到的特征点的位置、与特征点在测定用图像数据上的位置进行比较，计算校正信息。校正信息运算部61将计算出的校正信息输出给图像控制装置5。图像控制装置5将从校正信息运算装置6输出的校正信息存储在图像校正部53的存储部中，更新校正信息。

图5是表示截止到显示内容图像P为止的处理流程的流程图，图6是表示第1位置信息的输入方法的一例的说明图，图7是表示第2位置信息的输入方法的一例的说明图。在图6、图7中省略了第2图形的图示。在此，说明在设置图像显示系统1时计算校正信息的示例。

另外，通过进行下述的步骤S4～S12的处理，能够实现本发明的图像处理方法的一个方式。并且，通过使用使计算机进行步骤S6、S7、S10、S11的处理的程序，能够实现本发明的校正信息计算装置的功能。通过使用使计算机进行步骤S6、S7、S10～S12的处理的程序，能够实现本发明的图像处理装置的功能。

如图5所示，首先，相对于被投影面9配置多个投影仪2，根据需要对各个投影仪的配置进行粗调整(步骤S1)。在步骤S1中，例如从第1～第4投影仪21～24分别向被投影面9投影表示各个投影仪的投影区域(以下称为部分投影区域)的轮廓的配置用引导。并且，使各个投影仪参照配置用引导进行移动，对各个投影区域在整体投影区域A0中的位置进行粗调整。在设置图像显示系统1之后，例如当在进行图像显示系统1的维护时计算校正信息的情况下，也能够省略上述的步骤S1。

然后，校正信息计算装置6的校正信息运算部61将表示各个投影仪用的测定用图案的测定用图像数据提供给作为对象的投影仪。并且，使第1～第4投影仪21～24分别根据所提供的测定用图像数据，向被投影面9投影测定用图案(步骤S2)。在此，使第1～第4投影仪21～24并行地投影测定用图案。

然后，摄影装置4对包括被投影面9上的投影测定用图案T11～T14的区域进行拍摄(步骤S3)。

然后，校正信息计算装置6的第1图形位置检测部64进行以下处理，即，检测由摄影装置4拍摄到的摄影图像中的测定用图案(摄影图案)，并检测摄影图案中的第1图形的位置(步骤S4)。

然后，第1图形位置检测部64判定检测第1图形的位置的第一次处理是否成功(步骤S5)。例如，在检测到的第1图形的特征点的数量与在测定用图像数据中规定的第1图形的形状的特征点的数量不一致的情况下，或者在第1图形的数量与投影仪的数量不吻合的情况下，或者在求出将检测到的第1图形的特征点连接而得到的图形与在测定用图像数据中规定的第1图形的形状的相关性，且相关性小于阈值的情况下，判定为在第一次处理中第1图形的位置检测失败。

第1图形位置检测部64在判定为在第一次处理中第1图形的位置检测成功的情况下(步骤S5：是)，将检测到的第1图形的位置输出给第2图形位置检测部65。

第1图形位置检测部64在判定为在第一次处理中第1图形的位置检测失败的情况下(步骤S5：否)，将表示第一次处理的检测失败的信息输出给位置信息取得部62。

位置信息取得部62接收到表示第一次处理的检测失败的信息时，通过GUI66通知用户检测失败，接收第1位置信息的输入(步骤S6)。

如图6所示，例如GUI66使第2计算机的监视器显示相当于摄影图案的图像。并且，GUI66将在测定用图像数据中规定的各个第1图形作为图标M1～M4，与摄影图案重合显示。用户将例如第4投影测定用图案T14中包含的第1投影图形T114作为对象，利用鼠标将与第1投影图形T114对应的图标M4拖拽到在监视器上显示的第1投影图形T114的内侧。GUI66将表示图标M4被拖拽到的位置的信息作为第1位置信息输出给位置信息取得部62。位置信息取得部62通过GUI66取得用户输入的第1位置信息，输出给第1图形位置检测部64。第1图形位置检测部64使用从位置信息取得部62输出的第1位置信息，进行检测第1图形的位置的第二次处理(步骤S7)。

第1图形位置检测部64与步骤S5相同地判定检测第1图形的位置的第二次处理是否成功(步骤S8)。

第1图形位置检测部64在判定为在第二次处理中第1图形的位置检测成功的情况下(步骤S8：是)，将检测到的第1图形的位置输出给第2图形位置检测部65。例如，GUI66接收表示第1图形的位置检测成功的信息，使图6所示的监视器上的第1投影图形T114的颜色变化，同时使用作为第1图形的位置检测到的值，使监视器显示第1图形，并通知用户第1图形的位置检测成功。用户能够根据在监视器上与摄影图案重合显示的检测结果的第1图形，确认检测成功与否。

第1图形位置检测部64在判定为在第二次处理中第1图形的位置检测失败的情况下(步骤S8：否)，将表示第二次处理的检测失败的信息输出给位置信息取得部62。

位置信息取得部62接收表示第二次处理的检测失败的信息，通过GUI66通知用户检测失败，并且接收第2位置信息的输入(步骤S9)。如图7所示，用户利用例如鼠标拖拽在监视器上的第1投影图形T114的内侧显示的图标M4的各个顶点使其移动，并拖拽到监视器上的第1投影图形T114的各个顶点的位置。GUI66将表示图标M4的各个顶点被拖拽到的位置的信息作为第2位置信息输出给位置信息取得部62。位置信息取得部62通过GUI66取得用户输入的第2位置信息，输出给第1图形位置检测部64。另外，即使在第1图形位置检测部64判定为在第一次或者第二次处理中第1图形的位置检测成功的情况下，实际上也有可能是检测失败。如上所述，用户能够在监视器上确认检测成功与否。即使在第1图形位置检测部64判定为第1图形的位置检测成功的情况下，用户也能够根据自身的判断，利用上述的方法输入第2位置信息，将第1图形位置检测部64的检测结果更新为第2位置信息。

位置信息取得部62通过GUI66取得用户输入的第2位置信息，输出给第1图形位置检测部64。第1图形位置检测部64将从位置信息取得部62输出的第2位置信息表示的特征点的位置，输出给第2图形位置检测部65。

第2图形位置检测部65使用从第1图形位置检测部64输出的第1图形的特征点的位置，检测第2图形的位置，并将检测到的第2图形的特征点的位置输出给校正信息运算部61(步骤S10)。

校正信息运算部61将从第2图形位置检测部65输出的第2图形的各个特征点的位置作为被投影面9上的特征点的位置，并与在测定用图像数据中规定的第2图形的各个特征点的位置进行比较，计算表示被投影面9上的像素的位置与各个投影仪的图像形成元件上的像素的位置的对应关系的校正信息(步骤S11)。

作为校正信息的计算方法，只要是能够取得表示各个投影仪的图像形成元件上的像素的位置、与被投影面9上的像素的位置的对应关系的信息的方法即可，没有特殊限定。例如，作为校正信息的计算方法可以列举下述的两种方法。

第一种方法是由校正信息运算部61求出将在测定用图像数据中规定的测定用图案转换为摄影图案的投影变换。通过该投影变换，对图像数据上的各个像素的坐标(i，j)进行转换，计算校正信息作为每个像素的数据的表。另外，即使在求出将摄影图案转换为在测定用图像数据中规定的测定用图案的投影变换的情况下，也能够取得表示图像形成元件上的像素的坐标、与被投影面上的像素的位置的对应关系的校正信息。

图8是表示校正信息的计算方法的一例的说明图。在图8中示意地示出了在测定用图像数据中规定的测定用图案D的一部分、和图像数据上的摄影图案T。在图8中，标号D1～D4表示测定用图案D中包含的特征点。以使将各个特征点顺序连接而得到的线形成区域D5的轮廓的方式来选择特征点D1～D4。在图8中，标号T1～T4表示摄影图案T中包含的特征点。特征点T1～T4是相当于被投影的测定用图案D中的特征点D1～D4的特征点。将特征点T1～T4顺序连接而得到的线形成区域T5的轮廓。

投影变换的转换式能够利用下面的式(1)、式(2)表示。在式(1)、式(2)中，(x，y)表示转换前的任意点的ij坐标(i，j)，(X，Y)表示该点的转换目标的ij坐标(i，j)。a～h表示转换吸收，通过求出a～h，求出一个投影变换。

X＝(ax+by+c)/(gx+hy+1)  ......(1)

Y＝(dx+ey+f)/(gx+hy+1)  ......(2)

各个特征点D1～D4的坐标是在测定用图像数据中规定的，因此是已知的。各个特征点T1～T4的坐标通过从摄影图案T检测特征点而变为已知。将特征点D1的坐标代入式(1)、式(2)的(x，y)，将特征点T1的坐标代入(X，Y)，得到两个a～h的关系式。同样，通过代入特征点D2、T2的组、特征点D3、T3的组、特征点D4、T4的组各自的坐标，关于a～h这8个未知数得到8个关系式。通过求解该八元一次方程式，能够得到将区域D5转换为区域T5的投影变换的a～h。针对得到的投影变换，将包含于区域D5的周缘上以及内侧的各个像素的坐标代入(x，y)，由此求出与区域D5的各个像素一对一对应的区域T5中的各个像素的坐标。

在此，从包含于测定用图案的特征点中选择特征点D1～D4，求出针对形成测定用图案D的一部分图案的区域D5的投影变换。并且，通过选择不同的特征点作为特征点D1～D4，使区域D5不同而求出投影变换。使用得到的投影变换，按照上面所述求出与区域D5的各个像素一对一对应的区域T5中的各个像素的坐标。以下相同地求出测定用图案的每个部分的投影变换，并求出测定用图案的各个像素的坐标、和与每个像素对应的摄影图案的像素的坐标。测定用图案的各个像素的坐标与投影仪的图像形成元件中的像素的位置具有对应关系。并且，摄影图案的像素的坐标与被投影面上的像素的位置具有对应关系。因此，作为结果能够取得表示图像形成元件上的像素的坐标与被投影面上的像素的位置的对应关系的校正信息。

例如，通过对图像形成元件的各个像素的坐标进行上述的投影变换，求出像素(以下称为转换像素)在被投影面9上的坐标。通过参照转换像素的坐标的最大值和最小值，自动或者手动设定有效投影区域A的范围。并且，在有效投影区域A中，从上述的有效投影区域A的范围的设定值求出被投影面9上的各个显示像素的坐标，作为配置与内容图像的形式和像素数对应的像素(显示像素)的排列的坐标。在显示像素的坐标偏离转换像素的坐标的情况下，也可以求出表示与周围的转换像素和显示像素的距离对应的插值的权重的插值系数，以便使用提供给位于显示像素周围的转换像素的像素数据，通过插值来求出显示像素的像素数据。由于该插值系数成为每个显示像素的固定值，因此也可以预先作为校正信息的一部分信息保存。

第二种方法是求出将摄影图案转换为在测定用图像数据中规定的测定用图案的投影变换(第一种方法的投影变换的逆转换)。并且，例如使用摄影图案中包含的特征点的位置来推算整体投影区域A0的范围，并自动或者手动地设定有效投影区域A的范围。并且，在有效投影区域A中，从上述的有效投影区域A的范围的设定值求出被投影面9上的各个显示像素的坐标，作为配置与内容图像的形式和像素数对应的显示像素的排列的坐标。按照投影变换对得到的各个显示像素的坐标进行转换，由此求出与被投影面9上的各个显示像素对应的图像形成元件上的像素(以下称为调制单位)的位置。在得到的调制单位的位置与实际的调制单位的位置不吻合的情况下，即两个以上的显示像素对应于调制单位的情况下，也可以求出插值系数，以便根据需要通过插值来求出被输入到各个调制单位的像素数据。也可以按照上面所述，将求出的插值系数作为校正信息的一部分信息保存。

返回图5的说明，在显示内容图像P时，图像控制装置5根据表示内容图像P的图像数据来生成各个投影仪用的部分图像数据，同时使用校正信息对图像数据实施位置校正处理(步骤S12)。

然后，图像处理装置3将通过位置校正处理被校正后的部分图像数据提供给作为对象的投影仪。第1～第4投影仪21～24分别根据提供的部分图像数据来投影部分图像(步骤S13)。由此，显示由第1～第4部分图像P1～P4构成的内容图像P。

由于由本实施方式的校正信息计算装置6使用用户输入的位置信息来检测第1图形，因而第1图形的检测成功率提高，能够准确求出第2图形的位置。由于第1图形和第2图形的形状和尺寸不同，因此用户容易将第1图形与第2图形进行区分。因此，能够减少用户搜索第1图形的功夫，能够减少用户认错第1图形的情况的发生。因此，能够将用户的负担抑制在最小限度，并准确求出被摄入摄影图像的特征点与被投影面上的特征点的对应关系。

并且，在第1图形位置检测部64对第1图形的位置检测成功时，能够省去用户输入位置信息，能够将用户的负担抑制在最小限度。并且，用户只需输入表示第1图形的内侧的位置的第1位置信息即可，因而能够容易地指定成为第1图形的检测基准的位置。另外，在第1图形位置检测部64检测第1图形的位置的第二次处理中失败时，使用第2位置信息继续进行处理，因而能够提高处理的鲁棒性。

由于第1图形与第2图形的色调不同，因而用户容易将第1图形与第2图形进行区分，能够将检索第1图形所需要的用户的负担抑制在最小限度。并且，在检测第1图形与第2图形中的一个图形的位置时，能够以不考虑另一个图形的影响的方式实施利用了颜色差异的滤波处理。因此，能够提高第1图形的位置和第2图形的位置的检测成功率。

基于上述理由，本实施方式的图像处理装置3能够节省取得校正信息的功夫，能够校正部分图像的变形和相对位置的偏移。并且，本实施方式的图像显示系统1的便利性良好、且能够显示高质量的图像。并且，本实施方式的图像处理方法能够将用户的负担抑制在最小限度，并准确求出被摄入摄影图像的特征点与被投影面上的特征点的对应关系，因而能够节省取得校正信息的功夫，能够高精度地校正图像变形等。

另外，本发明的技术范围不限于上述的实施方式，能够在不脱离本发明宗旨的范围内进行各种变形。例如，在上述的实施方式中采用了包括第1图形和第2图形的测定用图像，但也可以并行使用只包括第1图形的第1测定用图像、和只包括第2图形的第2测定用图像。

Claims (9)

1.一种校正信息计算装置，其特征在于，该校正信息计算装置具有：

位置信息取得部，其取得用户输入的位置信息，作为表示第1摄影图像中的与第1图形对应的位置的信息，其中，所述第1摄影图像是在将包括所述第1图形的第1测定用图像从投影仪投影到被投影面上时，拍摄所述被投影面上的所述第1图形而得到的；

第2图形位置检测部，其使用在将所述位置信息表示的位置作为基准来检测所述第1摄影图像中的所述第1图形的位置时的检测结果、以及第2测定用图像的元数据上的第2图形的位置相对于所述第1测定用图像的元数据上的所述第1图形的位置之间的位置关系，检测第2摄影图像中的所述第2图形的位置，其中，所述第2摄影图像是在将包括所述第2图形的所述第2测定用图像从所述投影仪投影到所述被投影面上时，拍摄所述被投影面上的所述第2图形而得到的，所述第2图形的形状和尺寸中的至少一方与所述第1图形不同；以及

校正信息运算部，其对由所述第2图形位置检测部检测到的所述第2摄影图像中的所述第2图形的位置、与所述第2测定用图像的元数据上的所述第2图形的位置进行比较，计算表示所述被投影面上的像素的位置、与所述投影仪的图像形成元件上的像素的位置之间的对应关系的校正信息。

2.根据权利要求1所述的校正信息计算装置，其特征在于，

所述校正信息计算装置具有第1图形位置检测部，该第1图形位置检测部检测所述第1摄影图像中的所述第1图形的位置，

在所述第1图形位置检测部对所述第1图形的检测成功时，第2图形位置检测部使用所述第1图形位置检测部的检测结果，检测所述第2摄影图像中的所述第2图形的位置，在所述第1图形位置检测部对所述第1图形的检测失败时，第2图形位置检测部使用利用所述位置信息检测到的所述第1图形的位置，检测所述第2摄影图像中的所述第2图形的位置。

3.根据权利要求1或2所述的校正信息计算装置，其特征在于，

所述位置信息包括表示所述第1图形的内侧的位置的第1位置信息和表示特征点的位置的第2位置信息，其中，所述特征点规定所述第1摄影图像中的所述第1图形的位置，

所述位置信息取得部在使用所述第1位置信息的所述第1图形的位置检测失败时，取得所述第2位置信息，

在所述位置信息取得部取得了所述第2位置信息时，所述第2图形位置检测部将所述第2位置信息表示的特征点所规定的所述第1图形的位置，用作所述第1摄影图像中的所述第1图形的位置，检测所述第2摄影图像中的所述第2图形的位置。

4.根据权利要求1～3中的任意一项所述的校正信息计算装置，其特征在于，

所述第1测定用图像包括所述第2图形，

第2图形位置检测部将所述第1摄影图像用作所述第2摄影图像，检测所述第2摄影图像中的所述第2图形的位置。

5.根据权利要求4所述的校正信息计算装置，其特征在于，所述第1图形的尺寸比所述第2图形的尺寸大，所述第1测定用图像中包含的所述第2图形的数量，比所述第1测定用图像中包含的所述第1图形的数量多。

6.根据权利要求4或5所述的校正信息计算装置，其特征在于，在所述第1测定用图像中，所述第1图形的色调与所述第2图形的色调不同，将以所述第1图形的色调与所述第2图形的色调相区分的方式拍摄所述被投影面上的所述第1测定用图像而得到的摄像图像用作所述第1摄影图像。

7.一种图像处理装置，其特征在于，该图像处理装置具有：

权利要求1～6中的任意一项所述的校正信息计算装置；以及

图像校正部，其参照由所述校正信息计算装置计算出的所述校正信息来校正所述图像数据，以使由所述投影仪根据校正后的所述图像数据投影在所述被投影面上的图像与校正前的所述图像数据表示的图像大致一致。

8.一种图像显示系统，其特征在于，该图像显示系统具有：

权利要求7所述的图像处理装置；以及

多个投影仪，其根据由所述图像处理装置进行校正的所述校正后的图像数据来投影图像。

9.一种图像校正方法，其特征在于，该图像校正方法具有以下步骤：

将包括第1图形的第1测定用图像从投影仪投影到被投影面上；

拍摄所述被投影面上的所述第1图形，取得第1摄影图像；

取得用户输入的位置信息，作为表示所述第1摄影图像中的与所述第1图形对应的位置的信息；

将包括第2图形的第2测定用图像从所述投影仪投影到所述被投影面上，其中，所述第2图形的形状和尺寸中的至少一方与所述第1图形不同；

拍摄所述被投影面上的所述第2图形，取得第2摄影图像；

将关于所述第2摄影图像中的所述第2图形的位置由所述位置信息表示的位置作为基准，检测所述第1摄影图像中的所述第1图形的位置；

使用所述第1摄影图像中的所述第1图形的位置的检测结果、以及所述第2测定用图像的元数据上的所述第2图形的位置相对于所述第1测定用图像的元数据上的所述第1图形的位置之间的位置关系，检测所述第2摄影图像中的所述第2图形的位置；

对所述第2摄影图像中的所述第2图形的位置的检测结果、与所述第2测定用图像的元数据上的所述第2图形的位置进行比较，计算表示所述被投影面上的像素的位置、与所述投影仪的图像形成元件上的像素的位置之间的对应关系的校正信息；以及

参照所述校正信息对所述图像数据进行校正，以使由所述投影仪根据校正后的所述图像数据投影在所述被投影面上的图像、与校正前的所述图像数据表示的图像大致一致。

Images