CN101631219A - 图像修正装置、图像修正方法、投影仪以及投影系统 - Google Patents

Abstract

本发明涉及图像修正装置、图像修正方法、投影仪及投影系统。当屏幕的局部变形的变形量在各局部变形中不相同时，能实现在投射图像整体具有视觉上均匀的析像感那样的变形修正。图像修正装置(330)根据投射面的局部变形对应该由投影仪投射的图像进行修正，具有：变形量计算部(332)，根据对投射在投射面上的具有多个特征点的变形量计算用图像进行摄像而得到的摄像图像，计算出所述多个特征点的各特征点处的变形量；图像修正方法选择部(333)，选择与利用变形量计算部计算出的所述各特征点处的变形量对应的图像修正方法；和图像修正处理部(334)，通过由图像修正方法选择部选择的图像修正方法，对应该投射的图像的规定区域进行修正。

Description

图像修正装置、图像修正方法、投影仪以及投影系统

技术领域

本发明涉及对投射在投射面上的投射图像进行修正的图像修正装置、图像修正方法、投影仪以及投影系统。

背景技术

近年来，正在开发一种在屏幕的邻近位置设置投影仪、并从该投影仪对屏幕进行投射的邻近投射型投影系统。

图10是对邻近投射型投影系统的一例进行说明的图。邻近投射型投影系统如图10(a)所示，大多构成为在屏幕SCR的跟前且接近屏幕SCR的下端部的位置，设置投影仪PJ。

在这样的邻近投射型投影系统中，来自投影仪PJ的投射光相对于屏幕SCR以锐角入射。因此，如果屏幕SCR存在局部的变形，则在屏幕SCR的局部变形的部分，投射图像发生变形。例如，如图10(b)所示，当作为局部变形而在屏幕SCR上存在凹凸(在图10中为凸部h)时，在该凸部h处，投射图像发生变形。即，应该投射到图10(b)中的P1位置的像素的图像，被实际投射到屏幕SCR的凸部h的P1’的位置，如果视听者的视线方向相对于屏幕SCR为垂直方向，则在屏幕SCR的凸部h处，投射图像发生变形。其中，在图10中是屏幕SCR存在凸部h的情况，但存在凹部的情况也同样会发生变形。

这样，由屏幕的局部变形引起的投射图像的变形，也成为使画质降低的原因。特别是在像图10所示的邻近投射型投影系统那样、来自投影仪PJ的投射光相对于屏幕SCR以锐角入射之类的投影系统中，由屏幕的局部变形引起的投射图像的变形会被视听者明确识别。

在来自投影仪PJ的投射光相对于屏幕SCR以锐角入射那样的投影系统中，对于从投影仪PJ投射到屏幕SCR的图像，当从视听者的视线方向观察时，为了正确显示图像，提出了各种进行图像修正的技术(例如参照专利文献1)。

专利文献1所公开的技术(称为现有技术)，是按照投射光相对于屏幕以锐角入射的方式设置了投影仪的图像显示装置，在这样的图像显示装置中，通过投影仪将作为测试图像的变形量计算用图像投射到屏幕上，利用摄像装置200(参照图10)对该被投射的变形量计算用图像进行摄像，根据由此得到的摄像图像数据，生成用于赋予反向变形的修正数据，利用该修正数据进行图像修正。

专利文献1：特开2001-83949号公报

图10所示的局部变形(凹凸)大多情况下在屏幕SCR上存在多处，当局部变形在屏幕SCR上存在多处时，根据各处的变形的大小(称为变形量)，在投射图像上显现的变形也不同。即，在屏幕的局部变形的变形量大的位置，投射图像的变形也大，在屏幕的局部变形的变形量不太大的位置，投射图像的变形也不太大。因此，进行与屏幕的局部变形的变形量对应的变形修正，这对于整个投射图像会得到视觉上均匀的析像感，所以优选。

但在现有技术中，由于对全部投射图像使用相同的修正方法进行修正，所以当在屏幕上存在多处局部变形时，修正后的投射图像存在整个投射图像不能获得视觉上均匀的析像感的问题。

图11是对利用摄像装置拍摄变形量计算用图像而得到的摄像图像和析像感的关系进行说明的图。图11(a)表示利用摄像装置对变形量计算用图像进行摄像而得到的摄像图像，图11(b)表示变形量计算用图像的各位置处的MTF(调制传递函数：Modulation Transfer Function)。其中，MTF成为表示图像的析像感的指标，当MTF高时，图像的析像感高。

另外，图11(a)所示的白色圆圈表示特征点P11、P12、...、P21、P22、...，在变形量计算用图像中，成为特征点P11、P12、...、P21、P22、...在纵向以及横向等间隔排列的图像。

因此，如果在屏幕上没有局部变形，则对变形量计算用图像进行摄像而得到的摄像图像中的特征点P11、P12、...、P21、P22、...也在纵向以及横向上为等间隔。另一方面，如果在屏幕上存在局部变形，则与屏幕的局部变形对应的位置的特征点(例如特征点P22、P24)在摄像图像中，如图11(a)中的虚线圆圈A1、A2所示，成为从原来的位置错开的图像。其中，屏幕的局部变形的变形量越大，位置的错开量也越大。因此，在图11(a)的情况下，特征点P22、P24的部分MTF分别降低(析像度降低)，特别是特征点P22，MTF更加大幅降低。

如图11所示，如果屏幕的局部变形量在各局部变形中不同，则投射图像的析像感也根据屏幕的各局部变形的变形量而异，所以投射图像整体的析像感会发生“偏差”。因此，如上述以往技术所示，在使用相同的图像修正方法对投射图像整体进行修正的方案中，对于修正后的投射图像而言，投射图像整体有时不会成为具有视觉均匀的析像感的图像。

发明内容

因此，本发明的目的在于，提供当屏幕的局部变形的变形量在各局部变形中不相同时，能够实现投射图像整体具有视觉上均匀的析像感那样的可以变形修正的图像的图像修正装置、图像修正方法、投影仪以及投影系统。

本发明的图像修正装置，是根据投射面的局部变形对应该由投影仪投射的图像进行修正的图像修正装置，其特征在于，具有：变形量计算部，其根据对投射在上述投射面上的具有多个特征点的变形量计算用图像进行摄像而得到的摄像图像，计算出上述多个特征点的各特征点处的变形量；图像修正方法选择部，其选择与利用上述变形量计算部计算出的上述各特征点处的变形量对应的图像修正方法；和图像修正处理部，其通过由上述图像修正方法选择部选择的图像修正方法，对上述应该投射的图像的规定区域进行修正。

在本发明的图像修正装置中，当对因投射面(屏幕)的局部变形产生的投射图像的局部变形进行修正时，将变形量计算用图像投射到投射面上，根据对被投射的变形量计算用图像进行摄像而得到的摄像图像，计算出变形量计算用图像的各特征点处的变形量。然后，选择与计算出的各特征点处的变形量相对应的图像修正方法，使用所选择的图像修正方法，对投射图像局部进行图像修正。由此，由于可以进行与各特征点处的变形量、即投射面的局部变形的变形量相对应的图像修正，所以即便在投射面的局部变形量存在多处的情况下，修正后的投射图像也会成为在投射图像整体具有视觉上均匀的析像感的图像。其中，投射面的局部变形可以例示因投射面“褶皱”等而在投射面上局部存在的凹凸等。

在本发明的图像修正装置中，优选上述各特征点分别与上述投影仪中的光调制元件的各像素中离散位置的多个像素对应设定。

通过将具有这样的特征点的变形量计算用图像投射到投射面上，对被投射的变形量计算用图像进行摄像，可以得到投射面的局部变形作为特征点的变形而显现的摄像图像。因此，通过使用该摄像图像，可以计算出投射面的局部变形得到了恰当反映的变形量。其中，作为特征点，可以使用纵向以及横向等间隔排列的小圆圈或方形等标记、在纵向以及横向上以格子状描绘的线的交点(格点)。

在本发明的图像修正装置中，优选上述变形量计算部根据上述变形量计算用图像中的上述各特征点的坐标、和对上述变形量计算用图像进行摄像而得到的摄像图像中的上述各特征点的坐标，计算出上述各特征点处的变形量。

由此，即便当投射面的局部变形在投射面上存在多处时，也可以分别高精度地计算出多处的变形量。

在本发明的图像修正装置中，优选上述图像修正方法选择部具有：对上述各特征点处的变形量的大小进行判定的功能；和从与上述变形量的大小对应设定的修正精度不同的多种图像修正方法中，选择与上述各特征点处的变形量相对应的图像修正方法的功能。

由此，可以进行与投射面的局部变形量相对应的图像修正。具体而言，设定1个以上用于判定各特征点处的变形量大小的阈值，分两个阶段以上判定各特征点处的变形量的大小。然后，按各阶段的每个预先设定修正精度不同的图像修正方法，判定由变形量计算部计算出的各特征点处的变形量属于多个阶段的哪一阶段，根据其判定结果选择合适的图像修正方法，并使用所选择的图像修正方法进行图像修正。其中，对于各阶段的图像修正方法而言，设定各特征点处的变形量越大越可以进行高精度的图像修正的图像修正方法。

这样，由于将变形量的大小作为多个阶段的变形量的大小进行判定，选择与所判定的变形量相适应的图像修正方法，进行图像修正，所以可以进行与变形量的大小相对应的适当的图像修正。

在本发明的图像修正装置中，优选上述多个阶段是上述各特征点处的变形量是否为规定值以上的两个阶段，上述修正精度不同的多种图像修正方法，是可以进行高精度修正的第一图像修正方法、以及进行精度低于上述第一图像修正方法的修正的第二图像修正方法这两种图像修正方法，在判定为上述各特征点的某个特征点处的变形量为上述规定值以上的情况下，对该特征点选择上述第一图像修正方法，在判定为上述各特征点的某个特征点处的变形量低于上述规定值时，对该特征点选择上述第二图像修正方法。

这是判定各特征点处的变形量的大小为规定值以上还是小于规定值，根据其判定结果来选择第一图像修正方法以及上述第二图像修正方法的任意一个，并通过所选择的图像修正方法进行图像修正的装置，由此，能够以较少的运算量进行与投射面的局部变形的变形量相对应的图像修正。

在本发明的图像修正装置中，优选上述第一图像修正方法是基于双三次(bi-cubic)的图像修正方法，上述第二图像修正方法是基于双线性(bi-linear)的图像修正方法。

这样，通过与变形量的大小对应地划分使用基于双三次的图像修正方法和基于双线性的图像修正方法，能够以与变形量对应的精度进行图像修正。由此，修正后的投射图像成为在投射图像整体具有视觉上均匀的析像感的图像。

在本发明的图像修正装置中，优选上述图像修正处理所修正的应该投射的图像的规定区域，是包括与上述特征点对应的上述应该投射的图像的像素的局部区域。

通过针对应该投射的图像如此设定修正范围来进行图像修正，可以将因投射面的局部变形产生的投射图像的变形修正成合适的范围。

在本发明的图像修正装置中，优选上述投影仪被设置在上述投射面的邻近位置，且被设置成投射光相对于上述投射面以锐角入射。

这样，在投影仪被设置在投射面的邻近位置、且被设置成投射光相对于投射面以锐角入射的情况下，如果以垂直于投射面的方向为视线方向，则对于视听者来说，因投射面的局部变形引起的投射图像的变形变得容易辨识。因此，在以垂直于投射面的方向为视线方向的情况下，必须进行使投射图像整体的析像感在视觉上均匀化那样的图像修正，在进行这样的图像修正时，本发明是极其有效的。

本发明的图像修正方法，是根据投射面的局部变形对应该由投影仪投射的图像进行修正的图像修正方法，其特征在于，包括：变形量计算步骤，根据对投射在上述投射面上的具有多个特征点的变形量计算用图像进行摄像而得到的摄像图像，计算出上述多个特征点的各特征点处的变形量；图像修正方法选择步骤，选择与利用上述变形量计算步骤计算出的上述各特征点处的变形量对应的图像修正方法；和图像修正处理步骤，通过由上述图像修正方法选择步骤选择的图像修正方法，对上述应该投射的图像的规定区域进行修正。

通过执行这样的处理步骤，可以进行与投射面的局部变形的变形量相对应的图像修正。被如此修正的投射图像，成为在投射图像整体具有视觉上均匀的析像感的图像。其中，在本发明的图像修正方法中，优选具有上述本发明的图像修正装置所具备的各特征。

本发明的投影仪，是具有根据投射面的局部变形对应该投射的图像进行修正的图像修正装置的投影仪，所述投影仪的特征在于，上述图像修正装置具有：变形量计算部，其根据对投射在上述投射面上的具有多个特征点的变形量计算用图像进行摄像而得到的摄像图像，计算出上述多个特征点的各特征点处的变形量；图像修正方法选择部，其选择与利用上述变形量计算部计算出的上述各特征点处的变形量相对应的图像修正方法；和图像修正处理部，其通过由上述图像修正方法选择部选择的图像修正方法，对上述应该投射的图像的规定区域进行修正。

通过在投影仪上搭载这样的图像修正装置，可以得到在上述本发明的图像修正装置中叙述的效果。其中，在本发明的投影仪中，优选具有上述本发明的图像修正装置所具备的各特征。

本发明的投影系统，具有向投射面进行图像投射的投影仪、和根据上述投射面的局部变形对应该由上述投影仪投射的图像进行修正的图像修正装置，所述投影系统的特征在于，上述图像修正装置具有：变形量计算部，其根据对投射在上述投射面上的具有多个特征点的变形量计算用图像进行摄像而得到的摄像图像，计算出上述多个特征点的各特征点处的变形量；图像修正方法选择部，其选择与利用上述变形量计算部计算出的上述各特征点处的变形量相对应的图像修正方法；和图像修正处理部，其通过由上述图像修正方法选择部选择的图像修正方法，对上述应该投射的图像的规定区域进行修正。

这是将图像修正装置作为与投影仪独立的构成要素的情况，将图像修正装置所具有的功能组装到个人电脑等信息处理装置中的情况等是其中的一例。这样，即便是由投影仪和图像修正装置构成投影系统的情况，也可以得到在本发明的图像修正装置中叙述的效果。其中，对于本发明的投影系统，也优选具有上述本发明的图像修正装置所具备的各特征。

附图说明

图1是表示实施方式1的投影仪的构成的图。

图2是表示图1所示的图像修正装置330的构成的图。

图3是表示投射到屏幕上的变形量计算用图像和对该变形量计算用图像进行摄像而得到的摄像图像的一例的图。

图4是说明图像修正装置330所进行的整个处理步骤的流程图。

图5是说明各特征点处的变形量计算的处理步骤的流程图。

图6是对图5的步骤S11中的各特征点的摄像装置系坐标的计算处理进行说明的流程图。

图7对成为修正对象的局部范围的设定例进行说明的图。

图8是基于所选择的图像修正方法进行图像修正的一例的图。

图9是表示实施方式2的投影系统的构成的图。

图10是对邻近投射型投影系统的一例进行说明的图。

图11是对利用摄像装置摄像变形量计算用图像而得到的摄像图像和析像感的关系进行说明的图。

图中：100-图像投射部，200-摄像装置，300-图像处理部，330-图像修正装置，331-变形量计算用图像生成部，332-变形量计算部，333-图像修正方法选择部，334-图像修正处理部，PJ-投影仪，P11、P21、...、P21、P22、...-特征点。

具体实施方式

下面，对本发明的实施方式进行说明。

〔实施方式1〕

图1是表示实施方式1的投影仪的构成的图。实施方式1的投影仪如图1所示，具有图像投射部100、摄像装置200、图像处理装置300。

图像投射部100具有：投射控制部110、液晶面板等光调制元件120、光源130、投射光学系统140等，由投射光学系统射出被图像处理装置300图像处理后的基于图像数据的图像光。其中，图像投射部100除了这些构成之外，还具有各种光学系统等，但这些都是一般的投影仪所具有的公知构成要素，所以省略图示。

摄像装置200具有：摄像光学系统210、摄像元件220、控制来自摄像元件220的输出信号的取得等用于控制摄像元件220的摄像元件控制部230。其中，摄像元件220的析像度高于光调制元件120的析像度。

图像处理装置300具有：CPU310、存储装置320、图像修正装置330。图像修正装置330进行包括投射图像的修正(梯形变形修正、因作为投射面的屏幕的局部变形而产生的投射图像的变形的修正等各种修正)的各种图像修正。其中，对因屏幕的局部变形产生的投射图像的变形进行修正的处理如后所述。

在将图1所示的将投影仪PJ与屏幕接近配置而构成邻近投射型投影系统的情况下，如图10中说明那样，受到因屏幕SCR存在的局部凹凸(在图10中为凸部h)等引起的屏幕SCR的局部变形的影响，在该凸部h处投射图像发生变形。本发明是对这样的因屏幕SCR的局部变形引起的投射图像的变形进行恰当修正的发明。

图2是表示图1所示的图像修正装置330的构成的图。如图2所示，图像修正装置330具有：变形量计算用图像生成部331，其生成变形量计算用图像(详细内容利用图3在后面叙述)；变形量计算部332，其根据由摄像装置200对投射在屏幕上的变形量计算用图像进行摄像而得到的摄像图像数据(称为摄像图像)，计算出变形量计算用图像的各特征点(图3中的P11、P12、...、P21、P22、...)处的变形量；图像修正方法选择部333，其选择与计算出的各特征点处的变形量对应的图像修正方法；图像修正处理部334，其使用所选择的图像修正方法，对投影仪PJ应该投射的图像进行图像修正；和控制部335，其对摄像装置200及投影仪PJ进行控制。

图像修正方法选择部333具有：对各特征点处的变形量的大小进行判定的功能；和从与上述变形量的大小对应设定的修正精度不同的多种图像修正方法中，选择与各特征点处的变形量对应的图像修正方法的功能。

其中，在实施方式1的投影仪PJ中，各特征点处的变形量大小的判定，以各特征点处的变形量是否为规定值(变形量判定用阈值TH1)以上的两个阶段进行，而修正精度不同的多种图像修正方法，被设定成可以进行修正精度高的图像修正的第一图像修正方法、及进行修正精度低于第一图像修正方法的图像修正的第二图像修正方法这两种图像修正方法。

然后，在判定为各特征点中的某个特征点的变形量为变形量判定用阈值TH1以上的情况下，针对该特征点选择第一图像修正方法，在判定各特征点中的某个特征点处的变形量小于变形量判定用阈值TH1的情况下，针对该特征点选择第二图像修正方法。其中，第一图像修正方法是使用了基于双三次的插补方法的图像修正方法，第二图像修正方法是使用了基于双线性的插补方法的图像修正方法。

图3是表示投射到屏幕上的变形量计算用图像和对该变形量计算用图像进行摄像而得到的摄像图像的一例的图。如图3(a)所示，变形量计算用图像成为表示变形量计算位置的特征点P11、P12、...、P21、P22、...在纵向以及横向上等间隔排列的图像。其中，在以下的说明中，对于特征点P11、P12、...、P21、P22、...，除了对每个特征点进行说明的情况之外，省略该符号“P11、P12、...、P21、P22、...”。

变形量计算用图像的各特征点，与投影仪PJ中的光调制元件120(例如液晶面板)的各像素中离散位置的像素对应设定。具体而言，按照与光调制元件的纵向及横向的像素中每一规定像素数的像素对应的方式，设定变形量计算位置。图3(a)所示的变形量计算用图像表示了各特征点在纵向以及横向上以各光调制元件的10个像素量为间隔而被设定的例子。

图3(b)表示图3(a)所示的变形量计算用图像(称为原先的变形量计算用图像)被投射在屏幕上时的变形量计算用图像(称为投射变形量计算用图像)。图3(b)所示的投射变形量计算用图像，与图3(a)所示的原先的变形量计算用图像相比，和屏幕的局部变形对应的特征点(例如特征点P22、P24)的位置出现了“偏移”。

如果利用摄像装置200对这样的投射变形量计算用图像进行摄像，则该摄像图像相对于图3(a)所示的原先的变形量计算用图像，当然在与屏幕的局部变形相对应的特征点处发生了“偏移”。例如，如果在屏幕上存在图10(b)所示的局部变形，则摄像图像相对于原先的变形量计算用图像，在与屏幕的局部变形相对应的部分，对应于该局部变形的变形量，在特征点处发生了“偏移”。

由于该“偏移”与屏幕的局部变形的变形量成比例，所以根据从摄像装置200输出的摄像图像和原先的变形量计算用图像，计算出分别对应的特征点的“偏移”，由此可以计算出屏幕的局部变形的变形量。其中，在本发明的实施方式中，屏幕的局部变形的变形量作为变形量计算用图像的各特征点处的变形量进行表示

图4是说明图像修正装置330所进行的全体的处理步骤的流程图。首先，由变形量计算用图像生成部331生成变形量计算用图像(步骤S1)，利用控制部335将生成的变形量计算用图像提供给图像投射部100，同时，针对图像投射部100输出变形量计算用图像的投射指示(步骤S2)。由此，利用图像投射部100向屏幕投射变形量计算用图像。

另外，对于摄像装置200而言，利用控制部335输出用于对投射在屏幕上的变形量计算用图像进行摄像的摄像指示(步骤S3)。由此，摄像装置200对投射在屏幕SCR上的变形量计算用图像进行摄像。然后，变形量计算部332借助控制部335接收从摄像装置200输出的摄像图像，计算出变形量计算用图像的各特征点处的变形量(步骤S4)。

然后，图像修正方法选择部333选择与各特征点处的变形量相对应的图像修正方法(步骤S5)。接着，图像修正处理部334使用由图像修正方法选择部333选择的图像修正方法，对应该投射的图像进行局部的图像修正(步骤S6)。

图5是说明各特征点处的变形量计算的处理步骤的流程图。如图5所示，对于变形量计算用图像的各特征点处的变形量而言，首先，根据对投射变形量计算用图像(参照图3(a))进行摄像而得到的摄像图像，计算出摄像图像中的各特征点的坐标(称为摄像装置系坐标)(步骤S11)，通过对照计算出的各特征点的摄像装置系坐标与原先的变形量计算用图像(参照图3(a))中的各特征点的坐标(称为投影仪系坐标)来计算出变形量(步骤S12)。

这里，如果屏幕上没有局部变形，则分别对应的特征点的摄像装置系坐标和投影仪系坐标相一致，但如果屏幕上存在局部变形，则在与该局部变形相对应的部分，分别对应的特征点的摄像装置系坐标和投影仪系坐标发生“偏移”。其中，屏幕的局部变形的变形量越大，对应的特征点的“偏移”越大。

图6是对图5的步骤S11中的各特征点的摄像装置系坐标的计算处理进行说明的流程图。各特征点的摄像装置系坐标的计算处理如图6所示，对摄像图像实施二值化(步骤S21)，对二值化后的摄像图像进行标识(步骤S22)，根据该标识结果计算出各特征点的摄像装置系坐标(步骤S23)。

这里，步骤S21中的摄像图像的二值化，通过将阈值TH2(例如设为摄像图像的像素值的最大值与最小值的中间值)设定为像素值，判定各像素的像素值是该阈值TH2(称为二值化用阈值TH2)以上还是小于该阈值TH2，由此进行二值化。例如，对具有二值化阈值TH2以上的像素值的像素赋予“1”，对具有小于二值化用阈值TH2的像素值的像素赋予“0”。

而步骤S22中的标识处理通过根据二值化后的结果，对“1”连续的区域进行标识，将此时“1”连续的区域作为与特征点对应的像素的集合。

并且，对于步骤S23中的各特征点的摄像装置系坐标的计算处理而言，在使用被二值化的图像数据的情况下，将成为被标识的区域的重心的像素的位置作为该特征点的坐标位置。另外，在使用二值化之前的图像数据的情况下，将已被标识的区域中具有最大像素值的像素的位置作为该特征点的坐标位置。

如果根据摄像图像计算出各特征点的坐标位置，则对计算出的各特征点的摄像图像系坐标和原先的变形量计算用图像中各特征点的投影仪系坐标进行对照(图5的步骤S12)。各特征点的摄像装置系坐标和各特征点的投影仪系坐标的对照，例如可以通过使用最小二乘法等来进行。

这里，如果屏幕上不存在局部变形，则分别对应的特征点的摄像装置系坐标和投影仪系坐标一致，但如果屏幕上存在局部变形，则在该局部变形部分，分别对应的特征点的摄像装置系坐标和投影仪系坐标发生“偏移”。因此，通过对各特征点的摄像装置系坐标和各特征点的投影仪系坐标进行对照，可以根据其对照结果，计算出变形量计算用图像的各特征点处的变形量。

其中，由于计算出的变形量计算用图像的各特征点处的变形量，是因屏幕的局部变形产生的，所以计算出的变形量计算用图像的各特征点处的变形量，反映了屏幕的对应的局部变形的变形量。

当如此计算出变形量计算用图像的各特征点处的变形量时，图像修正方法选择部333选择与各特征点处的变形量对应的图像修正方法。具体而言，图像修正方法选择部333判定各特征点处的变形量是否为变形量判定用阈值TH1以上，在各特征点处的变形量为该变形量判定用阈值TH1以上的情况下，针对该特征点选择使用了基于双三次的插补方法的图像修正方法，在各特征点处的变形量小于该变形量判定用阈值TH1的情况下，针对该特征点选择使用了基于双线性的插补方法的图像修正方法。

然后，图像修正处理部334使用由图像修正方法选择部333选择的图像修正方法，进行图像修正。其中，成为图像修正对象的像素被设为包括摄像装置系坐标和投影仪系坐标中存在规定的“偏移”的特征点(称为修正对象特征点)的局部区域(称为局部区域)内。

图7是对成为修正对象的局部区域的设定例进行说明的图。如图7所示，成为修正对象的局部区域在变形量计算用图像(与图3(a)所示的变形量计算用图像相同的图像)中，作为以各特征点为中心的矩形区域(用虚线包围的区域)。而且，将局部区域内存在的像素作为修正对象的像素。例如，如果使特征点P22为修正对象特征点，则设定包括特征点P22的局部区域A_P22(用灰色表示的区域)，在应该投射的图像中，将该局部区域A_P22存在的像素作为修正对象的像素。

其中，对于设定为包括各个特征点的局部区域而言，如果从投射图像整体来看，是极为狭窄的区域。而在图7中，表示了各局部区域被设定成相邻的局部区域彼此不重叠的例子，但也可以设定成一些像素重叠，相反，相邻的局部区域也可以不相接，还可以是一些像素具有间隔。

这里，在图3(a)、(b)的例子中，特征点P22及特征点P24分别在各自的投影仪系坐标和摄像装置系坐标中发生了“偏移”。而且，对特征点P22处的投影仪系坐标和摄像装置系坐标进行了对照，结果，如果计算出的特征点P22处的变形量(表示为W_P22)是变形量判定用阈值TH1以上(W_P22≥TH1)，则通过图像修正方法选择部333选择使用了基于双三次的插补方法的图像修正方法。由此，图像修正处理部334对包括特征点P22的局部区域A_P22内的像素，进行使用了基于双三次的插补方法的图像修正。

同样，对特征点P24的投影仪系坐标和摄像装置系坐标进行了对照，结果，如果计算出的特征点P24的变形量W_P24小于变形量判定用阈值TH1(W_P24＜TH1)，则通过图像修正方法选择部333选择使用了基于双线性的插补方法的图像修正方法。由此，图像修正处理部334对包括特征点P24的局部区域A_P24内的像素，进行使用了基于双线性的插补方法的图像修正。

图8是基于所选择的图像修正方法的图像修正的一例的图。图8表示图3(b)所示的摄像图像的图像修正结果，是位于图3(b)所示的位置的特征点P22(在图8中用灰色的圆圈表示)通过基于双三次的插补方法被实施图像修正、位于图3(b)所示的位置的特征点P24通过基于双线性的插补方法被实施图像修正的例子。

当通过对应该投射的图像进行这样的图像修正，使用图像修正后的图像，由投影仪进行投射时，例如当在图10的屏幕SCR上从视线方向观察时，可以使屏幕SCR的变形的影响不出现在投射图像上。

如以上说明那样，通过本发明的实施方式，在对因屏幕的局部变形引起的投射图像的变形进行修正的情况下，将屏幕的局部变形的变形量作为变形量计算用图像的各特征点处的变形量计算出，使用与计算出的各特征点处的变形量相对应的图像修正方法，进行图像修正。即，在某个特征点处的变形量为变形量判定用阈值TH1以上时，对应该投射的图像中的局部区域(与包括该特征点的规定范围的区域对应的区域)，进行使用了可进行更高精度的修正的基于双三次插补方法的图像修正；在某个特征点处的变形量小于变形量判定用阈值TH1时，对应该投射的图像中的局部区域(与包括该特征点的规定范围的区域对应的区域)，进行使用了基于双线性的插补方法的图像修正。

由此，由于可以针对应该投射的图像进行与屏幕的局部变形的变形量相对应的图像修正，所以通过利用投影仪将被如此修正的图像投射到屏幕上，屏幕上的投射图像成为投射图像整体具有视觉上均匀的析像感的图像。即，当在屏幕上存在变形量不同的多处局部变形时，如果对投射图像整体使用相同的修正方法进行图像修正，则有可能出现修正后的投射图像整体的析像感变得不均匀、成为上述的MTF局部不同的图像等不良情况，但在本发明中，可以防止这样的不良情况。

〔实施方式2〕

在上述的实施方式1中，例示了图像修正装置330被组装到投影仪PJ中的情况，但可以将图像修正装置330作为与投影仪PJ独立的其他构成要素进行设置，由投影仪PJ和图像修正装置330构成投影系统。

图9是表示实施方式2的投影系统的构成的图。实施方式2的投影系统是将投影仪PJ与屏幕SCR邻近配置的邻近投射型投影系统，如图9所示，实施方式2的投影系统具有：投影仪PJ、摄像装置200、图像修正装置330、和连接线缆500。

图像修正装置330可以通过使信息处理装置(个人电脑等)具有该功能来实现。而且，图像修正装置330具有：变形量计算用图像生成部331、变形量计算部332、修正方法选择部333、图像修正处理部334、控制部335(参照图2)。其中，由于图像修正装置330所进行的处理在实施方式1的投影仪PJ中已经进行说明，所以在这里省略其说明。

另外，在图9所示的例子中，作为构成图像修正装置330的构成要素，使变形量计算用图像生成部331、变形量计算部332、图像修正方法选择部333、图像修正处理部334、控制部335等作为与投影仪PJ独立的构成，当这些构成要素中的一部分也可以设置在投影仪PJ侧。

另外，本发明并不限于前述的各实施方式，可以在不脱离本发明的宗旨的范围内实施下述(1)～(5)所示的变形。

(1)在上述的实施方式中，根据各特征点处的变形量是否为规定值(变形量判定用阈值TH1)以上，选择两种图像修正方法的任意一个，但并不限于此。例如，也可以将用于判定各特征点处的变形量的大小的阈值设定2个以上，分三个阶段以上判定变形量的大小。

该情况下，按各阶段的每个预先设定修正精度不同的图像修正方法，通过判定各特征点处的变形量属于多个阶段的哪一阶段，并根据其判定结果选择图像修正方法，使用所选择的图像修正方法进行图像修正。其中，关于各阶段的图像修正方法，设定各特征点的变形量越大则可以进行越高精度的图像修正的图像修正方法。这样，由于将各特征点处的变形量的大小作为多个阶段的变形量的大小进行判定，选择适于所判定的变形量的图像修正方法，进行图像修正，所以可以对应于各特征点处的变形量的大小，进行恰当的图像修正。

(2)表示了摄像装置200与投影仪PJ一体设置的例子(参照图9)，但摄像装置200可以作为与投影仪PJ独立的构成要素，设置在与投影仪PJ独立的位置。

(3)在上述各实施方式中，图像修正装置330具有变形量计算用图像生成部331，利用该变形量计算用图像生成部331生成变形量计算用图像，但并不限于此，也可以将与变形量计算用图像对应的变形量计算用图像预先存储到存储部等中，根据需要从存储部读出变形量计算用图像，然后通过投影仪PJ进行投射。

(4)上述各实施方式中使用的变形量计算用图像，是使作为变形量计算位置的特征点在纵向以及横向上等间隔排列的图像，但并不限于此，只要是能够在摄像图像中确定特征点的图像即可。例如，也可以是在纵向及横向上以格子状等间隔画线的图像，此时，可以将纵向以及横向的各线交叉的位置(格点)为特征点，以该特征点进行变形量计算。

(5)在上述各实施方式中，举例说明了使用基于双三次或双线性的插补方法作为图像修正方法的情况，但图像修正方法并不限于此，也可以使用其它的图像修正方法。

Claims (11)

1.一种图像修正装置，其特征在于，是根据投射面的局部变形对应该由投影仪投射的图像进行修正的图像修正装置，具有：

变形量计算部，其根据对投射在所述投射面上的具有多个特征点的变形量计算用图像进行摄像而得到的摄像图像，计算出所述多个特征点的各特征点处的变形量；

图像修正方法选择部，其选择与利用所述变形量计算部计算出的所述各特征点处的变形量相对应的图像修正方法；和

图像修正处理部，其通过由所述图像修正方法选择部选择的图像修正方法，对所述应该投射的图像的规定区域进行修正。

2.根据权利要求1所述的图像修正装置，其特征在于，

所述各特征点分别与所述投影仪中的光调制元件的各像素中离散位置的多个像素相对应设定。

3.根据权利要求1或2所述的图像修正装置，其特征在于，

所述变形量计算部根据所述变形量计算用图像中的所述各特征点的坐标、和对所述变形量计算用图像进行摄像而得到的摄像图像中的所述各特征点的坐标，计算出所述各特征点处的变形量。

4.根据权利要求1～3中任意一项所述的图像修正装置，其特征在于，

所述图像修正方法选择部具有：对所述各特征点处的变形量的大小进行判定的功能；和从与所述变形量的大小对应地设定的修正精度不同的多种图像修正方法中，选择与所述各特征点处的变形量相对应的图像修正方法的功能。

5.根据权利要求4所述的图像修正装置，其特征在于，

所述多个阶段是所述各特征点处的变形量是否为规定值以上的两个阶段，所述修正精度不同的多种图像修正方法，是可以进行高精度修正的第一图像修正方法、以及进行精度低于所述第一图像修正方法的修正的第二图像修正方法这两种图像修正方法，

在判定为所述各特征点的某个特征点处的变形量为所述规定值以上的情况下，对该特征点选择所述第一图像修正方法，在判定为所述各特征点的某个特征点处的变形量低于所述规定值时，对该特征点选择所述第二图像修正方法。

6.根据权利要求5所述的图像修正装置，其特征在于，

所述第一图像修正方法是基于双三次的图像修正方法，所述第二图像修正方法是基于双线性的图像修正方法。

7.根据权利要求1～6中任意一项所述的图像修正装置，其特征在于，

所述图像修正处理所修正的应该投射的图像的规定区域，是包括与所述特征点相对应的所述应该投射的图像的像素的局部区域。

8.根据权利要求1～7中任意一项所述的图像修正装置，其特征在于，

所述投影仪设置在所述投射面的邻近位置，且被设置成投射光相对于所述投射面以锐角入射。

9.一种图像修正方法，其特征在于，是根据投射面的局部变形对应该由投影仪投射的图像进行修正的图像修正方法，包括：

变形量计算步骤，根据对投射在所述投射面上的具有多个特征点的变形量计算用图像进行摄像而得到的摄像图像，计算出所述多个特征点的各特征点处的变形量；

图像修正方法选择步骤，选择与利用所述变形量计算步骤计算出的所述各特征点处的变形量相对应的图像修正方法；和

图像修正处理步骤，通过由所述图像修正方法选择步骤选择的图像修正方法，对所述应该投射的图像的规定区域进行修正。

10.一种投影仪，其特征在于，是具有根据投射面的局部变形对应该投射的图像进行修正的图像修正装置的投影仪，所述图像修正装置具有：

变形量计算部，其根据对投射在所述投射面上的具有多个特征点的变形量计算用图像进行摄像而得到的摄像图像，计算出所述多个特征点的各特征点处的变形量；

图像修正方法选择部，其选择与利用所述变形量计算部计算出的所述各特征点处的变形量相对应的图像修正方法；和

图像修正处理部，其通过由所述图像修正方法选择部选择的图像修正方法，对所述应该投射的图像的规定区域进行修正。

11.一种投影系统，其特征在于，具有：向投射面进行图像投射的投影仪、和根据所述投射面的局部变形对应该由所述投影仪投射的图像进行修正的图像修正装置，所述图像修正装置具有：

变形量计算部，其根据对投射在所述投射面上的具有多个特征点的变形量计算用图像进行摄像而得到的摄像图像，计算出所述多个特征点的各特征点处的变形量；

图像修正方法选择部，其选择与利用所述变形量计算部计算出的所述各特征点处的变形量相对应的图像修正方法；和

图像修正处理部，其通过由所述图像修正方法选择部选择的图像修正方法，对所述应该投射的图像的规定区域进行修正。

Images