CN105453546A - 图像处理装置、图像处理系统、图像处理方法和计算机程序 - Google Patents

Abstract

投影控制单元控制投影包括第一特征点的第一图案图像以及包括第二特征点的第二图案图像。获取单元从拍摄单元获取第一图案图像的第一拍摄图像以及第二图案图像的第二拍摄图像。提取单元提取在预定方向上将所述第二拍摄图像中的第二特征点连接的第二连接分量、以及将所述第一拍摄图像中的在对应于所述第二连接分量中包括的第二特征点的位置处的第一特征点连接的第一连接分量。移位量计算单元计算所述第一连接分量相对于所述第二连接分量的移位量。第一计算单元基于所述移位量计算用于校正投影目标图像的第一校正信息。

Description

图像处理装置、图像处理系统、图像处理方法和计算机程序

技术领域

本发明涉及一种图像处理装置、图像处理系统、图像处理方法和计算机程序。

背景技术

已知使用其上投影了图像的投影面的检测结果校正图像失真的技术。作为检测投影面的技术的示例，已经公开了一种从投影在投影面上的投影图像的拍摄图像检测指示投影面的帧的屏幕帧的技术(参见日本专利申请特许公开No.2010-044255)。

日本专利申请特许公开No.2010-044255公开了：测量由投影区域上的测量图案形成的多个测量点的三维坐标，使用测量点的三维坐标从拍摄图像检测投影区域上的包括阶梯(step)的阶梯区域，并且从阶梯区域检测屏幕帧。在日本专利申请特许公开No.2010-044255中，基于屏幕帧的形状校正用作投影目标的图像数据的失真。

然而，传统地，难以以高精度校正投影图像的失真，这是因为，由于在某些情况下的环境条件的影响，无法以高精度检测投影面。

发明内容

鉴于这样的问题，本发明的目的是提供一种图像处理装置、图像处理系统、图像处理方法和计算机程序，其可以提供能够以高精度校正投影图像的失真的校正信息。

一种图像处理装置包括投影控制单元、获取单元、提取单元、移位(shift)量计算单元、第一计算单元。投影控制单元执行控制以使得：将布置多个第一特征点的第一图案图像投影到投影面上，并且将包括与第一特征点对应的多个第二特征点的第二图案图像投影到平面投影面上。获取单元从拍摄单元获取投影在所述投影面上的投影的第一图案图像的第一拍摄图像、以及投影在所述平面投影面上的第二图案图像的第二拍摄图像。提取单元提取在预定方向上将第二拍摄图像中的第二特征点连接的第二连接分量(component)、以及将第一拍摄图像中的在对应于第二连接分量中包括的第二特征点的位置处的第一特征点连接的第一连接分量。移位量计算单元计算第一连接分量相对于第二连接分量的移位量。第一计算单元基于移位量计算用于校正投影目标图像的第一校正信息。

附图说明

图1是图示根据实施例的图像处理系统的示意图。

图2是图示第一图案图像和第二图案图像的示例的示意图。

图3是图示第一图案图像和第一拍摄图像的示例的示意图。

图4是图示第一校正单元的示意图。

图5是图示坐标变换的示意图。

图6是图示提取单元的示意图。

图7是(u,v)坐标系统的说明图。

图8是坐标变换的说明图。

图9是图示第二连接分量的生成结果的示例的示意图。

图10是图示第一连接分量的生成结果的示例的示意图。

图11是第一连接分量相对于第二连接分量的移位的说明图。

图12是由第一校正处理单元执行的校正的说明图。

图13是图示第二校正单元的示意图。

图14是投影区域的说明图。

图15是投影区域的说明图。

图16是图示图像处理的过程的流程图。

图17是图示第一校正的过程的流程图。

图18是图示连接分量提取的过程的流程图。

图19是图示相邻特征点识别的过程的流程图。

图20是图示相邻特征点识别的过程的流程图。

图21是图示与所识别的相邻特征点的关系的示意图。

图22是图示不具有相邻特征点的特征点的示例的示意图。

图23是图示第二校正的过程的流程图。

图24是图示近似平面计算的过程的流程图。

图25是回归平面数据的计算方法的说明图。

图26是前(front)图像的生成的说明图。

图27是包含区域计算的说明图。

图28是前图像与投影目标图像之间的关系的说明图。

图29是图示第一图案图像的其它示例的示意图。

图30是图示第三图案图像的示例的示意图。

图31是图示第二图案图像的其它示例的示意图。

图32是图示第一图案图像和第二图案图像的示例的示意图。

图33是修改示例的说明图。

图34是图示信息处理系统的结构的另一示例的示意图。

图35是图示配备有云计算系统的图像处理系统的示例的示意图。

图36是图示计算机的结构的硬件结构图。

具体实施方式

图1是图示根据实施例的图像处理系统10的示意图。

图像处理系统10包括投影装置14、拍摄装置16、以及图像处理装置18。通过诸如网络的通信线路将投影装置14、拍摄装置16、以及图像处理装置18耦接。

网络可以是有线通信网络或无线通信网络。例如，使用LAN(局域网)作为该网络，并且使用诸如Ethernet(注册商标)或TCP/IP的通信协议。

投影装置14是将充当投影目标的投影目标图像投影到投影面12上的装置。投影面12的示例包括屏幕、墙和白板，但是不限于这些。投影装置14包括投影单元14A。投影单元14A将投影目标图像投影到投影面12上。在本实施例中，由图像处理装置18控制投影单元14A。

拍摄装置16拍摄投影在投影面12上的投影图像。拍摄装置16包括拍摄单元16A。拍摄装置16拍摄投影在投影面12上的投影图像以获取拍摄图像。在本实施例中，由图像处理装置18控制拍摄单元16A。

图像处理装置18控制投影装置14和拍摄装置16。图像处理装置18包括控制器20和存储单元22。

存储单元22在其中存储充当投影目标的投影目标图像、以及诸如用于校正投影目标图像的第一图案图像和第二图案图像的各种类型的数据。存储单元22还在其中存储在控制器20的控制下产生的各种类型的信息。

第一图案图像是其中布置多个第一特征点的图像。在本实施例中，在第一图案图像中，例如，将多个第一特征点布置在网格中。第一特征点的布置不限于网格。第二图案图像是包括与第一特征点对应的多个第二特征点的图像。例如，第二图案图像是第一图案图像的一部分。第二图案图像不限于为第一图案图像的一部分。只需要第二图案图像包括所述多个第二特征点即可。

在本实施例中，当总体描述第一和第二特征点时，将第一和第二特征点简单地描述为“特征点”。特征点是这样的区域，其可以由图像处理装置18提取并且用于计算充当投影目标的投影目标图像的校正信息。

图2是图示第一图案图像62A和第二图案图像60A的示例的示意图。图2中的部分(A)是图示第一图案图像62A的示例的示意图。在本实施例中，第一图案图像62A是在网格中交替地布置白色正方形区域和黑色正方形区域的图像。在本实施例中，第一图案图像62A中的第一特征点100是白色正方形区域和黑色正方形区域的顶点相会的点。

图2中的部分(B)是图示第二图案图像60A的示例的示意图。在本实施例中，第二图案图像60A是包括与第一图案图像62A的中心对应的区域、以及多个第二特征点200。结果，当将第二图案图像60A和第一图案图像62A重叠时，各个第二特征点200在第二图案图像60A中的位置与各个第一特征点100在第一图案图像62A中的位置重合。

以与第一特征点100相同的方式，第二图案图像60A中的第二特征点200是白色正方形区域的顶点和黑色正方形区域的顶点相会的点。在本实施例中，从第一图案图像62A的中心区域提取第二图案图像60A，使得包括多个第一特征点100。

在本实施例中，第二图案图像60A包括九个第二特征点200，它们是：在特定方向上彼此相邻的三个第二特征点200；以及，对于所述三个第二特征点200的每个，在与特定方向垂直的方向上彼此相邻的三个第二特征点200。

在本实施例中，第二图案图像60A是对应于第一图案图像62A的中心区域、并且包括所述多个第二特征点200的图像。第二图案图像60A不限于对应于中心区域的图像。只需要第二图案图像60A是第一图案图像62A的一部分并且包括所述多个第二特征点200即可。

从稍后描述的以高精度计算第一校正信息的角度来看，第二图案图像60A优选地是对应于第一图案图像62A的中心区域的图像。这是因为，投影图像(其是已经被投影的投影目标图像的图像)的中心附近的区域很有可能位于投影面12上。

在本实施例中，第二图案图像60A包括九个第二特征点200。然而，第二图案图像60A可以是包括至少两个或更多个第二特征点200(优选地，四个或更多个第二特征点200，以及更优选地，八个或更多个第二特征点200)的图像。第二图案图像60A中包括的第二特征点200的数目越大，第一校正信息的计算就越精确。

参考回图1，控制器20控制图像处理装置18。控制器20是包括CPU(中央处理单元)、ROM(只读存储器)、RAM(随机存取存储器)等的计算机。

控制器20包括投影控制单元24、拍摄控制单元26、获取单元28、第一校正单元30、以及第二校正单元32。投影控制单元24、拍摄控制单元26、获取单元28、第一校正单元30、以及第二校正单元32例如可以通过由诸如CPU的处理单元执行的计算机程序(即，通过软件)来实施、或者通过诸如集成电路(IC)的硬件来实施、或者通过使用软件和硬件来实施。

投影控制单元24控制投影单元14A。在本实施例中，投影控制单元24控制投影单元14A，以使得投影单元14A将作为投影目标图像的第一图案图像62A和第二图案图像60A投影在投影面12上。投影控制单元24控制投影单元14A，以使得投影单元14A将充当投影目标的各种投影目标图像投影在投影面12上。

在本实施例中，当第二图案图像60A被投影在投影面12上时，投影面12需要是平面投影面。当第二图案图像60A被投影时使用的平面投影面12意味着具有不引起投影图像中的失真的平面度。失真意味着投影在投影面12上的投影图像相对于充当投影目标的投影目标图像(在被投影之前的图像)的失真。在作为投影在投影面12上的第二图案图像60A的图像的第二投影图像中不存在失真。换言之，在第二投影图像中的各个第二特征点200的位置、与作为在被投影之前的图像的第二图案图像60A中的对应的第二特征点200的位置之间不存在差异。

相比之下，在本实施例中，当将第一图案图像62A投影在投影面12上时，投影面12需要在实际投影条件下，该实际投影条件是投影各种投影目标图像所处的实际投影条件之一。结果，在作为投影在投影面12上的第一图案图像62A的图像的第一投影图像中，可能存在当投影第一图案图像62A时使用的投影面12所引起的失真，并且，在第一投影图像中的各个第一特征点100的位置、与作为在被投影之前的图像的第一图案图像62A中的对应的第一特征点100的位置之间可能存在任何差异。

拍摄控制单元26控制拍摄单元16A。在本实施例中，拍摄控制单元26控制拍摄单元16A，以使得拍摄单元16A拍摄投影在投影面12上的投影图像。获取单元28获取通过由拍摄单元16A进行拍摄而获得的拍摄图像。在本实施例中，获取单元28获取通过拍摄投影在投影面12上的第一图案图像62A(即，第一投影图像)而获得的第一拍摄图像、以及通过拍摄投影在投影面12上的第二图案图像60A(即，第二投影图像)而获得的第二拍摄图像。

优选的是，指示当拍摄第一图案图像62A时在投影面12与投影装置14之间的相对位置的第一相对位置、与指示当拍摄第二图案图像60A时在投影面12与投影装置14之间的相对位置的第二相对位置一致。

图3是图示第一图案图像62A和第一拍摄图像62B的示例的示意图。将其中在网格中布置多个第一特征点100的第一图案图像62A(参考图3中的部分(A))投影在投影面12上。由拍摄单元16A拍摄作为投影在投影面12上的第一图案图像62A的图像的第一投影图像。获取单元28从拍摄单元16A获取图3中的部分(B)中图示的第一拍摄图像62B。如图3中的部分(B)中所示，第一拍摄图像62B具有取决于投影面12的失真形状。

参考回图1，第一校正单元30是执行用于校正投影目标图像的第一校正信息的计算的功能单元。图4是图示第一校正单元30的示意图。

第一校正单元30包括坐标提取单元33、变换单元38、提取单元40、移位量计算单元42、移位确定单元44、第一计算单元46、以及第一校正处理单元48。

坐标提取单元33提取拍摄图像中包括的特征点的二维坐标。坐标提取单元33包括第一坐标提取单元34和第二坐标提取单元36。第一坐标提取单元34从第一拍摄图像62B提取第一拍摄图像62B中包括的各个第一特征点100的二维坐标(在下文中称为第一坐标)。具体地，第一坐标提取单元34将第一拍摄图像62B的左上角顶点的位置设置为位置信息的原点(0，0)，并且提取第一拍摄图像62B中包括的各个第一特征点100的第一坐标。

第二坐标提取单元36从第二拍摄图像提取第二拍摄图像中包括的各个第二特征点200的二维坐标(在下文中称为第二坐标)。具体地，第二坐标提取单元36将第二拍摄图像60B的左上角顶点的位置设置为原点(0，0)，并且提取第二拍摄图像60B中包括的各个第二特征点200的第二坐标。

变换单元38将第二拍摄图像60B的各个第二特征点200的第二坐标坐标变换为第一拍摄图像62B上的第一坐标，其中所述第二坐标是由第二坐标提取单元36提取的。

在本实施例中，变换单元38通过计算投影变换矩阵Hcp来执行变换。

假设指示对应于第二拍摄图像60B的第二特征点200的第二坐标(xc，yc)的在第一拍摄图像62B上的位置的第一坐标为(xp，yp)。投影变换矩阵Hcp满足以下表达式(1)。

m_p≌H_cpm_o(1)

表达式(1)指示左手侧和右手侧在齐次坐标系统中彼此相等(不包括所有元素(element)的常量乘法)。投影变换矩阵Hcp通过以下表达式(2)表示。

$H_{cp}=\left(\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& 1\end{array}\right)---\left(2\right)$

因此，表达式(1)可以通过以下表达式(3)表示。

$\left(\begin{array}{c}{x}_p\\ y_p\\ 1\end{array}\right)\≅\left(\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& 1\end{array}\right)\left(\begin{array}{c}{x}_c\\ y_c\\ 1\end{array}\right)---\left(3\right)$

从表达式(1)至(3)，第一拍摄图像62B上的第一坐标(xp，yp)通过以下表达式(4)和(5)表示。

$x_p=\frac{h_1{x}_c+h_2{y}_c+h_3}{h_7{x}_c+h_8{y}_c+1}---\left(4\right)$

$y_p=\frac{h_4{x}_c+h_5{y}_c+h_6}{h_7{x}_c+h_8{y}_c+1}---\left(5\right)$

在表达式(2)至(5)中，h1至h8是投影变换的未知系数。

在本实施例中，因为第二图案图像60A如上所述包括九个第二特征点200，所以变换单元38通过对于第二拍摄图像60B的九个第二特征点200的每个计算第一拍摄图像62B上的第一坐标(xp，yp)，来执行坐标变换。

图5是图示由变换单元38执行的坐标变换的示意图。

将图5中的部分(A)中图示的第二拍摄图像60B中的各个第二特征点200(200a至200i)的第二坐标坐标变换为图5中的部分(B)中图示的第一拍摄图像62B上的第一坐标。结果，获得第一拍摄图像62B上的各个第二特征点200的二维坐标。

变换单元38将第二拍摄图像60B的各个第二特征点200的位置坐标(其是由第二坐标提取单元36提取的)变换为第一拍摄图像62B上的位置坐标。此变换使得可以将不具有失真的第二拍摄图像60B的各个第二特征点200的位置坐标反映到第一拍摄图像62B上的位置。

参考回图4，提取单元40提取第二连接分量和第一连接分量。第二连接分量是其中在预定方向上将在通过变换单元38的坐标变换之后的第二拍摄图像60B中的第二特征点200连接的分量。第二连接分量由在预定方向上连接的第二特征点200的直线(line)的图像表示，其中各个第二特征点200被变换单元38坐标变换为第一坐标。

第一连接分量是第一拍摄图像62B中的其中将在与第二连接分量中包括的各个第二特征点200对应的位置处的第一特征点100连接的分量。第一连接分量由所连接的第一特征点100的直线的图像表示。

图6是图示提取单元40的示意图。提取单元40包括坐标变换单元40A、识别单元40B、以及连接分量生成单元40C。

坐标变换单元40A将第一拍摄图像62B的各个第一特征点100的第一坐标、以及第二拍摄图像60B的各个第二特征点200的由变换单元38进行坐标变换的第一坐标变换为(u，v)坐标系统中的坐标。图7是(u,v)坐标系统的说明图。在图7中，由通过x轴和y轴表示的坐标系统确定第一坐标。在图7中，x轴的右向是x轴的正向，而y轴的向下方向是y轴的正向。在以下描述中，C是每个拍摄图像中的特征点的总数目，A[i]是第i个特征点，并且A[i]的第一坐标被表示为(x[i]，y[i])。

通过将第一坐标的坐标系统(图7中的(x，y)坐标系统)围绕固定原点(0，0)旋转预定角度(例如，45度)，获得(u,v)坐标系统。

坐标变换单元40A使用以下表达式(6)和(7)，将第一拍摄图像62B的各个第一特征点100的第一坐标、以及第二拍摄图像60B的各个第二特征点200的由变换单元38进行坐标变换的第一坐标变换为(u，v)坐标系统中的坐标。

$u\[i\]=(x\[i\]-y\[i\])/\sqrt{2}---\left(6\right)$

$v\[i\]=(x\[i\]-y\[i\])/\sqrt{2}---\left(7\right)$

在表达式(6)和(7)中，i是等于或大于1的整数。在表达式(6)和(7)中，如上所述，A[i]是第i个特征点，并且A[i]的第一坐标被表示为(x[i]，y[i])。(u，v)坐标系统中的坐标被表示为(u[i]，v[i])。

图8是将坐标变换到(u，v)坐标系统的说明图。坐标变换单元40A将坐标变换到(u，v)坐标系统中的原因是为了在其中发生失真之前知道图像中的特征点的布置中的连接规则。如图8中所示，在将坐标变换到(u，v)坐标系统中之后，当关注第一特征点100的v坐标时，具有比第一特征点100a的v坐标小的v坐标的第一特征点100b不可避免地位于第一特征点100a的上侧或左侧。同样，当关注第二特征点200的v坐标时，具有比第二特征点200a的v坐标小的v坐标的第二特征点200b不可避免地位于第二特征点200a的上侧或左侧。

参考回图6，识别单元40B识别关于被变换到(u，v)坐标系统中的第一特征点100的相邻第一特征点100。识别单元40B识别关于被变换到(u，v)坐标系统中的第二特征点200的相邻第二特征点200。

具体地，识别单元40B基于被变换到(u，v)坐标系统中的第一特征点100和第二特征点200的v坐标，将所述第一特征点100和第二特征点200以从最小值到最大值的次序排序。从v坐标的最小值起，将所排序的第一特征点100顺序编号为i(i是整数并且1≤i≤C)。这里，C是第一拍摄图像62B中包括的第一特征点100的总数目。

同样，从v坐标的最小值起，将所排序的第二特征点200顺序编号为i(i是整数并且1≤i≤C)。这里，C是第二拍摄图像60B中包括的第二特征点200的总数目。

识别单元40B从在被坐标变换到(u，v)坐标系统中之后的所排序的第二特征点200中顺序地选择第二特征点200，并且在两个方向上识别相邻的第二特征点200，其中之一是在上侧相邻，而另一个是在左侧相邻。识别相邻的第二特征点200的方向可以是至少两个方向，只要可以识别所有第二特征点200的位置即可。例如，可以在向上和向右的方向上、向右和向下的方向上执行识别，以及可以在全部四个方向上执行识别。在上述排序中，基于特征点的v坐标，以从最小值到最大值的次序对特征点排序，以便容易地识别位于上侧和左侧的特征点，这是因为，用于识别的方向是向上和向左的方向。可以根据用于识别的方向而改变用于排序的坐标。

同样，识别单元40B从在被坐标变换到(u，v)坐标系统中之后的所排序的第一特征点100中顺序地选择第一特征点100，并且在上侧和左侧方向的两个方向上识别相邻的第一特征点100。

连接分量生成单元40C产生第二连接分量和第一连接分量。连接分量生成单元40C执行将第一特征点100或第二特征点200连接的加标记，以产生第二连接分量和第一连接分量。

具体地，连接分量生成单元40C在预定的第一方向上连接由识别单元40B识别的相邻第一特征点100，提取连接分量，并对各个连接分量加标记。结果，连接分量生成单元40C产生多个第一连接分量。连接分量生成单元40C在第一方向上连接由识别单元40B识别的相邻第二特征点200，提取连接分量，并对各个连接分量加标记。结果，连接分量生成单元40C产生多个第二连接分量。

通常，加标记是指连接二进制图像中的相邻黑色像素并且提取黑色像素连接分量的处理。在本实施例中使用的加标记中，待连接的目标是特征点，而非黑色像素。本实施例中的加标记的具体过程可以在不进行任何改变的情况下遵循广泛使用的已知加标记技术的具体过程。

图9是图示多个第二连接元素L2的生成结果的示例的示意图。如图9中所示，连接分量生成单元40C在第一方向上(在图9中的箭头S方向(左右方向)上)连接在被变换为第一坐标并且进一步变换到(u，v)坐标系统之后的所排序的第二特征点200，以生成多个第二连接分量L2(L2a至L2c)。连接分量生成单元40C然后从第二连接分量L2(L2a至L2c)中选择第二连接分量L2b。

在本实施例中，从第二连接分量L2(L2a至L2c)中选择通过位于对应于图像的中心的区域中的第二特征点200的第二连接分量L2b。

图10是图示多个第一连接元素L1的生成结果的示例的示意图。如图10中所示，连接分量生成单元40C在第一方向上(在图10中的箭头S方向(左右方向)上)连接在被变换到(u，v)坐标系统之后的所排序的第一特征点100，以生成多个第一连接分量L1(L1a至L1j)。连接分量生成单元40C从第一连接分量L1(L1a至L1j)中选择第一连接分量L1f，其包括对应于如上所述选择的第二连接分量L2b中包括的第二特征点200的第一特征点100。

参考回图4，移位量计算单元42计算第一连接分量L1f相对于第二连接分量L2b的移位量。图11图示了第一连接分量L1f中包括的各个第一特征点100相对于第二连接分量L2b移位了对应于移位量H的量。如图11中所示，移位量H的值根据第一特征点100的位置不同而不同。稍后描述移位量的计算方法的细节。

参考回图4，移位确定单元44基于由移位量计算单元42计算的移位量确定是否发生任何移位。当移位确定单元44确定已经发生移位时，第一计算单元46基于由移位量计算单元42计算的移位量，计算用于校正投影目标图像的第一校正信息。第一校正处理单元48使用所计算的第一校正信息教示投影目标图像。

图12是由第一校正处理单元48执行的校正的说明图。如图12中所示，第一校正处理单元48基于移位量，对于每个像素校正投影目标图像中与第一特征点100对应的像素的像素位置，使得消除根据移位量的移位。

参考回图1，第二校正单元32是执行用于进一步校正由第一校正单元30校正的投影目标图像的第二校正信息的计算的功能单元。

图13是图示第二校正单元32的示意图。

第二校正单元32包括三维坐标计算单元50、投影区域计算单元52、第二计算单元54、以及第二校正单元56。

三维坐标计算单元50使用第一图案图像62A和第一拍摄图像62B，计算第一投影图像中的第一特征点100的三维坐标，其中第一投影图像是投影在投影面12上的第一图案图像62A的图像。使用已知技术执行三维坐标的计算。例如，使用投影仪和相机的典型立体距离测量方法，执行三维坐标的计算(参考文献：东京大学的Takahashi、Aoki等人的“Anexperimentalstudyongeometriccorrectionforprojectedimages”)。

投影区域计算单元52计算投影目标图像被投影在其上的投影区域。图14和图15是投影区域的说明图。如图14和图15中所示，当将投影目标图像投影在投影面12上时，投影在投影面12上的第一特征点100的组A1(图14和图15中的圆圈)被确定为将不存在任何问题地被投影，而投影在投影面12之外的位置处的第一特征点100的组A2(图14和图15中的x形状标志)被确定为要被投影在不适当的位置。

参考回图13，投影区域计算单元52因此计算投影区域，使得第一特征点100在三维空间中位于与投影面12对应的区域中。

投影区域计算单元52包括近似平面计算单元52A、前图像生成单元52B、以及投影区域生成单元53C。

近似平面计算单元52A计算与包括投影面12的平面近似的近似平面。稍后描述近似平面的计算方法的细节。

前图像生成单元52B产生通过从近似平面的法向方向拍摄由近似平面计算单元52A计算的近似平面而获得的前图像。

前图像生成单元52B使用由三维坐标计算单元50计算的各个第一特征点100的三维坐标、以及所计算的近似平面，提取位于近似平面中的第一特征点100。前图像生成单元52B使用透视投影变换矩阵P，在二维平面上投影位于近似平面中并且通过三维坐标识别的第一特征点100的三维点组，以产生前图像。

透视投影变换矩阵P由以下表达式(8)表示。

P＝A(Rt)(8)

在表达式(8)中，A指示内部参数，R指示充当外部参数的旋转矩阵，并且t指示平行平移向量。

假设虚拟相机从近似平面的法向方向拍摄近似平面，以取得前图像。内部参数A是使用光轴坐标、成像元素的行和列的比例(scale)、以及虚拟相机的焦距而定义的矩阵(3×3)。旋转矩阵R是指示从提供至图像处理系统10的实际拍摄装置16到虚拟相机的旋转的矩阵(3×3)。

平行平移向量t是指示从实际拍摄装置16到虚拟相机的平行平移的向量(3×1)。

投影区域生成单元53C使用由近似平面计算单元52A计算的近似平面以及由前图像生成单元52B产生的前图像，产生投影图像被投影在其上的投影区域。

第二计算单元54计算用于校正投影目标图像以使得校正图像在投影区域内的第二校正信息。第二校正单元56基于第二校正信息，校正基于第一校正信息校正的投影目标图像。

以下描述了本实施例中的图像处理装置18所执行的图像处理的过程。

图16是图示由图像处理装置18执行的图像处理的过程的流程图。

投影控制单元24读取存储单元22中存储的第二图案图像60A(步骤S102)。投影控制单元24向投影单元14A输出指示用以将在步骤S102读取的第二图案图像60A投影在投影面12上的投影指令的信号(步骤S104)。接收指示投影指令的信号的投影单元14A将所接收的投影指令中包括的第二图案图像60A投影在投影面12上。

拍摄控制单元26将拍摄指令输出到拍摄单元16A(步骤S106)。接收拍摄指令的拍摄单元16A拍摄投影面12上投影的投影图像(第二投影图像)，并将通过拍摄获得的第二拍摄图像60B输出到控制器20。

获取单元28从拍摄单元16A获取第二拍摄图像60B(步骤S108)。获取单元28将所获取的第二拍摄图像60B存储在存储单元22中。

投影控制单元24读取存储单元22中存储的第一图案图像62A(步骤S110)。投影控制单元24向投影单元14A输出指示用以将在步骤S110读取的第一图案图像62A投影在投影面12上的投影指令的信号(步骤S112)。接收指示投影指令的信号的投影单元14A将所接收的投影指令中包括的第一图案图像62A投影在投影面12上。

拍摄控制单元26将拍摄指令输出到拍摄单元16A(步骤S114)。接收拍摄指令的拍摄单元16A拍摄投影面12上投影的投影图像(第一投影图像)，并将通过拍摄获得的第一拍摄图像62B输出到控制器20。

获取单元28从拍摄单元16A获取第一拍摄图像62B(步骤S116)。获取单元28将所获取的第一拍摄图像62B存储在存储单元22中。

第一校正单元30执行第一校正处理(步骤S118)。第二校正单元32执行第二校正(步骤S120)。投影控制单元24向投影单元14A输出指示用以投影通过在步骤S118和步骤S120的处理校正的投影目标图像的指令的信号(步骤S122)。在步骤S122的处理中，接收指示投影指令的信号的投影单元14A将在所接收的信号中包括的校正之后的投影目标图像投影在投影面12上。结果，在投影面12上投影其中抑制了失真的投影目标图像，这使此例程结束。

以下描述在步骤S118的第一校正的过程。图17是图示由第一校正单元30执行的第一校正的过程的流程图。

第一坐标提取单元34从存储单元22中存储的第一拍摄图像62B中提取第一拍摄图像62B中包括的各个第一特征点100的第一坐标(步骤S202)。

第二坐标提取单元36从存储单元22中存储的第二拍摄图像60B中提取第二拍摄图像60B中包括的各个第二特征点200的第二坐标(步骤S204)。

变换单元38执行如下变换：其中，变换单元38将第二拍摄图像60B的各个第二特征点200的第二坐标坐标变换为第一拍摄图像62B上的第一坐标(步骤S206)，其中第二坐标是由第二坐标提取单元36提取的。

提取单元40执行如下连接分量提取：其中，提取单元40提取第二连接分量和第一连接分量(步骤S208)。稍后将详细描述连接分量提取。

移位量计算单元42计算第一连接分量L1f相对于第二连接分量L2b的移位量(步骤S210)。移位量计算单元42对于第一连接分量L1f中包括的各个第一特征点100的每个，计算第一连接分量L1f中包括的且对应于第二连接分量L2b中包括的第二特征点200的第一特征点100相对于第二特征点200的移位量，由此计算第一连接分量L1f相对于第二连接分量L2b的移位量。具体地，通过计算第二连接分量L2b中包括的第二特征点200、与第一连接分量L1f中包括的且对应于第二特征点200的第一特征点100之间的距离，获得每个移位量。

移位确定单元44确定是否存在第一连接分量L1f相对于第二连接分量L2b的任何移位(步骤S212)。在步骤S212，移位确定单元44确定在步骤S210计算的移位量是否是“0(零)”，作为在步骤S212的确定。移位量是“0”的状态指示如下状态：第一连接分量L1f和第二连接分量L2b作为整体在纵向方向上从一侧到另一侧彼此完全重叠。如果在步骤S212进行否定确认(在步骤S212的“否”)，则此例程结束。

如果在步骤S212进行肯定确认(在步骤S212的“是”)，则处理流程进行至步骤S214。在步骤S214，第一计算单元46基于在步骤S210计算的移位量，计算用于校正投影目标图像的第一校正信息(步骤S214)。第一计算单元46基于在步骤S210计算的移位量计算作为第一校正信息的校正值，以使得消除移位量。具体地，第一计算单元46使用由移位量计算单元42计算的各个第二特征点200的移位量，计算用于校正各个第二特征点200的位置坐标的值以使得各个第二特征点200的移位量在一方向(朝着对应的各个第一特征点100的位置的方向)上变为“0”的第一校正信息。

第一校正处理单元48使用在步骤S214计算的第一校正信息执行用于校正投影目标图像的第一校正(步骤S216)，这时此例程结束。

作为从步骤S202至步骤S216执行的处理的结果，改变与投影目标图像中的各个第一特征点100对应的位置，以使得图12中图示的第一连接分量L1f中包括的第一特征点100、与第二连接分量L2b中包括的第二特征点200的位置重合。其它第一连接分量L1中包括的第一特征点100也以如上所述相同的方式经受投影目标图像中的第一校正，其中第一特征点100被布置在与如图10和图12中所示的第二连接分量L2b垂直的方向上。

以下描述在步骤S208执行的连接分量提取。图18是图示由提取单元40执行的连接分量提取的过程的流程图。

坐标变换单元40A执行坐标变换(步骤S302)。在步骤S302，坐标变换单元40A将第一拍摄图像62B的各个第一特征点100的第一坐标、以及第二拍摄图像60B的各个第二特征点200的由变换单元38进行了坐标变换的第一坐标，变换为(u，v)坐标系统中的坐标。

识别单元40B执行排序(步骤S304)。识别单元40B基于被变换到(u，v)坐标系统中的第一特征点100和第二特征点200的v坐标，将所述第一特征点100和第二特征点200以从最小值到最大值的次序排序。

识别单元40B执行相邻特征点识别(步骤S306)。在步骤S306，识别单元40B从在被坐标变换到(u，v)坐标系统中之后的所排序的第二特征点200中顺序地选择第二特征点200，并且在两个方向上识别相邻的第二特征点200，其中之一是在上侧相邻，而另一个是在左侧相邻。

连接分量生成单元40C执行加标记(步骤S310)，作为加标记的结果，连接分量生成单元40C产生第二连接分量和第一连接分量。

连接分量生成单元40C从多个第二连接分量L2(L2a至L2c)中选择第二连接分量L2b，并且从多个第一连接分量L1(L1a至L1j)中选择第一连接分量L1f(步骤S312)，这使例程结束，其中第一连接分量L1f包括与上述选择的第二连接分量L2b中包括的第二特征点200对应的第一特征点100。

以下描述由识别单元40B执行的相邻特征点识别的过程。图19和图20是图示由识别单元40B执行的相邻特征点识别的过程的流程图。识别单元40B对第一特征点100和第二特征点200的相邻点执行图19和图20中图示的处理。

图19是图示当识别特定选择的特征点的左侧相邻的特征点时的处理过程的流程图。图20是图示当识别特定选择的特征点的上侧相邻的特征点时的处理过程的流程图。

如图19中所示，识别单元40B将i设置为1，以便从第一特征点100起执行处理，该第一特征点100按次序是第一个(i＝1)(步骤S402)。这里，i是被分配给在被排序之后的第一特征点100的编号。识别单元40B将Jmin设置为零，将DNmin设置为比T大1的值，并且将j设置为比i小1的值。Jmin指示处于最近距离的特征点的编号。DNmin是指示特征点之间的最小距离的阈值。T是初步且临时被设置为特征点之间的最大距离的值。j是与第i个特征点相比较的第j个特征点的编号(步骤S404)。j的值小于i的值，因为只有可能位于第i个特征点的左侧的第一特征点100是处理目标。

识别单元40B确定j是否等于或大于1、以及(v[i]-v[j])是否等于或小于阈值T(步骤S406).当j小于1，即，j为零时，所选择的特征点是起始点、或者所选择的特征点A[i]与可能位于左侧的全部特征点A[j]的比较完成。关于(v[i]-v[j])是否等于或小于阈值T的确定从后续的处理目标中排除具有距所选择的特征点A[i]比预定阈值T大的距离的特征点A[j]，由此减小处理的负荷。

如果确定j等于或大于1并且(v[i]-v[j])等于或小于阈值T(在步骤S406的“是”)，则识别单元40B确定(u[i]-u[j])是否小于零(步骤S408)。(u[i]-u[j])的值用于确定第j个第一特征点100a在坐标空间中是否存在在第i个第一特征点100a的上侧。图19中所示的处理识别所选择的第一特征点100的左侧相邻的特征点。因此，搜索具有小于零的(u[i]-u[j])的值的第一特征点100。如果确定(u[i]-u[j])小于零(在步骤S408的“是”)，则使用以下表达式(9)计算DN。DN是A[i]和A[j]的两个特征点的坐标之间的向量的范数(步骤S410)。

DN＝SQRT{(u[j]-u[i])²+(v[j]-v[i])²}(9)

然后，识别单元40B确定DN是否等于或小于T并且DN<DNmin(步骤S412)。当特征点之间的距离大于作为预定阈值的T时，作为关于DN是否等于或小于T的确定的结果，将所得到的特征点从后续处理目标中排除，由此减小处理的负荷。作为DN与DNmin比较的结果，确定在已经与所选择的特征点进行比较了的特征点之中该特征点是否位于最近距离。如果确定DN等于或小于T并且DN<DNmin(在步骤S412的“是”)，则识别单元40B将DNmin更新为DN的值并且用j替换Jmin(步骤S414)。Jmin是距所选择的特征点最近距离的第一特征点100的编号的值。识别单元40B将特征点A[i]的左侧相邻特征点编号设置为Jmin，此后处理流程进行至步骤S418(步骤S416)。

如果确定j小于1或者(v[i]-v[j])大于阈值T(在步骤S406的“否”)，如果确定(u[i]-u[j])等于或大于零(在步骤S408的“否”)，并且如果确定DN等于或大于DNmin(在步骤S412的“否”)，则将j递减1，以便确定下个特征点是否相邻于所选择的特征点(步骤S418)。确定j是否等于或大于1(步骤S420)。如果确定j等于或大于1(在步骤S420的“是”)，则处理返回至步骤S406，而如果确定j小于1(在步骤S420的“否”)，则处理流程进行至步骤S422。

当在步骤S416识别到所选择的特征点A[i]的左侧相邻特征点时，识别单元40B将i递增1(步骤S422)并且确定i是否达到作为最大值的C(步骤S424)。如果确定i达到C(在步骤S424的“是”)，则处理结束。如果确定i未达到C(在步骤S424的“否”)，则从步骤S404其重复处理。

在图20中所示的上侧相邻特征点的识别处理中，只有步骤S508与图19中所示的识别处理不同。确定(u[i]-u[j])是否大于零(步骤S508)。当特征点A[j]存在在特定第一特征点A[i]的上侧时，(u[i]-u[j])大于零。因此，当识别到上侧相邻点时，通过在步骤S508的处理缩小了可能位于上侧的第一特征点100。在上述处理中，搜索从j＝i-1开始并且进行至j＝1。当v[i]-u[j]>T时，搜索结束，这是因为，比满足v[i]-u[j]>T的j小的j始终满足v[i]-u[j]>T，即，DN>T，由此，进一步减小处理的负荷。

处理的实施使得可以防止如下问题的发生：将特征点识别为左侧的相邻特征点和上侧的相邻特征点两者。对于如图21中所示的每个目标元素，识别作为通过上述技术识别的特定第一特征点100a的A[i]的上侧相邻特征点编号和左侧相邻特征点编号。将此对应关系存储在存储单元22的缓冲器中。如图22中所示，特征点组100x位于网格阵列中的周边区域上，并且拍摄图像中的缺陷特征点存在在特征点组100y的上侧或左侧。将与这样的特征点组中的特征点对应的左侧(上侧)相邻特征点编号设置为零，这意味着不存在“相邻特征点”。

以下描述由第二校正单元32执行的第二校正的过程。图23是图示由第二校正单元32执行的第二校正的过程的流程图。

三维坐标计算单元50使用第一图案图像62A和第一拍摄图像62B计算作为投影在投影面12上的第一图案图像62A的图像的第一投影图像中的第一特征点100的三维坐标(步骤S600)。

近似平面计算单元52A执行计算与包括投影面12的平面近似的近似平面的近似平面计算(步骤S602)。

图24是图示由近似平面计算单元52A执行的近似平面计算的过程的流程图。

近似平面计算单元52A计算第一特征点100的距离数据(步骤S700)，其中该第一特征点100的三维坐标由三维坐标计算单元50计算(在下文中，第一特征点100可以称为三维点组)。可以通过读取各个第一特征点100的三维坐标在从投影装置14指向投影面12的方向上的坐标，计算距离数据。

近似平面计算单元52A从在步骤S700计算的各个第一特征点100的距离数据，计算回归平面数据作为关于与投影面12对应的平面的信息(步骤S702)。以下参考图25具体描述了回归平面数据的计算方法。

图25中的部分(A)图示在执行了回归分析之后的回归平面P1。图25中的部分(B)图示于在步骤S708(将在稍后描述其)将距回归平面最远的特征点排除且估计之后的回归平面P2。

如图25中的部分(A)所示，例如，由三维坐标计算单元50计算作为第一特征点100的n个特征点(XABi、YABi和ZABi)(i＝1至n)的三维坐标。所述n个特征点在图25中的部分(A)被图示为圆圈、三角形和x形状标志。

近似平面计算单元52A将回归平面的方程定义为z＝ax+by+c，以便通过回归分析从第一特征点100计算回归平面。在回归平面与三维点组之间的关系由以下表达式(10)表示。

Z＝Xβ+ε(10)

表达式(10)中的各个变量由以下表达式(11)表示。

$\begin{array}{cccc}z=\left(\begin{array}{c}{z}_{AB1}\\ z_{AB2}\\ .\\ .\\ z_{ABn}\end{array}\right),& \left(\begin{array}{ccc}{x}_{AB1}& y_{AB1}& 1\\ x_{AB2}& y_{AB2}& 1\\ & .& \\ & .& \\ x_{ABn}& y_{ABn}& 1\end{array}\right),& \mathrm{\&beta;}\left(\begin{array}{c}a\\ b\\ c\end{array}\right),& \mathrm{\&epsiv;}=\left(\begin{array}{c}{e}_1\\ e_2\\ .\\ .\\ e_n\end{array}\right)---\left(11\right)\end{array}$

在表达式(11)中，ei是残余误差。

标准(normal)方程由表达式(12)表示。

X^TZ＝(X^TX)β(12)

因此，β由以下表达式(13)表示。

β＝(X^TX)^-1X^TZ(13)

近似平面计算单元52A例如使用最小二乘法计算常量(参数)a、b和c，使得残余误差ei的平方和变为最小，由此获得回归平面(图25中的P1和P2)。近似平面计算单元52A获取回归平面的方程(z＝ax+by+c)的常量a、b和c，作为回归平面数据。

参考回图24，处理流程在完成回归平面数据的获取之后，进行至步骤S704。在步骤S704，近似平面计算单元52A计算在所计算的回归平面与三维点组之间的距离DABi，并提取三维点组中距回归平面最远的对应点PMAX(XABD、YABD、ZABD)以及DMAX(PMAX在图25中的部分(A)中图示)。具体地，近似平面计算单元52A使用以下表达式(14)计算从特征点(XABi、YABi和ZABi)到平面(αx+βy+γz+δ＝0)的距离。

$D_{ABi}=\frac{|{\mathrm{\&alpha;x}}_{ABi}+{\mathrm{\&beta;y}}_{ABi}+{\mathrm{\&gamma;z}}_{ABi}+\mathrm{\&delta;}|}{\sqrt{{\mathrm{\&alpha;}}^2+{\mathrm{\&beta;}}^2+{\mathrm{\&gamma;}}^2}}---\left(14\right)$

近似平面计算单元52A计算在回归平面与三维点组的所有点之间的距离，并选择距离的绝对值最大的第一特征点100。结果，近似平面计算单元52A提取距所计算的回归平面最远的特征点PMAX(XABD、YABD、ZABD)(步骤S704)。

近似平面计算单元52A确定特征点PMAX(XABD、YABD、ZABD)的距离DMAX是否等于或小于预定阈值(步骤S706)。如果在步骤S706进行否定确定(在步骤S706的“否”)，则处理流程进行至步骤S708。

该阈值是对应于在投影面12与投影装置14之间的距离的值。该阈值可以被初步地测量并存储在存储单元22中。该阈值可以是对应于图像处理系统10的景深的值。

在步骤S708，近似平面计算单元52A从位于回归平面上的第一特征点100的组中排除特征点PMAX(XABD、YABD、ZABD)(步骤S708)，然后处理返回至步骤S702。

如果在步骤S706进行肯定确认(在步骤S706的“是”)，则处理流程进行至步骤S710。在步骤S710，近似平面计算单元52A将在步骤S702计算的回归平面估计为与投影面12对应的近似平面，然后此例程结束。

通过从步骤S700到步骤S710的处理，近似平面计算单元52A估计与投影面12对应的近似平面。近似平面计算单元52A估计与投影面12对应的近似平面。近似平面计算单元52A通过排除距回归平面的距离超过阈值的特征点计算近似平面，由此使得即使当在图像处理系统10与投影面12之间存在障碍物时，也可以以高精度计算近似平面。

参考回图23，前图像生成单元52B产生前图像(步骤S604)。

前图像是当假定从近似平面的法线方向拍摄由近似平面计算单元52A计算的近似平面时的图像。

图26是前图像的生成的说明图。图26指示如下假定：将虚拟相机(例如，包括拍摄单元的投影仪)16A部署在从近似平面上的第一特征点100的组Pgrp的中心位置(重心位置)Cg在近似平面的法向方向N上延伸的直线上。

如图26中所示，作为实际相机的拍摄装置16在图像处理系统10中取得诸如第一拍摄图像和第二拍摄图像的拍摄图像。

前图像生成单元52B计算当由部署在在近似平面P2的法向方向N上的直线的延伸上的虚拟相机16A拍摄近似平面P2时获得的前图像。具体地，前图像生成单元52B使用上述透视投影变换矩阵P，将三维点组Pgrp投影在与由虚拟相机16A取得的拍摄图像对应的二维平面上，由此计算前图像。

参考回图23，投影区域生成单元53C计算包含区域(步骤S606)。包含区域是包括三维点组之中的在近似平面上的第一特征点100(三维点组)的区域。

图27是包含区域计算的说明图。图27中的部分(A)是前图像中的三维点组Pgrp(第一特征点100)的说明图。图27中的部分(B)是包含区域和投影区域的说明图，其将在稍后描述。

在图27中的部分(A)中，投影区域生成单元53C基于从各个第一特征点100的三维坐标计算的距离数据，提取前图像中的在近似平面上的特征点(参考图27中的圆圈以及图26中的三维点组Pgrp)。投影区域生成单元53C计算在图27中的部分(B)中包括全部所提取的特征点(参考图27中的圆圈)的包含区域。如图27中的部分(B)中所示，包含区域是图27中的部分(B)中包括圆圈的包含区域C1。

参考回图23，投影区域生成单元53C计算投影区域(步骤S608)。投影区域是包括在步骤S606计算的在包含区域C1中包括的最大数目的第一特征点100(图27中的圆圈)的矩形区域(参考图27中的投影区域C2)。例如，投影区域C2的形状和宽高比与投影目标图像的宽高比相同。具体地，当投影具有1600×1200像素的投影目标图像时，投影区域的宽高比是四比三。

第二计算单元54选择位于在步骤S608计算的投影区域C2中的第一特征点100(参考图27中的部分(B)中的M_v1至M_v4)(步骤S610)。例如，第二计算单元54选择前图像的四个角处的四个点，作为位于在步骤S608计算的投影区域C2中的第一特征点100。

第二计算单元54在由第一校正单元30校正的投影目标图像中，提取对应于在步骤S610选择的第一特征点100(参考图27中的部分(B)中的M_v1至M_v4)的对应点(步骤S612)。可以以与上述的距离数据计算相同的方式执行对应点的提取。

第二计算单元54计算投影变换矩阵Hcp(步骤S614)。第二计算单元54使用投影目标图像上的对应于前图像上的特征点的四个对应点，计算投影变换矩阵Hcp。

第二计算单元54计算投影目标图像上的对应于在步骤S609计算的投影区域C2的四个角的四个校正点(步骤S616)。

以下参考图28具体描述校正点的计算方法。图28是前图像与投影目标图像之间的关系的说明图。图28中的部分(A)是前图像上的投影区域C2的四个角点的说明图。图28中的部分(B)是投影目标图像上的四个校正点的说明图。

如图28中的部分(A)中所示，第二计算单元54通过在步骤S612的处理提取在步骤S608计算的投影区域C2的四个角点(图28中的URv、ULv、DRv和DLv)。如图28中的部分(B)中所示，第二计算单元54使用投影变换矩阵Hcp计算与投影目标图像上的四个角点对应的四个校正点(图28中的URva、ULva、DRva和DLva)(步骤S614至步骤S616)。

参考回图23，第二校正单元56计算第二校正信息(步骤S618)。

第二校正单元56计算用于将投影目标图像的四个角点(例如，图28中的部分(B)中的URa)变形(校正)为在步骤S616计算的四个校正点(例如，URva)的校正变换矩阵Hpp。校正变换矩阵Hpp的计算方法与在步骤S614描述的计算方法相同，因此省略其描述。

在完成校正变换矩阵Hpp的计算之后，将校正变换矩阵Hpp作为第二校正信息存储在存储单元22中。第二校正单元56还使用第二校正信息校正由第一校正单元30校正的投影目标图像(步骤S620)，这使此例程结束。

如上所述，在本实施例的图像处理系统10中，投影控制单元24执行控制以使得其中在网格中布置多个第一特征点100的第一图案图像62A、以及作为第一图案图像62A的一部分并且包括多个第二特征点200的第二图案图像60A被投影在投影面12上。获取单元28从拍摄单元16A获取所投影的第一图案图像62A的第一拍摄图像62B、以及投影在平面投影面上的第二图案图像60A的第二拍摄图像60B。提取单元40提取其中将第二拍摄图像60B中的第二特征点200在预定方向上连接的第二连接元素L2、以及第一拍摄图像62B中将对应于第二连接元素L2中包括的第二特征点200的位置处的第一特征点100连接的第一连接元素L1。第一计算单元46计算用于基于移位量校正投影目标图像的第一校正信息。

这样，本实施例的图像处理系统10使用第一图案图像62A和第二图案图像60A计算第一校正信息。

结果，本实施例的图像处理系统10防止由于诸如包括环境光改变的环境改变的影响而导致所计算的校正信息的精度下降。因此，本实施例的图像处理系统10可以提供能够以高精度校正投影图像的失真的校正信息。

此外，除了第一校正之外执行的第二校正使得可以提供甚至更精确的校正信息。

在本实施例中，使用图2中图示的图案作为第一图案图像62A和第二图案图像60A。图案图像不限于图2中所示的图案图像。其中在网格中布置特征点的任何图案图像可以适用。

图29是图示第一图案图像62A的其它示例的示意图。如图29中的部分(A)所示，第一图案图像62A可以是在黑色背景图像上部署白色网格图案的图像。如图29中的部分(B)中所示，第一图案图像62A可以是在白色背景图像上在网格中布置黑色点状图像的图像。第二图案图像60A可以是作为上述第一图案图像62A之一的一部分并且包括多个特征点的图像。当使用图29中的部分(A)中所示的网格图案、并且假定不存在由于环境光等导致的干扰时，可以从此图案提取特征点的位置坐标，由此使得可以提供更精确的校正信息。当使用图29中的部分(B)中图示的点状图像的组时，通过检测各个点状图像的重心，该组几乎不经历由于环境光导致的干扰的影响，由此使得可以提取精确的位置坐标。结果，可以提供更精确的校正信息。

<修改示例1>

在本实施例中，图像处理装置18使用两个图案图像(第一图案图像62A和第二图案图像60A)的拍摄图像(第一拍摄图像62B和第二拍摄图像60B)。然而，图像处理装置18可以使用单个图案图像的拍摄图像计算第一校正信息。

在此情况下，可以使用第三图案图像。图30是图示第三图案图像63A的示例的示意图。第三图案图像63A包括第一图案图像63A1、和部署在第一图案图像63A1上的第二图案图像63A2。

在图30中图示的示例中，第一图案图像63A1是其中在网格中交替布置白色正方形区域和黑色正方形区域的图像。第一图案图像63A1中的第一特征点是白色正方形区域的顶点与黑色正方形区域的顶点相会的点。

在图30中所示的示例中，将第二图案图像63A2部署在第一图案图像63A1的中心，并且其中，在网格中布置黑色圆点(黑色点状图像)。第二图案图像63A2中的第二特征点是黑色圆点。

在此情况下，图像处理装置18将第三图案图像63A初步存储在存储单元22中。投影控制单元24读取存储单元22中存储的第三图案图像63A，并控制投影单元14A以使得投影单元14A将第三图案图像63A投影在投影面12上。在拍摄控制单元26的控制下取得第三图案图像63A的第三拍摄图像63B。

第一校正单元30执行第一校正。第一校正单元30提取第三拍摄图像63B中的对应于第二图案图像63A2的区域，作为第二拍摄图像63B2。第一校正单元30提取第三拍摄图像63B中的对应于第一图案图像63A1的区域，作为第一拍摄图像63B1。第一校正单元30以与上述实施例相同的处理方式，使用第一拍摄图像63B1和第二拍摄图像63B2执行第一校正。第二校正单元32使用由第一校正单元30提取的第一拍摄图像63B1和第二拍摄图像63B2，执行与本实施例相同的处理。

这样，使用其中将第二图案图像63A2部署在第一图案图像63A1上的第三图案图像63A使得可以在一次拍摄时捕捉两个拍摄图像(第一拍摄图像63B1和第二拍摄图像63B2)。结果，除了本实施例的效果之外，还可以实现高速且简单的处理。

<修改示例2>

在本实施例中，第二图案图像60A对应于在第一图案图像62A的中心处的图像(参考图2)。然而，第二图案图像60A不限于在第一图案图像62A的中心处的图像，并且可以是第一图案图像62A中的任何区域的图像。

图31是图示第二图案图像60A的其它示例的示意图。图31中的部分(A)是图示如下情况的示意图：第二图案图像60A是与图2中的部分(A)中图示的第一图案图像62A中左上方的区域对应的区域的图像(第二图案图像64A)。图31中的部分(B)是图示如下情况的示意图：第二图案图像60A是与图2中的部分(A)中图示的第一图案图像62A中右下方的区域对应的区域的图像(第二图案图像65A)。第二图案图像64A和65A包括如本实施例中所述的多个第二特征点200。

根据投影装置14与投影面12之间的位置关系，在某些情况下不将投影图像的中心区域部署在投影面12上。假定这样的情况，则在假定将投影图像的任何区域(区域不限于中心区域)部署在投影面12上的情况下，优选地执行该处理。在此修改示例中，图像处理装置18例如包括显示单元和操作单元。显示单元是已知显示设备。操作单元在用户执行各种指令时由用户操作，并且例如是键盘或鼠标。

图像处理装置18在显示单元上显示诱导用户设置区域以使得该区域有可能作为投影图像被部署在投影面12上的信息。例如，图像处理装置18在显示单元上显示图2中的部分(A)中图示的第一图案图像62A、以及诱导用户指定对于第二图案图像的区域的信息。用户可以在操作操作单元的同时，指定第一图案图像62A中的任何区域作为第二图案图像60A(例如参考图31)。图像处理装置18然后执行与本实施例相同的处理。

结果，除了本实施例的效果之外，此修改示例使得可以根据投影面12以及图像处理系统10的设置条件执行第一校正信息的计算。

<修改示例3>

在本实施例中，第一图案图像和第二图案图像具有在网格中布置的多个特征点(第一特征点和第二特征点)。如上所述，第一图案图像和第二图案图像不限于具有在网格中布置的多个特征点(第一特征点和第二特征点)。

第一图案图像62A和第二图案图像60A不限于具有在网格中布置的特征点，只要特征点(第一特征点100和第二特征点200)的布置被初步存储在图像处理系统10的存储单元22中、并且特征点(第一特征点100和第二特征点200)之间的位置关系清楚即可。为了使特征点之间的位置关系清楚，可以初步设置布置规则，诸如，各个特征点不彼此重叠、或者特征点之间的距离等于或小于阈值，并且，可以在布置规则下布置各个特征点。

图32是图示第一图案图像和第二图案图像的示例的示意图。图32中的部分(A)是在本实施例中描述的、其中在网格中布置特征点(第一特征点100和第二特征点200)的第一图案图像62A和第二图案图像60A的示意图。

图32中的部分(B)是图示不在网格中布置特征点(第一特征点100和第二特征点200)的形式的示例的示意图。第一图案图像66A和第二图案图像67A可以适用，其中，不在网格中布置、而是在如图32中的部分(B)中所示的布置规则下布置特征点(第一特征点100和第二特征点200)。

<修改示例4>

在本实施例中，第二校正单元32校正投影目标图像，以使得在假定投影面12是大平面的情况下将投影图像投影在投影面12上。

然而，第二校正单元32可以校正投影目标图像，以使得将投影图像投影在由用户指定的指定区域(例如，诸如墙的凹陷区域的不均匀区域)上。

图33是此修改示例的说明图。在此情况下，第二校正单元32在显示单元(图示被省略)上显示由拍摄装置16取得的拍摄图像70。用户通过操作操作单元(图示被省略)指定显示的拍摄图像70中要被校正的区域。例如，在拍摄图像70中指定矩形区域70A。在此情况下，第二校正单元32可以使用由用户指定的矩形区域70A作为投影面12，并校正投影目标图像，以使得投影图像被投影在投影面12上。

<修改示例5>

在本实施例中，图像处理系统10包括图像处理装置18、投影装置14、以及拍摄装置16，如图1中所示。可以分开地提供图像处理装置18、投影装置14、以及拍摄装置16。

图34是图示信息处理系统10的结构的另一示例的示意图。如图34中所示，可以通过诸如网络的通信线路N耦接图像处理系统10B、投影装置140、以及拍摄装置160。投影装置140可以包括投影单元14A，而拍摄装置160可以包括拍摄单元16A。图像处理系统10B可以包括与图像处理装置18对应的图像处理装置18B。图像处理装置18B可以包括与控制器20对应的控制器20B。控制器20B可以包括获取单元28B、而非获取单元28。获取单元28B可以通过通信线路N从拍摄装置160获取拍摄图像。

<修改示例6>

由本实施例中的图像处理系统10执行的处理的部分可以由例如通过网络与图像处理系统10耦接的云计算系统中包括的装置执行。

图35是图示配备有云计算系统的图像处理系统的示例的示意图。如图35中所示，可以通过网络耦接图像处理系统10D和服务器704。

图像处理系统10D包括投影装置14、拍摄装置16、以及图像处理装置18D。图像处理装置18D包括控制器20D、而非控制器20。除了不包括第一校正单元30和第二校正单元32之外，控制器20D具有与控制器20相同的结构。

在云计算系统中提供的服务器704包括通信单元704A、与第一校正单元30对应的第一校正单元704B、与第二校正单元32对应的第二校正单元704C、以及存储单元704D。

控制器20D通过网络N将第一拍摄图像62B和第二拍摄图像60B发送至服务器704。在服务器704中，可以通过通信单元704A接收第一拍摄图像62B和第二拍摄图像60B。第一校正单元704B和第二校正单元704C可以执行校正。此后，可以将第一校正信息和第二校正信息、或校正的投影目标图像发送至图像处理系统10D。

图像处理系统10、10B和10D各自具有使用典型计算机的硬件配置，并且包括诸如CPU的控制器、诸如ROM或RAM的存储设备、诸如HDD或CD驱动器的外部存储设备、以及诸如键盘或鼠标的输入设备。

将用于实现由各个图像处理系统10、10B和10D执行的处理的计算机程序嵌入或提供在NV-RAM、ROM或另一非易失性存储介质中。可以将用于实现由各个图像处理系统10、10B和10D执行的处理的程序作为可安装或可执行文件，记录和提供在诸如CD-ROM、柔性盘(FD)、CD-R或DVD(数字通用盘)的计算机可读记录介质中。

可以将用于实现由各个图像处理系统10、10B和10D执行的处理的程序存储在与诸如因特网的网络连接的计算机中，并且通过经由网络下载而被提供或分发。

例如，可以将用于实现由各个图像处理系统10、10B和10D执行的处理的程序嵌入和提供在例如ROM中。

用于实现由各个图像处理系统10、10B和10D执行的处理的程序具有包括上述各个单元的模块结构。在实际硬件中，CPU(处理器)从存储介质读取该程序并执行该程序。一旦该程序被执行，各个单元就被加载到主存储装置中，使得在主存储装置中形成各个单元。

可以通过运行在计算机上的计算机程序执行用于实现由各个图像处理系统10、10B和10D执行的处理的程序。图36是图示典型计算机的结构的硬件结构图。计算机包括CPU2010、硬盘驱动器2000、显示器2030、通信设备2040、CD-ROM驱动器2050、存储器2060、以及键盘/鼠标2070。例如，可以通过CD-ROM驱动器2050读取诸如CD-ROM的记录介质中记录的用于实施该处理的程序。所读取的程序当被执行时可以被加载到存储器2060中，然后，可以通过来自CPU2010的命令顺序地执行该程序的处理步骤。用于该处理的各个图像被初步存储在硬盘驱动器2000中，或者在执行该处理时由拍摄装置16(在图36中省略其图示)取得并此后被加载在存储器2060中以被使用。

本发明不限于上述实施例。可以在不违背本发明的精神的情况下修改本实施例。

本发明可以提供如下优点：提供能够以高精度校正投影图像的失真的校正信息。

虽然已经为了完整和清楚的公开而关于具体实施例描述了本发明，但是所附权利要求书不被如此限制，而是应被解释为采用本领域技术人员可想到的所有修改和替代构造，其完全落入这里所阐明的基本教示内。

标号列表

10图像处理系统

14A投影单元

16A拍摄单元

18图像处理装置

24投影控制单元

26拍摄控制单元

28获取单元

30第一校正单元

32第二校正单元

38变换单元

40提取单元

40A坐标变换单元

40B识别单元

40C连接分量生成单元

42移位量计算单元

46第一计算单元

48第一校正处理单元

50三维坐标计算单元

52A近似平面计算单元

52B前图像计算单元

53C投影区域生成单元

54第二计算单元

56第二校正处理单元

Claims (9)

1.一种图像处理装置，包括：

投影控制单元，执行控制以使得：

将其中布置多个第一特征点的第一图案图像投影到投影面上，并且

将包括与所述第一特征点对应的多个第二特征点的第二图案图像投影到平面投影面上；

获取单元，从拍摄单元获取投影在所述投影面上的所投影的第一图案图像的第一拍摄图像、以及投影在所述平面投影面上的第二图案图像的第二拍摄图像；

提取单元，提取在预定方向上将所述第二拍摄图像中的第二特征点连接的第二连接分量、以及将所述第一拍摄图像中的在对应于所述第二连接分量中包括的第二特征点的位置处的第一特征点连接的第一连接分量；

移位量计算单元，计算所述第一连接分量相对于所述第二连接分量的移位量；以及

第一计算单元，基于所述移位量计算用于校正投影目标图像的第一校正信息。

2.如权利要求1所述的图像处理装置，其中，当拍摄所述第一图案图像时在所述投影面与投影装置之间的第一相对位置关系、和当拍摄所述第二图案图像时在所述平面投影面与所述投影装置之间的第二相对位置关系一致。

3.如权利要求1或2所述的图像处理装置，还包括：

变换单元，对所述第二拍摄图像上的第二特征点的第二坐标信息执行坐标变换，以将其变换为所述第一拍摄图像上的第一坐标信息，其中

所述提取单元提取将所述第二拍摄图像中的经坐标变换的第二特征点在预定方向上连接的所述第二连接分量、以及所述第一连接分量。

4.如权利要求3所述的图像处理装置，其中，所述提取单元包括：

识别单元，识别所述第二拍摄图像中的经坐标变换的第二特征点的每个在预定第一方向上的相邻第二特征点、以及所述第一拍摄图像中的第一特征点的每个在所述第一方向上的相邻第一特征点；以及

连接分量生成单元，生成将所述第二拍摄图像中的相邻第二特征点连接的所述第二连接分量、以及将所述第一拍摄图像中的相邻第一特征点连接的所述第一连接分量。

5.如权利要求1至4中的任一项所述的图像处理装置，还包括第一校正处理单元，其基于所述第一校正信息校正所述投影目标图像。

6.如权利要求5所述的图像处理装置，还包括：

三维坐标计算单元，使用所述第一图案图像和所述第一拍摄图像，计算投影在所述投影面上的第一图案图像的第一投影图像中的第一特征点的三维坐标；

近似平面计算单元，从所述第一特征点的三维坐标计算近似于平面投影目标面的近似平面；

前图像生成单元，生成通过从与所述近似平面垂直的方向拍摄所述第一投影图像而获得的前图像；

投影区域生成单元，从所述近似平面和所述前图像生成投影目标图像被投影在其上的投影区域；

第二计算单元，计算用于校正所述投影目标图像以使得所投影的投影目标图像在所述投影区域内的第二校正信息；以及

第二校正单元，基于所述第二校正信息校正基于所述第一校正信息校正的投影目标图像。

7.一种图像处理系统，包括：

如权利要求1至6中的任一项所述的图像处理装置；

投影单元，投影所述第一图案图像和所述第二图案图像；以及

所述拍摄单元，取得所述第一拍摄图像和所述第二拍摄图像。

8.一种图像处理方法，包括：

执行控制以使得：

将其中布置多个第一特征点的第一图案图像投影到投影面上，并且

将包括与所述第一特征点对应的多个第二特征点的第二图案图像投影到平面投影面上；

从拍摄单元获取投影在所述投影面上的所投影的第一图案图像的第一拍摄图像、以及投影在所述平面投影面上的第二图案图像的第二拍摄图像；

提取在预定方向上将所述第二拍摄图像中的第二特征点连接的第二连接分量、以及将所述第一拍摄图像中的在对应于所述第二连接分量中包括的第二特征点的位置处的第一特征点连接的第一连接分量；

计算所述第一连接分量相对于所述第二连接分量的移位量；以及

基于所述移位量计算用于校正投影目标图像的第一校正信息。

9.一种计算机程序，其使得计算机执行：

执行控制以使得：

将其中布置多个第一特征点的第一图案图像投影到投影面上，并且

将包括与所述第一特征点对应的多个第二特征点的第二图案图像投影到平面投影面上；

从拍摄单元获取投影在所述投影面上的所投影的第一图案图像的第一拍摄图像、以及投影在所述平面投影面上的第二图案图像的第二拍摄图像；

提取在预定方向上将所述第二拍摄图像中的第二特征点连接的第二连接分量、以及将所述第一拍摄图像中的在对应于所述第二连接分量中包括的第二特征点的位置处的第一特征点连接的第一连接分量；

计算所述第一连接分量相对于所述第二连接分量的移位量；以及

基于所述移位量计算用于校正投影目标图像的第一校正信息。