CN110741412A - 图像处理装置和方法 - Google Patents

Abstract

本公开涉及一种能够抑制对应点检测的精确度降低的图像处理装置和方法。向作为成像单元拍摄由投影单元投影的预定结构光图案的图像的结果而获得的拍摄图案图像应用单应性变换，并且使用应用了所述单应性变换的所述拍摄图案图像来检测由所述投影单元投影的所述投影图像与由所述成像单元拍摄到的所述拍摄图像之间的对应点。本公开可以应用于例如，图像处理装置、图像投影装置、控制装置、信息处理装置、投影成像系统、图像处理方法、程序等。

Description

图像处理装置和方法

技术领域

本公开涉及一种图像处理装置和方法，并且更具体地涉及一种能够抑制对应点检测的精确度降低的图像处理装置和方法。

背景技术

在相关技术中，为了减少由投影仪投影的投影图像的失真并且使来自多个投影仪的每个投影图像对准，存在一种方法，该方法利用摄像机来拍摄投影图像，并且使用拍摄到的图像来根据(多个)投影仪的位置和姿态、投影平面的形状等对投影图像执行几何校正。在这种方法的情况下，需要计算投影图像与拍摄到的图像之间的对应点。

例如，已经设想了将图案图像嵌入到内容图像中以进行投影的不可见结构光(ISL)方法作为在对内容图像进行投影时计算内容图像的对应点的技术，也被称为在线感测(例如，参见专利文献1)。利用ISL方法，通过将具有相同图案和相互相反的亮度变化方向的两个图案图像嵌入并且投影到内容图像的连续帧中，实现了图案的不可见性。

同时，近年来，已经开发出了超短焦投影仪，与普通的投影仪相比较，即使在该超短焦投影仪安装在非常接近投影平面的位置处的情况下，该超短焦投影仪也能够辐射大投影。在通过使用这种超短焦投影仪来通过ISL方法执行失真校正的情况下，可以想到将摄像机并入超短焦投影仪以使工作更容易。

引文列表

专利文献

专利文献1：日本专利申请特开第2013-192098号

发明内容

本发明要解决的问题

然而，在这种情况下，摄像机将以例如，在投影平面附近从下向上看的角度来拍摄投影图像的图像，在拍摄到的图像中的图案失真将增加等，并且存在以下担忧：检测对应点的精确度将降低。

鉴于这种情况设计了本公开，并且本公开能够抑制对应点检测的精确度降低。

问题解决方案

根据本技术的方面的图像处理装置包括：对应点检测单元，该对应点检测单元向作为成像单元拍摄由投影单元投影的预定结构光图案的图像的结果而获得的拍摄图案图像应用单应性变换，并且使用应用了单应性变换的拍摄图案图像来检测由投影单元投影的投影图像与由成像单元拍摄到的拍摄图像之间的对应点。

根据本技术的方面的图像处理方法包括：向作为成像单元拍摄由投影单元投影的预定结构光图案的图像的结果而获得的拍摄图案图像应用单应性变换，以及使用应用了单应性变换的拍摄图案图像来检测由投影单元投影的投影图像与由成像单元拍摄到的拍摄图像之间的对应点。

在根据本技术的方面的图像处理装置和方法中，向作为成像单元拍摄由投影单元投影的预定结构光图案的图像的结果而获得的拍摄图案图像应用单应性变换，并且使用应用了单应性变换的拍摄图案图像来检测由投影单元投影的投影图像与由成像单元拍摄到的拍摄图像之间的对应点。

发明效果

根据本公开，可以处理图像。具体地，可以抑制对应点检测的精确度降低。

附图说明

图1是图示了执行几何校正的方式的示例的示意图。

图2是图示了执行几何校正的方式的示例的示意图。

图3是图示了执行几何校正的方式的示例的示意图。

图4是图示了检测对应点的方式的示例的示意图。

图5是图示了检测对应点的方式的示例的示意图。

图6是图示了检测对应点的方式的示例的示意图。

图7是说明了ISL的示例的示意图。

图8是图示了结构光图案的示例的示意图。

图9是图示了结构光图案的阳像和阴像的示例的示意图。

图10是图示了超短焦投影仪对图像进行投影的方式的示例的示意图。

图11是图示了拍摄图案图像的示例的示意图。

图12是图示了执行单应性变换的方式的示例的示意图。

图13是图示了设计值的示例的示意图。

图14是图示了投影成像系统的示例性主要配置的框图。

图15是图示了控制装置的示例性主要配置的框图。

图16是图示了由控制装置实现的示例性功能的功能框图。

图17是图示了由投影成像处理单元实现的示例性功能的功能框图。

图18是图示了由对应点检测处理单元实现的示例性功能的功能框图。

图19是图示了投影成像装置的壳体的示例的示意图。

图20是图示了投影成像装置的示例性主要配置的框图。

图21是图示了投影单元的示例性主要配置的框图。

图22是图示了激光束扫描的示例的示意图。

图23是说明了几何校正处理的流程的示例的流程图。

图24是说明了投影成像处理的流程的示例的流程图。

图25是说明了对应点检测处理的流程的示例的流程图。

图26是图示了图案重心检测结果的示例的示意图。

图27是图示了单应性变换误差的示例的示意图。

图28是图示了单应性变换误差的示例的示意图。

图29是图示了投影成像装置的壳体的示例的示意图。

图30是图示了投影成像系统的另一示例性配置的框图。

图31是图示了投影成像系统和投影成像装置的示例性主要配置的框图。

具体实施方式

在下文中，将描述用于实施本公开的实施例(以下称为实施例)。注意，将按照以下顺序来进行描述。

1.ISL方法和对应点检测

2.第一实施例(投影成像系统)

3.第二实施例(投影成像系统/投影成像装置)

4.其他

<1.ISL方法和对应点检测>

<对应点检测和几何校正>

取决于相对于投影仪的投影平面(诸如，屏幕或者墙壁)的姿态(诸如，位置和方向)、投影平面的形状等，在一些情况下，投影的图像(也被称为投影图像)可能失真并且难以看到，例如，如同图1的A。在这种情况下，通过对由投影仪投影的图像执行几何校正(诸如，失真校正)，可以使投影图像减少失真并且更容易看到，如同图1的B的示例。

而且，如同图2的示例，存在利用多个投影仪来对图像进行投影并且使得形成单个投影图像的系统。例如，存在一种通过从多个投影仪将图像投影到彼此相同的位置来增加对比率并且实现高动态范围的方法，如同图2的A。作为另一示例，存在一种通过布置分别从多个投影仪投影的投影图像来实现比由单个投影仪投影的投影图像大的投影图像(分辨率比由单个投影仪投影的投影图像高的投影图像)的方法，如同图2的B。在这些方法的情况下，如果从每个投影仪投影的投影图像之间的位置关系不适当，则投影图像可能彼此未对准并且彼此叠加，或者可能产生不需要的间隙，并且存在以下担忧：整个投影图像的图像质量将降低。因此，在一些情况下，不仅需要对每个投影图像执行上面描述的失真校正，而且需要执行几何校正，诸如，投影图像彼此对准。

通过按照这种方式来对图像执行几何校正，即使在如同图3中的示例的从多个投影仪将图像投影到弯曲的投影平面上的情况下，也可以将图像投影为看起来像单个图像。注意，在布置多个投影图像以像图2的B和图3中的示例那样形成较大的投影图像的情况下，通过部分地使相邻的投影图像彼此叠加(重叠)，可以更容易地执行对准，如同图3的示例。

这种几何校正也可以由操作投影仪的操作员等手动执行，但是存在以下担忧：麻烦的工作将是必要的。因此，已经设想了一种使用摄像机来拍摄由投影仪投影的投影图像的图像并且使用拍摄到的图像来执行几何校正的方法。

例如，如同图4中的示例，通过投影仪11来将预定设计的标准光图案12投影到屏幕13上，并且通过摄像机14来使投影的标准光图案12成像以获得拍摄图像15。随后，基于对标准光图案12的设计来计算标准光图案12与拍摄图像15之间的对应点，基于对应点按照三角测量等来计算投影仪11与摄像机14之间的姿态(位置关系)、屏幕13的形状等，并且基于结果来执行几何校正。通过按照这种方式来执行处理，可以比在手动情况下更容易地执行几何校正。

在按照这种方式使用摄像机来执行几何校正的情况下，需要计算投影图像(或者待投影的图像)与拍摄图像之间的对应点(投影图像和拍摄图像中与投影平面中彼此相同的位置对应的像素)。换句话说，需要计算摄像机14的像素(拍摄图像15)与投影仪11的像素(标准光图案12)之间的对应关系。

而且，在像图2和图3中的示例一样使用多个投影仪的情况下，还需要计算每个投影图像彼此之间的位置关系。

例如，如同图5中的示例，假设待通过包括投影单元21-1(投影仪)和成像单元22-1(摄像机)的投影成像装置20-1与包括投影单元21-2(投影仪)和成像单元22-2(摄像机)的投影成像装置20-2之间的协作来对图像进行投影。在本文中，在描述中不必区分投影成像装置20-1和投影成像装置20-2的情况下，投影成像装置20-1和投影成像装置20-2将被称为(多个)投影成像装置20。而且，在描述中不必区分投影单元21-1和投影单元21-2的情况下，投影单元21-1和投影单元21-2将被称为(多个)投影单元21。此外，在描述中不必区分成像单元22-1和成像单元22-2的情况下，成像单元22-1和成像单元22-2将被称为(多个)成像单元22。

如在图5中图示的，投影成像装置20-1的投影单元21-1在投影平面23中的投影区域(投影图像的范围)是从P0L到P0R的范围。而且，投影成像装置20-2的投影单元21-2在投影平面23中的投影区域是从P1L到P1R的范围。换句话说，通过双箭头24指示的范围(从P1L到P0R的范围)成为投影图像彼此叠加的重叠区域。

注意，投影成像装置20-1的成像单元22-1在投影平面23中的成像区域(包括在拍摄图像中的范围)是从C0L到C0R的范围。而且，投影成像装置20-2的成像单元22-2在投影平面23中的成像区域(包括在拍摄图像中的范围)是从C1L到C1R的范围。

在这种系统的情况下，如上所述，为了使投影图像彼此对准，不仅需要计算每个投影成像装置20中的投影单元21和成像单元22之间的对应点，而且需要计算不同的投影成像装置20中的投影单元21和成像单元22之间的对应点。因此，与图6中一样，例如，从投影单元21-1的特定像素辐射光(箭头27)、在投影平面23中的X处使光反射并且接收光(箭头28)，由此，计算出成像单元22-2的像素。而且，还在投影单元21-2与成像单元22-1之间计算相似的像素对应关系。

按照这种方式，通过计算针对其可以计算对应点的所有投影单元21和成像单元22之间的对应点，可以通过几何校正来执行使重叠区域的对准(通过双箭头24说明的范围)。

<在线感测>

虽然可以想到在开始对视觉图像进行投影之前为了进行几何校正而执行这种对应点检测，但是由于外部干扰等(诸如，在对视觉图像进行投影时的温度和振动)，存在以下担忧：在初始安装之后，对应点将发生移位。如果对应点发生移位，则几何校正变得不适当，并且存在以下担忧：投影图像将失真和未对准。

在这种情况下，需要重新检测对应点，但是对于正观看视觉图像的用户而言，为此而中断对视觉图像的投影是不受欢迎的(存在以下担忧：降低用户满意度)。因此，已经设想了在继续对视觉图像进行投影的同时检测对应点的方法(在线感测)。

例如，已经设想了使用不可见光(诸如，红外光)的方法、使用图像特征(诸如，SIFT)的方法、不可见结构光(ISL)方法等作为在线感测技术。在使用不可见光(诸如，红外光)的方法的情况下，由于对不可见光进行投影的投影仪(例如，红外光投影仪)也是必要的，因此，存在以下担忧：成本增加。而且，在使用图像特征(诸如，SIFT)的情况下，由于对应点的检测精确度和检测密度取决于要投影的图像内容，因此，难以按照稳定的精确度来执行对应点检测。

相反，由于ISL方法的案例使用可见光，因此，可以抑制系统的结构元件增加(即，成本增加)。而且，可以按照稳定的精确度来执行对应点检测，而不取决于要投影的图像。

<ISL方法>

ISL方法是以下技术：对预定图案图像(即，结构光图案)进行正转化和负转化并且将其嵌入到投影中，并且对图像进行投影，使得预定图案图像不被人类所感知。

如在图7中图示的，通过将预定结构光图案添加到输入图像的特定帧，投影仪生成以下帧图像：在该帧图像中，结构光图案的阳像与输入图像(内容图像)合成，以及通过从输入图像的下一帧中减去结构光图案，投影仪生成以下帧图像：在该帧图像中，结构光图案的阴像与输入图像合成。随后，投影仪连续对这些帧进行投影。高速切换的两个正帧和负帧被组合并且由于整合效果而在人眼中被感知为一个帧。结果，对于正观看投影图像的用户，难以识别嵌入在输入图像中的结构光图案。

相反，摄像机拍摄这些帧的投影图像的图像，并且通过计算两个帧的投影图像之间的差异，仅提取包括在拍摄图像中的结构光图案。使用提取的结构光图案来执行对应点检测。

按照这种方式，利用ISL方法，由于可以通过简单地计算拍摄图像之间的差异来容易地提取结构光图案，因此，理想地，以稳定的精确度来执行对应点检测，而不取决于要投影的图像。

<结构光图案的结构>

在图8中图示了结构光图案的具体示例。在图8中图示的图案图像100是ISL方法中叠加地投影到内容图像上的结构光图案。图案图像100用于检测由投影单元投影的投影图像与由成像单元拍摄到的拍摄图像之间的对应点(即，投影单元与成像单元之间的像素对应关系)，并且如在图8中图示的，包括与周围环境具有不同亮度值的多个椭圆亮度分布图案101。换句话说，在图案图像100中，布置(形成)有与周围环境具有不同亮度值的多个图案101。

在图8中，白色椭圆图案101说明了亮度变化方向是正方向的图案的示例，而黑色椭圆图案101说明了亮度变化方向是负方向的图案的示例。每个图案101可以具有任何大小，并且图案101的大小可以彼此相同，或者可以包括具有不同大小的图案101。而且，图案101可以具有彼此相同的亮度分布，或者可以包括具有不同亮度分布的图案101。

在ISL方法的案例中，将具有这种配置的图案图像100叠加地投影到另一图像(例如，内容图像)上。此时，与参照图7描述的情况相似，将图案图像100的亮度值添加到内容图像的特定帧并且对其进行投影，但是从下一帧中减去图案图像100的亮度值并且对其进行投影。换句话说，将图案图像100叠加到内容图像上作为如在图9中图示的阳像100-1和阴像100-2。该阴像100-2是通过使阳像100-1中的亮度值的符号反转而获得的图像。换句话说，阳像100-1和阴像100-2具有彼此相同的图案形状，并且还具有相互相反的亮度变化方向。

通过对这种阳像100-1和阴像100-2进行投影以叠加到两个连续的帧上，由于整合效果，可以使观看投影图像的用户没那么能够感知图案图像100(其可以促进图案图像100的不可见性)。

<超短焦投影仪>

同时，存在超短焦投影仪，与普通的投影仪相比较，即使在该超短焦投影仪安装在非常接近投影平面的位置处的情况下，该超短焦投影仪也能够辐射大投影。例如，如在图10中图示的，超短焦投影仪111安装在墙壁113附近，诸如，在桌子112的顶部，并且将图像(投影图像114)投影到墙壁113上。换句话说，超短焦投影仪111从投影平面附近执行图像投影，例如，仿佛从下向上看投影图像114。

而且，如果假设上面描述的ISL方法所需的投影仪和摄像机形成为单独的装置并且分别可安装在任何位置，则需要计算这些装置的相对位置以在对应点检测(失真校正)中正确地执行三角测量。通过在单个壳体中设置(集成)投影仪和摄像机，可以将这些装置的相对位置视为已知信息(计算相对位置的工作变得不必要)，并且因此，可以使对应点检测(失真校正)更容易(简化)。

然而，如果摄像机并入超短焦投影仪111，则摄像机将以例如，在投影平面附近从下向上看的角度来拍摄投影图像的图像，在拍摄到的图像中的图案失真将增加，并且存在以下担忧：检测对应点的精确度将降低。例如，图11的A中的拍摄图案图像121是图案图像的通过从正面拍摄投影图像的图像而获得的拍摄图像。当通过在投影平面附近从下向上看投影图像来拍摄该图案图像的图像时，拍摄到的图案图像变得像在图11的B中图示的示例一样。如在图11的B中图示的，在这种情况下的拍摄图案图像122中，例如，图案很大程度地失真，并且根据位置，每个图案的像素数量大大减少。因此，存在以下担忧：对应点检测的精确度降低。

<向图案图像应用单应性变换>

因此，向作为成像单元拍摄由投影单元投影的预定结构光图案的图像的结果而获得的拍摄图案图像应用单应性变换，并且通过使用应用了单应性变换的拍摄图案图像，检测由投影单元投影的投影图像与由成像单元拍摄到的拍摄图像之间的对应点。

例如，通过使用单应性变换(投影变换)来将在检测到的拍摄图案图像122(如在图11的B中图示的)中布置图案的平面投影到投影平面中如从正面看到的平面上。通过按照这种方式将图案转换为如从正面看到的投影平面的状态，可以抑制图案失真、大小变化等(换句话说，使图案更接近要投影的图像中的图案的形状)。因此，通过在单应性变换之后使用拍摄图案图像来检测对应点，可以抑制对应点检测的精确度降低。

<系统单应性变换>

作为单应性变换，例如，可以应用基于投影单元(例如，投影仪)和成像单元(例如，摄像机)的已知设计信息(设计值)的单应性变换。基于设计值的这种单应性变换也被称为系统单应性变换。

例如，如在图12中图示的，通过使用从设计值计算得出的系统单应性矩阵Hs来将在图11的B中的拍摄图案图像122中布置图案的平面(的每个坐标)投影到投影平面中如从正面看到的平面(坐标系)上。通过按照这种方式来将系统单应性变换应用于拍摄图案图像122，获得拍摄图案图像123。换句话说，可以抑制图案失真、大小变化等。因此，通过在系统单应性变换之后使用拍摄图案图像123来检测对应点，可以抑制对应点检测的精确度降低。

可以按照任何方式来计算系统单应性矩阵Hs，但是例如，可以通过使用投影图像的四个角落点来计算系统单应性矩阵Hs。例如，计算投影平面中的投影图像的四个角落点的世界坐标(P1、P2、P3和P4)。例如，如在图13的A中图示的，假设世界坐标的原点被设置为投影的中心，则在垂直方向上的大小为b(mm)，并且x坐标以及y坐标是1(mm)＝1，投影图像的四个角落的世界坐标为P1(a/2,b/2)、P2(a/2,-b/2)、P3(-a/2,-b/2)和P4(-a/2,b/2)。

接下来，通过使用有关摄像机(成像单元)大致已知的内部参数来将四个角落的世界坐标(P1至P4)变换为摄像机坐标系。换句话说，例如，通过使用有关图像单元的位置、图像拍摄方向、视角等的信息来指定投影到投影平面上的投影图像的四个角落点采取拍摄图像中的哪些位置(坐标)(即，投影平面与拍摄图像之间的对应关系)。例如，如在图13的B中图示的，如果该信息是已知的，则可以容易地计算投影平面(世界坐标)与拍摄图像(摄像机坐标系)之间的这种对应关系(即，系统单应性矩阵Hs)。

换句话说，通过应用系统单应性变换作为单应性变换，可以更容易地抑制对应点检测的精确度降低。

注意，为了在单应性变换后使在坐标系中检测到的对应点恢复回原始坐标系(拍摄图案图像122的坐标系)，对该对应点执行单应性变换的逆变换(也被称为逆单应性变换)就足够了。因此，例如，为了在系统单应性变换之后将在坐标系中检测到的对应点恢复回原始坐标系，如在图12中图示的，对获得的对应点P执行上面描述的系统单应性变换的逆变换(Hs-1P)(也被称为逆系统单应性变换)就足够了。换句话说，在这种情况下，将系统单应性矩阵Hs的逆矩阵Hs-1视为单应性矩阵。

然而，系统单应性变换是基于若干约束导出的，诸如，投影单元(投影仪)和投影平面是平行的，并且在某种程度上已知成像单元(摄像机)的内部参数，并且在实际操作期间可能产生错误。

<算法单应性变换>

因此，如在图12中图示的，作为上面描述的单应性变换，不仅是系统单应性变换，而且还可以向拍摄图案图像123应用针对图像的坐标系的单应性变换，该图像由投影单元投影并且基于有关在系统单应性变换之后通过使用拍摄图案图像123检测到的对应点的信息。基于对应点的这种单应性变换也被称为算法单应性变换。

例如，如在图12中图示的，通过使用从由投影单元投影的图像与由成像单元拍摄到的拍摄图像之间的对应点计算得出的算法单应性矩阵Ha，将在拍摄图案图像123中布置图案的平面(的每个坐标)投影到由投影单元投影的图像的坐标系(平面)上，通过使用拍摄图案图像123来计算对应点。通过按照这种方式来另外将算法单应性变换应用于拍摄图案图像123，获得拍摄图案图像124。换句话说，可以进一步抑制图案失真、大小变化等。因此，通过在算法单应性变换之后使用拍摄图案图像124来检测对应点，可以进一步抑制对应点检测的精确度降低。

注意，为了在算法单应性变换之后将在坐标系中检测到的对应点恢复回原始坐标系(拍摄图案图像123的坐标系)，如在图12中图示的，对获得的对应点P执行上面描述的算法单应性变换的逆变换(Ha-1P)(也被称为逆算法单应性变换)就足够了。换句话说，在这种情况下，将算法单应性矩阵Ha的逆矩阵Ha-1视为单应性矩阵。注意，通过另外应用逆系统单应性变换，可以将对应点恢复回拍摄图案图像122的坐标系。

<2.第一实施例>

<投影成像系统>

接下来，将描述通过使用如上所述图案图像100来检测对应点。图14是图示了应用本技术的投影成像系统的一个实施例的示例性主要配置的框图。在图14中，投影成像系统300是能够进行以下操作的系统：根据应用在<1.ISL方法和对应点检测>中描述的本技术的方法来通过ISL方法对图像进行投影，拍摄投影图像的图像，并且执行对应点检测。

如在图14中图示的，投影成像系统300包括控制装置301和投影成像装置302-1至302-N(其中，N是任何自然数)。投影成像装置302-1至302-N分别经由电缆303-1至303-N连接至控制装置301。

在下文中，在描述中不必区分投影成像装置302-1至302-N的情况下，投影成像装置302-1至302-N将被称为(多个)投影成像装置302。而且，在描述中不必区分电缆303-1至303-N的情况下，电缆303-1至303-N将被称为(多条)电缆303。

控制装置301通过电缆303来控制每个投影成像装置302。例如，控制装置301可以提供要投影的图像并且使每个投影成像装置302对该图像进行投影。作为另一示例，控制装置301可以指示每个投影成像装置302拍摄投影图像的图像等，并且获得拍摄到的图像。作为再一示例，控制装置301可以检测投影图像与拍摄到的图像之间的对应点，并且基于计算得出的对应点来对待由每个投影成像装置302投影的图像执行几何校正。注意，除了对待投影的图像执行的图像处理(诸如，放大、缩小和变形)之外，几何校正还可以包括对每个投影成像装置302的光学系统的控制等(诸如，例如，控制投影方向、图像拍摄方向等)。

投影成像装置302-1至302-N分别包括对图像进行投影的投影单元311-1至311-N以及拍摄物体的图像的成像单元312-1至312-N。在下文中，在描述中不必区分投影单元311-1至311-N的情况下，投影单元311-1至311-N将被称为(多个)投影单元311。而且，在描述中不必区分成像单元312-1至312-N的情况下，成像单元312-1至312-N将被称为(多个)成像单元312。

投影单元311具有所谓的投影仪的功能。换句话说，可以通过使用投影单元311来将投影成像装置302作为投影仪驱动。例如，投影成像装置302可以使用投影单元311来将从控制装置301提供的图像投影到任何投影表面上。

成像单元312具有所谓的摄像机的功能。换句话说，可以通过使用成像单元312来将投影成像装置302作为摄像机驱动。例如，投影成像装置302可以使用成像单元312来拍摄投影单元311将图像投影到其上的投影平面的图像，并且将拍摄到的图像的所获得的数据提供至控制装置301。

换句话说，投影成像装置302具有所谓的投影仪的功能和所谓的摄像机的功能，并且例如，能够将图像投影到投影平面上并且拍摄投影平面的图像。此外，作为投影仪的功能，投影成像装置302具有所谓的超短焦投影仪的功能，并且与普通的投影仪相比较，即使在投影成像装置302安装在非常接近投影平面的位置处的情况下，投影成像装置302也能够辐射大投影。换句话说，例如，如在图10中图示的，投影成像装置302安装在充当投影平面的墙壁113附近，并且对图像进行投影以及从该位置拍摄投影平面的图像。

可以存在任何数量的投影成像装置302，无论是单个装置还是多个装置。在存在多个投影成像装置302的情况下，在控制装置301的控制下，如参照图2和图3描述的，投影成像装置302可以分别彼此协作并且对图像进行投影。换句话说，在这种情况下的投影成像系统300是所谓的多投影系统，并且能够实现所谓的投影映射。

注意，投影单元311对图像进行投影的投影方向和放大率以及对投影图像的失真校正等也可以是可控的。为了实现这种控制，例如，包括在投影单元311中的光学系统或者整个投影单元311的位置和姿态可以是可控的。

另外，成像单元312拍摄图像的图像拍摄方向和视角以及对拍摄到的图像的失真校正等也可以是可控的。为了实现这种控制，例如，包括在成像单元312中的光学系统或者整个成像单元312的位置和姿态可以是可控的。

此外，这种对投影单元311的控制和对成像单元312的控制可以独立于彼此执行。而且，投影成像装置302的位置和姿态可以是可控的。注意，对投影单元311、成像单元312和投影成像装置302的这种控制可以由控制装置301或者不同于控制装置301的装置执行。

电缆303是任何通信标准的电通信电缆，通过该电通信电缆，可以形成控制装置301与投影成像装置302之间的通信信道。注意，控制装置301和投影成像装置302能够彼此通信就足够了，并且例如，控制装置301和投影成像装置302还可以通过无线通信连接。在这种情况下，可以省略电缆303。

在这种投影成像系统300中，为了对图像执行几何校正，控制装置301在每个投影单元311与每个成像单元312之间执行对应点检测。例如，控制装置301可以根据在线感测ISL方法来执行对应点检测。此时，控制装置301可以执行应用本技术的对应点检测。

<控制装置>

图15是图示了作为应用本技术的图像处理装置的一个实施例的控制装置301的示例性主要配置的框图。

如在图15中图示的，控制装置301包括中央处理单元(CPU)321、只读存储器(ROM)322、随机存取存储器(RAM)323、总线324、输入/输出接口330、输入单元331、输出单元332、存储单元333、通信单元334和驱动器335。

CPU 321、ROM 322和RAM 323通过总线324相互连接。此外，输入/输出接口330也连接至总线324。输入单元331、输出单元332、存储单元333、通信单元334和驱动器335连接至输入/输出接口330。

输入单元331包括接收外部信息(诸如，用户输入)的输入装置。例如，输入单元331可以包括键盘、鼠标、操作按钮、触摸板、摄像机、麦克风、输入终端等。此外，各种传感器(诸如，加速度传感器、光学传感器和温度传感器)和输入装置(诸如，条形码读取器)也可以包括在输入单元331中。输出单元332包括输出信息(诸如，图像和声音)的输出装置。例如，输出单元332可以包括显示器、扬声器、输出终端等。

存储单元333包括存储信息(诸如，程序和数据)的存储介质。例如，存储单元333可以包括硬盘、RAM盘、非易失性存储器等。通信单元334包括通过经由预定通信介质(任何网络，诸如，例如，互联网)与外部装置交换信息(诸如，程序和数据)来进行通信的通信装置。例如，通信单元334可以包括网络接口。例如，通信单元334与在控制装置301外部的装置通信(交换程序和数据)。注意，通信单元334可以具有有线通信功能、无线通信功能或者两者。

驱动器335读出存储在加载到驱动器335本身中的可移动介质341(诸如，例如，磁盘、光盘、磁光盘或者半导体存储器)中的信息(诸如，程序和数据)。驱动器335将从可移动介质341读出的信息提供至CPU 321、RAM 323等。而且，在可写可移动介质341被加载到驱动器335本身中的情况下，驱动器335能够使得将从CPU 321、RAM 323等提供的信息(诸如，程序和数据)存储在可移动介质341中。

例如，CPU 321通过输入/输出接口330和总线324将存储在存储单元333中的程序加载到RAM 323中并且执行该程序来执行各种处理。RAM 323还适当地存储CPU 321执行各种处理等所需的数据。

通过按照这种方式来执行程序等，CPU 321可以执行与检测对应点有关的处理，诸如，例如，与在<1.ISL方法和对应点检测>中描述的那些处理一样的处理。

<控制装置功能块>

图16是图示了由控制装置301执行程序等实现的功能的示例的功能框图。如在图16中图示的，通过执行程序，例如，控制装置301用作投影成像处理单元351、对应点检测处理单元352和几何校正处理单元353。

投影成像处理单元351执行与图像投影和图像拍摄有关的处理。例如，投影成像处理单元351对待由投影单元311投影的图像执行图像处理等。而且，投影成像处理单元351控制投影单元311以执行与控制图像投影有关的处理。此外，投影成像处理单元351控制成像单元312以执行与控制图像拍摄有关的处理。

更具体地，例如，投影成像处理单元351如在<1.ISL方法和对应点检测>中的<ISL方法>等中描述的那样使图案图像和内容图像合成，控制对合成图像进行投影，控制对投影图像进行图像拍摄等。明显地，投影成像处理单元351可以执行任何处理，而不限于上述处理。

对应点检测处理单元352基于在投影成像处理单元351的控制下拍摄到的拍摄图像来执行与检测对应点有关的处理。例如，对应点检测处理单元352执行与在<1.ISL方法和对应点检测>中的<ISL方法>、<向图案图像应用单应性变换>、<系统单应性变换>、<算法单应性变换>等中描述的那些处理一样的处理。

更具体地，例如，对应点检测处理单元352执行处理，诸如：从具有与拍摄图案图像122(图12)的合成一样的合成的拍摄图案图像生成图案差分图像、系统单应性变换、算法单应性变换、对应点检测和逆单应性变换。明显地，对应点检测处理单元352可以执行任何处理，而不限于上述处理。

几何校正处理单元353执行与对要投影的图像进行几何校正有关的处理。例如，几何校正处理单元353基于由对应点检测处理单元352检测的对应点来执行处理(诸如，对投影单元等进行姿态估计、重新配置屏幕(投影平面)以及对要投影的图像进行几何校正)。明显地，几何校正处理单元353可以执行任何处理，而不限于上述处理。

注意，块能够根据需要彼此交换信息(诸如，例如，命令和数据)。

<投影成像处理单元>

在图17中图示了投影成像处理单元351中所包括的功能的示例。在图17中，投影成像处理单元351包括通过功能块(诸如，例如，处理控制单元361、投影控制单元362和成像控制单元363)说明的功能。

处理控制单元361执行与控制投影成像处理有关的处理。例如，处理控制单元361执行诸如选择要处理的投影单元和管理处理计数等处理。明显地，处理控制单元361可以执行任何处理，而不限于上述处理。

投影控制单元362执行与控制图像投影有关的处理。例如，投影控制单元362可以将图案图像(结构光图案的阳像或者阴像)叠加(合成)到另一图像(诸如，例如，内容图像)上，将合成图像(叠加图像)提供至投影单元311，并且通过控制投影单元311来控制对合成图像(叠加图像)的投影。例如，如在图8和图9中图示的，投影控制单元362通过使用包括具有多个亮度变化方向和纵向方向的椭圆图案101的图案图像100根据如参照图7等描述的ISL方法来对图案图像进行投影。明显地，投影控制单元362可以执行任何处理，而不限于上述处理。

成像控制单元363执行与控制通过投影单元311来对投影在投影平面上的投影图像进行图像拍摄有关的处理。例如，成像控制单元363控制成像单元312在与由投影单元311进行的图像投影对应的定时拍摄投影图像的图像，该图像投影由投影控制单元362控制。即，成像控制单元363根据如参照图7等描述的ISL方法来执行与对图案图像的投影对应的图像拍摄。换句话说，成像控制单元363控制成像单元312生成拍摄图案图像，该拍摄图案图像是叠加地投影到另一图像上的结构光图案的拍摄图像。

如参照图10至图12等描述的，由于投影成像装置302安装在投影平面附近，因此，成像单元312将沿着例如，在投影平面附近从下向上看的方向拍摄图像。换句话说，在成像控制单元363的控制下，例如，生成具有与在图12中图示的拍摄图案图像122的合成一样的合成的拍摄图案图像。明显地，成像控制单元363可以执行任何处理，而不限于上述处理。

注意，块能够根据需要彼此交换信息(诸如，例如，命令和数据)。

<对应点检测处理单元>

在图18中图示了对应点检测处理单元352中所包括的功能的示例。在图18中，对应点检测处理单元352包括通过功能块(诸如，例如，控制单元371、降噪单元372、图案差分图像生成单元373、系统单应性变换单元374、对应点检测单元375、算法单应性变换单元376、对应点检测单元377和逆单应性变换单元378)说明的功能。

控制单元371执行与控制对应点检测有关的处理。例如，控制单元371执行诸如选择要处理的拍摄图案图像等处理。明显地，控制单元371可以执行任何处理，而不限于上述处理。

降噪单元372执行与减少拍摄图像中的噪声有关的处理。例如，降噪单元372通过添加通过成像单元312拍摄合成图像(叠加图像)中的投影图像的图像而获得的拍摄图案图像(例如，包括阳像的拍摄图案图像或者包括阴像的拍摄图案图像)来减少该拍摄图案图像中的噪声(改善S/N比)，在这些合成图像(叠加图像)中，相同类型的图案图像与内容图像合成(叠加到内容图像上)并且由投影单元311进行投影。换句话说，多个投影图像中的每个投影图像的拍摄图像包括相同的亮度变化方向被添加在一起的结构光图案。明显地，降噪单元372可以执行任何处理，而不限于上述处理。

图案差分图像生成单元373执行与检测图案101有关的处理。例如，图案差分图像生成单元373通过计算通过拍摄合成图像(叠加图像)中的投影图像的图像而获得的拍摄图案图像之间的差异来生成图案差分图像，在该合成图像(叠加图像)中，不同类型的图案图像与内容图像合成(叠加到内容图像上)(例如，通过从包括阳像的拍摄图案图像中减去包括阴像的拍摄图案图像)。换句话说，图案差分图像是包括结构光图案的两个投影图像的相应拍摄图像的差分图像，这两个投影图像具有彼此相同的形状，并且还具有相互相反的亮度变化方向。

由于该差异，在图案差分图像中，抵消并且抑制了拍摄图案图像中所包括的内容图像的分量，并且相反地，使图案101的分量合成，使得亮度变化方向变为彼此相同的方向，并且强调亮度变化方向。即，根据该处理，从拍摄图案图像中检测到图案101。换句话说，图案差分图像是包括检测到的图案101的图像。明显的，图案差分图像生成单元373可以执行任何处理，而不限于上述处理。

系统单应性变换单元374执行与基于设计值的单应性变换有关的处理。例如，系统单应性变换单元374执行与在<1.ISL方法和对应点检测>中的<系统单应性变换>等中描述的那些处理一样的处理。例如，通过将系统单应性变换应用于由图案差分图像生成单元373生成的图案差分图像，系统单应性变换单元374将图案差分图像(即，布置图案101的平面)中的图案101投影到投影平面的从正面看到的平面上。明显地，系统单应性变换单元374可以执行任何处理，而不限于上述处理。

对应点检测单元375执行与检测对应点有关的处理。例如，对应点检测单元375执行与在<1.ISL方法和对应点检测>中的<系统单应性变换>等中描述的那些处理一样的处理。例如，对应点检测单元375使用系统单应性变换图案差分图像中的图案101来检测投影图像与拍摄图像之间的对应点(换句话说，投影单元311的像素与成像单元312的像素之间的对应关系)。明显地，对应点检测单元375可以执行任何处理，而不限于上述处理。

算法单应性变换单元376执行与基于对应点的单应性变换有关的处理。例如，算法单应性变换单元376执行与在<1.ISL方法和对应点检测>中的<算法单应性变换>等中描述的那些处理一样的处理。例如，通过将算法单应性变换应用于系统单应性变换图案差分图像，算法单应性变换单元376将图案差分图像(即，布置图案101的平面)中的图案101投影到待由投影单元311投影的图像(或者投影图像)的平面上。明显地，算法单应性变换单元376可以执行任何处理，而不限于上述处理。

对应点检测单元377执行与检测对应点有关的处理。例如，对应点检测单元377执行与在<1.ISL方法和对应点检测>中的<算法单应性变换>等中描述的那些处理一样的处理。例如，对应点检测单元377使用算法单应性变换图案差分图像中的图案101来检测投影图像与拍摄图像之间的对应点(换句话说，投影单元311的像素与成像单元312的像素之间的对应关系)。明显地，对应点检测单元377可以执行任何处理，而不限于上述处理。

逆单应性变换单元378执行与逆单应性变换有关的处理。例如，逆单应性变换单元378执行与在<1.ISL方法和对应点检测>中的<系统单应性变换>、<算法单应性变换>等中描述的那些处理一样的处理。例如，逆单应性变换单元378对由对应点检测单元377检测到的对应点P执行逆算法单应性变换和逆系统单应性变换以恢复回原始图案差分图像的坐标系。

换句话说，例如，这些处理单元执行与参照图12、图13等描述的那些处理一样的处理。注意，块能够根据需要彼此交换信息(诸如，例如，命令和数据)。

<投影成像装置>

图19是图示了投影成像装置302的外观状态的透视图。如在图19中图示的，投影单元311和成像单元312牢固地设置在投影成像装置302的壳体中的预定位置处。投影单元311形成为相对于壳体以预定角度进行投影，并且成像单元312形成为相对于壳体以预定角度拍摄图像。

利用该布置，投影单元311和成像单元312的相对位置、投影和图像拍摄的相对角度、视角等可以被视为预设的已知信息。因此，可以容易地实现系统单应性变换。而且，由于可以使投影单元311与成像单元312之间的基线固定，因此，可以仅利用单个投影成像装置302的壳体来对投影图像的失真进行校正。

注意，如上所述，投影成像装置302安装在投影平面附近。此外，如在图19中图示的，投影单元311和成像单元312牢固地设置在投影成像装置302的壳体中。因此，例如，投影单元311沿着在投影平面附近从下向上看的方向对图像进行投影，同时例如，成像单元312沿着在投影平面附近从下向上看的方向拍摄投影到投影平面上的投影图像的图像。换句话说，由投影单元312获得的拍摄图案图像变为具有与图12中的拍摄图案图像122的合成一样的合成的图像。

图20是图示了投影成像装置302的示例性主要配置的框图。如在图20中图示的，投影成像装置302包括控制单元401、投影单元311、成像单元312、输入单元411、输出单元412、存储单元413、通信单元414和驱动器415。

控制单元401包括例如，CPU、ROM、RAM等，并且控制在装置内的每个处理单元并且执行针对控制所需的各种处理，诸如，例如，图像处理。例如，控制单元401基于控制装置301的控制来执行这些处理。

投影单元311由控制单元401控制以执行与对图像进行投影有关的处理。例如，投影单元311将从控制单元401提供的图像投影到投影成像装置302的外部(诸如，例如，投影到投影平面上)。投影单元311通过使用激光束作为光源并且通过使用微机电系统(MEMS)扫描激光束来对图像进行投影。明显地，投影单元311可以具有任何光源，而不限于激光束。例如，光源也可以是发光二极管(LED)、氙等。

成像单元312由控制单元401控制以拍摄在装置外部的对象(诸如，例如，投影平面)的图像，生成拍摄图像，并且将拍摄图像提供至控制单元401。例如，成像单元312拍摄由投影单元311投影到投影平面上的投影图像的图像。成像单元312包括例如，使用互补金属氧化物半导体(CMOS)的图像传感器、使用电荷耦合器件(CCD)的图像传感器等，并且使用图像传感器来对来自对象的光进行光电转换并且生成拍摄图像的电信号(数据)。

输入单元411包括接收外部信息(诸如，用户输入)的输入装置。例如，输入单元411包括操作按钮、触摸板、摄像机、麦克风、输入终端等。此外，各种传感器(诸如，光学传感器和温度传感器)也可以包括在输入单元411中。输出单元412包括输出信息(诸如，图像和声音)的输出装置。例如，输出单元412包括显示器、扬声器、输出终端等。

例如，存储单元413包括硬盘、RAM盘、非易失性存储器等。例如，通信单元414包括网络接口。例如，通信单元414连接至通信电缆303并且能够与通过通信电缆303连接的控制装置301通信。注意，通信单元414可以具有有线通信功能、无线通信功能或者两者。驱动器415驱动可移动介质421，诸如，例如，磁盘、光盘、磁光盘或者半导体存储器。

<投影单元>

图21是图示了投影单元311的示例性主要配置的框图。如在图21中图示的，投影单元311包括视频处理器431、激光驱动器432、激光输出单元433-1、激光输出单元433-2、激光输出单元433-3、反射镜434-1、反射镜434-2、反射镜434-3、MEMS驱动器435和MEMS反射镜436。

视频处理器431保留从控制单元401提供的图像，并且对该图像执行必要的图像处理。视频处理器431将待投影的图像提供至激光驱动器432和MEMS驱动器435。

激光驱动器432控制激光输出单元433-1至433-3以对从视频处理器431提供的图像进行投影。例如，激光输出单元433-1至433-3输出相互不同的颜色的激光束(波长带)，诸如，例如，红色、蓝色和绿色。换句话说，激光驱动器432控制每种颜色的激光的输出以对从视频处理器431提供的图像进行投影。注意，在描述中不必区分激光输出单元433-1至433-3的情况下，激光输出单元433-1至433-3将被称为(多个)激光输出单元433。

反射镜434-1反射从激光输出单元433-1输出的激光束并且将该激光束引导至MEMS反射镜436。反射镜434-2反射来自激光输出单元433-2的输出并且将激光束引导至MEMS反射镜436。反射镜434-3反射从激光输出单元433-3输出的激光束并且将该激光束引导至MEMS反射镜436。注意，在描述中不必区分反射镜434-1至434-3的情况下，反射镜434-1至434-3将被称为(多个)反射镜434。

MEMS驱动器435控制在MEMS反射镜436中驱动反射镜以对从视频处理器431提供的图像进行投影。例如，MEMS反射镜436通过根据MEMS驱动器435的控制驱动附接至MEMS的反射镜来像在图22的示例中一样扫描每种颜色的激光束。例如，通过投影孔来将激光束输出到装置的外部并且将其辐射到投影平面上。利用该布置，将从视频处理器431提供的图像投影到投影平面上。

注意，图21的示例被描述为设置有输出三种颜色的激光束的三个激光输出单元433，但是可以存在任何数量的激光束(或者任何数量的颜色)。例如，可以有四个或者更多个激光输出单元433，或者可以有两个或者更少的激光输出单元433。换句话说，从投影成像装置302(投影单元311)输出的激光束的数量可以是两个或者更少或者四个或者更多。此外，从投影成像装置302(投影单元311)输出的激光束的颜色的数量可以是两种或者更少或者四种或者更多。而且，可以按照任何方式来配置反射镜434和MEMS反射镜436，而不限于图21中的示例。明显地，可以使用任何激光束扫描图案。

<几何校正处理的流程>

接下来，将描述在具有这种配置的投影成像系统300中执行的处理。如上所述，在投影成像系统300中，控制装置301控制每个投影成像装置302，根据ISL方法来使用在线感测以在对图像进行投影的同时在每个投影单元311与每个成像单元312之间执行对应点检测，并且基于对应点，估计每个投影单元和每个成像单元312的姿态等，执行投影平面形成等，并且对要投影的图像执行几何校正。

将参照图23中的流程图来描述在控制装置301中执行以实现上述处理的几何校正处理的流程的示例。

当开始几何校正处理时，在步骤S101中，控制装置301的投影成像处理单元351执行投影成像处理，并且执行与控制投影和图像拍摄有关的处理。例如，投影成像处理单元351使投影成像装置302对结构光图案进行投影并且拍摄投影图像的图像。稍后将详细地描述与对结构光图案进行投影和拍摄投影图像的图像有关的这些处理，但是例如，这些处理包括与参照图7等描述的那些处理一样的处理。

在步骤S102中，对应点检测处理单元352执行对应点检测处理，并且执行与对应点检测有关的处理。例如，对应点检测处理单元352使投影成像装置302基于通过步骤S101中的处理获得的拍摄图像来检测对应点。稍后将详细地描述对应点检测处理，但是例如，对应点检测处理包括与在<1.ISL方法和对应点检测>中的<系统单应性变换>、<算法单应性变换>等中描述的那些处理一样的处理。

在步骤S103中，几何校正处理单元353使用检测到的对应点来估计每个投影单元311和每个成像单元312(或者每个投影成像装置302)的姿态并且执行投影屏幕重新配置。投影屏幕重新配置是指估计充当投影平面的投影屏幕的形状的处理。

在步骤S104中，基于在步骤S103中的姿态估计和投影屏幕重新配置的处理结果，几何校正处理单元353根据需要对待从每个投影单元311投影的图像执行几何校正。

当几何校正结束时，几何校正处理结束。控制装置301对(多个)投影单元311和(多个)成像单元312的所有组合执行该几何校正处理。

<投影成像处理的流程>

接下来，将参照图24中的流程图来描述在图23的步骤S101中执行的投影成像处理的流程的示例。

当开始投影成像处理时，在步骤S121中，处理控制单元361从未处理的(多个)投影单元311中选择要处理的投影单元311。

在步骤S122中，投影控制单元362执行与要处理的投影单元311对结构光图案的阳像进行投影有关的处理。例如，投影控制单元362获取如在图8或者图9中图示的结构光图案的阳像以及充当输入图像的内容图像。随后，例如，如在图7中图示的，投影控制单元362将阳像叠加到内容图像上以生成叠加图像。而且，投影控制单元362通过通信单元334、电缆303等来将叠加图像提供至已经在步骤S121中选择的要处理的投影单元311，并且例如，使得如在图7中图示的那样对叠加图像进行投影。在该控制之后，要处理的投影单元311通过通信单元414来获取从控制装置301(投影控制单元362)提供的叠加图像等，并且在预定定时将叠加图像投影到投影平面。

在步骤S123中，成像控制单元363执行与每个成像单元312拍摄投影图像的图像有关的处理。例如，成像控制单元363控制每个成像单元312，并且例如，如在图7中图示的，使每个成像单元312根据步骤S122中的处理来拍摄从要处理的投影单元311投影的投影图像(结构光图案的阳像和内容图像的叠加图像的投影图像)。在该控制之后，每个成像单元312拍摄投影图像的图像并且生成拍摄图案图像。而且，每个成像单元312通过通信单元414、电缆303等来将生成的拍摄图案图像提供至控制装置301(成像控制单元363)。成像控制单元363通过通信单元334来获取每个拍摄图案图像。

在步骤S124中，投影控制单元362对结构光图案的阴像执行与步骤S122中的处理相似的处理。例如，投影控制单元362获取如在图8或者图9中图示的结构光图案的阴像以及充当输入图像的内容图像。随后，例如，如在图7中图示的，投影控制单元362将阴像叠加到内容图像上以生成叠加图像。而且，投影控制单元362通过通信单元334、电缆303等来将叠加图像提供至已经在步骤S121中选择的要处理的投影单元311，并且例如，使得如在图7中图示的那样对叠加图像进行投影。在该控制之后，要处理的投影单元311通过通信单元414来获取从控制装置301(投影控制单元362)提供的叠加图像等，并且在预定定时将叠加图像投影到投影平面。

在步骤S125中，与步骤S123中的处理相似，成像控制单元363执行与每个成像单元312拍摄投影图像的图像有关的处理。例如，成像控制单元363控制每个成像单元312，并且例如，如在图7中图示的，使每个成像单元312根据步骤S122中的处理来拍摄从要处理的投影单元311投影的投影图像(结构光图案的阴像和内容图像的叠加图像的投影图像)。在该控制之后，每个成像单元312拍摄投影图像的图像并且生成拍摄图案图像。而且，每个成像单元312通过通信单元414、电缆303等来将生成的拍摄图案图像提供至控制装置301(成像控制单元363)。成像控制单元363通过通信单元334来获取每个拍摄图案图像。

在步骤S126中，处理控制单元361确定投影和图像拍摄(从步骤S122到步骤S125的每个处理)是否已经重复了预定次数。为了减少拍摄图像中的噪声(改善S/N比)，处理控制单元361使得执行多次上面描述的投影和图像拍摄以获得包括相同类型的结构光图案的多个拍摄图案图像。因此，处理控制单元361如上面在步骤S126中描述的那样进行确定。随后，在确定还未达到预定次数的情况下，该处理返回至步骤S122并且从该点开始重复。

在如上所述重复执行从步骤S122到步骤S126的处理并且在步骤S126中确定处理已经重复了预定次数的情况下，该处理继续至步骤S127。

在步骤S127中，处理控制单元361确定是否已经对所有投影单元311执行了从步骤S122到步骤S125的每个处理。处理控制单元361使得对所有投影单元311执行从步骤S122到步骤S125的每个处理。因此，处理控制单元361如上面在步骤S127中描述的那样进行确定。随后，在确定存在未处理的投影单元311的情况下，该处理返回至步骤S121。当该处理返回至步骤S121时，在步骤S121中，选择新的投影单元311作为要处理的投影单元311，并且对新选择的投影单元311执行从步骤S122到步骤S127的处理。

换句话说，在存在多个投影单元311(或者投影成像装置302)的情况下，如上所述重复执行从步骤S121到步骤S127的处理，并且从每个投影单元依次对结构光图案的图像进行投影。此外，在存在多个成像单元312(或者投影成像装置302)的情况下，每个成像单元312拍摄从每个投影单元311投影的投影图像的图像(换句话说，多个成像单元312拍摄同一投影图像的图像)。在步骤S127中，在确定已经对所有投影单元311执行了处理的情况下，投影成像处理结束，并且该处理返回至图23。

<对应点检测处理的流程>

接下来，将参照图25中的流程图来描述在图23的步骤S102中执行的对应点检测处理的流程的示例。

当开始对应点检测处理时，在步骤S141中，控制单元371从未处理的拍摄图案图像中选择要处理的拍摄图案图像。

在步骤S142中，降噪单元372将已经在步骤S141中选择的要处理的拍摄图案图像添加到合成图像(叠加图像)中的投影图像的拍摄图像，在该合成图像中，与包括在拍摄图案图像中的图案图像相同类型的图案图像与内容图像合成(叠加在内容图像上)(即，添加到包括相同类型的图案图像的拍摄图案图像)，并且减少拍摄图像中的噪声(改善S/N比)。

在步骤S143中，图案差分图像生成单元373生成图案差分图像，该图案差分图像是通过步骤S142中的处理减少了其噪声并且包括相互不同类型的图案图像(阳像或者阴像)的拍摄图案图像之间的差分图像。

在步骤S144中，例如，如在<1.ISL方法和对应点检测>中的<系统单应性变换>等中描述的，系统单应性变换单元374基于投影单元311和成像单元312的设计值来向通过步骤S143中的处理获得的图案差分图像应用单应性变换(系统单应性变换)。例如，系统单应性变换单元374使用投影单元311和成像单元312的设计值来从投影图像的四个角落点计算系统单应性矩阵Hs。随后，系统单应性变换单元374使用系统单应性矩阵Hs来对通过步骤S143中的处理获得的图案差分图像执行系统单应性变换。

在步骤S145中，例如，如在<1.ISL方法和对应点检测>中的<系统单应性变换>等中描述的，对应点检测单元375通过使用通过步骤S144中的处理获得的系统单应性变换图案差分图像的图案来检测投影单元311的像素与成像单元312的像素之间的对应点。

在步骤S146中，例如，如在<1.ISL方法和对应点检测>中的<算法单应性变换>等中描述的，算法单应性变换单元376从通过步骤S145中的处理检测到的对应点中计算单应性变换。例如，算法单应性变换单元376使用通过步骤S145中的处理检测到的对应点来计算算法单应性矩阵Ha。

在步骤S147中，例如，如在<1.ISL方法和对应点检测>中的<算法单应性变换>等中描述的，算法单应性变换单元376将基于对应点的单应性变换(算法单应性变换)应用于通过步骤S143中的处理获得的图案差分图像。例如，算法单应性变换单元376使用通过步骤S146中的处理获得的算法单应性矩阵Ha来对通过步骤S143中的处理获得的图案差分图像执行算法单应性变换。

在步骤S148中，例如，如在<1.ISL方法和对应点检测>中的<算法单应性变换>等中描述的，对应点检测单元377通过使用通过步骤S147中的处理获得的算法单应性变换图案差分图像的图案来检测投影单元311的像素与成像单元312的像素之间的对应点。

在步骤S149中，例如，如在<1.ISL方法和对应点检测>中的<系统单应性变换>、<算法单应性变换>等中描述的，逆单应性变换单元378向通过步骤S148中的处理计算得出的对应点应用作为上面描述的单应性变换的逆变换的逆单应性变换。例如，逆单应性变换单元378向通过步骤S148中的处理计算得出的对应点应用作为步骤S147中的处理的逆变换的逆算法单应性变换和作为步骤S144中的处理的逆变换的逆系统单应性变换。

在步骤S150中，控制单元371确定是否已经处理了所有拍摄图案图像。在确定存在未处理的拍摄图案图像的情况下，该处理返回至步骤S141。随后，在步骤S141中，选择新的未处理的拍摄图案图像作为要处理的拍摄图案图像。此外，对新选择的要处理的拍摄图案图像执行从步骤S142到步骤S150的处理。

按照这种方式，重复执行从步骤S141到步骤S150的每个处理，并且在步骤S150中确定已经处理了所有拍摄图案图像的情况下，对应点检测处理结束，并且该处理返回至图23。换句话说，对应点检测处理单元352的每个处理单元执行与参照图12、图13等描述的那些处理一样的处理。

如在<1.ISL方法和对应点检测>中描述的，通过如上所述执行每个处理，可以抑制对应点检测的精确度降低。

<检测到的对应点的数量的比较>

接下来，将更具体地描述单应性变换对检测到的对应点的数量的影响。例如，利用在执行单应性变换之前的拍摄图案图像(例如，图12中的拍摄图案图像122)来执行对检测对应点的模拟的情况下，成功检测到的对应点的数量是415。在将系统单应性变换应用于拍摄图案图像并且利用在执行系统单应性变换之后的拍摄图案图像(例如，图12中的拍摄图案图像123)来执行对检测对应点的模拟的情况下，成功检测到对应点的数量增加到461。此外，在将算法单应性变换应用于拍摄图案图像并且利用在执行算法单应性变换之后的拍摄图案图像(例如，图12中的拍摄图案图像124)来执行对检测对应点的模拟的情况下，成功检测到的对应点的数量增加到735。

换句话说，通过如上面描述的那样向拍摄图案图像应用单应性变换并且执行对应点检测，可以抑制检测到的对应点的数量减少。通常，增加检测到的对应点的数量使得可以通过使用更准确的对应点或者基于更多信息来执行几何校正，并且因此，可以提高几何校正的精确度。由于可以提高几何校正的精确度，因此，这相当于能够提高对应点检测的精确度。换句话说，通过如上面描述的那样向拍摄图案图像应用单应性变换并且执行对应点检测，可以抑制对应点检测的精确度降低。

<对应点检测精确度的比较>

接下来，将更具体地描述单应性变换对对应点检测的精确度的影响。图26的A是图示了在利用在执行单应性变换之前的拍摄图案图像(例如，图12中的拍摄图案图像122)来检测对应点的情况下的对应点检测结果及其精确度的示例的示意图。图26的B是图示了在利用在执行作为单应性变换的系统单应性变换和算法单应性变换之后的拍摄图案图像(例如，图12中的拍摄图案图像124)来检测对应点的情况下的对应点检测结果及其精确度的示例的示意图。

在图26的A和图26的B中，每个圆圈表示在待投影的图像的坐标中检测到的对应点。而且，每个圆圈的色调表示对应点检测的误差的量级，其中，更浓的色调说明更大程度的误差。如在图26的A与图26的B之间的比较清楚地表明的，利用拍摄图案图像124来检测对应点的情况(图26的B)比利用拍摄图案图像122来检测对应点的情况(图26的A)具有更少的误差。换句话说，通过如上面描述的那样向拍摄图案图像应用单应性变换并且执行对应点检测，可以抑制对应点检测的精确度降低。

<对应点检测精确度的比较>

接下来，将描述在将成像单元312设置为具有超短焦点并且根据如上所述方法来执行对应点检测的情况(从投影平面附近拍摄图像的情况)与将成像单元312设置为具有长焦点的情况(从投影平面的正面拍摄图像的情况)之间比较对应点检测的精确度。

在图27中图示了在从投影平面附近拍摄图像的情况下的对应点检测结果及其精确度的示例。而且，在图28中图示了在从投影平面的正面拍摄图像的情况下的对应点检测结果及其精确度的示例。如图27和图28清楚地表明的，对应点检测的精确度在两种情况之间没有很大变化。换句话说，通过如上面描述的那样应用本技术，即使将成像单元312设置为具有超短焦点，也可以获得与将成像单元312设置为具有长焦点的情况基本相同的对应点检测精确度。换句话说，通过应用本技术，可以抑制对应点检测的精确度降低。

<投影成像装置>

注意，在图19中，投影单元311和成像单元312被描述为设置在投影成像装置302的壳体中的相互不同的位置处，但是配置不限于此，并且也可以同轴地设置投影单元311和成像单元312。在图29中的示例的情况下，投影成像单元451设置在投影成像装置302的壳体中。投影成像单元451包括投影单元311和与投影单元311的光学系统同轴地设置的成像单元312。

通过采取这种配置，不需要添加额外的光学系统，并且可以使投影成像装置302的壳体比图19的情况更紧凑。而且，由于使用多个投影成像装置302的壳体意味着光学系统之间相对于彼此存在基线，因此，可以对投影图像的失真进行校正。

注意，在投影成像装置302的壳体中，投影单元311和成像单元312的位置、姿态、视角等也可以是可变的。然而，为了使得可以容易地实现系统单应性变换，优选的是，上述信息是已知信息，或者提供能够容易地确定上述信息的测量功能。

<图案图像>

注意，虽然上面描述了使用如在图8和图9中图示的图案图像100，但是图案图像可以是任何图像，而不限于这些示例。例如，可以按照任何方式来设置图案的形状、大小、位置、纵向、亮度变化方向等。而且，任何数量的图案图像可以用于对应点检测。可以从单个图案图像检测对应点，或者可以通过使用三个或者更多个图案图像来检测对应点。另外，例如，可以根据内容图像等来从包括相互不同类型的图案图像的多个候选中适应性地选择要使用的图案图像。可替代地，可以根据内容图像等来适应性地修改现有图案图像。此外，可以根据内容图像等来适应性地生成新的图案图像。

<对应点检测方法>

此外，虽然上面描述了使用ISL方法，但是对应点检测方法可以是任何方法，只要该方法涉及使用图案图像，而不限于ISL方法。因此，可以将单应性变换应用于包括图案的拍摄图像，换句话说，应用于拍摄图案图像。注意，虽然上面描述了将单应性变换应用于图案差分图像，但是图案差分图像是通过使用拍摄图案图像获得的图像，并且是拍摄图案图像的一个示例。

另外，不必将图案图像叠加到内容图像上。换句话说，也可以通过拍摄投影的投影图像的图像，而不将图案图像叠加到内容图像上来获得拍摄图案图像。即，在这种情况下的拍摄图案图像包括图案图像，但是不包括内容图像。可以与早前描述的情况相似地应用单应性变换，甚至可以将单应性变换应用于这种拍摄图案图像。

<3.第二实施例>

<投影成像系统和投影成像装置的其他示例性配置>

注意，应用本技术的投影成像系统的示例性配置不限于上面描述的示例。例如，如同在图30的A中图示的投影成像系统500，控制装置301和每个投影成像装置302也可以通过网络501相互连接。

网络501是任何通信网络。可以在网络501中采用任何通信方法。例如，通信可以是有线通信、无线通信或者两者。而且，网络501可以由单个通信网络或者多个通信网络配置。例如，根据任何通信标准的通信网络和通信信道可以包括在网络501中，诸如，互联网、公共电话网、用于无线移动站的广域通信网络(诸如，所谓的3G网络或者4G网络)、WAN(广域网)、LAN(局域网)、执行符合蓝牙(注册商标)标准的通信的无线通信网络、用于短程无线通信(诸如，近场通信(NFC))的通信信道、用于红外通信的通信信道或者用于符合标准(诸如，高清晰度多媒体接口(HDMI(注册商标))或者通用串行总线(USB))的有线通信的通信网络。

控制装置301和每个投影成像装置302可通信地连接至网络501。注意，该连接可以是有线的(即，通过有线通信的连接)、无线的(即，通过无线通信的连接)或者两者。注意，可以按照任何方式来设置装置中的每种装置的数量、壳体的形状和大小、设置位置等。

控制装置301和每个投影成像装置302可以通过网络501彼此通信(交换信息等)。换句话说，控制装置301和每个投影成像装置302也可以通过其他设备(装置、传输信道等)可通信地连接至彼此。

即使在投影成像系统500具有这种配置的情况下，也可以与在第一实施例中描述的投影成像系统300的情况相似地应用本技术，并且可以表现出早前描述的效果。

另外，投影单元311和成像单元312也可以被配置为彼此不同的装置，例如，如同在图30的B中图示的投影成像系统510中。代替投影成像装置302，投影成像系统510包括投影装置511-1至511-N(其中，N是任何自然数)以及成像装置512-1至512-M(其中，M是任何自然数)。投影装置511-1至511-N分别包括投影单元311(投影单元311-1至311-N)，并且分别对图像进行投影。成像装置512-1至512-M分别包括成像单元312(成像单元312-1至312-M)，并且分别拍摄投影平面的图像(由投影单元311投影的投影图像)。

在描述中不必区分投影装置511-1至511-N的情况下，投影装置511-1至511-N将被称为(多个)投影装置511。在描述中不必区分成像装置512-1至512-M的情况下，成像装置512-1至512-M将被称为(多个)成像装置512。

每个投影装置511和每个成像装置512分别可通信地连接至控制装置301，并且可以通过有线通信、无线通信或者两者来与控制装置301通信(交换信息)。注意，每个投影装置511和每个成像装置512也可以配置为通过控制装置301来与其他投影装置511、其他成像装置512或者两者通信。

而且，可以按照任何方式来设置每种装置的数量、壳体的形状和大小、设置位置等。而且，如同图30的A中的示例，每个装置也可以通过如同网络501等其他设备(装置或者传输信道)可通信地连接至彼此。

即使在投影成像系统510具有这种配置的情况下，也可以与在第一实施例中描述的投影成像系统300的情况相似地应用本技术，并且可以表现出早前描述的效果。

此外，也可以省略控制装置301，例如，如同在图31的A中图示的投影成像系统520中。如在图31的A中图示的，投影成像系统520包括投影成像装置521-1至521-N(其中，N是任何自然数)。在描述中不必区分投影成像装置521-1至521-N的情况下，投影成像装置521-1至521-N将被称为(多个)投影成像装置521。每个投影成像装置521可以通过通信电缆522可通信地连接至彼此，并且此外，每个投影成像装置521可以通过无线通信可通信地连接至彼此。

投影成像装置521-1至521-N分别包括控制单元523-1至523-N。在描述中不必区分控制单元523-1至523-N的情况下，控制单元523-1至523-N将被称为(多个)控制单元523。控制单元523具有与控制装置301相似的功能，并且能够执行相似的处理。

换句话说，在投影成像系统520的情况下，在投影成像装置521(的控制单元523)中执行在上面描述的控制装置301中执行的处理。注意，任何投影成像装置521(的控制单元523)都可以配置为执行在控制装置301中执行处理中的所有处理，或者多个投影成像装置521(的控制单元523)可以配置为通过彼此交换信息等来协作地执行处理。

即使在投影成像系统520具有这种配置的情况下，也可以与在第一实施例中描述的投影成像系统300的情况相似地应用本技术，并且可以表现出早前描述的效果。

此外，例如，如在图31的B中图示的，投影成像系统300也可以被配置为单个装置。在图31的B中图示的投影成像装置530包括投影单元311(投影单元311-1至311-N(其中，N是任何自然数))、成像单元312(成像单元312-1至312-M(其中，M是任何自然数))和控制单元523。

在投影成像装置530中，通过执行在上面描述的控制装置301中执行的处理，控制单元523控制每个投影单元311和每个成像单元312以检测对应点等。

因此，即使在投影成像系统530具有这种配置的情况下，也可以与在第一实施例中描述的投影成像系统300的情况相似地应用本技术，并且可以表现出早前描述的效果。

<4.其他>

<软件>

上面描述的一系列处理可以由硬件执行，并且也可以由软件执行。而且，一些处理可以由硬件执行，而其他处理可以由软件执行。在由软件执行上面描述的一系列处理的情况下，通过网络或者记录介质来安装形成软件的程序、数据等。

例如，在图15中的控制装置301的情况下，记录介质与装置的主体被单独地配置为可移动介质341，该可移动介质341上记录有程序、数据等并且被分布以将程序、数据等传递给用户。在这种情况下，例如，通过将可移动介质341加载到驱动器335中，可以读出存储在可移动介质341中的程序、数据等并且将其安装在存储单元333中。

作为另一示例，在图20中的投影成像装置302的情况下，记录介质与装置的主体被单独地配置为可移动介质421，该可移动介质421上记录有程序、数据等并且被分布以将程序、数据等传递给用户。在这种情况下，例如，通过将可移动介质421加载到驱动器415中，可以读出存储在可移动介质421中的程序、数据等并且将其安装在存储单元413中。

另外，也可以经由有线或者无线传输介质(诸如，局域网、互联网或者数字卫星广播)来提供程序、数据等。例如，在图15中的控制装置301的情况下，程序、数据等可以由通信单元334接收并且可以将其安装在存储单元333中。进一步地，作为另一示例，在图20中的投影成像装置302的情况下，程序、数据等可以由通信单元414接收并且可以将其安装在存储单元413中。

或者，也可以将程序、数据等预先安装在存储单元、ROM等中。例如，在图15中的控制装置301的情况下，也可以将程序和数据等预先安装在存储单元333、ROM 322等中。进一步地，作为另一示例，在图20中的投影成像装置302的情况下，可以将程序、数据等预先安装在存储单元413、内置在控制单元401中的ROM(未图示)等中。

<补充>

本技术的实施例不限于上面描述的实施例，并且在不脱离本技术的范围的情况下，可以进行各种改变。

例如，也可以通过构成设备或者系统的配置中的任何配置来实施本技术，例如，作为系统大规模集成(LSI)等的处理器、使用多个处理器等的模块、使用多个模块等的单元、进一步向集合等添加其他功能的集合(即，装置的局部配置)。

注意，在本说明书中，系统是指多个组成元件(例如，装置或者模块(部件))的集合，不管所有组成元件是否在同一壳体中。因此，包括在不同壳体中但是经由网络连接的多个装置和多个模块包括在一个壳体中的一个装置都是系统。

而且，可以通过任何配置来实现上面描述的处理单元中的每个处理单元，只要该配置具有针对该处理单元描述的功能。例如，可以通过使用任何类型的电路、LSI、系统LSI、处理器、模块、单元、集合、装置、设备、系统等来配置处理单元。此外，也可以按照复数形式组合上述内容。例如，可以组合相同类型的配置，诸如，多个电路或者多个处理器，或者可以组合不同类型的配置，诸如，电路和LSI。

进一步地，例如，被描述为单个装置(或者处理单元)的元件可以被划分和配置为多个装置(或者处理单元)。相反，在上面被描述为多个装置(或者处理单元)的元件可以被共同配置为单个装置(或者处理单元)。进一步地，可以向每个装置(或者每个处理单元)的配置添加除了上面描述的那些元件之外的元件。此外，可以将给定装置(或者处理单元)的配置的一部分包括在另一装置(或者另一处理单元)的配置中，只要系统的配置或者操作整体基本相同。

另外，例如，本技术可以采用云计算的配置，该配置通过以下方式来执行处理：通过网络来分配和共享多个装置的一个功能。

另外，例如，可以在任何装置中执行上面描述的程序。在这种情况下，如果装置具有必要的功能(功能块等)并且可以获得必要的信息，就足够了。

另外，例如，通过上述流程图描述的每个步骤可以由一个装置执行或者通过分配给多个装置来执行。此外，在一个步骤中包括多个处理的情况下，包括在该一个步骤中的多个处理可以由一个装置执行或者可以通过分配给多个装置来执行。换句话说，也可以将包括在一个步骤中的多个处理作为多个步骤中的处理来执行。相反，可以在一个步骤中共同执行被描述为多个步骤的处理。

在由计算机执行的程序中，可以按照本说明书中描述的顺序来按时间顺序执行描述程序的步骤中的处理，或者可以同时执行这些步骤中的处理，或者在必要的定时(如当调用时)单独地执行这些步骤中的处理。换句话说，除非出现矛盾，否则可以按照与上面描述的顺序不同的顺序来执行步骤中的处理。此外，可以与另一程序的处理同时执行描述程序的步骤中的处理，或者可以结合另一程序的处理来执行描述程序的步骤中的处理。

本说明书中所描述的多种本技术可以独立于彼此单独执行，除非出现矛盾。当然，可以组合地执行任何多种本技术。在一个示例中，可以结合在另一实施例中描述的本技术的一部分或者全部来执行在任何实施例中描述的本技术的一部分或者全部。另外，可以结合上面未描述的另一种技术来执行上面描述的任何部分或者所有本技术。

此外，还可以如下配置本技术。

(1)

一种图像处理装置包括：

对应点检测单元，该对应点检测单元向作为成像单元拍摄由投影单元投影的预定结构光图案的图像的结果而获得拍摄图案图像应用单应性变换，并且使用应用了单应性变换的拍摄图案图像来检测由投影单元投影的投影图像与由成像单元拍摄到的拍摄图像之间的对应点。

(2)

根据(1)的图像处理装置，其中

对应点检测单元基于投影单元和成像单元的设计值来应用单应性变换，从而将拍摄图案图像转换为如从正面看到的坐标系，并且通过使用被转换为如从正面看到的坐标系的拍摄图案图像来检测对应点。

(3)

根据(2)的图像处理装置，其中

对应点检测单元基于设计值来将由投影单元投影的投影图像的四个角落的坐标转换为成像单元的坐标系，并且利用被转换了的四个角落的坐标来将单应性变换应用于拍摄图案图像。

(4)

根据(2)或者(3)的图像处理装置，其中

对应点检测单元向检测到的对应点应用作为单应性变换的逆变换的逆单应性变换。

(5)

根据(1)的图像处理装置，其中

对应点检测单元

基于投影单元和成像单元的设计值来应用单应性变换，从而将拍摄图案图像转换为如从正面看到的坐标系，并且通过使用被转换为如从正面看到的坐标系的拍摄图案图像来检测临时对应点，并且

还基于检测到的临时对应点来应用单应性变换，从而将被转换为如从正面看到的坐标系的拍摄图案图像转换为由投影单元投影的投影图像的坐标系，并且通过使用被转换为投影图像的坐标系的拍摄图案图像来检测对应点。

(6)

根据(5)的图像处理装置，其中

对应点检测单元向检测到的对应点应用作为单应性变换的逆变换的逆单应性变换。

(7)

根据(1)至(6)中任一项的图像处理装置，其中

拍摄图案图像是通过使用叠加地投影到另一图像上的结构光图案的拍摄图像而获得的图像。

(8)

根据(7)的图像处理装置，其中

拍摄图案图像是包括结构光图案的两个投影图像的相应拍摄图像的差分图像，该两个投影图像具有彼此相同的形状，并且还具有相互相反的亮度变化方向。

(9)

根据(8)的图像处理装置，其中

拍摄图案图像是包括结构光图案的合成图像之间的差分图像，该合成图像具有相互相反的亮度变化方向，合成图像中的每个合成图像是通过将包括结构光图案的多个投影图像的相应拍摄图像添加在一起而获得的，该多个投影图像具有彼此相同的亮度变化方向。

(10)

根据(1)至(9)中任一项的图像处理装置，其中

结构光图案包括具有相互相反的亮度变化方向的两个椭圆形图案。

(11)

根据(10)的图像处理装置，其中

结构光图案包括具有不同纵向方向的椭圆形状的多个图案。

(12)

根据(1)至(11)中任一项的图像处理装置，其进一步包括：

投影单元。

(13)

根据(12)的图像处理装置，其中

投影单元接近投影平面定位。

(14)

根据(12)或者(13)的图像处理装置，其中

投影单元多次对同一结构光图案进行投影。

(15)

根据(12)的图像处理装置，其中

设置有多个投影单元，以及

每个投影单元依次对结构光图案进行投影。

(16)

根据(1)至(15)中任一项的图像处理装置，其进一步包括：

成像单元。

(17)

根据(16)的图像处理装置，其中

成像单元接近投影平面定位。

(18)

根据(16)或者(17)的图像处理装置，其中

成像单元多次拍摄同一结构光图案的投影图像。

(19)

根据(16)至(18)中任一项的图像处理装置，其中，

设置有多个成像单元，以及

每个成像单元拍摄同一结构光图案的投影图像的图像。

(20)

一种图像处理方法包括：

向作为成像单元拍摄由投影单元投影的预定结构光图案的图像的结果而获得的拍摄图案图像应用单应性变换，以及使用应用了单应性变换的拍摄图案图像来检测由投影单元投影的投影图像与由成像单元拍摄到的拍摄图像之间的对应点。

附图标记列表

100 图案图像

101 图案

300 投影成像系统

301 控制装置

302 投影成像装置

311 投影单元

312 成像单元

351 投影成像处理单元

352 对应点检测处理单元

353 归化校正处理单元

361 处理控制单元

362 投影控制单元

363 成像控制单元

371 控制单元

372 降噪单元

373 图案差分图像生成单元

374 系统单应性变换单元

375 对应点检测单元

376 算法单应性变换单元

377 对应点检测单元

378 逆单应性变换单元

401 控制单元

500 投影成像系统

501 网络

510 投影成像系统

511 投影装置

512 成像装置

520 投影成像系统

521 投影成像装置

523 控制单元

530 投影成像装置。

Claims (20)

1.一种图像处理装置，其包括：

对应点检测单元，所述对应点检测单元向作为成像单元拍摄由投影单元投影的预定结构光图案的图像的结果而获得的拍摄图案图像应用单应性变换，并且使用应用了所述单应性变换的所述拍摄图案图像来检测由所述投影单元投影的投影图像与由所述成像单元拍摄到的拍摄图像之间的对应点。

2.根据权利要求1所述的图像处理装置，其中

所述对应点检测单元基于所述投影单元和所述成像单元的设计值来应用所述单应性变换，从而将所述拍摄图案图像转换为如从正面看到的坐标系，并且通过使用被转换为如从所述正面看到的坐标系的所述拍摄图案图像来检测对应点。

3.根据权利要求2所述的图像处理装置，其中

所述对应点检测单元基于所述设计值来将由所述投影单元投影的投影图像的四个角落的坐标转换为所述成像单元的坐标系，并且利用被转换了的所述四个角落的坐标来将所述单应性变换应用于所述拍摄图案图像。

4.根据权利要求2所述的图像处理装置，其中

所述对应点检测单元向检测到的所述对应点应用作为所述单应性变换的逆变换的逆单应性变换。

5.根据权利要求1所述的图像处理装置，其中

所述对应点检测单元

基于所述投影单元和所述成像单元的设计值来应用所述单应性变换，从而将所述拍摄图案图像转换为如从正面看到的坐标系，并且通过使用被转换为如从所述正面看到的坐标系的所述拍摄图案图像来检测临时对应点，并且

还基于检测到的所述临时对应点来应用所述单应性变换，从而将被转换为如从所述正面看到的坐标系的所述拍摄图案图像转换为由所述投影单元投影的投影图像的坐标系，并且通过使用被转换为所述投影图像的坐标系的所述拍摄图案图像来检测所述对应点。

6.根据权利要求5所述的图像处理装置，其中

所述对应点检测单元向检测到的所述对应点应用作为所述单应性变换的逆变换的逆单应性变换。

7.根据权利要求1所述的图像处理装置，其中

所述拍摄图案图像是通过使用叠加地投影到另一图像上的所述结构光图案的拍摄图像而获得的图像。

8.根据权利要求7所述的图像处理装置，其中

所述拍摄图案图像是包括所述结构光图案的两个投影图像各自的拍摄图像的差分图像，所述两个投影图像具有彼此相同的形状，并且还具有相互相反的亮度变化方向。

9.根据权利要求8所述的图像处理装置，其中

所述拍摄图案图像是包括所述结构光图案的合成图像之间的差分图像，所述合成图像具有所述相互相反的亮度变化方向，所述合成图像中的每个合成图像是通过将包括所述结构光图案的多个投影图像的各个拍摄图像添加在一起而获得的，所述多个投影图像具有彼此相同的亮度变化方向。

10.根据权利要求1所述的图像处理装置，其中

所述结构光图案包括具有相互相反的亮度变化方向的两个椭圆形图案。

11.根据权利要求10所述的图像处理装置，其中

所述结构光图案包括具有不同纵向方向的所述椭圆形状的多个图案。

12.根据权利要求1所述的图像处理装置，其进一步包括：

所述投影单元。

13.根据权利要求12所述的图像处理装置，其中

所述投影单元接近投影平面定位。

14.根据权利要求12所述的图像处理装置，其中

所述投影单元多次对同一结构光图案进行投影。

15.根据权利要求12所述的图像处理装置，其中

设置有多个所述投影单元，以及

每个投影单元依次对所述结构光图案进行投影。

16.根据权利要求1所述的图像处理装置，其进一步包括：

所述成像单元。

17.根据权利要求16所述的图像处理装置，其中

所述成像单元接近投影平面定位。

18.根据权利要求16所述的图像处理装置，其中

所述成像单元多次拍摄同一结构光图案的投影图像。

19.根据权利要求16所述的图像处理装置，其中

设置有多个所述成像单元，以及

每个成像单元拍摄同一结构光图案的投影图像的图像。

20.一种图像处理方法，其包括：

向作为成像单元拍摄由投影单元投影的预定结构光图案的图像的结果而获得的拍摄图案图像应用单应性变换，以及使用应用了所述单应性变换的所述拍摄图案图像来检测由所述投影单元投影的投影图像与由所述成像单元拍摄到的拍摄图像之间的对应点。

Images