CN108781268B - 图像处理装置和方法 - Google Patents

Abstract

本公开内容涉及可以提高对应点检测的准确度的图像处理装置和方法。投影图像与拍摄图像之间的对应点通过以下来检测：检测通过拍摄包括多个预定特征点的投影图像获得的拍摄图像中包括的特征点；检测通过拍摄包括具有单个或多个点的点图案的投影图像获得的拍摄图像中包括的点；以及基于与检测到的特征点对应的检测到的点的时间方向出现图案来识别特征点。本公开内容能够应用于例如图像处理装置、投影装置、成像装置、投影/成像装置、控制装置或投影/成像系统。

Description

图像处理装置和方法

技术领域

本公开内容涉及图像处理装置及方法，更具体地涉及能够提高对应点检测的准确度的图像处理装置及方法。

背景技术

过去，为了减少由投影仪投影的投影图像的失真或调整由多个投影仪投影的投影图像的位置，已经存在一种使用摄像机拍摄投影图像并且使用拍摄图像根据投影仪的位置和姿势、投影表面的形状等执行对投影图像的几何校正的方法。在该方法的情况下，需要获得投影图像与拍摄图像之间对应点。

例如，提出了一种在投影图像中嵌入格雷码的系统(例如参见NPL1)作为是在投影图像的同时获得内容等的图像的对应点的技术的在线感测。此外，还可以存在使用方格图案以使用更少的图像来获得对应点的方法(例如参见NPL 2)。

引用列表

非专利文献

[NPL 1]Imperceptible Structured Light,Ramesh Raskar,SIGGRAPH 98

[NPL 2]出现在ACM SIGGRAPH 2003会议录中的Ramesh Raskar,Jeroen vanBaar,Paul Beardsley,Thomas Willwacher,Srinivas Rao,Clifton Forlines的“iLamps:Geometrically Aware and Self-Configuring Projectors,”http://web.media.mit.edu/～raskar/Sig03/raskarILampsSiggraph03.pdf

发明内容

技术问题

然而，格雷码原则上可以仅以整数像素准确度来获取对应点，并且该准确度是不足的。此外，在使用方格图案的方法的情况下，难以识别图案的每个部分，并且可能在较少的部分处检测到对应点。因此，可能会降低对应点检测的准确度。

鉴于这些情况提出了本公开内容，并且本公开内容可以提高对应点检测的准确度。

问题的解决方案

本技术的一方面提供了一种图像处理装置，包括：特征点检测单元，其检测通过拍摄包括多个预定特征点的投影图像获得的拍摄图像中包括的特征点；点检测单元，其检测通过拍摄包括具有单个或多个点的点图案的投影图像获得的拍摄图像中包括的点，该拍摄图像是通过拍摄包括具有点的点图案的投影图像获得的；以及对应点检测单元，其通过基于由点检测单元检测到的并且与特征点对应的点在时间方向上的出现图案识别由特征点检测单元检测到的特征点来检测投影图像与拍摄图像之间的对应点。

对应点检测单元可以基于由点检测单元检测到的并且与由特征点检测单元检测到的特征点位于相同位置处或位于由特征点检测单元检测到的特征点周围的点在时间方向上的出现图案来识别特征点。

包括特征点的投影图像可以是方格图案的投影图像，并且特征点可以是方格图案的拐角。

特征点检测单元可以生成通过拍摄具有反转图案的一对方格图案的投影图像获得的一对拍摄图案之间的差分图像并且检测所生成的差分图像中包括的特征点。

特征点检测单元可以将差分图像二值化以生成二值图像并且检测所生成的二值图像中包括的特征点。

特征点检测单元可以生成所检测到的特征点的坐标的映射信息。

点检测单元可以检测每个拍摄图像中包括的点，每个拍摄图像是通过拍摄提供有点的多个点图案中的每一个的投影图像获得的，该点被布置成使得在时间方向上按顺序投影的并且与特征点对应的点在时间方向上的出现图案被唯一确定。

点检测单元可以检测包括特征点的预定范围中的点。

点检测单元可以生成通过拍摄不包括点图案的投影图像获得的拍摄图像与通过拍摄包括点图案的投影图像获得的拍摄图像之间的差分图像并且检测所生成的差分图像中包括的点。

点检测单元可以将差分图像进行二值化以生成二值图像并且检测所生成的二值图像中包括的点。

点检测单元还可以检测检测到的点的重心，并且对应点检测单元可以使用由点检测单元检测到的点的重心来校正特征点的位置。

点检测单元可以检测通过拍摄提供有点的多个点图案中的每一个的投影图像获得的每个拍摄图像中包括的点和点的重心并且可以在时间方向上对与相同的特征点对应的所检测到的点的重心求平均，该点被布置成使得在时间方向上按顺序投影的并且与特征点对应的点在时间方向上的出现图案被唯一确定。

点图案可以提供有呈图案的点，使得与投影图像的外周部分中的特征点对应的点在时间方向上的出现频率比与除了投影图像的外周部分以外的位置处的特征点对应的点在时间方向上的出现频率高。

特征点可以是呈预定图案的图片被重复的图案图像中包括的预定图片的一部分，特征点检测单元可以被配置成检测通过拍摄包括叠加在另一图像上的图案图像的投影图像获得的拍摄图像中包括的特征点，并且点检测单元可以被配置成检测通过拍摄包括叠加在另一图像上的点图案的投影图像获得的拍摄图像中包括的点。

对应点检测单元可以检测从多个投影单元投影的每个投影图像与由多个成像单元通过拍摄每个投影图像获得的每个拍摄图像之间的对应点。

图像处理装置还可包括姿势估计单元，该姿势估计单元使用由对应点检测单元检测到的对应点来估计姿势。

图像处理装置还可以包括设置单元，该设置单元基于由姿势估计单元估计的姿势来执行与对投影图像的几何校正有关的设置。

图像处理装置还可以包括将投影图像投影的投影单元。

图像处理装置还可包括成像单元，该成像单元拍摄投影图像以获得拍摄图像。

本技术的一方面提供了一种图像处理方法，该图像处理方法包括：检测通过拍摄包括多个预定特征点的投影图像获得的拍摄图像中包括的特征点；检测通过拍摄包括具有单个或多个点的点图案的投影图像获得的拍摄图像中包括的点；以及通过基于与特征点对应的所检测到的点在时间方向上的出现图案识别所检测到的特征点来检测投影图像与拍摄图像之间的对应点。

在根据本技术的各方面的图像处理装置和方法中，通过拍摄包括特征点的投影图像获得的拍摄图像中包括的多个预定特征点被检测，通过拍摄包括具有点的点图案的投影图像获得的拍摄图像中包括的单个或多个点被检测，并且通过基于与特征点对应的所检测到的点在时间方向上的出现图案识别所检测到的特征点来检测投影图像与拍摄图像之间的对应点。

本发明的有益效果

根据本公开内容，可以处理图像。特别地，可以提高对应点检测的准确度。

附图说明

图1是示出几何校正的情况的示例的图。

图2是示出几何校正的情况的示例的图。

图3是示出几何校正的情况的示例的图。

图4是示出对应点检测的情况的示例的图。

图5是示出对应点检测的情况的示例的图。

图6是示出格雷码的示例的图。

图7是示出方格图案的示例的图。

图8是示出投影成像系统的主要配置示例的框图。

图9是示出控制装置的主要配置示例的框图。

图10是示出由控制装置实现的功能的示例的功能框图。

图11是示出由拐角检测单元和点重心检测单元实现的功能的示例的功能框图。

图12是示出投影成像装置的主要配置示例的框图。

图13是示出投影单元的主要配置示例的框图。

图14是示出激光束的扫描的示例的图。

图15是描述设置处理的流程的示例的流程图。

图16是描述对应点检测处理的流程的示例的流程图。

图17是描述从图16继续的对应点检测处理的流程的示例的流程图。

图18是描述方格图案的示例的图。

图19是描述特征点的示例的图。

图20是描述点图案的示例的图。

图21是描述点的分配情况的示例的图。

图22是描述拐角检测处理的流程的示例的流程图。

图23是描述重心检测处理的流程的示例的流程图。

图24是描述重心检测的情况的示例的图。

图25是示出投影成像系统的另一配置示例的框图。

图26是示出投影成像系统和投影成像装置的主要配置示例的框图。

具体实施方式

在下文中，将描述用于执行本公开内容的方式(在下文中称为“实施方式”)。注意，按以下顺序给出描述。

1.对应点检测和几何校正

2.第一实施方式(投影成像系统)

3.第二实施方式(投影成像系统和投影成像装置)

4.等等

1.<对应点检测和几何校正>

<几何校正>

取决于投影仪相对于投影表面(例如屏幕和墙壁)的姿势(例如位置和方向)、投影表面的形状等，存在投影在投影表面上的图像(也称为投影图像)如例如图1的A中所示的那样是失真的并且难以看到的情况。在这种情况下，诸如失真校正的几何校正可以应用于由投影仪投影的图像，以减少投影图像的失真，以便于观看如图1中的B的示例中的投影图像。

此外，存在多个投影仪投影图像以形成如图2的示例中的一个投影图像的系统。例如，存在多个投影仪将图像投影到相同位置以增大对比度来实现如图2的A中的高动态范围的方法。此外，例如，存在对从投影仪投影的投影图像进行排列以实现如图2的B中的比由一个投影仪投影的投影图像更大的投影图像(分辨率比由一个投影仪投影的投影图像的分辨率高的投影图像)。在这些方法的情况下，如果从投影仪投影的投影图像之间的位置关系不合适，则整个投影图像的图像质量可能会由于投影图像的偏差和交叠或投影图像之间的不必要的间隙而被降低。因此，在一些情况下，不仅需要对每个投影图像进行失真校正，而且还需要对投影图像进行诸如位置调整的几何校正。

通过执行对要投影的图像的几何校正，即使在图像从多个投影仪被投影到如图3的示例中的弯曲的投影表面的情况下，也可以将图像投影为一个图像。注意，在排列多个投影图像以形成如图2的B和图3的示例中的大投影图像的情况下，可以叠加(交叠)相邻投影图像的一部分以更容易地调整位置(例如图3)。

尽管操作投影仪的操作者等可以手动执行几何校正，但还可能需要复杂的工作。因此，可以存在使用摄像机拍摄由投影仪投影的投影图像并且使用拍摄的图像来执行几何校正的方法。

在这种情况下，需要在投影图像(可以是要投影的图像)与拍摄图像之间获得对应点(投影图像和拍摄图像在投影表面上的相同位置处的对应像素)。即，需要获得摄像机的像素与投影仪的像素之间的对应关系。在如图2和图3中那样例如使用多个投影仪的情况下，还需要获得投影图像之间的位置关系。即，还需要在投影成像装置之间获得摄像机的像素与投影仪的像素之间的对应关系。

例如，如图4中所示，假设包括投影单元21-1(投影仪)和成像单元22-1(摄像机)的投影成像装置20-1以及包括投影单元21-2(投影仪)和成像单元22-2(摄像机)的投影成像装置20-2协作以投影图像。此处，在描述中不需要区分的情况下，投影成像装置20-1和投影成像装置20-2将被称为投影成像装置20。此外，在描述中不需要区分的情况下，投影单元21-1和投影单元21-2将被称为投影单元21。此外，在描述中不需要区分的情况下，成像单元22-1和成像单元22-2将被称为成像单元22。

如图4中所示，由投影成像装置20-1的投影单元21-1投影的投影表面23的投影区域(投影图像的范围)是P0L到P0R的范围。此外，由投影成像装置20-2的投影单元21-2投影的投影表面23的投影区域是P1L到P1R的范围。即，由双头箭头24指示的范围(P1L到P0R的范围)是投影图像交叠的交叠区域。

注意，由投影成像装置20-1的成像单元22-1成像的投影表面23的成像区域(拍摄图像中包括的范围)是C0L到C0R的范围。此外，由投影成像装置20-2的成像单元22-2成像的投影表面23的成像区域(包括在拍摄图像中的范围)是C1L到C1R的范围。

在该系统的情况下，不仅需要获得每个投影成像装置20中的投影单元21与成像单元22之间的对应点，而且还需要在投影成像装置20之间获得投影单元21与成像单元22之间的对应点，以调整如上所述的投影图像的位置。因此，如例如图5中所示，从投影单元21-1的像素发出的光(箭头27)在投影表面23的X处被反射，并且计算成像单元22-2的哪个像素接收光(箭头28)。此外，在投影单元21-2与成像单元22-1之间也获得类似的像素对应关系。

以这种方式，在可以获得对应点的所有投影单元21与成像单元22之间获得对应点。因此，可以通过几何校正来调整交叠区域的位置(由双箭头24指示的范围)。

<在线感测>

尽管可以在视频投影开始之前执行用于几何校正的对应点检测，但是在初始安装之后的投影视频期间，对应点可能会受到温度或诸如震动的干扰的影响而偏离。如果对应点偏离，则几何校正变得不合适。因此，投影图像可能失真，或者位置可能偏离。

在这种情况下，需要再次执行对应点检测，并且暂停用于检测的视频的投影对于观看视频的用户而言不是优选的(可以降低满意度)。因此，可以存在在继续视频投影的同时检测对应点的方法(在线感测)。

在线感测技术的示例包括使用诸如红外线的不可见光的系统、使用诸如SIFT的图像特征量的系统以及ISL(不可见的结构光)系统。在使用诸如红外线的不可见光的系统的情况下，还需要投射不可见光的投影仪(例如红外投影仪)，并且成本可能增加。此外，在使用诸如SIFT的图像特征量的系统的情况下，对应点的检测准确度和密度取决于要投影的图像的内容，并且难以以稳定的准确度执行对应点检测。

另一方面，在ISL系统的情况下使用可见光，并且可以抑制系统配置元件的增加(即成本的增加)。此外，可以独立于要投影的图像以稳定的准确度执行对应点检测。

<ISL系统>

在ISL系统中，作为预定图案的图像的结构光图案被嵌入投影图像中，并且该图案在不被人类感知的情况下被投影。然后，结构光图案用于检测对应点。

在ISL系统中使用的结构光图案的示例包括使用格雷码的方法。例如，如图6的A中所示的预定图案图像被按时间顺序切换和投影，并且对每个图案进行成像。然后，当完成所有图案的成像时，在拍摄图像的每个像素处检测每个成像图案的“1”(白色)或“0”(黑色)，并且如图6的B中所示，解码“1”或“0”的改变图案以获取投影仪像素的位置。因此，可以获取像素之间的对应关系。

还存在例如如图7中所示的方格图案用作结构光图案的方法。例如，投影如图7中所示的一个方格图案和缺少四个拐角中的一个拐角的四个方格图案，并且调整图案的投影顺序和缺失拐角的信息，以检测方格图案的每个拐角与投影仪的像素之间的对应关系。

然而，格雷码原则上可以仅以整数像素准确度来获取对应点，并且准确度是不足的。此外，为了通过使用格雷码来识别投影仪的每个像素，需要投影很大数量的图案，即，ceil(log2(水平分辨率))+ceil(log2(垂直分辨率))。

此外，尽管使用方格图案的方法可以比使用格雷码的方法使用更少的图案来检测对应点，但是仅可以在具有缺失图案的拐角处获得对应点。因此，例如，投影图像倾向于失真，并且对应点检测的准确度低。可能难以获得足够的准确度。此外，在使用方格图案的方法中，需要从摄像机观察至少一个缺失的拐角，并且投影仪和摄像机的安装自由度(位置和姿势的自由度)可能被降低。

<使用点图案识别方格图案的拐角>

因此，检测通过对包括多个预定特征点的投影图像进行成像获得的拍摄图像中包括的特征点，并且检测通过拍摄包括具有单个或多个点的点图案的投影图像获得的拍摄图像中包括的点。基于与检测到的特征点对应的检测到的点在时间方向上的出现图案，识别特征点以检测投影图像与拍摄图像之间的对应点。

以这种方式，可以提高对应点检测的准确度。

<2.第一实施方式>

<投影成像系统>

图8是示出根据本技术的投影成像系统的实施方式的主要配置示例的框图。在图8中，投影成像系统100是可以投影图像、拍摄投影图像并且使用根据本技术的方法来基于ISL系统执行对应点检测的系统。

如图8中所示，投影成像系统100包括控制装置101和投影成像装置102-1至102-N(N是任意自然数)。投影成像装置102-1到102-N分别通过线缆103-1至103-N连接至控制装置101。

在下文中，在描述中不需要区分的情况下，投影成像装置102-1至102-N将被称为投影成像装置102。此外，在描述中不需要区分的情况下，线缆103-1至103-N将被称为线缆103。

控制装置101通过线缆103控制每个投影成像装置102。例如，控制装置101将要投影的图像提供给每个投影成像装置102，以使成像装置102投影图像。此外，例如，控制装置101指示每个投影成像装置102拍摄投影图像等并且获取拍摄图像。此外，例如，控制装置101检测投影图像与拍摄图像之间的对应点。此外，例如，控制装置101基于所获得的对应点来估计每个投影成像装置102的姿势，重建屏幕(投影表面)并且对要由每个投影成像装置102投影的图像应用几何校正。

例如，由控制装置101应用到要投影的图像的几何校正可以是例如图像处理，例如扩大、缩小和变形。此外，例如，由控制装置101执行的几何校正可以是例如对每个投影成像装置102的光学系统的投影方向、成像方向等的控制等。显然地，可以执行以上中的两种。

投影成像装置102-1至102-N包括投影图像的投影单元111-1至111-N和分别对物体成像的成像单元112-1至112-N。在下文中，在描述中不需要区分的情况下，投影单元111-1至111-N将被称为投影单元111。此外，在描述中不需要区分的情况下，成像单元112-1至112-N将被称为成像单元112。

投影单元111具有所谓的投影仪功能。即，投影成像装置102可以使用投影单元111作为投影仪进行操作。例如，投影成像装置102可以使用投影单元111将从控制装置101提供的图像投影到任意投影表面。

成像单元112具有所谓的摄像机功能。即，投影成像装置102可以使用成像单元112作为摄像机进行操作。例如，投影成像装置102可以使用成像单元112对投影单元111投影图像的投影表面进行成像。注意，投影成像装置102还包括与控制装置101通信的功能。例如，投影成像装置102可以使用通信功能将由成像单元112获得的拍摄图像的数据提供给控制装置101。

投影成像装置102的数量是任意的，并且可以存在单个或多个投影成像装置102。在存在多个投影成像装置102的情况下，投影成像装置102可以彼此独立地操作或者可以在控制装置101的控制下彼此协作以投影如参照图2和图3所描述的图像。在投影成像装置102协作的情况下的投影成像系统100用作所谓的多投影系统并且可以实现所谓的投影映射。

注意，可以控制投影单元111的与投影有关的参数，例如，图像的投影方向和扩大率以及投影图像的失真校正。此外，例如，可以控制投影单元111中包括的光学系统的位置和姿势、整个投影单元111的位置和姿势等，以控制与投影有关的参数。

此外，可以控制成像单元112的与成像的参数，例如，图像的成像方向和视角以及拍摄图像的失真校正。此外，例如，可以控制成像单元112中包括的光学系统的位置和姿势、整个成像单元112的位置和姿势等，以控制与成像有关的参数。

此外，可以彼此独立地执行投影单元111的控制和成像单元112的控制。此外，可以控制投影成像装置102的位置和姿势。注意，投影单元111的控制、成像单元112的控制和投影成像装置102的控制可以由控制装置101执行或可以由例如除控制装置101以外的装置例如投影成像装置102执行。

线缆103是连接控制装置101和投影成像装置102以允许通信的任意标准的通信线缆。即，线缆103可以是控制装置101与投影成像装置102之间的通信介质。注意，在投影成像系统100中，仅需要将控制装置101和投影成像装置102彼此连接并且能够彼此通信，并且例如，控制装置101和投影成像装置102可以通过无线通信被连接。在这种情况下，可以取消线缆103。

如上所述，控制装置101检测投影图像与拍摄图像之间的对应点。即，控制装置101获得每个投影单元111与每个成像单元112之间的像素对应关系。在这种情况下，控制装置101基于在线感测的ISL系统执行对应点检测。在这种情况下，控制装置101使用根据本技术的方法来执行对应点检测。

<控制装置>

图9是示出作为根据本技术的图像处理装置的实施方式的控制装置101的主要配置示例的框图。

如图9中所示，控制装置101包括CPU 121、ROM 122、RAM 123、总线124、输入输出接口130、输入单元131、输出单元132、存储单元133、通信单元134和驱动器135。

CPU 121、ROM 122和RAM 123通过总线124彼此连接。输入输出接口130也连接至总线124。输入单元131、输出单元132、存储单元133通信单元134和驱动器135连接至输入输出接口130。

CPU 121将存储在例如ROM 122或存储单元133中的程序等加载到RAM 123并且执行程序等以执行各种处理。CPU 121执行各种处理所需的数据等也适当地存储在RAM 123中。

例如，CPU 121可以以这种方式执行程序等以执行与对应点的检测有关的处理。

输入单元131包括例如接收诸如用户输入的任意外部信息的输入设备。输入设备可以是任何设备。例如，输入设备可以是键盘、鼠标、操作按钮、触摸面板、摄像机、麦克风、条形码读取器等。输入设备也可以是各种传感器，例如加速器传感器、光传感器和温度传感器。此外，输入设备可以是接收任意外部信息的数据(信号)的输入终端。输出单元132包括例如输出装置内部的诸如图像和声音的任意信息的输出设备。输出设备可以是任何设备。例如，输出设备可以是显示器、扬声器等。输出设备也可以是将任意信息的数据(信号)输出至外部的输出端子。

存储单元133包括存储诸如程序和数据的信息的存储介质。存储介质可以是任何介质。例如，存储介质可以是硬盘、RAM盘、非易失性存储器等。通信单元134包括通信设备，该通信设备与外部装置通信，以通过预定的通信介质(例如诸如因特网的任意网络)发送和接收诸如程序和数据的信息。通信设备可以是任何设备。例如，通信设备可以是网络接口。由通信单元134进行的通信的通信方法和通信标准是任意的。例如，通信单元134可以能够执行有线通信，能够执行无线通信或者能够执行有线通信和无线通信两者。

驱动器135执行与将信息(程序、数据等)读取和写入到安装在驱动器135上的可移动介质141有关的处理。可移动介质141可以是任何记录介质。例如，可移动介质141可以是磁盘、光盘、磁光盘、半导体存储器等。例如，驱动器135读取存储在安装在驱动器135上的可移动介质141中的信息(程序、数据等)并且将该信息提供给CPU 121、RAM 123等。此外，例如，驱动器135获取从CPU 121、RAM 123等提供的信息(程序、数据等)并且将信息写入到安装在驱动器135上的可移动介质141。

<控制装置的功能块>

图10是示出由执行程序等的控制装置101实现的功能的示例的功能框图。如图10中所示，控制装置101执行程序以提供方格图案投影成像单元151、拐角检测单元152、点图案投影成像单元153、点重心力检测单元154、对应点解码单元155、姿势估计单元156、设置单元157、投影控制单元158和成像控制单元159的功能。

方格图案投影成像单元151执行与方格图案图像的投影和拍摄有关的处理。拐角检测单元152执行与检测方格图案的拐角有关的处理。点图案投影成像单元153执行与点图案图像的投影和拍摄有关的处理。点重心检测单元154执行与点的检测和点的重心的检测有关的处理。对应点解码单元155执行和检测投影图像与拍摄图像之间的对应点有关的处理。姿势估计单元156执行与每个投影成像装置102(或每个投影成像装置102的投影单元111和成像单元112)的姿势估计等有关的处理。设置单元157执行和与几何校正等相关的参数的设置有关的处理。投影控制单元158执行与每个投影单元111的控制有关的处理。成像控制单元159执行与每个成像单元112的控制有关的处理。

注意，块可以根据需要相互传送信息(例如命令、数据等)。

<拐角检测单元和点重心检测单元>

图10的拐角检测单元152具有由图11的A中的功能块指示的功能。即，拐角检测单元152具有例如差分图像生成单元161、二值化单元162和拐角检测单元163的功能。

差分图像生成单元161执行与生成拍摄图像之间的差分图像有关的处理。二值化单元162执行与通过将差分图像二值化而获得的二值图像的生成有关的处理。拐角检测单元163执行与检测二值图像中包括的拐角有关的处理。

显然地，拐角检测单元152可以具有其他功能。

图10的点重心检测单元154具有由图11的B中的功能块指示的功能。即，点重心检测单元154具有差分图像生成单元171、二值化单元172、点检测单元173、重心检测单元174和平均处理单元175的功能。

差分图像生成单元171执行与生成拍摄图像之间的差分图像有关的处理。二值化单元172执行与通过将差分图像二值化而获得的二值图像的生成有关的处理。点检测单元173执行与检测二值图像中包括的点有关的处理。重心检测单元174执行与检测点的重心有关的处理。平均处理单元175执行与在时间方向上对点的重心位置求平均有关的处理。

显然地，点重心检测单元154可以具有其他功能。

注意，块可以根据需要相互传送信息(例如命令、数据等)。

<投影成像装置>

图12是示出投影成像装置102的主要配置示例的框图。如图12中所示，投影成像装置102包括控制单元201、投影单元111、成像单元112、输入单元211、输出单元212、存储单元213、通信单元214和驱动器215。

控制单元201包括例如CPU、ROM、RAM等并且被配置成控制装置中的每个处理单元并且执行控制所需的各种处理，例如成像处理。控制单元201基于例如控制装置101的控制来执行处理。

投影单元111由控制单元201控制并且被配置成执行与图像的投影有关的处理。例如，投影单元111将从控制单元201提供的图像投影到投影成像装置102的外部(例如投影表面等)。投影单元111使用激光束作为光源并且使用MEMS(微电子机械系统)镜来扫描激光束以投影图像。显然地，投影单元111的光源是任意的，并且光源不限于激光束。例如，光源可以是LED(发光二极管)、氙灯等。

成像单元112由控制单元201控制并且被配置成对装置外部(例如投影表面等)的物体成像、生成拍摄图像并且将拍摄图像提供给控制单元201。例如，成像单元112拍摄由投影单元111投影到投影表面的投影图像。成像单元112包括例如使用CMOS(互补金属氧化物半导体)的图像传感器、使用CCD(电荷耦合器件)的图像传感器等，并且图像传感器光电转换来自物体的光以生成拍摄图像的电信号(数据)。

输入单元211包括例如接收诸如用户输入的任意外部信息的输入设备。输入设备可以是任何设备。例如，输入设备可以是操作按钮、触摸面板、摄像机、麦克风、输入终端或各种传感器，例如加速度传感器、光传感器和温度传感器。输出单元212包括例如输出装置内部的诸如图像和声音的任意信息的输出设备。输出设备可以是任何设备。例如，输出设备可以是显示器、扬声器、输出终端等。

存储单元213包括存储诸如程序和数据的信息的存储介质。存储介质可以是任何介质。例如，存储介质可以是硬盘、RAM盘、非易失性存储器等。

通信单元214包括通信设备，该通信设备与外部装置通信，以通过预定的通信介质(例如诸如因特网的任意网络)发送和接收诸如程序和数据的信息。通信设备可以是任何设备。例如，通信设备可以是网络接口。例如，通信单元214连接至通信线缆103并且能够与通过通信线缆103连接的控制装置101通信。由通信单元214进行的通信的通信方法和通信标准是任意的。例如，通信单元214可以能够执行有线通信、能够执行无线通信，或者能够执行有线通信和无线通信两者。

驱动器215执行与将信息(例如程序和数据)读取和写入到安装在驱动器215上的可移动介质221有关的处理。可移动介质221可以是任何记录介质。例如，可移动介质221可以是磁盘、光盘、磁光盘、半导体存储器等。例如，驱动器215读取存储在安装在驱动器215上的可移动介质221中的信息(例如程序和数据)并且将该信息提供给控制单元201等。此外，例如，驱动器215获取从控制单元201等提供的信息(例如程序和数据)并且将信息写入安装在驱动器215上的可移动介质221。

<投影单元>

图13是示出投影单元111的主要配置示例的框图。如图13中所示，投影单元111包括视频处理器231、激光驱动器232、激光输出单元233-1、激光输出单元233-2、激光输出单元233-3、镜234-1、镜234-2、镜234-3、MEMS驱动器235和MEMS镜236。

视频处理器231保持从控制单元201提供的图像并且对图像应用必要的图像处理。视频处理器231将要投影的图像提供给激光驱动器232和MEMS驱动器235。

激光驱动器232控制激光输出单元233-1至233-3以投影从视频处理器231提供的图像。激光输出单元233-1至233-3例如输出诸如红色、蓝色和绿色的不同颜色(波长区域)的激光束。即，激光驱动器232控制每种颜色的激光输出以投影从视频处理器231提供的图像。注意，在描述中不需要区分的情况下，激光输出单元233-1至233-3将被称为激光输出单元233。

镜234-1反射从激光输出单元233-1输出的激光束并且将激光束引导到MEMS镜236。镜234-2反射从激光输出单元233-2输出的激光束并且将激光束引导到MEMS镜236。镜234-3反射从激光输出单元233-3输出的激光束并且将激光束引导到MEMS镜236。注意，在描述中不需要区分的情况下，镜234-1至234-3将被称为镜234。

MEMS驱动器235控制MEMS镜236的镜的驱动以投影从视频处理器231提供的图像。MEMS镜236根据MEMS驱动器235的控制驱动附接至MEMS的镜以扫描例如如图14的示例中的每种颜色的激光束。激光束从投影开口输出到装置的外部并且发射到例如投影表面。因此，从视频处理器231提供的图像被投影到投影表面。

注意，尽管在图13的示例的描述中提供了三个激光输出单元233以输出三种颜色的激光束，激光束的数量(或颜色的数量)是任意的。例如，激光输出单元233的数量可以是四个或更多或者可以是两个或更少。即，从投影成像装置102(投影单元111)输出的激光束的数量可以是两个或更少或者可以是四个或更多。从投影成像装置102(投影单元111)输出的激光束的颜色数量也是任意的，并且颜色的数量可以是两个或更少或者可以是四个或更多。此外，镜234和MEMS镜236的配置也是任意的，并且该配置不限于图13的示例。显然地，激光束的扫描图案是任意的。

<设置处理的流程>

接下来，将描述由以这种方式配置的投影成像系统100执行的处理。如上所述，投影成像系统100的控制装置101控制每个投影成像装置102投影内容的图像等。在投影期间的预定时刻或基于诸如接收指令的预定事件的发生，控制装置101再次执行与几何校正有关的设置，即，重置与几何校正有关的参数。控制装置101基于ISL系统的在线感测在投影内容的图像等的同时设置与几何校正有关的参数。

以这种方式，当在图像的投影期间更新与几何校正有关的参数时，控制装置101在基于更新的参数对图像应用几何校正之后投影随后的图像。

将参照图15的流程图描述由控制装置101执行以设置与几何校正有关的参数的设置处理的流程的示例。

当开始设置处理时，在步骤S101中，从控制装置101的方格图案投影成像单元151到对应点解码单元155的部件通过投影控制单元158和成像控制单元159控制每个投影成像装置102以投影和拍摄图案图像并且检测对应点。将在稍后描述细节。

在步骤S102中，姿势估计单元156使用在步骤S101中检测到的对应点来估计每个投影单元111和每个成像单元112(或每个投影成像装置102)的姿势并且重建屏幕(投影表面)。屏幕重建是设置作为投影表面的屏幕的形状的处理。

在步骤S103中，设置单元157基于在步骤S102中执行的姿势估计和屏幕重建的处理结果根据需要设置与要从每个投影单元111投影的图像的几何校正有关的参数。

当完成步骤S103的处理时，设置处理结束。

<对应点检测处理的流程>

接下来，将参照图16和图17的流程图描述在图15的步骤S101中执行的对应点检测处理的流程的示例。

<与拐角检测有关的处理>

当开始对应点检测处理时，控制装置101首先投影方格图案图像、拍摄投影图像并且检测作为拍摄图像中包括的方格图案的拐角的特征点。

方格图案图像是方格图案的图像。方格图案是排列有具有不同像素值(亮度和颜色中的一者或两者)的多个图片的图案(设计)。图18示出了方格图案图像的示例。例如，图18中所示的方格图案图像301-1是白色矩形和黑色矩形交替排列成矩阵的方格图案的图像。方格图案中包括的矩形的数量是任意的并且不限于图18的示例。仅需要具有不同像素值的矩形被排列成在矩形的布置中彼此相邻，并且矩形可以以除矩阵以外的方式布置和排列。矩形的大小和形状可一不统一。

方格图案的拐角是包括在方格图案中的图片的接合点(也称为拐角)的一部分。例如，在图18的方格图案图像301-1的情况下，每个矩形的拐角被检测为方格图案的拐角。在方格图案的情况下，相邻矩形的拐角可以位于与图19中所示的矩形302至305中的位置相同的位置处。在这种情况下，相同位置处的拐角被共同检测为一个拐角306。

注意，尽管可以从一个方格图案图像的投影图像的拍摄图像中检测拐角，但是也可以从图案被反转的一对方格图案图像的投影图像的拍摄图像的差分图像中检测拐角。例如，图18的方格图案图像301-2是方格图案图像301-1的图案被反转的图像(即，白色矩形的位置和黑色矩形的位置被切换的图案的图像)。可以获得方格图案图像301-1的投影图像的拍摄图像与方格图案图像301-2的投影图像的拍摄图像之间的差分图像，并且可以在差分图像中检测到方格图案的拐角。

通常，白色矩形和黑色矩形的亮度值之间的差在差分图像中比在方格图案图像301-1的投影图像的拍摄图像和方格图案图像301-2的投影图像的拍摄图像中更加突出。因此，方格图案的S/N比提高。即，与使用每个拍摄图像的情况相比，差分图像可以用于更准确地检测方格图案的拐角。

为了获得差分图像，控制装置101使投影单元111按顺序投影图案被反转的一对方格图案图像。在图18的示例的情况下，控制装置101使投影单元111在不同的时刻处投影方格图案图像301-1和方格图案图像301-2。例如，在投影的内容是动态图像的情况下，控制装置101使投影单元111通过将图像叠加在动态图像的不同的帧上来投影方格图案图像301-1和方格图案图像301-2。以这种方式，成像单元112可以获得每个方格图案图像的投影图像的拍摄图像。

由每个投影单元111投射方格图案图像。即控制装置101使所有投影单元111按顺序投影所有准备好的方格图案图像。

由每个成像单元112拍摄方格图案图像的投影图像。即，控制装置101使所有成像单元112拍摄由所有投影单元111投影的所有方格图案图像的投影图像。

在下文中，将描述特定处理的流程的示例。在图16的步骤S121中，投影控制单元158选择未处理的投影单元111作为处理目标(控制目标)。

在步骤S122中，方格图案投影成像单元151选择未处理的方格图案图像作为处理目标。

在步骤S123中，投影控制单元158控制作为在步骤S121中选择的处理目标的投影单元111，以投影作为在步骤S122中选择的处理目标的方格图案图像。在这种情况下，投影控制单元158将作为处理目标的方格图案图像叠加在正被投影的动态图像的任意帧的图像上并且将图像提供给作为处理目标的投影单元111，以投影叠加在动态图像的任意帧的图像上的图像。

在步骤S124中，成像控制单元159选择未处理的成像单元112作为处理目标(控制目标)。

在步骤S125中，成像控制单元159控制作为在步骤S124中选择的处理目标的成像单元112，以拍摄作为在步骤S123中投影的处理目标的方格图案图像的投影图像。然后，成像控制单元159获取由作为处理目标的成像单元112获得的拍摄图像。

如上所述，方格图案图像被叠加在动态图像的预定帧的图像上并且被投影，并且拍摄图像包括方格图案图像的至少一部分和动态图像的预定帧的图像。

在步骤S126中，成像控制单元159确定所有成像单元112是否已经拍摄了作为处理目标的方格图案图像的投影图像。如果成像控制单元159确定存在未处理的成像单元112，则处理返回到步骤S124。此外，如果在步骤S126中成像控制单元159确定所有成像单元112已经拍摄了投影图像，则处理进行到步骤S127。即，对每个成像单元112执行步骤S124至S126中的每个处理。注意，对于不包括作为成像范围中的处理目标的方格图案图像的投影图像的成像单元112，可以跳过这些处理。

在使所有成像单元112拍摄作为处理目标的方格图案图像的投影图像之后，方格图案投影成像单元151在步骤S127中确定是否处理(投影)了所有方格图案图像。如果方格图案投影成像单元151确定存在未处理的方格图案图像，则处理返回到步骤S122。此外，如果方格图案投影成像单元151在步骤S127中确定处理了所有方格图案图像，则处理进行到步骤S128。即，对每个方格图案图像执行步骤S122至S127中的每个处理。

在使所有成像单元112拍摄所有方格图案图像的投影图像之后，拐角检测单元152在步骤S128中检测作为步骤S125中获得的拍摄图像中包括的方格图案的拐角的特征点。

尽管拐角的检测方法是任意的，但是基本上基于周围像素值等来检测拐角。例如，在图19的情况下，拐角306被检测为矩形302至305的边界(边缘)相交处的一部分。

稍后将描述与拐角的检测有关的处理的细节。

在步骤S129中，投影控制单元158确定是否所有投影单元111都投影了方格图案图像。如果投影控制单元158确定存在未处理的投影单元111，则处理返回到步骤S121。此外，如果投影控制单元158在步骤S129中确定所有投影单元111都投影了所有方格图案图像，则处理进行到步骤S130。即，对每个投影单元111执行步骤S121至S129中的每个处理。

在使所有投影单元111投影所有方格图案图像的投影图像并且使所有成像单元112拍摄所有投影图像之后，拐角检测单元152在步骤S130中生成包括如上面所描述那样检测到的拐角的坐标以及用于识别拐角处的图案(例如白色和黑色)的阈值的映射信息。

当完成步骤S130的处理时，处理进行到图17。

<与点的检测有关的处理>

接下来，控制装置101投影点图案图像、拍摄投影图像并且检测拍摄图像中包括的点。

点图案图像是点图案的图像。点图案是在预定位置处布置单个或多个点的图案(设计)。该点例如是指示由单个或多个像素形成的基本圆形区域的点或图片。预定位置例如是与方格图案的拐角的位置相同的位置或者拐角周围的位置(拐角的附近)。在下文中，与拐角处于相同位置处或处于拐角周围位置处的点也将被称为与拐角(特征点)对应的点。

提供多个点图案作为一组。形成作为一组被提供的点图案的点的布置图案彼此不同。即，在点图案中，点中的至少一部分点的位置彼此不同。注意，作为一组被提供的点图案沿时间线(在时间方向上)按顺序被投影。即，在不同的时刻投影点图案。然后，每个点图案中的点被布置成使得在以这种方式投影点的情况下与相同拐角对应的点在时间方向上的出现图案被唯一地确定。

图20示出了点图案图像的示例。例如，与方格图案的一部分或全部拐角(特征点)对应的点(白点)布置在图20右侧所示的点图案图像311-1至311-3中的每个点图案图像上。即，在点图案图像311-1至311-3中的每个点图案图像中，点形成在与方格图案的一些拐角相同的位置处或方格图案的一些拐角周围。然后，在点图案图像311-1至311-3在时间方向上被按顺序投影的情况下，在与拐角相同的位置处或拐角周围的点在时间方向上的出现图案被唯一地确定。

例如，点在点图案图像311-1和点图案图像311-3中出现在与方格图案的预定位置处的拐角A相同的位置处或拐角A周围。点在点图案图像311-2和点图案图像311-3中出现在与另一位置处的拐角B相同的位置处或拐角B周围。点在点图案图像311-1和点图案图像311-2中出现在与又一位置处的拐角C相同的位置处或拐角C的周围。点在时间方向上的出现图案被唯一地确定，并且可以基于出现图案来识别与点对应的拐角。

注意，在点图案图像311-1至311-3中，点(白色点)的大小基本相同，并且形状基本相同。此外，背景是均匀的黑色图像并且对于点图案图像311-1至311-3是共用的。

在从拍摄图像检测点的情况下，尽管可以从一个点图案图像的投影图像的拍摄图像(例如在图20的情况下，点图案图像311-1至311-3中的每一个的投影图像的拍摄图像)检测点，还可以从每个拍摄图像与不包括点图案的图像的投影图像的拍摄图像之间的差分图像检测点。

例如，可以在与点图案图像311-1至311-3的时刻不同的时刻处投影如图20左侧所示的那样不包括点图案的点图案图像311-0。可以获得点图案图像311-1至311-3中的每一个的投影图像的拍摄图像与点图案图像311-0的投影图像的拍摄图像之间的差分图像，并且点可以在差分图像中被检测到。

点图案图像311-0是与点图案图像311-1至311-3类似的图像，除了不包括点图案。即，点图案图像311-0由与点图案图像311-1至311-3的背景图像类似的均匀的黑色图像形成。

通常，点的一部分与背景的其他部分之间的亮度值的差在差分图像中比在点图案图像311-1至311-3中的每一个的投影图像的拍摄图像中更显著。因此，点图案的S/N比提高了。即，通过使用差分图像可以比使用每个拍摄图像更准确地检测点。

由每个投影单元111投影点图案图像。即控制装置101使所有投影单元111按顺序投影所有准备好的点图案图像。

由每个成像单元112拍摄点图案图像的投影图像。即，控制装置101使所有成像单元112拍摄由所有投影单元111投影的所有点图案图像的投影图像。

在下文中，将描述特定处理的流程的示例。在图17的步骤S141中，投影控制单元158选择未处理的投影单元111作为处理目标(控制目标)。

在步骤S142中，点图案投影成像单元153选择未处理的点图案图像作为处理目标。

在步骤S143中，投影控制单元158控制作为在步骤S141中选择的处理目标的投影单元111，以投影作为在步骤S142中选择的处理目标的点图案图像。在这种情况下，投影控制单元158将作为处理目标的点图案图像叠加在正在被投影的动态图像的任意帧的图像上并且将图像提供给作为处理目标的投影单元111，以投影叠加在动态图像的任意帧的图像上的图像。

在步骤S144中，成像控制单元159选择未处理的成像单元112作为处理目标(控制目标)。

在步骤S145中，成像控制单元159控制作为在步骤S144中选择的处理目标的成像单元112，以拍摄作为在步骤S143中投影的处理目标的点图案图像的投影图像。然后，成像控制单元159获取由作为处理目标的成像单元112获得的拍摄图像。

如上所述，点图案图像被叠加在动态图像的预定帧的图像上并且被投影，并且拍摄图像包括点图案图像和动态图像的预定帧的图像的至少一部分。

在步骤S146中，成像控制单元159确定所有成像单元112是否已经拍摄了作为处理目标的点图案图像的投影图像。如果成像控制单元159确定存在未处理的成像单元112，则处理返回到步骤S144。此外，如果在步骤S146中成像控制单元159确定所有成像单元112已经拍摄了投影图像，则处理进行到步骤S147。即，对每个成像单元112执行步骤S144至S146中的每个处理。注意，对不包括作为成像范围中的处理目标的点图案图像的投影图像的成像单元112，可以跳过这些处理。

在使所有成像单元112拍摄作为处理目标的点图案图像的投影图像之后，点图案投影成像单元153在步骤S147中确定是否处理(投影)了所有点图案图像。如果点图案投影成像单元153确定存在未处理的点图案图像，则处理返回到步骤S142。此外，如果点图案投影成像单元153在步骤S147中确定处理了所有点图案图像，则处理进行到步骤S148。即，对每个点图案图像执行步骤S142至S147中的每个处理。

在使所有成像单元112拍摄所有点图案图像的投影图像之后，点重心检测单元154在步骤S148中检测包括在步骤S145中获得的拍摄图像中的点。注意，点重心检测单元154还可以检测检测到的点的重心。此外，点重心检测单元154可以获得与在时间方向上被求平均的拐角对应的点的重心。

稍后将描述与检测点的重心有关的处理的细节。

在步骤S149中，投影控制单元158确定所有投影单元111是否投影了点图案图像。如果投影控制单元158确定存在未处理的投影单元111，则处理返回到步骤S141。此外，如果投影控制单元158在步骤S149中确定所有投影单元111都投影了所有点图案图像，则处理进行到步骤S150。即，对每个投影单元111执行步骤S141至S149中的每个处理。

在使所有投影单元111投影所有点图案图像的投影图像并且使所有成像单元112拍摄所有投影图像之后，点重心检测单元154在步骤S150中生成指示与每个拐角对应的点在时间方向上的出现图案的点时间序列数据。

在步骤S151中，对应点解码单元155通过对与在步骤S150中获得的点时间序列数据中包括的每个拐角对应的点在时间方向上的出现图案进行解码来识别每个拐角。然后，对应点解码单元155基于所识别的拐角的位置来获得投影图像与拍摄图像之间的对应点。对应点解码单元155获得所有投影图像与拍摄图像之间的对应点。即，对应点解码单元155获得每个投影单元111的哪个像素与每个成像单元112的哪个像素对应。

当完成步骤S151的处理时，对应点检测处理结束，并且处理返回到图15。

以这种方式，通过使用方格图案来检测对应点，控制装置101可以基于比使用格雷码的情况更少的图案图像来检测对应点。因此，可以抑制对应点检测的处理时间的增加。

此外，不仅使用方格图案，还使用点图案。控制装置101可以容易地识别除了方格图案的拐角以外的拐角，并且可以抑制对应点的检测准确度的降低。此外，可以抑制投影单元111和成像单元112的安装自由度的降低。

因此，可以提高对应点检测的准确度。

<使用点的拐角校正>

注意，可以通过使用点来校正拐角的位置。例如，拐角的位置可以被设置成在步骤S148中检测到的与拐角对应的点的重心。此外，例如，拐角的位置可以被设置成在步骤S148中获得的与在时间方向上被求平均的拐角对应的点的重心。

通常，方格图案的形状倾向于根据投影角度、屏幕形状等而改变，并且这倾向于降低拐角的检测准确度。另一方面，点是小的简单图片，并且投影角度、屏幕形状等不会使方格图案的形状改变太多。因此，通过使用点图案来检测如上所述的拐角，可以抑制由于环境引起的对应点检测的准确度的降低，并且可以实现更鲁棒的对应点检测。

此外，仅使用方格图案的对应点检测不能获得等于或小于像素的检测准确度，并且难以充分提高三角测量的准确度。然而，通过如上面所描述的那样使用点图案来执行对应点检测，可以以子像素准确度获得对应点，并且可以更容易地将三角测量的准确度提高到足够高的水平。

此外，通过使用如上所述的点图案，可以执行拐角的识别和位置的校正，并且图案的数量可以小于使用不同的图案来识别拐角和校正位置的情况。这可以抑制对应点检测的处理时间的增加。

<外周部分的对应点检测>

注意，位于方格图案图像的外周部分中的拐角的检测准确度(检测位置的准确度)会低于除外周部分以外的位置处的拐角的检测准确度。例如，在图21的A中所示的方格图案图像312的情况下，边缘(矩形的边界)存在于由白色圆圈表示的拐角313周围的四个方向上。另一方面，由黑色圆圈指示的拐角314位于方格图案图像312的外周部分中，并且边缘仅存在于拐角314周围的一个方向上。此外，方格图案图像312外部的区域是具有不确定像素值的区域，并且方格图案图像312的外周部分的检测准确度会减小。因此，外周部分中的拐角314的位置处的检测准确度会低于不在外周部分中的拐角313的检测准确度。即，外周部分中的对应点的检测准确度会低于非外周部分中的对应点的检测准确度。

因此，在点图案图像中，与位于方格图案图像的外周部分中的拐角对应的点在时间方向上的出现频率可以被设置成比与除了方格图案图像的外周部分以外的位置处的拐角对应的点在时间方向上的出现频率高。即，具有较高的点出现频率的出现图案可以优先被分配给位于方格图案图像的外周部分中的拐角。

例如，假设将四个点图案被投影到图21的A中所示的方格图案图像312。在这种情况下，如图21的B中所示的表中那样，点的出现图案可以被分配给拐角P、拐角Q、拐角R和拐角S。在图21的B中，数字1到4的列指示点图案，白色圆圈指示点。更具体地，出现三个点的出现图案被分配给作为外周部分中的拐角314的拐角P和拐角Q。另一方面，仅出现一个点的出现图案被分配给作为非外周部分中的拐角313的拐角R和拐角S。

通常，点的出现频率越高，在时间方向上被求平均的点的重心的位置的准确度可以提高得越多。即，可以在更准确的位置处获得在时间方向上被求平均的点的重心。

因此，可以将与位于方格图案图像的外周部分中的拐角对应的点在时间方向上的出现频率设置得更高，以在基于如上所述的在时间方向上被求平均的点的重心校正拐角的位置的情况下将外周部分中的拐角校正到更准确的位置。即，可以抑制外周部分中的对应点的检测准确度的降低，并且可以执行足够高度准确的对应点检测而不管位置如何。

注意，通常，对应点与投影图像的外周部分越接近，对应点的使用价值越高。例如，靠近外周部分的对应点可以容易地用于对整个图像的几何校正。此外，在如投影成像系统100中那样多个投影单元111投影图像的系统的情况下，投影图像的一部分与外周部分越接近，该部分变成交叠区域的可能性越高。因此，该部分可以容易地用于对应点检测以进行姿势估计或屏幕重建。换言之，在这种情况下，不太可能首先检测到接近投影图像的中心的对应点，并且与靠近外周部分的对应点相比，几乎不可能使用接近投影图像的中心的对应点。

因此，具有较高的点出现频率的出现图案也可以优先被分配给更靠近外周部分的非外周部分中的拐角。以这种方式，对应点越接近外周部分，对应点的检测准确度可以提高得越多。

<拐角检测处理的流程>

接下来，将参照图22的流程图描述在图16的步骤S128中执行的拐角检测处理的流程的示例。

当拐角检测处理开始时，差分图像生成单元161在步骤S161中生成方格图案差分图像，该方格图案差分图像是包括在步骤S125中获得的一对方格图案的相应投影图像的拍摄图像之间的差分图像。例如，在图18的情况下，差分图像生成单元161生成包括方格图案图像301-1的拍摄图像与包括方格图案图像301-2的拍摄图像之间的方格图案差分图像。

在步骤S162中，二值化单元162将在步骤S161中获得的方格图案差分图像二值化，以获得二值图像。通过将方格图案差分图像二值化，矩形的边界变得更加显著，并且可以进一步方便拐角检测。

在步骤S163中，拐角检测单元163检测在步骤S162中获得的二值图像中的拐角。

当完成步骤S163的处理时，处理返回到图16。

<重心检测处理的流程>

接下来，将参照图23的流程图描述在图17的步骤S148中执行的重心检测处理的流程的示例。

当重心检测处理开始时，差分图像生成单元171在步骤S181中生成点图案差分图像，该点图案差分图像是包括在步骤S145中获得的成对点图案图像的投影图像的拍摄图像与包括不具有点图案的图像的投影图像的拍摄图像之间的差分图像。例如，在图20的情况下，差分图像生成单元171生成包括点图案图像311-0的拍摄图像与包括点图案图像311-1的拍摄图像之间的点图案差分图像、包括点图案图像311-0的拍摄图像与包括点图案图像311-2的拍摄图像之间的点图案差分图像以及包括点图案图像311-0的拍摄图像与包括点图案图像311-3的拍摄图像之间的点图案差分图像。

在步骤S182中，二值化单元172将在步骤S181中获得的每个点图案差分图像二值化，以获得每个二值图像。通过将点图案差分图像二值化，点变得更加显著，并且可以进一步方便点检测。

在步骤S183中，点检测单元173检测在步骤S182中获得的每个二值图像中的点。在这种情况下，点检测单元173可以检测与包括在步骤S128(图16)中检测到的拐角(特征点)的预定范围中的拐角对应的点。

例如，在检测与如图24的A所示的彼此相邻的矩形321至324的拐角对应的点331的情况下，点检测单元173可以检测包括拐角的预定范围325中的点。

点设置在每个拐角的位置处，并且与每个拐角对应的点出现在拐角附近。换言之，在远离拐角的位置处检测到的点可能是错误检测。因此，通过检测与包括拐角的预定范围内(例如在拐角周围的预定范围内)的每个拐角对应的点，可以抑制点的错误检测，并且与拐角对应的点可以更准确地被检测到。此外，可以抑制对不必要区域中的点的检测，并且可以减少不必要的处理。因此，可以抑制处理时间或负荷的增加。

在步骤S184中，重心检测单元174对在步骤S183中检测到的每个二值图像中的每个点的重心进行检测。例如，在步骤S183中检测到如图24的A中所示的点331的情况下，重心检测单元174获得点331的重心341。重心可以用于校正拐角的位置，并且可以更准确地执行对应点检测。

在步骤S185中，平均处理单元175在时间方向上对在步骤S184中检测到的每个点的重心的坐标进行求平均。例如，如图24的B中所示，假设包括点331-1至331-3的三个点被单独地检测为与三个拍摄图像中的一个拐角对应的点。平均处理单元175在时间方向上对点331-1至331-3的重心坐标求平均。以这种方式获得的在时间方向上被求平均的点的重心可以用于校正拐角的位置，并且可以进一步准确地执行对应点检测。

当完成步骤S185的处理时，处理返回到图17。

通过执行如上所述的处理，控制装置101可以提高对应点检测的准确度。

<3.第二实施方式>

<投影成像系统和投影成像装置的其他配置示例>

注意，根据本技术的投影成像系统的配置示例不限于上述示例。例如，如在图25的A中所示的投影成像系统400中那样，控制装置101和每个投影成像装置102可以通过网络401彼此连接。

网络401是任意通信网络。网络401中采用的通信方法是任意的。例如，通信可以是有线通信，可以是无线通信，或者可以是它们两者。此外，网络401可以包括一个通信网络或者可以包括多个通信网络。例如，网络401可以包括任意通信标准的通信网络和通信信道，例如因特网、公共电话网络、用于所谓的3G网络或4G网络中的无线移动的广域通信网络、用于执行遵照WAN(广域网)、LAN(局域网)和蓝牙(注册商标)标准的通信的无线通信网络、诸如NFC(近场通信)的短距离无线通信的通信信道、红外通信的通信信道以及遵照HDMI(注册商标)(高清多媒体接口)和USB(通用串行总线)标准的有线通信的通信网络。

控制装置101和每个投影成像装置102连接至网络401并且能够通信。注意，连接可以是有线的(即通过有线通信的连接)，可以是无线的(即通过无线通信的连接)，或者可以是它们两者。注意，装置的数量、壳体的形状和尺寸、布置位置等是任意的。

控制装置101和每个投影成像装置102可以通过网络401彼此通信(诸如信息的传送)。换言之，控制装置101和每个投影成像装置102可以连接并且能够通过其他设备(例如装置和传输路径)彼此通信。

在以这种方式配置的投影成像系统400的情况下，可以与投影成像系统100的情况类似地应用本技术，并且可以获得上述效果。

此外，例如，投影单元111和成像单元112可以被设置为与图25的B中所示的投影成像系统410中的装置不同的装置。投影成像系统410包括投影装置411-1到411-N(N是任意自然数)和成像装置412-1到412-M(M是任意自然数)来代替投影成像装置102。投影装置411-1至411-N分别包括投影单元111(投影单元111-1至111-N)并且投影图像。成像装置412-1至412-M分别包括成像单元112(成像单元112-1至112-M)并且拍摄投影表面的图像(由投影单元111投影的投影图像)。

在描述中不需要区分的情况下，投影装置411-1至411-N将被称为投影装置411。在描述中不需要区分的情况下，成像装置412-1至412-M将被称为成像装置412。

每个投影装置411和每个成像装置412连接至控制装置101并且能够与控制装置101通信，并且能够通过有线通信和无线通信中的一者或两者与控制装置101通信(传送信息)。注意，每个投影装置411和每个成像装置412可以通过控制装置101与另一个投影装置411和另一个成像装置412中的一个或两个通信。

此外，装置的数量、壳体的形状和尺寸、布置位置等是任意的。此外，如在图25的A的示例中那样，装置可以通过诸如网络401的其他设备(装置或传输路径)彼此连接并且能够彼此通信。

在以这种方式配置的投影成像系统410的情况下，可以与投影成像系统100的情况类似地应用本技术，并且可以获得上述效果。

此外，例如，可以如在图26的A中所示的投影成像系统420中那样去除控制装置101。如图26的A中所示，投影成像系统420包括投影成像装置421-1至421-N(N是任意自然数)。在描述中不需要区分的情况下，投影成像装置421-1至421-N将被称为投影成像装置421。投影成像装置421通过通信线缆422彼此连接并且能够彼此通信。注意，投影成像装置421可以通过无线通信彼此连接并且能够彼此通信。

投影成像装置421-1至421-N分别包括控制单元423-1至423-N。在描述中不需要区分的情况下，控制单元423-1至423-N将被称为控制单元423。控制单元423具有与控制装置101的功能类似的功能并且可以执行类似的处理。

即，在投影成像系统420的情况下，投影成像装置421(投影成像装置421的控制单元423)执行由上述控制装置101执行的处理。注意，投影成像装置421中的一个(投影成像装置421的控制单元423)可以执行由控制装置101执行的所有处理或多个投影成像装置421(投影成像的控制单元423)可以协作以通过执行诸如向彼此传送信息的操作来执行处理。

在以这种方式配置的投影成像系统420的情况下，可以与投影成像系统100的情况类似地应用本技术，并且可以获得上述效果。

此外，如例如图26的B中所示，投影成像系统100可以被提供作为一个装置。图26的B中所示的投影成像装置430包括投影单元111(投影单元111-1至111-N(N是任意自然数))、成像单元112(成像单元112-1至112-M(M是任意自然数))和控制单元423。

在投影成像装置430中，控制单元423执行由控制装置101执行的处理，以控制每个投影单元111和每个成像单元112以执行诸如对应点的检测的操作。

因此，在以这种方式配置的投影成像装置430的情况下，可以与投影成像系统100的情况类似地应用本技术，并且可以获得上述效果。

<4.等等>

<本技术的应用示例>

根据上述实施方式的系统和装置可以应用于任意系统和电子设备。本技术还可以应用于例如任意领域中的成像处理系统和图像处理装置，例如交通、医疗保健、犯罪预防、农业、畜牧业、采矿业、化妆品行业、工厂、家用电器、天气和自然监视。

例如，本技术还可以应用于投影和拍摄要观看的图像的系统。本技术还可以应用于例如用于交通的系统。此外，本技术可以应用于例如用于安全性的系统。本技术还可以应用于例如用于体育的系统。此外，本技术可以应用于例如用于农业的系统。本技术还可以应用于例如用于畜牧业的系统。此外，本技术可以应用于例如监视诸如火山、森林和海洋的自然状态的系统、观察例如天气、温度、湿度、风速、日照时间等的天气观测系统、观察诸如鸟类、鱼类、爬行动物、两栖动物，哺乳动物、昆虫和植物等的野生动物生态的系统。

<软件>

上述一系列处理可以由硬件执行或者可以由软件执行。在通过软件执行上述一系列处理的情况下，从网络或记录介质安装软件中包括的程序。

例如，在图9的控制装置101的情况下，记录介质包括记录程序的可移动介质141，可移动介质141与装置的主体分开地分布以将程序传送给用户。在这种情况下，例如，可移动介质141可以安装在驱动器135上，以使驱动器135读取存储在可移动介质141中的程序并将程序安装在存储单元133上。

此外，在例如图12的投影成像装置102的情况下，记录介质包括记录程序的可移动介质221，可移动介质221与装置的主体分开地分布，以将程序传送给用户。在这种情况下，例如，可移动介质221可以安装在驱动器215上，以使驱动器215读取存储在可移动介质221中的程序，以便将程序安装在存储单元213上。

该程序还可以通过诸如局域网、因特网和数字卫星广播的有线或无线传输介质来提供。例如，在图9的控制装置101的情况下，通信单元134可以接收程序，并且程序可以安装在存储单元133上。此外，在例如图12的投影成像装置102的情况下，通信单元214可以接收程序，并且程序可以被安装在存储单元213上。

此外，程序也可以预先安装在存储单元、ROM等中。例如，在图9的控制装置101的情况下，程序可以预先安装在存储单元133、ROM 122等中。此外，在例如图12的投影成像装置102的情况下，程序可以预先安装在存储单元213、控制单元201中包括的ROM(未示出)等中。

注意，由计算机执行的程序可以是描述程序的步骤的处理按照本说明书中描述的时间顺序执行的程序，或者程序可以是用于并行地执行处理或用于在必要的时刻例如在调用处理时单独地执行处理的程序。此外，描述程序的步骤的处理可以与其他程序的处理并行执行，或者可以与其他程序的处理组合执行。

此外，上述步骤的处理可以由上述装置或除了上述装置以外的任意装置执行。在这种情况下，执行处理的装置可以具有执行处理所必需的上述功能(例如功能块)。此外，可以将该处理所需的信息适当地发送给装置。

<等等>

本技术的实施方式不限于上述实施方式，并且在不脱离本技术的范围的情况下可以进行各种改变。

例如，本说明书中的系统表示一组多个组成元件(装置、模块(部件)等)，并且所有组成元件是否在同一壳体中无关紧要。因此，存储在分开的壳体中并通过网络连接的多个装置以及在一个壳体中存储多个模块的一个装置都是系统。

此外，例如，可以划分描述中的一个装置(或处理单元)的配置以提供多个装置(或处理单元)。相反，可以将上述多个装置(或处理单元)的配置放置在一起以提供一个装置(或处理单元)。此外，显然可以将除了上述配置以外的配置添加到每个装置(或每个处理单元)的配置。此外，在整个系统的配置和操作基本相同的情况下，装置(或处理单元)的配置的一部分可以包括在另一装置(或另一处理单元)的配置中。

此外，本技术可以被提供为例如多个装置共享一个功能并且协作以通过网络执行处理的云计算。

此外，例如，一个装置可以执行流程图中描述的每个步骤，或者多个装置可以负责并执行每个步骤。此外，在一个步骤包括多个处理的情况下，一个装置可以执行一个步骤中包括的多个处理，或者多个装置可以负责并执行处理。

此外，本技术不仅可以作为装置或系统来被执行，而且还可以以安装在装置或系统中包括的装置上的任何配置来被执行，例如，作为系统LSI(大规模集成)等的处理器、使用多个处理器等的模块、使用多个模块等的单元以及包括添加到该单元的其他功能的组(即，装置的一部分的配置)。

注意，只要没有矛盾，本说明书中描述的多种本技术可以独立地和单独地执行。显然地，也可以组合和执行多种任意的本技术。例如，在一个实施方式中描述的本技术也可以与另一个实施方式中描述的本技术组合执行。此外，上述任意的本技术也可以与上面未描述的另一种技术组合执行。

注意，本技术也可以如下配置。

(1)

(1)一种图像处理装置，包括：

特征点检测单元，其检测通过拍摄包括多个预定特征点的投影图像获得的拍摄图像中包括的特征点；

点检测单元，其检测通过拍摄包括具有单个或多个点的点图案的投影图像获得的拍摄图像中包括的点；以及

对应点检测单元，其通过基于由所述点检测单元检测到的并且与所述特征点对应的点在时间方向上的出现图案识别由所述特征点检测单元检测到的特征点来检测所述投影图像与所述拍摄图像之间的对应点。

(2)

根据(1)所述的图像处理装置，其中

所述对应点检测单元基于由所述点检测单元检测到的并且与由所述特征点检测单元检测到的特征点位于相同位置处或位于由所述特征点检测单元检测到的特征点周围的点在所述时间方向上的出现图案来识别特征点。

(3)

根据(1)或(2)所述的图像处理装置，其中

包括特征点的所述投影图像是方格图案的投影图像，并且

特征点是所述方格图案的拐角。

(4)

根据(1)至(3)中任一项所述的图像处理装置，其中

所述特征点检测单元生成通过拍摄具有反转图案的一对方格图案的投影图像获得的一对拍摄图案之间的差分图像并且检测所生成的差分图像中包括的特征点。

(5)

根据(1)至(4)中任一项所述的图像处理装置，其中

所述特征点检测单元将所述差分图像二值化以生成二值图像并且检测所生成的二值图像中包括的所征点。

(6)

根据(1)至(5)中任一项所述的图像处理装置，其中

所述特征点检测单元生成所检测到的特征点的坐标的映射信息。

(7)

根据(1)至(6)中任一项所述的图像处理装置，其中

所述点检测单元检测每个拍摄图像中包括的所述点，每个拍摄图像是通过拍摄提供有点的多个点图案中的每一个的投影图像获得的，所述点被布置成使得在时间方向上按顺序投影的并且与所述特征点对应的点在时间方向上的出现图案被唯一确定。

(8)

根据(1)至(7)中任一项所述的图像处理装置，其中

所述点检测单元检测包括特征点的预定范围中的点。

(9)

根据(1)至(8)中任一项所述的图像处理装置，其中，

所述点检测单元生成通过拍摄不包括点图案的投影图像获得的拍摄图像与通过拍摄包括点图案的投影图像获得的拍摄图像之间的差分图像并且检测所生成的差分图像中包括的点。

(10)

根据(1)至(9)中任一项所述的图像处理装置，其中

所述点检测单元将所述差分图像二值化以生成二值图像并且检测所生成的二值图像中包括的点。

(11)

根据(1)至(10)中任一项所述的图像处理装置，其中

所述点检测单元还检测所检测到的点的重心，并且

所述对应点检测单元使用由所述点检测单元检测到的点的重心来校正特征点的位置。

(12)

根据(1)至(11)中任一项所述的图像处理装置，其中

所述点检测单元

检测通过拍摄提供有点的多个点图案中的每一个的投影图像获得的每个拍摄图像中包括的点和所述点的重心，所述点被布置成使得在时间方向上按顺序投影的并且与特征点对应的点在时间方向上的出现图案被唯一确定，并且

在时间方向上对与相同的特征点对应的所检测到的点的重心求平均。

(13)

根据(1)至(12)中任一项所述的图像处理装置，其中

所述点图案提供有呈图案的点，使得与投影图像的外周部分中的特征点对应的点在时间方向上的出现频率比与除了投影图像的外周部分以外的位置处的特征点对应的点在时间方向上的出现频率高。

(14)

根据(1)至(13)中任一项所述的图像处理装置，其中

所述特征点是呈预定图案的图片被重复的图案图像中包括的预定图片的一部分，

所述特征点检测单元被配置成检测通过拍摄包括叠加在另一图像上的图案图像的投影图像获得的拍摄图像中包括的特征点，并且

所述点检测单元被配置成检测通过拍摄包括叠加在另一图像上的点图案的投影图像获得的拍摄图像中包括的点。

(15)

根据(1)至(14)中任一项所述的图像处理装置，其中

所述对应点检测单元检测从多个投影单元投影的每个投影图像与由多个成像单元通过拍摄每个投影图像获得的每个拍摄图像之间的对应点。

(16)

根据(1)至(15)中任一项所述的图像处理装置，还包括：

姿势估计单元，所述姿势估计单元使用由所述对应点检测单元检测到的对应点来估计姿势。

(17)

根据(1)至(16)中任一项所述的图像处理装置，还包括：

设置单元，所述设置单元基于由所述姿势估计单元估计的姿势来执行与对所述投影图像的几何校正有关的设置。

(18)

根据(1)至(17)中任一项所述的图像处理装置，还包括：

投影单元，所述投影单元将所述投影图像投影。

(19)

根据(1)至(18)中任一项所述的图像处理装置，还包括：

成像单元，所述成像单元拍摄所述投影图像以获得所述拍摄图像。

(20)

一种图像处理方法，包括：

检测通过拍摄包括多个预定特征点的投影图像获得的拍摄图像中包括的特征点；

检测通过拍摄包括具有单个或多个点的点图案的投影图像获得的拍摄图像中包括的点；以及

通过基于与所述特征点对应的所检测到的点在时间方向上的出现图案识别所检测到的特征点来检所述测投影图像与所述拍摄图像之间的对应点。

附图标记列表

100投影成像系统、101控制装置、102投影成像装置、111投影单元、112成像单元、151方格图案投影成像单元、152拐角检测单元、153点图案投影成像单元、154点重心检测单元、155对应点解码单元、156姿势估计单元、157设置单元、158投影控制单元、159成像控制单元、161差分图像生成单元、162二值化单元、163拐角检测单元、171差分图像生成单元、172二值化单元、173点检测单元、174重心检测单元、175平均处理单元、201控制单元、400投影成像系统、401网络、410投影成像系统、411投影装置、412成像装置、420投影成像系统、421投影成像装置、423控制单元、430投影成像装置。

Claims (19)

1.一种图像处理装置，包括：

特征点检测单元，其检测通过拍摄包括多个预定特征点的投影图像获得的拍摄图像中包括的特征点；

点检测单元，其检测通过拍摄包括具有单个或多个点的点图案的投影图像获得的拍摄图像中包括的点；以及

对应点检测单元，其通过基于由所述点检测单元检测到的并且与所述特征点对应的点在时间方向上的出现图案识别由所述特征点检测单元检测到的特征点来检测当前投影图像与和所述当前投影图像对应的拍摄图像之间的对应点；

其中，包括所述特征点的投影图像是方格图案的投影图像，并且

所述特征点是所述方格图案的拐角。

2.根据权利要求1所述的图像处理装置，其中

所述对应点检测单元基于由所述点检测单元检测到的并且与由所述特征点检测单元检测到的特征点位于相同位置处或位于由所述特征点检测单元检测到的特征点周围的点在所述时间方向上的出现图案来识别特征点。

3.根据权利要求1所述的图像处理装置，其中

所述特征点检测单元生成通过拍摄具有反转图案的一对方格图案的投影图像获得的一对拍摄图案之间的差分图像并且检测所生成的差分图像中包括的特征点。

4.根据权利要求3所述的图像处理装置，其中

所述特征点检测单元将所述差分图像二值化以生成二值图像并且检测所生成的二值图像中包括的特征点。

5.根据权利要求1所述的图像处理装置，其中

所述特征点检测单元生成所检测到的特征点的坐标的映射信息。

6.根据权利要求1所述的图像处理装置，其中

所述点检测单元检测每个拍摄图像中包括的点，每个拍摄图像是通过拍摄提供有点的多个点图案中的每一个的投影图像获得的，所述点被布置成使得在时间方向上按顺序投影的并且与特征点对应的点在时间方向上的出现图案被唯一确定。

7.根据权利要求1所述的图像处理装置，其中

所述点检测单元检测包括特征点的预定范围中的点。

8.根据权利要求1所述的图像处理装置，其中

所述点检测单元生成通过拍摄不包括点图案的投影图像获得的拍摄图像与通过拍摄包括点图案的投影图像获得的拍摄图像之间的差分图像并且检测所生成的差分图像中包括的点。

9.根据权利要求8所述的图像处理装置，其中

所述点检测单元将所述差分图像二值化以生成二值图像并且检测所生成的二值图像中包括的点。

10.根据权利要求1所述的图像处理装置，其中

所述点检测单元还检测所检测到的点的重心，并且

所述对应点检测单元使用由所述点检测单元检测到的点的重心来校正特征点的位置。

11.根据权利要求10所述的图像处理装置，其中

所述点检测单元

检测通过拍摄提供有点的多个点图案中的每一个的投影图像获得的每个拍摄图像中包括的点和所述点的重心，所述点被布置成使得在时间方向上按顺序投影的并且与特征点对应的点在时间方向上的出现图案被唯一确定，并且

在时间方向上对与相同的特征点对应的所检测到的点的重心求平均。

12.根据权利要求11所述的图像处理装置，其中

所述点图案提供有呈图案的点，使得与投影图像的外周部分中的特征点对应的点在时间方向上的出现频率比与除了投影图像的外周部分以外的位置处的特征点对应的点在时间方向上的出现频率高。

13.根据权利要求1所述的图像处理装置，其中

所述特征点是呈预定图案的图片被重复的图案图像中包括的预定图片的一部分，

所述特征点检测单元被配置成检测通过拍摄包括叠加在另一图像上的图案图像的投影图像获得的拍摄图像中包括的特征点，并且

所述点检测单元被配置成检测通过拍摄包括叠加在另一图像上的点图案的投影图像获得的拍摄图像中包括的点。

14.根据权利要求1所述的图像处理装置，其中

所述对应点检测单元检测从多个投影单元投影的每个投影图像与由多个成像单元通过拍摄每个投影图像获得的每个拍摄图像之间的对应点。

15.根据权利要求1所述的图像处理装置，还包括：

姿势估计单元，所述姿势估计单元使用由所述对应点检测单元检测到的对应点来估计姿势。

16.根据权利要求15所述的图像处理装置，还包括：

设置单元，所述设置单元基于由所述姿势估计单元估计的姿势来执行与对所述投影图像的几何校正有关的设置。

17.根据权利要求1所述的图像处理装置，还包括：

投影单元，所述投影单元将所述投影图像投影。

18.根据权利要求1所述的图像处理装置，还包括：

成像单元，所述成像单元拍摄所述投影图像以获得所述拍摄图像。

19.一种图像处理方法，包括：

检测通过拍摄包括多个预定特征点的投影图像获得的拍摄图像中包括的特征点；

检测通过拍摄包括具有单个或多个点的点图案的投影图像获得的拍摄图像中包括的点；以及

通过基于与所述特征点对应的所检测到的点在时间方向上的出现图案识别所检测到的特征点来检测当前投影图像与和所述当前投影图像对应的拍摄图像之间的对应点；

其中，包括所述特征点的投影图像是方格图案的投影图像，并且

所述特征点是所述方格图案的拐角。

Images