CN110663249A - 用于图像处理的装置和方法 - Google Patents

Abstract

本发明涉及一种用于图像处理的装置和方法，利用该装置和方法可以使图案不可见性的降低最小化。根据本发明，根据内容图像的亮度而调节下述两个图案图像之间的亮度差：这两个图案图像被投影为叠加在内容图像上，并且具有在彼此相反的亮度改变方向上取向的相同形状的图案。本发明能够应用于例如图像处理装置、图像投影装置、控制装置、信息处理装置、投影/成像系统、图像处理方法或程序等。

Description

用于图像处理的装置和方法

技术领域

本公开涉及图像处理装置和方法，并且更具体地涉及被配置成使得可以抑制不可见性的降低的图像处理装置和方法。

背景技术

便利地，为了减少由投影仪投影的投影图像的失真并且对来自多个投影仪的每个投影图像进行位置调整，存在如下方法：由摄像装置捕获投影图像，并且使用捕获图像执行根据投影仪的位置和姿势、投影表面形状等的投影图像的几何校正。在这样的方法的情况下，需要获得投影图像与捕获图像之间的对应点。

例如，作为在内容图像的投影期间获得对应点的技术的在线感测，考虑了不易察觉的结构光(ISL)方法，在不易察觉的结构光(ISL)方法中，图案图像被嵌入投影的内容图像中(例如，参见专利文献1)。在ISL方法中，具有相同的图案并且具有相反的亮度改变方向的两个图案图像被嵌入和投影在内容图像的连续帧上，并且以这种方式，提供了图案的不可见性。

引文列表

专利文献

专利文献1：日本专利申请特许公开第2013-192098号

发明内容

本发明要解决的问题

然而，由于投影仪的设备特性，投影图像的亮度可能会根据要投影的图像的亮度而改变。因此，在投影图像中，嵌入在内容图像中的两个ISL方法图案图像之间的亮度差(幅度)的大小可能取决于内容图像的亮度而改变，并且不可见性可能取决于内容图像的亮度而降低。

鉴于这样的情况做出了本公开，并且本公开是用于抑制图案的不可见性的降低。

问题的解决方案

本技术的一方面的图像处理装置是包括调整部的图像处理装置，该调整部被配置成根据内容图像的亮度而调整在内容图像上以叠加状态投影的两个图案图像之间的亮度差，这两个图案图像具有相同的形状并且具有相反的亮度改变方向的图案。

本技术的一方面的图像处理方法是包括以下操作的图像处理方法：根据内容图像的亮度而调整在内容图像上以叠加状态投影的两个图案图像之间的亮度差，这两个图案图像具有相同的形状并且具有相反的亮度改变方向的图案。

本技术的另一方面的图像处理装置是包括对应点检测部的图像处理装置，该对应点检测部被配置成：在捕获图案图像的投影图像、从所获得的捕获图像中检测图案图像的图案、并且从所检测到的图案中检测对应点时，重复捕获投影图像和从捕获图像中检测图案，直到检测结果中包括的全部图案的可靠性均为高为止。

根据本技术的另一方面的图像处理方法是包括以下操作的图像处理方法：在捕获图像图像的投影图像、从所获得的捕获图像中检测图案图像的图案、并且从所检测到的图案中检测对应点时，重复捕获投影图像和从捕获图像中检测图案，直到检测结果中包括的全部图案的可靠性均为高为止。

在本技术的一方面的图像处理装置和方法中，根据内容图像的亮度来调整在内容图像上以叠加状态投影的两个图案图像之间的亮度差，这两个图案图像具有相同的形状并且具有相反的亮度改变方向的图案。

在本技术的另一方面的信息处理装置和方法中，在捕获图案图像的投影图像、从所获得的捕获图像中检测图案图像的图案、并且从所检测到的图案中检测对应点时，重复捕获投影图像和从捕获图像中检测图案，直到检测结果中包括的全部图案的可靠性均为高为止。

本发明的有益效果

根据本公开，可以对图像进行处理。具体地，可以抑制图案的不可见性的降低。

附图说明

图1是几何校正状态的示例的图。

图2是几何校正状态的示例的图。

图3是几何校正状态的示例的图。

图4是对应点检测状态的示例的图。

图5是对应点检测状态的示例的图。

图6是对应点检测状态的示例的图。

图7是用于描述ISL的示例的图。

图8是结构化光图案的示例的图。

图9是结构化光图案的正图像和负图像的示例的图。

图10是投影仪的γ特性的示例的曲线图。

图11是高亮度幅度调整的示例的曲线图。

图12是低亮度幅度调整的示例的曲线图。

图13是用于亮度幅度调整的程序的示例的图。

图14是上限限幅的示例的图表。

图15是下限限幅的示例的图表。

图16是上/下限限幅的示例的图表。

图17是用于限幅的程序的示例的图。

图18是低可靠性图案检测的示例的图。

图19是伴随自适应感测的对应点检测状态的示例的图。

图20是投影图像捕获系统的主要配置示例的框图。

图21是控制装置的主要配置示例的框图。

图22是由控制装置实现的功能示例的功能框图。

图23是由图案图像投影处理部实现的功能示例的功能框图。

图24是由图案图像调整部实现的功能示例的功能框图。

图25是由对应点检测处理部实现的功能示例的功能框图。

图26是投影图像捕获装置的主要配置示例的框图。

图27是投影部的主要配置示例的框图。

图28是利用激光束进行扫描的示例的图。

图29是用于描述几何校正处理的流程的示例的流程图。

图30是用于描述图案图像投影处理的流程的示例的流程图。

图31是用于描述图案图像调整处理的流程的示例的流程图。

图32是用于描述幅度调整处理的流程的示例的流程图。

图33是用于描述亮度限幅处理的流程的示例的流程图。

图34是用于描述对应点检测处理的流程的示例的流程图。

图35是投影图像捕获系统的其他配置示例的框图。

图36是投影图像捕获系统和投影图像捕获装置的主要配置示例的框图。

具体实施方式

在下文中，将描述用于执行本公开的模式(在下文中被称为“实施例”)。注意，将按以下顺序进行描述：

1.ISL方法和图案的不可见性；

2.第一实施例(投影图像捕获系统)

3.第二实施例(投影图像捕获系统/投影图像捕获装置)；以及

4.其他

<1.ISL方法和图案的不可见性>

<对应点检测和几何校正>

取决于投影仪的相对于投影表面(屏幕、墙壁等)的姿势(位置、取向等)、投影表面的形状等，在一些情况下，投影的图像(也被称为“投影图像”)例如如图1的A中那样失真，导致难以观看这样的图像。在这样的情况下，针对由投影仪投影的图像执行诸如失真校正的几何校正，使得可以如图1的B的示例中一样减少投影图像的失真并且可以容易地观看到图像。

此外，如在图2中的示例那样，存在下述系统：该系统被配置成由多个投影仪投影图像以形成单个投影图像。例如，如在图2的A中那样，存在下述方法：将图像从多个投影仪投影到同一位置以增加对比度并且实现高动态范围。此外，例如，如在图2的B中那样，存在下述方法：各自从投影仪投影的投影图像被布置成形成与由单个投影仪投影的投影图像相比更大的投影图像(与由单个投影仪投影的投影图像相比更高分辨率的投影图像)。在这些方法的情况下，如果各自从投影仪投影的投影图像之间的位置关系不合适，则可能会由于因投影图像的偏移引起的不必要的间隙生成或图像叠加而降低整个投影图像的质量。因此，可能不仅需要对每个投影图像进行上述失真校正，而且还需要进行诸如投影图像之间的位置调整的几何校正。

通过如上所述的投影图像的几何校正，甚至在如图3的示例中那样从多个投影仪将图像投影在弯曲投影表面上的情况下，也可以像形成单个图像一样执行投影。注意，在如在图2的B和图3的示例中那样布置多个投影图像以形成较大的投影图像的情况下，如在图3的示例中那样，相邻的投影图像彼此部分地叠加(彼此重叠)，可以更方便地进行位置调整。

这样的几何校正可以由操作投影仪的操作者等手动执行，但是有可能需要复杂的处理。因此，已经考虑了下述方法：使用摄像装置来捕获由投影仪投影的投影图像，以借助于这样的投影图像来执行几何校正。

例如，如在图4的示例中那样，具有预定设计的标准化光图案12从投影仪11投影在屏幕13上，并且摄像装置14捕获投影的标准化光图案12以获得捕获图像15。然后，基于标准化光图案12的设计获得标准化光图案12与捕获图像15之间的对应点，并且基于该对应点，通过三角测量等获得投影仪11和摄像装置14的姿势(位置关系)、屏幕13的形状等。基于这样的结果执行几何校正。以这种方式，与手动执行几何校正的情况相比，可以更容易地执行几何校正。

在如上所述借助于摄像装置执行几何校正的情况下，需要获得投影图像(可以是要投影的图像)与捕获图像之间的对应点(投影图像的像素和投影表面上对应于同一位置的捕获图像的像素)。也就是说，需要获得摄像装置14的像素(捕获图像15)与投影仪11的像素(标准化光图案12)之间的对应关系。

此外，在如图2和图3的示例中那样使用多个投影仪的情况下，还需要获得投影图像之间的位置关系。

例如，假设如图5的示例中那样，具有投影部21-1(投影仪)和图像捕获部22-1(摄像装置)的投影图像捕获装置20-1以及具有投影部21-2(投影仪)和图像捕获部22-2(摄像装置)的投影图像捕获装置20-2协作以投影图像。在不必区别地描述投影图像捕获装置20-1和投影图像捕获装置20-2的情况下，这些装置将被称为“投影图像捕获装置20”。此外，在不必区别地描述投影部21-1和投影部21-2的情况下，这些部分将被称为“投影部21”。此外，在不必区别地描述图像捕获部22-1和图像捕获部22-2的情况下，这些部分将被称为“图像捕获部22”。

如图5中所示出的，投影图像捕获装置20-1的投影部21-1对于投影表面23的投影区域(投影图像区域)是P0L至P0R的区域。此外，投影图像捕获装置20-2的投影部21-2对于投影表面23的投影区域是P1L至P1R的区域。也就是说，由双头箭头24指示的区域(P1L至P0R的区域)是投影图像彼此叠加的重叠区域。

注意，投影图像捕获装置20-1的图像捕获部22-1对于投影表面23的图像捕获区域(捕获图像中包括的区域)是C0L至C0R的区域。此外，投影图像捕获装置20-2的图像捕获部22-2对于投影表面23的图像捕获区域(捕获图像中包括的区域)是C1L至C1R的区域。

在这样的系统的情况下，如上所述，不仅需要获得每个投影图像捕获装置20处的投影部21与图像捕获部22之间的对应点，而且需要在投影图像捕获装置20之间获得投影部21与图像捕获部22之间的对应点，以用于在投影图像之间执行位置调整。因此，例如如在图6中那样，获得图像捕获部22-2的接收(箭头28)下述光的像素：该光从投影部21-1的特定像素发射(箭头27)，并在投影表面23的X上反射。此外，还获得投影部21-2与图像捕获部22-1之间的类似的像素对应关系。

如上所述，对于可以获得对应点的所有投影部21和所有图像捕获部22，获得投影部21与图像捕获部22之间的对应点，并且因此可以通过几何校正来执行重叠区域(由双头箭头24指示的区域)的位置调整。

<在线感测>

假设在视频投影开始之前执行了用于几何校正的这样的对应点检测，但是由于诸如温度或振动等的干扰的影响，在初始安装之后在视频投影期间这些对应点可能会偏移。如果对应点偏移，则几何校正可能变得不合适，并且可能出现投影图像的失真或位置偏移。

在这样的情况下，需要再次执行对应点检测，但是对于观看这样的视频的用户而言，中断视频投影以进行这样的对应点检测是不可取的(可能会降低满意度)。因此，已经考虑了在继续进行视频投影的同时检测对应点的方法(在线感测)。

例如，可以想到使用诸如红外线的不可见光的方法、使用诸如SIFT的图像特征量的方法、不易察觉的结构光(ISL)方法等作为在线感测技术。在使用诸如红外线的不可见光的方法的情况下，进一步需要被配置成投影不可见光的投影仪(例如，红外投影仪)，并且因此成本可能增加。此外，在使用诸如SIFT的图像特征量的方法的情况下，对应点的检测准确度和密度取决于要投影的图像内容，并且因此难以以稳定的准确度执行对应点检测。

另一方面，在ISL方法的情况下，使用可见光，并且因此可以抑制系统组件数目的增加(即，成本增加)。此外，可以在不依赖于要投影的图像的情况下，以稳定的准确度执行对应点检测。

<ISL方法>

ISL方法是如下技术：对作为具有预定图案的图像的结构化光图案执行正负反转以将结构化光图案嵌入投影图像中，从而进行投影而使得结构光图案不被人感知。

如图7中所示出的，投影仪将预定的结构化光图案添加至输入图像的特定帧，从而生成使得结构化光图案的正图像与输入图像(内容图像)合成的帧图像。投影仪从输入图像的后续帧中抽去结构化光图案，从而生成使得结构化光图案的负图像与输入图像合成的帧图像。然后，投影仪连续投影这些帧。由于整合效应，人眼在组合状态下感知以高速切换的两个正负帧。因此，观看投影图像的用户难以识别嵌入在输入图像中的结构化光图案。

同时，摄像装置捕获这些帧的投影图像，以获得两帧的捕获图像之间的差异。以这种方式，摄像装置仅提取捕获图像中包括的结构化光图案。使用这样的提取的结构化光图案，执行对应点检测。

如上所述，在ISL方法中仅获得捕获图像之间的差异，使得可以容易地提取结构化光图案。理想地，可以在不依赖于要投影的图像的情况下，以稳定的准确度执行对应点检测。

<结构化光图案的结构>

图8中将示出结构化光图案的具体示例。图8中所示的图案图像100是在内容图像上以叠加状态投影的ISL方法的结构化光图案。图案图像100用于检测由投影部投影的投影图像与由图像捕获部捕获的捕获图像之间的对应点(即，投影部与图像捕获部之间的像素对应关系)，并且如图8所示，图案图像100具有多个椭圆形亮度分布图案101，这些椭圆形亮度分布图案101具有与周边亮度值不同的亮度值。也就是说，在图案图像100中，布置(形成)了与周边图案在亮度上不同的多个图案101。

在图8中，白色椭圆形图案101表示亮度改变方向是正方向的图案示例，而黑色椭圆形图案101表示亮度改变方向是负方向的图案示例。每个图案101的尺寸是可选的，并且图案101可以具有相同的尺寸或者可以具有不相同的尺寸。此外，每个图案101可以具有相同的亮度分布，或者可以具有不相同的亮度分布。

在ISL方法的情况下，在图案图像100叠加在其他图像(例如，内容图像)上的情况下，对如上所述配置的图案图像100进行投影。在这种状态下，以与参照图7描述的情况类似的方式，在图案图像100的亮度值与内容图像的特定帧相加并且图案图像100的亮度值被从后续帧中减去的情况下，执行投影。也就是说，如图9所示，图案图像100作为正图像100-1或负图像100-2被叠加在内容图像上。负图像100-2是以使得正图像100-1的亮度值的正负反转的方式获得的图像。也就是说，正图像100-1和负图像100-2具有相同的图案形状，并且具有相反的亮度改变方向。

在上述正图像100-1和负图像100-2叠加在两个连续帧上的情况下执行投影，并且因此，由于整合效应(可以有助于图案图像100的不可见性)，观看投影图像的用户难以感知图案图像100。

<由于亮度改变的影响>

在ISL方法的情况下，如上所述获得捕获图像之间的差异，并且以这种方式，执行图案检测。也就是说，作为正图像100-1的亮度与负图像100-2的亮度之间的差而获得图案。该差也将被称为“幅度”。

然而，由于诸如投影仪的设备特性的外部因素，投影图像中的幅度的大小可能与图案图像100中的幅度的大小不同。例如，假设投影仪具有如在图10中示出的γ曲线111中那样的γ特性。例如，在要投影的内容图像中的亮度值(内容亮度)是由实线121指示的值的情况下，投影图像中的亮度值(输出亮度)是由实线124指示的值。

因此，假设在这样的内容图像中嵌入(叠加)了呈现正方向的亮度改变的图案的情况下的内容亮度是由虚线122指示的值，则输出亮度是由虚线125指示的值。类似地，假设在这样的内容图像中嵌入(叠加)了呈现负方向的亮度改变的图案的情况下的内容亮度是由虚线123指示的值，则输出亮度是由虚线126指示的值。

也就是说，在这种情况下，依据内容亮度的具有由双头箭头127指示的幅度的图案101的幅度被扩展到由双头箭头128指示的幅度。因此，叠加在内容图像上的图案101变得明显，导致不可见性可能降低。

此外，在要投影的内容图像中的亮度值(内容亮度)是例如由实线131指示的值的情况下，投影图像中的亮度值(输出亮度)是由实线134指示的值。此外，假设在这样的内容图像中嵌入了呈现正方向的亮度改变的图案的情况下的内容亮度是由虚线132指示的值，则输出亮度是由虚线135指示的值。类似地，假设在这样的内容图像中嵌入了呈现负方向的亮度改变的图案的情况下的内容亮度是由虚线133指示的值，则输出亮度是由虚线136指示的值。

也就是说，依据内容亮度的具有由双头箭头137指示的幅度的图案101的幅度被缩窄到由双头箭头138指示的幅度。因此，图案101的检测准确度可能降低。

如上所述，在ISL方法的情况下，由于诸如投影仪的γ特性的外部因素，投影图像中的图案101的幅度可能会根据内容图像的亮度而改变，并且因此图案的不可见性和检测准确度可能会降低。

<幅度调整>

由于这些原因，为了减小取决于投影图像中的内容图像的亮度(输出亮度)的图案101的幅度的改变(保持幅度尽可能恒定)，根据其上叠加有图案101的内容图像的亮度而调整图案图像100中的图案101的幅度(正图像100-1与负图像100-2之间的亮度差)。以这种方式，可以抑制图案101的不可见性和检测准确度的降低。

例如，可以配置成使得：内容图像的亮度越高，则导致依据内容亮度的图案101的幅度越小。利用这种配置，可以抑制图案101的不可见性的降低。

例如，如在图11中所示的曲线图的实线141中那样，在内容图像的亮度输入等于或高于预定阈值attenuate_pattern_level(上限是255)的情况下，可以减小叠加在这样的部分上的图案101的幅度Δ。在内容图像的亮度输入低于阈值attenuate_pattern_level的情况下，图案101的幅度Δ不变。

例如，使用用于校正图案101的幅度Δ的调整参数attenuate_pattern_gain，可以如下面的表达式(1)那样获得调整后的图案101的幅度Δrev。

Δrev＝Δ×(attenuate_pattern_gain×(attenuate_pattern_level–输入)+1)…(1)

利用这种配置，可以抑制叠加在亮度值高于阈值attenuate_pattern_level的内容图像上的图案101的不可见性的降低。例如，在通过具有图10中所示的γ特性的投影仪执行投影的情况下，该配置允许仅在图案101更明显的情况下调整图案101的幅度。通常，不可见性随着幅度减小而增加，但是作为权衡，检测准确度相应地降低。因此，如上所述，幅度调整仅限于不可见性特别低的情况(等于或大于预定阈值的情况)，并且因此可以抑制图案101的检测准确度的不必要的降低。此外，当内容图像的亮度值低于阈值时，不执行幅度调整，并且因此也可以减小幅度调整处理负荷。

注意，已经参照图11描述了，在内容图像的亮度输入等于或高于阈值attenuate_pattern_level的范围内，图案101的幅度Δ的调整量根据内容图像的亮度输入而线性地改变，但是这样的改变可以是可选的功能。例如，调整量可以以曲线的方式改变。

此外，例如，依据内容亮度的图案101的幅度可以随着内容图像的亮度降低而增加。利用这种配置，可以抑制图案101的检测准确度的降低。

例如，如图12所示的曲线图的实线142中那样，在内容图像的亮度输入等于或低于预定阈值adjust_pattern_level(下限是0)的情况下，可以增加叠加在这样的部分上的图案101的幅度Δ。在内容图像的亮度输入高于阈值adjust_pattern_level的情况下，图案101的幅度Δ不变。

例如，使用用于校正图案101的幅度Δ的调整参数adjust_pattern_gain，可以如下面的表达式(2)那样获得调整后的图案101的幅度Δrev。

Δrev＝Δ(adjust_pattern_gain×(adjust_pattern_level–输入)+1)…(2)

利用这种配置，可以抑制叠加在亮度值等于或低于阈值adjust_pattern_level的内容图像的部分上的图案101的检测准确度的降低。例如，在通过具有图10所示的γ特性的投影仪执行投影的情况下，该配置允许仅在图案101的检测准确度降低的情况下调整图案101的幅度。通常，幅度越高会导致检测准确度越高，但是作为权衡，不可见性相应地降低。因此，如上所述，幅度调整仅限于检测准确度特别低的情况(等于或低于预定阈值的情况)，并且因此可以抑制图案101的不可见性的不必要的降低。此外，当内容图像的亮度值高于阈值时，不执行幅度调整，并且因此也可以减小用于幅度调整的处理的负荷。

注意，参照图12描述了在内容图像的亮度输入等于或低于阈值adjust_pattern_level的范围内，图案101的幅度Δ的调节量根据内容图像的亮度输入而线性地改变，但是这样的改变可以是可选的功能。例如，调节量可以以曲线的方式改变。

注意，可以执行参照图11描述的幅度调整(高亮度幅度调整)和参照12描述的幅度调整(低亮度幅度调整)两者。图13中示出了用于实现这样的调整的程序的描述示例。

在图13的示例的情况下，如果内容图像的亮度输入等于或高于两个阈值A和B两者(A>B)(A≤input(输入)≤255)，则可以执行调整，使得图案101的幅度Δ降低(f1(Δ，input))。如果内容图像的亮度等于或低于两个阈值A和B两者(0≤input≤B)，则可以执行调整使得图案101的幅度Δ增加(f2(Δ，input))。如果内容图像的亮度在这两个阈值A与B之间(A<input<B)，则可以不执行图案101的幅度Δ的调整(Δ)。

注意，不一定设置阈值，并且甚至在内容图像的亮度的任何值的情况下，都可以根据内容图像的亮度来调整图案101的幅度Δ，使得在输出亮度方面的图案101的幅度Δref变得更加恒定。在这种情况下，图案101的幅度Δ的调节量也是可选的。例如，在投影仪具有如图10中的γ曲线111的设备特性的情况下，可以根据这样的γ曲线调整依据内容亮度的图案101的幅度Δ，使得在输出亮度方面的图案101的幅度Δref变得更加恒定。

注意，可以执行如上所述的图案图像100的幅度的调整，使得抑制图案101的不可见性的降低或者抑制图案101的检测准确度的降低。因此，例如，取决于投影仪的设备特性等，依据内容亮度的图案101的幅度可以随着内容图像的亮度增加而增加。利用这种配置，可以抑制图案101的检测准确度的降低。

例如，在图11的示例中，在内容图像的亮度输入等于或高于预定阈值attenuate_pattern_level的情况下，可以增加在这样的部分上叠加的图案101的幅度Δ。利用这种配置，幅度调整可以限于检测准确度特别低的情况(等于或高于预定阈值的情况)，并且可以抑制图案101的不可见性的不必要的降低。还可以减小幅度调整处理负荷。

替选地，例如取决于投影仪的设备特性，依据内容亮度的图案101的幅度可以随着内容图像的亮度降低而减小。利用这种配置，可以抑制图案101的不可见性的降低。

例如，在图12的示例中，在内容图像的亮度输入等于或低于预定阈值adjust_pattern_level的情况下，可以减小叠加在这样的部分上的图案101的幅度Δ。利用这种配置，幅度调整可以限于不可见性特别低的情况(等于或高于预定阈值的情况)，并且可以抑制图案101的检测准确度的不必要的降低。还可以减小幅度调整处理负荷。

<亮度限幅>

此外，在内容图像的亮度接近亮度的上限或下限的情况下，由于图案图像100的叠加，投影图像的亮度值可能超过极限值。在投影图像的亮度值达到极限值的情况下，幅度失去平衡，并且没有实现关于内容图像的亮度的对称性。因此，不可见性可能降低。此外，检测准确度也可能会降低。

由于这些原因，在这种情况下，调整图案101的幅度，使得亮度值不超过极限值。利用这种配置，可以抑制图案101的不可见性和检测准确度的降低。

例如，在如图14所示的亮度上限为255并且内容图像的亮度为250的情况下，如果幅度的大小等于或大于10，则亮度值如图14左侧所示的阴影部分那样超过亮度上限。为了抑制这样的状态的发生，可以调整幅度(即，正图像与负图像之间的亮度差)，使得投影图像的亮度不超过上限。例如，如图14的右侧所示，幅度的大小可以缩小到10。

此外，例如，在如图15所示的亮度下限为0并且内容图像的亮度为5的情况下，如果幅度的大小等于或大于10，则亮度值如图15左侧所示的阴影部分那样降到亮度下限以下。为了抑制这样的状态的发生，可以调整幅度(即，正图像与负图像之间的亮度差)，使得投影图像的亮度不降到下限以下。例如，如图15的右侧处所示，幅度的大小可以缩小到10。

此外，例如，在如图16所示的亮度下限为0、亮度上限为255并且内容图像的亮度为100的情况下，如果幅度的大小等于或大于256，则亮度值如图16的左侧所示的阴影部分那样超过亮度上限并且降到亮度下限以下。为了抑制这样的状态的发生，可以调整幅度，使得亮度不超过(或者不降到其以下)亮度上限或下限中更接近内容图像的亮度的那一个。

更具体地，在内容图像的亮度更接近亮度上限而非亮度下限的情况下，可以调整幅度，使得投影图像的亮度不超过亮度上限。类似地，在内容图像的亮度更接近亮度下限而非亮度上限的情况下，可以调整幅度，使得投影图像的亮度不降到亮度下限以下。

图17中示出了用于实现这样的调整的程序的描述示例。在图17的示例的情况下，使用内容图像的亮度输入(input)和调整后的图案101的幅度Δrev，正图像的亮度值(pos_val)可以表示为下面的表达式(3)。类似地，使用内容图像的亮度输入和调整后的图案101的幅度Δrev，负图像的亮度值(neg_val)可以表示为下面的表达式(4)。

pos_val＝输入+Δrev...(3)

neg_val＝输入–Δrev...(4)

此外，在正图像的亮度值超过亮度上限(pos_val＞255)或者负图像的亮度值降到亮度下限以下(neg_val<0)的情况下，当满足下面的表达式(5)时，通过下面的表达式(6)获得调整之后的图案101的幅度Δrev。当不满足下面的表达式(5)时，通过下面的表达式(7)获得调整之后的图案101的幅度Δrev。

(255-输入)＜输入...(5)

Δrev＝(255-输入)...(6)

Δrev＝输入...(7)

如上所述调整图案101的幅度，使得可以抑制图案101的不可见性和检测准确度的降低。

<用于调整的处理单元>

可以按图案图像100的可选的单位来执行如以上<幅度调整>和<亮度限幅>中所述的、基于内容图像的亮度的图案101的幅度的各种类型的调整。例如，可以针对每个像素执行图案101的幅度的调整。替选地，例如，可以针对每个预定区域执行图案101的幅度的调整。例如，可以对每个图案101执行这样的调整。替选地，例如，可以在整个图案图像100上以单一均匀的方式执行图案101的幅度的调整。

注意，在针对每个像素或每个区域执行图案101的幅度的调整的情况下，可以使用用于调整其他像素或其他区域的参数、调整结果等来执行针对处理目标像素或区域的幅度的调整。

替选地，可以基于内容图像的可选的单位的亮度来执行如上所述的图案101的幅度的调整。例如，可以基于内容图像的预定像素的亮度来执行图案101的幅度的调整。例如，可以基于与处理目标像素对应的、内容图像的像素(其上要叠加图案图像100的处理目标像素的那个像素)的亮度来执行图案101的幅度的调整，或者可以基于其他像素的亮度来执行图案101的幅度的调整。

替选地，可以基于内容图像的多个像素的亮度来执行图案101的幅度的调整。在这种情况下，可以基于这些多个像素的亮度的统计值来执行这样的调整。该统计值是可选的，并且例如可以是最大值、最小值、平均值等。

替选地，可以基于内容图像的预定区域的亮度来执行图案101的幅度的调整。例如，可以基于其中嵌入(叠加)有图案101的内容图像的区域的亮度来执行图案101的亮度的调整。替选地，可以基于与这样的区域不同的区域的亮度来执行调整。

替选地，可以基于内容图像的所有像素的亮度来执行图案101的幅度的调整。在这种情况下，可以基于内容图像的所有像素的亮度的统计值来执行这样的调整。该统计值是可选的，并且例如可以是最大值、最小值、平均值等。

<重复进行图案检测>

在ISL方法中，其上叠加了正图像的内容图像的投影图像以及其上叠加了负图像的内容图像的投影图像各自如上所述被捕获，并且根据这些捕获图像之间的差图像执行图案101的检测。

注意在这种情况下，不能总是以良好的准确度检测图案101。例如，如在图18中所示的图案101-1和图案101-2中那样，在图案101叠加在内容图像的边缘上的情况下，发生作为变量的亮度的缺失或形状失真。因此，可能不能以良好的准确度检测图案101。在这种情况下，在对应点检测中可能也会引起错误。

因此，在捕获图案图像的投影图像、从获得的捕获图像中检测图案图像的图案、并且从检测到的图案中检测对应点时，重复捕获投影图像和从捕获图像中检测图案，直到检测结果中包括的全部图案的可靠性均为高为止。

利用这种配置，可以抑制图案检测的检测准确度的降低。

例如，如图19所示，在第一次图案检测中，针对通过这样的第一次图案检测处理检测到的图案图像181来确定图案检测结果的可靠性。然后，在存在不能获得足够高的可靠性的区域182的情况下，再次执行捕获投影图像以及图案检测。

类似地，在第二次图案检测中，针对通过这样的第二次图案检测处理检测到的图案图像183来确定图案检测结果的可靠性。然后，在确定针对全部图案获得足够高的可靠性的情况下，基于图案图像执行对应点检测，并且执行诸如姿势估计、投影屏幕重新配置和几何校正的校正处理以生成校正信息。

利用这种配置，可以抑制图案的检测准确度的降低。

注意，可以去除图案101的每次检测中的检测结果中包括的低可靠性图案101，可以对每次检测的检测结果进行整合，并且可以基于这样的整合的检测结果检测对应点。

利用这种配置，可以基于更高可靠性的检测结果来执行对应点检测，并且因此可以提高对应点检测的准确度。此外，可以基于这样的检测到的对应点来计算用于校正投影图像的校正信息。利用这种配置，可以获得更高准确度的校正信息。

替选地，在图案101的每次检测中，可以去除检测结果中包括的低可靠性图案101，可以计算校正信息，并且可以对每次检测中的校正信息进行整合。用于整合校正信息的方法是可选的。例如，可以获得校正信息的平均值作为整合结果。替选地，可以按照根据可靠性对校正信息进行加权的方式，对校正信息进行整合。利用这种配置，可以获得更高准确度的校正信息。

<2.第一实施例>

<投影图像捕获系统>

接下来，将描述如上述所述的借助于图案图像100进行的对应点的检测。图20是应用本技术的投影图像捕获系统的一个实施例的主要配置示例的框图。在图20中，投影图像捕获系统300是被配置为使得可以进行如下操作的系统：可以投影图像；可以捕获投影图像；并且可以通过如<1.ISL方法和图案的不可见性>中描述的应用本技术的方法执行ISL方法的对应点检测。

如图20所示，投影图像捕获系统300具有控制装置301和投影图像捕获装置302-1至投影图像捕获装置302-N(N是可选的自然数)。投影图像捕获装置302-1至投影图像捕获装置302-N通过线缆303-1至线缆303-N各自连接至控制装置301。

在下文中，在不必区别地描述投影图像捕获装置302-1至投影图像捕获装置302-N的情况下，这些装置将被称为“投影图像捕获装置302”。此外，在不必区别地描述线缆303-1至线缆303-N的情况下，这些线缆将被称为“线缆303”。

控制装置301通过线缆303控制每个投影图像捕获装置302。例如，控制装置301可以将要投影的图像提供给每个投影图像捕获装置302，使得可以投影这样的图像。此外，控制装置301可以指示例如每个投影图像捕获装置302捕获投影图像等以获取投影图像的捕获图像。此外，控制装置301可以检测投影图像与捕获图像之间的对应点，并且例如可以基于所获得的对应点针对要由每个投影图像捕获装置302投影的图像执行几何校正。注意，这样的几何校正不仅可以包括针对要投影的图像的图像处理(例如，缩放、变形等)，还可以包括对每个投影图像捕获装置302的光学系统的控制(例如，投影方向和图像捕获方向的控制等)等。

投影图像捕获装置302-1至投影图像捕获装置302-N各自具有被配置成投影图像的投影部311-1至投影部311-N以及被配置成捕获对象的图像的图像捕获部312-1至图像捕获部312-N。在下文中，在不必区别地描述投影部311-1至投影部311-N的情况下，这些部分将被称为“投影部311”。此外，在不必区别地描述图像捕获部312-1至图像捕获部312-N的情况下，这些部分将被称为“图像捕获部312”。

投影部311具有所谓的投影仪功能。也就是说，投影图像捕获装置302可以借助于投影部311被驱动为投影仪。例如，投影图像捕获装置302可以使用投影部311将从控制装置301提供的图像投影在可选的投影表面上。

图像捕获部312具有所谓的摄像装置功能。也就是说，投影图像捕获装置302可以借助于图像捕获部312被驱动为摄像装置。例如，投影图像捕获装置302可以使用图像捕获部312捕获其上通过投影部311投影有图像的投影表面的图像，从而将获得的捕获图像数据提供给控制装置301。

投影图像捕获装置302的数目是可选的，并且可以是单数或复数。在多个投影图像捕获装置302的情况下，这些投影图像捕获装置302可以在控制装置301的控制下彼此协作，以执行如参照图2和图3所描述的图像投影。也就是说，在这种情况下的投影图像捕获系统300是所谓的多投影系统，并且可以实现所谓的投影映射。

注意，投影部311的图像投影方向和图像放大、投影图像失真校正等可以是可控制的。对于这样的控制，例如，投影部311中包括的光学系统的位置和姿势以及整个投影部311可以是可控制的。

此外，图像捕获部312的图像捕获方向和视角、捕获图像失真校正等可以是可控制的。对于这样的控制，例如，图像捕获部312中包括的光学系统的位置和姿势以及整个图像捕获部312可以是可控制的。

此外，可以独立地执行投影部311的这样的控制和图像捕获部312的这样的控制。此外，投影图像捕获装置302的位置和姿势可以是可控制的。注意，投影部311、图像捕获部312和投影图像捕获装置302的这样的控制可以由控制装置301执行，或者可以由除控制装置301之外的其他装置执行。

线缆303是具有可选通信标准的电通信线缆，并且电通信线缆可以用作控制装置301与投影图像捕获装置302之间的通信路径。注意，控制装置301和投影图像捕获装置302可以经由例如无线通信彼此连接，只要控制装置301和投影图像捕获装置302可以彼此通信即可。在这种情况下，可以省略线缆303。

在这样的投影图像捕获系统300中，控制装置301在每个投影部311与每个图像捕获部312之间执行对应点检测以用于几何校正。例如，控制装置301可以通过在线感测ISL方法执行对应点检测。在这种情况下，控制装置301可以执行应用本技术的对应点检测。

<控制装置>

图21是作为应用本技术的图像处理装置的一个实施例的控制装置301的主要配置示例的框图。

如图21所示，控制装置301具有中央处理单元(CPU)321、只读存储器(ROM)322、随机存取存储器(RAM)323、总线324、输入/输出接口330、输入部331、输出部332、存储部333、通信部334和驱动器335。

CPU 321、ROM 322和RAM 323通过总线324彼此连接。输入/输出接口330也连接至总线324。输入部331、输出部332、存储部333、通信部334和驱动器335连接至输入/输出接口330。

输入部331包括输入设备，该输入设备被配置成接收诸如用户输入的外部信息。例如，输入部331可以包括键盘、鼠标、操作按钮、触摸面板、摄像装置、麦克风、输入终端等。此外，输入部331可以包括诸如加速度传感器、光传感器和温度传感器的各种传感器以及诸如条形码读取器的输入设备。输出部332包括输出设备，该输出设备被配置成输出诸如图像和音频的信息。例如，输出部332可以包括显示器、扬声器、输出终端等。

存储部333包括存储介质，该存储介质被配置成存储诸如程序和数据的信息。例如，存储部333可以包括硬件驱动器、RAM盘、非易失性存储器等。通信部334包括通信设备，该通信设备被配置成通过预定通信介质(例如，诸如因特网的可选网络)执行与外部装置的用于交换诸如程序和数据的信息的通信。通信部334可以包括例如网络接口。例如，通信部334执行与控制装置301的外部装置的通信(程序和数据的交换)。注意，通信部334可以具有有线通信功能、无线通信功能或这两者。

驱动器335读取诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质341(例如，附接至驱动器335本身的可移除介质341)中存储的信息(程序，数据等)。驱动器335将从可移除介质341中读取的信息提供给CPU 321、RAM 323等。此外，在可写可移除介质341附接至驱动器335本身的情况下，驱动器335可以在可移除介质341中存储从CPU 321、RAM 323等提供的信息(程序、数据等)。

CPU 321例如执行各种类型的处理，以使得通过输入/输出接口330和总线324而在RAM 323中加载并执行存储部333中所存储的程序。此外，在RAM 323中，还按照需要存储由CPU 321等执行各种类型的处理所需的数据。

CPU 321执行如上所述的程序等，使得可以执行关于对应点检测的处理，例如<1.ISL方法和图案的不可见性>中描述的处理。

<控制装置的功能块>

图22是以控制装置301执行程序等这样的方式实现的功能示例的功能框图。如图22所示，例如，控制装置301通过执行程序而具有图案图像投影处理部351和对应点检测处理部352的功能。

图案图像投影处理部351执行关于图案图像100的投影的处理。例如，图案图像投影处理部351执行<1.ISL方法和图案的不可见性>的<幅度调整>、<亮度限幅>中描述的处理等。不用说，由图案图像投影处理部351执行的处理是可选的，并且不限于这些类型的处理。对应点检测处理部352基于由图案图像投影处理部351投影的投影图像执行关于对应点检测的处理。例如，对应点检测处理部352执行<1.ISL方法和图案的不可见性>的<重复进行图案检测>中描述的处理等。不用说，由对应点检测处理部352执行的处理是可选的，并且不限于这些类型的处理。

注意，这些框可以根据需要彼此交换信息(例如，命令、数据等)。

<图案图像投影处理部>

图23中示出了图案图像投影处理部351的功能示例。在图23中，图案图像投影处理部351具有例如由诸如内容图像获取部361、图案图像获取部362、图案图像调整部363、合成部364和投影控制部365的功能块指示的功能。

内容图像获取部361执行关于内容图像的获取的处理。图案图像获取部362执行关于图案图像的获取的处理。图案图像调整部363执行关于图案图像的幅度的调整的处理。例如，图案图像调整部363执行<1.ISL方法和图案的不可见性>的<幅度调整>、<亮度限幅>中描述的处理等。不用说，由图案图像调整部363执行的处理是可选的，并且不限于这些类型的处理。合成部364执行关于内容图像与图案图像的合成的处理。投影控制部365执行关于由投影图像捕获装置302进行的图像投影的控制的处理。

注意，这些框可以根据需要彼此交换信息(例如，命令、数据等)。

<图案图像调整部>

图24中示出了图案图像调整部363的功能示例。在图24中，图案图像调整部363具有例如由诸如像素选择部371、幅度调整部372和亮度限幅部373的功能块指示的功能。

像素选择部371执行关于处理目标像素的选择的处理。幅度调整部372执行关于根据内容图像的亮度而进行的图案101的亮度的调整的处理。例如，幅度调整部372执行<1.ISL方法和图案的不可见性>的<幅度调整>中描述的处理等。不用说，由幅度调整部372执行的处理是可选的，并且不限于该处理。亮度限幅部373执行关于根据亮度极限和内容图像的亮度而进行的图案101的幅度的调整的处理。例如，亮度限幅部373执行<1.ISL方法和图案的不可见性>的<亮度限幅>中描述的处理等。不用说，由亮度限幅部373执行的处理是可选的，并且不限于该处理。

如图24所示，幅度调整部372具有例如由诸如高亮度幅度调整部374和低亮度幅度调整部375的功能块指示的功能。高亮度幅度调整部374执行关于叠加在高亮度内容图像上的图案101的幅度的调整的处理。例如，高亮度幅度调整部374执行参照图11和图13描述的处理。不用说，由高亮度幅度调整部374执行的处理是可选的，并且不限于该处理。低亮度幅度调整部375执行关于叠加在低亮度内容图像上的图案101的幅度的调整的处理。例如，低亮度幅度调整部375执行参照图12和图13描述的处理。不用说，由低亮度幅度调整部375执行的处理是可选的，并且不限于该处理。

此外，如图24所示，亮度限幅部373具有例如由诸如亮度值上限处理部376、亮度值下限处理部377和亮度值上/下限处理部378的功能块指示的功能。亮度值上限处理部376执行关于与亮度上限有关的、图案101的幅度的调整的处理。例如，亮度值上限处理部376执行参照图14描述的处理。不用说，由亮度值上限处理部376执行的处理是可选的，并且不限于该处理。亮度值下限处理部377执行关于与亮度下限有关的、图案101的幅度的调整的处理。例如，亮度值下限处理部377执行参照图15描述的处理。不用说，由亮度值下限处理部377执行的处理是可选的，并且不限于该处理。亮度值下/上限处理部378执行关于与亮度上限和亮度下限有关的、图案101的幅度的调整的处理。例如，亮度值上/下限处理部378执行参照图16和图17描述的处理。不用说，由亮度值上/下限处理部378执行的处理是可选的，并且不限于该处理。

注意，这些框可以根据需要彼此交换信息(例如，命令、数据等)。

<对应点检测处理部>

图25示出了对应点检测处理部352的功能示例。在图25中，对应点检测处理部352具有例如由诸如以下功能块指示的功能：图像捕获控制部381、降噪部382、图案差图像生成部383、可靠性确定部384、低可靠性区域去除部385、对应点检测部386、校正信息计算部387、对应点检测控制部388和校正整合部389。

图像捕获控制部381执行关于投影图像捕获装置302的图像捕获的控制的处理。降噪部382执行关于捕获图像的降噪的处理。图案差图像生成部383执行关于图案101的检测的处理。可靠性确定部384执行关于图案的可靠性的确定的处理。低可靠性区域去除部385执行关于低可靠性图案检测结果的去除的处理。对应点检测部386执行关于对应点检测的处理。校正信息计算部387执行关于校正信息的计算的处理。对应点检测控制部388执行关于对应点检测的控制的处理。校正整合部389执行关于校正信息的整合的处理。

注意，这些框可以根据需要彼此交换信息(例如，命令、数据等)。这些处理部执行例如参照图18和图19描述的处理。不用说，由这些处理部执行的处理是可选的，并且不限于该处理。

<投影图像捕获装置>

图26是投影图像捕获装置302的主要配置示例的框图。如图26所示，投影图像捕获装置302具有控制部401、投影部311、图像捕获部312、输入部411、输出部412、存储部413、通信部414和驱动器415。

控制部401具有例如CPU、ROM、RAM等。控制部401控制装置中的每个处理部，并且例如，执行诸如图像处理的这样的控制所需的各种类型的处理。例如，控制部401基于控制装置301的控制来执行这些类型的处理。

投影部311由控制部401控制，并且执行关于图像投影的处理。例如投影部311将从控制部401提供的图像投影在投影图像捕获装置302的外部(例如，投影表面等)。投影部311使用激光束作为光源，并且使用微电子机械系统(MEMS)镜来扫描激光束以投影图像。不用说，投影部311的光源是可选的，并且不限于激光束。例如，光源可以是发光二极管(LED)、氙等。

图像捕获部312由控制部401控制，并且捕获装置外部(例如，投影表面等)的对象的图像以生成捕获图像而将捕获图像提供给控制部401。例如，图像捕获部312捕获由投影部311投影在投影表面上的投影图像。图像捕获部312具有例如使用互补金属氧化物半导体(CMOS)的图像传感器、使用电荷耦合器件(CCD)的图像传感器等。图像捕获部312通过这样的图像传感器对来自对象的光进行光电转换，以生成捕获图像的电信号(数据)。

输入部411包括输入设备，该输入设备被配置成接收诸如用户输入的外部信息。例如，输入部411可以包括操作按钮、触摸面板、摄像装置、麦克风、输入终端等。此外，输入部411可以包括诸如光传感器和温度传感器的各种传感器。输出部412包括输出设备，该输出设备被配置成输出诸如图像和音频的信息。例如，输出部412可以包括显示器、扬声器、输出终端等。

存储部413包括例如硬件驱动器、RAM盘、非易失性存储器等。通信部414包括例如网络接口。例如，通信部414连接至通信线缆303，并且可以与通过通信线缆303连接的控制装置301进行通信。注意，通信部414可以具有有线通信功能、无线通信功能或这两者。驱动器415例如驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质421。

<投影部>

图27是投影部311的主要配置示例的框图。如图27所示，投影部311具有视频处理器431、激光驱动器432、激光输出部433-1、激光输出部433-2、激光输出部433-3、镜434-1、镜434-2、镜434-3、MEMS驱动器435和MEMS镜436。

视频处理器431保存从控制部401提供的图像，并且执行这样的图像所需的图像处理。视频处理器431将要投影的图像提供给激光处理器432和MEMS驱动器435。

激光驱动器432控制激光输出部433-1至激光输出部433-3，使得对从视频处理器431提供的图像进行投影。激光输出部433-1至激光输出部433-3例如输出诸如红色、蓝色和绿色的不同颜色(波长带)的激光束。也就是说，激光驱动器432控制每种颜色的激光输出，使得对从视频处理器431提供的图像进行投影。注意，在不必区别地描述激光输出部433-1至激光输出部433-3的情况下，这些部分将被称为“激光输出部433”。

镜434-1对从激光输出部433-1输出的激光束进行反射，以将这样的激光束引导至MEMS镜436。镜434-2对从激光输出部433-2输出的激光束进行反射，以将这样的激光束引导至MEMS镜436。镜434-3对从激光输出部433-3输出的激光束进行反射，以将这样的激光束引导至MEMS镜436。注意，在不必区别地描述镜434-1至镜434-3的情况下，这些镜将被称为“镜434”。

MEMS驱动器435控制MEMS镜436的驱动，使得对从视频处理器431提供的图像进行投影。MEMS镜436根据MEMS驱动器435的控制而驱动附接至MEMS上的镜，从而例如如在图28的示例中那样扫描每种颜色的激光束。这样的激光束从投影端口输出至装置的外部，并且例如，用这样的光照射投影表面。因此，从视频处理器431提供的图像投影在投影表面上。

注意，在图27的示例中，已经描述了设置三个激光输出部433并且输出三种颜色的激光束，但是激光束的数目(或颜色的数目)是可选的。例如，可以设置四个或更多个激光输出部433，或者可以设置两个或更少的激光输出部433。也就是说，从投影图像捕获装置302(投影部311)输出的激光束可以是两个或更少的或者是四个或更多个。此外，从投影图像捕获装置302(投影部311)输出的激光束的颜色的数目也是可选的，并且可以是两个或更少的或者四个或更多个。此外，镜434和MEMS镜436的配置也是可选的，并且不限于图27的示例中那些配置。不用说，激光束扫描图案是可选的。

<几何校正处理的流程>

接下来，将描述如上所述配置的投影图像捕获系统300中执行的处理。如上所述，在投影图像捕获系统300中，控制装置301控制每个投影图像捕获装置302，并且通过在线感测ISL方法，在检测每个投影部311与每个图像捕获部312之间的对应点的同时投影诸如内容的图像。基于这样的对应点，执行每个投影部311和每个图像捕获部312的姿势的估计、投影表面形成等，并且执行针对要投影的图像的几何校正。

将参照图29的流程图描述在用于执行这些类型的处理的控制装置301中执行的几何校正处理的流程的示例。

当几何校正处理开始时，在步骤S101处，控制装置301的图案图像投影处理部351执行图案图像投影处理以控制投影图像捕获装置302，从而执行关于结构化光图案的投影的处理。虽然稍后进行详细描述，但是关于结构化光图案的投影的该处理包括例如<1.ISL方法和图案的不可见性>的<幅度调整>、<亮度限幅>中描述的处理等。

在步骤S102处，对应点检测处理部352执行对应点检测处理以控制投影图像捕获装置302，从而捕获通过步骤S101的处理投影的投影图像。此外，对应点检测处理部352基于捕获图像来检测对应点，并且通过几何校正等生成校正信息。虽然稍后进行详细描述，但是该对应点检测处理包括例如<1.ISL方法和图案的不可见性>的<重复进行图案检测>中描述的处理等。

当步骤S102的处理结束时，几何校正处理结束。控制装置301针对投影部311和图像捕获部312的所有组合执行该几何校正处理。

<图案图像投影处理的流程>

接下来，将参照图30的流程图来描述图29的步骤S101处执行的图案图像投影处理的流程的示例。

当图案图像投影处理开始时，在步骤S121处，图案图像投影处理部351的内容图像获取部361获取从投影图像捕获装置302投影的内容图像。在步骤S122处，图案图像获取部362获取在步骤S121处获取的内容图像上以叠加状态投影的图案图像100(正图像100-1和负图像100-2)。

在步骤S123处，图案图像调整部363执行图案图像调整处理，以根据亮度调整图案图像。虽然稍后进行详细描述，但是该图案图像调整处理包括例如<1.ISL方法和图案的不可见性>的<幅度调整>、<亮度限幅>中描述的处理等。在步骤S124处，合成部364将通过步骤S123的处理而根据需要调整的图案图像与内容图像进行合成。

在步骤S125处，投影控制部365将由步骤S124的处理生成的合成图像提供给投影图像捕获装置302，以投影这样的图像。当步骤S125的处理结束时，图案图像投影处理结束，并且该处理返回至图29。

<图案图像调整处理的流程>

接下来，将参照图31的流程图描述图30的步骤S123处执行的图案图像调整处理的流程的示例。

当图案图像调整处理开始时，在步骤S141处，图案图像调整部363的像素选择部371选择处理目标像素。在步骤S142处，幅度调整部372执行幅度调整处理，以针对图案图像100的处理目标像素，根据内容图像的亮度来调整图案101的幅度。虽然稍后进行详细描述，但是该幅度调整处理包括例如<1.ISL方法和图案的不可见性>的<幅度调整>中描述的处理等。

在步骤S143处，亮度限幅部373执行亮度限幅处理，以针对图案图像100的处理目标像素，基于内容图像的亮度和亮度极限来调整图案101的幅度。虽然稍后进行详细描述，但是该亮度限幅处理包括例如<1.ISL方法和图案的不可见性>的<亮度限幅>中描述的处理等。

在步骤S144处，像素选择部371确定是否已经处理了所有像素。在确定存在未处理的像素的情况下，该处理返回至步骤S141以选择新的处理目标像素并且重复后续处理。

然后，在步骤S144处，在确定已经处理了所有像素的情况下，图案图像调整处理结束，并且该处理返回至图30。

<幅度调整处理的流程>

接下来，将参照图32的流程图描述图31的步骤S142处执行的幅度调整处理的流程的示例。

当幅度调整处理开始时，在步骤S161处，高亮度幅度调整部374调整叠加在高亮度内容图像上的图案图像(例如，图案101)的幅度。例如，高亮度幅度调整部374通过参照图11等描述的方法调整图案图像的幅度。

在步骤S162处，低亮度幅度调整部375调整叠加在低亮度内容图像上的图案图像(例如，图案101)的幅度。例如，低亮度幅度调整部375通过参照图12等描述的方法调整图案图像的幅度。当步骤S162的处理结束时，幅度调整处理结束，并且该处理返回至图31。

<亮度限幅处理的流程>

接下来，将参照图33的流程图描述图31的步骤S143处执行的亮度限幅处理的流程的示例。

当亮度限幅处理开始时，在步骤S181处，亮度值上限处理部376确定叠加在内容图像上的图案101的处理目标像素的幅度是否超过亮度值上限。在将图案101的正方向的亮度值与内容图像的亮度值相加并且确定结果超过亮度值上限的情况下，处理进行至步骤S182。

在步骤S182处，亮度值上限处理部376调整图案图像(例如，图案101)的幅度，使得这样的相加结果不超过亮度值上限。例如，亮度值上限处理部376通过参照图14等描述的方法调整图案图像的幅度，使得相加结果不超过亮度值上限。

当步骤S182的处理结束时，处理进行至步骤S183。此外，在步骤S181处确定内容图像的亮度值与图案101的正方向的亮度的相加结果不超过亮度值上限的情况下，省略步骤S182的处理，并且处理进行至步骤S183。

在步骤S183处，亮度值下限处理部377确定叠加在内容图像上的图案101的处理目标像素的幅度是否降到亮度值下限以下。在从内容图像的亮度值中减去图案101的负方向的亮度并且确定结果降到亮度值下限以下的情况下，处理进行至步骤S184。

在步骤S184处，亮度值下限处理部377调整图案图像(例如图案101)的幅度，使得这样的相减结果不降到亮度值下限以下。例如，亮度值下限处理部377通过参照图15等描述的方法调整图案图像的幅度，使得相减结果不降到亮度值下限以下。

当步骤S184的处理结束时，处理进行至步骤S185。此外，在步骤S183处确定从内容图像的亮度值减去图案101的负方向的亮度的结果不降到亮度值下限以下的情况下，省略步骤S184的处理，并且处理进行至步骤S185。

在步骤S185处，亮度值上/下限处理部378确定叠加在内容图像上的图案101的处理目标像素的幅度是否超过亮度值上限或降到亮度值下限以下，或者该幅度是否不超过亮度值上限并且不降到亮度值下限以下。在将图案101的正方向的亮度与内容图像的亮度值相加并且确定该结果降到亮度值下限以下的情况下，或者在从内容图像的亮度值中减去图案101的负方向的亮度并且确定该结果降到亮度值下限以下的情况下，该处理进行至步骤S186。

在步骤S186处，亮度值上/下限处理部378调整图案图像(例如，图案101)的幅度，使得内容图像的亮度值与图案101的正方向的亮度相加的结果以及从内容图像的亮度值减去图案101的负方向的亮度的结果落在亮度值上限与亮度值下限之间。例如，亮度值上/下限处理部378通过参照图16、图17等描述的方法调整图案图像的幅度，使得上述相加结果和上述相减结果落在亮度值上限与亮度值下限之间。

当步骤S186的处理结束时，亮度限幅处理结束，并且处理返回至图31。此外，在步骤S185处，在确定内容图像的亮度值与图案101的正方向的亮度的相加结果不超过亮度值上限并且从内容图像的亮度值减去图案101的负方向的亮度的结果不降到亮度值下限以下的情况下，省略步骤S186的处理。亮度限幅处理结束，并且处理返回至图31。

<对应点检测处理的流程>

接下来，将参照图34的流程图描述图29的步骤S102处执行的对应点检测处理的流程的示例。

当对应点检测处理开始时，在步骤S201处，图像捕获控制部381捕获通过图29的步骤S101的图案图像投影处理而从用于图案图像投影处理的目标的投影部311投影的投影图像。该投影图像是使得根据需要调整了幅度的图案图像100被叠加在内容图像上的这样的合成图像的投影图像。图像捕获控制部381控制用于对应点检测处理的目标的图像捕获部312以捕获投影图像。图像捕获控制部381捕获必要数目的投影图像的帧以获得必要数目的捕获图像。

在步骤S202处，降噪部382在所获得的捕获图像当中整合其上叠加有相同类型的图案图像(正图像或负图像)的内容图像的投影图像的捕获图像，从而降低捕获图像的噪声(提高信噪比(S/N))。

在步骤S203处，图案差图像生成部383生成正图像和内容图像的合成图像的投影图像的捕获图像与负图像和内容图像的合成图像的投影图像的捕获图像之间的差图像(也称为“图案差图像”)。该图案差图像是这样的图像：内容图像基本上被抵消并且图案图像被强调。也就是说，图案差图像生成部383从捕获图像中检测图案101。

在步骤S204处，可靠性确定部384确定从图案差图像中检测到的图案101的可靠性。用于确定可靠性的方法是可选的。例如，可以基于幅度大小、位置、形状等进行确定。

在步骤S205处，低可靠性区域去除部385基于步骤S204的确定结果，设置图案差图像的下述区域：该区域中图案101的可靠性相对低于其他区域的可靠性；并且低可靠性区域去除部385去除这样的区域中的图案101。

在步骤S206处，对应点检测部386使用没有被步骤S205的处理去除的区域中的图案101(即高可靠性图案101)来检测处理目标的投影部311与处理目标的图像捕获部312之间的对应点。

在步骤S207处，校正信息计算部387基于通过步骤S206的处理检测到的对应点来执行诸如姿势估计、投影屏幕重新配置和几何校正的处理，并且生成用于校正要投影的图像的校正信息，该校正信息反映这些处理结果。

在步骤S208处，对应点检测控制部388确定是否已经针对所有区域检测了对应点。在确定未针对所有区域检测对应点的情况下，处理返回至步骤S202，并且重复后续处理。

重复步骤S202至步骤S208的处理，并且在步骤S208处确定已经针对所有区域检测对应点的情况下，处理进行至步骤S209。

在步骤S209处，校正整合部389对在每次重复步骤S202至步骤S208的处理时在步骤S207处生成的校正信息进行整合。

当步骤S209的处理结束时，对应点检测处理结束，并且该处理返回至图29。也就是说，对应点检测处理部352的每个处理部执行参照图18、图19描述的处理等。

通过执行如上所述的每个类型的处理，可以如<1.ISL方法和图案的不可见性>中描述的那样抑制图案的不可见性和检测准确度的降低。

<3.第二实施例>

<投影图像捕获系统和投影图像捕获装置的其他配置示例>

注意，应用本技术的投影图像捕获系统的配置示例不限于上述示例。例如，如在图35的A中所示出的投影图像捕获系统500中那样，控制装置301和每个投影图像捕获装置302可以通过网络501彼此连接。

网络501是可选的通信网络。在网络501中采用的通信方法是可选的。例如，这样的方法可以是有线通信、无线通信或这两者。此外，网络501可以包括单个通信网络或者可以包括多个通信网络。例如，网络501可以包括根据可选通信标准的通信网络和通信路径，例如因特网、公共电话线网、诸如所谓的3G或4G线路的无线移动广域通信网络、广域网(WAN)、局域网(LAN)、根据蓝牙(注册商标)标准进行通信的无线通信网络、诸如近场通信(NFC)的近场无线通信路径、红外通信路径以及根据诸如高清多媒体接口(HDMI)(注册商标)或通用串行总线(USB)的标准的有线通信网络。

控制装置301和每个投影图像捕获装置302可通信地连接至网络501。注意，这样的连接可以是有线的(即，经由有线通信的连接)、无线的(即，经由无线通信的连接)或这两者。注意，每个类型的装置的数目、外壳的形状和尺寸、布置位置等是可选的。

控制装置301和每个投影图像捕获装置302可以通过网络501彼此通信(交换信息等)。换句话说，控制装置301和每个投影图像捕获装置302可以通过其他类型的设备(装置、传输路径等)彼此可通信地连接。

在如上所述配置的投影图像捕获系统500的情况下，也可以与在第一实施例中描述的投影图像捕获系统300的情况下类似地应用本技术，并且可以提供上述特征和有益效果。

此外，例如，如在图35的B中所示的投影图像捕获系统510中那样，投影部311和图像捕获部312可以被配置为不同的装置。代替投影图像捕获装置302，投影图像捕获系统510具有投影装置511-1至投影装置511-N(N是可选的自然数)以及图像捕获装置512-1至图像捕获装置512-M(M是可选的自然数)。投影装置511-1至投影装置511-N各自具有投影部311(投影部311-1至投影部311-N)以投影图像。图像捕获装置512-1至图像捕获装置512-M各自具有图像捕获部312(图像捕获部312-1至图像捕获部312-M)以捕获投影表面图像(通过投影部311投影的投影图像)。

在不必区别地描述投影装置511-1至投影装置511-N的情况下，这些装置将被称为“投影装置511”。在不必区别地描述图像捕获装置512-1至图像捕获装置512-M的情况下，这些装置将被称为“图像捕获装置512”。

每个投影装置511和每个图像捕获装置512可通信地连接至控制装置301，使得可以经由有线通信、无线通信或这两者来执行与控制装置301的通信(信息交换)。注意，每个投影装置511和每个图像捕获装置512可以能够通过控制装置301与其他投影装置511、其他图像捕获装置512或这两者进行通信。

此外，每个类型的装置的数目、外壳的形状和尺寸、布置位置等是可选的。此外，如在图35的A的示例中那样，各装置可以通过诸如网络501的其他类型的设备(装置或传输路径)可通信地彼此连接。

在如上所述配置的投影图像捕获系统510的情况下，也可以与在第一实施例中描述的投影图像捕获系统300的情况下类似地应用本技术，并且可以提供上述特征和有益效果。

此外，例如，如在图36的A中所示的投影图像捕获系统520中那样，可以省略控制装置301。如图36的A中所示出的，投影图像捕获系统520具有投影图像捕获装置521-1至投影图像捕获装置521-N(N是可选的自然数)。在不必区别地描述投影图像捕获装置521-1至投影图像捕获装置521-N的情况下，这些装置将被称为“投影图像捕获装置521”。投影图像捕获装置521通过通信线缆522彼此可通信地连接。注意，投影图像捕获装置521可以经由无线通信彼此可通信地连接。

投影图像捕获装置521-1至投影图像捕获装置521-N各自具有控制部523-1至控制部523-N。在不必区别地描述控制部523-1至控制部523-N的情况下，这些部分将被称为“控制部523”。控制部523具有与控制装置301类似的功能，并且可以执行类似的处理。

也就是说，在投影图像捕获系统520的情况下，在投影图像捕获装置521(的控制部523)中执行在上述控制装置301中执行的处理。注意，投影图像捕获装置521(的控制部523)中的任何一个可以执行在控制装置301中执行的所有类型的处理，或者多个投影图像捕获装置521(的控制部523)可以协作以通过信息交换等执行处理。

在如上所述配置的投影图像捕获系统520的情况下，也可以与在第一实施例中描述的投影图像捕获系统300的情况下类似地应用本技术，并且可以提供上述特征和有益效果。

此外，例如，如在图36的B中那样，投影图像捕获系统300可以被配置为单个装置。图36的B中所示的投影图像捕获装置530具有投影部311(投影部311-1至投影部311-N(N是可选的自然数))、图像捕获部312(图像捕获部312-1至图像捕获部312-M(M是可选的自然数))以及控制部523。

在投影图像捕获装置530中，控制部523执行上述控制装置301中执行的处理，以控制每个投影部311和每个图像捕获部312以用于对应点检测等。

因此，在如上所述配置的投影图像捕获装置530的情况下，也可以与在第一实施例中描述的投影图像捕获系统300的情况下类似地应用本技术，并且可以提供上述特征和有益效果。

此外，上面已经参考投影图像捕获系统描述了本技术，但是本技术可以应用于包括图像显示功能的可选配置或执行用于图像显示的处理的可选配置，上述可选配置例如为图像显示装置和图像显示系统。

<其他>

<本技术的应用场景>

本技术可以应用于例如用于诸如交通、医疗保健、犯罪预防、农业、畜牧业、采矿、美容护理、工厂、家用电子产品、天气、自然监测等可选领域的系统、装置、处理部，只要可以处理图像即可。

例如，本技术还可以应用于设置用于观看的系统和设备。此外，本技术例如还可以应用于用于交通管理的系统和设备。此外，本技术例如还可以应用于用于安全性的系统和设备。此外，本技术例如还可以应用于用于体育的系统和设备。此外，本技术例如还可以应用于用于农业的系统和设备。此外，本技术例如还可以应用于用于畜牧业的系统和设备。此外，本技术例如还可以应用于用于监测诸如火山、森林和海洋的自然状态的系统和设备。此外，本技术例如还可以应用于被配置成观察天气、气温、湿度、风速、日照时数等的天气观测系统和天气观测装置。此外，本技术例如还可以应用于被配置成观察诸如鸟类、鱼类、爬行动物、两栖类、哺乳动物、昆虫和植物等的野生动物的生态的系统、设备。

<软件>

以上描述的一系列处理可以由硬件执行，或者可以由软件执行。替选地，该处理的一部分可以由硬件执行，而该处理的另一部分可以由软件执行。在通过软件执行上述一系列处理的情况下，从网络或记录介质安装程序、形成软件的数据等。

例如，在图21的控制装置301的情况下，除了装置主体之外，该记录介质还包括可移除介质341，可移除介质341被布置成记录程序、数据等以向用户传送程序、数据等。在这种情况下，可移除介质341例如附接至驱动器335，使得在可移除介质341中存储的程序、数据等可以被读取并且可以被安装在存储部333中。

此外，例如在图26的投影图像捕获装置302的情况下，除了装置主体之外，该记录介质还包括可移除介质421，该可移除介质421被布置成记录程序、数据等以向用户传送程序、数据等。在这种情况下，可移除介质421例如附接至驱动器415，使得在可移除介质421中存储的程序、数据等可以被读取并且可以被安装在存储部413中。

替选地，可以通过诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供程序、数据等。例如，在图21的控制装置的情况下，可以通过通信部334来接收程序、数据等并且可以将程序、数据等安装在存储部333中。此外，在例如图26的投影图像捕获装置302的情况下，可以通过通信部414接收程序、数据等并且可以将程序、数据等安装在存储部413中。

作为另一替选方案，程序、数据等可以预先安装在存储部、ROM等中。例如，在图21的控制装置301的情况下，程序、数据等可以预先安装在存储部333、ROM 322等中。此外，例如在图26的投影图像捕获装置302的情况下，程序、数据等可以预先安装在存储部413或控制部401等内置的ROM(未示出)中。

<附注>

本技术的实施例不限于上述那些实施例，并且在不脱离本技术的主旨的情况下可以进行各种改变。

例如，本技术可以被实现为用于形成装置或系统的任何配置，例如，作为系统大规模集成(LSI)等的处理器、使用多个处理器等的模块、使用多个模块等的单元、通过向单元进一步添加其他功能而形成的集合等(即，装置的部分配置)。

注意，在本说明书中，系统表示多个组件(装置、模块(部件)等)的组，而与所有组件是否在同一外壳中无关。因此，下述任一者均为系统：容纳在单独的外壳中并且通过网络连接的多个装置；以及在单个外壳中容纳多个模块的单个装置。

此外，只要处理部具有上述功能，则处理部可以通过任何配置来实现。例如，处理部可以包括可选的电路、LSI、系统LSI、处理器、模块、单元、集合、设备、装置、系统等。替选地，可以组合这些组件中的多个组件。例如，可以组合诸如多个电路或多个处理器的相同类型的多个配置，或者可以组合诸如电路和LSI的不同类型的配置。

此外，被描述为单个装置(或单个处理部)的配置可以例如被划分为多个装置(或多个处理部)。反之，以上被描述为多个装置(或多个处理部)的配置可以被共同配置为单个装置(或单个处理部)。此外，可以将除上述配置之外的其他配置添加到每个装置(或每个处理部)的配置中。此外，只要提供整个系统的基本相同的配置或操作，则某个装置(或某个处理部)的配置的一部分可以包括在其他装置(或其他处理部)中。

此外，本技术可以具有例如云计算配置，该云计算配置用于多个装置通过网络协作处理单个功能。

此外，例如，上述程序可以在可选装置中执行。在这种情况下，这样的装置仅需要具有必要的功能(功能块等)以获得必要的信息。

此外，例如，在上述流程图中描述的每个步骤可以由单个装置执行，并且也可以由多个装置协作执行。此外，在单个步骤包括多种类型的处理的情况下，包括在单个步骤中的这些多种类型的处理可以由单个装置执行，并且也可以由多个装置协作执行。换句话说，包括在单个步骤中的多种类型的处理可以作为多种类型的步骤处理来执行。反之，被描述为多个步骤的处理可以作为单个步骤来共同地执行。

可以执行由计算机执行的程序，使得描述程序的步骤的处理按照本说明书中描述的顺序按时间顺序执行，或者这些步骤的处理可以并行地或在诸如调用定时的必要时刻分开执行。也就是说，只要不存在不一致，则每个步骤的处理可以按与上述顺序不同的顺序执行。此外，描述程序的步骤的处理可以与其他类型的程序处理并行执行，或者可以与其他类型的程序处理组合执行。

只要不存在不一致，则本说明书中描述的多个本技术可以单独独立实现。不用说，多个本技术中的可选技术可以组合实现。例如，任何实施例中描述的本技术的部分或整体可以与其他实施例中描述的本技术的部分或整体组合实现。替选地，上述本技术中的一些或全部可选技术可以与上面未描述的其他技术组合实现。

注意，本技术可以具有以下配置。

(1)一种图像处理装置，包括：

调整部，其被配置成根据内容图像的亮度而调整在所述内容图像上以叠加状态投影的两个图案图像之间的亮度差，所述两个图案图像具有相同的形状并且具有相反的亮度改变方向的图案。

(2)根据(1)所述的图像处理装置，其中，

所述调整部随着所述内容图像的亮度增加而减小所述亮度差。

(3)根据(2)所述的图像处理装置，其中，

在所述内容图像的亮度高于预定阈值的情况下，所述调整部减小所述亮度差。

(4)根据(1)至(3)中任一项所述的图像处理装置，其中，

所述调整部随着所述内容图像的亮度减小而增加所述亮度差。

(5)根据(4)所述的图像处理装置，其中，

在所述内容图像的亮度低于预定阈值的情况下，所述调整部增加所述亮度差。

(6)根据(1)至(5)中任一项所述的图像处理装置，其中，

所述调整部调整所述亮度差，使得投影图像的亮度不超过上限。

(7)根据(1)至(6)中任一项所述的图像处理装置，其中，

所述调整部调整所述亮度差，使得投影图像的亮度不降到下限以下。

(8)根据(1)至(7)中任一项所述的图像处理装置，其中，

在所述内容图像的投影图像的亮度更接近所述投影图像的亮度的上限而非下限的情况下，所述调整部调整所述亮度差，使得所述投影图像的亮度不超过所述上限，以及

在所述内容图像的投影图像的亮度更接近所述投影图像的亮度的下限而非上限的情况下，所述调整部调整所述亮度差，使得所述投影图像的亮度不降到所述下限以下。

(9)根据(1)至(8)中任一项所述的图像处理装置，其中，

所述调整部针对每个像素调整所述亮度差。

(10)根据(9)所述的图像处理装置，其中，

所述调整部根据所述内容图像的处理目标像素的亮度而调整所述处理目标像素的所述亮度差。

(11)根据(1)至(10)中任一项所述的图像处理装置，还包括：

投影部，其被配置成对其上叠加有所述图案图像的所述内容图像进行投影。

(12)一种图像处理方法，包括：

根据内容图像的亮度而调整在所述内容图像上以叠加状态投影的两个图案图像之间的亮度差，所述两个图案图像具有相同的形状并且具有相反的亮度改变方向的图案。

(13)一种图像处理装置，包括：

对应点检测部，其被配置成：在捕获图案图像的投影图像、从获得的捕获图像中检测所述图案图像的图案、并且从所检测到的图案中检测对应点时，重复捕获所述投影图像和从所述捕获图像中检测所述图案，直到检测结果中包括的全部图案的可靠性均为高为止。

(14)根据(13)所述的图像处理装置，其中，

所述对应点检测部在所述图案的每次检测中去除检测结果中包括的低可靠性的图案，并且对每次的检测结果进行整合以检测所述对应点。

(15)根据(13)或(14)所述的图像处理装置，其中，

所述对应点检测部基于检测到的对应点来计算用于校正所述投影图像的校正信息。

(16)根据(15)所述的图像处理装置，其中，

所述对应点检测部在所述图案的每次检测中去除检测结果中包括的低可靠性的图案以计算所述校正信息，并且对每次的所述校正信息进行整合。

(17)根据(16)所述的图像处理装置，其中，

所述对应点检测部计算每次的所述校正信息的平均。

(18)根据(16)所述的图像处理装置，其中，

所述对应点检测部根据可靠性对每次的所述校正信息进行加权，以对所述校正信息进行整合。

(19)根据(13)至(18)中任一项所述的图像处理装置，还包括：

图像捕获部，其被配置成捕获所述投影图像。

(20)一种图像处理方法，包括：

在捕获图案图像的投影图像、从获得的捕获图像中检测所述图案图像的图案、并且从检测到的图案中检测到对应点时，重复捕获所述投影图像和从所述捕获图像中检测所述图案，直到检测结果中包括的全部图案的可靠性均为高为止。

附图标记列表

100 图案图像

101 图案

300 投影图像捕获系统

301 控制装置

302 投影图像捕获装置

311 投影部

312 图像捕获部

351 图案图像投影处理部

352 对应点检测处理部

361 内容图像获取部

362 图案图像获取部

363 图案图像调整部

364 合成部

365 投影控制部

371 像素选择部

372 幅度调整部

373 亮度限幅部

374 高亮度幅度调整部

375 低亮度幅度调整部

376 亮度值上限处理部

377 亮度值下限处理部

378 亮度值上/下限处理部

381 图像捕获控制部

382 降噪部

383 图案差图像生成部

384 可靠性确定部

385 低可靠性区域去除部

386 对应点检测部

387 对应信息计算部

388 对应点检测控制部

389 校正整合部

401 控制部

500 投影图像捕获系统

501 网络

510 投影图像捕获系统

511 投影装置

512 图像捕获装置

520 投影图像捕获系统

521 投影图像捕获装置

523 控制部

530 投影图像捕获装置

Claims (20)

1.一种图像处理装置，包括：

调整部，其被配置成根据内容图像的亮度而调整在所述内容图像上以叠加状态投影的两个图案图像之间的亮度差，所述两个图案图像具有相同的形状并且具有相反的亮度改变方向的图案。

2.根据权利要求1所述的图像处理装置，其中，

所述调整部随着所述内容图像的亮度增加而减小所述亮度差。

3.根据权利要求2所述的图像处理装置，其中，

在所述内容图像的亮度高于预定阈值的情况下，所述调整部减小所述亮度差。

4.根据权利要求1所述的图像处理装置，其中，

所述调整部随着所述内容图像的亮度减小而增加所述亮度差。

5.根据权利要求4所述的图像处理装置，其中，

在所述内容图像的亮度低于预定阈值的情况下，所述调整部增加所述亮度差。

6.根据权利要求1所述的图像处理装置，其中，

所述调整部调整所述亮度差，使得投影图像的亮度不超过上限。

7.根据权利要求1所述的图像处理装置，其中，

所述调整部调整所述亮度差，使得投影图像的亮度不降到下限以下。

8.根据权利要求1所述的图像处理装置，其中，

在所述内容图像的投影图像的亮度更接近所述投影图像的亮度的上限而非下限的情况下，所述调整部调整所述亮度差，使得所述投影图像的亮度不超过所述上限，以及

在所述内容图像的投影图像的亮度更接近所述投影图像的亮度的下限而非上限的情况下，所述调整部调整所述亮度差，使得所述投影图像的亮度不降到所述下限以下。

9.根据权利要求1所述的图像处理装置，其中，

所述调整部针对每个像素调整所述亮度差。

10.根据权利要求9所述的图像处理装置，其中，

所述调整部根据所述内容图像的处理目标像素的亮度而调整所述处理目标像素的所述亮度差。

11.根据权利要求1所述的图像处理装置，还包括：

投影部，其被配置成对其上叠加有所述图案图像的所述内容图像进行投影。

12.一种图像处理方法，包括：

根据内容图像的亮度而调整在所述内容图像上以叠加状态投影的两个图案图像之间的亮度差，所述两个图案图像具有相同的形状并且具有相反的亮度改变方向的图案。

13.一种图像处理装置，包括：

对应点检测部，其被配置成：在捕获图案图像的投影图像、从获得的捕获图像中检测所述图案图像的图案、并且从所检测到的图案中检测对应点时，重复捕获所述投影图像和从所述捕获图像中检测所述图案，直到检测结果中包括的全部图案的可靠性均为高为止。

14.根据权利要求13所述的图像处理装置，其中，

所述对应点检测部在所述图案的每次检测中去除检测结果中包括的低可靠性的图案，并且对每次的检测结果进行整合以检测所述对应点。

15.根据权利要求13所述的图像处理装置，其中，

所述对应点检测部基于检测到的对应点来计算用于校正所述投影图像的校正信息。

16.根据权利要求15所述的图像处理装置，其中，

所述对应点检测部在所述图案的每次检测中去除检测结果中包括的低可靠性的图案以计算所述校正信息，并且对每次的所述校正信息进行整合。

17.根据权利要求16所述的图像处理装置，其中，

所述对应点检测部计算每次的所述校正信息的平均。

18.根据权利要求16所述的图像处理装置，其中，

所述对应点检测部根据可靠性对每次的所述校正信息进行加权，以对所述校正信息进行整合。

19.根据权利要求13所述的图像处理装置，还包括：

图像捕获部，其被配置成捕获所述投影图像。

20.一种图像处理方法，包括：

在捕获图案图像的投影图像、从获得的捕获图像中检测所述图案图像的图案、并且从检测到的图案中检测到对应点时，重复捕获所述投影图像和从所述捕获图像中检测所述图案，直到检测结果中包括的全部图案的可靠性均为高为止。

Images