CN108369091B - 图像处理装置和方法、数据及纪录介质 - Google Patents

图像处理装置和方法、数据及纪录介质 Download PDF

Info

Publication number
CN108369091B
CN108369091B CN201680072382.6A CN201680072382A CN108369091B CN 108369091 B CN108369091 B CN 108369091B CN 201680072382 A CN201680072382 A CN 201680072382A CN 108369091 B CN108369091 B CN 108369091B
Authority
CN
China
Prior art keywords
code string
image
structured light
light pattern
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201680072382.6A
Other languages
English (en)
Other versions
CN108369091A (zh
Inventor
勝木祐伍
加治洋祐
小林直树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108369091A publication Critical patent/CN108369091A/zh
Application granted granted Critical
Publication of CN108369091B publication Critical patent/CN108369091B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T3/18—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor

Abstract

本公开涉及通过其能够改善对应点检测的不可视性的图像处理装置和方法、数据及记录介质。使用由投影部投影并在其中设置有多个图案的预定结构化光图案的通过图像摄取部的图像摄取而获得的图案摄取图像，检测由所述投影部投影的投影图像和由所述图像摄取部摄取的摄取图像之间的对应点，其中所述多个图案(例如图案101‑1和102‑2等)中的每一个具有高斯函数(如同例如曲线102‑1或102‑2)的亮度分布。本公开能够应用于例如图像处理装置、投影装置、投影图像摄取装置、投影图像摄取装置、控制装置、投影图像摄取系统等。

Description

图像处理装置和方法、数据及纪录介质
技术领域
本公开涉及图像处理装置和方法、数据及记录介质，并且具体地涉及通过其能够改善对应点检测的不可视性的图像处理装置和方法、数据及记录介质。
背景技术
在过去，已经可以利用这样的方法——在该方法中，为了实现由投影仪投影的投影图像的畸变的减少和对多个投影仪的各个投影图像的定位，由相机摄取投影图像的图像，并且使用摄取图像根据投影仪的位置或姿态、投影平面的形状等执行对投影图像的几何校正。在刚才描述的这样的方法中，需要确定投影图像和摄取图像之间的对应点。
例如，作为用于在投影内容等的图像的同时确定对应点的技术的在线感测，已经提出了用于将格雷码嵌入到投影图像的方法(例如，参考NPL 1)。
[引用列表]
[非专利文献]
[NPL 1]Imperceptible Structured Light Ramesh Raskar,SIGGRAPH 98
发明内容
技术问题
然而，由于格雷码亮度变化梯度大，并且具有在空间上规则的图案，而且进一步需要投影许多图案，所以存在格雷码容易被观看投影图像的用户容易觉察的可能性。
有鉴于上述这样的状况而作成本公开，并且本公开使得可以改善对应点检测的不可视性。
技术方案
本技术的第一方面的图像处理装置是包括对应点检测部的图像处理装置，所述对应点检测部使用由投影部投影并在其中设置有多个图案(所述多个图案中的每一个具有高斯函数的亮度分布)的给定结构化光图案的通过图像摄取部的图像摄取而获得的图案摄取图像，检测由所述投影部投影的投影图像和由所述图像摄取部摄取的摄取图像之间的对应点。
本技术的第一方面的图像处理方法是包括使用由投影部投影并在其中设置有多个图案(所述多个图案中的每一个具有高斯函数的亮度分布)的给定结构化光图案的通过图像摄取部的图像摄取而获得的图案摄取图像，检测由所述投影部投影的投影图像和由所述图像摄取部摄取的摄取图像之间的对应点的方法。
本技术的第二方面的图像处理装置是包括对应点检测部的图像处理装置，所述对应点检测部使用由投影部投影并在其中设置有多个类型的多个图案的给定结构化光图案的通过图像摄取部的图像摄取而获得的图案摄取图像，检测由所述投影部投影的投影图像和由所述图像摄取部摄取的摄取图像之间的对应点，并且其中所述多个图案设置成使得基于通过来自结构化光图案内的给定大小的部分区域中的图案组所转换成的变量的排列展开而获得的码串，结构化光图案中的所述部分区域的位置被唯一确定。
所述对应点检测部可以将图案摄取图像中所包括的图案转换成变量并排列展开所述变量以确定码串，并从所述结构化光图案内搜索所述部分区域以检测所述对应点，所述部分区域与所述图案摄取图像中包括的所述图案对应的所述码串一致的码串相对应。
所述对应点检测部可以从与结构化光图案的部分区域对应的码串组中搜索与对应于图案摄取图像中所包括的图案对应的码串一致的码串，并且基于与码串一致的部分区域的位置来检测结构化光图案中的对应点。
可以仅由属于彼此不同的组的码串来配置与结构化光图案的部分区域对应的码串组，并且所述对应点检测部可以被配置成使得对于属于与对应于在图案摄取图像中所包括的图案对应的码串的组相同的组的所有码串，能够从与结构化光图案的每个部分区域对应的码串组内搜索出一致的码串。
所述组可以包括通过将给定图案组的图案转换成变量并排列展开所述变量而获得码串和通过旋转图案组给定角度、将经旋转的图案组转换成变量并排列展开所述变量而获得的码串。
对应点检测部可以从由图像摄取部摄取由投影仪投影的任意图像和结构化光图案的叠加图像而获得的图案摄取图像提取图案。
对应点检测部可以使用由图像摄取部摄取由投影部投影的任意图像和结构化光图案的正像的叠加图像而获得的第一图案摄取图像和由图像摄取部摄取由投影部投影的任意图像和结构化光图案的负像的叠加图像而获得的第二图案摄取图像来提取图案。
所述图案中的每一个可以具有高斯函数的亮度分布。
可以由四种图案来构成结构化光图案，所述四种图案是具有彼此相反的亮度变化方向的亮度分布的两种和具有彼此不同的主惯性轴的两个方向的组合。
根据本技术的第二方面的图像处理方法是包括使用由投影部投影并在其中设置有多个类型的多个图案的给定结构化光图案的通过图像摄取部的图像摄取而获得的图案摄取图像，检测由所述投影部投影的投影图像和由所述图像摄取部摄取的摄取图像之间的对应点的方法，并且其中所述多个图案设置成使得基于通过来自结构化光图案内的给定大小的部分区域中的图案组所转换成的变量的排列展开而获得的码串，结构化光图案中的所述部分区域的位置被唯一确定。
根据本技术的第三方面的图像处理装置是包括生成部的图像处理装置，所述生成部生成结构化光图案，在所述结构化光图案中设置有每个均具有高斯函数的亮度分布的多个图案，并且提供所述结构化光图案用于检测由投影部投影的投影图像和由图像摄取部摄取的摄取图像之间的对应点。
根据本技术的第三方面的图像处理方法是包括生成结构化光图案的图像处理方法，在所述结构化光图案中设置有每个均具有高斯函数的亮度分布的多个图案，并且提供所述结构化光图案用于检测由投影部投影的投影图像和由图像摄取部摄取的摄取图像之间的对应点。
根据本技术的第四方面的图像处理装置是包括生成部的图像处理装置，所述生成部生成结构化光图案，所述结构化光图案具有设置于其中的多种类型的多个图案，并且提供所述结构化光图案用于基于通过从结构化光图案内的给定大小的部分区域中的图案组所转换成的变量的排列展开而获得的码串来检测由投影部投影并具有使得结构化光图案中的部分区域的位置被唯一确定的图案的投影图像和由图像摄取部摄取的摄取图像之间的对应点。
根据本技术的第四方面的图像处理方法是包括生成结构化光图案的图像处理方法，所述结构化光图案具有设置于其中的多种类型的多个图案，并且提供所述结构化光图案用于基于通过从结构化光图案内的给定大小的部分区域中的图案组所转换成的变量的排列展开而获得的码串来检测由投影部投影并具有使得结构化光图案中的部分区域的位置被唯一确定的图案的投影图像和由图像摄取部摄取的摄取图像之间的对应点。
根据本技术的第五方面的数据是结构化光图案的数据，在所述结构化光图案中设置有每个均具有高斯分布的亮度分布的多个图案，并且提供所述结构化光图案用于检测由投影部投影的投影图像和由图像摄取部摄取的摄取图像之间的对应点。
根据本技术的第五方面的记录介质是在其中存储有结构化光图案的数据的记录介质，在所述结构化光图案中设置有每个均具有高斯分布的亮度分布的多个图案，并且提供所述结构化光图案用于检测由投影部投影的投影图像和由图像摄取部摄取的摄取图像之间的对应点。
根据本技术的第六方面的数据是结构化光图案的数据，所述结构化光图案具有设置于其中的多种类型的多个图案，并且提供所述结构化光图案用于基于通过从结构化光图案内的给定大小的部分区域中的图案组所转换成的变量的排列展开而获得的码串来检测由投影部投影并具有使得结构化光图案中的部分区域的位置被唯一确定的图案的投影图像和由图像摄取部摄取的摄取图像之间的对应点。
根据本技术的第六方面的记录介质是在其中存储有结构化光图案的数据的记录介质，所述结构化光图案具有设置于其中的多种类型的多个图案，并且提供所述结构化光图案用于基于通过从结构化光图案内的给定大小的部分区域中的图案组所转换成的变量的排列展开而获得的码串来检测由投影部投影并具有使得结构化光图案中的部分区域的位置被唯一确定的图案的投影图像和由图像摄取部摄取的摄取图像之间的对应点。
在根据本技术的第一方面的图像处理装置中，使用了由图像摄取部摄取在其中设置有由投影部投影的具有高斯函数的亮度分布的多个图案的结构化光图案而获得的图案摄取图像，并且通过由投影部投影的投影图像来检测对应点并检测由图像摄取部摄取的摄取图像。
在根据本技术的第二方面的图像处理装置和方法中，使用了通过由图像摄取部摄取由投影部投影的结构化光图案而获得的图案摄取图像，并且在所述结构化光图案中设置有多种图案并且在结构化光图案中基于通过具有结构化光图案的预定大小的部分区域中的图案组的变量和排列展开而获得的码串来设置图案，以使得结构化光图案中的部分区域的位置被唯一确定，并且通过由投影部投影的投影图像来检测对应点并检测由图像摄取部摄取的摄取图像。
在本技术的第三方面中的图像处理装置和方法中，生成了结构化光图案，在所述结构化光图案中设置有具有高斯函数的亮度分布的的多个图案并且所述结构化光图案用于检测由投影部投影的投影图像和由图像摄取部摄取的摄取图像之间的对应点。
在本技术的第四方面中的图像处理装置和方法中，生成了结构化光图案，在所述结构化光图案中设置有多种图案并且基于通过具有结构化光图案的预定大小的部分区域中的图案组的变量和排列展开而获得的码串来设置图案，以使得结构化光图案中的部分区域的位置被唯一确定，并且所述结构化光图案被用于检测由投影部投影的投影图像和由图像摄取部摄取的摄取图像之间的对应点。
在本技术的第五方面中的数据和记录介质中，获得了结构化光图案，在所述结构化光图案中设置有具有高斯函数的亮度分布的的多个图案并且所述结构化光图案用于检测由投影部投影的投影图像和由图像摄取部摄取的摄取图像之间的对应点。
在本技术的第六方面中的数据和记录介质中，获得了结构化光图案，在所述结构化光图案中设置有多种图案并且基于通过具有结构化光图案的预定大小的部分区域中的图案组的变量和排列展开而获得的码串来设置图案，以使得结构化光图案中的部分区域的位置被唯一确定，并且所述结构化光图案被用于检测由投影部投影的投影图像和由图像摄取部摄取的摄取图像之间的对应点。
发明的有利效果
借助本公开，可以对图像进行处理。具体地，可以改善对应点检测的不可视性。
附图说明
图1是描绘了几何校正的方式的示例的视图。
图2是描绘了几何校正的方式的示例的视图。
图3是描绘了几何校正的方式的示例的视图。
图4是描绘了对应点检测的方式的示例的视图。
图5是描绘了对应点检测的方式的示例的视图。
图6是描绘了对应点检测的方式的示例的视图。
图7是示意了ISL的示例的视图。
图8是描绘了格雷码的示例的视图。
图9是描绘了棋盘格图案的示例的视图。
图10是描绘了结构化光图案的示例的视图。
图11是描绘了图案的结构的示例的视图。
图12是描绘了图案的类型的示例的视图。
图13是描绘了结构化光图案的正像和负像的示例的视图。
图14是示意了对应点检测的方式的示例的视图。
图15是示意了对应点检测的方式的示例的视图。
图16是描绘了对应点检测单元的结构化光图案的示例的视图。
图17是示意了排列展开的方式的示例的视图。
图18是示意了变量识别的误差的示例的视图。
图19是示意了展开顺序的误差的示例的视图。
图20是示意了在结构化光图案中所采用的码串的示例的视图。
图21是描绘了结构化光图案生成装置的主要配置的示例的块图。
图22是描绘了由结构化光图案生成装置实现的功能的示例的功能块图。
图23是示意了结构化光图案生成处理的流程的示例的流程图。
图24是示意了码串生成的方式的示例的视图。
图25是描绘了投影图像摄取系统的主要配置的示例的块图。
图26是描绘了控制装置的主要配置的示例的块图。
图27是描绘了由控制装置实现的功能的示例的功能块图。
图28是描绘了由对应点检测部实现的功能的示例的功能块图。
图29是描绘了投影图像摄取装置的主要配置的示例的块图。
图30是描绘了投影部的主要配置的示例的块图。
图31是描绘了激光的扫描的示例的视图。
图32是示意了几何校正处理的流程的示例的流程图。
图33是示意了投影图像摄取处理的流程的示例的流程图。
图34是示意了对应点检测处理的流程的示例的流程图。
图35是继示意了对应点检测处理的流程的示例的图34之后的流程图。
图36是示意了排列码展开的方式的示例的视图。
图37是示意了几何校正的方式的示例的视图。
图38是描绘了投影图像摄取系统的配置的另一示例的块图。
图39是描绘了投影图像摄取系统和投影图像摄取装置的主要配置的示例的块图。
具体实施方式
下面描述实施本公开的方式(下面称为实施例)。要注意以下面的顺序来进行描述。
1、第一实施例(结构化光图案)
2、第二实施例(结构化光图案生成装置)
3、第三实施例(投影图像摄取系统)
4、第四实施例(投影图像摄取系统和投影图像摄取装置)
<1、第一实施例>
<对应点检测和几何校正>
取决于投影仪相对于投影平面(屏、壁等)的姿态(位置、取向等)、投影平面的形状等，被投影图像(也称为投影图像)有时会发生畸变并且变得难以观看。在刚才描述的这样的情况下，通过执行几何校正(例如，对要被投影仪投影的投影的畸变的校正等)，可以如图图1的B的示例一般减少投影图像的畸变并使得易于观看投影图像。
另外，可以利用如同图2的示例中一般的在其中由多个投影仪投影图像来形成单个投影图像的系统。例如，可以利用如图2的A中一般通过其从多个投影仪投影图像到相同位置来增加对比度从而实现高动态范围的方法。例外，例如，可以利用如在图2的B中描绘的一般通过其来自各个投影仪的投影图像被排列以实现比由单个投影仪投影的投影图像大的投影图像(分辨率比由单个投影仪投影的投影图像的分辨率大的投影图像)。在这些方法的情况下，如果从各个投影仪投影的投影图像之间的位置关系不合适，则会存在投影图像相对于彼此位移和相互叠加或者在投影图像之间出现不需要的间隙(整体上导致投影图像的画质降低)的可能性。因此，有时不仅需要执行上述对于各个投影图像的这样的畸变校正还需要执行例如图像相对于彼此的定位等的几何校正。
通过以这种方式对要被投影的图像执行几何校正，另外在如同图3的示例中一般将图像从多个投影仪投影到曲面的投影平面的情况下，可以像单个图像一般投影多个图像。应当要注意，在如图2的B或图3的示例中一般排列多个投影图像以形成大投影图像的情况下，通过如同图3的示例中一般彼此叠加(重叠)邻近的投影图像中的一些，可以促进投影图像的定位。
尽管可以由操作员或操作投影仪的人员等来手动执行这样的几何校正，但是仍然可能需要繁琐的工作。因此，提出了这样一种方法，通过这种方法，使用摄像机摄取由投影仪投影的投影图像的图像并且使用摄取图像来执行几何校正。
例如，如在图4的示例中一般，从投影仪11向屏13投影预定图片的标准化光图案12，并且由摄像机14摄取投影的标准化光图案12的图像以获得摄取图像15。然后，基于标准化光图案12的图像确定标准化光图案12和摄取图像15之间的对应点，并且基于对应点通过三角测量等来确定投影仪11和摄像机14之间的姿态(位置关系)、屏13的形状等。然后，基于确定的结果执行几何校正。这使得可以比在其中手动地执行几何校正的替代情况下更容易地执行几何校正。
在以这种方式利用摄像机执行几何校正的情况下，需要在投影图像(其或者可以是要被投影的图像)和摄取图像之间确定对应点(与投影图像和摄取图像的在投影平面上彼此相同的位置对应的像素)。换言之，需要确定摄像机14(摄取图像15)的像素和投影仪11(标准化光图案12)的像素之间的对应关系。
另外，在如在图2或图3的示例中一般使用多个投影仪的情况下，还需要确定各个投影图像之间的位置关系。
例如，假定如在图5的示例中一般，使得包括投影部21-1(投影仪)和图像摄取部22-1(摄像机)的投影图像摄取装置20-1和包括投影部21-2(投影仪)和图像摄取部22-2(摄像机)的投影图像摄取装置20-2相互协作来投影图像。此处，在不需要以相互区分的方式来描述投影图像摄取装置20-1和投影图像摄取装置20-2的情况下，投影图像摄取装置20-1和投影图像摄取装置20-2中的每一个均可以称为投影图像摄取装置20。另外，在不需要以相互区分的方式来描述投影部21-1和投影部21-2的情况下，投影部21-1和投影部21-2中的每一个均可以称为投影部21。此处，在不需要以相互区分的方式来描述图像摄取部22-1和图像摄取部22-2的情况下，图像摄取部22-1和图像摄取部22-2的中的每一个均可以称为图像摄取部22。
如图5所描绘的，投影图像摄取装置20-1的投影部21-1的投影平面23的投影区域(投影图像的范围)是P0L到P0R的范围。同时，投影图像摄取装置20-2的投影部21-2的投影平面23的投影区域是P1L到P1R的范围。简言之，由双箭头标记24指示的范围(P0L到P0R的范围)是在其中投影图像彼此叠加的重叠区域。
应当要注意，投影图像摄取装置20-1的投影部22-1的投影平面23的图像摄取区域(摄取图像中包括的范围)是C0L到C0R的范围。同时，投影图像摄取装置20-2的投影部22-2的投影平面23的图像摄取区域(摄取图像中包括的范围)是C1L到C1R的范围。
在上述这样的系统的情况下，为了执行投影图像相对于彼此的定位，不仅需要确定每个投影图像摄取装置20上的投影部21和图像摄取部22之间的对应点，还需要确定投影图像摄取装置20之间投影部21和图像摄取部22之间的对应点。因此，例如，如图6所示，确定图像摄取部22-2的哪个像素(箭头标记28)接收从投影部21-1的某个像素照射的光(箭头标记27)(在光在投影平面23的X处反射之后)。另外，还在投影部21-2和图像摄取部22-1之间确定类似的像素对应关系。
通过确定所有投影部21和所有图像摄取部22之间的对应点(可以以此方式在所有投影部21和所有图像摄取部22之间确定对应点)，可以通过几何校正执行重叠区域(由双箭头标记24指示的范围)的定位。
<在线感测>
尽管认为可以在开始图像的投影之间执行如上所述的用于几何校正的这样的对应点检测，但是存在在初始安装之后在投影图像时由于例如温度、抖动等扰动的影响等对应点可能移位的可能性。如果对应点移位，则存在几何校正可能变得不适当，导致投影图像发生畸变或位置移位的可能性。
在刚才所述的这样的情况下，需要重新执行对应点检测。然而，为此打断图像的投影对于正在观看图像的用户来说不合意(存在满意度会降低的可能性)。因此，提出了用于在继续图像的投影时检测对应点的方法。
作为在线感测技术，例如，提出了利用例如红外光等的不可见光的方法、利用例如SIFT的图像特征量的方法和ISL(不可感知结构化光(Imperceptible Structured Light))方法等。在利用例如红外光等的不可见光的方法的情况下，由于进一步需要用于投影不可见光的投影仪(例如，红外投影仪)，因此存在成本会增加的可能性。同时，在利用例如SIFT等的图像特征量的方法的情况下，由于检测准确度或对应点的密度依赖于图像内容，所以难以以稳定的准确度执行对应点检测。
与这些方法相比，在ISL方法的情况下，由于利用可见光，所以能够不增加系统部件(即，不增加成本)。另外，可以不依赖于要被投影的图像以稳定的准确定执行对应点检测。
<ISL方法>
ISL方法是这样一种方法，通过这种方法作为预定图案的图像的结构化光图案以正负反转的关系被嵌入到投影图片中并且被投影使得其不为人所感知。
如图7所示，投影仪将预定结构化光图案添加到输入图像的某帧以生成在其中结构化光图案的正像与输入图像合成的帧图像，并且从输入图像的下一帧减去结构化光图案以生成在其中结构化光图案的负像与输入图像合成的帧图像。然后，投影仪相继地投影帧。以高速度变换的两个正和负帧被人眼感知为它们通过积分效应而相加。结果，使得观看投影图像的用户难以识别嵌入在输入图像中的结构化光图案。
相较之下，摄像机摄取帧的投影图像的图像并确定帧的摄取图像之间的差异以仅提取包括在在摄取图像中的结构化光图案。使用提取的结构化光图案来执行对应点检测。
以这种方式，由于在ISL方法中，可以方便地仅通过以这种方式确定摄取图像之间的差异来提取结构化光图案，所以可以以稳定的准确度执行对应点检测而不依赖于要被投影的图像。
可以利用这样的方法，通过这种方法，例如格雷码被用作要用于如上所述的这样的ISL方法中的结构化光图案。例如，如图8的A中所描绘的这样的预定图案图像在时间序列中变换的同时被投影以摄取各个图案的图像。然后，在完成所有图案的图像摄取之后，在摄取图像的每个像素处检测每个图像摄取图案的“1”(白)或“0”(黑)，然后如图8的B中描绘一般解码“1”和“0”的变化图案以获取投影仪像素的位置。据此，可以获取像素的对应关系。
在另一方面，例如，可以利用这样的方法，通过这种方式，使用如在图9中描绘的这样的棋盘格图案作为结构化光图案。例如，投影如图9中描绘的一个棋盘格图案和在其中棋盘格图案的四个角中的一个角缺失的四个图案，并且通过确立图案的投影顺序和缺失的角的信息的匹配来检测棋盘格的每个角对应于投影仪的哪个像素。
然而，由于这样的格雷码或棋盘格图案具有带有大亮度变化梯度和带有高空间规则性的图案，所以其容易被正在观看投影图像的用户感知，并且存在可视性会降低的可能性。刚才描述的这样的结构化光图案对于要被叠加的图像(被投影的图像)来说是必有必要的(即，对于用户来说)。简言之，存在感知结构化光图案可能会对应于投影图像(被投影的图像)对于用户画质降低的可能性。
应当要注意，在使用格雷码或棋盘格图案的情况下，需要投影许多图案。一般来说，随着被投影的图案的数量增加，投影图像变得易于被用户感知，导致可视性被进一步降低的可能性。
同时，在其中投影仪和摄像机之间的基线短的系统中，为了以高准确度执行三角测量，需要具有亚像素准确度的对应点检测。然而，根据使用格雷码或棋盘格图案的方法，不能实现等于或低于像素准确度的检测准确度，并且难以保证三角测量的足够高的准确度。另外，根据使用格雷码或棋盘格图案的方法，需要要由摄像机观察到至少一个缺失的角，并且存在安装投影仪或摄像机的自由度(位置或姿态的自由度)降低的可能性。
另外，在如上所述使用格雷码或棋盘格图案的情况下，由于需要投影许多图案，所以存在用于对应点检测的时间会同样地多的可能性。另外，为了以更高的密度检测对应点，需要投影更多数量的图案，并且存在用于对应点检测的时间进一步增加的可能性。
<结构化光图案的结构>
图10所示的结构化光图案100指示适用于本技术的结构化光图案的实施例的示例。结构化光图案100用于检测由投影部投影的投影图像和由图像摄取部摄取的摄取图像之间的对应点(简言之，投影部和图像摄取部之间的像素对应关系)，并且包括椭圆形状亮度分布的多个图案101，椭圆形状亮度分布的多个图案101具有与其周边的亮度值不同的亮度值，如图10所示。简言之，多个图案101被设置(形成)在结构化光图案100中。通过检测结构化光图案100的图案101，能够执行对应点的检测。
在每个图案101中，亮度值如图11所示在周边和其重心之间如二维高斯函数一般变化。简言之，图案101具有二维高斯函数的亮度分布。
在以这种方式形成图案101之前，可以降低(缓和)亮度变化梯度，并且可以使得其与格雷码或棋盘格的情况的亮度变化梯度相比难以感知。因此，即便是由于例如视线移动或视场被阻挡或者投影图像的帧率为低等积分效应降低的这样的情况下，也可以使得观看投影图像的用户较难以感知图案101。简言之，可以提高可视性。
另外，在亮度分布具有由直线配置的形状(比如，举例来说，矩形的边或角)的情况下，由于这是在自然图像中较不常见的配置，所以存在其可能易于为用户感知的可能性。然而，通过形成由曲线配置的椭圆形状(比如，图案101)，与前述情况相比可以提高可视性。另外，由于所述形状简单，所以可以提高图案101的检测准确度(可以提高对由于投影图像的变形等的误差或噪声的抗性)。
另外，结构化光图案100通过布置多重类型的图案101的方式(以什么布置来设置图案101等)使得对应点检测可能。具体地，通过从结构化光图案100内搜索出在其中结构化光图案100在布置上与作为结构化光图案100的投影图像的摄取图像的摄取图像中包括的图案101一致的部分，确定摄取图像中包括的部分对应于结构化光图案100的哪个部分。一般说来，随着结构化光图案100中包括的图案101的种类的数量增加，图案101的组合的数量增加。换言之，图案101的布置的方式(的种类)的数量增加。因此，由于可以在结构化光图案100中设置许多图案101而不增加图案101的相同布置的数量，所以可以以更高的准确度(以更高的密度)检测对应点。另外，通过增加图案101布置的方式，可以从较少数量的图案101中唯一指定在结构化光图案100中的位置(检测对应点)。尽管会在下文描述细节，但是随着用于对应点检测需要的图案101的数量减少，在其中能够对应点检测的投影部和图像摄取部的姿态的自由度增加。应当要注意，随着图案101的数量减少，对应点检测处理的负荷也减少。
如图11所示，在结构化光图案100中，存在图案101的两种亮度变化方向。例如，图11中图案101-1的亮度值如由曲线102-1所指示在从周边到重心的正方向上以高斯函数变化。于此相比，图案102-1的亮度值如由曲线102-2所指示在从周边朝其重心的负方向上以高斯函数变化。简言之，结构化光图案100包括具有亮度变化方向彼此相反的两种图案101。
通过以这种方式将多个亮度变化方向应用于图案101，可以增加图案101的种类的数目而不改变图案101的形状。另外，通过以这种方式利用亮度变化方向，可以对于所有图案101采用二维高斯函数的亮度分布。具体地，可以在不使用可能容易被感知的亮度变化梯度或形状的情况下增加图案101的种类的数量。换言之，可以在不降低可视性的情况下增加图案101的种类的数量。此外，可以容易识别如图11的示例中的具有彼此相反的亮度变化方向的图案101。另外，由于可以在任一方向上增加亮度变化，所以可以增加从摄取图像提取的结构化光图案的S/N比。
应当要注意，尽管如图11的示例中，两种图案101(图10的图案101-1和图案101-2)实际上具有在周边和其重心之间变化的亮度，但是在图10中，为了简化示意，由白色椭圆指示图案101-1而由黑色椭圆指示图案101-2。具体地，在图10中，图案101的颜色仅指示存在两种亮度变化，而不指示亮度变化的方式。同时在下文描述的其他附图中，可以由于类似的原因而适用与图10类似的示意。
另外，图10的图案101的亮度分布具有预定的惯性主轴。在图10和11中所示的示例的情况下，图案101的亮度分布具有椭圆形状，其在纵向上的中心轴是惯性主轴。另外，在图10的结构化光图案100中，在图10中存在垂直方向和水平方向两种作为惯性主轴的方向。具体地，在本示例的情况下，如图12所示，就亮度变化方向和惯性主轴的方向来说，结构化光图案100具有四种图案(图12的图案101-1至101-4)。
例如，在图12中，图案101-1具有在从周边到重心的正方向上以高斯函数变化的亮度值，除此之外，具有在垂直方向上的惯性主轴。此外，图案101-2具有在从周边到重心的正方向上以高斯函数变化的亮度值，除此之外，具有在水平方向上的惯性主轴。于此相比，图案101-3具有在从周边到重心的负方向上以高斯函数变化的亮度值，除此之外，具有在垂直方向上的惯性主轴。另外，图案101-4具有在从周边到重心的负方向上以高斯函数变化的亮度值，除此之外，具有在水平方向上的惯性主轴。
通过以这种方式使得图案101一般地具有惯性主轴的多个方向(图案的姿态)，可以在不改变图案101的形状的情况下增加图案101的种类的数量。简言之，可以在不使用容易被感知的形状的情况下增加图案101的种类的数量。换言之，可以在不降低可视性的情况下增加图案101的种类的数量。此外，可以容易识别如图12的示例中的具有彼此垂直的惯性主轴的图案101。
另外，通过如图12的示例一般组合亮度变化方向和惯性主轴的方向，可以进一步增加图案101的种类的数量而不降低图案101的可视性。
另外，通过使用图案101的亮度变化方向、惯性主轴的方向或它们二者来增加种类的数量，与在其中改变图案101的形状或大小以增加类型的数量的情况相比可以进一步促进指定每个图案101的位置或范围，并且可以更容易地执行图案101的检测。
应当要注意，尽管在前面的描述中描述了每个图案101的亮度分布由二维高斯函数来表示，但是如果图案101的亮度分布相比于格雷码或棋盘格图案的情况的亮度变化梯度的减小了亮度变化梯度，则图案101的亮度分布可以是任何函数的分布。然而，如果分布使得可以更容易地确定亮度值呈最大值(或呈最小值)的位置(重心)，则可以使用重心来执行对应点检测，并且可以更容易地实现更高准确度(亚像素的准确度)的对应点检测。应当要注意，该亮度分布(函数)对于所有图案101可以相同，或者可以不同。
另外，每个图案101的(亮度分布的)形状是任意的并且可以是除了椭圆形状之外的其他形状。同时，图案101的大小和惯性主轴的方向是任意的。可以在图案101中形成字符、符号、图片、设计等。应当要注意，这些参数也是对于所有图案101可以相同，或者可以不同。另外，图案101的布置位置也是任意的。例如，在结构化光图案100中，图案101可以以基本均等的距离设置，或者图案101的分布可以具有一些偏向性(one-sideness)。
另外，代替亮度分布，结构化光图案100可以由一个或多个颜色分量(或色彩分量)来形成，或者可以由亮度和颜色分量二者的分布来形成。另外，结构化光图案100的大小和纵横比是任意的，并且可以与结构化光图案100被叠加在其上的不同图像的大小和纵横比相同或者可以不同。简言之，图案101可以设置在不同图像的整体区域上方或者可以设置在不同图像的区域的一部分处。
另外，图案101的类型的数量是任意的，并且可以是三类或更少或者可以是五类或更多。例如，可以在三个或更多个方向当中识别出亮度变化方向以便执行称为三种类或更多种类的分类，可以可以通过在三个或更多个方向当中识别出惯性主轴来执行三种类或更多种类的分类。另外，用于分类图案101的参数是任意的。例如，可以使用不是正方向和负方向的不同方向作为亮度变化方向。另外，可以使用除了亮度变化方向和惯性主轴的方向之外的参数。例如，可以根据图案101的形状、颜色、大小、图片(设计)、布置位置(位置位移)、亮度变化的改变率(函数)等来分类图案101。另外，可以组合多个这样的参数，或者这样的参数可以与亮度变化方向和惯性主轴组合。
在ISL方法的情况下，以与不同图像叠加的关系来投影如上所述的这样的配置的结构化光图案100。此时，与参考图7的说明的情况类似，投影结构化光图案100以使得结构化光图案100的亮度值被加到不同图像的某帧，并且然后从不同图像的下一帧减去结构化光图案100的亮度值。简言之，如图13所示，结构化光图案100在不同图像上被叠加为正像100-1或负像100-2。负像100-2是在-负极性上与为正像100-1的亮度值反转的图像。通过，将刚才描述的这样的正像100-1和负像100-2以叠加的关系投影到两个相继的帧，可以使得由于积分效应结构化光图案100较不容易为观看投影图像的用户感知。
当然，可以在不同图像上仅叠加正像100-1或负像100-2。在这种情况下，尽管不能取得如上所述的这样的积分效应，但是如在图11的示例中一般通过减少每个图案101的亮度变化梯度，可以抑制可视性的降低。
应当要注意，结构化光图案100可以用于除了ISL方法之外的对应点检测方法。简言之，可以通过将结构化光图案投影成其不被叠加在不同图像上来利用结构化光图案进行对应点检测。
<图案到码串的转换>
顺便提及，随着投影仪(投影部)和摄像机(图像摄取部)安装的自由度(位置或姿态的自由度)增加，系统构建会变得较为简单并且还会促进各种配置的系统的实现。例如，假定如图14所示，投影仪111投影结构化光图案100，而摄像机112摄取投影图像的图像以获得摄取图像113。如果在刚才描述的这样的系统中，投影仪111和摄像机112的安装自由度高，则存在会出现这样的情况的可能性——摄像机112不能摄取整体结构化光图案100的图像，而仅结构化光图案100的一部分被包括在摄取图像113中。
如果包括在摄取图像113中的图案101的信息在量上过度小(在包括在摄取图像113中的范围小于指定图案101的位置所需要的范围的情况下)，则存在如虚线双箭头标记114或另一虚线双箭头标记115所指示的不能唯一指定包括在结构化光图案100中的摄取图像113中的图案101的位置的可能性。
因此，结构化光图案100中图案101的布置形成为伪随机阵列。伪随机阵列是由N(N是任意自然数)个变量配置的阵列，并且是具有这样的性质阵列——当切割出某个固定大小的窗口(部分区域)并且排列展开窗口的元素时，码串在整个整列上唯一。换言之，结构化光图案100的图案101被设置成使得图案101在所有部分区域中的设置(码串)彼此不同，并且从包括在摄取图像中的部分区域中的图案101能够指定图案101是结构化光图案100的那个部分中的图案。换言之，可以使用部分区域中的信息来确定对应点。应当要注意，通过给伪随机阵列设定图案101的设置，由于结构化光图案100的亮度分布的规则性降低，所以可以使得结构化光图案100较不容易被感知。
在下面的描述中，也将这个部分区域成为对应点检测单元。通过使得这个部分区域的大小尽可能小，还可以应对投影仪111和摄像机112的较高自由度。
例如，可以将结构化光图案100中图案101的设置设定为使得能够基于如在图15的示例中一般的垂直3×水平3个(总共9个)图案的设置来唯一指定其设置位置。
例如，如图16所示，在摄取图像中，确定处理目标的区域121-1并且检测定位在区域121-1中的图案101-1。然后，检测定位在区域121-1上方的区域121-2中的图案101-2；检测定位在区域121-1左侧的区域121-3中的图案101-3；检测定位在区域121-1下方的区域121-4中的图案101-4；并且检测定位在区域121-1的右侧的区域121-5中的图案101-5。类似地，检测定位在区域121-1的右上方的区域121-6中的图案101-6；检测定位在区域121-1的左上方的区域121-7中的图案101-7；检测定位在区域121-1的左下方的区域121-8中的图案101-8；并且检测定位在区域121-1的右下方的区域121-9中的图案101-9。
应当要注意，在不需要以相互区分的方式描述区域121-1至121-9的情况下，区域121-1至121-9中的每一个均可称为区域121。
将以这样的方式确定的3×3图案101分别转换成变量，并且以如图17的A所示的预定顺序排列展开变量以产生如图17的B所示的码串。图17的A和B中各个区域121中指示的数字指示图案被排列展开的顺序的示例。
然后，从结构化光图案100内搜索出与以这种方式确定的码串一致的码串。由于结构化光图案100的各个图案被设置在这样的布置中：通过将在任意位置处的3×3图案101转换成变量并排列展开变量而获得的每个码串均彼此不同(被唯一确定)，所以可以检测对应点。
通过这样做，与在其中使用格雷码等的替代情况相比基于小数量的结构化光图案100来检测对应点变得可能，并且因此，可以使得较难以让观看投影图像的用户感知结构化光图案100，并且提高对应点检测的可视性。另外，与在其中使用格雷码等的替代情况相比，可以在短时间期间内检测对应点。
应当要注意，如果安装投影仪111或摄像机112的自由度变得较高，则存在摄取图像可能相当于投影图像倾斜的可能性，并且存在这种倾斜可能生成错误的码串的可能性。
例如，存在每个图案101的变量识别中可能出现误差的可能性。假定在摄取图像不相对于投影图像倾斜的情况下，图案101在某个对应点检测单元中以如图18的A所示的这样的方式设置。在这种情况下，识别图案101-1的惯性主轴的方向是垂直方向，而图案101-4的惯性主轴的方向是水平方向。与之相比，如果在图18中将摄取图像沿顺时针方向旋转45度，则对应点检测单元中图案101的设置变成如图18的B所示的这样的设置。在这种情况下，由于如图18的B所示图案101-1和图案101-4分别倾斜45度，所以存在可能识别图案101-1的惯性主轴的方向是水平方向而图案101-4的惯性主轴的方向是垂直方向的可能性。随着摄取图像的倾斜进一步增加，这样的误差的概率进一步增加。
另外，例如，存在当排列展开各个图案101时可能出现展开顺序的误差的可能性。假定在摄取图像不相对于投影图像倾斜的情况下，某个对应点检测单元的各个图案101以图19的A所示的这样的顺序展开。与之相比，如果在图19中将摄取图像沿顺时针方向旋转45度，则存在图案101以在图19的B中所示的这样的顺序展开的可能性。随着摄取图像的倾斜进一步增加，这样的误差的概率进一步增加。
具体地，在码串由包括在摄取图像中的对应点检测单元的图案101生成的情况下，如图20所示总共可以利用8种不确定性，包括作为码串展开的不确定性的四种不确定性(具体地，四种可能性包括对应点检测单元可能在其被旋转0度的状态下被展开的可能性、对应点检测单元可能在其被旋转90度的状态下被展开的可能性、对应点检测单元可能在其被旋转180度的状态下被展开的可能性、对应点检测单元可能在其被旋转270度的状态下被展开的可能性)，以及作为变量识别的不确定性的两种不确定性(具体地，惯性主轴可能被倾斜0度或180度的可能性，以及惯性主轴可能被倾斜90度或270度的可能性)。因此，如果在结构化光图案100中存在来自这样的八个类型的多个码串，则存在对应点检测的检测准确度可能会降低的可能性。
因此，仅由属于彼此不同的组的码串来构成结构化光图案100的码串组(与各个对应点检测单元对应的码串)(简言之，图案101的布置被设定为这样的布置)。通过这样做，在摄取图像中检测出的码串属于组的哪一个码串，都可以在结构化光图案100中唯一确定该码串(或属于相同组的码串)，并且能够检测对应点。
应当要注意，用于分组代码串的标准是任意的，并且可以基于任何信息对码串进行分组。例如，通过基于码串生成的不确定性来分组码串，可以抑制由于码串的不确定性的对应点的检测准确度的降低。例如，该组可以包括通过将预定图案组转换成变量并排列展开变量而获得的码串以及通过将图案组旋转预定角度、将图案组的图案转换成变量并排列展开变量而获得的码串。另外，该组可以包括通过将预定图案组的图案转换成变量并排列展开变量而获得的码串以及通过将图案组的图案转换成不同值的变量并排列展开不同值的变量而获得的码串。另外，该组可以包括通过将预定图案组的图案转换成变量并排列展开变量而获得的码串以及通过将图案组旋转预定角度、将图案转换成不同值的变量并排列展开不同值的变量而获得的码串。另外，该组可以包括通过将预定图案组的图案转换成变量并排列展开变量而获得的码串、通过将图案组旋转预定角度、将图案转换成变量并排列展开不同值的变量而获得的码串以及通过将图案组旋转预定角度、将图案转换成不同值的变量并排列展开不同值的变量而获得的码串。另外，该组可以包括通过将预定图案组的图案转换成变量并排列展开变量而获得的码串、通过将图案组的图案转换成不同值的变量并排列展开不同值的变量而获得的码串以及通过将图案组旋转预定角度、将图案转换成不同值的变量并排列展开不同值的变量而获得的码串。另外，如图20所示，该组可以包括通过将预定图案组的图案转换成变量并排列展开变量而获得的码串、通过将图案组的图案转换成不同值的变量并排列展开不同值的变量而获得的码串、通过将图案组旋转预定角度、将图案转换成变量并排列展开不同值的变量而获得的码串以及通过将图案组旋转预定角度、将图案转换成不同值的变量并排列展开不同值的变量而获得的码串。通过这样做，可以抑制由于如上所述的展开顺序的这样的不确定性和变量识别的不确定性的对应点的检测准确度的降低。换言之，还可以应对投影仪111和摄像机112的安装的较高自由度。应当要注意，尽管参考图20描述了在其中可利用码串展开顺序的四种不确定性和变量识别的两种不确定性的情况，但是这样的不确定性的类型的数量各自是任意的(存在可以依赖于对应点检测单元或图案101的形状、结构等的可能性)，并且不限于图20的示例中的那些。例如，尽管码串展开顺序的不确定性的旋转角度被描述为作为示例取0度、90度、180度和270度，但是其可以是除了这些角度之外的其他角度。另外，所有不确定性都可以包括在组中，或者不确定性中的一些可以包括在组中。另外，在存在除了上述那些不确定性之外的其他不确定性的情况下，可以将基于该不确定性的码串图案包括在组中。
应当要注意，尽管在前面的描述中描述了使用一个结构化光图案100(的正像和负像)来检测对应点，但是用于对应点检测的方法不限于此。例如，可以重复地多次投影一个结构化光图案100(的正像和负像)，并且通过图像摄取而获得的多个摄取图像可以用于在提取图案101时提高S/N比以提高图案101的检测准确度。通过更准确地检测图案101，能够提高对应点的检测准确度。
另外，可以使用在其间图案101的布置彼此不同的多个结构化图案来检测对应点。具体地，尽管在前面的描述中描述了使用多个空间上相邻的图案来生成码串，但是码串的生成不限于此，并且可以使用多个时间上相邻的图案来生成码串。例如，可以使用不仅在时间上而且还在空间上相邻(例如，如同并置)的图案来生成码串。另外，可以使用空间上相邻的图案和时间上相邻的图案来生成码串。
应当要注意，码串展开的顺序是任意的并且不限于上述示例。另外，形成为对应点检测单元的部分区域的大小和形状是任意的并且不限于上述示例(3×3)。简言之，码串的长度也是任意的并且不限于上述示例(9码)。
<2、第二实施例>
<结构化光图案生成装置>
现在描述如上所述的这样的结构化光图案100的生成。可以由任意装置来部分或全部地生成结构化光图案100。图21是描绘作为本技术可应用于其的图像处理装置的实施例的结构化光图案生成装置的主要配置的示例的块图。
如图21所示，结构化光图案生成装置200包括CPU(中央处理单元)201、ROM(只读存储器)202、RAM(随机存取存储器)203、总线204、输入/输出接口210、输入部211、输出部212、存储部213、通信部214、驱动器215和码串数据库231。
CPU 201、ROM 202和RAM 203通过总线204相互连接。输入/输出接口210也连接到总线204。输入部210、输出部212、存储部213、通信部214、驱动器215和码串数据库231连接到输入/输出接口210。
输入部211由接受例如用户输入等的外部信息的输入设备进行配置。例如，输入部211可以包括键盘、鼠标、操作按钮、触摸面板、摄像机、麦克风、输入终端等。另外，例如各种传感器(例如加速度传感器、光学传感器、温度传感器等)的输入装置、条形码读取器等可以包括在输入部211中。输出部212可以由输出图像、声音等的信息的输出设备进行配置。例如，输出部212可以包括显示器、扬声器、输出终端等。
存储部213可以由存储例如程序、数据等的信息的存储介质进行配置。例如，存储部213可以包括硬盘、RAM盘、非易失性存储器等。通信部214可以由通信设备进行配置，所述通信设备执行用于通过预定通信介质(例如，举例来说互联网的任意网络)与外部装置交换例如程序、数据等的信息的通信。通信部214可以例如由网络接口进行配置。例如，通信部214执行与结构化光图案生成装置200的外部装置的通信(交换程序或数据)。
驱动器215读取出存储在可移动介质221(例如，举例来说，磁盘、光盘、磁光盘、半导体存储器或装载在驱动器215自身中的其他可移动介质)中的信息(程序、数据等)。驱动器215将从可移动介质221读取出的信息提供给CPU 201、RAM 203等。另外，在可写入可移动介质221被装载在驱动器215中的情况下，驱动器215能够将由CPU 201、RAM 203等提供的信息(程序、数据等)存储到可移动介质221中。
CPU 201通过将存储在例如存储部213中的程序经由输入/输出接口210和总线204加载到RAM 203中并执行程序来执行各种处理。CPU 201执行各种处理所需要的数据等也适当地存储到RAM 203中。
例如，CPU 201可以以此方式执行程序等来执行与结构化光图案生成有关的处理。
码串数据库231是与结构化光图案100的每个图案101对应的对应点检测单元的码串和码串的位置以相互关联的关系登记在其中的数据库。如果结构化光图案100能够基于至少存储在码串数据库231中信息来生成，则码串数据库231可以以任何形式存储码串和码串的位置的信息。例如，码串数据库231可以使用表信息等以关联的关系存储码串的信息和指示码串的位置的信息。另外，码串数据库231可以存储结构化光图案100作为例如在图10中所示的这样的图像数据。另外，码串数据库231可以存储彼此关联的码串的信息和指示码串的位置的信息以及结构化光图案100的图像数据。另外，可以由登记在码串数据库213中的所有码串来形成结构化光图案100。在这种情况下，码串数据库231也可以被认为结构化光图案100的数据(被认为与结构化光图案100等同)。当然，可以由登记在码串数据库231中的码串中的一些来形成结构化光图案100。例如，码串数据库231可以与多个结构化光图案100对应。在这种情况下，码串数据库231可以独立地针对每个结构化光图案100登记每个码串或者可以允许包括在多个结构化光图案100中的相同码串被登记为一个码串。
应当要注意，码串数据库231可以形成在存储部213内部，或者可以被提供为在结构化光图案生成装置200外部独立于结构化光图案生成装置200的装置。
<功能块>
图22是描绘了由结构化光图案生成装置200执行程序等实现的功能的示例的功能块图。如图22所示，结构化光图案生成装置200通过执行程序而具有结构化光图案生成部240的功能。
结构化光图案生成部240执行与结构化光图案100的生成有关的处理。结构化光图案生成部240包括图案区域设定部241、处理目标对应点检测单元选择部242、图案设定部243、基本码串生成部244、旋转变量交换码串生成部245、码串搜索部246和码串登记部247。
图案区域设定部241执行与设定图案区域有关的处理。处理目标对应点检测单元选择部242执行与选择被作为处理目标的对应点检测单元有关的处理。图案设定部243执行与设定图案101有关的处理。基本码串生成部244执行与生成基本码串有关的处理。旋转变量交换码串生成部245执行与生成旋转变量交换码串有关的处理。码串搜索部246执行与搜索码串有关的处理。码串登记部247执行与登记码串有关的处理。
应当要注意，各个块可以按需彼此交换信息(例如，指令、数据等)。
<结构化光图案生成处理的流程>
结构化光图案生成部240在预定时机或基于指令、用户的请求等或程序来执行结构化光图案生成处理以生成具有本文上述联系于第一实施例描述的这样的技术特征的结构化光图案100。参考图23的流程图来描述结构化光图案生成处理的流程的示例。
在开始结构化光图案生成处理之后，在步骤S201，图案区域设定部241设定图案区域。图案区域是要在其中形成图案101的区域。一个图案101被形成在一个图案区域中。图案区域设定部241为要被生成的结构化光图案100的所有区域或一些区域设定多个图案区域。应当要注意，图案区域的大小和形状是任意的。所有图案区域可以大小或形状相同，或者图案区域中的一些可以大小或形成不同。另外，图案区域可以形成为在结构化光图案100的区域中区域之间没有任何间隙，或者可以在相邻图案区域之间形成间隙，或者彼此相邻的区域可以彼此部分叠加。
在步骤S202，处理目标对应点检测单元选择部242选择被作为处理目标的对应点检测单元(也称为处理目标对应点检测单元)。由于在步骤S201中图案区域被设定，对应点检测单元也与图案区域组合地设定。处理目标对应点检测单元选择部242从对应点检测单元中选择要作为处理区域的区域。
在步骤S203，图案设定部243暂时地在处理目标对应点检测单元中在其中还没有设定图案的区域中设定具有二维高斯函数的亮度分布的图案101。在处理目标对应点检测单元中，图案设定部243在在其中还没有设定图案101的每个图案区域中逐个地设定具有本文在上面联系于第一实施例进行描述的这样的结构的图案101。此时，图案设定部243从预先准备的图案101的类型当中选择任意一种类型，并且暂时地设定该任意一种类型。例如，在图12的情况下，图案设定部243在图12中所示的图案101的四种类型当中选择为每个图案区域暂时设定的类型。
应当要注意，在在处理目标对应点检测单元中存在具有已经已经登记的图案101的图案区域(对其已经确定图案101的类型的图案区域)的情况下，则在下面描述的处理中对该图案区域采用已经确定的图案101。在另一方面，在存在在其中还没有设定图案101的多个图案区域的情况下。图案设定部243为各个图案区域彼此独立地选择图案101的类型并暂时设定图案101的类型。
图案101的类型的选择方法是任意的。可以以预先确定的预定顺序来选择不同的类型(换言之，为各个类型设置某种优先顺序)，或者基于某种条件(例如时机、数据等)来设置预定顺序，或者选择被随机类型。然而，在对于处理目标对应点检测单元的当前处理是第二次或之后次的处理的情况下，图案设定部243以除了已经在最后或之前处理中已经被暂时设定的图案101的设置(码串)之外的设置(码串)来执行暂时设定。
在步骤S204，基本码串生成部244用变量取代处理目标对应点检测单元中的各个图案101，并且以预定顺序展开变量以生成基本码串。此处，以预定顺序展开变量也被称为排列展开。另外，用变量取代各个图案101并以预定顺序展开变量也被称为排列码展开。另外，基本码串指示通过暂时设定的图案101的排列码展开而获得的码串。
在步骤S205，旋转变量交换码串生成部245生成与基本码串对应的旋转变量交换码串。此处，旋转变量交换码串指示通过用不同变量取代处理目标对应点检测单元的每个图案101并执行变量的排列展开而获得的码串，通过在将处理目标对应点检测单元旋转预定角度之后排列码展开每个图案101而获得的另一码串，以及通过在将处理目标对应点检测单元旋转预定角度之后用不同变量确定每个图案101来排列展开变量而获得的其他码串。简言之，通过在步骤S204和S205处的处理，生成了属于相同组的所有码串。
例如，如在从下面在图24的A中的第三阶段所指示，生成了从0度的旋转角度的处理目标对应点检测单元被旋转90度、180度和270度的处理目标对应点检测单元的图案101。
然后，将0度、90度、180度和270度的旋转角度的处理目标对应点检测单元的各个图案101转换成如在从下面在图24的A中的第二阶段所指示。应当要注意，在图24的A中，响应于图案101的类型(例如，亮度变化方向和惯性主轴的方向)而将图案101转换成变量0至3中的一个的变量。
另外，如在从下面在图24的A中的第三阶段所指示，将0度、90度、180度和270度的旋转角度的处理目标对应点检测单元的各个图案101转换成不同值的变量。
然后，通过以如在如24的B中所示的这样的预定顺序排列展开各个处理目标对应点检测单元的变量，生成了基本码串和旋转变量交换码串。
在步骤S206，码串搜索部247针对通过在步骤S204和步骤S205处的处理生成的基本码串和旋转变量交换码串对码串数据库231进行搜索。具体地，码串搜索部247从登记在码串数据库231中的码串(这些码串均称为登记码串)当中搜索与基本码串和旋转变量交换码串中的一个一致的码串。换言之，码串搜索部247搜索属于与基本码串的组相同的组的登记码串。
将与配置结构化光图案100的图案101对应的码串登记到码串数据库231中。具体地，在执行在步骤S206处的处理的时间点，与已经被确定为配置结构化光图案100的图案101对应的码串在该时间点被登记在码串数据库中。
在步骤S207，码串搜索部247决定是否不存在与基本码串和旋转变量交换码串中的一个一致的登记码串。仅来自属于一个组的码串当中的一个码串才能够被登记到码串数据库231中。换言之，属于在其中某个码串已经被登记的组的任何码串都不能被登记到码串数据库231中。因此，在在步骤S207处确定存在一致的登记码串的情况下，处理返回到步骤S203，并且执行以步骤S203开始的步骤处的处理。换言之，再次执行处理目标对应点检测单元的图案101的暂时设定。以这种方式，在步骤S203至S207处的处理被重复直到找到未登记在其中属于该组的任何码串被登记的码串数据库231中的码串。
在在步骤S207处确定不存在一致的码串的情况下，由于该组的码串能够被登记到码串数据库231中，所以处理前进到步骤S208。
在步骤S208，图案设定部243确定用于处理目标对应点检测单元中每个图案区域的图案101。换言之，确定基本码串和基本码串在结构化光图案100中的位置。在步骤S209，码串登记部247将确定的基本码串登记到码串数据库231中。此时，码串登记部247将基本码串以与基本码串在结构化光图案100中的位置关联的关系登记到码串数据库231中。
在步骤S210，码串登记部247决定是否将图案101设定在在步骤S201处设定的所有图案区域中。在决定存在在其中还没有设定图案101的图案区域的情况下，处理返回到步骤S202，并执行以步骤S202开始的步骤处的处理。具体地，选择还未被处理的新对应点检测单元作为处理目标，并且针对该处理目标对应点检测单元执行上述处理。以这种方式，在步骤S202至S210处的处理被重复直到图案101被设定在所有图案区域中。
在在步骤S210处决定图案101被设定在所有图案区域中的情况下，结束结构化光图案生成处理。
以这种方式，通过生成联系于第一实施例进行描述的结构化光图案100，结构化光图案生成装置200就能够与在第一实施例的情况下类似地改善对应点检测的不可视性。
<3、第三实施例>
<投影图像摄取系统>
现在描述在其中使用上述这样的结构化光图案100的对应点的检测。图25是描绘本技术被应用于其中的投影图像摄取系统的实施例的主要配置的示例的块图。在图25中，投影图像摄取系统300是借助本技术应用于其中方法而能够投影图像、摄取投影图像并根据ISL方法执行对应点检测的系统。
如图25所示，投影图像摄取系统300包括控制装置301和投影图像摄取装置302-1至302-N(N是任意自然数)。投影图像摄取装置302-1至302-N通过缆线303-1至303-N分别连接到控制装置301。
在下面的描述中，在不需要以进行区分的方式描述投影图像摄取装置302-1至302-N的情况下，投影图像摄取装置302-1至302-N中的每一个均称为投影图像摄取装置302。另外，在不需要以进行区分的方式描述缆线303-1至303-N的情况下，缆线303-1至303-N中的每一个均称为缆线303。
控制装置301通过缆线303控制各个投影图像摄取装置302。例如，控制装置301可以将要被投影的图像提供给每个投影图像摄取装置302以使得投影图像摄取装置302投影该图像。另外，例如，控制装置301可以指示每个投影图像摄取装置302摄取投影图像等并获取摄取图像。另外，例如，控制装置301能够执行投影图像和摄取图像之间的对应点的检测，或者基于确定的对应点执行要被各个投影图像摄取装置302投影的图像的几何校正。应当要注意，这种几何校正可以不仅包括对要被投影的图像的图像处理(例如，放大、缩小、变形等)而且还包括每个投影图像摄取装置302的光学系统的控制等(例如，控制投影方向、图像摄取方向等)。
投影图像摄取装置302-1至302-N分别包括用于投影图像的投影部311-1至311-N和用于摄取图像摄取对象的图像摄取部312-1至312-N。在下面的描述中，在不需要以进行区分的方式描述投影部311-1至311-N的情况下，投影部311-1至311-N中的每一个均称为投影部311。另外，在不需要以进行区分的方式描述图像摄取部312-1至312-N的情况下，图像摄取部312-1至312-N中的每一个均称为图像摄取部312。
每个投影部311具有所谓的投影仪的功能。简言之，使用投影部311能够将每个投影图像摄取装置302驱动为投影仪。例如，使用投影部311，投影图像摄取装置302能够将从控制装置301提供的图像投影到任意投影平面。
每个图像摄取部312具有所谓的摄像机的功能。简言之，使用图像摄取部312能够将每个投影图像摄取装置302驱动为摄像机。例如，使用图像摄取部312，投影图像摄取装置302能够执行图像被投影部11投影到其上的投影平面的图像摄取，并且将获得的摄取图像的数据提供给控制装置302。
投影图像摄取装置302的数量是任意的，并且可以是单数或复数。在投影图像摄取装置302的数量是复数的情况下，投影图像摄取装置302能够在控制装置301的控制下相互配置以执行在本文上面联系于图2或图3描述的图像的这样的投影。简言之，在这种情况下的投影图像社区系统300被称为多投影系统并且可以实现所谓的投影映射。
应当要注意，可以使得能够控制投影部311的图像投影方向和放大率、投影图像的畸变矫正等。为了进行这种控制，例如，可以使得能够控制投影部311具有的光学系统或整个投影部311的位置或姿态。
另外，可以使得能够控制图像摄取部312的图像的图像摄取方向或视角、摄取图像的畸变校正等。为了进行这种控制，例如，可以使得能够控制图像摄取部312具有的光学系统或图像摄取部312的位置或姿态。
另外，可以相互独立地执行上述这样的投影部311的控制和图像摄取部312的控制。另外，可以使得能够控制投影图像摄取装置302的位置或姿态。应当要注意，上述投影部311、图像摄取部312和投影图像摄取装置302的这样的控制可以由控制装置301执行或者可以由除了控制装置301之外的任何其他装置执行。
每个缆线是能够在控制装置301和投影图像摄取装置302之间形成通信路径的任何通信标准的通信电缆。应当要注意，仅需要使控制装置301和投影图像摄取装置302能够相互通信就可以，并且例如，控制装置301和投影图像摄取装置302可以通过无线通信进行连接。在这种情况下，可以省略缆线303。
在如上所述这样的投影图像摄取系统300中，控制装置301执行每个投影部311和每个图像摄取部312之间的对应点检测以便执行图像的几何校正。例如，控制装置301能够根据在线感测的ISL方法执行对应点检测。此时，控制装置301坑狗执行本技术应用于其中的对应点检测。
<控制装置>
图26是描绘作为本技术应用于其中的图像处理装置的实施例的控制装置301的主要配置的示例的块图。
如图26所示，控制装置301包括CPU 321、ROM 322、RAM 323、总线324、输入/输出接口330、输入部331、输出部332、存储部333、通信部334、驱动器335和码串数据库231。
CPU 321、ROM 322和RAM 323通过总线324相互连接。输入/输出接口330也连接到总线324。输入部331、输出部332、存储部333、通信部334、驱动器335和码串数据库231连接到输入/输出接口330。
输入部331由接受例如用户输入等的外部信息的输入设备进行配置。例如，输入部331可以包括键盘、鼠标、操作按钮、触摸面板、摄像机、麦克风、输入终端等。另外，例如各种传感器(例如加速度传感器、光学传感器、温度传感器等)的输入装置、条形码读取器等可以包括在输入部211中。输出部332可以由输出图像、声音等的信息的输出设备进行配置。例如，输出部332可以包括显示器、扬声器、输出终端等。
存储部333可以由存储例如程序、数据等的信息的存储介质进行配置。例如，存储部333可以包括硬盘、RAM盘、非易失性存储器等。通信部334可以由通信设备进行配置，所述通信设备执行用于通过预定通信介质(例如，举例来说互联网的任意网络)与外部装置交换例如程序、数据等的信息的通信。通信部334可以例如由网络接口进行配置。例如，通信部334执行与控制装置301的外部装置的通信(交换程序或数据)。应当要注意，通信部334可以具有有线通信通信功能或可以具有无线通信功能，或者可以具有有有线通信通信功能和无线通信功能。
驱动器335读取出存储在可移动介质341(例如，举例来说，磁盘、光盘、磁光盘、半导体存储器或装载在驱动器335自身中的其他可移动介质)中的信息(程序、数据等)。驱动器335将从可移动介质341读取出的信息提供给CPU 321、RAM 323等。另外，在可写入可移动介质341被装载在驱动器335中的情况下，驱动器335能够将由CPU 321、RAM 323等提供的信息(程序、数据等)存储到可移动介质341中。
CPU 321通过将存储在例如存储部333中的程序经由输入/输出接口330和总线324加载到RAM 323中并执行程序来执行各种处理。CPU 321执行各种处理所需要的数据等也适当地存储到RAM 323中。
例如，CPU 321可以以此方式执行程序等来执行与对应点的检测有关的处理。
如上所述，码串数据库231是由结构化光图案生成装置200生成的数据库并且在其中存储有与结构化光图案有关的信息。应当要注意，码串数据库231可以形成在存储部333内部，或者可以被提供为在控制装置301外部独立于控制装置301的装置。
<控制装置的功能块>
图27是描绘由控制装置301执行程序等实现的功能的示例的功能块图。如图27所示，通过执行程序，控制装置301具有投影图像摄取处理部351、对应点检测部352、姿态估计部353、几何校正部354、投影控制部355和图像摄取控制部356的功能。
投影图像摄取处理部351执行与通过各个投影图像摄取装置302的投影和图像摄取有关的处理。对应点检测部352执行与每个投影部311和每个图像摄取部312之间的对应点检测有关的处理。姿态估计部353执行与每个投影部311或每个图像摄取部312的姿态估计有关的处理。几何校正部354执行与从每个投影部311被投影的图像的几何校正有关的处理。投影控制部355控制每个投影部311的操作。图像摄取控制部356控制每个图像摄取部312的操作。
应当要注意，各个块可以按需彼此交换信息(例如，指令、数据等)。
<对应点检测部>
对应点检测部352具有指示为图28中的功能块的功能。具体地，对应点检测部352具有控制部361、降噪部362、差分图像生成部363、二值化部364、区域分割部365、重心检测部366、变量识别部367、对应点检测单元处理部368、排列码展开部369、数据库搜索部370、旋转变量交换码串处理部371和位置指定部372的功能。
控制部361执行与对应点检测有关的处理。降噪部362执行与降噪有关的处理。差分图像生成部363执行与生成差分图像有关的处理。二值化部364执行与二值化有关的处理。区域分割部365执行与区域的分割有关的处理。重心检测部366执行与重心的检测有关的处理。变量识别部367执行与变量的识别有关的处理。对应点检测单元处理部368执行与对应点检测单元有关的处理。排列码展开部369执行与排列码展开有关的处理。数据库搜索部370执行与在码串数据库231中搜索码串有关的处理。旋转变量交换码串处理部371执行与旋转变量交换码串有关的处理。位置指定部372执行与在结构化光图案100中指定位置有关的处理。
应当要注意，块可以按需相互交换信息(例如，指令、数据等)。
<投影图像摄取装置>
图29是描绘每个投影图像摄取装置302的主要配置的示例的块图。如图29所示，投影图像摄取装置302包括控制部401、投影部311、图像摄取部312、输入部411、输出部412、存储部413、通信部414和驱动部416。
控制部401包括例如CPU、ROM、RAM等，并且控制装置中的各个处理部并执行进行控制所需要的各种处理，例如图像处理等。控制部401例如在控制装置301的控制下执行处理。
投影部311在控制部401的控制下执行图像的投影。例如，投影部311将从控制部401提供的图像投影到投影图像摄取装置302外部(例如，到投影平面等)。投影部311使用激光作为光源并且使用MEMS(微机电系统)镜扫描激光来投影图像。当然，投影部311的光源是任意的，不限于激光，而是可以例如是LED(发光二极管)、氙灯等。
图像摄取部312在控制部401的控制下摄取装置外部(例如，在投影平面上等)的图像摄取对象的图像以生成摄取图像，并且将摄取图像提供给控制部401。例如，图像摄取部312摄取被投影部311投影到投影平面的投影图像的图像。图像摄取部312包括例如使用CMOS(互补金属氧化物半导体)图像传感器的图像传感器、使用CCD(电荷耦合器件)图像传感器的图像传感器等，并且通过图像传感器光电转换来自图像摄取对象的光以生成摄取图像的电信号(数据)。
输入部411由接受例如用户输入等的外部信息的输入设备进行配置。例如，输入部411包括操作按钮、触摸面板、摄像机、麦克风、输入终端等。另外，各种传感器(例如光学传感器、温度传感器等)可以包括在输入部411中。输出部412可以由输出图像、声音等的输出设备进行配置。例如，输出部412包括显示器、扬声器、输出终端等。
存储部413例如由硬盘、RAM盘、非易失性存储器等进行配置。通信部414例如由网络接口进行配置。例如，通信部414连接到缆线303并且可能与通过缆线303连接的控制装置301进行通信。应当要注意，通信部414可以具有有线通信通信功能或可以具有无线通信功能，或者可以具有有有线通信通信功能和无线通信功能。驱动器415驱动可移动介质421，例如，举例来说，磁盘、光盘、磁光盘、半导体存储器等。
<投影部>
图30是描绘投影部311的主要配置的示例的块图。图30是描绘投影部311的主要配置的示例的块图。如图30所示，投影部311包括视频处理器431、激光驱动器432、激光输出部433-1、另一激光输出部433-2、再一激光输出部433-3、镜434-1、另一镜434-2、再一镜434-3、MEMS驱动器435和MEMS镜436。
视频处理器431保持从控制部401提供的图像并且为该图像执行需要的图像处理。视频处理器431将要被投影的图像提供给激光驱动器432和MEMS驱动器435。
激光驱动器432控制激光输出部433-1至433-3以便投影从视频处理器431提供的图像。激光输出部433-1至433-3输出颜色(波长范围)彼此不同的激光束，所述颜色例如红、蓝、绿等。换言之，激光驱动器432控制各种颜色激光的输出以便投影从视频处理器431提供的图像。应当要注意，在不需要以进行区分的方式描述激光输出部433-1至433-3的情况下，激光输出部433-1至433-3中的每一个均称为激光输出部433。
镜434-1反射从激光输出部433-1输出的激光束并且将该激光束引导到MEMS镜436。镜434-2反射从激光输出部433-2输出的激光束并且将该激光束引导到MEMS镜436。镜434-3反射从激光输出部433输出的激光束并且将该激光束引导到MEMS镜436。应当要注意，在不需要以进行区分的方式描述镜434-1至434-3的情况下，镜434-1至434-3中的每一个均称为镜434。
MEMS驱动器435控制MEMS镜436的镜的驱动，以便投影从视频处理器431提供的图像。每个MEMS镜436驱动附接到其MEMS的镜(镜)以在MEMS驱动器435的控制下以例如在图31的示例中这样的方式扫描相应颜色的激光束。该激光束从投影端口输出到装置外部并且例如照射到投影平面上。结果，将从视频处理器431提供的图像投影到投影平面。
应当要注意，尽管在图30的示例中描述了设置三个激光输出部433以使得输出三种颜色的激光束，激光束的数量(或颜色的数量)是任意的。例如，可以设置四个或更多个激光输出部433，或者可以设置两个或更少个激光输出部433。换言之，要从投影图像摄取装置302(投影部311)输出的激光束的数量可以等于或小于2，或者可以等于或大于4。同样，要从投影图像摄取装置302(投影部311)输出的激光束的颜色的数量也是任意的，可以等于或小于2，或者可以等于或大于4。同时，镜434和MEMS镜436的配置也是任意的，不限于图30的示例的配置。当然，激光束的扫描图案是任意的。
<几何校正处理的流程>
现在描述由具有上述这样的配置的投影图像摄取系统300执行的处理。如本文在上面描述的，在投影图像摄取系统300中，控制装置301控制各个投影图像摄取装置302，以使得在投影内容等的图像的同时，通过ISL方法的在线感测执行每个投影部311和每个图像摄取部312之间的对应点检测，并且基于这样的对应点执行每个投影部和每个图像摄取部312的姿态估计、投影平面形成等，然后执行要被投影的图像的几何校正。
参考图32的流程图来描述由控制装置301执行以便执行上述处理的几何校正处理的流程的示例。
在开始几何校正处理之后，控制装置301的投影图像摄取处理部351通过投影控制部355和图像摄取控制部326控制各个投影图像摄取装置302，并在步骤S301执行结构化光图案100的图像的投影和图像摄取。
在步骤S302，对应点检测部352使用借助步骤S301处的处理通过图像摄取控制部356从各个投影图像摄取装置302获取的摄取图像(在图像摄取部312摄取投影平面的图像时的摄取图像)执行对应点的检测。
在步骤S303，姿态估计部353使用检测的对应点执行投影部311和图像摄取部312(或各个投影图像摄取装置302)的姿态估计和投影屏重新配置。投影屏重新配置是用于估计作为投影平面的投影屏的形状的处理。
在步骤S304，几何校正部354基于姿态估计和投影屏重新配置的处理结果按需执行要被从每个投影部311投影的图像的几何校正。
当几何校正结束时，几何校正处理结束。
<投影图像摄取处理的流程>
现在参考图33的流程图描述在图32的步骤S301处执行的投影图像摄取处理的流程。
在开始投影图像摄取处理之后，在步骤S321，投影图像摄取处理部351选择要被作为处理目标的投影部311(处理目标投影部)。
在步骤S322，投影图像摄取处理部351选择要被投影的结构化光图案100。投影图像摄取处理部351从登记在码串数据库231中的结构化光图案100当中选择要被投影的结构化光图案100。简言之，投影图像摄取处理部351选择以如在第一实施例的描述中进行描述的这样的方式进行配置的结构化光图案100。
在步骤S323，投影图像摄取处理部351将所选择的结构化光图案100的正像叠加在要被处理目标投影部投影的图像上(生成叠加图像)。具体地，投影图像摄取处理部351将所选择的结构化光图案100加到要被处理目标的投影部311投影的图像的亮度值上。
在步骤S324，投影图像摄取处理部351使得叠加图像通过投影控制部355被处理目标投影部投影，并且使得非叠加图像被其他投影部投影。换言之，投影图像摄取处理部351使得处理目标的投影部311投影结构化光图案100的正像被叠加在上面的图像(叠加图像)，并且使得其他投影部311投影结构化光图案100的正像没有被适当地叠加在上面的图像(非叠加图像)。
在步骤S325，投影图像摄取处理部351使得每个图像摄取部312通过图像摄取控制部356摄取投影图像(被处理目标投影部投影的叠加图像的投影图像)，并获得图像摄取部312的摄取图像(图案摄取图像)。应当要注意，对于显而易见被处理目标投影部投影的叠加图像的投影图像到达图像摄取范围外部的任何图像摄取部312，可以省略图像摄取。
在步骤S326，投影图像摄取处理部351将所选择的结构化光图案100的负像叠加在要被处理目标投影部投影的图像上(生成叠加图像)。具体地，投影图像摄取处理部351从要被处理目标的投影部311投影的图像的亮度值减去所选择的结构化光图案100。
在步骤S327，投影图像摄取处理部351通过投影控制部355使得处理目标投影部投影叠加图像，并且使得其他投影部投影非叠加图像。具体地，投影图像摄取处理部351使得处理目标的投影部311投影结构化光图案100的负像被叠加在上面的图像(叠加图像)，并且使得其他投影部311适当地投影结构化光图案100的负像没有被叠加在上面的图像(非叠加图像)。
在步骤S328，投影图像摄取处理部351使得各个图像摄取部通过图像摄取控制部356摄取投影图像(被处理目标投影部投影的叠加图像的投影图像)以获得摄取图像(图案摄取图像)。应当要注意，对于显而易见被处理目标投影部投影的叠加图像的投影图像到达图像摄取范围外部的任何图像摄取部312，可以省略图像摄取。
在步骤S329，投影图像摄取处理部351决定是否对于所有投影部311执行了上述处理。在存在还未被处理的投影部311的情况下，处理返回到步骤S321，并且重复以步骤S321开始的处理。换言之，对于作为处理目标的每个投影部311执行在步骤S321至步骤S329处的处理。然后，在在步骤S329处决定了对于所有投影部311执行了处理的情况下，投影图像摄取处理结束，并且处理返回到图32。
投影图像摄取系统300(控制装置301)可以使得以在本文上面联系于第二实施例描述的这样的方式生成的结构化光图案100被投影为结构化光图案100从而以上述这样的方式执行对应点检测并执行几何校正。具体地，投影图像摄取系统300(控制装置301)可以使得在本文上面联系于第一实施例描述的配置的结构化光图案100被投影以执行对应点检测并执行几何校正。因此，投影图像摄取系统(控制装置301)可以类似于在第一实施例或第二实施例的情况中的方式改善对应点检测的不可视性。
<对应点检测处理的流程>
现在参考图34和图35的流程图描述在图32的步骤S302处执行的对应点检测处理的流程。
在开始对应点检测处理之后，在图34的步骤S341处，对应点检测部352的控制部361从通过各个图像摄取部312在图33的投影图像摄取处理中获得的图案摄取图像中的还未被处理的图案摄取图像当中选择要被作为处理目标的图案摄取图像(处理目标图案摄取图像)。
步骤S342，降噪部362执行处理目标图案摄取图像的降噪。降噪的方法是任意的。例如，降噪部362可以叠加通过由相同图像摄取部312图案摄取相同的结构化光图案100而获得的多个图案摄取图像来提高图案101的S/N比。
在步骤S343，差分图像生成部363生成两个相继帧之间图案摄取图像之间的差分图像(图案差分图像)。具体地，差分图像生成部363取得结构化光图案100的负像的叠加图像和结构化光图案100的正像的叠加图像之间的差。通过这样做，在提取结构化光图案100的图像的同时消除了结构化光图案100被叠加在上面的内容等的图像。应当要注意，由于自此正像和负像在图案101的亮度变化方向上相反，所以在图案差分图像上，图案101的亮度变化方向是相同方向，并且亮度变化被相加。因此，可以提高图案101的S/N比。
在步骤S344，二值化部364对图案差分图像进行二值化。再不收S345，区域分割部365使用二值化的图案差分图像执行8邻域连接区域分割以指定图案101的区域。应当要注意，尽管可以省略图案差分图像的二值化，但是如果执行了这种二值化，则由于图案101的部分和不属于图案101的部分之间的边界变得更加清楚，所以可以更容易且更准确地执行区域分割。
在步骤S346，重心检测部366检测每个图案101的重心。能够以亚像素准确度该重心。因此，通过使用该重心，能够以亚像素的准确度(以更高的准确度)来执行对应点检测。
在步骤S347，变量识别部367识别每个图案101的变量。变量识别部367确定每个图案101的零阶矩到二阶矩以确定惯性主轴并基于惯性主轴的方向和亮度变化方向来识别变量。在图34的步骤S347处的处理结束后，处理前进到图35的步骤S351。
在图35的步骤S351，对应点检测单元处理部368选择要被作为处理目标的图案101(处理目标图案)。
在步骤S352处，对应点检测单元处理部368确定基础姿态。基础姿态指示投影图像和摄取图像之间的倾斜度，并且由自图案101的惯性主轴的参考方向(箭头标记451)的角度(箭头标记452)表示，例如，如图36的A中所示。更具体地，在图案摄取图像中提取的多个图案101的惯性主轴的值被分类成两个聚类，并且被分类的聚类中的一个的惯性主轴平均值被确定为基础姿态。
在步骤S353，对应点检测单元处理部368指定处理目标图案所居中的3×3的对应点检测单元内的处理目标图案周边的图案101(外围图案)。简言之，对应点检测单元处理部368指定距离处理目标图案的重心最近的八个重心。
在步骤S354，对应点检测单元处理部368将参考矢量旋转对应于基础姿态的倾斜的量。参考矢量是指示从处理目标图案定位于其中的图案区域朝向对应点检测单元中的不同的图案区域的方向的矢量。例如，在图36的B的情况下，对应点检测单元由3×3的图案区域组进行配置，并且处理目标图案定位在3×3的图案区域组的中央处的图案区域中。因此，在这种情况下，参考矢量453由作为从中央图案区域朝向外围图案区域的方向的八个方向(向上、向下、向左、向右、向右上、向右下、向左上以及向左下)的矢量进行配置。如图36的C中所示，参考矢量453被旋转等于基础姿态的倾斜的量(箭头标记452)。
在步骤S355，对应点检测单元处理部368使用以这种方式旋转的参考矢量执行位置类别的分类。具体地，对应点检测单元处理部368关于最近的图案从处理目标图案来看定位在八个方向的参考矢量当中的哪个方向上来对处理目标图案周边的最近的八个图案(外围图案)中的每一个进行分类。更具体地，确定从处理目标图案的重心指向每个外围图案的重心的方向矢量，并且确定参考矢量和方向矢量的内积值，然后将对应于参考矢量的位置类别分配给对应于其内积值最低的方向矢量的外围图案(图36的D)。针对每个参考矢量执行这样的处理。
在步骤S356，排列码展开部369排列码展开对应点检测单元内的各个图案101以生成码串。由于使用上述被旋转与基础姿态的倾斜对应的量的参考矢量执行位置类别的分类，所以排列码展开部369可以执行排列码展开同时抑制基础姿态的倾斜对码展开顺序的误差的影响。换言之，可以抑制码展开顺序中误差的出现，并且可以更准确地执行排列码展开。
在步骤S357，数据库搜索部370从码串数据库231中登记的码串当中搜索与所述码串一致的码串。通过本文在上面联系于第二实施例进行描述的这样的方法将码串登记在码串数据库231中。控制部362在步骤S358处决定是否存在一致的码串。在决定码串数据库231中存在一致的码串的情况下，处理前进到步骤S359。
在步骤S359，位置指定部372确定一致的码串在结构化光图案100中的位置以检测对应点。在检测出对应点之后，处理前进到步骤S363。
在另一方面，在在步骤S358处决定码串数据库231中不存在一致的码串的情况下，处理前进到步骤S360。
在步骤S360，在在步骤S356处通过排列码展开而获得的码串被确定为基本码串的情况下，控制部361决定处理成为与基本码串对应的旋转变量交换码串的所有码串。在存在还没有被处理的旋转变量交换码串的情况下(即，在存在未处理码串的情况下，未处理码串属于与在步骤S356处通过排列码展开而获得的码串的组相同的组)，处理前进到步骤S361。
在步骤S361，旋转变量交换码串处理部371从对应于通过在步骤S356处的排列码展开而获得的码串的旋转变量交换码串当中选择还没有被处理的旋转变量交换码串作为处理目标，并且处理返回到步骤S357。简言之，执行与选择的旋转变量交换码串一致的码串的搜索。重复上述在步骤S357至S361处的这样的一系列处理，直到找出一致码串或直到对于所有旋转变量交换码串搜索结束。然后，在在步骤S360处决定所有旋转变量交换码串被处理的情况下，处理前进到步骤S362。
在步骤S362，(即，在未找到一致码串的情况下)，控制部361执行误差处理。误差处理的内容是任意的。在误差处理之后，处理前进到步骤S363。通过上述在步骤S357至S362处的处理，从码串数据库231中登记的码串当中搜索属于于与通过在步骤S356处的排列码展开而获得的码串的组相同的组的码串。
在步骤S363，控制部361决定是否对于处理目标的图案摄取图像处理了所有图案。在决定存在未处理的图案的情况下，处理返回到步骤S351。换言之，对于每个图案执行在步骤S351至S363处的处理。应当要注意，对于第二次和之后次，省略例如计算基础姿态、旋转参考矢量等(步骤S352和S354)的处理(利用在第一操作循环中确定的那些结果)。
在对于每个图案101执行了在步骤S351至S363处的处理并且在步骤S363处决定处理了所有图像的情况下，处理前进到步骤S364。
在步骤S364，控制部361决定是否是否对所有图案摄取图像进行了处理。在决定存在未处理的图案摄取图像的情况下，处理返回到图34的步骤S341。简言之，对于每个图案摄取图像执行在图34的步骤S341处至图35的步骤S364处的处理。
在对于每个图案摄取图像执行了在图34的步骤S341处至图35的步骤S364处的处理并且在图35的步骤S364处决定处理了所有图案摄取图像的情况下，处理返回到图32。
通过以上述这样的方式检测对应点，可以使用在第二实施例中生成的结构化光图案100(在第二实施例中登记在码串数据库231中的码串)来执行对应点的检测。简言之，投影图像摄取系统300(控制装置301)可以使用在本文上面联系于第一实施例描述的配置的结构化光图案100执行对应点检测。因此，投影图像摄取系统(控制装置301)可以类似于在第一实施例或第二实施例的情况中的方式改善对应点检测的不可视性。
另外，由于能够通过上述方式执行对应点检测来以亚像素准确度确定图案101的重心，所以相比于使用格雷码或棋盘格图案的方法的情况可以充分提高三角测量的准确度，并且可以以更高的准确度执行对应点检测。因此，例如，即便在如图37的A中所示，在几何校正之前的多个投影图像在它们经历位置位移的状态下被叠加的情况下，通过以上述方式执行对应点检测并执行几何校正，也可以如图37的B中所示以更高的准确度执行定位，因此可以提高投影图像的画质。
另外，通过以上述这样方式执行对应点检测，与在其中使用棋盘格图案的替代情况相比，可以在较小的部分区域中确定对应点，因此，可以应对在其中投影仪或摄像机的安装自由度(位置或姿态的自由度)较高的情况(检测对应点)。
另外，通过以上述这样的方式来执行对应点检测，与在其中使用格雷码或棋盘格图案的替代情况相比，可以用较少数量的结构化光图案100来执行对应点检测。简言之，与在其中使用格雷码或棋盘格图案的替代情况相比，可以在较短的时间期间内检测对应点。
<4、第四实施例>
<投影图像摄取系统和投影图像摄取装置的配置的其他示例>
应当要注意，本技术应用于其中的投影图像摄取系统的配置的示例不限于上述示例例如，如在图38的A中所示的投影图像摄取系统500的情况中一般，控制部301和每个投影图像摄取装置302可以通过网络501相互连接。
网络501是任意通信网络。网络501中采用的通信方法是任意的。例如，通信方法可以是有线通信或无线通信或者有线通信和无线通信。另外，可以由单个网络配置网络501，或者可以由多个网络配置网络501。任意通信标准(举例来说，例如，互联网、公共电话网络、例如称为3G网络、4G网络等的用于无线移动电话的广域网、WAN(广域网)、LAN(局域网、通过其执行符合蓝牙(注册商标)标准的通信的无线通信网络)、例如NFC(近场通信)等的短程无线通信的通信路径、红外通信的通信路径、符合例如HDMI(注册商标)(高清多媒体接口)的标准的用于有线通信的通信网络、USB(通用串行总线)等)的网络网络或通信路径都可以包括在网络501中。
控制装置301和每个投影图像摄取装置302连接到网络进行通信。应当要注意，这种连接可以是有线连接(即，通过有线通信的连接)或无线连接(即，通过无线通信的连接)或者可以是有线连接和无线连接。应当要注意，这样的装置的数量、壳体的形状或大小、布置位置等是任意的。
控制装置301和每个投影图像摄取装置302可以通过网络501进行相互通信(转移信息等)。换言之，控制装置301和每个投影图像摄取装置302可以通过某种其他设施(装置、传输路径等)连接以相互通信。
同时，在具有上述这样的配置的投影图像摄取系统500的情况下，可以与在投影图像摄取系统300的情况中类似的方式应用本技术，并且可以展示上述工作效果。
另外，例如，如在图38的B中所示的投影图像摄取系统510，投影部311和图像摄取部312可以配置为彼此不同的装置。代替投影图像摄取装置302，投影图像摄取系统510包括投影装置511-1至511-N(N是任意自然数)和图像摄取装置512-1至512-M(M是任意自然数)。投影装置511-1至511-N中的每一个包括投影部311(投影部311-1至311-N)并且执行图像的投影。图像摄取装置512-1至512-M中的每一个包括图像摄取部312(图像摄取部312-1至312-M)并且执行投影平面(由投影部311投影的投影图像)的图像摄取。
在不需要以相互区分的方式来描述投影装置511-1至511-N的情况下，投影装置511-1至511-N中的每一个均称为投影装置511。在不需要以相互区分的方式来描述图像摄取装置512-1至512-N的情况下，图像摄取装置512-1至512-N中的每一个均称为图像摄取装置512。
每个投影装置511和每个图像摄取装置512分别连接到控制装置301进行通信，并且通过有线通信或无线通信或通过有线通信和无线通信与控制装置301进行通信(以转移信息)。应当要注意，每个投影装置511和每个图像摄取装置512可以通过控制装置301与任何其他投影装置511或任何其他图像摄取装置512或与任何其他投影装置511和任何其他图像摄取装置512进行通信。
另外，这样的装置的数量、壳体的形状或大小、布置位置等是任意的。例如，如在图38的A的示例中一般，各个装置可以通过比如网络501等的某种其他设施(装置或传输路径)相互连接进行通信。
同时，在具有上述这样的配置的投影图像摄取系统510的情况下，可以与在投影图像摄取系统300的情况中类似的方式应用本技术，并且可以展示上述工作效果。
另外，例如，如在图39的A中所示的投影图像摄取系统520中一般，可以省略控制装置301。如图39的A中所示，投影图像摄取系统520包括投影图像摄取装置521-1至521-N(N是任意自然数)。在不需要以相互区分的方式来描述投影图像摄取装置521-1至521-N的情况下，投影图像摄取装置521-1至521-N中的每一个均称为投影图像摄取装置521。各个投影图像摄取装置521通过通信缆线522彼此连接进行通信。应当要注意，各个投影图像摄取装置521可以通过无线通信彼此连接进行通信。
投影图像摄取装置521-1至521-N分别包括控制部523-1至523-N。在不需要以进行区分的方式描述控制部523-1至523-N的情况下，控制部523-1至523-N中的每一个均称为控制部523。控制部523具有与控制装置301的功能类似的功能，并且可以执行类似处理。
具体地，在投影图像摄取系统520的情况下，本文上述由控制装置301执行的处理由投影图像摄取装置521(的控制部523)来执行。应当要注意，投影图像摄取装置521中的一个(的控制部523)可以执行要由控制装置301执行的所有处理，或者多个投影图像摄取装置521(的控制部523)可以通过在其间转移信息等来协作地执行处理。
同时，在本文上述这样的配置的投影图像摄取系统520的情况下，可以与在投影图像摄取系统300的情况中类似的方式应用本技术，并且可以展示上述工作效果。
另外，投影图像摄取系统300可以被配置为单个装置，例如，如图39的B中所示。图39的B中所示的投影图像摄取装置530包括投影部311(投影部311-1至311-N(N是任意自然数))、图像摄取部312(图像摄取部312-1至312-M(M是任意自然数))和控制部523。
在投影图像摄取装置530中，控制部523执行上述由控制装置301执行的处理，以控制投影部311和图像摄取部312，从而执行对应点的检测等。
因此，同样，在具有上述这样的配置的投影图像摄取装置530的情况下，可以与在投影图像摄取系统300的情况中类似的方式应用本技术，并且可以展示上述工作效果。
<软件>
尽管能够通过硬件来执行在上面描述的一系列处理，这一系列处理另外也可以通过软件来执行。在通过软件来执行这一些处理的情况下，从网络或记录介质安装构成软件的程序。
例如，在图21的结构化光图案生成装置200的情况下，由可移动介质221来构成记录介质，可移动介质221被传送以便将程序传送给与装置本体分离的用户并且在可移动介质221上记录有程序。在这种情况下，例如，通过将可移动介质221装载到驱动器215中，驱动器215就能够读出存储在可移动介质221中的程序并将程序安装到存储部213中。
同时,例如，在图26的控制装置301的情况下，由可移动介质341来配置该记录介质，可移动介质341被传送以便将程序传送给与装置本体分离的用户并且在可移动介质341上记录有程序。在这种情况下，例如，通过将可移动介质341装载到驱动器335中，驱动器335就能够读出存储在可移动介质341中的程序并将程序安装到存储部333中。
在另一方面,例如，在图29的投影图像摄取装置302的情况下，由可移动介质421来配置该记录介质，可移动介质421被传送以便将程序传送给与装置本体分离的用户并且在可移动介质421上记录有程序。在这种情况下，例如，通过将可移动介质421装载到驱动器415中，驱动器415就能够读出存储在可移动介质421中的程序并将程序安装到存储部413中。
同时，还可以通过有线或无线传输介质(例如局域网、互连网或数字卫星广播)来提供程序。例如，在图21的结构光图案生成装置200的情况下，可以由通信部214接收该程序并将其安装到存储部213中。同时，例如，在图26的控制装置301的情况下，可以由通信部334接收该程序并将其安装到存储部333中。此外，例如，在图29的投影图像摄取装置302的情况下，可以由通信部414接收该程序并将其安装到存储部413中。
另一方面，也可以预先在存储部、ROM等中安装程序。例如，在图21的结构光图案生成装置200的情况下，程序可以预先安装在存储部213、ROM202等中。同时，在图26的控制装置301的情况下，也可以预先将程序存储在存储部333、ROM 322等中。此外，在图29的投影图像摄取装置302的情况下，可以将程序预先安装在存储部413，内置在控制部401中的ROM(未示出)等中。
应当要注意，在由计算机执行的程序中，在描述程序的步骤处的处理可以按照本说明书中描述的顺序按时间顺序执行，或者可以并行地执行，也可以在必要的时机执行，例如当调用它们时等。此外，在描述程序的步骤处的处理可以与不同程序的处理并行地执行，或者可以与不同程序的处理相结合地执行。
此外，在上述步骤处的处理可以由上述的各个装置或由该装置以外的任意装置执行。在这种情况下，执行处理的装置可以被配置为具有执行上述处理所需要的功能(功能块等)。此外，处理所需的信息可适当地发送到装置。<其他>
本发明的实施例不限于上述的实施例，并且可以在不脱离本技术的主题的情况下以各种方式进行改变。
例如，在本说明书中，术语系统表示多个构成元件(装置、模块(部件)等)的聚合，而是否所有的构成元件都容纳在相同的壳体中并不重要。因此，容纳在单独的外壳中并且经由网络相互连接的多个装置成为系统，并且包括容纳在单个壳体中的多个模块的一个装置成为系统。
此外，例如，被描述为一个装置(或处理部)的配置可以被划分为被配置为多个装置(或处理部)。相反，在前述描述中被描述为多个装置(处理部)的配置可以被聚集在一起，以便被配置为单个装置(或处理部)。此外，上述配置之外的其他配置当然可以添加到各种装置(或各种处理部)的配置中。此外，如果配置或操作作为整个系统来说基本相同，则某个装置(或处理部)的配置的一部分可以包括在不同装置(或不同处理部)的配置中。
此外，例如，本技术可以采取云计算的配置，通过云计算，经由网络通过多个装置的协作来共享和处理一个功能。
此外，例如，联系于本文上述流程图进行描述的步骤不仅可以由单个装置执行，而且还可以由多个装置共享和执行。此外，在一个步骤中包含多个处理的情况下，在一个步骤中包含的多个处理不仅可以由单个装置执行，而且还可以由多个装置共享和执行。
此外，不仅可以将本技术实现为装置或系统也可以将本技术实现为结合在装置中或配置系统的装置中的任何配置，例如，实现为处理器(例如，例如系统LSI(大规模集成)等)、在其中使用处理器等的模块、在其中使用多个模块等的单元、在其中不同功能被添加到单元套件等(即，装置的一部分的配置)。
应当要注意，如果不发生矛盾，则本说明书中描述的多种本技术可以彼此独立地实现，或者单独实现。当然，可以组合地实现本技术的任意多个。例如，联系于某个实施例描述的本技术可以与联系于不同实施例描述的本技术相结合地实现。此外，还可以与未在本文描述的不同技术联合地实现本文描述的本技术的任一个。
应当要注意，本技术还可以采取如下所述的这样的配置。
(1)一种图像处理装置，包括
对应点检测部，所述对应点检测部使用由投影部投影并在其中设置有多个图案(所述多个图案中的每一个具有高斯函数的亮度分布)的给定结构化光图案的通过图像摄取部的图像摄取而获得的图案摄取图像，检测由所述投影部投影的投影图像和由所述图像摄取部摄取的摄取图像之间的对应点。
(2)一种图像处理方法包括：
使用由投影部投影并在其中设置有多个图案(所述多个图案中的每一个具有高斯函数的亮度分布)的给定结构化光图案的通过图像摄取部的图像摄取而获得的图案摄取图像，检测由所述投影部投影的投影图像和由所述图像摄取部摄取的摄取图像之间的对应点。
(3)一种图像处理装置包括
对应点检测部，所述对应点检测部使用由投影部投影并在其中设置有多个类型的多个图案的给定结构化光图案的通过图像摄取部的图像摄取而获得的图案摄取图像，检测由所述投影部投影的投影图像和由所述图像摄取部摄取的摄取图像之间的对应点，并且其中所述多个图案设置成使得基于通过来自结构化光图案内的给定大小的部分区域中的图案组所转换成的变量的排列展开而获得的码串，结构化光图案中的所述部分区域的位置被唯一确定。
(4)根据(3)的图像处理装置，其中
对应点检测部
将图案摄取图像中包括的图案转换成变量并排列展开变量以确定码串，以及
从结构化光图案内搜索部分区域以检测所述对应点，该部分区域与所述图案摄取图像中包括的所述图案对应的所述码串一致的码串相对应。
(5)根据(4)的图像处理装置，其中
对应点检测部
从与结构化光图案的部分区域对应的码串组内搜索与图案摄取图像中包括的所述图案对应的码串一致的码串，以及
基于码串与其一致的所述部分区域在结构化光图案中的位置来检测对应点。
(6)根据(5)的图像处理装置，其中
仅由属于彼此不同的组的码串来配置与结构化光图案的部分区域对应的码串组，并且
对应点检测部被配置成使得对于属于与对应于在图案摄取图像中所包括的图案对应的码串的组相同的组的所有码串，能够从与结构化光图案的每个部分区域对应的码串组内搜索出一致的码串。
(7)根据(6)的图像处理装置，其中
所述组包括通过将给定图案组的图案转换成变量并排列展开所述变量而获得码串和通过旋转图案组给定角度、将经旋转的图案组转换成变量并排列展开所述变量而获得的码串。
(8)根据(3)至(7)中的任一项的图像处理装置，其中
对应点检测部从由图像摄取部摄取由投影仪投影的任意图像和结构化光图案的叠加图像而获得的图案摄取图像提取图案。
(9)根据(8)的图像处理装置，其中
对应点检测部使用由图像摄取部摄取由投影部投影的任意图像和结构化光图案的正像的叠加图像而获得的第一图案摄取图像和由图像摄取部摄取由投影部投影的任意图像和结构化光图案的负像的叠加图像而获得的第二图案摄取图像来提取图案。
(10)根据(3)至(9)中的任一项的图像处理装置，其中
图案中的每一个具有高斯函数的亮度分布。
(11)根据(3)至(10)中的任一项的图像处理装置，其中
由四种图案来配置结构化光图案，所述四种图案是具有彼此相反的亮度变化方向的亮度分布的两种和具有彼此不同的主惯性轴的两个方向的组合。
(12)一种图像处理方法包括：
使用由投影部投影并在其中设置有多个类型的多个图案的给定结构化光图案的通过图像摄取部的图像摄取而获得的图案摄取图像，检测由所述投影部投影的投影图像和由所述图像摄取部摄取的摄取图像之间的对应点的方法，并且其中所述多个图案设置成使得基于通过来自结构化光图案内的给定大小的部分区域中的图案组所转换成的变量的排列展开而获得的码串，结构化光图案中的所述部分区域的位置被唯一确定。
(13)一种图像处理装置包括：
生成结构化光图案的生成部，在所述结构化光图案中设置有每个均具有高斯函数的亮度分布的多个图案，并且提供所述结构化光图案用于检测由投影部投影的投影图像和由图像摄取部摄取的摄取图像之间的对应点。
(14)一种图像处理方法包括：
生成结构化光图案，在所述结构化光图案中设置有每个均具有高斯函数的亮度分布的多个图案，并且提供所述结构化光图案用于检测由投影部投影的投影图像和由图像摄取部摄取的摄取图像之间的对应点。
(15)一种图像处理装置包括：
生成结构化光图案的生成部，所述结构化光图案具有设置于其中的多种类型的多个图案，并且提供所述结构化光图案用于基于通过从结构化光图案内的给定大小的部分区域中的图案组所转换成的变量的排列展开而获得的码串来检测由投影部投影并具有使得结构化光图案中的部分区域的位置被唯一确定的图案的投影图像和由图像摄取部摄取的摄取图像之间的对应点。
(16)一种图像处理方法包括：
生成结构化光图案，所述结构化光图案具有设置于其中的多种类型的多个图案，并且提供所述结构化光图案用于基于通过从结构化光图案内的给定大小的部分区域中的图案组所转换成的变量的排列展开而获得的码串来检测由投影部投影并具有使得结构化光图案中的部分区域的位置被唯一确定的图案的投影图像和由图像摄取部摄取的摄取图像之间的对应点。
(17)结构化光图案的数据，在所述结构化光图案中设置有每个均具有高斯分布的亮度分布的多个图案，并且提供所述结构化光图案用于检测由投影部投影的投影图像和由图像摄取部摄取的摄取图像之间的对应点。
(18)在其中存储有结构化光图案的数据的记录介质，在所述结构化光图案中设置有每个均具有高斯分布的亮度分布的多个图案，并且提供所述结构化光图案用于检测由投影部投影的投影图像和由图像摄取部摄取的摄取图像之间的对应点。
(19)结构化光图案的数据，所述结构化光图案具有设置于其中的多种类型的多个图案，并且提供所述结构化光图案用于基于通过从结构化光图案内的给定大小的部分区域中的图案组所转换成的变量的排列展开而获得的码串来检测由投影部投影并具有使得结构化光图案中的部分区域的位置被唯一确定的图案的投影图像和由图像摄取部摄取的摄取图像之间的对应点。
(20)一种在其中存储有结构化光图案的数据的记录介质，所述结构化光图案具有设置于其中的多种类型的多个图案，并且提供所述结构化光图案用于基于通过从结构化光图案内的给定大小的部分区域中的图案组所转换成的变量的排列展开而获得的码串来检测由投影部投影并具有使得结构化光图案中的部分区域的位置被唯一确定的图案的投影图像和由图像摄取部摄取的摄取图像之间的对应点。
[参考标号列表]
100结构化光图案，101图案，121区域，200结构光图案生成装置，231码串数据库，240结构光图案生成部，241图案区域设定部，242处理目标对应点检测单位选择部，243图案设定部，244基本码串生成部，245旋转变量交换码串生成部，246码符搜索部，247码串登记部，300投影图像摄取系统，301控制装置，302投影图像摄取装置，311投影部，312图像摄取部，351投影图像摄取处理部，352对应点检测部，353姿态估计部，354几何校正部，355投影控制部，356图像摄取控制部，361控制部，362降噪部，363差分图像生成部，364二值化部，365区域分割部，366重心检测部，367变量的识别部，368对应点检测单元处理部，369排列码展开部，370数据库搜索部，371旋转变量交换码串处理部，372位置指定部，401控制部，500投影图像摄取系统，501网络，510投影摄取系统，511投影装置，512图像摄取装置，520投影图像摄取系统，521投影图像摄取装置，523控制部，530投影图像摄取装置。

Claims (11)

1.一种图像处理装置，包括：
CPU，被配置成：
摄取投影在屏幕上的结构化光图案的图像，其中
所述结构化光图案包括多个类型的多个图案，
所述结构化光图案的、特定大小的部分区域包括图案组，以及
所述多个图案在所述结构化光图案中被设置成使得所述部分区域的位置基于第一码串能够被唯一地确定；
将所述部分区域的所述图案组转换成多个第一变量；
基于所述多个第一变量的排列展开获得所述第一码串；
在码串组内搜索与所述第一码串一致的第二码串，其中
所述第一码串与所摄取图像中的所述多个图案相对应，以及
所述码串组与所述结构化光图案的多个部分区域相对应；以及
基于所述第二码串和所述结构化光图案的所述部分区域的所述位置检测投影在屏幕上的投影图像与所述摄取图像之间的多个对应点，其中所述第二码串与所述结构化光图案的所述部分区域一致，
其中，所述结构化光图案包括四种图案，所述四种图案是具有彼此相反的亮度变化方向的两种亮度分布和具有彼此不同的主惯性轴的两个方向的组合。
2.根据权利要求1所述的图像处理装置，其中：
所述CPU进一步被配置成：
将所述摄取图像中的所述多个图案转换成所述多个第一变量；
搜索与所述第二码串对应的所述部分区域，其中基于对所述部分区域的搜索检测所述多个对应点。
3.根据权利要求1所述的图像处理装置，其中：
与所述结构化光图案的所述多个部分区域对应的所述码串组中的每个码串属于多个码串组中的特定码串组，
所述CPU进一步被配置成基于属于所述多个码串组中的一组的第三码串搜索来自所述码串组中的所述一组的第四码串，
所述多个码串组中的所述一组具有所述码串组的至少一个码串，以及
所述第三码串与所述第四码串一致。
4.根据权利要求3所述的图像处理装置，其中：
所述CPU进一步被配置成：
将所述图案组旋转给定角度，以及
将经旋转的图案组的所述多个图案转换成多个第二变量，其中所述码串组包括通过对所述多个第二变量的排列转开而获得的至少一个码串。
5.根据权利要求1所述的图像处理装置，其中：
所述CPU进一步被配置成：
摄取投影在所述屏幕上的任意图像和所述结构化光图案的第一叠加图像；以及
从摄取的所述第一叠加图像提取所述多个图案。
6.根据权利要求5所述的图像处理装置，其中：
所述CPU进一步被配置成：
摄取投影在所述屏幕上的所述任意图像和所述结构化光图案的正像的第二叠加图像；
摄取包括投影在所述屏幕上的所述任意图像和所述结构化光图案的负像的第三叠加图像；以及
进一步基于摄取的所述第二叠加图像和摄取的所述第三叠加图像提取所述多个图案。
7.根据权利要求1所述的图像处理装置，其中：
所述多个图案中的每一个图案具有高斯函数的亮度分布。
8.一种图像处理方法，包括：
摄取投影在屏幕上的结构化光图案的图像，其中
所述结构化光图案包括多个类型的多个图案，
所述结构化光图案的、特定大小的部分区域包括图案组，以及
所述多个图案在所述结构化光图案中被设置成使得所述部分区域的位置基于第一码串能够被唯一地确定；
将所述部分区域的所述图案组转换成多个第一变量；
基于所述多个第一变量的排列展开获得所述第一码串；
在码串组内搜索与所述第一码串一致的第二码串，其中
所述第一码串与所摄取图像中的所述多个图案相对应，以及
所述码串组与所述结构化光图案的多个部分区域相对应；以及
基于所述第二码串和所述结构化光图案的所述部分区域的所述位置检测投影在屏幕上的投影图像与所述摄取图像之间的多个对应点，其中所述第二码串与所述结构化光图案的所述部分区域一致，
其中，所述结构化光图案包括四种图案，所述四种图案是具有彼此相反的亮度变化方向的两种亮度分布和具有彼此不同的主惯性轴的两个方向的组合。
9.一种图像处理装置，包括：
CPU，被配置成：
生成包括多个类型的多个图案的结构化光图案，其中
所述结构化光图案的、特定大小的部分区域包括图案组，以及
所述多个图案在所述结构化光图案中被设置成使得所述部分区域的位置基于第一码串能够被唯一地确定；
摄取投影在屏幕上的结构化光图案的图像；
将所述部分区域的所述图案组转换成多个第一变量；
基于所述多个第一变量的排列展开获得所述第一码串；
在码串组内搜索与所述第一码串一致的第二码串，其中
所述第一码串与所摄取图像中的所述多个图案相对应，以及
所述码串组与所述结构化光图案的多个部分区域相对应；以及
基于所述第二码串和所述结构化光图案的所述部分区域的所述位置检测投影在屏幕上的投影图像与所述摄取图像之间的多个对应点，其中所述第二码串与所述结构化光图案的所述部分区域一致，
其中，所述结构化光图案包括四种图案，所述四种图案是具有彼此相反的亮度变化方向的两种亮度分布和具有彼此不同的主惯性轴的两个方向的组合。
10.一种图像处理方法，包括：
生成包括多个类型的多个图案的结构化光图案，其中
所述结构化光图案的、特定大小的部分区域包括图案组，以及
所述多个图案在所述结构化光图案中被设置成使得所述部分区域的位置基于第一码串能够被唯一地确定；
摄取投影在屏幕上的结构化光图案的图像；
将所述部分区域的所述图案组转换成多个第一变量；
基于所述多个第一变量的排列展开获得所述第一码串；
在码串组内搜索与所述第一码串一致的第二码串，其中
所述第一码串与所摄取图像中的所述多个图案相对应，以及
所述码串组与所述结构化光图案的多个部分区域相对应；以及
基于所述第二码串和所述结构化光图案的所述部分区域的所述位置检测投影在屏幕上的投影图像与所述摄取图像之间的多个对应点，其中所述第二码串与所述结构化光图案的所述部分区域一致，
其中，所述结构化光图案包括四种图案，所述四种图案是具有彼此相反的亮度变化方向的两种亮度分布和具有彼此不同的主惯性轴的两个方向的组合。
11.一种其上存储有计算机可执行指令的非易失性计算机可读存储介质，当被计算机执行时，所述计算机可执行指令使得所述计算机执行操作，所述操作包括：
摄取投影在屏幕上的结构化光图案的图像，其中
所述结构化光图案包括多个类型的多个图案，
所述结构化光图案的、特定大小的部分区域包括图案组，以及
所述多个图案在所述结构化光图案中被设置成使得所述部分区域的位置基于第一码串能够被唯一地确定；
将所述部分区域的所述图案组转换成多个第一变量；
基于所述多个第一变量的排列展开获得所述第一码串；
在码串组内搜索与所述第一码串一致的第二码串，其中
所述第一码串与所摄取图像中的所述多个图案相对应，以及
所述码串组与所述结构化光图案的多个部分区域相对应；以及
基于所述第二码串和所述结构化光图案的所述部分区域的所述位置检测投影在屏幕上的投影图像与所述摄取图像之间的多个对应点，其中所述第二码串与所述结构化光图案的所述部分区域一致，
其中，所述结构化光图案包括四种图案，所述四种图案是具有彼此相反的亮度变化方向的两种亮度分布和具有彼此不同的主惯性轴的两个方向的组合。
CN201680072382.6A 2015-12-18 2016-12-02 图像处理装置和方法、数据及纪录介质 Expired - Fee Related CN108369091B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015247437 2015-12-18
JP2015-247437 2015-12-18
PCT/JP2016/085925 WO2017104447A1 (ja) 2015-12-18 2016-12-02 画像処理装置および方法、データ、並びに記録媒体

Publications (2)

Publication Number Publication Date
CN108369091A CN108369091A (zh) 2018-08-03
CN108369091B true CN108369091B (zh) 2021-04-30

Family

ID=59056363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680072382.6A Expired - Fee Related CN108369091B (zh) 2015-12-18 2016-12-02 图像处理装置和方法、数据及纪录介质

Country Status (6)

Country Link
US (1) US10852127B2 (zh)
EP (2) EP3722746A1 (zh)
JP (1) JP6816725B2 (zh)
KR (1) KR20180094878A (zh)
CN (1) CN108369091B (zh)
WO (1) WO2017104447A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019047311A (ja) * 2017-09-01 2019-03-22 セイコーエプソン株式会社 画像投写システム及びその制御方法
WO2019054204A1 (ja) * 2017-09-14 2019-03-21 ソニー株式会社 画像処理装置および方法
WO2019203002A1 (ja) 2018-04-17 2019-10-24 ソニー株式会社 情報処理装置および方法
JP7285470B2 (ja) 2018-05-17 2023-06-02 パナソニックＩｐマネジメント株式会社 投影システム、投影装置及び投影方法
EP3786844A4 (en) * 2018-07-06 2021-05-05 Rakuten, Inc. IMAGE PROCESSING SYSTEM, IMAGE PROCESSING METHOD AND PROGRAM
WO2020235400A1 (ja) 2019-05-20 2020-11-26 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
WO2021111733A1 (ja) * 2019-12-05 2021-06-10 ソニーグループ株式会社 画像処理装置及び画像処理方法、並びに画像投影システム
WO2021157196A1 (ja) * 2020-02-04 2021-08-12 ソニーグループ株式会社 情報処理装置及び情報処理方法、並びにコンピュータプログラム
CN111553874B (zh) * 2020-02-28 2022-12-06 东华大学 一种反光核燃料棒表面线结构光中心提取方法
CN111292316B (zh) * 2020-03-11 2023-09-01 成都极米科技股份有限公司 测试方法、装置、电子设备及存储介质
CN112822468B (zh) * 2020-12-31 2023-02-17 成都极米科技股份有限公司 一种投影控制方法、装置、投影设备及激光控制器
CN115052136B (zh) * 2022-05-10 2023-10-13 合肥的卢深视科技有限公司 结构光投影方法、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150112362A (ko) * 2014-03-27 2015-10-07 한국전자통신연구원 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06223184A (ja) * 1993-01-27 1994-08-12 Matsushita Electric Ind Co Ltd 画像パターン傾き検出方法
JP2000292135A (ja) * 1999-04-07 2000-10-20 Minolta Co Ltd ３次元情報入力カメラ
GB2372656A (en) * 2001-02-23 2002-08-28 Ind Control Systems Ltd Optical position determination
US6527395B1 (en) * 2001-12-10 2003-03-04 Mitsubishi Electric Research Laboratories, Inc. Method for calibrating a projector with a camera
US7146036B2 (en) * 2003-02-03 2006-12-05 Hewlett-Packard Development Company, L.P. Multiframe correspondence estimation
DE102007058590B4 (de) 2007-12-04 2010-09-16 Sirona Dental Systems Gmbh Aufnahmeverfahren für ein Bild eines Aufnahmeobjekts und Aufnahmevorrichtung
JP2009216650A (ja) 2008-03-12 2009-09-24 Aisin Seiki Co Ltd 三次元形状測定装置
US8217997B2 (en) * 2010-03-16 2012-07-10 Interphase Corporation Interactive display system
WO2013127974A1 (en) * 2012-03-01 2013-09-06 Iee International Electronics & Engineering S.A. Spatially coded structured light generator
JP2014071850A (ja) * 2012-10-02 2014-04-21 Osaka Prefecture Univ 画像処理装置、端末装置、画像処理方法、およびプログラム
CN104884995B (zh) * 2012-12-26 2017-10-03 西铁城时计株式会社 投影装置
JP6537237B2 (ja) 2013-11-05 2019-07-03 キヤノン株式会社 情報処理装置および方法
WO2015166915A1 (ja) 2014-04-30 2015-11-05 シナノケンシ株式会社 計測装置
CN106464825B (zh) * 2014-07-01 2020-11-10 索尼公司 图像处理设备和方法
CN104506838B (zh) * 2014-12-23 2016-06-29 宁波盈芯信息科技有限公司 一种符号阵列面结构光的深度感知方法、装置及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150112362A (ko) * 2014-03-27 2015-10-07 한국전자통신연구원 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치

Also Published As

Publication number Publication date
KR20180094878A (ko) 2018-08-24
WO2017104447A1 (ja) 2017-06-22
CN108369091A (zh) 2018-08-03
US10852127B2 (en) 2020-12-01
US20180364032A1 (en) 2018-12-20
JP6816725B2 (ja) 2021-01-20
JPWO2017104447A1 (ja) 2018-10-04
EP3392608A1 (en) 2018-10-24
EP3722746A1 (en) 2020-10-14
EP3392608A4 (en) 2019-11-13

Similar Documents

Publication Publication Date Title
CN108369091B (zh) 图像处理装置和方法、数据及纪录介质
CN106464825B (zh) 图像处理设备和方法
JP7067554B2 (ja) 画像処理装置および方法
CN110036258B (zh) 信息处理装置和信息处理方法
WO2014064870A1 (ja) 画像処理装置および画像処理方法
JP2017539169A (ja) カラービデオと深度ビデオとの同期方法、装置、および媒体
JP2008152622A (ja) ポインティング装置
JP2014049866A (ja) 画像処理装置及び画像表示装置
US10404912B2 (en) Image capturing apparatus, image processing apparatus, image capturing system, image processing method, and storage medium
CN108781268B (zh) 图像处理装置和方法
CN116235506A (zh) 用于提供图像的方法和支持该方法的电子装置
US11109006B2 (en) Image processing apparatus and method
TW201342303A (zh) 三維空間圖像的獲取系統及方法
JP2010199713A (ja) オブジェクト検出装置及びオブジェクト検出方法
JP3787783B2 (ja) 対象物進行方向検出方法
JP4312185B2 (ja) ゲーム用マット、カードゲームシステム、画像解析装置、画像解析方法
US10380463B2 (en) Image processing device, setting support method, and non-transitory computer-readable media
JP2005311488A (ja) 撮像装置、撮像方法、及び撮像プログラム
CN117173344A (zh) 一种测试方法、装置、计算机设备及可读存储介质
JP6150558B2 (ja) 追尾処理装置およびその制御方法
CN116433769A (zh) 空间校准方法、装置、电子设备和存储介质
WO2016199933A1 (ja) 画像処理装置、画像処理方法および画像処理システム
KR20150109901A (ko) 객체 검출 방법
JP2004325824A (ja) 焦点制御装置および方法、画像処理装置および方法、記録媒体、並びにプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210430