CN110313172A - 信息处理设备和方法 - Google Patents

Abstract

本公开内容涉及用于允许所捕获图像之间的更准确的位置对准的信息处理设备和方法。针对包括为了和另一捕获图像进行位置对准而照射的图案的捕获图像与包括该图案的另一捕获图像之间的对应点的检测结果，计算评估值，该评估值用于评估当该图像与另一捕获图像合成时的位置对准误差的发生率。基于所计算的评估值来更新用于图案照射的位置。例如，本公开内容可以应用于信息处理设备、照射装置、图像捕获装置、照射图像捕获装置、控制装置或图像捕获系统。

Description

信息处理设备和方法

技术领域

本公开内容涉及用于信息处理的设备和方法，并且更具体地涉及每个均使得能够更精确地执行成像图像之间的对准的、用于信息处理的装置和方法。

背景技术

迄今为止，使用多个摄像机成像的成像图像被彼此合成以创建全方位图像或全景图像。在这种情况下，成像图像需要被彼此精确对准，使得在成像图像之间的联接处等不会引起不相容。存在手动执行这种对准的方法(例如，参照专利文献1)。

[引用列表]

[专利文献]

[专利文献1]

JP 2005-44077A

发明内容

[技术问题]

然而，由于在手动对准的情况下，创建一张合成图像要耗费大量时间，因此难以创建运动图像的合成图像。另外，由于在手动对准中，对准的准确性取决于工人的熟练程度，因此不一定能够充分而精确地执行对准。

根据这种情况做出了本公开内容，因此能够更精确地执行成像图像之间的对准。

[问题的解决方案]

根据本公开内容的一个方面的信息处理设备是包括计算部和更新部的信息处理设备。在这种情况下，计算部针对成像图像和另一成像图像之间的对应点的检测结果计算评估值，该评估值用于评估当包括为了和该另一成像图像对准而照射的图案的成像图像与包括该图案的另一成像图像彼此合成时对准中的误差发生率。更新部基于由计算部计算的评估值来更新图案的照射位置。

计算部可以基于在匹配包括图案的预定部分区域时的误差的大小来计算评估值。

无论误差是大于还是小于预定范围，计算部都可以将评估值设置为表示误差的发生率高于在预定范围内的情况下的值。

计算部可以基于在匹配包括图案的预定部分区域时的误差的大小和部分区域的图像的特征量来计算评估值。

在误差大于阈值的情况下，计算部可以将评估值设置为表示误差发生率高于在误差等于或低于阈值的情况下的值。

可以使图像特征量成为与像素值的离差相关联的参数。

在与像素值的离差相关联的参数小于预定阈值的情况下，计算部将评估值设置为表示与像素值的离差相关联的参数的误差发生率高于在误差等于或高于阈值的情况下的值。

计算部可以基于在匹配包括图案的预定部分区域时的误差的大小以及执行成像以创建成像图像的成像部与执行成像以创建另一成像图像的另一成像部之间的相对姿势相关联的信息来计算评估值。

在误差大于预定阈值的情况下，计算部可以将评估值设置为表示误差发生率高于在误差等于或小于阈值的情况下的值。

可以使与相对姿势相关联的信息成为基于检测到的对应点的相对姿势与关于成像部和另一成像部的实际相对姿势之间的误差的大小。

计算部可以将评估值设置为表示误差越大误差发生率就越高的值。

在评估值被设置为表示误差发生率高于预定阈值的值的情况下，更新部可以更新图案的照射位置，以增加照射到成像图像和另一成像图像彼此重叠的区域的图案的数目。

更新部可以将包括在成像图像中的其他图案的照射位置移动到该区域。

更新部可以将照射到成像图像的外部的其他图案的照射位置移动到该区域。

信息处理设备还包括对应点检测部，该对应点检测部通过匹配包括图案的预定部分区域来执行对成像图像与另一成像图像之间的对应点的检测。在这种情况下，计算部可以被配置成计算与从对应点检测部获得的对应点检测结果相关联的评估值。

对应点检测部可以基于最新的图案照射来执行对应点的检测。

对应点检测部可以基于多次图案照射来执行对应点的检测。

可以使图案照射为激光束。

可以使图案照射为红外光。

根据本公开内容另一方面的信息处理方法是一种信息处理方法，该信息处理方法包括：针对成像图像和另一成像图像之间的对应点的检测结果计算评估值，该评估值用于评估当包括为了和该另一成像图像对准而照射的图案的成像图像与包括该图案的另一成像图像彼此合成时对准中的误差发生率；并且基于计算出的评估值来更新图案的照射位置。

在根据本技术的方面的用于信息处理的设备和方法中，针对包括为了与另一成像图像对准而照射的图案的成像图像与包括该图案的另一成像图像之间的对应点的检测结果，计算评估值，该评估值用于评估当成像图像与另一成像图像彼此合成时对准的误差发生率。基于计算的评估值来更新图案的照射位置。

[本发明的有益效果]

根据本公开内容，可以处理信息。特别地，可以更精确地执行成像图像之间的对准。

附图说明

图1是描绘图像合成的情况的示例的视图。

图2是描绘图像合成的情况的另一示例的视图。

图3是描绘成像系统的主要配置的示例的框图。

图4是描绘中央处理单元的主要配置的示例的框图。

图5是描绘中央处理单元实现的功能的示例的功能框图。

图6是说明对准处理的流程的示例的流程图。

图7是描绘成像图像的示例的视图。

图8是描绘对准的示例的视图。

图9是描绘对准的另一示例的视图。

图10是描绘成像图像的另一示例的视图。

图11是描绘对准的又一个示例的视图。

图12是说明评估值的视图。

图13是说明评估值的另一视图。

图14是说明评估值的又一视图。

图15是描绘距离可靠性计算的情况的示例的框图。

图16是说明更新和评估值计算方法的示例的表。

图17是说明成像设备的视图。

图18是描绘成像系统的配置的另一示例的框图。

图19是描绘照射成像设备的主要配置的示例的框图。

具体实施方式

在下文中，将给出关于用于执行本公开内容的模式(在下文中称为实施方式)的描述。应注意，将根据以下顺序给出描述。

1.成像图像之间的对准

2.第一实施方式(成像系统)

3.第二实施方式(成像系统和照射成像设备)

4.其他

<1.成像图像之间的对准>

<图像合成和对准>

在下文中，在一些情况下，使用多个摄像机成像的成像图像彼此合成以获得一张合成图像。例如，存在下述方法，在该方法中，如图1的A所示，通过在定时移位的情况下使用多个成像设备对相同的部分(相同的范围)进行成像，并且将从相应的摄像机获得的成像图像彼此合成，从而以比每个摄像机的帧速率更高的帧速率实现运动图像。另外，例如，存在下述方法，在该方法中，如图1的B所示，用多个成像设备对宽范围进行成像，并且将成像图像彼此合成，使得其被并排布置，从而创建比一个成像设备的成像范围更宽范围的合成图像，例如，类似全景图像。另外，还存在下述方法，在该方法中，如图2所示的示例，在成像图像的合成期间还进行几何校正，从而创建在曲面上展开的合成图像，例如，类似全方位图像。

对于观看这种合成图像的图像的用户，当将合成成像的图像被移位成使得多个成像图像的部分由用户看起来彼此重叠时，边缘变为双重的，或者颜色或亮度改变，因此用户可能感觉不舒服。应当注意，对于用户看起来彼此重叠的部分不仅包括其中成像图像被重叠以在数据上彼此合成的部分，而且还包括下述部分：尽管成像图像实际上没有彼此合成并且数据是分离的，但是存在成像图像在显示、编辑等期间被重叠以彼此合成的可能性。另外，这些可以彼此合成的图像不仅包括在相同时刻处输出/显示并且实际上彼此重叠地显示的图像，而且还包括在显示期间对于用户在视觉上彼此合成的部分，例如，分别在彼此不同的时刻处显示并且以使得一个残留图像重叠在另一成像图像(例如，帧等)上的方式观看的部分。

为了防止用户在多个成像图像彼此重叠的部分中感到不舒服，设计了将待合成的成像图像对准的各种方法。例如，专利文献1公开了在将图像的视角进行统一的同时合成多个图像的方法，其中，当待合成的两张图像中的一个的投影参数被连续手动地改变时，显示与参数对应的图像或其一部分，并且操作者根据所显示的图像来确认图像质量。

然而，由于在手动对准的情况下，创建一张合成图像要花费大量时间，因此难以创建运动图像的合成图像。另外，由于在手动对准中，对准的准确性取决于工人的熟练程度，因此不一定能够充分精确地执行对准。

<图案显示位置的评估值和再现的计算>

然后，例如，信息处理设备包括计算部和更新部。在这种情况下，计算部针对成像图像与另一成像图像之间的对应点的检测结果计算评估值，该评估值用于评估当包括为了和另一成像图像对准而照射的图案的成像图像和包括该图案的另一成像图像(成像图像和另一成像图像)被彼此合成时在对准中的错误发生率。更新部基于由计算部计算的评估值来更新图案的照射位置。另外，例如，针对包括为了和另一成像图像对准而照射的图案的成像图像与包括该图案的另一成像图像之间的对应点的检测结果，计算评估值，使用该评估值评估当这些成像图像(成像图像和另一成像图像)被彼此合成时对准的误差发生率。基于计算的评估值来更新图案的照射位置。通过采用这种配置，可以更精确地执行成像图像之间的对准。

<2.第一实施方式>

<成像系统>

图3是描绘应用本技术的成像系统的第一实施方式的主要配置的示例的框图。在图3中，成像系统100是这样的系统，在该系统中，用于对准的预定图案图像朝向任意被摄体照射，用多个成像设备对被照射了预定图案图像的被摄体进行成像，从而创建并输出多个成像图像，每个成像图像都包括用于对准的图案图像。然后，成像系统100通过使用稍后将描述的技术来执行这样的处理，从而使得能够创建和输出多个成像图像，每个成像图像包括可以更精确地彼此对准的图案图像。

如图3所示，成像系统100包括中央处理单元111、照射装置112和成像设备113-1至成像设备113-4。

中央处理单元111、照射装置112和成像设备113-1至成像设备113-4经由作为通信介质的预定电缆可通信地彼此连接。中央处理单元111执行与对照射装置112和成像设备113-1至成像设备113-4的控制相关联的处理、对从成像设备113-1至成像设备113-4提供的成像图像进行合成的处理等。

照射装置112是将激光束(沿任意方向)照射到任意位置的装置。例如，照射装置112经由上述电缆由中央处理单元111控制，并且利用激光束(沿任意方向)在任意位置扫描被摄体，从而在被摄体的表面上绘制用于对准的图案图像。例如，照射装置112根据中央处理单元111的控制，将图案图像(激光束)朝向作为被摄体的墙壁120照射，如虚线箭头141至虚线箭头149所示。

可以由照射装置112同时照射的图案(激光束)的数目是任意的，而决不限于图3的示例。另外，图案图像可以具有任何图案。另外，照射装置112可以用任何光照射图案，并且可以不使用激光束。

成像设备113-1至成像设备113-4中的每一个是对被摄体进行成像以创建成像图像并且输出所得到的成像图像的设备。在以下描述中，在成像设备113-1至成像设备113-4不需要被彼此区分来描述的情况下，将它们称为成像设备113。成像设备113经由上述电缆由中央处理单元111控制，对任意被摄体进行成像以获得成像图像。另外，成像设备113经由上述电缆将得到的成像图像提供给中央处理单元111。

应注意的是，成像设备113可以在任意位置并以任意姿势来安装。换言之，成像设备113可以在任意位置并按姿势以任意视角并在任意方向上对对象进行成像。换言之，成像设备113可以对任意成像范围进行成像。另外，可以使得中央处理单元111不仅能够执行对每个成像设备113的成像执行控制，而且能够执行与成像相关联的任意控制。例如，可以使中央处理单元111能够控制与成像相关联的设置，例如，每个成像设备113的光圈、曝光和照明。此外，例如，可以使中央处理单元111能够控制与每个成像设备113的成像范围(例如，位置、姿势和变焦等)相关联的设置。

应当注意的是，每个成像设备113的性能(例如，表示与成像相关联的性能的所有参数的值，例如，分辨率、动态范围、对比度、帧速率、视角和快门速度)可能不统一。另外，成像设备113对对象成像的方向或姿势可能不统一。例如，可以存在这样的成像设备113，其以与任何其他姿势不同的姿势、与任何其他方向不同的方向进行成像。成像设备113可以以彼此不同的姿势在彼此不同的方向上进行成像。

在图3的示例的情况下，成像设备113-1对墙壁120的由双向箭头121指示的范围进行成像。此外，成像设备113-2对墙壁120的由双向箭头122指示的范围进行成像。另外，成像设备113-3对墙壁120的由双向箭头123指示的范围进行成像。另外，成像设备113-4对墙壁120的由双向箭头124指示的范围进行成像。由双向箭头131指示的范围是成像设备113-1的成像范围与成像设备113-2的成像范围彼此交叠的范围。另外，由双向箭头132指示的范围是成像设备113-2的成像范围与成像设备113-3的成像范围彼此交叠的范围。此外，由双向箭头133指示的范围是成像设备113-3的成像范围与成像设备113-4的成像范围彼此交叠的范围。

在图3的示例的情况下，一个图案图像被照射到范围131(虚线箭头142)，两个图案图像被照射到范围132(虚线箭头144和虚线箭头145)，并且三个图案图像被照射到范围133(虚线箭头146、虚线箭头147和虚线箭头148)。

<中央处理单元>

图4是描绘作为应用本技术的信息处理设备的实施方式的中央处理单元111的主要配置的示例的框图。如图4所示，中央处理单元111包括CPU 201、ROM 202、RAM 203、总线204、输入输出接口210、输入部211、输出部212、存储部213、通信部214和驱动器215。

CPU 201、ROM 202和RAM 203经由总线204彼此连接。输入输出接口210也连接到总线204。输入部211，输出部212，存储部213、通信部214和驱动器215连接到输入输出接口210。

例如，CPU 201将存储在ROM 202或存储部213中的程序等加载到RAM 203中并且执行该程序等，从而执行各种类型的处理。CPU 201执行各种类型的处理所需的数据等也被适当地存储在RAM 203中。例如，CPU 201以这种方式执行程序等，从而能够实现与要执行的对成像图像的合成相关联的各种类型的处理。

输入部211包括接收外部的任意信息(例如，用户输入)的输入装置。输入装置可以是任何类型的输入装置。例如，输入装置例如可以是键盘、鼠标、操纵按钮、触摸板、摄像机、麦克风、条形码读取器等。另外，输入装置可以是各种类型的传感器，例如，加速度传感器、光学传感器和温度传感器。此外，输入装置可以是输入终端，通过该输入终端接收外部的任意信息作为数据(信号)。输出部212包括输出装置，该输出装置输出在设备内部的任意信息(例如，图像或声音)。输出装置可以是任何类型的输出装置。例如，输出装置可以是显示器、扬声器等。另外，输出装置可以是输出端子，通过该输出端子将任意信息作为数据(信号)输出到外部。

存储部213包括存储信息(例如，程序或数据)的存储介质。存储介质可以是任何类型的存储介质。例如，存储介质可以是硬盘、RAM盘、非易失性存储器等。通信部214包括通信装置，该通信装置执行用于经由预定通信介质(例如，诸如因特网的任意网络)向外部设备提供以及从外部设备接收信息(例如，程序、数据等)的通信。通信装置可以是任何类型的通信装置。例如，通信装置可以是网络接口。通信部214的通信的通信方法或通信标准是任意的。例如，通信部214可以被实现为执行有线通信，可以被实现为执行无线通信，或者可以被实现为执行有线通信和无线通信二者。

驱动器215执行与从安装到驱动器215的可移动介质216读取或者向可移动介质216写入信息(程序、数据等)相关联的处理。可移动介质216可以是任何类型的记录介质。例如，可移动介质216可以是磁盘、光盘、磁光盘、半导体存储器等。例如，驱动器215读出存储在安装到驱动器215的可移动介质216中的信息(程序、数据等)，并且将该信息提供给CPU201、RAM 203等。另外，例如，驱动器215获取从CPU 201、RAM 203等提供的信息(程序、数据等)，并且将该信息写入安装到驱动器215的可移动介质216。

<控制器的功能块>

图5是描绘中央处理单元111的CPU 201等执行程序等来实现的功能的示例的功能框图。如图5所示，通过执行程序，中央处理单元111具有图案照射部251、成像部252、对应点检测部253、评估值计算部254、判定部255和照射图案更新部256的功能。

图案照射部251执行与图案图像的照射相关联的处理。成像部252执行与成像设备113的控制相关的处理。对应点检测部253执行与成像设备113中获得的成像图像之间的对应点的检测相关的处理。评估值计算部254针对对应点的检测结果执行与评估值的计算相关联的处理，使用该评估值评估当成像图像被彼此合成时对准的误差发生率。判定部255基于评估值来执行与图案图像的更新相关联的决定。照射图案更新部256执行与图案图像的照射位置的更新相关联的处理。

<对准处理的流程>

如上所述的中央处理单元111执行对准处理，从而确定在成像图像之间的对准中使用的图案图像的照射位置。将参照图6的流程图描述这种对准处理的流程的示例。

当开始对准处理时，在步骤S101中，图案照射部251通过控制照射装置112使图案照射到成像环境。照射装置112根据图案照射部251的控制将激光束照射到成像环境，以在成像环境中绘制图案图像。应注意的是，成像环境是指成像范围内(即，被包括在成像图像中)的被摄体等。被摄体等是某种对象，例如，包括成像范围内的墙壁、地板、天花板、人或动物。顺便提及，例如，在难以将图案图像正常照射到被摄体的情况下，例如，在激光束没有到达像天空、远景等被摄体的情况下，可以将能被激光束正常照射的对象布置在原始被摄体的附近或前面，并且可以将激光束照射到所关注的对象上以在该对象上绘制图案图像。

在步骤S102中，成像部252控制所有成像设备113以使所有成像设备113对所有视点进行成像。这里，视点指示一个成像设备113的成像范围。换言之，每个成像设备113根据成像部252的控制执行成像，以获得与成像图像相关联的数据(成像图像数据)。每个成像设备113将成像图像数据提供给中央处理单元111。结果，获得了与所有视点(整个成像范围)相关联的成像图像数据。

在步骤S103中，对应点检测部253选择处理目标视点，即是，作为处理目标的成像图像。在步骤S104中，对应点检测部253以图案为线索针对相邻视点之间的图像执行对应点的检测。换言之，对应点检测部253在处理目标视点的成像图像与和处理目标视点相邻的视点的成像图像之间基于各个成像图像中包括的图案图像来检测对应点(存在于每个成像图像中的图案)。

例如，假设图7的A的成像图像310是处理目标视点的成像图像，并且图7的B的成像图像320是与处理目标视点相邻的视点的成像图像。图7的A的成像图像310包括边缘313以及通过照射装置112的照射而获得的图案311和图案312。边缘313是被摄体(例如，墙壁120)的图案。还假设除了圆形边缘313之外的部分是像素值的变化足够小的平坦部分。另外，图7的B的成像图像320包括边缘313以及通过照射装置112的照射而获得的图案312。

在对应点的检测中，通常，亮度值大幅变化的边缘部分成为特征，并且基于该特征来执行对准。换言之，在成像图像中存在许多平坦部分的情况下，由于成像图像的特征数目少，因此对准可能变得更难以执行。

例如，当对应点检测部253执行图7的成像图像310和成像图像320之间的对应点的检测时，基于包括在两个成像图像中的图案312和边缘313来执行对准。在这种情况下，例如，假设例如以图8所示的方式执行对准。然而，如图9的示例中所描绘的那样执行将成像图像320相对于成像图像310倾斜地对准可能是正确的。以这种方式，在某些情况下难以基于少量特征(图案312和边缘313)来指定成像图像320的方向上的差异。

然后，在步骤S105中，评估值计算部254针对在步骤S104的处理中获得的对应点的检测结果计算评估值，使用该评估值评估当彼此合成成像图像时对准的误差发生率。

然后，在步骤S106中，判定部255响应于在步骤S105的处理中获得的评估值，预留对要照射到处理目标视点的图案的添加。评估值可以是任何值(函数)。然而，例如，假设评估值越大，对准变得出错的可能性(误差发生率)越低，而评估值越小时，对准变得出错的可能性越高。在这种情况下，判定部255判定在评估值等于或大于预定阈值的情况下，对准变得有误差的可能性足够低，并且判定在评估值小于预定阈值的情况下，对准变得有误差的可能性高。然后，在判定部255判定对准变的有误差的可能性高的情况下，判定部255在对准变得有误差的可能性被判定为高的处理目标视点的区域中增加图案的数目，即是，请求照射图案更新部256将附加的图案图像照射到所关注区域。与此相反，对于对准变得有误差的可能性被判定为低的区域，不需要添加图案。

另外，在步骤S107中，判定部255预留对于对准而言不必要的图案的擦除。其原因是因为与任何另一成像图像都不交叠并且对于对准没有贡献的图案图像是非必要的。因此，判定部255请求照射图案更新部256擦除这种图案。

图案图像是为了对准而添加的图像，并且是对于欣赏原始成像图像而言不必要的图像。换言之，可以说图案图像降低了观看者对成像图像的主观图像质量。因此，擦除如上所述的对于欣赏成像图像而言不必要的图案图像(以便不照射不必要的图案)，从而能够减少成像图像的图像质量的降低。

换言之，增加要照射到在将成像图像彼此合成时对准中误差发生的可能性(误差发生率)高的区域的图案的数目，并且再次重新开始对应点的检测。例如，新图案331(图10)被添加到已经参照图7至图9描述过的图案312的附近。在这种情况下，再次执行成像(步骤S102)，由此如图10的A所示，图案331被添加到成像图像310。同样，如图10的B所示，所关注的图案331也被添加到成像图像320。因此，由于如图11所示，可以基于图案312、边缘313和图案331来执行对准，还可以容易地指定上述成像图像320的方向，并且可以更精确地执行对准。

应该注意的是，参照图7至图11描述的对准仅为示例，并且对准的方式、图案或边缘的数目、形状、位置、尺寸等都是任意的。通常，由于图案数目的增加导致特征的数目增加，因此使得成像图像之间的对准(匹配)中的误差的数目更可能减少。换言之，变得能够更精确地执行匹配。

应该注意的是，增加图案的数目的方式是任意的。也就是说，可以照射新图案，可以将照射到其他区域的图案移动到在对准中误差发生率的可能性高的区域。在移动图案的情况下，希望将要移动的图案选择为抑制对其他区域的对准所施加的影响。换言之，可以指定即使被移动(或擦除)也对对准产生较小影响的图案，并且可以移动该图案。例如，可以移动被判定为步骤S107中的不对对准作出贡献的图案。例如，图案的添加和移动可以彼此组合。例如，在照射装置112照射的图案的数目存在上限的情况下，可以将图案添加到该上限，并且在图案的数目达到上限的情况下，照射的图案可以被移动。

在步骤S108中，对应点检测部判定对所有视点的处理是否已经结束。在确定存在未处理的视点的情况下，处理返回到步骤S103，并且执行步骤S103中的处理以及步骤S103之后的处理。在针对所有视点执行了步骤S103至步骤S108的处理并且在步骤S108中判定对所有视点的处理已经结束的情况下，处理进行到步骤S109。

在步骤S109中，照射图案更新部256判定是否存在要更新图案的视点。换言之，在以如上所述的方式对所有视点执行了处理之后，照射图案更新部256判定在对所有视点处理的处理中是否执行了步骤S106的处理或步骤S107的处理。在判定在对所有视点的处理中执行了步骤S106的处理或步骤S107的处理的情况下，处理进行到步骤S110。在步骤S110中，照射图案更新部256根据在步骤S106和步骤S107中执行的预留(对图案的添加、移动、擦除等)来更新要照射到每个视点的图案。换言之，在评估值被设置为表示误差发生率是高于预定阈值的值的情况下，照射图案更新部256更新图案的照射位置以增加要照射到作为处理目标的视点中的成像图像与另一成像图像彼此交叠的区域的图案的数目。另外，照射图案更新部256擦除被判定为不必要的图案。当步骤S110中的处理结束时，处理返回到步骤S101，并且执行步骤S101中的处理和步骤S101之后的处理。换言之，将图案图像照射到更新位置，并且再次执行成像。对新的成像图像(换言之，包括更新了照射位置的图案图像的成像图像)执行步骤S101中的处理和步骤S101之后的处理。

重复执行步骤S101至步骤S110的处理，直到不以这种方式更新图案图像的位置。然后，在步骤S109中判定不存在要更新图案的视点的情况下，结束对准处理。

通过以上述方式执行对准处理，可以更精确地执行成像图像之间的对准。

<计算评估值的方法>

图6的步骤S105中的计算评估值的方法是任意的。例如，可以基于对应点的检测结果(匹配误差)来获得评估值。在图12中用曲线341描绘了匹配误差与匹配可靠性之间的示例。匹配误差是指示基于对应点的检测结果(步骤S104)来对准的两个成像图像之间的比较结果(差异)的大小的参数。该值越大，该值表示对准的两个图像彼此不一致(存在很多不一致)。

匹配可靠性是指示取决于匹配误差而使得对准成功的可靠性的参数。该值较大时，基于对应点的检测结果的对准(匹配)导致正确对准结果的可能性较高。例如，在图7的成像图像的对准结果变为如图8所示的状态的情况下，当匹配可靠性较大时，图8的状态是正确对准的状态的可能性较高。应当注意的是，匹配可靠性可以根据匹配误差而成为指示对准成功的可靠性的参数。在这种情况下，例如，如果图9的状态是正确对准的状态，则当匹配可靠性较高时，图7的成像图像之间的对准结果不会变为如图8所示的状态而变为如图9所示的状态的可能性较高。

响应于匹配可靠性的值来设置评估值。换言之，当匹配可靠性较大时，评估值被设置为表示误差发生率较低的值(例如，较大值)。与此相反，当匹配可靠性较小时，评估值被设置为表示误差发生率较高的值(例如，较小值)。

通常，由于不一致的数目的增加，因此匹配结果正确的可能性减少。因此，在图12的示例的曲线341的情况下，当匹配误差超过预定的第一阈值时，匹配误差的值越大，匹配可靠性就越低。另外，通常，在图像的特征的数目小的情况下，与图像的特征的数目大的情况相比，匹配变得容易执行，并且匹配误差的数目减少。然而，由于更多的对准可以被执行为匹配结果的结果，因此减少了所得到的匹配结果是正确结果的可能性。换言之，在匹配误差太小的情况下，匹配可靠性降低。因此，在图12的示例的曲线341的情况下，当匹配误差小于比上述预定第一阈值小的预定第二阈值时，匹配误差的值越小，匹配可靠性越低。换言之，无论匹配误差大于还是小于预定范围(在第一阈值与第二阈值之间的范围)，匹配可靠性变得低于匹配误差在预定范围内的情况。换言之，评估值被设置为表示误差发生率较高的值。

在这种情况下，例如，在包括所关注的图案的部分区域中执行匹配的情况下，结果，匹配误差太大，估计彼此对准的两个图像彼此不一致(存在很多不一致)。另一方面，当匹配误差太小时，估计存在许多平坦部分(特征的数目小)。通过采用这样的处理，能够在判定为特征数目小因此不执行正确匹配的可能性高的情况下以及在不一致的情况下更新图案。因此，如上所述，可以更正确地执行成像图像之间的对准。应当注意的是，匹配误差与匹配可靠性之间的关系(曲线341)是任意的，而决不限于图12的示例。

另外，例如，可以基于对应点的检测结果(匹配误差)和执行对应点的检测的部分区域的图像的特征量来获得评估值。图13的A的曲线342描绘了在这种情况下匹配误差与匹配可靠性之间的关系的示例。另外，图13的B的曲线343描绘了图像的特征量与平坦度可靠性之间的关系的示例。尽管图像的特征量是任意的，但是例如，还可以使图像的特征量成为与像素值的离差(与平坦度相关联的参数)相关联的参数。与像素值的离差相关联的参数是任意的。例如，参数可以是与DR或者是相邻像素差的绝对值之和等相关联的值。在这种情况下，图像的特征量(像素值的离差)越小，平坦度越高。

另外，平坦度可靠性是指示取决于平坦度(像素值的离差的大小)对准成功的可靠性的参数(指示取决于平坦度的对准成功的可靠性的大小的参数)。与匹配可靠性的情况类似，当该值变大时，基于对应点的检测结果的对准(匹配)变为正确的对准结果的可能性变高。应当注意的是，可以将平坦度可靠性设置为指示取决于平坦度的对准成功的可能性的大小的参数。

评估值被设置为与匹配可靠性和平坦度可靠性的乘积相对应的值。换言之，当匹配可靠性和平坦度可靠性的乘积较大时，评估值被设置为指示误差发生率较低的值(例如，较大的值)。另一方面，当匹配可靠性和平坦度可靠性的乘积较小时，评估值被设置为指示误差发生率较高的值(例如，较小的值)。

在图13的A的示例的曲线342的情况下，当匹配误差超过预定阈值时，匹配误差的值越大，匹配可靠性就越低。另外，如上所述，通常，在图像的特征数目少的情况下，匹配结果是正确结果的可能性减少。换言之，平坦度越大(平坦可能性越高，或者平坦度越高)，平坦度可靠性就越低。例如，在图13的B的曲线343的情况下，当图像的特征量小于预定阈值时，图像的特征量的值越小，平坦度可靠性越低。因此，即使匹配误差小，当执行匹配的区域平坦时，也判定在对准中出现误差的可能性高。因此，评估值被设置为指示误差发生率较高的值。

因此，如上所述，可以更精确地执行成像图像之间的对准。应当注意的是，替代以如上所述的方式计算匹配可靠性与平坦度可靠性的乘积，如图13的C所示，可以基于先前确定的匹配误差、图像的特征量(例如，与像素值的离差相关联的参数)和评估值之间的关系，根据匹配误差的值和图像的特征量的值获得评估值。

应当注意的是，匹配误差与匹配可靠性之间的关系(曲线342)是任意的，而决不限于图13的A的示例。此外，图像的特征量与平坦度可靠性之间的关系(曲线343)是任意的，而决不限于图13的B的示例。此外，匹配误差、图像的特征量和评估值之间的关系是任意的，而决不限于图13的C的示例。

另外，例如，还可以基于对应点的检测结果(匹配误差)和分别创建两个成像图像(在成像后对这两个成像图像执行对准)的两个成像部的相对姿势来获得评估值。图14的A的曲线344描绘了在这种情况下匹配误差与匹配关系之间的关系的示例。另外，图14的B的直线345描绘了距离与距离可靠性之间的关系的示例。

该距离是与通过使用检测到的对应点而获得的对应点进行成像的成像部(或成像范围)的相对姿势相关联的信息。更具体地，该距离是指示基于对应点的成像部(或成像范围)的相对姿势与在真实空间中的成像部(或成像范围)的相对姿势之间的误差的大小的参数。换言之，在距离为零或足够小的情况下，在成像图像中检测到的对应点也指向真实空间上的相同位置，并且对准变为正确结果的可能性高。另一方面，在距离大的情况下，在成像图像中检测到的对应点在真实空间上移位，并且误检测的可能性高。也就是说，对准变为正确结果的可能性低。

距离可靠性是指示取决于这样的距离的对准成功的可靠性的参数。当距离可靠性的值较大时，基于对应点的检测结果的对准(匹配)变为正确的对准结果的可能性变高。应当注意的是，可以使得距离可靠性是指示取决于距离的对准成功的可能性的大小的参数。

如上所述，通常，距离越大，对准变为正确结果的可能性越低。因此，例如，距离与距离可靠性之间的关系变成类似于图14的B的直线345的关系。

计算这种距离与距离可靠性之间的关系的方法是任意的。例如，可以通过使用如图15所示的功能块来计算这种距离与距离可靠性之间的关系。首先，假设在所关注的视点A的成像设备113与视点B的成像设备113之间在真实空间上的相对姿势(位置、方向等)是已知的。另外，从检测到的对应点得知成像图像之间的图像内坐标系中的相对位置。

坐标变换部401将基于对应点的图像坐标系(x，y)的成像设备113之间的相对位置变换为真实空间上的坐标系(X，Y，Z)。距离计算部402计算基于通过坐标变换部401获得的对应点的检测结果的视点B的真实空间上的成像设备113的坐标与以关注的视点A为参考的视点B的真实空间上的成像设备113的坐标(已知)之间的距离(误差)。距离可靠性计算部403基于由距离计算部402计算出的距离来计算距离可靠性。

评估值被设置为与匹配可靠性与距离可靠性的乘积对应的值。换言之，当匹配可靠性与距离可靠性的乘积较大时，评估值被设置为指示误差发生率较低的值(例如，较大的值)。另一方面，当匹配可靠性与距离可靠性的乘积较小时，评估值被设置为指示误差发生率较高的值(例如，较小的值)。

在图14的A的示例的曲线344的情况下，当匹配误差超过预定阈值时，匹配误差的值越大，匹配可靠性就越低。另外，在图14的B的示例的曲线345的情况下，当距离大时，距离可靠性变低。因此，即使匹配误差小，则当基于对应点的成像部(或其成像范围)的相对姿势与在真实空间中的成像部(或其成像范围)的相对姿势之间的误差大时，在对准中误差发生的可能性仍被判定为高，并且评估值被设置为指示误差发生率高的值。

因此，如上所述，可以更精确地执行成像图像之间的对准。应当注意的是，替代以上述方式计算匹配可靠性与距离可靠性的乘积，可以基于预定匹配误差、距离和评估值之间的关系，根据匹配误差的值和图像的特征量的值获得评估值。

应当注意的是，匹配误差与匹配可靠性之间的关系(曲线344)是任意的，而决不限于图14的A的示例。此外，距离与距离可靠性之间的关系(曲线345)是任意的，而决不限于图14的B的示例。

<图案移动方法和对应点检测方法>

在如上所述增加图案的数目的情况下，例如，考虑移动被照射的图案的方法，或者添加要照射的图案的方法。在图案移动的情况下，可以移动照射到处理目标视点的成像范围的图案(换言之，在作为处理目标的成像图像中包括的图案)。换言之，可以将在作为处理目标的成像图像中包括的其他图案的照射位置移动到成像图像彼此重叠的区域，并且评估值是指示误差的出现率更高的值。

另外，可以移动照射到处理目标视点的成像范围的外部的图案(换言之，未被包括在作为处理目标的成像图像中的图案)。换言之，可以将照射到未被包括在作为处理目标的成像图像中的位置的其他图案的照射位置移动到成像图像彼此重叠的区域，并且评估值是指示误差的出现率更高的值。

在在成像图像内移动图案的情况下，由于可以在不等待对另一成像图像的处理的情况下更新图案，因此可以更容易地更新图案。另外，在从成像图像的外部移动图案的情况下，由于可以在更宽的范围内移动图案图像，因此可以将更多的图案集中在更难以执行对准的区域上，并且可以更精确地执行成像图像之间的对准。

另外，可以基于最新的图案照射来执行对应点的检测，或者可以基于多次图案照射来执行对应点的检测，即是，通过不仅使用最新的图案图像，还使用过去照射的图案图像。

在基于最新图案来检测对应点的情况下，可以更容易地检测对应点(可以抑制负载的增加或处理时间的增加)。另外，由于通过利用过去的图案来检测对应点，结果是由于可以通过使用更多图案来检测对应点而可以更精确地执行成像图像之间的对准。

应当注意的是，移动图案的方法和检测上述对应点的方法，例如，如图16的表所示，可以以任意组合的形式使用。

例如，在在作为处理目标的成像图像内移动图案并且基于最新图案来检测对应点的情况下，可以针对用于对应点检测的评估值，将图案照射再次到误差的可能性大的区域。另外，例如，在作为处理目标的成像图像内移动图案并且还通过利用过去图案来检测对应点的情况下，可以针对用于对应点检测的评估值，将图案照射到误差的可能性被判定为大的区域，并且可以将更新的图案照射结果重叠在上次的图案照射结果上，以增加用作线索的图案的数目，从而重新计算对应点的检测。

另外，例如，在从作为处理目标的成像图像的外部移动图案并且基于最新图案来检测对应点的情况下，可以针对用于对应点检测的评估值将图案添加到误差的可能性被判定为大的区域。另外，例如，在从作为处理目标的成像图像的外部移动图案并且还通过利用过去的图案来检测对应点的情况下，可以针对用于对应点检测的评估值将图案添加到误差的可能性被判定为大的区域，并且可以将更新的图案照射结果重叠在上次的图案照射结果上，以增加用作线索的图案的数目，从而重新计算对应点的检测。

应注意的是，在图案更新中，可以改变图案的形状。例如，在检测对应点时，可以将圆形图案变为多边形(例如，三角形或四边形)，利用该多边形可以区分图案的姿势。

<图案图像>

应当注意的是，只要图案图像可以用光照射到被摄体等，照射装置112可以照射任何光。例如，投影仪(投影装置)可以被用作照射装置112，并且可以在宽范围内投射光。在这种情况下，例如，可以通过使用一个投影图像来照射多个图案图像。应当注意的是，如上所述，照射装置112照射激光束，导致图案图像可以被更清楚地照射到较长距离的被摄体等。

另外，照射图案图像的光的波长区域是任意的，并且可以使用可见光或者可以使用不可见光。例如，可以使用红外光。在这种情况下，仅需要成像设备113可以接收可见光和红外光二者。

例如，准备下述二者：具有包括具有如图17的A中所示的贝尔(Bayer)阵列的滤色器501的图像传感器的成像设备113；以及具有包括用于红外光的IR滤光器502的图像传感器的成像设备113。在这种情况下，可以从一个成像设备113获得可见光的成像图像，并且可以由另一成像设备113检测红外光的图案图像。在这种情况下，仅需要在分别在两个成像设备113中获得的可见光的成像图像和红外光的成像图像之间执行对准，并且在将两个成像图像彼此重叠之后，执行对应点的检测。

应当注意的是，可以采用这样的配置，使得一个成像设备113具有包括滤光器503的图像传感器，其中，例如，如图17的C中所示的用于可见光的滤色器和用于红外光的滤光器被彼此组合，并且执行可见光的成像图像的创建和红外光的检测二者。在这种情况下，不需要对准。如果需要，则可见光(RGB)和IR的分量可以根据波长区域彼此分离。如图17的D所示，在RGB分量和IR分量中，波长区域在各自的峰值方面彼此不同。在图17的D中，曲线511指示B分量的光谱，曲线512指示G分量的光谱，曲线513指示R分量的光谱，并且曲线514指示光谱IR部件。

因此，例如，分离RGB图像中包括的IR分量仅需要根据下面的等式(1)来执行。

IR’＝IR–(wr*R+wg*G+wb*B)···(1)

另外，分离IR图像中包括的RGB分量仅需要根据以下等式(2)来执行。

R’＝R–wir*IR(这同样适用于G’和B’)···(2)

此外，可以通过ToF(飞行时间)传感器测量距照射图案的被摄体等的距离。在这种情况下，除了图案照射之外，还测量深度，这可以用于提高匹配精度。

<3.第二实施方式>

<其他配置>

应当注意的是，应用本技术的成像系统的配置决不限于上述图3的示例。例如，中央处理单元111、照射装置112和成像设备113的数目是任意的。例如，可以采用多个中央处理单元111和多个照射装置112，成像设备113的数目可以是三个或更少，或者五个或更多。

例如，类似于图18中描绘的成像系统600，中央处理单元111、照射装置112和成像设备113可以经由网络601彼此连接。

网络601是任意通信网络。网络601中采用的通信方法是任意的。例如，可以采用有线通信，可以采用无线通信，或者可以采用有线通信和无线通信二者。另外，网络601可以包括单个通信网络，或者可以包括多个通信网络。例如，网络601中可以包括符合任意通信标准的通信网络或通信信道，例如，因特网，公共电话线网络、用于诸如所谓的3G线路或4G线路的无线移动对象的广域通信网络、WAN(广域网)、LAN(局域网)、执行符合Bluetooth(注册商标)标准的通信的无线通信网络、诸如NFC(近场通信)的短程无线通信的通信信道、红外通信的通信信道或者符合例如HDFI(注册商标)(高清晰度多媒体接口)或USB(通用串行总线)的标准的有线通信的通信网络。

中央处理单元111、照射装置112和各个成像设备113可通信地连接到网络601。应当注意的是，连接可以是有线样式(即，经由有线通信的连接)，可以是无线样式(即，经由无线通信连接)，或者可以是两种样式。应注意的是，设备数目、机架的形状、尺寸、布置位置等是任意的。

中央处理单元111、照射装置112和各个成像设备113可以经由网络601彼此通信(执行信息的交换等)。换言之，中央处理单元111、照射装置112和各个成像设备113可以经由其他设施(设备、传输路径等)彼此可通信地连接。

类似于上述成像系统100的情况，本技术还可以应用于具有这种配置的成像系统600的情况，并且可以提供所描述的作用和效果。

另外，例如，如图19所示，成像系统100可以被配置成一个设备。图19中描绘的成像设备610包括中央处理部611、照射部612和成像部613(成像部613-1至成像部613-4)。

在成像设备610中，中央处理部611执行要在中央处理单元111中执行的处理，从而通过控制照射部612和成像部613来执行对应点的检测等。

因此，类似于成像系统100的情况，本技术还可以应用于具有这种配置的成像设备610，并且可以提供上述作用和效果。

显然，成像设备610的配置是任意的，并且决不限于图19的示例。例如，中央处理部611、照射部612和成像部613的数目是任意的。

<4.其他>

<本公开内容的应用领域>

例如，本技术可以应用于在诸如交通、医疗、犯罪预防、农业、畜牧业、采矿业、美容、工厂、消费电子产品、天气、自然监测等任意领域中使用的系统、设备、处理部等，只要在该领域中，则处理图像。

例如，本技术还可以应用于用于欣赏的系统或装置。另外，例如，本技术还可以应用于用于交通管理的系统或装置。此外，例如，本技术还可以应用于用于安全的系统或装置。另外，例如，本技术还可以应用于用于运动的系统或装置。此外，例如，本技术还可以应用于用于农业的系统或装置。此外，例如，本技术还可以应用于用于畜牧业的系统或装置。此外，例如，本技术还可以应用于用于监测诸如火山、森林或海洋的自然环境的系统或装置。另外，例如，本技术还可以应用于观测天气、温度、湿度、风速或日长的气象观测系统或气象观测设备。此外，例如，本技术还可以应用于观察诸如鸟类、鱼类、爬行动物、两栖动物、哺乳动物、昆虫或植物的野生动物生态的系统、装置等。

<软件>

上述一系列处理可以由硬件执行，或者可以由软件执行。在由软件执行上述一系列处理的情况下，从网络或记录介质安装构成软件的程序。

例如，在图4中设置了中央处理单元111的情况下，记录介质包括可移动介质216，可移动介质216记录有程序并且被分布成与单元主体分开地将程序传送给用户。在这种情况下，例如，可移动介质216被安装到驱动器215，由此可以读出存储在可移动介质216中的程序以安装在存储部213中。

另外，还可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供程序。例如，在图4的中央处理单元111的情况下，程序可以由通信部214接收，并且被安装在存储部213中。

否则，程序可以被预先安装在存储部、ROM等中。例如，在图4的中央处理单元111的情况下，程序可以被预先安装在存储部213、ROM 202等中。另外，例如，在图4的中央处理单元111的情况下，程序还可以被预先安装在存储部213或CPU 201中内置的ROM(未示出)中。

顺便提及，关于要通过计算机执行的程序，描述程序的步骤的处理可以按照本说明书中描述的顺序以时间序列的方式执行，或者可以在必要的时间处(例如，在进行调用时)彼此并行地单独执行。此外，描述程序的步骤的处理可以与其他程序的处理并行执行，或者可以与其他程序的处理合并执行。

另外，上述步骤的处理可以在上述设备或单元中执行，或者可以在除上述设备或单元之外的任意设备或单元中执行。在这种情况下，仅需要执行处理的装置或单元具有执行处理所需的功能(功能块等)。另外，仅需要将处理所需的信息适当地发送到设备或单元。

<其他>

本技术的实施方式决不限于上述实施方式，并且在不脱离本技术的主题的情况下可以进行各种改变。

例如，在本说明书中，系统意味着一组多个组成元件(设备、模块(部件)等)，并且所有组成元件是否存在于同一机架内并不重要。因此，容纳在不同机架中并通过网络连接的多个设备，以及其多个模块被容纳在一个机架中的一个设备都是系统。

另外，例如，可以将被描述为一个设备(或处理部)的配置进行划分以配置多个设备(或处理部)。与此相反，可以将以上被描述为多个设备(或处理部)的配置收集到一个设备(或处理部)中。另外，显然，可以将除上述配置之外的配置添加到设备(或处理部)的配置中。此外，如果作为整个系统的配置或操作基本上相同，则某个设备(或处理部)的配置的一部分可以被包括在其他设备(或其他处理部)的配置中。

另外，例如，本技术可以采用云计算的配置，在云计算的配置中，通过经由网络在多个设备中进行共享和协作来处理一个功能。

另外，例如，上述流程图中描述的步骤不仅可以由一个设备执行，而且可以通过在多个设备中进行共享来执行。此外，在一个步骤中包括多个处理的情况下，一个步骤中包括的多个处理不仅可以由一个设备或单元执行，而且可以通过在多个设备或单元中进行共享来执行。

另外，本技术不仅可以作为设备或系统来进行，而且可以作为安装到配置该设备或系统的设备的所有组成元件，例如，作为系统LSI(LargeScale Integration，大规模集成电路)的处理器等、使用多个处理器的模块等、使用多个模块的单元等或者还将其他功能添加到单元的集合(即，设备的一部分的组成元件)。

应当注意，除非引起冲突，否则可以独立地单独执行本说明书中的上述多种本技术。显然，多种任意现有技术也可以彼此组合实施。例如，在一些实施方式中描述的本技术也可以结合在其他实施方式中描述的本技术来执行。另外，上述任意本技术也可以与上面未描述的其他现有技术组合实施。

<补充>

应当注意的是，可以以任何形式发送或记录与编码数据(比特流)相关联的各种类型的信息(元数据等)，只要各种类型的信息与编码数据相关联即可。这里，例如，术语“与...相关联”意味着当处理一个数据时，使其他数据能够被使用(使得能够相关)。换言之，彼此相关联的数据可以被收集为一条数据，或者可以分别被制成单独的数据。例如，与编码数据(图像)相关联的信息可以在与编码数据(图像)的传输线不同的传输线上传输。另外，例如，与编码数据(图像)相关联的信息可以被记录在与编码数据(图像)不同的记录介质(或相同记录介质的不同记录区域)中。应当注意，“与...相关联”可以不在整个数据中使用，而是可以在一部分数据中使用。例如，与图像对应的图像和信息可以以诸如多个帧、一个帧或帧内的一部分的任意单位彼此相关联。

应注意的是，本技术还可采用以下构造。

(1)

一种信息处理设备，包括：

计算部，其针对包括为了和另一成像图像对准而照射的图案的成像图像与包括所述图案的所述另一成像图像之间的对应点的检测结果计算评估值，所述评估值用于评估当所述成像图像和所述另一成像图像彼此合成时所述对准中的误差发生率；以及

更新部，其基于由所述计算部计算的评估值来更新所述图案的照射位置。

(2)

根据(1)所述的信息处理设备，其中，所述计算部基于在匹配包括所述图案的预定部分区域时误差的大小来计算所述评估值。

(3)

根据(2)所述的信息处理设备，其中，无论所述误差大于还是小于预定范围，所述计算部都将所述评估值设置为表示所述误差发生率高于在所述误差落在所述预定范围内的情况下的误差发生率的值。

(4)

根据(1)至(3)中任一项所述的信息处理设备，其中，所述计算部基于在匹配包括所述图案的预定部分区域时所述误差的大小和所述部分区域的图像的特征量来计算所述评估值。

(5)

根据(4)所述的信息处理设备，其中，在所述误差大于预定阈值的情况下，所述计算部将所述评估值设置为表示所述误差发生率高于在所述误差等于或低于所述预定阈值的情况下的误差发生率的值。

(6)

根据(4)或(5)所述的信息处理设备，其中，所述图像的特征量包括与像素值的离差相关联的参数。

(7)

根据(6)所述的信息处理设备，其中，在与所述像素值的离差相关联的参数小于预定阈值的情况下，所述计算部将所述评估值设置为表示所述误差发生率高于在与所述像素值的离差相关联的参数等于或大于所述预定阈值的情况下的误差发生率的值。

(8)

根据(1)至(7)中任一项所述的信息处理设备，其中，所述计算部基于在匹配包括所述图案的预定部分区域时的误差的大小以及执行成像以创建所述成像图像的成像部与执行成像以创建所述另一成像图像的另一成像部之间的相对姿势相关联的信息来计算所述评估值。

(9)

根据(8)所述的信息处理设备，其中，在所述误差大于预定阈值的情况下，所述计算部将所述评估值设置为表示所述误差发生率高于在所述误差等于或低于所述预定阈值的情况下的误差发生率的值。

(10)

根据(8)或(9)所述的信息处理设备，其中，与所述相对姿势相关联的信息包括所述成像部与所述另一成像部之间的基于检测到的对应点的相对姿势与实际相对姿势之间的误差的大小。

(11)

根据(10)所述的信息处理设备，其中，所述计算部将评估值设置为表示随着所述误差越大而所述误差发生率越高的值。

(12)

根据(1)至(11)中任一项所述的信息处理设备，其中，在所述评估值被设置为表示所述误差发生率高于预定阈值的值的情况下，所述更新部更新所述图案的照射位置，以增加照射到其中所述成像图像和所述另一成像图像彼此重叠的区域的图案的数目。

(13)

根据(12)所述的信息处理设备，其中，所述更新部将包括在所述成像图像中的其他图案的照射位置移动到所述区域。

(14)

根据(12)所述的信息处理设备，其中，所述更新部将照射到所述成像图像的外部的其他图案的照射位置移动到所述区域。

(15)

根据(1)至(14)中任一项所述的信息处理设备，还包括：

对应点检测部，其通过匹配包括所述图案的预定部分区域来检测所述成像图像与所述另一成像图像之间的对应点，

其中，所述计算部被配置成针对由所述对应点检测部获得的对应点的检测结果计算所述评估值。

(16)

根据(15)所述的信息处理设备，其中，所述对应点检测部基于最新的图案照射来检测所述对应点。

(17)

根据(15)所述的信息处理设备，其中，所述对应点检测部基于多次图案照射来检测所述对应点。

(18)

根据(1)至(17)中任一项的信息处理设备，其中，所述图案被照射为激光束。

(19)

根据(1)至(18)中任一项的信息处理设备，其中，所述图案被照射为红外光。

(20)

一种信息处理方法，包括：

针对包括为了和另一成像图像对准而照射的图案的成像图像与包括所述图案的所述另一成像图像之间的对应点的检测结果计算评估值，所述评估值用于评估当所述成像图像和所述另一成像图像彼此合成时所述对准中的误差发生率；以及

基于计算的评估值来更新所述图案的照射位置。

[附图标记列表]

100成像系统，111中央处理单元，112照射装置，113成像设备，201CPU，251图案照射部，252成像部，253对应点检测部，254评估值计算部，255判定部，256照射图案更新部，401坐标变换部，402距离计算部，403距离可靠性计算部，501滤色器，502IR滤光器，503滤光器，600成像系统，601网络，610成像设备，611中央处理部，612照射部，613成像部

Claims (20)

1.一种信息处理设备，包括：

计算部，其针对包括为了和另一成像图像对准而照射的图案的成像图像与包括所述图案的所述另一成像图像之间的对应点的检测结果来计算评估值，所述评估值用于评估当所述成像图像和所述另一成像图像彼此合成时的对准中的误差发生率；以及

更新部，其基于由所述计算部计算的评估值来更新所述图案的照射位置。

2.根据权利要求1所述的信息处理设备，其中，所述计算部基于在匹配包括所述图案的预定部分区域时的误差的大小来计算所述评估值。

3.根据权利要求2所述的信息处理设备，其中，无论所述误差是大于还是小于预定范围，所述计算部都将所述评估值设置为表示所述误差发生率高于在所述误差落在所述预定范围内的情况下的误差发生率的值。

4.根据权利要求1所述的信息处理设备，其中，所述计算部基于在匹配包括所述图案的预定部分区域时的误差的大小和所述部分区域的图像的特征量来计算所述评估值。

5.根据权利要求4所述的信息处理设备，其中，在所述误差大于预定阈值的情况下，所述计算部将所述评估值设置为表示所述误差发生率高于在所述误差等于或低于所述预定阈值的情况下的误差发生率的值。

6.根据权利要求4所述的信息处理设备，其中，所述图像的特征量包括与像素值的离差相关联的参数。

7.根据权利要求6所述的信息处理设备，其中，在所述与像素值的离差相关联的参数小于预定阈值的情况下，所述计算部将所述评估值设置为表示所述误差发生率高于在所述与像素值的离差相关联的参数等于或大于所述预定阈值的情况下的误差发生率的值。

8.根据权利要求1所述的信息处理设备，其中，所述计算部基于在匹配包括所述图案的预定部分区域时的误差的大小、以及执行成像以创建所述成像图像的成像部与执行成像以创建所述另一成像图像的另一成像部之间的相对姿势相关联的信息，来计算所述评估值。

9.根据权利要求8所述的信息处理设备，其中，在所述误差大于预定阈值的情况下，所述计算部将所述评估值设置为表示所述误差发生率高于在所述误差等于或低于所述预定阈值的情况下的误差发生率的值。

10.根据权利要求8所述的信息处理设备，其中，与所述相对姿势相关联的信息包括所述成像部与所述另一成像部之间的基于检测到的对应点的相对姿势与实际相对姿势之间的误差的大小。

11.根据权利要求10所述的信息处理设备，其中，所述计算部将所述评估值设置为表示随着所述误差越大而所述误差发生率越高的值。

12.根据权利要求1所述的信息处理设备，其中，在所述评估值被设置为表示所述误差发生率高于预定阈值的值的情况下，所述更新部更新所述图案的照射位置，以增加照射到其中所述成像图像和所述另一成像图像彼此重叠的区域的图案的数目。

13.根据权利要求12所述的信息处理设备，其中，所述更新部将包括在所述成像图像中的其他图案的照射位置移动到所述区域。

14.根据权利要求12所述的信息处理设备，其中，所述更新部将照射到所述成像图像的外部的其他图案的照射位置移动到所述区域。

15.根据权利要求1所述的信息处理设备，还包括：

对应点检测部，其通过匹配包括所述图案的预定部分区域来检测所述成像图像与所述另一成像图像之间的对应点，

其中，所述计算部被配置成针对由所述对应点检测部获得的对应点的检测结果计算所述评估值。

16.根据权利要求15所述的信息处理设备，其中，所述对应点检测部基于最新的图案照射来检测所述对应点。

17.根据权利要求15所述的信息处理设备，其中，所述对应点检测部基于多次的图案照射来检测所述对应点。

18.根据权利要求1所述的信息处理设备，其中，所述图案被照射为激光束。

19.根据权利要求1所述的信息处理设备，其中，所述图案被照射为红外光。

20.一种信息处理方法，包括：

针对包括为了和另一成像图像对准而照射的图案的成像图像与包括所述图案的所述另一成像图像之间的对应点的检测结果，计算评估值，所述评估值用于评估当所述成像图像和所述另一成像图像彼此合成时的对准中的错误发生率；以及

基于计算的评估值来更新所述图案的照射位置。