CN111095923B - 校准装置、校准系统和校准方法 - Google Patents

Abstract

校准装置10中的捕获图像获取单元30获取使用鱼眼成像装置12对校准图表成像获得的图像的数据。畸变校正单元34对成像装置的参数进行假设，考虑到投影方法来进行校正，并且调整参数直到获得原始图表的图像。伪图像绘制单元42使用图表模型数据来绘制伪捕获图像。视点调整单元44将伪图像和捕获图像进行比较，并根据标记位置或图案间隔之间的差异来调整虚拟相机的视点位置，以识别成像装置12的位置。

Description

校准装置、校准系统和校准方法

技术领域

本发明涉及用于实现成像装置的校准的装置、校准系统和校准方法。

背景技术

有一个已知的游戏，其中相机对用户的身体或标记进行成像，并且图像的区域被另一个图像替换并显示在显示器上(例如，参见PTL 1)。检测和分析捕获图像中的图像以获取被摄体或相机的位置或运动、或识别被摄体的属性的技术不仅广泛实现在安装在游戏装置或信息终端上的相机中，而且广泛实现在包括安全相机、车载相机、安装在机器人上的相机等的系统中。

为了确保系统中的处理精度，执行预先获取特定于装置的信息(诸如成像装置的内部参数、畸变校正系数和外部参数)的校准处理。内部参数定义了捕获图像中像素的位置坐标与相机坐标系中的位置坐标之间的关系，其中原点位于光学中心，并且单位为长度。畸变校正系数是用于校正由镜头引起的桶形畸变或圆周方向上的畸变的系数。

外部参数定义了相机坐标系和世界坐标系之间的关系，并且外部参数特别用于例如同时对多镜头相机(诸如立体相机)执行校准，以调整相机捕获的图像的斜率。一种广为人知的校准技术的示例包括“张”方法，其用于从多个视点成像方格图案中的平面图表并优化参数，使得捕获图像上的特征点的位置和真实空间中图表平面中的特征点的位置正确对应(参见NPL1)。

[参考列表]

[专利文献]

[PTL 1]

欧洲专利申请公开No.0999518

[非专利文献]

[NPL1]

张正友，“一种灵活的相机校准新技术”，微软研究技术报告，MSR-TR-98-71，1998年12月2日。

发明内容

[技术问题]

在“张”方法中，需要将成像装置和图表设置在一定的位置和姿势上来重复成像，并且工作量大。此外，虽然近年来普遍使用鱼眼镜头捕获广角图像的技术，但很难准确地校正整个图像中特定于鱼眼镜头的畸变。

本发明是针对上述问题而做出的，并且本发明的目的是提供一种能够方便、准确地进行鱼眼相机校准的技术。

[问题的解决方案]

为了解决上述问题，本发明的一个方面涉及校准装置。所述校准装置包括：捕获图像获取单元，其从包含鱼眼镜头的成像装置获取校准图表的捕获图像的数据；以及校正单元，其基于与鱼眼镜头相对应的屏幕上的位置和在该位置成像的图表的表面上的位置之间的关系来校正由镜头引起的畸变，并且评估校正图像以导出和输出关于成像装置的参数的值。

本发明的另一方面也涉及校准装置。所述校准装置包括：捕获图像获取单元，其从包含鱼眼镜头的成像装置获取校准图表的捕获图像的数据；参数获取单元，其获取关于成像装置的参数的值；伪图像绘制单元，其在虚拟三维空间中布置虚拟相机和图表的对象模型，并且使用参数的值来生成捕获图像的伪图像，作为由虚拟相机捕获的图像；以及视点调整单元，其将生成的伪图像和捕获的图像进行比较，以导出成像装置相对于图表的位置。

本发明的另一方面涉及校准系统。所述校准系统包括：包含鱼眼镜头的成像装置；以及校准装置。

本发明的另一方面涉及校准方法。所述校准方法包括：从包含鱼眼镜头的成像装置获取校准图表的捕获图像的数据的步骤；基于与鱼眼镜头相对应的屏幕上的位置和在该位置成像的图表的表面上的位置之间的关系校正由镜头引起的畸变的步骤；以及评估校正图像以导出并输出关于成像装置的参数的值的步骤。

注意，通过在方法、装置、系统、记录介质、计算机程序等之间转换本发明的表达而获得的组成元素和事物的任意组合也作为本发明的模式有效。

[发明的有益效果]

根据本发明，可以容易且准确地执行成像装置的校准。

附图说明

图1是示出其中可以应用本实施例的系统的配置的图。

图2是用于描述由通用成像装置执行的中心投影的图。

图3是用于描述由根据本实施例的成像装置执行的等距投影的图。

图4是示出根据本实施例的校准装置的内部电路配置的图。

图5是示出根据本实施例的校准装置的功能块的配置的图。

图6是示出由根据本实施例的校准装置执行的指定成像装置的参数的过程的流程图。

图7是示出在本实施例中校正实际捕获图像的状态的图。

图8是示出基于本实施例的畸变校正单元的校正的概念图像的转换的图。

图9是示出由本实施例中畸变校正单元执行的校正捕获图像的过程的流程图。

图10是用于描述图8的S32中的投影变换的处理的图。

图11是用于描述图8的S30中的畸变校正的处理的图。

图12是示出根据本实施例的中心投影的扩展屏幕表面和鱼眼镜头的屏幕表面之间的关系的图。

图13是用于描述根据本实施例的镜头畸变校正的逆校正方法的图。

图14是用于描述在图9的S46中的搜索校正之后的图像的网格线的方法的示例的图。

图15是用于描述在本实施例中轻微调整表示网格线的边界线的线的方法的图。

图16是示出在图9的S48中调整成像装置的姿势的设置以使校正后的网格线的图像与图像平面的水平和垂直方向一致的过程的流程图。

图17是示出在图9的S50中调整视角和畸变校正系数的过程的流程图。

图18是示出由根据本实施例的伪图像绘制单元执行的绘制伪图像的过程的流程图。

图19是示出由根据本实施例的伪图像绘制单元生成的实际伪图像的图。

图20是示出在图19所示的伪图像的校正之后的图像的图。

图21是示出可应用于本实施例的图表的图案的另一示例的图。

图22是示出根据本实施例的图表的捕获图像的图。

图23是用于描述在操作期间使用包含广角镜头的成像装置的通用处理的系统与使用本实施例的处理的系统之间的区别的图。

图24是示出根据本实施例的关于鱼眼镜头的位置和姿势不同的图表图案的捕获图像的图。

图25是用于描述在本实施例中生成伪图像的过程的图。

图26是用于描述在本实施例中生成伪图像的过程的图。

图27是用于描述在本实施例中生成伪图像的过程的图。

图28是示出在本实施例中可以生成的伪图像的示例的图。

图29是示出在本实施例中可以生成的伪图像的示例的图。

图30是示出本实施例中用于计算的参数的定义的图。

图31是示意性地示出本实施例中获取与图像平面中的位置坐标相对应的三维空间中的位置坐标的过程的图。

图32是示意性地示出本实施例中获取与图像平面中的位置坐标相对应的三维空间中的位置坐标的过程的图。

图33是示出根据本实施例的将畸变校正应用于由畸变校正单元执行的捕获图像的图表图案的图像的过程的流程图。

图34是示出根据本实施例的由畸变校正单元执行的检测图表图案的区域的过程的流程图。

图35是用于描述根据本实施例的基于图表图案的正交性的成像装置的姿势检测处理中要评估的参数的图。

图36是示出由根据本实施例的畸变校正单元执行的捕获图像中的图表图案的图像的校正的结果的图。

图37是示出在本实施例中通过从伪图像中恢复每个表面的图表而获得的图像的图，其中在立方体内指示图表图案，并且图像是以视点为中心捕获的。

图38是示出在本实施例中从以任意姿势成像立方体内部的伪图像恢复表面的图表的结果的图。

具体实施方式

实施例1

图1示出了其中可应用本实施例的系统的配置。该系统包括成像装置12、校准图表200和使用由成像装置12捕获的图表200的图像来执行校准的校准装置10。校准装置10使用图表200的捕获图像来获取关于成像装置12的预定参数。这里，预定参数包括通用相机参数，诸如镜头畸变校正系数、镜头中心位置和切向畸变校正系数，以及位置、姿势和水平/垂直视角(以下简单地称为成像装置12在成像图表200时的“视角”)。

成像装置12包括成像光学系统，该成像光学系统包含鱼眼镜头、图像传感器(诸如电荷耦合设备(CCD)传感器和互补金属氧化物半导体(CMOS)传感器)以及执行通用图像处理(诸如去马赛克处理)的机构。成像装置12以广角成像被摄体空间。成像装置12可以是仅包括一组镜头和成像传感器的单镜头相机，或者可以是包括多组镜头的多镜头相机。可以根据通过使用捕获的图像执行的信息处理的细节来确定包括在成像装置12中的相机的配置。

例如，在从捕获图像获取对象(诸如用户和控制器)在三维空间中的位置以实现电子游戏的情况下，相机可以是包括以已知间隔在左右两侧提供的两个相机的立体相机。此外，成像装置12的模式不限于所示的模式。例如，成像装置12可以与校准装置10集成。可选地，成像装置12可以安装在机器人或头戴式显示器上。在这种情况下，可以以预定的帧速率捕获与机器人或佩戴头戴显示器的用户的视野相对应的图像，以反映关于机器人动作的图像，或者可以将对应的图像用于头戴显示器上的显示。

图表200是表示预定图案(设计)的真实对象，诸如平面板或纸张。可选地，可以使用显示设计的显示装置、包括显示装置的电子设备等。在所示示例中，图表200的图案包括网格线，网格线包括在白色背景上以相等间隔布置的预定宽度的黑色水平线和垂直线，以及在由网格线形成的白色矩形的二维阵列中的预定位置处(诸如在中心矩形上)布置的标记202，如图1的下部的前视图所示。

然而，图表200的图案不限于此，并且该图案可以是以预定间隔指示图表的水平方向和垂直方向的设计和指示图表上的特定位置的设计的任意组合。例如，可以将标记添加到方格图案中，其中白色和黑色在网格中划分的矩形区域之间的相邻矩形中反转，或者可以使用稍后示出的条形码等。尽管在所示示例中标记202是黑色正方形，但并不意图将标记202限制在此，并且标记202可以具有允许将标记202与网格线清楚地区分开来的任何已知形状和颜色。

校准装置10将图表200的捕获图像设置为输入数据，并获取关于成像装置12的参数。这里，设置为输入数据的捕获图像是特定于鱼眼镜头的桶形畸变校正之前的图像。校准装置10使用镜头畸变从一个捕获的图像获取诸如成像装置12的姿势、校正系数等参数。校准装置10还使用单独准备的图表的模型数据来创建伪捕获图像，并且基于标记202的图像的位置和尺寸来导出成像装置12在三维空间中的位置。

校准装置10将获得的参数存储在内部存储器中，或者将获得的参数输出到未示出的外部装置。可选地，校准装置10可以具有使用所获得的参数来执行电子游戏等的信息处理的功能，并且使未示出的输出装置显示所获得的参数。此外，校准装置10可与成像装置12一起设置在机器人中，并且参数可用于分析捕获的图像以创建周围环境地图。这些情况可以实现具有校准装置10的功能的信息处理装置。

图2是用于描述由不具有鱼眼的通用成像装置执行的中心投影的图。图2示出了具有焦距fa的成像装置成像距主点14的距离Za处的平面的状态的俯视图。由成像装置捕获的图像对应于通过将被摄体投影到距主点14的fa距离处的屏幕15上而获得的图像。此外，当传感器尺寸已知时，焦距fa确定视角θ。在这种情况下，无论在捕获图像上的位置如何，被摄体表面上相同尺寸a的范围13a和13b都形成相同尺寸(fa·a/Za)的图像16a和16b。

也就是说，图像的尺寸由焦距fa和距离Za的比率的函数提供。因此，如果比率相同，则即使距离Za不同，图像的尺寸也可能相同。换言之，不能从一个捕获图像的图像尺寸同时获得视点的位置和视角。因此，在通用成像装置的校准中，从各种方向成像图表以提供联立方程，或者固定到图表的距离以捕获图像从而获得各种相机参数。

图3是用于描述由根据本实施例的成像装置执行的等距投影的图。图3还示出了具有焦距fb的成像装置成像与主点18距离Zb处的平面的状态。另一方面，在本实施例的成像装置12中，由鱼眼镜头投影图像的屏幕19是球面的。在这种情况下，与捕获图像上的中心的距离越长，被摄体表面上相同尺寸b的范围17a和17b的图像20a和20b越小。

此外，相对于从捕获图像的中心到屏幕19的距离的缩小比的变化取决于屏幕19的球面的曲率，即焦距fb，而与主点的位置无关。这在本实施例中用于评估鱼眼镜头引起的畸变，从而指定焦距和视角，并评估图像的位置和尺寸，从而指定成像装置的位置。这使得仅使用图表200的一个捕获图像而无需严格定位即可进行校准。

图4示出了校准装置10的内部电路配置。校准装置10包括中央处理单元(CPU)122、图形处理单元(GPU)124和主存储器126。CPU 122基于操作系统、应用等的程序来控制装置内部的组成元件中的处理和信号传输。GPU 124执行图像处理。主存储器126包括随机存取存储器(RAM)，并存储处理所需的程序和数据。

这些组件通过总线130彼此连接。输入输出接口128进一步连接到总线130。连接到输入输出接口128的组件包括：通信单元132，包括通用串行总线(USB)、电气和电子工程师学会(IEEE)1394等的外围设备接口和有线或无线局域网(LAN)的网络接口；存储单元134，诸如硬盘驱动器和非易失性存储器；输出单元136，其向诸如显示装置和打印机的输出装置(未示出)输出数据；输入单元138，其从成像装置12或输入装置(未示出)接收数据；以及记录介质驱动单元140，其驱动可移动记录介质，诸如磁盘、光盘和半导体存储器。

CPU 122执行存储在存储单元134中的操作系统以控制整个装置。CPU 122还执行从可移动记录介质读取并加载到主存储器126上的或通过通信单元132下载的各种程序。GPU 124具有几何引擎的功能和渲染处理器的功能，并且根据来自CPU 122的绘制命令绘制图像。

图5示出了校准装置10的功能块的配置。图5所示的功能块可以由图4所示的CPU122、GPU 124、主存储器126等硬件实现，并且可以由从硬盘或记录介质加载到主存储器的计算机程序等软件实现。因此，本领域技术人员应当理解的是，可以以各种形式实现功能块，诸如仅硬件、仅软件以及硬件和软件的组合，并且功能块不限于其中任何一种。

校准装置10包括：捕获图像获取单元30，其获取捕获图像的数据；畸变校正单元34，其对从实际捕获图像和模型生成的图像进行投影变换并校正镜头畸变；图像存储单元36，其存储校正图像；参数存储单元38，其存储在校正中获得的参数；图表图像存储单元40，其存储图表200的图案的模型数据；伪图像绘制单元42，其使用图表200的模型数据来生成畸变的伪图像；视点调整单元44，其基于标记的图像的位置和尺寸获取成像装置12视点位置；以及输出数据生成单元46，其输出关于成像装置获得的参数，或者生成并输出指示使用这些参数的信息处理的结果的数据。

捕获图像获取单元30从成像装置12获取图表200的捕获图像的数据。在成像装置12包括多镜头相机的情况下，捕获图像获取单元30获取每个相机捕获的图像的所有数据。由于与成像装置的姿势相对应的斜率或由于鱼眼镜头，捕获图像中的图表图像被畸变。在下文中，从捕获图像中的原始图表的变形可以统称为“畸变”。

畸变校正单元34执行从捕获图像中去除畸变的校正。具体地，畸变校正单元34将在等距投影系统中捕获的图像转换为中心投影的数据，并且进一步使用畸变校正方程来进行更详细的校正。结果，图表200的网格线基本上变为直线。此外，畸变校正单元34执行投影变换以消除由成像装置12的姿势引起的图表200的图像的斜率。在这些处理中，畸变校正单元34使用成像装置12的视角、姿势、镜头畸变校正系数、图像上与镜头中心相对应的位置(以下称为“镜头中心位置”)和切向畸变校正系数。

畸变校正单元34首先对要进行校正的参数进行假设并调整参数，使得结果指示原始图表的图案的图像。因此，可以得到每个参数。畸变校正单元34进一步将相同的处理应用于由伪图像绘制单元42使用图表的模型数据生成的伪捕获图像。将通过这些校正处理获得的校正后的图像的数据存储在图像存储单元36中，并且将参数存储在参数存储单元38中。

伪图像绘制单元42读取存储在图表图像存储单元40中的图表200的模型数据，并将模型数据与虚拟相机一起布置在虚拟三维空间中。这里，将从实际捕获的图像获得的成像装置12的姿势提供给虚拟相机。成像装置12的位置未知，因此设置临时值。此外，执行作为对象模型的图表200的等距投影以创建与成像装置12的实际成像环境相同的状态。在这种情况下，存储在参数存储单元38中的关于成像装置12获得的视角、镜头畸变校正系数、镜头中心位置、以及切向畸变校正系数被用于进行与用于消除镜头畸变的校正相反的校正，从而生成与捕获图像相似的畸变图像。在下文中，该图像将被称为“伪图像”。

视点调整单元44将捕获图像校正后标记202在图像中的位置和尺寸和伪图像校正后标记202在图像中的位置和尺寸进行比较。如果在伪图像绘制单元42生成伪图像时设置的虚拟相机的位置不正确，则参数存在差异。因此，基于这些差异来调整视点的位置，以指定成像装置12的实际位置。

输出数据生成单元46获取存储在参数存储单元38中的各种参数和由视点调整单元44指定的捕获图像的位置，并将这些参数和位置作为输出数据存储在存储装置中，或将输出数据输出到外部装置。可选地，输出数据生成单元46可以使用该信息来校正在操作期间捕获的图像，或者将该信息用于图像分析，来执行预定的信息处理，从而生成和输出显示图像的输出数据等。例如，在成像装置12是立体相机的情况下，基于每个相机的位置和姿势，找出相机之间关于主点的间隔和姿势的差异。因此，这些参数可用于校正操作过程中获得的立体图像，或用于基于三角划分的计算，从而精确地指定对象的位置。

接下来，将描述可通过配置实现的校准装置10的动作。图6是示出由校准装置10执行的指定成像装置的参数的过程的流程图。首先，捕获图像获取单元30从成像装置12获取图表200的捕获图像的数据(S10)。在成像装置12是多镜头相机的情况下，捕获图像获取单元30获取每个相机捕获的图像的数据。数据可以是基本上从正面捕获的图表200的图像，并且在成像时不需要严格定位。

姿势/畸变校正单元34校正捕获的图像以使捕获的图像与原始图表的图案相似，从而获得关于成像装置的参数(S12)。如上所述，捕获图像的畸变包括由成像装置12的姿势引起的畸变和由成像装置12的结构(诸如鱼眼镜头)引起的畸变。因此，姿势/畸变校正单元34对校正所需的参数进行假设，以便依次执行校正以消除由姿势引起的畸变和由结构引起的畸变，并调整参数，直到校正后获得的数据变得基本上与图表的图案相同。这样，姿势/畸变校正单元34获取校正后的最终图像和参数值。然而，成像装置12的位置不用于校正畸变，并且在本阶段没有找出该位置。注意，在不必获得成像装置12的位置的情况下，可以跳过下面描述的S14至S18的处理。

接下来，伪图像绘制单元42从图表图像存储单元40读取图表200的模型数据，在虚拟空间中布置模型数据，并基于虚拟相机捕获的模型数据的图像绘制伪图像(S14)。在这种情况下，将虚拟相机的姿势设置为在S12中获得的值，并且为该位置提供临时值。此外，虚拟相机包括鱼眼镜头，并且具有与成像装置12相同的视角、镜头畸变校正系数、镜头中心位置和切向畸变校正系数。因此，可以投影和畸变模型上的图表，从而生成类似于在S10中获取的捕获图像的图像。

接下来，如在S12(S16)中一样，姿势/畸变校正单元34校正在S14中绘制的伪图像。也就是说，姿势/畸变校正单元34执行使用在S12中获得的参数来消除畸变的校正。结果，获得与图表的图案相似的图像，并且图表在图像上的位置和放大率取决于绘制伪图像时设置的虚拟相机的位置。视点调整单元44调整虚拟相机的位置，使得在S12中校正了获取的捕获图像之后标记的位置和图像中的网格的间隔与在S16中校正了获取的伪图像之后标记的位置和图像中的网格的间隔变得基本相同(S18)。

当他们之间的差等于或小于预定阈值时，获取虚拟相机的位置作为成像装置12的实际位置。输出数据生成单元46生成并输出表示目前为止在处理中获得的参数或表示通过使用这些参数执行的图像分析或信息处理的结果的数据(S20)。如上所述，可以将数据输出到执行其它处理(诸如游戏和显示)的装置，或者输出到存储装置。可选地，可以将数据输出到成像装置12。

接下来，将描述图6的S12中由畸变校正单元34执行的捕获图像的校正方法。图7示出了其中校正实际捕获图像的状态。如图1所述，捕获图像50中的图表具有包括在白色背景上的网格中指示的预定宽度的黑色直线，并且还包括在网格线包围的矩形中指示的黑色矩形标记的图案。成像装置12包含鱼眼镜头。因此，与基本上与镜头中心相对应的图像平面的中心的距离越长，图像被缩减的越多。

畸变校正单元34校正捕获的图像50以生成类似于原始图表图案的状态，即校正后的图像52，其中黑色直线以相等间隔相互正交。如上所述，图像向图像边缘的缩小程度以及直线的曲线状况主要取决于成像装置12的内部结构，诸如成像装置12的视角和镜头中心位置的偏差。网格在图像平面的水平方向和垂直方向上的倾斜程度取决于成像装置12的姿势。因此，可以在从捕获图像50到图像52的校正过程中导出它们的参数。

图8示出了基于畸变校正单元34的校正的概念图像的转换。如上所述，校正是消除捕获图像60中的镜头畸变以生成具有线性网格的图像62的处理(S30)、以及执行图像62的投影变换以在校正之后获得网格正交的图像64的处理(S32)。图像处理是输入捕获图像60上的位置坐标并在校正后输出图像64上的位置坐标的处理。此外，在本实施例中，搜索成像装置12的视角、校正系数等，使得在S30的处理中网格变为线性图像，并且搜索成像装置12的原始姿势，使得在S32的处理中网格变为正交。

也就是说，这包括评估诸如图像62和64的目标图像中的线性度和正交性的处理，并且在调整各种参数的情况下检查如何改进线性度和正交性。在这种情况下，可以输入要评估的图像62和64上的位置坐标，并且可以准备用于输出捕获图像60上的原始位置坐标的处理路径，以使调整处理有效。也就是说，准备处理路径，其中在校正后对图像64应用逆投影变换(S34)以提供镜头畸变(S36)。

畸变校正单元34适当地使用这些处理来有效地生成校正之后的图像64。在下文中，如S30和S32的从畸变图像生成图表图案的图像的处理路径将被称为“正向校正”，并且如S34和S36的从图表图案的图像生成畸变图像的处理路径将被称为“反向校正”。

图9是示出由畸变校正单元34执行的校正捕获图像的过程的流程图。该处理对应于图6的S12。首先，准备校正后的图像的平面(S40)，并且临时设置用于校正的参数(S42)。具体地，设置成像装置12的视角、姿势(摇摄角、倾斜角和滚动角)、镜头畸变校正系数、镜头中心位置和切向畸变校正系数。在许多情况下，使用镜头畸变校正系数k2、k4和k6，通过以下方程来校正镜头畸变。

i’＝i(1+k2*r²+k4*r⁴+k6*r⁶)/(1+k2+k4+k6)

j’＝j(1+k2*r²+k4*r⁴+k6*r⁶)/(1+k2+k4+k6)

这里，(i，j)表示畸变图像中的位置坐标，并且(i’，j’)表示校正畸变图像后的位置坐标。此外，r表示校正前图像中的位置坐标(i，j)与镜头中心之间的距离，并且r由以下方程定义，其中(ic，jc)表示镜头中心位置坐标。

r＝((i–ic)²+(j–jc)²)^1/2

注意，尽管方程指示到第六阶的校正，但校正的程度不受限制。另一方面，使用切向畸变校正系数p1和p2，通过以下方程来校正切向畸变。

i’＝i+(2p1*ij+p2(r²+2i²))

j’＝j+(p1(r²+2j²)+2p2*ij)

也就是说，该方程用于仅取决于距镜头中心的距离进行校正。

注意，如下文所述，在本实施例中，首先考虑投影系统中的差来校正鱼眼镜头引起的畸变，并且进一步使用这些方程来校正畸变以提高校正精度。接着，在S40中准备的图像平面上绘制使用S42中设置的临时参数时的校正图像(S44)。处理中使用的处理路径是反向校正的处理路径，其中图像平面中的每个像素的位置坐标被用作输入值，以获得捕获图像上的对应位置坐标。结果，生成类似于图表图案的图像，其中使用临时设置的参数进行校正。

接着，在图像中搜索包括在图表图案的网格中的直线(S46)。在S42中设置的成像装置12的姿势与实际姿势不同的情况下，直线不是正交的，并且调整姿势的设置，直到直线彼此正交为止(S48)。然而，这里只监视在最外侧检测到的上、下、左、右四条直线的交点，以调整姿势的设置，从而提高处理效率。结果，成像装置12的姿势被找出。在S42中设置的姿势以外的参数与实际参数不同的情况下，S48中生成的图像中的网格线仍然轻微畸变或倾斜。因此，调整参数的设置，直到消除畸变为止(S50)。

在这种情况下，以预定的间隔对等分网格线宽度的点进行采样，并且仅监视与点的近似直线相关的误差，以调整参数的设置，从而提高处理效率。结果，成像装置12的视角、校正系数和镜头中心位置被找出。作为S48和S50的处理的结果，更新在S42中设置的参数。因此，使用更新后的值再次执行类似于S44的绘制处理以生成校正后的最终图像(S52)。在这种情况下，还会从图像中检测网格线和标记，以指定网格线的间隔和标记的尺寸。将校正后的图像的数据存储在图像存储单元36中，并且将更新的参数存储在参数存储单元38中。

图10是用于描述图8的S32中的投影变换的处理的图。在图10中，(a)示出了包括图表200的三维空间，并且示出了成像装置12的视点205和视线向量207。注意，这里的视线向量207定义成像装置的光轴的方向。在所示示例中，视点205的位置坐标(x，y，z)由与图表200平行的XZ平面和与图表中心垂直相交的y轴形成的三维空间来定义。三维空间的原点O是将Y轴方向设置为视线向量以在整个视野中显示图表图案时的视点。换言之，在参考状态下获得图8中校正后的图像64，其中视点在原点O处，并且视线向量与Y轴重叠(成像装置12直接面对图表200)。

在图10的(b)中，放大视线向量207以示出定义成像装置12的姿势的参数。基于从视点205到图表200的垂直线L(Y轴方向)定义摇摄角p和倾斜角q，并且在视线向量207的旋转方向定义滚动角r。当视点205和视线向量207被移位到标准状态时，可以通过使用这些参数用通用投影变换矩阵来获得图像上的位置坐标的变化。

如果作为起点的视点205和视线向量207已知，则可以通过投影变换获得图8中校正后的图像64。在本实施例中，视点205和视线向量207是未知的。因此，临时设置定义视点205和视线向量207的参数，以在变换后检查图像，并且调整设置的参数以获得图表图案的目标图像。这样，可以指定视点205和视线向量207以及成像装置12的位置和姿势。

图11是用于描述图8的S30中的畸变校正处理的图。在鱼眼镜头的情况下，特别是在使用校正方程的通用畸变校正中，在离光轴较远的图像边缘部分中校正量可能不足，并且畸变的消除可能不够。因此，在本实施例中，考虑投影系统来校正特定于鱼眼镜头的畸变，并且然后应用通用校正方程。图11示出了视点74的俯视图、由直线AB指示的中心投影的屏幕表面70和由弧形A2B2指示的鱼眼镜头的等距投影的屏幕表面72。

A和B表示图像中的左边缘和右边缘，其中中心投影中的水平像素的数量为Nh，其中θ表示视角，并且A2和B2表示鱼眼镜头的图像中的左边缘和右边缘，对应于A和B。从视点74到图像的距离f由以下方程表示，其中单位为像素。

f＝Nh/(2*(tan(q/2))

等距投影的屏幕表面72上的点P(i1，j1)和中心投影的屏幕表面70上对应于点P(i1，j1)的点Q(i2，j2)与距离图像中心(严格地说，是镜头中心位置)C的距离r1和r2分别呈以下关系。

r1＝f*atan(r2/f)

r2＝(i2+j2)^1/2

这里，atan(r2/f)表示在校正前后由视线向量与点P(i1，j1)和点Q(i2，j2)和光轴形成的角度。通过使用点Q(i2，j2)的位置坐标，得到距离r1与距离r2的比值s，如下所示。

s＝r1/r2＝(f*atan(r2/f))/r2

从中心到图像边缘的长度比R是

R＝(2f*atan(Nh/2f))/Nh，

因此，归一化比率s’如下。

s’＝s/R＝(Nh/2r2)*(atan(r2/f)/atan(Nh/2f))

这种计算是基于视线向量相对于光轴的角度，而不像通用的基于距图像中心距离的校正方程。也就是说，不仅可以利用图像平面上的信息，还可以利用考虑信息与视点之间的关系的三维信息对图像进行校正。

这可以实现不考虑图像位置的正确校正。注意，在获得比值s’时校正后的点Q(i2，j2)是已知的。这是因为在实际处理中，首先准备中心投影的屏幕表面70，并且将表面上像素的位置坐标乘以比率s’，以指定校正前鱼眼镜头的图像中的参考像素。可以以这种方式参考参考像素的像素值以在校正后生成图像。

即使用这种方法消除了鱼眼镜头引起的畸变，由于个体差异或镜头装配条件引起的畸变仍然存在，并且使用基于距镜头中心距离的通用校正方程进行校正。然而，在如上所述校正鱼眼镜头的畸变的情况下，跳过镜头畸变校正方程的二次项。在本实施例中，该组处理可用于执行畸变校正以获得其中畸变被精确消除至图像边缘的图像。在校正中，使用成像装置的视角、镜头畸变校正系数、镜头中心位置和切向畸变校正系数。因此，对参数进行一次假设以进行校正，从而调整参数，直到网格线变得与直线足够精确地相似。这样，就可以确定参数的最终值。

在所示示例中，将鱼眼镜头的视角θ限制在大约100°以内，并且容易变换到中心投影的屏幕表面70上。另一方面，使用鱼眼镜头的相机的优点是，可以同时获得相对于视点360°的视角的图像。利用这一特性，可以对中心投影的屏幕表面进行扩展。图12示出了中心投影的扩展屏幕表面和鱼眼镜头的屏幕表面之间的关系。如图11一样，图12是视点74和每个屏幕表面的俯视图。将视角设置为360°，并且鱼眼镜头的屏幕表面76是焦距f为半径的整个球面。

在这种情况下，为了校正整个图像，围绕球面屏幕表面76的立方体的六个表面的内壁被设置为中心投影的屏幕表面(例如，屏幕表面78a、78b、78c和78d)。此外，将该空间划分为四边形金字塔形状多个区域，其中视点74是顶点，并且内壁的每个表面都是底面。基于球面的屏幕表面76上的目标像素所属的区域来选择要切换的屏幕表面。在图12中，从上方俯视屏幕，并且屏幕被划分成围绕视点74的四个90°的象限。将属于球面的屏幕表面76的象限I的图像校正为屏幕表面78a上的图像。分别将属于象限II、III和IV的图像校正为屏幕表面78b、78c和78d上的图像。

每个象限中的校正计算可以类似于上述计算。对于图表200，也可以在立方体的内壁上指示图表图案，并且可以将成像装置12布置在图表图案的中心以捕获图像。这样，也可以类似地针对每个象限执行本实施例的其他处理。结果，鱼眼镜头的图像可以被校正为几乎没有畸变的图像，而不受视角的限制。除了视角为360°的情况外，还可以为小于360°的任意视角准备适当数量的平面，并且可以以相同的方式执行校正。此外，要准备的平面不限于立方体的表面，并且这些平面可以是包围球面的屏幕表面76的多面体的平面、包围球面的屏幕表面76的圆柱体的平面等。

除了如目前为止所述指定校正系数之外，还可将该方法应用于从在操作和显示图像期间捕获的图像没有畸变地生成图像的模式。例如，在包含鱼眼镜头的成像装置被设置在头戴式显示器上以显示捕获图像或绘制和显示虚拟对象的情况下，将该图像临时校正为中央投影的屏幕上的图像。此外，可以在每个屏幕上执行必要的处理，并且可以将图像再次投影到与用户的视线相对应的视图屏幕上，从而无畸变地有效地显示图像。

到目前为止，在说明书中主要说明了图8中的S30和S32的正向校正。另一方面，图9的S44中的处理确定校正后的图像平面中的像素值，并且该处理是用于从位置坐标获取捕获图像的位置坐标的反向校正。也可以通过使用反向校正来仅基于在临时校正后的图像上采样的特定像素来评估调整条件，来提高在S48中调整姿势的设置以使得网格线变得彼此正交的处理的处理效率、以及在S50中调整校正参数以消除失真的处理的处理效率。。

例如，通过使用根据S32描述的投影变换矩阵的逆矩阵的方法，可以容易地实现图8的S34中在反向校正中的投影变换。另一方面，图8的S36中校正由镜头引起的畸变的逆校正特别包括基于校正系数的使用畸变校正方程的校正的逆处理，并且逆校正需要设计。在本实施例中，如上所述执行“特定于鱼眼镜头的畸变校正和使用校正系数的校正”的集合。在逆校正中也使用该集合，使得校正变得实质上相反。

图13是用于描述镜头的畸变校正的逆校正方法的图。如图13的上部所示，该处理包括使用没有镜头畸变的图像82上的点Q(i2，j2)以获得具有镜头畸变的图像80中的对应点P(i1，j1)的处理(箭头B)。如上所述，正方向上的校正用于消除镜头畸变(箭头A)，并且校正也被用作逆校正中的校正。

具体地，如图13的下部所示，如下搜索起点，使得正向校正之后的终点在点Q(i2，j2)处。首先，在目标点Q(i2，j2)的位置处临时设置起点的初始值P0，并且执行正向校正。通过校正得到的终点Q0明显偏离目标点Q(i2，j2)。因此，例如，将点P0的位置坐标乘以偏移量的预定比例以移动起点。再次将正向校正应用于起点P1以获得终点Q1。

此外，将点P1的位置坐标乘以终点Q1和目标点Q(i2，j2)之间的偏差量的预定比例，以进一步移动起点，并且执行正向校正。重复该处理，直到终点的位置Qn落在距离目标点Q(i2，j2)预定范围内。将收敛时的起点Pn设置为畸变图像80中的逆校正的终点P(i1，j1)。

图14是用于描述图9的S46中由畸变校正单元34执行的搜索校正后的图像的网格线的方法的示例的图。图14示出了校正后图像中心附近的放大区域。例如，在图像区域中，定义围绕图像的中心84的预定长度的线段，并且在改变线段的角度和位置的同时获取该线段的像素值的总和。如果整个线段处于网格线的黑色区域中，则像素值最小，因此，确定处于这种状态的线段86。

接着，在中心84处将线段86分成相等的部分以获得两个线段，并且在沿图像平面的向下方向移动线段的同时获取每个线段的像素值的总和。当线段进入图表图案的白色矩形时，像素值的总和是大的。实际上使用阈值确定来检测这种状态。图14示出了处于该状态的线段88a和88b。这里，右线段88b比左线段88a更早到达白色矩形。结果发现，初始线段86相对于图表图案的网格线向下延伸至右侧。因此，将线段86向上向右调整预定角度，并且再次将通过划分线段86得到的线段向下移动以搜索白色矩形。基于划分线段到达白色矩形的时间调整原始线段的角度。

将该处理重复预定次数以找出图表图案的网格线的水平线的下边缘的近似角度和位置。同样，使用该角度和位置来定义线段，并且将线段划分以获得两条线段。在进一步沿图像平面的向下方向移动线段的同时，获取线段的像素值的总和。当线段进入图表图案的黑色网格线时，像素值的总和是小的。实际上使用阈值确定来检测这种状态。图14示出了处于该状态的线段90a和90b。在这种情况下，重复基于其中一个线段首先到达黑色网格线并再次搜索黑色网格线的角度调整处理。结果，找出了图标图案的网格线的水平线上边缘的近似角度和位置。

随后，在基于直线向上和向下调整角度的同时执行搜索，并且可以指定网格线的水平线的上边缘和下边缘的所有斜率和位置。也可以将类似的处理应用于网格线的垂直线，以指定左边缘和右边缘的斜率和位置。当在图9的S52中生成校正后的最终图像时，也执行类似的处理。在这种情况下，在由图表图案的网格线包围的白色矩形区域中进一步搜索具有黑色中心的区域，从而检测标记的图像。此外，获得标记的尺寸，并且将该尺寸与网格线的间隔一起使用以获取成像装置12的视点位置。

可以在大范围内检查如上所述指定的网格线的边界线的斜率和位置，并轻微调整以提高精度。图15是用于描述轻微调整表示网格线的边界线的线的方法的图。图15示出了在图像92中检测到的要搜索的矩形96，包括作为边的四条最外面的直线，并且示出了要调整的线94。首先，获取直线94和矩形96的交点98a和98b。

接着，将交点98a和98b设置为起点，以在图像的中心方向上定义具有与线94相同的斜率的预定长度的线段100a和100b。此外，使用类似于图14的方法的原理来获取线段100a和100b的像素值的总和，同时向上或向下移动线段100a和100b。这样，检测线段100a和100b进入白色矩形的时间，并且反射基于位置获得的直线的斜率以再次定义线段以重复搜索。根据该处理，可以在图像的两个边缘附近的单独位置处检测边界线的斜率和位置，并且在对线94进行调整之后连接边界线以提供线。

图16是示出在图9的S48中由畸变校正单元34执行的调整成像装置12的姿势的设置以使校正后的网格线的图像与图像平面的水平和垂直方向一致的过程的流程图。首先，对于如上文所述检测到的网格线的边界线中包括在图15的矩形96的边中的四条最外面的直线，获得距离图像平面的水平方向或垂直方向的斜率误差(S60)。随后，获取直线交点的位置坐标，并在捕获图像上指定校正四个点之前的位置坐标(S62)。可将反向校正应用于该处理。

此外，在消除S60中获得的误差的方向上调整成像装置12的姿势的设置(S64)，并且对姿势进行假设以校正四个点的位置坐标(S66)。此外，对于顶点位于校正后位置坐标处的矩形的每一侧，再次获得距离图像平面的水平方向或垂直方向的斜率误差(S68)。在误差等于或大于预定阈值(S70中为否)的情况下，重复S64到S68的处理。一旦误差变得小于阈值，则确定所设置的姿势是正确的，并且处理结束(S70中的是)。结果，通过仅跟踪四个点的校正状态，可以准确地获得成像装置12的姿势。

图17是示出在图9的S50中由畸变校正单元34执行的调整视角和畸变校正系数的过程的流程图。如上所述，在本实施例中，从捕获图像中消除由镜头引起的畸变，并且执行特定于鱼眼镜头的畸变校正和使用校正系数的校正。使用成像装置的视角和校正系数进行校正。另一方面，在图9的S44的处理中使用临时设置的值，并且网格线可以被畸变或倾斜。因此，在检查网格线线性度的同时调整参数，从而导出正确的参数。

首先，使用如图14和15所述的检测到的图表图案的网格线的边界线的信息，来以预定间隔提取将网格线的宽度划分为两个相等部分的中点组(S80)。接着，使用最小二乘法等将所提取的中点组近似为直线，并且获得从每个中点到直线的距离的总和作为误差(S82)。此外，在捕获图像上指定校正前的中点组的位置坐标(S84)。可将反向校正应用于该处理。此外，在消除在S82中获得的误差的方向上调整每个参数(S86)，并且当使用参数执行校正时获得校正后的中点组的位置坐标(S88)。

此外，如在S82中一样，获得距离近似直线的误差(S90)，并且在误差等于或大于阈值(S92中的否)的情况下，重复从S86到S90的处理。一旦误差变得小于阈值，则确定获得了正确的参数，并且处理结束(S92中的是)。在这种情况下，还可以通过跟踪有限个点的校正状态来有效地获得包括成像装置12的视角的参数。

图18是示出由伪图像绘制单元42执行的绘制伪图像的过程的流程图。该处理对应于图6的S14。伪图像绘制单元42首先如图10所示在虚拟三维空间中布置图表200的对象模型，并且进一步用如图16和17所示获得的成像装置12的姿势和视角来布置虚拟相机(S100)。为位置设置临时值。此外，准备虚拟相机的图像平面(S102)，并且将图像平面中的每个像素设置为起点以获得图表200上的对应位置。该处理对应于正向校正。

也就是说，如图8所述，对于要在其中最初显示畸变图像的虚拟相机的图像平面的每个像素(S104)，校正特定于鱼眼镜头的畸变，并且使用校正系数来执行校正(S106)。图17所示的成像装置12的每个参数的值被用于校正。此时，提供无镜头畸变的中心投影的像素阵列，并且使用根据虚拟相机的位置和姿势的通用投影变换来确定图表200的图案上的参考像素的位置坐标(S108)。

此外，从参考像素的位置参考像素值以确定虚拟相机的图像平面中的目标像素的像素值(S110)。将从S104到S110的处理应用于图像平面的所有像素(S112中的否)，并且一旦处理完成，处理结束(S112中的是)。将以这种方式生成的捕获图像的伪图像提供给畸变校正单元34。畸变校正单元34对图像应用如图9所述的相同处理。也就是说，畸变校正单元34使用在捕获图像的校正处理中获得的成关于像装置的各种参数来执行校正处理并生成无畸变的图像。

在这种情况下，也如图14和15所述在图像中搜索网格线。并且进一步检测标记以获取网格线的间隔和标记的位置。此外，将网格线的间隔和标记的位置与在图9的S52中获取的捕获图像的校正图像中的网格线的间隔和标记的位置分别进行比较。在虚拟相机的位置与实际位置不同的情况下，参数与为捕获图像获得的值不同。因此，视点调整单元44调整虚拟相机的视点位置以消除差异。例如，使伪图像绘制单元42在调整后的视点位置处再次绘制伪图像，并且对伪图像进行校正以进行调整，使得网格线的间隔和标记的位置与实际的网格线的间隔和标记的位置相匹配。

另一方面，通过仅使用经过对伪图像进行校正后的图像，可以使调整处理变得有效。也就是说，预先获得网格线的间隔与网格线的实际间隔之间的差异以及标记的位置与实际的标记位置之间的差异与消除差异所必需的视点位置的移动量之间的关系。使用基于实际差异的关系移动的视点位置是要获得的成像装置的位置。注意，在成像装置12是多镜头相机的情况下，将图6所示的处理应用于每个捕获图像。结果，可以得到每个相机的位置和姿势，并且可以用与通用相机的外部参数一样的方式使用位置和姿势。也就是说，在从每个相机捕获的图像中提取对应点时，可以使用位置和姿势来校正捕获的图像。

图19示出了由伪图像绘制单元42生成的实际伪图像。也就是说，图19示出了当布置在虚拟空间中的图表将被包括鱼眼镜头的虚拟相机捕获时的捕获图像。然而，虚拟相机的位置是由视点调整单元44进行调整之后的位置。结果，可以认识到获得了与图7的捕获图像50基本相同的图像。图20示出了图19所示的伪图像的校正之后的图像。在图7中的校正之后，该图像也基本上与图像52相同。

严格地说，在对实际捕获图像进行校正后的图像52中，畸变特性取决于图像上的位置而略有变化。因此，网格线可能会轻微畸变。然而，在图20的图像中没有这样的变化。因此，校正处理可以再现包括相互正交的网格线的图表图案。此外，通过校正伪图像而首次获得的图像中的网格线的间隔和标记的位置实际上不同于实际的网格线的间隔和标记的位置，这取决于虚拟相机的设置位置。可以调整视点的位置，使得网格线的间隔和标记的位置变为与实际的网格线的间隔和标记的位置相同，并且可以如图20所示获得与对捕获图像进行校正后的图像52基本上相同的图像。

图21示出了可应用于本实施例的图表200的图案的另一示例。所示图案被称为分形条形码，其在美国专利号7857232的说明书中公开。在分形条码中，二维条码的最小单位被布置在两行和两列中，并且该最小单位被进一步被布置在两行两列中。这样，提供了嵌套分层结构的重复图案，并且还可以在分层结构中提供要嵌入的信息。此外，每个条形码包括有关整个条形码位置的信息。因此，即使通过关闭成像装置仅成像条形码的部分区域，也可以获得必要的信息。

因此，可将分形条形码用作本实施例的图表图案的标记，或者可以在整个图表中布置多个分形条形码，以基本上指定成像装置相对于基于所捕获图像的图表的位置。因此，与原始设置相比，可以精确地设置伪图像绘制单元42中的虚拟相机，并且可以提高处理效率。此外，即使只对图表的一部分成像，也可以获得类似的效果，并且可以进一步减少成像中定位的必要性。例如，如果分形条形码位于鱼眼镜头的宽视野的一部分中，则可以执行校准。

图22示出了图表200的捕获图像，(a)示出了在移动终端的显示屏上显示包括网格和标记的图表图案的情况下的捕获图像，(b)示出了在电视接收机上显示包括分形条形码的图表图案的情况下的捕获图像。即使以这种方式显示在电子设备的屏幕上，图表的图案也可以清晰地成像。此外，在(b)分形条形码的情况下，即使如图所示仅成像部分区域，也可以执行校准。因此，普通用户可以使用户拥有的电子设备在操作期间以任意时间显示图表，从而容易地执行校准。

例如，可将图表显示在独立的监视器或电视接收器上，并且可以对包括在用户佩戴的头戴式显示器中的成像装置执行校准。这样，就可以找出头戴式显示器相对于监视器等的位置和姿势。可将该状态设置为起点，并且可以跟踪成像装置连续捕获的图像以跟踪头戴显示器的运动。此外，还可以找出视野中的对象与监视器之间的关系，方便地生成室内环境地图。同时定位和映射(SLAM)是一种分析图像以创建周围环境地图的技术。本实施例也可以应用于这样的图像分析技术。

图23是用于描述在操作期间使用包括广角镜头的成像装置的通用处理的系统与使用本实施例的处理的系统之间的区别的图。在(a)所示的通用处理中，主要使用图像平面上的二维校正信息。如(a)所示，执行图像处理，然后提供平面上的校正信息。可以根据校正信息来执行畸变校正等。结果，可以容易地执行图像处理，并且可以获得在显示图像时没有不适感的图像。为了达到这一目的，可以在校准的早期将鱼眼镜头捕获到的图像转换成平面信息。

另一方面，在本实施例中，可将鱼眼镜头的畸变用于校准以获得三维信息，诸如成像装置的位置和姿势与图表的位置和姿势之间的关系。从关于视点定义视野来看，视角也是三维信息。因此，如(b)所示，在操作期间为捕获的图像提供三维信息，并且可以获取三维空间中的几何信息。例如，这些信息可用于创建环境地图。结果可用于显著增加信息处理的变化。在显示结果的情况下，可以准确地表达更具吸引力的图像世界，诸如虚拟现实和增强现实。

根据上述本实施例，将鱼眼镜头用于对预定图案的图表进行成像以执行校准。在这种情况下，将由鱼眼镜头引起的畸变用于获得成像装置的视角。结果，可以知晓在一次成像中很难分离的视角和视点位置中的一个。此外，所获得的姿势可用于在从虚拟相机观看的图表模型上绘制图像，并将图像与实际图像进行比较，从而指定视点位置。

结果，也可以在没有固定图表和捕获图像的成像装置之间的间隔的负担、或没有改变成像装置的方向以多次重复捕获图像的负担的情况下获取通用参数，诸如校正系数。此外，为了校正镜头的畸变，首先将鱼眼镜头的等距投影图像校正为中心投影图像，然后应用通用的校正方程。这可以改善传统观测到的情况，即距离图像中心越远，校正精度越低。结果，可以从整个图像中获取信息，并且可以提高校准的精度和使用校准进行的信息处理。

为了从成像装置获得各种参数，在调整参数的同时重复校正，直到获得目标图像。在这种情况下，通过只关注目标图像中要评估的采样点并且跟踪调整引起的变化，可以有效地获得参数的最优值。本实施例正是使用鱼眼镜头从一个捕获图像获取三维信息。因此，在操作期间，可将本实施例用于三维空间中的几何处理，例如创建环境地图，并且可以增加使用捕获图像的处理的变化。

可将本实施例应用于多镜头相机，以获取所有相机的相对位置和姿势中的差异。这可以用来调整由每个相机捕获的图像的位置，并且通过使用这可以容易地获取被摄体的位置。在将多镜头相机的捕获图像连接以提供显示图像的拼接处理中，可以考虑相机的相对位置和姿势中的差异，以基于三维空间中的投影变换进行微调，并且可实现更精确的连接。

此外，还找出了捕获图像相对于图表的位置和姿势，并且在校准中不必严格定位图表和成像装置。即使仅成像部分区域，也可将分形条形码用作图表图案来指定成像装置的位置，并且这进一步增加了成像的自由度。还可以将图表显示在电子设备上，并且用户可以方便地进行校准，而不必考虑时间或地点。这可以用作随后连续获取信息的基础，并且可以提供与装置中的时间变化相关的最新校正环境。

已经基于实施例描述了本发明。该实施例是示例性的，并且本领域技术人员应当理解，可以针对构成元素和处理的组合进行各种修改，并且这些修改也在本发明的范围内。

例如，本实施例的畸变校正单元对校正图表的捕获图像的参数进行假设，并通过进行调整直到图像变得与原始图表图案等效来导出参数。在处理的时间过程中，畸变校正单元基于投影变换中的差异来执行特定于鱼眼镜头的畸变校正。另一方面，所述校正方法不仅可用于校准，还可用于对鱼眼相机捕获的任何图像的校正。

也就是说，如图11所示，将鱼眼相机捕获的室外或室内的图像转换为中心投影的图像。此外，根据需要应用使用校正系数的通用校正方程来执行校正，并且其被显示或用于信息处理。在这种情况下，可以精确地校正整个图像，并且可以最小化在具有宽视野的图像中经常发生的畸变。

此外，在本实施例中，如上所述，畸变校正单元调整诸如视角和校正系数之类的参数，并且伪图像绘制单元使用这些参数来设置虚拟相机。另一方面，可以使用其它方式来获取参数，并且伪图像绘制单元可以使用该数据来设置虚拟相机。例如，使用通用校准方法来获取校正系数，并且使用包括在成像装置中的运动传感器来获取成像装置的姿势。该结果可用于生成伪图像，并且可如在本实施例中那样调整虚拟相机的视点以指定成像装置的位置。

可选地，除了成像装置的位置之外，姿势也可能是未知的。在这种情况下，当调整虚拟相机的视点位置和视线向量时，可以检查作为调整结果获得的伪图像。可以将伪图像与捕获图像匹配时的视点位置和视线向量确定为成像装置的位置和姿势。为了与捕获图像进行比较，可以像在本实施例中那样使用校正后的图像中的网格线和标记来准确地评估重合度。

此外，尽管本实施例中的畸变校正单元34执行用于转换投影系统的校正、使用校正系数的通用校正、和基于姿势与参考状态的差异的投影变换的集合，但其中一个或两个可以不执行。例如，只要能够获得仅用于转换投影系统的校正所需的精度，就可以不执行使用校正系数的校正。此外，在成像装置显然直接面对图表的情况下，可以不执行投影变换。也可以通过这种方式获得类似于本实施例的有利效果。

实施例2

在实施例1中，在位置关系中将特定于鱼眼镜头的畸变基本上转换为中心投影的图像，在该位置关系中，成像装置的光轴与如图11所示的垂直于图表表面的线相匹配。根据该方法，可以通过简单的计算实现对图形的畸变校正。另一方面，镜头的角度越宽，在远离光轴的区域中的图案的校正精度可能越低。因此，在本实施例中，不管成像装置12的视角如何，都可以在整个捕获图像中进行精确校正。校准装置10的功能块的配置和校准的主要过程与图5和6中所示的类似。以下将主要描述与实施例1的区别。

图24示出了关于鱼眼镜头的位置和姿势不同的图表图案的捕获图像。图24的上部示出了当捕获到每个图像时屏幕表面和图表表面之间的位置关系的俯视图。在图24中，(a)示出了如实施例1所示的图表表面302a直接面对屏幕表面300的情况的捕获图像，(b)示出了垂直于图表表面302b的线相对于光轴oa向左倾斜45°的情况的捕获图像，并且(c)示出了垂直于图表表面302c的线相对于光轴oa向左倾斜90°的情况的捕获图像。

根据广角鱼眼镜头，可以捕获大范围的图表。因此，只要对图案进行成像，无论图表的位置和方向如何，只要图像能够以相同的精度进行校正，就可以通过一次成像来实现最大限度地利用鱼眼镜头特性的校正。因此，本实施例的畸变校正单元34和伪图像绘制单元42执行不同于实施例1的计算，以从所示的捕获图像恢复包括正交网格线的图表图案或生成捕获图像的伪图像。

首先，将描述由伪图像绘制单元42执行的生成伪图像的方法。图25、26和27是用于描述在本实施例中生成伪图像的过程的图。如图18所述，伪图像绘制单元42在与图10类似的虚拟三维空间中布置图表和虚拟相机的对象模型，并将与虚拟相机的屏幕表面相对应的图像平面的每个像素设置为起点，以获得在那里指示的图表上的位置。

在本实施例中，在图18的S106中的镜头的畸变校正中，屏幕表面最初是球面的，并且基于此，在三维空间中修改和旋转屏幕表面。图25、26和27所示的坐标系与图10类似，坐标系由平行于图表的XZ平面和与图表中心垂直相交的Y轴定义。首先，图25中的区域310表示初始状态，在该初始状态中，由XZ空间指示直接面对虚拟相机的屏幕表面中的图表图案的方形区域。

尽管屏幕表面实际上是沿Y轴方向弯曲的，但是XZ空间中的区域310对应于从前面观看原始图表图案的状态。以下处理对应于获得考虑屏幕表面的曲线时投影到区域310的每个像素上的图表图案的位置变化。注意，在此阶段，视点与原点匹配。

通过对区域310应用使用校正系数的通用畸变校正的逆校正来获得区域312。可将图13所示的递归方法用于该处理。然而，这里只考虑使用镜头畸变校正系数和切向畸变校正系数的通用畸变校正计算。此外，尽管在实施例1中示出了直到第六阶的校正方程，但是可以包括更高阶的项。在提供用于校正桶形畸变的系数的情况下，区域312具有如图所示的尖凹形状。

如上所述，屏幕表面实际上附着在围绕视点的球面上。因此，当要改变虚拟相机的姿势时，可以根据滚动角r、倾斜角q和摇摄角p来旋转处于球面状态的屏幕表面，以准确地反映原始情况。在滚动方向上的旋转是围绕三维空间的Y轴的旋转，即在XZ平面上的旋转。在所示的示例中，将屏幕表面旋转滚动角r＝10°以提供区域314。下部示出从上方俯视成像环境时XY空间中的区域314的状态。如下部所示，区域314被视为附着到镜头的球面上。

参照图26，在倾斜方向上的旋转是围绕三维空间中X轴的旋转。在所示示例中，将图25的区域314旋转倾斜角q＝10°以获得区域316，并且示出了区域316的俯视图。在摇摄方向上的旋转是围绕三维空间中Z轴的旋转。在所示的示例中，将区域316旋转摇摄角p＝10°以获得区域318，并且示出了区域318的俯视图。在视点不在原点的情况下，将球面在三维空间中进一步平行移动。在所示的示例中，将球面移动到距离图表平面200mm处以提供区域320。注意，摇摄、倾斜、滚动和平行移动的顺序不限于图示的顺序。

图27示出了将图表的图像投影到变换后的屏幕表面的状态。在图27中，(a)示出了如图26所示的变换后的屏幕表面区域320的俯视图和图表322。作为所示变换的结果，找出XZ空间中区域310的每个像素位移之后在三维空间中的位置。因此，对于每个像素，获得从虚拟相机的视点324到位移后的位置的向量326。在图表322上显示为像素上的图像的点328存在于向量326的扩展位置处。

也就是说，可以为每个像素获得向量326以获取显示在像素上的图表图案上的位置。在图27中，(b)示出了投影到区域320上的图表322上的区域。由于桶形畸变的逆校正，该区域整体上具有尖凹形状。此外，由于对虚拟相机的姿势应用了正向的摇摄、倾斜和滚动的旋转，如图所示形成了具有不对称畸变的区域。该区域的图像可以被布置为原始图像平面的像素，以生成鱼眼镜头捕获的伪图像。

作为该过程的结果，基本上可以生成不受视角限制的伪图像。图28和29示出了可以在本实施例中生成的伪图像的示例。图28和29示出了将图表图案显示在立方体的六个表面中的每一个表面内、并且将虚拟相机的视点放置在中心的情况。注意，图表的颜色因表面而异。图28示出了虚拟相机的姿势改变140°的水平视角时的伪图像。

其中，如左侧俯视图所示，(a)示出了在虚拟相机直接面对立方体的表面330的状态下生成的伪图像，即当与该表面平行的表面被定义为XZ平面时，摇摄角、倾斜角和滚动角都是0°。如右侧俯视图所示，(b)示出了在摇摄角为30°且倾斜角和滚动角为0°的状态下的伪图像。并且如左侧俯视图所示，(c)示出了在倾斜角为45°且摇摄角和滚动角为0°的状态下的伪图像。如右侧透视图所示，(d)示出了在摇摄角为60°、倾斜角为20°、滚动角为45°的状态下的伪图像。

图29示出了在虚拟相机直接面对立方体的一个表面的状态下改变虚拟相机的水平视角时的伪图像。(a)中的水平视角为90°。视点位于立方体的中心，因此，图表图像的宽度与捕获图像的宽度相匹配。(b)中水平视角为140°，(c)中的水平视角为180°。在(c)的情况下，立方体左、右表面的前半部分处于视角中。(d)中的水平视角为270°，并且(e)中的水平视角为360°。

在(e)的情况下，立方体的六个表面中在光轴反向中的表面是视野的外围区域中，并且该表面上的图表中心的标记被显示在视野边缘的圆周上。这样，根据本实施例的方法，可以真实地再现取决于虚拟相机的姿势和视角的捕获图像中的变化。另外，也可以反射出通用镜头的畸变，诸如桶形畸变。

接下来，将描述当屏幕表面附着到球面时从XZ空间中定义的像素的二维坐标获取三维空间中的位置坐标的方法。图30示出了用于计算的参数的定义。在图30中，(a)示出了从上面俯视三维空间的状态，并且(b)示出了XZ空间。如图25的区域310一样，图像平面340表示成像图表图案的区域。每个像素的位置坐标用(i，j)表示，其中原点在左下角。

图像平面340中的图表322的水平方向和垂直方向上的尺寸对应于图像平面340的水平像素的数量imax和垂直像素的数量jmax。此外，当将从视点324到图表322的水平方向上的角度范围定义为θ时，对应于水平方向上1°视角的图像平面340的像素数量(像素密度)dens如下。

dens＝imax/(2*θ)

图31和32示意性地示出了获得与图像平面中的位置坐标(i，j)相对应的三维空间中的位置坐标的过程。首先，图31的上部示出的(a)示出了图像平面340上的位置坐标(i，j)。将位置坐标(i，j)转换成原点在图像平面340的中心的XZ空间中的位置坐标，并执行镜头畸变校正的逆校正。使用通用镜头畸变和切向畸变的方程来执行如图13所述的校正。以这种方式获得的坐标称为(x1，z1)。

尽管从XZ空间的原点到(x1，z1)的线342在XZ空间中是线性的，但如(a)的右侧所示，线342围绕着三维空间中的单位球面。因此，将位置坐标(x1，z1)变换为包括下半部分的(b)中所示的经度和纬度的二维空间中的位置坐标。假设Y轴上的Y＝1点是经度和纬度空间的原点，变换后的经度PP和纬度QQ如下。

PP＝x1/dens

QQ＝z1/dens

(b)中心的图示出了单位球面中经度PP和纬度QQ的透视图。此外，在右边缘的图中，提取并示出了包括从原点到经纬平面中的坐标(PP，QQ)的线342的平面344。如(b)中所示，围绕在单位球面上的线342的角R是经度PP和纬度QQ的组合的角，并且如下所示获得。

R＝(PP²+QQ²)^1/2

此外，线342与经度和纬度空间中的经轴的角tt对应于包括线342的平面344与XY平面的角度，并且如下所示获得。

tt＝atan(QQ/PP)

为了获得三维空间中坐标(PP，QQ)的位置坐标(x3，y3，z3)，首先将平面344旋转角tt以使平面344与XY平面对齐，如图32的上部(a)所示。

作为变换的结果，线342变为线346，并且使用以下方程将经度和纬度平面中的位置坐标(PP，QQ)变换为XY平面的位置坐标(x2，y2)。

x2＝sin(R)

y2＝cos(R)

即使在旋转之后，XYZ空间中的位置坐标(PP，QQ)的Y坐标也保持不变，并且y2正是要获得的三维空间中的位置坐标(x3，y3，z3)的Y坐标y3。

此外，如下部(b)所示，以这种方式旋转的平面这次以角tt反向旋转以恢复原始平面344(然而，在XYZ空间中定义的)，并且最终获得位置坐标(PP，QQ)在XYZ空间中的位置坐标(x3，y3，z3)，如下所示。

x3＝x2*cos(tt)

y3＝y2

z3＝x2*sin(tt)

可将该处理应用于图30所示的图像平面340的所有像素，以将图像平面变换为三维空间的屏幕表面。根据虚拟相机的姿势(摇摄角p、倾斜角q、滚动角r)进一步变换屏幕表面。在这种情况下，可以在如图32的(b)中所示旋转角度tt的同时进行关于Y轴的在滚动方向上的旋转。这种情况下的变换方程如下。

x3＝x2*cos(tt+r)

y3＝y2

z3＝x2*sin(tt+r)

此外，可通过以下变换方程获得在倾斜方向旋转后的位置坐标(x4，y4，z4)。

x4＝x3

y4＝y3*cos(q)+z3*sin(q)

z4＝y3*sin(q)+z3*cos(q)

此外，可以通过下面的变换方程获得沿摇摄方向旋转后的位置坐标(x5，y5，z5)。

x5＝y4*cos(p)+z4*sin(p)

y5＝y4*sin(p)+z4*cos(p)

z5＝z4

此外，在视点的位置坐标偏离原点(Δx，Δy，Δz)的情况下，进一步获得平行移动的位置坐标(x6，y6，z6)，如下所示。

x6＝x5+Dx

y6＝y5+Dy

z6＝z5+Dz

该处理可以实现到图27所示的区域320的变换，并且可以由从视点到变换后的位置坐标的向量326来指定图表322上的对应点328。可以将点328设置为采样点，并且可以适当地应用双线性插值等来确定像素值。结果，可以生成如图28和29所示的伪图像。

图31和32中所示的从二维空间到三维空间的变换处理是可逆的。也就是说，从对应于原始图表图案的二维空间中的(i，j)的像素阵列中获得三维空间的位置坐标(x3，y3，z3)的过程可以溯回，以从位置坐标(x3，y3，z3)中获得原始图表图案的图像的位置坐标(i，j)。换言之，可以从定义特定于鱼眼镜头的畸变的三维信息生成没有畸变的二维信息。

在本实施例中，畸变校正单元34使用此来执行与生成由伪图像绘制单元42执行的伪图像的处理相反的处理，从而校正捕获图像中的图表图案的图像。尽管畸变校正单元34的基本动作如图9所示，但是在S44、S50和S52中执行的畸变校正中，畸变校正单元34执行与生成图31和32所示的伪图像的处理相反的处理。由于可逆性，仅需要将图13所示的递归变换处理应用于使用校正系数的通用畸变校正的逆处理。

图33是示出由畸变校正单元34执行的将畸变校正应用于捕获图像的图表图案的图像的过程的流程图。首先，设置捕获图像中的目标像素，并且从目标像素的位置坐标获取三维空间中的位置坐标(x7、y7、z7)(S200)。在图24所示的等距投影的捕获图像中，像素的位置可以用原点在图像中心的极坐标(r，θ)表示。这里，当光轴被设置为在三维空间中垂直向上时，距离图像中心的距离r与天顶角成正比，并且距离参考轴的角θ表示三维空间中的方位角。

因此，可以容易地从捕获图像中的像素位置获取三维空间中的位置坐标(x7、y7、z7)。此外，如下所示获得从视点到目标像素的单位向量(x8、y8、z8)。

x8＝x7/(x7²+y7²+z7²)^1/2

y8＝y7/(x7²+y7²+z7²)^1/2

z8＝z7/(x7²+y7²+z7²)^1/2

接着，令原点处于视点处来执行与图32中的(b)相反的处理。也就是说，将连接原点和位置坐标(x8、y8、z8)的线旋转，使该线位于XY平面上(S204)。在这种情况下可以如下获得旋转角tta。

tta＝atan(z8/x8)

此外，旋转将位置坐标(x8、y8、z8)更改为以下位置坐标(x9、y9、z9)。

x9＝x8/cos(tta)

y9＝y8

z9＝0

随后，执行与图32中的(a)相反的处理。也就是说，获得绕单位球面的Z平面中的位置坐标(x9，y9)的角Ra(S206)，并且将角Ra反向旋转角tta以恢复该角，从而如下获得经度Pa1和纬度Qa1(S208)。

Ra＝atan(x9/y9)

Pa1＝Ra*cos(tta)

Qa1＝Ra*sin(tta)

此外，与图31的(b)相反，如下所示使用像素密度dens(即每1°视角的像素数量)来获得XZ空间中的位置坐标(x10，z10)(S210)，。

x10＝Pa1*dens

z10＝Qa1*dens

此外，与图31的(a)相反，使用通用镜头畸变和切向畸变的方程的校正被应用于将原点移动到左下方以获得原始图像平面中的位置坐标(S212)。对图表图案的图像的每个像素执行S200到S212的处理(S214中的否)，并且一旦获得所有像素的变换后的位置坐标，则处理结束(S214中的是)。该处理可以获得其中图表图案的网格基本上是线性的图像。能够获得网格的正交性的搜索成像装置的姿势的处理、以及能够在执行所示出的畸变校正时获得更精确的直线的搜索视角和校正系数的处理与实施例1类似。

附带地，在本实施例中，接受广泛范围内的图表图案的位置和姿势，并且如图24所示，存在捕获图像中图表图案的图像的各种位置。因此，优选地，畸变校正单元34预先搜索捕获图像中的图表图案的近似区域和三维空间中的图表图案的近似方向。

图34是示出由畸变校正单元34执行的检测图表图案的区域的过程的流程图。畸变校正单元34首先将捕获图像划分为区域(S220)。例如，在水平方向和垂直方向上，将视角除以预定的数字，以将捕获图像划分成与每个角度范围相对应的图像上的区域。例如，在210°视角的成像装置的情况下，每隔70°划分捕获图像以获得3×3区域。接着，将其中一个区域设置为目标，并且以预定的放大率将该区域的图像扩展到单独准备的图像平面中(S222)。

随后，从扩展的部分图像中搜索图表图案的网格线的水平线(S224)。图14所示的方法可用于搜索。作为搜索的结果，在未获得有效的角度或位置的情况下(S226中的否)，通过改变图像在同一区域中的放大率或再次设置下一区域作为目标来重复对水平线的搜索(S222、S224)。

一旦在搜索水平线中获得有效的结果(S266中的是)，则类似地搜索垂直线(S208)。作为垂直线搜索的结果，在未获得有效的结果的情况下(S230中的否)，通过改变同一区域中的放大率或再次设置下一区域作为目标来再次执行垂直线搜索(S222到S228)。这样，一旦在搜索垂直线中也获得有效结果(S230中的是)，则确定该区域是成像图表图案的区域(S232)，并且搜索处理结束。

将畸变校正处理应用于在处理中检测到的图表图案的图像的区域，并且将基本上线性校正的图表图案用于获得成像装置12的姿势。实质性过程如图16所示。也就是说，交替地重复姿势的调整和直线斜率的获取，以使检测到的网格线的四条最外面的直线与图像平面的水平和垂直方向一致。

图35是用于描述基于图表图案的正交性的成像装置的姿势检测处理中要评估的参数的图。所示的矩形表示图像平面，并且内部所示的直线指示检测到的网格线的四条最外面的直线，或者指示两条彼此相对的直线。

首先，(a)示出了表示成像装置12的姿势的摇摄角、倾斜角和滚动角中的任何一个都没有误差的状态。在这种情况下，如图所示，网格的图像的四条直线与图像平面的水平方向和垂直方向平行。另一方面，(b)示出了在摇摄角有误差的情况下网格线的图像，(c)示出了在倾斜角有误差的情况下网格线的图像，并且(d)示出了在滚动角有误差的情况下网格线的图像。

例如，在(b)的状态下，将上下线的斜率之间的差epan评估为摇摄角的误差。例如，当右侧如图所示缩小时，差epan为正。在(c)的状态下，将左右线的斜率之间的差etil评估为倾斜角的误差。例如，当下侧如图所示缩小时，差etil为正。在(d)的状态下，将上、下、左、右直线的斜率的平均值erol评估为滚动角误差。如图所示，例如，平均值erol在逆时针方向为正。

在实施例1中，假设图表图案基本上是从正面成像的。因此，可以通过基于所示直线之间的关系来获取误差epan、etil和erol，并分别从设置的摇摄角、倾斜角和滚动角中减去epan、etil和erol来做出调整，以将角度收敛到正确的摇摄角、倾斜角和滚动角。另一方面，在如本实施例中所接受的图表图案与光轴平行的状态下，直线与旋转方向的位置关系与误差之间的对应关系可能会改变。

例如，在如图35的右侧俯视图所示的从视点324观看时图表360a直接面向光轴方向的情况下，由于在箭头所示的倾斜方向上的旋转，左侧和右侧直线之间的间隙的情况如(c)中所示那样改变。另一方面，在接近平行于光轴的图表360b紧靠光轴的情况下，由于在倾斜方向上的相同旋转，存在类似于如(d)中所示的在滚动方向上的原始旋转的变化。另一方面，如果图表在图表360b的状态下沿滚动方向旋转，则会出现与(c)中所示的倾斜方向上的原始旋转相似的变化。以这种方式，在滚动和倾斜之间切换评估参数。

类似地，在图表位于正上方或正下方的情况下，在滚动和摇摄之间切换评估参数。因此，根据情况来考虑切换，并且适当地组合误差epan、etil和erol来计算摇摄角p、倾斜角q和滚动角r中的误差。此外，可以从摇摄角p、倾斜角q和滚动角r的设定值中减去误差，直到误差变得小于阈值，并且无论图表的位置如何，都可以准确地获取成像装置的姿势。

一旦以这种方式获得了成像装置12的姿势，执行与图17所示的过程类似的过程来调整校正系数和视角，直到图表图案的网格的图像指示直线，从而确定校正系数和视角的最终值。图36示出了由畸变校正单元34执行的对捕获图像中的图表图案的图像进行的校正的结果。(a)，(b)和(c)的图像是分别从图24的(a)，(b)和(c)中所示的捕获图像生成的校正后的图像。

也就是说，(a)示出了图表表面302a直接面对屏幕表面300的情况下的捕获图像的校正结果，(b)示出了垂直于图表表面302b的线相对于光轴oa向左倾斜45°的情况下的捕获图像的校正结果，并且(c)示出了垂直于图表表面302c的线相对于光轴oa向左倾斜90°的情况下的捕获图像的校正结果。可以认识到，无论图表相对于镜头的位置或姿势如何，都可以顺利地恢复图表图案。

换言之，在不将图表放置在要捕获图像的视野中心的情况下，也可以准确地获得成像装置12的姿势、校正系数和视角。视点调整单元44将以这种方式恢复的图表图案与在应用于伪图像的类似处理中恢复的图表图案进行比较，以获取成像装置12的位置。这里，还使用与本实施例中描述的方法类似的方法来生成在调整视点时生成的伪图像。

在目前为止所描述的模式中，假设一个表面的图表图案的位置和姿势的可接受范围增加。这使得能够在图表图案的一部分位于视野的角落的状态下进行校准。结果，可以与校准并行地执行使用捕获图像的信息处理，诸如根据对象的运动对对象进行成像以处理游戏、以及根据捕获图像的视野生成显示图像。另一方面，如图28和29所示，图表图案可以包括多个表面，甚至成像整个天空的成像装置可以通过一次成像就精确地校准整个视野。

图37示出了通过从伪图像恢复每个表面的图表而获得的图像，其中，图表图案被指示在立方体内部，并且图像是以220°的视角捕获的，其中视点位于图表图案的中心。在这种情况下，三维空间的定义在图表的每个表面上都不同。因此，通过在图像上设置与包括每个表面的视角相对应的区域来执行校正处理，并且基于该单元执行校正处理。根据220°的视角，如(a)的捕获图像所示，对整个正面和上、下、左、右表面的一部分进行成像。可以为表面设置五个三维空间，并且可以对每个图像应用校正处理以生成如(b)所示的五个校正图像。如图所示，可以在捕获图像的范围内恢复所有表面的图表图案。

用捕获的图像替换图37中所示的情况，如(b)所示，将校正处理独立地应用于根据如(a)所示通过一次成像多个图表图案而获得的图像中的视角切出的每个区域。结果，可以精确地获得捕获图像的所有区域的校正系数。此外，还可以获得每个成像表面的视点和姿势的信息。因此，可以将该信息组合以更精确地获得成像装置的视点、姿势和视角。

图38示出了从假设以任意姿势成像立方体的内部的伪图像恢复表面的图表的结果。在图38中，(a)示出了在图28的(d)中示出的摇摄角为60°、倾斜角为20°、并且滚动角为45°的伪图像，并且(b)示出了在摇摄角为0°、倾斜角为0°、并且滚动角为0°时定位在前方的图表表面370的校正后的图像。在这种情况下，还仅从视野中的图表图案的部分中准确地再现了对应于原始图表图案的部分。

将图38中所示的情况替换为捕获图像，即使捕获(a)中所示的捕获图像时的姿势未知，并且即使校正系数和视角未知，也可以进行调整，直到获得如(b)中所示的原始图表图案。这样，就可以获得参数。

根据上述本实施例，将图像平面提供为球面屏幕表面，并且将其映射到三维空间中，以在校准中使用鱼眼镜头的特性精确地再现特定于鱼眼镜头的畸变。此外，将球面绕每个轴旋转以在图像上精确地反映成像装置的姿势的变化。在将包括图表图案的图像的区域映射到球面时，没有关于光轴的约束条件，并且无论图表图案在捕获图像中的位置如何，都可以执行类似的处理。

结果，通过再现实际情况提高了精度，并且此外，可以显著地增加成像时图表图案相对于视野的位置和姿势的可接受范围。这进一步使得能够在只有部分图表图案处于视野的状态下进行校准，并且与原始操作处理并行的处理可以提高校准的处理效率并保持操作处理的精度。

此外，由于从图像平面到球面的变换是可逆的过程，因此可以最小化设置到达点并搜索通往到达点的初始状态的处理，并且可以提高处理效率和校准的精度。此外，可以利用对图表图案的位置和姿势几乎没有限制的事实来使用具有多个表面的图表图案来覆盖捕获图像的视角，并且无论视角如何，都可以通过一次成像来实现精确的校准。因此，可将类似于实施例1所述的有利效果的有利效果应用于更宽阔的成像环境中，并且可以提高多功能性和便利性。

注意，在本实施例中，图表图案也不限于具有直线的网格，并且图表图案可以是另一种图案，诸如在实施例1中所述的分形条形码。此外，对校准装置的用途和处理的修改类似于实施例1中所述的修改。

[参考符号清单]

10 校准装置，

12 成像装置，

30 捕获图像获取单元，

34 畸变校正单元，

36 图像存储单元，

38 参数存储单元，

40 图表图像存储单元，

44 视点调整单元，

46 输出数据生成单元，

122 CPU，

124 GPU，

126 主存储器，

200 图表

[工业适用性]

这样，本发明可用于各种信息处理装置，诸如校准装置、成像装置、图像处理装置、显示装置、机器人和个人计算机，并且可用于包括其中任何一种的系统等。

Claims (18)

1.一种校准装置，包括：

捕获图像获取单元，其从包含鱼眼镜头的成像装置获取校准图表的捕获图像的数据；

校正单元，其基于与所述鱼眼镜头相对应的屏幕上的位置和在所述位置处成像的所述校准图表的表面上的位置之间的关系，对所述捕获图像进行校正，从而校正由所述鱼眼镜头引起的畸变，并且评估校正图像以导出关于所述成像装置的参数的值；

伪图像绘制单元，其在虚拟三维空间中布置虚拟相机和所述校准图表的对象模型，并且使用所述参数的值来执行与所述校正相反的处理，以生成所述捕获图像的伪图像，作为由所述虚拟相机捕获的图像；以及

视点调整单元，其将生成的伪图像和所述捕获图像进行比较，以导出所述成像装置相对于所述校准图表的位置。

2.根据权利要求1所述的校准装置，其中，

所述校正单元将通过对所述成像装置的视角做出假设校正由所述鱼眼镜头引起的所述畸变而获得的图像与所述校准图表的图案进行比较，以评估所述校正图像，并且基于所述评估的结果导出所述视角。

3.根据权利要求1所述的校准装置，其中，

所述校正单元还对所述成像装置的姿势做出假设，以执行所述校正图像的投影变换，并且将投影变换后的所述校正图像与所述校准图表的图案进行比较以进行评估，以基于所述评估的结果导出所述姿势。

4.根据权利要求1所述的校准装置，其中，

所述校正单元将与应用于所述捕获图像的校正相同的校正应用于所述生成的伪图像，并且

所述视点调整单元将校正的所述伪图像和所述捕获图像进行比较，以导出所述成像装置的所述位置。

5.根据权利要求1至4中任一项所述的校准装置，其中，

所述校正单元基于由到所述捕获图像中的每个像素位置的视线向量和光轴形成的角进行校正，然后基于从与鱼眼镜头中心相对应的位置到每个像素位置的距离进行校正。

6.根据权利要求1至4中任一项所述的校准装置，其中，

所述校正单元为所述捕获图像的每个像素获得三维空间中中心位于所述成像装置的视点处的球面上的位置坐标，所述三维空间由平行于所述校准图表的表面的图像平面和垂直于所述校准图表的表面的线定义；并且基于与所述位置坐标相对应的所述球面的经度和纬度坐标，将所述位置坐标变换为所述图像平面的空间中的位置坐标，从而校正由所述鱼眼镜头引起的所述畸变。

7.根据权利要求6所述的校准装置，其中，

所述捕获图像获取单元获取通过对以不同角度显示在多个表面中的每一个上的所述校准图表进行一次成像而获得的图像的数据，并且

所述校正单元为所述校准图表的每个表面定义对应的三维空间，以校正由所述鱼眼镜头引起的所述畸变，以导出所述参数的所述值。

8.根据权利要求1至4中任一项所述的校准装置，其中，

所述校正单元在调整所述参数的同时进行校正，并且重复对所述校正图像中的预定采样点的评估，以确定所述参数的所述值。

9.根据权利要求1所述的校准装置，其中，

所述校正单元根据所述成像装置的视角的范围分别校正由所述鱼眼镜头引起的所述畸变。

10.根据权利要求1至4中任一项所述的校准装置，其中，

所述捕获图像获取单元获取包括网格线的所述校准图表的所述捕获图像的所述数据，所述网格线包括在图像平面的水平方向和垂直方向延伸的多条直线，并且包括预定形状的标记，所述标记被布置在由所述直线包围的矩形区域中的预定位置处的矩形区域中。

11.根据权利要求1至4中任一项所述的校准装置，其中，

所述捕获图像获取单元获取包括嵌套条形码阵列的所述校准图表的所述捕获图像的所述数据，所述嵌套条形码阵列包括包含在上层二维条形码阵列中的多个下层二维条形码阵列。

12.一种校准装置，包括：

捕获图像获取单元，其从包含鱼眼镜头的成像装置获取校准图表的捕获图像的数据；

参数获取单元，其获取关于所述成像装置的参数的值；

伪图像绘制单元，其在虚拟三维空间中布置虚拟相机和所述校准图表的对象模型，并且使用所述参数的所述值来生成所述捕获图像的伪图像，作为由所述虚拟相机捕获的图像；以及

视点调整单元，其将所述生成的伪图像和所述捕获图像进行比较，以导出所述成像装置相对于所述校准图表的位置。

13.根据权利要求12所述的校准装置，其中，

所述伪图像绘制单元将平行于所述校准图表的表面的图像平面的像素的位置坐标变换为三维空间中中心位于所述虚拟相机的视点处的球面上的屏幕表面上的位置坐标，所述三维空间由所述图像平面和垂直于所述校准图表的所述表面的线定义；并且基于所述视点和所述变换后的球面上的屏幕表面上的所述位置坐标来为所述像素中的每一个获取所述校准图表的所述表面上的采样点，从而生成所述捕获图像的所述伪图像。

14.根据权利要求13所述的校准装置，其中，

所述伪图像绘制单元将所述图像平面的所述像素的所述位置坐标变换为所述球面的经度和纬度坐标，以得到所述球面上的对应位置，并且基于得到所述球面上的对应位置的结果，得到所述三维空间中所述变换后的所述位置坐标。

15.根据权利要求13或14所述的校准装置，其中，

所述参数获取单元获取关于所述成像装置的姿势的信息，并且

所述伪图像绘制单元基于所述姿势在所述三维空间中旋转所述球面，以将屏幕表面上的所述位置坐标变换为与所述姿势相对应的位置坐标。

16.一种校准系统，包括：

包含鱼眼镜头的成像装置；以及

根据权利要求1至15中任一项所述的校准装置。

17.一种由校准装置执行的校准方法，所述校准方法包括：

从包含鱼眼镜头的成像装置获取校准图表的捕获图像的数据的步骤；

基于与所述鱼眼镜头相对应的屏幕上的位置和在所述位置处成像的所述校准图表的表面上的位置之间的关系，对所述捕获图像进行校正，从而校正由所述鱼眼镜头引起的畸变的步骤；

评估所述校正图像以导出关于所述成像装置的参数的值的步骤；

在虚拟三维空间中布置虚拟相机和所述校准图表的对象模型，并且使用所述参数的值来执行与所述校正相反的处理，以生成所述捕获图像的伪图像，作为由所述虚拟相机捕获的图像的步骤；以及

将生成的伪图像和所述捕获图像进行比较，以导出所述成像装置相对于所述校准图表的位置的步骤。

18.一种其上记录有计算机程序的可读记录介质，当所述计算机程序由计算机执行时，其使所述计算机实现：

从包含鱼眼镜头的成像装置获取校准图表的捕获图像的数据的功能；

基于与所述鱼眼镜头相对应的屏幕上的位置和在所述位置处成像的所述校准图表的表面上的位置之间的关系，对所述捕获图像进行校正，从而校正由所述鱼眼镜头引起的畸变的功能；

评估所述校正图像以导出并输出关于所述成像装置的参数的值的功能；

在虚拟三维空间中布置虚拟相机和所述校准图表的对象模型，并且使用所述参数的值来执行与所述校正相反的处理，以生成所述捕获图像的伪图像，作为由所述虚拟相机捕获的图像的功能；以及

将生成的伪图像和所述捕获图像进行比较，以导出所述成像装置相对于所述校准图表的位置的功能。

Images