CN116471467A - 信息处理设备、信息处理方法、摄像设备、存储介质 - Google Patents

Abstract

本发明涉及信息处理设备、信息处理方法、摄像设备、存储介质。该信息处理设备包括：第一获取部件，其被配置为获取通过拍摄校准用的图的图像所获得的拍摄图像；第二获取部件，其被配置为获取基准图像，所述基准图像是所述图的用作基准的图像；第三获取部件，其被配置为获取与用于拍摄所述拍摄图像的镜头的畸变像差有关的信息；第一生成部件，其被配置为基于所述基准图像和与所述畸变像差有关的信息来生成伪图像，所述伪图像是通过将所述畸变像差反映在所述基准图像中所获得的图像；以及第二生成部件，其被配置为生成通过将所述拍摄图像和所述伪图像进行合成所获得的合成图像。

Description

信息处理设备、信息处理方法、摄像设备、存储介质

技术领域

本发明涉及用于获取用于使照相机和图(chart)在位置上对准的信息的信息处理技术。

背景技术

近年来，在图像制作的领域中，称为视觉特效(VFX)的技术已引起关注。VFX是用于实现非现实的画面特效(视觉特效)的技术，并且通过将计算机图形(CG)和实景图像合成来实现。这里，根据摄像镜头，当在不考虑镜头的畸变量的情况下将CG和实景图像合成时，在具有镜头畸变像差的实景图像和没有镜头畸变像差的CG图像之间发生差异。因此，在后期制作中，需要首先针对镜头畸变像差校正实景图像，并将校正后的实景图像与CG图像合成，然后对合成图像进行畸变处理。

通过从照相机(镜头)获取畸变信息作为元数据，根据像高的畸变像差校正变得可能。然而，根据摄像镜头，可能无法获取畸变信息。为了在不能获取畸变信息的情况下计算镜头畸变量，通常，在实景拍摄期间拍摄黑白格子部分重复排列的格子状校准图(calibration chart)，并且随后，在后期制作中，使用专用应用来根据拍摄图像计算镜头畸变量。利用涉及拍摄校准图的图像的该方法，需要准确地进行图和照相机的位置对准(位置、姿势)。摄像的现状是图和照相机的位置对准由用户从视觉上进行，因此不能实现准确对准。

日本特开2014-155086公开了如下的方法：将用作用于调整视角的基准的基准图像存储在视角调整设备(照相机)中，并且将未经过视角调整的照相机的运动图像与基准图像合成并显示在显示装置上。

日本专利6859442公开了如下的方法：假定使用鱼眼镜头，将用作摄像的被摄体的格子状图信息(模型数据)存储在摄像设备中，并且根据拍摄图像和图信息估计镜头畸变量。

然而，上述的日本特开2014-155086没有考虑安装用于获取运动图像的照相机的镜头的畸变。因此，在镜头的畸变像差大的情况下，在以叠加方式显示的基准图像与拍摄到的运动图像之间在周边视角处(在高的像高处)将存在大的偏离，这使得位置对准困难。

此外，上述的日本专利6859442公开了如下的方法：假定使用鱼眼镜头，获取到基准图像信息(图模型数据)和从拍摄图像估计的镜头畸变参数，然后估计摄像设备的位置和姿势。然而，没有提及使图和摄像设备在位置上对准的方法。

发明内容

本发明是有鉴于上述问题而做出的，并且本发明提供能够获取用于进行图和摄像设备的相对位置对准的信息的信息处理设备。

根据本发明的第一方面，提供了一种信息处理设备，包括：第一获取部件，其被配置为获取通过拍摄校准用的图的图像所获得的拍摄图像；第二获取部件，其被配置为获取基准图像，所述基准图像是所述图的用作基准的图像；第三获取部件，其被配置为获取与用于拍摄所述拍摄图像的镜头的畸变像差有关的信息；第一生成部件，其被配置为基于所述基准图像和与所述畸变像差有关的信息来生成伪图像，所述伪图像是通过将所述畸变像差反映在所述基准图像中所获得的图像；以及第二生成部件，其被配置为生成通过将所述拍摄图像和所述伪图像进行合成所获得的合成图像。

根据本发明的第二方面，提供了一种摄像设备，包括：镜头；图像传感器，用于拍摄拍摄图像；以及上述的信息处理设备。

根据本发明的第三方面，提供了一种信息处理方法，包括：执行第一获取，所述第一获取用于获取通过拍摄校准用的图的图像所获得的拍摄图像；执行第二获取，所述第二获取用于获取基准图像，所述基准图像是所述图的用作基准的图像；执行第三获取，所述第三获取用于获取与用于拍摄所述拍摄图像的镜头的畸变像差有关的信息；执行第一生成，所述第一生成用于基于所述基准图像和与所述畸变像差有关的信息来生成伪图像，所述伪图像是通过将所述畸变像差反映在所述基准图像中所获得的图像；以及执行第二生成，所述第二生成用于生成通过将所述拍摄图像和所述伪图像进行合成所获得的合成图像。

根据本发明的第四方面，提供了一种非暂时性计算机可读存储介质，其存储有计算机程序，所述计算机程序用于使计算机执行信息处理方法的步骤，所述信息处理方法包括：执行第一获取，所述第一获取用于获取通过拍摄校准用的图的图像所获得的拍摄图像；执行第二获取，所述第二获取用于获取基准图像，所述基准图像是所述图的用作基准的图像；执行第三获取，所述第三获取用于获取与用于拍摄所述拍摄图像的镜头的畸变像差有关的信息；执行第一生成，所述第一生成用于基于所述基准图像和与所述畸变像差有关的信息来生成伪图像，所述伪图像是通过将所述畸变像差反映在所述基准图像中所获得的图像；以及执行第二生成，所述第二生成用于生成通过将所述拍摄图像和所述伪图像进行合成所获得的合成图像。

通过以下参考附图对典型实施例的说明，本发明的更多特征将变得明显。

附图说明

图1是示出根据本发明第一实施例的摄像设备的结构的框图。

图2是示出摄像设备的校准处理的流程图。

图3是示出基本位置对准处理的流程图。

图4A至图4D是例示基本位置对准处理期间的显示画面的图。

图5是示出位置对准处理的流程图。

图6A至图6C是例示用于估计镜头畸变量的处理的图。

图7A至图7C是例示位置对准处理期间的显示画面的图。

图8是示出第二实施例的位置对准处理的流程图。

图9A至图9E是例示第二实施例中的用于根据拍摄图像和伪图像计算偏离程度的处理的图。

图10A至图10C是例示基于偏离程度的指示器的显示画面的图。

图11是示出第三实施例中的校准处理的流程图。

图12是示出第三实施例中的视角对准处理的流程图。

图13A是示出第三实施例中的用于计算图和拍摄图像之间的差的处理的流程图。

图13B是示出第四实施例中的用于计算图和拍摄图像之间的差的处理的流程图。

图14是示出第三实施例中的用于计算照相机移动量的处理的流程图。

图15A至图15D是例示第三实施例中的照相机移动量的计算的图。

图16A至图16D是例示第三实施例中的照相机移动量的计算的图。

图17A至图17D是例示第三实施例中的照相机移动量的计算的图。

图18A和图18B是例示第三实施例中的在视角对准期间和在视角对准完成之后的照相机显示的图。

图19是例示第三实施例中的用于计算图和拍摄图像之间的差的处理的图。

具体实施方式

在下文，将参考附图来详细说明实施例。注意，以下实施例并不旨在限制所要求保护的发明的范围。在实施例中描述了多个特征，但没有限制成需要所有这些特征的发明，并且可以适当地组合多个这些特征。此外，在附图中，将相同的附图标记赋予给相同或类似的配置，并且省略了其冗余说明。

第一实施例

摄像设备的结构

在下文，将说明作为本发明的信息处理设备的第一实施例的摄像设备的结构。图1是示出摄像设备100的结构的框图。

在图1中，摄像设备100被构成为包括摄像控制装置130和可更换地安装到摄像控制装置130的摄像镜头110。摄像设备100的示例包括但不限于能够拍摄被摄体的图像并将运动图像或静止图像数据记录到各种记录介质的摄像机和静态照相机。在下文，摄像设备100将被描述为照相机100。

计算装置136控制整个摄像控制装置130。此外，计算装置136经由电触点单元150向镜头控制单元121发送用于驱动摄像镜头110中所配备的透镜组和光圈的命令、以及用于使摄像镜头110将自身中所保持的镜头信息(光学信息等)发送到摄像控制装置130的命令。

摄像镜头110被构成为配备有摄像光学系统的镜头单元，该摄像光学系统包括固定透镜组111、变焦透镜112、光圈113、图像稳定透镜114和调焦透镜115。此外，用于驱动透镜和光圈的驱动单元经由总线122连接到镜头控制单元121，并且由镜头控制单元121控制。镜头控制单元121根据来自计算装置136的命令，经由变焦驱动单元116、光圈驱动单元117、图像稳定驱动单元118和调焦驱动单元119来控制各种透镜和光圈。

光圈驱动单元117通过驱动光圈113，调整光圈113的孔径以调整摄像期间的光量。变焦驱动单元116通过驱动变焦透镜112来改变焦距。图像稳定驱动单元118响应于摄像镜头110的抖动，通过驱动图像稳定透镜114来减少由照相机抖动引起的图像模糊。调焦驱动单元119通过驱动调焦透镜115来控制焦点状态。透镜111、112、114和115在图1中被简洁地示出为单个透镜，但通常由多个透镜构成。

在电触点单元150中布置有分别与在摄像镜头110和摄像控制装置130之间的通信中使用的两个通信线相对应的电触点(摄像镜头侧的端子/摄像控制装置侧的端子)。镜头控制单元121经由电触点单元150与摄像控制装置130进行通信，并且根据来自镜头操作单元120的操作信息来控制变焦驱动单元116、光圈驱动单元117和调焦驱动单元119的驱动。此外，镜头控制单元121经由电触点单元150与摄像控制装置130进行通信，并且接收来自计算装置136的命令。此外，基于来自摄像控制装置130侧的发送请求来发送摄像镜头110中所保持的镜头信息(光学信息等)(在下文，镜头控制单元121和计算装置136之间的通信将被称为镜头通信)。

镜头操作单元120配备有操作构件，诸如变焦操作环、调焦操作环、光圈操作环和用于将镜头内图像稳定开启/关闭(ON/OFF)的操作开关。当用户操作这些操作构件中的各操作构件时，操作指示信号被输出到镜头控制单元121，并且镜头控制单元121进行适合于该操作的控制。

由通过摄像镜头110的摄像光学系统的光束在图像传感器131上形成的被摄体图像被图像传感器131转换成电信号。图像传感器131是通过光电转换将被摄体图像(光学图像)转换为电信号的光电转换装置。通过对在图像传感器131上形成的被摄体图像进行光电转换所获得的电信号由摄像信号处理单元132处理为图像信号(图像数据)。

图像传感器控制单元133从计算装置136接收表示图像传感器131的存储时间和要从图像传感器131输出到摄像信号处理单元132的增益的值的指示，并且控制图像传感器131。

从摄像信号处理单元132输出的图像数据被发送到图像传感器控制单元133，并暂时存储在易失性存储器138中。此外，该图像数据在图像处理单元137中经过诸如校正处理和压缩处理等的处理之后，被记录到诸如存储卡等的存储介质143。

与此并行地，显示控制单元141基于来自计算装置136的命令，进行用于将易失性存储器138中所存储的图像数据缩小/放大为对于显示单元140(诸如摄像控制装置130中所安装的显示器等)的最佳大小的处理。被处理成最佳大小的图像数据再次暂时存储在易失性存储器138中的与处理之前不同的区域中。此外，显示控制单元141利用字符和图标等将诸如曝光设置等的摄像信息叠加在图像数据上。通过将叠加有各种信息的图像数据发送到显示单元140来显示图像。由此，用户能够实时地观察拍摄图像(在下文，可以实时地观察的图像将被称为实时取景图像)。显示控制单元141还控制用于将伪图像(pseudo image)叠加在本实施例中实现的拍摄图像上的处理。

图像稳定控制单元135基于来自计算装置136的命令，经由图像稳定驱动单元134在校正由于照相机抖动而引起的图像模糊的方向上控制图像传感器131。图像稳定驱动单元134也可以与摄像镜头110的图像稳定驱动单元118连动地被驱动，从而使得能够在比仅由图像稳定驱动单元134进行图像稳定时甚至更大的范围内实现图像稳定。

操作单元142是使得用户能够指示摄像控制装置130中所配备的各种单元的操作构件，并且例如包括控制诸如摄像和焦点调整等的操作的操作开关、操作环、操作杆或显示单元140上所安装的触摸面板。通过用户对操作单元142的操作所输入的与照相机100的驱动条件有关的指示被发送到计算装置136。然后，计算装置136基于该操作指示信号向各个单元发送命令。

易失性存储器138不仅用于暂时存储上述图像数据，而且还用于存储在利用摄像控制装置130的各个单元的处理中使用的临时数据以及从摄像镜头110获取到的镜头信息等。

非易失性存储器139存储照相机100的操作所需的控制程序。当通过用户操作启动照相机100时(当照相机100从电源断开(OFF)转变到电源接通(ON)时)，非易失性存储器139中所存储的控制程序被读取(加载)到易失性存储器138的一部分。计算装置136根据加载在易失性存储器138中的控制程序来控制照相机100的操作。非易失性存储器139还是可写的，并且具有分别存储在本实施例中使用的图信息和与畸变像差有关的信息的图信息存储单元139a和镜头畸变信息存储单元139b。

存储介质143是诸如SD卡等的可读可写存储卡，并且是为了保存拍摄图像(运动图像或静止图像)、以及与图像相关联的元数据等而使用的。还设想将存储介质143将代替非易失性存储器139的图信息存储单元139a和镜头畸变信息存储单元139b而使用。

校准处理的概述

接着，将使用图2来概述校准处理。在本实施例中，为了校正摄像镜头110的畸变像差，实际上需要利用照相机100拍摄像差校正所用的校准图的图像。校准处理是指如下的操作，该操作涉及将校准图和照相机100在位置上对准，然后利用照相机100拍摄校准图的图像并获取与摄像镜头110的畸变像差有关的信息。

以下说明假定上述摄像控制在执行校准处理之前开始，并且用户能够观察实时取景图像。此外，在用户经由操作单元142从显示单元140上显示的菜单中选择执行校准处理之后，进行校准操作本身。此外，以下说明假定照相机100所拍摄到的图的图像始终聚焦。聚焦可以手动地或通过自动调焦来进行，并且在方法方面不受特别限制。

首先，在步骤S201中，计算装置136开始校准处理并使处理进入步骤S202。

在步骤S202中，计算装置136开启校准模式。具体地，计算装置136将易失性存储器138中所存储的校准模式的标志改变为开启(ON)。

在步骤S203中，计算装置136进行照相机100和校准图的基本位置对准处理。在该基本位置对准处理中，在初始位置对准时进行照相机100的光轴中心与校准图的中心的粗略位置对准以及摄像视角的对准。后面将详细说明该基本位置对准处理。

在步骤S204中，计算装置136判断步骤S203的基本位置对准处理是否完成。如果基本位置对准处理完成，则计算装置136使处理进入步骤S205，并且如果基本位置对准处理未完成(例如，在基本位置对准期间发生了错误或者用户停止了处理)，则使处理进入步骤S208。

在步骤S205中，计算装置136进行照相机100和校准图的位置对准处理。在该位置对准处理中，与步骤S203的基本位置对准处理相比，计算装置136在检查图像的周边(高的像高)部分的同时进行详细位置对准，并且将照相机100和校准图设置处于可以进行用于计算镜头的畸变量的摄像的状态。后面将详细说明该位置对准处理。

在步骤S206中，计算装置136判断步骤S205的位置对准处理是否完成。如果位置对准完成，则计算装置136使处理进入步骤S207，并且如果位置对准未完成(在位置对准期间发生了错误或者用户停止了处理)，则使处理进入步骤S208。

在步骤S207中，计算装置136在设置了位置对准处理完成的照相机100和图之后，拍摄校准图的图像。计算装置136将拍摄图像保存到存储介质143，并且使处理进入步骤S208。

在步骤S208中，计算装置136关闭校准模式。然后，计算装置136使处理进入步骤S209并结束校准处理。

设想将利用多个摄像镜头或者在变焦透镜的情况下在多个焦距处进行实际摄像。在这种情况下，针对每个摄像镜头或每个焦距重复地执行图2中的步骤S201至S209的处理。

通过执行上述处理，可以在准确地进行了校准图和照相机的位置对准之后获取用于计算镜头的畸变量的图像。在VFX合成的后期制作中，通过使用专用应用来根据该拍摄图像计算镜头的畸变量，并将该畸变量用在各种合成处理中。

基本位置对准处理

接着，将使用图3来详细说明图2的步骤S203中的基本位置对准处理的操作。本实施例中的流程图的处理由计算装置136基于在照相机100启动时从非易失性存储器139加载到易失性存储器138的计算机程序来执行。这类似地适用于后续流程图的操作。

首先，在步骤S301中，计算装置136开始基本位置对准处理。

在步骤S302中，计算装置136从易失性存储器138读出在上述摄像控制期间拍摄到的图像，并将所读取的图像暂时保存到易失性存储器138的另一区域。此外，从图信息存储单元139a获取用于位置对准的图信息。

在步骤S303中，计算装置136基于步骤S302中获取到的图信息来生成伪图像。这里提到的伪图像是在经过畸变处理之前的图像或者未进行畸变处理的图像。这里，畸变处理是如下的处理，该处理用于有意地使镜头的畸变像差最初未出现的图的图像发生畸变以匹配镜头的畸变像差，并且将该图的图像转换成反映镜头的畸变像差(畸变量)的图像。在下文，经过畸变处理之前或未进行畸变处理的图的伪图像将被称为基准图像。

图信息是生成基准图像或伪图像所需的信息。示例包括用作摄像的被摄体的实际校准图的图像以及校准图的一个格子部分的大小。只要上述信息与摄像镜头的焦距相关联，即使在更换摄像镜头或改变变焦透镜的焦距的情况下，也可以自动进行根据焦距的处理。此外，假定在执行校准处理之前、用户将图信息存储在摄像控制装置130的图信息存储单元139a中或者存储在存储介质143中。

然而，在没有存储图信息或者图信息与实际拍摄图像极大地不同的情况下，可以采用以下配置。也就是说，提供了图信息生成模式，并且通过用户在摄像控制装置130上的选择或输入来生成图信息。可替代地，通过检测拍摄图像的中心部分的一个格子部分的大小来生成图信息。然后，将所生成的图信息作为新图信息保存到图信息存储单元139a。

这里，将说明基于图信息的基准图像生成的示例。这里，说明以与非易失性存储器139a中所存储的焦距相对应的图的图像为前提。

首先，计算装置136从非易失性存储器139a读出图信息。另外，计算装置136通过镜头通信获取摄像控制装置130上所安装的摄像镜头110的焦距。可替代地，关于不支持镜头通信的镜头，用户可以在摄像控制装置130中设置焦距。

所读取的图信息是与焦距相对应的图的图像，因此，在该焦距不同于通过镜头通信所获取到的焦距的情况下，需要对图的图像进行调整焦距的差的处理。有鉴于此，计算装置136向图像处理单元137通知摄像镜头的焦距，并且指示图像处理单元137进行适合于焦距的差(倍率)的放大/缩小处理。图像处理单元137基于该指示对所读取的图的图像进行放大/缩小处理。随后，计算装置136将所生成的基准图像暂时保存到易失性存储器138，并且使处理进入步骤S304。

在步骤S304中，计算装置136利用显示单元140和显示控制单元141进行用于将基准图像叠加在拍摄图像上的处理。首先，显示控制单元141读出易失性存储器138中暂时保存的拍摄图像和基准图像。然后进行图像合成，使得基准图像被显示为覆盖在所获取到的拍摄图像上。在下文，该处理将被称为叠加处理。此外，通过叠加处理所获得的图像将被称为叠加图像(合成图像)。

此时，如果简单地叠加基准图像，则不能观察到下侧的拍摄图像，并且也难以观察到拍摄图像和基准图像之间的差异。因此，显示控制单元141对基准图像进行所需的图像处理。示例包括：对基准图像进行透明度处理，使得可以通过基准图像观察到拍摄图像；进行用于将与拍摄图像中的图的黑色格子部分相对应的伪图像的黑色格子部分转换成诸如红色等的另一颜色的处理；以及进行图案处理。然后，显示控制单元141将叠加图像暂时保存到易失性存储器138。

接着，显示控制单元141向显示单元140通知叠加图像的暂时存储目的地，并且指示显示单元140更新显示。显示单元140读出从易失性存储器138暂时保存的叠加图像，并显示叠加图像。通过观察显示单元140上所显示的叠加图像，用户能够检查拍摄图像偏离伪图像的程度。换句话说，用户可以观察校准图和照相机之间的位置未对准。然后，用户改变照相机100或校准图的位置或姿势以最小化该位置未对准，并且进行位置对准。

将使用图4A至图4D来说明基本位置对准期间的显示画面的示例。图4A至图4D示出显示单元140上显示的画面。注意，校准图自身是如上所述黑色和白色格子部分重复排列的图，并且在下文，拍摄图像的黑色格子部分将由向下倾斜阴影线表示，并且基准图像或伪图像的黑色格子部分将由向上倾斜阴影线表示。

图4A示出仅显示拍摄图像410的状态。附图标记401和402分别表示被示出为在光学中心处相交使得拍摄图像的中心容易可见的垂直标记和水平标记。此外，示出黑色矩形标记403，使得校准图的中心位置容易可见，但标记实际上可以布置在校准图的中心位置处，或者包括中心位置的矩形部分可以被设置为除黑色或白色以外的颜色。另外，当实现叠加处理时，可以改变显示方法或颜色，使得通过将包括基准图像的中心位置的格子部分与校准图的标记或颜色对准来容易地从视觉上确认中心位置对准。

接着，图4B示出相对于仅显示图4A的拍摄图像410的状态、以叠加方式显示基准图像411的状态。基于以叠加方式显示的该基准图像411进行基本位置对准。在该示例中，用户改变照相机100的位置或姿势，使得照相机100的光轴中心与校准图的中心一致。

图4C示出拍摄图像410和基准图像411的中心位置对准、并且拍摄图像410和基准图像411尚未匹配(在大小上不匹配)的状态。从该状态，用户改变照相机100的位置，使得照相机100接近图并实现图4D的显示状态。通过执行上述处理，照相机100和图的基本位置对准完成。

此外，如上所述，可以根据通过镜头通信获取到的或由用户设置的焦距，对基准图像进行放大/缩小处理。然而，取决于摄像镜头，由于焦距自身未知，因此可能无法放大/缩小基准图像。在这种情况下，从图4C的大小不匹配的状态，用户操作操作单元142并进行基准图像411的放大/缩小，直到他或她能够从视觉上确定拍摄图像410与基准图像411匹配为止(直到实现了与图4D类似的状态为止)。

接着，在步骤S305中，计算装置136判断是否继续基本位置对准。其目的是判断用户是否完成了基本位置对准。例如，在叠加图像上以叠加方式进一步显示按钮状用户接口“OK”和“取消”，其中“OK”被分配给用户完成了基本位置对准的情况，并且“取消”被分配给用户想要停止基本位置对准的情况。如果用户决定基本位置对准完成或者决定停止基本位置对准，则他或她经由操作单元142分别选择“OK”(完成)或“取消”(停止)。随后，计算装置136判断是否选择了继续基本位置对准处理。如果没有选择完成或停止，则计算装置136使处理返回到步骤S302，并且继续步骤S302至S304的处理，直到选择了完成或停止为止、或者直到经由操作单元142强制结束基本位置对准处理为止。如果选择了完成或停止，则计算装置136使处理进入步骤S306。

在步骤S306中，计算装置136判断在步骤S305中选择了完成还是停止，也就是说，基本位置对准是否结束。如果在步骤S305中选择了完成，则计算装置136使处理进入步骤S307并将基本位置对准结果设置为“OK”。此外，如果选择了停止，则计算装置136使处理进入步骤S308，并将基本位置对准结果设置为“取消”。

在步骤S309中，计算装置136将步骤S307或S308中设置的基本位置对准结果暂时保存到易失性存储器138。另外，计算装置136将基本位置对准结束时的基准图像作为图信息保存到图信息存储单元139a。

在步骤S310中，计算装置136结束基本位置对准处理。

位置对准处理

之后，将使用图5说明用于以比基本位置对准处理更高的准确度进行位置对准的位置对准处理。

首先，在步骤S501中，计算装置136开始位置对准处理。

在步骤S502中，计算装置136从非易失性存储器139中的图信息存储单元139a读出图信息。

在步骤S503中，计算装置136从易失性存储器138读出在上述摄像控制期间拍摄到的图像，并将所读取的图像暂时保存到易失性存储器138的另一区域。

在步骤S504中，计算装置136进行镜头畸变量获取处理，并使处理进入步骤S504。

现在将使用图6A至图6C说明作为镜头畸变量获取处理的一部分的估计处理的示例。图6A是例示校准图的格子信息(用于识别各格子部分的位置和各格子部分的四个角的信息)的图。

这里，在水平方向和垂直方向上布置的黑色和白色格子部分的数量分别为17和11，并且为了识别各格子部分的四个角的位置，水平地给出数字0至17(i0至i17)并且垂直地给出数字0至11(j0至j11)。接着，为了识别各格子部分，从左上顺次给出数字0至186(g0至g186)。因此，左上格子部分g0的四个角的坐标可以被表示为左上(x_i0j0,y_i0j0)、右上(x_i1j0,y_i1j0)、左下(x_i0j1,y_i0j1)和右下(x_i1j1,y_i1j1)。

此外，如图6B所示，为了能够识别拍摄图像和基准图像的各个坐标，拍摄图像的格子部分601的四个角的坐标被给出为左上(Cx_i0j0,Cy_i0j0)、右上(Cx_i1j0,Cy_i1j0)、左下(Cx_i0j1,Cy_i0j1)和右下(Cx_i1j1,Cy_i1j1)，并且基准图像的格子部分602的四个角的坐标被给出为左上(Rx_i0j0,Ry_i0j0)、右上(Rx_i1j0,Ry_i1j0)、左下(Rx_i0j1,Ry_i0j1)和右下(Rx_i1j1,Ry_i1j1)。

接着，将说明基于各格子部分的上述格子信息进行的估计处理。首先，通常用下式对镜头畸变像差进行建模。在下式中，xd和yd是存在畸变的坐标，xu和yu是没有畸变的坐标，并且K1至K5是表示镜头畸变量的系数。

xd＝(1+K1r²+K2r⁴+K5r⁶)xu+2K3xuyu+K4(r²+2xu²)

yd＝(1+K1r²+K2r⁴+K5r⁶)yu+K3(r²+2yu²)+2K4xuyu

r²＝xu²+yu²

使用这些式计算出的镜头畸变量被保存到镜头畸变信息存储单元139b。此时，可以将摄像镜头的焦距、镜头ID和序列号等连同镜头畸变量一起相关联地保存。这使得能够在再次进行校准的情况下再使用信息。

在上式中，K3和K4表示在实践中通常可忽略不计的切向畸变像差，因此经常使用如下式那样的简化模型。

xd＝(1+K1r²+K2r⁴+K5r⁶)xu

yd＝(1+K1r²+K2r⁴+K5r⁶)yu

图6A中的格子部分g＝0的左上坐标如下。

Cx_i0j0＝(1+K1r²+K2r⁴+K5r⁶)Rx_i0j0

Cy_i0j0＝(1+K1r²+K2r⁴+K5r⁶)Ry_i0j0

r²＝Rx_i0j0 ²+Ry_i0j0 ²

使用这些关系式，进行针对畸变量K1、K2和K5的搜索，使得拍摄图像和基准图像的各格子部分(g＝0至186)的四个角的坐标一致或者是接近的值。如果作为搜索的结果可以获得一致或接近的坐标，则可以判断为估计完成。

从仅使各格子部分的四个角一致的方面说明了本实施例，但通过在实现了一定程度的一致之后进一步分割各格子部分的四个角之间的坐标、并且进一步增加所比较的坐标的数量，来提高所估计的畸变量的准确度。此外，在本实施例中，在搜索表示畸变量的系数方面说明估计处理，但本发明不限于此。之后，计算装置136将估计的镜头畸变量保存到镜头畸变信息存储单元139b。

此外，在本实施例中，说明了根据拍摄图像和摄像控制装置130中所存储的图信息来估计镜头畸变量的方法。然而，取决于摄像镜头，与各镜头的状态(焦距等)相对应的镜头畸变量可以存储在摄像镜头110中或摄像控制装置130(非易失性存储器139)中。这些镜头畸变量是在摄像镜头的设计或制造时确定的。在畸变量存储在摄像镜头中的情况下，在步骤S504的镜头畸变量获取处理中进行镜头通信，并且从镜头侧获取在执行通信时的各镜头位置的畸变量。在畸变量存储在摄像控制装置130侧的情况下，进行第一镜头通信，并且获取分配给各摄像镜头的唯一编号(以下称为镜头ID)。然后，从非易失性存储器139读出与镜头ID和各镜头位置相关联的镜头畸变量。还可以基于这些镜头畸变量来生成后面所述的伪图像。

接着，在步骤S505中，计算装置136根据步骤S504中获取到的镜头畸变量以及图信息生成伪图像。由于进行畸变处理之前的处理与图3的步骤S303中的基准图像生成处理类似，因此将省略其说明。之后，计算装置136读出暂时保存到易失性存储器138的基准图像，并且读出非易失性存储器139b中所存储的镜头畸变量。然后，计算装置136指示图像处理单元137对基准图像进行畸变处理。图像处理单元137根据所读取的基准图像和镜头畸变量生成反映了畸变像差的伪图像，将所生成的伪图像暂时保存到易失性存储器138，并且使处理进入步骤S506。

在步骤S506中，图像处理单元137将步骤S505中生成的伪图像叠加在拍摄图像上，并显示叠加图像。注意，由于处理自身与图3的步骤S304中的处理类似，因此将省略处理内容的说明。用户通过观察该叠加图像并使拍摄图像和伪图像一致来将照相机100和图在位置上对准。

现在将使用图7A至图7C说明位置对准期间的显示画面的示例。图7A至图7C示出显示单元140上显示的画面。图7A示出图2的步骤S203和S204中的基本位置对准完成的状态。图7B示出如下的状态：从基准图像711以叠加方式显示在图7A的拍摄图像710上的状态生成通过对基准图像711进行畸变处理所获得的伪图像712，并且所生成的伪图像712以叠加方式显示。图7B示出拍摄图像和伪图像略微未对准的示例。用户从该状态改变照相机100的位置或姿势，直到实现了图7C的位置对准完成状态为止，使得拍摄图像和伪图像尽可能接近地一致。

在正在执行位置对准处理期间不断估计镜头畸变量之后，生成伪图像。因此，假定随着照相机100和图接近恰好相反的位置关系，畸变量估计的准确度将更大，并且拍摄图像和伪图像之间的偏离程度将更小。此外，不同于基本位置对准处理，可以检查到拍摄图像和伪图像一致直到周边像高，因此用户可以通过对操作单元142进行操作来以放大方式显示他或她想要检查的图像位置，并且检查拍摄图像和伪图像一致的程度。结果，即使在具有高畸变的镜头的情况下，也可以通过使拍摄图像和伪图像一致直到周边像高来准确地进行照相机100和图的位置对准。

接着，在步骤S507中，计算装置136判断是否继续位置对准。注意，由于该处理与图3的步骤S305中的处理类似，因此将省略处理内容的说明。此时，如果没有选择完成或停止，则计算装置136使处理返回到步骤S503。连续进行步骤S503至S506的从拍摄图像的获取到伪图像的叠加显示的处理，直到选择了完成或停止为止，或者直到经由操作单元142强制结束位置对准处理为止。此外，如果选择了完成或停止，则计算装置136使处理进入步骤S508。

这里，由于步骤S508至S510的处理与图3的步骤S306至S308中的处理类似，因此将省略其说明。

在步骤S511中，计算装置136将在步骤S509或S510中设置的位置对准结果暂时保存到易失性存储器138。另外，计算装置136将位置对准结束时的伪图像作为图信息保存到图信息存储单元139a。

在步骤S512中，计算装置136结束位置对准处理。

注意，当在图2的步骤S207中执行用于拍摄并保存用于计算镜头畸变量的图像的处理时，可以将各种信息(诸如位置对准结果、位置对准结束时的镜头信息、镜头畸变量和图信息等)连同图像本身一起作为图像本身或者作为与图像相关联的信息(元数据)保存到存储介质143。

此外，从更新叠加图像的显示以与位置对准处理的步骤S503至S506的伪图像生成的周期一致的方面说明了本实施例。这是为了避免在步骤S504至S506中的叠加图像生成所花费的处理时间比相当于一个摄像周期(图像传感器131的读出周期)的时间段长的情况下、所显示的拍摄图像不同于伪图像生成时的拍摄图像。然而，在上述的叠加图像生成所花费的时间比一个摄像周期的时间段短的情况下，可以进行叠加图像生成和显示更新以与摄像周期一致。此外，在可以延迟显示更新周期的情况下，可以在根据照相机100的移动生成了伪图像之后进行显示更新。注意，可以利用诸如检测拍摄图像已改变、或者在摄像控制装置130中提供陀螺仪传感器等并检测诸如姿势的变化等的移动等的方法来检测照相机100的移动。

此外，从在进行基本位置对准处理之后进行位置对准的处理说明了本实施例。然而，在上述镜头畸变量存储在摄像镜头110或摄像控制装置130中的情况下、或者在即使不进行中心位置对准也可以估计镜头畸变量(图包括在整个视角中)的情况下，可以首先执行位置对准处理。

如上所述，在本实施例中，作为摄像的被摄体的图信息存储在摄像控制装置中，并且根据该图信息和与镜头畸变量有关的信息生成通过进行畸变处理所获得的伪图像。然后，通过将伪图像以叠加方式显示在拍摄图像上，可以准确且高效地进行摄像设备和图的位置对准。

第二实施例

在第一实施例中，说明了如下的方法，该方法用于通过根据摄像控制装置中所存储的图信息和与镜头畸变量有关的信息生成通过进行畸变处理所获得的伪图像、并且将所生成的伪图像以叠加方式显示在拍摄图像上，来准确且高效地进行摄像设备和图的位置对准。在第二实施例中，将说明如下的方法，该方法用于通过计算拍摄图像和伪图像之间的偏离程度、并且进一步将适合于所计算出的偏离程度的信息和指示叠加在通过将伪图像以叠加方式显示在拍摄图像上所获得的图像上，来准确地进行位置对准。

由于第二实施例的处理的概述类似于第一实施例中所述的图2的处理，因此将省略其说明。由于第二实施例中的图2的步骤S205中的位置对准处理不同于第一实施例，因此将说明其处理内容。

首先，将参考图8说明第二实施例中的位置对准处理。注意，由于步骤S801至S805的处理类似于第一实施例的图5的步骤S501至S505中的处理、并且步骤S808至S813的处理类似于步骤S507至S512中的处理，因此将省略其说明。

计算装置136执行步骤S801至S805的处理，并且将拍摄图像和伪图像暂时保存到易失性存储器138。

在步骤S806中，计算装置136根据拍摄图像和伪图像计算偏离程度。后面将使用图9A至图9E说明计算偏离程度的方法的示例。接着，计算装置136将基于所计算出的偏离程度的评估值暂时保存到易失性存储器138。

在步骤S807中，计算装置136利用显示单元140和显示控制单元141进行用于将伪图像叠加在拍摄图像上的处理。由于该叠加处理类似于第一实施例的图5的步骤S506中的处理，因此将省略其说明。

之后，为了根据基于步骤S806中计算出的偏离程度的评估值来使拍摄图像和伪图像一致，计算装置136生成用作用于提示用户改变照相机100的位置或姿势的指示器的图形用户界面(GUI)，并且进一步将所生成的GUI以叠加方式显示在叠加图像上。后面将使用图10A至图10C说明显示用于移动照相机100的指示器的示例。

此外，在本实施例中，偏离程度由拍摄图像和伪图像的相应格子部分的四个角(特征点)的距离和方向(矢量)表示，但可以由拍摄图像和伪图像的相应格子部分(特定区域)的重心点的距离和方向表示。

在步骤S808中，如果用户选择位置对准完成或停止位置对准，则计算装置136使处理进入步骤S809，并且执行步骤S809至S812的处理。

然后，计算装置136在步骤S813中结束位置对准处理。

接着，将使用图9A至图9E说明计算偏离程度的方法的示例。这里，使用拍摄图像和伪图像的相应格子部分的四个角的位置的距离和方向(矢量)。此外，用于识别各格子部分的位置和各格子部分的四个角的位置的信息(编号)类似于图6A。

图9A是用于说明左上格子部分(格子部分编号：g＝0)的偏离程度的计算的图。拍摄图像侧的格子部分901的四个角的坐标是左上(Cx_i0j0,Cy_i0j0)、右上(Cx_i1j0,Cy_i1j0)、左下(Cx_i0j1,Cy_i0j1)和右下(Cx_i1j1,Cy_i1j1)。此外，伪图像侧的格子部分902的四个角的坐标是左上(Rx_i0j0,Ry_i0j0)、右上(Rx_i1j0,Ry_i1j0)、左下(Rx_i0j1,Ry_i0j1)和右下(Rx_i1j1,Ry_i1j1)。将以左上为例说明后续处理。

计算拍摄图像侧的格子部分901的左上相对于伪图像侧的格子部分902的左上的距离和方向(矢量)V_i0j0。此时，V_i0j0由(Rx_i0j0-Cx_i0j0,Ry_i0j0-Cy_i0j0)表示。接着，计算右上V_i1j0、左下V_i0j1和右下V_i1j1的偏离程度。然后，格子部分(格子部分编号：g＝0)的偏离程度由Vdd_g0＝(V_i0j0+V_i1j0+V_i0j1+V_i1j1)表示。针对所有格子部分或者黑色或白色格子部分计算该偏离程度。之后，计算装置136将针对每个格子部分计算的偏离程度暂时保存到易失性存储器138。

接着，计算装置136计算基于偏离程度的评估值，并且显示用于移动照相机100的指示器。将说明基于偏离程度的评估值计算的示例。例如，计算上述格子部分的偏离程度Vdd_gN(N＝0至186)的总和。在图9B或图9C中，结果将是在拍摄图像和伪图像之间不存在偏离。此外，在图9D或图9E中，结果将是伪图像相对于拍摄图像向下侧或右侧未对准。此外，可以参考照相机100的光轴中心将图划分为四个象限，可以针对每个象限计算总和，并且可以进一步计算象限之间的差或象限的和。

将使用图10A至图10C说明移动指示器的示例显示。图10A示出与照相机100的移动方向有关的消息进一步以叠加方式显示在叠加图像上的示例。用户根据该消息改变照相机100的位置，并且细微地调整该位置，直到该消息消失或者显示表示位置对准完成的消息为止。

图10B示出显示表示照相机100的移动方向的图形的示例。显示表示移动方向的箭头标记，并且可以根据移动量的值改变箭头的长度或大小。

图10C示出将照相机100的移动方向和粗略移动量显示为具有条形量规的引导件的示例。图10C中的条形量规1003至1006是用于引导照相机100的移动的用户接口。条形量规1003和1004表示水平方向，并且条形量规1005和1006表示垂直方向。

作为用于显示条形量规的评价值，使用上述四个象限的偏离程度。图像上部的水平方向条形量规1003表示第一象限和第四象限的偏离程度的差异，并且图像下部的水平方向条形量规1004表示第二象限和第三象限的偏离程度的差异。类似地，图像左侧的垂直方向条形量规1005表示第三象限和第四象限的偏离程度的差，并且图像右侧的垂直方向条形量规1006表示第一象限和第二象限的偏离程度的差。

黑色三角形表示当前状态，其中图10C示出垂直位置对准但水平位置向左侧未对准的状态。用户在观察条形量规1003至1006的同时改变照相机100的位置，并且进行细微调整，使得条形量规1003至1006全部处于相同状态。注意，图10A至图10C中的移动指示器的示例显示是例示性的，并且本发明不限于此。

此外，在本实施例中，通过用户的视觉确认和判定来判断位置对准的完成。有鉴于此，采用使用上述偏离程度来判断位置对准的完成的配置。例如，可以采用如下的配置：如果基于偏离程度的评估值减小到小于或等于预定值，则判定为位置对准完成，并且在实施所需的结束处理之后结束位置对准处理。

此外，在完成位置对准之后，从拍摄用于计算镜头畸变量的图像的方面说明步骤S201至S207中概述的校准处理。然而，可以采用如下的配置：当使用上述偏离程度判定为位置对准完成时，自动拍摄用于计算镜头畸变量的图像。

此外，在第一实施例中，说明了镜头畸变量存储在摄像镜头110或摄像控制装置130中的情况。这些镜头畸变量是与各个镜头位置相对应的值，但由于诸如摄像镜头110或摄像控制装置130的存储容量等的限制，这些值实际上可以是离散值。在这种情况下，取决于镜头位置，假定即使通过畸变处理所获得的伪图像也将极大地偏离拍摄图像。在这种情况下，可以采用如下的配置：并行执行用于根据第一实施例中所述的拍摄图像和图信息来估计镜头畸变量的处理。在这种情况下，例如，计算拍摄图像分别与根据由摄像设备100或摄像控制装置130存储的镜头畸变量所生成的伪图像和根据所估计的镜头畸变量所生成的伪图像的偏离程度。然后显示偏离程度的绝对值较小的伪图像。

此外，以上从在拍摄图像中的图的所有格子部分中计算偏离程度的方面说明了步骤S806中的用于根据拍摄图像和伪图像来计算偏离程度的处理。然而，随着从光学中心起周边像高增加(在更高的像高处)，镜头畸变量倾向于增加。因此，可以根据镜头畸变量或像高来限制计算偏离程度的区域。结果，可以减少计算处理负荷。

此外，尽管步骤S806的该处理中使用的伪图像是经过了畸变处理的图像，但根据偏离程度的相对差来确定基于偏离程度的评估值，因此可以采用根据拍摄图像和没有经过畸变处理的基准图像来计算偏离程度的配置。

此外，在步骤S807中的用于将伪图像叠加在拍摄图像上的处理中，可以根据步骤S806中计算出的偏离程度来改变叠加处理的内容。例如，可想到根据偏离程度来改变不透明度、颜色或显示方法。具体地，在改变颜色的情况下，如果与拍摄图像中的图的黑色格子部分相对应的伪图像的黑色格子部分的显示颜色为红色，则偏离程度大于或等于预定值的格子部分的颜色改变为相对于显示颜色容易可见的对比颜色。在这种情况下，红色改变为蓝色(蓝色或青色)。这使得能够容易地辨识出偏离程度大的部分的位置，由此进一步促进位置对准。此外，在改变显示方法的情况下，可以采用如下的配置：例如仅显示基于偏离程度的评估值满足预定值的伪图像的格子部分的框部分。类似于改变颜色的情况，这使得能够容易地辨识出偏离程度大的部分的位置。

如上所述，在本实施例中，根据拍摄图像和伪图像来计算偏离程度，并且将基于偏离程度的指示器进一步叠加在通过将伪图像叠加在拍摄图像上所获得的图像上。由此可以更准确地进行摄像设备和图的位置对准。

第三实施例

接着，将说明在从视觉上进行图和照相机的位置对准时在校准处理中出现的问题。此外，将说明用于向用户指示移动照相机的量和方向、以及用于通过利用照相机进行最终细微调整来减少时间和精力的方法。

在可视地进行图和照相机的位置对准的情况下，用户可能不知晓将照相机从位置不一致的状态再移动多少以实现位置一致的状态。因此，用户需要在从视觉上检查正在拍摄的拍摄图与LCD上正在显示的显示图之间的一致的同时移动照相机。此外，即使用户从视觉上判断为照相机和图一致，也存在在LCD上不可见的微小未对准实际上仍存在的可能性。当微小未对准仍存在时，可想到，在校准处理中期望获取的镜头数据不能以原点为画面中央的同心圆来获取，并且存在不能获取到准确的镜头信息的可能性。此外，当用户致力于视角对准以消除微小未对准从而准确地对准视角时，由于花费在视角对准上的时间增加以及其他因素，校准中涉及的工作将受到阻碍。

响应于上述问题，将使用图11至图19说明用于向用户指示移动照相机的量和方向以使图和照相机在位置上对准、以及用于利用照相机进行最终细微调整的方法。

图11至图14是用于说明本实施例中的用于使照相机在位置上对准以进行校准处理的处理的流程图。

图11示出校准处理中的视角对准和校准处理过程。

首先，当用户经由操作单元142将照相机100改变为用于获取用于VFX合成的镜头数据的校准模式时，开始图11的处理。

在步骤S2101中，计算装置136进行视角对准处理，并且使处理进入步骤S2102。后面将详细说明视角对准处理。

在步骤S2102中，计算装置136判断在步骤S2101中视角对准处理是否完成，并且如果判断为视角对准处理完成，则结束视角对准处理，并且使处理进入步骤S2103。

接着，在步骤S2103中，计算装置136实现校准处理并结束该处理。

接着，将使用图12详细说明步骤S2101中的视角对准处理。

首先，在步骤S2201中，计算装置136将用于在上述步骤S2102中判断视角对准处理是否完成的标志信息初始化为未完成状态。

在步骤S2202中，计算装置136读出图信息存储单元139a中所记录的图的模型数据。模型数据与根据第一实施例和第二实施例中所述的图信息所生成的伪图像或基准图像相对应。

在步骤S2203中，计算装置136根据步骤S2202中读出的图的模型数据和照相机所拍摄到的图的图像来计算表示未对准量的差。后面将使用图13A和图13B详细说明该处理。

在步骤S2204中，计算装置136根据步骤S2203中计算出的未对准量来计算应将照相机100在哪个方向上移动多少。后面将使用图14详细说明该处理。

在步骤S2205中，计算装置136判断步骤S2203中计算出的未对准量或基于未对准量在步骤S2204中计算出的照相机100的移动量G是否小于阈值。如果判断为小于阈值，则处理进入步骤S2206，并且如果判断为大于或等于阈值，则处理进入步骤S2209。

在计算装置136在步骤S2205中判断为照相机100的移动量G小于阈值的情况下，进行步骤S2206。照相机100的移动量G小的情况是在判断为由用户手动进行的相对于图的照相机位置的任何进一步细微调整将是困难的情况下的处理。因此，代替使用户移动照相机，在照相机内部实现视角的中心位置对准。

具体地，计算装置136基于步骤S2203中计算出的差来计算图像稳定透镜114的驱动量，使得图和拍摄图像之间的差最小化。然后，计算装置136经由电触点单元150向镜头控制单元121输出用以驱动图像稳定透镜114的指示。接收到该指示的镜头控制单元121向图像稳定驱动单元118输出用以驱动图像稳定透镜114的命令，并且图像稳定驱动单元118实际上驱动图像稳定透镜114。可替代地，计算装置136基于步骤S2203中计算出的差来计算图像稳定驱动单元134相对于图像传感器131的驱动量，并且向图像稳定控制单元135输出用以驱动图像传感器131的命令。然后，图像稳定驱动单元134实际上驱动图像传感器131。可替代地，可以驱动上述的图像稳定透镜114和图像传感器131这两者。在驱动这两个构件的情况下，与透镜110至115和图像传感器131在光轴上的状态相比，期望将这两个构件驱动到畸变量的数据变化最小化的位置。

由于在步骤S2206中计算装置136在照相机100内部实现了视角的中心对准，因此在步骤S2207中，显示控制单元141在显示单元140上进行表示用户的视角对准操作完成的显示。

在步骤S2208中，计算装置136开启表示视角对准完成的标志，并结束处理。注意，使用该标志以在步骤S2102中判断视角对准是否完成。

在步骤S2205中判断为未对准量大于或等于阈值、并且仍存在要由用户进行的视角对准的量的情况下，进行步骤S2209。因此，显示控制单元141在显示单元140上进行表示用户的视角对准未完成的显示。作为示例，可想到的方法涉及显示步骤S2204中计算出的照相机100的移动量G中的、相对于图的垂直移动量、水平移动量和移动方向。

作为上述处理的结果，在照相机100与图极大地未对准的情况下，用户能够在确认了照相机的移动量和移动方向之后移动照相机100。此外，对于用户不能消除的微小未对准，用户不再需要进行调整，并且缩短花费在校准处理所用的视角对准上的时间。

接着，将使用图13A详细说明步骤S2203中的用于计算图和拍摄图像之间的差的处理。

首先，在步骤S2301中，计算装置136向图像传感器控制单元133给出指示，按预定周期从图像传感器131获取通过拍摄图的图像所获得的图像信号，并将所获取到的图像信号发送到图像处理单元137。图像处理单元137对图像信号进行适当的图像处理，并将如此得到的图像信号暂时存储在易失性存储器138中。

在步骤S2302中，计算装置136指示图像处理单元137进行图像处理(诸如对暂时存储的图的图像进行二值化等)，以便于在后面所述的步骤S2304中计算差。注意，图像信号的处理不局限于二值化。

接着，在步骤S2303中，计算装置136对经过了图像处理的图的图像进行拍摄图像移位处理。

具体地，用于搜索与步骤S2202中读出的图的模型数据的差最小化的位置的方法的示例包括在改变拍摄图像与图的模型数据的比较位置的同时计算最小差位置的方法。通过生成将图的图像水平向左移动N个像素并且垂直向上移动N个像素的图像来计算差。此外，如果作为该处理的结果、在后面所述的步骤S2309中判断为预定位置的差计算未完成，则图像以与上次不同的方式移动(诸如水平向左移动N-1个像素并且垂直向上移动N个像素等)，并且再次计算图像的差。

与使图像移位的范围相关的移位范围和与使该移位范围移位的步长量(间隔剔除量)相关的移位步长量可以在照相机中设置或者可以由用户提供。在照相机中设置这些变量的情况下，可想到的方法涉及：首先设置大的移位步长量并搜索差最小的位置，然后设置较小的移位步长量并再次搜索差最小的位置。在步骤S2303中，图像处理单元137在每次执行步骤S2303时将上述移位范围改变所设置的移位步长量，并且提取图像并将所提取的图像输出到计算装置136。

此外，作为用于搜索与步骤S2202中读出的图的模型数据的差最小的位置的方法的另一示例，还可想到诸如以下等的方法。也就是说，每次将在改变图像稳定透镜114的位置的同时拍摄到的图像与图的模型数据进行比较，并且计算差最小的图像稳定透镜114的位置。后面将使用图16A至图16D说明具体方法。

此外，作为用于搜索与步骤S2202中读出的图的模型数据的差最小的位置的方法的另一示例，还可想到诸如以下等的方法。也就是说，每次将在改变图像传感器131的位置的同时拍摄到的图像与图的模型数据进行比较，并且计算差最小的图像传感器131的位置。后面将使用图17A至图17D说明具体方法。

此外，在实现在改变拍摄图像与图的模型数据的比较位置的同时计算最小差位置的方法的情况下，在不仅水平地和垂直地改变了移位位置而且在转动方向上改变了位置之后，也可以进行比较。

可以实现上述的用于改变拍摄图像与图的模型数据的比较位置和转动量r的方法、用于改变图像稳定透镜114的位置的方法、以及用于改变图像传感器131的位置的方法中的仅一个，或者可以组合实现这些方法中的多个方法。

接着，在步骤S2304中，计算装置136将步骤S2303中拍摄到和生成的图像与图的模型数据进行比较，并计算差S。将使用图19说明差S的计算方法的示例。

图19中的附图标记2900表示代表视角的区域，附图标记2901表示图的模型数据，并且附图标记2902表示拍摄图像中的图的区域。此外，由附图标记2910表示的区域(向上阴影线与向下阴影线重叠的区域)是图的模型数据2901的黑色部分与拍摄图像2902的黑色部分重叠的区域，并且是被计算为不存在差的区域的部分。类似地，由附图标记2911表示的区域(空白区域)是图的模型数据2901的白色部分与拍摄图像2902的白色部分重叠的区域，并且是被计算为不存在差的区域的部分。由附图标记2912表示的区域(仅具有向上阴影线的区域)是图的模型数据2901的黑色部分与拍摄图像2902的白色部分重叠的区域，并且是被计算为差区域的部分。类似地，由附图标记2913指示的区域(仅具有向下阴影线的区域)是图的模型数据2901的白色部分与拍摄图像2902的黑色部分重叠的区域，并且是被计算为差区域的部分。

注意，在上述说明中，基于颜色是否相同来计算差区域，但可以使用如下的方法：向图的各格子部分提供诸如ID等的标识符，并且通过具有相同ID的相同颜色区域是否重叠来计算差区域。

接着，在步骤S2305中，计算装置136将通过上述技术计算出的各差区域的面积与所保存的最小差值进行比较。如果差S小于最小差值，则计算装置136使处理进入步骤S2306，并且如果差S大于或等于最小差值，则计算装置136使处理进入步骤S2309。

在步骤S2306中，计算装置136将差S重新保存为最小差值。

在步骤S2307中，计算装置136存储差S最小的移位位置。具体地，计算装置136存储差最小时的图的图像的像素移动量p、图像稳定透镜114的驱动量ω和图像传感器131的移动量i作为移位量。

在步骤S2308中，计算装置136指示显示控制单元141进行用于将图的模型数据与拍摄图像进行合成的处理，并将合成图像显示在显示单元140上。用户从视觉上观察到显示单元140上显示的图的模型数据与拍摄图像之间的未对准，并移动照相机以校正该未对准。

在步骤S2309中，计算装置136判断步骤S2303中应搜索的所有搜索位置的搜索是否结束。然后，如果判断为所有搜索都结束，则计算装置136结束处理，并且如果判断为仍存在应搜索的搜索位置，则计算装置136使处理返回到步骤S2301。

作为上述处理的结果，可以根据图的模型数据和图的拍摄图像之间的差来计算求出图和照相机之间的差的未对准量。

接着，将使用用于图14详细说明步骤S2204的照相机移动计算处理。

首先，在步骤S2401中，计算装置136利用镜头控制单元121进行命令的发送和接收，并且获取镜头的焦距信息f和图像稳定透镜114的驱动量ω。此外，计算装置136获取调焦透镜115的位置信息、与各种透镜的驱动状态有关的信息、以及与光圈113的状态有关的信息。

在步骤S2402中，计算装置136获取被摄体距离信息d。可以在聚焦于图之后根据上述的调焦透镜115的位置信息来计算被摄体距离信息d，或者可以通过用户的输入来获取被摄体距离信息d。可替代地，在图像传感器131是能够利用像面相位检测方法计算散焦量的图像传感器的情况下，可以根据上述的调焦透镜115的位置信息以及散焦量来计算被摄体距离信息d。

在步骤S2403中，计算装置136使用所获取到的镜头的被摄体距离信息d和焦距信息f以及在图12的视角对准处理中计算出的像素移动量p、转动量r、图像稳定镜头114的驱动量ω和图像传感器131的移动量i来计算作为使照相机100移动的量的移动量G以及转动量，并且结束处理。

接着，将说明在图13A的步骤S2303的拍摄图像移位处理中计算照相机100的移动量G的示例。图15A至图15D示出通过照相机100内部的虚拟图像移动进行移位处理并且计算移动量G的情况。图16A至图16D示出利用图像稳定透镜114进行移位处理并且计算移动量G的情况。图17A至图17D示出利用图像传感器131进行移位处理并且计算移动量G的情况。注意，在这些图中，相同或类似的结构被赋予相同的附图标记，并且将省略冗余的说明。

在图15A中，附图标记2500表示校准中使用的图，并且点O表示图的中央位置。附图标记2501表示照相机100的光轴。附图标记2502表示照相机100的视角。本实施例的一个目的是计算点O和光轴2501之间的偏离距离G，并向用户呈现偏离距离(移动量)G。

图15B示出当在图15A的状况下进行摄像时的LCD画面上的显示。

在画面的中央显示用作用于将图像与视角2900对准的目标的图的模型数据2901。此外，在图15A中，照相机100相对于图2500向右略微未对准，因此在图15B中，拍摄图像中的图2902是以向左略微未对准的方式合成的。

图15C是示出在步骤S2303中每次实施的拍摄图像移位处理的示例的图。如果拍摄图像没有移位，则将发生诸如图15B所示等的未对准，并且在步骤S2303的处理的第一次迭代中，拍摄图像在左上方向上虚拟地移位并与图的模型数据合成，这导致诸如图15C的左上图中所示等的未对准。在该状态下计算差并将该差与最小差值进行比较，并且如果需要，则更新最小差值以及使差最小化的移位量。

接着，作为处理的第二次迭代，拍摄图像在右上方向上虚拟地移位并与图的模型数据合成，这导致诸如图15C的右上图所示等的未对准。在该状态下计算差并将该差与最小差值进行比较，并且如果需要，则更新最小差值以及使差最小化的移位量。

接着，作为处理的第三次迭代，拍摄图像在左下方向上虚拟地移位并与图的模型数据合成，这导致诸如图15C的左下图所示等的未对准。在该状态下计算差并将该差与最小差值进行比较，并且如果需要，则更新最小差值以及使差最小化的移位量。

接着，作为处理的第四次迭代，拍摄图像在右下方向上虚拟地移位并与图的模型数据合成，这导致诸如图15C的右下图所示等的未对准。在该状态下计算差并将该差与最小差值进行比较，并且如果需要，则更新最小差值和使差最小化的移位量。

进行上述处理，并且在与所记录的最小差值相对应的像素移动量为p的情况下计算偏离距离G。可以根据图15D中的关系利用下式求出偏离距离G。

G＝(d×p)/f

接着，将使用图16A至图16D说明通过驱动图像稳定透镜114来计算偏离距离G的方法。

在图16A中，附图标记2503表示图像稳定透镜114已移动时的光轴。作为示例，例示了光轴2503穿过点O并且此时的校正角为ωdeg的图案。此外，附图标记2504表示代表在图像稳定透镜114已移动的情况下的改变后的视角的线。

图16B例示当在图16A的状况下进行摄像时正驱动的图像稳定透镜114。图16B的左图示出图像稳定透镜114正在保持光轴的中心2505的状况。另一方面，图16B的右图示出图像稳定透镜114相对于光轴的中心2505在左方向上移位了ωdeg的状况。图16B的下图示出当在上述状况下进行摄像时的LCD画面上的显示。

在画面中央显示用作用于将图像与视角2900对准的目标的图的模型数据2901。此外，在图16A和图16B的左图中，照相机100相对于图2500向右略微未对准，因此拍摄图像中的图2902是以向左略微未对准的方式合成的。另一方面，在图16A和图16B的右图中，照相机100的光轴2503穿过点O，因此拍摄图像中的图2902的中心与图的模型数据2901的中心一致。

图16C是示出在步骤S2303中每次实施的拍摄图像移位处理的示例的图。如果图像稳定透镜114没有移位，则将发生诸如图16B的左图所示等的未对准，并且在步骤S2303的处理的第一次迭代中，拍摄图像在左上方向上移位并与图的模型数据合成，这导致诸如图16C的左上图所示等未对准。在该状态下计算差并将该差与最小差值进行比较，并且如果需要，则更新最小差值以及使差最小化的图像稳定透镜114的移位量。

接着，作为处理的第二次迭代，拍摄图像在右上方向上移位并与图的模型数据合成，这导致诸如图16C的右上图所示等的未对准。在该状态下计算差并将该差与最小差值进行比较，并且如果需要，则更新最小差值以及使差最小化的图像稳定透镜114的移位量。

接着，作为处理的第三次迭代，拍摄图像在左下方向上移位并与图的模型数据合成，这导致诸如图16C的左下图所示等的未对准。在该状态下计算差并将该差与最小差值进行比较，并且如果需要，则更新最小差值以及使差最小化的图像稳定透镜114的移位量。

接着，作为处理的第四次迭代，拍摄图像在右下方向上移位并与图的模型数据合成，这导致诸如图16C的右下图所示等的未对准。在该状态下计算差并将该差与最小差值进行比较，并且如果需要，则更新最小差值以及使差最小化的图像稳定透镜114的移位量。

进行上述处理，并且在与所记录的最小差值相对应的图像稳定透镜114的驱动量为ω的情况下计算偏离距离G。可以根据图16D中的关系利用下式求出偏离距离G。

G＝d·tanω

注意，在驱动图像稳定透镜114的上述方法中，不同于在照相机内部虚拟地移位拍摄图像的上述方法，实际拍摄到的图像与图像稳定透镜114的驱动连动地移动。如果在拍摄图像移动时用户试图将照相机与图的中心对准，则即使显示移动方向和移动距离，可想而知，也难以将照相机与中心对准。因此，在通过驱动图像稳定透镜114来计算差的情况下，仅在图像稳定透镜114在光学中心处的情况下对图像进行步骤S2308中的合成处理。可替代地，通过与通过将拍摄图像虚拟地恢复与图像稳定透镜114移位的量相当的量所获得的图像进行合成处理，避免了用户在使照相机在位置上对准方面的困难。

接着，将使用图17A至图17D说明通过驱动图像传感器131来计算偏离距离G的方法。

在图17A中，附图标记2506表示图像传感器131已移动时的光轴。作为示例，例示了光轴2506穿过点O并且此时的图像传感器131的校正量为i mm的图案。此外，附图标记2507表示在图像传感器131已移动的情况下的改变后的视角。

图17B例示当在图17A的状况下进行摄像时正驱动的图像传感器131。图17B的左图示出图像传感器131正在保持光轴的中心2508的状况。另一方面，图17B的右图示出图像传感器131相对于光轴的中心2508在右方向上移位了imm的状况。此外，图17B的下图示出当在上述状况下进行摄像时的LCD画面上的显示。

在画面中央显示用作用于将图像与视角2900对准的目标的图的模型数据2901。此外，在图17A和图17B的左图中，照相机100相对于图2500向右略微未对准，因此拍摄图像中的图2902是以向左略微未对准的方式合成的。另一方面，在图17A和图17B的右图中，照相机100的光轴2506穿过点O，因此拍摄图像中的图2902的中心与图的模型数据2901的中心一致。

图17C是示出在步骤S2303中每次实施的拍摄图像移位处理的示例的图。如果图像传感器131没有移位，则将发生诸如图17B的左图所示等的未对准，并且在步骤S2303的处理的第一次迭代中，拍摄图像在左上方向上移位并与图的模型数据合成，这导致诸如图17C的左上图所示等的未对准。在该状态下计算差并与最小差值进行比较，并且如果需要，则更新最小差值以及使差最小化的图像传感器131的移位量。

接着，作为处理的第二次迭代，拍摄图像在右上方向上移位并与图的模型数据合成，这导致诸如图17C的右上图所示等的未对准。在该状态下计算差并与最小差值进行比较，并且如果需要，则更新最小差值以及使差最小化的图像传感器131的移位量。

接着，作为处理的第三次迭代，拍摄图像在左下方向上移位并与图的模型数据合成，这导致诸如图17C的左下图所示等的未对准。在该状态下计算差并与最小差值进行比较，并且如果需要，则更新最小差值以及使差最小化的摄像元件131的移位量。

接着，作为处理的第四次迭代，拍摄图像在右下方向上移位并与图的模型数据合成，这导致诸如图17C的右下图所示等的未对准。在该状态下计算差并与最小差值进行比较，并且如果需要，则更新最小差值以及使差最小化的图像传感器131的移位量。

进行上述处理，并且在与所记录的最小差值相对应的图像传感器131的驱动量为i的情况下计算偏离距离G。可以根据图17D中的关系利用下式求出偏离距离G。

G＝(d×i)/f

注意，在驱动图像传感器131的上述方法中，不同于在照相机内部虚拟地移位拍摄图像的上述方法，实际拍摄到的图像与图像传感器131的驱动连动地移动。如果在拍摄图像移动时、用户试图将照相机与图的中心对准，则即使显示移动方向和移动距离，可想而知，也难以将照相机与中心对准。因此，在通过驱动图像传感器131来计算差的情况下，仅在图像传感器131在光学中心处的情况下对图像进行步骤S2308中的合成处理。可替代地，通过与通过将拍摄图像虚拟地恢复与图像传感器131移位的量相当的量所获得的图像进行合成处理，避免了用户在使照相机在位置上对准方面的困难。

通过进行上述处理，求出照相机与图中央之间的偏离距离G，并且可以向用户通知照相机的移动量。因此，可以减少校准处理所用的视角对准的时间和精力。

注意，为了便于理解，以上将移位描述为进行四次，但实际上可以实施多于四次的移位。

接着，将使用图18A和图18B说明在步骤S2209和S2207中显示照相机100的移动量G(垂直/水平移动量和移动方向)、直到用户的视角对准完成为止的方法的示例。

图18A示出在判断为照相机100和校准图之间的未对准量大于或等于阈值的情况下的显示单元140上的显示。

图18A中的附图标记2800表示代表视角的区域，附图标记2801表示图的模型数据，并且附图标记2802表示拍摄图像中的图的区域。在图18A中，照相机100和图之间的未对准量大于或等于阈值，因此拍摄图像中的图2802显示在与图的模型数据2801未对准的位置处。此外，附图标记2803表示如下的显示示例：在判断为照相机100与拍摄图像中的图之间的未对准量大于或等于阈值(大于或等于预定值)的情况下，向用户指示照相机的移动量和移动方向。显示2803表示在照相机向右移动54mm且向下移动23mm时、图的模型数据2801与拍摄图像中的图的位置的中心将一致。

图18B示出在判断为照相机100和图之间的未对准量小于阈值的情况下的显示单元140上的显示。

图18B中的显示2804表示消除了照相机100和拍摄图之间的未对准。用户基于显示2804结束照相机的位置移动。另一方面，照相机100和拍摄图之间的未对准完全消除，这是很少见的，因此，如前面在步骤S2206中所述，使图像稳定透镜114或图像传感器131驱动(移位)到差最小的位置。由此，图的模型数据2801与拍摄图像中的图的区域2802之间的差最小化，并且可以在用户无需进行微小位置对准的情况下完成照相机100的位置对准。

与从视觉上将图和照相机在位置上对准的情况相比，使用上述技术使得用户更容易理解将照相机在哪个方向上移动多少，因此减少了花费在位置对准上的时间。

此外，即使在LCD上不可见的微小未对准仍存在的情况下，由于通过驱动图像稳定透镜114或图像传感器131来校正未对准，因此也实现了花费在位置对准上的时间的进一步减少。

注意，图的图案不限于诸如上述等的格式，并且可以是按预定间隔表示图的水平方向和垂直方向的任何图案。例如，图可以是交错格图案(其中，在划分为格子形状的矩形区域中相邻的黑色和白色矩形交替出现)，或者图可以是条形码状图案。

此外，如前面在第一实施例中所述，可以在基于从拍摄图像临时计算出的畸变量和移轴(tilt-shift)量使图的模型数据畸变之后进行显示或差计算。

此外，可以在根据焦距改变图的模型数据的放大率之后进行显示或差计算。

第四实施例

将使用图13B说明如下的情况：在图13A中的用于计算图和拍摄图像之间的差的处理中，照相机100与图2500极大地未对准，并且利用涉及虚拟地移动图像、移动图像稳定透镜114和移动图像传感器131的方法中的仅一个方法不能计算出照相机的移动量G。注意，在图13B中，与图13A相同的处理被赋予相同的步骤编号，并且将省略其说明。

在作为执行步骤S2301至S2309的处理的结果、判断为差值最小的移位位置位于执行搜索的范围的边缘处的情况下，存在差值最小的移位位置在搜索范围之外的可能性。因此，利用以下模式进行处理，以进一步扩展搜索范围。

在步骤S2303的拍摄图像移位处理中进行通过图像移动的移位处理的情况下，通过将图像稳定透镜114或图像传感器131驱动到图像在差最小的方向上移位的位置来扩展搜索范围。

此外，在步骤S2303的拍摄图像移位处理中进行使用图像稳定透镜114的移位处理的情况下，通过将图像传感器131驱动到图像在差最小的方向上移位的位置来扩展搜索范围。

此外，在步骤S2303的拍摄图像移位处理中进行使用图像传感器131的移位处理的情况下，通过将图像稳定透镜114驱动到图像在差最小的方向上移位的位置来扩展搜索范围。

在图13B的步骤S2321中进行上述判断，并且在步骤S2322中，根据上述模式，通过驱动图像稳定透镜114或图像传感器131来固定位置。之后，处理返回到步骤S2301，并且再次计算差最小的移位位置。

注意，在拍摄图像移位处理中进行通过图像移动的移位处理的情况下，可以通过驱动图像稳定透镜114和图像传感器131这两者来进一步扩展搜索范围。

利用上述方法，即使在照相机100和供校准使用的图2500的位置极大地未对准的情况下，也可以计算并呈现应使照相机100移动的方向和量，从而使得能够减少用户在视角对准中的工作量。

其他实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (19)

1.一种信息处理设备，包括：

第一获取部件，其被配置为获取通过拍摄校准用的图的图像所获得的拍摄图像；

第二获取部件，其被配置为获取基准图像，所述基准图像是所述图的用作基准的图像；

第三获取部件，其被配置为获取与用于拍摄所述拍摄图像的镜头的畸变像差有关的信息；

第一生成部件，其被配置为基于所述基准图像和与所述畸变像差有关的信息来生成伪图像，所述伪图像是通过将所述畸变像差反映在所述基准图像中所获得的图像；以及

第二生成部件，其被配置为生成通过将所述拍摄图像和所述伪图像进行合成所获得的合成图像。

2.根据权利要求1所述的信息处理设备，还包括输出部件，所述输出部件被配置为将所述合成图像输出到显示部件。

3.根据权利要求2所述的信息处理设备，还包括所述显示部件。

4.根据权利要求1所述的信息处理设备，

其中，与所述畸变像差有关的信息包括以下信息中的至少一个：根据所述拍摄图像和所述基准图像估计的与畸变像差有关的信息、所述镜头中所存储的与畸变像差有关的信息、以及安装有所述镜头的摄像设备中所存储的与畸变像差有关的信息。

5.根据权利要求1所述的信息处理设备，

其中，所述第一生成部件根据所述镜头的焦距来放大或缩小所述基准图像。

6.根据权利要求1所述的信息处理设备，还包括：

计算部件，其被配置为基于所述拍摄图像和所述伪图像来计算图像的偏离程度，并且进一步基于所述偏离程度来计算评估值；以及

第三生成部件，其被配置为基于所述评估值来生成用于移动安装有所述镜头的摄像设备的指示器。

7.根据权利要求6所述的信息处理设备，

其中，所述偏离程度包括以下矢量中的至少一个：表示所述拍摄图像的特征点与所述伪图像的相应特征点的距离和方向的矢量、以及表示所述拍摄图像的特定区域的重心点与所述伪图像的相应特定区域的重心点的距离和方向的矢量。

8.根据权利要求6所述的信息处理设备，

其中，所述计算部件根据所述镜头的畸变像差量或所述拍摄图像的像高来限制用于计算所述拍摄图像和所述伪图像中的所述偏离程度的范围。

9.根据权利要求6所述的信息处理设备，

其中，所述第二生成部件根据所述偏离程度来改变与所述拍摄图像进行合成的所述伪图像的一部分的颜色或形式。

10.根据权利要求6所述的信息处理设备，还包括：

存储部件，其被配置为将与所述镜头有关的信息、与所述镜头的畸变像差有关的信息、所述偏离程度和所述评估值与所述拍摄图像相关联地进行存储。

11.根据权利要求6所述的信息处理设备，还包括控制部件，所述控制部件被配置为在所述评估值满足预定条件的情况下，进行控制以自动拍摄图像。

12.根据权利要求1所述的信息处理设备，还包括第四生成部件，所述第四生成部件被配置为生成所述图的信息，其中所述第四生成部件通过从所述拍摄图像中检测生成所述图的信息所需的信息来生成所述图的信息。

13.根据权利要求1所述的信息处理设备，还包括：

计算部件，其被配置为计算所述拍摄图像和所述伪图像之间的差；以及

控制部件，其被配置为在所述拍摄图像和所述伪图像之间的差大于或等于预定值的情况下，进行控制以将安装有所述镜头的摄像设备的移动量显示在显示部件上，以及在所述差小于所述预定值的情况下，使移位机构进行用于使所述拍摄图像和所述伪图像相对于彼此移位的移位操作以减小所述差。

14.根据权利要求13所述的信息处理设备，

其中，所述移位机构包括以下机构中的至少一个：被配置为通过驱动所述镜头中所配备的图像稳定透镜来进行所述移位操作的机构、以及被配置为通过驱动用于拍摄所述拍摄图像的图像传感器来进行所述移位操作的机构。

15.根据权利要求13所述的信息处理设备，

其中，所述计算部件还计算所述拍摄图像和所述伪图像的相对转动量。

16.根据权利要求14所述的信息处理设备，

其中，在通过驱动所述图像稳定透镜来进行所述移位操作的情况下、或者在通过驱动所述图像传感器来进行所述移位操作的情况下，所述控制部件进行控制，使得所述第二生成部件基于进行所述移位操作之前的拍摄图像来生成所述合成图像。

17.一种摄像设备，包括：

镜头；

图像传感器，其被配置为拍摄所述拍摄图像；以及

根据权利要求1所述的信息处理设备。

18.一种信息处理方法，包括：

执行第一获取，所述第一获取用于获取通过拍摄校准用的图的图像所获得的拍摄图像；

执行第二获取，所述第二获取用于获取基准图像，所述基准图像是所述图的用作基准的图像；

执行第三获取，所述第三获取用于获取与用于拍摄所述拍摄图像的镜头的畸变像差有关的信息；

执行第一生成，所述第一生成用于基于所述基准图像和与所述畸变像差有关的信息来生成伪图像，所述伪图像是通过将所述畸变像差反映在所述基准图像中所获得的图像；以及

执行第二生成，所述第二生成用于生成通过将所述拍摄图像和所述伪图像进行合成所获得的合成图像。

19.一种非暂时性计算机可读存储介质，其存储有计算机程序，所述计算机程序用于使计算机执行信息处理方法的步骤，所述信息处理方法包括：

执行第一获取，所述第一获取用于获取通过拍摄校准用的图的图像所获得的拍摄图像；

执行第二获取，所述第二获取用于获取基准图像，所述基准图像是所述图的用作基准的图像；

执行第三获取，所述第三获取用于获取与用于拍摄所述拍摄图像的镜头的畸变像差有关的信息；

执行第一生成，所述第一生成用于基于所述基准图像和与所述畸变像差有关的信息来生成伪图像，所述伪图像是通过将所述畸变像差反映在所述基准图像中所获得的图像；以及

执行第二生成，所述第二生成用于生成通过将所述拍摄图像和所述伪图像进行合成所获得的合成图像。