CN101390383A - 图像修正装置、方法、程序、集成电路、系统 - Google Patents

Abstract

本发明的图像修正装置、方法、程序、集成电路、系统，从搭载于移动体的照相机所拍摄到的图像中，提取规定的图像提取范围的图像并输出。即使照相机的位置在原来应该进行摄影的位置和实际进行了摄影的位置间有误差，也将该误差分解为摄影方向的成分和正交于摄影方向的平面的成分，根据摄影方向的成分的误差，使图像提取范围移动，根据正交于摄影方向的平面的成分，放大或者缩小图像提取范围的尺寸。

Description

图像修正装置、方法、程序、集成电路、系统

技术领域

本发明涉及对图像进行修正的技术，特别是涉及对搭载在移动体中的照相机所拍摄到的图像进行修正的技术。

背景技术

以往，广泛使用着控制照相机的摄影位置和摄影方向，使得照相机能够摄影被摄体的技术。

例如，专利文献1中公开了一种入侵物体监控系统，使用第一照相机监控监控对象区域，基于摄影影像检测监控区域内的入侵者，并控制第二照相机的摄影方向以跟踪入侵者。此外，专利文献2中公开了一种对在监控区域内移动的移动体搭载照相机，移动体自身一边跟踪被摄体一边控制照相机而摄影被摄体的技术。

但是，对飞行体等移动体搭载照相机，一边使移动体移动一边进行摄影时，具有由于风等外部干扰而移动体移动，而对照相机的摄影影像产生不良影响的问题。

例如，在一边使移动体移动一边摄影被摄体时，若因为外部干扰而移动体移动，从而脱离了原来应该进行摄影的位置而进行摄影，则不能所期望的那样拍摄被摄体。例如，被摄体拍摄得小，或者拍摄在了摄影图像中的不期望的位置上。在现有技术中，以照相机固定、移动体能够稳定移动为前提，但是外部干扰对于摄影图像的不良影响很大，不能忽视其影响。

为了应对这样的外部干扰的不良影响，以前使用了机械控制移动体，使得移动体能够对于外部干扰稳定地飞行来摄影被摄体的技术。例如，在观测照相机的领域中，有一种在气球等飞行体中搭载照相机，使飞行体在空中稳定后摄影地面的技术。在下述的专利文献3中公开了一种将摄影装置悬挂成，即使气球摆动也能够利用自重而恢复到原来姿势，同时将摄影装置的摄影方向远程控制为任意朝向，来摄影目标场所的技术。

专利文献1：日本公开专利公报特开2001—319279号公报

专利文献2：日本公开专利公报特开2004—328484号公报

专利文献3：日本公开专利公报特开昭60—53942号公报

上述的现有技术是即使有外部干扰，通过控制为照相机的摄影位置返回到原来的摄影位置，也能进行原来期望的摄影的技术。

但是，大部分情况下外部干扰没有规律性，不能够将外部干扰模式化，并且直到移动体稳定飞行需要时间。这期间就不能得到原来期望的摄影结果。即，难以避免外部干扰给予的不良影响。

此外，已经提出了一种基于移动体中搭载的照相机所拍摄到的影像来控制移动体和照相机的技术。但是，在该情况下，难以基于影像来判断拍摄到的影像是原来期望的影像，还是受外部干扰后的非期望的影像。

发明内容

因此，本发明的目的在于提供一种在利用搭载了照相机的移动体进行摄影的情况下，即使有外部干扰的不良影响，也能输出原来期望的图像的图像修正装置。

为了解决上述问题，本发明的一种图像修正装置，对由搭载于移动体的照相机摄影而生成的图像进行修正并输出，其特征在于，具有：图像取得单元，取得上述照相机摄影的摄影图像；差分取得单元，取得位置差分信息，该位置差分信息表示在进行了上述摄影图像的摄影的时点的上述照相机的照相机位置与被指定的照相机位置的差分；决定单元，基于上述被存储着的上述位置差分信息，对用于从上述摄影图像中提取输出图像的标准的图像提取范围进行修正，并决定为输出图像提取范围；修正图像输出单元，从上述摄影图像中提取上述所决定的输出图像提取范围的图像，并输出。

发明效果：具有上述结构的图像修正装置从摄影图像中提取规定的图像提取范围的图像并输出。由于将图像提取范围的图像作为输出图像，因此，摄影图像是尺寸大于输出图像的图像。因此，即使摄影时的照相机位置与指定的照相机位置有差分，若该差分为规定的大小以下，则在摄影图像中包含有在从指定的照相机位置进行了摄影时作为输出图像来输出的图像。根据位置差分的大小和方向来确定该图像在摄影图像中的位置和范围。

从而，即使有外部干扰的影响，根据位置的差分，从摄影图像中特定输出图像提取范围的位置和范围，由此图像修正装置能够输出原来期望的没有外部干扰的不良影响的图像，所述输出图像提取范围包含有从指定的照相机位置进行了摄影时作为输出图像来输出的图像。

上述结构具体地优选为如下。

即，本发明的图像修正装置也可以是，上述图像提取范围，根据基准点而被确定该图像提取范围的在摄影图像中的位置，上述图像修正装置进一步具有：照相机信息取得单元，取得摄影方向信息，该摄影方向信息表示在进行了上述摄影图像的摄影的时点的上述照相机在照相机位置的上述照相机摄影方向、或在上述被指定的照相机位置的上述照相机的摄影方向中的至少一个，上述决定单元包括：分解部，根据上述所取得的上述摄影方向信息，将上述位置差分信息所表示的上述差分，分解为上述摄影方向信息所表示的上述摄影方向的成分和正交于上述摄影方向的平面的成分；图像尺寸计算部，根据上述摄影方向的成分，对上述标准的图像提取范围的尺寸进行修正，并将修正后的尺寸决定为输出图像提取范围的尺寸；图像基准点计算部，根据正交于上述摄影方向的平面的成分，使上述标准的图像提取范围的基准点移动，并将移动后的基准点决定为输出图像提取范围的基准点。

位置差分中的照相机的摄影方向的成分总之表示实际进行了摄影的照相机位置比指定的照相机位置接近还是远离于摄影对象面。当然，若实际的照相机位置比指定的照相机位置接近于摄影对象面，则被摄体就拍摄得大于期望的大小，若实际的照相机位置比指定的照相机位置远离于摄影对象面，则被摄体就拍摄得小于期望的大小。

从而，通过基于位置差分中的照相机的摄影方向的成分来决定输出图像提取范围的尺寸，能够使输出图像中的被摄体的大小成为原来期望的大小。

此外，位置差分中的、正交于照相机的摄影方向的平面的成分，总之表示从实际的照相机位置摄影时的摄影对象面与从指定的照相机位置摄影时的摄影对象面偏离了多少。

从而，通过基于位置差分中的、正交于照相机的摄影方向的平面的成分来决定输出图像提取范围的基准点，能够在输出图像提取范围中包含在从指定的照相机位置摄影时输出的图像。

具体地说，在用以上述被指定的照相机位置为起点、并以进行了上述摄影图像的摄影的时点的照相机位置为终点的向量表示了上述位置差分信息所表示的上述差分时，正交于上述摄影方向的平面的成分是将上述向量投影在正交于上述摄影方向的平面上的投影向量，上述图像基准点计算部，根据上述投影向量的大小，计算上述移动的基准点的移动量，并使上述标准的图像提取范围的基准点，向上述投影向量在正交于上述摄影方向的平面上表示的方向的相反方向移动上述计算出的移动量的量。

此外，只要如下即可：上述照相机信息取得单元进一步取得面角信息和距离信息，所述面角信息表示在进行了上述摄影图像的摄影的时点的上述照相机在照相机位置的上述照相机的面角、或在上述被指定的照相机位置的上述照相机的面角中的至少一个，所述距离信息表示在进行了上述摄影图像的摄影的时点的上述照相机位置到摄影对象的距离、或上述被指定的照相机位置到摄影对象的距离中的至少一个，

上述图像基准点计算部，根据上述所取得的上述面角信息和上述距离信息，计算摄影范围的大小，并根据上述摄影范围的大小与上述投影向量的大小的比率，计算出上述基准点的上述移动量。

使基准点移动的方向和移动量根据上述投影向量而被确定。基于投影向量来决定输出图像提取范围的基准点，由此能够更高精度地进行上述决定。即，能够提高输出原来期望的图像的精度。另外，若考虑照相机的面角和从照相机位置到摄影对象面的距离来计算基准点的移动量，就能够更正确地计算出输出图像提取范围的基准点。

此外，位置差分中的照相机的摄影方向的成分如上所述，是表示实际的照相机位置与原来的照相机位置相比到摄影对象面远还是近的成分。具体地说，关于如何决定输出图像提取范围，如下进行即可。

即，在用以上述被指定的照相机位置为起点、并以进行了上述摄影图像的摄影的时点的上述照相机的照相机位置为终点的向量表示了上述差分时，上述图像尺寸计算部，在上述向量的摄影方向的成分的方向与上述摄影方向信息所表示的上述摄影方向为相同方向的情况下，放大上述尺寸；在上述向量的摄影方向的成分与上述摄影方向信息所表示的上述摄影方向为相反方向的情况下，缩小上述尺寸，并进行上述尺寸的决定。

由于具有上述结构的图像修正装置根据实际的照相机位置与指定的照相机位置相比到摄影对象面近还是远，来放大或缩小输出图像提取范围的尺寸，因此，在从指定的照相机位置摄影的情况下和从实际的照相机位置摄影的情况下，都能够使被摄体的大小一致。即，能够输出原来期望的图像。

更具体地说，只要如下即可，上述图像尺寸计算部包括倍率决定部，并且按照决定的倍率来修正上述标准的图像提取范围的尺寸，所述倍率决定部根据上述摄影方向的成分的大小，决定上述尺寸的修正倍率。

此外，用以上述被指定的照相机位置为起点、并以进行了上述摄影图像的摄影的时点的上述照相机的照相机位置为终点的向量来表示上述差分，并设上述向量的摄影方向的成分的大小为a，而从上述被指定的照相机位置到摄影对象的距离为b，上述照相机信息取得单元，进一步取得表示从上述被指定的照相机位置到摄影对象的距离的距离信息，上述倍率决定部，在上述向量的摄影方向的成分的方向与上述摄影方向信息所表示的上述摄影方向为上述相同方向的情况下，将上述倍率决定为b/(b-a)；在上述向量的摄影方向的成分的方向与上述摄影方向信息所表示的上述摄影方向为相反方向的情况下，将上述倍率决定为b/(b+a)。

通过这样，能够更准确地决定输出图像提取范围的尺寸。

但是，有时输出图像的尺寸最好为一定。因为有时由于图像显示软件或硬件的制约，能够显示的图像尺寸的宽度会受限制。但是，在通过图像尺寸计算部而输出图像提取范围的尺寸变更了时，若直接输出提取的图像，则会输出变更后的图像尺寸的图像，输出图像的图像尺寸变得不一定。

因此，最好上述修正图像输出单元包括输出图像尺寸调节部，该输出图像尺寸调节部从上述摄影图像中提取上述输出图像提取范围，并将提取的图像放大或缩小成由上述图像尺寸计算部决定的上述倍率的倒数倍的尺寸的图像，输出通过上述输出图像尺寸调节部成为了上述倍率的倒数倍的尺寸的图像。

通过这样做，能够使输出图像的图像尺寸一定。

此外，也可以考虑照相机的滚动操作来决定输出图像提取范围。

即，也可以是，上述照相机能够进行使摄影范围以摄影方向为旋转轴旋转的滚动操作，上述图像修正装置进一步具有：滚动角信息取得单元，取得滚动角信息，所述滚动角信息是将进行了上述摄影图像的摄影的时点的、进行了滚动操作的旋转量用角度表示的，上述决定单元，根据上述位置差分信息和上述取得的上述滚动角信息进行上述修正，从而进行上述输出图像提取范围的上述决定。

具体地说，也可以是，上述滚动角信息取得单元进一步取得指定滚动角信息，该指定滚动角信息表示上述被指定的照相机位置的进行了滚动操作的旋转量，上述决定单元包括：差分旋转量计算部，计算差分旋转量，所述差分旋转量表示上述取得的上述滚动角信息所表示的旋转量与上述指定滚动角信息所表示的旋转量的差分的旋转量，根据由上述差分旋转量计算部计算出的上述差分旋转量所表示的旋转量，使根据上述位置差分信息而进行了上述修正的范围的图像提取范围旋转，将旋转后的图像提取范围决定为上述输出图像提取范围。

此外，也可以是，上述图像提取范围，根据基准点而被确定该图像提取范围的在摄影图像中的位置，上述决定单元包括：图像基准点计算部，根据上述位置差分信息，决定使上述标准的图像提取范围的基准点移动的方向和移动量；图像基准点修正部，使上述图像基准点计算部决定的方向和移动量所表示的上述移动后的点，以基于上述标准的图像提取范围的基准点的点为旋转中心，向与上述滚动角信息表示的旋转方向相反的方向旋转上述滚动角信息所表示的旋转量的量，使将由上述图像基准点修正部进行了上述旋转的点作为基准点时的图像提取范围，以基于进行了上述旋转的点的点为旋转中心，向与上述差分旋转量的旋转方向相反的方向旋转上述差分旋转量计算部计算出的上述差分旋转量所表示的旋转量的量，并将旋转后的图像提取范围决定为输出图像提取范围。

具有上述结构的图像修正装置，在从实际的照相机位置摄影时进行了照相机的滚动操作的情况下，也能够考虑该滚动操作，将包含原来期望的图像的范围决定为输出图像提取范围。

此外，在从实际的照相机位置的摄影和从指定的照相机位置的摄影中，摄影方向不平行的情况下，如下进行即可。

即，也可以是，上述图像修正装置进一步具有：摄影方向误差信息取得单元，取得摄影方向误差信息，所述摄影方向误差信息表示在进行了上述摄影图像的摄影的时点的上述照相机的摄影方向与上述被指定的照相机位置上的摄影方向的误差，上述决定单元，根据上述取得的摄影方向误差信息和上述位置差分信息进行上述修正，从而进行上述输出图像提取范围的上述决定。

具体地说，也可以是，上述图像提取范围，根据基准点而被确定该图像提取范围的在摄影图像中的位置，上述图像修正装置进一步具有：照相机信息取得单元，取得摄影方向信息，所述摄影方向信息表示在进行了上述摄影图像的摄影的时点的上述照相机在照相机位置的上述照相机的摄影方向、或在上述被指定的照相机位置的上述照相机的摄影方向中的至少一个，上述决定单元包括：分解部，根据上述所取得的上述摄影方向信息，将上述位置差分信息所表示的上述差分，分解为上述摄影方向信息所表示的上述摄影方向的成分和正交于上述摄影方向的平面的成分，并且将上述摄影方向误差信息所表示的上述摄影方向的误差，分解为上述摄影方向信息所表示的上述摄影方向的成分和上述正交的平面的成分；图像尺寸计算部，根据上述差分的上述摄影方向成分和上述摄影方向的误差的上述摄影方向成分，对上述标准的图像提取范围的尺寸进行修正，并将修正后的尺寸决定为输出图像提取范围的尺寸；图像基准点计算部，根据上述差分的上述正交的平面的成分和上述摄影方向误差的上述正交的平面的成分，使上述标准的图像提取范围的基准点移动，并将移动后的基准点决定为输出图像提取范围的基准点。

在摄影方向有误差的情况下，该摄影方向的误差最终也能够分解为照相机的摄影方向成分和正交于摄影方向的平面的成分，因此，能够考虑摄影方向的误差来决定输出图像提取范围。

此外，在移动体进行横摇或纵摇等运动，该运动的量的差是指定的照相机位置与实际的照相机位置的情况下，有时因为该运动的影响而照相机的摄影方向偏离了原来期望的方向。例如，假设期望在指定的照相机位置不进行纵摇，但是在实际的照相机位置上移动体却进行了纵摇，则摄影方向就能产生该纵摇的量的误差。该情况下，若最终也如上所述地将摄影方向的误差分解为摄影方向成分和正交于摄影方向的平面的成分，则能够决定输出图像提取范围。

即，也可以是，上述图像修正装置进一步具有：运动误差信息取得单元，取得移动体运动误差信息，所述移动体运动误差信息表示在进行了上述摄影图像的摄影的时点的上述移动体与上述被指定的照相机位置上的移动体的横摇角度、纵摇角度以及偏摇角度的差分的至少一个，上述决定单元，根据上述取得的位置差分信息和上述移动体运动误差信息进行上述修正，从而进行上述输出图像提取范围的上述决定。

具体地说，也可以是，上述图像提取范围，根据基准点而被确定该图像提取范围的在摄影图像中的位置，上述图像修正装置进一步具有：照相机信息取得单元，取得摄影方向信息，所述摄影方向信息表示在进行了上述摄影图像的摄影的时点的上述照相机在照相机位置的上述照相机的摄影方向、或在上述被指定的照相机位置的上述照相机的摄影方向中的至少一个，上述决定单元包括：分解部，根据上述所取得的上述摄影方向信息，将上述位置差分信息所表示的上述差分，分解为上述摄影方向信息所表示的上述摄影方向的成分和正交于上述摄影方向的平面的成分，并且将上述移动体运动误差信息所表示的上述差分，分解为上述摄影方向信息所表示的上述摄影方向的成分和上述正交的平面的成分；图像尺寸计算部，根据上述位置差分信息所表示的上述差分的上述摄影方向成分与上述移动体运动误差信息所表示的上述差分的上述摄影方向成分的和，对上述标准的图像提取范围的尺寸进行修正，并将修正后的尺寸决定为输出图像提取范围的尺寸；图像基准点计算部，根据上述位置差分信息所表示的上述差分的上述正交的平面的成分与上述移动体运动误差信息所表示的上述差分的上述正交的平面的成分的和，使上述标准的图像提取范围的基准点移动，并将移动后的基准点决定为输出图像提取范围的基准点。

由此，能够考虑移动体的运动的误差来决定输出图像提取范围。

此外，本发明也可以是，上述图像提取范围，根据基准点而被确定该图像提取范围的在摄影图像中的位置，上述决定单元包括图像基准点计算部，该图像基准点计算部根据上述位置差分信息所表示的位置的差分，使上述标准的图像提取范围的基准点移动，并将移动后的基准点决定为输出图像提取范围的基准点。

例如，也可以是，在指定的照相机位置和实际的照相机位置上，位置差分中的摄影方向的成分小而可以忽视对摄影图像的影响的程度的情况下，仅决定输出图像提取范围的位置，而图像尺寸保持不变。由此，能够使输出图像提取范围的决定高速化。

此外，本发明也可以是，上述决定单元根据上述位置差分信息所表示的位置差分，放大或缩小上述标准的图像提取范围的尺寸，并将放大或缩小后的尺寸决定为输出图像提取范围的尺寸。

例如，也可以是，在指定的照相机位置和实际的照相机位置上，位置差分中的正交于摄影方向的平面的成分小而可以忽视对摄影图像的影响的程度的情况下，仅决定输出图像提取范围的尺寸，而基准点的位置保持不变。由此，能够使输出图像提取范围的决定高速化。

此外，本发明具体地由以下构成来实现，上述移动体根据指令信息，进行移动和上述照相机的摄影，所述指令信息表示上述移动体应该移动的路线，上述图像修正装置进一步具有取得上述指令信息的指令信息取得装置，上述被指定的照相机位置是上述指令信息所表示的路线上的位置。

此外，作为本发明的实施方式，也可以如下。

即，也可以是，上述图像修正装置进一步具有：图像修正信息取得单元，取得图像修正信息并存储，所述图像修正信息是将修正上述标准的图像提取范围的修正方法与上述差分相对应的，上述决定单元，从上述存储着的上述图像修正信息中，读出与上述位置差分信息所表示的差分相对应的上述修正方法，并按照上述对应的上述修正方法进行上述决定。

具体地说，也可以是，上述图像提取范围，根据基准点而被确定该图像提取范围的在摄影图像中的位置，上述图像修正信息与上述差分相对应并存储上述输出图像提取范围的尺寸和基准点的位置，上述决定单元将上述图像修正信息所表示的上述尺寸和上述基准点的位置，决定为上述输出图像提取范围。

在该情况下，由于预先取得并存储如何根据位置的差分来决定输出图像提取范围，因此，不需要计算输出图像提取范围的位置和尺寸的处理，能够使处理高速化。

此外，本发明也可以如下。

即，上述移动体通过照相机的摄影生成影像，

上述图像修正装置通过上述决定单元，对构成上述被生成的影像的各图像进行上述输出图像提取范围的上述决定，上述修正图像输出单元包括影像输出部，该影像输出部提取对各图像进行了上述决定的输出图像提取范围的图像，并作为影像来输出。

由此，图像修正装置就能够修正移动体拍摄到的影像，输出修正后的影像。

此外，本发明也可以如下。

即，本发明也可以是一种图像修正系统，对由搭载于移动体的照相机摄影而生成的图像进行修正并输出，其特征在于，包括：位置指定接收单元，接收照相机位置的指定；位置指定信息存储单元，将有关接收到的指定的照相机位置存储为位置指定信息；移动轨迹信息取得单元，取得表示上述移动体实际移动了的路线的移动轨迹信息；位置差分计算单元，根据上述位置指定信息和上述取得的移动轨迹信息，计算在进行了上述摄影图像的摄影的时点的上述照相机的照相机位置与上述被指定的照相机位置的差分；决定单元，根据由上述位置差分计算单元计算出的上述差分，对用于从上述摄影图像中提取输出图像的标准的图像提取范围进行修正，并决定为输出图像提取范围；

修正图像输出单元，从上述摄影图像中提取上述决定的输出图像提取范围的图像并输出。

由此，即使在移动体拍摄了图像之后，也可以后来指定移动体应该移动的路线，并输出如果移动体从指定的路线进行摄影所得到的输出图像。

此外，本发明的一种图像修正方法，对由搭载于移动体的照相机摄影而生成的图像进行修正并输出，其特征在于，包括：图像取得步骤，取得上述照相机拍摄到的摄影图像；差分取得步骤，取得位置差分信息，该位置差分信息表示在进行了上述摄影图像的摄影的时点的上述照相机的照相机位置与被指定的照相机位置的差分；决定步骤，根据上述存储着的上述位置差分信息，对用于从上述摄影图像中提取输出图像的标准的图像提取范围进行修正，并决定为输出图像提取范围；修正图像输出步骤，从上述摄影图像中提取上述决定的输出图像提取范围的图像并输出。

此外，本发明的一种控制程序，用于使图像修正装置进行对由搭载于移动体的照相机摄影而生成的图像进行修正并输出的图像修正处理，其特征在于，上述控制程序包括：图像取得步骤，取得上述照相机拍摄到的摄影图像；差分取得步骤，取得位置差分信息，该位置差分信息表示在进行了上述摄影图像的摄影的时点的上述照相机的照相机位置与被指定的照相机位置的差分；决定步骤，根据上述存储着的上述位置差分信息，对用于从上述摄影图像中提取输出图像的标准的图像提取范围进行修正，并决定为输出图像提取范围；修正图像输出步骤，从上述摄影图像中提取上述决定的输出图像提取范围的图像并输出。

此外，本发明的一种集成电路，执行对由搭载于移动体的照相机摄影而生成的图像进行修正并输出的图像修正处理，其特征在于，包括：图像取得部，取得上述照相机拍摄到的摄影图像；差分取得部，取得位置差分信息，该位置差分信息表示在进行了上述摄影图像的摄影的时点的上述照相机的照相机位置与被指定的照相机位置的差分；决定部，根据上述存储着的上述位置差分信息，对用于从上述摄影图像中提取输出图像的标准的图像提取范围进行修正，并决定为输出图像提取范围；修正图像输出部，从上述摄影图像中提取上述决定的输出图像提取范围的图像并输出。

附图说明

图1是表示本发明的结构概要的图。

图2是表示照相机坐标系的图。

图3是表示移动体2的结构的功能框图。

图4是表示位置误差向量的计算的一例的图。

图5是表示方向误差向量的计算的一例的图。

图6是表示图像修正装置1的结构的功能框图。

图7是表示指令信息70的图。

图8是表示位置差分信息80的图。

图9是将移动体2在各时刻应该位于的坐标和移动体2实际移动了的移动路线投影在xy平面上的图。

图10是将移动体2在各时刻应该位于的坐标和移动体2实际移动了的移动路线投影在xz平面上的图。

图11是表示摄影图像信息90的图。

图12是表示移动体2的动作的流程图。

图13是表示图像修正装置1的动作的流程图。

图14是表示在实际的照相机位置与原来的照相机位置一致的情况下，图像修正处理部14决定图像提取范围的过程的图。

图15是表示在位置误差向量正交于摄影方向的情况下，图像修正处理部14决定输出图像提取范围的过程的图。

图16是表示摄影对象面中的原来的照相机位置和实际的照相机位置的摄影范围的图。

图17是表示在位置误差向量的方向与摄影方向一致的情况下，图像修正处理部14决定输出图像提取范围的过程的图。

图18是表示在位置误差向量的方向是摄影方向的反方向的情况下，图像修正处理部14决定输出图像提取范围的过程的图。

图19是表示图像修正处理部14将位置误差向量分解为摄影方向成分和正交平面成分而决定输出图像提取范围的处理的过程的图。

图20是表示变形例1的概要的图。

图21是表示变形例中的位置误差向量的计算的一例的图。

图22是表示后来指定移动体2的移动路线时的结构的一例的图。

图23是表示移动轨迹信息70a的图。

图24是表示滚动角度不同的情况下的、原来的照相机位置和实际的照相机位置的摄影范围的图。

图25是表示滚动角度和摄影位置不同的情况下的、原来的照相机位置和实际的照相机位置的摄影范围的图。

图26是表示有摄影方向误差向量时的照相机位置和摄影对象面的图。

符号说明

1  图像修正装置

2  移动体

3  移动指令装置

4  显示器

20 移动体主体

21 气球

22 螺旋桨

23 云台

24 照相机

201  指令信息取得部

202  位置误差计算部

203  位置管理部

204  GPS

205  方向误差计算部

206  方向管理部

207  陀螺仪

208  位置差分信息发送部

209  螺旋桨动力修正部

210  螺旋桨动力控制部

211  摄影角度修正部

212  摄影角度控制部

213  摄影图像取得部

214  摄影图像信息发送部

1000 图像修正装置

1010 图像修正处理部

1011 位置差分信息取得部

1012 摄影图像信息取得部

1013 照相机信息取得部

1101 图像中心点计算部

1102 图像尺寸计算部

1015 图像输出部

2000 照相机装置

3000 路线指定装置

具体实施方式

<实施方式>

以下，关于本发明，以图像修正装置1为中心进行说明。

1.1 概要

本发明的图像修正装置1对由搭载在移动体2中的照相机24所拍摄到的图像进行修正并输出。移动体2例如是充气气球等飞行体。以下，以移动体2是充气气球的情况为例进行说明。移动体2搭载着照相机24。在室内和公园等场所，移动体2按照与移动指令装置3进行通信而得到的指令信息70进行移动和摄影。

图1是表示本发明的结构概要的图。

图1中表示了图像修正装置1、移动体2和移动指令装置3。

首先，依次简单地说明移动指令装置3、移动体2和图像修正装置1所发挥的功能。

1.1.1 移动指令装置3的概要

移动指令装置3指令移动体2应该移动的路线和照相机24的摄影方法。具体地说，向移动体2发送包含着有关移动体2应该移动的移动路线和照相机24的摄影方法的信息的指令信息70。再有，移动指令装置3也向图像修正装置1发送指令信息70。

1.1.2 移动体2的概要

移动体2一边控制本机的移动，使得即使受风等外部干扰的影响，也沿着移动指令装置3所指令的路线，一边进行基于照相机24的摄影。

具体地说，移动体2从移动指令装置3接收指令信息70，并根据指令信息70中所示的移动路线和摄影方法，控制本机以使进行移动和摄影。

移动体2在上部具有气球21，在下部具有云台23和照相机24，在后部具有螺旋桨22。移动体2依次取得本机的位置，并将与指令信息70中示出的移动路线的误差记录为位置差分信息80。在受到风等外部干扰的影响而移动体20的位置脱离了指令信息70中示出的移动路线的情况下，控制螺旋桨22，以使其修正位置的误差而返回到上述移动路线上。

此外，移动体2通过云台23控制照相机24的摄影方法，以使照相机24根据指令信息70中示出的摄影方法进行摄影。对由照相机24拍摄到的图像附加标识符并存储图像，生成将拍摄时间和上述标识符相对应的摄影图像信息90。摄影图像信息90是用于管理由照相机24拍摄到的图像的信息。

移动体2向图像修正装置1发送摄影图像、位置差分信息80和摄影图像信息90。

1.1.3 图像修正装置1的概要

图像修正装置1取得移动体2发送的摄影图像、位置差分信息80和摄影图像信息90。在位置差分信息80中，移动体2实际所处位置和原来应该处于的位置的误差、与时刻相对应地被表示。图像修正装置1基于该误差，修正各时点拍摄到的摄影图像。

1.1.4 移动体2的位置和照相机24的摄影方向的表现

关于移动体2的位置和照相机24的摄影方向进行补充。

用实际空间上的三维坐标来表现移动体2的位置。将实际空间上的三维坐标系称作全球坐标系。在图1中将全球坐标系表示为(x，y，z)。在此，在实施方式1中，将xy平面作为平行于地表的平面，将z轴作为高度方向。

此外，用以照相机24为坐标原点的照相机坐标系来表现照相机24的摄影方向。

图2是表示照相机坐标系的图。

图2(a)是移动体2的斜视图。如图2(a)所示，照相机坐标系以照相机24为原点，由p轴、q轴、r轴三个轴构成。在本实施方式中，将连接移动体2的前部和后部的方向作为p轴，将连接移动体2的上部和下部的方向作为r轴。假设所述p轴和r轴正交(直交)。将正交于由p轴和r轴构成的平面的方向作为q轴。即，照相机坐标系将移动体2的前后方向的轴表示为p轴，并且，将移动体2的左右方向表示为q轴，将上下方向的轴表示为r轴。另外，关于各轴的正方向，例如，p轴将从移动体2的后部向前部的方向作为正。q轴将从移动体2的右侧面向左侧面的方向作为正。r轴将从移动体2的下部向上部的方向作为正。

图2(b)是移动体2的正视图，图2(c)是移动体2的后视图。

照相机24的摄影方向是以照相机坐标系的原点为起点的单位向量，使用p、q、r各轴的成分表示为“(p，q，r)”。例如，在照相机24的摄影方向是“(1，0，0)”的情况下，照相机24朝向移动体2的前方。在照相机24的摄影方向是“(0，1，0)”的情况下，照相机24朝向移动体2的左方。

1.1.5 实施方式1的前提条件

在此，说明实施方式1的前提条件。

首先，说明关于移动体2的运动的前提条件。

如移动体2的飞行体的运动主要分为横摇、纵摇和偏摇。

移动体2以前后方向的轴即p轴为中心旋转的运动称作移动体2的横摇。总之，是移动体2向右和左倾斜的运动。

移动体2以贯穿移动体2的左右侧面的轴方向即q轴为中心旋转的运动称作纵摇。总之，是移动体2上下摇机首的运动。

移动体2以移动体2的上下方向的轴即r轴为中心旋转的运动称作偏摇。总之，是移动体2左右摇机首的运动。

在实施方式1中，假设移动体2具有难以发生移动体2的横摇和纵摇、或者即使发生了横摇和纵摇也立即返回到原来的平衡位置的性质。即，移动体2具有横向稳定和纵向稳定都良好的结构。另外，以前广泛研究并公开了提高移动体2等飞行体的横向稳定性和纵向稳定性的技术，由于不是本发明的特征部分，因此省略详细的说明。

接着，说明关于照相机24的操作的前提条件。

搭载于移动体2的照相机24能够进行倾斜操作、摇镜头操作和滚动操作。将使照相机24以移动体2的上下方向的轴为中心旋转的，称作摇镜头操作。若进行摇镜头操作，则从移动体2看的情况下，使照相机24朝向移动体2的左方或者右方。此外，将操作照相机24对于由p轴和q轴构成的平面的倾斜的，称作倾斜操作。若进行倾斜操作，则从移动体2看的情况下，使照相机24朝向移动体2的上方或者下方。此外，将使照相机24以照相机24的摄影方向的轴为中心旋转的，称作滚动操作。

在实施方式1中，假设照相机24进行倾斜操作和摇镜头操作，不进行照相机24的滚动操作。

另外，实际上，移动体2在移动时进行上升和下降、左旋转和右旋转等，因此是进行横摇和纵摇，但是，假设横摇和纵摇给予照相机的摄影图像的影响小到可以忽视的程度。即，假设是摄影图像犹如进行了滚动操作一样不至于产生不良影响的运动，所述不良影响指的是因为大旋转，例如，尽管想水平摄影地平线，但地平线在摄影图像中摄影成倾斜等。或者，假设在因为横摇和纵摇而移动体2倾斜了的情况下，考虑该倾斜而自动地进行照相机的滚动操作，以使不旋转到摄影图像不能忽视的程度。

以下，依次说明移动体2和图像修正装置1的结构。另外，移动指令装置3只要具有发送指令信息70的通信功能即可，由于结构要素中并没有特殊的特征，故省略结构的详细说明。

1.2 移动体2的结构

具体地说明移动体2的结构。

图3是表示移动体2的结构的功能框图。

如图3所示，移动体2由移动体主体20、气球21、螺旋桨22、云台23和照相机24构成。另外，具有气球、螺旋桨、云台和照相机的移动体从以往就利用于各种各样的场合。例如，在大楼内部和室外等发生了灾害时，从上方摄影人不能踏入的危险地带的情况下广泛地利用。从而，省略移动体2的具体安装、即气球的大小和移动体2的重量等的说明。

1.2.1 气球21

如上所述，在移动体2的上部具有气球21。在本实施方式中，如上所述地设气球21为充气气球。在气球21中封装着比空气轻的气体，例如氦气，将能够使移动体2漂浮在空中的浮力提供给移动体2。

1.2.2 螺旋桨22

如上所述，在移动体2的后部具有螺旋桨22。移动体2通过控制螺旋桨22，能够控制移动体2的移动。

1.2.3 云台23

云台23使照相机24的摄影角度可动。即，能够让照相机24进行摇镜头操作和倾斜操作等。

1.2.4 照相机24

照相机24拍摄比原来要摄影的画面大角度的图像。例如，拍摄图像摄影范围是输出图像所要求的摄影范围的2～4倍左右的大角度的图像。

1.2.5 移动体主体20

移动体主体20由CPU(Central Processing Unit：中央处理器)、ROM(ReadOnly Memory：只读存储器)和RAM(Random Access Memory：随机存取存储器)等构成，通过执行计算机程序来控制螺旋桨22、云台23及照相机24的动作。此外，具有通信功能，与移动指令装置3和图像修正装置1进行通信。

移动体主体20具体地由指令信息取得部201、位置误差计算部202、位置管理部203、GPS204、方向误差计算部205、方向管理部206、陀螺仪207、位置差分信息发送部208、螺旋桨动力修正部209、螺旋桨动力控制部210、摄影角度修正部211、摄影角度控制部212、摄影图像取得部213、以及摄影图像信息发送部214构成。

1.2.6 指令信息取得部201

指令信息取得部201具有通信功能，与移动指令装置3进行通信。

具体地说，指令信息取得部201取得从移动指令装置3发送的指令信息70。

1.2.6.1 指令信息70

在此，为了方便以后的说明，详细地说明指令信息70。

图7是表示指令信息70的图。

如图7(a)所示，指令信息70的1条记录由时刻71、位置72、移动方向73、摄影方向74、面角75和到摄影对象面的距离76构成。

时刻71表示时刻。各记录间的时刻的间隔是任意的。例如，每1秒或每1分钟。

位置72表示在时刻71所示的时点移动体2应该处于的全球坐标系中的坐标。将坐标的x轴、y轴、z轴的各成分表示为“(x，y，z)”。

移动方向73表示在时刻71所示的时点移动体2应该朝向的方向。将方向表示为以全球坐标系的原点“(0，0，0)”为起点的单位向量。移动体2被控制为，在位置72所示的坐标上朝向平行于该单位向量的方向。例如，在移动方向73中表示为“(0，—1，0)”的情况下，移动体2应该朝向的方向为平行于y轴的方向(即，正交于xz平面的方向)。

摄影方向74表示在时刻71所示的时点照相机24应该朝向的方向。另外，如上所述地，为了在照相机坐标系上表现照相机24的朝向，在摄影方向74中标有了照相机坐标系中的方向。

面角75表示在时刻71所示的时点的照相机24的面角的设定。例如，将照相机24的焦距的长度以毫米单位、作为面角75包含在指令信息70中。另外，面角75也可以用角度表示。此外，在水平方向和垂直方向的面角不同的情况下，也可以在面角75中分别表示。

到摄影对象面的距离76表示从照相机24到摄影对象面的距离。所述摄影对象面是例如与照相机24的摄影方向的向量正交的平面，是包含成为摄影对象的被摄体的平面。该平面与地表面等实际存在的平面不同，是假想的平面。总之，到摄影对象面的距离是指到作为摄影对象的被摄体的距离，但未必以被摄体的存在为前提，因此也可以设定任意的距离。从而，到摄影对象面的距离也同等于到摄影对象的距离。到摄影对象面的距离76例如用以米为单位的距离来表现。

1.2.6.2 指令信息70的补充说明

如图7所示，指令信息70包括在各时刻移动体2应该位于的坐标即位置72、移动体2应该朝向的方向即移动方向73、在照相机坐标系中照相机24应该朝向的方向即摄影方向74。移动体2一边控制螺旋桨，以使在各时刻通过位置72所示的坐标，一边控制照相机24，以使在摄影方向74所示的方向上进行摄影。即，可以说指令信息70表示了移动体2应该移动的路线和摄影方法。

图7(b)中简单地图示了上述指令信息70中示出的移动体2应该移动的移动路线。另外，在图7(b)中，记号“×”表示在时刻71所示的时刻移动体2应该位于的坐标。实线是移动体2应该移动的移动路线，虚线是移动体2应该进行摄影的摄影方向。再有，摄影方向74是用照相机坐标系表现的照相机的摄影方向，在全球坐标系中，照相机进行摄影的方向为与移动方向73所示的向量和摄影方向74所示的向量的和平行的方向。

1.2.7 位置误差计算部202

位置误差计算部202计算移动体2受到风等外部干扰而从原来应该处于的位置偏离了多少。

具体地说，位置误差计算部202取得指令信息取得部201所取得的指令信息70的时刻71和位置72。此外，从在后面的“1.2.8位置管理部203”中记述的位置管理部203取得移动体2实际所处的坐标的信息。在到了时刻71所示的时点时，基于位置72、即移动体2应该所处的坐标的信息和从位置管理部203接收到的实际所处的坐标的信息，用向量计算应该所处的坐标与实际所处的坐标的误差。将计算出的向量作为位置误差向量。

例如，如图4所示，将位置73所表示的、以移动体2原来应该所处的坐标40a为起点，以因外部干扰的影响而从原来应该所处的坐标偏离的、移动体2实际所处的坐标40b为终点的向量作为位置误差向量。

1.2.8 位置管理部203

位置管理部203管理移动体2实际所处的坐标。

具体地说，接收从GPS204依次输出的、移动体2实际所处的坐标的信息，并存储。此外，为了更高精度地管理移动体2的实际位置，也可以具有高度计等，从而依次测定移动体2的气压高度并修正GPS高度后进行存储。

1.2.9 GPS204

GPS204具有GPS(Global Positioning System：全球定位系统)功能，利用GPS功能依次取得移动体2实际所处的坐标。将取得的坐标依次向位置管理部203输出。由GPS204测定的坐标的误差越小越好。

另外，关于GPS功能，由于是从以往已知的技术，故省略详细的说明。

1.2.10 方向误差计算部205

方向误差计算部205计算移动体2受到外部干扰的影响而从移动体2原来应该朝向的方向偏离了多少。

具体地说，方向误差计算部205从指令信息取得部201取得指令信息取得部201所取得的指令信息70的时刻71和移动方向73。此外，从在“1.2.11方向管理部206”中后述的方向管理部206接收关于移动体2实际朝着的方向的信息。在到了时刻71所示的时刻时，基于移动方向73、即关于移动体2应该朝向的方向的信息和从方向管理部206取得的关于实际朝向的方向的信息，用向量计算应该朝向的方向与实际朝向的方向的误差。将计算出的向量作为方向误差向量。

例如，如图5(a)所示，从表示移动体2实际朝着的方向的单位向量50a、减去表示移动体2原来应该朝向的方向的单位向量50b的向量差作为方向误差向量50c。

方向误差计算部205向摄影角度修正部211和螺旋桨动力修正部209输出计算出的方向误差向量。

1.2.11 方向管理部206

方向管理部206管理移动体2在全球坐标系中实际朝着的方向。

具体地说，接收从陀螺仪207依次输出的移动体2实际朝着的方向的信息并存储。

1.2.12 陀螺仪207

陀螺仪207利用陀螺机构检测移动体2实际朝着的方向。将通过检查得到的移动体2实际朝着的方向依次输出给方向管理部206。

另外，关于陀螺机构的方向检测，由于是从以往已知的技术，故省略详细的说明。

1.2.13 位置差分信息发送部208

位置差分信息发送部208具有通信功能，与图像修正装置1进行通信。

具体地说，位置差分信息发送部208将位置误差计算部202计算出的位置误差向量与计算出的时间建立关联，并作为位置差分信息80发送给图像修正装置1。

1.2.14 螺旋桨动力修正部209

螺旋桨动力修正部209修正螺旋桨动力，以使沿着指令信息取得部201所取得的指令信息70所表示的、移动体2应该移动的路线进行移动。

具体地说，螺旋桨动力修正部209取得指令信息70的时刻71、位置72和移动方向73。此外，从位置误差计算部202取得位置误差向量。此外，从方向误差计算部205取得方向误差向量。

螺旋桨动力修正部209基于位置误差向量和方向误差向量，依次计算返回到移动体2应该所处的坐标和移动体2应该朝向的方向所需的螺旋桨动力的修正量，并作为螺旋桨修正信息输出给螺旋桨动力控制部210。基本上，将螺旋桨动力修正为使误差向量为零即可。

1.2.15 螺旋桨动力控制部210

螺旋桨动力控制部210从螺旋桨动力修正部209取得时刻71、位置72、移动方向73和螺旋桨修正信息，并控制螺旋桨22的螺旋桨动力，以使变为指令信息70所表示的移动路线，即、在时刻71所示的各个时刻，成为位置72和移动方向73所表示的位置和方向。此外，基于螺旋桨修正信息来修正螺旋桨动力。

另外，当前已众所周知利用螺旋桨来控制飞行体的移动，以使没有位置和方向的误差的技术，故省略详细的说明。

1.2.16 摄影角度修正部211

摄影角度修正部211修正照相机24的摄影方向，使照相机24朝向原来应该朝向的方向。

移动体2根据指令信息70的摄影方向74，管理在规定的时点照相机24应该进行摄影的摄影方向。如上所述，用照相机坐标系来表现该摄影方向。即，在摄影方向74中示出了从移动体2来看的照相机24应该摄影的方向，定义为与移动体2在全球坐标系中朝着的方向无关。从而，若移动体2的移动方向偏离原来应该朝向的方向，则照相机24的摄影方向也在全球坐标系中偏离原来应该摄影的摄影方向。要修正该摄影方向的误差，使用移动体2的方向误差向量来修正照相机24的摄影方向即可。

例如，如图5(b)所示，若在表示照相机24的实际摄影方向的单位向量50d加上上述方向误差向量的反向量50e，则能够求出表示照相机24的原来的摄影方向的单位向量50f。

摄影角度修正部211从指令信息取得部201取得时刻71和摄影方向74。此外，从方向误差计算部205接收方向误差向量。摄影角度修正部211基于方向误差向量，修正摄影方向74所表示的照相机24的摄影方向，并计算表示照相机24的原来的摄影方向的单位向量。将有关修正后的照相机24的摄影方向的信息，输出给摄影角度控制部212。

1.2.17 摄影角度控制部212

摄影角度控制部212从摄影角度修正部211取得有关修正后的照相机24的摄影方向的信息，并通过云台23控制照相机24的摄影方向。即，即使移动体2受到外部干扰的影响而朝向偏离了原来应该朝向的方向的方向，也控制云台23，以使照相机24的全球坐标系中的摄影方向在全球坐标系中平行于原来应该进行摄影的方向。

另外，在实施方式1中，通过摄影角度控制部212的控制，使照相机24的全球坐标系中的摄影方向在全球坐标系中几乎总是平行于原来应该进行摄影的方向。

1.2.18 摄影图像取得部213

摄影图像取得部213控制照相机24，依次使照相机24拍摄图像。在拍摄到的图像中附加例如文件名等标识符而进行存储。此外，将拍摄到的图像的标识符与进行摄影的时刻建立关联，存储为摄影图像信息90。

1.2.19 摄影图像信息发送部214

摄影图像信息发送部214具有通信功能，对图像修正装置1发送由照相机24拍摄到的图像和摄影图像信息90。

具体地说，取得存储在摄影图像取得部213中的图像和摄影图像信息90，并向图像修正装置1发送。

1.2.20 其他

此外，如上所述，在指令信息70中包含着面角(画面视角)75和到摄影对象面的距离76等信息。移动体主体20未被图示，但基于面角75和到摄影对象面的距离76等信息，进行用于照相机24进行摄影的各种参数的设定。例如，进行焦点距离的设定和发光、亮度和色差的调整等。

1.3 图像修正装置1的结构

下面，具体地说明图像修正装置1的结构。

图6是表示图像修正装置1的结构的功能框图。

如图6所示，图像修正装置1由位置差分信息取得部11、摄影图像信息取得部12、照相机信息取得部13、图像修正处理部14和图像输出部15构成。

图像修正装置1具体地说是具有CPU、ROM、RAM等的计算机系统。按照程序进行图像的修正处理。图像修正装置1具有通信功能，与移动指令装置3和移动体2进行通信。

1.3.1 位置差分信息取得部11

位置差分信息取得部11取得从移动体2的位置差分信息发送部208发送的位置差分信息80，并向图像修正处理部14输出。

1.3.2 摄影图像信息取得部12

摄影图像信息取得部12取得从移动体2的摄影图像信息发送部214发送的图像和摄影图像信息90，并向图像修正处理部14输出。

1.3.3 照相机信息取得部13

照相机信息取得部13取得从移动指令装置3发送的指令信息70，并向图像修正处理部14输出。

1.3.4 图像修正处理部14

图像修正处理部14基于位置差分信息80所包含的位置误差向量，从在各时点照相机24拍摄到的大角度的摄影图像中，决定应该作为输出图像来提取的图像提取范围，并从摄影图像中提取决定后的图像提取范围的图像而输出。

图像修正处理部14存储着用于从大角度的摄影图像中提取输出图像的标准的图像提取范围。图像提取范围由表示摄影图像的位置的基准点和提取的大小即图像尺寸来表示。在实施方式1中，上述基准点表示图像提取范围的中心点。即，图像提取范围通过中心点和图像尺寸来表现。此外，使标准的图像提取范围的中心点(即、基准点)与大角度的摄影图像的中心点一致。在移动体2没有位置误差的情况下，从摄影图像中提取标准的图像提取范围的图像并输出。另外，关于图像提取范围将在后面叙述。

若具体地说明图像修正处理部14，则图像修正处理部14从位置差分信息取得部11取得位置差分信息80。此外，从摄影图像信息取得部12取得照相机24拍摄到的图像和摄影图像信息90。此外，从照相机信息取得部13取得指令信息70。

此外，如图所示，图像修正处理部14包括图像中心点计算部101和图像尺寸计算部102。

图像中心点计算部101基于位置误差向量，计算用于提取输出图像的图像提取范围的中心点的位置。

图像尺寸计算部102基于位置误差向量，计算用于提取输出图像的图像提取范围的图像尺寸。

图像修正处理部14从位置差分信息80中取得时刻81所表示的各时点的位置误差向量。图像修正处理部14基于位置误差向量，修正标准的图像提取范围。即，使标准的图像提取范围的中心点基于位置误差向量进行移动，并且，使图像尺寸基于位置误差向量进行放大或缩小，从而决定为用于提取输出图像的输出图像提取范围。

若简单地说明决定图像提取范围之前的处理，则首先，图像修正处理部14从指令信息70中取得在某个时点移动体2应该朝向的方向即移动方向73、和用照相机坐标系表现的照相机24的摄影方向即摄影方向74，并计算在实际空间上即全球坐标系中表示照相机24应该朝向的方向的单位向量。将该单位向量称作摄影方向的单位向量。另外，通过摄影角度修正部211的修正，该单位向量所表示的方向平行于照相机24在全球坐标系中实际拍摄的摄影方向。

上述摄影方向的单位向量由全球坐标系表示。此外，位置误差向量也由全球坐标系表示。从而，能够将位置误差向量分解为照相机24的摄影方向的成分和正交于照相机24的摄影方向的平面的成分。

图像修正处理部14这样分解位置误差向量的成分，并且使用指令信息70中包含的面角75和到摄影对象面的距离76，修正标准的图像提取范围，决定用于提取输出图像的输出图像提取范围。图像修正处理部14利用位置误差向量中的、正交于照相机24的摄影方向的平面的成分，通过图像中心点计算部101修正基准点的位置。利用位置误差向量中的照相机24的摄影方向的成分，通过图像尺寸计算部102修正图像尺寸。这样，修正标准的图像提取范围的中心点和图像尺寸，而决定输出图像提取范围。在后面详细说明该处理。

图像修正处理部14若决定输出图像提取范围，则从摄影图像中提取该提取范围的图像，进行图像尺寸的调整并向图像输出部15输出。

总之，图像修正处理部14利用位置的误差，从以大角度拍摄的图像中特定没有位置误差时应输出的图像的范围。提取特定的范围的图像并输出。

1.3.5 图像输出部15

图像输出部15接收从图像修正处理部14输出的图像，并作为影像信号而向显示器4输出。

1.4 数据

下面，关于位置差分信息80和摄影图像信息90进行说明。

1.4.1 位置差分信息80

图8是表示位置差分信息80的图。

如图8(a)所示，位置差分信息80的1条记录由时刻81和位置误差82构成。

时刻81表示时刻。

位置误差82表示在时刻81所表示的时点的位置误差向量。

图8(b)中简单地图示了在具有上述位置误差82所表示的误差时的移动体2的移动路线、即移动体2的实际移动路线。另外，假设移动体2原来应该移动的路线如图7所示的指令信息70所示。再有，在图8(b)中，记号“○”表示了在时刻81所示的时点移动体2实际所处的位置的坐标。实线是移动体2实际移动了的移动路线。虚线是移动体2实际进行了摄影的摄影方向。该摄影方向是通过摄影角度修正部211修正的摄影方向，因此平行于从移动体2实际应该进行摄影的位置的摄影方向。

另外，在图9和图10中示出原来移动体2应该移动的移动路线和实际移动体2移动了的移动路线。

图9是将移动体2在各时刻原来应该所处的坐标和实际移动体2移动了的移动路线投影在xy平面上的图。

在该图中，在移动体2在各时点原来应该所处的坐标与图7的指令信息70相对应。在图9中，通过附加记号“×”来表示移动体2在各时点应该所处的坐标。此外，用虚线表示移动体2在各时点应该进行摄影的摄影方向。

此外，移动体2实际移动了的移动路线与图8的位置差分信息80相对应。用实线表示移动体2实际移动了的路线。此外，由于移动体2实际进行了摄影的摄影方向平行于移动体2原来应该进行摄影的摄影方向，因此，图9中省略了移动体2实际进行了摄影的摄影方向的图示。

图10是将原来移动体2在各时点应该所处的坐标和实际移动体2移动了的移动路线投影在xz平面上的图。

详细的说明与图9相同，故省略说明。

1.4.2 摄影图像信息90

图11是表示摄影图像信息90的图。

如图11所示，摄影图像信息90的1条记录由时刻91和图像标识符92构成。

时刻91表示拍摄了图像的时点。

图像标识符92表示对照相机24所拍摄的各个图像进行识别的标识符。例如是图像的文件名。

1.5 动作

下面说明移动体2和图像修正装置1的动作。

1.5.1 移动体2的动作

移动体2一边如指令信息70所表示地那样移动，一边依次进行图像的摄影。

图12是表示移动体2的动作的流程图。

指令信息取得部201从移动指令装置3取得指令信息70(步骤S129)。位置误差计算部202从位置管理部203取得本机的位置(步骤S122)。位置误差计算部202基于指令信息70和本机的位置，计算位置误差向量(步骤S123)。

此外，方向误差计算部205从方向管理部206取得移动体2实际朝着的方向(步骤S124)。方向误差计算部205计算方向误差向量(步骤S125)。

螺旋桨动力修正部209基于指令信息70、位置误差向量和方向误差向量修正螺旋桨动力，使得移动体2通过原来应该移动的移动路线(步骤S126)。

此外，摄影角度修正部211基于方向误差向量和指令信息70修正摄影角度(步骤S127)。

位置差分信息发送部208向图像修正装置1发送位置差分信息80(步骤S128)。

此外，摄影图像信息发送部214向图像修正装置1发送摄影图像和摄影图像信息90(步骤S129)。

移动体2使各结构要素发挥功能，依次反复进行上述处理。

1.5.2 图像修正装置1的动作

图13是表示图像修正装置1的动作的流程图。

图像修正装置1利用指令信息70和位置差分信息80等中示出的各个时刻的位置误差向量和照相机24的摄影方向，决定图像提取范围，从在各时刻拍摄到的摄影图像中提取图像并输出。

以下具体地说明，图像修正装置1通过摄影图像信息取得部12取得从移动体2发送的摄影图像和摄影图像信息90(步骤S131)。此外，由位置差分信息取得部11取得从移动体2发送的位置差分信息80(步骤S132)。此外，由照相机信息取得部13取得从移动指令装置3发送的指令信息70(步骤S133)。

如上述的“1.3.4图像修正处理部14”中说明的，图像修正处理部14将位置差分信息80的位置误差82所表示的位置误差向量，并分解为照相机24的摄影方向的成分和正交于照相机24的摄影方向的平面的成分。

图像修正装置1通过图像中心点计算部101，基于位置误差向量的、正交于照相机24的摄影方向的平面的成分，决定用于提取输出图像的图像提取范围的中心点(步骤S134)。

此外，通过图像尺寸计算部102，基于位置误差向量的、照相机24的摄影方向的成分，决定用于提取输出图像的图像提取范围的图像尺寸(步骤S135)。

图像修正装置1从摄影图像中提取由决定后的中心点和图像尺寸所规定的图像提取范围的图像(步骤S136)。另外，在后面详细说明步骤S134和步骤S135的处理。

图像修正装置1通过图像输出部15，向显示器4输出提取的图像(步骤S137)。

图像修正装置1反复进行上述处理。

1.6 图像提取范围的决定方法

在此，关于图像中心点计算部101和图像尺寸计算部102决定用于从摄影图像中提取输出图像的输出图像提取范围的处理，进行详细的说明。

如上所述，图像中心点计算部101基于位置误差向量的、正交于照相机24的摄影方向的平面的成分(以下称作“正交平面成分”)，决定输出图像提取范围的中心点。

此外，图像尺寸计算部102基于位置误差向量的、照相机24的摄影方向的成分(以下称作“摄影方向成分”)，决定输出图像提取范围的图像尺寸。

从原来的照相机位置的照相机24的摄影方向和从实际的照相机位置的摄影方向平行。从而，位置误差向量中的摄影方向成分的误差，总归表示了照相机24相对于摄影对象面的距离，与原来应该摄影的位置相比是远还是近。若到摄影对象面的距离比原来的摄影位置近，则由于从较近距离进行拍摄，因此被摄体与原来的照相机24的位置相比拍摄得大。此外，若到摄影对象面的距离比原来的位置远，则被摄体拍摄得小。因此，例如，在被摄体拍摄得大的情况下，使输出图像提取范围的图像尺寸大于标准的图像提取范围而提取图像。

但是，若仅这样，就会输出图像尺寸大的图像，因此最好对照着原来的输出图像的尺寸，缩小提取的图像后再输出。若这样做，就能够输出与从原来的照相机24的位置拍摄时输出的图像相同的图像。

此外，照相机位置的误差中的正交平面成分的误差总之是影响被摄体被拍摄在图像的哪个位置上。例如，假设期望将被摄体拍摄在图像的中心附近。假设照相机24从高于原来的摄影位置的高度进行了摄影。于是，照相机24的摄影方向平行于来自原来应该摄影的位置的摄影方向，被摄体被拍摄在图像中心的下侧。

因此，在有正交平面成分的误差时，标准的图像提取范围的中心点向该误差的方向的相反侧错开，通过将该错开后的点作为输出图像提取范围的中心点，就能够输出与从原来的位置拍摄时应输出的图像相同的图像。

1.6.1 实际的照相机位置与原来的位置一致的情况

图14是表示在实际的照相机位置与原来的照相机位置一致的情况下，图像修正处理部14决定图像提取范围的过程的图。

在该情况下，位置误差向量为零，当然，输出图像提取范围与标准的图像提取范围相同。

图14(a)表示照相机位置和照相机24对摄影对象面进行拍摄的实际的摄影范围的大小。另外，在该图(a)中表示从平行于摄影对象面的视点眺望照相机位置和摄影范围时的图。所述摄影对象面和照相机的摄影方向正交。原来的照相机位置160a与实际的照相机位置165a一致。此外，摄影方向164a在原来的照相机位置160a和实际的照相机位置165a中一致。此外，摄影对象面的原来的摄影范围161a与实际的摄影范围166a一致。

图14(b)示出了以大角度拍摄的摄影图像150a、标准的图像提取范围151a和输出图像152a。

图像修正处理部14将标准的图像提取范围151a决定为输出图像提取范围，从摄影图像150a中提取输出图像提取范围的图像，并作为输出图像152a而输出。

1.6.2 位置误差向量正交于摄影方向的情况

图15是表示在位置误差向量正交于摄影方向的情况下，图像修正处理部14决定输出图像提取范围的过程的图。

图15(a)示出了照相机位置和照相机24对摄影对象面进行拍摄的实际的摄影范围的大小。与图14(a)同样，示出了从平行于摄影对象面的视点眺望照相机位置和摄影范围时的图。原来的照相机位置160b和实际的照相机位置165b，在正交于摄影方向的平面中偏移位置误差向量169b的量。摄影方向164b在原来的照相机位置160b和实际的照相机位置165b中平行。此外，摄影对象面的原来的摄影范围161b与实际的摄影范围166b偏移位置误差向量169b的量。

由于位置误差向量169b正交于摄影方向164b，因此，位置误差向量169b的摄影方向成分为零。从而，图像修正处理部14进行图像提取范围的中心点的修正，而不进行图像尺寸的修正。

在此，假设位置误差向量169b中的正交平面成分的向量为α(i，j)。再有，假设向量α的成分i表示平行于摄影对象面的水平方向的成分，向量α的成分j表示平行于摄影对象面的垂直方向的成分。

如上所述，照相机24的摄影方向在实际的照相机位置165b和原来的照相机位置160b中平行。此外，摄影对象面相对于照相机24的摄影方向164b正交。从而可知，在摄影对象面中，实际的摄影范围166b从原来的摄影范围161b偏移了向量α(i，j)。

在图16中表示摄影对象面的、原来的照相机位置和实际的照相机位置的摄影范围。如图16所示，若将原来的摄影范围161b错开位置误差向量169b(向量α)，则与实际的摄影范围166b一致。在图16中，将原来的摄影范围161b的中心点表示为原来的中心点162b。此外，将实际的摄影范围166b的中心点表示为实际的中心点167b。

此外，在图16中，将原来的摄影范围161b中的、在从原来的照相机位置摄影时作为标准的图像提取范围来提取的范围，表示为原来的标准提取对象范围163b。总之表示作为摄影范围中、原来期望的图像来输出的范围。同样，将实际的摄影范围166b中的、在从实际的照相机位置摄影时作为标准的图像提取范围来提取的范围，表示为实际的标准提取范围168b。总之，是实际拍摄到的图像中的、相当于标准的图像提取范围所示出的图像的部分。

如图16所示，若使从实际的照相机位置拍摄到的摄影对象面的摄影范围错开向量α的反向量-α的量，则与从原来的照相机位置拍摄到的摄影对象面的摄影范围一致。也就是说，若使实际的标准提取范围168b移动向量α的反向量的量，则与原来的标准提取范围163b一致。

原来想输出的图像是原来的摄影范围161b中的、原来的标准提取范围163b所示出的范围的图像。最好考虑这点来决定输出图像提取范围。

图15(b)示出了以大角度拍摄的摄影图像150b、标准的图像提取范围151b、输出图像152b、输出图像提取范围153b和中心点的修正量154b。中心点的修正量154b表示使摄影图像150b的中心点(即，标准的图像提取范围151的中心点)移动多少后作为输出图像提取范围的中心点。

在此，假设到摄影对象面的距离为“b”。由于到摄影对象面的距离已经在指令信息70的到摄影对象面的距离76中示出，因此已知。此外，假设照相机24的水平面角的角度为“θ”，垂直面角的角度为“ω”。由于照相机24的面角已经在指令信息70的面角75中示出，因此已知。此外，假设摄影图像150b的图像尺寸为纵向“m”像素，横向“n”像素。于是，若用距离来表示摄影对象面的范围的大小，则水平方向是“2b·tan(θ/2)”，垂直方向是“2b·tan(ω/2)”。此外，位置误差向量中的正交平面成分的向量是α(i，j)。在摄影对象面中，通过使摄影对象面移动向量α的反向量的量，能够使从实际的照相机位置的摄影对象面与从原来的照相机位置的摄影对象面一致。

从而，如果说在纵向“m”像素、横向“n”像素的摄影图像150b中，使标准的图像提取范围151b的中心点移动多少为好，假设向水平方向移动“v”像素，向垂直方向移动“w”像素，关于水平方向，(向量α的反向量的i成分：摄影对象面的水平方向的大小＝中心点向水平方向的移动量：摄影图像的水平方向的尺寸)，因此，根据-i：2b·tan(θ/2)＝v：n，成为“v＝-in/{2b·tan(θ/2)}”。关于垂直方向，同样成为“w＝-jm/{2b·tan(ω/2)}”。

图像修正处理部14将从标准的图像提取范围151b的中心点向水平方向移动了“v”像素、向垂直方向移动了“w”像素的点决定为输出图像提取范围153b的中心点。再有，输出图像提取范围153b的图像尺寸是如上所述地与标准的图像提取范围151b相同的尺寸。

1.6.3 位置误差向量的方向与摄影方向一致的情况

图17是表示在位置误差向量的方向与摄影方向一致的情况下，图像修正处理部14决定输出图像提取范围的过程的图。

图17(a)示出了照相机位置和照相机24对摄影对象面进行拍摄的实际的摄影范围的大小。与图14(a)同样地示出了从平行于摄影对象面的视点眺望照相机位置和摄影范围时的图。原来的照相机位置160c和实际的照相机位置165c向摄影方向偏移了位置误差向量169c的量。摄影方向164c和位置误差向量169c所表示的方向一致。此外，实际的摄影范围166c小于原来的摄影范围161c。

总之，是到摄影对象面的距离比原来的照相机位置短的情况。由于位置误差向量169c的方向与摄影方向164c一致，因此，位置误差向量169c的正交平面成分是零。从而，图像修正处理部14进行用于提取图像的图像尺寸的修正。

在此，假设位置误差向量169c的大小为“a”。假设从原来的照相机位置到摄影对象面的距离为“b”。根据指令信息70的到摄影对象面的距离76来得到“b”。从实际的照相机位置到摄影对象面的距离为“b-a”。

原来的摄影范围161c与实际的摄影范围166c的纵向和横向长度的比都是“b：(b-a)”。即，实际的摄影范围166c的大小成为在摄影范围的纵向和横向上都为原来的摄影范围161c的“(b-a)/b”倍的大小。换言之，对实际的摄影范围161c的纵向和横向都进行“b/(b-a)”倍的范围的大小，成为原来的摄影范围166c的大小。从而，最好使输出图像提取范围153c的图像尺寸的纵向和横向上都为标准的图像提取范围151c的图像尺寸的“b/(b-a)”倍。再有，如上所述，中心点在标准的图像提取范围151c和输出图像提取范围153c中一致。

图17(b)示出了以大角度拍摄的摄影图像150c、标准的图像提取范围151c、输出图像152c和输出图像提取范围153c。

图像修正处理部14将标准的图像提取范围151c的中心点作为输出图像提取范围153c的中心点，将输出图像提取范围153c的图像尺寸决定为纵向和横向都是标准的图像提取范围151c的b/(b-a)倍。即，以中心点为中心，放大标准的图像提取范围151c的图像尺寸。

但，若是就这样的图像尺寸，则输出图像152c的图像尺寸就会变大，因此，图像修正处理部14从摄影图像中提取输出图像提取范围153c的范围的图像，并将提取的图像的纵向、横向都缩小(b-a)/b倍。将缩小后的图像作为输出图像152c来输出。

1.6.4 位置误差向量的方向是摄影方向的相反方向的情况

图18是表示在位置误差向量的方向是摄影方向的相反方向的情况下，图像修正处理部14决定输出图像提取范围的过程的图。

图18(a)示出了照相机位置和照相机24对摄影对象面进行拍摄的实际的摄影范围的大小。与图14(a)同样地示出了从平行于摄影对象面的视点眺望照相机位置和摄影范围时的图。原来的照相机位置160d和实际的照相机位置165d向摄影方向164d所示的方向的相反侧偏移了位置误差向量169d的量。此外，实际的摄影范围166d大于原来的摄影范围161d。

总之，是到摄影对象面的距离比原来的照相机位置远的情况。由于位置误差向量169d的方向与摄影方向164d平行(但是方向相反)，因此，位置误差向量169d的正交平面成分是零。从而，图像修正处理部14进行用于提取图像的图像尺寸的修正。

与上述的“1.6.3位置误差向量的方向与摄影方向一致的情况”和图16的情况同样，假设位置误差向量169d的大小为“a”，从原来的照相机位置到摄影对象面的距离为“b”。于是，从实际的照相机位置到摄影对象面的距离就成为“b+a”。若与上述图16所示的例子同样地考虑就可知，最好使输出图像提取范围153d的纵向和横向上都为标准的图像提取范围151d的“b/(b+a)”倍。

图18(b)示出了以大角度拍摄的摄影图像150d、标准的图像提取范围151d、输出图像152d和输出图像提取范围153d。

图像修正处理部14将输出图像提取范围153d的图像尺寸决定为纵向和横向上都为标准的图像提取范围151d的“b/(b+a)”倍。该图像尺寸小于标准的图像提取范围151d。

图像修正处理部14从摄影图像中提取输出图像提取范围153d的范围的图像，将提取的图像的纵向和横向都放大“(b+a)/b”倍。将放大后的图像作为输出图像152d来输出。

1.6.5 一般的情况

图19是表示图像修正处理部14将位置误差向量分解为摄影方向成分和正交平面成分，并决定输出图像提取范围的处理的过程的图。

在“1.6.3位置误差向量的方向与摄影方向一致的情况”和“1.6.4位置误差向量的方向是摄影方向的相反方向的情况”中说明了位置误差向量仅是摄影方向成分的情况。此外，在“1.6.2位置误差向量正交于摄影方向的情况”中说明了位置误差向量仅是正交平面成分的情况。

作为一般的情况，在将位置误差向量分解为摄影方向成分和正交平面成分的情况下，组合上述的处理即可。

即，假设将位置误差向量投影在正交于摄影方向的平面上的投影向量(即，位置误差向量的正交平面成分)为α(i，j)、摄影方向成分的大小为“a”、从原来的照相机位置到摄影对象面的距离为“b”，则如“1.6.2位置误差向量正交于摄影方向的情况”中所述那样决定输出图像提取范围153e的中心点，如“1.6.3位置误差向量的方向与摄影方向一致的情况”或者“1.6.4位置误差向量的方向是摄影方向的相反方向的情况”中所述那样决定输出图像提取范围153e的图像尺寸即可。

1.7 实施方式1的变形例1

如上所述，说明了实施方式1，但也可以如下地变形。

1.7.1 变形例1·后来指定路线

在上述的实施方式1的说明中说明了图像修正装置1修正移动体2沿着指令信息70所表示的移动路线移动并拍摄到的图像的情况。即，说明了在摄影之前预先指定了移动体2的移动路线的情况。本发明不限于此，也可以在进行了图像的摄影之后指定移动体2的移动路线。

该情况下，图像修正装置1基于实际拍摄到的图像，输出如果移动体2沿着后来指定的路线进行拍摄则能得到的图像。

图20中表示变形例1的概要。在图20中，将照相机实际移动的轨迹表示为轨迹170。此外，将照相机实际拍摄的方向表示为实际的摄影方向171(171a、171b、…)。此外，将用户后来指定的路线表示为用户指定路线172。

如图20所示，在显示器中显示轨迹170和各时点的实际的摄影方向171(171a、171b、…)，以便用户在指定路线时参考。用户将显示器中显示的轨迹作为参考，指定照相机应该移动的路线。例如，可以让用户描绘路线，也可以将照相机的实际轨迹作为轴，用管状等的显示方法显示多个候补路线，让用户选择路线。

若这样地决定了用户指定的用户指定路线172，则能够计算出轨迹170上的点与用户指定路线172上的点的位置误差向量。若有计算出的位置误差向量和实际的摄影方向171的信息，则之后就如上述详细的说明那样，基于位置误差向量决定输出图像提取范围，由此能够从摄影图像中提取从用户指定路线172上的点摄影时得到的输出图像。

在此，要计算位置误差向量，就必须要有与轨迹170上的一点相对应的用户指定路线172上的点。相对于轨迹170上的一点，可以任取用于计算位置误差向量的用户指定路线172上的点。例如，将包含轨迹170上的一点并且在全球坐标系中正交于搭载了照相机的移动体的移动方向的平面、与用户指定路线172的交点，作为用于计算位置误差向量的用户指定路线172上的点。移动体的移动方向基于轨迹170来得到。

当然，也可以用此外的其他方法来决定用于计算位置误差向量的用户指定路线172上的点。例如，也可以将从轨迹170上的一点实际拍摄到的实际的摄影方向171用向量表示，并将包含上述轨迹170上的一点和上述向量的平面、与用户指定路线172相交叉的点作为用于计算位置误差向量的用户指定路线172上的点。

这样，若决定了用于计算位置误差向量的用户指定路线172上的点，则图像修正装置1如图21所示，将以决定的点即用户指定路线上的点180a为起点、以与该点对应的轨迹上的一点180b为终点的向量作为位置误差向量来计算。

1.7.2 变形例1的结构的例

图22中示出后来指定移动体2的移动路线时的结构的一例。

如图22所示，上述变形例1例如，能够以由图像修正装置1000、照相机装置2000、路线指定装置3000和显示器4构成的结构来实现。

1.7.3 照相机装置2000的结构

照相机装置2000是一边移动一边进行摄影的装置。照相机装置2000存储本装置移动了的路线(本装置通过的坐标和移动方向)和进行了摄影的时点的照相机的摄影方向。例如，通过具有与移动体2的位置管理部203、GPS204、方向管理部206和陀螺仪207同等的功能，来存储本机通过的坐标和当时的移动方向。此外，将照相机的摄影方向和摄影时的面角、与照相机进行了摄影的时刻相对应地存储。

另外，在面角固定的情况下，由于面角不变化，因此，不需要每次有摄影时存储面角。关于摄影方向也同样。

此外，照相机装置2000存储摄影时的到摄影对象面的距离。通过利用距离传感器等测定到照相机的摄影方向上存在的建筑物、构筑物、地表面等的距离，得到到摄影对象面的距离。或者，到摄影对象面的距离也可以不是由照相机装置2000求出，而是基于照相机装置2000的移动路线，在摄影后由其他装置等求出，或者由用户指定。

这样，照相机装置2000生成例如图23所示的移动轨迹信息70a并存储。照相机装置2000向图像修正装置1000和路线指定装置3000发送移动轨迹信息70a。

此外，照相机装置2000具有与移动体2的摄影图像取得部213和摄影图像信息发送部214同等的功能，生成摄影图像信息90并向图像修正装置1000发送。

1.7.3.1 移动轨迹信息70a

在此，对移动轨迹信息70a进行说明。

如图23所示，移动轨迹信息70a的1条记录由时刻71a、位置72a、移动方向73a、摄影方向74a、面角75a和到摄影对象面的距离76a构成。移动轨迹信息70a是与指令信息70实质上大致相同的信息。不同点在于，移动轨迹信息70a是表示照相机装置2000实际移动了的路线等的信息，相对于此，指令信息70是表示移动体2应该移动的路线等的信息。

时刻71a表示时刻。

位置72a表示在时刻71a所表示的时点照相机装置2000实际所处的全球坐标系中的坐标。

移动方向73a表示在时刻71a所表示的时点照相机装置2000实际朝着的全球坐标系中的方向。

摄影方向74a表示在时刻71a所表示的时点照相机装置2000的照相机朝着的方向。在摄影方向74a中示出了照相机坐标系中的方向。另外，照相机装置2000的照相机的照相机坐标系可以任意定义。例如，可以与移动体2同样地定义p轴、q轴和r轴。

面角75a表示在时刻71a所表示的时点的照相机装置2000的照相机的面角。

到摄影对象面的距离76a表示从照相机装置2000的照相机到摄影对象面的距离。

1.7.4 路线指定装置3000的结构

路线指定装置3000从照相机装置2000取得移动轨迹信息70a，并在显示器4中显示照相机实际移动了的轨迹。

虽然在图中未详细示出，但路线指定装置3000具有图像处理部，该图像处理部基于移动轨迹信息70a的位置72a等，用三维表现等来描绘照相机装置2000实际移动了的路线。基于照相机装置2000等移动体在各时点所处的坐标的信息，在显示器中显示移动体实际移动了的轨迹的技术是从以往已知的，并且，不是本发明的特征部分，故省略详细的说明。

此外，路线指定装置3000具有例如键盘和触摸屏等接收来自用户的输入的操作接收部，从用户接收路线的指定。若接收到路线的指定，则根据用户指定的路线和移动轨迹信息70a，计算出图像摄影的各时点的位置误差向量。例如，通过具有与移动体2的位置误差计算部202同等的功能，能够计算出位置误差向量。将计算出的位置误差向量与各个时点相对应地存储为位置差分信息80。这是和上述实施例中说明的位置差分信息80是同等的信息。

路线指定装置3000向图像修正装置1000发送位置差分信息80。

1.7.5 图像修正装置1000的结构

图像修正装置1000具有与上述实施例中说明的图像修正装置1大致同等的功能。不同点在于，照相机信息取得部1013所取得的信息是移动轨迹信息70a，从路线指定装置3000取得位置差分信息80，从照相机装置2000取得摄影图像信息90。另外，如在“1.7.3.1移动轨迹信息70a”中所述，移动轨迹信息70a实质上是与指令信息70同等的信息。在此，如在“1.7.3照相机装置2000的结构”中所述，在照相机装置2000不测定到摄影对象面的距离的情况下，移动轨迹信息70a中未包含到摄影对象面的距离76a。该情况下，图像修正装置1000对于是否从计算出到摄影对象面的距离的另外的装置取得关于到摄影对象面的距离76a的信息，从用户接收到摄影对象面的距离的指定。

此外，图像修正装置1000由位置差分信息取得部1011、摄影图像信息取得部1012、照相机信息取得部1013、图像修正处理部1010和图像输出部1015构成，图像修正处理部1010包括图像中心点计算部1101和图像尺寸计算部1102。

这些结构要素分别具有与图6中所示的的图像修正装置1的位置差分信息取得部11、摄影图像信息取得部12、照相机信息取得部13、图像修正处理部14、图像输出部15、图像中心点计算部101、图像尺寸计算部102同等的功能，因此，省略详细的说明。

1.7.6 图像修正装置1000的动作

图像修正装置1000根据移动轨迹信息70a的移动方向73a和摄影方向74a，能够计算出照相机的摄影方向。从而，图像修正装置1000通过将计算出的位置误差向量分解为照相机的摄影方向的成分和正交于摄影方向的成分，能够用与图像修正装置1同样的方法来决定输出图像提取范围。由于用与图像修正装置1同样的方法来进行处理即可，因此省略详细的说明。

1.8 实施方式1的变形例2

在上述实施方式1的说明中说明了没有照相机24的滚动操作的情况，但是，进行滚动操作的情况也包括在本发明中。

以下，对变形例2进行说明。另外，在以下的说明中，假设没有位置误差向量的摄影方向成分的误差而进行说明。在摄影方向成分有误差的情况下，对于摄影方向成分的误差，进行在“1.6.3位置误差向量的方向与摄影方向一致的情况”和“1.6.4位置误差向量的方向是摄影方向的相反方向的情况”中说明的处理而决定输出图像提取范围的图像尺寸即可。

在进行照相机的滚动操作的情况下，总之，也只要考虑使从实际的照相机位置摄影时的摄影范围如何移动，才能与从原来的照相机位置摄影时的摄影范围一致即可。

以下，在进行了滚动操作时，将照相机24以摄影方向为轴所旋转的角度称作滚动角度。

另外，在考虑滚动操作的情况下，假设移动体2存储摄影时的滚动操作的旋转量。并且，假设向图像修正装置1发送表示各摄影时点的滚动操作的旋转量的滚动角信息。图像修正装置1取得发送来的滚动角信息。

1.8.1 摄影位置相同的情况

首先，说明摄影位置相同，从原来的照相机位置的摄影和从实际的照相机位置的摄影中滚动角度不同的情况。

图24是表示滚动角度不同的情况下的、原来的照相机位置和实际的照相机位置的摄影范围的图。

另外，假设从原来的照相机位置的摄影中不进行滚动操作，滚动角度为零。假设从实际的照相机位置的摄影中，进行了逆时针旋转角度θ的滚动操作。

在图24(a)中，用虚线表示从原来的照相机位置摄影时的原来的摄影范围30a。此外，用实线表示从实际的照相机位置摄影时的实际的摄影范围31a。再有，在原来的摄影范围30a中，用虚线表示了作为输出图像来提取的范围。

使原来的摄影范围30a以摄影范围30a的中心为基准逆时针旋转θ的就是实际的摄影范围31a。从而，要使实际的摄影范围31a与原来的摄影范围30a一致，只要以实际的摄影范围31a的中心为基准，顺时针旋转θ即可。此外，从原来的照相机位置摄影时的标准的图像提取范围的图像，在实际的摄影图像中就成为顺时针旋转θ而拍摄的。从而，若使实际的摄影范围31a的摄影图像的标准的图像提取范围，以中心点为基准顺时针旋转θ，则能得到应该输出的图像的图像提取范围。

图24(b)是表示从实际的照相机位置拍摄到的摄影图像32a和标准的图像提取范围33a的图。

使该标准的图像提取范围33a顺时针旋转θ(逆时针旋转-θ)就是输出图像提取范围34a。将输出图像提取范围34a表示在图24(c)。

从摄影图像32a中提取输出图像提取范围34a的图像而得到的图像，就成为输出图像35a。图24(d)中示出输出图像35a。

另外，已经说明了在从原来的照相机位置的摄影中没有进行滚动操作的情况，总之，在摄影位置相同、葱原来的照相机位置的摄影和从实际的照相机位置的摄影中滚动角度不同的情况下，摄影范围旋转了该滚动角度的差的量。

从而，若使从实际的照相机位置的摄影范围反方向旋转该滚动角度的差的量，则与从原来的照相机位置的摄影范围一致。也就是说，若使从实际的照相机位置拍摄到的摄影图像的标准的图像提取范围，以图像提取范围的中心点为中心反方向旋转滚动角度的量，则能够得到输出图像提取范围。

1.8.2 摄影位置不同的情况

下面，作为一般的情况，对在进行照相机的滚动操作的同时，在正交于照相机的摄影方向的平面上，在原来的照相机位置和实际的照相机位置有位置的误差的情况进行说明。

假设从原来的照相机位置的摄影中没有进行滚动操作，而在从实际的照相机位置的摄影中进行了逆时针旋转θ的滚动操作。

用i轴和j轴表示正交于照相机的摄影方向的平面，并使i轴与未进行滚动操作的、从原来的照相机位置的摄影对象面的摄影范围的水平方向平行、j轴与从原来的照相机位置的摄影对象面的摄影范围的垂直方向平行。设位置误差向量的、正交于摄影方向的平面的成分为向量α(i，j)。

图25是表示滚动角度和摄影位置不同的情况下的、原来的照相机位置和实际的照相机位置的摄影范围的图。

在图25(a)中，用虚线表示从原来的照相机位置摄影时的原来的摄影范围30b。此外，用实线表示从实际的照相机位置摄影时的实际的摄影范围31b。将在摄影对象面上投影了位置误差向量α的投影向量表示为投影向量36b。另外，由于正交于摄影方向的平面与摄影对象面平行，因此，在图25(a)中也图示了正交于摄影方向的平面的i轴和j轴。

如图25(a)所示，要使实际的摄影范围31b与原来的摄影范围30b一致，只使实际的摄影范围31b在由i轴和j轴构成的平面上移动投影向量36b的反向量的量，同时反方向旋转滚动角度的量即可。此外，要得到原来期望那样的输出图像，只要使实际的摄影范围31b的摄影图像的标准的图像提取范围，以图像提取范围的中心点为基准顺时针旋转θ，并且进一步考虑滚动角度，基于投影向量，使标准的图像提取范围的中心点移动即可。

图25(b)用虚线表示了使从实际的照相机位置拍摄到的摄影图像32b的标准的图像提取范围顺时针旋转θ(逆时针旋转-θ)的图像提取范围。将该图像提取范围的中心点表示为标准的中心点38b。

但是，若就这样，则未考虑位置的误差，因此，不能够提取从原来的照相机位置所能得到的输出图像。

在此注意到，向量α以未进行滚动操作的情况下的摄影对象面的摄影范围的水平方向为i轴，以垂直方向为j轴。假设从实际的照相机位置的摄影中未进行滚动操作的情况下，原来的摄影范围的水平方向和垂直方向分别与实际的摄影范围的水平方向和垂直方向平行。因此，若在实际的摄影图像中，也使标准的图像提取范围的中心点向将向量α投影在摄影对象面上的投影向量36b所表示的方向的反方向移动，则能够得到输出图像提取范围的中心点。

但是，在实际的摄影中进行滚动操作时，在摄影对象面中，原来的摄影范围的水平方向和垂直方向分别与实际的摄影范围的水平方向和垂直方向不平行。此外，投影向量36b是将向量(矢量)α(i，j)投影在摄影对象面上的向量。从而，要使实际的摄影范围与原来的摄影范围一致，就首先将实际的摄影范围的水平方向作为i’轴，将垂直方向作为j’轴，使实际的摄影范围的中心点向与向量α相反的方向移动投影向量36b的成分、即向量α(j，j)的量。即，向i’轴方向移动-i，向j’轴方向移动-j。

并且，若以实际的摄影范围的原来的中心点为基准，使移动后的点顺时针旋转θ(逆时针旋转-θ)，则与原来的摄影范围的中心点一致。

从实际的摄影图像决定输出图像提取范围时，也考虑该点。总之，以标准的图像提取范围的中心点为基准，使假定为在实际的摄影中未进行滚动操作的情况下的输出图像提取范围的中心点顺时针旋转θ(逆时针旋转-θ，即、滚动操作的反向旋转)。旋转后的点是进行了滚动操作的情况下的输出图像提取范围的中心点。

图25(c)是表示假定为在实际的摄影中未进行滚动操作的情况下的输出图像提取范围的中心点37b的图。由于原来的摄影范围的水平方向和垂直方向分别与正交于摄影方向的平面的i轴和j轴平行，并用i轴和j轴的成分表现向量α和投影向量36b，因此，使假定为未进行滚动操作的情况下的输出图像提取范围的中心点移动的方向，就是由投影向量36b的各成分表现的方向的反方向。

使该中心点37b以标准的中心点38b为基准顺时针旋转θ的点就是输出图像提取范围33b的中心点39b。图25(d)中表示输出图像提取范围33b和其中心点39b。

1.8.3 有滚动操作的情况下的总结

总之，在原来的摄影中没有进行滚动操作，而在实际的摄影中进行逆时针旋转θ的滚动操作，并且，在正交于摄影方向的平面中有位置的误差的情况下，使实施方式1中说明的没有滚动操作时的输出图像提取范围的中心点，以标准的图像提取范围的中心点为基准顺时针旋转θ(逆时针旋转-θ)，并且进一步使输出图像提取范围本身以输出图像提取范围的中心点为基准顺时针旋转θ即可。

另外，在原来的摄影中也应该进行滚动操作的情况下，首先从实际的摄影图像中，决定在原来的摄影中未进行滚动操作时的输出图像提取范围，并且进一步使决定的输出图像提取范围，以该输出图像提取范围的中心点为基准，向相同方向旋转在原来的摄影中应该进行的滚动操作的滚动角度的量即可。

在该情况下，图像修正装置1取得指定滚动角信息，该指定滚动角表示在原来的摄影中应该进行的滚动操作的旋转量。

1.9 实施方式1的变形例3

在上述的实施方式1的说明中，假设照相机24的摄影方向与指令信息70中示出的原来应该朝向的方向平行而进行了说明。

不限于此，图像修正装置1在照相机24的摄影方向偏离了原来应该朝向的方向的情况下，即，不平行于原来应该朝向的方向的情况下，也能够考虑该偏离，而从摄影图像中决定输出图像提取范围。

1.9.1 摄影方向有误差的情况

如上所述，本发明将位置误差向量分解为摄影方向成分和正交平面成分而决定输出图像提取范围。在此，在照相机24的摄影方向不平行于原来应该朝向的方向、摄影方向有误差的情况下，将该误差的向量作为摄影方向误差向量。由于用向量表示摄影方向，因此，摄影方向误差向量例如为从表示实际的摄影方向的向量中减去表示原来的摄影方向的向量的差分向量。该摄影方向误差向量能够分解为摄影方向的成分和正交于摄影方向的平面的成分。于是，能够用与将位置误差向量分解为摄影方向成分和正交平面成分时同样的方法，考虑摄影方向的误差而决定输出图像提取范围。

在此，在上述的实施方式中，用单位向量来表现摄影方向的向量。必须要注意，从照相机位置到摄影对象面的距离越长，摄影方向误差向量中的、正交于摄影方向的平面的成分就越扩大。对此，摄影方向误差向量中的摄影方向的误差不扩大。

图26中图示了有摄影方向误差向量时的照相机位置和摄影对象面。

图26(a)中示出了原来的摄影方向41a、实际的摄影方向42a、摄影方向误差向量43a、原来的摄影范围44a、实际的摄影范围45a、误差46a和照相机位置49a。

假设照相机位置49a在原来的摄影位置和实际的摄影位置上相同。假设用θ表示原来的摄影方向41a与实际的摄影方向42a的误差的角度。

在此，假设通过移动体2记录实际的摄影方向等方法，已知实际的摄影方向42a。

原来的摄影方向41a和实际的摄影方向42a如上所述地表示为单位向量。假设到摄影对象面的距离为“b”。假设到摄影对象面的距离在原来的摄影位置和实际的摄影位置上大致相同。于是，摄影方向误差向量43a中的正交平面成分的误差在摄影对象面中变为“b”倍。即，误差46a的大小成为摄影方向误差向量43a中的正交平面成分的误差的“b”倍。

图26(b)中图示了表示摄影方向误差向量中的正交平面成分的向量β(i，j)。

图26(c)中示出了摄影对象面的原来的摄影范围44a、实际的摄影范围45a和误差46a。此外，将表示摄影方向误差向量中的、正交平面成分的向量β表示为向量β47a。如图所示，误差46a是向量β47a的“b”倍。在摄影方向有误差的情况下，只要将误差46a看作位置误差向量的正交平面成分，用与上述实施方式1同样的方法来决定输出图像提取范围的中心点即可。

同样地，基于摄影方向误差向量中的摄影方向的成分，如上述实施方式1的“1.6.3位置误差向量的方向与摄影方向一致的情况”和“1.6.4位置误差向量的方向是摄影方向的相反方向的情况”中说明地，放大或者缩小输出图像提取范围的图像尺寸即可。

1.9.2 摄影方向有误差的情况的补充

另外，到摄影对象面的距离越长，误差对于摄影图像的影响越大，所述误差是基于摄影方向误差向量中的、正交于摄影方向的平面的成分的误差。因此，在到摄影对象面的距离比较长的情况下，有时基于摄影方向误差向量中的摄影方向的成分的误差与基于正交平面成分的误差相比，给予摄影图像的误差的影响小。总之就是说，即使摄影方向有误差，若到被摄体的距离很远，则摄影图像中的被摄体的大小就不会那样改变。

从而，对于摄影方向误差向量中的摄影方向的成分，也可以使其与没有误差时的近似而不进行输出图像提取范围的图像尺寸的放大或缩小。这样，能够使图像修正装置1的处理高速化，并且在需要实时性处理的情况下有用。

另外，在摄影方向有误差、照相机的位置也有误差的情况下，对上述误差46a和位置误差向量的正交平面成分进行合成，并基于合成后的向量，决定输出图像提取范围的中心点即可。

1.9.3 有移动体2的运动的情况

另外，在上述实施方式1中说明了移动体2难以发生横摇和纵摇、或者不因横摇或纵摇而对摄影图像产生大的影响的情况，但在原来的摄影方法和实际的摄影方法中有移动体2进行了横摇或纵摇等的差异的情况下，照相机24的摄影方向在原来的摄影方法和实际的摄影方法中不同。

在移动体2在实际的摄影中进行了横摇或纵摇的情况下，例如若进行了横摇，则照相机24的摄影方向绕p轴旋转。即，原来应该摄影的方向和实际摄影的方向不同。这样，移动体2的运动能够表现为绕p轴或q轴或r轴的运动，即照相机坐标系中的旋转，因此，最终将该运动作为照相机的摄影方向的误差来处理即可。

如上所述，通过将照相机24的摄影方向的误差即摄影方向误差向量分解为摄影方向的成分和正交于摄影方向的平面的成分，能够考虑移动体2的运动而决定输出图像提取范围。

例如，移动体2存储着移动体2实际进行了摄影时的横摇的角度和纵摇的角度及偏摇的角度，图像修正装置1从移动体2取得这些信息。并且，通过取得关于原来移动体2进行移动时的横摇角度和纵摇角度及偏摇角度的信息，求出与实际的横摇角度等信息的差分，取得表示移动体2的运动误差的移动体运动误差信息。若能够取得该移动体运动误差信息，则知道照相机的摄影方向的误差。之后，如上所述，基于照相机的摄影方向的误差进行图像的提取。

1.10 其他补充

以上，基于实施方式，对本发明涉及的图像修正装置1进行了说明，但也可以如下地变形，本发明不限于上述实施方式中示出的图像修正装置1是当然的。

1.10.1 位置差分信息发送部208的发送定时

关于位置差分信息发送部208向图像修正装置1发送位置差分信息80的定时进行补充，可以是，位置差分信息发送部208每次从位置误差计算部202接收位置误差向量时依次进行发送。在该情况下，由于图像修正装置1接收各时点的误差向量，因此，能够实时地修正移动体2的照相机24所拍摄到的图像。此外，也可以是，位置差分信息发送部208累积各时点的位置误差向量到某种程度后，集中向图像修正装置1发送。

此外，关于摄影图像信息发送部214向图像修正装置1发送摄影图像信息90和照相机24拍摄到的图像的定时也同样。即，可以是，摄影图像信息发送部214在每次拍摄图像时依次读出摄影图像取得部213中存储着的图像和摄影图像信息90并发送。该情况下，图像修正装置1能够如上所述地实时进行修正。此外，也可以累积图像到某种程度后，集中向图像修正装置1发送。

1.10.2 移动体2的变化

在上述实施例中，对移动体2是飞行体的情况进行了说明，但不限于此。总之，若是受外部干扰影响的移动体就能够适用本发明。例如，也可以是小船、游艇、帆船等浮在水面上移动的漂浮移动体。这些漂浮移动体在移动时容易受风的影响。此外，由于波浪的影响而漂浮移动体摆动。除此以外也可以是例如在地面上行驶的行驶体。在移动体在山岳或荒地上行驶的情况下，移动体有时因为石头等障碍物而跳跃。此外，不限于地面上和水上，也可以是在水中移动的移动体。移动体的移动有时因为水流的影响而受到影响。

1.10.3 结构的变化

另外，在上述的实施方式的说明中假设图像修正装置1、移动体2和移动指令装置3是独立的装置而进行了说明，但并不一定分开为独立的装置。例如也可以是移动体2具有移动指令装置3和图像修正装置1的功能。此外，也可以是图像修正装置1具有移动指令装置3的功能。例如，在上述的实施方式的说明中，移动体2计算位置误差和方向误差而进行螺旋桨动力的修正和摄影角度修正，但也可以是移动指令装置3通过远程操作来指令移动体2进行这些处理。此外，图像修正装置1从移动指令装置3取得指令信息70，但也可以从移动体2取得。

此外，在图6中图示为显示器4在图像修正装置1的外部，但也可以在图像修正装置1中包括显示器4。

另外，在上述的实施方式的说明中，移动体2基于位置误差向量和方向误差向量进行图像修正、螺旋桨动力修正和摄影角度修正，但除此以外，也可以基于计测外部干扰所得到的数据来进行从摄影图像中提取图像的输出图像提取范围的决定、螺旋桨动力修正和摄影角度修正。计测外部干扰使用例如风压传感器等。移动体2在水上和水中移动时使用水压传感器为好。此外，移动体2在地面上行驶时使用压力传感器为好。

此外，也可以基于移动体2的速度和加速度等，进行输出图像提取范围的决定和螺旋桨动力修正及摄影角度修正。

此外，使用GPS204和陀螺仪207取得移动体2的位置和方向，但也可以是其他装置测定移动体2的位置和方向后通知给移动体2。

此外，已经说明了移动体2利用气球21和螺旋桨22进行飞行的情况，但也可以使用翼和羽毛、喷射器等其他装置。

此外，在上述的实施方式中，图像修正装置1通过接收指令信息70来取得原来的照相机24的摄影方向74的信息，并基于摄影方向74所表示的信息分解位置误差向量，但也可以是，移动体2依次存储照相机24的摄影方向，取得照相机24的实际的摄影方向，并基于实际的摄影方向，分解位置误差向量而进行图像的修正。

此外，将到摄影对象面的距离作为了如指令信息70所示的从原来的照相机位置的距离，但在移动体2能够测定到摄影对象面的距离的情况下，也可以使用从实际的照相机位置的距离进行图像尺寸的修正等。

此外，位置误差向量和方向误差向量等用于表示误差的向量的计算方法，不限于上述的实施方式的方法。例如，也可以将以移动体2原来所处的坐标为终点、以实际所处的坐标为起点的向量作为位置误差向量。关于方向误差向量也同样地，可以将从表示移动体2原来应该朝向的方向的单位向量减去表示实际朝着的方向的单位向量的向量差作为方向误差向量，可以考虑各种各样的计算方法。关于摄影方向误差向量也同样。

1.10.4 影像的修正

另外，在上述的实施方式中，使图像修正装置1修正移动体2的照相机24所拍摄的图像而进行了说明，但也可以是影像修正装置，在移动体2摄影影像的情况下，对构成该影像的一幅幅的图像决定输出图像提取范围而依次提取图像，并依次输出提取的图像，由此修正移动体2拍摄到的影像。可以设想例如在灾害发生的现场或室外比赛等的事件会场等中.在廉价且小型的移动体中搭载照相机，从上空进行摄影，影像修正装置实时接收拍摄到的影像，并对构成该影像的一幅幅图像依次进行修正而输出的利用方式。在由人进行摄影的情况下，是人操作照相机，因此当然能够摄影操作者所期望的影像，但在该情况下是搭乘在直升飞机等中进行摄影，不但移动体必须要比较大，而且一般成本都高。

1.10.5 图像修正的方法的变化

另外，除了上述实施方式中说明的方法以外，从摄影图像决定输出图像提取范围的方法还有如下方法。

例如，基于位置误差向量、到摄影对象面的距离和面角，预先计算出使中心点从标准的图像提取范围移动的方向和移动量、放大或缩小的图像尺寸的倍率等。也可以将计算结果作为图像修正信息，存储在图像修正装置1中。即，在上述的有位置误差向量的情况下，存储有要使实际的摄影对象面移动到原来的摄影对象面所需要的向量的朝向和方向即可。这些修正量通过实验或仿真等计算。之后，基于该向量的大小，决定图像提取范围的中心点的移动量。

1.10.6 其他

(1)上述的装置是具体由微处理机、ROM、RAM、硬盘单元、显示单元、键盘、以及鼠标等构成的计算机系统。在上述RAM或上述硬盘单元中存储着计算机程序。通过上述微处理机按照上述计算机程序进行动作，各装置实现其功能。在此，为了达到规定的功能，计算机程序是组合多个表示对计算机的指令的命令代码来构成的。

(2)构成上述各装置的结构要素的一部分或全部也可以由1个系统LSI(Large Scale Integration：大规模集成电路)构成。系统LSI是在1个芯片上集成多个结构部而制造的超多功能LSI，具体地说是包含微处理机、ROM、RAM等而构成的计算机系统。在上述RAM中存储着计算机程序。通过上述微处理机按照上述计算机程序进行动作，系统LSI实现其功能。

(3)构成上述各装置的结构要素的一部分或全部也可以由可对各装置拆装的IC卡或单体模块构成。上述IC卡或上述模块是由微处理机、ROM、RAM等构成的计算机系统。上述IC卡或上述模块也可以包括上述超多功能LSI。通过微处理机按照计算机程序进行动作，上述IC卡或上述模块实现其功能。该IC卡或该模块也可以具有抗干扰性。

(4)本发明也可以是上述所示的方法。此外，也可以是利用计算机实现这些方法的计算机程序，也可以是由上述计算机程序构成的数字信号。

此外，本发明也可以将上述计算机程序或上述数字信号记录在计算机可读取的记录介质，例如软磁盘、硬盘、CD—ROM、MO、DVD、DVD—ROM、DVD—RAM、BD(Blu—ray Disc)、半导体存储器等中。此外，也可以是记录在这些记录介质中的上述计算机程序或者上述数字信号。

此外，本发明也可以经由电气通信线路、无线或有线通信线路、以因特网为代表的网络、以及数据广播等，传送上述计算机程序或上述数字信号。

此外，本发明也可以是具有微处理机和存储器的计算机系统，上述存储器存储着上述计算机程序，上述微处理机按照上述计算机程序进行动作。

此外，也可以将上述程序或上述数字信号记录在上述记录介质中而移送，或者将上述程序或上述数字信号经由上述网络等来移送，由此利用独立的其他计算机系统来进行实施。

(5)也可以分别组合上述实施方式和上述变形例。

产业上的可利用性

对于在搭载了照相机的移动体进行摄影时，受外部干扰的影响而频繁地引起偏离原来想要摄影的图像的现象，本发明的图像修正装置能够基于移动体的位置的误差来修正图像，而得到原来想要摄影的图像，十分有用。此外，通过修正构成影像的各个图像，也能够作为输出影像的影像修正装置来使用。

Claims (25)

1、一种图像修正装置，对由搭载于移动体的照相机摄影而生成的图像进行修正并输出，其特征在于，具有：

图像取得单元，取得上述照相机摄影的摄影图像；

差分取得单元，取得位置差分信息，该位置差分信息表示在进行了上述摄影图像的摄影的时点的上述照相机的照相机位置与被指定的照相机位置的差分；

决定单元，基于上述被存储着的上述位置差分信息，对用于从上述摄影图像中提取输出图像的标准的图像提取范围进行修正，并决定为输出图像提取范围；

修正图像输出单元，从上述摄影图像中提取上述所决定的输出图像提取范围的图像，并输出。

2、如权利要求1所述的图像修正装置，其特征在于，

上述图像提取范围，根据基准点而被确定该图像提取范围的在摄影图像中的位置，

上述图像修正装置进一步具有：照相机信息取得单元，取得摄影方向信息，该摄影方向信息表示在进行了上述摄影图像的摄影的时点的上述照相机在照相机位置的上述照相机摄影方向、或在上述被指定的照相机位置的上述照相机的摄影方向中的至少一个，

上述决定单元包括：

分解部，根据上述所取得的上述摄影方向信息，将上述位置差分信息所表示的上述差分，分解为上述摄影方向信息所表示的上述摄影方向的成分和正交于上述摄影方向的平面的成分；

图像尺寸计算部，根据上述摄影方向的成分，对上述标准的图像提取范围的尺寸进行修正，并将修正后的尺寸决定为输出图像提取范围的尺寸；

图像基准点计算部，根据正交于上述摄影方向的平面的成分，使上述标准的图像提取范围的基准点移动，并将移动后的基准点决定为输出图像提取范围的基准点。

3、如权利要求2所述的图像修正装置，其特征在于，

在用以上述被指定的照相机位置为起点、并以进行了上述摄影图像的摄影的时点的照相机位置为终点的向量表示了上述位置差分信息所表示的上述差分时，

正交于上述摄影方向的平面的成分是将上述向量投影在正交于上述摄影方向的平面上的投影向量，

上述图像基准点计算部，根据上述投影向量的大小，计算上述移动的基准点的移动量，并使上述标准的图像提取范围的基准点，向上述投影向量在正交于上述摄影方向的平面上表示的方向的相反方向移动上述计算出的移动量的量。

4、如权利要求3所述的图像修正装置，其特征在于，

上述照相机信息取得单元进一步取得面角信息和距离信息，所述面角信息表示在进行了上述摄影图像的摄影的时点的上述照相机在照相机位置的上述照相机的面角、或在上述被指定的照相机位置的上述照相机的面角中的至少一个，所述距离信息表示在进行了上述摄影图像的摄影的时点的上述照相机位置到摄影对象的距离、或上述被指定的照相机位置到摄影对象的距离中的至少一个，

上述图像基准点计算部，根据上述所取得的上述面角信息和上述距离信息，计算摄影范围的大小，并根据上述摄影范围的大小与上述投影向量的大小的比率，计算出上述基准点的上述移动量。

5、如权利要求2所述的图像修正装置，其特征在于，

在用以上述被指定的照相机位置为起点、并以进行了上述摄影图像的摄影的时点的上述照相机的照相机位置为终点的向量表示了上述差分时，

上述图像尺寸计算部，在上述向量的摄影方向的成分的方向与上述摄影方向信息所表示的上述摄影方向为相同方向的情况下，放大上述尺寸；在上述向量的摄影方向的成分与上述摄影方向信息所表示的上述摄影方向为相反方向的情况下，缩小上述尺寸，并进行上述尺寸的决定。

6、如权利要求2所述的图像修正装置，其特征在于，

上述图像尺寸计算部包括倍率决定部，并且按照决定的倍率来修正上述标准的图像提取范围的尺寸，所述倍率决定部根据上述摄影方向的成分的大小，决定上述尺寸的修正倍率。

7、如权利要求6所述的图像修正装置，其特征在于，

用以上述被指定的照相机位置为起点、并以进行了上述摄影图像的摄影的时点的上述照相机的照相机位置为终点的向量来表示上述差分，并设上述向量的摄影方向的成分的大小为a，而从上述被指定的照相机位置到摄影对象的距离为b，

上述照相机信息取得单元，进一步取得表示从上述被指定的照相机位置到摄影对象的距离的距离信息，

上述倍率决定部，在上述向量的摄影方向的成分的方向与上述摄影方向信息所表示的上述摄影方向为上述相同方向的情况下，将上述倍率决定为b/(b-a)；在上述向量的摄影方向的成分的方向与上述摄影方向信息所表示的上述摄影方向为相反方向的情况下，将上述倍率决定为b/(b+a)。

8、如权利要求6所述的图像修正装置，其特征在于，

上述修正图像输出单元包括输出图像尺寸调节部，该输出图像尺寸调节部从上述摄影图像中提取上述输出图像提取范围，并将提取的图像放大或缩小成由上述图像尺寸计算部决定的上述倍率的倒数倍的尺寸的图像，

输出通过上述输出图像尺寸调节部成为了上述倍率的倒数倍的尺寸的图像。

9、如权利要求1所述的图像修正装置，其特征在于，

上述照相机能够进行使摄影范围以摄影方向为旋转轴旋转的滚动操作，

上述图像修正装置进一步具有：滚动角信息取得单元，取得滚动角信息，所述滚动角信息是将进行了上述摄影图像的摄影的时点的、进行了滚动操作的旋转量用角度表示的，

上述决定单元，根据上述位置差分信息和上述取得的上述滚动角信息进行上述修正，从而进行上述输出图像提取范围的上述决定。

10、如权利要求9所述的图像修正装置，其特征在于，

上述滚动角信息取得单元进一步取得指定滚动角信息，该指定滚动角信息表示上述被指定的照相机位置的进行了滚动操作的旋转量，

上述决定单元包括：差分旋转量计算部，计算差分旋转量，所述差分旋转量表示上述取得的上述滚动角信息所表示的旋转量与上述指定滚动角信息所表示的旋转量的差分的旋转量，

根据由上述差分旋转量计算部计算出的上述差分旋转量所表示的旋转量，使根据上述位置差分信息而进行了上述修正的范围的图像提取范围旋转，将旋转后的图像提取范围决定为上述输出图像提取范围。

11、如权利要求10所述的图像修正装置，其特征在于，

上述图像提取范围，根据基准点而被确定该图像提取范围的在摄影图像中的位置，

上述决定单元包括：

图像基准点计算部，根据上述位置差分信息，决定使上述标准的图像提取范围的基准点移动的方向和移动量；

图像基准点修正部，使上述图像基准点计算部决定的方向和移动量所表示的上述移动后的点，以基于上述标准的图像提取范围的基准点的点为旋转中心，向与上述滚动角信息表示的旋转方向相反的方向旋转上述滚动角信息所表示的旋转量的量，

使将由上述图像基准点修正部进行了上述旋转的点作为基准点时的图像提取范围，以基于进行了上述旋转的点的点为旋转中心，向与上述差分旋转量的旋转方向相反的方向旋转上述差分旋转量计算部计算出的上述差分旋转量所表示的旋转量的量，并将旋转后的图像提取范围决定为输出图像提取范围。

12、如权利要求1所述的图像修正装置，其特征在于，

上述图像修正装置进一步具有：摄影方向误差信息取得单元，取得摄影方向误差信息，所述摄影方向误差信息表示在进行了上述摄影图像的摄影的时点的上述照相机的摄影方向与上述被指定的照相机位置上的摄影方向的误差，

上述决定单元，根据上述取得的摄影方向误差信息和上述位置差分信息进行上述修正，从而进行上述输出图像提取范围的上述决定。

13、如权利要求12所述的图像修正装置，其特征在于，

上述图像提取范围，根据基准点而被确定该图像提取范围的在摄影图像中的位置，

上述图像修正装置进一步具有：照相机信息取得单元，取得摄影方向信息，所述摄影方向信息表示在进行了上述摄影图像的摄影的时点的上述照相机在照相机位置的上述照相机的摄影方向、或在上述被指定的照相机位置的上述照相机的摄影方向中的至少一个，

上述决定单元包括：

分解部，根据上述所取得的上述摄影方向信息，将上述位置差分信息所表示的上述差分，分解为上述摄影方向信息所表示的上述摄影方向的成分和正交于上述摄影方向的平面的成分，并且将上述摄影方向误差信息所表示的上述摄影方向的误差，分解为上述摄影方向信息所表示的上述摄影方向的成分和上述正交的平面的成分；

图像尺寸计算部，根据上述差分的上述摄影方向成分和上述摄影方向的误差的上述摄影方向成分，对上述标准的图像提取范围的尺寸进行修正，并将修正后的尺寸决定为输出图像提取范围的尺寸；

图像基准点计算部，根据上述差分的上述正交的平面的成分和上述摄影方向误差的上述正交的平面的成分，使上述标准的图像提取范围的基准点移动，并将移动后的基准点决定为输出图像提取范围的基准点。

14、如权利要求1所述的图像修正装置，其特征在于，

上述图像修正装置进一步具有：运动误差信息取得单元，取得移动体运动误差信息，所述移动体运动误差信息表示在进行了上述摄影图像的摄影的时点的上述移动体与上述被指定的照相机位置上的移动体的横摇角度、纵摇角度以及偏摇角度的差分的至少一个，

上述决定单元，根据上述取得的位置差分信息和上述移动体运动误差信息进行上述修正，从而进行上述输出图像提取范围的上述决定。

15、如权利要求14所述的图像修正装置，其特征在于，

上述图像提取范围，根据基准点而被确定该图像提取范围的在摄影图像中的位置，

上述图像修正装置进一步具有：照相机信息取得单元，取得摄影方向信息，所述摄影方向信息表示在进行了上述摄影图像的摄影的时点的上述照相机在照相机位置的上述照相机的摄影方向、或在上述被指定的照相机位置的上述照相机的摄影方向中的至少一个，

上述决定单元包括：

分解部，根据上述所取得的上述摄影方向信息，将上述位置差分信息所表示的上述差分，分解为上述摄影方向信息所表示的上述摄影方向的成分和正交于上述摄影方向的平面的成分，并且将上述移动体运动误差信息所表示的上述差分，分解为上述摄影方向信息所表示的上述摄影方向的成分和上述正交的平面的成分；

图像尺寸计算部，根据上述位置差分信息所表示的上述差分的上述摄影方向成分与上述移动体运动误差信息所表示的上述差分的上述摄影方向成分的和，对上述标准的图像提取范围的尺寸进行修正，并将修正后的尺寸决定为输出图像提取范围的尺寸；

图像基准点计算部，根据上述位置差分信息所表示的上述差分的上述正交的平面的成分与上述移动体运动误差信息所表示的上述差分的上述正交的平面的成分的和，使上述标准的图像提取范围的基准点移动，并将移动后的基准点决定为输出图像提取范围的基准点。

16、如权利要求1所述的图像修正装置，其特征在于，

上述图像提取范围，根据基准点而被确定该图像提取范围的在摄影图像中的位置，

上述决定单元包括图像基准点计算部，该图像基准点计算部根据上述位置差分信息所表示的位置的差分，使上述标准的图像提取范围的基准点移动，并将移动后的基准点决定为输出图像提取范围的基准点。

17、如权利要求1所述的图像修正装置，其特征在于，

上述决定单元根据上述位置差分信息所表示的位置差分，放大或缩小上述标准的图像提取范围的尺寸，并将放大或缩小后的尺寸决定为输出图像提取范围的尺寸。

18、如权利要求1所述的图像修正装置，其特征在于，

上述移动体根据指令信息，进行移动和上述照相机的摄影，所述指令信息表示上述移动体应该移动的路线，

上述图像修正装置进一步具有取得上述指令信息的指令信息取得装置，

上述被指定的照相机位置是上述指令信息所表示的路线上的位置。

19、如权利要求1所述的图像修正装置，其特征在于，

上述图像修正装置进一步具有：图像修正信息取得单元，取得图像修正信息并存储，所述图像修正信息是将修正上述标准的图像提取范围的修正方法与上述差分相对应的，

上述决定单元，从上述存储着的上述图像修正信息中，读出与上述位置差分信息所表示的差分相对应的上述修正方法，并按照上述对应的上述修正方法进行上述决定。

20、如权利要求19所述的图像修正装置，其特征在于，

上述图像提取范围，根据基准点而被确定该图像提取范围的在摄影图像中的位置，

上述图像修正信息与上述差分相对应并存储上述输出图像提取范围的尺寸和基准点的位置，

上述决定单元将上述图像修正信息所表示的上述尺寸和上述基准点的位置，决定为上述输出图像提取范围。

21、如权利要求1所述的图像修正装置，其特征在于，

上述移动体通过照相机的摄影生成影像，

上述图像修正装置通过上述决定单元，对构成上述被生成的影像的各图像进行上述输出图像提取范围的上述决定，

上述修正图像输出单元包括影像输出部，该影像输出部提取对各图像进行了上述决定的输出图像提取范围的图像，并作为影像来输出。

22、一种图像修正系统，对由搭载于移动体的照相机摄影而生成的图像进行修正并输出，其特征在于，包括：

位置指定接收单元，接收照相机位置的指定；

位置指定信息存储单元，将有关接收到的指定的照相机位置存储为位置指定信息；

移动轨迹信息取得单元，取得表示上述移动体实际移动了的路线的移动轨迹信息；

位置差分计算单元，根据上述位置指定信息和上述取得的移动轨迹信息，计算在进行了上述摄影图像的摄影的时点的上述照相机的照相机位置与上述被指定的照相机位置的差分；

决定单元，根据由上述位置差分计算单元计算出的上述差分，对用于从上述摄影图像中提取输出图像的标准的图像提取范围进行修正，并决定为输出图像提取范围；

修正图像输出单元，从上述摄影图像中提取上述决定的输出图像提取范围的图像并输出。

23、一种图像修正方法，对由搭载于移动体的照相机摄影而生成的图像进行修正并输出，其特征在于，包括：

图像取得步骤，取得上述照相机拍摄到的摄影图像；

差分取得步骤，取得位置差分信息，该位置差分信息表示在进行了上述摄影图像的摄影的时点的上述照相机的照相机位置与被指定的照相机位置的差分；

决定步骤，根据上述存储着的上述位置差分信息，对用于从上述摄影图像中提取输出图像的标准的图像提取范围进行修正，并决定为输出图像提取范围；

修正图像输出步骤，从上述摄影图像中提取上述决定的输出图像提取范围的图像并输出。

24、一种控制程序，用于使图像修正装置进行对由搭载于移动体的照相机摄影而生成的图像进行修正并输出的图像修正处理，其特征在于，上述控制程序包括：

图像取得步骤，取得上述照相机拍摄到的摄影图像；

差分取得步骤，取得位置差分信息，该位置差分信息表示在进行了上述摄影图像的摄影的时点的上述照相机的照相机位置与被指定的照相机位置的差分；

决定步骤，根据上述存储着的上述位置差分信息，对用于从上述摄影图像中提取输出图像的标准的图像提取范围进行修正，并决定为输出图像提取范围；

修正图像输出步骤，从上述摄影图像中提取上述决定的输出图像提取范围的图像并输出。

25、一种集成电路，执行对由搭载于移动体的照相机摄影而生成的图像进行修正并输出的图像修正处理，其特征在于，包括：

图像取得部，取得上述照相机拍摄到的摄影图像；

差分取得部，取得位置差分信息，该位置差分信息表示在进行了上述摄影图像的摄影的时点的上述照相机的照相机位置与被指定的照相机位置的差分；

决定部，根据上述存储着的上述位置差分信息，对用于从上述摄影图像中提取输出图像的标准的图像提取范围进行修正，并决定为输出图像提取范围；

修正图像输出部，从上述摄影图像中提取上述决定的输出图像提取范围的图像并输出。

Images