CN108028889B - 图像处理设备、图像处理方法、程序和摄像系统 - Google Patents

Abstract

在本发明中，从其他设备获得第二拍摄图像，使生成的第一拍摄图像和获得的第二拍摄图像位置对准。响应第一拍摄图像和第二拍摄图像之间的位置关系，进行关于对于第一拍摄图像和第二拍摄图像至少之一的模糊校正的控制。例如，当第一拍摄图像和第二拍摄图像之间的交叠量等于或小于模糊校正限制阈值时，停止模糊校正，或者对于第一和第二拍摄图像至少之一，限制校正范围。当交叠量大于模糊校正控制阈值时，不限制地进行对于第一和第二拍摄图像的模糊控制。通过利用对其限制模糊校正的第一拍摄图像(第二拍摄图像)，或者对其均无限制地进行模糊校正的第一和第二拍摄图像，使两个拍摄图像位置对准，从而生成全景图像。

Description

图像处理设备、图像处理方法、程序和摄像系统

技术领域

本技术涉及图像处理设备，图像处理方法，程序和摄像系统，并使得能够容易地生成全景图像。

背景技术

迄今为止，在具有多个摄像部分的摄像设备中，例如，在PTL1的摄像设备中，以多个摄像部分中的稳像(image stabilization)之前的初始光轴中心作为基准，按共同的分割大小，从多个图像中分割出输出用图像。另外，利用其中在稳像之前和之后保持光轴中心位置的输出用图像，可获得双目视觉。

[引文列表]

[专利文献]

[PTL 1]WO2011/114572

发明内容

[技术问题]

顺便提及，当在多个摄像部分中生成图像之时，不限于双目视觉，例如，通过相互连接多个图像，可以生成具有宽视角的全景图像。然而，当意图以初始光轴中心作为基准，相互连接按共同的分割大小，从多个图像中分割出的输出用图像时，必须以防止初始光轴中心在垂直方向上分散的方式，在水平方向高精度地精确设置多台摄像设备。因此，不易生成全景图像。

因而，本技术的一个目的是提供均能够容易地生成在全景图像的生成中使用的图像的图像处理设备、图像处理方法、程序和摄像设备。

[解决技术问题的技术方案]

本技术的第一方面在于一种图像处理设备，包括控制部分，所述控制部分被配置成响应在全景图像的生成中使用的第一拍摄图像和第二拍摄图像之间的位置关系，进行关于对于所述第一拍摄图像和第二拍摄图像至少之一的稳像的控制。

利用这种技术，当合成第一拍摄图像和与第一拍摄图像对准的第二拍摄图像，以生成全景图像时，响应第一拍摄图像和第二拍摄图像之间的位置关系，进行关于对于在合成中使用的第一拍摄图像和第二拍摄图像至少之一的稳像的控制，例如，响应位置关系，控制稳像。在稳像的限制中，进行稳像的开/关操作，和其中在用于生成待合成图像的图像传感器的有效像素区域内设置的图像生成区域随着交叠量变小而被增大，作为有效像素区域和图像生成区域之差的剩余区域被减小，以限制稳像的操作。另外，在关于稳像的控制中，以给用户的图像或声音的形式，进行关于稳像的开/关和限制的通知。

另外，当交叠量等于或小于处理顺序设定阈值时，控制部分在进行第一拍摄图像和第二拍摄图像之间的位置对准之后，进行稳像。当交叠量大于处理顺序设定阈值时，控制部分在进行稳像之后，进行第一拍摄图像和第二拍摄图像之间的位置对准。全景图像生成部分合成在稳像和位置对准之后的第一拍摄图像和第二拍摄图像中的图像生成区域的图像。此外，响应生成第一拍摄图像的摄像部分，和生成第二拍摄图像的摄像部分之间的位置关系的变化程度，控制部分进行第一拍摄图像和第二拍摄图像之间的位置对准。从而，控制部分在所述变化程度变大之时，缩短观察时段或观察间隔，而在所述变化程度变小之时，延长观察时段或者观察间隔。另外，响应用于生成第一拍摄图像的第一摄像部分和用于生成第二拍摄图像的第二摄像部分的安装状态的检测结果，控制部分控制位置对准的频度。另外，全景图像生成部分通过调整第一拍摄图像的图像生成区域和第二拍摄图像的图像生成区域之间的画质差，进行合成。另外，全景图像生成部分合成其中透镜畸变被校正的第一拍摄图像的图像生成区域，和其中透镜畸变被校正的第二拍摄图像的图像生成区域。此外，全景图像生成部分进行第一拍摄图像和第二拍摄图像之间的视角均衡，并合成视角均衡之后的第一拍摄图像和第二拍摄图像。

本技术的第二方面在于一种图像处理方法，包括在控制部分中，响应在全景图像的生成中使用的第一拍摄图像和第二拍摄图像之间的位置关系，进行关于对于所述第一拍摄图像和第二拍摄图像至少之一的稳像的控制。

本技术的第三方面在于一种程序，所述程序使计算机执行用于响应在全景图像的生成中使用的第一拍摄图像和第二拍摄图像之间的位置关系，进行关于对于所述第一拍摄图像和第二拍摄图像至少之一的稳像的控制的过程。

顺便提及，本技术的程序是可利用存储介质、通信介质，例如，诸如光盘、磁盘或半导体存储器之类的存储介质，或者诸如网络之类的通信介质，为能够执行各种程序代码的通用计算机提供的程序。这种情况下，存储介质以计算机可读形式，提供程序。这样的程序是以计算机可读形式提供的，从而在计算机上实现对应于所述程序的处理。

本技术的第四方面在于一种摄像系统，包括：

第一摄像部分，所述第一摄像部分被配置成生成在全景图像的生成中使用的第一拍摄图像；

第二摄像部分，所述第二摄像部分被配置成生成在全景图像的生成中使用的第二拍摄图像；和

控制部分，所述控制部分被配置成响应第一拍摄图像和第二拍摄图像之间的位置关系，进行关于对于所述第一拍摄图像和第二拍摄图像至少之一的稳像的控制。

[发明的有益效果]

按照本技术，响应在全景图像的生成中使用的第一拍摄图像和第二拍摄图像之间的位置关系，进行关于对于所述第一拍摄图像和第二拍摄图像至少之一的稳像的控制。因此，利用响应第一拍摄图像和第二拍摄图像之间的位置关系，关于稳像的控制，在第一拍摄图像和第二拍摄图像中，能够确保其中相同被摄物体的拍摄图像相互交叠的区域。从而，能够容易地生成在全景图像的生成中使用的图像。应注意记载在本说明书中的效果仅仅是例示，决不是有限的，也可提供另外的效果。

附图说明

图1是描述摄像系统的构成的方框图。

图2是例示摄像设备的构成的方框图。

图3是例示信息处理设备的构成的方框图。

图4是说明第一实施例的视图。

图5是说明拍摄图像的交叠和稳像的视图。

图6是说明位置调整向量的视图。

图7是说明响应交叠量，限制稳像量的情况的示图。

图8是说明第一实施例的操作的流程图。

图9是说明第一实施例的其他操作的流程图。

图10是例示通过利用显示器，对用户进行通知的情况的示图。

图11是说明在拍摄图像之间的交叠量较小的情况下的操作的视图。

图12是说明在拍摄图像之间的交叠量较大的情况下的操作的视图。

图13是说明第二实施例的操作的流程图。

图14是例示在使用5台摄像设备的情况下的操作的视图。

图15是说明响应位置关系的变化程度，控制空间方向的位置对准的频度的操作的视图。

图16是说明时间方向的位置对准的视图。

图17是说明关于未对其进行空间方向的位置对准的帧的时间方向的位置对准的视图。

图18是例示在每帧地进行空间方向的位置对准的情况下的操作的视图。

图19是例示在每隔多帧，进行空间方向的位置对准的情况下的操作的视图。

图20是说明第三实施例的操作的流程图。

图21是说明计算位置关系的变化程度的操作的视图。

图22是说明第三实施例的其他操作的流程图。

图23是说明抖动的大小与在全景图像的生成中使用的图像的画质之间的关系的视图。

图24是说明第四实施例的操作的流程图。

图25是说明在使用视角彼此不同的摄像设备的情况下的操作的流程图。

图26是例示多台摄像设备被固定到支架(装配台)的情况的视图。

具体实施方式

下面说明实现本技术的方式。应注意将按照以下顺序进行说明。

1.摄像系统的构成

2.摄像设备和信息处理设备的构成

2-1.摄像设备的构成

2-2.信息处理设备的构成

3.第一实施例

3-1.第一实施例的操作

3-2.第一实施例的其他操作

4.第二实施例

4-1.第二实施例的操作

4-2.第二实施例的其他操作

5.第三实施例

5-1.第三实施例的操作

5-2.第三实施例的其他操作

6.第四实施例

6-1.第四实施例的操作

7.其他实施例

<1.摄像系统的构成>

图1描述利用本技术的图像处理设备的摄像系统的构成，摄像系统通过利用多个拍摄图像，生成全景图像。

如在图1的(a)中所示，摄像系统具有生成拍摄图像的摄像功能，生成抖动被校正的拍摄图像的稳像功能，和从稳像之后的多个拍摄图像，生成全景图像的全景图像生成功能。摄像功能设置在多个摄像部分每一个中。另外，稳像功能可设置在多个摄像部分每一个中，或者可设置在具有预定的摄像部分的摄像设备或者与各个摄像部分分离地设置的电子设备(例如信息处理设备等)中。另外，全景图像生成功能可设置在具有预定的摄像部分的摄像设备中，或者可设置在与各个摄像部分分离地设置的信息处理设备等中。在全景图像的生成中，生成运动图像或者静止图像。

图1的(b)和(c)例示利用例如2台摄像设备20-1和20-2，构成摄像系统10的情况。图1的(b)中的摄像设备20-1具有摄像功能，或者摄像功能和稳像功能，并把拍摄图像或对其进行稳像的拍摄图像输出给摄像设备20-2。顺便提及，当在摄像设备20-1中未设置稳像功能时，摄像设备20-1把指示抖动状态的抖动信息(比如运动向量或移动矩阵)输出给摄像设备20-2。

摄像设备20-2具有摄像功能、稳像功能和全景图像生成功能。摄像设备20-2生成对其进行稳像的拍摄图像。另外，当从摄像设备20-1供给的拍摄图像还未被稳像时，摄像设备20-2根据来自摄像设备20-1的抖动信息，对从摄像设备20-1提供给它的拍摄图像进行稳像。此外，摄像设备20-2通过利用在摄像设备20-1和摄像设备20-2中生成的相应拍摄图像，生成全景图像。

图1的(c)中的摄像设备20-3具有摄像功能，或者摄像功能和稳像功能，并把拍摄图像或对其进行稳像的拍摄图像输出给摄像设备20-4和信息处理设备。顺便提及，如果在摄像设备20-3中未设置稳像功能，摄像设备20-3把指示抖动状态的抖动信息，连同拍摄图像一起输出给摄像设备20-4和信息处理设备。

摄像设备20-4具有摄像功能，或者摄像功能、稳像功能和全景图像生成功能中的部分功能。摄像设备20-4把拍摄图像，或者对其进行稳像的拍摄图像输出给信息处理设备。另外，当从摄像设备20-3供给的拍摄图像还未被稳像时，摄像设备20-4可根据从摄像设备20-3发送给它的抖动信息，进行稳像。此外，摄像设备20-4根据生成的拍摄图像，和从摄像设备20-3提供给它的拍摄图像，生成全景信息，从而把作为结果的全景信息输出给信息处理设备。全景信息是依据其，按照能够对准被摄物体的位置的方式，相对于另一个拍摄图像移动一个拍摄图像的信息，例如是运动向量、移动矩阵等。

当按照这种方式构成摄像系统时，信息处理设备根据从摄像设备20-4提供给它的全景信息，把从摄像设备20-3和20-4提供给它的拍摄图像相互连接，以生成全景图像。

图1的(d)例示例如利用2台摄像设备20-5和20-6及信息处理设备50-1构成摄像系统10，并且信息处理设备50-1控制摄像设备20-5和20-6的操作的情况。摄像设备20-5具有摄像功能，或者摄像功能和稳像功能。摄像设备20-5根据从信息处理设备50-1发送给它的控制信号，生成拍摄图像，或者对其进行稳像的拍摄图像，并把作为结果的拍摄图像输出给信息处理设备50-1。应注意当在摄像设备20-5中未设置稳像功能时，摄像设备20-5把指示摄像设备20-5的抖动状态的抖动信息输出给信息处理设备50-1。

摄像设备20-6具有摄像功能，或者摄像功能和稳像功能。摄像设备20-6根据从信息处理设备50-1发送给它的控制信号，生成拍摄图像，或者对其进行稳像的拍摄图像，并把作为结果的拍摄图像输出给信息处理设备50-1。应注意当在摄像设备20-6中未设置稳像功能时，摄像设备20-6把指示摄像设备20-6的抖动状态的抖动信息输出给信息处理设备50-1。

信息处理设备50-1通过控制摄像设备20-5和20-6，从摄像设备20-5和20-6获得拍摄图像，或者对其进行稳像的拍摄图像。另外，当从摄像设备20-5(20-6)获得的拍摄图像还未被稳像时，信息处理设备50-1根据从摄像设备20-5(20-6)获得的抖动信息，进行稳像。此外，信息处理设备50-1通过利用获得的拍摄图像，或者从而在稳像之后获得的拍摄图像，生成全景图像。

图1的(e)例示例如利用2台摄像设备20-7和20-8及信息处理设备50-2构成摄像系统10，并且信息处理设备50-2控制摄像设备20-7和20-8的操作的情况。摄像设备20-7具有摄像功能，或者摄像功能和稳像功能。摄像设备20-7根据从信息处理设备50-2发送给它的控制信号，生成拍摄图像，或者对其进行稳像的拍摄图像，并把作为结果的拍摄图像输出给摄像设备20-8和信息处理设备50-2。应注意当在摄像设备20-7中未设置稳像功能时，摄像设备20-7把指示摄像设备20-5的抖动状态的抖动信息输出给摄像设备20-8和信息处理设备50-2。

摄像设备20-8具有摄像功能，或者摄像功能、稳像功能和全景图像生成功能中的部分功能。摄像设备20-8根据从信息处理设备50-2发送给它的控制信号，生成拍摄图像，或者对其进行稳像的拍摄图像，并把作为结果的拍摄图像输出给信息处理设备50-2。另外，当从摄像设备20-7供给的拍摄图像还未被稳像时，摄像设备20-8可根据从摄像设备20-7提供给它的抖动信息，进行稳像。此外，摄像设备20-8根据生成的拍摄图像，和从摄像设备20-3提供给它的拍摄图像，生成全景信息，并把作为结果的全景信息输出给信息处理设备50-2。顺便提及，当在摄像设备20-8中未设置稳像功能时，摄像设备20-8把指示其抖动状态的抖动信息，连同拍摄图像一起输出给信息处理设备50-2。

信息处理设备50-2通过控制摄像设备20-7和20-8，从摄像设备20-7和20-8获得拍摄图像，或者对其进行稳像的拍摄图像。另外，当从摄像设备20-7(20-8)获得的拍摄图像还未被稳像时，信息处理设备50-2根据从摄像设备20-7(20-8)获得的抖动信息，进行稳像。此外，信息处理设备50-2根据从摄像设备20-8获得的全景信息，相互连接拍摄图像，从而生成全景图像。

此外，如在图1的(f)中所示的摄像系统10可把拍摄图像、稳像信息等记录在记录介质30中，可根据记录在记录介质30中的拍摄图像、稳像信息等，生成全景图像。

顺便提及，摄像系统10的构成决不局限于如上所述的构成，只要摄像系统10的构成具有摄像功能、稳像功能和全景图像生成功能即可。另外，尽管在上面说明的构成中，例示了其中使用2台摄像设备的情况，不过，可通过利用3台或更多台摄像设备，构成摄像系统。

<2.摄像设备和信息处理设备的构成>

<2-1.摄像设备的构成>

下面参考图2，说明摄像设备的构成。摄像设备20例如具备镜头单元200、驱动部分201、图像传感器部分202、AFE(模拟前端)部分203、图像处理部分204、显示部分205、声音输入/输出部分206、通信部分207、记录介质处理部分208和总线209。另外，摄像设备20具备传感器部分211、用户接口部分212和控制部分220。

镜头单元200是通过利用聚焦镜头、变焦镜头等构成的，把从摄像设备20的外部入射的光聚集在图像传感器部分202上，从而在图像传感器部分202的图像拍摄面上，形成被摄物体光学图像。驱动部分201根据从将在后面说明的控制部分220发送给它的控制信号，驱动设置在镜头单元200中的镜头，从而进行聚焦调整和变焦调整。另外，当摄像设备20进行光学稳像，例如，遵照镜头平移方式的稳像，作为所述稳像时，镜头单元200设置有稳像镜头。响应抖动，摄像设备20使驱动部分201驱动稳像镜头，从而进行稳像。另外，当摄像设备20进行遵照镜头单元左右旋移(swing)方式的稳像(所谓的空间光学稳像)，作为光学图像稳像时，响应抖动，摄像设备20使驱动部分201相对于摄像设备20的主体，沿俯仰方向、沿偏航(yaw)方向等，作为一个单元地驱动镜头单元200和图像传感器部分202，从而进行稳像。此外，当摄像设备20进行遵照图像传感器平移方式的稳像，作为光学稳像时，响应抖动，摄像设备20使驱动部分201沿与镜头单元200的光轴正交的方向，驱动将在后面说明的图像传感器部分202，从而进行稳像。

图像传感器部分202例如是通过利用CMOS(互补金属氧化物半导体)图像传感器或CCD(电荷耦合器件)图像传感器构成的。图像传感器部分202进行光电变换，以生成与被摄物体光学图像对应的拍摄图像信号，并把作为结果的拍摄图像信号输出给AFE部分203。另外，当摄像设备20进行电子稳像，作为所述稳像时，响应抖动，摄像设备20在图像传感器的有效像素区域内，移动作为从中实际提取图像的像素区域的图像生成区域，从而进行稳像。应注意电子稳像也可在图像处理部分204中进行。

AFE(模拟前端)部分203执行把从图像传感器部分202提供给它的拍摄图像信号变换成数字信号的处理、噪声消除处理、校正缺陷像素的处理等，并把处理后的拍摄图像信号输出给图像处理部分204。

图像处理部分204按照拍摄图像具有良好画质的方式，对于拍摄图像信号进行相机信号处理。另外，响应摄像系统10中的摄像设备的功能，图像处理部分204对于拍摄图像进行各种处理。例如，响应摄像系统10中的摄像设备的功能，图像处理部分204执行诸如电子稳像、如后所述相互连接的拍摄图像之间的空间方向的位置对准、抖动量的计算、交叠量的计算、画质差的计算、画质调整、校准、透镜畸变校正、投影变换、视角均衡、和全景图像的生成之类的各项处理。

显示部分205显示各种信息，例如，拍摄图像等。声音输入/输出部分206进行图像拍摄时的声音的采集、获得的声音的再现、给用户的语音形式的消息的输出，等等。

通信部分207例如由Wifi、NFC等构成，与其他设备，例如其他摄像设备、其他信息处理设备等进行通信。应注意不限于无线通信，通信部分207也可具有其中通信部分207通过通信缆线，与其他设备进行通信的构成。

记录介质处理部分208执行把拍摄图像记录在记录介质中的处理，或者读出记录在记录介质中的拍摄图像的处理。应注意，记录介质可被固定到摄像设备20，或者可以是可拆卸的。

总线209把上述各个部分电气连接到将在后面说明的控制部分220。

传感器部分211按照能够检测摄像设备20的状态等的方式，设置有各种传感器。例如，传感器部分211设置有加速度传感器、陀螺传感器等，从而检测摄像设备的抖动。另外，传感器部分211也可设置有距离测量传感器、位置检测传感器(例如，GPS传感器)等。传感器部分211把生成的传感器信息输出给控制部分220。

用户接口(I/F)部分212生成与用户操作等对应的操作信号，并把作为结果的操作信号输出给控制部分220。

控制部分220根据从用户接口部分212供给的操作信号，或者通过通信部分，从外部设备供给的通信信号，以在摄像设备20中进行响应用户操作的模式的操作，或者从外部设备指令的模式的操作的方式，控制各个部分。另外，控制部分220根据从传感器部分211提供给它的传感器信息，进行控制。例如，响应传感器部分211检测的摄像设备20的抖动，控制部分220控制驱动部分201或者图像处理部分204，从而进行稳像。此外，控制部分220进行在图像处理部分204中执行的处理的控制，如后所述的稳像和空间方向的位置对准的处理顺序的控制，摄像设备之间的位置关系的变化程度的观察时段或观察间隔的控制，参数调整，与其他摄像设备的诸如控制信息或拍摄图像之类数据的通信，以及其他摄像设备的同步处理、管理等。

应注意摄像设备20决不局限于照相机，唯一必要的是摄像设备20是具有摄像功能的设备。例如，摄像设备20也可是智能电话机、智能平板电脑等。

<2-2.信息处理设备的构成>

下面，说明信息处理设备50的构成。图3例示信息处理设备的构成。信息处理设备50具备输入部分501、输出部分502、通信部分503、存储部分504、控制部分505和总线506。输入部分501是用于接受来自用户的输入操作的装置，例如是触摸面板、鼠标、键盘等。输出部分502是用于呈现各种信息的装置，例如是显示器、扬声器等。

通信部分503由例如Wifi、NFC等构成，与摄像设备20等进行通信。应注意不限于无线通信，通信部分503也可具有其中通信部分503通过通信缆线，与其他设备进行通信的构成。

存储部分504保存按照其，在信息处理设备50中进行期望的操作的程序。作为这样的程序，保存关于图像处理的程序，按照该程序，进行与摄像设备20的图像处理部分204中的处理类似的处理，和关于操作控制或摄像设备的控制的程序，按照该程序，进行与控制部分220中的控制类似的控制。

作为关于图像处理的程序，保存有稳像程序、用于空间方向的位置对准的程序、抖动量计算程序、交叠量计算程序、画质差计算程序、画质调整程序、校准程序、透镜畸变校正程序、投影变换程序、视角均衡程序、全景图像生成程序等。作为关于操作控制的程序，保存有模式切换程序、处理顺序变更程序、参数调整程序、观察时段或观察间隔的控制程序、通信控制程序、摄像设备间同步处理程序、摄像设备指令程序、摄像设备管理控制程序、用户界面(UI)程序等。应注意，保存在存储部分504中的程序可以是这些程序的一部分，或者也可保存其他程序。程序可通过通信网络，从其他通信设备获得。

控制部分505按照读出保存在存储部分504中的程序，以便执行，从而在信息处理设备50中进行期望的操作的方式，控制各个部分。总线506电气互连各个部分。

<3.第一实施例>

下面，说明第一实施例。在全景图像的生成中，进行待相互连接的拍摄图像之间的空间方向的位置对准，连接是按照在各个拍摄图像的连接端部侧，被摄物体的位置不被移动的方式进行的。按照这种方式，进行被摄物体的位置对准，并且图像被相互连接，从而生成全景图像。随后在第一实施例中，响应在全景图像的生成中使用的第一拍摄图像和第二拍摄图像之间的位置关系，进行关于对于所述第一拍摄图像和第二拍摄图像至少之一的稳像的控制。另外，在第一实施例中，作为关于稳像的控制，响应位置关系，限制稳像。例如，响应第一拍摄图像和第二拍摄图像之间的交叠量，进行关于对于在合成中使用的第一拍摄图像和第二拍摄图像至少之一的稳像的控制，从而在进行被摄物体的位置对准之后，图像被相互连接，从而使得可以生成全景图像。应注意在第一实施例中，作为稳像，进行电子稳像。

图4是说明第一实施例的视图。第一实施例例示通过利用例如2台摄像设备20-1和20-2，进行图像拍摄的情况。摄像设备20-2获得重复识别信息，并基于所述重复识别信息，控制摄像设备20-1和摄像设备20-2至少之一的稳像操作，从而在进行被摄物体的位置对准之后，使图像能够被相互连接。重复识别信息是借助其，计算图像的交叠量的信息，例如，使用拍摄图像。另外，作为重复识别信息，也可使用指示摄像设备的图像拍摄方向或焦距的图像拍摄设定信息等。此外，当摄像设备被安装到将在后面说明的支架上，从而决定图像的交叠量时，和当图像的交叠量由摄像设备对于支架的安装角等决定时，指示摄像设备被安装到支架的支架安装信息，或者指示安装角的支架安装信息可被用作重复识别信息。

图4的(a)描述摄像设备20-1的图像拍摄区域(视场)AR-1与摄像设备20-2的图像拍摄区域AR-2之间的交叠较大的情况。另外，图4的(b)描述摄像设备20-1的图像拍摄区域AR-1与摄像设备20-2的图像拍摄区域AR-2之间的交叠较小的情况。

在图像拍摄区域之间的交叠量较大的情况下，即使对于摄像设备20-1和摄像设备20-2进行稳像，从而响应抖动，移动图像生成区域，在许多情况下，也能够确保其中同一被摄物体被重复的图像区域。然而，当在图像拍摄区域之间的交叠量较小的状态下，对于摄像设备20-1和摄像设备20-2进行稳像时，恐怕归因于响应于抖动的图像生成区域的移动，在被摄物体的位置的对准之后，图像不能被相互连接。这种情况下，不能生成全景图像，因为在被摄物体的位置的对准之后，图像不能被相互连接。

图5是说明拍摄图像的交叠和稳像的视图。顺便提及，在全景图像的生成中，待相互连接的图像是在摄像设备20-1中获得的图像拍摄区域AR-1中的拍摄图像PG-1中的图像生成区域AP-1中的图像，和在摄像设备20-2中获得的图像拍摄区域AR-2中的拍摄图像PG-2中的图像生成区域AP-2中的图像。

恐怕在稳像中，如果抖动被完全校正，那么由于抖动而不太显眼的图像的模糊等变得显著，从而在一些情况下，进行其中留下一定程度的抖动的校正等。例如，即使由于抖动，图像拍摄区域被移动，也在图像生成区域AP-1和图像生成区域AP-2分别被移动到图像生成区域AP'-1和图像生成区域AP'-2之后，进行稳像。这里，当如在图5的(a)中所示，拍摄图像PG-1和拍摄图像PG-2之间的交叠较大时，图像生成区域AP'-1和图像生成区域AP'-2部分重复。于是，通过在被摄物体的位置的对准之后，利用重复部分，将图像生成区域AP'-1中的图像和图像生成区域AP'-2中的图像相互连接，生成全景图像。然而，如在图5的(b)中所示，拍摄图像PG-1和拍摄图像PG-2之间的交叠较小，即使拍摄图像PG-1和拍摄图像PG-2部分重复，在一些情况下，图像生成区域AP'-1和图像生成区域AP'-2也不重复。因此，图像生成区域AP'-1的图像和图像生成区域AP'-2的图像不能在被摄物体的位置被对准的情况下被相互连接。

于是，在第一实施例中，例如，摄像设备20-2确定拍摄图像之间的交叠量，从而响应交叠量，限制两者或任意之一的稳像，从而在两个图像生成区域中，留下相同被摄物体的图像。作为稳像的限制，稳像可被停止，或者可响应交叠量，限制稳像量。例如，当按照移动拍摄图像PG-1和拍摄图像PG-2之一，从而使得能够与另一个拍摄图像进行被摄物体的位置对准的方式，进行空间方向的位置对准时，根据当移动一个拍摄图像，以便能够与另一个拍摄图像进行被摄物体的位置对准时获得的向量(下面称为“位置调整向量”)，限制稳像量。

这里，将说明位置调整向量。就位置调整向量而论，拍摄图像PG-1和拍摄图像PG-2之一的区域被移动，以便交叠另一个拍摄图像的区域，并计算例如交叠区域中的误差平均值。这里，当被摄物体的位置在交叠区域中彼此一致时，交叠区域中的误差平均值变得较小。于是，到交叠区域中的误差平均值为最小的位置的移动量，以及移动方向被设定为位置调整向量。图6是说明位置调整向量的视图。应注意在图中，拍摄图像PG-1和PG-2的大小都被设定为1920像素×1080像素。另外，假定拍摄图像PG-1和PG-2的坐标原点位于左上位置，被摄物体OB的坐标位置在图6的(a)中所示的拍摄图像PG-2中为(120,500)，被摄物体OB的坐标位置在图6的(b)中所示的拍摄图像PG-1中为(1800,500)。这里，当拍摄图像PG-1被移动到在被摄物体的位置方面，与拍摄图像PG-2一致之时，如果如在图6的(c)中所示，拍摄图像PG-1的移动量是移动量(-1680,0)，那么在拍摄图像PG-1与拍摄图像PG-2之间，被摄物体的位置彼此一致。即，依据其，拍摄图像PG-1被移动(-1680,0)的移动量的向量被设定为位置调整向量。

这样，当拍摄图像PG-1和拍摄图像PG-2被并排横向排列，以便按照被摄物体的位置相互一致的方式被相互连接时，随着位置调整向量的横向分量的绝对值变小，交叠区域的横向大小变大。于是，在基于位置调整向量的稳像量的限制中，随着位置调整向量的移动量(绝对值)变小，从而交叠量变大，稳像的限制被减小。另外，可以采用其中通过利用例如SIFT(尺度不变特征转换)、SURF(加速鲁棒性特征)等，从拍摄图像PG-1和拍摄图像PG-2中提取特征点，并根据在拍摄图像PG-1和拍摄图像PG-2之间，使得彼此对应的特征点(特征点对)的数目，限制稳像的过程。具体地，当在拍摄图像PG-1和拍摄图像PG-2之间，重复部分变大时，包含在重复部分中的特征点对的数目也变大。于是，随着特征点对的数目变大，稳像的限制被减小。

图7例示响应交叠量，限制稳像量的情况。当图像拍摄区域(拍摄图像)的交叠较小时，摄像设备20-2按照相同被摄物体的图像包含在两个图像生成区域中的方式，限制参数，例如，图像生成区域的大小。具体地，随着图像拍摄区域的交叠量变小，图像生成区域AP的大小被增大，作为有效像素区域(对应于图像拍摄区域AR)与图像生成区域AP之间的区域差的过剩区域被减小。顺便提及，图像生成区域AP的最大大小是有效像素区域的大小。这样，随着拍摄图像的交叠量变小，过剩区域被缩小，并且稳像被限制。从而，在待合成的两个图像生成区域中的图像中的稳像之时，能够确保其中重复相同被摄物体的图像的区域。应注意如果在稳像中，仅仅针对一个图像生成区域，响应交叠量，限制该图像生成区域的大小，那么，从在摄像设备20-1和摄像设备20-2中获得的拍摄图像分割出的图像的大小彼此不同。因此，为了使从拍摄图像分割出的图像的大小相等，只需要限制各个图像中的稳像。之后，摄像设备20-2合成图像生成区域AP'-1和图像生成区域AP'-2，并在进行被摄物体位置对准之后，将图像相互连接，从而生成全景图像。在全景图像的生成中，如果拍摄图像在虚拟投影面中被投影变换，以便相互连接，那么，能够高精度地进行图像的连接。

<3-1.第一实施例的操作>

图8是描述第一实施例的操作的流程图，假定摄像系统10例如具有在图1的(b)中所示的构成。另外，在描述将在后面说明的各个实施例的操作的流程图的说明中，也假定摄像系统10例如具有在图1的(b)中所示的构成。

在步骤ST1，摄像设备20-2获得作为重复识别信息的另一个设备的拍摄图像。例如，摄像设备20-2获得在摄像设备20-1中生成的图像拍摄区域AR-1中的拍摄图像PG-1，随后处理进入步骤ST2。

在步骤ST2，摄像设备20-2通过利用作为重复识别信息的拍摄图像，计算交叠量。摄像设备20-2进行在其中生成的图像拍摄区域AR-2中的拍摄图像PG-2与从摄像设备20-1获得的拍摄图像PG-1之间的空间方向的位置对准，并计算交叠量。例如，摄像设备20-2计算依据其，移动一个拍摄图像，以便与另一个拍摄图像进行被摄物体的位置对准的位置调整向量的大小、相互交叠的特征点的数目等，作为交叠量，随后处理进入步骤ST3。

在步骤ST3，摄像设备20-2判断交叠量是否等于或小于稳像限制阈值。当摄像设备20-2判断在步骤ST2计算的交叠量等于或小于预先设定的稳像限制阈值时，处理进入步骤ST4。另一方面，当摄像设备20-2判断交叠量大于稳像限制阈值时，处理进入步骤ST5。

在步骤ST4,摄像设备20-2限制稳像。摄像设备20-2按照在进行被摄物体的位置对准之后，图像能够被相互连接的方式，限制稳像。例如，摄像设备20-2停止摄像设备20-1和摄像设备20-2至少之一的稳像。另外，摄像设备20-2可响应交叠量，变更稳像的参数，以限制稳像量。例如，摄像设备20-2按照能够确保其中在稳像之后的拍摄图像中，相同被摄物体的图像相互交叠的区域的方式，如上所述地响应抖动，限制图像生成区域的大小。随后，处理进入步骤ST6。

在步骤ST5，摄像设备20-2无限制地进行稳像。即使当进行稳像的时候，在进行被摄物体的位置对准之后，摄像设备20-2也能够把图像相互连接，因为交叠量较大，从而无限制地进行稳像。随后，处理进入步骤ST6。

在步骤ST6，摄像设备20-2生成全景图像。在进行被摄物体的位置对准之后，摄像设备20-2把从拍摄图像PG-1和PG-2中提取的图像生成区域中的图像相互连接，从而生成全景图像。

在图8中描述的流程图的处理中，当生成静止图像，作为全景图像时，即在静止图像的摄影之时，执行一次从步骤ST1到步骤ST6的各处理。另外，当生成运动图像，作为全景图像时，当在静止图像或运动图像的记录之前，生成监视图像时，等等，以帧为单位或者以多帧为单位，重复地执行从步骤ST1到步骤ST6的各处理。此外，当离线地进行全景图像的生成时，即，当不与摄影同时地进行全景图像的生成时，在摄影之时，进行从步骤ST1到步骤ST5的各处理，从拍摄图像PG-1和PG-2中提取的图像生成区域中的图像被保存在记录介质中。之后，通过利用记录在记录介质中的图像，可生成静止图像或运动图像的全景图像。应注意当离线进行全景图像的生成时，稳像信息也可被保存在记录介质中。

另外，尽管在图8中所示的操作之中，例示了其中使用拍摄图像作为重复识别信息的情况，不过，重复识别信息决不限于拍摄图像。例如，根据摄像设备的图像拍摄方向或焦距，图像拍摄范围变得明显。于是，代替使用其他设备的拍摄图像，通过利用指示摄像设备的图像拍摄方向、焦距等的图像捕捉设定信息，可以判断交叠量。随后，通过利用关于交叠量的判断结果，可执行步骤ST3、步骤ST5和步骤ST6的处理。另外，在图8中所示的操作之中，例示了当交叠量等于或小于稳像限制阈值时，限制稳像的情况。不过，代替执行步骤ST3、ST4和ST5的处理，可响应交叠量，执行限制稳像量的处理。

这样，在第一实施例中，响应第一拍摄图像和第二拍摄图像之间的交叠量，进行关于对于在合成中使用的第一拍摄图像和第二拍摄图像至少之一的稳像的控制。为此，当第一拍摄图像和第二拍摄图像之间的交叠量较小时，由于按照在进行被摄物体的位置对准之后，图像能够被相互连接的方式，限制稳像，因此摄像设备20-2能够生成全景图像。

<3-2.第一实施例的其他操作>

在上面说明的第一实施例的操作中，说明了响应第一拍摄图像和第二拍摄图像之间的交叠量，自动进行稳像的限制的情况。不过，用户可进行稳像的限制。从而，在第一实施例的其他操作中，将说明根据关于第一拍摄图像和第二拍摄图像之间的交叠量的计算结果，把期望的设定通知用户，并允许用户响应所述通知，设定稳像的限制的情况。

理想地，在拍摄用于全景图像的生成的静止图像或运动图像之前，以显示和/或声音的形式，进行对于用户的通知。在以显示的形式，进行所述通知时，摄像设备20-2利用显示部分205作为通知处理部分，而在以声音的形式，进行所述通知时，摄像设备20-2利用声音输入/输出部分206作为通知处理部分。

图9是描述第一实施例的其他操作的流程图。在步骤ST11，摄像设备20-2获得其他设备的拍摄图像。例如，摄像设备20-2获得在摄像设备20-1中生成的图像拍摄区域AR-1中的拍摄图像PG-1。随后，处理进入步骤ST12。

在步骤ST12，摄像设备20-2计算交叠量。摄像设备20-2进行生成的拍摄图像PG-2与从摄像设备20-1获得的拍摄图像PG-1之间的空间方向的位置对准，并计算交叠量。例如，摄像设备20-2计算依据其，使被摄物体的位置彼此一致的位置调整向量的大小、交叠特征点的数目等，作为交叠量。随后，处理进入步骤ST13。

在步骤ST13，摄像设备20-2判断交叠量是否等于或小于稳像限制阈值。当摄像设备20-2判断在步骤ST12计算的交叠量等于或小于预先设定的稳像限制阈值时，处理进入步骤ST14。当摄像设备20-2判断交叠量大于稳像限制阈值时，处理进入步骤ST15。

在步骤ST14，摄像设备20-2通知限制稳像的指令。摄像设备20-2通过利用显示或声音，向用户通知例如稳像应被停止。图10例示通过利用显示，进行对于用户的通知的情况。这里，图10的(a)描述限制稳像的指令的通知，例如，向用户通知稳像模式应被设定为关闭状态。另外，摄像设备20-2可通过响应交叠量，变更稳像的参数，向用户通知校正量应被限制。摄像设备20-2进行限制稳像的指令的通知，随后，处理进入步骤ST16。

在步骤ST15，摄像设备20-2进行执行稳像的指令的通知。摄像设备20-2通过利用显示或声音，向用户通知应进行稳像。图10的(b)描述进行稳像的指令的通知，例如，向用户通知稳像模式应被设定为开启状态，随后，处理进入步骤ST16。

应注意，可仅在摄像设备20-2中目前设定的稳像模式的状态不同于步骤ST13的检测结果的情况下，才进行步骤ST14和ST15的处理。例如，当目前设定的稳像模式为开启状态时，在步骤ST13中为“是”的情况下，进行指令通知。然而，在步骤ST13中为“否”的情况下，不进行指令通知。

在步骤ST16,摄像设备20-2生成全景图像。在被摄物体的位置被对准之后，摄像设备20-2把从拍摄图像PG-1和PG-2提取的图像生成区域中的图像相互连接，从而生成全景图像。

应注意尽管在图9中描述的操作之中，例示了使用拍摄图像作为重复识别信息的情况，不过，重复识别信息决不局限于拍摄图像。例如，根据摄像设备的图像拍摄方向或焦距，图像拍摄范围变得明显。于是，通过利用指示摄像设备的图像拍摄方向或焦距的图像捕捉设定信息作为重复识别信息，可以计算交叠量。另外，图9中所示的操作例示了当交叠量等于或小于稳像限制阈值时，限制稳像的情况。不过，代替执行步骤ST13、ST14和ST15的处理，可执行响应交叠量，限制稳像量的处理。

这样，在第一实施例的操作中，响应第一拍摄图像和第二拍摄图像之间的交叠量，向用户通知关于对于在合成中使用的第一拍摄图像和第二拍摄图像至少之一的稳像的控制。为此，当第一拍摄图像和第二拍摄图像之间的交叠量较小时，根据用户的限制稳像的指令，摄像设备20-2按照图像生成区域中的图像能够被相互连接，从而生成全景图像的方式，限制稳像。于是，根据用户的指令，能够生成全景图像。

<4.第二实施例>

下面说明第二实施例。当如上所述，第一拍摄图像和第二拍摄图像之间的交叠量较小时，恐怕如果在摄像设备中进行稳像，那么不能确保其中重复相同被摄物体的图像的区域，从而不能进行相同被摄物体的位置对准，以把图像相互连接。从而，在第二实施例中，当第一拍摄图像和第二拍摄图像之间的交叠量较小时，在两个相应的摄像设备中提供的拍摄图像之间的位置关系被设定为能够进行相同被摄物体的位置对准，以把图像相互连接的位置关系，并在保持该位置关系的状态下，进行稳像。另外，当第一拍摄图像和第二拍摄图像之间的交叠量较大时，进行稳像，并通过利用稳像之后的拍摄图像，进行空间方向的位置对准。此外，其中进行了稳像和空间方向的位置对准的图像被合成，以生成全景图像。

<4-1.第二实施例的操作>

下面，说明在使用两台摄像设备的情况下的操作。图11是说明在拍摄图像之间的交叠量较小的情况下的操作的视图。图11的(a)描述拍摄图像PG-1和PG-2。图11的(b)描述拍摄图像之间的空间方向的位置对准。拍摄图像PG-1和PG-2是按照能够确保重复区域AC的方式对准的。图11的(c)描述稳像之后的拍摄图像。稳像是按照保持位置对准之后的状态的方式进行的。从而，在稳像之后的拍摄图像PGa-1和PGa-2中，获得确保重复区域的状态。于是，按照使相同被摄物体的图像重复的方式，进行拍摄图像PGa-1和PGa-2之间的空间方向的位置对准。随后，在进行相同被摄物体的位置对准之后，把图像相互连接，从而使得能够生成全景图像PM。

顺便提及，图11的(d)描述其中在不进行位置对准的情况下，进行稳像的情况。这里，当在对于拍摄图像PG-1和PG-2的稳像之后的图像生成区域分别成为例如图像生成区域AP'-1和AP'-2时，如在图11的(e)中所示，获得在图像生成区域AP'-1和AP'-2中，不能确保重复区域的状态。于是，不能进行相同被摄物体的位置对准，以把图像相互连接。应注意图像的空间方向的位置对准决不局限于使用拍摄图像PGa-1和PGa-2的情况。例如，拍摄图像PGa-1可从摄像设备20-1被提供给摄像设备20-2，摄像设备20-2可相对于稳像之后的图像生成区域AP'-2，对准拍摄图像PGa-1的位置。另外，例如，拍摄图像PGa-1和抖动信息可从摄像设备20-1被提供给摄像设备20-2，摄像设备20-2可相对于在基于所述抖动信息的稳像之后的图像生成区域AP'-1，对准拍摄图像PGa-2的位置。

图12是说明在拍摄图像之间的交叠量较大的情况下的操作的视图。图12的(a)描述拍摄图像PG-1和PG-2中的稳像之后的图像生成区域AP'-1和AP'-2。另外，图12的(b)描述稳像之后的图像生成区域AP'-1和AP'-2。在拍摄图像(图像拍摄区域)之间的交叠量较大的情况下，即使进行稳像，在图像生成区域AP'-1和AP'-2中，也能确保其中重复相同被摄物体的图像的重复区域AC。于是，如在图12的(c)中所示，能够按照使相同被摄物体的图像重复的方式，把图像生成区域AP'-1和AP'-2中的图像相互连接，从而生成全景图像PM。另外，位置对准是通过利用稳像之后的图像生成区域AP'-1和AP'-2进行的，从而与通过利用拍摄图像PG-1和PG-2，进行位置对准的情况相比，使位置对准的搜索范围能够被减小。

图13是说明第二实施例的操作的流程图。在步骤ST21，摄像设备20-2获得其他设备的拍摄图像。例如，摄像设备20-2获得在摄像设备20-1中生成的图像拍摄区域中AR-1的拍摄图像PG-1，随后，处理进入步骤ST22。

在步骤ST22，摄像设备20-2计算交叠量。摄像设备20-2进行生成的拍摄图像PG-2与从摄像设备20-1获得的拍摄图像PG-1之间的空间方向的位置对准，并计算交叠量。例如，摄像设备20-2计算依据其，相同被摄物体的图像彼此交叠的位置调整向量的大小、交叠特征点的数目等，作为交叠量。随后，处理进入步骤ST23。

在步骤ST23，摄像设备20-2判断交叠量是否等于或小于处理顺序设定阈值。当摄像设备20-2判断在步骤ST22计算的交叠量等于或小于预先设定的处理顺序设定阈值时，处理进入步骤ST24。另一方面，当摄像设备20-2判断在步骤ST22计算的交叠量大于处理顺序设定阈值时，处理进入步骤ST26。

在步骤ST24，摄像设备20-2进行空间方向的位置对准。摄像设备20-2按照在拍摄图像PG-1和拍摄图像PG-2之间，确保例如重复区域，并且使相同被摄物体的位置相互对准，从而使图像能够被相互连接的方式，进行位置对准。随后，处理进入步骤ST25。

在步骤ST25，摄像设备20-2进行稳像。摄像设备20-2按照保持空间方向的位置对准之后的状态，例如，如在图11的(b)中所示，能够确保重复区域AC的拍摄图像PG-1和拍摄图像PG-2之间的位置关系，并在摄像设备20-1和20-2中进行稳像的方式，进行控制。随后，处理进入步骤ST27。

在步骤ST26，摄像设备20-2进行稳像。摄像设备20-2按照例如在摄像设备20-1和20-2中进行稳像的方式，进行控制。随后，处理进入步骤ST27。

在步骤ST27，摄像设备20-2进行空间方向的位置对准。摄像设备20-2按照在稳像之后的拍摄图像PGc-1和拍摄图像PGc-2之间，相同被摄物体的图像相互交叠的方式，进行位置对准。随后，处理进入步骤ST28。

在步骤ST28，摄像设备20-2生成全景图像。摄像设备20-2按照使相同被摄物体的图像重复的方式，把从拍摄图像PG-1和PG-2提取的图像生成区域的图像相互连接，从而生成全景图像。

应注意在图13中所示的流程图中，当静止图像被生成为全景图像时，执行从步骤ST21到步骤ST28的处理。另外，当生成运动图像或监视图像，作为全景图像时，重复执行从步骤ST21到步骤ST28的处理。此外，当离线进行全景图像的生成时，可进行从步骤ST21到步骤ST27的处理，图像生成区域中的图像可被保存在记录介质中，之后，通过利用保存在记录介质中的图像，可生成静止图像或运动图像的全景图像。

这样，按照第二实施例，当第一拍摄图像与第二拍摄图像之间的交叠量较小时，按照通过使相同被摄物体的位置相互对准，图像能够被相互连接的方式，在摄像设备之间进行拍摄图像的位置对准。之后，保持位置对准之后的状态，并进行稳像。于是，即使当第一拍摄图像和第二拍摄图像之间的交叠量较小时，也能够生成全景图像。

<4-2.第二实施例的其他操作>

下面，作为第二实施例的其他操作，说明在使用3个或更多台摄像设备的情况下的操作。

图14例示在使用5台摄像设备的情况下的操作。如在图14的(a)中所示，假定在由5台摄像设备生成的拍摄图像PG-1～PG-5中，拍摄图像PG-2和拍摄图像PG-3之间的交叠量等于或小于预先设定的处理顺序设定阈值，而其他拍摄图像之间的交叠量大于处理顺序设定阈值。应注意，重复区域AC12、AC23、AC34和AC45表示其中相同被摄物体的图像相互交叠的区域。

这里，当一些拍摄图像之间的交叠量变得等于或小于处理顺序设定阈值时，在其交叠量等于或小于处理顺序设定阈值的拍摄图像之间，进行空间方向的位置对准，之后，进行稳像。于是，如在图14的(b)中所示，在拍摄图像PG-2和拍摄图像PG-3之间，进行空间方向的位置对准。之后，进行对于各个拍摄图像的稳像。

图14的(c)描述稳像之后的图像生成区域AP-1、AP-4和AP-5。另外，对其进行空间方向的位置对准的拍摄图像PG-2和拍摄图像PG-3的图像生成区域对应于区域AP-23。在全景图像的生成中，如在图14的(d)中所示，按照重复区域AC12、AC23、AC34和AC45中的图像相互交叠的方式，使稳像之后的图像生成区域AP-1、AP-4和AP-5，以及区域AP-23中的图像相互连接。于是，这样生成的全景图像成为其中被摄物体的位置被对准，以便被相互连接的图像。

这样，按照第二实施例的其他操作，即使当提供3台或更多台摄像设备，从而导致其中图像之间的交叠量等于或小于处理顺序设定阈值的情况时，也能够生成全景图像。

<5.第三实施例>

对于多台摄像设备，支配性抖动的周期随所述多台摄像设备被设置在的移动体的种类而不同。例如，在多台摄像设备被安装到诸如自行车或汽车之类的车辆上的情况，和人携带多台摄像设备的情况之间，抖动的周期不同。从而，响应抖动周期，时间方向的拍摄图像之间的位置关系的变化不同。另外，对于多台摄像设备，在一些情况下，取决于摄像设备在什么状态下，被安装到哪种移动体的哪些安装位置，在摄像设备之间，抖动的大小和方向不同。从而，由多台摄像设备生成的拍摄图像之间的空间方向的位置关系的变化随抖动的大小和方向的差异而不同。

另外，如果在全景图像的生成中，各个拍摄图像之间的时间方向的位置关系，和由多台摄像设备生成的拍摄图像之间的空间方向的位置关系不变，那么可从拍摄图像容易地获得在全景图像的生成中使用的图像。不过，当拍摄图像之间的位置关系被改变时，必须根据位置关系的变化，从拍摄图像获得在全景图像的生成中使用的图像。

相对于拍摄图像之间的时间方向的位置关系的变化，通过进行稳像，可以使拍摄图像之间的时间方向的位置关系保持近似不变。另外，为了使在多台摄像设备中生成的拍摄图像之间的空间方向的位置关系保持不变，只需要进行图像之间的空间方向的位置对准。不过，如果每帧地进行图像之间的空间方向的位置对准，而不管空间方向的位置关系的变化的有无，那么用于位置对准的计算成本增大。从而，在第三实施例中，响应拍摄图像之间的位置关系的变化程度，控制拍摄图像之间的空间方向的位置对准的频度。

<5-1.第三实施例的操作>

图15是说明响应摄像设备之间的位置关系的变化程度，控制空间方向的位置对准的频度的操作的视图。在该操作中，例如，拍摄图像PG-1和抖动信息从摄像设备20-1被提供给摄像设备20-2。另外，摄像设备20-2根据抖动信息，设定稳像之后的图像生成区域AP-2。此外，摄像设备20-2根据通过利用拍摄图像PG-2中的图像生成区域AP-2，和从摄像设备20-1获得的拍摄图像PG-1，进行使被摄物体的位置相互对准的空间方向的位置对准而获得的位置调整向量，进行稳像之后的图像生成区域AP-1的设定。或者，摄像设备20-2根据位置调整向量和抖动信息，进行稳像之后的图像生成区域AP-1的设定。此外，摄像设备20-2通过利用图像生成区域AP-1中的图像和图像生成区域AP-2中的图像，生成全景图像。顺便提及，在图15，以及后面说明的图18和19中，其中根据位置调整向量的计算，和这样计算的位置调整向量，设定稳像之后的图像生成区域AP-1的拍摄图像PG-1的帧是以细线框的形式描绘的。其中根据位置调整向量和抖动信息，设定稳像之后的图像生成区域AP-1的拍摄图像PG-1的帧是以虚线框的形式描绘的。

图15的(a)描述在拍摄图像(摄像设备)之间的位置关系的变化程度较大的情况下的操作。图15的(b)描述在拍摄图像(摄像设备)之间的位置关系的变化程度较小的情况下的操作。拍摄图像(摄像设备)之间的位置关系的变化程度是如下确定的。即，持续预定时期，根据摄像设备20-1的抖动信息，和摄像设备20-2的抖动信息，判断由摄像设备20-1和摄像设备20-2之间的抖动的大小或方向的差异产生的，拍摄图像PG-1和拍摄图像PG-2之间的位置关系的变化是否超过变化判断阈值。从而，其中变化量均超过变化判断阈值的帧的数目的比率被确定为变化程度。

当拍摄图像(摄像设备)之间的位置关系的变化程度较大时，摄像设备20-2增大空间方向的位置对准的频度。例如，当如在图15的(a)中所示，摄像设备之间的位置关系，即，拍摄图像PG-1和拍摄图像PG-2之间的位置关系每帧极大地变化时，摄像设备20-2对于图像生成区域AP-2，每帧地进行稳像。即，摄像设备20-2对于图像生成区域AP-2，进行时间方向的位置对准。

图16是说明时间方向的位置对准的视图。顺便提及，在图16中，拍摄图像PG-2的大小被设定为1920像素×1080像素。另外，假定拍摄图像PG-2的坐标原点位于左上位置。另外，假定被摄物体OB在图16的(a)中所示的帧0的拍摄图像PG-2f0中，在坐标位置(120,500)，在图16的(b)中所示的帧1的拍摄图像PG-2f1中，在坐标位置(120,560)。此外，假定图像生成区域AP-2的四个角落的坐标位置是包含帧0中的被摄物体OB的坐标位置AZa、AZb、AZc和AZd。这里，当帧1的拍摄图像PG-2f1被移动，以致使被摄物体的位置与帧0的拍摄图像PG-2f0一致时，如果如在图16的(c)中所示，拍摄图像PG-2f1的移动量是移动量(0,-60)，那么拍摄图像PG-2f1中，图像生成区域AP-2中的被摄物体OB的位置与拍摄图像PG-2f0中，图像生成区域AP-2中的被摄物体OB的位置一致。即，可以进行时间方向的位置对准。应注意在图15，以及后面说明的图18和19中，作为用于在拍摄图像中生成的抖动的校正的稳像向量，例示了以拍摄图像PG作为基准，指示稳像之后的图像生成区域的向量。

另外，摄像设备20-2每帧地进行图像生成区域AP-2和拍摄图像PG-1之间的空间方向的位置对准，从而每帧地设定图像生成区域AP-1。当每帧地进行空间方向的位置对准时，摄像设备20-2通过利用由于空间方向的位置对准而获得的位置调整向量，按照稳像之后的图像生成区域AP-2和被摄物体的位置相互一致的方式，设定图像生成区域AP-1。

当拍摄图像(摄像设备)之间的位置关系的变化程度较小时，从其中在图像生成区域AP-1的图像和图像生成区域AP-2的图像之间，例如用预定量确保重复区域的状态到其他状态的变化较小。于是，即使空间方向的位置对准的频度被减小，也维持重复区域被确保的状态。于是，当例如如在图15的(b)中所示，拍摄图像PG-1和拍摄图像PG-2之间的位置关系的变化较小时，摄像设备20-2对于图像生成区域AP-2，每帧地进行稳像，即，进行时间方向的位置对准。另外，摄像设备20-2每隔多帧，进行图像生成区域AP-2和拍摄图像PG-1之间的空间方向的位置对准，并在不进行位置对准的时期，保持最新的位置调整向量。此外，摄像设备20-2在其中进行空间方向的位置对准的帧中，通过利用通过空间方向的位置对准而获得的位置调整向量，按照稳像之后的图像生成区域AP-2和被摄物体在位置方面相互一致的方式，设定图像生成区域AP-1。另外，摄像设备20-2以在其中不进行空间方向的位置对准的帧中，对于通过进行空间方向的位置对准而设定的最新的图像生成区域AP-1，不产生抖动的方式，进行时间方向的位置对准。

图17是说明关于其中不进行空间方向的位置对准的帧的时间方向的位置对准的视图。顺便提及，在图17中，拍摄图像PG-1和PG-2的大小都被设定为1920像素×1080像素。另外，假定拍摄图像PG-1f0、PG-1f1和PG-2f0的坐标原点位于左上位置。还假定在帧0中，被摄物体OB在图17的(a)中所示的拍摄图像PG-2f0中，位于坐标位置(120,500)，在图17的(b)中所示的拍摄图像PG-1f0中，位于坐标位置(1800,500)。这种情况下，如参考图6所述，拍摄图像PG-1f0被移动(-1680,0)的移动量，如在图17的(c)中所示，从而使得能够进行拍摄图像PG-1f0和PG-2f0之间的空间方向的位置对准。顺便提及，在图像生成区域AP-2中，包含被摄物体OB地设定四个角落AZa、AZb、AZc和AZd的坐标位置。在图像生成区域AP-1中,四个角落AZe、AZf、AZg和AZh的坐标位置是按照使被摄物体OB的位置彼此一致，以连接图像生成区域AP-1的图像和图像生成区域AP-2的图像，从而使得能够生成全景图像的方式设定的。应注意坐标位置AZa～AZh是以坐标位置(0,0)作为基准的位置。

之后，假定在图17的(d)中所示的帧1的拍摄图像PG-1f1中，由于摄像设备20-1的抖动，被摄物体OB被移位到坐标位置(120,600)。这种情况下，即使当如在图17的(e)中所示，帧1的拍摄图像PG-1f1被移动到在帧0中，进行空间方向的位置对准的位置，拍摄图像PG-1f0的被摄物体OB的位置和拍摄图像PG-1f1的被摄物体OB的位置也不彼此一致。于是，在其中不进行空间方向的位置对准的帧1中，进行空间方向的位置对准之后的拍摄图像PG-1f0和拍摄图像PG-1f1之间的时间方向的位置对准。这里，当如在图17的(f)中所示，从帧0中的空间方向的位置对准之后的位置开始的拍摄图像PG-1f1的移动量为移动量(0,-100)时，拍摄图像PG-1f1中，图像生成区域AP-1中的被摄物体OB的位置，和拍摄图像PG-1f0中，图像生成区域AP-1中的被摄物体OB的位置彼此一致。即，可以进行时间方向的位置对准。于是，在帧1中，通过利用其中对于帧0，进行时间方向的位置对准的拍摄图像PG-1f1中的图像生成区域AP-1的图像，获得对其进行稳像的图像。

另外，在帧1中，在拍摄图像PG-2f1中，如在图17的(h)中所示，进行时间方向的位置对准。于是，可以使在图17的(f)中所示的帧1的拍摄图像PG-1f1中的图像生成区域AP-1中的被摄物体OB的位置，和在图17的(h)中所示的帧1的拍摄图像PG-2f1中的图像生成区域AP-2中的被摄物体OB的位置与在帧0的情况下的那些位置一致。即，可以按照不导致抖动，并且被摄物体的位置彼此一致的方式，设定图像生成区域AP-1和图像生成区域AP-2。

当拍摄图像(摄像设备)之间的位置关系的变化程度较小时，摄像设备20-2执行这样的处理，从而即使空间方向的位置对准的频度被减小，也能够维持重复区域被确保的状态。另外，能够降低用于空间方向的位置对准的计算成本和数据量。

图18例示在每帧地进行空间方向的位置对准的情况下的操作。图19例示在每隔多帧，进行空间方向的位置对准的情况下的操作。顺便提及，当空间方向的位置对准是在摄像设备20-2中进行的时候，摄像设备20-2获得在摄像设备20-1中生成的拍摄图像PG-1，和指示摄像设备20-1的抖动状态的抖动信息。另外，摄像设备20-2执行与稳像之后的图像生成区域AP-2，对准在摄像设备20-1中生成的图像的位置的处理。另外，在图像之间的空间方向的位置对准中，如上所述，通过利用拍摄图像PG-1和PG-2，计算位置调整向量。

在图18的帧0中，用于校正在拍摄图像PG-2中产生的抖动的向量被设定为稳像向量VR0。另外，为了使待连接到图像生成区域AP-2的图像生成区域AP-1中的图像与图像生成区域AP-2中的图像连续，被摄物体的位置依据其彼此一致的向量被设定为位置调整向量Q0。这种情况下，通过利用稳像向量VR0，可按照防止产生抖动的方式，设定图像生成区域AP-2。另外，通过利用位置调整向量Q0，可以设定待连接到图像生成区域AP-2的图像生成区域AP-1。即，即使当不使用稳像向量VL0时，如图18中所示，也使用通过利用稳像向量VR0和位置调整向量Q0计算的合成向量VM0，从而使得能够按照防止产生抖动，并且被摄物体的位置彼此一致的方式，设定图像生成区域AP-1。应注意当通过利用例如α混合技术等，使图像生成区域AP-1和AP-2相互连接之时，图像生成区域AP-1被设定成具有其中图像生成区域AP-1中的被摄物体和图像生成区域AP-2中的被摄物体彼此一致的交叠区域。

其次，在帧1中，用于校正在拍摄图像PG-2中，在帧0和帧1之间产生的抖动的向量被设定为稳像向量VR1。另外，用于使待连接到图像生成区域AP-2的图像生成区域AP-1中的图像与图像生成区域AP-2中的图像连续的向量被设定为位置调整向量Q1。这种情况下，类似于帧0的情况，即使当不使用稳像向量VL1时，也使用通过利用稳像向量VR1和位置调整向量Q1计算的合成向量VM1，从而能够按照防止在拍摄图像PG-1的帧0和帧1之间，产生抖动，并且在图像生成区域AP-1和图像生成区域AP-2之间的连接部分中，能够进行被摄物体的位置对准的方式，设定图像生成区域AP-1。另外，在帧2～帧4中，类似于帧0和1的情况，也可按照防止产生抖动，并且能够进行被摄物体的位置对准的方式，设定图像生成区域AP-1。

在图19的帧0中，用于校正在拍摄图像PG-2中产生的抖动的向量被设定为稳像向量VR0。另外，用于使待连接到图像生成区域AP-2的图像生成区域AP-1中的图像与图像生成区域AP-2中的图像连续的向量被设定为位置调整向量Q0。这种情况下，通过利用稳像向量VR0，可按照防止产生抖动的方式，设定图像生成区域AP-2。另外，通过利用位置调整向量Q0，可设定待连接到图像生成区域AP-2的图像生成区域AP-1。即，使用通过利用稳像向量VR0和位置调整向量Q0计算的合成向量，从而使得能够按照防止产生抖动，并且被摄物体的位置彼此一致的方式，设定图像生成区域AP-1。例如，当帧0表示在第一个图像中，稳像向量VL0和VR0都为(0,0)，并且被摄物体OB的位置是图17的(a)和(b)时，依据其，按照防止产生抖动，并且被摄物体的位置与图像生成区域AP-2中的图像一致的方式，设定图像生成区域AP-1的合成向量VM0用式(1)表示。应注意在图17中，稳像向量VR0为(0,0)，位置调整向量Q0为(-1680,0)。

VM0＝-VR0+Q0

＝-(0,0)+(-1680,0)

＝(-1680,0)...(1)

其次，在帧1中，用于校正在拍摄图像PG-2中产生的抖动的向量被设定为稳像向量VR1。另一方面，在帧1中，用于校正在拍摄图像PG-1中产生的抖动的向量被设定为稳像向量VL1。另外，在帧1中，不计算位置调整向量。于是，以作为其中计算位置调整向量的最邻近帧的帧0为基准，计算拍摄图像PG-1中的稳像向量。这里，用于校正在拍摄图像PG-1中产生的抖动的稳像向量VR1是以帧0作为基准的向量。另外，在帧0中设定的图像生成区域AP-1对应于用稳像向量VL0进行稳像的位置。于是，在帧1中，按照防止产生抖动，并且被摄物体的位置彼此一致的方式设定的图像生成区域AP-1的位置变成帧0的图像生成区域AP-1被移动VL1的位置(通过稳像，在帧0和帧1之间，摄像设备20-1被相对移动该移动量)。即，使用通过利用稳像向量VR0和VR1、位置调整向量Q0、和稳像向量VL1计算的合成向量，从而能够按照防止产生抖动，并且被摄物体的位置彼此一致的方式，设定图像生成区域AP-1。

例如，在上面说明的图17的情况下，对于在图17的(g)中所示的帧1的拍摄图像PG-2f1，如在图17的(h)中所示，进行时间方向的位置对准。另外，对于在图17的(d)中所示的帧1的拍摄图像PG-1f1，从帧0的空间方向的位置对准的位置，如在图17的(f)中所示，进行时间方向的位置对准。如果按照这种方式进行位置对准，那么，可按照防止产生抖动，并且图像生成区域AP-1中的被摄物体的位置和图像生成区域AP-2中的被摄物体的位置一致的方式，设定图像生成区域AP-1。这里，在图17的(f)中所示的拍摄图像PG-1f1位于通过相对于图17的(h)中的拍摄图像PG-2f1，移动合成向量VM1而获得的位置。合成向量VM1具有式(2)的值。应注意图19中所示的位置调整向量Q0在图17的情况下为(-1680,0)。另外，至于图19中所示的稳像向量VR1和VL1，在图17的情况下，稳像向量VR1为(0,60)，稳像向量VL1为(0,100)。

VM1＝-(VR1+VR0)+Q0+VL1

＝-((0,60)+(0,0))+(-1680,0)+(0,100)

＝(-1680,40)...(2)

于是，如果通过相对于帧1的拍摄图像PG-2f1，移动合成向量VM1而获得的位置被设定为拍摄图像PG-1f1的位置，那么，可按照防止产生抖动，并且被摄物体的位置彼此一致的方式，设定图像生成区域AP-1。即，图像生成区域AP-1和图像生成区域AP-2中的图像成为其中进行校正，以便防止产生抖动，并且被摄物体的位置彼此一致的图像。

另外，在帧2中，用于校正在拍摄图像PG-2中产生的抖动的向量被设定为稳像向量VR2。校正向量VL2是以帧1作为基准的向量。另一方面，在帧2中，用于校正在拍摄图像PG-1中产生的抖动的向量被设定为稳像向量VL2。另外，在帧2中，不计算位置调整向量。于是，通过利用其中计算位置调整向量的最邻近帧作为基准，计算拍摄图像PG-1中的稳像向量。这里，用于校正在拍摄图像PG-1中产生的抖动的稳像向量VL2是以帧1作为基准的向量。另外，在帧1中设定的图像生成区域AP-1对应于用稳像向量VL1，进行稳像的位置。于是，在帧2中，按照防止产生抖动，并且被摄物体的位置彼此一致的方式设定的图像生成区域AP-1的位置，变成帧0的图像生成区域AP-1被移动(VL2+VL1)的位置。同样地，帧2的图像生成区域AP-2位于通过把帧0的图像生成区域AP-2移动(VR2+VR1)而获得的位置。即，使用通过利用稳像向量VR0、VR1和VR2、位置调整向量Q0及稳像向量VL1和VL2，进行式(3)的算术运算而获得的合成向量VM2，从而使得能够按照防止产生抖动，并且被摄物体的位置彼此一致的方式，设定图像生成区域AP-1。

VM2＝-(VR2+VR1+VR0)+Q0+(VL2+VL1)...(3)

在帧3中，用于校正在拍摄图像PG-2中产生的抖动的向量被设定为稳像向量VR3。另外，用于使待连接到图像生成区域AP-2的图像生成区域AP-1中的图像与图像生成区域AP-2中的图像连续的向量被设定为位置调整向量Q3。这种情况下，通过利用稳像向量VR3，可按照防止产生抖动的方式，设定图像生成区域AP-2。从而，通过利用位置调整向量Q3，能够设定待连接到图像生成区域AP-2的图像生成区域AP-1。即，如在式(4)中所示，通过利用使用稳像向量VR3和位置调整向量Q3计算的合成向量VM3，能够按照防止产生抖动，并且被摄物体的位置彼此一致的方式，设定图像生成区域AP-1。

VM3＝-VR3+Q3...(4)

另外，在帧4中，以作为其中进行位置调整向量的计算的最邻近帧的帧3为基准，进行与帧1的情况下的处理类似的处理。即，通过利用在式(5)中所示的合成向量VM4，能够按照防止产生抖动，并且被摄物体的位置彼此一致的方式，设定图像生成区域AP-1。

VM4＝-(VR4+VR3)+Q3+VL4...(5)

这样，通过每隔多帧，进行空间方向的位置对准，例如，即使因其中不进行空间方向的位置对准的帧的时间方向的位置对准而产生的误差随着时间的过去而累积，因空间方向的位置对准而累积的误差也可被重置。于是，能够防止发生由误差的累积而引起的图像交叠的移位等。

图20是描述第三实施例的操作的流程图。在步骤ST31，摄像设备20-2获得其他设备的拍摄图像。摄像设备20-2例如获得在摄像设备20-1中生成的图像拍摄区域AR-1的拍摄图像PG-1，随后，处理进入步骤ST32。

在步骤ST32，摄像设备20-2计算位置关系的变化程度。摄像设备20-2按照在生成的拍摄图像PG-2和从摄像设备20-1获得的拍摄图像PG-1中，相同被摄物体的图像彼此交叠的方式，进行空间位置对准。另外，摄像设备20-2关于M(正整数)帧的图像，判断生成的拍摄图像PG-2和从摄像设备20-1获得的拍摄图像PG-1之间的位置关系的变化量是否超过变化判断阈值。随后，其中变化量均超过变化判断阈值的帧的数目的比率被设定为变化程度。此外，摄像设备20-2每隔N(正整数)帧，计算位置关系的变化程度。摄像设备20-2按照这种方式，计算位置关系的变化程度，随后处理进入步骤ST33。

在步骤ST33，摄像设备20-2控制位置对准的频度。摄像设备20-2在位置关系的变化程度较大之时，增大进行位置对准的频度，而在位置关系的变化程度较小之时，降低进行位置对准的频度。

这样，按照第三实施例，响应摄像设备之间，拍摄图像的位置关系的变化程度，控制将在全景图像的生成中合成的图像之间的空间方向的位置对准的频度。于是，可高效地保持能够进行被摄物体的位置对准，以把图像相互连接的状态。

<5-2.第三实施例的其他操作>

上面说明的位置关系的变化程度决不局限于观察时段和观察间隔被固定的情况，响应位置关系的变化程度，可以调整观察时段和观察间隔。在第三实施例的其他操作中，将说明响应位置关系的变化程度，调整观察时段和观察间隔的操作。

图21是说明计算位置关系的变化程度的操作的视图。例如，在所述操作开始之时，如在图21的(a)中所示，变化程度的观察时段被设定为Ma(正整数)帧，变化程度的观察间隔被设定为Na(正整数)帧。在操作开始之后，当位置关系的变化程度较大时，缩短变化程度的观察时段和观察间隔至少之一。图21的(b)例示当位置关系的变化程度较大时，变化程度的观察时段和观察间隔两者都被缩短的情况。应注意就观察时段而论，“Mb<Ma”成立，就观察间隔而论，“Nb<Na”成立。另外，在操作开始之后，当位置关系的变化程度较小时，延长变化程度的观察时段和观察间隔至少之一。图21的(c)例示当位置关系的变化程度较小时，观察时段和观察间隔两者都被延长的情况。应注意就观察时段而论，“Mc>Ma”成立，就观察间隔而论，“Nc>Na”成立。观察时段或观察间隔可以随着变化程度变大，而被每一帧地缩短，随着变化程度变小，而被每一帧地延长。

图22是说明第三实施例的其他操作的流程图。在步骤ST41，摄像设备20-2获得其他设备的拍摄图像。摄像设备20-2例如获得在摄像设备20-1中生成的图像拍摄区域AR-1的拍摄图像PG-1。随后，处理进入步骤ST42。

在步骤ST42，摄像设备20-2计算位置关系的变化程度。摄像设备20-2按照在生成的拍摄图像PG-2和从摄像设备20-1获得的拍摄图像PG-1中，相同被摄物体的图像彼此交叠的方式，进行空间位置对准。另外，摄像设备20-2例如关于观察时段的图像，判断生成的拍摄图像PG-2和从摄像设备20-1获得的拍摄图像PG-1之间的位置关系的变化量是否超过变化判断阈值。随后，变化量均超过变化判断阈值的帧的数目的比率被设定为变化程度。另外，摄像设备20-2每隔N帧，计算位置关系的变化程度。摄像设备20-2按照这种方式，计算位置关系的变化程度，随后处理进入步骤ST43。

在步骤ST43，摄像设备20-2控制位置对准的频度。摄像设备20-2在位置关系的变化程度较大之时，增大进行位置对准的频度，而在位置关系的变化程度较小之时，降低进行位置对准的频度。随后，处理进入步骤ST44。

在步骤ST44，摄像设备20-2更新观察时段和观察间隔。摄像设备20-2按照随着位置关系的变化程度较大，缩短观察时段和观察间隔至少之一的方式，进行调整。另外，摄像设备20-2按照随着位置关系的变化程度较小，延长观察时段和观察间隔至少之一的方式，进行调整。摄像设备20-2按照对于调整之后的观察时段和观察间隔，计算位置关系的变化程度的方式，更新设定。随后，处理进入步骤ST45。

在步骤ST45，摄像设备20-2传送更新之后的观察时段和观察间隔。摄像设备20-2把更新之后的观察时段和观察间隔传送给摄像设备20-1。随后，处理进入步骤ST46。

在步骤ST46，摄像设备20-2判断图像拍摄是否终止。当判断图像拍摄还未被终止时，或者当判断对于所有各帧的处理还未完成时，摄像设备20-2中的处理返回步骤ST41。当图像拍摄终止，或者对于所有各帧的处理完成时，处理终止。

这样，按照第三实施例的其他操作，响应位置关系的变化程度，调整变化程度的观察时段和观察间隔。于是，与其中观察时段和观察间隔被固定的情况相比，可响应位置关系的变化程度，进行最佳的控制操作。应注意尽管在第三实施例的其他操作中，例示了其中观察时段和观察间隔被调整的情况，不过另一方面，也可以只调整观察时段和观察间隔之一。

<6.第四实施例>

在通过利用在多台摄像设备中生成的拍摄图像，生成全景图像的情况下，如果响应抖动，画质恶化，并且所述多台摄像设备在抖动量方面彼此不同，那么恐怕在全景图像的生成中使用的拍摄图像变成其中导致画质差的图像。于是，在第四实施例中，将说明其中按照在全景图像的生成之时，画质差不显眼的方式，执行图像处理的情况。

<6-1.第四实施例的操作>

图23是说明抖动的大小与在全景图像的生成中使用的图像的画质之间的关系的视图。

摄像设备20-2根据在各个摄像设备中生成的例如每帧的拍摄图像，或者在各个摄像设备的传感器部分211中生成的传感器信号，计算抖动量。这里，当抖动量较小时，如在图23的(a)中所示，可相对于拍摄图像PG，加宽图像生成区域AP。另外，如在图23的(b)中所示，可以切割其中透镜畸变较小的中央部分。于是，当抖动量较小时，在全景图像的生成中使用的图像生成区域AP的图像中，如在图23的(c)中所示，可以令人满意地保持画质。

当抖动量较大时，如在图23的(d)中所示，需要相对于拍摄图像PG，缩小图像生成区域AP。另外，如在图23的(e)中所示，出现其中透镜畸变较大的部分必须被切割的情况。于是，当抖动量较大时，在全景图像的生成中使用的图像生成区域AP的图像中，如在图23的(f)中所示，在一些情况下，画质恶化。

为此，即使在多台摄像设备之间，抖动量不同，从而在全景图像的生成中使用的图像之间，出现画质差，也按照画质差不显眼的方式，生成全景图像。

图24是说明第四实施例的操作的流程图。在步骤ST51，摄像设备20-2获得其他设备的拍摄图像。摄像设备20-2例如获得在摄像设备20-1中生成的图像拍摄区域AR-1的拍摄图像PG-1，随后，处理进入步骤ST52。

在步骤ST52，摄像设备20-2计算画质差。摄像设备20-2计算生成的拍摄图像PG-2和从摄像设备20-1获得的拍摄图像PG-1之间的画质差。摄像设备20-2计算包含在拍摄图像中的高频分量、抖动程度等的差异，作为画质差。例如，如果在拍摄图像中出现模糊，那么高频分量丢失。于是，当包含许多高频分量时，摄像设备20-2把该画质设定为高画质。当不包含这么多高频分量时，摄像设备20-2把该画质设定为低画质。另外，当抖动程度较大时，归因于抖动的模糊较大，而当抖动程度较小时，模糊较小。为此，摄像设备20-2把抖动程度较小时的画质设定为高画质，而把抖动程度较大时的画质设定为低画质。这样，摄像设备20-2计算包含在拍摄图像中的高频分量、抖动程度等的差异，作为画质差。随后，处理进入步骤ST53。

在步骤ST53，摄像设备20-2进行响应画质差的合成处理。摄像设备20-2根据计算的画质差，执行使拍摄图像PG-1和拍摄图像PG-2的画质均衡的画质调整处理，并把画质调整之后的拍摄图像相互连接，从而生成全景图像。摄像设备20-2例如可对具有高画质的拍摄图像，进行低通过滤处理等，从而使画质与具有低画质的拍摄图像相等，或者可对具有低画质的拍摄图像，进行高画质处理等，从而使画质与具有高画质的拍摄图像相等。高画质处理例如包括噪声消除处理、高频强调处理、通过学习的高画质图像生成处理、超分辨率处理等。另外，摄像设备20-2可对于具有高画质的拍摄图像，进行降低画质的处理，对于具有低画质的拍摄图像，进行提高画质的处理，从而使两个拍摄图像的画质相等。另外，摄像设备20-2可根据计算的画质差，控制拍摄图像PG-1和拍摄图像PG-2的合成，从而画质差不显眼地生成全景图像。当例如利用α混合技术，使两个拍摄图像相互连接时，摄像设备20-2响应画质差，调整作为待混合的区域的宽度的混合宽度。从而，当画质差较大时，摄像设备20-2加宽混合宽度，以画质差不显眼地把拍摄图像相互连接。另外，摄像设备20-2可响应画质差，调整混合率，可在画质差较大之时，增大对于具有高画质的拍摄图像的权重，从而增大具有高画质的拍摄图像的混合率。

按照这样的第四实施例，即使在全景图像的生成中，在待相互连接的拍摄图像之间，出现画质差，也可按照画质差不显眼的方式，进行合成处理。于是，能够生成其中画质差不显眼的全景图像。

<7.其他实施例>

顺便提及，在上面说明的实施例中，例示了其中各个摄像设备的视角(表示图像拍摄区域的角度)彼此相等的情况。不过，也可以使用视角彼此不同的摄像设备。

图25是说明在使用视角彼此不同的摄像设备的情况下的操作的流程图。在步骤ST61，摄像设备20-2获得其他设备的拍摄图像。摄像设备20-2例如获得在摄像设备20-1中生成的图像拍摄区域AR-1的拍摄图像PG-1。随后，处理进入步骤ST62。

在步骤ST62，摄像设备20-2获得调整判断信息。摄像设备20-2获得从摄像设备20-1提供给它的，指示拍摄图像PG-1的透镜畸变和视角的调整判断信息。这里，各个摄像设备预先进行校准，以致能够获得调整判断信息。例如，摄像设备拍摄测试图等的图像，预先获得每个焦距的透镜畸变，以保存透镜畸变。同样地，各个摄像设备还预先计算各个焦距的视角，以保存视角。此外，可从关于保存的透镜畸变和视角的信息中，读出与在图像拍摄之时的设定对应的信息，从而使得能够获得调整判断信息。摄像设备20-2获得调整判断信息，随后，处理进入步骤ST63。

在步骤ST63，摄像设备20-2进行这样获得的拍摄图像的透镜畸变的校正。摄像设备20-2根据在步骤ST62获得的调整判断信息，校正在步骤ST61，从摄像设备20-1获得的拍摄图像PG-1的透镜畸变。随后，处理进入步骤ST64。

在步骤ST64，摄像设备20-2进行生成的拍摄图像的透镜畸变的校正。摄像设备20-2根据当生成拍摄图像PG-2时的调整判断信息，校正生成的拍摄图像PG-2的透镜畸变。随后，处理进入步骤ST65。

在步骤ST65，摄像设备20-2计算放大/缩小率。摄像设备20-2从用关于拍摄图像PG-1的调整判断信息指示的关于视角的信息，和用关于拍摄图像PG-2的调整判断信息指示的关于视角的信息，计算拍摄图像PG-1的视角与拍摄图像PG-2的视角的比率，作为放大/缩小率。随后，处理进入步骤ST66。应注意，放大/缩小率的计算决不局限于其中使用获得的调整判断信息的情况。例如，可以准备具有不同的放大/缩小率的多个拍摄图像PG-1，可识别其中与拍摄图像PG-2的重复区域中的像素之间的误差的绝对值之和为最小的拍摄图像PG-1wp，从而确定放大/缩小率。

在步骤ST66，摄像设备20-2判断放大/缩小率是否小于1。当摄像设备20-2判断放大/缩小率小于1，即，就视角而论，拍摄图像PG-1比拍摄图像PG-2窄，从而被摄物体被放大，以便被捕捉到时，处理进入步骤ST67。另外，当摄像设备20-2判断放大/缩小率不小于1，例如，就视角而论，拍摄图像PG-1比拍摄图像PG-2宽，从而被摄物体是作为小图形的图像时，处理进入步骤ST68。

在步骤ST67，摄像设备20-2执行放大生成的拍摄图像的视角的处理。摄像设备20-2按(1/(放大/缩小率))的比率，放大生成的拍摄图像PG-2，从而使拍摄图像PG-1和拍摄图像PG-2的视角相等。

在步骤ST68，摄像设备20-2执行获得的拍摄图像的视角放大处理。摄像设备20-2按放大/缩小率的比率，放大获得的拍摄图像PG-1，从而使拍摄图像PG-1和拍摄图像PG-2的视角相等。

在进行这样的处理之后，摄像设备20-2按照如上所述的方式，生成全景图像。于是，即使当使用视角彼此不同的摄像设备时，也能够生成使被摄物体的大小相等，并且从中除去透镜畸变的影响的全景图像。

另外，当多台摄像设备被固定到支架(装配台)时，例如，当如在图26中所示，摄像设备20-1和20-2被安装到支架40，从而确定图像的交叠量时，生成关于所述安装的信息，作为重复识别信息。另外，当对于支架，摄像设备的安装角可选，并且响应选择的安装角，确定图像的交叠量时，生成指示安装角的信息，作为重复识别信息。此外，当摄像设备被安装到支架，以致摄像设备被设定成预定的焦距，从而确定图像的交叠量时，或者当摄像设备被设定成在摄像设备被安装到的支架中选择的焦距，从而确定图像的交叠量时，指示摄像设备被设定成的焦距的信息可被包含在重复识别信息中。

可在支架或摄像设备任何一个中，生成关于这样的安装的重复识别信息。例如，在支架40中，设置用于检测摄像设备20-1和20-2的安装的检测部分41。检测部分41可利用通信功能，或者可利用机械连接机构。当使用通信功能时，通过连接端子、连接缆线等，进行与支架40的通信，从而检测安装。另外，可以与支架40进行短程无线通信，从而检测相对于支架40的安装。另外，当使用机械连接机构时，根据当摄像设备被固定时操作的操作杆的操作位置等，检测安装。顺便提及，对于安装的检测，不仅可以进行摄像设备到支架的安装，而且可以进行安装角或焦距的检测等。支架40利用通信功能，把重复识别信息传送给摄像设备20-2。

当按照这种方式，把摄像设备安装到支架，从而生成重复识别信息时，即使不进行图像拍摄操作，也能够进行图像的交叠量的判断。于是，例如，在图8中所示的操作中，代替利用其他设备的拍摄图像，通过利用关于安装的重复识别信息，可以预先进行从步骤ST1到步骤ST3的处理，通过利用预先获得的步骤ST3的判断结果，可以执行步骤ST5或步骤ST6中的处理。

另外，当多台摄像设备被固定到支架时，摄像设备20-1和20-2之间的位置关系变化较小。于是，在这种情况下，能够按照位置对准的频度被减小，位置关系的变化程度的观察时段或观察间隔被延长的方式，防止不必要地进行位置对准。

此外，稳像决不局限于响应抖动，调整图像生成区域的位置的电子稳像的情况，而可以是光学稳像。例如，当使用图像传感器平移方式作为光学稳像时，由于图像传感器平移方式是响应抖动，移动图像传感器的位置的方式，因此可以执行与在移动图像生成区域的情况下的处理类似的处理。另外，例如，当使用镜头平移方式，作为光学稳像时，设置有用于调整聚焦的镜头，和用于稳像的镜头。在镜头平移方式中，为了校正抖动，在一些情况下，光轴的位置通过用于调整聚焦的镜头和用于稳像的镜头的端部侧，从而取决于光轴的位置，拍摄图像的透镜畸变变大。另外，在图像传感器平移方式的情况下，如果图像传感器被移动到远离光轴的位置，那么透镜畸变也变大。这种情况下，通过应用上面说明的第四实施例，能够生成其中画质差较小的全景图像。

另外，在各个上述实施例中，尽管在描述操作的流程图的说明中，摄像系统10采用在图1的(b)中所示的构成，不过另一方面，摄像系统10可采用在图1的(c)～(f)中所示的任意构成。这种情况下，唯一必要的是具有能够执行各个步骤中的处理的功能的摄像设备或信息处理设备按照各个步骤的顺序，执行各个步骤中的处理。例如，当摄像系统10采用在图1的(c)中所示的构成时，执行诸如下列之类的处理：根据在摄像设备中生成的全景信息，外部设备计算交叠量，外部设备限制摄像设备的稳像，和外部设备生成全景图像。另外，当摄像系统10采用在图1的(d)中所示的构成时，可以执行诸如下列之类的处理：信息处理设备计算交叠量，限制摄像设备的稳像，和生成全景图像。

另外，尽管在各个上述实施例中，说明了其中摄像设备20-2进行稳像的控制，和全景图像的生成的情况，不过另一方面，如上所述，信息处理设备50可执行稳像的控制，全景图像的生成等。

此外，本技术可被广泛应用于在其中产生摄像部分的抖动的环境下，需要具有宽视角的图像的领域等中。例如，如果摄像设备被安装到车辆上，那么，即使当在行驶期间，对摄像设备施加振动时，也能够生成令人满意的全景图像，从而在驾驶期间，能够确认周围环境的状况。另外，即使当进行自动驾驶等时，也能够获得周围环境的状况。另外，如果摄像设备被安装到建筑机械、农业机械等上，那么，即使当在作业期间，对摄像设备施加振动等时，也能够生成令人满意的全景图像。于是，在确认周围环境的状况的时候，能够适当地进行作业。

在说明书中上面说明的一系列处理可以利用硬件或软件，或者两者的组合构成来执行。当利用软件执行处理时，其中记录处理序列的程序被安装在并入专用硬件中的计算机内的存储器中，以便运行该程序。或者，程序可被安装在通用计算机中，所述通用计算机可执行各种处理，以便运行该程序。

例如，程序可被预先记录在作为记录介质的硬盘、SSD(固态驱动器)或ROM(只读存储器)中。或者，程序可被临时或永久保存(记录)在可拆卸记录介质，比如软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字通用光盘)、BD(蓝光光盘(注册商标))、磁盘、或半导体存储卡中。可作为所谓的套装软件，提供这样的可拆卸记录介质。

另外，可以从计算机中的可拆卸记录介质，安装程序，除此之外，还可通过诸如LAN(局域网)或因特网之类的网络，从下载站点无线或有线地把程序传送给计算机。计算机可接收按照这种方式传送给它的程序，并且可把所述程序安装在诸如内置硬盘之类的记录介质中。

应注意，记录在本说明书中的效果仅仅是例示，决不是限制性的，可以提供未记载在这里的附加效果。另外，不应限制性地解释本技术。在本技术的实施例中，以例示的形式，公开了本技术，显然本领域的技术人员可以作出实施例的各种修改和替换，而不脱离本技术的主题。即，为了判断本技术的主题，应考虑权利要求书。

另外，本技术的图像处理设备也可采用以下构成。

(1)一种图像处理设备，包括：

控制部分，所述控制部分被配置成响应在全景图像的生成中使用的第一拍摄图像和第二拍摄图像之间的位置关系，进行关于对于所述第一拍摄图像和第二拍摄图像至少之一的稳像的控制。

(2)按照(1)所述的图像处理设备，其中作为关于稳像的控制，所述控制部分响应位置关系，限制稳像。

(3)按照(2)所述的图像处理设备，其中位置关系是交叠量。

(4)按照(3)所述的图像处理设备，其中当交叠量等于或小于稳像限制阈值时，所述控制部分限制稳像。

(5)按照(3)或(4)所述的图像处理设备，其中所述控制部分按照随着交叠量变小，加宽设置在图像传感器的有效像素区域内的图像生成区域的方式，限制稳像。

(6)按照(2)所述的图像处理设备，其中作为关于稳像的限制，所述控制部分停止稳像。

(7)按照(2)-(5)任意之一所述的图像处理设备，还包括：

配置成进行对于用户的通知的通知处理部分，

其中作为关于稳像的限制，所述控制部分通过通知处理部分，进行关于稳像的设定的通知。

(8)按照(3)所述的图像处理设备，其中当交叠量等于或小于处理顺序设定阈值时，所述控制部分按照执行第一拍摄图像的图像生成区域和第二拍摄图像的图像生成区域之间的位置对准，和执行稳像的顺序，进行控制，而当交叠量大于处理顺序设定阈值时，所述控制部分按照执行稳像，和执行所述位置对准的顺序，进行控制。

(9)按照(1)-(8)任意之一所述的图像处理设备，其中响应第一拍摄图像和第二拍摄图像之间的位置关系的变化程度，所述控制部分进行第一拍摄图像和第二拍摄图像之间的位置对准。

(10)按照(9)所述的图像处理设备，其中响应所述变化程度，所述控制部分控制变化程度的观察时段或观察间隔。

(11)按照(10)所述的图像处理设备，其中随着变化程度变大，所述控制部分缩短所述观察时段或观察间隔，随着变化程度变小，所述控制部分延长所述观察时段或观察间隔。

(12)按照(9)所述的图像处理设备，其中响应配置成生成第一拍摄图像的第一摄像部分，和配置成生成第二拍摄图像的第二摄像部分的安装状态，控制位置对准的频度。

(13)按照(1)-(12)任意之一所述的图像处理设备，还包括：

配置成从第一拍摄图像的图像生成区域，和第二拍摄图像的图像生成区域，生成全景图像的全景图像生成部分。

(14)按照(13)所述的图像处理设备，其中在第一拍摄图像的图像生成区域和第二拍摄图像的图像生成区域之间的画质差被调整之后，全景图像生成部分生成全景图像。

(15)按照(13)或(14)所述的图像处理设备，其中全景图像生成部分合成其中透镜畸变被校正的第一拍摄图像的图像生成区域，和其中透镜畸变被校正的第二拍摄图像的图像生成区域。

(16)按照(13)-(15)任意之一所述的图像处理设备，其中在使第一拍摄图像的视角和第二拍摄图像的视角相等之后，全景图像生成部分生成全景图像。

此外，本技术的图像处理设备也可采用以下构成。

一种图像处理设备，包括控制部分，所述控制部分被配置成响应第一摄像设备和第二摄像设备之间的抖动差，进行关于配置成生成第一拍摄图像的摄像设备，和配置成生成第二拍摄图像的第二摄像设备至少之一的稳像功能的控制，作为关于第一拍摄图像和第二拍摄图像的生成的控制，以便利用合成第一和第二拍摄图像的处理，生成全景图像。

一种图像处理设备，包括控制部分，所述控制部分被配置成响应第一和第二摄像设备之间的抖动差，控制第一摄像设备和第二摄像设备至少之一的稳像功能，作为关于在全景图像的生成中使用的第一摄像设备中的第一拍摄图像的生成，和在全景图像的生成中使用的第二摄像设备中的第二拍摄图像的生成的控制。

在本技术的图像处理设备、图像处理方法、程序和摄像系统中，响应在全景图像的生成中使用的第一拍摄图像和第二拍摄图像之间的位置关系，进行关于对于第一拍摄图像和第二拍摄图像至少之一的稳像的控制。为此，利用关于响应于第一拍摄图像和第二拍摄图像之间的位置关系的稳像的控制，在第一拍摄图像和第二拍摄图像中，能够确保其中相同被摄物体的拍摄图像相互交叠的区域。从而，能够容易地生成在全景图像的生成中使用的图像。于是，本技术可被广泛应用于在其中产生摄像部分的抖动的环境下，需要具有宽视角的图像的领域等。

[附图标记列表]

10...摄像系统

20,20-1～20-8...摄像设备

30...记录介质

40...支架

41...安装状态检测部分

50,50-1,50-2...信息处理设备

200...镜头单元

201...驱动部分

202...图像传感器部分

203...AFE部分

204...图像处理部分

205...显示部分

206...声音输入/输出部分

207,503...通信部分

208...记录介质处理部分

209,506...总线

211...传感器部分

212...用户接口部分

220,505...控制部分

501...输入部分

502...输出部分

504...存储部分

Claims (18)

1.一种图像处理设备，包括：

控制部分，所述控制部分被配置成响应于在全景图像的生成中使用的由第一摄像部分拍摄的第一拍摄图像和由第二摄像部分拍摄的第二拍摄图像之间的位置关系，进行关于对于所述第一拍摄图像和第二拍摄图像中的至少一个的稳像的控制，

其中作为关于稳像的控制，所述控制部分响应于所述位置关系而限制稳像。

2.按照权利要求1所述的图像处理设备，其中所述位置关系是交叠量。

3.按照权利要求2所述的图像处理设备，其中当交叠量等于或小于稳像限制阈值时，所述控制部分限制稳像。

4.按照权利要求2所述的图像处理设备，其中所述控制部分按照随着交叠量变小，加宽设置在图像传感器的有效像素区域内的图像生成区域的方式，限制稳像。

5.按照权利要求1所述的图像处理设备，其中作为关于稳像的限制，所述控制部分停止稳像。

6.按照权利要求1所述的图像处理设备，还包括：

配置成进行对于用户的通知的通知处理部分，

其中作为关于稳像的限制，所述控制部分通过通知处理部分进行关于稳像的设定的通知。

7.按照权利要求1所述的图像处理设备，其中当交叠量等于或小于处理顺序设定阈值时，所述控制部分按照执行第一拍摄图像的图像生成区域和第二拍摄图像的图像生成区域之间的位置对准和执行稳像的顺序进行控制，而当交叠量大于处理顺序设定阈值时，所述控制部分按照执行稳像和执行所述位置对准的顺序进行控制。

8.按照权利要求1所述的图像处理设备，其中响应于第一拍摄图像和第二拍摄图像之间的位置关系的变化程度，所述控制部分进行第一拍摄图像的图像生成区域和第二拍摄图像的图像生成区域之间的位置对准。

9.按照权利要求8所述的图像处理设备，其中响应于所述变化程度，所述控制部分控制变化程度的观察时段或观察间隔。

10.按照权利要求9所述的图像处理设备，其中随着变化程度变大，所述控制部分缩短所述观察时段或观察间隔，以及随着变化程度变小，所述控制部分延长所述观察时段或观察间隔。

11.按照权利要求8所述的图像处理设备，其中响应于被配置成生成第一拍摄图像的第一摄像部分和被配置成生成第二拍摄图像的第二摄像部分的安装状态，控制位置对准的频度。

12.按照权利要求1所述的图像处理设备，还包括：

全景图像生成部分，被配置成从第一拍摄图像的图像生成区域和第二拍摄图像的图像生成区域生成全景图像。

13.按照权利要求12所述的图像处理设备，其中在第一拍摄图像的图像生成区域和第二拍摄图像的图像生成区域之间的画质差被调整之后，全景图像生成部分生成全景图像。

14.按照权利要求12所述的图像处理设备，其中全景图像生成部分合成透镜畸变被校正的第一拍摄图像的图像生成区域和透镜畸变被校正的第二拍摄图像的图像生成区域。

15.按照权利要求12所述的图像处理设备，其中在使第一拍摄图像的视角和第二拍摄图像的视角相等之后，全景图像生成部分生成全景图像。

16.一种图像处理方法，包括：

在控制部分中，响应于在全景图像的生成中使用的由第一摄像部分拍摄的第一拍摄图像和由第二摄像部分拍摄的第二拍摄图像之间的位置关系，进行关于对于所述第一拍摄图像和第二拍摄图像中的至少一个的稳像的控制，

其中作为关于稳像的控制，响应于所述位置关系而限制稳像。

17.一种存储有程序的计算机可读存储介质，所述程序使计算机执行：

用于响应于在全景图像的生成中使用的由第一摄像部分拍摄的第一拍摄图像和由第二摄像部分拍摄的第二拍摄图像之间的位置关系，进行关于对于所述第一拍摄图像和第二拍摄图像中的至少一个的稳像的控制的过程，

其中作为关于稳像的控制，响应于所述位置关系而限制稳像。

18.一种摄像系统，包括：

第一摄像部分，所述第一摄像部分被配置成拍摄在全景图像的生成中使用的第一拍摄图像；

第二摄像部分，所述第二摄像部分被配置成拍摄在全景图像的生成中使用的第二拍摄图像；以及

控制部分，所述控制部分被配置成响应于第一拍摄图像和第二拍摄图像之间的位置关系，进行关于对于所述第一拍摄图像和第二拍摄图像中的至少一个的稳像的控制，

其中作为关于稳像的控制，所述控制部分响应于所述位置关系而限制稳像。

Images