CN101715053A

CN101715053A - 成像设备、成像方法和程序

Info

Publication number: CN101715053A
Application number: CN200910204440A
Authority: CN
Inventors: 山下纪之; 国兼宪太郎
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2008-10-03
Filing date: 2009-09-29
Publication date: 2010-05-26
Anticipated expiration: 2029-09-29
Also published as: CN101715053B; US20100085422A1; JP4962460B2; JP2010088084A

Abstract

成像设备包括：通过光学系统捕捉被摄体图像的成像器件；具有把多个捕捉的图像组合成一个图像的功能的图像信号处理器，所述图像是在移动成像设备的期间捕捉的；提供成像设备的姿态信息的姿态传感器；和处理来自姿态传感器的信息，并对姿态信息的处理结果和来自图像信号处理器的处理结果进行协调控制的控制单元，其中图像信号处理器使用图像识别确定相邻图像之间的相对位置关系，控制单元根据姿态信息的初始值、方向数据和图像信号处理器确定的相对位置关系，确定相邻图像之间的位置关系，并判断确定的结果是否正确。

Description

成像设备、成像方法和程序

技术领域

本发明涉及具有组合多个图像的功能的成像设备、成像方法和程序。

背景技术

当使用可携式摄像机、数字静态照相机或者任何其它适当设备进行全景成像时，每当捕捉图像时，必须使相机保持固定，或者必须缓慢地移动相机，以致当移动相机同时捕捉图像时，图像不会模糊。

在后一情况下，高速快门也是捕捉图像所必需的。

相反，日本专利No.3928222提出一种在保持图像分辨率的情况下，在快速移动相机时捕捉图像的方法。

在日本专利No.3928222提出的技术中，检测移动相机的方向和移动相机的角速度，并以相同的角速度沿与相机的移动相反的方向移动光轴，以致每个图像不会改变。从而，好像仅仅注视一点似地捕捉每个图像。

在一些情况下，为了实现上述控制方法，需要加速度传感器和角速度传感器。相反，日本专利No.3925299提出一种在没有所述两个传感器和控制它们的反馈电路的情况下，恰当控制光轴的方法。

在日本专利No.3925299中提出的方法被用作监视系统，其中计数用于控制成像方向的步进电机的脉冲的数目，并根据所述计数控制光轴。

发明内容

但是，在预期的全景摄影中，图像的清晰度高于由加速度传感器和角速度传感器构成的姿态传感器的精度。

于是，当仅仅根据从姿态传感器获得的信息产生位置信息时，所得到的全景照片可能太粗糙以至于不能查看。

从而，理想的是提供一种能够产生无失真的高清晰全景图像的成像设备、成像方法和程序。

按照本发明的第一实施例的成像设备包括通过光学系统捕捉被摄体图像的成像器件，具有把多个捕捉的图像组合成一个图像的功能的图像信号处理器，所述图像是在移动成像设备的期间捕捉的，提供成像设备的姿态信息的姿态传感器，和处理来自姿态传感器的信息，并对姿态信息的处理结果和来自图像信号处理器的处理结果进行协调控制的控制单元。图像信号处理器使用图像识别确定相邻图像之间的相对位置关系。控制单元把当姿态传感器固定不动时姿态传感器检测的信息设为姿态信息的初始值，关于时间求姿态传感器检测的信息的积分，从而提供成像设备的旋转移动，把积分值设为捕捉每个图像时的方向数据，根据确定的初始值、方向数据和图像信号处理器确定的相对位置关系，确定相邻图像之间的位置关系，并判断确定的结果是否正确。

最好，姿态传感器包括角速度传感器，控制单元求角速度传感器检测的信息的积分，从而提供移动量，以便确定相对位置关系，并对图像信号处理器确定的相对位置关系进行选择性协调校正，以确定相对移动信息。

最好，姿态传感器包括角速度传感器和加速度传感器，控制单元把当加速度传感器固定不动时加速度传感器检测的信息设为姿态信息的初始值，并且关于时间求角速度传感器检测的信息的积分，从而提供成像设备的旋转移动。

最好，控制单元具有改变方向数据的参数，以使方向数据与实际方向基本相符的功能。

最好，当在判断过程中控制单元判断确定的结果正确时，控制单元校准参数。

最好，当在判断过程中控制单元判断确定的结果不正确时，控制单元根据已校准的参数，使用来自姿态传感器的信息排列图像。

最好，图像信号处理器通过使用相邻图像之间的重叠区域进行图像识别。

最好，图像信号处理器在通过按照选择的图像沿相应边界相互重叠的方式排列图像中的多个选择图像而产生的边界进行块匹配，沿着相应的边界组合选择的图像，从而提取预定参数，根据所述参数在组合的图像的所有边界进行块匹配，同时并且并行地评估关于所有边界的块匹配结果，并按照在所有边界的误差降低的方式更新光轴的方向，以致按照误差降低的方式进行组合。

按照本发明的第二实施例的成像方法包括下述步骤：在移动成像设备时，通过光学系统用成像器件捕捉被摄体图像，光学系统包括改变光轴的光轴可变器件，通过对捕捉的图像进行图像识别，确定相邻图像之间的相对位置关系，把当姿态传感器固定不动时姿态传感器检测的信息设为姿态信息的初始值，关于时间求姿态传感器检测的信息的积分，从而提供成像设备的旋转移动，并且把积分值设为当捕捉每个图像时的方向数据，根据确定的初始值、方向数据和通过图像识别确定的相对位置关系，确定相邻图像之间的位置关系，并判断确定结果是否正确。

按照本发明的第三实施例的程序使计算机执行成像处理，所述成像处理包括下述处理：在移动成像设备时，通过光学系统用成像器件捕捉被摄体图像，光学系统包括改变光轴的光轴可变器件，通过对捕捉的图像进行图像识别，确定相邻图像之间的相对位置关系，把当姿态传感器固定不动时姿态传感器检测的信息设为姿态信息的初始值，关于时间求姿态传感器检测的信息的积分，从而提供成像设备的旋转移动，并且把积分值设为当捕捉每个图像时的方向数据，根据确定的初始值、方向数据和通过图像识别确定的相对位置关系，确定相邻图像之间的位置关系，并判断确定结果是否正确。

按照本发明的实施例，在移动成像设备期间捕捉的多个图像被输入图像信号处理器。

此外，姿态传感器检测的成像设备的姿态信息被输入控制单元。

图像信号处理器使用图像识别来确定相邻图像之间的相对位置关系，并把相对位置关系提供给控制单元。

控制单元把当姿态传感器固定不动时姿态传感器检测的信息设为姿态信息的初始值，关于时间求姿态传感器检测的信息的积分，从而提供成像设备的旋转移动，把积分值设为当捕捉每个图像时的方向数据。

控制单元随后根据确定的初始值、方向数据和图像信号处理器确定的相对位置关系，确定相邻图像之间的位置关系，并判断确定结果是否正确。

按照本发明的实施例，能够提供无失真的高清晰全景图像。

附图说明

图1是表示采用按照本发明的实施例的图像处理设备的相机设备的配置例子的方框图；

图2是概念地表示利用按照本实施例的相机设备进行的广角成像；

图3是精确组合处理器的方框图；

图4表示以图表形式显示的来自姿态传感器的输出(扫描角速度)；

图5A和5B描述在本实施例的第一配置中，是如何捕捉图像的；

图6表示CMOS图像传感器被曝光的时期，读出累积电荷的时期，和控制光轴的时期之间的关系；

图7A和7B表示由基于互功率谱(CPS)的平移获得的缝合图像；

图8描述通过使用块匹配(BM)提取参数的过程，并表示选择情况良好的四个图像的过程；

图9描述通过使用块匹配(BM)提取参数的过程，并表示沿单一边界在三个位置进行BM的例子；

图10描述通过使用块匹配(BM)提取参数的过程，并表示当存在透镜畸变时，BM导致弯曲的边界；

图11描述通过使用块匹配(BM)提取参数的过程，并表示当倾角不正确时，产生向左右方向倾斜的不正确边界的例子；

图12描述通过使用块匹配(BM)提取参数的过程，并表示沿左右图像之间的边界产生的上下方向的收缩导致横向方向的移位的例子；

图13描述通过使用块匹配(BM)提取参数的过程，并表示由图像的旋转引起的误差的例子；

图14A和14B描述在使用块匹配(BM)提取参数之后，把BM扩展到大量的图像，以致以最小的误差进行平移操作的过程；

图15是表示基于连续捕捉的图像和传感器信息的空间排列方法的功能方框图；

图16是表示在通过使连续捕捉的图像与传感器信息关联，使传感器信息更精确的方法中，固定状态下的传感器零位置的校正的功能方框图；

图17是表示在通过使连续捕捉的图像与传感器信息关联，使传感器信息更精确的方法中，如何协调移动信息以使之更精确的功能方框图；

图18是校正角速度传感器的零点的过程的流程图；

图19是校正从角速度传感器获得的移动量的过程的流程图；

图20是获得移动量的方法的流程图；

图21是通过使用捕捉的照片分配空间坐标的方法的流程图；

图22A-22D描述扫描速度的计算例子。

具体实施方式

下面参考附图，说明本发明的一个实施例。

图1是表示作为按照本发明的实施例的成像设备的相机设备的配置例子的方框图。

例如，如图2中所示，通过多次自动或手动改变成像方向，相机设备10能够产生从一点捕捉的许多图像(图2中16×8＝128)。

相机设备10被配置成准确并且无缝地组合许多图像，例如数千个图像，从而形成称为全景图像的图像。

即，相机设备10具有根据通过沿纵向或横向高速摆动其中包含固态成像器件(比如CMOS图像传感器(CIS))的数字相机而捕捉的图像，产生全景图像的功能。

按照本实施例的相机设备10具有下述第一到第五特征配置和功能。

第一配置具有下述特征点。

为了通过移动相机设备10以捕捉多个图像并组合获得的图像而产生全景图像，按照抵消相机的移动方向及其移动角速度的方式控制收集成像光的透镜(移位透镜)的光轴。

这样，即使当相机被移动时，仍然好像仅仅注视一点似地捕捉每个图像。

在这种配置中，CIS(CMOS图像传感器)被用作固态成像器件，通过对CIS的各行的中心部分进行上述控制，捕捉每个图像。

即，在曝光所述各行的一部分的时间加上读出时间的期间，光轴被如上所述控制，而在所有其它时间，按照使光轴恢复到在所述中心附近的位置的方式控制光轴。这种情况下，相机捕捉图像的方向垂直于CIS的各行。

相机设备10随后通过从部分的CIS剪取一个条带，并进行与该部分对应的光轴控制，以高帧速率产生全景图像，而不降低分辨率(即使当相机被高速移动时)。

第二配置具有下述特征点。

相机设备10采用其中通过使用由图像识别技术获得的帧移动信息和来自姿态传感器的移动信息，空间排列连续图像的技术。

来自姿态传感器的信息补充图像识别未提供的信息。来自姿态传感器的信息被用于检查是否已成功进行图像识别，或者当图像识别失败时被用作辅助坐标。空间排列的图像产生单一的完整的全景图像。

这种情况下，相机设备10被配置成主要由双手拿着的相机，并通过改变成像方向基本上从一点捕捉多个图像。

相机设备10的姿态传感器包括三轴(或二轴)加速度传感器和/或三轴(或二轴)角速度传感器。

相机设备10不仅具有捕捉图像，同时记录指示捕捉每个图像的方向的姿态信息的功能，而且具有即时把多个捕捉的图像组合成单一图像的功能。

相机设备10不仅使用其中相邻图像相互重叠的区域与块匹配或者任何其它适当的图像识别功能一起计算图像之间的相对位置关系，而且使用来自由各种传感器构成的姿态传感器的数据计算图像位置关系。

相机设备10随后通过使用计算的相对位置关系和图像位置关系之间的选择性协调，计算更精确的相对位置关系。

之后，相机设备10识别每个图像的绝对位置关系，比如图像的中心朝向的方向，摇摄角(经度)，倾角(纬度)和表示围绕光轴的旋转的滚转角(倾斜)，并使用上述信息作为初始值进行精确自动组合。

第三配置具有下述特征点。

相机设备10采用其中记录连续图像，同时使由图像识别技术获得的帧移动信息与来自姿态传感器的移动信息彼此相关的技术。

相机设备10计算每个图像像素的视角，来自处于固定状态的姿态传感器的值，来自姿态传感器的值和每个像素的视角之间的关系，以及不能仅仅根据所述两种位置关系之一获得的其它信息。相机设备10具有偏移量、增益和其它参数，并且能够改变它们，以使捕捉每个图像的预期方向基本与实际方向一致。

相机设备10以三轴(或二轴)加速度传感器相对于重力方向的倾斜角的形式，静态地检测固定状态下的姿态数据，并把该数据设为姿态信息的初始值。

相机设备10通过关于时间，求来自三轴角速度传感器的输出值的积分，主要计算纵向方向和横向方向上相机的旋转移动，并把所得到的值设为当捕捉每个图像时的方向数据。

相机设备10使用其中相邻图像相互重叠的区域与块匹配或者任何其它适当的图像识别手段一起计算相邻图像之间的位置关系。相机设备10利用如上所述的计算确定相邻图像之间的位置关系，不过同时判断结果是否正确。

当判断结果正确时，相机设备10根据这样获得的信息校准参数。

当判断结果不正确时，相机设备10随后根据已被校准的参数，使用来自姿态传感器的值排列图像。

第四配置具有下述特征点。

相机设备10具有当它检测到运动目标的任何影响时，发出报警，以提示用户重新捕捉图像的功能。

相机设备10具有按照重叠率被设为50％或更高，以致被摄体的任意部分出现在至少两个相邻图像中的方式，检测运动目标的功能。从而，根据相邻图像之间的运动向量间的相似性，检测视差或运动被摄体的任意影响。

即，当相机设备10检测到运动目标或视差的任意影响时，相机设备10发出报警，以提示用户重新捕捉图像。

被快速摆动以便捕捉宽范围内的被摄体的多个条状图像，并把多个条状图像组合成单一图像的相机设备10检测视差对近距离的被摄体的影响程度，并提示用户环绕相机注视被摄体的视点重新捕捉图像。

第五配置具有下述特征点。

相机设备10通知适当的扫描角速度(用户摆动相机的速度)，当扫描角速度过快时发出报警。这样，提示用户重新捕捉图像。

相机设备10以图表的形式把姿态传感器(陀螺传感器)的输出(扫描角速度)显示在显示器件18，比如LCD的屏幕上，垂直轴代表输出，水平轴代表时间。由于当设置水平视角、水平像素的数目和快门速度时，最高扫描角速度就被确定，因此按照适当的范围从最高扫描角速度的60％到最高扫描角速度的80％的方式显示所述图表。

下面更具体地说明具有上述特征的相机设备10的配置和功能。

相机设备10包括光学系统11，成像器件12，模拟前端(AFE)电路13，姿态传感器14，驱动器15，系统控制器16，存储器17，显示器件18，操作单元19和扬声器20。

光学系统11在成像器件12的成像面上形成被摄体的图像。

光学系统11包括普通透镜111，作为光轴可变器件的移位透镜112和机械快门113。

移位透镜112不仅收集成像光，而且由驱动器15驱动，以改变光轴的方向。

成像器件12由CMOS(互补金属氧化物半导体)器件或CCD(电荷耦合器件)构成。

在本实施例的说明中，举例来说使用CMOS图像传感器。在上面说明的第一配置中，CMOS图像传感器被用作固态成像器件。

在成像器件12中，以矩阵形式排列在半导体衬底上的光学传感器检测由光学系统11形成的被摄体图像，产生信号电荷，借助垂直和水平信号线读取信号电荷，并输出被摄体的图像信号。

当成像器件12由CMOS图像传感器形成时，全域快门和卷帘快门被用作控制曝光量的电子快门。曝光量由系统控制器16控制。

AFE电路消除包含在来自成像器件12的图像信号中的固定模式噪声，使用自动增益控制来稳定信号电平，并把所得到的信号输出给系统控制器16。

姿态传感器14检测相机设备10的姿态，并把检测结果提供给系统控制器16。

例如，姿态传感器14由三轴加速度传感器141和三轴角速度传感器142构成。

加速度传感器141能够静态地得到其相对于重力方向的角度，并检测倾角和滚转角，但是不检测摇摄角。

于是，角速度传感器142被用于得到运动的角度。角速度传感器142也被称为陀螺传感器，能够检测旋转移动期间的角速度，并输出电压信号。对电压信号积分即产生角度。由于角速度传感器142是三轴传感器，因此能够检测摇摄角，倾角和滚转角。

在系统控制器16的控制下，驱动器15改变光学系统11中的移位透镜112的光轴。

系统控制器16是对AFE电路的输出信号进行色彩校正，组合多个图像，进行自动曝光控制，自动白平衡控制，和其它控制操作的电路。

系统控制器16包括图像信号处理器161，和充当控制单元的微计算机(μ-COM)162。

图像信号处理器161包括配置成精确并且无缝地组合通过多次改变成像方向，从一点捕捉的许多图像的精确组合处理器。

如图3中所示，精确组合处理器1611包括第一色彩校正功能单元16111，组合功能单元16112，和第二色彩校正功能单元16113。

图像信号处理器161组合通过移动相机设备10而获得的多个捕捉图像，从而产生全景图像。

微计算机162以抵消相机的移动方向及其移动角速度的方式，按照来自姿态传感器14的检测结果控制收集成像光的透镜(移位透镜)的光轴。

当CMOS图像传感器被用作固态成像器件时，在曝光CMOS图像传感器的各行的中心部分的时间加上读出时间的期间，微计算机162如上所述控制光轴，而在所有其它时间，控制驱动器15，以使光轴恢复到在所述中心附近的位置。在后一情况下，相机捕捉图像的方向垂直于CMOS图像传感器的各行。

微计算机162控制通过从部分的CMOS图像传感器剪取一个条带，并进行与该部分对应的光轴控制，以高帧速率产生全景图像，而不降低分辨率(即使当相机被高速移动时)的过程。

微计算机162求来自角速度传感器142的检测信号的积分，从而计算相机设备10的旋转角，并按照计算的旋转角，控制移位透镜112的光轴应被改变多少。

另一方面，图像信号处理器161能够检测相邻的捕捉图像的运动分量，微计算机162能够按照检测的运动分量，控制光轴应被改变多少。

又一方面，微计算机162能够通过利用计算的旋转角和运动分量，控制光轴应被改变多少。

微计算机162把指示捕捉每个图像的方向的姿态信息记录在存储器17中。

图像信号处理器161和微计算机162不仅使用其中相邻图像相互重叠的区域与块匹配或者任何其它适当的图像识别功能一起计算图像之间的相对位置关系，而且使用来自由各种传感器构成的姿态传感器的数据计算图像位置关系。

微计算机162通过使用计算的相对位置关系和图像位置关系之间的选择性协调，计算更精确的相对位置关系。

之后，微计算机162识别每个图像的绝对位置关系，比如图像的中心朝向的方向，摇摄角(经度)，倾角(纬度)和表示围绕光轴的旋转的滚转角(倾斜)。

图像信号处理器161使用上述信息作为初始值进行精确自动组合。

微计算机162计算每个图像像素的视角，来自处于固定状态的姿态传感器的值，来自姿态传感器的值和每个像素的视角之间的关系，以及不能仅仅根据所述两种位置关系之一获得的其它信息。微计算机162具有偏移量、增益和其它参数，并且能够改变它们，以使捕捉每个图像的预期方向基本与实际方向一致。

微计算机162以三轴(或二轴)加速度传感器相对于重力方向的倾斜角的形式，静态地检测固定状态下的姿态数据，并把该数据设为姿态信息的初始值。

微计算机162通过关于时间，求来自三轴角速度传感器142的输出值的积分，主要计算纵向方向和横向方向上相机的旋转移动，并把所得到的值设为当捕捉每个图像时的方向数据。

微计算机162使用其中相邻图像相互重叠的区域与块匹配或者任何其它适当的图像识别功能一起计算相邻图像之间的位置关系。微计算机162借助如上所述的计算确定相邻图像之间的位置关系，不过同时判断结果是否正确。

当判断结果正确时，微计算机162根据这样获得的信息校准参数。

当判断结果不正确时，微计算机162随后根据已被校准的参数，使用来自姿态传感器的值排列图像。

当检测到运动目标的任何影响时，微计算机162指令显示器件18和/或扬声器20发出显示和/或报警声。这样，提示用户重新捕捉图像。

微计算机162按照重叠率被设为50％或更高，以致被摄体的任意部分出现在至少两个相邻图像中的方式，检测运动目标。从而，根据相邻图像之间的运动向量间的相似性，检测视差或运动被摄体的任意影响。

即，当微计算机162检测到运动目标或视差的任意影响时，微计算机162发出报警，以提示用户重新捕捉图像。

微计算机162检测视差对近距离的被摄体的影响程度，并提示用户环绕相机注视被摄体的视点重新捕捉图像。

微计算机162通知适当的扫描角速度(用户摆动相机的速度)，当扫描角速度过快时，指令显示装置18和/或扬声器20发出显示和/或报警声。这样，提示用户重新捕捉图像。

微计算机162以图表的形式把姿态传感器(陀螺传感器)的输出(扫描角速度)显示在显示器件18，比如LCD的屏幕上，垂直轴代表输出，水平轴代表时间。由于当设置水平视角，水平像素的数目和快门速度时，最高扫描角速度就被确定，因此如图4中所示显示图表，其中适当的范围RNG从最高扫描角速度的60％一直到最高扫描角速度的80％。

下面表示上述操作的示意程序。

[1]按下操作单元19中的开始按钮，并旋转相机。随后，释放开始按钮。

[2]只要开始按钮被按下，扫描角速度就被显示在显示器件18的屏幕上，如图4中所示。

[3]当扫描角速度低于适当范围RNG的下限时，不发出任何报警，而当扫描角速度快于，即使是瞬间快于适当范围RNG的上限时，将产生报警声。

下面具体说明上述第一到第五配置。

第一到第五配置中的控制的主要部分均由系统控制器16完成。

[第一配置]

在第一配置中，由于CMOS图像传感器被用作固态成像器件，因此不应用帧/场方法，而是使用其中顺序读取所有各行的逐行方案。

图5A和5B说明在本实施例的第一配置中是如何捕捉图像的。

相机设备10被假定基本按下述方式移动：相机设备10被垂直旋转，如图5A中所示，或者被水平旋转，如图5B中所示。即，沿垂直于CMOS图像传感器的读出线的方向移动相机。

此外，在本实施例中，微计算机162对通过剪取CMOS图像传感器的成像范围的中心部分(如图5A和5B中的黑色条带30所示)而获得的条带进行光轴控制。

如上所述捕捉条状图像带来下述优点。

(a)随着条带的宽度被减小，视差的影响被有利地减小。

(b)随着条带的宽度被减小，从CMOS图像传感器的非同时读出的影响也被有利地减小。

(c)周边光量的减小的影响也被有利地减小。

(d)透镜畸变的影响也被有利地减小。

微计算机162以抵消相机移动的方向及其移动角速度的方式，按照来自姿态传感器14的检测结果，控制收集成像光的透镜(移位透镜)的光轴。

当CMOS图像传感器被用作固态成像器件时，在曝光CMOS图像传感器的各行的中心部分的时间加上读出时间的期间，微计算机162如上所述控制光轴，而在所有其它时间，微计算机162控制驱动器15，以使光轴恢复到在所述中心附近的位置。

即，在图5A和5B中所示的条带30被曝光的时期，必须控制光轴。

图6表示CMOS图像传感器被曝光的时期，读出累积电荷的时期，和控制光轴的时期之间的关系。

对于CMOS图像传感器的每一行来说，该行被曝光，电荷被读取。在对一行进行读出操作之后，下一行被曝光，电荷被读取。在重复该操作以处理整个条带上的电荷的期间，光轴被控制。

例如，当快门速度为1/1000秒(即，曝光时间为1毫秒)，并且条带的宽度对应于200行时，图6中所示的读出时间为1.56毫秒，光轴控制周期为2.56毫秒。仅供参考，当考虑其中捕捉图像的帧速率为60fps(每个图像约16.66毫秒)的对应日本专利No.3928222中的图3中的变量Son和Soff时，Son为2.56毫秒，Soff为16.66-2.56＝14.1毫秒。

在日本专利No.3928222中，控制光轴的角度极限区间为±1.2°。在本实施例中，从0°到0.3°的任意值被用作角度极限，不过角度极限可以在±0.5°内。0.3°的角度约为能够在其内选择角度极限的范围的最大值的60％。

这样捕捉的条状图像在图3中的精确组合处理器1611中被组合，从而产生全景图像。下面将说明在精确组合处理器1611中进行的图像组合过程。

按照本实施例的系统控制器16具有把通过多次改变成像方向，从一点捕捉的图像精确组合成色彩不均匀得到校正的单一图像的功能(例如，软件)。

下面具体说明本实施例中的精确组合的特征功能部分。

为了提取透镜畸变校正系数和其它参数，第一色彩校正功能单元16111对每个边界执行至少三次块匹配(BM)操作，至少四个边界被用于组合。按照边界尽可能精确的方式确定透镜畸变校正系数。

换句话说，第一色彩校正功能单元16111从原始图像提取透镜畸变校正系数和其它参数。

第一色彩校正功能单元16111随后对所有子图像进行周边减光校正，对比度增强，色度增强和γ校正。

在第一色彩校正功能单元16111确定了透镜畸变校正系数和其它参数，并且执行了周边减光校正，对比度增强，色度增强和γ校正之后，组合功能单元16112对所有边界执行至少一次(例如，三次)BM(块匹配)操作。

组合功能单元16112同时评估关于所有边界的BM结果，按照在所有边界产生的误差降低的方式更新光轴方向，从而减少误差，并精确地组合多个图像。

第二色彩校正功能单元16113独立地对所有子图像进行色彩(不均匀)校正，以减小由组合功能单元16112精确组合的多个图像之中的相邻图像间的色彩差异。

此外，第二色彩校正功能单元16113进行把相邻图像间的色彩不连续性降低到所述不连续性不可见的水平的色彩校正。

下面说明在精确组合处理器1611中进行的精确组合的理论原理。

本实施例主要采用基于傅里叶分析的相位相关技术。

即，本实施例采用基于傅里叶移位定理的技术，其中空间函数的移位只改变光谱区中的相位。

即，假定两个函数f₁和f₂满足下述关系。

[方程式1]

f₂(x，y)＝f₁(x+x_t，y+y_t)

此外，这两个函数具有下述光谱特性。

[方程式2]

F₂(u，v)＝F₁(u，v)exp(-2πi(ux_t，vy_t))

通过利用互功率谱(CPS)，上面的方程式可被重写成下面的等效方程式。

[方程式3]

互功率谱

其中F₂ ^＊表示复函数F₂的共轭函数。

实际上，图像是由类似两个图像之间的互功率谱的位噪声构成的，如图7A和7B中所示。

于是，理想的是找出互功率谱(CPS)的波峰，随后得出平移参数(x_t，y_t)。

图7A和7B表示由基于互功率谱(CPS)的平移获得的缝合图像。

图7A表示缝合两个图像的结果。通过检测互功率谱(CPS)的波峰，进行二维平移，如图7B中所示。当互功率谱(CPS)能够被读取时，两个图像完全相互匹配。

由于在具有大量噪声的图像中难以检测最佳波峰，因此可以使用几个波峰来选择最佳波峰。

下面参考图8-图14A和14B，说明使用BM(块匹配)提取参数的原理。

应注意BM包括得出上述互功率谱(CPS)的波峰的功能。

首先，选择情况良好的四个图像IM0、IM1、IM2和IM3，如图8中所示。

例如，左下侧的图像被称为第零图像IM0，右下侧的图像被称为第一图像IM1。类似地，左上侧的图像被称为第二图像IM2，右上侧的图像被称为第三图像IM3。按照相邻图像在它们之间的边界具有重叠部分的方式排列图像IM0-IM3。

在图8中，沿着边界排列的每个矩形代表一个块BLK。

在上面说明的排列条件下进行BM(块匹配)。

从四个(上、下、右和左)边界BDR01、BDR02、BDR13和BDR23提取透镜畸变、视角、倾角和其它信息。

下面进一步说明BM(块匹配)。

在沿着单一边界的三个位置进行BM，例如，如图9中所示。

当存在透镜畸变时，BM导致弯曲的边界，如图10中所示。

当倾角不正确时，BM导致向左右方向倾斜的错误边界，如图11中所示。

当透镜畸变的中心沿纵向方向被移动时，沿着上面的图像和下面的图像之间的边界产生左右方向的收缩，如图12中所示。另一方面，当沿着右边的图像和左边的图像之间的边界产生上下方向的收缩时，透镜畸变的中心沿着横向方向被移动。

当在使相机朝上时，图像的旋转角度增大的时候，产生向上下方向倾斜的错误边界，如图13中所示。当相机不是面对前面，而是向机械倾斜轴倾斜时，产生图13中所示的误差。

按照使上述误差降至最小的方式确定各种参数。

这样，相互连接的任意四个图像产生很小的误差。

例如，快速相位相关匹配被用于在图像中进行对应BM。通过获得向量移位(x_ij，y_ij)，并分析三个块的移位行为，能够量化每个参数。

在对四个图像进行BM(块匹配)之后，BM被扩展到更多的图像，并同时评估关于所有边界的BM结果，如图14A和14B中所示。按照在所有边界的误差减小的方式更新光轴方向。从而，误差被减小，多个图像被精确组合。

这种情况下，单个图像被设为基准图像，其它图像被平移，并且最终被放置在误差被降至最小的位置。

按照下面列举的基本过程执行精确组合。

平移被用于确定最佳位置，并把图像移动到所述最佳位置。

为此，重复该循环。

把表示要进行的总的移动量的参数fxy减小到0.0。

沿上下和左右(纵向和横向)方向对所有图像进行上述操作。

保持基准图像不变。

由于BM操作提供了相邻图像之间的位置关系，因此根据该位置关系计算要进行的移动量。

为了计算要进行的移动量，相加直接在基准图像上方和在基准图像右侧的图像的移动量，并减去直接在基准图像下方和在基准图像左侧的图像的移动量，从而产生平均值f[y][x].x，f[y][x].y。

把平均值的80％加入到每个当前图像的中心位置，从而产生新图像的中心位置。

把所有图像的移动量的绝对值之和代入fxy。

计算移动操作怎样改善上下图像之间的位置关系，和左右图像之间的位置关系。

变量fxy本质上随着移动操作的重复而逐渐减小。

换句话说，fxy收敛于更多的移动不再可能的状态。

当fxy变得足够小时，终止上述过程。

下面说明允许无缝连接数千个图像的图像组合的具体例子。

在下面的说明中，考虑4个图像。

例如，如图8中所示，左下侧的图像被称为第零图像IM0，右下侧的图像被称为第一图像IM1。类似地，左上侧的图像被称为第二图像IM2，右上侧的图像被称为第三图像IM3。

第零图像IM0保持在固定位置。即，第零图像IM0被用作基准图像。

假设bx1[0]、bx1[1]、bx2[0]和bx2[1]是通过BM(块匹配)产生的横向分量。

在本说明中，只考虑横向分量，虽然纵向分量是单独处理的。

字符bx1代表右左方向，字符bx2代表上下方向。括号[]中的值0表示向下或向左方向。

当在基准图像IM0的右侧或上方存在图像时，BM产生正值。

现在，作为一个极端例子，假定只有位置具有异常值，并且bx1[0]＝10，bx1[1]＝0、bx2[0]＝0和bx2[1]＝0。

现在考虑在第一行中沿右左方向存在对应于10个像素的移位，在其它三个边界中不存在移位的情况。

协力地确定除基准图像外的每个图像的位置，即，对第零图像IM0和第一图像IM1进行的BM的结果确定第一图像IM1的位置；对第一图像IM1和第三图像IM3进行的BM的结果确定第三图像IM3的位置；对第二图像IM2和第三图像IM3进行的BM的结果确定第二图像IM2的位置，在第零图像IM0和第二图像IM2之间的位置关系中不利地产生具有10个像素的较大值的接缝。

在本实施例的方法中，异常值10的影响被分成4个2.5的子影响。该过程由后面说明的程序部分执行。

使用xypos2()和相邻图像之间的位置关系来确定待产生的平移量。

第一计算的结果表明第一图像IM1应被移动-5像素。

使用move()平移第一图像IM1。

实际的移动量为4个像素，它为5个像素的80％。

除第零图像IM0之外的图像IM1、IM2和IM3的移动量为pox[1]＝4，pox[2]＝0和pox[3]＝0。

作为BM的结果，bx1[0]从10变成6。

从而bx2[1]的值从0变成4。

第二计算的结果表明第一图像IM1应被移动-1像素。

第二计算的结果也表明第三图像IM3应被移动-2像素。

增加第二计算的结果的80％产生pox[1]＝4.8。

进行第三和后续计算操作。在第32个计算操作中，由于表示待产生的移动量的总和的fxy小于0.001像素，因此终止计算。

此时，三个图像被平移的像素数为7.5、2.5和5.0，图像之间的位置关系从bx1[0]＝10，bx1[1]＝0，bx2[0]＝0和bx2[1]＝0改变成bx1[0]＝2.5，bx1[1]＝-2.5，bx2[0]＝-2.5和bx2[1]＝2.5。上述结果表明误差被分担。

下面表示为使fxy等于或小于0.001以及所得到的fxy的值(ii＝32，fxy＝0.00083)，计算被重复多少次。

n ix fx[n] fy[n]

0 0 0.000000 0.000000

1 2 -0.000244 0.000000

2 2 -0.000244 0.000000

3 2 -0.000344 0.000000

n pox[n] poy[n] fz[n]，每个图像应被平移的像素数

0 0.00 0.00

1 7.50 0.00

2 2.50 0.00

3 5.00 0.00

下面表示程序的例子的一部分。

--程序的一部分(始于此)----------------

clrpos()；//Substitute zero into[pixel]，the amount

translation to be made，pox[]，fzx[]，and rolla[].

for(ii＝0；ii＜1000；ii++){

xypos2()；//Use the positional relationship

between adjacent images to determine the amount translation

to be made.

if(fxy＜0.001){break；}

move()；//Translation

}

fprintf(inf，″ii＝1230484，fxy＝0.00000，How many times the

calculation is repeated to make fxy equal to or smaller than

0.001 and the value of resultant fxy ￥n″，

ii，fxy)；

xypos()；//Use the positional relationship between

adjacent images to determine the amount of translation to be

made.

move()；//Translation

dsppos()；//Display the amount of correction.

angle()；//Convert the amount of correction into an

angle and update qq[n]，pp[n].

dsppos()；//Display the amount of correction.

dsperr()；//Display the error between each pair of

sub-images that is greater than 1.

step()；//Create a step angle from qq[n]，pp[n].

--程序的一部分(止于此)----------------

下面表示主子例程。

--主子例程---------------

void xypos2(){ //Use the positional relationship between

adjacent images to determine the amount of translation to be

made fx[n]，fy[n].

//Determine the flag fz[n]indicative of an image that cannot

be translated.(Delete fprintf)

int m，n，m2，n2，h，v，ix；

double cx，cy；

//fprintf(inf，″n ix fx[n] fy[n]￥n″)；

fxy＝0；

for(v＝0；v＜ny；v++){ //For all images

for(h＝0；h＜nx；h++){

m＝(nx-1)＊v+h； //Boundary between right

and left images

n＝nx＊v+h；//Boundary between upper and

lower images

ix＝0；

if

((0＜skip[h][v])||((v＝＝(ny-1)/2) & & (h＝＝(nx-1)/2))){ //

Keep the central image and any image whose flag has been

determined unchanged.

fx[n]＝0；fy[n]＝0；fz[n]＝4； //

fz[n]is a flag indicative of an image that cannot be

translated.

if(skip[h][v]＝＝2){fz[n]＝2；} //Set

an image whose flag has been determined to 2.

}else{

cx＝0；cy＝0；

if(v！＝0){//when not in the bottom

row

n2＝n-nx；// immediately

below

if(0＜fok2[n2]){

ix++；

cx-＝bx2[n2]； //

Subtract the value of the image immediately below

cy-＝by2[n2]；

}

if (v！＝ny-1){ //when not in the

top row

if (0＜fok2[n]){

ix++；

cx+＝bx2[n]；//Add the

value of itself.

cy+＝by2[n]；

}

if(h！＝0){// when not in the

leftmost row

m2＝m-1； //on the left

if(0＜fok1[m2]){

ix++；

cx-＝bx1[m2]； //

Subtract the value of the image on the left

cy-＝by1[m2]；

}

if (h！＝nx-1){ //when not in the

rightmost row

if (0＜fok1[m]){

ix++；

cx+＝bx1[m]；// Add the

value of itself.

cy+＝by1[m]；

}

if (ix＝＝0){

fx[n]＝0；fy[n]＝0；fz[n]＝1；

}else{

fx[n]＝cx/ix；

fy[n]＝cy/ix；

fz[n]＝0；

}

fxy+＝fabs(fx[n])+fabs(fy[n])；

}

//＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊

void move(){ Translation

int m，n，h，v；

for(v＝0；v＜ny；v++){ //the center position of an

image(pixel)

for(h＝0；h＜nx；h++){

n＝nx＊v+h；

if(fz[n]＝＝0){ //when not isolated from

the surroundings

pox[n]+＝-fx[n]＊0.8；

poy[n]+＝-fy[n]＊0.8；

}

for(v＝0；v＜ny；v++){ // positional relationship

between right and left images

for(h＝0；h＜nx-1；h++){

m＝nx＊v+h；

n＝(nx-1)＊v+h；

bx1[n]+＝-(fx[m]-fx[m+1])＊0.8；

by1[n]+＝-(fy[m]-fy[m+1])＊0.8；

}

for(v＝0；v＜ny-1；v++){ // positional relationship

between upper and lower images

for(h＝0；h＜nx；h++){

n＝nx＊v+h；

bx2[n]+＝-(fx[n]-fx[n+nx])＊0.8；

by2[n]+＝-(fy[n]-fy[n+nx])＊0.8；

}

如上所述，按照本实施例的第一配置，其中包含CMOS图像传感器的数字相机可被用于以高帧速率捕捉图像，而不降低分辨率，并且减小视差的影响，周边光量的减小的影响，和透镜畸变的影响。此外，能够产生高质量的全景图像。

能够不管待组合的图像的数目精确地进行图像组合，并且还能够消除色彩的不均匀。

由于能够从实际捕捉的图像中提取透镜畸变校正系数，因此不再需要麻烦的校准，精度被显著改善。

无缝连接数千张图像的方法允许以必要的分辨率捕捉必要范围内的图像，而不必担心待捕捉图像的数目。

下面说明第二配置。

[第二配置]

下面说明记录连续捕捉的图像的空间位置。

<概述>

使用连续照片的全景成像是一项分割空间，并把分割的空间重新集合成单一照片的任务。通过使用在成像过程中获得的空间信息来进行逆运算，能够根据所述连续照片产生高度精确的全景照片。

在本实施例中，当捕捉每张照片时，根据传感器和图像计算被成像空间的信息，该信息被附到照片上。该过程对产生全景照片有帮助。

<附加被成像空间的信息>

例如，当进行全景成像时，固定在一点的透镜由电动机驱动，以致成像方向被改变。

在上述条件下捕捉的照片仅仅在成像方向方面彼此不同，然而都是由位于固定位置的相机设备10获得的。即，焦点位置是固定的。于是，下面的说明局限于围绕在固定视角内的某一点捕捉的图像。

当使用上面说明的成像方法时，获得被捕捉空间的下述两种信息：即，已被成像的目标的信息(视线向量)，和围绕视线向量的旋转(滚动)角的信息。

<投影球和空间的定义>

通过对空间成像而获得的照片可被投影到单一表面上。

考虑在全景摄影中成像某一空间。为了支持所有方向，假定在摄影者周围存在一个球体，捕捉的图像被投影在该球体上。从而易于进行图像处理。当该球体被用于定义视线向量时，坐标空间也被确定。

进行下述定义：相机设备100所存在于的焦点位置为原点(0，0，0)，投影球的半径为1。

假定水平前侧被布置在Z轴上为1的点，f(0，0，1)，视线向量是具有起点(0，0，0)和终点f(0，0，1)的向量。

视线向量是长度为1的单位向量，在每个方向上，视线向量的长度都为1。

由于视线向量v1独自不足以记录帧的滚动，因此另外记录滚动向量v2。滚动向量v2是指示所考虑的图像的向上方向的信息，向量(v2-v1)指示图像的向上方向。

这样，捕捉图像的方向可用两个向量(投影球上的两个点)表述，在整个投影球内可用统一的密度描述成像方向。

<相对移动和绝对坐标>

当捕捉图像时获得的空间信息包括两种信息，相对信息和绝对信息。

产生全景图像可以只需要指示捕捉每个图像的取向的绝对位置信息，不过可能不能获得可靠的绝对信息。为了解决该问题，积累相对信息以获得绝对信息，或者使用粗略的绝对信息来获得校正的绝对信息。

在透镜驱动型全景相机中，作为移动透镜的一种方案，使用绝对信息。不过，由于成像过程中的抖动，驱动透镜时的误差，姿态传感器的粗精度，和其它因素被增添作为相对信息，因此通过计算确定精确的绝对值。

<相对移动的空间展开>

现在假定图像识别和姿态传感器提供了精确的相对信息。

当当前图像帧f1从前一图像帧f2被平移(dx，dy)，和滚动帧滚动量rz时，基于视角的计算表明围绕x轴和y轴的旋转量分别为rx和ry。这种情况下，f2的视线向量v2被旋转(rx，ry，rz)，从而形成f1的视线向量v1。

投影球上的绝对位置是根据上述信息确定的。不过，从v2的位置把v2旋转(rx，ry，rz)需要相对复杂的计算。

为了解决该问题，最新的图像f1被固定于准确的前侧v1(0，0，1)，排列在投影球上的图像f2及后续图像整个被旋转(-rx，-ry，-rz)。即，最新的图像f1被用作基准，其它图像相对于基准图像被移动。

重复该操作导致最新的图像的位置为(0，0，1)，不过允许确定其它图像的绝对位置。

通过同样以向量的形式表述滚动信息产生两个向量(即视线向量和滚动向量)的原因在于相对旋转(球体的旋转而不是视线向量的旋转)易于实现。

<相对移动值的积累和与绝对信息的偏差>

在上面的说明中，仅仅使用相对信息对图像进行空间排列，不过实际上，还从姿态传感器14获得上下方向的绝对滚动和倾斜的信息。不过，从姿态传感器14获得的绝对信息并不精确到足以产生全景照片，并且来自姿态传感器14的信息不能被原样使用。

另一方面，由于相对信息是从图像识别获得的，因此相对信息非常精确，不过它仍然包含误差。根据相对信息连接信息导致由累积的微小误差引起的较大偏差。

为了解决该问题，来自姿态传感器14的绝对信息被用于检查是否产生了任何累积误差。

在把相对移动扩展到空间的过程中，相隔一定的距离比较相对移动与来自姿态传感器的对应绝对值。当相对移动与从姿态传感器获得的绝对值的偏差变得过大时，来自姿态传感器的绝对值被用于校正相对移动。从该位置重新开始相对移动累积。

图15是表示基于连续捕捉的图像和传感器信息的空间排列方法的功能方框图。

在图15中，功能块41设定关于来自角速度传感器142的检测信号的零基准，移动积分器42进行积分，以提供移动量。

检测器43比较成像器件12捕捉的相邻帧图像，并检测移动量。

移动积分器42和检测器43的输出被用于在协调校正逻辑4中进行协调校正，相对位置积分器45对相对位置积分，以提供绝对位置信息。

绝对位置校正器46随后根据来自加速度传感器141的检测结果，校正绝对位置信息，排列部分47确定各帧的空间位置，并据此排列各帧。

<空间坐标信息和全景照片>

在同时捕捉图像的时候，进行上述计算，图像连同指示成像方向的空间坐标信息一起被同时记录为元数据。

仅有元数据就允许创建全景照片。当在后处理中进行更精确的调整和编辑时，元数据还可用作基本数据。

由于现有技术中不存在表示空间中的成像方向的元数据，因此不能产生精确的全景照片。相反，本实施例通过提供捕捉图像时的坐标信息，解决了该问题。

如上所述，在第二配置中，通过使用借助图像识别技术获得的帧移动信息和来自姿态传感器的移动信息，空间排列连续的图像。来自姿态传感器的信息补充图像识别未提供的信息。来自姿态传感器的信息被用于检查是否成功地进行了图像识别，或者当图像识别失败时，被用作辅助坐标。空间排列的图像产生单一的完整全景图像。

利用上述方法不仅允许正确地表现在用户前面的场景及其附近，而且允许正确地表现直接在用户上方及后面的场景，从而能够支持全方向成像或者全天空成像。

不仅当仅仅成像在用户前面的场景(包括其附近)时，而且当成像广角场景时，都能够无误差地产生全景图像。

上面说明的方法当然适用于手持相机捕捉高清晰图像的情况。

下面说明第三配置。

<第三配置>

下面说明利用连续捕捉的图像的位置识别的校正。

<概述>

为了把精确的成像位置信息附加在每个连续捕捉的图像上，本配置采用结合图像识别利用姿态传感器的方法，该方法被称为“动态校准”。

<连续成像和成像位置信息>

当连续捕捉的照片被组合成全景照片时，图片有时不包含高频分量，从而不能从图片识别连续性。

在上面说明的情况下，不能获得指示连续帧之间的距离的信息。在这种情况下，不能产生完整的全景照片。

为了即使在上述情况下也提供位置信息，通过利用姿态传感器14，在成像操作的同时不仅记录照片，而且记录移动信息和位置信息。

<利用姿态传感器>

姿态传感器14由同时并且并行使用的三轴角速度传感器142和三轴加速度传感器141构成。

角速度传感器142识别目前相机的旋转速度有多快，加速度传感器141感测水平方向的倾斜。

在任何可能的时候从捕捉的照片获得移动信息，不过当图片的条件不允许图像识别时，从姿态传感器14获得来自前一图像的移动量。

通过比较整个来自姿态传感器14的检测结果的变化量和经图像识别获得的移动量，并允许所述两个量值相互影响，能够获得更准确的位置信息。

<姿态传感器的问题>

在预期的全景摄影中，图像的精度高于姿态传感器14的精度。当仅仅根据从姿态传感器14获得的信息产生位置信息时，所得到的全景图像可能太粗糙以至于不能查看。

不应依赖于姿态传感器14的精度，而是应当在根本不能获得任何信息的时候，把姿态传感器14用作辅助。

类似基于物理学的一般传感器，姿态传感器的输出不稳定，相反通常是波动的。

此外，由于固定状态下的姿态传感器的零位置随其条件而变化，因此在开始成像之前必须产生固定的状态，并且必须测量零位置的值。一旦测量了零位置的值，就根据从零位置的移位测量移动量。

<图像识别和图像识别的校正>

在本配置中，在全景摄影中捕捉连续的图像，同时来自姿态传感器的信息被记录为元数据。

该方法的问题在于当稍后把图像组合成全景图像时，元数据信息不易使用，因为来自姿态传感器14的输出的波动过大。

为了解决该问题，在成像过程中校正通过图像识别产生的元数据，随后记录该元数据。

在记录元数据的过程中，指示相机目前面向的方向的空间信息被更新，随后被内部保存。不过，各种因素降低空间信息的精度。

为了解决该问题，在本实施例中，进行动态校准，其中使用图像识别和姿态传感器实时校正和更新内部保存的空间信息。

当在全景摄影中捕捉连续图像时，存在相机由电动机驱动时的预定移动方案，或者当手动扫描相机时不存在移动方案。

当存在相机由电动机驱动时的移动方案时，近似的成像位置是预先已知的，不过未考虑成像操作期间的意外抖动和运动。姿态传感器14被用于检测成像操作期间的这种变化。

当姿态传感器14感测到成像操作期间的任何变化时，使用图像识别精确地检查实际移动偏离预期的移动方案到什么程度。在上面说明的精确检查中使用从姿态传感器14获得的移动量作为基准允许容易地进行图像识别。

在这样计算与预期的移动方案的偏离之后，所述偏离被加入到移动方案的数值中，实际进行成像的位置的信息被记录为所捕捉照片的元数据。

由于当手动扫描相机时，不存在移动方案，因此每当捕捉一帧时，使用当前帧和在先帧之间基于图像识别的比较来计算移动量。

在该操作中，尽管难以确定该帧被移动多少，不过通过根据来自姿态传感器14的信息提供近似的移动量，并根据该近似值进行图像识别，能够精确地计算移动量。

当难以进行图像识别时，临时记录从姿态传感器获得的移动量，并且稍后通过参考在先帧和当前帧之间的位置关系，以及当前帧和后一帧之间的位置关系，确定当前帧的坐标。

图16是表示在通过使连续捕捉的图像与传感器信息关联，使传感器信息更精确的方法中，固定状态下的传感器零位置的校正的功能方框图。

在图16中，检测器51比较成像器件12捕捉的相邻帧图像，并检测移动量。

固定状态检测器52根据来自角速度传感器142的检测信号，来自加速度传感器141的检测信号，和来自检测器51的检测信号，检测固定状态，并提供固定状态下的角速度传感器的基准值。

之后，记录器53确定基准值，并把基准值记录在存储器17中。

图17是表示在通过使连续捕捉的图像与传感器信息关联，使传感器信息更精确的方法中，如何协调移动信息以使之更精确的功能方框图。

在图17中，功能块54关于来自角速度传感器142的检测信号，设定零基准，移动积分器55进行积分以提供移动量。

检测器51比较成像器件12捕捉的相邻帧图像，并检测移动量。

移动积分器55和检测器51的输出被用于在协调校正逻辑56中进行协调校正，协调校正逻辑56提供精确的相对移动信息。

如上所述，在第三配置中，当记录连续图像时，使借助图像识别技术获得的帧移动信息与来自姿态传感器的移动信息关联，从而计算每个图像像素的视角，来自固定状态下的姿态传感器的值，来自姿态传感器的值和每个像素的视角之间的关系，和不能仅仅根据上述两种信息之一获得的其它信息。

于是，在本技术中协调均不能单独提供满意精度的基于图像的识别方法和基于姿态传感器的检测方法，从而能够显著改进精度和稳定性。

下面参考图18-21更详细地说明上面的第二和第三配置。

<捕捉的照片和摄影者的旋转>

当在全景摄影中捕捉图像时，捕捉图像的位置的变化导致归因于视差的不连续性。

归因于视差的不连续性不能由在捕捉图像之后进行的图像处理校正。

于是，为了在全景摄影中捕捉图像，摄影者和相机应保持在特定位置，应通过按照相机的焦点被固定的方式，围绕所述特定位置旋转相机捕捉照片。

注意，注视捕捉的两张不同照片的眼睛移动的距离正比于成像操作期间的旋转量。

当每张照片是数字图像，并且其大小用像素数目表示时，通过计算成像操作期间的旋转移动距离，能够相反地确定由像素数目表示的两个图像之间的移动量。这种操作中的必要参数是视角。

视角是表示单一照片中所示的左右方向或上下方向的宽度的值，所述宽度是用成像空间的角度的形式表示的。

视角是在成像操作之前测量和提供的参数，假定在成像操作期间，视角保持不变。

当水平视角为30°，并且所捕捉的数字照片的横向方向的像素数目为1000像素时，每个像素的成像空间的角度为0.03°。即，当认为两张照片之间的移动为800像素时，通过把相机旋转24°，实现实际成像。

每个像素的视角被用作最重要的初始值。

每个像素的视角＝帧的视角/帧中的像素数目

捕捉的两张照片之间的旋转量＝用像素数目表述的所述两张照片之间的移动量×每个像素的视角。

预先测量和保存每个像素的实际视角作为初始值。

<角速度传感器和旋转量>

角速度传感器输出当前角速度。

由于输出值随时间而变，因此能够得到角速度的变化，不过输出值并不直接代表旋转量。为了从角速度传感器获得旋转角度，必须定义积分的单位。

角速度传感器被用于每隔固定时间间隔进行测量，测量间隔作为重要参数被固定。

不仅必须关于时间求任意的测量角速度的积分，而且必须外部测量积分周期内的实际旋转量。把积分的角速度除以实际旋转量，以确定每度的角速度积分值。

之后，通过把角速度的积分值除以每度的角速度积分值，能够按比例确定旋转量。

预先测量和保存每度的角速度的实际积分值作为初始值。

<动态校准>

角速度传感器的输出是相对角速度，该输出随着环境的变化而变化，除非使用极好的角速度传感器。由于所述变化影响实际测量，因此每个测量可能需要校正。

这里使用的动态校准是全景成像特有的过程，通过使用来自在全景摄影中捕捉的图像的反馈，自动进行校正。

在角速度传感器的参数中，两个参数(即固定状态下的零点位置和每度的角速度积分值)随着环境的变化而变化。除了这两个参数之外，存在归因于相对移动的累积积分误差。上述三个参数被校正。

<角速度传感器的零点的校正>

图18是校正角速度传感器的零点的过程的流程图。

为了校正角速度传感器142的零点，执行图18中的步骤ST1-ST16中的处理。

除非准确知道固定状态下的角速度传感器142的输出值，否则不能检测任何角速度。不过不利的是，在一些情况下，固定状态下的零点随温度和其它环境因素变化。

通过使用图像匹配的结果来校正零点的漂移，确定成像操作期间的准确零点。

预置的初始值被用作当角速度传感器142被启动时，角速度传感器142的零点输出值。

进行两帧之间的图像匹配(ST1-ST3)。当匹配结果可靠，因为包含有高频分量，并且匹配结果表示没有沿X、Y和Z轴方向的移动时，来自角速度传感器的沿X、Y和Z轴方向的输出值被认为指示零点，随后输出值被采样。

在该处理中作为零点采样的值被用于校正(ST4-ST15)。

当沿任意轴向方向检测到任意移动时，输出值不是零点。这种情况下，不进行采样，不产生任何零点校正。

在采样操作之后，样本数被递增，零点值被校正。

校正涉及把当前零点值和采样值之间的差值除以样本数，并把结果加入当前零点值中。从而计算零点的平均值。

校正的零点值＝零点值+(采样值-零点值)/样本数

<从角速度传感器获得的移动量的校正>

图19是校正从角速度传感器获得的移动量的过程的流程图。

为了校正从角速度传感器获得的移动量，执行图19中的步骤ST21-ST26中的处理。

不利的是，在一些情况下，每度的角速度积分值(用于根据从角速度传感器获得的角速度的积分值，确定旋转角的参数)随温度和其它环境因素而变化。

进行图像匹配(ST21-ST23)，根据匹配结果校正和更新每度的角速度积分值(ST24-ST26)。这样，确定成像操作期间，每度的角速度的准确积分值。

进行两帧之间的图像匹配。当由于包含有高频分量，因此匹配结果可靠时，通过图像匹配而获得的分别沿X、Y和Z轴方向的移动量，和角速度的对应积分值被用于确定每度的角速度积分值。

每度的角速度积分值＝角速度的积分值/(每个像素的视角×沿X轴的用像素表示的移动量)

每度的校正后的角速度积分值＝每度的角速度积分值+(样本值-每度的角速度积分值)/样本数

<用于辅助角速度传感器的加速度传感器>

角速度传感器输出相对角运动的量值。

通过关于时间求所述相对值的积分，一直到对应于当前位置的时间为止，计算指示当前位置的绝对位置信息。

当所述相对值包含少量的移位或噪声时，所得到的移位可能随着积分时间的增大而增大。

加速度传感器能够检测重力加速度，以提供绕Y轴方向的旋转(倾斜)的绝对值和绕Z轴方向的旋转(滚动)的绝对值，不过只能以过大以至于不能用于全景成像的单位检测所述重力加速度。于是，与角速度传感器相比，加速度传感器在全景成像中用处较小。

不过，具有提供绝对值的优点的加速度传感器可用于定期比较其输出值和从角速度传感器获得的相对移动距离的积分值，并校正积分值和绝对值。

当绝对移动量大到足以被加速度传感器检测时，比较加速度传感器检测的绝对位置和根据从角速度传感器获得的相对移动距离的积分值得到的绝对位置，随后酌情校正所述绝对位置。

<从图像确定的移动和从传感器确定的移动>

图20是获得移动量的方法的流程图。

在获得移动量的方法中，进行图20中的步骤ST31-ST35中的处理。

图像匹配获得的移动量的分辨率远远高于角速度传感器142的分辨率。于是，只要可能就用图像匹配计算相对移动距离(ST33和ST34)。

不包含高频分量的图像，比如色彩单一的天空将不产生任何匹配。这种情况下，角速度传感器142的输出被用于计算相对移动量(ST33和ST35)。

<通过使用捕捉的照片分配空间坐标的方法>

图21是通过使用捕捉的照片分配空间坐标的方法的流程图。

在通过使用捕捉的照片分配空间坐标的方法中，进行图21中的步骤ST41-ST47中的处理。

对于如上所述在全景摄影中捕捉的所有照片，通过图像匹配和角速度传感器，能够确定相对于在先帧的相对旋转量(ST41-ST43)。

为了产生全景照片，必须通过使用相对旋转量分配绝对空间坐标。

由于捕捉的照片具有相同的视角，因此通过仅仅考虑每个被捕捉空间的中心，即，沿其确定相机的方向的向量，能够实现所述分配。

也可用使相机面对的方向(即成像视线向量)和在先帧的向量之间的角度的形式表述相对于在先帧的相对旋转量。

当按照其中只使用视线向量的简化方法进行排列时，帧绕Z轴方向的旋转或者说滚动不予考虑。

为了解决该问题，准备直接在一帧之上、沿Y轴移位的另一向量来表述帧的滚动。

这两个向量表示相机捕捉图像的方向和绕Z轴的滚动，即使当帧被旋转时，帧信息仍然被保持。

当被布置在空间中时，新的帧一般被布置在空间中的前端位置“a”(0，0，1.0)。

当存在任意相对旋转量时，沿相反方向把所有在先帧旋转该相对旋转量，随后把新的帧布置在空间中的前端位置“a”(0，0，1.0)(ST44-ST46)。

代替自在先帧的移动，当前帧和以前各帧之间的移动量被用作基准。

现在，假定帧A是捕捉的当前帧，帧B是捕捉的在先帧。

计算帧B相对于帧A被旋转了多少(ST43)。

当所述计算表明关于帧B的相机位置是关于绕X轴方向旋转rx，绕Y轴方向旋转ry，绕Z轴方向旋转rz的当前帧A的相机位置时，除帧A之外过去捕捉的各帧的所有成像方向向量和滚动指标向量都被旋转rx、ry和rz。

旋转矩阵可以是在三维空间中使用的典型矩阵。

绕X轴方向的旋转：

x2＝x×cos(rx)-y×sin(rx)

y2＝y×sin(rx)+z×cos(rx)

z2＝z

绕Y轴方向的旋转：

x2＝x×cos(ry)-z×sin(ry)

y2＝y

z2＝x×sin(ry)+z×cos(ry)

绕Z轴方向的旋转：

x2＝x

y2＝y×cos(rz)-z×sin(rz)

z2＝y×sin(rz)+z×cos(rz)

如上所述，旋转所有帧，并把新的帧放置在适当位置(前侧)允许从相对旋转量转换成绝对空间坐标。

当最终完成所有转换操作时，所有帧可具有各自适当的绝对坐标。

不过，由于最后一帧被用作基准，在一些情况下，需要相对于任意帧移动所有帧。

下面说明第四配置。

[第四配置]

在第四配置中，当检测到视差或运动对象的任何影响时，显示器件18或扬声器20发出报警，以提示用户重新捕捉图像。

此外，在第四配置中，按照重叠率被设为50％或更高，以致被摄体的任意部分出现在至少两个相邻图像中的方式检测运动目标。从而，根据相邻图像之间的运动向量中的相似性，检测视差或运动被摄体的任何影响。

快速摆动从而捕捉宽广范围内的被摄体的多个条状图像，并把它们组合成单一图像的相机设备10检测视差影响近距离被摄体的程度，并提示用户围绕相机的视点重新捕捉图像，相机从所述视点注视被摄体。

通常，广角相机的视点直接位于其透镜之后，理想地，相机由双手握着，并围绕用户的手腕被旋转。

即使当包含近距离被摄体时，通过绕其视点旋转相机而捕捉的图像也能够被正确组合。

另外，本实施例的相机设备10有利的是围绕稍稍偏离相机的视点的位置捕捉图像不太可能影响被捕捉的图像，因为捕捉的多个图像任意之一都是条状。

不过，当通过用双手拿着相机并绕用户的肩膀旋转相机来捕捉图像时，视差极大地影响所捕捉的图像，因为是围绕在相机的视点之后相当远的位置旋转相机的。

这种情况下，当仅仅对远距离的风景成像时，实际上不存在任何问题，不过当捕捉的图像包含近距离被摄体时，图像不能被正确组合，因为相邻图像之间，近距离被摄体的位置关系不同于远距离被摄体的位置关系。

为了解决该问题，在第四配置中，当发现视差的影响不允许正确的图像组合时，发出绕其视点旋转相机的指令，以提示用户重新捕捉图像。

[检测视差的方法]

下面说明检测视差的方法。

在两个时间相邻的图像彼此重叠的区域中进行多个块匹配(BM)操作，以确定这两个图像的运动向量。

通常，当正确进行扫描操作时，BM操作产生基本上相同的向量。

当绕肩膀旋转相机，并且近距离被摄体与远距离风景重叠时，BM操作得到不同的向量。

由于在近距离被摄体和远距离风景之间的边界处，图像变化极大，因此BM操作不提供正确值。该事实被用于检测视差。

下面表示视差检测的一个具体例子。

系统控制器16中的图像信号处理器161和微计算机162协调地执行下述处理。

<检测视差的方法>

[粗组合]

在约120°的范围内从左向右旋转相机设备10，以致捕捉数十个图像。

相邻的图像共有其中显示相同被摄体的足够大的区域(重叠区域)。

姿态传感器14检测成像操作期间相机设备10的运动，并每隔较短的时间间隔进行记录。

由于数据是和捕捉的图像同步记录的，因此能够确定当捕捉每个图像时，相机面向的方向，尽管方向的精度不是很高。

根据这样获得的信息，图像被排列在经度-纬度平面上。

这种状态下，任意一对相邻图像之间的具有约100像素的较大大小的重叠区域被置于基本正确的位置。

从这种状态下开始精确的自动组合例程。

[精确自动组合]

在每个重叠区域中的多个位置进行运动检测(ME：运动估计)。

ME或者运动检测采用仅基于FFT的相位相关法。特征提取和其它适当的方法也是适用的。

当仅仅发生平移时，只需要一个ME操作。

两个ME操作提供倾斜。

三个ME操作提供透镜畸变系数。

当在每个重叠区域中不存在运动目标，并且用相机对远距离风景成像(其中手持的相机不影响捕捉的图像)时，ME操作的数目可以较小。

不过，当存在运动目标和/或对产生视差影响的近距离目标成像时，少量的ME操作不便于把握正在发生什么。

于是，在每个重叠区域中进行最大可能数目的ME操作。

当大量的ME操作产生值基本相同的运动向量时，相邻图像之一可被平移，并与另一图像对准。

即使当所得到的运动向量并不具有基本相同的值，但是上部的运动向量的值以相同的速率变成下部的运动向量的值时，相邻图像之一能够被倾斜并与另一图像对准。

不过，当任意重叠区域中的ME操作产生不同的值时，不能进行组合。

其原因在于图像是在存在运动被摄体，或者同时存在近距离被摄体和远距离被摄体的情况下，当视点被移动时捕捉的。

[进行ME的方法]

首先对缩小的图像进行粗ME操作。

缩小率被逐渐降低，最终对全尺寸图像进行ME操作。

通过改变ME操作中使用的块大小和/或降低相邻块的中心之间的距离，能够获得更详细的运动向量。

[ME结果的评估]

大量的ME结果被用于判断是否能够进行正确的缝合。当不能正确进行缝合时，告知用户并提示用户重新捕捉图像。

只要可能，就进行缝合，组合结果被显示和记录在记录介质(存储器)中。

[运动被摄体的行为]

下面说明运动被摄体的行为。

在两个时间相邻的图像相互重叠的区域中进行多个块匹配(BM)操作，以确定这两个图像的运动向量。

所得到的向量反映移动部分移动的方向，从而能够把移动部分和固定部分分开。

由于图像在移动目标和固定被摄体之间的边界处变化极大，因此BM操作将不提供正确的数值。当沿横向方向进行扫描操作时，不能区分归因于近距离固定被摄体的视差和沿横向方向移动的被摄体。

为了解决该问题，在没有区分视差和运动被摄体的情况下，发出报警。

当检测到报警时，目前的技术都不能谐调地进行缝合。

于是，在本实施例中，发出报警以提示用户“简单地重新捕捉图像”或者“改变捕捉图像的方式并重新捕捉图像”。

待发出的报警的一个例子可指示“检测到视差或移动目标的影响。减小旋转半径并重新捕捉图像”。

如上所述，在第四配置中，由于在开始成像之后立即判断是否存在移动被摄体，因此用户能够重新捕捉图像。

从而，由于在开始成像之后立即判断视差是否影响捕捉的图像，因此有利的是，用户能够重新捕捉图像。

下面说明第五配置。

[第五配置]

在第五配置中，通知适当的扫描角速度(用户摆动相机的速度)，当扫描角速度过快时，发出报警。这样，提示用户重新捕捉图像。

如上所述，微处理器162以图表的形式把姿态传感器(陀螺传感器)的输出(扫描角速度)显示在显示器件18，比如LCD的屏幕上，垂直轴表示所述输出，水平轴表示时间。

由于当设置水平视角，水平像素的数目和快门速度时，确定最高的扫描角速度，因此如图4中所示显示该图表，其中适当范围的RNG从最高扫描角速度的60％一直到最高扫描角速度的80％。

下面表示上述操作的示意过程。

[1]按下操作单元19中的开始按钮，旋转相机。随后，释放开始按钮。

[2]在开始按钮被按下的时候，扫描角速度被显示在显示器件18的屏幕上，如图4中所示。

[3]当扫描角速度低于适当范围的RNG的下限时，不发出任何报警，而当扫描角速度快于，即使是瞬间快于适当范围RNG的上限时，将产生报警声。

如上所述，在第五配置中，由于相机通知适当的速度，将不存在任何不方便之处，例如：由于扫描角速度过快，产生区域的重叠，或者由于扫描角速度过慢，仅仅成像较窄的区域。

下面参考图22A-22D说明扫描速度的计算的例子。

<扫描速度的计算>

下面说明假如确定了曝光时间、像素的数目、一行读出时间、视角、重叠率、帧速率和其它参数，计算不会出现产生模糊的角度，模糊像素的数目和其它问题的扫描速度的方法。

从下述三个方程式获得的扫描速度中的最慢扫描速度是所述确定条件下的最高角速度。

图22A-22D中所示的表格表示如果视角、扫描速度和各种其它参数已知，那么模糊像素的数目、帧速率和其它参数的计算值。

[1]-[6]列表示不同条件下的结果。

下面作为例子，按照图22A-22D中的条件[1]进行说明。

通过与示于图22A-22D的表格的右端的计算方程式一起，利用扫描速度vp、视角th、水平像素的数目H和重叠率k，确定产生模糊的角度ab2、模糊像素的数目nb2和帧速率f。

ab2＝vp×(ts+n×rs)1000

nb2＝vp×(ts+n×rs)×H/th

f＝100/(100-k)×H×vp/n/th

上面的方程式被用于提供如下的扫描速度vp：

vp＝1000×ab2/(ts+n×rs)[deg] (1)

vp＝nb2×th/H/(ts+n×rs)[deg/sec] (2)

vp＝(100-k)/100×n×th×f/H (3)

如果产生模糊的角度ab2为0.28°，曝光时间为1[msec]，短边的像素数目n为400像素，一行读出时间rs为7.8[μsec]，那么扫描速度为vp＝68[deg/sec]。

如果模糊像素的数目nb2为19.9像素，长边的视角为50°，水平像素H的数目为3560像素，那么扫描速度为vp＝68[deg/sec]。

如果重叠率k为20％，帧速率f为15.13，那么扫描速度为vp＝68[deg/sec]。

于是，当上述每个方程式(1)、(2)和(3)的右手侧的参数被改变时，扫描速度的值由所述方程式约束。

当以比从方程式(1)获得的值vp高的速度进行扫描操作时，超出光学手抖校正器件的极限操作光学手抖校正器件。

当以比从方程式(2)获得的值vp高的速度进行扫描操作时，模糊量超过容限。

当以比从方程式(3)获得的值vp高的速度进行扫描操作时，重叠量减小，在一些情况下甚至不产生重叠。

上面说明的第一到第五配置之一或全部能够应用于相机设备10，或者能够采用第一到第五配置的任何适当组合。

能够以依照上述过程，并在CPU或任何其它适当计算机上执行的程序的形式构成上面详细说明的方法。

此外，上面说明的程序可被配置成被保存在半导体存储器、磁盘、光盘、软盘(注册商标)和任何其它适当的记录介质中，从其中包含任意上述记录介质的计算机中访问，随后被执行。

本申请包含与在于2008年10月3日向日本专利局提交的日本优先权专利申请JP2008-258113中公开的主题相关的主题，该专利申请的整个内容在此引为参考。

本领域的技术人员应明白根据设计要求和其它因素，可做出各种修改、组合、子组合和变更，只要它们在附加权利要求或其等同物的范围之内。

Claims

1.一种成像设备，包括：

通过光学系统捕捉被摄体图像的成像器件；

具有把多个捕捉的图像组合成一个图像的功能的图像信号处理器，所述图像是在移动成像设备的期间捕捉的；

提供成像设备的姿态信息的姿态传感器；和

处理来自姿态传感器的信息，并对姿态信息的处理结果和来自图像信号处理器的处理结果进行协调控制的控制单元，

其中图像信号处理器使用图像识别确定相邻图像之间的相对位置关系，

控制单元把当姿态传感器固定不动时姿态传感器检测的信息设为姿态信息的初始值，关于时间求姿态传感器检测的信息的积分，从而提供成像设备的旋转移动，把积分值设为捕捉每个图像时的方向数据，根据确定的初始值、方向数据和图像信号处理器确定的相对位置关系，确定相邻图像之间的位置关系，并判断确定的结果是否正确。

2.按照权利要求1所述的成像设备，

其中姿态传感器包括角速度传感器，以及

控制单元求角速度传感器检测的信息的积分，从而提供移动量，以便确定相对位置关系，并对根据角速度传感器检测的信息确定的相对位置关系和图像信号处理器确定的相对位置关系进行选择性协调校正，以确定相对移动信息。

3.按照权利要求1或2所述的成像设备，

其中姿态传感器包括角速度传感器和加速度传感器，以及

控制单元把当加速度传感器固定不动时加速度传感器检测的信息设为姿态信息的初始值，并且关于时间求角速度传感器检测的信息的积分，从而提供成像设备的旋转移动。

4.按照权利要求1-3任意之一所述的成像设备，

其中控制单元具有改变方向数据的参数，以使方向数据与实际方向基本相符的功能。

5.按照权利要求4所述的成像设备，

其中当在判断过程中控制单元判断确定的结果正确时，控制单元校准参数。

6.按照权利要求4或5所述的成像设备，

其中当在判断过程中控制单元判断确定的结果不正确时，控制单元根据已校准的参数，使用来自姿态传感器的信息排列图像。

7.按照权利要求1-6任意之一所述的成像设备，

其中图像信号处理器通过使用相邻图像之间的重叠区域进行图像识别。

8.按照权利要求1-7任意之一所述的成像设备，

其中图像信号处理器在通过按照选择的图像沿相应边界相互重叠的方式排列图像中的多个选择图像而产生的边界进行块匹配，沿着相应的边界组合选择的图像，从而提取预定参数，根据所述参数在组合的图像的所有边界进行块匹配，同时并且并行地评估关于所有边界的块匹配结果，并按照在所有边界的误差降低的方式更新光轴的方向，以致按照误差降低的方式进行组合。

9.一种成像方法，包括下述步骤：

在移动成像设备时，通过光学系统用成像器件捕捉被摄体图像，光学系统包括改变光轴的光轴可变器件；

通过对捕捉的图像进行图像识别，确定相邻图像之间的相对位置关系；

把当姿态传感器固定不动时姿态传感器检测的信息设为姿态信息的初始值；

关于时间求姿态传感器检测的信息的积分，从而提供成像设备的旋转移动，并且把积分值设为当捕捉每个图像时的方向数据；

根据确定的初始值、方向数据和通过图像识别确定的相对位置关系，确定相邻图像之间的位置关系；和

判断确定结果是否正确。

10.按照权利要求9所述的成像方法，

其中所述方法具有改变方向数据的参数，以使方向数据与实际方向基本相符的功能。

11.按照权利要求10所述的成像方法，

其中当判断过程表明确定结果正确时，校准所述参数。

12.按照权利要求10或11所述的成像方法，

其中当判断过程表明确定结果不正确时，根据已校准的参数，使用来自姿态传感器的信息排列图像。

13.一种使计算机执行成像处理的程序，所述成像处理包括下述处理：

判断确定结果是否正确。