CN101616237A - 图像处理装置、图像处理方法、程序和记录介质 - Google Patents

Abstract

本发明提供了图像处理装置、图像处理方法、程序和记录介质。图像处理装置包括：成像信息计算单元，其获取第一图像和高分辨率的第二图像，并且计算第二图像相对于第一图像的坐标位置以及第二相机和第一相机之间的成像方向的差异；视点转换单元，其生成视点转换图像并将第一图像与视点转换图像相匹配以计算视点转换图像相对于第一图像的相位偏离，所述视点转换图像是通过基于成像方向的差异转换第二图像以使得第二相机的视点与第一相机的视点相吻合来获得的；以及图像合成单元，其从第二图像中提取具有高于或等于预定频带的频率分量的高频图像，并且将高频图像粘贴在与第一图像相对应的坐标位置处，以便消除相位偏离，以生成合成图像。

Description

图像处理装置、图像处理方法、程序和记录介质

技术领域

本发明涉及例如在以宽视角拍摄的图像被投影到屏幕上时适用的图像处理装置、图像处理方法、程序和记录介质。

背景技术

在现有技术中，例如，为了以宽视角拍摄风景等等，采用全景成像方法、多个相机被放置在多个位置的多相机成像方法、低分辨率动态图像与高分辨率静态图像相合成的成像方法、使用具有多个焦点的相机的多焦点成像方法，等等。下面，将简单描述以上成像方法。

在全景成像方法中，由多个相机拍摄的图像被拼接在一起以生成宽区域图像。全景成像方法包括单视点方法和多视点方法。在单视点方法中，因为多个相机在同一个位置拍摄被摄物，所以拼接出的图像没有边界。在多视点方法中，因为多个相机在不同位置拍摄被摄物，所以拼接出的图像有边界。

在单视点方法的情况下，在被拼接之前图像的外围部分由于装配到相机的镜头的特性等等而变形。图像的变形导致拼接出的图像的劣化。如果变形的图像被直接投影到屏幕上，则屏幕边缘处图像的变形变得尤为明显。此外，相邻图像重叠处的公共部分出现在相邻相机所拍摄的图像的边界周围。这里，将参考图27来描述相邻图像的公共部分。

图27是使用被布置成使得相机的成像方向汇合于一点的相机的成像方法的例子。在该方法中，以虚拟焦点102为基准，在成像方向的延长线上布置了三个相机101a至101c。注意，成像方向分别与相机的光轴相吻合。然后，多个光轴彼此汇合的点被用作虚拟的“相机阵列(多个相机)的视点”。当这多个相机拍摄的图像被合成时，可能需要考虑两类视点，即“相机阵列的视点”以及“相机的视点”。这里，用于使“相机视点”彼此吻合的方法具有两种类型，并且这些方法被称为“单视点方法”。第一种方法利用物理上具有一个镜头的中继光学系统(relay optical system)来拍摄被摄物。第二种方法是这样拍摄被摄物的：相机被分别设定到各自的视角，而相邻图像之间不存在任何重叠的公共部分。即使希望使用除了上述两类单视点方法之外的方法来使“相机的视点”彼此吻合，也是很困难的，因为不同相机的镜头尺寸是不同的。

返回参考图27，相机101a至101c各自以相同的视角拍摄位于远景103和近景105的被摄物。于是，相机101a至101c聚焦在物侧焦平面104上。此时，在远景103中，存在相邻相机101a和101b的成像部分重叠的公共部分103a。类似地，在远景103中，存在相邻相机101b和101c的成像部分重叠的公共部分103b。此外，在物侧焦平面104中，存在相邻相机101a和101b的成像部分重叠的公共部分104a。类似地，在物侧焦平面104中，存在相邻相机101b和101c的成像部分重叠的公共部分104b。

相机101a至101c所拍摄图像的公共部分103a、103b、104a和104b被逐像素地进行色度(chromaticness)混合。但是，当多个相机的视点彼此不吻合时，从每个相机到被摄物的物距是不同的。在特定焦平面(在此例子中是物侧焦平面104的平面)上拍摄的多个图像可被平滑地拼接，而当从每个相机到被摄物的物距不同时(在此例子中是远景103和近景105混合的状态)，图像之间的接合往往会看起来不自然(也称为“近景分割”(short-distance view split))。这样，即使当多个图像的公共部分被混合在一起时，也难以使图像保持高分辨率。

近景分割例如在日本未实审专利申请公开(PCT申请的译文)No.2005-522108中有所记载。日本未实审专利申请公开(PCT申请的译文)No.2005-522108记载了一种技术，其中，在高等级表示和低等级表示中学习到的升级函数被用于提高图像数据、视频数据和音频数据的等级。

另一方面，在多视点方法中，能够获得相同分辨率和色度的图像的相机被布置在多个位置处以拍摄被摄物。每个相机的个体差异表现为变焦率(zoom rate)的差异等等，因此个体差异的影响被排除，以使相机的性能趋同。此时，为了利用特性虚拟趋同的相机来拍摄被摄物，通过各种方法来校准每个相机获得的图像。

日本未实审专利申请公开No.7-143439描述了一种图像拍摄装置。该图像拍摄装置含有以低分辨率拍摄动态图像的动态图像拍摄单元和以高分辨率拍摄静态图像的静态图像拍摄单元，并且在期望的照相时机获得高质量图像。

日本未实审专利申请公开No.2005-318548记载了一种用于成像的技术，使得第一图像数据序列(低分辨率和高帧率的图像数据序列)和第二图像数据序列(高分辨率和低帧率的图像数据序列)落在相同范围内。当集成这两种图像数据序列以执行图像处理时，可以获得高分辨率且高帧率的图像。

日本未实审专利申请公开No.7-143439和日本未实审专利申请公开No.2005-318548中记载的方法为每个相机指定时间和分辨率。例如，当一个相机在较长的一段时间中拍摄窄范围时，所获得的图像具有高分辨率。另一方面，当另一个相机在较短的一段时间中拍摄宽范围时，所获得的图像具有低分辨率。用这种方式，在拍摄时间和分辨率之间存在折衷关系。于是，相机被放置在同一位置(视点位置)，拍摄窄范围的相机和拍摄宽范围的相机被分开，然后拍摄到的图像被合成。结果，可以获得在宽范围中以高分辨率拍摄的图像，因此消除了时间和分辨率之间的折衷关系。

当合成多个图像时，使用以下图像处理装置110。图28示出了现有的图像处理装置110的配置例子。图像处理装置110包括低频提取单元(LPF：低通滤波器)111。低频提取单元111输入由以窄视角拍摄被摄物的第一相机生成的高分辨率图像121，并且提取其频率低于预定频带的低频图像122。在图28中，在示出处理块的同时还示出了关于高分辨率图像121和低频图像122的直方图，在这些直方图中，横坐标轴表示频率，纵坐标轴表示频率的增益。

此外，图像处理装置110包括学习单元112和参数设定单元113。学习单元112基于输入的高分辨率图像121和低频图像122来学习高分辨率图像121相对于低频图像122的对应关系。参数设定单元113设定各种参数。然后，图像处理装置110包括映射单元114。映射单元114把从参数设定单元113送来的高分辨率图像121叠加在由第二相机(未示出)以宽视角拍摄的低分辨率图像123上，以生成合成图像124。映射单元114将合成图像124输出到外部输出设备。

图29示出了由图像处理装置110执行的现有图像处理的例子。首先，低频提取单元111把以窄视角拍摄的高分辨率图像121的频带降低到以宽视角拍摄的低分辨率图像123的低频，并且提取低频图像122(步骤S101)。随后，学习单元112在由低频提取单元111提取的高分辨率图像121和低频图像122之间执行学习，并且参数设定单元113获得参数(步骤S102)。

映射单元114使用由参数设定单元113设定的参数，并且执行映射，其中高分辨率图像121被叠加在与宽视角的低分辨率图像123相对应的位置处(步骤S103)。通过将高分辨率图像121映射在低分辨率图像123上而获得的图像被输出作为合成图像。

日本未实审专利申请公开No.9-139878记载了一种利用多个焦点来成像的技术。上述技术旨在获得这样的图像：其中，对于远景和近景中的任何一种都实现了正确的焦点。于是，多个相机的镜头各自包括使得远景焦点对准的外部镜头和使得近景焦点对准的中央镜头。

发明内容

顺便提及，在日本未实审专利申请公开(PCT申请的译文)No.2005-522108记载的技术中，使相邻图像重叠的公共部分的宽度可变，以应对近景分割。但是，当多个物体存在于相机的拍摄范围内时或者当多个相机被布置成堆叠形式或者并排形式时，难以平滑地拼接图像。

像DRC(Digital Reality Creation(数字真实创建)：商标)的情况中那样，存在甚至将经历了各种处理并且劣化的低分辨率图像转换成高分辨率图像的处理。但是，即使利用DRC，所获得的高分辨率图像的频带也是有限的，因此，例如，当图像被放大时，每个像素中的缺陷是明显的。

此外，日本未实审专利申请公开No.7-143439和日本未实审专利申请公开No.2005-318548中记载的技术是基于用于MPEG(运动图片专家组)的I图片和P图片的结构的处理。I图片是高分辨率图像，而P图片包括与被摄物的运动有关的信息。在该技术中，因为对拍摄高分辨率图像的相机和计算运动信息的相机的设置是固定的，所以不容易增大分辨率。因为这个原因，相对于为拍摄静态图像的相机提供的固态图像感测器件(例如，CMOS：互补金属氧化物半导体，CCD：电荷耦合器件)的分辨率，难以增大图像的分辨率。

此外，在日本未实审专利申请公开No.9-139878记载的技术中，各个镜头分别负责远景和近景的焦点，以进行成像；但是，对于大量相机来说，不存在公共焦点。这样，每个相机很容易变得失焦，因此拼接出的图像往往看起来不自然。

希望在通过拼接由多个相机拍摄的多个图像来获得宽范围的合成图像时获得高分辨率合成图像，并且每个图像的外围部分不会不自然。

根据本发明的一个实施例，获取由按第一视角拍摄预定范围的第一相机生成的第一图像，获取由多个第二相机生成的多个第二图像，并且计算多个第二图像相对于第一图像的坐标位置以及多个第二相机的成像方向相对于第一相机的成像方向的差异作为拍摄信息，其中，多个第二相机中的每一个按比第一视角窄的第二视角拍摄预定范围的一部分，第二图像的分辨率高于所述第一图像。生成视点转换图像，并且将第一图像与该视点转换图像相匹配以计算该视点转换图像相对于第一图像的相位偏离，该视点转换图像是通过基于成像方向的差异转换多个第二图像以使多个第二相机的视点与第一相机的视点相吻合来获得的。从多个第二图像中提取由高于或等于预定频带的频率分量形成的高频图像，并且将高频图像粘贴在与第一图像相对应的坐标位置处，以便消除视点转换图像相对于第一图像的相位偏离，以生成合成图像。

利用上述配置，可以获得宽范围的高分辨率的合成图像，并且每个图像的外围部分不会不自然。

根据本发明的实施例，可以获得宽范围的高分辨率的合成图像，而且每个图像的外围部分不会不自然，因此有利之处在于：即使合成图像被显示在大屏幕上，图像之间的接合也是平滑的。

附图说明

图1是示出根据本发明实施例的图像处理系统的例子的配置视图；

图2是示出根据本发明实施例的图像处理装置的内部配置例子的框图；

图3是示出本发明实施例中的每个图像的亮度分布的例子的视图；

图4是示出本发明实施例中的变焦率的变化的例子的视图；

图5A和图5B是示出本发明实施例中的公共信息和个体信息的例子的视图；

图6是示出本发明实施例中的生成合成图像的处理的例子的流程图；

图7是示出本发明实施例中的生成合成图像的处理的例子的流程图；

图8是示出在本发明实施例中想要生成的图像的亮度图的例子的视图；

图9是示出本发明实施例中的第一图像的亮度图的例子的视图；

图10是示出本发明实施例中的第二图像的亮度图的例子的视图；

图11是示出本发明实施例中的将亮度值相加的例子的视图；

图12是示出在本发明实施例中通过向第二图像应用低通滤波器而获得的图像的亮度图的例子的视图；

图13是示出本发明实施例中的高频分量(差异)的亮度值的例子的视图；

图14是示出在本发明实施例中当第二图像的高频分量被粘贴到第一图像上时的亮度图的例子的视图；

图15A和图15B是示出在本发明实施例中当第二图像与第一图像相匹配时的亮度图的例子的视图；

图16是示出在现有参考方法中当第二图像与第一图像相匹配时的亮度图的例子的视图；

图17A和图17B是示出在本发明实施例中，在现有参考方法中为其匹配第二图像的图像(一像素补偿向量误差)的例子的视图；

图18是示出本发明实施例中的第一图像的例子的视图；

图19是示出本发明实施例中的第二图像的例子的视图；

图20是示出在本发明实施例中当第二图像被叠加在第一图像上时的例子的视图；

图21是示出本发明实施例中的经过缩放的第一图像的例子的视图；

图22是示出本发明实施例中的第二图像的低频分量的例子的视图；

图23是示出本发明实施例中的第二图像的高频分量的例子的视图；

图24是示出在本发明实施例中通过将第二图像的高频分量映射到第一图像上而获得的图像的例子的视图；

图25是示出本发明实施例中的其中映射了第二图像的图像的例子的视图；

图26是示出在本发明的另一个实施例中的合成图像的输出的例子的视图；

图27是示出现有单视点方法中相机的布置例子的视图；

图28是示出现有图像处理装置的配置例子的框图；并且

图29是示出现有图像处理的例子的流程图。

具体实施方式

下面，将参考图1至图25来描述本发明的实施例。在本实施例中，将描述这样一个示例，其中，根据本发明实施例的图像处理装置10被应用到图像处理系统1，以生成具有宽成像区域的高分辨率合成图像。

图像处理系统1的配置例子

图1示出了根据本发明实施例的图像处理系统1的配置例子。图像处理系统1包括第一相机2和第二相机3a至3c。第一相机2以第一视角拍摄预定的范围，以生成第一图像5。第二相机3a至3c以比第一视角窄的第二视角拍摄预定范围的各部分，并且生成第二图像6a至6c。第一图像5和第二图像6a至6c被提供到图像处理装置10，图像处理装置10合成多个图像以生成具有宽范围的高分辨率图像。由图像处理装置10生成的合成图像被输出到例如由投影仪形成的显示设备20。显示设备20将输入的合成图像30投影到屏幕上。

高分辨率相机、HD(高清晰度)相机等等被用作第一相机2和第二相机3a至3c。这些相机各自具有个体差异，并且执行校准来调整个体差异将是代价高昂的。但是，在本实施例中，基于以第一相机2的视点、色度、亮度和焦点为基准的“公共信息”来校准第二相机3a至3c。这样，以较低的成本很容易地调整了每个相机的个体差异。第二相机3a至3c的个体差异作为“个体信息”被分别管理。此外，根据本实施例的图像处理装置10例如能够依据每个相机拍摄的每个区域的亮度分布，利用能够执行8比特灰度级进行拍摄的第一相机2和第二相机3a至3c生成具有10比特灰度级的图像。

图像处理装置10的内部配置例子

图2示出了图像处理装置10的内部配置例子。图像处理装置10包括成像信息计算单元11。成像信息计算单元11获取从第一相机2输入的第一图像5和从第二相机3a至3c输入的第二图像6a至6c。成像信息计算单元11计算第二图像6a至6c相对于第一图像5的坐标位置。此外，成像信息计算单元11基于第二图像6a至6c，计算第二相机3a至3c的成像方向相对于第一相机2的成像方向的差异。这些坐标位置和成像方向的差异被称为“成像信息”。

此外，图像处理装置10包括缩放转换单元12。缩放转换单元12基于由成像信息计算单元11计算出的坐标位置来对第一图像5的与第二图像6a至6c的坐标位置相对应的部分进行缩放，以生成低频图像7。

此外，图像处理装置10包括视点转换单元13。视点转换单元13基于由成像信息计算单元11计算出的成像方向的差异，将第二相机3a至3c的视点转换成第一相机2的视点，以生成视点转换图像。这里，每个相机的“视点”位于相应的成像方向上。通常，第二相机3a至3c被放置在与第一相机2的成像方向成预定角度的成像方向上。于是，第一相机2的成像方向与第二相机3a至3c中每一个的成像方向汇合的点可以被虚拟地用作相机的单视点。此时，视点转换单元13生成利用相机的单视点拍摄的理想图像作为视点转换图像。然后，视点转换单元13将低频图像7与视点转换图像相匹配，以计算视点转换图像相对于低频图像7在相位上的偏离。

此外，图像处理装置10包括图像合成单元14。图像合成单元14将高频图像9a至9c粘贴到与低频图像7相对应的坐标位置。高频图像9a至9c是由高于或等于预定频带的频率分量形成的。此时，图像合成单元14把从第二图像6a至6c中提取出的高频图像9a至9c粘贴在与低频图像7相对应的坐标位置，以便消除视点转换图像相对于低频图像7的偏离，从而生成合成图像。

视点转换单元13包括频带分离单元15。频带分离单元15从第二图像6a至6c中分离出低于预定频带的频率分量，以生成低频图像8a至8c。低频图像8a至8c在频带上与低频图像7相匹配。频带分离单元15充当生成其频率低于预定频带的图像的低通滤波器。视点转换单元13包括匹配单元16。匹配单元16在与从缩放转换单元12提供的低频图像7相对应的坐标位置处匹配低频图像8a至8c。此外，视点转换单元13包括补偿向量计算单元17。补偿向量计算单元17计算由匹配单元16匹配的与低频图像7相对应的低频图像8a至8c的相位偏离作为补偿向量，并且将补偿向量提供给图像合成单元14。

图像合成单元14包括减法单元18。减法单元18从第二图像6a至6c的频率分量中减去由频带分离单元15分离的低频图像8a至8c的频率分量，以生成高频图像9a至9c。高频图像9a至9c是由高于或等于预定频带的频率分量形成的。此外，图像合成单元14包括映射单元19。映射单元19基于从补偿向量计算单元17提供来的补偿向量来校正图像的相位偏离，并且生成合成图像，在该合成图像中，高频图像9a至9c被映射在与低频图像7相对应的位置处。由映射单元19生成的合成图像被输出到显示设备20(参见图1)。

这里，将描述处理块的操作例子。首先，成像信息计算单元11基于第一图像5和第二图像6a至6c中包括的频率分量来测量图像之间的相关性。这里，“相关性”指示出第二图像6a至6c相对于第一图像5的位置关系。然后，成像信息计算单元11计算第二图像6a至6c相对于第一图像5的坐标位置。此外，成像信息计算单元11计算第二相机3a至3c相对于第一相机2的成像方向。成像信息计算单元11计算缩放率(zoom rate)，用于对第一图像5内与第二图像6a至6c相对应的成像区域调整视角，以对第一图像5的若干部分进行缩放。成像信息计算单元11将计算出的缩放率提供给缩放转换单元12和频带分离单元15两者。

此时，成像信息计算单元11获得关于通过匹配而针对第二图像6a至6c放大了第一图像5的哪些部分的信息。随着匹配被执行，取决于第二相机3a至3c与被摄物的距离，第二图像6a至6c的相位偏离了第一图像5的相位。在本实施例中，利用诸如DRC的技术，即使是第二相机3a至3c也能够获取在第一相机2的视点处拍摄的高分辨率图像。

此外，为了计算第二图像6a至6c相对于第一图像5的坐标和缩放率，例如，可以使用“An FFT-Based Technique for Translation，Rotation，Scale-Invariant Image Registration，IEEE Transaction onImage Processing”，vol 5 no 8 August 1996(用于平移、旋转和比例不变图像配准的基于FFT的技术，IEEE图像处理会刊，1996年8月，第5卷，第8期)中记载的使用傅立叶变换和相位相关度的技术。因此，成像信息计算单元11能够获取坐标值和缩放率。

缩放转换单元12基于从成像信息计算单元11提供来的坐标位置和缩放率来生成低频图像7，低频图像7是通过对第一图像5的与第二图像6a至6c相对应的像素区域进行缩放而获得的。

频带分离单元15基于从成像信息计算单元11提供来的缩放率来对第二图像6a至6c进行缩放。缩放率是可变的，并且对于不同第二图像6a至6c是不同的。此外，频带分离单元15基于缩放率，认识到以何种程度向第二图像6a至6c应用低通滤波器，以使生成的低频图像8a至8c的频带与第一图像5的频带相吻合。例如，假定第一图像5的各部分基于从成像信息计算单元11提供来的缩放率被缩放，以生成低频图像7。

成像信息计算单元11最初获得关于第二图像6a至6c的图像帧位于第一图像5中何处的信息(参见图18，下文将对其进行描述)。根据以上信息，成像信息计算单元11认识到例如第二图像6a至6c相对于第一图像5的缩放率是八倍。也就是说，当缩放率在垂直方向和水平方向上为八倍时，频带分离单元15应用一低通滤波器，在该低通滤波器中，作为缩放率的倒数的值(1/8)与第二图像6a至6c的频率分量相乘。结果，第二图像6a至6c变成了频带降至1/8的低频图像8a至8c。注意，为第二图像6a至6c或每个32×32块计算出的最大频率(或者平均频率)可用作被应用低通滤波器的频带。

匹配单元16将低频图像7与低频图像8a至8c相匹配。此时，对于不同的低频图像8a至8c，匹配的低频图像7是不同的。在本实施例中，为每个像素执行32×32(像素)块匹配。然后，补偿向量计算单元17通过由匹配单元16执行的块匹配来计算补偿向量。结果，第二相机3a至3c的视点可与第一相机2的视点相吻合。

补偿向量计算单元17计算低频图像7和低频图像8a至8c中包括的频率分量之间的相位偏离作为补偿向量。随着补偿向量被计算出来，即得出了低频图像8a至8c的被摄物相对于低频图像7中包括的被摄物的偏离。减法单元18从第二图像6a至6c中分别减去低频图像8a至8c。结果，获得了仅由高频分量形成的高频图像9a至9c。

映射单元19基于由补偿向量计算单元17计算出的补偿向量来校正高频图像9a至9c相对于低频图像7的偏离，同时将高频图像9a至9c映射在与低频图像7相对应的坐标位置处。通过以上映射，可以将第一图像5的低频分量与第二图像6a至6c的高频分量相混合。于是，当在使用第一图像5中包括的颜色分量的同时仅映射高频亮度分量时，合成图像的颜色不会劣化。然后，映射单元19将所生成的合成图像输出到显示设备20。

根据本实施例的图像处理装置10执行使用相机之间的强属性的处理。这里，假定第一图像5是由第一相机2拍摄的，该第一相机2的分辨率较低并且其视点作为基准，而第二图像6a是由第二相机3a拍摄的，该第二相机3a的分辨率较高并且相对于基准视点具有视差。在此情况下，在视点被调节到第一相机2的同时生成高分辨率图像。通过以上处理，可以获得合并了第二图像6a的分辨率较高这一属性和第一相机2的视点被用作基准这一属性的合成图像。

类似地，假定在第一相机2和第二相机3a共同的亮度被设定的条件下，第一图像5具有低分辨率，而第二图像6a具有偏离的亮度(相机个体差异)并具有高分辨率。在此情况下，可以生成具有与其他相机(第二相机3b和3c)共同的亮度的高分辨率图像作为输出图像。

图3利用第一图像5和第二图像6a的亮度直方图示出了亮度分布的示例。第一图像5的亮度被示出为亮度直方图31。亮度直方图31示出了整个第一图像5上的亮度分布32和拍摄第二图像6a的范围的亮度分布33。整个第二图像6a的亮度被示出为亮度直方图35。亮度分布33和36具有不同的比例，但是表示相同的亮度分布。

如亮度直方图31中所示，在仅有第一相机2的情况下，如果被摄物具有高亮度或者被摄物具有宽动态范围，则可能出现由于灰度级不足而导致的不可成像的部分。在图3所示的示例中，在亮度分布32的中间亮度值周围，与亮度分布36相比，亮度不足。因为这个原因，当第二相机3a至3c所拍摄的图像6a至6c被叠加在第一图像5上时，可以再现原始被摄物的亮度。于是，因为可以获得详细的亮度信息，所以与第一相机2相比可以用更多的比特在显示设备上显示图像，或者可以调整图像。

图4是由于变焦率的变化而导致的视角的例子。在图4中，第一相机2和第二相机3a至3c的布置与图1的类似。例如，当对被摄物精细取景时，第二相机3b推进，而其他的第二相机3a和3c拉远。于是，当在第一相机2以宽范围拍摄的范围内发现运动物体时，第二相机3b推进以便可以拍摄该物体。这样，可能需要允许逐个相机地改变变焦率。

此外，可以从第一相机2所拍摄的宽范围的图像中部分获得低分辨率图像。这样，当第二相机3a至3c的成像范围不连续时，第一相机2所拍摄的第一图像5被放入相邻成像范围之间的间隙中，以便可以生成合成图像。此外，在主要拍摄某个被摄物时，改变第二相机3a至3c的变焦率。为了检测该被摄物，向拍摄的图像应用高通滤波器，以获得由高频分量形成的图像。在该图像中，在包括精细图案等等的区域中包括大量高频分量。之后，通过改变变焦率和图像帧来拍摄包括大量高频分量的区域，可以以更高的分辨率来拍摄包括精细图案等的区域。

在本实施例中，因为在合成图像时由第一相机2拍摄的图像被用作基准，所以第一相机2的变焦率不被改变。从而，第一相机2的视角不改变。另一方面，当各自的变焦率改变时，第二相机3a的视角比原始变焦率时的视角窄。从而，变焦率改变后的区域21比原始变焦率下的可成像区域22窄；但是，可以获得分辨率更高的图像。

然后，匹配单元16获得与颜色、亮度和焦点中至少一个有关的一些信息作为用来逐个像素地确定低频图像8a至8c相对于低频图像7的特性量的参数。用这种方式，通过利用这些参数来改变第二相机3a至3c的特性，可以补充由各个相机拍摄的图像中的信息的不足。此时被补偿的信息被称为“参数”。参数包括分辨率、亮度、焦点、白平衡、视点等等。下面，将描述参数。

(1)在分辨率的情况下

第二相机3a至3c各自改变变焦率，以便能够通过为每个成像区域自由改变分辨率来进行拍摄。

(2)在视点的情况下

第二相机3a至3c各自能够通过根据目标被摄物自由改变视点来进行拍摄。

(3)在白平衡(色度)的情况下

第二相机3a至3c各自能够通过根据被摄物的颜色为每个成像区域自由改变白平衡来进行拍摄。

(4)在亮度的情况下

第二相机3a至3c各自能够通过利用自动增益等等为每个成像区域自由改变亮度来进行拍摄。

(5)在焦点的情况下

第二相机3a至3c各自能够通过根据与被摄物的距离为每个成像区域自由改变焦点来进行拍摄。

第二相机3a至3c各自依据变焦率来为每个成像区域改变分辨率和亮度。然后，根据与被摄物的距离来为每个成像区域改变焦点，并且根据所拍摄的图像的颜色来为每个成像区域改变白平衡，从而改变对被摄物的视点。

图5A和图5B示出了公共信息和个体信息的例子。在本实施例中，与第一相机2的参数有关的信息被称为“公共信息”。公共信息被用作第一相机2和全部第二相机3a至3c的基准，并且主要指示出第二相机3a至3c相对于第一相机2的差异。当使用公共信息时，在拼接相机所拍摄的多个图像时可以消除每个相机的个体差异、视差等等的影响。但是，公共信息可通过拍摄宽范围来获得，因此分辨率极低。

另一方面，相对于公共信息与第二相机3a至3c的参数有关的信息被称为“个体信息”。个体信息与相机阵列整体的公共信息不同，但信息质量(分辨率的解析力、亮度的解析力、色度的解析力、调整焦点的位置，等等)较高。如上所述，与个体信息不同，公共信息具有较高的信息质量，例如分辨率，但没有考虑相机之间的个体差异。于是，公共信息和个体信息与多个相机有关，因此它们被成像信息计算单元11管理。通过获得个体信息相对于公共信息的差异，得出了第二相机3a至3c中的每一个的参数相对于第一相机2的变化。然后，所得出的参数变化被用于例如在图像合成单元14合成图像时校正图像的偏离和/或色度。

图5A示出了如何管理公共信息和个体信息的例子。在本实施例中，利用第一相机2的视点和第一图像5的色度作为基准来叠加第二图像6a至6c。因为第一相机2的视角较宽，所以第一图像5具有低分辨率。另一方面，第二相机3a至3c各自具有较窄的视角，并且缩放第一图像5的一部分来拍摄，因此第二图像6a至6c各自具有高分辨率。第一相机2的视点、色度和焦点被用作在第二图像6a至6c被叠加在第一图像5时用作基准的公共信息。此外，第二相机3a至3c的色度、亮度和焦点对于不同的相机在特性上是不同的。

图5B示出了使用公共信息和个体信息两者生成的信息的例子。个体信息与用于将第二相机3a至3c与第一相机2的特性相匹配的分辨率、视点、色度、亮度和焦点有关。在本实施例中，希望获得具有相当于第二相机3a至3c的分辨率的高分辨率的图像。此外，在把放置第一相机2的位置设定为一个视点时，使放置第二相机3a至3c的位置与第一相机2的视点相吻合。于是，与低分辨率的第一图像5相比，第二图像6a至6c各自具有详细的颜色信息。此外，与只具有低亮度的亮度信息的第一图像5相比，第二图像6a至6c各自具有高亮度的亮度信息。此外，第二相机3a至3c各自聚焦在包括被摄物的相应成像区域上。

在现有技术中，当布置在窄视角拍摄被摄物的多个相机并随后将图像拼接在一起时，因为相机的视点不同，所以图像之间的接合显得不自然。在本实施例中，配备了第一相机2和第二相机3a至3c，并且分别拍摄被摄物的公共信息和个体信息。公共信息和个体信息包括分辨率、视点、色度、亮度和焦点的信息。当使用公共信息和个体信息时，获得了利用每个相机的特性的图像。

图6是示出生成合成图像的处理的例子的主流程图。首先，图像处理装置10从第一相机2获取第一图像5，并且从第二相机3a至3c获取第二图像6a至6c(步骤S1)。

然后，图像处理装置10基于第一图像5和第二图像6a至6c生成合成图像(步骤S2)。然后，图像处理装置10判定用户是否发出了成像终止指令(步骤S3)。

成像终止指令是利用成像处理装置的操作按钮或遥控设备(未示出)来发出的。当成像终止指令被发出时，图像处理装置10结束生成合成图像的处理。另一方面，当没有成像终止指令被发出时，图像处理装置10继续生成合成图像的处理。

图7是示出生成合成图像的处理的流程图。首先，图像处理装置10从第一相机2获取第一图像5，并且从第二相机3a至3c获取第二图像6a至6c(步骤S11)。

然后，成像信息计算单元11将第二图像6a至6c与第一图像5相匹配，并且计算第一相机2的视点、第二图像6a至6c相对于第一图像5的坐标，以及第一图像5的各部分相对于第二图像6a至6c的缩放率(步骤S12)。此时，成像信息计算单元11利用诸如以上所述的相位相关度的技术来计算坐标。

之后，缩放转换单元12基于计算出的坐标和缩放率来对第一图像的被包括在第二图像6a中拍摄到的各部分中的部分进行缩放，以生成低频图像7(步骤S13)。另一方面，频带分离单元15基于计算出的坐标和缩放率来分离第二图像6a至6c的低频分量，以生成低频图像8a至8c(步骤S14)。

然后，补偿向量计算单元17将低频图像7与低频图像8a至8c相匹配，并且生成补偿向量(步骤S15)。然后，减法单元18获得通过从第二图像6a至6c中去除低频分量(低频图像8a至8c)而获得的高频图像9a至9c。

然后，映射单元19基于补偿向量来匹配高频图像9a至9c与低频图像7，并且将高频图像9a至9c与低频图像7相加来生成合成图像(步骤S17)。

顺便说一下，当基于每个像素的补偿向量来移动像素时，在简单地使用线性映射时，不会获得合成图像。因此，根据本实施例的图像处理装置10通过执行“非线性像素计算”来获得合成图像。此外，将高频图像9a至9c的像素与低频图像7的相应像素相加被称为“将低频像素与高频像素相混合”。注意，“将像素相加”指的是将亮度值相加。当每个补偿向量的准确度不高时，由于高分辨率图像被直接粘贴到低频图像上，所以图像的偏离增大并且合成图像往往看起来不自然。但是，通过使用拍摄宽范围的低频图像7作为基准，即使在计算出的补偿向量偏离时，合成图像可能看起来也不那么不自然。

这里，“线性映射”指的是在加法和乘法中确保了线性。线性映射具有这样的特征，即通过应用逆变换，转换后的图像被返回到转换前的图像。利用某个参数来转换整个图像的计算(例如仿射变换)对应于线性映射。

在根据本实施例的图像处理装置10中，物体的移动量依据相机与物体之间的距离而不同。因此，当两个或更多个物体之间发生遮蔽时，像仿射变换那样只利用一个参数来执行图像变换是很困难的。另外，可能需要逐个像素地或者逐块地任意改变补偿向量的值，因此非线性地执行图像变换。此外，为了消除其中发生遮蔽的物体A的视差，当物体B的图像被覆写到物体A的图像上时，物体A的图像(像素)消失。因此，在向上述变换后的图像简单地应用逆变换时，它不会返回到原始图像(例如，物体A)。

于是，由于补偿向量依据图像的成分(例如多个物体中的每一个、每个块和每个像素)而不同，所以仅通过利用线性映射来执行图像变换是不能获得适当的合成图像的。于是，根据本实施例的图像处理装置10将高分辨率的第二图像6a至6c的高频分量的亮度值添加到低分辨率的第一图像5，以获得合成图像(参见图11，下文中将对其进行描述)。但是，下述方式也是适用的：按选定的因子，将第二图像6a的亮度值和第二图像6a的低频分量的亮度值乘以第一图像5的亮度值，以获得合成图像的亮度值。注意，“亮度值”指的是一个像素的亮度，并且每个像素的亮度值被表示在亮度图上，下文中将对此进行描述。此外，“亮度值”在适当时可被称为“像素值”。

这里，将参考图8至图14来描述每个图像的亮度值的示例和将多个亮度值相加。在以下亮度图中，横坐标轴表示指示出某个像素在第一图像5中或第二图像6a中的水平线上的坐标的x坐标，纵坐标轴表示亮度。以预定间隔示出的虚线表示在x坐标上相邻像素之间的间隔。注意，对于第二图像6b和6c，也类似地获得亮度图，并且将第二图像6b和6c粘贴到第一图像5上；但是，这里将只描述第二图像6a。

图8是由图像处理装置10生成的合成图像的亮度图的示例，该亮度图是由目标亮度值表示的。图像处理装置10执行图像合成处理以包括如第一图像5的情况中那样的宽范围，同时将高分辨率图像的亮度设定为目标亮度值。目标亮度值可以不是从拍摄的图像直接获得的；但是，目标亮度值可以从所生成的合成图像获得。

首先，将考虑下述情况，即，暗物体A和亮物体B并排布置在x坐标上，作为被摄物。图像处理装置10生成的合成图像的目标亮度值由图8所示的直方图表示。以简化方式在亮度图的下侧示出实际看到物体A和B的状态。根据图9，物体A和B之间的边界是清楚的，并且对比率较高，因此发现，亮度图在包括物体A的坐标位置处较低，而在包括物体B的坐标位置处较高。于是，亮度值在物体A和B之间的边界周围突然增大。

图9是第一图像5的亮度图的示例。在图9中，第一图像5的亮度图由实线指示，目标亮度值的亮度图由虚线指示。因为第一图像5具有低分辨率，所以物体A和B之间的边界不清楚。因此，在第一图像5的亮度图中，亮度值在物体A和B之间的边界周围逐渐增大。

图10是第二图像6a的亮度图的示例。在图10中，第二图像6a的亮度图由实线指示。如果本实施例中的第二图像6a是通过聚焦在物体A上来拍摄的，那么物体A的图像大部分被包括在第二图像6a中。于是，因为物体A和B被拍摄为高分辨率图像，所以物体A和B之间的边界周围的亮度突然变化。也就是说，物体A和B之间的对比率较高。

图11示出了将亮度值相加的示例。这里，将描述将第一图像5的某个坐标的一个亮度值和第二图像6a的相应坐标的一个亮度值相加的示例。目标亮度值41指示出在拍摄第一图像5所示的成像区域时获得的理想亮度。于是，将第二图像6a的高频分量的差异值43与第一图像5的亮度值44相加以获得合成图像的亮度值42。

图12示出了通过向第二图像6a应用低通滤波器而获得的图像的亮度图的示例。在图12中，第二图像6a的亮度图由虚线指示，第二图像6a的低频分量的亮度图由实线指示。于是，在x坐标上，第二图像6a的低频分量的亮度值相对于第二图像6a的亮度值的差异以差异值的形式由向上和向下箭头指示。在本实施例中，发现频带分离单元15被用于提取第二图像6a的低频分量，因此图10所示的第二图像6a的亮度图的不均匀性得以缓和。

图13示出了作为差异值获得的高频分量的示例。在图13中，对于每个x坐标，示出了图12所示的差异值。这里，当通过从第二图像6a的亮度值中减去第二图像6a的低频分量的亮度值而获得的高频分量为正时，亮度高于零；而当高频分量为负时，亮度低于零。

图14示出了当第二图像6a的高频分量被粘贴到第一图像5上的预定位置时的亮度图的示例。在图14中，第一图像5的亮度图由实线指示，合成图像的亮度图由粗虚线指示，目标亮度值的亮度图由细虚线指示。箭头45指示补偿向量。合成图像的亮度值是通过将图13中获得的高频分量加到图9中获得的第一图像5的亮度图来获得的。此时，发现合成图像的亮度图与目标亮度值的亮度图基本吻合。这样，获得了以高分辨率和高对比度拍摄宽范围的图像。

这里，将参考图15A至图17B来描述根据本实施例的图像处理装置10执行的匹配处理的示例。这里，将描述每预定像素移动补偿向量来匹配图像的方法。该方法具有这样的特征，即，可以有效地使用合成图像的亮度值相对于目标亮度值的平方误差。

图15A和图15B示出了通过将图14所示的补偿向量45移动一个像素而获得的亮度图的示例。这里，图15A和图15B示出了当第二图像6a被粘贴到第一图像5以便相对于位于期望坐标处的像素偏离一个像素时，合成图像的亮度值相对于目标亮度值偏离了多少。图15A示出了合成图像的亮度图的示例。图15B示出了合成图像相对于目标亮度的差异的示例。在图15A中，第一图像5的亮度图由实线指示，合成图像的亮度图由粗虚线指示，目标亮度值的亮度图由细虚线指示。当通过多个相机来拍摄被摄物时，对于不同相机，视差是不同的。因此，当只粘贴一个图像时，第二图像6a偏离第一图像5。

这里，如图15A所示，补偿向量45是利用一个像素的误差来指定的。在此情况下，合成图像的亮度值相对于目标亮度值的差异值46在物体A和B之间的边界周围较大。但是，差异值46小于根据现有参考方法的差异值。因此，可以抑制所获得的图像的变形。

图16示出了当根据现有参考方法将第二图像6a与第一图像5相匹配时的亮度图的示例。在图16中，通过将第二图像6a与第一图像5相匹配而获得的合成图像的亮度图由粗虚线指示，目标亮度值的亮度图由细虚线指示。

此时，发现合成图像的亮度图与目标亮度值的亮度图基本吻合。这里，当第二图像6a与第一图像5相匹配时，考虑利用补偿向量45来提高匹配的准确度。基于补偿向量来匹配图像的方法被用于MPEG等等中。在该方法中，不考虑亮度值相对于目标亮度值是高还是低；重要的是在匹配之前判定亮度值是否接近目标亮度值。

图17A和图17B示出了当图16所示的补偿向量45偏离一个像素时亮度图的示例。图17A示出了合成图像的亮度图的示例。图17B是合成图像相对于目标亮度的差异的示例。在图17A中，合成图像的亮度图由粗虚线指示，目标亮度值的亮度图由细虚线指示。

如图15A和图15B中的情况，当补偿向量偏离一个像素时，在对比率较高的部分，合成图像的亮度值相对于目标亮度值的差异值47较大。在此情况下，与根据按本发明实施例的图像处理获得的合成图像相比，根据现有参考方法获得的合成图像可能在图像中有变形。图像的变形例如在图25中示出，下文中将对此进行描述。

根据本实施例的图像处理装置10生成的合成图像是第二图像6a至6c被粘贴到第一图像5上而生成的。从而，当在补偿向量偏离一个像素的情况下执行匹配时，与采用现有参考方法的情况相比，可以抑制图像的变形。根据本实施例的图像处理装置10匹配低频分量图像和高频分量图像，以通过将两者的亮度值相加来生成合成图像。从而，即使在补偿向量被偏离时，图像相对于目标亮度值的变形也较小。

此外，当第二图像6a至6c之间存在个体差异时，图14至图15B中示出的根据本发明实施例的方法可获得最有利的效果。例如，当两个高分辨率图像(第二图像6a和6b)与第一图像5的亮度值相匹配时，可以通过去除高分辨率图像的低频分量(每个相机的个体差异发生于其中)来忽略相机之间的个体差异。当如现有技术中的情况那样直接匹配高分辨率图像时，图像之间的个体差异不会被去除。因此，可能必须进行去除个体差异的处理。根据本实施例的图像处理装置10不执行去除个体差异的处理，因此可以简化配置。

这里，将参考图18至图25来描述这些块中处理的图像的例子。

图18是第一图像5的例子。第一图像5是通过利用第一相机2拍摄被摄物而获得的。根据本实施例的第一图像5拍摄这样一个被摄物：其中，穿和服的玩偶和毛绒玩具熊被布置在风景照片的背景前。注意，第一图像5包括指示第二图像6a(参见图19，下文将对其进行描述)的位置的黑框。但是，提供该黑框是为了描述方便起见，该黑框并不出现在实际的第一图像5中。

图19是第二图像6a的例子。第二图像6a是通过利用第二相机3a拍摄被摄物(毛绒玩具熊)来获得的。此时，与第一相机2相比，第二相机3a以变焦后的窄视角来拍摄被摄物。从而，第二图像6a的分辨率高于第一图像5。

图20是第二图像6a被叠加在第一图像5上的例子。此时的图像对应于通过成像信息计算单元11匹配时的图像。在图20中，指示第二图像6a的黑框也是为了描述方便起见而提供的，该黑框并不出现在第一图像5上。在此情况下，发现包括毛绒玩具熊的区域的分辨率高于周围区域。但是，第二图像6a相对于第一图像5在相位上有偏离(参见图21，下文中将对其进行描述)，因此轮廓不清楚。

图21是图20所示的其上叠加了第二图像6a的第一图像5被缩放的例子。此时，发现第一图像5和第二图像6a相位略有偏离，并且图像不清楚。

图22是由低频分量形成的第二图像6a的例子。在此实施例中，当频带分离单元15提取第二图像6a的低频分量时，生成了低频图像8a。低频图像8a成为处于轮廓模糊状态的图像。

图23是由高频分量形成的第二图像6a(高频图像9a)的例子。在此实施例中，当减法单元18提取第二图像6a的高频分量时，生成了高频图像9a。高频图像9a是达到可识别轮廓的程度的图像。

图24是高频分量的第二图像9a被映射到第一图像8a上的例子。该图像被从图像处理装置10输出到显示设备20。该图像是通过将由高频分量形成的第二图像6a(参见图23)映射到第一图像5上来获得的。

图25是只有高频分量的第二图像9a被映射的例子。在此情况下，在被摄物的部分图像25中发生视差，并且被摄物和背景之间的边界不清楚。例如，假定第一图像5的低频分量的亮度值为100，第二图像6a的亮度值为140，第二图像6a的高频分量的亮度值为130。此时，当使用现有参考方法时，亮度值将为140。但是，在根据本实施例的图像处理装置10执行的图像合成方法中，亮度值将为100+140-130＝110。

利用根据上述实施例的图像处理装置10，当通过多个相机3a至3c来执行拍摄时，可以通过指定相机3a至3c的属性(分辨率、视点、颜色、亮度和焦点)来执行拍摄。于是，当从由属性(分辨率、视点、颜色、亮度和焦点)不同的相机3a至3c拍摄的多个图像合成新的图像时，在图像之间使用了每个图像中的详细参数信息。

结果，从第一图像5和第二图像6a至6c获得了高分辨率的合成图像。此时，仅将第二图像6a至6c的高频分量粘贴到第一图像5的低频分量上，利用第一图像5的色度来自然地合成图像。于是，本实施例中生成的合成图像可以是静态图像和动态图像中的任何一种。

此外，即使当多个相机的视点彼此不吻合时，也可以为第二相机3a至3c中的每一个获取相对于公共信息的个体信息。于是，基于个体信息来调整参数，获得了图像被平滑拼接的合成图像。从而，对于第二相机3a至3c的数目没有限制，对于布置也没有限制。

此外，当只有第一相机2被用于拍摄亮度差异较大的被摄物时，所获得的第一图像5不会准确地拍摄低亮度或高亮度的部分。但是，这些部分可由第二相机3a至3c所拍摄的第二图像6a至6c来补充。从而，所获得的合成图像是多灰度级(高动态范围)图像。

注意，在根据上述实施例的图像处理装置中，可以堆叠多个结构，并且只要相机的机制允许，就可以执行高分辨率的拍摄。这里，将参考图26来描述另一个实施例。

图26是多个相机单元的布置示例。当图4中所示的第一相机2和第二相机3a至3c的集合为一个单元时，布置多个单元。在此实施例中，还设有以比第一相机2更宽的视角拍摄被摄物的第三相机9。但是，基本操作与使用由第一相机2和第二相机3a至3c形成的一个单元的情况类似。此时，以第三相机9所拍摄的图像40作为基准，每个单元在下述状态中执行拍摄：校正相对于图像40的偏离，并且布置合成图像。于是，可以获得具有多级配置的高分辨率合成图像。从而有利之处在于，可以获得具有高分辨率并且没有变形的立体图像。

此外，上述实施例中的一系列处理可利用硬件来执行或者可利用软件来执行。当该系列处理是用软件来执行时，构成软件的程序被安装到一个装配到专用硬件的计算机上，或者构成所需软件的程序被安装到例如能够通过安装各种程序来执行各种功能的通用计算机上。

此外，记录实现上述实施例的功能的软件的程序代码的记录介质被提供给系统或装置，从而上述实施例的功能当然可以通过该系统或装置的计算机(或者控制器，例如CPU)读取并执行存储在记录介质上的程序代码来实现。

此情况下用于提供程序代码的记录介质例如可包括软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失性存储卡、ROM，等等。

此外，本发明的实施例不仅包括通过执行由计算机读取的程序代码来实现上述实施例的功能的情况，而且包括下述情况：在计算机上操作的OS等等基于程序代码的指令来执行实际处理的一部分或全部，然后通过这些处理来实现上述实施例的功能。

注意，在本说明书中，描述了构成软件的程序的步骤不仅包括按所写顺序以时序方式执行的处理，还包括并行或分开执行的处理，即使处理不是以时序方式执行的。

另外，本发明的实施例不限于上述实施例；当然，它可被修改成各种形式，而不脱离本发明的范围。

本发明包含与2008年6月27日向日本特许厅提交的日本在先专利申请JP 2008-169446中公开的内容相关的主题，在此通过引用将该申请的全部内容并入。

本领域的技术人员应当理解，取决于设计要求和其他因素，可以进行各种修改、组合、子组合和变更，只要它们处于所附权利要求或其等同物的范围之内。

Claims (11)

1.一种图像处理装置，包括：

成像信息计算单元，其获取由按第一视角拍摄预定范围的第一相机生成的第一图像，获取由多个第二相机生成的多个第二图像，并且计算所述多个第二图像相对于所述第一图像的坐标位置以及所述多个第二相机的成像方向相对于所述第一相机的成像方向的差异来作为拍摄信息，其中，所述多个第二相机中的每一个按比所述第一视角窄的第二视角拍摄所述预定范围的一部分，所述第二图像的分辨率高于所述第一图像；

视点转换单元，其生成视点转换图像并将所述第一图像与所述视点转换图像相匹配以计算所述视点转换图像相对于所述第一图像的相位偏离，所述视点转换图像是通过基于由所述成像信息计算单元计算出的成像方向的差异转换所述多个第二图像以使所述多个第二相机的视点与所述第一相机的视点相吻合来获得的；以及

图像合成单元，其从所述多个第二图像中提取由高于或等于预定频带的频率分量形成的高频图像，并且将所述高频图像粘贴在与所述第一图像相对应的坐标位置处，以便消除由所述视点转换单元计算出的视点转换图像相对于所述第一图像的相位偏离，以生成合成图像。

2.根据权利要求1所述的图像处理装置，还包括：

缩放转换单元，其通过基于由所述成像信息计算单元计算出的坐标位置和与所述第二图像的坐标位置相对应的所述第一图像的部分被缩放的缩放率对所述第一图像的所述部分进行缩放，来生成缩放图像，其中

所述视点转换单元将所述缩放图像与所述视点转换图像相匹配，以计算所述视点转换图像相对于所述第一图像的相位偏离。

3.根据权利要求2所述的图像处理装置，其中

所述视点转换单元包括：

频带分离单元，其从多个第二图像中分离出多个低频图像，该多个低频图像的频率低于所述预定频带；

匹配单元，其将被所述缩放转换单元缩放的缩放图像与由所述频带分离单元分离出的所述多个低频图像相匹配；以及

补偿向量计算单元，其计算被所述匹配单元匹配的所述缩放图像和所述多个低频图像之间的相位偏离来作为补偿向量并将该补偿向量提供给所述图像合成单元，并且其中

所述图像合成单元包括：

减法单元，其从所述第二图像的频率分量中减去由所述频带分离单元分离出的所述多个低频图像的频率分量，以生成所述高频图像；以及

映射单元，其基于从所述补偿向量计算单元提供的补偿向量来校正所述相位偏离，以将所述高频图像映射在与所述缩放图像相对应的坐标位置处。

4.根据权利要求3所述的图像处理装置，其中

所述匹配单元获得关于颜色、亮度和焦点的信息中的至少任一信息作为用来逐个像素地确定所述多个低频图像中的每一个相对于相应的缩放图像的特性量的参数。

5.根据权利要求4所述的图像处理装置，其中

所述成像信息计算单元将所述参数作为以所述第一相机为基准的公共信息来进行管理，并且将所述多个第二相机相对于所述公共信息的信息作为个体信息来进行管理。

6.根据权利要求5所述的图像处理装置，其中

所述多个低频图像的频带与所述缩放图像的频带相匹配。

7.根据权利要求5所述的图像处理装置，其中

被所述缩放转换单元转换的所述第一图像的缩放率是可变的，并且其中

所述频带分离单元进行分离的预定频率的值是通过乘以由所述成像信息计算单元计算出的缩放率的倒数而获得的值。

8.根据权利要求6所述的图像处理装置，其中

所述第二相机中的每一个基于所述缩放率来为每个成像区域改变分辨率和亮度，基于与被摄物的距离来为每个成像区域改变焦点，根据所拍摄的图像的颜色来为每个成像区域改变白平衡，并且改变对被摄物的视点。

9.一种图像处理方法，包括以下步骤：

获取由按第一视角拍摄预定范围的第一相机生成的第一图像，获取由多个第二相机生成的多个第二图像，并且随后计算所述多个第二图像相对于所述第一图像的坐标位置以及所述多个第二相机的成像方向相对于所述第一相机的成像方向的差异来作为拍摄信息，其中，所述多个第二相机中的每一个按比所述第一视角窄的第二视角拍摄所述预定范围的一部分，所述第二图像的分辨率高于所述第一图像；

生成视点转换图像并随后将所述第一图像与所述视点转换图像相匹配以计算所述视点转换图像相对于所述第一图像的相位偏离，所述视点转换图像是通过基于所述成像方向的差异转换所述多个第二图像以使得所述多个第二相机的视点与所述第一相机的视点相吻合来获得的；以及

从所述多个第二图像中提取由高于或等于预定频带的频率分量形成的高频图像，并且随后将所述高频图像粘贴在与所述第一图像相对应的坐标位置处，以便消除所述视点转换图像相对于所述第一图像的相位偏离，以生成合成图像。

10.一种程序，用于使得计算机执行包括以下步骤的处理：

获取由按第一视角拍摄预定范围的第一相机生成的第一图像，获取由多个第二相机生成的多个第二图像，并且随后计算所述多个第二图像相对于所述第一图像的坐标位置以及所述多个第二相机的成像方向相对于所述第一相机的成像方向的差异来作为拍摄信息，其中，所述多个第二相机中的每一个按比所述第一视角窄的第二视角拍摄所述预定范围的一部分，所述第二图像的分辨率高于所述第一图像；

生成视点转换图像并随后将所述第一图像与所述视点转换图像相匹配以计算所述视点转换图像相对于所述第一图像的相位偏离，所述视点转换图像是通过基于所述成像方向的差异转换所述多个第二图像以使得所述多个第二相机的视点与所述第一相机的视点相吻合来获得的；以及

从所述多个第二图像中提取由高于或等于预定频带的频率分量形成的高频图像，并且随后将所述高频图像粘贴在与所述第一图像相对应的坐标位置处，以便消除所述视点转换图像相对于所述第一图像的相位偏离，以生成合成图像。

11.一种记录介质，记录有根据权利要求10所述的程序。

Images