CN107615749A - 信号处理装置和成像装置 - Google Patents

Abstract

根据本公开一个实施方案的信号处理装置设置有合成部，所述合成部通过将第一成像数据的低频分量、所述第一成像数据的高频分量和第二成像数据的高频分量彼此相加而生成第一合成成像数据，所述第一成像数据是视角彼此不同的两条成像数据之中的相对较宽视角的成像数据，所述第二成像数据是所述两条成像数据之中的相对较窄视角的成像数据。

Description

信号处理装置和成像装置

技术领域

本公开涉及信号处理装置和成像装置。

背景技术

之前人们就已经提出了使用两个成像设备来拍摄宽视野且高分辨率的图像的成像系统(例如，参照专利文献1)。据说，在现有的成像系统中，例如，用相对较窄视角的成像数据中的高频分量替换相对较宽视角的成像数据中的高频分量使得可以获得宽视野且高分辨率的图像。

引用文献列表

专利文献

专利文献1：日本未审查专利申请公开第2003-134375号

发明内容

然而，在现有的成像系统中，相对较窄视角的成像数据包含模糊。因此，用相对较窄视角的成像数据中的高频分量替换相对较宽视角的成像数据中的高频分量仅会导致分辨率降低的可能性。因此，期望的是，提供一种使得可以以简单方法避免由图像合成引起的分辨率降低的信号处理装置和成像装置。

根据本公开实施方案的第一信号处理装置包括合成部，所述合成部通过将第一成像数据的低频分量、所述第一成像数据的高频分量和第二成像数据的高频分量相加而生成第一合成成像数据。所述第一成像数据是视角彼此不同的两条成像数据之中的相对较宽视角的成像数据。所述第二成像数据是所述两条成像数据之中的相对较窄视角的成像数据。

根据本公开实施方案的第一成像装置包括两个成像设备，所述两个成像设备生成视角彼此不同的各条成像数据。所述成像装置还包括合成部，所述合成部通过将第一成像数据的低频分量、所述第一成像数据的高频分量和第二成像数据的高频分量相加而生成第一合成成像数据。所述第一成像数据是由所述两个成像设备中的一者生成的并具有相对较宽视角的所述成像数据。所述第二成像数据是由所述两个成像设备中的另一者生成的并具有相对较窄视角的所述成像数据。

在根据本公开实施方案的第一信号处理装置和第一成像装置中，通过将所述第一成像数据的低频分量、所述第一成像数据的高频分量和所述第二成像数据的高频分量相加而生成所述第一合成成像数据。所述第一成像数据具有相对较宽视角。所述第二成像数据具有相对较窄视角。因此，与用相对较窄视角的所述第二成像数据的高频分量替换相对较宽视角的所述第一成像数据的高频分量的情况相比，使用包括模糊的所述第二成像数据可以减轻模糊的影响。

根据本公开实施方案的第二信号处理装置包括合成部，在第一成像数据的高频分量大于第二成像数据的高频分量的情况下，所述合成部通过将所述第一成像数据的低频分量和所述第二成像数据的高频分量相加而生成第一合成成像数据。所述第一成像数据是视角彼此不同的两条成像数据之中的相对较宽视角的所述成像数据。所述第二成像数据是所述两条成像数据之中的相对较窄视角的所述成像数据。此外，在所述第一成像数据的高频分量小于所述第二成像数据的高频分量的情况下，所述合成部通过将所述第一成像数据的低频分量和所述第一成像数据的高频分量相加而生成第二合成成像数据。

根据本公开实施方案的第二成像装置包括两个成像设备，所述两个成像设备生成视角彼此不同的各条成像数据。所述成像装置包括合成部，在第一成像数据的高频分量大于第二成像数据的高频分量的情况下，所述合成部通过将所述第一成像数据的低频分量和所述第二成像数据的高频分量相加而生成第一合成成像数据。所述第一成像数据是由所述两个成像设备中的一者生成的并具有相对较宽视角的所述成像数据。所述第二成像数据是由所述两个成像设备中的另一者生成的并具有相对较窄视角的所述成像数据。此外，在所述第一成像数据的高频分量小于所述第二成像数据的高频分量的情况下，所述合成部通过将所述第一成像数据的低频分量和所述第一成像数据的高频分量相加而生成第二合成成像数据。

在根据本公开实施方案的第二信号处理装置和第二成像装置中，在所述第一成像数据的高频分量大于所述第二成像数据的高频分量的情况下，通过将所述第一成像数据的低频分量和所述第二成像数据的高频分量相加而生成所述第一合成成像数据。所述第一成像数据是相对较宽视角的成像数据。所述第二成像数据是相对较窄视角的成像数据。此外，在所述第一成像数据的高频分量小于所述第二成像数据的高频分量的情况下，通过将所述第一成像数据的低频分量和所述第一成像数据的高频分量相加而生成所述第二合成成像数据。因此，与用相对较窄视角的所述第二成像数据的高频分量替换相对较宽视角的所述第一成像数据的高频分量的情况相比，使用包括模糊的所述第二成像数据可以减轻模糊的影响。

根据本公开实施方案的第一信号处理装置和第一成像装置，通过将所述第一成像数据的低频分量、所述第一成像数据的高频分量和所述第二成像数据的高频分量相加而生成所述第一合成成像数据。所述第一成像数据具有相对较宽视角。所述第二成像数据具有相对较窄视角。因此，使用包括模糊的所述第二成像数据可以减轻模糊的影响。因此，可以以简单的方法避免由图像合成引起的分辨率降低。

根据本公开实施方案的第二信号处理装置和第二成像装置，在所述第一成像数据的高频分量大于所述第二成像数据的高频分量的情况下，通过将所述第一成像数据的低频分量和所述第二成像数据的高频分量相加而生成所述第一合成成像数据。所述第一成像数据是相对较宽视角的成像数据。所述第二成像数据是相对较窄视角的成像数据。另一方面，在所述第一成像数据的高频分量小于所述第二成像数据的高频分量的情况下，通过将所述第一成像数据的低频分量和所述第一成像数据的高频分量相加而生成所述第二合成成像数据。因此，使用包括模糊的所述第二成像数据可以减轻模糊的影响。因此，可以以简单的方法避免由图像合成引起的分辨率降低。

需要指出的是，本公开的效果不一定限于上述效果，且可以包括本文中所说明的任意效果。

附图说明

图1是图示了根据本公开第一实施方案的成像装置的示意性构成的一个示例的图。

图2是图示了成像装置的示意性构成的一个示例的图。

图3是图示了图1和图2中的成像装置的功能块的一个示例的图。

图4是图示了图3中的成像元件的像素阵列的一个示例的图。

图5是图示了图3中的合成处理部的信号处理的概念的一个示例的图。

图6是图示了图3中的合成处理部的功能块的一个示例的图。

图7是图示了图6中的合成处理部的信号处理过程的一个示例的图。

图8是图示了像素内插的一个示例的图。

图9是图示了在中心像素是G像素的情况下的内插滤波器的一个示例的图。

图10是图示了在中心像素是R像素或B像素的情况下的内插滤波器的一个示例的图。

图11是图示了图6中的融合部中的信号处理过程概要的一个示例的图。

图12是图示了图6中的融合部的内部构成的一个示例的图。

图13是图示了图11中的融合部的地图创建过程的一个示例的图。

图14是图示了图11中的融合部中的信号处理过程的一个示例的图。

图15是图示了图6中的LPF部的内部构成的一个示例的图。

图16是图示了图15的LPF部的内部并排设置的多个LPF部之中的一个滤波器的一个示例的图。

图17是图示了图15的LPF部的内部并排设置的多个LPF部之中的一个滤波器的一个示例的图。

图18A是图示了图6中的相关处理部的相关处理的一个示例的图。

图18B是图示了图6中的相关处理部的相关处理的一个示例的图。

图19是图示了图6中的融合部中的信号处理过程概要的一个示例的图。

图20是图示了图6中的融合部的内部构成的一个示例的图。

图21是图示了图20中的融合部的地图创建过程的一个示例的图。

图22是图示了图20中的融合部中的信号处理过程的一个示例的图。

图23是图示了图6中的融合部中的信号处理过程概要的一个示例的图。

图24是图示了图6中的融合部的内部构成的一个示例的图。

图25是图示了图24中的融合部的地图创建过程的一个示例的图。

图26是图示了图24中的融合部的地图创建过程的一个示例的图。

图27是图示了图24中的融合部中的信号处理过程的一个示例的图。

图28是图示了根据本公开第二实施方案的成像装置的功能块的一个示例的图。

图29是图示了图28中的合成处理部的功能块的一个示例的图。

图30是图示了图29中的融合部中的信号处理过程概要的一个示例的图。

图31是图示了图29中的融合部中的信号处理过程概要的一个示例的图。

图32是图示了图29中的融合部中的信号处理过程概要的一个示例的图。

图33是描绘了车辆控制系统的示意性构成的示例的框图。

图34是示出了车外信息检测部和成像部的安装位置的示例的说明图。

具体实施方式

在下文中，将参照附图详细说明本公开的一些实施方案。需要指出的是，将按下列顺序进行说明。

1.第一实施方案

基于原始(RAW)数据进行合成的示例

2.第一实施方案的变形例

3.第二实施方案

基于彩色图像数据进行合成的示例

4.第二实施方案的变形例

5.共同变形例

[1.第一实施方案]

[构成]

图1和图2图示了根据本公开第一实施方案的成像装置1的示意性构成的一个示例。成像装置1通过使用两个成像设备10和20获得宽视角且高分辨率的图像，和/或在不使用机械变焦机构的情况下来进行光学变焦。

例如，两个成像设备10和20以它们的物理配置彼此相对水平的方式设置。如图1所示，成像设备10的光轴AX1和成像设备20的光轴AX2例如是彼此平行的。如图2所示，光轴AX1和光轴AX2例如可以是彼此不平行的。在这种场合下，优选的是，光轴AX1和光轴AX2指向如下的方向：光轴AX1与光轴AX2之间的间隙随着远离成像装置1而变窄的方向。

如图1和图2所示，成像设备20以成像设备10的成像区域R1中的除了外边缘以外的区域作为成像区域R2。两个成像设备10和20生成视角彼此不同的原始数据Iraw1和Iraw2(成像数据)。成像设备10通过成像而生成相对较宽视角的原始数据Iraw1(第一成像数据)。成像设备20通过成像而生成视角比原始数据Iraw1的视角窄的原始数据Iraw2(第二成像数据)。稍后将给出原始数据Iraw1和Iraw2的详细说明。

图3图示了成像装置1的功能块的一个示例。例如，成像装置1包括两个成像设备10和20、信号处理部30以及控制部40。控制部40控制两个成像设备10和20以及信号处理部30。

[成像设备10]

例如，成像设备10包括成像元件11和光学透镜12。光学透镜12使被摄体光L1能够会聚并进入成像元件11的光入射面。光学透镜12例如被固定在成像设备10中。在这种场合下，成像设备10的焦距被固定为恒定值。例如，成像设备10还可以包括位于设置有成像元件11的光入射面的一侧的光圈和可变光学LPF。稍后将给出成像元件11的说明。

[成像设备20]

例如，成像设备20包括成像元件21和光学透镜22。光学透镜22使被摄体光L2能够会聚并进入成像元件21的光入射面。光学透镜22例如被固定在成像设备20中。在这种场合下，成像设备20的焦距被固定为恒定值。例如，成像设备20还可以包括位于设置有成像元件21的光入射面的一侧的光圈和可变光学LPF。

[成像元件11和21]

接下来将给出成像元件11和21的说明。例如，成像元件11和21包括光接收部和滤色器阵列。光接收部包括多个光电转换元件，所述多个光电转换元件以预定间隔二维地设置着。滤色器阵列被设置在光接收部的光入射面上。成像元件11和21是单板固态成像元件，且例如由单板电荷耦合器件(CCD：charge Coupled Device)图像传感器或单板互补金属氧化物半导体(CMOS：Complementary Metal-Oxide Semiconductor)图像传感器构成。在成像元件11和21中，如图4所示，滤色器阵列具有例如包括RGB阵列的拜耳阵列。需要指出的是，滤色器阵列可以具有例如RGBW阵列，或诸如Y(黄色)、C(青色)和M(品红色)等阵列。需要指出的是，在下文中，将以滤色器阵列具有包括RGB阵列的拜耳阵列的示例性情况给出说明。

成像元件11和21使用光接收部和滤色器阵列而对通过例如光学透镜12和22入射的被摄体光L1和L2进行离散采样。因此，成像元件11和21生成原始数据Iraw1和Iraw2。成像元件11生成相对较宽视角的原始数据Iraw1。例如，通过使成像设备10的焦距相对缩短来获得相对较宽视角的原始数据Iraw1。成像元件21生成视角比原始数据Iraw1的视角窄的原始数据Iraw2。例如，通过使成像设备20的焦距相对延长来获得相对较窄视角的原始数据Iraw2。

原始数据Iraw1和Iraw2中的各者是如下的马赛克数据：在该马赛克数据中，针对各像素设定滤色器阵列中所包含的多种颜色信息之中的任意一种颜色信息。在滤色器阵列具有包括RGB阵列的拜耳阵列的情况下，原始数据Iraw1和Iraw2中的各者是如下的马赛克数据：在该马赛克数据中，针对各像素设定滤色器阵列中所包含的红色信息、绿色信息和蓝色信息之中的任意一种颜色信息。从原始数据Iraw1和Iraw2生成彩色图像数据Icol涉及去马赛克处理，去马赛克处理包括从原始数据Iraw1和Iraw2生成所有像素的所有颜色信息。在本实施方案中，在执行去马赛克处理之前在原始数据Iraw1和Iraw2中执行合成。稍后将给出原始数据Iraw1和Iraw2的合成的详细说明。

[信号处理部30]

接下来将给出信号处理部30的说明。如图3所示，信号处理部30包括例如合成处理部31和相机信号处理部32。合成处理部31通过执行两条原始数据Iraw1和Iraw2彼此之间的合成而生成合成原始数据Iraw。两条原始数据Iraw1和Iraw2是由各个成像设备10和20生成的。相机信号处理部32对在合成处理部31中所生成的合成原始数据Iraw执行去马赛克处理，从而生成彩色图像数据Icol。彩色图像数据Icol以针对各像素包括滤色器阵列中所包含的所有种类的颜色信息的方式构成。在滤色器阵列包括RGB拜耳阵列的情况下，彩色图像数据Icol以针对各像素包括例如RGB颜色信息的方式构成。

图5图示了合成处理部31的信号处理的概念的一个示例。在图5中，由于合成处理部31的信号处理的可理解性优先的关系，所以简化了说明。因此，在图5中，使用了与上述附图标记不同的附图标记。

合成处理部31从成像设备10获取宽图像数据Iwide，且从成像设备20获取远程图像数据(tele image data)Itele。在远程图像数据Itele中，视角小于宽图像数据Iwide的视角。远程图像数据Itele对应于宽图像数据Iwide的除了外边缘以外的预定区域α。合成处理部31基于成像设备10和20的放大倍数且基于宽图像数据Iwide和远程图像数据Itele的图像尺寸来设定预定区域α。

合成处理部31从宽图像数据Iwide分割预定区域α，以生成宽图像数据Iwide'。合成处理部31基于成像设备10和20的放大倍数来缩小远程图像数据Itele，以生成远程图像数据Itele'。合成处理部31执行宽图像数据Iwide'和远程图像数据Itele'彼此之间的合成，以生成合成图像数据Ifusion。假设：成像设备10的放大倍数是1，且成像设备20的放大倍数是2。在这种场合下，例如，在使用者指定的放大倍数为1的情况下，合成处理部31将宽图像数据Iwide输出为合成原始数据Iraw。例如，在使用者指定的放大倍数为2以上的情况下，合成处理部31将通过将远程图像数据Itele放大使用者指定的放大倍数而获得的数据输出为合成原始数据Iraw。例如，在使用者指定的放大倍数为1到2的情况下，合成处理部31将通过用合成图像数据Ifusion替换宽图像数据Iwide中的预定区域α而获得的数据(合成图像数据Imerge)输出为合成原始数据Iraw。

需要指出的是，在现实中，宽图像数据Iwide'和远程图像数据Itele'有时包括由视差引起的位置偏差、以及成像设备10与20之间的灵敏度差异和曝光差异。合成图像数据Ifusion有时包括比成像设备10和20的奈奎斯特(Nyquist)频率高的高频分量。起初，宽图像数据Iwide'和远程图像数据Itele'是马赛克数据。因此，为了执行宽图像数据Iwide'和远程图像数据Itele'彼此之间的精确合成，优选的是，针对宽图像数据Iwide'和远程图像数据Itele'进行像素内插(interpolation)。因此，优选的是，合成处理部31对宽图像数据Iwide'和远程图像数据Itele'执行下列各种各样的信号处理。

图6图示了合成处理部31的功能块的一个示例。图7图示了合成处理部31的信号处理过程的一个示例。

合成处理部31包括对准部130和合成部140。对准部130基于由各个成像设备10和20生成的两条原始数据Iraw1和Iraw2而生成两条原始数据Iraw1和Iraw2的对准数据。合成部140基于由对准部130生成的对准数据而执行两条原始数据Iraw1和Iraw2彼此之间的合成。

例如，对准部130包括分割部131、增益校正部132、像素校正部133和134、缩小部135以及视差计算部136。

分割部131指定原始数据Iraw1中的融合区域β(对应于图5中的区域α)。融合区域β是将来要经历与原始数据Iraw2的合成的区域。具体地，分割部131基于成像设备10和20的放大倍数且基于原始数据Iraw1和Iraw2的图像尺寸来指定融合区域β。例如，分割部131基于成像设备10和20的放大倍数且基于原始数据Iraw1和Iraw2的图像尺寸来指定原始数据Iraw1中的融合区域β的坐标。例如，基于所指定的坐标，分割部131从原始数据Iraw1中分割出与融合区域β对应的原始数据Iraw1a(步骤S101)。

需要指出的是，合成处理部31可以针对原始数据Iraw1a和原始数据Iraw2执行光学黑体(OPB：Optical Black)减法。OPB减法指的是排除由例如暗电流引起的噪声分量。例如，合成处理部31可以从原始数据Iraw1a和Iraw2排除在成像设备10和20被遮光的情况下引起的噪声分量。在这种场合下，在噪声分量的排除导致出现如下的像素的情况下：该像素的值在原始数据Iraw1a和Iraw2中变为负，合成处理部31存储相关像素的坐标。

增益校正部132针对原始数据Iraw1a和Iraw2中的每种颜色信息计算增益比(例如，RGB增益比)。例如，增益校正部132针对每种颜色信息计算原始数据Iraw1a中的平均值，且针对每种颜色信息计算原始数据Iraw2中的平均值。例如，增益校正部132针对每种颜色信息基于原始数据Iraw1a和Iraw2中的针对每种颜色信息的平均值的比值来计算校正增益。基于所计算的校正增益，增益校正部132校正原始数据Iraw2(步骤S102)，从而生成原始数据Iraw2a。

像素校正部133基于原始数据Iraw1a中所包含的预定种类的颜色信息(例如，绿色信息)来执行原始数据Iraw1a中所包含的所有像素的内插。因此，像素校正部133生成内插的原始数据Iraw1b作为对准数据(步骤S103)。内插的原始数据Iraw1b包括预定种类的颜色信息(例如，绿色信息)。像素校正部134基于原始数据Iraw2a中所包含的预定种类的颜色信息(例如，绿色信息)来执行原始数据Iraw2a中所包含的所有像素的内插。因此，像素校正部134生成内插的原始数据Iraw2b作为对准数据。内插的原始数据Iraw2b包括预定种类的颜色信息(例如，绿色信息)。

例如，如图8所示，像素校正部133从包括拜耳阵列(包括RGB阵列)的原始数据Iraw1a生成内插的原始数据Iraw1b。内插的原始数据Iraw1b包括绿色信息。此外，例如，如图8所示，像素校正部134从包括拜耳阵列(包括RGB阵列)的原始数据Iraw2a生成内插的原始数据Iraw2b。内插的原始数据Iraw2b包括绿色信息。在这种场合下，在中心像素(作为内插目标的像素)是G像素的情况下，像素校正部133使用例如如图9所示的内插滤波器F来校正中心像素的绿色信息。而且，在中心像素(作为内插目标的像素)是R像素或B像素的情况下，像素校正部133用使用例如如图10所示的内插滤波器F生成的绿色信息替换中心像素的颜色信息。

缩小部135基于成像设备10和20的放大倍数来缩小内插的原始数据Iraw2b(步骤S104)。视差计算部136基于内插的原始数据Iraw1b和Iraw2c来计算视差信息Disp而作为对准数据(步骤S105)。视差信息Disp对应于由成像设备10和20彼此之间的位置不一致引起的图像上的位置偏差量。例如，视差计算部136使用例如两个图像之间的运动矢量估计方法(motion vector estimation method)从内插的原始数据Iraw1b和Iraw2c生成视差信息Disp。

例如，合成部140包括融合部141、LPF部142、相关处理部143、合并部144和选择部145。

融合部141通过执行两条内插的原始数据Iraw1b和Iraw2c的合成来生成合成原始数据Iraw3a(步骤S106)。具体地，融合部141通过基于视差信息Disp来执行两条内插的原始数据Iraw1b和Iraw2c的合成而生成合成原始数据Iraw3a。

图11图示了融合部141中的信号处理过程概要的一个示例。融合部141判定相对较窄视角的内插的原始数据Iraw2c的高频分量Iraw2c_H是否大于相对较宽视角的内插的原始数据Iraw1b的高频分量Iraw1b_H(步骤S201)。结果，在内插的原始数据Iraw2c的高频分量Iraw2c_H大于内插的原始数据Iraw1b的高频分量Iraw1b_H的情况下，融合部141通过将内插的原始数据Iraw1b的低频分量Iraw1b_L和内插的原始数据Iraw2c的高频分量Iraw2c_H相加而生成合成原始数据Iraw3a(第二合成成像数据)(步骤S202)。例如，在内插的原始数据Iraw2c的高频分量Iraw2c_H大于内插的原始数据Iraw1b的高频分量Iraw1b_H的各像素中，融合部141通过将内插的原始数据Iraw1b的低频分量Iraw1b_L和内插的原始数据Iraw2c的高频分量Iraw2c_H相加而生成合成原始数据Iraw3a。

在内插的原始数据Iraw2c的高频分量Iraw2c_H等于内插的原始数据Iraw1b的高频分量Iraw1b_H的情况下，融合部141通过将例如内插的原始数据Iraw1b的低频分量Iraw1b_L和内插的原始数据Iraw2c的高频分量Iraw2c_H相加而生成合成原始数据Iraw3a(步骤S202)。例如，在内插的原始数据Iraw2c的高频分量Iraw2c_H等于内插的原始数据Iraw1b的高频分量Iraw1b_H的各像素中，融合部141通过将例如内插的原始数据Iraw1b的低频分量Iraw1b_L和内插的原始数据Iraw2c的高频分量Iraw2c_H相加而生成合成原始数据Iraw3a。

在内插的原始数据Iraw2c的高频分量Iraw2c_H小于内插的原始数据Iraw1b的高频分量Iraw1b_H的情况下，融合部141通过将内插的原始数据Iraw1b的低频分量Iraw1b_L、内插的原始数据Iraw1b的高频分量Iraw1b_H和内插的原始数据Iraw2c的高频分量Iraw2c_H相加而生成合成原始数据Iraw3a(第一合成成像数据)(步骤S203)。例如，在内插的原始数据Iraw2c的高频分量Iraw2c_H小于内插的原始数据Iraw1b的高频分量Iraw1b_H的各像素中，融合部141通过将内插的原始数据Iraw1b的低频分量Iraw1b_L、内插的原始数据Iraw1b的高频分量Iraw1b_H和内插的原始数据Iraw2c的高频分量Iraw2c_H相加而生成合成原始数据Iraw3a。

图12图示了融合部141的内部构成的一个示例。例如，融合部141包括LPF部141A、HPF部141B、视差校正部141C、模糊校正部141D和叠加部141E。LPF部141A通过提取内插的原始数据Iraw1b中的低频分量而生成内插的原始数据Iraw1c。HPF部141B通过提取内插的原始数据Iraw2c中的高频分量而生成内插的原始数据Iraw2d。视差校正部141C通过基于视差信息Disp来校正内插的原始数据Iraw2d而生成内插的原始数据Iraw2e。模糊校正部141D基于内插的原始数据Iraw1b且基于内插的原始数据Iraw2e来生成内插的原始数据Iraw4。叠加部141E通过将内插的原始数据Iraw4添加到内插的原始数据Iraw1c来生成合成原始数据Iraw3a。

内插的原始数据Iraw4对应于内插的原始数据Iraw2c的高频分量Iraw2c_H，或对应于通过将内插的原始数据Iraw1b的高频分量Iraw1b_H和内插的原始数据Iraw2c的高频分量Iraw2c_H相加而获得的原始数据。在内插的原始数据Iraw2c的高频分量Iraw2c_H大于内插的原始数据Iraw1b的高频分量Iraw1b_H的情况下，内插的原始数据Iraw4对应于内插的原始数据Iraw2c的高频分量Iraw2c_H。在内插的原始数据Iraw2c的高频分量Iraw2c_H小于内插的原始数据Iraw1b的高频分量Iraw1b_H的情况下，内插的原始数据Iraw4对应于通过将内插的原始数据Iraw1b的高频分量Iraw1b_H和内插的原始数据Iraw2c的高频分量Iraw2c_H相加而获得的原始数据。

例如，模糊校正部141D包括HPF部141F、绝对值处理部141G和141H、地图创建部141J以及选择部141M。

HPF部141F通过提取内插的原始数据Iraw1b中的高频分量而生成内插的原始数据Iraw1d。绝对值处理部141G通过将内插的原始数据Iraw1d中所包含的各数据的符号重写为正号而生成内插的原始数据Iraw1e。绝对值处理部141H通过将内插的原始数据Iraw2e中所包含的各数据的符号重写为正号而生成内插的原始数据Iraw2f。地图创建部141J基于内插的原始数据Iraw1e且基于内插的原始数据Iraw2f而生成地图Imap1。选择部141M基于内插的原始数据Iraw1d、基于内插的原始数据Iraw2e且基于地图Imap1而生成内插的原始数据Iraw4。

图13图示了地图创建部141J的地图创建过程的一个示例。需要指出的是，图13中的N是内插的原始数据Iraw1e(x，y)和内插的原始数据Iraw2f(x，y)中的x的上限值。图13中的M是内插的原始数据Iraw1e(x，y)和内插的原始数据Iraw2f(x，y)中的y的上限值。

地图创建部141J创建如下的地图：该地图对是否在合成中使用内插的原始数据Iraw1b的高频分量Iraw1b_H(内插的原始数据Iraw1d)做出选择。地图创建部141J在内插的原始数据Iraw1e(x，y)和Iraw2f(x，y)中设定x＝0和y＝1(步骤S301)。其后，地图创建部141J让x加1(步骤S302)。其后，地图创建部141J判定x是否大于N(步骤S303)。结果，在x不大于N的情况下，地图创建部141J在设定的x和y坐标处判定内插的原始数据Iraw2f(x，y)是否等于或大于内插的原始数据Iraw1e(x，y)(步骤S304)。结果，在内插的原始数据Iraw2f(x，y)等于或大于内插的原始数据Iraw1e(x，y)的情况下，地图创建部141J在设定的x和y坐标处将0写入地图Imap1(x，y)中(步骤S305)。在内插的原始数据Iraw2f(x，y)小于内插的原始数据Iraw1e(x，y)的情况下，地图创建部141J在设定的x和y坐标处将1写入地图Imap1(x，y)中(步骤S306)。地图创建部141J执行步骤S305和S306，其后返回到步骤S302。

在步骤S303中，在x大于N的情况下，地图创建部141J判定y是否大于M(步骤S307)。结果，在y大于M的情况下，地图创建部141J结束地图Imap1(x，y)的创建。在y不大于M的情况下，地图创建部141J在使x变为0的同时让y加1，且返回到步骤S302(步骤S308)。地图创建部141J在M×N矩阵的所有坐标处重复地执行步骤S302至S308，从而创建地图Imap1(x，y)。

图14图示了选择部141M的融合目标数据的选择过程的一个示例。需要指出的是，图14中的N是地图Imap1(x，y)中的x的上限值。图14中的M是地图Imap1(x，y)中的y的上限值。

选择部141M通过针对各像素从内插的原始数据Iraw1b的高频分量(内插的原始数据Iraw1d)和内插的原始数据Iraw2c的高频分量(内插的原始数据Iraw2e)中选择要添加到内插的原始数据Iraw1b的低频分量的数据来生成内插的原始数据Iraw4。选择部141M在内插的原始数据Iraw1d(x，y)、内插的原始数据Iraw2e(x，y)和地图Imap1(x，y)中设定x＝0和y＝1(步骤S401)。其后，选择部141M让x加1(步骤S402)。其后，选择部141M判定x是否大于N(步骤S403)。结果，在x不大于N的情况下，选择部141M在设定的x和y坐标处将通过使内插的原始数据Iraw1d(x，y)和地图Imap1(x，y)相乘而获得数据和内插的原始数据Iraw2e(x，y)相加(步骤S404)。在执行步骤S404之后，选择部141M返回到步骤S402。在x大于N的情况下，选择部141M判定y是否大于M(步骤S405)。结果，在y大于M的情况下，选择部141M结束内插的原始数据Iraw4(x，y)的创建。在y不大于M的情况下，选择部141M在使x变为0的同时让y加1，且返回到步骤S402(步骤S406)。选择部141M在M×N矩阵的所有坐标处重复地执行步骤S402至S406，从而创建内插的原始数据Iraw4(x，y)。

需要指出的是，例如，融合部141可以包括地图处理部，该地图处理部在将内插的原始数据Iraw4添加到内插的原始数据Iraw1c时对内插的原始数据Iraw4执行地图处理。作为地图，例如，基于融合结果、输入信号和视差信息Disp，检测融合可能失败的位置，以生成融合可靠性。使用该地图来降低低可靠性位置的融合效果使得在最后结果中检测融合失败可能变得困难。而且，在已经执行了原始数据Iraw3c和原始数据Iraw1彼此之间的合成的情况下，为了使在原始数据Iraw3c与原始数据Iraw1之间的界限处的分辨率变化变平滑，也可以使用地图。原始数据Iraw3c是由稍后说明的相关处理部143生成的。在这种情况下，地图的形状具有如下的形状：该形状会随着靠近合成数据的外边缘而逐步地降低融合效果。

LPF部142通过使合成原始数据Iraw3a中所包含的大于各个成像设备10和20的奈奎斯特频率的高频分量衰减而生成合成原始数据Iraw3b(步骤S107)。这使得抑制伪色的发生。图15图示了LPF部142的内部构成的一个示例。LPF部142具有如下的构成：在该构成中，例如，截止频率彼此不同的多个LPF并排地设置着。例如，LPF部142包括第一路径P1、第二路径P2和第三路径P3。第一路径P1包括串联连接的LPF142A和增益部142D。第二路径P2包括串联连接的LPF 142B和增益部142E。在第三路径P3中，只设置有增益部142C。例如，如图16所示，LPF 142A具有成像设备10的奈奎斯特频率Nyq1作为截止频率，且LPF142A具有如下的滤波器特性：衰减率随着靠近截止频率而增大。例如，如图17所示，LPF 142B具有位于成像设备10的奈奎斯特频率Nyq1与成像设备20的奈奎斯特频率Nyq2之间的频率作为截止频率，且LPF142B具有如下的滤波器特性：衰减率随着靠近截止频率而增大。因此，在LPF部142中，从LPF部142A和142B中进行选择使得可以相对于高频带的衰减来调节强弱。

第一路径P1、第二路径P2和第三路径P3彼此并联连接。LPF部142被配置成根据来自控制部40的控制信号来使各个增益部142C、142D和142E的增益彼此独立地设定。因此，例如，在控制信号被输入到LPF部142中以便促使增益部142C和142D的增益变为0且促使增益部142E的增益变为1的情况下，LPF部142充当LPF部142B。而且，例如，在控制信号被输入到LPF部142中以便促使增益部142C的增益变为0且促使增益部142D和142E的增益变为1的情况下，LPF部142充当并排设置的LPF部142A和142B。

相关处理部143对合成原始数据Iraw3a、或对通过对合成原始数据Iraw3a执行预定处理而获得的数据(合成原始数据Iraw3b)执行相关处理(步骤S108)。相关处理部143将色差分量(Iraw1-Iraw1b)添加到合成原始数据Iraw3a或合成原始数据Iraw3b。色差分量是原始数据Iraw1与内插的原始数据Iraw1b之间的差。在相关处理中还可以使用色比(colorratio)。例如，如图18B所示，相关处理部143可以使合成原始数据Iraw3a或合成原始数据Iraw3b与色比分量(Iraw1/Iraw1b)相乘。色比分量是原始数据Iraw1与内插的原始数据Iraw1b的比值。因此，相关处理部143生成具有与原始数据Iraw1和Iraw2的阵列对应的阵列的原始数据Iraw3c。

合并部144通过执行原始数据Iraw1和原始数据Iraw3c彼此之间的合成而生成用于去马赛克处理的原始数据Iraw3d(第四原始数据)(步骤S109)。在这种场合下，合并部144通过在原始数据Iraw3c的外围中设置例如颜色信息为0的框形区域而将原始数据Iraw3c的图像尺寸调节到原始数据Iraw1的图像尺寸。其后，例如，合并部144促使原始数据Iraw1之中的融合区域α的颜色信息变为0。此外，例如，合并部144将调节到原始数据Iraw1的图像尺寸的原始数据Iraw3c添加到原始数据Iraw1。换言之，例如，合并部144用原始数据Iraw3c替换原始数据Iraw1之中的融合区域α。

需要指出的是，在合成处理部31已经执行了OPB减法的情况下，合并部144可以在执行合成处理之前将利用OPB减法排除的噪声分量添加到原始数据Iraw3c，同样要考虑符号。

选择部145根据使用者指定的放大倍数来选择将要输出的合成原始数据Iraw。假设：成像设备10的放大倍数是1，且成像设备20的放大倍数是2。在这种场合下，例如，在使用者指定的放大倍数为1的情况下，选择部145输出原始数据Iraw1作为合成原始数据Iraw。例如，在使用者指定的放大倍数为2以上的情况下，合成处理部31输出通过将原始数据Iraw2放大使用者指定的放大倍数而获得的数据作为合成原始数据Iraw。例如，在使用者指定的放大倍数为1到2的情况下，合成处理部31输出原始数据Iraw3d作为合成原始数据Iraw。

[效果]

接下来将说明成像装置1的效果。

先前已经提出了使用两个成像设备来拍摄宽视野且高分辨率的图像的成像系统。在现有的成像系统中，例如，用相对较窄视角的成像数据中的高频分量替换相对较宽视角的成像数据中的高频分量使得可以获得宽视野且高分辨率的图像。然而，在现有的成像系统中，相对较窄视角的成像数据包括模糊。因此，用相对较窄视角的成像数据中的高频分量替换相对较宽视角的成像数据中的高频分量仅会导致分辨率降低的可能性。

另一方面，在本实施方案中，合成原始数据Iraw3a是通过将相对较宽视角的内插的原始数据Iraw1b的低频分量Iraw1b_L、相对较宽视角的内插的原始数据Iraw1b的高频分量Iraw1b_H和相对较窄视角的内插的原始数据Iraw2c的高频分量Iraw2c_H相加而生成的。因此，与用相对较窄视角的内插的原始数据Iraw2c的高频分量替换相对较宽视角的内插的原始数据Iraw1b中的高频分量的情况相比，使用包括模糊的内插的原始数据Iraw2c，可以减轻模糊的影响。因此，可以以简单的方法避免由图像合成引起的分辨率降低。

而且，在本实施方案中，在内插的原始数据Iraw2c的高频分量Iraw2c_H大于内插的原始数据Iraw1b的高频分量Iraw1b_H的各像素中，通过将内插的原始数据Iraw1b的低频分量Iraw1b_L和内插的原始数据Iraw2c的高频分量Iraw2c_H相加而生成合成原始数据Iraw3a。在这种场合下，内插的原始数据Iraw2c的高频分量Iraw2c_H不存在影响合成的模糊。因此，可以获得宽视野且高分辨率的图像。

而且，在本实施方案中，在内插的原始数据Iraw2c的高频分量Iraw2c_H小于内插的原始数据Iraw1b的高频分量Iraw1b_H的各像素中，通过将内插的原始数据Iraw1b的低频分量Iraw1b_L、内插的原始数据Iraw1b的高频分量Iraw1b_H和内插的原始数据Iraw2c的高频分量Iraw2c_H相加而生成合成原始数据Iraw3a。在这种场合下，估计内插的原始数据Iraw2c的高频分量Iraw2c_H包括影响合成的模糊。然而，在合成中也使用内插的原始数据Iraw1b的高频分量Iraw1b_H。这使得可以减小所估计的存在于内插的原始数据Iraw2c的高频分量Iraw2c_H中的模糊的影响。因此，可以以简单的方法避免由图像合成引起的分辨率降低。

而且，在本实施方案中，成像设备10的成像区域R1的除了外围以外的区域可以充当成像设备20的成像区域R2。此外，在本实施方案中，相对较宽视角的原始数据Iraw1和视角比原始数据Iraw1的视角窄的原始数据Iraw2是由成像设备10和20生成的。因此，所执行的是原始数据Iraw1的除了外围以外的预定区域(融合区域β)和原始数据Iraw2彼此之间的合成。换言之，原始数据Iraw2被拟合到框架状原始数据Iraw1中。结果，使用两个成像设备10和20，可以获得宽视角且高分辨率的图像，和/或可以在不使用机械变焦机构的情况下执行光学变焦。

而且，在本实施方案中，原始数据Iraw1和Iraw2中所包含的所有像素的内插是基于原始数据Iraw1和Iraw2中所包含的预定种类的颜色信息执行的。因此，可以以与对原始数据Iraw1和Iraw2执行去马赛克处理之后执行合成处理的情况相同的精度水平执行合成处理。

而且，在本实施方案中，作为对准信息的视差信息Disp是基于从两条原始数据Iraw1和Iraw2生成的两条内插的原始数据Iraw1b和Iraw2b生成的。因此，使用视差信息Disp使得可以提高内插的原始数据Iraw1b和内插的原始数据Iraw2c的合成的精度。

而且，在本实施方案中，被LPF 142衰减的是合成原始数据Iraw3a中所包含的大于各个成像设备10和20的奈奎斯特频率的高频分量。因此，在执行原始数据Iraw1和原始数据Iraw3c彼此之间的合成的情况下，可以抑制伪色的发生。此外，在本实施方案中，LPF部142A和LPF 142B被并排布置着，且可以从LPF部142A和LPF 142B中选择任意一者。因此，从LPF部142A和LPF 142B中进行选择使得可以相对于高频带的衰减来调节强弱。

而且，在本实施方案中，色差分量(Iraw1-Iraw1b)被添加到合成原始数据Iraw3a、或通过对合成原始数据Iraw3a执行预定处理而获得的数据(合成原始数据Iraw3b)。因此，在本实施方案中，合成处理是在减少颜色信息的同时被执行的，其后，将所丢失的颜色信息恢复到合成原始数据Iraw3a或合成原始数据Iraw3b。因此，在本实施方案中，可以在降低合成处理中所涉及的处理成本和功耗的同时提高合成的精度。

而且，在本实施方案中，对通过执行原始数据Iraw1和原始数据Iraw3c彼此之间的合成而生成的原始数据Iraw3d执行去马赛克处理。因此，在本实施方案中，在基于原始数据的合成被执行之后才执行去马赛克处理。因此，与在执行去马赛克处理之后才执行合成的情况相比，可以降低处理成本和功耗。

[2.第一实施方案的变形例]

接下来将给出根据上述实施方案的成像装置1的变形例的说明。

[变形例A]

图19图示了根据本变形例的融合部141中的信号处理过程概要的一个示例。融合部141判定相对较窄视角的内插的原始数据Iraw2c的高频分量Iraw2c_H是否大于相对较宽视角的内插的原始数据Iraw1b的高频分量Iraw1b_H(步骤S201)。结果，在内插的原始数据Iraw2c的高频分量Iraw2c_H大于内插的原始数据Iraw1b的高频分量Iraw1b_H的情况下，融合部141通过将内插的原始数据Iraw1b的低频分量Iraw1b_L和内插的原始数据Iraw2c的高频分量Iraw2c_H相加而生成合成原始数据Iraw3a(步骤S202)。例如，在内插的原始数据Iraw2c的高频分量Iraw2c_H大于内插的原始数据Iraw1b的高频分量Iraw1b_H的各像素中，融合部141通过将内插的原始数据Iraw1b的低频分量Iraw1b_L和内插的原始数据Iraw2c的高频分量Iraw2c_H相加而生成合成原始数据Iraw3a。

在内插的原始数据Iraw2c的高频分量Iraw2c_H等于内插的原始数据Iraw1b的高频分量Iraw1b_H的情况下，融合部141通过将例如内插的原始数据Iraw1b的低频分量Iraw1b_L和内插的原始数据Iraw2c的高频分量Iraw2c_H相加而生成合成原始数据Iraw3a(步骤S202)。例如，在内插的原始数据Iraw2c的高频分量Iraw2c_H等于内插的原始数据Iraw1b的高频分量Iraw1b_H的各像素中，融合部141通过将例如内插的原始数据Iraw1b的低频分量Iraw1b_L和内插的原始数据Iraw2c的高频分量Iraw2c_H相加而生成合成原始数据Iraw3a。

在内插的原始数据Iraw2c的高频分量Iraw2c_H小于内插的原始数据Iraw1b的高频分量Iraw1b_H的情况下，融合部141通过将内插的原始数据Iraw1b的低频分量Iraw1b_L和内插的原始数据Iraw1b的高频分量Iraw1b_H相加而生成合成原始数据Iraw3a(步骤S204)。例如，在内插的原始数据Iraw2c的高频分量Iraw2c_H小于内插的原始数据Iraw1b的高频分量Iraw1b_H的各像素中，融合部141通过将内插的原始数据Iraw1b的低频分量Iraw1b_L和内插的原始数据Iraw1b的高频分量Iraw1b_H相加而生成合成原始数据Iraw3a。

图20图示了根据本变形例的融合部141的内部构成的一个示例。例如，融合部141包括LPF部141A、HPF 141B、视差校正部141C、模糊校正部141D和叠加部141E。在本变形例中，地图创建部141J创建用于从内插的原始数据Iraw1d和内插的原始数据Iraw2e中选择任意一者的地图Imap1。选择部141M通过基于地图Imap1从内插的原始数据Iraw1d和内插的原始数据Iraw2e中选择任意一者来生成内插的原始数据Iraw4。

图21图示了地图创建部141J的地图创建过程的一个示例。需要指出的是，图21中的N是内插的原始数据Iraw1e(x，y)和内插的原始数据Iraw2f(x，y)中的x的上限值。图21中的M是内插的原始数据Iraw1e(x，y)和内插的原始数据Iraw2f(x，y)中的y的上限值。

地图创建部141J创建如下的地图：该地图对是否在合成中使用内插的原始数据Iraw1b的高频分量Iraw1b_H(内插的原始数据Iraw1d)做出选择。地图创建部141J在内插的原始数据Iraw1e(x，y)和Iraw2f(x，y)中设定x＝0和y＝1(步骤S301)。其后，地图创建部141J让x加1(步骤S302)。其后，地图创建部141J判定x是否大于N(步骤S303)。结果，在x不大于N的情况下，地图创建部141J在设定的x和y坐标处判定内插的原始数据Iraw2f(x，y)是否等于或大于内插的原始数据Iraw1e(x，y)(步骤S304)。结果，在内插的原始数据Iraw2f(x，y)等于或大于内插的原始数据Iraw1e(x，y)的情况下，地图创建部141J在设定的x和y坐标处将真(true)写入地图Imap1(x，y)中(步骤S309)。在内插的原始数据Iraw2f(x，y)小于内插的原始数据Iraw1e(x，y)的情况下，地图创建部141J在设定的x和y坐标处将假(false)写入地图Imap1(x，y)中(步骤S310)。在执行步骤S309和S310之后，地图创建部141J返回到步骤S302。

在步骤S303中，在x大于N的情况下，地图创建部141J判定y是否大于M(步骤S307)。结果，在y大于M的情况下，地图创建部141J结束地图Imap1(x，y)的创建。在y不大于M的情况下，地图创建部141J在使x变为0的同时让y加1，且返回到步骤S302(步骤S308)。地图创建部141J在M×N矩阵的所有坐标处重复地执行步骤S302至S308，从而创建地图Imap1(x，y)。

图22图示了选择部141M中的融合目标数据的选择过程的一个示例。需要指出的是，图22中的N是地图Imap1(x，y)中的x的上限值。图22中的M是地图Imap1(x，y)中的y的上限值。

选择部141M通过针对各像素从内插的原始数据Iraw1b的高频分量(内插的原始数据Iraw1d)和内插的原始数据Iraw2c的高频分量(内插的原始数据Iraw2e)中选择要添加到内插的原始数据Iraw1b的低频分量的数据而生成内插的原始数据Iraw4。选择部141M在内插的原始数据Iraw1d(x，y)、内插的原始数据Iraw2e(x，y)和地图Imap1(x，y)中设定x＝0和y＝1(步骤S401)。其后，选择部141M让x加1(步骤S402)。其后，选择部141M判定x是否大于N(步骤S403)。

结果，在x不大于N的情况下，选择部141M判定地图Imap1(x，y)是否为真(步骤S410)。结果，在地图Imap1(x，y)被认为是真的情况下，选择部141M将内插的原始数据Iraw2e写入内插的原始数据Iraw4(x，y)中(步骤S411)。在地图Imap1(x，y)被认为不是真的情况下，选择部141M将内插的原始数据Iraw1d(x，y)写入内插的原始数据Iraw4(x，y)中(步骤S412)。在执行步骤S411和S412之后，选择部141M返回到步骤S402。

在步骤S403中，在x大于N的情况下，选择部141M判定y是否大于M(步骤S405)。结果，在y大于M的情况下，选择部141M结束内插的原始数据Iraw4(x，y)的创建。在y不大于M的情况下，选择部141M在使x变为0的同时让y加1，且返回到步骤S402(步骤S406)。选择部141M在M×N矩阵的所有坐标处重复地执行步骤S402、S403、S405、S406以及S410至S412，从而创建内插的原始数据Iraw4(x，y)。

在本变形例中，在相对较窄视角的内插的原始数据Iraw2c的高频分量Iraw2c_H大于相对较宽视角的内插的原始数据Iraw1b的高频分量Iraw1b_H的情况下，通过将内插的原始数据Iraw1b的低频分量Iraw1b_L和内插的原始数据Iraw2c的高频分量Iraw2c_H相加而生成合成原始数据Iraw3a。此外，在相对较窄视角的内插的原始数据Iraw2c的高频分量Iraw2c_H小于相对较宽视角的内插的原始数据Iraw1b的高频分量Iraw1b_H的情况下，通过将内插的原始数据Iraw1b的低频分量Iraw1b_L和内插的原始数据Iraw1b的高频分量Iraw1b_H相加而生成合成原始数据Iraw3a。换言之，在本变形例中，仅在内插的原始数据Iraw2c中的模糊小的情况下，才在图像合成中使用内插的原始数据Iraw2c的高频分量Iraw2c_H。因此，可以以简单的方法避免由图像合成引起的分辨率降低。

而且，在本变形例中，在内插的原始数据Iraw2c的高频分量Iraw2c_H大于内插的原始数据Iraw1b的高频分量Iraw1b_H的各像素中，通过将内插的原始数据Iraw1b的低频分量Iraw1b_L和内插的原始数据Iraw2c的高频分量Iraw2c_H相加而生成合成原始数据Iraw3a。在这种场合下，内插的原始数据Iraw2c的高频分量Iraw2c_H不存在影响合成的模糊。因此，可以获得宽视野且高分辨率的图像。

而且，在本变形例中，在内插的原始数据Iraw2c的高频分量Iraw2c_H小于内插的原始数据Iraw1b的高频分量Iraw1b_H的各像素中，通过将内插的原始数据Iraw1b的低频分量Iraw1b_L和内插的原始数据Iraw1b的高频分量Iraw1b_H相加而生成合成原始数据Iraw3a。在这种场合下，内插的原始数据Iraw1b的高频分量Iraw1b_H不存在影响合成的模糊。因此，可以获得宽视野且高分辨率的图像。

[变形例B]

图23图示了根据本变形例的融合部141中的信号处理过程概要的一个示例。融合部141判定相对较窄视角的内插的原始数据Iraw2c的高频分量Iraw2c_H是否大于相对较宽视角的内插的原始数据Iraw1b的高频分量Iraw1b_H(步骤S201)。结果，在内插的原始数据Iraw2c的高频分量Iraw2c_H大于内插的原始数据Iraw1b的高频分量Iraw1b_H的情况下，融合部141通过将内插的原始数据Iraw1b的低频分量Iraw1b_L和内插的原始数据Iraw2c的高频分量Iraw2c_H相加而生成合成原始数据Iraw3a(步骤S202)。例如，在内插的原始数据Iraw2c的高频分量Iraw2c_H大于内插的原始数据Iraw1b的高频分量Iraw1b_H的各像素中，融合部141通过将内插的原始数据Iraw1b的低频分量Iraw1b_L和内插的原始数据Iraw2c的高频分量Iraw2c_H相加而生成合成原始数据Iraw3a。

在内插的原始数据Iraw2c的高频分量Iraw2c_H等于内插的原始数据Iraw1b的高频分量Iraw1b_H的情况下，融合部141通过将例如内插的原始数据Iraw1b的低频分量Iraw1b_L和内插的原始数据Iraw2c的高频分量Iraw2c_H相加而生成合成原始数据Iraw3a(步骤S202)。例如，在内插的原始数据Iraw2c的高频分量Iraw2c_H等于内插的原始数据Iraw1b的高频分量Iraw1b_H的各像素中，融合部141通过将例如内插的原始数据Iraw1b的低频分量Iraw1b_L和内插的原始数据Iraw2c的高频分量Iraw2c_H相加而生成合成原始数据Iraw3a。

在内插的原始数据Iraw2c的高频分量Iraw2c_H小于内插的原始数据Iraw1b的高频分量Iraw1b_H的情况下，融合部141判定在内插的原始数据Iraw1b中是否存在像素值的变化是平坦的区域(步骤S205)。结果，在内插的原始数据Iraw1b中存在有像素值的变化是平坦的区域的情况下，在例如内插的原始数据Iraw2c的高频分量Iraw2c_H小于内插的原始数据Iraw1b的高频分量Iraw1b_H且像素值的变化是平坦的区域中，融合部141通过将内插的原始数据Iraw1b的低频分量Iraw1b_L和内插的原始数据Iraw2c的高频分量Iraw2c_H相加而生成合成原始数据Iraw3a(步骤S202)。

在内插的原始数据Iraw1b中存在有像素值的变化不平坦的区域的情况下，在例如内插的原始数据Iraw2c的高频分量Iraw2c_H小于内插的原始数据Iraw1b的高频分量Iraw1b_H且像素值的变化不平坦的区域中，融合部141通过将内插的原始数据Iraw1b的低频分量Iraw1b_L和内插的原始数据Iraw1b的高频分量Iraw1b_H相加而生成合成原始数据Iraw3a(步骤S204)。例如，在内插的原始数据Iraw2c的高频分量Iraw2c_H小于内插的原始数据Iraw1b的高频分量Iraw1b_H且内插的原始数据Iraw1b中的像素值的变化不平坦的区域中的各像素中，融合部141通过将内插的原始数据Iraw1b的低频分量Iraw1b_L和内插的原始数据Iraw1b的高频分量Iraw1b_H相加而生成合成原始数据Iraw3a。

现在，在关于区域中的像素值的变化是否平坦的判定中，例如，针对各像素计算下列离差(x，y)。需要指出的是，I(x，y)是在坐标(x，y)处内插的原始数据Iraw1b的像素值。而且，Ave是在以坐标(x，y)充当中心的预定区域(例如，5×5的区域)中内插的原始数据Iraw1b的像素值的平均值。例如，在下列离差(x，y)小于预定阈值的情况下，融合部141判定坐标(x，y)是平坦区域，且在下列离差(x，y)等于或大于预定阈值的情况下，融合部141判定坐标(x，y)是不平坦区域。

[式1]

图24图示了根据本变形例的融合部141的内部构成的一个示例。例如，融合部141包括LPF部141A、HPF部141B、视差校正部141C、模糊校正部141D和叠加部141E。在本变形例中，例如，模糊校正部141D包括HPF部141F、绝对值处理部141G和141H、地图创建部141J和141K、地图合成部141L以及选择部141M。

地图创建部141J创建用于从内插的原始数据Iraw1d和内插的原始数据Iraw2e中选择任意一者的地图Imap1。地图创建部141K基于内插的原始数据Iraw1b创建地图Imap2。地图合成部141L基于地图Imap1和地图Imap2创建地图Imap3。选择部141M基于Imap3从内插的原始数据Iraw1d和内插的原始数据Iraw2e中选择任意一者，从而创建内插的原始数据Iraw4。

图25图示了地图创建部141K的地图创建过程的一个示例。需要指出的是，图25中的N是内插的原始数据Iraw1b(x，y)中的x的上限值。图25中的M是内插的原始数据Iraw1b(x，y)中的y的上限值。

地图创建部141K在地图Imap1中被认为是假的区域中创建如下的地图：该地图限定在合成中应当使用内插的原始数据Iraw2c的高频分量Iraw1b_H(内插的原始数据Iraw2e)的区域。地图创建部141K在内插的原始数据Iraw1b(x，y)中设定x＝0和y＝1(步骤S501)。其后，地图创建部141K让x加1(步骤S502)。其后，地图创建部141K判定x是否大于N(步骤S503)。结果，在x不大于N的情况下，地图创建部141K判定设定的x和y坐标是否对应于像素值的变化是平坦的区域(步骤S504)。结果，在设定的x和y坐标对应于平坦区域的情况下，地图创建部141K在设定的x和y坐标处将真写入地图Imap2(x，y)中(步骤S505)。在设定的x和y坐标不对应于平坦区域的情况下，地图创建部141K在设定的x和y坐标处将假写入地图Imap2(x，y)中(步骤S506)。在执行步骤S505和S506之后，地图创建部141K返回到步骤S502。

在步骤S503中，在x大于N的情况下，地图创建部141K判定y是否大于M(步骤S507)。结果，在y大于M的情况下，地图创建部141K结束地图Imap2(x，y)的创建。在y不大于M的情况下，地图创建部141K在使x变为0的同时让y加1，且返回到步骤S502(步骤S508)。地图创建部141K在M×N矩阵的所有坐标处重复地执行步骤S502至S508，从而创建地图Imap2(x，y)。

图26图示了地图合成部141L的地图合成过程的一个示例。需要指出的是，图26中的N是地图Imap1(x，y)和Imap2(x，y)中的x的上限值。图26中的M是地图Imap1(x，y)和Imap2(x，y)中的y的上限值。

地图合成部141L创建如下的地图：该地图对是否在合成中使用内插的原始数据Iraw2c的高频分量Iraw2c_H(内插的原始数据Iraw2e)做出选择。地图合成部141L在地图Imap1(x，y)和Imap2(x，y)中设定x＝0和y＝1(步骤S601)。其后，地图合成部141L让x加1(步骤S602)。其后，地图合成部141L判定x是否大于N(步骤S603)。

结果，在x不大于N的情况下，地图合成部141L判定地图Imap1(x，y)是否为真(步骤S604)。结果，在地图Imap1(x，y)被认为是真的情况下，地图合成部141L将真写入地图Imap3(x，y)中(步骤S605)。在地图Imap1(x，y)不被认为是真的情况下，地图合成部141L判定地图Imap2(x，y)是否为真(步骤S606)。结果，在地图Imap2(x，y)被认为是真的情况下，地图合成部141L将真写入地图Imap3(x，y)中(步骤S605)。在地图Imap2(x，y)不被认为是真的情况下，地图合成部141L将假写入地图Imap3(x，y)中(步骤S607)。在执行步骤S605和S606之后，地图合成部141L返回到步骤S602。

在步骤S603中，在x大于N的情况下，地图合成部141L判定y是否大于M(步骤S608)。结果，在y大于M的情况下，地图合成部141L结束地图Imap3(x，y)的创建。在y不大于M的情况下，地图合成部141L在使x变为0的同时让y加1，且返回到步骤S602(步骤S609)。地图合成部141L在M×N矩阵的所有坐标处重复地执行步骤S602至S609，从而创建地图Imap3(x，y)。

图27图示了选择部141M中的融合目标数据的选择过程的一个示例。需要指出的是，图27中的N是地图Imap3(x，y)中的x的上限值。图27中的M是地图Imap3(x，y)中的y的上限值。

选择部141M通过针对各像素从内插的原始数据Iraw1b的高频分量(内插的原始数据Iraw1d)和内插的原始数据Iraw2c的高频分量(内插的原始数据Iraw2e)中选择要添加到内插的原始数据Iraw1b的低频分量的数据而生成内插的原始数据Iraw4。选择部141M在内插的原始数据Iraw1d(x，y)、内插的原始数据Iraw2e(x，y)和地图Imap3(x，y)中设定x＝0和y＝1(步骤S701)。其后，选择部141M让x加1(步骤S702)。其后，选择部141M判定x是否大于N(步骤S703)。

结果，在x不大于N的情况下，选择部141M判定地图Imap3(x，y)是否为真(步骤S704)。结果，在地图Imap3(x，y)被认为是真的情况下，选择部141M将内插的原始数据Iraw2e写入内插的原始数据Iraw4(x，y)中(步骤S705)。在地图Imap3(x，y)不被认为是真的情况下，选择部141M将内插的原始数据Iraw1d(x，y)写入内插的原始数据Iraw4(x，y)中(步骤S706)。在执行步骤S705和S706之后，选择部141M返回到步骤S702。

在步骤S703中，在x大于N的情况下，选择部141M判定y是否大于M(步骤S707)。结果，在y大于M的情况下，选择部141M结束内插的原始数据Iraw4(x，y)的创建。在y不大于M的情况下，选择部141M在使x变为0的同时让y加1，且返回到步骤S702(步骤S708)。选择部141M在M×N矩阵的所有坐标处重复地执行步骤S702至S708，从而创建内插的原始数据Iraw4(x，y)。

在本变形例中，在相对较窄视角的内插的原始数据Iraw2c的高频分量Iraw2c_H大于相对较宽视角的内插的原始数据Iraw1b的高频分量Iraw1b_H的情况下，通过将内插的原始数据Iraw1b的低频分量Iraw1b_L和内插的原始数据Iraw2c的高频分量Iraw2c_H相加而生成合成原始数据Iraw3a。此外，在相对较窄视角的内插的原始数据Iraw2c的高频分量Iraw2c_H小于相对较宽视角的内插的原始数据Iraw1b的高频分量Iraw1b_H的情况下，通过将内插的原始数据Iraw1b的低频分量Iraw1b_L和内插的原始数据Iraw1b的高频分量Iraw1b_H相加而生成合成原始数据Iraw3a。换言之，在本变形例中，仅在内插的原始数据Iraw2c中的模糊小的情况下，才在图像合成中使用内插的原始数据Iraw2c的高频分量Iraw2c_H。因此，可以以简单的方法避免由图像合成引起的分辨率降低。

而且，在本变形例中，在内插的原始数据Iraw2c的高频分量Iraw2c_H大于内插的原始数据Iraw1b的高频分量Iraw1b_H的各像素中，通过将内插的原始数据Iraw1b的低频分量Iraw1b_L和内插的原始数据Iraw2c的高频分量Iraw2c_H相加而生成合成原始数据Iraw3a。在这种场合下，内插的原始数据Iraw2c的高频分量Iraw2c_H不存在影响合成的模糊。因此，可以获得宽视野且高分辨率的图像。

而且，在本变形例中，在内插的原始数据Iraw2c的高频分量Iraw2c_H小于内插的原始数据Iraw1b的高频分量Iraw1b_H的各像素中，通过将内插的原始数据Iraw1b的低频分量Iraw1b_L和内插的原始数据Iraw1b的高频分量Iraw1b_H相加而生成合成原始数据Iraw3a。在这种场合下，内插的原始数据Iraw1b的高频分量Iraw1b_H不存在影响合成的模糊。因此，可以获得宽视野且高分辨率的图像。

而且，在本变形例中，在内插的原始数据Iraw1b的高频分量Iraw1b_H大于内插的原始数据Iraw2c的高频分量Iraw2c_H的像素之中的像素值的变化是平坦的区域中所包含的各像素中，通过将内插的原始数据Iraw1b的低频分量Iraw1b_L和内插的原始数据Iraw2c的高频分量Iraw2c_H相加而生成合成原始数据Iraw3a。因此，可以获得宽视野且高分辨率的图像。

[3.第二实施方案]

[构成]

接下来将给出根据本公开第二实施方案的成像装置2的说明。图28图示了成像装置2的功能块。成像装置2使用两个成像设备10和20获得宽视角且高分辨率的图像，和/或在不使用机械变焦机构的情况下执行光学变焦。例如，成像装置2包括两个成像设备10和20、信号处理部30以及控制部40。在本实施方案中，信号处理部30包括两个相机信号处理部33和34以及单个合成处理部35。相机信号处理部33对由成像设备10生成的原始数据Iraw1执行去马赛克处理，从而生成彩色图像数据Icol1。相机信号处理部34对由成像设备20生成的原始数据Iraw2执行去马赛克处理，从而生成彩色图像数据Icol2。合成处理部35执行由两个相机信号处理部33和34生成的两条彩色图像数据Icol1和Icol2彼此之间的合成，从而生成彩色图像数据Icol。

图29图示了合成处理部35的功能块的一个示例。

合成处理部35包括对准部150和合成部160。对准部150基于两条彩色图像数据Icol1和Icol2生成两条彩色图像数据Icol1和Icol2的对准数据。合成部160基于由对准部150生成的对准数据执行两条彩色图像数据Icol1和Icol2彼此之间的合成。

例如，对准部150包括分割部151、增益校正部152、亮度计算部153和154、缩小部155以及视差计算部156。

分割部151指定彩色图像数据Icol1中的融合区域β(对应于图5中的区域α)。融合区域β是将要经历与彩色图像数据Icol2的合成的区域。具体地，分割部151基于成像设备10和20的放大倍数且基于彩色图像数据Icol1和Icol2的图像尺寸来指定融合区域β。例如，分割部151基于成像设备10和20的放大倍数且基于彩色图像数据Icol1和Icol2的图像尺寸来指定彩色图像数据Icol1中的融合区域β的坐标。例如，基于所指定的坐标，分割部151从彩色图像数据Icol1中分割出与融合区域β对应的彩色图像数据Icol1a。

增益校正部152针对每种颜色信息计算彩色图像数据Icol1a和Icol2中的增益比(例如，RGB增益比)。例如，增益校正部152针对每种颜色信息计算彩色图像数据Icol1a中的平均值，且针对每种颜色信息计算彩色图像数据Icol2中的平均值。例如，增益校正部152针对每种颜色信息从彩色图像数据Icol1a和Icol2中的针对每种颜色信息的平均值的比值来计算校正增益。基于所计算的校正增益，增益校正部152校正彩色图像数据Icol2，从而生成彩色图像数据Icol2a。

亮度计算部153基于彩色图像数据Icol1a中所包含的每种颜色信息来计算彩色图像数据Icol1a中的各像素的亮度数据。因此，亮度计算部153获得具有各像素的亮度数据的亮度数据Icol1b。亮度计算部154基于彩色图像数据Icol2a中所包含的每种颜色信息来计算彩色图像数据Icol2a中的各像素的亮度数据。因此，亮度计算部154获得具有各像素的亮度数据的亮度数据Icol2b。

缩小部155基于成像设备10和20的放大倍数来缩小彩色图像数据Icol2a和亮度数据Icol2b。因此，缩小部155获得彩色图像数据Icol2c和亮度数据Icol2d。视差计算部156基于亮度数据Icol1b和Icol2d来计算视差信息Disp作为对准数据。例如，视差计算部156使用例如两个图像之间的运动矢量估计方法从亮度数据Icol1b和Icol2d生成视差信息Disp。

例如，合成部160包括融合部161、LPF部162、合并部163和选择部164。

融合部161通过执行两条彩色图像数据Icol1a和Icol2c的合成而生成彩色图像数据Icol3a。具体地，融合部161基于视差信息Disp通过执行两条彩色图像数据Icol1a和Icol2c的合成来生成彩色图像数据Icol3a。

在本实施方案中，融合部161的信号处理大体等同于根据上述实施方案的融合部141的信号处理。

图30图示了融合部161中的信号处理过程概要的一个示例。融合部161判定相对较窄视角的彩色图像数据Icol2c的高频分量Icol2c_H是否大于相对较宽视角的彩色图像数据Icol1a的高频分量Icol1a_H(步骤S801)。结果，在彩色图像数据Icol2c的高频分量Icol2c_H大于彩色图像数据Icol1a的高频分量Icol1a_H的情况下，融合部161通过将彩色图像数据Icol1a的低频分量Icol1a_L和彩色图像数据Icol2c的高频分量Icol2c_H相加而生成彩色图像数据Icol3a(第二合成成像数据)(步骤S802)。在彩色图像数据Icol2c的高频分量Icol2c_H大于彩色图像数据Icol1a的高频分量Icol1a_H的各像素中，融合部161通过将彩色图像数据Icol1a的低频分量Icol1a_L和彩色图像数据Icol2c的高频分量Icol2c_H相加而生成彩色图像数据Icol3a。

在彩色图像数据Icol2c的高频分量Icol2c_H等于彩色图像数据Icol1a的高频分量Icol1a_H的情况下，融合部161通过将例如彩色图像数据Icol1a的低频分量Icol1a_L和彩色图像数据Icol2c的高频分量Icol2c_H相加而生成彩色图像数据Icol3a(步骤S802)。在彩色图像数据Icol2c的高频分量Icol2c_H等于彩色图像数据Icol1a的高频分量Icol1a_H的各像素中，融合部161通过将例如彩色图像数据Icol1a的低频分量Icol1a_L和彩色图像数据Icol2c的高频分量Icol2c_H相加而生成彩色图像数据Icol3a。

在彩色图像数据Icol2c的高频分量Icol2c_H小于彩色图像数据Icol1a的高频分量Icol1a_H的情况下，融合部161通过将彩色图像数据Icol1a的低频分量Icol1a_L、彩色图像数据Icol1a的高频分量Icol1a_H和彩色图像数据Icol2c的高频分量Icol2c_H相加而生成彩色图像数据Icol3a(第一合成图像数据)(步骤S803)。在彩色图像数据Icol2c的高频分量Icol2c_H小于彩色图像数据Icol1a的高频分量Icol1a_H的各像素中，融合部161通过将彩色图像数据Icol1a的低频分量Icol1a_L、彩色图像数据Icol1a的高频分量Icol1a_H和彩色图像数据Icol2c的高频分量Icol2c_H相加而生成彩色图像数据Icol3a。

[效果]

接下来将说明成像装置2的效果。

在本实施方案中，通过将相对较宽视角的彩色图像数据Icol1a的低频分量Icol1a_L和相对较窄视角的彩色图像数据Icol2c的高频分量Icol2c_H相加而生成彩色图像数据Icol3a。因此，与用相对较窄视角的彩色图像数据Icol2c的高频分量替换相对较宽视角的彩色图像数据Icol1a中的高频分量的情况相比，通过包括模糊的彩色图像数据Icol1a可以减轻模糊的影响。因此，可以以简单的方法避免由图像合成引起的分辨率降低。

而且，在本实施方案中，在彩色图像数据Icol2c的高频分量Icol2c_H大于彩色图像数据Icol1a的高频分量Icol1a_H的各像素中，通过将彩色图像数据Icol1a的低频分量Icol1a_L和彩色图像数据Icol2c的高频分量Icol2c_H相加而生成彩色图像数据Icol3a。在这种场合下，彩色图像数据Icol2c的高频分量Icol2c_H不存在影响合成的模糊。因此，可以获得宽视野且高分辨率的图像。

而且，在本实施方案中，在彩色图像数据Icol2c的高频分量Icol2c_H小于彩色图像数据Icol1a的高频分量Icol1a_H的各像素中，通过将彩色图像数据Icol1a的低频分量Icol1a_L、彩色图像数据Icol1a的高频分量Icol1a_H和彩色图像数据Icol2c的高频分量Icol2c_H相加而生成彩色图像数据Icol3a。在这种场合下，估计彩色图像数据Icol2c的高频分量Icol2c_H包括影响合成的模糊。然而，在合成中也使用彩色图像数据Icol1a的高频分量Icol1a_H。这使得可以减小所估计的存在于彩色图像数据Icol2c的高频分量Icol2c_H中的模糊的影响。因此，可以以简单的方法避免由图像合成引起的分辨率降低。

而且，在本实施方案中，成像设备10的成像区域R1中的除了外边缘以外的区域充当成像设备20的成像区域R2。此外，在本实施方案中，彩色图像数据Icol1和彩色图像数据Icol2是由成像设备10和20以及相机信号处理部33和34生成的。彩色图像数据Icol1具有相对较宽视角。彩色图像数据Icol2具有比彩色图像数据Icol1的视角窄的视角。因此，所执行的是彩色图像数据Icol1中的除了外边缘以外的预定区域(融合区域β)和彩色图像数据Icol2彼此之间的合成。换言之，彩色图像数据Icol2被拟合到框架状彩色图像数据Icol1中。结果，使用两个成像设备10和20且使用相机信号处理部33和34，可以获得宽视野且高分辨率的图像，和/或可以在不使用机械变焦机构的情况下执行光学变焦。

[4.第二实施方案的变形例]

接下来将给出根据上述第二实施方案的成像装置2的变形例的说明。下列变形例C和D中的融合部161中的信号处理大体等同于根据上述第一实施方案的变形例A和B的融合部141中的信号处理。

[变形例C]

图31图示了根据本变形例的融合部161中的信号处理过程概要的一个示例。融合部161判定相对较窄视角的彩色图像数据Icol2c的高频分量Icol2c_H是否大于相对较宽视角的彩色图像数据Icol1a的高频分量Icol1a_H(步骤S801)。结果，在彩色图像数据Icol2c的高频分量Icol2c_H大于彩色图像数据Icol1a的高频分量Icol1a_H的情况下，融合部161通过将彩色图像数据Icol1a的低频分量Icol1a_L和彩色图像数据Icol2c的高频分量Icol2c_H相加而生成彩色图像数据Icol3a(步骤S802)。在彩色图像数据Icol2c的高频分量Icol2c_H大于彩色图像数据Icol1a的高频分量Icol1a_H的各像素中，融合部161通过将彩色图像数据Icol1a的低频分量Icol1a_L和彩色图像数据Icol2c的高频分量Icol2c_H相加而生成彩色图像数据Icol3a。

在彩色图像数据Icol2c的高频分量Icol2c_H等于彩色图像数据Icol1a的高频分量Icol1a_H的情况下，融合部161通过将例如彩色图像数据Icol1a的低频分量Icol1a_L和彩色图像数据Icol2c的高频分量Icol2c_H相加而生成彩色图像数据Icol3a(步骤S802)。在彩色图像数据Icol2c的高频分量Icol2c_H等于彩色图像数据Icol1a的高频分量Icol1a_H的各像素中，融合部161通过将例如彩色图像数据Icol1a的低频分量Icol1a_L和彩色图像数据Icol2c的高频分量Icol2c_H相加而生成彩色图像数据Icol3a。

在彩色图像数据Icol2c的高频分量Icol2c_H小于彩色图像数据Icol1a的高频分量Icol1a_H的情况下，融合部161通过将彩色图像数据Icol1a的低频分量Icol1a_L和彩色图像数据Icol1a的高频分量Icol1a_H相加而生成彩色图像数据Icol3a(步骤S804)。在彩色图像数据Icol2c的高频分量Icol2c_H小于彩色图像数据Icol1a的高频分量Icol1a_H的各像素中，融合部161通过将彩色图像数据Icol1a的低频分量Icol1a_L和彩色图像数据Icol1a的高频分量Icol1a_H相加而生成彩色图像数据Icol3a。

在本变形例中，在相对较窄视角的彩色图像数据Icol2c的高频分量Icol2c_H大于相对较宽视角的彩色图像数据Icol1a的高频分量Icol1a_H的情况下，通过将彩色图像数据Icol1a的低频分量Icol1a_L和彩色图像数据Icol2c的高频分量Icol2c_H相加而生成彩色图像数据Icol3a。此外，在彩色图像数据Icol2c的高频分量Icol2c_H小于彩色图像数据Icol1a的高频分量Icol1a_H的情况下，通过将彩色图像数据Icol1a的低频分量Icol1a_L和彩色图像数据Icol1a的高频分量Icol1a_H相加而生成彩色图像数据Icol3a。换言之，在本变形例中，仅在彩色图像数据Icol2c中的模糊小的情况下，才在图像合成中使用彩色图像数据Icol2c的高频分量Icol2c_H。因此，可以以简单的方法避免由图像合成引起的分辨率降低。

而且，在本变形例中，在彩色图像数据Icol2c的高频分量Icol2c_H大于彩色图像数据Icol1a的高频分量Icol1a_H的各像素中，通过将彩色图像数据Icol1a的低频分量Icol1a_L和彩色图像数据Icol2c的高频分量Icol2c_H相加而生成彩色图像数据Icol3a。在这种场合下，彩色图像数据Icol2c的高频分量Icol2c_H不存在影响合成的模糊。因此，可以获得宽视野且高分辨率的图像。

而且，在本变形例中，在彩色图像数据Icol2c的高频分量Icol2c_H小于彩色图像数据Icol1a的高频分量Icol1a_H的各像素中，通过将彩色图像数据Icol1a的低频分量Icol1a_L和彩色图像数据Icol1a的高频分量Icol1a_H相加而生成合成原始数据Iraw3a。在这种场合下，彩色图像数据Icol1a的高频分量Icol1a_H不存在影响合成的模糊。因此，可以获得宽视野且高分辨率的图像。

[变形例D]

图32图示了根据本变形例的融合部161中的信号处理过程概要的一个示例。融合部161判定相对较窄视角的彩色图像数据Icol2c的高频分量Icol2c_H是否大于相对较宽视角的彩色图像数据Icol1a的高频分量Icol1a_H(步骤S801)。结果，在彩色图像数据Icol2c的高频分量Icol2c_H大于彩色图像数据Icol1a的高频分量Icol1a_H的情况下，融合部161通过将彩色图像数据Icol1a的低频分量Icol1a_L和彩色图像数据Icol2c的高频分量Icol2c_H相加而生成彩色图像数据Icol3a(步骤S802)。在彩色图像数据Icol2c的高频分量Icol2c_H大于彩色图像数据Icol1a的高频分量Icol1a_H的各像素中，融合部161通过将彩色图像数据Icol1a的低频分量Icol1a_L和彩色图像数据Icol2c的高频分量Icol2c_H相加而生成彩色图像数据Icol3a。

在彩色图像数据Icol2c的高频分量Icol2c_H等于彩色图像数据Icol1a的高频分量Icol1a_H的情况下，融合部161通过将例如彩色图像数据Icol1a的低频分量Icol1a_L和彩色图像数据Icol2c的高频分量Icol2c_H相加而生成彩色图像数据Icol3a(步骤S802)。在彩色图像数据Icol2c的高频分量Icol2c_H等于彩色图像数据Icol1a的高频分量Icol1a_H的各像素中，融合部161通过将例如彩色图像数据Icol1a的低频分量Icol1a_L和彩色图像数据Icol2c的高频分量Icol2c_H相加而生成彩色图像数据Icol3a。

在彩色图像数据Icol2c的高频分量Icol2c_H小于彩色图像数据Icol1a的高频分量Icol1a_H的情况下，融合部161判定彩色图像数据Icol1a中是否存在像素值的变化是平坦的区域(步骤S805)。结果，在彩色图像数据Icol1a中存在有平坦区域的情况下，例如，在彩色图像数据Icol2c的高频分量Icol2c_H小于彩色图像数据Icol1a的高频分量Icol1a_H的彩色图像数据Icol1a的平坦区域中，融合部161通过将彩色图像数据Icol1a的低频分量Icol1a_L和彩色图像数据Icol2c的高频分量Icol2c_H相加而生成彩色图像数据Icol3a(步骤S802)。

在彩色图像数据Icol1a中存在有像素值的变化不平坦的区域的情况下，在彩色图像数据Icol1a中的像素值的变化不平坦且彩色图像数据Icol2c的高频分量Icol2c_H小于彩色图像数据Icol1a的高频分量Icol1a_H的区域中，融合部161通过将彩色图像数据Icol1a的低频分量Icol1a_L和彩色图像数据Icol1a的高频分量Icol1a_H相加而生成彩色图像数据Icol3a(步骤S804)。例如，在彩色图像数据Icol1a中的像素值的变化不平坦且彩色图像数据Icol2c的高频分量Icol2c_H小于彩色图像数据Icol1a的高频分量Icol1a_H的区域中的各像素中，融合部161通过将彩色图像数据Icol1a的低频分量Icol1a_L和彩色图像数据Icol1a的高频分量Icol1a_H相加而生成彩色图像数据Icol3a。

现在，在关于区域中的像素值的变化是否平坦的判定中，例如，针对各像素计算如上所述的离差(x，y)。需要指出的是，I(x，y)是在坐标(x，y)处彩色图像数据Icol1a的像素值。而且，Ave是在以坐标(x，y)充当中心的预定区域(例如，5×5的区域)中彩色图像数据Icol1a的像素值的平均值。例如，在如上所述的离差(x，y)小于预定阈值的情况下，融合部161判定坐标(x，y)是像素值的变化是平坦的区域，且在如下的离差(x，y)等于或大于预定阈值的情况下，融合部161判定坐标(x，y)是像素值的变化不平坦的区域。

在本变形例中，在相对较窄视角的彩色图像数据Icol2c的高频分量Icol2c_H大于相对较宽视角的彩色图像数据Icol1a的高频分量Icol1a_H的情况下，通过将彩色图像数据Icol1a的低频分量Icol1a_L和彩色图像数据Icol2c的高频分量Icol2c_H相加而生成彩色图像数据Icol3a。此外，在彩色图像数据Icol2c的高频分量Icol2c_H小于彩色图像数据Icol1a的高频分量Icol1a_H的情况下，通过将彩色图像数据Icol1a的低频分量Icol1a_L和彩色图像数据Icol1a的高频分量Icol1a_H相加而生成彩色图像数据Icol3a。换言之，在本变形例中，仅在彩色图像数据Icol2c中的模糊小的情况下，才在图像合成中使用彩色图像数据Icol2c的高频分量Icol2c_H。因此，可以以简单的方法避免由图像合成引起的分辨率降低。

而且，在本变形例中，在彩色图像数据Icol2c的高频分量Icol2c_H大于彩色图像数据Icol1a的高频分量Icol1a_H的各像素中，通过将彩色图像数据Icol1a的低频分量Ico1a_L和彩色图像数据Icol2c的高频分量Icol2c_H相加而生成彩色图像数据Icol3a。在这种场合下，彩色图像数据Icol2c的高频分量Icol2c_H不存在影响合成的模糊。因此，可以获得宽视野且高分辨率的图像。

而且，在本变形例中，在彩色图像数据Icol2c的高频分量Icol2c_H小于彩色图像数据Icol1a的高频分量Icol1a_H的各像素中，通过将彩色图像数据Icol1a的低频分量Icol1a_L和彩色图像数据Icol1a的高频分量Icol1a_H相加而生成合成原始数据Iraw3a。在这种场合下，彩色图像数据Icol1a的高频分量Icol1a_H不存在影响合成的模糊。因此，可以获得宽视野且高分辨率的图像。

而且，在本变形例中，在彩色图像数据Icol2c的高频分量Icol2c_H小于彩色图像数据Icol1a的高频分量Icol1a_H的像素之中的像素值的变化是平坦的区域中所包含的各像素中，通过将彩色图像数据Icol1a的低频分量Icol1a_L和彩色图像数据Icol2c的高频分量Icol2c_H相加而生成彩色图像数据Icol3a。因此，可以获得宽视野且高分辨率的图像。

[5.共同变形例]

接下来将给出根据上述实施方案及他们的变形例的成像装置1和2共同的变形例的说明。

在上述实施方案及他们的变形例中，成像装置1和2包括两个成像设备10和20。然而，成像装置1和2可以包括三个以上的成像设备。例如，所述三个以上的成像设备被设置成使他们的物理配置能够彼此水平。各个成像设备10的光轴是彼此不平行的。在这种场合下，优选的是，各个成像设备10的光轴指向如下的方向：沿该方向，各个成像设备10的光轴之间的各间隙随着远离成像装置1和2而变窄。各个成像设备10的光轴可以是彼此平行的。

尽管已经通过给出如上所述的实施方案及他们的变形例而做出说明，但是本公开的内容并不限于上述示例性实施方案，且可以以各种各样的方式对本公开进行修改。需要指出的是，本文中所说明的效果仅是说明性的。本公开的效果不限于本文中所说明的效果。本公开的效果可以进一步包括除了本文中所说明的效果以外的其他效果。

[6.移动体的应用例]

与本公开相关的技术(本技术)可以适用于各种产品。例如，与本公开相关的技术可以被实现为能够被安装在任意种类的移动体上的装置，移动体例如是汽车、电动汽车、混合动力电动汽车、摩托车、自行车、个人移动体(personal mobility)、飞机、无人机、船和机器人。

图33是描绘了作为根据本公开实施方案的技术可以适用的移动体控制系统的示例的车辆控制系统的示意性构成的示例的框图。

车辆控制系统12000包括经由通信网络12001彼此连接的多个电子控制单元。在图33所描绘的示例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040和综合控制单元12050。此外，微型计算机12051、声音/图像输出部12052和车载网络接口(I/F：interface)12053被图示为综合控制单元12050的功能构成。

驱动系统控制单元12010根据各种各样的程序控制与车辆的驱动系统相关的装置的操作。例如，驱动系统控制单元12010用作诸如内燃机或驱动电机等用于生成车辆的驱动力的驱动力生成装置、用于将驱动力传递到车轮的驱动力传递机构、用于调节车辆的转向角的转向机构和用于生成车辆的制动力的制动装置等的控制装置。

车身系统控制单元12020根据各种各样的程序控制设置到车身的各种各样的装置的操作。例如，车身系统控制单元12020用作无钥匙进入系统、智能钥匙系统、电动车窗装置或各种各样的灯(诸如前照灯、倒车灯、刹车灯、转向灯或雾灯等)的控制装置。在这种情况下，从代替键的移动设备传输过来的无线电波或各种开关的信号可以被输入到车身系统控制单元12020。车身系统控制单元12020接收这些输入的无线电波或信号，且控制车辆的门锁装置、电动车窗装置或灯等。

车外信息检测单元12030检测关于包括车辆控制系统12000在内的车辆外部的信息。例如，车外信息检测单元12030与成像部12031连接。车外信息检测单元12030使成像部12031拍摄车辆外部的图像，且接收所拍摄的图像。基于接收的图像，车外信息检测单元12030可以执行检测诸如人、车辆、障碍物、符号、或道路表面上的字符等物体的处理，或执行检测距上述物体的距离的处理。

成像部12031是接收光且输出与接收的光的光量对应的电信号的光学传感器。成像部12031可以输出电信号作为图像，或可以输出电信号作为关于所测量的距离的信息。此外，由成像部12031接收的光可以是可见光，或可以是诸如红外线等不可见光。

车内信息检测单元12040检测关于车辆内部的信息。例如，车内信息检测单元12040与驾驶员状态检测部12041连接，驾驶员状态检测部12041检测驾驶员的状态。例如，驾驶员状态检测部12041包括用于拍摄驾驶员的相机。基于从驾驶员状态检测部12041输入的检测信息，车内信息检测单元12040可以计算驾驶员的疲劳程度或驾驶员的集中程度，或可以判定驾驶员是否在打瞌睡。

微型计算机12051可以基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆外部或车辆内部的信息而计算驱动力生成装置、转向机构或制动装置的控制目标值，且将控制指令输出到驱动系统控制单元12010。例如，微型计算机12051可以执行旨在实现先进驾驶员辅助系统(ADAS：advanced driver assistance system)的功能的协同控制，所述功能包括车辆的防撞或减震、基于车间距离的后续行驶、车速保持驾驶、车辆碰撞警告或车辆偏离车道警告等。

此外，微型计算机12051可以通过基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆外部或车辆内部的信息而控制驱动力生成装置、转向机构或制动装置等来执行旨在使车辆在不依赖于驾驶员的操作的情况下能够自动行驶的自动驾驶等的协同控制。

此外，微型计算机12051可以基于由车外信息检测单元12030获得的关于车辆外部的信息而将控制指令输出到车身系统控制单元12020。例如，微型计算机12051可以例如根据由车外信息检测单元12030检测到的前方车辆或对面车辆的位置通过以从远光切换到近光的方式控制前照灯来执行旨在防止眩光的协同控制。

声音/图像输出部12052将声音和图像中的至少一者的输出信号传输到输出装置，该输出装置能够以视觉或听觉的方式将信息通知给车辆的乘员或车辆的外部。在图33的示例中，音频扬声器12061、显示部12062和仪表面板12063被图示为输出装置。例如，显示部12062可以包括机载显示器和平视显示器中的至少一者。

图34是描绘了成像部12031的安装位置的示例的图。

在图34中，成像部12031包括成像部12101、12102、12103、12104和12105。

例如，成像部12101、12102、12103、12104和12105被设置在车辆12100的前鼻、侧视镜、后保险杠和后门上的位置处以及车辆内部的挡风玻璃的上部的位置处。设置到前鼻的成像部12101和设置到车辆内部的挡风玻璃的上部的成像部12105主要获得车辆12100的前方的图像。设置到侧视镜的成像部12102和12103主要获得车辆12100的侧面的图像。设置到后保险杠或后门的成像部12104主要获得车辆12100的后方的图像。由成像部12101和成像部12105获得图像主要用于检测前方车辆、行人、障碍物、信号、交通标记或车道等。

顺便提及地，图34描绘了成像部12101至12104的拍摄范围的示例。成像范围12111表示设置到前鼻的成像部12101的成像范围。成像范围12112和12113分别表示设置到侧视镜的成像部12102和12103的成像范围。成像范围12114表示设置到后保险杠或后门的成像部12104的成像范围。例如，如从上方观看的车辆12100的俯瞰图像是通过将由成像部12101至12104拍摄的图像数据叠加而获得的。

成像部12101至12104中的至少一者可以具有获得距离信息的功能。例如，成像部12101至12104中的至少一者可以是由多个成像元件组成的立体摄像机，或可以是具有用于相位差检测的像素的成像元件。

例如，微型计算机12051可以基于从成像部12101至12104获得的距离信息来确定成像范围12111至12114内的距各个三维物体的距离和距离的时间变化(相对于车辆12100的相对速度)，从而提取如下的最近的三维物体作为前方车辆：该三维物体存在于车辆12100的行驶路径上且以预定速度(例如，等于或大于0km/小时)沿与车辆12100基本相同的方向行驶。而且，微型计算机12051可以预先设定与前方车辆的所保持的车间距离，并且可以执行自动制动控制(包括后续停止控制)或自动加速控制(包括后续启动控制)等。因此，可以执行旨在使车辆在不依赖于驾驶员的操作的情况下能够自动行驶的自动驾驶等的协同控制。

例如，微型计算机12051可以基于从成像部12101至12104获得的距离信息而将关于三维物体的三维物体数据分类为两轮车辆、标准尺寸的车辆、大尺寸车辆、行人、电线杆和其他三维物体的三维物体数据，可以提取所分类的三维物体数据，且可以使用所提取的三维物体数据以用于自动避开障碍物。例如，微型计算机12051将车辆12100周围的障碍物认定为车辆12100的驾驶员可以视觉识别的障碍物和车辆12100的驾驶员难以视觉识别的障碍物。然后，微型计算机12051确定指示与各障碍物碰撞的风险的碰撞风险。在碰撞风险等于或高于设定值且因此存在碰撞的可能的情形下，微型计算机12051经由音频扬声器12061或显示部12062将警告输出给驾驶员，且微型计算机12051经由驱动系统控制单元12010执行强制减速或避免转向。微型计算机12051从而可以帮助驾驶，以避免碰撞。

成像部12101至12104中的至少一者可以是检测红外线的红外相机。例如，微型计算机12051可以通过判定成像部12101至12104的拍摄图像中是否存在行人而识别行人。例如，行人的这种识别是通过提取作为红外相机的成像部12101至12104的拍摄图像中的特征点的过程和通过对表示物体轮廓的一系列特征点执行图案匹配处理而判定是否存在行人的过程来执行的。当微型计算机12051判定成像部12101至12104的拍摄图像中存在行人且因此识别出行人时，声音/图像输出部12052控制显示部12062，使得用于强调的方形轮廓线被显示以叠加在识别出的行人上。声音/图像输出部12052还可以控制显示部12062，使得表示行人的图标等被显示在期望的位置处。

在上述情况下，说明了与本公开相关的技术可以适用的车辆控制系统的一个示例。与本公开相关的技术可以应用于如上所述的构成中的成像部12031。对成像部12031应用与本公开相关的技术使得可以获得高分辨率的合成图像。

而且，例如，本公开可以具有下列构成。

(1)一种成像装置，其包括：

两个成像设备，所述两个成像设备生成视角彼此不同的各条成像数据；以及

合成部，所述合成部通过将第一成像数据的低频分量、所述第一成像数据的高频分量和第二成像数据的高频分量相加而生成第一合成成像数据，所述第一成像数据是由所述两个成像设备中的一者生成的并具有相对较宽视角的所述成像数据，且所述第二成像数据是由所述两个成像设备中的另一者生成的并具有相对较窄视角的所述成像数据。

(2)根据(1)所述的成像装置，其中

在所述第二成像数据的高频分量小于所述第一成像数据的高频分量的情况下，所述合成部生成所述第一合成成像数据。

(3)根据(2)所述的成像装置，其中

在所述第二成像数据的高频分量小于所述第一成像数据的高频分量的各像素中，所述合成部通过将所述第一成像数据的低频分量、所述第一成像数据的高频分量和所述第二成像数据的高频分量相加而生成所述第一合成成像数据。

(4)根据(2)或(3)所述的成像装置，其中

在所述第二成像数据的高频分量大于所述第一成像数据的高频分量的情况下，所述合成部通过将所述第一成像数据的低频分量和所述第二成像数据的高频分量相加而生成第二合成成像数据。

(5)根据(4)所述的成像装置，其中

在所述第二成像数据的高频分量大于所述第一成像数据的高频分量的各像素中，所述合成部通过将所述第一成像数据的低频分量和所述第二成像数据的高频分量相加而生成所述第二合成成像数据。

(6)根据(1)至(5)中任一项所述的成像装置，其中

各条所述成像数据是针对各像素设定单条颜色信息的原始数据。

(7)根据(1)至(5)中任一项所述的成像装置，其中

各条所述成像数据是针对各像素设定多种颜色信息的彩色图像数据。

(8)根据(1)至(7)中任一项所述的成像装置，其中

第一成像设备通过成像而生成所述第一成像数据，所述第一成像设备是所述两个成像设备中的一者，并且

第二成像设备通过成像而生成所述第二成像数据，所述第二成像设备是所述两个成像设备中的另一者且以所述第一成像设备的成像区域中的除了外边缘以外的区域作为成像区域。

(9)根据(8)所述的成像装置，其中

所述合成部通过将所述第一成像数据中的除了外边缘以外的预定区域和所述第二成像数据的高频分量相加而生成所述第一合成成像数据。

(10)一种成像装置，其包括：

两个成像设备，所述两个成像设备生成视角彼此不同的各条成像数据；以及

合成部，在第一成像数据的高频分量大于第二成像数据的高频分量的情况下，所述合成部通过将所述第一成像数据的低频分量和所述第二成像数据的高频分量相加而生成第一合成成像数据，所述第一成像数据是由所述两个成像设备中的一者生成的并具有相对较宽视角的所述成像数据，且所述第二成像数据是由所述两个成像设备中的另一者生成的并具有相对较窄视角的所述成像数据，并且在所述第一成像数据的高频分量小于所述第二成像数据的高频分量的情况下，所述合成部通过将所述第一成像数据的低频分量和所述第一成像数据的高频分量相加而生成第二合成成像数据。

(11)根据(10)所述的成像装置，其中

在所述第一成像数据的高频分量大于所述第二成像数据的高频分量的各像素中，所述合成部通过将所述第一成像数据的低频分量和所述第二成像数据的高频分量相加而生成所述第一合成成像数据，且在所述第一成像数据的高频分量小于所述第二成像数据的高频分量的各像素中，所述合成部通过将所述第一成像数据的低频分量和所述第一成像数据的高频分量相加而生成所述第二合成成像数据。

(12)根据(11)所述的成像装置，其中

在所述第二成像数据的高频分量小于所述第一成像数据的高频分量的所述像素之中的像素值的变化是平坦的区域中所包含的各个所述像素中，所述合成部通过将所述第一成像数据的低频分量和所述第二成像数据的高频分量相加而生成所述第一合成成像数据。

(13)根据(10)至(12)中任一项所述的成像装置，其中

各条所述成像数据是针对各像素设定单条颜色信息的原始数据。

(14)根据(10)至(12)中任一项所述的成像装置，其中

各条所述成像数据是针对各像素设定多种颜色信息的彩色图像数据。

(15)根据(10)至(14)中任一项所述的成像装置，其中

第一成像设备通过成像而生成所述第一成像数据，所述第一成像设备是所述两个成像设备中的一者，并且

第二成像设备通过成像而生成所述第二成像数据，所述第二成像设备是所述两个成像设备中的另一者且以所述第一成像设备的成像区域中的除了外边缘以外的区域作为成像区域。

(16)根据(15)所述的成像装置，其中

所述合成部通过将所述第一成像数据中的除了外边缘以外的预定区域和所述第二成像数据的高频分量相加而生成所述第一合成成像数据。

(17)一种信号处理装置，其包括：

合成部，所述合成部通过将第一成像数据的低频分量、所述第一成像数据的高频分量和第二成像数据的高频分量相加而生成第一合成成像数据，所述第一成像数据是视角彼此不同的两条成像数据之中的相对较宽视角的所述成像数据，且所述第二成像数据是所述两条成像数据之中的相对较窄视角的所述成像数据。

(18)一种信号处理装置，其包括：

合成部，在第一成像数据的高频分量大于第二成像数据的高频分量的情况下，所述合成部通过将所述第一成像数据的低频分量和所述第二成像数据的高频分量相加而生成第一合成成像数据，所述第一成像数据是视角彼此不同的两条成像数据之中的相对较宽视角的所述成像数据，且所述第二成像数据是所述两条成像数据之中的相对较窄视角的所述成像数据，并且在所述第一成像数据的高频分量小于所述第二成像数据的高频分量的情况下，所述合成部通过将所述第一成像数据的低频分量和所述第一成像数据的高频分量相加而生成第二合成成像数据。

本申请要求于2016年4月13日提交的日本在先专利申请JP2016-080132的权益，其全部内容以引用的方式并入本文中。

本领域技术人员应当理解，依据设计要求和其他因素，可以在本发明所附的权利要求书或其等同物的范围内进行各种修改、组合、次组合以及改变。

Claims (18)

1.一种成像装置，其包括：

两个成像设备，所述两个成像设备生成视角彼此不同的各条成像数据；以及

合成部，所述合成部通过将第一成像数据的低频分量、所述第一成像数据的高频分量和第二成像数据的高频分量相加而生成第一合成成像数据，所述第一成像数据是由所述两个成像设备中的一者生成的并具有相对较宽视角的所述成像数据，且所述第二成像数据是由所述两个成像设备中的另一者生成的并具有相对较窄视角的所述成像数据。

2.根据权利要求1所述的成像装置，其中

在所述第二成像数据的高频分量小于所述第一成像数据的高频分量的情况下，所述合成部生成所述第一合成成像数据。

3.根据权利要求2所述的成像装置，其中

在所述第二成像数据的高频分量小于所述第一成像数据的高频分量的各像素中，所述合成部通过将所述第一成像数据的低频分量、所述第一成像数据的高频分量和所述第二成像数据的高频分量相加而生成所述第一合成成像数据。

4.根据权利要求2所述的成像装置，其中

在所述第二成像数据的高频分量大于所述第一成像数据的高频分量的情况下，所述合成部通过将所述第一成像数据的低频分量和所述第二成像数据的高频分量相加而生成第二合成成像数据。

5.根据权利要求4所述的成像装置，其中

在所述第二成像数据的高频分量大于所述第一成像数据的高频分量的各像素中，所述合成部通过将所述第一成像数据的低频分量和所述第二成像数据的高频分量相加而生成所述第二合成成像数据。

6.根据权利要求1所述的成像装置，其中

各条所述成像数据是针对各像素设定单条颜色信息的原始数据。

7.根据权利要求1所述的成像装置，其中

各条所述成像数据是针对各像素设定多种颜色信息的彩色图像数据。

8.根据权利要求1所述的成像装置，其中

第一成像设备通过成像而生成所述第一成像数据，所述第一成像设备是所述两个成像设备中的一者，并且

第二成像设备通过成像而生成所述第二成像数据，所述第二成像设备是所述两个成像设备中的另一者且以所述第一成像设备的成像区域中的除了外边缘以外的区域作为成像区域。

9.根据权利要求8所述的成像装置，其中

所述合成部通过将所述第一成像数据中的除了外边缘以外的预定区域和所述第二成像数据的高频分量相加而生成所述第一合成成像数据。

10.一种成像装置，其包括：

两个成像设备，所述两个成像设备生成视角彼此不同的各条成像数据；以及

合成部，在第一成像数据的高频分量大于第二成像数据的高频分量的情况下，所述合成部通过将所述第一成像数据的低频分量和所述第二成像数据的高频分量相加而生成第一合成成像数据，所述第一成像数据是由所述两个成像设备中的一者生成的并具有相对较宽视角的所述成像数据，且所述第二成像数据是由所述两个成像设备中的另一者生成的并具有相对较窄视角的所述成像数据，并且在所述第一成像数据的高频分量小于所述第二成像数据的高频分量的情况下，所述合成部通过将所述第一成像数据的低频分量和所述第一成像数据的高频分量相加而生成第二合成成像数据。

11.根据权利要求10所述的成像装置，其中

在所述第一成像数据的高频分量大于所述第二成像数据的高频分量的各像素中，所述合成部通过将所述第一成像数据的低频分量和所述第二成像数据的高频分量相加而生成所述第一合成成像数据，且在所述第一成像数据的高频分量小于所述第二成像数据的高频分量的各像素中，所述合成部通过将所述第一成像数据的低频分量和所述第一成像数据的高频分量相加而生成所述第二合成成像数据。

12.根据权利要求11所述的成像装置，其中

在所述第二成像数据的高频分量小于所述第一成像数据的高频分量的所述像素之中的像素值的变化是平坦的区域中所包含的各个所述像素中，所述合成部通过将所述第一成像数据的低频分量和所述第二成像数据的高频分量相加而生成所述第一合成成像数据。

13.根据权利要求10所述的成像装置，其中

各条所述成像数据是针对各像素设定单条颜色信息的原始数据。

14.根据权利要求10所述的成像装置，其中

各条所述成像数据是针对各像素设定多种颜色信息的彩色图像数据。

15.根据权利要求10所述的成像装置，其中

第一成像设备通过成像而生成所述第一成像数据，所述第一成像设备是所述两个成像设备中的一者，并且

第二成像设备通过成像而生成所述第二成像数据，所述第二成像设备是所述两个成像设备中的另一者且以所述第一成像设备的成像区域中的除了外边缘以外的区域作为成像区域。

16.根据权利要求14所述的成像装置，其中

所述合成部通过将所述第一成像数据中的除了外边缘以外的预定区域和所述第二成像数据的高频分量相加而生成所述第一合成成像数据。

17.一种信号处理装置，其包括：

合成部，所述合成部通过将第一成像数据的低频分量、所述第一成像数据的高频分量和第二成像数据的高频分量相加而生成第一合成成像数据，所述第一成像数据是视角彼此不同的两条成像数据之中的相对较宽视角的所述成像数据，且所述第二成像数据是所述两条成像数据之中的相对较窄视角的所述成像数据。

18.一种信号处理装置，其包括：

合成部，在第一成像数据的高频分量大于第二成像数据的高频分量的情况下，所述合成部通过将所述第一成像数据的低频分量和所述第二成像数据的高频分量相加而生成第一合成成像数据，所述第一成像数据是视角彼此不同的两条成像数据之中的相对较宽视角的所述成像数据，且所述第二成像数据是所述两条成像数据之中的相对较窄视角的所述成像数据，并且在所述第一成像数据的高频分量小于所述第二成像数据的高频分量的情况下，所述合成部通过将所述第一成像数据的低频分量和所述第一成像数据的高频分量相加而生成第二合成成像数据。