CN109479092B - 图像处理设备和图像处理方法 - Google Patents

Abstract

融合确定处理单元36‑3基于通过使用通过利用成像单元21‑1对成像受摄体进行成像而获得的黑白图像和通过利用成像单元21‑2从不同视点位置对成像受摄体进行成像而获得的彩色图像的视频而计算的特性，对视频中的每个图像进行融合确定，以确定图像质量作为融合处理的结果是否已经劣化，该融合处理通过使用融合处理单元35生成以黑白图像作为基准将黑白图像和彩色图像互相融合而获得的融合图像。另外，融合确定处理单元36‑3以如下方式设置合成比率：随着时间的经过顺序地实现当确定图像质量没有由于融合处理而劣化时到由融合处理单元35生成的融合图像数据的切换以及当确定图像质量已经恶化时到由去马赛克处理单元34生成的去马赛克图像数据的切换。因此，可以通过使用由多个成像单元获得的图像来生成高质量图像。

Description

图像处理设备和图像处理方法

技术领域

本技术涉及图像处理设备和图像处理方法，图像处理设备和图像处理方法中的每一个使得高图像质量的成像图像能够通过使用多个成像部中获取的成像图像来产生。

背景技术

迄今为止，由于小型化/轻薄化，诸如便携式电子设备例如智能电话的信息处理终端在成像部的图像质量性能上比单透镜反光相机等更加降低。为此，例如，PTL 1声明：由能够附接至信息处理终端/能够从信息处理终端拆卸的相机生成的成像图像以无线通信方式被提供给信息处理终端。此外，PTL 2公开了：设置多个成像部，并且同时生成多个图像例如第一视角的图像和比第一视角窄的第二视角的图像。

引用列表

专利文献

[PTL 1]

日本专利特许公报No.2015-088824

[PTL 2]

日本专利特许公报No.2013-219525

发明内容

技术问题

顺便提及，可拆卸相机的尺寸大于信息处理终端的成像部。因此，在要使用可拆卸相机的情况下，需要建立与信息处理终端的通信。因此，用于获得令人满意的成像图像的操纵很麻烦，因此降低了便携性。此外，即使设置多个成像部，可以获取的图像仍是与各个成像部的性能块对应的图像。

鉴于上述情况，本发明的目的是提供一种图像处理设备和图像处理方法，图像处理设备和图像处理方法中的每一个使得高图像质量的成像图像能够通过使用多个成像部中获取的成像图像来产生。

问题的解决方案

本技术的第一方面是一种图像处理设备，包括：融合确定处理部，其基于通过使用通过对受摄体成像获得的第一成像图像和通过从不同视点位置对受摄体成像获得的第二成像图像的动态图像计算的特征量，对于动态图像的每个图像执行关于如下的融合确定：是否在通过以第一成像图像作为基准融合第一成像图像和第二成像图像而获得的融合图像中引起图像质量的劣化。融合确定处理部包括基于融合确定的结果和特征量以如下方式改变合成比率的融合确定处理部：对于融合图像和第二成像图像，随着时间的经过将一个图像切换到另一个图像。

利用本技术，融合确定处理部基于通过使用第一成像图像例如通过对受摄体成像获得的单色成像图像和第二成像图像例如通过从不同的视点位置对受摄体成像获得的彩色成像图像的动态图像而计算的特征量，对于动态图像的每个图像执行关于如下的融合确定：是否在通过以单色成像图像为基准融合单色成像图像和彩色成像图像而获得的融合图像的产生中引起图像质量的劣化。

在融合确定处理部确定没有引起图像质量的劣化的情况下，融合确定处理部执行到融合图像的切换。在融合确定处理部确定引起图像质量的劣化的情况下，融合确定处理部执行到彩色成像图像的切换。随着时间的经过，融合确定处理部依次地改变合成比率，并将一个图像切换到另一个图像。以如下方式设置合成比率：从融合图像切换到彩色成像图像的速度变得等于或高于从彩色成像图像切换到融合图像的速度。此外，响应于特征量的改变量来设置切换速度。

此外，图像处理设备还包括图像合成部，其执行用于根据由融合确定处理部设置的合成比率来合成融合图像和彩色成像图像的处理，并生成合成图像数据。图像合成部以根据合成比率的比例合成融合图像和彩色成像图像，并生成图像切换的过程中的中间图像。或者，图像合成部根据来自彩色成像图像的合成比率在视点位置生成图像，并将得到的图像设置为图像切换的过程中的中间图像。

此外，融合确定处理部例如基于单色成像图像与彩色成像图像之间的视差来计算特征量，并将由此计算的特征量与先前设置的确定阈值互相比较，从而确定是否基于比较结果引起图像质量的劣化。融合确定处理部将针对每个像素指示视差的离差的统计量设置作特征量，并且在视差的离差大于先前设置的确定阈值的情况下，确定引起图像质量的劣化。在指示离差的统计量的时间变化大于先前设置的变化阈值的情况下，融合确定处理部使得从融合图像切换到彩色成像图像的速度高于预定切换速度。此外，融合确定处理部将针对每个像素超过视差中预定范围内的视差量的像素的比例设置为特征量，并且在超过预定范围内的视差量的像素的比例大于确定阈值的比例的情况下，确定引起图像质量的劣化。在比例的时间变化大于先前设置的变化阈值的情况下，融合确定处理部使得从融合图像切换到彩色成像图像的速度高于预定切换速度。此外，融合确定处理部针对每个像素计算在平行方向上与感兴趣的像素相距预定距离定位的像素与在反方向上与感兴趣的像素相距预定距离定位的像素之间的视差差的绝对值，将视差差绝对值超过预定量的像素的比例设置为特征量，并且在超过预定量的像素的比例大于确定阈值的比例的情况下，确定引起图像质量的劣化。在比例的时间变化大于先前设置的变化阈值的情况下，融合确定处理部使得从融合图像切换到彩色成像图像的速度高于预定切换速度。

此外，融合确定处理部基于单色成像图像和彩色成像图像的像素的饱和度来计算特征量。融合确定处理部基于等于或大于从与彩色成像图像相关联的图像数据产生的亮度分量图像数据中的饱和度确定设置值的像素数目与等于或大于与单色成像图像相关联的图像数据中的饱和度确定设置值的像素数目之间的差来计算特征量，并且确定在特征量大于确定阈值的情况下引起图像质量的劣化。在像素数目之间的差的时间变化大于先前设置的变化阈值的情况下，融合确定处理部使得从融合图像的图像数据切换到彩色成像图像的图像数据的速度高于预定切换速度。

此外，融合确定处理部从与彩色成像图像相关联的图像数据产生亮度分量图像数据和颜色分量图像数据，并且在亮度分量图像数据的离差与颜色分量图像数据的离差之间的差大于确定阈值的情况下，确定引起图像质量的劣化。在离差之间的差的时间变化大于先前设置的变化阈值的情况下，融合确定处理部使得从融合图像切换到彩色成像图像的速度高于预定切换速度。此外，融合确定处理部将单色成像图像的端部区域与彩色成像图像的端部区域之间的信号电平差的时间变化设置为特征量，并且在信号电平差的时间变化大于先前设置的确定阈值的情况下，确定引起图像质量的劣化。

本技术的第二方面是一种图像处理方法，包括：基于通过使用通过对受摄体成像获得的第一成像图像和通过从不同视点位置对受摄体成像获得的第二成像图像的动态图像而计算的特征量，对于动态图像的每个图像执行关于如下的融合确定：是否在通过以第一成像图像作为基准融合第一成像图像和第二成像图像而获得的融合图像中引起图像质量的劣化；以及基于融合确定的结果和特征量，以如下方式改变合成比率：对于融合图像和第二成像图像，随着时间的经过将一个图像切换到另一个图像。

发明的有益效果

根据本技术，融合确定处理部基于通过使用通过对受摄体成像获得的第一成像图像和通过从不同视点位置对受摄体成像获得的第二成像图像的动态图像而计算的特征量，对于动态图像的每个图像执行关于如下的融合确定：是否在通过以成像图像作为基准融合第一成像图像和第二成像图像而获得的融合图像中引起图像质量的劣化。融合确定处理部基于融合确定的结果和特征量，以如下方式改变合成比率：对于融合图像和第二成像图像，随着时间的经过将一个图像切换到另一图像。因此，可以通过使用多个成像部中获取的成像图像来生成图像切换不明显的高图像质量的成像图像。应当注意，本说明书中描述的效果仅仅是示例，并且决不是限制性的。此外，可以提供其他效果。

附图说明

图1是例示应用了图像处理设备的设备的外观的视图。

图2是例示信息处理终端的配置的框图。

图3是例示成像部中的像素阵列的示图。

图4是用于说明通过执行融合处理获得的图像质量的视图。

图5是示出当单色成像图像被设置为基准时的遮挡的视图。

图6是例示第一实施方式的配置的框图。

图7是例示融合确定处理部的配置的框图。

图8是例示图像特征量的计算的目标区域的视图。

图9是例示视差直方图的图表。

图10是用于说明视差差绝对值的视图。

图11是例示视差间隙直方图的图表。

图12是例示像素值直方图的图表。

图13是示出第一实施方式的操作的流程图。

图14是示出融合确定处理的流程图。

图15是例示视差分布特征量和确定阈值的图表。

图16是例示融合确定结果的视图。

图17是例示图像数据选择确定部的另一配置的框图。

图18是示出相机特征量与确定阈值之间的关系的图表(在ISO感光度被设置为相机特征量的情况下)。

图19是示出相机特征量与确定阈值之间的关系的图表(在ISO感光度和焦点位置被设置为相机特征量的情况下)。

图20是例示第三实施方式的配置的框图。

图21是例示融合确定处理部的配置的框图。

图22是示出第三实施方式的操作的流程图。

图23是示出融合确定处理的流程图。

图24是例示融合确定处理部的操作的图表。

图25是例示在合成图像被产生为中间图像的情况下的操作的图表。

图26是例示在视点动态图像被产生为中间图像的情况下的操作的图表。

图27是用于说明通过执行以彩色成像图像作为基准的融合处理而获得的图像质量的视图。

图28是例示第四实施方式的配置的框图。

图29是例示第五实施方式的配置的框图。

图30是例示去马赛克图像和融合图像的图像质量与ISO感光度之间的关系的图表。

图31是例示融合确定处理部的一部分的配置的框图。

图32是例示端部区域的视图。

图33是示出车辆控制系统的示意性配置的实例的框图。

图34是帮助说明车外信息检测部和成像部的安装位置的实例的示图。

具体实施方式

在下文中，将描述用于执行本技术的模式。应当注意，将根据以下顺序给出描述。

1.应用图像处理设备的设备的配置

2.图像处理设备的第一实施方式

2-1.第一实施方式的配置

2-2.第一实施方式的操作

3.图像处理设备的第二实施方式

3-1.第二实施方式的配置和操作

4.图像处理设备的第三实施方式

4-1.第三实施方式的配置

4-2.第三实施方式的操作

5.图像处理设备的第四实施方式

5-1.第四实施方式的配置和操作

6.图像处理设备的第五实施方式

6-1.第五实施方式的配置和操作

7.其他实施方式

8.应用实例

<1.应用图像处理设备的设备的配置>

图1例示了应用本技术的图像处理设备的设备的外观。应当注意，在以下描述中，例如，图像处理设备被应用于信息处理终端。图1的(a)示出了信息处理终端10的前侧，并且显示部53和操纵部55被设置在前侧。图1的(b)示出了信息处理终端10的后侧，并且多个成像部例如两个成像部21-BW和21-CR被设置在后侧。

图2例示了信息处理终端的配置。信息处理终端10具有多个成像部，例如，两个成像部21-BW和21-CR、图像处理部30、传感器部51、通信部52、显示部53、触摸面板54、操纵部55、存储部56和控制部60。图像处理部30对应于本技术的图像处理设备。

如图1的(b)所示的成像部21-BW和21-CR被设置在信息处理终端10的同一表面侧上。成像部21-BW和21-CR各自通过使用诸如互补金属氧化物半导体(CMOS)图像传感器的成像元件来配置，执行由透镜(未示出)吸收的光的光电转换以产生与成像图像相关联的图像数据，并将图像数据输出到图像处理部30。此外，成像部21-BW和21-CR具有特性差异。

图3例示了成像部的像素阵列。图3的(a)示出了成像部21-BW的像素阵列。在成像部21-BW中，所有像素由白色(W)像素配置，该白色(W)像素基于可见光的整个波长范围内的入射光量输出电信号。因此，成像部21-BW产生与单色成像图像相关联的图像数据。应当注意，在本技术的图像处理设备中，例如，与成像部21-BW中产生的单色成像图像相关联的图像数据被设置为第一成像图像的第一成像图像数据。

图3的(b)示出了成像部21-CR的像素阵列。成像部21-CR例如通过使用红色(R)像素、蓝色(B)像素和绿色(G)像素在其中以拜耳阵列布置的滤色器来配置。在拜耳阵列中，在2×2像素的像素单元中，位于对角线位置的两个像素是绿色(G)像素，并且剩余的像素是红色(R)像素和蓝色(B)像素。即，成像部21-CR中的像素是适于基于红色、蓝色和绿色的各个颜色分量的入射光量输出电信号的颜色像素。因此，成像部21-CR产生与指示像素中的各个三原色(RGB)的彩色成像图像相关联的图像数据。应当注意，在本技术的图像处理设备中，与成像部21-CR中产生的彩色成像图像相关联的图像数据例如被设置为与第二成像图像相关联的第二成像图像数据。

图像处理部30通过使用成像部21-BW和成像部21-CR中获取的成像图像而在不降低图像质量的情况下获得高感光度成像图像。即，与成像部21-BW和成像部21-CR中各个获取的每个成像图像的图像相比较，图像处理部30通过分别使用成像部21-BW和成像部21-CR中获取的成像图像来执行图像处理，以在不降低图像质量的情况下产生具有高感光度的成像图像，并将成像图像输出到显示部53和存储部56。应当注意，稍后将描述图像处理部30的配置和操作的细节。

传感器部51通过使用陀螺仪传感器等来配置，并检测信息处理终端10中引起的摇动等。传感器部51将与因此检测到的振动相关联的信息输出到控制部60。

通信部52与诸如局域网(LAN)或因特网的网络上的设备进行通信。

显示部53基于从图像处理部30向其提供的图像数据来执行成像图像的显示，并且基于来自控制部60的信息信号来执行菜单图片、各种应用图片等的显示。此外，触摸面板54被定位在显示部53的显示表面侧，并且显示部53以可以利用GUI功能的方式被配置。

操纵部分55通过使用操纵开关等来配置，并且根据用户操纵产生操纵信号以将操纵信号输出到控制部60。

存储部56存储信息处理终端10中产生的信息，例如，从图像处理部30向其提供的图像数据以及用于在信息处理终端10中执行通信或应用的各种信息片段。

控制部60包括中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)(未示出)等。控制部60执行存储在ROM或RAM中的程序，以控制这些部的操作，使得在信息处理终端10中执行根据用户对触摸面板54或操纵部55的操纵的操作。

应当注意，信息处理终端10决不限于图2中所示的配置，并且例如可以设置有用于对图像数据编码以将经编码的图像数据存储在存储部56中的编码处理部、用于将图像数据与显示部的分辨率对齐的分辨率变换部等。

<2.图像处理设备的第一实施方式>

<2-1.第一实施方式的配置>

第一实施方式的图像处理部30-1通过使用成像部21-BW中获取的单色成像图像和成像部21-CR中获取的彩色成像图像来执行融合处理。图4是用于说明通过执行融合处理获得的图像质量的视图。例如，当在彩色成像图像与作为基准的单色成像图像对齐之后执行融合以产生融合图像时，响应于在成像部21-BW中使用的透镜和传感器的特性，可以增加亮度。然而，由于成像部21-BW与成像部21-CR在视点方面不同，因此与远视图相比，在近视图中，引起色移的风险变高。此外，遮挡在近视图中比在远视图中更多地增加。图5示出了当成像部21-BW中获取的单色成像图像被设置为基准时的遮挡。当由于视差引起遮挡时，成像部21-CR中获取的彩色成像图像中不存在与遮挡区域对应的图像数据。因此，如后所述，在通过执行融合处理而产生的融合图像中，提供了在遮挡区域中缺少颜色信息的图像。此外，与远视图的像素相比，在近视图的像素中，还存在与一个成像图像中的感兴趣的像素对应的像素超过视差检测的搜索范围的可能性，因此可能无法计算视差矢量。因此，在某些情况下，通过执行融合处理获得的融合图像在图像质量上比成像部21-CR中获取的彩色成像图像更加劣化。

此外，由于成像部21-BW的感光度高于使用滤色器的成像部21-CR，所以当受摄体的亮度变高时，与成像部21-CR相比，像素的饱和度容易出现。当每个像素以这种方式在单色成像图像中饱和的像素的数目变大时，融合图像变成由于受摄体的高亮度部分与成像部21-CR中获取的彩色成像图像相比更饱和引起的图像质量的劣化的彩色图像。

为此，图像处理部30-1执行关于由于像素的饱和度或视差引起的图像质量的劣化是否基于成像图像引起的融合确定。图像处理部30-1响应于融合确定结果来选择成像部21-CR中获取的融合图像或彩色成像图像，从而输出图像质量等于或高于成像部21-CR中获取的彩色成像图像的高感光度彩色成像图像。

图6例示了第一实施方式的配置。图像处理部30-1具有预处理部31-BW和31-CR、视差检测部32、视差补偿部33-cb、去马赛克处理部34、融合处理部35-fb、融合确定处理部36-1和图像选择部39。

预处理部31-BW对与成像部21-BW中获取的单色成像图像相关联的图像数据执行诸如透镜畸变校正、缺陷像素校正的校正处理。预处理部31-BW将校正后的图像数据(下文中称为“单色图像数据”)输出到视差检测部32、融合处理部35-fb和融合确定处理部36-1。

预处理部31-CR对与成像部21-CR中获取的彩色成像图像相关联的图像数据执行诸如透镜畸变校正、缺陷像素校正的校正处理。预处理部31-CR将校正后的图像数据(下文中称为“预去马赛克彩色图像数据”)输出到视差检测部32、视差补偿部33-cb、去马赛克处理部34和融合确定处理部36-1。

视差检测部32基于从预处理部31-BW向其提供的单色图像数据和从预处理部31-CR向其提供的预去马赛克彩色图像数据执行视差检测，以产生指示检测到的它们之间的视差的视差信息。如图1的(b)所示的成像部21-BW和成像部21-CR从不同的视点位置执行成像。因此，成像部21-BW和成像部21-CR中获取的成像图像变为具有视差的图像。因此，视差检测部32基于从预处理部31-BW和预处理部31-CR向其提供的各个图像数据片段，产生指示每个像素的视差的视差信息。

视差检测部32通过执行诸如块匹配的对应点检测处理来产生视差信息。例如，视差检测部32将成像部21-BW和21-CR之一中获取的成像图像设置为基准成像图像，并在另一成像图像上检测块区域，该块区域与使得基准成像图像上的感兴趣位置作为基准的基准块区域最相似。视差检测部32计算指示检测到的块区域与基准块区域之间的位置差异的视差矢量。此外，视差检测部32利用基准成像图像上的每个像素来计算视差作为感兴趣的位置，产生指示针对每个像素计算的视差矢量的视差信息，并将由此产生的视差信息输出到视差补偿部33-cb和融合确定处理部36-1。

视差补偿部33-cb基于从视差检测部32向其提供的视差信息对预去马赛克彩色图像数据执行视差补偿。视差补偿部33-cb基于视差检测部32中产生的视差信息对从预处理部31-CR向其提供的预去马赛克彩色图像数据执行像素位置的移动，并产生视差补偿彩色图像数据作为成像部21-BW中获取的单色成像图像的视点。视差补偿部33-cb将由此产生的视差补偿彩色图像数据输出到融合处理部35-fb。

去马赛克处理部34通过使用从预处理部31-CR向其提供的预去马赛克彩色图像数据来执行去马赛克处理。在去马赛克处理中，执行去马赛克处理，用于从由像素分别指示红色、蓝色和绿色的颜色分量的预去马赛克彩色成像数据产生指示每个像素的红色、蓝色、绿色的颜色分量的三原色图像数据。去马赛克处理部34将通过执行去马赛克处理产生的三原色图像数据(下文中称为“去马赛克图像数据”)输出到图像选择部39。

融合处理部35-fb通过使用从预处理部31-BW向其提供的单色图像数据和从视差补偿部33-cb向其提供的视差补偿彩色图像数据来执行融合处理。即，融合处理部35-fb使用单色成像图像数据和视差补偿后的彩色成像图像数据，从而执行如参照图4所述的以单色成像图像作为基准的融合处理。融合处理部35-fb将通过执行融合处理而产生的融合图像数据输出到图像选择部39。

融合确定处理部36-1基于通过使用通过对受摄体成像而获取的单色成像图像和通过从不同的视点位置对受摄体成像而获取的彩色成像图像而计算的特征量来执行关于如下的融合确定：在通过以单色成像图像作为基准融合单色成像图像和彩色成像图像而获得的融合图像中是否引起图像质量的劣化。融合确定处理部36-1基于融合确定结果确定是否输出融合图像或彩色成像图像中的任何一个。确定是否选择。例如，融合确定处理部36-1执行关于如下的融合确定：在基于单色数据和预去马赛克彩色图像数据的融合处理中是否引起由视差和像素的饱和度引起的图像质量的劣化。此外，融合确定处理部36-1响应于融合确定结果来产生图像选择信号，并将由此产生的图像选择信号输出到图像选择部39。

在确定在融合图像中没有引起图像质量的劣化的情况下，图像选择部39基于从融合确定处理部36-1向其提供的图像选择信号来选择融合处理部35-fb中产生的融合图像数据，并输出融合图像数据。此外，在确定在融合图像中引起图像质量的劣化的情况下，图像选择部39基于从融合确定处理部36-1向其提供的图像选择信号来选择去马赛克处理部34中产生的去马赛克图像数据，并输出去马赛克图像数据。以这种方式，图像选择部39基于从融合确定处理部36-1向其提供的图像选择信号来选择融合图像数据或去马赛克图像数据，并输出图像质量等于或高于成像部21-CR中获取的彩色成像图像的高感光度彩色图像数据。

接下来，将给出关于融合确定处理部的配置的描述。图7例示了融合确定处理部的配置。融合确定处理部36-1具有图像特征量计算部37和图像数据选择确定部38-1。

图像特征量计算部37计算用于执行由于视差和像素的饱和度引起的图像质量的劣化的确定的图像特征量。图像特征量计算部37具有视差直方图产生部371、视差分布特征量计算部372、搜索范围上特征量计算部373、视差间隙直方图产生部374和视差间隙特征量计算部375作为功能块，该图像特征量计算部37计算用于执行由于视差引起的图像质量的劣化的确定的图像特征量。此外，图像特征量计算部37具有饱和度确定直方图产生部376和饱和度特征量计算部377作为功能块，该图像特征量计算部37计算用于执行由于像素的饱和度引起的图像质量的劣化的确定的图像特征量。顺便提及，图像特征量计算部37可以将整个成像图像设置为图像特征量的计算目标区域，或者可以设置除如图8所示的成像图像中的上下以及左右的区域(由斜线表示)之外的计算目标区域。以如下方式，如果除端部侧的区域之外设置计算目标区域，则可以防止可能无法计算由于例如感兴趣的像素位于侧端的位置引起的视差、后面将描述的视差间隙距离等，进而因此可以准确地计算图像特征。此外，还可以减少产生直方图等所需的计算涂层。

视差直方图产生部371通过使用针对计算目标区域中的像素计算的视差矢量来产生直方图。应当注意，图9例示了视差直方图：图9的(a)例示了受摄体接近同一平面的状态下的成像图像的视差直方图；以及图9的(b)例示了到受摄体的距离彼此不同的成像图像的视差直方图。在视差直方图中，取决于距离的差异，在负方向上与视差“0”分开的位置中出现峰值。图9的(c)例示了由于到受摄体的距离彼此不同而出现多个视差以及由于受摄体彼此接近而出现大视差的状态下的成像图像的视差直方图。在该视差直方图中，因为与图9的(b)相比，受摄体彼此接近，从而出现大的视差，所以与图9的(b)的情况相比，在负方向上更远离视差的位置出现峰值。

视差分布特征量计算部372根据视差直方图产生部371中产生的视差直方图来计算指示视差分布的特征的统计量作为视差分布特征量。视差分布特征量计算部372例如计算标准偏差作为指示视差分布的特征的统计量，并将由此计算的标准偏差设置为视差分布特征量FV_fsd。例如，根据图9的(a)的直方图计算的视差分布特征量被设置为“FV_fsd-a”，根据图9的(b)的直方图计算的视差分布特征量被设置为“FV_fsd-b”，以及根据图9的(c)的直方图计算的视差分布特征量被设置为“FV_fsd-c”。在这种状态下，视差分布特征量满足“FV_fsd-a<FV_fsd-b,FV_fsd-c。”以这种方式，如果将视差直方图的标准偏差计算为视差分布特征量计算部372中的视差分布特征量FV_fsd，则稍后将描述的图像数据选择确定部38-1可以基于视差分布特征量FV_fsd确定是受摄体接近同一平面还是存在多个视差。

搜索范围上特征量计算部373根据视差直方图产生部371中产生的视差直方图来计算指示频次(over_search_range_counter)的比例的搜索范围上特征量FV_osr，每个在先前设置的搜索范围上的视差以上述频次的比例出现在整个频次(计数器)上。搜索范围上特征量计算部373通过使用视差直方图来执行表达式(1)的计算，以计算搜索范围上特征量FV_osr：

FVosr＝over_search_range_counter/counter*100......(1)

例如，根据图9的(a)的直方图计算的搜索范围上特征量被设置为“FV_osr-a”。此外，根据图9的(b)的直方图计算的搜索范围上特征量被设置为“FV_osr-b”，以及根据图9的(c)的直方图计算的搜索范围上特征量被设置为“FV_osr-c”。在这种情况下，搜索范围上特征量满足“FV_osr-a,FV_osr-b<FV_osr-c。”以这种方式，如果搜索范围上特征量计算部373计算搜索范围上特征量FV_osr，则稍后将描述的图像数据选择确定部38-1可以基于搜索范围上特征量FV_osr来确定是否对引起大视差的受摄体进行成像。即，可以确定出现遮挡的区域的发生情况。

视差间隙直方图产生部374产生视差间隙直方图。图10是用于说明用于产生视差间隙直方图的视差差绝对值的视图。如图10所示的视差间隙直方图产生部374通过“-(PARALLAX_DIFF_DISTANCE)/2”的像素计算远离计算目标区域中感兴趣的像素的位置水平定位的位置中的视差PV1。此外，视差间隙直方图产生部374通过“(PARALLAX_DIFF_DISTANCE)/2”的像素计算远离感兴趣的像素的位置水平定位的位置中的视差PV2，从而计算表达式(2)中所示的视差差绝对值PV_apd。应当注意，先前设置了视差间隙距离(PARALLAX_DIFF_DISTANCE)。

PV_apd＝ABS(PV1-PV2)......(2)

例如，在受摄体处于接近同一平面的状态的情况下，由于视差PV1与视差PV2之间的差较小，所以视差差绝对值PV_apd的值变小。此外，例如，如果到受摄体的距离彼此不同，并且感兴趣的像素是距离彼此不同的受摄体之间的边界，则由于视差PV1与视差PV2之间的差较大，所以视差差绝对值PV_apd的值变大。视差间隙直方图产生部374产生视差间隙直方图作为以计算目标区域中的每个像素作为感兴趣的像素而计算的视差差绝对值PV_apd的直方图。应当注意，图11例示了视差间隙直方图。

视差间隙特征量计算部375根据视差间隙直方图产生部374中产生的视差间隙直方图来计算视差间隙特征量FV_pd。视差间隙特征量计算部375计算指示频次(large_parallax_diff_counter)的比例的视差间隙特征量FV_pd，以上述频次的比例在整个频次(计数器)上生成每个在根据视差间隙直方图先前设置的最大视差间隙距离上的视差间隙。视差间隙特征量计算部375通过使用视差间隙直方图来计算表达式(3)的计算量，从而计算视差间隙特征量FV_pd。

FV_pd＝large_parallax_diff_counter/counter*100......(3)

以这种方式，视差间隙特征量计算部375中计算的视差间隙特征量FV_pd指示引起最大视差间隙距离的像素的比例。在此，由于位于同一平面上的受摄体表现出小的视差间隙，并且视差间隙在具有不同距离的受摄体的图像边界部分中较大，因此可以确定具有较大不同距离的受摄体的图像边界的出现情况。

饱和度确定直方图产生部376基于从预处理部31-BW向其提供的单色图像数据产生指示每个像素值的频次(像素数目)的像素值直方图。此外，饱和度确定直方图产生部376通过从预处理部31-CR向其提供的预去马赛克彩色成像图像数据的颜色空间变换来产生亮度数据，并基于由此产生的亮度数据来产生指示每个像素值的频次(像素数目)的像素值直方图。

图12例示了像素值直方图。应当注意，图12的(a)示出了基于单色成像图像的像素值直方图，图12的(b)示出了基于彩色成像图像的亮度直方图。如上所述，由于成像部21-BW由白色(W)像素来配置，所有这些白色(W)像素均基于可见光的整个波长区域中的入射光量输出电信号，因此成像部21-BW的感光度高于使用滤色器的成像部21-CR。因此，在对具有相同亮度的受摄体进行成像的情况下，在基于成像部21-BW中获取的单色成像图像的像素值直方图中，具有高信号值的区域中的频次与基于成像部21-CR中获取的彩色成像图像的亮度值直方图的情况相比变高。

饱和度特征量计算部377基于饱和度确定直方图产生部376中产生的亮度值直方图来计算饱和度特征量FV_sat。饱和度特征量计算部377计算等于或大于基于单色成像图像的像素值直方图中先前设置的饱和度确定设置值(SATURATION_AREA_W)的像素值的频次(saturation_counter_W)以及等于或大于基于彩色成像图像的像素值直方图中先前设置的饱和度确定设置值(SATURATION_COUNTER_Y)的像素值的频次(saturation_counter_Y)。此外，饱和度特征量计算部377计算饱和度特征量FV_sat，该饱和度特征量FV_sat指示频次(saturation_counter_W)与频次(saturation_counter_Y)之间的差与整个频次(计数器)的比例。饱和度特征量计算部377通过使用基于单色成像图像的像素值直方图和基于彩色成像图像的像素值直方图来执行表达式(4)的计算，从而计算饱和度特征量FV_sat：

FV_sat＝(saturation_counter_W-saturation_counter_Y)/counter*100)

...(4)

以这种方式，饱和度特征量计算部377中计算的饱和度特征量FV_sat指示单色成像图像与彩色成像图像之间的像素饱和度情况的差。因此，例如，在饱和度特征量的值大的情况下，可以确定感兴趣的成像图像是在以单色成像图像作为基准的融合处理中由于像素的饱和度引起的图像质量的劣化的成像图像。

图像数据选择确定部38-1基于图像特征量计算部37中计算的图像特征量和从控制部60等获取的相机特征量来确定是否在融合图像中引起图像质量的劣化。图像数据选择确定部38-1基于确定结果产生图像选择信号，并将得到的图像选择信号输出到图像选择部39。图像数据选择确定部38-1具有个体确定部381至385以及综合确定处理部388作为功能块，这些功能块中的每个确定是否引起图像质量的劣化。

个体确定部381基于视差分布特征量计算部372中计算的视差分布特征量来确定是否在融合图像中引起图像质量的劣化。个体确定部381比较视差分布特征量FV_fsd与为视差分布特征量先前设置的确定阈值Th_fsd。在视差分布特征量FV_fsd大于确定阈值Th_fsd的情况下，即，在视差的离差大的情况下，个体确定部381确定引起了图像质量的劣化。个体确定部381将个体确定结果输出到综合确定处理部388。

个体确定部382基于搜索范围上特征量计算部373中计算的上的搜索范围上特征量FV_osr来确定是否在融合图像中引起图像质量的劣化。个体确定部382比较搜索范围上特征量FV_osr与为搜索范围上特征量先前设置的确定阈值Th_osr。在搜索范围上特征量FV_osr大于确定阈值Th_osr的情况下，个体确定部382可以确定遮挡的区域数目大。如上所述，由于在以单色成像图像作为基准的融合图像中，在遮挡区域中缺少颜色信息，所以在遮挡区域的数目增加的情况下，个体确定部382确定引起了图像质量的劣化。个体确定部382将个体确定结果输出到综合确定处理部388。

个体确定部383基于视差间隙特征量计算部375中计算的视差间隙特征量FV_pd来确定是否在融合图像中引起图像质量的劣化。个体确定部383比较视差间隙特征量FV_pd与为视差间隙特征量先前设置的确定阈值Th_pd。在视差间隙特征量FV_pd大于确定阈值Th_pd的情况下，个体确定部383可以确定具有大不相同距离的受摄体的图像边界的数目大。由于在具有大不相同距离的受摄体的图像之间的边界中容易引起遮挡，因此个体确定部383确定在具有大不相同距离的受摄体之间的图像边界的数目大的情况下引起图像质量的劣化。个体确定部383将个体确定结果输出到综合确定处理部388。

个体确定部384基于饱和度特征量计算部377中计算的饱和度特征量FV_sat来确定是否在融合图像中引起图像质量的劣化。个体确定部384将饱和度特征量FV_sat与为饱和度特征量先前设置的确定阈值Th_sat进行比较。在饱和度特征量FV_sat大于确定阈值Th_sat的情况下，即，在饱和的图像像素的数目在单色成像图像中大于在彩色成像图像中的情况下，个体确定部384确定引起了图像质量的劣化。个体确定部384将个体确定结果输出到综合确定处理部388。

个体确定部385基于相机特征量确定是否在融合图像中引起图像质量的劣化。与成像时的亮度相关联的成像设置信息，与受摄体距离相关联的成像设置信息被用作相机特征量。由于在受摄体较亮的情况下，可以在成像部21-CR中获取具有高感光度的图像，因此与受摄体较暗的情况相比，融合处理的效果较小。因此，与成像时的亮度相关联的成像设置信息被用作相机特征量。此外，由于成像部21-BW与成像部21-CR之间的视点差异而发生的遮挡在受摄体彼此分开定位的情况下较少，并且在受摄体彼此靠近定位的地方情况下较多。因此，与受摄体距离相关联的成像设置信息被用作相机特征量。就与成像时的亮度相关联的成像设置信息而言，例如，诸如成像部21-BW和成像部21-CR的ISO感光度或曝光时间的设置信息被使用。就与受摄体距离相关联的成像设置信息而言，诸如焦点位置或变焦放大率的设置信息被使用。个体确定部385从成像部21-BW和成像部21-CR以及控制部60获取相机信息。个体确定部385将相机特征量与为相机特征量先前设置的确定阈值进行比较，并确定融合处理是否引起图像质量的劣化。个体确定部385将个体确定结果输出到综合确定处理部388。

综合确定处理部388通过使用从个体确定部381至385提供的个体确定结果来执行融合确定，并响应于融合确定结果产生图像选择信号，以将图像解决信号输出到图像选择部39。例如，在确定在从个体确定部381至385提供的个体确定结果中的任何一个中引起了图像质量的劣化的情况下，综合确定处理部388确定融合处理在融合确定中引起图像质量性能的劣化。此外，在确定在从个体确定部381至385提供的所有个体确定结果中没有引起图像质量的劣化的情况下，综合确定处理部388确定融合处理在融合确定中不会引起图像质量性能的劣化。综合确定处理部388在确定在融合确定中存在图像质量性能的降低的情况下产生用于选择去马赛克图像数据的图像选择信号，并且在确定在融合确定中不存在图像质量性能的劣化情况下选择融合图像数据，并且将图像选择信号输出到图像选择部39。

<2-2.第一实施方式的操作>

图13是示出图像处理部的第一实施方式的操作的流程图。在步骤ST1中，图像处理部获取成像图像。图像处理部30-1从成像部21-BW和21-CR获取与成像图像相关联的图像数据，并且处理进入步骤ST2。

在步骤ST2中，图像处理部执行视差补偿处理。图像处理部30-1通过使用步骤ST1中获取的图像数据来执行对齐。然后，图像处理部将成像部21-CR中获取的预去马赛克彩色图像数据设置为成像部21-BW中获取的单色成像图像的视点中的图像数据，并且处理进行到步骤ST3。

在步骤ST3中，图像处理部执行去马赛克处理。图像处理部30-1通过使用从成像部21-CR获取的图像数据来执行去马赛克处理，并且为每个像素产生具有对应颜色分量的去马赛克图像数据片段。然后，处理进入步骤ST4。

在步骤ST4中，图像处理部执行融合处理。图像处理部30-1通过使用成像部21-BW中产生的单色图像数据和在步骤ST2中执行视差补偿的视差补偿彩色图像数据来执行融合处理，并产生融合图像数据。然后，处理进入步骤ST5。

在步骤ST5中，图像处理部执行融合确定处理。图像处理部执行融合确定处理，并且判别步骤ST3中产生的去马赛克图像数据和步骤ST4中产生的融合图像数据中的哪一个被选择并输出，并产生图像选择信息。

图14是示出融合确定处理的流程图。在步骤ST11中，图像处理部执行特征量计算处理。图像处理部30-1的融合确定处理部36-1产生视差直方图、视差间隙直方图和饱和度确定直方图，并基于由此产生的直方图计算特征量。然后，处理进入步骤ST12。

在步骤ST12中，图像处理部执行图像选择信息产生处理。图像处理部30-1的融合确定处理部36-1将步骤ST11中计算的特征量与为每个计算的特征量先前设置的判别阈值进行比较。融合确定处理部36-1基于比较结果执行关于是否在融合图像中引起图像质量的劣化的融合确定。此外，融合确定处理部36-1产生图像选择信息，该图像选择信息指示基于融合确定结果选择步骤ST3中产生的去马赛克图像数据和步骤ST4中产生的融合图像数据中的哪一个。然后，处理进入图13的步骤ST6。

在步骤ST6中，图像处理部执行图像选择处理。图像处理部30-1基于步骤ST5的融合确定处理中产生的图像选择信息来选择步骤ST3中产生的去马赛克图像数据和步骤ST4中产生的融合图像数据中的任何一个。然后，处理进入步骤ST7。

在步骤ST7中，图像处理部判别操作是否结束。例如，在静止图像成像的情况下，因为完成了静止图像的图像处理，所以图像处理部30-1结束操作。此外，在为了动态图像记录或构图的确认等执行预览图像(直通图像)显示的情况下，在图像处理部30-1中，处理返回到执行动态图像记录或预览图像显示的情况下的步骤ST1。在执行用于动态图像记录或预览图像显示的结束操作的情况下，操作结束。应当注意，步骤ST3中的处理和步骤ST4中的处理之一可以在另一个之前执行。此外，本技术决不限于以步骤的顺序执行处理片段的顺序处理，并且可以使用流水线处理或并行处理。

图15例示了视差分布特征量和确定阈值。个体确定部381将视差分布特征量计算部372中计算的视差分布特征量FV_fsd与确定阈值Th_fsd进行比较。因为直到时间点t1，视差分布特征量FV_fsd等于小于确定阈值Th_fsd，所以个体确定部381确定在融合图像中未引起图像质量的劣化，并将个体确定结果输出到综合确定处理部388。此外，在视差分布特征量FV_fsd在时间点t1处超过确定阈值Th_fsd变大的情况下，个体确定部381确定在融合图像中引起图像质量的劣化，并且将个体确定结果输出到综合确定处理部388。此外，在视差分布特征量FV_fsd在时间点t2处等于小于确定阈值Th_fsd的情况下，个体确定部381确定在融合中未引起图像质量的劣化，并且将个体确定结果输出到综合确定处理部388。

在个体确定部382至385中的每一个中，类似于个体确定部381的情况，将特征量与确定阈值进行比较，并确定是否在融合图像中引起图像质量的劣化。然后，将个体确定结果输出到综合确定处理部388。

综合确定处理部388通过使用个体确定部381至385中的个体确定结果来执行融合确定。在确定在从个体确定部381至385提供的任何个体确定结果中引起图像质量的劣化的情况下，综合确定处理部388确定在融合确定中存在图像质量性能的劣化。此外，在确定在从个体确定部381至385提供的所有个体确定结果中未引起图像质量的劣化的情况下，综合确定处理部388确定在融合确定中在融合处理中不存在图像质量性能的劣化。图16例示了融合确定结果。例如，假设在个体确定部382至385中的每一个中，在融合图像中未引起图像质量的劣化，并且在个体确定部381中，获得图15中示出的确定结果。在这种情况下，综合确定处理部388确定直到时间点t1不存在图像质量性能的劣化，并且确定在从时间点t1到时间点t2的时间段内存在图像质量性能的劣化。此外，综合确定处理部388确定从时间点t2开始不存在图像质量性能的劣化。

顺便提及，在个体确定部中的比较结果例如持续先前设置的确定帧的时间段或更长时间情况下，个体确定部381至385可以响应于比较结果来执行个体确定。此外，在个体确定部381至385中的个体确定结果例如持续先前设置的确定帧的时间段或更长时间的情况下，综合确定处理部388可以响应于个体确定结果来执行融合确定。当以这种方式执行个体确定和融合确定时，降低了噪声等的影响，从而获得稳定的确定结果。此外，如果在确定结果改变使得引起图像质量的劣化的情况下的确定帧的数目小于在确定结果改变使得未引起图像质量的劣化的情况下的确定帧的数目，则，在引起图像质量的劣化的情况下，确定结果可以快速地应对这种情况。此外，在没有引起图像质量的劣化的情况下，当比较结果或个体确定结果持续时，判别出可能未引起图像质量的劣化，并且确定结果可以应付这种情况。

应当注意，由于通过使用成像图像执行融合确定处理，因此在成像图像不是静止图像的情况下，例如，在动态图像记录或预览图像显示的情况下，通过使用融合确定处理中获得的融合确定结果，例如，执行下次将输出的帧的图像数据的选择。此外，在关于从图像处理部输出的图像数据的情况下，可以允许融合确定处理所需的时间段的延迟。可以响应于融合确定结果来选择从与融合确定处理中使用的成像图像相关联的图像数据产生的去马赛克图像数据或者融合图像数据。

根据这样的第一实施方式，在确定在融合处理中，不基于图像特征量或相机特征量引起图像质量的劣化的情况下，选择融合图像数据。在确定在融合处理中引起图像质量的劣化的情况下，选择去马赛克图像数据。因此，通过使用成像部21-BW中获取的单色成像图像和成像部21-CR中获取的彩色成像图像，可以从图像处理部30-1输出高感光度彩色成像图像而无需降低图像质量。

<3.图像处理设备的第二实施方式>

在上述第一实施方式中，在融合确定处理部36-1中，将计算的特征量与先前设置的确定阈值进行比较，并且确定是否在融合处理中引起图像质量的劣化。顺便提及，在先前设置确定阈值的情况下，这样设置的确定阈值不一定是成像情况的最佳值。然后，与第一实施方式的情况相比，在第二实施方式中，通过响应于成像情况设置确定阈值，可以准确地执行关于是否引起图像质量的劣化的确定。

<3-1.第二实施方式的配置和操作>

图17例示了图像数据选择确定部的另一种配置。融合确定处理部36-2的图像数据选择确定部38-2基于图像特征量计算部37中计算的图像特征量和从控制部60等获取的相机特征量来执行关于是否在融合处理中引起图像质量的劣化的确定，并基于判别结果产生图像选择信号。此外，图像数据选择确定部38-2响应于相机特征量设置当基于图像特征量确定是否在融合图像中引起图像质量的劣化时使用的确定阈值。图像数据选择确定部38-2具有个体确定部381至384和综合确定处理部388作为功能块，这些功能块中的每一个确定是否引起图像质量的劣化。此外，图像数据选择确定部38-2具有用于响应于相机特征量设置确定阈值的确定阈值设置部380。

确定阈值设置部380基于相机特征量设置确定阈值。就相机特征量而言，如上所述，与成像时的亮度相关联的成像设置信息或与受摄体距离相关联的成像设置信息被使用。

图18和图19中的每一个均示出了相机特征量与确定阈值之间的关系。应当注意，图18例示了响应于以成像时设置的ISO感光度作为相机特征量的ISO感光度来设置与视差相关联的特征量的确定阈值和与像素的饱和度相关联的特征量的确定阈值的情况。

在ISO感光度被设置为低值的情况下，受摄体是明亮的，因此成像的图像变为包含较少噪声的图像。因此，通过使用融合处理获得的效果低。此外，如果通过执行融合处理生成由于遮挡引起的色移，则由此生成的色移是显著的，从而引起图像质量的劣化(原因1)。因此，在ISO感光度被设置为低值的情况下，与视差相关联的确定阈值和与像素的饱和度相关联的确定阈值各自被设置为低值，以便容易地确定在融合图像中引起图像质量的劣化。

在ISO感光度被设置为高值的情况下，受摄体是暗的，因此成像的图像变成包含很多噪声的图像。因此，通过使用融合处理获得的效果非常高。此外，由于噪声在颜色分量中也很多，所以即使稍稍生成色移等，也不那么明显(原因3)。因此，在ISO感光度被设置为高值的情况下，确定阈值被设置为高值，从而难以确定在融合图像中引起图像质量的劣化。

此外，在ISO感光度被设置为中间值的情况下，成像图像不那么多地包含噪声。因此，如果在融合图像中引起图像质量性能的劣化，则存在劣化变得显著的可能性(原因2)。因此，在ISO感光度被设置为中间值的情况下，确定阈值被设置为如下值，该值高于ISO感光度被设置为低值的情况下的值，并且低于ISO感光度被设置为高值的情况下的值。

图19例示了响应于以成像时设置的ISO感光度和焦点位置作为相机特征量的ISO感光度和焦点位置来设置与视差相关联的特征量的确定阈值和与像素的饱和度相关联的特征量的确定阈值的情况。

与焦点位置不是短距离的情况相比，在焦点位置是短距离的情况下，容易引起关于由遮挡引起的颜色的图像质量性能的劣化(原因4)。因此，在焦点位置不是短距离的情况下，类似于图18的情况设置确定阈值。与焦点位置不是短距离的情况相比，焦点位置是短距离且ISO感光度被设置为中间值或高值的情况下的确定阈值被设置为低。即，与焦点位置不是短距离的情况相比较，在焦点位置是短距离的情况下，将确定阈值设置为低值，以便容易地确定在融合图像中引起图像质量的劣化。

个体确定部381基于视差分布特征量计算部372中计算的视差分布特征量来确定是否在融合图像中引起图像质量的劣化。个体确定部381比较视差分布特征量FV_fsd与响应于相机特征量针对视差分布特征量在确定阈值设置部380中设置的确定阈值Thc_fsd。在视差分布特征量FV_fsd大于确定阈值Thc_fsd的情况下，个体确定部381确定在融合图像中引起图像质量的劣化。个体确定部381将个体确定结果输出到综合确定处理部388。

个体确定部382基于搜索范围上特征量计算部373中计算的搜索范围上特征量FV_osr来确定是否在融合图像中引起图像质量的劣化。个体确定部382比较搜索范围上特征量FV_osr与响应于相机特征量针对搜索范围上特征量在确定阈值设置部380中设置的确定阈值Thc_osr。在搜索范围上特征量FV_osr大于确定阈值Thc_osr的情况下，个体确定部382确定在融合图像中引起图像质量的劣化。个体确定部382将个体确定结果输出到综合确定处理部388。

个体确定部383基于视差间隙特征量计算部375中计算的视差间隙特征量FV_pd来确定是否在融合图像中引起图像质量的劣化。个体确定部383比较视差间隙特征量FV_pd与响应于相机特征量针对视差间隙特征量在确定阈值设置部380中设置的确定阈值Th_cpd。在视差间隙特征量FV_pd大于确定阈值Th_cpd的情况下，个体确定部383确定在融合图像中引起图像质量的劣化。个体确定部383将个体确定结果输出到综合确定处理部388。

个体确定部384基于饱和度特征量计算部377中计算的饱和度特征量FV_sat来确定是否在融合图像中引起图像质量的劣化。个体确定部384比较饱和度特征量FV_sat与响应于相机特征量针对饱和度特征量在确定阈值设置部380中设置的确定阈值Thc_sat。在饱和度特征量FV_sat大于确定阈值Thc_sat的情况下，个体确定部384确定在融合图像中引起图像质量的劣化。个体确定部384将个体确定结果输出到综合确定处理部388。

综合确定处理部388基于从个体确定部381至384向其提供的个体确定结果来执行融合确定，并响应于融合确定结果产生图像选择信号，并将图像选择信号输出到图像选择部39。例如，在确定在从个体确定部381至384提供的个体确定结果中的任何一个中引起图像质量的劣化的情况下，综合确定处理部388确定在融合确定中在融合图像中引起图像质量性能的劣化。此外，在确定在从个体确定部381至384提供的所有个体确定结果中未引起图像质量的劣化的情况下，综合确定处理部388确定在融合确定中不会引起图像质量性能的劣化。综合确定处理部388在确定在融合确定中引起图像质量性能的降低的情况下产生用于选择去马赛克图像数据的图像选择信号，并且在确定在融合确定中未引起图像质量性能的劣化情况下选择融合图像数据，并将图像选择信号输出到图像选择部39。

应当注意，图像数据选择确定部38-2可以设置有第一实施方式中描述的个体确定部385，并且综合确定处理部388也可以基于相机特征量通过使用个体确定结果产生图像选择信号。

根据这样的第二实施方式，类似于第一实施方式的情况，通过使用成像部21-BW中获取的单色成像图像和成像部21-CR中获取的彩色成像图像，高感光度彩色成像图像可以在不降低图像质量的情况下从图像处理部30-1输出。此外，由于在第二实施方式中，响应于设置状态设置确定阈值，因此与第一实施方式相比，可以准确地执行关于是否引起图像质量的劣化的确定。

<4.图像处理设备的第三实施方式>

在上述第一实施方式和第二实施方式中，执行关于是否在融合图像中引起图像质量的劣化的融合确定。此外，为通过基于融合确定结果执行以成像部21-BW中获取的单色成像图像作为基准的融合处理而产生的融合图像数据或者与成像部21-CR中获取的彩色成像图像相关联的图像数据选择通过执行去马赛克处理而产生的去马赛克图像数据。在此，融合图像数据指示成像部21-BW的视点的成像图像，并且去马赛克图像数据指示成像部21-CR的视点的成像图像。因此，当在动态图像成像时响应于确定结果切换图像数据时，因为视点在图像的切换之前和之后不同，图像的切换是显著的，所以感兴趣的图像成为图像质量降低的图像。然后，在第三实施方式中，即使当响应于融合确定结果切换成像数据时，切换也变得不明显。

<4-1.第三实施方式的配置>

图20例示了第三实施方式的配置。图像处理部30-3通过使用成像部21-BW和成像部21-CR中获取的成像图像在不降低图像质量的情况下获得高感光度成像图像。即，图像处理部30-3通过使用成像部21-BW和成像部21-CR中获取的成像图像来执行图像处理，并且产生高感光度成像图像，其中，在与成像部21-BW或成像部21-CR中各个获取的成像图像中的每一个相比没有更多地降低图像质量的情况下，图像的切换不明显。

图像处理部30-3具有预处理部31-BW和31-CR、视差检测部32、视差补偿部33-cb、去马赛克处理部34、融合处理部35-fb、融合确定处理部36-3和图像合成部40-dfb。

预处理部31-BW对与成像部21-BW中获取的单色成像图像相关联的图像数据执行诸如透镜畸变校正或缺陷像素校正的校正处理。预处理部31-BW将校正后的单色图像数据输出到视差检测部32、融合处理部35-fb和融合确定处理部36-3。

预处理部31-CR对与成像部21-CR中获取的彩色成像图像相关联的图像数据执行诸如透镜畸变校正或缺陷像素校正的校正处理。预处理部31-CR将校正后的预去马赛克彩色图像数据输出到视差检测部32、视差补偿部33-cb、去马赛克处理部34和融合确定处理部36-3。

视差检测部32基于从预处理部31-BW向其提供的单色图像数据和从预处理部31-CR向其提供的预去马赛克彩色图像数据执行视差检测，并产生指示为每个像素计算的视差的视差信息。视差检测部32将由此产生的视差信息输出到视差补偿部33-cb和融合确定处理部36-3。

视差补偿部33-cb基于从视差检测部32向其提供的视差信息对预去马赛克彩色图像数据执行视差补偿。视差补偿部33-cb基于视差检测部32中产生的视差信息为从预处理部31-CR向其提供的预去马赛克彩色图像数据执行像素位置的移动，并产生视差补偿彩色图像数据作为成像部21-Bw中获取的单色成像图像的视点。视差补偿部33-cb将由此产生的视差补偿彩色图像数据输出到融合处理部35-fb。

去马赛克处理部34通过使用从预处理部31-CR向其提供的预去马赛克彩色图像数据来执行去马赛克处理。在去马赛克处理中，执行去马赛克处理，用于根据像素中的每一个指示红色、蓝色和绿色中的对应的一个颜色分量的预去马赛克成像数据产生为每个像素指示红色、蓝色和绿色的对应颜色分量的图像数据。去马赛克处理部34将通过去马赛克处理产生的去马赛克图像数据输出到图像合成部40-dfb。

融合处理部35-fb通过使用从预处理部31-BW提供给其的单色图像数据和从视差补偿部33-cb提供给它的视差补偿彩色图像数据，以单色成像图像作为基准执行融合处理。融合处理部35-fb将通过融合处理产生的融合图像数据输出到图像合成部40-dfb。

融合确定处理部36-3基于通过使用通过对受摄体成像获取的单色成像图像和通过从不同的视点位置对受摄体成像而获取的彩色成像图像的动态图像而计算的特征量对于动态图像的每个图像来执行关于如下的融合确定：是否在通过以单色成像图像作为基准融合单色成像图像和彩色成像图像而获得的融合图像中引起图像质量的劣化。此外，融合确定处理部36-3以如下方式设置合成比率：对于融合图像和彩色成像图像，一个图像基于融合确定结果和特征量随着时间的经过切换到另一个图像。例如，融合确定处理部36-3执行关于如下的融合确定：是否在基于单色图像数据和预去马赛克彩色图像数据的融合图像中引起由视差和像素的饱和度引起的图像质量的劣化。此外，融合确定处理部36-3计算与视差和像素的饱和度相关联的特征量的时间方向上的改变量。此外，融合确定处理部36-3以如下方式设置合成比率：对于图像，一个图像响应于融合确定结果和改变量随着时间的经过切换到另一图像；并且产生指示合成比率的图像合成信号，并将图像合成信号输出到图像合成部40-dfb。

图像合成部40-dfb基于从融合确定处理部36-3向其提供的图像合成信号来合成融合图像数据和去马赛克图像数据，以产生合成图像数据。在融合确定处理部36-3确定在融合图像中没有引起图像质量的劣化的情况下，图像合成部40-dfb输出融合图像数据作为合成图像数据。此外，在融合确定处理部36-3确定在融合图像中引起图像质量的劣化的情况下，图像合成部40-dfb输出去马赛克图像数据作为合成图像数据。此外，图像合成部40-dfb以根据合成比率的比例合成融合图像和彩色成像图像，使得即使当融合图像数据和去马赛克图像数据响应于合成比率基于图像合成信号互相切换时，图像数据的切换也不明显，以在图像切换的中间产生中间图像。此外，图像合成部40-dfb响应于与视差和像素的饱和度相关联的特征量的时间方向上的变化量来改变图像数据的切换速度，以使图像质量的劣化不明显。

接下来，将给出关于融合确定处理部的配置的描述。图21例示了融合确定处理部的配置。融合确定处理部36-3具有图像特征量计算部37和图像数据选择确定部38-3。

图像特征量计算部37计算用于执行关于由视差和像素的饱和度导致的图像质量的劣化的确定的图像特征量。图像特征量计算部37具有视差直方图产生部371、视差分布特征量计算部372、搜索范围上特征量计算部373、视差间隙直方图产生部374以及视差间隙特征量计算部375作为用于计算图像特征量的功能块，该图像特征量用于执行关于由视差导致的图像质量的劣化的确定。另外，图像特征量计算部37具有饱和度确定直方图产生部376和饱和度特征量计算部377作为用于计算图像特征量的功能块，该图像特征量用于执行关于由像素的饱和度导致的图像质量的劣化的确定。

视差直方图产生部371通过使用关于计算目标区域的像素而计算的视差矢量来产生直方图。视差分布特征量计算部372根据在视差直方图产生部371中产生的视差直方图来计算视差分布特征量FV_fsd作为指示视差分布的特征的统计量。

搜索范围上特征量计算部373计算指示频次(over_search_range_counter)的比例的搜索范围上特征量FV_osr，等于或大于先前设置的搜索范围的视差的频次的比例根据在视差直方图产生部371中产生的视差直方图而被生成到整个频次(计数器)。

视差间隙直方图产生部374产生视差间隙直方图。视差间隙直方图产生部374计算在位于在与计算目标区域中的关注的像素位置水平分开的位置中以像素为“-(PARALLAX_DIFF_DISTANCE/2)”的视差PV1，以及在位于在与计算目标区域中的关注的像素位置水平分开的位置中以像素为“-(PARALLAX_DIFF_DISTANCE/2)”的视差PV2，并且计算视差PV1与PV2之间的视差差绝对值PV_apd。此外，视差间隙直方图产生部374通过使用这样计算的视差差绝对值PV_apd来产生直方图。

视差间隙特征量计算部375根据在视差间隙直方图产生部374中产生的视差间隙直方图来计算视差间隙特征量FV_pd。

饱和度确定直方图产生部376基于从预处理部31-BW向其提供的单色图像数据来产生指示针对每个像素值的频次(像素的数量)的像素值直方图。另外，饱和度确定直方图产生部376通过从预处理部31-CR向其提供的预去马赛克彩色成像图像数据的彩色空间变换来产生亮度数据，并且基于这样产生的亮度数据来产生指示针对每个像素值的频次(像素的数量)的像素值直方图。

饱和度特征量计算部377基于在饱和度确定直方图产生部376中产生的亮度值直方图来计算饱和度特征量FV_sat。

图像数据选择确定部38-3基于在图像特征量计算部37中计算的图像特征量和从控制部60获取的相机特征量等来执行关于图像质量的劣化是否会在融合图像中导致的确定。另外，图像数据选择确定部38-3基于图像判别结果和图像特征量的时间方向上的变化量来产生图像合成信号。图像数据选择确定部38-3具有个体确定部381至385、变化量确定部381d至385d以及综合确定处理部389作为关于图像特征量的时间方向上的变化量以及是否会导致图像质量的劣化的确定的功能块。

个体确定部381基于在视差分布特征量计算部372中计算的视差分布特征量来确定图像质量的劣化是否会在融合图像中导致。个体确定部381将视差分布特征量FV_fsd与为视差分布特征量先前设置的判断阈值Th_fsd进行比较。在视差分布特征量FV_fsd大于判断阈值Th_fsd的情况下。个体确定部381确定在融合图像中导致图像质量的劣化。个体确定部381将个体确定结果输出到综合确定处理部389。

变化量确定部381d计算在视差分布特征量计算部372中计算的视差分布特征量的时间变化量(FV_fsd(i)-FV_fsd(i-1))。应当注意，“i”指示关于融合确定处理部36-3确定是否会导致图像质量的劣化的帧。变化量确定部381d将计算的变化量的绝对值与先前设置的变化量阈值Thd_fsd进行比较，并且将比较结果输出到综合确定处理部389。

个体确定部382基于在搜索范围上特征量计算部373中计算的搜索范围上特征量FV_osr来确定图像质量的劣化是否会在融合图像中导致。个体确定部382将搜索范围上特征量FV_osr与为搜索范围上特征量先前设置的判断阈值Th_osr进行比较。在搜索范围上特征量FV_osr大于判断阈值Th_osr的情况下，个体确定部382确定在融合图像中导致图像质量的劣化。个体确定部382将个体确定结果输出到综合确定处理部389。

变化量确定部382d计算在搜索范围上特征量计算部373中计算的搜索范围上特征量的时间变化量(FV_osr(i)-FV_osr(i-1))。此外，变化量确定部382d将计算的变化量的绝对值与先前设置的变化量阈值Thd_osr进行比较，并且将比较结果输出到综合确定处理部389。

个体确定部383基于在视差间隙特征量计算部375中计算的视差间隙特征量FV_pd来确定图像质量的劣化是否会在融合图像中导致。个体确定部383将视差间隙特征量FV_pd与为视差间隙特征量先前设置的判断阈值Th_pd进行比较。在视差间隙特征量FV_pd大于判断阈值Th_pd的情况下，个体确定部383确定在融合图像中导致图像质量的劣化。个体确定部383将个体确定结果输出到综合确定处理部389。

变化量确定部383d计算在视差间隙特征量计算部375中计算的视差间隙特征量的时间变化量(FV_pd(i)-FV_pd(i-1))。变化量确定部383d将计算的变化量的绝对值与先前设置的变化量阈值Thd_1pd进行比较，并且将比较结果输出到综合确定处理部389。

个体确定部384基于在饱和度特征量计算部377中计算的饱和度特征量FV_sat来确定图像质量的劣化是否会在融合图像中导致。个体确定部384将饱和度特征量FV_sat与为饱和度特征量先前设置的判断阈值Th_sat进行比较。在饱和度特征量FV_sat大于判断阈值Th_sat的情况下，个体确定部384确定在融合图像中导致图像质量的劣化。个体确定部384将个体确定结果输出到综合确定处理部389。

变化量确定部384d计算在饱和度特征量计算部377中计算的饱和度特征量的时间变化量(FV_sat(i)-FV_sat(i-1))。变化量确定部384d将计算的变化量的绝对值与先前设置的变化量阈值Thd_sat进行比较，并且将比较结果输出到综合确定处理部389。

个体确定部385基于相机特征量来确定图像质量的劣化是否会在融合图像中导致。就相机特征量而言，如上所述，使用诸如ISO感光度和焦点位置的成像设置信息。个体确定部385将相机特征量与为相机特征量先前设置的判断阈值进行比较，并且确定图像质量的劣化是否会在融合图像中导致。个体确定部385将个体确定结果输出到综合确定处理部389。

综合确定处理部389通过使用从个体确定部381至385向其提供的个体确定结果来执行融合确定，并且响应于融合确定结果来产生图像合成信号，并且将图像合成信号输出到图像合成部40-dfb。例如，在确定图像质量的劣化是在从个体确定部381至385提供的个体确定结果中的任何一个中导致的情况下，综合确定处理部389确定图像质量性能的劣化是在融合确定中的融合图像中导致。另外，在确定图像质量的劣化不是在从个体确定部381至385提供的所有个体确定结果中导致的情况下，综合确定处理部389确定图像质量性能的劣化不是在融合确定中的融合图像中导致。

综合确定处理部389产生图像合成信号，并且将图像合成信号输出到图像合成部40-dfb。该图像合成信号用于在融合确定中确定存在性能降低的情况下将在去马赛克处理部34中产生的去马赛克图像数据设置为从图像合成部40-dfb输出的合成图像数据，以及在融合确定中确定不存在图像质量性能的劣化的情况下将在融合处理部35-fb中产生的融合图像数据设置为从图像合成部40-dfb输出的合成图像数据。

另外，综合确定处理部389基于从变化量确定部381d至384d提供的变化量与变化量阈值的比较结果，确定从融合图像数据到去马赛克图像数据的切换速度。此外，综合确定处理部389响应于确定的切换速度来设置由图像合成信号指示的合成比率。例如，在由于在动态图像的成像时的受摄体变化等而不是导致图像质量的劣化的融合图像数据引起的图像质量的劣化在融合图像中导致的情况下，期望输出去马赛克图像数据。另外，还期望从融合图像数据到去马赛克图像数据的切换是不引人注意的。因此，在融合确定中确定存在性能降低，并且变化量超过从变化量确定部381d至384d提供的个体确定结果中的任何一个中的变化量阈值的情况下，综合确定处理部389使切换速度高于先前设置的预定速度。另外，在融合确定中确定不存在性能降低的情况下，融合确定处理部36-3将切换速度设置成先前设置的预定速度。综合确定处理部389将产生的图像合成信号输出到图像合成部40-dfb。应当注意，由于从去马赛克图像数据到融合图像数据的切换速度是基于证明未导致图像质量的劣化的融合确定结果来设置的，因此切换速度被设置成先前设置的预定速度。

图像合成部40-dfb基于从融合确定处理部36-3向其提供的图像合成信号，将在去马赛克处理部34中产生的去马赛克图像数据和在融合处理部35-fb中产生的融合图像数据彼此合成。图像合成部40-dfb在确定图像质量的劣化是在融合图像中导致的情况下将去马赛克图像数据设置为合成图像数据，以及在确定图像质量的劣化不是在融合图像中导致的情况下将融合图像数据设置为合成图像数据。

在图像特征量的时间方向上的变化量超过变化量阈值的情况下，图像合成部40-dfb基于从融合确定处理部36-3向其提供的图像合成信号以比预定速度高的速度执行从融合图像数据到去马赛克图像数据的切换。此外，图像合成部40-dfb基于从融合确定处理部36-3向其提供的图像合成信号来产生针对在融合图像数据与去马赛克图像数据之间的切换中用于过渡的时间段的与中间图像相关联的图像数据作为合成图像数据，从而使图像数据的切换不引人注意。

<4-2.第三实施方式的操作>

图22是描绘第三实施方式的操作的流程图。在步骤ST21中，图像处理部获取成像图像。图像处理部30-3从成像部21-BW和21-CR获取与成像图像相关联的图像数据，并且处理进行至步骤ST22。

在步骤ST22中，图像处理部执行视差补偿处理。图像处理部30-3通过使用在步骤ST21中获取的图像数据来执行对准，并且将在成像部21-CR中获取的预去马赛克彩色图像数据设置为在成像部21-BW中获取的单色成像图像的视点的图像数据。然后，处理进行至步骤ST23。

在步骤ST23中，图像处理部执行去马赛克处理。图像处理部30-3通过使用从成像部21-CR获取的图像数据来执行去马赛克处理，并且产生具有针对每个像素的相应的颜色分量的去马赛克图像数据。然后，处理进行至步骤ST24。

在步骤ST24中，图像处理部执行融合处理。图像处理部30-3通过使用在成像部21-BW中产生的单色图像数据以及在步骤ST22中对其执行视差补偿的视差补偿彩色图像数据来执行融合处理，并且产生融合图像数据。然后，处理进行至步骤ST25。

在步骤ST25中，图像处理部执行融合确定处理。图像处理部执行融合确定处理，并且基于融合确定结果来产生指示在步骤ST23中产生的去马赛克图像数据和在步骤ST24中产生的融合图像数据的合成比率的图像合成信息。

图23是描绘融合确定处理的流程图。在步骤ST31中，图像处理部执行特征量计算处理。图像处理部30-3的融合确定处理部36-3产生视差直方图、视差间隙直方图以及饱和度确定直方图，并且基于这样产生的直方图计算特征量。然后，处理进行至步骤ST32。

在步骤ST32中，图像处理部执行变化量计算处理。图像处理部30-3计算关于在步骤ST31中计算的特征量的时间方向上的变化量。然后，处理进行至步骤ST33。

在步骤ST33中，图像处理部执行图像合成信息产生处理。图像处理部30-3的融合确定处理部36-3执行在步骤ST31中计算的特征量与为每个计算的特征量先前设置的判别阈值的比较，以及在步骤ST32中计算的变化量与为每个计算的变化量先前设置的变化量阈值的比较。图像处理部30-3基于比较结果来产生针对每个时间点的指示在步骤ST23中产生的去马赛克图像数据和在步骤ST24中产生的融合图像数据的合成比率的图像合成信息。然后，处理进行至图22的步骤ST26。

在步骤ST26中，图像处理部执行图像切换处理。图像处理部30-3执行在步骤ST23中产生的去马赛克图像数据和在步骤ST24中产生的融合图像数据的合成。在确定图像质量的劣化是在融合图像中导致的情况下，图像处理部30-3将去马赛克图像数据设置为合成图像数据。在确定没有导致图像质量的劣化的情况下，图像处理部30-3将融合图像数据设置为合成图像数据。另外，对于用于切换图像数据的过渡时间段，图像处理部30-3产生中间图像，使得作为合成图像数据的图像数据的切换不引人注意。另外，在图像特征量的时间方向上的变化量超过从融合图像数据到去马赛克图像数据的切换中的变化量阈值的情况下，图像处理部30-3基于图像合成信息使图像数据的切换速度高于预定速度。然后，处理进行至步骤ST27。

在步骤ST27中，图像处理部判别操作是否结束。在正在执行动态图像记录或预览图像显示的情况下，处理返回到步骤ST21。在执行针对动态图像记录或预览图像显示的结束操作的情况下，图像处理部30-3结束操作。应当注意，可以提前处理步骤ST23和步骤ST24中的任何一个。此外，处理决不限于以步骤顺序执行处理的顺序处理，并且可以使用流水线处理或并行处理。

图24例示了融合确定处理部的操作。图24的(a)描绘了融合确定结果。例如，在时间点t11之前，确定在从个体确定部381至385提供的所有个体确定结果中没有导致图像质量的劣化，并且在融合确定中，确定不存在图像质量性能的劣化。当在时间点t11处确定在个体确定结果中的任何一个中导致了图像质量的劣化时，在融合确定中，确定结果指示存在图像质量性能的劣化。另外，当确定在时间点t14处在所有个体确定结果中没有导致图像质量的劣化时，在融合确定中，确定不存在图像质量性能的劣化。

当融合确定结果从不存在图像质量性能的劣化变化成存在图像质量性能的劣化时，在从变化量确定部381d至384d提供的个体确定结果中的任何中，变化量超过变化量阈值的情况下，融合确定处理部确定需要增大切换速度，并且增大合成比率的变化量。图24的(b)例示了合成比率的变化。例如，当在时间点t11处，融合处理结果指示不存在图像质量性能的劣化切换到存在其时，合成比率从“1”变化到“0”，并且从图像合成部40-dfb输出的合成图像数据从融合图像数据切换到去马赛克图像数据。另外，当确定需要增大切换速度时，基于表达式(5)增大合成比率的变化量。在表达式(5)中，“reg_down_step”是在合成比率连续减小的情况下先前设置的减少量。“Gain”是用于改变减少量的增益，并且被设置成“0<(reg_down_step×Gain)<1”。另外，当确定不需要增大切换速度时，设置“Gain＝G1”。确定需要增大切换速度，设置“Gain>G1”。

f_ratio＝1-(reg_down_step×Gain)…(5)

如果“Gain”的值随着在超过变化量阈值时的变化量的增大而增大，则在变化特征量的变化量大并且图像质量的劣化的速度高的情况下，以高速度执行从融合图像数据到去马赛克数据的切换，使得对于从时间点t11至时间点t12的时间段，合成比率从“1”变化到“0”。为此，与不改变切换速度的情况相比，可能难以输出图像质量劣化的图像数据。应当注意，图24的(b)中的虚线描绘了在确定不需要增大切换速度的情况下(Gain＝1)合成比率的变化。在这种情况下，对于从时间点t11至时间点t13的时间段，合成比率从“1”变化到“0”。另外，对于从时间点t14至时间点t15的时间段，合成比率从“0”变化到“1”。

另外，在合成图像数据从融合图像数据切换到去马赛克图像数据的情况下，图像合成部40-dfb产生与合成比率相对应的中间图像。例如，图像合成部40-dfb以根据合成比率的比例将融合图像数据和去马赛克图像数据彼此合成，并且产生中间图像数据。

图25例示了在合成图像产生为中间图像的情况下的操作。图25的(a)描绘了合成比率f__ratio。另外，图25的(b)描绘了合成图像中的融合图像分量比率。图25的(c)描绘了合成图像中的去马赛克分量比率。由于在时间点t11之前，合成比率为“1”并且因此确定图像质量的劣化不是在融合图像中导致，因此输出融合图像。当在时间点t11处，判别导致图像质量的劣化时，对于从时间点t11至时间点t12的时间段，合成比率从“1”变化到“0”。另外，随着合成比率的降低，融合图像分量比率降低，而去马赛克处理图像分量比率增加。因此，可以连续地执行从融合图像到去马赛克图像的切换。

另外，图像合成部40-dfb可以根据来自基于去马赛克图像数据的图像的合成比率来产生视点位置的图像，从而将该图像设置为中间图像。

图26例示了在视点动态图像产生为中间图像的情况下的操作。由于在时间点t11之前，合成比率f__ratio为“1”并且确定图像质量的劣化不是在融合图像中导致，因此输出融合图像。当在时间点t11处，判别图像质量的劣化是在融合图像中导致时，对于从时间点t11至时间点t12的时间段，合成比率从“1”变化到“0”。对于从时间点t11直至时间点t12的时间段，通过利用在视差检测部32中检测到的视差来执行用于响应于针对去马赛克图像的合成比率而移动视点位置的处理。例如，在合成比率f__ratio为“0.5”的情况下，如果去马赛克图像的像素GDn与对应于融合图像的像素GFn之间的视差量是Dn，则然后，去马赛克图像的像素GDn移动了视差量(Dn×0.5)并且产生了中间图像。

根据这样的第三实施方式，类似于第一实施方式的情况，通过使用在成像部21-BW中获取的单色成像图像和在成像部21-CR中获取的彩色成像图像，可以在不降低图像质量的情况下从图像处理部30-1输出高感光度彩色成像图像。另外，根据第三实施方式，即使在响应于关于图像质量的劣化是否在融合图像中导致的确定结果而切换图像数据的情况下，也可以使切换不引人注意。此外，即使图像质量的劣化速度高，然后也可以使得图像质量劣化的融合图像难以输出。

<5.图像处理装置的第四实施方式>

在上述第一至第三实施方式中，例示了将以单色成像图像作为基准的融合图像数据用作融合图像数据的情况。然而，融合图像数据可以是在融合处理中产生的以在成像部21-CR中获取的彩色成像图像作为基准的融合图像数据。

图27是用于说明通过以彩色成像图像作为基准执行融合处理来获得的图像质量的视图。例如，如果在单色成像图像与作为基准的彩色成像图像对准之后，融合单色成像图像以产生融合图像，则然后可以响应于镜头和传感器的特性而增加感光度，在成像部21-BW中使用镜头和传感器不会导致融合图像中的色移，原因是彩色成像图像被设置为基准。

<5-1.第四实施方式的配置和操作>

图28例示了第四实施方式的配置。图像处理部30-4通过使用与在成像部21-BW和成像部21-CR中获取的成像图像相关联的图像数据来执行图像处理，并且在不降低相对于在成像部21-BW或成像部21-CR中获取的成像图像的图像质量的图像质量的情况下产生高感光度成像图像。

图像处理部30-4具有预处理部31-BW和31-CR、视差检测部32、视差补偿部33-bc、去马赛克处理部34、融合处理部35-fc、融合确定处理部36-4以及图像合成部40-dfc。

预处理部31-BW对与在成像部21-BW中获取的单色成像图像相关联的图像数据执行诸如镜头失真校正或缺陷像素校正的校正处理。预处理部31-BW将校正之后的单色图像数据输出到视差检测部32、融合处理部35-fc和融合确定处理部36-4。

预处理部31-CR对与在成像部21-CR中获取的彩色成像图像相关联的图像数据执行诸如镜头失真校正或缺陷像素校正的校正处理。预处理部31-CR将校正之后的预去马赛克彩色图像数据输出到视差检测部32、视差补偿部33-bc、去马赛克处理部34和融合确定处理部36-4。

视差检测部32基于从预处理部31-BW提供的单色图像数据和从预处理部31-CR提供的预去马赛克彩色图像数据来执行视差检测，并且产生指示针对每个像素计算的视差的视差信息。视差检测部32将这样产生的视差信息输出到视差补偿部33-bc和融合确定处理部36-4。

视差补偿部33-bc基于从视差检测部32向其提供的视差信息对单色图像数据执行视差补偿。视差补偿部33-bc基于在视差检测部32中产生的视差信息对从预处理部31-BW向其提供的单色图像数据执行像素位置的移动，并且产生视差补偿单色图像数据作为在成像部21-CR中获取的彩色成像图像的视点。视差补偿部33-bc将这样产生的视差补偿单色图像数据输出到融合处理部35-fc。

去马赛克处理部34通过使用从预处理部31-CR向其提供的预去马赛克彩色图像数据来执行去马赛克处理。在去马赛克处理中，执行去马赛克处理，用于产生指示来自预去马赛克彩色成像数据的相应像素中的红色、蓝色和绿色的颜色分量的图像数据，其中，像素中的每一个指示红色、蓝色和绿色的颜色分量中的相应一个。去马赛克处理部34将通过去马赛克处理产生的去马赛克图像数据输出到图像合成部40-dfc。

融合处理部35-fc通过使用从预处理部31-CR向其提供的预去马赛克彩色图像数据和从视差补偿部33-bc向其提供的视差补偿单色图像数据以彩色成像图像作为基准来执行融合处理。融合处理部35-fc将通过执行融合处理产生的融合图像数据输出到图像合成部40-dfc。

融合确定处理部36-4基于通过使用通过对受摄体进行成像而获取的单色成像图像和通过从不同的视点位置对受摄体进行成像而获取的彩色成像图像的动态图像计算的特征量，执行对于动态图像的每个图像，关于图像质量的劣化是否在通过融合单色成像图像和彩色成像图像以彩色成像图像作为基准而获得的融合图像中导致的融合确定。另外，融合确定处理部36-4基于融合确定结果产生指示融合图像和彩色成像图像的合成比率的图像合成信号，并且将图像合成信号输出到图像合成部40-dfc。

图像合成部40-dfc基于从融合确定处理部36-4向其提供的图像合成信号，将在去马赛克处理部34中产生的去马赛克图像数据和在融合处理部35-fc中产生的融合数据彼此合成。

融合确定处理部36-4具有上述图7中描绘的配置。融合确定处理部36-4执行融合确定处理，其中，考虑了融合图像与彩色成像图像之间不存在视差。接下来，将给出关于融合确定处理部36-4中的图像数据选择确定部的操作的描述。

个体确定部381基于在视差分布特征量计算部372中计算的视差分布特征量，确定图像质量的劣化是否在融合图像中导致。个体确定部381将视差分布特征量FV_fsd与为视差分布特征量先前设置的判断阈值Th_fsdl、Th_fsdh(>Th_fsdl)进行比较。在视差分布特征量FV_fsd大于判断阈值Th_fsdh的情况下，即在视差的离差大的情况下，个体确定部381将合成比率FR_fsd设置成“0”。另外，在视差分布特征量FV_fsd等于或小于判断阈值Th_fsdl的情况下，即在视差的离差小的情况下，个体确定部381将合成比率FR_fsd设置成“1”。此外，在视差分布特征量FV_fsd大于判断阈值Th_fsdl且等于或小于判断阈值Th_fsdh的情况下，个体确定部381将合成比率FR_fsd设置在“0<FR_fsd<1”内，例如设置成根据距判断阈值的距离的线性度。

另外，类似于个体确定部381的情况，个体确定部382至个体确定部385也基于搜索范围上特征量FV_osr、视差间隙特征量FV_pd、饱和度特征量FV_sat以及相机特征量与为各个特征量设置的判断阈值的比较结果来设置合成比率。

综合确定处理部388基于在个体确定部381至385中设置的合成比率来产生图像合成信号，并且将图像合成信号输出到图像合成部40-dfc。例如，综合确定处理部388从在各自个体确定部381至385中设置的合成比率中选择最小值并且将选择的合成比率设置为综合合成比率。另外，综合确定处理部388可以从在个体确定部381至385中设置的合成比率中选择最大值并且将计算的合成比率设置为综合合成比率，或者可以计算在个体确定部381至385中设置的合成比率的平均值并且将计算的合成比率设置为综合合成比率。综合确定处理部388产生图像合成信号，利用该图像合成信号将综合合成比率FR_total设置为融合图像和去马赛克图像的合成比率，并且图像合成部40-dfc输出(融合图像×FR_total+去马赛克图像×(1-FR_total))的计算结果。

此外，综合确定处理部388可以针对每个相机特征量在个体确定部381至384中设置合成比率。例如，通过使用ISO感光度作为相机特征量，可以通过使用针对每个ISO感光度在个体确定部381至384中单独提供的判断阈值来设置合成比率。另外，在基于相机特征量获得高感光度去马赛克图像的情况下，可以产生图像合成信号以便仅使用马赛克图像。例如，在ISO感光度低于预定感光度的情况下，由于获得了高感光度去马赛克图像，因此产生图像合成信号以便仅使用马赛克图像。

根据这样的第四实施方式，类似于第一实施方式等的情况，通过使用在成像部21-BW中获取的单色成像图像和在成像部21-CR中获取的彩色成像图像，可以在不降低图像质量的情况下从图像处理部30-1输出高感光度彩色成像图像。即根据第四实施方式，通过使用在融合处理中产生的以彩色成像图像作为基准的融合图像数据，可以从图像处理部30-4输出具有等于或大于在成像部21-CR中获取的彩色成像图像的图像质量的图像质量的高感光度彩色成像图像。

<6.图像处理装置的第五实施方式>

接下来，将给出关于以单色成像图像作为基准的融合图像数据和以彩色成像图像作为基准的融合图像数据中的一个被用作融合图像数据的情况的描述。

在将彩色成像图像设置为基准的情况下，例如，如果遮蔽是由视差导致的，则之后在成像部21-BW中获取的单色成像图像中不存在对应于遮蔽区域的图像数据。为此，噪声量在通过使用单色图像数据增大感光度的区域与由于不存在单色图像数据而不增大感光度的区域之间是不同的。因此，在融合图像的感光度增大的情况下，噪声量的差异变得显著。另外，如果在彩色成像图像与单色成像图像之间导致位置偏移，则之后在融合图像的感光度增大的情况下，位置偏移变得显著。因此，在以彩色成像图像作为基准的融合图像中的噪声量的差异或者位置偏移被抑制导致的图像质量的劣化的情况下，感光度增大效果低于在将单色成像图像设置为基准的情况下的感光度增大效果。为此，在第五实施方式中，通过使用以彩色成像图像作为基准的融合图像数据或者以单色成像图像作为基准的融合图像数据来产生具有等于或高于在成像部21-CR中获取的彩色成像图像的图像质量的图像质量的彩色成像图像，以免导致图像质量的劣化。

<6-1.第五实施方式的配置和操作>

图29例示了第五实施方式的配置。图像处理部30-5通过使用与在成像部21-BW和成像部21-CR中获取的各个成像图像相关联的图像数据来执行图像处理，并且在不降低相对于在成像部21-BW和成像部21-CR中单独获取的成像图像的图像质量的情况下产生高感光度成像图像。

图像处理部30-5具有预处理部31-BW和31-CR、图像产生部BL-BW、BL-CR以及图像选择部41。

预处理部31-BW对与在成像部21-BW中获取的单色成像图像相关联的图像数据执行诸如镜头失真校正和缺陷像素校正的校正处理。预处理部31-BW将校正之后的单色图像数据输出到图像产生部BL-BW和BL-CR中的每一个。

预处理部31-CR对与在成像部21-CR中获取的彩色成像图像相关联的图像数据执行诸如镜头失真校正和缺陷像素校正的校正处理。预处理部31-CR将校正之后的预去马赛克彩色信号数据输出到图像产生部BL-BW和BL-CR中的每一个。

类似于上述第三实施方式，图像产生部BL-BW具有视差检测部32、视差补偿部33-cb、去马赛克处理部34、融合处理部35-fb、融合确定处理部36-3以及图像合成部40-dfb。图像产生部BL-BW执行类似于第三实施方式的情况的处理，并且响应于融合确定而产生通过将以单色成像图像作为基准的融合图像数据和去马赛克图像数据合成获得的合成图像。图像产生部BL-BW将与这样产生的合成图像相关联的图像数据输出到图像选择部41。

类似于上述第四实施方式的情况，图像产生部BL-CR具有视差检测部32、视差补偿部33-bc、去马赛克处理部34、融合处理部35-fc、融合确定处理部36-4以及图像合成部40-dfc。图像产生部BL-CR执行类似于第四实施方式的情况的处理，并且响应于融合确定而产生通过将以彩色成像图像作为基准的融合图像数据和去马赛克图像数据合成获得的合成图像。图像产生部BL-CR将与这样产生的合成图像相关联的图像数据输出到图像选择部41。

另外，图像产生部BL-BW或图像产生部BL-CR的融合确定处理部产生用于选择与在图像产生部BL-BW或图像产生部BL-CR中产生的合成图像相关联的图像数据的图像选择信号。应当注意，图29例示了在图像产生部BL-BW的融合确定处理部36-3中产生图像选择信号的情况。

融合确定处理部36-3基于相机特征量和图像特征量执行融合确定，并且以这样的方式产生图像选择信号：可以在不导致图像质量的劣化的情况下在图像处理部中产生高感光度成像图像。例示了响应于ISO感光度产生图像选择信号的情况。

图30例示了去马赛克图像的图像质量与融合图像的图像质量之间的关系，以及ISO感光度。应当注意，实线指示去马赛克图像，虚线指示以彩色成像图像作为基准的融合图像，以及链式线指示以单色成像图像作为基准的融合图像。

在ISO感光度设置为低的成像环境的情况下，去马赛克图像变为噪声较小的高图像质量图像。此后，为了避免由于使用融合图像而导致图像质量的劣化的风险的目的，融合确定处理部36-3产生图像选择信号，以便例如在ISO感光度范围中选择去马赛克图像。在该范围中，可以产生具有等于或高于期望的图像质量性能(感光度)LM的图像质量性能(感光度)的成像图像。

在ISO感光度设置为高的成像环境的情况下，去马赛克图像变为噪声增大的图像以降低图像质量。另外，尽管以彩色成像图像作为基准的融合图像在视点上与去马赛克图像一致，但是由视差导致的图像质量的劣化的风险小，相对于以单色成像图像作为基准的融合图像，感光度增大效果低。另外，尽管在以单色图像作为基准的融合图像中，相对于以彩色成像图像作为基准的融合图像，感光度增大效果高。然而，由于导致了去马赛克图像的视差，因此相对于以彩色成像图像作为基准的融合图像，图像质量的劣化的风险高。因此，在ISO感光度例如等于或高于去马赛克图像的图像质量降低到比期望的图像质量性能(感光度)LM的水平低的水平的感光度的情况下，融合确定处理部36-3产生图像选择信号，以便选择以彩色成像图像作为基准的融合图像，以便获得感光度增大效果。此外，在ISO感光度例如低于以彩色成像图像作为基准的融合图像的图像质量降低到比期望的图像质量LM的水平低的水平的感光度的情况下，为了更加提高感光度增大效果，融合确定处理部36-3产生图像选择信号，以便选择以单色成像图像作为基准的融合图像。如果以这样的方式产生图像选择信号，则之后图像质量的劣化的风险低，并且从图像处理部30-5输出的图像数据变为与高感光度成像图像相关联的图像数据。

应当注意，融合确定处理部36-3可以以这样的方式产生图像选择信号：基于除了ISO感光度之外的其他相机特征量或图像特征量从图像处理部30-5输出与图像质量的劣化的风险低的高感光度成像图像相关联的图像数据。例如，在视差分布特征量FV_fsd等等于或低于判断阈值的情况下，融合确定处理部36-3判别由于使用以单色成像图像作为基准的融合图像而导致图像质量的劣化的风险低，并且选择以单色成像图像作为基准的融合图像。另外，在视差分布特征量FV_fsd等大于判断阈值的情况下，融合确定处理部36-3可以判别由于使用以单色成像图像作为基准的融合图像而导致图像质量的劣化的风险大，并且可以选择以彩色成像图像作为基准的融合图像。

类似于第一实施方式等，根据这样的第五实施方式，通过使用在成像部21-BW中获取的单色成像图像和在成像部21-CR中获取的彩色成像图像，可以在不降低图像质量的情况下从图像处理部30-1输出高感光度彩色成像图像。此外，根据第五实施方式，与上述第一至第四实施方式的情况相比，可以获得图像质量的劣化的风险低的高感光度成像图像。

顺便指出，在成像图像是静止图像的情况下，在图像产生部中的视差补偿部中，通过切换来执行对于单色成像图像的视差补偿和对于彩色成像图像的视差补偿。在融合处理部中，通过切换来执行以彩色成像图像作为基准的融合图像的产生、以单色成像图像作为基准的融合图像的产生。另外，在融合确定处理部中，基于相机特征量和图像特征量执行融合确定，并且以这样的方式控制视差补偿部、融合处理部和图像合成部的操作：可以在不导致图像质量的劣化的情况下产生高感光度成像图像。当采用这样的配置时，即使图像产生部BL-BW和图像产生部BL-CR不像第五实施方式那样单独地提供，但类似于第五实施方式的情况，可以通过切换图像产生部的操作来获得图像质量的劣化的风险低的高感光度静止图像。

<7.其他实施方式>

顺便指出，在彩色成像图像中，在一些情况下，亮度分量和颜色分量的离差在很大程度上彼此不同。在这样的情况下，例如，即使当亮度分量在水平上是平坦的并且与单色成像图像的差异小，并且因此确定图像质量的劣化不是基于图像特征量导致时，也可以是颜色分量的大量离差导致图像质量的劣化。然后，融合确定处理部也可以考虑到颜色分量的离差来确定是否导致图像质量的劣化。

另外，在动态图像的成像中，存在从端部进入内部的受摄体。然而，在第一至第三实施方式中，通过使用图8中描绘的计算目标区域的整个图像来执行关于是否可以执行融合处理的确定。为此，即使关注的图像变成图像，使得端部区域被成像为导致图像质量的劣化的图像，除非计算目标区域被成像为导致图像质量的劣化的图像，关注的图像也会变为在端部区域中导致图像质量的劣化的图像。然后，融合确定处理部可以考虑到端部区域的图像变化确定是否导致图像质量的劣化。

图31例示了融合确定处理部的一部分的配置，用于通过进一步使用颜色分量的离差和端部区域的图像变化来确定图像质量的劣化是否由融合处理导致。

融合确定处理部36-e的图像特征量计算部37-e还具有YC特征量计算部378和端部区域特征量计算部379。

YC特征量计算部378基于从预处理部31-CR向其提供的预去马赛克彩色图像数据来计算亮度分量数据和颜色分量数据。此外，YC特征量计算部378计算指示信号值分布的特征的统计量，例如作为关于亮度分量数据和颜色分量数据的特征量的标准偏差。此外，YC特征量计算部378计算亮度分量数据与颜色分量数据之间的特征量的差作为YC特征量FV_yc。

端部区域特征量计算部379计算关于在成像部21-BW中获取的单色成像图像和在成像部21-CR中获取的彩色成像图像的端部区域像素的平均值。另外，端部区域特征量计算部379将单色成像图像中的端部区域像素的平均值与彩色成像图像中的端部区域的像素的平均值的差的绝对值设置为端部区域特征量FV_ed。

图像数据选择确定部38-e基于在图像特征量计算部37-e中计算的图像特征量和从控制部60获取的相机特征量等来执行关于图像质量的劣化是否在融合图像中导致的确定。另外，图像数据选择确定部38-e基于判别结果和图像特征量的时间方向上的变化量来产生图像合成信号。图像数据选择确定部38-e具有向上述图像数据选择确定部38-3添加个体确定部386以及变化确定部386d和387d的配置。

个体确定部386基于在YC特征量计算部378中计算的YC特征量FV_yc来确定图像质量的劣化是否在融合处理中导致。个体确定部386将YC特征量FV_yc与为YC特征量先前设置的判断阈值Th_yc进行比较。在YC特征量FV_yc大于判断阈值Th_yc的情况下，个体确定部386确定图像质量的劣化在融合处理中导致。个体确定部386将个体确定结果输出到综合确定处理部389。

变化量确定部386d计算在YC特征量计算部378中计算的YC特征量的时间变化量(FV_yc(i)-FV_yc(i-1))。变化量确定部386d将计算的变化量的绝对值与先前设置的变化量阈值Th_dyc进行比较，并且将比较结果输出到综合确定处理部389。

个体确定部387计算在端部区域特征量计算部379中计算的端部区域特征量的时间变化量。个体确定部387将计算的变化量的绝对值与先前设置的变化量阈值进行比较。在变化量的绝对值大于判断阈值的情况下，个体确定部387确定图像质量的劣化在融合处理中导致。个体确定部387将个体确定结果输出到综合确定处理部389。

综合确定处理部389通过使用从个体确定部381-1至387向其提供的个体确定结果和变化量确定结果来执行融合确定，并且响应于融合确定结果产生图像合成信号，以将图像合成信号输出到图像合成部40-dfb(40-dfc)。另外，综合确定处理部389基于从变化量确定部381d至384d以及386d向其提供的变化量与变化量阈值之间的比较结果，确定从融合图像数据到去马赛克图像数据的切换的速度。此外，综合确定处理部389响应于这样确定的切换速度而设置由图像合成信号指示的合成比率。

图32是例示端部区域的视图。当在单色成像图像和彩色成像图像中，例如左上像素的像素位置被设置为(0，0)时，可以基于表达式(6)计算左手侧端中的端部区域AEL的端部区域特征量FV_ed，其中，端部区域的水平方向上的像素的数量是20，垂直方向上的像素的数量是hight，彩色成像图像的像素值是DB，单色成像图像的像素值是DW，以及帧数是i。另外，类似于端部区域AEL的情况，端部区域特征量计算部379计算关于上端和下端以及右手端的由图32的斜线指示的端部区域的端部区域特征量。另外，端部区域特征量计算部379可以计算端部区域特征量，其中端部区域被收集为一个区域。

[数学公式.1]

如果以这样的方式考虑到亮度分量的离差和颜色分量的离差来确定图像质量的劣化是否在融合图像中导致，则即使在亮度分量的离差和颜色分量的离差在很大程度上彼此不同的情况下，也可以以这样的方式准确地执行确定：不导致图像质量的劣化。另外，如果通过使用端部区域特征量来确定是否导致图像质量的劣化，则之后可以以这样的方式执行确定：不会导致关于从端部进入内部的受摄体图像的图像质量的劣化。因此，可以从图像处理部输出与上述实施方式相比能够应对各种图像状况的具有高图像质量的彩色成像图像。

应当注意，融合确定处理部可以通过使用除了上述实施方式的所有特征量的情况之外的任何特征量来确定图像质量的劣化是否在融合图像中导致。另外，如果可以执行利用，用于关于是否导致图像质量的劣化的确定，则之后可以使用上述实施方式中的每一个中未指示的特征量。此外，尽管在上述实施方式中的每一个中，成像部21-BW执行单色成像图像，但是如果通过使用在红外区域中具有感光度的成像部作为成像部21-BW来获取单色成像图像，则之后即使在夜晚等，也可以提高图像质量。另外，在上述实施方式中的每一个中，例示了通过对受摄体进行成像而获得的第一成像图像是单色成像图像，以及通过从不同的视点位置对受摄体进行成像而获得的第二成像图像是彩色成像图像，以及合成比率以这样的方式改变的情况：关于彩色成像图像和通过单色成像图像和彩色成像图像的融合以单色成像图像作为基准而获得的融合图像，随着时间的经过，一个图像被切换到另一图像。然而，本技术决不限于第一成像图像是单色成像图像而第二成像图像是彩色成像图像的情况。例如，第二成像图像可以是在图像质量特性上与第一成像图像的不同的单色成像图像等。

<8.应用实例>

根据本公开内容的技术可以应用于各种产品。例如，根据本公开内容的技术不仅可以以信息处理终端的形式实现，还可以以安装到诸如汽车、电动汽车、混合动力电动汽车、摩托车、自行车、个人行动工具、飞机、无人机、船舶、机器人、结构、机械或农业机械(拖拉机)的任何类型的移动体的装置的形式实现。

图33是示出车辆控制系统7000的示意性配置的实例的框图，该车辆控制系统是可应用作为根据本公开的实施方式的技术的移动体控制系统的实例。车辆控制系统7000包括经由通信网络7010彼此连接的多个电子控制单元。在图33所示出的实例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500、以及集成控制单元7600。将多个控制单元彼此连接的通信网络7010可以是符合任意标准的车载通信网络，诸如，控制器区域网(CAN)、局域互联网(LIN)、局域网(LAN)、FlexRay等。

各个控制单元包括：微型计算机，根据各种程序执行运算处理；存储部，存储由微型计算机执行的程序、用于各种操作的参数等；以及驱动电路，驱动各种控制目标设备。各个控制单元进一步包括：网络接口(I/F)，用于经由通信网络7010执行与其他控制单元的通信；以及通信I/F，用于通过有线通信或无线电通信执行与车辆内部和外部的设备、传感器等的通信。图33所示的集成控制单元7600的功能配置包括微型计算机7610、通用通信I/F7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内设备I/F 7660、声音/图像输出部7670、车载网络I/F 7680、以及存储部7690。其他控制单元也类似地包括微型计算机、通信I/F、存储部等。

驱动系统控制单元7100根据各种程序对与车辆的驱动系统相关的设备的工作进行控制。例如，驱动系统控制单元7100用作控制设备来控制：用于生成车辆的驱动力的驱动力生成设备，诸如内燃机、驱动电机等；用于将驱动力传递至车轮的驱动力传递机构；用于调节车辆的转向角的转向机构；用于生成车辆的制动力的制动设备等。驱动系统控制单元7100可具有防抱死制动系统(ABS)、电子稳定控制(ESC)等的控制设备的功能。

驱动系统控制单元7100连接有车辆状态检测部7110。车辆状态检测部7110例如包括下列项中的至少一个：检测车身的轴向旋转运动的角速度的陀螺仪传感器，检测车辆的加速度的加速度传感器，以及用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度或车轮的旋转速度等的传感器。驱动系统控制单元7100使用从车辆状态检测部7110输入的信号执行运算处理，以控制内燃机、驱动电机、电动助力转向设备、制动设备等。

车身系统控制单元7200根据各种程序对车身所装配的各种设备的工作进行控制。例如，车身系统控制单元7200用作控制设备来控制：无钥匙进入系统，智能钥匙系统，电动车窗设备，或前照灯、倒车灯、制动灯、转向灯、雾灯等各种灯。在这种情况下，车身系统控制单元7200可接收来自替代钥匙的移动设备所传输的无线电波或者各种开关的信号作为输入(作为一种或多种开关的信号的替代，从移动设备发送的无线电波可以输入到车身系统控制单元7200)。车身系统控制单元7200接收这些输入的无线电波或信号，以控制车辆的门锁设备、电动车窗设备、灯等。

电池控制单元7300根据各种程序对用作驱动电机的电源的二次电池7310进行控制。例如，电池控制单元7300接收来自包括二次电池7310的电池设备的有关于电池温度、电池输出电压、电池的剩余电量等信息。电池控制单元7300使用这些信号执行运算处理，执行二次电池7310的温度调节控制，或者对电池设备的冷却设备进行控制等。

车外信息检测单元7400检测包括车辆控制系统7000的车辆的外部的信息。例如，车外信息检测单元7400至少与成像部7410和车外信息检测部7420中的一个相连接。成像部7410包括飞行时间(ToF)相机、立体相机、单目相机、红外相机以及其他相机中的至少一个。车外信息检测部7420可以包括下列项中的至少一个：用于检测当前大气条件或天气条件的环境传感器，用于检测包括车辆控制系统7000的车辆的周边的其他车辆、障碍物、行人等的周边信息检测传感器。

环境传感器例如可以是下列项中的至少一个：检测雨的雨滴传感器，检测雾的雾传感器，检测日照程度的日照传感器，以及检测降雪的雪传感器。周边信息检测传感器可以是下列项中的至少一个：超声波传感器，雷达设备，以及LIDAR设备(光检测和测距设备，或激光成像检测和测距设备)。成像部7410和车外信息检测部7420两者中的每一个可设置为独立传感器或设备，或者可设置为多个传感器或设备集成在其中的设备。

图34示出成像部7410和车外信息检测部7420的安装位置的实例。成像部7910、7912、7914、7916和7918可以被布置在车辆7900的前鼻、侧视镜、后保险杠、后门以及车辆内部的挡风玻璃的上部的位置处。布置在前鼻的成像部7910以及布置在车辆内部的挡风玻璃的上部的成像部7918主要获得车辆7900的前方的图像。布置在侧视镜的成像部7912和7914主要获得车辆7900的侧方的图像。布置在后保险杠或后门的成像部7916主要获得车辆7900的后方的图像。布置在车辆内部的挡风玻璃的上部的成像部7918主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。

顺便提及，图34示出各个成像部7910、7912、7914和7916的拍摄范围的实例。成像范围a表示布置在前鼻的成像部7910的成像范围。成像范围b和c分别表示布置在侧视镜的成像部7912和7914的成像范围。成像范围d表示布置在后保险杠或后门的成像部7916的成像范围。例如，通过叠加由成像部7910、7912、7914和7916成像的图像数据能够获得从上方观察的车辆7900的鸟瞰图像。

布置在车辆7900的前部、后部、侧部和角部以及车辆内部的挡风玻璃上部的车外信息检测部7920、7922、7924、7926、7928和7930可以是超声波传感器或雷达设备。布置在车辆7900的前鼻、车辆7900的后保险杠、后门以及车辆内部的挡风玻璃上部的车外信息检测部7920、7926和7930可以是LIDAR设备。这些车外信息检测部7920～7930主要用于检测前方车辆、行人、障碍物等。

回到图33，继续进行描述。车外信息检测单元7400使成像部7410成像车辆外部的图像并且接收所成像的图像数据。此外，车外信息检测单元7400从连接至车外信息检测单元7400的车外信息检测部7420接收检测信息。当车外信息检测部7420是超声波传感器、雷达设备或LIDAR设备时，车外信息检测单元7400使超声波、电磁波等发送，并且接收关于所接收的反射波的信息。基于所接收的信息，车外信息检测单元7400可执行检测对象(诸如路面上的人、车辆、障碍物、标志、符号等)的处理，或者执行检测到受摄体的距离的处理。车外信息检测单元7400可基于所接收的信息执行环境识别处理,以识别降雨、雾、路面条件等。车外信息检测单元7400可基于所接收的信息计算到车辆外部的对象的距离。

此外，基于所接收的图像数据，车外信息检测单元7400可执行用于识别受摄体(诸如路面上的人、车辆、障碍物、标志、符号等)的图像识别处理，或者执行检测到受摄体的距离的处理。车外信息检测单元7400可对所接收的图像数据进行诸如失真校正、对齐等处理，并且通过组合多个不同成像部7410成像的图像数据产生鸟瞰图像或全景图像。车外信息检测单元7400可使用不同成像部7410成像的图像数据来执行视点转换处理。

车内信息检测单元7500检测车辆内部的信息。车内信息检测单元7500可以连接有检测驾驶员状态的驾驶员状态检测部7510。驾驶员状态检测部7510可包括拍摄驾驶员的相机、检测驾驶员的生物信息的生物传感器、收集车辆内部的声音的麦克风等。生物传感器可以布置在座位表面、方向盘等处，并且检测坐在座位中的乘客或握住方向盘的驾驶员的生物信息。基于从驾驶员状态检测部7510输入的检测信息，车内信息检测单元7500可计算驾驶员的疲劳程度或驾驶员的注意力集中程度，或者可判别驾驶员是否在打瞌睡。车内信息检测单元7500可对通过声音收集获得的音频信号进行诸如噪声消除处理等的处理。

集成控制单元7600根据各种程序对车辆控制系统7000内的总体操作进行控制。集成控制单元7600与输入部7800连接。输入部7800为能够通过乘客进行输入操作的设备，例如，触摸面板、按钮、麦克风、开关、控制杆等。集成控制单元7600可接收对经由麦克风输入的语音进行语音识别所获得的数据。输入部7800可以是使用红外线或其他无线电波的远程控制设备，或者可以是支持车辆控制系统7000的操作的诸如移动电话、个人数字助理(PDA)等的外部连接设备。输入部7800可以是相机。在该情况下，乘客能够通过姿势来输入信息。或者，可以输入通过检测乘客佩戴的可佩戴设备的移动而获得的数据。此外，输入部7800可包括输入控制电路等，该输入控制电路等基于由乘客等使用上述输入部7800输入的信息而生成输入信号，并将所生成的输入信号输出至集成控制单元7600。乘客等，可通过操作输入部7800向车辆控制系统7000输入各种数据，处理操作的指令。

存储部7690可包括存储由微型计算机执行的各种程序的只读存储器(ROM)以及存储各种参数、操作结果、传感器值等的随机存取存储器(RAM)。此外，存储部7690可为诸如硬盘驱动器(HDD)等的磁性存储设备、半导体存储设备、光学存储设备、磁光存储设备等。

通用通信I/F 7620是广泛使用的通信I/F，该通信I/F,调解与存在于外部环境7750中的各种装置的通信。通用通信I/F 7620可实现：蜂窝通信协议，诸如全球移动通信系统(GSM)、全球互通微波接入(WiMAX)、长期演进(LTE)、LTE高级(LTE-A)等，或者其他无线通信协议，诸如无线LAN(也被称为无线保真(Wi-Fi)、蓝牙等。通用通信I/F 7620可经由基站或接入点连接至存在于外部网络(例如，互联网、云网络或公司特定网络)上的装置(例如，应用服务器或控制服务器)。此外，通用通信I/F 7620可使用对等(P2P)技术，与存在于车辆附近的终端(该终端例如是驾驶员、行人或商店的终端，或机器型通信(MTC)终端)相连接。

专用通信I/F 7630是支持针对车辆使用而开发的通信协议的通信I/F。专用通信I/F 7630可实现：标准协议，例如，车辆环境中的无线接入(WAVE)(它是作为下层的电气和电子工程师协会(IEEE)802.11p与作为上层的IEEE 1609的组合)，专用短程通信(DSRC)，或蜂窝通信协议。专用通信I/F 7630通常进行包括下列项中一个或多个的概念的V2X通信：车辆与车辆之间(车辆对车辆)的通信，道路与车辆之间(车辆对基础设施)的通信，车辆与家庭之间(车辆对家庭)的通信，以及行人与车辆之间(车辆对行人)的通信。

定位部7640可以通过，接收来自GNSS卫星的全球导航卫星系统(GNSS)信号(例如，来自全球定位系统(GPS)卫星的GPS信号)，生成包括车辆的纬度、经度以及高度的位置信息，而执行定位。顺便提及，定位部7640可通过与无线接入点进行信号交换识别当前位置，也可从终端获得位置信息，上述终端诸如是移动电话、个人手提电话系统(PHS)或具有定位功能的智能电话。

信标接收部7650可以接收来自安装在道路等上的无线电站传输的无线电波或电磁波，从而获得关于当前位置、堵塞、道路封闭、所需时间等的信息。顺便提及，信标接收部7650的功能可被包括在上述专用通信I/F7630中。

车内设备I/F 7660是调解微型计算机7610与存在于车辆内的各种车内设备7760之间的连接的通信接口。车内设备I/F 7660可使用诸如无线LAN、蓝牙、近场通信(NFC)或无线通用串行总线(WUSB)等无线通信协议建立无线连接。此外，车内设备I/F 7660可经由在图中未示出的连接端子(以及电缆，如果必要的话)，通过通用串行总线(USB)、高清晰多媒体接口(HDMI)、移动高清链接(MHL)等建立有线连接。车内设备7760可以包括下列项中的至少一个：乘客所拥有的移动设备和可佩戴设备以及载入车辆或附接至车辆的信息设备。车内设备7760还可包括搜索到任意目的地的路径的导航设备。车内设备I/F 7660与这些车内设备7760交换控制信号或数据信号。、

车载网络I/F 7680是调解微型计算机7610与通信网络7010之间的通信的接口。车载网络I/F 7680依照由通信网络7010支持的预定协议传输和接收信号等。

集成控制单元7600的微型计算机7610基于经由通用通信I/F 7620、专用通信I/F7630、定位部7640、信标接收部7650、车内设备I/F 7660以及车载网络I/F 7680中的至少一个所获得的信息，根据各种程序控制车辆控制系统7000。例如，微型计算机7610可基于所获得的车辆内部或车辆外部相关信息，计算用于驱动力生成设备、转向机构或制动设备的控制目标值，并且向驱动系统控制单元7100输出控制命令。例如，微型计算机7610可执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协同控制，该功能包括用于车辆的碰撞回避或撞击缓冲、基于车间距离的跟随驾驶、车速保持驾驶、车辆碰撞警报、车辆偏离车道的警报等。此外，微型计算机7610可基于所获得的关于车辆周围环境的信息以控制驱动力生成设备、转向机构、制动设备，从而执行旨在用于不依赖于驾驶员的操作的自动行驶等的协同控制。

微型计算机7610可基于经由通用通信I/F 7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内设备I/F 7660以及车载网络I/F 7680中的至少一个所获得的信息，生成车辆与诸如周围结构、人等对象之间的三维距离信息，并且生成包括车辆当前所处的周围环境的信息的局部地图信息。此外，微型计算机7610可基于所获得的信息预测诸如车辆的碰撞、行人等的接近、进入封闭道路等危险，并且生成警报信号。该警报信号可以是用于产生警告声音或点亮警报灯的信号。

声音/图像输出部7670将声音和图像中的至少一个的输出信号传输至输出设备，该输出设备能够向车辆的乘客或车辆外部以视觉或听觉方式通知信息。在图33的实例中，音频扬声器7710、显示部7720和仪表面板7730作为输出设备示出。显示部7720可包括车载显示器和平视显示器中的至少一个。显示部7720可具有增强现实(AR)显示功能。输出设备可以是这些设备以外的其他设备，诸如耳机、由乘客等佩戴的诸如眼镜式显示器等可佩戴设备、投影仪、灯等。在输出设备是显示设备的情况下，显示设备以视觉方式显示通过微型计算机7610执行的各种处理而获得的结果，或者显示从其他控制单元接收的以各种形式(诸如，文本、图像、表格、曲线图等)的信息。此外，在输出设备是音频输出设备的情况下，音频输出设备将播放的音频数据或声音数据等组成的音频信号转换为模拟信号，以听觉方式输出该模拟信号。

顺便提及，在图33所示出的实例中，经由通信网络7010彼此连接的至少两个控制单元可集成为一个控制单元。可替代地，每个单独的控制单元可包括多个控制单元。此外，车辆控制系统7000可包括图中未示出的其他控制单元。此外，通过上述描述中的控制单元中的一个控制单元执行的功能的部分或全部可被分配至另一控制单元。即，可通过任一个控制单元执行预定的运算处理，只要信息经由通信网络7010传输和接收。类似地，连接至控制单元中的一个控制单元的传感器或设备可被连接至另一控制单元，并且多个控制单元可经由通信网络7010相互传输和接收检测信息。

在上述车辆控制系统7000中，成像部7410、7910、7912、7914、7916和7918中的每一个被配置成使用多个成像部，例如图2中示出的成像部21-BW和21-CR。此外，图33中示出的应用实例的集成控制单元7600可以设置有图像处理部30。如果采用这样的配置，即使当成像部7410、7910、7912、7914、7916和7918中的每一个被小型化/轻薄化时，也可以获取高性能成像图像。因此，所获取的成像图像可以用于驾驶支持、驾驶控制等。应当注意，图像处理部30可以在用于图33中所示的集成控制单元7600的模块(例如，由一个管芯配置的集成电路模块)中实现。

说明书中描述的一系列处理片段可以由硬件或软件或它们两者的复合配置来执行。在执行通过软件的处理的情况下，将记录处理顺序的程序安装在并入专用硬件的计算机内的存储器中并执行该程序。或者，程序可以安装在通用计算机中并且可以被执行，该通用计算机可以执行各种处理。

例如，程序可以预先记录在作为记录介质的硬盘、固态硬盘(SSD)或只读存储器(ROM)中。或者，程序可以临时或永久地存储(记录)在可移动记录介质例如软盘、光盘只读存储器(CD-ROM)、磁光(MO)盘、数字多功能盘(DVD)、蓝光光盘(注册商标)(BD)、磁盘或半导体存储卡中。这种可移动记录介质可以设置为所谓的封装软件。

此外，除从可移动记录介质到计算机的安装之外，还可以通过诸如局域网(LAN)或因特网的网络从下载站点以无线或有线方式将程序传送到计算机。计算机可以以这种方式接收传送到其上的程序，并且可以将程序安装在诸如内置硬盘的记录介质中。

应当注意，本说明书中描述的效果仅仅是示例，并且决不限于此，并且可以提供本文未描述的其他效果。此外，不应将本技术解释为限于上述技术的实施方式。上述技术的实施方式以示例的形式公开了本技术，并且显而易见的是，本领域技术人员可以在不脱离本技术的主题的情况下对实施方式进行修改或替换。即，为了确定本技术的主题，应当考虑权利要求。

此外，本技术的图像处理设备还可以采用以下构造。

(1)一种图像处理设备，包括：

融合确定处理部，其基于使用通过对受摄体成像而获得的第一成像图像和通过从不同的视点位置对所述受摄体成像而获得的第二成像图像的动态图像而计算的特征量，对所述动态图像的每个图像执行关于如下的融合确定：是否在通过以所述第一成像图像作为基准来融合所述第一成像图像和所述第二成像图像而获得的融合图像中引起图像质量的劣化，

其中，所述融合确定处理部包括基于所述融合确定的结果和所述特征量以如下方式改变合成比率的融合确定处理部：对于所述融合图像和所述第二成像图像，随着时间的经过而将一个图像切换到另一个图像。

(2)根据(1)所述的图像处理设备，其中，在所述融合确定处理部确定没有引起所述图像质量的劣化的情况下，所述融合确定处理部执行到所述融合图像的切换，并且在所述融合确定处理部确定引起所述图像质量的劣化的情况下，所述融合确定处理部执行到所述第二成像图像的切换，并且所述融合确定处理部随着时间的经过依次改变所述合成比率以将所述一个图像切换到另一个图像。

(3)根据(2)所述的图像处理设备，其中，所述融合确定处理部以如下方式改变所述合成比率：从所述融合图像到所述第二成像图像的切换速度变得等于或高于从所述第二成像图像到所述融合图像的切换速度。

(4)根据(3)所述的图像处理设备，其中，所述融合确定处理部响应于所述特征量的改变量来设置所述切换速度。

(5)根据(1)至(4)中任一项所述的图像处理设备，还包括：

图像合成部，其根据由所述融合确定处理部设置的所述合成比率执行用于合成所述融合图像和所述第二成像图像的处理，并生成合成图像数据。

(6)根据(5)所述的图像处理设备，其中，所述图像合成部以根据所述合成比率的比例合成所述融合图像和所述第二成像图像，并且生成图像切换过程中的中间图像。

(7)根据(5)所述的图像处理设备，其中，所述图像合成部根据来自所述第二成像图像的合成比率生成视点位置的图像，并将得到的图像设置为所述图像切换的过程中的中间图像。

(8)根据(2)至(7)中任一项所述的图像处理设备，其中，所述融合确定处理部基于所述第一成像图像与所述第二成像图像之间的视差来计算所述特征量。

(9)根据(8)所述的图像处理设备，其中，所述融合确定处理部将针对每个像素指示所述视差的离差的统计量设置为所述特征量，并且在所述视差的离差大于先前设置的确定阈值的情况下，确定引起图像质量的劣化，并且在指示离差的所述统计量的时间变化大于先前设置的变化阈值的情况下，使得从所述融合图像切换到所述第二成像图像的速度高于预定的切换速度。

(10)根据(8)或(9)所述的图像处理设备，其中，所述融合确定处理部将针对每个像素超过所述视差中的预定范围内的视差量的像素的比例设置为所述特征量，并且在超过所述预定范围内的所述视差量的所述像素的比例大于先前设置的确定阈值的比例的情况下，确定引起图像质量的劣化，并且在所述比例的时间变化大于先前设置的变化阈值的情况下，使得从所述融合图像切换到所述第二成像图像的所述速度高于预定切换速度。

(11)根据(8)至(10)中任一项所述的图像处理设备，其中，所述融合确定处理部针对每个像素计算在视差方向上与感兴趣的所述像素相距预定距离定位的像素与在反方向上与感兴趣的所述像素相距所述预定距离定位的像素之间的视差差的绝对值，将所述视差差绝对值超过预定量的像素的比例设置为所述特征量，并且在超过所述预定量的所述像素的比例大于所述确定阈值的比例的情况下，确定引起图像质量的劣化，并且在所述比例的时间变化大于先前设置的变化阈值的情况下，使得从所述融合图像切换到所述第二成像图像的所述速度高于预定切换速度。

(12)根据(2)至(11)中任一项所述的图像处理设备，其中，所述融合确定处理部基于所述第一成像图像和所述第二成像图像的所述像素的饱和度来计算所述特征量。

(13)根据(2)至(12)中任一项所述的图像处理设备，其中，所述融合确定处理部基于超过从与所述第二成像图像相关联的图像数据产生的亮度分量图像数据中的饱和度确定设置值的像素数目与超过与所述第一成像图像相关联的图像数据中的饱和度确定设置值的像素数目之间的差来计算特征量，确定在所述特征量大于确定阈值的情况下引起图像质量的劣化，并且在所述像素数目之间的差的时间变化大于先前设置的变化阈值的情况下，使得从所述融合图像的图像数据切换到所述第二成像图像的图像数据的所述速度高于预定切换速度。

(14)根据(2)至(13)中任一项所述的图像处理设备，其中，所述融合确定处理部从与所述第二成像图像相关联的图像数据产生亮度分量图像数据和颜色分量图像数据，并且在所述亮度分量图像数据的离差与所述颜色分量图像数据的离差之间的差大于确定阈值的情况下，确定引起图像质量的劣化，并且在所述离差之间的差的时间变化大于先前设置的变化阈值的情况下，使得从所述融合图像切换到所述第二成像图像的所述速度高于预定切换速度。

(15)根据(1)至(14)中任一项所述的图像处理设备，其中，所述融合确定处理部将所述第一成像图像的端部区域与所述第二成像图像的端部区域之间的信号电平差的时间变化设置为所述特征量，并且在所述信号电平差大于先前设置的确定阈值的情况下，确定引起图像质量的劣化。

(16)根据(1)至(15)中任一项所述的图像处理设备，其中，所述第一成像图像是单色成像图像，并且所述第二成像图像是彩色成像图像。

工业适用性

根据本技术的图像处理设备和图像处理方法，基于通过使用通过对受摄体成像获得的第一成像图像和通过从不同的视点位置对受摄体成像获得的第二成像图像的动态图像而计算的特征量，对于动态图像的每个图像执行关于如下的融合确定：是否在通过以成像图像作为基准融合第一成像图像和第二成像图像而获得的融合图像中引起图像质量的劣化；以及基于融合确定的结果和特征量，以如下方式改变合成比率：对于融合图像和第二成像图像，随着时间的经过将一个图像切换到另一个图像。因此，通过使用多个成像部中获取的成像图像，可以产生图像切换不明显的高图像质量成像图像。因此，本技术适用于使用成像部的需要成像部的小型化和轻薄化的设备。

附图标志清单

10...信息处理终端，21-BW、21-CR...成像部，30、30-1至30-5...图像处理部，31-BW、31-CR...预处理部，32...视差检测部，33-cb、33-bc...视差补偿部，34...去马赛克处理部，35-fb、35-fc...融合处理部，36-1至36-4、36-e...融合确定处理部，37、37-e...图像特征量计算部，38-1至38-3、38-e...图像数据选择确定部，39、41...图像选择部，40-dfb、40-dfc...图像合成部，51...传感器部，52...通信部，53...显示部，54...触摸面板，55...操纵部，56...存储部，371...视差直方图产生部，372...视差分布特征量计算部，373...搜索范围上特征量计算部，374...视差间隙直方图产生部，375...视差间隙特征量计算部，376...饱和度确定直方图产生部，377...饱和度特征量计算部，378...YC特征量计算部，379...端部区域特征量计算部，380...确定阈值设置部，381至387...个体确定部，381d至386d...变化量确定部，388、389...综合确定处理部

Claims (17)

1.一种图像处理设备，包括：

融合确定处理部，其基于使用包括通过从第一视点位置对受摄体成像而获得的第一成像图像和通过从不同于所述第一视点位置的第二视点位置对所述受摄体成像而获得的第二成像图像的动态图像而计算的特征量，对所述动态图像的每个图像执行关于如下的融合确定：通过以所述第一成像图像作为基准来融合所述第一成像图像和所述第二成像图像而获得的融合图像是否产生图像质量的劣化，

其中，所述融合确定处理部基于所述融合确定的结果和所述特征量改变合成比率，以使得对于所述融合图像和所述第二成像图像，随着时间的经过而将一个图像通过与所述合成比率对应的中间图像切换到另一个图像，其中，所述合成比率表示用于合成所述融合图像和所述第二成像图像以产生所述中间图像的比例。

2.根据权利要求1所述的图像处理设备，其中，在所述融合确定处理部确定没有产生所述图像质量的劣化的情况下，所述融合确定处理部执行到所述融合图像的切换，并且在所述融合确定处理部确定产生所述图像质量的劣化的情况下，所述融合确定处理部执行到所述第二成像图像的切换，并且所述融合确定处理部随着时间的经过依次改变所述合成比率以将所述一个图像切换到另一个图像。

3.根据权利要求2所述的图像处理设备，其中，所述融合确定处理部改变所述合成比率，以使得从所述融合图像到所述第二成像图像的切换速度变得等于或高于从所述第二成像图像到所述融合图像的切换速度。

4.根据权利要求3所述的图像处理设备，其中，所述融合确定处理部响应于所述特征量的改变量来设置所述切换速度。

5.根据权利要求1所述的图像处理设备，还包括：

图像合成部，其根据由所述融合确定处理部设置的所述合成比率执行用于合成所述融合图像和所述第二成像图像的处理，并生成合成图像数据。

6.根据权利要求5所述的图像处理设备，其中，所述图像合成部以根据所述合成比率的比例合成所述融合图像和所述第二成像图像，并且生成图像切换过程中的所述中间图像。

7.根据权利要求5所述的图像处理设备，其中，所述图像合成部根据来自所述第二成像图像的合成比率生成视点位置的图像，并将得到的图像设置为所述图像切换的过程中的所述中间图像。

8.根据权利要求2所述的图像处理设备，其中，所述融合确定处理部基于所述第一成像图像与所述第二成像图像之间的视差来计算所述特征量。

9.根据权利要求8所述的图像处理设备，其中，所述融合确定处理部将针对每个像素指示所述视差的离差的统计量设置为所述特征量，并且在所述视差的离差大于先前设置的确定阈值的情况下，确定引起图像质量的劣化，并且在指示离差的所述统计量在两个帧之间的变化大于先前设置的变化阈值的情况下，使得从所述融合图像切换到所述第二成像图像的速度高于预定的切换速度。

10.根据权利要求8所述的图像处理设备，其中，所述融合确定处理部将针对每个像素超过所述视差中的预定范围内的视差量的像素的比例设置为所述特征量，并且在超过所述预定范围内的所述视差量的所述像素的比例大于先前设置的确定阈值的比例的情况下，确定引起图像质量的劣化，并且在所述比例在两个帧之间的变化大于先前设置的变化阈值的情况下，使得从所述融合图像切换到所述第二成像图像的速度高于预定切换速度。

11.根据权利要求8所述的图像处理设备，其中，所述融合确定处理部针对每个像素计算在视差方向上与感兴趣的所述像素相距预定距离定位的像素与在反方向上与感兴趣的所述像素相距所述预定距离定位的像素之间的视差差的绝对值，将所述视差差绝对值超过预定量的像素的比例设置为所述特征量，并且在超过所述预定量的所述像素的比例大于先前设置的确定阈值的比例的情况下，确定引起图像质量的劣化，并且在所述比例在两个帧之间的变化大于先前设置的变化阈值的情况下，使得从所述融合图像切换到所述第二成像图像的速度高于预定切换速度。

12.根据权利要求2所述的图像处理设备，其中，所述融合确定处理部基于所述第一成像图像和所述第二成像图像的像素的饱和度来计算所述特征量。

13.根据权利要求8所述的图像处理设备，其中，所述融合确定处理部基于超过从与所述第二成像图像相关联的图像数据产生的亮度分量图像数据中的饱和度确定设置值的像素数目与超过与所述第一成像图像相关联的图像数据中的饱和度确定设置值的像素数目之间的差来计算特征量，确定在所述特征量大于确定阈值的情况下引起图像质量的劣化，并且在所述像素数目之间的差在两个帧之间的变化大于先前设置的变化阈值的情况下，使得从所述融合图像的图像数据切换到所述第二成像图像的图像数据的速度高于预定切换速度。

14.根据权利要求2所述的图像处理设备，其中，所述融合确定处理部从与所述第二成像图像相关联的图像数据产生亮度分量图像数据和颜色分量图像数据，并且在所述亮度分量图像数据的离差与所述颜色分量图像数据的离差之间的差大于确定阈值的情况下，确定引起图像质量的劣化，并且在所述离差之间的差在两个帧之间的变化大于先前设置的变化阈值的情况下，使得从所述融合图像切换到所述第二成像图像的速度高于预定切换速度。

15.根据权利要求1所述的图像处理设备，其中，所述融合确定处理部将所述第一成像图像的端部区域与所述第二成像图像的端部区域之间的信号电平差在两个帧之间的变化设置为所述特征量，并且在所述信号电平差大于先前设置的确定阈值的情况下，确定引起图像质量的劣化。

16.根据权利要求1所述的图像处理设备，其中，所述第一成像图像是单色成像图像，并且所述第二成像图像是彩色成像图像。

17.一种图像处理方法，包括：

基于使用包括通过从第一视点位置对受摄体成像而获得的第一成像图像和通过从不同于所述第一视点位置的第二视点位置对所述受摄体成像而获得的第二成像图像的动态图像而计算的特征量，对于所述动态图像的每个图像执行关于如下的融合确定：通过以所述第一成像图像作为基准来融合所述第一成像图像和所述第二成像图像而获得的融合图像是否产生图像质量的劣化；以及

基于所述融合确定的结果和所述特征量，改变合成比率，以使得对于所述融合图像和所述第二成像图像，随着时间的经过而将一个图像通过与所述合成比率对应的中间图像切换到另一个图像，其中所述合成比率表示用于合成所述融合图像和所述第二成像图像以产生所述中间图像的比例。

Images