CN109479093B - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN109479093B
CN109479093B CN201780044061.XA CN201780044061A CN109479093B CN 109479093 B CN109479093 B CN 109479093B CN 201780044061 A CN201780044061 A CN 201780044061A CN 109479093 B CN109479093 B CN 109479093B
Authority
CN
China
Prior art keywords
image
section
fusion
determination
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780044061.XA
Other languages
English (en)
Other versions
CN109479093A (zh
Inventor
内田真史
横川昌俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN109479093A publication Critical patent/CN109479093A/zh
Application granted granted Critical
Publication of CN109479093B publication Critical patent/CN109479093B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Cameras In General (AREA)
  • Image Analysis (AREA)

Abstract

融合确定处理单元36‑1基于通过使用黑白图像和彩色图像而计算出的特性确定作为融合处理的结果图像质量是否已劣化，该融合处理通过使用融合处理单元35‑fb、以黑白图像为基准将黑白图像与彩色图像彼此融合来生成融合图像，黑白图像是通过使用成像单元21‑BW对成像被摄体成像而获得的，彩色图像是通过使用成像单元21‑CR从不同视点位置对成像被摄体成像而获得的。此外，当确定图像质量没有由于融合处理而劣化时，融合确定处理单元36‑1选择融合处理单元35‑fb生成的融合图像数据，并且当确定图像质量由于融合处理而劣化时，融合确定处理单元36‑1生成用于选择去马赛克处理单元34生成的去马赛克图像数据的图像选择信号并将该信号输出至图像选择单元39。因此，可以通过使用多个成像单元获得的图像来生成高质量图像。

Description

图像处理装置和图像处理方法
技术领域
本技术涉及图像处理装置和图像处理方法，其均使得能够通过使用在多个成像部中获取的成像图像来获得高灵敏度成像图像而不降低图像质量。
背景技术
迄今为止，由于小型化/薄化，诸如便携式电子装置(例如，智能电话)的信息处理终端与单镜头反光摄像装置等相比在成像部的图像质量上降低了很多。为此，例如，PTL 1阐明了由可附接至信息处理终端/可从信息处理终端拆卸的摄像装置产生的成像图像以无线通信方式被提供给信息处理终端。此外，PTL2公开了提供多个成像部，并且同时产生多个图像，例如，第一视角的图像和比第一视角窄的第二视角的图像。
[引用列表]
[专利文献]
专利文献1：日本专利特许公开第2015-088824号
专利文献2：日本专利特许公开第2013-219525号
发明内容
技术问题
顺便提及，可拆卸摄像装置在尺寸上比信息处理终端的成像部更大。因此，在要使用可拆卸摄像装置的情况下，需要建立与信息处理终端的通信。由于这个原因，用于获得令人满意的成像图像的操作很麻烦，因此降低了便携性。此外，即使提供了多个成像部，可以获取的图像也是与各个成像部的多个性能对应的图像。
鉴于上述情况，本技术的目的是提供图像处理装置和图像处理方法，其均使得能够通过使用在多个成像部中获取的成像图像来获得高灵敏度成像图像而不降低图像质量。
针对问题的解决方案
本技术的第一方面是一种图像处理装置，该图像处理装置包括：融合处理部，其产生融合图像，该融合图像时通过融合通过对被摄体进行成像而获得的单色成像图像与通过从不同的视点位置对被摄体进行成像而获得的彩色成像图像来获得的；以及融合判定处理部，其判定在融合处理部中产生的融合图像是否满足预定条件。融合判定处理部在判定满足预定条件的情况下确定输出融合图像，而在判定不满足预定条件的情况下确定输出除融合图像以外的图像。
利用本技术，基于通过使用通过对被摄体进行成像而获得的单色成像图像以及通过从不同的视点位置对被摄体进行成像而获得的彩色成像图像来计算出的特征量，融合判定处理部响应于关于通过以单色成像图像或彩色成像图像为基准将单色成像图像和彩色成像图像融合而获得的融合图像是否满足预定条件的判定来确定要输出的图像。例如，在判定未引起图像质量的劣化的情况下，融合判定处理部确定输出融合图像。在判定不满足预定条件的情况下，融合判定处理部确定输出除融合图像以外的图像。
融合判定处理部例如基于单色成像图像与彩色成像图像之间的视差来计算特征量，将计算出的特征量与预先设置的判定阈值进行比较，并且基于比较结果判定是否引起图像质量的劣化。具体地，融合判定处理部将指示每个像素的视差的离差的统计量设置为特征量，并且在视差的离差大于判定阈值的情况下判定引起了图像质量的劣化。此外，融合判定处理部将在每个像素的视差之中超过预定范围的视差量的像素比率设置为特征量，并且在超过预定范围的视差量的像素比率大于判定阈值的比率的情况下，判定引起了图像质量的劣化。此外，融合判定处理部针对每个像素计算在视差方向上与该像素间隔预定距离的像素与在反方向上与该像素间隔所述预定距离的像素之间的视差差异的绝对值，并且将视差差异的绝对值超过预定量的像素比率设置为特征量。然后，在超过预定量的像素比率大于判定阈值的比率的情况下，融合判定处理部判定引起了图像质量的劣化。
此外，融合判定处理部例如基于单色成像图像和彩色成像图像的像素的饱和度来计算特征量，将计算出的特征量与预先设置的判定阈值进行比较，并且基于比较结果来判定是否引起图像质量的劣化。具体地，融合判定处理部基于下述差来计算特征量：所述差是等于或大于根据与彩色成像图像相关联的图像数据产生的亮度分量图像数据中的饱和度判定设置值的像素数量与等于或大于与单色成像图像相关联的图像数据中的饱和度判定设置值的像素数量之间的差。然后，在特征量大于判定阈值的情况下，融合判定处理部判定引起了图像质量的劣化。
此外，融合判定处理部根据与彩色成像图像相关联的图像数据产生亮度分量图像数据和颜色分量图像数据，将亮度分量图像数据的离差与颜色分量图像数据的离差之间的差设置为特征量，并且在离差之间的差大于判定阈值的离差之间的差的情况下，判定引起了图像质量的劣化。
此外，融合判定处理部使用与获取单色成像图像的成像部以及获取彩色成像图像的成像部有关的摄像装置信息(例如，与单色成像图像和彩色成像图像相关联的成像图像设置信息)作为特征量。
此外，融合判定处理部根据与单色成像图像和彩色成像图像相关联的成像设置信息来改变判定阈值。例如，融合判定处理部通过使用ISO感光度作为成像设置信息来设置判定阈值，使得容易判定随着ISO感光度的降低引起了图像质量的劣化。此外，融合判定处理部通过使用焦距作为成像设置信息来设置判定阈值，使得容易判定随着焦距的变短引起了图像质量的劣化。
融合判定处理部在判定在产生融合图像时未引起图像质量的劣化的情况下选择融合图像，并且在判定引起了图像质量的劣化的情况下选择彩色成像图像。
此外，融合判定处理部判定在以单色成像图像为基准产生的融合图像以及以彩色成像图像为基准产生的融合图像中是否引起图像质量的劣化。在辨别出在以单色成像图像为基准产生的融合图像中未引起图像质量的劣化的情况下，融合判定处理部执行用于选择以单色成像图像为基准产生的融合图像的处理。在辨别出在以单色成像图像为基准产生的融合图像以及以彩色成像图像为基准产生的融合图像中均引起了图像质量的劣化的情况下，融合判定处理部执行用于选择彩色成像图像的处理。在其他情况下，融合判定处理部执行用于选择以彩色成像图像为基准产生的融合图像的处理。
本技术的第二方面是一种图像处理方法，该图像处理方法包括：产生融合图像，该融合图像是通过融合通过对被摄体进行成像而获得的单色成像图像与通过从不同的视点位置对所述被摄体进行成像而获得的彩色成像图像来获得的；以及执行关于所产生的融合图像是否满足预定条件的判定，在判定满足预定条件的情况下确定输出融合图像，而在判定不满足预定条件的情况下确定输出除融合图像以外的图像。
本发明的有益效果
根据本技术，融合处理部产生融合图像，该融合图像是通过融合通过对被摄体进行成像而获得的单色成像图像与通过从不同的视点位置对被摄体进行成像而获得的彩色成像图像来获得的。融合判定处理部判定所产生的融合图像是否满足预定条件。在判定满足预定条件的情况下，融合判定处理部确定输出融合图像。在判定不满足预定条件的情况下，融合判定处理部确定输出除融合图像以外的图像。为此，可以通过使用在多个成像部中获取的成像图像来获得高灵敏度成像图像而不降低图像质量。应当注意，本说明书中描述的效果仅仅是范例但并不限于此。此外，还可以提供附加的效果。
附图说明
图1是例示应用了图像处理装置的装置的外观的视图。
图2是例示信息处理终端的配置的框图。
图3是例示成像部中的像素阵列的图。
图4是用于说明通过执行融合处理而获得的图像质量的视图。
图5是描绘在单色成像图像被设置为基准时的遮挡(occlusion)的视图。
图6是例示第一实施方式的配置的框图。
图7是例示融合判定处理部的配置的框图。
图8是例示图像特征量的计算的目标区域的视图。
图9是例示视差直方图的曲线图。
图10是用于说明视差差异绝对值的视图。
图11是例示视差间隙直方图(parallax gap histogram)的曲线图。
图12是例示像素值直方图的曲线图。
图13是描绘第一实施方式的操作的流程图。
图14是描绘融合判定处理的流程图。
图15是例示视差分布特征量和判定阈值的曲线图。
图16是例示融合判定结果的视图。
图17是例示图像数据选择判定部的另一配置的框图。
图18是描绘摄像装置特征量与判定阈值之间的关系(在ISO感光度被设置为摄像装置特征量的情况下)的图。
图19是描绘摄像装置特征量与判定阈值之间的关系(在ISO感光度和焦点位置被设置为摄像装置特征量的情况下)的图。
图20是例示第三实施方式的配置的框图。
图21是例示融合判定处理部的配置的框图。
图22是描绘第三实施方式的操作的流程图。
图23是描绘融合判定处理的流程图。
图24是例示融合判定处理部的操作的曲线图。
图25是例示在合成图像被产生作为中间图像的情况下的操作的曲线图。
图26是例示在视点运动图像被产生作为中间图像的情况下的操作的曲线图。
图27是用于说明通过以彩色成像图像为基准执行融合处理而获得的图像质量的视图。
图28是例示第四实施方式的配置的框图。
图29是例示第五实施方式的配置的框图。
图30是例示去马赛克图像(demosaic image)和融合图像的图像质量与ISO感光度之间的关系的曲线图。
图31是例示融合判定处理部的一部分的配置的框图。
图32是例示端部区域的视图。
图33是示出车辆控制系统的示意性配置的实例的框图。
图34是车外信息检测部和成像部的安装位置的实例的示图。
具体实施方式
在下文中，将描述用于实现本技术的方式。应当注意，将根据以下顺序给出描述。
1.应用了图像处理装置的装置的配置
2.图像处理装置的第一实施方式
2-1.第一实施方式的配置
2-2.第一实施方式的操作
3.图像处理装置的第二实施方式
3-1.第二实施方式的配置和操作
4.图像处理装置的第三实施方式
4-1.第三实施方式的配置
4-2.第三实施方式的操作
5.图像处理装置的第四实施方式
5-1.第四实施方式的配置和操作
6.图像处理装置的第五实施方式
6-1.第五实施方式的配置和操作
7.其他实施方式
8.应用实例
<1.应用了图像处理装置的装置的配置>
图1例示了应用了本技术的图像处理装置的装置的外观。应当注意，在以下描述中，例如，图像处理装置应用于信息处理终端。图1的(a)描绘了信息处理终端10的前侧，并且在前侧设置有显示部53和操作部55。图1的(b)描绘了信息处理终端10的后侧，并且在后侧设置有多个成像部，例如，两个成像部21-BW和21-CR。
图2例示了信息处理终端的配置。信息处理终端10具有多个成像部(例如，两个成像部21-BW和21-CR)、图像处理部30、传感器部51、通信部52、显示部53、触摸面板54、操作部55、存储部56和控制部60。图像处理部30对应于本技术的图像处理装置。
如图1(b)所示的成像部21-BW和21-CR被设置在信息处理终端10的同一表面侧。成像部21-BW和21-CR均是通过使用诸如互补金属氧化物半导体(CMOS)图像传感器的成像元件来配置的，对由透镜(未示出)捕获的光执行光电转换以产生与成像图像相关联的图像数据，并且将图像数据输出至图像处理部30。此外，成像部21-BW和21-CR在特性上具有差异。
图3例示了成像部的像素阵列。图3的(a)描绘了成像部21-BW的像素阵列。在成像部21-BW中，所有像素由白色(W)像素构成，这些白色像素基于可见光的整个波长范围内的入射光量而输出电信号。因此，成像部21-BW产生与单色成像图像相关联的图像数据。
图3的(b)描绘了成像部21-CR的像素阵列。例如，成像部21-CR是通过使用红色(R)像素、蓝色(B)像素和绿色(G)像素以拜耳(Bayer)阵列布置的滤色器(color filter)来配置的。在拜耳阵列中，在2×2像素的像素单元中，位于对角位置的两个像素是绿色(G)像素，并且剩余的像素是红色(R)像素和蓝色(B)像素。即，成像部21-CR中的像素是适于基于红色、蓝色和绿色的各个颜色分量的入射光量而输出电信号的彩色像素。因此，成像部21-CR产生与指示像素中的相应的三种原色(RGB)的彩色成像图像相关联的图像数据。
图像处理部30通过使用在成像部21-BW和成像部21-CR中获取的成像图像来获得高灵敏度成像图像而不降低图像质量。即，图像处理部30通过使用在成像部21-BW和成像部21-CR中分别获取的成像图像来执行图像处理，以与在成像部21-BW和成像部21-CR中单独地获取的成像图像中的每一个成像图像的灵敏度相比产生具有高灵敏度的成像图像而不降低图像质量，并且将成像图像输出至显示部53和存储部56。应当注意，稍后将描述图像处理部30的配置和操作的详情。
传感器部51是通过使用陀螺仪传感器等来配置的，并且检测在信息处理终端10中引起的抖动等。传感器部51将与这样检测到的抖动相关联的信息输出至控制部60。
通信部52与诸如局域网(LAN)或因特网的网络上的装置进行通信。
显示部53基于从图像处理部30向其提供的图像数据来执行成像图像的显示，并且基于来自控制部60的信息信号来执行菜单图片、各种应用图片等的显示。此外，触摸面板54被放置在显示部53的显示表面侧，并且显示部53以可以利用GUI功能的方式来配置。
操作部55是通过使用操作开关等来配置的，并且根据用户操作产生操作信号以将操作信号输出至控制部60。
存储部56存储在信息处理终端10中产生的信息(例如，从图像处理部30向其提供的图像数据)以及用于在信息处理终端10中执行通信或应用的各种信息。
控制部60包括中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)(未示出)等。控制部60执行存储在ROM或RAM中的程序，以对各部的操作进行控制，使得在信息处理终端10中执行根据对触摸面板54或操作部55的用户操作的操作。
应当注意，信息处理终端10不限于图2中所示的配置，并且例如，可以被设置有用于对图像数据进行编码以将编码图像数据存储在存储部56中的编码处理部、用于将图像数据与显示部的分辨率匹配的分辨率变换部等。
<2.图像处理装置的第一实施方式>
<2-1.第一实施方式的配置>
第一实施方式的图像处理部30-1通过使用在成像部21-BW中获取的单色成像图像和在成像部21-CR中获取的彩色成像图像来执行融合处理。图4是用于说明通过执行融合处理而获得的图像质量的视图。例如，当在彩色成像图像与作为基准的单色成像图像对准之后执行融合以产生融合图像时，可以根据在成像部21-BW中使用的透镜和传感器的特性而增大亮度。然而，由于成像部21-BW在视点方面与成像部21-CR不同，因此与远景(distantview)相比，在近景(close view)中，引起色偏(color shift)的风险变高。此外，遮挡在近景中比在远景中增加得更多。图5描绘了当在成像部21-BW中获取的单色成像图像被设置为基准时的遮挡。当由于视差引起遮挡时，在成像部21-CR中获取的彩色成像图像中不存在与遮挡区域对应的图像数据。为此，如稍后将描述的，在通过执行融合处理而产生的融合图像中，提供了在遮挡区域中缺少颜色信息的图像。此外，与远景的像素相比，在近景的像素中，还存在与一个成像图像中的关注像素对应的像素超过视差检测的搜索范围的可能，从而可能无法计算视差矢量。因此，在一些情况下，通过执行融合处理而获得的融合图像的图像质量比在成像部21-CR中获取的彩色成像图像的图像质量劣化得更多。
此外，由于成像部21-BW的灵敏度比使用滤色器的成像部21-CR的灵敏度高，因此当被摄体的亮度变高时，与成像部21-CR相比，像素的饱和更容易出现。当以这种方式在单色成像图像中每次饱和的像素的数量变大时，融合图像变成图像质量劣化的彩色图像，该图像质量劣化是由与在成像部21-CR中获取的彩色成像图像相比被摄体的高亮度部分更加饱和而引起的。
为此，图像处理部30-1执行与以下有关的融合判定：是否基于成像图像引起了由于像素的视差或饱和度而导致的图像质量劣化。图像处理部30-1根据融合判定结果选择在成像部21-CR中获取的融合图像或彩色成像图像，从而输出图像质量与在成像部21-CR中获得的彩色成像图像相同或比其更高的高灵敏度彩色成像图像。
图6例示了第一实施方式的配置。图像处理部30-1具有预处理部31-BW和31-CR、视差检测部32、视差补偿部33-cb、去马赛克处理部34、融合处理部35-fb、融合判定处理部36-1和图像选择部39。
预处理部31-BW对与在成像部21-BW中获取的单色成像图像相关联的图像数据执行诸如透镜失真校正、缺陷像素校正的校正处理。预处理部31-BW将校正后的图像数据(下文中称为“单色图像数据”)输出至视差检测部32、融合处理部35-fb和融合判定处理部36-1。
预处理部31-CR对与在成像部21-CR中获取的彩色成像图像相关联的图像数据执行诸如透镜失真校正、缺陷像素校正的校正处理。预处理部31-CR将校正后的图像数据(下文中称为“去马赛克前彩色图像数据”)输出至视差检测部32、视差补偿部33-cb、去马赛克处理部34和融合判定处理部36-1。
视差检测部32基于从预处理部31-BW向其提供的单色图像数据以及从预处理部31-CR向其提供的去马赛克前彩色图像数据来执行视差检测，以产生指示检测到的、该单色图像数据与该去马赛克前彩色图像数据之间的视差的视差信息。如图1的(b)中所描绘的成像部21-BW和成像部21-CR从不同的视点位置执行成像。因此，在成像部21-BW和成像部21-CR中获取的成像图像变为具有视差的图像。因此，视差检测部32基于从预处理部31-BW和预处理部31-CR向其提供的各个图像数据来产生指示每个像素的视差的视差信息。
视差检测部32通过执行诸如块匹配的相应点检测处理来产生视差信息。例如，视差检测部32将在成像部21-BW和21-CR之一中获取的成像图像设置为基准成像图像，并且在另一成像图像上检测与以基准成像图像上的关注位置为基准的基准块区域最相似的块区域。视差检测部32计算指示检测到的块区域与基准块区域之间的位置差异的视差矢量。此外，视差检测部32利用基准成像图像上的每个像素作为关注位置来计算视差，产生指示针对每个像素而计算出的视差矢量的视差信息，并且将这样产生的视差信息输出至视差补偿部33-cb和融合判定处理部36-1。
视差补偿部33-cb基于从视差检测部32向其提供的视差信息而对去马赛克前彩色图像数据执行视差补偿。视差补偿部33-cb基于在视差检测部32中产生的视差信息来对从预处理部31-CR向其提供的去马赛克前彩色图像数据执行像素位置的移动，并且产生视差补偿彩色图像数据作为在成像部21-BW中获取的单色成像图像的视点。视差补偿部33-cb将这样产生的视差补偿彩色图像数据输出至融合处理部35-fb。
去马赛克处理部34通过使用从预处理部31-CR向其提供的去马赛克前彩色图像数据来执行去马赛克处理。在去马赛克处理中，执行了用于根据各像素分别指示红色、蓝色和绿色的颜色分量的去马赛克前彩色成像数据产生每个像素表示红色、蓝色、绿色的颜色分量的三原色图像数据的去马赛克处理。去马赛克处理部34将通过执行去马赛克处理而产生的三原色图像数据(下文中称为“去马赛克图像数据”)输出至图像选择部39。
融合处理部35-fb通过使用从预处理部31-BW向其提供的单色图像数据和从视差补偿部33-cb向其提供的视差补偿彩色图像数据来执行融合处理。即，融合处理部35-fb使用单色成像图像数据和视差补偿后的彩色成像图像数据，从而如参照图4所描述的那样以单色成像图像为基准来执行融合处理。融合处理部35-fb将通过执行融合处理而产生的融合图像数据输出至图像选择部39。
融合判定处理部36-1基于通过使用通过对被摄体进行成像而获取的单色成像图像、以及通过从不同的视点位置对被摄体进行成像而获取的彩色成像图像来计算出的特征量，执行与以下有关的融合判定：在通过以单色成像图像为基准将单色成像图像与彩色成像图像融合而获得的融合图像中是否引起了图像质量的劣化。融合判定处理部36-1基于融合判定结果来确定是否输出融合图像或彩色成像图像中的任一个。例如，融合判定处理部36-1基于单色数据和去马赛克前彩色图像数据执行与以下有关的融合判定：在融合处理中是否引起了由像素的视差和饱和度导致的图像质量的劣化。此外，融合判定处理部36-1根据融合判定结果产生图像选择信号，并且将这样产生的图像选择信号输出至图像选择部39。
在判定在融合图像中未引起图像质量的劣化的情况下，图像选择部39基于从融合判定处理部36-1向其提供的图像选择信号而选择在融合处理部35-fb中产生的融合图像数据，并且输出融合图像数据。此外，在判定在融合图像中引起了图像质量的劣化的情况下，图像选择部39基于从融合判定处理部36-1向其提供的图像选择信号而选择在去马赛克处理部34中产生的去马赛克图像数据，并且输出去马赛克图像数据。以这种方式，图像选择部39基于从融合判定处理部36-1向其提供的图像选择信号而选择融合图像数据或去马赛克图像数据，并且输出图像质量等于或高于在成像部21-CR中获取的彩色成像图像的图像质量的高灵敏度彩色图像数据。
接下来，将给出关于融合判定处理部的配置的描述。图7例示了融合判定处理部的配置。融合判定处理部36-1具有图像特征量计算部37和图像数据选择判定部38-1。
图像特征量计算部37计算用于执行对由于像素的视差和饱和度引起的图像质量劣化的判定的图像特征量。图像特征量计算部37具有视差直方图产生部371、视差分布特征量计算部372、搜索范围超过特征量计算部373、视差间隙直方图产生部374和视差间隙特征量计算部375，作为计算用于执行对由于视差引起的图像质量劣化的判定的图像特征量的功能块。此外，图像特征量计算部37具有饱和度判定直方图产生部376和饱和度特征量计算部377，作为计算用于执行对由于像素的饱和度引起的图像质量劣化的判定的图像特征量的功能块。顺便提及，图像特征量计算部37可以将整个成像图像设置为图像特征量的计算目标区域，或者可以设置除了如图8所描绘的成像图像中的上下左右的区域(由斜线表示)以外的计算目标区域。以这种方式，如果设置了除了在端部侧的区域以外的计算目标区域，则可以防止可能无法计算例如由关注像素位于侧端的位置而引起的视差、稍后将描述的视差间隙距离等，因此，可以准确地计算图像特征。此外，还可以减少产生直方图等所需的计算成本。
视差直方图产生部371通过使用针对计算目标区域中的像素而计算出的视差矢量来产生直方图。应当注意，图9例示了视差直方图：图9的(a)例示了在被摄体靠近同一平面的状态下的成像图像的视差直方图；以及图9的(b)例示了距被摄体的距离彼此不同的成像图像的视差直方图。在视差直方图中，取决于距离的差异，在负方向上与视差“0”间隔开的位置出现峰值。图9的(c)例示了在由于距被摄体的距离彼此不同而出现多个视差并且由于被摄体彼此靠近而出现大视差的状态下的成像图像的视差直方图。在该视差直方图中，由于与图9的(b)相比，被摄体彼此靠近，因此出现大视差，与图9(b)的情况相比，在负方向上距视差更远的位置出现峰值。
视差分布特征量计算部372根据在视差直方图产生部371中产生的视差直方图，计算指示视差分布的特征的统计量来作为视差分布特征量。例如，视差分布特征量计算部372计算标准偏差作为指示视差分布的特征的统计量，并且将这样计算出的标准偏差设置为视差分布特征量FVfsd。例如，将根据图9的(a)的直方图计算出的视差分布特征量设置为“FVfsd-a”，将根据图9的(b)的直方图计算出的视差分布特征量设置为“FVfsd-b”，并且将根据图9的(c)的直方图计算出的视差分布特征量设置为“FVfsd-c”。在该状态下，视差分布特征量满足“FVfsd-a<FVfsd-b，FVfsd-c”。以这种方式，如果在视差分布特征量计算部372中视差直方图的标准偏差被计算为视差分布特征量FVfsd，则稍后将描述的图像数据选择判定部38-1可以基于视差分布特征量FVfsd来判定对象是否靠近同一平面或者存在多个视差。
搜索范围超过特征量计算部373根据在视差直方图产生部371中产生的视差直方图，计算搜索范围超过特征量FVosr，该搜索范围超过特征量FVosr指示均超过预先设置的搜索范围的视差出现的频率(over_search_range_counter)与总频率(counter)的比率。搜索范围超过特征量计算部373通过使用视差直方图来执行表达式(1)的计算，以计算搜索范围超过特征量FVosr：
FVosr＝over_search_range_counter/counter*100…(1)
例如，将根据图9的(a)的直方图计算出的搜索范围超过特征量设置为“FVosr-a”。此外，将根据图9的(b)的直方图计算出的搜索范围超过特征量设置为“FVosr-b”，并且将根据图9的(c)的直方图计算出的搜索范围超过特征量设置为“FVosr-c”。在这种情况下，搜索范围超过特征量满足“FVosr-a，FVosr-b<FVosr-c”。以这种方式，如果搜索范围超过特征量计算部373计算搜索范围超过特征量FVosr，则稍后将描述的图像数据选择判定部38-1可以基于搜索范围超过特征量FVosr来判定是否对引起大视差的被摄体进行了成像。即，可以判定出现遮挡的区域的出现情况。
视差间隙直方图产生部374产生视差间隙直方图。图10是用于说明被用来产生视差间隙直方图的视差差异绝对值的视图。如图10所描绘的那样，视差间隙直方图产生部374计算在水平方向上与计算目标区域中的关注像素的位置间隔“-(PARALLAX_DIFF_DISTANCE)/2”的像素的位置的视差PV1。此外，视差间隙直方图产生部374计算在水平方向上与关注像素的位置间隔“(PARALLAX_DIFF_DISTANCE)/2”的像素的位置的视差PV2，从而计算在表达式(2)中指示的视差差异绝对值PVapd。应当注意，预先设置了视差间隙距离(PARALLAX_DIFF_DISTANCE)。
PVapd＝ABS(PV1–PV2)...(2)
例如，在被摄体处于其均靠近同一平面的状态的情况下，由于视差PV1与视差PV2之间的差异小，因此视差差异绝对值PVapd的值变小。此外，例如，如果距被摄体的距离彼此不同，并且关注像素是距其的距离彼此不同的被摄体之间的边界，则由于视差PV1与视差PV2之间的差异大，因此视差差异绝对值PVapd的值变大。视差间隙直方图产生部374产生视差间隙直方图，作为利用计算目标区域中的每个像素作为关注像素所计算出的视差差异绝对值PVapd的直方图。应当注意，图11例示了视差间隙直方图。
视差间隙特征量计算部375根据在视差间隙直方图产生部374中产生的视差间隙直方图来计算视差间隙特征量FVpd。视差间隙特征量计算部375计算视差间隙特征量FVpd，该视差间隙特征量FVpd指示生成均超过根据视差间隙直方图预先设置的最大视差间隙距离的视差间隙的频率(large_parallax_diff_counter)与总频率(counter)的比率。视差间隙特征量计算部375通过使用视差间隙直方图来计算表达式(3)的计算，从而计算视差间隙特征量FVpd。
FVpd＝large_parallax_diff_counter/counter*100...(3)
以这种方式，在视差间隙特征量计算部375中计算出的视差间隙特征量FVpd指示引起了最大视差间隙距离的像素的比率。此处，由于位于同一平面上的被摄体显现出小的视差间隙，并且视差间隙在具有不同距离的被摄体的图像边界部分中较大，因此可以判定距离相差大的被摄体的图像边界的出现状况。
饱和度判定直方图产生部376基于从预处理部31-BW向其提供的单色图像数据，产生指示每个像素值的频率(像素数量)的像素值直方图。此外，饱和度判定直方图产生部376通过对从预处理部31-CR向其提供的去马赛克前彩色成像图像数据的颜色空间变换而产生亮度数据，并且基于这样产生的亮度数据，产生指示每个像素值的频率(像素数量)的像素值直方图。
图12例示了像素值直方图。应当注意，图12的(a)描绘了基于单色成像图像的像素值直方图，以及图12的(b)描绘了基于彩色成像图像的亮度直方图。如上所述，由于成像部21-BW由全部基于可见光的整个波长区域中的入射光量而输出电信号的白色(W)像素来构成，因此成像部21-BW的灵敏度高于使用滤色器的成像部21-CR的灵敏度。因此，在对具有相同亮度的被摄体进行成像的情况下，与基于在成像部21-CR中获取的彩色成像图像的亮度值直方图的情况相比，在基于在成像部21-BW中获取的单色成像图像的像素值直方图中，具有高信号值的区域中的频率变得较高。
饱和度特征量计算部377基于在饱和度判定直方图产生部376中产生的亮度值直方图来计算饱和度特征量FVsat。饱和度特征量计算部377计算等于或大于在基于单色成像图像的像素值直方图中预先设置的饱和度判定设置值(SATURATION_AREA_W)的像素值的频率(saturation_counter_W)、以及等于或大于在基于彩色成像图像的像素值直方图中预先设置的饱和度判定设置值(SATURATION_COUNTER_Y)的像素值的频率(saturation_counter_Y)。此外，饱和度特征量计算部377计算饱和度特征量FVsat，该饱和度特征量FVsat指示频率(saturation_counter_W)与频率(saturation_counter_Y)之间的差与总频率(counter)的比率。饱和度特征量计算部377通过使用基于单色成像图像的像素值直方图以及基于彩色成像图像的像素值直方图来执行表达式(4)的计算，从而计算饱和度特征量FVsat：
FVsat＝(saturation_counter_W-saturation_counter_Y)/counter*100)...(4)
以这种方式，在饱和度特征量计算部377中计算出的饱和度特征量FVsat指示单色成像图像与彩色成像图像之间的像素饱和度状况的差异。因此，例如，在饱和度特征量的值大的情况下，可以判定关注的成像图像是其中在以单色成像图像为基准的融合处理中由像素的饱和度引起了图像质量的劣化的成像图像。
图像数据选择判定部38-1基于在图像特征量计算部37中计算出的图像特征量和从控制部60获取的摄像装置特征量等来判定在融合图像中是否引起了图像质量的劣化。图像数据选择判定部38-1基于判定结果产生图像选择信号，并且将得到的图像选择信号输出至图像选择部39。图像数据选择判定部38-1具有个体判定部381至385和综合判定处理部388作为功能块，个体判定部381至385和综合判定处理部388中的每一个均判定是否引起图像质量的劣化。
个体判定部381基于在视差分布特征量计算部372中计算出的视差分布特征量来判定在融合图像中是否引起了图像质量的劣化。个体判定部381将视差分布特征量FVfsd与针对视差分布特征量而预先设置的判定阈值Thfsd进行比较。在视差分布特征量FVfsd大于判定阈值Thfsd的情况下，即，在视差的离差大的情况下，个体判定部381判定引起了图像质量的劣化。个体判定部381将个体判定结果输出至综合判定处理部388。
个体判定部382基于在搜索范围超过特征量计算部373中计算出的搜索范围超过特征量FVosr来判定在融合图像中是否引起了图像质量的劣化。个体判定部382将搜索范围超过特征量FVosr与针对搜索范围超过特征量而预先设置的判定阈值Thosr进行比较。在搜索范围超过特征量FVosr大于判定阈值Thosr的情况下，个体判定部382可以判定遮挡的区域的数量大。如上所述，由于在以单色成像图像为基准的融合图像中，在遮挡的区域中缺少颜色信息，因此在遮挡的区域的数量增大的情况下，个体判定部382判定引起了图像质量的劣化。个体判定部382将个体判定结果输出至综合判定处理部388。
个体判定部383基于在视差间隙特征量计算部375中计算出的视差间隙特征量FVpd来判定在融合图像中是否引起了图像质量的劣化。个体判定部383将视差间隙特征量FVpd与针对视差间隙特征量而预先设置的判定阈值Thpd进行比较。在视差间隙特征量FVpd大于判定阈值Thpd的情况下，个体判定部383可以判定距离相差大的被摄体的图像边界的数量大。由于在距离相差大的被摄体的图像之间的边界中容易引起遮挡，因此个体判定部383判定在距离相差大的被摄体之间的图像边界的数量大的情况下引起了图像质量的劣化。个体判定部383将个体判定结果输出至综合判定处理部388。
个体判定部384基于在饱和度特征量计算部377中计算出的饱和度特征量FVsat，判定在融合图像中是否引起了图像质量的劣化。个体判定部384将饱和度特征量FVsat与针对饱和度特征量而预先设置的判定阈值Thsat进行比较。在饱和度特征量FVsat大于判定阈值Thsat的情况下，即，在饱和图像像素的数量在单色成像图像中比在彩色成像图像中大的情况下，个体判定部384判定引起了图像质量的劣化。个体判定部384将个体判定结果输出至综合判定处理部388。
个体判定部385基于摄像装置特征量来判定在融合图像中是否引起了图像质量的劣化。与成像时的亮度相关联的成像设置信息、与被摄体距离相关联的成像设置信息被用作摄像装置特征量。由于在被摄体较亮的情况下，可以在成像部21-CR中获取具有高灵敏度的图像，因此与被摄体较暗的情况相比，融合处理的效果较小。因此，与成像时的亮度相关联的成像设置信息被用作摄像装置特征量。此外，由于成像部21-BW与成像部21-CR之间的视点差异而出现的遮挡在被摄体彼此间隔开的情况下较少，而在被摄体彼此靠近情况下较多。因此，与被摄体距离相关联的成像设置信息被用作摄像装置特征量。就与成像时的亮度相关联的成像设置信息而言，例如，使用诸如成像部21-BW和成像部21-CR的ISO感光度或曝光时间的设置信息。就与被摄体距离相关联的成像设置信息而言，使用诸如焦点位置或变焦放大率的设置信息。个体判定部385从成像部21-BW和成像部21-CR、以及控制部60获取摄像装置信息。个体判定部385将摄像装置特征量与针对摄像装置特征量而预先设置的判定阈值进行比较，并且判定融合处理是否引起了图像质量的劣化。个体判定部385将个体判定结果输出至综合判定处理部388。
综合判定处理部388通过使用从个体判定部381至385提供的个体判定结果来执行融合判定，并且根据融合判定结果产生图像选择信号，以将图像选择信号输出至图像选择部39。例如，在从个体判定部381至385提供的个体判定结果中的任一个中判定引起了图像质量的劣化的情况下，综合判定处理部388判定在融合判定中，融合处理引起了图像质量性能的劣化。此外，在从个体判定部381至385提供的所有个体判定结果中判定未引起图像质量的劣化的情况下，综合判定处理部388判定在融合判定中，融合处理未引起图像质量性能的劣化。综合判定处理部388在判定在融合判定中存在图像质量性能降低的情况下产生用于选择去马赛克图像数据的图像选择信号，而在判定在融合判定中不存在图像质量性能的劣化的情况下选择融合图像数据，并且将图像选择信号输出至图像选择部39。
<2-2.第一实施方式的操作>
图13是描绘图像处理部的第一实施方式的操作的流程图。在步骤ST1中，图像处理部获取成像图像。图像处理部30-1从成像部21-BW和21-CR获取与成像图像相关联的图像数据，并且处理进行到步骤ST2。
在步骤ST2中，图像处理部执行视差补偿处理。图像处理部30-1通过使用在步骤ST1中获取的图像数据来执行对准。然后，图像处理部将在成像部21-CR中获取的去马赛克前彩色图像数据设置为在成像部21-BW中获取的单色成像图像的视点中的图像数据，并且处理进行到步骤ST3。
在步骤ST3中，图像处理部执行去马赛克处理。图像处理部30-1通过使用从成像部21-CR获取的图像数据来执行去马赛克处理，并且产生按每个像素具有对应颜色分量的多个去马赛克图像数据。然后，处理进行到步骤ST4。
在步骤ST4中，图像处理部执行融合处理。图像处理部30-1通过使用在成像部21-BW中产生的单色图像数据和在步骤ST2中被执行视差补偿的视差补偿彩色图像数据来执行融合处理，并且产生融合图像数据。然后，处理进行到步骤ST5。
在步骤ST5中，图像处理部执行融合判定处理。图像处理部执行融合判定处理，并且辨别选择并输出在步骤ST3中产生的去马赛克图像数据和在步骤ST4中产生的融合图像数据中的哪一个，并产生图像选择信息。
图14是描绘融合判定处理的流程图。在步骤ST11中，图像处理部执行特征量计算处理。图像处理部30-1的融合判定处理部36-1产生视差直方图、视差间隙直方图和饱和度判定直方图，并且基于这样产生的直方图计算特征量。然后，处理进行到步骤ST12。
在步骤ST12中，图像处理部执行图像选择信息产生处理。图像处理部30-1的融合判定处理部36-1将在步骤ST11中计算出的特征量与针对每个计算出的特征量而预先设置的辨别阈值进行比较。融合判定处理部36-1基于比较结果执行关于在融合图像中是否引起了图像质量的劣化的融合判定。此外，融合判定处理部36-1基于融合判定结果产生图像选择信息，该图像选择信息指示选择在步骤ST3中产生的去马赛克图像数据和在步骤ST4中产生的融合图像数据中的哪一个。然后，处理进行到图13的步骤ST6。
在步骤ST6中，图像处理部执行图像选择处理。图像处理部30-1基于在步骤ST5的融合判定处理中产生的图像选择信息，选择在步骤ST3中产生的去马赛克图像数据和在步骤ST4中产生的融合图像数据中的任一个。然后，处理进行到步骤ST7。
在步骤ST7中，图像处理部辨别操作是否结束。例如，在对静止图像进行成像的情况下，图像处理部30-1结束操作，这是因为完成了对静止图像的图像处理。此外，在为了运动图像记录或构图的确认等而执行预览图像(直通图像(through image))显示的情况下，在图像处理部30-1中，在执行运动图像记录或预览图像显示的情况下，处理返回到步骤ST1。在执行用于运动图像记录或预览图像显示的结束操作的情况下，结束操作。应当注意，步骤ST3中的处理和步骤ST4中的处理之一可以在另一个之前被执行。此外，本技术决不限于以步骤的顺序执行多个处理的顺序处理，并且可以使用流水线处理或并行处理。
图15例示了视差分布特征量和判定阈值。个体判定部381将在视差分布特征量计算部372中计算出的视差分布特征量FVfsd与判定阈值Thfsd进行比较。个体判定部381判定在融合图像中未引起图像质量的劣化，因为在时间点t1以前，视差分布特征量FVfsd等于或小于判定阈值Thfsd，并且个体判定部381将个体判定结果输出至综合判定处理部388。此外，在时间点t1处视差分布特征量FVfsd超过判定阈值Thfsd而变得更大的情况下，个体判定部381判定在融合图像中引起了图像质量的劣化，并且将个体判定结果输出至综合判定处理部388。此外，在时间点t2处视差分布特征量FVfsd等于或小于判定阈值Thfsd的情况下，个体判定部381判定在融合中未引起图像质量的劣化，并且将个体判定结果输出至综合判定处理部388。
在个体判定部382至385中的每一个中，类似于个体判定部381的情况，将特征量与判定阈值进行比较，并且判定在融合图像中是否引起了图像质量的劣化。然后，个体判定结果被输出至综合判定处理部388。
综合判定处理部388通过使用个体判定部381至385中的个体判定结果来执行融合判定。在从个体判定部381至385提供的个体判定结果中的任一个中判定引起了图像质量的劣化的情况下，综合判定处理部388判定在融合判定中存在图像质量性能的劣化。此外，在从个体判定部381至385提供的所有个体判定结果中均判定未引起图像质量的劣化的情况下，综合判定处理部388在融合判定中判定在融合处理中不存在图像质量性能的劣化。图16例示了融合判定结果。例如，假设在个体判定部382至385中的每一个中，在融合图像中未引起图像质量的劣化，并且在个体判定部381中，获得了图15中所示的判定结果。在这种情况下，综合判定处理部388判定在时间点t1以前，不存在图像质量性能的劣化，并且判定在从时间点t1到时间点t2的时间段内，存在图像质量性能的劣化。此外，综合判定处理部388判定从时间点t2开始，不存在图像质量性能的劣化。
顺便提及，在个体判定部中的比较结果例如持续了预先设置的判定帧的时间段或更长时间段的情况下，个体判定部381至385可以根据比较结果执行个体判定。此外，在个体判定部381至385中的个体判定结果例如持续了预先设置的判定帧的时间段或更长时间段的情况下，综合判定处理部388可以根据个体判定结果执行融合判定。当以这种方式执行个体判定和融合判定时，降低了噪声等的影响，从而获得稳定的判定结果。此外，如果使得在判定结果改变成引起了图像质量的劣化的情况下的判定帧的数量比在判定结果改变成未引起像质量的劣化的情况下的判定帧的数量小，则在引起了图像质量的劣化的情况下，判定结果可以快速地与这样的状况对应。此外，在未引起图像质量的劣化的情况下，当由于比较结果或个体判定结果继续而辨别出可能未引起图像质量的劣化时，判定结果可以与这样的状况对应。
应当注意，由于通过使用成像图像来执行融合判定处理，因此在成像图像不是静止图像的情况下，例如，在运动图像记录或预览图像显示的情况下，通过使用在融合判定处理中获得的融合判定结果，执行例如对下一次将输出的帧的图像数据的选择。此外，在关于从图像处理部输出的图像数据，可以允许融合判定处理所需的一段时间的延迟的情况下，可以根据融合判定结果来选择根据与在融合判定处理中使用的成像图像相关联的图像数据产生的去马赛克图像数据或融合图像数据。
根据这样的第一实施方式，在基于图像特征量或摄像装置特征量而判定在融合处理中未引起图像质量的劣化的情况下，选择融合图像数据。在判定在融合处理中引起了图像质量的劣化的情况下，选择去马赛克图像数据。因此，通过使用在成像部21-BW中获取的单色成像图像和在成像部21-CR中获取的彩色成像图像，可以从图像处理部30-1输出高灵敏度彩色成像图像而不降低图像质量。
<3.图像处理装置的第二实施方式>
在上述第一实施方式中，在融合判定处理部36-1中，将计算出的特征量与预先设置的判定阈值进行比较，并且判定在融合处理中是否引起了图像质量的劣化。顺便提及，在预先设置了判定阈值的情况下，这样设置的判定阈值不一定是对于成像状况的最佳值。然后，与第一实施方式的情况相比，在第二实施方式中，通过根据成像状况设置判定阈值，可以准确地执行关于是否引起了图像质量的劣化的判定。
<3-1.第二实施方式的配置和操作>
图17例示了图像数据选择判定部的另一配置。融合判定处理部36-2的图像数据选择判定部38-2基于在图像特征量计算部37中计算出的图像特征量以及从控制部60获取的摄像装置特征量等而执行关于在融合处理中是否引起了图像质量的劣化的判定，并且基于辨别结果产生图像选择信号。此外，图像数据选择判定部38-2根据摄像装置特征量设置当基于图像特征量来判定在融合图像中是否引起了图像质量的劣化时所使用的判定阈值。图像数据选择判定部38-2具有个体判定部381至384和综合判定处理部388，作为每一个均判定是否引起了图像质量的劣化的功能块。此外，图像数据选择判定部38-2具有用于根据摄像装置特征量设置判定阈值的判定阈值设置部380。
判定阈值设置部380基于摄像装置特征量来设置判定阈值。如上所述，就摄像装置特征量而言，使用与成像时的亮度关联的成像设置信息或与被摄体距离关联的成像设置信息。
图18和图19均描绘了摄像装置特征量与判定阈值之间的关系。应当注意，图18例示了如下情况：在以成像时设置的ISO感光度作为摄像装置特征量的情况下，根据ISO感光度设置针对与视差相关联的特征量的判定阈值和针对与像素的饱和度相关联的特征量的判定阈值。
在ISO感光度被设置为低值的情况下，被摄体是明亮的，并且因此成像图像变为包含较少噪声的图像。因此，通过使用融合处理而获得的效果低。此外，如果通过执行融合处理而产生由于遮挡而引起的色偏，则这样产生的色偏是显著的而引起了图像质量的劣化(原因1)。因此，在ISO感光度被设置为低值的情况下，与视差相关联的判定阈值和与像素的饱和度相关联的判定阈值均被设置为低值，使得容易判定在融合图像中引起了图像质量的劣化。
在ISO感光度被设置为高值的情况下，被摄体是黑暗的，并且因此成像图像变为包含较多噪声的图像。因此，通过使用融合处理而获得的效果非常高。此外，由于噪声在颜色分量中也较多，所以即使产生一些色偏等，也不是非常明显(原因3)。因此，在ISO感光度被设置为高值的情况下，判定阈值被设置为高值，使得难以判定在融合图像中引起了图像质量的劣化。
此外，在ISO感光度被设置为中间值的情况下，成像图像没有包含非常多噪声。因此，如果在融合图像中引起了图像质量性能的劣化，则存在劣化变得显著的可能性(原因2)。因此，在ISO感光度被设置为中间值的情况下，判定阈值被设置为下述值，该值高于在ISO感光度被设置为低值的情况下的值且低于在ISO感光度被设置为高值的情况下的值。
图19示出了以下情况：在以在成像时设置的ISO感光度和焦点位置作为摄像装置特征量的情况下，根据ISO感光度和焦点位置而设置针对与视差相关联的特征量的判定阈值、针对与像素的饱和度相关联的特征量的判定阈值。
在焦点位置是短距离的情况下，与焦点位置不是短距离的情况相比，容易引起与由遮挡引起的色偏有关的图像质量性能的劣化(原因4)。因此，在焦点位置不是短距离的情况下，与图18的情况类似地，设置判定阈值。与焦点位置不是短距离的情况相比，在焦点位置是短距离并且ISO感光度被设置为中间值或高值的情况下的判定阈值被设置为较低。即，在焦点位置是短距离的情况下，与焦点位置不是短距离的情况相比，将判定阈值设置为低值，使得容易地判定在融合图像中引起图像质量的劣化。
个体判定部381基于在视差分布特征量计算部372中计算出的视差分布特征量来判定在融合图像中是否引起了图像质量的劣化。个体判定部381将视差分布特征量FVfsd与针对视差分布特征量而在判定阈值设置部380中根据摄像装置特征量设置的判定阈值Thcfsd进行比较。在视差分布特征量FVfsd大于判定阈值Thcfsd的情况下，个体判定部381判定在融合图像中引起了图像质量的劣化。个体判定部381将个体判定结果输出至综合判定处理部388。
个体判定部382基于在搜索范围超过特征量计算部373中计算出的搜索范围超过特征量FVosr来判定在融合图像中是否引起了图像质量的劣化。个体判定部382将搜索范围超过特征量FVosr与针对搜索范围超过特征量而在判定阈值设置部380中根据摄像装置特征量设置的判定阈值Thcosr进行比较。在搜索范围超过特征量FVosr大于判定阈值Thcosr的情况下，个体判定部382判定在融合图像中引起了图像质量的劣化。个体判定部382将个体判定结果输出至综合判定处理部388。
个体判定部383基于在视差间隙特征量计算部375中计算出的视差间隙特征量FVpd来判定在融合图像中是否引起了图像质量的劣化。个体判定部383将视差间隙特征量FVpd与针对视差间隙特征量而在判定阈值设置部380中根据摄像装置特征量设置的判定阈值Thcpd进行比较。在视差间隙特征量FVpd大于判定阈值Thcpd的情况下，个体判定部383判定在融合图像中引起了图像质量的劣化。个体判定部383将个体判定结果输出至综合判定处理部388。
个体判定部384基于在饱和度特征量计算部377中计算出的饱和度特征量FVsat来判定在融合图像中是否引起了图像质量的劣化。个体判定部384将饱和度特征量FVsat与针对饱和度特征量而在判定阈值设置部380中根据摄像装置特征量设置的判定阈值ThCsat进行比较。在饱和度特征量FVsat大于判定阈值ThCsat的情况下，个体判定部384判定在融合图像中引起了图像质量的劣化。个体判定部384将个体判定结果输出至综合判定处理部388。
综合判定处理部388基于从个体判定部381至384向其提供的个体判定结果来执行融合判定并根据融合判定结果产生图像选择信号，并且将图像选择信号输出至图像选择部39。例如，在从个体判定部381至384提供的个体判定结果中的任一个中判定引起了图像质量的劣化的情况下，综合判定处理部388判定在融合判定中，在融合图像中引起了图像质量性能的劣化。此外，在判定在从个体判定部381至384提供的所有个体判定结果中均未引起图像质量的劣化的情况下，综合判定处理部388判定在融合判定中未引起图像质量性能的劣化。综合判定处理部388产生图像选择信号并且将图像选择信号输出至图像选择部39，该图像选择信号用于在判定在融合判定中引起了图像质量性能的降低的情况下选择去马赛克图像数据，并且在判定在融合判定中未引起图像质量性能的劣化的情况下选择融合图像数据。
应当注意，图像数据选择判定部38-2可以设置有第一实施方式中描述的个体判定部385，并且综合判定处理部388也可以通过使用基于摄像装置特征量的个体判定结果来产生图像选择信号。
根据这样的第二实施方式，与第一实施方式的情况类似地，通过使用在成像部21-BW中获取的单色成像图像和在成像部21-CR中获取的彩色成像图像，可以从图像处理部30-1输出高感光度彩色成像图像而不降低图像质量。此外，由于在第二实施方式中，根据设置状态来设置判定阈值，因此与第一实施方式相比，可以精确地执行关于是否引起了图像质量的劣化的判定。
<4.图像处理装置的第三实施方式>
在以上所述的第一实施方式和第二实施方式中，执行关于在融合图像中是否引起了图像质量的劣化的融合判定。此外，选择下述去马赛克图像数据，该去马赛克图像数据是通过对通过基于融合判定结果、以在成像部21-BW中获取的单色成像图像为基准来执行融合处理所产生的融合图像数据、或者与在成像部21-CR中获取的彩色成像图像相关联的图像数据执行去马赛克处理而产生的。此处，融合图像数据指示成像部21-BW的视点的成像图像，并且去马赛克图像数据指示成像部21-CR的视点的成像图像。因此，当在对移动图像进行成像时根据判定结果切换图像数据时，由于视点在切换图像之前和之后不同，因此图像的切换是明显的，使得关注的图像变为图像质量降低的图像。然后，在第三实施方式中，即使当根据融合判定结果切换成像数据时，也使得切换不明显。
<4-1.第三实施方式的配置>
图20例示了第三实施方式的配置。图像处理部30-3通过使用在成像部21-BW和成像部21-CR中获取的成像图像来获得高感光度成像图像，而不降低图像质量。即，图像处理部30-3通过使用在成像部21-BW和成像部21-CR中获取的成像图像来执行图像处理，并且产生其中图像的切换不明显的高感光度成像图像，而不会与在成像部21-BW或成像部21-CR中分别获取的成像图像中的每一个相比使图像质量降低得更多。
图像处理部30-3具有预处理部31-BW和31-CR、视差检测部32、视差补偿部33-cb、去马赛克处理部34、融合处理部35-fb、融合判定处理部36-3和图像合成部40-dfb。
预处理部31-BW对与在成像部21-BW中获取的单色成像图像相关联的图像数据执行诸如镜头失真校正或缺陷像素校正的校正处理。预处理部31-BW将校正后的单色图像数据输出至视差检测部32、融合处理部35-fb和融合判定处理部36-3。
预处理部31-CR对与在成像部21-CR中获取的彩色成像图像相关联的图像数据执行诸如镜头失真校正或缺陷像素校正的校正处理。预处理部31-CR将校正后的去马赛克前彩色图像数据输出至视差检测部32、视差补偿部33-cb、去马赛克处理部34和融合判定处理部36-3。
视差检测部32基于从预处理部31-BW向其提供的单色图像数据和从预处理部31-CR向其提供的去马赛克前彩色图像数据来执行视差检测，并且产生指示针对每个像素而计算出的视差的视差信息。视差检测部32将这样产生的视差信息输出至视差补偿部33-cb和融合判定处理部36-3。
视差补偿部33-cb基于从视差检测部32向其提供的视差信息而对去马赛克前彩色图像数据执行视差补偿。视差补偿部33-cb基于在视差检测部32中产生的视差信息而对从预处理部31-CR向其提供的去马赛克前彩色图像数据执行像素位置的移动，并且产生视差补偿彩色图像数据作为在成像部21-BW中获取的单色成像图像的视点。视差补偿部33-cb将这样产生的视差补偿彩色图像数据输出至融合处理部35-fb。
去马赛克处理部34通过使用从预处理部31-CR向其提供的去马赛克前彩色图像数据来执行去马赛克处理。在去马赛克处理中，执行以下去马赛克处理，该去马赛克处理用于根据其中每个像素表示红色、蓝色和绿色中的对应的一个颜色分量的去马赛克前成像数据来产生按每个像素表示红色、蓝色和绿色中的对应颜色分量的图像数据。去马赛克处理部34将通过去马赛克处理而产生的去马赛克图像数据输出至图像合成部40-dfb。
融合处理部35-fb通过使用从预处理部31-BW向其提供的单色图像数据和从视差补偿部33-cb向其提供的视差补偿彩色图像数据来执行以单色成像图像为基准的融合处理。融合处理部35-fb将通过融合处理而产生的融合图像数据输出至图像合成部40-dfb。
融合判定处理部36-3基于通过使用通过对被摄体进行成像而获取的单色成像图像和通过从不同的视点位置对被摄体进行成像而获取的彩色成像图像的运动图像计算出的特征量，针对运动图像中的每个图像执行关于在通过以单色成像图像为基准将单色成像图像和彩色成像图像融合而获得的融合图像中是否引起了图像质量的劣化的融合判定。此外，融合判定处理部36-3基于融合判定结果和特征量、按以下方式设置合成比率：关于融合图像和彩色成像图像，随着时间推移将一个图像切换至另一图像。例如，融合判定处理部36-3基于单色图像数据和去马赛克前彩色图像数据而执行关于是否在融合图像中引起了由视差和像素的饱和度引起的图像质量的劣化的融合判定。此外，融合判定处理部36-3计算与视差和像素的饱和度相关联的特征量在时间方向上的变化量。此外，融合判定处理部36-3根据融合判定结果和变化量、以关于图像随着时间推移将一个图像切换至另一图像的方式设置合成比率，并且产生指示合成比率的图像合成信号，并将图像合成信号输出至图像合成部40-dfb。
图像合成部40-dfb基于从融合判定处理部36-3向其提供的图像合成信号来合成融合图像数据和去马赛克图像数据，以产生合成图像数据。在融合判定处理部36-3判定在融合图像中未引起图像质量的劣化的情况下，图像合成部40-dfb输出融合图像数据作为合成图像数据。此外，在融合判定处理部36-3判定在融合图像中引起了图像质量的劣化的情况下，图像合成部40-dfb输出去马赛克图像数据作为合成图像数据。此外，图像合成部40-dfb按以下方式、以根据合成比率的比例合成融合图像和彩色成像图像：即使当根据合成比率、基于图像合成信号将融合图像数据和去马赛克图像数据彼此切换时，图像数据的切换也是不明显的以在图像切换的中间产生中间图像。此外，图像合成部40-dfb根据与视差和像素的饱和度相关联的特征量在时间方向上的变化量来改变图像数据的切换速度，以使图像质量的劣化不明显。
接下来，将给出关于融合判定处理部的配置的描述。图21例示了融合判定处理部的配置。融合判定处理部36-3具有图像特征量计算部37和图像数据选择判定部38-3。
图像特征量计算部37计算被用来执行与由视差和像素的饱和度引起的图像质量的劣化有关的判定的图像特征量。图像特征量计算部37具有视差直方图产生部371、视差分布特征量计算部372、搜索范围超过特征量计算部373、视差间隙直方图产生部374和视差间隙特征量计算部375作为用于计算被用来执行与由视差引起的图像质量的劣化有关的判定的图像特征量的功能块。此外，图像特征量计算部37具有饱和度判定直方图产生部376和饱和度特征量计算部377，作为用于计算被用来执行与由像素的饱和度引起的图像质量的劣化有关的判定的图像特征量的功能块。
视差直方图产生部371通过使用针对计算目标区域的像素而计算出的视差矢量来产生直方图。视差分布特征量计算部372根据在视差直方图产生部371中产生的视差直方图来将视差分布特征量FVfsd计算为指示视差分布的特征的统计量。
搜索范围超过特征量计算部373根据在视差直方图产生部371中产生的视差直方图来计算搜索范围超过特征量FVosr，该搜索范围超过特征量FVosr指示生成等于或大于先前设置的搜索范围的视差的频率(over_search_range_counter)与总频率(counter)的比率。
视差间隙直方图产生部374产生视差间隙直方图。视差间隙直方图产生部374计算在与计算目标区域中的关注像素位置在水平方向上间隔“-(PARALLAX_DIFF_DISTANCE/2)”的像素的位置的视差PV1和在与计算目标区域中的关注像素位置在水平方向上间隔“(PARALLAX_DIFF_DISTANCE/2)”的像素的位置的视差PV2，并且计算视差PV1与PV2之间的视差差异绝对值PVapd。此外，视差间隙直方图产生部374通过使用这样计算出的视差差异绝对值PVapd来产生直方图。
视差间隙特征量计算部375根据在视差间隙直方图产生部374中产生的视差间隙直方图来计算视差间隙特征量FVpd。
饱和度判定直方图产生部376基于从预处理部31-BW向其提供的单色图像数据来产生指示每个像素值的频率(像素数量)的像素值直方图。此外，饱和度判定直方图产生部376通过从预处理部31-CR向其提供的去马赛克前彩色成像图像数据的彩色空间转换来产生亮度数据，并且基于这样产生的亮度数据而产生指示每个像素值的频率(像素数量)的像素值直方图。
饱和度特征量计算部377基于在饱和度判定直方图产生部376中产生的亮度值直方图来计算饱和度特征量FVsat。
图像数据选择判定部38-3基于在图像特征量计算部37中计算出的图像特征量和从控制部60获取的摄像装置特征量等，执行关于在融合图像中是否引起了图像质量的劣化的判定。此外，图像数据选择判定部38-3基于图像辨别结果和图像特征量在时间方向上的变化量来产生图像合成信号。图像数据选择判定部38-3具有个体判定部381至385、变化量判定部381d至385d以及综合判定处理部389作为与关于是否引起了图像质量的劣化的判定和图像特征量在时间方向上的变化量有关的功能块。
个体判定部381基于在视差分布特征量计算部372中计算出的视差分布特征量来判定在融合图像中是否引起了图像质量的劣化。个体判定部381将视差分布特征量FVfsd与针对视差分布特征量而预先设置的判定阈值Thfsd进行比较。在视差分布特征量FVfsd大于判定阈值Thfsd的情况下。个体判定部381判定在融合图像中引起了图像质量的劣化。个体判定部381将个体判定结果输出至综合判定处理部389。
变化量判定部381d计算在视差分布特征量计算部372中计算出的视差分布特征量的时间变化量(FVfsd(i)-FVfsd(i-1))。应当注意，“i”指示与融合判定处理部36-3判定是否引起了图像质量的劣化有关的帧。变化量判定部381d将计算出的变化量的绝对值与预先设置的变化量阈值Thdfsd进行比较，并且将比较结果输出至综合判定处理部389。
个体判定部382基于在搜索范围超过特征量计算部373中计算出的搜索范围超过特征量FVosr来判定在融合图像中是否引起了图像质量的劣化。个体判定部382将搜索范围超过特征量FVosr与针对搜索范围超过特征量而预先设置的判定阈值Thosr进行比较。在搜索范围超过特征量FVosr大于判定阈值Thosr的情况下，个体判定部382判定在融合图像中引起了图像质量的劣化。个体判定部382将个体判定结果输出至综合判定处理部389。
变化量判定部382d计算在搜索范围超过特征量计算部373中计算出的搜索范围超过特征量的时间变化量(FVosr(i)-FVosr(i-1))。此外，变化量判定部382d将计算出的变化量的绝对值与预先设置的变化量阈值Thdosr进行比较，并且将比较结果输出至综合判定处理部389。
个体判定部383基于在视差间隙特征量计算部375中计算出的视差间隙特征量FVpd来判定在融合图像中是否引起了图像质量的劣化。个体判定部383将视差间隙特征量FVpd与针对视差间隙特征量而预先设置的判定阈值Thpd进行比较。在视差间隙特征量FVpd大于判定阈值Thpd的情况下，个体判定部383判定在融合图像中引起了图像质量的劣化。个体判定部383将个体判定结果输出至综合判定处理部389。
变化量判定部383d计算在视差间隙特征量计算部375中计算出的视差间隙特征量的时间变化量(FVpd(i)-FVpd(i-1))。变化量判定部383d将计算出的变化量的绝对值与预先设置的变化量阈值Thdpd进行比较，并且将比较结果输出至综合判定处理部389。
个体判定部384基于在饱和度特征量计算部377中计算出的饱和度特征量FVsat来判定在融合图像中是否引起了图像质量的劣化。个体判定部384将饱和度特征量FVsat与针对饱和度特征量而预先设置的判定阈值Thsat进行比较。在饱和度特征量FVsat大于判定阈值Thsat的情况下，个体判定部384判定在融合图像中引起了图像质量的劣化。个体判定部384将个体判定结果输出至综合判定处理部389。
变化量判定部384d计算在饱和度特征量计算部377中计算出的饱和度特征量的时间变化量(FVsat(i)-FVsat(i-1))。变化量判定部384d将计算出的变化量的绝对值与预先设置的变化量阈值Thdsat进行比较，并且将比较结果输出至综合判定处理部389。
个体判定部385基于摄像装置特征量来判定在融合图像中是否引起了图像质量的劣化。如上所述，就摄像装置特征量而言，使用诸如ISO感光度和焦点位置的成像设置信息。个体判定部385将摄像装置特征量与针对摄像装置特征量而预先设置的判定阈值进行比较，并且判定在融合图像中是否引起了图像质量的劣化。个体判定部385将个体判定结果输出至综合判定处理部389。
综合判定处理部389通过使用从个体判定部381至385向其提供的个体判定结果来执行融合判定，并且根据融合判定结果产生图像合成信号，并将图像合成信号输出至图像合成部40-dfb。例如，在从个体判定部381至385提供的个体判定结果中的任一个中判定为引起了图像质量的劣化的情况下，综合判定处理部389在融合判定中判定在融合图像中引起了图像质量性能的劣化。此外，在从个体判定部381至385提供的所有个体判定结果中判定为未引起图像质量的劣化的情况下，综合判定处理部389在融合判定中判定在融合图像中未引起图像质量性能的劣化。
综合判定处理部389产生图像合成信号并将图像合成信号输出至图像合成部40-dfb，该图像合成信号被用于在融合判定中判定存在性能降低的情况下将在去马赛克处理部34中产生的去马赛克图像数据设置为从图像合成部40-dfb输出的合成图像数据，并且在融合判定中判定不存在图像质量性能的劣化的情况下将在融合处理部35-fb中产生的融合图像数据设置为从图像合成部40-dfb输出的合成图像数据。
此外，综合判定处理部389基于从变化量判定部381d至384d提供的变化量与变化量阈值的比较结果来确定从融合图像数据切换至去马赛克图像数据的速度。此外，综合判定处理部389根据所确定的切换速度来设置由图像合成信号指示的合成比率。例如，在由于在运动图像的成像时的被摄体变化等而在融合图像中引起了图像质量的劣化的情况下，期望输出去马赛克图像数据，而不是引起了图像质量的劣化的融合图像数据。此外，还期望从融合图像数据切换至去马赛克图像数据是不明显的。因此，在融合判定中判定存在性能降低并且在从变化量判定部381d至384d提供的个体判定结果中的任一个中变化量超过变化量阈值的情况下，综合判定处理部389使切换速度高于先前设置的预定速度。此外，在融合判定中判定不存在性能降低的情况下，融合判定处理部36-3将切换速度设置为预先设置的预定速度。综合判定处理部389将产生的图像合成信号输出至图像合成部40-dfb。应当注意，由于从去马赛克图像数据切换至融合图像数据的速度是基于证实未引起图像质量的劣化的融合判定结果来设置的，因此切换速度被设置为预先设置的预定速度。
图像合成部40-dfb基于从融合判定处理部36-3向其提供的图像合成信号来将在去马赛克处理部34中产生的去马赛克图像数据和在融合处理部35-fb中产生的融合图像数据彼此合成。图像合成部40-dfb在判定在融合图像中引起了图像质量的劣化的情况下将去马赛克图像数据设置为合成图像数据，并且在判定在融合图像中未引起图像质量的劣化的情况下将融合图像数据设置为合成图像数据。
此外，在图像特征量在时间方向上的变化量超过变化量阈值的情况下，图像合成部40-dfb基于从融合判定处理部36-3向其提供的图像合成信号来以比预定速度更高的速度从融合图像数据切换至去马赛克图像数据。此外，图像合成部40-dfb基于从融合判定处理部36-3向其提供的图像合成信号来在融合图像数据与去马赛克图像数据之间进行切换时的过渡时间段内产生与中间图像相关联的图像数据作为合成图像数据，从而使图像数据的切换不明显。
<4-2.第三实施方式的操作>
图22是描绘了第三实施方式的操作的流程图。在步骤ST21中，图像处理部获取成像图像。图像处理部30-3从成像部21-BW和21-CR获取与成像图像相关联的图像数据，并且处理进行至步骤ST22。
在步骤ST22中，图像处理部执行视差补偿处理。图像处理部30-3通过使用在步骤ST21中获取的图像数据来执行对准，并且将在成像部21-CR中获取的去马赛克前彩色图像数据设置为在成像部21-BW中获取的单色成像图像的视点的图像数据。然后，处理进行至步骤ST23。
在步骤ST23中，图像处理部执行去马赛克处理。图像处理部30-3通过使用从成像部21-CR获取的图像数据来执行去马赛克处理，并且产生按每个像素具有对应颜色分量的去马赛克图像数据。然后，处理进行至步骤ST24。
在步骤ST24中，图像处理部执行融合处理。图像处理部30-3通过使用在成像部21-BW中产生的单色图像数据和在步骤ST22中对其执行了视差补偿的视差补偿彩色图像数据来执行融合处理，并且产生融合图像数据。然后，处理进行至步骤ST25。
在步骤ST25中，图像处理部执行融合判定处理。图像处理部执行融合判定处理，并且基于融合判定结果产生指示在步骤ST23中产生的去马赛克图像数据与在步骤ST24中产生的融合图像数据的合成比率的图像合成信息。
图23是描绘融合判定处理的流程图。在步骤ST31中，图像处理部执行特征量计算处理。图像处理部30-3的融合判定处理部36-3产生视差直方图、视差间隙直方图和饱和度判定直方图，并且基于这样产生的直方图计算特征量。然后，处理进行至步骤ST32。
在步骤ST32中，图像处理部执行变化量计算处理。图像处理部30-3针对在步骤ST31中计算出的特征量计算在时间方向上的变化量。然后，处理进行至步骤ST33。
在步骤ST33中，图像处理部执行图像合成信息产生处理。图像处理部30-3的融合判定处理部36-3执行对在步骤ST31中计算出的特征量与针对所计算出的每个特征量而预先设置的辨别阈值的比较、以及对在步骤ST32中计算出的变化量与针对所计算出的每个变化量而预先设置的变化量阈值的比较。图像处理部30-3基于比较结果来针对每个时间点而产生指示在步骤ST23中产生的去马赛克图像数据与在步骤ST24中产生的融合图像数据的合成比率的图像合成信息。然后，处理进行到图22中的步骤ST26。
在步骤ST26中，图像处理部执行图像切换处理。图像处理部30-3执行对在步骤ST23中产生的去马赛克图像数据与在步骤ST24中产生的融合图像数据的合成。在判定在融合图像中引起了图像质量的劣化的情况下，图像处理部30-3将去马赛克图像数据设置为合成图像数据。在判定未引起图像质量的劣化的情况下，图像处理部30-3将融合图像数据设置为合成图像数据。此外，在切换图像数据的过渡时间段内，图像处理部30-3产生中间图像作为合成图像数据以使得图像数据的切换不明显。此外，在从融合图像数据切换至去马赛克图像数据时图像特征量在时间方向上的变化量超过变化量阈值的情况下，图像处理部30-3基于图像合成信息而使图像数据的切换速度比预定速度高。然后，处理进行至步骤ST27。
在步骤ST27中，图像处理部辨别操作是否结束。在正在执行运动图像记录或预览图像显示的情况下，处理返回至步骤ST21。在执行用于运动图像记录或预览图像显示的结束操作的情况下，图像处理部30-3结束操作。应当注意，可以先处理步骤ST23和步骤ST24中的任一步骤。此外，处理决不限于按步骤顺序执行处理的顺序处理，并且可以使用流水线处理或并行处理。
图24例示了融合判定处理部的操作。图24的(a)描绘了融合判定结果。例如，在时间点t11以前，判定在从个体判定部381至385提供的所有个体判定结果中未引起图像质量的劣化，并且在融合判定中，判定不存在图像质量性能的劣化。当在时间点t11，在融合判定中判定在个体判定结果中的任一个中引起了图像质量的劣化时，判定结果指示存在图像质量性能的劣化。此外，当判定在时间点t14、在所有个体判定结果中未引起图像质量的劣化时，在融合判定中，判定不存在图像质量性能的劣化。
当融合判定结果从不存在图像质量性能的劣化改变为存在图像质量性能的劣化时，在从变化量判定部381d至384d提供的个体判定结果中的任一个中变化量超过变化量阈值的情况下，融合判定处理部判定需要提高切换速度，并且增大合成比率的变化量。图24的(b)例示了合成比率的变化。例如，当在时间点t11，融合处理结果指示将不存在图像质量性能的劣化切换为存在图像质量性能的劣化时，合成比率从“1”变为“0”，并且从图像合成部40-dfb输出的合成图像数据从融合图像数据切换为去马赛克图像数据。此外，当判定需要提高切换速度时，基于表达式(5)增大合成比率的变化量。在表达式(5)中，“reg_down_step”是在合成比率连续地减小的情况下预先设置的减少量。“Gain”是用于改变减少量的增益，并且被设置成“0<(reg_down_step×Gain)<1”。此外，当判定不需要提高切换速度时，设置“Gain＝G1”。判定需要提高切换速度，设置“Gain>G1”。
f_ratio＝1-(reg_down_step×Gain)......(5)
如果在超过变化量阈值时“Gain”的值随着变化量的增加而增大，则在变化特征量的变化量大且图像质量的劣化速度高的情况下，高速地执行从融合图像数据到去马赛克数据的切换，使得在从时间点t11到时间点t12的时间段内，合成比率从“1”变为“0”。因此，与不改变切换速度的情况相比，会难以输出图像质量劣化的图像数据。应当注意，图24的(b)中的虚线描绘了在判定不需要提高切换速度(Gain＝1)的情况下合成比率的变化。在该情况下，在从时间点t11至时间点t13的时间段内，合成比率从“1”变为“0”。此外，在从时间点t14至时间点t15的时间段内，合成比率从“0”变为“1”。
此外，在将合成图像数据从融合图像数据切换为去马赛克图像数据的情况下，图像合成部40-dfb产生与合成比率对应的中间图像。例如，图像合成部40-dfb以根据合成比率的比例将融合图像数据与去马赛克图像数据彼此合成，并且产生中间图像数据。
图25例示了在产生合成图像作为中间图像的情况下的操作。图25的(a)描绘了合成比率f_ratio。此外，图25的(b)描绘了合成图像中的融合图像分量比。图25的(c)描绘了合成图像中的去马赛克图像分量比。由于在时间段t11以前，合成比率为“1”并因此判定在融合图像中未引起图像质量的劣化，因此输出融合图像。当在时间点t11，辨别引起了图像质量的劣化时，在从时间点t11至时间点t12的时间段内，合成比率从“1”变为“0”。此外，随着合成比率减小，融合图像分量比减小，并且去马赛克处理图像分量比增大。因此，可以连续地执行从融合图像到去马赛克图像的切换。
此外，图像合成部40-dfb可以从基于去马赛克图像数据的图像、根据合成比率产生视点位置的图像，从而将该图像设置为中间图像。
图26例示了在产生视点移动图像作为中间图像的情况下的操作。由于在时间点t11以前，合成比率f_ratio为“1”并且因此判定在融合图像中未引起图像质量的劣化，因此输出融合图像。当在时间点t11，辨别在融合图像中引起了图像质量的劣化时，在从时间点t11至时间点t12的时间段内，合成比率从“1”变为“0”。在从时间点t11至时间点t12的时间段内，通过利用在视差检测部32中检测到的视差来执行根据去马赛克图像的合成比率移动视点位置的处理。例如，在合成比率f_ratio为“0.5”的情况下，如果去马赛克图像的像素GDn与对应于融合图像的像素GFn之间的视差量为Dn，则去马赛克图像的像素GDn移动了视差量(Dn×0.5)，并且产生中间图像。
根据这样的第三实施方式，与第一实施方式的情况类似，通过使用在成像部21-BW中获取的单色成像图像和在成像部21-CR中获取的彩色成像图像，可以从图像处理部30-1输出高感光度彩色成像图像而不降低图像质量。此外，根据第三实施方式，即使在根据关于在融合图像中是否引起了图像质量的劣化的判定结果而切换图像数据的情况下，也可以使切换不明显。此外，即使图像质量的劣化速度高，也可以使得难以输出图像质量劣化的融合图像。
<5.图像处理装置的第四实施方式>
在以上所述的第一至第三实施方式中，例示了将以单色成像图像为基准的融合图像数据用作融合图像数据的情况。然而，融合图像数据可以是在以在成像部21-CR中获取的彩色成像图像为基准的融合处理中产生的融合图像数据。
图27是用于说明通过执行以彩色成像图像为基准的融合处理来获得的图像质量的视图。例如，如果在以彩色成像图像为基准来对准单色成像图像之后，融合单色成像图像以产生融合图像，则可以在由于彩色成像图像被设置为基准而不引起融合图像中的色偏的情况下，根据在成像部21-BW中使用的镜头和传感器的特性来增加感光度。
<5-1.第四实施方式的配置和操作>
图28例示了第四实施方式的配置。图像处理部30-4通过使用与在成像部21-BW和成像部21-CR中获取的成像图像相关联的图像数据来执行图像处理，并且产生高感光度成像图像，而不会使图像质量相对于在成像部21-BW或成像部21-CR中获取的成像图像的图像质量降低。
图像处理部30-4具有预处理部31-BW和31-CR、视差检测部32、视差补偿部33-bc、去马赛克处理部34、融合处理部35-fc、融合判定处理部36-4和图像合成部40-dfc。
预处理部31-BW对与在成像部21-BW中获取的单色成像图像相关联的图像数据执行诸如镜头失真校正或缺陷像素校正的校正处理。预处理部31-BW将校正后的单色图像数据输出至视差检测部32、融合处理部35-fc和融合判定处理部36-4。
预处理部31-CR对与在成像部21-CR中获取的彩色成像图像相关联的图像数据执行诸如镜头失真校正或缺陷像素校正的校正处理。预处理部31-CR将校正后的去马赛克前彩色图像数据输出至视差检测部32、视差补偿部33-bc、去马赛克处理部34和融合判定处理部36-4。
视差检测部32基于从预处理部31-BW提供的单色图像数据和从预处理部31-CR提供的去马赛克前彩色图像数据来执行视差检测，并且产生指示针对每个像素而计算出的视差的视差信息。视差检测部32将这样产生的视差信息输出至视差补偿部33-bc和融合判定处理部36-4。
视差补偿部33-bc基于从视差检测部32向其提供的视差信息来对单色图像数据执行视差补偿。视差补偿部33-bc基于在视差检测部32中产生的视差信息对从预处理部31-BW向其提供的单色图像数据执行像素位置的移动，并且产生视差补偿单色图像数据作为成像部21-CR中获取的彩色成像图像的视点。视差补偿部33-bc将这样产生的视差补偿单色图像数据输出至融合处理部35-fc。
去马赛克处理部34通过使用从预处理部31-CR向其提供的去马赛克前彩色图像数据来执行去马赛克处理。在去马赛克处理中，执行以下去马赛克处理，该去马赛克处理用于根据每个像素指示红色、蓝色和绿色的颜色分量中的对应一个颜色分量的去马赛克前彩色成像数据来产生按对应像素指示红色、蓝色和绿色的颜色分量的图像数据。去马赛克处理部34将通过去马赛克处理而产生的去马赛克图像数据输出至图像合成部40-dfc。
融合处理部35-fc通过使用从预处理部31-CR向其提供的去马赛克前彩色图像数据和从视差补偿部33-bc向其提供的视差补偿单色图像数据来执行以彩色成像图像为基准的融合处理。融合处理部35-fc将通过执行融合处理而产生的融合图像数据输出至图像合成部40-dfc。
融合判定处理部36-4基于通过使用通过对被摄体进行成像而获取的单色成像图像和通过从不同的视点位置对被摄体进行成像而获取的彩色成像图像的运动图像来计算出的特征量，对运动图像中的每个图像执行关于在通过以彩色成像图像为基准来融合单色成像图像和彩色成像图像而获得的融合图像中是否引起了图像质量的劣化的融合判定。此外，融合判定处理部36-4基于融合判定结果产生指示融合图像与彩色成像图像的合成比率的图像合成信号，并且将图像合成信号输出至图像合成部40-dfc。
图像合成部40-dfc基于从融合判定处理部36-4向其提供的图像合成信号，将在去马赛克处理部34中产生的去马赛克图像数据和在融合处理部35-fc中产生的融合数据彼此合成。
融合判定处理部36-4具有如上所述的图7中描绘的配置。融合判定处理部36-4执行将融合图像与彩色成像图像之间不存在视差纳入考虑的融合判定处理。接下来，将给出关于融合判定处理部36-4中的图像数据选择判定部的操作的描述。
个体判定部381基于在视差分布特征量计算部372中计算出的视差分布特征量来判定在融合图像中是否引起了图像质量的劣化。个体判定部381将视差分布特征量FVfsd与针对视差分布特征量而预先设置的判定阈值Thfsd1、Thfsdh(＞Thfsd1)进行比较。在视差分布特征量FVfsd大于判定阈值Thfsdh的情况下，即，在视差的离差大的情况下，个体判定部381将合成比率FRfsd设置为“0”。此外，在视差分布特征量FVfsd等于或小于判定阈值Thfsdl的情况下，即，在视差的离差小的情况下，个体判定部381将合成比率FRfsd设置为“1”。此外，在视差分布特征量FVfsd大于判定阈值Thfsdl并且等于或小于判定阈值Thfsdl的情况下，个体判定部381根据与判定阈值的距离将合成比率FRfsd线性地设置在例如“0<FRfsd<1”内。
此外，类似于个体判定部381的情况，个体判定部382至个体判定部385也基于搜索范围超过特征量FVosr、视差间隙特征量FVpd、饱和度特征量FVsat和摄像装置特征量与针对各个特征量而设置的判定阈值的比较结果来设置合成比率。
综合判定处理部388基于在个体判定部381至385中设置的合成比率来产生图像合成信号，并且将图像合成信号输出至图像合成部40-dfc。例如，综合判定处理部388从在各个个体判定部381至385中设置的合成比率中选择最小值，并且将所选择的合成比率设置为综合合成比率。此外，综合判定处理部388可以从在个体判定部381至385中设置的合成比率中选择最大值并将计算出的合成比率设置为综合合成比率，或者可以计算在个体判定部381至385中设置的合成比率的平均值并将计算出的合成比率设置为综合合成比率。综合判定处理部388产生将综合合成比率FRtotal设置为融合图像与去马赛克图像的合成比率所利用的图像合成信号，并且图像合成部40-dfc输出(融合图像×FRtotal+去马赛克图像×(1-FRtotal)的计算结果。
此外，综合判定处理部388可以针对每个摄像装置特征量而在个体判定部381至384中设置合成比率。例如，通过使用ISO感光度作为摄像装置特征量，可以通过使用针对每个ISO感光度而在个体判定部381至384中分别设置的判定阈值来设置合成比率。此外，在基于摄像装置特征量获得高感光度去马赛克图像的情况下，可以产生图像合成信号以仅使用马赛克图像。例如，在ISO感光度低于预定感光度的情况下，由于获得了高感光度去马赛克图像，因此产生了图像合成信号以仅使用马赛克图像。
根据这样的第四实施方式，与第一实施方式的情况等类似，通过使用在成像部21-BW中获取的单色成像图像和在成像部21-CR中获取的彩色成像图像，可以从图像处理部30-1输出高感光度彩色成像图像而不降低图像质量。即，根据第四实施方式，通过使用在以彩色成像图像为基准的融合处理中产生的融合图像数据，可以从图像处理部30-4输出图像质量等同于或高于在成像部21-CR中获取的彩色成像图像的图像质量的高感光度彩色成像图像。
<6.图像处理装置的第五实施方式>
接下来，将给出关于以单色成像图像为基准的融合图像数据和以彩色成像图像为基准的融合图像数据中的一个用作融合图像数据的情况的描述。
在将彩色成像图像设置为基准的情况下，例如，如果遮挡是由视差引起的，则在成像部21-BW中获取的单色成像图像中不存在与遮挡区域对应的图像数据。因此，噪声量在通过使用单色图像数据来增大感光度的区域与由于不存在单色图像数据而不增大感光度的区域之间不同。因此，在增大了融合图像的感光度的情况下，噪声量的差异变得显著。此外，如果在彩色成像图像与单色成像图像之间引起了位置偏移，则在融合图像的感光度增大的情况下，位置偏移变得显著。因此，在抑制以彩色成像图像为基准的融合图像中的噪声量的差异或者位置偏移导致的图像质量的劣化的情况下的感光度增大效果低于在将单色成像图像设置为基准的情况下的感光度增大效果。因此，在第五实施方式中，通过使用以彩色成像图像为基准的融合图像数据或者以单色成像图像为基准的融合图像数据，来产生图像质量等同于或高于在成像部21-CR中获取的彩色成像图像的图像质量的彩色成像图像，以不引起图像质量的劣化。
<6-1.第五实施方式的配置和操作>
图29例示了第五实施方式的配置。图像处理部30-5通过使用与在成像部21-BW和成像部21-CR中获取的各个成像图像相关联的图像数据来执行图像处理，并且产生高感光度成像图像，而不会使图像质量相对于在成像部21-BW或成像部21-CR中分别获取的成像图像降低。
图像处理部30-5具有预处理部31-BW和31-CR、图像产生部BL-BW、BL-CR、以及图像选择部41。
预处理部31-BW对与在成像部21-BW中获取的单色成像图像相关联的图像数据执行诸如镜头失真校正和缺陷像素校正的校正处理。预处理部31-BW将校正后的单色图像数据输出至图像产生部BL-BW和BL-CR中的每一个。
预处理部31-CR对与在成像部21-CR中获取的彩色成像图像相关联的图像数据执行诸如镜头失真校正和缺陷像素校正的校正处理。预处理部31-CR将校正后的去马赛克前彩色信号数据输出至图像产生部BL-BW和BL-CR中的每一个。
类似于以上所述的第三实施方式，图像产生部BL-BW具有视差检测部32、视差补偿部33-cb、去马赛克处理部34、融合处理部35-fb、融合判定处理部36-3和图像合成部40-dfb。图像产生部BL-BW执行类似于第三实施方式的情况的处理，并且根据融合判定来产生通过以单色成像图像为基准将融合图像数据与去马赛克图像数据合成而获得的合成图像。图像产生部BL-BW将与这样产生的合成图像相关联的图像数据输出至图像选择部41。
类似于以上所述的第四实施方式的情况，图像产生部BL-CR具有视差检测部32、视差补偿部33-bc、去马赛克处理部34、融合处理部35-fc、融合判定处理部36-4和图像合成部40-dfc。图像产生部BL-CR执行类似于第四实施方式的情况的处理，并且根据融合判定来产生通过以彩色成像图像为基准将融合图像数据与去马赛克图像数据合成而获得的合成图像。图像产生部BL-CR将与这样产生的合成图像相关联的图像数据输出至图像选择部41。
此外，图像产生部BL-BW或图像产生部BL-CR的融合判定处理部产生图像选择信号，该图像选择信号被用于选择与在图像产生部BL-BW或图像产生部BL-CR中产生的合成图像相关联的图像数据。应当注意，图29例示了在图像产生部BL-BW的融合判定处理部36-3中产生图像选择信号的情况。
融合判定处理部36-3基于摄像装置特征量和图像特征量而执行融合判定，并且以可以在图像处理部中产生高感光度成像图像而不引起图像质量的劣化的方式产生图像选择信号。例示了根据ISO感光度产生图像选择信号的情况。
图30例示了去马赛克图像的图像质量和融合图像的图像质量与ISO感光度之间的关系。应当注意，实线表示去马赛克图像，虚线表示以彩色成像图像为基准的融合图像，以及点划线表示以单色成像图像为基准的融合图像。
在ISO感光度被设置为低的成像环境的情况下，去马赛克图像变为噪声较少的高图像质量图像。此后，为了避免由于使用融合图像而导致图像质量劣化的风险，融合判定处理部36-3产生图像选择信号以例如在以下ISO感光度范围内选择去马赛克图像，在该ISO感光度范围内可以产生图像质量性能(感光度)等于或高于期望的图像质量性能(感光度)LM的成像图像。
在ISO感光度被设置为高的成像环境的情况下，去马赛克图像变为噪声增加的图像以降低图像质量。此外，尽管以彩色成像图像为基准的融合图像在视点上与去马赛克图像一致，但是由视差引起的图像质量劣化的风险小，相对于以单色成像图像为基准的融合图像，感光度增大效果较低。此外，尽管在以单色图像为基准的融合图像中，相对于以彩色成像图像为基准的融合图像，感光度增大效果较高。然而，由于引起了与去马赛克图像的视差，因此相对于以彩色成像图像为基准的融合图像，图像质量劣化的风险高。因此，在ISO感光度例如等于或高于在其处去马赛克图像的图像质量降低到比期望图像质量性能(感光度)LM的水平更低的水平的感光度的情况下，融合判定处理部36-3产生图像选择信号以选择以彩色成像图像为基准的融合图像，以便获得感光度增大效果。此外，在ISO感光度例如低于在其处以彩色成像图像为基准的融合图像的图像质量降低到比期望图像质量LM的水平更低的水平的感光度的情况下，为了更多地提高感光度增大效果，融合判定处理部36-3产生图像选择信号以选择以单色成像图像为基准的融合图像。如果以这样的方式产生图像选择信号，则图像质量劣化的风险低，并且从图像处理部30-5输出的图像数据变为与高感光度成像图像相关联的图像数据。
应当注意，融合判定处理部36-3可以以如下方式产生图像选择信号：基于除了ISO感光度以外的其他摄像装置特征量或图像特征量，从图像处理部30-5输出与图像质量劣化的风险低的高感光度成像图像相关联的图像数据。例如，在视差分布特征量FVfsd等等于或低于判定阈值的情况下，融合判定处理部36-3辨别由于使用以单色成像图像为基准的融合图像而引起的图像质量劣化的风险低，并且选择以单色成像图像为基准的融合图像。此外，在视差分布特征量FVfsd等大于判定阈值的情况下，融合判定处理部36-3可以辨别由于使用以单色成像图像为基准的融合图像而引起的图像质量劣化的风险高，并且可以选择以彩色成像图像为基准的融合图像。
根据这样的第五实施方式，类似于第一实施方式等，通过使用在成像部21-BW中获取的单色成像图像和在成像部21-CR中获取的彩色成像图像，可以从图像处理部30-1输出高感光度彩色成像图像而不降低图像质量。此外，根据第五实施方式，与以上所述的第一至第四实施方式的情况相比，可以获得图像质量劣化的风险低的高感光度成像图像。
顺便提及，在成像图像是静止图像的情况下，在图像产生部中的视差补偿部中，通过切换来执行对于单色成像图像的视差补偿和对于彩色成像图像的视差补偿。在融合处理部中，通过切换来执行以彩色成像图像为基准的融合图像的产生、以单色成像图像为基准的融合图像的产生。此外，在融合判定处理部中，基于摄像装置特征量和图像特征量执行融合判定，并且以可以产生高感光度成像图像而不引起图像质量劣化的方式控制视差补偿部、融合处理部和图像合成部的操作。当采用这样的配置时，即使不像第五实施方式那样分别提供图像产生部BL-BW和图像产生部BL-CR，类似于第五实施方式的情况，也可以通过切换图像产生部的操作来获得图像质量劣化的风险低的高感光度静止图像。
<7.其他实施方式>
顺便提及，在彩色成像图像中，亮度分量和颜色分量的离差在一些情况下彼此相差很大。在这样的情况下，例如，即使当亮度分量在水平上是平坦的并且与单色成像图像的差异小、并且因此基于图像特征量判定未引起图像质量的劣化时，也存在颜色分量的大离差引起图像质量的劣化的可能性。然后，融合判定处理部可以在考虑离散以及颜色分量的情况下判定是否引起了图像质量的劣化。
此外，在对运动图像的成像时，存在从端部进入内部中的被摄体。然而，在第一至第三实施方式中，通过使用图8中描绘的计算目标区域的整个图像来执行关于是否可以执行融合处理的判定。因此，即使关注的图像变为使得端部区域被成像为引起了图像质量的劣化的图像的图像，除非计算目标区域被成像为引起了图像质量的劣化的图像，否则关注的图像变为在端部区域中引起了图像质量的劣化的图像。然后，融合判定处理部可以在考虑端部区域的图像变换的情况下判定是否引起了图像质量的劣化。
图31例示了用于通过进一步使用颜色分量的离差和端部区域的图像变化来判定通过融合处理是否引起了图像质量的劣化的融合判定处理部的一部分的配置。
融合判定处理部36-e的图像特征量计算部37-e还具有YC特征量计算部378和端部区域特征量计算部379。
YC特征量计算部378基于从预处理部31-CR向其提供的去马赛克前彩色图像数据来计算亮度分量数据和颜色分量数据。此外，YC特征量计算部378关于亮度分量数据和颜色分量数据而计算指示信号值分布的特征的统计量(例如，标准偏差)作为特征量。此外，YC特征量计算部378计算亮度分量数据与颜色分量数据之间的特征量的差异作为YC特征量FVyc。
端部区域特征量计算部379针对在成像部21-BW中获取的单色成像图像和在成像部21-CR中获取的彩色成像图像来计算端部区域的像素的平均值。此外，端部区域特征量计算部379将单色成像图像中的端部区域的像素的平均值与彩色成像图像中的端部区域的像素的平均值之差的绝对值设置为端部区域特征量FVed。
图像数据选择判定部38-e基于在图像特征量计算部37-e中计算出的图像特征量和从控制部60获取的摄像装置特征量等，执行关于在融合图像中是否引起了图像质量的劣化的判定。此外，图像数据选择判定部38-e基于判定结果和图像特征量在时间方向上的变化量产生图像合成信号。图像数据选择判定部38-e具有个体判定部386以及变化判定部386d和387d被添加至以上所述的图像数据选择判定部38-3的配置。
个体判定部386基于在YC特征量计算部378中计算出的YC特征量FVcy来判定在融合图像中是否引起了图像质量的劣化。个体判定部386将YC特征量FVyc与针对YC特征量而预先设置的判定阈值Thyc进行比较。在YC特征量FVyc大于判定阈值Thyc的情况下，个体判定部386判定在融合处理中引起了图像质量的劣化。个体判定部386将个体判定结果输出至综合判定处理部389。
变化量判定部386d计算在YC特征量计算部378中计算出的YC特征量的时间变化量(FVyc(i)-FVyc(i-1))。变化量判定部386d将计算出的变化量的绝对值与预先设置的变化量阈值Thdyc进行比较，并且将比较结果输出至综合判定处理部389。
个体判定部387计算在端部区域特征量计算部379中计算出的端部区域特征量的时间变化量。个体判定部387将计算出的变化量的绝对值与预先设置的变化量阈值进行比较。在变化量的绝对值大于判定阈值的情况下，个体判定部387判定在融合处理中引起了图像质量的劣化。个体判定部387将个体判定结果输出至综合判定处理部389。
综合判定处理部389通过使用从个体判定部381-1至387向其提供的个体判定结果和变化量判定结果来执行融合判定，并且根据融合判定结果产生图像合成信号以将图像合成信号输出至图像合成部40-dfb(40-dfc)。此外，综合判定处理部389基于从变化量判定部381d至384d和386d向其提供的变化量与变化量阈值之间的比较结果来确定从融合图像数据切换为去马赛克图像数据的速度。此外，综合判定处理部389根据这样确定的切换速度来设置由图像合成信号指示的合成比率。
图32是例示端部区域的视图。当在单色成像图像和彩色成像图像中，例如，左上像素的像素位置被设置为(0，0)时，可以基于表达式(6)计算在左手侧端的端部区域AEL的端部区域特征量FVed，在该表达式(6)中，端部区域在水平方向上的像素数量为20，在垂直方向上的像素数量为height，彩色成像图像的像素值为DB，单色成像图像的像素值为DW，以及帧数为i。此外，类似于端部区域AEL的情况，端部区域特征量计算部379针对由图32的斜线所示的上端和下端以及右手端的端部区域来计算端部区域特征量。此外，端部区域特征量计算部379可以在端部区域被收集为一个区域的情况下计算端部区域特征量。
[数学式1]
Figure GDA0001945716910000411
如果以这样的方式在考虑到亮度分量的离差和颜色分量的离差的情况下判定在融合图像中是否引起了图像质量的劣化，那么即使在亮度分量的离差和颜色分量的离差彼此相差很大的情况下，也可以以不引起图像质量劣化的方式精确地执行判定。此外，如果通过使用端部区域特征量来判定是否了引起图像质量的劣化，则可以以不引起图像质量劣化的方式、针对从端部落入内部中的被摄体图像执行判定。因此，可以从图像处理部输出与以上所述的实施方式相比能够应对各种图像情况的、具有高图像质量的彩色成像图像。
应当注意，融合判定处理部可以通过使用除了上述实施方式的所有特征量的情况以外的任何特征量来判定在融合图像中是否引起了图像质量的劣化。此外，如果可以针对关于是否引起了图像质量的劣化的判定而执行利用，则可以使用在上述实施方式中的每一个中未指示的特征量。此外，尽管在上述实施方式中的每一个中，成像部21-BW执行单色成像图像，但是如果通过使用在红外区域中具有感光度的成像部作为成像部21-BW来获取单色成像图像，则即使在夜晚等，也可以提高图像质量。此外，在上述实施方式中的每一个中，例示了以下情况：通过对被摄体进行成像而获得的第一成像图像是单色成像图像，并且通过从不同的视点位置对被摄体进行成像而获得的第二成像图像是彩色成像图像，并且以如下方式改变合成比率，即，针对通过以单色成像图像为基准将单色成像图像与彩色成像图像融合而获得的融合图像以及彩色成像图像，随着时间的推移将一个图像切换至另一图像。然而，本技术决不限于第一成像图像是单色成像图像并且第二成像图像是彩色成像图像的情况。例如，第二成像图像可以是图像质量特征与第一成像图像不同的单色成像图像等。
<8.应用示例>
根据本公开内容的技术可以应用于各种产品。例如，根据本公开内容的技术不仅可以以信息处理终端的形式来实现，还可以以安装到任何类型的移动体(诸如汽车、电动汽车、混合电动汽车、摩托车、自行车、个人移动设备、飞机、无人机、船舶、机器人、建筑物、机械装置或农业机械(拖拉机))的装置的形式实现。
图33是示出车辆控制系统7000的示意性配置的实例的框图，该车辆控制系统是作为可应用根据本公开的实施方式的技术的移动体控制系统的实例。车辆控制系统7000包括经由通信网络7010彼此连接的多个电子控制单元。在图33所示出的实例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500、以及集成控制单元7600。将多个控制单元彼此连接的通信网络7010可以是符合任意标准的车载通信网络，诸如，控制器区域网(CAN)、局域互联网(LIN)、局域网(LAN)、FlexRay等。
各个控制单元包括：微型计算机，根据各种程序执行运算处理；存储部，存储由微型计算机执行的程序、用于各种操作的参数等；以及驱动电路，驱动各种控制目标设备。各个控制单元进一步包括：网络接口(I/F)，用于经由通信网络7010执行与其他控制单元的通信；以及通信I/F，用于通过有线通信或无线电通信执行与车辆内部和外部的设备、传感器等的通信。图33所示的集成控制单元7600的功能配置包括微型计算机7610、通用通信I/F7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内设备I/F 7660、声音/图像输出部7670、车载网络I/F 7680、以及存储部7690。其他控制单元也类似地包括微型计算机、通信I/F、存储部等。
驱动系统控制单元7100根据各种程序对与车辆的驱动系统相关的设备的工作进行控制。例如，驱动系统控制单元7100用作控制设备来控制：用于生成车辆的驱动力的驱动力生成设备，诸如内燃机、驱动电机等；用于将驱动力传递至车轮的驱动力传递机构；用于调节车辆的转向角的转向机构；用于生成车辆的制动力的制动设备等。驱动系统控制单元7100可具有防抱死制动系统(ABS)、电子稳定控制(ESC)等的控制设备的功能。
驱动系统控制单元7100连接有车辆状态检测部7110。车辆状态检测部7110例如包括下列项中的至少一个：检测车身的轴向旋转运动的角速度的陀螺仪传感器，检测车辆的加速度的加速度传感器，以及用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度或车轮的旋转速度等的传感器。驱动系统控制单元7100使用从车辆状态检测部7110输入的信号执行运算处理，以控制内燃机、驱动电机、电动助力转向设备、制动设备等。
车身系统控制单元7200根据各种程序对车身所装配的各种设备的工作进行控制。例如，车身系统控制单元7200用作控制设备来控制：无钥匙进入系统，智能钥匙系统，电动车窗设备，或前照灯、倒车灯、制动灯、转向灯、雾灯等各种灯。在这种情况下，车身系统控制单元7200可接收来自替代钥匙的移动设备所传输的无线电波或者各种开关的信号作为输入。车身系统控制单元7200接收这些输入的无线电波或信号，以控制车辆的门锁设备、电动车窗设备、灯等。
电池控制单元7300根据各种程序对用作驱动电机的电源的二次电池7310进行控制。例如，电池控制单元7300接收来自包括二次电池7310的电池设备的有关于电池温度、电池输出电压、电池的剩余电量等信息。电池控制单元7300使用这些信号执行运算处理，执行二次电池7310的温度调节控制，或者对电池设备的冷却设备进行控制等。
车外信息检测单元7400检测包括车辆控制系统7000的车辆的外部的信息。例如，车外信息检测单元7400至少与成像部7410和车外信息检测部7420中的一个相连接。成像部7410包括飞行时间(ToF)相机、立体相机、单目相机、红外相机以及其他相机中的至少一个。车外信息检测部7420可以包括下列项中的至少一个：用于检测当前大气条件或天气条件的环境传感器，用于检测包括车辆控制系统7000的车辆的周边的其他车辆、障碍物、行人等的周边信息检测传感器。
环境传感器例如可以是下列项中的至少一个：检测雨的雨滴传感器，检测雾的雾传感器，检测日照程度的日照传感器，以及检测降雪的雪传感器。周边信息检测传感器可以是下列项中的至少一个：超声波传感器，雷达设备，以及LIDAR设备(光检测和测距设备，或激光成像检测和测距设备)。成像部7410和车外信息检测部7420两者中的每一个可设置为独立传感器或设备，或者可设置为多个传感器或设备集成在其中的设备。
图34示出成像部7410和车外信息检测部7420的安装位置的实例。成像部7910、7912、7914、7916和7918可以被布置在车辆7900的前鼻、侧视镜、后保险杠、后门以及车辆内部的挡风玻璃的上部的位置处。布置在前鼻的成像部7910以及布置在车辆内部的挡风玻璃的上部的成像部7918主要获得车辆7900的前方的图像。布置在侧视镜的成像部7912和7914主要获得车辆7900的侧方的图像。布置在后保险杠或后门的成像部7916主要获得车辆7900的后方的图像。布置在车辆内部的挡风玻璃的上部的成像部7918主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。
顺便提及，图34示出各个成像部7910、7912、7914和7916的拍摄范围的实例。成像范围a表示布置在前鼻的成像部7910的成像范围。成像范围b和c分别表示布置在侧视镜的成像部7912和7914的成像范围。成像范围d表示布置在后保险杠或后门的成像部7916的成像范围。例如，通过叠加由成像部7910、7912、7914和7916成像的图像数据能够获得从上方观察的车辆7900的鸟瞰图像。
布置在车辆7900的前部、后部、侧部和角部以及车辆内部的挡风玻璃上部的车外信息检测部7920、7922、7924、7926、7928和7930可以是超声波传感器或雷达设备。布置在车辆7900的前鼻、车辆7900的后保险杠、后门以及车辆内部的挡风玻璃上部的车外信息检测部7920、7926和7930可以是LIDAR设备。这些车外信息检测部7920～7930主要用于检测前方车辆、行人、障碍物等。
回到图33，继续进行描述。车外信息检测单元7400使成像部7410成像车辆外部的图像并且接收所成像的图像数据。此外，车外信息检测单元7400从连接至车外信息检测单元7400的车外信息检测部7420接收检测信息。当车外信息检测部7420是超声波传感器、雷达设备或LIDAR设备时，车外信息检测单元7400使超声波、电磁波等发送，并且接收关于所接收的反射波的信息。基于所接收的信息，车外信息检测单元7400可执行检测对象(诸如路面上的人、车辆、障碍物、标志、符号等)的处理，或者执行检测到对象的距离的处理。车外信息检测单元7400可基于所接收的信息执行环境识别处理,以识别降雨、雾、路面条件等。车外信息检测单元7400可基于所接收的信息计算到车辆外部的对象的距离。
此外，基于所接收的图像数据，车外信息检测单元7400可执行用于识别对象(诸如路面上的人、车辆、障碍物、标志、符号等)的图像识别处理，或者执行检测到对象的距离的处理。车外信息检测单元7400可对所接收的图像数据进行诸如失真校正、对齐等处理，并且通过组合多个不同成像部7410成像的图像数据产生鸟瞰图像或全景图像。车外信息检测单元7400可使用不同成像部7410成像的图像数据来执行视点转换处理。
车内信息检测单元7500检测车辆内部的信息。车内信息检测单元7500可以连接有检测驾驶员状态的驾驶员状态检测部7510。驾驶员状态检测部7510可包括拍摄驾驶员的相机、检测驾驶员的生物信息的生物传感器、收集车辆内部的声音的麦克风等。生物传感器可以布置在座位表面、方向盘等处，并且检测坐在座位中的乘客或握住方向盘的驾驶员的生物信息。基于从驾驶员状态检测部7510输入的检测信息，车内信息检测单元7500可计算驾驶员的疲劳程度或驾驶员的注意力集中程度，或者可辨别驾驶员是否在打瞌睡。车内信息检测单元7500可对通过声音收集获得的音频信号进行诸如噪声消除处理等的处理。
集成控制单元7600根据各种程序对车辆控制系统7000内的总体操作进行控制。集成控制单元7600与输入部7800连接。输入部7800为能够通过乘客进行输入操作的设备，例如，触摸面板、按钮、麦克风、开关、控制杆等。集成控制单元7600可接收对经由麦克风输入的语音进行语音识别所获得的数据。输入部7800可以是使用红外线或其他无线电波的远程控制设备，或者可以是支持车辆控制系统7000的操作的诸如移动电话、个人数字助理(PDA)等的外部连接设备。输入部7800可以是相机。在该情况下，乘客能够通过姿势来输入信息。或者，可以输入通过检测乘客佩戴的可佩戴设备的移动而获得的数据。此外，输入部7800可包括输入控制电路等，该输入控制电路等基于由乘客等使用上述输入部7800输入的信息而生成输入信号，并将所生成的输入信号输出至集成控制单元7600。乘客等，可通过操作输入部7800向车辆控制系统7000输入各种数据，处理操作的指令。
存储部7690可包括存储由微型计算机执行的各种程序的只读存储器(ROM)以及存储各种参数、操作结果、传感器值等的随机存取存储器(RAM)。此外，存储部7690可为诸如硬盘驱动器(HDD)等的磁性存储设备、半导体存储设备、光学存储设备、磁光存储设备等。
通用通信I/F 7620是广泛使用的通信I/F，该通信I/F,调解与存在于外部环境7750中的各种装置的通信。通用通信I/F 7620可实现：蜂窝通信协议，诸如全球移动通信系统(GSM)、全球互通微波接入(WiMAX)、长期演进(LTE)、LTE高级(LTE-A)等，或者其他无线通信协议，诸如无线LAN(也被称为无线保真(Wi-Fi)、蓝牙等。通用通信I/F 7620可经由基站或接入点连接至存在于外部网络(例如，互联网、云网络或公司特定网络)上的装置(例如，应用服务器或控制服务器)。此外，通用通信I/F 7620可使用对等(P2P)技术，与存在于车辆附近的终端(该终端例如是驾驶员、行人或商店的终端，或机器型通信(MTC)终端)相连接。
专用通信I/F 7630是支持针对车辆使用而开发的通信协议的通信I/F。专用通信I/F 7630可实现：标准协议，例如，车辆环境中的无线接入(WAVE)(它是作为下层的电气和电子工程师协会(IEEE)802.11p与作为上层的IEEE 1609的组合)，专用短程通信(DSRC)，或蜂窝通信协议。专用通信I/F 7630通常进行包括下列项中一个或多个的概念的V2X通信：车辆与车辆之间(车辆对车辆)的通信，道路与车辆之间(车辆对基础设施)的通信，车辆与家庭之间(车辆对家庭)的通信，以及行人与车辆之间(车辆对行人)的通信。
定位部7640可以通过，接收来自GNSS卫星的全球导航卫星系统(GNSS)信号(例如，来自全球定位系统(GPS)卫星的GPS信号)，生成包括车辆的纬度、经度以及高度的位置信息，而执行定位。顺便提及，定位部7640可通过与无线接入点进行信号交换识别当前位置，也可从终端获得位置信息，上述终端诸如是移动电话、个人手提电话系统(PHS)或具有定位功能的智能电话。
信标接收部7650可以接收来自安装在道路等上的无线电站传输的无线电波或电磁波，从而获得关于当前位置、堵塞、道路封闭、所需时间等的信息。顺便提及，信标接收部7650的功能可被包括在上述专用通信I/F7630中。
车内设备I/F 7660是调解微型计算机7610与存在于车辆内的各种车内设备7760之间的连接的通信接口。车内设备I/F 7660可使用诸如无线LAN、蓝牙、近场通信(NFC)或无线通用串行总线(WUSB)等无线通信协议建立无线连接。此外，车内设备I/F 7660可经由在图中未示出的连接端子(以及电缆，如果必要的话)，通过通用串行总线(USB)、高清晰多媒体接口(HDMI)、移动高清链接(MHL)等建立有线连接。车内设备7760可以包括下列项中的至少一个：乘客所拥有的移动设备和可佩戴设备以及载入车辆或附接至车辆的信息设备。车内设备7760还可包括搜索到任意目的地的路径的导航设备。车内设备I/F 7660与这些车内设备7760交换控制信号或数据信号。
车载网络I/F 7680是调解微型计算机7610与通信网络7010之间的通信的接口。车载网络I/F 7680依照由通信网络7010支持的预定协议传输和接收信号等。
集成控制单元7600的微型计算机7610基于经由通用通信I/F 7620、专用通信I/F7630、定位部7640、信标接收部7650、车内设备I/F 7660以及车载网络I/F 7680中的至少一个所获得的信息，根据各种程序控制车辆控制系统7000。例如，微型计算机7610可基于所获得的车辆内部或车辆外部相关信息，计算用于驱动力生成设备、转向机构或制动设备的控制目标值，并且向驱动系统控制单元7100输出控制命令。例如，微型计算机7610可执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协同控制，该功能包括用于车辆的碰撞回避或撞击缓冲、基于车间距离的跟随驾驶、车速保持驾驶、车辆碰撞警报、车辆偏离车道的警报等。此外，微型计算机7610可基于所获得的关于车辆周围环境的信息以控制驱动力生成设备、转向机构、制动设备，从而执行旨在用于不依赖于驾驶员的操作的自动行驶等的协同控制。
微型计算机7610可基于经由通用通信I/F 7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内设备I/F 7660以及车载网络I/F 7680中的至少一个所获得的信息，生成车辆与诸如周围结构、人等对象之间的三维距离信息，并且生成包括车辆当前所处的周围环境的信息的局部地图信息。此外，微型计算机7610可基于所获得的信息预测诸如车辆的碰撞、行人等的接近、进入封闭道路等危险，并且生成警报信号。该警报信号可以是用于产生警告声音或点亮警报灯的信号。
声音/图像输出部7670将声音和图像中的至少一个的输出信号传输至输出设备，该输出设备能够向车辆的乘客或车辆外部以视觉或听觉方式通知信息。在图33的实例中，音频扬声器7710、显示部7720和仪表面板7730作为输出设备示出。显示部7720可包括车载显示器和平视显示器中的至少一个。显示部7720可具有增强现实(AR)显示功能。输出设备可以是这些设备以外的其他设备，诸如耳机、由乘客等佩戴的诸如眼镜式显示器等可佩戴设备、投影仪、灯等。在输出设备是显示设备的情况下，显示设备以视觉方式显示通过微型计算机7610执行的各种处理而获得的结果，或者显示从其他控制单元接收的以各种形式(诸如，文本、图像、表格、曲线图等)的信息。此外，在输出设备是音频输出设备的情况下，音频输出设备将播放的音频数据或声音数据等组成的音频信号转换为模拟信号，以听觉方式输出该模拟信号。
顺便提及，在图33所示出的实例中，经由通信网络7010彼此连接的至少两个控制单元可集成为一个控制单元。可替代地，每个单独的控制单元可包括多个控制单元。此外，车辆控制系统7000可包括图中未示出的其他控制单元。此外，通过上述描述中的控制单元中的一个控制单元执行的功能的部分或全部可被分配至另一控制单元。即，可通过任一个控制单元执行预定的运算处理，只要信息经由通信网络7010传输和接收。类似地，连接至控制单元中的一个控制单元的传感器或设备可被连接至另一控制单元，并且多个控制单元可经由通信网络7010相互传输和接收检测信息。
在上述车辆控制系统7000中，成像部7410、7910、7912、7914、7916和7918中的每一个被配置成使用多个成像部，例如，在图2中描绘的成像部21-BW和21-CR。此外，图33所示的应用示例的集成控制单元7600设置有图像处理部30。如果采用这样的配置，即使在成像部7410、7910、7912、7914、7916和7918中的每一个被小型化/变薄时也可以获取高性能的成像图像。因此，所获取的成像图像可以用于驾驶支持、驾驶控制等。应当注意，图像处理部30可以在用于图33所示的集成控制单元7600的模块(例如，由一个管芯配置的集成电路模块)中实现。
本说明书中描述的一系列处理可以由硬件或软件或它们两者的组合配置来执行。在执行由软件进行的处理的情况下，将记录有处理顺序的程序安装在并入专用硬件的计算机内的存储器中并且被执行。替选地，程序可以安装在可以执行各种处理的通用计算机中并且可以被执行。
例如，程序可以预先记录在作为记录介质的硬盘、固态硬盘(SSD)或只读存储器(ROM)中。替选地，程序可以临时或永久地存储(记录)在诸如软盘、致密盘只读存储器(CD-ROM)、磁光盘(MO)盘、数字多功能盘(DVD)、蓝光光盘(注册商标)(BD)、磁盘或半导体存储卡的可移动记录介质中。这样的可移动记录介质可以作为所谓的封装软件提供。
此外，除了从可移动记录介质到计算机的安装以外，还可以通过诸如局域网(LAN)或因特网的网络以无线或有线的方式将程序从下载站点传送至计算机。计算机可以以这种方式接收传送到其上的程序，并且可以将程序安装在诸如内置硬盘的记录介质中。
应当注意，本说明书中描述的效果仅是范例，并且决不限于此，并且可以提供本文中未描述的附加效果。此外，不应将本技术解释为限于上述技术的实施方式。上述技术的实施方式以范例的形式公开了本技术，并且明显的是，本领域技术人员可以在不脱离本技术的主题的情况下对实施方式进行修改或替换。即，为了判定本技术的主题，应当考虑权利要求。
此外，本技术的图像处理装置还可以采用以下配置。
(1)一种图像处理装置，包括：
融合处理部，其产生融合图像，所述融合图像是通过融合通过对被摄体进行成像而获得的单色成像图像与通过从不同的视点位置对所述被摄体进行成像而获得的彩色成像图像来获得的；以及
融合判定处理部，其判定在所述融合处理部中产生的融合图像是否满足预定条件，
其中，所述融合判定处理部在判定满足所述预定条件的情况下确定输出所述融合图像，而在判定未满足所述预定条件的情况下确定输出除所述融合图像以外的图像。
(2)根据(1)所述的图像处理装置，其中，所述融合判定处理部基于与所述单色成像图像和所述彩色成像图像有关的特征量来判定所述融合图像是否满足所述预定条件。
(3)根据(2)所述的图像处理装置，其中，所述融合判定处理部在基于与所述单色成像图像和所述彩色成像图像有关的特征量判定在所述融合图像中未引起劣化的情况下确定输出所述融合图像，而在判定在所述融合图像中引起了劣化的情况下输出除所述融合图像以外的图像。
(4)根据(3)所述的图像处理装置，其中，所述融合判定处理部将所述特征量与预先设置的判定阈值进行比较，并且基于比较结果来判定是否引起了图像质量的劣化。
(5)根据(4)所述的图像处理装置，其中，所述融合判定处理部基于所述单色成像图像与所述彩色成像图像之间的视差来计算所述特征量。
(6)根据(5)所述的图像处理装置，其中，所述融合判定处理部将指示每个像素的所述视差的离差的统计量设置为所述特征量，并且在所述视差的离差大于所述判定阈值的情况下判定引起了图像质量的劣化。
(7)根据(5)或(6)所述的图像处理装置，其中，所述融合判定处理部将在每个像素的所述视差之中超过预定范围的视差量的像素比率设置为所述特征量，并且在超过所述预定范围的视差量的像素比率大于所述判定阈值的比率的情况下，判定引起了图像质量的劣化。
(8)根据(5)至(7)中任一项所述的图像处理装置，其中，所述融合判定处理部针对每个像素计算在视差方向上与该像素间隔预定距离的像素与在反方向上与该像素间隔所述预定距离的像素之间的视差差异的绝对值，将所述视差差异的绝对值超过预定量的像素比率设置为所述特征量，并且在超过所述预定量的像素比率大于所述判定阈值的比率情况下，判定引起了图像质量的劣化。
(9)根据(3)至(8)中任一项所述的图像处理装置，其中，所述融合判定处理部基于所述单色成像图像和所述彩色成像图像的像素的饱和度来计算所述特征量。
(10)根据(9)所述的图像处理装置，其中，所述融合判定处理部基于下述差来计算特征量：所述差是等于或大于根据与所述彩色成像图像相关联的图像数据产生的亮度分量图像数据中的饱和度判定设置值的像素数量与等于或大于与所述单色成像图像相关联的图像数据中的饱和度判定设置值的像素数量之间的差，并且所述融合判定处理部在所述特征量大于所述判定阈值的情况下，判定引起了图像质量的劣化。
(11)根据(3)至(10)中任一项所述的图像处理装置，其中，所述融合判定处理部根据与所述彩色成像图像相关联的图像数据产生亮度分量图像数据和颜色分量图像数据，将所述亮度分量图像数据的离差与所述颜色分量图像数据的离差之间的差设置为所述特征量，并且在所述离差之间的差大于所述判定阈值的离差之间的差的情况下，判定引起了图像质量的劣化。
(12)根据(3)至(10)中任一项所述的图像处理装置，其中，所述融合判定处理部使用与获取所述单色成像图像的成像部以及获取所述彩色成像图像的成像部有关的摄像装置信息作为所述特征量。
(13)根据(12)所述的图像处理装置，其中，所述融合判定处理部使用与所述单色成像图像和所述彩色成像图像相关联的成像设置信息作为所述摄像装置信息。
(14)根据(13)所述的图像处理装置，其中，所述融合判定处理部根据与所述单色成像图像和所述彩色成像图像相关联的所述成像设置信息来改变所述判定阈值。
(15)根据(13)或(14)所述的图像处理装置，其中，所述融合判定处理部通过使用ISO感光度作为所述成像设置信息来设置所述判定阈值，使得容易判定随着所述ISO感光度的降低引起了图像质量的劣化。
(16)根据(13)至(15)中任一项所述的图像处理装置，其中，所述融合判定处理部通过使用焦距作为所述成像设置信息来设置所述判定阈值，使得容易判定随着所述焦距的变短引起了图像质量的劣化。
(17)根据(2)至(16)中任一项所述的图像处理装置，其中，所述融合判定处理部执行与以下有关的融合判定：在产生通过以所述单色成像图像为基准将所述单色成像图像和所述彩色成像图像融合而获得的融合图像或通过以所述彩色成像图像为基准将所述单色成像图像和所述彩色成像图像融合而获得的融合图像时，是否引起了图像质量的劣化。
(18)根据(2)至(16)中任一项所述的图像处理装置，其中，所述融合判定处理部判定在以所述单色成像图像为基准产生的融合图像以及以所述彩色成像图像为基准产生的融合图像中是否引起了图像质量的劣化，在辨别出在以所述单色成像图像为基准产生的融合图像中未引起图像质量的劣化的情况下执行用于选择以所述单色成像图像为基准产生的融合图像的处理，在辨别出在以所述单色成像图像为基准产生的融合图像以及以所述彩色成像图像为基准产生的融合图像中均引起了图像质量的劣化的情况下执行用于选择所述彩色成像图像的处理，并且在其他情况下执行用于选择以所述彩色成像图像为基准产生的融合图像的处理。
工业适用性
在本技术的图像处理装置和图像处理方法中，融合处理部产生融合图像，该融合图像是通过融合通过对被摄体进行成像而获得的单色成像图像与通过从不同的视点位置对被摄体进行成像而获得的彩色成像图像来获得的。融合判定处理部判定所产生的融合图像是否满足预定条件。在判定满足预定条件的情况下，融合判定处理部确定输出融合图像。在判定不满足预定条件的情况下，融合判定处理部确定输出除融合图像以外的图像。因此，通过使用在多个成像部中获取的成像图像，可以获得高灵敏度成像的图像而不降低图像质量。因此，本技术适用于使用成像部的、需要对成像部进行小型化和薄化的装置。
附图标记列表
10...信息处理终端；21-BW、21-CR...成像部；30、30-1至30-5...图像处理部；31-BW、31-CR...预处理部；32...视差检测部；33-cb、33-bc...视差补偿部；34...去马赛克处理部；35-fb、35-fc...融合处理部；36-1至36-4、36-e...融合判定处理部；37、37-e...图像特征量计算部；38-1至38-3、38-e...图像数据选择判定部；39..图像选择部；40...图像合成部；51...传感器部；52...通信部；53...显示部；54...触摸面板；55...操作部；56...存储部；371...视差直方图产生部；372...视差分布特征量计算部；373...搜索范围超过特征量计算部；374...视差间隙直方图产生部；375…视差间隙特征量计算部；376...饱和度判定直方图产生部；377...饱和度特征量计算部；378...特征量计算部；379...端部区域特征量计算部；380...判定阈值设置部；381至387...个体判定部；381d至385d、386d...变化量判定部；388、389...综合判定处理部

Claims (17)

1.一种图像处理装置，包括：
融合处理部，其产生融合图像，所述融合图像是通过融合通过对被摄体进行成像而获得的单色成像图像与通过从不同的视点位置对所述被摄体进行成像而获得的彩色成像图像来获得的；以及
融合判定处理部，其判定在所述融合处理部中产生的融合图像是否满足预定条件，
其中，所述融合判定处理部在判定满足所述预定条件的情况下确定输出所述融合图像，而在判定未满足所述预定条件的情况下确定输出除所述融合图像以外的图像，
其中，所述融合判定处理部基于与所述单色成像图像和所述彩色成像图像有关的特征量来判定所述融合图像是否满足所述预定条件，以及
其中，所述融合判定处理部在基于与所述单色成像图像和所述彩色成像图像有关的特征量判定在所述融合图像中未引起劣化的情况下确定输出所述融合图像，而在判定在所述融合图像中引起了劣化的情况下确定输出除所述融合图像以外的图像。
2.根据权利要求1所述的图像处理装置，其中，所述融合判定处理部将所述特征量与预先设置的判定阈值进行比较，并且基于比较结果来判定是否引起了图像质量的劣化。
3.根据权利要求2所述的图像处理装置，其中，所述融合判定处理部基于所述单色成像图像与所述彩色成像图像之间的视差来计算所述特征量。
4.根据权利要求3所述的图像处理装置，其中，所述融合判定处理部将指示每个像素的所述视差的离差的统计量设置为所述特征量，并且在所述视差的离差大于所述判定阈值的情况下判定引起了图像质量的劣化。
5.根据权利要求3所述的图像处理装置，其中，所述融合判定处理部将在每个像素的所述视差之中超过预定范围的视差量的像素比率设置为所述特征量，并且在超过所述预定范围的视差量的像素比率大于所述判定阈值的比率的情况下，判定引起了图像质量的劣化。
6.根据权利要求3所述的图像处理装置，其中，所述融合判定处理部针对每个像素计算在视差方向上与该像素间隔预定距离的像素与在反方向上与该像素间隔所述预定距离的像素之间的视差差异的绝对值，将所述视差差异的绝对值超过预定量的像素比率设置为所述特征量，并且在超过所述预定量的像素比率大于所述判定阈值的比率的情况下，判定引起了图像质量的劣化。
7.根据权利要求1所述的图像处理装置，其中，所述融合判定处理部基于所述单色成像图像和所述彩色成像图像的像素的饱和度来计算所述特征量。
8.根据权利要求7所述的图像处理装置，其中，所述融合判定处理部基于下述差来计算特征量：所述差是等于或大于根据与所述彩色成像图像相关联的图像数据产生的亮度分量图像数据中的饱和度判定设置值的像素数量与等于或大于与所述单色成像图像相关联的图像数据中的饱和度判定设置值的像素数量之间的差，并且所述融合判定处理部在所述特征量大于预先设置的判定阈值的情况下，判定引起了图像质量的劣化。
9.根据权利要求1所述的图像处理装置，其中，所述融合判定处理部根据与所述彩色成像图像相关联的图像数据产生亮度分量图像数据和颜色分量图像数据，将所述亮度分量图像数据的离差与所述颜色分量图像数据的离差之间的差设置为所述特征量，并且在所述离差之间的差大于预先设置的判定阈值的离差之间的差的情况下，判定引起了图像质量的劣化。
10.根据权利要求1所述的图像处理装置，其中，所述融合判定处理部使用与获取所述单色成像图像的成像部以及获取所述彩色成像图像的成像部有关的摄像装置信息作为所述特征量。
11.根据权利要求10所述的图像处理装置，其中，所述融合判定处理部使用与所述单色成像图像和所述彩色成像图像相关联的成像设置信息作为所述摄像装置信息。
12.根据权利要求11所述的图像处理装置，其中，所述融合判定处理部根据与所述单色成像图像和所述彩色成像图像相关联的所述成像设置信息来改变在判定是否引起了图像质量的劣化的过程中使用的判定阈值。
13.根据权利要求12所述的图像处理装置，其中，所述融合判定处理部通过使用ISO感光度作为所述成像设置信息来设置所述判定阈值，使得容易判定随着所述ISO感光度的降低引起了图像质量的劣化。
14.根据权利要求11所述的图像处理装置，其中，所述融合判定处理部通过使用焦距作为所述成像设置信息来设置在判定是否引起了图像质量的劣化的过程中使用的判定阈值，使得容易判定随着所述焦距的变短引起了图像质量的劣化。
15.根据权利要求1所述的图像处理装置，其中，所述融合判定处理部执行与以下有关的融合判定：在产生通过以所述单色成像图像为基准将所述单色成像图像和所述彩色成像图像融合而获得的融合图像或者通过以所述彩色成像图像为基准将所述单色成像图像和所述彩色成像图像融合而获得的融合图像时，是否引起了图像质量的劣化。
16.根据权利要求1所述的图像处理装置，其中，所述融合判定处理部判定在以所述单色成像图像为基准产生的融合图像以及以所述彩色成像图像为基准产生的融合图像中是否引起了图像质量的劣化，在辨别出在以所述单色成像图像为基准产生的融合图像中未引起图像质量的劣化的情况下执行用于选择以所述单色成像图像为基准产生的融合图像的处理，在辨别出在以所述单色成像图像为基准产生的融合图像以及以所述彩色成像图像为基准产生的融合图像中均引起了图像质量的劣化的情况下执行用于选择所述彩色成像图像的处理，并且在其他情况下执行用于选择以所述彩色成像图像为基准产生的融合图像的处理。
17.一种图像处理方法，包括：
产生融合图像，所述融合图像是通过融合通过对被摄体进行成像而获得的单色成像图像与通过从不同的视点位置对所述被摄体进行成像而获得的彩色成像图像来获得的；以及
执行关于所产生的融合图像是否满足预定条件的判定，在判定满足所述预定条件的情况下确定输出所述融合图像，而在判定不满足所述预定条件的情况下确定输出除所述融合图像以外的图像，
其中，基于与所述单色成像图像和所述彩色成像图像有关的特征量来判定所述融合图像是否满足所述预定条件，以及
其中，在基于与所述单色成像图像和所述彩色成像图像有关的特征量判定在所述融合图像中未引起劣化的情况下确定输出所述融合图像，而在判定在所述融合图像中引起了劣化的情况下确定输出除所述融合图像以外的图像。
CN201780044061.XA 2016-07-22 2017-04-27 图像处理装置和图像处理方法 Active CN109479093B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-144171 2016-07-22
JP2016144171 2016-07-22
PCT/JP2017/016734 WO2018016150A1 (ja) 2016-07-22 2017-04-27 画像処理装置と画像処理方法

Publications (2)

Publication Number Publication Date
CN109479093A CN109479093A (zh) 2019-03-15
CN109479093B true CN109479093B (zh) 2021-01-19

Family

ID=60991997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780044061.XA Active CN109479093B (zh) 2016-07-22 2017-04-27 图像处理装置和图像处理方法

Country Status (5)

Country Link
US (1) US10789512B2 (zh)
EP (1) EP3490241B1 (zh)
JP (1) JP6816768B2 (zh)
CN (1) CN109479093B (zh)
WO (1) WO2018016150A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019129446A (ja) * 2018-01-25 2019-08-01 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN113382153B (zh) * 2020-02-25 2022-11-22 北京小米移动软件有限公司 显示图像的方法和装置、电子设备、存储介质
CN111921199B (zh) * 2020-08-25 2023-09-26 腾讯科技（深圳）有限公司 虚拟对象的状态检测方法、装置、终端及存储介质
CN112241940B (zh) * 2020-09-28 2023-12-19 北京科技大学 一种多张多聚焦图像融合方法及装置
CN113077533B (zh) * 2021-03-19 2023-05-12 浙江大华技术股份有限公司 一种图像融合方法、装置以及计算机存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101960859A (zh) * 2008-07-08 2011-01-26 松下电器产业株式会社 图像处理方法、图像处理装置、图像处理程序、图像合成方法和图像合成装置
CN103873836A (zh) * 2012-12-17 2014-06-18 佳能株式会社 图像处理设备和图像处理方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2518995B1 (en) * 2009-12-24 2018-08-22 Sharp Kabushiki Kaisha Multocular image pickup apparatus and multocular image pickup method
JP2011239259A (ja) * 2010-05-12 2011-11-24 Sony Corp 画像処理装置、画像処理方法及びプログラム
US8964025B2 (en) * 2011-04-12 2015-02-24 International Business Machines Corporation Visual obstruction removal with image capture
JP5701785B2 (ja) * 2012-02-03 2015-04-15 株式会社東芝 カメラモジュール
JP2013183353A (ja) * 2012-03-02 2013-09-12 Toshiba Corp 画像処理装置
JP2013219525A (ja) 2012-04-06 2013-10-24 Nec Saitama Ltd 撮像装置、その制御方法及びプログラム
JP6201641B2 (ja) 2013-10-29 2017-09-27 ソニー株式会社 情報処理装置、撮像装置、撮像システム、情報処理装置の制御方法、撮像装置の制御方法およびプログラム
JP2015197745A (ja) * 2014-03-31 2015-11-09 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
US9948869B2 (en) * 2016-07-04 2018-04-17 Yuan-Ting Fang Image fusion method for multiple lenses and device thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101960859A (zh) * 2008-07-08 2011-01-26 松下电器产业株式会社 图像处理方法、图像处理装置、图像处理程序、图像合成方法和图像合成装置
CN103873836A (zh) * 2012-12-17 2014-06-18 佳能株式会社 图像处理设备和图像处理方法

Also Published As

Publication number Publication date
JP6816768B2 (ja) 2021-01-20
EP3490241B1 (en) 2021-07-07
US10789512B2 (en) 2020-09-29
CN109479093A (zh) 2019-03-15
WO2018016150A1 (ja) 2018-01-25
EP3490241A1 (en) 2019-05-29
US20190213450A1 (en) 2019-07-11
JPWO2018016150A1 (ja) 2019-05-16
EP3490241A4 (en) 2019-07-03

Similar Documents

Publication Publication Date Title
CN109937568B (zh) 图像处理装置和图像处理方法
CN110463194B (zh) 图像处理装置和图像处理方法以及图像捕获装置
CN109479093B (zh) 图像处理装置和图像处理方法
CN109479092B (zh) 图像处理设备和图像处理方法
US10885389B2 (en) Image processing device, image processing method, learning device, and learning method
US10704957B2 (en) Imaging device and imaging method
JPWO2018163725A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
EP3474534B1 (en) Image processing apparatus, imaging apparatus, and image processing system
JP7235906B2 (ja) 固体撮像装置
CN110012215B (zh) 图像处理装置和图像处理方法
CN109644241B (zh) 图像处理设备和图像处理方法
KR20200119790A (ko) 인식 장치와 인식 방법 그리고 프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant