CN110326288A

CN110326288A - 图像处理设备以及成像设备

Info

Publication number: CN110326288A
Application number: CN201780087389.XA
Authority: CN
Inventors: 横川昌俊; 永野隆浩; 内田真史
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2017-03-02
Filing date: 2017-12-20
Publication date: 2019-10-11
Anticipated expiration: 2037-12-20
Also published as: JPWO2018159076A1; WO2018159076A1; US10827155B2; DE112017007165T5; CN110326288B; JP7136077B2; US20200029060A1

Abstract

[技术问题]为了在通过捕获相同对象的单色图像和彩色图像来获得具有不同灵敏度的图像时降低彩色图像的灰度劣化。[解决方案]提供了一种图像处理设备，其设置有灰度控制单元，该灰度控制单元获取表示单色图像的亮度信号和表示通过对与单色图像相同的对象进行成像而获得的彩色图像的色度信号，并且基于亮度信号来控制色度信号的灰度。由于这种配置，本发明在通过捕获相同对象的单色图像和彩色图像来获得具有不同灵敏度的图像时能够使彩色图像的灰度劣化最小化。

Description

图像处理设备以及成像设备

技术领域

本公开内容涉及图像处理设备和成像设备。

背景技术

作为根据多个数字图像产生HDR图像的技术，提出了一种技术，根据所述技术，通过改变相机的灵敏度(曝光)来对同一对象进行成像，并且所获得的多个图像彼此合成以产生HDR图像。例如，下面的PTL 1公开了一种技术，根据所述技术，通过多眼相机对对象进行成像，该多眼相机包括对应于多个光学块的多个成像系统，并且使得针对每个成像系统的亮度灵敏度不同，并且所获得的多个图像彼此合成以产生HDR图像。

[引文列表]

[专利文献]

[PTL1]

日本专利特许公开第2002-171430

发明内容

[技术问题]

然而，利用上述专利文献1中描述的技术，对于低灵敏度相机，灰度可能劣化。特别是当捕获彩色图像的相机的灵敏度低时，产生以下问题，由于灰度的劣化而导致HDR图像的图像质量劣化。

因此，需要在通过以黑白和彩色对同一对象进行成像来获得具有不同灵敏度的图像的情况下减轻彩色图像的灰度的劣化。

[技术问题的解决方案]

根据本公开内容，提供了一种图像处理设备，该图像处理设备包括灰度控制部，该灰度控制部获得黑白图像的亮度信号以及通过对与黑白图像相同的对象进行成像而获得的彩色图像的色度信号，并且基于亮度信号来控制色度信号的灰度。

此外，根据本公开内容，提供了一种成像设备，该成像设备包括：第一成像元件，其对对象进行成像以获得黑白图像；第二成像元件，其对对象进行成像以获得彩色图像；以及图像处理设备，其获得黑白图像的亮度信号和彩色图像的色度信号并且基于亮度信号来控制色度信号的灰度。

[本发明的有益效果]

如上所述，根据本公开内容，在通过将同一对象成像为黑白图像和彩色图像来获得具有不同灵敏度的图像的情况下，能够减轻彩色图像的灰度的劣化。

另外，上述效果不一定是限制性的，并且本说明书中描述的任何效果或从本说明书理解的其他效果可以与上述效果一起实现，或代替上述效果来实现。

附图说明

[图1]图1是描述本实施方式的原理的示意图。

[图2]图2是描绘根据本实施方式的第一示例性配置的图像处理设备及其外围的配置的示意图。

[图3]图3是描绘根据本实施方式的第二示例性配置的图像处理设备及其外围的配置的示意图。

[图4]图4是描绘HDR合成部的配置的示意图。

[图5]图5是描绘由归一化部执行的处理的示意图。

[图6]图6是描绘灰度控制部的示例性配置的示意图。

[图7]图7是描绘引导信号的功能的示意图。

[图8]图8是灰度控制部的另一示例性配置的示意图。

[图9]图9是描绘定义灰度劣化与值α之间的关系的映射的特性图。

[图10]图10是描绘图9中的灰度恢复部的配置的示意图。

[图11]图11是描绘基于映射值α切换低通滤波器的滤波器因数的示例的示意图。

[图12]图12是描绘当滤波器因数切换部切换低通滤波器的滤波器因数时使用的表的示意图。

[图13]图13是描绘灰度控制部的另一示例性配置的示意图。

[图14]图14是描绘分类部的配置的示意图。

[图15]图15是描绘定义与映射值α对应的每个分类号的表的示意图。

[图16]图16是描绘滤波处理的示意图。

[图17]图17是描绘根据图2中描绘的第一示例性配置的处理的流程图。

[图18]图18是描绘根据图3中描绘的第二示例性配置的处理的流程图。

[图19]图19是描绘由图6中描绘的灰度控制部执行的处理的流程图。

[图20]图20是描绘由图8中的灰度控制部执行的处理的流程图。

[图21]图21是描绘由图8中的灰度恢复部执行的处理的流程图。

[图22]图22是描绘在使用图13所描绘的用于学习的框架来执行灰度恢复的情况下执行的处理的流程图。

[图23A]图23A是用于说明图17中的步骤S18处的处理的示意图。

[图23B]图23B是描绘在图23A中执行双线性插值的情况的示意图。

[图24]图24是描绘通过利用多个相机以对应于长累积图像和短累积图像之间的曝光差异的曝光差异进行成像来增加用于曝光的图案的示例的示意图。

[图25]图25是描绘通过对应于长累积图像的黑白图像的成像元件的成像的曝光时间段被设定为比图1中的曝光时间段长的示例的示意图。

[图26]图26是描绘使用分束器的示例的示意图。

[图27]图27是描绘不使用IR(红外辐射)截止滤波器来促进进一步增强黑白图像的灵敏度的示例的示意图。

具体实施方式

下面将参照附图详细描述本公开内容的优选实施方式。另外，在本说明书和附图中，具有基本相同的功能和配置的组成元件被赋予相同的附图标记，并且因此将不再进行描述。

将按以下顺序进行描述。

1.本实施方式的原理

2.根据第一示例性配置的图像处理设备

3.根据第二示例性配置的图像处理设备

4.HDR合成部的示例性配置

5.灰度控制部的示例性配置

6.关于在本实施方式中执行的处理

7.本实施方式实现的效果

8.关于本实施方式的变型

1.本实施方式的原理

本实施方式涉及使用彩色图像传感器(Bayer IS)和黑白图像传感器(B/W IS)执行高动态范围(HDR)合成的处理。旨在减轻运动对象部分的任何模糊的HDR合成是使用高灵敏度性能来执行的，这是黑白图像传感器的一个特征。

图1是描述本实施方式的原理的示意图。图1描绘了使用黑白图像成像元件1100和彩色图像成像元件1200针对同一曝光时间段在一天的同一时间处执行成像的情况。在这种情况下，黑白图像成像元件1100的灵敏度高于彩色图像成像元件1200的灵敏度，因此，黑白图像成像元件1100的每个像素对应于长时间曝光像素(长累积图像(2))，并且彩色图像成像元件1200的每个像素对应于短时间曝光像素(短累积图像(1))。例如，当黑白图像成像元件1100的灵敏度是彩色图像成像元件1200的灵敏度的四倍时，可以针对四倍值的曝光差异来执行针对HDR的不同曝光成像。由此，在相同时区中捕获的长累积图像和短累积图像可以被相互合成，并且特别是当对运动的对象(运动对象)进行成像时，可以抑制任何模糊的产生。

另一方面，在长时间曝光和短时间曝光是在一天中彼此不同的时间依次执行并且使用一个彩色图像成像元件1200进行彼此不同的曝光时间的情况下，每次在一天中彼此不同的时间处对短累积图像和长累积图像进行成像，并且特别是当对运动对象进行成像时产生模糊。

根据图1中描绘的本实施方式的方法，因此即使对于运动对象也能够在不产生任何模糊的情况下进行HDR合成。为了分配对应于长累积图像和短累积图像的相机(成像元件)，将高灵敏度相机分配给长累积图像。因此，黑白图像成像元件1100对与长累积图像对应的图像进行成像，而彩色图像成像元件1200对与短累积图像对应的图像进行成像。此外，因为使用黑白图像成像元件1100和彩色图像成像元件1200两者，所以为了合成，检测这些图像之间的视差差异，并且执行彼此对准。下面将描述本实施方式的具体配置。

2.根据第一示例性配置的图像处理设备

图2是描绘根据本实施方式的第一示例性配置的图像处理设备1000及其外围的配置的示意图。图2中描绘的配置仅使用亮度来执行HDR合成，并且通常认为其计算效率高。图像处理设备1000包括转换部100、视差差异校正部110、HDR合成部120和灰度控制部130。

在图2中，黑白图像成像元件1100和彩色图像成像元件1200使用图1所示的方法执行成像。通过由黑白图像成像元件1100对对象进行成像而获得的黑白图像的信号(亮度信号)被发送到视差差异校正部110。此外，通过由彩色图像成像元件1200对对象进行成像而获得的彩色图像的RGB信号被发送到转换部100。转换部100将彩色图像的RGB信号转换为YUV信号。YUV信号被发送到视差差异校正部110。

视差差异校正部110检测黑白图像的亮度信号与从彩色图像获得的YUV信号的视差差异，并校正黑白图像的亮度信号与彩色图像的亮度信号之间的任何位置间隙。其间存在的位置间隙被校正的黑白图像的亮度信号和彩色图像的亮度信号的亮度信号被发送到HDR合成部120。此外，其位置间隙被校正的彩色图像的色度信号(UV信号)被发送到灰度控制部130。

HDR合成部120处理输入到作为长累积图像的黑白图像中的亮度信号，处理输入到作为短累积图像的彩色图像中的亮度信号，并且对这两者相互进行HDR合成。由此输出其动态范围被扩展的亮度信号。以这种方式，利用图2中描绘的配置，针对亮度执行HDR合成，因此可以提高计算效率。

其动态范围被扩展的亮度信号被输入到灰度控制部130。灰度控制部130使用该亮度信号作为引导信息来调整色度信号的灰度。在彩色图像成像元件1200的曝光时间段较短的情况下，彩色图像可能具有其中产生的破碎的阴影等，而通过使用其动态范围被扩展的亮度信号作为引导信息来调整色度的灰度可以解决所述破碎的阴影等。当如上所述从灰度控制部130输出其灰度被调整的色度信号时，其动态范围被扩展的YUV信号可以与从HDR合成部120输出的亮度信号一起获得。

3.根据第二示例性配置的图像处理设备

图3是描绘根据本实施方式的第二示例性配置的图像处理设备1000及其外围的配置的示意图。图3中描绘的配置使用亮度信号和色度信号两者来执行HDR合成。在这方面，仅使用从彩色图像成像元件1200侧获得的信号来产生色度信号，并且因此执行HDR合成没有任何意义。图3中描绘的配置具有还可以使用现有HDR合成处理块的优点。

在图3中，转换部100和视差差异校正部110的处理类似于图2中的处理。其位置间隙由视差差异校正部110来校正的黑白图像的亮度信号被发送到灰度控制部130。此外，通过由转换部100的转换而获得的色度信号被发送到灰度控制部130。灰度控制部130使用黑白图像的亮度信号作为引导信号来调整色度信号的灰度。由此，色度信号与黑白图像的亮度信号一起成为彩色长累积图像，并被输入到HDR合成部120。

另一方面，从转换部100输出的YUV信号被输入到HDR合成部120作为彩色短累积图像。HDR合成部120使用普通方法并使用输入到其中的彩色长累积图像和彩色短累积图像来执行HDR合成。

另外，根据本实施方式的成像设备包括根据第一示例性配置或第二示例性配置的图像处理设备1000和成像元件1100和1200。

4.HDR合成部的示例性配置

图4是描绘HDR合成部分120的配置的示意图。HDR合成部120使用普通方法来执行HDR合成。在图4中，Z1、Z2至Zn每个表示像素值，n表示相机的数量。对于每个像素值，通过相机响应功能122执行将非线性图像信号返回到线性图像信号的处理。此外，当输入是线性信号时，由相机响应功能122执行的处理是不必要的。

归一化部124执行对亮度水平进行归一化的处理。图5是描绘由归一化部124执行的处理的示意图。在图5中，假设执行三种类型的曝光，即，标准曝光、+1EV的曝光以及-1EV的曝光。图5中的纵坐标轴表示亮度水平，并且假设传感器的动态范围是48dB，则在标准曝光下利用0到48dB(对应于10比特，1,024倍的亮度)的范围内的亮度来执行成像。在+1EV的长累积图像中，因为曝光时间段长，所以即使较暗点也可以被成像。此外，在-1EV的短累积图像中，曝光时间段短，即使较亮点也可以被成像。

对于亮度水平的归一化，执行处理以使亮度与可选标准(在这种情况下，对应于标准曝光)匹配。通过执行归一化，标准曝光、+1EV的曝光和-1EV的曝光的亮度水平被对齐，对于+1EV的曝光，动态范围被扩展到下侧，对于-1EV的曝光，动态范围被扩展到上侧。由此，可以通过合成标准曝光、+1EV的曝光和-1EV的曝光的图像来扩展动态范围。

返回图4，合成部126根据下面的公式(1)执行将归一化的亮度水平E1、E2到En相加的处理。另外，在公式(1)中，n是相机的数量(捕获图像的数量)。

[数学公式1]

5.灰度控制部的示例性配置

图6是描绘灰度控制部130的示例性配置的示意图。灰度控制部130通过使用黑白图像的亮度信号作为引导将灰度恢复滤波器132应用于色度信号来恢复色度信号的灰度。如下所述的联合双边型滤波器可用作灰度恢复滤波器132。

[数学公式2]

w＝w_spacew_color

在上述公式中，f表示色度信号的输入图像，f'表示引导图像(黑白图像的亮度值)，g表示滤波器处理之后的输出图像，i和j表示中央像素位置，m和n表示滤波器抽头，w表示滤波器因数，σ表示强度参数。此外，w_space(x，y)表示空间域的权重的滤波器因数，并且随着像素离滤波器的中心越远，滤波器因数变得越小。此外，w_color(x，y)表示颜色范围的权重的滤波器因数，并且随着颜色(亮度)与滤波器中心的颜色(亮度)的差异越大，滤波器因数变得越小。此外，x，y表示以滤波器的中心为原点的抽头中的像素的位置。

图7是描绘引导信号的功能的示意图。如图7所示，在黑白图像(B/W)的亮度信号是阶跃边缘并且色度信号是阶跃边缘的情况下，不应用滤波器。另一方面，在黑白图像(B/W)的亮度信号是灰度并且色度信号是阶跃边缘的情况下，应用滤波器，并且色度信号变成灰度。可以使用黑白图像的亮度信号作为引导来调整色度信号的灰度。

图8是灰度控制部130的另一示例性配置的示意图。如图8所示，灰度控制部130包括微分部134a、微分部134b、差异计算部136、映射产生部138以及灰度恢复部139。在该配置中，微分部134a和微分部134b分别计算黑白图像的亮度信号和彩色图像的色度信号的微分值(微分图像)并且差异计算部136确定这些微分值之间的差值diff。之后，映射产生部138使用该差值产生图9中描绘的映射。该映射中指示：随着纵坐标轴上的α值变得较接近1，差值变得较大，并且发生灰度的劣化。因此，灰度恢复部139基于该映射来恢复色度信号。作为示例，映射可以由图9中描绘的公式表示。

图10是描绘图8中的灰度恢复部139的配置的示意图。灰度恢复部139包括低通滤波器139a和混合部139b。准备色度图像(Img1)，对该色度图像应用低通滤波器139a以消除灰度的劣化，并且混合部139b使用图9中的映射值α基于下面的公式(2)将未应用低通滤波器139a的色度图像(Img2)与应用了低通滤波器139a的色度图像(Img1)相互混合。

[数学公式3]

out＝α×Img₁+(1-α)×Img₂

…(2)

随着α的值越接近零，灰度劣化的可能性越低，因此未应用低通滤波器139a的色度图像(Img2)被更多地使用。另一方面，随着α的值越接近1，灰度劣化的可能性越高，并且应用低通滤波器139a的色度图像(Img1)被更多地使用。随着灰度劣化的可能性变得越高，色度图像可以越钝化，并且可以增强色度图像的灰度。

此外，图11是描绘图8中的灰度恢复部139的另一配置的示意图，并且是描绘基于映射值α来切换低通滤波器的滤波器因数的示例的示意图。如图11所示，滤波器因数切换部139c切换低通滤波器139d的滤波器因数。图12是描绘当滤波器因数切换部139c切换低通滤波器139d的滤波器因数时使用的表格的示意图。使用强滤波器因数使色度信号钝化，这是因为：如图12所示，随着映射值α越大，即，黑白图像的亮度值与色度信号的亮度值之间的差异变得越大，低通滤波器139a的强度增加。滤波器因数w(i，j)根据下面的公式(3)确定。在公式(3)中，x和y表示要计算的滤波器抽头的位置，并且σ表示强度参数。如图12所示，随着α的值变得越大，强度参数σ的值变得越大(σ1<σ2<σ3<σ4)。因此，随着灰度劣化的可能性越高，可以使用越强的滤波器因数来钝化色度图像，并且可以增强色度图像的灰度。

[数学公式4]

图13是描绘灰度控制部130的另一示例性配置的示意图。在图13所描绘的配置中，使用学习的框架来执行灰度恢复。与图6和图8中描绘的模型库的配置相比，使用学习框架有助于优化控制和设计估计因数。

更具体地，在图6和图8中描绘的模型库的配置中预先确定映射值α和σ之间的关系，而在使用学习框架的情况下，这些关系属性可以根据学习来灵活确定。

如图13所示，灰度控制部130的在线处理的配置包括分类部300、学习数据库302和估计部304。分类部300对输入信号的波形图案(灰度的劣化程度)进行分类，并确定要在估计部304中使用的滤波器因数数目。估计部304根据因数数目从学习数据库302获得滤波器因数，并执行滤波处理。

另一方面，灰度控制部130的离线处理的配置包括第一相机模拟部310、第二相机模拟部312和学习部314。第一相机模拟部310是模拟与长累积图像对应的第一相机的部件，并且作为示例执行与黑白图像的成像元件1100对应的模拟。此外，第二相机模拟部312是模拟与短累积图像对应的第二相机的部件，并且作为示例执行与彩色图像的成像元件1200对应的模拟。应用HDR合成的理想图像被输入到第一相机模拟部310和第二相机模拟部312。第一相机模拟部310和第二相机模拟部312各自对理想图像进行成像，并且各自将结果发送到学习部314。第一相机模拟部310的图像数据对应于引导信息，并且第二照相机模拟部312的图像数据对应于其灰度劣化的劣化图像。此外，理想图像也被发送到学习部314。学习部314将理想图像与由第一相机模拟部310和第二相机模拟部312成像的图像进行比较，并执行学习。在学习中，基于第一相机模拟部310的引导信息和第二相机模拟部312的劣化图像来计算用于获得理想图像的滤波器因数。将学习的结果发送到学习数据库302。在学习数据库302中存储劣化图像的程度(图15中描绘的分类号)以及将这些相互链接的滤波器因数。

图14是描绘分类部300的配置的示意图。分类部300与图8所描绘的灰度控制部130类似地进行配置，并且包括微分部134a、微分部134b、差异计算部136以及映射产生部138。分类部300使用与图8中类似的方法来确定映射值α，并且从图15所描绘的表中获得对应于该映射值α的分类号。另外，图15中描绘的表是示例，并且映射值α和分类号之间的关系也可以被定义成更多级别。估计部304从学习数据库302获得与分类号对应的滤波器因数，并执行过滤处理。估计部304根据下面的公式(4)对输入x(i，j)，n执行滤波处理，并获得输出X(i，j)。在公式(4)中，W(i，j)，n是根据图15中的分类号从数据库302获得的滤波器因数。

[数学公式5]

在公式(4)的滤波处理中，如图16所示，对于执行滤波处理的中心像素，设置围绕中心像素的多个像素(n个像素)，并且输出X(i，j)通过以下来确定：基于中心像素的像素值和围绕中心像素的像素的像素值以及与中心像素对应的滤波器因数和围绕中心像素的像素的滤波器因数，对中心像素执行滤波处理。可以使用与劣化对应并且通过学习累积的引导的值。

如上所述，根据图14所描绘的示例性配置，通过累积各自定义引导信息、劣化图像和理想图像之间的关系的滤波器因数，使得能够对应于劣化来使用最佳滤波器因数获得理想图像。

6.关于在本实施方式中执行的处理

接下来将描述在本实施方式中执行的处理。图17是描绘根据图2中描绘的第一示例性配置的处理的流程图。在步骤S10处，首先由彩色图像成像元件1200执行成像，并且获得色度信号。在步骤S12处，对通过成像获得的信号执行显影处理(例如去马赛克处理)。此外，在步骤S14处，与步骤S10并行地，由黑白图像成像元件1100执行成像，并且获得黑白图像的亮度信号。在步骤S12和S14之后，处理步骤进行到步骤S16和S18，并且视差差异校正部110执行校正黑白图像和彩色图像之间的位置间隙的扭曲处理(warping process)，以匹配图像彼此之间的视差差异。更具体地，在步骤S16处，获得每个黑白图像和彩色图像的要处理的位置的视差差异矢量，并且在步骤S18处，如图23A所示，基于要处理的位置的视差差异矢量来执行从参考图像中提取像素值的处理(运动补偿)。此时，在矢量指示精度等于或小于像素的精度的情况下，在使用围绕像素的像素执行插值之后提取像素值。这种插值方法可用作双线性插值方法，双三次插值方法，Lanczos插值方法等。图23B描绘了双线性插值的示例，并且描绘了通过基于插值位置和每个像素的距离权重将周围的四个像素彼此混合来产生插值像素的示例。另外，在图23A和图23B中，每个方块指示一个像素。

在下一步骤S20处，HDR合成部120对作为长累积图像的黑白图像的亮度信号和作为短累积图像的彩色图像的亮度信号彼此进行HDR合成。在下一步骤S22处，灰度控制部130调整色度信号的灰度。在步骤S22之后，处理结束。

图18是描绘根据图3中描绘的第二示例性配置的处理的流程图。直到步骤S18的处理类似于图17中的处理。在步骤S18之后，在步骤S24处，灰度控制部130使用黑白图像的亮度信号作为引导信号来调整色度信号的灰度。在下一步骤S26处，HDR合成部120使用输入到其中的彩色长累积图像和彩色短累积图像来执行HDR合成。

图19是描绘由图6中描绘的灰度控制部130执行的处理的流程图。在步骤S30处，首先输入黑白图像的亮度信号。在步骤S32处，计算上述联合双边型滤波器的Wcolor值。在步骤S34处，计算Wspace值。在接下来的步骤S36处，输入色度信号，并且在步骤S38处，使用上述联合双边型滤波器等执行滤波处理。

图20是描绘由图8描绘的灰度控制部130执行的处理的流程图。在步骤S40处，将色度信号输入到微分部134b，并且在步骤S42处，微分部134b对色度信号进行微分。此外，与步骤S40和S42并行地，在步骤S44处，将黑白图像的信号输入到微分部134a，并且在步骤S46处，微分部134a对黑白图像的信号进行微分。

在步骤S42和S46之后，处理步骤进行到步骤S48，并且差异计算部136确定色度信号和黑白图像的信号之间的差值。在接下来的步骤S50处，映射产生部138产生图9中所示的映射。在下一步骤S52处，将色度信号输入到灰度恢复部139，并且在步骤S54处，低通滤波器139a执行用于色度信号的处理。在下一步骤S56处，混合部139b将未应用低通滤波器139a的色度图像(Img2)与应用了低通滤波器139a的色度图像(Img1)彼此混合。在步骤S56之后，处理结束。

图21是描绘由图8中的灰度恢复部139执行的处理的流程图。直到步骤S50的处理类似于图20中的处理。在步骤S58处，滤波器因数切换部139c切换低通滤波器139a的滤波器因数。在步骤S60处，基于在步骤S58处切换的滤波器因数执行滤波处理。在步骤S60之后，处理结束。

图22是描绘在使用图13所描绘的学习框架执行灰度恢复的情况下执行的处理的流程图。在离线处理中，在步骤S70处，准备理想图像。在接下来的步骤S72处，第一相机模拟部310执行模拟，并且在接下来的步骤S74处，第二相机模拟部312执行模拟。在接下来的步骤S76处，获得要成为教师的像素，并且在接下来的步骤S78处，获得要成为学生的像素1和2。在接下来的步骤S80处，对信号进行分类，并且在接下来的步骤S82处，执行学习(误差最小因数的计算)。在步骤S82之后，处理结束。

在在线处理中，在步骤S90处，将色度信号输入到估计部304中，并且在步骤S92处，将黑白图像的信号输入到分类部300中。在步骤S94处，由此获得色度信号和黑白图像的信号的像素值。在步骤S96处，分类部300对信号进行分类，并且在步骤S98处，估计部304从学习数据库302中获得因数。在接下来的步骤S100处，使用在步骤S98处获得的因数执行滤波。在步骤S100之后，处理结束。

8.关于本实施方式的变型

下面将描述本实施方式的变型。在上述示例中已经描述了使用对黑白图像进行成像的相机(对应于成像元件1100)和对彩色图像进行成像的相机(对应于成像元件1200)两个相机的示例，然而可以使用三个或更多个相机。例如，可以使用三个相机，相机A、相机B和相机C，并且它们的灵敏度可以按照相机A<相机B<相机C的顺序变高。

此外，可以执行与连续拍摄HDR合成的组合。如图24所示，多个相机各自以对应于长累积图像和短累积图像之间的曝光的曝光差异执行成像，由此可以增加曝光图案。在图24描绘的示例中，类似于图1中的示例，描绘了使用作为黑白图像成像元件1100和彩色图像成像元件1200的两个相机的示例，并且成像元件1100和成像元件1200各自使用针对曝光时间段的两个图案。在图24中，图像按照曝光(1)<曝光(2)<曝光(3)<曝光(4)的顺序而变亮，并且可以在其中设定曝光差异。在这种情况下，取决于曝光时间段的差异而发生模糊(对象模糊)，而曝光时间段的差异可以减少与相对于传统HDR的灵敏度差异相对应的量。因此，可以实现减轻模糊的效果。

为了避免任何模糊，有利的是，在多个相机之间不设置曝光时间段的差异，而可以针对要实现的较强HDR效果来设置曝光时间段的差异。在图25描绘的示例中，用于对应于长累积图像的黑白图像成像元件1100的成像的曝光时间段与图1中的曝光时间段相比而增加。在这种情况下，取决于曝光时间段的差异而发生模糊。然而，与使用一个彩色图像成像元件1200在一天的不同时间处针对不同曝光时间段依次执行短时间曝光和长时间曝光以执行HDR合成的情况相比，曝光时间段的差异可以减少与灵敏度差异相对应的量，并且可以实现减轻模糊的效果。

图26是描绘使用分束器1300的示例的示意图。从镜头1400进入的对象图像被分束器1300分割，并由黑白图像成像元件110和彩色图像成像元件1200成像。在并排布置多个相机的情况下，如上所述产生视差差异，然而可以使用使黑白图像和彩色图像的光轴彼此对准的设备。因此，不需要视差差异校正部110，并且可以进一步简化图像处理设备1000的配置。

图27是描绘不使用IR(红外辐射)截止滤波器来促进进一步增强黑白图像的灵敏度的示例的示意图。因为红外区域通常被截止以供使用，所以通过使用IR截止滤光器来截止图27中描绘的截止区域中的光。可以不附加IR截止滤光器而在成像元件1100中捕获更多的光，因此可以实现灵敏度的进一步增强。可以在不使用IR闪光灯或泛光灯的无源状态下使用每个成像元件，而在使用IR闪光灯或泛光灯的有源状态下可以通过不使用IR(红外辐射)截止滤光器来捕获更亮的图像。

已经如上参照附图详细描述了本公开内容的优选实施方式，然而本公开内容的技术范围不限于这些示例。显然，本领域技术人员可以预期在所附权利要求中描述的技术构思的范围内的各种变化示例或修改示例，并且应当理解，这些示例自然也被包含在本公开内容的技术范围内。

此外，本文描述的效果是绝对说明性效果或示例性效果，而并非限制性效果。简言之，根据本公开内容的技术可以通过本文的描述与上述效果一起或代替上述效果实现对于本领域技术人员而言明显的其他效果。

关于以上内容，以下配置也属于本公开内容的技术范围。

(1)一种图像处理设备，包括：

灰度控制部，其获得黑白图像的亮度信号以及通过对与黑白图像相同的对象进行成像而获得彩色图像的色度信号，并且基于亮度信号来控制色度信号的灰度。

(2)根据上述的(1)中描述的图像处理设备，其中，

灰度控制部包括灰度恢复滤波器，该灰度恢复滤波器使用亮度信号作为引导信息来恢复色度信号的灰度。

(3)根据上述的(2)中描述的图像处理设备，其中，

灰度恢复滤波器包括使用黑白图像作为引导的非线性滤波器。

(4)根据上述的(1)中描述的图像处理设备，其中，

灰度控制部包括

差异计算部，其计算亮度信号和色度信号之间的差异，以及

灰度恢复部，其基于该差异来恢复色度信号的灰度。

(5)根据上述的(4)中描述的图像处理设备，其中，

灰度恢复部恢复灰度，使得色度信号的频率区域随着差异越大而变得越低。

(6)根据上述的(4)中描述的图像处理设备，其中

灰度恢复部包括：

低通滤波器，其使色度信号的低频分量通过，以及

混合部，其将色度信号和色度信号的低频分量彼此混合，并且混合部在当差异较大时通过将低频分量的比率设置得较高来将色度信号和色度信号的低频分量彼此混合。

(7)根据上述的(4)中描述的图像处理设备，其中

灰度恢复部包括：

低通滤波器，其使色度信号的低频分量通过，以及

滤波器强度切换部，其在当差异较大时进一步增强低通滤波器的强度。

(8)根据上述的(1)中描述的图像处理设备，其中，

灰度控制部包括：

差异计算部，其计算亮度信号和色度信号之间的差异，以及

滤波处理部，其从数据库获得与差异对应的滤波器因数，并且将与滤波器因数对应的滤波处理应用于色度信号，并且

通过学习而在所述数据库中累积以下内容：多条引导信息，通过将理想图像转换为黑白图像而获得每条引导信息；劣化图像，通过将理想图像转换为彩色图像而获得每个劣化图像；以及滤波器因数，每个滤波器因数用于基于引导信息和劣化图像获得理想图像。

(9)根据上述的(1)至(8)中任一项中描述的图像处理设备，包括：

HDR合成部，其对黑白图像的亮度信号和以低于黑白图像的灵敏度捕获的彩色图像的亮度信号进行HDR合成。

(10)根据上述的(9)中描述的图像处理设备，其中，

灰度控制部基于具有扩展动态范围的亮度信号来恢复色度信号的灰度，通过HDR合成来获得亮度信号。

(11)根据上述的(1)至(8)中任一项中描述的图像处理设备，包括：

HDR合成部，其将黑白图像的亮度信号和其灰度由灰度控制部控制的色度信号以及以低于黑白图像的灵敏度捕获的彩色图像的亮度信号和色度信号彼此进行HDR合成。

(12)根据上述的(1)至(11)中任一项中描述的图像处理设备，包括：

转换部，其将彩色图像的RGB信号转换为亮度信号和色度信号。

(13)根据上述的(1)至(12)中任一项中描述的图像处理设备，其中，

黑白图像和彩色图像是在相同时间处通过彼此不同的成像元件而捕获的，并且

图像处理设备包括视差差异校正部，该视差差异校正部校正黑白图像和彩色图像之间的视差差异。

(14)根据上述(1)至(12)中任一项中描述的图像处理设备，其中，

黑白图像和彩色图像是通过以用于成像的时间差异对对象进行成像来获得的。

(15)一种成像设备，包括：

第一成像元件，其对对象进行成像以获得黑白图像；

第二成像元件，其对对象成像以获得彩色图像；以及

图像处理设备，其获得黑白图像的亮度信号和彩色图像的色度信号，并且基于亮度信号控制色度信号的灰度。

(16)根据上述的(15)中描述的成像设备，其中，

在第一成像元件和第二成像元件上不设置红外辐射截止滤波器。

[附图标记列表]

100 转换部

110 视差差异校正部

120 HDR合成部

130 灰度控制部

132 灰度恢复滤波器

136 差异计算部

139 灰度恢复部

139a 低通滤波器

139b 混合部

139c 滤波器因数切换部

139d 低通滤波器

302 学习DB

304 估计部

1000 图像处理设备

1100,1200 成像元件

Claims

1.一种图像处理设备，包括：

灰度控制部，其获得黑白图像的亮度信号以及通过对与所述黑白图像相同的对象进行成像而获得的彩色图像的色度信号，并且基于所述亮度信号来控制所述色度信号的灰度。

2.根据权利要求1所述的图像处理设备，其中，

所述灰度控制部包括灰度恢复滤波器，所述灰度恢复滤波器使用所述亮度信号作为引导信息来恢复所述色度信号的灰度。

3.根据权利要求2所述的图像处理设备，其中，

所述灰度恢复滤波器包括使用黑白图像作为引导的非线性滤波器。

4.根据权利要求1所述的图像处理设备，其中，

所述灰度控制部包括灰度恢复部，所述灰度恢复部基于所述亮度信号和所述色度信号之间的差异来恢复所述色度信号的灰度。

5.根据权利要求4所述的图像处理设备，其中，

所述灰度恢复部恢复所述灰度，使得所述色度信号的频率区域随着所述差异越大而变得越低。

6.根据权利要求4所述的图像处理设备，其中，

所述灰度恢复部包括：

低通滤波器，其使所述色度信号的低频分量通过，以及

混合部，其将所述色度信号和所述色度信号的低频分量彼此混合，并且

所述混合部在当所述差异越大时通过将所述低频分量的比率设置得越高来将所述色度信号和所述色度信号的低频分量彼此混合。

7.根据权利要求4所述的图像处理设备，其中，

所述灰度恢复部包括：

低通滤波器，其使所述色度信号的低频分量通过，以及

滤波器强度切换部，其在当所述差异越大时，越增强所述低通滤波器的强度。

8.根据权利要求1所述的图像处理设备，其中，

所述灰度控制部包括：

差异计算部，其计算所述亮度信号和所述色度信号之间的差异，以及

滤波处理部，其从数据库获得与所述差异对应的滤波器因数，并且将与所述滤波器因数对应的滤波处理应用于所述色度信号，并且

所述数据库具有通过学习而累积的以下内容：多条引导信息，通过将理想图像转换为黑白图像而获得每条引导信息；劣化图像，通过将所述理想图像转换为彩色图像而获得每个劣化图像；以及滤波器因数，每个滤波器因数用于基于所述引导信息和所述劣化图像来获得所述理想图像。

9.根据权利要求1所述的图像处理设备，包括：

HDR合成部，其对所述黑白图像的亮度信号和以低于所述黑白图像的灵敏度捕获的彩色图像的亮度信号彼此进行HDR合成。

10.根据权利要求9所述的图像处理设备，其中，

所述灰度控制部基于具有扩展动态范围的亮度信号来恢复所述色度信号的灰度，通过所述HDR合成来获得所述亮度信号。

11.根据权利要求1所述的图像处理设备，包括：

HDR合成部，其将所述黑白图像的亮度信号和其灰度由所述灰度控制部控制的色度信号以及以低于所述黑白图像的灵敏度捕获的彩色图像的亮度信号和色度信号彼此进行HDR合成。

12.根据权利要求1所述的图像处理设备，包括：

转换部，其将所述彩色图像的RGB信号转换为亮度信号和所述色度信号。

13.根据权利要求1所述的图像处理设备，其中，

所述黑白图像和所述彩色图像是在相同时间处由彼此不同的成像元件而捕获的，并且

所述图像处理设备包括视差差异校正部，所述视差差异校正部校正所述黑白图像和所述彩色图像之间的视差差异。

14.根据权利要求1所述的图像处理设备，其中，

所述黑白图像和所述彩色图像是通过以用于成像的时间差异对所述对象进行成像来获得的。

15.一种成像设备，包括：

第一成像元件，其对对象进行成像以获得黑白图像；

第二成像元件，其对所述对象进行成像以获得彩色图像；以及

图像处理设备，其获得所述黑白图像的亮度信号和所述彩色图像的色度信号，并且基于所述亮度信号来控制所述色度信号的灰度。

16.根据权利要求15所述的成像设备，其中，

在所述第一成像元件和所述第二成像元件上不设置红外辐射截止滤波器。