CN113852773A - 图像处理设备和方法、摄像系统、移动体及存储介质 - Google Patents

Abstract

本发明提供图像处理设备和方法、摄像系统、移动体及存储介质。图像处理设备包括：获取单元，其被构造为获取基于可见光而拍摄的第一图像数据和基于红外光而拍摄的第二图像数据；合成系数计算单元，其被构造为基于所述第二图像数据和第三图像数据来计算合成系数，所述第三图像数据包括从第一图像数据提取的辉度信息；以及合成单元，其被构造为通过使用所述合成系数对所述第二图像数据和所述辉度信息进行加权相加来计算第四图像数据。

Description

图像处理设备和方法、摄像系统、移动体及存储介质

技术领域

本公开涉及一种图像处理设备、摄像系统、移动体和程序。

背景技术

日本特开第2011-239259号公报公开了一种图像处理设备，其用于合成仅具有可见光范围内的波长分量的彩色图像数据和仅具有可见光范围以外的波长分量的单色图像数据。日本特开第2011-239259号公报中公开的图像处理设备从彩色图像数据中提取颜色信息，从单色图像数据中提取辉度信息，并通过对颜色信息和辉度信息进行合成来生成合成图像数据。因此，配设有日本特开第2011-239259号公报中公开的图像处理设备的相机，即使在可能发生由于雾、霾等造成的光散射的拍摄条件下也可以清楚地拍摄感兴趣的被摄体，可以应对低照度的拍摄条件，并可以拍摄彩色图像。

在日本特开第2011-239259号公报公开的图像处理设备中，由于合成了由不同波长的光拍摄的图像数据，因此根据被摄体的光学特性可能产生不自然的图像。

发明内容

因此，本公开旨在提供一种图像处理设备、摄像系统、移动体、图像处理方法和程序，其可以生成更自然的合成图像。

根据本公开的一方面，提供了一种图像处理设备，其包括：获取单元，其被构造为获取基于可见光拍摄的第一图像数据和基于红外光拍摄的第二图像数据；合成系数计算单元，其被构造为基于所述第二图像数据和第三图像数据计算合成系数，所述第三图像数据包括从第一图像数据提取的辉度信息；以及合成单元，其被构造为通过使用所述合成系数对所述第二图像数据和所述辉度信息进行加权相加来计算第四图像数据。

根据本公开的另一方面，提供了一种图像处理方法，该方法包括：获取基于可见光而拍摄的第一图像数据和基于红外光而拍摄的第二图像数据；基于第二图像数据和第三图像数据计算合成系数，所述第三图像数据包括从所述第一图像数据提取的辉度信息；以及通过使用所述合成系数对所述第二图像数据和所述辉度信息进行加权相加来计算第四图像数据。

根据本公开的又一方面，提供了一种使计算机执行图像处理方法的程序，所述图像处理方法包括：获取基于可见光而拍摄的第一图像数据和基于红外光而拍摄的第二图像数据；基于所述第二图像数据和第三图像数据计算合成系数，所述第三图像数据包括从所述第一图像数据提取的辉度信息；以及通过使用所述合成系数对所述第二图像数据和所述辉度信息进行加权相加来计算第四图像数据。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是示出根据第一实施例的摄像系统的示意性构造的框图。

图2是示出根据第一实施例的摄像设备的示意性构造的框图。

图3是根据第一实施例的像素的电路图。

图4是示出根据第一实施例的滤色器(color filter)的布置的示意图。

图5是示出根据第一实施例的信号处理单元的示意性构造的功能框图。

图6是示出在根据第一实施例的摄像系统中进行的图像合成处理的概述的流程图。

图7A、图7B、图7C和图7D是示出根据第一实施例的彩色图像数据和红外图像数据的示意图。

图8A、图8B和图8C是示出根据第一实施例的HSV数据的示意图。

图9A和图9B是示出根据第二实施例的摄像系统和移动体的构造示例的图。

具体实施方式

现在将根据附图详细描述本发明的优选实施例。附图中相同的部件或相应的部件采用相同的附图标记标明，其描述可以省略或简化。

第一实施例

在本实施例中，将描述应用本公开的图像处理设备和图像处理方法的摄像系统的示例。

图1是示出根据本实施例的摄像系统500的示意性构造的框图。根据本实施例的摄像系统500不限于但可以应用于数字静态相机、数字摄像机、摄像头、复印机、传真机、移动电话、车载相机、观测卫星等。

图1中示出的摄像系统500包括摄像设备1、信号处理单元2、镜头502、光圈504、屏障506、定时生成单元520、总控制/操作单元518、存储器单元510、存储介质控制I/F单元516和外部I/F单元512。

镜头502将被摄体的光学图像拍摄到摄像设备1的摄像区域上。光圈504改变通过镜头502的光量。屏障506保护镜头502。摄像设备1基于由镜头502拍摄的光学图像将信号输出到信号处理单元2。摄像设备1例如是互补金属氧化物半导体(CMOS)图像传感器。

信号处理单元2对从摄像设备1输出的信号进行所需的处理，诸如图像合成、校正、数据压缩。信号处理单元2例如是数字信号处理电路，该数字信号处理电路包括用于进行信号处理的算术处理的处理器、用于在算术处理期间临时存储数据的存储器等。

信号处理单元2可以安装在与摄像设备1相同的基板上，或者可以安装在另一基板上。此外，信号处理单元2的一部分功能可以安装在与摄像设备1相同的基板上，而信号处理单元2的另一部分功能可以安装在另一基板上。摄像设备1可以输出数字信号或输出模拟信号。在摄像设备1输出模拟信号的情况下，信号处理单元2可以进一步包括AD转换器。在下面的描述中，假定摄像设备1包括AD转换器并将数字信号输出到信号处理单元2。

定时生成单元520将各种定时信号输出到摄像设备1和信号处理单元2。总控制/操作单元518是控制整个摄像系统500的驱动和算术处理的控制单元。在此，诸如定时信号的控制信号可以从摄像系统500的外部输入，并且摄像系统500可以至少包括摄像设备1和信号处理单元2，该信号处理单元2用于处理从摄像设备1输出的信号。

存储器单元510是用于临时存储图像数据的帧存储器单元。存储介质控制I/F单元516是用于在存储介质514上记录图像数据或从存储介质514读取图像数据的接口单元。外部I/F单元512是用于与外部计算机等进行通信的接口单元。存储介质514是可移动存储介质，诸如用于记录或读取图像数据的半导体存储器。

图2是示出根据本实施例的摄像设备1的示意性构造的框图。摄像设备1包括像素阵列20、垂直扫描电路30、列放大器电路40、水平扫描电路50、控制电路60和输出电路70。这些电路可以形成在一个或多个半导体基板上。像素阵列20包括布置成多行和多列的多个像素10。垂直扫描电路30是这样的扫描电路：其经由在像素10的各行中配设的控制信号线6，来提供用于控制包括在像素10中的晶体管的导通(导通状态)或截止(非导通状态)的控制信号。垂直扫描电路30可以包括移位寄存器或地址解码器。由于提供给各像素10的控制信号可以包括多种类型的控制信号，所以各行的控制信号线6可以被构造为多个驱动布线的集合。像素10的各列配设有列信号线5，来自像素10的信号被读出到各列的列信号线5。

列放大器电路40对输出到列信号线5的像素信号进行诸如放大或相关双采样处理等的处理。水平扫描电路50提供这样的控制信号，该控制信号用于控制连接到列放大器电路40的放大器的开关的导通或关断。水平扫描电路50可以包括移位寄存器或地址解码器。输出电路70包括缓冲放大器、差分放大器等，并将来自列放大器电路40的像素信号输出到摄像设备1外部的信号处理单元2。应该注意的是，摄像设备1可以通过进一步包括AD转换单元而被构造为输出数字图像信号。例如，列放大器电路40可以包括AD转换单元。控制电路60控制垂直扫描电路30、列放大器电路40和水平扫描电路50的操作定时。

图3是根据本实施例的像素10的电路图。像素10包括光电转换单元101、浮动扩散(以下简称FD)102、转移晶体管103、复位晶体管104、源极跟随晶体管(以下简称SF晶体管)105和选择晶体管106。这些晶体管可以由具有作为控制电极的栅极电极的MOS晶体管构成。用于控制转移晶体管103、复位晶体管104和选择晶体管106的控制信号经由控制信号线6从垂直扫描电路30输入到这些晶体管的栅极。

光电转换单元101是光电转换元件，其通过光电转换来根据入射光产生电荷，并累积电荷。光电转换单元101可以由形成在半导体基板中的光电二极管构成。构成光电转换单元101的光电二极管的阳极连接到具有地电位的接地电位线，并且其阴极连接到转移晶体管103的源极。

转移晶体管103的漏极、复位晶体管104的源极和SF晶体管105的栅极连接到FD102。当转移晶体管103导通时，光电转换单元101的电荷被转移到FD 102。图3中连接到FD102的电容表示FD 102中产生的电容。利用该电容，FD 102的电位根据从光电转换单元101转移的电荷而变化。

复位晶体管104的漏极和SF晶体管105的漏极连接到具有电源电位的电位线107。SF晶体管105的源极连接到选择晶体管106的漏极。选择晶体管106的源极连接到列信号线5。SF晶体管105与连接到列信号线5的恒定电流源(未示出)一起构成源极跟随器电路。源极跟随器电路经由选择晶体管106，将基于FD 102的电压的信号输出到列信号线5。复位晶体管104被导通以复位FD 102的电位。

各个像素10具有布置在入射光被引导至光电转换单元101的光路上的微透镜(未示出)和滤色器(未示出)。微透镜将入射光会聚到光电转换单元101上。滤色器选择性地透射预定颜色的光。在下文中，例如，主要透射红光的滤色器可以被称为红色滤色器等。

图4是示出根据本实施例的滤色器的布置的示意图。在图4中，对应于四行四列的像素10的滤色器的颜色用标记R、G、B和IR来标示。标记R标示红色滤色器，标记G标示绿色滤色器，而标记B标示蓝色滤色器。标记IR标示透射红外光的滤色器。如图4所示，可见光的一个红色滤色器、一个绿色滤色器和一个蓝色滤色器以及一个透射红外光的滤色器被布置在两行两列的范围内。在本布置示例中，上述两行两列的块作为最小单位重复布置。注意，可见光通常是具有380nm至780nm波长的光，而红外光通常是具有780nm至2.5μm波长的近红外光。

请注意，图4的布置示例是示例，可以采用滤色器的其他布置。另外，可以布置除图4中示出的颜色之外的诸如青色、品红色、黄色和白色的滤色器。

因此，本实施例的摄像设备1具有：用于拍摄在可见光范围内具有灵敏度的彩色图像的像素10和用于拍摄在红外范围内具有灵敏度的红外图像的像素10。因此，本实施例的摄像设备1可以输出基于诸如红色、绿色和蓝色的可见光以及红外光拍摄的图像数据。

图5是示出根据本实施例的信号处理单元2的示意性构造的功能框图。信号处理单元2包括RGB-IR分离单元201、RGB-HSV转换单元202、合成系数计算单元203、合成单元204和HSV-RGB转换单元205。这些各单元的功能由信号处理单元2中的处理器实现，该处理器执行图像处理程序，并对从摄像设备1输入的数据执行预定的算术处理。图5中的箭头表示数据流，而箭头附近的诸如RGB的标记表示数据的类型。

图6是示出根据本实施例的摄像系统500中进行的图像合成处理的概述的流程图。将参照图5和图6来描述本实施例的图像合成处理的概述。

在步骤S11中，摄像设备1根据来自定时生成单元520的定时信号拍摄被摄体。摄像设备1基于诸如红色、绿色和蓝色(RGB)的可见光以及红外光(IR)拍摄图像数据，并将拍摄的图像数据输出到信号处理单元2。

在步骤S12中，RGB-IR分离单元201对从摄像设备1输入的图像数据进行去马赛克处理，以生成基于红色、绿色和蓝色三种颜色的RGB模型的彩色图像数据以及基于红外光的红外图像数据。图7A示意性示出红色图像数据，图7B示意性示出绿色图像数据，图7C示意性示出蓝色图像数据，并且图7D示意性示出红外图像数据。在图7A至图7D中由R、G、B和IR标示的帧示意性示出去马赛克处理后的图像数据中的像素的颜色。

在步骤S13中，RGB-IR分离单元201将彩色图像数据(RGB)输出到RGB-HSV转换单元202，并将红外图像数据(IR)输出到合成系数计算单元203和合成单元204。以这种方式，RGB-IR分离单元201分离并输出彩色图像数据和红外图像数据。

如上所述，RGB-IR分离单元201用作获取单元，该获取单元用于获取基于可见光拍摄的彩色图像数据(第一图像数据)和基于红外光拍摄的红外图像数据(第二图像数据)。

在步骤S14中，RGB-HSV转换单元202(第一转换单元)将RGB模型的输入彩色图像数据转换为HSV模型的彩色图像数据(第三图像数据)。HSV模型是由三个分量组成的彩色空间模型：色调(H)、饱和度(S)和值(V)。色调表示颜色的类型，饱和度表示颜色的鲜艳程度，并且值表示亮度。在本说明书中，色调和饱和度有时被称为颜色信息，并且值有时被称为辉度信息。颜色信息和辉度信息可以通过将RGB模型转换为HSV模型来分离和提取。RGB-HSV转换单元202将颜色信息(HS)输出到HSV-RGB转换单元205，并将辉度信息(V)输出到合成系数计算单元203和合成单元204。

注意，步骤S14中的转换模型不限于HSV模型，并且只要能够计算出表示图像亮度的辉度信息就足够了。例如，可以使用诸如HLS模型或YCbCr模型的彩色空间模型。通过使用这些模型，可以将颜色信息和辉度信息分离。

图8A示意性示出色调(H)的图像数据，图8B示意性示出饱和度(S)的图像数据，并且图8C示意性示出值(V)的图像数据。图8A至图8C中由H、S和V标示的帧示意性示出图像数据中的色调、饱和度和值的布置。

在步骤S15中，合成系数计算单元203调整红外图像数据和辉度信息中的各个的对比度。一般来说，用于检测可见光的像素10与用于检测红外光的像素10之间存在灵敏度差异。这种灵敏度差异可以通过进行本处理来调整。作为对比度调整的具体示例，可以采用将红外图像数据的值和辉度信息的值中的各个重新映射到在这些数据类型中可以采用的整个数值范围的处理。

在步骤S15中，可以调整红外图像数据和辉度信息两者的对比度，但是可以仅调整红外图像数据和辉度信息中的一个的对比度以使红外图像数据和辉度信息中的一个更接近另一个。也就是说，步骤S15中的处理可以使得红外图像数据与辉度信息之间的对比度差异减小。

在步骤S16中，合成系数计算单元203从各个像素的对比度调整后的红外图像数据的值中减去对比度调整后的辉度信息的值。

在步骤S17中，合成系数计算单元203通过对相减后的值进行归一化来计算可以对各个像素具有不同的值的合成系数(映射)，并将结果输出到合成单元204。例如，如果红外图像数据的值和辉度信息的值是8位(即从0到255的值)的数据，相减后的值范围是-255到255。在这种情况下，归一化处理可以是用于转换尺度以使-255对应于0并且255对应于1的处理。通过这种归一化处理，合成系数是0到1的值。因此，可以获得适合于后面描述的合成处理中加权相加的范围内的系数。

在步骤S18中，合成单元204通过将红外图像数据和辉度信息通过合成系数加权相加而进行的合成来生成辉度信息(V’)。通过合成获取的辉度信息(第四图像数据)被输出到HSV-RGB转换单元205。

加权相加例如按以下方式进行。合成单元204基于以下等式计算V’(x,y)。

V’(x,y)＝IR(x,y)·(1-map(x,y))+V(x,y)·map(x,y)

其中，(x,y)表示像素的坐标，V(x,y)表示辉度信息的值，IR(x,y)表示红外图像数据的值，map(x,y)表示合成系数，V’(x,y)表示合成后的辉度信息的值。

在步骤S19中，HSV-RGB转换单元205(第二转换单元)将从RGB-HSV转换单元202获取的颜色信息(HS)添加到从合成单元204获取的辉度信息(V’)，以将它们转换为RGB模型的彩色图像数据(第五图像数据)。该彩色图像数据从信号处理单元2输出并存储在存储器单元510或存储介质514中。

如上所述，根据本实施例，信号处理单元2基于红外图像数据和辉度信息来计算合成系数，并通过使用合成系数对红外图像数据和辉度信息进行加权相加来生成合成图像。将描述这种图像合成的效果。

还可以使用日本特开第2011-239259号公报中公开的用红外图像数据替换彩色图像数据的辉度的技术来合成图像。如日本特开第2011-239259号公报中所公开的那样，这种技术可以减少由于雾、霾等造成的光散射的影响。然而，在日本特开第2011-239259号公报中公开的技术中，根据被摄体的光学特性，可能会产生不自然的图像。例如，在树中，可见光的反射率相对较低，红外光的反射率相对较高。因此，当被摄体中包括树并且用红外图像数据来替换树的部分的彩色图像数据的辉度时，树的部分的辉度非常高。在这种情况下，生成树的部分比树的实际部分更亮并具有不自然的对比度的图像，以及树的部分和其他部分之间的色彩平衡与实际部分不同的图像等。由于这个原因，合成图像可能是不自然的，这取决于光学特性诸如被摄体的反射率的波长依赖性。

在本实施例中，通过使用合成系数，通过红外图像数据和辉度信息的加权相加来生成合成图像。例如，可以设置合成系数，使得通过在红外光的反射率高的部分设置高合成系数值来使可见光图像的权重高，并且通过在红外光的反射率低的部分设置低合成系数值来使红外光图像的权重高。例如，如在本实施例中，可以通过从红外图像数据的值中减去辉度信息的值来获得这样的合成系数。结果，在上述包括树的图像的示例中，由于进行加权相加，使得可见光图像的权重比率在树的部分高，因此降低了由于红外光的高反射率而使树的辉度高的问题的影响。此外，在由于雾、霾等原因，在红外光的反射率低于可见光的反射率的部分，进行加权相加以增加红外光图像的权重比，使得可以降低日本特开第2011-239259号公报中描述的由于雾和霾而造成的光散射的影响。

如上所述，根据本实施例，可以提供能够生成更自然的合成图像的图像处理设备。

第二实施例

图9A和图9B是示出根据本实施例的摄像系统600和移动体的构造的图。图9A示出与车载照相机有关的摄像系统600的示例。摄像系统600具有根据上述第一实施例的摄像设备1。摄像系统600具有：图像处理单元612，其对由摄像设备1获取的多个图像数据进行图像处理；以及视差计算单元614，其根据由摄像系统600获取的多个图像数据计算视差(视差图像的相位差)。图像处理单元612可以具有第一实施例的信号处理单元2的功能。进一步地，第一实施例的信号处理单元2的功能可以被合并到摄像设备1中。

此外，摄像系统600具有：距离测量单元616，其基于所计算的视差来计算到被摄体的距离；以及碰撞确定单元618，其基于所计算的距离来确定是否存在碰撞的可能性。在此，视差计算单元614和距离测量单元616是获取关于到被摄体的距离的距离信息的距离信息获取单元的示例。也就是说，该距离信息是关于视差、散焦量、到被摄体的距离等的信息。碰撞确定单元618可以使用任一距离信息来确定碰撞的可能性。距离信息获取单元可以由专门设计的硬件实现，也可以由软件模块实现。此外，距离信息获取单元可以由现场可编程门阵列(FPGA)、专用集成电路(ASIC)等实现，或者可以由其组合实现。

摄像系统600连接到车辆信息获取设备620，并且可以获取诸如车辆速度、偏航率、转向角等的车辆信息。另外，摄像系统600连接到控制ECU 630，该控制ECU 630是输出控制信号的控制设备，该控制信号用于基于由碰撞确定单元618确定的确定结果而使车辆产生制动力。也就是说，控制ECU 630是用于基于距离信息控制移动体的距离信息获取单元的示例。另外，摄像系统600还与警报设备640连接，该警报设备基于由碰撞确定单元618确定的确定结果而向驾驶员发出警报。例如，当作为碰撞确定单元618的确定结果的碰撞概率较高时，控制ECU 630通过施加制动、推回油门、抑制发动机动力等进行车辆控制以避免碰撞或减少损害。警报设备640通过发出诸如声音的警报、在汽车导航系统等的显示屏上显示警报信息、向安全带或方向盘等提供振动来警告用户。

在本实施例中，通过使用摄像系统600拍摄车辆周围的区域，例如，前部区域或后部区域。图9B示出了当拍摄车辆的前部区域(拍摄区域650)时摄像系统600的构造。车辆信息获取设备620发送指令以操作摄像系统600来进行摄像。包括根据第一实施例的摄像设备1的本实施例的摄像系统600可以进一步提高距离测量的准确性。

尽管上文已经描述了用于避免与另一车辆碰撞的控制的示例，但本实施例适用于跟随另一车辆的自动驾驶控制、不驶出交通车道的自动驾驶控制等。此外，该摄像系统并不局限于诸如主体车辆等的车辆，可以应用于诸如船舶、飞机、工业机器人等的移动体(移动装置)。此外，该摄像系统可以广泛地应用于诸如智能交通系统(ITS)等的利用被摄体识别的设备，而不限于移动体。

其他实施例

请注意，上述实施例仅仅是实施本发明的示例，本公开的技术范围不应该以限制的方式来解释。也就是说，在不脱离本发明的技术思想或其主要特征的情况下，本发明可以以各种形式实施。例如，应当理解，将一个实施例的部分构造添加到另一个实施例中的示例，或者将另一个实施例的部分构造替换的示例也是本发明的实施例。

在第一实施例中，在信号处理单元2中进行的图像处理可以由摄像系统500外部的计算机进行。例如，摄像系统500可以将由摄像设备1获取的RAW数据输出到外部计算机，并且外部计算机的处理器可以基于图像处理程序进行图6中的步骤S12至S19的图像处理。在信号处理单元2中进行的图像处理可以在摄像设备1中进行。在这种情况下，摄像设备1可以配设有数字信号处理电路，该数字信号处理电路包括用于进行信号处理的算术处理的处理器和用于在算术处理期间临时存储数据的存储器等。摄像系统500可以包括这样的模块，在该模块中，将配设有摄像设备1的第一基板和配设有信号处理单元2的第二基板堆叠。

第一实施例的步骤S18中的V’(x,y)的计算公式是示例，并且可以采用其他计算公式，只要合成系数用于加权辉度信息和红外图像数据。例如，取决于拍摄条件，由于雾、霾等造成的光散射的影响可能很小。在这种情况下，可以包括用于调整合成系数的参数，诸如调整合成系数，使得辉度信息的权重大。此外，在诸如室内拍摄的拍摄条件下，可能不存在由于雾、霾等造成的光散射的影响。在这样的情况下，可以不进行第一实施例的合成处理，或者通过诸如设置map(x,y)为1而不管(x,y)的方法来使合成处理无效。

本发明的实施例还可以由系统或装置的计算机实现，该计算机读出并执行记录在存储介质(也可更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以执行上述实施例中的一个或多个功能和/或包括用于执行上述实施例中的一个或多个功能的一个或多个电路(例如，专用集成电路(ASIC))，以及由该系统或装置的计算机执行的方法来实现，例如，从存储介质读出并执行计算机可执行指令以执行上述实施例中的一个或多个功能和/或控制一个或多个电路以执行上述实施例中的一个或多个功能。计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括独立的计算机或独立的处理器的网络，以读出并执行计算机可执行指令。例如，可以将计算机可执行指令从网络或存储介质提供给计算机。存储介质可以包括，例如，硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)^TM)、闪存设备、存储卡等中的一个或多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然本发明已经参照示例性实施例进行了描述，但应当理解，本发明并不限于所公开的示例性实施例。以下权利要求的范围将给予最广泛的解释，以便涵盖所有此类修改和同等结构及功能。

Claims (12)

1.一种图像处理设备，所述图像处理设备包括：

获取单元，其被构造为获取基于可见光而拍摄的第一图像数据和基于红外光而拍摄的第二图像数据；

合成系数计算单元，其被构造为基于所述第二图像数据和第三图像数据来计算合成系数，所述第三图像数据包括从所述第一图像数据提取的辉度信息；以及

合成单元，其被构造为通过使用所述合成系数对所述第二图像数据和所述辉度信息进行加权相加来计算第四图像数据。

2.根据权利要求1所述的图像处理设备，其中，所述合成系数计算单元通过从基于所述第二图像数据的值中减去基于所述辉度信息的值来计算所述合成系数。

3.根据权利要求2所述的图像处理设备，其中，所述合成系数计算单元进行将所述合成系数转换为预定范围内的值的归一化。

4.根据权利要求2或3所述的图像处理设备，其中，所述合成系数计算单元在调整所述第二图像数据与所述辉度信息之间的对比度差异之后进行所述合成系数的计算。

5.根据权利要求1至3中任一项所述的图像处理设备，所述图像处理设备还包括：

第一转换单元，其被构造为通过从所述第一图像数据中提取所述辉度信息和颜色信息来生成所述第三图像数据；以及

第二转换单元，其被构造为通过向所述第四图像数据添加所述颜色信息来生成第五图像数据。

6.根据权利要求1至3中任一项所述的图像处理设备，其中，所述合成单元基于以下等式来进行所述第四图像数据的计算：

V’(x,y)＝IR(x,y)·(1-map(x,y))+V(x,y)·map(x,y)

其中，(x,y)表示像素的坐标，V(x,y)表示辉度信息的值，IR(x,y)表示第二图像数据的值，map(x,y)表示合成系数，并且V’(x,y)表示第四图像数据的值。

7.根据权利要求1至3中任一项所述的图像处理设备，其中，所述第一图像数据是基于RGB模型的彩色图像数据。

8.根据权利要求1至3中任一项所述的图像处理设备，其中，所述第三图像数据是基于HSV模型、HLS模型或YCbCr模型的彩色图像数据。

9.一种摄像系统，所述摄像系统包括：

摄像设备，其被构造为进行基于可见光的第一图像数据和基于红外光的第二图像数据的拍摄；以及

根据权利要求1至8中任一项所述的图像处理设备。

10.一种移动体，所述移动体包括：

摄像设备，其被构造为进行基于可见光的第一图像数据和基于红外光的第二图像数据的拍摄；

根据权利要求1至8中任一项所述的图像处理设备；

距离信息获取单元，其被构造为从基于来自所述摄像设备的信号的视差图像中获取关于到被摄体的距离的距离信息；以及

控制单元，其被构造为基于所述距离信息控制所述移动体。

11.一种图像处理方法，所述图像处理方法包括：

获取基于可见光而拍摄的第一图像数据和基于红外光而拍摄的第二图像数据；

基于所述第二图像数据和第三图像数据来计算合成系数，所述第三图像数据包括从所述第一图像数据中提取的辉度信息；以及

通过使用所述合成系数对所述第二图像数据和所述辉度信息进行加权相加来计算第四图像数据。

12.一种存储介质，其存储有使计算机执行图像处理方法的程序，所述图像处理方法包括：

获取基于可见光而拍摄的第一图像数据和基于红外光而拍摄的第二图像数据；

基于所述第二图像数据和第三图像数据来计算合成系数，所述第三图像数据包括从所述第一图像数据中提取的辉度信息；以及

通过使用所述合成系数对所述第二图像数据和所述辉度信息进行加权相加来计算第四图像数据。

Images