CN102204258A - 图像输入装置 - Google Patents

Abstract

为了提供即使在光子的量少的夜间，也可以生成S/N比高的亮度信号的图像输入装置，摄像元件(3)对图像分量Ye、R、IR、W进行摄像。颜色信号生成部(42)根据图像分量Ye、R、IR、W生成颜色信号dR、dG、dB。颜色空间变换部(43)将颜色信号dR、dG、dB变换到包含亮度信号和色差信号的颜色空间。此处，颜色空间变换部(43)计算出通过对图像分量Ye、R、IR、W进行加法处理而得到的亮度信号Yadd作为成为变换对象的颜色空间的亮度信号。

Description

图像输入装置

技术领域

本发明涉及对由摄像元件摄像了的图像数据进行图像处理的图像输入装置。

背景技术

近年来，已知对夜间的场景进行彩色摄像的摄像装置。例如，在专利文献1中，公开了下述那样的彩色图像再生装置。首先，从通过具备R、G、B的滤波器的像素摄像了的图像中抽出由R、G、B的颜色分量构成的可见图像数据。接下来，从通过具备Ir的滤波器的像素摄像了的图像中抽出红外图像数据。接下来，对可见图像数据进行HSV变换而抽出第1亮度信息，并且从红外图像数据中抽出第2亮度信息。接下来，针对第1亮度信息用权重系数w1进行加权，针对第2亮度信息用权重系数w2(w1+w2＝1)进行加权，生成伪彩色图像。

专利文献1：日本特开2007-184805号公报

发明内容

但是，在夜间，光子的量少，所以存在摄影图像的S/N比变小这样的问题，但在专利文献1的手法中，没有考虑这样的问题。

本发明的目的在于提供一种即使在光子的量少的夜间也可以生成图像的S/N比高的亮度信号的图像输入装置。

(1)本发明的一个方面的图像输入装置，其特征在于，具备：摄像元件，排列有光谱灵敏度不同的至少3种像素，对包含至少3种原图像分量的原图像数据进行摄像；以及颜色空间变换部，将所述原图像数据变换到包含亮度信号和色度信号的颜色空间，所述颜色空间变换部计算出通过对所述原图像分量进行加法处理而得到的第1强度信号作为所述颜色空间的亮度信号。

根据该结构，通过摄像元件对包括至少3种原图像分量的原图像数据进行摄像。然后，颜色空间变换部通过对构成原图像数据的原图像分量进行加法处理来生成第1强度信号，计算出该第1强度图像信号作为颜色空间的亮度信号。因此，即使在光子的量少的夜间，也可以生成S/N比高的亮度信号。

(2)优选的是，所述颜色空间变换部对所述原图像分量或者基于所述原图像分量的色度信号进行平滑处理。

根据该结构，针对所述原图像分量或者基于所述原图像分量的色度信号实施平滑处理。因此，得到S/N比高的色度信号。

(3)优选的是，还具备颜色信号生成部，该颜色信号生成部根据所述原图像分量生成RGB颜色信号，所述颜色空间变换部通过将所述RGB颜色信号变换到所述颜色空间而生成第2强度信号，通过使用相对于所述第2强度信号的所述第1强度信号的比例即第1比例进行运算来计算出所述颜色空间的色度信号。

根据该结构，通过对RGB颜色信号进行颜色空间变换而生成第2强度信号。计算出相对于该第2强度信号的第1强度信号的比例作为第1比例。而且，通过使用该第1比例进行运算，而计算出颜色空间的色度信号。因此，颜色空间变换部可以生成在成为变换对象的颜色空间中取得了平衡的色度信号和亮度信号。

(4)优选的是，还具备颜色信号生成部，该颜色信号生成部根据所述原图像分量生成RGB颜色信号，所述颜色空间变换部通过将所述RGB颜色信号变换到所述颜色空间而生成所述第2强度信号，通过使用相对于实施了平滑处理的所述第1强度信号的实施了平滑处理的所述第2强度信号的比例即第2比例进行运算来对所述第1强度信号进行修正，计算出修正后的第1强度信号作为所述颜色空间的亮度信号。

根据该结构，通过使用相对于实施了平滑处理的第1强度信号的实施了平滑处理的第2强度信号的比例即第2比例来运算，对第1强度信号进行修正。因此，可以生成高精度地再现了人类视觉辨认的图像的强度的亮度信号。

(5)优选的是，所述颜色空间变换部通过将所述RGB颜色信号变换到所述颜色空间而生成所述第2强度信号，通过使用相对于所述第2强度信号的所述第1强度信号的比例即第1比例进行运算来计算出所述颜色空间的色度信号。

根据该结构，通过使用第1比例来运算，对颜色空间的色度信号进行修正。因此，可以保持在成为变换对象的颜色空间中的强度信号和色度信号的平衡。

(6)优选的是，所述原图像数据包含红外图像分量，所述颜色空间变换部根据所述红外图像分量，对红外光的强度和可见光的强度进行比较，以随着红外光的强度变强、使所述第1强度信号的加权变小的方式，对所述第1强度信号和按原样使用了所述原图像分量的信号进行加权相加而计算出所述颜色空间的亮度信号。

根据该结构，以随着红外光的强度与可见光的强度相比变强，使第1强度信号的加权变小的方式，对第1强度信号和按原样使用了原图像分量的信号进行加权相加，计算出成为变换对象的颜色空间的亮度信号。因此，可以生成高精度地表示了人类目视的图像的强度的亮度信号。

(7)优选的是，所述颜色空间变换部是以红外光的强度越强于可见光的强度、使所述颜色空间的色度信号越低的方式进行计算。

根据该结构，红外光的强度越强于可见光的强度，在夜间进行摄影的可能性越高，而有可能无法高精度地计算色度信号。因此，通过采用本结构，可以以使色度信号变低、计算精度低的色度信号的影响变低的方式，计算出R、G、B的颜色信号。

(8)优选的是，还具备：平滑处理部，对所述原图像分量进行平滑处理；颜色插补部，对由所述平滑处理部进行了平滑处理的原图像分量的欠缺像素数据进行插补；以及颜色信号生成部，根据所述原图像分量生成RGB颜色信号，所述颜色信号生成部根据由所述颜色插补部对欠缺像素数据进行了插补的原图像分量生成所述RGB颜色信号。

根据该结构，由于在进行插补处理之前进行平滑处理，所以可以减小平滑处理部的电路规模。

(9)优选的是，所述摄像元件是以矩阵状排列了包括光谱灵敏度分别不同的第1像素、第2像素、第3像素、以及第4像素的单位像素部，在将可见波长区域和红外波长区域设为有灵敏度波长波段时，所述第1像素具备使除了所述可见波长区域的蓝色区域以外的所述有灵敏度波长波段的光透射的第1滤色器，所述第2像素具备使除了所述可见波长区域的蓝色区域以及绿色区域以外的所述有灵敏度波长波段的光透射的第2滤色器，所述第3像素具备使除了所述可见波长区域以外的所述有灵敏度波长波段的光透射的红外滤波器，所述第4像素不具备滤波器。

根据该结构，由于全部像素在红外波长区域中具有灵敏度，所以可以得到S/N比高的红外图像分量。另外，可以低成本地生产光谱透射特性高的摄像元件。

(10)优选的是，所述摄像元件的光谱灵敏度不同的至少3种像素中的至少一种在红外波长区域中具有灵敏度。

(11)优选的是，所述摄像元件的光谱灵敏度不同的至少3种像素中的至少一种仅在红外波长区域中具有灵敏度，所述第1强度信号是仅通过对包含红外图像分量的原图像分量进行加法处理来计算出的。

根据该结构，至少一个在红外波长区域中具有灵敏度，无需进行减法处理而仅通过加法处理计算出包括红外图像分量的原图像分量，所以可以得到S/N比高的红外图像分量。因此，即使在光子的量少的夜间，也可以生成S/N比高的亮度信号。

根据本发明，通过对构成原图像数据的原图像分量进行加法处理，来生成第1强度信号，计算出该第1强度信号作为成为变换对象的颜色空间的亮度信号。因此，即使在光子的量少的夜间，也可以生成S/N比高的亮度信号。

另外，在对RGB颜色信号进行了颜色空间变换之后，通过进行平滑处理来计算颜色空间的色度信号的情况下，进而，即使在光子的量少的夜间，也可以生成S/N比高的色度信号。

附图说明

图1示出实施方式1的图像输入装置1的框图。

图2是示出摄像元件的像素的排列的图。

图3是示出Ye、R、IR滤波器的光谱透射特性的图。

图4是示出图像处理部的详细结构的框图。

图5是示出噪声分量的分布的曲线图。

图6(a)是示出进行了减法处理的噪声分量的表，(b)是示出进行了加法处理的噪声分量的表。

图7是示出实施方式1的图像输入装置1的动作的流程图。

图8是示出实施方式2的图像输入装置1的动作的流程图。

图9是将平滑处理部设置到颜色插补部的前级时的图像处理部4的框图。

图10是示出青绿色和品红色的光谱灵敏度特性的图。

(附图标记说明)

1：图像输入装置；2：镜头；3：摄像元件；4：图像处理部；5：控制部；41：颜色插补部；42：颜色信号生成部；43：颜色空间变换部；44：RGB颜色信号生成部；45：平滑处理部。

具体实施方式

(实施方式1)

以下，说明本发明的实施方式1的图像输入装置1。图1示出图像输入装置1的框图。如图1所示，图像输入装置1具备镜头2、摄像元件3、图像处理部4、以及控制部5。此处，图像输入装置1搭载于例如汽车，对汽车的周围的被摄体进行摄像。

镜头2由取入被摄体的光像并引导到摄像元件3的光学镜头系统构成。作为光学镜头系统，可以采用沿着被摄体的光像的光轴L串联地配置的例如可变焦距镜头、单焦点镜头、其他镜头模块等。另外，镜头2也可以具备用于调节透射光量的光圈(图略)、快门(图略)等，在该情况下，在控制部5的控制之下，控制光圈以及快门的驱动。

摄像元件3包括：受光部，由PD(光电二极管)构成；输出电路，输出由受光部进行了光电变换的信号；以及驱动电路，对摄像元件3进行驱动，生成具有与光量对应的水平的原图像数据。此处，作为摄像元件3，可以采用CMOS图像传感器、VMIS图像传感器、以及CCD图像传感器等各种摄像传感器。

另外，在本实施方式中，摄像元件3通过具备滤色器的像素，对至少可见彩色图像分量进行摄像，通过具备红外滤波器的像素对红外图像分量进行摄像，通过不具备滤波器的像素对包括可见图像分量和红外图像分量的图像分量进行摄像。

图像处理部4包括运算电路以及用作运算电路的工作区域的存储器等，对从摄像元件3输出的原图像数据进行A/D变换而变换为数字信号，并执行了后述图像处理之后，输出到例如图略的存储器、显示装置。

控制部5包括CPU以及保存CPU执行的程序的存储器等，响应于来自外部的控制信号，管理图像输入装置1的整体控制。

图2是示出摄像元件3的像素的排列的图。如图2所示，摄像元件3是以矩阵状排列有包括Ye像素(第1像素)、R像素(第2像素)、IR像素(第3像素)、以及W像素(第4像素)的单位像素部31。

在图2的情况下，在单位像素部31中，在第1行第1列中排列R像素，在第2行第1列中排列IR像素，在第1行第2列中排列W像素，在第2行第2列中排列Ye像素。但是，这是一个例子，也可以按照其他模式排列R像素、IR像素、W像素、以及Ye像素。

Ye像素具备Ye滤波器(第1滤色器)，所以对作为Ye的可见彩色图像分量的图像分量Ye(原图像分量)以及红外图像分量进行摄像。R像素具备R滤波器(第2滤色器)，所以对作为R的可见彩色图像分量的图像分量R(原图像分量)以及红外图像分量进行摄像。IR像素具备IR滤波器(红外滤波器)，所以对作为红外图像分量的图像分量IR(原图像分量)进行摄像。W像素不具备滤波器，所以对作为包括可见图像分量和图像分量IR的图像分量的图像分量W(原图像分量)进行摄像。

图3是示出Ye、R、IR滤波器的光谱透射特性的图，纵轴表示透射率(灵敏度)，横轴表示波长(nm)。另外，用虚线表示的曲线图示出卸下了滤波器的状态下的像素的光谱灵敏度特性。可知该光谱灵敏度特性在红外波长区域中具有峰值，呈现上凸的曲线而变化。另外，在图3中，400nm～700nm被设成可见波长区域，700nm～1100nm被设成红外波长区域，400nm～1100nm被设成有灵敏度波长波段。另外，不具有滤波器的情况的像素的光谱灵敏度特性是直至紫外区域具有灵敏度，但通过镜头2切断了紫外区域，所以400nm～1100nm成为有灵敏度波长波段。另外，光谱灵敏度特性不限于图3所示，只要从可见光区域起一直到红外光区域具有灵敏度即可。

如图3所示，Ye滤波器具有使除了可见波长区域的蓝色区域的所述有灵敏度波长波段的光透射的特性。因此，Ye滤波器主要使黄色的光和红外光透射。

R滤波器具有使除了可见波长区域的蓝色区域以及绿色区域的有灵敏度波长波段的光透射的特性。因此，R滤波器主要使红的光和红外光透射。

IR滤波器具有使除了可见波长区域的有灵敏度波长波段、即红外波长波段的光透射的特性。W表示不具备滤波器的情况，使像素的有灵敏度波长波段的光全部透射。

除此之外，为了实现近似的特性，代替Ye、R、IR而使用Ye、M(品红色)+IR、C(青绿色)+IR(其中，M+IR仅遮蔽绿色，C+IR仅遮蔽红色)也可以实现。其中，R像素、IR像素、Ye像素可以使光谱透射特性变得陡峭，例如，与M+IR滤波器、C+IR滤波器相比，光谱透射特性更良好。即，M+IR滤波器以及C+IR滤波器分别具有仅遮蔽有灵敏度波长波段中的、作为中央的一部分区域的绿色区域以及红色区域的特性，在该遮蔽的波长区域的前后具有透射波长区域，相对于此，R滤波器、IR滤波器、Ye滤波器具有成为遮蔽波长区域和透射波长区域这2个邻接的波长区域的特性即可，所以可以容易地具有陡峭的光谱透射特性。因此，R滤波器、IR滤波器、Ye滤波器与M+IR滤波器以及C+IR滤波器相比，即使进行运算，也可以分别以更高精度抽出RGB图像分量。因此，通过由R像素、IR像素、Ye像素、W像素构成摄像元件3，可以实现摄像元件3的高性能化。

图4是示出图像处理部4的详细结构的框图。图像处理部4具备颜色插补部41、颜色信号生成部42、颜色空间变换部43、以及RGB颜色信号生成部44。

颜色插补部41对通过Ye像素得到的图像分量Ye、通过R像素得到的图像分量R、通过IR像素得到的图像分量IR、以及通过W像素得到的图像分量W分别实施用于对欠缺像素数据进行插补的插补处理，使图像分量R、图像分量IR、图像分量W、以及图像分量Ye分别成为由与摄像元件3的像素数相同的像素数构成的图像数据。另外，在图像分量Ye、R、IR、W中产生欠缺像素数据的原因在于，R像素、IR像素、W像素、以及Ye像素具有上述排列。另外，作为插补处理，采用例如线性插补处理即可。

颜色信号生成部42通过式(1)对由颜色插补部41实施了插补处理的图像分量Ye、图像分量R、图像分量IR、以及图像分量W进行合成，而生成颜色信号dR、dG、dB(RGB颜色信号)。

dR＝R-IR

dG＝Ye-R    (1)

dB＝W-Ye

颜色空间变换部43如式(2)所示将颜色信号dR、dG、dB变换为包含亮度信号Y(第2强度信号的一个例子)和色差信号Cb、Cr(色度信号的一个例子)的颜色空间。此处，色差信号Cb表示蓝色的色差信号，色差信号Cr表示红色的色差信号。

Y＝0.3dR+0.59dG+0.11dB

Cb＝dB-Y    (2)

Cr＝dR-Y

另外，颜色空间变换部43如式(3)所示计算出通过将图像分量Ye、R、IR、W相加而得到的亮度信号Yadd(第1强度信号的一个例子)作为成为变换对象的颜色空间的亮度信号。

Yadd＝(1/4)×(R+IR+W+Ye)    (3)

此处，亮度信号Yadd由于通过加法处理来计算，所以与通过减法处理计算了亮度信号Y的情况相比，可以降低噪声分量。

图5是示出包含噪声分量的图像分量的分布的曲线图。图6(a)是示出包含被减法处理的噪声分量的输出图像分量的表，图6(b)是示出包含被加法处理的噪声分量的输出图像分量的表。在图5中，纵轴表示包含噪声分量的图像分量的频度，横轴表示包含噪声分量的输出图像分量的强度。

a示出例如包含某图像分量A的噪声分量的输出分布，b示出包含某图像分量B的噪声分量的输出分布。此处，包含噪声分量的输出分布a、b是例如将10、9作为平均值而标准偏差具有同一正态分布。

在图5所示的例子中，如果简化运算a-b，则得到图6(a)的结果。另外，如果简化运算(1/2)×(a+b)，则得到图6(b)的结果。

在进行了减法处理的情况下，如图6(a)所示，a-b的最大值是3，最小值是-1。因此，噪声分量的范围成为4。另一方面，在进行了加法处理的情况下，如图6(b)所示，(a+b)/2的最大值是10.5，最小值是8.5，噪声分量的范围成为2。根据该结果可知，在进行了加法处理时，与进行了减法处理的情况相比，噪声分量的范围变小，S/N比大幅提高。另外，图5以及图6只不过是一个例子，并不是示出实际的噪声分量的值。

回到图4，颜色空间变换部43对通过式(2)求出的色差信号Cb、Cr进行平滑处理，计算出色差信号Cbs、Crs。此处，作为平滑处理，例如，也可以采用级联滤波处理，该级联滤波处理是使用5×5等比较小的尺寸的低通滤波器进行反复处理，对色差信号Cb、Cr进行多重析像度化的滤波处理。另外，也可以采用使用了比较大的尺寸的规定尺寸的低通滤波器的滤波处理。

另外，也可以采用针对发光的被摄体不产生模糊，而对边缘以外的区域进行平滑化的边缘保存滤波(在像素间的信号水平差小于某基准值的情况下进行平滑化，而大于基准值的部分不进行平滑化的滤波)处理。另外，对发光的检测是可以通过对红外分量和可见光分量进行比较来推测。

通过这样对色差信号Cb、Cr进行平滑处理，色差信号Cb、Cr中包含的噪声分量变淡，可以使色差信号Cb、Cr的S/N比提高。

另外，颜色空间变换部43如式(4)所示，根据相对于通过式(2)求出的亮度信号Y的通过式(3)求出的亮度信号Yadd的比例RT1(第1比例：RT1＝Yadd/Y)对色差信号Crs、Cbs进行修正，求出色差信号Crm、Cbm。

Crm＝Crs×Yadd/Y

Cbm＝Cbs×Yadd/Y    (4)

通过这样使用比例RT1进行运算来计算颜色信号、具体而言使用比例RT1对色差信号Crs、Cbs进行修正，可以平衡良好地计算出成为变换对象的颜色空间中的色差信号和亮度信号。通过进行该处理，在计算出了颜色信号dR′、dG′、dB′时，即使在亮度信号Yadd大于亮度信号Y的情况下也不会丧失鲜明度，即使在亮度信号Yadd小于亮度信号Y的情况下也可以防止引起鲜明度变得过于过剩的问题。

RGB颜色信号生成部44通过对式(2)进行逆变换，根据亮度信号Yadd、和色差信号Crm、Cbm计算颜色信号dR′、dG′、dB′。具体而言，将式(2)的Y作为Yadd，将Cb作为Cbm，将Cr作为Crm，将dR、dG、dB作为dR′、dG′、dB′，而对式(2)进行逆变换即可。

另外，颜色信号dR′、dG′、dB′由于经过上述处理来计算，所以与通过对图像分量Ye、R、IR、W进行减法处理来计算的颜色信号dR、dG、dB相比，是精度非常高的颜色信号。

接下来，说明图像输入装置1的动作。图7是示出实施方式1的图像输入装置1的动作的流程图。首先，控制部5使摄像元件3对1帧的原图像数据进行摄像。由此，得到图像分量Ye、R、IR、W(步骤S1)。

此处，摄像元件3通过Ye像素对图像分量Ye进行摄像，通过R像素对图像分量R进行摄像，通过IR像素对图像分量IR进行摄像，通过W像素对图像分量W进行摄像。另外，在图像输入装置1对运动图像进行摄像的情况下，控制部5按照30fps、60fps等帧率(framerate)使摄像元件3对原图像数据进行摄像即可。另外，在图像输入装置1对静止图像进行摄像的情况下，控制部5在由用户按下了释放按钮时，使摄像元件3对原图像数据进行摄像即可。

接下来，通过颜色插补部41，对图像分量Ye、R、IR、W实施颜色插补处理。接下来，颜色信号生成部42进行式(1)所示的dR＝R-IR、dG＝Ye-R、dB＝W-Ye的运算而计算颜色信号dR、dG、dB(步骤S2)。

接下来，颜色信号生成部42进行式(2)所示的Y＝0.3dR+0.59dG+0.11dB、Cb＝dB-Y、Cr＝dR-Y的运算，计算亮度信号Y、色差信号Cr、Cb(步骤S3)。

接下来，颜色空间变换部43对色差信号Cr、Cb进行平滑处理，计算色差信号Crs、Cbs(步骤S4)。

接下来，颜色空间变换部43进行式(1)所示的Yadd＝(1/4)×(R+IR+W+Ye)的运算，计算亮度信号Yadd(步骤S5)。

另外，在本实施方式中，如式(1)所示，通过将R、IR、W、Ye相加而计算了亮度信号Yadd，但不限于此，例如也可以如式(1)′所示，通过进行加权相加来计算亮度信号Yadd。

Yadd＝α·R+β·IR+γ·W+σ·Ye  (1)′

其中，α、β、γ、σ是加权系数，α+β+γ+σ＝1。另外，作为α、β、γ、σ，例如采用预定的值即可。

接下来，颜色空间变换部43进行式(4)所示的运算来计算色差信号Crm、Cbm(步骤S6)。另外，在图7中，将色差信号Crm、Cbm汇总而表示为Cm，将色差信号Crs、Cbs汇总而表示为Cs。

接下来，RGB颜色信号生成部44通过对式(2)进行逆变换，根据亮度信号Yadd、色差信号Crm、Cbm计算颜色信号dR′、dG′、dB′(步骤S7)。

这样，根据图像输入装置1，使用式(1)来计算亮度信号Yadd，所以即使在夜间也可以计算出S/N比高的亮度信号Yadd。另外，由于对色差信号Cr、Cb进行平滑处理，所以即使在夜间也可以计算出S/N比高的色差信号Crs、Cbs。

(实施方式2)

实施方式2的图像输入装置1的特征点在于，色差信号Crm、Cbm的计算手法与实施方式1不同。另外，在本实施方式中，对与实施方式1相同的部分省略说明。另外，图像处理部4的详细结构与实施方式1相同，所以使用图4。

在本实施方式中，图4所示的颜色空间变换部43对通过式(2)求出的亮度信号Y实施平滑处理，求出亮度信号Ys。另外，对通过式(3)求出的亮度信号Yadd实施平滑处理，计算亮度信号Yadds。此处，作为平滑处理，采用级联滤波处理、通常的滤波处理即可。

并且，颜色空间变换部43如式(5)所示，根据相对于实施了平滑处理的亮度信号Yadds的实施了平滑处理的亮度信号Ys的比例RT2(第2比例：RT2＝Ys/Yadds)，对亮度信号Yadd进行修正，计算出修正后的亮度信号Yadd′作为成为变换对象的颜色空间的亮度信号。

Yadd′＝Yadd×Ys/Yadds    (5)

亮度信号Y通过式(2)所示的颜色空间变换处理来求出，所以成为高精度地再现了人类视觉辨认的图像的亮度的信号。另一方面，亮度信号Yadd通过式(3)所示的加法处理来计算，所以与式(2)相比，难以高精度地再现人类视觉辨认的图像的亮度。因此，随着与亮度信号Ys相比亮度信号Yadds变得更大，即随着比例RT2从1变小，亮度信号Yadd有可能无法高精度地再现人类视觉辨认的图像的亮度。因此，通过使用式(5)来求出亮度信号Yadd′，可以使亮度信号Yadd成为高精度地再现了人类视觉辨认的图像的亮度的信号。另外，此处，对于Ys使用被平滑的值，所以噪声分量被降低。但是，根据图案，有时在边缘部中产生不自然的人为因素。

另外，颜色空间变换部43如式(6)所示根据上述比例RT1对色差信号Crs、Cbs进行修正，计算出色差信号Crm′、Cbm′。另外，此处，优选的是代替Yadd而使用Yadd′。

Crm′＝Crs×Yadd′/Y

Cbm′＝Cbs×Yadd′/Y    (6)

由此，保持成为变换对象的颜色空间中的亮度信号和色差信号的平衡，可以提高由后级的RGB颜色信号生成部44生成的颜色信号dR′、dG′、dB′的计算精度。

另外，颜色空间变换部43也可以对红外光的强度和可见光的强度进行比较，在红外光的强度强的情况下，以使亮度信号Yadd的加权变小的方式，对亮度信号Yadd和按原样使用了图像分量Ye、R、IR、W的信号Yt进行加权相加而计算出颜色空间的亮度信号。

在该情况下，颜色空间变换部43在上述比例RT2小于表示亮度信号Yadds占统治地位的阈值Th1的情况下，判定为红外光的强度比可见光的强度强即可。并且，通过如式(7)所示以使亮度信号Yadd的加权变小的方式，对亮度信号Yadd和信号Yt进行加权相加，而计算亮度信号Yadd′即可。

Yadd ′＝Yt×(1-Ys/Yadds)+Yadd×(Ys/Yadds)    (7)

其中，Yt表示按原样使用了图像分量Ye、R、IR、W中的某一个的信号。具体而言，在计算某像素的亮度信号Yadd′的情况下，在该像素对应于W滤波器的情况下设成Yt＝W，在对应于Ye滤波器的情况下设成Yt＝Ye，在对应于R滤波器的情况下设成Yt＝R，在对应于IR滤波器的情况下设成Yt＝IR。

在比例RT2中，在亮度信号Yadds占统治地位的情况下，亮度信号Yadd′有可能与人类目视的图像的亮度有很大不同。因此，在亮度信号Yadd′大的情况下，通过以使相对于亮度信号Yadd的信号Yt的比例变大的方式，计算亮度信号Yadd′，可以使亮度信号Yadd′成为更接近人类目视的图像的亮度的信号。

另外，在比例RT2中，在亮度信号Yadds占统治地位的情况下，表示红外光占统治地位，所以可以忽略Ye、R、IR、W的像素间的由于被摄体的颜色引起的信号的水平差。即，可以视为与单色传感器的情况等同。因此，通过不将Ye、R、IR、W的像素相加，而作为分别独立的信号进行处理，可以使析像度(分辨率)成为最大。

进而，颜色空间变换部43也可以使用图像分量W与图像分量IR的差或者比，对红外光的强度和可见光的强度进行比较。在该情况下，在IR/W大于接近1的规定的值时，判定为红外光的强度比可见光的强度强，在小于接近0的规定的值时，判定为可见光的强度比红外光的强度强即可。

另外，在W-IR小于接近0的规定的值时，判定为红外光的强度比可见光的强度强，在IR小于接近0的规定的值时，判定为可见光的强度比红外光的强度强即可。

进而，IR/W或者IR-W的值越大，红外光的强度越强于可见光的强度，所以也可以根据IR/W或者IR-W的值来确定信号Yt的加权系数，进行式(7)′的运算来计算亮度信号Yadd′。

Yadd′＝k·Yt+Yadd·(1-k)    (7)′

其中，k≤1，k表示随着IR/W或者IR-W变大而值变大的预定的信号Yt的权重系数。

接下来，RGB颜色信号生成部44通过对式(2)进行逆变换，根据亮度信号Yadd′和色差信号Crm′、Cbm′，计算颜色信号dR′、dG′、dB′。

接下来，说明图像输入装置1的动作。图8是示出实施方式2的图像输入装置1的动作的流程图。

步骤S11～S15与图7所示的步骤S1～S5相同，所以省略说明。在步骤S16中，颜色空间变换部43对亮度信号Yadd实施平滑处理，计算亮度信号Yadds，并且对亮度信号Y实施平滑处理，计算亮度信号Ys。

接下来，颜色空间变换部43在比例RT2是阈值Th1以上的情况下，通过式(5)的运算而计算出亮度信号Yadd′，在比例RT2小于阈值Th1的情况下，通过式(7)的运算而计算出亮度信号Yadd′(步骤S17)。

接下来，颜色空间变换部43通过式(6)的运算，求出色差信号Crm′、Cbm′(步骤S18)。接下来，RGB颜色信号生成部44对式(2)进行逆变换，求出颜色信号dR′、dG′、dB′(步骤S19)。

这样，根据实施方式2的图像输入装置1，除了实施方式1的效果以外，由于在比例RT2是阈值Th1以上的情况下，使用式(5)来计算亮度信号Yadd′，在比例RT2小于阈值Th1的情况下，使用式(7)来计算亮度信号Yadd′，所以可以生成高精度地再现了人类视觉辨认的图像的亮度的亮度信号。

另外，使用式(6)对色差信号Crs、Cbs进行修正，而计算色差信号Crm′、Cbm′，所以在成为变换对象的颜色空间中，可以平衡良好地求出亮度信号和色差信号。

另外，颜色空间变换部43也可以是以随着红外光的强度接近可见光的强度，使色差信号Crm′、Cbm′变低的方式，对色差信号Crm′、Cbm′进行修正。

在该情况下，颜色空间变换部43例如代替式(6)，通过式(8)计算色差信号Crm′、Cbm′即可。

Crm′＝Crs×Yadd×RT2/Y

Cbm′＝Cbs×Yadd×RT2/Y    (8)

即，在比例RT2小于阈值Th1的情况下，相对于亮度信号Y，亮度信号Yadd′占统治地位，在夜间进行摄影的可能性高，颜色信息不足，所以有可能无法高精度地计算色差信号。因此，可以通过采用式(8)，以使色差信号变低，使计算精度低的色差信号的影响变低的方式，计算颜色信号dR′、dG′、dB′，可以在视觉上无不适感地计算颜色信号dR′、dG′、dB′。进而，也可以是以适合于标准显示器(例如，IEC 61966-2-1sRGB规格)的方式，对颜色信号dR′、dG′、dB′进一步进行颜色变换。

另外，不限于将通过比较比例RT2与阈值而使用的数学式改换为(6)或者(8)，而也可以存储随着比例RT2变小，使色差信号Crs、Cbs变小那样的预定的修正值，使用该修正值来计算色差信号Crm′、Cbm′。在该情况下，在式(8)中，代替RT2，采用该修正值即可。

另外，在上述实施方式1、2中，作为第2～第3像素，使用了R像素、IR像素，但不限于此，也可以如上所述采用青绿色(C)像素、以及品红色(M)像素。即，也可以将第1～第4像素设成Ye、M、C、W像素。在该情况下，散粒噪声变低，而可以使原图像数据中包含的噪声分量更低。

另外，在该情况下，如果将通过Ye、C、M、W像素得到的图像分量设为图像分量Ye、C、M、W，则RGB颜色信号生成部42代替式(1)而通过式(9)求出颜色信号dR、dG、dB即可。

dR＝W-C

dG＝W-M    (9)

dB＝W-Ye

另外，颜色空间变换部43代替式(3)而通过式(10)求出亮度信号Yadd即可。

Yadd＝(1/4)×(Ye+C+M+W)    (10)

另外，青绿色(C)、品红色(M)的光谱灵敏度特性如图10所示。

此处，也可以不是如式(10)那样进行单纯加法平均，而是与式(1)′同样地采用加权相加。另外，在上述实施方式1、2中，颜色空间变换部43对色差信号Cb、Cr进行了平滑处理，但不限于此。即，也可以如图9所示，在颜色插补部41的前级设置平滑处理部45，并使平滑处理部45对图像分量Ye、R、IR、W进行平滑处理，从而省略利用颜色空间变换部43的平滑处理。

进而，平滑处理只要是在计算出颜色信号dR、dG、dB为止，则在哪里实施都没有关系。

另外，在上述实施方式1、2中，摄像元件3具备第1～第4像素这4种像素，但不限于此，只要具备至少3种像素即可。

在该情况下，作为构成摄像元件3的像素的种类，根据各像素的光谱透射特性采用可以生成R、G、B的颜色信号的种类即可。

(效果的总结)

通过以上的处理，得到以下的效果。

(1)由于是尽可能接受光子的光谱灵敏度的滤波器，所以散粒噪声减少。

(2)在颜色信号处理中，仅通过加法来计算在视觉上醒目的亮度分量，所以噪声不会被强调。

(3)在色度信号的计算中使用减法，虽然噪声增加，但由于进行平滑的噪声减少，并且由于人类的眼睛的视觉特性，不会看起来模糊。

(4)由于可以匹配到由人类的眼睛观察到的明亮度，所以可以实现通过可见光观察到那样的颜色再现。

(5)在仅有红外光的情况下，可以提高析像度。

Claims (11)

1.一种图像输入装置，其特征在于，具备：

摄像元件，排列有光谱灵敏度不同的至少3种像素，对包含至少3种原图像分量的原图像数据进行摄像；以及

颜色空间变换部，将所述原图像数据变换到包含亮度信号和色度信号的颜色空间，

所述颜色空间变换部计算出通过对所述原图像分量进行加法处理而得到的第1强度信号作为所述颜色空间的亮度信号。

2.根据权利要求1所述的图像输入装置，其特征在于，

所述颜色空间变换部对所述原图像分量或者基于所述原图像分量的色度信号进行平滑处理。

3.根据权利要求1或者2所述的图像输入装置，其特征在于，

还具备颜色信号生成部，该颜色信号生成部根据所述原图像分量生成RGB颜色信号，

所述颜色空间变换部通过将所述RGB颜色信号变换到所述颜色空间而生成第2强度信号，通过使用相对于所述第2强度信号的所述第1强度信号的比例即第1比例进行运算来计算出所述颜色空间的色度信号。

4.根据权利要求1或者2所述的图像输入装置，其特征在于，

还具备颜色信号生成部，该颜色信号生成部根据所述原图像分量生成RGB颜色信号，

所述颜色空间变换部通过将所述RGB颜色信号变换到所述颜色空间而生成所述第2强度信号，通过使用相对于实施了平滑处理的所述第1强度信号的实施了平滑处理的所述第2强度信号的比例即第2比例进行运算来对所述第1强度信号进行修正，计算出修正后的第1强度信号作为所述颜色空间的亮度信号。

5.根据权利要求4所述的图像输入装置，其特征在于，

所述颜色空间变换部通过将所述RGB颜色信号变换到所述颜色空间而生成所述第2强度信号，通过使用相对于所述第2强度信号的所述第1强度信号的比例即第1比例进行运算来计算出所述颜色空间的色度信号。

6.根据权利要求1～5中的任一项所述的图像输入装置，其特征在于，

所述原图像数据包含红外图像分量，

所述颜色空间变换部根据所述红外图像分量，对红外光的强度和可见光的强度进行比较，以随着红外光的强度变强、使所述第1强度信号的加权变小的方式，对所述第1强度信号和按原样使用了所述原图像分量的信号进行加权相加而计算出所述颜色空间的亮度信号。

7.根据权利要求1～6中的任一项所述的图像输入装置，其特征在于，

所述颜色空间变换部是以红外光的强度越强于可见光的强度、使所述颜色空间的色度信号越低的方式进行计算。

8.根据权利要求1所述的图像输入装置，其特征在于，还具备：

平滑处理部，对所述原图像分量进行平滑处理；

颜色插补部，对由所述平滑处理部进行了平滑处理的原图像分量的欠缺像素数据进行插补；以及

颜色信号生成部，根据所述原图像分量生成RGB颜色信号，

所述颜色信号生成部根据由所述颜色插补部对欠缺像素数据进行了插补的原图像分量生成所述RGB颜色信号。

9.根据权利要求1～8中的任一项所述的图像输入装置，其特征在于，

所述摄像元件是以矩阵状排列了包括光谱灵敏度分别不同的第1像素、第2像素、第3像素、以及第4像素的单位像素部，

在将可见波长区域和红外波长区域设为有灵敏度波长波段时，

所述第1像素具备使除了所述可见波长区域的蓝色区域以外的所述有灵敏度波长波段的光透射的第1滤色器，

所述第2像素具备使除了所述可见波长区域的蓝色区域以及绿色区域以外的所述有灵敏度波长波段的光透射的第2滤色器，

所述第3像素具备使除了所述可见波长区域以外的所述有灵敏度波长波段的光透射的红外滤波器，

所述第4像素不具备滤波器。

10.根据权利要求1～8中的任一项所述的图像输入装置，其特征在于，

所述摄像元件的光谱灵敏度不同的至少3种像素中的至少一种在红外波长区域中具有灵敏度。

11.根据权利要求1～10中的任一项所述的图像输入装置，其特征在于，

所述摄像元件的光谱灵敏度不同的至少3种像素中的至少一种仅在红外波长区域中具有灵敏度，所述第1强度信号是仅通过对包含红外图像分量的原图像分量进行加法处理来计算出的。

Images