CN105453532B

CN105453532B - 摄像装置、摄像方法和车载摄像系统

Info

Publication number: CN105453532B
Application number: CN201380078602.2A
Authority: CN
Inventors: 石原朋和; 野中雄; 野中雄一; 西泽明仁; 盐川淳司
Original assignee: Maxell Ltd
Current assignee: Maxell Ltd
Priority date: 2013-07-31
Filing date: 2013-07-31
Publication date: 2019-03-01
Anticipated expiration: 2033-07-31
Also published as: US10154208B2; JPWO2015015580A1; JP6211614B2; US20160173790A1; WO2015015580A1; CN105453532A

Abstract

本发明的目的在于提供一种摄像装置，其在使用由在可见光波段和近红外光波段具有灵敏度的像素和在近红外光波段具有灵敏度的像素构成的摄像部拍摄彩色图像的情况下，也能够与光源的种类相应地得到色彩重现性良好的输出图像。摄像装置的特征在于，包括：图像传感器，其包括在可见光波段和近红外光波段具有灵敏度的像素和在近红外光波段具有灵敏度的像素；色彩重现处理单元，其使用所述图像传感器的输出信号中的、来自所述在可见光波段和近红外光波段具有灵敏度的像素的信号和来自所述在近红外光波段具有灵敏度的像素的信号，来进行色彩重现处理；可见光量计算单元，其使用所述图像传感器的输出信号计算可见光波段的信号量；和控制单元，其控制所述色彩重现处理单元来基于所述可见光量计算单元计算出的可见光波段的信号量进行色彩重现处理。

Description

摄像装置、摄像方法和车载摄像系统

技术领域

本发明涉及摄像装置、摄像方法和车载摄像系统。

背景技术

本技术领域的背景技术有专利文献1。专利文献1中，记载了：“一种摄像装置，其特征在于，包括：摄像部，其拍摄被拍摄体而生成图像；色温信息计算部，其计算所述被拍摄体的色温信息；记录部，其对于自然光源和至少1种人工光源，分别与所述光源的种类和规定的色彩空间中的位置坐标关联地记录多个色彩重现矩阵；运算部，其从所述记录部中记录的所述色彩重现矩阵中，选择与所述色彩空间中接近与所述色温信息对应的位置坐标的所述位置坐标关联、并且与同种光源关联的2个所述色彩重现矩阵，和与不同于所述光源的光源关联的2个以下的所述色彩重现矩阵，基于选择的多个所述色彩重现矩阵，基于该色彩重现矩阵的所述位置坐标和与所述色温信息对应的所述位置坐标进行插值处理而运算修正色彩重现矩阵；和色彩重现处理部，其使用所述修正色彩重现矩阵，对用所述摄像部生成的所述图像实施色彩重现处理。”

现有技术文献

专利文献

专利文献1：日本特许第4251317号公报

发明内容

发明要解决的课题

但是，专利文献1中，仅记载了可见光波段的灵敏度特性，对于使用由在可见光波段和近红外光波段具有灵敏度的像素、和在近红外光波段具有灵敏度的像素构成的摄像部拍摄彩色图像的情况下的色彩重现性存在改善的余地。

本发明提供一种摄像装置、摄像方法以及车载摄像系统，例如在使用由在可见光波段和近红外光波段具有灵敏度的像素、和在近红外光波段具有灵敏度的像素构成的摄像部拍摄彩色图像的情况下，也能够与光源的种类相应地得到色彩重现性良好的输出图像。

用于解决课题的技术方案

对本申请中公开的发明中代表性的概要简单说明，如下所述。

(1)一种摄像装置，其特征在于，包括：图像传感器，其包括在可见光波段和近红外光波段具有灵敏度的像素和在近红外光波段具有灵敏度的像素；色彩重现处理单元，其使用所述图像传感器的输出信号中的、来自所述在可见光波段和近红外光波段具有灵敏度的像素的信号和来自所述在近红外光波段具有灵敏度的像素的信号，来进行色彩重现处理；可见光量计算单元，其使用所述图像传感器的输出信号计算可见光波段的信号量；和控制单元，其控制所述色彩重现处理单元来基于所述可见光量计算单元计算出的可见光波段的信号量进行色彩重现处理。

(2)如(1)所述的摄像装置，其特征在于：还包括近红外光量计算单元，其使用所述图像传感器的输出信号计算近红外光波段的信号量，所述控制单元控制所述色彩重现处理单元来基于所述可见光波段的信号量与所述近红外光波段的信号量的差进行色彩重现处理。

(3)一种使用具有图像传感器的摄像装置的摄像方法，所述图像传感器包括在可见光波段和近红外光波段具有灵敏度的像素和在近红外光波段具有灵敏度的像素，所述摄像方法的特征在于，包括：可见光量计算步骤，使用所述图像传感器的输出信号计算可见光波段的信号量；和色彩重现处理步骤，基于所述计算出的可见光波段的信号量，使用来自所述在可见光波段和近红外光波段具有灵敏度的像素的信号和来自所述在近红外光波段具有灵敏度的像素的信号，来进行色彩重现处理。

(4)一种车载摄像系统，其特征在于，包括：摄像装置；对被拍摄体照射可见光的可见光照射光源；对被拍摄体照射近红外光的近红外光照射光源；从所述摄像装置输出的图像中识别物体的图像识别装置；图像合成装置，其输出将所述摄像装置输出的图像与所述图像识别装置的识别结果合成而得的合成图像；显示所述图像合成装置输出的合成图像的显示装置；和系统控制装置，所述摄像装置包括：图像传感器，其包括在可见光波段和近红外光波段具有灵敏度的像素和在近红外光波段具有灵敏度的像素；色彩重现处理单元，其使用所述图像传感器的输出信号中的、来自所述在可见光波段和近红外光波段具有灵敏度的像素的信号和来自所述在近红外光波段具有灵敏度的像素的信号，来进行色彩重现处理；可见光量计算单元，其使用所述图像传感器的输出信号计算可见光波段的信号量；和控制单元，其控制所述色彩重现处理单元来基于所述可见光量计算单元计算出的可见光波段的信号量进行色彩重现处理。

发明效果

根据本发明，能够提供一种摄像装置、摄像方法和车载摄像系统，例如在使用由在可见光波段和近红外光波段具有灵敏度的像素、和在近红外光波段具有灵敏度的像素构成的摄像部拍摄彩色图像的情况下，也能够与光源的种类相应地得到色彩重现性良好的输出图像。

附图说明

图1是表示摄像装置的一个结构例的图。

图2是表示摄像部的像素的排列的一例的图。

图3是表示摄像部的像素的波长灵敏度特性的一例的图。

图4是表示实施例1的控制部中的色彩矩阵系数和减法系数决定方法的流程图的例子的图。

图5是表示实施例1的控制部中的色彩矩阵系数和减法系数的插值方法的例子的图。

图6是表示控制部中的AWB增益的决定方法的一例的图。

图7是表示实施例2的控制部中的色彩矩阵系数和减法系数决定方法的流程图的例子的图。

图8是表示实施例2的控制部中的色彩矩阵系数和减法系数的插值方法的例子的图。

图9是表示控制部中的色彩矩阵系数决定方法的流程图的一例的图。

图10是表示控制部中的色彩矩阵系数的插值方法的一例的图。

图11是表示摄像装置的变形例的一个结构例的图。

图12是表示车载摄像系统的一个结构例的图。

图13是说明某一场景的图。

图14是表示可见光波段摄像装置的输出图像的一例的图。

图15是表示近红外光波段摄像装置的输出图像的一例的图。

图16是表示摄像装置的输出图像的一例的图。

图17是表示图像合成装置的输出图像的一例的图。

图18是表示图像合成装置的输出图像的另一例的图。

具体实施方式

以下，用附图说明本发明的实施方式的例子。

实施例1

图1是表示实施例1中的摄像装置100的结构图。

摄像装置100适当使用透镜101、摄像部102、(红色波段+近红外光波段)(以下称为(R+I))信号解马赛克(demosaicing)部103、(绿色波段+近红外光波段)(以下称为(G+I))信号解马赛克部104、(蓝色波段+近红外光波段)(以下称为(B+I))信号解马赛克部105、近红外光波段(以下称为I)信号解马赛克部106、色彩矩阵运算部107、自动白平衡(以下称为AWB)增益部108、R信号伽玛运算部109、G信号伽玛运算部110、B信号伽玛运算部111、第一色差运算部112、第二色差运算部113、亮度矩阵运算部114、高频强调部115、亮度信号伽玛运算部116、可见光量检波部117、近红外光量检波部118、AWB检波部119、控制部120构成。

透镜101是使来自被拍摄体的光成像的透镜或透镜组。

摄像部102适当使用在可见光波段和近红外光波段双方具有灵敏度的像素即(R+I)像素、(G+I)像素、(B+I)像素、和在近红外光波段具有灵敏度的像素即I像素构成。各像素对于通过透镜101成像的光实施光电转换和A/D转换，输出作为数字数据的来自各像素的信号。

(R+I)信号解马赛克部103对于从摄像部102输出的来自(R+I)像素的信号实施插值处理，输出与其他的(G+I)像素、(B+I)像素、I像素的位置相当的(R+I)信号。同样，(G+I)信号解马赛克部104对于从摄像部102输出的来自(G+I)像素的信号实施插值处理而输出(G+I)信号。同样，(B+I)信号解马赛克部105对于从摄像部102输出的来自(B+I)像素的信号实施插值处理而输出(B+I)信号。同样，I信号解马赛克部106对于从摄像部102输出的来自I像素的信号实施插值处理而输出I信号。

色彩矩阵运算部107使用分别从(R+I)信号解马赛克部103、(G+I)信号解马赛克部104、(B+I)信号解马赛克部105、I信号解马赛克部106输出的信号、和从控制部120输出的减法系数和色彩矩阵系数，通过运算进行色彩重现处理，输出作为彩色信号的R信号、G信号、B信号。

AWB增益部108对于从色彩矩阵运算部107输出的各色信号，累计与光源的色温对应的AWB增益，输出AWB增益处理后的各色信号。

R信号伽玛运算部109对于从AWB增益部108输出的R信号进行伽玛运算，输出R信号。同样，G信号伽玛运算部110对于从AWB增益部108输出的G信号进行伽玛运算，输出G信号。同样，B信号伽玛运算部111对于从AWB增益部108输出的B信号进行伽玛运算，输出B信号。

第一色差运算部112和第二色差运算部113根据从R信号伽玛运算部109、G信号伽玛运算部110、B信号伽玛运算部111输出的彩色信号，生成第一色差信号和第二色差信号。例如，能够按照ITU-R(International telecomunication Union-RadiocommunicationsSector)的标准BT.709求出色差，第一色差信号是主要表示蓝色与亮度的差的色差信号即Pb，第二色差信号是主要表示红色与亮度的差的色差信号即Pr。第一色差信号和第二色差信号被输出至摄像装置100的外部。

亮度矩阵运算部114使用分别从(R+I)信号解马赛克部103、(G+I)信号解马赛克部104、(B+I)信号解马赛克部105、I信号解马赛克部106输出的信号生成亮度信号。

高频强调部115根据从亮度矩阵运算部114输出的亮度信号，施加强调高空间频率成分的处理，输出使图像内的轮廓部分(边缘)变得清晰的亮度信号。

亮度信号伽玛运算部116对于从高频强调部115输出的亮度信号进行伽玛修正处理，对摄像装置100的外部输出。对摄像装置100的外部输出的亮度信号、以及第一色差信号1和第二色差信号，是彩色的图像信号输出。

可见光量检波部117根据分别从(R+I)信号解马赛克部103、(G+I)信号解马赛克部104、(B+I)信号解马赛克部105、I信号解马赛克部106输出的信号，检测关注像素周边的可见光波段的光辐射的量，作为可见光波段的信号量输出。

近红外光量检波部118根据分别从(R+I)信号解马赛克部103、(G+I)信号解马赛克部104、(B+I)信号解马赛克部105、I信号解马赛克部106输出的信号，检测关注像素周边的近红外光波段的光辐射的量，作为近红外光波段的信号量输出。

AWB检波部119适当使用第一色差运算部112和第二色差运算部113输出的第一色差信号和第二色差信号、和亮度信号伽玛运算部116输出的亮度信号、和从控制部120输出的表示AWB检波范围的信号，检测白平衡的偏差，输出白平衡检波信号。

控制部120使用从可见光量检波部117输出的可见光波段的信号量和从近红外光量检波部118输出的近红外光波段的信号量，决定对于关注像素附近的光源最优的减法系数和色彩矩阵系数，对色彩矩阵运算部107输出。

另外，控制部120使用从可见光量检波部117输出的可见光波段的信号量和从近红外光量检波部118输出的近红外光波段的信号量，生成表示对于关注像素附近的光源最优的AWB检波范围的信号，对AWB检波部119输出。

由此，在使用具有在可见光波段和近红外光波段具有灵敏度的像素和在近红外光波段具有灵敏度的像素的摄像部拍摄彩色图像的摄像装置中，通过进行考虑了近红外光的影响的色彩矩阵处理和减法处理，能够得到色彩重现性良好的色差信号。

色彩矩阵运算部107例如适当使用I减法部121、R信号矩阵运算部122、G信号矩阵运算部123、B信号矩阵运算部124构成。

I减法部121从由(R+I)信号解马赛克部103输出的(R+I)信号中，减去从I信号解马赛克部106输出的I信号乘以作为权重的系数(减法系数)得到的值而生成R信号。另外，I减法部121从由(G+I)信号解马赛克部104输出的(G+I)信号中，减去从I信号解马赛克部106输出的I信号乘以减法系数后的值而生成G信号。另外，I减法部121从由(B+I)信号解马赛克部105输出的(B+I)信号中，减去从I信号解马赛克部106输出的I信号乘以减法系数后的值而生成B信号。这样，通过减法，能够得到除去了近红外光波段的信号成分的、仅有可见光波段的信号成分。

R信号矩阵运算部122根据从I减法部121输出的R信号、G信号、B信号，通过矩阵运算，生成色彩重现性更好的R信号并输出。同样，G信号矩阵运算部123根据从I减法部121输出的R信号、G信号、B信号，通过矩阵运算，生成色彩重现性更好的G信号并输出。同样，B信号矩阵运算部122根据从I减法部121输出的R信号、G信号、B信号，通过矩阵运算，生成色彩重现性更好的B信号并输出。

如上所述，根据本实施例，能够与可见光波段的信号量和近红外光波段的信号量相应地，控制色彩矩阵系数和减法系数，所以能够提供在使用由在可见光波段和近红外光波段具有灵敏度的像素和在近红外光波段具有灵敏度的像素构成的摄像部拍摄彩色图像的情况下，也能够得到色彩重现性良好的色差信号的摄像装置100。

接着，说明本实施例中的摄像部102。

图2是表示摄像部102的摄像元件的像素的排列的例子的图。图2中，(R+I)像素201、(G+I)像素202、I像素203、(B+I)像素204这4色的像素构成2×2像素尺寸的单位结构，该单位结构纵、横分别反复地配置。

图3是表示图2所示的摄像元件的各像素中包括的各像素的波长灵敏度特性的例子的图。摄像部102中，包括在可见光波段的红色波段(R)301和近红外光波段(I)302具有灵敏度的像素即(R+I)像素、在可见光波段的绿色波段(G)305和近红外光波段(I)306具有灵敏度的(G+I)像素、在近红外光波段(I)309具有灵敏度的I像素、和在可见光波段的蓝色波段(B)311和近红外光波段(I)312具有灵敏度的(B+I)像素这4种像素。

使用如图3所示的在近红外光波段具有灵敏度的摄像元件的目的，例如有通过在可见光波段之外也在近红外光波段具有灵敏度，而提高太阳光和卤素灯等以可见光波段和近红外光波段双方的波长辐射的光源下的环境中的最低被拍摄体照度这样的目的，和检测被拍摄体的近红外光波段特有的反射特性和发光特性等目的。

但是，根据摄像部102输出的信号求出彩色信号的情况下，在人眼对彩色的灵敏度特性的重现性的观点上，近红外光波段(I)的成分是多余波长成分。例如，假设图3的各像素中包括的对于近红外光波段(I)的灵敏度大致相同时，例如如果从(R+I)像素的输出信号中减去I像素的输出信号，就能够得到在红色波段(R)具有灵敏度的信号。对于绿色波段(G)、蓝色波段(B)也是同样的。另外，即使在各像素中包括的近红外光波段(I)的灵敏度不同的情况下，也能够通过调整相减时的系数(后述的减法系数)，而减少近红外光波段(I)的成分。但是，如后所述，各像素中近红外光波段(I)的灵敏度特性存在不均，并且如后所述各像素中包括多余的波长成分。关于用于减少该不均引起的色彩重现性的降低的具体方法，以色彩矩阵运算部107和AWB增益部108的动作为中心在以下叙述。

接着，说明本实施例中的色彩矩阵运算部107的动作。色彩矩阵运算部中，基于摄像部102输出的(R+I)信号、(G+I)信号、(B+I)信号、(I)信号，输出作为彩色信号的R信号、G信号、B信号。

首先，用I减法部121，除去近红外光波段的信号成分，输出在可见光波段具有灵敏度的彩色信号R1、G1、B1。

(式1)R1＝(R+I)-ki1×I

(式2)G1＝(G+I)-ki2×I

(式3)B1＝(B+I)-ki3×I

此处，(ki1，ki2，ki3)是减法系数。

接着，用R信号矩阵运算部122、G信号矩阵运算部123、B矩阵运算部124，输出提高了色彩重现性的作为彩色信号的R信号(R2)、G信号(G2)、B信号(B2)。

(式4)R2＝krr×R1+krg×G1+krb×B1

(式5)G2＝kgr×R1+kgg×G1+kgb×B1

(式6)B2＝kbr×R1+kbg×G1+kbb×B1

此处，(krr，krg，krb，kgr，kgg，kgb，kbr，kbg，kbb)是色彩矩阵系数。

如果将图3的各像素的波长灵敏度特性重叠，则存在红色成分(R)、绿色成分(G)、蓝色成分(B)相互对于相同波长具有灵敏度的、特性重叠的波段。一般与该特性重叠的波段的特性相应地通过(式4)至(式6)的色彩矩阵运算，调整特性重叠的波段的大小，提高色彩重现性。

另外，对上述(式1)至(式3)、以及(式4)至(式6)变形，能够写为如下所述。

(式7)R2＝krr2×(R+I)+krg2×(G+I)+krb2×(B+I)+kii2×I

(式8)G2＝kgr2×(R+I)+kgg2×(G+I)+kgb2×(B+I)+kgi2×I

(式9)B2＝krr2×(R+I)+krg2×(G+I)+krb2×(B+I)+kii2×I

此处，(krr2，krg2，krb2，kri2，kgr2，kgg2，kgb2，kgi2，kbr2，kbg2，kbb2，kbi2)是色彩矩阵系数。

(式1)至(式3)实施相当于3行1列的矩阵运算的运算，(式4)至(式6)实施相当于3行3列的矩阵运算的运算，能够将其写为如(式7)至(式9)所示3行4列的矩阵运算。因此，图1中，色彩矩阵运算部107由I减法部121、R信号矩阵运算部122、G信号矩阵运算部123、B信号矩阵运算部124构成，但也可以构成为实现(式7)至(式9)。该情况下，运算的级数减少，所以能够减少色彩重现性的降低，同时改善用硬件实现时的延迟(latency)。

接着，说明本实施例中的AWB增益部108的动作。AWB增益部108中，与光源的色温相应地实施以下计算。

(式10)R3＝kr×R2

(式11)G3＝kg×G2

(式12)B3＝kb×B2

此处，(kr，kg，kb)是称为AWB增益的系数。

但是，实际上各像素的近红外光波段(I)的成分的波长灵敏度特性(图3的302、306、309、312)存在不均，仅单纯地减去I像素的信号值，不能够最佳地减少近红外光波段(I)成分。

另外，各像素中包括多余的波长成分。例如，(R+I)像素中图3的红色波段(R)301和近红外光波段(I)302是有效的波长成分，图3的303、304是多余的波长成分。对于其他像素也是同样的，(G+I)像素中存在多余的波长成分307、308，(I)像素中存在多余的波长成分310，(B+I)像素中存在多余的波长成分313。这些多余的波长成分(图3的303、304、307、308、310、313)优选为零但不为零，所以减去I像素的信号值时、和色彩矩阵运算后的波长灵敏度特性中，会在不想要的波长成分中具有正或负的灵敏度。

该近红外光波段(I)的成分的特性不均和多余的波长成分的影响程度，因光源的种类而不同。

例如考虑用一般的三波长型荧光灯作为光源的情况时，光源在可见光波段的红色波段(R)、绿色波段(G)、蓝色波段(B)中各具有1个辐射能量的峰，包括近红外光波段(I)的此外的波长的辐射非常少或为零。在这样的情况下，近红外光波段(I)的不均的影响几乎不存在，但受到多余的波长成分的影响。另外，例如考虑用卤素灯作为光源的情况时，光源在近红外光波段中的辐射能量比可见光波段更高。这样的情况下，近红外光波段(I)的不均的影响增大，另一方面，多余的波长成分的影响变得比较小。另外，例如用仅在近红外光波段(I)辐射的近红外投光灯作为光源时，不能够重现色彩。

在色彩矩阵运算部107中，通过使这些影响最小化，并且调整各波长成分的特性的重叠方式，而试图实现良好的色彩重现，但这样，需要考虑因为光源中包括的可见光波段和近红外光波段的辐射能量的差异，多余的波长成分和不均的影响程度不同这一点。但是，矩阵系数固定的情况，和如专利文献1的方法那样在色彩空间上控制色彩矩阵的情况下，不能够考虑可见光波段和近红外光波段的辐射能量的差异，所以存在不能够得到良好的色彩重现的课题。于是，为了解决本课题，本实施例中，引入了与光源中包括的可见光波段和近红外光波段的辐射能量的差异相应地选择减法系数和色彩矩阵系数的单元。以下说明该单元和效果。

本实施例中，为了检测光源中包括的可见光波段和近红外光波段的辐射能量的差异，而使用图1的可见光量检波部117和近红外光量检波部118和控制部120。

可见光量检波部117例如通过如下所述的计算，检测关注像素周边的可见光波段的信号量Yd。

(式13)Yd＝Σ(kyd1×((R+I)-kid1×I)

+kyd2×((G+I)-kid2×I)

+kyd3×((B+I)-kid3×I))

(kid1、kid2、kid3、kyd1、kyd2、kyd3表示系数，Σ表示关注像素周边的信号量的总和)

近红外光量检波部118例如通过如下所述的计算，检测关注像素周边的近红外光波段的信号量Id。

(式14)Id＝ΣI

(Σ表示关注像素周边的信号量的总和。总和的区域与式5的情况相同)

(式13)、(式14)的运算对每个像素、或者对动态图像的每帧或每场实施。

图1的控制部120与(式13)、(式14)的结果相应地，对辐射能量进行比较。

图4是控制部120中的色彩矩阵系数和减法系数的决定方法的流程图的例子。

首先，在步骤401和402中，控制部120从可见光量检波部117读取可见光波段的信号量Yd，从近红外光量检波部118读取近红外光波段的信号量Id。此处，读取可见光波段的信号量Yd和读取近红外光波段的信号Id哪一方先执行均可，或者也可以同时实施。

接着，在步骤403中，控制部120如下所述地导出光量相减结果D。

(式15)D＝Yd-Id

接着，在步骤404和步骤405中，控制部120基于光量相减结果D，决定减法系数和色彩矩阵系数的组Mat3(以下，用Mat*(*是任意的数字)表示减法系数与色彩矩阵系数的组合)。由(式15)可知，存在例如在荧光灯下这样可见光波段的辐射能量高的光源下D比较高，在卤素灯这样近红外光波段的辐射能量高的光源下D比较低或为负，在近红外光投光灯这样仅有近红外的辐射能量强的光源下成为绝对值大的负值的倾向。控制部120能够基于该光量相减结果D的倾向推测光源的种类，能够与光源的种类相应地生成适当的色彩矩阵系数和减法系数的组Mat3。

在步骤406中，控制部120将色彩矩阵系数和减法系数的组Mat3输出至色彩矩阵运算部107。

对于步骤404和405，用图5更详细地说明。

图5是表示根据光量相减结果D导出色彩矩阵系数(krr，krg，krb，kgr，kgg，kgb，kbr，kbg，kbb)和减法系数(ki1，ki2，ki3)的方法的图。对于光量相减结果D的跳跃的值，预先决定色彩矩阵系数和减法系数。例如在图5中，对于D为-255、-128、0、128、255时预先决定。本实施例中，Yd-Id的值可以取0至255的值，对于两端及其中间的3点，大致等间隔地预先决定值。决定关注像素的光量相减结果D后，选择2个接近该D值的系数组。设选择的第一个系数组为Mat1(501～504，513～516，525～528)，选择的第二个系数组为Mat2(505～508，517～520，529～532)。之后，设与D的值相应地根据2个系数组按每个系数内插值而决定的系数组为Mat3(509～512，521～524，533～536)。

例如，作为预先决定的系数组，在图5的光量相减结果D为-255时，例如以对于近红外投光灯最佳的方式将色彩矩阵系数设定为接近0而成为无色彩这样的系数组，D为0时例如以对于卤素灯最佳的方式考虑多余的波长成分和近红外光波段的不均双方进行调整，为255时设定为对于荧光灯(重点除去可见光波段内的多余的波长成分)最佳的减法系数和色彩矩阵系数，对于之间的值，以适当取中间值的方式决定。通过这样，在光源按画面内的每个区域、或者以时间序列变化这样的情况下，也能够选择最佳的减法系数和色彩矩阵系数，可以得到能够改善色彩重现性的效果。

另外，在(式15)中，为了得到同样的效果，也可以通过Yd与Id的相除求出比率，但使用减法具有能够减小电路规模的特征。

接着，说明本实施例中的AWB控制。

图6是表示控制部120中的AWB检波范围的控制方法的说明图。在图6的横轴601中示出从图1的第一色差运算部112输出的第一色差信号，在图6的纵轴602中示出从第二色差运算部113输出的第二色差信号的输出值。在色差平面上，定义AWB检波范围603、604。AWB检波范围表示AWB中视为白色的像素的色差水平的范围。例如，图6中按各轴设置阈值而将AWB检波范围603、604定义为矩形，但不限于此，也可以定义为任意的形状。

AWB检波部119求出各像素的第一色差信号(此处设为Pb)和第二色差信号(此处设为Pr)双方位于AWB检波范围604内的所有像素的第一色差信号Pb的平均值Pba和第二色差信号Pr的平均值Pba，将其(Pba，Pra)输出至控制部120。

无色彩是(Pb，Pr)＝(0，0)，控制部120以(Pba，Pra)接近(0，0)的方式，调整AWB增益(上述(式10)至(式12)的kr、kg、kb)。例如，Pba较高时减少kb的值，较低时增加kb的值。另外，Pra较高时减少kr的值，较低时增加kr的值。控制部120将调整后的AWB增益记录在控制部120内部，并且输出至AWB增益部108。

在图6的603中示出某个色彩矩阵系数和减法系数时的AWB检波范围。减法系数和色彩矩阵系数已经表现为按图4的流程图受到控制，但结果，因为减法系数和色彩矩阵系数的变化，第一色差信号和第二色差信号变化。即，AWB检波范围也变化。

AWB检波范围过宽时，画面内的无色彩以外的场所也会被检测为无色彩，过窄时存在不能正确修正白平衡的情况。因此，需要选择最佳的检波范围。于是，本实施例中，对于AWB检波范围，也与减法系数和色彩矩阵系数的变化相应地进行修正。从原本的AWB检波范围603时起，减法系数和色彩矩阵系数发生了变化时，第一色差信号和第二色差信号的轴基于(式1)至(式12)以及例如BT.709的色差计算式变化。与该第一色差信号和第二色差信号的变化相应地，对于AWB检波范围也预先决定修正后的范围。本实施例中，基于(式15)的光量相减结果D的值、和kr、kg、kb的值、和亮度信号的值，决定AWB检波范围604。

本实施例的摄像装置中，通过该AWB检波范围的控制，在可见光和非可见光的平衡变化这样的情况下，也能够进而选择最佳的减法系数和色彩矩阵，可以得到能够改善色彩重现性的效果。

实施例2

接着，说明第二实施例。实施例2中的摄像装置与实施例1的结构相同，控制部120中的处理内容等与实施例1不同。以下，对于与实施例1相同之处适当引用说明而省略，主要说明不同之处。

图7是实施例2中的控制部120中的处理内容、即色彩矩阵系数和减法系数的决定方法的流程图的例子。

首先，在步骤701中，控制部120从可见光量检波部117读取可见光波段的信号量Yd。

接着，在步骤702、703中，控制部120根据可见光波段的信号量Yd，决定减法系数和色彩矩阵系数的组Mat3。例如在如荧光灯和卤素灯那样可见光波段的辐射能量高的光源下、并且被拍摄体的反射率高的情况下Yd较高，在光源几乎照射不到或者近红外光波段的辐射能量高的光源下，Yd存在成为比较低的值的倾向。控制部120基于可见光波段的信号量Yd的倾向推测光源的种类，能够与光源的种类相应地生成适当的色彩矩阵系数和减法系数的组Mat3。

在步骤704中，控制部120将色彩矩阵系数和减法系数的组Mat3输出至色彩矩阵运算部107。

对于步骤702和703，用图8更详细地说明。

图8是表示根据可见光波段的信号量导出色彩矩阵系数(krr，krg，krb，kgr，kgg，kgb，kbr，kbg，kbb)和减法系数(ki1，ki2，ki3)的方法的图。对于可见光波段的信号量Yd的跳跃的值，预先决定色彩矩阵系数和减法系数。例如在图8中，对于Yd为0、64、128、192、255时预先决定。本实施例中，Yd的值可以取0至255的值，对于两端及其中间的3点，大致等间隔地预先决定值。读取关注像素的可见光波段的信号量Yd后，选择2个接近该Yd值的系数组。设选择的第一个系数组为Mat1(801～804，813～816，825～828)，选择的第二个系数组为Mat2(805～808，817～820，829～832)。之后，设与Yd的值相应地根据2个系数组按每个系数内插值而决定的系数组为Mat3(809～812，821～824，833～836)。

例如，作为预先决定的系数组，在图8的光量相减结果Yd为0时设定为对于近红外投光灯(例如使色彩矩阵系数接近0而成为无色彩)最佳、为255时设定为对于荧光灯(重点除去可见光波段内的多余的波长成分)最佳的减法系数和色彩矩阵系数，对于之间的值，以适当取中间值的方式决定。通过这样，在光源按画面内的每个区域、或者以时间序列变化这样的情况下，也能够选择最佳的减法系数和色彩矩阵系数，可以得到能够改善色彩重现性的效果。

另外，实施例2中，与实施例1的情况不同，不使用近红外光波段的信号量。因此，能够采用从图1中除去了近红外光量检波部118的结构。该情况下，具有能够减小电路规模的特征。

实施例3

接着，说明第三实施例。实施例3中的摄像装置与实施例1的结构相同。

接着，说明第三实施例。实施例3中的摄像装置与实施例1的结构相同，控制部120中的处理内容等与实施例1不同。以下，对于与实施例1相同之处适当引用说明而省略，主要说明不同之处。

图9是实施例3中的控制部120中的处理内容、即色彩矩阵系数和减法系数的决定方法的流程图的例子。

首先，在步骤901和902中，控制部120从可见光量检波部117读取可见光波段的信号量Yd，并从近红外光量检波部118读取近红外光波段的信号量Id。此处，读取可见光波段的信号量Yd和读取近红外光波段的信号量Id哪一方先执行均可，或者也可以同时实施。

接着，在步骤903和904中，控制部120根据可见光波段的信号量Yd与近红外光波段的信号量Id的组合，决定减法系数和色彩矩阵系数的组Mat5。因光源的种类而在各波长的辐射能量特性中具有特征，所以根据Yd与Id的组合，能够推测主要对关注像素附近照射的光源的种类。例如，Yd和Id都高的情况下能够推测为卤素灯，Yd高Id低的情况下能够推测为荧光灯，Yd低Id高的情况下能够推测为近红外投光灯，等等。与该推测出的光源的种类相应地生成适当的色彩矩阵系数和减法系数的组Mat5。

在步骤905中，控制部120将决定的系数组Mat5输出至色彩矩阵运算部107。

对于步骤903和904，用图10更详细地说明。

图10是表示根据可见光波段的信号量Yd和近红外光波段的信号量Id，导出色彩矩阵系数和减法系数的方法的图。对于Yd与Id的跳跃的值的组合，预先决定色彩矩阵系数和减法系数。例如在图10中，对于Yd、Id分别为0、64、128、192、255时，决定色彩矩阵系数和减法系数的组。本实施例中，Yd、Id的值分别可以取0至255的值，对于两端及其中间的3点，大致等间隔地预先决定值。例如，对于(Yd，Id)的跳跃的值的组合，用表定义各系数。

决定关注像素附近的(Yd，Id)后，选择4个接近(Yd，Id)的系数组。设选择的第一个系数组为Mat1·1001，选择的第二个系数组为Mat2·1002，选择的第三个系数组为Mat3·1003，选择的第二个系数组为Mat4·1004。之后，设与(Yd，Id)的值相应地根据4个系数组按每个系数内插值而决定的系数组为Mat5·1005。

例如，作为预先决定的系数组，图10的(Yd，Id)为(0，0)和(0，255)时设定为对于近红外投光灯用(例如使色彩矩阵系数接近0而成为无色彩)最佳、为(255，255)时设定为对于卤素灯用(考虑多余的波长成分和近红外光波段的误差双方)最佳、为(255，0)时设定为对于荧光灯用(重点除去可见光波段内的多余的波长成分)最佳的减法系数和色彩矩阵系数，对于此外的点，以适当取中间值的方式决定。通过这样，在光源按画面内的每个区域、或者以时间序列变化这样的情况下，也能够选择最佳的减法系数和色彩矩阵系数，可以得到能够改善色彩重现性的效果。其中，本实施例中，根据4个系数组决定1个按每个系数通过内插值决定的系数组，但最初选择的系数组不限于4个，能够适当变更。

另外，实施例3中与近红外光波段的信号量和可见光波段的信号量各自的值的绝对量相应地推测光源，所以能够更高精度地设定适于光源的色彩矩阵和减法系数，所以具有能够进一步改善色彩重现性的特征。

实施例4

接着，说明第四实施例。图11是表示实施例4中的摄像装置1100的结构图。

摄像装置1100适当使用透镜101、摄像部102、(R+I)信号解马赛克部103、(G+I)信号解马赛克部104、(B+I)信号解马赛克部105、I信号解马赛克部106、色彩矩阵运算部1101、AWB增益部108、R信号伽玛运算部109、G信号伽玛运算部110、B信号伽玛运算部111、第一色差运算部112、第二色差运算部113、亮度矩阵运算部114、高频强调部115、亮度信号伽玛运算部116、可见光量检波部1102、近红外光量检波部118、AWB检波部119、控制部120构成。进而，色彩矩阵运算部1101例如适当使用I减法部121、R信号矩阵运算部122、G信号矩阵运算部123、B信号矩阵运算部124构成。

此处，实施例4的图11的摄像装置1100的结构，在与实施例1的图1的摄像装置100的结构比较时，色彩矩阵运算部1101和可见光量检波部1102以外的结构是相同的，所以对于相同的结构适当引用说明而省略，以下主要说明不同之处。

图11的色彩矩阵运算部1101具有与图1的色彩矩阵运算部107基本相同的结构，是追加了对可见光检波部1102输出作为中间输出的图11的I减法部121的输出这一点的结构。

图11的可见光量检波部1102，在输入I减法部121输出的彩色信号R1、G1、B1这一点上，与图1的可见光量检波部117不同。

首先，与实施例1的情况同样地，除去近红外光波段的信号成分，在可见光波段具有灵敏度的彩色信号R1、G1、B1，在I减法部121中如上述(式1)至(式3)所示地计算。

本实施例4的图11的可见光量检波部1102中，通过如下所示的计算，检测关注像素周边的可见光波段的信号量Yd。

(式16)Yd＝Σ(kyd1×R1

+kyd2×G1

+kyd3×B1

(kyd1、kyd2、kyd3表示系数，Σ表示关注像素周边的信号量的总和)

该(式16)的式子，等同于对于实施例1中说明的(式13)追加了下式的条件。

(式17)kid1＝kd1

(式18)kid2＝kd2

(式19)kid3＝kd3

通过追加该(式17)至(式19)的式子的条件，即使基于从I减法部121输出的彩色信号R1、G1、B1计算可见光波段的信号量Yd，也能够与图1的情况同样地实施之后的控制部120中的动作。

控制部120的动作，例如可以符合实施例1、实施例2、实施例3中任意一方的动作，各实施例中记载的变形等能够适当应用。在各动作中，能够得到实施例1至3中分别说明的效果。

另外，与(式13)相比，(式16)是更简单的式子，由此可知通过使结构成为如图11所示，具有与实施例1的图1的情况相比能够减小可见光量检波部1102的电路规模的特征。

实施例5

图12是表示实施例5中的车载摄像系统1200的结构图。

车载摄像系统1200适当使用可见光照射光源1201、近红外光照射光源1202、光源开关1203、摄像装置1204、图像识别装置1205、图像合成装置1206、显示装置1207、系统控制装置1208构成。

可见光照射光源1201是照射包括可见光波段的光的光源，例如是照射可见光波段的光的白色Light-Emitting Diode(发光二极管，以下称为LED)光源、或照射可见光波段和近红外光波段的光的卤素灯等。本实施例中，以卤素灯的情况为例进行说明。

近红外光照射光源1202是照射近红外光波段的光的光源。例如是照射650nm至1200nm的波长的光的LED光源等。

光源开关1203是使可见光照射光源1201和近红外光照射光源1202的照射ON/OFF(打开/关闭)的开关，对系统控制装置1208输出表示各光源的ON/OFF(打开/关闭)的点亮信号。

摄像装置1204在可见光波段和近红外光波段中拍摄被拍摄体，输出亮度信号、第一色差信号、第二色差信号。摄像装置1204具有与实施例1至实施例4的摄像装置同样的结构。进而，摄像装置1204对控制部120输入系统控制装置1208输出的控制信号。

图像识别装置1205使用从摄像装置1204输出的亮度信号、第一色差信号、第二色差信号，识别被拍摄体并输出与识别结果相应的识别结果信号。

图像合成装置1206基于从图像识别装置1205输出的识别结果信号，输出对于从摄像装置1204输出的亮度信号、第一色差信号、第二色差信号叠加了图像识别结果后的亮度信号、第一色差信号、第二色差信号。

显示装置1207是显示从图像合成装置1206输出的亮度信号、第一色差信号、第二色差信号的装置，例如是液晶显示器等。

车载摄像系统1200设想为机动车或电车等车辆上搭载的设备。例如在机动车中，可见光照射光源1201相当于近光光束，近红外照射光源1201相当于远光光束。光源开关1203相当于车辆的驾驶员操作的远光光束/近光光束的切换开关。本实施例中，动作是驾驶员将光源开关1203置于“近光”时仅有可见光照射光源1201点亮，置于“远光”时可见光照射光源1201和近红外照射光源1202双方点亮，置于“OFF(关闭)”时可见光照射光源1201和近红外照射光源1202都不点亮。

图13是说明本实施例的场景的图。以下，例如使用图13的夜间的一个场景，说明本实施例的车载摄像系统的一个效果。图13中，本车1302正行驶在道路1301上。从本车分别由图12的可见光照射光源1201对图13的可见光照射范围1303、由近红外光照射光源1202对图13的近红外光照射范围1304放射光。在可见光照射范围1303内，存在标志1305。另外，在近红外光照射范围1304内，存在行人1306、信号灯1307、车辆1309、自发光标志1310。另外，信号灯1308正在工作，存在正在发光的灯1308。例如设想日本一般使用的信号灯时，红色、黄色、绿色中的某一个灯点亮或闪烁。

在这样的图13的场景中，作为本车的驾驶员实施为了安全驾驶而对本车前方状况的确认的辅助，设想驾驶员观看后文示出的一些用摄像装置拍摄的图像。在被拍摄体中，对于行人1306、信号灯1307、车辆1309，要求能够根据图像判断存在于何处。另外，在被拍摄体中，对于标志1305、信号灯的正在发光的灯1308、自发光标志1310，要求能够根据图像判断存在于何处、是何种色彩。

图14表示在图13的场景中例如使用可见光摄像装置作为摄像装置的情况下的输出图像。此处，可见光波段摄像装置指的是在可见光波段的光中彩色拍摄的摄像装置，是近年来一般的彩色摄像机。该摄像装置中，能够仅彩色拍摄存在于可见光照射范围1303内、或者自发光的被拍摄体。图14中，行人1306、车辆1309未被拍摄，所以不能够根据图像判断正在如何运动。另外，对于信号灯1307，仅有正在发光的灯1308被拍摄，但因为不是整体像，所以不能够根据图像判断是信号灯1307。如上所述，如图14所示使用可见光波段摄像装置的情况下，存在改善的余地。

图15表示在图13的场景中使用近红外光摄像装置作为摄像装置的情况下的输出图像。此处，近红外光摄像装置是仅对于近红外光波段的光、或者对于近红外光波段和可见光波段的光具有灵敏度的单色的摄像机，也称为夜视摄像装置。该摄像装置中，能够单色拍摄存在于可见光照射范围1303内、或者存在于近红外照射范围1304内、或者自发光的被拍摄体。图15中，标志1305、信号灯的正在发光的灯1308、自发光标志1310被单色拍摄，不能够根据图像判断颜色。如上所述，如图15所示使用近红外光波段摄像装置的情况下，也存在改善的余地。

图16表示在图13的场景中使用本发明的各实施例中说明的摄像装置作为摄像装置的情况下的输出图像。即，图16是图12的车载摄像系统1200搭载在图13的本车1302上的情况下，用显示装置1207显示的输出图像。

如果使用该摄像装置，则用可见光波段的光拍摄的被拍摄体成为彩色的，用近红外光波段的光拍摄的被拍摄体成为单色的。图16中，对于行人1306、信号灯1307、车辆1309，能够根据图像判断存在于何处。另外，在被拍摄体中，对于标志1305、信号灯的正在发光的灯1308、自发光标志1310，能够根据图像判断存在于何处、是何种色彩。因此，通过图像合成装置1206对显示装置1207输出摄像装置1200输出的图像并显示，由此驾驶员能够根据图像判断被拍摄体的场所和颜色，结果能够更好地辅助安全驾驶。

进而，本实施例中，如图17所示，能够强调显示信号灯1307的整体像和颜色。图17是在图像识别装置1205中识别信号灯1307、与该识别结果相应地在图像合成装置1206中生成的输出图像。在摄像装置1200输出的图16的图像信号中，信号灯1307和正在发光的灯1308成为被强调显示的信号灯1701、被强调显示的正在发光的灯1702而被强调显示。此处，强调显示意思是通过使该被拍摄体的边缘显得较粗、或者提高对比度、或者通过部分缩放而较大地显示，而提高辨认性。

本实施例中，通过使用摄像装置1204，能够同时拍摄被拍摄体的颜色和形状双方，所以图像识别装置1205能够识别被拍摄体例如是信号灯1307、正在发光的灯1308的颜色是什么。通过将这样生成的如图17所示的输出图像输出至显示装置1207并显示，驾驶员能够以辨认性良好的形式根据图像判断被拍摄体的场所和颜色，结果能够更好地辅助安全驾驶。

实施例6

接着，说明第六实施例。实施例6是用与上述车载摄像系统1200同样的结构输出不同的输出图像的车载摄像系统。

本实施例中，如图18所示，将被拍摄体置换为称为模板(template)的图像显示。模板是与作为识别来源的图像的对比度低或者色彩重现性差这样辨认性的优劣无关地，保持预先准备的图案，或者基于预先准备的图案、基于用摄像装置1200实际拍摄的输出图像修正尺寸和角度等并输出的图像的部件。

图像识别装置1206中，根据如图16所示的摄像装置1200的输出图像识别被拍摄体，将该识别结果输出至图像合成装置1206。图像合成装置1206中，根据从摄像装置1200输出的图像，生成将被拍摄体的一部分置换为作为模板的标志模板1801、行人模板1802、信号灯模板1803、车辆模板1804、自发光标志模板1805得到的输出图像。将这样生成的如图18所示的输出图像输出至显示装置1207并显示，由此驾驶员能够以辨认性良好的形式根据图像判断被拍摄体的场所和颜色，结果能够更好地辅助安全驾驶。其中，此处示出了将所有对象置换为模板并输出的例子，但不限于此，也可以仅将一部分对象物置换为模板。例如，也可以仅将辨认性在规定的阈值以下、辨认性差的对象置换为模板，或者也可以在输出图17的图像的同时，每隔一定时间间隔地对各对象物重叠显示模板。

另外，本申请中公开的发明不限定于上述实施例，包括各种变形例。例如，上述实施例是为了易于理解地说明本发明而详细说明的，并不限定于必须具备说明的所有结构。另外，能够将某个实施例的结构的一部分置换为其他实施例的结构，并且也能够在某个实施例的结构上添加其他实施例的结构。另外，对于各实施例的结构的一部分，能够追加、删除、置换其他结构。

另外，上述各结构的一部分或全部可以用硬件构成，也可以构成为通过用处理器执行程序而实现。另外，控制线和信息线示出了认为说明上必要的，并不一定示出了产品上所有的控制线和信息线。实际上也可以认为几乎所有结构都相互连接。

符号说明

100 摄像装置

101 透镜

102 摄像部

103 (R+I)信号解马赛克部

104 (G+I)信号解马赛克部

105 (B+I)信号解马赛克部

106 I信号解马赛克部

107 色彩矩阵运算部

108 AWB增益部

109 R信号伽玛运算部

110 G信号伽玛运算部

111 B信号伽玛运算部

112 色差运算部1

113 色差运算部2

114 亮度矩阵运算部

115 高频强调部

116 亮度信号伽玛运算部

117 可见光量检波部

118 近红外光量检波部

119 AWB检波部

120 控制部

121 I减法部

122 R信号矩阵运算部

123 G信号矩阵运算部

124 B信号矩阵运算部

201 (R+I)像素

202 (G+I)像素

203 I像素

204 (B+I)像素

301 红色波段(R)成分

302 近红外光波段(I)成分

303 多余波长成分

304 多余波长成分

305 绿色波段(G)成分

306 近红外光波段(I)成分

307 多余波长成分

308 多余波长成分

309 近红外光波段(I)成分

310 多余波长成分

311 红色波段(B)成分

312 近红外光波段(I)成分

313 多余波长成分

401 步骤1

402 步骤2

403 步骤3

404 步骤4

405 步骤5

406 步骤6

501 Mat1的krr(色彩矩阵系数)

502 Mat1的krg(色彩矩阵系数)

503 Mat1的krb(色彩矩阵系数)

504 Mat1的ki1(减法系数)

505 Mat2的krr(色彩矩阵系数)

506 Mat2的krg(色彩矩阵系数)

507 Mat2的krb(色彩矩阵系数)

508 Mat2的ki1(减法系数)

509 Mat3的krr(色彩矩阵系数)

510 Mat3的krg(色彩矩阵系数)

511 Mat3的krb(色彩矩阵系数)

512 Mat3的ki1(减法系数)

513 Mat1的kgr(色彩矩阵系数)

514 Mat1的kgg(色彩矩阵系数)

515 Mat1的kgb(色彩矩阵系数)

516 Mat1的ki2(减法系数)

517 Mat2的kgr(色彩矩阵系数)

518 Mat2的kgg(色彩矩阵系数)

519 Mat2的kgb(色彩矩阵系数)

520 Mat2的ki2(减法系数)

521 Mat3的kgr(色彩矩阵系数)

522 Mat3的kgg(色彩矩阵系数)

523 Mat3的kgb(色彩矩阵系数)

524 Mat3的ki2(减法系数)

525 Mat1的kbr(色彩矩阵系数)

526 Mat1的kbg(色彩矩阵系数)

527 Mat1的kbb(色彩矩阵系数)

528 Mat1的ki3(减法系数)

529 Mat2的kbr(色彩矩阵系数)

530 Mat2的kbg(色彩矩阵系数)

531 Mat2的kbb(色彩矩阵系数)

532 Mat2的ki3(减法系数)

533 Mat3的kbr(色彩矩阵系数)

534 Mat3的kbg(色彩矩阵系数)

535 Mat3的kbb(色彩矩阵系数)

536 Mat3的ki3(减法系数)

601 色差信号1Pb

602 色差信号2Pr

603 原本的AWB检波范围

604 修正后的AWB检波范围

701 步骤1

702 步骤2

703 步骤3

704 步骤4

801 Mat1的krr(色彩矩阵系数)

802 Mat1的krg(色彩矩阵系数)

803 Mat1的krb(色彩矩阵系数)

804 Mat1的ki1(减法系数)

805 Mat2的krr(色彩矩阵系数)

806 Mat2的krg(色彩矩阵系数)

807 Mat2的krb(色彩矩阵系数)

808 Mat2的ki1(减法系数)

809 Mat3的krr(色彩矩阵系数)

810 Mat3的krg(色彩矩阵系数)

811 Mat3的krb(色彩矩阵系数)

812 Mat3的ki1(减法系数)

813 Mat1的kgr(色彩矩阵系数)

814 Mat1的kgg(色彩矩阵系数)

815 Mat1的kgb(色彩矩阵系数)

816 Mat1的ki2(减法系数)

817 Mat2的kgr(色彩矩阵系数)

818 Mat2的kgg(色彩矩阵系数)

819 Mat2的kgb(色彩矩阵系数)

820 Mat2的ki2(减法系数)

821 Mat3的kgr(色彩矩阵系数)

822 Mat3的kgg(色彩矩阵系数)

823 Mat3的kgb(色彩矩阵系数)

824 Mat3的ki2(减法系数)

825 Mat1的kbr(色彩矩阵系数)

826 Mat1的kbg(色彩矩阵系数)

827 Mat1的kbb(色彩矩阵系数)

828 Mat1的ki3(减法系数)

829 Mat2的kbr(色彩矩阵系数)

830 Mat2的kbg(色彩矩阵系数)

831 Mat2的kbb(色彩矩阵系数)

832 Mat2的ki3(减法系数)

833 Mat3的kbr(色彩矩阵系数)

834 Mat3的kbg(色彩矩阵系数)

835 Mat3的kbb(色彩矩阵系数)

836 Mat3的ki3(减法系数)

901 步骤1

902 步骤2

903 步骤3

904 步骤4

905 步骤5

1001 Mat1(色彩矩阵系数和减法系数)

1002 Mat2(色彩矩阵系数和减法系数)

1003 Mat3(色彩矩阵系数和减法系数)

1004 Mat4(色彩矩阵系数和减法系数)

1005 Mat5(色彩矩阵系数和减法系数)

1100 摄像装置

1101 色彩矩阵运算部

1102 可见光量检波部

1201 可见光照射光源

1202 近红外照射光源

1203 光源开关

1204 摄像装置

1205 图像识别装置

1206 图像合成装置

1207 显示装置

1208 系统控制装置

1301 道路

1302 本车

1303 可见光照射范围

1304 近红外光照射范围

1305 标志

1306 行人

1307 信号灯

1308 正在发光的灯

1309 车辆

1310 自发光标志

1601 被强调显示的信号灯

1602 被强调显示的正在发光的灯

1701 标志模板

1702 行人模板

1703 信号灯模板

1704 车辆模板。

Claims

1.一种摄像装置，其特征在于，包括：

图像传感器，其包括在可见光波段和近红外光波段具有灵敏度的像素和在近红外光波段具有灵敏度的像素；

色彩重现处理单元，其使用所述图像传感器的输出信号中的、来自所述在可见光波段和近红外光波段具有灵敏度的像素的信号和来自所述在近红外光波段具有灵敏度的像素的信号，来进行色彩重现处理；

可见光量计算单元，其使用所述图像传感器的输出信号计算可见光波段的总信号量；

近红外光量计算单元，其使用所述图像传感器的输出信号计算近红外光波段的信号量；和

控制单元，其控制所述色彩重现处理单元，来基于所述可见光量计算单元计算出的所述可见光波段的总信号量与所述近红外光量计算单元计算出的所述近红外光波段的信号量的差进行色彩重现处理。

2.如权利要求1所述的摄像装置，其特征在于：

所述控制单元，基于所述可见光波段的总信号量与所述近红外光波段的信号量的差设定色彩矩阵系数，控制所述色彩重现处理单元来进行基于所述设定的矩阵系数的色彩重现处理。

3.如权利要求2所述的摄像装置，其特征在于：

所述色彩重现处理单元包括减法部，其对来自所述在可见光波段和近红外光波段具有灵敏度的像素的信号使用来自所述在近红外光波段具有灵敏度的像素的信号进行减法处理，

所述控制单元进行控制，来基于减法系数进行所述减法部中的减法处理，所述减法系数基于所述可见光波段的总信号量与所述近红外光波段的信号量的差而设定。

4.如权利要求2或3所述的摄像装置，其特征在于：

所述色彩矩阵系数是对基于所述可见光波段的总信号量与所述近红外光波段的信号量的差选择出的多个色彩矩阵系数进行插值处理而得到的。

5.一种摄像装置，其特征在于，包括：

控制单元，其控制所述色彩重现处理单元来基于规定的系数进行色彩重现处理，所述规定的系数基于以所述可见光量计算单元计算出的所述可见光波段的总信号量和所述近红外光量计算单元计算出的所述近红外光波段的信号量作为输入的参考表而设定。

6.一种使用具有图像传感器的摄像装置的摄像方法，所述图像传感器包括在可见光波段和近红外光波段具有灵敏度的像素和在近红外光波段具有灵敏度的像素，所述摄像方法的特征在于，包括：

可见光量计算步骤，使用所述图像传感器的输出信号计算可见光波段的总信号量；

近红外光量计算步骤，使用所述图像传感器的输出信号计算近红外光波段的信号量；和

色彩重现处理步骤，基于所述可见光量计算步骤计算出的可见光波段的总信号量与所述近红外光量计算步骤计算出的所述近红外光波段的信号量的差，进行色彩重现处理。

7.如权利要求6所述的摄像方法，其特征在于：

所述色彩重现处理步骤中，基于色彩矩阵系数进行色彩重现处理，所述色彩矩阵系数基于所述可见光波段的总信号量与所述近红外光波段的信号量的差而设定。

8.一种使用具有图像传感器的摄像装置的摄像方法，所述图像传感器包括在可见光波段和近红外光波段具有灵敏度的像素和在近红外光波段具有灵敏度的像素，所述摄像方法的特征在于，包括：

色彩重现处理步骤，基于规定的系数进行色彩重现处理，所述规定的系数基于以所述可见光量计算步骤计算出的所述可见光波段的总信号量和所述近红外光量计算步骤计算出的所述近红外光波段的信号量作为输入的参考表而设定。

9.一种车载摄像系统，其特征在于，包括：

权利要求1～5中任一项所述的摄像装置；

对被拍摄体照射可见光的可见光照射光源；

对被拍摄体照射近红外光的近红外光照射光源；

从所述摄像装置输出的图像中识别物体的图像识别装置；

图像合成装置，其输出将所述摄像装置输出的图像与所述图像识别装置的识别结果合成而得的合成图像；

显示所述图像合成装置输出的合成图像的显示装置；和

系统控制装置。

10.如权利要求9所述的车载摄像系统，其特征在于：

所述图像识别装置识别被拍摄体中包含的信号灯并强调显示该信号灯。

11.如权利要求9所述的车载摄像系统，其特征在于：

所述图像识别装置将识别出的物体置换为模板图像。