CN113574851B - 摄像装置以及图像处理方法 - Google Patents

Abstract

本发明在使用排列有两种像素的图像传感器的情况下，也能够正确地进行规定的色相的辨别，兼顾广视角和空间分辨率提高。该摄像装置具备：图像传感器，其重复排列滤光器单元而构成，该滤光器单元包含第1像素和第2像素，所述第1像素检测可见区域的第1波长范围的光，所述第2像素除了检测所述第1波长范围的光之外还检测与所述第1波长范围不同的可见光的波长的光；插补处理部，其被构成为能够生成第1插值图像和第2插值图像，所述第1插值图像是基于所述第1像素的检测光量插补所述第2像素的位置而得到的，所述第2插值图像是基于所述第2像素的检测光量插补所述第1像素的位置而得到的；以及颜色信息生成处理部，其基于所述第1插补图像和所述第2插补图像的同一位置的像素的组的检测光量，来判定该位置的色相。

Description

摄像装置以及图像处理方法

技术领域

本发明涉及一种摄像装置以及图像处理方法，特别涉及辨别拍摄到的图像的色相的摄像装置以及图像处理方法。

背景技术

为了驾驶辅助、自动驾驶而搭载在车辆上的车载摄像机为了提高检测从车辆横向窜出的行人、自行车的精度，要求广视角化。另一方面，车载摄像机为了ACC功能(AdaptiveCruise Control、恒速行驶、车距控制)等，需要正确地检测到更远的对象物的距离，要求高空间分辨率。但是，广视角化一般通过缩小摄像机物镜的焦距来实现，但空间分辨率随之下降。因此，仅靠改善物镜很难兼顾实现广视角化和空间分辨率的提高。

与此相对，还已知通过采用不同方式的图像传感器来提高空间分辨率的技术。在车载摄像机中，为了辅助驾驶，为了识别交通信号灯、标识以及路上的白色线和橙色线等，大多采用RGGB(Red-Green-Green-Blue)像素阵列(或拜耳阵列)的彩色图像传感器。近年来，提出了将该RGGB阵列的图像传感器置换为RCCC(Red-Clear-Clear-Clear)像素阵列等彩色图像传感器的技术。据此，可以改善图像传感器的空间分辨率，同时兼顾实现广视角化和空间分辨率的提高。

RCCC像素阵列例如是将1个检测红色光的像素(R像素)、3个同时检测蓝色光、绿色光和红色光的透明像素(C像素)共计4个像素排列成2行2列(2×2)作为一个单位(单位单元)，并通过重复排列该单位单元而构成。C像素的间隔为1个像素，这一点与同色像素的间隔为2个像素的RGGB阵列等不同。在该RCCC阵列中，可以对测距中所参照的灰度图像直接使用构成像素整体的3/4的C像素的检测值，并且能够将使空间分辨率降低的基于周围像素的插值处理的应用只停留在像素整体的1/4比例的R像素的位置。因此，与RGGB像素阵列相比，可以期待得到高的空间分辨率。

但是，在由R(Red)和C(Clear)的2种像素构成的RCCC像素阵列中，与区分红(Red)、绿(Green)、蓝(Blue)3原色来检测光量的RGGB像素阵列相比，有关色彩的信息量有限，有必要改变有关色彩的处理方法。

关于RCCC像素阵列的图像传感器在车载摄像机的应用，在专利文献1中有记载。但是，没有关于对拍摄到的图像的处理的具体记载。

另外，专利文献2也公开了关于由R以及C这2种构成的像素阵列的图像传感器在车载摄像机的应用。在专利文献2中，在汽车的红色后照灯、前照灯以及路灯等灯光的辨别中，使用图像传感器的图像与按照图像传感器的像素类别Red/Clear的棋盘格图案的相关的大小。在该方法中，由于使用作为统计量的相关，因此对具有某种程度的汇总的像素数的图像区域辨别色相。因此，当在该区域内共存具有不同色相的物体时，不能得到正确的辨别结果。另外，如果不是具有能够设想形状的程度的大小的图案，则以在辨别色相的区域内不混合不同色相的图案的方式设定区域是比较困难的。因此，在现有技术中，难以利用RCCC像素阵列来正确地辨别色相。在除了具有RCCC像素阵列之外还具有由两种像素构成的像素阵列的图像传感器中，也会出现同样的问题。

现有技术文献

专利文献

专利文献1：日本专利特开2017-046051号公报

专利文献2：美国专利申请公开第2007/0221822号说明书

发明内容

发明要解决的问题

本发明的目的在于提供一种在使用排列了2种像素的图像传感器的情况下，能够正确地进行规定的色相的辨别，并能够兼顾实现广视角化和空间分辨率提高的摄像装置以及图像处理方法。

解决问题的技术手段

本发明的第1方式的摄像装置的特征在于，具备：图像传感器，其重复排列滤光器单元而构成，所述滤光器单元包含第1像素和第2像素，所述第1像素检测可见区域的第1波长范围的光的，所述第2像素除了检测所述第1波长范围的光之外，还检测与所述第1波长范围不同的可见光的波长的光；插补处理部，其被构成为能够生成第1插补图像和第2插补图像，所述第1插补图像是基于所述第1像素的检测光量，插补所述第2像素的位置而得到的，所述第2插补图像基于所述第2像素的检测光量，插补所述第1像素的位置而得到的；以及颜色信息生成处理部，其基于所述第1插补图像和所述第2插补图像的同一位置的像素的组的检测光量，来判定该位置的色相。

本发明的第2方式的摄像装置具备：图像传感器，其重复排列滤光器单元而构成，所述滤光器单元包含第1像素和第2像素，所述第1像素检测可见区域的第1波长范围的光，所述第2像素除了检测所述第1波长范围的光之外，还检测与所述第1波长范围不同的可见光的波长的光；插补处理部，其被构成为能够生成第1插补图像和第2插补图像，所述第1插补图像是基于所述第1像素的检测光量，插补所述第2像素的位置而得到的，所述第2插补图像是基于所述第2像素的检测光量，插补所述第1像素的位置而得到的；以及彩色图像生成处理部，其基于所述第1插补图像以及所述第2插补图像来生成彩色图像。所述彩色图像生成处理部被构成为基于所述第1插补图像，生成具有所述第1波长范围的第1波长分量的第1分量图像，生成作为所述第1插补图像与所述第2插补图像之差的差图像，将所述差图像乘以第1分配比，生成具有与所述第1波长范围不同的第2波长范围的分量的第2分量图像，将所述差图像乘以第2分配比，生成具有与所述第1波长范围以及所述第2波长范围不同的第3波长范围的分量的第3分量图像。

本发明的图像处理方法具备：从重复排列滤光器单元而构成的图像传感器中获取图像的步骤，该滤光器单元包含第1像素和第2像素，所述第1像素检测可见区域的第1波长范围的光，所述第2像素除了检测所述第1波长范围的光之外，还检测与所述第1波长范围不同的可见光的波长的光；基于所述第1像素的检测光量，插补所述第2像素的位置，获取第1插补图像的步骤；基于所述第2像素的检测光量，插补所述第1像素的位置，获取第2插值图像的步骤；以及基于所述第1插补图像和所述第2插补图像的同一位置的像素的组的检测光量，来判定该位置的色相的步骤。

发明的效果

根据本发明，能够提供一种在使用排列了2种像素的图像传感器的情况下，能够正确地进行规定的色相的辨别的摄像装置以及图像处理方法，能够兼顾广视角化和空间分辨率提高。

附图说明

图1是说明第1实施方式的摄像装置的基本构成的一例的整体构成图。

图2是表示RCCC像素阵列的图像传感器的像素配置的概要图。

图3是表示RCCC像素阵列的图像传感器的R像素、C像素的灵敏度特性的图表。

图4是表示在插补处理部102中的运算处理的一例的概要图。

图5是表示拍摄了道路标识所使用的颜色的RCCC图像的C像素值和R像素值的实测特性例的图表。

图6是表示拍摄了交通信号灯所使用的颜色的RCCC图像的C像素值和R像素值的实测特性例的图表。

图7是说明至从由图像传感器101拍摄到的图像获得色相信息为止的步骤的流程图。

图8是表示了在图7的步骤704中基于像素值的比(R/C比)辨别色相的步骤的详情的流程图。

图9是表示在第1实施方式中根据由图像传感器101拍摄到的灰度的图像而在彩色图像生成处理部110中生成彩色化后的图像的步骤的流程图。

图10是说明G分量图像与B分量图像的分配比α的第1例的图(图表)。

图11是说明G分量图像与B分量图像的分配比α的第2例的图(图表)。

图12是说明第2实施方式的摄像装置的基本构成的一例的整体构成图。

图13是说明图12的颜色信息生成表1202的构成例的概要图。

图14是说明第3实施方式的摄像装置的基本构成的一例的整体构成图。

图15是表示在第3实施方式中根据由图像传感器101拍摄到的图像而在彩色图像生成处理部110中生成彩色化后的图像的步骤的流程图。

图16是说明第4实施方式的图像传感器101中的像素阵列(CyCCC阵列)的概要图。

图17是表示CyCCC像素阵列的图像传感器的Cy像素、C像素的灵敏度特性的图表。

具体实施方式

以下，参照附图说明本发明的实施方式。在附图中，功能相同的要素用相同的编号表示。此外，虽然附图示出了与本公开的原理一致的实施方式和实施例，但是这些是为了理解本公开，绝不是用于限定地解释本公开。本说明书的描述仅仅是典型的示例，并且在任何意义上都不限定本公开的权利要求书或应用例。

在本实施方式中，进行了足以让本领域技术人员实施本公开的详细的说明，但是也需要理解，其他的安装、实施也是可能的，能够在不脱离本公开的技术思想的范围和精神的情况下进行构成、构造的变更、各种要素的置换。因此，不能以限定于此的方式来解释以后的记述。

[第1实施方式]

参照图1的整体构成图，对第1实施方式的摄像装置的基本构成的一例进行说明。该摄像装置1具有图像传感器101、插补处理部102、颜色信息生成处理部103、识别处理部104、彩色图像生成处理部110以及图像记录部112。

图像传感器101是用于获取光图像的CMOS传感器、CCD传感器等图像传感器。这些图像传感器被构成为，具有在平面上配置成阵列状的光电二极管，并且通过由这些光电二极管提供的多个像素来检测平面上的光量分布。通过用图像传感器101检测由未图示的透镜、反射镜等聚光构件聚焦的光，能够获得拍摄对象的图像。

该第1实施方式的摄像装置1利用图2所示的RCCC像素阵列的图像传感器作为图像传感器101。RCCC像素阵列具有2种像素:R(Red)像素201，其接收透过可见区域的光中的红色光的彩色滤光器的光并能够检测红色光；以及C(Blue)像素202，其接收透明的彩色滤光器的光并能够检测可见光整体的光量。跨越多行多列重复配置由1个R像素201和3个C像素202构成的2×2像素的滤光器单元203。

如图3的图表所示，R像素201能够接收红色光的波长区域的光，另一方面，C像素203可以接收包含蓝色光、绿色光以及红色光的可见光的整个波长区域的光。图像传感器101所输出的图像是混合有基于R像素201检测出的红色光的光量的像素值和基于C像素202检测出的可见光整体的光量的像素值的灰度图像。

在插补处理部102中，基于图像传感器101输出的灰度图像，根据周围的R像素201的检测光量，插补并求出C像素202的位置的红色光分量光量。此外，插补处理部102基于图像传感器101输出的灰度图像，根据周围的C像素202的检测光量插补并求出R像素201的位置的可见光整体的光量。

插补处理部102的处理例如可以通过图4所示的运算来实现。在图4所示的运算处理中，将以作为插补对象的像素为中心的3×3像素作为处理单位。当在具有图2所示的RCCC像素阵列的图像传感器101中执行插补处理时，可以基于图案1～图案4这4种像素图案执行插补处理。图案1是图2的右下的9个像素作为处理单位的情况，图案2是图2的左下的9个像素作为处理单位的情况，图案3是图2的右上的9个像素作为处理单位的情况，图案4是图2的左上的9个像素作为处理单位的情况。

图案1～图案4都以位于3×3像素的中心的像素作为插补处理的对象。例如，在图案2～4中，由于位于中心的像素是C像素202，因此进行中心的C像素202中的R分量的插补运算。另一方面，在图案1中，由于位于中心的像素是R像素201，所以进行中心的R像素201中的C分量的插补运算。基于位于该插补对象的像素周围的像素的像素值，来执行作为插补处理的对象的像素(3×3的中心)的插补运算。

在图案1中，将3×3像素的中心的R像素201(R22)作为插补处理的对象，基于上下左右4个C像素202的像素值来运算其C分量(C22)(C22＝(C12+C32+C12+C32)/C32)。

在图案2中，C像素202(C22)位于3×3像素的中心，因此基于其左右2个R像素201的像素值来运算其R分量(R22)(R22＝(R21+R23)/2)。

在图案3中，C像素202(C22)位于3×3像素的中心，基于其上下2个R像素201的像素值来运算其R分量(R22)(R22＝(R12+R32)/2)。

在图案4中，C像素202(C22)位于3×3像素的中心，基于其上下左右4个R像素201的像素值来运算其R分量(R22)(R22＝(R11+R13+R31+R33)/4)。

该运算适合于图2的像素阵列的情况，当然，对于不同的像素阵列可以采用与上述相同宗旨的不同运算。此外，上述插补运算作为周围像素值的平均值而被执行，但根据摄像装置的要求性能或环境的状态等，当然可以采用不同的运算方法(例如，加权平均)。

通过重复进行该处理，能够生成表示红色光的光量的空间分布的图像(R图像)和表示具有与其相同像素数的可见光整体的光量的空间分布的图像(C图像)。另外，也可以继图4所示的处理之后，进一步对R图像和C图像实施用于校正图像失真的插补处理。

颜色信息生成处理部103基于由插补处理部102生成的C图像和R图像，将拍摄图像的明度信息以及色相信息输出到识别处理部104。识别处理部104参照该明度分量和色相分量，识别交通信号灯、道路标识、前方车辆的灯光、路上的白色线以及橙色线等。交通信号灯等色相被规定。例如交通信号灯的灯光为蓝绿色(青色)、橙色以及红色3种颜色，道路标识使用红色、蓝色、白色以及橙色的比例特别多。另外，关于车辆的灯光，后照灯和刹车灯为红色，方向指示灯为橙色。因此，识别处理部104被构成为能够相互辨别这些颜色。

颜色信息生成处理部103可以例如基于由插值处理部102生成的C图像来运算摄像图像的明度信息。

颜色信息生成处理部103在内部具有R/C值比较处理部105。R/C值比较处理部105从插补处理部102接收C图像和R图像，关于配置在该C图像和R图像的同一位置的像素，运算R分量的检测光量和C分量的检测光量之比(R/C比)。然后，R/C值比较处理部105将该R/C比与辨别对象的颜色的基准值分别进行比较来辨别色相，并将该辨别结果作为色相信息输出。

在本实施方式中，假设识别上述的交通信号灯、道路标识、前方行驶车、以及路面的线，具备红色判定基准值存储部106、橙色判定基准值存储部107、无彩色判定基准值存储部108以及蓝绿判定基准值存储部109这4个。存储在这些存储部中的4个基准值与上述R/C比进行比较。另外，交通信号灯的蓝绿色(青色)和道路标识的蓝色色相不同，但是可以根据亮度、存在的位置进行区别，将这些色相统一作为蓝绿来处理。

彩色图像生成处理部110使用由插补处理部102生成的C图像和R图像对图像进行彩色化，生成与三原色对应的R(Red)分量图像、G(Green)分量图像和B(Blue)分量图像并输出。图像记录部112是存储由彩色图像生成处理部110生成的R(Red)分量图像、G(Green)分量图像和B(Blue)分量图像的部位，由闪存、硬盘以及DRAM等构成。该第1实施方式的彩色图像生成处理部110将输入的R图像作为R分量图像输出到图像记录部112，并且在内部具有C-R图像生成处理部111。作为G分量图像、B分量图像，基于由C-R图像生成处理部111求出C图像和R图像的各像素的差分值而生成的C-R图像而输出图像。

图5是拍摄了道路标识所使用的颜色的RCCC图像的C像素值和R像素值的实测特性例。更具体而言，是作为在5种亮度的白色光下由搭载了RCCC像素阵列的图像传感器的摄像机拍摄比色图表(X-Rite公司Colorchecker SG(注册商标))所得的结果的实测特性例。C图像和R图像是作为上述插补处理的结果而获得的。图5的图表从上述比色图表中抽出与道路标识所使用的JIS Z9103规定的安全颜色的基准颜色接近的部位(例如，红[行3列L]·橙[行6列L]·黄[行4列H]·白(无彩色)[行6列J]·蓝[行3列F]),描绘出C像素202的检测光量和R像素201的检测光量的关系。

在图5中，符号501以及502分别表示基于红色部位的像素的图和通过最小二乘法求出的相对于红色光的C对R特性。另外，符号503以及504分别表示基于橙色部位的图和通过最小二乘法求出的相对于橙色光的C对R特性。符号505以及506分别表示基于黄色部位的图和通过最小二乘法求出的相对于黄色光的C对R特性。符号507以及508分别表示基于白色(无彩色)的部位的图和通过最小二乘法求出的相对于无彩色光的C对R特性。509和510表示基于蓝色部位的图。根据这些数据可以理解为，相对于各色的R像素检测光量和C像素的检测光量的比(R/C)无论亮度如何都是恒定的，并且对于为了进行采用车载摄像机的驾驶辅助而由道路标识等识别对象参照的红、橙、黄、白(无彩色)以及蓝这各色而言，都是不同的比，因此能够基于R/C区分这些色相。

图6是拍摄了交通信号灯所使用的颜色的RCCC图像的C像素值和R像素值的实测特性例。该图6也是作为在5种亮度的白色光下由搭载了RCCC像素阵列的图像传感器的摄像机拍摄上述比色图表所得的结果的实测特性例。图6抽出与交通信号灯所使用的颜色相近的部位(红[行3列L]·橙[行6列L]·青色[行8列B])，描绘出C像素的检测光量和R像素的检测光量的关系。符号501以及502、符号503以及504与图5相同，因此省略重复说明。在图6中，符号601和602分别表示基于青色部位的图和通过最小二乘法求出的相对于黄色光的C对R特性。根据这些数据，信号的颜色也能够与图5同样地进行色相的辨别。

图7是说明至从由图像传感器101拍摄的图像获得色相信息为止的步骤的流程图，该流程由图1的图像传感器101、插补处理部102以及颜色信息生成处理部103执行。

首先，在步骤701中，通过图像传感器101拍摄并获取图像。该获取到的图像是混合了基于图2所示的RCCC像素阵列的图像传感器101的R像素201检测出的红色光的光量的像素值和基于C像素202检测出的可见光整体的光量的像素值的灰度图像。

在接下来的步骤702中，对在步骤701中获取到的灰度图像的各像素位置执行上述的插补处理，生成R图像和C图像。然后，在步骤703中，求出同一像素位置的R图像的像素值与C图像的像素值的比(R/C比)，在步骤704中，基于R/C比的值辨别色相。

图8是表示了在步骤704中基于像素值的比(R/C比)辨别色相的过程的详情的流程图。在图8中，Tr表示用于辨别为红色的R/C比的下限值，To表示用于辨别为橙色的R/C比的下限值，Ty表示用于辨别为黄色的R/C比的下限值，Tg表示用于辨别为无彩色(白色、灰色、黑色)的R/C比的下限值。

在步骤801中，将R/C比的值与下限值Tr进行比较。如果R/C>Tr(是)，则该像素的色相被判断为红色。如果R/C≦Tr(否)，则前进到步骤802。

在步骤802中，将R/C比的值与下限值To进行比较。如果R/C>To(是)，则该像素的色相被判断为橙色。如果R/C≦To(否)，则前进到步骤803。

在步骤803中，将R/C比的值与下限值Ty进行比较。如果R/C>Ty(是)，则该像素的色相被判断为黄色。如果R/C≦Ty(否)，则前进到步骤804。

在步骤804中，将R/C比的值与下限值Tg进行比较。如果R/C>Tg(是)，则该像素的色相被判断为无彩色(白色、灰色、黑色)。

如果在步骤S801～804中都判断为“否”，则该像素的色相被判断为蓝色或绿色。通过以上，步骤S704的辨别顺序完成。

图9是表示根据由图像传感器101拍摄的灰度图像在彩色图像生成处理部110中生成彩色化后的图像的顺序的流程图。

与图7相同，在步骤701和702中，由图像传感器101拍摄并获取灰度的图像后，对灰度的图像的各像素位置执行上述的插补处理，生成R图像以及C图像。

在接下来的步骤901中，生成的C图像的像素值和R图像的像素值的差图像(C-R图像)在C-R图像生成处理部111中生成。另外，在步骤902中，在C-R图像生成处理部111中生成将分配比α(0≦α≦1)与C-R图像的像素值相乘而得到的图像(α(C-R))，作为G分量图像。

并且，在步骤903中，在C-R图像生成处理部111中生成将C-R图像的像素值乘以(1-α)后的图像((1-α)(C-R))，作为B分量图像。分配比α是表示差图像(C-R)中包含的G分量图像的比例的值。以下，有时将α称为“第1分配比”，(1-α)称为“第2分配比”。

在步骤902中给予G分量图像的像素值α(C-R)和在步骤903中给予B分量图像的像素值(1-α)(C-R)之和为C-R。换言之，第1分配比α和第2分配比(1-α)之和为1。由于在图3所示的R像素201和C像素202的波长-灵敏度特性的关系中，估计C像素202具有灵敏度的波长区域与R像素201相比，宽出G分量和B分量的量，并且C像素202和R像素201的检测光量大出G分量和B分量之和，因此上述关系成立。另外，也可以对得到的R分量图像、G分量图像以及B分量图像进一步加上未图示的增减各分量的亮度的处理。

图10是说明G分量图像与B分量图像的分配比α的第1例的图(图表)。在图10的图表中，纵轴表示R/C比的值(0以上1以下)，横轴表示相对于G分量图像与B分量图像之和(G+B)的G分量图像的比，即第1分配比α(0以上1以下)。该图表用虚线表示由纵轴和横轴表示的空间内的各色相的概略分布。

如图10所示，在仅将R/C比的值的大小作为因素的情况下，能够辨别该像素是红色还是青色或灰色。但是，仅根据R/C比，不能辨别在图10的图表中横向排列的色相。例如，不能相互辨别蓝、青、绿。另外，粉红色和黄色(或橙色)也不能仅根据R/C比的大小来辨别。

在图10中说明了将α的值固定为0.5时的色相的辨别。即，在图10中，轨迹1001表示R/C比的变化，无论R/C比为多少都固定为α＝0.5。随着R/C比从0上升到1，该像素的色相依次变化为青色、无彩色、粉红色和橙色的中间色、红色。在将第1实施方式的摄像装置应用于车载摄像机时，特别是晴天的天空颜色、绿灯(青色)、路面、白线的颜色(无彩色)、红灯、车辆的后照灯(红色)得以特别好地再现。因此，能够基于RCCC像素阵列的图像传感器101，获得视觉上的不协调感小的彩色化后的图像。

图11是说明G分量图像与B分量图像的分配比α的第2例的图(图表)。与图10的不同点在于，至少在R/C比在规定范围内的情况下，以分配比α随着R/C比的变化而变化的方式使分配比α变动。这是鉴于当摄像装置1被用作车载摄像机时，在该摄像图像中出现橙色的频率比粉红色的频率高。

图11的轨迹1101表示R/C比的变化。在该图11中，当R/C比例如是小于第1值的值时(例如R/C<0.25)，将分配比α固定为恒定值(例如α＝0.5)。另一方面，在R/C比为第1值以上且第2值以下的情况下，R/C比越大，分配比α也越大。并且，在R/C比大于第2值的情况下(例如R/C>0.75)，将分配比α固定为恒定值(例如α＝1)。可以将表示该轨迹1101的函数存储在彩色图像生成处理部110内的、未图示的存储部中。另外，该图11的轨迹1101只是一个例子，轨迹1101的形状理所当然地能够适当变更。

在如该轨迹1101那样使分配比α根据R/C比的增加而变化的情况下，在R/C比小的阶段(α＝0.5)，该像素的色相可以判定为青色或灰色。另一方面，在R/C比为第1值以上且第2值以下的情况下，分配比α随着R/C比的增加而增加。由此，分配给上述R/C比的像素的色相变化为青色～无彩～橙色～红色。在将摄像装置1用作车载摄像机的情况下，特别是晴天的天空颜色、绿灯(青色)、路面、白线的颜色(无彩色)、红灯、后照灯的颜色(红色)得以特别好地再现。除此之外，与图10的例子相比，能够改善路面的橙色线、黄色信号以及方向指示灯等颜色的再现度。

此外，图11的轨迹1101优选地被设定为跨越R/C比从0变化到1的整体而连续的曲线。这是因为如果轨迹1101成为不连续的曲线，则在不连续点附近发生色相的变化变大、噪声变大的问题。

如上所述，根据第1实施方式的摄像装置1以及图像处理方法，即使在应用了如RCCC像素阵列那样的具有2种像素的图像传感器的情况下，也可以正确地进行规定的色相的辨别。在RCCC像素阵列的情况下，与RGGB像素阵列相比，能够兼顾广视角化和空间分辨率提高，但是与色彩相关而获得的信息通常是有限的。但是，在该第1实施方式中，与应用了RGGB阵列的图像传感器的摄像装置相同，获得了能够生成反映对象物的色彩的图像的效果。

此外，虽然第1实施方式中表示了RCCC像素阵列的例子，但是如果是由具有红色的彩色滤光器的像素和具有透明的彩色滤光器的像素这2种像素构成的像素阵列，则像素数的比例可以不是1∶3。另外，由于作为车载摄像机用途而将比重放在对红色对象(交通信号灯、后照灯、标识)的识别精度上，所以表示了具有红色的彩色滤光器的像素和具有透明的彩色滤光器的像素这2种的实施方式，但根据用途也可以是具有非红色的彩色滤光器的像素和具有透明的彩色滤光器的像素的组。

[第2实施方式]

接下来，参照图12和图13来说明第2实施方式的摄像装置以及图像处理方法。图12是表示第2实施方式的摄像装置的整体构成的框图。在图12中，对于与第1实施方式的装置共通的构成部件赋予与图1相同的参照符号，因此下面将省略重复的说明。

第2实施方式在颜色信息生成处理部103的构成上与第1实施方式不同。该第2实施方式的颜色信息生成处理部103具备地址生成部1201和颜色信息生成表1202。

地址生成部1201被构成为，C图像、R图像被输入，并输出对应的地址信号。具体来说，地址生成部1201生成与被输入的C图像以及R图像的同一像素位置的像素值的组对应的地址信号，并输出到颜色信息生成表1202。

颜色信息生成表1202将地址信号、与该地址信号对应的明度信息和色相信息存储为表。然后，颜色信息生成表1202基于从地址生成部1201输入的地址信息，确定对应的明度信息和色相信息并输出。

颜色信息生成表1202例如应用图13所示的数据构成。在图13的例子中，从地址生成部1201提供的地址信号被分配为应用通过如{R、C}那样将R像素值和C像素值的值连接到上位侧比特和下位侧比特而生成地址所得到的信号，并且存储与相当于该地址的R像素值、C像素值的R/C比对应的色相信息作为对应的数据。根据这种构成，能够简便地生成色相信息，而不需要复杂的运算。

并且，在该第2实施方式中，不仅能够容易地进行R/C比的色相区分，还能够容易地生成添加了基于C像素值的级别的明度区分的色彩信息。进一步地，还能获得如下的效果：能够根据C像素值的等级来改变R/C比的值的区分阈值、区分数量等，进行复杂的色彩信息的判定。

[第3实施方式]

接下来，参照图14以及图15来说明第3实施方式的摄像装置以及图像处理方法。图14是表示第3实施方式的摄像装置的整体构成的框图。在图13中，对于与第1实施方式的装置共通的构成部件赋予与图1相同的参照符号，因此下面将省略重复的说明。

该第3实施方式的摄像装置的彩色图像生成处理部110的构成与第1实施方式不同。该第3实施方式的彩色图像生成处理部110被构成为，即使在像素的检测光量超过了上限值的情况下，也能够获得视觉上不协调感少的彩色图像。在采用上述实施方式的摄像装置的图像生成处理中，在像素的检测光量没有超过上限且未饱和的情况下，获得适当的彩色图像，但是在饱和的部位变为比现实更红的色相。这是因为在饱和的位置C像素值和R像素值的差变得比现实小，给予G分量和B分量的值相对变小。在第3实施方式中，能够有效地抑制该现象。

如图14所示，第3实施方式的彩色图像生成处理部110除了具备与第1实施方式相同的C-R图像生成处理部111之外，还具备明度饱和像素判定处理部1401、饱和像素置换处理部1402、R分量明度校正部1403、G分量明度校正部1404以及B分量明度校正部1405。R分量明度校正部1403、G分量明度校正部1404以及B分量明度校正部1405作为整体而构成明度校正部。

C-R图像生成处理部111的功能与第1实施方式(图1)相同。明度饱和像素判定处理部1401在C图像中的像素的检测光量超过上限值的情况下，判定为该像素是明度饱和像素。此外，也可以是虽然检测光量没有超过上限值，但将具有上限值附近的明度的像素判定为饱和像素的构成。

饱和像素置换处理部1402基于明度饱和像素判定处理部1401的判定结果，将R分量、G分量或B分量的明度切换为对应的上限值，并输出到被判定为明度饱和的像素。也就是说，饱和像素替换处理部1402具有将各个分量值替换为上限值，以便将饱和的像素视为白色的功能。

R图像的像素的明度由R分量明度校正部1403校正后，被输入到饱和像素置换处理部1402。同样地，G图像以及B图像的像素的明度分别由G分量明度校正部1404以及B分量明度校正部1405校正后，被输入到饱和像素置换处理部1402。

对R分量、G分量和B分量的每一个分配8Byte(255bit)的情况下，表示亮度的RGB的合计值相对于白色为255×3＝765bit。另一方面，对被输入到C-R图像生成处理部111的C图像也同样分配255bit，作为比特数存在3倍的差异。

因此，如果将C-R图像生成处理部111的输出直接输入到饱和像素置换处理部1402中，则由于未饱和的像素的上限的亮度与饱和而被调整为上限值的像素的亮度之间产生3倍左右的亮度差，成为视觉上不协调感大的图像。因此，该第3实施方式的彩色图像生成处理部110具备R分量明度校正部1403、G分量明度校正部1404以及B分量明度校正部1405，在将各分量的明度向明度增大的方向校正的基础上，提供给饱和像素置换处理部1402。作为一例，在R分量明度校正部1403、G分量明度校正部1404以及B分量明度校正部1405中的校正量β为1以上的值，可以优选为β≒3。在被调整为β倍的R分量图像、G分量图像以及B分量图像的明度超过了各上限值的情况下，以成为该上限值的方式在饱和像素置换处理部1402中调整即可。

图15是表示根据由图像传感器101拍摄的图像在彩色图像生成处理部110中生成彩色化后的图像的步骤的流程图。步骤701、702、703、901、902以及903由于与图9相同，所以省略重复说明。

在步骤903之后的步骤1501中，在明度饱和像素判定处理部1401中，辨别C图像中的饱和像素(具有上限值以上或其附近的明度的像素)的存在及其位置。

在接下来的步骤1502中，在R分量明度校正部1403、G分量明度校正部1404以及B分量明度校正部1405中，将R分量图像、G分量图像以及B分量图像的像素值(明度)设定为β倍(β≥1)。由此，减轻了饱和像素被替换为白色时的亮度差。

然后，在步骤1503中，饱和像素的位置的R分量图像、G分量图像以及B分量图像的像素值被替换为各上限值。通过该步骤1503，用白色来替换像素值饱和而模拟地增强显示红色分量的部位。通过以上所示的装置构成以及处理方法，除了得到第1实施方式所示的效果之外，还能够得到在像素的检测光量超过了上限值的情况下也可以获得视觉上不协调感少的彩色图像的效果。

[第4实施方式]

接下来，参照图16以及图17来说明第4实施方式的摄像装置以及图像处理方法。如图16所示，在该第4实施方式中，图像传感器101具有与RCCC像素阵列不同的像素阵列。在该图像传感器101中，1个滤光器单元203具有检测作为红色的补色的青色的Cy像素1601和C像素202这2种像素，是跨越多行多列重复由1个Cy像素1601和3个C像素202构成的2×2像素的滤光器单元203的像素配置(CyCCC像素配置)。

如图17所示，Cy像素1601对蓝色光和绿色光具有灵敏度。C图像和Cy图像的差图像(C-Cy)成为R图像。对这样做而获得的C图像以及R图像执行与第1实施方式相同的处理，从而能够获得与第1实施方式相同的效果。由于Cy像素1601对蓝色光和绿色光具有灵敏度，所以图像传感器101的对绿色光和蓝色光的灵敏度与RCCC像素阵列相比提高。在白色光入射到图像传感器101的情况下，与R像素201相比，检测到大的光量，因此作为包含各种色相的被摄体的图像整体的倾向，Cy像素1601能够给予比R像素201高的S/N比，作为结果，与第1实施方式相比，可以期待色相的辨别的精度得到改善。

另外，本发明不限定于上述的实施例，还包括各种变形例。例如，上述的实施例是为了易于理解地说明本发明所详细说明的例子，并不一定限定为具备所说明的全部构成。另外，可以将某一实施例的构成的一部分置换为其他实施例的构成，另外，也可以将其他实施例的构成添加到某一实施例的构成中。此外，能够对各实施例的构成的一部分进行其他结构的追加、删除以及置换。

符号说明

101…图像传感器，102…插补处理部，103…颜色信息生成处理部，104…识别处理部，110…彩色图像生成处理部，111…C-R图像生成处理部，112…图像记录部，201…R像素，202…C像素，203…滤光器单元，1201…地址生成部，1202…颜色信息生成表，1401…明度饱和像素判定处理部，1402…饱和像素置换处理部，1403…R分量明度校正部，1404…G分量明度校正部，1405…B分量明度校正部，1601…Cy像素。

Claims (15)

1.一种摄像装置，其特征在于，具备：

图像传感器，其重复排列滤光器单元而构成，所述滤光器单元包含第1像素和第2像素，所述第1像素检测可见区域的第1波长范围的光，所述第2像素除了检测所述第1波长范围的光之外还检测与所述第1波长范围不同的可见光的波长的光；

插补处理部，其被构成为能够生成第1插补图像和第2插补图像，所述第1插补图像是基于所述第1像素的检测光量插补所述第2像素的位置而得到的，所述第2插补图像是基于所述第2像素的检测光量插补所述第1像素的位置而得到的；以及

颜色信息生成处理部，其基于所述第1插补图像和所述第2插补图像的同一位置的像素的组的检测光量，来判定该位置的色相。

2.根据权利要求1所述的摄像装置，其特征在于，

所述颜色信息生成处理部基于所述第1插补图像以及所述第2插补图像的同一位置的像素的组的检测光量之比，判定该位置的色相。

3.根据权利要求1或2所述的摄像装置，其特征在于，

还具备彩色图像生成处理部，其基于所述第1插补图像以及所述第2插补图像来生成彩色图像，

所述彩色图像生成处理部被构成为，

基于所述第1插补图像来生成具有所述第1波长范围的第1波长分量的第1分量图像，

生成作为所述第1插补图像和所述第2插补图像之差的差图像，

将所述差图像乘以第1分配比，生成具有与所述第1波长范围不同的第2波长范围的分量的第2分量图像，

将所述差图像乘以第2分配比，生成具有与所述第1波长范围以及述第2波长范围不同的第3波长范围的分量的第3分量图像。

4.根据权利要求3所述的摄像装置，其特征在于，

所述第1分配比或所述第2分配比与所述第1插补图像以及所述第2插补图像的同一位置的像素的组的检测光量之比的变化无关地被设为恒定值。

5.根据权利要求3所述的摄像装置，其特征在于，

所述第1分配比或所述第2分配比随着所述第1插补图像以及所述第2插补图像的同一位置的像素的组的检测光量之比的变化而变化。

6.根据权利要求1或2所述的摄像装置，其特征在于，

所述第1像素是能够检测红色光的像素，所述第2像素是能够检测红色光、绿色光以及蓝色光的像素。

7.根据权利要求1或2所述的摄像装置，其特征在于，

所述第1像素是能够检测蓝色光以及绿色光的像素，

所述第2像素是能够检测红色光、绿色光以及蓝色光的像素。

8.一种摄像装置，其特征在于，具备：

图像传感器，其重复排列滤光器单元而构成，所述滤光器单元包含第1像素和第2像素，所述第1像素检测可见区域的第1波长范围的光，所述第2像素除了检测所述第1波长范围的光之外还检测与所述第1波长范围不同的可见光的波长的光；

插补处理部，其被构成为能够生成第1插补图像和第2插补图像，所述第1插补图像是基于所述第1像素的检测光量插补所述第2像素的位置而得到的，所述第2插补图像是基于所述第2像素的检测光量插补所述第1像素的位置而得到的；以及

彩色图像生成处理部，其基于所述第1插补图像以及所述第2插补图像，来生成彩色图像，

所述彩色图像生成处理部被构成为，

基于所述第1插补图像，生成具有所述第1波长范围的第1波长分量的第1分量图像，

生成作为所述第1插补图像和所述第2插补图像之差的差图像，

将所述差图像乘以第1分配比，生成具有与所述第1波长范围不同的第2波长范围的分量的第2分量图像，

将所述差图像乘以第2分配比，生成具有与所述第1波长范围以及所述第2波长范围不同的第3波长范围的分量的第3分量图像。

9.根据权利要求8所述的摄像装置，其特征在于，

所述彩色图像生成处理部还具备：

明度饱和像素判定处理部，其在所述第2插补图像中判定明度饱和的饱和像素；以及

饱和像素置换处理部，其将所述饱和像素的明度置换为上限值。

10.根据权利要求9所述的摄像装置，其特征在于，

所述饱和像素置换处理部还具备明度校正部，所述明度校正部校正所述第1插补图像、将所述差图像乘以所述第1分配比而得到的图像以及将所述差图像乘以所述第2分配比而得到的图像的明度，

所述饱和像素置换处理部将由所述明度校正部进行了明度的校正后的图像中包含的所述饱和像素的明度置换为所述上限值。

11.一种图像处理方法，其特征在于，包含：

从重复排列滤光器单元而构成的图像传感器中获取图像的步骤，所述滤光器单元包含第1像素和第2像素，所述第1像素检测可见区域的第1波长范围的光，所述第2像素除了检测所述第1波长范围的光之外，还检测与所述第1波长范围不同的可见光的波长；

基于所述第1像素的检测光量，插补所述第2像素的位置而获取第1插补图像的步骤；

基于所述第2像素的检测光量，插补所述第1像素的位置而获取第2插补图像的步骤；以及

基于所述第1插补图像和所述第2插补图像的同一位置的像素的组的检测光量，判定该位置的色相的步骤。

12.根据权利要求11所述的图像处理方法，其特征在于，

判定所述色相的步骤是基于所述第1插补图像以及所述第2插补图像的同一位置的像素的组的检测光量之比来判定该位置的色相。

13.根据权利要求11或12所述的图像处理方法，其特征在于，

还具备基于所述第1插补图像以及所述第2插补图像来生成彩色图像的步骤，

在生成所述彩色图像的步骤中，

基于所述第1插补图像，生成具有所述第1波长范围的第1波长分量的第1分量图像，

生成作为所述第1插补图像和所述第2插补图像之差的差图像，

将所述差图像乘以第1分配比，生成具有与所述第1波长范围不同的第2波长范围的分量的第2分量图像，

将所述差图像乘以第2分配比，生成具有与所述第1波长范围以及所述第2波长范围不同的第3波长范围的分量的第3分量图像。

14.根据权利要求13所述的图像处理方法，其特征在于，

所述第1分配比或所述第2分配比与所述第1插补图像以及所述第2插补图像的同一位置的像素的组的检测光量之比的变化无关地被设为恒定值。

15.根据权利要求13所述的图像处理方法，其特征在于，

所述第1分配比或所述第2分配比随着所述第1插补图像以及所述第2插补图像的同一位置的像素的组的检测光量之比的变化而变化。

Images