CN103686111A

CN103686111A - 一种基于rgbir图像传感器的颜色校正方法以及装置

Info

Publication number: CN103686111A
Application number: CN201310753248.0A
Authority: CN
Inventors: 董鹏宇; 高厚新; 万建军; 刘翔; 杨炯哲
Original assignee: SHANGHAI FULLHAN MICROELECTRONICS CO Ltd
Current assignee: SHANGHAI FULLHAN MICROELECTRONICS CO Ltd
Priority date: 2013-12-31
Filing date: 2013-12-31
Publication date: 2014-03-26
Anticipated expiration: 2033-12-31

Abstract

本发明公开了一种基于RGBIR图像传感器的颜色校正方法以及装置，其方法包括以下步骤：输入一RGBIR图像；对图像进行内插处理，计算每个像素位置上的RGB通道和IR通道的通道值；统计特定区域的RGB通道和IR通道的通道统计值；根据统计值查表得到当前场景的校正系数；将校正系数配置到校正矩阵中，分离出RGB通道和IR通道；对分离出的RGB通道进行颜色校正，得到校正后的RGB图像。原始图像通过前置校正单元消除不可见光对RGB通道的影响，其输出经过后置校正单元消除可见光波长成分变化对RGB通道的影响。本发明方法不仅能够完成对RGBIR格式图像传感器的颜色校正，同时将颜色校正划分为两个相对独立的部分，可以很好的兼容现有图像处理模块中的颜色校正方法。

Description

一种基于RGBIR图像传感器的颜色校正方法以及装置

技术领域

本发明涉及一种基于RGBIR图像传感器的颜色校正方法以及实现装置。

背景技术

RGBIR是一种新的图像传感器的滤镜排列方式。和传统图像传感器普遍使用的Bayer格式滤镜排列方式相比，RGBIR将Bayer格式中的部分绿色滤镜换成了红外滤镜(Infra Red，简称IR)。RGBIR格式的图像传感器相对于Bayer格式图像传感器的优点是可以同时感应可见光和非可见光。图1是一种常见的RGBIR的滤镜排列方式。以下为了行文的方便，我们将图像传感器上所有覆盖红色滤镜的像素称为R通道像素，类似地，覆盖绿色、蓝色和IR滤镜的像素分别称为G通道像素、B通道像素和IR通道像素。由于红外光属于不可见光的一种，以下为了行文方便，除非特殊说明，不可见光也指红外光。

如图2所示，是一个典型的RGBIR图像传感器的量化响应曲线。由于追求低光效果和图像传感器制造工艺等原因，RGB通道在感应可见光（波长400nm～750nm）的同时也会感应不可见光（红外，波长>750nm），类似地，IR通道在感应红外光的同时也会感应可见光。如果不考虑采样与量化，我们最终通过图像传感器得到的某通道像素可以用下式表示：

E_{k} (x^{*}, y^{*}) = \underset{λ}{&Integral;} e (x, y, z, λ) s (x, y, z, λ) ρ_{k} (x, y, z, λ) dλ - - - (1)

其中x,y,z为被摄物体在空间坐标，λ为图像传感器能感应的光波长，e为入射光强度，s为被摄物体反射函数，ρ为成像系统传输函数，k为RGBIR四通道，E为某通道像素值。x^*,y^*为被摄物体空间坐标在成像面上的投影。颜色校正的目的是，同样的成像系统拍摄同样的被摄物体时，不管光照条件如何变化，最终经过颜色校正后的图像在同一个显示终端或媒介上所表现出的颜色尽可能一致，同时与参考值的差异尽可能小。可以看出，基于RGBIR格式的图像传感器在颜色校正时需要解决两个问题：1.消除不可见光对RGB通道的影响；2.消除可见光波长成分变化对RGB通道的影响。

为了解决环境中的红外光导致RGB通道偏色问题，即上文提到的问题1，目前业内广泛采用的一种方法是给摄像机配置双滤光片切换装置（IR-CUT），在环境照度充分的情况下开启红外截止滤光片，通过光学滤镜消除红外光对RGB通道的影响；在环境照度低的情况弹开红外截止滤光片，利用RGB通道对红外光的响应提升图像传感器的低光效果。这种方法能够从入射光中滤除红外，消除红外光对RGB通道的影响，但是缺点是需要购置额外的IR-CUT，增加硬件成本。

为了消除环境色温变化对RGB通道的影响，即上文提到的问题2，目前有全局颜色校正和局部颜色校正两种。全局校正代表方法如文献《ColorReproduction for Digital Imaging Systems》所述的色彩校正矩阵（ColorCorrection Matrix,以下简称CCM），局部校正的方法如专利《数字图像颜色校正方法及实现装置》中提到的二维分区校正。

目前已公布的关于颜色校正或RGBIR格式图像传感器的专利中并没有给出在不使用IR-CUT的前提下同时解决以上两个问题的方案。

发明内容

本发明提供了一种基于RGBIR图像传感器的颜色校正方法以及装置，所要解决的技术问题是：1.消除不可见光对RGB通道的影响；2.消除可见光波长成分变化对RGB通道的影响，而且本发明不需要IR-CUT，节省硬件成本。

为实现上述技术效果，本发明公开了一种基于RGBIR图像传感器的颜色校正方法，包括以下步骤：

输入一RGBIR图像；

对所述输入的RGBIR图像进行内插处理，计算每个像素位置上的RGB通道和IR通道的通道值，得到全幅面的RGBIR图像；

按照预定义规则统计内插得到的RGBIR图像中特定区域的RGB通道和IR通道的通道统计值；

根据所述RGB通道和所述IR通道的通道统计值查表得到当前场景的校正系数；

将所述校正系数配置到校正矩阵中，分离出RGB通道和IR通道；

对所述分离出的RGB通道进行颜色校正，得到校正后的RGB图像；

输出所述校正后的RGB图像。

所述颜色校正方法进一步的改进在于，还包括以下步骤：

预先标定RGBIR图像传感器在搭配标准650nm滤光片时各种色温条件下拍摄标准对色色卡的各色块RGB通道像素值；RGBIR图像传感器上搭配光学滤镜或滤光片，确保RGBIR图像传感器只感应部分特定波长的可见光和红外光。

所述颜色校正方法进一步的改进在于，所述预定义规则与具体的RGBIR图像传感器以及镜头、滤光片对RGBIR四通道的光线波长-响应曲线特性相关。

所述颜色校正方法进一步的改进在于，通过以下步骤得到所述校正矩阵：

a.某一光照条件下搭配红外截止滤光片拍摄标准对色色卡，计算色卡各色块四通道像素平均值；

b.同一光照条件下搭配通过可见光和红外光的滤光片拍摄标准对色色卡，计算色卡各色块四通道像素平均值；

c.使用最小二乘法计算得到当前光照条件下的校正矩阵系数；

d.在不同光照条件下重复步骤a至c得到若干组校正矩阵，所述光照条件指的是不同波长光线的比例。

所述颜色校正方法进一步的改进在于，所述内插的方式包括双线性插值和双三次插值。

本发明还公开了一种基于RGBIR图像传感器的颜色校正装置，包括依次连接的一原始RGBIR图像输入单元、一前置颜色校正单元、一后置颜色校正单元以及一校正图像输出单元。

所述颜色校正装置进一步的改进在于，所述前置颜色校正单元包括依次连接的一内插单元、一校正单元和一输出单元，所述内插单元连接所述原始RGBIR图像输入单元，所述输出单元连接所述后置颜色校正单元，所述内插单元与所述校正单元之间进一步依次连接一统计单元和一校正系数计算单元。

所述颜色校正装置进一步的改进在于，所述前置颜色校正单元内还包括相互连接的一红外光敏传感器和一第一模数转换单元，所述第一模数转换单元进一步连接于所述统计单元与所述校正系数计算单元之间。

所述颜色校正装置进一步的改进在于，所述前置颜色校正单元内还包括相互连接的一可见光敏传感器和一第二模数转换单元，所述第二模数转换单元进一步连接于所述统计单元与所述校正系数计算单元之间。

本发明由于采用了以上技术方案，使其具有以下有益效果是：基于RGBIR格式图像传感器的颜色校正方法，原始图像通过前置校正单元消除不可见光对RGB通道的影响，其输出经过后置校正单元消除可见光波长成分变化对RGB通道的影响。本发明方法不仅能够完成对RGBIR格式图像传感器的颜色校正，同时将颜色校正划分为两个相对独立的部分，可以很好的兼容现有图像处理模块中的颜色校正方法。

附图说明

图1是一种典型的RGBIR的滤镜排列方式。

图2是一种典型的RGBIR图像传感器的量化响应曲线。

图3是本发明一种基于RGBIR图像传感器的颜色校正装置的结构示意图。

图4是本发明颜色校正装置中前置颜色校正单元的第一种实施例的结构示意图。

图5是本发明颜色校正装置中前置颜色校正单元的第二种实施例的结构示意图。

图6是本发明颜色校正装置中前置颜色校正单元的第三种实施例的结构示意图。

图7是本发明一种基于RGBIR图像传感器的颜色校正方法的一种较佳实施例的流程图。

具体实施方式

下面结合附图以及具体实施方式对本发明作进一步详细的说明。

参阅图3所示，本发明的一种基于RGBIR图像传感器的颜色校正装置包括依次连接的一原始RGBIR图像输入单元11、一前置颜色校正单元12、一后置颜色校正单元13和一校正图像输出单元14。前置颜色校正单元12完成可见光和红外光各种比例条件下的RGBIR四通道颜色校正。后置颜色校正单元13完成各种色温条件下的RGB三通道颜色校正。校正图像输出单元14输出最终校正后的RGB图像。

配合图4所示，是本发明提供的前置颜色校正单元12的一个实施方式的结构示意图。该前置颜色校正单元12包括依次连接的一内插单元121、一校正单元122和一输出单元123，插单元121连接原始RGBIR图像输入单元11，输出单元123连接后置颜色校正单元13，内插单元121与校正单元122之间进一步依次连接一统计单元124和一校正系数计算单元125。其中内插单元121用于插值出原始图像中每个像素位置的缺失通道像素。统计单元124用于统计输入图像中的可见光和红外光的数值。校正系数计算单元125根据统计结果动态计算当前光照条件下的校正矩阵系数。校正单元122完成矩阵运算，分离出RGB通道和红外通道。输出单元123输出前置校正后的RGB图像和红外IR图像。

再结合图5所示，是本发明提供的前置颜色校正单元12的另外一个实施方式的结构示意图。相对于图4的实施例，增加了相互连接的一红外光敏传感器126和一第一模数转换单元127。红外光敏传感器126只感应红外波长光线，可以弥补某些图像传感器的IR通道也感应可见光的缺陷，配合第一模数转换单元127一起使用，用于判断场景中的红外光强度。校正系数计算单元125接受其输出和统计单元124的输出后查表得到当前校正单元的系数。

再结合图6所示，是本发明提供的前置颜色校正单元12的第三个实施方式的结构示意图。相对于图5的实施例，增加了相互连接的一可见光敏传感器128和一第二模数转换单元129。可见光敏传感器128只感应可见光波长光线，可以弥补某些图像传感器的RGB通道也感应不可见光的缺陷，配合第二模数转换单元129一起使用，用于判断场景中的红外光与可见光的比例与强度。校正系数计算单元125接受其输出和统计单元124的输出后查表得到当前校正单元的系数。

本发明是通过以下技术方案实现的：基于RGBIR格式图像传感器的颜色校正方法，原始图像通过前置颜色校正单元12消除不可见光对RGB通道的影响，其输出经过后置颜色校正单元12消除可见光波长成分变化对RGB通道的影响。本方法不仅能够完成对RGBIR格式图像传感器的颜色校正，同时将颜色校正划分为两个相对独立的部分，可以很好的兼容现有图像处理模块中的颜色校正方法。

现有颜色校正方法一般假设RGB通道中不存在不可见光的干扰，因此只需要通过全局或局部的校正将不同色温下的颜色校正至参考值。而基于RGBIR格式图像传感器的成像系统中既需要将RGB通道中的红外影响消除同时也要将不同色温下的颜色校正至参考值。

本发明中的颜色校正方法的思想总结如下：预先标定图像传感器在搭配标准650nm滤光片时各种色温条件下拍摄标准对色色卡的各色块RGB通道像素值。搭配650nm滤光片的目的是为了滤除光照中的不可见光成分，相当于模拟IR-CUT开启红外截止滤光片的情况。该步骤的目的是提供不同色温条件下前置颜色校正单元12的参考输出。

RGBIR格式图像传感器搭配光学滤镜，确保图像传感器只感应部分特定波长的可见光和红外光。该步骤的目的是确保图像传感器能响应可见光和红外的前提下滤除某些特定波长区域的光线，因为RGB通道和IR通道对于这些光线的响应差别较大。

对原始图像进行内插处理，得到全幅面尺寸的图像。该布骤的目的是为了得到每个像素位置上的RGB和红外IR分量，便于后续处理。

按照预定义规则统计内插得到的RGBIR图像中特定区域的四通道统计值。该步骤的目的是为了给后续校正系数计算单元提供决策依据。需要注意的是，统计模块并不一定要求输入图像是四通道全幅面尺寸的图像，在未经内插的原始图像上依然可以进行四通道统计值计算。

按照统计值计算得到当前场景的校正系数。将该系数配置至颜色校正单元，消除RGB通道中的不可见光，同时消除IR通道中的可见光。该布骤的输出为校正后的RGB图像和红外图像。

校正单元的思想是整个图像通过同一个4x4的校正矩阵分离出RGB通道的红外和红外通道中的可见光。如公式2所示

[\begin{matrix} R_{c} \\ G_{c} \\ B_{c} \\ {IR}_{c} \end{matrix}] = [\begin{matrix} a_{00} & a_{01} & a_{02} & a_{03} \\ a_{10} & a_{11} & a_{12} & a_{13} \\ a_{20} & a_{21} & a_{22} & a_{23} \\ a_{30} & a_{31} & a_{32} & a_{33} \end{matrix}] [\begin{matrix} R_{o} \\ G_{o} \\ B_{o} \\ {IR}_{o} \end{matrix}] - - - (2)

4x4的校正矩阵可以下列步骤得到：

a.某一光照条件下搭配红外截止滤光片（如标准650nm滤光片）拍摄标准对色色卡，计算色卡各色块四通道像素平均值，作为公式2中等号右侧的Mo，其中M代表RGBIR的某一通道；

b.同一光照条件下搭配可以通过可见光和红外光的滤光片（如双峰滤光片）拍摄标准对色色卡，计算色卡各色块四通道像素平均值，作为公式2中等号左侧的Mc，其中M代表RGBIR的某一通道；

c.使用最小二乘法计算得到当前光照条件下公式2中的校正矩阵系数axx；

d.在不同光照条件下重复步骤a至c得到若干组校正矩阵。

所述光照条件具体指的是不同波长光线的比例。

将经过前置校正的RGB图像输出至后置校正单元，完成不同色温环境下的可见光部分颜色校正。由于经过前置校正后的输出RGB图像已经滤除了红外的影响，因此后置校正单元可以完全和现有颜色校正方法兼容。

至此，本发明描述的针对RGBIR格式图像传感器的颜色校正方法结束。

配合图7所示，是本发明提供的基于RGBIR图像传感器颜色校正方法的一个实施方式的流程图，具体包括如下步骤：

A）插值、计算出全幅面图像

由于原始输入图像每个像素点位置上都缺失了三个通道分量，因此首先对输入RGBIR图像进行双线性插值，得到每个像素位置上的四通道值，即R、G、B、IR全幅面的图像。需要注意的是，双线性插值只是本专利的一个具体实施例，实施时也可以使用双三次（bi-cubic）插值等其他插值方法。

B）统计图像的RGBIR之关系

按照预定义的规则计算落在统计区内图像的RGBIR之关系。预定义的规则和具体的RGBIR图像传感器以及镜头、滤光片对RGBIR四通道的光线波长-响应曲线特性相关。本实施例中使用统计区内所有点的RGB通道像素均值和IR通道像素均值作为统计输出值。

C）查表获取校正系数

通过步骤B中算出的统计输出值查表，得到与统计值对应的一组校正系数。

D）分离出RGB通道和红外通道

将步骤C中得到的校正系数配置到校正矩阵中，分离出RGB通道和红外通道。

E）校正RGB通道颜色

将步骤D中得到的RGB图像进行颜色校正。首先根据输入RGB图像估计当前场景色温，其次根据估计色温选取对应的一个3x4校正矩阵，按照公式4完成不同色温环境下的可见光部分颜色校正。其中公式4中等号右侧代表后置颜色校正的输入RGB分量，公式4中等号左侧代表后置颜色校正的输出RGB分量，bxx为校正矩阵系数。需要注意的是后置颜色校正完全和现有颜色校正方法兼容，因此使用3x4的全局校正矩阵完成后置颜色校正也只是本发明的一个实施例。

[\begin{matrix} R_{f} \\ G_{f} \\ B_{f} \end{matrix}] = [\begin{matrix} b_{00} & b_{01} & b_{02} & b_{03} \\ b_{10} & b_{11} & b_{12} & b_{13} \\ b_{20} & b_{21} & b_{22} & b_{23} \end{matrix}] [\begin{matrix} R_{c} \\ G_{c} \\ B_{c} \\ 1 \end{matrix}] - - - (4)

以上结合附图实施例对本发明进行了详细说明，本领域中普通技术人员可根据上述说明对本发明做出种种变化例。因而，实施例中的某些细节不应构成对本发明的限定，本发明将以所附权利要求书界定的范围作为本发明的保护范围。

Claims

1.一种基于RGBIR图像传感器的颜色校正方法，其特征在于所述颜色校正方法包括以下步骤：

输入一RGBIR图像；

输出所述校正后的RGB图像。

2.如权利要求1所述的颜色校正方法，其特征在于所述颜色校正方法还包括以下步骤：

3.如权利要求1所述的颜色校正方法，其特征在于：所述预定义规则与具体的RGBIR图像传感器以及镜头、滤光片对RGBIR四通道的光线波长-响应曲线特性相关。

4.如权利要求1所述的颜色校正方法，其特征在于：通过以下步骤得到所述校正矩阵：

5.如权利要求1所述的颜色校正方法，其特征在于：所述内插的方式包括双线性插值和双三次插值。

6.一种基于RGBIR图像传感器的颜色校正装置，其特征在于：所述颜色校正装置包括依次连接的一原始RGBIR图像输入单元、一前置颜色校正单元、一后置颜色校正单元以及一校正图像输出单元。

7.如权利要求6所述的颜色校正装置，其特征在于：所述前置颜色校正单元包括依次连接的一内插单元、一校正单元和一输出单元，所述内插单元连接所述原始RGBIR图像输入单元，所述输出单元连接所述后置颜色校正单元，所述内插单元与所述校正单元之间进一步依次连接一统计单元和一校正系数计算单元。

8.如权利要求7所述的颜色校正装置，其特征在于：所述前置颜色校正单元内还包括相互连接的一红外光敏传感器和一第一模数转换单元，所述第一模数转换单元进一步连接于所述统计单元与所述校正系数计算单元之间。

9.如权利要求8所述的颜色校正装置，其特征在于：所述前置颜色校正单元内还包括相互连接的一可见光敏传感器和一第二模数转换单元，所述第二模数转换单元进一步连接于所述统计单元与所述校正系数计算单元之间。