CN105323567B

CN105323567B - 色彩处理系统及装置

Info

Publication number: CN105323567B
Application number: CN201410329159.8A
Authority: CN
Inventors: 彭源智; 林东龙; 陈柏璋
Original assignee: Himax Imaging Inc
Current assignee: Himax Imaging Inc
Priority date: 2014-07-11
Filing date: 2014-07-11
Publication date: 2017-07-28
Anticipated expiration: 2034-07-11
Also published as: CN105323567A

Abstract

一种色彩处理系统，包含色彩内插单元，接收彩色光及白光信号，据以产生内插白光信号及差信号；色彩校正单元，校正该差信号以产生校正彩色信号；及灵敏度控制单元，根据校正彩色信号、内插白光信号及周围亮度以产生调整彩色信号。

Description

色彩处理系统及装置

技术领域

本发明系有关一种色彩处理，特别是关于一种调适于亮度的色彩处理系统及装置。

背景技术

影像传感器，例如互补金属氧化物半导体(CMOS)影像传感器，可用以将光学影像转换为电子信号。影像传感器普遍使用于各种的应用，例如行动电话及相机。影像传感器不但转换可见光，也会转换红外光，因而造成变色(discoloring)现象。因此，一般会于影像传感器之前加上红外光带阻(band-stop)滤光片，以阻隔红外光。

灵敏度(sensitivity)是关于影像传感器效能的重要参数之一。互补金属氧化物半导体影像传感器的灵敏度通常受限于组成影像传感器的光传感器的面积。当影像传感器的密度增加，其灵敏度会降低。

于低亮度状态，特别是在监视系统中，前述多余的红外光反而变为需要，可用以增加可见度(visibility)。美国专利号第7,239,344号，题为“相机光学滤光片切换装置(Camera and device for switching optical filters)”，其根据亮度使用马达以切换二光学滤光片。于白天模式，使用一般红外光截止(IR-cut)滤光片，其阻隔红外光而能避免变色现象；于夜晚模式，使用另一光学滤光片以通过红外光。此种机制耗费相当的功率并降低影像装置(例如相机)的生命期。

美国专利第8,408,821号，题为“可见光及红外光双膜成像系统(Visible andinfrared dual mode imaging system)”，其使用双带(dual-band)滤光片，其通过可见光及红外光频带(其中心位于950奈米)。于夜晚模式，需要使用红外光灯源以发射红外光，其可被双带滤光片的红外光频带所撷取。于白天模式，由于红外光频带通过有红外光，因此会造成变色现象。

美国专利第7,864,233号，题为“照相装置及方法(Image photographing deviceand method)”，公开一种彩色滤光片数组，其包含一种滤光片可通过可见光及红外光，与另一种滤光片可通过可见光。这两种滤光片的感测信号的差值可用以计算得到红外光频带，得以避免变色现象。此种机制需要较多的处理以滤掉红外光信号，因而降低取样速率。

美国专利第8,619,143号，题为“包含彩色及红外光像素的影像传感器(Imagesensor including color and infrared pixels)”，其使用凹槽形(notch)红外光截止滤光片，以阻隔可见光频带与红外光频带之间的过渡频带。此种机制于低亮度状态下具有低灵敏度。

美国专利第8,508,633号，题为“色彩及亮度信号处理的影像装置(Image devicewith color and brightness signal processing)”，其使用影像管线(pipeline)的互补色(例如W-R)作为彩色滤光数组(CFA)。由于彩色滤光片频谱响应视所用材质而有不同，因此不容易获得或较佳化该响应。此外，于此种机制中，白色像素值直接作为亮度信号，因此会造成色彩复制误差，特别是色彩饱和。

因此亟需提出一种新颖的色彩处理系统，以克服传统色彩处理系统的缺失。

发明内容

鉴于上述，本发明实施例的目的之一在于提出一种调适于亮度的色彩处理系统及装置，使得在一般亮度状态下可避免变色现象，且于低亮度状态下可大量增进可见度。

根据本发明实施例，色彩处理系统包含色彩内插单元、色彩校正单元及灵敏度控制单元。色彩内插单元接收彩色光及白光信号，据以产生内插白光信号及差信号。色彩校正单元校正差信号，以产生校正彩色信号。灵敏度控制单元根据校正彩色信号、内插白光信号及周围亮度以产生调整彩色信号，其中该灵敏度控制单元包含：一亮度估算器，用以估算周围亮度；一白光增益产生器，根据该亮度估算器的输出以产生增益值，使得周围亮度愈低，则该增益值愈大，反之亦是；一乘法器，将该内插白光信号乘以增益值；及一加法器，将该乘法器的输出加至该校正色彩信号，以产生该调整彩色信号。

附图说明

图1显示本发明实施例的色彩处理装置的示意图。

图2A例示得自滤光片数组(图1)的红/绿/蓝光及白光的波长频谱。

图2B例示得自凹槽形红外光滤光片的另一红/绿/蓝光及白光的波长频谱。

图3显示本发明实施例的色彩处理系统(第二图)的细部方块图。

图4A显示图3的色彩内插单元的细部方块图。

图4B例示图1的滤光片数组。

图4C显示图3的色彩内插单元的另一细部方块图。

图5A显示图3的灵敏度控制单元的细部方块图。

图5B例示一增益曲线，其显示不同亮度量测值的相应增益值。

【主要组件符号说明】

100 色彩处理装置

11 入射光

12 透镜

13 透射光

14 红外光截止滤光片

15 红外光截止过滤光

16 滤光片数组

17 彩色光及白光

18 影像传感器

181 光传感器

19 彩色光信号及白光信号

191 白光信号

192 彩色光信号

200 色彩处理系统

21 色彩内插单元

211 白光内插次单元

212 差信号产生次单元

213 彩色光内插次单元

214 内插彩色光信号

215 减法器

22 内插白光信号

23 差信号

24 色彩校正单元

25 校正彩色信号

26 灵敏度控制单元

261 亮度估算器

262 估算亮度

263 白光增益产生器

264 增益值

265 乘法器

266 加法器

27 调整彩色信号

W 内插白光信号

R 红

G 绿

B 蓝

W-R 白光与红光的差信号

W-G 白光与绿光的差信号

W-B 白光与蓝光的差信号

R_o 校正红色信号

G_o 校正绿色信号

B_o 校正蓝色信号

R_adj 调整红色信号

G_adj 调整绿色信号

B_adj 调整蓝色信号

I₁ 第一临界值

I₂ 第二临界值

具体实施方式

图1显示本发明实施例的色彩处理装置100的示意图。如图所示，入射光11首先通过透镜12，其将入射光11收敛或聚焦为透射光13。透射光13接着经由红外光截止(infraredcut-off,IR-cut或IR)滤光片14的过滤，其通过可见光波长(例如380～700奈米)及红外光波长(例如，近红外光的700～1000奈米)，并阻隔其它波长的光线。来自红外光截止滤光片14的红外光截止过滤光15接着通过彩色及白色滤光片数组(简称滤光片数组)16，其包含彩色滤光片(例如红色(R)滤光片、绿色(G)滤光片及蓝色(B)滤光片)，用以过滤红外光截止过滤光15的相应波长范围，且包含白色(W)滤光片，其可让红外光截止过滤光15通过。滤光片数组16的红色(R)滤光片、绿色(G)滤光片、蓝色(B)滤光片及白色(W)滤光片可排列如图1所示，但不限定于此。虽然本实施例的彩色滤光片以红绿蓝(RGB)色彩模型作为例示，然而也可使用其它的色彩模型，例如青绿(C)洋红(M)黄(Y)色彩模型。

图2A例示来自滤光片数组16的红/绿/蓝光及白光17的波长频谱。图2B例示另一红/绿/蓝光及白光17的波长频谱，其使用红外光截止滤光片14，用以通过可见光波长(例如380～700奈米)及凹槽形红外光波长，其中心位于950奈米。图2B的红外光截止滤光片14因此又称为凹槽形红外光滤光片。

来自滤光片数组16的彩色光及白光17接着被影像传感器18(例如互补金属氧化物半导体影像传感器)的光传感器181分别转换为彩色光信号及白光信号19。最后，彩色光信号及白光信号19经由色彩处理系统200进行处理，该色彩处理系统200可执行于处理器，例如影像处理器。

图3显示本发明实施例的色彩处理系统200(第二图)的细部方块图。在本实施例中，色彩内插单元21(自影像传感器18)接收彩色光信号及白光信号19，据以产生内插白光信号22及差信号23。在本说明书中，“差信号”系指白光信号与彩色光信号的差值。例如，W-R代表白光信号与红光信号的差值的差信号23。图4A显示图3的色彩内插单元21的细部方块图。其中，(相应于白色滤光片的光传感器181的)白光信号191经由白光内插次单元211的处理，用以于非白色滤光片(例如红、绿或蓝滤光片)相应处产生内插白光信号22。以图4B所示滤光片数组16为例，白光内插次单元211可进行以下处理：

W@R5＝(W1+W9)/2

W@B2＝(W1+W3)/2

W@G6＝(W1+W3+W9+W11)/4

(相应于彩色滤光片(例如红、绿或蓝滤光片)的光传感器181的)彩色光信号192经由差信号产生次单元212的处理，以产生差信号23。以图4B所示滤光片数组16为例，差信号产生次单元212可进行以下处理：

W-R@R5＝W@R5-R5

W-R@R7＝W@R7-R7

W-R@G6＝(W-R@R5+W-R@R7)/2

W-R@R13＝W@R13-R13

W-R@R15＝W@R15-R15

W-R@W9＝(W-R@R5+W-R@R13)/2

W-R@B10＝(W-R@R5+W-R@R7+W-R@R13+W-R@R15)/4

在本实施例中，位于非红色像素(例如G6)处的白光信号与红光信号的差信号23(例如W-R@G6)可由相邻差信号23(例如W-R@R5与W-R@R7)经由内插而得。上述系以白光信号与红光信号的差信号23为例，差信号产生次单元212对于非红光信号的处理也可依循类似的操作。

观察图2A的波长频谱可以得知，差信号W-R大致等于青绿(C)且不含有红外光信号，差信号W-G大致等于洋红(M)且不含有红外光信号，差信号W-B大致等于黄(Y)且不含有红外光信号。换句话说，由于彩色光/白光信号19具有类似的红外光频带，因此自色彩内插单元21所得到的差信号23，其红外光成分极少而可忽略。

图4C显示图3的色彩内插单元21的另一细部方块图。其中，(相应于白色滤光片的光传感器181的)白光信号191经由白光内插次单元211的处理，用以于非白色滤光片(例如红、绿或蓝滤光片)相应处产生内插白光信号22。白光内插次单元211的操作已于图4A描述过，其细节因此省略。

如图4C所示，彩色光信号192经由彩色光(例如红、绿或蓝光)内插次单元213的处理，以产生内插彩色光信号214。例如，彩色光内插次单元213于非红色像素(例如G6)处，将相邻红光信号(例如R5与R7处的红光信号)予以平均而得到内插红光信号。再以减法器215，将内插白光信号22减去内插彩色光信号214，因而产生差信号23。

参阅图3，色彩校正单元24校正差信号23，以产生校正彩色信号25，例如校正红色信号R_o、校正绿色信号G_o及校正蓝色信号B_o。色彩校正单元24所执行的色彩校正可表示为：

校正彩色信号R_o、G_o及B_o也可表示为：

其中R_V、G_V及B_V分别代表红色、绿色及蓝色信号的可见光成分。

对于上述两个表示式，假设白光信号的可见光成分等于所有彩色信号的可见光成分之和(亦即，W_V＝R_V+G_V+B_V)，且彩色光/白光信号具有相同的红外光成分(亦即，W_IR＝R_IR＝G_IR＝B_IR)，如果矩阵C的要素C₁₁至C₃₃为已知或可以获得的，则矩阵D的要素D₁₁至D₃₃可由下式得到：

在一实施例中，矩阵D可分解为三个矩阵如下：

其中矩阵A代表类似CMY至RGB转换，用以将差信号转换至RGB空间，且矩阵A可经选择以匹配至传统RGB的频谱响应；且矩阵(R_g,G_g,B_g)可为不同亮度的白平衡(whitebalance)增益。在一使用RGBW滤光片数组16的例子中，矩阵A可为：

再参阅图3，灵敏度控制单元26根据校正彩色信号25及内插白光信号22，可适应于亮度以产生调整彩色信号27。图5A显示图3的灵敏度控制单元26的细部方块图。其中，亮度估算器261估算色彩处理装置100周围的亮度。白光增益产生器263根据亮度估算器261的估算亮度262以产生增益值264。一般来说，周围亮度愈低，则增益值264愈大，反之亦是。

图5B例示一增益曲线，其显示不同亮度量测值的相应增益值264，其中该亮度量测值系将(影像传感器18的)积分时间乘以影像传感器18的增益，再除以原始(非内插)白光信号平均值。如图5B所示，当亮度量测值低于第一临界值I₁，增益值264为零；当亮度量测值高于第二临界值I₂(其大于第一临界值I₁)，增益值264为壹。增益值264从第一临界值I₁的零逐渐增加至第二临界值I₂的壹。

继续参阅图5A，内插白光信号22(藉由乘法器265)乘以增益值264，再(藉由加法器266)加至校正彩色信号25，因而产生调整彩色信号27，例如调整红色信号R_adj、调整绿色信号G_adj及调整蓝色信号B_adj。灵敏度控制单元26可进行以下处理：

R_adj＝R_o+Gain·(W_V+W_IR)

G_adj＝G_o+Gain·(W_V+W_IR)

B_adj＝B_o+Gain·(W_V+W_IR)

其中W_V代表白光信号的可见光成分，且W_IR代表白光信号的红外光成分。

根据本实施例的灵敏度控制单元26，可于低亮度状态下，将白光信号的红外光成分适应的引入调整彩色信号27，因而增进整体的灵敏度，然而于一般亮度状态下，调整彩色信号27则不具有或含有很少的红外光成分，因此可避免变色现象。

接着，从灵敏度控制单元26所得到的调整彩色信号27可作进一步处理，例如伽玛(gamma)校正，其可使用传统技术来实施。

以上所述仅为本发明的较佳实施例而已，并非用以限定本发明的申请专利范围；凡其它未脱离发明所揭示的精神下所完成的等效改变或修饰，均应包含在下述的申请专利范围内。

Claims

1.一种色彩处理系统，包含：

一色彩内插单元，接收彩色光及白光信号，据以产生内插白光信号及差信号；

一色彩校正单元，校正该差信号，以产生校正彩色信号；及

一灵敏度控制单元，根据该校正彩色信号、该内插白光信号及周围亮度以产生调整彩色信号，

其中该灵敏度控制单元包含：

一亮度估算器，用以估算周围亮度；

一白光增益产生器，根据该亮度估算器的输出以产生增益值，使得周围亮度愈低，则该增益值愈大，反之亦是；

一乘法器，将该内插白光信号乘以增益值；及

一加法器，将该乘法器的输出加至该校正彩色信号，以产生该调整彩色信号。

2.根据权利要求1所述的色彩处理系统，其中该彩色光信号包含红光信号、绿光信号及蓝光信号；且该差信号包含白光与红光的差信号、白光与绿光的差信号、白光与蓝光的差信号。

3.根据权利要求1所述的色彩处理系统，其中该色彩内插单元包含：

一白光内插次单元，根据该白光信号以产生该内插白光信号；及

一差信号产生次单元，根据该内插白光信号与该彩色光信号以产生该差信号。

4.根据权利要求3所述的色彩处理系统，其中该差信号产生次单元对相邻差信号进行内插以产生该差信号。

5.根据权利要求1所述的色彩处理系统，其中该色彩内插单元包含：

一白光内插次单元，根据该白光信号以产生该内插白光信号；

一彩色光内插次单元，根据该彩色光信号以产生内插彩色光信号；及

一减法器，将该内插白光信号减去该内插彩色光信号，以产生该差信号。

6.根据权利要求1所述的色彩处理系统，其中该亮度估算器的输出为亮度量测值，其系将影像传感器的积分时间乘以该影像传感器的增益，再除以该白光信号的平均值。

7.根据权利要求6所述的色彩处理系统，当该亮度量测值低于第一临界值，该增益值为零；当该亮度量测值高于第二临界值，该增益值为壹，其中该第二临界值大于该第一临界值；且该增益值从第一临界值为零逐渐增加至第二临界值的壹。

8.一种色彩处理装置，包含：

一红外光截止滤光片，用以过滤一透射光，该红外光截止滤光片通过可见光波长及红外光波长，并阻隔其它波长的光线，因而产生一红外光截止过滤光；

一彩色及白色滤光片数组，其包含彩色滤光片及白色滤光片，用以过滤该红外光截止过滤光，以产生彩色光及白光；

一影像传感器，包含光传感器，用以将该彩色光及白光分别转换为彩色光信号及白光信号；

一色彩内插单元，接收该彩色光及白光信号，据以产生内插白光信号及差信号；

一色彩校正单元，校正该差信号，以产生校正彩色信号；及

其中该灵敏度控制单元包含：

一亮度估算器，用以估算周围亮度；

一乘法器，将该内插白光信号乘以增益值；及

9.根据权利要求8所述的色彩处理装置，其中该可见光波长及红外光波长的波长频谱介于380奈米至1000奈米。

10.根据权利要求8所述的色彩处理装置，其中该彩色光及白光的波长频谱包含380～700奈米的可见光频带及凹槽形红外光频带，其与该可见光频带分离。

11.根据权利要求8所述的色彩处理装置，更包含一透镜，入射光通过该透镜而形成该透射光。

12.根据权利要求8所述的色彩处理装置，其中该彩色光信号包含红光信号、绿光信号及蓝光信号；且该差信号包含白光与红光的差信号、白光与绿光的差信号、白光与蓝光的差信号。

13.根据权利要求8所述的色彩处理装置，其中该色彩内插单元包含：

14.根据权利要求13所述的色彩处理装置，其中该差信号产生次单元对相邻差信号进行内插以产生该差信号。

15.根据权利要求8所述的色彩处理装置，其中该色彩内插单元包含：

16.根据权利要求8所述的色彩处理装置，其中该亮度估算器的输出为亮度量测值，其系将影像传感器的积分时间乘以该影像传感器的增益，再除以该白光信号的平均值。

17.根据权利要求16所述的色彩处理装置，当该亮度量测值低于第一临界值，该增益值为零；当该亮度量测值高于第二临界值，该增益值为壹，其中该第二临界值大于该第一临界值；且该增益值从第一临界值为零逐渐增加至第二临界值的壹。