CN104349085B

CN104349085B - 黑阶调整装置及黑阶调整方法

Info

Publication number: CN104349085B
Application number: CN201310319414.6A
Authority: CN
Inventors: 陈柏璋; 彭源智
Original assignee: Himax Imaging Inc
Current assignee: Himax Imaging Inc
Priority date: 2013-07-26
Filing date: 2013-07-26
Publication date: 2017-09-22
Anticipated expiration: 2033-07-26
Also published as: CN104349085A

Abstract

本发明提供一种黑阶调整方法，用于具有像素阵列的互补金属氧化物半导体(CMOS)影像传感器，所述像素阵列包括多个暗行及多个活动行。所述黑阶调整方法包括下列步骤：计算来自所述多个暗行的多个像素的平均值，其中所述平均值包括整数部分及小数部分；依据所述整数部分计算黑阶控制偏移值；依据所述小数部分产生混色遮罩；将所述混色遮罩应用至所述多个活动行的多个像素；以及将所计算的所述黑阶控制偏移值加至来自所述多个活动行中已混色后的所述多个像素以产生多个结果像素。

Description

黑阶调整装置及黑阶调整方法

技术领域

本发明涉及黑阶控制(black level control)，特别是涉及在CMOS影像传感器中的一种黑阶控制装置及方法，其可通过混色(dithering)来进行黑阶控制处理。

背景技术

图1显示传统的CMOS影像传感器像素阵列(CMOS image sensor pixel array)。CMOS影像传感器像素阵列100可包括暗行(dark row)110及活动行(active row)120，如图1所示。在CMOS影像传感器像素阵列100中的像素(例如：R/B/Gr/Gb)会以贝尔图样(BayerPattern)的方式进行排列。暗行110会被完全遮蔽而不会接收到任何光线，而活动行120会用以接收光线或其入射影像。暗行110主要在CMOS影像传感器中的模拟前端中用以调整像素值以输出适合的黑阶。所谓的黑阶控制/取消(BLC)处理可利用暗行的输出像素值以降低由CMOS影像传感器及不完美的模拟电路设计的噪声所导致的偏差及偏移。

一般而言，在CMOS影像传感器中照下一张影像可包括下列步骤：重设并读取(曝光处理)暗行中的像素；输出暗行的像素以进行黑阶控制处理；校正模拟电路并调整偏移值至合适的输出黑阶值以进行黑阶控制处理；在暗行的末端固定黑阶控制处理的设定；重设并读取活动行的像素；依据所固定在暗行中的设定以对活动行的像素值进行黑阶控制处理。

除此之外，一般用于补偿偏差值的方法是先计算暗行的平均像素值，并接着将活动行的平均像素值减去暗行的平均像素值。在黑阶控制处理中在数字电路中的平均像素值的计算，因为有限精确度的缘故，无法避免会有数值错误。在彩色传感器中，在颜色通道中所无法避免的数值错误会导致显著的色彩颜色偏移，特别是当影像信号处理器采用高通道增益在不同的色彩通道的像素上。先前技术会使用低成本的除法器以计算暗行的平均值。然而，无法避免的数值错误是无法被忽视的，且会导致色彩/亮度的闪动，特别是当后端的影像信号处理器使用大通道增益以进行影像处理。

发明内容

本发明提供一种黑阶调整方法，用于具有像素阵列的互补金属氧化物半导体(CMOS)影像传感器，像素阵列包括多个暗行及多个活动行。所述黑阶调整方法包括下列步骤：计算来自所述多个暗行的多个像素的平均值，其中所述平均值包括整数部分及小数部分；依据所述整数部分计算黑阶控制偏移值；依据所述小数部分产生混色遮罩；将所述混色遮罩应用至所述多个活动行的多个像素；以及将所计算的所述黑阶控制偏移值加至来自所述多个活动行中已混色后的所述等像素以产生多个结果像素。

本发明还提供一种黑阶调整装置，用于具有像素阵列的互补金属氧化物半导体(CMOS)影像传感器，所述像素阵列包括多个暗行及多个活动行，所述黑阶调整装置包括：运算单元，耦接至所述多个暗行，用以计算来自所述多个暗行的多个像素的平均值，其中所述平均值包括整数部分及小数部分，且所述运算单元还依据所述整数部分计算黑阶控制偏移值；遮罩产生单元，耦接至所述运算单元，用以依据所述小数部分产生混色遮罩；混色处理单元，耦接至所述遮罩产生单元及所述多个活动行，用以应用所述混色遮罩至来自所述多个活动行的多个像素；以及偏移计算单元，用以将所计算的所述黑阶控制偏移值加至来自所述多个活动行中已混色后的所述多个像素以产生多个结果像素。

附图说明

图1显示传统的CMOS影像传感器像素阵列。

图2显示依据本发明实施例中在CMOS传感器中的黑阶调整装置的方块图。

图3显示依据本发明实施例的运算单元210的方块图。

图4A-图4E显示依据本发明实施例中用于遮罩产生单元220的阀值图及混色遮罩的示意图。

图5显示依据本发明实施例中应用混色遮罩至来自活动行的像素的示意图。

图6A-图6C显示用于传统黑阶控制处理的四舍五入法(rounding)的模拟图。

图7A-图7C显示依据本发明实施例中用于黑阶调整装置中的混色处理的模拟图。

图8显示依据本发明实施例中用于具有像素阵列的CMOS传感器中的黑阶调整方法的流程图。

【符号说明】

100～CMOS影像传感器像素阵列；

110～暗行；

120～活动行；

10～CMOS影像传感器；

100～像素阵列；

200～黑阶调整装置；

210～运算单元；

211～累加器；

212～除法器；

213～减法单元；

220～遮罩产生单元；

230～混色处理单元；

240～偏移计算单元；

110～暗行；

120～活动行；

BLC_target～预定黑阶值；

BLC_offset～黑阶控制偏移值；

Pd、Pa～像素；

Pa_blc～结果像素；

fraction～小数部分；

dithering mask～混色遮罩；

dithered pixels～混色后的像素；

M～阀值图；

Mdtr～中间混色遮罩；

D～混色遮罩；

i、j～坐标；

DN～数位数值；

Blk₀₀、Blk₀₁、Blk₁₀、Blk₁₁～方块。

具体实施方式

为使本发明上述目的、特征和优点能更明显易懂，下文特举优选实施例，并配合附图，作详细说明如下。

图2显示依据本发明实施例中在CMOS传感器中的黑阶调整装置的方块图。CMOS传感器10包括黑阶调整装置200及像素阵列100，像素阵列100包括暗行110及活动行120。在实施例中，黑阶调整装置200可包括运算单元210、遮罩产生单元220、混色处理单元(dithering process unit)230、以及偏移计算单元240。如图2所示，Pd及Pa分别表示来自暗行110及活动行120中所取得的像素，而BLC_target表示在黑阶控制处理中的预定黑阶值。运算单元210耦接至像素阵列100的暗行110以计算暗行110的像素的平均值，其中平均值以整数及小数的形式表示。在实用上，不想要有超出特定范围(例如10～250)的输出黑阶值，因此会设定使用者定义黑阶值(注：BLC_target)。运算单元210还可将预定黑阶值BLC_target(注：使用者定义的黑阶值)减去整数值以计算黑阶控制偏移值BLC_offset。除此之外，使用者定义的输出黑阶值是选择性的，且可通过将BLC_target的数值设定为0以将其忽略。遮罩产生单元220耦接至运算单元210，其用以依据所述小数值以产生混色遮罩(dithering mask)。混色处理单元230耦接至遮罩产生单元220及像素阵列100的活动行120，其用以接收来自遮罩产生单元220的混色遮罩，并将混色遮罩用于来自活动行120的像素。偏移计算单元240用以将所计算的黑阶控制偏移值加至混色后的像素以产生结果像素Pa_blc(注：调整过后的活动行的像素用于后续处理)。

图3显示依据本发明实施例的运算单元210的方块图。请同时参考图2及图3，在实施例中，运算单元210包括累加器211、除法器212及减法单元213。如图3所示，累加器211用以接收来自暗行的像素Pd并计算所有像素Pd的加总值(注：累加值)。除法器212将加总值除以所接收的像素Pd的总数量以计算平均值，其中平均值包括整数部分及小数部分。除法器212输出小数部分至遮罩产生单元220以产生混色遮罩。减法单元213用以将预定黑阶值减去整数部分以计算黑阶控制偏移值BLC_offset(注：可为正数或负数)。需注意的是所计算的BLC偏移值作为参考黑阶，且可利用参考黑阶以调整来自活动行的像素值，可在当使用通道增益至不同的色彩通道(注：在贝尔图样中的B,Gb,R及Gr等等)时，用以维持颜色的一致性。

图4A-图4E显示依据本发明实施例中用于遮罩产生单元220的阀值图及混色遮罩的示意图。在实施例中，遮罩产生单元220可接收由运算单元210所产生的小数部分，并依据小数部分及阀值图M以产生中间混色遮罩(intermediate dithering mask)，其中阀值图M如图4A所示。举例来说，给定小数部分A为7(注：二进制的0111)，当在阀值图M中的元素小于小数部分，则遮罩产生单元220会设定在中间混色遮罩Mdtr中的相关元素为16。否则，遮罩产生单元220会设定在中间混色遮罩Mdtr中的相关元素为0。在阀值图M中小于小数部分的元素会被标示，如图4B所示，且相关的中间混色遮罩Mdtr如图4C所示。遮罩产生单元220还可将中间混色遮罩Mdtr除以16以产生混色遮罩D。换言之，遮罩产生单元220会归一化(normalize)中间混色遮罩以产生混色遮罩D，如图4D所示。另一方面来说，中间混色遮罩是可以忽略的。换言之，遮罩产生单元220可比较来自暗行110的像素与在阀值图M中的各个相关像素。若像素小于相关元素，遮罩产生单元220会直接设定在混色遮罩D中的相关元素为1。否则，遮罩产生单元220会直接设定在混色遮罩D中的相关元素为0。需注意的是在阀值图M中的元素的顺序并不限定于本发明的形式。举例来说，每4个连续数字(例如0-3、4-7、8-11及12-15)可对称地排列在阀值图中的不同矩阵，如图4E所示。

图5显示依据本发明实施例中应用混色遮罩至来自活动行的像素的示意图，其中i及j分别表示B像素的水平及垂直坐标。因此，混色处理单元230可接收来自遮罩产生单元220的混色遮罩，并应用(apply)混色遮罩至活动行120的像素。更进一步而言，使用混色遮罩表示混色处理单元230将活动行120的像素减去在混色遮罩中的相关数值(元素)。如图5所示，混色处理单元230可将在方块Blk00、Blk01、Blk10及Blk11中的B像素减去在混色遮罩中的相关数值。接着，在处理图像中的所有方块后可得到调整后的图像。需注意的是混色处理单元230可进行类似的混色处理(注：使用混色遮罩)至来自其它色彩通道(例如：R/Gb/Gr)的像素。

图6A-图6C显示用于传统黑阶控制处理的四舍五入法(rounding)的模拟图。图7A-图7C显示依据本发明实施例中用于黑阶调整装置中的混色处理的模拟图。撷取在各色彩通道中的暗行的像素。图6A及图7A显示在各色彩通道在30张影像中的的黑阶值。图6B及图7B显示在各色彩通道在30张影像中的黑阶值的变异数(variance)。图6C及图7C显示在B及R色彩通道的差值及其变异数。在先前技术中，在运算单元210中用于黑阶控制处理的除法器213设计为定点运算(fixed-point operation)，并可在除法器所得到的平均值中的小数部分使用四舍五入法(或舍去法)。因此，在黑阶控制处理(注：取消偏移值)后的数值错误可达到1DN，如图6B所示，其中DN表示「数字数值」(注：基础单位)。

举例来说，当各像素的精度为8位时，数字数值(注：DN)可为256。因为各色彩通道(例如：R/B/Gr/Gb)的黑阶控制处理是独立进行的，各个色彩通道均会有数值错误。因此，在两个色彩通道(例如：R及B通道)之间的差值可达到2DN(±1DN)，如图6C所示，这些差值会导致明显的色彩颜色偏移，或是色彩/亮度闪动。在本发明中，可使用所揭示的混色处理，将各色彩通道中的数值错误(注：其变异数)降低至大约0.4DN，如图7C所示，且因此在各两个色彩通道之间的差值可降低至0.8DN。

图8显示依据本发明实施例中用于具有像素阵列的CMOS传感器中的黑阶调整方法的流程图。请同时参考图2及图8，像素阵列100包括暗行110及活动行120。在步骤S810，运算单元210可计算来自暗行110的多个像素的平均值，其中平均值包括整数部分及小数部分。在步骤S820，运算单元210还可依据整数部分以计算黑阶控制偏移值(注：BLC_offset)。更进一步而言，运算单元210可将预定黑阶值BLC_target减去整数部分以产生黑阶控制偏移值。在步骤S830，遮罩产生单元220依据小数部分产生混色遮罩。在步骤S840，混色处理单元230可使用混色遮罩(注：执行混色处理)至来自活动行120的多个像素。在步骤S850，偏移计算单元240将所计算的黑阶控制偏移值加至混色后的像素以产生多个结果像素Pa_blc(注：调整后的活动行的像素)

本发明虽以优选实施例公开如上，然其并非用以限定本发明的范围，任何本领域普通技术人员，在不脱离本发明的精神和范围内，当可做些许的修改与变型，因此本发明的保护范围当视权利要求的范围为准。

Claims

1.一种黑阶调整方法，用于具有像素阵列的互补金属氧化物半导体(CMOS)影像传感器，所述像素阵列包括多个暗行及多个活动行，所述黑阶调整方法包括下列步骤：

计算来自所述多个暗行的多个像素的平均值，其中所述平均值包括整数部分及小数部分；

依据所述整数部分计算黑阶控制偏移值；

依据所述小数部分产生混色遮罩；

将所述混色遮罩应用至所述多个活动行的多个像素；以及

将所计算的所述黑阶控制偏移值加至来自所述多个活动行中已混色后的所述多个像素以产生多个结果像素。

2.根据权利要求1所述的黑阶调整方法，其中计算所述平均值的步骤还包括：

计算所述多个暗行的所述多个像素的加总值；

将所述加总值除以所述多个暗行的所述多个像素的数量以产生所述平均值。

3.根据权利要求1所述的黑阶调整方法，其中计算所述黑阶控制偏移值的步骤还包括：

将预定黑阶值减去所述整数部分以计算所述黑阶控制偏移值。

4.根据权利要求1所述的黑阶调整方法，其中计算所述混色遮罩的步骤还包括：

分别比较所述小数部分及在阈值图中的各元素；

若所述元素小于所述小数部分，设定在所述混色遮罩中的所述相关元素为1；以及

若所述元素不小于所述小数部分，设定在所述混色遮罩中的所述相关元素为0。

5.根据权利要求4所述的黑阶调整方法，其中应用所述混色遮罩至所述多个活动行的所述多个像素的步骤还包括：

将所述多个活动行的所述多个像素减去在所述混色遮罩中的所述相关像素以产生所述多个结果像素。

6.一种黑阶调整装置，用于具有像素阵列的互补金属氧化物半导体(CMOS)影像传感器，所述像素阵列包括多个暗行及多个活动行，所述黑阶调整装置包括：

运算单元，耦接至所述多个暗行，用以计算来自所述多个暗行的多个像素的平均值，其中所述平均值包括整数部分及小数部分，且所述运算单元还依据所述整数部分计算黑阶控制偏移值；

遮罩产生单元，耦接至所述运算单元，用以依据所述小数部分产生混色遮罩；

混色处理单元，耦接至所述遮罩产生单元及所述多个活动行，用以应用所述混色遮罩至来自所述多个活动行的多个像素；以及

偏移计算单元，用以将所计算的所述黑阶控制偏移值加至来自所述多个活动行中已混色后的所述多个像素以产生多个结果像素。

7.根据权利要求6所述的黑阶调整装置，其中所述运算单元还计算所述多个暗行的像素的加总值，并将所述加总值除以所述多个暗行的所述多个像素的数量以产生所述平均值。

8.根据权利要求6所述的黑阶调整装置，其中所述运算单元还将预定黑阶值减去所述整数部分以计算所述黑阶控制偏移值。

9.根据权利要求6所述的黑阶调整装置，其中所述遮罩产生单元还分别比较所述小数部分及在阈值图中的各元素；

其中若所述元素小于所述小数部分，所述遮罩产生单元设定在所述混色遮罩中的所述相关元素为1；

其中若所述元素不小于所述小数部分，所述遮罩产生单元设定在所述混色遮罩中的所述相关元素为0。

10.根据权利要求9所述的黑阶调整装置，其中所述混色处理单元还将所述多个活动行的所述多个像素减去在所述混色遮罩中的所述相关像素以产生所述多个结果像素。