CN110855913B

CN110855913B - 一种图像传感器的黑电平校正方法

Info

Publication number: CN110855913B
Application number: CN201911235568.0A
Authority: CN
Inventors: 喻义淞; 王勇; 温建新; 何云; 宋博
Original assignee: Chengdu Image Design Technology Co Ltd
Current assignee: Chengdu Image Design Technology Co Ltd
Priority date: 2019-12-05
Filing date: 2019-12-05
Publication date: 2022-04-01
Anticipated expiration: 2039-12-05
Also published as: CN110855913A

Abstract

本发明公开了一种图像传感器的黑电平校正方法，包括如下步骤：S01：采用高速校正模式依次对第一帧图像数据至第N帧图像数据进行校正，S02：采用低速校正模式依次对第N+1帧图像数据至第M帧图像数据进行校正，S03：重复步骤S01‑S02，直至所述图像产生模块产生的图像数据均被校正。本发明提供的一种图像传感器的黑电平校正方法，通过高速校正模式和低速校正模式的共同校正，可以有效校正有效像素区域中的黑电平，并且能够使得图像中偏色、闪烁现象得到改善。

Description

一种图像传感器的黑电平校正方法

技术领域

本发明涉及图像处理领域，具体涉及一种图像传感器的黑电平校正方法。

背景技术

在图像处理的过程中，通常会对CCD/CMOS图像传感器采集到的图像进行处理。然而当使用图像传感器采集图像时，由于传感器四个颜色通道的物理结构和工艺水平存在差异，并且因为曝光时间和滤光片的影响，导致图像传感器的四个颜色通道内产生的黑电平不一致，即使图像传感器在完全遮黑不感光的情况下，四个颜色通道也会因为ADC输出的影响产生差异。同时，图像传感器的工作温度、曝光时间、工作电压等因素也会影响四个通道的黑电平值，导致采集到的图像出现偏色和通透性差等不好的情况。所以，通常会对采集到的图像进行黑电平校正。

传统的方法是在ASP模块对图像的黑电平区域(即不感光像素区域)不分通道去统计不带增益的黑电平像素的平均值，然后将平均值反馈给当前帧图像用于黑电平校正，这种方法的缺点在于当温度或者曝光发生变化的时候，黑电平会随之发生变化，这种变化并不是完全呈线性关系的，且温度越高图像信号和黑电平交叠越明显，表现为明显的暗噪声，这种情况下当前帧黑电平区域的像素平均值不能真正表征当前环境下的黑电平，容易产生较大的误差，所以图像在黑电平校正的过程中容易产生闪烁的现象。

除此之外，还有方法设置调整步长和计算当前帧图像的校正目标阈值且设置为校正基准值，然后通过负反馈的方式使反馈值每一帧按照设置的调整步长逐渐调整到校正基准值，并同时反馈给当前帧图像用于黑电平校正，这种方法在一定程度上改善了由于校正值突变引起的图像画面闪烁现象，但是由于仅参考校正基准值，当这个值不准确时，容易引起图像产生偏色现象。这些方法首先在计算黑电平区域平均值时都忽略了各个通道之间的差异性，且都是在ASP模块进行处理，没有考虑图像传感器本身增益带来的影响，导致某个通道的黑电平校正不到位，容易引起图像产生偏色、闪烁或者校正过度等不好的情况。

发明内容

本发明的目的在于提供一种图像传感器的黑电平校正方法，通过高速校正模式和低速校正模式的共同校正，可以有效校正有效像素区域中的黑电平，并且能够使得图像中偏色、闪烁现象得到改善。

为了实现上述目的，本发明采用如下技术方案：一种图像传感器的黑电平校正方法，用于在数字信号处理模块中进行黑电平校正；所述图像传感器包括图像产生模块、所述图像产生模块包括黑电平区域和有效像素区域，黑电平区域产生的像素值用于对有效像素区域产生的像素值进行校正；包括如下步骤：

S01：采用高速校正模式依次对第一帧图像数据至第N帧图像数据进行校正，其中，所述高速校正模式的具体校正方法为：将黑电平反馈值的平均值作为校正值；所述黑电平反馈值为该图像数据中黑电平区域的像素平均值；N为大于0的正整数；

S02：采用低速校正模式依次对第N+1帧图像数据至第M帧图像数据进行校正，M为大于N的正整数；所述低速校正模式的具体校正方法包括为：

S021：依次校正第N+1帧至第M-1帧图像数据，其校正值均为第N帧图像数据的校正值；

S022：校正第M帧图像数据，

若(DIFF＞TH0)且(DIFF＜TH1)，则：AFB_M＝AFB_M-1+△，并采用低速校正模式依次对M+1帧图像数据至第L帧图像数据进行校正；L为大于M的正整数；

若(DIFF＜-TH0)且(DIFF＞-TH1)，则：AFB_M＝AFB_M-1-△，并采用低速校正模式依次对M+1帧图像数据至第L帧图像数据进行校正；

若(DIFF＜TH0)且(DIFF＞-TH0)，则：AFB_M＝AFB_M-1，并采用低速校正模式依次对M+1帧图像数据至第L帧图像数据进行校正；

若(DIFF＞TH1)或(DIFF＜-TH1)，则将第M帧图像数据重新定义为第一帧图像数据，返回步骤S01；

其中，DIFF＝NFRAME_AVE_M-AFB_M-1，NFRAME_AVE_M表示第N+1帧图像数据至第M帧黑电平反馈值的平均值；AFB_X_M-1表示第N帧图像数据的校正值，AFB_M表示第M帧图像数据的校正值；TH0表示校正值反映阈值；TH1表示低速到高速变化阈值；△表示校正值变化步距；

S03：重复步骤S01-S02，直至所述图像产生模块产生的图像数据均被校正。

进一步地，所述步骤S02中M等于2N，L等于2M。

进一步地，所述高速校正模式的具体校正方法为：针对第P帧图像数据，若P＝2^a，a为大于等于0的整数，则第P帧图像数据的校正值为第1帧至第P帧黑电平反馈值的平均值；若P≠2^a，则第P帧图像数据的校正值为第P-1帧图像数据的校正值，P为大于0小于等于N的正整数。

进一步地，所述高速校正模式的具体校正方法为：第P帧图像数据的校正值为第1帧至第P帧黑电平反馈值的平均值，P为大于0小于等于N的正整数。

进一步地，所述步骤S01和步骤S02中将图像数据中黑电平区域和有效像素区域分为S个通道，并依次对每个通道进行校正；S为大于0的正整数。

进一步地，所述黑电平反馈值

其中，X_i表示该帧图像数据中黑电平区域中第i个像素的像素值，b表示该帧图像数据中黑电平区域包括i个像素，b为大于0的正整数。

进一步地，所述图像传感器达到转换条件时，其对应产生的图像数据跳转至高速模式进行校正；其中，所述转换条件为下列一种或几种：图像传感器的温度变化范围大于温度阈值、曝光变化范围大于曝光阈值、增益变化范围大于增益阈值。

进一步地，所述图像传感器还包括模拟信号处理模块，且所述图像产生模块产生的图像数据先经过所述模拟信号处理模块进行黑电平粗校正，经过黑电平粗校正之后的图像数据再传输至所述数字信号处理模块中进行黑电平校正。

进一步地，所述步骤S01中图像数据对应的校正值用于对该帧图像数据进行校正，或者用于对下一帧图像数据进行校正。

进一步地，所述步骤S02中图像数据对应的校正值用于对该帧图像数据进行校正，或者用于对下一帧图像数据进行校正。

本发明的有益效果为：通过高速校正模式和低速校正模式的共同校正，可以有效校正有效像素区域中的黑电平，并且能够使得图像中偏色、闪烁现象得到改善。其中，高速校正模式对黑电平反馈值的变化反映迅速，能快速使得校正值接近当前黑电平反馈值的水平，又能避免校正值剧烈变化引起图像画面闪烁；低速校正模式使得校正值变化曲线平滑，并且校正值变化需参考连续多帧的黑电平反馈值，避免了某一帧或者数帧的异常值影响校正值的变化。

附图说明

附图1为图像处理的基本流程。

附图2为实施例1中高速校正模式和低速校正模式的示意图。

附图3为实施例2中高速校正模式和低速校正模式的示意图。

附图4为DSP中采用校正值对下一帧图像数据进行校正的示意图。

附图5为DSP中采用校正值对当前帧图像数据进行校正的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明的具体实施方式做进一步的详细说明。

请参阅附图1，图像处理的基本流程如附图1所示，其中Pixel Generator为图像产生模块，ASP为模拟信号处理模块，Gain Amplifier为增益放大单元，ADC为模数转换单元，DSP为数字信号处理模块，Pixel Processing为处理后的图像像素；其中，图像产生模块包括黑电平区域和有效像素区域，黑电平区域产生的像素值用于对有效像素区域产生的像素值进行校正；黑电平区域在图像传感器曝光时不感光，仅仅作为校正使用。模拟信号处理模块中包括增益放大单元和模数转换单元，其中，图像产生模块中输出的为模拟像素值，而模拟信号处理模块输出的为数字像素值，因此，在模数转换单元中完成模拟像素值和数字像素值的相互转化。

本发明中图像产生模块产生的图像数据在ASP中进行黑电平的粗校正，具体的粗校正方法可以采用现有技术中技术，在此不做详细介绍。其中，本发明中图像数据在进入DSP之前需要确保图像产生模块中有效像素区域和黑电平区域经过了相同的ASP黑电平粗校正处理以及增益放大，进而确保DSP中统计和校正的是经过相同处理的数据。

在本发明的图像传感器中，图像传感器颜色采集通常采用彩色滤镜，当需要彩色信息时，通常使用彩色滤镜过滤不需要的颜色，留下目标颜色；当需要采集单色图像时，不设置彩色滤镜。比如，多数图像传感器采用Bayer格式颜色排布，包括“GRBG”、“GBRG”、“RGGB”和“BGGR”四种。也有“YCCB”、“RCCB”、“RGBIR”等各种不同的颜色排布方式。图像传感器的颜色排布方式，并不构成本专利的限制要素。

本发明提供的一种图像传感器的黑电平校正方法，用于在数字信号处理模块中进行黑电平校正；包括如下步骤：

S01：采用高速校正模式依次对第一帧图像数据至第N帧图像数据进行校正，其中，高速校正模式的具体校正方法为：将黑电平反馈值的平均值作为校正值；黑电平反馈值为该图像数据中黑电平区域的像素平均值。具体的，可以包括如下两种实施例，第一种：采用移位的方式进行除法计算，针对第P帧图像数据，若P＝2^a，a为大于等于0的整数，则第P帧图像数据的校正值为第1帧至第P帧黑电平反馈值的平均值；若P≠2^a，则第P帧图像数据的校正值为第P-1帧图像数据的校正值，P为大于0小于等于N的正整数。第二种：采用除法器进行计算，第P帧图像数据的校正值为第1帧至第P帧黑电平反馈值的平均值，P为大于0小于等于N的正整数。

黑电平反馈值优选地，本发明将每帧图像数据中的黑电平区域和有效像素区域分为S个通道，并依次对每个通道进行校正；S为大于0的正整数。通道既指包括但不限于颜色排布的方式，对像素的分组结构或行为。分通道的分组方式可以由颜色排布构成，或者由ADC的结构构成，或者由版图结构构成。不同分组的像素黑电平可能受其分组方式所影响。其中，上述提及的版图结构，是指由版图设计所带来的像素分组而出现像素非一致性的情况，通过对分组像素相对应位置设定为同一通道，进行分通道统计并执行后续算法，可以显著消除这种非一致性对图像的影响。

其中，高速校正模式的具体校正方法为：针对第P帧图像数据，计算第P帧图像数据各个通道的黑电平反馈值，这里图像数据中各个通道的黑电平反馈值为该图像数据中黑电平区域对应通道的像素平均值。若P＝2^a，a为大于等于0的整数，则第P帧图像数据中各个通道的校正值为第1帧至第P帧图像数据中对应通道的黑电平反馈值的平均值；否则，第P帧图像数据中各个通道的校正值为第P-1帧图像数据中对应通道的校正值；其中，第一帧图像数据各个通道的校正值为其对应的黑电平反馈值。或者，第P帧图像数据中各个通道的校正值为第1帧至第P帧图像数据对应通道的黑电平反馈值的平均值，P为大于0小于等于N的正整数。

本步骤中确定了每一帧图像数据的校正值之后，可以采用该校正值对该帧图像数据进行校正，如附图4所示，即该帧图像数据中有效像素区域的像素值减去该校正值即为去除黑电平之后的像素值；也可以采用该校正值对下一帧图像数据进行校正，如附图5所示，即下一帧图像数据中有效像素区域的像素值减去该校正值即为去除黑电平之后的像素值。

本发明中黑电平反馈值指的是该图像数据中各个通道黑电平区域像素值的平均值，具体计算方法为：图像数据的黑电平反馈值

本发明中高速校正模式的优点：对黑电平反馈值的变化反映迅速，能快速使得黑电平精校正值接近当前黑电平反馈值的水平，又能避免校正值剧烈变化引起图像画面闪烁。

S02：采用低速校正模式依次对第N+1帧图像数据至第M帧图像数据进行校正，M为大于N的正整数；低速校正模式的具体校正方法为S021：依次校正第N+1帧至第M-1帧图像数据，其校正值均为第N帧图像数据的校正值；

S022：校正第M帧图像数据，

其中，DIFF＝NFRAME_AVE_M-AFB_M-1，NFRAME_AVE_M表示第N+1帧图像数据至第M帧黑电平反馈值的平均值；AFB_X_M-1表示第N帧图像数据的校正值，AFB_M表示第M帧图像数据的校正值；TH0表示校正值反映阈值，可自由设置；TH1表示低速到高速变化阈值，可自由设置；△表示校正值变化步距，可自由设置。

当DIFF绝对值小于校正值反映阈值TH0时，可以认为当前的黑电平反馈值与原校正值非常接近，没有必要改变校正值；当DIFF绝对值大于校正值反映阈值TH0且小于低速到高速变化阈值TH1时，认为当前黑电平反馈值与原校正值相差较大，需要使校正值向黑电平反馈值方向调整；当DIFF绝对值大于高速变化阈值TH1时，认为当前黑电平反馈值与原校正值相差非常大，已经超过了能够调整的范围，此时校正模式应该回到高速校正模式，使校正值尽快达到黑电平反馈值的水平。除了DIFF绝对值大于高速变化阈值TH1之外，其他有可能会使图像传感器黑电平发生变化的动作都可以作为低速校正模式向高速校正模式变化的条件，如：图像传感器的温度变化范围大于温度阈值、曝光变化范围大于曝光阈值、增益变化范围大于增益阈值等。

本步骤中需要针对每一帧图像数据中的各个通道依次进行校正。

本步骤中优选地，M等于2N，L＝2M，可以方便本发明方法的计算。

本发明中低速校正模式的优点：黑电平校正值变化曲线平滑，并且校正值变化需参考连续多帧的黑电平反馈值，避免了某一帧或者数帧的异常值影响校正值的变化。

以下结合附图2、3及具体实施例1、实施例2对上述校正方法进行进一步解释：

实施例1

请参阅附图2，本实施例提供的一种图像传感器的黑电平校正方法，且高速校正模式中采用移位的方式进行除法计算；其中，N＝4，M＝2N，L＝2M，每帧图像数据中黑电平区域和有效像素区域分为S个通道，具体包括如下步骤：

S02：采用高速校正模式依次对第1帧图像数据至第4帧图像数据进行校正。具体的，针对第一帧图像数据，即P＝2⁰，该帧图像数据中各个通道的校正值为第1帧图像数据中对应通道的黑电平反馈值；针对第二帧图像数据，即P＝2¹，该帧图像数据中各个通道的校正值为第1帧图像数据和第二帧图像数据中对应通道黑电平反馈值的平均值；针对第三帧图像数据，即P≠2^a，该帧图像数据中各个通道的校正值为第2帧图像数据中对应通道的校正值；针对第四帧图像数据，即P＝2²，该帧图像数据中各个通道的校正值为第1帧图像数据至第4帧图像数据中对应通道黑电平反馈值的平均值。

采用上述各帧图像数据对应的校正值对其进行黑电平校正。

S02：采用低速校正模式依次对第5帧图像数据至第8帧图像数据进行校正。具体的，第5帧图像数据、第6帧图像数据、第7帧图像数据中各个通道的校正值为第4帧图像数据中对应通道的校正值；第8帧图像数据中各个通道的校正值如下：

若(DIFF_X＞TH0)且(DIFF_X＜TH1)，则：AFB_X₈＝AFB_X₇+△，并采用低速校正模式依次对9帧图像数据至第12帧图像数据进行校正；

若(DIFF_X＜-TH0)且(DIFF_X＞-TH1)，则：AFB_X₈＝AFB_X₇-△，并采用低速校正模式依次对9帧图像数据至第12帧图像数据进行校正；

若(DIFF_X＜TH0)且(DIFF_X＞-TH0)，则：AFB_X₈＝AFB_X₇，并采用低速校正模式依次对9帧图像数据至第12帧图像数据进行校正；

若(DIFF_X＞TH1)且(DIFF_X＜-TH1)，则：将第8帧图像数据重新定义为第一帧图像数据，返回步骤S01；

其中，DIFF_X＝NFRAME_X_AVE₈-AFB_X₇，NFRAME_X_AVE₈表示第5帧图像数据至第8帧图像数据X通道黑电平反馈值的平均值；AFB_X₇表示第4帧图像数据X通道的校正值，TH0表示校正值反映阈值；TH1表示低速到高速变化阈值；△表示校正值变化步距；AFB_X₄表示第4帧图像数据中X通道的校正值。

采用上述各帧图像数据对应的校正值对其进行黑电平校正。

实施例2

请参阅附图3，本实施例提供的一种图像传感器的黑电平校正方法，其中，N＝3，M＝2N，L＝2M，且高速校正模式中采用除法器计算校正值。值得说明的是，实施例1和2中均设置M＝2N，L＝2M，这种设置是为了整个计算过程简单快捷，并不影响本发明的保护范围。每帧图像数据中黑电平区域和有效像素区域分为S个通道，具体包括如下步骤：

S02：采用高速校正模式依次对第1帧图像数据至第3帧图像数据进行校正。具体的，针对第一帧图像数据，该帧图像数据中各个通道的校正值为第1帧图像数据中对应通道的黑电平反馈值，即AFB1＝A；针对第二帧图像数据，该帧图像数据中各个通道的校正值为第1帧图像数据和第二帧图像数据中对应通道黑电平反馈值的平均值，即AFB2＝(A+B)/2；针对第三帧图像数据，该帧图像数据中各个通道的校正值为第1帧图像数据至第3帧图像数据中对应通道黑电平反馈值的平均值，即AFB3＝(A+B+C)/3。

采用上述各帧图像数据对应的校正值对其进行黑电平校正。

S02：采用低速校正模式依次对第4帧图像数据至第6帧图像数据进行校正。具体的，第4帧图像数据和第5帧图像数据中各个通道的校正值为第3帧图像数据中对应通道的校正值；第6帧图像数据中各个通道的校正值如下：

若(DIFF_X＞TH0)且(DIFF_X＜TH1)，则：AFB_X₆＝AFB_X₅+△，并采用低速校正模式依次对7帧图像数据至第9帧图像数据进行校正；

若(DIFF_X＜-TH0)且(DIFF_X＞-TH1)，则：AFB_X₆＝AFB_X₅-△，并采用低速校正模式依次对7帧图像数据至第9帧图像数据进行校正；

若(DIFF_X＜TH0)且(DIFF_X＞-TH0)，则：AFB_X₆＝AFB_X₅，并采用低速校正模式依次对7帧图像数据至第9帧图像数据进行校正；

其中，DIFF_X＝NFRAME_X_AVE₆-AFB_X₅，NFRAME_X_AVE₆表示第4帧图像数据至第6帧图像数据X通道黑电平反馈值的平均值；AFB_X₅表示第3帧图像数据X通道的校正值，TH0表示校正值反映阈值；TH1表示低速到高速变化阈值；△表示校正值变化步距。

采用上述各帧图像数据对应的校正值对其进行黑电平校正。

以上所述仅为本发明的优选实施例，所述实施例并非用于限制本发明的专利保护范围，因此凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明所附权利要求的保护范围内。

Claims

1.一种图像传感器的黑电平校正方法，用于在数字信号处理模块中进行黑电平校正；所述图像传感器包括图像产生模块、所述图像产生模块包括黑电平区域和有效像素区域，黑电平区域产生的像素值用于对有效像素区域产生的像素值进行校正；其特征在于，包括如下步骤：

S01：采用高速校正模式依次对第一帧图像数据至第N帧图像数据进行校正，其中，所述高速校正模式的具体校正方法为：将黑电平反馈值的平均值作为校正值；所述黑电平反馈值为该图像数据中黑电平区域中所有像素的平均值；N为大于0的正整数；

S022：校正第M帧图像数据，

若(DIFF>TH0)且(DIFF<TH1)，则：AFB_M＝AFB_M-1+△，并采用低速校正模式依次对M+1帧图像数据至第L帧图像数据进行校正；L为大于M的正整数；

若(DIFF<-TH0)且(DIFF>-TH1)，则：AFB_M＝AFB_M-1-△，并采用低速校正模式依次对M+1帧图像数据至第L帧图像数据进行校正；

若(DIFF<TH0)且(DIFF>-TH0)，则：AFB_M＝AFB_M-1，并采用低速校正模式依次对M+1帧图像数据至第L帧图像数据进行校正；

若(DIFF>TH1)或(DIFF<-TH1)，则将第M帧图像数据重新定义为第一帧图像数据，返回步骤S01；

其中，DIFF＝NFRAME_AVE_M-AFB_M-1，NFRAME_AVE_M表示第N+1帧图像数据至第M帧图像数据黑电平反馈值的平均值；AFB_X_M-1表示第N帧图像数据的校正值，AFB_M表示第M帧图像数据的校正值；TH0表示校正值反映阈值；TH1表示低速到高速变化阈值；△表示校正值变化步距；

2.根据权利要求1所述的一种图像传感器的黑电平校正方法，其特征在于，所述步骤S02中M等于2N，L等于2M。

3.根据权利要求1所述的一种图像传感器的黑电平校正方法，其特征在于，所述高速校正模式的具体校正方法为：针对第P帧图像数据，若P＝2^a，a为大于等于0的整数，则第P帧图像数据的校正值为第1帧至第P帧黑电平反馈值的平均值；若P≠2^a，则第P帧图像数据的校正值为第P-1帧图像数据的校正值，P为大于0小于等于N的正整数。

4.根据权利要求1所述的一种图像传感器的黑电平校正方法，其特征在于，所述高速校正模式的具体校正方法为：第P帧图像数据的校正值为第1帧至第P帧黑电平反馈值的平均值，P为大于0小于等于N的正整数。

5.根据权利要求1所述的一种图像传感器的黑电平校正方法，其特征在于，所述步骤S01和步骤S02中将图像数据中黑电平区域和有效像素区域分为S个通道，并依次对每个通道进行校正；S为大于0的正整数。

6.根据权利要求1所述的一种图像传感器的黑电平校正方法，其特征在于，所述黑电平反馈值

其中，X_i表示该帧图像数据中黑电平区域中第i个像素的像素值，b表示该帧图像数据中黑电平区域包括b个像素，b为大于0的正整数。

7.根据权利要求1所述的一种图像传感器的黑电平校正方法，其特征在于，所述图像传感器达到转换条件时，其对应产生的图像数据跳转至高速模式进行校正；其中，所述转换条件为下列一种或几种：图像传感器的温度变化范围大于温度阈值、曝光变化范围大于曝光阈值、增益变化范围大于增益阈值。

8.根据权利要求1所述的一种图像传感器的黑电平校正方法，其特征在于，所述图像传感器还包括模拟信号处理模块，且所述图像产生模块产生的图像数据先经过所述模拟信号处理模块进行黑电平粗校正，经过黑电平粗校正之后的图像数据再传输至所述数字信号处理模块中进行黑电平校正。

9.根据权利要求1所述的一种图像传感器的黑电平校正方法，其特征在于，所述步骤S01中图像数据对应的校正值用于对该帧图像数据进行校正，或者用于对下一帧图像数据进行校正。

10.根据权利要求1所述的一种图像传感器的黑电平校正方法，其特征在于，所述步骤S02中图像数据对应的校正值用于对该帧图像数据进行校正，或者用于对下一帧图像数据进行校正。