CN110365922B - 一种图像传感器的黑电平校正方法 - Google Patents

一种图像传感器的黑电平校正方法 Download PDF

Info

Publication number
CN110365922B
CN110365922B CN201910593837.4A CN201910593837A CN110365922B CN 110365922 B CN110365922 B CN 110365922B CN 201910593837 A CN201910593837 A CN 201910593837A CN 110365922 B CN110365922 B CN 110365922B
Authority
CN
China
Prior art keywords
state
pixel
black level
frame
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910593837.4A
Other languages
English (en)
Other versions
CN110365922A (zh
Inventor
李想
王勇
温建新
宋博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Image Design Technology Co Ltd
Original Assignee
Chengdu Image Design Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Image Design Technology Co Ltd filed Critical Chengdu Image Design Technology Co Ltd
Priority to CN201910593837.4A priority Critical patent/CN110365922B/zh
Publication of CN110365922A publication Critical patent/CN110365922A/zh
Application granted granted Critical
Publication of CN110365922B publication Critical patent/CN110365922B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种图像传感器的黑电平校正方法，包括如下步骤：S01：将所述黑电平区域和有效像素区域分为N个通道，针对第M帧图像中各个通道分别在模拟信号处理模块中进行黑电平粗校正；S02：针对第M帧图像中各个通道分别在数字信号处理模块中进行黑电平精细校正，本发明提供的一种图像传感器的黑电平校正方法，在模拟信号处理模块中对黑电平进行粗校正，在数字信号处理模块中对黑电平进行精细校正，避免最终经过校正的图像发生偏色或闪烁。

Description

一种图像传感器的黑电平校正方法
技术领域
本发明涉及图像处理领域，具体涉及一种图像传感器的黑电平校正方法。
背景技术
在图像处理的过程中，通常会对CCD/CMOS图像传感器采集到的图像进行处理。然而当使用图像传感器采集图像时，由于传感器四个颜色通道的物理结构和工艺水平存在差异，并且因为曝光时间和滤光片的影响，导致图像传感器的四个颜色通道内产生的黑电平不一致，即使图像传感器在完全遮黑不感光的情况下，四个颜色通道也会因为ADC输出的影响产生差异。同时，图像传感器的工作温度、曝光时间、工作电压等因素也会影响四个通道的黑电平值，导致采集到的图像出现偏色和通透性差等不好的情况。所以，通常会对采集到的图像进行黑电平校正。
传统的方法是在ASP模块对图像的黑电平区域(即不感光像素区域)不分通道去统计不带增益的黑电平像素的平均值，然后将平均值反馈给当前帧图像用于黑电平校正，这种方法的缺点在于当温度或者曝光发生变化的时候，黑电平会随之发生变化，这种变化并不是完全呈线性关系的，且温度越高图像信号和黑电平交叠越明显，表现为明显的暗噪声，这种情况下当前帧黑电平区域的平均值不能真正表征当前环境下的黑电平，容易产生较大的误差，所以图像在黑电平校正的过程中容易产生闪烁的现象。
除此之外，还有方法设置调整步长和计算当前帧图像的校正目标阈值且设置为校正基准值，然后通过负反馈的方式使反馈值每一帧按照设置的调整步长逐渐调整到校正基准值，并同时反馈给当前帧图像用于黑电平校正，这种方法在一定程度上改善了由于校正值突变引起的图像画面闪烁现象，但是由于仅参考校正基准值，当这个值不准确时，容易引起图像产生偏色现象。这些方法首先在计算黑电平区域平均值时都忽略了各个通道之间的差异性，且都是在ASP模块进行处理，没有考虑图像传感器本身增益带来的影响，导致某个通道的黑电平校正不到位，容易引起图像产生偏色、闪烁或者校正过度等不好的情况。
发明内容
本发明的目的在于提供一种图像传感器的黑电平校正方法，在模拟信号处理模块中对黑电平进行粗校正，在数字信号处理模块中对黑电平进行精细校正，避免最终经过校正的图像发生偏色或闪烁。
为了实现上述目的，本发明采用如下技术方案：一种图像传感器的黑电平校正方法，所述图像传感器包括图像产生模块、所述图像产生模块包括黑电平区域和有效像素区域，黑电平区域产生的像素值用于对有效像素区域产生的像素值进行校正；包括如下步骤：
S01：将所述黑电平区域和有效像素区域分为N个通道，针对第M帧图像中各个通道分别在模拟信号处理模块中进行黑电平粗校正；其中，N为大于1的整数，M为大于等于0的正整数；具体包括：
S011：分别对第M帧图像中黑电平区域各个通道输出的像素值 PIXEL_DARKM进行校正并输出校正之后的像素值PIXEL_ASPM，且A通道校正之后的像素值PIXEL_ASPM_A＝(PIXEL_DARKM_A-AFBM-1_A)×GainM；其中， AFBM-1_A为模拟信号处理模块第M-1帧图像中A通道的黑电平反馈值，且当第 M-1帧图像中A通道的平均值Ana_aveM-1_A小于等于阈值时，AFBM-1_A＝AFBM-2_A；当第M-1帧图像中A通道的平均值Ana_aveM-1_A大于阈值时，AFBM-1_A＝AFBM-2_A+Ana_aveM-1_A/GainM-1；A通道的平均值Ana_aveM-1_A为模拟信号处理模块第M-1帧图像中黑电平区域所有A通道像素值的算术平均值；当 M＝0时，第M-1帧图像的黑电平反馈值为0；A为小于等于N的正整数；
S012：在模拟信号处理模块中采用上述校正之后的像素值PIXEL_ASPM分别对第M帧图像中有效像素区域产生的对应通道的像素值进行校正；
S02：针对第M帧图像中各个通道分别在数字信号处理模块中进行黑电平精细校正，并输出校正之后的有效像素值。
进一步地，所述步骤S02中黑电平精细校正的具体步骤包括：
S021：分别对第M帧图像中模拟信号处理模块输出的各个通道的像素值 PIXEL_ASPM进行校正并输出校正之后的像素值PIXEL_DSPM，且A通道校正之后的像素值PIXEL_DSPM_A＝PIXEL_ASPM_A×GainM-DFBM-1_A；其中，
Figure BDA0002116949780000021
DIG_aveM-1_A为数字信号处理模块第M-1帧图像中黑电平区域所有A通道像素值的算术平均值，Kp为调整系数；
S022：在数字信号处理模块中采用上述校正之后的像素值PIXEL_DSPM分别对第M帧图像中有效像素区域产生的对应通道的像素值进行校正，并输出校正之后的有效像素值。
进一步地，所述步骤S012中采用校正之后的像素值PIXEL_ASPM对第M帧或第M+1帧图像进行校正。
进一步地，所述模拟信号处理模块包括增益放大单元和模数转换单元，所述黑电平区域输出的模拟像素值经过所述模数转换单元转换为数字像素值进行输出。
一种图像传感器的黑电平校正方法，所述图像传感器包括图像产生模块、所述图像产生模块包括黑电平区域和有效像素区域，黑电平区域产生的像素值用于对有效像素区域产生的像素值进行校正；包括如下步骤：
S01：将所述黑电平区域和有效像素区域分为N个通道，针对第M帧图像中各个通道分别在模拟信号处理模块中进行黑电平粗校正；其中，N为大于1的整数，M为大于等于0的正整数；
S02：针对第M帧图像中各个通道分别在数字信号处理模块中进行黑电平精细校正，具体包括：
S021：分别对第M帧图像中模拟信号处理模块输出的各个通道的像素值 PIXEL_ASPM进行校正并输出校正之后的像素值PIXEL_DSPM，且A通道校正之后的像素值PIXEL_DSPM_A＝PIXEL_ASPM_A×GainM-DFBM-1_A；其中，
Figure BDA0002116949780000031
DIG_aveM-1_A为数字信号处理模块第M-1帧图像中黑电平区域所有A通道像素值的算术平均值，Kp为调整系数；
S022：在数字信号处理模块中采用上述校正之后的像素值PIXEL_DSPM分别对第M帧图像中有效像素区域产生的对应通道的像素值进行校正，并输出校正之后的有效像素值。
进一步地，所述步骤S022中采用上述校正之后的像素值PIXEL_DSPM对第M帧或第M+1帧图像进行校正。
进一步地，所述调整系数Kp由第M帧图像所处的校正状态决定，所述校正状态包括X+1种，分别为STATE0至STATEX，对应的调整系数分别为K0至KX，对应的运行帧数分别为STATE0_NUM至STATEX_NUM；且各个状态对应的调整系数均不相同；其中，图像传感器产生的第0帧至第STATE0_NUM-1帧图像对应的调整系数为K0，第STATE0_NUM帧图像至第 STATE0_NUM+STATE1_NUM-1帧图像对应的调整系数为K1，第 STATE0_NUM+STATE1_NUM帧图像至第STATE0_NUM+STATE1_NUM+STATE2_NUM-1帧图像对应的调整系数为K2，直至第STATE0_NUM+STATE1_NUM+STATE2_NUM+……+STATEX-1_NUM帧图像之后的图像对应的调整系数为KX。
进一步地，当图像传感器开启时，首先进入STATE0状态，并且当图像传感器的帧计数器FARME_CNT＜STATE0_NUM时，Kp＝K0，且帧计数器加1，继续下一帧图像的校正，当FARME_CNT＝STATE0_NUM时，校正状态从STATE0跳转到 STATE1并同时更新帧计数器FRAME_CNT＝0；
当帧计数器FARME_CNT＜STATE1_NUM时，Kp＝K1，且帧计数器加1，继续下一帧图像的校正；当FARME_CNT＝STATE1_NUM时，校正状态从STATE1跳转到STATE2并同时更新帧计数器FRAME_CNT＝0；
当帧计数器FARME_CNT＜STATE2_NUM时，Kp＝K2，且帧计数器加1，继续下一帧图像的校正；当FARME_CNT＝STATE2_NUM时，校正状态从STATE2跳转到STATE3并同时更新帧计数器FRAME_CNT＝0；
依次类推，直至当帧计数器FARME_CNT＜STATEX-1_NUM时，Kp＝KX-1，且帧计数器加1，继续下一帧图像的校正；当FARME_CNT＝STATEX-1_NUM时，校正状态从STATEX-1跳转到STATEX并同时更新帧计数器FRAME_CNT＝0；
当校正状态进入STATEX，Kp＝KX，且帧计数器加1，继续下一帧图像的校正；直至图像传感器发生复位。
进一步地，所述发生复位的条件为下列一种或几种：图像传感器的温度变化范围大于温度阈值、曝光变化范围大于曝光阈值、增益变化范围大于增益阈值、当前帧图像对应的黑电平反馈值AFB变化量大于反馈阈值。
进一步地，所述图像传感器发生复位之后，STATEX状态跳转至STATE0至 STATEX-1的其中一个。
进一步地，所述图像传感器发生复位之后，图像传感器的帧计数器恢复0，进入STATE0状态。
本发明的有益效果为：本发明首先采用分通道去统计各个通道带增益的平均值，在模拟信号处理模块通过负反馈的方式分通道进行黑电平粗校正，但是在经过模拟信号处理块的黑电平校正后黑电平可能还有“剩余值”，所以本发明在此基础上增加在数字信号处理模块分通道进行黑电平精校正的方式，通过这两种方式可以使图像的偏色、闪烁情况得到改善。
附图说明
附图1为图像处理的基本流程。
附图2为在模拟信号处理模块中进行黑电平校正的方法示意图。
附图3为实施例1中按照颜色排布进行通道分类的图像阵列。
附图4为ASP中采用黑电平反馈值对下一帧图像进行校正的示意图。
附图5为ASP中采用黑电平反馈值对当前帧图像进行校正的示意图。
附图6为实施例2中校正状态对应的运行帧数。
附图7为实施例2中模拟信号处理模块中校正状态的跳转示意图。
附图8为DSP中采用黑电平反馈值对下一帧图像进行校正的示意图。
附图9为DSP中采用黑电平反馈值对当前帧图像进行校正的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明的具体实施方式做进一步的详细说明。
请参阅附图1，图像处理的基本流程如附图1所示，其中Pixel Generator为图像产生模块，ASP为模拟信号处理模块，Gain Amplifier为增益放大单元，ADC 为模数转换单元，DSP为数字信号处理模块，Pixel Processing为处理后的图像像素；其中，图像产生模块包括黑电平区域和有效像素区域，黑电平区域产生的像素值用于对有效像素区域产生的像素值进行校正；黑电平区域在图像传感器曝光时不感光，仅仅作为校准使用。模拟信号处理模块中包括增益放大单元和模数转换单元，其中，图像产生模块中输出的为模拟像素值，而模拟信号处理模块输出的为数字像素值，因此，在模数转换单元中完成模拟像素值和数字像素值的相互转化。
本发明提供的一种图像传感器的黑电平校正方法，具体包括如下步骤：
S01：将黑电平区域和有效像素区域分为N个通道，针对第M帧图像中各个通道分别在模拟信号处理模块中进行黑电平粗校正；本发明中各个像素通道的校正是同时进行的，即黑电平区域产生的模拟像素值包含N个通道，且N个通道的模拟像素值同时输入至模拟信号处理模块中进行处理，处理之后同时输出。其中，N为大于1的整数，M为大于等于0的正整数；具体包括：
S011：分别对第M帧图像中黑电平区域各个通道输出的像素值 PIXEL_DARKM进行校正并输出校正之后的像素值PIXEL_ASPM，且A通道校正之后的像素值PIXEL_ASPM_A＝(PIXEL_DARKM_A-AFBM-1_A)×GainM；其中， GainM为图像传感器中第M帧图像对应的增益值；AFBM-1_A为模拟信号处理模块第M-1帧图像中A通道的黑电平反馈值，且当第M-1帧图像中A通道的平均值Ana_aveM-1_A小于等于阈值时，AFBM-1_A＝AFBM-2_A；当第M-1帧图像中A通道的平均值Ana_aveM-1_A大于阈值时，AFBM-1_A＝AFBM-2_A+Ana_aveM- 1_A/GainM-1；A通道的平均值Ana_aveM-1_A为模拟信号处理模块第M-1帧图像中黑电平区域所有A通道像素值的算术平均值；当M＝0时，第M-1帧图像的黑电平反馈值为0；A为小于等于N的正整数，阈值为提前设定的参数。
在本发明的图像传感器中，图像传感器颜色采集通常采用彩色滤镜，当需要彩色信息时，通常使用彩色滤镜过滤不需要的颜色，留下目标颜色；当需要采集单色图像时，不设置彩色滤镜。比如，多数图像传感器采用Bayer格式颜色排布，包括“GRBG”、“GBRG”、“RGGB”和“BGGR”四种。也有“YCCB”、“RCCB”、“RGBIR”等各种不同的颜色排布方式。图像传感器的颜色排布方式，并不构成本专利的限制要素。以下算法所谓分通道的统计方式，通道既指包括但不限于颜色排布的方式，对像素的分组结构或行为。分通道的分组方式可以由颜色排布构成，或者由ADC的结构构成，或者由版图结构构成。不同分组的像素黑电平可能受其分组方式所影响。其中，上述提及的版图结构，是指由版图设计所带来的像素分组而出现像素非一致性的情况，通过对分组像素相对应位置设定为同一通道，进行分通道统计并执行后续算法，可以显著消除这种非一致性对图像的影响。
该情况的示例1，上下两个像素共享SF和SEL晶体管，组成2.5T结构像素单元。可以将阵列分组为奇数行像素、偶数行像素两个组分别统计。统计结果会将像素分组而形成的上下差异统计出来，执行后续算法操作后，可以消除分组引起的FPN。
该情况示例2，一个2x2结构的四个像素，共享SF、SEL、RX等晶体管，组成1.25T结构像素单元。可以将阵列分组为上左、上右、下左、下右四个组分别统计。统计结果会将像素分组而形成的4个位置差异统计出来，执行后续算法操作后，可以消除分组引起的FPN。
该情况示例3，一个Bayer阵列的RGGB(或者BGGR、GRBG、GBRG)四个像素，因为覆盖像素表面的Color Filter通光特性不同，可能引起4个像素间存在一定offset。可以通过分组R、GR、GB、B四个像素组，作为4个通道分别统计，执行后续算法，从而消除这种分组带来的FPN。
模拟信号处理模块中又包括增益放大单元和模数转换单元，图像产生模块输出的为模拟像素值，经过模数转换单元之后转换为数字像素值输出；具体在ASP 中校正方法如附图2所示，其中PIXEL_DARK为Pixel Generator产生的图像黑电平区域的模拟像素值。首先PIXEL_DARK各个通道减去各自上一帧的反馈值 AFB(如果当前帧为第0帧，则上一帧的反馈值为0)，得到黑电平像素的剩余值 PIXEL_RE；然后PIXEL_RE乘以当前图像传感器的增益值；进一步通过ADC模块转换为数字值，对经过了增益放大并转换为数字值的图像的黑电平区域分通道进行统计，得到各个通道像素值的算术平均值Ana_ave，统计方法如下：
Figure BDA0002116949780000071
其中，n表示黑电平区域对应通道的像素总个数，X表示对应通道的像素值。
请继续参阅附图2，之所以乘以增益值后再计算各个通道的平均值是为了提高黑电平反馈值的准确性，因为工艺水平或其他限制条件，使得图像传感器的像素值与增益值并不是完全的呈线性关系，所以需要求不同的增益值下的平均值，以便求出图像传感器当前增益下准确的黑电平反馈值。由于黑电平区域的模拟像素值PIXEL_DARK不带增益，所以各个通道求出来的平均值需要除以当前的增益值，进一步通过数模转换单元将数字值转换为模拟值，得到各个通道各自的反馈值。
以下通过实施例1对黑电平粗校正进行进一步解释：
实施例1
请参阅附图3，本实施例针对“GRBG”的颜色排布作为分组依据，则A＝4，如附图3所示，图像产生模块包括黑电平区域和有效像素区域，且黑电平区域和有效像素区域均分为Gb、R、B、Gr四个通道。
分别对第M帧图像中黑电平区域各个通道输出的像素值PIXEL_DARKM进行校正并输出校正之后的像素值PIXEL_ASPM，且R通道校正之后的像素值 PIXEL_ASPM_R＝(PIXEL_DARKM_R-AFBM-1_R)×GainM；其中，以其中的R通道为例进行说明，其余通道的校正方法均相同：AFBM-1_R为模拟信号处理模块第M-1帧图像中R通道的黑电平反馈值，且当第M-1帧图像中R通道的平均值 Ana_aveM-1_R小于等于阈值时，AFBM-1_R＝AFBM-2_R；当第M-1帧图像中R通道的平均值Ana_aveM-1_R大于阈值时，AFBM-1_R＝AFBM-2_R+Ana_aveM- 1_R/GainM-1；R通道的平均值Ana_aveM-1_R为模拟信号处理模块第M-1帧图像中黑电平区域所有R通道像素值的算术平均值；当M＝0时，第M-1帧图像的黑电平反馈值为0；A为小于等于N的正整数；各个通道的像素平均值Ana_ave的统计方式如下：
Figure BDA0002116949780000081
其中
Figure BDA0002116949780000092
分别表示黑电平区域各个通道像素值的和；n表示黑电平区域各个通道的总个数。
S012：在模拟信号处理模块中采用上述校正之后的像素值PIXEL_ASPM_A 对第M帧图像或者第M+1帧图像中有效像素区域产生的像素值进行校正。
请参阅附图4和附图5，当前帧求出的各个通道反馈值AFB将会反馈给下一帧图像进行分通道黑电平粗校正，其作用域如图4所示；或者另一种校正方式为将反馈值AFB同时反馈给下一帧的黑电平区域和当前帧图像进行分通道黑电平粗校正，其作用域如图5所示。应当注意的是，反馈值AFB的作用域既包括但不限于上述两种作用域方案。
S02：在数字信号处理模块中进行黑电平精细校正，经过粗校正之后的图像，可能还有一部分黑电平没有校正“干净”，所以进一步的PIXEL_ASP会作为输入，传给DSP模块进行黑电平精校正。具体包括：
S021：分别对第M帧图像中模拟信号处理模块输出的各个通道的像素值 PIXEL_ASPM进行校正并输出校正之后的像素值PIXEL_DSPM，且A通道校正之后的像素值PIXEL_DSPM_A＝PIXEL_ASPM_A×GainM-DFBM-1_A；其中，
Figure BDA0002116949780000093
DFBM-1_A为数字信号处理模块第M-1帧图像中A通道的黑电平反馈值；DIG_aveM-1_A为数字信号处理模块第 M-1帧图像中黑电平区域所有A通道像素值的算术平均值，其统计方法与步骤 S01中相似，只需要将各个通道的像素值替换为该通道在数字信号处理模块的输入值即可；Kp为调整系数。
调整系数Kp由第M帧图像所处的校正状态决定，校正状态包括X+1种，分别为STATEM至STATEM，对应的调整系数分别为K0至KX，对应的运行帧数分别为STATEM_NUM至STATEM_NUM；且各个状态对应的调整系数均不相同，均为提前设定好的参数。上述运行帧数指的是在当前校正状态下需要校正的图像帧数。其中，图像传感器产生的第0帧至第STATEM_NUM-1帧图像对应的调整系数为K0，第STATEM_NUM帧图像至第STATEM_NUM+STATEM_NUM-1帧图像对应的调整系数为K1，第STATE0_NUM+STATE1_NUM帧图像至第 STATE0_NUM+STATE1_NUM+STATE2_NUM-1帧图像对应的调整系数为K2，直至第STATE0_NUM+STATE1_NUM+STATE2_NUM+……+STATEX-1_NUM帧图像之后的图像对应的调整系数为KX。上述运行帧数指的是在当前校正状态下进行校正的图像帧数，为了对运行帧数进行统计，图像传感器还包括帧计数器，即对每个校正状态进行帧计数。以下通过具体实施例2对上述校正状态进行进一步解释：
实施例2
请参阅附图6和7，设定X＝5，STATE0_NUM为1，STATE1_NUM为2， STATE2_NUM为2，STATE3_NUM为2，STATE4_NUM不做限定。当图像传感器开启时，首先进入STATE0状态，并且当图像传感器的帧计数器 FARME_CNT＜STATE0_NUM时，Kp＝K0；且帧计数器加1，继续下一帧图像的校正，当FARME_CNT＝STATE0_NUM时，校正状态从STATE0跳转到STATE1并同时更新帧计数器FRAME_CNT＝0；
当帧计数器FARME_CNT＜STATE1_NUM时，Kp＝K1；且帧计数器加1，继续下一帧图像的校正；当FARME_CNT＝STATE1_NUM时，校正状态从STATE1跳转到STATE2并同时更新帧计数器FRAME_CNT＝0；
当帧计数器FARME_CNT＜STATE2_NUM时，Kp＝K2；且帧计数器加1，继续下一帧图像的校正；当FARME_CNT＝STATE2_NUM时，校正状态从STATE2跳转到STATE3并同时更新帧计数器FRAME_CNT＝0；
当帧计数器FARME_CNT＜STATE3_NUM时，Kp＝K2；且帧计数器加1，继续下一帧图像的校正；当FARME_CNT＝STATE3_NUM时，校正状态从STATE3跳转到STATE4并同时更新帧计数器FRAME_CNT＝0；
当校正状态进入STATE4，Kp＝K4，且帧计数器加1，继续下一帧图像的校正；直至图像传感器发生复位。上述确定了Kp的具体数值之后，其校正方式按照步骤S021中方式进行即可。
其中，图像传感器只需要满足以下条件中任意一个，即可发生复位：(1)图像传感器的温度变化范围大于温度阈值，温度变化范围由温度阈值temp_th决定，即温度变化<＝temp_th时，不用复位，>temp_th时，触发复位；(2)曝光变化范围大于曝光阈值，曝光变化范围由曝光阈值exp_th决定，即曝光变化<＝exp_th 时，不用复位，>exp_th时，触发复位；(3)增益变化范围大于增益阈值，增益变化范围由增益阈值gain_th决定，即增益变化<＝gain_th时，不用复位，>gain _th时，触发复位；(4)当前帧图像对应的黑电平反馈值AFB变化量大于反馈阈值；AFB指黑电平区域在模拟校正部分的反馈值，即指当前帧图像对应的上一帧图像中对应通道在模拟部分(模拟信号处理模块)的黑电平反馈值，变化范围由反馈阈值AFB_th决定，当AFB变化<＝AFB_th时，不用复位，>AFB_th时，触发复位。值得说明的是，图像传感器发生复位的条件不限于上述四个，当其他满足复位条件的情况发生时，也可能触发复位，且触发复位的条件只需要满足一个即可触发复位。
当图像传感器发生复位之后，校正状态可以按照以下两种方式进行跳转：(1)STATE4状态跳转至STATE0至STATE3的其中一个，预先设置状态跳转步长 STATE_SWITCH_STEP，当RESET条件发生时，从当前状态按照跳转步长 STATE_SWITCH_STEP进入之前的状态，当跳转步长大于当前校正状态的位置时，直接进入STATE0状态进行黑电平精校正，跳转之后的帧计数器更新为0。 (2)当图像传感器发生复位之后，图像传感器的帧计数器恢复0，进入STATE0状态。
上述实施例2中STATE0_NUM至STATE4_NUM的个数可以根据具体需求进行设定。本发明中当前帧反馈值DFB的公式中可以看出，DFB的计算参考有上一帧的反馈值，参考程度由Kp控制，这种计算方法可以对反馈值起到平滑的作用，防止图像在黑电平校正的过程中由于校正值的突变引起图像画面出现闪烁。
S022：在数字信号处理模块中采用上述校正之后的像素值PIXEL_DSPM分别对第M帧图像中有效像素区域产生的对应通道的像素值进行校正，并输出校正之后的有效像素值。
请参阅附图8和附图9，当前帧求出的各个通道反馈值DFB将反馈给下一帧图像进行分通道黑电平精校正，其作用域如图8所示；或者另一种校正方法为将反馈值DFB同时反馈给下一帧黑电平区域和当前帧图像进行分通道黑电平精校正，其作用域如图9所示。应当注意的是，反馈值DFB的作用域既包括但不限于上述两种作用域方案。
以上所述仅为本发明的优选实施例，所述实施例并非用于限制本发明的专利保护范围，因此凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明所附权利要求的保护范围内。

Claims (9)

1.一种图像传感器的黑电平校正方法，所述图像传感器包括图像产生模块、所述图像产生模块包括黑电平区域和有效像素区域，黑电平区域产生的像素值用于对有效像素区域产生的像素值进行校正；其特征在于，包括如下步骤：
S01：将所述黑电平区域和有效像素区域分为N个通道，针对第M帧图像中各个通道分别在模拟信号处理模块中进行黑电平粗校正；其中，N为大于1的整数，M为大于等于0的正整数；具体包括：
S011：分别对第M帧图像中黑电平区域各个通道输出的像素值PIXEL_DARKM进行校正并输出校正之后的像素值PIXEL_ASPM，且A通道校正之后的像素值PIXEL_ASPM_A＝(PIXEL_DARKM_A-AFBM-1_A)×GainM；其中，PIXEL_DARKM_A为第M帧图像中黑电平区域A通道输出的像素值，GainM为图像传感器中第M帧图像对应的增益值，AFBM-1_A为模拟信号处理模块第M-1帧图像中A通道的黑电平反馈值，且当第M-1帧图像中A通道的平均值Ana_aveM-1_A小于等于阈值时，AFBM-1_A＝AFBM-2_A；当第M-1帧图像中A通道的平均值Ana_aveM-1_A大于阈值时，AFBM-1_A＝AFBM-2_A+Ana_aveM-1_A/GainM-1；AFBM-2_A为模拟信号处理模块第M-2帧图像中A通道的黑电平反馈值，GainM-1为图像传感器中第M-1帧图像对应的增益值，A通道的平均值Ana_aveM-1_A为模拟信号处理模块第M-1帧图像中黑电平区域所有A通道像素值的算术平均值；当M＝0时，第M-1帧和第M-2帧图像的黑电平反馈值为0；当M＝1时，第M-1帧和第M-2帧图像的黑电平反馈值为0；A为小于等于N的正整数；
S012：在模拟信号处理模块中采用上述校正之后的像素值PIXEL_ASPM分别对第M帧图像中有效像素区域产生的对应通道的像素值进行校正；
S02：针对第M帧图像中各个通道分别在数字信号处理模块中进行黑电平精细校正，并输出校正之后的有效像素值。
2.根据权利要求1所述的一种图像传感器的黑电平校正方法，其特征在于，所述步骤S02中黑电平精细校正的具体步骤包括：
S021：分别对第M帧图像中模拟信号处理模块输出的各个通道的像素值PIXEL_ASPM进行校正并输出校正之后的像素值PIXEL_DSPM，且A通道校正之后的像素值PIXEL_DSPM_A＝PIXEL_ASPM_A×GainM-DFBM-1_A；其中，
Figure FDA0003166776430000021
DIG_aveM-1_A为数字信号处理模块第M-1帧图像中黑电平区域所有A通道像素值的算术平均值，Kp为调整系数；DFBM-2_A为数字信号处理模块第M-2帧图像中A通道的黑电平反馈值；
S022：在数字信号处理模块中采用上述校正之后的像素值PIXEL_DSPM分别对第M帧图像中有效像素区域产生的对应通道的像素值进行校正，并输出校正之后的有效像素值。
3.根据权利要求1所述的一种图像传感器的黑电平校正方法，其特征在于，所述模拟信号处理模块包括增益放大单元和模数转换单元，所述黑电平区域输出的模拟像素值经过所述模数转换单元转换为数字像素值进行输出。
4.一种图像传感器的黑电平校正方法，所述图像传感器包括图像产生模块、所述图像产生模块包括黑电平区域和有效像素区域，黑电平区域产生的像素值用于对有效像素区域产生的像素值进行校正；其特征在于，包括如下步骤：
S01：将所述黑电平区域和有效像素区域分为N个通道，针对第M帧图像中各个通道分别在模拟信号处理模块中进行黑电平粗校正；其中，N为大于1的整数，M为大于等于0的正整数；
S02：针对第M帧图像中各个通道分别在数字信号处理模块中进行黑电平精细校正，具体包括：
S021：分别对第M帧图像中模拟信号处理模块输出的各个通道的像素值PIXEL_ASPM进行校正并输出校正之后的像素值PIXEL_DSPM，且A通道校正之后的像素值PIXEL_DSPM_A＝PIXEL_ASPM_A×GainM-DFBM-1_A；其中，
Figure FDA0003166776430000022
DIG_aveM-1_A为数字信号处理模块第M-1帧图像中黑电平区域所有A通道像素值的算术平均值，Kp为调整系数；DFBM-2_A为数字信号处理模块第M-2帧图像中A通道的黑电平反馈值；GainM为图像传感器中第M帧图像对应的增益值；当M＝0时，第M-1帧和第M-2帧图像的黑电平反馈值为0；当M＝1时，第M-1帧和第M-2帧图像的黑电平反馈值为0；
S022：在数字信号处理模块中采用上述校正之后的像素值PIXEL_DSPM分别对第M帧图像中有效像素区域产生的对应通道的像素值进行校正，并输出校正之后的有效像素值。
5.根据权利要求4所述的一种图像传感器的黑电平校正方法，其特征在于，所述调整系数Kp由第M帧图像所处的校正状态决定，所述校正状态包括X+1种，分别为STATE0至STATEX，对应的调整系数分别为K0至KX，对应的运行帧数分别为STATE0_NUM至STATEX_NUM；且各个状态对应的调整系数均不相同；其中，X为大于等于0的整数；图像传感器产生的第0帧至第STATE0_NUM-1帧图像对应的调整系数为K0，第STATE0_NUM帧图像至第STATE0_NUM+STATE1_NUM-1帧图像对应的调整系数为K1，第STATE0_NUM+STATE1_NUM帧图像至第STATE0_NUM+STATE1_NUM+STATE2_NUM-1帧图像对应的调整系数为K2，直至第STATE0_NUM+STATE1_NUM+STATE2_NUM+……+STATEX-1_NUM帧图像之后的图像对应的调整系数为KX。
6.根据权利要求5所述的一种图像传感器的黑电平校正方法，其特征在于，当图像传感器开启时，首先进入STATE0状态，并且当图像传感器的帧计数器FARME_CNT<STATE0_NUM时，Kp＝K0，且帧计数器加1，继续下一帧图像的校正，当FARME_CNT＝STATE0_NUM时，校正状态从STATE0跳转到STATE1并同时更新帧计数器FRAME_CNT＝0；
当帧计数器FARME_CNT<STATE1_NUM时，Kp＝K1，且帧计数器加1，继续下一帧图像的校正；当FARME_CNT＝STATE1_NUM时，校正状态从STATE1跳转到STATE2并同时更新帧计数器FRAME_CNT＝0；
当帧计数器FARME_CNT<STATE2_NUM时，Kp＝K2，且帧计数器加1，继续下一帧图像的校正；当FARME_CNT＝STATE2_NUM时，校正状态从STATE2跳转到STATE3并同时更新帧计数器FRAME_CNT＝0；
依次类推，直至当帧计数器FARME_CNT<STATEX-1_NUM时，Kp＝KX-1，且帧计数器加1，继续下一帧图像的校正；当FARME_CNT＝STATEX-1_NUM时，校正状态从STATEX-1跳转到STATEX并同时更新帧计数器FRAME_CNT＝0；
当校正状态进入STATEX，Kp＝KX，且帧计数器加1，继续下一帧图像的校正；直至图像传感器发生复位。
7.根据权利要求6所述的一种图像传感器的黑电平校正方法，其特征在于，所述发生复位的条件为下列一种或几种：图像传感器的温度变化范围大于温度阈值、曝光变化范围大于曝光阈值、增益变化范围大于增益阈值、当前帧图像对应的黑电平反馈值AFB变化量大于反馈阈值。
8.根据权利要求6所述的一种图像传感器的黑电平校正方法，其特征在于，所述图像传感器发生复位之后，STATEX状态跳转至STATE0至STATEX-1的其中一个。
9.根据权利要求6所述的一种图像传感器的黑电平校正方法，其特征在于，所述图像传感器发生复位之后，图像传感器的帧计数器恢复0，进入STATE0状态。
CN201910593837.4A 2019-07-03 2019-07-03 一种图像传感器的黑电平校正方法 Active CN110365922B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910593837.4A CN110365922B (zh) 2019-07-03 2019-07-03 一种图像传感器的黑电平校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910593837.4A CN110365922B (zh) 2019-07-03 2019-07-03 一种图像传感器的黑电平校正方法

Publications (2)

Publication Number Publication Date
CN110365922A CN110365922A (zh) 2019-10-22
CN110365922B true CN110365922B (zh) 2021-09-14

Family

ID=68217924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910593837.4A Active CN110365922B (zh) 2019-07-03 2019-07-03 一种图像传感器的黑电平校正方法

Country Status (1)

Country Link
CN (1) CN110365922B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110855913B (zh) * 2019-12-05 2022-04-01 成都微光集电科技有限公司 一种图像传感器的黑电平校正方法
CN115866159B (zh) * 2023-03-02 2023-04-25 北京小米移动软件有限公司 一种黑电平校正方法、装置、电子设备、芯片及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1691747A (zh) * 2004-04-23 2005-11-02 索尼株式会社 光学黑色电平控制电路
CN102870404A (zh) * 2010-10-29 2013-01-09 富士胶片株式会社 摄像设备及其暗电流校正方法
CN104469186A (zh) * 2013-09-18 2015-03-25 佳能株式会社 摄像装置、摄像系统及摄像装置的控制方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4931546B2 (ja) * 2006-10-24 2012-05-16 ソニー株式会社 固体撮像装置及び撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1691747A (zh) * 2004-04-23 2005-11-02 索尼株式会社 光学黑色电平控制电路
CN102870404A (zh) * 2010-10-29 2013-01-09 富士胶片株式会社 摄像设备及其暗电流校正方法
CN104469186A (zh) * 2013-09-18 2015-03-25 佳能株式会社 摄像装置、摄像系统及摄像装置的控制方法

Also Published As

Publication number Publication date
CN110365922A (zh) 2019-10-22

Similar Documents

Publication Publication Date Title
CN108600725B (zh) 一种基于rgb-ir图像数据的白平衡校正装置及方法
CN110365922B (zh) 一种图像传感器的黑电平校正方法
CN101420518B (zh) 噪声校正电路、成像装置和噪声校正方法
US9631974B2 (en) Photoarray, particularly for combining sampled brightness sensing with asynchronous detection of time-dependent image data
KR100946536B1 (ko) 광학적으로 검은 픽셀 및 결합된 픽셀을 모두 사용하여이미저에서 블랙 레벨을 설정하는 방법 및 장치
CN101309359B (zh) 使用哑像素消除固定模式噪声的系统及方法
JP4327928B2 (ja) 電子カメラ装置
US8275213B2 (en) Apparatus and method for gain correction
JP2010199985A (ja) 画像処理装置および画像処理方法並びにプログラム
US20160219229A1 (en) Image capturing apparatus and control method thereof
JP2010093470A (ja) ノイズキャンセル処理回路および固体撮像装置
CN102224524B (zh) 图像处理装置以及图像处理方法
EP1772007A1 (en) Method, apparatus, imaging module and program for improving image quality in a digital imaging device
EP1872572B1 (en) Generation and strorage of column offsets for a column parallel image sensor
CN103563360A (zh) 摄像装置、摄像方法及摄像程序
CN104735368B (zh) Cmos传感器及其图像中黑电平的调整方法和装置
CN110855913B (zh) 一种图像传感器的黑电平校正方法
CN114302077B (zh) 像素暗电流计算方法、装置、像素校正系统及方法
JP2008028623A (ja) 撮像装置
JP2016134908A5 (zh)
JP3948218B2 (ja) 固体撮像装置およびその駆動方法
US8878965B1 (en) Black level adjustment device and method for CMOS image sensor
JP7414538B2 (ja) 撮像装置及びその制御方法
CN110248169B (zh) 用于Bayer域的绿通道不平衡的图像校正方法及其图像校正系统
JP2010199867A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant