CN108055485B - 多段斜率响应图像传感器的成像恢复方法 - Google Patents

Abstract

本发明公开了一种多段斜率响应图像传感器的成像恢复方法，包括：提供多段斜率响应的图像传感器，采集每个像素点上曝光时间与输出电压的多段斜率响应曲线；将多段斜率响应曲线恢复成基于初始斜率的单段斜率响应曲线，并按照单段斜率响应曲线对每个像素点的输出电压进行修正，使得输出图像由8位图像变成更高位的高动态图像；以及将高动态图像压缩为8位输出图像，同时保留高动态图像中的细节部分。本发明将每个像素点的多段斜率响应曲线恢复成基于初始斜率的单段斜率响应曲线，并据此对输出电压进行修正，还原了原始场景的明暗比例，提高了实际动态范围；而后在保留其细节部分的同时，将其压缩为适合输出的8位图像，提高了输出图像的对比度。

Description

多段斜率响应图像传感器的成像恢复方法

技术领域

本发明涉及图像传感器技术领域，尤其是涉及一种多段斜率响应图像传感器的成像恢复方法。

背景技术

动态范围是图像传感器成像质量的一项重要指标，动态范围越大意味着能够探测到场景信息的光强范围越宽，即图像所包含的信息越丰富。近年来，CMOS图像传感器技术不断发展，因其具有低功耗、集成度高、低成本以及可随机读取等优点，已成为主流的图像传感器芯片。而CMOS图像传感器内部集成有较多的放大器、寻址译码等电路，导致器件的相对噪声比较大，因此在相同的环境下，其动态范围不如CCD图像传感器的宽。

CMOS图像传感器的动态范围一般依赖于其可分辩的最小信号及可测量的最大信号，也就是传感器最大的非饱和信号与暗条件下均方根噪声之比，表征了传感器在某一特定图像中能够探测到的最强光信号到最弱光信号范围的能力。

一般的，CMOS图像传感器中像素的输出电压与曝光量线性相关，而曝光量等于曝光时间与光照强度的乘积，在光照强度一定时，输出电压与曝光时间成正相关(输出电压未饱和之前)。普通的CMOS图像传感器按单段斜率进行光电响应，在光照强度一定时，在T1的曝光时间下其输出电压就已经饱和了，其动态范围相对较小，如图1所示。

为提高CMOS图像传感器的动态范围，开发出了一种基于条件复位的多段斜率响应的CMOS图像传感器。在单段斜率响应曲线的基础上增加了一些拐点，使响应曲线包含更多的斜率，这些拐点的设置使得输出电压能适应曝光量在更大范围内的变化，在某个电压点(拐点)进行复位，改变响应斜率，可以采集更大的曝光量，从而提高了采集的动态范围。

如图1所示，在普通的CMOS图像传感器的第一个拐点位置A进行电压复位，改变响应斜率，其输出电压的饱和曝光时间由T1增大至T2，采集的曝光量增大，其光电响应曲线为两段斜率响应曲线。然而，在此类CMOS图像传感器的光电响应曲线上，相对于第1段响应直线，第2段响应直线(或两段以上斜率响应曲线的第n段)对曝光量的响应并没有考虑实际场景中的明暗比例，因此虽然在8位输出图像中提高了采集的动态范围，但是对比度不高，视觉效果一般。

因此，如何提高这种多段斜率响应图像传感器的输出图像质量，是目前亟需解决的问题。

发明内容

本发明的目的在于提供一种图像处理方法，以恢复多段斜率响应图像传感器输出图像的实际动态范围，并将恢复的高动态图像压缩为适合显示用的8位图像，同时保留原有的对比细节，从而提高输出图像的质量。

为了达到上述目的，本发明提供了一种多段斜率响应图像传感器的成像恢复方法，包括：

提供多段斜率响应的图像传感器，采集每个像素点上曝光时间与输出电压的多段斜率响应曲线；

将所述多段斜率响应曲线恢复成基于初始斜率的单段斜率响应曲线，并按照所述单段斜率响应曲线对每个像素点的输出电压进行修正，使得输出图像由8位图像变成更高位的高动态图像；以及

将所述高动态图像压缩为8位输出图像，同时保留所述高动态图像中的细节部分。

进一步地，在光照一定的前提条件下，将曝光时间从零调到最大，以采集所述图像传感器每个像素点上曝光时间与输出电压的多段斜率响应曲线。

可选的，将所述多段斜率响应曲线恢复成基于初始斜率的单段斜率响应曲线的方法包括：

通过所述多段斜率响应曲线的采集数据拟合计算出所述多段斜率响应曲线上多段直线的斜率K和截距B，从而得出第n段直线的方程V＝Kn·T+Bn，其中，V为输出电压，T为曝光时间，n取正整数；

标定所述多段斜率响应曲线的第一拐点A：曝光时间Ta，输出电压Va；

对于大于Va的输出电压V2，将输出电压V2代入其所对应的直线方程计算得出曝光时间T2，并通过第1段直线的方程和曝光时间T2将输出电压V2映射到第1段直线上，得到映射后的输出电压V21，从而将所述多段斜率响应曲线恢复成基于初始斜率K1的单段斜率响应曲线。

可选的，所述多段斜率响应曲线上多段直线的斜率K和截距B由采集到的多组数据经过最小二乘法拟合计算得出。

进一步地，第一拐点A的标定通过以下步骤进行：

抽取所述多段斜率响应曲线上第一拐点A两侧各若干点的数据，通过拟合计算获得第一拐点A两侧的直线即第1段直线和第2段直线的参数，包括初始斜率K1、初始截距B1与第二斜率K2、第二截距B2；

得出第1段直线的方程V＝K1·T+B1和第2段直线的方程V＝K2·T+B2，联立方程计算得出两段直线的交叉点，即为所述多段斜率响应曲线的第一拐点A：曝光时间Ta，输出电压Va。

可选的，按照所述基于初始斜率K1的单段斜率响应曲线对每个像素点的输出电压进行修正：

当输出电压V1小于等于Va时，保留输出电压的原始值V1，不做修正；

当输出电压V2大于Va时，将输出电压V2映射到第1段直线上，得到映射后的输出电压V21，将输出电压V2修正为V21。

可选的，采用局部色调映射将所述高动态图像压缩为8位输出图像。

可选的，将所述高动态图像压缩为8位输出图像的步骤包括：

对所述高动态图像进行局部的直方图均衡，调节明暗对比关系，以突出细节与提高对比度；

对所述均衡调整后的高动态图像进行伽马曲线变换，将其降为8位输出图像。

可选的，采用自适应直方图均衡化算法对所述高动态图像进行局部的直方图均衡。

可选的，采取对比度受限自适应直方图均衡化算法对所述高动态图像进行局部的直方图均衡处理，以限制噪声的放大及局部对比度的过增强，所述处理过程通过以下步骤实现：

将所述高动态图像分割成多个子图像；

分别对每个子图像进行对比度受限的局部直方图均衡处理，每个子图像分别产生独立的变换函数；

将所述多个子图像的灰度查找表拼接成输出图像。

进一步地，对所述均衡调整后的高动态图像进行伽马值小于1的伽马曲线变换将其压缩为8位输出图像。

本发明将图像传感器上每个像素点的多段斜率响应曲线恢复成基于初始斜率的单段斜率响应曲线，并按照单段斜率响应曲线对每个像素点的输出电压进行修正，还原了原始场景的明暗比例，提高了输出图像的实际动态范围；而后对修正得到的高动态输出图像进行压缩处理，在保留其细节部分的同时，将其压缩为适合输出的8位图像，从而提高了输出图像的对比度。

附图说明

图1为单段斜率与两段斜率响应曲线图像传感器的光电响应曲线图；

图2为本发明实施例一中两段斜率响应曲线基于初始斜率映射后的单段斜率响应曲线图；

图3为本发明实施例一的两段斜率响应图像传感器的像素分布示意图；

图4为本发明的多段斜率响应图像传感器的成像恢复方法步骤示意图；

图5为本发明实施例二中三段斜率响应曲线基于初始斜率映射后的单段斜率响应曲线图。

具体实施方式

下面将结合示意图对本发明的具体实施方式进行更详细的描述。根据下列描述和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

本发明的发明人研究发现，对于如图1所示的两段斜率响应图像传感器的输出图像，由于光电响应曲线上第2段响应直线对曝光量的响应并没有考虑如第1段响应直线上的实际场景中的明暗比例，因此虽然通过第2段响应直线在8位输出图像中提高了采集的动态范围，导致其输出图像的对比度不高，视觉效果一般。对于两段以上斜率响应图像传感器，其一般的8位输出图像也存在这个问题。

针对此类应用场合，发明人想到了一种图像处理方法，将图像传感器的多段斜率响应曲线恢复成基于初始斜率的单段斜率响应曲线，并按单段斜率响应曲线对输出电压进行修正，以恢复多段斜率响应图像传感器输出图像的实际动态范围；再基于局部色调映射将恢复的高动态图像压缩为适合显示用的8位图像，同时保留原有的对比细节，从而提高输出图像的对比度，改善视觉效果。

基于此，本发明提出了一种多段斜率响应图像传感器的成像恢复方法，如图4所示，该方法包括如下步骤：

S1、提供多段斜率响应的图像传感器，采集每个像素点上曝光时间与输出电压的多段斜率响应曲线；

S2、将所述多段斜率响应曲线恢复成基于初始斜率的单段斜率响应曲线，并按照所述单段斜率响应曲线对每个像素点的输出电压进行修正，使得输出图像由8位图像变成更高位的高动态图像；以及

S3、将所述高动态图像压缩为8位输出图像，同时保留所述高动态图像中的细节部分。

实施例一

按照上述方法对如图1所示的两段斜率响应图像传感器输出图像进行恢复，并参照图3，具体步骤如下：

S1、提供一个两段斜率响应的图像传感器，采集每个像素点p上曝光时间T与输出电压V的两段斜率响应曲线；

S2、将所述两段斜率响应曲线恢复成基于初始斜率K1的单段斜率响应曲线，并按照所述单段斜率响应曲线对每个像素点的输出电压V进行修正，使得输出图像由8位图像变成更高位的高动态图像；以及

S3、将所述高动态图像压缩为8位输出图像，同时保留所述高动态图像中的细节部分。

其中，所述图像传感器的输出图像为常规显示器的8位输出图像。

进一步地，在光照一定的前提条件下，将曝光时间T从零调到最大，以采集图像传感器每个像素点上曝光时间T与输出电压V的两段斜率响应曲线。其中，每个像素点p的两段斜率响应曲线需要单独进行采集，可以避免由于像素点间对于光照响应不一致造成的响应曲线的漂移。

可选的，将两段斜率响应曲线恢复成基于初始斜率K1的单段斜率响应曲线的方法包括如下步骤：

S21、通过两段斜率响应曲线的采集数据拟合计算出两段斜率响应曲线上两段直线的斜率K和截距B，从而得出第1段直线的方程V＝K1·T+B1，第2段直线的方程V＝K2·T+B2；

S22、标定两段斜率响应曲线的第一拐点A：曝光时间Ta，输出电压Va；

S23、对于大于Va的输出电压V2，如图2所示，将输出电压V2代入其所对应的直线方程V＝K2·T+B2计算得出曝光时间T2，并通过第1段直线的方程V＝K1·T+B1和曝光时间T2将输出电压V2映射到第1段直线上，得到映射后的输出电压V21，从而将两段斜率响应曲线恢复成基于初始斜率K1的单段斜率响应曲线。

可选的，两段斜率响应曲线上两段直线的斜率K和截距B由采集到的多组数据经过最小二乘法拟合计算得出。

进一步地，两段斜率响应曲线上第一拐点A的标定通过以下步骤进行：

S221、抽取两段斜率响应曲线上第一拐点A两侧各若干点的数据，通过拟合计算获得第一拐点A两侧的直线即第1段直线和第2段直线的参数，包括初始斜率K1、初始截距B1与第二斜率K2、第二截距B2；

S222、得出第1段直线的方程V＝K1·T+B1和第2段直线的方程V＝K2·T+B2，联立方程计算得出两段直线的交叉点，即为两段斜率响应曲线的第一拐点A：曝光时间Ta，输出电压Va。

可选的，参照图2，按照基于初始斜率K1的单段斜率响应曲线对每个像素点p的输出电压进行修正：

(1)、当输出电压V1小于等于Va时，保留输出电压的原始值V1，不做修正；

(2)、当输出电压V2大于Va时，将输出电压V2映射到第1段直线上，得到映射后的输出电压V21，将输出电压V2修正为V21。

按照基于初始斜率K1的单段斜率响应曲线对每个像素点的输出电压V进行修正之后，还原了原始场景的明暗比例(原始场景的实际明暗比例参照光电响应曲线的第1段响应直线)，提高了输出图像的实际动态范围，得到了一个高于8位的高动态图像。而将此高动态图像直接输出到动态范围较低的常规显示器(如原生8位显示器),就会因两者动态范围不一致而降低输出图像的显示效果。

可选的，采用局部色调映射将所述高动态图像压缩为8位输出图像，保留原来高动态中的细节部分，压缩非细节部分，在降比特率的同时保留原有场景的视觉效果，以便在常规显示器上显示所述高动态图像。其中，图像的细节部分指图像画面中灰度的变化较大的区域，包含了图像的孤立点、细线、画面突变等，而孤立点大多是图像的噪声点，画面突变一般体现在目标物的边缘灰度部分。

可选的，将所述高动态图像压缩为8位输出图像的步骤包括：

S31、对所述高动态图像进行局部的直方图均衡，调节明暗对比关系，以突出细节与提高对比度；

S32、对所述均衡调整后的高动态图像进行伽马曲线变换，将其降为8位输出图像。

可选的，采用自适应直方图均衡化算法对所述高动态图像进行局部的直方图均衡，通过计算所述高动态图像的局部直方图，然后重新分布亮度来改变所述高动态图像的局部对比度，以获得更多的图像细节。

进一步地，采取对比度受限自适应直方图均衡化算法对所述高动态图像进行局部的直方图均衡处理，以限制噪声的放大及局部对比度的过增强，所述处理过程通过以下步骤实现：

S311、如图3所示，将所述高动态图像分割成4个子图像P1、P2、P3、P4；

S312、分别对每个子图像进行对比度受限的局部直方图均衡处理，每个子图像分别产生独立的变换函数；

S313、将上述4个子图像的灰度查找表拼接成输出图像，从而得到一个局部细节得以保留的高动态图像。

当然，子图像的分割方式不局限于图3所示的方式，可根据图像传感器的具体像素分布阵列和计算处理方法的方便程度做适当调整。

进一步地，对所述局部均衡调整后的高于8位的高动态图像进行伽马值小于1的伽马曲线变换将其压缩为8位输出图像，便于常规显示器的显示。

本实施例将两段斜率响应的图像恢复到单段斜率响应的图像，输出图像由原来的8位图像恢复为高于8位的高动态图像；再通过基于局部直方图均衡和伽马曲线变换的压缩方法，将所述高于8位的高动态图像降为8位图像，同时保留有高动态图像的对比细节。相比于不做处理直接输出8位图像，经过本发明的成像恢复方法处理过的图像具有更高的对比度，细节更清楚，显示效果更好。

实施例二

实施例一是针对两段斜率光电响应的图像传感器而言的，而在实际应用中，还存在三段、四段等两段以上斜率光电响应的图像传感器。如图5所示，三段斜率光电响应图像传感器的响应曲线有两个拐点：第一拐点A(Ta，Va)和第二拐点B，整个响应曲线分为三段，图像传感器在拐点A和B处进行两次电压复位，可以采集更多的曝光量，其动态范围更大，其成像恢复方法可参照实施例一。

按照本发明的方法对如图5所示的三段斜率响应图像传感器输出图像进行恢复，具体步骤如下：

S1、提供一个三段斜率响应的图像传感器，采集每个像素点上曝光时间T与输出电压V的三段斜率响应曲线；

S2、将所述三段斜率响应曲线恢复成基于初始斜率K1的单段斜率响应曲线，并按照所述单段斜率响应曲线对每个像素点的输出电压V进行修正，使得输出图像由8位图像变成更高位的高动态图像；以及

S3、将所述高动态图像压缩为8位输出图像，同时保留所述高动态图像中的细节部分。

需说明的是，在对三段斜率响应图像传感器的成像进行恢复处理时，需要将响应曲线上的第1段直线之后的直线段即第2段直线和第3段直线全部映射到第1段直线上，落在第2段直线和第3段直线上的输出电压全部需要通过该映射进行修正。三段斜率响应图像传感器的具体成像恢复方法可参照实施例一，在此不做赘述。

综上所述，在本发明实施例提供的多段斜率响应图像传感器的成像恢复方法中，将图像传感器上每个像素点的多段斜率响应曲线恢复成基于初始斜率的单段斜率响应曲线，并按照单段斜率响应曲线对每个像素点的输出电压进行修正，还原了原始场景的明暗比例，提高了输出图像的实际动态范围；而后对修正得到的高动态输出图像进行压缩处理，在保留其细节部分的同时，将其压缩为适合输出的8位图像，从而提高了输出图像的对比度，具有更好的视觉效果。

上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。

Claims (10)

1.一种多段斜率响应图像传感器的成像恢复方法，其特征在于，包括：

提供多段斜率响应的图像传感器，采集每个像素点上曝光时间与输出电压的多段斜率响应曲线；

将所述多段斜率响应曲线恢复成基于初始斜率的单段斜率响应曲线，并按照所述单段斜率响应曲线对每个像素点的输出电压进行修正，使得输出图像由8位图像变成更高位的高动态图像；以及

将所述高动态图像压缩为8位输出图像，同时保留所述高动态图像中的细节部分；

其中，将所述多段斜率响应曲线恢复成基于初始斜率的单段斜率响应曲线的方法包括：

通过所述多段斜率响应曲线的采集数据拟合计算出所述多段斜率响应曲线上多段直线的斜率K和截距B，从而得出第n段直线的方程V＝Kn·T+Bn，其中，V为输出电压，T为曝光时间，n取正整数；

标定所述多段斜率响应曲线的第一拐点A：曝光时间Ta，输出电压Va；

对于大于Va的输出电压V2，将输出电压V2代入其所对应的直线方程计算得出曝光时间T2，并通过第1段直线的方程和曝光时间T2将输出电压V2映射到第1段直线上，得到映射后的输出电压V21，从而将所述多段斜率响应曲线恢复成基于初始斜率K1的单段斜率响应曲线。

2.如权利要求1所述的多段斜率响应图像传感器的成像恢复方法，其特征在于，在光照一定的前提条件下，将曝光时间从零调到最大，以采集所述图像传感器每个像素点上曝光时间与输出电压的多段斜率响应曲线。

3.如权利要求1所述的多段斜率响应图像传感器的成像恢复方法，其特征在于，所述多段斜率响应曲线上多段直线的斜率K和截距B由采集到的多组数据经过最小二乘法拟合计算得出。

4.如权利要求1所述的多段斜率响应图像传感器的成像恢复方法，其特征在于，第一拐点A的标定通过以下步骤进行：

抽取所述多段斜率响应曲线上第一拐点A两侧各若干点的数据，通过拟合计算获得第一拐点A两侧的直线即第1段直线和第2段直线的参数，包括初始斜率K1、初始截距B1与第二斜率K2、第二截距B2；

得出第1段直线的方程V＝K1·T+B1和第2段直线的方程V＝K2·T+B2，联立方程计算得出两段直线的交叉点，即为所述多段斜率响应曲线的第一拐点A：曝光时间Ta，输出电压Va。

5.如权利要求1所述的多段斜率响应图像传感器的成像恢复方法，其特征在于，按照所述基于初始斜率K1的单段斜率响应曲线对每个像素点的输出电压进行修正：

当输出电压V1小于等于Va时，保留输出电压的原始值V1，不做修正；

当输出电压V2大于Va时，将输出电压V2映射到第1段直线上，得到映射后的输出电压V21，将输出电压V2修正为V21。

6.如权利要求1所述的多段斜率响应图像传感器的成像恢复方法，其特征在于，采用局部色调映射将所述高动态图像压缩为8位输出图像。

7.如权利要求1或6所述的多段斜率响应图像传感器的成像恢复方法，其特征在于，将所述高动态图像压缩为8位输出图像的步骤包括：

对所述高动态图像进行局部的直方图均衡，调节明暗对比关系，以突出细节与提高对比度；

对所述均衡调整后的高动态图像进行伽马曲线变换，将其降为8位输出图像。

8.如权利要求7所述的多段斜率响应图像传感器的成像恢复方法，其特征在于，采用自适应直方图均衡化算法对所述高动态图像进行局部的直方图均衡。

9.如权利要求8所述的多段斜率响应图像传感器的成像恢复方法，其特征在于，采取对比度受限自适应直方图均衡化算法对所述高动态图像进行局部的直方图均衡处理，以限制噪声的放大及局部对比度的过增强，所述处理过程通过以下步骤实现：

将所述高动态图像分割成多个子图像；

分别对每个子图像进行对比度受限的局部直方图均衡处理，每个子图像分别产生独立的变换函数；

将所述多个子图像的灰度查找表拼接成输出图像。

10.如权利要求7所述的多段斜率响应图像传感器的成像恢复方法，其特征在于，对所述均衡调整后的高动态图像进行伽马值小于1的伽马曲线变换将其压缩为8位输出图像。

Images