CN104580945A - 一种实现高动态范围图像的图像传感器结构和方法 - Google Patents

Abstract

本发明提供一种实现高动态范围的图像传感器结构和由该传感器与镜头组成的摄像头。高动态范围的图像传感器由像素感光单元和控制模块与外围电路组成。控制模块与像素感光单元循环连接，实现其转换增益可变。本发明还提供了实现高动态范围图像和视频的方法，像素感光单元通过一定的转换增益转换外界光强为电压信号，输出形成图像的同时输送至控制模块，控制模块将该输入转换为数字信号进行识别和判断，再反馈回像素感光单元，动态控制并调整其增益转换；按一定帧幅频率进行连续调整便形成视频。本发明在不改变像素分辨率，不需要拍摄多张照片的前提下，大幅提高拍摄图像的动态范围，更可以轻松实现视频拍摄，极大的拓展的本发明图像传感器的实用性。

Description

一种实现高动态范围图像的图像传感器结构和方法

技术领域

本发明涉及图像传感器领域，特别涉及一种实现高动态范围图像的图像传感器结构和方法。

背景技术

图像传感器是相机的重要组成部分。传统相机中图像传感器是通过胶片来实现的，而现代数码相机中，图像传感器是通过CMOS或者CCD图像传感器来实现的，同理，数码摄像机中也采用CMOS或者CCD图像传感器来摄取视频。

常规的CMOS图像传感器的像素单元是图像传感器实现感光的核心器件，通常包括：实现光电转换的感光单元光电二极管和一系列作用为传输、信号转换和放大、控制的外围电路。

对于一个像素单元来说，如果该像素单元的面积越大，则对应更加优秀的灵敏度和动态范围。在目前的单反、微单、高清监控等高端CMOS图像传感器和摄像机的应用领域中，通常采用具有较大像素的前照技术来实现。最重要的是，为了能在强光与弱光下均能得到优秀的图像质量，研究人员采用了一切可能的技术来提高图像传感器像素的动态范围。

已经有专利提出了像素合并与分裂结构的CMOS图像传感器，这主要是指：当传感器在白天强光下拍摄时，由于室外光线较足，图像传感器切换到分裂模式，具有更高的像素数；而传感器在阴天、晚间情况下拍摄时，由于环境光线较弱，图像传感器切换到合并模式，通过牺牲像素的数目，来实现更加高的暗光表现力。但是，这种方式在不同模式下会有不同的分辨率。

目前一些高端相机和手机(如iPhone)都可以提供HDR(High-Dynamic Range)的拍摄模式。现有技术的高动态范围图像HDR，相比普通的图像，可以提供更多的动态范围和图像细节，其方法是通过，先基于不同的曝光时 间摄取LDR(Low-Dynamic Range)的图像，再利用每个LDR图像的曝光时间所对应的最佳细节进行合成，最终产生一个HDR的图像。这样的优点是能够更好的反映人在真实环境中的视觉效果，缺点是需要拍摄多张(通常是3张)照片来合成一张高动态范围的图像。而且，这种技术更多的是利用软件进行后期的数据处理，并不是图像传感器件这一硬件上的进步。

发明内容

本发明所要解决的技术问题是不改变分辨率，也不需要拍摄多张照片再进行软件数据处理，却大幅提高拍摄图像的动态范围，提升图像质量。

为了解决上述问题，本发明提出一种图像传感器结构，其特征在于，所述高动态范围像素由像素感光单元和控制模块构成；

可选的，所述控制模块包含模拟信号转数字信号ADC模块、数字处理模块、转换增益控制电路模块，与像素感光单元循环反馈连接；

优选的，控制模块中数字信号ADC模块为输入端，接收像素感光单元的信号，转换增益控制电路模块为输出端，反馈信号回像素感光单元；

优选的，所述像素感光单元在控制模块作用下实现转换增益可变；

可选的，所述图像传感器是由m行、n列的高动态范围像素组成，m和n均大于等于1；

推而广之，本发明还提出一种实现高动态范围图像的摄像头结构，包含由高动态范围像素组成的图像传感器和镜头，其特征在于，所述任意一个高动态范围像素通过镜头对应其相应位置的点环境光强；

为了解决上述问题，本发明提出实现高动态范围图像的方法，像素感光单元通过一定的转换增益将外界光强与曝光时间乘积转换为电压信号实现图像输出，其特征在于，控制模块将像素感光单元的增益转换为数字信号，并进行识别和判断，再反馈到像素感光单元，动态控制并调整像素感光单元的增益转换，控制输出电压；

可选的，所述控制模块中，ADC模块将模拟信号转换为数字信号；数字处理模块对接收到的数字信号进行识别，判断外界光强信号的大小：在曝光时间一定情况下，当处于小光强时，由转换增益控制电路控制像素感光单元以较大的转换增益进行工作，当处于大光强时，由转换增益控制电路控制像素感光单元以较小的转换增益进行工作；

可选的，所述像素感光单元的增益转换的调整在控制模块处理信号完成的下一个时间点实现；

推而广之，本发明还提出一种实现高动态范围视频的方法，像素感光单元通过一定的转换增益将外界光强与曝光时间乘积转换为电压信号，输出的同时输送至控制模块，其特征在于，控制模块将像素感光单元的输入转换为数字信号，进行识别和判断，再反馈到像素感光单元，并按一定帧幅频率连续地动态控制像素感光单元的转换增益，调整其输出电压，形成视频。

现有技术的图像传感器是指将光信号转换为电信号的装置。

常规的CMOS图像传感器的像素单元是图像传感器实现感光的核心器件，通常包括：实现光电转换的感光单元光电二极管和一系列作用为传输、信号转换和放大、控制的外围电路。

清晰的，能够更好的还原拍摄的人物、环境的图像，是研究人员一贯的追求目标。这需要通过提高图像传感器像素的动态范围来实现。现有技术中，已有技术包括：由像素合并与分裂，来实现更好的暗光表现力；由多次拍摄，获取不同曝光时间的最佳细节合并高动态范围的图像。

但是，明显的我们发觉，像素合并与分裂的方法，在环境光线较弱的条件下，通过牺牲像素的数目增强暗光表现力，会造成拍摄的图像在合并与分裂的不同模式下有不同的分辨率。而多次拍摄，合并输出的方法会延迟成像时间，提高图像传感器的能耗。

本发明所要解决的技术问题是不改变分辨率，也不需要拍摄多张照片再进行软件数据处理，却大幅提高拍摄图像的动态范围，提升图像质量。

如图1所示为一个图像传感器的像素光学响应曲线。其中，横坐标为光强与曝光时间的乘积(光强的单位为Lux，曝光时间的单位为s)，纵坐标为像素的输出电压(Vout，单位为V)。从像素光学响应曲线可以看出，曝光时间一定情况下，随着光强的增大，像素的输出电压也随之增大；光强一定情 况下，随着曝光时间的增加，像素的输出电压也随之增大。

不同性能的像素对应不同的光学响应曲线，如图1中，CG1曲线对应的是转换增益(Conversion Gain)较小的像素性能，CG2曲线对应的是转换增益较大的像素性能。转换增益表征了在一定光强与曝光时间的乘积下，像素输出电压的转换率，也就是说，转换增益越大，在一定光强与曝光时间的乘积下，像素输出电压也越大，转换增益越小，在一定光强与曝光时间的乘积下，像素输出电压也越小。

由于像素输出电压受到像素工艺的限制，有最大像素输出电压Vout,max的限制。因此，对于较小转换增益的像素来说，通常需要较大的光强与曝光时间的乘积才能使最大像素输出电压达到饱和，即对应较大的动态范围；对于较大转换增益的像素来说，通常较小的光强与曝光时间的乘积就能使最大像素输出电压达到饱和，即对应较小的动态范围。

转换增益并非简单地越大越好或者越小越好。对于低光照情况或者在低曝光时间情况下，通常需要较大的转换增益，使得像素有尽可能大的输出电压，具有良好的低光表现力；对于高光照情况或者在长曝光时间情况下，通常需要较小的转换增益，使得像素具有较大的动态范围。

所以，一个像素的转换增益如果可变，即在低光照情况或者在低曝光时间情况下具有较大的转换增益、并且在高光照情况或者在长曝光时间情况下具有较小转换增益，那么该像素即能具备良好的暗光表现力，又能具有较大的动态范围。这就是本专利的核心，也即体现在图2中。如图2所示，转换增益CG在低光照情况或者在低曝光时间情况下接近于CG2，在高光照情况或者在长曝光时间情况下接近CG1，这样，该像素即能具备良好的暗光表现力，又能具有较大的动态范围。

本发明提出的图像传感器结构，由高动态范围像素Pixel构成。每个高动态范围像素包含像素感光单元：Pixel感光单元和控制模块。控制模块的构成如图3所示，包含：模拟信号转数字信号电路：ADC、数字处理电路：Digital Process和转换增益控制电路：CG控制电路。

当受到外界光照，在一定时间的曝光后，高动态范围像素中的Pixel感光单元会通过一定的转换增益将外界光强与曝光时间乘积转换为模拟信号‐电压信号，该转换增益由控制模块中的ADC将模拟信号转换为数字信号；数字处理的Digital Process对接收到的数字信号进行识别，判断外界光强信号的大小，再由CG控制电路实施动态控制：(在曝光时间一定情况下)，当判断处于小光强时，由转换增益的CG控制电路会控制Pixel感光单元以较大的转换增益进行工作，当判断处于大光强时，由转换增益的CG控制电路会控制Pixel感光单元以较小的转换增益进行工作。通过这种方法，利用高动态范围像素，可以根据外界光强信号的大小(在曝光的时间一定情况下)，动态控制像素的转换增益，从而使得该像素即能具备良好的暗光表现力，又能具有较大的动态范围。

由上述高动态像素以m行、n列的矩阵排列便可构成高动态范围的图像传感器，如图4所示。

由上述高动态像素和镜头便可组成，每一个高动态范围像素分别通过镜头对应该位置的点环境光强。

与现有技术中牺牲像素的合并与分裂结构的图像传感器和多次拍摄合成高动态图像的软件处理方式比较，本发明的技术方案具有以下优点：首先，本发明是器件结构的改善，通过加入控制模块实现像素转换增益的可变，根据外界条件动态判断调整像素转换增益，保持像素的数量一致。其次，本发明结构所添加的控制模块均是由晶体管组成的电路，模块本省功耗小，制成上可以充分利用现有工艺，与图像传感器同时完成，并控制晶体管尺寸最小，因此本发明的结构没有使工艺复杂化，没有更多占用芯片面积。再次，本发明结构实现方法是动态的控制像素的转换增益，即根据前一个光强信号分析判断决定像素单元后面的转换增益，时间上调整后的增益会有一个△t的时间滞后。△t便是信号在控制模块中处理的时间，相较于现有技术中的多次拍摄合成高动态图像的软件处理方式，△t可以忽略不计。最后，也是最重要的，采用本发明的高动态图像传感器不仅可以全天候的输出高动态的逼真图像，更可以轻松实现视频拍摄。这极大的拓展的本发明图像传感器的实用 性，在支持静态图像的同时，还可以支持动态摄像。

附图说明

图1是低转换增益与高转换增益下的图像传感器像素光学响应曲线。

图2是本发明提出的高动态范围像素光学响应曲线。

图3是本发明提出的高动态范围像素结构。

图4是由m行、n列组成的高动态范围图像传感器。

图5是高动态范围图像传感器在视频模式下进行动态转换增益变化。

具体实施方式

为使本发明的内容更加清楚易懂，以下结合说明书附图，对本发明的内容作进一步说明。当然本发明并不局限于该具体实施例，本领域内的技术人员所熟知的一般替换也涵盖在本发明的保护范围内。

其次，本发明利用示意图进行了详细的表述，在详述本发明实例时，为了便于说明，示意图不依照一般比例局部放大，不应以此作为对本发明的限定。

本发明提供一种图像传感器结构，通过使用高动态范围像素大幅提高拍摄图像的动态范围，提升图像质量。本发明的高动态范围像素，除了像素单元外，还包括由模拟信号转数字信号ADC模块、数字处理模块、转换增益控制电路模块组成的控制模块，能够动态地控制像素单元的转换增益，改善图像传感器的暗光表现。

图2为本发明提供的高动态范围像素的高动态范围像素光学响应曲线。与现有技术的常规像素不同，本发明像素的响应曲线不是直线，如图2所示，转换增益CG在低光照情况或者在低曝光时间情况下接近于CG2，在高光照情况或者在长曝光时间情况下接近CG1，这样，该像素即能具备良好的暗光 表现力，又能具有较大的动态范围。

图3为本发明提出的高动态范围像素结构。一个高动态范围像素Pixel包含像素感光单元：Pixel感光单元和控制模块的3个部件：模拟信号转数字信号电路：ADC、数字处理电路：Digital Process和转换增益控制电路：CG控制电路。

当Pixel感光单元，在t1时间，通过一定的转换增益将外界光强与曝光时间乘积转换为电压信号(初始信号)，然后输送到ADC；接着ADC再将该模拟信号转换为数字信号，并送至Digital Process；随后Digital Process对接收到的数字信号进行识别，判断外界光强信号的大小，并反馈结果到CG控制电路，由CG控制电路根据判断结果反馈并控制Pixel感光单元在t2时间的转换增益。

其中：△t＝t2-t1，是控制模块处理初始信号需要的物理时间。

在曝光时间一定情况下，当判断外界光强信号处于小光强时，转换增益控制电路控制像素感光单元，以较大的转换增益进行工作；当处于大光强时，由转换增益控制电路控制像素感光单元，以较小的转换增益进行工作。同理，到光强一定情况下，曝光时间的长短也会同样影响初始转换增益，从而通过由转换增益控制电路调整像素感光单元的后继转换增益。

可见，本发明的高动态范围像素结构，可以根据对初始外界信号大小的判断，由转换增益控制电路动态控制并调整像素感光单元的后续转换增益，从而使得该像素即能具备良好的暗光表现力，又能具有较大的动态范围。

高动态范围的图像传感器由m行、n列的上述高动态范围像素组成，如图4所示。高动态像素和镜头便可组成高动态范围的摄像头，每一个高动态范围像素分别通过镜头对应该位置的点环境光强。

由上述描述可知，本发明的高动态范围像素结构，其转换增益的变化并不是连续的，而是呈△t的间隔的变化。也就是说，某像素在t1时刻处于L1光强下(假设曝光时间一定)，那么经过控制模块对信号的处理：先由模拟信号转数字信号；再进行数字处理；最后通过控制转换增益控制电路调整该 像素转换增益，将会在t2(＝t1+△t)时刻做出反应。

这使得本发明图像传感器非常适用于工作在视频模式下。如图5所示，图像传感器的视频帧率为每秒30帧，对于第m行、第n列的高动态范围像素来说，t1时刻在默认转换增益下接收环境光强，图像Frame1，经过模拟信号转数字信号、数字处理、控制转换增益控制电路进行改变，切换转换增益到合理值，并且在t1+1/30秒的时刻以该切换后的合理的转换增益继续进行光学信号转换，形成Frame2…Frame n。可以想见，对于大多数的传统视频拍摄情况来说，t1时刻的环境光强与t1+1/30秒时刻的环境光强基本没有差别，因此图像的过渡是平顺的，由于人眼的视觉滞留，可以看到连续的图像。

以上介绍的仅仅是基于本发明的较佳实施例，并不能以此来限定本发明的范围。任何对本发明的装置作本技术领域内熟知的部件的替换、组合、分立，以及对本发明实施步骤作本技术领域内熟知的等同改变或替换均不超出本发明的揭露以及保护范围。

Claims (10)

1.一种实现高动态范围图像的图像传感器结构，包含高动态范围像素和外围电路，其特征在于，所述高动态范围像素由像素感光单元和控制模块构成。

2.如权利要求1所述的一种实现高动态范围图像的图像传感器结构，其特征在于，所述控制模块包含模拟信号转数字信号ADC模块、数字处理模块、转换增益控制电路模块，与像素感光单元循环反馈连接。

3.如权利要求2所述的一种实现高动态范围图像的图像传感器结构，其特征在于，控制模块中数字信号ADC模块为输入端，接收像素感光单元的信号，转换增益控制电路模块为输出端，反馈信号回像素感光单元。

4.如权利要求3所述的一种实现高动态范围图像的图像传感器结构，其特征在于，所述像素感光单元在控制模块作用下实现转换增益可变。

5.如权利要求1所述的一种实现高动态范围图像的图像传感器结构，其特征在于，所述图像传感器是由m行、n列的高动态范围像素组成，m和n均大于等于1。

6.一种实现高动态范围图像的摄像头结构，包含由高动态范围像素组成的图像传感器和镜头，其特征在于，所述任意一个高动态范围像素通过镜头对应其相应位置的点环境光强。

7.一种实现高动态范围图像的方法，像素感光单元通过一定的转换增益将外界光强与曝光时间乘积转换为电压信号实现图像，输出的同时输送至控制模块，其特征在于，控制模块将像素感光单元的输入转换为数字信号，进行识别和判断，再反馈到像素感光单元，动态控制并调整像素感光单元的增益转换，控制输出电压。

8.如权利要求7所述的一种实现高动态范围图像的方法，其特征在于，所述控制模块中：转换增益由转换增益控制电路动态控制；ADC模块将模拟信号转换为数字信号；数字处理模块对接收到的数字信号进行识别，判断外界光强信号的大小：在曝光时间一定情况下，当处于小光强时，由转换增益控制电路控制像素感光单元以较大的转换增益进行工作，当处于大光强时，由转换增益控制电路控制像素感光单元以较小的转换增益进行工作。

9.如权利要求7所述的一种实现高动态范围图像的方法，其特征在于，所述像素感光单元的增益转换的调整在控制模块处理信号完成的下一个时间点实现。

10.一种实现高动态范围视频的方法，像素感光单元通过一定的转换增益将外界光强与曝光时间乘积转换为电压信号，输出的同时输送至控制模块，其特征在于，控制模块将像素感光单元的输入转换为数字信号，进行识别和判断，再反馈到像素感光单元，并按一定帧幅频率连续地动态控制像素感光单元的转换增益，调整其输出电压，形成视频。