CN106027924A - 高性能cmos图像传感器阵列模数转换器的数字校正方法 - Google Patents

Abstract

本发明属于半导体图像感测领域，具体涉及高性能CMOS图像传感器阵列模数转换器的数字校正方法。本发明提出了一种基于多路协同数字校正技术的算法，特别针对CIS阵列ADC的ADC数量非常多、单个ADC面积非常小、电容失配大等特点，算法设计充分配合该算法实现的应用于CIS传感器的模数转换器阵列。整体设计使用1.8V低工作电压。图像传感器像素电压输出经过可变增益放大器(VGA)阵列后直接送入模数转换器(ADC)阵列转换之后送入数字校正引擎中进行计算，将应用于CMOS图像传感器的阵列模数转换器看成一个整体系统，在很大程度上降低了阵列模数转换器由于单个模数转换器面积小造成的失配问题。本发明提出的应用于图像传感器的阵列模数转换器的多路协同数字校正技术能够有效的提高阵列模数转换器整体的性能。

Description

高性能CMOS图像传感器阵列模数转换器的数字校正方法

技术领域

本发明属于半导体图像感测领域，具体涉及一种高性能CMOS图像传感器的阵列模数转换器芯片的多路协同数字校正方法。

背景技术

近年来，CMOS图像传感器(CIS)在消费电子和专业领域都取得了巨大成功，除极特殊应用场合外，已基本取代了传统的CCD图像传感。CIS片上集成模数转换器(ADC)阵列，有助于提高系统集成度，增强信噪比和信号抗干扰能力。目前，人们对CIS提出了更高的要求，主要集中在以下三个方面：

(1)高分辨率。早期的CIS分辨率是VGA(640×480)级别；目前，主流HDTV(1080p)要求单片彩色CIS的分辨率达到9百万像素，4K级别为3千万像素；下一代8K版的UHDTV，对应单芯片彩色CIS需要1.3亿像素。

(2)高帧频。60fps(帧每秒)是未来高清的主流；科学研究、工业应用等方面，如飞行器状态记录、武器攻击状况、机器人和视觉检查等方面往往需要1000fps、甚至更高的帧频。目前在924×768分辨率的CIS上可以获得5×106fps的突发帧频，或1180fps的连续帧频。

(3)高动态范围。动态范围(DR)是图像传感器的一项重要指标。CIS的DR越高，所记录的图像信息越接近被拍摄场景。自然场景的DR近180dB，但典型CIS的DR只有不到70dB。人们提出了多种方法提高CIS的DR。

满足CIS性能要求的核心问题是提高其片上集成ADC阵列的性能，即要减小面积、降低功耗，又要提高转换精度、信噪比，以及转换速度。

满足CIS日益增长要求的核心问题是提高其片上集成ADC阵列的性能，减小面积、降低功耗，又要提高转换精度(分辨率)、信噪比(SNR)，以及转换速度。为获得高质量的图像，对于90dB动态范围的CIS，片上ADC转换精度需要在14bit以上，且不能有丢码；为了保证高分辨率下CIS的高帧频，ADC转换时间要限制在百ns以内。减小芯片面积、降低功耗的同时，提高CIS片上ADC精度和速度，成为非常具有挑战性的研究课题，是学术界和产业界共同关注的焦点，也是中外学者们长期的研究热点，每年在顶级国际会议ISSCC和其他高水平学术期刊和会议上发表了大量的研究成果。

近年来，学术界不断提出新型CIS片上ADC，但其基本架构主要有：斜坡(Ramp)、流水线(Pipeline)、循环(Cyclic)、Δ-∑型ADC，以及逐次逼近(SAR)ADC。由于架构、占用面积、功耗等原因，CIS片上ADC难于实现精度大于12bit、像素行数×帧频大于500k的模数转换。近年来，SAR ADC逐渐引起了人们的注意。虽然传统SAR ADC也需要N次操作才能得到最终转换结果，但其功耗具有非常大的优势，这对于内部集成了数以千计ADC的CIS芯片非常重要。另外，SAR ADC的性能还能随集成电路工艺水平的提高而不断进步。因此，CIS片上集成高性能SAR ADC成为近年来的研究热点。

发明内容

本发明的目的是提供一种高性能CMOS图像传感器的阵列模数转换器芯片的多路协同数字校正技术的方法，和标准商业CMOS工艺完全兼容。

高性能CMOS图像传感器阵列模数转换器的数字校正方法，具体过程如下：CIS芯片上N路ADC排成一个阵列，在正常工作时，数据选通器(MUX)将传感器输出与ADC输入相连，在校正阶段，数据选通器将校正信号与ADC输入相连，ADC的输出与CIS片外的在线系统编程(ISP)芯片通过低电压差分信号输出(LVDS)高速接口相连，数字校正过程中，ADC输出首先通过位权重调整电路做数据恢复运算，接着输入到数字校正引擎中进行校正运算，反馈校正数据给位权重调整电路进行位权重修正，然后将经过校正好的数据输出给后续图像信号处理模块电路，完成接下来的线性纠正、噪声去除、坏点去除等图像处理的常规运算，最后通过MIPI、USB等总线接口输出图像或视频进行存储或显示。

首先在校正开始时，对ADC阵列中的N个需要校正的不准确ADC同时输入同一个信号，通过ADC的模数转换过程，得到了阵列ADC对于同一个信号输入的不同输出，改变输入校正信号的电压值，重复上述过程，得到N个阵列中不准确的ADC对于相同输入信号产生的不同的数据输出。

进一步地，所述的数字校正引擎中进行的校正运算，如图7所示，具体过程如下：

(1)、通过位权重调整电路做数据恢复运算得到的阵列ADC的输出，将阵列中每一个子ADC的输出作为一个14bit灰度值，将阵列中所有ADC的输出以灰度值表示并合成数据灰度图像，其中校正信号输入不同、相同阵列ADC输出的数据在同一行，校正信号输入相同、不同阵列ADC输出的数据在同一列；在阵列ADC不存在差异的情况下，该灰度图像应该从左到右灰度值逐次增大，并且相邻列之间的灰度值差值相同，由于实际阵列ADC存在误差，导致得到的校正数据灰度图像并不理想，数据灰度图像的误差完全体现了阵列ADC之间的失配差异；

(2)、将得到的数据灰度图像进行图像处理，得到对于校正信号输入的ADC输出结果，并将阵列中不同位置的图像数据进行不同的权重加和，然后将计算得到的数据输出，即为高精度虚拟ADC的输出；

(3)、利用计算得到的高精度虚拟ADC的输出结果，对阵列中N个子ADC的输出结果进行比较，将误差数据送入自收敛算法中对阵列ADC的电容权重进行收敛计算，最终得到校正之后的每个阵列子ADC的电容权重校正数据。

进一步地，步骤(2)中所述的图像处理为图像滤波或图像降噪处理方法。

进一步地，图像滤波采用中值滤波或均值滤波。

进一步地，步骤(3)中所述的自收敛算法为最小均方算法LMS、递归最小二次方算法RLS。

这种架构方案的突出优点是：①复杂的位权重调整电路、校正算法电路由CIS片外的数字集成电路ISP芯片承担，节省了宝贵的CIS面积；②数字校正电路不用反馈校正信号给ADC，ADC内部也不含有随机数发生器等校正辅助电路，简化了ADC的电路设计；③校正算法可以由高性能FPGA(可编程逻辑器件)实；④校正算法同样可以固化到ISP芯片中，提高其灵活性并且节约成本

本发明所述的高性能CMOS图像传感器的阵列模数转换器芯片，具有以下优点：

1、首次提出了多路协同数字校正ADC阵列的方法。该方法特别针对CIS阵列ADC特点而提出的，主要利用了ADC阵列中ADC数量非常多、单个ADC面积非常小、电容失配大、不准确的两个特点，通过多个通路协同工作，构造出一个高精度的准确“虚拟ADC”，从而实现对多路ADC的校正。

2、首次将应用于CMOS图像传感器的阵列模数转换器看成一个整体系统，在很大程度上降低了阵列模数转换器由于单个模数转换器面积小造成的失配问题，在一定程度上放宽了电路噪声对阵列模数转换器的影响，从而实现更好的动态性能。

3、14bit高精度，近90dB宽动态范围。动态范围(DR)是图像传感器的一项重要指标。CIS的DR越高，所记录的图像信息越接近被拍摄场景。自然场景的DR近180dB，对于90dB动态范围的CIS，片上ADC转换精度需要在14bit以上，且不能有丢码(Missing Code)；为了保证高分辨率下CIS的高帧频，ADC转换时间要限制在百ns以内。

4、设计的模数转换器结构简单，无需在CIS芯片上增加模数转换器的校正电路，节省芯片面积。复杂的数字电路如位权重调整电路、校正算法电路均可由CIS芯片片外的数字集成电路DSP芯片完成，充分节约CIS芯片的面积。

附图说明

图1：传统CMOS图像传感器的系统框架图；

图2：现有CMOS图像传感器装置处理单元；

图3：提出的高性能CMOS图像传感器及阵列ADC的系统架构图；

图4：提出的高性能CMOS图像传感器阵列ADC校正算法设计的算法流程简图；

图5：提出的高性能CMOS图像传感器阵列ADC的具体校正过程；

图6：本发明所述的高性能CMOS图像传感器阵列ADC的数目随虚拟ADC的精度关系曲线；

图7：本发明所述的高性能CMOS图像传感器阵列ADC中单个ADC校正前后的性能对比；

图8：本发明的阵列中ADC校正前后的FFT结果对比图；其中，a为校正前，b为校正后。

如图1所示，现有CMOS图像传感器装置将像素阵列中所有像素的输出信号送入模数转换器中进行模数转换，像素阵列的大小、模数转换器的转换速度和精度均限制了CIS芯片的帧率和动态范围。

如图2所示，为现有CMOS图像传感器处理单元示意图，像素电路采用积分工作模式，输出电压经过相关双采样电路输入下一级列处理电路中，最终得到放大的电压信号输入ADC进行模数转换。

如图3所示，为提出的高性能CMOS图像传感器及阵列ADC的系统架构图。虚线框内为该芯片的布局设计，其中像素阵列产生的信号首先通过可变增益放大器阵列之后进入模数转换器阵列进行模数转换，将转换得到的结果送入移位寄存器存储，最终通过低电压差分信号输出给外界的可编程逻辑器件(FPGA)得到像素阵列的信号输出还原拍摄到的图像。

如图4所示，提出的高性能CMOS图像传感器阵列ADC校正算法实现流程的简易描述。首先将CIS芯片上N路ADC排成一个阵列，在正常工作时与传感器各列相连，在进行数字校正阶段通过MUX将N路ADC的输入连接在一起。将阵列ADC的输出与CIS片外的FPGA芯片通过LVDS高速接口相连。在数字校正过程中，首先从外界输入校正信号，经过阵列ADC的模数转换，阵列ADC的输出通过位权重调整电路做数据恢复运算，接着输入到数字校正引擎中进行校正运算，反馈校正数据给位权重调整电路进行位权重修正，最终通过修正之后的校正权重数据，得到单独的模数转换器。在阵列ADC正常工作阶段，通过校正阶段得到的权重校正数据对阵列ADC的输出进行校正和数据还原，最终达到阵列ADC中每一个子ADC的动态性能。

如图5所示，为提出的基于多路协同数字校正技术的高性能CMOS图像传感器的阵列模数转换器芯片的简易校正过程。多路协同校正技术的基本思路：在校正开始时,ADC阵列中的N个需要校正的不准确ADC同时输入同一信号。由于每个ADC都存在着电容失配等非理想因素，导致这N路ADC输出的结果不同。校正模块利用N路ADC输出的“不准确”结果，构造出一个准确的高精度“虚拟ADC”，其ENOB随ADC总数目N增加而提高。利用这个准确的“虚拟ADC”对所有“不准确”ADC进行数字校正。校正过程完全在数字域进行；经过校正的ADC精度得到提高，校正过程结束，每路ADC的输入切换为正常的图像信号，ADC阵列开始进行高精度的模数转换。

如图6所示，利用多路协同校正技术构建的“虚拟ADC”的仿真结果。横坐标是阵列中ADC的数目，随着ADC的数目增加，ENOB呈线性增加的趋势。当ADC的数目多达1024个时，ENOB分布在14.5bit到16bit。

如图7所示，通过得到的校正数据信号，将其转化为灰度图，通过数字图像处理的相关方法，对图像进行降噪滤波，并通过加权得到高精度虚拟ADC的静态传输特性曲线。根据阵列ADC同高精度虚拟ADC之间的误差，利用自收敛算法对阵列ADC的权重进行计算最终得到校正权重数据，获得高性能CMOS图像传感器阵列模数转换器。

如图8所示，阵列中一个ADC校正前后的FFT结果对比图。经过校正前的ADC的ENOB只有10.36bit，经过数字校正算法后该ADC的ENOB达到了13.80bit。

具体实施方式

实施例1

高性能CMOS图像传感器阵列模数转换器的数字校正方法，具体过程如下：CIS芯片上N路ADC排成一个阵列，在正常工作时，数据选通器(MUX)将传感器输出与ADC输入相连，在校正阶段，数据选通器将校正信号与ADC输入相连，ADC的输出与CIS片外的在线系统编程(ISP)芯片通过低电压差分信号输出(LVDS)高速接口相连，数字校正过程中，ADC输出首先通过位权重调整电路做数据恢复运算，接着输入到数字校正引擎中进行校正运算，反馈校正数据给位权重调整电路进行位权重修正，然后将经过校正好的数据输出给后续图像信号处理模块电路，完成接下来的线性纠正、噪声去除、坏点去除等图像处理的常规运算，最后通过MIPI、USB等总线接口输出图像或视频进行存储或显示。

数字校正引擎中进行的校正运算，如图7所示，具体过程如下：

(1)、通过位权重调整电路做数据恢复运算得到的阵列ADC的输出，将阵列中每一个子ADC的输出作为一个14bit灰度值，将阵列中所有ADC的输出以灰度值表示并合成数据灰度图像，其中校正信号输入不同、相同阵列ADC输出的数据在同一行，校正信号输入相同、不同阵列ADC输出的数据在同一列；在阵列ADC不存在差异的情况下，该灰度图像应该从左到右灰度值逐次增大，并且相邻列之间的灰度值差值相同，由于实际阵列ADC存在误差，导致得到的校正数据灰度图像并不理想，数据灰度图像的误差完全体现了阵列ADC之间的失配差异。

(2)、将得到的数据灰度图像进行图像降噪处理方法，得到对于校正信号输入的ADC输出结果，并将阵列中不同位置的图像数据进行不同的权重加和，然后将计算得到的数据输出，即为高精度虚拟ADC的输出；

(3)、利用计算得到的高精度虚拟ADC的输出结果，对阵列中N个子ADC的输出结果进行比较，将误差数据送入最小均方算法LMS中对阵列ADC的电容权重进行收敛计算，最终得到校正之后的每个阵列子ADC的电容权重校正数据。

图4为本发明的基于多路协同数字校正技术的高性能CMOS图像传感器的阵列模数转换器芯片。①校正开始时，ADC阵列中的N个需要校正的不准确ADC同时输入同一信号。由于每个ADC都存在着电容失配等非理想因素，导致这N路ADC输出的结果不同；②校正模块利用N路ADC输出的“不准确”结果，构造出一个准确的高精度“虚拟ADC”，其ENOB随ADC总数目N增加而提高；③利用这个准确的“虚拟ADC”对所有“不准确”ADC进行数字校正。校正过程完全在数字域进行；④经过校正的ADC精度得到提高，校正过程结束，每路ADC的输入切换为正常的图像信号，ADC阵列开始进行高精度的数模转换。

多路协同数字校正算法在校正过程中得到校正数据之后，将校正数据利用FPGA芯片存储，对于相同原始数据的不同模数转换器输出，将得到的数据转换为32×32的灰度图像，采用数字图像处理算法如图像平滑，对原始数据进行数字算法处理，得到模数转换器输出的最优解，虚拟出一个高精度的模数转换器。

多路协同数字校正技术的核心是由N路不准确的ADC构造出一个近似理想的准确的高精度“虚拟ADC”，实质是输入信号多次采样提高信噪比原理的空间化，通过提高ADC数目就可以得到近似理想的“虚拟ADC”，从而可以实现对不准确ADC的校正。

对多路协同数字校正技术进行了建模和仿真。ADC设计精度为14bit，但由于存在着严重的电容失配，校正前有效精度(ENOB)的分布值在10bit到11.5bit左右。图5是利用多路协同校正技术构建的"虚拟ADC"的仿真结果，横轴是阵列中ADC数目。由于电容失配的随机性，多次仿真得到的ENOB较为分散。但还是可以看到随着ADC数目的增加，ENOB具有增加的趋势。当ADC数目多达1024时，ENOB值分布在14.5bit到16bit。

图8为阵列中一个ADC校正前后FFT结果对比图。校正前ADC的ENOB只有10.36bit；校正后该ADC的ENOB可以达到13.8bit。

Claims (5)

1.高性能CMOS图像传感器阵列模数转换器的数字校正方法，其特征在于，具体过程如下：CIS芯片上N路ADC排成一个阵列，在正常工作时，数据选通器将传感器输出与ADC输入相连，在校正阶段，数据选通器将校正信号与ADC输入相连，ADC的输出与CIS片外的在线系统编程芯片通过低电压差分信号输出高速接口相连，数字校正过程中，ADC输出首先通过位权重调整电路做数据恢复运算，接着输入到数字校正引擎中进行校正运算，反馈校正数据给位权重调整电路进行位权重修正，然后将经过校正好的数据输出给后续图像信号处理模块电路，完成接下来的线性纠正、噪声去除或坏点去除图像处理的常规运算，最后通过MIPI或USB总线接口输出图像或视频进行存储或显示。

2.如权利要求1所述的高性能CMOS图像传感器阵列模数转换器的数字校正方法，其特征在于，所述的数字校正引擎中进行的校正运算，具体过程如下：

(1)、通过位权重调整电路做数据恢复运算得到的阵列ADC的输出，将阵列中每一个子ADC的输出作为一个14bit灰度值，将阵列中所有ADC的输出以灰度值表示并合成数据灰度图像，其中校正信号输入不同、相同阵列ADC输出的数据在同一行，校正信号输入相同、不同阵列ADC输出的数据在同一列；

(2)、将得到的数据灰度图像进行图像处理，得到对于校正信号输入的ADC输出结果，并将阵列中不同位置的图像数据进行不同的权重加和，然后将计算得到的数据输出，即为高精度虚拟ADC的输出；

(3)、利用计算得到的高精度虚拟ADC的输出结果，对阵列中N个子ADC的输出结果进行比较，将误差数据送入自收敛算法中对阵列ADC的电容权重进行收敛计算，最终得到校正之后的每个阵列子ADC的电容权重校正数据。

3.如权利要求2所述的高性能CMOS图像传感器阵列模数转换器的数字校正方法，其特征在于，步骤(2)中所述的图像处理为图像滤波或图像降噪处理方法。

4.如权利要求3所述的高性能CMOS图像传感器阵列模数转换器的数字校正方法，其特征在于，所述的图像滤波采用中值滤波或均值滤波。

5.如权利要求2所述的高性能CMOS图像传感器阵列模数转换器的数字校正方法，其特征在于，步骤(3)中所述的自收敛算法为最小均方算法LMS或递归最小二次方算法RLS。