CN102710906A - 实现二维离散余弦变换的cmos图像传感器 - Google Patents

Abstract

本发明涉及微电子学的集成电路设计领域和数字图像编码压缩领域。为提供一种新型的可实现2D-DCT的CMOS图像传感器结构，使2D-DCT在获取图像的同时完成，与传统处理流程相比，在不降低图像传感质量的基础上，减少由于额外使用的2D-DCT模块引入的面积和功耗，本发明采取的技术方案是，一种实现二维离散余弦变换的CMOS图像传感器，由像素阵列、读出电路、开关电容阵列、多路选择器MUX、可编程增益放大器DPGA、模数转换器ADC以及控制时序电路组成，还包括：开关电容阵列，模拟累加器；模数转换器ADC内增设有开关控制模块2、寄存器2、电容通路、数字加法器。本发明主要应用于图像传感器编码压缩。

Description

实现二维离散余弦变换的CMOS图像传感器

技术领域

本发明涉及微电子学的集成电路设计领域和数字图像编码压缩领域，尤其是开关电容放大电路、模拟累加器及二维离散余弦变换(Two-Dimensional Discrete Cosine Transform，2D-DCT)，具体讲，涉及实现二维离散余弦变换的CMOS图像传感器。 

背景技术

基于标准CMOS工艺的CMOS图像传感器(CMOS Image Sensor，CIS)以其可单片集成、低功耗、低成本、体积小、图像信息可随机读取等特点，逐渐成为图像和视频采集的主流器件。 

传统的基于CIS的视频信号采集处理过程主要包括图像采集、数据压缩、数据传输和解压缩四个部分，如图1所示。但是，该过程自身存在着采集处理效率较低的问题：前端CIS采集和处理了完整的图像信息而消耗了大量的功耗和处理能力，其输出数据包含的大量冗余信息又在数据压缩过程中被舍弃，最终只有部分信息进行存储和传输，图像采集和数据压缩对冗余信息的操作实际上都在做无用功。 

因此，由于图像信号本身是可以压缩的，CIS可以直接获取其压缩表示(即压缩数据)，如图2所示。将图像数据压缩过程集成到CIS中，使图像压缩和传感过程在保持低功耗设计的前提下互相融合，在图像传感器像素阵列及其处理电路中实现频域冗余图像数据的消除，通过直接输出压缩后的信号从源头上降低冗余信息处理带来的低效率。 

在图像数据压缩技术中，正交变换编码(简称变换编码)是最基本的编码方式。变换编码的基本思想是将在空间域描述的图像信号，变换到另外的正交向量空间进行描述，如果所选的正交向量空间的基向量与图像本身的特征向量很接近，那么同一信号在变换空间中的描述就会简单很多。 

空间域内的一个n×n个像素组成的像块经过正交变换后，在变换域变成了同样大小的变换系数块。变换前后的明显差别是，空间域像块中像素之间存在很强的相关性，能量分布比较均匀；经过正交变换后，变换系数间相关性基本解除，近似是统计独立的，并且能量主要集中在直流和少数低空间频率的变换系数上。这样一个解除相关的过程也就是冗余压缩的过程。 

在多种正交变换方式中，K-L变换采用图像本身的特征向量作为变换的基向量，因此与图像的统计特性完全匹配，但K-L变换没有快速算法，因此不宜用来进行实时编码。在其他正交变换方式中，当以自然图像位编码对象时，与K-L变换性能最接近的是离散余弦变换(Discrete Cosine Transform，DCT)。DCT作为一种正交变换方式，由于具有很强的能量集中特性以及去相关性，广泛地应用到变换编码压缩中，已被目前的多种静态和活动图像编码的国际标准所采用。 

2D-DCT能够对二维图像信号进行无损数据压缩，去除图像中的冗余数据，2D-DCT实例如图3所示。因此，实现2D-DCT的CMOS图像传感器研究为基于压缩感知的高效CMOS图像传 感器奠定了基础。现如今，越来越多的图像传感器选择以2D-DCT为基础的变换编码压缩方式对图像进行压缩处理，这就需要增加单独的数字信号处理器(Digital Signal Processor，DSP)。DSP能够增加信号处理的速度和精度，但是却增加了图像传感器的功耗和芯片面积，严重制约了图像传感器在无线传感、生物医疗等领域的应用，这些领域需要获取大量的图像信息并及时对其进行压缩等处理，且不增加功耗和面积。 

因此，研究新型的可实现2D-DCT的CMOS图像传感器，使其做到不增加额外的功耗和面积，成为未来的研究热点。 

发明内容

本发明旨在克服现有技术的不足，提供一种新型的可实现2D-DCT的CMOS图像传感器结构，使2D-DCT在获取图像的同时完成，与传统处理流程相比，在不降低图像传感质量的基础上，减少由于额外使用的2D-DCT模块(如DSP或用于DCT变换的ASIC电路)引入的面积和功耗。为达到上述目的，本发明采取的技术方案是，一种实现二维离散余弦变换的CMOS图像传感器，由像素阵列、读出电路、多路选择器MUX、可编程增益放大器DPGA、模数转换器ADC以及控制时序电路组成，还包括： 

在读出电路后增加与像素阵列同尺寸的开关电容阵列，用来存放经过读出电路相关双采样消除固定模式噪声、复位噪声后的图像数据，供后续电路多次采样使用； 

还设置有开关控制模块3、寄存器1、开关控制模块1、电容阵列，开关控制模块1通过积分器输出到开关控制模块3，开关控制模块3、寄存器1、开关控制模块1、电容阵列与可编程增益放大器DPGA构成模拟累加器； 

模数转换器ADC内增设有开关控制模块2、寄存器2、电容通路、数字加法器； 

像素阵列第1行即m＝0行像素通过读出电路存放在开关电容阵列中，在控制时序电路的clk的控制下，通过多路选择器MUX把存放在开关电容阵列中的图像数据传给模拟累加器，此时开关控制模块3打开来自多路选择器MUX输入信号与电容阵列的通路，关断积分器与电容阵列的通路，同时，通过寄存器1控制开关控制模块1中的开关选择对应的电容阵列中电容值，通过积分器完成m＝0行的N个像素与v＝0，n＝0，1，2，……，N-1的对应列系数的相乘并累加，得出的行累加结果同时传递给M个模数转换器ADC； 

在每一个模数转换器ADC进行模数转换之前完成行累加结果与各自行系数u＝0，1，2…，M-1，m＝0的相乘，具体是：在控制时序电路的clkplus高电平的时候把m＝0行的行累加结果通过开关控制模块3再次传递给电容阵列，进行电容复用，此时，开关控制模块3打开行累加结果与电容阵列的通路，关闭来自多路选择器MUX输入信号与电容阵列的通路，通过寄存器2控制开关控制模块2，使得信号在进入每一个模数转换器ADC之前选择各自行系数，u＝0，1，2…，M-1，m＝0对应的电容通路，同时完成m＝0行累加结果与M个行系数的乘法，得到m＝0的M个行系数分量，这M个行系数分量同时进行9bit模数转换，第一位是符号位，把转换完的M个行系数分量的数字码在控制时序电路clkreg高电平时存入模数转换器的ADC寄存器中，在控制时序电路clkadd高电平时传递给数字加法器，等待与后续结果相加； 

当m＝0的行累加结果传递给电容阵列进行复用后，多路选择器MUX继续从读出电路的开 关电容阵列逐个采样m＝1行的各个像素并传递给模拟累加器进行像素与列系数的相乘与累加，当控制时序电路clkplus高电平的时候得到m＝1的行累加结果，重复m＝0行系数分量的求得过程求得m＝1的行系数分量，当clkadd为高电平时与m＝0的行系数分量相加，重复上述过程，依次在控制时序电路clkadd为高电平时，在数字加法器中累加m＝2，3，…，M-1的行系数分量，当累加完M个行系数分量时，列级ADC进行数字输出，同时得到u＝0，1，…，M-1，v＝0的2D-DCT系数； 

当多路选择器MUX遍历一次M×N的像素阵列后，得到u＝0，1，…，M-1，v＝0的2D-DCT系数，MUX再次依次遍历N-1次M×N的像素阵列，得出全部2D-DCT系数。 

像素阵列采用4T-PPD像素结构，以及滚筒曝光方式；读出电路采用开关电容放大电路，并且采用单端的结构，进行相关双采样。 

像素阵列分成8×8的矩阵块，即M＝N＝8。 

本发明的技术特点及效果： 

本次发明通过增添开关电容阵列存储经过相关双采样的信号，有效的提高了信噪比，并且像素阵列中取消存储单元，减少了噪声对其的干扰，利用了2D-DCT可分离的原理，应用混合信号处理模式在模拟域用累加器完成列变换，再通过电容复用、列级单斜ADC完成行变换，通过电容复用减少了芯片面积，提高了信噪比，利用行并行方式同时得到8个DCT系数，缩短了计算时间，减少了数字电路部分，降低了功耗。输出数据可以满足任何量化编码需要，提高了图像传感器效率，适用于无线传感、视频监控、生物医疗等领域。 

附图说明

图1图像信号采集处理流程图。 

图2基于压缩感知的图像信号采集处理流程图。(a)空间域8×8像块，(b)经过2D-DCT变换后的8×8矩阵。 

图3 2D-DCT举例。 

图4传统CIS架构。 

图5 4T-PPD像素结构示意图 

图6新型结构框图。 

图7具体实施方式示意图。图中C8与C4为等值电容。 

图8列级单斜ADC结构框图。 

图9结构时序分析图。 

具体实施方式

传统的CMOS图像传感器阵列架构包括用于接受光信号并使之转化成电压信号的像素阵列、用于放大电压信号并且进行相关双采样(CDS)消除固定模式噪声(FPN)以及复位噪声的读出电路、用于选择具体像素值进行后续放大的多路选择器(MUX)、用于放大像素值对应的电压信号进行模数转换的可编程增益放大器(DPGA)、用于将电压值转成数字信号进行后续 数字图像处理的模数转换器(ADC)以及外围的控制时序电路。本次发明将在传统CMOS图像传感器架构中进行改进用混合信号处理的方法实现2D-DCT。 

设{X(m，n)|m＝0，1，...，M-1；n＝0，1，...，N-1}为二维图像信号数据矩阵，其二维离散余弦变换正变换定义为 

$Y(u,v)=\frac{2}{\sqrt{\mathrm{Mn}}}C\left(u\right)C\left(v\right){\mathrm{\Σ}}_{m=0}^{M-1}{\mathrm{\Σ}}_{n=0}^{N-1}X(m,n)\cos \frac{(2m+1)\mathrm{u\π}}{2M}\cos \frac{(2n+1)\mathrm{v\π}}{2N}---(2-1)$

其中，M、N是二维图像信号矩阵的维度，Y(u，v)是图像数据变换后位置为(u，v)的DCT系数，u＝0，1，...M-1；v＝0，1，...，N-1；C(u)，C(v)是系数，其中： 

由公式(2-1)可以看出二维离散余弦变换的变换核是可以分离的，即： 

$a(u,v,m,n)=a_1(u,m)\×a_2(v,n)=C\left(u\right)\sqrt{\frac{2}{M}}\cos \frac{(2m+1)\mathrm{u\π}}{2M}C\left(v\right)\sqrt{\frac{2}{N}}\cos \frac{(2n+1)\mathrm{v\π}}{2N}---(2-3)$

由上述三个公式可以得出： 

$Y(u,v)=\underset{m=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}a(u,v,m,n)\×X(m,n)={\mathrm{\Σ}}_{m=0}^{M-1}{\mathrm{\Σ}}_{n=0}^{N-1}{a}_1(u,m)\×X(m,n)\×a_2(v,n)---(2-4)$

其中，称a₁(u，m)为行系数，a₂(v，n)为列系数。 

那么二维图像的DCT系数Y(u₀，v₀)就可以表示为：首先，把像素阵列中第一行的像素逐个分别乘以相应的列系数a₂(v₀，n)，其中n＝0，1，...，N-1，然后进行累加，再把得到的结果乘以相应的行系数a₁(u₀，0)得到m＝0行的DCT行系数分量，再利用上述办法求得剩余N-1行的行系数分量，最后把求得的N个DCT行系数分量进行累加，得到Y(u₀，v₀)的结果。对于2D-DCT来说，首先要对图像信号进行分块处理，一般采用8×8的矩阵块进行变换，即M＝N＝8。 

在本次设计中，把像素阵列分成8×8的矩阵块，即M＝N＝8，因此，行系数和列系数可以由变量m、n、u、v通过查表1得到： 

表1 

其中ci表示 $\frac{1}{2}\cos \frac{\mathrm{i\π}}{16},i=\mathrm{1,2},...,7.$

改进后的结构图如图6所示，结合整个结构的时序以及具体实施示意图(如图7所示)具体说明实施方案：本次发明采用8*8分块方式进行2D-DCT，因此，每8*8像素块使用一个处理系统，但考虑到所有8*8系统同时进行处理，因此ADC的斜坡发生器为全局共用。首先，像素采用滚筒曝光方式，每8*8的像素块同时进行曝光，第1行即m＝0行像素曝光结束后，m＝0行像素通过列级读出电路行并行的进行相关双采样，消除复位噪声和固定模式噪声，随即存入8*8的开关电容阵列的第一行，在clk的控制下，通过多路选择器(MUX)在每一个脉冲高电平的时候把像素值传给模拟累加器，此时图7中的开关模块3打开输入信号与电容阵列的通路，关断行累加结果与电容阵列的通路，同时，通过寄存器1控制开关控制模块1中的开关选择对应的电容值，完成m＝0行的8个像素与v＝0，n＝0，1，2，……，7的对应列系数的相乘并累加，得出的行累加结果同时传递给8个列级单斜ADC，在每一个列级单斜ADC进行模数转换之前完成行累加结果与各自行系数(v＝0，1，2…，7，m＝0)的相乘，具体做法是：在clkplus高电平的时候把m＝0行的行累加结果通过开关控制模块3再次传递给8个电容，进行电容复用，此时，开关控制模块3打开行累加结果与电容阵列的通路，关闭输入信号与电容阵列的通路，通过寄存器2控制开关控制模块2，使得信号在进入每一个列级单斜ADC之前选择各自行系数(v＝0，1，2…，7，m＝0)对应的电容通路，同时完成m＝0行累加结果与8个行系数的乘法，得到m＝0行的8个行系数分量。这8个行系数分量同时进行9bit模数转换，第一位是符号位，把转换完的8个行系数分量的数字码在clkreg高电平时存入单斜ADC的ADC寄存器中，如图8所示。在clkadd高电平时传递给数字加法器，等待与后续结果相加。 

像素曝光结束读出时，多路选择器接收CDS后的信号进行相乘累加，因此当m＝0的行累加结果传递给电容阵列进行复用后，多路选择器继续从开关电容阵列逐个采样m＝1行的各个像素并传递给模拟累加器进行像素与列系数的相乘与累加，当clkplus高电平的时候得到m＝1的行累加结果，重复m＝0行系数分量的求得过程求得m＝1的行系数分量，当clkadd为高电平时与m＝0的行系数分量相加。重复上述过程，依次在clkadd为高电平时，在数字加法器中累加m＝2，3，…，7的行系数分量，当累加完m＝7的行系数分量时，列级ADC进行数字输出，同时得到u＝0，1，…，7，v＝0的2D-DCT系数。 

列级ADC输出后，清空ADC寄存器中的数字进行下一轮累加，依照上述步骤，求得其余2D-DCT系数。结合上述的分析可知，数字域相加需要在模数转换之后，又因为模数转换需要在求得行系数分量之后，因此，完成整个8×8的2D-DCT需要的时间是8×8×8+8＝520个周期，每一个周期完成MUX从开关电容阵列选通一个CDS后的信号，并将其输送给模拟累加器进行信号与相应列系数相乘并累加。 

应用于一个128*128的有源像素阵列，分割成8*8的像素矩阵块，输出精度为9bit，其中第一位是符号位，每个矩阵块应用混合信号处理方式实现2D-DCT，适用于高速实时视觉芯片系统。 

Claims (3)

1.一种实现二维离散余弦变换的CMOS图像传感器，由像素阵列、读出电路、多路选择器MUX、可编程增益放大器DPGA、模数转换器ADC以及控制时序电路组成，其特征是：

在读出电路后增加与像素阵列同尺寸的开关电容阵列，用来存放经过读出电路相关双采样消除固定模式噪声、复位噪声后的图像数据，供后续电路多次采样使用；

还设置有开关控制模块3、寄存器1、开关控制模块1、电容阵列，开关控制模块1通过积分器输出到开关控制模块3，开关控制模块3、寄存器1、开关控制模块1、电容阵列与可编程增益放大器DPGA构成模拟累加器；

模数转换器ADC内增设有开关控制模块2、寄存器2、电容通路、数字加法器；

像素阵列第1行即m＝0行像素通过读出电路存放在开关电容阵列中，在控制时序电路的clk的控制下，通过多路选择器MUX把存放在开关电容阵列中的图像数据传给模拟累加器，此时开关控制模块3打开来自多路选择器MUX输入信号与电容阵列的通路，关断积分器与电容阵列的通路，同时，通过寄存器1控制开关控制模块1中的开关选择对应的电容阵列中电容值，通过积分器完成m＝0行的N个像素与v＝0，n＝0，1，2，……，N-1的对应列系数的相乘并累加，得出的行累加结果同时传递给M个模数转换器ADC；

在每一个模数转换器ADC进行模数转换之前完成行累加结果与各自行系数u＝0，1，2…，M-1，m＝0的相乘，具体是：在控制时序电路的clkplus高电平的时候把m＝0行的行累加结果通过开关控制模块3再次传递给电容阵列，进行电容复用，此时，开关控制模块3打开行累加结果与电容阵列的通路，关闭来自多路选择器MUX输入信号与电容阵列的通路，通过寄存器2控制开关控制模块2，使得信号在进入每一个模数转换器ADC之前选择各自行系数，u＝0，1，2…，M-1，m＝0对应的电容通路，同时完成m＝0行累加结果与M个行系数的乘法，得到m＝0的M个行系数分量，这M个行系数分量同时进行9bit模数转换，第一位是符号位，把转换完的M个行系数分量的数字码在控制时序电路clkreg高电平时存入模数转换器的ADC寄存器中，在控制时序电路clkadd高电平时传递给数字加法器，等待与后续结果相加；

当m＝0的行累加结果传递给电容阵列进行复用后，多路选择器MUX继续从读出电路的开关电容阵列逐个采样m＝1行的各个像素并传递给模拟累加器进行像素与列系数的相乘与累加，当控制时序电路clkplus高电平的时候得到m＝1的行累加结果，重复m＝0行系数分量的求得过程求得m＝1的行系数分量，当clkadd为高电平时与m＝0的行系数分量相加，重复上述过程，依次在控制时序电路clkadd为高电平时，在数字加法器中累加m＝2，3，…，M-1的行系数分量，当累加完M个行系数分量时，列级ADC进行数字输出，同时得到u＝0，1，…，M-1，v＝0的2D-DCT系数；

当多路选择器MUX遍历一次M×N的像素阵列后，得到u＝0，1，…，M-1，v＝0的2D-DCT系数，MUX再次依次遍历N-1次M×N的像素阵列，得出全部2D-DCT系数。

2.如权利要求1所述的实现二维离散余弦变换的CMOS图像传感器，其特征是，像素阵列采用4T-PPD像素结构，以及滚筒曝光方式；读出电路采用开关电容放大电路，并且采用单端的结构，进行相关双采样。

3.如权利要求1所述的实现二维离散余弦变换的CMOS图像传感器，其特征是，像素阵列分成8×8的矩阵块，即M＝N＝8。

Images