CN114731378B - 使用像素读出重排序以减少图像传感器中的模式噪声 - Google Patents

Abstract

一种图像传感器，包括像素阵列，该像素阵列具有排列成行和列的多个像素；与相应像素耦合的多条像素读出线；与像素读出线耦合的多路复用电路；与该多路复用电路耦合的多个模数转换器ADC；以及控制器，该控制器用于通过该多路复用电路向该模数转换器提供排列在同一列像素中的像素读出信号，以进行并行信号转换。

Description

使用像素读出重排序以减少图像传感器中的模式噪声

相关申请的交叉引用

本专利文件要求申请人深圳汇顶科技有限公司于2020年5月7日提交的、题为“USING PIXEL READOUT REORDERING TO REDUCE PATTERN NOISE IN IMAGE SENSOR”的美国临时专利申请No.16/869,290的权益及优先权，其全部内容通过引用并入本专利文件公开内容的一部分。

技术领域

本发明涉及一种互补金属氧化物半导体(complementary metal oxidesemiconductor，CMOS)图像传感器及其操作方法。更具体地，本发明涉及一种CMOS图像传感器及其使用读出重排序的操作方法。

背景技术

具有大像素数的现代CMOS图像传感器(CMOS image sensor，CIS)(例如，4800万像素的阵列)通常会在大量ADC同时操作的情况下一次性读出一整行像素。在读出整个像素阵列后，每个ADC依次对列中的每个像素进行操作。像素和读出结构中的各种非理想因素会影响图像质量。例如，读出过程中的噪声会对信噪比(signal-to-noise ratio，SNR)产生负面影响，这在低光图像中尤其有意义。像素之间的增益变化会导致图像在本应是均匀的区域上具有不同的强度，表现为空间噪声，主要影响图像明亮的部分。现已采取各种技术来处理这两种类型的缺陷，尽可能地降低损失。

图1为示出执行已知像素读出方案的图像传感器100的框图。参见图1，图像传感器100包括一个像素阵列，该像素阵列具有8行(行1到行8)4列(列1到列4)的像素传感器(或称为像素)(p11到p84)，在行控制电路和列控制电路的控制下，向相应的模数转换器(analog-to-digital converter，ADC)提供同一列中的每个像素，用于数字信号转换。行控制电路通过选择行(诸如行1)开始读出过程，列控制电路将所选行像素中的像素信号提供给相应的ADC进行信号转换。读出过程连续地执行到下一行，以此类推，直到将最后一行的像素(诸如行8)提供给相应的ADC。

图1B为图1A中常规像素读出方案的时序图。参见图1B，行1中的像素p11至p14的像素信号在时间段t1期间读出，行2中的像素p21至p24的像素信号在时间段t2期间读出，以此类推。每行在同一时间被读出，读操作过程中的相关噪声出现在行中，而ADC的偏移和增益变化出现在列中。如上所述，读出过程中的噪声会对低光图像中的SNR产生负面影响，像素之间的增益变化会导致图像具有不同的强度。

影响图像质量的另一个问题与在像素阵列中形成图案的噪声或增益误差有关。由于人类对图像中模式噪声的感知比不相关的噪声敏感得多，因此这一问题十分重要。例如，考虑一种情况，即每个单个像素输出的噪声为一个标准偏差为x的高斯分布随机变量，然后将行噪声定义为行中所有像素的平均输出，假设其为标准差为y的高斯分布。已经发现，若y大于x的十分之一，则人会注意到随机噪声的行图案。因此，需要确保行或列的共有噪声远小于单个像素的噪声。若该行中所有像素都具有彼此不相关的噪声，则y小于x乘以行中像素数的平方根。对于一个4800万像素的图像传感器，每行有8000个像素，则得y＝0.011*x。因此，对于大型图像传感器来说，不相关的噪声不会产生可观察到的行噪声趋势。然而，由于所有像素都是同时读出的，传感器中所有像素共有的噪声很容易形成逐行的相关噪声图案。因此，必须将相关噪声控制在远低于单个像素噪声的水平。

类似地，由于增益变化会在明亮的图像中产生空间噪声效应，因此人对基于列相关的增益变化的感知很敏感。由于每个ADC在单列上操作，因此ADC特有的增益变化形成了列相关增益变化的基础。由此，增益变化必须得到很好的控制，以实现良好的图像质量。这对如此大量的ADC来说是一个挑战，因为用于高质量匹配的芯片面积分配是有限的，且每次ADC校准成本非常高且不可取。

现代CIS设计的一项主要任务是将相关噪声和增益变化限制在可接受的水平，以获得高质量的图像性能。

发明内容

本发明涉及一种具有像素读出重排序的图像传感器及其操作方法，以解决上述问题。为了放宽CIS阵列读出模式噪声的电路要求，本发明的实施例提供了改变像素读出顺序以及在不同输出列之间轮换ADC转换的技术方案。

根据本发明的一个实施例，提供了一种图像传感器，包括：像素阵列，所述像素阵列具有排列成行和列的多个像素；与所述像素耦合的多条像素读出线；与所述像素读出线耦合的多路复用电路，用于选择性地在控制器的控制下，向多个模数转换器提供所述像素的像素信号。所述模数转换器同时将排列在不同行、同一列像素中的像素信号转换为对应的数字数据。

在一实施例中，所述多路复用电路包括多个模拟多路复用器，每个模拟多路复用器包括与M条不同像素读出线耦合的M个输入以及与所述模数转换器之一的输出。在一实施例中，由在控制器控制下的传输晶体管或传输门建立所述输入与所述模拟多路复用器的输出的连接。

在一实施例中，所述图像传感器还可以包括数据存储器，用于存储对应像素阵列的一部分的数字数据；以及逻辑电路，用于将所述存储的数字数据重新排列为适当的显示顺序。

本发明的实施例还提供了一种操作图像传感器的方法。所述图像传感器包括具有排列成行和列的多个像素的像素阵列。所述方法可以包括将多条像素读出线与相应像素耦合；将所述多条像素读出线与多路复用电路耦合；将多个模数转换器(analog-to-digitalconverter，ADC)与所述多路复用电路耦合；以及通过控制器生成控制信号到所述多路复用电路，以将排列在同一列中的第一组像素的像素读出信号与所述ADC中的每一个耦合，以在第一时隙期间进行并行信号转换。在一实施例中，所述方法还包括将排列在所述同一列中的第二组像素的像素读出信号与所述ADC中的每一个耦合，以在不同于所述第一时隙的第二时隙期间进行并行信号转换。

根据本发明的另一实施例，提供了一种操作图像传感器的方法，包括将多条像素读出线与相应像素耦合；读出排列在同一列中的像素的像素信号；以及向多个模数转换器(analog-to-digital converter，ADC)提供所述读出像素信号；以及并行转换所述读出像素信号，以通过所述ADC获得所述读出像素信号的数字表示。

在一实施例中，并行转换所述像素信号是在同一时间间隔期间进行的。

在一实施例中，通过多路复用电路向所述多个模数转换器提供所述读出像素信号。在一实施例中，所述多路复用电路包括多个电开关，所述电开关中的每一个用于响应于由控制器提供的相应控制信号，激活和停用所述多路复用电路的输入和输出之间的相应电连接。

在一实施例中，所述方法还包括将所述读出像素信号的所述数字表示存储到数据存储器中；以及将所述数字表示重新排列为常规显示顺序。在一实施例中，所存储的读出像素信号的数字表示仅代表所述像素阵列的一部分而非整个像素阵列。

附图说明

本文描述的本发明的实施例通过示例的方式而非限制的方式进行说明。在附图中，相同的附图标记指代类似元件。

图1A为常规像素读出方案的框图。

图1B为图1A中常规像素读出方案的时序图。

图2A为根据本发明一实施例的示出读出重排序方案的像素阵列简化框图。

图2B为根据本发明一实施例的示出图2A中示例像素重排序读出操作的时序图。

图2C为根据本发明一实施例的示出图2A中数据存储器的读出操作的数据流图。

图3A和图3B为根据本发明一实施例的像素重排序读出的一般概念的像素阵列简化框图。

图3C为根据本发明一实施例的示出图3A和3B的示例像素重排序读出操作的时序图。

图4为根据本发明一实施例的示出操作图像传感器的方法的简化流程图。

图5为根据本发明另一实施例的示出操作图像传感器的方法的简化流程图。

具体实施方式

本发明全文中对“一实施例”或“实施例”的引用表示结合该实施例描述的特定特征、结构、架构或过程包含于本发明的至少一个实施例中。因此，本发明全文中各处出现的“在一实施例中”或“在实施例中”并不一定指相同的实施例。此外，一些特定的特征、结构、架构或工艺步骤可组合在一个或多个实施例中。

图2A为根据本发明一实施例的示出读出重排序方案的像素阵列20的简化框图。参见图2A，像素阵列20包括排列为8行(行1至行8)、4列的多个像素，即每行均有像素。与常规的同时读取同一行中四个像素的读出方案相比，如图1A和1B所示，像素阵列20包括多条像素读出线，诸如像素读出线L11、L12、L13、L14、L21、L22、L23、L24、L31、L32、L33、L34、L41、L42、L43、L44，每条像素读出线与相应像素耦合，用于读出相应像素的电信号。

参见图2A，像素阵列20的物理像素布局从第一行的p11、p12、p13和p14开始依次排列。类似地，第二行的物理像素布局从p21、p22、p23和p24开始排列，以此类推，使得最后一行(行8)的物理像素布局具有像素p81、p82、p83和p84的顺序。本发明的一个新颖的概念是使用一种读出方法，通过多路复用电路同时读出排列在同一列的多行中的像素。多路复用电路选择性地将同一列像素但不同行像素的像素信号提供给多个模数转换器(analog-to-digital converter，ADC)。

在一实施例中，读出顺序如下：首先读出第1列列1的各行(行1至行4)中的像素p11、p21、p31和p41的像素信号，然后读出第2列列2中的像素p12、p22、p32和p42，接着读出像素p13、p23、p33和p43，此后读出列列4的像素。根据本发明的一些实施例，读出顺序由粗体大写“P”表示。在示例实施例中，像素p11和p51与像素读出线L11耦合，像素p12和p52与像素读出线L12耦合，像素p13和p53与像素读出线L13耦合，像素p14和p54与像素读出线L14耦合，像素p21和p61与像素读出线L21耦合，像素p22和p62与像素读出线L22耦合，像素p23和p63与像素读出线L23耦合，像素p24和p64与像素读出线L24耦合，像素p31和p71与像素读出线L31耦合，像素p32和p72与像素读出线L32耦合，像素p33和p73与像素读出线L33耦合，像素p34和p74与像素读出线L34耦合，像素p41和p81与像素读出线L41耦合，像素p42和p82与像素读出线L42耦合，像素p43和p83与像素读出线L43耦合，像素p44和p84与像素读出线L44耦合。

像素读出线L11、L12、L13、L14、L21、L22、L23、L24、L31、L32、L33、L34、L41、L42、L43和L44与多路复用电路21耦合。在一实施例中，多路复用电路21包括四个4：1模拟多路复用器(4:1MUX)211至214，每个4：1模拟多路复用器与相应的模数转换器(ADC1至ADC4)耦合。在一实施例中，4：1模拟多路复用器中的每一个具有四个模拟输入和一个输出，该四个模拟输入与四个相应像素读出线耦合，用于接收四个像素信号，该输出与ADC耦合。在一实施例中，可以使用传输晶体管或传输门实现每个输入到多路复用器的输出的连接。通过在控制器23的控制下激活或停用传输晶体管或传输门，向相应模数转换器提供像素的像素信号。

在示例实施例中，在时间间隔t1期间，通过像素读出线L11、L21、L31和L41分别向ADC1、ADC2、ADC3和ADC4提供像素p11、p21、p31和p41的像素信号用于信号转换。类似地，在时间间隔t2期间，通过像素读出线L12、L22、L32和L42分别向ADC1、ADC2、ADC3和ADC4提供像素p12、p22、p32和p42的像素信号用于信号转换。在时间间隔t3期间，通过像素读出线L13、L23、L33和L43分别向ADC1、ADC2、ADC3和ADC4提供像素p13、p23、p33和p43的像素信号用于信号转换。在时间间隔t4期间，通过像素读出线L14、L24、L34和L44分别向ADC1、ADC2、ADC3和ADC4提供像素p14、p24、p34和p44的像素信号用于信号转换。在时间间隔t5期间，通过像素读出线L11、L21、L31和L41分别向ADC1、ADC2、ADC3和ADC4提供像素p51、p61、p71和p81的像素信号用于信号转换。在时间间隔t6期间，通过像素读出线L12、L22、L32和L42分别向ADC1、ADC2、ADC3和ADC4提供像素p52、p62、p72和p82的像素信号用于信号转换。在时间间隔t7期间，通过像素读出线L13、L23、L33和L43分别向ADC1、ADC2、ADC3和ADC4提供像素p53、p63、p73和p83的像素信号用于信号转换。在时间间隔t8期间，通过像素读出线L14、L24、L34和L44分别向ADC1、ADC2、ADC3和ADC4提供像素p54、p64、p74和p84的像素信号用于信号转换。ADC1至ADC4分别将像素的像素信号转换成相应的数字数据。应注意，由于重排序像素读出方案，像素的数字数据以不同于显示顺序或物理像素顺序的顺序进行存储。

仍参见图2A，控制器23除了提供控制信号以开启和关闭(激活和停用)传输晶体管或传输门外，还输出控制信号以将像素信号的转换数字数据锁存到数据存储器25中。

图2B为根据本发明一实施例的示出图2A中示例像素重排序读出操作的时序图。参见图2B，在时间间隔t1期间，读出列1中相应行1至行4中的像素p11至p41的像素信号，在时间间隔t2期间，读出列2中相应行1至行4中的像素p12至p42的像素信号，在时间间隔t3期间，读出列3中相应行1至行4中的像素p13到p43的像素信号，在时间间隔t4期间，读出列4中相应行1到行4中的像素p14到p44的像素信号，在时间间隔t5期间，读出列1中相应行5到行8中的像素p51到p81的像素信号，在时间间隔t6期间，读出列2中相应行5到行8中的像素p52到p82的像素信号，在时间间隔t7期间，读出列3中相应行5到行8中的像素p53至p83的像素信号，在时间间隔t8期间，读出列4中相应行5到行8中的像素p54至p84的像素信号。使用不同的ADC同时从每列的多行进行读出，可降低列固定模式噪声。

如本文所用，术语“时间间隔”也可称为“时隙”或“时间段”。在本实施例中，在读出排列为四行四列的像素之后，时间间隔t1到t4连续重复。换言之，时间间隔t5到t8分别对应t1到t4。也就是说，可以认为像素阵列20具有两个相同的部分，上部分包括排列在行1到行4的像素，下部分包括排列在行5到行8的像素。

图2C为根据本发明一实施例的示出图2A中数据存储器的读出操作的数据流图。参见图2C，在时间间隔t1期间，对应列1中像素p11到p41的转换后的像素信号的数字数据D11到D41存储在数据存储器中；在时间间隔t2期间，对应列2中像素p12到p42的像素信号的数字数据D12到D42存储在数据存储器25中；在时间间隔t3期间，对应列3中像素p13到p43的像素信号的数字数据D13到D43存储在数据存储器25中；在时间间隔t4期间，对应列4中像素p14到p44的像素信号的数字数据D14到D44存储在数据存储器25中。应注意，并不需要将像素阵列20的所有数字数据都进行存储。而仅将转换的数字数据的一部分存储在数据存储器中就已足够。在一实施例中，控制器23可用于将存储在数据存储器中的数字数据重排序为适当的显示顺序。在一实施例中，基于像素读出重排序架构确定由数据存储器提供的数字数据的显示顺序或输出顺序。

在示例性实施例中，可以以交错方式读出数字数据，诸如以四地址交错(four-address interleave)配置，即读出D11，然后读出D12，接着以这种时间顺序的方式读出D13和D14。在一实施例中，四地址交错配置可以由状态机实现以循环数据存储器的地址。在一实施例中，可由外部处理器将数字数据重排序为适当的显示顺序。参见图2C，存储的数字数据D11、D12、D13、D14在时间间隔t1’中按这样的时间顺序输出，D21、D22、D23、D24在时间间隔t2’中输出，D31、D32、D33、D34在时间间隔t3’中输出，D41、D42、D43、D44在时间间隔t4’中输出。

图3A为根据本发明一实施例的像素重排序读出架构30的一般概念的8×8像素阵列简化框图。参见图3A，8×8像素阵列被分成两个相同的部分：A部分和B部分，每个部分具有相同的布局结构并由控制器33(见图3B)提供相同或相似的控制信号控制。类似于图2A，粗体大写“P”表示8×8像素阵列中的像素的读出顺序。在所示的示例实施例中，A部分和B部分中的每一个包括32个像素。A部分和B部分中的32个像素进一步划分为两个相同的子部分。例如，A部分包括第一子部分和第二子部分，第一子部分包括排列在行1至行4及列1至列4之间的像素，第二子部分包括排列在行5至行8及列1至列4之间的像素。B部分包括第一子部分和第二子部分，第一子部分包括排列在行1至行4及列5至列8之间的像素，第二子部分包括排列在行5至行8及列5至列8之间的像素。A部分和B部分的第一子部分中的每一个具有P1(标有相应数字1和5的像素对)、P2(标有相应数字2和6的像素对)、P3(标有相应数字3和7的像素对)、P4(标有相应数字4和8的像素对)、P5(标有相应数字9和13的像素对)、P6(标有相应数字10和14的像素对)、P7(标有相应数字11和15的像素对)和P8(标有相应数字12和16的像素对)的读出顺序。重复像素重排序读出过程P1到P4，直到读出8×8像素阵列中的所有像素。将A部分和B部分中的每一个中的像素对1和5的像素信号提供给相应的像素读出线LA11、LA21、LB11和LB21。将A部分和B部分中的每一个中的像素对2和6的像素信号提供给相应的像素读出线LA12、LA22、LB12和LB22。将A部分和B部分中的每一个中的像素对3和7的像素信号被提供给相应的像素读出线LA13、LA23、LB13和LB23。将A部分和B部分中的每一个中的像素对4和8的像素信号被提供给相应的像素读出线LA14、LA24、LB14和LB24，以此类推。

参见图3B，像素重排序读出架构30进一步包括多路复用电路31以及与多路复用电路31耦合的多个模数转换器。在一实施例中，多个模数转换器(analog-to-digitalconverter，ADC)包括四个ADC：ADC-A1、ADC-A2、ADC-B1和ADC-B2。多路复用电路31包括四个4：1模拟多路复用器311、312、313和314。在一实施例中，模拟多路复用器的任何输入与其输出之间的连接由传输晶体管或传输门(诸如NMOS晶体管)实现。在控制器33的控制下，在模拟多路复用器的输入的像素的像素信号与相应的ADC耦合，像素信号通过相应的ADC转换为相应的数字数据。在一实施例中，多路复用电路31可以包括多个电开关，电开关中的每一个用于响应于由控制器33提供的相应控制信号，激活和停用多路复用电路31的输入和输出之间的相应电连接。在一实施例中，每个电开关可以是MOS晶体管、场效应晶体管(field-effect transistor，FET)等器件。

仍参见图3B，像素重排序读出架构30还包括数据存储器35，用于存储由ADC提供的数字数据。由于像素不是按照常规方式读出的，即每列中的四个像素用四个不同的ADC转换，因此，转换的数字数据并没有以适当的显示顺序存储。在一实施例中，所存储的数字数据在数据存储器的输出侧重排序为适当的显示顺序。重排序可以由控制器33使用重排序逻辑由外部处理器(未示出)利用地址交错方案执行。应注意，不必将整个像素阵列进行存储。在一实施例中，仅转换像素阵列的一部分，存储在数据存储器中，并提供给控制器、重排序逻辑或外部处理器，以重排序为适当的显示顺序。数据存储器可包括触发电路、锁存电路、寄存器文件或SRAM。

图3C为根据本发明一实施例的示出图3A中示例像素重排序读出操作的时序图。参见图3C，在时间间隔t1期间，读出相应行1和行2及列1和列5中的像素对(p1，p5)的像素信号；在时间间隔t2期间，读出相应行1和行2及列2和列6中的像素对(p2，p6)的像素信号；在时间间隔t3期间，读出相应行1和行2及列3和列7中的像素对(p3，p7)的像素信号；在时间间隔t4期间，读出相应行1和行2及列4和列8中的像素对(p4，p8)的像素信号；在时间间隔t5期间，读出相应行3和行4及列1和列5中的像素对(p9，p13)的像素信号，依此类推。

为了放宽CIS阵列读出模式噪声的电路要求，本发明的实施例提供了改变像素读出顺序以及在不同输出列之间轮换ADC转换的技术方案。

在一些实施例中，CIS包括重排序逻辑，通过同时从多个像素行中读出，改变像素的读出顺序，并在更多的连续读出操作中读出单一行中的所有像素。通过同时从多行读出像素，本发明的实施例避免增加整体帧读出时间或强制更快的读出操作，同时允许更多数量的顺序读出操作读出单行。通过在更多的连续读出操作中读出单行，可以减少单行中的相关噪声。随着像素序列读出步骤在阵列中的行下移，通过在不同的输出列之间轮流进行ADC转换，这种方法可以确保由多个ADC的平均增益决定单列的平均增益，这通常比单一的ADC具有更低的差异性。

相对于常规装置和方法，本发明的实施例实现了许多优点和益处。CIS阵列像素行中的相关模式噪声主要是由共享噪声驱动的，而当像素在同一时间读出时，会产生相关的噪声。由于通常整行都是一次性读出的，因此该行的所有像素都有高度相关的共享噪声。这种共享噪声源自电源、地线或基准等。当在不同时间读出像素时，来自共享噪声源的相关性几乎可以下降到零。通常情况下，不可能按顺序读出一行中的许多像素，或者，由于其迫使每个像素的读出操作速度加快以达到相同的整体帧率，因此该方法成本很高。本发明的实施例提供了一种可以同时读出多行的像素阵列，以消除这种限制，从而可以在不影响读出时间要求或整体帧率的情况下，读出具有更多顺序操作的单行。

通常情况下，由于图像的输出数据格式要求按顺序提供行，且预计滚动快门的效果由纯顺序行读出驱动，因此每个像素行都是按顺序读出的。然而，在大型CIS阵列(诸如8000列×6000行)中，在数据从芯片导出之前，有几行缓冲在本地存储器中进行处理是正常的。因此，这种新颖的方法可以在对芯片上的存储要求影响最小的情况下，从附近的几行中读取数据，并在从芯片输出之前对像素进行适当排序。

此外，在同一时间读出多个像素行，可以在纯粹的行基础上用附近的行之间的一些相关性取代相关噪声。然而，由于单行中相关噪声造成的视觉损害远大于分散在几行中并夹杂着不相关的数据的图案造成的视觉损害。另外，对图像数据进行操作以提高图像质量或从图像中获取信息的算法，往往对这种分散的相关噪声不太敏感。

本方案的好处在于其减少了像素行中的相关噪声，且无需在像素读出过程中更好地隔离共享噪声源或减少这些共享源中的噪声水平。这减轻了CIS阵列中电路设计的面积、功率和复杂性。

CIS阵列像素列中的相关模式噪声主要由各列之间的增益变化驱动，在较强的光照条件下表现为在各列之间的噪声。由于大型CIS阵列需要大量的ADC，因此不能为每个ADC分配太多芯片面积，这就限制了可以实现的增益匹配。此外，若必须对如此大量的ADC执行增益校准，则并且必须存储校准调整因子，然后将其分配给每个ADC，那么增益校准就很困难。若每个ADC的增益变化具有给定的标准差，且一定数量的ADC的平均值为N，那么平均值的标准偏将减少N的平方根。因此，通过在每列中的多个ADC之间轮换，可以实现较低的每列增益变化。这会产生更好的模式噪声性能，或者能够使得用固有增益匹配不那么有利，但具有其他理想特性的ADC架构或解决方案。

本发明的实施例提供了一种图像传感器，包括具有排列成行和列的多个像素的像素阵列，如图2A或3A中所示的像素阵列。图像传感器还包括与像素耦合的多条像素读出线、与像素读出线耦合的多路复用器，该多路复用器用于选择性地向多个模数转换器提供像素的像素信号，该模数转换器并行地将排列在不同行和同一列的像素的像素信号转换成相应的数字数据。在一实施例中，所述多路复用电路包括多个模拟多路复用器，每个模拟多路复用器具有与M条不同像素读出线耦合的M个输入以及与所述模数转换器中的一个耦合的一个输出。在一实施例中，由在控制器控制下的传输晶体管或传输门建立所述输入到所述模拟多路复用器的输出的连接。所述图像传感器还可以包括数据存储器，用于存储对应像素阵列的一部分的数字数据；以及逻辑电路，用于将所述存储的数字数据重新排列为适当的显示顺序。

图4为根据本发明一实施例的示出操作图像传感器的方法400的简化流程图。图像传感器包括具有排列成行和列的多个像素的像素阵列、多条像素读出线、多路复用电路、多个模数转换器及控制器。从401处开始，将多条像素读出线与相应像素耦合。403处，将像素读出线与多路复用电路耦合。405处，将多路复用电路的输出与模数转换器耦合。407处，在控制器的控制下，选择性地向相应的模数转换器提供排列在同一列像素中的像素信号，用于诸如在第一时隙期间进行并行信号转换。参见图2A和2B，排列在列1中的像素p11至p41的像素读出信号经由多路复用电路21提供给每个ADC(相应ADC1至ADC4)，用于在时隙t1期间进行并行信号转换。排列在列1中的像素p51至p81的像素读出信号经由多路复用电路21提供给每个ADC(相应ADC1至ADC4)，用于在不同于时隙t1的时隙t5期间进行并行信号转换。

在一实施例中，方法400还包括在409处将转换的信号数据存储在数据存储器中，在411处将存储的信号数据重新排列为常规的显示顺序。应注意，根据一些实施例，仅对像素阵列的一部分(例如，行1至行4中的像素)而非整个像素阵列进行转换和存储以用于显示。在一实施例中，控制器可执行信号数据的重新排列。在另一实施例中，信号数据重新排列可由远离图像传感器的外部处理器执行。

图5为根据本发明一实施例的示出操作图像传感器的方法500的简化流程图。所述图像传感器包括具有排列成行和列的多个像素的像素阵列。步骤501：提供多条像素读出线并将像素读出线与相应像素耦合。步骤503：读出排列在同一列像素中的像素信号。步骤505：向多个模数转换器提供读出像素信号。步骤507：并行转换排列在同一列中的像素的读出像素信号以获得读出像素信号的数字表示。在一实施例中，通过多路复用电路向所述多个模数转换器提供所述读出像素信号。在一实施例中，所述多路复用电路可以包括多个电开关，所述电开关中的每一个用于响应于由控制器提供的相应控制信号，激活和停用所述多路复用电路的输入和输出之间的相应电连接。在一实施例中，方法500还包括将所述读出像素信号的所述数字表示存储到数据存储器中；以及将所述数字表示重新排列为常规显示顺序。在一实施例中，数字存储器仅存储像素阵列中一部分像素的数据表示。

如本领域技术人员所理解，本发明的实施例中描述的创新概念可以在多种应用中进行修改。因此，本发明的范围不应限于本文所讨论的实施例，而由下列权利要求限定。

Claims (20)

1.一种图像传感器，包括：

像素阵列，所述像素阵列具有排列成行和列的多个像素，所述像素阵列包括至少一个子像素阵列；

多条像素读出线，所述多条像素读出线中的每条像素读出线与所述多个像素中的相应像素耦合，用于读出相应像素的像素信号；

与所述多条像素读出线耦合的多路复用电路；

与所述多路复用电路耦合的多个模数转换器ADC；以及

控制器；

其中，所述多路复用电路用于在所述控制器的控制下，在多个读出时隙中的每个读出时隙中，向所述多个ADC提供一组像素的像素信号，所述一组像素包括所述至少一个子像素阵列中一个子像素阵列中的排列在同一列不同行的像素，所述多个ADC中的每个ADC接收所述一组像素中一个像素的像素信号，并且所述多个ADC用于同时对接收到的像素信号进行信号转换。

2.根据权利要求1所述的图像传感器，其中，所述多路复用电路包括多个多路复用器，每个多路复用器包括与M条不同像素读出线耦合的M个输入以及与所述ADC中的一个耦合的一个输出，与所述M条不同像素读出线耦合的M个像素包括所述至少一个子像素阵列中的排列在相同行的像素，M为大于1的正整数。

3.根据权利要求1或2所述的图像传感器，其中，所述至少一个子像素阵列包括一个子像素阵列，所述一组像素为排列在同一列不同行的像素。

4.根据权利要求1或2所述的图像传感器，其中，所述至少一个子像素阵列包括第一子像素阵列和第二子像素阵列，所述一组像素包括所述第一子像素阵列中排列在不同行的像素以及所述第二子像素阵列中排列在不同行的像素。

5.根据权利要求1所述的图像传感器，还包括：

数据存储器，与所述多个ADC耦合，用于存储所述每个读出时隙中读出像素的转换数据；以及

逻辑电路，用于将所述转换数据重新排列为显示顺序。

6.根据权利要求5所述的图像传感器，其中，所述存储的转换数据包括对应所述像素阵列的一部分的数据。

7.根据权利要求1所述的图像传感器，其中，所述多路复用电路包括多个电开关，所述电开关中的每一个用于响应于由所述控制器提供的相应控制信号，激活和停用所述多路复用电路的输入和输出之间的相应电连接。

8.根据权利要求1所述的图像传感器，其中，所述控制器向所述多路复用电路提供控制信号，以在相应时隙期间将所述像素读出线中的每一条连接至相应ADC。

9.一种操作图像传感器的方法，所述图像传感器包括具有排列成行和列的多个像素的像素阵列，所述像素阵列包括至少一个子像素阵列，所述方法包括：

将多条像素读出线中的每条像素读出线与相应像素耦合，所述多条像素读出线用于读出相应像素的像素信号；

将所述多条像素读出线与多路复用电路耦合；

将多个模数转换器ADC与所述多路复用电路耦合；以及

在多个读出时隙中的第一读出时隙中，向所述多个ADC提供第一组像素的像素信号，以同时对所述第一组像素的像素信号进行信号转换，其中，所述第一组像素包括所述至少一个子像素阵列中一个子像素阵列中的排列在同一列不同行的像素，所述多个ADC中的每个ADC接收到的像素信号为所述第一组像素中一个像素的像素信号。

10.根据权利要求9所述的方法，还包括：

在所述多个读出时隙中的第二读出时隙中，向所述多个ADC提供第二组像素的像素信号，以同时对所述第二组像素的像素信号进行信号转换，其中，所述第二组像素包括所述至少一个子像素阵列中一个子像素阵列中的排列在不同行的除第一组像素之外的像素，所述多个ADC中的每个ADC接收到的像素信号为所述第二组像素中一个像素的像素信号，所述第二读出时隙不同于所述第一读出时隙。

11.根据权利要求9或10所述的方法，其中，所述多路复用电路包括多个多路复用器，每个多路复用器包括与M条不同像素读出线耦合的M个输入以及与所述ADC中的一个耦合的一个输出，与所述M条不同像素读出线耦合的M个像素包括所述至少一个子像素阵列中的排列在相同行的像素，M为大于1的正整数。

12.根据权利要求9或10所述的方法，其中，所述至少一个子像素阵列包括一个子像素阵列，所述一组像素为排列在同一列不同行的像素。

13.根据权利要求9或10所述的方法，其中，所述至少一个子像素阵列包括第一子像素阵列和第二子像素阵列，所述一组像素包括所述第一子像素阵列中排列在不同行的像素以及所述第二子像素阵列中排列在不同行的像素。

14.根据权利要求9所述的方法，还包括：

将在所述每个读出时隙中读出像素的转换数据存储在数据存储器中；以及

将所述存储的转换数据重新排列为常规数据顺序。

15.根据权利要求14所述的方法，其中，所述存储的转换数据为所述像素阵列的一部分。

16.一种读出像素阵列的方法，应用于如权利要求1-8中任一项所述的图像传感器，所述像素阵列包括具有排列成行和列的多个像素，所述方法包括：

将多条像素读出线与相应像素耦合；

在多个读出时隙中的同一读出时隙中读出排列在同一列像素中的像素信号；以及

向多个模数转换器ADC提供所述读出的像素信号，所述多个读出时隙中的每个读出时隙所读出的像素信号均提供给所述多个ADC；以及

并行转换所述读出的像素信号，以通过所述多个ADC获得所述读出的像素信号的数字表示。

17.根据权利要求16所述的方法，其中，并行转换所述像素信号是在同一读出时隙期间进行的。

18.根据权利要求16所述的方法，其中，通过多路复用电路向所述多个模数转换器提供所述读出的像素信号。

19.根据权利要求18所述的方法，其中，所述多路复用电路包括多个电开关，所述电开关中的每一个用于响应于由控制器提供的相应控制信号，激活和停用所述多路复用电路的输入和输出之间的相应电连接。

20.根据权利要求16所述的方法，还包括：

将所述读出的像素信号的所述数字表示存储到数据存储器中；以及

将所述数字表示重新排列为显示顺序。