CN113079330A - 多线阵图像传感器及图像处理方法 - Google Patents

Abstract

一种多线阵图像传感器及图像处理方法。所述多线阵图像传感器包括：控制单元、一组列并行ADC、N个像素阵列和M个输出电路；所述一组列并行ADC包括M个ADC，所述M个ADC和M个输出电路一一对应连接；所述控制单元，适于产生第一时序的D组电极信号，将所述D组电极信号分别输入至对应的像素阵列和输出电路，使得由所述D组电极信号控制输出的第一图像，相对于基准图像，具有预设亚像素位移；其中，输入所述电极信号的输出电路及所述第一时序，是根据所述预设亚像素位移及像素阵列之间物理间距所确定的。采用上述方案，利用多线阵图像传感器，可以更加灵活地来获得关于同一场景、具有预设亚像素位移的多个图像。

Description

多线阵图像传感器及图像处理方法

技术领域

本发明涉及传感器领域，尤其涉及一种多线阵图像传感器及图像处理方法。

背景技术

固态图像传感器的成像原理为：将入射光信号转换为电荷信号，然后将电荷信号转换为电压或电流信号，最后将转换后的电信号输出。根据固态图像传感器的像素在芯片中排列的形式，可以将固态图像传感器分为面阵图像传感器和线阵图像传感器。

其中，面阵图像传感器中，像素以二维面阵形式排列。每次曝光，可以获得一帧完整的图像。而线阵图像传感器中，像素以线性阵列形式排列，每次曝光仅能获取一行图像信息，将多行扫描曝光的结果拼接才能获取完整的二维图像信息。

为了获取不同颜色或基于其它目的，会在芯片的同一传感器内制作多个线性阵列，形成多线阵图像传感器。在工业领域，多线阵图像传感器应用越来越广泛，例如，利用多线阵图像传感器获得关于同一场景、具有预设亚像素位移的多个图像。

现有利用多线阵图像传感器，来获得关于同一场景、具有预设亚像素位移的多个图像时，通过仅调整多线阵图像传感器中像素阵列之间的物理间距来实现，灵活性较差。

发明内容

本发明解决的问题是：如何更加灵活地利用多线阵图像传感器来获得关于同一场景、具有预设亚像素位移的多个图像。

为解决上述问题，本发明提供一种多线阵图像传感器，所述多线阵图像传感器包括：控制单元、一组列并行ADC、N个像素阵列和M个输出电路，N≥2，M＞1，所述像素阵列包括M列像素单元，所述M列像素单元和M个输出电路一一对应；

所述一组列并行ADC包括M个ADC，所述M个ADC和每个像素阵列的M个输出电路一一对应连接；

所述控制单元，适于产生第一时序的D组电极信号，将所述D组电极信号分别输入至对应的像素阵列和输出电路，使得由所述D组电极信号控制输出的第一图像，相对于基准图像，具有预设亚像素位移；所述基准图像，为所述D组电极信号控制输出的亚像素位移图像中任一图像；所述第一图像，为所述D组电极信号控制输出的亚像素位移图像中除所述基准图像外的其它图像；D表示N个像素阵列中用于输出亚像素位移图像的像素阵列的数量；

其中，输入所述电极信号的输出电路及所述第一时序，是根据所述预设亚像素位移及像素阵列之间物理间距所确定的。

与现有技术相比，本发明的技术方案具有以下优点：

采用本发明的方案，控制单元可以产生多组电极信号，并以第一时序，将该多组电极信号分别输入至对应的输出电路，使得由该多组电极信号控制输出的第一图像，相对于基准图像，具有相同的亚像素位移。由于输入电极信号的输出电路及第一时序，是根据所述亚像素位移及像素阵列之间物理间距所确定的，由此可以在物理间距固定的情况下，通过调整输入电极信号的输出电路及第一时序，达到调整亚像素位移的目的，更加灵活地利用多线阵图像传感器来获得关于同一场景、具有预设亚像素位移的多个图像。

附图说明

图1是面阵图像传感器的示意图；

图2是线阵图像传感器的示意图；

图3是TDI图像传感器相关说明的示意图；

图4是本发明实施例的两像素阵列共用同一列并行ADC的结构示意图；

图5是本发明实施例中一种像素阵列之间分布的示意图；

图6是图5中像素阵列对应的输出图像示意图；

图7是本发明实施例中另一种像素阵列之间分布的示意图；

图8是图7中像素阵列对应的亚像素位移图像示意图；

图9是图7中像素阵列对应的第二方向上对齐的输出图像示意图；

图10是图7中像素阵列输出图8中图像时电极信号的时序示意图；

图11是图7中像素阵列输出图9中图像时电极信号的时序示意图；

图12是本发明实施例中一种同一场景下物体的运动示意图；

图13是本发明实施例中另一种同一场景下物体的运动示意图。

具体实施方式

如图1所示，面阵图像传感器中，像素以二维面阵形式排列。面阵图像传感器在每次曝光时，都可以获得一帧完整的图像，由此可以很容易获取二维图像信息，但是其像素总数较多而每行含有的像素个数却不能很多，这就限制了其帧频和分辨率。

如图2所示，线阵图像传感器中，像素以线阵形式排列，在线阵图像传感器的曝光期间，传感器始终在相对被拍摄物体移动。每次曝光获取一行图像信息，将多行扫描曝光的结果拼接获取完整的二维图像信息。线阵图像传感器虽然不能直接输出二维图像，但是其含有的像素个数很少，因此一行像素的个数可以做得很多，进而可以实现非常高的分辨率。

为了获取不同颜色或基于其它目的，会在芯片的同一传感器内制作多个线性阵列，形成多线阵图像传感器。

与面阵图像传感器不同，现有多线阵图像传感器中，每一个线阵都有一个单独的模数转换器阵列与之对应，这就导致了多线阵图像传感器的芯片面积非常大，同时良率恶化的非常厉害。

但由于多线阵图像传感器的分辨率很高，多线阵图像传感器在工业领域的应用越来越广泛。

在一种应用中，利用多线阵图像传感器获得关于同一场景、具有预设亚像素位移的多个图像，然后利用多帧超分算法对所获得的亚像素图像进行处理，由此可以大大提高图像的分辨率。

其中，所述亚像素位移图像，指的是多线阵图像传感器的输出图像，相对于同一基准图像，具有亚像素位移。所述亚像素位移，即图像之间的相对位移小于一个像素单元尺寸。

多帧超分算法是通过对多幅具有互补信息的低分辨图像进行处理，重建得到一幅高分辨率图像，在安全、监控、计算机视觉、军事侦查、医学成像等领域有重要的应用价值。

现有利用多线阵图像传感器获得同一场景、具有预设亚像素位移的多个图像时，只能通过调整多线阵图像传感器中像素阵列之间的物理间距来实现，在像素阵列之间的物理间距固定时，输出图像之间的亚像素位移也就是固定的，由此导致一个多线阵图像传感器只能获得具有某一亚像素位移的输出图像，故若要改变输出图像之间的亚像素位移，必需要改变像素阵列之间的物理间距。采用该方案获得同一场景、具有预设亚像素位移的多个图像时，灵活性较差。

针对上述问题，本发明实施例提供了一种多线阵图像传感器，在所述多线阵图像传感器中，控制单元可以产生多组电极信号，并以第一时序，将该多组电极信号分别输入至对应的输出电路，使得由该多组电极信号控制输出的第一图像，相对于基准图像，具有相同的亚像素位移。由于输入电极信号的输出电路及第一时序，是根据所述亚像素位移及像素阵列之间物理间距所确定的，由此可以在物理间距固定的情况下，通过调整输入电极信号的输出电路及第一时序，达到调整亚像素位移的目的，更加灵活地利用多线阵图像传感器来获得关于同一场景、具有预设亚像素位移的多个图像。

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

本实施例提供一种多线阵图像传感器，包括：控制单元、一组列并行ADC、N个像素阵列和M个输出电路，N≥2，M＞1，所述像素阵列包括M列像素单元，所述M列像素单元和M个输出电路一一对应；

所述一组列并行ADC包括M个ADC，所述M个ADC和每个像素阵列的M个输出电路一一对应连接；

所述控制单元，适于产生第一时序的D组电极信号，将所述D组电极信号分别输入至对应的像素阵列和输出电路，使得由所述D组电极信号控制输出的第一图像，相对于基准图像，具有预设亚像素位移；所述基准图像为所述D组电极信号控制输出的任一图像，所述第一图像为所述D组电极信号控制输出图像中除所述基准图像外的其它图像；D表示N个像素阵列中用于输出亚像素位移图像的像素阵列的数量；

其中，输入所述电极信号的输出电路及所述第一时序，是根据所述预设亚像素位移及像素阵列之间物理间距所确定的。

本发明实施例的线阵图像传感器可以采用时间延时积分(Time DelayIntegration，TDI)图像传感器，其基本原理是：使用面阵排布的像素阵列以线阵扫描的方式工作，可实现不同行的像素单元对移动中的同一物体进行多次曝光，并将每次曝光产生的信号进行累加，等效延长了像素单元对物体的曝光时间。

CCD器件具备电荷转移的功能，这一特点使其能够在电荷域完成信号累加操作，信号累加的操作直接在像素单元内完成，从而可以TDI功能。所以本实施例的TDI图像传感器通过CCD器件实现，更具体的来说，本实施例采用ECCD(Embedded Charge Coupled Device，ECCD)来实现。将同一列像素单元对同一物体曝光产生的信号进行累加，以实现等效延长曝光时间的效果。

如图3所示，线阵图像传感器的工作中，像素阵列与被扫描物体相对移动，相对移动的方向称为第一方向(Along-Track-Direction)，与相对移动方向垂直的方向称为第二方向(Across-Track-Direction)。假设像素单元的形状为正方形，相邻像素单元的中心距为p，此时，像素单元的尺寸(即正方向的边长)也就是为p。

为方便理解线阵图像传感器中光线的传播，可认为被拍摄物体发出或反射的光线通过镜头聚焦到像素阵列上形成一个光点。如果光点在像素阵列上的相对移动速度为v，则光点从一个像素单元的中心移动到相邻像素单元的中心所需要的时间为p/v，这个时间被定义为TDI图像传感器的渡越时间(Line Time,TL)。

在对物体扫描拍摄的过程中，使用同一列(第一方向上)的多个像素单元分别对同一物体进行曝光，并将这些曝光结果进行累加后输出。这些像素单元具有相同的曝光时间，且相邻像素单元对同一物体曝光的开始时间相差一个渡越时间，所述渡越时间即为行周期。像素阵列的行数为线阵图像传感器的级数。

行频表示TDI图像传感器采集图像的频率，单位为lines/s，即每秒能采集图像的行数。对于TDI图像传感器行频一般为TL的倒数。

在本发明的实施例中，N个像素阵列共用一组列并行ADC进行量化处理，即仅采用一组列并行ADC对多个线阵图像传感器进行量化处理，由此可以大幅度减小多线阵图像传感器的芯片面积。所述像素阵列可以包括M列像素单元，所述M列像素单元和M个输出电路一一对应。

可以理解的是，在具体实施中，每个像素阵列的大小可以相同，即阵列的行数及列数可以相同，当然，每个像素阵列的大小也可以不同，具体依据实际需要设置即可。

下面以2个线阵图像传感器为例，对本实施例多个像素阵列如何共用同一组列并行ADC进行详细说明：

如图4所示，多线阵图像传感器包括：控制单元(图中未示)、一组列并行ADC4、像素阵列1A、像素阵列1B，输出电路2A、输出电路3A、输出电路2B、输出电路3B。

其中，像素阵列1A包括2行2列的像素单元。像素阵列1A的第1列像素单元和第1个输出电路2A对应，像素阵列1A的第1列像素单元包括：像素单元11A和像素单元21A；像素阵列1A的第2列像素单元和第2个输出电路3A对应，像素阵列1A的第2列像素阵列包括像素单元12A和像素单元22A。

像素单元的尺寸指每个像素单元的实际物理尺寸，通常单位为μm。像素单元的形状正方形，通常使用相邻像素单元的中心距p表示像素单元的尺寸。所以，像素阵列1A中像素单元的尺寸为p。

像素阵列1A采用TDI曝光的方式，位于一行的像素单元针对一个场景同时曝光。像素单元11A和像素单元12A同时曝光，然后下一行像素单元21A和像素单元22A再针对同一场景同时曝光。像素单元11A和像素单元21A曝光产生的信号累加后存储在像素单元21A中，像素单元12A和像素单元22A曝光产生的信号累加后存储在像素单元22A中。

像素阵列1A与输出电路2A和输出电路3A之间，存在2个存储节点和2个传输栅。所述2个存储节点分别为存储节点FD1A和存储节点FD2A。所述2个传输栅分别为传输栅TCK1A和传输栅TCK2A。传输栅控制信号TCK1可以控制传输栅TCK1A和传输栅TCK2A同时导通或断开。

像素阵列1A的第1列像素单元连接传输栅TCK1A，传输栅TCK1A连接存储节点FD1A。像素阵列1A的第2列像素单元连接传输栅TCK2A，传输栅TCK2A连接存储节点FD2A。传输栅TCK1A和传输栅TCK2A导通时，存储在像素单元21A和像素单元22A中的信号可以被传输至存储节点FD1A和存储节点FD2A。

第1个输出电路2A和第2个输出电路3A结构相同。输出电路2A包括：复位管T21a、放大管T22a、选择管T23a和电流源I1a。输出电路3A包括：复位管T31a、放大管T32a、选择管T33a和电流源I12a。

同位于第1个线阵图像传感器中的复位管T21a和复位管T31a的控制端连接在一起，并在连接后输入第1个复位信号RST1，复位信号RST1可以控制复位管T21a和复位管T31a同时导通或同时断开。

同位于第1个线阵图像传感器中的选择管T23a和选择管T33a的控制端连接在一起，并在连接后输入第1个选择信号SEL1。选择信号SEL1可以控制选择管T23a和选择管T33a同时导通或同时断开。

在输出电路2A中，复位管T21a的输入端连接复位电压VRST，复位管T21a的输出端连接放大管T22a的控制端。放大管T22a的控制端除了连接复位管T21a的输出端还连接存储节点FD1A，放大管T22a的输入端连接电源电压VDD，放大管T22a的输出端连接选择管T23a的输入端。选择管T23a的输出端连接电流源I1a的输入端。电流源I1a的输出端接地。

与输出电路2A相同的，在输出电路3A中，复位管T31a的输入端连接复位电压VRST，复位管T31a的输出端连接放大管T32a的控制端。放大管T32a的控制端除了连接复位管T31a的输出端还连接存储节点FD2A，放大管T32a的输入端连接电源电压VDD，放大管T32a的输出端连接选择管T33a的输入端。选择管T33a的输出端连接电流源I2a的输入端。电流源I2a的输出端接地。

像素阵列1B包括2行2列的像素单元。像素阵列1B的第1列像素单元和第1个输出电路2B对应，像素阵列1B的第1列像素单元包括：像素单元11B和像素单元21B；像素阵列1B的第2列像素单元和第2个输出电路3B对应，像素阵列1B的第2列像素阵列包括像素单元12B和像素单元22B。像素阵列1B中的像素单元的尺寸为p。

像素阵列1B采用TDI曝光的方式，位于一行的像素单元针对一个场景同时曝光。像素单元11B和像素单元12B同时曝光，然后下一行像素单元21B和像素单元22B再针对同一场景同时曝光。像素单元11B和像素单元21B曝光产生的信号累加后存储在像素单元21B中，像素单元12B和像素单元22B曝光产生的信号累加后存储在像素单元22B中。

像素阵列1B与输出电路2B和输出电路3B之间设置有2个存储节点和2个传输栅。所述2个存储节点分别为存储节点FD1B和存储节点FD2B。所述2个传输栅分别为传输栅TCK1B和传输栅TCK2B。传输栅控制信号TCK2可以控制传输栅TCK1B和传输栅TCK2B同时导通或断开。

像素阵列1B的第1列像素单元连接传输栅TCK1B，传输栅TCK1B连接存储节点FD1B。像素阵列1B的第2列像素单元连接传输栅TCK2B，传输栅TCK2B连接存储节点FD2B。传输栅TCK1B和传输栅TCK2B导通时，存储在像素单元21B和像素单元22B中的信号可以被传输至存储节点FD1B和存储节点FD2B。

第1个输出电路2B和第2个输出电路3B结构相同。输出电路2B包括：复位管T21b、放大管T22b、选择管T23b和电流源I1b。输出电路3B包括：复位管T31b、放大管T32b、选择管T33b和电流源I2b。

同位于第2个线阵图像传感器中的复位管T21b和复位管T31b的控制端连接在一起，并在连接后输入第1个复位信号RST2，复位信号RST2可以控制复位管T21b和复位管T31b同时导通或同时断开。

同位于第2个线阵图像传感器中的选择管T23b和选择管T33b的控制端连接在一起，并在连接后输入第1个选择信号SEL2。选择信号SEL2可以控制选择管T23b和选择管T33b同时导通或同时断开。

在输出电路2B中，复位管T21b的输入端连接复位电压VRST，复位管T21b的输出端连接放大管T22b的控制端。放大管T22b的控制端除了连接复位管T21b的输出端还连接存储节点FD1B，放大管T22b的输入端连接电源电压VDD，放大管T22b的输出端连接选择管T23b的输入端。选择管T23b的输出端连接电流源I1b的输入端。电流源I1b的输出端接地。

与输出电路2B相同的，在输出电路3B中，复位管T31b的输入端连接复位电压VRST，复位管T31b的输出端连接放大管T32b的控制端。放大管T32b的控制端除了连接复位管T31b的输出端还连接存储节点FD2B，放大管T32b的输入端连接电源电压VDD，放大管T32b的输出端连接选择管T33b的输入端。选择管T33b的输出端连接电流源I2b的输入端。电流源I2b的输出端接地。

列并行ADC4包括2个ADC，即ADC41和ADC42。ADC41可以对输出端VOUT1a或输出端VOUT1b输出的信号进行量化处理。ADC42可以对输出端VOUT2a或输出端VOUT2b输出的信号进行量化处理。

在具体实施中，每组所述电极信号包括：复位信号、选择信号和传输栅控制信号。结合图4所示，控制单元可以产生两组电极信号分别与像素阵列1A和像素阵列1B对应。与像素阵列1A对应的电极信号包括：传输栅控制信号TCK1、复位信号RST1和选择信号SEL1。与像素阵列1B对应的电极信号包括：传输栅控制信号TCK2、复位信号RST2和选择信号SEL2。通过电极信号组，可以控制相应像素阵列的输出图像。

以电极信号组控制像素阵列1A的输出图像为例，将选择信号SEL1保持在高电平，选择信号SEL2保持在低电平；复位信号RST1出现一个高电平脉冲，复位信号RST2保持在低电平；传输栅控制信号TCK2保持在低电平，复位信号RST1的高电平脉冲结束后，传输栅控制信号TCK1出现一个高电平脉冲。

高电平的选择信号SEL1使得选择管T23a和选择管T33a在第一个1/2行周期内始终保持导通状态。复位信号RST1的高电平脉冲期间，复位管T21a和复位管T31a处于导通状态，使得复位电压VRST施加在放大管T22a和放大管T32a的控制端，从而导通放大管T22a和放大管T32a。由于复位信号RST1的高电平脉冲期间传输栅控制信号TCK1处于低电平，所以传输栅TCK1A和传输栅TCK2A处于断开状态。处于饱和区的放大管T22a和线性区的选择管T23a将电源电压VDD降低一个栅源电压VGS后，输出至输出端VOUT1a，电压为基准电压vref1a。处于饱和区的放大管T32a和线性区选择管T33a将电源电压VDD降低一个栅源电压VGS后输出至输出端VOUT2a，电压为基准电压vref2a。此时，ADC41和ADC42对输出端VOUT1a和输出端VOUT2a输出的基准电压进行量化处理。

传输栅控制信号TCK1的高电平脉冲期间，复位管T21a和复位管T31a处于断开状态。传输栅TCK1A和传输栅TCK2A处于导通状态，使得像素单元11A和像素单元21A产生的累积信号传输至放大管T22a的控制端，像素单元12A和像素单元22A产生的累积信号传输至放大管T32a的控制端。此处输出端第一输出端VOUT1a和第二输出端VOUT2a输出的信号电压为基准电压减去累积信号的电压。

在像素阵列1A输出图像期间，传输栅控制信号TCK2、复位信号RST2和选择信号SEL2始终保持在低电平，所以第2个线阵图像传感器的输出端VOUT1b和输出端VOUT2b没有信号输出。因此，列并行ADC4只处理第1个线阵图像传感器的量化。

同样地，当多线阵传感器中包括多个像素阵列时，列并行ADC在同一时刻，只对一个像素阵列的输出进行量化，由此多个像素阵列才能共用同一列并行ADC。

在本发明的实施例中，所述控制单元，可以产生第一时序的D组电极信号，并将所述D组电极信号分别输入至对应的输出电路，使得由所述D组电极信号控制输出的第一图像，相对于基准图像，具有预设亚像素位移。所述第一图像及基准图像，均属于亚像素位移图像。

其中，所述基准图像，是由该多组电极信号控制输出的任一图像，所述第一图像为所述多组电极信号控制输出图像中除所述基准图像外的其它图像。比如，控制单元产生4组电极信号，该4组电极信号会输入至4个输出电路中，每个输出电路对相应像素阵列的输出进行量化，共产生4副图像，分别为图像1、图像2、图像3及图像4。可以将图像1作为基准图像，图像2、图像3及图像4，作为第一图像。当然也可以将图像2作为基准图像，图像1、图像3及图像4，作为第一图像。

在具体实施中，所述N个像素阵列中，第1个像素阵列至第N个像素阵列在同一平面内沿第一方向依次分布；第二方向位于所述N个像素阵列所在平面内且垂直于所述第一方向。结合图3，物体沿第一方向，相对N个像素阵列移动。

第一图像相对于基准图像，具有预设亚像素位移，该预设亚像素位移的方向，可以仅为第一方向，也可以仅为第二方向，还可以同时包括第一方向及第二方向。各第一图像对于基准图像的亚像素位移值相同，但方向不同，由此通过对基准图像及各第一图像进行处理，可以获得更高分辨率的图像。

在本发明的实施例中，输入所述电极信号的输出电路及所述第一时序，是根据所述预设亚像素位移及像素阵列之间物理间距所确定的。基于预设亚像素位移，即所要求的亚像素位移，灵活调整像素阵列之间的物理间距，以及输入所述电极信号的输出电路及所述第一时序。其中，调整输入所述电极信号的输出电路，即从N个像素阵列中选择部分或全部用于输出亚像素位移图像。

在获得所要求的亚像素位移后，即预设亚像素位移确定后，根据所述预设亚像素位移，可以确定用于输出亚像素位移图像的像素阵列的数量。然后再基于像素阵列之间的物理间距及第一时序，确定最终用于输出亚像素位移图像的像素阵列。最后控制单元将多组电极信号以第一时序，输入至所确定的像素阵列对应的输出电路，由此获得具有所述预设亚像素位移的多个图像。

在具体实施中，为了使得亚像素位移图像具有不同方向的亚像素位移，用于产生亚像素位移图像的像素阵列之间，具有不同方向的物理间距。

具体地，像素阵列之间的物理间距可以包括：第一方向间距d及第二方向间距h。其中，所述第一方向间距d，即第n-1个像素阵列最后一行像素单元至第n个像素阵列第一行像素单元在第一方向上的距离。所述第二方向间距h，即第n-1个像素阵列第一列像素单元至第n个像素阵列第一列像素单元在第二方向上的距离。其中，1＜n，n∈N，即第n个像素阵列为N个像素阵列中的任意一个。

在本发明的一实施例中，可以采用如下公式，得到第n1个像素阵列与第n2个像素阵列之间的第一方向间距d：

d＝(△t/Tr)*p+K*p+s (1)

其中，其中，n1＜n2，第n1个像素阵列及第n2个像素阵均为N个像素阵列中用于输出亚像素位移图像的像素阵列，△t表示第n1个像素阵列对应的电极信号组与第n2个像素阵的对应的电极信号组之间的时间间隔；p表示一个像素单元的尺寸，K为大于或等于0的整数，Tr表示行周期，s表示所述预设亚像素位移，且

在具体实施中，每组电极信号中包括多个信号，如图4所示，每组电极信号包括：复位信号、选择信号和传输栅控制信号。第n-1个像素阵列对应的电极信号组与第n个像素阵列对应的电极信号组之间的时间间隔，指的是第n-1个像素阵列对应的电极信号组与第n个像素阵列对应的电极信号组对于同一电极信号之间的时间间隔，例如，第n-1个像素阵列对应的复位信号，与第n个像素阵列对应的复位信号之间的时间间隔。第n-1个像素阵列对应的电极信号组与第n个像素阵列对应的电极信号组的不同电极信号之间，通常具有相同的时间间隔。

例如，当第2个像素阵列对应的电极信号组，相对于第1个像素阵列对应的电极信号组，延时1/4行周期时，△t＝1/4*Tr。

在具体实施中，当所述第一图像相对于所述基准图像在所述第二方向上具有所述预设亚像素位移时，用于输出所述第一图像的像素阵列，相对于用于输出所述基准图像的像素阵列，具有第二方向间距，且所述第二方向间距与所述预设亚像素位移相等。换言之，若要得到相对于基准图像具有第二方向上预设亚像素位移的第一图像，设置用于输出该第一图像的像素阵列，相对于用于输出基准图像的像素阵列，具有第二方向间距即可。

当所述第一图像相对于所述基准图像在所述第二方向的亚像素位移为零时，用于输出所述第一图像的像素阵列，相对于用于输出所述基准图像的像素阵列，具有第二方向间距，且所述第二方向间距的值也为零。换言之，若要得到与基准图像对齐的第一图像，设置用于输出该第一图像像素阵列，相对于用于输出基准图像的像素阵列，第二方向间距为零即可。

在一实施例中，第二方向间距h可以为0，此时，第二方向间距h为0的两像素阵列对应的输出图像之间，在第二方向上完全对齐，即不存在第二方向上的位移。

在另一实施例中，第二方向间距

此时，第二方向间距h为

的两像素阵列对应的输出图像之间，在第二方向上位移为

在具体实施中，多线阵图像传感器的N个像素阵列，可以全部用于输出亚像素位移图像，也可以选择其中部分像素阵列，来用于输出亚像素位移图像。

在本发明的一实施例中，N个像素阵列均用于输出亚像素位移图像，此时，D＝N，所述预设亚像素位移

例如，参照图5，N＝4，s＝0.5p。此时，通过调整4个像素阵列之间的物理间距及电极信号组之间的第一时序，来获得满足亚像素位移要求的输出图像。其中，所述第一时序既包括电极信号组之间的时间间隔，也包括电极信号组输入至相应输出电路的顺序。

结合图5，若像素阵列1至4中，第1个像素阵列对应的电极信号，与第2个像素阵列对应的电极信号之间的时间间隔为1/4Tr，按照时间顺序先对第1个像素阵列的输出进行量化，再对第2个像素阵列的输出进行量化，则此时，第1个像素阵列与第2个像素阵列之间的第一方向间距d＝(1/4Tr/Tr)*p+K*p+0.5p＝K*p+1/4*p。第二方向间距h＝0.5p。同理可以得到第2个像素阵列与第3个像素阵列之间的物理间距、第3个像素阵列与第4个像素阵列之间的物理间距.

采用图5的像素阵列，按照箭头(参照图6)指示的顺序依次量化后，得到的图像如图6所示。参照图6，像素阵列1对应的输出图像为图像F1，像素阵列2对应的输出图像为图像F2，像素阵列3对应的输出图像为图像F3，像素阵列4对应的输出图像为图像F4。将图像F1作为基准图像，图像F2、图像F3及图像F4均为第一图像。图像F2相对于基准图像F1，在第一方向上具有0.5p的亚像素位移。图像F3相对于基准图像F1，在第二方向上具有0.5p的亚像素位移。图像F4相对于基准图像F1，在第一方向及第二方向上均具有0.5p的亚像素位移。

在一些实施例中，D＜N，此时，N个像素阵列中部分像素阵列用于输出亚像素位移图像。

在D＜N时，所述控制单元还适于产生第二时序的Q组电极信号，并输入至所述N个像素阵列的Q个像素阵列对应的输出电路中，使得由所述Q组电极信号控制读出的第一图像，相对于基准图像，仅在第一方向上具有所述预设亚像素位移。此时，所述多线阵图像传感器既可以用于输出第二方向上对齐的图像，也可以用于输出亚像素位移图像，能够满足多种需求。

为了使得Q组电极信号控制读出的第一图像，相对于基准图像，仅在第一方向上具有所述预设亚像素位移，可以设置所述Q个像素阵列中，第q-1个像素阵列与第q个像素阵列之间的第一方向间距为：K*p+1/N*p，第q-1个像素阵列对应的电极信号，与第q个像素阵列对应的电极信号之间的时间间隔为1/Q个行周期，其中Q≥q＞1。

例如，参照图7，N＝6，s＝0.5p。由于s＝0.5p，故，用于输出具有预设亚像素位移图像的阵列数量为1/s²＝4，最终输出如图8所示4副图像。

为了获得如图8所示4副图像，假设选择用于输出亚像素位移图像的像素阵列为像素阵列1、像素阵列2、像素阵列5及像素阵列6。

令像素阵列1与像素阵列2的第二方向间距为0，由于像素阵列1在物理位置上领先0.25个像素，但是量化晚0.25个行周期，导致像素阵列1对应的输出图像与像素阵列2对应的图像相比，第一方向上错位了0.5个像素+整数个像素，但在第二方向上是对齐的。

将图像F2作为基准图像，为了使得图像F5相对于图像F2，在第一方向及第二方向上均具有0.5p亚像素位移，则需要使得像素阵列2与像素阵列5的第二方向间距为0.5p。由于像素阵列5与像素阵列2的第一方向间隔为整数个像素+0.25个像素，即在纵向上错位整数个像素+0.25个像素，且量化晚了0.75个行周期，所以像素阵列5与像素阵列2的输出图像相比，第一方向上错位整数+0.5个像素，左右错位0.5个像素。

令像素阵列5与像素阵列6的第二方向间距为0，可以使得像素阵列5对应的输出图像F5与像素阵列6对应的输出图像F6在第二方向上对齐。像素阵列6比像素阵列2在第一方向上错位了整数个像素+0.5个像素，量化也晚了0.5个行周期，所以像素阵列6与像素阵列2的图像相比，第一方向上错开了整数个像素，左右错位0.5个像素。

关于第一方向间距，假设图7示出的6个像素阵列中，像素阵列1、像素阵列2、像素阵列3及像素阵列4，用于输出第二方向对齐的图像，则像素阵列1至像素阵列4之间，相邻像素阵列的第一方向间距为：K*p+1/N*p＝K*p+0.25*p。

当输出第二方向对齐的图像时，像素阵列1、像素阵列2、像素阵列3及像素阵列4的电极信号，依次延时1/4行周期，这样可以保证量化同一个物体在不同线阵的图像时，图像之间不会产生错位。量化时序图如图9所示。在图9中，分别示出了像素阵列1、像素阵列2、像素阵列3及像素阵列4的各个电极信号(包括：选择信号SEL、传输栅控制信号TCK及复位信号RST)随时间变化的曲线，此处不再赘述。

像素阵列1至像素阵列4对应的输出图像F1至F4，如图10所示。从图9可以看出，图像F1至F4在第一方向上依次错位整数倍像素，在第二方向上对齐。

关于像素阵列2、像素阵列5及像素阵列6之间的第一方向间距，从图8可以看出，由于图像F1相对于图像F2，在第一方向上亚像素位移为0.5p，若像素阵列2与像素阵列5的第一方向间距，像素阵列5与像素阵列6的第一方向间距，均为K*p+0.25*p，由此可以确定像素阵列4与像素阵列5的第一方向间距：K*p-0.25*p。

依据公式(1)，可以确定△t＝-1/4，即像素阵列2对应的电极信号组比像素阵列1对应的电极信号组，提前输入至1/4Tr输入至像素阵列2对应的输出电路，也就是说，像素阵列2对应的输出图像比像素阵列1对应的输出图像提前量化1/4Tr。

同理可以确定，像素阵列6对应的输出图像比像素阵列2对应的输出图像晚量化1/2Tr，像素阵列5对应的输出图像比像素阵列2对应的输出图像晚量化3/4Tr，这样，在一个行周期内，像素阵列1、像素阵列2、像素阵列5及像素阵列6输出图像的量化顺序依次为：像素阵列2→像素阵列1→像素阵列6→像素阵列5。

关于像素阵列(简称“线阵”)1、像素阵列2、像素阵列5及像素阵列6对应电极信号组的具体时序，可以参照图11。在图11中，分别示出了像素阵列1、像素阵列2、像素阵列5及像素阵列6的各个电极信号(包括：选择信号SEL、传输栅控制信号TCK及复位信号RST)随时间变化的曲线，此处不再赘述。

需要说明的是，输出第二方向上对齐图像或者亚像素位移图像的过程中，对于没有用到的像素阵列处于关闭状态，即各个电极信号均为低电平。

下面以同一场景的物体由像素阵列1运动至像素阵列2为例，针对电极信号组输出时序对输出图像的影响，进行详细描述：

参照图12及图13，假设像素阵列1及像素阵列2均包括1列N行的像素单元，

代表同一场景的物体，该物体从像素阵列1运动至像素阵列2。

如图12所示，若像素阵列2的电极信号组相对于像素阵列1的电极信号组延时1/4Tr，且像素阵列1与像素阵列2之间的第一方向间隔为K*p+1/4*p，此时，读出时间间隔与像素的物理位置完全匹配，像素阵列1与像素阵列2对应的输出图像完全对齐。

具体地，采用像素阵列1对物体进行曝光时，同一列的各个像素单元间隔一个行周期Tr依次对该物体曝光，最终对各个像素曝光结果进行累加后输出，作为像素阵列1的输出。同理，采用像素阵列2对物体进行曝光时，同一列的各个像素单元间隔一个行周期Tr依次对该物体曝光，最终对各个像素曝光结果进行累加后输出，作为像素阵列2的输出。像素阵列1与像素阵列2输出的图像均与像素单元大小相同，即二者完全对齐

如图13所示，若像素阵列2的电极信号组相对于像素阵列1的电极信号组延时-1/4Tr，此时，读出时间间隔与像素的物料位置不匹配，使得线阵1与线阵2对应的输出图像之间在第一方向上存在0.5p的亚像素位移。

具体地，采用像素阵列1对物体进行曝光时，同一列的各个像素单元间隔一个行周期Tr依次对该物体曝光，最终对各个像素曝光结果进行累加后输出，作为像素阵列1的输出。此时，像素阵列1对应的输出图像大小与像素单元大小相同。

而采用像素阵列2对同一物体进行曝光时，由于像素阵列2量化提前1/4Tr，使得同一列的各个像素单元每次曝光时，仅能对物体的一半进行曝光，此时，像素阵列2对应的输出图像大小与像素单元的一半相同，由此使得像素阵列2对应的输出图像大小相对于像素阵列1对应的输出图像，错位0.5p。

由此可以看出，通过调整像素阵列之间的物理间距及相应电极信号之间的时序，可以达到调整亚像素位移的目的。

在具体实施中，所述控制单元可以采用多种方式，确定所产生的多组电极信号时序及对应的输出电路。

在一实施例中，所述控制单元，适于接收控制指令，并基于所述控制指令，产生所述多组电极信号，所述控制指令包括：所述多组电极信号之间的时序指示信息，以及所述多组电极信号对应的输出电路指示信息。

通过输入多组电极信号之间的时序指示信息，以及多组电极信号对应的输出电路指示信息，使得控制单元可以直接获知多组电极信号之间的时序，以及多组电极信号所要输入的输出电路，由此使得控制单元可以直接按照用户的指示，产生满足要求的电极信号，进而获得满足要求的输出图像。其中，所述输出图像可以为亚像素位移图像，也可以为在第一方向上对齐的图像。

在另一实施例中，所述控制单元，适于接收控制指令，并基于所述控制指令，确定输入所产生的电极信号的时序及对应的输出电路；所述控制指令包括：所述亚像素位移的取值信息。

控制单元基于亚像素位移的取值信息，可以计算得到所产生的电极信号的时序及对应的输出电路，而无需用户指定，由此可以减少用户工作量。可以理解的是，基于亚像素位移的取值信息，可能仅得到的一种电极信号的输出时序及对应的输出电路，也可能得到多种电极信号的输出时序及对应的输出电路，此处不作限制，只要能够输出满足亚像素位移要求的图像即可。

本发明实施例还提供了一种图像处理方法，利用上述实施例中的多线阵图像传感器，获得具有预设亚像素位移的图像，再采用多帧超分辨率算法，对所述具有预设亚像素位移的图像进行处理。

可以理解的是，具有预设亚像素位移的图像，作为多帧超分辨率算法的原始图像，利用多帧超分辨率算法，对原始图像进行处理，可以获得更高分辨率的图像。比如，可以获得原始图像4倍分辨率的图像，或者获得原始图像9倍分辨率的图像等。

需要说明的是，在具体实施中，上述实施例中的多线阵图像传感器，并不限于多帧超分辨率算法这一种应用，对于任何需要亚像素位移图像的应用，均可以采用上述实施例中的多线阵图像传感器来得到满足要求的亚像素位移图像。

本实施例的多线阵图像传感器，多个像素阵列可以共用一组列并行ADC进行量化处理，即仅采用一组列并行ADC对多个线阵图像传感器进行量化处理。同时，输入电极信号的输出电路及第一时序，是根据所述亚像素位移及像素阵列之间物理间距所确定的，由此可以在物理间距固定的情况下，通过调整输入电极信号的输出电路及第一时序，达到调整亚像素位移的目的，更加灵活地利用多线阵图像传感器来获得关于同一场景、具有预设亚像素位移的多个图像。

优选地，本发明实施例中的多线阵图像传感器，利用新的时序及不同像素阵列，既可以产生的亚像素位移图像，为多帧超分辨率算法提供了高质量的原始数据，可以利用超分算法计算出相当于远高于原始分辨率的图像。同时，也可以利用时序，产生第二方向上没有错位的四幅图像，使得多线阵图像传感器的应用更加灵活。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (13)

1.一种多线阵图像传感器，其特征在于，包括：控制单元、一组列并行ADC、N个像素阵列和M个输出电路，N≥2，M＞1，每个所述像素阵列包括M列像素单元，所述M列像素单元和M个输出电路一一对应；

所述一组列并行ADC包括M个ADC，所述M个ADC和每个像素阵列的M个输出电路一一对应连接；

所述控制单元，适于产生第一时序的D组电极信号，将所述D组电极信号分别输入至对应的像素阵列和输出电路，使得由所述D组电极信号控制输出的第一图像，相对于基准图像，具有预设亚像素位移；所述基准图像，为所述D组电极信号控制输出的亚像素位移图像中任一图像；所述第一图像，为所述D组电极信号控制输出的亚像素位移图像中除所述基准图像外的其它图像；D表示N个像素阵列中用于输出亚像素位移图像的像素阵列的数量；

其中，输入所述电极信号的输出电路及所述第一时序，是根据所述预设亚像素位移及像素阵列之间物理间距所确定的。

2.如权利要求1所述的多线阵图像传感器，其特征在于，所述N个像素阵列中，第1个像素阵列至第N个像素阵列在同一平面内沿第一方向依次分布；第二方向位于所述N个像素阵列所在平面内且垂直于所述第一方向；所述像素阵列之间物理间距，包括：第一方向间距及第二方向间距。

3.如权利要求2所述的多线阵图像传感器，其特征在于，采用如下公式，得到第n1个像素阵列与第n2个像素阵列之间的第一方向间距d：

d＝(△t/T)*p+K*p+s；

其中，n1＜n2，第n1个像素阵列及第n2个像素阵均为N个像素阵列中用于输出亚像素位移图像的像素阵列，△t表示第n1个像素阵列对应的电极信号组与第n2个像素阵的对应的电极信号组之间的时间间隔；p表示一个像素单元的尺寸，K为大于或等于0的整数，Tr表示行周期，s表示所述预设亚像素位移，且

4.如权利要求3所述的多线阵图像传感器，其特征在于，D＝N。

5.如权利要求3所述的多线阵图像传感器，其特征在于，D＜N。

6.如权利要求5所述的多线阵图像传感器，其特征在于，所述控制单元还适于产生第二时序的Q组电极信号，并输入至所述N个像素阵列的Q个像素阵列对应的输出电路中，使得由所述Q组电极信号控制读出的第一图像，相对于基准图像，仅在第一方向上具有所述预设亚像素位移。

7.如权利要求6所述多线阵图像传感器，其特征在于，所述Q个像素阵列中，第q-1个像素阵列与第q个像素阵列之间的第一方向间距为：K*p+1/N*p，第q-1个像素阵列对应的电极信号，与第q个像素阵列对应的电极信号之间的时间间隔为1/Q个行周期，其中Q≥q＞1。

8.如权利要求2所述的多线阵图像传感器，其特征在于，当所述第一图像相对于所述基准图像在所述第二方向上具有所述预设亚像素位移时，对应所述第一图像的像素阵列，相对于对应所述基准图像的像素阵列，具有第二方向间距，且所述第二方向间距与所述预设亚像素位移相等。

9.如权利要求2所述的多线阵图像传感器，其特征在于，当所述第一图像相对于所述基准图像在所述第二方向的亚像素位移为零时，对应所述第一图像的像素阵列，相对于对应所述基准图像的像素阵列，具有第二方向间距，且所述第二方向间距的值也为零。

10.如权利要求1所述的多线阵图像传感器，其特征在于，每组所述电极信号包括：复位信号、选择信号和传输栅控制信号。

11.如权利要求1所述的多线阵图像传感器，其特征在于，所述控制单元，适于接收控制指令，并基于所述控制指令，产生多组电极信号，所述控制指令包括：所述多组电极信号之间的时序指示信息，以及所述多组电极信号对应的输出电路指示信息。

12.如权利要求1所述的多线阵图像传感器，其特征在于，所述控制单元，适于接收控制指令，并基于所述控制指令，确定输入所产生的电极信号的时序及对应的输出电路；所述控制指令包括：所述亚像素位移的取值信息。

13.一种图像处理方法，其特征在于，包括：

利用权利要求1至12任一项所述的多线阵图像传感器，获得具有预设亚像素位移的图像；

采用多帧超分辨率算法，对所述具有预设亚像素位移的图像进行处理。

Images