CN104967796B - 超分辨率智能图像传感器芯片 - Google Patents

Abstract

本发明公开了一种超分辨率智能图像传感器芯片，其包括一个单帧超分辨率数字图像处理模块，其通过双线性插值法将缓存在其中的低分辨率图像的图像数据小阵列N_a，b扩展为图像数据大阵列N_pa，pb，以获得超分辨率图像，扩展的具体方法为：对小阵列中的任一个数据N_i，j，根据其紧邻数据N_i，j+1、N_i+1，j和N_i+1，j+1，多次使用双线性插值法均匀插入另外pp‑1个数据，将N_i，j扩展成一个p×p阵列，并输出，依次扩展小阵列中的所有数据，并输出，得到大阵列；其中，a、b、i和j均为正整数，p为大于1的正整数。本发明的传感器具有较大的像素尺寸，并通过硬件实现双线性插值算法，因而兼具高灵敏度和超分辨率。

Description

超分辨率智能图像传感器芯片

技术领域

本发明是基于超分辨率智能算法的图像传感器芯片，主要适用于监控，医疗等智能硬件应用领域。

背景技术

图像传感器是将一种新型的将光学图像转换成电信号的电子成像器件，主要应用包括手机，照相机，摄像机，监控和生物医学等各个领域。目前，市场上主要有两种类型的传感器，电荷耦合器件(CCD)和互补金属氧化物半导体的(CMOS)有源像素传感器。由于CMOS图像传感器是可以通过生产电脑和计算机的大规模集成电路CMOS工艺来制造，具有成本低，体积小，高速，低功耗和易于集成的优点，因此迅速占领了电子成像器件的市场并得到了突飞猛进的发展。

目前图像传感器产品的主要发展方向是通过增加图像分辨率以提高图像的质量，通常工业界的解决方案是通过减少像素尺寸(1微米)不断增加传感器的像素数目(1500万)，但减少像素尺寸(即感光面积)就会影响到图像的质量。对于任何一种特定的生产工艺和像素结构，缩小像素尺寸将影响像素性能，包括限制感光动态范围，降低填充因子，减弱光敏感性，增大暗电流噪声，以及影响成像非均匀性等。为了克服由于减少图像传感器尺寸对成像性能的影响，工业界通过生产工艺的创新与改进，包括背部照明技术，微透镜集成，pin光电二极管，双栅极氧化物，图像读取电路设计优化等方法不断提高图像传感器性能，然而这些技术革新通常需要巨额(高达数十亿美元)研发投入，而且由于物理极限约束，像素工艺改良并不能无限制提高像素的性能。有些还可以通过控制图像传感器的运行(如延长像素曝光时间)来补偿感光性能的降低，但长曝光时间积累的暗电流会严重影响图像质量，而且成像的速度也将受影响。

另外一种成本低廉的可行性解决方案是通过图像处理软件优化图像质量，即维持像素的现有尺寸以保证良好的感光性能，同时通过多帧的超分辨率算法可以从系统的角度提高图像的分辨率。该算法的基本原理是利用叠加几帧图像的时间信息，克服空间像素大小限制，从而改善图像的空间信息(即增大分辨率)。但是目前常用的方式是在芯片外部用FPGA进行超分辨率算法的运算，由于受到芯片之间数据传输速度和数据量的限制，因此在智能高速图像传感器应用中受到极大的限制。

发明内容

本发明的一个目的是解决至少上述问题和/或缺陷，并提供至少后面将说明的优点。

本发明还有一个目的是提供一种超分辨率智能图像传感器芯片，其传感器具有较大的像素尺寸，而且通过硬件实现双线性插值算法，因而具有高速和高灵敏度，也具有超分辨率。

为了实现根据本发明的这些目的和其它优点，提供了一种超分辨率智能图像传感器芯片，其包括一个单帧超分辨率数字图像处理模块，所述单帧超分辨率数字图像处理模块通过双线性插值法将缓存在其中的低分辨率图像的图像数据小阵列N_a，b扩展为图像数据大阵列N_pa，pb，以获得超分辨率图像，扩展的具体方法为：

对所述低分辨率图像的图像数据小阵列中的任一个数据N_i，j，根据其紧邻数据N_i，j+1、N_i+1，j和N_i+1，j+1，多次使用双线性插值法均匀插入另外pp-1个数据，将N_i，j扩展成一个p×p阵列，并输出，依次扩展所述低分辨率图像的图像数据小阵列中的所有数据，并输出，得到所述图像数据大阵列N_pa，pb；

其中，a、b、i和j均为正整数，p为大于1的正整数。

优选的是，所述的超分辨率智能图像传感器芯片，对于N_a，b中只有一个紧邻数据的数据，扩展的具体方法为：首先，在该紧邻数据所在的方向进行插值，其次，其余的插入数据均重复该方向的数据，以扩展成一个p×p阵列，并输出。

优选的是，所述的超分辨率智能图像传感器芯片，对于N_a，b中没有紧邻数据的数据，扩展的具体方法为：所有的插入数据均重复该数据，以扩展成一个p×p阵列，并输出。

优选的是，所述的超分辨率智能图像传感器芯片，还包括：

传感器阵列，其感光后将光信号转换为电信号，获得低分辨率图像的电信号；

多个列读出电路，其分别与所述传感器阵列的一列对应，每个列读出电路分别用于读取每列传感器产生的电信号；

多个放大器，其分别与所述多个列读出电路的一个对应，用于将相应列的读出电路读取的电信号进行放大处理；

多个模数转换模块，其分别与所述多个放大器的一个对应，用于将经相应放大器放大的电信号转换为数字信号，获得低分辨率图像的图像数据小阵列。

优选的是，所述的超分辨率智能图像传感器芯片，还包括：

多个列存储器，其分别与所述多个模数转换模块的一个对应，用于存储经模数转换模块转换得到的相应列的数字信号；

多个列译码器，其分别与所述多个列存储器的一个对应，用于读出所述列存储器存储的相应列的数字信号，并输出至所述单帧超分辨率数字图像处理模块。

优选的是，所述的超分辨率智能图像传感器芯片，所述传感器为CMOS图像传感器。

优选的是，所述的超分辨率智能图像传感器芯片，放大器的增益可以在一倍、二倍和四倍间调整。

优选的是，所述的超分辨率智能图像传感器芯片，所述模数转换模块包括：

10位单斜模数转换器，其进行模数转换；

双向计数器，其与所述10位单斜模数转换器相连，所述双向计数器在数字域进行了相关双采样。

优选的是，所述的超分辨率智能图像传感器芯片，所述传感器阵列中，每个传感器的像素尺寸均为10μm，所述传感器阵列为128×128阵列。

优选的是，所述的超分辨率智能图像传感器芯片，p的值为4。

本发明至少包括以下有益效果：

本发明新颖的列并行单帧超分辨率CMOS图像传感器的设计，在芯片内部实现了快速超分辨率的算法，优势是既实现高速，高灵敏度的图像传感器设计，同时又保证较好的空间分辨率。一方面传感器的像素物理尺寸比较大，可以达到高灵敏度感光性能和高速读取，而芯片内部用硬件实现的单帧超分辨率算法可以进一步改善图像的空间分辨率，而且只需要较小的存储器和很少的计算资源，因而本发明兼具高速和超分辨率两大优点，完全满足监控、医疗等领域的应用。

本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。

附图说明

图1为本发明的一个实施例中对低分辨率图像的图像数据小阵列N_a，b进行双线性插值的示意图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

一种超分辨率智能图像传感器芯片，其包括一个单帧超分辨率数字图像处理模块，所述单帧超分辨率数字图像处理模块通过双线性插值法将缓存在其中的低分辨率图像的图像数据小阵列N_a，b扩展为图像数据大阵列N_pa，pb，以获得超分辨率图像，扩展的具体方法为：

对所述低分辨率图像的图像数据小阵列中的任一个数据N_i，j，根据其紧邻数据N_i，j+1、N_i+1，j和N_i+1，j+1，多次使用双线性插值法均匀插入另外pp-1个数据，将N_i，j扩展成一个p×p阵列，并输出，依次扩展所述低分辨率图像的图像数据小阵列中的所有数据，并输出，得到所述图像数据大阵列N_pa，pb；

其中，a、b、i和j均为正整数，p为大于1的正整数。

在上述技术方案中，用单帧超分辨率数字图像处理模块通过硬件实现的方法将低分辨率图像的图像数据小阵列N_a，b进行双线性插值，获得图像数据大阵列N_pa，pb，即将小阵列扩大p倍，从而得到超分辨率图像。在这里，本领域技术人员很容易获得低分辨率图像的图像数据，小阵列即低分辨率图像上所有的像素点处的数据组成的一个小阵列。对于小阵列中的任意一个点N_i，j，其紧邻数据为N_i，j+1、N_i+1，j和N_i+1，j+1，即N_i，j所在行的下一列数据、N_i，j所在列的下一行数据和N_i，j下一行的下一列数据。由于pp-1个数据是均匀插入N_i，j周围的，因而在大阵列中所有相邻数据的间距是相等的，在这里以行所在的方向为x方向，列所在的方向为y方向，然后设定一个原点的话，就很容易知道pp-1个数据的坐标，然后根据公式：

f(x，y)＝N_i，j+(N_i+1，j-N_i，j)x+(N_i，j+1-N_i，j)y+(N_i+1，j+1+N_i，j-N_i+1，j-N_i，j+1)xy

获得所有pp-1个数据的值f(x，y)。这pp-1个数据与N_i，j一起组成一个p×p阵列，并输出，用这种方法将小阵列上的所有数据均扩展成一个p×p阵列，所有的p×p阵列即组成大阵列N_pa，pb。由于N_pa，pb单位面积的数据点更多，这就提高了图像的分辨率，获得了超分辨率图像。整个处理模块仅仅需要一个处理核心和两个数据缓存来存储处理前后的像素数据，因此它可以很方便的在ASIC芯片上实现。很容易理解的是，可以根据实际需要来选定a、b和p的值。比较常见的应用是适当减小a和b的值，而增大p的值，这就使单位面积上的传感器较少，传感器的像素尺寸大，可以达到高灵敏度感光性能和高速读取，然后通过双线性插值法来实现图像的超分辨率，从而达到高速和超分辨率兼得的效果。

在另一种实例中，所述的超分辨率智能图像传感器芯片，对于N_a，b中只有一个紧邻数据的数据，扩展的具体方法为：首先，在该紧邻数据所在的方向进行插值，其次，其余的插入数据均重复该方向的数据，以扩展成一个p×p阵列，并输出。N_a，b中只有一个紧邻数据的数据，即N_a，b中最后一列和最后一行(除去最后一列的最后一行数据)的数据，对于这种情况，首先在一个方向进行插值，而其余数据均重复该方向的数据。例如，对于N_1，b，第一行最后一列的数据，只有一个紧邻数据N_2，b，这时，只需要在N_1，b和N_2，b之间插入p-1个数据，组成该p×p阵列的第一列的数据，然后将该列数据重复p-1次，即组成p×p阵列。

在另一种实例中，所述的超分辨率智能图像传感器芯片，对于N_a，b中没有紧邻数据的数据，扩展的具体方法为：所有的插入数据均重复该数据，以扩展成一个p×p阵列，并输出。在这里，针对的是数据N_a，b，小阵列的最后一列的最后一行数据，将该数据重复pp-1次即可组成p×p阵列。

在另一种实例中，所述的超分辨率智能图像传感器芯片，还包括：

传感器阵列，其感光后将光信号转换为电信号，获得低分辨率图像的电信号；

多个列读出电路，其分别与所述传感器阵列的一列对应，每个列读出电路分别用于读取每列传感器产生的电信号；

多个放大器，其分别与所述多个列读出电路的一个对应，用于将相应列的读出电路读取的电信号进行放大处理；

多个模数转换模块，其分别与所述多个放大器的一个对应，用于将经相应放大器放大的电信号转换为数字信号，获得低分辨率图像的图像数据小阵列。

在上述技术方案中，提供了一种获得低分辨率图像的图像数据小阵列的一种方式，即由传感器阵列感光，并将光信号转换成电信号，然后经列读出电路读取，随后经放大器进行放大，最后经模数转换模块转换为数字信号，得到低分辨率图像的图像数据小阵列。在这里，为传感器阵列中的每一列均设计一个读出电路、一个放大器和一个模数转换模块，这就提高了读取、放大和模数转换的速度，进一步加快了本发明对图像的处理速度。

在另一种实例中，所述的超分辨率智能图像传感器芯片，还包括：

多个列存储器，其分别与所述多个模数转换模块的一个对应，用于存储经模数转换模块转换得到的相应列的数字信号；

多个列译码器，其分别与所述多个列存储器的一个对应，用于读出所述列存储器存储的相应列的数字信号，并输出至所述单帧超分辨率数字图像处理模块。在这里，提供了一种小阵列的存储和读取方式，每个列均设计一个列存储器和一个列译码器，与上一个技术方案一样加快了本发明对图像的处理速度。

在另一种实例中，所述的超分辨率智能图像传感器芯片，所述传感器为CMOS图像传感器。在这里，提供了一种优选的传感器，CMOS图像传感器有成本低，体积小，高速，低功耗和易于集成的优点。

在另一种实例中，所述的超分辨率智能图像传感器芯片，放大器的增益可以在一倍、二倍和四倍间调整。在这里，可以不同光照情况，提供了一种放大器的放大倍数，满足不同情况下的需要。这样的设计会带来三项优势：i)可以放大信号，提高像素敏感度；ii)由于放大级靠近像素，可以减少读出噪声；iii)可以灵活地调整下一级数模转换器的信号电压水平。

在另一种实例中，所述的超分辨率智能图像传感器芯片，所述模数转换模块包括：

10位单斜模数转换器，其进行模数转换；

双向计数器，其与所述10位单斜模数转换器相连，所述双向计数器在数字域进行了相关双采样。

在上述技术方案中，模数转换模块不仅实现了模数转换，还同时在数字域利用双向计数器直接进行了相关双采样，和传统电路中需要添加外置加法器的方法相比，该电路能节约芯片面积并降低产品成本。

在另一种实例中，所述的超分辨率智能图像传感器芯片，所述传感器阵列中，每个传感器的像素尺寸均为10μm，所述传感器阵列为128×128阵列。这里提供了传感器和传感器阵列的优选方案，当传感器的像素尺寸为10μm时，具有优质的光灵敏度，同时大像素尺寸也可以缩短曝光时间，从而提高成像速率。而128×128阵列非常容易实现，降低了本发明的成本。

在另一种实例中，所述的超分辨率智能图像传感器芯片，p的值为4。这里，提供了p值的一个优选值，如图1所示，在N_1，1附件插入P1、P2、P3、P4……P15这15个值，组成一个4×4阵列，用这种方法就可以将原始的128×128阵列10μm分辨率的图像数据经过处理生成512×512阵列2.5μm分辨率的图像，帧速率能达到1750fps。

请注意，这里实现超分辨率图像处理是基于一行原始图像信息的，如果采用多行数据来实现超分辨率处理，可以进一步提高y方向上的空间分辨率。另外，单帧多行的超分辨率图像处理不仅仅局限在列并行读出的图像传感器构架，它也可以应用在其他的传感器起构架中，例如全局读出的结构。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用。它完全可以被适用于各种适合本发明的领域。对于熟悉本领域的人员而言，可容易地实现另外的修改。因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (8)

1.一种超分辨率智能图像传感器芯片，其包括一个单帧超分辨率数字图像处理模块，其特征在于，所述单帧超分辨率数字图像处理模块通过双线性插值法将缓存在其中的低分辨率图像的图像数据小阵列N_a,b扩展为图像数据大阵列N_pa,pb，以获得超分辨率图像，扩展的具体方法为：

对所述低分辨率图像的图像数据小阵列中的任一个数据N_i,j，根据其紧邻数据N_i,j+1、N_i+1,j和N_i+1,j+1，多次使用双线性插值法均匀插入另外pp-1个数据，将N_i,j扩展成一个p×p阵列，并输出，依次扩展所述低分辨率图像的图像数据小阵列中的所有数据，并输出，得到所述图像数据大阵列N_pa,pb；

插入数据的计算公式为：

f(x,y)＝N_i,j+(N_i+1,j-N_i,j)x+(N_i,j+1-N_i,j)y+(N_i+1,j+1+N_i,j-N_i+1,j-N_i,j+1)xy；

其中，a、b、i和j均为正整数，p为大于1的正整数；

对于N_a,b中只有一个紧邻数据的数据，扩展的具体方法为：首先，在该紧邻数据所在的方向进行插值，其次，其余的插入数据均重复该方向的数据，以扩展成一个p×p阵列，并输出；

对于N_a,b中没有紧邻数据的数据，扩展的具体方法为：所有的插入数据均重复该数据，以扩展成一个p×p阵列，并输出。

2.如权利要求1所述的超分辨率智能图像传感器芯片，其特征在于，还包括：

传感器阵列，其感光后将光信号转换为电信号，获得低分辨率图像的电信号；

多个列读出电路，其分别与所述传感器阵列的一列对应，每个列读出电路分别用于读取每列传感器产生的电信号；

多个放大器，其分别与所述多个列读出电路的一个对应，用于将相应列的读出电路读取的电信号进行放大处理；

多个模数转换模块，其分别与所述多个放大器的一个对应，用于将经相应放大器放大的电信号转换为数字信号，获得低分辨率图像的图像数据小阵列。

3.如权利要求2所述的超分辨率智能图像传感器芯片，其特征在于，还包括：

多个列存储器，其分别与所述多个模数转换模块的一个对应，用于存储经模数转换模块转换得到的相应列的数字信号；

多个列译码器，其分别与所述多个列存储器的一个对应，用于读出所述列存储器存储的相应列的数字信号，并输出至所述单帧超分辨率数字图像处理模块。

4.如权利要求3所述的超分辨率智能图像传感器芯片，其特征在于，所述传感器为CMOS图像传感器。

5.如权利要求4所述的超分辨率智能图像传感器芯片，其特征在于，放大器的增益可以在一倍、二倍和四倍间调整。

6.如权利要求5所述的超分辨率智能图像传感器芯片，其特征在于，所述模数转换模块包括：

10位单斜模数转换器，其进行模数转换；

双向计数器，其与所述10位单斜模数转换器相连，所述双向计数器在数字域进行了相关双采样。

7.如权利要求1或6所述的超分辨率智能图像传感器芯片，其特征在于，所述传感器阵列中，每个传感器的像素尺寸均为10μm，所述传感器阵列为128×128阵列。

8.如权利要求7所述的超分辨率智能图像传感器芯片，其特征在于，p的值为4。