CN103533260A - Cmos图像传感器像素值的无损压缩方法 - Google Patents

Abstract

本发明公开了一种CMOS图像传感器像素值的无损压缩、解压方法和CMOS图像传感器。在无损压缩方法中，通过分别获取所述参考像素和所述邻近像素的像素模拟值，并据此获取所述参考像素和所述邻近像素之间的像素模拟差值；并对所述参考像素的像素模拟值，以及所述邻近像素的像素模拟值进行模数转化，得到参考像素和邻近像素的像素数字值，并求取两者之间的差值，直接输出所述参考像素的数字值，而输出所述参考像素和邻近像素的像素数字差值。本发明中，对于以参考像素定义的邻近像素来说，不是直接保存像素值，而是保存其与参考像素的像素值，从而提高了像素的输出效率。

Description

CMOS图像传感器像素值的无损压缩方法

技术领域

本发明属于集成电路领域，具体地说，涉及一种CMOS图像传感器像素值的无损压缩、解压方法和CMOS图像传感器。

背景技术

图像传感器在民用和商业范畴内得到了广泛的应用。目前，图像传感器由CMOS图像传感器（CMOS IMAGE SENSOR，以下简称CIS）和电荷耦合图像传感器（Charge-coupled Device，以下简称CCD）。CCD与CIS相比来说，功耗较高、集成难度较大，而后者功耗低、易集成且分辨率较高。虽然说，在图像质量方面CCD可能会优于CIS。但是，随着CIS技术的不断提高，一部分CIS的图像质量已经接近于同规格的CCD，为CIS技术的普及提供了技术保障。

现有技术下中，CIS的像素量化原理大致可以概述为：CIS输出像素阵列的像素值作为其RAW格式数据；RAW格式数据使用10bit、12bit或14bit，甚至更高bit作为数据单位，其输出顺序为按行或列顺序输出。以下结合图1和图2按行输出，对现有技术的像素值量化方案做一简单说明。

图1为现有技术中CIS在串行输出时的像素值量化原理图。如图1所示，现有技术中的CIS选用Bayer模式为RGGB的Color Filter，每一列像素对应一个模/数转换器A/D converter101。CIS的像素阵列配有一个列选择器102对所要输出的像素列进行选择。CIS按行（行编号i=0,1,2,3…）进行串行输出；对于每一行数据，列选择器依次选择列号（列编号j=0,1,2,3…），选中的列中，每一个像素值的模拟信号依次通过列级A/D converter转换为12bit的像素值的数字信号，然后输出。

图2为现有技术中CIS在双路并行输出时的像素值量化原理图。如图2所示，与上述图1在相同的是，CIS使用Bayer模式为RGGB的Color Filter，每一列像素对应一个模/数转换器A/D converter201。CIS的像素阵列配有一个列选择器202，以对所要输出的像素列进行选择。与上述图1不同的是，CIS按行（行编号i=0,1,2,3…）进行并行输出，且分为左路L和右路R。对于左路L，列选择器201依次选择偶数列的像素（列编号j=0,2,4,6…），对于右路R，列选择器201则依次选择奇数列的像素（列编号j=1,3,5,7…）。左右两路各列中的每一个像素的模拟值依次通过列级模/数转换器A/D converter201转换为12bit的数字信号，然后输出。

但是，随着像素阵列的像素数的增加，而连续拍照和视频录像功能在CIS应用中逐渐受到重视时，对图像传感器芯片的输出速度（bits/second）提出了更高的要求。因此，如果继续以每秒帧（frame per second，简称为fps）为检验标准的话，则一方面可以采用多路并行输出可以提高芯片的输出速度；另一方面，对CIS输出的数据量必须进行压缩。

因此，亟待一种提高CIS像素值量化的技术方案，以更好的提高CIS的输出效率。

发明内容

本发明所要解决的技术问题是提供一种CMOS图像传感器像素值的无损压缩、解压方法和CMOS图像传感器，用以部分或全部克服、部分或全部解决现有技术存在的上述技术问题。

为了部分或全部克服、部分或全部解决上述技术问题，本发明提供了一种CMOS图像传感器像素值的无损压缩方法，其包括：

根据CIS像素整列中选定的参考像素，定义邻近像素；

分别获取所述参考像素和所述邻近像素的像素模拟值，并据此获取所述参考像素和所述邻近像素之间的像素模拟差值；

选通所述参考像素、邻近像素，并对所述参考像素的像素模拟值，以及所述邻近像素的像素模拟值进行模数转化，得到参考像素和邻近像素的像素数字值；

获取所述参考像素和邻近像素的像素数字差值，并输出所述参考像素的数字值，以及所述参考像素和邻近像素的像素数字差值。

优选地，在本发明的一实施例中，所述CIS像素阵列的像素数字值按左、右两路进行输出。

优选地，在本发明的一实施例中，所述根据CIS像素整列中选定的参考像素，定义邻近像素包括：

将对应左路输出的像素列或行中的像素作为参考像素，对应地，将对应右路输出的像素列或行中的像素作为邻近像素。

优选地，在本发明的一实施例中，所述根据CIS像素整列中选定的参考像素，定义邻近像素包括：

从对应左路输出的像素中选择部分像素作为左路参考像素，从对应左路输出的像素中剩余部分像素作为左路邻近像素；

从对应右路输出的像素中选择部分像素作为右路参考像素，从对应右路输出的像素中剩余部分像素作为右路邻近像素。

优选地，在本发明的一实施例中，通过减法器，求差所述参考像素和邻近像素的像素数字值，获取所述参考像素和邻近像素的像素数字差值。

为了部分或全部克服、部分或全部解决上述技术问题，本发明还提供了一种CMOS图像传感器像素值的无损解压方法，其包括：

根据CIS像素整列中选定的参考像素，定义邻近像素；

获取CIS像素整列中参考像素的像素数字值，以及CIS像素整列中邻近像素和所述参考像素在像素之间的像素数字差值；

根据参考像素的像素数字值，以及所述邻近像素与所述参考像素之间的像素数字差值，获得所述邻近像素的像素数字值。

优选地，在本发明的一实施例中，通过加法器，求和参考像素的像素数字值，以及所述邻近像素与所述参考像素之间的像素数字差值，获得所述邻近像素的像素数字值。

为了部分或全部克服、部分或全部解决上述技术问题，本发明还提供了一种CMOS图像传感器，其包括：

像素阵列，包括参考像素和邻近像素；

AD转换单元，用于对参考像素和邻近像素的像素模拟值进行模数转换得到参考像素和邻近像素的像素数字值；

选择器，用于选通参考像素、邻近像素以进行模数转换，并输出参考像素、邻近像素的像素数字值。

与现有的方案相比，本发明中，对于像素阵列中的参考像素，保留其像素值；而对于以参考像素定义的邻近像素来说，不是直接保存像素值，而是保存其与参考像素的像素值，从而可以实现了以较少的bits数间接的输出了整个像素阵列的像素值，实现了像素值的无损压缩和量化，提高了像素的输出效率。

附图说明

图1为现有技术中CIS在串行输出时的像素值量化原理图；

图2为现有技术中CIS在双路并行输出时的像素值量化原理图；

图3为本发明实施例一中CMOS图像传感器像素值的无损压缩方法的流程图；

图4为本发明实施例二中参考像素选定和邻近像素定义的流程图；

图5为本发明实施例三中参考像素选定和邻近像素定义的流程图；

图6为本发明实施例四中CMOS图像传感器像素值的无损解压方法；

图7为本发明实施例五中CMOS图像传感器的结构示意图；

图8为本发明实施例六中CMOS图像传感器的结构示意图；

图9为本发明实施例七中CMOS图像传感器的结构示意图。

具体实施方式

以下将配合图式及实施例来详细说明本发明的实施方式，藉此对本发明如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。

本发明的下述实施例中，其技术原理大致是：通过分别获取所述参考像素和所述邻近像素的像素模拟值，并据此获取所述参考像素和所述邻近像素之间的像素模拟差值；并对所述参考像素的像素模拟值，以及所述邻近像素的像素模拟值进行模数转化，得到参考像素和邻近像素的像素数字值，并求取两者之间的差值，直接输出所述参考像素的数字值，而输出所述参考像素和邻近像素的像素数字差值。

由此可见，相对于现有技术中，要直接保存像素阵列中所有像素的像素值，本发明下述实施例中，对于像素阵列中的参考像素，保留其像素值；而对于以参考像素定义的邻近像素来说，不是直接保存像素值，而是保存其与参考像素的像素值，从而可以实现了以较少的bits数间接的输出了整个像素阵列的像素值，实现了像素值的无损压缩和量化。

图3为本发明实施例一中CMOS图像传感器像素值的无损压缩方法的流程图，其可以包括：

步骤301、根据CIS像素整列中选定的参考像素，定义邻近像素；

本实施例中，以两路串行输出为例进行说明，及左L、右R两路输出。但是，需要说明的是，根据本发明下述实施例的启发，本领域普通技术人员无需创造性劳动也可以将两路串行输出扩展到其他输出方式上，详细不再赘述。

本实施例中，可以按照列的方向进行参考像素的选定，形成参考像素列，以及参考选定参考像素列定义邻近像素列。在另外一实施例中，也可以按照行的方向进行参考方向的选定，不同的是，形成的参考像素行，以及邻近像素行。

步骤302、分别获取所述参考像素和所述邻近像素的像素模拟值，并据此获取所述参考像素和所述邻近像素之间的像素模拟差值；

如前所述，如果按照列的方向选择了参数像素列、邻近像素列，由于每一列像素均配置有一模数转换器AD converter，以对像素模拟值进行数字化得到像素数字值。

本实施例中，可以通过减法器，求差所述参考像素和邻近像素的像素数字值，获取所述参考像素和邻近像素的像素数字差值。

步骤303、选通所述参考像素、邻近像素，并对所述参考像素的像素模拟值，以及所述邻近像素的像素模拟值进行模数转化，得到参考像素和邻近像素的像素数字值；

本实施例中，通过列选择器可以选通某列参数像素、某列邻近像素的像素模拟值，以进行模数转换，分别得到参数像素列的像素数字值和邻近像素列的像素数字值。

步骤304、获取所述参考像素和邻近像素的像素数字差值，并输出所述参考像素的数字值，以及所述参考像素和邻近像素的像素数字差值。

为了提高像素的输出率，直接输出参考像素的像素数字值，而间接输出邻近像素与参考像素在像素数字值方面的像素数字差值，而像素数字差值相对于像素数字值来说，可占用较少的bits数。因此，相对于现有技术来说，提高了像素的输出效率。

具体的，本实施例中，如果按照两路并行输出的方式的话，及像素数字值按照左右两路进行输出，则可以将对应左路输出的像素列的像素作为参考像素，对应地，将对应右路输出的像素列中的像素作为邻近像素。

需要说明的是，如果是按照行进行参考像素的选定和邻近像素定义的话，则可以将对应左路输出的像素行的像素作为参考像素，对应地，将对应右路输出的像素行中的像素作为邻近像素。即，对于左路L，列选择器依次选择偶数列的像素（列编号j=0,2,4,6…）为参考像素列，而对于右路R，列选择器依次选择奇数列的像素（列编号j=1,3,5,7…）为邻近像素列。

本实施例中，经过模数转换后，参考像素列的像素数字值可以为12bit的数字信号，作为左路输出，直接进入SRAM进行缓存。而像素差数字值可以为6bit的数字信号，作为右路输出进入SRAM进行缓存。

假设现有技术中，输出灰度图像的CIS输出的数据量是O=N*（12+12）bit，那么在相同像素数目时，本发明实施例一中的CIS输出的数据量是Oa=N*（12+6）bit，压缩比Oa/O为3/4。其中N分别表示左、右两路输出中包括的像素列数。

图4为本发明实施例二中参考像素选定和邻近像素定义的流程图，其可以包括：

步骤401、对于偶数行，以所在列的数值差为4，从对应左路输出的像素中选择部分像素作为左路参考像素，从对应左路输出的像素中剩余部分像素作为左路邻近像素；

步骤402、对于奇数行，以所在列的数值差为4，从对应右路输出的像素中选择部分像素作为右路参考像素，从对应右路输出的像素中剩余部分像素作为右路邻近像素。

上述实施例一不同的是，本实施例中，对应左右两路输出的像素列中，在其内部，分别进行参考像素列的选定、邻近像素列的定义。具体的，本实施例中，对应左路L、右路R的像素列中，分别定义了一组参考像素列和一组邻近像素列。

以左路L的像素数字值输出为例，左路L又分为LL和LR，LL作为参考列，而LR作为LL的邻近列。对于LL，列选择器选择列编号j=0,4,8…,对于LR，列选择器选择列编号j=2,6,10…。对于右路R来说，分为RL和RR，对于RL，列选择器选择列编号j=1,5,9…,对于LR，列选择器选择列编号j=3,7,11…。

以左路L为例，各参考像素列中的每一个像素的模拟值依次通过列级A/Dconverter转换为12bit的数字信号,参考像素列LL输出到SRAM进行缓存，作为LL的输出。邻近像素列LR的像素数字值输出到减法器的一个输入端。减法器的另外一个输入端接受SRAM输出的参考像素列对应的像素数字值，从而获得参考像素列和邻近像素列之间的像素数字差值，该像素数字差值为6bit，最终作为LR的输出，而SRAM输出的12bit数字值也作为LL的最终输出。

对于右路R来说，原理类似于左路L，在此不再赘述。

假设现有技术中，输出灰度图像的CIS输出的数据量是O=N*（12+12）bit，那么在相同像素数目时，本发明实施例二中的CIS输出数据量的压缩比为3/4，由于其使用并行处理，其输出效率（即fps）比串行输出的传统CIS提高了(2*4/3-1)=1.667倍。

需要说明的是，图4所示实施例中的步骤401和402并没有严格的时序关系，步骤401可以在步骤402之前，步骤401也可以在步骤402之后。

图5为本发明实施例三中参考像素选定和邻近像素定义的流程图，其可以包括：

步骤501、对于偶数行，以所在列的数值差为8，从对应左路输出的像素中选择部分像素作为左路参考像素，从对应左路输出的像素中剩余部分像素作为左路邻近像素；

步骤502、对于奇数行，以所在列的数值差为8，从对应右路输出的像素中选择部分像素作为右路参考像素，从对应右路输出的像素中剩余部分像素作为右路邻近像素。

对于左路L来说，La（列编号j=0,8,16…）作为参考列，Lb(列编号j=2,10,18…)、Lc(列编号j=4,12,20…)和Ld(列编号j=6,14,22…)分别作为邻近列。对于右路R来说，Ra（列编号j=1,9,17…）作为参考列，Lb(列编号j=3,11,19…)、Lc(列编号j=5,13,21…)和Ld(列编号j=7,15,23…)分别作为邻近列。

以左路L为例，参考像素列La（列编号j=0,8,16…）的像素数字值12bits直接输出到SRAM进行缓存，而邻近列Lb(列编号j=2,10,18…)、Lc(列编号j=4,12,20…)和Ld(列编号j=6,14,22…)的像素数字值分别与参考像素列La的像素数字值相减，分别获得三个像素数字差值，每个像素数字差值为6bits，分别作为邻近列Lb(列编号j=2,10,18…)、Lc(列编号j=4,12,20…)和Ld(列编号j=6,14,22…)的输出。

需要说明的时，在获得Lc(列编号j=4,12,20…)和Ld(列编号j=6,14,22…)与参考像素列La（列编号j=0,8,16…）之间的像素数字差值时，有可能出现动态范围内溢出，因此取Lc-Lb和Ld-Lc作为分别作为邻近像素列Lc(列编号j=4,12,20…)和邻近像素列Ld(列编号j=6,14,22…)的输出，即相邻两列像素数字值的差值。而为了只对相邻值取差值，在求取差值输出后的必须用邻近像素Lb和Lc对SRAM进行刷新。

假设现有技术中，输出灰度图像的CIS输出的数据量是O=N*（12+12）bit，那么在相同像素数目时，本发明实施例三中的CIS输出的数据量压缩比为5/8,由于其并行输出，其fps比串行输出的传统CIS来说，提高了（2*8/5-1）=11/5=2.2倍。

上述实例中，除了以4、8为单位进行邻近像素列的定义，还可以以16为单位进行邻近像素列的定义，邻近像素列越多，输出效率会随着邻近像素列的增加，而提高。

图6为本发明实施例四中CMOS图像传感器像素值的无损解压方法，其可以包括：

步骤601、根据CIS像素整列中选定的参考像素，定义邻近像素；

步骤602、获取CIS像素整列中参考像素的像素数字值，以及CIS像素整列中邻近像素和所述参考像素在像素之间的像素数字差值；

步骤603、根据参考像素的像素数字值，以及所述邻近像素与所述参考像素之间的像素数字差值，获得所述邻近像素的像素数字值。

本实施例中，可以通过加法器，求和参考像素的像素数字值，以及所述邻近像素与所述参考像素之间的像素数字差值，获得所述邻近像素的像素数字值。

图7为本发明实施例五中CMOS图像传感器的结构示意图，其包括：

像素阵列701，包括参考像素和邻近像素；

AD转换单元702，用于对参考像素和邻近像素的像素模拟值进行模数转换得到参考像素和邻近像素的像素数字值；

选择器703，用于选通参考像素、邻近像素以进行模数转换，并输出参考像素、邻近像素的像素数字值。

本实施例中，可以对应上述图3所示的方法实施例，对于左路L，作为选择器703的列选择器依次选择偶数列的像素（列编号j=0,2,4,6…）为参考像素列，而对于右路R，作为选择器703的列选择器依次选择奇数列的像素（列编号j=1,3,5,7…）为邻近像素列。

图7所示实施例中的图像传感器不使用Color Filter，像素阵列仅配置Micro-lens，因此芯片输出的为灰度图像的RAW格式数据。

图8为本发明实施例六中CMOS图像传感器的结构示意图，其包括：像素阵列701、AD转换单元702、选择器703。

本实施例中，可以对应上述图4所示的方法实施例，本实施例中，对应左右两路输出的像素列中，在其内部，分别进行参考像素列的选定、邻近像素列的定义。具体的，本实施例中，对应左路L、右路R的像素列中，分别定义了一组参考像素列和一组邻近像素列。

以左路L的像素数字值输出为例，左路L又分为LL和LR，LL作为参考列，而LR作为LL的邻近列。对于LL，作为选择器703的列选择器选择列编号j=0,4,8…,对于LR，作为选择器703的列选择器选择列编号j=2,6,10…。对于右路R来说，分为RL和RR，对于RL，列选择器选择列编号j=1,5,9…,对于LR，列选择器选择列编号j=3,7,11…。

图9为本发明实施例七中CMOS图像传感器的结构示意图，其包括：像素阵列701、AD转换单元702、选择器703。

本实施例中，可以对应上述图5所示的方法实施例，对于左路L来说，La（列编号j=0,8,16…）作为参考列，Lb(列编号j=2,10,18…)、Lc(列编号j=4,12,20…)和Ld(列编号j=6,14,22…)分别作为邻近列。对于右路R来说，Ra（列编号j=1,9,17…）作为参考列，Lb(列编号j=3,11,19…)、Lc(列编号j=5,13,21…)和Ld(列编号j=7,15,23…)分别作为邻近列。

以左路L为例，参考像素列La（列编号j=0,8,16…）的像素数字值12bits直接输出到SRAM进行缓存，而邻近列Lb(列编号j=2,10,18…)、Lc(列编号j=4,12,20…)和Ld(列编号j=6,14,22…)的像素数字值分别与参考像素列La的像素数字值相减，分别获得三个像素数字差值，每个像素数字差值为6bits，分别作为邻近列Lb(列编号j=2,10,18…)、Lc(列编号j=4,12,20…)和Ld(列编号j=6,14,22…)的输出。

上述图7-图9中，为获得像素数字差值，可具体通过减法器704来实现，减法器704的一输输入端与SRAM705连接，以接收参考像素列的参考像素值。减法器704另外一端接收邻近像素列的像素数字值。

上述图8和图9中的像素阵列采用Bayer模式中的RGGB的Color Filter，像素阵列配置Micro-lens，输出的为彩色图像的RAW格式数据。

上述说明示出并描述了本发明的若干优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (8)

1.一种CMOS图像传感器像素值的无损压缩方法，其特征在于：

根据CIS像素整列中选定的参考像素，定义邻近像素；

分别获取所述参考像素和所述邻近像素的像素模拟值，并据此获取所述参考像素和所述邻近像素之间的像素模拟差值；

选通所述参考像素、邻近像素，并对所述参考像素的像素模拟值，以及所述邻近像素的像素模拟值进行模数转化，得到参考像素和邻近像素的像素数字值；

获取所述参考像素和邻近像素的像素数字差值，并输出所述参考像素的数字值，以及所述参考像素和邻近像素的像素数字差值。

2.根据权利要求1所述的方法，其特征在于，所述CIS像素阵列的像素数字值按左、右两路进行输出。

3.根据权利要求2所述的方法，其特征在于，所述根据CIS像素整列中选定的参考像素，定义邻近像素包括：

将对应左路输出的像素列或行中的像素作为参考像素，对应地，将对应右路输出的像素列或行中的像素作为邻近像素。

4.根据权利要求2所述的方法，其特征在于，所述根据CIS像素整列中选定的参考像素，定义邻近像素包括：

从对应左路输出的像素中选择部分像素作为左路参考像素，从对应左路输出的像素中剩余部分像素作为左路邻近像素；

从对应右路输出的像素中选择部分像素作为右路参考像素，从对应右路输出的像素中剩余部分像素作为右路邻近像素。

5.根据权利要求1-4任意所述的方法，其特征在于，通过减法器，求差所述参考像素和邻近像素的像素数字值，获取所述参考像素和邻近像素的像素数字差值。

6.一种CMOS图像传感器像素值的无损解压方法，其特征在于，

根据CIS像素整列中选定的参考像素，定义邻近像素；

获取CIS像素整列中参考像素的像素数字值，以及CIS像素整列中邻近像素和所述参考像素在像素之间的像素数字差值；

根据参考像素的像素数字值，以及所述邻近像素与所述参考像素之间的像素数字差值，获得所述邻近像素的像素数字值。

7.根据权利要求6所述的方法，其特征在于，通过加法器，求和参考像素的像素数字值，以及所述邻近像素与所述参考像素之间的像素数字差值，获得所述邻近像素的像素数字值。

8.一种CMOS图像传感器，其特征在于，包括：

像素阵列，包括参考像素和邻近像素；

AD转换单元，用于对参考像素和邻近像素的像素模拟值进行模数转换得到参考像素和邻近像素的像素数字值；

选择器，用于选通参考像素、邻近像素以进行模数转换，并输出参考像素、邻近像素的像素数字值。

Images