CN103155544B - 基于角度敏感像素（asp）的图像处理系统、处理方法和应用 - Google Patents

Abstract

一种图像处理系统，其包括：至少两个互补的角度敏感像素（ASP）结构，其能响应光输入而产生空间频率域ASP输出，所述空间频率域ASP输出包括背景输出和多个ASP响应输出；ASP响应输出减法器组件，其能抑制背景输出，并对至少两个ASP响应输出结果进行减法处理；以及处理组件，其能对经减法处理的空间频率域ASP响应输出进行处理。一种光域图像处理方法包括以下步骤：提供至少两个互补的角度敏感像素（ASP）结构；获得响应光输入的空间频率域ASP输出，所述输出包括多个互补的ASP响应输出；在数字域内进行任何操作前，在光域内对ASP响应输出进行类小波变换；以及获得所述光输入所需的输出。

Description

基于角度敏感像素（ASP）的图像处理系统、处理方法和应用

交叉引用相关专利申请

本专利申请要求申请日为2010年8月3日申请号为61/370,193的美国临时申请，和申请日为2011年6月21日申请号为61/499,372的美国临时申请的优先权，其整体引用并入本文。

背景技术

1．发明领域

本发明的实施方式主要涉及图像处理领域。更具体地说，本发明的实施方式涉及基于使用和不使用透镜的角度敏感像素（ASP）设备的图像处理系统、处理方法和应用。所述的实施系统、方法和应用，使用由ASP装置所提供的可测的光场强度和方向角。本发明的实施方式还与使用像素-尺度衍射光学元件进行芯片图像处理相关，该处理过程无需电源，其进一步包括但不限于：基于ASP的集成CMOS微型照相机成像设备，与所述设备实施方式相关的成像方法，及其相关应用。

2．相关技术领域的讨论

视觉系统的图像编码

视觉系统分数个步骤捕捉和处理信息，始于使用透镜将外部的光聚焦到传感器的均匀阵列上。远场成像时，所述的方法就是用透镜将光的入射角转换至二维空间位置。然后传感器（脊椎动物眼睛的视杆细胞和视锥细胞，典型电子图像传感器的光电二极管）将所述局部光强度转换成电流或电压。

所述的脊椎动物的视觉系统中，视网膜局部处理视觉信息，提高空间对比度，并将每个局部视觉信息重新编码为至少12个平行通道。所述的每个通道选择性响应于场景内的某些特征，如不同空间尺度的边缘和定向运动。所述的这些不同信号被视神经编码为离散尖峰，传递至大脑。在视觉皮层中，通过对边缘方向和空间尺度相关的信息进行编码处理，使信号的差异性进一步增大。因而，自然的视觉处理过程包括针对特定的视觉结构将视觉世界重新编码处理为更加多样化的通道组。

现代图像和视频捕捉系统越来越多地使用了类似的方法。大型的光传感器阵列已司空见惯，而以单纯的位图形式存储或传输此类信息就很少见。更常见的是在捕捉图像和数字化处理后进行即时压缩（通常会造成图像失真）。此外，虽然大多数图像和视频经捕捉和编码后看起来很自然，但为特定的任务（如传送符号语言）而捕捉和压缩图像及视频通常也有意义。这种情况下，即使传输的信息构成的图像不足以重构“看起来”感觉自然的场景，但任务相关信息也能被解读。此外，所述的图像信息可能完全不会被自然人解读，而是由机器提取某些特定的信息片段，如导航光流、目标跟踪、文本提取、或面部和指纹识别，来直接解读信息。如上所述的所有情况，从简单压缩，到特定的任务提取，及机器视觉，处理的关键步骤之一是对视觉场景的一组异构特征进行重新编码。不足为奇的是，所述的多个特征与脊椎动物视觉系统中对各通道的响应有惊人的相似之处，尤其是对V1神经元的响应。

大多数现代图像处理以几个标准的数学工具为基础，例如傅立叶变换和Gabor滤波器。在自然场景中使用所述工具时，这些变换的输出接近零，使得场景中大部分信息在其余输出中被重新编码：即其输出是稀疏的。此外，非零输出结果的格式比原始像素更容易解读。因此，一旦对图像信息进行了上述转换，此后的图像处理就变得更有效。然而，为应用如上所述的技术，必须首先将场景中的光线聚焦到图像传感器中，转换、缓冲、数字化，并在数字域中进行变换（过滤）。即使后续处理非常有效，数字化和过滤将消耗大量电能。因此，视觉信息一般无法从严格控制功率的平台，如无线传感器节点收集。

压缩和解读图像和视频最常用的滤波器之一是Gabor滤波器（有时被称为Gabor小波）。Gabor滤波器，通过高斯型包络视窗化，基本进行局部低位阶二维傅立叶变换。空间位置（x,y）的二维脉冲响应计算方程式如下：

$G(x,y)=\exp \left(\frac{x^2+y^2}{2{\mathrm{\σ}}^2}\right)\cos (\frac{\mathrm{ax}+\mathrm{by}}{\mathrm{\σ}}+\mathrm{\α})---\left(1\right)$

通过变换周期方向(tan^-1(b/a))、相位(α)和整体空间尺度(σ)，就能衍生出不同的Gabor滤波器（如图1所示）。大多数a和b数值下，滤波基本为零。因此，当用自然图像进行卷积时，这些滤波器在亮度均匀的区域（如图1a中的天空和男士的衣服）的输出为零，即滤波器在稀疏区域产生输出。例如，图1a中使用的滤波器仅在空间尺度约为10像素的水平特征区域产生明显的输出。本例中，男士的眼睛、下巴和手指符合这一标准，而大多数其它区域不符合所述的标准，所产生的输出为零。为捕捉场景中其它特征，可以通过改变各种参数使用其它滤波器（如图1（b-e）所示）。

为确保保存场景的所有信息，必须使用足量不同的滤波器以覆盖输入的值域。这就要求滤波器的输出至少与被分析原图的像素相同。所述情况的一个示例是基于图块的滤波器，其中图像被分割成数个图块进行分析。然后利用一组不同方向、相位和周期的不同滤波器过滤其中的每个图块。

如果滤波器选择适当，过滤结果与对该图块进行二维傅立叶变换处理的结果相似。如此说来，每个图块必须接受与图块像素同样多的不同滤波器加以处理，且所述的变换是可逆的，即未丢失任何信息。然而，如图1a所示，所述的大部分输出将接近零。将这些输出取整为零，并进行有效编码，能使得在不产生明显的信息减损时，充分压缩场景。图块级别变换后的取整是大多数有损压缩算法的基础（如JPEG）。如果使用多个空间尺度的滤波器（如图1e所示），如小波变换，图像稀疏度可能更大。

虽然同量的输入和独立的输出能确保结果可逆，但输出多于输入（超完整）时能实际得到更有效的图像再现。例如，超完整的Gabor滤波器基组已被证明比正交基组能产生更稀疏的输出。现已开发出多种方法寻找最佳稀疏比，其中最常用的方法是“基追踪”算法，该算法可以最小化输入和输出的均方误差（即L2模误差），以及输出绝对值的总和（L1模输出）。

除简单的图像压缩外，Gabor滤波器和二维傅立叶变换是各种高阶视觉分析的基础，如目标识别和分割、运动检测和纹理鉴定。所述的许多功能使用基于图块的变换，包括多尺度Gabor滤波器（如图1e所示），能进行“尺度不变性”的变换，转而实现各种有效的目标和纹理识别技术。

所述的许多分析不需要完整、可逆的滤波器组。例如，超完整滤波器组能包括精确匹配的性能输出，减少后续处理。同样地，如果为特定的视觉任务进行调整，不完整滤波器组足以完成所述任务。例如，即使图1a中的滤波器不能重构整个场景，也足以检测和定位水平边缘（如地平线）。

角度敏感像素（ASP）

发明人近期展示了一类新的像素尺度光传感器，其能捕捉检测到光强度和入射角分布信息（参见国际专利申请，申请号：WO/2012/044943，其全部内容通过整体引用并入本申请）。所述的角度敏感像素（ASPs）按图2所示方式进行实施。光电二极管被一组层叠的金属衍射光栅所覆盖。上光栅的入射光会在光栅下方一定深度产生周期性衍射图案（“自成像”，如图2a所示），这种效应被称为塔尔博特效应。某个特定塔尔博特距离的自成像强度最大，其距离是光栅间距(d)平方的整数倍除以光波长(λ)：

z_T＝d²/λ(2)

ASP的衍射光被投射到等间距的第二“分析栅”，该分析栅被设置在塔尔博特的深度之处，h=n·z_T。自成像横向移动以响应入射角的变化，分析栅根据自成像峰和分析栅的相对位置阻断光或允许光通过（如图2b所示）。当自成像峰与光栅间隙对齐时，光能通过；当峰与金属丝对齐时，光被阻断。用所述光栅下方的光电二极管测量通过光栅的光。由于自成像和分析栅都是周期性的，通过的光量也因入射角θ的周期变化而异，计算方程式如下：

I＝I_oA(θ)(1-mcos(βθ+α)),(3)

其中β＝2π·h/d，定义了当分析栅的深度h低于主光栅时的响应周期。I_o是入射光强度，调制深度m(0＜m＜1)由自成像的大小所设置，α由主光栅和分析栅之间的横向偏移值所设置。A(θ)是窗函数，体现金属侧壁和芯片表面反射的影响。

方程(3)仅适用于垂直于光栅金属丝方向测定的θ。去除与光栅平行的入射角并不改变与分析栅相关的自成像峰，因此仅当与孔径函数相乘后，才影响ASP的输出。

在标准的CMOS流程中生产整个ASP，其中使用光电二极管作为掺杂阱，金属互连层作为局部光栅。由于光栅间距细小(＜1μm)，可以在单个CMOS成像像素的尺度上构建ASP。所述组件的体积小，自然集成，还意味着ASP大型阵列在目前的技术中完全可行。单一ASP所检测的响应如图2c所示。去除垂直于光栅方向的入射角后，产生强烈的角度依赖性、周期性的响应，如方程2所示。

最初开发ASP是为了不使用透镜而能定位三维微尺度发光源。为实现这一目的，必须计算每个位置的光入射角，需要将多个ASP调整到不同相位（方程3中的α），也需要调整垂直和水平方向的ASP。实现这些功能需要使用包含四个不同光栅偏移值（α=0，π/2，π，3π/2）的两个不同光栅方向（如图3a所示）（光栅偏移值为光栅间距的1/4：如图3b、图3c所示）。

本发明人认为，对现有技术中已知缺点、挑战和问题的解决和改进方案是必要且有益的。更具体来说，与需要多个透镜和/或活动部件的其它方法相比，本发明装置为单一装置，除传感器本身外无需光学元件，通过标准的平面微细加工流程（例如CMOS）便可生产，这点在本技术领域中是有优势的。任何功耗、规格和成本高的成像系统都将从本发明所教导的技术中受益。本发明所披露和要求保护的实施方式成功地解决了上述问题，解决了本领域中未解决的问题，并实现了所列举的目标。

发明概述

本发明的实施方式之一是一种图像处理系统。所述图像处理系统包括至少两个互补的角度敏感像素（ASP）结构，其能响应光输入而产生的空间频率域ASP输出，所述空间频率域ASP输出包括背景输出和多个ASP响应（信号）输出；ASP响应输出减法器组件，其能抑制背景输出，并对至少两个ASP响应输出结果进行减法处理；以及处理组件，其能对经减法处理的空间频率域ASP响应输出进行处理。根据所述实施系统的各种非限制性方面为：

-其中所述至少两个ASP结构的至少部分为不同的ASP结构，所述不同的ASP结构的周期、方向、相位和空间尺度中至少一种是不同的；

-所述至少两个ASP结构包括能在空间频率域提供可逆ASP信号输出的足够数量的ASP结构；

-所述ASP响应输出减法器组件的特征在于，对互补偏移的至少两个ASP响应输出进行减法处理；

-所述的图像处理系统，其还包括至少一个透镜元件，所述透镜元件沿轴向设置在所述至少两个ASP结构的输入侧；

-所述的图像处理系统，其还包括多个透镜元件和多个不同的ASP，所述多个不同的ASP的周期、方向、相位和空间尺度中至少一种是不同的；

-所述多个透镜元件相同；

-其中所述至少一个透镜元件设置于所述ASP结构前的焦距距离以外，为ASP提供焦点以外的光照；

-其中所述至少两个ASP结构具有过滤功能，该过滤功能与二维傅里叶变换的基函数充分匹配，并且所述至少两个ASP结构形成傅立叶阵列，从而其能进一步在高达最高空间频率的频率-空间内形成完整或超完整基组；

-所述至少两个ASP结构具有过滤功能，该过滤功能与二维哈特莱变换的基函数相匹配，并且所述至少两个ASP结构形成哈特莱阵列，从而其能进一步在高达最高空间频率的频率-空间内形成完整或超完整基组；

-所述图像处理系统，其包含多个傅立叶阵列；

-所述图像处理系统整体设置在CMOS组件内；

-所述图像处理系统是基于CMOS、具有微尺度图像处理元件的照相机。

本发明的一种实施方式是一种光域图像处理方法。所述图像处理方法包括以下步骤：提供至少两个互补的角度敏感像素（ASP）结构；获得响应于光输入的空间频率域ASP输出，所述空间频率域ASP输出包括多个互补的ASP响应（信号）输出；在数字域内进行任何操作前（例如转换、过滤、数字化等），在光域内对ASP响应输出进行类小波变换；以及获得所述光输入的所需输出。根据所述实施方法的各种非限制性方面为：

-在所述光域中对所述ASP响应输出进行类小波变换的所述步骤进一步包括，对所述至少两个互补的ASP响应输出进行减法处理；

-获得所述光输入的所需输出的步骤还包括，获得所述光输入的光学图像、所述光输入的目标识别、所述光输入的运动方向检测、所述光输入的边缘检测、光流检测、生物计量检测、文本提取和纹理检测中的至少一种；

-获得所需的所述光输入的输出还包括，逆转（invert）经减法处理过的ASP输出，无论是否对所述的输出进行取整；

-所述的提供至少两个互补的ASP的所述步骤还包括，提供至少两个不同的ASP结构，所述不同的ASP结构的周期、方向、相位和空间尺度中至少一种是不同的；

-所述图像处理方法，还包括获得可逆ASP信号输出；

-所述图像处理方法还包括，在所述至少两个ASP结构的光输入侧设置至少一个透镜元件，并提供目标光源的散焦透镜元件输出，以作为所述至少两个ASP的光输入；

-所述图像处理方法还包括在多个不同的ASP的光输入侧分别设置多个透镜元件，所述不同的ASP的周期、方向、相位和空间尺度中的至少一种是不同的；

-所述图像处理方法还包括在多个不同的ASP的光输入侧分别设置多个相同的透镜元件，所述不同的ASP的周期、方向、相位和空间尺度中的至少一种是不同的；

-所述图像处理方法还包括提供有过滤功能的至少两个互补的ASP结构，其与二维傅里叶变换的基函数充分匹配，其中所述至少两个ASP结构形成傅立叶阵列，从而其能进一步在高达最高空间频率的频率-空间内形成完整或超完整基组；

-所述图像处理方法还包括提供有过滤功能的至少两个互补的ASP结构，其与二维哈特莱变换的基函数相匹配，并且所述至少两个ASP结构形成哈特莱阵列，从而其能进一步在高达最高空间频率的频率-空间内形成完整或超完整基组；

-所述图像处理方法还包括提供整体设置在CMOS组件内的至少两个互补的ASP结构；

-所述图像处理方法还包括，在数字域内进行任何操作前，不使用电源或外部电力，在光域内对ASP响应输出进行类小波变换。

本申请述及的角度敏感像素（ASP）结构及其操作原理，在申请号为PCT/US2009/051660专利中进行了充分讨论，其全部内容在最大许可范围内被引用并入本申请。

需要理解的是，上文的概述和下文的详细说明都仅仅是本发明实施方式的示例，并且旨在提供概述或框架，以便于理解本发明的实施方式所要求保护的本发明的性质和特征。本申请所包含附图以供进一步理解本发明之用，附图被并入且构成本说明书的一部分。附图举例说明了本发明的各种实施方式，其与本说明书一起用于解释本发明的原理和操作。

附图简述

图1：Gabor滤波器示例。a）一位男士的图片（上部的图，原始大小1250×800像素，此处被缩小以节省空间）用单一类型Gabor滤波器进行卷积（中间的图，σ=10像素，a=9像素^-1），以每20个像素的间隔捕捉图像，得出稀疏的输出结果（下部的图），中间色调灰色值为0；b-e）另一种Gabor滤波器，显示可能变换不同的参数；上部：一维投影正弦分量；下部：二维投影，灰色=0，黑色=-1，白色=+1；

图2：ASP操作：a）时域有限差分法（FDTD）模拟平面波透过间距为d的单个光栅，产生z_T倍数的周期性自成像；b）FDTD模拟不同入射角的堆叠光栅；c）检测入射角范围内的光传输；d）传输的二维图像；

图3：产生的ASP：a）一个配有垂直传感器和水平传感器的异构ASP的显微图像；b）检测到的结构（a）的输出结果，显示响应的互补偏移值；c）横截面，显示主光栅和分析栅之间的偏移值；

图4：根据本发明的一个示例性方面，将ASP的输出变换映射至Gabor滤波器：a）互补ASP的角度响应；b）所述响应的差异；c）投射至二维空间；

图5：由98个ASP组成的傅立叶阵列布局：深灰色代表主光栅；浅灰色代表分析栅。中央ASP光栅间距最大，响应最低空间频率；较高的空间频率对方向性要求更高。根据本发明的一种示例性实施方式，每个间距和方向都呈现4个相位。

图6：根据本发明的一个示例性方面，ASP阵列上方的透镜产生对远场场景的类小波编码（请注意，，真正的小波必须减去相反的标志信号，即从红色中减去蓝色曲线）；

图7：周期的多样性：a）当分析栅设置在z_T（左）或2z_T（右）位置时，检测的ASP输出。根据本发明的一个示例性方面，互补输出的差异在于曲线，分别显示了两个相位；b）FDTD模拟显示ASP的各种实施方案（上部），产生各个周期（下部）；

图8：根据本发明的一个示例性方面，透镜作为角度放大器：a）ASP阵列（灰色矩形）上方的基础透镜结构，及相关的尺寸标记；b）所述结构吸收了小角度范围的光，并将角度放大，如c）图所示，这些不同的入射角映射到ASP滤波的响应；

图9：根据本发明的一个示例性方面，两个可供选择的多镜头设计：a）多个相同的透镜被设置在多个ASP阵列上方，每个阵列由不同的ASP组成（以本图为例，方向不同）；阵列组合能提供全分集；b）多个不同尺寸的透镜，对相同类型的ASP投射相同大小的点，每个透镜提供不同的角度增益、缩放，滤波器的其它方面相同；

图10：根据本发明的一个示例性方面，通过不同压缩方法得出的面部图像：从左到右依次为：a）离散化至水平5，模糊化，在x和y方向按4x进行二次取样，然后离散化；b）模糊化，但要符合傅立叶像素（N=2）的要求，再离散化（离散结果通过相匹配的滤波器重构图像）。使用TIFF压缩每版图片；c）模糊化/二次采样文件的尺寸是基础离散文件的1/10，傅立叶像素模型尺寸是单纯模糊图像的两倍，但处理后图像的质量比其它两种好很多；d）某些ASP的输出结果，既显示了响应的稀疏性，又显示了对边缘和其它“关注”特征（眼睛、嘴）的选择性响应；

图11：根据本发明的一个示例性方面，光学设置：a）远处物体（蓝色）投射一个模糊图像到透镜焦平面前方的ASP阵列上；b）第二个物体（绿色）在ASP阵列上显示重叠的模糊图像。然而，由于所述物体的角度不同，ASP（红色椭圆内部）对它们的响应不同；c）两个相邻、互补的ASP优先响应于不同的角度，及不同的空间位置；d）减去所述过滤的输出结果，能提供如（e）所示Gabor类似的空间滤波器；

图12：成像系统中的数据通道比较：a）标准方法：单一像素在空间内某点捕获强度，其结果在数字域中被缓冲、数字化和转化（过滤），然后进一步进行图像处理；b）根据本发明的一个示例性方面，该装置允许在数字化前对每个光学像素进行过滤处理，至少节省一个数量级的电力；

图13：建议的ASP使用交错二极管取代分析栅：a,b）光栅顶视图，二极管的颜色表示不同的偏移值，如图3所示；c）横截面；d）深入穿透光子产生扩散至任一组二极管（红色或蓝色）的载流子的图解；e）嵌入更深度阱的二极管吸收阱耗尽区（紫色）或附近的载流子；f）根据本发明的一个示例性方面，使用三个更宽的二极管替代交错设计，捕捉三个角度的光；

图14：根据本发明的一个示例性方面，内置压缩ASP输出的电路原理图，包括对可变增益差异放大（以提取类Gabor的输出）的近零检测器（也称“死区”），以大量压缩弱输出和取整数字化处理；

图15：根据本发明的一个示例性方面，定向运动传感器的电路原理图，从ASP获得互补输出，将其与时间导数相关联；

图16：为示例的PFCA选择装置。根据本发明的一个示例性方面，实心圆表示可制造的设备，其具有适用于520nm的光的理想的m；空心圆表示我们制造的设备套；

图17：制造的PFCA。根据本发明的一个示例性方面，正弦周期逐渐增高的ASP的同心环对远处光强度产生完整的傅立叶描述。放大部分明确证实了缓慢变化的方向，原理图以不同的颜色显示不同的金属层；以及

图18：图像重建：使用校准相位获得的基函数，我们将图像（A）重建为图像（B），所述重建达到了我们使用无芯片外光学元件阵列的奈奎斯特极限。

本发明示例性实施方式的详细描述

现在将详细介绍本发明示例性实施方式，结合附图对实施方式进行举例说明。

虽然最初发明ASP是用于三维微成像，发明人发现ASP响应与Gabor滤波器具有惊人的相似之处。通过比较图1和图4可以看出，用互补偏移值（例如，图3b中的V_1/4和V_3/4）对ASP输出结果进行减法处理，产生的响应与Gabor滤波器的处理结果非常相似，显示为互补ASP输出映射成Gabor滤波器的二维描绘图（如图4c所示）。这表明，ASP的内在属性可用于光学地实现对像素本身进行Gabor过滤。

如下是本发明的一个非限制性示例性实施方式，关于无透镜捕捉图像的装置和方法，其中使用ASP异构阵列捕捉光，其联合输出包含大量图像信息。本实施方式的非限制性方面是对可视光场景进行二维傅立叶变换的ASP阵列。

基于ASP的无透镜图像捕捉和分析

来自场景不同部位的光以不同的入射角射到ASP芯片的表面，每个入射角对应于场景的特定位置。因此，以入射角为基础使用ASP过滤光等同于以空间位置为基础过滤场景的不同位置。这就意味着，正如不同的Gabor滤波器应用于一图像的同一区域能提取不同的信息，一个阵列的不同ASP也将提取不同信息（假设各物体相对于阵列实际尺寸的距离是疏远的）。每个ASP映射至特定的滤波器，并且如果每个滤波器线性独立于其它滤波器，所述阵列的输出结果可以被逆转，恢复至原始场景。本发明一个示例性方面是选择一组ASP，其过滤器与二维傅立叶变换的基函数相匹配。所述的“傅立叶阵列”非常紧凑，并且其提供的输出十分适于对诸如全球光流和计算地理定位的太阳高度角之类的简单分析。

“傅立叶阵列”500示例性的基础结构如图5所示。每个ASP都有角度响应，计算方程式如下：

其中a和b值取决于光栅的方向、间距和垂直距离。为进行类傅立叶变换，a和b必须被平铺入二维频率空间。每个a和b组合需要四个ASP，相位分割为π/2，如图3b所示。减去互补信号后，二维傅立叶变换的每个频率和方向都产生正弦项和余弦项。方程4的a和b可以被视为笛卡尔坐标，能映射到方向的极坐标和响应的周期（即方程3中的β）。ASP响应的方向仅仅记录了其光栅的方向，后者可被设定为任何角度（因为现代CMOS流程的网格间距远小于光的波长）。需要变更周期性时，可以调整光栅间距（以及分析栅的深度），或替代性地将分析栅设置在高位阶的塔尔博特距离处。图7a显示了两个ASP测试结构的测定结果，其分析栅被设置在z_T和2z_T处（如图2所示）。图7b显示了ASP的FDTD模拟结果，所述ASP通过变换间距和分析栅深度提供不同的周期。

傅立叶阵列的有效成像分辨率受限于可达到的最高周期。具体来说，可以分辨的最小角点分离度是π/2β。反之，在给定的流程中所述限值由光栅可能的最小间距和最大分离度所设定。我们模拟的最大β值约为50，对应于分辨率为0.031弧度或1.8度。当β值设置为这些较高值时，z_T的波长相关性开始有显著性影响，因此傅立叶阵列可能会受益于其光电二极管的波长隔离度，或被滤色器覆盖，所述滤色器与数码相机使用的相似，以减少分析波长的范围。本发明的一方面为多个傅立叶阵列，且每个阵列调整为不同的波长。所述的设置是合理的，因为傅立叶阵列非常紧凑，例如每个ASP的单侧不足10μm，整个阵列仅需要大约1200个ASP，且β不超过限值50（假设视场约为70度），提示阵列大小为230μm×460μm。

虽然其结构紧凑而简单，傅立叶阵列不会提供真实场景的稀疏性表示。因为每个输出都是整个场景输入的结果，因此场景内所有位置的物体都将对输出产生影响。然而，为提供显著提高的分辨率，我们将使用一个或多个透镜与ASP装置相结合，下文将对此作进一步描述。

使用透镜放大角度，并产生类Gabor滤波器的阵列

进行低阶二维傅立叶变换的小型ASP异构阵列（例如N=3）可以平铺形成大型的“傅立叶像素”阵列。将所述的阵列放置在凸透镜后面，但稍微偏离焦点，会使得每个傅立叶像素仅呈现在很窄的视野范围内，入射角显著扩大，为视野的每个区域提供局部、低阶傅立叶变换（如图6所示）。换言之，再次参见图3b，可以看到其中的曲线与Gabor的小波变换有很多相似之处。具体而言，（通过模拟硬件）减去反相位输出（即如图4中的V_1/4和V_3/4）可以容易地提取出Gabor类小波变换。由于Gabor小波是图像压缩和特征提取中常用的功能，当图形被捕捉时，这些结构可用于在光域中进行图像小波变换，无需计算功耗即可提取特征。将ASP阵列放置在略高于（或略低于）透镜焦平面的位置便能实现所述的功能。透镜将远场角映射到阵列局部区域，并同时放大该角度的偏差。然后ASP将这些模糊、不均匀的角转化成类小波输出，如图6所示。如果ASP被排列在傅立叶像素内，且偏离焦距的透镜的模糊度与傅立叶像素的空间范围尺度相似，则阵列的各种输出将大致相正交，并与普通的成像器覆盖相同的空间。

为产生完整的滤波器组，必须使用多种类型的ASP。增高分辨率的一种有用的方法是在将光投射到ASP阵列之前用透镜放大角度差异，如图8所示。同时，透镜的有限孔径意味着阵列的每个ASP将对外部场景的整体场景的小区域应用过滤性能，这与Gabor滤波器相似。一组相同ASP的阵列将过滤整个场景，执行的操作与图1a所示相似。

为产生完整的滤波器组，应该使用多种类型的ASP。一种方法是将多组小型傅立叶阵列平铺在单一透镜后面，以进行图块级别的处理。一种替代方法是使用更紧凑的技术，以创建数组小型ASP同构阵列，每个阵列含各自的透镜，但各组阵列由不同类的ASP（即多样的ASP）组成，如图9a所示，所述阵列可以提供相同的整体过滤作用，但体积较小，后期处理更容易。另一方面，多透镜的方法能提供额外的多样性光源，因为其允许使用不同类的透镜，提供不同的角度增益和不同整体过滤尺度，如图9b所示，这将在下文进一步说明。增加对此参数的控制将为以“尺度不变”的小波为基础的基于Gabor的图像处理开辟更广阔的范围。

将透镜和ASP阵列设置在透镜与阵列平面（I）距离小于焦点深度（F）的位置更为有利（如图9a所示）。所述设置中，单一方向的光在阵列中产生散焦点，覆盖多个ASP。点半径由F、I和每个透镜的孔径D决定，计算方程式如下：

R_s＝D(F-I)/2F(5)

这就意味着每个ASP将接收外界一定角度范围内的光，但是这些角度的差异被透镜显著放大，使用增益因子G_θ有效地提高分辨率，其所述G_θ的计算方程式如下：

G_θ＝D/2R_s＝F/(F-I)(6)

相反，每个ASP仅接收冲击透镜角度范围内的光，对应的弧度为：

θ_max-θ_min＝2R_s/I＝D(F-I)/2FI(7)

因此，每个ASP的输出与可见场景区域的Gabor滤波类似。为覆盖整个场景，每个ASP类型重复设置的间距小于或等于2R_s。使用单一透镜并提供完整的场景描述需要多个不同的ASP，设置在图块尺寸小于2R_s的范围内。透镜可能有与阵列相似的尺寸，并有相似的距离，使得整个照相机的体积约为阵列立方的线性尺寸。

图9b显示了一种替代性设置方式：将不同类的ASP安置在阵列中，放置在各种（较小）尺寸的透镜下方，所述透镜能分别为每类ASP提供角度增益。由于包含所有的阵列输出时整套滤波器仍存在，系统的有效分辨率保持不变，但系统的实际体积要小很多。

此类透镜阵列也能用于提供可变的角度增益G_θ。通过调整每个透镜的F、I和D，G_θ发生变化，但Rs(由方程5计算得出)保持不变，我们可以使用完全相同的ASP，同时主要调整方程1的σ，产生具有不同空间尺度的滤波(如图1e所示Gabor滤波器)。所述调整空间尺度的能力能实现“尺度不变”的滤波组，“尺度不变”是增强稀疏性的关键属性，也是各种已知场景分析和识别技术的优势特征。因此，不同透镜能控制Gabor变换中一个重要的参数，这项参数无法通过ASP本身设计进行调整。

通过这种方法，每个ASP都可见一个会聚性波阵面，而非平面波输入。然而，可以通过分析会聚性塔尔博特效应（Talboteffect）调整这些ASP来实现，并通过缩放分析栅与主光栅的间距来实现会聚效果。

场景或视频小波变换的显著优势是，每个小波显示的特征比单个像素的信息量更大。压缩的主要优势在于小波变换输出比普通像素要稀疏得多。具体而言，在典型场景中大多数小波输出将接近零（如图10所示示例）。这些大量的零输出流很容易被大幅压缩（例如，行程编码）。同样，与简单离散像素相比，小波变换的图像更适合无显著质量减损的高度离散。或者，回到前述的大脑中早期视觉处理的类比，这些类小波特征提供了自然的边缘检测因素，协助场景解析，并为计算更复杂的视觉现象，例如定向运动，提供自然参数。此处描述的许多附加计算（离散、行程编码、运动检测）可以在芯片内有效地运行，使用傅立叶像素作为其输入，进一步降低计算成本。

Gabor（或傅立叶）变换的图像，不同于简单压缩，更容易处理。所述处理的两个示例为基于场景统计的运动估计和场景分析（两者通常直接用傅立叶变换进行检测）。因此，本发明不限于图像压缩处理，也可以与自定义的芯片电路相结合，处理非常有效的运动和场景分析。

本发明一大特征是使用ASP的滤波特性建立CMOS照相机，所述照相机在光域中进行类V1图像处理。要实现这一目的，我们需要将视野中的局部光源位置编译为给定ASP位置的入射角。所述的变换可以通过凸透镜实现，其凸透镜的焦平面放置在ASP阵列平面的后方，如图11a、b所示。这种设置下，每个ASP会看到场景的一个区域，但能看到该区域内来自不同角度的不同空间位置。ASP区别性地过滤所述角度，并将过滤属性映射到可见的空间区域。空间滤波器的结果与上述Gabor滤波器看起来非常相似，并且与V1的相应神经元感受区也非常相似。

真正的Gabor滤波器不同于ASP响应，因为前者包含正相和反相区域；同样地，V1的神经元被区域内的光源激发，被其它光源抑制。这些正相和反相区域彼此平衡，使得细胞对亮度均匀场景的响应微弱。虽然简单的ASP有严格的正相响应，但可以构建两个相邻的传感器，其响应是互补的（如图3b所示的红色和蓝色轨迹）。减去互补信号产生的响应，既包含“正相”，也包含“反相”区域（如图11d和e所示）（哺乳动物视觉系统也发生相似的交叉减法处理）。减法处理可以被包含在每个传感器的缓冲电路中，无需额外成本。V1和压缩算法都采用了不同的滤波器阵列，调整到不同的空间尺度、方向和相位。增加图3a中ASP的不同种类数量，可以提供这种多样性。通过使用固定长度的透镜将散焦图像投射到有不同周期、相位和方向的ASP阵列上，能复制完整的类似V1的行为。

集成光电阵列开发

根据本发明一种实施方式的成像装置可以用配有适当电子产品的ASP阵列形式被实现，例如180nm的CMOS（取自MOSIS）。该芯片可以被封装和安装在照相机内（例如现成的网络摄像头或类似产品），其光学系统能提供可控模糊度，这是生成类似V1的图像处理所需要的。

在光域内运行类Gabor滤波器的一个优势是，其优于模拟数字转换。压缩算法，以JPEG2000为例，依赖于空间滤波(在数字域内进行操作)，随后通过缩放和量化以减少图像编码所需的比特数。本实施例操作中，空间滤波优于电子缓冲和数字化处理，如此可以使用这些电路进行缩放和量化，而无需额外费用。像素输出的稀疏性表示模拟数字转换器(ADC)在许多输出的分辨率降低时仍可运行，节能与压缩比成比例。与近零检测器结合使用时，ADC在信号微弱时被关闭。上述方法可以降低至少一个数量级的功耗，商用解决方案中可以降低超过两个数量级的功耗(如表1所示)。此外，功耗将与压缩比成比例：图像压缩的幅度越大，捕捉和压缩图像的功耗越低。

表1

功能性	电源	状态	参考
				JPEG+成像器*	198mW	商用	[13]
成像器*	60mW	商用	[14]
				JPEG	24mW	商用	[15]
JPEG	8.3mW	模拟	[16]
				JPEG+成像器**	15mW	模拟	[16]
工作提议	1mW	提议

表1:功耗比较

*归一化至VGA，30fps

**假设与提议的成像器电路相同，

但在ADC稀疏性处理前，w/o降低功耗

图12示意性显示了典型的标准图像处理和本发明实施方式的比较数据通道和结构特征。如图12a所示，单个像素在空间内某点捕捉强度，其在数字域内被缓冲、数字化和变换（过滤）后进一步进行图像处理。如图12b所示的发明装置对每个光学像素进行过滤处理，允许在数字化前进行处理，这样节省至少一个数量级的电力。

产生一个类Gabor滤波器需要两个互补的ASP。将分析器功能从独立的光栅移入光电二极管能改善前述要求。互补交错光电二极管可以用于独立检测主光栅的同相或异相自成像，如图13a-c所示。包括间距偏移值为1/4的二次结构，能提供类似图4c所示的输出。图13f显示了使用三个不同交错二极管的特征。这三个独立的检测装置足以提取简单的塔尔博特自成像的全部信息：总的光强度、自成像的振幅和自成像偏移值。所述结构能提供密集ASP的最终图像处理结果，同时可以增大光电二极管的间距，简化生产流程。

但不幸的是，使用间距小于0.5μm的交错光电二极管意味着使用浅结二极管（CMOS内的源极/漏极扩散）。由于这些二极管（也小于0.5μm）比可见光的穿透深度浅很多，大量光被吸收的深度深于光电二极管本身。由此产生的电荷载流子将扩散一段距离，且被任一光电二极管吸收的可能性与扩散的可能性大致相等，严重降低其响应程度（如图13d所示）。这是微小间距图像结合的现有问题，并限制了其它高分辨率的成像器。

为避免上述问题，我们建议将交错的浅结二极管设置在更深、更掺杂的阱内（如图13e所示）。这种更深层的结合将屏蔽交错二极管受深层载流子的影响，降低模糊度。简单的模拟表明，在合理的CMOS流程（流程节点在130或180μm）约30％的绿光有助于角度敏感的光电流，与堆叠的振幅光栅相比，能提供类似的调制深度（系数m可由方程2得出）。

支持芯片端到端视觉处理的后端电路

ASP阵列提供初步处理，以紧凑、有用的方式对场景信息进行编码。然而，为充分利用紧凑性的优势，一些额外的处理是非常有利，可能也很必要。因为ASP将整体设置在标准CMOS电子设备内，在定制的混合信号电路中用芯片实现所述的额外处理就有意义了。

提高稀疏性和进行图像压缩的示例性电路：

如上所述，对于类Gabor行为，ASP需要被构建为互补、成对的传感器，对其输出进行减法处理。通过一组微分晶体管作为局部信号缓冲器，便可轻易地进行减法处理。然后所述的联合结构将充当约为零均值的滤波器。由于大多数场景包含大幅光强度均匀的区域（例如晴朗的天空），这类滤波器的输出往往会接近零，提供稀疏性输出。

所述稀疏性的优势是，其意味着许多输出可以被取整为零，而无明显的信息损失。如果所述的取整发生较早，所有后续信号处理的功耗要低得多，当输入取整为零时可以简单地否决。所述的取整可通过简单的窗口比较器执行（信号在窗口内则为零，否则为1）。

所述比较器优于模拟数字转换器，因为前者可以将许多输出数字化为零，而无需进行完整的转换。如果所述的零输出随后被有效编码，结果将是通过与JPEG驱动器编码完全相同的原理实现显著的图像压缩，但相对于现有最佳的成像器和编码器组合，其功耗至少降低10倍至100倍。

增加互补的ASP输出还能提供有价值的信息，基本上是任何类傅立叶变换的“DC”项。然而，由于具有不同方向、相位和周期性的互补ASP的输出产生的总和相同，可以显著的降低这些输出的采样数而不会损失信息。

图14示意性显示了后端电路的示例：互补的ASP通过可编程增益放大器被进行减法和缓冲处理。如果结果输出接近零，所述的检测和数字化结果为零，否则ADC将数字化（也需取整）前述输出。

所述ASP还为计算无透镜傅立叶阵列及更多局部滤波的定向运动提供理想的信息。使用传统方法检测所述的“光流”将显著增高计算成本，需要各帧间许多单独像素的相关性。使用有多个相位的ASP信号（如图3所示）允许更紧凑地检测运动。将所述的一对互补传感器的输出（例如，V₀和V_1/2）与另一对（V_1/4和V_3/4）的变化率相关联，为运动的速度和方向提供即时估算。此外，一级估算仅需要两个此类计算（一个计算水平ASP，另一个计算垂直ASP）。

图15示意性显示了一个定向运动传感器，获得ASP的互补输出，并与相对的时间导数关联。所需的计算可在数字域内进行，也可以降低功耗，使用跨导线性电路在模拟域中进行计算。我们已经使用现有的组件和ASP对所述的电路进行检测，如图3所示。其结果输出显示设备有能力辨别运动的方向，例如手在芯片上方的来回移动。请注意，所述的单个此类运动估算电路很容易被多个ASP所共享，作为分析块图寻址阵列的组成部分。

此类运动提取有各种应用。一个简单的应用是将其作为车辆速度估算器，使用嵌在路面的小型傅立叶阵列估算通过路面的车速和行驶方向。另一项应用是作为野生动物跟踪标签的运动特征，使用不同类型的运动表征动物行为。第三项应用是将其用于视频压缩，如果光流速度已知，将所述技术作为帧预测的一部分：而非用于发送连续帧（或帧与帧之间的差值），高精度预测后续帧，而且仅需捕捉预测帧和实际帧的差异，便可对后续帧进行完全编码。所述方法在更多局部传感器中同样适用，但相反地，提供的是定向运动的局部估算。

提取场景统计和边缘

许多有用的视觉任务需要的信息量远远小于完整的傅立叶变换或Gabor滤波器组提供的信息。例如，简单的边缘检测对许多任务，例如自动目标分区，非常有用。此外，人们在仅被呈现场景的边缘时仍能执行许多有用的任务，即使图像“看起来”不太像原始场景。边缘可以被配有透镜的ASP阵列提取，在特定的ASP尺度范围内产生类Gabor过滤结果，然后获得不同相位的输出、计算其平方和总和（提取“边缘电源”分量），并仅报告此数值。事实上，很多情况下可设定边缘电源的阈值，以1比特的格式报告边缘值，进行大幅压缩。

更广泛地说，可以根据简单的统计从场景提取大量信息。例如，使用鸟标签时，分析场景统计可以用几个数字提供有关鸟栖息地、栖息位置和行为的重要信息。例如，在无透镜傅立叶阵列或基于透镜的系统中，对经过减法处理的互补ASP输出进行开方和求和，为场景的复杂性提供了简单的测评，反映鸟类环境的特征（如灌木丛或开阔的天空）。更进一步，比较不同方向的ASP的总功耗，可以为高定向环境，例如沼泽草地，和杂乱无章的设置，例如灌木，提供有用的区分信息。所述的这些计算仅需要平方电路、求和电路和乘法电路，其都可以使用非常小的功耗和面积的模拟电路实现。

“拍摄太阳”进行地理定位

康奈尔鸟类学实验室的近期工作证实，通过使用精确的时钟和简单的光传感器记录日出和日落的时间，激活的跟踪标签可以用于定位数百公里内的迁移的鸟类（其功耗级别低于GPS）。所述方法的显著进步是使用GPS导航前惯用的实际“拍摄太阳”方式，用傅立叶阵列发现天空中太阳的高度。此方法涉及，比较与已知“下方”所成的角度（例如以加速计为基础），或更有趣的是，提取太阳和地平线的信息，以计算它们的相对角。

此述及的问题可被分解为四步：第一步：计算可能的太阳角以及光强度。使用几个垂直ASP和水平的ASP即可完成；第二步：重新计算包含和减去太阳预期信号的输出；第三步：计算地平线的位置。通过寻找提供最强信号的ASP方向，然后依据与该方向相关的ASP计算地平线的位置和对比度能够加速该计算；第四步：一旦获得太阳和地平线的信号，计算残差信号。如果其数值过大，则最初“太阳和地平线均可见”的假设无效。否则，图像已被减少到六个参数，可以存储在存储器中或立即用于太阳—地平线角计算。

芯片外处理的支持电路

由于不可能预测到所有ASP阵列输出可能被处理的方式，这就意味着所述的阵列也应该支持芯片外处理。然而，专用的本地硬件能加强这些类型的计算，其可能包括上述示例性电路，但更通用的组件为，基于被标识的特征、对先前帧的局部、短期模拟记忆（例如用于计算求导数等）、及简单的绝对值和平方电路减去反馈的预测的简单电路，其能支持计算L1和L2范数（所述的范数可用于估算迭代和一般算法，如基本追踪的残差）。

由于其在标准CMOS的可制造性，本申请所述的视觉系统很容易实现工业化，以极低的成本批量生产。通过提供成本极低、紧凑的成像系统，本申请的技术将对经济产生重大影响。示例性商用应用包括：低成本运动传感器、低成本简单条码读取器、及低成本成像系统或低功耗视频捕捉器。

使用直接傅氏域场景捕捉器的微尺度照相机示例

平面傅立叶捕捉阵列（PFCA）装置旨在从不同的ASP阵列恢复远场信息。如上所述的ASP由两个金属光栅下面的光电二极管组成，所述的金属光栅由相互连接的属于现代平面半导体流程的金属层制成。

单独来看，ASP有光敏度，因入射角不同而发生正弦变化，如方程8所示：

R=I₀(1–mcos(βθ+α))F(θ)(1+η)(8)

其中R是ASP的读数，I₀与ASP的光束成比例，θ是沿着光感轴的入射角，β是角度灵敏度（设定范围在7至39之间，见公式9），m是ASP的调制深度（见公式10），α是可被识别的相位偏移值，F(θ)是缓慢变化的孔径函数，η是乘性噪声。

光栅间距p和光栅d间的深度都影响β，如下所示：

β=2Πd/pn,(9)

其中n是介质中的折射率，此情况下的介质是二氧化硅。当d是塔尔博特深度一半的整数倍时，调制深度m最大：

当d=a((p²/λ)–(λ/4)).(10)时，m最大。

此外，用金属光栅的方向设置角度敏感轴。所述方向下，正弦响应类似于二维傅立叶变换的各个组件，所述的二维傅立叶变换通常用于图像分析。

总之，可以使用不同周期的导向正弦曲线图像的内积来计算远场图像的完整二维傅立叶变换。因此，选择适当的ASP阵列能报告远场傅立叶完整信息。为保证傅立叶的完整性，我们选择了180nmCMOS流程中18种可用p和d的组合(p受金属的最小可生产线宽所限，并且d必须与适于制造光栅的5个金属层的4个可用层间深度之一相对应)，产生紧密间隔的β集合。考虑到p最低值的限制和可制造d的离散数量，满足方程10的可能装置数量非常有限。绘制所述及的这些装置在设定的520nm（真空中）光中的β和p曲线，产生了图16的实心圆。为更好地覆盖与理想装置的β谱差距，我们组合的装置包括为不同波长设定的最佳配置，但是这些配置都与520nm的最佳装置非常接近（参见图16的空心圆）。如图17所示，我们围绕四个中心装置在同心环中设置10μ×10μ的装置，与C.Koch,J.Oehm,J.Emde,andW.Budde,Solid-StateCircuits,IEEEJournalof43,1588（2008）报告的情况相似，以捕捉低频信息。每个设置构成ASP的一环，较大的环含有带有更高β的装置。更多高β装置的ASP允许更多光栅方向。这是合适的，因为经观测特定设置中独立的傅立叶组件数量与β成比例。每对相对装置的每个傅立叶组件捕捉幅度和相位信息相差90度（参见方程8）。我们在未做任何改动的CMOS流程中构建了两个互补的阵列（相差180°，其它参数都相同），所述的阵列由38×38个独立的ASP组成（共2888个传感器）（如图17所示）。

傅立叶完整性取决于我们检测的平铺傅立叶空间是否可以达到奈奎斯特极限。随着允许的入射角范围增大，覆盖所有傅立叶空间的频率分辨率也增大。具体而言，入射光允许的最大偏心距（相对于正常的装置）h和连续设置的β的最大差值的关系是：

h=180°/(2)^1/2Δβ.(11)

我们设置Δβ为2.62（参见图16），1444-传感器阵列的连带传递函数对傅立叶空间的图像产生超完整覆盖，h＜48.6°。

如图18A所示，我们捕捉ASP响应的累积时间为16.7毫秒，并成功重建了图18B中的图像，所述的传感器达到阵列中最高β所设置的奈奎斯特极限（β_max=39）。激活方块的有效分辨率约为20×20像素，可分解的像素尺度的数量为β² _max。

我们显示了平面傅立叶捕捉阵列器：ASP阵列，其不使用聚焦光学元件而将完整的傅立叶信息（高达最高空间频率）与远场相关联。所述装置能在未修改的半导体流程中生产，无需外部光学元件或调试。其生产成本和分辨率规格填补了最小的小型照相机和单一光电二极管之间的空白，令其成为未配置聚焦光学系统，许多成本和尺寸敏感应用程序的合适之选。

本发明的说明书中使用的词语“一”、“一个”和“所述”和类似词语（尤其在本发明的权利要求书中）都解释为包含单数和复数的情况，但文中另有说明或显然与上下文矛盾的情况除外。词语“包括”、“具有”、“包含”和“含有”被解释为开放式术语（即意味着“包括，但不限于”），除非另有说明。术语“连接”被解释为部分或全部包含在、连接到或连在一起，即使其中间存在其他介质。

本申请述及的范围值的列举仅作为便捷的参考方式，为落入该范围的每个单独数值提供参考，本文另有说明的除外。每个单独的数值都被并入本说明书，相当于其在本申请被单独引用。

本申请述及的所有方法可按照任何合适的顺序实施，本文另有说明或与上下文明显矛盾的除外。本申请提供的任何和所有示例，或示例性语言（例如“比如”）的使用仅旨在更好的阐明本发明的实施方式，并非对发明的范围加以限制，除非另有声明。

本说明书中的所有用语均不应被解释为暗示任何本发明未要求保护的要素对本发明的实施是必不可少的。

对于本领域的技术人员而言，在不脱离本发明的精神和范围的条件下，可以对本发明做出各种修改和变化。本申请无意于将本发明限制为具体形式或公开形式，与此相反，本发明包含落入本发明精神和范围之内的所有修改、可选结构和等同，本发明精神和范围由本发明的权利要求书所确定。因此，本文旨在使本发明包含落入本发明的权利要求及其等同要求范围内的本发明的所有修改和变化。

Claims (25)

1.一种图像处理系统，其包括：

至少两个互补的角度敏感像素(ASP)结构，其能响应光输入而产生空间频率域ASP输出，所述空间频率域ASP输出包括背景输出和多个ASP响应输出；

ASP响应输出减法器组件，其能抑制所述背景输出，并对至少两个所述ASP响应输出进行减法处理；以及

处理组件，其能对经减法处理的空间频率域ASP响应输出进行处理。

2.根据权利要求1所述的图像处理系统，其中至少部分的所述至少两个ASP的结构为不同的ASP结构，所述不同的ASP结构的周期、方向、相位和空间尺度中至少一种是不同的。

3.根据权利要求1所述的图像处理系统，其中所述至少两个ASP结构能够提供可逆ASP信号输出。

4.根据权利要求1所述的图像处理系统，其中所述ASP响应输出减法器组件的特征在于对互补偏移(complementaryoffsets)的至少两个ASP响应输出进行减法处理。

5.根据权利要求1所述的图像处理系统，其还包括至少一个透镜元件，所述透镜元件沿轴向设置在所述至少两个ASP结构的输入侧。

6.根据权利要求5所述的图像处理系统，其还包括多个透镜元件和多个不同的ASP，所述多个不同的ASP的周期、方向、相位和空间尺度中至少一种是不同的。

7.根据权利要求6所述的图像处理系统，其中所述多个透镜元件相同。

8.根据权利要求5所述的图像处理系统，其中所述至少一个透镜元件设置于所述ASP结构前的焦距距离以外。

9.根据权利要求1所述的图像处理系统，其中所述至少两个ASP结构具有的过滤功能与二维傅里叶变换的基函数相匹配，并且所述至少两个ASP结构形成傅立叶阵列，从而其能进一步在频率-空间内形成完整或超完整基组。

10.根据权利要求1所述的图像处理系统，其中所述至少两个ASP结构具有的过滤功能与二维哈特莱变换的基函数相匹配，并且所述至少两个ASP结构形成哈特莱阵列，从而其能进一步在频率-空间内形成完整或超完整基组。

11.根据权利要求9所述的图像处理系统，所述图像处理系统包含多个傅立叶阵列。

12.根据权利要求1所述的图像处理系统，其中所述图像处理系统整体设置在CMOS组件内。

13.根据权利要求12所述的图像处理系统，其中所述图像处理系统是照相机。

14.一种光域图像处理方法，其包括：

提供至少两个互补的角度敏感像素(ASP)结构；

获得响应于光输入的空间频率域ASP输出，所述空间频率域ASP输出包括多个互补的ASP响应输出；

在数字域内进行任何操作前，在光域内对ASP响应输出进行类小波变换；以及

获得所需的所述光输入的输出。

15.根据权利要求14所述的图像处理方法，其中在所述光域内对所述ASP响应输出进行类小波变换的所述步骤进一步包括，对至少两个所述互补的ASP响应输出进行减法处理。

16.根据权利要求14所述的图像处理方法，其中获得所需的所述光输入的输出的所述步骤还包括，获得所述光输入的光学图像、所述光输入的目标识别、所述光输入的运动方向检测、所述光输入的边缘检测、光流检测、生物计量检测、文本提取和纹理检测中的至少一种。

17.根据权利要求14所述的图像处理方法，其中提供至少两个互补的ASP的所述步骤还包括，提供至少两个不同的ASP结构，所述不同的ASP结构的周期、方向、相位和空间尺度中至少一种是不同的。

18.根据权利要求17所述的图像处理方法，所述方法还包括获得可逆ASP信号输出。

19.根据权利要求14所述的图像处理方法，所述方法还包括在所述至少两个ASP结构的光输入侧设置至少一个透镜元件，并提供目标光源的散焦透镜元件输出，以作为所述至少两个ASP的光输入。

20.根据权利要求19所述的图像处理方法，所述方法还包括在多个不同的ASP的光输入侧分别设置多个透镜元件，所述不同的ASP的周期、方向、相位和空间尺度中至少一种是不同的。

21.根据权利要求20所述的图像处理方法，所述方法还包含设置多个相同的透镜元件。

22.根据权利要求14所述的图像处理方法，所述方法还包括提供有过滤功能的至少两个互补的ASP结构，其与二维傅里叶变换的基函数相匹配，其中所述至少两个ASP结构形成傅立叶阵列，从而其能进一步在频率-空间内形成完整或超完整基组。

23.根据权利要求14所述的图像处理方法，所述方法还包括提供有过滤功能的至少两个互补的ASP结构，其与二维哈特莱变换的基函数相匹配，并且所述至少两个ASP结构形成哈特莱阵列，从而其能进一步在频率-空间内形成完整或超完整基组。

24.根据权利要求14所述的图像处理方法，所述方法还包括提供整体设置在CMOS组件内的至少两个互补的ASP结构。

25.根据权利要求14所述的图像处理方法，所述方法还包括，在数字域内进行任何操作前，不使用电源或外部电力，在所述光域内对所述ASP响应输出进行类小波变换。