CN111727453A - 用于去马赛克的滤波器阵列 - Google Patents

Abstract

一种设备，包括具有至少四个块的图案的滤波装置，其中第二块垂直于第一块定位，第三块平行于所述第一块定位，并且第四块垂直于所述第三块且水平于所述第二块定位；以及从使用滤波后的光线而捕获的图像生成新图像的装置。

Description

用于去马赛克的滤波器阵列

技术领域

本公开涉及嵌入在全光相机中的滤色器阵列。具体但非排他地，本公开涉及一种能够提供有色的子孔径图像并且针对任何整数视差自动地对重新聚焦的图像去马赛克的滤色器阵列。

背景技术

通过在主透镜和传感器之间布置微透镜阵列，全光相机能够测量沿着与传感器相交的每束光线传播的光量。由这种相机获取的数据被称为光场数据。可以对这些光场数据进行后处理，以从不同的视点重建场景的图像。光场数据可以用于生成聚焦堆，该聚焦堆包括各自具有不同的重新聚焦深度的图像的集合。结果，用户可以改变图像的焦距。与常规相机相比，全光相机可以通过后处理来获取附加光学信息分量，以实现从不同视点和重新聚焦深度重建场景图像。

图1是示意性地表示全光相机100的图。如上所述，光场相机能够记录四维(或4D)光场数据。全光相机100包括主透镜101、微透镜阵列102和像素传感器104。

在如图1所示的全光相机100的示例中，主透镜101接收来自主透镜101的物场中的物体(图中未示出)的光，并使该光穿过主透镜101的像场。微透镜阵列102包括以二维阵列布置的多个微透镜103。

滤色器阵列(CFA)通常用于对执行单一测量的像素的各种颜色进行采样。最常见的CFA图案是由2×2元素构成的拜耳(Bayer)图案，并在美国专利3,971,065中公开。

拜耳滤色器阵列可以通过像素传感器的像素记录一个红色、绿色或蓝色。从利用传感器捕获的原始图像到彩色图像(其中每个像素由三种颜色值表示)，必须计算每个像素缺少的两种颜色。该计算被称为去马赛克。

由于拜耳滤色器阵列也与全光相机一起使用，因此利用这种全光相机获取的4D光场数据也需要去马赛克，可以在计算二维(2D)重新聚焦图像的阶段执行该去马赛克。

通常，如图2A所示，拜耳滤色器阵列位于像素传感器104的顶部。

重新聚焦的2D图像的颜色采样取决于用于获取光场数据的全光相机的颜色采样。图2A示出了具有覆盖2乘2个像素的微图像的传感器。在图2B中示出了4个子孔径图像。通过对具有与聚焦距离相对应的给定偏移(视差)的4个子孔径图像进行叠加来计算重新聚焦的图像。对于任何偏移，当拜耳滤色器阵列如图2A所示设置在像素的顶部时，每个重新聚焦的像素都从拜耳滤色器阵列接收所有不同颜色的贡献。拜耳滤色器阵列的这种定位似乎是有意义的，因为无论重新聚焦参数ρ_focus是什么，它都可以提供去马赛克图像。但是这种设计不能对在重新聚焦图像中没有聚焦的物体产生良好的图像。

为了克服该缺点，本公开的发明人提交了专利申请EP 3 131 292。在该专利申请中，公开了专用于全光相机的具有M×M尺寸的图案的滤色器阵列。

专利申请EP 3 131 292公开了一种滤色器阵列图案，其具有M²种颜色c_m,n，其中(m，n)∈[0，M[。如图3A所示，将施加在像素(x,y,i,j)上的颜色设置为c_{(x+i)modM，(y+j)modM}。结果形成了覆盖像素的由pM×pM组成的新滤色器阵列。原始滤色器阵列覆盖p×p个像素，属于微透镜(i,j)的其他像素被原始滤色器阵列覆盖，但具有“混洗”颜色，如图3B所示。

子孔径图像覆盖有M²种颜色的滤色器阵列。但是子孔径图像S_uv的起始颜色是c_u，v(而不是针对原始滤色器阵列覆盖像素的常见情况的c_0，0)。这种设计使得针对ρ_focus＝-M,0,+M…完美地对重新聚焦的图像去马赛克。此外，这种新设计不受观察到的离焦的物体的颜色伪像的影响。

考虑到前述内容而设计了本公开。

发明内容

第一方面涉及一种方法，包括：使用具有至少四个块的图案对相机的光线进行滤波，其中，第二块垂直于第一块定位，第三块水平于所述第一块定位，并且第四块垂直于所述第三块且水平于所述第二块定位；以及从使用滤波后的光线捕获的图像生成新图像。

另一方面涉及一种设备，包括具有至少四个块的图案的滤波装置，其中第二块垂直于第一块定位，第三块平行于所述第一块定位，并且第四块垂直于所述第三块且水平于所述第二块定位；以及从使用滤波后的光线捕获的图像生成新图像的装置。

在一个实施例中，提供了一种旨在定位在全光相机的像素传感器上的滤波器阵列，所述滤波器阵列包括被复制以覆盖整个像素传感器的图案，其中，所述图案：

·覆盖所述像素传感器的2p×2p个像素，其中，p是与由嵌入在所述全光相机的微透镜阵列的微透镜产生的微透镜图像的直径相对应的偶数个像素，以及

·包括四个块，所述四个块被布置成使得第二块位于第一块下方，第三块位于所述第一块的右侧，并且第四块位于所述第三块下方和所述第二块的右侧，块覆盖所述像素传感器的p×p个像素并包括四个子块，子块覆盖所述像素传感器的

个像素并与滤波器值相对应，通过置换所述第一块的所述子块的列来获得所述第二块，通过置换(permuting)所述第二块的所述子块的行来获得所述第三块，并且通过置换所述第三块的所述子块的列来获得所述第四块。

如前所述，由于子孔径图像的有利融合，对于某些整数视差，重新聚焦的图像自动地被去马赛克。而对于其他整数视差，由于偏移后的子孔径图像的拜耳滤色器阵列的图案严格叠加，重新聚焦的图像保持马赛克。与现有技术的方案相反，根据本发明的实施例的滤波器阵列累积了以下优点：提供有色子孔径图像并且针对任何整数视差自动地对重新聚焦的图像进行去马赛克。

在一个实施例中，所述滤波装置包括用于定位在全光相机的像素传感器上的滤波器阵列。

根据实施例的所提出的滤波器阵列的图案通过允许累积这两个优点的滤波器元件的智能图案来解决这些问题。

根据实施例，滤波器阵列的图案由以下矩阵给出：

其中a、b、c和d是滤波器元件。

通过这种图案，子孔径图像示出了根据本发明的实施例的滤波器阵列的所有可能的图案。因此，具有整数视差ρ＝0(2)(0对2取模)的重新聚焦的图像被完全地去马赛克，具有整数视差ρ＝1(2)的重新聚焦的图像也一样。

根据本发明的实施例，滤波器阵列的图案是所述矩阵FA₁的转置，并且由以下矩阵给出：

其中a、b、c和d是滤波器元件。

根据本发明的实施例，滤波器阵列是偏振滤波器。

根据本发明的实施例，滤波器阵列是密度滤波器。

根据本发明的实施例，滤色器阵列是滤色器。

滤色器可以是例如包括红色、绿色、蓝色和“祖母绿”滤波器元件的RGBE滤波器，或是包括一个青色、两个黄色和一个品红色滤波器元件的CYYM滤波器，或是包括青色、黄色、绿色和品红色滤波器元件的CYGM滤波器。

根据本发明的实施例，所述滤色器是拜耳滤波器，与绿色(G)滤波器元件相对应的块的两个子块，以及分别与蓝色(B)滤波器元件和红色(R)滤波器元件相对应的所述块的其他两个子块。

根据本发明的实施例，所述四个子块被布置成使得第二子块位于第一子块的下方，第三子块位于所述第一子块的右侧，并且第四子块位于所述第三子块的下方和所述第二子块的右侧，并且其中，第一和第二子块与相同的滤波器元件相对应，或者第三和第四子块与相同的滤波器元件相对应。

另一方面涉及全光相机的像素传感器，根据本发明的实施例的滤波器阵列定位在所述像素传感器上。

实施例涉及一种包括像素传感器的全光相机，根据实施例的滤波器阵列被定位在所述像素传感器上。

实施例涉及一种包括指令的计算机程序产品，所述指令在由处理器执行时使处理器执行实施例的方法。

附图说明

现在将仅通过示例的方式并参考以下附图来描述实施例，在附图中：

图1是示意性地表示全光相机的图；

图2A表示位于像素传感器顶部的拜耳滤色器阵列；

图2B表示利用全光相机获取的4个子孔径图像；

图3A表示根据现有技术的具有M²种颜色c_m,n(其中(m,n)∈[0,M[)的滤色器阵列图案；

图3B表示根据现有技术的具有“混洗”颜色的滤色器阵列，

图4表示对由2D小图像的集合构成的图像进行记录的全光相机的像素传感器；

图5A和图5B示出了假设理想的薄透镜模型下的示意性光场；

图5C表示与图5A和图5B类似的设计，其在于固定f＝d；

图6示出了在捕获的光场图像坐标L(x,y,i,j)到一系列子孔径图像S(α,β,u,v)之间的转换；

图7示出了根据本发明实施例的滤波器阵列，其包括被复制以覆盖整个像素传感器的图案；

图8A至图8C分别表示在传感器上复制的四个可能的拜耳图案以及相应的2乘2个子孔径图像；

图9A至图9C分别表示在传感器上施加并复制的滤色器阵列FA₂以及2乘2个子孔径图像。

具体实施方式

本领域技术人员应当认识到，本发明原理的各方面可以被具体实现为系统、方法或计算机可读介质。因此，本发明原理的各方面可以采用完全硬件实施例的形式、完全软件实施例(包括固件、驻留软件、微代码等)的形式或组合了软硬件方面的实施例的形式，它们在本文中可一般地称为“电路”、“模块”或“系统”。此外，本发明原理的各个方面可以采用计算机可读存储介质的形式。可以使用一个或多个计算机可读存储介质的任意组合。

诸如图1所示的全光相机记录4D光场数据，该数据可以转换为许多副产物，例如具有自由选择的聚焦距离的重新聚焦图像。

如图4所示，全光相机的像素传感器104记录由布置在2D图像402内的2D小图像401(称为微图像)的集合构成的图像。每个微图像401由来自透镜阵列102的微透镜(i,j)103产生。像素传感器104的像素403与作为由像素传感器104记录的4D光场L(x,y,i,j)的4个坐标(x,y,i,j)相关联。每个微透镜103产生微图像401，该微图像401的形状取决于通常为圆形的微透镜103的形状。像素坐标被标记为(x,y)，p是两个连续微图像401之间的距离，p不必是整数值。选择微透镜103使得p大于像素尺寸δ。微图像401由它们的坐标(i,j)参考。每个微图像401在(u,v)坐标系中采样主透镜101的光瞳(pupil)。微图像(i,j)401的中心位于像素传感器104上，坐标为(x_i,j,y_i,j)。θ表示像素传感器104的方格与微透镜103的方格之间的角度，在图4中θ＝0。假设微透镜103是根据规则的方格布置的，则可以考虑(x_0，0,y_0，0)作为微透镜图像(0,0)的像素坐标根据以下等式来计算坐标(x_i,j,y_i,j)：

图4还示出了来自场景的物体在几个连续的微图像401上可见(图4上的黑点)。物体的两个连续视图之间的距离是w。物体在r个连续的微图像上可见，其中：

r是在一维中的连续微图像401的数量。物体在r²个微图像中可见。根据微图像的形状，物体的r²个视图中的一些可能不可见。

上述距离p和w以像素为单位给出。通过将它们乘以像素尺寸δ，将它们分别转换为物理单位距离(例如，米)P和W：W＝δw以及P＝δp。这些距离取决于光场相机的特性。

图5A和图5B示出了假设理想的薄透镜模型的示意性光场。主透镜101具有焦距F和孔径Φ。微透镜阵列102由具有焦距f的微透镜103构成。微透镜阵列102的间距为φ。微透镜阵列102位于距主透镜101的距离为D和距像素传感器104的距离为d，像素传感器104在图5A和图5B上称为传感器。物体(在图中不可见)位于图5A和图5B的左侧，距主透镜101的距离为z。该物体被主透镜101聚焦在图5A和图5B右侧的距主透镜101为距离z’处。图5A和图5B分别示出了D>z’和D<z’的情况。在两种情况下，微图像101都可以是对焦的，这取决于d和f。

类似的设计在于固定f＝d，如图5C所示。进行这种设计以使得主透镜101在微透镜阵列102附近聚焦图像。如果主透镜101恰好聚焦在微透镜阵列102上，则W＝∞。微图像因此完全失焦并且等于常量(不考虑噪声)。

距离W随着物体的距离z而变化。要建立W和z之间的关系，必须依靠薄透镜方程：

泰雷兹定律：

结合先前的两个方程，可以推断出：

W与z之间的关系不假定微图像聚焦。根据薄透镜方程，微图像必须严格对焦：

同样从泰雷兹定律推导出P

P＝φe (7)

比率e定义了微透镜间距与微图像间距之间的放大。由于D＞＞d，该比率非常接近1。

可以将微图像401重新组织成所谓的子孔径图像。子孔径图像收集具有相同(u,v)坐标的所有4D光场像素。令(I,J)是覆盖传感器104的微透镜103的数量，并且(N_x,N_y)是传感器104的像素的数量。子孔径图像的数量等于p×p。每个子孔径图像具有(I,J)＝(N_x/p,N_y/p)个像素的尺寸。

图6示出了在捕获的光场图像坐标L(x,y,i,j)到一系列子孔径图像S(α,β,u,v)之间的转换。每个子孔径图像的尺寸为(I,J)像素，坐标系的轴标记为(α,β)，其中(α,β)∈[0,I[×[0,J[。S(u,v)表示由I×J个像素构成的与(u,v)光瞳坐标相对应的2D图像。

(x,y,i,j)与(α,β,u,v)之间的关系定义如下：

其中

表示下限函数，并且mod表示模函数。

如果p不恰好是整数，而是接近整数，则可以考虑微透镜图像之间的距离等于

即仅大于p的整数，轻松地计算出子孔径图像。这种情况尤其在微透镜直径φ等于像素的整数倍时发生。在这种情况下，由于e＝(D+d)/d略大于1，所以p＝φe略大于φ。考虑

的优点是子孔径图像被计算而无需插值，因为像素传感器104的一个像素L(x,y,i,j)与整数坐标子孔径像素S(α,β,u,v)相对应。缺点是从其记录光子的光瞳部分在给定的子孔径图像S(u,v)内不是恒定的。确切地说，S(u,v)子孔径图像未恰好采样(u,v)光瞳坐标。如果p不是整数，或者如果微透镜阵列相对于像素阵列而旋转，则需要使用插值来计算子孔径图像，因为微透镜的中心(x_i,j,u_i,j)不是整数。

在光场图像L(x,y,i,j)内，使物体在具有复制距离为w的几个微图像上可见。在子孔径图像上，物体也可见几次。从一个子孔径图像到下一个水平子孔径图像，物体坐标(α,β)出现偏移了视差ρ。ρ与w之间的关系定义为：

也可以通过混合方程式(5)和(9)来建立视差ρ与物体的距离z之间的关系：

图像重新聚焦在于将由传感器记录的光场像素L(x,y,i,j)投射到坐标(X,Y)的2D重新聚焦的图像中。通过移动微图像(i,j)来执行投射：

其中w_focus是与z_focus相对应的所选择的复制距离，z_focus是物体在计算出的重新聚焦的图像中出现对焦的距离，s是控制重新聚焦的图像的尺寸的缩放因子。光场像素L(x,y,i,j)的值在坐标(X,Y)处添加到重新聚焦的图像上。如果投射的坐标为非整数，则使用插值来添加像素。为了记录投射到重新聚焦图像中的像素数量，创建了具有与重新聚焦图像相同尺寸的权重映射图像。将该图像初步设置为0。对于投射到重新聚焦图像上的每个光场像素，在坐标(X,Y)处将1.0值添加到权重映射。如果使用了插值，则将相同的插值核用于重新聚焦的图像和权重映射图像两者。之后，所有光场像素都被投射，将重新聚焦的图像逐个像素地除以权重映射图像。该归一化步骤确保了归一化后的重新聚焦图像的亮度一致性。

等效地，考虑到在距离z_focus处的物体对焦的视差ρ_focus，可以通过对子孔径图像S(α,β)求和来计算重新聚焦的图像。

子孔径像素被投射到重新聚焦的图像上，权重映射按照上述相同过程记录该像素的贡献。

本公开的实施例涉及具有微透镜图像的全光相机的滤波器阵列，该微透镜图像具有等于2、4、6、8个像素或任何偶数个像素的直径p，根据本发明的实施例，这样的滤波器阵列旨在被定位在全光相机的像素传感器104上，所述滤波器阵列包括被复制以覆盖整个像素传感器104并针对p＝6在图7中表示的图案。

根据本发明的实施例的滤波器阵列的图案覆盖所述像素传感器104的2p×2p个像素，并且包括A、B、C和D四个块，该A、B、C和D四个块被布置成使得第二块B位于第一块A下方，第三块C位于所述第一块A的右侧，并且第四块D位于所述第三块C的下方和所述第二块B的右侧。每个块A、B、C和D覆盖所述像素传感器104的p×p个像素，并且包括四个子块a、b、c和d。子块a、b、c和d覆盖所述像素传感器104的

个像素，并且对应于滤波器值。构成子块a、b、c和d的滤波器元件可以是任何类型的滤波器，例如颜色、偏振或密度……。

通过置换第一块A的子块a、b、c和d的列来获得第二块B，通过置换第二块B的子块a、b、c和d的行来获得第三块C，并且通过置换第三块C的子块a、b、c和d的列来获得第四块，如在图7中并通过以下等式(针对p＝4给出)示出：

在一个实施例中，滤波器阵列由红色、绿色和蓝色三种颜色构成。在本发明的其他实施例中，滤色器可以是例如包括红色、绿色、蓝色和“祖母绿”滤波器元件的RGBE滤波器，或是包括一个青色、两个黄色和一个品红色滤波器的CYYM滤波器，或是包括青色、黄色、绿色和洋红色滤波器元件的CYGM滤波器。

在滤波器阵列由红色、绿色和蓝色三种颜色构成的情况下，提出的图案使子孔径图像能够显示四个可能的拜耳图案，如图8A所示，其中a＝R、b＝B、c＝G1和d＝G2。因此，具有整数视差ρ＝0(2)(0对2取模)的重新聚焦的图像被完全去马赛克，对于整数视差ρ＝1(2)也一样。在本发明的该实施例中，四个子块a、b、c和d中的两个子块是相同的(对于拜耳图案如此)，使得：a≠c，a≠d，c≠b和b≠d。或者换句话说，c＝d或b＝a。

所提出的方案由例如以下定义的4乘4个像素的两个可能的滤波器阵列来表征：

其中FA₂是FA₁的转置版本。

如图8A所示，该滤波器阵列被施加并被复制到传感器上，如图8B所示。微图像401的直径为p＝2个像素。在图8C中示出了相应的2乘2个子孔径图像。具有整数视差的四个子孔径图像的叠加使得重新聚焦图像自然地被去马赛克。注意，4个子孔径图像显示了在4个子孔径图像之间旋转的经典拜耳图案(2乘2个像素)。因此，每个子孔径图像对三种颜色进行采样。

图9A示出了具有a＝G1，b＝R，c＝B和d＝G2的滤波器阵列FA₂。如图9B所示，该滤波器阵列被施加并复制到传感器上。微图像直径为p＝2个像素。图9C中示出了2乘2个子孔径图像。具有整数视差的4个子孔径图像的叠加使得重新聚焦图像自然地被去马赛克。注意，4个子孔径图像显示了2乘2个像素的特定滤色器阵列。实际上，在本发明的该实施例中不考虑约束c＝d或b＝a。

根据不同的实施例，无论用于计算重新聚焦的图像的整数偏移如何，都完全地对所得图像去马赛克。在视差ρ＝0的情况下，子孔径图像被叠加在一起，这提供了自然地去马赛克的重新聚焦的图像。在整数视差ρ≠0的情况下，子孔径图像S(u,v)在与其他子孔径图像叠加之前移动了[uρ,vρ]像素。对于任何整数视差ρ，重新聚焦的图像也自然地被去马赛克。

如今具有几个像素的微型透镜103可用于各种相机。具有两个像素的微透镜103被称为“双像素”，并且通过延伸而具有2乘2个像素的微透镜103被称为“四像素”。

当拍摄视频时，该技术初步地用于实时自动对焦。它还可以用于帮助算法计算具有浅景深的图像并呈现散景，就好像图像是使用大型传感器相机拍摄的一样。

通过四像素传感器，新的应用是可用的，例如：1/紧密重新聚焦，2/主透镜像差校正。

四像素传感器的一个主要缺点是重新聚焦图像的空间分辨率的可变性。通过设置根据本发明的实施例的滤波器阵列来解决该缺点，并且该滤波器阵列的图案覆盖4乘4个像素。

尽管以上已经参考特定实施例描述了本实施例，但是本公开不限于特定实施例，并且对于本领域技术人员而言，落入权利要求书范围内的修改将是显而易见的。

在参考前述说明性实施例时，将向本领域技术人员暗示许多进一步的修改和变化，这些说明性实施例仅以示例的方式给出，并且不意在限制本发明的范围，本发明的范围仅由所附权利要求确定。具体地，在适当的情况下，可以将来自不同实施例的不同特征进行互换。

Claims (15)

1.一种方法，包括：

使用具有至少四个块的图案对相机的光线进行滤波，其中，第二块垂直于第一块定位，第三块水平于所述第一块定位，并且第四块垂直于所述第三块且水平于所述第二块定位；以及

从使用滤波后的光线而捕获的图像生成新图像。

2.根据权利要求1所述的方法，其中，所述图案被复制至少两次以覆盖全光相机的像素传感器的表面。

3.根据权利要求1或2所述的方法，其中，所述图案覆盖2p×2p个像素，其中，p是与由所述全光相机的微透镜阵列的微透镜产生的微透镜图像的直径相对应的偶数个像素。

4.根据权利要求1至3中任一项所述的方法，其中，块覆盖所述像素传感器的p×p个像素并包括四个子块，一个子块覆盖所述像素传感器的

个像素并与滤波器值相对应，通过置换所述第一块的所述子块的列来获得所述第二块，通过置换所述第二块的所述子块的行来获得所述第三块，并且通过置换所述第三块的所述子块的列来获得所述第四块。

5.一种设备，包括：具有至少四个块的图案的滤波装置，其中第二块垂直于第一块定位，第三块平行于所述第一块定位，并且第四块垂直于所述第三块且水平于所述第二块定位；以及

从使用滤波后的光线而捕获的图像生成新图像的装置。

6.根据权利要求5所述的设备，其中，所述图案被复制至少两次以覆盖全光相机的像素传感器的表面。

7.根据权利要求5至6中任一项所述的设备，其中，所述图案覆盖所述像素传感器的2p×2p个像素，其中，p是与由所述全光相机的微透镜阵列的微透镜产生的微透镜图像的直径相对应的偶数个像素。

8.根据权利要求5至7中任一项所述的设备，其中，块覆盖所述像素传感器的p×p个像素并包括四个子块，一个子块覆盖所述像素传感器的

个像素并与滤波器值相对应，通过置换所述第一块的所述子块的列来获得所述第二块，通过置换所述第二块的所述子块的行来获得所述第三块，并且通过置换所述第三块的所述子块的列来获得所述第四块。

9.根据权利要求8所述的设备或根据权利要求4所述的方法，其中，所述图案由以下矩阵给出：

其中a、b、c和d是滤波器元件。

10.根据权利要求9所述的设备或根据权利要求9所述的方法，其中，所述图案是所述矩阵FA₁的转置，并且由以下矩阵给出：

其中a、b、c和d是滤波器元件。

11.根据权利要求5至10中任一项所述的设备，其中，所述滤波装置包括偏振滤波器、密度滤波器和滤色器中的至少一个。

12.根据权利要求11所述的设备，其中，所述滤色器是拜耳滤波器、与绿色G滤波器元件相对应的块的两个子块，以及分别与蓝色B滤波器元件和红色R滤波器元件相对应的所述块的其他两个子块。

13.根据权利要求12所述的设备，其中，所述第一子块和所述第二子块与相同的滤波器元件相对应，或者所述第三子块和所述第四子块与相同的滤波器元件相对应。

14.一种相机，包括根据权利要求5至13中的任一项所述的设备。

15.一种计算机程序产品，包括指令，所述指令在由处理器执行时，使所述处理器执行权利要求1-4或9-10中的任一项所述的方法。

Images