CN104754321B - 相机数组系统 - Google Patents

Abstract

本发明是有关于一种相机数组系统，包含影像感测装置；混合式彩色滤波数组，设于影像感测装置上；及透镜数组，设于混合式彩色滤波数组上。混合式彩色滤波数组包含多种单色滤波器及至少一个嵌合滤波器；且透镜数组包含多个光学透镜。该至少一个嵌合滤波器被用以进行立体匹配，以估算深度信息。

Description

相机数组系统

技术领域

本发明是有关一种相机数组(camera array)系统，特别是关于一种具混合式彩色滤波数组(hybrid color filter array)的相机数组系统。

背景技术

拜尔(Bayer)滤波器是一种彩色滤波数组，如图1所示，其包含红色(R)、绿色(G)及蓝色(B)滤波器，设于网格状的光传感器上面，其图样经特定配置而具有50％绿色、25％红色及25％蓝色。拜尔滤波器连同光传感器形成影像传感器，其普遍应用于电子装置，例如数字相机或摄影机。

由于拜尔滤波器内的每一彩色滤波器仅通过单一颜色，因此每一像素位置的其它颜色信息必须借由内插计算来得到。因此，具拜尔滤波器的影像传感器所撷取影像的分辨率及影像质量会受到限制。再者，具拜尔滤波器的影像传感器在不同颜色的彩色滤波器之间会造成串音(cross-talk)，因而降低撷取影像的影像质量。在本说明书中，串音指穿透某一像素的光线也同时穿透相邻像素的一种现象，其会降低影像的整体质量。

因此，亟需提出一种新颖的成像系统，用以增加分辨率并消除串音。

由此可见，上述现有的拜尔滤波器在结构与使用上，显然仍存在有不便与缺陷，而亟待加以进一步改进。因此如何能创设一种新型结构的相机数组系统，亦成为当前业界极需改进的目标。

发明内容

本发明的目的在于，克服现有的拜尔滤波器存在的缺陷，而提供一种新型结构的相机数组系统，所要解决的技术问题是使其在于提供一种具混合式彩色滤波数组的相机数组系统，该混合式彩色滤波数组包含多种单色(monochromatic)滤波器及至少一个嵌合(mosaic)滤波器，借此可得到高分辨率，可消除像素传感器之间的串音，可得到高动态范围，能有效估算深度信息，且易于进行影像的重聚焦(re-focusing)。

本发明的目的及解决其技术问题是采用以下技术方案来实现的。依据本发明提出的一种相机数组系统，其中包含：影像感测装置，包含多个像素传感器；混合式彩色滤波数组，设于该影像感测装置上，该混合式彩色滤波数组包含多种单色滤波器及至少一个嵌合滤波器；及透镜数组，设于该混合式彩色滤波数组上，该透镜数组包含多个光学透镜；其中该至少一个嵌合滤波器被用以进行立体匹配，以估算深度信息。

本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。

前述的相机数组系统，其特征在于该影像感测装置包含单晶影像感测装置。

前述的相机数组系统，其特征在于该多种单色滤波器包含至少一个红色滤波器、至少一个绿色滤波器及至少一个蓝色滤波器。

前述的相机数组系统，其特征在于该至少一个嵌合滤波器包含至少一个拜尔滤波器、RGB滤波器、RGBE滤波器、CYYM滤波器、CYGM滤波器、RGBW拜尔滤波器或RGBW滤波器。

前述的相机数组系统，其特征在于每一该光学透镜相应覆盖彩色滤波器，其位于相应的光学透镜底下。

前述的相机数组系统，其特征在于该透镜数组包含晶圆级光学(WLO)透镜数组。

前述的相机数组系统，其特征在于该混合式彩色滤波数组包含嵌合滤波器、红色滤波器、绿色滤波器及蓝色滤波器，其配置为2x2数组，该嵌合滤波器包含拜尔滤波器、RGB滤波器、RGBE滤波器、CYYM滤波器、CYGM滤波器、RGBW拜尔滤波器或RGBW滤波器。

前述的相机数组系统，其特征在于该透镜数组包含四光学透镜，配置为2x2数组，每一该光学透镜相应覆盖位于其下的嵌合滤波器、红色滤波器、绿色滤波器或蓝色滤波器。

前述的相机数组系统，其特征在于该混合式彩色滤波数组包含一红色滤波器、二绿色滤波器、一蓝色滤波器及四嵌合滤波器，其配置为2x4数组，该四嵌合滤波器包含四拜尔滤波器、RGB滤波器、RGBE滤波器、CYYM滤波器、CYGM滤波器、RGBW拜尔滤波器或RGBW滤波器。

前述的相机数组系统，其特征在于该四嵌合滤波器分别设于该混合式彩色滤波数组的四角落，该二绿色滤波器为对角线配置，且该红色滤波器、蓝色滤波器为对角线配置。

前述的相机数组系统，其特征在于该透镜数组包含八光学透镜，配置为2x4数组，每一该光学透镜相应覆盖位于其下的嵌合滤波器、红色滤波器、绿色滤波器或蓝色滤波器。

前述的相机数组系统，其特征在于在进行该立体匹配时，对于每一位移量，位移该多种单色滤波器相应的撷取影像；合成所述位移后影像以形成合成影像；使用量测标准以量测该合成影像与该嵌合滤波器所撷取的嵌合影像之间的相似度；且对于影像的每一像素，根据量测值当中的最小值以得到深度信息。

前述的相机数组系统，其特征在于该量测标准包含绝对差的和(SAD)、平方差的和(SSD)或成本容积(cost-volume)。

本发明与现有技术相比具有明显的优点和有益效果。由以上可知,为达到上述目的，本发明提供了一种相机数组系统，包含：影像感测装置，包含多个像素传感器；混合式彩色滤波数组,设于该影像感测装置上，该混合式彩色滤波数组包含多种单色滤波器及至少一个嵌合滤波器；及透镜数组，设于该混合式彩色滤波数组上，该透镜数组包含多个光学透镜；其中该至少一个嵌合滤波器被用以进行立体匹配,以估算深度信息。根据本发明实施例，相机数组系统包含影像感测装置、混合式彩色滤波数组及透镜数组。影像感测装置包含多个像素传感器。混合式彩色滤波数组设于影像感测装置上，该混合式彩色滤波数组包含多种单色滤波器及至少一个嵌合滤波器。透镜数组设于混合式彩色滤波数组上，该透镜数组包含多个光学透镜。该至少一个嵌合滤波器被用以进行立体匹配，以估算深度信息。

借由上述技术方案，本发明相机数组系统至少具有下列优点及有益效果：在于提供一种具混合式彩色滤波数组的相机数组系统，该混合式彩色滤波数组包含多种单色(monochromatic)滤波器及至少一个嵌合(mosaic)滤波器，借此可得到高分辨率，可消除像素传感器之间的串音，可得到高动态范围，能有效估算深度信息，且易于进行影像的重聚焦(re-focusing)。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。

附图说明

图1显示拜尔滤波器的配置。

图2显示本发明第一实施例的相机数组系统的示意图。

图3A至图3H显示一些传统嵌合滤波器。

图4显示本发明第二实施例的相机数组系统的示意图。

图5显示具拜尔滤波器的成像装置、具红色滤波器的成像装置、具绿色滤波器的成像装置以及具蓝色滤波器的成像装置所分别撷取的四影像。

200：相机数组系统 210：相机数组系统

21：影像感测装置 23：混合式彩色滤波数组

23R：红色滤波器 23G：绿色滤波器

23B：蓝色滤波器 23Ba：拜尔滤波器

25：透镜数组 251：光学透镜

R：红色 G：绿色

B：蓝色 E：翡翠绿色

C：青色 Y：黄色

M：紫红色 W：白色

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的相机数组系统其具体实施方式、结构、特征及其功效，详细说明如后。

图2显示本发明第一实施例的相机数组系统200的示意图。在本实施例中，相机数组系统200包含影像感测装置21，其由多个像素传感器(未显示)所组成。影像感测装置21可为电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)影像感测装置。本实施例的影像感测装置21较佳为单晶(monolithic)影像感测装置，其制作于单一芯片上。

相机数组系统200还包含混合式彩色滤波数组23，设于影像感测装置21面向入射光的表面上。混合式彩色滤波数组23包含多个彩色滤波器(图2例示有四个彩色滤波器)，其配置成2x2数组。借此，每一彩色滤波器相应覆盖部分的像素传感器。

一般来说，混合式彩色滤波数组23可包含多种单色滤波器及至少一个嵌合滤波器。在本说明书中，“单色”(例如红色、绿色或蓝色)一词指狭小波段的可见或不可见光。“嵌合滤波器”(例如拜尔滤波器)一词指包含不同颜色滤波器(例如拜尔滤波器的红色、绿色及蓝色滤波器；CYGM滤波器的青色、黄色、绿色及紫红色滤波器)经特定配置而成的彩色滤波数组。

虽然以下实施例系以拜尔滤波器作为例示，然而也可以使用其它传统的嵌合滤波器。图3A至图3H显示一些传统嵌合滤波器。其中，图3A显示拜尔滤波器，其包含蓝色滤波器(B)、红色滤波器(R)及二绿色滤波器(G)，配置成2x2数组。拜尔滤波器为RGB滤波器的一种，其由红色、绿色及蓝色滤波器所组成。图3B显示类拜尔(Bayer-like)滤波器，其包含蓝色滤波器(B)、红色滤波器(R)、绿色滤波器(G)及翡翠绿色滤波器(E)，配置成2x2数组。换句话说，拜尔滤波器的二绿色滤波器被置换为翡翠绿色滤波器。图3C显示CYYM滤波器，其包含青色滤波器(C)、二黄色滤波器(Y)及紫红色滤波器(M)，配置成2x2数组。图3D显示CYGM滤波器，其包含青色滤波器(C)、黄色滤波器(Y)、绿色滤波器(G)及紫红色滤波器(M)，配置成2x2数组。图3E显示RGBW拜尔滤波器，其包含红色滤波器(R)、绿色滤波器(G)、蓝色滤波器(B)及白色滤波器(W)，配置成2x2数组。RGBW拜尔滤波器类似于拜尔滤波器，但将拜尔滤波器的二绿色滤波器置换为白色滤波器。图3F显示一种RGBW滤波器，其包含二红色滤波器(R)、四绿色滤波器(G)、二蓝色滤波器(B)及八白色滤波器(W)，配置成4x4数组，其中白色滤波器占50％。图3G显示另一种RGBW滤波器，其包含二红色滤波器(R)、四绿色滤波器(G)、二蓝色滤波器(B)及八白色滤波器(W)，配置成4x4数组，其中白色滤波器占50％。图3H显示又一种RGBW滤波器，其包含红色滤波器(R)、二绿色滤波器(G)、蓝色滤波器(B)及四白色滤波器(W)，配置成2x4数组，其中白色滤波器占50％。

在图2所例示的实施例中，混合式彩色滤波数组23包含红色滤波器23R、绿色滤波器23G、蓝色滤波器23B及拜尔滤波器23Ba，所述滤波器配置成2x2数组。彩色滤波器23R、23G、23B及23Ba之间的相对位置并不限定于图2所示者。例如，红色滤波器23R或绿色滤波器23G并一定要位于拜尔滤波器23Ba的侧边。

相机数组系统200还可包含透镜(lens)数组25，设于混合式彩色滤波数组23面向入射光的表面上。本实施例的透镜数组25较佳为晶圆级光学(WLO)透镜数组，其使用晶圆层级的半导体技术所制造，因而得以具成本效益方式以制作缩小尺寸的微型光学组件。透镜数组25可包含多个光学透镜251(图2例示有四个光学透镜251)，其配置成2x2数组。借此，每一光学透镜251相应覆盖彩色滤波器23R/23G/23B/23Ba，其位于相应的光学透镜251底下。所述光学透镜251可具有不同的光学参数，用以实施各种不同的应用。

根据本实施例的特征之一，混合式彩色滤波数组23同时混合使用了单色滤波器(例如红色滤波器23R、绿色滤波器23G及蓝色滤波器23B)及嵌合滤波器(例如拜尔滤波器23Ba)，因此称为“混合式”彩色滤波数组23。其中，单色滤波器23R/23G/23B可达到高分辨率(或称超分辨率(super resolution))。此外，单色滤波器23R/23G/23B还可消除影像感测装置21的像素传感器间的串音。另一方面，因为嵌合滤波器23Ba由不同颜色(例如红色、绿色及蓝色)滤波器所组成，因此具有较高的动态范围。

图4显示本发明第二实施例的相机数组系统210的示意图。图4所例示的第二实施例类似于图2所例示的第一实施例,其差异将于后续说明。本实施例与前一实施例相同的部分则不予叙述。图4所例示的相机数组系统210可包含影像感测装置21；混合式彩色滤波数组23，设于影像感测装置21上；及透镜数组25，设于混合式彩色滤波数组23上。

在本实施例中，混合式彩色滤波数组23包含八个(而非四个)彩色滤波器，其配置成2x4数组。借此，每一彩色滤波器相应覆盖部分的像素传感器。

在本实施例中，混合式彩色滤波数组23包含一个红色滤波器23R、二个绿色滤波器23G、一个蓝色滤波器23B及四个拜尔滤波器23Ba，其配置成2x4数组。假设混合式彩色滤波数组23为矩形，则四个拜尔滤波器23Ba分别设于混合式彩色滤波数组23的四个角落。二个绿色滤波器23G对角线配置，使得该二个绿色滤波器23G不会位于彼此的侧边。红色滤波器23R与蓝色滤波器23B对角线配置，使得红色滤波器23R与蓝色滤波器23B不会位于彼此的侧边。

在本实施例中，透镜数组25包含八个(而非四个)光学透镜251，配置成2x4数组。借此，每一光学透镜251相应覆盖彩色滤波器23R/23G/23B/23Ba，其分别位于相应的光学透镜251底下。

图4所示实施例具有图2所示实施例的优点，再者，根据本实施例的特征之一，分别设于混合式彩色滤波数组23四个角落的拜尔滤波器23Ba还可借由其不同颜色彩色滤波器(例如红色滤波器、绿色滤波器及蓝色滤波器)以进行影像的重聚焦(re-focusing)。

根据上述实施例所揭示的架构，每一彩色滤波器23R/23G/23B/23Ba连同相应的光学透镜251及相应的像素传感器可形成成像装置(imager)。由于所述成像装置分别从不同的光学透镜251接收入射光，因此由二成像装置所撷取的二影像的相应像素之间会造成差异(通常称为像差(disparity))。像差反比于影像深度。为了解决二影像的相应像素间的差异问题，需要使用立体匹配(stereo matching)来解决。

根据上述实施例的另一特征，借由嵌合滤波器(例如拜尔滤波器23Ba)以进行立体匹配，有效地决定(或估算)深度信息。图5显示具拜尔滤波器的成像装置、具红色(R)滤波器的成像装置、具绿色(G)滤波器的成像装置以及具蓝色(B)滤波器的成像装置所分别撷取的四影像(例如拜尔、红色、绿色、蓝色影像)。当进行立体匹配时，红色影像沿X(或水平)轴向位移，其位移量为d(位移后的红色影像标示为R(x-d,y))；绿色影像沿Y(或垂直)轴向位移，其位移量为d(位移后的绿色影像标示为G(x,y-d))；且蓝色影像沿X及Y轴向位移，其位移量分别为d(位移后的蓝色影像标示为B(x-d,y-d))。

对于某给定的位移量d，位移后的红色、绿色及蓝色影像经合成而形成合成影像。接着，使用量测标准(例如绝对差的和(SAD)或平方差和(SSD))以量测(位移后)合成影像与(未位移)拜尔影像之间的相似度(similarity)。对于影像的某一像素，可根据所述量测值当中的最小值以得到深度信息(其值反比于位移量)。在本实施例中，由于使用了四影像(或视图)，相较于传统方法使用二视图，因此本实施例可较正确地估算影像深度。

深度信息也可使用其它传统深度估算算法来获得。在一实施例中，对于每一像素，计算(位移后)合成影像与(未位移)拜尔影像之间的彩色(color)及梯度(gradient)的绝对差值。集合所述绝对差值(或称为成本(cost))以形成立体的成本容积(cost-volume)，对其进行过滤(filter)运算后，再从过滤后的成本容积当中决定(或选择)最小值，借此可获得深度信息。有关上述算法的细节可参阅C.Rhemann等人所著的“Fast Cost-VolumeFiltering for Visual Correspondence and Beyond”，其发表于公元2011年美国电机电子工程师学会计算机视觉与图形辨识(IEEE Computer Vision and PatternRecognition)，其内容视为本说明书的一部分。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (14)

1.一种相机数组系统，其特征在于包含：

影像感测装置，包含多个像素传感器；

混合式彩色滤波数组，设于该影像感测装置上，该混合式彩色滤波数组包含多种单色滤波器及至少一个嵌合滤波器；及

透镜数组，设于该混合式彩色滤波数组上，该透镜数组包含多个光学透镜；

其中该至少一个嵌合滤波器被用以进行立体匹配，以估算深度信息；

该混合式彩色滤波数组包含嵌合滤波器、红色滤波器、绿色滤波器及蓝色滤波器，其配置为2x2数组，该嵌合滤波器包含RGB滤波器、RGBE滤波器、CYYM滤波器、CYGM滤波器或RGBW滤波器。

2.如权利要求1所述的相机数组系统，其特征在于该影像感测装置包含单晶影像感测装置。

3.如权利要求1所述的相机数组系统，其特征在于每一该光学透镜相应覆盖彩色滤波器，其位于相应的光学透镜底下。

4.如权利要求1所述的相机数组系统，其特征在于该透镜数组包含晶圆级光学透镜数组。

5.如权利要求1所述的相机数组系统，其特征在于该透镜数组包含四光学透镜，配置为2x2数组，每一该光学透镜相应覆盖位于其下的嵌合滤波器、红色滤波器、绿色滤波器或蓝色滤波器。

6.如权利要求1所述的相机数组系统，其特征在于该嵌合滤波器包含拜尔滤波器。

7.如权利要求1所述的相机数组系统，其特征在于该嵌合滤波器包含RGBW拜尔滤波器。

8.一种相机数组系统，其特征在于包含：

影像感测装置，包含多个像素传感器；

混合式彩色滤波数组，设于该影像感测装置上，该混合式彩色滤波数组包含多种单色滤波器及至少一个嵌合滤波器；及

透镜数组，设于该混合式彩色滤波数组上，该透镜数组包含多个光学透镜；

其中该至少一个嵌合滤波器被用以进行立体匹配，以估算深度信息；

该混合式彩色滤波数组包含红色滤波器、二绿色滤波器、蓝色滤波器及四嵌合滤波器，其配置为2x4数组，该四嵌合滤波器包含RGB滤波器、RGBE滤波器、CYYM滤波器、CYGM滤波器或RGBW滤波器。

9.如权利要求8所述的相机数组系统，其特征在于该四嵌合滤波分别设于该混合式彩色滤波数组的四角落,该二绿色滤波器为对角线配置，且该红色滤波器、蓝色滤波器为对角线配置。

10.如权利要求9所述的相机数组系统，其特征在于该透镜数组包含八光学透镜，配置为2x4数组，每一该光学透镜相应覆盖位于其下的嵌合滤波器、红色滤波器、绿色滤波器或蓝色滤波器。

11.如权利要求8所述的相机数组系统，其特征在于该四嵌合滤波器包含四拜尔滤波器。

12.如权利要求8所述的相机数组系统，其特征在于该四嵌合滤波器包含四RGBW拜尔滤波器。

13.一种相机数组系统，其特征在于包含：

影像感测装置，包含多个像素传感器；

混合式彩色滤波数组，设于该影像感测装置上，该混合式彩色滤波数组包含多种单色滤波器及至少一个嵌合滤波器；及

透镜数组，设于该混合式彩色滤波数组上，该透镜数组包含多个光学透镜；

其中该至少一个嵌合滤波器被用以进行立体匹配，以估算深度信息；

在进行该立体匹配时，对于每一位移量，位移该多种单色滤波器相应的撷取影像；合成所述位移后影像以形成合成影像；使用量测标准以量测该合成影像与该嵌合滤波器所撷取的嵌合影像之间的相似度；且对于影像的每一像素，根据量测值当中的最小值以得到深度信息。

14.如权利要求13所述的相机数组系统，其特征在于该量测标准包含绝对差和、平方差和或成本容积。