CN208820948U - 图像传感设备 - Google Patents

Abstract

彩色图像传感设备、图像处理设备和计算装置。彩色图像传感器包括两个图像传感器和两个元色滤色元阵列，图像传感器与元色滤色元阵列一一对应,各个图像传感器具有相同的面积、传感元数量与排列方式；每个元色滤色元阵列都包括至少一种原色的滤色元，两种元色滤色元包括的滤色元的颜色不同，且两个元色滤色元阵列组成具有全部原色的全色滤色元阵列。本发明的彩色图像传感设备能够显著地提高彩色图像传感设备的信噪比，同时只增加了传感器模块的数量，不增加单个传感器及镜头的体积，不增加单个传感器的制造难度和成本，使得本实用新型易于在手机等移动设备上使用；提高了彩色图像传感器的抗噪能力，提高了颜色还原的准确性。

Description

图像传感设备

技术领域

本实用新型总体地涉及彩色图像传感技术，更具体地涉及彩色图像传感设备及获取数字彩色图像的装置，可以用作各种手机、平板电脑、笔记本电脑、数码相机、数码摄像机等的数字彩色图像、视频获取装置，还涉及彩色图像传感设备的彩色滤色元阵列的渲染与排列方法，以及图像重构方法。

背景技术

数字彩色图像传感设备是数码相机、数码摄像机，已经手机、平板电脑等数字图像设备中的最关键的部件，用于将镜头聚焦的光学图像转换为数字彩色图像。彩色图像传感设备由彩色滤色元阵列和图像传感器两部分共同组成。图像传感器(Image Sensor)的功能是将照射到传感器上的可见光的亮度转换为电信号，并在后续的处理中数字化，产生灰度(黑白)图像。为了获取自然界中的颜色信息产生彩色图像，通常采用在图像传感器的表面需要覆盖一层彩色滤色元阵列(Color Filter Array,CFA)的方法，由彩色滤色元阵列和图像传感器两部分共同组成彩色图像传感设备。

数字图像传感器的作用是将照射到传感器上的可见光的强度数字化，产生灰度(黑白)图像。由于一幅数字图像是由多个像素排列而成的像素阵列，相应地，图像传感器是由多个传感元排列成的传感元阵列，其中每个传感元独立地对接收到的光的强度(亮度)进行数字化，产生数字图像中的一个像素。彩色图像传感设备是在图像传感器的表面覆盖彩色滤色元阵列，并和图像传感器上的传感元阵列一一对应，使得图像传感器能够对可见光中不同颜色的光强(亮度)进行数字化，经过计算设备的重构后，产生彩色图像。图1示出了彩色图像传感设备的结构组成示意图，标号1指示彩色滤色元阵列，标号2指示图像传感器，图像传感器由传感元排列组成，图中R＝ Red表示红色滤色元，G＝Green，表示绿色滤色元，B＝Blue，表示蓝色滤色元，T＝Transparency，表示透明滤色元，滤色元和传感元一一对应。

彩色数字图像设备根据其内部的彩色图像传感器的数量可以分为三种： (1)配备了单图像传感器的彩色数字图像传感设备，该彩色图像传感设备由图像传感器和覆盖其上的三色滤色元阵列所组成，所获取的只是三分之一的彩色图像信号，该信号经过计算设备处理后，重构出彩色图像。基于单图像传感器的彩色图像传感器具有传感器面积小、价格便宜、制造方法成熟等诸多优点，随着计算设备的发展，目前已大规模地用于手机、平板电脑、数码相机、数码摄像机等各种数字图像设备中。(2)多图像传感器的彩色数字图像设备，如3CCD的数码摄像机，3CMOS的数码摄像机等，其设备内部有一个分光多棱镜，将外界射入的可见光分为红、绿、蓝三束，分别由三个独立的图像传感器(CCD或CMOS图像传感器)来接收，并量化为彩色数字图像。3CCD或3CMOS彩色图像传感器上没有滤色元阵列，但需要光学的分光镜，体积庞大，制造复杂，目前只用于一些中大型数字摄像机中。(3)层叠式多图像传感器的彩色数字图像设备，即X3彩色图像传感器(日本Sigma 公司专利)，该传感器采用三层三色结构，即三层重叠的图像传感器，自上而下分别为蓝色、绿色、红色图像传感器。外界入射的光线中蓝色部分先被第一层蓝色图像传感器吸收和数字化，第二层绿色图像传感器吸收入射光中的绿色部分并数字化，第三层的红色图像传感器吸收其余的光线并数字化，从而产生彩色数字图像。X3彩色图像传感器中由于传感器的层叠，上层传感器及其电路对光线具有一定的衰减作用，使得下层传感器能够接收到的光线大幅减少。为了解决这个问题，这类图像传感器通过增加传感器的面积和传感器所含的传感元的面积来提高信噪比，从而使得整个相机体积较大，一般用于单反相机等中大型数码相机中。

现有彩色图像传感设备的技术研究也集中在彩色滤色元的颜色渲染和排列方式上，例如彩色图像传感器中最常用的彩色滤色元阵列是Bayer彩色滤色元阵列，由2x2个RGGB(红绿绿蓝)滤色元重复排列而成。

彩色滤色元阵列有两种基本的形成方式，一种是各种颜色的彩色滤色元随机排列，形成彩色滤色元阵列，另一种是先由不同颜色的滤色元组成一个滤色元组，然后再由滤色元组重复排列形成彩色滤色元阵列。上述两种排列方式均有相关的专利，其中关于彩色滤色元组的专利较多，表1中列出了主要的现有彩色滤色元组的技术。

表1：彩色滤色元阵列中滤色元组的颜色与排列

现有技术的彩色滤色元阵列有如下主要特点：

1)滤色元阵列由三色或四色滤色元随机排列或成组重复排列所组成，滤色元组具有2x2，2x4，3x3，4x4等多种形式；

2)彩色滤色元组内的滤色元具有确定的排列方式；

3)每个彩色数字传感设备包括一个彩色滤色元阵列和一个图像传感器，且传感器上的每个传感元只采集三色或四色中的一个颜色的信号。

上述彩色滤色元阵列加图像传感器所组成的彩色数字图像传感设备虽然将图像传感设备从灰度图像传感设备转变成了彩色数字图像传感设备，但是其滤色元阵列滤去了2/3的光线，只有1/3的光线实际到达图像传感器进行成像，计算设备采用某种算法基于彩色图像传感设备的1/3采样所得到的信息重构出彩色图像。

由于每个传感元都有不可避免的随机采样噪声，1/3的颜色采样降低了彩色图像传感器的信噪比，同时在每个像素的颜色的采样中引入了独立的随机噪声。这个问题在传统的单反相机、微单相机、专业相机等中大型相机里，通过增加传感器的面积和相应地增大相机的镜头，使得每个传感元都获得更多的光线，提高成像的信噪比而得到了缓解。但随着手机等移动设备的普及，为了缩小彩色图像成像模块的体积和重量，手机所使用的彩色图像传感设备中的图像传感器的面积十分有限，而像素数不断提高，图像传感器中单个像元的面积不断缩小。从而造成彩色图像传感设备在光线不足时，信噪比较低，严重影响彩色图像传感设备在光照不足时所获取的彩色图像的质量。而后期的彩色数字图像处理与增强算法(如图8中的a所示)，难以抑制在成像阶段所产生的随机色彩噪声。

上述问题并不能象传统的相机那样通过增加图像传感器的面积和相应地增大镜头来解决。华为等手机制造商通过增加一个辅助的灰度摄像头的方案来提高图像的信噪比，从而部分地缓解上述问题。例如，华为在其P9与P9 Plus等型号的手机，酷派在其Cool1等型号的手机中，推出了彩色摄像头加灰度摄像头的双摄像头方案，彩色摄像头用来获得物体的色彩，而灰度摄像头用来获得物体的明暗细节。然后用彩色数字图像处理与增强算法(请参见图8中的b)将彩色图像和灰度图像融合，使得在暗光下拍照的彩色图像，也能使物体具有丰富的细节。从而抑制了彩色图像的总体噪声，提高了彩色图像的质量。但由于上述方案中，彩色摄像头的彩色图像传感设备本身并没有变化，因此，彩色图像传感设备上的信噪比并没有改善。由于彩色图像传感设备上红绿蓝三色的噪声是随机且相互独立的，这种双摄像头的方案可以增强图像的细节，但依然不能去除彩色图像中来源于彩色图像传感设备的噪声，即彩色图像中的色彩噪声。

除了上述彩色+黑白的双摄像头方案以外，也有手机采用双摄像头方案，如基于双摄像头的立体摄像机，基于双摄像头的光学变焦。例如，苹果公司的iPhone 7Plus的双摄像头，采用两个相同的彩色数字图像传感设备但镜头不同的方案，即其双摄像头的镜头是广角+长焦镜头，用于实现光学变焦和数字变焦的融合。这些双摄像头都是基于现有彩色摄像头和彩色摄像头或灰度摄像头的组合，然后采用算法软件获得彩色图像增强、光学变焦和数字变焦的融合、立体视觉等多种功能，但和上述双摄像头方案一样，在彩色图像传感设备本身上并没有创新。

实用新型内容

鉴于上述情况，提出了本实用新型。

根据本实用新型的一个方面，提供了一种图像传感设备，包括两个图像传感器和两个元色滤色元阵列，图像传感器与元色滤色元阵列一一对应,各个图像传感器具有相同的面积、传感元数量与排列方式；每个元色滤色元阵列都包括至少一种原色的滤色元，第一元色滤色元阵列包括的滤色元与第二元色滤色元包括的滤色元的颜色不同，且两个元色滤色元阵列组成具有全部原色的全色滤色元阵列。

可选的，所述全部原色由第一原色、第二原色、第三原色组成。

可选的，第一元色滤色元阵列由第一原色的滤色元和第二原色的滤色元等比例排列而成，第二元色滤色元阵列由第三原色的滤色元组成。

可选的，第一元色滤色元阵列由第一原色的滤色元和第二原色的滤色元等比例排列而成，第二元色滤色元阵列由第三原色的滤色元和无色的滤色元等比例排列组成。

可选的，第一元色滤色元阵列由第一原色的滤色元和第三原色的滤色元等比例排列而成，第二元色滤色元阵列由第二原色的滤色元和第三原色的滤色元等比例排列组成。

可选的，第一原色和第二原色分别为红色和蓝色，第三原色为绿色。

根据本实用新型的另一方面，提供了一种图像传感设备，包括两个图像传感器和两个元色滤色元阵列，分别称之为第一图像传感器和第二图像传感器，第一元色滤色元阵列和第二元色滤色元阵列，图像传感器与元色滤色元阵列一一对应,第二图像传感器具有的传感元数量多于第一图像传感器具有的传感元数量；每个元色滤色元阵列都包括至少一种颜色的滤色元，第二元色滤色元阵列具有的滤色元数量多于第一元色滤色元阵列具有的滤色元数量；所述第一和第二元色滤色元阵列组成具有全部原色的全色滤色元阵列。

可选的，第一图像传感器具有的传感元数量与第二图像传感器具有的传感元数量传感元的数量之比为a：b<＝1:2，例如a：b＝36:64。

可选的，所述全部原色由第一原色、第二原色、第三原色组成。

可选的，第一元色滤色元阵列由第一原色的滤色元和第二原色的滤色元等比例排列而成，第二元色滤色元阵列由第三原色的滤色元组成。

可选的，第一元色滤色元阵列由第一原色的滤色元和第二原色的滤色元等比例排列而成，第二元色滤色元阵列由第三原色的滤色元和无色的滤色元等比例排列组成。

可选的，第一原色和第二原色分别为红色和蓝色，第三原色为绿色。

根据本实用新型的另一方面，提供了一种图像传感设备，包括多于两个的图像传感器和多于两个的元色滤色元阵列，图像传感器与元色滤色元阵列一一对应,各个图像传感器具有相同的面积、传感元数量与排列方式；每个元色滤色元阵列都包括至少一种原色的滤色元，不同元色滤色元阵列包括的滤色元不同，所述两个以上元色滤色元阵列组成具有全部原色的全色滤色元阵列。

根据本实用新型的另一方面，提供了一种图像传感设备包括多于两个的图像传感器和多于两个的元色滤色元阵列，图像传感器与元色滤色元阵列一一对应,至少两个图像传感器具有不同的传感元数量；每个元色滤色元阵列都包括至少一种原色的滤色元，不同元色滤色元阵列包括的滤色元不同，所述两个以上元色滤色元阵列组成具有全部原色的全色滤色元阵列。

根据本实用新型的另一方面，提供了一种图像处理设备，包括前面任一项所述的图像传感设备和图像处理器，其中所述图像处理器基于各个图像传感器采样得到的信号得到各个对应的子彩色图像，基于所述各个对应的子彩色图像，合成得到最终全彩色图像，其中在一个图像传感器对应的元色滤色元阵列包括多个原色的滤色元的情况下，图像处理器基于所述图像传感器采样得到的信号，得到对应多个原色的每个的单色子彩色图像；在一个图像传感器对应的元色滤色元阵列包括单个原色的滤色元的情况下，图像处理器基于素数图像传感器采样得到的信号，得到对应单个原色的单色子彩色图像；在一个图像传感器对应的元色滤色元阵列包括无色的滤色元的情况下，基于所述图像传感器采样得到的信号，还得到对应灰度图像；以及图像处理器基于与各个图像传感器对应的单个子彩色图像，合成最终彩色图像。

根据本实用新型的另一方面，提供了一种计算装置，包括前述的图像处理设备。

可选的，所述计算装置为智能手机、平板电脑、笔记本电脑、数码相机、数码摄像机中的一种。

根据本实用新型的另一方面，提供了一种利用前述图像传感设备得到的信号来重构彩色图像的图像重构方法，包括基于各个图像传感器采样得到的信号得到各个对应的子彩色图像，基于所述各个对应的子彩色图像，合成得到最终全彩色图像，其中在一个图像传感器对应的元色滤色元阵列包括多个原色的滤色元的情况下，基于所述图像传感器采样得到的信号，得到对应多个原色的每个的单色子彩色图像；在一个图像传感器对应的元色滤色元阵列包括单个原色的滤色元的情况下，基于所述图像传感器采样得到的信号，得到对应单个原色的单色子彩色图像；在一个图像传感器对应的元色滤色元阵列包括无色的滤色元的情况下，基于所述图像传感器采样得到的信号，还得到对应灰度图像；以及基于与各个图像传感器对应的单个子彩色图像，以及在存在灰度图像的情况下，还基于灰度图像，合成最终彩色图像。

根据本实用新型实施例的由双图像传感器和双滤色元阵列组成的彩色图像传感设备，可以显著地提高彩色图像传感设备的信噪比，同时只增加了传感器模块的数量，不增加单个传感器及镜头的体积，不增加单个传感器的制造难度和成本，使得本实用新型易于在手机等移动设备上使用；根据本实用新型实施例的含两个以上图像传感器的彩色图像传感设备和相应的重构算法，提高了彩色图像传感器的抗噪能力，提高了颜色还原的准确性，从而提高了彩色图像传感设备的性能。

附图说明

从下面结合附图对本实用新型实施例的详细描述中，本实用新型的这些和/或其它方面和优点将变得更加清楚并更容易理解，其中：

图1示出了传统的彩色图像传感设备的结构组成示意图。

图2中的a和b一起示出了根据本实用新型实施例的双彩色滤色元阵列的一个具体例子。

图3中的a和b一起示出了根据本实用新型实施例的双彩色滤色元阵列的另一个具体例子。

图4中的a和b一起示出了根据本实用新型实施例的双彩色滤色元阵列的另一个具体例子。

图5中的a和b一起示出了根据本实用新型实施例的双彩色滤色元阵列的另一个具体例子。

图6中的a和b一起示出了根据本实用新型实施例的双彩色滤色元阵列的另一个具体例子。

图7中的a和b一起示出了彩色图像传感设备的双彩色滤色元阵列和双图像传感器。

图8中的a示出了传统的由单个滤色元阵列和单个图像传感器所组成的彩色图像传感器的信号获取与彩色数字图像输出；图8中的b示出了传统的由单个滤色元阵列和单个图像传感器所组成的彩色图像传感器的获取的信号，与另一个图像传感器所获取的灰度数字图像融合处理，增强后的彩色数字图像输出；图8中的c示出了根据本实用新型实施例的由两个滤色元阵列和两个图像传感器所组成的彩色图像传感设备的信号获取与彩色数字图像输出。

具体实施方式

为了使本领域技术人员更好地理解本实用新型，下面结合附图和具体实施方式对本实用新型作进一步详细说明。

在本文中，彩色图像传感设备由图像传感器和滤色元阵列组成，图像传感器由传感元组成，滤色元阵列由滤色元排列组成。

为了使本领域技术人员更好地理解本实用新型，先简单地介绍一般彩色图像传感器的工作原理。如图1所示，彩色图像传感设备由图像传感器和彩色滤色元阵列两部分所组成，其中彩色滤色元阵列有多种颜色渲染方式和排列方式，其共同特征是彩色滤色元阵列至少包含三原色的滤色元(例如，红、绿、蓝三色或青、黄、品红三色)，称为全色滤色元阵列(panchromatic-CFA)，需要说明的是，这里的至少包含三原色的滤色元，并不要求每个滤色元过滤的颜色就是原色，而是只要彩色滤色元阵列所过滤的颜色组合起来含有了三原色即可。在彩色传感设备中，所述的全色滤色元阵列中的滤色元和图像传感器中的传感元一一对应，重复排列，形成一个多像素的彩色图像传感设备。

传统的提高彩色图像信噪比的途径是改进图像传感器的制造方法或工艺，从而降低传感器本身的采样噪声；或者增加图像传感器中每个传感元的面积，可以有两种实现途径，一是增加图像传感器的面积，从而增加每个传感元的面积；二是在图像传感器面积一定的情况下，降低图像传感器的像素数量，从而提高每个传感元的面积。但是增加传感器的面积需要相应地增加镜头的尺寸，从而增加整个彩色摄像头模块的体积，和现代移动设备小型化的要求相悖；而降低彩色图像传感设备的像素数，则更是和当今彩色图像传感设备的发展趋势和市场需求相反。因此，上述提高彩色图像信噪比的实现途径，在当前的图像传感器制造工艺下，在移动设备小型化、高像素化的趋势下，均不可行。

为了解决上述难题，本实用新型采用双图像传感器加双彩色滤色元阵列的方法，增加图像传感器的总面积，从而提高彩色图像传感设备的信噪比。因此，本实用新型提出了一种基于双图像传感器的彩色图像传感设备，包括双图像传感器、与每个图像传感器相应的双彩色滤色元阵列，以及基于双图像传感器的彩色图像重构方法。下面结合图示说明本实用新型的基本原理和具体实施方式。

一、根据本实用新型第一实施例的图像传感设备

根据本实用新型第一实施例的图像传感设备包括两个图像传感器和两个元色滤色元阵列(下文中常称之为双彩色滤色元阵列)，图像传感器与元色滤色元阵列一一对应，各个图像传感器具有相同的面积、传感元数量与排列方式；每个元色滤色元阵列都包括至少一种原色的滤色元，第一元色滤色元阵列包括的滤色元与第二元色滤色元包括的滤色元的颜色不同，且两个元色滤色元阵列组成具有全部原色的全色滤色元阵列。

每个图像传感器都由传感元排列而成，将光强信号转换为电信号，数字化后成为光强的亮度值。两个滤色元阵列是由两个元色滤色元阵列(meta- CFA)所组成的全色滤色元阵列(panchromatic-CFA)。

在一个示例中，全部原色由第一原色、第二原色、第三原色组成，例如红绿蓝三原色。

1.双彩色滤色元阵列

下面结合附图给出各种双彩色滤色元阵列的排列组合方式示例。所有图中和文中所述的无色表示没有颜色，全透明的滤色元，用T(Transparency 透明)表示。图中R＝Red红色，G＝Green绿色，B＝Blue蓝色，T＝ Transparency透明。

(1)双彩色滤色元阵列的第一示例

在第一示例中，第一元色滤色元阵列由第一原色的滤色元和第二原色的滤色元等比例排列而成，第二元色滤色元阵列由第三原色的滤色元组成。图 2示出了这种情况的双彩色滤色元阵列的一个具体例子，其中图2中的a示出了a元色滤色元阵列(或称第一元色滤色元阵列)，其由红蓝两色等比例排列而成，图2中的b示出了b元色滤色元阵列(或称第二元色滤色元阵列)，其中只有绿色一种颜色。a+b两个元色滤色元阵列(即第一元色滤色元阵列和第二元色滤色元阵列)组成了具有红绿蓝三原色的全色滤色元阵列。双彩色滤色元阵列第一示例的特征是将三原色以1+2的方式分布到两个元色滤色元阵列中，对于RGB三原色，共有三种组合，除了图2中的a和b一起示出的例子以外，还有蓝绿+红，红绿+蓝等两种双色+单色的元色滤色元阵列，组合形成全色滤色元阵列。其中单色的元色滤色元阵列实质上就是单色的滤色片，具有制造成本低的天然优势。

(2)双彩色滤色元阵列的第二示例

在第二示例中，第一元色滤色元阵列由第一原色的滤色元和第二原色的滤色元等比例排列而成，第二元色滤色元阵列由第三原色的滤色元和无色的滤色元等比例排列组成。图3中的a和b一起示出了该种情况下的双彩色滤色元阵列的一个具体例子，其中a元色滤色元阵列由红蓝两色等比例排列而成，b元色滤色元阵列由绿色、无色两色等比例排列而成。a+b两个元色滤色元阵列组成了具有红绿蓝三原色+无色的全色滤色元阵列。双彩色滤色元阵列第二示例的特征是将三原色加无色以2+2的方式分布到两个元色滤色元阵列中，共有三种组合，除了图3中的a和b一起示出的例子以外，还有蓝绿+红无，红绿+蓝无等两种双色的元色滤色元阵列，组合形成全色滤色元阵列。

(3)双彩色滤色元阵列的第三示例

在第三示例中，第一元色滤色元阵列由第一原色的滤色元和第三原色的滤色元等比例排列而成，第二元色滤色元阵列由第二原色的滤色元和第三原色的滤色元等比例排列组成。图4中的a和b一起示出了这种情况下的双彩色滤色元阵列的具体示例，其中a元色滤色元阵列由蓝绿两色等比例排列而成，b元色滤色元阵列由红绿两色等比例排列而成。a+b两个元色滤色元阵列组成了具有红绿蓝三原色的全色滤色元阵列。双彩色滤色元阵列第三示例的特征是将三原色以2+2的方式分布到两个元色滤色元阵列中，共有三种组合，除了图4中的a和b一起示出的例子以外，还有蓝绿+蓝红，红绿+蓝红等两种双色的元色滤色元阵列，组合形成全色滤色元阵列。

上述第一至第三双彩色滤色元阵列示例不是本实用新型的穷尽式枚举，基于双传感器的双彩色滤色元的颜色不限于RGB的制式，可以为其它形式，例如，红绿蓝三原色可以用青黄品红三色取代，红绿蓝无色四个可以用青黄品红无色四色取代。根据上述三个双彩色滤色元阵列实施例，青黄品红三色或黄品红无色四色可以相应地组成更多的示例。

2.彩色图像传感设备的与双彩色滤色元阵列的排列方式对应的采样率和图像重构方法

(1)与双彩色滤色元阵列的第一示例对应的采样率和图像重构方法

彩色图像传感设备的双彩色滤色元阵列采用例如图2中的a和b一起所示的a+b两个元色滤色元阵列所组成的具有红绿蓝三原色的全色滤色元阵列，且a元色滤色元阵列包含两种颜色的滤色元，而b元色滤色元阵列则只包含一种颜色的滤色元；彩色图像传感设备的双图像传感器包括两个图像传感器，所述的两个图像传感器具有相同的面积、传感元数量与排列方式等相同的传感器参数。本示例中，b滤色元阵列加图像传感器所组成的单色图像传感器为全采样，而a滤色元阵列加图像传感器所组成的双色图像传感器中两种颜色为1/2采样，采用压缩感知、插值等算法可以重构出两幅单色的图像，二个传感器所获得的三原色图像合并，经过降噪、锐化、图像增强等彩色图像处理算法后，输出彩色数字图像。

(2)与双彩色滤色元阵列的第二示例对应的采样率和图像重构方法

彩色图像传感设备的双彩色滤色元阵列采用如图3中的a和b一起所示的a+b两个元色滤色元阵列所组成的具有红绿蓝三原色的全色滤色元阵列， a、b元色滤色元阵列中均包含两种颜色的滤色元，且b元色滤色元阵列所包含的两种颜色中有一种颜色为无色；彩色图像传感设备的双图像传感器包括两个图像传感器，所述的两个图像传感器具有相同的面积、传感元数量与排列方式等相同的传感器参数。本实施例中，a、b滤色元阵列加图像传感器所组成的双色图像传感器中两种颜色为1/2采样，采用压缩感知、插值等算法可以重构出一幅彩色图像和一幅灰度图像。其中B滤色元阵列加图像传感器所组成的双色图像传感器中，无色滤色元所对应的传感元所得到的数据经过重构后得到的图像为灰度图像。经过彩色图像和灰度图像的联合降噪、锐化、图像增强，以及灰度图和彩色图的融合处理等算法后，输出彩色数字图像。

(3)与双彩色滤色元阵列的第三示例对应的采样率和图像重构方法

彩色图像传感设备的双彩色滤色元阵列采用如图4中的a和b一起所示的a+b两个元色滤色元阵列所组成的具有红绿蓝三原色的全色滤色元阵列，且a、b元色滤色元阵列均包含两种颜色的滤色元，因此，其中有一种颜色是两个滤色元阵列中都有的颜色，例如图4中的a和b中的绿色。彩色图像传感设备的双图像传感器包括两个图像传感器，所述的两个图像传感器具有相同的面积、传感元数量与排列方式等相同的传感器参数。本实施例中，a、b滤色元阵列加图像传感器所组成的双色图像传感器中两种颜色为1/2 采样，采用压缩感知、插值等算法可以重构出四幅单色的图像，且其中有两幅图像的颜色是一样的。这四幅单色图像融合成为彩色图像，经过降噪、锐化、图像增强等算法后，输出彩色数字图像。

二、根据本实用新型第二实施例的图像传感设备

根据本实用新型第二实施例的图像传感设备，包括两个图像传感器和两个元色滤色元阵列，分别称之为第一图像传感器和第二图像传感器，第一元色滤色元阵列和第二元色滤色元阵列，图像传感器与元色滤色元阵列一一对应,第二图像传感器具有的传感元数量多于第一图像传感器具有的传感元数量；每个元色滤色元阵列都包括至少一种颜色的滤色元，第二元色滤色元阵列具有的滤色元数量多于第一元色滤色元阵列具有的滤色元数量；所述第一和第二元色滤色元阵列组成具有全部原色的全色滤色元阵列。第二实施例的图像传感设备与第一实施例的图像传感设备的不同在于：第一实施例的图像传感设备中，各个图像传感器具有相同的面积、传感元数量与排列方式；而在第二实施例的图像传感设备中，第二图像传感器具有的传感元数量多于第一图像传感器具有的传感元数量；每个元色滤色元阵列都包括至少一种颜色的滤色元。

下面描述根据第二实施例的图像传感设备中的双元色滤色元阵列的排列组合方式、图像传感器以及采样率和图像重构方法示例。

1.第一示例

彩色图像传感器的双彩色滤色元阵列采用如图5中的a和b所示的a+b 两个元色滤色元阵列所组成的具有红绿蓝三原色的全色滤色元阵列，且a元色滤色元阵列包含两种颜色的滤色元，而b元色滤色元阵列则只包含一种颜色的滤色元；彩色图像传感器的双图像传感器包括两个图像传感器。所述的两个图像传感器具有不同的传感元数量，且与b元色滤色元阵列相对应的图像传感器具有比a元色滤色元阵列相对应的图像传感器更多的传感元数量。相应地，b滤色元阵列比a元色滤色元阵列具有更多的滤色元。

图5中的a和b示出的实施例中，传感元的数量之比为a：b＝36:64，但在具体实施中，可以有采用各种不同的比例，但总体来说，a：b<＝1:2。本实施例中，b滤色元阵列加图像传感器所组成的单色图像传感器为全采样，而a滤色元阵列加图像传感器所组成的双色图像传感器中两种颜色是 1/2采样，而相对于b单色图像传感器而言，是部分像素采样。采用压缩感知、插值等算法可以重构出两幅全像素的单色图像，进一步和另一个传感器得到的单色图像结合形成彩色图像，经过降噪、锐化、图像增强等彩色图像处理算法后，输出彩色数字图像。

2.第二示例

彩色图像传感设备的双彩色滤色元阵列采用如图6中的a和b所示的 a+b两个元色滤色元阵列所组成的具有红绿蓝三原色的全色滤色元阵列，a、 b元色滤色元阵列中均包含两种颜色的滤色元，且b元色滤色元阵列所包含的两种颜色中有一种颜色为无色；彩色图像传感设备的双图像传感器包括两个图像传感器。所述的两个图像传感器具有不同的传感元数量，且与b元色滤色元阵列相对应的图像传感器具有比a元色滤色元阵列相对应的图像传感器更多的传感元数量。相应地，b滤色元阵列比a元色滤色元阵列具有更多的滤色元。图6中的a和b示出的实施例中，传感元的数量之比为a：b＝ 36:64，但在具体实施中，可以采用各种不同的比例，但总体来说，a：b<＝ 1:2。

本示例中，a滤色元阵列加图像传感器所组成的双色图像传感器中两种颜色为1/2采样，且相对于b图像传感器而言，是部分像素采样。采用压缩感知、插值等算法可以重构出两幅全像素的单色图像。b滤色元阵列加图像传感器所组成的双色图像传感器中两种颜色为1/2采样，可以重构出两幅单色图像，其中无色滤色元所对应的传感元所得到的数据经过重构后得到的图像为灰度图像。两个传感器得到的单色图像结合形成一幅彩色图像和一幅灰度图像。经过彩色图像和灰度图像的联合降噪、锐化、图像增强，以及灰度图和彩色图的融合处理等算法后，输出彩色数字图像。

前文的描述是示例性的，而非限制性的或穷尽式的，可以在实用新型构思范围内进行修改、替代或扩充。

例如，前文中的图像传感设备中，含有两个图像传感器和两个元色滤色元阵列，不过此为优选示例，替代地，可以含有更多的图像传感器和对应数目的元色滤色元阵列，例如含有三个图像传感器和三个元色滤色元阵列，此时，可以具有两种实施方式，一种为各个图像传感器具有相同的面积、传感元数量与排列方式；另一种为至少两个图像传感器具有不同的传感元数量, 两种实施方式中，图像传感器都与元色滤色元阵列一一对应。

根据本实用新型第三实施例，提供了一种图像重构方法，从前述图像传感设备得到的信号来重构彩色图像，包括：基于各个图像传感器采样得到的信号得到各个对应的子彩色图像，基于所述各个对应的子彩色图像，合成得到最终全彩色图像，其中在一个图像传感器对应的元色滤色元阵列包括多个原色的滤色元的情况下，基于所述图像传感器采样得到的信号，得到对应多个原色的每个的单色子彩色图像；在一个图像传感器对应的元色滤色元阵列包括单个原色的滤色元的情况下，基于所述图像传感器采样得到的信号，得到对应单个原色的单色子彩色图像；在一个图像传感器对应的元色滤色元阵列包括无色的滤色元的情况下，基于所述图像传感器采样得到的信号，还得到对应灰度图像；以及基于与各个图像传感器对应的单个子彩色图像，以及在存在灰度图像的情况下，还基于灰度图像，合成最终彩色图像。

图8中的a、b、c示出了传统的彩色图像获得方法和根据本实用新型实施例的彩色数字图像获得方法，其中图8中的a示出了传统的由单个滤色元阵列和单个图像传感器所组成的彩色图像传感设备的信号获取，对获取的信号进行彩色数字图像重构，然后进行彩色数字图像处理与增强，最后得到彩色数字图像输出；图8中的b示出了传统的由单个滤色元阵列和单个图像传感器所组成的彩色图像传感设备的获取的信号被彩色数字图像重构算法处理后得到彩色数字图像，然后与另一个图像传感器所获取的灰度数字图像融合进行彩色图像处理和增强，增强后得到彩色数字图像输出；图8中的c示出了根据本实用新型实施例的由两个滤色元阵列和两个图像传感器所组成的彩色图像传感设备的信号经由彩色数字图像重构算法得到彩色数字图像，经过处理和增强后，得到彩色数字图像输出。

综上本实用新型提供一种彩色图像传感设备及获取彩色数字图像的方法，尤其是提供一种双彩色滤色元阵列及相应的双图像传感器所组成的彩色图像传感设备。所述的双彩色滤色元阵列包括两个元色滤色元阵列，所述的两个元色滤色元阵列中每个元色滤色元阵列都包括一种或两种颜色(需要说明的是，这里的颜色是指彩色，不包括白色，即无色)的滤色元，两种元色滤色元阵列具有不同的颜色，且两个元色滤色元阵列的颜色组合形成全色的彩色滤色元阵列。所述的双图像传感器包括两个图像传感器，所述的元色滤色元阵列覆盖于所述图像传感器表面上，和图像传感器上的传感元一一对应。所述的双彩色滤色元阵列及相应的双图像传感器所组成的彩色图像传感设备加上镜头等组件构成彩色图像摄像头。安装有彩色图像摄像头的计算设备基于双图像传感器的输出及已知的双彩色滤色元阵列中滤色元的排列方式，采用图像重构算法，如插值算法、压缩感知算法等重构出彩色图像的 RGB三色值，形成彩色图像。所述的双图像传感器和相应的重构算法，提高了彩色图像传感设备的抗噪能力，提高了颜色还原的准确性，从而提高了彩色图像传感器的性能。

综上所述，本实用新型实施例的含双图像传感器的彩色图像传感设备的创新点在于以下方面：

(1)双彩色滤色元阵列，其特征为：

(1.1)两个元色滤色元阵列中每个元色滤色元阵列都包括一种或两种颜色的滤色元，

(1.2)两个元色滤色元阵列具有不同的颜色，

(1.3)且两个元色滤色元阵列的颜色组合形成全色的彩色滤色元阵列；

(2)由双彩色滤色元阵列和双图像传感器所组成的彩色图像传感设备，其特征为：

(2.1)两个彩色滤色元阵列，

(2.2)两个图像传感器，

(2.3)两个图像传感器组合形成三原色输出，

(2.4)或两个图像传感器组合形成四色(例如，三原色加白色) 输出，

(2.5)经过彩色图像处理和增强后，输出彩色图像。

彩色图像传感设备是手机等移动设备的关键模块，在传统的单滤色元阵列加单图像传感器的组合下，彩色图像传感器的性能已经接近极限。本发明是彩色图像传感设备领域的重大突破，可广泛地用于手机等小型、移动设备中，提供彩色图像的质量。本实用新型所述的由双滤色元阵列加双图像传感器组成的彩色图像传感设备，在彩色信号获取和彩色图像重构等方面(图8 中的c)和传统的由单滤色元阵列和单图像传感器所组成的彩色图像传感器有本质的区别，也和传统的彩色图像传感器加灰度图像传感器所组成的彩色数字图像成像系统有本质的区别(图8中的a和b)。

根据本实用新型第四实施例的图像处理设备，包括前述图像传感设备和图像处理器，其中所述图像处理器基于各个图像传感器采样得到的信号得到各个对应的子彩色图像，基于所述各个对应的子彩色图像，合成得到最终全彩色图像，其中在一个图像传感器对应的元色滤色元阵列包括多个原色的滤色元的情况下，图像处理器基于所述图像传感器采样得到的信号，得到对应多个原色的每个的单色子彩色图像；在一个图像传感器对应的元色滤色元阵列包括单个原色的滤色元的情况下，图像处理器基于素数图像传感器采样得到的信号，得到对应单个原色的单色子彩色图像；在一个图像传感器对应的元色滤色元阵列包括无色的滤色元的情况下，基于所述图像传感器采样得到的信号，还得到对应灰度图像；以及图像处理器基于与各个图像传感器对应的单个子彩色图像，合成最终彩色图像。

根据本实用新型第五实施例，提供了一种计算装置，包括前述图像处理设备。计算装置可以为智能手机手机、平板电脑、笔记本电脑、数码相机、数码摄像机等等。

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的数据处理方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的数据处理方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上已经描述了本实用新型的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此，本实用新型的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种图像传感设备，其特征在于：包括两个图像传感器和两个元色滤色元阵列，图像传感器与元色滤色元阵列一一对应,

各个图像传感器具有相同的面积、传感元数量与排列方式；

每个元色滤色元阵列都包括至少一种原色的滤色元，第一元色滤色元阵列包括的滤色元与第二元色滤色元包括的滤色元的颜色不同，且两个元色滤色元阵列组成具有全部原色的全色滤色元阵列。

2.根据权利要求1所述的图像传感设备，其特征在于，所述全部原色由第一原色、第二原色、第三原色组成。

3.根据权利要求2所述的图像传感设备，其特征在于，第一元色滤色元阵列由第一原色的滤色元和第二原色的滤色元等比例排列而成，第二元色滤色元阵列由第三原色的滤色元组成。

4.根据权利要求2所述的图像传感设备，其特征在于，第一元色滤色元阵列由第一原色的滤色元和第二原色的滤色元等比例排列而成，第二元色滤色元阵列由第三原色的滤色元和无色的滤色元等比例排列组成。

5.根据权利要求2所述的图像传感设备，其特征在于，第一元色滤色元阵列由第一原色的滤色元和第三原色的滤色元等比例排列而成，第二元色滤色元阵列由第二原色的滤色元和第三原色的滤色元等比例排列组成。

6.一种图像传感设备，其特征在于：包括两个图像传感器和两个元色滤色元阵列，分别称之为第一图像传感器和第二图像传感器，第一元色滤色元阵列和第二元色滤色元阵列，图像传感器与元色滤色元阵列一一对应,

第二图像传感器具有的传感元数量多于第一图像传感器具有的传感元数量；

每个元色滤色元阵列都包括至少一种颜色的滤色元，第二元色滤色元阵列具有的滤色元数量多于第一元色滤色元阵列具有的滤色元数量；所述第一和第二元色滤色元阵列组成具有全部原色的全色滤色元阵列。

7.一种图像传感设备，其特征在于：包括多于两个的图像传感器和多于两个的元色滤色元阵列，图像传感器与元色滤色元阵列一一对应,

各个图像传感器具有相同的面积、传感元数量与排列方式；

每个元色滤色元阵列都包括至少一种原色的滤色元，不同元色滤色元阵列包括的滤色元不同，所述两个以上元色滤色元阵列组成具有全部原色的全色滤色元阵列。

8.一种图像传感设备，其特征在于：包括多于两个的图像传感器和多于两个的元色滤色元阵列，图像传感器与元色滤色元阵列一一对应,

至少两个图像传感器具有不同的传感元数量；

每个元色滤色元阵列都包括至少一种原色的滤色元，不同元色滤色元阵列包括的滤色元不同，所述两个以上元色滤色元阵列组成具有全部原色的全色滤色元阵列。