CN101036380A - 创建彩色图像的方法、成像设备和成像模块 - Google Patents

创建彩色图像的方法、成像设备和成像模块 Download PDF

Info

Publication number
CN101036380A
CN101036380A CNA2004800441494A CN200480044149A CN101036380A CN 101036380 A CN101036380 A CN 101036380A CN A2004800441494 A CNA2004800441494 A CN A2004800441494A CN 200480044149 A CN200480044149 A CN 200480044149A CN 101036380 A CN101036380 A CN 101036380A
Authority
CN
China
Prior art keywords
image
lens system
phase mask
transducer
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2004800441494A
Other languages
English (en)
Inventor
T·科勒迈南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN101036380A publication Critical patent/CN101036380A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Blocking Light For Cameras (AREA)

Abstract

提供一种包含有至少三个图像捕获装置的成像设备。每个装置包括一个镜头系统和一个传感器,并且被配置用来生成图像。该设备还包括一个处理器,处理器被配置用来将该图像的至少一部分进行彼此组合以生成彩色图像。每个镜头系统包括一个相位掩膜,相位掩膜修改入射光线的相位以至经过镜头系统后的光线的分布对传感器的位置不敏感。

Description

创建彩色图像的方法、成像设备和成像模块
技术领域
本发明涉及在包括至少三个图像捕获装置的成像设备中创建彩色图像。
背景技术
摄影的普及性在不断增加。特别是数码摄影,因为廉价数码相机的供应已经提高。移动电话中的集成相机也是造成摄影的普及性增加的原因之一。
小型相机的需求在不断增加。小尺寸相机对相机制造商是一个挑战,因为降低相机的尺寸最好不降低相机生成的图像的质量。
降低相机尺寸的一种可能性是使用lenslet技术。这种解决方案在数码相机中特别有用。在lenslet技术中,相机是用至少三个图像捕获装置实现的,每个装置包括独立的镜头系统。该装置使用传感器生成图像。与常规相机相比,在lenslet相机中镜头与传感器之间的距离更短。因此,可以把相机设计的很小。与lenslet相机有关的一个已知问题是lenslet系统要求在生产阶段的很高的精度。Lenslet相机需要精密光学元件并且要求这些元件之间精确校准。迄今为止,很难在lenslet相机中实现调焦装置。
自然,图像的质量对每个摄影师都是很重要的。在许多场合中,难以估计摄影时使用的正确参数。在许多情况中,小尺寸相机自动确定许多参数,因为相机的用户接口必须保持是简单的。例如,许多相机配备有自动聚焦系统,用户不需要考虑聚焦。相机可以测量物体与该相机之间的距离,并且以该测量为基础自动聚焦,或者把相机的焦距固定到预定距离(实际上固定到无穷远)。特别是在低成本相机中,后一种选择方案更普遍。然而,这种选择方案要求在生产阶段的精度。
人们提出了波前编码技术(WFC)以增加景深。例如,在WO09052331中描述了WFC。当相机聚焦到处在指定距离处的物体时,景深是看起来很清晰的物体的前面和后面的区域。借助WFC,景深通常可以增加十倍。然而,迄今为止,WFC主要用在单色成像系统中,因为在使用通用Bayer矩阵的彩色照相机中,它具有非最佳的信号采样的缺点。
发明内容
本发明的目的是提供用于创建彩色图像的改进的解决方案。本发明的另一个目的是通过降低精度要求来促进相机的生产。
根据本发明的一个方面,提供一种包含有至少三个图像捕获装置的成像设备,其中每个装置包括一个镜头系统和一个传感器,并且被配置用来生成图像,该设备还包括一个处理器,该处理器被配置用来将该图像的至少一部分进行彼此组合,以生成彩色图像。每个镜头系统包括一个相位掩膜,该掩膜修改入射光线的相位以至经过了镜头系统后的光线的分布对传感器的位置不敏感。
根据本发明的另一方面,提供一种用于在包含有至少三个图像捕获装置的成像设备中创建彩色图像的方法,其中每个装置包括一个镜头系统和一个传感器,并且被配置用来生成图像,其中该彩色图像是通过对该图像的至少一部分进行彼此组合而生成的。该方法包括:利用相位掩膜处理每个镜头系统中的入射光线,其中该相位掩膜修改入射光线的相位以至经过了镜头系统后的光线的分布对传感器的位置不敏感;通过去除该图像中的相位掩膜的影响,在处理器中处理每个装置获得的图像;以及对每个装置生成的经过处理的图像进行彼此组合,由此获得彩色图像。
根据本发明的另一方面,提供一种包含有至少三个图像捕获装置的成像设备模块,每个装置包括一个镜头系统和一个传感器,并且被配置用来生成图像。每个镜头系统包括一个相位掩膜,该相位掩膜修改入射光线的相位以至经过了镜头系统后的光线的分布对传感器的位置不敏感。
本发明具有许多优点。在一个实施例中,因为可以避免与生产有关的精度要求,本发明使lenslet技术能够用在彩色照相机中。由于WFC固有的延伸景深,WFC使得无需对lenslet相机进行调焦。
因为可以避免与Bayer矩阵解决方案有关的问题,WFC可以有效用在彩色lenslet相机中。通过在lenslet相机中使用WFC,可以解决各颜色分量的不规则的稀疏采样的问题。因为分别对每个RGB颜色分量进行采样,所以采样是规则的、非稀疏的(每个像素对同一光谱分量采样)。
借助相位掩膜,可以使景深范围例如为常规系统的10到20倍。本发明使得lenslet相机对聚焦误差不敏感。这样,相机不再需要精密昂贵的光学元件,相机系统中也不需要内置调焦装置。可以使用诸如标准注射成型的标准技术来生产lenslet相机中使用的镜头。由于生产过程不要求调焦,所以其结构简单、稳定,能够快速生产并且便宜。
附图说明
以下参照实施例和附图更详细地描述本发明,其中:
图1说明了一个实施例的成像设备的一个示例;
图2A和2B说明了图像传感装置的一个示例;
图2C说明了彩色图像组合的一个示例;
图3A和3B说明了图像的相位掩膜处理和反向过滤;
图4A和4B说明了相位掩膜的操作的基于光线的示例;以及
图5说明了信号处理器的操作。
具体实施方式
图1说明可以在本发明的某些实施例中使用的普通数字成像设备。请注意,本发明的实施例也可以用在与图1的装置不同的数码相机中,图1仅仅是可能结构的一个示例。
图1的装置包括图像传感装置100。该图像传感装置包括镜头组件和图像传感器。以下将更详细地描述装置100的结构。图像传感装置捕获图像并将捕获的图像转换为电子形式。将装置100生成的电信号引导到A/D转换器102,后者将模拟信号转换为数字形式。数字化的信号从转换器到达信号处理器104。在信号处理器中处理图像数据以创建图像文件。图像传感装置100的输出信号包含有需要进行后处理的原始图像数据,所述后处理例如白平衡和彩色处理。信号处理器还负责向图像传感装置100提供曝光控制命令106。
该装置还包括信号处理器用来存储所完成的图像的图像存储器108、用于数据和程序存储的工作存储器110、显示器112和用户接口114,所述用户接口通常包括键盘或者供用户向该装置提供输入的对应装置。
图2A说明图像传感装置100的一个示例。在本例中,图像传感装置包括镜头组件200,该镜头组件包括具有四个镜头的一个lenslet阵列。该装置还包括图像传感器202、相位掩膜装置203、光圈挡片204、彩色滤光片装置206和红外滤光片208。
图2B说明从另一个位置观察到的图像传感装置的结构。在本例中,镜头组件200包括位于lenslet阵列中的四个独立镜头210-216。相应地,光圈挡片204包括用于每个镜头的固定光圈218-224。该光圈挡片控制进入镜头的光的量。请注意,光圈挡片的结构与本实施例无关,亦即,不要求每个镜头的光圈值必须相同。镜头的数目也不限于四个。
图像传感装置的相位掩膜装置203包括用于每个镜头的相位掩膜250-256。该相位掩膜修改入射光线的相位,以至经过镜头后的光线的分布对传感器的位置不敏感。也可以用镜头表面上的薄膜涂层实现相位掩膜。稍后将更详细地解释相位掩膜。
在本例中,图像传感器装置的彩色滤光片装置206包括三个彩色滤光片,亦即,分别位于镜头210-214前面的红色滤光片226、绿色滤光片228和蓝色滤光片230。在本例中,传感器阵列202被分成四部分234-239。因此,在本例中,图像传感装置包括四个图像捕获装置240-246。因此,图像捕获装置240包括一个彩色滤光片226、一个光圈218、一个相位掩膜250、一个镜头210以及传感器阵列的一部分234。分别地,图像捕获装置242包括一个彩色滤光片228、一个光圈220、一个相位掩膜252、一个镜头212以及传感器阵列的一部分236,而图像捕获装置244包括一个彩色滤光片230、一个光圈222、一个相位掩膜254、一个镜头214以及传感器阵列的一部分238。第四图像捕获装置246包括一个光圈224、一个相位掩膜256、一个镜头216以及传感器阵列的一部分239。因此,在本例中,第四装置246不包括彩色滤光片。
因此,图2A和图2B的图像传感装置能够在图像传感器202上形成四个独立图像。图像传感器202通常但未必是一个单独的固态传感器,如本领域的技术人员熟知的CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)。在一个实施例中,可以按上述方式在镜头之间分配图像传感器202。图像传感器202也可以包括四个不同的传感器,每个镜头一个。图像传感器202把光转换成电流。在图像捕获装置中,如图1所示,A/D转换器102将该电子模拟信号转换成数字形式。传感器202包括一给定数目的像素。传感器中的像素数决定传感器的分辨率。响应于光线,每个像素生成一个电信号。成像装置的传感器中的像素数是一个设计参数。通常,在低成本成像装置中,沿着传感器的长边和短边的像素数是640×480。这种分辨率的传感器通常被称为VGA传感器。一般而言,传感器中的像素数越大,传感器生成的图像的越细致。
因此,图像传感器202对光线敏感,并且在曝光时生成电信号。然而,传感器不能区分各种不同颜色。因此,传感器本身仅能生成黑色和白色图像。人们提出了许多解决方案以使数字成像装置生成彩色图像。本领域的熟练技术人员熟知,只要在图像捕获阶段使用三基色就能生成全彩色图像。一种广泛使用的三种适合颜色的组合是红、绿和蓝(RGB)。另一种广泛使用的组合是青色、品红和黄色(CMY)。其它组合也是可能的。尽管可以使用三种颜色合成所有颜色,但是其它解决方案也是可行的,如RGBE,其中翠绿色作为第四种颜色。
单镜头数字图像捕获装置中使用的一个解决方案是,在图像传感器的前面提供彩色滤光片阵列,该滤光片由三颜色模式的RGB或CMY颜色组成。此种解决方案通常称为Bayer矩阵。当使用RGB Bayer矩阵滤光片时,通常按下述方式用单色滤光片覆盖每个像素,在水平方向上,每隔一个像素用绿色滤光片进行覆盖,并且每隔一行用红色滤光片对每隔另一个的像素进行覆盖且每隔另一行用蓝色滤光片对每隔另一个的像素进行覆盖。在其波长与一单种颜色的波长相对应的滤光片的光下,该单种颜色过滤穿越从而到达传感器像素。信号处理器按以下方式对从传感器那里接收的图像信号进行插值,所有像素接收全部三种颜色的颜色值。因此,可以生成彩色图像。
在图2A的多镜头实施例中,使用不同的方法生成彩色图像。图像传感装置包括位于镜头组件200前面的彩色滤光片装置206。实际上,该滤光片装置也可以位于该装置的不同部分内,例如,位于镜头和传感器之间。在一个实施例中,彩色滤光片装置206包括三个滤光片,三个RGB颜色的每种颜色一个,每个滤光片都在镜头的前面。可选地,也可以使用CMY颜色或其它颜色空间。在图2B的示例中,镜头210与红色滤光片相关联,镜头212与绿色滤光片相关联,而镜头214与蓝色滤光片相关联。因此,镜头216没有彩色滤光片。正如图2A所示,在某一实施例中,镜头组件可以包括与镜头相关联的红外滤光片208。红外滤光片无需覆盖所有镜头,因为它可以处于任何位置,例如,介于镜头和传感器之间。
因此,镜头组件200的每个镜头生成到达传感器202的一个独立图像。按以下方式在镜头之间分配该传感器,即使得各镜头生成的图像不重叠。分配给各镜头的传感器的区域可以是相同的,也可以具有不同尺寸,这取决于各实施例。在本例中,假设传感器202是VGA成像传感器,并且假设分配给每个镜头的部分234-239具有四分之一VGA(QVGA)分辨率(320×240)。
如上所述,对传感器202生成的电信号进行数字化,并将其引到信号处理器104。该信号处理器处理来自传感器的信号,以便依据来自镜头210-214的信号生成三个独立的子图像,每个子图像用单种颜色滤光。信号处理器进一步处理这些子图像,并利用这些子图像组合成一个VGA分辨率的图像。图2C说明利用这些子图像组合最终的图像的一个可能的实施例。该示例假设lenslet的每个镜头包括一个彩色滤光片,从而有两个绿色滤光片,一个蓝色滤光片和一个红色滤光片。图2C表示一个组合图像250的左上角,以及四个子图像,绿色子图像252、红色子图像254、蓝色子图像256和绿色子图像258。因此,每个子图像包括一个320×240像素阵列。子图像的左上部的像素彼此对应,其不同之处仅仅在于生成像素信息所用的滤光片不同。首先登记各子图像。登记意指把任意两个像点标识为与同一物理点相对应。组合图像的左上部像素R1C1是从绿色1图像252中取得的。像素R1C2是从红色图像254中取得的,像素R2C1是从蓝色图像256中取得的,而像素R2C2是从绿色2图像258中取得的。对组合图像250中的所有像素重复该处理。在该处理之后,把组合图像的像素结合起来,从而每个像素具有全部三个RGB颜色。最终的图像的总分辨率与具有VGA传感器阵列和相应的Bayer颜色矩阵的单镜头系统生成的图像一致。
在一个实施例中,在组成最终的图像时,信号处理器104可以考虑由镜头210-214彼此之间的距离引起的视差。
对传感器202生成的电信号进行数字化,并将其引到信号处理器104。该信号处理器用以下方式处理来自传感器的信号,根据镜头210-214的信号生成三个独立的子图像,每个子图像用单种颜色进行滤光。该信号处理器进一步处理这些子图像,并根据这些子图像组合VGA分辨率图像。因此,每个子图像包括一个320×240像素阵列。子图像的左上部的像素彼此对应,其不同之处仅仅在于生成像素信息使用的彩色滤光片不同。由于视差的缘故,子图像的相同像素未必彼此对应。利用算法对视差进行补偿。可以把最终的图像形成描述为包括许多步骤:首先,登记三个子图像(也称为匹配)。登记意指把任意两个像点标识为与同一物理点相对应。接着,对子图像进行插值,把经过插值的子图像结合起来形成一个RGB彩色图像。插值和结合也可以采用另一种顺序。最终的图像的总分辨率与具有VGA传感器阵列和相应的Bayer颜色矩阵的单镜头系统生成的图像一致。
利用三个图像捕获装置240-244生成的子图像用以生成一个彩色图像。第四图像捕获装置246的属性可以与其它装置的属性不同。光圈挡片204可以包括其大小适合第四图像捕获装置246的光圈224,后者的光圈与其它三个图像捕获装置的光圈不同。可以把信号处理器104配置成这样的,将第四图像捕获装置生成的子图像的至少一部分与三个图像捕获装置240-244生成的子图像进行组合,以生成具有增强图像质量的彩色图像。可以把信号处理器104配置成这样的,分析图像捕获装置生成的图像,然后确定组合这些图像的哪些部分。也可以以许多其它方式来使用第四图像捕获装置,这些方式与本发明无关,因此,在此不作解释。
以下研究相位掩膜装置。常常使用光传递函数(OTF)来描述镜头系统的操作。光传递函数描述镜头系统是如何影响通过该镜头系统的光线的。作为空间频率ω的函数,光传递函数给出镜头系统中的光线的衰减T和光线的相移θ:
OTF(ω)=T(ω)·eiθ(ω)
衰减T可以称为调制传递函数(MTF),而相移θ可以称为相位传递函数(PTF)。相位掩膜按照以下方式修改镜头系统的光传递函数,该传递函数对传感器的位置不敏感。
图3A说明相位掩膜装置203的操作。该图表示相位掩膜300和镜头302。在本例中,相位掩膜在镜头的前面。也可以以镜头表面的任何一面上的薄膜涂层的方式实现掩膜。实际上,相位掩膜的优选位置是靠近镜头系统的孔径光阑。在本例中,入射光线304首先到达相位掩膜。该相位掩膜修改入射光线的波前的相位。波前通过镜头302,折射光线进入图像传感器306。该传感器检测光线,并将其转换为电信号。将该信号引到处理器308。由于相位掩膜修改了光传递函数,所以必须补偿该修改,以获取清晰图像。该处理器对该信号执行诸如滤波的图像重构。该重构可能包括利用该镜头系统的近似光传递函数的逆函数对该信号进行滤波。
在图3B中,利用包含有镜头302和相位掩膜300的镜头系统拍摄三个斑点310。传感器检测到三个斑点312。由于相位掩膜的缘故,斑点变得更大,且不匀称。然而,斑点在图像的每个场景点上总是相似的,几乎与物体和镜头系统之间的距离无关。因为我们知道斑点的失真取决于相位掩膜的性质,并且通过利用反向滤波器处理314传感器输出,可以消除失真。因此,获得更小的斑点316。
图4A和图4B说明相位掩膜操作的基于光线的示例。在图4A中,假设焦距为50的单个理想标准镜头位于x轴的原点位置。该镜头把平行光线聚焦到位于x=50的像平面上。因此,只能在所述像平面上捕获到清晰图像。在图4B中,使用能够修改系统的光传递函数的相位掩膜。在焦平面x=50的附近,光线扇面的宽度几乎为常数。因此,光线扇面的宽度对像平面的位置不敏感。正如图4B的光线扇面的宽度所示的那样,带有相位掩膜的系统不会照此生成清晰图像。因此,需要对图像进行数字化处理,以获得清晰图像。
回到图2B,每个图像捕获装置240-244有一个相位掩膜250-254。每个相位掩膜250-254可以有不同特性。因为每个装置有不同的彩色滤光片226-230,所以可以设计相对应的相位掩膜,以便以最佳方式处理通过彩色滤光片的波长。
传感器202检测经过滤光处理的光线,并将该光线转换为电信号。对传感器202生成的电信号进行数字化,并将其引到信号处理器104。信号处理器按以下方式处理来自传感器的信号,依据来自镜头210-214的信号生成三个独立的子图像,每个子图像用单种颜色滤光。在生成子图像时,信号处理器104去除每个子图像中的相位掩膜的影响。接着,信号处理器依据这些子图像组合最终的图像。
和在Bayer矩阵采样中不同,在任何给定频带中用全分辨率对每个子图像进行采样。与非lenslet相机相比,这提高了最终图像的图像质量。在Bayer矩阵采样中,用于Bayer模式中的红色和蓝色的采样是规则的。然而,对图像斑点的采样不足,因为仅仅是在行方向和列方向上每隔一个像素采样一次。此外,用于绿色的采样是不规则的:在水平方向上,每隔一列采样一次,但是在垂直方向上对每行进行采样,两个相邻行有一个像素的横向移位。仅在对角线上采样是规则的,这造成复杂的采样网格。总之,采样对红色和蓝色是规则的,但是会造成红色和蓝色斑点的采样不足。用于绿色的采样网格是规则的,但是与红色和绿色采样网格完全不同。因此,不同颜色需要进行采样率转换。
然而,在本发明描述的方法中,每种颜色的采样都是规则的,完整的。这是有利的,因为对每种颜色而言,均可以对信号(成像斑点)进行正确采样。不需要采样率或采样网格转换,而在Bayer矩阵采样中,需要这种转换。
本发明的优点在于,可以把颜色通道之间的通道间串扰降到最低程度。当使用Bayer矩阵时,通道之间总是有光学串扰。在串扰中,应该传到颜色A像素的光线传到颜色B像素,这是因为当光线以与传感器的表面的法线过大的角度到达颜色A像素时,传感器上的显微镜头不能反射光线。这会减少传感器的调制转移函数,引起颜色噪声。颜色噪声很难消除,因为光线的角频谱通常是未知的。当使用反向滤波器重构图像时颜色噪声会增加,会对重构的图像造成颜色假象。
然而,在lenslet相机中,可以完全消除颜色噪声,并且重构的图像质量优于使用Bayer矩阵时重构的图像质量。
本发明的一个优点是,蓝色通道可以获得更好的信噪比。当使用Bayer矩阵时,与用于绿色通道和红色通道的滤光片相比,通常用于蓝色通道的滤光片对光线造成的衰减更大。在多数情况下,传感器对蓝色的敏感性较低。因此,来自蓝色像素的信号要比来自绿色或红色像素的信号更弱。为了获得平衡图像,必须增加蓝色通道的增益,这也会增加蓝色通道中的噪声。
然而,在lenslet相机中,对于每个通道,可以仔细调校用于不同颜色的滤光片。另外,每个通道通过使用不同光圈,可以平衡每个通道的输出。因此,可以改善蓝色通道的信噪比,并且使重构图像质量高于Bayer图像形成模式的传感器的图像质量。
本发明的另一个优点是,用于每个颜色通道的镜头系统的波长调校可以改善图像质量。当使用Bayer矩阵时,相机的镜头系统必须在全部可见区上形成图像,这需要一个折衷镜头。因此,生成的斑点是由颜色决定的,从而使得不能实现波前编码系统中的斑点的良好相似性。
然而,在lenslet相机中,可以仅仅针对一个窄频带(颜色)来精心优化每个通道,使得每个通道中的斑点彼此非常相象,这可以改善重构的(反向滤波的)图像的质量。
图5用框图说明信号处理器的操作的示例。传感器检测子图像,并生成添加了传感器噪声502的电信号500。将子图像信号504引到可以执行图像处理506的信号处理器。该信号处理器通过去除相位掩膜的影响对该信号进行滤波。因此,获得清晰图像。接着,对图像进行滤波508以去除传感器噪声。将512经过滤波处理的子图像510和经过其它类似处理的子图像514进行组合。该组合生成最终的彩色图像516。
在一个实施例中,本发明是在包括至少三个图像捕获装置的成像设备模块中实现的,每个装置包括一个镜头系统和一个传感器,并且被配置用来生成图像。参照图1,该模块可以包括一个图像传感装置100,该装置能够与处理器104相连。每个镜头系统包括一个相位掩膜,相位掩膜修改入射光线的相位以至经过镜头系统后的光线的分布对传感器的位置不敏感。该模块可以安装在包含有处理器的设备中,其中处理器通过去除相位掩膜的影响而处理该模块的输出信号。
尽管参照着依据附图的示例描述了本发明,但是,显然本发明并不限于此,而是可以在所附权利要求书的范围内用多种方式进行修改。

Claims (12)

1.一种包含有至少三个图像捕获装置的成像设备,其中每个装置包括镜头系统和传感器,并且被配置用来生成图像,该设备还包括处理器,该处理器被配置用来将该图像的至少一部分进行彼此组合,以生成彩色图像,该成像设备的特征在于每个镜头系统包括相位掩膜,该相位掩膜修改入射光线的相位以至经过了该镜头系统后的光线的分布对该传感器的位置不敏感。
2.根据权利要求1的设备,其特征在于该设备还包括处理器,该处理器通过去除该相位掩膜的影响而处理该传感器的输出信号。
3.根据权利要求1的设备,其特征在于每个镜头系统的每个相位掩膜有不同特性。
4.根据权利要求1的设备,其特征在于三个图像捕获装置的每个装置包括红色滤光片、绿色滤光片或蓝色滤光片组中的唯一一个彩色滤光片。
5.根据权利要求1的设备,其特征在于三个图像捕获装置中的每个装置包括青色滤光片、品红色滤光片或黄色滤光片组中的唯一一个彩色滤光片。
6.根据权利要求1的设备,其特征在于每个镜头系统包括相位掩膜,该相位掩膜修改每个镜头系统的光传递函数(OTF)以至该OTF对该传感器的位置不敏感。
7.一种在包含有至少三个图像捕获装置的成像设备中创建彩色图像的方法,其中每个装置包括镜头系统和传感器,并且被配置用来生成图像,其中该彩色图像是通过对该图像的至少一部分进行彼此组合而生成的,该方法的特征在于:
利用相位掩膜处理每个镜头系统中的入射光线,该相位掩膜修改该入射光线的相位以至经过该镜头系统后的光线的分布对该传感器的位置不敏感;
通过从该图像中去除该相位掩膜的影响,在处理器中处理每个装置获得的图像;以及
对每个装置生成的经过处理的图像进行彼此组合,由此获得彩色图像。
8.根据权利要求7的方法,其特征在于利用具有不同特性的相位掩膜处理每个镜头系统中的该入射光线。
9.根据权利要求7的方法,其特征在于利用红色滤光片、绿色滤光片或蓝色滤光片组中的唯一一个彩色滤光片对每个镜头系统内的该入射光线进行滤光。
10.根据权利要求7的方法,其特征在于利用相位掩膜对每个镜头系统内的入射光线进行滤光,该相位掩膜修改每个镜头系统内的光传递函数(OTF)以至该OTF对该传感器的位置不敏感。
11.一种包含有至少三个图像捕获装置的成像设备模块,其中每个装置包括镜头系统和传感器,并且被配置用来生成图像,该成像设备模块的特征在于每个镜头系统包括相位掩膜,该相位掩膜修改入射光线的相位以至经过该镜头系统后的光线的分布对该传感器的位置不敏感。
12.根据权利要求11的模块,其特征在于该模块与处理器相连,该处理器通过去除该相位掩膜的影响而处理该模块的输出信号。
CNA2004800441494A 2004-09-09 2004-09-09 创建彩色图像的方法、成像设备和成像模块 Pending CN101036380A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/FI2004/000522 WO2006027405A1 (en) 2004-09-09 2004-09-09 Method of creating colour image, imaging device and imaging module

Publications (1)

Publication Number Publication Date
CN101036380A true CN101036380A (zh) 2007-09-12

Family

ID=36036096

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2004800441494A Pending CN101036380A (zh) 2004-09-09 2004-09-09 创建彩色图像的方法、成像设备和成像模块

Country Status (4)

Country Link
US (1) US20070252908A1 (zh)
EP (1) EP1787463A1 (zh)
CN (1) CN101036380A (zh)
WO (1) WO2006027405A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840950A (zh) * 2009-03-18 2010-09-22 原相科技股份有限公司 红外光感测装置及二带通感测装置
CN103108191A (zh) * 2011-11-10 2013-05-15 捷讯研究有限公司 用于形成彩色相机图像的装置和相关方法
CN105917641A (zh) * 2013-08-01 2016-08-31 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
CN106331662A (zh) * 2016-08-24 2017-01-11 上海集成电路研发中心有限公司 一种图像撷取装置及图像撷取方法
CN108419063A (zh) * 2018-04-27 2018-08-17 西安医学院 一种复合四单色传感器照相机及利用其提高画质的方法
CN114967289A (zh) * 2022-06-16 2022-08-30 苏州华星光电技术有限公司 色轮模组、显示面板的亮度矫正装置、方法及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7460167B2 (en) * 2003-04-16 2008-12-02 Par Technology Corporation Tunable imaging sensor
US20090051790A1 (en) * 2007-08-21 2009-02-26 Micron Technology, Inc. De-parallax methods and apparatuses for lateral sensor arrays
WO2010103527A2 (en) 2009-03-13 2010-09-16 Ramot At Tel-Aviv University Ltd. Imaging system and method for imaging objects with reduced image blur
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
FR3071342B1 (fr) * 2017-09-21 2019-09-06 Safran Electronics & Defense Capteur d'image a matrice de bayer

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9125954D0 (en) * 1991-12-06 1992-02-05 Vlsi Vision Ltd Electronic camera
US7218448B1 (en) * 1997-03-17 2007-05-15 The Regents Of The University Of Colorado Extended depth of field optical systems
US6611289B1 (en) * 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
US6882368B1 (en) * 1999-06-30 2005-04-19 Canon Kabushiki Kaisha Image pickup apparatus
US6833873B1 (en) * 1999-06-30 2004-12-21 Canon Kabushiki Kaisha Image pickup apparatus
JP2003143459A (ja) * 2001-11-02 2003-05-16 Canon Inc 複眼撮像系およびこれを備えた装置
CN101118317B (zh) * 2002-02-27 2010-11-03 Cdm光学有限公司 波前编码成像系统的优化图像处理

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840950A (zh) * 2009-03-18 2010-09-22 原相科技股份有限公司 红外光感测装置及二带通感测装置
CN101840950B (zh) * 2009-03-18 2013-03-06 原相科技股份有限公司 红外光感测装置及二带通感测装置
US8445849B2 (en) 2009-03-18 2013-05-21 Pixart Imaging Inc. IR sensing device
TWI398960B (zh) * 2009-03-18 2013-06-11 Pixart Imaging Inc 紅外光感測裝置及二帶通感測裝置
CN103108191A (zh) * 2011-11-10 2013-05-15 捷讯研究有限公司 用于形成彩色相机图像的装置和相关方法
CN105917641A (zh) * 2013-08-01 2016-08-31 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
CN108989649A (zh) * 2013-08-01 2018-12-11 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
CN106331662A (zh) * 2016-08-24 2017-01-11 上海集成电路研发中心有限公司 一种图像撷取装置及图像撷取方法
CN108419063A (zh) * 2018-04-27 2018-08-17 西安医学院 一种复合四单色传感器照相机及利用其提高画质的方法
CN114967289A (zh) * 2022-06-16 2022-08-30 苏州华星光电技术有限公司 色轮模组、显示面板的亮度矫正装置、方法及存储介质
CN114967289B (zh) * 2022-06-16 2023-09-26 苏州华星光电技术有限公司 色轮模组、显示面板的亮度矫正装置、方法及存储介质

Also Published As

Publication number Publication date
US20070252908A1 (en) 2007-11-01
EP1787463A1 (en) 2007-05-23
WO2006027405A1 (en) 2006-03-16

Similar Documents

Publication Publication Date Title
US11405576B2 (en) Image sensor and image-capturing device
EP2190019B1 (en) Image pickup apparatus
CN101371591B (zh) 具有改进感光度的图像传感器
US7453510B2 (en) Imaging device
US8102459B2 (en) Image pickup apparatus
CN102683363B (zh) 固体拍摄装置以及照相机模块
US8106994B2 (en) Image pickup apparatus having a microlens array
US7952623B2 (en) Solid state imaging device and image pickup apparatus
US8514319B2 (en) Solid-state image pickup element and image pickup apparatus
JP5361535B2 (ja) 撮像装置
US20130016251A1 (en) Solid-state imaging device, image processing apparatus, and camera module
CN110649057B (zh) 图像传感器、摄像头组件及移动终端
KR20180133157A (ko) 위상 검출 픽셀을 포함하는 이미지 센서
JPWO2005081020A1 (ja) 光学機器およびビームスプリッター
US6426773B1 (en) Image pickup device including an image pickup unit which is displaced relative to an object to be imaged
CN102859995B (zh) 成像装置和驱动固态成像器件的方法
CN102668571A (zh) 具有像素替代的稀疏色彩像素阵列
CN103843318A (zh) 摄像设备及其控制方法
CN101036380A (zh) 创建彩色图像的方法、成像设备和成像模块
CN103999449A (zh) 摄像元件
US9645290B2 (en) Color filter array and solid-state image sensor
CN106412532B (zh) 控制设备、摄像设备和控制方法
CN102948152B (zh) 成像设备和成像方法
CN114666469B (zh) 图像处理装置、方法及具有该图像处理装置的镜头模组
WO2021157237A1 (ja) 電子機器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20070912