CN105210369B - 用于获取双模态图像的设备 - Google Patents

用于获取双模态图像的设备 Download PDF

Info

Publication number
CN105210369B
CN105210369B CN201480025311.1A CN201480025311A CN105210369B CN 105210369 B CN105210369 B CN 105210369B CN 201480025311 A CN201480025311 A CN 201480025311A CN 105210369 B CN105210369 B CN 105210369B
Authority
CN
China
Prior art keywords
region
image
filter
acquisition equipment
primary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480025311.1A
Other languages
English (en)
Other versions
CN105210369A (zh
Inventor
卡洛·凯撒
弗兰克·罗伯特
达米安·勒特希尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Photonis France SAS
Original Assignee
Photonis France SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Photonis France SAS filed Critical Photonis France SAS
Publication of CN105210369A publication Critical patent/CN105210369A/zh
Application granted granted Critical
Publication of CN105210369B publication Critical patent/CN105210369B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/047—Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements

Abstract

本发明涉及一种图像获取设备，其包含：由光敏像素的阵列组成的传感器，和覆盖所述传感器的初级过滤器的阵列。像素可具有三种不同的类型：全色像素、原色像素和红外像素。在低照度条件下，所述设备显示使用全色像素显示单色图像；而在高照度条件下，所述设备通过组合原色图像并减去红外图像来显示具有高信噪比的彩色图像。

Description

用于获取双模态图像的设备
技术领域
本发明涉及图像获取设备领域，尤其涉及使用彩色阵列过滤器的设备。
背景技术
大多数的图像获取设备，例如数字静像和视频照相机，使用由初级光敏传感器的阵列组成的传感器(CCD或CMOS)，其中初级光敏传感器也被称为像素。通过放置在像素阵列上的初级彩色过滤器阵列(CFA)获得彩色信息，从而使每个像素被阵列中的一个初级过滤器覆盖，以仅允许可见光谱的一部分穿过。
已对彩色过滤器阵列和从不同像素接收的信号进行图像重建的技术进行了大量的研究。
文献US-A-3971065中公开了当前使用的大多数分布广泛的彩色过滤器阵列，并且示于图1中。
通过对由四个初级过滤器组成的模式的周期性重复获得此阵列，称为Bayer阵列，即：
其中，G为仅允许绿色通过的过滤器，R为仅允许红色通过的过滤器，而B为仅允许蓝色穿过的过滤器。位于初级G,R,B过滤器下方的像素分别被称为绿色、红色和蓝色过滤器。可见，Bayer阵列是由50％的绿色像素、25％的红色像素和25％的蓝色像素组成。
由从传感器中的不同像素接收的强度重建彩色图像构成的操作被称为去马赛克。文献中已对此去马赛克操作进行了激烈地研究，例如，在Proc.of IS&T/SPIE VCIP,SanJose,CA,Jan.2008中出版的D.Alleyson等人的题为“Frequency selectiondemosaicking:a review and a look-ahead”的论文中。
已公开了其它彩色过滤器阵列以提高传感器在低照度条件下的灵敏度。这些阵列中的大多数使用被称为白色像素的额外像素，其也被称为透明、中性或全色像素。除色度信号之外，其还能够被用于获得亮度信号。在申请WO-A-2007/089416中给出了此阵列的实例。
一种经常使用的用于在低照度条件下获得良好灵敏度的过滤器阵列是由以下基本模式生成的所谓的KodakTM阵列：
其中，元素R,G,B具有上述相同的含义，并且W表示白色像素，换言之，缺少色彩过滤。此过滤器阵列示于图2中。
用于进一步提高传感器在低照度条件下的灵敏度的第一简单方案为利用近红外区内的传感器响应。然而，大多数的图像获取设备在输入端处包含红外截止过滤器以减少来自CCD或CMOS传感器的输出噪声。首先，当前经常使用的初级传感器是由硅制成，因此对近红外线敏感；其次，放置在不同像素前方的初级彩色过滤器不能有效地阻断光谱的红外部分。
除彩色像素之外，文献JP-A-2010062604还公开了红外像素的使用，其中彩色像素用于日视觉而红外像素用于夜视觉。因此，在这种情况下，传感器不能受到红外输入过滤器的保护。结果导致传感器在日视觉下运行时的高噪声。
本发明的目的公开一种能够在日视觉和夜视觉中以良好的信噪比运行的图像获取系统。
发明内容
本发明定义了一种图像获取设备，其包含：由被称为像素的光敏元件的阵列组成的传感器；覆盖所述传感器的初级过滤器的阵列，其中每个初级过滤器与对应的像素相关联；以及，处理装置。此设备的特征在于：
所述初级过滤器阵列包含原色过滤器，其中，一个原色过滤器仅传输一种原色，传输整个可见光谱的过滤器被称为全色过滤器，红外过滤器传输近红外线，全色过滤器表示所述初级过滤器的至少50％；
所述处理装置被设计成：
计算一组全色像素的平均亮度，以确定至少一个传感器区域是处于低照度条件还是处于高照度条件；
若所述区域是处于低照度条件，则使用所述全色像素形成所述区域的单色图像；
若所述区域是处于高照度条件，则使用原色像素形成所述区域的彩色图像并从自红外像素获得的所述区域中减去红外图像。
有利地，所述区域的单色图像由形成此区域的一部分的全色像素的内插来获得。
类似地，所述区域的彩色图像由所述区域的原色图像的组合来获得，其中原色图像由所述区域的原色像素的内插来获得。
最终，可通过所述区域的红外像素的内插获得所述区域的红外图像。
有利地，全色过滤器代表所述初级过滤器的至少75％。
根据一个有利实施例，所述初级过滤器阵列是通过以下模式的二维周期性重复来生成：
其中，R,G,B分别表示红色、绿色和蓝色的透射过滤器，IR为红外过滤器，而W为全色过滤器，所述模式被定义在R,G,B,IR的一个排列内。
根据第二有利实施例，所述初级过滤器阵列是通过以下模式的二维周期性重复来生成：
其中，Ye,Ma,Cy分别表示黄色、品红和青色的透射过滤器，IR为红外过滤器，而W为全色过滤器，所述模式被定义在Ye,Ma,Cy,IR的一个排列内。
根据第三有利实施例，所述初级过滤器阵列是通过以下模式的二维周期性重复生成：
其中，R,G,B分别红色、绿色和蓝色的透射过滤器，IR为红外过滤器，而W为全色过滤器，所述模式定义在R,G,B,IR的一个排列内。
根据第四有利实施例，所述初级过滤器阵列是通过以下模式的二维周期性重复生成：
其中，Ye,Ma,Cy分别表示黄色、品红和青色的透射过滤器，IR为红外过滤器，而W为全色过滤器，所述模式被定义在Ye,Ma,Cy,IR的一个排列内。
优选地，若所述区域内的所有全色像素的平均亮度小于第一阈值，则所述处理装置确定所述区域具有低照度；而若所述区域内的所有全色像素的平均亮度高于第二阈值，则所述处理装置确定所述区域具有高照度，其中所述第二阈值高于所述第一阈值。
若所述区域内的所有全色像素的亮度平均值介于所述第一和第二阈值之间，则所述处理装置能够将所述区域的单色图像和彩色图像组合。
当所述传感器区域为整个传感器时，所述处理器装置确定所述传感器是处于低照度条件还是高照度条件。
替代地，将所述传感器的单色图像分割成同质区域，并且所述处理装置对所述传感器的每个同质区域进行独立地操作。
附图说明
在参照附图阅读对本发明优选实施例的描述之后，本发明的其它特点和优点将变得清晰，其中：
图1用图解法示出本领域中已知的第一彩色过滤器阵列；
图2用图解法示出本领域中已知的第二彩色过滤器阵列；
图3A用图解法示出用于根据本发明第一例示性实施例的图像获取设备的例示性过滤器阵列；
图3B用图解法示出用于根据本发明第二例示性实施例的图像获取设备的例示性过滤器阵列；
图4A用图解法示出用于根据本发明第三例示性实施例的图像获取设备的例示性过滤器阵列；
图4B用图解法示出用于根据本发明第四例示性实施例的图像获取设备的例示性过滤器阵列；
图5用图解法示出根据本发明第一实施例的图像获取设备的像素处理；以及
图6用图解法示出根据本发明第二实施例的图像获取设备的像素处理。
具体实施方式
下文将再次考虑一种图像获取设备，其包括：由(亦被称为像素的)初级光敏传感器(CCD或CMOS)的阵列组成的传感器；以及覆盖所述传感器的初级过滤器阵列，其中每个初级过滤器与一个像素相关联。更确切地说，每个初级过滤器对相关像素的入射光进行过滤。
阵列中的初级过滤器为三种不同类型的透射过滤器：彩色过滤器、透明(或全色)过滤器以及红外过滤器。
彩色初级过滤器允许一组原色穿过其，从而实现对可见光谱中的所有颜色进行相加合成或相减合成。因此，彩色过滤器可为如相加合成情况下的介绍中所定义的R,G,B过滤器，或如相减合成情况下的Ye,Ma,Cy过滤器，其中，Ye允许黄色通过，Ma允许品红通过，而Cy允许青色通过。在不背离本发明的范围下，本领域的技术人员可设想其它原色基。
全色初级过滤器允许整个可见光谱通过。在实践中，其可由阵列中的简单型板或透明过滤器(可见)制成。在这种情况下，位于这些全色初级过滤器下方的像素接收未过滤的光。
红外初级过滤器仅允许近红外区内的光谱带通过，例如在[700nm-1700nm]波段内，更具体地，在[700nm-1100nm]波段内。
有利地，初级过滤器是以沿传感器的平面内的两个不同方向(通常正交)周期性重复模式的形式排列。
初级过滤器可由聚合材料制成，或可为以其本身已知方式的干涉过滤器。
优选地，全色初级过滤器在阵列中的比例将大于或等于50％，其它初级过滤器(彩色过滤器和红外过滤器)以相等的比例分布。有利地，全色初级过滤器的比例将等于75％，并且每个其它初级过滤器的比例将为6.25％。
图3A示出用于根据本发明第一例示性实施例的图像获取系统的初级过滤器的阵列。
针对每个初级过滤器存在一个传感器像素。
在这种情况下，彩色初级过滤器为R,G,B过滤器。红外初级过滤器表示为IR，而全色过滤器表示为W。
将注意到，初级阵列是通过以下基本4′4模式的二维周期性重复生成：
能够通过模式(3)中的R,G,B,IR过滤器的排列获得此阵列的变型。
图3B示出用于根据本发明第二例示性实施例的图像获取系统的初级过滤器的阵列。
在这种情况下，彩色初级过滤器为Ye,Ma,Cy过滤器，于是基本模式为：
如在第一实例中，可通过Ye,Ma,Cy,IR过滤器在阵列(4)中的排列获得此阵列的变型。
将注意到，在图3A和3B的实例中，全色过滤器在阵列中的比例为75％，并且每个彩色和红外过滤器的比例为6.25％。
图4A示出用于根据本发明第三例示性实施例的图像获取系统的初级过滤器阵列。
该阵列中所使用的初级过滤器为R,G,B,IR过滤器，在这种情况下，基本模式为：
如在第一实例中，可通过R,G,B,IR过滤器在模式(5)中的排列获得此阵列的变型。
图4B示出用于根据本发明第四例示性实施例的图像获取系统的初级过滤器阵列。
构成该阵列的初级过滤器为Ye,Ma,Cy,IR过滤器，并且基本模式为：
如在第二实例中，能够通过Ye,Ma,Cy,IR过滤器在模式(6)中的排列获得此阵列的变型。
将注意到，在图4A和4B的实例中，全色过滤器在阵列中的比例仅为50％，并且每个彩色和红外过滤器的比例为12.5％。
图5用图解法示出根据本发明第一实施例的图像获取系统中的像素处理。
在下文中，对像素的操作将被理解为对这些像素所接收的信号的操作。
在第一步骤510中，通过计算全色像素的平均值来估算设备所获取的图像的平均亮度
在520中，将以此方式获得的平均值与预定阈值Ith进行比较。若平均值超出所述阈值，则获取设备以日(或高照度)模式运行；否则，其将以夜(低照度)模式运行。
若获取设备是以日模式运行，则在530中内插彩色像素，从而为每个原色R,G,B或Ye,Ma,Cy获得一个图像。更确切地说，如上文可见，由于给定彩色的像素的比例相对较小，所以通过阵列中所存在的邻近像素的内插获得缺失像素的值。例如，参照图3A，蓝色像素310缺失(因为其位于红色初级过滤器的下方)，因此通过四个相邻蓝色像素311、312、313、314之间的内插获得该蓝色像素310。
可选地，对原色图像进行处理以进行图像锐化。例如，能够通过内插全色像素获得单色图像，并且能够将此单色图像，可能地在高通滤波之后，与每个原色图像组合。全色像素在阵列中的比例高于彩色像素的比例，因此改善了原色图像的分辨度。
在步骤540中，使用与上述的用于彩色像素的相同原理，通过阵列中的红外像素之间的内插获得近红外区内的图像。
在步骤550中，添加原色图像(用于相加合成)以获得彩色图像，并且从其逐像素地减去红外图像。一般地说，对原色图像进行组合以获得彩色图像。减去红外图像能够显著地提高信噪比。若必要，则从每个原色图像减去以加权因数进行加权的红外图像(相似或相同)以在对其进行求和(或一般地说，对其进行组合)之前获得无噪声的原色图像，从而防止饱和度问题。于是，能够显示合成的图像，或将其存储在存储器中以进行后续处理。
步骤560对应于夜模式下(或低照度下)的操作。
在此模式中，通过全色像素的内插获得单色图像。由于阵列中存在大多数的全色像素，所以可获得高分辨度。能够显示此图像，或存储在存储器以进行后续处理。
在所有情况下，处理终止于570。
能够理解，若图像获取设备以日模式运行或以夜模式运行，则上述像素处理将极为不同，并且通过平均亮度与预定阈值的比较进行一个模式到另一个模式的切换。
根据本实施例的第一变型，一个模式到另一个模式的切换有滞后地发生以避免切换噪声(颤动)。为此，为从日模式到夜模式的转换设定第一亮度阈值，并且为从夜模式到日模式的转换设定第二亮度阈值，其中选择第一阈值以使其小于第二阈值。
根据第一实施例的第二变型，一个模式到另一个模式的切换通过过渡相逐渐地发生。因此，当平均亮度小于第一阈值时，图像获取设备以夜模式运行，而当平均亮度大于第二阈值时，图像获取设备以日模式运行，其中选择第二阈值以使其高于第一阈值。当平均亮度介于第一和第二阈值之间时，图像获取设备对以日模式进行处理获得图像和以夜模式进行处理获得的图像进行线性组合，其中加权系数由平均亮度分别与第一和第二阈值之间的差给定。
图6用图解法示出根据本发明第二实施例的图像获取设备的像素处理。
不同于第一实施例，日模式(或高照度)与夜模式(低照度)之间的切换对所获取的图像的同质区域是有效的，其中对每个同质区域独立地进行处理。
在步骤603中，通过内插全色像素获得单色图像。更确切地说，对于阵列中的每个缺失的全色像素(例如彩色或红外像素)，从邻近的全色像素计算强度。
在步骤605中，将以此方式获得的单色图像分割成同质区域。此可使用本领域中已知的切换技术来完成，例如，如S.Tripathi等人在International Journal of ComputerScience and Management Research,vol.1,No.4,Nov.2012,pp.838-843中出版的题为“Image Segmentation:a review”的论文中所描述。由此获得的结果为P个同质区域。
在步骤610中，为每个区域Zp,p＝1,...,P,计算被表示为的平均亮度。
在步骤620中，将以此方式获得的亮度的平均值与预定阈值进行比较。若平均超出所述阈值，则认为区域Zp为高照度。相反地，若平均小于所述阈值，则认为区域Zp为低照度。
应注意，对于给定区域，低照度和高照度之间的区别取决于从全色像素获得的亮度平均值。换言之，在整个光谱上获得平均亮度。
在步骤630中，对具有高照度的区域进行处理。对于每个高照度区域，属于此区域的彩色像素被内插，从而为每个原色R,G,B或Ye,Ma,Cy获得用于此区域的图像。
在步骤640中，通过内插属于此区域的红外像素来获得每个高照度区域的近红外区内的图像。
在步骤650中，对于每个高照度区域进行原色图像的组合(在相加合成的情况下为简单求和)，并且逐像素地减去红外图像。由此获得的结果是为每个高照度区域形成彩色图像的彩色像素。
在步骤660中，以在步骤650中获得的彩色像素替换在步骤603中获得的单色图像中的高照度区域的全色像素。替代地，对属于高照度区域的每个像素进行全色像素(换言之，单色图像中的像素)与在步骤650中获得的彩色像素的线性组合。因此，对于低照度区域，将单色图像(在步骤603中获得)与彩色图像(在650中获得)重叠。
如在第一实施例中，在第一变型中，能够使用两个完全不同的阈值，即，用于检测一个区域何时从低照度等级变为高照度等级的第一阈值和用于确定一个区域何时从高照度等级变为低照度等级的第二阈值，其中第一阈值小于第二阈值。
在第二变型中，也可在两个阈值之间使用过渡相。换言之，低于第一阈值时，通过全色像素的内插以单色模式表示该区域；高于第二阈值时，以彩色模式表示该区域；而介于所述两个阈值之间时，以单色图像和彩色图像的线性组合表示该区域。
因此能够理解，存在一种图像获取设备，其能够在具有极好信噪比的同时独立于照明条件而运行。
根据第二实施例的另一未示出的变型，当步骤620已确定了一个区域具有低照度时，判断形成此区域的一部分的红外像素的强度是否大于预定的IR阈值。接着，以与该区域的单色图像重叠的假彩色来表示强度大于IR阈值的红外像素。因此，若低照度区域的子区域在红外域具有高强度，则在所述区域的单色图像中能够容易地识别出该子区域。还替代地，能够由低照度区域的同质子区域作出用于在单色显示和假彩色显示之间进行切换的标准。在这种情况下，在内插之后，使用与关于步骤603和605所描述的相同的原理基于红外像素来首先对低照度区域进行分割。对于如上文所定义的每个同质子区域，计算此子区域内的红外像素的平均强度，并且将其与上文提到的IR阈值进行比较。当此平均值大于IR阈值时，以重叠在该区域的单色图像上的假彩色表示该子区域。通过此子区域内的红外像素的内插获得处于假彩色的该子区域的图像。因此将理解，在这种情况下，通过对不包括初级彩色像素(RGB)或(青色,品红,黄色)的全色像素(单色部分)和红外像素(部分为假彩色)进行组合，来获得具有高红外强度的子区域的低照度区域的图像。

Claims (18)

1.一种图像获取设备，其包含：由被称为像素的光敏元件的阵列组成的传感器；覆盖所述传感器的初级过滤器的阵列，其中每个初级过滤器与对应的像素相关联；以及，处理装置；其特征在于：
-所述初级过滤器阵列包括原色过滤器、全色过滤器以及红外过滤器，其中，一个原色过滤器仅传输一种原色，全色过滤器用于传输整个可见光谱，红外过滤器用于传输近红外线，并且全色过滤器占所述初级过滤器阵列的至少50％；
所述处理装置被设计成：
-计算一组全色像素的平均亮度，以确定至少一个传感器区域是处于低照度条件还是处于高照度条件；
-若所述区域是处于低照度条件，则使用所述全色像素形成所述区域的单色图像；
-若所述区域是处于高照度条件，则使用原色像素形成所述区域的彩色图像并从自红外像素获得的所述区域中减去红外图像。
2.根据权利要求1所述的图像获取设备，其特征在于，所述区域的单色图像是由形成此区域的一部分的全色像素的内插来获得。
3.根据权利要求1所述的图像获取设备，其特征在于，所述区域的彩色图像由所述区域的原色图像的组合来获得，其中原色图像由所述区域的原色像素的内插来获得。
4.根据权利要求1所述的图像获取设备，其特征在于，所述区域的红外图像由所述区域的红外像素的内插来获得。
5.根据前述权利要求中的一项所述的图像获取设备，其特征在于，全色过滤器占所述初级过滤器阵列的至少75％。
6.根据权利要求5所述的图像获取设备，其特征在于，所述初级过滤器阵列是通过以下模式的二维周期性重复来生成：
其中，R,G,B分别表示红色、绿色和蓝色的透射过滤器，IR为红外过滤器，而W为全色过滤器，所述模式被定义在R,G,B,IR的一个排列内。
7.根据权利要求5所述的图像获取设备，其特征在于，所述初级过滤器阵列是通过以下模式的二维周期性重复来生成：
其中，Ye,Ma,Cy分别表示黄色、品红和青色的透射过滤器，IR为红外过滤器，而W为全色过滤器，所述模式被定义在Ye,Ma,Cy,IR的一个排列内。
8.根据权利要求1至4中的一项所述的图像获取设备，其特征在于，所述初级过滤器阵列是通过以下模式的二维周期性重复生成：
其中，R,G,B分别表示红色、绿色和蓝色的透射过滤器，IR为红外过滤器，而W为全色过滤器，所述模式被定义在R,G,B,IR的一个排列内。
9.根据权利要求1至4中的一项所述的图像获取设备，其特征在于，所述初级过滤器阵列是通过以下模式的二维周期性重复生成：
其中，Ye,Ma,Cy分别表示黄色、品红和青色的透射过滤器，IR为红外过滤器，而W为全色过滤器，所述模式被定义在Ye,Ma,Cy,IR的一个排列内。
10.根据权利要求1至4中的一项所述的图像获取设备，其特征在于，若所述区域内的所有全色像素的平均亮度小于第一阈值，则所述处理装置确定所述区域具有低照度；而若所述区域内的所有全色像素的平均亮度高于第二阈值，则所述处理装置确定所述区域具有高照度，其中所述第二阈值高于所述第一阈值。
11.根据权利要求10所述的图像获取设备，其特征在于，若所述区域内的所有全色像素的亮度平均值介于所述第一阈值和第二阈值之间，则所述处理装置将所述区域的单色图像和彩色图像组合。
12.根据权利要求1至4中的一项所述的图像获取设备，其特征在于，所述传感器区域为整个传感器，所述处理装置确定所述传感器是处于低照度条件还是高照度条件。
13.根据权利要求1至4中的一项所述的图像获取设备，其特征在于，将所述传感器的单色图像分割成同质区域，并且所述处理装置对所述传感器的每个同质区域进行独立地操作。
14.根据权利要求1至4中的一项所述的图像获取设备，其特征在于，当区域处于低照度条件时，执行测试以判断形成此区域的一部分的红外像素的强度是否大于预定的IR阈值；若大于，则以假彩色表示的红外像素与此区域的单色图像重叠。
15.根据权利要求1至4中的一项所述的图像获取设备，其特征在于，当区域处于低照度条件时，在此区域内识别在红外光谱中具有均匀强度的子区域，并且对于如此识别出的每个子区域，判断此子区域内的红外的平均强度是否大于预定的IR阈值；若大于，则以基于此子区域内的红外像素的假彩色图像表示此子区域，所述子区域的假彩色图像随后被表示成与所述假彩色图像形成其一部分的所述区域的单色图像重叠。
16.根据权利要求15所述的图像获取设备，其特征在于，所述子区域的假彩色图像由形成此子区域的一部分的红外像素的内插来获得。
17.根据权利要求1至4中的一项所述的图像获取设备，其特征在于，所述红外过滤器传输700nm-1100nm波段。
18.根据权利要求1至4中的一项所述的图像获取设备，其特征在于，所述红外过滤器传输700nm-1700nm波段。
CN201480025311.1A 2013-04-17 2014-04-16 用于获取双模态图像的设备 Active CN105210369B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1353482A FR3004882B1 (fr) 2013-04-17 2013-04-17 Dispositif d'acquisition d'images bimode
FR1353482 2013-04-17
PCT/EP2014/057698 WO2014170359A1 (fr) 2013-04-17 2014-04-16 Dispositif d'acquisition d'images bimode

Publications (2)

Publication Number Publication Date
CN105210369A CN105210369A (zh) 2015-12-30
CN105210369B true CN105210369B (zh) 2017-06-27

Family

ID=48979925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480025311.1A Active CN105210369B (zh) 2013-04-17 2014-04-16 用于获取双模态图像的设备

Country Status (11)

Country Link
US (1) US9736437B2 (zh)
EP (1) EP2987321B1 (zh)
JP (1) JP6492055B2 (zh)
KR (1) KR102170410B1 (zh)
CN (1) CN105210369B (zh)
CA (1) CA2909554C (zh)
FR (1) FR3004882B1 (zh)
IL (1) IL242097B (zh)
SG (1) SG11201508579VA (zh)
TW (1) TWI669963B (zh)
WO (1) WO2014170359A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9667933B2 (en) * 2013-07-01 2017-05-30 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
US9692992B2 (en) 2013-07-01 2017-06-27 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
DE102013223699A1 (de) * 2013-11-20 2015-05-21 Takata AG Filteranordnung und Verfahren zum Herstellen einer Filteranordnung
US9992469B2 (en) 2014-06-24 2018-06-05 Hitachi Maxell, Ltd. Imaging processing device and imaging processing method
FR3026223B1 (fr) * 2014-09-22 2016-12-23 Photonis France Dispositif d'acquisition d'images bimode a photocathode.
TWI577971B (zh) * 2015-10-22 2017-04-11 原相科技股份有限公司 雙孔徑測距系統
FR3045263B1 (fr) * 2015-12-11 2017-12-08 Thales Sa Systeme et procede d'acquisition d'images visibles et dans le proche infrarouge au moyen d'un capteur matriciel unique
CN106878690A (zh) * 2015-12-14 2017-06-20 比亚迪股份有限公司 图像传感器的成像方法、成像装置和电子设备
FR3048800B1 (fr) * 2016-03-11 2018-04-06 Bertin Technologies Procede de traitement d'images
US10574909B2 (en) 2016-08-08 2020-02-25 Microsoft Technology Licensing, Llc Hybrid imaging sensor for structured light object capture
CN107786857B (zh) * 2016-08-25 2019-07-19 杭州海康威视数字技术股份有限公司 一种图像还原方法及装置
CN108419061B (zh) 2017-02-10 2020-10-02 杭州海康威视数字技术股份有限公司 基于多光谱的图像融合设备、方法及图像传感器
US9986128B1 (en) * 2017-03-10 2018-05-29 Kabushiki Kaisha Toshiba Image forming apparatus and image forming method facilitating processing color
CN106911919A (zh) * 2017-03-24 2017-06-30 陈兵 彩色图像传感器及彩色图像成像方法
CN106713878A (zh) * 2017-03-24 2017-05-24 陈兵 一种新型图像传感器
US10531067B2 (en) 2017-03-26 2020-01-07 Apple Inc. Enhancing spatial resolution in a stereo camera imaging system
CN107370917B (zh) * 2017-06-30 2020-01-10 Oppo广东移动通信有限公司 控制方法、电子装置和计算机可读存储介质
CN109327665A (zh) * 2017-07-26 2019-02-12 聚晶半导体股份有限公司 图像获取装置及其红外线感测方法
CN109756713B (zh) * 2017-11-08 2021-12-21 超威半导体公司 图像捕获装置、执行处理的方法以及计算机可读介质
CN110493583B (zh) * 2018-08-03 2021-12-17 杭州海康威视数字技术股份有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN109905681B (zh) * 2019-02-01 2021-07-16 华为技术有限公司 图像传感器、从其获取图像数据的方法及摄像设备
CN113973184A (zh) * 2020-05-22 2022-01-25 Oppo广东移动通信有限公司 图像传感器、摄像头组件、移动终端
US20220303515A1 (en) * 2021-03-17 2022-09-22 Mediatek Inc. High Sensitivity Color Image Generation Using Hybrid Sensor
CN113418864B (zh) * 2021-06-03 2022-09-16 奥比中光科技集团股份有限公司 一种多光谱图像传感器及其制造方法
CN113660415A (zh) * 2021-08-09 2021-11-16 Oppo广东移动通信有限公司 对焦控制方法、装置、成像设备、电子设备和计算机可读存储介质
CN113676617B (zh) * 2021-08-12 2023-08-18 Oppo广东移动通信有限公司 运动检测方法、装置、电子设备和计算机可读存储介质
KR102579742B1 (ko) * 2021-11-15 2023-09-19 주식회사 넥스트칩 적외선 정보가 제거된 이미지를 생성하는 방법 및 그 방법을 수행하는 전자 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101078856A (zh) * 2006-05-26 2007-11-28 三星电子株式会社 图像捕获设备和方法
CN101467444A (zh) * 2006-06-14 2009-06-24 株式会社东芝 固态图像传感器
JP2009253447A (ja) * 2008-04-02 2009-10-29 Panasonic Corp 近赤外光／可視光共用の固体撮像素子及び固体撮像装置
CN102484721A (zh) * 2009-05-27 2012-05-30 美商豪威科技股份有限公司 四通道滤色片阵列图案
CN102665083A (zh) * 2005-07-21 2012-09-12 索尼株式会社 物理信息获取方法、物理信息获取装置和半导体器件
CN102957917A (zh) * 2011-08-30 2013-03-06 比亚迪股份有限公司 一种像素阵列、摄像头及基于该阵列的色彩处理方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
US6211521B1 (en) * 1998-03-13 2001-04-03 Intel Corporation Infrared pixel sensor and infrared signal correction
US5914749A (en) * 1998-03-31 1999-06-22 Intel Corporation Magenta-white-yellow (MWY) color system for digital image sensor applications
JP3583952B2 (ja) * 1999-08-04 2004-11-04 三洋電機株式会社 白黒／カラー切換カメラ
US7012643B2 (en) 2002-05-08 2006-03-14 Ball Aerospace & Technologies Corp. One chip, low light level color camera
US20040174446A1 (en) * 2003-02-28 2004-09-09 Tinku Acharya Four-color mosaic pattern for depth and image capture
US7477304B2 (en) * 2004-08-26 2009-01-13 Micron Technology, Inc. Two narrow band and one wide band color filter for increasing color image sensor sensitivity
JP4678172B2 (ja) * 2004-11-22 2011-04-27 株式会社豊田中央研究所 撮像装置
US7688368B2 (en) 2006-01-27 2010-03-30 Eastman Kodak Company Image sensor with improved light sensitivity
KR20070115243A (ko) * 2006-06-01 2007-12-05 삼성전자주식회사 이미지 촬상 장치, 및 그 동작 방법
US7769229B2 (en) * 2006-11-30 2010-08-03 Eastman Kodak Company Processing images having color and panchromatic pixels
US8031243B2 (en) * 2007-07-06 2011-10-04 Samsung Electronics Co., Ltd. Apparatus, method, and medium for generating image
US8446470B2 (en) * 2007-10-04 2013-05-21 Magna Electronics, Inc. Combined RGB and IR imaging sensor
US20090159799A1 (en) * 2007-12-19 2009-06-25 Spectral Instruments, Inc. Color infrared light sensor, camera, and method for capturing images
JP4618342B2 (ja) * 2008-05-20 2011-01-26 日本テキサス・インスツルメンツ株式会社 固体撮像装置
JP2010062604A (ja) 2008-09-01 2010-03-18 Rohm Co Ltd 撮像センサ
JP2011259060A (ja) 2010-06-07 2011-12-22 Konica Minolta Opto Inc 撮像装置
KR101739880B1 (ko) * 2010-12-01 2017-05-26 삼성전자주식회사 컬러 필터 어레이, 이를 포함하는 이미지 센서, 및 이를 포함하는 이미지 처리 장치
US9191635B2 (en) * 2012-03-19 2015-11-17 Semiconductor Components Industries, Llc Imaging systems with clear filter pixels
US9231015B2 (en) * 2012-09-24 2016-01-05 Omnivision Technologies, Inc. Backside-illuminated photosensor array with white, yellow and red-sensitive elements

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102665083A (zh) * 2005-07-21 2012-09-12 索尼株式会社 物理信息获取方法、物理信息获取装置和半导体器件
CN101078856A (zh) * 2006-05-26 2007-11-28 三星电子株式会社 图像捕获设备和方法
CN101467444A (zh) * 2006-06-14 2009-06-24 株式会社东芝 固态图像传感器
JP2009253447A (ja) * 2008-04-02 2009-10-29 Panasonic Corp 近赤外光／可視光共用の固体撮像素子及び固体撮像装置
CN102484721A (zh) * 2009-05-27 2012-05-30 美商豪威科技股份有限公司 四通道滤色片阵列图案
CN102957917A (zh) * 2011-08-30 2013-03-06 比亚迪股份有限公司 一种像素阵列、摄像头及基于该阵列的色彩处理方法

Also Published As

Publication number Publication date
CN105210369A (zh) 2015-12-30
SG11201508579VA (en) 2015-11-27
TW201507473A (zh) 2015-02-16
IL242097B (en) 2018-08-30
EP2987321B1 (fr) 2018-05-30
TWI669963B (zh) 2019-08-21
WO2014170359A1 (fr) 2014-10-23
JP2016523013A (ja) 2016-08-04
EP2987321A1 (fr) 2016-02-24
JP6492055B2 (ja) 2019-03-27
FR3004882B1 (fr) 2015-05-15
US20160080706A1 (en) 2016-03-17
CA2909554A1 (fr) 2014-10-23
US9736437B2 (en) 2017-08-15
CA2909554C (fr) 2021-08-10
KR102170410B1 (ko) 2020-10-28
FR3004882A1 (fr) 2014-10-24
KR20150140832A (ko) 2015-12-16

Similar Documents

Publication Publication Date Title
CN105210369B (zh) 用于获取双模态图像的设备
WO2017193738A1 (zh) 图像传感器、成像方法和成像装置
US8860857B2 (en) System and method for a high performance color filter mosaic array
US8723995B2 (en) Extended dynamic range in color imagers
US5889554A (en) Process and system for generating a full color image of multispectral image from the image data of a CCD image sensor with a mosaic color filter
US20060146064A1 (en) Hexagonal color pixel structure with white pixels
US6885398B1 (en) Image sensor with color filtering arrangement
US9184196B2 (en) Color imaging element and imaging device
EP1439715A1 (en) Weighted gradient based colour interpolation for colour filter array
US9036061B2 (en) Color imaging apparatus
US20160269693A1 (en) Pixel interpolation apparatus, imaging apparatus, pixel interpolation processing method, and integrated circuit
US8982253B2 (en) Color imaging element
WO2010058497A1 (ja) 画像処理装置及び画像処理方法
JPH0345593B2 (zh)
CN101150731B (zh) 用于数字成像的彩色滤波阵列及其成像方法
TWI751124B (zh) 用於處理由彩色影像擷取矩陣產生的信號的方法以及相應的感測器
JP2010276469A (ja) 画像処理装置及び測距装置の画像処理方法
JP6843682B2 (ja) 撮像素子および撮像装置
JP2012010141A (ja) 画像処理装置
CN110324541A (zh) 一种滤波联合去噪插值方法及装置
CN112335233B (zh) 图像生成装置以及摄像装置
JP2008035090A (ja) 信号処理方法およびカメラ
JPWO2011162155A1 (ja) 撮像装置
JPH05103330A (ja) カラー固体撮像装置
JPS642278B2 (zh)

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant