CN102687502B - 减少彩色图像中的噪声 - Google Patents
减少彩色图像中的噪声 Download PDFInfo
- Publication number
- CN102687502B CN102687502B CN200980161922.8A CN200980161922A CN102687502B CN 102687502 B CN102687502 B CN 102687502B CN 200980161922 A CN200980161922 A CN 200980161922A CN 102687502 B CN102687502 B CN 102687502B
- Authority
- CN
- China
- Prior art keywords
- view data
- aperture
- spectrum energy
- imageing sensor
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims abstract description 51
- 238000003384 imaging method Methods 0.000 claims abstract description 41
- 238000001228 spectrum Methods 0.000 claims description 39
- 230000005855 radiation Effects 0.000 claims description 37
- 238000001429 visible spectrum Methods 0.000 claims description 36
- 238000001914 filtration Methods 0.000 claims description 20
- 230000009467 reduction Effects 0.000 claims description 15
- 230000003287 optical effect Effects 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 claims description 12
- 244000287680 Garcinia dulcis Species 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 abstract description 11
- 239000000758 substrate Substances 0.000 description 13
- 230000004044 response Effects 0.000 description 10
- 230000035945 sensitivity Effects 0.000 description 10
- 239000000463 material Substances 0.000 description 7
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 238000002329 infrared spectrum Methods 0.000 description 6
- 229910052710 silicon Inorganic materials 0.000 description 6
- 239000010703 silicon Substances 0.000 description 6
- 238000000576 coating method Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000011248 coating agent Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000005670 electromagnetic radiation Effects 0.000 description 3
- 239000010408 film Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 239000010409 thin film Substances 0.000 description 2
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 1
- 102100022717 Atypical chemokine receptor 1 Human genes 0.000 description 1
- 238000005033 Fourier transform infrared spectroscopy Methods 0.000 description 1
- 101000678879 Homo sapiens Atypical chemokine receptor 1 Proteins 0.000 description 1
- 239000004952 Polyamide Substances 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- NNBFNNNWANBMTI-UHFFFAOYSA-M brilliant green Chemical compound OS([O-])(=O)=O.C1=CC(N(CC)CC)=CC=C1C(C=1C=CC=CC=1)=C1C=CC(=[N+](CC)CC)C=C1 NNBFNNNWANBMTI-UHFFFAOYSA-M 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000007888 film coating Substances 0.000 description 1
- 238000009501 film coating Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 229920002647 polyamide Polymers 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
描述了一种用于提供低噪声彩色图像的方法和成像系统。该方法可以包含下列步骤：将图像传感器暴露于可见光谱能量和不可见光谱能量下，所述图像传感器包含用于获得与所述可见光谱能量相关联的第一图像数据的像素和用于获得与所述不可见光谱能量相关联的第二图像数据的像素；产生第一和第二图像数据；使所述第一图像数据经过低通滤波器，并使所述第二图像数据经过高通滤波器；以及通过将所述第二图像数据的高频分量的至少一部分与所述第一图像数据的低频分量的至少一部分相加来形成彩色图像。
Description
技术领域
本发明涉及减少彩色图像中的噪声，并且，特别地但不是专门地，涉及用于提供低噪声的彩色图像的方法和系统、用于这样的系统中的图像处理设备和图像传感器、以及使用这样的方法的计算机程序产品。
背景技术
为了再现与真实场景尽可能匹配的彩色图像，传统的数字照相机使用滤波器，例如，插入透镜和图像传感器之间的滤色器阵列(CFA)和透镜之前的红外阻挡滤波器。但是，使用滤波器减少了到达图像传感器的光的量，因而基本上降低了照相机的信噪比(SNR)。此外，数字照相机技术中的当前趋势，诸如通过减少像素尺寸来增加传感器分辨率以及希望以用于在低光条件下捕获图像的更高的ISO灵敏度来获得提高的图像质量，会导致SNR的进一步的降低。
诸如通过使用更长的曝光时间或更大的光圈来将图像传感器暴露于更多的光下的提高SNR的措施会导致运动模糊和/或减小的景深(DOF)，因此不能提供真实的提高。另一种选择是增加ISO速度(即，增加图像传感器的增益)。但是，增加ISO速度显著地增加图像噪声。因此，为了在低光条件下和/或在使用具有减小的像素尺寸的图像传感器时将SNR提高或至少保持在期望的水平，减小噪声的技术变得越来越重要。
一种提高数字照相机的SNR的方法可以是使用具有扩展的光谱灵敏性的图像传感器。例如US2007/0153335描述了包含RGB像素和非滤波的(透明的)像素的图像传感器的使用。透明像素的信号被用于噪声减少方案，其中，基于透明像素信号中包含的边缘信息来对相对较高的噪声RGB像素信号进行滤波。但是，噪声减少方案相当复杂并且依赖于边缘保持滤波(edge-preserving filtering)。与边缘保持滤波器(例如，中值滤波器、双边滤波器等)的使用有关的问题在于：对于与锐利或清晰的边缘无关的细节，这样的滤波器最终不能确定噪声与实际的图像细节之间的不同。
因此，在本领域中，需要提供以提高的SNR提供彩色图像的简单和有效的方式的方法和系统。
发明内容
本发明的目的在于减少或消除至少一个现有技术中已知的缺点。在第一方面中，本发明可以涉及一种处理彩色图像的方法。
该方法可以包含下列步骤：将图像传感器暴露于可见光谱能量和不可见光谱能量下，所述图像传感器包含用于获得与所述可见光谱能量相关联的第一图像数据的像素和用于获得与所述不可见光谱能量相关联的第二图像数据的像素；产生第一和第二图像数据；使所述第一图像数据经过低通滤波器，并且使所述第二图像数据经过高通滤波器；以及通过将所述第二图像数据的高频分量的至少一部分与所述第一图像数据的低频分量的至少一部分相加来形成彩色图像。
可以使用用于产生与可见光谱能量相关联的第一图像数据和与不可见光谱能量相关联的第二图像数据的各种图像传感器。在一个实施例中，用于获得所述第一图像数据的所述像素可以包含一个或多个彩色像素滤波器，该一个或多个彩色像素滤波器被配置为透射所述可见光谱能量的至少一部分。在另一个实施例中，用于获得所述第二图像数据的所述像素可以包括一个或多个红外透射像素滤波器，该一个或多个红外透射像素滤波器被配置为透射所述不可见光谱能量的实质部分并阻挡所述可见光谱能量的实质部分。在又一个实施例中，用于获得第一和第二图像数据的所述像素包含两个或多个垂直堆叠的光传感器，所述光传感器中的至少一个对所述可见光谱能量的预定部分作出响应，并且所述光传感器的所述至少一个对所述不可见光谱的预定部分作出响应。
因此，与已知的噪声降低方案形成对比，根据本发明的噪声降低处理产生“合成的”低噪声彩色图像，其中，彩色信息由RGB像素产生的RGB图像数据的低频分量提供，并且其中，图像细节信息由红外像素产生的红外图像数据的高频分量提供。彩色图像可以通过简单地将低频RGB图像数据与高频红外图像数据相加来获得。本发明依赖于这样的事实，即：图像传感器将产生相对低噪声的红外像素信号，从而能够实现彩色图像中的有效的噪声抑制并基本上提高彩色图像的SNR。
在一个实施例中，可以至少使用第一光圈将图像传感器暴露于所述可见光谱能量下并至少使用第二光圈将图像传感器暴露于所述不可见光谱能量下。在另一个实施例中，所述第一光圈可以适合于控制将图像传感器暴露于所述不可见光谱能量的至少一部分下，并且其中，所述第二光圈可以适合于控制将所述图像传感器暴露于所述可见光谱能量的至少一部分下。在另一个实施例中，该方法还包含与第一光圈相对于第二光圈之比成比例地放大所述第二图像数据的滤波的高频分量的步骤。双光圈的使用提供了具有定焦透镜的成像系统(例如，在移动电话中的照相机)以具有宽的孔径，因此在更低光条件下有效地操作，而同时具有更大的DOF和SNR，从而导致更锐利的图片。
在一个变型例中，该方法还可以包含这样的步骤：即，根据至少第一ISO速度放大与所述可见光谱能量相关联的一个或多个图像传感器信号，以及根据至少第二ISO速度放大与所述不可见光谱能量相关联的一个或多个图像传感器信号，其中所述第一ISO速度大于所述第二ISO速度。在一个实施例中，所述第一ISO值和第二ISO值之间的比例可以被设置为大约在2与8之间。通过使用双ISO设置，可以在低光条件下获得提高的彩色图像。
在另一个变型例中，该方法还可以包含这样的步骤：即，将用于曝光与所述不可见光谱能量相关联的一个或多个像素的曝光时间设置为比用于曝光与所述可见光谱能量相关联的一个或多个像素的曝光时间低的值。对红外像素使用相对较短的曝光时间可以导致具有减少的模糊的彩色图像。
在另一个变型例中，该方法还可以包含这样的步骤，即，从所述第一数据的至少一部分减去所述第二图像数据的至少一部分，以便形成校正的彩色图像数据。因此，红外图像数据可以用于有效地消除由彩色像素产生的信号中的红外分量。
在另一个实施例中，该方法还可以包含下列步骤：提供由所述图像传感器产生的马赛克图像数据(mosaic image data)，使用去马赛克算法(demosaicing algorithm)基于所述图像数据产生至少一个或多个与一个或多个彩色像素相关联的第一彩色图像数据以及与所述红外像素相关联的第二图像数据。
在另一个方面中，本发明可以涉及一种图像处理设备，该图像处理设备包括：输入端，用于接收通过将图像传感器暴露于可见和不可见光谱能量下产生的图像数据，所述图像数据包含与可见光谱能量相关联的第一图像数据和与不可见光谱能量相关联的第二图像数据；噪声降低单元，被配置为使所述第一图像数据经过低通滤波器并使所述第二图像数据经过高通滤波器；以及混合单元，用于将所述高通滤波的红外图像数据与所述低通滤波的彩色图像数据相加。
在一个实施例中，该设备还可以包括用于接收由图像传感器产生的马赛克图像数据的去马赛克处理单元，所述马赛克数据包含与一个或多个彩色像素滤波器相关联的第一马赛克图像数据和与一个或多个红外像素滤波器相关联的第二马赛克图像数据。
在另一个实施例中，该处理设备还可以包括：被配置为接收来自所述去马赛克处理单元的输入的颜色校正单元，所述颜色校正单元被配置为从与一个或多个彩色像素滤波器相关联的所述第一去马赛克图像数据减去与一个或多个红外像素滤波器相关联的第二去马赛克图像数据。
在另一个方面中，本发明可以涉及一种成像系统，该成像系统包括：图像传感器，被配置为暴露于可见光谱能量和不可见光谱能量下，所述图像传感器包含用于获得与所述可见光谱能量相关联的第一图像数据的像素和用于获得与所述不可见光谱能量相关联的第二图像数据的像素；光圈系统，该光圈系统适合于控制将图像传感器暴露于可见和不可见光谱能量下；以及如上所述的图像处理设备。
在一个实施例中，所述光圈系统包含至少第一光圈和至少第二光圈，所述第一光圈适合于控制将图像传感器暴露于所述不可见光谱能量的至少一部分下，所述第二光圈适合于控制将所述图像传感器暴露于所述可见光谱能量的至少一部分下。
本发明还涉及在以上描述的成像系统中使用的图像传感器，其中该传感器包括：像素阵列，优选地为二维像素阵列，其限定对可见光谱能量敏感的一个或多个彩色像素以及对不可见光谱能量敏感的一个或多个红外像素；以及至少一个与所述彩色像素的至少一部分相关联的第一放大器和与所述红外像素的至少一部分相关联的第二放大器，所述第一放大器用于将与所述彩色像素相关联的ISO速度设置为第一ISO速度值，所述第二放大器用于将与所述红外像素相关联的ISO速度设置为第二ISO速度值，所述第一ISO速度值大于所述第二ISO速度值，优选地，所述第一放大器和第二放大器被配置为使得所述第一ISO速度值和第二ISO速度值之间的比例可以被控制为大约在2和8之间。
在另一个实施例中，该图像传感器还可以包含与所述彩色像素的至少一部分相关联的第一电子快门和与所述红外像素的至少一部分相关联的第二电子快门，所述第一电子快门用于将与所述彩色像素相关联的曝光时间设置为第一曝光值，所述第二电子快门用于将与所述红外像素相关联的曝光时间设置为第二曝光值。因此，在本实施例中，该图像传感器尤其适合于与图像处理设备一起使用，用于使用由红外像素产生的红外信号的高频分量来有效地降低彩色图像中的噪声。此外，该图像传感器可以为彩色像素和红外像素独立地设置信号增益(ISO速度)和曝光时间，从而使得成像系统可以使用双ISO和/或双曝光模式，用于在低光条件下提高SNR和/或降低运动模糊。
本发明还可以涉及一种用于处理彩色图像的计算机程序产品，其中，所述计算机程序产品包含计算机代码部分，该计算机代码部分被配置为当在计算机系统的存储器中运行时执行如上所述的方法步骤；本发明还可以涉及一种数据信号，该数据信号以在通过计算机系统的传输线和/或连接到计算机系统的数据网络传播的载波的形式实现，其中，所述数据信号包含对上述计算机程序产品的至少一部分进行编码的数据；本发明还可以涉及一种计算机程序存储介质，其可以由计算机系统读取，并且对用于管理对如上所述的计算机系统的一个或多个资源的安全访问的计算机程序产品进行编码。
将参考附图对本发明进行进一步的图示，这些附图示意性地示出根据本发明的实施例。应当理解，本发明决不局限于这些特定实施例。
附图说明
图1描绘了根据本发明的一个实施例的成像系统。
图2描绘了没有红外阻挡滤波器的数字照相机的典型的颜色响应。
图3描绘了硅和红外阻挡滤波器的光响应。
图4描绘了(A)红外/彩色滤波器阵列和(B)堆叠的光电二极管结构的示意图。
图5描绘了根据本发明的一个实施例的噪声降低方案的流程图。
图6描绘了用于根据本发明的一个实施例的成像系统中的双光圈。
图7描绘了提高使用双光圈的成像系统中的DOF的原理。
具体实施方式
图1示出了根据本发明的一个实施例的成像系统100。该成像系统包含：图像传感器102、透镜系统104、快门106和光圈系统108，透镜系统104用于将场景中的物体聚焦在图像传感器的成像平面上，光圈系统108包含至少一个允许电磁光谱的可见部分(例如RGB)和不可见部分(例如，红外)的光(电磁辐射)进入成像系统的光圈。该成像系统可以是数字照相机的一部分，或者被集成在需要图像捕获功能的移动电话、网络摄像机和另一种多媒体装置中。
由快门和光圈来控制将图像传感器暴露于光下。当快门打开时，光圈控制光的量和对图像传感器进行曝光的光的准直度。快门可以是机械快门，或者，可替换地，快门可以是集成在图像传感器中的电子快门。该图像传感器包含形成二维像素阵列的感光位点(像素)的行和列。该图像传感器可以是CMOS(互补金属氧化物半导体)有源像素传感器或CCD(电荷耦合器件)图像传感器。
当光被透镜系统投射到图像传感器上时，每一个像素都产生电信号，该电信号与入射到该像素上的电磁辐射(能量)成比例。为了获得颜色信息并将投射到图像传感器的成像平面上的图像的颜色分量分开，通常将滤色器阵列120(CFA)插入在透镜与图像传感器之间。滤色器阵列可以与图像传感器集成在一起，从而使得图像传感器的每一个像素都具有对应的像素滤波器。每一个滤色器都适合于使预定颜色带的光穿过而进入到像素中。通常使用红色、绿色和蓝色(RGB)滤波器的组合，但是其它滤波器方案也是可能的，例如，CYGM(青色、黄色、绿色、品红色)、RGBE(红色、绿色、蓝色、翠绿色)等。
曝光的图像传感器的每一个像素都产生与穿过与该像素相关的滤色器的电磁辐射成比例的电信号。这样，像素的阵列产生表示穿过滤色器阵列的电磁能量(辐射)的空间分布的图像数据(帧)。从像素接收到的信号可以使用一个或多个芯片上放大器(on-chipamplifier)来放大。在一个实施例中，图像传感器的每个颜色通道都可以通过使用分开的放大器来放大，从而允许分开地控制针对不同颜色的ISO速度。
此外，使用一个或多个模拟到数字(A/D)转换器110，像素信号可以被采样、量化和变换为数字格式的字(word)，该模拟到数字(A/D)转换器110可以被集成在图像传感器的芯片上。数字化的图像数据由耦合到图像传感器的数字信号处理器112(DSP)处理，该数字信号处理器112被配置为执行诸如内插、滤波、白平衡、亮度校正、数据压缩技术(例如，MPEG或JPEG类型的技术)等的信号处理功能。DSP被耦合到中央处理器114、存储存储器116和程序存储器118(诸如EEPROM或另一种类型的非易失性存储器)，存储存储器116用于存储捕获的图像，程序存储器118包含由DSP用于处理图像数据或由中央处理器用于管理成像系统的操作的一个或多个软件程序。
为了提高成像系统的灵敏度，透镜系统被配置为允许可见光和红外辐射二者或红外辐射的至少一部分进入成像系统。为此，成像系统不包含在透镜系统之前的滤波器，该滤波器阻挡所有红外辐射进入。这样，经由透镜系统进入成像系统的电磁波辐射122可以包含与光学光谱的可见部分和红外部分相关联的两种辐射，从而将图像传感器的光响应扩展到红外。
在传统CFA彩色图像传感器上的红外阻挡滤波器(没有红外阻挡滤波器)的效果在图2中示出。在曲线图A和B中的曲线202表示没有红外阻挡滤波器(热镜式滤波器)的数字照相机的典型的颜色响应。曲线图A示出使用热镜式滤波器的效果。热镜式滤波器210的响应将图像传感器的光谱响应限制到可见光谱，从而基本上限制了图像传感器的总灵敏度。如果热镜式滤波器被取走，那么某些红外辐射将穿过彩色像素滤波器。这种效果由曲线图B描绘，曲线图B示出包含蓝色像素滤波器204、绿色像素滤波器206和红色像素滤波器208的彩色像素的光响应。彩色像素滤波器，尤其是红色像素滤波器，(部分地)透射红外辐射，从而使得一部分像素信号可以被归因于红外辐射。这些红外贡献可以使颜色平衡产生畸变，从而导致包含所谓的伪颜色(false color)的图像。
图3描绘了包含热镜式滤波器302的响应和硅(即，在数字照相机中使用的图像传感器的主要半导体成分)304的响应的曲线图。该曲线图清晰地示出了，硅图像传感器对红外辐射的灵敏度大约是其对可见光的灵敏度的四倍。
因此，为了利用由图像传感器提供的光谱灵敏度，图1中的成像系统中的图像传感器102包含一个或多个像素，用于取回与红外光谱能量相关联的像素信号，从而允许成像系统产生RGB彩色图像和相对低噪声的红外图像。这样的图像传感器的例子在图4中描绘。图4(A)描绘了一个实施例，其中，图像传感器包含与彩色像素结合的一个或多个红外(I)像素。这样的红外像素可以通过使用基本上阻挡可见光并基本上透射红外辐射(优选地是在大约700到1100nm的范围内的红外辐射)的滤波材料覆盖光位点来实现。在这样的红外/彩色滤波器阵列(ICFA)中的红外透射像素滤波器可以使用熟知的对光谱的红外带中的波长具有高透射率的滤波材料来实现，该滤波材料例如为由Brewer Science销售的商标为“DARC 400”的黑色聚酰亚胺材料。实现这样的滤波器的方法在US2009/0159799中描述。ICFA可以包含例如2×2像素的像素块，其中，每一个块包含红色、绿色、蓝色和红外像素。当被曝光时，这样的图像ICFA彩色图像传感器可以产生包含RGB颜色信息和红外信息的原始的马赛克图像。通过使用熟知的去马赛克算法对原始的马赛克图像进行处理后，可以获得RGB彩色图像和红外图像。这样的ICFA彩色图像传感器对红外辐射的灵敏度可以通过增加块中的红外像素的数量来提高。在一种配置(未示出)中，图像传感器滤波器阵列可以例如包含由十六个像素构成的块，十六个像素包含四个彩色像素RGGB和十二个红外像素。
在另一个实施例中，图像传感器可以包含光位点的阵列，其中，每一个光位点都包含大量的堆叠的光电二极管。优选地，堆叠的光电二极管至少包含四个堆叠的光电二极管，这些光电二极管至少分别对原色RGB和红外进行响应。这些堆叠的光电二极管可以被集成到图像传感器的硅基板中。图4(B)描绘了这样的堆叠的光位点的示意图。光电二极管404、406、408、410位于图像传感器的硅基板中的不同深度处，从而使得每一个光电二极管响应于光谱的不同部分。波长越长，光穿透入硅中得越深。因此，最接近图像传感器的光接收表面402的光电二极管404将具有对蓝色的光谱响应，从而形成蓝色(彩色)像素，然而，距离表面402最远的光电二极管410将具有对红外的光谱响应，从而形成红外(I)像素。这样的包含垂直堆叠的光电二极管的RGBI图像传感器提供这样的优点：在不需要去马赛克的情况下，彩色像素的信号允许直接形成RGB彩色图像和红外图像。
图像传感器可以包含用于放大彩色像素和红外像素和/或透明像素的像素信号的一个或多个放大器、以及用于将像素曝光预定曝光时间的一个或多个电子快门。典型地，放大器和快门电子器件可以被集成在图像传感器芯片上。在一个实施例中，彩色像素可以具有用于设置与彩色像素相关联的ISO速度和/或曝光时间的电子快门和/或放大器。类似地，红外像素可以具有用于设置与红外像素相关联的ISO速度和/或曝光时间的电子快门和/或放大器。
如图4所示的由图像传感器的红外像素产生的红外图像数据可以用于产生具有提高的SNR特性的彩色图像。这样的处理的一个实施例在图5中进行了更详细的描绘。在该实施例中，使用包含IFCA彩色图像传感器的成像系统。在该处理的第一步骤中，图像传感器产生包含马赛克的原始图像数据，该马赛克表示入射到图像传感器的光接收区域的彩色(RGB)和红外光谱中的光子能量的分布(步骤502)。随后，使用熟知的去马赛克算法将马赛克图像数据在三种(R’G’B’)彩色图像和一种红外图像中被去马赛克(步骤S504)。R’G’B’彩色图像仍然可能包含不想要的红外信息，该红外信息可以通过将红外图像从彩色图像减去来去除，从而产生补偿的(真实的)RGB彩色图像(步骤506)。可替换地，R’G’B’彩色图像可以使用熟知的白平衡技术来得以校正。其后，使RGB彩色图像经过低通滤波器(诸如有限输入响应滤波器或边缘保持滤波器)，从而有效地产生模糊的或至少部分模糊的图像，其中对比度信息和高频噪声被抑制(步骤508)。为了提取包含红外图像的对比度信息的红外图像像素信号的高频分量，使红外图像数据经过高通滤波器(步骤510)。在一个实施例(未示出)中，可以使红外图像进一步经过边缘保持滤波步骤。这样的边缘保持滤波步骤还可以加强红外图像数据中的对比度信息。为了形成全彩色RGB图像，随后，将经过高通滤波的红外图像数据和经过低通滤波的彩色图像数据相加(混合)(步骤512)。因此，与已知的噪声降低方案形成对比，根据本发明的噪声降低处理产生“合成的”低噪声彩色图像，其中，彩色信息由通过RGB像素产生的RGB图像数据的低频分量提供，并且其中，图像细节信息由通过红外像素产生的红外图像数据的高频分量提供。彩色图像可以通过简单地将低频RGB图像数据与高频红外图像数据相加来获得。本发明依赖于图像传感器将产生相对低噪声的红外像素信号的事实。该方法允许彩色图像中的有效的噪声抑制，并且可以基本上提高彩色图像的SNR。在一个变型例中，RBG彩色图像可以被进一步变换到合适的色空间，例如LAB色空间，该LAB色空间基于由Commission International de I1 éclairage定义的CIE 1931 XYZ色空间并且被设计为近似于人类的视觉。其后，将高频红外分量与LAB彩色图像的L(明度对比)分量相加。
该方法可以作为成像系统的DSP中的噪声抑制功能来实现。典型地，该方法将作为软件程序或者作为硬件电路和软件程序的组合来实现。
尽管在图5中描绘的方法是使用用于获得红外图像数据的ICFA类型的图像传感器来描述的，但是本发明还可以与其它的图像传感器一起使用。在一个实施例中，在图5中描绘的方法还可以与包括如参考图4(B)描述的垂直堆叠的光电二极管的RGBI图像传感器一起使用。使用这样的图像传感器提供如下优点：不需要参考图5所描述的去马赛克步骤504和颜色补偿步骤506。
在另一个实施例(未示出)中，可以使用包含一个或多个全色或透明像素的彩色图像传感器。例如，这样的彩色图像传感器从US2007/0153335、US2007/0145273或WO2007/015982获知，并且包含RGB像素(的块)和一个或多个透明(T)或全色像素，该透明(T)或全色像素对可见光谱和不可见(红外)光谱都敏感。在使用这样的图像传感器捕获了原始图像数据后，捕获的RGB数据的颜色平衡可以首先使用例如US2007/0153335中公开的已知的白平衡技术来得以恢复。其后，使用低通滤波器对RGB图像数据进行滤波，并且使用高通滤波器对与透明像素相关联的图像数据(包含RGB部分和红外部分两者)进行滤波。为了形成具有提高的SNR的彩色图像，随后，将透明像素信号的高频分量与低通滤波的RGB图像数据相加。
噪声降低方法可以允许在低(可见)光条件下对图像质量的进一步提高。出于这一目的，在另一个实施例中，为了在低光条件下提供高噪声彩色图像，图像传感器的彩色像素可以被设置为高ISO速度(例如，由ISO标准12232：2006定义的)，例如在3200与6400之间。将彩色像素设置为更高的ISO等级有效地表明，增加了与彩色像素相关联的放大器的信号增益。
为了产生低噪声红外图像，图像传感器的红外像素可以被设置为低ISO速度，例如，在400与1600之间。在一个实施例中，高ISO值和低ISO值之间的比例可以设置为在2与8之间。使用如参考图5所描述的方法对由在双ISO模式下的图像传感器在低光条件下捕获的原始图像数据的后续处理将导致具有提高的SNR的彩色图像。该方法允许图像传感器的固有红外灵敏性的最佳使用，并且不需要复杂的处理。
在另一个实施例中，图5中的方法可以用于降低照相机抖动的影响，特别是当使用相对较长的曝光时间时。在这种情况下，对红外敏感的像素可以被设置为与彩色像素相同的灵敏度(相同的ISO速度)。但是，相对于彩色像素的曝光时间，用于红外像素的曝光时间可以显著地减少。例如，如果用于彩色像素的曝光时间被设置为1/4秒，那么用于红外像素的曝光时间被设置为1/60秒，从而提供高对比度的红外图像。使用在图5中描绘的方法对由图像传感器产生的原始的图像数据的后续处理将导致具有降低的模糊的彩色图像。
对于彩色像素和红外像素的曝光时间可以通过使用用于彩色像素的第一电子快门和用于红外像素的第二电子快门来控制。可替换地，可以通过按时间捕获两个连续的图像(即，与相对较长的曝光时间相关联的第一图像和与相对较短的曝光时间相关联的第二图像)来获得彩色图像和红外图像。
因此，与图像传感器结合使用噪声降低方法允许成像系统使用双ISO和/或双曝光模式，以便在低光条件下增加SNR和/或降低运动模糊，该图像传感器被配置为分别独立地控制彩色像素和红外像素的信号增益(ISO速度)和曝光时间。
在另一个实施例中，噪声降低方法可以被用于包含双光圈的成像系统中。这样的双光圈可以用于提高照相机的景深(DOF)。DOF确定当捕获图像时离处于对焦的照相机的距离的范围。光圈越宽(接收的光越多)，DOF被限制得越多。在图6中示意性地描绘这样的双光圈的一个实施例。双光圈系统600包括在中间具有开口604(例如，圆形孔)的基板602。基板材料可以是至少对可见辐射透明的，并且可以被诸如电介质滤波器的薄膜滤波材料606所涂敷。在一个实施例中，基板被二向色滤波器涂敷，该二向色滤波器反射红外光谱中的辐射，并透射可见光谱中的辐射。也称为干涉滤波器的二向色滤波器在本领域中是熟知的，并且通常包含大量的特定厚度的薄膜电介质层，该薄膜电介质层被配置为反射红外辐射(例如，具有在大约750与1250纳米之间的波长的辐射)并透射光谱的可见光部分中的辐射。
可以使用不透明材料的保持器604将该基板置于成像系统中的透镜之前。该保持器包含圆形开口608，并被配置为接纳和定位基板，从而使得基板中的开口位于保持器的圆形开口的中心。由于保持器开口的直径大于基板开口的直径，因此被滤波器涂敷的基板的一部分经由透镜暴露于进入成像系统的辐射下。暴露的部分在基板孔的周围形成同心环610。
多光圈可以通过使用若干个分开的光圈元件来形成，例如，包含第一圆形滤波器涂层的第一透明基板与包含第二圆形滤波器的第二透明基板光学和光学系统的一个或多个透镜光学对准，从而有效地提供与关于图6所描述的双光圈系统相同的效果。可替换地，该光圈系统可以通过使用作为用于形成光圈系统的第一和第二滤波器涂层的基板的透镜来与透镜集成在一起。
在变型例中，双光圈系统可以通过两个或多个透镜系统(例如，具有相关联的第一光圈系统的第一透镜系统和具有相关联的第二光圈系统的第二透镜系统)形成。
可见和不可见(红外)光谱能量经由双光圈系统进入成像系统。由于在光圈系统中使用的红外阻挡滤波器对可见光是透明的，因此进入成像系统的可见光谱中的辐射的量由保持器开口的直径来控制。另一方面，由于滤波器阻挡红外辐射的全部或者至少实质部分，因此进入成像系统的红外光谱中的辐射的量由基板中的开口的直径来控制，该直径小于保持器开口的直径。
因此，与包含单个光圈的成像系统相反，双光圈成像系统使用包含两个(或更多)不同尺寸的光圈，用于控制对图像传感器进行曝光的光谱的不同带中的辐射的量和准直度。双光圈允许具有典型的f数为7(例如，焦距f为7mm并且直径为1mm)的简单的移动电话照相机经由具有第二光圈来提高其DOF，该第二光圈的f数例如在针对0.5mm的直径的14直到针对等于或小于0.2mm的直径的70或更大之间改变，其中f数被定义为光圈的焦距f和有效直径之比。优选的实施方式包括这样的光学系统，该光学系统包含与用于提高远处物体的锐度的大约16到22的红外光圈的f数结合的用于提高近处的物体的锐度的大约2到4的可见辐射的f数。
光圈系统可以包含具有如下两个不同薄膜滤波器的透明基板：在基板中心的第一圆形薄膜滤波器，形成透射光谱中的第一带中的辐射的第一光圈；以及在第一滤波器周围(例如，以同心环的形式)形成的第二薄膜滤波器，透射光谱中的第二带中的辐射。第一滤波器可以被配置为透射可见和红外辐射两者，并且第二滤波器可以被配置为反射红外辐射并透射可见辐射。外同心环的外直径可以由不透明光圈保持器中的开口来限定，或者，可替换地，由沉积在阻挡红外辐射和可见辐射两者的基板上的不透明薄膜层中限定的开口来限定。
如图6中描绘的双光圈系统可以用于提高成像系统的DOF。提高DOF的原理在图7中示意性地示出。可见和红外光谱能量经由双光圈系统进入成像系统，该双光圈系统包含具有预定直径的圆形孔702的被滤波器涂敷的透明基板700。滤波器涂层704可以透射可见辐射并反射红外辐射。不透明覆盖层706可以包含具有大于孔702的直径的直径的圆形开口。该覆盖层可以包含反射红外和可见辐射两者的薄膜涂层，或者可以是用于将基板700保持并定位在光学系统中的保持器的一部分。可见和红外光谱能量穿过光圈系统并随后由透镜712投射到下述图像传感器或包含堆叠的RGBI光位点的图像传感器的成像平面714上，该图像传感器包含用于获得与可见光谱能量相关联的图像数据的像素和用于获得与不可见(红外)光谱能量相关联的图像数据的像素，诸如ICFA彩色图像阵列。这样，图像传感器的像素可以接收与具有有限的DOF的可见光谱能量相关联的第一(相对)宽光圈图像信号716，该第一宽光圈图像信号716同与具有大DOF的红外光谱能量相关联的第二小光圈图像信号718重叠。因此，靠近透镜的焦点f的平面的物体714通过可见辐射以相对较小的散焦模糊投射到图像平面上，而距离焦点的平面较远处的物体716通过红外辐射以相对较小的散焦模糊投射到图像平面上。
在曝光时，图像传感器在一个图像帧中同时捕获可见和红外图像信号两者。如果使用ICFA彩色图像传感器，那么DSP可以使用例如去马赛克算法来将捕获的原始马赛克图像中的彩色和红外像素信号分开(未示出)。其后，使(可见)彩色图像数据和(不可见)红外图像数据可以经过参考图5所描述的噪声降低方法，从而产生具有提高的DOF和SNR的彩色图像。据认为，技术人员可以容易地将图7中示出的原理扩展到多光圈系统，该多光圈系统可以被配置为将在距离焦平面不同距离处的物体以小的散焦模糊投射到图像传感器的图像平面上。
当使用如参考图6和图7描述的包括双光圈的成像系统时，由图像传感器接收的红外辐射主要由红色和红外像素滤波器透射。因此，捕获的图像帧的红色分量包含高振幅的可见的红色信号和锐利的低振幅的不可见红外信号。典型地，红外分量将为可见红色分量的1/8到1/16倍。红色平衡可以被调整，以补偿由于红外的出现而产生的轻微的畸变。锐利的小光圈红外图像信号可以从红外像素信号和红色像素的高通滤波的分量获得。该信号可以用于提高彩色图像的DOF和SNR两者。
由图像传感器的红外像素产生的红外图像信号可以被用于通过从彩色图像信号的每一种颜色分量中减去这些信号来有效地去除由红外辐射产生的彩色像素中的颜色畸变。这样，与多光圈系统结合使用具有RGBI滤波器阵列的图像传感器或堆叠的RGBI图像传感器允许产生具有提高的DOF和SNR以及颜色平衡的彩色图像。
在另一个实施例中，如参考图6和图7描述的双光圈成像系统还可以使用包含彩色像素和透明或全色像素的彩色图像传感器。由于与大光圈颜色信号相比小光圈红外信号是相对较低振幅的信号，因此在彩色像素信号中红外的贡献将相对较小。为了去除由透明像素产生的图像数据中的主导颜色分量，可以使用由彩色像素产生的彩色图像数据。将彩色图像数据从由透明像素产生的图像数据中减去将提供红外图像数据，该红外图像数据适合于在如参考图5所描述的噪声降低方法中使用。
此外，由于红外光圈的相对较小的尺寸产生了相对较小的红外图像信号，因此可以与可见光光圈相对于红外光圈之比成比例地放大滤波的高频分量。
将如参考图6和图7所描述的双光圈与如参考图5所描述的噪声降低方案结合提供了具有定焦透镜的成像系统(例如，在移动电话中的照相机)，从而具有宽的光圈，因此在低光条件下有效地操作，而同时具有更大的DOF和SNR，因此实现更锐利的图片。
应该理解，关于任何一个实施例描述的任何特征都可以单独地使用或者与描述的其它特征结合使用，并且还可以与任何其它实施例或任何其它实施例的任何组合的一个或多个特征结合使用。此外，在不脱离本发明的范围的情况下，也可以采用在上面没有描述的等同物和修改，本发明的范围在所附权利要求书中限定。
Claims (12)
1.一种提供低噪声彩色图像的方法，该方法包括下述步骤：
通过使用至少第一光圈将一个图像传感器暴露于可见光谱能量下，并且通过使用至少第二光圈将所述图像传感器暴露于不可见光谱能量下，第二光圈比第一光圈小，所述图像传感器包含用于获得与所述可见光谱能量相关联的第一图像数据的像素和用于获得与所述不可见光谱能量相关联的第二图像数据的像素；
产生第一和第二图像数据；
使所述第一图像数据经过低通滤波器，并且使所述第二图像数据经过高通滤波器；以及
通过将所述第二图像数据的高频分量的至少一部分与所述第一图像数据的低频分量的至少一部分相加来形成彩色图像。
2.根据权利要求1所述的方法，其中，用于获得所述第一图像数据的所述像素包含被配置为透射所述可见光谱能量的至少一部分的一个或多个彩色像素滤波器。
3.根据权利要求1或2所述的方法，其中，用于获得所述第二图像数据的所述像素包括一个或多个红外透射像素滤波器，所述一个或多个红外透射像素滤波器被配置为透射所述不可见光谱能量的实质部分并阻挡所述可见光谱能量的实质部分。
4.根据权利要求1所述的方法，其中，用于获得第一和第二图像数据的所述像素包含两个或更多个垂直堆叠的光传感器，所述光传感器中的至少一个对所述可见光谱能量的预定部分作出响应，并且所述光传感器中的至少一个对所述不可见光谱的预定部分作出响应。
5.根据权利要求1所述的方法，其中，所述第一光圈适合于控制将所述图像传感器暴露于所述不可见光谱能量的至少一部分下，并且其中，所述第二光圈适合于控制将所述图像传感器暴露于所述可见光谱能量的至少一部分下。
6.根据权利要求1、2、4或5所述的方法，其中，所述方法还包括与第一光圈相对于第二光圈之比成比例地放大所述第二图像数据的滤波的高频分量的步骤。
7.根据权利要求1、2、4或5所述的方法，其中，所述方法还包括下述步骤：根据至少第一ISO速度放大与所述可见光谱能量相关联的一个或多个图像传感器信号，以及根据至少第二ISO速度放大与所述不可见光谱能量相关联的一个或多个图像传感器信号，其中所述第一ISO速度大于所述第二ISO速度。
8.根据权利要求1、2、4或5所述的方法，所述方法还包括将用于曝光与所述不可见光谱能量相关联的一个或多个像素的曝光时间设置为比用于曝光与所述可见光谱能量相关联的一个或多个像素的曝光时间低的值的步骤。
9.根据权利要求1、2、4或5所述的方法，其中所述图像传感器包含设有彩色像素滤波器的一个或多个彩色像素和设有大幅度透射红外辐射且阻挡可见光的像素滤波器的一个或多个红外像素，所述方法还包括下述步骤：
提供由所述图像传感器产生的马赛克图像数据，
使用去马赛克算法，基于所述图像数据产生与一个或多个彩色像素相关联的至少一个或多个第一彩色图像数据以及与所述红外像素相关联的第二图像数据。
10.一种图像处理设备，包括：
输入端，用于接收通过使用第一光圈将一个图像传感器暴露于可见光谱能量下并且使用第二光圈将所述图像传感器暴露于不可见光谱能量下而产生的图像数据，第二光圈比第一光圈小，所述图像数据包含与可见光谱能量相关联的第一图像数据和与不可见光谱能量相关联的第二图像数据；
噪声降低单元，被配置为使所述第一图像数据经过低通滤波器并使所述第二图像数据经过高通滤波器；
混合单元，用于将所述高通滤波的第二图像数据与所述低通滤波的第一图像数据相加。
11.一种成像系统，包括：
图像传感器，被配置为暴露于可见光谱能量和不可见光谱能量下，所述图像传感器包含用于获得与所述可见光谱能量相关联的第一图像数据的像素以及用于获得与所述不可见光谱能量相关联的第二图像数据的像素；
光圈系统，该光圈系统适合于控制通过使用至少第一光圈将所述图像传感器暴露于可见光谱能量下并且通过使用至少第二光圈将所述图像传感器暴露于不可见光谱能量下，第二光圈比第一光圈小，以及
根据权利要求10所述的图像处理设备。
12.一种用于根据权利要求11所述的成像系统中的图像传感器，该传感器包括：
像素阵列，其限定对可见光谱能量敏感的一个或多个彩色像素以及对不可见光谱能量敏感的一个或多个红外像素；
至少一个与所述彩色像素的至少一部分相关联的第一放大器和与所述红外像素的至少一部分相关联的第二放大器，所述第一放大器用于将与所述彩色像素相关联的ISO速度设置为第一ISO速度值，所述第二放大器用于将与所述红外像素相关联的ISO速度设置为第二ISO速度值，所述第一ISO速度值大于所述第二ISO速度值。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/EP2009/060936 WO2011023224A1 (en) | 2009-08-25 | 2009-08-25 | Reducing noise in a color image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102687502A CN102687502A (zh) | 2012-09-19 |
| CN102687502B true CN102687502B (zh) | 2015-07-08 |
Family
ID=41666783
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200980161922.8A Expired - Fee Related CN102687502B (zh) | 2009-08-25 | 2009-08-25 | 减少彩色图像中的噪声 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20120154596A1 (zh) |
| EP (1) | EP2471258B1 (zh) |
| JP (1) | JP5670456B2 (zh) |
| CN (1) | CN102687502B (zh) |
| WO (1) | WO2011023224A1 (zh) |
Families Citing this family (50)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9635285B2 (en) * | 2009-03-02 | 2017-04-25 | Flir Systems, Inc. | Infrared imaging enhancement with fusion |
| US9451183B2 (en) | 2009-03-02 | 2016-09-20 | Flir Systems, Inc. | Time spaced infrared image enhancement |
| US10091439B2 (en) | 2009-06-03 | 2018-10-02 | Flir Systems, Inc. | Imager with array of multiple infrared imaging modules |
| DE102010006664A1 (de) * | 2010-02-03 | 2011-08-04 | Diehl BGT Defence GmbH & Co. KG, 88662 | Verfahren und Vorrichtung zum Abbilden einer Umgebung auf eine Detektoreinrichtung |
| WO2011101036A1 (en) | 2010-02-19 | 2011-08-25 | Iplink Limited | Processing multi-aperture image data |
| US8659683B1 (en) | 2010-03-25 | 2014-02-25 | Ambarella, Inc. | Digital picture noise reduction by combining high-noise and low-noise processed pictures |
| WO2012007049A1 (en) | 2010-07-16 | 2012-01-19 | Iplink Limited | Flash system for multi-aperture imaging |
| US8755625B2 (en) * | 2010-11-19 | 2014-06-17 | Analog Devices, Inc. | Component filtering for low-light noise reduction |
| US20130258112A1 (en) * | 2010-12-21 | 2013-10-03 | Zamir Recognition Systems Ltd. | Visible light and ir hybrid digital camera |
| CA2838992C (en) | 2011-06-10 | 2018-05-01 | Flir Systems, Inc. | Non-uniformity correction techniques for infrared imaging devices |
| KR20130008304A (ko) * | 2011-07-12 | 2013-01-22 | 삼성전자주식회사 | 색 왜곡 보정 방법 및 장치 |
| US9148589B2 (en) * | 2012-11-12 | 2015-09-29 | NBCUniversal, LLC | Image capture using infrared and visible spectrum light |
| DE102013114450B4 (de) * | 2012-12-26 | 2020-08-13 | GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) | Verfahren zum Verbessern einer Bildempfindlichkeits- und Farbinformation für ein von einer Kameravorrichtung aufgenommes Bild |
| JP6112862B2 (ja) * | 2012-12-28 | 2017-04-12 | キヤノン株式会社 | 撮像装置 |
| US10152820B2 (en) * | 2013-03-15 | 2018-12-11 | Intel Corporation | Texture address mode discarding filter taps |
| US20140321739A1 (en) * | 2013-04-26 | 2014-10-30 | Sony Corporation | Image processing method and apparatus and electronic device |
| JP2014241584A (ja) * | 2013-05-14 | 2014-12-25 | パナソニックＩｐマネジメント株式会社 | 画像処理方法、及び画像処理システム |
| US10136107B2 (en) * | 2013-11-21 | 2018-11-20 | Semiconductor Components Industries, Llc | Imaging systems with visible light sensitive pixels and infrared light sensitive pixels |
| US9990730B2 (en) | 2014-03-21 | 2018-06-05 | Fluke Corporation | Visible light image with edge marking for enhancing IR imagery |
| FR3020735B1 (fr) * | 2014-04-30 | 2017-09-15 | Ulis | Procede de traitement d'une image infrarouge pour une correction des non uniformites |
| DE102014008686B4 (de) | 2014-06-13 | 2017-04-06 | Basler Aktiengesellschaft | Verfahren und Vorrichtung zur Farbinterpolation |
| US10582175B2 (en) | 2014-06-24 | 2020-03-03 | Maxell, Ltd. | Imaging sensor and imaging device |
| US9699393B2 (en) | 2014-06-26 | 2017-07-04 | Semiconductor Components Industries, Llc | Imaging systems for infrared and visible imaging with patterned infrared cutoff filters |
| KR101575964B1 (ko) * | 2014-07-01 | 2015-12-11 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | 듀얼 애퍼처 카메라의 센서 어레이 |
| US20160255323A1 (en) | 2015-02-26 | 2016-09-01 | Dual Aperture International Co. Ltd. | Multi-Aperture Depth Map Using Blur Kernels and Down-Sampling |
| US9674466B2 (en) * | 2015-02-26 | 2017-06-06 | Dual Aperture International Co., Ltd. | Hybrid image correction for dual-aperture camera |
| US9793306B2 (en) * | 2015-04-08 | 2017-10-17 | Semiconductor Components Industries, Llc | Imaging systems with stacked photodiodes and chroma-luma de-noising |
| CN107922751B (zh) | 2015-05-29 | 2020-05-19 | 富士胶片株式会社 | 近红外线吸收性色素多聚物、组合物、膜、滤光片、图案形成方法及装置 |
| US20170034456A1 (en) * | 2015-07-31 | 2017-02-02 | Dual Aperture International Co., Ltd. | Sensor assembly with selective infrared filter array |
| US10152811B2 (en) | 2015-08-27 | 2018-12-11 | Fluke Corporation | Edge enhancement for thermal-visible combined images and cameras |
| US9456195B1 (en) | 2015-10-08 | 2016-09-27 | Dual Aperture International Co. Ltd. | Application programming interface for multi-aperture imaging systems |
| US9686478B2 (en) | 2015-11-19 | 2017-06-20 | Google Inc. | Generating high-dynamic range images using multiple filters |
| WO2017169805A1 (ja) | 2016-03-29 | 2017-10-05 | 京セラ株式会社 | 撮像装置、車載カメラ、および画像処理方法 |
| US10504956B2 (en) * | 2016-06-30 | 2019-12-10 | Omnivision Technologies, Inc. | Photogate for front-side-illuminated infrared image sensor and method of manufacturing the same |
| US10218926B2 (en) * | 2016-07-21 | 2019-02-26 | Christie Digital Systems Usa, Inc. | Device, system and method for cross-talk reduction in visual sensor systems |
| FR3056332A1 (fr) * | 2016-09-21 | 2018-03-23 | Stmicroelectronics (Grenoble 2) Sas | Dispositif comportant un capteur d'image 2d et un capteur de profondeur |
| CN108419061B (zh) | 2017-02-10 | 2020-10-02 | 杭州海康威视数字技术股份有限公司 | 基于多光谱的图像融合设备、方法及图像传感器 |
| CN111988587B (zh) * | 2017-02-10 | 2023-02-07 | 杭州海康威视数字技术股份有限公司 | 图像融合设备和图像融合方法 |
| CN108986036B (zh) * | 2017-06-01 | 2022-01-28 | 中兴通讯股份有限公司 | 处理文件的方法、终端 |
| CN107370917B (zh) * | 2017-06-30 | 2020-01-10 | Oppo广东移动通信有限公司 | 控制方法、电子装置和计算机可读存储介质 |
| CN108965654B (zh) | 2018-02-11 | 2020-12-25 | 浙江宇视科技有限公司 | 基于单传感器的双光谱摄像机系统和图像处理方法 |
| US10789684B2 (en) * | 2018-06-12 | 2020-09-29 | Carl Zeiss Ag | Method, apparatus, and system for multilevel bilateral noise filtering |
| PL3852350T3 (pl) * | 2018-09-14 | 2024-06-10 | Zhejiang Uniview Technologies Co., Ltd. | Sposób oraz urządzenie do automatycznej ekspozycji dla obrazu w podwójnym spektrum, oraz kamera do obrazów w podwójnym spektrum oraz maszynowy nośnik pamięci |
| JP7277236B2 (ja) * | 2019-04-18 | 2023-05-18 | キヤノン株式会社 | 撮像装置、撮像システム、プログラム、記録媒体、及び制御方法 |
| CN110493494B (zh) * | 2019-05-31 | 2021-02-26 | 杭州海康威视数字技术股份有限公司 | 图像融合装置及图像融合方法 |
| CN112243117B (zh) * | 2019-07-17 | 2022-09-16 | 杭州海康威视数字技术股份有限公司 | 图像处理装置、方法及摄像机 |
| US11853845B2 (en) * | 2020-09-02 | 2023-12-26 | Cognex Corporation | Machine vision system and method with multi-aperture optics assembly |
| TWI767468B (zh) * | 2020-09-04 | 2022-06-11 | 聚晶半導體股份有限公司 | 雙感測器攝像系統及其攝像方法 |
| US11606517B1 (en) | 2021-06-07 | 2023-03-14 | Waymo Llc | Enhanced depth of focus cameras using variable apertures and pixel binning |
| US12015835B2 (en) * | 2022-01-25 | 2024-06-18 | Qualcomm Incorporated | Multi-sensor imaging color correction |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5552277A (en) * | 1978-10-06 | 1980-04-16 | Recognition Equipment Inc | Multiple spectrum photodiode device* photosensitive semiconductor device and method of manufacturing same |
| CN1610412A (zh) * | 2003-10-23 | 2005-04-27 | 索尼株式会社 | 图像处理装置和图像处理方法以及程序 |
| JP2007174277A (ja) * | 2005-12-22 | 2007-07-05 | Sony Corp | 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム |
| JP2008005213A (ja) * | 2006-06-22 | 2008-01-10 | Fujifilm Corp | 固体撮像装置およびその駆動方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6286318A (ja) * | 1985-10-11 | 1987-04-20 | Minolta Camera Co Ltd | 焦点位置検出装置 |
| US6292212B1 (en) * | 1994-12-23 | 2001-09-18 | Eastman Kodak Company | Electronic color infrared camera |
| US7053928B1 (en) * | 2000-03-20 | 2006-05-30 | Litton Systems, Inc. | Method and system for combining multi-spectral images of a scene |
| US7176962B2 (en) * | 2001-03-01 | 2007-02-13 | Nikon Corporation | Digital camera and digital processing system for correcting motion blur using spatial frequency |
| JP4931288B2 (ja) * | 2001-06-08 | 2012-05-16 | ペンタックスリコーイメージング株式会社 | 画像検出装置と絞り装置 |
| US20060182364A1 (en) * | 2005-02-16 | 2006-08-17 | George John | System and method for sharpening vector-valued digital images |
| JP4622629B2 (ja) * | 2005-03-31 | 2011-02-02 | 株式会社ニコン | 撮像装置 |
| DE102005026912A1 (de) * | 2005-06-10 | 2006-12-14 | Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg | Filmscanner |
| US7940994B2 (en) * | 2005-11-15 | 2011-05-10 | Teledyne Licensing, Llc | Multi-scale image fusion |
| US20090175535A1 (en) * | 2008-01-09 | 2009-07-09 | Lockheed Martin Corporation | Improved processing of multi-color images for detection and classification |
| KR20090120159A (ko) * | 2008-05-19 | 2009-11-24 | 삼성전자주식회사 | 영상합성장치 및 영상합성방법 |
-
2009
- 2009-08-25 CN CN200980161922.8A patent/CN102687502B/zh not_active Expired - Fee Related
- 2009-08-25 EP EP09782167.2A patent/EP2471258B1/en not_active Not-in-force
- 2009-08-25 JP JP2012525886A patent/JP5670456B2/ja not_active Expired - Fee Related
- 2009-08-25 US US13/392,101 patent/US20120154596A1/en not_active Abandoned
- 2009-08-25 WO PCT/EP2009/060936 patent/WO2011023224A1/en active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5552277A (en) * | 1978-10-06 | 1980-04-16 | Recognition Equipment Inc | Multiple spectrum photodiode device* photosensitive semiconductor device and method of manufacturing same |
| CN1610412A (zh) * | 2003-10-23 | 2005-04-27 | 索尼株式会社 | 图像处理装置和图像处理方法以及程序 |
| JP2007174277A (ja) * | 2005-12-22 | 2007-07-05 | Sony Corp | 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム |
| JP2008005213A (ja) * | 2006-06-22 | 2008-01-10 | Fujifilm Corp | 固体撮像装置およびその駆動方法 |
Non-Patent Citations (1)
| Title |
|---|
| Multispectral Bilateral Video Fusion;Eric P. Bennett et al;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20070531;第16卷(第5期);第1185-1194页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2011023224A1 (en) | 2011-03-03 |
| JP2013503527A (ja) | 2013-01-31 |
| EP2471258B1 (en) | 2017-05-24 |
| EP2471258A1 (en) | 2012-07-04 |
| US20120154596A1 (en) | 2012-06-21 |
| CN102687502A (zh) | 2012-09-19 |
| JP5670456B2 (ja) | 2015-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102687502B (zh) | 减少彩色图像中的噪声 | |
| CN103250405B (zh) | 用于多孔径成像的闪光系统 | |
| US9077916B2 (en) | Improving the depth of field in an imaging system | |
| US9615030B2 (en) | Luminance source selection in a multi-lens camera | |
| US9497370B2 (en) | Array camera architecture implementing quantum dot color filters | |
| US9681059B2 (en) | Image-capturing device | |
| US8125543B2 (en) | Solid-state imaging device and imaging apparatus with color correction based on light sensitivity detection | |
| CN102754443B (zh) | 图像处理设备和图像处理方法 | |
| EP2664153B1 (en) | Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating | |
| JP2019004514A (ja) | 撮像装置および撮像処理方法 | |
| KR20170015160A (ko) | 선택적 적외선 필터 어레이를 갖는 센서 어셈블리 | |
| WO2017104411A1 (ja) | 撮像素子、画像処理装置および方法、並びにプログラム | |
| CN103688536B (zh) | 图像处理装置、图像处理方法 | |
| US20120287286A1 (en) | Image processing device, image processing method, and program | |
| US20210067703A1 (en) | Camera phase detection auto focus (pdaf) adaptive to lighting conditions via separate analog gain control | |
| JP2008524924A (ja) | 複レンズ式撮像系および方法 | |
| WO2019188396A1 (ja) | 撮像装置および方法、画像処理装置および方法、並びに、撮像素子 | |
| JP4682070B2 (ja) | 画像信号処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| ASS | Succession or assignment of patent right |
Owner name: DUAL APERTURE INTERNATIONAL CO., LTD. Free format text: FORMER OWNER: IP LINK LTD. Effective date: 20150427 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20150427 Address after: Daejeon Applicant after: Two aperture International Co., Ltd Address before: American California Applicant before: Iplink Ltd. |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150708 Termination date: 20180825 |