CN101309428A - 图像输入处理设备和方法 - Google Patents

图像输入处理设备和方法 Download PDF

Info

Publication number
CN101309428A
CN101309428A CNA2008100971518A CN200810097151A CN101309428A CN 101309428 A CN101309428 A CN 101309428A CN A2008100971518 A CNA2008100971518 A CN A2008100971518A CN 200810097151 A CN200810097151 A CN 200810097151A CN 101309428 A CN101309428 A CN 101309428A
Authority
CN
China
Prior art keywords
color
accumulative total
aggregate
value
pixel data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008100971518A
Other languages
English (en)
Other versions
CN101309428B (zh
Inventor
沼田肇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101309428A publication Critical patent/CN101309428A/zh
Application granted granted Critical
Publication of CN101309428B publication Critical patent/CN101309428B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

提供图像输入处理设备，包括：光波段分离滤光片；四色排列的滤色镜，所述四色排列具有两种颜色之和等效于可见光区域中的一种其他颜色或三种颜色之和等效于所述可见光区域中的一种或两种其他颜色的等效；光学传感器部分，其产生成像信号；数据分离部分，其将成像信号的像素数据分离成四种颜色的像素数据块；红外分离部分，其在分离之后的四种颜色的像素数据块之中，通过使用等效的减法执行红外分离；第一和第二累计部分；照相机控制处理部分，其确定使用来自第一和第二累计部分的累计值中的哪一个。

Description

图像输入处理设备和方法
相关申请的交叉引用
本发明包含涉及于2007年5月18日向日本专利局提交的日本专利申请JP 2007-133246的主题，将其全部内容通过引用的方式合并在此。
技术领域
本发明涉及图像输入处理设备和方法，其中成像(image)来自包含近红外光分量(near infrared light component)的景物的光(图像)并且近红外光分量与所获得的成像信号的图像数据是分离的。
背景技术
人对颜色和亮度的敏感度的特征在于：人在可见光区域中具有敏感度。虽然可见光区域被不同地定义，但是可见光区域一般是其上限位于700到750nm附近(例如780nm)且其下限位于稍小于400nm(例如380nm)的电磁波长区域。邻近可见光区域的红外区域被称为近红外光区域，所述近红外光区域是从700到800nm的下限到1.5到3μm(例如，2.5μm)的上限的电磁波长区域。
然而，人眼对于大约700nm的更长波长侧几乎没有敏感度。另外，由于近红外光区域具有诸如退化彩色再现性之类的有害影响，所以一般在空中来自图像感测装置中的景物的光(图像)的光学部件中提供红外拦截(intercept)滤光片(红外截除滤光片)。
由于图像感测装置本身也对于红外光具有敏感度，所以在用于夜间照相或监视的高敏感度照相机中，成像从可见光到红外光的宽波段光(图像)。
由于所包含的红外光的比率根据诸如荧光或电灯泡之类的照明(光源)而不同，并且即使在日光的情况下也根据时间而不同，所以根据这样的拍摄环境的改变来确定是否拦截红外光。
公知的技术实现了应付任意拍摄环境的照相机以满足上述要求，通过使用旋转型波长分离光学系统作为输入光学系统来由相同的图像感测装置接收可见光和红外光(例如，见JP-A-9-166493)。
根据该项技术，例如，通过旋转机制等进行将红外截除滤光片插入到入射光程上和从入射光程上取出红外截除滤光片之间的切换。当插入红外截除滤光片时，输出不受近红外光或红外光影响的可见光彩色图像，而当取出红外截除滤光片时，输出增加了可见光和近红外光的光强度的图像。
增加了近红外光的图像尽管其彩色再现性很低，但适于目标识别，并且通过组合能够获得该图像的机制和发射对于人眼不可见的红外光的机制，实现了通过其即使在夜间也能获得清晰图像的监视照相机。在监视照相机中，在白天期间从入射光程中取出红外截除滤光片。
公知的彩色校正电路当入射近红外光时其提高所拍摄图像的彩色再现性，而不使用红外截除滤光片(例如，见JP-A-2005-354457)。
根据在JP-A-2005-354457中描述的技术，在处理电路中提供的光谱敏感度校正装置改变图像信号的光谱敏感度特性以执行IR分量分离，获得前一信号和后一信号之差，并对其进行相加，由此取出IR分量。由于仅通过IR分量的移除退化彩色再现性，所以为了提高彩色再现性，光谱敏感度校正装置通过矩阵计算使用目标的彩色平衡(如正常色觉的人的颜色)来匹配已经经历了IR分离的红(R)、绿(G)和蓝(B)中每一种的颜色数据。为了寻找当前颜色和目标之间的相似性，使用最小二乘(last squares)法等。
关于滤色镜(color filter)的颜色排列，在公知的四色排列的图像感测装置中由四种颜色的像素组成颜色排列的重复单元(例如，见JP-A-2005006066)。
JP-A-2005-006066公开了其最小重复单元(像素单元)由红(R)、绿(G)和蓝(B)三原色透射滤光片(transmitting filter)和在红外光区域具有敏感度并透射红外光的红外透射滤光片组成的滤色镜。JP-A-2005-006066还描述了红外透射滤光片可以是白色(W)的滤光片。
发明内容
在光的光谱特性中，可见光分量的波长区域和近红外光的波长区域在频率上是连续的，由于这个原因，难于通过诸如低通滤光片之类的电路装置仅移除近红外光分量而不改变可见光分量。
在JP-A-2005-354457中，由“光谱敏感度校正装置”执行IR分量的移除，并且在移除之前和之后检测IR分量的量值，由此检测是否执行红外透射拍摄。
尽管由于频率是连续的上述原因，通过该方法检测到的IR分量的量值是不准确的，但是对于红外透射拍摄的检测来说足够了。
照相机一般提供有检测器，其检测用于白平衡校正和曝光控制的图像平面(image plane)的亮度。
该检测器是将例如每一种颜色的输入像素信号的一个图像面相加(累计)的电路，并在亮度信号和颜色信号的分离之前或之后在预定处理电路中的位置中提供。例如，在信号处理电路中，在黑电平校正部分后面提供所述检测器。然后，通过使用从检测器输出的每一种颜色的一个图像平面的累计值来执行白平衡校正，或通过一起使用所有颜色数据的一个图像平面的累计值来执行曝光补偿。
然而，由于用于获得累计值的信号除了可见光分量之外还包含IR分量，所以除非在累计值中发现IR分量的量值和比率，否则一般难以执行精确的白平衡校正和曝光控制。
在JP-A-2005-354457中描述的方法和装置可用作用于寻找IR分量的量值的装置。
然而，尽管在JP-A-2005-354457中描述的方法和装置为了诸如发现红外透射拍摄的存在或不存在之类的目的，对于粗略地检测IR分量的量值是有用的，但是对于可能需要用于精确控制(如白平衡校正和曝光控制)的有关亮度的数据的照相机控制处理的实际使用来说，它们是不够的，这是因为所获得的IR分量的量值缺乏精度。
不清楚JP-A-2005-354457中描述的“光谱敏感度校正装置”如何移除IR分量。然而，一般使用透射可见光区域和近红外光区域之间的边界的更短波长侧的光的滤光片，并且当使用该滤光片时，由于可见光区域和近红外光区域是连续的，所以发生也移除了部分可见光或仍然存在一些IR分量的情况。由此，IR分量的移除是不容易的。因此，难以获得IR分量的量值或比率。
由此，期望实现能够通过简单的计算精确并直接地从像素数据中分离IR分量，并且能够根据是否必须精确地寻找IR分量的量值或已经从中移除了IR分量的颜色分量的量值来适应性地检测累计值以精确地执行预定照相机控制处理的图像输入处理设备。
根据本发明的实施例的图像输入处理设备被提供有光波段分离滤光片、滤色镜、光学传感器部分、数据分离部分、红外分离部分、第一累计部分、第二累计部分以及照相机控制处理部分。
光波段分离滤光片，其拦截近红外光的预定波长波段，并透射位于所述预定波长波段的更短和更长波长侧的波段。
光学传感器部分从景物中成像已经通过光波段分离滤光片和滤色镜的光(图像)，并产生成像信号。(重复基本单元)的滤色镜采用四色排列，所述四色排列具有两种颜色之和等效于可见光区域中的一种其他颜色或三种颜色之和等效于所述可见光区域中的一种或两种其他颜色的等效。
数据分离部分将成像信号的与四色排列对应的像素数据分离成四种颜色的像素数据块。
红外分离部分在分离之后的四种颜色的像素数据块之中，基于四色排列，通过使用可见光区域中的等效的减法，将由所述光波段分离滤光片分离的更长波长侧波段中的近红外光分量从像素数据中分离。
第一累计部分对于每一种颜色，累计从所述数据分离部分输出并且还没有输入到所述红外分离部分的多个像素数据块。第二累计部分对于每一种颜色，累计从所述红外分离部分输出的多个像素数据块。
照相机控制处理部分，其将来自所述第一累计部分的每一种颜色的第一累计值与来自所述第二累计部分的每一种颜色的第二累计值进行比较，并基于所述比较的结果，执行适于包含相对大量红外光分量的图像和包含相对小量红外光分量的图像中的每一个的照相机控制处理。
根据本发明的另一实施例，优选地，第一和第二累计部分均包括获得每一种颜色的颜色累计值的颜色累计部分，并且第二累计部分包括获得每一种颜色的颜色累计值的颜色累计部分以及获得由红外分离部分取出的近红外光分量的累计值(IR累计值)的IR累计部分。
根据本发明的另一实施例，优选地，照相机控制处理部分基于IR累计值，计算涉及近红外光分量的量值或像素数据中所包含的近红外光分量的比率的参数，并根据所述参数确定从所述第一和第二累计部分中的哪一个获得用于照相机控制处理的颜色累计值。此时，照相机控制处理部分可以以与所述参数对应的比率混合从第一和第二累计部分获得的两种颜色累计值，并使用颜色累计值的混合作为用于照相机控制处理的颜色累计值。
在上述结构中，本发明的实施例的图像输入处理设备具有光波段分离滤光片，并且光波段分离滤光片对于入射光拦截近红外光的预定波长波段，并透射位于预定波长波段的更短或更长波长侧的波段。
在从光学传感器部分输出的成像信号的颜色光谱特性中，正常情况下，即使当位于出现近红外光的波长的更长波长侧的颜色不同时，敏感度特性也是等效的。这归因于装置的半导体材料和滤光片材料的物理性质局限(例如，饱和能力)。
另一方面，即使在近红外光区域中，人眼对于不小于大约700nm几乎没有任何敏感度。即使当颜色不同时敏感度特性也是等效的频率的下限是高于700nm，并且在这两个之间的频率区域中，各颜色之间的敏感度是不同的。
在本发明的实施例中，光波段分离滤光片将入射光分离成两个波段，例如，通过拦截如上所述的人眼几乎没有任何敏感度并且各颜色之间的敏感度不同的特定波长波段，并透射位于预定波长波段的更短和更长波长侧的波段。通过良好地使用波段分离功能，在通过光波段分离滤光片之后，位于更长波长侧波段的各颜色之间近红外光分量是等效的。
将已经通过光波段分离滤光片的光入射到图像感测装置的滤色镜上。滤色镜具有如上所述的四色排列。由光学传感器部分光电地转换已经通过滤色镜的光，并输出成像信号。由数据分离部分将成像信号分离成四种颜色的像素数据块，然后将其输入到红外分离部分。
红外分离部分在四种颜色的像素数据块之间执行计算。此时，红外分离部分通过执行使用滤色镜的四色排列的特性(即，“两种颜色之和等效于可见光区域中的一种其他颜色或三种颜色之和等效于可见光区域中的一种或两种其他颜色的等效”)和能够使近红外光分量在分离之后的两个波段的更长波长侧等效的结构的减法，从像素数据中分离位于更长波长侧的近红外光分量。
红外分离部分可以分离并输出近红外光分量，或者可以输出从中已经移除了近红外光分量的三原色数据。
通过在呈现上述等效的两种颜色组合(一种颜色和两种颜色以及一种颜色和三种颜色的组合)之间执行减法来彼此偏移的等效可见光分量来提供近红外光分量的分离。通过执行减法以便在一种颜色和两种或三种颜色之间彼此偏移的可见光分量来提供已经从中移除了三原色数据。
由第二累计部分累计以这种方式通过计算从中精确地分离近红外光分量的像素数据，并且从第二累计部分输出第二累计值。
另一方面，由第一累计部分累计包含近红外光分量的、还没有经历红外分离的之前的像素数据，并且从第一累计部分输出第一累计值。
将第一和第二累计值输入照相机控制处理部分，并对于每一种颜色将第一和第二累计值彼此比较(这里，可以对于至少一种颜色进行比较)。
然后，照相机控制处理部分基于比较结果确定第一和第二累计值之一(或计算作为以预定比率的第一和第二累计值的混合的新的累计值)，并基于所确定的(或所计算的)累计值执行预定照相机控制处理。
在根据本发明的另一实施例的图像输入处理设备中，滤色镜是不具有上述等效的四补色族颜色(Ye、Cy、Mg、G)的滤色镜。在这种情况下，红外分离部分通过在分离之后的四种颜色的像素数据块之中执行减法，来从像素数据中分离由光波段分离滤光片分离的、在更长波长侧波段的近红外光分量。第一和第二累计部分以及照相机控制处理部分的操作与上述的类似。
根据本发明的实施例的图像输入处理方法包括步骤：对于入射光拦截近红外光的预定波长波段，并透射位于所述预定波长波段的更短和更长侧的波段；由四色排列的滤色镜选择入射光的颜色，所述四色排列具有两种颜色之和等效于可见光区域中的一种其他颜色或三种颜色之和等效于所述可见光区域中的一种或两种其他颜色的等效，并使用每一种颜色的像素，成像已经经历了颜色选择的光；将通过成像获得的成像信号分离成各颜色的像素数据块；对于每一种颜色，累计通过分离获得的各颜色的像素数据块；在各颜色的像素数据块之中，基于四色排列，通过使用可见光区域中的等效的减法，分离更长波长侧波段中的近红外光分量；对于每一种颜色，累计已经经历了红外光分离的像素数据块；将通过累计通过分离获得的各颜色的像素数据块步骤获得的第一累计值与通过累计已经经历了红外光分离的像素数据块步骤获得的第二累计值进行比较；以及基于所述比较的结果，执行适于包含相对大量红外光分量的图像和包含相对小量红外光分量的图像中的每一个的照相机控制处理。
根据本发明的实施例，获得了优点：根据是否有必要精确地寻找已经从中移除了近红外光分量的颜色分量(或近红外光分量自身)的量值，通过适应地检测累计值，可以精确地执行预定照相机控制处理。
附图说明
图1A和1B是根据本发明的实施例的、并入像素信号处理电路的照相机的框图；
图2A是示出包括白色(W)像素的原色族(primary color family)CCD的光谱特性的图；
图2B是示出包括白色(W)像素的补色族CCD的光谱特性的图；
图3A和3B是分别示出作为光学部件和作为片上部件提供的光波段分离滤光片的特性的示例的图；
图4是在四色排列中分类颜色组合的表；
图5是示出涉及该实施例的图像输入处理方法的过程的流程图；
图6A是示出四色排列示例(“Ye、R、G、W”)的示意图；
图6B是示出通过“Ye、R、G、W”四色排列滤光片而获得的成像信号的颜色光谱特性的图；
图7是示出在红外分离计算之后三原色数据的颜色光谱特性的图；
图8A是示出通过低色温(3000K)的光源下成像而获得的成像信号的颜色光谱特性的图；
图8B是示出关于图8A中所示特性的成像信号执行数据分离并执行减法之后的颜色光谱特性的图；
图9A和9B是分别示出通过与图8A和8B对应的LED照明成像而获得的成像信号的颜色光谱特性的图；
图10A和10B是示出在以其他颜色组合的计算之前和之后的颜色光谱特性的图；
图11A和11B是在为了从补色族数据中获得原色族数据的计算之前和之后的颜色光谱特性的图；
图12A1是示出在数据分离之后的光谱特性的图；
图12A2是示出通过计算而获得的原色族数据的光谱特性的图；
图12B是示出通过从图12A1中减去图12A2取出的等效IR分量(ir)的光谱特性的图；
图13A和13B分别是当光源色温是5000K和2400K时的颜色光谱特性的图；
图13C是在红外分离的前一阶段提供的第一累计(integrate)部分的框图；
图14是示出第一累计部分61和第二累计部分62的排列和结构的视图；
图15是示意性地示出通过使用第一和第二累计部分61和62执行的照相机控制处理的优先确定方法的视图；
图16A是示出用于高频分量检测的结构的视图；
图16B是示出滤光片系数示例的视图；
图17A和17B是示出可见光图像和当其模糊时的高频检测图像的示例的视图；
图17C是示出雾出现或不出现与可见度计值以及可见度之间的关系的表；以及
图18是示意性地示出包括高频检测的照相机控制处理的优先确定方法的视图。
具体实施方式
在下文中，将参照附图描述本发明的实施例。
首先，将描述本发明以之为基础的高精度红外分离。红外分离能够从输入信号(图像信号)中移除近红外光分量(IR分量)，取出IR分量并将其以及二者输出，即输出从中已经移除了IR分量的信号和IR分量二者。
尽管将在后面描述细节，但是本发明的实施例的特性是在红外分离部分的信号输入侧和输出侧中的每一个上提供累计部分。为了详细解释，首先，将在以下描述通过红外分离能够执行彩色校正的照相机，然后将描述累计部分到红外分离部分的连接和操作。
为了各种目的而执行红外分离。本发明的应用范围不限于仅用于彩色校正的红外分离的规定。
具有红外分离功能的照相机
图1A和1B是根据本发明的实施例的、并入像素信号处理电路的照相机的框图。
照相机与本发明的实施例的“图像输入处理设备”的模式对应。照相机可以是主要用于拍摄运动图像的任意摄像机、用于拍摄静止图像的数字照相机以及其他具有摄像机和数字照相机功能的电子设备。
所图解的照相机被提供有：光学部件1，包括镜头和光学滤光片(opticalfilter)；图像感测装置2；模拟前端(AFE)电路3，处理模拟像素信号；AD转换器(ADC)5，将模拟像素信号A/D转换为数字信号，并将数字信号作为数字视频信号输出到各种信号处理部分；信号处理部分4；混合电路(YC_MIX)9；以及DA转换器(DAC)12，将已经经历了各种信号处理的视频信号D/A转换为模拟信号，并将模拟信号作为视频信号14输出。
光学部件1是其中在镜头镜筒中提供镜头、光圈(diaphragm)等的部分。光学部件1能够进行调焦控制以及用于曝光控制的光圈控制。用于曝光控制的光圈驱动部分、用于自动调焦的驱动部分以及用于这些驱动部分的控制电路也包括在光学部件1中。
图像感测装置2是CCD传感器或CMOS图像传感器。将图像感测装置2固定在照相机机身中，以便其可以在其自身的成像平面上成像来自通过光学部件1入射的景物的光(图像)。图像感测装置2具有像素阵列(其中光学传感器的多个像素以矩阵排列)以及滤色镜2A或片上多层(on-chip andmultilayer)滤光片2B(其是一组几个邻接传感器(像素单元)并且在像素阵列的成像平面的入射光侧以预定排列形成)。
图1A和1B中所示的照相机包括光波段分离滤光片。
光波段分离滤光片具有拦截近红外光的预定波长波段并透射预定波长波段的更短或更长波长侧的波段的波段光谱特性。
如图1A所示，光波段分离滤光片1A可以与图像感测装置2分离地提供，例如，在光学部件1内部。在这种情况下，在图像感测装置2的光接收部分的入射光侧形成滤色镜2A。
可替代地，如图1B所示，可以在形成于图像感测装置2的光接收部分的入射光侧的片上多层滤色镜2B中整体地形成滤色镜和光波段分离滤波器。
图2A示出包括白色(W)像素的原色族CCD的光谱特性。图2B示出包括白色(W)像素的补色族CCD的光谱特性。在这些图中，横轴表示入射光的波长，而纵轴表示当输出的白色(W)像素的峰值是“1”时的相对透射率。
从图2A和2B中可以明显地看出，图像感测装置具有对红(R)、绿(G)、蓝(B)中的每一种的敏感度，并且白色(W)也在高于近红外光区域的下限(700到800nm)的频率区域中。当近红外光区域的定义变化时，750到780nm附近以上的区域一般被看作是近红外光区域。
在其光谱特性如图2A所示的原色族CCD中，对于红(R)、绿(G)、蓝(B)和白色(W)的敏感度在频率变为略高于800nm(如820nm以上)的区域附近的更长波长侧变为基本上相同。
相反，在其光谱特性如图2B所示的补色族CCD中，对于Ye(黄)、Cy(青)、Mg(品红)、G(绿)和W(白)的敏感度在波长是850nm的区域附近的更长波长侧变为基本上相同。
虽然由于半导体的物理性质使得对于颜色的敏感度在如上所述的图像感测装置中的更长波长侧变为相同，但是对于颜色的敏感度相同的区域的下限波长根据装置是原色族装置还是补色族装置(如图所示)而不同或根据图像感测装置的种类而不同。
一般将红外截除滤光片作为光学部件放置在图像感测装置的入射光侧。为了将包括可见光区域和700nm附近以上(人眼几乎没有任何敏感度)的近红外光区域之间的边界的波长范围的透射率削减为基本上接近于0，将红外截除滤光片的截止波长设置在650nm附近。
本实施例不使用这样的红外截除滤光片，而是使用如图1A所示的光波段分离滤光片1A等。
图3A示出作为光学部件与图像感测装置2分离地提供的光波段滤光片1A(图1A)的光谱特性。图3B示出图像感测装置2的片上多层滤光片2B中所包括的光波段分离滤光片1B(图1B)的光谱特性。
在这些图中，横轴表示波长(nm)，而纵轴表示透射率(1表示100％透射)。
在光波段分离滤光片1A作为光学部件的情况下，如图3A所示，当将截止波长限定在透射率是低于1的20-30％的位置处时，被拦截波段的波长范围大约是650到820nm。被拦截波段的更短波长侧是可见光通过波段，而其更长波长侧是近红外光通过波段。当实际上由图像感测装置2接收到已经通过该光谱特性的光波段分离滤光片1A的光时，例如从700nm附近到820nm附近的被拦截波段的光被拦截。
该被拦截波段的波长范围与如图2A所示的、在原色族CCD的颜色之中敏感度相同的长波长区域的下限(820nm)对应。
在片上多层滤光片的情况下，如图3B所示，由于多层膜的影响使得周期性的波动很大，并且难于形成陡峭的被拦截波段。通常地，在片上多层滤光片中，更长波长侧难于控制，并且如图中所示，更长波长侧的被拦截波段位于900nm附近。然而，当实际上由图像感测装置2接收到已经通过该光谱特性的光波段分离滤光片1A的光时，例如从700nm附近到850nm附近的被拦截波段的内侧的光被拦截。也就是说，被拦截波段的波长范围与如图2B所示的、在补色族CCD的颜色之中敏感度相同的长波长区域的下限(850nm)对应。
图3A和3B的光谱特性根据所使用的图像感测装置而设计。也就是说，通过注意事实：在图2A和2B所示的图像感测装置的光谱特性中，在不小于820nm附近或不小于850nm附近的更长波长侧，颜色之中的敏感度基本相同，来设计滤光片光谱特性，使得不小于820nm附近或不小于850nm附近的近红外光分量可以在实际的装置中通过。
图2A、2B、3A和3B中的每一个均是示例，并且当装置的光谱特性改变时，可以改变特性以便使其成为适于此的光带通滤光片的特性。虽然将在下面描述滤色镜的颜色排列的细节，但是当出现原色族像素和补色族像素两者时，设计滤光片光谱特性，使得近红外光分量可以在不小于850nm(与补色族像素对应，其对于颜色的敏感度相同的波长下限更高)附近通过。
当图像感测装置2是CCD传感器时，如图1A所示，定时发生器(TG)13连接到图像感测装置2。可以从TG 13向图像感测装置2供给时钟信号、垂直同步信号和水平同步信号。当图像感测装置2是CCD时，也从TG 13提供与垂直同步信号和水平同步信号同步的传送脉冲。
TG 13是从受微计算机10控制的未示出系统时钟信号产生用于定时控制的这些信号的电路。由用于定时控制的信号控制图像感测装置2的各种操作(如传送操作和快门操作)。
当图像感测装置2是CMOS传感器时，TG 13的功能可以在图像感测装置2中提供。
在滤色镜2A中，至少将四种颜色指定给每一个光学传感器(像素)。在本发明的实施例中，作为像素阵列的重复基本单元的一组几个邻接的像素被称为像素单元。在本实施例中，在一个像素单元中排列四种或更多种颜色。虽然由于至少四种颜色对于下面描述的红外分离计算来说是必需的，从而使得四种或更多种颜色的提供是必要条件，但是四色排列是期望的，这是因为如果颜色的数目不必要地大，则像素单元的占用面积(footprint)很大并且分辨率降低。以下描述以四色排列为前提。颜色组合以及如何使用颜色数据(计算方法)将在后面详细地描述。
从图像感测装置2向其提供像素信号(模拟信号)的AFE电路3执行要对模拟信号执行的处理，如通过相关双采样去除复位噪声(CCD的情况下)、去除其他噪声以及放大。
ADC 5将经处理的模拟信号转换为预定位(如8或10位)的数字信号。对于每一个像素，该数字信号包括具有预定位的灰度值(gradation value)的像素信号阵列。例如，从ADC 5输出的数字信号包括交替排列A像素信号和其他颜色的像素信号的像素信号阵列。
信号处理部分4包括数据分离部分541和红外分离部分548作为处理来自ADC 5的数字成像信号的部分。
数据分离部分541是将与四色排列的数字成像信号对应的像素数据分离成四种颜色的像素数据块的电路。
红外分离部分548是基于所分离的四种颜色的像素数据之中的四色排列，通过减法从像素数据中分离由光波段分离滤光片分离的更长波长侧波段中的近红外光分量的电路。
将在后面描述数据分离部分541和红外分离部分548的更详细功能的操作。
例如，信号处理部分4可以组成作为半导体芯片的IC或者可以作为模块或安装板(其中安装多个部分，并将其并入照相机)提供。信号处理部分4连接在ADC 5和DAC 12之间，并执行除了数据分离和红外分离之外的各种信号处理。各种信号处理的示例包括信号放大、降噪(NR)处理、分离亮度信号和颜色信号、亮度信号处理和颜色信号处理。混合经处理的亮度和颜色信号的混合电路9连接在信号处理部分4和DAC 12之间。信号处理部分4和混合电路9可以集成到信号处理部分4中，或者可以组成IC或模块。
接着，将描述四色排列的颜色组合以及由红外分离部分548对于每一种组合执行的计算。
如以下所述，仅执行包括减法的简单计算的红外分离部分548可以通过微计算机10和程序函数实现，或者可以是特定设计的电路。然而，不期望微计算机10的处理负载增大，并且当由微计算机10执行处理时，所述处理是难于同步的中断处理。因此，最好将红外分离部分548作为包括减法器等的逻辑电路来实现。由于红外分离部分548的电路仅执行简单的(加法和)减法，所以将计算表达式替换为方框图，而在下面的描述中并未示出电路图。
图4示出分类四色排列的颜色组合的表。图5是示出对于颜色分离的处理过程的流程图。
在图5中所示的步骤ST1，通过图1A的光波段分离滤光片1A或图1B的片上多层滤光片2B中的光波段分离滤光片，将来自景物的光(图像)分离为位于更低波长侧的可见光波段和位于更长波长侧的近红外光波段(见图3A和3B)。
然后，在图5中所示的步骤ST2，由四色排列的滤色镜2A(图1A)或片上多层滤光片2B中的四色排列的滤色镜执行用于颜色分离的滤色，并由图像感测装置2的光接收部分执行成像。
通过成像，从图像感测装置2输出包含以与四色排列对应的顺序的像素数据块的成像信号。
然后，成像信号在图1A所示的AFE电路3经历预定模拟信号处理，由ADC 5转换为数字成像信号(表示预定位的灰度值的串行码(series code))，并输入到信号处理部分4。
在信号处理部分4经历了必要的处理之后，在图5中所示的步骤ST3，由数据分离部分541(图1A)将数字成像信号分离成各种颜色的像素数据块。也就是说，在四色排列中，从数据分离部分541并行地输出四种颜色的像素数据块。
在图5中所示的步骤ST4，通过在四种颜色的像素数据块之中执行预定计算来执行红外分离。这里引用的“红外分离”的意思包括从像素数据中取出近红外光分量(IR分量)以及以下三种操作：“仅输出IR分量”；“仅输出已经移除了IR分量的颜色数据”；以及“输出两者”。所述意思中包括三种操作中的哪一个视使用已经经历了红外分离的数据而进行的处理的内容而定。例如，当执行红外分离以寻找IR分量的量值时，仅输出IR分量。另一方面，例如，当移除IR分量以执行彩色校正时，仅输出已经移除了IR分量的颜色数据。此外，例如，当使用IR分量用于除了彩色校正之外的另一目的时，分离地输出IR分量和已经移除了IR分量的颜色数据。
在上述处理方法中，在步骤ST2执行的滤色中考虑如图4所示的各种颜色组合。
这里，可以认为在像素信号中包含的IR分量(严格来讲，各个颜色之中是不同的)与由上述光波段分离滤光片分离的近红外光波段中的包含的IR分量基本上相同(等效)，并且在像素信号中包含的该等效IR分量由“(ir)”表示。补色指示任意的Ye、Cy和Mg。
在图4所示的颜色组合中，几乎补色族“Ye、Cy、Mg和G”满足定义“两种颜色之和等效于可见光区域中的一种其他颜色或三种颜色之和等效于可见光区域中的一种或两种(once or twice)其他颜色”的等效。图4中所列出的颜色组合和等效，以及在红外分离中执行的用于颜色组合的计算将顺次描述。
<一种补色、两种原色和白色>
一种补色、两种原色和一种白色(W)组成四色排列。特别地，如图4所示，该组合包括下面三种模式：“Ye、R、G、W”、“Cy、B、G、W”和“Mg、B、R、W”。
例如，由于数据分离之后的(R+(Ir))数据和(G+(ir))数据的组和(Ye(＝R+G)+(ir))数据“满足两种颜色之和等效于可见光区域中的一种其他颜色的要求”，所以模式“Ye、R、G、W”满足上述等效。同样地，其他两种模式满足该要求并满足等效。
图6A示出图像感测装置2的“一种补色、两种原色和白色”的四色排列示例(“Ye、R、G、W”)。
在此要紧的是颜色组合，而以最大量排列哪一种颜色分量是不重要的。这里，由于白色(W)数据等效于三原色数据(＝R+G+B)之和，并且例如在边缘检测和亮度信号产生中作为高敏感度像素信号是有效的，所以白色(W)数据在信息量中是最大的。因此，期望以更大的量排列最高敏感度的像素的颜色。为了提高敏感度，期望将白色(W)像素数据提交到下一处理，而不从其中移除等效IR分量(ir)。
图6B示出来自图像感测装置2(图1B)的成像信号的光谱特性，在图像感测装置2中将“Ye、R、G、W”的滤色镜提供在片上多层滤光片2B中。
所图解的光谱特性的成像信号通过成像(光电地转换)具有经过光波段分离滤光片和滤色镜的光来获得。然而，在片上多层膜2B的光谱特性中，由于可以在图像感测装置2上分层的膜的材料和厚度以及分层方法的限制，所以在如图3B所示的被拦截波段(650到850nm的波长)中不能获得完全的拦截特性。因此，如图6B所示，在成像信号的颜色光谱特性中，在700到800nm的波长附近对G(绿)的敏感度与对其他颜色的敏感度略有不同。然而，在不小于800nm附近的波长处，通过增大如图3B所示的透射率实现了基本上消除了各颜色之中敏感度不一致的特性，使得出色地反映了如图2A和2B所示各颜色之中敏感度是一致的图像感测装置的特性。
在本实施例中，通过关注于此，在像素数据块之中以如下方式删去了IR光分量。
在如图1A所示的数据分离部分541将来自图像感测装置2的成像信号分离成各颜色的像素数据块之后，红外分离部分548执行由如下表达式(1-1)到(1-3)所示的减法：
[表达式1]
(Ye+(ir))-(G+(ir))＝R    (1-1)
(Ye+(ir))-(R+(ir))＝G    (1-2)
(W+(ir))-(Ye+(ir))＝B    (1-3)
从这些表达式中很明显地看出，仅通过两种颜色之间的减法删去等效IR分量(ir)。
另一方面，当想要取出等效IR分量(ir)时，从像素数据(R+(ir))中减去通过表达式(1-1)获得的R数据。可替代地，从像素数据(G+(ir))中减去通过表达式(1-2)获得的G数据。
图7示出在红外分离计算之后三原色数据的颜色光谱特性。
从图7中看出，特别地，在不小于800nm的波长处，基本上完全删去了IR光分量，并且在700到800nm的边界区域中，充分地抑制了颜色不一致性。人眼在边界区域中几乎没有任何色彩敏感度，并且不能直接识别颜色不一致。由于基本上删去了IR光分量，所以做出颜色校正，其中有效地防止颜色偏移使得整个部分发白。
其特性如图2B所示的片上多层滤光片2B(图1B)一般根据生产批次(production lot)、图像感测装置2在半导体衬底上的位置、像素在图像感测装置2中的位置等而变化是公知的。此外，所获得的成像信号的特性有点根据图像感测装置2(其中形成片上多层滤光片2B)的特性和像素特性而变化。然而，在一个晶片上形成的一个图像感测装置2中的邻接像素之间的不一致小得可以忽略。因此，由表达式(1-1)到(1-3)所示的计算一般在像素单元中四色排列的像素之间的数据块之间是有效的。
图8A示出通过在低色温(3000K)的光源下成像而获得的成像信号的颜色光谱特性。图8B示出关于图8A所示的特性的成像信号执行数据分离并且执行表达式(1-1)到(1-3)的减法之后像素数据的颜色光谱特性。
图9A示出通过由LED照明成像而获得的成像信号的颜色光谱特性。图9B示出在关于图9A所示的特性的成像信号执行数据分离并且执行表达式(1-1)到(1-3)的减法之后像素数据的颜色光谱特性。
从图8A、8B、9A和9B中很明显，当可见光的敏感度根据光源种类而大大地不同并且敏感度级别也在近红外光的情况下不同时(如图中虚线椭圆所示)，不论光源如何都可以删去不小于约800nm的IR分量。
这样的一种应用是可能的：在图8A和8B的光源下成像时，通过使用图9A和9B所示的辅助照明来照明景物以提高可见光中的敏感度，提高信号敏感度。在这种情况下，从图8A、8B、9A和9B中可以容易地推断，IR分量的删去有效地起作用。
虽然以上是作为图4的表中“一种补色、两种原色和白色”的第一组合的示例的用于模式“Ye、R、G、W”的处理的描述及其效果，但是尽管计算表达式不同，IR分量的删去的基本处理和原因与其他颜色组合相同。此外，不论什么颜色组合，都可以不考虑光源地删去IR分量以及即使当执行LED辅助照明时IR分量的删去也可以有效地起作用是类似的。因此，在下文中，关于图4的其他颜色组合，主要列出了颜色组合满足等效的事实和计算表达式，并且对于一些颜色组合，将示出在计算之前和之后的特性图。
<两种补色、一种原色和白色>
两种补色、一种原色和白色(W)组成四色排列。具体地，如图4所示，该组合包括以下六种模式：“Ye、Cy、R、W”、“Ye、Cy、B、W”、“Ye、Mg、G、W”、“Ye、Mg、B、W”、“Cy、Mg、R、W”和“Cy、Mg、G、W”。
例如，在模式“Ye、Cy、R、W”中，像素数据分离之后的(Cy(＝B+G)+(ir))数据和(R+(ir))数据的组以及(W(＝R+G+B)+(ir))数据满足上述等效，这是因为它们“满足两种颜色之和等效于可见光区域中的一种其他颜色的要求”。同样地，其他五种模式满足该要求并满足所述等效。
如所述计算表达式那样，使用以下所示的表达式(2-1)到(2-3)，并且当在该计算过程中获得三原色数据时删去等效IR分量(ir)。当通过使用所获得的原色数据来获得等效IR分量(ir)时，使用以下表达式(2-4)，而当从开始获得等效IR分量(ir)而没有获得原色数据时，使用以下表达式(2-5)，表达式(2-5)使用所述等效：
[表达式2]
(W+(ir))-(Cr+(ir))＝R                  (2-1)
(Cy+(ir))-(R+(ir))＝G                  (2-2)
(W+(ir))-(Ye+(ir))＝B                  (2-3)
(R+(ir))-R＝(ir)                       (2-4)
{(Cy+(ir))+(R+(ir))}-(W+(ir))＝(ir)    (2-5)
<三补色和白色>
三补色和一种白色(W)组成四色排列。具体地，如图4所示，该组合包括以下一种模式：“Ye、Cy、Mg、W”。
在模式“Ye、Cy、Mg、W”中，像素数据分离之后的(Ye(＝R+G)+(ir))数据、(Cy(＝B+G)+(ir))数据和(Mg(＝B+R)+(ir))数据的组以及(W(＝R+G+B)+(ir))数据满足以上等效，这是因为它们“满足三种颜色之和等效于可见光区域中的一种或两种其他颜色的要求”。
使用以下表达式(3-1)到(3-3)作为计算表达式，并且当获得三原色数据时删去等效IR分量(ir)。当从开始获得等效IR分量(ir)而没有获得原色数据时，使用以下表达式(3-4)，表达式(3-4)使用所述等效：
[表达式3]
(W+(ir))-(Cy+(ir))＝R    (3-1)
(W+(ir))-(Mg+(ir))＝G    (3-2)
(W+(ir))-(Ye+(ir))＝B    (3-3)
[{(Ye+(ir))+(Cy+(ir))+(Mg+(ir))}-(W+(ir))]/2＝(ir)
                                          (3-4)
<三原色和白色>
三原色和一种白色(W)组成四色排列。具体地，如图4所示，该组合包括以下一种模式：“R、G、B、W”。
在模式“R、G、B、W”中，像素数据分离之后的(R+(ir))数据、(G+(ir))数据和(B+(ir))数据的组以及(W(＝R+G+B)+(ir))数据满足上述等效，这是因为它们“满足三种颜色之和等效于可见光区域中的一种其他颜色的要求”。
对于该颜色组合，可以采用以下方法：第一种方法，其中首先获得等效IR分量，然后删去等效IR分量(ir)；以及第二种方法，其中通过将三原色数据转换成补色族数据(三补色和绿)然后从正常补色族中获得原色信号来获得三原色数据(其中删去了等效IR分量(ir))。由于将在以后描述的第二实施例中描述第一种方法，所以通过合适地参照特性图在此描述第二种方法。
在第二种方法中，首先获得补色族数据，并且此时以下所示的表达式(4-1)到(4-3)用于三补色数据(Ye、Cy、Mg)。从这些表达式中，可以容易地发现从所获得的三补色数据(Ye、Cy、Mg)中删去等效IR分量(ir)。
[表达式4]
(W+(ir))-(B+(ir))＝Ye    (4-1)
(W+(ir))-(R+(ir))＝Cy    (4-2)
(W+(ir))-(G+(ir))＝Mg    (4-3)
然后，由通过使用不包括等效IR分量(ir)的三补色数据(Ye、Cy、Mg)的以下表达式(5)来获得补色族数据的残留绿(G)。
[表达式5]
(Ye+Cy-Mg)/2＝G    (5)
图10A和10B示出在由表达式(4-1)到(4-3)和(5)的计算之前和之后像素数据的颜色光谱特性。这里，在获得这些特性时的入射光是来自作为光学部件放置的光波段分离滤光片1A的光。也就是说，作为波段分离特性，使用图3A中所示的一个。
从这些图中，很明显，反映了出色的波段分离特性，透射率基本上等于0并且在不小于大约700nm附近删去了等效IR分量(ir)。
然后，通过以下表达式(6-1)到(6-3)的计算从所获得的四块补色族数据中获得三原色数据：
[表达式6]
(Ye+(ir))-(G+(ir))＝R    (6-1)
(Cy+(ir))-(G+(ir))＝B    (6-2)
(Ye+(ir))-R＝G           (6-3)
如从这些表达式中很明显的那样，通过在两种颜色之间的减法删去等效IR分量(ir)。
另一方面，当想要取出等效IR分量(ir)时，从像素数据(G+(ir))中减去通过表达式(6-3)获得的G数据。
图11A和11B示出在由表达式(6-1)到(6-3)的计算之前和之后像素数据的颜色光谱特性。此时，作为波段分离特性，使用图3A所示的一个。
从这些图中，很明显，反映了出色的波段分离特性，透射率基本上等于0并且在不小于700nm附近删去了等效IR分量(ir)。
为了通过使用所获得的三原色数据来取出等效IR分量(ir)，从数据分离之后的{R+(ir)、G+(ir)、B+(ir)}数据(如图12(A1)所示)中减去通过表达式(6-1)到(6-3)获得的至少一个块(R、G、B)数据(如图12(A2)所示)。由此，如图12B所示，可以仅取出等效IR分量(ir)。
以上是在四色排列中包括白色(W)的优选情况的描述。
接着，将简要地描述图4所示的不包括白色(W)的其他颜色组合。
<一种补色和三种原色>
该颜色组合包括图4所示的三种模式。例如，在模式“Ye、R、G、B”中，(R+(ir))数据和(G+(ir))数据的组以及(Ye(＝R+G)+(ir))数据满足上述等效，这是因为它们“满足两种颜色之和等效于可见光区域中的一种其他颜色的要求”。
在计算中，例如，通过之前所示的表达式(1-1)和(1-2)获得R和G，从{(R+(ir)+(G+(ir))数据和(Ye+(ir))数据之差获得(ir)，并且将其从(B+(ir))数据中减去，由此获得B数据。
<两种补色和两种原色>
该颜色组合包括，例如如图4所示的“Ye、Cy、G、R”，并且在该示例中，(R+(ir))数据和(G+(ir))数据的组以及(Ye(＝R+G)+(ir))数据满足上述等效，这是因为它们“满足两种颜色之和等效于可见光区域中的一种其他颜色的要求”。
计算的示例包括：方法，其中从表达式{(G+(ir))+(B+(ir))}-(Cy+(ir))获得(ir)；以及方法，其中在首先获得G数据和R数据之后，如<一种补色和三种原色>的情况那样取出(ir)。
<补色族>
这可以通过表达式(6-1)到(6-3)获得，并且可以类似地取出等效IR分量(ir)。
然而，当滤色镜从开始就是补色族滤光片时，不满足上述等效。
在本实施例中，从图2A和2B所示的图像感测装置的光谱特性中，当执行用以获得原色数据R、G和B的计算时，通过使用事实：不小于预定波长的光谱曲线是对于每一种颜色分量的光谱的后续等效分布结构，可以删去近红外泄漏光分量。此时，通过联合使用光波段分离滤光片(其拦截在近红外光区域中滤色镜的敏感度不等效的波长区域(例如，650-850nm)并透射在其更短波长侧的波段)和保持上述等效的四色排列的滤色镜，通过极其简单的计算就可以输出从中有效并精确地移除了等效IR分量的三原色数据。
此外，根据本实施例，可以提供照相机，其中通过从包含IR分量的成像信号中减去在上述红外分离处理中取出的可见光分量，可以获得仅包含IR分量的图像，并且可以使用一台图像感测装置分离并获得“可见光”和“IR图像”。
尽管没有具体地示出，但是例如在图1A所示的照相机的信号处理部分4中提供了用于检测有关对于预定照相机控制处理的成像平面的亮度的信息的装置。预定照相机控制处理的示例包括在通过红外分离的经彩色校正的原色数据R、G和B之中执行的白平衡校正以及由光学部件1的光圈和用于其的控制电路执行的曝光控制。
在下文中，将描述通过检测成像平面的亮度以及通过微计算机10控制来累计例如每一种颜色的像素数据值的一个成像平面而获得的累计值。
《数据分离部分之后的颜色分量检测》
图13C示出检测图1A所示的数据分离部分541和红外分离部分548之间的像素数据并对于每一种颜色分量对其累计的结构。图13A和13B是每一个示出像素数据中IR分量的比率不同的情况的颜色光谱特性的图，用于当光源的色温是5000K时和当其是2400K时之间的比较。
参照图13A和13B，将描述当数据累计部分的数是1时的检测及其麻烦。为了这个目的，假定如图13C所示，滤色镜结构(颜色排列)是“R、G1、G2、B”。尽管在本实施例中滤色镜采用如图4所示的四色排列，但是为了方便起见，颜色排列“R、G1、G2、B”仅用于描述数据累计部分的描述。
图13C所示的累计部分(第一累计部分)61包括用于每一种颜色的累计部分(在该示例中4个累计部分)，并由对应的累计部分来累计例如由数据分离部分541分离的每一种颜色的像素数据的一个成像平面。输入到每一个累计部分的像素数据包含IR分量，这是因为其还没有经历红外分离。将来自第一累计部分61的每一种颜色的累计值(第一累计值)输入到未示出的照相机控制处理部分，并将其提交到有关的处理(例如，曝光控制或白平衡校正)。
输入到每一个累计部分的像素数据包含IR分量，这是因为其还没有经历红外分离，并且IR分量的比率根据所拍摄图像的景物或图像拍摄环境(特别地，光源的色温)而大大地变化。
具体地说，在图13A所示的具有5000K色温的光源下，IR分量的比率低达大约25％，而在图13B所示的具有2400K色温的光源下，IR分量的比率高达大约73％。尽管图13A和13B中由图1A所示的光波段分离滤光片1A等截除波段，但是由于第一累计部分61计算所有波长处的累计值，所以即使使用类似的累计值，IR分量的比率有时也根据环境而大大地不同。
当照相机控制处理是曝光控制时，由光圈等控制照相机的曝光，以便到图像感测装置2的输入图像的亮度(光量)是给定的合适的值。那时，例如，使用四个累计值的复合值(compound value)作为输入图像面的亮度。
因此，如果仅基于来自第一累计部分61的累计值执行曝光控制，则当可见光和IR光在其后由红外分离部分548(图1A)分离时，如果在光源包含大量IR光(例如，当与此对应，色温低时)的条件下执行图像拍摄，则可见光分量大大地小于合适的值，使得显示屏幕变黑。
照相机一般具有当图像面很黑时调整增益的功能。当该增益调节起作用时，将相对小量的可见光分量乘以高放大因子(增益)以便将输出信号电平增大到合适的电平。这导致极低的S/N比。
另一方面，当照相机控制处理是白平衡校正时，对于每一种颜色的增益放大器控制量(颜色增益值)必须对于白平衡确定。例如，基于图13C所示的第一累计部分61中所包括的对于颜色的累计部分的输出之中的比率，通过微计算机10确定颜色增益值。
然而，由于通过第一累计部分61获得的累计值包含IR分量作为预定偏移，所以各颜色的累计值之中的比率与合适的比率不同。
使用具体的示例解释该情况，例如，当光源的色温是5000K(图13A)时，根据可见光分量，参照G与蓝(B)和红(R)像素数据块相乘的颜色增益值分别是1.33(B)和1.25(R)。
然而，如果从包含IR分量的像素数据的累计值中获得颜色增益，则颜色增益值实际上是1.22(B)和1.13(R)，其从合适的增益值有所偏移。由此，存在即使进行白平衡校正，要成为白色的图像部分也不是无色的白色的麻烦。
此外，如果IR分量的量很大，则光学传感器部分尤其在输出中的信息量很大的特定颜色的像素处容易饱和。如果发生颜色饱和，则通过仅使用包含IR分量的像素数据的亮度检测(累计值的获取)，由于没有获得正确的累计值，所以照相机控制处理不再能够精确地执行。
为了防止上述麻烦，在本实施例的照相机中，除了第一累计部分61之外，在信号处理部分4中的红外分离部分548的输出侧提供第二累计部分62。
图14示出两个累计部分(第一累计部分61和第二累计部分62)的结构以及与红外分离部分548的连接关系。
在红外分离部分548的前一级提供第一累计部分61，并且第一累计部分61具有累计R1数据的颜色累计部分58R、累计G1数据的颜色累计部分58G、累计B1数据的颜色累计部分58B以及累计W数据的颜色累计部分58W。这里，如图所示，输入数据是从(R、G、B、W)四色排列的图像感测装置2输出的四块数据(R1、G1、B1、W)，其已经经历了预定处理，并且由图1A的分离部分541分离。
由于到第一累计部分61的输入是还没有经历IR分量和可见光分量分离的数据，所以检测包含IR分量和可见光分量的所有波长的光接收分量的量值，并输出累计值∑R1、∑G1、∑B1和∑W(在下文中，将这些称为第一累计值)。
在红外分离部分548的后一级提供第二累计部分62，并且第二累计部分62具有累计通过关于R1数据执行红外分离而获得的R2数据的颜色累计部分58R、累计通过关于G1数据执行红外分离而获得的G2数据的颜色累计部分58G、累计通过关于B1数据执行红外分离而获得的B2数据的颜色累计部分58B、累计通过红外分离而获得的IR数据的IR累计部分58IR。这里，如图所示，输入数据是基于(R、G、B、W)和IR数据从中已经移除了IR分量的三原色的(R2、G2、B2)数据。
第二累计部分62在分离之后检测IR分量或可见光分量的量值，并输出累计值∑R2、∑G2、∑B2和∑IR(在下文中，将这些称为第二累计值)。
图15示意性地示出通过使用第一累计部分61和第二累计部分62而执行的照相机控制处理的优先确定方法。
照相机控制处理部分中的微计算机10通过使用计算出的第一和第二累计值来计算参量K。参量K是涉及IR分量的量值或可见光分量的量值的变量，并且可以被任意地定义，只要其基于当IR分量的比率增大时变化以便增大或减小的关系表达式即可。这里，将参量K定义为在其中IR分量是100％的仅有IR分量的情况下取“1”，而在仅有可见光分量的情况下取“0”。
在图15中，横轴表示参量K，而纵轴表示指示通过优先使用第一累计部分61和第二累计部分62的输出中的哪一个的索引。这里，该索引被称为“后续检测器优先”。当其值为“1”时，使用来自第二累计部分62的第二累计值进行控制，而当其为“0”时，使用来自第一累计部分61的第一累计值进行控制。
如从该图中显而易见的那样，在很多情况下，使用赋予可见光的优先执行(曝光等)控制。也就是说，通过使用来自第一累计部分61的第一累计值执行照相机控制。
当参量K高于有些低的值“k1”时，关于作为主要IR分量的输入光，执行其中将优先赋予IR的曝光等控制。具体地说，执行使用IR数据的曝光控制，或执行使用被看作是等效于IR分量的输入像素数据的曝光等控制。
例如，当计算由第一累计部分61获得的值(输入)与由第二累计部分62获得的值之间的比率(IR分量比率)并且输入与IR分量之间的比率接近于“1”时，由于这意味着要拍摄的对象仅包含IR分量，所以执行IR优先曝光控制以便拍摄IR图像。
当参量K小于“k2(＜k1)”时，将控制返回到可见光优先控制。
例如，相反，当IR分量关于输入很低时，由于可以假定成像其中不包含红外光并且可见光充足的景物，所以期望执行曝光控制，以便在IR和可见光分离处理之后可见光分量的亮度变为合适的。
在控制中提供如上所述的滞后的原因是为了防止控制模式频繁切换。
《高频分量检测》
除了上述结构之外，在本实施例中，可以修改第二累计部分62，以便可以执行高频分量检测。
在模糊或烟雾弥漫的环境中拍摄时，由用户操作切换拍摄模式(例如，AE程序模式)是常见的做法。
即使当由于被雾或烟拦截的光而使得通过“可见光”不能看到景物后面的对象(如风景或街道)时，使用大量“IR光”或有意地应用红外光可以通过雾或烟容易地看到景物后面的对象。
当看到对象(如风景或街道)时，由于包括更大数量的边缘，所以高频分量的量相对大，而当看不到它们时，高频分量的量很小。
如果使用该特性，则以下是可能的：对于可见光分量和IR分量中的每一个获得高频分量的比率，并且当其之间存在差别时，也就是说，当在IR数据中的高频分量高于在可见光数据中的高频分量时，假定环境是模糊的或烟雾弥漫的，则将控制自动切换到IR优先控制。
该修改涉及用于自动切换控制的结构和操作。
图16A示出用于高频分量检测的结构。在该图中，与图14中相同的元件由相同的附图标记表示。
对于每一种颜色和IR，作为检测器的一个高通滤光片(HPF)63连接在第二累计部分62和红外分离部分548之间。由于这个原因，颜色累计部分58R、58G和58B以及在第二累计部分62中包括的IR累计部分58IR中的每一个累计，例如输入数据的高频分量的一个图像面，并输出结果作为第二累计值。将第二累计值发送到微计算机10(未示出)，并且微计算机10确定是否切换模式。
HPF 63可以由，例如，Laplacian滤光片形成，并且在那种情况下设置的滤光片系数的示例如图16B所示。
图17A示出当模糊时由车载照相机监视的可见光图像的示例。图17B示出当关于相同的可见光图像执行高频检测时的监视图像的示例。图17C示出用于在当模糊环境中可见度计值是20m和50m时与当其不模糊时之间的对比的可见光、近红外光和远红外光的情况下的可见度(可视距离)。
如图17C所示，当模糊时，在近红外光的情况下的可见度是可见光情况下的稍小于两倍到稍大于三倍。这是因为当模糊时，尽管由于通过可见光的可见度很低而使得高频分量的量很小，但是由于即使在模糊中红外光的透射率很高并且可以由红外照相机看到，所以当应用具有红外分量的HPF时输出图像。
图18示出控制的示例。
横轴表示高频分量对可见光的IR光分量比率，而纵轴表示可见光和IR光的累计值的使用的优先。可以将使用优先看作是拍摄模式的不同。
这里获得IR的高频分量和可见光的高频分量之间的比率。当在所述比率中IR分量的量很大而可见光分量的量很小时，确定在模糊环境中执行拍摄，并做出到IR拍摄(使用IR分量的亮度确定)的切换。然而，由于当在夜间提供IR照明时发生这样的类似状态，所以如果需要的话，条件可以是“尽管可见光明亮，但其不包含高频分量而IR包含大量高频分量”。
通过上述结构，在正确的曝光处可以成像可见光和IR光的必要一个。
本领域的技术人员应该理解，视设计要求和其他因素而定，可以出现各种修改、组合、子组合以及变更，只要其在所附权利要求或其等价物的范围内即可。

Claims (12)

1.一种图像输入处理设备，包括：
光波段分离滤光片，其拦截近红外光的预定波长波段，并透射位于所述预定波长波段的更短和更长波长侧的波段；
四色排列的滤色镜，所述四色排列具有两种颜色之和等效于可见光区域中的一种其他颜色或三种颜色之和等效于所述可见光区域中的一种或两种其他颜色的等效；
光学传感器部分，其对于每一种颜色以像素为单元接收已经通过所述光波段分离滤光片和所述滤色镜经历了波长波段分离和颜色选择的光，并产生成像信号；
数据分离部分，其将成像信号的与四色排列对应的像素数据分离成四种颜色的像素数据块；
红外分离部分，其在分离之后的四种颜色的像素数据块之中，基于四色排列，通过使用可见光区域中的等效的减法，将由所述光波段分离滤光片分离的更长波长侧波段中的近红外光分量从像素数据中分离；
第一累计部分，其对于每一种颜色，累计从所述数据分离部分输出并且还没有输入到所述红外分离部分的多个像素数据块；
第二累计部分，其对于每一种颜色，累计从所述红外分离部分输出的多个像素数据块；以及
照相机控制处理部分，其将来自所述第一累计部分的每一种颜色的第一累计值与来自所述第二累计部分的每一种颜色的第二累计值进行比较，并基于所述比较的结果，执行适于包含相对大量红外光分量的图像和包含相对小量红外光分量的图像中的每一个的照相机控制处理。
2.根据权利要求1所述的图像输入处理设备，
其中所述第一和第二累计部分中均包括获得每一种颜色的颜色累计值的颜色累计部分，以及
所述第二累计部分包括获得每一种颜色的颜色累计值的颜色累计部分以及获得由所述红外分离部分取出的近红外光分量的累计值(IR累计值)的IR累计部分。
3.根据权利要求1所述的图像输入处理设备，
其中所述第一和第二累计部分均包括获得每一种颜色的颜色累计值的颜色累计部分，以及
所述照相机控制处理部分对于预定颜色，从所述第一累计值和所述第二累计值之差计算近红外光分量的累计值。
4.根据权利要求2或3所述的图像输入处理设备，
其中所述照相机控制处理部分基于IR累计值，计算涉及近红外光分量的量值或像素数据中所包含的近红外光分量的比率的参数，并根据所述参数确定从所述第一和第二累计部分中的哪一个获得用于照相机控制处理的颜色累计值。
5.根据权利要求2或3所述的图像输入处理设备，
其中所述照相机控制处理部分基于IR累计值，计算涉及近红外光分量的量值或像素数据中所包含的近红外光分量的参数，以与所述参数对应的比率混合从第一和第二累计部分获得的两种颜色累计值，并使用颜色累计值的混合作为用于照相机控制处理的颜色累计值。
6.根据权利要求1所述的图像输入处理设备，
其中在所述第二累计部分的对于各颜色的每一个颜色累计部分与所述红外分离部分之间提供所述高频分量取出部分，并且由所述颜色累计部分对每一种颜色累计已经从中移除近红外光分量的像素数据的高频分量。
7.根据权利要求1所述的图像输入处理设备，
其中在所述第二累计部分对于各颜色的每一个颜色累计部分与所述红外分离部分之间，以及所述IR累计部分和所述红外分离部分之间提供高频分量取出部分，由所述颜色累计部分对每一种颜色累计已经从中移除近红外光分量的像素数据的高频分量，并由所述IR累计部分累计近红外光分量。
8.根据权利要求4所述的图像输入处理设备，
其中所述照相机控制处理部分监视来自所述颜色累计部分的颜色累计值和来自所述IR累计部分的IR累计值，并且当所述IR累计值超过预定水平或对所有累计值的预定比率时，确定从所述第二累计部分获得用于照相机控制处理的颜色累计值，而不管所述参数。
9.根据权利要求5所述的图像输入处理设备，
其中所述照相机控制处理部分监视来自所述颜色累计部分的颜色累计值和来自所述IR累计部分的IR累计值，并确定在所述混合的累计值中的比率，以便当所述IR累计值超过预定水平或对所有累计值的预定比率时，仅从所述第二累计部分获得用于照相机控制处理的颜色累计值，而不管所述参数。
10.一种图像输入处理设备，包括：
光波段分离滤光片，其拦截近红外光的预定波长波段，并透射位于所述预定波长波段的更短和更长波长侧的波段；
四补色族颜色(Ye、Cy、Mg、G)的滤色镜；
光学传感器部分，其对于每一种颜色以像素为单元接收已经通过所述光波段分离滤光片和所述滤色镜经历了波长波段分离和颜色选择的光，并产生成像信号；
数据分离部分，其对于每一种颜色，将成像信号的与四色排列对应的像素数据进行分离；
红外分离部分，其在分离之后的四种颜色的像素数据块之中，通过执行减法，将由所述光波段分离滤光片分离的更长波长侧波段中的近红外光分量从像素数据中分离；
第一累计部分，其对于每一种颜色，累计从所述数据分离部分输出并且还没有输入到所述红外分离部分的多个像素数据块；
第二累计部分，其对于每一种颜色，累计从所述红外分离部分输出的多个像素数据块；以及
照相机控制处理部分，其将来自所述第一累计部分的每一种颜色的第一累计值与来自所述第二累计部分的每一种颜色的第二累计值进行比较，并基于所述比较的结果，执行适于包含相对大量红外光分量的图像和包含相对小量红外光分量的图像中的每一个的照相机控制处理。
11.一种图像输入处理方法，包括步骤：
对于入射光，拦截近红外光的预定波长波段，并透射位于所述预定波长波段的更短和更长侧的波段；
由四色排列的滤色镜选择入射光的颜色，所述四色排列具有两种颜色之和等效于可见光区域中的一种其他颜色或三种颜色之和等效于所述可见光区域中的一种或两种其他颜色的等效，并使用每一种颜色的像素，成像已经经历了颜色选择的光；
将通过成像获得的成像信号分离成各颜色的像素数据块；
对于每一种颜色，累计通过分离获得的各颜色的像素数据块；
在各颜色的像素数据块之中，基于四色排列，通过使用可见光区域中的等效的减法，分离更长波长侧波段中的近红外光分量；
对于每一种颜色，累计已经经历了红外光分离的像素数据块；
将通过累计通过分离获得的各颜色的像素数据块步骤获得的第一累计值与通过累计已经经历了红外光分离的像素数据块步骤获得的第二累计值进行比较；以及
基于所述比较的结果，执行适于包含相对大量红外光分量的图像和包含相对小量红外光分量的图像中的每一个的照相机控制处理。
12.一种电子设备，包括：
光波段分离滤光片，其拦截近红外光的预定波长波段，并透射位于所述预定波长波段的更短和更长波长侧的波段；
四色排列的滤色镜，所述四色排列具有两种颜色之和等效于可见光区域中的一种其他颜色或三种颜色之和等效于所述可见光区域中的一种或两种其他颜色的等效；
光学传感器部分，其对于每一种颜色以像素为单元接收已经通过所述光波段分离滤光片和所述滤色镜经历了波长波段分离和颜色选择的光，并产生成像信号；
数据分离部分，其将成像信号的与四色排列对应的像素数据分离成四种颜色的像素数据块；
红外分离部分，其在分离之后的四种颜色的像素数据块之中，基于四色排列，通过使用可见光区域中的等效的减法，将由所述光波段分离滤光片分离的更长波长侧波段中的近红外光分量从像素数据中分离；
第一累计部分，其对于每一种颜色，累计从所述数据分离部分输出并且还没有输入到所述红外分离部分的多个像素数据块；
第二累计部分，其对于每一种颜色，累计从所述红外分离部分输出的多个像素数据块；以及
控制处理部分，其将来自所述第一累计部分的每一种颜色的第一累计值与来自所述第二累计部分的每一种颜色的第二累计值进行比较，并基于所述比较的结果，执行适于包含相对大量红外光分量的图像和包含相对小量红外光分量的图像中的每一个的照相机控制处理。
CN2008100971518A 2007-05-18 2008-05-19 图像输入处理设备和方法 Expired - Fee Related CN101309428B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007133246A JP4386096B2 (ja) 2007-05-18 2007-05-18 画像入力処理装置、および、その方法
JP133246/07 2007-05-18

Publications (2)

Publication Number Publication Date
CN101309428A true CN101309428A (zh) 2008-11-19
CN101309428B CN101309428B (zh) 2012-01-04

Family

ID=40125600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008100971518A Expired - Fee Related CN101309428B (zh) 2007-05-18 2008-05-19 图像输入处理设备和方法

Country Status (5)

Country Link
US (1) US8018509B2 (zh)
JP (1) JP4386096B2 (zh)
KR (1) KR101404298B1 (zh)
CN (1) CN101309428B (zh)
TW (1) TWI358944B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102377937A (zh) * 2010-08-04 2012-03-14 株式会社日立国际电气 摄像装置
US8666153B2 (en) 2008-11-04 2014-03-04 Konica Minolta Opto, Inc. Image input apparatus
CN104113743A (zh) * 2013-04-18 2014-10-22 深圳中兴力维技术有限公司 低照度下彩色摄像机自动白平衡处理方法及装置
CN104113744A (zh) * 2013-04-18 2014-10-22 深圳中兴力维技术有限公司 全天候彩色摄像机白平衡处理方法及装置
CN104394306A (zh) * 2014-11-24 2015-03-04 北京中科虹霸科技有限公司 用于虹膜识别的多通道多区域镀膜的摄像头模组及设备
CN105432076A (zh) * 2013-07-25 2016-03-23 日立麦克赛尔株式会社 摄像装置
CN105578006A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN105592303A (zh) * 2015-12-18 2016-05-18 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN105611125A (zh) * 2015-12-18 2016-05-25 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN105635702A (zh) * 2015-12-18 2016-06-01 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
CN105988215A (zh) * 2015-02-15 2016-10-05 宁波舜宇光电信息有限公司 一种多光谱模组成像系统及其制造方法和应用
CN106664394A (zh) * 2014-06-24 2017-05-10 日立麦克赛尔株式会社 摄像处理装置以及摄像处理方法
CN106713878A (zh) * 2017-03-24 2017-05-24 陈兵 一种新型图像传感器
WO2017084547A1 (zh) * 2015-11-18 2017-05-26 努比亚技术有限公司 一种摄像头模组
CN106973273A (zh) * 2015-10-27 2017-07-21 联发科技股份有限公司 图像探测方法与图像探测装置
CN107113408A (zh) * 2015-01-13 2017-08-29 索尼公司 图像处理装置、图像处理方法、程序和系统
CN107197177A (zh) * 2012-01-13 2017-09-22 株式会社尼康 固体摄像装置以及电子相机
CN110234969A (zh) * 2017-02-03 2019-09-13 柯尼卡美能达株式会社 对滤色器方式的色彩亮度计进行校准的方法以及滤色器方式的色彩亮度计
CN112514377A (zh) * 2018-08-07 2021-03-16 索尼半导体解决方案公司 摄像装置和摄像系统
CN112532960A (zh) * 2020-12-18 2021-03-19 Oppo（重庆）智能科技有限公司 白平衡同步方法及装置、电子设备和存储介质
CN114145012A (zh) * 2019-07-24 2022-03-04 索尼集团公司 图像处理装置、图像拾取装置、方法以及程序

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5017193B2 (ja) * 2008-06-30 2012-09-05 パナソニック株式会社 固体撮像装置及びカメラ
KR101639382B1 (ko) * 2008-08-27 2016-07-13 삼성전자주식회사 높은 동적 범위를 가지는 영상을 생성하는 장치 및 방법
US8462238B2 (en) * 2008-11-04 2013-06-11 Ecole Polytechnique Fëdërale de Lausanne (EPFL) Camera design for the simultaneous capture of near-infrared and visible images
KR101502372B1 (ko) * 2008-11-26 2015-03-16 삼성전자주식회사 영상 획득 장치 및 방법
JP5259381B2 (ja) * 2008-12-25 2013-08-07 京セラ株式会社 撮像装置および撮像方法
JP5486017B2 (ja) * 2009-01-16 2014-05-07 アイピーリンク・リミテッド イメージングシステムの被写界深度の改善
JP5182518B2 (ja) * 2009-01-29 2013-04-17 株式会社Ｊｖｃケンウッド 撮像装置および撮像方法
US8008613B2 (en) 2009-05-05 2011-08-30 Apple Inc. Light sensing device having a color sensor and a clear sensor for infrared rejection
JP5546166B2 (ja) * 2009-06-19 2014-07-09 キヤノン株式会社 撮像装置、信号処理方法、及びプログラム
JP2011166477A (ja) * 2010-02-10 2011-08-25 Konica Minolta Opto Inc 固体撮像素子及び画像入力装置
US9735303B2 (en) 2010-03-25 2017-08-15 Nri R&D Patent Licensing, Llc Color imaging using color OLED or LED array as color light-field imaging sensor
JP4991907B2 (ja) * 2010-05-11 2012-08-08 キヤノン株式会社 画像処理装置、および、画像処理装置の制御方法
EP2512126B1 (en) * 2010-06-01 2018-07-25 Boly Media Communications (Shenzhen) Co., Ltd Multispectral photoreceptive device and sampling method thereof
US20130083157A1 (en) * 2010-06-07 2013-04-04 Konica Minolta Advanced Layers, Inc. Imaging Device
EP2579574A4 (en) * 2010-06-07 2013-12-25 Konica Minolta Advanced Layers IMAGING DEVICE
JP2012010276A (ja) * 2010-06-28 2012-01-12 Sony Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP5655441B2 (ja) * 2010-09-02 2015-01-21 株式会社リコー 画像センサ及びこの画像センサを用いた撮像装置及びこの撮像装置を用いた車載用監視装置
CA2769358C (en) * 2011-03-08 2016-06-07 Research In Motion Limited Quantum dot image sensor with dummy pixels used for intensity calculations
JP5910043B2 (ja) * 2011-12-02 2016-04-27 富士通株式会社 撮像装置、画像処理プログラム、画像処理方法、および画像処理装置
JP5697646B2 (ja) * 2012-11-05 2015-04-08 本田技研工業株式会社 車両周辺監視装置
JP2016012746A (ja) 2012-11-07 2016-01-21 ソニー株式会社 信号処理装置、信号処理方法及び信号処理プログラム
KR101767093B1 (ko) * 2012-12-14 2017-08-17 한화테크윈 주식회사 색감 복원 방법 및 장치
JP6231284B2 (ja) * 2013-02-21 2017-11-15 クラリオン株式会社 撮像装置
JP6368115B2 (ja) * 2013-05-10 2018-08-01 キヤノン株式会社 固体撮像装置およびカメラ
US9491377B2 (en) * 2013-08-07 2016-11-08 Trimble Navigation Limited Methods of extracting 4-band data from a single CCD; methods of generating 4×4 or 3×3 color correction matrices using a single CCD
US10136107B2 (en) * 2013-11-21 2018-11-20 Semiconductor Components Industries, Llc Imaging systems with visible light sensitive pixels and infrared light sensitive pixels
US9485439B2 (en) 2013-12-03 2016-11-01 Sensors Unlimited, Inc. Shortwave infrared camera with bandwidth restriction
US10594996B2 (en) 2014-09-24 2020-03-17 Sony Semiconductor Solutions Corporation Image processing apparatus, image pickup device, image pickup apparatus, and image processing method
JP6643250B2 (ja) 2014-12-18 2020-02-12 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法、およびプログラム
CN107534759B (zh) 2015-02-26 2020-06-16 索尼半导体解决方案公司 摄像装置、摄像方法和计算机可读介质
US20160255323A1 (en) 2015-02-26 2016-09-01 Dual Aperture International Co. Ltd. Multi-Aperture Depth Map Using Blur Kernels and Down-Sampling
US9654756B1 (en) 2015-11-16 2017-05-16 Motorola Mobility Llc Method and apparatus for interpolating pixel colors from color and panchromatic channels to color channels
WO2017149932A1 (ja) * 2016-03-03 2017-09-08 ソニー株式会社 医療用画像処理装置、システム、方法及びプログラム
JP6975896B2 (ja) * 2017-02-03 2021-12-01 パナソニックＩｐマネジメント株式会社 撮像装置の制御方法及び撮像装置
CN108600725B (zh) * 2018-05-10 2024-03-19 浙江芯劢微电子股份有限公司 一种基于rgb-ir图像数据的白平衡校正装置及方法
JP7057221B2 (ja) 2018-05-24 2022-04-19 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP7496183B2 (ja) 2020-08-05 2024-06-06 パナソニックオートモーティブシステムズ株式会社 撮像装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09166493A (ja) 1995-12-15 1997-06-24 Nikon Corp 撮像装置、撮像方法、および受光装置
US6211521B1 (en) * 1998-03-13 2001-04-03 Intel Corporation Infrared pixel sensor and infrared signal correction
TW423252B (en) 1998-07-30 2001-02-21 Intel Corp Infrared correction system
JP2001209008A (ja) * 2000-01-26 2001-08-03 Fuji Photo Film Co Ltd 光学的ローパスフィルタ
JP4453189B2 (ja) 2000-10-31 2010-04-21 株式会社豊田中央研究所 撮像装置
JP4486762B2 (ja) * 2001-03-08 2010-06-23 富士フイルム株式会社 画像撮影方法及び装置
JP2002374539A (ja) * 2001-06-15 2002-12-26 Olympus Optical Co Ltd ホワイトバランス補正可能なカメラ
JP2004032243A (ja) 2002-06-25 2004-01-29 Sanyo Electric Co Ltd 撮像装置および光学フィルタ
JP2005006606A (ja) 2003-06-23 2005-01-13 Eisai Co Ltd 色調変化防止剤
JP4033140B2 (ja) * 2004-02-10 2008-01-16 カシオ計算機株式会社 撮像装置、ホワイトバランス制御方法及びホワイトバランス制御プログラム
JP4665422B2 (ja) 2004-04-02 2011-04-06 ソニー株式会社 撮像装置
KR100825172B1 (ko) * 2004-04-05 2008-04-24 미쓰비시덴키 가부시키가이샤 촬상 장치
JP4407448B2 (ja) 2004-09-24 2010-02-03 三菱電機株式会社 撮像装置
JP4024230B2 (ja) 2004-06-11 2007-12-19 三菱電機株式会社 撮像装置
US7821552B2 (en) * 2005-12-27 2010-10-26 Sanyo Electric Co., Ltd. Imaging apparatus provided with imaging device having sensitivity in visible and infrared regions
KR20070115243A (ko) * 2006-06-01 2007-12-05 삼성전자주식회사 이미지 촬상 장치, 및 그 동작 방법
US7773136B2 (en) * 2006-08-28 2010-08-10 Sanyo Electric Co., Ltd. Image pickup apparatus and image pickup method for equalizing infrared components in each color component signal

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8666153B2 (en) 2008-11-04 2014-03-04 Konica Minolta Opto, Inc. Image input apparatus
CN102377937A (zh) * 2010-08-04 2012-03-14 株式会社日立国际电气 摄像装置
CN107197177A (zh) * 2012-01-13 2017-09-22 株式会社尼康 固体摄像装置以及电子相机
CN107197177B (zh) * 2012-01-13 2020-03-06 株式会社尼康 摄像元件及摄像装置
CN104113743A (zh) * 2013-04-18 2014-10-22 深圳中兴力维技术有限公司 低照度下彩色摄像机自动白平衡处理方法及装置
CN104113744A (zh) * 2013-04-18 2014-10-22 深圳中兴力维技术有限公司 全天候彩色摄像机白平衡处理方法及装置
CN104113744B (zh) * 2013-04-18 2018-01-19 深圳中兴力维技术有限公司 全天候彩色摄像机白平衡处理方法及装置
CN104113743B (zh) * 2013-04-18 2017-09-15 深圳中兴力维技术有限公司 低照度下彩色摄像机自动白平衡处理方法及装置
CN105432076A (zh) * 2013-07-25 2016-03-23 日立麦克赛尔株式会社 摄像装置
CN106664394A (zh) * 2014-06-24 2017-05-10 日立麦克赛尔株式会社 摄像处理装置以及摄像处理方法
CN106664394B (zh) * 2014-06-24 2018-10-02 麦克赛尔株式会社 摄像处理装置以及摄像处理方法
CN104394306A (zh) * 2014-11-24 2015-03-04 北京中科虹霸科技有限公司 用于虹膜识别的多通道多区域镀膜的摄像头模组及设备
CN104394306B (zh) * 2014-11-24 2018-02-27 北京中科虹霸科技有限公司 用于虹膜识别的多通道多区域镀膜的摄像头模组及设备
CN107113408A (zh) * 2015-01-13 2017-08-29 索尼公司 图像处理装置、图像处理方法、程序和系统
CN107113408B (zh) * 2015-01-13 2021-05-11 索尼公司 图像处理装置、图像处理方法、程序和系统
CN105988215A (zh) * 2015-02-15 2016-10-05 宁波舜宇光电信息有限公司 一种多光谱模组成像系统及其制造方法和应用
CN106973273A (zh) * 2015-10-27 2017-07-21 联发科技股份有限公司 图像探测方法与图像探测装置
WO2017084547A1 (zh) * 2015-11-18 2017-05-26 努比亚技术有限公司 一种摄像头模组
CN105611125A (zh) * 2015-12-18 2016-05-25 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN105592303B (zh) * 2015-12-18 2018-09-11 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN105635702A (zh) * 2015-12-18 2016-06-01 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
CN105592303A (zh) * 2015-12-18 2016-05-18 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN105578006A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN110234969A (zh) * 2017-02-03 2019-09-13 柯尼卡美能达株式会社 对滤色器方式的色彩亮度计进行校准的方法以及滤色器方式的色彩亮度计
CN110234969B (zh) * 2017-02-03 2021-10-22 柯尼卡美能达株式会社 对滤色器方式的色彩亮度计进行校准的方法以及滤色器方式的色彩亮度计
CN106713878A (zh) * 2017-03-24 2017-05-24 陈兵 一种新型图像传感器
CN112514377A (zh) * 2018-08-07 2021-03-16 索尼半导体解决方案公司 摄像装置和摄像系统
CN112514377B (zh) * 2018-08-07 2023-10-24 索尼半导体解决方案公司 摄像装置和摄像系统
CN114145012A (zh) * 2019-07-24 2022-03-04 索尼集团公司 图像处理装置、图像拾取装置、方法以及程序
US11910107B2 (en) 2019-07-24 2024-02-20 Sony Group Corporation Image processing apparatus and image pickup apparatus
CN114145012B (zh) * 2019-07-24 2024-06-04 索尼集团公司 图像处理装置、图像拾取装置、方法以及程序
CN112532960B (zh) * 2020-12-18 2022-10-25 Oppo（重庆）智能科技有限公司 白平衡同步方法及装置、电子设备和存储介质
CN112532960A (zh) * 2020-12-18 2021-03-19 Oppo（重庆）智能科技有限公司 白平衡同步方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
JP4386096B2 (ja) 2009-12-16
KR101404298B1 (ko) 2014-06-05
JP2008289001A (ja) 2008-11-27
KR20080101770A (ko) 2008-11-21
US8018509B2 (en) 2011-09-13
US20100283866A1 (en) 2010-11-11
TWI358944B (en) 2012-02-21
CN101309428B (zh) 2012-01-04
TW200904163A (en) 2009-01-16

Similar Documents

Publication Publication Date Title
CN101309428B (zh) 图像输入处理设备和方法
US20150062347A1 (en) Image processing methods for visible and infrared imaging
CN103220534B (zh) 图像撷取装置与方法
CN101755463B (zh) 图像传感器的多分量读出
JP5976676B2 (ja) レンズ部の縦の色収差を利用したイメージングシステム及びその操作方法
US8357899B2 (en) Color correction circuitry and methods for dual-band imaging systems
CN102547116B (zh) 焦点检测设备及其控制方法
US20090002545A1 (en) Method and system for color management in digital imaging
US6824271B2 (en) Multiprojection system and method of acquiring correction data in multiprojection system
CN102204258A (zh) 图像输入装置
CN107534727A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
US9479708B2 (en) Image processing device, image processing method, and image processing program
CN114208162A (zh) 用于表征环境照明的系统
US9013623B2 (en) Color image sensor
US20130300876A1 (en) Method and apparatus for multi-spectral imaging
CN102379125A (zh) 图像输入装置
RU2447471C2 (ru) Цветная последовательная вспышка для получения цифровых изображений
CN110445990A (zh) 一种补光装置及拍摄系统
CN113132694B (zh) 基于色度学的彩色相机多摄镜头颜色一致性校正方法
JP2012010141A (ja) 画像処理装置
US20150116500A1 (en) Image pickup apparatus
JP2006054679A (ja) ホワイトバランス装置及びそのプログラム
JP4303922B2 (ja) 固体撮像素子および撮像装置
US20070052814A1 (en) Method and Apparatus for white-balancing an image
JPH06242487A (ja) 色温度計を備えたカメラ

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120104

Termination date: 20190519