CN1992910A - 备有在可见光和红外线区域具有灵敏度的摄像元件的摄像装置 - Google Patents

备有在可见光和红外线区域具有灵敏度的摄像元件的摄像装置 Download PDF

Info

Publication number
CN1992910A
CN1992910A CNA2006101711519A CN200610171151A CN1992910A CN 1992910 A CN1992910 A CN 1992910A CN A2006101711519 A CNA2006101711519 A CN A2006101711519A CN 200610171151 A CN200610171151 A CN 200610171151A CN 1992910 A CN1992910 A CN 1992910A
Authority
CN
China
Prior art keywords
pixel
infrared ray
light
signal
composition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006101711519A
Other languages
English (en)
Other versions
CN1992910B (zh
Inventor
铃木和博
加藤桂史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2006300694A external-priority patent/JP2007202107A/ja
Priority claimed from JP2006300695A external-priority patent/JP4420917B2/ja
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Publication of CN1992910A publication Critical patent/CN1992910A/zh
Application granted granted Critical
Publication of CN1992910B publication Critical patent/CN1992910B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/03—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by frequency separation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明公开一种摄像装置，其特征在于，备有：第1像素，其对可见光和红外线这两方进行受光；第2像素，其对红外线进行受光；预测部，其基于第1像素所受光的光的光谱特性和第2像素所受光的光的光谱特性，并根据第2像素所输出的信号，对由第1像素所输出的信号中所包含的红外线成分的大小进行预测；以及减法部，其从由第1像素输出的信号中减去预测的红外线成分。

Description

备有在可见光和红外线区域具有灵敏度的摄像元件的摄像装置
技术领域
本发明涉及备有在可见光和红外线区域具有灵敏度的摄像元件的摄像装置。
背景技术
所谓的CCD(Charge Couple Device)和CMOS(Complementally MetalOxide Semiconductor)传感器的摄像元件，通常不仅对可见光而且对红外线也具有灵敏度。在使用这种摄像元件而在较暗的环境下进行摄影的情况下，能够利用该红外线成分而得到亮度成分，并能够实现高灵敏度的单色图像。另一方面，为了得到实现良好的色再现性的彩色图像，需要除去红外线成分。
在专利文献1中，公开了备有摄像元件和红外线受光元件，并从摄像元件的输出信号(可见光成分和红外线成分之和)减算红外线受光元件的输出信号(红外线成分)的方法。
另外，为了得到以上述那样的摄像元件实现良好的色再现性的彩色图像，需要除去红外线成分。另外，在较暗环境下摄像的情况下，通过摄入红外线成分而得到亮度成分，由此能够寻求实现高灵敏度的单色图像。
在专利文献1中，公开了如下方法：即备有摄像元件和红外线受光元件，在从摄像元件的输出信号(即可见光成分和红外线成分之和)中减去红外线受光元件的输出信号(即红外线成分)，且减算结果不足一定的阈值的情况下，代替减算处理对来自摄像元件的输出信号进行色抑制，由此能够从包含红外线成分的输出信号抽取亮度成分。由此，对于在较亮的环境下进行摄像的情况，能够对再现了良好的色再现性的彩色图像进行摄像。在较暗的环境下，能够对高灵敏度的单色图像进行摄像。
〔专利文献1〕特开平6-105319号公报
然而，按照专利文献1所公开的方法，存在如下问题：即当摄像元件上设置的可见光滤光器和在红外线受光元件上设置的红外线滤光器的红外线区域中的光谱特性不一致时，不能够从摄像元件的输出信号充分除去红外线成分，并不能得到良好的色再现性。
另外，按照专利文献1所公开的方法，由于彩色图像和单色图像的切换瞬间进行，因此存在对摄像者产生异样感觉的问题。
发明内容
本发明针对这种状况而提出，其目的为提供一种能够得到色再现性良好的彩色图像的摄像装置。并且，本发明的另一目的在于提供一种能够在色再现性良好的彩色图像和感度高的单色图像之间平滑地进行切换的摄像装置。
本发明的一种方式是关于一种摄像装置，其中，备有：第1像素，其对可见光和红外线这两方进行受光；第2像素，其对红外线进行受光；预测部，其基于所述第1像素所受光的光的光谱特性和所述第2像素所受光的光的光谱特性，并根据由所述第2像素所输出的信号，对由所述第1像素所输出的信号中所包含的红外线成分的大小进行预测；以及减法部，其从由所述第1像素输出的信号中减去所述预测所得到的红外线成分。
按照该方式，即使在由对可见光和红外线这两方进行受光的第1像素所受光的光的光谱特性，与由对红外线进行受光的第2摄像元件所受光的光的光谱特性不同的情况下，也能够基于各自光谱特性，并根据由第2像素输出的信号对从第1像素输出的信号中所包含的红外线成分进行大致正确地进行预测，因此能够从由第1摄像元件输出的信号充分地除去红外线成分。由此，通过该摄像装置，能够得到色再现性良好的彩色图像。
另外，由第1像素和第2像素所受光的光的光谱特性，可以由例如，各个像素上所备置的色滤光器的光谱特性、各个像素所备置的光电变换元件的光谱特性所确定。由此，即使在色滤光器的光谱特性和光电变换元件的光谱特性在第1像素和第2像素中不同的情况下，也能够对从第1像素输出的信号中所包含的红外线成分进行大致正确地进行预测。
另外，由所述第1像素和所述第2像素所受光的光的光谱特性，也可以由入射到各个像素的光的光谱特性所确定。由此，即使在光源和被拍摄体变化的情况下，也能够对从第1像素输出的信号中所包含的红外线成分大致正确地进行预测。
在该方式中，第1像素和所述第2像素可以在同一摄像元件上形成。由此，备有一个摄像元件也可以，并且由于不需要用于取出红外线成分的光学元件，因此能够谋求摄像装置的小型化。
本发明的另一方式，涉及摄像装置。该装置，备有：第1像素，其对可见光和红外线这两方进行受光；第2像素，其对红外线进行受光；减法部，其从由所述第1像素输出的信号中，减去在由所述第2像素输出的信号上乘以系数后的信号；确定部，其基于由所述第1像素输出的信号的大小和由所述第2像素所输出的信号的大小的比率，而对在所述减法部中在由所述第2像素所输出的信号上所乘算的系数进行确定。
按照该方式，在从包含可见光成分和红外线成分的信号中除去红外线成分时，能够与红外线成分的量相对于包含可见光成分和红外线成分的信号的量的比率相对应地，确定减算红外线成分的比例。例如，在红外线成分的比率十分小的情况下，将红外线成分原样减去，随着红外线成分的比率变大，慢慢地降低将红外线成分减算的比例。并且，在红外线成分的比率足够大的情况下，不减算红外线成分。
由此，由于在红外线成分的比率足够小时能够确实除去红外线成分，因此能够得到色再现性良好的彩色图像，并且在红外线成分的比率较大时，能够利用包含于各像素中的红外线成分而得到感度好的单色图像。此外，由于与红外线的比率的大小相对应地慢慢变化将红外线成分减算的比例，因此能够平滑地进行彩色图像和单色图像之间的切换。
在该方式中，也可以是，确定部进一步基于摄像时的照度，而确定在由第2像素输出的信号上所乘算的系数。由此，在亮环境下进行摄影的情况下，即使红外线成分的比率较大时，若以较多地除去红外线成分的方式确定系数，则能够得到色再现性良好的彩色图像。
另外，在该方式中，也可以是，减法部按照亮度成分用和色成分用，而分别地从由所述第1像素输出的信号，减去在由所述第2像素输出的信号上乘以系数后的信号。由此，关于亮度成分，通过将系数值较小地设定，能够借助于将透过可见光滤光器的红外线成分活化而提高感度。关于色成分，能够通过较大地设定系数的值而尽可能除去红外线成分，由此能够实现良好的色再现性。
另外，在该方式中，确定部对用于对所述第1像素的光谱特性和所述第2像素的光谱特性的不同进行校正的另一系数进行确定，减法部，从由所述第1像素所输出的信号，减去在由所述第2像素输出的信号上乘以另一系数后的信号。由此，即使在第1像素和第2像素中分光特性不同的情况下，也能够准确地对包含于从第1像素输出的信号中的红外线成分确实地进行预测，并能够进一步提高色再现性。
另外，在该方式中，第1像素和第2像素，可以在同一摄像元件上形成。由此，若备有一个摄像元件也可以，并且由于不需要用于取出红外线成分的光学元件，因此能够谋求摄像装置的小型化。
另外，在方法、装置、系统等之间将以上的结构要素的任意的组合、本发明的构成要素或表现相互地进行置换，作为本发明的方式也是有效的。
附图说明
图1是本发明的实施方式1所涉及的摄像装置的结构图。
图2是表示图1的摄像元件的色滤光器的排列的图。
图3是表示本发明的实施方式1所涉及的红色滤光器、绿色滤光器、蓝色滤光器和红外线滤光器的各像素的光谱特性的一例的图。
图4是本发明的实施方式2所涉及的摄像装置的结构图。
图5是表示图4的摄像元件的色滤光器的排列的图。
图6是本发明的实施方式2的变形例2所涉及的摄像装置的结构图。
图7是本发明的实施方式2的变形例2所涉及的摄像装置的结构图。
图8是本发明的实施方式2所涉及的、备有红色滤光器、绿色滤光器、蓝色滤光器和红外线滤光器的各像素的光谱特性的一例的图。
实施方式
以下参照优选实施方式对本发明进行描述。这并非是为了限制当前发明的范围，而是为了解释发明。
以下说明用于实施本发明的最佳实施方式。
图1是表示本发明的实施方式1所涉及的摄像装置100的结构的图。该结构，在硬件方面，能够由任意的计算机的CPU、存储器、其他的LSI所实现，在软件方面能够由载置于存储器等中的程序所实现，但是这里描述了由它们的联合所实现的功能模块。因此，对于本领域技术人员来说，这些功能模块仅由硬件、仅由软件、或它们的组合以各种各样的形式实现是可以理解的。
摄像装置100，备有摄像元件10、模拟/数字变换单元12、减法单元14、红外线成分预测单元16、信号处理单元18。来自被拍摄体光被入射到摄像元件10。
摄像元件10，是由例如CCD(电荷耦合装置)和CMOS(ComplementaryMetal Oxide Semiconductor)传感器等所构成的器件，并备有以矩阵状配置的光电二极管，并由各个光电二极管构成像素。
另外，摄像元件10中，在每个像素上备有不同色的滤光器，并由该色滤光器进行色分解。摄像元件10上备置的色滤光器包含：透过可见光和红外线的可见光滤光器；以及主要透过红外线的红外线滤光器。此外，可见光滤光器，对应于透过的色，被分类为红色滤光器、绿色滤光器、和蓝色滤光器。
图2是表示摄像元件10所备置的色滤光器的排列的图。摄像元件10的像素20上配置有透过绿色光的绿色滤光器，像素22上配置有透过红色光的红色滤光器，像素24上配置有透过蓝色光的蓝色滤光器。这些绿色滤光器、红色滤光器、蓝色滤光器具有红外线也透过的特性。并且在像素26上配置主要透过红外线的红外线滤光器。并且，这些绿色滤光器、红色滤光器、蓝色滤光器和红外线滤光器，以纵向两像素、横向两像素为单位重复配置。
摄像元件10，将透过与每个像素对应的色滤光器的光变换为与其强度对应的电信号，并将其作为图像信号每一像素地顺次输出。也就是说，从像素20输出的图像信号成为合并绿色光和红外线成分的量(大きさ)，从像素22输出的像素信号成为合并红色光和红外线成分的量。并且，从像素24输出的图像信号成为合并蓝色光和红外线成分的量。另一方面，从像素26输出的图像信号，成为与红外线成分相对应的量。
模拟/数字变换单元12，将从摄像元件10输出的图像信号变换为例如10位的数字信号。变换后的数字信号，被输入到减法单元14和红外线成分预测单元16。
减法单元14从由摄像元件10的像素20、22和24输出的图像信号，即绿色光成分+红外线成分(G+IR)、红色光成分+红外线成分(R+IR)、蓝色光成分+红外线成分(B+IR)，除去由像素26输出的图像信号即红外线成分IR。此时，不是原样减算由像素26输出的红外线成分IR，而是由红外线成分预测单元16对绿色光成分+红外线成分(G+IR)、红色光成分+红外线成分(R+IR)、蓝色光成分+红外线成分(B+IR)的每个分别个别地校正红外线成分IR而进行减算。
红外线成分预测单元16，基于由摄像元件10的各像素所受光的光的光谱特性(分光特性)而对由像素26输出的红外线成分IR进行校正，由此预测叠加于各色成分G+IR、R+IR、B+IR的红外线成分。例如，求由像素20所受光的光的红外线区域和由像素26所受光的光的光谱特性之比，并在像素26的输出图像信号即红外线成分IR上乘算该比，由此对叠加于色成分G+IR的红外线成分进行预测。
同样，红外线成分预测单元16，求算由像素22所受光的光的红外线区域与由像素26所受光的光，以及由像素24所受光的光的红外线区域与由像素26所受光的光的光谱特性之比，进行求算，并通过在红外线成分IR上乘算该比，由此预测在色成分R+IR和B+IR叠加的红外线成分。
由各像素所受光的光的光谱特性，由各个像素所备置的色滤光器的光谱特性、发光二极管的光谱特性、以及入射到各像素的光的光谱特性所确定。色滤光器的光谱特性和发光二极管的光谱特性由摄像元件10的各像素的形状和工艺(process)所确定。红外线成分预测单元16，存储各个像素的色滤光器和发光二极管的光谱特性。另一方面，各个像素的所入射的光的光谱特性，由红外线成分预测单元16对从摄像元件10所输出的图像信号进行积分而求算。另外，也可以通过未图示的控制装置确定所受光的光谱特性。
红外线成分预测单元16，将所预测的红外线成分的量传送到减法单元14。减法单元14，利用对从红外线成分预测单元16传送的色成分的每种进行校正的红外线成分，从各色成分G+IR、R+IR、B+IR除去红外线成分。
从减法单元14输出的信号，由信号处理单元18实施亮度信号和色信号的抽出以及多种图像处理，由信号处理单元18得到的信号，被发送到未图示的显示装置和图像压缩装置等。
基于该结构，以下说明图1所示的摄像装置100的动作。
输入到摄像元件10的光，由图2所示的色滤光器色分解为绿色光成分+红外线成分(G+IR)、红色光成分+红外线成分(R+IR)、蓝色光成分+红外线成分(B+IR)，以及红外线成分IR，并变换为电信号。该电信号，从摄像元件10每一像素地作为图像信号而输出，并由模拟/数字变换单元12而变换为数字信号。
由模拟/数字变换单元12变换为数字信号的图像信号，被输入到减法单元14和红外线成分预测单元16。红外线成分预测单元16，在从备有红外线滤光器的像素输出的红外线成分IR上，乘算备有绿色滤光器、红色滤光器和蓝色滤光器的像素分别所受光的光的红外线区域的光谱特性与备有红外线滤光器的像素所受光的光的光谱特性之比，而各自分别地预测绿色光成分+红外线成分(G+IR)、红色光成分+红外线成分(R+IR)、蓝色光成分+红外线成分(B+IR)。
在由红外线成分预测单元16所预测的在各色成分上叠加的红外线成分的量，被传送到减法单元14。于是，由减法单元14，从绿色光成分+红外线成分(G+IR)、红色光成分+红外线成分(R+IR)、蓝色光成分+红外线成分(B+IR)，各自分别地减算所预测的成分。
以下，更具体地说明这些处理。
红外线成分预测单元16，确定用于调整备有色滤光器的像素和备有红外线的像素之间的光谱特性不同的系数(LR、LG、LB)的值，并传递到减法单元14。减法单元14，从由摄像元件10的像素20、22和24所输出的图像信号即绿色光成分+红外线成分(G+IR)、红色光成分+红外线成分(R+IR)、蓝色光成分+红外线成分(B+IR)，除去由像素26输出的图像信号即红外线成分IR。此时，不是原样减算由像素26输出的图像信号即红外线成分IR，而是减去乘算了系数(LR、LG、LB)后的值。也就是说，减法单元14由以下的式(1)～(3)计算出红外光成分R、绿色光成分G、和蓝色光成分B。
R＝R+IR-LR·IR                             ……(1)
G＝G+IR-LG·IR                             ……(2)
B＝B+IR-LB·IR                             ……(3)
图3是备有红色滤光器、绿色滤光器、蓝色滤光器和红外线滤光器的各像素的光谱特性的一例的图。图3中，横轴为波长、纵轴为灵敏度。比边界线a高的波长的区域表示红外线区域，比边界线低的波长区域表示可见光区域。
备有红色滤光器的像素的红外线波长区域中的灵敏度，比并备有红外线滤光器的像素的灵敏度相当地大。在图3的特性中，备有红外线滤光器的像素，在红外线波长区域具有备有红色滤光器的像素的大约1.5倍的灵敏度。因此，将备有红色滤光器的像素的系数LR的值设为1.5。仅将从备有红外线滤光器的像素输出的红外线成分原样减去，而不从备有红色滤光器的像素输出的信号除去红外线成分。这一点，通过从备有红外线滤光器的像素输出的红外线成分IR上乘算系数LR而进行校正，而能够完全除去备有红色滤光器的像素的输出信号中所包含的红外线成分。
备有蓝色滤光器的像素的红外线波长区域中的灵敏度，为与备有红外线滤光器的像素的灵敏度相同的程度。备有绿色滤光器的像素的红外线波长区域中的灵敏度比备有蓝色红外线滤光器的像素的灵敏度小大约十分之一。因此，将备有蓝色滤光器的像素的系数LR的值设定为1，将备有绿色滤光器的像素的系数LR的值设定为0.9。因此，具有图3的特性例的摄像元件10中的系数(LR、LG、LB)的值，成为大约(1.5，0.9，1.0)。
上述的光谱特性，不仅受滤光器的光谱特性，也受光源的光谱特性和被拍摄体的光谱特性的影响。这些特性，因光源和摄像对象而不同，灵敏度不一致，波长的光的强度越强，则越弱。因此，系数(LR、LG、LB)的值，优选为对于每个光源和被拍摄体而切换。
红外线成分预测单元16，也可以存储着对于每种光源的种类所预先计算出的系数(LR、LG、LB)的值。例如，对于朝向太阳光、朝向荧光灯、朝向白炽灯分别保持不同的系数(LR、LG、LB)的值。这些值，由设计者通过试验和仿真所求得。红外线成分预测单元16，若由用户选择光源的模式，则使用与选择的模式相对应的系数(LR、LG、LB)。
另外，红外线成分预测单元16，也可以存储着对于每种被拍摄体的种类所预先计算出的系数(LR、LG、LB)的值。例如，分别对于朝向人、朝向植物、朝向建筑物而保持不同的系数(LR、LG、LB)的值。若由用户选择摄像对象的模式，则红外线成分预测单元16使用与所选择的模式相对应的系数(LR、LG、LB)的值。另外，也可以对于每种光源和被拍摄体的组合保持不同的系数(LR、LG、LB)的值。
另外，也可以不将与光源和被拍摄体的光谱特性相对应的系数(LR、LG、LB)预先注册于红外线成分预测单元16，而对于每种摄影，适宜地计算出系数(LR、LG、LB)。例如，也可以是，红外线成分预测单元16通过对从摄像元件10输出的图像信号进行积分而在摄影时对入射到各像素的光的光谱特性进行求算。另外，也可以在摄像装置300上设置光谱特性传感器，测定摄影时的光谱特性，而确定系数(LR、LG、LB)。
信号处理单元18基于减法单元14的输出信号，实施各种图像处理，并输出到外部。
以上，按照本实施方式所涉及的摄像装置，从由备有可见光滤光器的像素输出的包含红外线成分的色成分减算红外线成分时，能够在备有红外线滤光器的像素输出的红外线成分上，乘算由备有可见光滤光器的像素所受光的光的红外线区域的光谱特性和由备有红外线滤光器的像素所受光的光的光谱特性之比，由此，对于由备有可见光滤光器的像素所输出的色成分中所包含的红外线成分进行预测。由此，即使在由备有可见光滤光器的像素所受光的光的光谱特性，与备有红外线滤光器的像素所受光的光的光谱特性不同的情况下，也能够大致正确地预测由备有可见光滤光器的像素输出的色成分中所包含的红外线成分，并能够从该色成分中充分除去红外线成分。因此，通过该摄像装置，能够得到色再现性好的彩色图像。
以上，基于实施方式1说明了本发明。实施方式1只是例示，在它们的各构成要素和各处理程序的组合中可能有各种各样的变形例，并且那样的变形例也在本发明的范围内，这对于本领域技术人员来说是可以被理解的。
例如，在上述实施方式1中，红外线成分预测单元16，在从备有红外线滤光器的像素输出的红外线成分IR上，乘以备有可见光滤光器的像素所受光的光的红外线区域的光谱特性与备有红外线滤光器的像素所受光的光的光谱特性之比，而示出了对红外线成分进行校正的例子，但是也可以将备有可见光滤光器的像素所受光的光的红外线区域的光谱特性，与备有红外线滤光器的像素所受光的光的光谱特性的差视为偏移量，而在从备有红外线滤光器的像素输出的红外线成分IR上加算该偏移量，而预测红外线成分。该方法，在滤光器的特性重叠的红外线成分作为偏移量而表现的情况下是有效的。
另外，虽然在上述实施方式1中，红外线成分预测单元16基于备有可见光滤光器的像素所受光的光的红外线成分的光谱特性和备有红外线滤光器的像素所受光的光的光谱特性，而对从备有可见光滤光器的像素输出的信号中所包含的红外线成分进行预测。但是也可以，不仅基于从备有可见光滤光器的像素所受光的光的红外线领域，而且还基于也包含其他波长的光的一部分的光谱特性和备有红外线滤光器的像素所受光的光的光谱特性，而对从备有可见光滤光器的像素输出的信号中所包含的红外线成分进行预测。该方法，在红外线滤光器具有使可见光的一部分透过的特性的情况下是有效的。
另外，在上述实施方式1中，示出了摄像元件10具备：备有透过可见光和红外线的双方的可见光滤光器的像素，以及备有主要透过红外线的红外线滤光器的像素的例子，但是不限于此，也可以具备备有可见光滤光器的摄像元件和备有红外线滤光器的摄像元件这两个，并分别使用从各自输出的图像信号，也包含在本发明的摄像装置中。
另外，在上述实施方式1中，对使用三原色滤光器和红外线滤光器的摄像元件10进行了说明。这点在本实施例中，也可以适用于使用补充色滤光器和红外线滤光器的摄像元件10。补充色滤光器色分解为黄色Ye、蓝绿(シアン)Cy、和品红(マゼンダ)Mg。或者，色分解为：黄色Ye、蓝绿Cy、和绿色Gr；或黄色Ye、蓝绿Cy、品红Mg和绿色Gr。透过各种的色成分的滤光器，与上述3原色滤光器同样，也透过红外线成分。
图4是表示本发明实施方式2所涉及的摄像装置2100的结构的图。该结构，在硬件上，能够以任意的计算机的CPU、存储器、其他的LSI所实现，并能够由软件上载置于存储器的程序等所实现，但是这里描述了由它们的联合所实现的功能程序。因此，这些功能程序仅是通过硬件、软件、或它们的组合等各种程序的形式而实现，对于本领域技术人员来说是可以理解的。
摄像装置2100，备有摄像元件2010、模拟/数字变换单元2012、减法单元2014、红外线除去比例确定单元2016、信号处理单元2018。来自被拍摄体的光被入射到摄像元件2010。
摄像元件2010是由例如CCD(Charge Coupled Devices)和CMOS(complementary Metal Oxide Semiconductor)传感器等构成的器件，备有矩阵状配置的光电二极管(photo dioide)，并通过各个光电二极管构成像素。
另外，摄像元件2010在每个像素上备有色滤光器，并通过该色滤光器进行色分解。备置于摄像元件2010上的色滤光器包含透过可见光和红外线的可见光滤光器，和主要透过红外线的红外线滤光器。并且，可见光滤光器，与透过的色相对应地分类为红色滤光器、绿色滤光器、和蓝色滤光器。
图5是表示摄像元件2010所备置的色滤光器的排列的图。在摄像元件2010的像素2020上，配置透过绿色光的绿色滤光器，在像素2022上配置透过红色光的红色滤光器，在像素2044上配置透过蓝色光的蓝色滤光器。这些绿色滤光器、红色滤光器、蓝色滤光器具有红外线也透过的特性。另外，在像素2026上配置主要透过红外线的红外线滤光器。于是，这些绿色滤光器、红色滤光器、蓝色滤光器和红外线滤光器以纵2个像素、横2个像素为单位重复排列。
摄像元件2010，将与每个像素相对应的、透过色滤光器的光变换为与其强度相对应的电信号，并将其作为图像信号而逐像素地顺次输出。也就是说，从像素2020输出的像素信号成为合并了绿色光和红外线成分的量，从像素2022输出的图像信号成为合并了红色光和红外线成分的量。另外，从像素2024输出的图像信号成为合并了蓝色光和红外线成分的量。另一方面，从像素2026输出的图像信号，成为对应于红外线成分的量。
模拟/数字变换单元2012，将从摄像元件2010输出的图像信号变换为例如10位的数字信号。变换后的数字信号，被输入到减法单元2014和红外线除去比例确定单元2016。
减法单元2014从摄像元件2010的像素2020、2022、2024输出的图像信号即绿色光成分+红外线成分(G+IR)、红色光成分+红外线成分(R+IR)、蓝色光成分+红外线成分(B+IR)，除去由像素2026所输出的像素信号即红外线成分IR。此时，并非原样减算从像素2026输出的红外线成分IR，而是减算在红外线成分IR上乘以系数K(0≤K≤1)的值。也就是说，减法单元2014，通过以下的式子计算出红色光成分R、绿色光成分G、蓝色光成分B。
R＝R+IR-K·IR             ……(4)
G＝G+IR-K·IR             ……(5)
R＝B+IR-K·IR             ……(6)
红外线除去比例确定单元2016，在由减法单元2014除去红外线成分时，确定在红外线成分IR上乘以系数K的值。该系数K，由红色光成分+红外线成分(R+IR)、绿色光成分+红外线成分(G+IR)、或蓝色光成分+红外线成分(B+IR)与红外线成分IR的比率所求算。
此时，用于式(4)的K可以由红色光成分+红外线成分(R+IR)与红外线成分IR的比率求得，用于式(5)的K可以由绿色光成分+红外线成分(G+IR)与红外线成分IR的比率求得，用于式(6)的K可以由蓝色光成分+红外线成分(B+IR)与红外线成分IR的比率求得。或者也可以通过红色光成分+红外线成分(R+IR)、绿色光成分+红外线成分(G+IR)、或蓝色光成分+红外线成分(B+IR)的其中之一与红外线成分IR的比率求算用于式(4)～(6)的K。
红外线除去比例确定单元2016，在红外线成分IR的比率十分小的情况下将K的值确定为1。由此，能够从红色光成分+红外线成分(R+IR)、绿色光成分+红外线成分(G+IR)、蓝色光成分+红外线成分(B+IR)成分除去红外线成分IR，因此能够得到色再现性良好的彩色图像。
另一方面，在红外线成分IR的比率足够大的情况下，红外线除去比例确定单元2016将K的值确定为0。此时，由于红色光成分+红外线成分(R+IR)、绿色光成分+红外线成分(G+IR)、蓝色光成分+红外线成分(B+IR)中所包含的各可见光成分大致为零，因此R+IR、G+IR、B+IR中红外线成分是支配性的。因此，在减法单元2014中，将K的值置为0，由式(4)～(6)求R、G、B的值，这些值也可以大致认为是红外线的成分。由此，能够得到将红外线成分的量活化的、灵敏度高的单色图像。另外，上述各种比率和所设定的系数K的对应关系，由设计者实验和仿真所确定。
另外，在虽然红外线成分IR的比率不十分大但较多地包含的情况下，随着该比率的变多，K值以从1到0的方式被设定。由此，能够平滑地进行彩色图像和单色图像的切换。
从减法单元2014输出的信号，在信号处理单元2018中实施亮度信号和色信号的抽出、各种图像处理。在信号处理单元2018中得到的信号，被发送到未图示的显示装置和图像压缩装置。
基于该结构，以下说明图4所示的摄像装置2100的动作。
输入到摄像元件2010的光，由图5所示的色滤光器在每个像素上被色分解为红色光成分+红外线成分(R+IR)、绿色光成分+红外线成分(G+IR)、蓝色光成分+红外线成分(B+IR)，以及红外线成分IR，并变换为电信号。该电信号，从摄像元件2010，逐像素地作为图像信号而输出，由模拟/数字变换单元2012变换为数字信号。
由模拟/数字变换单元2012变换为数字信号的图像信号，被输入到减法单元2014和红外线除去比例确定单元2016。红外线除去比例确定单元2016，由红色光成分+红外线成分(R+IR)、绿色光成分+红外线成分(G+IR)、或蓝色光成分+红外线成分(B+IR)，与红外线成分IR的比率，确定式(4)～(6)的系数K。也就是说，在红外线成分IR的比率十分小的情况下，将K设定为1，并随着红外线成分IR的比率变大，将K的值从1设定为接近于零的值。并且在红外线成分IR的比率十分大的情况下，将K设定为0。
由红外线除去比例确定单元2016所设定的系数K的值，被传递到运算单元2014。于是，减法单元2014根据式(4)～(6)，从红色光成分+红外线成分(R+IR)、绿色光成分+红外线成分(G+IR)、或蓝色光成分+红外线成分(B+IR)，减算在红外线成分IR上乘以系数K的值。
信号处理单元2018基于减法单元2014的输出信号，实施各种图像处理，并输出到外部。
以上，按照本实施方式所涉及的摄像装置，从包含由摄像元件摄取的可见光成分和红外线成分的图像信号除去红外线成分之时，与红外线成分的量相对于包含可见光成分和红外线成分的图像信号的量的比率相对应地，确定减去红外线成分的比例。也就是说，在红外线成分的比率较小的情况下，原样减去红外线成分，并随着红外线成分的比率变大，慢慢地将减算红外线成分的比例减低。并且，在红外线成分的比率足够大的情况下，不减算红外线成分。由此，在红外线成分的比率十分小时，能够确实地除去红外线成分，因此能够得到色再现性好的彩色图像。并且在红外线成分的比率足够大时，能够利用各像素中所包含的红外线成分而得到灵敏度高的单色图像。此外，由于与红外线的比率的量相对应地，对红外线成分进行减算的比例缓缓地变化，因此能够平滑地进行彩色图像和单色图像的切换。
以上，基于实施例2而说明本发明。实施方式2是列示，在它们的各构成要素和各处理程序的组合中能够进行各种各样的变形例，这对于本领域技术人员来说是可以理解的。
例如，也可以设计为以亮度成分和色成分个别地进行红外线除去。图6是表示本发明的实施方式2的变形例2所涉及的摄像组织2200的结构的图。该摄像装置2200，作为图4的摄像装置2100的减法单元2014和红外线除去比例确定单元2016的替代，备有亮度用减法单元2030、亮度用红外线除去比例确定单元2030、色减法单元2034、色用红外线除去比例确定单元2036。由此，对于亮度成分将系数K的值较小地设定，藉此能够通过将透过可见光滤光器的红外线成分活化而提高灵敏度，对于色成分通过较大地设定系数K的值，而尽可能地除去红外线成分，由此能够实现良好的色再现性。
另外，在上述的实施方式2中，为如下方式：即与透过可见光滤光器的可见光成分和红外线成分之和与透过红外线滤光器的红外线成分的比率相对应地，确定所除去的红外线成分的比例即系数K的值，但是也可以考虑摄像时的照度。例如，在亮环境下进行摄像的情况下，即使红外线成分的比率较大，通过增大系数K的值而较多地除去红外线成分，由此能够提高色再现性。此时，摄像时的照度，可以由摄像元件2010的曝光时间的长度所确定。也可以通过备有照度传感器而由照度传感器所测定。
另外，在上述实施方式2中，示出了摄像元件2010具备如下像素的例子：即备有透过可见光和红外线这两方的可见光滤光器的像素；以及备有主要透过红外线的红外线滤光器的像素。但是并不限定于此，使用备有可见光滤光器的摄像元件以及备有红外线滤光器的摄像元件这两个而使用从各自输出的图像信号，也包含在本发明的摄像装置中。
另外，在上述实施方式2中，确定所除去的红外线成分的比率时对摄像元件2010的各像素所受光的光的光谱特性没有考虑。在变形例2中，参照各像素所受光的光的光谱特性，对于每种色，对应该从叠加有红外线成分的各色成分中减去的红外线成分上所乘算的系数的值进行调整。图7是该本发明的实施方式2的变形例2所涉及的摄像装置2300的结构。该摄像装置2300，是在图4的摄像装置2100的结构上添加红外线成分预测单元2020的结构。另外，权利要求中的确定单元，也可以是总称红外线除去比例确定单元2016和红外线成分预测单元2020的概念。
红外线成分预测单元2020，对在从透过各色滤光器的光得到的信号上叠加的红外线成分进行预测。也就是说，对叠加于红色光成分+红外线成分(R+IR)、绿色光成分+红外线成分(G+IR)、和蓝色光成分+红外线成分(B+IR)的各个的红外线成分进行预测。此时，考虑备有各色滤光器的像素2020、2022、2024和红外线滤光器的像素2026之间的光谱特性不同。
由各个像素所受光的光的光谱特性，由各个像素上所备置的滤光器的光谱特性和光电二极管的光谱特性、以及入射到备有各个像素的光的光谱特性等所确定。滤光器的光谱特性和光电二极管的光谱特性由摄像元件2010的各像素的形状和工艺所确定。特别是，由于滤光器的光谱特性和光电二极管的光谱特性不一致，因此在从叠加有红外线成分的各色成分减去红外线成分时，通过对于每种色对乘于其红外线成分上的系数的值进行变化，能够提高色再现性。
红外线成分预测单元2020，对用于调整备有色滤光器的像素和备有红外线滤光器的像素之间的光谱特性的不同的系数(LR、LG、LB)进行确定，并传送到减法单元2014。减法单元2014，从摄像元件2010的像素2020、2022、和2024输出的图像信号即绿色光成分+红外线成分(G+IR)、红色光成分+红外线成分(R+IR)、蓝色光成分+红外线成分(B+IR)，除去由像素2026所输出的图像信号即红外线成分IR。此时，不是将由像素2026输出的红外线成分IR原样减算，而是在红外线成分IR上乘以第一系数K(0≤K≤1)和第二系数(LR、LG、LB)的值。也就是说，减法单元2014，由以下的式(7)～(9)计算出红色光成分R、绿色光成分G、和蓝色光成分B。这里，第一系数K是基于由红外线除去比例确定单元2016所确定的叠加有红外线成分的各可见光成分和红外线成分IR的比率的系数。第2系数(LR、LG、LB)是基于由红外线成分预测单元2020所确定的备有各色滤光器的像素分别所受光的光的红外线区域的光谱特性和备有红外线滤光器的像素所受光的光的光谱特性的比率的系数。
R＝R+IR-K·LR·IR    ……(7)
G＝G+IR-K·LG·IR    ……(8)
B＝B+IR-K·LB·IR    ……(9)
图8是表示备有红色滤光器、绿色滤光器、蓝色滤光器和红外线滤光器的各像素的光谱特性的一例的图。图8中横轴是波长，纵轴是灵敏度。比边界线a高的波长区域表示红外线区域，比边界线a低的波长区域表示可见光区域。
备有红色滤光器的像素的红外线波长区域中的灵敏度，比备有红外线滤光器的像素的灵敏度高得多。在图8的特性例中，备有红外线滤光器的像素，在红外线波长区域中，具有备有红色滤光器的像素的大约1.5倍的灵敏度。因此，将备有红色滤光器的像素的第2系数LR的值设定为1.5。即使在第1系数为1的情况下，即完全除去红外线成分的情况下，也是仅原样减算从备有红外线滤光器的像素输出的红外线成分IR，而不能从备有红色滤光器的像素的输出信号完全除去红外线成分。这一点，通过在从备有红外线滤光器的像素的输出的红外线成分IR上乘以第2系数LR而进行校正，由此能够完全除去备有红色滤光器的像素的输出信号中所包含的红外线成分。
备有蓝色滤光器的像素的红外线波长区域的灵敏度，与备有红外线滤光器的像素的灵敏度为相同的程度。备有绿色滤光器的像素的红外线波长区域的灵敏度，比备有红外线滤光器的像素的灵敏度小十分之一。因此，将备有蓝色滤光器的像素的第2系数LR的值设定为1，将备有绿色滤光器的像素的第2系数LR的值设定为0.9。因此，具有图8的特性例的摄像元件2010中的第2系数(LR、LG、LB)的值，成为大约(1.5，0.9，1.0)。
上述的光谱特性，不仅受滤光器的光谱特性和光电二极管的光谱特性，而且也受光源的光谱特性和被拍摄体的光谱特性影响。这些特性，因光源和摄影对象而多种多样，灵敏度不一致的波长的光的强度有强有弱。因此，第2系数(LR、LG、LB)的值也优选为对于每种光源和被拍摄体而切换。
红外线成分预测单元2020，也可以对于每种光源种类保持预先计算出的第2系数(LR、LG、LB)的值。例如，对于朝向太阳光、朝向荧光灯、朝向白炽灯，保持不同的第2系数(LR、LG、LB)的值。这些值，由设计者通过试验或仿真而求得。若由用户选择光源的模式，则红外线成分预测单元2020，使用与所选择的模式相对应的第2系数(LR、LG、LB)。
另外，也可以是，红外线成分预测单元2020，对于每种被拍摄体种类保持预先算出的第2系数(LR、LG、LB)的值。例如，分别对于朝向人、朝向植物、朝向建筑物而保持不同的第2系数(LR、LG、LB)的值。若由用户选择摄像对象的模式，则红外线成分预测单元2020使用与所选择的模式相对应的第2系数(LR、LG、LB)的值。另外，也可以对于每种光源和被拍摄体的组合保持不同的第2系数(LR、LG、LB)的值。
另外，也可以不将与光源和被拍摄体的光谱特性相对应的第2系数(LR、LG、LB)预先注册于红外线成分预测单元2020，而对于每种摄影，适宜地计算出第2系数(LR、LG、LB)。例如，也可以是，红外线成分预测单元2020通过对从摄像元件2010输出的图像信号进行积分而在摄影时对入射到各像素的光的光谱特性进行求算。另外，也可以在摄像装置2300上设置光谱特性传感器，测定摄影时的光谱特性，而确定系数(LR、LG、LB)。
按照变形例2，一边对备有色滤光器的像素和备有红外线滤光器的像素间的光谱特性的不同而进行调整，一边从叠加有红外线成分的各色成分中除去红外线成分，由此能够确切地预测叠加于各色成分的红外线成分，并能够进一步提高色再现性。并且，也能够维持色平衡。
另外，在上述实施方式2中，对使用三原色滤光器和红外线滤光器的摄像元件2010进行了说明。这点在本实施例中，也可以适用于使用补充色滤光器和红外线滤光器的摄像元件2010。补充色滤光器色分解为黄色Ye、蓝绿(シアン)Cy、和品红(マゼンダ)Mg。或者，色分解为：黄色Ye、蓝绿Cy、和绿色Gr；或黄色Ye、蓝绿Cy、品红Mg和绿色Gr。透过各种色成分的滤光器，与上述3原色滤光器同样，也透过红外线成分。

Claims (17)

1、一种摄像装置，其特征在于，
备有：
第1像素，其对可见光和红外线这两方进行受光；
第2像素，其对红外线进行受光；
预测部，其基于所述第1像素所受光的光的光谱特性和所述第2像素所受光的光的光谱特性，并根据由所述第2像素所输出的信号，对由所述第1像素所输出的信号中所包含的红外线成分的大小进行预测；以及
减法部，其从由所述第1像素输出的信号中减去所述预测所得到的红外线成分。
2、根据权利要求1所述摄像装置，其特征在于，
所述第1像素和第2像素所受光的光的光谱特性，由各个像素所备置的色滤光器的光谱特性所确定。
3、根据权利要求1所述摄像装置，其特征在于，
由所述第1像素和第2像素所受光的光的光谱特性，由各个像素所备置的光电变换元件的光谱特性所确定。
4、根据权利要求1所述摄像装置，其特征在于，
由所述第1像素和所述第2像素所受光的光的光谱特性，由入射到各个像素的光的光谱特性所确定。
5、根据权利要求1所述摄像装置，其特征在于，
所述第1像素和所述第2像素在同一摄像元件上形成。
6、一种摄像装置，其特征在于，
备有：
第1像素，其对可见光和红外线这两方进行受光；
第2像素，其对红外线进行受光；
减法部，其从由所述第1像素输出的信号中，减去在由所述第2像素输出的信号上乘以系数后的信号；
确定部，其基于由所述第1像素输出的信号的大小和由所述第2像素所输出的信号的大小的比率，而对在所述减法部中在由所述第2像素所输出的信号上所乘算的系数进行确定。
7、根据权利要求6所述摄像装置，其特征在于，
所述确定部进一步基于摄像时的照度，而确定在由所述第2像素输出的信号上所乘算的系数。
8、根据权利要求6所述摄像装置，其特征在于，
所述减法部，按照亮度成分用和色成分用，而分别地从由所述第1像素输出的信号，减去在由所述第2像素输出的信号上乘以系数后的信号。
9、根据权利要求7所述摄像装置，其特征在于，
所述减法部，按照亮度成分用和色成分用，而分别地从由所述第1像素输出的信号，减去在由所述第2像素输出的信号上乘以系数后的信号。
10、根据权利要求6所述摄像装置，其特征在于，
所述确定部，确定用于对所述第1像素的光谱特性和所述第2像素的光谱特性的不同进行校正的另一系数，
所述减法部，从由所述第1像素所输出的信号，减去在由所述第2像素输出的信号上再乘以所述另一系数后的信号。
11、根据权利要求7所述摄像装置，其特征在于，
所述确定部，确定用于对所述第1像素的光谱特性和所述第2像素的光谱特性的不同进行校正的另一系数，
所述减法部，从由所述第1像素所输出的信号，减去在由所述第2像素输出的信号上再乘以所述另一系数后的信号。
12、根据权利要求8所述摄像装置，其特征在于，
所述确定部，确定用于对所述第1像素的光谱特性和所述第2像素的光谱特性的不同进行校正的另一系数，
所述减法部，从由所述第1像素所输出的信号，减去在由所述第2像素输出的信号上再乘以所述另一系数后的信号。
13、根据权利要求9所述摄像装置，其特征在于，
所述确定部，确定用于对所述第1像素的光谱特性和所述第2像素的光谱特性的不同进行校正的另一系数，
所述减法部，从由所述第1像素所输出的信号，减去在由所述第2像素输出的信号上再乘以所述另一系数的信号。
14、根据权利要求6所述摄像装置，其特征在于，
所述第1像素和所述第2像素，在同一摄像元件上形成。
15、根据权利要求7所述摄像装置，其特征在于，
所述第1像素和所述第2像素，在同一摄像元件上形成。
16、根据权利要求8所述摄像装置，其特征在于，
所述第1像素和所述第2像素，在同一摄像元件上形成。
17、根据权利要求9所述摄像装置，其特征在于，
所述第1像素和所述第2像素，在同一摄像元件上形成。
CN2006101711519A 2005-12-27 2006-12-25 备有在可见光和红外线区域具有灵敏度的摄像元件的摄像装置 Expired - Fee Related CN1992910B (zh)

Applications Claiming Priority (12)

Application Number Priority Date Filing Date Title
JP2005375519 2005-12-27
JP2005-375520 2005-12-27
JP2005375520 2005-12-27
JP2005375519 2005-12-27
JP2005375520 2005-12-27
JP2005-375519 2005-12-27
JP2006300695 2006-11-06
JP2006-300694 2006-11-06
JP2006300694A JP2007202107A (ja) 2005-12-27 2006-11-06 撮像装置
JP2006300694 2006-11-06
JP2006300695A JP4420917B2 (ja) 2005-12-27 2006-11-06 撮像装置
JP2006-300695 2006-11-06

Publications (2)

Publication Number Publication Date
CN1992910A true CN1992910A (zh) 2007-07-04
CN1992910B CN1992910B (zh) 2011-09-28

Family

ID=38193143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006101711519A Expired - Fee Related CN1992910B (zh) 2005-12-27 2006-12-25 备有在可见光和红外线区域具有灵敏度的摄像元件的摄像装置

Country Status (2)

Country Link
US (1) US7821552B2 (zh)
CN (1) CN1992910B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872034A (zh) * 2009-04-23 2010-10-27 阿尔卑斯电气株式会社 摄像元件单元
CN103379273A (zh) * 2012-04-17 2013-10-30 株式会社日立制作所 摄像装置
CN103515403A (zh) * 2012-06-14 2014-01-15 索尼公司 固态成像元件、固态成像元件的校正方法、快门装置和电子设备
CN104639923A (zh) * 2015-02-04 2015-05-20 华为技术有限公司 一种对图像数据进行处理的方法、装置和终端
CN105814887A (zh) * 2014-01-08 2016-07-27 三菱电机株式会社 图像生成装置
CN105988215A (zh) * 2015-02-15 2016-10-05 宁波舜宇光电信息有限公司 一种多光谱模组成像系统及其制造方法和应用
CN106537906A (zh) * 2014-07-15 2017-03-22 夏普株式会社 摄像装置和分析装置
CN107105977A (zh) * 2015-01-21 2017-08-29 奥林巴斯株式会社 内窥镜装置
US10236311B2 (en) 2014-10-20 2019-03-19 Sony Semiconductor Solutions Corporation Solid-state imaging element and electronic device to improve quality of an image
US10298856B2 (en) 2015-08-27 2019-05-21 Clarion Co. Ltd. Imaging device

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4984634B2 (ja) * 2005-07-21 2012-07-25 ソニー株式会社 物理情報取得方法および物理情報取得装置
JP4466569B2 (ja) * 2006-01-10 2010-05-26 株式会社豊田中央研究所 カラー画像再生装置
US7773136B2 (en) * 2006-08-28 2010-08-10 Sanyo Electric Co., Ltd. Image pickup apparatus and image pickup method for equalizing infrared components in each color component signal
JP4386096B2 (ja) * 2007-05-18 2009-12-16 ソニー株式会社 画像入力処理装置、および、その方法
KR101437849B1 (ko) 2007-11-21 2014-09-04 삼성전자주식회사 휴대 단말기 및 그의 촬영 모드 수행 방법
JP2009253579A (ja) * 2008-04-04 2009-10-29 Panasonic Corp 撮像装置、画像処理装置及び画像処理方法並びに画像処理プログラム
JP5168353B2 (ja) * 2008-04-30 2013-03-21 コニカミノルタアドバンストレイヤー株式会社 撮像装置及び撮像素子
JP5793688B2 (ja) * 2008-07-11 2015-10-14 パナソニックＩｐマネジメント株式会社 固体撮像装置
JP2010093472A (ja) * 2008-10-07 2010-04-22 Panasonic Corp 撮像装置および撮像装置用信号処理回路
JP2010098358A (ja) * 2008-10-14 2010-04-30 Panasonic Corp 撮像素子および撮像装置
US8462238B2 (en) * 2008-11-04 2013-06-11 Ecole Polytechnique Fëdërale de Lausanne (EPFL) Camera design for the simultaneous capture of near-infrared and visible images
US8643701B2 (en) 2009-11-18 2014-02-04 University Of Illinois At Urbana-Champaign System for executing 3D propagation for depth image-based rendering
US9735303B2 (en) 2010-03-25 2017-08-15 Nri R&D Patent Licensing, Llc Color imaging using color OLED or LED array as color light-field imaging sensor
US9628722B2 (en) 2010-03-30 2017-04-18 Personify, Inc. Systems and methods for embedding a foreground video into a background feed based on a control input
US8818028B2 (en) 2010-04-09 2014-08-26 Personify, Inc. Systems and methods for accurate user foreground video extraction
US9008457B2 (en) * 2010-05-31 2015-04-14 Pesonify, Inc. Systems and methods for illumination correction of an image
US8649592B2 (en) 2010-08-30 2014-02-11 University Of Illinois At Urbana-Champaign System for background subtraction with 3D camera
JP5538199B2 (ja) * 2010-12-09 2014-07-02 三星テクウィン株式会社 イメージセンサ用係数算出装置、及びイメージセンサ用係数算出方法
JP5979500B2 (ja) * 2011-04-07 2016-08-24 パナソニックＩｐマネジメント株式会社 立体撮像装置
KR20120114895A (ko) * 2011-04-08 2012-10-17 삼성전자주식회사 내시경 장치 및 상기 내시경 장치의 영상 획득 방법
US9013620B2 (en) * 2011-04-20 2015-04-21 Trw Automotive U.S. Llc Multiple band imager and method
CN102221339B (zh) * 2011-06-09 2012-09-05 首都师范大学 脉冲红外热波技术测厚方法
JP5910043B2 (ja) * 2011-12-02 2016-04-27 富士通株式会社 撮像装置、画像処理プログラム、画像処理方法、および画像処理装置
JPWO2014041866A1 (ja) * 2012-09-14 2016-08-18 シャープ株式会社 センサ、表示装置、制御プログラムおよび記録媒体
JP6076093B2 (ja) * 2013-01-08 2017-02-08 オリンパス株式会社 撮像装置
CN104937386B (zh) * 2013-03-29 2017-07-04 松下电器（美国）知识产权公司 推断装置、推断方法、集成电路以及程序
US20140307055A1 (en) 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
JP2014216734A (ja) * 2013-04-24 2014-11-17 日立マクセル株式会社 撮像装置及び撮像システム
JP6368115B2 (ja) 2013-05-10 2018-08-01 キヤノン株式会社 固体撮像装置およびカメラ
US20150062347A1 (en) * 2013-08-27 2015-03-05 Semiconductor Components Industries, Llc Image processing methods for visible and infrared imaging
US9485439B2 (en) 2013-12-03 2016-11-01 Sensors Unlimited, Inc. Shortwave infrared camera with bandwidth restriction
US10051211B2 (en) * 2013-12-05 2018-08-14 Omnivision Technologies, Inc. Image sensors for capturing both visible light images and infrared light images, and associated systems and methods
US9774548B2 (en) 2013-12-18 2017-09-26 Personify, Inc. Integrating user personas with chat sessions
US9386303B2 (en) 2013-12-31 2016-07-05 Personify, Inc. Transmitting video and sharing content via a network using multiple encoding techniques
US9414016B2 (en) 2013-12-31 2016-08-09 Personify, Inc. System and methods for persona identification using combined probability maps
US9485433B2 (en) 2013-12-31 2016-11-01 Personify, Inc. Systems and methods for iterative adjustment of video-capture settings based on identified persona
US9674493B2 (en) * 2014-03-24 2017-06-06 Omnivision Technologies, Inc. Color image sensor with metal mesh to detect infrared light
JP6336337B2 (ja) * 2014-06-16 2018-06-06 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP2016004133A (ja) * 2014-06-16 2016-01-12 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP6541324B2 (ja) * 2014-10-17 2019-07-10 キヤノン株式会社 固体撮像装置及びその駆動方法、並びに、撮像システム
US9671931B2 (en) * 2015-01-04 2017-06-06 Personify, Inc. Methods and systems for visually deemphasizing a displayed persona
US9916668B2 (en) 2015-05-19 2018-03-13 Personify, Inc. Methods and systems for identifying background in video data using geometric primitives
US9563962B2 (en) 2015-05-19 2017-02-07 Personify, Inc. Methods and systems for assigning pixels distance-cost values using a flood fill technique
US10244224B2 (en) 2015-05-26 2019-03-26 Personify, Inc. Methods and systems for classifying pixels as foreground using both short-range depth data and long-range depth data
US9607397B2 (en) 2015-09-01 2017-03-28 Personify, Inc. Methods and systems for generating a user-hair-color model
US10412280B2 (en) 2016-02-10 2019-09-10 Microsoft Technology Licensing, Llc Camera with light valve over sensor array
US9883155B2 (en) 2016-06-14 2018-01-30 Personify, Inc. Methods and systems for combining foreground video and background video using chromatic matching
US10863115B2 (en) * 2016-06-24 2020-12-08 Nec Corporation Generation of visible and near-infrared images based on estimated incident light spectral characteristics and image capturing device spectral sensitivity characteristics
US10574909B2 (en) 2016-08-08 2020-02-25 Microsoft Technology Licensing, Llc Hybrid imaging sensor for structured light object capture
CN106375740B (zh) * 2016-09-28 2018-02-06 华为技术有限公司 生成rgb图像的方法、装置和系统
US10701244B2 (en) * 2016-09-30 2020-06-30 Microsoft Technology Licensing, Llc Recolorization of infrared image streams
US9881207B1 (en) 2016-10-25 2018-01-30 Personify, Inc. Methods and systems for real-time user extraction using deep learning networks
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities
WO2023107455A2 (en) * 2021-12-07 2023-06-15 The Invisible Pixel Inc. Uv system and methods for generating an alpha channel

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2737568B2 (ja) 1992-09-22 1998-04-08 松下電器産業株式会社 カラー撮像装置
US6657663B2 (en) * 1998-05-06 2003-12-02 Intel Corporation Pre-subtracting architecture for enabling multiple spectrum image sensing
JP4286123B2 (ja) * 2003-12-22 2009-06-24 三洋電機株式会社 カラー撮像素子およびカラー信号処理回路
JP3966868B2 (ja) 2004-05-10 2007-08-29 三菱電機株式会社 撮像装置、カメラ、及び信号処理方法
JP4011039B2 (ja) 2004-05-31 2007-11-21 三菱電機株式会社 撮像装置及び信号処理方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872034A (zh) * 2009-04-23 2010-10-27 阿尔卑斯电气株式会社 摄像元件单元
CN103379273A (zh) * 2012-04-17 2013-10-30 株式会社日立制作所 摄像装置
CN103515403A (zh) * 2012-06-14 2014-01-15 索尼公司 固态成像元件、固态成像元件的校正方法、快门装置和电子设备
CN103515403B (zh) * 2012-06-14 2018-01-19 索尼半导体解决方案公司 固态成像元件、固态成像元件的校正方法、快门装置和电子设备
CN105814887B (zh) * 2014-01-08 2017-10-27 三菱电机株式会社 图像生成装置
US9900485B2 (en) 2014-01-08 2018-02-20 Mitsubishi Electric Corporation Image generation device
CN105814887A (zh) * 2014-01-08 2016-07-27 三菱电机株式会社 图像生成装置
CN106537906A (zh) * 2014-07-15 2017-03-22 夏普株式会社 摄像装置和分析装置
CN106537906B (zh) * 2014-07-15 2019-03-29 夏普株式会社 摄像装置和分析装置
US10236311B2 (en) 2014-10-20 2019-03-19 Sony Semiconductor Solutions Corporation Solid-state imaging element and electronic device to improve quality of an image
CN107105977A (zh) * 2015-01-21 2017-08-29 奥林巴斯株式会社 内窥镜装置
CN107105977B (zh) * 2015-01-21 2019-02-12 奥林巴斯株式会社 内窥镜装置
CN104639923A (zh) * 2015-02-04 2015-05-20 华为技术有限公司 一种对图像数据进行处理的方法、装置和终端
CN105988215A (zh) * 2015-02-15 2016-10-05 宁波舜宇光电信息有限公司 一种多光谱模组成像系统及其制造方法和应用
US10298856B2 (en) 2015-08-27 2019-05-21 Clarion Co. Ltd. Imaging device

Also Published As

Publication number Publication date
CN1992910B (zh) 2011-09-28
US7821552B2 (en) 2010-10-26
US20070146512A1 (en) 2007-06-28

Similar Documents

Publication Publication Date Title
CN1992910A (zh) 备有在可见光和红外线区域具有灵敏度的摄像元件的摄像装置
JP4420917B2 (ja) 撮像装置
CN1941917A (zh) 成像装置及图像处理器
JP4877561B2 (ja) デジタル撮像システム用の自動カラーバランス方法および装置
CN1128540C (zh) 动态范围扩展的成像装置、摄像机及其方法
US20150062347A1 (en) Image processing methods for visible and infrared imaging
CN101068311A (zh) 摄像装置及其程序
RU2504108C2 (ru) Устройство для обработки изображения, способ обработки изображения и носитель записи
CN107534759B (zh) 摄像装置、摄像方法和计算机可读介质
CN1875638A (zh) 多谱图像捕捉装置
KR20080032251A (ko) 디지털 이미지에서 부적절하게 노출된 영역들의 보상
US20120026357A1 (en) Image input device
CN101057492A (zh) 摄像装置
CN1672403A (zh) 数字静态照相装置、摄像装置和信息终端装置
CN1856800A (zh) 数字图像处理链中用于调节色彩平衡的方法及系统、用于实现此方法的相应设备以及软件部件
JP2007202107A (ja) 撮像装置
JP2010161459A (ja) 赤外線照射式撮像装置
CN1754184A (zh) 成像设备、方法及其程序
US11159718B2 (en) Imaging method
JP2015053578A (ja) カラー撮像装置及びカラー撮像方法
JP2010063065A (ja) 画像入力装置
JP2004186879A (ja) 固体撮像装置及びデジタルカメラ
CN101051117A (zh) 一种校正透镜成像不均一性、提取透镜参数的方法及装置
JP4779536B2 (ja) 撮像装置
WO2019244691A1 (ja) 色補正装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110928

Termination date: 20121225