CN101309429A - 处理视频信号的设备和方法、成像设备和计算机程序 - Google Patents

处理视频信号的设备和方法、成像设备和计算机程序 Download PDF

Info

Publication number
CN101309429A
CN101309429A CNA2008100992552A CN200810099255A CN101309429A CN 101309429 A CN101309429 A CN 101309429A CN A2008100992552 A CNA2008100992552 A CN A2008100992552A CN 200810099255 A CN200810099255 A CN 200810099255A CN 101309429 A CN101309429 A CN 101309429A
Authority
CN
China
Prior art keywords
filter
infrared light
light
infrared
visible
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008100992552A
Other languages
English (en)
Other versions
CN101309429B (zh
Inventor
保坂肇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101309429A publication Critical patent/CN101309429A/zh
Application granted granted Critical
Publication of CN101309429B publication Critical patent/CN101309429B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Optical Filters (AREA)
  • Studio Devices (AREA)

Abstract

一种视频信号处理装置，包括图像传感器和红外成分移除器。图像传感器接收通过颜色滤光器的光，颜色滤光器只包括长通滤光器或者包括长通滤光器和全透射滤光器的组合。在颜色滤光器中的长通滤光器包括：允许可见光成分和红外光成分从其通过的可见光透射长通滤光器、以及选择性地允许红外光成分从其通过的红外光透射长通滤光器。红外光成分移除器应用可见光透射长通滤光器和红外光透射长通滤光器的红外光区中的透射率数据来移除在已通过可见光透射长通滤光器的信号中所包含的红外光成分。

Description

处理视频信号的设备和方法、成像设备和计算机程序
技术领域
本发明涉及图像处理设备、图像传感器、视频信号处理方法和计算机程序。更具体地，本发明涉及视频信号处理设备和每个都包含由长通(long-pass)滤光器的组合构成的颜色滤光器的图像传感器、以及视频信号处理方法和计算机程序。
背景技术
监控摄像机和商业视频摄像机典型地在白天自然光的可见光条件下摄取可见光图像。在夜晚，摄像机典型地响应于由红外光发射体(projector)发射的红外光束而摄取由物体反射的红外光的红外图像。当在自然光下进行图像摄取时，在摄像机上安装红外光阻断滤光器。当用红外光进行图像摄取时，移除红外光阻断滤光器。在日本未经审查的专利申请出版物No.2002-084451中公开了这样的摄像机。如果红外光阻断滤光器是机械拆除的，附连活动部分以将滤光器安装到摄像机1的光学系统上和卸下，这导致摄像机成本的增加。
在这样的滤光器切换系统中，摄像机进行操作以摄取红外光图像或可见光图像。摄像机不能同时摄取红外光图像和可见光图像。
日本未审查的专利申请出版物No.2004-056343揭示了通过红外光进行数据通信的系统。该系统响应于数据通信而接收闪烁的红外光并分析接收到的红外光。该系统包括用以接收红外光的图像传感器。如果这样的系统配备有可拆除的用于红外光的附连机构，则其不能同时接收红外光和可见光中的图像数据。
在图1A和1B中图示了广泛使用的颜色滤光器阵列。图1A图示了红(R)、绿(G)和蓝(B)的颜色滤光器阵列。图1B图示了作为亮度信号的白色(Y)与红(R)、绿(G)、蓝(B)的组合。在具有丰富的红外光光源的情况下，如果试图用具有这样的阵列的图像传感器并且不用红外光阻断滤光器来摄取图像，则能摄取到大量的红外光。因而会降低颜色再现和图像质量。
日本未审查专利申请出版物No.11-144031揭示了允许摄取每个红外光图像和可见光图像的系统。利用这个系统，使用红外光来识别背景。合并多个图像传感器以摄取系统中的每个红外光图像和可见光图像，从而导致成本增加。
在移除胶片划痕、肤色检测和噪声消减方面，同时获得红外光图像和典型地颜色再现特性极好的颜色图像是有用的。需要安装摄取红外光图像和颜色图像两者并处理红外光图像和颜色图像两者的机构。
在用于摄取和处理红外光图像和颜色图像两者的预期机构中，通过将红外光透射(transmission)像素加入到图1所示的现有颜色滤光器阵列的滤光器的图像处理来移除红外光成分。然而，不能将所有颜色成分中的红外光移除到足够的程度，即使在使用从得自红外光可透射滤光器的像素产生的信号时也是这样。这是因为，用作为颜色滤光器阵列的滤光器的滤光特性并不足够地近乎完美。
图像传感器中的像素的颜色滤光器阵列典型地是以下的组合：多个蓝、绿、青和深红的带通颜色滤光器的至少一个，以及红或黄的长通颜色滤光器。每个带通滤光器允许在预定的波长范围(波段)内的光通过。每个长通滤光器允许预定波长以上的光通过。参照图1讨论的颜色滤光器包括这样的带通滤光器和长通滤光器。理想情况下，每个带通滤光器只允许落在颜色再现所需要的预定波长范围内的光从其通过，而阻断波长大于或小于预定波长范围的剩余。
颜色滤光器阵列上的大多数的带通滤光器材料只在可见光波长范围内起着带通滤光器的作用。大多数的带通滤光器材料部分地允许红外光从其通过，由此，在红外光的范围内不能像在可见光范围中那样起着带通滤光器的作用。通过带通滤光器的红外光的透射特性依据每个带通滤光器的类型而改变。
在一个相关技术中，基于使用带通滤光器摄取到的信号来移除红外光成分。在此技术中，利用被加到颜色滤光器阵列的红外光透射像素来计算接收到的红外光。估计已通过每个带通滤光器的红外光的量，并基于估计的结果来移除红外光成分。
用于获得红外光透射像素的滤光器是长通滤光器，并且不管波长如何，在通带内的红外光中的滤光器的透射特性保持恒定。另一方面，每个带通滤光器的红外光透射特性依据每个带通滤光器而不同，其中这些带通滤光器允许蓝、绿、青和深红色的光选择性地通过。因此，难于使用从红外光透射像素中获得的单独的信号从具有不同的滤光特性的带通滤光器中准确地只移除红外光成分。不能获得摄取具有极好的颜色再现特性的颜色图像所需要的红外光移除性能。
发明内容
因此希望既能获取红外图像又能获取颜色图像，并产生与红外光成分无关的、具有极好颜色再现特性的颜色图像。
根据本发明的一个实施例，视一种频信号的处理装置包括图像传感器和红外成分移除器。图像传感器接收通过颜色滤光器的光。颜色滤光器只包括长通滤光器或者包括长通滤光器和全透射(all-transmissive)滤光器的组合。长通滤光器包括允许可见光成分和红外光成分通过的可见光透射长通滤光器以及选择地允许红外光成分通过的红外光透射长通滤光器。红外光成分移除器应用可见光透射长通滤光器和红外光透射长通滤光器的红外光区中的透射率数据来移除在已通过所述可见光透射长通滤光器的信号中所包含的红外光成分。
红外光成分移除器可以应用可见光透射长通滤光器和红外光透射长通滤光器的红外光区中的透射率数据，计算将已经通过可见光透射长通滤光器的信号中所包含的红外光成分降低到接近于零的参数。红外光成分移除器可以应用所计算的参数来产生作为可见光成分的颜色信号，该可见光成分是通过从已经通过所述可见光透射长通滤光器的信号中移除红外光成分而得到的。
形成颜色滤光器的每个可见光透射长通滤光器和红外光透射长通滤光器具有在红外光区中的基本恒定的透射率。
颜色滤光器可以包括：允许可见光区和红外光区中的光从其通过同时仅阻断紫外光成分的长通滤光器；允许等于或大于黄光波长的可见光区和红外光区中的光从其通过的长通滤光器；允许等于或大于红光波长的可见光区和红外光区中的光从其通过的长通滤光器；以及红外光透射长通滤光器，允许主要在红外光区中的光从其通过。
颜色滤光器可以包括：全透射滤光器，允许在可见光区和红外光区中的光从其通过；允许等于或大于黄光波长的可见光区和红外光区中的光从其通过的长通滤光器；允许等于或大于红光波长的可见光区和红外光区中的光从其通过的长通滤光器；红外光透射长通滤光器，允许主要在红外光区中的光从其通过。
该视频信号处理装置还可以包括去镶嵌(demosaic)处理器，用于对从图像传感器中输出的镶嵌图像进行去镶嵌(demosaicing)，其中，红外光成分移除器接收由去镶嵌处理器产生的去镶嵌数据，并生成用于每个像素的颜色信号，该颜色信号包含从中移除了红外光成分的可见光成分。
该视频信号处理装置还可以包括插入器，用于通过插入镶嵌图像来产生含有可见光成分和红外光成分的图像，其中从颜色滤光器中所包含的可见光透射长通滤光器的透射数据产生该镶嵌图像。
视频信号处理装置还可以包括解码器，用于通过解码镶嵌图像来产生红外光通信数据，其中从颜色滤光器中所包含的红外光透射长通滤光器的透射数据产生该镶嵌图像。
根据本发明的一个实施例，图像传感器接收通过颜色滤光器的光。颜色滤光器只包括长通滤光器或包括长通滤光器和全透射滤光器的组合。长通滤光器包括允许可见光成分和红外光成分通过的可见光透射长通滤光器以及选择地允许红外光成分通过的红外光透射长通滤光器。
形成颜色滤光器的每个可见光透射长通滤光器和红外光透射长通滤光器具有在红外光区中的基本恒定的透射率。
颜色滤光器可以包括：允许可见光区和红外光区中的光从其通过同时仅阻断紫外光成分的长通滤光器；允许等于或大于黄光波长的可见光区和红外光区中的光从其通过的长通滤光器；允许等于或大于红光波长的可见光区和红外光区中的光从其通过的长通滤光器；以及红外光透射长通滤光器，允许主要在红外光区中的光从其通过。
颜色滤光器可以包括：全透射滤光器，允许在可见光区和红外光区中的光从其通过；允许等于或大于黄光波长的可见光区和红外光区中的光从其通过的长通滤光器；允许等于或大于红光波长的可见光区和红外光区中的光从其通过的长通滤光器；红外光透射长通滤光器，允许主要在红外光区中的光从其通过。
根据本发明的一个实施例，视频信号处理装置的视频信号处理方法包括步骤：在图像传感器上接收通过颜色滤光器的光，所述颜色滤光器只包括长通滤光器或者包括长通滤光器和全透射滤光器的组合，所述颜色滤光器中的所述长通滤光器包括允许可见光成分和红外光成分从其通过的可见光透射长通滤光器、以及选择性地允许红外光成分从其通过的红外光透射长通滤光器；以及应用所述可见光透射长通滤光器和所述红外光透射长通滤光器的红外光区中的透射率数据来移除在已通过所述可见光透射长通滤光器的信号中所包含的红外光成分。
移除红外光成分的步骤可以包括：应用所述可见光透射长通滤光器和所述红外光透射长通滤光器的红外光区的透射率数据，计算将已经通过所述可见光透射长通滤光器的信号中所包含的红外光成分降低到接近于零的参数，以及应用所计算的参数来产生作为可见光成分的颜色信号，所述可见光成分是通过从已经通过所述可见光透射长通滤光器的信号中移除红外光成分而得到的。
根据本发明的一个实施例，用于使视频信号处理设备进行视频信号处理方法的计算机程序包括步骤：在图像传感器上接收通过颜色滤光器的光，所述颜色滤光器只包括长通滤光器或者包括长通滤光器和全透射滤光器的组合，所述颜色滤光器中的所述长通滤光器包括允许可见光成分和红外光成分从其通过的可见光透射长通滤光器、以及选择性地允许红外光成分从其通过的红外光透射长通滤光器；以及应用所述可见光透射长通滤光器和所述红外光透射长通滤光器的红外光区中的透射率数据来移除在已通过所述可见光透射长通滤光器的信号中所包含的红外光成分。
可以在记录介质和通信介质之一中来提供计算机程序。记录介质和通信介质的每个可以以计算机可读的形式向执行各种程序编码的通用计算机系统提供计算机程序。利用以计算机可读的形式提供的计算机程序，计算机系统执行响应于计算机程序的处理。
通过对本发明的实施例的下列描述和附图，上述和其它目的和优点将变得更为明显。字处理系统指的是一组多个装置，并且在每个装置中的元件并非都必须放置在同一个外壳之中。
在根据本发明的一个实施例的视频信号处理装置中，图像传感器接收通过颜色滤光器的光，该颜色滤光器只包括长通滤光器或者包括长通滤光器和全透射滤光器的组合。长通滤光器包括允许诸如RGB信号的可见光成分和红外光成分通过的可见光透射长通滤光器以及选择地允许红外光成分通过的红外光透射长通滤光器。视频信号处理装置应用可见光透射长通滤光器和红外光透射长通滤光器的红外光区中的透射率数据来移除在已通过所述可见光透射长通滤光器的信号中所包含的红外光成分。视频信号处理装置由此得到RGB视频信号。在红外光区中长通滤光器通常具有平坦的透射率(flattransmittance)。视频信号处理装置应用可见光透射长通滤光器和红外光透射长通滤光器的红外光区中的透射率数据，计算将已经通过可见光透射长通滤光器的信号中所包含的红外光成分降低到接近于零的参数。视频信号处理装置应用所计算的参数来产生包含从已经通过所述可见光透射长通滤光器的信号中移除红外光成分的可见光成分的颜色信号。这样，精确地移除了红外光成分并得到了高质量RGB图像。
附图说明
图1A和1B图示了典型颜色滤光器的颜色滤光器阵列；
图2图示了包含红外光透射长通滤光器的颜色滤光器阵列；
图3图示了红、绿、蓝光滤光器的分光特性；
图4图示了红外光(IR)透射滤光器的分光特性；
图5图示了通过计算已通过红外光可透射滤光器的红外光量来获得只由红外光成分组成的输出信号的信号处理电路；
图6图示了本发明的一个实施例的颜色滤光器的颜色滤光器阵列；
图7图示了图6的颜色滤光器阵列中所包括的四类长通滤光器的增益特性；
图8图示了用所得到的参数(系数)mr、mg和mb计算出的红、绿、蓝光束的透射率；
图9图示了根据本发明的一个实施例的成像设备的结构和处理；
图10图示了本发明的一个实施例的颜色滤光器的颜色滤光器阵列；以及
图11图示了本发明的一个实施例的颜色滤光器的颜色滤光器阵列。
具体实施方式
以下参照附图描述根据本发明的实施例的信息处理装置、图像传感器、图像处理方法和计算机程序。
根据本发明的一个实施例，信息处理装置包括诸如静止照相机和视频摄像机的成像设备。信息处理装置获取红外光图像和可见光图像，并产生具有极佳颜色再现特性的颜色图像。本发明的一个实施例的信息处理装置在图像传感器上接收通过颜色滤光器的光，该颜色滤光器包括允许波长大于特定的截止波长的光通过的多个长通滤光器的组合。然后，信息处理装置通过处理接收到的信号来产生高质量的可见光图像和红外光图像。更具体地说，信息处理装置使用由长通滤光器组成的颜色滤光器处理视频信号来产生红外光图像和可见光图像。
参照图2和其它图，在描述本发明的实施例之前，先描述应用广泛使用的颜色滤光器来摄取信号的信号处理。在此讨论在美国专利No.6211521中揭示的处理例子。图2图示了包括允许具有红(R)、绿(G)、蓝(L)光波长的每个的光从其通过的滤光器(RGB)和允许红外光从通过的滤光器(IR)的颜色滤光器。滤光器(IR)是R滤光器和B滤光器的组合。通过计算经过红外光可透射滤光器(IR)而接收到的红外光量来估计已经通过每个滤光器(R，G，B)的红外光量。基于估计的红外光量来移除红外光成分。
在图3中示出了图2的颜色滤光器中的滤光器(R，G，B)的分光特性。蓝[B：BLUE]滤光器和绿[G：GREEN]滤光器分别具有这样的带通滤光器特性：允许具有在蓝光和绿光波长中的预定波段的光通过，并进而部分地允许红外光区中的光(即波长等于或大于780nm)通过。在从大约700nm到大约800nm的波段中，[B：BLUE]滤光器和[G：GREEN]滤光器的透射特性基本上是不同的。
红[R：RED]代表截止频率约为600nm并在其截止区中出现波动(ripple)的长通滤光器的特性。红[R：RED]滤光器允许具有波长约为600nm或更长的光通过。蓝[B：BLUE]滤光器和绿[G：GREEN]滤光器是带通滤光器，而红[R：RED]滤光器是长通滤光器。如图2所示，增加了红外光可透射滤光器(IR)。
图4图示了红外光可透射滤光器(IR)的分光特性。红外光可透射滤光器(IR)包括红[R：RED]滤光器和蓝[B：BLUE]滤光器的组合，并且被看作是截止频率约为780nm并且波动出现在大约600nm上的长通滤光器。
从已通过具有四种不同滤光器特性的滤光器(R、G、B、IR)的光中获取仅由可见光成分构成的输出图像。为了得到该输出图像，进行信号处理以从已通过RGB滤光器的光中移除红外光成分。更具体地说，计算已通过红外光可透射滤光器(IR)的红外光量。将计算得到的红外光量估计为已通过滤光器(R，G，B)的红外光量。基于估计的红外光量来移除红外光成分。如图5所示，将已通过滤光器(R、G、B)的光束看作是具有相同的红外光量的光束，即R+IR，G+IR，B+IR。通过从可见光束中减去已通过红外光可透射滤光器(IR)的红外光量来进行信号处理。由此产生可见光成分。
根据下列等式(1)来进行信号处理计算工序：
r 820 - 1000 g 820 - 1000 b 820 - 1000 = R 820 - 1000 G 820 - 1000 B 820 - 1000 - IR 820 - 1000 k r k g k b = 0 → . . . . . ( 1 )
IR 820 - 1000 R 820 - 1000 G 820 - 1000 B 820 - 1000 = 0.95 0.95 0.95 0.95 . . . . . ( 2 )
k r k g k b = 1 1 1 . . . . . ( 3 )
根据等式(1)，从已通过滤光器(R、G、B)的光束中所包含的红外光成分中移除具有较长波长(820nm到1000nm)的红外光成分。
在等式(1)中，R820-1000代表已通过红[R：RED]滤光器的光的红外光成分(约为820nm-1000nm)，G820-1000代表已通过绿[G：GREEN]滤光器的光的红外光成分(约为820nm-1000nm)，B820-1000代表已通过蓝[B：BLUE]滤光器的光的红外光成分(约为820nm-1000nm)，并且IR820-1000代表已通过红外光[IR]滤光器的光的红外光成分(约为820nm-1000nm)。
从已通过滤光器(R、G、B)的光束中减去由通过红外光可透射滤光器而得到的成分乘以系数kr、kg、kb而得到的乘积。没有红外光成分(约为820nm到1000nm)的剩余成分就是r820-1000、g820-1000和b820-1000。计算用以将剩余成分减少到大约为零的系数kr、kg和kb。
可见光滤光器(R、G、B)及红外光滤光器(IR)的红外光成分(约为820nm到1000nm)的透射率都是0.95，如等式(2)所示：
IR820-1000＝0.95，
R820-1000＝0.95，
G820-1000＝0.95，并且
B820-1000＝0.95
等式(3)表示满足等式(1)的系数的条件：
kr＝1，
kg＝1，并且
kb＝1
上述的计算过程是作为红外光成分的长波长部分(落在大约820nm到1000nm的范围内)的移除工序来进行的。影响图像颜色再现的近红外光包含大约在680nm到820nm的范围内的深红到近红外光的光。具体地说，用在近红外光中具有高反射率的染料来染色如像衣服之类的物件。为了提高颜色再现特性，使用了截止频率大约为665nm的红外光阻断滤光器来阻断从深红到近红外区的波长相对较短的光。
除了大约为820nm到1000nm的范围之外，在具有相对较短波长(在大约750nm附近)的红外光成分中移除已通过每个滤光器(R，G，B)的红外光。为此，系数jr、jb和jg应当满足下列等式(4)：
r 820 - 1000 g 820 - 1000 b 820 - 1000 r 750 g 750 b 750 = R 820 - 1000 G 820 - 1000 B 820 - 1000 R 750 G 750 B 750 - IR 820 - 1000 j r IR 820 - 1000 j g IR 820 - 1000 j b IR 750 j r IR 750 j g IR 750 j b = 0 → . . . . ( 4 )
IR 820 - 1000 R 820 - 1000 G 820 - 1000 B 820 - 1000 IR 750 R 750 G 750 B 750 = 0.95 0.95 0.95 0.95 0.95 0.95 0.32 0.15 . . . . . ( 5 )
根据等式(4)，因此移除已通过滤光器(R，G，B)的光中所包含的红外光成分的长波部分(在大约820nm到1000nm的范围内)。
在等式(4)中，R820-1000代表已通过红[R：RED]滤光器的光的红外光成分(约为820nm-1000nm)，G820-1000代表已通过绿[G：GREEN]滤光器的光的红外光成分(约为820nm-1000nm)，B820-1000代表已通过蓝[B：BLUE]滤光器的光的红外光成分(约为820nm-1000nm)。R750代表已通过红[R：RED]滤光器的光的红外光成分(约为750nm)，G750已通过绿[G：GREEN]滤光器的光的红外光成分(约为750nm)，并且B750代表已通过蓝[B：BLUE]滤光器的光的红外光成分(约为750nm)。IR820-1000代表已通过红外光[IR]滤光器的光的红外光成分(约为820nm-1000nm)，并且IR750代表已通过红外光[IR]滤光器的光的红外光成分(约为750nm)。
从已通过滤光器(R、G、B)的光束中减去由通过红外光可透射滤光器(IR)所得到的成分乘以系数kr、kg、kb而得到的乘积。因此，没有红外光成分(约为820nm到1000nm)和红外光成分(约为750nm)的剩余成分是r820-1000、g820-1000、b820-1000和r750、g750、b750。计算用以将剩余成分减少到大约为零的系数kr、kg和kb。
等式(5)表示了可见光滤光器(R、G、B)和红外光滤光器(IR)的红外光成分(约为820nm到1000nm)的透射率：
IR820-1000＝0.95，
R820-1000＝0.95，
G820-1000＝0.95，
B820-1000＝0.95，
IR750＝0.95，
R750＝0.95，
G750＝0.32，和
B750＝0.15
在等式(4)中，第一行和第四行，即(r820-1000)＝(R820-1000)-((IR820-1000)jr)以及(r750)＝(R750)-((IR750)jr)是线性相关的，而其余的等式是线性无关的。有五个具有三个未知数的线性相关等式。不能够求得满足等式(4)的系数jr、jg和jb。
这意味着，在减法中所选择的系数的任何组合不能移除在每个RGB频道中约为820nm到1000nm的波段中的红外光以及在约为750nm处的红外光。
要移除的红外光成分并不限于这些成分。在图3的图示滤光器(R，G，B)的透射率的曲线图中，在680nm到820nm的波段中，透射率从波长到波长而不同。移除不同于上述的那些波长的红外光就转化为带有不变的未知数数量的线性无关等式的数量的增加。仅基于关于已通过红外滤光器(IR)的光的信息，不能准确地计算出通过滤光器(R、G、B)的红外光成分。
如先前参照图4所述，红外滤光器(IR)是长通滤光器，它允许波长等于或大于780nm的光通过，在此通带中的红外光的透射特性与波长无关，并基本保持恒定(大约为0.95)。如先前参照图3所述，蓝[B：BLUE]滤光器和绿[G：GREEN]滤光器是带通滤光器，它们每个都允许在蓝和绿的各个波段中的光通过。不仅是蓝光和绿光的滤光器，而且青色光和深红色光的滤光器典型地是选择性地允许一个或多个颜色光束通过的带通滤光器。这些带通滤光器的红外光透射特性是不相同的。
基于由单个红外光可透射像素获得的信号难于准确地从已通过具有不同特性的带通滤光器的光中仅移除红外光成分。不能从由带通滤光器和红外滤光器(IR)的组合而得到的数据移除精确的红外光成分。
本发明解决了上面的问题。不使用仅允许预定波段中的光通过的带通滤光器作为颜色滤光器。使用只包括长通滤光器或包括长通滤光器与全透射滤光器的组合的颜色滤光器来形成图像传感器的颜色滤光器阵列。
由具有颜色滤光器阵列的成像设备进行的信号处理从已通过每个长通滤光器的光中准确移除了红外光成分，从而得到具有极佳颜色再现特性的颜色图像。
长通滤光器阻断波长小于预定截止波长的光，并允许波长大于预定截止波长的光通过。无论滤光器类型如何，红外光的透射特性基本上保持与波长一致。通过对所得到信号的线性计算，可以容易地移除红外光成分。通过从由已通过红光滤光器和红外光滤光器两者的像素获得的信号中减去从已通过只透过红外光的滤光器的像素获得的信号来合成仅允许红光通过的带通特性。
图6图示了本发明一个实施例的颜色滤光器阵列。图6的颜色滤光器阵列有如下结构：
紫外光阻断滤光器(ALL)：只阻断截止波长大约为380nm的紫外光(波长小于380nm)并允许波长大约为380nm或更长的光通过的长通滤光器；
黄光滤光器(Ye+IR)：截止波长约为500nm、允许波长大约为500nm或更长的光通过的长通滤光器；
红光滤光器(R+IR)：截止波长约为580nm、允许波长大约为580nm或更长的光通过的长通滤光器；以及
红外光可透射滤光器(IR)：截止波长约为660nm、允许波长大约为660nm或更长而的光通过的长通滤光器。
图6的颜色滤光器阵列包括四种不同类型的长通滤光器。紫外光阻断滤光器(ALL)、黄光滤光器(Ye+IR)和红光滤光器是允许可见光成分和红外光成分通过的可见光可透射长通滤光器。红外光可透射滤光器(IR)是选择性地允许红外光成分通过的长通滤光器。根据本发明的一个实施例，所用的颜色滤光器只包括长通滤光器或只包括长通滤光器和全透射滤光器的组合。
图6的颜色滤光器阵列包括十六个像素。更具体地说，图6的颜色滤光器阵列包括排列用于以方格样式排列的紫外光阻断滤光器(ALL)的八个像素、用于每隔两行和每隔两列排列的黄光滤光器(Ye+IR)的四个像素、用于红光滤光器(R+IR)的两个像素和用于红外光可透射滤光器(IR)的两个像素。
图7图示了图6的颜色滤光器阵列中所包含的四类长通滤光器的增益特性。在图7的曲线中，纵坐标代表透射率(％)，并且横坐标代表波长(nm)。紫外光阻断滤光器(ALL)、黄光滤光器(Ye+IR)和红光滤光器(R+IR)中的每个都是允许波长大于其截止波长的光通过的长通滤光器，并且所有的滤光器都允许红外光通过。
紫外光阻断滤光器(ALL)的截止波长大约为380nm，并且其透射率基本上在大约350nm到大约400nm之间变化。紫外光阻断滤光器(ALL)通常阻断波长短于大约350nm的光，并且通常允许波长大于大约400nm的光通过。红外光透射率L680-1000通常是大约0.95的恒定值。
类似地，黄光滤光器(Ye+IR)的截止波长大约为500nm，并且其透射率基本上在大约480nm到大约520nm之间变化。黄光滤光器(Ye+IR)通常阻断波长短于大约480nm的光，并且通常允许波长大于大约520nm的光通过。红外光透射率Y680-1000通常是大约0.98的恒定值。
红光滤光器(R+IR)的截止波长大约为580nm，并且其透射率基本上在大约560nm到大约600nm之间变化。红光滤光器(R+IR)通常阻断波长短于大约560nm的光，并且通常允许波长大于大约600nm的光通过。红外光透射率R680-1000通常是大约0.96的恒定值。
红外光可透射滤光器(IR)的截止波长大约为660nm。红外光可透射滤光器(IR)通常阻断波长短于大约640nm的光，并且通常允许波长大于大约680nm的光通过。红外光透射率IR680-1000通常是大约0.97的恒定值。
图7所示的四种长通滤光器的增益特性示出，每个滤光器的透射率通常落在0.95-0.98的范围内，并且在全部红外光范围内，即波长大于680nm左右的范围内没有大的改变。
根据本发明的一个实施例，基于长通滤光器的特性，从四种分光滤光器中获取信号，并根据所得到的信号进行移除从大约680nm到大约1000nm的范围内的红外光的移除处理。由此得到准确的三色信号。
图6所示的四种类型的长通滤光器包括紫外光阻断滤光器(ALL)、黄光滤光器(Ye+IR)、红光滤光器(R+IR)和红外光滤光器(IR)。
根据等式(6)从通过这些滤光器的四种信号来确定用于移除红外光成分(大约680nm到大约1000nm)的红外光的参数(系数)mr、mg、mb：
r 680 - 1000 g 680 - 1000 b 680 - 1000 = R 680 - 1000 Y 680 - 1000 L 680 - 1000 - IR 680 - 1000 m r R 680 - 1000 m g Y 680 - 1000 m b = 0 → . . . . . ( 6 )
IR 680 - 1000 R 680 - 1000 Y 680 - 1000 L 680 - 1000 = 0.97 0.96 0.98 0.95 . . . . . ( 7 )
m r m g m b = 0.96 / 0.97 0.98 / 0.96 0.95 / 0.98 . . . . . ( 8 )
r g b = R Y L - IR · m r R · m g Y · m b . . . . . ( 9 )
在等式(6)中，R680-1000代表在已通过红光长通滤光器(R+IR)的光中的红外光成分(约为680nm到1000nm)；Y680-1000代表在已通过黄光长通滤光器(Ye+IR)的光中的红外光成分(约为680nm到1000nm)；L680-1000代表在已通过全透射长通滤光器(ALL)的光中的红外光成分(约为680nm到1000nm)；并且IR680-1000代表在已通过红外光透射长通滤光器(IR)的光中的红外光成分(约为680nm到1000nm)。
从已通过长通滤光器(R+IR，Ye+IR，ALL)的光束中减去由通过长通滤光器而得到的成分乘以系数mr，mg，mb而得到的乘积。因此，没有红外光成分(约为680nm-1000nm)的剩余成分是r680-1000，g680-1000和b680-1000。计算用于将剩余成分减少到大约为零的系数mr、mg和mb。
如同前面参照图7所述，在等式(7)中示出了每个允许可见光成分通过的长通滤光器(R+IR，Ye+IR，ALL)和红外光滤光器(IR)的红外光成分(约为680nm-1000nm)的透射率：
IR680-1000＝0.97，
R680-1000＝0.96，
G680-1000＝0.98，和
B680-1000＝0.95，
由等式(8)表示满足等式(6)的系数mr、mg和mb的条件：
mr＝0.96/0.97
mg＝0.98/0.96，和
mb＝0.95/0.98
在等式(9)中替换等式(8)的参数值，通过图像处理来确定r、g和b的分光透射率。
通过从红光长通滤滤光器(R+IR)的输出中减去由参数mr乘以红外光可透射滤光器(IR)的输出而得到的乘积来确定红(r)。通过从黄光长通滤光器(Ye+IR)的输出中减去由参数mg乘以红外光可透射滤光器(IR)的输出而得到的乘积来确定绿(g)。通过从全透射长通滤光器(ALL)的输出中减去由参数mb乘以红外光可透射滤光器(IR)的输出而得到的乘积来确定蓝(b)。具体地，
红(r)＝(R+IR)-(IR×mr)
绿(g)＝(Ye+IR)-(IR×mg)
蓝(b)＝(ALL)-(IR×mb)
参数(系数)是：
mr＝0.96/0.97
mg＝0.98/0.96，和
mb＝0.95/0.98
图8图示了通过用因此计算出的参数mr、mg和mb来计算等式(9)而得到的r、g和b的透射率。如图8所示，r、g和b代表在与红(r)、绿(g)和蓝(b)相应的特定的波长段中的光成分。因此可以提取没有冗余波长成分的光成分。
图9的成像设备100应用由上述的长通滤光器组成的颜色滤光器来进行图像摄取处理，并进行移除红外光成分的信号移除处理。
成像设备100包括图像传感器111以及参照图6和图7所讨论的四种长通滤光器，即紫外阻断滤光器(ALL)、黄光滤光器(Ye+IR)、红光滤光器(R+IR)和红外光可透射滤光器(IR)。
输入由图像传感器111摄取的图像，作为与参照图6所讨论的颜色滤光器阵列相应的镶嵌(masaic)图像121。在镶嵌图像121中，为每个像素分配四种信号(ALL、Ye+IR、R+IR和IR)中的一个。去镶嵌处理器122进行镶嵌处理，即将信号(ALL、Ye+IR、R+IR和IR)之一分配给每个像素。例如，使用ALL像素的高分辨率信号基于每种颜色进行插入处理以调整所有像素。
红外成分移除器123根据前面讨论的等式(6)-(9)来计算红外光移除参数mr、mg和mb。红外成分移除器123根据具有计算出的参数mr、mg和mb的等式(9)通过提取r、g和b信号成分来进行红外光成分移除处理。
红外成分移除器123通过应用可见光可透射长通滤光器和红外光可透射长通滤光器的红外光区中的透射率数据来移除经由可见光可透射长通滤光器而得到的信号中所包含的红外光成分。更具体地，如参照等式(6)-(9)所述，红外成分移除器123使用可见光可透射长通滤光器和红外光可透射长通滤光器的红外光区中的透射率数据来计算参数(mr、mg和mb)，这些参数经由可见光可透射长通滤光器而得到的信号中所包含的红外光成分减少到接近于零。应用所计算出的参数，红外成分移除器123然后产生由与经由可见光可透射长通滤光器而得到的信号中所包含的红外光成分无关的可见光成分组成的颜色信号。
噪声降低器124进行噪声降低处理。例如，噪声降低器124基于ALL图像进行诸如边缘保存处理的噪声降低处理。由此得到了RGB图像201。由噪声降低器124进行的噪声降低处理可以是在ACM，SIGGRAPH 2004年23卷第3期664-672页上George Petchnigg、Maneesh Agarawala、Hughes Hoppe、Richard Szzeliski、Michel Cohen和Kentaro Toyama的题为“DigitalPhotography with Flash and No-Flash Image Pairs”的论文中揭示的一种。更具体地，在此论文中所定义的接合双向滤光器可用在噪声降低处理中。
如在此论文中所公开的，具有适当颜色但处于高噪声级别的非闪光图像作为第一输入，并且颜色与用户所期望的不同但处于低噪声级别的闪光图像作为第二输入。因此，在噪声降低处理中，组合双向滤光器得到了噪声降低结果ANR。如果在本发明的一个实施例中使用此接合双向滤光器，则将由于移除红外光成分而得到的高噪声RGB图像用作第一输入，并将包含红外光成分并且由于信号级别高而处于低噪声级别的低噪声ALL图像用作第二输入。因此得到了噪声降低的图像。
如参照图8所述，RGB图像201是高质量的RGB信号，它含有从其中移除了红外光成分的较多的红(r)绿(g)蓝(b)信号成分。
如先前参照图6和图7所述，用于图像传感器111的滤光器是允许所有像素上的红外光成分通过的长通滤光器。在自然的红外光下进行图像摄取时，或者在用发射红外光的红外光发射体101进行图像摄取时，因此用在所有像素上接收到的红外光成分来摄取每个图像。因此输出得到的图像作为红外光图像202。
用于图像传感器111的图6的滤光器包括只阻断紫外光的紫外光阻断滤光器(ALL)。只提取全镶嵌图像131，然后由插入处理器132对其插入。由此产生所有像素的ALL信号。因此生成了具有包含红外光在内的所有波长的全(可见光和红外光)图像203。
用于图像传感器111的图6的滤光器包括红外光可透射滤光器(IR)。只提取IR镶嵌图像141。解码器142根据预定的算法解码所提取的IR镶嵌图像141以产生通信数据204。在此情况下，成像设备100起着用于红外光通信的接收装置的作用。只用ALL图像和IR图像，就能够在布置(未示出)中产生从中移除了红外光的黑白图像。
例如，在夜间，红外光发射体101可帮助摄取监控摄像机上的红外光图像。如果低水平的可见光亮度可用，则可以结合使用自然的红外光和红外光发射体101的亮度，以提高镶嵌准确水平或达到降低噪声的效果。如果可见光亮度水平极低，则可以单独或者与颜色图像一起输出黑白图像或ALL图像。
已经讨论了由长通滤光器组成的图6的颜色滤光器。除了图6的阵列外还可用各种阵列。例如，在图6的例子中，使用了紫外光阻断滤光器(ALL)。可以用不阻断紫外光的全波透射滤光器代替紫外光阻断滤光器来进行与上述相同的处理。
如图10所示，即使Ye+IR像素和ALL像素可以彼此互换，但是，该器件的优点保持不变，仅仅在去镶嵌算法中的一个细节部分变得有所不同。在图10的颜色滤光器阵列中，十六个像素(4×4)的编排是，4个像素用于紫外光阻断或全波透射滤光器(ALL)，8个像素用于黄光滤光器(Ye+IR)，2个像素用于红光滤光器(R+IR)，2个像素用于红外光透射滤光器(IR)。
可以从ALL信号中获取所有的r、g和b信号，并且，由于Ye＝g+r，因此可从许多像素中得到关于绿(g)的精确数据。利用这个阵列，能够提高绿(g)的分辨率。
如果如图11所示改变像素的比率，就可得到相同的优点。在图11的颜色滤光器阵列中，十六个(4×4)像素的编排是，4个像素用于紫外光阻断或全波透射滤光器(ALL)，4个像素用于黄光滤光器(Ye+IR)，4个像素用于红光滤光器(R+IR)，4个像素用于红外光透射滤光器(IR)。
利用此颜色滤光器阵列，可以获得用于所有的r、g和b成分的大致一致的数据，并将颜色r、g和b的分辨率设置为基本一致。
在上述的每个实施例中，用等式(6)-(9)来计算从中移除了红外光成分的RGB成分。相同的处理也适用于获取关于青和黄的颜色信息。也可以使用在其通带及截止波段中具有小波动的长通滤光器。在此情况下，波动的影响会引起误差，但是，由于透射率中的小波动而引起的误差通常小到可以忽略。因此，这样的滤光器提供了基本相同的优点。
利用根据本发明的实施例的成像设备和图像处理方法，颜色滤光器包括允许红外光通过的多个不同的长通滤光器。基于在红外光范围内提供基本一致的透射率长通滤光器的特性，准确地移除红外光成分。从而得到了具有极佳颜色再现特性的高质量颜色图像。
以下列出本发明实施例的优点。
图像传感器用仅由长通滤光器的像素组成的颜色滤光器阵列或由长通滤光器的像素和完全没有滤光器的像素组成的颜色滤光器阵列来进行操作。因此，在全部RGB频段中，红外光成分的透射率特性基本上彼此相等或相似。无需使用外部的红外光阻断滤光器，也能通过成像处理准确地移除红外光成分。
通过成像处理来移除进入成像传感器的红外光成分。图像传感器因此提供含有红外光的图像和不含红外光成分并有极好颜色再现特性的颜色图像。进行诸如使用实时发射的红外光来进行光通信的另外功能，并同时提供具有极佳颜色再现特性的颜色图像。
使用含有红外光成分的高信噪比(S/N)信号来进行提高分辨率的镶嵌处理。提高了在镶嵌处理中的边缘方向检测(edge direction detection)的准确度。结果，提高了在插入无效像素的插入处理中的插入方向的准确性。通过在镶嵌处理之后进行的红外光移除处理，实现了插入方向的准确性的提高，同时保持了颜色再现特性。
使用含有红外光成分的高S/N信号对图像进行噪声降低处理。由此提高了用于降低噪声的边缘检测准确度。结果，以使得边缘保存滤光器中的边界不受噪声干扰的方式来进行噪声降低。在噪声降低处理之前或之后进行红外光成分移除处理。可以同时实现极佳的颜色再现特性和有效的噪声降低。
通过图9的红外光成分移除器123的图像处理来进行移除进入图像传感器的红外光成分的功能。可以电子切换是否执行红外成分移除器123的图像处理。例如，如果在监控设备上切换在白天和夜晚之间的红外光的使用，则不需要红外光阻断滤光器的机械切换。停用和启用红外光阻断滤光器的机构成为不必要的，从而导致成本的降低。由于在这样的机械部分上没有磨损发生，因此图像传感器保持坚固耐用。
在图像处理中移除进入图像传感器的红外光成分。在使用红外光发射体和红外闪光灯之一的应用中，移除了来自红外光发射体和红外光闪光灯之一的光束中的光的不均匀性。
图6、10和11的颜色滤光器阵列包含允许所有的RGB波长通过的ALL像素、以及接收R和G光的多个Ye像素。例如，这样的颜色滤光器阵列包含以方格样式排列的ALL像素或Y像素。由于获得了多得多的信息，因而得到高分辨率图像。
可以使用硬件、软件或二者的组合来执行上述的处理步骤。如果使用软件来执行处理步骤，就可以将处理步骤的处理顺序的计算机程序安装在建于专用硬件中的计算机内的存储器上，或者安装在进行各种处理的通用计算机上。可将计算机程序预先记录在记录介质上。然后，可以将计算机程序安装到计算机上。可以通过诸如局域网(LAN)或因特网之类的网络来接收计算机程序，然后将其安装在计算机中的诸如硬盘之类的记录介质上。
可以按照上述的时序顺序来执行处理步骤。可替换地，如有必要，可以并行地或分别地、或者根据每个装置的处理量来执行这些处理步骤。在此说明书中的字系统是指多个装置的逻辑组合，并且一个设备的部件并非必须安装在该设备的相同外壳中。
本领域技术人员应当理解，只要在所附权利要求或其等效物的范围内，可以根据设计要求和其它因素来进行各种更改、组合和次级组合。
相关申请的交叉引用
本发明包含与2007年5月15日在日本专利局提交的日本专利申请JP2007-128735有关的主题，通过引用将其全部内容合并于此。

Claims (15)

1.一种视频信号处理装置，包括：
图像传感器和红外成分移除器，
所述图像传感器接收通过颜色滤光器的光，所述颜色滤光器只包括长通滤光器或者包括长通滤光器和全透射滤光器的组合，所述长通滤光器包括：允许可见光成分和红外光成分从其通过的可见光透射长通滤光器、以及选择性地允许红外光成分从其通过的红外光透射长通滤光器，以及
所述红外光成分移除器应用所述可见光透射长通滤光器和所述红外光透射长通滤光器的红外光区中的透射率数据来移除在已通过所述可见光透射长通滤光器的信号中所包含的红外光成分。
2.根据权利要求1所述的视频信号处理装置，其中，所述红外光成分移除器应用所述可见光透射长通滤光器和所述红外光透射长通滤光器的红外光区中的透射率数据，计算将已经通过所述可见光透射长通滤光器的信号中所包含的红外光成分降低到接近于零的参数，以及
应用所计算的参数来产生作为可见光成分的颜色信号，所述可见光成分是通过从已经通过所述可见光透射长通滤光器的信号中移除红外光成分而得到的。
3.根据权利要求1所述的视频信号处理装置，其中，形成颜色滤光器的每个所述可见光透射长通滤光器和红外光透射长通滤光器具有在红外光区中的基本恒定的透射率。
4.根据权利要求1所述的视频信号处理装置，其中，所述颜色滤光器包括：
允许可见光区和红外光区中的光从其通过同时仅阻断紫外光成分的长通滤光器；
允许等于或大于黄光波长的可见光区和红外光区中的光从其通过的长通滤光器；
允许等于或大于红光波长的可见光区和红外光区中的光从其通过的长通滤光器；以及
红外光透射长通滤光器，允许主要在红外光区中的光从其通过。
5.根据权利要求1所述的视频信号处理装置，其中，所述颜色滤光器包括：
全透射滤光器，允许在可见光区和红外光区中的光从其通过；
允许等于或大于黄光波长的可见光区和红外光区中的光从其通过的长通滤光器；
允许等于或大于红光波长的可见光区和红外光区中的光从其通过的长通滤光器；
红外光透射长通滤光器，允许主要在红外光区中的光从其通过。
6.根据权利要求1所述的视频信号处理装置，还包括去镶嵌处理器，用于对从所述图像传感器中输出的镶嵌图像进行去镶嵌，
其中，所述红外光成分移除器接收由所述去镶嵌处理器产生的去镶嵌数据，并生成用于每个像素的颜色信号，该颜色信号包含从中移除了红外光成分的可见光成分。
7.根据权利要求1所述的视频信号处理装置，还包括插入器，用于通过插入镶嵌图像来产生包含可见光成分和红外光成分的图像，其中从所述颜色滤光器中所包含的可见光透射长通滤光器的透射数据产生所述镶嵌图像。
8.根据权利要求1所述的视频信号处理装置，还包括解码器，用于通过解码镶嵌图像来产生红外光通信数据，其中从所述颜色滤光器中所包含的红外光透射长通滤光器的透射数据产生所述镶嵌图像。
9.一种用于接收通过颜色滤光器的光的图像传感器，所述颜色滤光器只包括长通滤光器或者包括长通滤光器和全透射滤光器的组合，所述长通滤光器包括：允许可见光成分和红外光成分从其通过的可见光透射长通滤光器、以及选择性地允许红外光成分从其通过的红外光透射长通滤光器。
10.根据权利要求9所述的图像传感器，其中，形成所述颜色滤光器的每个所述可见光透射长通滤光器和红外光透射长通滤光器具有在红外光区中的基本恒定的透射率。
11.根据权利要求9所述的图像传感器，其中，所述颜色滤光器包括：
允许可见光区和红外光区中的光从其通过同时仅阻断紫外光成分的长通滤光器；
允许等于或大于黄光波长的可见光区和红外光区中的光从其通过的长通滤光器；
允许等于或大于红光波长的可见光区和红外光区中的光从其通过的长通滤光器；以及
红外光透射长通滤光器，允许主要在红外光区中的光从其通过。
12.根据权利要求9所述的图像传感器，其中，所述颜色滤光器包括：
全透射滤光器，允许在可见光区和红外光区中的光从其通过；
允许等于或大于黄光波长的可见光区和红外光区中的光从其通过的长通滤光器；
允许等于或大于红光波长的可见光区和红外光区中的光从其通过的长通滤光器；
红外光透射长通滤光器，允许主要在红外光区中的光从其通过。
13.一种视频信号处理装置的视频信号处理方法，包括步骤：
在图像传感器上接收通过颜色滤光器的光，所述颜色滤光器只包括长通滤光器或者包括长通滤光器和全透射滤光器的组合，所述颜色滤光器中的所述长通滤光器包括：允许可见光成分和红外光成分从其通过的可见光透射长通滤光器、以及选择性地允许红外光成分从其通过的红外光透射长通滤光器；以及
应用所述可见光透射长通滤光器和所述红外光透射长通滤光器的红外光区中的透射率数据来移除在已通过所述可见光透射长通滤光器的信号中所包含的红外光成分。
14.根据权利要求13所述的视频信号处理方法，其中，所述移除红外光成分的步骤包括：
应用所述可见光透射长通滤光器和所述红外光透射长通滤光器的红外光区的透射率数据，计算将已经通过所述可见光透射长通滤光器的信号中所包含的红外光成分降低到接近于零的参数，以及
应用所计算的参数来产生作为可见光成分的颜色信号，所述可见光成分是通过从已经通过所述可见光透射长通滤光器的信号中移除红外光成分而得到的。
15.一种用于使视频信号处理装置执行视频信号处理方法的计算机程序，包括步骤：
在图像传感器上接收通过颜色滤光器的光，所述颜色滤光器只包括长通滤光器或者包括长通滤光器和全透射滤光器的组合，所述颜色滤光器中的所述长通滤光器包括：允许可见光成分和红外光成分从其通过的可见光透射长通滤光器、以及选择性地允许红外光成分从其通过的红外光透射长通滤光器；以及
应用所述可见光透射长通滤光器和所述红外光透射长通滤光器的红外光区中的透射率数据，来移除在已通过所述可见光透射长通滤光器的信号中所包含的红外光成分。
CN2008100992552A 2007-05-15 2008-05-15 处理视频信号的设备和方法、成像设备 Expired - Fee Related CN101309429B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007128735A JP2008288629A (ja) 2007-05-15 2007-05-15 画像信号処理装置、撮像素子、および画像信号処理方法、並びにコンピュータ・プログラム
JP128735/07 2007-05-15

Publications (2)

Publication Number Publication Date
CN101309429A true CN101309429A (zh) 2008-11-19
CN101309429B CN101309429B (zh) 2011-05-25

Family

ID=39682734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008100992552A Expired - Fee Related CN101309429B (zh) 2007-05-15 2008-05-15 处理视频信号的设备和方法、成像设备

Country Status (5)

Country Link
US (1) US8138466B2 (zh)
EP (1) EP1992987B1 (zh)
JP (1) JP2008288629A (zh)
CN (1) CN101309429B (zh)
DE (1) DE602008001826D1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103814571A (zh) * 2011-09-26 2014-05-21 索尼公司 摄像装置及滤光器
CN104811614A (zh) * 2014-01-23 2015-07-29 罗伯特·博世有限公司 尤其用于车辆的摄像机系统以及用于求取时间脉冲信号源的图像信息的方法
CN104952890A (zh) * 2014-03-24 2015-09-30 全视科技有限公司 具有用以检测红外光的金属网格的彩色图像传感器
WO2015158210A1 (zh) * 2014-04-13 2015-10-22 比亚迪股份有限公司 图像传感器和监控系统
CN105230003A (zh) * 2013-04-15 2016-01-06 微软技术许可有限责任公司 从颜色和红外传感器中提取真实颜色
CN105988215A (zh) * 2015-02-15 2016-10-05 宁波舜宇光电信息有限公司 一种多光谱模组成像系统及其制造方法和应用
CN106210572A (zh) * 2014-12-01 2016-12-07 爱思开海力士有限公司 滤色器阵列、图像传感器以及红外数据获取方法
CN106412531A (zh) * 2015-08-12 2017-02-15 杭州海康威视数字技术股份有限公司 像素阵列构件、图像处理装置及摄像机
CN109196848A (zh) * 2016-05-19 2019-01-11 三菱电机株式会社 固态摄像装置及图像传感器
WO2020056567A1 (zh) * 2018-09-18 2020-03-26 浙江宇视科技有限公司 图像处理方法、装置、电子设备及可读存储介质
WO2020177400A1 (zh) * 2019-03-05 2020-09-10 西安工业大学 具有多功能窗口的全天时成像探测器及其制备方法
CN112504454A (zh) * 2020-11-25 2021-03-16 天津津航技术物理研究所 一种基于像素级光谱调制的超分辨光谱成像滤波器结构

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101475464B1 (ko) * 2008-05-09 2014-12-22 삼성전자 주식회사 적층형 이미지 센서
JP2010206678A (ja) * 2009-03-05 2010-09-16 Panasonic Corp 固体撮像装置、撮像モジュール、及び撮像システム
US8198578B2 (en) * 2009-06-23 2012-06-12 Nokia Corporation Color filters for sub-diffraction limit-sized light sensors
US8194149B2 (en) * 2009-06-30 2012-06-05 Cisco Technology, Inc. Infrared-aided depth estimation
JP2011029810A (ja) * 2009-07-23 2011-02-10 Sony Ericsson Mobile Communications Ab 撮像装置、撮像方法、撮像制御プログラム、及び携帯端末装置
US9735303B2 (en) * 2010-03-25 2017-08-15 Nri R&D Patent Licensing, Llc Color imaging using color OLED or LED array as color light-field imaging sensor
JP5507376B2 (ja) * 2010-07-28 2014-05-28 三洋電機株式会社 撮像装置
JP5655441B2 (ja) * 2010-09-02 2015-01-21 株式会社リコー 画像センサ及びこの画像センサを用いた撮像装置及びこの撮像装置を用いた車載用監視装置
US9200895B2 (en) 2010-11-16 2015-12-01 Konica Minolta, Inc. Image input device and image processing device
JP5879937B2 (ja) * 2011-11-02 2016-03-08 株式会社リコー 撮像ユニット
US9213883B2 (en) * 2012-01-10 2015-12-15 Samsung Electronics Co., Ltd. Method and apparatus for processing depth image
EP2624172A1 (en) * 2012-02-06 2013-08-07 STMicroelectronics (Rousset) SAS Presence detection device
JP5904825B2 (ja) * 2012-03-05 2016-04-20 本田技研工業株式会社 画像処理装置
WO2014041742A1 (ja) * 2012-09-14 2014-03-20 パナソニック株式会社 固体撮像装置及びカメラモジュール
JP2016012746A (ja) * 2012-11-07 2016-01-21 ソニー株式会社 信号処理装置、信号処理方法及び信号処理プログラム
US9692992B2 (en) * 2013-07-01 2017-06-27 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
US9667933B2 (en) * 2013-07-01 2017-05-30 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
JP6442710B2 (ja) * 2013-07-23 2018-12-26 パナソニックＩｐマネジメント株式会社 固体撮像装置、撮像装置及びその駆動方法
US10136107B2 (en) * 2013-11-21 2018-11-20 Semiconductor Components Industries, Llc Imaging systems with visible light sensitive pixels and infrared light sensitive pixels
JP6404923B2 (ja) * 2014-06-24 2018-10-17 マクセル株式会社 撮像センサおよび撮像装置
JP2016102733A (ja) * 2014-11-28 2016-06-02 株式会社東芝 レンズ及び撮影装置
US10148919B2 (en) * 2015-10-15 2018-12-04 Visera Technologies Company Limited Image sensor having yellow filter units
GB201605142D0 (en) 2016-03-25 2016-05-11 Purelifi Ltd A camera system
WO2017188956A1 (en) * 2016-04-28 2017-11-02 Hewlett-Packard Development Company, L.P. Image-capture devices having a diffractive grating array
US10209439B2 (en) * 2016-06-22 2019-02-19 Raytheon Company Multi-directional optical receiver and method
US10275855B2 (en) 2017-01-11 2019-04-30 Microsoft Technology Licensing, Llc Image demosaicing for hybrid optical sensor arrays
US10339631B2 (en) 2017-01-11 2019-07-02 Microsoft Technology Licensing, Llc Image demosaicing for hybrid optical sensor arrays
US11483451B2 (en) * 2018-11-27 2022-10-25 Google Llc Methods and systems for colorizing infrared images
JP7351124B2 (ja) * 2019-07-16 2023-09-27 株式会社リコー 画像処理装置、画像処理方法およびプログラム
WO2021187076A1 (ja) * 2020-03-16 2021-09-23 ソニーセミコンダクタソリューションズ株式会社 撮像素子及び電子機器
CN114095672A (zh) * 2020-07-31 2022-02-25 北京小米移动软件有限公司 成像系统、方法及电子设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6292212B1 (en) * 1994-12-23 2001-09-18 Eastman Kodak Company Electronic color infrared camera
JPH1118033A (ja) * 1997-06-19 1999-01-22 Casio Comput Co Ltd デジタルカメラ、画像処理システム及び記憶媒体
JPH11144031A (ja) * 1997-11-06 1999-05-28 Fuji Xerox Co Ltd 画像読取装置
US6211521B1 (en) * 1998-03-13 2001-04-03 Intel Corporation Infrared pixel sensor and infrared signal correction
US6657663B2 (en) * 1998-05-06 2003-12-02 Intel Corporation Pre-subtracting architecture for enabling multiple spectrum image sensing
JP2002084451A (ja) * 2000-09-11 2002-03-22 Minolta Co Ltd デジタル撮像装置、画像処理システム、記録媒体、およびデジタル撮像方法
FR2828055B1 (fr) * 2001-07-27 2003-11-28 Thomson Licensing Sa Procede et dispositif de codage d'une mosaique d'images
JP2003046707A (ja) * 2001-07-31 2003-02-14 Canon Inc 撮像装置、情報処理装置およびそれらの制御方法、画像処理装置およびその方法、並びに、画像処理システム
JP4288904B2 (ja) * 2002-07-18 2009-07-01 ソニー株式会社 データ通信システム、データ送信装置及び方法、並びにデータ受信装置及び方法
JP4311988B2 (ja) * 2003-06-12 2009-08-12 アキュートロジック株式会社 固体撮像素子用カラーフィルタおよびこれを用いたカラー撮像装置
JP3966868B2 (ja) * 2004-05-10 2007-08-29 三菱電機株式会社 撮像装置、カメラ、及び信号処理方法
KR100825550B1 (ko) * 2004-06-30 2008-04-25 도판 인사츠 가부시키가이샤 촬상 소자
US7435962B2 (en) * 2005-05-18 2008-10-14 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Imaging device and method for producing an infrared filtered digital image
JP5124917B2 (ja) * 2005-07-26 2013-01-23 凸版印刷株式会社 撮像素子
WO2006134740A1 (ja) * 2005-06-17 2006-12-21 Toppan Printing Co., Ltd. 撮像素子
JP2007043427A (ja) * 2005-08-02 2007-02-15 Canon Inc 画像読取装置およびその制御方法
JP4730082B2 (ja) * 2005-12-22 2011-07-20 ソニー株式会社 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
WO2007086155A1 (ja) * 2006-01-24 2007-08-02 Matsushita Electric Industrial Co., Ltd. 固体撮像装置、信号処理方法及びカメラ
US7773136B2 (en) * 2006-08-28 2010-08-10 Sanyo Electric Co., Ltd. Image pickup apparatus and image pickup method for equalizing infrared components in each color component signal
US8848047B2 (en) * 2006-09-28 2014-09-30 Fujifilm Corporation Imaging device and endoscopic apparatus

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103814571A (zh) * 2011-09-26 2014-05-21 索尼公司 摄像装置及滤光器
US10816331B2 (en) 2013-04-15 2020-10-27 Microsoft Technology Licensing, Llc Super-resolving depth map by moving pattern projector
CN105230003A (zh) * 2013-04-15 2016-01-06 微软技术许可有限责任公司 从颜色和红外传感器中提取真实颜色
US10268885B2 (en) 2013-04-15 2019-04-23 Microsoft Technology Licensing, Llc Extracting true color from a color and infrared sensor
US10928189B2 (en) 2013-04-15 2021-02-23 Microsoft Technology Licensing, Llc Intensity-modulated light pattern for active stereo
US10929658B2 (en) 2013-04-15 2021-02-23 Microsoft Technology Licensing, Llc Active stereo with adaptive support weights from a separate image
CN104811614A (zh) * 2014-01-23 2015-07-29 罗伯特·博世有限公司 尤其用于车辆的摄像机系统以及用于求取时间脉冲信号源的图像信息的方法
CN104811614B (zh) * 2014-01-23 2019-06-04 罗伯特·博世有限公司 用于车辆的摄像机系统以及用于求取时间脉冲信号源的图像信息的方法
CN104952890A (zh) * 2014-03-24 2015-09-30 全视科技有限公司 具有用以检测红外光的金属网格的彩色图像传感器
CN104952890B (zh) * 2014-03-24 2018-07-31 豪威科技股份有限公司 具有用以检测红外光的金属网格的彩色图像传感器
WO2015158210A1 (zh) * 2014-04-13 2015-10-22 比亚迪股份有限公司 图像传感器和监控系统
CN106210572A (zh) * 2014-12-01 2016-12-07 爱思开海力士有限公司 滤色器阵列、图像传感器以及红外数据获取方法
CN106210572B (zh) * 2014-12-01 2020-09-04 爱思开海力士有限公司 图像传感器以及操作图像传感器的方法
CN105988215A (zh) * 2015-02-15 2016-10-05 宁波舜宇光电信息有限公司 一种多光谱模组成像系统及其制造方法和应用
CN106412531B (zh) * 2015-08-12 2019-04-12 杭州海康威视数字技术股份有限公司 像素阵列构件、图像处理装置及摄像机
CN106412531A (zh) * 2015-08-12 2017-02-15 杭州海康威视数字技术股份有限公司 像素阵列构件、图像处理装置及摄像机
CN109196848B (zh) * 2016-05-19 2020-03-20 三菱电机株式会社 固态摄像装置及图像传感器
CN109196848A (zh) * 2016-05-19 2019-01-11 三菱电机株式会社 固态摄像装置及图像传感器
WO2020056567A1 (zh) * 2018-09-18 2020-03-26 浙江宇视科技有限公司 图像处理方法、装置、电子设备及可读存储介质
CN113168669A (zh) * 2018-09-18 2021-07-23 浙江宇视科技有限公司 图像处理方法、装置、电子设备及可读存储介质
CN113168669B (zh) * 2018-09-18 2024-03-29 浙江宇视科技有限公司 图像处理方法、装置、电子设备及可读存储介质
WO2020177400A1 (zh) * 2019-03-05 2020-09-10 西安工业大学 具有多功能窗口的全天时成像探测器及其制备方法
CN112504454A (zh) * 2020-11-25 2021-03-16 天津津航技术物理研究所 一种基于像素级光谱调制的超分辨光谱成像滤波器结构

Also Published As

Publication number Publication date
CN101309429B (zh) 2011-05-25
EP1992987A1 (en) 2008-11-19
US20080283729A1 (en) 2008-11-20
EP1992987B1 (en) 2010-07-21
JP2008288629A (ja) 2008-11-27
US8138466B2 (en) 2012-03-20
DE602008001826D1 (de) 2010-09-02

Similar Documents

Publication Publication Date Title
CN101309429B (zh) 处理视频信号的设备和方法、成像设备
US8462238B2 (en) Camera design for the simultaneous capture of near-infrared and visible images
CN102204258B (zh) 图像输入装置
CN103220534B (zh) 图像撷取装置与方法
US8711256B2 (en) Image processing apparatus, image processing method, and program to create a composite image from color image data and monochrome image data
US8619143B2 (en) Image sensor including color and infrared pixels
US9482797B2 (en) Pixel array, camera using the same and color processing method based on the pixel array
CN205726019U (zh) 成像系统、成像设备和图像传感器
CN108712608A (zh) 终端设备拍摄方法和装置
US8564688B2 (en) Methods, systems and apparatuses for white balance calibration
CN1971927A (zh) 物理信息获取方法、物理信息获取装置和半导体器件
CN102783135A (zh) 利用低分辨率图像提供高分辨率图像的方法和装置
JP2004228662A (ja) 撮像装置
JP2007329380A (ja) 物理情報取得方法、物理情報取得装置、半導体装置、信号処理装置
CN108024054A (zh) 图像处理方法、装置及设备
CN101300854A (zh) 使用数字成像系统再现来自物体的可供选择形式的光
CN102379125A (zh) 图像输入装置
US20060222324A1 (en) Imaging device
TW200521611A (en) Cameras, optical systems, imaging methods, and optical filter configuration methods
Wang et al. Stereoscopic dark flash for low-light photography
CN107341782A (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质
WO2010131210A1 (en) A system and method for correcting non-uniformity defects in captured digital images
JP2009105495A (ja) 分光特性補正装置、分光特性補正方法
CN102946501A (zh) 成像系统或图像输出系统中颜色畸变校正方法及装置
CN107454318A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20170111

Address after: Kanagawa Japan Atsugi Asahi 4-14-1

Patentee after: SONY SEMICONDUCTOR SOLUTIONS Corp.

Address before: Tokyo, Japan

Patentee before: Sony Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110525