CN107534761A - 成像装置、成像方法、程序和图像处理装置 - Google Patents

成像装置、成像方法、程序和图像处理装置 Download PDF

Info

Publication number
CN107534761A
CN107534761A CN201680025913.6A CN201680025913A CN107534761A CN 107534761 A CN107534761 A CN 107534761A CN 201680025913 A CN201680025913 A CN 201680025913A CN 107534761 A CN107534761 A CN 107534761A
Authority
CN
China
Prior art keywords
sub
frame
period
frame images
charge signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680025913.6A
Other languages
English (en)
Other versions
CN107534761B (zh
Inventor
佐藤泰史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN107534761A publication Critical patent/CN107534761A/zh
Application granted granted Critical
Publication of CN107534761B publication Critical patent/CN107534761B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

本公开涉及能够产生具有高颜色再现性的彩色图像的成像装置、成像方法、程序和图像处理装置。所述成像装置包含：成像元件，被配置成在作为单个帧周期中的第一子帧周期的一部分的第一读出周期中，用焦平面读出方法读出像素的第一电荷信号，在作为单个帧周期中的第二子帧周期的一部分的第二读出周期中，用焦平面读出方法读出像素的第二电荷信号，基于第一电荷信号而产生第一子帧图像，并且基于第二电荷信号而产生第二子帧图像；照射控制单元，被配置成执行控制以使得在第一子帧周期中的作为除了第一读出周期之外的周期的整体或一部分的照射周期中，红外光进行辐照，并且在除照射周期之外的周期中，红外光未进行辐照；以及彩色图像产生单元，被配置成基于第一子帧图像和第二子帧图像而以预定帧率产生彩色图像。例如，本公开可应用到监视相机。

Description

成像装置、成像方法、程序和图像处理装置
技术领域
本公开涉及成像装置、成像方法、程序和图像处理装置，并且明确地说，涉及成像装置、成像方法、程序和图像处理装置，其中的每一个能够基于通过以红外光进行照射而成像的红外图像而产生彩色图像。
背景技术
按照常规，存在具有以下两种类型的模式的监视相机：日间模式，其中在例如白天的自然光或白光等可见光的照明下执行成像；以及夜间模式，其中在以红外光进行照射时执行成像。
在日间模式下成像时，可以获得彩色图像。而在夜间模式下成像时，通过使进行照射的红外光由主体反射而获得的反射光被接收，并且因此不可以获得例如R、B和G等颜色信息，并且可以仅获取反射光(红外光)的接收光强度。因此，所得图像是灰色、绿色等的单色图像。
顺便说，在考虑使用监视相机的状况下，希望即使在夜间模式下成像时也获得彩色图像。
有鉴于此，按照常规，已提出基于通过对以红外光对成像范围(主体)进行照射的状态成像而获得的图像(下文中，称为“红外图像”)来产生彩色图像的各种方法。
例如，专利文献1公开一种基于通过以具有不同波长的三种类型的红外光进行照射而获得的红外图像来产生彩色图像的方法。此方法使用以下事实：在以具有780nm、870nm和940nm的波长的红外光照射树脂的状况下获得的反射率与以R、G和B的可见光进行照射的状况下获得的反射率具有正相关。根据此方法，可以在主体是树脂的状况下获得具有高颜色再现性的彩色图像。
然而，在主体并非树脂的状况下，将产生的彩色图像的R分量具有相当高的再现性，但关于G分量和B分量，原色无法再现。因此，此方法无法应用到除树脂之外的任意主体。
此外，例如，专利文献2提出以红外光进行照射并在主体在例如低照度光的照明下略微可见的状态下执行成像的方法。在此方法中，可见光和红外光混合的图像成像，并且颜色信息通过将应用到此图像的白平衡处理的参数从仅应用到可见光的正常图像的值改变来再现。
然而，此方法的基本问题在于，红外光和可见光无法分离。因此，将再现的颜色信息的准确性由于红外光的影响而降低。
此外，例如，专利文献3和非专利文献1公开对在以红外光进行照射的状态下获得的红外图像以及在低照度下(即，在未以红外光进行照射的状态下)获得的可见图像连续地成像并通过使用这些图像来产生彩色图像的技术。
引用文献列表
专利文献
专利文献1：JP 2011-50049A
专利文献2：JP 2005-130317A
专利文献3：JP 2011-233983A
非专利文献1：图像识别与理解研讨会(Meeting on Image Recognition andUnderstanding)(MIRU2011)，P1034，“使用红外闪光灯和单个相机在低照度场景中进行的彩色图像的产生(Generation of color image in low-illuminance scene usinginfrared flash and single camera)”。
发明内容
技术问题
顺便说，包含监视相机等的成像装置上所安装的成像元件通常是CCD或CMOS图像传感器。CCD就其结构来说具有全局快门功能，其中所有像素同时曝光。同时，CMOS图像传感器就其结构来说不具有全局快门功能(然而，也存在具有全局快门功能的CMOS图像传感器)，并且存在卷帘快门方法的CMOS图像传感器，其中像素的曝光时间以行为单位而移位。应注意，卷帘快门方法也被称为“焦平面读出方法”。
在通过使用焦平面读出方法的CMOS图像传感器如同在专利文献3等中所公开的技术中连续对红外图像和可见图像成像的状况下，未必会获得红外光的照射时间在整个画面(所有像素)上相等的红外图像，这是因为像素的曝光时间以行为单位而移位。因此，在使用此红外图像的状况下，不可以产生具有高颜色再现性的彩色图像。
因此，为了通过使用焦平面读出方法的CMOS图像传感器而对红外光的照射时间在整个画面上相等的红外图像以及不存在红外光的影响的可见图像成像，需要关于红外光的照射时序和曝光时序的一些方案。
已鉴于此情形而作出本公开，并且本公开可基于通过使用焦平面读出方法的成像元件而成像的红外图像和可见图像而产生彩色图像。
问题的解决方案
根据本公开的第一方面，一种成像装置包含：成像元件，被配置成在作为对应于预定帧率的单个帧周期中的第一子帧周期的一部分的第一读出周期中，用焦平面读出方法读出每一行中的像素的第一电荷信号，在作为单个帧周期中的第二子帧周期的一部分的第二读出周期中，用焦平面读出方法读出每一行中的像素的第二电荷信号，基于第一电荷信号而产生第一子帧图像，并且基于第二电荷信号而产生第二子帧图像；照射控制单元，被配置成执行控制以使得在作为除第一子帧周期中的第一读出周期之外的周期的整体或一部分的照射周期中，以红外光照射成像范围，并且在除照射周期之外的周期中，不以红外光照射成像范围；以及彩色图像产生单元，被配置成基于第一子帧图像和第二子帧图像而以预定帧率产生彩色图像。
第一子帧周期可比第二子帧周期短。
可在除第一子帧周期中的第一读出周期之外的周期以及除第二子帧周期中的第二读出周期之外的周期中，同时对所有行中的像素进行曝光。
彩色图像产生单元可包含：第一图像转换单元，被配置成从第一子帧图像提取照度信息；第二图像转换单元，被配置成从第二子帧图像提取色差信息；以及第三图像转换单元，被配置成将第一子帧图像的照度信息和第二子帧图像的色差信息转换为彩色图像的颜色信息。
第二图像转换单元还可从第二子帧图像提取照度信息。第三图像转换单元可将第一子帧图像的照度信息和第二子帧图像的色差信息转换为彩色图像的颜色信息，其中照度信息是通过使用第二子帧图像的照度信息而校正的。
彩色图像产生单元可还包含：第一3DNR单元，被配置成对第一子帧图像执行包含时间方向处理的3DNR处理；以及第二3DNR单元，被配置成对第二子帧图像执行包含时间方向处理的3DNR处理。第一3DNR单元中的时间方向处理中的反馈因子可不同于第二3DNR单元中的时间方向处理中的反馈因子。
第二3DNR单元可通过使用从第一3DNR单元供应的移动主体检测结果来对第二子帧图像执行3DNR处理。
彩色图像产生单元可还包含：2DNR单元，被配置成通过使用从第一3DNR单元供应的边缘检测结果来对第二子帧图像执行2DNR处理。
成像元件的光接收表面可用呈拜耳阵列的彩色滤光片、RGB-IR滤光片或RGB-W滤光片覆盖。
成像装置可还包含：红外光照射单元，被配置成以红外光进行照射。
根据本公开的第一方面，一种成像方法包含：产生步骤，其中在作为对应于预定帧率的单个帧周期中的第一子帧周期的一部分的第一读出周期中，用焦平面读出方法读出每一行中的像素的第一电荷信号，在作为单个帧周期中的第二子帧周期的一部分的第二读出周期中，用焦平面读出方法读出每一行中的像素的第二电荷信号，基于第一电荷信号而产生第一子帧图像，并且基于第二电荷信号而产生第二子帧图像；照射控制步骤，其中执行控制以使得在作为除第一子帧周期中的第一读出周期之外的周期的整体或一部分的照射周期中，以红外光照射成像范围，并且在除照射周期之外的周期中，不以红外光照射成像范围；以及彩色图像产生步骤，其中基于第一子帧图像和第二子帧图像而以预定帧率产生彩色图像。
根据本公开的第一方面，一种用于使计算机执行处理的程序包含：产生步骤，其中在作为对应于预定帧率的单个帧周期中的第一子帧周期的一部分的第一读出周期中，用焦平面读出方法读出每一行中的像素的第一电荷信号，在作为单个帧周期中的第二子帧周期的一部分的第二读出周期中，用焦平面读出方法读出每一行中的像素的第二电荷信号，基于第一电荷信号而产生第一子帧图像，并且基于第二电荷信号而产生第二子帧图像；照射控制步骤，其中执行控制以使得在作为除第一子帧周期中的第一读出周期之外的周期的整体或一部分的照射周期中，以红外光照射成像范围，并且在除照射周期之外的周期中，不以红外光照射成像范围；以及彩色图像产生步骤，其中基于第一子帧图像和第二子帧图像而以预定帧率产生彩色图像。
根据本公开的第一方面，在作为对应于预定帧率的单个帧周期中的第一子帧周期的一部分的第一读出周期中，用焦平面读出方法读出每一行中的像素的第一电荷信号，在作为单个帧周期中的第二子帧周期的一部分的第二读出周期中，用焦平面读出方法读出每一行中的像素的第二电荷信号，基于第一电荷信号而产生第一子帧图像，并且基于第二电荷信号而产生第二子帧图像；执行控制以使得在作为除第一子帧周期中的第一读出周期之外的周期的整体或一部分的照射周期中，以红外光照射成像范围，并且在除照射周期之外的周期中，不以红外光照射成像范围；并且
彩色图像产生单元，被配置成基于第一子帧图像和第二子帧图像而以预定帧率产生彩色图像。
根据本公开的第二方面，一种图像处理装置从成像元件接受第一子帧图像和第二子帧图像的输入，所述成像元件被配置成在作为对应于预定帧率的单个帧周期中的第一子帧周期的一部分的第一读出周期中，用焦平面读出方法读出每一行中的像素的第一电荷信号，在作为单个帧周期中的第二子帧周期的一部分的第二读出周期中，用焦平面读出方法读出每一行中的像素的第二电荷信号，基于第一电荷信号而产生第一子帧图像，并且基于第二电荷信号而产生第二子帧图像，所述图像处理装置包含：照射控制单元，被配置成执行控制以使得在作为除第一子帧周期中的第一读出周期之外的周期的整体或一部分的照射周期中，以红外光照射成像范围，并且在除照射周期之外的周期中，不以红外光照射成像范围；并且基于第一子帧图像和第二子帧图像而以预定帧率产生彩色图像。
根据本公开的第二方面，执行控制以使得在作为除第一子帧周期中的第一读出周期之外的周期的整体或一部分的照射周期中，以红外光照射成像范围，并且在除照射周期之外的周期中，不以红外光照射成像范围；并且基于第一子帧图像和第二子帧图像而以预定帧率产生彩色图像。
本发明的有利效果
根据本公开的第一方面和第二方面，可以产生具有高颜色再现性的彩色图像。
附图说明
图1是示出应用了本公开的成像装置的实例配置的框图。
图2是示出IR带通滤光片的透射特性的视图。
图3是示出CMOS图像传感器的实例配置的框图。
图4是示出曝光时间和电荷信号的读出时序的第一实例的视图。
图5是红外光的照射时序的第一实例的视图。
图6是示出相机DSP单元的实例配置的框图。
图7是示出移动组合单元的实例配置的框图。
图8是用于增益转换单元中的函数的实例的视图。
图9是示出彩色图像产生处理的流程图。
图10是示出曝光时间和电荷信号的读出时序的第二实例的视图。
图11是红外光的照射时序的第二实例的视图。
图12是CMOS的彩色滤光片中的颜色的布置的修改实例的视图。
图13是CMOS的彩色滤光片中的颜色的布置的修改实例的视图。
图14是示出计算机的实例配置的框图。
具体实施方式
下文中，将参照附图来详细描述用于实施本公开的最佳模式(下文中，被称为“实施例”)。
<作为本公开的实施例的成像装置的实例配置>
图1示出作为本公开的实施例的成像装置的实例配置。
此成像装置10用于例如监视相机，并且基于在以红外光进行照射的状态下获得的红外图像以及在低照度下(即，在未以红外光进行照射的状态下)获得的可见图像而产生彩色图像。
成像装置10由以下各者构成：成像系统，以与一般相机相同的方式配置；图像处理系统，用于实施图像处理；以及光投射系统，用于以红外光照射成像范围。
成像装置10的成像系统由以下各者构成：镜头11；IR带通滤光片12；以及焦平面读出方法(卷帘快门方法)的CMOS图像传感器(下文中，简称为“CMOS”)13。在成像系统中，镜头11将主体的光学图像的光收集到CMOS13，布置在镜头11与CMOS 13之间的IR带通滤光片12从主体的光学图像提取可见光分量和红外光分量，并且CMOS 13基于入射光而产生图像信号并将图像信号输出到图像处理系统。
图2示出IR带通滤光片12的透射特性。IR带通滤光片12对具有400nm到650nm的波长的可见光以及具有处于850nm的波长的峰值的红外光(由光投射系统发射的红外光)具有高透射率。
图3示出CMOS 13的实例配置。此CMOS 13包含传感器阵列21、信号线22、模拟增益放大器23、ADC 24和数据缓冲器25。传感器阵列21由纵向和横向布置的相应像素的光电转换元件构成，并且其光接收表面侧用呈拜耳阵列的彩色滤光片21a等覆盖。
<CMOS 13中的曝光周期和电荷信号的读出时序的第一实例>
图4示出CMOS 13的传感器阵列21中的每一行的曝光周期以及曝光周期中所获得的电荷信号的读出时序的第一实例。如图4所示，在CMOS 13中，曝光周期在传感器阵列21中在从第一扫引线(第1行)到最后扫引线(最后一行)的扫引方向上以线为单位而移位，并且在曝光周期终止的时间，曝光周期中所获得的电荷信号在每一行中被集体读出。
此外，在CMOS 13中，最终输出的彩色图像的帧率(例如，30fps)的单个帧周期(在30fps的状况下，1/30秒)被划分为两个子帧周期(在30fps的状况下，1/60秒)。接着，在每一子帧周期中，电荷信号在传感器阵列21的扫引方向上以行为单位而被依序读出，并且基于所读出的电荷信号的子帧图像从CMOS 13输出。因此，在单个帧周期中，两个子帧图像从CMOS 13输出。
例如，传感器阵列21的第一扫引线的曝光周期在时间t0终止，并且曝光周期中所获得的电荷信号被读出。此时读出的电荷信号是先前n-1帧的第二子帧的电荷信号。在电荷信号被读出之后，传感器阵列21的第一扫引线中的新曝光周期开始。
此后，传感器阵列21中的相应行的曝光周期在扫引方向上以预定时间间隔依序终止，并且曝光周期中所获得的电荷信号被读出，并且接着新曝光周期开始。接着，在时间t1，传感器阵列21的最后扫引线的曝光周期终止，并且曝光周期中所获得的电荷信号被读出，并且接着新曝光周期开始。
如上所述，在从时间t0到时间t1的周期中，n-1帧的第二子帧的相应行中的电荷信号在扫引方向上以预定时间间隔被依序读出。接着，n-1帧的第二子帧图像SF2基于所读出的电荷信号而产生，并从CMOS 13输出。此外，传感器阵列21中的相应行的曝光周期在扫引方向上以预定时间间隔依序开始。
接着，在从时间t1到时间t2的周期中，传感器阵列21的所有行中的像素同时曝光，并且电荷积聚在所有像素中。
接着，传感器阵列21的第一扫引线的曝光周期在时间t2终止，并且曝光周期中所获得的电荷信号被读出。此时读出的电荷信号是n帧的第一子帧的电荷信号。在电荷信号被读出之后，传感器阵列21的第一扫引线的新曝光周期开始。
此后，在从时间t2到时间t3的周期中，以及在从时间t0到时间1的周期中，n帧的第一子帧的相应行的电荷信号在扫引方向上以预定时间间隔被依序读出。接着，n帧的第一子帧图像SF1基于所读出的电荷信号而产生，并从CMOS 13输出。此外，传感器阵列21中的相应线的新曝光周期在扫引方向上以预定时间间隔依序开始。
接着，在从时间t3到时间t4的周期中，传感器阵列21的所有行中的像素同时曝光，并且电荷积聚在所有像素中。
接着，在时间t4，传感器阵列21中的第一扫引线的曝光周期终止，并且曝光周期中所获得的电荷信号被读出。此时读出的电荷信号是n帧的第二子帧的电荷信号。在电荷信号被读出之后，传感器阵列21中的第一扫引线的新曝光周期开始。
此后，在从时间t4到时间t5的周期中，以及在从时间t0到时间1的周期中，n帧的第二子帧的相应行的电荷信号在扫引方向上以预定时间间隔被依序读出。接着，n帧的第二子帧图像SF2基于所读出的电荷信号而产生，并从CMOS 13输出。此外，传感器阵列21中的相应行的新曝光周期在扫引方向上以预定时间间隔依序开始。
通过重复上述处理，每一帧的曝光、电荷信号的读出以及子帧图像SF1和子帧图像SF2的产生和输出得以执行。
应注意，下文中，如图4所示，从时间t0到时间t4的周期被定义为单个帧周期。也就是说，单个帧周期是某帧的第一子帧的第一扫引线中的曝光的开始与同一帧的第二子帧的第一扫引线中的曝光的终止之间的周期。
此外，下文中，从时间t0到时间t2的周期被定义为子帧周期1。也就是说，子帧周期1是某帧的第一子帧的第一扫引线中的曝光的开始与其第一扫引线中的曝光的终止之间的周期。
此外，下文中，从时间t2到时间t4的周期被定义为子帧周期2。也就是说，子帧周期2是某帧的第二子帧的第一扫引线中的曝光的开始与其第一扫引线中的曝光的终止之间的周期。
此外，下文中，作为子帧周期1的一部分的从时间t2到时间t3的周期被定义为读出周期1。也就是说，读出周期1是某帧的第一子帧的第一扫引线中的电荷信号的读出的开始与其最后扫引线中的电荷信号的读出的终止之间的周期。换句话说，读出周期1是用于产生子帧图像SF1的电荷信号被读出的周期。
此外，下文中，作为子帧周期2的一部分的从时间t0到时间t1的周期以及从时间t4到时间t5的周期被定义为读出周期2。也就是说，读出周期2是某帧的第二子帧的第一扫引线中的电荷信号的读出的开始与其最后扫引线中的电荷信号的读出的终止之间的周期。换句话说，读出周期2是用于产生子帧图像SF2的电荷信号被读出的周期。
此外，下文中，作为子帧周期1中除读出周期2之外的周期的从时间t1到时间t2的周期被定义为全行曝光周期1。也就是说，全行曝光周期1是某帧的第一子帧的最后扫引线中的曝光的开始与其第一扫引线中的曝光的终止之间的周期。换句话说，在某帧的子帧图像SF1曝光的周期中，全行曝光周期1是传感器阵列21的所有行中的像素同时曝光的周期。
此外，下文中，作为子帧周期2中除读出周期1之外的周期的从时间t3到时间t4的周期被定义为全行曝光周期2。也就是说，全行曝光周期2是某帧的第二子帧的最后扫引线中的曝光的开始与其第一扫引线中的曝光的终止之间的周期。换句话说，在某帧的子帧图像SF2曝光的周期中，全行曝光周期2是传感器阵列21的所有行中的像素同时曝光的周期。
应注意，子帧周期1和子帧周期2、读出周期1和读出周期2以及全行曝光周期1和全行曝光周期2被设定为具有相同长度。
本文中，读出周期1被子帧周期2短，并且读出周期2比子帧周期1短。也就是说，在CMOS 13中，传感器阵列21的所有行中的电荷信号的读出完成得比将子帧作为单位的子帧率早。
描述返回到图3。所读出的电荷信号经由信号线22而输出到模拟增益放大器23并在其中放大，并且在ADC 24中转换为模拟像素信号，并存储在数据缓冲器25中。
应注意，可以根据照明来适应性地设定模拟增益放大器23中的增益。接着，构成传感器阵列21的所有像素的像素信号作为图像信号而在后一级处输出到图像处理系统。应注意，此级处的图像信号是原始数据，其中每一像素具有R、G和B中的任一个的颜色信息。
描述返回到图1。成像装置10的图像处理系统由相机DSP单元14以及存储器15和16构成。在图像处理系统中，相机DSP单元14基于来自成像系统的图像信号而产生每一像素具有R、G或B的颜色信息的彩色图像。用于降噪(NR)处理的图像信号暂时保持在存储器15和16中。此外，相机DSP单元14产生并输出用于控制成像系统的CMOS 13的驱动(曝光和读出)的V同步信号。此外，相机DSP单元14产生并输出用于控制光投射系统的驱动信号(开/关信号和强度调整信号)。
成像装置10的光投射系统由IR驱动单元17以及IR照射单元18构成。在光投射系统中，IR驱动单元17使IR照射单元18根据来自相机DSP单元14的控制而以红外光进行照射。IR照射单元18以具有处于850nm的波长的峰值的红外光照射成像范围。应注意，IR照射单元18可布置在成像装置10的外壳内，或可布置在成像装置10的外壳外。
<光投射系统中的红外光的照射时序的第一实例>
接着，图5示出光投射系统中的红外光的照射时序的第一实例。此照射时序是根据图4的CMOS 13的曝光周期和电荷信号的读出时序的第一实例而设定。
例如，如图5所示，IR照射单元18使以红外光进行的照射在IR驱动单元17的控制下在从t1到t2的周期(全行曝光周期1)中开启。也就是说，红外光的照射周期被设定在子帧周期1中除读出周期2之外的周期(全行曝光周期1)的整个周期中。接着，成像范围在子帧图像SF1的曝光周期中以红外光照射，其中所述曝光周期是传感器阵列21的所有行中的像素同时曝光的周期。
而IR照射单元18使以红外光进行的照射在IR驱动单元17的控制下在除全行曝光周期1之外的周期中关断。也就是说，未在子帧图像SF1的曝光周期中以红外光进行照射，其中所述曝光周期是传感器阵列21的行中的任一个中的电荷信号被读出的周期。此外，在子帧图像SF2的整个曝光周期内未以红外光进行照射。
因此，在此第一实例中，以红外光进行的照射在所有行中的像素同时曝光的整个周期(全行曝光周期1)内开启，并且因此子帧图像SF1是整个画面同样较亮的图像。此外，在焦平面读出方法的CMOS传感器中，垂直方向上的移位(其为高速移动的移动主体的移位(这是因相应行中的曝光周期移位而导致的))是有问题的。然而，关于子帧图像SF1，红外光的照射周期在所有行中相同，并且因此，存在优点在于，不导致垂直方向上的移位。此外，曝光时间比单个帧周期短，并且因此子帧图像SF1是移动主体的移动模糊受到抑制的图像。
，同时，以红外光进行的照射在所有行的整个曝光周期内关断，并且因此子帧图像SF2是仅基于可见光的图像，其中所述图像是整个画面较暗的图像。
应注意，下文中，子帧图像SF1也被称为“红外图像”，并且子帧图像SF2也被称为“可见图像”。
接着，相机DSP单元14通过使用每一帧周期中的两个子帧图像(即，子帧图像SF1(红外图像)和子帧图像SF2(可见图像))而产生彩色图像。
<相机DSP单元14的实例配置>
接着，图6示出相机DSP单元14的实例配置。相机DSP单元14不仅由时序控制单元31和AE控制单元32构成，而且还由红外图像处理系统、可见图像处理系统和彩色图像产生系统构成。
时序控制单元31产生用于控制CMOS 13的驱动的V同步信号以及用于控制IR驱动单元17的开/关信号。AE控制单元32产生用于控制CMOS 13中的模拟增益放大器23的增益调整信号以及用于控制IR驱动单元17的强度信号。如上所述，时序控制单元31和AE控制单元32构成用于控制由CMOS13执行的成像的成像控制单元以及用于控制由IR照射单元18以红外光进行的照射的照射控制单元。
在每一帧周期中从CMOS 13输入的两个子帧图像之间，相机DSP单元14的红外图像处理系统将红外图像(子帧图像SF1)设定为将处理的目标，并由3DNR单元33、去马赛克单元34和2DNR单元35构成。
3DNR单元33执行3DNR处理，其中用于通过执行从CMOS 13及其外围像素输入的红外图像(子帧图像SF1)的每一像素的滤光处理而二维移除噪声的2DNR处理以及用于执行从CMOS 13输入的红外图像以及已经受3DNR处理的过去(单个或多个帧周期之前)红外图像的加权平均的时间方向处理相组合，过去红外图像保持在存储器16中。应注意，时间方向处理的当前红外图像的加权值被称为“反馈因子”，并且本文中，反馈因子具有比下文所述的3DNR单元36中的反馈因子的值大的值。例如，3DNR单元36中的反馈因子被设定为1/8，并且3DNR单元33中的反馈因子被设定为1/2。
此外，通常，在3DNR处理中的时间方向处理中，在当前图像的反馈因子减小时，噪声移除效果提高。然而，过去图像的分量倾向于保持，并且因此残余图像例如在移动主体的边缘处产生。有鉴于此，为了避免此情形，在3DNR单元33中，执行以下过程：通过使用子帧间差异来检测移动主体，并且关于图像中的移动主体部分，增大当前图像的反馈因子以抑制残余图像的产生。本文中，向3DNR单元36通知所检测的移动主体检测结果，并且向2DNR单元39通知边缘检测结果。
已在3DNR单元33中经受3DNR处理的红外图像输出到去马赛克单元34并被覆写且记录在存储器16上。
去马赛克单元34从已经受3DNR处理的红外图像(原始数据)提取每一像素的照度信息Yir，并将照度信息输出到2DNR单元35和照度组合单元41。具体来说，原始数据的像素值按原样设定为照度信息Yir，或外围像素的R、G和B的像素值相加并设定为照度信息Yir。
2DNR单元35对红外图像的照度信息Yir执行二维降噪处理，因此提取其低频分量，并且将作为其结果而获得的照度信息Yir_NR输出到照度组合单元41。
在每一帧周期中从CMOS 13输入的两个子帧图像之间，相机DSP单元14的可见图像处理系统将可见图像(子帧图像SF2)设定为将处理的目标，并由3DNR单元36、去马赛克单元37、白平衡(WB)单元38、2DNR单元39和YCC转换单元40构成。
3DNR单元36执行3DNR处理，其中用于通过执行从CMOS 13及其外围像素输入的可见图像(子帧图像SF2)的每一像素的滤光处理而二维移除噪声的2DNR处理以及用于执行从CMOS 13输入的可见图像以及已经受3DNR处理的过去(单个或多个帧周期之前)可见图像的加权平均的时间方向处理相组合，过去可见图像保持在存储器15中。然而，输入到3DNR单元36的可见图像是具有很多噪声的低照度图像，并且因此，即使在从此可见图像检测到移动主体以进行时间方向处理的状况下，也无法区别移动和噪声，并且因此无法适当地检测移动主体。有鉴于此，在3DNR单元36中，通过使用从红外图像检测到的移动主体检测结果而执行时间方向处理，其中移动主体检测结果是从3DNR单元33供应。此外，3DNR单元36中的反馈因子例如是值1/8，这小于3DNR单元33中的反馈因子(例如，1/2)。因此，在3DNR单元36中，可以在移除移动主体的残余头像的同时令人满意地移除噪声。
去马赛克单元37将已经受3DNR处理的图像信号(原始数据)转换为每一像素具有R、G或B颜色信息的RGB数据，并将RGB数据输出到WB单元38。WB单元38对图像信号(RGB数据)执行白平衡处理，并将图像信号输出到2DNR单元39。
2DNR单元39例如使用例如ε滤光片等宽带滤光片而执行二维降噪处理(2DNR处理)，并对YCC转换单元40进行输出。应注意，在执行2DNR处理的状况下，主体的边缘被检测到，并且宽带滤光片仅应用到边缘的内部，并且因此可以防止边缘的外部的不同颜色信息的绘制。然而，供应到2DNR单元39的可见图像是具有很多噪声的低照度图像，并且因此，边缘无法被适当地检测到。有鉴于此，在2DNR单元39中，通过使用从红外图像检测到的边缘检测结果而执行2DNR处理，其中边缘检测结果是从3DNR单元33供应。因此，在2DNR单元39中，可以使用宽带滤光片而执行二维降噪处理，而在边缘的附近未出现混色。
YCC转换单元40将已经受2DNR处理的可见图像(RGB数据)转换为每一像素具有照度信息Y和色差信息Cb和Cr的可见图像(YCC数据)，将照度信息(下文中，称为“Yc”)输出到照度组合单元41，并将色差信息Cb和Cr输出到RGB转换单元43。
相机DSP单元14的彩色图像产生系统将红外图像处理系统和可见图像处理系统的输出用作将处理的目标，并由照度组合单元41、γ校正单元42和RGB转换单元43构成。
照度组合单元41基于从红外图像处理系统输入的红外图像的照度信息Yir和照度信息Yir_NR以及从可见图像处理系统输入的可见图像的照度信息Yc而组合将在后一级处产生的彩色图像的照度信号。
应注意，在红外图像的照度信息Yir按原样用作彩色图像的照度信号而不穿过照度组合单元41的状况下，颜色再现由于红外光的反射率极其不同于可见光的反射率的主体中的照度信息的差异而恶化。在例如在具有高红外反射率(可见光的反射率较低)的黑色衣物中，Yir按原样用作照度信息的状况下，黑色衣物在输出图像中变成白色衣物。因为提供了照度组合单元41，所以可以防止此问题。
图7示出照度组合单元41的详细配置实例。照度组合单元41由除法单元51、增益转换单元52和乘法单元53构成。除法单元51计算可见图像的低频频带中的照度信息Yc与红外图像的低频频带中的照度信息Yir_NR的比，即，Y比＝Yc/Yir_NR，并将所获得比Y比输出到增益转换单元52。增益转换单元52根据预定函数(或所保持的转换表)将比Y比转换为Y增益并将Y增益输出到乘法单元53。
本文中，将描述用于增益转换单元52中的函数。基本上，在照度组合单元41中，用于用Yc信号调制Yir的处理是通过将比Y比乘以原始红外图像的照度信息Yir来执行。然而，当比仅乘以照度信息时，整个画面倾向于较暗，并且此外，使用Yc的调制度无法进行调整。有鉴于此，在增益转换单元52中，比Y比通过使用非线性函数曲线而转换为Y增益。
图8的A将类似于伽玛曲线的指数函数示出为用于增益转换单元52中的非线性函数的实例。在此状况下，可以通过选择指数值α来调整调制度。例如，当值α增大时，Y增益变得整体接近1，并且调制度减小。相反，当值α减小时，Y增益偏离1，并且调制度增大。
然而，在图8的A所示的指数函数曲线中，倾角在Y比的值较小的区域中陡峭，并且因此Y增益由于Y比的略微差异而大幅改变，这可导致噪声的放大。有鉴于此，为了避免此问题，如图8的B所示，在Y比较小的区域中裁剪Y增益(设定最小值)。应注意，代替使用此函数，预先准备的转换表可由增益转换单元52保持。
描述返回到图7。乘法单元53通过将Y增益乘以红外图像的照度信息Yir来计算照度信息Ysym，并在后一级处将照度信息输出到γ校正单元42。
描述返回到图6。γ校正单元42对从照度组合单元41输入的照度信息Ysym执行γ校正处理，并将已经受γ校正处理的照度信息Ysym输出到RGB转换单元43。
RGB转换单元43基于来自YCC转换单元40的色差信息Cb和Cr以及来自γ校正单元42的照度信息Ysym而产生每一像素在每一帧周期中具有R、G或B的颜色信息的单个彩色图像，并将彩色图像输出到后一级，其中照度信息Ysym已经受γ校正处理。
<由相机DSP单元14执行的彩色图像产生处理>
接着，图9是示出由相机DSP单元14执行的彩色图像产生处理的流程图。
此彩色图像产生处理在每一帧周期中得以执行，并且假设两个子帧图像SF1和SF2在单个帧周期中从CMOS 13输入到相机DSP单元14内。
在步骤S1中，在单个帧周期中从CMOS 13输入的两个子帧图像被挑选到红外图像处理系统或可见图像处理系统中。具体来说，将子帧图像SF1挑选到红外图像处理系统中，并且执行从步骤S2到S4的处理。此外，将子帧图像SF2挑选到可见图像处理系统中，并且执行从步骤S5到S9的处理。
在红外图像处理系统中，在步骤S2中，3DNR单元33对从CMOS 13输入的红外图像(子帧图像SF1)执行3DNR处理，将已经受3DNR处理的红外图像输出到去马赛克单元34，并且将红外图像覆写并记录在存储器16上。
在步骤S3中，去马赛克单元34从已经受3DNR处理的红外图像(原始数据)提取每一像素的照度信息Yir，并将照度信息输出到2DNR单元35和照度组合单元41。在步骤S4中，2DNR单元35对红外图像的照度信息Yir执行二维降噪处理，因此提取其低频分量，并且将作为其结果而获得的照度信息Yir_NR输出到照度组合单元41。
在可见图像处理系统中，在步骤S5中，3DNR单元36对从CMOS 13输入的可见图像(子帧图像SF2)执行3DNR处理，将已经受3DNR处理的可见图像输出到去马赛克单元37，并且将可见图像覆写并记录在存储器15上。
在步骤S6中，去马赛克单元37将已经受3DNR处理的图像信号(原始数据)转换为RGB数据，并将RGB数据输出到WB单元38。在步骤S7中，WB单元38对图像信号(RGB数据)执行白平衡处理，并将图像信号输出到2DNR单元39。
在步骤S8中，2DNR单元39对已经受白平衡处理的可见图像(RGB数据)执行2DNR处理，并将可见图像输出到YCC转换单元40。在步骤S9中，YCC转换单元40将已经受2DNR处理的可见图像(RGB数据)转换为可见图像(YCC数据)，将照度信息Yc输出到照度组合单元41，并将色差信息Cb和Cr输出到RGB转换单元43。
在已从红外图像处理系统和可见图像处理系统获取处理结果的彩色图像产生系统中，在步骤S10中，照度组合单元41基于从红外图像处理系统输入的红外图像的照度信息Yir和照度信息Yir_NR以及从可见图像处理系统输入的可见图像的照度信息Yc而计算将在后一级处产生的彩色图像的照度信息Ysym，并将照度信息输出到γ校正单元42。在步骤S11中，γ校正单元42对从照度组合单元41输入的照度信息Ysym执行γ校正处理，并将已经受γ校正处理的照度信息Ysym输出到RGB转换单元43。
在步骤S12中，RGB转换单元43基于来自YCC转换单元40的色差信息Cb和Cr以及来自γ校正单元42的照度信息Ysym而产生每一像素在每一帧周期中具有R、G或B的颜色信息的单个彩色图像，并将单个彩色图像输出到后一级，其中照度信息Ysym已经受γ校正处理。上文中，彩色图像产生处理的描述终止。
根据上文所述的彩色图像产生处理，可以基于从焦平面读出方法的CMOS 13输出的红外图像和可见图像而产生颜色再现高度精确的彩色图像。
<CMOS 13中的曝光周期和电荷信号的读出时序的第二实例>
接着，图10示出CMOS 13的传感器阵列21中的每一行的曝光周期以及曝光周期中所获得的电荷信号的读出时序的第二实例。
在图10的第二实例中，与图4中的第一实例相比，读出周期1开始的时间t2以及读出周期1终止的时间t3较早。因此，在第二实例中，与第一实例相比，子帧周期1较短，并且子帧周期2较长。此外，在第二实例中，与第一实例相比，全行曝光周期1较短，并且全行曝光周期2较长。
<光投射系统中的红外光的照射时序的第二实例>
接着，图11示出光投射系统中的红外光的照射时序的第二实例。此照射时序是根据图10的CMOS 13的曝光周期和电荷信号的读出时序的第二实例而设定。
在图11的第二实例中，以及在图5中的第一实例中，以红外光进行的照射在从时间t1到时间t2的全行曝光周期1中开启，并且以红外光进行的照射在除全行曝光周期1之外的周期中关断。
因此，在此第二实例中，以及在第一实例中，红外图像(子帧图像SF1)是整个画面同样较亮的图像，并且在垂直方向上的移位未发生。此外，与第一实例相比，曝光时间较短，并且因此红外图像是移动主体的移动模糊进一步受到抑制的图像。
此外，在此第二实例中，与第一实例相比，可见图像(子帧图像SF2)的曝光周期较长，并且因此可提高可见图像的灵敏度。因此，可以基于可见图像来提高色差信息的再现性。
应注意，在此第二实例中，与第一实例相比，红外光的照射周期较短，并且因此红外光的强度可因此被设定为较高。
<修改实例>
下文中，将描述上文所述的本公开的实施例的修改实例。
图12和图13示出覆盖CMOS 13的光接收表面的彩色滤光片21a的修改实例。在上述描述中，彩色滤光片21a由基于拜耳阵列的R、G和B的彩色滤光片构成。然而，代替彩色滤光片21a，可使用由R、G和B的彩色滤光片以及透射红外光的IR滤光片构成的RGB-IR滤光片61或62，其中RGB-IR滤光片61或62示出在图12的A或图12的B中。在使用RGB-IR滤光片61或62的状况下，从IR像素获得的值可用作红外图像的像素值，并且通过IR信号减法处理(将IR像素的像素值从R、G和B像素的像素值减去的处理)而获得的值可用作可见图像的像素值。
此外，可使用由R、G和B的彩色滤光片以及未设置滤光片以使得整个可见光范围透射的部分构成的RGB-W滤光片63或64，其中RGB-W滤光片63或64示出在图13的A或图13的B中。例如，在使用RGB-W滤光片63的状况下，通过以下表达式(1)到(4)的计算处理而计算的值可基于例如像素R、G、B和W的像素信号RIR、GIR、BIR和WIR而用作红外图像的像素值IR以及可见图像的像素值R、G和B。
IR＝(RIR+GIR+BIR-WIR)/2...(1)
R＝RIR-IR...(2)
G＝GIR-IR...(3)
B＝BIR-IR...(4)应注意，像素信号RIR、GIR、BIR和WIR由以下表达式(5)到(8)表达。
RIR＝R+IR...(5)
GIR＝G+IR...(6)
BIR＝B+IR...(7)
WIR＝R+G+B+IR...(8)
此外，因为使用了RGB-IR滤光片61或62或RGB-W滤光片63或64，所以可以在没有从IR照射单元18发射并存在于环境中的红外光与可见光之间进行分离，其中所述分离无法在呈拜耳阵列的彩色滤光片中执行。
此外，在使用了RGB-IR滤光片61或62或RGB-W滤光片63或64的状况下，去马赛克单元34可仅基于作为红外分量的像素值IR而产生照度信息Yir。或者，照度信息Yir可不仅基于像素值IR而且基于作为可见分量的像素值R、G和B而产生。
此外，在上述实施例中，用于产生彩色图像的颜色信息仅从可见图像提取。然而，颜色分量也可以从红外图像提取，并可用于产生彩色图像。具体来说，在图12的A或图12的B所示的RGB-IR滤光片61或62用于CMOS13中并且红外图像经受IR信号减法处理的状况下，可以仅提取可见光的颜色信息。当从红外光提取的此颜色信息以及从可见图像提取的颜色信息组合并用于产生颜色信息时，可以获得具有较高颜色再现性的彩色图像。
此外，在图5和图11的实例中，已描述以红外光进行的照射在全行曝光周期1的整个周期内开启的实例。然而，还可以使红外光仅在全行曝光周期1的部分中开启。此外，例如，还可以全行曝光周期1中重复开启和关断以红外光进行的照射多次。
此外，例如，用于阻断红外光的可移除式IR截止滤光片可设置在镜头11与IR带通滤光片12或IR带通滤光片12与CMOS 13之间。接着，例如，IR截止滤光片在白天(即，在周围环境较亮的时间段中)插入，并且由CMOS 13获得的彩色图像可按原样来使用，并且在除上述时间段之外的时间段中(即，在周围环境较暗的时间段中)，IR截止滤光片可被移除，并且彩色图像可通过上述处理产生。
应注意，本公开的实施例中的用词“全部行”表示显现为图像的部分的全部行，并且不包含其中布置了虚拟像素等的行。
接着，上述系列的过程可由硬件执行并且也可由软件执行。当所述系列的过程由软件执行时，构成此软件的程序被安装到计算机上。此处，表述“计算机”包含并有专用硬件的计算机以及能够在安装了各种程序时执行各种功能的通用个人计算机等。
图14示出根据程序而执行上文所述的所述系列的过程的计算机的硬件的实例配置的框图。
在计算机200中，CPU 201、只读存储器(ROM)202和随机存取存储器(RAM)203由总线204相互连接。
输入/输出接口205也连接到总线204。输入单元206、输出单元207、存储单元208、通信单元209和驱动器210连接到输入/输出总线205。
输入单元206由键盘、鼠标、麦克风等配置而成。输出单元207由显示器、扬声器等配置而成。存储单元208由硬盘、非易失性存储器等配置而成。通信单元209由网络接口等配置而成。驱动器210驱动可移除式介质211，例如，磁盘、光盘、磁光盘、半导体存储器等。
在如上所述而配置的计算机200中，作为一个实例，CPU 201经由输入/输出接口205和总线204而将存储单元208中所记录的程序加载到RAM 203中，并执行程序以执行上文所述的所述系列的过程。
作为一个实例，由计算机200(CPU 201)执行的程序可通过作为封装介质等而记录在可移除式介质211上。程序也可经由有线或无线传送介质(例如，局域网、因特网或数字卫星广播)而提供。
应注意，由计算机200执行的程序可以是以本说明书所述的次序以时间序列执行多个过程的程序，或者可以是例如当调用过程时，并行地或以必要时序执行所述过程的程序。
本公开的实施例不限于上文所述的实施例，并且可进行各种改变和修改，而不偏离本公开的范围。
此外，也可如下配置本技术。
(1)一种成像装置，包含：
成像元件，被配置成在作为对应于预定帧率的单个帧周期中的第一子帧周期的一部分的第一读出周期中，用焦平面读出方法读出每一行中的像素的第一电荷信号，在作为所述单个帧周期中的第二子帧周期的一部分的第二读出周期中，用所述焦平面读出方法读出每一行中的所述像素的第二电荷信号，基于所述第一电荷信号而产生第一子帧图像，并且基于所述第二电荷信号而产生第二子帧图像；
照射控制单元，被配置成执行控制以使得在所述第一子帧周期中的作为除了所述第一读出周期之外的周期的整体或一部分的照射周期中，以红外光照射成像范围，并且在除所述照射周期之外的周期中，不以红外光照射所述成像范围；以及
彩色图像产生单元，被配置成基于所述第一子帧图像和所述第二子帧图像而以所述预定帧率产生彩色图像。
(2)根据(1)的成像装置，
其中所述第一子帧周期比所述第二子帧周期短。
(3)根据(1)或(2)的成像装置，
其中在所述第一子帧周期中的除所述第一读出周期之外的所述周期以及所述第二子帧周期中的除所述第二读出周期之外的周期中，同时对所有行的像素进行曝光。
(4)根据(1)到(3)中任一项的成像装置，
其中所述彩色图像产生单元还包含
第一图像转换单元，被配置成从所述第一子帧图像提取照度信息；
第二图像转换单元，被配置成从所述第二子帧图像提取色差信息；以及
第三图像转换单元，被配置成将所述第一子帧图像的所述照度信息和所述第二子帧图像的所述色差信息转换为所述彩色图像的颜色信息。
(5)根据(4)的成像装置，其中
所述第二图像转换单元还从所述第二子帧图像提取照度信息，并且
所述第三图像转换单元将所述第一子帧图像的所述照度信息和所述第二子帧图像的所述色差信息转换为所述彩色图像的所述颜色信息，其中所述照度信息是通过使用所述第二子帧图像的所述照度信息而校正的。
(6)根据(1)到(5)中任一项的成像装置，其中
所述彩色图像产生单元还包含
第一3DNR单元，被配置成对所述第一子帧图像执行包含时间方向处理的3DNR处理；以及
第二3DNR单元，被配置成对所述第二子帧图像执行包含时间方向处理的3DNR处理，并且
所述第一3DNR单元中的所述时间方向处理中的反馈因子不同于所述第二3DNR单元中的所述时间方向处理中的反馈因子。
(7)根据(6)的成像装置，
其中所述第二3DNR单元通过使用从所述第一3DNR单元供应的移动主体检测结果来对所述第二子帧图像执行所述3DNR处理。
(8)根据(7)的成像装置，
其中所述彩色图像产生单元还包含
2DNR单元，被配置成通过使用从所述第一3DNR单元供应的边缘检测结果来对所述第二子帧图像执行2DNR处理。
(9)根据(1)到(8)中任一项的成像装置，
其中所述成像元件的光接收表面用呈拜耳阵列的彩色滤光片、RGB-IR滤光片或RGB-W滤光片覆盖。
(10)根据(1)到(9)中任一项的成像装置，还包含
红外光照射单元，被配置成以所述红外光进行照射。
(11)一种成像方法，包含：
产生步骤，其中在作为对应于预定帧率的单个帧周期中的第一子帧周期的一部分的第一读出周期中，用焦平面读出方法读出每一行中的像素的第一电荷信号，在作为所述单个帧周期中的第二子帧周期的一部分的第二读出周期中，用所述焦平面读出方法读出每一行中的所述像素的第二电荷信号，基于所述第一电荷信号而产生第一子帧图像，并且基于所述第二电荷信号而产生第二子帧图像；
照射控制步骤，其中执行控制以使得在作为除所述第一子帧周期中的所述第一读出周期之外的周期的整体或一部分的照射周期中，以红外光照射成像范围，并且在除所述照射周期之外的周期中，不以红外光照射所述成像范围；以及
彩色图像产生步骤，其中基于所述第一子帧图像和所述第二子帧图像而以所述预定帧率产生彩色图像。
(12)一种用于使计算机执行处理的程序，包含：
产生步骤，其中在作为对应于预定帧率的单个帧周期中的第一子帧周期的一部分的第一读出周期中，用焦平面读出方法读出每一行中的像素的第一电荷信号，在作为所述单个帧周期中的第二子帧周期的一部分的第二读出周期中，用所述焦平面读出方法读出每一行中的所述像素的第二电荷信号，基于所述第一电荷信号而产生第一子帧图像，并且基于所述第二电荷信号而产生第二子帧图像；
照射控制步骤，其中执行控制以使得在作为除所述第一子帧周期中的所述第一读出周期之外的周期的整体或一部分的照射周期中，以红外光照射成像范围，并且在除所述照射周期之外的周期中，不以红外光照射所述成像范围；以及
彩色图像产生步骤，其中基于所述第一子帧图像和所述第二子帧图像而以所述预定帧率产生彩色图像。
(13)一种图像处理装置，从成像元件接受第一子帧图像和第二子帧图像的输入，所述成像元件被配置成在作为对应于预定帧率的单个帧周期中的第一子帧周期的一部分的第一读出周期中，用焦平面读出方法读出每一行中的像素的第一电荷信号，在作为所述单个帧周期中的第二子帧周期的一部分的第二读出周期中，用所述焦平面读出方法读出每一行中的所述像素的第二电荷信号，基于所述第一电荷信号而产生所述第一子帧图像，并且基于所述第二电荷信号而产生所述第二子帧图像，所述图像处理装置包含：
照射控制单元，被配置成执行控制以使得在所述第一子帧周期中的作为除了所述第一读出周期之外的周期的整体或一部分的照射周期中，以红外光照射成像范围，并且在除所述照射周期之外的周期中，不以红外光照射所述成像范围；以及
彩色图像产生单元，被配置成基于所述第一子帧图像和所述第二子帧图像而以所述预定帧率产生彩色图像。
附图标记列表
10 成像装置
13 CMOS图像传感器
14 相机DSP单元
17 IR驱动单元
18 IR照射单元
21 传感器阵列
21a 彩色滤光片
31 时序控制单元
32 AE控制单元
33 3DNR单元
34 去马赛克单元
35 2DNR单元
36 3DNR单元
37 去马赛克单元
38 WB单元
39 2DNR单元
40 YCC转换单元
41 亮度组合单元
42 γ校正单元
43 RGB转换单元
61、62 RGB-IR滤光片
63、64 RGB-W滤光片
200 计算机
201 CPU。

Claims (13)

1.一种成像装置，包括：
成像元件，被配置成在作为对应于预定帧率的单个帧周期中的第一子帧周期的一部分的第一读出周期中，用焦平面读出方法读出每一行中的像素的第一电荷信号，在作为所述单个帧周期中的第二子帧周期的一部分的第二读出周期中，用所述焦平面读出方法读出每一行中的所述像素的第二电荷信号，基于所述第一电荷信号而产生第一子帧图像，并且基于所述第二电荷信号而产生第二子帧图像；
照射控制单元，被配置成执行控制以使得在所述第一子帧周期中的作为除了所述第一读出周期之外的周期的整体或一部分的照射周期中，以红外光照射成像范围，并且在除所述照射周期之外的周期中，不以红外光照射所述成像范围；以及
彩色图像产生单元，被配置成基于所述第一子帧图像和所述第二子帧图像而以所述预定帧率产生彩色图像。
2.根据权利要求1所述的成像装置，
其中所述第一子帧周期比所述第二子帧周期短。
3.根据权利要求1所述的成像装置，
其中在所述第一子帧周期中的除所述第一读出周期之外的所述周期以及所述第二子帧周期中的除所述第二读出周期之外的周期中，同时对所有行的像素进行曝光。
4.根据权利要求1所述的成像装置，
其中所述彩色图像产生单元还包含
第一图像转换单元，被配置成从所述第一子帧图像提取照度信息；
第二图像转换单元，被配置成从所述第二子帧图像提取色差信息；以及
第三图像转换单元，被配置成将所述第一子帧图像的所述照度信息和所述第二子帧图像的所述色差信息转换为所述彩色图像的颜色信息。
5.根据权利要求4所述的成像装置，其中：
所述第二图像转换单元还从所述第二子帧图像提取照度信息，并且
所述第三图像转换单元将所述第一子帧图像的所述照度信息和所述第二子帧图像的所述色差信息转换为所述彩色图像的所述颜色信息，其中所述照度信息是通过使用所述第二子帧图像的所述照度信息而校正的。
6.根据权利要求1所述的成像装置，其中：
所述彩色图像产生单元还包含
第一3DNR单元，被配置成对所述第一子帧图像执行包含时间方向处理的3DNR处理；以及
第二3DNR单元，被配置成对所述第二子帧图像执行包含时间方向处理的3DNR处理，并且
所述第一3DNR单元中的所述时间方向处理中的反馈因子不同于所述第二3DNR单元中的所述时间方向处理中的反馈因子。
7.根据权利要求6所述的成像装置，
其中所述第二3DNR单元通过使用从所述第一3DNR单元供应的移动主体检测结果来对所述第二子帧图像执行所述3DNR处理。
8.根据权利要求7所述的成像装置，
其中所述彩色图像产生单元还包含
2DNR单元，被配置成通过使用从所述第一3DNR单元供应的边缘检测结果来对所述第二子帧图像执行2DNR处理。
9.根据权利要求1所述的成像装置，
其中所述成像元件的光接收表面用呈拜耳阵列的彩色滤光片、RGB-IR滤光片或RGB-W滤光片覆盖。
10.根据权利要求1所述的成像装置，还包括：
红外光照射单元，被配置成以所述红外光进行照射。
11.一种成像方法，包括：
产生步骤，其中在作为对应于预定帧率的单个帧周期中的第一子帧周期的一部分的第一读出周期中，用焦平面读出方法读出每一行中的像素的第一电荷信号，在作为所述单个帧周期中的第二子帧周期的一部分的第二读出周期中，用所述焦平面读出方法读出每一行中的所述像素的第二电荷信号，基于所述第一电荷信号而产生第一子帧图像，并且基于所述第二电荷信号而产生第二子帧图像；
照射控制步骤，其中执行控制以使得在所述第一子帧周期中的作为除所述第一读出周期之外的周期的整体或一部分的照射周期中，以红外光照射成像范围，并且在除所述照射周期之外的周期中，不以红外光照射所述成像范围；以及
彩色图像产生步骤，其中基于所述第一子帧图像和所述第二子帧图像而以所述预定帧率产生彩色图像。
12.一种用于使计算机执行处理的程序，包括：
产生步骤，其中在作为对应于预定帧率的单个帧周期中的第一子帧周期的一部分的第一读出周期中，用焦平面读出方法读出每一行中的像素的第一电荷信号，在作为所述单个帧周期中的第二子帧周期的一部分的第二读出周期中，用所述焦平面读出方法读出每一行中的所述像素的第二电荷信号，基于所述第一电荷信号而产生第一子帧图像，并且基于所述第二电荷信号而产生第二子帧图像；
照射控制步骤，其中执行控制以使得在作为除所述第一子帧周期中的所述第一读出周期之外的周期的整体或一部分的照射周期中，以红外光照射成像范围，并且在除所述照射周期之外的周期中，不以红外光照射所述成像范围；以及
彩色图像产生步骤，其中基于所述第一子帧图像和所述第二子帧图像而以所述预定帧率产生彩色图像。
13.一种图像处理装置，从成像元件接受第一子帧图像和第二子帧图像的输入，所述成像元件被配置成在作为对应于预定帧率的单个帧周期中的第一子帧周期的一部分的第一读出周期中，用焦平面读出方法读出每一行中的像素的第一电荷信号，在作为所述单个帧周期中的第二子帧周期的一部分的第二读出周期中，用所述焦平面读出方法读出每一行中的所述像素的第二电荷信号，基于所述第一电荷信号而产生所述第一子帧图像，并且基于所述第二电荷信号而产生所述第二子帧图像，所述图像处理装置包括：
照射控制单元，被配置成执行控制以使得在所述第一子帧周期中的作为除了所述第一读出周期之外的周期的整体或一部分的照射周期中，以红外光照射成像范围，并且在除所述照射周期之外的周期中，不以红外光照射所述成像范围；以及
彩色图像产生单元，被配置成基于所述第一子帧图像和所述第二子帧图像而以所述预定帧率产生彩色图像。
CN201680025913.6A 2015-05-07 2016-04-25 成像装置、成像方法、图像处理装置 Active CN107534761B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-094630 2015-05-07
JP2015094630A JP2016213628A (ja) 2015-05-07 2015-05-07 撮像装置、撮像方法、およびプログラム、並びに画像処理装置
PCT/JP2016/062878 WO2016178379A1 (ja) 2015-05-07 2016-04-25 撮像装置、撮像方法、およびプログラム、並びに画像処理装置

Publications (2)

Publication Number Publication Date
CN107534761A true CN107534761A (zh) 2018-01-02
CN107534761B CN107534761B (zh) 2020-06-16

Family

ID=57217624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680025913.6A Active CN107534761B (zh) 2015-05-07 2016-04-25 成像装置、成像方法、图像处理装置

Country Status (4)

Country Link
US (1) US10484653B2 (zh)
JP (1) JP2016213628A (zh)
CN (1) CN107534761B (zh)
WO (1) WO2016178379A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109672828A (zh) * 2019-01-04 2019-04-23 深圳英飞拓科技股份有限公司 基于光路白平衡的低照度提升装置及低照度提升方法
CN110636187A (zh) * 2018-06-25 2019-12-31 半导体组件工业公司 用于限制对红外光的暴露的方法、驱动器ic和成像系统
CN110798623A (zh) * 2019-10-15 2020-02-14 华为技术有限公司 单目摄像机、图像处理系统以及图像处理方法
WO2022078036A1 (zh) * 2020-10-15 2022-04-21 华为技术有限公司 摄像机以及摄像机的控制方法
US11410337B2 (en) 2018-03-30 2022-08-09 Sony Corporation Image processing device, image processing method and mobile body

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6264233B2 (ja) * 2014-09-02 2018-01-24 株式会社Ｊｖｃケンウッド 撮像装置、撮像装置の制御方法及び制御プログラム
US9521351B1 (en) * 2015-09-21 2016-12-13 Rambus Inc. Fractional-readout oversampled image sensor
US10701244B2 (en) * 2016-09-30 2020-06-30 Microsoft Technology Licensing, Llc Recolorization of infrared image streams
EP3605606B1 (en) * 2018-08-03 2022-06-15 ams Sensors Belgium BVBA Imaging system comprising an infrared light source and an image sensor
EP3664439A1 (en) * 2018-12-07 2020-06-10 Fundació Institut de Ciències Fotòniques An optoelectronic, a reading-out method, and a uses of the optoelectronic apparatus
US20200213486A1 (en) * 2018-12-27 2020-07-02 Chongqing Jinkang New Energy Vehicle Co., Ltd. Vehicle camera system and method
CN110493494B (zh) * 2019-05-31 2021-02-26 杭州海康威视数字技术股份有限公司 图像融合装置及图像融合方法
JP7480787B2 (ja) * 2019-12-10 2024-05-10 株式会社ソシオネクスト 画像処理装置、画像処理方法及びプログラム
JP2022119379A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011233983A (ja) * 2010-04-23 2011-11-17 Panasonic Corp 撮像装置
CN102370462A (zh) * 2010-07-13 2012-03-14 索尼公司 成像装置、成像系统、手术导航系统和成像方法
CN103929628A (zh) * 2013-01-10 2014-07-16 株式会社日立制作所 摄像装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4210922B2 (ja) 2003-10-27 2009-01-21 ソニー株式会社 撮像装置および方法
JP2006287632A (ja) * 2005-03-31 2006-10-19 Pioneer Electronic Corp ノイズ低減装置およびノイズ低減方法
JP4341695B2 (ja) * 2007-05-17 2009-10-07 ソニー株式会社 画像入力処理装置、撮像信号処理回路、および、撮像信号のノイズ低減方法
JP2010098358A (ja) 2008-10-14 2010-04-30 Panasonic Corp 撮像素子および撮像装置
JP5874116B2 (ja) 2009-07-30 2016-03-02 国立研究開発法人産業技術総合研究所 画像撮影装置および画像撮影方法
JP6251962B2 (ja) * 2012-03-01 2017-12-27 日産自動車株式会社 カメラ装置及び画像処理方法
JP6160292B2 (ja) 2013-06-24 2017-07-12 富士通株式会社 画像補正装置、撮像装置及び画像補正用コンピュータプログラム
WO2015011869A1 (ja) * 2013-07-23 2015-01-29 パナソニックＩｐマネジメント株式会社 撮像装置及びその駆動方法
JP6471953B2 (ja) * 2014-05-23 2019-02-20 パナソニックＩｐマネジメント株式会社 撮像装置、撮像システム、及び撮像方法
JP2016096430A (ja) 2014-11-13 2016-05-26 パナソニックＩｐマネジメント株式会社 撮像装置及び撮像方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011233983A (ja) * 2010-04-23 2011-11-17 Panasonic Corp 撮像装置
CN102370462A (zh) * 2010-07-13 2012-03-14 索尼公司 成像装置、成像系统、手术导航系统和成像方法
CN103929628A (zh) * 2013-01-10 2014-07-16 株式会社日立制作所 摄像装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11410337B2 (en) 2018-03-30 2022-08-09 Sony Corporation Image processing device, image processing method and mobile body
CN110636187A (zh) * 2018-06-25 2019-12-31 半导体组件工业公司 用于限制对红外光的暴露的方法、驱动器ic和成像系统
CN110636187B (zh) * 2018-06-25 2022-04-26 半导体组件工业公司 用于限制对红外光的暴露的方法、驱动器ic和成像系统
CN109672828A (zh) * 2019-01-04 2019-04-23 深圳英飞拓科技股份有限公司 基于光路白平衡的低照度提升装置及低照度提升方法
CN110798623A (zh) * 2019-10-15 2020-02-14 华为技术有限公司 单目摄像机、图像处理系统以及图像处理方法
WO2021073140A1 (zh) * 2019-10-15 2021-04-22 华为技术有限公司 单目摄像机、图像处理系统以及图像处理方法
WO2022078036A1 (zh) * 2020-10-15 2022-04-21 华为技术有限公司 摄像机以及摄像机的控制方法

Also Published As

Publication number Publication date
US10484653B2 (en) 2019-11-19
JP2016213628A (ja) 2016-12-15
WO2016178379A1 (ja) 2016-11-10
US20180115752A1 (en) 2018-04-26
CN107534761B (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
CN107534761A (zh) 成像装置、成像方法、程序和图像处理装置
CN107005639B (zh) 图像拾取设备、图像拾取方法和图像处理设备
US8547451B2 (en) Apparatus and method for obtaining high dynamic range image
CN104038702B (zh) 摄像设备及其控制方法
US10021313B1 (en) Image adjustment techniques for multiple-frame images
US8467088B2 (en) Image signal processing apparatus, imaging apparatus, image signal processing method and computer program
WO2017098897A1 (ja) 撮像装置、撮像制御方法、および、プログラム
US10560642B2 (en) Image processing device, image processing method and imaging device
US20180309940A1 (en) Image processing apparatus, image processing method, and imaging system
WO2017101561A1 (zh) 高动态范围图像的生成方法、拍照装置和终端、成像方法
TWI737979B (zh) 圖像去馬賽克裝置及方法
US10699393B2 (en) Image processing apparatus and image processing method
US8564688B2 (en) Methods, systems and apparatuses for white balance calibration
CN105847772A (zh) 具有透明滤波器像素的成像系统
CN103685968A (zh) 图像处理装置及图像处理方法
JP2011010108A (ja) 撮像制御装置、撮像装置及び撮像制御方法
CN106358030A (zh) 图像处理装置和图像处理方法
KR102158844B1 (ko) 영상 처리 장치, 영상 처리 방법, 및 컴퓨터 판독가능 기록매체
CN110213502A (zh) 图像处理方法、装置、存储介质及电子设备
JP5804857B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN102769760A (zh) 图像处理设备和图像处理方法
CN109639958A (zh) 图像处理装置、图像处理方法及记录介质
JP2012235390A (ja) 画像処理装置及びその制御方法、並びにプログラム
CN109447925B (zh) 图像处理方法和装置、存储介质、电子设备
JP4389671B2 (ja) 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant