CN107534732B - 图像处理装置、摄像装置、图像处理方法及记录介质 - Google Patents

图像处理装置、摄像装置、图像处理方法及记录介质 Download PDF

Info

Publication number
CN107534732B
CN107534732B CN201680023396.9A CN201680023396A CN107534732B CN 107534732 B CN107534732 B CN 107534732B CN 201680023396 A CN201680023396 A CN 201680023396A CN 107534732 B CN107534732 B CN 107534732B
Authority
CN
China
Prior art keywords
image
point
light
image restoration
point image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680023396.9A
Other languages
English (en)
Other versions
CN107534732A (zh
Inventor
田中淳一
林健吉
成濑洋介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN107534732A publication Critical patent/CN107534732A/zh
Application granted granted Critical
Publication of CN107534732B publication Critical patent/CN107534732B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Toxicology (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)

Abstract

本发明提供一种能够良好地进行针对在黄昏或黎明的时间段拍摄的近红外光图像的点像复原处理的图像处理装置、摄像装置、图像处理方法及图像处理程序。本发明的方式中，当近红外光图像的IR数据为混合有可见光成分和近红外光成分的数据时，对IR数据使用基于针对光学系统的可见光的第1点扩散函数的第1点像复原滤波器及基于针对光学系统的近红外光的第2点扩散函数的第2点像复原滤波器而进行点像复原处理。进行该点像复原处理时，根据IR数据的拍摄时的可见光与近红外光的光量比，将使用了第1点像复原滤波器的点像复原处理和使用了第2点像复原滤波器的点像复原处理通过第1增益α及第2增益β进行加权平均，并对在黄昏或黎明的时间段拍摄的IR数据进行适当的点像复原处理。

Description

图像处理装置、摄像装置、图像处理方法及记录介质
技术领域
本发明涉及一种图像处理装置、摄像装置、图像处理方法及图像处理程序，尤其涉及一种对可见光图像及近红外光图像进行基于点扩散函数的点像复原处理的技术。
背景技术
在经由光学系统而拍摄的被摄体像中有时可发现因由光学系统引起的衍射或像差等的影响而点被摄体具有微小的扩散的点扩散现象。表示针对光学系统的点光源的响应的函数被称为点扩散函数(PSF：Point Spread Function)，且作为决定摄像图像的分辨率劣化(模糊)的特性而被熟知。
对因点扩散现象而画质劣化的摄像图像进行基于PSF的点像复原处理，由此能够恢复(复原)已劣化的摄像图像的画质。该点像复原处理为预先求出由透镜(光学系统)的像差等引起的劣化特性(点像特性)，并通过使用了基于该点像特性的点像复原滤波器的图像处理而取消或减少摄像图像的点扩散的处理。
然而，作为搭载能够进行白天的可见光图像的拍摄和夜间的近红外光图像的拍摄的昼夜功能的摄像机而有监控摄像机等，但关于具有昼夜功能的监控摄像机，白天将红外截止滤波器插入到透镜的成像光路，并进行仅在可见光具有灵敏度(感度)的拍摄(彩色成像)，另一方面，在夜间使红外截止滤波器从成像光路退避，并且发出(点亮)近红外光来作为辅助光，并进行在可见光至近红外光的波长频带具有灵敏度的拍摄(黑白摄像)。
当对通过搭载有上述昼夜功能的监控摄像机进行了拍摄的可见光图像及近红外光图像应用点像复原处理时，透镜的像差在可见光和近红外光中不同，因此存在若使用相同的点像复原滤波器，则无法良好地进行可见光图像及近红外光图像中的至少一个图像的点像复原处理。
专利文献1中记载有进行指纹认证、静脉认证及虹膜认证的多种认证的生物认证装置。该生物体认证装置使用具有光波面调制元件的景深扩张光学系统，并且在指纹认证时的指纹摄像中照射可见光或适合使指纹浮现的紫外光，在静脉认证时的静脉摄像中照射适合透射皮肤的同时使血管浮现的红外光，且在虹膜认证时的虹膜摄像中照射可见光或红外光。然后，通过光波面调制元件，并通过分散有光像的分散图像(模糊图像)与对应于由光波面调制元件引起的分散的变换系数的卷积(卷积运算)而将分散图像复原为没有分散的图像。在该复原处理中，通过对拍摄对象(指纹、静脉或虹膜)照射的光的波长而使与由光波面调制元件引起的分散对应的变换系数可变。
并且，专利文献2中记载有在能够同时获取可见光图像和近红外光图像的摄像机中使透镜向光轴方向移动而调整焦点位置的焦点位置调整装置。该焦点位置调整装置使用基于透镜的色差(可见光和近红外光)的焦点位置偏差而使透镜从无穷远侧向最近端侧进行搜索操作，并求出近红外光图像的聚焦状态评价值成为最小值的透镜位置(聚焦位置)，且通过使透镜从该聚焦位置进一步向最近侧移动相当于基于色差的焦点位置偏差的距离，能够在短时间内向近红外光图像的聚焦位置移动。
现有技术文献
专利文献
专利文献1：日本特开2008-113704号公报
专利文献2：日本特开2010-230776号公报
发明内容
发明要解决的技术课题
当对通过搭载有昼夜功能的监控摄像机进行拍摄的可见光图像及近红外光图像应用点像复原处理时，透镜的像差在可见光和近红外光中不同，因此优选切换使用于可见光图像的点像复原处理中的可见光用点像复原滤波器和使用于近红外光图像的点像复原处理的近红外用点像复原滤波器。
然而，实际上，从白天向夜间切换时(所谓黄昏状态)及从夜间向白天切换时(所谓黎明状态)存在混合有可见光和近红外光的时间，因此即使对在黄昏及黎明状态想进行拍摄的近红外光图像使用可见光用点像复原滤波器或近红外用点像复原滤波器中的任一个点像复原滤波器也无法良好地进行点像复原。
专利文献1中记载有对使用具有光波面调制元件的景深扩展光学系统而进行拍摄的可见光图像及近红外光图像的分散图像分别进行复原时，分别改变复原处理(卷积运算)的运算系数及当使用一个拍摄系统拍摄可见光图像及近红外光图像时，因可见光和近红外光的波长而焦距不同的问题，但未公开在混合有可见光和近红外光的光源(黄昏或黎明)下拍摄被摄体的构成、对在黄昏或黎明下进行拍摄的近红外光图像进行点像复原处理的情况下的问题。
并且，专利文献2中所记载的焦点位置调整装置在能够同时获取可见光图像和近红外光图像的摄像机中，使用基于透镜的色差(可见光和近红外光)的焦点位置偏差，从而以良好的精度在短时间内进行对比AF(Autofocus(自动对焦))，在专利文献2中从一开始就未记载有对所拍摄的可见光图像或近红外光图像进行点像复原，且也未公开对在黄昏或黎明下进行拍摄的近红外光图像进行点像复原处理的情况下的问题。
本发明是鉴于这种情况而完成的，其目的在于提供一种能够良好地进行针对在黄昏或黎明的时间段进行拍摄的近红外光图像的点像复原处理的图像处理装置、摄像装置、图像处理方法及图像处理程序。
用于解决技术课题的手段
为了实现上述目的，本发明的一方式所涉及的图像处理装置具备：图像获取部，获取包括利用光学系统以在可见光波长频带及近红外光波长频带具有灵敏度(感度)的方式拍摄的近红外光图像的图像数据；点像复原处理部，对所获取的图像数据，使用基于针对光学系统的可见光的第1点扩散函数的第1点像复原滤波器及基于针对光学系统的近红外光的第2点扩散函数的第2点像复原滤波器而进行点像复原处理；及复原率控制部，对所获取的图像数据，控制点像复原处理部而调整基于使用了第1点像复原滤波器的点像复原处理的第1复原率及基于使用了第2点像复原滤波器的点像复原处理的第2复原率，复原率控制部具有光量比检测部，光量比检测部检测基于近红外光图像的拍摄时的可见光的第1光量与基于近红外光的第2光量的光量比，复原率控制部根据所检测出的光量比而调整第1复原率和第2复原率。
根据本发明的一方式，当图像数据为混合有可见光成分和近红外光成分时，根据基于近红外光图像的拍摄时的可见光的第1光量与基于近红外光的第2光量的光量比(即，图像数据中所含有的可见光成分与近红外光成分之比)而调整基于使用了第1点像复原滤波器的点像复原处理的第1复原率和基于使用了第2点像复原滤波器的点像复原处理的第2复原率，因此能够对在混合有可见光和近红外光的黄昏或黎明的时间段拍摄的图像数据进行适当的点像复原处理。
本发明的另一方式所涉及的图像处理装置中，优选点像复原处理部通过对所获取的图像数据分别应用第1点像复原滤波器及第2点像复原滤波器来生成第1增减量数据及第2增减量数据，且对所生成的第1增减量数据及第2增减量数据和图像数据进行相加，复原率控制部通过根据由光量比检测部检测出的光量比分别调整针对第1增减量数据的第1增益和针对第2增减量数据的第2增益而调整第1复原率和第2复原率。
本发明的又一方式所涉及的图像处理装置中，优选复原率控制部获取基于第1增益和第2增益的总增益，并根据由所述光量比检测部检测出的光量比而调整所获取的总增益中的第1增益与第2增益的比率。通过适当设定总增益，能够任意调整点像复原强度。
本发明的又一方式所涉及的图像处理装置具备：图像获取部，获取包括利用光学系统以在可见光波长频带及近红外光波长频带具有灵敏度的方式拍摄的近红外光图像的图像数据；及点像复原处理部，对所获取的图像数据进行使用了基于针对光学系统的可见光及近红外光的点扩散函数的点像复原滤波器的点像复原处理，点像复原处理部具有光量比检测部，所述光量比检测部在进行使用了点像复原滤波器的点像复原处理时检测基于近红外光图像的拍摄时的可见光的第1光量与基于近红外光的第2光量的光量比，所述点像复原处理部进行使用了基于与所检测出的光量比对应的点扩散函数的点像复原滤波器的点像复原处理。
根据本发明的又一方式，使用基于针对光学系统的可见光及近红外光的点扩散函数的点像复原滤波器(黄昏及黎明的近红外光用点像复原滤波器)、即基于与基于近红外光图像的拍摄时的可见光的第1光量与基于近红外光的第2光量的光量比对应的点扩散函数的点像复原滤波器而对图像数据(包括可见光成分和近红外光成分的图像数据)进行了点像复原处理，因此能够良好地进行在黄昏或黎明的时间段拍摄的图像数据的点像复原处理。
本发明的又一方式所涉及的图像处理装置中，优选点像复原处理部具有：点扩散函数生成部，所述点扩散函数生成部生成根据由光量比检测部检测出的光量比对针对光学系统的可见光的第1点扩散函数和针对光学系统的近红外光的第2点扩散函数进行了加权平均的、针对光学系统的可见光及近红外光的点扩散函数；及点像复原滤波器生成部，所述点像复原滤波器生成部根据所生成的点扩散函数而生成点像复原滤波器，所述点像复原处理部进行使用了所生成的点像复原滤波器的点像复原处理。
本发明的又一方式所涉及的图像处理装置中，优选点像复原处理部具有：点扩散函数存储部，所述点扩散函数存储部存储与由光量比检测部检测出的光量比对应的多个点扩散函数；及点像复原滤波器生成部，所述点像复原滤波器生成部从点扩散函数存储部读取与由光量比检测部检测出的光量比对应的点扩散函数，并根据所读取的点扩散函数生成点像复原滤波器，所述点像复原处理部进行使用了所生成的点像复原滤波器的点像复原处理。
本发明的又一方式所涉及的图像处理装置中，优选点像复原处理部具有点像复原滤波器存储部，所述点像复原滤波器存储部存储基于与由光量比检测部检测出的光量比对应的多个点扩散函数的多个点像复原滤波器，所述点像复原处理部从点像复原滤波器存储部读取与由光量比检测部检测出的光量比对应的点像复原滤波器，并进行使用了所读取的点像复原滤波器的点像复原处理。
本发明的又一方式所涉及的图像处理装置中，优选由图像获取部获取的图像数据为连续拍摄的动态图像数据，光量比检测部测定动态图像数据的多个帧在拍摄期间中的光量，并根据所测定出的光量而检测第1光量与第2光量的光量比。能够提高光量比的检测可靠性，并能够对连续的动态图像数据进行稳定的点像复原处理。
本发明的又一方式所涉及的图像处理装置中，图像获取部还获取表示利用光学系统以在可见光波长频带具有灵敏度的方式拍摄的可见光图像的图像数据，点像复原处理部对表示可见光图像的图像数据，使用基于针对光学系统的可见光的第1点扩散函数的第1点像复原滤波器而进行点像复原处理。由此，能够良好地进行表示在白天拍摄的可见光图像的图像数据的点像复原处理。
本发明的又一方式所涉及的图像处理装置中，优选表示可见光图像的图像数据包括第1颜色数据和用于得到亮度数据的贡献率比第1颜色数据低的两种颜色以上的第2颜色数据，点像复原处理部对从表示可见光图像的图像数据生成的亮度数据进行使用了与亮度数据对应的第1点像复原滤波器的点像复原处理。作为针对表示可见光图像的图像数据的点像复原处理，对根据表示可见光图像的图像数据而生成的亮度数据进行使用了与亮度数据对应的第1点像复原滤波器的点像复原处理，因此无需按每一颜色通道对表示可见光图像的图像数据进行点像复原处理便能够将装置结构简单化。
本发明的又一方式所涉及的图像处理装置中，优选表示可见光图像的图像数据包括第1颜色数据和用于得到亮度数据的贡献率比第1颜色数据低的两种颜色以上的第2颜色数据，点像复原处理部对第1颜色数据及两种颜色以上的各第2颜色数据进行使用了分别与第1颜色数据及两种颜色以上的各第2颜色数据对应的第1点像复原滤波器的点像复原处理。作为针对表示可见光图像的图像数据的点像复原处理，按每一表示可见光图像的图像数据的颜色通道进行点像复原处理，因此能够进行减少倍率色差的点像复原处理。
本发明的又一方式所涉及的图像处理装置中，优选当所获取的图像数据为只有近红外光成分的图像数据时，点像复原处理部对只有近红外光成分的图像数据仅进行使用了基于针对光学系统的近红外光的第2点扩散函数的第2点像复原滤波器的点像复原处理。
由此，能够良好地进行在夜间拍摄的只有近红外光成分的图像数据的点像复原处理。另外，所获取的图像数据为只有近红外光成分的图像数据例如为由光量比检测部检测出的可见光的光量比极低的情况，即可见光量并不仅限于0，而包括总光量的10％以下，优选5％以下，更优选3％以下的情况。
本发明的又一方式所涉及的摄像装置具备：上述图像处理装置；及近红外光发光部，在近红外光图像的拍摄时发出近红外光来作为辅助光。
本发明的又一方式所涉及的摄像装置中光学系统为红外截止滤波器插入到成像光路或能够从成像光路退避的光学系统，图像获取部为如下摄像部，即使用红外截止滤波器被插入在成像光路的光学系统而对被摄体进行拍摄，并获取表示该被摄体的可见光图像的图像数据，且从近红外光发光部发出近红外光，并且使用红外截止滤波器从成像光路退避的光学系统而对被摄体进行拍摄，并获取表示该被摄体的近红外光图像的图像数据。
本发明的又一方式所涉及的摄像装置中，所述图像获取部为如下摄像部，具有成像元件，所述成像元件中混合排列有在可见光波长频带具有灵敏度的可见光图像的拍摄用第1像素和在可见光波长频带及近红外光波长频带具有灵敏度的近红外光图像的拍摄用第2像素，该摄像部利用所述光学系统及所述成像元件的第1像素而获取表示被摄体的可见光图像的图像数据，从所述近红外光发光部发出近红外光，并且利用所述光学系统及所述成像元件的第2像素而获取表示被摄体的近红外光图像的图像数据。为具有该成像元件的摄像装置的情况下，不需要红外截止滤波器及取出和放入红外截止滤波器的结构。
本发明的又一方式所涉及的图像处理方法包括如下步骤：获取包括利用光学系统以在可见光波长频带及近红外光波长频带具有灵敏度的方式拍摄的近红外光图像的图像数据；对所获取的图像数据，使用基于针对光学系统的可见光的第1点扩散函数的第1点像复原滤波器及基于针对光学系统的近红外光的第2点扩散函数的第2点像复原滤波器而进行点像复原处理；及对所获取的图像数据，控制点像复原处理而调整基于使用了第1点像复原滤波器的点像复原处理的第1复原率及基于使用了第2点像复原滤波器的点像复原处理的第2复原率，其中，检测基于近红外光图像的拍摄时的可见光的第1光量与基于近红外光的第2光量的光量比，并根据所检测出的光量比而调整第1复原率和第2复原率。
本发明的又一方式所涉及的图像处理方法包括如下步骤：获取包括利用光学系统以在可见光波长频带及近红外光波长频带具有灵敏度的方式拍摄的近红外光图像的图像数据；及对所获取的图像数据进行使用了基于针对光学系统的可见光及近红外光的点扩散函数的点像复原滤波器的点像复原处理，对作为所获取的图像数据的在混合有可见光和近红外光的光源下所拍摄的图像数据进行使用了点像复原滤波器的点像复原处理的步骤中检测基于近红外光图像的拍摄时的可见光的第1光量与基于近红外光的第2光量的光量比，且进行使用了基于与所检测出的光量比对应的点扩散函数的点像复原滤波器的点像复原处理。
本发明的又一方式所涉及的图像处理程序使计算机执行如下步骤：获取包括利用光学系统以在可见光波长频带及近红外光波长频带具有灵敏度的方式所拍摄的近红外光图像的图像数据；对所获取的图像数据，使用基于针对光学系统的可见光的第1点扩散函数的第1点像复原滤波器及基于针对光学系统的近红外光的第2点扩散函数的第2点像复原滤波器而进行点像复原处理；及对所获取的图像数据，控制点像复原处理而调整基于使用了第1点像复原滤波器的点像复原处理的第1复原率及基于使用了第2点像复原滤波器的点像复原处理的第2复原率，其中，检测基于近红外光图像的拍摄时的可见光的第1光量与基于近红外光的第2光量的光量比，并根据所检测出的光量比而调整第1复原率和第2复原率。
本发明的又一方式所涉及的图像处理程序包括如下步骤：获取包括利用光学系统以在可见光波长频带及近红外光波长频带具有灵敏度的方式拍摄的近红外光图像的图像数据；及对所获取的图像数据进行使用了基于针对光学系统的可见光及近红外光的点扩散函数的点像复原滤波器的点像复原处理，对所获取的图像数据即在混合有可见光和近红外光的光源下所拍摄的图像数据进行使用了点像复原滤波器的点像复原处理的步骤中检测基于近红外光图像的拍摄时的可见光的第1光量与基于近红外光的第2光量的光量比，且使计算机执行进行使用了基于与所检测出的光量比对应的点扩散函数的点像复原滤波器的点像复原处理。记录有这些图像处理程序的非暂时性有形介质(a non-transitorycomputer-readable tangible medium)也包含于本发明的方式中。
发明效果
根据本发明，对在混合有可见光成分和近红外光成分的黄昏或黎明的状态下拍摄的近红外光图像进行基于可见光的光量与近红外光的光量的光量比的点像复原处理，因此能够对在黄昏或黎明的状态下拍摄的近红外光图像进行良好的点像复原处理。
附图说明
图1为表示摄像装置的功能结构例的框图，且为表示在白天拍摄可见光图像(动态图像)的情况的图。
图2为表示摄像装置的功能结构例的框图，且为表示拍摄黄昏及夜间的近红外光图像(动态图像)的情况的图。
图3为表示850nm类型的近红外LED和940nm类型的近红外LED的分光特性的图表。
图4为表示拜耳排列的基本排列图案的图和表示RGB的各彩色滤波器的分光透射率特性的图。
图5为表示摄像机控制器的结构例的框图。
图6为表示摄像机控制器内的图像处理部的第1实施方式的框图。
图7为表示第1实施方式的点像复原处理部的框图。
图8为表示伴随白天至夜间的时间经过的被摄体的亮度(光量)的变化的图表。
图9为表示图像处理方法的第1实施方式的流程图。
图10为表示图像处理方法的第1实施方式的变形例的流程图。
图11为表示总增益γ、第1增益α及第2增益β的关系的示意图。
图12为表示第2实施方式的点像复原处理部的框图。
图13为表示图像处理方法的第2实施方式的流程图。
图14为表示第3实施方式的点像复原处理部的框图。
图15为表示第4实施方式的点像复原处理部的框图。
图16为表示摄像机控制器内的图像处理部的第2实施方式的框图。
图17为表示另一实施方式的设有成像元件的RGB的彩色滤波器及近红外光透射滤波器的基本排列图案的图和表示RGB的各彩色滤波器及近红外光透射滤波器的分光透射率特性的图表。
图18为表示具备EDoF光学系统的摄像模块的一方式的框图。
图19为表示EDoF光学系统的一例的图。
图20为表示经由EDoF光学系统而获取的图像的复原例的图。
具体实施方式
以下，按照附图对本发明所涉及的图像处理装置、摄像装置、图像处理方法及图像处理程序的实施方式进行说明。以下的实施方式中，作为一例而将本发明应用于用作能够与计算机(PC：Personal Computer)连接的监控摄像机的摄像装置的情况进行说明。
图1及图2为分别表示与计算机连接的摄像装置10的功能结构例的框图。另外，在图1中示出有关通过摄像装置10而拍摄白天的可见光图像(动态图像)的情况，且在图2示出有关通过摄像装置10而拍摄黄昏及夜间的近红外光图像(动态图像)的情况。
图1及图2所示的摄像装置10为搭载有昼夜功能的监控摄像机，并具有拍摄可见光图像的可见光图像拍摄模式和拍摄近红外光图像的近红外光图像拍摄模式。
如图1及图2所示，摄像装置10主要由透镜单元12、近红外光发光部15、滤波器装置24、成像元件(图像获取部)26、摄像机控制器28及输入输出接口32构成，其中，透镜单元12、近红外光发光部15、滤波器装置24及成像元件(图像获取部)26构成摄像部。
透镜单元12具备透镜16、光圈17等光学系统和控制该光学系统的光学系统操作部18。光学系统操作部18包括调整透镜16的聚焦位置的手动操作部及通过从摄像机控制器28附加的控制信号而驱动光圈17的光圈驱动部。
近红外光发光部15具备近红外光发光二极管(近红外LED(LED：Light EmittingDiode))，且如图2所示，在近红外光图像拍摄模式时根据从摄像机控制器28附加的点亮指示而连续发出(照射)近红外光来作为辅助光。如图3所示，近红外LED中存在具有850nm类型的分光特性的近红外LED和具有940nm类型的分光特性的近红外LED，且均能够用作近红外光发光部15的光源。
滤波器装置24通过使具备红外截止滤波器20及白玻璃22的滑动板向与光轴正交的方向移动或使具备红外截止滤波器20及白玻璃22的转台旋转，将红外截止滤波器20插入成像光路或使其从成像光路退避，且使白玻璃22从成像光路退避或将其插入成像光路，根据从摄像机控制器28附加的指令而在可见光图像拍摄模式时将红外截止滤波器20插入成像光路(图1)，在近红外光图像拍摄模式时将白玻璃22插入成像光路(图2)。
在此，白玻璃22优选具有与红外截止滤波器20相同的折射率及厚度。由此，即使进行红外截止滤波器20与白玻璃22的切换也能够不改变焦点位置。
成像元件26由CMOS(Complementary Metal-Oxide Semiconductor(互补金属氧化半导体))型彩色图像传感器构成。另外，成像元件26并不限定于CMOS型，还可以是XY地址型或CCD(Charge Coupled Device(电荷耦合元件))型图像传感器。
成像元件26具有以矩阵状配置的多个像素，各像素包含微透镜、红(R)、绿(G)或蓝(B)彩色滤波器及光电转换部(光电二极管等)而构成。RGB的彩色滤波器具有规定图案的滤波器排列(拜耳排列、X-Trans(注册商标)排列等)，图4(A)表示拜耳排列的基本排列图案。
图4(B)表示RGB的各彩色滤波器的分光透射率特性。如图4(B)所示，具有RGB的各彩色滤波器的像素(以下称为R像素、G像素及B像素)对具有850nm类型或940nm类型的分光特性的近红外LED的近红外光(图3参照)具有大致相同的灵敏度。从而，在近红外光图像拍摄模式中，成像元件26的R像素、G像素及B像素分别作为近红外光像素(IR(infrared(红外线))像素)而发挥功能。
即，在以可见光图像拍摄模式进行拍摄时，从成像元件26输出表示可见光图像的图像数据即与RGB的彩色滤波器的滤波器排列对应的马赛克数据(红(R)、绿(G)、蓝(B)马赛克状颜色数据(RGB数据))，且在以近红外光图像拍摄模式进行拍摄时，从成像元件26输出表示近红外光图像的图像数据即表示一个画面量的黑白图像的近红外光图像数据(IR数据)。
关于摄像机控制器28的详细内容将在后面叙述，但其具有作为总括控制摄像装置10的各部的设备控制部34的功能和作为进行从成像元件26发送过来的图像数据(表示在可见光图像拍摄模式时拍摄的可见光图像的图像数据或表示在近红外光图像拍摄模式时拍摄的近红外光图像的图像数据)的图像处理的图像处理部(图像处理装置)35的功能。
在摄像机控制器28中，经图像处理的图像数据存储于设置在摄像装置10的存储部(未图示)和/或经由输入输出接口32而被发送到计算机60等。从摄像机控制器28输出的图像数据的格式并无特别限定，为动态图像时可设为MPEG(Moving Picture Experts Group(运动图像专家组))、H.264等格式，为静态图像时可设为JPEG(Joint PhotographicExperts Group(联合图像专家组))、TIFF(Tagged Image File Format(标记图像文件格式))等格式。并且，可输出并不进行基于图像处理部35的图像处理的原始数据(RAW数据)。而且，摄像机控制器28可以如所谓的Exif(Exchangeable Image File Format(可交换图像文件格式))使标题信息(拍摄日期和时间、机种、像素数、光圈值等)、主图像数据及缩略图图像数据等多个关联数据彼此对应来作为一个图像文件而构成，并输出该图像文件。
计算机60经由摄像装置10的输入输出接口32及计算机输入输出部62而与摄像装置10连接，并接收从摄像装置10发送过来的图像数据等数据类。计算机控制器64总括控制计算机60，对来自摄像装置10的图像数据进行图像处理，并控制与经由互联网70等网络线路而与计算机输入输出部62连接的服务器80等的通信。计算机60具有显示器66，计算机控制器64中的处理内容等根据需要而显示于显示器66。用户通过确认显示器66的显示的同时操作键盘等输入机构(省略图示)，能够向计算机控制器64输入数据或命令。由此，用户能够控制计算机60、与计算机60连接的设备类(摄像装置10、服务器80)。
服务器80具有服务器输入输出部82及服务器控制器84。服务器输入输出部82构成与计算机60等外部设备类的收发连接部，并经由互联网70等网络线路而与计算机60的计算机输入输出部62连接。服务器控制器84根据来自计算机60的控制指示信号，与计算机控制器64协动，且在与计算机控制器64之间根据需要而进行数据类的收发，将数据类下载到计算机60，并进行运算处理而将该运算结果发送到计算机60。
各控制器(摄像机控制器28、计算机控制器64、服务器控制器84)具有控制处理中所需要的线路类，例如具备中央处理装置(CPU(Central Processing Unit)等)或存储器等。并且，摄像装置10、计算机60及服务器80之间的通信可以是有线也可以是无线。并且，可以将计算机60及服务器80一体构成，并且，也可以省略计算机60和/或服务器80。而且，可以使摄像装置10具有与服务器80的通信功能，且在摄像装置10与服务器80之间直接进行数据类的收发。进而，还可以从摄像装置10向计算机60或服务器80发送RAW数据，且由计算机60或服务器80的图像处理部(图像处理装置)作为摄像机控制器28内的图像处理部35(图5)而发挥功能，并进行所输入的RAW数据的图像处理。
[图像处理装置]
＜图像处理装置的第1实施方式＞
图6为表示图5所示的摄像机控制器28内的图像处理部35的第1实施方式的框图。
图6所示的第1实施方式的图像处理部35由偏移校正处理部41、增益校正处理部42、去马赛克处理部43、包括伽马校正处理部的第1灰度校正处理部45、第2灰度校正处理部46、亮度及色差转换处理部47及点像复原处理部48构成。
偏移校正处理部41按点顺序输入从成像元件26获取的图像处理前的RAW数据(马赛克状RGB数据或IR数据)。另外，RAW数据例如为按每一RGB具有12比特(0～4095)的比特长的数据(每1像素为2字节的数据)。并且，本例的RAW数据为连续拍摄的动态图像数据。
偏移校正处理部41为对所输入的RAW数据中所包含的暗电流成分进行校正的处理部，且通过从RAW数据减去从成像元件26上的遮光像素得到的光学黑体的信号值而进行RAW数据的偏移校正。
经偏移校正的RAW数据被附加于增益校正处理部42。当RAW数据为RGB数据时，增益校正处理部42作为调整白平衡(WB：White Balance)的WB校正处理部而发挥功能，且将按RGB的每一颜色设定的WB增益分别乘以RGB数据而进行RGB数据的白平衡校正。WB增益例如设为根据RGB数据而自动判定光源种类，或者选择基于手动的光源种类而选择适合所判定或选择的光源种类的WB增益，但WB增益的设定方法并不限定于此，能够通过其他公知的方法而设定。
并且，当RAW数据为IR数据时，增益校正处理部42作为校正针对近红外光的R像素、G像素及B像素的灵敏度差的灵敏度校正处理部而发挥功能，且将从R像素、G像素及B像素输出的各IR数据的累积平均值设为1:1:1的增益分别乘以与R像素、G像素及B像素对应的IR数据，并校正IR数据。另外，在R像素、G像素及B像素中，没有针对近红外光的灵敏度差的情况下，不需要进行基于增益校正处理部42的灵敏度差的校正。
去马赛克处理部43为进行从与单板式成像元件26的彩色滤波器排列对应的马赛克图像按每一像素计算所有的颜色信息的去马赛克处理(还称为“同步处理”)的部分，例如为包括RGB这3种颜色的彩色滤波器的成像元件时，从包括RGB的马赛克图像按每一像素计算RGB所有的颜色信息。即，去马赛克处理部43根据马赛克数据(点顺序的RGB数据)生成被同步的RGB3面的图像数据。另外，对于IR数据，不进行基于去马赛克处理部43的去马赛克处理。
经去马赛克处理的RGB数据被附加于第1灰度校正处理部45。第1灰度校正处理部45为对RGB数据进行非线性灰度校正的部分，例如对所输入的RGB数据进行基于对数化处理的伽马校正处理，并以图像通过显示器装置自然再现的方式对RGB数据进行非线性处理。
本例中，第1灰度校正处理部45对12比特(0～4095)的RGB数据，进行与伽马特性对应的伽马校正而生成8比特(0～255)的RGB的颜色数据(1字节的数据)。第1灰度校正处理部45例如能够根据每一RGB的查表而构成，并优选进行与RGB数据的每一颜色分别对应的伽马校正。另外，第1灰度校正处理部45包括对输入数据进行沿色调曲线的非线性灰度校正的部分。
通过第1灰度校正处理部45进行灰度校正的RGB数据被附加于亮度及色差转换处理部47。亮度及色差转换处理部47为将第1颜色数据(G数据)和用于得到亮度数据的贡献率比第1颜色数据(G数据)低的两种颜色以上的第2颜色数据(R数据、B数据)转换为表示亮度成分的亮度数据Y和色差数据Cr、Cb的处理部，且能够通过以下式计算。
[数式1]
Y＝0.299R+0.587G+0.114B
Cb＝-0.168736R-0.331264G+0.5B
Cr＝-0.5R-0.418688G-0.081312B
另外，从RGB数据向亮度数据Y、色差数据Cr、Cb的转换式并不限定于上述[数式1]。
通过亮度及色差转换处理部47由RGB数据转换的亮度数据Y被附加于点像复原处理部48。
另一方面，近红外光图像拍摄模式时通过增益校正处理部42进行了灵敏度校正的IR数据被附加于第2灰度校正处理部46，在此进行与基于第1灰度校正处理部45的灰度校正处理相同的灰度校正。即，第2灰度校正处理部46能够根据IR用查表构成，且对所输入的12比特的IR数据进行与伽马特性对应的伽马校正而生成8比特的IR数据。另外，关于第1灰度校正处理部45与第2灰度校正处理部46，用于进行灰度校正的查表分别不同，但其他共通，因此能够进行处理电路的共通化。
通过第2灰度校正处理部46进行了灰度校正的IR数据被附加于点像复原处理部48。
点像复原处理部48中根据拍摄模式(可见光图像拍摄模式或近红外光图像拍摄模式)而输入亮度数据Y或IR数据，且点像复原处理部48对所输入的亮度数据Y或IR数据进行点像复原处理。
[点像复原处理部]
＜点像复原处理部的第1实施方式＞
接着，对图6所示的点像复原处理部48的第1实施方式进行说明。
图7为表示第1实施方式的点像复原处理部48的框图。第1实施方式的点像复原处理部48主要具备由第1点像复原滤波器处理部110、第2点像复原滤波器处理部120、乘法器112、122及加法器130、140构成的点像复原处理部100和复原率控制部150。
第1点像复原滤波器处理部110将基于针对光学系统(透镜16等)的可见光的第1点扩散函数的第1点像复原滤波器应用于根据拍摄模式而输入的图像数据(亮度数据Y或IR数据)而生成经点像复原处理的图像数据的增减量数据(第1增减量数据)。
乘法器112对通过第1点像复原滤波器处理部110而生成的第1增减量数据乘以第1增益α，并进行第1增减量数据的增益调整(基于点像复原处理的第1复原率的调整)。通过乘法器112进行了增益调整的第1增减量数据被输出于加法器130。
另一方面，第2点像复原滤波器处理部120将基于针对光学系统(透镜16等)的近红外光的第2点扩散函数的第2点像复原滤波器应用于根据拍摄模式输入的IR数据而生成经点像复原处理的IR数据的增减量数据(第2增减量数据)。
乘法器122对通过第2点像复原滤波器处理部120而生成的第2增减量数据乘以第2增益β，并进行第2增减量数据的增益调整(基于点像复原处理的第2复原率的调整)。通过乘法器122进行了增益调整的第2增减量数据被输出于加法器130。
加法器130对通过乘法器112而进行了增益调整的第1增减量数据和通过乘法器122进行了增益调整的第2增减量数据进行相加，并将所相加的增减量数据输出于加法器140。
加法器140的其他输入中，根据拍摄模式而附加有亮度数据Y或IR数据，加法器140对所输入的亮度数据Y或IR数据和从加法器130附加的增减量数据进行相加。由此，从加法器140输出经点像复原处理的亮度数据Y或IR数据。
接着，对分别附加于乘法器112及122的第1增益α及第2增益β进行说明。
近红外光图像拍摄模式的拍摄模式时，即从白天向夜间切换期间的黄昏状态下，除了从近红外光发光部15发出的近红外光以外，被摄体周围的光(太阳光)被照射到被摄体。成像元件26在红外截止滤波器20插入到成像光路的可见光图像拍摄模式时，以在可见光波长频带具有灵敏度的方式进行拍摄，但若切换到近红外光图像拍摄模式，且红外截止滤波器20从成像光路退避时，以在可见光波长频带及近红外光波长频带具有灵敏度的方式进行拍摄。从而，在黄昏状态下拍摄的IR数据中包括近红外光成分以外的可见光成分，且对在黄昏状态下拍摄的IR数据进行针对可见光的点像复原处理与针对近红外光的点像复原处理的中间的点像复原处理，由此能够进行良好的点像复原处理。
复原率控制部150主要对在黄昏状态下拍摄的IR数据，根据黄昏状态调整第1增益α与第2增益β的权重，并分别输出至乘法器112及122。
图8为表示伴随从白天至夜间的时间经过的被摄体的亮度(光量)的变化的图表。
如图8所示，被摄体的光量(太阳光的光量)随着从白天至夜间的时间经过而逐渐减少，且在夜间成为零。
若被摄体的光量小于阈值Th(判别白天与黄昏的边界的光量)，则拍摄模式从可见光图像拍摄模式切换到近红外光图像拍摄模式，并进行近红外光图像的拍摄。即，在白天切换到可见光图像拍摄模式，在黄昏及夜间被切换到近红外光图像拍摄模式。
摄像机控制器28在进行基于光圈17的控制及快门速度(成像元件26中的电荷蓄积时间)的控制的自动暴露控制时，检测了被摄体的亮度(EV值(exposure value(曝光值)))，因此能够将所检测成的EV值用作被摄体的光量(亮度)。然后，摄像机控制器28在所检测出的EV值小于阈值Th时，从可见光图像拍摄模式切换到近红外光图像拍摄模式。
近红外光图像拍摄模式中，如图2所示，替代红外截止滤波器20而将白玻璃22插入到成像光路，并且将近红外光发光部15点亮，且从近红外光发光部15发出近红外光。
从而，如图8所示，被摄体的光量在被切换到近红外光图像拍摄模式时，光量增加相当于从近红外光发光部15照射到被摄体的近红外光的光量部分。
图8中，将最初成为小于阈值Th时的光量设为A，将从可见光图像拍摄模式切换到近红外光图像拍摄模式时点的光量设为B，且将黄昏状态的任意时点的光量设为C，则从光量B减去光量A而得到的光量(光量B-光量A)为与从近红外光发光部15照射到被摄体的近红外光对应的光量，且为固定值。从而，夜间的光量成为仅基于近红外光的固定光量。
并且，黄昏状态下的可见光的光量是从光量C减去仅基于近红外光的固定光量(光量B-光量A)而得到的光量(光量C-(光量B-光量A))。
返回到图7，复原率控制部150具有光量比检测部160。并且，复原率控制部150中附加有从摄像机控制器28表示可见光图像拍摄模式或近红外光图像拍摄模式的拍摄模式信息和未图示的被摄体的光量数据(例如，EV值)，且光量比检测部160在拍摄模式为近红外光图像拍摄模式时能够作动，并根据所输入的光量数据而检测黄昏状态下的可见光的光量(第1光量)与近红外光的光量(第2光量)的光量比。
即，光量比检测部160在存储所输入的光量数据最初成为小于阈值Th时的光量数据(光量A)和切换到红外光图像拍摄模式的时点的光量数据(光量B)之后，根据实时输入的光量数据(光量C)而检测黄昏状态下的可见光的光量(光量C-(光量B-光量A))与近红外光的光量(光量B-光量A)的光量比。
复原率控制部150根据通过光量比检测部160检测出的光量比而调整第1增益α与第2增益β之比。具体而言，当可见光的光量与近红外光的光量的光量比是x/y时，将第1增益α与第2增益β之比设为α/β。并且，将第1增益α与第2增益β之和(α+β)设为1。即，设为β＝1-α。
如此，复原率控制部150对在黄昏状态下拍摄的IR数据，根据黄昏状态(可见光的光量与近红外光的光量的光量比)而调整第1增益α与第2增益β的权重，且分别输出乘法器112及122，因此能够进行针对可见光的点像复原处理与针对近红外光的点像复原处理的中间的点像复原处理，并能够对黄昏的IR数据进行良好的点像复原处理。
另外，为白天的可见光图像拍摄模式时，第1增益α及第2增益β分别为α＝1、β＝0，且设为对亮度数据Y使用了基于针对光学系统(透镜16等)的可见光的第1点扩散函数的第1点像复原滤波器的点像复原处理(第1点像复原处理)。同样地为夜间的近红外光图像拍摄模式时，第1增益α及第2增益β分别为α＝0、β＝1，且设为对IR数据使用了基于针对光学系统(透镜16等)的近红外光的第2点扩散函数的第2点像复原滤波器的点像复原处理。而且，在白天的可见光图像拍摄模式时，可以替代将第2增益β设为零而关闭第2点像复原滤波器处理部120，另一方面，在夜间的近红外光图像拍摄模式时，可以替代将第1增益α设为零而关闭第1点像复原滤波器处理部110设为零。
[图像处理方法的第1实施方式]
图9为表示本发明所涉及的图像处理方法的第1实施方式的流程图，且示出了基于图7所示的第1实施方式的点像复原处理部48的点像复原处理动作。
图9中，摄像机控制器28检测出被摄体的光量(例如，EV值)，并判别所检测出的光量是否为阈值Th以上(步骤S10)。当所检测出的光量为阈值Th以上时(当为“是”时)，移到步骤S12，并切换到白天的拍摄模式即可见光图像拍摄模式，当为所检测出的光量小于阈值Th时(当为“否”时)，移到步骤S18，并切换到黄昏及夜间的拍摄模式即近红外光图像拍摄模式。
在步骤S12中，将红外截止滤波器20插入到成像光路，并通过步骤S14进行仅基于在可见光波长频带具有灵敏度的可见光的拍摄(可见光图像的拍摄)。根据第1点像复原滤波器处理部110、乘法器112及加法器130、140对所拍摄的可见光图像的亮度数据Y进行仅基于第1点像复原滤波器的点像复原处理(步骤S16)。
另一方面，在步骤S10中，当所检测出的光量小于阈值Th时(当为“否”时)，将最初成为小于阈值Th的光量作为光量A而暂时存储于摄像机控制器28的存储器(步骤S18)。另外，光量A与阈值Th为大致相同的值，因此可以将阈值Th作为光量A而存储。
接着，摄像机控制器28使红外截止滤波器20退避，将白玻璃22插入成像光路，并且点亮近红外光发光部15，并将近红外光照射到被摄体(步骤S20)。通过步骤S20从可见光图像拍摄模式切换到近红外光图像拍摄模式时，将在刚进行切换后所检测出的被摄体的光量作为光量B而暂时存储于摄像机控制器28的存储器(步骤S22)。
接着，实时测定光量，将所测定出的光量作为光量C(步骤S24)，并在黄昏状态(混合有可见光和近红外光的光源下)下进行近红外光图像的拍摄(步骤S26)。接着，光量比检测部160根据在步骤S18中所存储的光量A、在步骤S22中所存储的光量B及在步骤S24中所测定出的光量C而检测可见光与近红外光的光量比(步骤S28)。
根据通过步骤S28而检测出的光量比来调整基于第1点像复原滤波器的点像复原处理的第1复原率和基于第2点像复原滤波器的点像复原处理的第2复原率(步骤S30)。即，复原率控制部150根据通过步骤S22而检测出的光量比来调整第1增益α与第2增益β的比率。
通过步骤S30进行基于已调整的第1复原率及第2复原率的点像复原处理(步骤S32)。即，通过复原率控制部150而调整的第1增益α及第2增益β被分别附加于乘法器112及122，其中，对从第1点像复原滤波器处理部110输出的第1增减量数据乘以第1增益α，同样地对从第2点像复原滤波器处理部120输出的第2增减量数据乘以第2增益β，并将各相乘结果通过加法器130、140而相加于IR数据而进行点像复原处理。
接着，通过光量C-(光量B-光量A)计算黄昏状态下的可见光的光量，并判别所计算出的光量是否大于零(步骤S34)。当所计算出的光量大于零时(当为“是”时)，判断为包含可见光，并移到步骤S24而反复进行步骤S24至步骤S34的处理(黄昏的IR数据的处理)。
另一方面，在步骤S34中，当所计算出的光量为零以下时(当为“否”时)，判断为不包含可见光，并移到步骤S36而进行在夜间拍摄的IR数据的点像复原处理。由于不包含可见光，因此基于近红外光图像拍摄模式的近红外光图像的拍摄成为仅将近红外光作为光源的拍摄(步骤S36)。接着，对仅将近红外光作为光源而拍摄的IR数据，进行仅基于第2点像复原滤波器的点像复原处理(步骤S38)。即，进行基于第2点像复原滤波器处理部120、乘法器122(第2增益β＝1)及加法器130、140的点像复原处理，但不进行基于第1点像复原滤波器处理部110等的点像复原处理。
接着，判别是否结束夜间的拍摄(步骤S40)，当未结束拍摄时(当为“否”时)，移到步骤S36，并反复进行步骤S36至步骤S40的处理，另一方面，当结束拍摄时(当为“是”时)，结束本拍摄动作。
另外，不结束夜间的拍摄而在夜间至白天的黎明状态下，与黄昏相同而混合有可见光和红外光，因此与黄昏状态相同而根据可见光的光量与近红外光的光量的光量比调整第1增益α及第2增益β的权重，并进行使用了第1点像复原滤波器的点像复原处理与使用了第2点像复原滤波器的点像复原处理的加权平均的点像复原处理。并且，关于黎明状态的判断，如图8所示，夜间的光量中只有近红外光为固定光量，当该固定光量增加时能够判断为黎明状态，且能够判断为该增加量为基于可见光的光量。
并且，在步骤S34中，当通过光量C-(光量B-光量A)计算出的光量(可见光量)为0时，判断为不包含可见光(即，只有近红外光成分的图像)，但并不限定于此，在可见光量极其少的情况下也可以判断为只有近红外光成分的图像。即，只有近红外光成分的图像并不仅限定于可见光量为0的图像，还包括由光量比检测部160检测出的可见光的光量比极其低的情况，即为总光量的10％以下，优选为5％以下，更优选为3％以下的情况。当为可见光的光量比极其低的图像时，是因为能够通过仅基于第2点像复原滤波器的点像复原处理而良好地进行点像复原。
图10为表示图9所示的图像处理方法的第1实施方式的变形例的流程图。另外，在图10中，对进行与图9所示的处理共通的处理的步骤标注相同的步骤序号，并省略其详细说明。
图10所示的图像处理方法中，在替代图9所示的步骤S18、S22及S24的处理而进行步骤S118、S122及S124的处理的方面不同。
图10所示的步骤S118中，作为被摄体的光量小于阈值Th时的光量A，测定规定时间(动态图像数据的多个帧的拍摄期间)的光量(例如，平均光量、中央值等代表光量)，并将所测定出的光量暂时存储于存储器。
同样地步骤S122中，在刚切换到近红外光图像拍摄模式之后在规定时间内检测被摄体的光量，并将规定时间的光量作为刚切换到近红外光图像拍摄模式之后的光量B而存储于存储器。
在步骤S124中，实时测定光量，但将当前的规定时间前至当前所测定出的光量作为当前的光量C。
如上述将在检测可见光的光量与近红外光的光量的光量比时所使用的各光量作为规定时间的光量而检测，由此能够以良好精度，并且稳定地检测出光量比。
图7所示的复原率控制部150以第1增益α与第2增益β之和(α+β)成为1的方式确定第1增益α和第2增益β，但并不限定于此，也可以以成为任意的值γ(以下，称为“总增益”)的方式进行确定。
图11为表示总增益γ、第1增益α及第2增益β的关系的示意图。
若设定总增益γ，并且通过光量比检测部160检测出光量比(即，确定第1增益α与第2增益β之比)，则能够唯一地求出第1增益α和第2增益β。
在此，总增益γ为基于点像复原处理的目标复原强度，且可根据拍摄设定条件(光学特性)而发生变动，但只要确定拍摄设定条件，则能够设为固定值。在此所述的拍摄设定条件中，例如可包含透镜、光圈、变焦、被摄体距离、灵敏度、拍摄模式等各种拍摄条件及设定条件。并且，关于总增益γ，能够由摄像装置10的使用者设定为任意的固定值。
若增大总增益γ，则基于点像复原处理的复原强度变强，但容易成为发生伪影的过度校正，另一方面，若减小总增益γ，则能够避免成为过度校正的弊端，但存在基于点像复原处理的复原强度变弱而无法进行充分的点像复原，却模糊残留的问题。从而，优选考虑到基于增强或减弱基于点像复原处理的复原强度的利弊而确定总增益γ。
＜点像复原处理部的第2实施方式＞
接着，对图6所示的点像复原处理部48的第2实施方式进行说明。
图12为表示第2实施方式的点像复原处理部48的框图。第2实施方式的点像复原处理部48主要由点像复原滤波器处理部210、第1点扩散函数存储部220、第2点扩散函数存储部230、第3点扩散函数生成部240、点像复原滤波器生成部250及光量比检测部160构成。
点像复原滤波器处理部210根据拍摄模式而输入亮度数据Y或IR数据，并对所输入的图像数据(亮度数据Y或IR数据)，进行使用了由点像复原滤波器生成部250生成的第1点像复原滤波器F1、第2点像复原滤波器F2及第3点像复原滤波器F3中的任一个点像复原滤波器的点像复原处理，并计算出经点像复原处理的图像数据。即，点像复原滤波器处理部210进行以所输入的图像数据中的处理对象像素为中心的规定的内核尺寸(与点像复原滤波器的内核尺寸相同，例如7×7、9×9等)的图像数据与第1点像复原滤波器F1、第2点像复原滤波器F2及第3点像复原滤波器F3中的点像复原滤波器的反卷积运算(deconvolutionoperation)，并计算经点像复原处理的图像数据。
第1点扩散函数存储部220为存储针对光学系统(透镜16等)的可见光的第1点扩散函数(第1PSF)的存储部。
第2点扩散函数存储部230为存储针对光学系统(透镜16等)的近红外光的第2点扩散函数(第2PSF)的存储部。
第1PSF及第2PSF分别在仅基于可见光的光源及仅基于近红外光的光源的照明条件下拍摄点像，且在根据这些的拍摄时所得到的点像的图像数据而测定，在预先将产品发货之前进行测量，并存储于第1点扩散函数存储部220及第2点扩散函数存储部230。
第3点扩散函数生成部240为生成黄昏用第3PSF的部分，根据从第1点扩散函数存储部220读取的第1PSF、从第2点扩散函数存储部230读取的第2PSF及从光量比检测部160附加的光量比，并根据光量比而计算对第1PSF和第2PSF进行加权平均的第3PSF。另外，光量比检测部160具有与图7所示的光量比检测部160相同的功能，并检测黄昏状态的可见光的光量与近红外光的光量的光量比。
在此，若将黄昏状态的可见光的光量与近红外光的光量的光量比设为p:q、p+q＝1，则第3点扩散函数生成部240通过以下式而计算黄昏用第3PSF。
[数式2]
第3PSF＝第1PSF×p+第2PSF×q
点像复原滤波器生成部250从第1点扩散函数存储部220、第2点扩散函数存储部230或第3点扩散函数生成部240获取第1PSF、第2PSF或第3PSF，并根据所获取的PSF而生成第1点像复原滤波器F1、第2点像复原滤波器F2及第3点像复原滤波器F3中的任一个点像复原滤波器。
通常，基于PSF的模糊图像的复原中能够利用卷积型的维纳(Wiener)滤波器。能够参考对PSF(x,y)进行了傅里叶转换的光学传递函数(OTF：Optical Transfer Function)和信噪比(SNR：Signal to Noise Ratio)的信息，并通过以下式而计算点像复原滤波器的频率特性d(ωx,ωy)。
[数式3]
Figure GDA0001441508500000231
其中，H(ωx,ωy)表示OTF，H*(ωx,ωy)表示其复共轭。并且，SNR(ωx,ωy)表示信噪比。
点像复原滤波器的滤波器系数的设计为以滤波器的频率特性最接近所希望的维纳频率特性的方式选择系数值的最优化问题，可通过任意的公知的方法而适当计算滤波器系数。
可以替代上述[数式3]的OTF而使用表示OTF的振幅成分的调制传递函数(MTF：Modulation Transfer Function)，并计算点像复原滤波器。
点像复原滤波器生成部250中从摄像机控制器28附加有拍摄模式信息，且当拍摄模式信息表示可见光图像拍摄模式时，点像复原滤波器生成部250从第1点扩散函数存储部220读取第1PSF，并根据所读取的第1PSF而生成第1点像复原滤波器F1。
同样地，当拍摄模式信息为近红外光图像拍摄模式时，点像复原滤波器生成部250进一步判别是夜间还是黄昏(黎明)，当为夜间时从第2点扩散函数存储部230读取第2PSF，并根据所读取的第2PSF而生成第2点像复原滤波器F2，当为黄昏(黎明)时获取由第3点扩散函数生成部240生成的第3PSF，并根据所获取的第3PSF而生成第3点像复原滤波器F3。另外，是夜间还是黄昏(黎明)的判别能够根据光量比检测部160的检测输出或通过摄像机控制器28测定出的被摄体的光量而进行。
当为可见光图像拍摄模式时，向点像复原滤波器处理部210输入亮度数据Y，并且从点像复原滤波器生成部250输入第1点像复原滤波器F1，且点像复原滤波器处理部210进行亮度数据Y与第1点像复原滤波器F1的反卷积运算，并计算经点像复原处理的亮度数据Y。
当为近红外光图像拍摄模式时，向点像复原滤波器处理部210输入IR数据，并且从点像复原滤波器生成部250根据是夜间还是黄昏(黎明)而输入第2点像复原滤波器F2或第3点像复原滤波器F3，点像复原滤波器处理部210进行IR数据与第2点像复原滤波器F2的反卷积运算或IR数据与第3点像复原滤波器F3的反卷积运算，并计算经点像复原处理的IR数据。
另外，PSF因光圈值(F值)、变焦倍率、被摄体距离、视场角(像高)等拍摄条件而发生变化，因此第1点扩散函数存储部220及第2点扩散函数存储部230优选存储对应于拍摄条件的多个第1PSF及第2PSF，第3点扩散函数生成部240及点像复原滤波器生成部250优选分别从第1点扩散函数存储部220及第2点扩散函数存储部230读取对应于拍摄条件的第1PSF及第2PSF。
[图像处理方法的第2实施方式]
图13为表示本发明所涉及的图像处理方法的第2实施方式的流程图，并示出有基于图12所示的第2实施方式的点像复原处理部48的点像复原处理动作。另外，在图13中，对进行与图9所示的处理共通的处理的步骤标注相同的步骤序号，并省略其说明。
图13所示的图像处理方法在替代图9所示的步骤S30、S32的处理而进行步骤S132的处理的方面不同。
图13所示的步骤S132中，对黄昏的IR数据，根据通过光量比检测部160检测出的可见光的光量与近红外光的光量的光量比对可见光用第1PSF和近红外用第2PSF进行加权平均而生成黄昏用第3PSF，且根据所生成的第3PSF而生成第3点像复原滤波器。接着，为黄昏时对所获取的IR数据使用所生成的第3点像复原滤波器而进行点像复原处理。
＜点像复原处理部的第3实施方式＞
接着，对图6所示的点像复原处理部48的第3实施方式进行说明。
图14为表示第3实施方式的点像复原处理部48的框图。另外，对与图12所示的第2实施方式共通的部分标注相同的符号，并省略其详细说明。
图14所示的第3实施方式的点像复原处理部48主要在替代图12所示的第3点扩散函数生成部240而具有第3点扩散函数存储部260这一方面不同。
即，在第3点扩散函数存储部260中预先与可见光的光量与近红外光的光量的光量比建立关联而存储有以与通过图12所示的第3点扩散函数生成部240而生成的第3PSF相同的方式生成的第3PSF。
点像复原滤波器生成部250从第1点扩散函数存储部220、第2点扩散函数存储部230或第3点扩散函数存储部260获取第1PSF、第2PSF或第3PSF，并根据所获取的PSF而生成第1点像复原滤波器F1、第2点像复原滤波器F2及第3点像复原滤波器F3中的任一个点像复原滤波器。
另外，在点像复原滤波器生成部250中，从摄像机控制器28附加有拍摄模式信息，且从光量比检测部160附加有表示光量比的检测输出，当拍摄模式信息表示可见光图像拍摄模式时，点像复原滤波器生成部250从第1点扩散函数存储部220读取第1PSF，并根据所读取的第1PSF而生成第1点像复原滤波器F1。
同样地，当拍摄模式信息表示近红外光图像拍摄模式时，点像复原滤波器生成部250进一步通过从光量比检测部160附加的检测输出而判别是夜间还是黄昏(黎明)，当为夜间时从第2点扩散函数存储部230读取第2PSF，并根据所读取的第2PSF而生成第2点像复原滤波器F2，当为黄昏(黎明)时，从第3点扩散函数存储部260读取与光量比对应的第3PSF，并根据所读取的第3PSF而生成第3点像复原滤波器F3。
＜点像复原处理部的第4实施方式＞
接着，对图6所示的点像复原处理部48的第4实施方式进行说明。
图15为表示第4实施方式的点像复原处理部48的框图。另外，对与图14所示的第3实施方式共通的部分标注相同的符号，并省略其详细说明。
图15所示的第4实施方式的点像复原处理部48主要在替代图14所示的第1点扩散函数存储部220、第2点扩散函数存储部230及第3点扩散函数存储部260而具有第1点像复原滤波器存储部270、第2点像复原滤波器存储部272及第3点像复原滤波器存储部274，并且，替代点像复原滤波器生成部250而具有点像复原滤波器选择部280的方面不同。
即，第4实施方式中，预先根据第1PSF、第2PSF及第3PSF而生成第1点像复原滤波器F1、第2点像复原滤波器F2及第3点像复原滤波器F3，并将所生成的第1点像复原滤波器F1、第2点像复原滤波器F2及第3点像复原滤波器F3分别存储于第1点像复原滤波器存储部270、第2点像复原滤波器存储部272及第3点像复原滤波器存储部274。
点像复原滤波器选择部280中从摄像机控制器28附加有拍摄模式信息，并从光量比检测部160附加有表示光量比的检测输出，当拍摄模式信息表示可见光图像拍摄模式时，点像复原滤波器选择部280选择存储在第1点像复原滤波器存储部270的第1点像复原滤波器F1，并将所选择的第1点像复原滤波器F1输出于点像复原滤波器处理部210。
同样地，当拍摄模式信息表示近红外光图像拍摄模式时，点像复原滤波器选择部280进一步判别是夜间还是黄昏(黎明)，当为夜间时选择存储在第2点像复原滤波器存储部272的第2点像复原滤波器F2，并将所选择的第2点像复原滤波器F2输出于点像复原滤波器处理部210，当为黄昏(黎明)时选择存储在第3点像复原滤波器存储部274的第3点像复原滤波器F3，即与通过光量比检测部160检测出的光量比对应的第3点像复原滤波器F3，并将所选择的第3点像复原滤波器F3输出于点像复原滤波器处理部210。
＜图像处理装置的第2实施方式＞
图16为表示图5所示的摄像机控制器28内的图像处理部35的第2实施方式的框图。另外，对与图6所示的第1实施方式共通的部分标注相同的符号，并省略其详细说明。
关于图16所示的第2实施方式的图像处理部35，相对于第1实施方式的图像处理部35对可见光图像的亮度数据Y进行点像复原处理，在对表示可见光图像的第1颜色数据(G数据)和用于得到亮度数据的贡献率比第1颜色数据(G数据)低的两种颜色以上的第2颜色数据(R数据、B数据)进行使用了与各RGB数据对应的第1点像复原滤波器的点像复原处理这一方面不同。
即，图16所示的点像复原处理部148中，为可见光图像拍摄模式时从第1灰度校正处理部45附加有经灰度校正的RGB3面的RGB数据，为近红外光图像拍摄模式时，从第2灰度校正处理部46附加有经灰度校正的IR数据。
点像复原处理部148使用基于针对光学系统(透镜16等)的可见光(R光)的第1点扩散函数的第1点像复原滤波器F1R、基于针对光学系统的G光的第1点扩散函数的第1点像复原滤波器F1G及基于针对光学系统的B光的第1点扩散函数的第1点像复原滤波器F1B而对各RGB数据进行点像复原处理。
并且，点像复原处理部148对IR数据进行与图6所示的第1实施方式的点像复原处理部48对IR数据进行的点像复原处理相同的点像复原处理。
根据第2实施方式的点像复原处理部148，对表示可见光图像的RGB数据，使用与每一颜色对应的第1点像复原滤波器F1R、F1G及F1B而进行点像复原处理，因此能够进行精度更高的点像复原处理，且还能够进行倍率色差的校正。
＜成像元件的另一实施方式＞
图17(A)为表示能够应用于本发明所涉及的摄像装置的成像元件的另一实施方式的图，尤其示出有设置在成像元件的RGB的彩色滤波器及近红外光透射滤波器的基本排列图案。并且，图17(B)中示出有RGB的各彩色滤波器及近红外光透射滤波器的分光透射率特性。
具有成像元件的RGB的各彩色滤波器的R像素、G像素及B像素对近红外LED的近红外光(图3参照)具有大致相同的灵敏度，该成像元件具有图17(A)所示的基本排列图案，且具有近红外光透射滤波器的像素(以下，称为“IR像素”)仅在近红外光波长频带具有灵敏度(图17(B))。
当在可见光图像拍摄模式中插入有红外截止滤波器20时，在R像素、G像素及B像素分别仅入射有R、G、B的各波长频带的光，但在IR像素中几乎没有入射有光。从而，能够从R像素、G像素及B像素获取RGB数据。
当在近红外光图像拍摄模式中使红外截止滤波器20退避时，在R像素、G像素及B像素分别入射有R、G、B的各波长频带及近红外光波长频带的光，但在IR像素中仅入射有近红外光波长频带的光。该情况下，R像素、G像素及B像素能够分别作为IR像素而发挥功能。
从而，在近红外光图像拍摄模式中，能够从作为IR像素而发挥功能的R像素、G像素及B像素获取IR数据(第1IR数据)，且能够从IR像素获取IR数据(第2IR数据)。
第1IR数据的分辨率比第2IR数据高，但在黄昏状态下混合有可见光成分。第2IR数据的分辨率比第1IR数据低，但在黄昏状态下也未混合有可见光成分。另外，第1IR数据中缺少IR像素的位置的IR数据，因此需要通过插值运算而求出IR像素的位置的IR数据。
并且，在黄昏状态下拍摄的第1IR数据中包含可见光成分和近红外光成分，因此优选进行如上述那样根据可见光的光量与近红外光的光量的光量比对基于第1点像复原滤波器的点像复原处理和基于第2点像复原滤波器的点像复原处理进行了加权平均的点像复原处理。此时，计算可见光的光量与近红外光的光量的光量比时，能够将第1IR数据使用于近红外光的光量的计算中。
并且，关于又一实施方式的成像元件，可想到作为图17(A)所示的R像素、G像素及B像素而分别设为仅在R、G、B的各波长频带具有灵敏度的可见光图像的拍摄用第1像素(具有RGB的彩色滤波器+红外截止滤波器的像素)，且替代具有近红外光透射滤波器的IR像素而使用在可见光波长频带及近红外光波长频带具有灵敏度的近红外光图像的拍摄用第2像素(IR像素)。
该情况下，不需要取出和放入红外截止滤波器的机构，且能够同时拍摄可见光图像和近红外光图像。
＜针对EDoF系统的应用例＞
上述实施方式中的点像复原处理为将对应于特定的拍摄条件(例如，光圈值、F值、焦距、像高等)的点扩散(点像模糊)复原到本来的被摄体像的图像处理，但能够应用本发明的图像处理并不限定于上述实施方式中的点像复原处理。例如，即使对于针对通过具有被扩大的景(焦点)深(EDoF：Extended Depth of Field(Focus))的光学系统(透镜等)而拍摄获取的图像数据的点像复原处理，也能够应用本发明所涉及的点像复原处理。
对在通过EDoF光学系统而被扩大了景深(焦深)的状态下拍摄获取的模糊图像的图像数据进行点像复原处理，由此能够复原到在广范围内已对焦的状态的高分辨率的图像数据。该情况下，进行使用了基于EDoF光学系统的传递函数(PSF、OTF、MTF、PTF(PhaseTransfer Function(相位传递函数))等)的点像复原滤波器、即具有以能够在被扩大的景深(焦深)的范围内进行良好的图像复原的方式设定的滤波器系数的点像复原滤波器的复原处理。
图18为表示具备EDoF光学系统的摄像模块300的一方式的框图。本例的摄像模块(搭载于摄像装置10的摄像头)300包括EDoF光学系统(透镜单元)310、成像元件320及AD转换部330。
图19为表示EDoF光学系统310的一例的图。本例的EDoF光学系统310具有单焦固定的透镜312和配置于光瞳位置的滤光器314。滤光器314用于调制相位，且以可得到被扩大的景深(焦深)(EDoF)的方式将EDoF光学系统310(透镜312)EDoF化。如此，透镜312及滤光器314构成调制相位而扩大景深的透镜部。
另外，EDoF光学系统310根据需要而包含其他构成要件，例如在滤光器314的附近配设有光圈(省略图示)。并且，滤光器314可以是一片，也可以组合多片。并且，滤光器314只不过是光学相位调制机构的一例，EDoF光学系统310(透镜312)的EDoF化可以通过其他机构而实现。例如，可以替代设置滤光器314，通过以具有与本例的滤光器314相等的功能的方式进行了透镜设计的透镜312来实现EDoF光学系统310的EDoF化。
即，通过使针对成像元件320的受光面的成像的波面发生变化的各种机构，能够实现EDoF光学系统310的EDoF化。例如，可采用“厚度发生变化的光学元件”、“折射率发生变化的光学元件(折射率分布型波面调制透镜等)”、“通过针对透镜表面的编码等而厚度或折射率发生变化的光学元件(波面调制混合透镜、在透镜面上作为相位面而形成的光学元件等)”、“能够调制光的相位分布的液晶元件(液晶空间相位调制元件等)”来作为EDoF光学系统310的EDoF化结构。如此，不仅能够通过光波面调制元件(滤光器314(相位板))而形成规则性分散的图像的案例，对于不使用光波面调制元件而能够通过透镜312本身形成与使用了光波面调制元件的情况相同的分散图像的案例也能够应用本发明。
图18及图19所示的EDoF光学系统310中能够省略进行机械性调焦的调焦机构，因此能够小型化。另外，在EDoF光学系统310的光路内或EDoF光学系统310与成像元件320之间设有以与图1所示的摄像装置10相同的方式取出和放入红外截止滤波器的机构(未图示)。
通过被EDoF化的EDoF光学系统310之后的光学像在图18所示的成像元件320成像，在此被转换为电信号。
作为成像元件320，能够应用与图1所示的成像元件26相同的成像元件。
AD(Analog-to-Digital(模拟-数字))转换部330将从成像元件320按每一像素输出的模拟RGB信号转换为数字RGB信号。通过AD转换部330而转换为数字的图像信号的数字图像信号作为RAW数据而被输出。
通过对从摄像模块300输出的RAW数据应用图6及图16所示的图像处理部(图像处理装置)35，能够生成表示在广范围内已对焦的状态的高分辨率的可见光图像及近红外光图像的图像数据。
即，如图20的符号1311所示，通过EDoF光学系统310之后的点像(光学像)作为较大的点像(模糊图像)而在成像元件320成像，但通过基于图像处理部(图像处理装置)35的点像复原处理部48或点像复原处理部148的点像复原处理，如图20的符号1312所示那样复原到较小的点像(高分辨率的图像)。
[其他]
上述各实施方式中，对将图像处理部(图像处理装置)35设置于摄像装置10(摄像机控制器28)的方式进行了说明，但也可以在计算机60或服务器80等其他装置设有图像处理部(图像处理装置)35。
例如，在计算机60加工图像数据时，可以通过设置于计算机60的图像处理部(图像处理装置)35而进行该图像数据的点像复原处理。并且，当服务器80具备图像处理部(图像处理装置)35时，例如，可以从摄像装置10或计算机60向服务器80发送图像数据，且在服务器80的图像处理部(图像处理装置)35对该图像数据进行点像复原处理，将点像复原处理的图像数据发送或提供到发送源。
并且，能够应用本发明的方式并不限定于摄像装置10、计算机60及服务器80，除了以拍摄为主要功能的摄像机类以外，还能够对在具备拍摄功能的基础上具备拍摄以外的其他功能(通话功能、通信功能、其他计算机功能)的移动设备类应用。作为能够应用本发明的另一方式，例如可列举具有摄像机功能的移动电话或智能手机、PDA(Personal DigitalAssistants(电子记事薄))、便携式游戏机。
而且，上述各功能结构能够通过任意的硬件、软件或两者的组合而适当实现。例如，还能够对上述各装置及处理部(摄像机控制器28、设备控制部34、使计算机执行的图像处理部35)中的图像处理方法(图像处理步骤)的图像处理程序、记录有该图像处理程序的计算机能够读取的记录介质(非暂时性有形记录介质)或能够对下载该图像处理程序的计算机应用本发明。
符号说明
10-摄像装置、12-透镜单元(光学系统)、15-近红外光发光部、16、312-透镜、18-光学系统操作部、20-红外截止滤波器、22-白玻璃、24-滤波器装置、26、320-成像元件、28-摄像机控制器、32-输入输出接口、34-设备控制部、35-图像处理部、41-偏移校正处理部、42-增益校正处理部、43-去马赛克处理部、45-第1灰度校正处理部、46-第2灰度校正处理部、47-亮度及色差转换处理部、48、100、148-点像复原处理部、110-第1点像复原滤波器处理部、112、122-乘法器、120-第2点像复原滤波器处理部、130、140-加法器、150-复原率控制部、160-光量比检测部、210-点像复原滤波器处理部、220-第1点扩散函数存储部、230-第2点扩散函数存储部、240-第3点扩散函数生成部、250-点像复原滤波器生成部、260-第3点扩散函数存储部、270-第1点像复原滤波器存储部、272-第2点像复原滤波器存储部、274-第3点像复原滤波器存储部、280-点像复原滤波器选择部、300-摄像模块、310-EDoF光学系统、314-滤光器。

Claims (24)

1.一种图像处理装置，其具备：
图像获取部，获取包括利用光学系统以在可见光波长频带及近红外光波长频带具有灵敏度的方式拍摄的近红外光图像的图像数据；
点像复原处理部，对所述所获取的图像数据，使用基于针对所述光学系统的可见光的第1点扩散函数的第1点像复原滤波器以及基于针对所述光学系统的近红外光的第2点扩散函数的第2点像复原滤波器而进行点像复原处理；及
复原率控制部，针对所述所获取的所述图像数据，控制所述点像复原处理部而调整基于使用了所述第1点像复原滤波器的点像复原处理的第1复原率以及基于使用了所述第2点像复原滤波器的点像复原处理的第2复原率，
所述复原率控制部具有光量比检测部，所述光量比检测部检测所述近红外光图像的拍摄时的可见光的第1光量与近红外光的第2光量的光量比，所述复原率控制部根据所述所检测出的光量比来调整所述第1复原率和所述第2复原率。
2.根据权利要求1所述的图像处理装置，其中，
所述点像复原处理部通过对所述所获取的图像数据分别应用所述第1点像复原滤波器及所述第2点像复原滤波器来生成第1增减量数据及第2增减量数据，并将所述所生成的第1增减量数据及第2增减量数据与所述图像数据相加，
所述复原率控制部通过根据由所述光量比检测部检测出的光量比分别调整针对所述第1增减量数据的第1增益和针对所述第2增减量数据的第2增益，从而调整所述第1复原率和所述第2复原率。
3.根据权利要求2所述的图像处理装置，其中，
所述复原率控制部获取基于所述第1增益和所述第2增益的总增益，并根据由所述光量比检测部检测出的光量比而调整所述所获取的总增益中的所述第1增益与所述第2增益的比率。
4.根据权利要求1至3中任一项所述的图像处理装置，其中，
由所述图像获取部获取的图像数据为连续拍摄的动态图像数据，
所述光量比检测部测定所述动态图像数据的多个帧的拍摄期间中的光量，并根据所述所测定出的光量来检测所述第1光量与所述第2光量的光量比。
5.根据权利要求1至3中任一项所述的图像处理装置，其中，
所述图像获取部还获取表示利用所述光学系统以在可见光波长频带具有灵敏度的方式拍摄的可见光图像的图像数据，
所述点像复原处理部对表示所述可见光图像的图像数据使用基于针对所述光学系统的可见光的第1点扩散函数的第1点像复原滤波器来进行点像复原处理。
6.根据权利要求5所述的图像处理装置，其中，
表示所述可见光图像的图像数据包括第1颜色数据和用于得到亮度数据的贡献率比所述第1颜色数据低的两个以上的第2颜色数据，每个上述第2颜色数据只包含有一种颜色，
所述点像复原处理部对从表示所述可见光图像的图像数据所生成的亮度数据，进行使用了与所述亮度数据对应的所述第1点像复原滤波器的点像复原处理。
7.根据权利要求5所述的图像处理装置，其中，
表示所述可见光图像的图像数据包括第1颜色数据和用于得到亮度数据的贡献率比所述第1颜色数据低的两个以上的第2颜色数据，每个上述第2颜色数据只包含有一种颜色，
所述点像复原处理部对所述第1颜色数据及所述两个以上的第2颜色数据的各自，进行使用了分别与所述第1颜色数据及所述两个以上的第2颜色数据的各自对应的所述第1点像复原滤波器的点像复原处理。
8.根据权利要求1至3中任一项所述的图像处理装置，其中，
当所述所获取的图像数据为只有近红外光成分的图像数据时，所述点像复原处理部对所述只有近红外光成分的图像数据仅进行使用了基于针对所述光学系统的近红外光的第2点扩散函数的第2点像复原滤波器的点像复原处理。
9.一种图像处理装置，其具备：
图像获取部，获取包括利用光学系统以在可见光波长频带及近红外光波长频带具有灵敏度的方式拍摄的近红外光图像的图像数据；及
点像复原处理部，对所述所获取的图像数据进行使用了基于针对所述光学系统的可见光及近红外光的点扩散函数的点像复原滤波器的点像复原处理，
所述点像复原处理部具有光量比检测部，所述光量比检测部在进行使用了所述点像复原滤波器的所述点像复原处理时检测所述近红外光图像的拍摄时的可见光的第1光量与近红外光的第2光量的光量比，所述点像复原处理部进行使用了基于与所述所检测出的光量比对应的所述点扩散函数的所述点像复原滤波器的所述点像复原处理。
10.根据权利要求9所述的图像处理装置，其中，
所述点像复原处理部具有：点扩散函数生成部，所述点扩散函数生成部生成根据由所述光量比检测部检测出的光量比对针对所述光学系统的可见光的第1点扩散函数和针对所述光学系统的近红外光的第2点扩散函数进行了加权平均的、针对所述光学系统的可见光及近红外光的所述点扩散函数；以及点像复原滤波器生成部，所述点像复原滤波器生成部根据所述所生成的点扩散函数而生成所述点像复原滤波器，所述点像复原处理部进行使用了所述所生成的点像复原滤波器的所述点像复原处理。
11.根据权利要求9所述的图像处理装置，其中，
所述点像复原处理部具有：点扩散函数存储部，所述点扩散函数存储部存储与所述光量比检测部检测出的光量比对应的多个点扩散函数；以及点像复原滤波器生成部，所述点像复原滤波器生成部从所述点扩散函数存储部读取与所述光量比检测部检测出的光量比对应的所述点扩散函数，并根据所述所读取的所述点扩散函数生成所述点像复原滤波器，所述点像复原处理部进行使用了所述所生成的点像复原滤波器的所述点像复原处理。
12.根据权利要求9所述的图像处理装置，其中，
所述点像复原处理部具有点像复原滤波器存储部，所述点像复原滤波器存储部存储基于与所述光量比检测部检测出的光量比对应的多个点扩散函数的多个所述点像复原滤波器，所述点像复原处理部从所述点像复原滤波器存储部读取与所述光量比检测部检测出的光量比对应的所述点像复原滤波器，并进行使用了所述所读取的所述点像复原滤波器的所述点像复原处理。
13.根据权利要求9至12中任一项所述的图像处理装置，其中，
由所述图像获取部获取的图像数据为连续拍摄的动态图像数据，
所述光量比检测部测定所述动态图像数据的多个帧的拍摄期间中的光量，并根据所述所测定出的光量来检测所述第1光量与所述第2光量的光量比。
14.根据权利要求9至12中任一项所述的图像处理装置，其中，
所述图像获取部还获取表示利用所述光学系统以在可见光波长频带具有灵敏度的方式拍摄的可见光图像的图像数据，
所述点像复原处理部对表示所述可见光图像的图像数据使用基于针对所述光学系统的可见光的第1点扩散函数的第1点像复原滤波器来进行点像复原处理。
15.根据权利要求14所述的图像处理装置，其中，
表示所述可见光图像的图像数据包括第1颜色数据和用于得到亮度数据的贡献率比所述第1颜色数据低的两个以上的第2颜色数据，每个上述第2颜色数据只包含有一种颜色，
所述点像复原处理部对从表示所述可见光图像的图像数据所生成的亮度数据，进行使用了与所述亮度数据对应的所述第1点像复原滤波器的点像复原处理。
16.根据权利要求14所述的图像处理装置，其中，
表示所述可见光图像的图像数据包括第1颜色数据和用于得到亮度数据的贡献率比所述第1颜色数据低的两个以上的第2颜色数据，每个上述第2颜色数据只包含有一种颜色，
所述点像复原处理部对所述第1颜色数据及所述两个以上的第2颜色数据的各自，进行使用了分别与所述第1颜色数据及所述两个以上的第2颜色数据的各自对应的所述第1点像复原滤波器的点像复原处理。
17.根据权利要求9至12中任一项所述的图像处理装置，其中，
当所述所获取的图像数据为只有近红外光成分的图像数据时，所述点像复原处理部对所述只有近红外光成分的图像数据仅进行使用了基于针对所述光学系统的近红外光的第2点扩散函数的第2点像复原滤波器的点像复原处理。
18.一种摄像装置，其具备：
权利要求1至17中任一项所述的图像处理装置；及
近红外光发光部，在近红外光图像的拍摄时发出近红外光来作为辅助光。
19.根据权利要求18所述的摄像装置，其中，
所述光学系统为红外截止滤波器插入到成像光路或能够从成像光路退避的光学系统，
所述图像获取部为如下摄像部，使用所述红外截止滤波器被插入在成像光路的所述光学系统而对被摄体进行拍摄，并获取表示该被摄体的可见光图像的图像数据，从所述近红外光发光部发出近红外光，并且使用所述红外截止滤波器从成像光路退避后的所述光学系统而对被摄体进行拍摄，并获取表示该被摄体的近红外光图像的图像数据。
20.根据权利要求18所述的摄像装置，其中，
所述图像获取部为如下摄像部，具有成像元件，所述成像元件中混合排列有在可见光波长频带具有灵敏度的可见光图像的拍摄用第1像素和在可见光波长频带及近红外光波长频带具有灵敏度的近红外光图像的拍摄用第2像素，该摄像部利用所述光学系统及所述成像元件的第1像素而获取表示被摄体的可见光图像的图像数据，从所述近红外光发光部发出近红外光，并且利用所述光学系统及所述成像元件的第2像素而获取表示被摄体的近红外光图像的图像数据。
21.一种图像处理方法，其包括如下步骤：
获取包括利用光学系统以在可见光波长频带及近红外光波长频带具有灵敏度的方式拍摄的近红外光图像的图像数据；
针对所述所获取的图像数据，进行使用了基于针对所述光学系统的可见光的第1点扩散函数的第1点像复原滤波器及基于针对所述光学系统的近红外光的第2点扩散函数的第2点像复原滤波器的点像复原处理；及
针对所述所获取的所述图像数据，控制所述点像复原处理而调整基于使用了所述第1点像复原滤波器的点像复原处理的第1复原率及基于使用了所述第2点像复原滤波器的点像复原处理的第2复原率，其中，检测所述近红外光图像的拍摄时的可见光的第1光量与近红外光的第2光量的光量比，并根据所述所检测出的光量比而调整所述第1复原率和所述第2复原率。
22.一种图像处理方法，其包括如下步骤：
获取包括利用光学系统以在可见光波长频带及近红外光波长频带具有灵敏度的方式拍摄的近红外光图像的图像数据；及
针对所述所获取的图像数据进行使用了基于针对所述光学系统的可见光及近红外光的点扩散函数的点像复原滤波器的点像复原处理，
在针对所述所获取的、在混合有可见光和近红外光的光源下所拍摄的所述图像数据进行使用了所述点像复原滤波器的所述点像复原处理的步骤中，检测所述近红外光图像的拍摄时的可见光的第1光量与近红外光的第2光量的光量比，进行使用了基于与所述所检测出的光量比对应的所述点扩散函数的点像复原滤波器的所述点像复原处理。
23.一种计算机可读取的非暂时性有形记录介质，记录图像处理程序，所述图像处理程序使计算机执行如下步骤：
获取包括利用光学系统以在可见光波长频带及近红外光波长频带具有灵敏度的方式拍摄的近红外光图像的图像数据；
对所述所获取的图像数据，使用基于针对所述光学系统的可见光的第1点扩散函数的第1点像复原滤波器及基于针对所述光学系统的近红外光的第2点扩散函数的第2点像复原滤波器而进行点像复原处理；及
对所述所获取的所述图像数据，控制所述点像复原处理而调整基于使用了所述第1点像复原滤波器的点像复原处理的第1复原率及基于使用了所述第2点像复原滤波器的点像复原处理的第2复原率，其中，检测所述近红外光图像的拍摄时的可见光的第1光量与近红外光的第2光量的光量比，并根据所述所检测出的光量比而调整所述第1复原率和所述第2复原率。
24.一种计算机可读取的非暂时性有形记录介质，记录图像处理程序，所述图像处理程序使计算机执行如下步骤：
获取包括利用光学系统以在可见光波长频带及近红外光波长频带具有灵敏度的方式拍摄的近红外光图像的图像数据；及
对所述所获取的图像数据进行使用了基于针对所述光学系统的可见光及近红外光的点扩散函数的点像复原滤波器的点像复原处理，
在针对所述所获取的、在混合有可见光和近红外光的光源下所拍摄的所述图像数据进行使用了所述点像复原滤波器的所述点像复原处理的步骤中，检测所述近红外光图像的拍摄时的可见光的第1光量与近红外光的第2光量的光量比，使计算机执行使用了基于与所述所检测出的光量比对应的所述点扩散函数的点像复原滤波器的所述点像复原处理。
CN201680023396.9A 2015-04-23 2016-04-15 图像处理装置、摄像装置、图像处理方法及记录介质 Active CN107534732B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015088228 2015-04-23
JP2015-088228 2015-04-23
PCT/JP2016/062169 WO2016171087A1 (ja) 2015-04-23 2016-04-15 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
CN107534732A CN107534732A (zh) 2018-01-02
CN107534732B true CN107534732B (zh) 2020-03-06

Family

ID=57144609

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680023396.9A Active CN107534732B (zh) 2015-04-23 2016-04-15 图像处理装置、摄像装置、图像处理方法及记录介质

Country Status (4)

Country Link
US (1) US10395347B2 (zh)
JP (1) JP6240813B2 (zh)
CN (1) CN107534732B (zh)
WO (1) WO2016171087A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7203441B2 (ja) * 2018-07-20 2023-01-13 株式会社ナノルクス 画像生成装置及び撮像装置
JP7146088B2 (ja) * 2019-06-14 2022-10-03 三菱電機株式会社 画像処理装置及び画像処理方法
CN113824884B (zh) * 2021-10-20 2023-08-08 深圳市睿联技术股份有限公司 拍摄方法与装置、摄影设备及计算机可读存储介质
EP4224837B1 (en) * 2022-02-08 2024-06-26 Axis AB Ir-cut filter switch control

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002300461A (ja) 2001-03-30 2002-10-11 Minolta Co Ltd 画像復元装置、画像復元方法、プログラム及び記録媒体
JP4969206B2 (ja) 2006-11-01 2012-07-04 京セラ株式会社 生体認証装置
JP4984140B2 (ja) * 2007-05-30 2012-07-25 富士フイルム株式会社 画像処理装置、画像処理方法、撮像装置、撮像方法、及びプログラム
JP5235642B2 (ja) 2008-12-15 2013-07-10 キヤノン株式会社 画像処理装置およびその方法
JP5404122B2 (ja) 2009-03-26 2014-01-29 オリンパス株式会社 焦点位置調整装置およびカメラ
JP5546229B2 (ja) 2009-12-09 2014-07-09 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP2011128238A (ja) 2009-12-16 2011-06-30 Fujitsu Ltd 撮像装置および情報端末装置
US9979941B2 (en) 2011-01-14 2018-05-22 Sony Corporation Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating
US9055248B2 (en) * 2011-05-02 2015-06-09 Sony Corporation Infrared imaging system and method of operating
JP5824297B2 (ja) 2011-08-30 2015-11-25 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
CN108040215B (zh) * 2013-02-01 2021-03-26 佳能株式会社 图像拾取装置、图像处理装置、图像处理方法
WO2014136322A1 (ja) 2013-03-04 2014-09-12 富士フイルム株式会社 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム並びに記録媒体
CN105075239B (zh) 2013-03-18 2017-12-29 富士胶片株式会社 复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置以及记录介质
JP5759085B2 (ja) 2013-03-28 2015-08-05 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム並びに記録媒体
CN105493493B (zh) 2013-08-01 2018-08-28 富士胶片株式会社 摄像装置、摄像方法及图像处理装置
JP5611439B2 (ja) 2013-11-13 2014-10-22 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、および、画像処理プログラム

Also Published As

Publication number Publication date
JP6240813B2 (ja) 2017-11-29
CN107534732A (zh) 2018-01-02
WO2016171087A1 (ja) 2016-10-27
US10395347B2 (en) 2019-08-27
JPWO2016171087A1 (ja) 2018-03-15
US20180040108A1 (en) 2018-02-08

Similar Documents

Publication Publication Date Title
CN107534727B (zh) 图像处理装置、摄像装置、图像处理方法及记录有图像处理程序的计算机可读非暂时性有形记录介质
JP6042030B2 (ja) 画像処理装置、撮影装置、画像処理方法、及びプログラム
US8730371B2 (en) Image processing apparatus and image processing method, and data processing apparatus and data processing method
US9710895B2 (en) Image processing device, image capture device, image processing method, and program
US9699427B2 (en) Imaging device, imaging method, and image processing device
JP5253000B2 (ja) 撮像装置
CN107534732B (zh) 图像处理装置、摄像装置、图像处理方法及记录介质
JP2011124948A (ja) 情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置
CN107852456B (zh) 图像处理装置、摄像装置、图像处理方法及程序
US10326947B2 (en) Image processing device, imaging device, image processing method, and program
JP5514042B2 (ja) 撮像モジュール、画像信号処理方法および撮像装置
JP2013223152A (ja) 撮像装置
JP5228717B2 (ja) 画像入力装置
JP2008085634A (ja) 撮像装置及び画像処理方法
WO2015146471A1 (ja) 撮影装置
JP2016105568A (ja) 撮像装置
JP2004088408A (ja) デジタルカメラ
JP5659574B2 (ja) 画像処理装置、撮像装置、及び画像処理プログラム
JP2007312112A (ja) 撮像装置
JP5513311B2 (ja) 撮像モジュール、画像処理装置および画像信号処理方法
JP6011022B2 (ja) 画像処理装置、画像処理プログラム、画像処理方法
JP2014127869A (ja) 撮像装置、撮像方法および撮像プログラム
JP2006211030A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant