CN107852456A - 图像处理装置、摄像装置、图像处理方法及程序 - Google Patents

图像处理装置、摄像装置、图像处理方法及程序 Download PDF

Info

Publication number
CN107852456A
CN107852456A CN201680022694.6A CN201680022694A CN107852456A CN 107852456 A CN107852456 A CN 107852456A CN 201680022694 A CN201680022694 A CN 201680022694A CN 107852456 A CN107852456 A CN 107852456A
Authority
CN
China
Prior art keywords
restoration disposal
view data
image
data
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680022694.6A
Other languages
English (en)
Other versions
CN107852456B (zh
Inventor
林健吉
田中淳
田中淳一
成濑洋介
杉本雅彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN107852456A publication Critical patent/CN107852456A/zh
Application granted granted Critical
Publication of CN107852456B publication Critical patent/CN107852456B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H04N25/6153—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明提供一种对可见光图像及近红外光图像执行有效的点像复原处理且能够提高点像复原处理的精度的图像处理装置、摄像装置、图像处理方法及程序。本发明的一方式所涉及的图像处理装置(35)具备：图像输入部(1)，其输入有表示利用光学系统以在可见光波长频带具有灵敏度的方式拍摄的可见光图像的第1图像数据、及表示利用光学系统以在近红外光波长频带具有灵敏度的方式拍摄的近红外光图像的第2图像数据；第1复原处理部(3)，其对第1图像数据进行相位校正及振幅复原；及第2复原处理部(5)，其对第2图像数据进行不伴随相位校正的振幅复原的第2复原处理。

Description

图像处理装置、摄像装置、图像处理方法及程序
技术领域
本发明涉及一种图像处理装置、摄像装置、图像处理方法及程序，尤其涉及一种对可见光像的图像及近红外光像的图像进行基于点扩散函数的图像处理的图像处理装置、摄像装置、图像处理方法及程序。
背景技术
在经由光学系统而拍摄的被摄体像中有时可发现因由光学系统引起的衍射或像差等的影响而点被摄体具有微小的扩散的点扩散现象。表示针对光学系统的点光源的响应的函数被称为点扩散函数(PSF：Point Spread Function)，且为决定摄像图像的分辨率劣化(模糊)的特性而被熟知。
因点扩散现象而画质劣化的摄像图像通过接受基于PSF的点像复原处理而能够恢复画质。该点像复原处理为预先求出由透镜(光学系统)的像差等引起的劣化特性(点像特性)，并通过利用了基于该点像特性的复原滤波器(恢复滤波器)的图像处理而取消或减少摄像图像的点扩散的处理。
点像复原的处理大致可分为振幅复原处理及相位校正处理。振幅复原处理为对因光学系统而劣化的调制传递函数(MTF：Modulation Transfer Functio n)特性进行补偿(equalize)即进行恢复的处理，相位校正处理为对因光学系统而劣化的相位传递函数(PTF：Phase Transfer Function)特性进行补偿即进行恢复的处理。
直觉上，相位校正处理为以使非点对称PSF形状尽量恢复到点对称形状的方式依赖于频率使像移动的处理。
振幅复原处理及相位校正处理作为信号处理能够同时应用，但通过改变滤波器系数的设计方法，也能够设成仅对其中某一方进行校正。
例如，专利文献1中公开有进行如下点像复原处理的技术：进行振幅复原处理及相位校正处理的点像复原处理、及进行不伴随相位校正的振幅复原处理的点像复原处理。
并且，例如专利文献2中公开有如下技术：对照射可见光或近红外光而得到的图像，在可见光及近红外光的条件下改变运算系数而进行点像复原处理(卷积运算)。
另一方面，作为定点设置且不论昼夜进行拍摄的相机有监控摄像机等。如监控摄像机那样的方式的相机中，要求在白天的摄像条件及夜间的摄像条件下获取适当的图像。例如，当监控摄像机在白天拍摄被摄体的可见光像，在夜间拍摄被摄体的近红外光像时，监控摄像机要求根据白天的摄像条件及夜间的摄像条件进行适当的图像处理。
以往技术文献
专利文献
专利文献1：国际公开第2014/148074号公报
专利文献2：日本特开2008-113704号公报
发明内容
发明要解决的技术课题
通过对产生模糊的图像的图像数据执行点像复原处理中的振幅复原处理及相位校正处理这两者，从而模糊会得到良好校正。例如，通过对拍摄了被摄体的可见光像的图像执行点像复原处理中的振幅复原处理及相位校正处理这两者，从而模糊得到完全地校正。
另一方面，若对在光量不足的环境下获取的图像或图像中的噪声比例较高的图像等进行执行振幅复原处理及相位校正处理这两者的较强的点像复原处理，则点像复原处理失败而可能会成为不自然的图像。此时，拍摄了被摄体的近红外光像的图像与拍摄了被摄体的可见光像的图像相比，光量不足，从而成为噪声比例较多的不鲜明的图像的情况较多。因此，例如，若对拍摄了近红外光像的图像的图像数据进行执行振幅复原及相位校正这两者的较强的点像复原处理，则有可能点像复原处理没有正常进行反而成为不自然的图像。
因此，需要根据获取的(或输入的)图像的类型(可见光像的图像或近红外光像的图像)切换点像复原处理的内容。
然而，在专利文献1中所记载的技术中，根据获取的图像中的被摄体像的类型(可见光像或近红外光像)，并未进行如下切换，即进行振幅复原处理及相位校正处理的点像复原处理、以及不伴随相位校正的振幅复原处理的切换。
并且，在专利文献2中所记载的技术中，只是对可见光图像及近红外光图像改变运算系数来执行点像复原处理，并未切换分别对可见光图像及近红外光图像进行的点像复原处理的内容(振幅复原或相位校正)。
本发明是鉴于这种情况而完成的，其目的在于提供一种对可见光图像及近红外光图像能够有效地执行点像复原处理且提高点像复原处理的精度的图像处理装置、摄像装置、图像处理方法及程序。
用于解决技术课题的手段
本发明的一方式即图像处理装置具备：图像输入部，其输入有表示利用光学系统以在可见光波长频带具有灵敏度的方式拍摄的可见光图像的第1图像数据、及表示利用光学系统以在近红外光波长频带具有灵敏度的方式拍摄的近红外光图像的第2图像数据；第1复原处理部，其对所输入的第1图像数据进行利用了基于针对光学系统的可见光的点扩散函数的进行相位校正及振幅复原的第1复原滤波器的第1复原处理；及第2复原处理部，其所输入的第2图像数据进行利用了基于针对光学系统的近红外光的点扩散函数的进行不伴随相位校正的振幅复原的第2复原滤波器的第2复原处理。
根据本方式，对可见光图像即第1图像数据进行相位校正及振幅校正的第1复原处理，对近红外光图像即第2图像数据进行不伴随相位校正的振幅复原的第2复原处理。由此，本方式对可见光图像及近红外光图像能够有效地执行点像复原处理且提高点像复原处理的精度。即，本方式能够良好地校正可见光图像即第1图像数据中所产生的模糊且能够高精度地进行对近红外光图像即第2图像数据的点像复原处理。
本发明的另一方式即图像处理装置具备：图像输入部，其输入有利用成像光路上插入有红外截止滤波器的光学系统拍摄的第1图像数据、及利用红外截止滤波器从成像光路退避的光学系统拍摄的第2图像数据；第1复原处理部，其对所输入第1图像数据进行利用了基于光学系统的点扩散函数的进行相位校正及振幅复原的第1复原滤波器的第1复原处理；及第2复原处理部，其对所输入的第2图像数据进行利用了基于光学系统的点扩散函数的进行不伴随相位校正的振幅复原的第2复原滤波器的第2复原处理。
根据本方式，对利用成像光路上插入有红外截止滤波器的光学系统拍摄的第1图像数据进行相位校正及振幅校正的第1复原处理，对利用红外截止滤波器从成像光路退避的光学系统拍摄的第2图像数据进行不伴随相位校正的振幅复原的第2复原处理。由此，本方式对可见光图像及近红外光图像能够有效地执行点像复原处理且提高点像复原处理的精度。即，本方式能够良好地校正可见光图像的第1图像数据中所产生的模糊且能够高精度地进行对近红外光图像的第2图像数据的点像复原处理。
优选，第1图像数据为包括最有助于获得亮度数据的第1颜色及第1颜色以外的2个颜色以上的第2颜色的多个颜色的图像数据，第1复原处理部对多个颜色的图像数据进行利用了与多个颜色的每一颜色对应的第1复原滤波器的第1复原处理。
根据本方式，对包括最有助于获得构成第1图像数据的亮度数据的第1颜色及第1颜色以外的2个颜色以上的第2颜色的多个颜色，进行利用了与每种颜色对应的第1复原滤波器的第1复原处理。由此，本方式能够有效地抑制可见光图像中产生的倍率色差。并且，由于是近红外光这一单色光的像，因此对理论上不产生倍率色差的近红外光图像省略相位校正，从而本方式能够减轻图像处理计算负荷。
优选，图像处理装置还具备对第1图像数据进行非线性灰度校正的灰度校正处理部，灰度校正处理部对已进行相位校正的第1图像数据进行非线性灰度校正，第1复原处理部对已进行非线性灰度校正的第1图像数据进行振幅复原。
根据本方式，对已进行相位校正的第1图像数据进行非线性灰度校正，对已进行非线性灰度校正的第1图像数据进行振幅复原。由此，本方式在灰度校正之前(图像的频率特性的变化前)进行相位校正，因此能够有效地进行相位校正，并在灰度校正之后进行振幅复原，因此因振幅复原而产生若干的过冲/下冲不会因灰度校正而被放大(增强)，从而能够防止强烈地产生伪影。
优选，图像处理装置还具备对第1图像数据进行非线性灰度校正的灰度校正处理部，灰度校正处理部对已进行振幅复原的第1图像数据进行非线性灰度校正，第1复原处理部对已进行非线性灰度校正的第1图像数据进行相位校正。
在本方式中，在振幅复原及相位校正中，振幅复原在灰度校正之前进行，相位校正在灰度校正之后进行。由此，本方式在相位校正处理中，由于因相位校正滤波器在空间上扩散较大而导致容易出现在饱和像素附近产生伪影(振铃等)的现象，但通过在灰度校正之后进行相位校正，从而能够防止因灰度校正而引起的上述伪影被放大(强烈地产生伪影)。同样地，可能会出现因相位校正而颜色灰度发生变化的现象，但本方式能够缓和该现象。正确而言，颜色灰度发生变化的现象，即使在灰度校正之后实施相位校正也会出现，但与在灰度校正之前实施的情况相比能够减少颜色灰度的发生。并且，在本方式中，关于灰度校正后的图像数据，通常比特数与灰度校正前相比会变少，因此能够减少实施基于抽头数较大的相位校正滤波器的相位校正时的计算负荷。
优选，图像处理装置还具备第1复原处理部及第2复原处理部的复原处理运算中所使用的通用的复原处理运算部、对第1图像数据及第2图像数据进行非线性灰度校正的通用的灰度校正运算部及对第1图像数据及第2图像数据进行轮廓增强处理的通用的轮廓增强处理部中的至少一个。
根据本方式，在对第1图像数据的图像处理及对第2图像数据的图像处理中，复原处理运算、灰度校正运算及轮廓增强校正中的至少一个被通用化。由此，本方式因图像处理线路的一部分被通用化从而能够简化图像处理线路的设计。
优选，图像处理装置还具备存储第1复原滤波器及第2复原滤波器的存储部。
根据本方式，第1复原滤波器及第2复原滤波器存储于存储部，由第1复原处理部及第2复原处理部使用存储部中所存储的复原滤波器，因此能够减轻用于生成复原滤波器的计算负荷。
优选，图像处理装置还具备生成第1复原滤波器及第2复原滤波器的滤波器生成部。
根据本方式，由滤波器生成部生成第1复原滤波器及第2复原滤波器，由第1复原处理部及第2复原处理部使用由生成部生成的复原滤波器，因此能够减轻用于存储复原滤波器的存储容量。
本发明的另一方式即摄像装置具备：光学系统；截止滤波器动作机构，其在光学系统的成像光路上使红外截止滤波器插入或退避；图像获取部，其获取利用成像光路上插入有红外截止滤波器的光学系统拍摄的第1图像数据、及利用红外截止滤波器从成像光路退避的光学系统拍摄的第2图像数据；第1复原处理部，其对所获取的第1图像数据进行利用了基于光学系统的点扩散函数的进行相位校正及振幅复原的第1复原滤波器的第1复原处理；及第2复原处理部，其对所获取的第2图像数据进行利用了基于光学系统的点扩散函数的进行不伴随相位校正的振幅复原的第2复原滤波器的第2复原处理。
根据本方式，对利用成像光路上插入有红外截止滤波器的光学系统拍摄的第1图像数据进行相位校正及振幅校正的第1复原处理，对利用红外截止滤波器从成像光路退避的光学系统拍摄的第2图像数据进行不伴随相位校正的振幅复原的第2复原处理。由此，本方式对可见光图像及近红外光图像能够有效地执行点像复原处理且提高点像复原处理的精度。即，本方式能够良好地校正可见光图像的第1图像数据中所产生的模糊且能够高精度地进行对近红外光图像的第2图像数据的点像复原处理。
优选，图像获取部以获取第1图像数据的情况为基准设定像面位置。
根据本方式，图像获取部的像面的位置以获取第1图像数据的情况为基准而设定。即，在本方式中，以可见光的条件下拍摄被摄体的情况为基准来设定图像获取部的像面的位置。由此，在本方式中，在红外截止滤波器从成像光路退避后拍摄的情况下，因可见光与近红外光的波长差异即便在成像光路上不插入作为虚拟滤波器的透明玻璃等光路调整工具，近红外光的被摄体像的模糊也会得到抑制。而且，在本方式中，以拍摄可见光像的情况为基准而设定图像获取部(成像元件)的像面位置，因此近红外光像的成像面偏离所设定的图像获取部(成像元件)的像面位置，因此PSF的相位消失，从而进行相位校正的必要性变少。
本发明的另一方式即图像处理方法包括：图像输入步骤，输入利用成像光路上插入有红外截止滤波器的光学系统拍摄的第1图像数据、及利用红外截止滤波器从成像光路退避的光学系统拍摄的第2图像数据；第1复原处理步骤，对所输入的第1图像数据进行利用了基于光学系统的点扩散函数的进行相位校正及振幅复原的第1复原滤波器的第1复原处理；及第2复原处理步骤，对所输入的第2图像数据进行利用了基于光学系统的点扩散函数的进行不伴随相位校正的振幅复原的第2复原滤波器的第2复原处理。
本发明的另一方式即程序用于使计算机执行如下步骤：图像输入步骤，输入利用成像光路上插入有红外截止滤波器的光学系统拍摄的第1图像数据、及利用红外截止滤波器从成像光路退避的光学系统拍摄的第2图像数据；第1复原处理步骤，对所输入的第1图像数据进行利用了基于光学系统的点扩散函数的进行相位校正及振幅复原的第1复原滤波器的第1复原处理；及第2复原处理步骤，对所输入的第2图像数据进行利用了基于光学系统的点扩散函数的进行不伴随相位校正的振幅复原的第2复原滤波器的第2复原处理。记录有该程序的计算机可读取的非暂时性有形介质(a non-transitory computer-readabletangible medium)也包含于本发明的方式。
发明效果
根据本发明，对可见光图像即第1图像数据进行相位校正及振幅校正的第1复原处理，对近红外光图像即第2图像数据进行不伴随相位校正的振幅复原的第2复原处理，因此对可见光图像及近红外光图像能够有效地执行点像复原处理且提高点像复原处理的精度。
附图说明
图1是表示数码相机的功能结构例的框图。
图2是说明在夜间通过图1所示的数码相机进行拍摄的情况的图。
图3是表示相机主体控制器的功能结构例的框图。
图4是表示第1复原处理的概要的图。
图5是表示第2复原处理的概要的图。
图6是表示图像处理部的功能结构例的框图。
图7是表示第1复原处理部的功能结构例的框图。
图8是表示第2复原处理部的功能结构例的框图。
图9是表示图像处理装置的动作的流程图。
图10是对成像元件的像面与成像面的位置关系及焦点进行说明的图。
图11是对成像元件的像面与成像面的位置关系及焦点进行说明的图。
图12是对成像元件的像面与成像面的位置关系及焦点进行说明的图。
图13是对成像元件的像面与成像面的位置关系及焦点进行说明的图。
图14是表示第2实施方式中的第1复原处理的概要的图。
图15是表示第2实施方式中的图像处理部的功能结构例的框图。
图16是表示通过灰度校正处理部进行灰度校正的输入输出特性(伽玛特性)的一例的图表。
图17是表示第2实施方式中的图像处理部的具体处理的例子的框图。
图18是表示第2实施方式中的图像处理部的具体处理的例子的框图。
图19是表示相位校正处理部的功能结构例的框图。
图20是表示第2实施方式中的图像处理部的具体处理的例子的框图。
图21是表示振幅复原处理部的功能结构例的框图。
图22是表示第2实施方式中的图像处理部的具体处理的例子的框图。
图23是表示第2实施方式中的图像处理部的具体处理的例子的框图。
图24是表示振幅复原处理部的功能结构例的框图。
图25是表示第3实施方式中的图像处理部的具体处理的例子的框图。
图26是表示具备EDoF光学系统的摄像模块的一方式的框图。
图27是表示EDoF光学系统的一例的图。
图28是表示经由EDoF光学系统获取的图像的复原例的图。
具体实施方式
参考附图对本发明的实施方式进行说明。在以下实施方式中，作为一例，对用作可与计算机(Personal Computer：个人计算机)连接的监控摄像机的数码相机(摄像装置)进行说明。
图1是表示与计算机连接的数码相机10的功能结构例的框图。数码相机10可拍摄动态图像及静态图像，以下说明中的图像或图像数据表示动态图像中的1帧图像或静态图像。另外，图1中示出了在白天通过数码相机10进行拍摄的情况。
数码相机10具备透镜单元12及具备成像元件(图像获取部)26的相机主体14，且经由透镜单元12的透镜单元输入输出部22及相机主体14的相机主体输入输出部30，透镜单元12与相机主体14电性连接。
透镜单元12具备透镜16及光圈17等光学系统和控制该光学系统的光学系统操作部18。光学系统操作部18包括调整透镜16的聚焦位置的手动操作部、及通过从相机主体控制器28附加的控制信号驱动光圈17的光圈驱动部。
并且，透镜单元12具备近红外光发光部15。当通过数码相机10获取近红外光像的图像时，近红外光发光部15将近红外光作为辅助光来发射。即，当数码相机10进行夜间拍摄时，从近红外光发光部15作为辅助光发射近红外光，因此数码相机10能够获取更鲜明的近红外光图像。
另外，近红外光图像是指具有被拍摄的被摄体的近红外光像的图像，由第2图像数据来表示。关于近红外光图像，以在近红外光波长频带具有灵敏度的方式拍摄来获取，或利用IR截止滤波器25从成像光路退避的光学系统的拍摄来获取。在此，近红外光的波长并无特别限定，但例如在0.7μm至2.5μm的范围内。并且，可见光图像是指具有被拍摄的被摄体的可见光图像的图像，由第1图像数据来表示。关于可见光图像，以在可见光波长频带具有灵敏度的方式拍摄来获取，或利用IR截止滤波器25插入于成像光路的光学系统的拍摄来获取。
IR(红外线(Infrared))截止滤波器(红外截止滤波器)25设置于截止滤波器动作机构24。当在白天利用数码相机10进行拍摄时，如图1所示，IR截止滤波器25插入于成像光路。通过IR截止滤波器25插入于成像光路，IR截止滤波器25遮挡红外光，红外光不能到达成像元件26。另外，作为IR截止滤波器25可使用各种截止滤波器，例如可使用能够遮挡近红外光的近红外截止滤波器。
相机主体14的成像元件(图像获取部)26由CMOS(互补金属氧化物半导体(Complementary Metal-Oxide Semiconductor))型彩色图象传感器构成。另外，成像元件26并不限定于CMOS型，也可以是XY地址型或CCD(电荷耦合器件(Charge Coupled Device))型图象传感器。
成像元件26具有以矩阵状配置的多个像素，各像素包括微透镜；红(R)、绿(G)或蓝(B)彩色滤波器；光电转换部(光电二极管等)。RGB彩色滤波器具有规定图案的滤波器排列(拜耳排列、X-Trans(注册商标)排列等)。
本例的成像元件26通过利用了光学系统的被摄体像的拍摄输出原图像数据，该原图像数据发送至相机主体控制器28的图像处理部35。
如图3所示，相机主体控制器28具有设备控制部34及图像处理部(图像处理装置)35，总括控制相机主体14。设备控制部34例如控制来自成像元件26的图像信号(图像数据)的输出，生成用于控制透镜单元12的控制信号而经由相机主体输入输出部30发送至透镜单元12(透镜单元控制器20)，向经由输入输出接口32连接的外部设备类(计算机60等)发送图像处理前后的图像数据(RAW数据、JPEG数据等)。并且，设备控制部34适当控制数码相机10所具备的各种设备类。
另一方面，图像处理部35对来自成像元件26的图像信号根据需要能够进行任意的图像处理。尤其本例的图像处理部35包括：第1复原处理部3，其对第1图像数据进行基于光学系统的点扩散函数的点像复原处理(图6)；及第2复原处理部5，其对第2图像数据进行基于光学系统的点扩散函数的点像复原处理(图6)。关于图像处理部35的详细内容将进行后述。
在相机主体控制器28中进行图像处理的图像数据经由输入输出接口32传送至计算机60等。从数码相机10(相机主体控制器28)传送至计算机60等的图像数据的格式并无特别限定，可设为RAW、JPEG(联合图像专家组(Joint Photographic Experts Group))及TIFF(标记图像文件格式(Tagged Image File Format))等任意格式。因此，如所谓的Exif(可交换图像文件格式(Exchangeable Image File Format))，相机主体控制器28可以使标题信息(摄像信息(摄像日期、机型、像素数、光圈值、有无IR截止滤波器25等))、主图像数据及缩略图图像数据等多个相关数据彼此对应而作为1个图像文件来构成，并将该图像文件发送至计算机60。
计算机60经由相机主体14的输入输出接口32及计算机输入输出部62与数码相机10连接，接收从相机主体14传送的图像数据等数据类。计算机控制器64总括控制计算机60，对来自数码相机10的图像数据进行图像处理，控制与经由互联网70等网络线路与计算机输入输出部62连接的服务器80等的通信。计算机60具有显示器66，显示从数码相机10发送的图像。并且，根据需要，将显示计算机控制器64中的处理内容等显示在显示器66中。用户一边确认显示器66的显示内容一边操作键盘等输入机构(省略图示)，由此能够对计算机控制器64输入数据及命令。由此用户能够控制计算机60及与计算机60连接的设备类(数码相机10、服务器80)。
服务器80具有服务器输入输出部82及服务器控制器84。服务器输入输出部82构成与计算机60等外部设备类之间的收发连接部，经由互联网70等网络线路与计算机60的计算机输入输出部62连接。服务器控制器84根据来自计算机60的控制指示信号与计算机控制器64协动，且在与计算机控制器64之间根据需要而进行数据类的收发，将数据类下载到计算机60，并进行运算处理而将其运算结果发送至计算机60。
各控制器(透镜单元控制器20、相机主体控制器28、计算机控制器64及服务器控制器84)具有控制处理所需的线路类，例如具备运算处理线路(中央处理器(CPU(CentralProcessing Unit))等)或存储器等。并且，数码相机10、计算机60及服务器80之间的通信可以是有线，也可以是无线。并且，可以将计算机60及服务器80构成为一体，并且，也可以省略计算机60和/或服务器80。并且，也可以使数码相机10具有与服务器80的通信功能，以在数码相机10与服务器80之间直接进行数据类的收发。
图2是表示在夜间通过图1所示的数码相机10进行拍摄的情况的框图。另外，对图1中进行说明的部分标注相同的符号，并省略说明。
如图2所示，当在夜间通过数码相机10进行拍摄时，IR截止滤波器25通过截止滤波器动作机构24从成像光路退避。如此，若IR截止滤波器25从光学系统的成像光路退避，则被IR截止滤波器25截止的近红外光入射于成像元件26。由此，在图2所示的情况下，能够获取具有被摄体的红外光像的红外光图像。并且，由于是夜间拍摄，因此近红外光发光部15作为辅助光发射近红外光。
接着，对经由成像元件26获得的被摄体的可见光像的摄像数据(第1图像数据)及被摄体的近红外光像的摄像数据(第2图像数据)的点像复原处理进行说明。
在以下例子中，对在相机主体14(相机主体控制器28)中实施点像复原处理的例子进行说明，但也可以在其他控制器(透镜单元控制器20、计算机控制器64及服务器控制器84等)中实施点像复原处理的全部或一部分。
本例的点像复原处理包括进行相位校正及振幅复原的利用了第1复原滤波器的第1复原处理、及进行不伴随相位校正的振幅复原的利用了第2复原滤波器的第2复原处理。
(第1实施方式)
首先，对第1复原处理进行说明。
图4是表示作为原图像数据Do已获取第1图像数据时的第1复原处理的概要的图。
如图4所示，当将点像作为被摄体来进行拍摄时，被摄体的可见光像经由光学系统(透镜16、光圈17等)被成像元件26(图象传感器)所接收，并从成像元件26输出第1图像数据。该第1图像数据因来源于光学系统的特性的点扩散现象而振幅成分及相位成分劣化，原来的被摄体像(点像)成为非点对称的模糊图像。在此，可见光由各种波长频带的光(各种颜色的光)构成，因此产生倍率色差，第1图像数据的PTF特性逐渐劣化(相位偏移)。
而且，点像复原处理为如下处理：求出由光学系统的像差等引起的劣化(点扩散函数(PSF)或光学传递函数(OTF：Optical Transfer Function))的特性，通过对所拍摄的图像(劣化的图像)使用根据PSF或OTF生成的复原(恢复)滤波器进行复原处理而复原到分辨率较高的图像。
PSF与OTF存在傅里叶变换关系，PSF为实变函数，OTF为复变函数。作为具有与它们等效信息的函数，有调制传递函数或振幅传递函数(MTF)及相位传递函数(PTF)，分别表示OTF的振幅成分及相位成分。MTF与PTF一同具有与OTF或PSF等效的信息量。
通常，基于PSF的模糊图像的复原中，能够利用卷积型维纳(Wiener)滤波器。参考对PSF(x,y)进行傅里叶变换的OTF及信噪比(SNR)(signal-no ise ratio)信息，通过以下式能够计算出复原滤波器的频率特性d(ωx,ωy)。
[数式1]
其中，H(ωx,ωy)表示OTF，H*(ωx,ωy)表示其复共轭。并且，SNR(ωx,ωy)表示SN(signal-noise(信噪))比。
复原滤波器的滤波器系数的设计是以使滤波器的频率特性最接近所希望的Wiener频率特性的方式选择系数值的最佳化问题，可通过任意公知的方法适当计算出滤波器系数。
如图4所示，为了从模糊图像的原图像数据Do(第1图像数据)复原原来的被摄体像(点像)，通过对原图像数据Do进行利用了用于振幅复原及相位校正的滤波器(第1复原滤波器F0)的振幅复原及相位校正处理(第1复原处理)P10，非点对称的模糊像得到振幅复原而模糊像变小，非点对称的像依赖于频率而移动，从而恢复到点对称的像。由此，可获得表示与原来的被摄体像(点像)更接近的像(恢复图像)的恢复图像数据Dr。
振幅复原及相位校正处理(第1复原处理)P10中所使用的第1复原滤波器F0，从与获取原图像数据Do时的摄像条件相应的光学系统的点像信息(PS F、OTF)，通过规定的振幅复原及相位校正滤波器算法P20而获得。
光学系统的点像信息不仅根据透镜16的类型，还根据光圈量、焦距、变焦量、像高、记录像素数及像素间距等各种摄像条件而能够变动。并且，光学系统的点像信息在可见光及近红外光的条件下能够发生变动。因此，当计算第1复原滤波器F0时，获取这些摄像条件。
第1复原滤波器F0为分别例如由N×M(N及M为2以上的整数)的抽头构成的实空间上的滤波器，并应用于处理对象的图像数据。由此，通过对分配于各抽头的滤波器系数及对应的像素数据(图像数据的处理对象像素数据及相邻像素数据)进行加权平均运算(反卷积运算)，能够计算出点像复原处理后的像素数据。一边依次改变对象像素一边将利用了第1复原滤波器F0的加重平均处理应用于构成图像数据的所有像素数据，由此能够进行点像复原处理。
另外，在图4所示的例子中，对第1复原处理中一并进行振幅复原及相位校正的情况进行了说明，但并不限定于此。即，也可以在第1复原处理中计算出能够进行振幅复原的滤波器且计算出能够进行相位校正的滤波器，而将振幅复原处理及相位校正处理作为单独的处理来执行。
接着，对第2复原处理进行说明。
图5是表示作为原图像数据Do已获取第2图像数据时的第2复原处理的概要的图。
如图5所示，当将点像作为被摄体来进行拍摄时，被摄体的近红外光像经由光学系统(透镜16、光圈17等)被成像元件26(图象传感器)所接收，并从成像元件26输出第2图像数据。例如，该第2图像数据因来源于光学系统的特性的点扩散现象而振幅成分劣化，从而原来的被摄体像(点像)成为模糊图像。在此，例如近红外光由单色光构成，因此有时不产生倍率色差，相位不偏移而成为对称的模糊图像。因此，对于对称的模糊图像即第2图像数据无需进行相位校正，对第2图像数据仅进行振幅复原处理，由此能够减轻图像处理的计算负荷。
在第2复原处理部5中，例如使用表示OTF的振幅成分的MTF，计算出滤波器的频率特性，以使计算出的滤波器的频率特性最接近所希望的Wiener频率特性的方式选择系数值，由此计算出使频率特性的劣化恢复的振幅复原滤波器F1(P21)。另外，在该情况下，振幅复原滤波器F1成为第2复原滤波器。
如图5所示，为了从模糊图像的原图像数据Do复原原来的被摄体像(点像)，通过对原图像数据Do进行利用了振幅复原滤波器F1的振幅复原处理P11，非点对称的模糊像得到振幅复原，从而模糊像变小。并且，通过将进行不伴随相位校正的振幅复原的点像复原处理对第2图像数据进行，能够提高点像复原处理的精度。
接着，对图像处理装置(图像处理部)35进行说明。
图6是表示图像处理部35的功能结构例的框图。
图像处理部35具备图像输入部1、第1复原处理部3及第2复原处理部5。
图像输入部1中输入第1图像数据及第2图像数据。对图像输入部1的输入方法并无特别限定。例如，图像输入部1中可以同时输入第1图像数据及第2图像数据，也可以以不同的时刻输入第1图像数据及第2图像数据。当输入第1图像数据时，图像输入部1将所输入的第1图像数据传送至第1复原处理部3。并且，当输入第2图像数据时，图像输入部1将所输入的第2图像数据传送至第2复原处理部5。在此，例如相机主体控制器28获取IR截止滤波器25通过设备控制部34是插入在成像光路上还是退避成像光路的信息，并向图像处理部35的图像输入部1传送IR截止滤波器25是插入在成像光路上还是退避成像光路的信息。而且，图像输入部1根据IR截止滤波器25插入在成像光路上还是退避成像光路的信息，判断所输入的图像数据是第1图像数据还是第2图像数据。另外，图像输入部1进行的该判断并无特别限定。例如，可以在图像数据中附加是第1图像数据还是第2图像数据的信息，且图像输入部1也可以根据该信息判断图像数据。
第1复原处理部3从图像输入部1获取第1图像数据。而且，第1复原处理部3进行利用了基于针对光学系统的可见光的点扩散函数的进行相位校正及振幅复原的第1复原滤波器的第1复原处理。即，第1复原处理部3使用根据针对光学系统的可见光的点扩散函数生成的第1复原滤波器，对第1图像数据进行第1复原处理。关于已进行第1复原处理的图像，执行相位偏移得到校正、振幅得到复原且模糊得到良好修正的有效的点像复原处理。并且，通过对第1图像数据的RGB数据的各数据进行相位校正，从而倍率色差得到有效地抑制。
第2复原处理部5从图像输入部1获取第2图像数据。而且，第2复原处理部5进行利用了基于光学系统的点扩散函数的进行不伴随相位校正的振幅复原的第2复原滤波器的第2复原处理。对第2图像数据仅进行不伴随相位校正的振幅复原，因此对第2图像数据的点像复原处理的精度变好。在此，点像复原处理的精度高是指虽然点像复原处理失败但图像不自然的几率较低。并且，第2复原处理部5不进行过高期待效果的相位校正，因此能够减轻点像复原处理的计算负荷且获得鲜明的图像。并且，当将拍摄可见光像的情况设为基准而设定成像元件26的像面位置时，近红外光像的成像面偏离所设定的成像元件26的像面位置，因此PSF的相位消失，从而进行相位校正的必要性变少。
如上所述，通过图像处理部(图像处理装置)35具备第1复原处理部3及第2复原处理部5，当图像处理部35设置于计算机时，可以不具备对各摄像装置进行点像复原处理的功能。
图7是表示第1复原处理部3的功能结构例的框图。
第1复原处理部3由第1复原运算处理部44a、滤波器选择部44b、光学系统数据获取部44c及存储部44d构成。
光学系统数据获取部44c获取表示光学系统(透镜16、光圈17等)的点扩散函数的光学系统数据。该光学系统数据为成为滤波器选择部44b中的第1复原滤波器的选择基准的数据，只要是直接或间接地表示处理对象的第1图像数据的拍摄获取时所使用的光学系统的点扩散函数的信息即可。因此，例如可以将与光学系统的点扩散函数相关的传递函数(PSF、OTF(MTF、PTF))本身作为光学系统数据，也可以将间接地表示与光学系统的点扩散函数相关的传递函数的光学系统的类型(例如，拍摄时所使用的透镜单元12(透镜16)的型号等)等作为光学系统数据。并且，也可以将已拍摄图像时的F值(光圈值)、变焦值及像高等信息作为光学系统数据。
存储部44d存储有根据与多个类型的光学系统的光点扩散函数相关的传递函数(PSF、OTF或PTF及MTF)生成的、每一个RGB的第1复原滤波器(F0R1、F0G1、F0B1)。按每一个RGB存储第1复原滤波器(F0R1、F0G1、F0B1)是因为光学系统的像差根据RGB各颜色的波长而不同(是因为PSF形状不同)。并且，存储部44d优选存储与光圈值(F值)、焦距、像高等对应的第1复原滤波器(F0R1、F0G1、F0B1)。这是因为根据这些条件PSF形状有所不同。在此，G表示绿色且为最有助于获得亮度数据的第1颜色，R表示红色且为除第1颜色以外的2个颜色以上的第2颜色中的一种，B表示蓝色且为除第1颜色以外的2个颜色以上的第2颜色中的一种。
滤波器选择部44b根据光学系统数据获取部44c获取的光学系统数据，在存储部44d中所存储的第1复原滤波器中，选择第1图像数据的用在拍摄获取中的与光学系统的光学系统数据对应的第1复原滤波器。通过滤波器选择部44b选择的每一个RGB的第1复原滤波器(F0R1、F0G1、F0B1)传送至第1复原运算处理部44a。
另外，滤波器选择部44b掌握存储部44d所存储的第1复原滤波器的类型信息(第1复原滤波器存储信息)，但基于滤波器选择部44b的第1复原滤波器存储信息的掌握方法并无特别限定。例如，滤波器选择部44b可以具有存储第1复原滤波器存储信息的存储部(省略图示)，当存储于存储部44d的第1复原滤波器的类型信息发生变更时，也可以设为存储于滤波器选择部44b的存储部的第1复原滤波器存储信息也发生变更。并且，滤波器选择部44b可以设成与存储部44d连接而直接掌握“存储部44d所存储的第1复原滤波器的信息”，也可以设成从掌握第1复原滤波器存储信息的其他处理部(存储器等)掌握第1复原滤波器存储信息。
并且，滤波器选择部44b只要选择第1图像数据的用在拍摄获取中的与光学系统的PSF对应的第1复原滤波器即可，其选择方法并无特别限定。例如，当来自光学系统数据获取部44c的光学系统数据直接表示PSF时，滤波器选择部44b选择与该光学系统数据表示的PSF对应的第1复原滤波器。并且，当来自光学系统数据获取部44c的光学系统数据间接表示PSF时，滤波器选择部44b从“间接表示PSF的光学系统数据”选择处理对象的第1图像数据的用在拍摄获取中的与光学系统的PSF对应的第1复原滤波器。
第1复原运算处理部44a中输入有被去马赛克处理的第1图像数据(RGB数据)，第1复原运算处理部44a对RGB数据进行利用了通过滤波器选择部44b选择的第1复原滤波器(F0R1、F0G1、F0B1)的第1复原处理，计算出第1复原处理后的图像数据。即，第1复原运算处理部44a进行第1复原滤波器(F0R1、F0G1、F0B1)和与其对应的每一个RGB的像素数据(处理对象像素数据及相邻像素数据)的反卷积运算，计算出已进行第1复原处理的RGB数据。
上述结构的第1复原处理部3能够进行反映出RGB的每一颜色通道的相位传递函数(PTF)的相位校正处理，执行良好地修正模糊的有效的点像复原处理。并且，第1复原处理部3进行反映出RGB的每一颜色通道的相位传递函数(PTF)的相位校正处理，因此能够校正倍率色差等各种色差。
图8是表示第2复原处理部5的功能结构例的框图。
第2复原处理部5由第2复原运算处理部46a、滤波器选择部46b、光学系统数据获取部46c及存储部46d构成。
滤波器选择部46b及光学系统数据获取部46c分别与图7所示的滤波器选择部44b及光学系统数据获取部44c对应，因此省略其详细说明。
存储部46d存储有根据多个类型的光学系统的PSF、OTF或MTF生成的第2复原滤波器。并且，存储部46d优选存储与光圈值(F值)、焦距及像高等对应的第2复原滤波器。因为根据这些条件PSF形状有所不同。
滤波器选择部46b根据光学系统数据获取部46c获取的光学系统数据，在存储部46d所存储的第2复原滤波器中，选择原图像数据的用在拍摄获取中的与光学系统的光学系统数据对应的第2复原滤波器。通过滤波器选择部46b选择的第2复原滤波器传送至第2复原运算处理部46a。
第2复原运算处理部46a对第2图像数据进行利用了通过滤波器选择部46b选择的第2复原滤波器的第2复原处理。
另外，存储第1复原滤波器的存储部44d(图7)及存储第2复原滤波器的存储部46d(图8)可以分别设置，由于物理性相同，因此也可以是只有存储区域不同的存储部。
并且，在本例子中，设成在存储部44d、46d分别存储第1复原滤波器、第2复原滤波器，适当读出点像复原处理中所使用的第1复原滤波器、第2复原滤波器，但并不限定于此。即，在本例子中，可以将光学系统的传递函数(PSF、OTF、PTF、MTF)存储于存储部，在进行点像复原处理时从存储部读出点像复原处理中所使用的传递函数，也可以设置如依次生成第1复原滤波器及第2复原滤波器的滤波器生成部。另外，在上述说明中，将第1复原处理部3(图7)及第2复原处理部5(图8)作为单独的处理部来进行了说明，但并不限定于此。例如，也可以通过同时具有第1复原处理部3及第2复原处理部5的功能的一个复原处理部来实现第1复原处理及第2复原处理。
图9是表示图像处理部(图像处理装置)35的动作的流程图。
首先，图像处理部35中，对图像输入部1输入第1图像数据及第2图像数据(步骤S10)。然后，通过第1复原处理部3对第1图像数据进行第1复原处理(步骤S11)。并且，通过第2复原处理部5对第2图像数据进行第2复原处理(步骤S12)。
上述的各结构及功能可通过任意的硬件、软件或两者的组合来适当实现。例如，对使计算机执行上述处理步骤(处理顺序)的程序、记录有这种程序的计算机可读取的记录介质(非暂时性有形记录介质)或对可安装这种程序的计算机也能够应用本发明。
接着，对关于数码相机10的成像元件26的设置的设定进行说明。
图10至图13是对成像元件26的像面与成像面的位置关系及焦点进行说明的图。图10(A)、图11(A)、图12(A)及图13(A)中主要记载有透镜单元12、成像元件26、IR截止滤波器25、截止滤波器动作机构24及被摄体19。并且，透镜单元12的侧面设置有聚焦环13、聚焦调节杆11、变焦环23及变焦调节杆21。图10(A)、图11(A)、图12(A)及图13(A)中所记载的成像元件26的像面是以拍摄可见光像的情况为基准来设定的。并且，在图10(B)、图11(B)、图12(B)及图13(B)中示出了在图10(A)至图13(A)各自的摄像条件下拍摄的被摄体像的图像。
在图10中示出了荧光灯31被点亮，且IR截止滤波器25插入于成像光路的情况。在该情况下，通过成像元件26获取被摄体19的可见光像。成像元件26的像面位置是以获取可见光像的情况为基准来设定的，因此被摄体19的可见光像的成像面51与成像元件26的像面的位置一致(参考图10(A))，并获取对被摄体19对准焦点的图像(参考图10(B))。
在图11中示出了荧光灯31被点亮，且IR截止滤波器25从成像光路退避的情况。在该情况下，通过成像元件26获取具有被摄体19的可见光像的图像。成像元件26的像面位置是以获取可见光像的情况为基准来设定的，但IR截止滤波器25从成像光路退避而可见光像的光路长度发生变化，因此被摄体19的可见光像的成像面51与成像元件26的像面的位置不一致(参考图11(A))。因此，获取对被摄体19没有对准焦点的模糊的图像(参考图11(B))。另外，在该情况下，IR截止滤波器25从成像光路退避，但没有插入如调节光路长度的虚拟滤波器(透明玻璃)等。并且，图11(A)中用点线来表示IR截止滤波器25插入于成像光路时的可见光像的成像面。另外，当IR截止滤波器25从成像光路退避时，可以将虚拟滤波器插入于成像光路来替代。由此，即使在IR截止滤波器25退避的情况下，也可获得进一步对准焦点的图像。
在图12中示出了荧光灯31关闭而发射近红外光的IR(Infrared)投光灯33被点亮且IR截止滤波器25从成像光路退避的情况。在该情况下，通过成像元件26获取具有被摄体19的近红外光像的图像。被摄体19的近红外光像的成像面53与可见光像的成像面51相比更靠成像元件26侧。因此，与图11所示的情况相比，焦点的偏移变小，从而能够获取模糊得到抑制的图像(参考图12(B))。另外，在图12(A)中用点线来表示可见光像的成像面。
在图13中示出了荧光灯31被点亮、IR投光灯33被点亮且IR截止滤波器25从成像光路退避的情况。在该情况下，通过成像元件26获取具有被摄体19的可见光像及近红外光像的图像。在该情况下，存在被摄体19的近红外光像的成像面53及被摄体19的可见光像的成像面51，如图11中说明，可见光像的成像面51的位置与成像元件26的像面位置的差异较大，因此获取可见光像的模糊明显的图像(参考图13(B))。
如上所述，通过将成像元件26的像面位置以获取被摄体19的可见光像(第1图像数据)的情况为基准来设定，从而即使在IR截止滤波器25从成像光路退避的情况下，也能够获取模糊得到抑制的被摄体19的近红外光像。
(第2实施方式)
接着，对第2实施方式进行说明。
图14是表示第2实施方式中的作为原图像数据Do已获取第1图像数据时的第1复原处理的概要的图。另外，对图4中已进行说明的部分标注相同的符号并省略说明。
在图14中，图4中进行说明的第1复原处理作为振幅复原处理P12及相位校正处理P14而分别进行。并且，对已进行振幅复原处理的第1图像数据进行非线性灰度校正处理P13。
当在第1复原处理部3中分别进行相位校正及振幅复原时，代替前述的[数式1]的OTF，使用表示OTF的振幅成分的MTF，计算出滤波器的频率特性，以使计算出的滤波器的频率特性最接近所希望的Wiener频率特性的方式选择系数值，由此计算出恢复频率特性的劣化的振幅复原滤波器F3。同样地，代替上述[数式1]的OTF，使用表示OTF的相位成分的PTF，计算出滤波器的频率特性，以使计算出的滤波器的频率特性最接近所希望的Wiener频率特性的方式选择系数值，由此计算出恢复相位特性的劣化的相位校正滤波器F2。另外，在该情况下，振幅复原滤波器F3及相位校正滤波器F2成为第1复原滤波器。
为了从模糊图像的原图像数据Do(第1图像数据)复原原来的被摄体像(点像)，通过对原图像数据Do进行利用了振幅复原滤波器F3的振幅复原处理P12，从而非点对称的模糊像得以振幅复原，且模糊像变小。
接着，对振幅复原处理后的第1图像数据进行非线性灰度校正处理P13(基于对数化处理的伽马校正处理)。灰度(伽马)校正处理是通过显示装置自然地再现图像的方式将图像数据校正为非线性处理。
而且，对已进行灰度校正处理的第1图像数据进行利用了相位校正滤波器F2的相位校正处理P14。通过该相位校正处理P14非点对称的像依赖于频率而移动，恢复成点对称的像。由此，可获得表示与原来的被摄体像(点像)更接近的像(恢复图像)的恢复图像数据Dr。
振幅复原处理P12中所使用的振幅复原滤波器F3从与获取原图像数据Do时的摄像条件相应的光学系统的点像信息(PSF、OTF或MTF)通过规定的振幅复原滤波器算法P22来获得，相位校正处理P14中所使用的相位校正滤波器F2从与获取原图像数据Do时的摄像条件相应的光学系统的点像信息(PSF、OTF或PTF)通过规定的相位校正滤波器算法P23来获得。
由N×M的抽头构成的实空间上的振幅复原滤波器F3或相位校正滤波器F2可通过对频率空间上的恢复滤波器的频率振幅特性或恢复滤波器的相位特性进行逆傅里叶变换来导出。因此，实空间上的振幅复原滤波器F3或相位校正滤波器F2确定成为基础的频率空间上的振幅复原滤波器或相位校正滤波器，并指定实空间上的振幅复原滤波器F3或相位校正滤波器F2的构成抽头数，由此可适当计算。另外，相位校正滤波器F2的N×M的抽头数优选设为大于振幅复原滤波器F3的抽头数，以便良好地进行相位校正。
如此，在本方式中，对已进行振幅复原处理P12的第1图像数据进行非线性灰度校正处理P13，对已进行非线性灰度校正处理P13的第1图像数据进行相位校正处理P14。由此，本方式在相位校正处理中，由于因相位校正滤波器在空间上扩散较大而导致容易出现在饱和像素附近产生伪影(振铃等)的现象，但通过在灰度校正后进行相位校正，从而能够防止因灰度校正而上述伪影放大(强烈地产生伪影)。同样地，可能会出现因相位校正而颜色灰度发生变化的现象，但本方式能够缓和该现象。正确而言，颜色灰度发生变化的现象，即使在灰度校正之后实施相位校正也会出现，但与在灰度校正之前实施的情况相比，能够减少颜色灰度的发生。并且本方式中，关于灰度校正后的图像数据，通常比特数与灰度校正前相比会变少，因此能够减少实施基于抽头数较大的相位校正滤波器的相位校正时的计算负荷。
并且，在本方式中，可以改变振幅复原处理P12与相位校正处理P14的顺序。即，对已进行相位校正处理P14的第1图像数据进行非线性灰度校正处理P13，对已进行非线性灰度校正处理P13的第1图像数据进行振幅复原处理P12。由此，本方式在灰度校正之前(图像的频率特性变化之前)进行相位校正，因此能够有效地进行相位校正，在灰度校正之后进行振幅复原，因此因振幅复原而产生若干的过冲/下冲不会因灰度校正而被放大(增强)，从而能够防止强烈地产生伪影。
图15是表示第2实施方式中的图像处理部35的功能结构例的框图。第2实施方式的图像处理部35具备图像输入部1、第1复原处理部3、第2复原处理部5及灰度校正处理部7。另外，对图7中进行说明的部分标注相同的编号并省略说明。
第1复原处理部3具备有相位校正部8及振幅复原部9。相位校正部8对第1图像数据进行相位校正，振幅复原部9对第1图像数据进行振幅校正。
灰度校正处理部7为对图像数据进行非线性灰度校正的部分，例如，对所输入的RGB数据进行基于对数化处理的伽马校正处理，并且以通过显示装置使图像自然的再现的方式对RGB数据进行非线性处理。
图16是表示通过灰度校正处理部7灰度校正的输入输出特性(伽玛特性)的一例的图表。在本例中，灰度校正处理部7对12比特(0～4095)的R GB数据进行与伽玛特性对应的伽马校正，并生成8比特(0～255)的RGB的颜色数据(1字节数据)。灰度校正处理部7例如能够由按每一个RGB的查找表(LUT)(Look up table)构成，优选进行分别与RGB数据的每一颜色对应的伽马校正。另外，灰度校正处理部7还包括对输入数据进行沿色调曲线的非线性灰度校正的操作。
＜具体例1＞
图17是表示第2实施方式中的图像处理部35的具体处理的例子(具体例1)的框图。
本例的图像处理部35具备偏移校正处理部41、调整白平衡(WB)的WB校正处理部42、去马赛克处理部43、振幅复原处理部44、包括伽马校正处理部的灰度校正处理部45、相位校正处理部46以及相当于亮度数据生成部的一方式的亮度及色差转换处理部47。另外，在振幅复原处理部44中进行图14中进行说明的振幅复原处理P12，在相位校正处理部46中进行图14中进行说明的相位校正处理P14。
在图17中，偏移校正处理部41中以点顺序输入从成像元件26获取的图像处理前的马赛克数据(RAW数据：红(R)、绿(G)、蓝(B)的马赛克状颜色数据(RGB数据))。另外，马赛克数据例如为每一个RGB具有12比特(0～4095)位长的数据(每一像素为2字节数据)。
偏移校正处理部41为对所输入的马赛克数据中所包含的暗电流成分进行校正的处理部，通过从马赛克数据减去由成像元件26上的遮光像素获得的光学黑体(OB)(opticalblack)的信号值而进行马赛克数据的偏移校正。
被偏移校正的马赛克数据(RGB数据)附加于WB校正处理部42。WB校正处理部42对RGB数据分别乘以按RGB的每一颜色进行设定的WB增益，并进行RGB数据的白平衡校正。关于WB增益，例如设为根据RGB数据自动判定光源种类，或手动选择光源种类，且设定与判定或选择的光源种类相符的WB增益，但WB增益的设定方法并不限定于此，能够通过其他公知的方法进行设定。
去马赛克处理部43为进行从与单板式成像元件26的彩色滤波器排列对应的马赛克图像按每一像素计算出所有颜色信息的去马赛克处理(也称为“同步化处理”)的部分，例如，当为包括RGB这3色的彩色滤波器的成像元件时，从包括RGB的马赛克图像按每一像素计算出RGB所有的颜色信息。即，去马赛克处理部43从马赛克数据(点顺序的RGB数据)生成被同步化的RGB3面的图像数据。
被去马赛克处理的RGB数据附加于振幅复原处理部44，并进行RGB数据的振幅复原处理。
通过振幅复原处理部44振幅复原处理的RGB数据附加于灰度校正处理部45。
灰度校正处理部45为对被振幅复原处理的RGB数据进行非线性灰度校正的部分，例如对所输入的RGB数据进行基于对数化处理的伽马校正处理，以通过显示装置使图像自然的再现的方式对RGB数据进行非线性处理。
通过灰度校正处理部45灰度校正的(R)(G)(B)数据附加于相位校正处理部46，在此进行(R)(G)(B)数据的相位校正处理。另外，将灰度校正后的RGB数据标记为(R)(G)(B)数据。
通过相位校正处理部46相位校正处理的(R)(G)(B)数据附加于亮度及色差转换处理部47。亮度及色差转换处理部47为将(R)(G)(B)数据转换为表示亮度成分的亮度数据(Y)、色差数据(Cr)及(Cb)的处理部，且能够通过以下式计算。
[数式2]
(Y)＝0.299(R)+0.587(G)+0.114(B)
(Cb)＝-0.168736(R)-0.331264(G)+0.5(B)
(Cr)＝-0.5(R)-0.418688(G)-0.081312(B)
另外，(R)(G)(B)数据为灰度校正及相位校正处理后的8比特的数据，从这些(R)(G)(B)数据转换的亮度数据(Y)、色差数据(Cr)、(Cb)也是8比特的数据。并且，从(R)(G)(B)数据转换为亮度数据(Y)、色差数据(Cr)、(Cb)的转换式并不限定于上述[数式2]。
如此转换的8比特的亮度数据(Y)、色差数据(Cr)、(Cb)例如在执行JPEG(JointPhotographic coding Experts Group)等压缩处理之后，使标题信息、被压缩的主图像数据及缩略图图像数据等多个相关数据彼此对应而作为一个图像文件来构成。
＜具体例2＞
图18是表示第2实施方式中的图像处理部35的具体处理的例子(具体例2)的框图。另外，在图18中，对与图17所示的图像处理部35的具体例通用的部分标注相同的符号，并省略其详细说明。
具体例2主要是相位校正处理部46-2与具体例1的相位校正处理部46不同。
即，具体例1的相位校正处理部46设置于灰度校正处理部45的后段并对灰度校正后的(R)(G)(B)数据进行相位校正处理，相对于此，具体例2的相位校正处理部46-2设置于亮度及色差转换处理部47的后段，并对通过亮度及色差转换处理部47转换的亮度数据(Y)(灰度校正后)进行相位校正处理。
图19是表示具体例2的相位校正处理部46-2的功能结构例的框图。
图19所示的相位校正处理部46-2由相位校正运算处理部46-2a、滤波器选择部46-2b、光学系统数据获取部46-2c及存储部46-2d构成。
滤波器选择部46-2b及光学系统数据获取部46-2c分别与图7所示的滤波器选择部44b及光学系统数据获取部44c对应，因此省略其详细说明。
存储部46-2d存储有与由根据多个类型的光学系统的PSF、OTF或PTF生成的与根据第1图像数据计算出的亮度数据对应的相位校正滤波器FY2。
在此，例如混合RGB的每一颜色通道的相位传递函数(PTFR、PTFG、PT FB)，计算出与亮度数据对应的相位传递函数(PTFY)，根据计算出的PTFY能够生成与亮度数据对应的相位校正滤波器FY2。另外，当计算PTFY时，优选将PTFR、PTFG、PTFB作为加权线性和来计算。并且，作为加权系数，能够使用与从[数式2]所示的(R)(G)(B)数据生成亮度数据(Y)时的系数相同的系数，但并不限定于此。
并且，作为与亮度数据对应的相位校正滤波器FY2的另一例，如[数式2]所示，可以将最有助于亮度数据(Y)生成的与(G)数据对应的相位校正滤波器FG2直接用作相位校正滤波器FY2。另外，存储部46-2d优选分别存储与光圈值(F值)、焦距及像高等对应的相位校正滤波器FY2。
滤波器选择部46-2b根据光学系统数据获取部46-2c获取的光学系统数据，在存储部46-2d中所存储的相位校正滤波器中，选择原图像数据(第1图像数据)的用在拍摄获取中的与光学系统的光学系统数据对应的相位校正滤波器。通过滤波器选择部46-2b选择的与亮度数据对应的相位校正滤波器FY2传送至相位校正运算处理部46-2a。
相位校正运算处理部46-2a中输入有灰度校正(伽马校正)后的亮度数据(Y)，相位校正运算处理部46-2a对亮度数据(Y)进行利用了通过滤波器选择部46-2b选择的相位校正滤波器FY2的相位校正处理。即，相位校正运算处理部46-2a进行相位校正滤波器FY2和与其对应的亮度数据(Y)(处理对象像素及相邻像素的亮度数据(Y))的反卷积运算，计算出相位校正处理后的亮度数据(Y)。
上述结构的相位校正处理部46-2能够对亮度数据(Y)进行反映出亮度数据(Y)的相位传递函数(PTF)的相位校正处理。
并且，在基于具体例1(图17)的相位校正处理部46的对RGB数据的相位校正处理中，需要3通道(3ch)份的处理系统，但在对亮度数据(Y)的相位校正处理中，只需1通道(1ch)份的处理系统，因此对亮度数据的相位校正处理一方能够降低线路规模及计算负荷，并且能够减少存储于存储部46-2d的相位校正滤波器的数量。
而且，对RGB数据的相位校正处理只要按照设想(按照光学系统的点扩散函数信息)获取RGB数据，便可实现有效的RGB数据的相位校正处理，与对亮度数据的相位校正处理相比，能够有效减轻色差等，但当实际的输入信号的行为与设想不符时，在对RGB数据的相位校正处理中，可能会引起产生不必要的着色的部分增加而不自然的颜色搭配明显等副作用。
对此，具体例2(图18)的相位校正处理部46-2中，仅对亮度数据进行相位校正处理，因此具有难以引起如上述那样的副作用的效果(着色程度、渗入程度等中的色彩系统韧性)。
另外，基于相位校正处理部46-2的相位校正处理对灰度校正(伽马校正)后的亮度数据(Y)进行，因此能够防止因灰度校正而强调所产生的伪影这一点、及也能够缓和因相位校正处理而颜色灰度发生变化的现象这一点，与具体例1的相位校正处理部46相同。
＜具体例3＞
图20是表示第2实施方式中的图像处理部35的具体处理的例子(具体例3)的框图。另外，在图20中，对与图17所示的图像处理部35的具体例通用的部分标注相同的符号，并省略其详细说明。
具体例3主要是振幅复原处理部44-2与具体例1及具体例2的振幅复原处理部44不同。
即，具体例1及具体例2的振幅复原处理部44设置于去马赛克处理部43的后段，对R、G、B的去马赛克数据进行振幅复原处理，相对于此，具体例3的振幅复原处理部44-2设置于亮度及色差转换处理部47的后段，对通过亮度及色差转换处理部47转换的亮度数据Y(灰度校正前)进行振幅复原处理的这一点与具体例1及具体例2不同。
图21是表示具体例3的振幅复原处理部44的功能结构例的框图。
图21所示的振幅复原处理部44-2由振幅复原运算处理部44-2a、滤波器选择部44-2b、光学系统数据获取部44-2c及存储部44-2d构成。
滤波器选择部44-2b及光学系统数据获取部44-2c分别与图7所示的滤波器选择部44b及光学系统数据获取部44c对应，因此省略其详细说明。
存储部44-2d存储有根据多个类型的光学系统的PSF、OTF或MTF生成的与表示亮度成分的图像数据(以下，称为“亮度数据Y”)对应的振幅复原滤波器FY1。
在此，例如，混合RGB的每一颜色通道的调制传递函数(MTFR、MTF G、MTFB)，计算出与亮度数据Y对应的调制传递函数(MTFY)，根据计算出的MTFY能够生成与亮度数据Y对应的振幅复原滤波器FY1。另外，在计算MTFY时，优选将MTFR、MTFG、MTFB作为加权线性和来计算。并且，作为加权系数，能够使用与从[数式2]所示的(R)(G)(B)数据生成亮度数据(Y)时的系数相同的系数，但并不限定于此。
并且，作为与亮度数据Y对应的振幅复原滤波器FY1的另一例，如[数式2]所示，也可以将最有助于亮度数据生成的与G颜色数据对应的振幅复原滤波器FG1直接用作振幅复原滤波器FY1。另外，存储部44-2d优选分别存储与光圈值(F值)、焦距及像高等对应的振幅复原滤波器FY1。
滤波器选择部44-2b根据光学系统数据获取部44-2c获取的光学系统数据，在存储部44-2d中所存储的振幅复原滤波器中，选择原图像数据的用在拍摄获取中的与光学系统的光学系统数据对应的振幅复原滤波器。通过滤波器选择部44-2b选择的与亮度数据Y对应的振幅复原滤波器FY1传送至振幅复原运算处理部44-2a。
振幅复原运算处理部44-2a中从亮度及色差转换处理部47输入灰度校正(伽马校正)前的亮度数据Y，振幅复原运算处理部44-2a对亮度数据Y进行利用了通过滤波器选择部44-2b选择的振幅复原滤波器FY1的振幅复原处理。即，振幅复原运算处理部44-2a进行振幅复原滤波器FY1和与其对应的亮度数据Y(处理对象像素及相邻像素的亮度数据Y)的反卷积运算，计算出已进行振幅复原处理的亮度数据Y。
上述结构的振幅复原处理部44-2能够对亮度数据Y进行反映出亮度数据Y的调制传递函数(MTF)的振幅复原处理。
并且，在基于具体例1(图17)及具体例2(图18)的振幅复原处理部44对RGB数据的振幅复原处理中，需要3通道(3ch)份的处理系统，但在对亮度数据Y的振幅复原处理中，只需1通道(1ch)份的处理系统，因此对亮度数据的振幅复原处理一方能够降低线路规模及计算负荷，并且能够减少存储于存储部44-2d的振幅复原滤波器的数量。
而且，对RGB数据的振幅复原处理只要按照设想(按照光学系统的点扩散函数信息)获取RGB数据，便可实现有效的RGB数据的点像复原处理，与对亮度数据的振幅复原处理相比，能够有效减轻色差等，但当实际的输入信号的行为与设想不符时，在对RGB数据的相位校正处理中，可能会引起产生不必要的着色的部分增加而不自然的颜色搭配明显等副作用。
对此，具体例3的振幅复原处理部44-2仅对亮度数据进行振幅复原处理，因此具有难以引起如上述那样的副作用的效果(着色程度、渗入程度等中的色彩系统韧性)。
另一方面，基于相位校正处理部46-2的相位校正处理与具体例2同样地，对灰度校正(伽马校正)后的亮度数据(Y)进行，因此具有与具体例2相同的效果。
并且，具体例3的图像处理部35对灰度校正前的亮度数据Y进行振幅复原处理，对灰度校正后的亮度数据(Y)进行相位校正处理，因此在具体例1至具体例3中，最能降低线路规模及计算负荷。
另外，在图20所示的具体例3中，亮度及色差转换处理部47将灰度校正前的各颜色数据(RGB)转换为亮度数据Y、色差数据Cr及Cb，这与将灰度校正后的(R)(G)(B)数据转换为亮度数据(Y)、色差数据(Cr)及(Cb)的具体例1及具体例2不同，但处理内容相同。
并且，具体例1(图17)及具体例2(图18)的灰度校正处理部45对RGB数据分别进行灰度校正(伽马校正)，相对于此，具体例3的灰度校正处理部45-2对通过振幅复原处理部44-2振幅复原处理的亮度数据Y及通过亮度及色差转换处理部47转换的色差数据Cr及Cb进行非线性灰度校正(伽马校正)，这一点与具体例1及具体例2的灰度校正处理部45不同。另外，输入于灰度校正处理部45-2的亮度数据Y、色差数据Cr及Cb分别为12比特的数据(2字节份的数据)，但灰度校正后的亮度数据(Y)、色差数据(Cr)及(Cb)分别转换为8比特的数据(1字节数据)。
＜具体例4＞
图22是表示第2实施方式中的图像处理部35的具体处理的例子(具体例4)的框图。另外，在图22中，对与图17所示的图像处理部35的具体例通用的部分标注相同的符号，并省略其详细说明。
本例的图像处理部35具备有偏移校正处理部41、调整白平衡(WB)的WB校正处理部42、去马赛克处理部43、相位校正处理部46、包括伽马校正处理部的灰度校正处理部45、振幅复原处理部44及相当于亮度数据生成部的一方式的亮度及色差转换处理部47。
通过去马赛克处理部43进行去马赛克处理的RGB数据附加于相位校正处理部46，在此，进行RGB数据的相位校正处理。
＜具体例5＞
图23是表示第2实施方式中的图像处理部35的具体处理的例子(具体例5)的框图。另外，在图23中，对与图17所示的图像处理部35的具体例通用的部分标注相同的符号，并省略其详细说明。
具体例5主要是振幅复原处理部44-2与具体例4的振幅复原处理部44不同。
即，具体例4的振幅复原处理部44设置于灰度校正处理部45的后段，对灰度校正后的(R)(G)(B)数据进行振幅复原处理，相对于此，具体例5的振幅复原处理部44-2设置于亮度及色差转换处理部47的后段，对通过亮度及色差转换处理部47转换的亮度数据(Y)(灰度校正后)进行振幅复原处理的这一点与具体例4不同。
图24是表示具体例5的振幅复原处理部44-2的功能结构例的框图。
图24所示的振幅复原处理部44-2由振幅复原运算处理部44-2a、滤波器选择部46-2b、光学系统数据获取部46-2c及存储部46-2d构成。
滤波器选择部46-2b及光学系统数据获取部46-2c分别与图7所示的滤波器选择部44b及光学系统数据获取部44c对应，因此省略其详细说明。
存储部46-2d存储有根据多个类型的光学系统的PSF、OTF或MTF生成的与亮度数据对应的振幅复原滤波器FY3。
在此，例如，混合RGB的每一颜色通道的频率传递函数(MTFR、MTFG、MTFB)，计算出与亮度数据对应的调制传递函数(MTFY)，根据计算出的MTFY能够生成与亮度数据对应的振幅复原滤波器FY3。另外，在计算MTFY时，优选将MTFR、MTFG、MTFB作为加权线性和来计算。并且，作为加权系数，能够使用与从[数式2]所示的(R)(G)(B)数据生成亮度数据(Y)时的系数相同的系数，但并不限定于此。
并且，作为与亮度数据对应的振幅复原滤波器FY3的另一例，如[数式2]所示，可以将最有助于亮度数据(Y)生成的与(G)数据对应的振幅复原滤波器FG3直接用作振幅复原滤波器FY3。另外，存储部46-2d优选分别存储与光圈值(F值)、焦距及像高等对应的振幅复原滤波器FY3。
滤波器选择部46-2b根据光学系统数据获取部46-2c获取的光学系统数据，在存储部46-2d中所存储的振幅复原滤波器中，选择原图像数据的用在拍摄获取中的与光学系统的光学系统数据对应的振幅复原滤波器。通过滤波器选择部46-2b选择的与亮度数据对应的振幅复原滤波器FY3传送至振幅复原运算处理部44-2a。
振幅复原运算处理部44-2a中输入有灰度校正(伽马校正)后的亮度数据(Y)，振幅复原运算处理部44-2a对亮度数据(Y)进行利用了通过滤波器选择部46-2b选择的振幅复原滤波器FY3的振幅复原处理。即，振幅复原运算处理部44-2a进行振幅复原滤波器FY3和与其对应的亮度数据(Y)(处理对象像素及相邻像素的亮度数据(Y))的反卷积运算，计算出振幅复原处理后的亮度数据(Y)。
上述结构的振幅复原处理部44-2能够对亮度数据(Y)进行反映出亮度数据(Y)的调制传递函数(MTF)的振幅复原处理。
并且，在基于具体例4(图22)的振幅复原处理部44的对RGB数据的振幅复原处理中，需要3通道(3ch)份的处理系统，但在对亮度数据(Y)的振幅复原处理中，只需1通道(1ch)份的处理系统，因此对亮度数据的振幅复原处理一方能够降低线路规模及计算负荷，并且能够减少存储于存储部46-2d的振幅复原滤波器的数量。
而且，对RGB数据的振幅复原处理只要按照设想(按照光学系统的点扩散函数信息)获取RGB各颜色的颜色数据，便可实现有效的RGB数据的点像复原处理，但当实际的输入信号的行为与设想不符时，在对RGB数据的振幅复原处理中，可能会引起产生不必要的着色的部分增加而不自然的颜色搭配明显等副作用。
对此，具体例4的振幅复原处理部44-2仅对亮度数据进行振幅复原处理，因此具有难以引起如上述那样的副作用的效果(着色程度、渗入程度等中的色彩系统韧性)。
另外，基于振幅复原处理部44-2的频率复原处理对灰度校正(伽马校正)后的亮度数据(Y)进行，因此能够防止因灰度校正强调所产生的伪影，这一点与具体例4的振幅复原处理部44相同。
(第3实施方式)
接着，对第3实施方式进行说明。
图25是表示第3实施方式中的图像处理部35的具体处理的例子的框图。第3实施方式中的图像处理部35通过通用的图像处理线路对可见光像的图像(第1图像数据)及近红外光的图像(第2图像数据)进行处理。另外，可见光拍摄模式是指IR截止滤波器25插入于光学系统的成像光路且从近红外光发光部15不发射近红外光并在白天进行拍摄的模式。并且，近红外光拍摄模式是指IR截止滤波器25从光学系统的成像光路退避且从近红外光发光部15发射近红外光并在夜间进行拍摄的模式。当在可见光拍摄模式下拍摄时，获取RGB数据(第1图像数据)，当在近红外光拍摄模式下拍摄时，获取IR数据(第2图像数据)。
本例的图像处理部35具备偏移校正处理部41、调整白平衡(WB)的WB校正处理部42、去马赛克处理部43、复原处理运算部71、复原滤波器存储部72、灰度校正运算部73、非线性校正表存储部74、亮度及色差转换处理部47及轮廓增强处理部55。
偏移校正处理部41中以点顺序输入在可见光拍摄模式及近红外光拍摄模式下拍摄时的从成像元件26获取的图像处理前的马赛克数据(RAW数据)。
偏移校正处理部41为对所输入的马赛克数据中所包含的暗电流成分进行校正的处理部，通过从马赛克数据减去从成像元件26上的遮光像素获得的光学黑体(OB)的信号值来进行马赛克数据的偏移校正。
被偏移校正的马赛克数据附加于WB校正处理部42。当输入在可见光拍摄模式下拍摄的图像数据(RGB数据)时，WB校正处理部42对RGB数据分别乘以按RGB的每一颜色设定的WB增益，并进行RGB数据的白平衡校正。关于WB增益，例如设为根据RGB数据自动判定光源种类，或通过手动选择光源种类，且设定与判定或选择的光源种类相应的WB增益，但WB增益的设定方法并不限定于此，能够通过其他公知的方法进行设定。另一方面，当输入在近红外光拍摄模式下拍摄的图像数据(IR数据)时，无需WB校正，因此，当输入IR数据时，WB校正处理部42不进行处理而直接输出图像数据。另外，当输入IR数据时，WB校正处理部42还可以进行调整来自具有R滤波器的像素的输出值、来自具有G滤波器的像素的输出值及来自具有B滤波器的像素的输出值的处理。
当输入在可见光拍摄模式下拍摄的图像数据(RGB数据)时，去马赛克处理部43从包括RGB的马赛克图像按每一像素计算出RGB所有的颜色信息。即，去马赛克处理部43从马赛克数据(点顺序的RGB数据)生成被同步化的RGB3面的图像数据。并且，当输入在近红外光拍摄模式下拍摄的图像数据(IR数据)时，无需去马赛克处理，因此去马赛克处理部43不进行处理而直接输出图像数据。另外，来自具有R滤波器的像素的输出灵敏度、来自具有G滤波器的像素的输出灵敏度及来自具有B滤波器的像素的输出灵敏度大致相等，因此认为不需要对IR数据的去马赛克处理。
从去马赛克处理部43输出的RGB数据或IR数据输入于复原处理运算部71，在此，进行第1复原处理及第2复原处理。
复原处理运算部71具有进行第1复原处理的功能及进行第2复原处理的功能。复原处理运算部71根据所输入的图像数据，选择复原滤波器存储部72中所存储的复原滤波器，使用所选择的复原滤波器进行复原处理的运算。具体而言，当输入在可见光拍摄模式下拍摄的图像数据(RGB数据)时，复原处理运算部71从复原滤波器存储部72选择第1复原滤波器并进行第1复原处理的运算。并且，当输入在近红外光拍摄模式下拍摄的图像数据(IR数据)时，复原处理运算部71从复原滤波器存储部72选择第2复原滤波器并进行第2复原处理的运算。如此，复原处理运算部71通过改变复原滤波器存储部72中所存储的复原滤波器的选择，能够进行第1复原处理及第2复原处理。
通过复原处理运算部71复原处理的RGB数据及IR数据附加于灰度校正运算部73。
灰度校正运算部73为对RGB数据及IR数据进行非线性灰度校正的部分。例如灰度校正运算部73对所输入的RGB数据及IR数据进行基于对数化处理的伽马校正处理，且以通过显示装置使图像自然的再现的方式对RGB数据进行非线性处理。另外，灰度校正运算部73从非线性校正表存储部74获取根据图像数据进行非线性灰度校正的表格数据。在此，非线性校正表存储部74中存储有对R、G及B数据进行非线性灰度校正的表格数据及对IR数据的进行非线性灰度校正的表格数据。
通过灰度校正运算部73进行灰度校正的(R)(G)(B)数据及进行灰度校正的IR数据附加于亮度及色差转换处理部47。
亮度及色差转换处理部47为当输入在可见光拍摄模式下拍摄的图像数据时，将(R)(G)(B)数据转换为表示亮度成分的亮度数据(Y)、色差数据(Cr)及(Cb)的处理部，通过由上述[数式2]表示的式来计算。并且，当输入在近红外光拍摄模式下拍摄的图像数据时，亮度及色差转换处理部47无需将进行灰度校正的IR数据转换为亮度数据(Y)、色差数据(Cr)及(Cb)，因此亮度及色差转换处理部47不进行处理而直接输出进行灰度校正的IR数据。
从亮度及色差转换处理部47输出的图像数据输入至轮廓增强处理部55。
轮廓增强处理部55对所输入的(Y)(Cb)(Cr)数据及被灰度校正的IR数据进行轮廓增强处理。当输入(Y)(Cb)(Cr)数据时，轮廓增强处理部55对(Y)数据进行轮廓增强处理，当输入被灰度校正的IR数据时，轮廓增强处理部55对IR数据进行轮廓增强处理。
根据本实施方式，通过通用的图像处理线路对在可见光拍摄模式下拍摄的图像数据及在近红外光拍摄模式下拍摄的图像数据进行处理，因此能够减轻线路设计的负荷且实现小型化。
＜对EDoF系统的应用例＞
上述实施方式中的点像复原处理(振幅复原处理及相位校正处理)为通过根据特定的摄影条件(例如，光圈值、F值、焦距、透镜类型等)对点扩散(点像模糊)进行振幅复原处理及相位校正处理而复原原来的被摄体像的图像处理，但可应用本发明的图像处理并不限定于上述实施方式中的复原处理。例如，对于对通过具有扩展场景(焦点)深(EDoF：Extended Depth of Field(Focus))的光学系统(摄影透镜等)拍摄获取的图像数据的复原处理，也能够应用本发明所涉及的复原处理。对通过EDoF光学系统场景深度(焦点深度)被扩展的状态下拍摄获取的模糊图像的图像数据进行复原处理，由此能够复原生成以广范围对准焦点的状态的高分辨率的图像数据。在该情况下，进行利用了基于EDoF光学系统的传递函数(PSF、OTF、MTF、PTF等)的振幅复原滤波器、相位校正滤波器复原处理，该振幅复原滤波器、相位校正滤波器具有以在扩展的场景深度(焦点深度)的范围内可实现良好的图像复原的方式设定的滤波器系数。
图26是表示具备EDoF光学系统的摄像模块101的一方式的框图。本例的摄像模块(搭载于数码相机等的摄像头)101包括EDoF光学系统(透镜单元)110、成像元件112及AD(模拟数字(analog digital))转换部114。
图27是表示EDoF光学系统110的一例的图。本例的EDoF光学系统110具有单焦的被固定的摄影透镜110A及配置于光瞳位置的滤光器111。滤光器111调制相位，且以获得扩展的场景深度(焦点深度)(EDoF)的方式对EDoF光学系统110(摄影透镜110A)进行EDoF化。如此，摄影透镜110A及滤光器111构成调制相位而使场景深度扩展的透镜部。
另外，EDoF光学系统110根据需要包括其他构成要件，例如在滤光器111的附近配置有光圈(省略图示)。并且，滤光器111可以是1片，也可以组合多片。并且，滤光器111只是光学相位调制机构的一例，EDoF光学系统110(摄影透镜110A)的EDoF化可以通过其他机构来实现。例如，代替滤光器111的设置，可以通过以具有与本例的滤光器111相同的功能的方式进行透镜设计的摄影透镜110A来实现EDoF光学系统110的EDoF化。
即，可通过改变向成像元件112的受光面的成像的波面的各种机构来实现EDoF光学系统110的EDoF化。例如，可将“厚度变化的光学元件”、“折射率变化的光学元件(折射率分布型波面调制透镜等)”、“因对透镜表面进行编码等而厚度或折射率变化的光学元件(波面调制混合式透镜、在透镜面上作为相位面来形成的光学元件等)”及“可调制光的相位分布的液晶元件(液晶空间相位调制元件等)”作为EDoF光学系统110的EDoF化机构来采用。如此，本发明不仅能够应用于可形成通过光波面调制元件(滤光器111(相位板))规则性地分散的图像的案例，而且还能够应用于不使用光波面调制元件而可通过摄影透镜110A本身来形成与使用光波面调制元件的情况相同的分散图像的案例。
图26及图27所示的EDoF光学系统110能够省略机械性调焦的调焦机构，因此能够实现小型化，从而可适宜地搭载于带相机的移动电话或便携信息终端。
通过被EDoF化的EDoF光学系统110后的光学像成像于图26所示的成像元件112，并转换为电信号。
作为成像元件112，能够应用与图1所示的成像元件26相同的成像元件。
模数转换部(AD转换部)114将从成像元件112输出至每一像素的模拟RGB图像信号转换为数字RGB图像信号。通过AD转换部114转换为数字图像信号的数字图像信号作为马赛克数据(RAW图像数据)输出。
通过对从摄像模块101输出的马赛克数据应用前述实施方式中所示的图像处理部(图像处理装置)35，能够生成在广范围对准焦点的状态的高分辨率的恢复图像数据。
即，如图28的符号1311所示，通过EDoF光学系统110后的点像(光学像)以较大的点像(模糊图像)成像于成像元件112，但通过基于图像处理部(图像处理装置)35的点像复原处理(振幅复原处理及相位校正处理)，如图28的符号1312所示，复原成较小的点像(高分辨率的图像)。
另外，在上述各实施方式中，对图像处理部(图像处理装置)35设置于数码相机10的相机主体14(相机主体控制器28)的方式进行了说明，但图像处理部(图像处理装置)35也可以设置于计算机60或服务器80等其他装置。
例如，在计算机60中对图像数据进行加工时，可以通过设置于计算机60的图像处理部(图像处理装置)35进行对该图像数据的点像复原处理。并且，当服务器80具备图像处理部(图像处理装置)35时，例如，可以是如下方式：从数码相机10或计算机60向服务器80发送图像数据，在服务器80的图像处理部(图像处理装置)35中对该图像数据进行点像复原处理，将点像复原处理后的图像数据(恢复图像数据)发送及提供至发送源。
以上，对本发明的例子进行了说明，但本发明并不限定于上述实施方式，在不脱离本发明的思想的范围内，能够进行各种变形是不言而喻的。
符号说明
1-图像输入部，3-第1复原处理部，5-第2复原处理部，7-灰度校正处理部，8-相位校正部，9-振幅复原部，10-数码相机，12-透镜单元，14-相机主体，15-近红外光发光部，16-透镜，17-光圈，18-光学系统操作部，19-被摄体，20-透镜单元控制器，22-透镜单元输入输出部，24-截止滤波器动作机构，25-IR截止滤波器，26-成像元件，28-相机主体控制器，30-相机主体输入输出部，31-荧光灯，32-输入输出接口，33-IR投光灯，34-设备控制部，35-图像处理部，60-计算机，62-计算机输入输出部，64-计算机控制器，66-显示器，70-互联网，80-服务器，82-服务器输入输出部，84-服务器控制器，101-摄像模块，110-EDoF光学系统，110A-摄影透镜，111-滤光器，112-成像元件，114-AD转换部。

Claims (13)

1.一种图像处理装置，其具备：
图像输入部，其输入有表示利用光学系统以在可见光波长频带具有灵敏度的方式拍摄的可见光图像的第1图像数据、及表示使用所述光学系统以在近红外光波长频带具有灵敏度的方式拍摄的近红外光图像的第2图像数据；
第1复原处理部，其对所输入的所述第1图像数据进行利用了基于针对所述光学系统的可见光的点扩散函数的进行相位校正及振幅复原的第1复原滤波器的第1复原处理；及
第2复原处理部，其对所输入的所述第2图像数据进行利用了基于针对所述光学系统的近红外光的点扩散函数的进行不伴随相位校正的振幅复原的第2复原滤波器的第2复原处理。
2.一种图像处理装置，其具备：
图像输入部，其输入有利用成像光路上插入有红外截止滤波器的光学系统拍摄的第1图像数据、及利用所述红外截止滤波器从成像光路退避的所述光学系统拍摄的第2图像数据；
第1复原处理部，其对所输入的所述第1图像数据进行利用了基于所述光学系统的点扩散函数的进行相位校正及振幅复原的第1复原滤波器的第1复原处理；及
第2复原处理部，其对所输入的所述第2图像数据进行利用了基于所述光学系统的点扩散函数的进行不伴随相位校正的振幅复原的第2复原滤波器的第2复原处理。
3.根据权利要求1或2所述的图像处理装置，其中，
所述第1图像数据为包括最有助于获得亮度数据的第1颜色及所述第1颜色以外的2个颜色以上的第2颜色的多个颜色的图像数据，
所述第1复原处理部对所述多个颜色的图像数据进行利用了与所述多个颜色的每一颜色对应的所述第1复原滤波器的所述第1复原处理。
4.根据权利要求1至3中任一项所述的图像处理装置，其中，
所述图像处理装置还具备灰度校正处理部，所述灰度校正处理部对所述第1图像数据进行非线性灰度校正，
所述灰度校正处理部对已进行所述相位校正的所述第1图像数据进行所述非线性灰度校正，
所述第1复原处理部对已进行所述非线性灰度校正的所述第1图像数据进行所述振幅复原。
5.根据权利要求1至3中任一项所述的图像处理装置，其中，
所述图像处理装置还具备灰度校正处理部，所述灰度校正处理部对所述第1图像数据进行非线性灰度校正，
所述灰度校正处理部对已进行所述振幅复原的所述第1图像数据进行所述非线性灰度校正，
所述第1复原处理部对已进行所述非线性灰度校正的所述第1图像数据进行所述相位校正。
6.根据权利要求1至3中任一项所述的图像处理装置，其中，还具备：
所述第1复原处理部及所述第2复原处理部的复原处理运算中所使用的通用的复原处理运算部、对所述第1图像数据及所述第2图像数据进行非线性灰度校正的通用的灰度校正运算部、及对所述第1图像数据及所述第2图像数据进行轮廓增强处理的通用的轮廓增强处理部中的至少一个。
7.根据权利要求1至6中任一项所述的图像处理装置，其中，还具备：
存储部，其存储所述第1复原滤波器及所述第2复原滤波器。
8.根据权利要求1至7中任一项所述的图像处理装置，其中，还具备：
滤波器生成部，其生成所述第1复原滤波器及所述第2复原滤波器。
9.一种摄像装置，其具备：
光学系统；
截止滤波器动作机构，其在所述光学系统的成像光路上使红外截止滤波器插入或退避；
图像获取部，其获取利用成像光路上插入有所述红外截止滤波器的所述光学系统拍摄的第1图像数据、及利用所述红外截止滤波器从成像光路退避的所述光学系统拍摄的第2图像数据；
第1复原处理部，其对所获取的所述第1图像数据进行利用了基于所述光学系统的点扩散函数的进行相位校正及振幅复原的第1复原滤波器的第1复原处理；及
第2复原处理部，其对所获取的所述第2图像数据进行利用了基于所述光学系统的点扩散函数的进行不伴随相位校正的振幅复原的第2复原滤波器的第2复原处理。
10.根据权利要求9所述的摄像装置，其中，
所述图像获取部以获取所述第1图像数据的情况为基准设定像面位置。
11.一种图像处理方法，其包括：
图像输入步骤，输入利用成像光路上插入有红外截止滤波器的光学系统拍摄的第1图像数据、及利用所述红外截止滤波器从成像光路退避的所述光学系统拍摄的第2图像数据；
第1复原处理步骤，对所输入的所述第1图像数据进行利用了基于所述光学系统的点扩散函数的进行相位校正及振幅复原的第1复原滤波器的第1复原处理；及
第2复原处理步骤，对所输入的所述第2图像数据进行利用了基于所述光学系统的点扩散函数的进行不伴随相位校正的振幅复原的第2复原滤波器的第2复原处理。
12.一种程序，其用于使计算机执行如下步骤：
图像输入步骤，输入利用成像光路上插入有红外截止滤波器的光学系统拍摄的第1图像数据、及利用所述红外截止滤波器从成像光路退避的所述光学系统拍摄的第2图像数据；
第1复原处理步骤，对所输入的所述第1图像数据进行利用了基于所述光学系统的点扩散函数的进行相位校正及振幅复原的第1复原滤波器的第1复原处理；及
第2复原处理步骤，对所输入的所述第2图像数据进行利用了基于所述光学系统的点扩散函数的进行不伴随相位校正的振幅复原的第2复原滤波器的第2复原处理。
13.一种计算机可读取的非暂时性有形介质，其记录有权利要求12所述的程序。
CN201680022694.6A 2015-04-23 2016-04-15 图像处理装置、摄像装置、图像处理方法及程序 Active CN107852456B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015088230 2015-04-23
JP2015-088230 2015-04-23
PCT/JP2016/062171 WO2016171089A1 (ja) 2015-04-23 2016-04-15 画像処理装置、撮像装置、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN107852456A true CN107852456A (zh) 2018-03-27
CN107852456B CN107852456B (zh) 2020-06-26

Family

ID=57143117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680022694.6A Active CN107852456B (zh) 2015-04-23 2016-04-15 图像处理装置、摄像装置、图像处理方法及程序

Country Status (4)

Country Link
US (1) US20180040107A1 (zh)
JP (1) JP6247794B2 (zh)
CN (1) CN107852456B (zh)
WO (1) WO2016171089A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020061856A1 (en) * 2018-09-26 2020-04-02 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and device for recovering image passing through display
CN111698416A (zh) * 2019-03-15 2020-09-22 佳能株式会社 图像处理设备和图像处理方法以及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11037525B2 (en) * 2017-06-27 2021-06-15 Semiconductor Energy Laboratory Co., Ltd. Display system and data processing method
CN114693760A (zh) * 2020-12-25 2022-07-01 虹软科技股份有限公司 图像校正方法、装置及系统、电子设备
US12015835B2 (en) * 2022-01-25 2024-06-18 Qualcomm Incorporated Multi-sensor imaging color correction

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101406041A (zh) * 2006-05-08 2009-04-08 三菱电机株式会社 减少场景图像模糊的方法和场景图像去模糊方法
US20100278390A1 (en) * 2003-12-01 2010-11-04 Silveira Paulo E X Task-based imaging systems
US20110135216A1 (en) * 2009-12-09 2011-06-09 Canon Kabushiki Kaisha Image processing method, image processing apparatus, and image pickup apparatus for correcting degradation component of image
US20120026325A1 (en) * 2010-07-29 2012-02-02 Logitech Europe S.A. Optimized movable ir filter in cameras
CN102768412A (zh) * 2011-05-02 2012-11-07 索尼公司 红外成像系统和操作方法
CN103947184A (zh) * 2011-11-14 2014-07-23 三星电子株式会社 使用编码光的拍摄设备和图像处理设备及其方法
CN105075239A (zh) * 2013-03-18 2015-11-18 富士胶片株式会社 复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置、程序以及记录介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5641751B2 (ja) * 2010-03-15 2014-12-17 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
DE112013004507T5 (de) * 2013-03-28 2015-12-31 Fujifilm Corporation Bildverarbeitungsvorrichtung, Bilderfassungsvorrichtung, Bildverarbeitungsverfahren, Programm und Aufzeichnungsmedium

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100278390A1 (en) * 2003-12-01 2010-11-04 Silveira Paulo E X Task-based imaging systems
CN101406041A (zh) * 2006-05-08 2009-04-08 三菱电机株式会社 减少场景图像模糊的方法和场景图像去模糊方法
US20110135216A1 (en) * 2009-12-09 2011-06-09 Canon Kabushiki Kaisha Image processing method, image processing apparatus, and image pickup apparatus for correcting degradation component of image
US20120026325A1 (en) * 2010-07-29 2012-02-02 Logitech Europe S.A. Optimized movable ir filter in cameras
CN102768412A (zh) * 2011-05-02 2012-11-07 索尼公司 红外成像系统和操作方法
CN103947184A (zh) * 2011-11-14 2014-07-23 三星电子株式会社 使用编码光的拍摄设备和图像处理设备及其方法
CN105075239A (zh) * 2013-03-18 2015-11-18 富士胶片株式会社 复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置、程序以及记录介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020061856A1 (en) * 2018-09-26 2020-04-02 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and device for recovering image passing through display
US11947107B2 (en) 2018-09-26 2024-04-02 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and device for recovering image passing through display
CN111698416A (zh) * 2019-03-15 2020-09-22 佳能株式会社 图像处理设备和图像处理方法以及存储介质
CN111698416B (zh) * 2019-03-15 2022-06-17 佳能株式会社 图像处理设备和图像处理方法以及存储介质

Also Published As

Publication number Publication date
CN107852456B (zh) 2020-06-26
US20180040107A1 (en) 2018-02-08
JP6247794B2 (ja) 2017-12-13
JPWO2016171089A1 (ja) 2018-01-18
WO2016171089A1 (ja) 2016-10-27

Similar Documents

Publication Publication Date Title
US10339638B2 (en) Image processing device, imaging device, image processing method, and image processing program
JP5933105B2 (ja) 画像処理装置、撮像装置、フィルタ生成装置、画像復元方法及びプログラム
US7683950B2 (en) Method and apparatus for correcting a channel dependent color aberration in a digital image
US8659672B2 (en) Image processing apparatus and image pickup apparatus using same
US9710895B2 (en) Image processing device, image capture device, image processing method, and program
CN107852456A (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN106134177B (zh) 图像处理装置、摄影装置、图像处理方法及图像处理程序
US9699427B2 (en) Imaging device, imaging method, and image processing device
CN107534733A (zh) 摄像装置、该摄像装置的图像处理方法及程序
JP2009260620A (ja) 画像処理装置及び画像処理方法
JP5514042B2 (ja) 撮像モジュール、画像信号処理方法および撮像装置
US10326947B2 (en) Image processing device, imaging device, image processing method, and program
US10395347B2 (en) Image processing device, imaging device, image processing method, and image processing program
JP2021140663A (ja) 画像処理方法、画像処理装置、画像処理プログラム、および記憶媒体
CN110249619A (zh) 图像处理装置、图像处理方法及相机系统
WO2011121761A1 (ja) 画像処理装置、およびそれを用いた撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant