CN107534728A - 图像处理装置、摄像装置、图像处理方法及程序 - Google Patents

图像处理装置、摄像装置、图像处理方法及程序 Download PDF

Info

Publication number
CN107534728A
CN107534728A CN201680022557.2A CN201680022557A CN107534728A CN 107534728 A CN107534728 A CN 107534728A CN 201680022557 A CN201680022557 A CN 201680022557A CN 107534728 A CN107534728 A CN 107534728A
Authority
CN
China
Prior art keywords
view data
restoration disposal
image
light
wave filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680022557.2A
Other languages
English (en)
Other versions
CN107534728B (zh
Inventor
林健吉
田中淳
田中淳一
成濑洋介
杉本雅彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN107534728A publication Critical patent/CN107534728A/zh
Application granted granted Critical
Publication of CN107534728B publication Critical patent/CN107534728B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H04N1/4092—Edge or detail enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H04N1/4097—Removing errors due external factors, e.g. dust, scratches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/21—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/86—Camera processing pipelines; Components thereof for processing colour signals for controlling the colour saturation of colour signals, e.g. automatic chroma control circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H04N25/6153—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/047—Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/01—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by phase separation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种能够以高精度校正将近红外光作为光源的图像的第1图像数据中所产生的模糊且能够以高精度进行对将可见光及近红外光作为光源的图像的第2图像数据的点像复原处理的图像处理装置、摄像装置、图像处理方法及程序。本发明的方式所涉及的图像处理装置(35)具备：图像输入部(1)；判定部(2)，其判定是否为第1图像数据或第2图像数据；第1复原处理部(3)，其对判定出的第1图像数据进行利用了进行相位校正及振幅复原的第1复原滤波器的第1复原处理；及第2复原处理部(5)，其对判定出的第2图像数据进行利用了进行不伴随相位校正的振幅复原的第2复原滤波器的第2复原处理。

Description

图像处理装置、摄像装置、图像处理方法及程序
技术领域
本发明涉及一种图像处理装置、摄像装置、图像处理方法及程序，尤其涉及一种对将可见光及近红外光作为光源的图像进行基于点扩散函数的图像处理的图像处理装置、摄像装置、图像处理方法及程序。
背景技术
在经由光学系统拍摄的被摄体像中有时可能发现由光学系统引起的衍射及像差等的影响而点被摄体具有微小扩散的点扩散现象。表示针对光学系统对点光源的响应的函数被称为点扩散函数(PSF：PointSpreadFunction)，且为决定摄像图像的分辨率劣化(模糊)的特性而被熟知。
因点扩散现象而画质劣化的摄像图像通过接受基于PSF的点像复原处理(复原处理)而能够恢复画质。该点像复原处理为预先求出由透镜(光学系统)的像差等引起的劣化特性(点像特性)，并通过利用了与其点像特性相应的复原滤波器(恢复滤波器)的图像处理消除或减少摄像图像的点扩散。
点像复原的处理大致可分为振幅复原处理及相位校正处理。振幅复原处理为对因光学系统而劣化的调制传递函数(MTF：ModulationTransferFunction)特性进行补偿(equalize)即进行恢复的处理，相位校正处理为对因光学系统而劣化的相位传递函数(PTF：PhaseTransferFunction)特性进行补偿即进行恢复的处理。
直觉上，相位校正处理为以使非点对称PSF形状尽量恢复到点对称形状的方式依赖于频率使像移动的处理。
振幅复原处理及相位校正处理作为信号处理能够同时应用，但通过改变滤波器系数的设计方法，也能够设成仅对其中某一方进行校正。
例如，专利文献1中公开有进行如下点像复原处理的技术：进行振幅复原处理及相位校正处理的点像复原处理、及进行不伴随相位校正的振幅复原处理的点像复原处理。
并且，例如专利文献2中公开有如下技术：对通过照射可见光及近红外光而得到的图像，在可见光及近红外光的条件下改变运算系数而进行点像复原处理(卷积运算)。
另一方面，作为定点设置且不论昼夜进行拍摄的相机有监控摄像机等。如监控摄像机方式的相机中，要求在白天、黄昏、黎明及夜间的摄像条件下获取适当的图像。例如，当监控摄像机在黄昏获取将近红外光及可见光作为光源的图像，且在夜间获取仅将近红外光作为光源的图像时，监控摄像机要求进行适合于将近红外光及可见光作为光源的图像的图像处理及进行适合于仅将近红外光作为光源的图像的图像处理。
以往技术文献
专利文献
专利文献1：国际公开第2014/148074号公报
专利文献2：日本特开2008-113704号公报
发明内容
发明要解决的技术课题
在此，通过对产生模糊的图像的图像数据使用适当的复原滤波器进行点像复原处理中的振幅复原处理及相位校正处理这两者，模糊得到准确的校正。例如，对拍摄了被摄体的近红外光像的图像，使用根据使近红外光通过光学系统而得到的PSF生成的复原滤波器(近红外光复原滤波器)，执行点像复原处理中的振幅复原处理及相位校正处理这两者，由此模糊得到完美的校正。
另一方面，当复原滤波器并不适当时，若执行进行点像复原处理中的振幅复原处理及相位校正处理这两者的较强的处理，则有可能点像复原处理没有正常进行反而成为不自然的图像。
并且，通过可见光与近红外光的混合光拍摄被摄体时的PSF与在可见光下拍摄被摄体时及在近红外光下拍摄被摄体时的PSF不同。如此一来，对于以可见光与近红外光的混合光来拍摄的图像，基于关于针对光学系统的可见光的PSF生成的复原滤波器(可见光复原滤波器)或基于关于针对光学系统的红外光的PSF生成的近红外光复原滤波器，在执行进行点像复原处理中的振幅复原处理及相位校正处理这两者的较强的处理的观点上，有时并不适合。
并且，即使在使用基于关于针对光学系统的可见光的PSF及针对红外光的PSF这两者生成的复原滤波器的情况下，如黄昏及黎明的时间带，可见光与近红外光的混合状态时常发生变化的情况下，容易出现成为所准备的复原滤波器的基础的PSF与实际PSF不同的情况。因此，在执行进行点像复原处理中的振幅复原处理及相位校正处理这两者的较强的处理的观点上，有时并不适合。
因此，若对将可见光及近红外光作为光源的图像的图像数据，使用可见光复原滤波器或近红外光复原滤波器，执行进行振幅复原及相位校正这两者的较强的点像复原处理，则有可能点像复原处理没有正常进行反而成为不自然的图像。
因此，需要根据获取的(或输入的)图像的光源切换点像复原处理的内容(进行振幅复原及相位校正这两者或进行其中一个)。
然而，专利文献1中所记载的技术中，根据获取的图像的光源并未进行如下切换，即进行振幅复原处理及相位校正处理的点像复原处理及不伴随相位校正的振幅复原处理。
并且，专利文献2中所记载的技术中，只是对可见光图像及近红外光图像改变运算系数来执行点像复原处理，根据获取的图像的光源并未切换点像复原处理的内容。
本发明是鉴于这种情况而完成的，其目的在提供一种能够更准确地校正将近红外光作为光源的图像的第1图像数据中所产生的模糊且能够以高精度进行对将可见光及近红外光作为光源的图像的第2图像数据的点像复原处理的图像处理装置、摄像装置、图像处理方法及程序。
用于解决技术课题的手段
本发明的一的方式即图像处理装置具备：图像输入部，其输入有利用光学系统以在可见光波长频带及近红外光波长频带具有灵敏度的方式拍摄的图像数据；判定部，其判定图像数据是否为将近红外光作为光源的第1图像数据或将近红外光及可见光作为光源的第2图像数据；第1复原处理部，其对判定部中判定出的第1图像数据进行利用了基于针对光学系统的近红外光的进行相位校正及振幅复原的第1点扩散函数的第1复原滤波器的第1复原处理；及第2复原处理部，其对判定部中判定出的第2图像数据进行利用了基于针对光学系统的可见光及近红外光的第2点扩散函数的进行不伴随相位校正的振幅复原的第2复原滤波器的第2复原处理。
根据本方式，对将近红外光作为光源的第1图像数据进行相位校正及振幅校正的第1复原处理，对将近红外光及可见光作为光源的第2图像数据进行不伴随相位校正的振幅复原的第2复原处理。由此，本方式能够更准确地校正将近红外光作为光源的图像的第1图像数据中所产生的模糊且能够以高精度进行对将可见光及近红外光作为光源的图像的第2图像数据的点像复原处理。
优选，图像处理装置还具备检测图像数据的光量的光量检测部，判定部根据光量检测部检测出的光量判定是否为第1图像数据或第2图像数据。
本方式根据光量检测部检测的光量判定是否为将近红外光作为光源的第1图像数据或将近红外光及可见光作为光源的第2图像数据。由此，本方式能够准确地判定第1图像数据及第2图像数据，能够分别对第1图像数据及第2图像数据进行适当的点像复原处理。
优选，判定部根据获取图像数据的时刻判定是否为第1图像数据或第2图像数据。
根据本方式，根据获取图像数据的时刻判定是否为将近红外光作为光源的第1图像数据或将近红外光及可见光作为光源的第2图像数据。由此，本方式能够准确地判定第1图像数据及第2图像数据，能够分别对第1图像数据及第2图像数据进行适当的点像复原处理。
优选，图像处理装置还具备对第1图像数据进行非线性灰度校正的灰度校正处理部，灰度校正处理部对已进行相位校正的第1图像数据进行非线性灰度校正，第1复原处理部对已进行非线性灰度校正的第1图像数据进行振幅复原。
根据本方式，对已进行相位校正的第1图像数据进行非线性灰度校正，对已进行非线性灰度校正的第1图像数据进行振幅复原。由此，本方式在灰度校正之前(图像的频率特性的变化前)进行相位校正，因此能够有效地进行相位校正，并在灰度校正之后进行振幅复原，因此因振幅复原而产生若干的过冲/下冲不会因灰度校正而被放大(增强)，从而能够防止严重产生伪影。
优选，图像处理装置还具备对第1图像数据进行非线性灰度校正的灰度校正处理部，灰度校正处理部对已进行振幅复原的第1图像数据进行非线性灰度校正，第1复原处理部对已进行非线性灰度校正的第1图像数据进行相位校正。
在本方式中，在振幅复原及相位校正中，振幅复原在灰度校正之前进行，相位校正在灰度校正之后进行。由此，本方式在相位校正处理中，由于因相位校正而滤波器在空间上扩散较大而导致容易出现在饱和像素附近产生伪影(振铃等)的现象，但通过在灰度校正之后进行相位校正，从而能够防止因灰度校正而引起的上述伪影被放大(严重产生伪影)。同样地，可能会出现因相位校正而颜色灰度发生变化的现象，但本方式能够缓和该现象。正确而言，颜色灰度发生变化的现象，即使在灰度校正之后实施相位校正也会出现，但与在灰度校正之前实施的情况相比能够减少颜色灰度的发生。并且，在本方式中，关于灰度校正后的图像数据，通常比特数与灰度校正前相比会变少，因此能够减少实施基于抽头数较大的相位校正滤波器的相位校正时的计算成本。
优选，图像处理装置还具备第1复原处理部及第2复原处理部的复原处理运算中所使用的通用的复原处理运算部、对第1图像数据及第2图像数据进行非线性灰度校正的通用的灰度校正运算部、及对第1图像数据及第2图像数据进行轮廓增强处理的通用的轮廓增强处理部中的至少一个。
根据本方式，在对第1图像数据的图像处理及对第2图像数据的图像处理中，复原处理运算、灰度校正运算及轮廓增强校正中的至少一个被通用化。由此，本方式因图像处理电路的一部分被通用化从而能够简化图像处理电路的设计。
优选，图像处理装置还具备检测第2图像数据中的可见光的光量与近红外光的光量的光量比的光量比检测部，第2复原处理部根据光量比检测部检测出的光量比，使用根据光学系统的可见光的调制传递函数及光学系统的近红外光的调制传递函数生成的第2复原滤波器。
根据本方式，根据可见光的光量与近红外光的光量的光量比，根据与可见光相关的调制传递函数及与近红外光相关的调制传递函数生成第2复原滤波器。由此，本方式能够通过适合于将可见光及近红外光作为光源的图像的复原滤波器执行第2复原处理，因此能够进行更有效的点像复原处理。
优选，图像处理装置还具备存储第1复原滤波器及第2复原滤波器的存储部。
根据本方式，第1复原滤波器及第2复原滤波器存储于存储部，由第1复原处理部及第2复原处理部使用存储部中所存储的复原滤波器，因此能够减轻用于生成复原滤波器的计算负荷。
优选，图像处理装置还具备生成第1复原滤波器及第2复原滤波器的滤波器生成部。
根据本方式，由滤波器生成部生成第1复原滤波器及第2复原滤波器，由第1复原处理部及第2复原处理部使用由生成部生成的复原滤波器，因此能够减轻用于存储复原滤波器的存储容量。
本发明的另一方式即摄像装置具备：光学系统；近红外光发光部，其将近红外光作为辅助光来发射；图像获取部，其获取利用光学系统以在可见光波长频带及近红外光波长频带具有灵敏度的方式拍摄的图像数据；判定部，其判定图像数据是否为将近红外光作为光源的第1图像数据或将近红外光及可见光作为光源的第2图像数据；第1复原处理部，其对获取的第1图像数据进行利用了基于针对光学系统的近红外光的第1点扩散函数的进行相位校正及振幅复原的第1复原滤波器的第1复原处理；及第2复原处理部，其对获取的第2图像数据进行利用了基于针对光学系统的可见光及近红外光的第2点扩散函数的进行不伴随相位校正的振幅复原的第2复原滤波器的第2复原处理。
根据本方式，对将近红外光作为光源的第1图像数据进行相位校正及振幅校正的第1复原处理，对将近红外光及可见光作为光源的第2图像数据进行不伴随相位校正的振幅复原的第2复原处理。由此，本方式能够更准确地校正将近红外光作为光源的图像的第1图像数据中所产生的模糊且能够以高精度进行对将可见光及近红外光作为光源的图像的第2图像数据的点像复原处理。
优选，图像获取部以拍摄可见光像的情况为基准设定像面位置。
根据本方式，将图像获取部的像面的位置以拍摄可见光像的情况为基准进行设定。由此，在本方式中，当拍摄可见光像时，能够获取对准焦点的图像，且在拍摄近红外光的情况下，因可见光与近红外光的波长存在差异，从而焦点的偏移也得到抑制。
本发明的另一方式即图像处理方法包括：图像输入步骤，输入利用光学系统以在可见光波长频带及近红外光波长频带具有灵敏度的方式拍摄的图像数据；判定步骤，判定图像数据是否为将近红外光作为光源的第1图像数据或将近红外光及可见光作为光源的第2图像数据；第1复原处理步骤，对判定步骤中判定出的第1图像数据进行利用了基于针对光学系统的近红外光的第1点扩散函数的进行相位校正及振幅复原的第1复原滤波器的第1复原处理；及第2复原处理步骤，对判定步骤中判定出的第2图像数据进行利用了基于针对光学系统的可见光及近红外光的第2点扩散函数的进行不伴随相位校正的振幅复原的第2复原滤波器的第2复原处理。
本发明的另一方式即程序用于使计算机执行如下步骤：图像输入步骤，输入利用光学系统以在可见光波长频带及近红外光波长频带具有灵敏度的方式拍摄的图像数据；判定步骤，判定图像数据是否为将近红外光作为光源的第1图像数据或将近红外光及可见光作为光源的第2图像数据；第1复原处理步骤，对判定步骤中判定出的第1图像数据进行利用了基于针对光学系统的近红外光的第1点扩散函数的进行相位校正及振幅复原的第1复原滤波器的第1复原处理；及第2复原处理步骤，对判定步骤中判定出的第2图像数据进行利用了基于针对光学系统的可见光及近红外光的第2点扩散函数的进行不伴随相位校正的振幅复原的第2复原滤波器的第2复原处理。记录有该程序的计算机可读取的非暂时性有形介质(a non-transitory computer-readable tangible medium)也包含于本发明的方式。
发明效果
根据本发明，对将近红外光作为光源的图像的第1图像数据进行相位校正及振幅校正的第1复原处理，对将近红外光及可见光作为光源的第2图像数据进行不伴随相位校正的振幅复原的第2复原处理，因此能够对将近红外光作为光源的图像更准确地校正模糊并有效地执行点像复原处理且能够对将近红外光及可见光作为光源的图像以高精度执行点像复原处理。
附图说明
图1是表示数码相机的功能结构例的框图。
图2是说明在黄昏通过图1所示的数码相机进行拍摄的情况的图。
图3是表示相机主体控制器的功能结构例的框图。
图4是通过数码相机获取的拍摄时的光量的图表。
图5是表示第1复原处理的概要的图。
图6是表示第2复原处理的概要的图。
图7是表示图像处理部的功能结构例的框图。
图8是表示第1复原处理部的功能结构例的框图。
图9是表示第2复原处理部的功能结构例的框图。
图10是表示可见光复原处理部的功能结构例的框图。
图11是表示图像处理装置的动作的流程图。
图12是对成像元件的像面与成像面的位置关系及焦点进行说明的图。
图13是对成像元件的像面与成像面的位置关系及焦点进行说明的图。
图14是对成像元件的像面与成像面的位置关系及焦点进行说明的图。
图15是对成像元件的像面与成像面的位置关系及焦点进行说明的图。
图16是表示第2实施方式中的第1复原处理的概要的图。
图17是表示第2实施方式中的图像处理部的功能结构例的框图。
图18是表示通过灰度校正处理部进行灰度校正的输入输出特性(伽玛特性)的一例的图表。
图19是表示第2实施方式中的图像处理部的具体处理的例子的框图。
图20是表示第2实施方式中的图像处理部的具体处理的例子的框图。
图21是表示第3实施方式中的图像处理部的具体处理的例子的框图。
图22是表示第3实施方式中的复原处理部的功能结构例的框图。
图23是表示具备EDoF光学系统的摄像模块的一方式的框图。
图24是表示EDoF光学系统的一例的图。
图25是表示经由EDoF光学系统获取的图像的复原例的图。
具体实施方式
参考附图对本发明的实施方式进行说明。在以下实施方式中，作为一例，对用作可与计算机(PersonalComputer：个人计算机)连接的监控摄像机的数码相机(摄像装置)进行说明。
图1是表示与计算机连接的数码相机10的功能结构例的框图。数码相机10可拍摄动态图像及静态图像，以下说明中的图像或图像数据表示动态图像中的1帧图像或静态图像。另外，图1中示出了在白天通过数码相机10进行拍摄的情况。
数码相机10具备透镜单元12及具备成像元件(图像获取部)26的相机主体14，且经由透镜单元12的透镜单元输入输出部22及相机主体14的相机主体输入输出部30，透镜单元12与相机主体14电性连接。
透镜单元12具备透镜16及光圈17等光学系统和控制该光学系统的光学系统操作部18。光学系统操作部18包括调整透镜16的聚焦位置的手动操作部、及通过从相机主体控制器28附加的控制信号驱动光圈17的光圈驱动部。
并且，透镜单元12具备近红外光发光部15。当通过数码相机10获取将近红外光作为光源的图像数据时，近红外光发光部15将近红外光作为辅助光来发射。即，当数码相机10进行黄昏或夜间拍摄时，从近红外光发光部15作为辅助光发射近红外光，因此数码相机10能够获取更鲜明的近红外光图像。
在此，将近红外光作为光源的图像的图像数据(第1图像数据)以在近红外光波长频带具有灵敏度的方式拍摄来获取。即，关于将近红外光作为光源的图像的图像数据，在如白天及黄昏具有可见光的情况下并不获取，而在如夜间没有可见光而通过近红外光发光部15发射近红外光的情况下获取。在此，近红外光的波长并无特别限定，但例如在0.7μm至2.5μm的范围内。另一方面，将近红外光及可见光作为光源的图像的图像数据(第2图像数据)以在可见光波长频带及近红外光波长频带具有灵敏度的方式拍摄来获取。即，将近红外光及可见光作为光源的图像的图像数据在如下情况下获取：IR截止滤波器25从成像光路退避，通过近红外光发光部15发射近红外光，如黄昏具有可见光的情况。
IR(红外线(Infrared))截止滤波器(红外截止滤波器)25设置于截止滤波器动作机构24。当在白天使用数码相机10进行拍摄时，如图1所示，IR截止滤波器25插入于成像光路，数码相机10在可见光拍摄模式(彩色拍摄模式)下进行拍摄。通过IR截止滤波器25插入于成像光路，IR截止滤波器25遮挡红外光，红外光不能到达成像元件26。另外，作为IR截止滤波器25可使用各种截止滤波器，例如可使用能够遮挡近红外光的近红外截止滤波器。
虚拟滤波器27与IR截止滤波器25同样地设置于截止滤波器动作机构24。当IR截止滤波器25从成像光路退避时，虚拟滤波器27插入于成像光路(参考图2)。作为虚拟滤波器27并无特别限定，能够使用各种滤波器。例如，作为虚拟滤波器27可使用透明玻璃。虚拟滤波器27具有即便IR截止滤波器25从成像光路退避的情况下也维持可见光的成像面的位置的功能。
相机主体14的成像元件(图像获取部)26由CMOS(互补金属氧化物半导体(ComplementaryMetal-OxideSemiconductor))型彩色图象传感器构成。另外，成像元件26并不限定于CMOS型，也可以是XY地址型或CCD(电荷耦合器件(ChargeCoupledDevice))型图象传感器。
成像元件26具有以矩阵状配置的多个像素，各像素包括微透镜；红(R)、绿(G)或蓝(B)彩色滤波器；光电转换部(光电二极管等)。RGB彩色滤波器具有规定图案的滤波器排列(拜耳排列、X-Trans(注册商标)排列等)。
本例的成像元件26通过利用了光学系统的被摄体像的拍摄输出原图像数据，该原图像数据发送至相机主体控制器28的图像处理部35。
如图3所示，相机主体控制器28具有设备控制部34、图像处理部(图像处理装置)35及光量获取部36，总括控制相机主体14。设备控制部34例如控制来自成像元件26的图像信号(图像数据)的输出，生成用于控制透镜单元12的控制信号而经由相机主体输入输出部30发送至透镜单元12(透镜单元控制器20)，向经由输入输出接口32连接的外部设备类(计算机60等)发送图像处理前后的图像数据(RAW数据、JPEG数据等)。并且，设备控制部34适当控制数码相机10所具备的各种设备类。
另一方面，图像处理部35能够对来自成像元件26的图像信号根据需要进行任意的图像处理。尤其本例的图像处理部35包括：第1复原处理部3，其对第1图像数据进行基于光学系统的点扩散函数的复原处理(点像复原处理)(图6)；及第2复原处理部5，其对第2图像数据进行基于光学系统的点扩散函数的复原处理(图6)。关于图像处理部35的详细内容将进行后述。
光量获取部36获取被拍摄的被摄体的光量。光量获取部36能够用公知的各种方法获取被摄体的光量。例如光量获取部36从设备控制部34获取摄像条件(F值、灵敏度及快门速度等)及从成像元件26获取的信号的输出值，从而能够获取被摄体的光量。
在相机主体控制器28中进行图像处理的图像数据经由输入输出接口32传送至计算机60等。从数码相机10(相机主体控制器28)传送至计算机60等的图像数据的格式并无特别限定，可设为RAW、JPEG(联合图像专家组(JointP hotographicExpertsGroup))及TIFF(标记图像文件格式(TaggedImageFileFor mat))等任意格式。因此，如所谓的Exif(可交换图像文件格式(Exchangeabl eImageFileFormat))，相机主体控制器28可以对标题信息(摄像信息(摄像日期、机型、像素数、光圈值、有无IR截止滤波器25、有无虚拟滤波器27等))、主图像数据及缩略图图像数据等多个相关数据彼此对应而作为1个图像文件来构成，并将该图像文件发送至计算机60。
计算机60经由相机主体14的输入输出接口32及计算机输入输出部62与数码相机10连接，接收从相机主体14传送的图像数据等数据类。计算机控制器64总括控制计算机60，对来自数码相机10的图像数据进行图像处理，控制与经由因特网70等网络线路与计算机输入输出部62连接的服务器80等的通信。计算机60具有显示器66，显示从数码相机10发送的图像。并且，根据需要，将显示计算机控制器64中的处理内容等显示在显示器66中。用户一边确认显示器66的显示内容一边操作键盘等输入单元(省略图示)，由此能够对计算机控制器64输入数据及命令。由此用户能够控制计算机60及与计算机60连接的设备类(数码相机10、服务器80)。
服务器80具有服务器输入输出部82及服务器控制器84。服务器输入输出部82构成与计算机60等外部设备类之间的收发连接部，经由因特网70等网络线路与计算机60的计算机输入输出部62连接。服务器控制器84根据来自计算机60的控制指示信号与计算机控制器64联动，根据需要与计算机控制器64之间进行数据类的收发，将数据类下载到计算机60，进行运算处理而将其运算结果发送至计算机60。
各控制器(透镜单元控制器20、相机主体控制器28、计算机控制器64及服务器控制器84)具有控制处理所需的电路类，例如具备运算处理电路(中央处理器(CPU(CentralProcessingUnit))等)及存储器等。并且，数码相机10、计算机60及服务器80之间的通信可以是有线，也可以是无线。并且，可以将计算机60及服务器80构成为一体，并且也可以省略计算机60和/或服务器80。并且，也可以使数码相机10具有与服务器80的通信功能，以在数码相机10与服务器80之间直接进行数据类的收发。
图2是表示在黄昏(傍晚)至夜间期间通过图1所示的数码相机10进行拍摄的情况的框图。另外，对图1中进行说明的部分标注相同的符号，并省略说明。
如图2所示，当在黄昏至夜间期间拍摄时，IR截止滤波器25通过截止滤波器动作机构24从成像光路退避，虚拟滤波器27通过截止滤波器动作机构24插入于成像光路，数码相机10在近红外光拍摄模式(黑白拍摄模式)下进行拍摄。通过虚拟滤波器27插入于成像光路而光路长度得到调节，即便在拍摄近红外光像的情况下也可以对准焦点。
数码相机10代替IR截止滤波器25在成像光路上插入虚拟滤波器27，由此能够获取将近红外光及可见光作为光源的图像的第2图像数据。并且，由于是黄昏或夜间条件下的拍摄，因此近红外光发光部15将近红外光作为辅助光来发射。
图4是关于白天、黄昏及夜间对光量获取部36获取的光量进行图表化的图。
图4所示的图表的横轴表示时间，纵轴表示光量。在白天的情况下，如图1所示，在IR截止滤波器25插入于成像光路的状态(可见光拍摄模式)下，光量获取部36获取光量。在白天，光量获取部36获取的光量根据太阳的位置发生变化。即，白天条件下光量获取部36获取的光量在太阳位于较高的位置时表示较高的值，白天条件下光量获取部36获取的光量随着太阳的高度下降而下降。
在图4所示的情况下，设定有阈值Th，若光量小于阈值Th，则从可见光拍摄模式切换为近红外光拍摄模式。并且，若成为近红外光拍摄模式，则从近红外光发光部15发射近红外光。由此，数码相机10能够更清晰地获取近红外光像。另外，阈值Th并无特别限定，可任意设定，例如，如图4所示，能够考虑太阳逐渐下落而黄昏开始的情况来进行设定。
若将起初便小于阈值Th时的光量设为A，将从可见光拍摄模式切换到近红外光拍摄模式的时点的光量设为B，将黄昏状态的任意时点的光量设为C，则从光量B减去光量A的光量(光量B-光量A)为与由近红外光发光部15照射被摄体的近红外光对应的光量，为恒定值。因此，夜间的光量成为仅基于近红外光的恒定的光量。
并且，黄昏状态的可见光的光量为从光量C减去仅基于近红外光的恒定的光量(光量B-光量A)的光量(光量C-(光量B-光量A))。
如后述，复原处理部71中具备光量比检测部160(参考图22)，光量比检测部160中附加未图示的被摄体的光量数据(例如，EV值：曝光值(Exposure Value))。光量比检测部160根据所输入的光量数据，检测黄昏状态的可见光的光量(第1光量)与近红外光的光量(第2光量)的光量比。
即，光量比检测部160存储输入的光量数据起初便小于阈值Th时的光量数据(光量A)及切换到红外光图像拍摄模式的时点的光量数据(光量B)，然后，根据实时输入的光量数据(光量C)，检测黄昏状态的可见光的光量(光量C-(光量B-光量A))与近红外光的光量(光量B-光量A)的光量比。
如以上说明，光量获取部36获取的光量根据白天、黄昏及夜间而发生变化。因此，判定部2(图7)根据光量获取部36获取的光量，可判定出白天、黄昏及夜间。例如，如图4所示，判定部2若以一定间隔获取光量获取部36获取的光量或对其进行图表化，则能够判定白天、黄昏及夜间。并且，当数码相机10中具备有钟表(未图示)时，判定部2根据时刻也能够判定出白天、黄昏及夜间。而且，判定部2根据光量获取部36获取的光量的图表及时刻也能够判定出白天、黄昏及夜间。
接着，对经由成像元件26获得的将近红外光作为光源的图像的摄像数据(第1图像数据)及将近红外光及可见光作为光源的图像的摄像数据(第2图像数据)的点像复原处理进行说明。
在以下例子中，对在相机主体14(相机主体控制器28)中实施点像复原处理的例子进行说明，但也可以在其他控制器(透镜单元控制器20、计算机控制器64及服务器控制器84等)中实施点像复原处理的全部或一部分。
本例的点像复原处理包括进行相位校正及振幅复原的利用了第1复原滤波器的第1复原处理、及进行不伴随相位校正的振幅复原的利用了第2复原滤波器的第2复原处理。
(第1实施方式)
首先，对第1复原处理进行说明。
图5是表示作为原图像数据Do已获取第1图像数据时的第1复原处理的概要的图。
如图5所示，当将点像作为被摄体来进行拍摄时，将近红外光作为光源的被摄体的近红外光像经由光学系统(透镜16、光圈17等)被成像元件26(图象传感器)所接收，并从成像元件26输出第1图像数据。该第1图像数据因来源于光学系统的特性的点扩散现象而振幅成分及相位成分劣化，原来的被摄体像(点像)成为非点对称的模糊图像。
而且，点像复原处理为如下处理：求出由光学系统的像差等引起的劣化(点扩散函数(PSF)或光学传递函数(OTF：OpticalTransferFunction))的特性，通过对所拍摄的图像(劣化的图像)使用根据PSF或OTF生成的复原滤波器进行点像复原处理而复原到分辨率较高的图像。
PSF与OTF存在傅里叶变换关系，PSF为实变函数，OTF为复变函数。作为具有与它们等效信息的函数，有调制传递函数或振幅传递函数(MTF)及相位传递函数(PTF)，分别表示OTF的振幅成分及相位成分。MTF与PTF一同具有与OTF及PSF等效的信息量。
通常，基于PSF的模糊图像的复原中，能够利用卷积型维纳(Wiener)滤波器。参考对PSF(x,y)进行傅里叶变换的OTF及信噪比(SNR)(signal-noi seratio)信息，通过以下式能够计算出复原滤波器的频率特性d(ωx,ωy)。
[数式1]
其中，H(ωx,ωy)表示OTF，H*(ωx,ωy)表示其复共轭。并且，SNR(ωx,ωy)表示SN(signal-noise)比。
复原滤波器的滤波器系数的设计是以使滤波器的频率特性最接近所希望的Wiener频率特性的方式选择系数值的最佳化问题，可通过任意公知的方法适当计算出滤波器系数。
如图5所示，为了从模糊图像的原图像数据Do(第1图像数据)复原原来的被摄体像(点像)，通过对原图像数据Do进行利用了用于振幅复原及相位校正的滤波器(第1复原滤波器F0)的振幅复原及相位校正处理(第1复原处理)P10，非点对称的模糊像得到振幅复原而模糊像变小，非点对称的像依赖于频率而移动，从而恢复到点对称的像。由此，可获得表示与原来的被摄体像(点像)更接近的像(恢复图像)的恢复图像数据Dr。即，执行模糊得到更准确的校正的有效的点像复原处理。在此模糊得到更准确的校正是指例如变模糊的图像被修正(校正)为与原点像更接近。
振幅复原及相位校正处理(第1复原处理)P10中所使用的第1复原滤波器F0，从与获取原图像数据Do时的摄像条件相应的光学系统的点像信息(PSF、OTF)，通过规定的振幅复原及相位校正滤波器算法P20而获得。
光学系统的点像信息不仅根据透镜16的类型，还根据光圈量、焦距、变焦量、像高、记录像素数及像素间距等各种摄像条件而能够变动。并且，光学系统的点像信息在可见光及近红外光的条件下能够发生变动。因此，当计算第1复原滤波器F0时，获取这些摄像条件。
第1复原滤波器F0为分别例如由N×M(N及M为2以上的整数)的抽头构成的实空间上的滤波器，并应用于处理对象的图像数据。由此，通过对分配于各抽头的滤波器系数及对应的像素数据(图像数据的处理对象像素数据及相邻像素数据)进行加权平均运算(反卷积运算)，能够计算出点像复原处理后的像素数据。一边依次改变对象像素一边将利用了第1复原滤波器F0的加重平均处理应用于构成图像数据的所有像素数据，由此能够进行点像复原处理。
另外，在图5所示的例子中，对第1复原处理中一并进行振幅复原及相位校正的情况进行了说明，但并不限定于此。即，也可以在第1复原处理中计算出能够进行振幅复原的滤波器且计算出能够进行相位校正的滤波器，而将振幅复原处理及相位校正处理作为单独的处理来执行。
接着，对第2复原处理进行说明。
图6是表示作为原图像数据Do已获取第2图像数据时的第2复原处理的概要的图。
如图6所示，当将点像作为被摄体来进行拍摄时，将近红外光及可见光作为光源的被摄体的像经由光学系统(透镜16、光圈17等)被成像元件26(图象传感器)所接收，并从成像元件26输出第2图像数据。该第2图像数据因来源于光学系统的特性的点扩散现象而振幅成分及相位成分劣化，从而原来的被摄体像(点像)成为非点对称的模糊图像。在此，使近红外光及可见光的混合光通过光学系统而得到的PSF与使近红外光通过光学系统而得到的PSF及使可见光通过光学系统而得到的PSF不同。因此，为了防止点像复原处理失败，对将近红外光及可见光作为光源的图像的图像数据(第2图像数据)执行仅进行振幅复原处理的较弱的点像复原处理。由此，防止点像复原处理没有适当进行而成为不自然的图像，从而能够提高点像复原处理的精度。在此高精度的点像复原处理是指虽然点像复原处理失败但图像变得不自然的几率反而较低。
在第2复原处理部5中，例如使用表示OTF的振幅成分的MTF，计算出滤波器的频率特性，以使计算出的滤波器的频率特性最接近所希望的Wiener频率特性的方式选择系数值，由此计算出使频率特性的劣化恢复的振幅复原滤波器F1(P21)。另外，在该情况下，振幅复原滤波器F1成为第2复原滤波器。
如图6所示，为了从模糊图像的原图像数据Do复原原来的被摄体像(点像)，通过对原图像数据Do进行利用了振幅复原滤波器F1的振幅复原处理P11，非点对称的模糊像得到振幅复原，从而模糊像变小。
接着，对图像处理装置(图像处理部)35进行说明。
图7是表示图像处理部35的功能结构例的框图。
图像处理部35具备图像输入部1、判定部2、光量检测部4、第1复原处理部3及第2复原处理部5。
图像输入部1中输入第1图像数据及第2图像数据。对图像输入部1的输入方法并无特别限定。例如，图像输入部1中可以同时输入第1图像数据及第2图像数据，也可以以不同的时刻输入第1图像数据及第2图像数据。
判定部2判定所输入的图像数据是否为将近红外光作为光源的第1图像数据或将近红外光及可见光作为光源的第2图像数据。判定部2能够以公知的各种方法判定所输入的图像数据是否为将近红外光作为光源的第1图像数据或将近红外光及可见光作为光源的第2图像数据。例如判定部2通过光量检测部4来检测光量获取部36中获取的光量，由此能够判定是否为第1图像数据或第2图像数据。
并且，判定部2能够根据具备于图像处理部35或数码相机10的钟表(未图示)的时刻判定是否为第1图像数据或第2图像数据。并且，判定部2也可以根据输入于图像输入部1的第1图像数据及第2图像数据中所附加的标签信息判定是否为第1图像数据或第2图像数据。
光量检测部4检测图像数据的光量。即，光量检测部4获取已获取输入到图像输入部1的图像数据(例如，第1图像数据或第2图像数据)时的光量。光量检测部4例如获取从相机主体控制器28的光量获取部36获取图像数据时的与光量相关的信息，并检测输入到图像输入部1的图像数据的光量。并且，例如，光量检测部4可以通过读取与输入到图像输入部1的图像数据中所附加的光量相关的信息来检测光量。
第1复原处理部3进行利用了基于针对光学系统的近红外光的点扩散函数的进行相位校正及振幅复原的第1复原滤波器的第1复原处理。即，第1复原处理部3利用根据针对光学系统的近红外光的点扩散函数生成的第1复原滤波器，对第1图像数据(将近红外光作为光源的图像数据)进行第1复原处理。关于已进行第1复原处理的图像，执行相位偏移得到校正、振幅得到复原且模糊得到更准确的修正的有效的点像复原处理。
第2复原处理部5利用基于光学系统的点扩散函数的进行不伴随相位校正的振幅复原的第2复原滤波器，对第2图像数据(将近红外光及可见光作为光源的图像数据)进行第2复原处理。如此，对第2图像数据进行仅为不伴随相位校正的振幅复原的较弱的点像复原处理，因此对第2图像数据的点像复原处理失败的发生得到抑制，进行高精度的点像复原处理。
如上述，通过图像处理部(图像处理装置)35具备第1复原处理部3及第2复原处理部5，当图像处理部35设置于计算机时，可以不具备对各摄像装置进行点像复原处理的功能。
图8是表示第1复原处理部3的功能结构例的框图。
第1复原处理部3由第1复原运算处理部44a、滤波器选择部44b、光学系统数据获取部44c及存储部44d构成。
光学系统数据获取部44c获取表示光学系统(透镜16、光圈17等)的点扩散函数的光学系统数据。该光学系统数据为成为滤波器选择部44b中的第1复原滤波器的选择基准的数据，只要是直接或间接地表示处理对象的第1图像数据的拍摄获取时所使用的光学系统的点扩散函数的信息即可。因此，例如可以将与光学系统的点扩散函数相关的传递函数(PSF、OTF(MTF、PTF))本身作为光学系统数据，也可以将间接地表示与光学系统的点扩散函数相关的传递函数的光学系统的类型(例如，拍摄时所使用的透镜单元12(透镜16)的型号等)等作为光学系统数据。并且，也可以将已拍摄图像时的F值(光圈值)、变焦值及像高等信息作为光学系统数据。
存储部44d存储有根据与多个类型的光学系统的点扩散函数相关的传递函数(PSF、OTF或PTF及MTF)生成的第1复原滤波器。存储部44d优选存储与光圈值(F值)、焦距及像高等对应的第1复原滤波器。因为根据这些条件PSF形状有所不同。
滤波器选择部44b根据光学系统数据获取部44c获取的光学系统数据，在存储部44d中所存储的第1复原滤波器中，选择第1图像数据的拍摄获取中已使用的与光学系统的光学系统数据对应的第1复原滤波器。通过滤波器选择部44b选择的第1复原滤波器F0传送至第1复原运算处理部44a。
另外，滤波器选择部44b掌握存储部44d所存储的第1复原滤波器的类型信息(第1复原滤波器存储信息)，但基于滤波器选择部44b的第1复原滤波器存储信息的掌握方法并无特别限定。例如，滤波器选择部44b可以具有存储第1复原滤波器存储信息的存储部(省略图示)，当存储于存储部44d的第1复原滤波器的类型信息发生变更时，也可以设为存储于滤波器选择部44b的存储部的第1复原滤波器存储信息也发生变更。并且，滤波器选择部44b可以设成与存储部44d连接而直接地掌握“存储部44d所存储的第1复原滤波器的信息”，也可以设成从掌握第1复原滤波器存储信息的其他处理部(存储器等)掌握第1复原滤波器存储信息。
并且，滤波器选择部44b只要选择第1图像数据的拍摄获取中已使用的与光学系统的PSF对应的第1复原滤波器F0即可，其选择方法并无特别限定。例如，当来自光学系统数据获取部44c的光学系统数据直接地表示PSF时，滤波器选择部44b选择与该光学系统数据表示的PSF对应的第1复原滤波器F0。并且，当来自光学系统数据获取部44c的光学系统数据间接地表示PSF时，滤波器选择部44b从“间接地表示PSF的光学系统数据”选择处理对象的第1图像数据的拍摄获取中已使用的与光学系统的PSF对应的第1复原滤波器F0。
第1复原运算处理部44a中输入有第1图像数据(将近红外光作为光源的图像数据)，第1复原运算处理部44a对第1图像数据进行利用了通过滤波器选择部44b选择的第1复原滤波器F0的第1复原处理，计算出第1复原处理后的图像数据。即，第1复原运算处理部44a进行第1复原滤波器F0和与其对应的像素数据(处理对象像素数据及相邻像素数据)的反卷积运算，计算出已进行第1复原处理的第1图像数据。
上述结构的第1复原处理部3能够进行反映出相位传递函数(PTF)的相位校正处理，执行更准确地修正模糊的有效的点像复原处理。
图9是表示第2复原处理部5的功能结构例的框图。
第2复原处理部5由第2复原运算处理部46a、滤波器选择部46b、光学系统数据获取部46c及存储部46d构成。
滤波器选择部46b及光学系统数据获取部46c分别与图8所示的滤波器选择部44b及光学系统数据获取部44c对应，因此省略其详细说明。
存储部46d存储有根据多个类型的光学系统的PSF、OTF或MTF生成的第2复原滤波器。并且，存储部46d优选存储与光圈值(F值)、焦距及像高等对应的第2复原滤波器。因为根据这些条件PSF形状有所不同。
滤波器选择部46b根据光学系统数据获取部46c获取的光学系统数据，在存储部46d所存储的第2复原滤波器中，选择原图像数据的拍摄获取中已使用的与光学系统的光学系统数据对应的第2复原滤波器。通过滤波器选择部46b选择的第2复原滤波器传送至第2复原运算处理部46a。
第2复原运算处理部46a对第2图像数据进行利用了通过滤波器选择部46b选择的第2复原滤波器的第2复原处理。
另外，存储第1复原滤波器的存储部44d(图8)及存储第2复原滤波器的存储部46d(图9)可以分别设置，由于物理性相同，因此也可以是只有存储区域不同的存储部。
并且，在本例子中，设成在存储部44d、46d分别存储第1复原滤波器、第2复原滤波器，适当读出点像复原处理中所使用的第1复原滤波器、第2复原滤波器，但并不限定于此。即，在本例子中，可以将光学系统的传递函数(PSF、OTF、PTF、MTF)存储于存储部，在进行点像复原处理时从存储部读出点像复原处理中所使用的传递函数，也可以设置如依次生成第1复原滤波器及第2复原滤波器的滤波器生成部。另外，在上述说明中，将第1复原处理部3(图8)及第2复原处理部5(图9)作为单独的处理部来进行了说明，但并不限定于此。例如，也可以通过同时具有第1复原处理部3及第2复原处理部5的功能的一个复原处理部来实现第1复原处理及第2复原处理。
图像处理部35的功能结构例并不限定于图7中进行说明的例子。例如，图像处理部35可以具备对仅将可见光作为光源的图像数据即可见光图像数据进行复原处理的可见光复原处理部6。
图10是表示可见光复原处理部6的功能结构例的框图。
可见光复原处理部6由可见光复原运算处理部48a、滤波器选择部48b、光学系统数据获取部48c及存储部48d构成。
光学系统数据获取部48c获取表示光学系统(透镜16、光圈17等)的点扩散函数的光学系统数据。该光学系统数据为成为滤波器选择部48b中的可见光复原滤波器的选择基准的数据，只要是直接或间接地表示处理对象的可见光图像数据的拍摄获取时所使用的光学系统的点扩散函数的信息即可。因此，例如可以将与光学系统的点扩散函数相关的传递函数(PSF、OTF(MTF、PTF))本身作为光学系统数据，也可以将间接地表示与光学系统的点扩散函数相关的传递函数的光学系统的类型(例如，拍摄时所使用的透镜单元12(透镜16)的型号等)等作为光学系统数据。并且，也可以将已拍摄图像时的F值(光圈值)、变焦值及像高等信息作为光学系统数据。
存储部48d存储有根据与多个类型的光学系统的点扩散函数相关的传递函数(PSF、OTF或PTF及MTF)生成的每一个RGB的可见光复原滤波器(F4R1、F4G1、F4B1)。按每一个RGB存储有可见光复原滤波器(F4R1、F4G1、F4B1)是因为光学系统的像差根据RGB各颜色的波长而不同(因为PSF形状不同)。并且，存储部48d优选存储与光圈值(F值)、焦距及像高等对应的可见光复原滤波器(F4R1、F4G1、F4B1)。因为根据这些条件PSF形状有所不同。在此，G表示绿色且为最有助于获得亮度数据的第1颜色，R表示红色且为除第1颜色以外的2个颜色以上的第2颜色中的一种，B表示蓝色且为除第1颜色以外的2个颜色以上的第2颜色中的一种。
滤波器选择部48b根据光学系统数据获取部48c获取的光学系统数据，在存储部48d中所存储的可见光复原滤波器中，选择可见光图像数据的拍摄获取中已使用的与光学系统的光学系统数据对应的可见光复原滤波器。通过滤波器选择部48b选择的每一个RGB的可见光复原滤波器(F4R1、F4G1、F4B1)传送至可见光复原运算处理部48a。
另外，滤波器选择部48b掌握存储部48d存储的可见光复原滤波器的类型信息(可见光复原滤波器存储信息)，但基于滤波器选择部48b的可见光复原滤波器存储信息的掌握方法并无特别限定。例如，滤波器选择部48b可以具有存储可见光复原滤波器存储信息的存储部(省略图示)，也可以设成当存储于存储部48d的可见光复原滤波器的类型信息发生变更时，存储于滤波器选择部48b的存储部的可见光复原滤波器存储信息也发生变更。并且，滤波器选择部48b可以设成与存储部48d连接而直接地掌握“存储部48d存储的可见光复原滤波器的信息”，也可以设成从掌握可见光复原滤波器存储信息的其他处理部(存储器等)掌握第1复原滤波器存储信息。
并且，滤波器选择部48b只要选择可见光图像数据的拍摄获取中已使用的与光学系统的PSF对应的可见光复原滤波器即可，其选择方法并无特别限定。例如，当来自光学系统数据获取部48c的光学系统数据直接地表示PSF时，滤波器选择部48b选择与该光学系统数据表示的PSF对应的可见光复原滤波器。并且，当来自光学系统数据获取部48c的光学系统数据间接地表示PSF时，滤波器选择部48b将从“间接地表示PSF的光学系统数据”选择处理对象的可见光图像数据的拍摄获取中已使用的与光学系统的PSF对应的可见光复原滤波器。
可见光复原运算处理部48a中输入有被去马赛克处理的可见光图像数据(RGB数据)，可见光复原运算处理部48a对RGB数据进行利用了通过滤波器选择部48b选择的可见光复原滤波器(F4R1、F4G1、F4B1)的可见光复原处理，计算出可见光复原处理后的图像数据。即，可见光复原运算处理部48a进行可见光复原滤波器(F4R1、F4G1、F4B1)和与其对应的每一个RGB的像素数据(处理对象像素数据及相邻像素数据)的反卷积运算，计算出已进行可见光复原处理的RGB数据。
可见光复原处理部6可以对可见光图像数据进行较弱的点像复原处理，该点像复原处理进行振幅复原及相位校正，也可以进行不伴随相位校正的振幅复原的点像复原处理。当可见光复原处理部6进行反映出RGB的每一颜色通道的相位传递函数(PTF)的相位校正处理时，执行更准确地修正模糊的有效的点像复原处理。并且，可见光复原处理部6进行反映出RGB的每一颜色通道的相位传递函数(PTF)的相位校正处理，因此能够校正倍率色差等各种色差。
图11是表示图像处理部(图像处理装置)35的动作的流程图。
首先，图像处理部35中输入图像数据(步骤S10)。然后，通过判定部2判定所输入的图像是否为第1图像数据或第2图像数据(步骤S11)。然后，通过第1复原处理部3对第1图像数据进行第1复原处理(步骤S12)，通过第2复原处理部5对第2图像数据进行第2复原处理(步骤S13)。
上述的各结构及功能可通过任意的硬件、软件或两者的组合来适当实现。例如，对使计算机执行上述处理步骤(处理顺序)的程序、记录有这种程序的计算机可读取的记录介质(非暂时性有形记录介质)或对可安装这种程序的计算机也能够应用本发明。
接着，对关于数码相机10的成像元件26的设置的设定进行说明。
图12至图15是对成像元件26的像面与成像面的位置关系及焦点进行说明的图。图12(A)、图13(A)、图14(A)及图15(A)中主要记载有透镜单元12、成像元件26、IR截止滤波器25、截止滤波器动作机构24及被摄体19。并且，透镜单元12的侧面设置有聚焦环13、聚焦调节杆11、变焦环23及变焦调节杆21。图12(A)、图13(A)、图14(A)及图15(A)中所记载的成像元件26的像面是以拍摄可见光像的情况为基准来设定的。并且，在图12(B)、图13(B)、图14(B)及图15(B)中示出了在图12(A)至图15(A)各自的摄像条件下拍摄的被摄体像的图像。
在图12中示出了荧光灯31被点亮，且IR截止滤波器25插入于成像光路的情况。在该情况下，通过成像元件26获取被摄体19的可见光像。成像元件26的像面位置是以获取可见光像的情况为基准来设定的，因此被摄体19的可见光像的成像面51与成像元件26的像面的位置一致(参考图12(A))，并获取对被摄体19对准焦点的图像(参考图12(B))。
在图13中示出了荧光灯31被点亮，且IR截止滤波器25从成像光路退避的情况。在该情况下，通过成像元件26获取具有被摄体19的可见光像的图像。成像元件26的像面位置是以获取可见光像的情况为基准来设定的，但IR截止滤波器25从成像光路退避而可见光像的光路长度发生变化，因此被摄体19的可见光像的成像面51与成像元件26的像面的位置不一致(参考图13(A))。因此，获取对被摄体19没有对准焦点的模糊的图像(参考图13(B))。另外，在该情况下，IR截止滤波器25从成像光路退避，但没有插入如调节光路长度的虚拟滤波器(透明玻璃)27等。并且，图13(A)中用点线来表示IR截止滤波器25插入于成像光路时的可见光像的成像面。
在图14中示出了荧光灯31关闭而发射近红外光的IR(Infrared)投光灯33被点亮且IR截止滤波器25从成像光路退避的情况。在该情况下，通过成像元件26获取具有被摄体19的近红外光像的图像。被摄体19的近红外光像的成像面53与可见光像的成像面51相比更靠成像元件26侧。因此，与图13所示的情况相比，焦点的偏移变小，从而能够获取模糊得到抑制的图像(参考图14(B))。另外，在图14(A)中用点线来表示可见光像的成像面。
在图15中示出了荧光灯31被点亮、IR投光灯33被点亮且IR截止滤波器25从成像光路退避的情况。在该情况下，通过成像元件26获取具有被摄体19的可见光像及近红外光像的图像。在该情况下，存在被摄体19的近红外光像的成像面53及被摄体19的可见光像的成像面51，如图13中说明，可见光像的成像面51的位置与成像元件26的像面位置的差异较大，因此获取可见光像的模糊明显的图像(参考图15(B))。
如上所述，通过将成像元件26的像面位置以获取被摄体19的可见光像(第1图像数据)的情况为基准来设定，从而即使在IR截止滤波器25从成像光路退避的情况下，也能够获取模糊得到抑制的被摄体19的近红外光像。并且，通过将成像元件26的像面位置以获取被摄体19的可见光像(第1图像数据)的情况为基准来设定，在IR截止滤波器25从成像光路退避时将虚拟滤波器27插入于成像光路，由此能够获取近红外光像及可见光像中模糊得到抑制的图像。
(第2实施方式)
接着，对第2实施方式进行说明。
图16是表示第2实施方式中的作为原图像数据Do已获取第1图像数据(将近红外光作为光源的图像数据)时的第1复原处理的概要的图。另外，对图5已进行说明的部分标注相同的符号并省略说明。
在图16中，图5中进行说明的第1复原处理作为振幅复原处理P12及相位校正处理P14而分别进行。并且，对已进行振幅复原处理的第1图像数据进行非线性灰度校正处理P13。
当在第1复原处理部3中分别进行相位校正及振幅复原时，代替前述的[数式1]的OTF，使用表示OTF的振幅成分的MTF，计算出滤波器的频率特性，以使计算出的滤波器的频率特性最接近所希望的Wiener频率特性的方式选择系数值，由此计算出恢复频率特性的劣化的振幅复原滤波器F3。同样地，代替上述[数式1]的OTF，使用表示OTF的相位成分的PTF，计算出滤波器的频率特性，以使计算出的滤波器的频率特性最接近所希望的Wiener频率特性的方式选择系数值，由此计算出恢复相位特性的劣化的相位校正滤波器F2。另外，在该情况下，振幅复原滤波器F3及相位校正滤波器F2成为第1复原滤波器。
为了从模糊图像的原图像数据Do(第1图像数据)复原原来的被摄体像(点像)，通过对原图像数据Do进行利用了振幅复原滤波器F3的振幅复原处理P12，从而非点对称的模糊像得以振幅复原，且模糊像变小。
接着，对振幅复原处理后的第1图像数据进行非线性灰度校正处理P13(基于对数化处理的伽马校正处理)。灰度(伽马)校正处理是通过显示装置自然地再现图像的方式将图像数据校正为非线性处理。
而且，对已进行灰度校正处理的第1图像数据进行利用了相位校正滤波器F2的相位校正处理P14。通过该相位校正处理P14非点对称的像依赖于频率而移动，恢复成点对称的像。由此，可获得表示与原来的被摄体像(点像)更接近的像(恢复图像)的恢复图像数据Dr。
振幅复原处理P12中所使用的振幅复原滤波器F3从与获取原图像数据Do时的摄像条件相应的光学系统的点像信息(PSF、OTF或MTF)通过规定的振幅复原滤波器算法P22来获得，相位校正处理P14中所使用的相位校正滤波器F2从与获取原图像数据Do时的摄像条件相应的光学系统的点像信息(PSF、OTF或PTF)通过规定的相位校正滤波器算法P23来获得。
由N×M的抽头构成的实空间上的振幅复原滤波器F3或相位校正滤波器F2可通过对频率空间上的恢复滤波器的频率振幅特性或恢复滤波器的相位特性进行傅里叶逆变换来导出。因此，实空间上的振幅复原滤波器F3或相位校正滤波器F2确定成为基础的频率空间上的振幅复原滤波器或相位校正滤波器，并指定实空间上的振幅复原滤波器F3或相位校正滤波器F2的构成抽头数，由此可适当计算。另外，相位校正滤波器F2的N×M的抽头数优选设为大于振幅复原滤波器F3的抽头数，以便良好地进行相位校正。
如此，在本方式中，对已进行振幅复原处理P12的第1图像数据进行非线性灰度校正处理P13，对已进行非线性灰度校正处理P13的第1图像数据进行相位校正处理P14。由此，本方式中，在相位校正处理中，由于因相位校正滤波器在空间上扩散较大而导致容易出现在饱和像素附近产生伪影(振铃等)的现象，但通过在灰度校正后进行相位校正，从而能够防止因灰度校正而上述伪影放大(伪影的产生较强)。同样地，本方式中，可能会出现因相位校正而颜色灰度发生变化的现象，但能够缓和该现象。准确而言，颜色灰度发生变化的现象，即使在灰度校正之后实施相位校正也会出现，但与在灰度校正之前实施的情况相比，能够减少颜色灰度的发生。并且，在本方式中，关于灰度校正后的图像数据，通常比特数与灰度校正前相比会变少，因此能够减少实施基于抽头数较大的相位校正滤波器的相位校正时的计算成本。
并且，在本方式中，可以变更振幅复原处理P12与相位校正处理P14的顺序。即，对已进行相位校正处理P14的第1图像数据进行非线性灰度校正处理P13，对已进行非线性灰度校正处理P13的第1图像数据进行振幅复原处理P12。由此，本方式在灰度校正之前(图像的频率特性变化之前)进行相位校正，因此能够有效地进行相位校正，在灰度校正之后进行振幅复原，因此因振幅复原而产生若干的过冲和/或下冲不会因灰度校正而被放大(增强)，从而能够防止严重产生伪影。
图17是表示第2实施方式中的图像处理部35的功能结构例的框图。第2实施方式的图像处理部35具备图像输入部1、第1复原处理部3、第2复原处理部5及灰度校正处理部7。另外，对图7中进行说明的部分标注相同的编号并省略说明。
第1复原处理部3具备相位校正部8及振幅复原部9。相位校正部8对第1图像数据进行相位校正，振幅复原部9对第1图像数据进行振幅校正。
灰度校正处理部7为对图像数据进行非线性灰度校正的部分，例如，对所输入的图像数据进行基于对数化处理的伽马校正处理，并且以通过显示装置使图像自然的再现的方式对图像数据进行非线性处理。
图18是表示通过灰度校正处理部7灰度校正的输入输出特性(伽玛特性)的一例的图表。在本例中，灰度校正处理部7对12比特(0～4095)的图像数据进行与伽玛特性对应的伽马校正，并生成8比特(0～255)的图像数据(1字节数据)。另外，灰度校正处理部7还包括对输入数据进行沿色调曲线的非线性灰度校正的操作。
＜具体例1＞
图19是表示第2实施方式中的图像处理部35的具体处理的例子(具体例1)的框图。
本例的图像处理部35具备偏移校正处理部41、振幅复原处理部44、包括伽马校正处理部的灰度校正处理部45及相位校正处理部46。另外，在振幅复原处理部44中进行图16中进行说明的振幅复原处理P12，在相位校正处理部46中进行图16中进行说明的相位校正处理P14。
在图19中，偏移校正处理部41中以点顺序输入从成像元件26获取的图像处理前的马赛克数据(RAW数据)。另外，马赛克数据例如为具有12比特(0～4095)位长的数据(每一像素为2字节数据)。
偏移校正处理部41为对所输入的马赛克数据中所包含的暗电流成分进行校正的处理部，通过从马赛克数据减去从成像元件26上的遮光像素获得的光学黑体(OB)(opticalblack)的信号值而进行马赛克数据的偏移校正。
被偏移校正的马赛克数据附加于振幅复原处理部44，并进行振幅复原处理。
通过振幅复原处理部44振幅复原处理的图像数据附加于灰度校正处理部45。
灰度校正处理部45为对被振幅复原处理的图像数据进行非线性灰度校正的部分，例如对所输入的图像数据进行基于对数化处理的伽马校正处理，以通过显示装置使图像自然的再现的方式对图像数据进行非线性处理。
通过灰度校正处理部45灰度校正的图像数据附加于相位校正处理部46，并进行图像数据的相位校正处理。
＜具体例2＞
图20是表示第2实施方式中的图像处理部35的具体处理的例子(具体例2)的框图。另外，在图22中，对与图19所示的图像处理部35的具体例通用的部分标注相同的符号，并省略其详细说明。
本例的图像处理部35具备偏移校正处理部41、相位校正处理部46、包括伽马校正处理部的灰度校正处理部45及振幅复原处理部44。
若将本例的图像处理部35与具体例1相比，则振幅复原处理部44与相位校正处理部46顺序相反。即，在本例中，已进行偏移校正处理的图像数据附加于相位校正处理部46，并进行相位校正。并且，在本例中，在灰度校正处理部45中灰度的图像数据附加于振幅复原处理部44，并进行振幅复原处理。
(第3实施方式)
接着，对第3实施方式进行说明。
图21是表示第3实施方式中的图像处理部35的具体处理的例子的框图。第3实施方式中的图像处理部35通过通用的图像处理电路对将可见光作为光源的图像的图像数据、将近红外光作为光源的图像的图像数据(第1图像数据)及将近红外光及可见光作为光源的图像的图像数据(第2图像数据)进行处理。在数码相机10的可见光拍摄模式下拍摄时(图1)，获取RGB数据，在近红外光拍摄模式下拍摄时(图2)，获取IR数据。第1图像数据及第2图像数据是在近红外光拍摄模式下获取的，因此成为IR数据。
本例的图像处理部35具备偏移校正处理部41、调整白平衡(WB)的WB校正处理部42、去马赛克处理部43、复原处理部71、灰度校正运算部73、非线性校正表存储部74、亮度及色差转换处理部47及轮廓增强处理部55。
偏移校正处理部41中以点顺序输入在可见光拍摄模式及近红外光拍摄模式下拍摄时的从成像元件26获取的图像处理前的马赛克数据(RAW数据)。
偏移校正处理部41为对所输入的马赛克数据中所包含的暗电流成分进行校正的处理部，通过从马赛克数据减去从成像元件26上的遮光像素获得的光学黑体(OB)的信号值来进行马赛克数据的偏移校正。
被偏移校正的马赛克数据附加于WB校正处理部42。当输入在可见光拍摄模式下拍摄的图像数据(RGB数据)时，WB校正处理部42对RGB数据分别乘以按RGB的每一颜色设定的WB增益，并进行RGB数据的白平衡校正。关于WB增益，例如设为根据RGB数据自动判定光源种类，或通过手动选择光源种类，且设定与判定或选择的光源种类相应的WB增益，但WB增益的设定方法并不限定于此，能够通过其他公知的方法进行设定。另一方面，当输入在近红外光拍摄模式下拍摄的图像数据(IR数据)(第1图像数据或第2图像数据)时，无需WB校正，因此，当输入IR数据时，WB校正处理部42不进行处理而直接输出图像数据。另外，当输入IR数据时，WB校正处理部42可以进行调整来自具有R滤波器的像素的输出值、来自具有G滤波器的像素的输出值及来自具有B滤波器的像素的输出值的处理。
当输入在可见光拍摄模式下拍摄的图像数据(RGB数据)时，去马赛克处理部43从包括RGB的马赛克图像按每一像素计算出RGB所有的颜色信息。即，去马赛克处理部43从马赛克数据(点顺序的RGB数据)生成被同步化的RGB3面的图像数据。并且，当输入在近红外光拍摄模式下拍摄的图像数据(IR数据)时，无需去马赛克处理，因此去马赛克处理部43不进行处理而直接输出图像数据。另外，来自具有R滤波器的像素的输出灵敏度、来自具有G滤波器的像素的输出灵敏度及来自具有B滤波器的像素的输出灵敏度大致相等，因此认为不需要对IR数据的去马赛克处理。
从去马赛克处理部43输出的RGB数据及IR数据输入于复原处理部71，在此进行可见光复原处理、第1复原处理及第2复原处理。
图22是表示复原处理部71的框图。复原处理部71主要由复原处理运算部210、第1点扩散函数存储部220、第2点扩散函数存储部230、第3点扩散函数生成部240、点像复原滤波器生成部(滤波器生成部)250及光量比检测部160构成。
复原处理运算部210中在可见光拍摄模式下进行拍摄时输入RGB数据，在近红外光拍摄模式下进行拍摄时输入IR数据。而且，复原处理运算部210对所输入的图像数据(RGB数据及IR数据)进行利用了通过点像复原滤波器生成部250生成的复原滤波器的点像复原处理，计算出被点像复原处理的图像数据。
第1点扩散函数存储部220为存储光学系统(透镜16等)的针对可见光的第1点扩散函数(第1PSF)的存储部。
第2点扩散函数存储部230为存储光学系统(透镜16等)的针对近红外光的第2点扩散函数(第2PSF)的存储部。
第1PSF及第2PSF为分别在基于仅可见光的光源及近仅红外光的光源的照明条件下拍摄点像并根据拍摄它们时获得的点像的图像数据进行测定的函数，在产品出库前已被测量，且存储于第1点扩散函数存储部220及第2点扩散函数存储部230。另外，第1点扩散函数存储部220及第2点扩散函数存储部230并不限定于存储PSF。即，在第1点扩散函数存储部220及第2点扩散函数存储部230中可以存储OTF、PTF及MTF。
第3点扩散函数生成部240为生成黄昏用点扩散函数的部分。例如，第3点扩散函数生成部240根据从第1点扩散函数存储部220读出的第1MTF、从第2点扩散函数存储部230读出的第2MTF及从光量比检测部160附加的光量比，计算出根据光量比对第1MTF及第2MTF进行加权平均的第3MTF。
在此，若将黄昏状态的可见光的光量与近红外光的光量的光量比设为p:q、p+q＝1，则第3点扩散函数生成部240根据以下式计算出黄昏用第3MTF。
[数式2]
第3PSF＝第1PSF×p+第2PSF×q
点像复原滤波器生成部250从第1点扩散函数存储部220、第2点扩散函数存储部230或第3点扩散函数生成部240获取与图像数据相应的MTF及PSF等函数，根据获取的函数生成复原滤波器。
点像复原滤波器生成部250中从相机主体控制器28输入拍摄模式信息及判定部2的信息。而且，当将可见光作为光源的图像数据输入到复原处理部71时，点像复原滤波器生成部250根据所输入的这些信息，从第1点扩散函数存储部220读出第1PSF，根据读出的第1PSF生成复原滤波器。
同样地，当将近红外光作为光源的图像数据(第1图像数据)输入到复原处理部71时，点像复原滤波器生成部250从第2点扩散函数存储部230读出第2PSF，根据读出的第2PSF生成复原滤波器。并且，同样地，当输入了将近红外光及可见光作为光源的图像数据(第2图像数据)时，点像复原滤波器生成部250获取通过第3点扩散函数生成部240生成的MTF，根据获取的第3MTF生成复原滤波器。
回到图21，通过复原处理部71点像复原处理的RGB数据及IR数据附加于灰度校正运算部73。
灰度校正运算部73为对RGB数据及IR数据进行非线性灰度校正的部分。例如灰度校正运算部73对所输入的RGB数据及IR数据进行基于对数化处理的伽马校正处理，且以通过显示装置使图像自然的再现的方式对RGB数据进行非线性处理。另外，灰度校正运算部73从非线性校正表存储部74获取根据图像数据进行非线性灰度校正的表格数据。在此，非线性校正表存储部74中存储有对R、G及B数据进行非线性灰度校正的表格数据及对IR数据的进行非线性灰度校正的表格数据。
通过灰度校正运算部73被灰度校正的(R)(G)(B)数据及被灰度校正的IR数据附加于亮度及色差转换处理部47。另外，将灰度校正后的RGB数据标记为(R)(G)(B)数据，将灰度校正后的IR数据标记为(IR)数据。
亮度及色差转换处理部47为当输入在可见光拍摄模式下拍摄的图像数据时将(R)(G)(B)数据转换为表示亮度成分的亮度数据(Y)、色差数据(Cr)及(Cb)的处理部，通过以下所示的[数式3]表示的式来计算。并且，当输入在近红外光拍摄模式下拍摄的图像数据时，亮度及色差转换处理部47无需将(IR)数据转换为亮度数据(Y)、色差数据(Cr)及(Cb)，因此亮度及色差转换处理部47不进行处理而直接输出(IR)数据。
[数式3]
(Y)＝0.299(R)+0.587(G)+0.114(B)
(Cb)＝-0.168736(R)-0.331264(G)+0.5(B)
(Cr)＝-0.5(R)-0.418688(G)-0.081312(B)
另外，(R)(G)(B)数据为灰度校正及相位校正处理后的8比特的数据，从这些(R)(G)(B)数据转换的亮度数据(Y)、色差数据(Cr)、(Cb)也是8比特的数据。并且，从(R)(G)(B)数据向亮度数据(Y)、色差数据(Cr)、(Cb)的转换式并不限定于上述[数式3]。
从亮度及色差转换处理部47输出的图像数据输入至轮廓增强处理部55。
轮廓增强处理部55对所输入的(Y)(Cb)(Cr)数据及(IR)数据进行轮廓增强处理。当输入(Y)(Cb)(Cr)数据时，轮廓增强处理部55对(Y)数据进行轮廓增强处理，当输入(IR)数据时，轮廓增强处理部55对(IR)数据进行轮廓增强处理。
根据本实施方式，通过通用的图像处理电路对在可见光拍摄模式下拍摄的图像数据及在近红外光拍摄模式下拍摄的图像数据进行处理，因此能够减轻电路设计的负荷且实现小型化。
＜对EDoF系统的应用例＞
上述实施方式中的点像复原处理(振幅复原处理及相位校正处理)为通过根据特定的摄影条件(例如，光圈值、F值、焦距、透镜类型等)对点扩散(点像模糊)进行振幅复原处理及相位校正处理而复原原来的被摄体像的图像处理，但可应用本发明的图像处理并不限定于上述实施方式中的复原处理。例如，对于对通过具有扩展场景(焦点)深(扩展景深(EDoF：ExtendedDepthofField(Focus)))的光学系统(摄影透镜等)拍摄获取的图像数据的复原处理，也能够应用本发明所涉及的复原处理。对通过EDoF光学系统场景深度(焦点深度)被扩展的状态下拍摄获取的模糊图像的图像数据进行复原处理，由此能够复原生成以广范围对准焦点的状态的高分辨率的图像数据。在该情况下，进行利用了基于EDoF光学系统的传递函数(PSF、OTF、MTF、PTF等)的振幅复原滤波器、相位校正滤波器复原处理，该振幅复原滤波器、相位校正滤波器具有以在扩展的场景深度(焦点深度)的范围内可实现良好的图像复原的方式设定的滤波器系数。
图23是表示具备EDoF光学系统的摄像模块101的一方式的框图。本例的摄像模块(搭载于数码相机等的摄像头)101包括EDoF光学系统(透镜单元)110、成像元件112及AD(模拟数字(analogdigital))转换部114。
图24是表示EDoF光学系统110的一例的图。本例的EDoF光学系统110具有定焦的被固定的摄影透镜110A及配置于光瞳位置的滤光器111。滤光器111调制相位，且以获得扩展的场景深度(焦点深度)(EDoF)的方式对EDoF光学系统110(摄影透镜110A)进行EDoF化。如此，摄影透镜110A及滤光器111构成调制相位而使场景深度扩展的透镜部。
另外，EDoF光学系统110根据需要包括其他构成要件，例如在滤光器111的附近配置有光圈(省略图示)。并且，滤光器111可以是1片，也可以组合多片。并且，滤光器111只是光学相位调制机构的一例，EDoF光学系统110(摄影透镜110A)的EDoF化可以通过其他机构来实现。例如，代替滤光器111的设置，可以通过以具有与本例的滤光器111相同的功能的方式进行透镜设计的摄影透镜110A来实现EDoF光学系统110的EDoF化。
即，可通过改变向成像元件112的受光面的成像的波面的各种构件来实现EDoF光学系统110的EDoF化。例如，可将“厚度变化的光学元件”、“折射率变化的光学元件(折射率分布型波面调制透镜等)”、“因对透镜表面进行编码等而厚度及折射率变化的光学元件(波面调制混合式透镜、在透镜面上作为相位面来形成的光学元件等)”及“可调制光的相位分布的液晶元件(液晶空间相位调制元件等)”作为EDoF光学系统110的EDoF化机构来采用。如此，本发明不仅能够应用于可形成通过光波面调制元件(滤光器111(相位板))规则性地分散的图像的案例，而且还能够应用于不使用光波面调制元件而可通过摄影透镜110A本身来形成与使用光波面调制元件的情况相同的分散图像的案例。
图23及图24所示的EDoF光学系统110能够省略机械性调焦的调焦机构，因此能够实现小型化，从而可适宜地搭载于带相机的移动电话及便携信息终端。
通过被EDoF化的EDoF光学系统110后的光学像成像于图23所示的成像元件112，并转换为电信号。
作为成像元件112，能够应用与图1所示的成像元件26相同的成像元件。
模数转换部(AD转换部)114将从成像元件112输出至每一像素的模拟RGB图像信号转换为数字RGB图像信号。通过AD转换部114转换为数字图像信号的数字图像信号作为马赛克数据(RAW图像数据)输出。
通过对从摄像模块101输出的马赛克数据应用前述的实施方式中所示的图像处理部(图像处理装置)35，能够生成在广范围对准焦点的状态的高分辨率的恢复图像数据。
即，如图25的符号1311所示，通过EDoF光学系统110后的点像(光学像)以较大的点像(模糊图像)成像于成像元件112，但通过基于图像处理部(图像处理装置)35的点像复原处理(振幅复原处理及相位校正处理)，如图25的符号1312所示，复原成较小的点像(高分辨率的图像)。
另外，在上述各实施方式中，对图像处理部(图像处理装置)35设置于数码相机10的相机主体14(相机主体控制器28)的方式进行了说明，但图像处理部(图像处理装置)35也可以设置于计算机60及服务器80等其他装置。
例如，在计算机60中对图像数据进行加工时，可以通过设置于计算机60的图像处理部(图像处理装置)35进行对该图像数据的点像复原处理。并且，当服务器80具备图像处理部(图像处理装置)35时，例如，可以是如下方式：从数码相机10及计算机60向服务器80发送图像数据，在服务器80的图像处理部(图像处理装置)35中对该图像数据进行点像复原处理，将点像复原处理后的图像数据(恢复图像数据)发送及提供至发送源。
以上，对本发明的例子进行了说明，但本发明并不限定于上述实施方式，在不脱离本发明的思想的范围内，能够进行各种变形是不言而喻的。
符号说明
1-图像输入部，2-判定部，3-第1复原处理部，4-光量检测部，5-第2复原处理部，6-可见光复原处理部，7-灰度校正处理部，8-相位校正部，9-振幅复原部，10-数码相机，12-透镜单元，14-相机主体，15-近红外光发光部，16-透镜，17-光圈，18-光学系统操作部，19-被摄体，20-透镜单元控制器，22-透镜单元输入输出部，24-截止滤波器动作机构，25-IR截止滤波器，26-成像元件，27-虚拟滤波器，28-相机主体控制器，30-相机主体输入输出部，31-荧光灯，32-输入输出接口，33-IR投光灯，34-设备控制部，35-图像处理部，36-光量获取部，60-计算机，62-计算机输入输出部，64-计算机控制器，66-显示器，70-因特网，80-服务器，82-服务器输入输出部，84-服务器控制器，101-摄像模块，110-EDoF光学系统，110A-摄影透镜，111-滤光器，112-成像元件，114-AD转换部。

Claims (14)

1.一种图像处理装置，其具备：
图像输入部，其输入有利用光学系统以在可见光波长频带及近红外光波长频带具有灵敏度的方式拍摄的图像数据；
判定部，其判定所述图像数据是否为将近红外光作为光源的第1图像数据或将近红外光及可见光作为光源的第2图像数据；
第1复原处理部，其对所述判定部中判定出的所述第1图像数据进行利用了基于针对所述光学系统的近红外光的第1点扩散函数的进行相位校正及振幅复原的第1复原滤波器的第1复原处理；及
第2复原处理部，其对所述判定部中判定出的所述第2图像数据进行利用了基于针对所述光学系统的可见光及近红外光的第2点扩散函数的进行不伴随相位校正的振幅复原的第2复原滤波器的第2复原处理。
2.根据权利要求1所述的图像处理装置，其中，
所述图像处理装置还具备光量检测部，其检测所述图像数据的光量，
所述判定部根据所述光量检测部检测出的光量判定是否为所述第1图像数据或所述第2图像数据。
3.根据权利要求1所述的图像处理装置，其中，
所述判定部根据获取所述图像数据的时刻判定是否为所述第1图像数据或所述第2图像数据。
4.根据权利要求1至3中任一项所述的图像处理装置，其中，
所述图像处理装置还具备灰度校正处理部，所述灰度校正处理部对所述第1图像数据进行非线性灰度校正，
所述灰度校正处理部对已进行所述相位校正的所述第1图像数据进行所述非线性灰度校正，
所述第1复原处理部对已进行所述非线性灰度校正的所述第1图像数据进行所述振幅复原。
5.根据权利要求1至3中任一项所述的图像处理装置，其中，
所述图像处理装置还具备灰度校正处理部，所述灰度校正处理部对所述第1图像数据进行非线性灰度校正，
所述灰度校正处理部对已进行所述振幅复原的所述第1图像数据进行所述非线性灰度校正，
所述第1复原处理部对已进行所述非线性灰度校正的所述第1图像数据进行所述相位校正。
6.根据权利要求1至3中任一项所述的图像处理装置，其还具备：
所述第1复原处理部及所述第2复原处理部的复原处理运算中所使用的通用的复原处理运算部、对所述第1图像数据及所述第2图像数据进行非线性灰度校正的通用的灰度校正运算部、及对所述第1图像数据及所述第2图像数据进行轮廓增强处理的通用的轮廓增强处理部中的至少一个。
7.根据权利要求1至6中任一项所述的图像处理装置，其中，
所述图像处理装置还具备光量比检测部，所述光量比检测部检测所述第2图像数据中的所述可见光的光量与所述近红外光的光量的光量比，
所述第2复原处理部根据所述光量比检测部检测出的所述光量比，利用根据所述光学系统的所述可见光的调制传递函数及所述光学系统的所述近红外光的调制传递函数生成的所述第2复原滤波器。
8.根据权利要求1至7中任一项所述的图像处理装置，其还具备：
存储部，其存储所述第1复原滤波器及所述第2复原滤波器。
9.根据权利要求1至8中任一项所述的图像处理装置，其还具备：
滤波器生成部，其生成所述第1复原滤波器及所述第2复原滤波器。
10.一种摄像装置，其具备：
光学系统；
近红外光发光部，其将近红外光作为辅助光来发射；
图像获取部，其获取使用所述光学系统以在可见光波长频带及近红外光波长频带具有灵敏度的方式拍摄的图像数据；
判定部，其判定所述图像数据是否为将近红外光作为光源的第1图像数据或将近红外光及可见光作为光源的第2图像数据；
第1复原处理部，其对所述获取的所述第1图像数据进行利用了基于针对所述光学系统的近红外光的第1点扩散函数的进行相位校正及振幅复原的第1复原滤波器的第1复原处理；及
第2复原处理部，其对所述获取的所述第2图像数据进行利用了基于针对所述光学系统的可见光及近红外光的第2点扩散函数的进行不伴随相位校正的振幅复原的第2复原滤波器的第2复原处理。
11.根据权利要求10所述的摄像装置，其中，
所述图像获取部以拍摄可见光像的情况为基准设定像面位置。
12.一种图像处理方法，其具备：
图像输入步骤，输入利用光学系统以在可见光波长频带及近红外光波长频带具有灵敏度的方式拍摄的图像数据；
判定步骤，判定所述图像数据是否为将近红外光作为光源的第1图像数据或将近红外光及可见光作为光源的第2图像数据；
第1复原处理步骤，对判定步骤中判定出的所述第1图像数据进行利用了基于针对所述光学系统的近红外光的第1点扩散函数的进行相位校正及振幅复原的第1复原滤波器的第1复原处理；及
第2复原处理步骤，对判定步骤中判定出的所述第2图像数据进行利用了基于针对所述光学系统的可见光及近红外光的第2点扩散函数的进行不伴随相位校正的振幅复原的第2复原滤波器的第2复原处理。
13.一种程序，其用于使计算机执行如下步骤：
图像输入步骤，输入利用光学系统以在可见光波长频带及近红外光波长频带具有灵敏度的方式拍摄的图像数据；
判定步骤，判定所述图像数据是否为将近红外光作为光源的第1图像数据或将近红外光及可见光作为光源的第2图像数据；
第1复原处理步骤，对判定步骤中判定出的所述第1图像数据进行利用了基于针对所述光学系统的近红外光的第1点扩散函数的进行相位校正及振幅复原的第1复原滤波器的第1复原处理；及
第2复原处理步骤，对判定步骤中判定出的所述第2图像数据进行利用了基于针对所述光学系统的可见光及近红外光的第2点扩散函数的进行不伴随相位校正的振幅复原的第2复原滤波器的第2复原处理。
14.一种计算机可读取的非暂时性有形介质，其记录有权利要求13所述的程序。
CN201680022557.2A 2015-04-23 2016-04-15 图像处理装置、摄像装置、图像处理方法及存储介质 Active CN107534728B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015088232 2015-04-23
JP2015-088232 2015-04-23
PCT/JP2016/062173 WO2016171091A1 (ja) 2015-04-23 2016-04-15 画像処理装置、撮像装置、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN107534728A true CN107534728A (zh) 2018-01-02
CN107534728B CN107534728B (zh) 2020-01-24

Family

ID=57143128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680022557.2A Active CN107534728B (zh) 2015-04-23 2016-04-15 图像处理装置、摄像装置、图像处理方法及存储介质

Country Status (4)

Country Link
US (1) US10326947B2 (zh)
JP (1) JP6247795B2 (zh)
CN (1) CN107534728B (zh)
WO (1) WO2016171091A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110933292A (zh) * 2018-09-20 2020-03-27 佳能株式会社 图像处理装置、摄像装置、图像处理方法和存储介质
CN114846784A (zh) * 2020-01-02 2022-08-02 高通股份有限公司 机械红外光滤波器

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10638060B2 (en) * 2016-06-28 2020-04-28 Intel Corporation Color correction of RGBIR sensor stream based on resolution recovery of RGB and IR channels
JP7374600B2 (ja) * 2019-03-22 2023-11-07 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101001325A (zh) * 2006-01-13 2007-07-18 奥林巴斯映像株式会社 数字照相机
US20120154626A1 (en) * 2010-12-17 2012-06-21 Canon Kabushiki Kaisha Image processing method and image processing apparatus for image restoration
CN102970459A (zh) * 2011-08-31 2013-03-13 佳能株式会社 图像处理设备、摄像设备和图像处理方法
WO2014136322A1 (ja) * 2013-03-04 2014-09-12 富士フイルム株式会社 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム並びに記録媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4969206B2 (ja) 2006-11-01 2012-07-04 京セラ株式会社 生体認証装置
JP5546229B2 (ja) * 2009-12-09 2014-07-09 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP5844940B2 (ja) 2013-03-18 2016-01-20 富士フイルム株式会社 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム、並びに記録媒体
JP5759085B2 (ja) * 2013-03-28 2015-08-05 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム並びに記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101001325A (zh) * 2006-01-13 2007-07-18 奥林巴斯映像株式会社 数字照相机
US20120154626A1 (en) * 2010-12-17 2012-06-21 Canon Kabushiki Kaisha Image processing method and image processing apparatus for image restoration
CN102970459A (zh) * 2011-08-31 2013-03-13 佳能株式会社 图像处理设备、摄像设备和图像处理方法
WO2014136322A1 (ja) * 2013-03-04 2014-09-12 富士フイルム株式会社 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム並びに記録媒体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110933292A (zh) * 2018-09-20 2020-03-27 佳能株式会社 图像处理装置、摄像装置、图像处理方法和存储介质
US11138764B2 (en) 2018-09-20 2021-10-05 Canon Kabushiki Kaisha Image processing device, image processing method, and recording medium
CN114846784A (zh) * 2020-01-02 2022-08-02 高通股份有限公司 机械红外光滤波器

Also Published As

Publication number Publication date
JPWO2016171091A1 (ja) 2018-01-11
US10326947B2 (en) 2019-06-18
CN107534728B (zh) 2020-01-24
WO2016171091A1 (ja) 2016-10-27
US20180041714A1 (en) 2018-02-08
JP6247795B2 (ja) 2017-12-13

Similar Documents

Publication Publication Date Title
JP4186699B2 (ja) 撮像装置および画像処理装置
US10339638B2 (en) Image processing device, imaging device, image processing method, and image processing program
US9633417B2 (en) Image processing device and image capture device performing restoration processing using a restoration filter based on a point spread function
US20020122133A1 (en) Digital camera and image processing system
US9699427B2 (en) Imaging device, imaging method, and image processing device
CN102783135A (zh) 利用低分辨率图像提供高分辨率图像的方法和装置
US9965833B2 (en) Optical system characteristic data storing device, method, and program for image restoration filtering
CN107534733A (zh) 摄像装置、该摄像装置的图像处理方法及程序
CN107852456A (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN107534728A (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN105453540A (zh) 图像处理装置、摄像装置、图像处理方法及程序
US10395347B2 (en) Image processing device, imaging device, image processing method, and image processing program
US10559068B2 (en) Image processing device, image processing method, and program processing image which is developed as a panorama
CN110249619A (zh) 图像处理装置、图像处理方法及相机系统
JP2016010080A (ja) 画像処理装置、画像処理方法及びプログラム
KR101141844B1 (ko) 저조도 환경에서의 영상 개선 방법 및 장치
JP5549282B2 (ja) 画像処理装置、撮像装置、コンピュータ読み取り可能なプログラム
JP2011015155A (ja) 撮像装置、レンズユニット

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant