CN107431760A - 摄像装置、摄像装置的图像处理方法以及程序 - Google Patents

摄像装置、摄像装置的图像处理方法以及程序 Download PDF

Info

Publication number
CN107431760A
CN107431760A CN201680019287.XA CN201680019287A CN107431760A CN 107431760 A CN107431760 A CN 107431760A CN 201680019287 A CN201680019287 A CN 201680019287A CN 107431760 A CN107431760 A CN 107431760A
Authority
CN
China
Prior art keywords
image
wave filter
optical characteristics
forming component
restoration disposal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680019287.XA
Other languages
English (en)
Other versions
CN107431760B (zh
Inventor
成濑洋介
田中淳
田中淳一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN107431760A publication Critical patent/CN107431760A/zh
Application granted granted Critical
Publication of CN107431760B publication Critical patent/CN107431760B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1006—Beam splitting or combining systems for splitting or combining different wavelengths
    • G02B27/1013—Beam splitting or combining systems for splitting or combining different wavelengths for colour or multispectral image sensors, e.g. splitting an image into monochromatic image components on respective sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/12—Beam splitting or combining systems operating by refraction only
    • G02B27/126—The splitting element being a prism or prismatic array, including systems based on total internal reflection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Blocking Light For Cameras (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明提供一种对可见光图像和近红外光图像使用共用的复原滤波器进行复原处理的摄像装置、该摄像装置的图像处理方法以及程序。获取通过成像元件的拍摄而获得的图像数据，所述成像元件能够经由光学系统对可见光的波长范围和近红外光的波长范围具有灵敏度而拍摄被摄体。对利用成像元件对可见光的波长范围具有灵敏度而拍摄的被摄体的图像数据和利用成像元件对近红外光的波长范围具有灵敏度而拍摄的被摄体的图像数据，使用共同的复原滤波器来进行点像复原处理。共同的复原滤波器根据光学系统的平均光学特性来计算，所述平均光学特性通过对针对可见光的光学系统的第1光学特性和针对近红外光的光学系统的第2光学特性进行加权平均而获得。

Description

摄像装置、摄像装置的图像处理方法以及程序
技术领域
本发明涉及一种无论昼夜均拍摄被摄体的摄像装置、该摄像装置的图像处理方法以及程序。
背景技术
近年来，在公共设施、商业设施以及住宅等中设置在固定位置(定点)且无论昼夜均拍摄被摄体的监控摄像机(摄像装置)被广泛使用。通常，该昼夜兼用(还称为日夜(day/night)功能)的监控摄像机在昼间(白天)拍摄被摄体的可见光图像，在夜间拍摄被摄体的近红外光图像。即，昼夜兼用的监控摄像机不仅能够拍摄可见光波长范围的光，还能够拍摄近红外光波长范围的光(参照专利文献1)。
另一方面，专利文献2中记载有如下摄像装置：对通过拍摄而获得的图像，使用根据与摄像条件对应的光学系统的光学特性而生成的复原滤波器来进行点像复原处理。并且，专利文献3中记载有如下摄像装置：同时拍摄在同一被摄体对焦的可见光图像和红外光图像。
以往技术文献
专利文献
专利文献1：日本特开2010-230776号公报
专利文献2：日本特开2013-038562号公报
专利文献3：日本特开2008-268868号公报
发明内容
发明要解决的技术课题
由于专利文献1中记载的昼夜兼用的监控摄像机在昼间拍摄可见光图像且在夜间拍摄近红外光图像，因此存在摄像对象光的波长在昼间和夜间切换的问题。并且，可见光和近红外光中，有时通过透镜等光学系统而成像的像面位置会偏离。因此，当由任一波长固定焦点位置时，像会在另一波长上模糊，因此还存在分辨力背离的问题。
相反，当将上述专利文献2和专利文献3中记载的技术适用于昼夜兼用的监控摄像机并进行点像复原处理时，需要根据是可见光图像的拍摄还是近红外光图像的拍摄来切换点像复原处理中使用的复原滤波器的种类。并且，该情况下，还需要将昼间拍摄用和夜间拍摄用这两者的复原滤波器预先存储于监控摄像机的存储器。因此，存在额外需要用于切换复原滤波器以及存储复原滤波器的存储器容量等资源的问题。另外，此处所说的“资源”是指，使监控摄像机等摄像装置的硬件和软件工作所需的运算处理速度和存储器容量。
本发明是鉴于这种情况而完成的，其目的在于提供一种能够减少点像复原处理中所需的资源的摄像装置、该摄像装置的图像处理方法以及程序。
用于解决技术课题的手段
用于实现本发明的目的的摄像装置具备：图像获取部，获取通过成像元件的拍摄而获得的图像数据，所述成像元件能够经由光学系统对可见光的波长范围和近红外光的波长范围具有灵敏度而拍摄被摄体；以及点像复原处理部，对图像获取部所获取的图像数据，使用复原滤波器来进行点像复原处理，并且对利用成像元件对可见光的波长范围具有灵敏度而拍摄的被摄体的图像数据和利用成像元件对近红外光的波长范围具有灵敏度而拍摄的被摄体的图像数据，使用共同的复原滤波器来进行点像复原处理，共同的复原滤波器根据光学系统的平均光学特性来计算，所述平均光学特性通过对针对可见光的光学系统的第1光学特性和针对近红外光的光学系统的第2光学特性进行加权平均而获得。
根据本发明，不需要确保用于切换对可见光的波长范围具有灵敏度而拍摄的被摄体的图像数据的点像复原处理中所使用的复原滤波器和对近红外光的波长范围具有灵敏度而拍摄的被摄体的图像数据的点像复原处理中所使用的复原滤波器以及存储这些复原滤波器的存储器容量。
并且，能够拍摄可见光波长范围的光和近红外光波长范围的光的摄像装置中，有时可见光和红外光可见光和红外光通过透镜等光学系统而成像的像面位置会偏离。因此，当由可见光和近红外光中的任一波长固定焦点位置时，像会在另一波长上模糊，从而产生分辨力背离的问题。针对这种问题，根据本发明，通过使用复原滤波器来进行点像复原处理，能够复原成分辨率高的图像。
本发明的其他方式所涉及的摄像装置中，具备近红外光发光部，所述近红外光发光部在利用成像元件对近红外光的波长范围具有灵敏度而进行拍摄时，将近红外光作为辅助光而进行发光。由此，即使在夜间较暗的状态(低照度下)下进行拍摄时，也能获得清晰的被摄体的图像数据。
本发明的其他方式所涉及的摄像装置中，具备红外线截止滤波器，所述红外线截止滤波器在利用成像元件对可见光的波长范围具有灵敏度而进行拍摄时，配置于朝向成像元件的摄像光路，且在利用成像元件对近红外光的波长范围具有灵敏度而进行拍摄时，避开摄像光路。由此，在对可见光的波长范围具有灵敏度而拍摄被摄体时，能够通过红外线截止滤波器截断入射于成像元件的红外光(包括近红外光)。
本发明的其他方式所涉及的摄像装置中，第1光学特性为针对可见光的波长范围中所含的多个颜色的可见光的每一个的光学系统的光学特性，共同的复原滤波器根据平均光学特性来计算，所述平均光学特性通过对多个颜色中的每个颜色的第1光学特性和第2光学特性进行加权平均而获得，点像复原处理部对根据图像数据生成且与亮度相关的图像数据即亮度系统图像数据，使用共同的复原滤波器来进行点像复原处理。由此，与对多个颜色的图像数据使用不同的复原滤波器来进行点像复原处理时相比，能够降低运算处理负荷，因此能够减少点像复原处理中所需的资源。
本发明的其他方式所涉及的摄像装置中，成像元件包含对可见光的波长范围具有灵敏度的多个颜色的第1像素，平均光学特性根据针对第1光学特性的第1权重、针对第2光学特性的第2权重以及第1像素中的每个颜色的出现频率，对多个颜色中的每个颜色的第1光学特性和第2光学特性进行加权平均而获得。由此，获得反映了第1像素中的每个颜色的出现频率的平均光学特性。
成像元件包含第1像素以及对近红外光的波长范围具有灵敏度的第2像素，成像元件的第1像素中的同色像素间的像素间距与第2像素的像素间距相同。由此，能够对通过第1像素获得的图像数据和通过第2像素获得的图像数据，使用共同的复原滤波器来进行点像复原处理。
本发明的其他方式所涉及的摄像装置中，成像元件包含对可见光的波长范围具有灵敏度的多个颜色的第1像素，第1光学特性为针对可见光的波长范围中所含的多个颜色的可见光的每一个的光学系统的光学特性，第2光学特性为针对多个颜色的第1像素分别具有灵敏度的近红外光且按第1像素的各颜色像素区分的光学系统的光学特性，共同的复原滤波器根据多个颜色中的每个颜色的平均光学特性并针对多个颜色中的每个颜色来进行计算，所述平均光学特性通过对多个颜色中的每个颜色的第1光学特性和多个颜色中的每个颜色的第2光学特性进行加权平均而获得，点像复原处理部对通过多个颜色的第1像素获得的多个颜色中的每个颜色的图像数据，使用多个颜色中的每个颜色的共同的复原滤波器并针对多个颜色中的每个颜色来进行点像复原处理。由此，与对亮度系统图像数据进行点像复原处理时相比，能够减少通过点像复原处理获得的复原图像数据的画质劣化。
本发明的其他方式所涉及的摄像装置中，多个颜色中的每个颜色的平均光学特性根据针对第1光学特性的第1权重、针对第2光学特性的第2权重以及灵敏度特性，针对多个颜色中的每个颜色来对第1光学特性和第2光学特性进行加权平均而获得，所述灵敏度特性表示多个颜色的第1像素对可见光波长和近红外光波长的灵敏度。由此，获得反映了多个颜色的第1像素的灵敏度特性的平均光学特性。
本发明的其他方式所涉及的摄像装置中，成像元件包含对可见光的波长范围具有灵敏度的多个颜色的第1像素以及对近红外光的波长范围具有灵敏度的第2像素，共同的复原滤波器根据平均光学特性来计算，所述平均光学特性通过对与可见光中的红色光对应的光学系统的第1光学特性和第2光学特性进行加权平均而获得，点像复原处理部对通过多个颜色中的红色的第1像素获得的图像数据和通过第2像素获得的图像数据，使用共同的复原滤波器来进行点像复原处理。由此，能够对通过红色的第1像素获得的图像数据和通过第2像素获得的图像数据，使用共同的复原滤波器来进行点像复原处理，因此能够减少点像复原处理中所需的资源。
本发明的其他方式所涉及的摄像装置中，成像元件的第1像素中的同色像素间的像素间距与第2像素的像素间距相同。由此，能够对通过第1像素获得的图像数据和通过第2像素获得的图像数据，使用共同的复原滤波器来进行点像复原处理。
本发明的其他方式所涉及的摄像装置中，具备：光量比检测部，检测入射于成像元件的可见光和近红外光的光量比；光学特性存储部，存储第1光学特性和第2光学特性；以及复原滤波器生成部，根据平均光学特性生成共同的复原滤波器，所述平均光学特性通过对存储在光学特性存储部的第1光学特性和第2光学特性进行加权平均而获得，复原滤波器生成部根据光量比检测部的检测结果，调整进行加权平均时的针对第1光学特性的第1权重和针对第2光学特性的第2权重。由此，能够根据设有监控摄像机的环境，以适当的第1权重和第2权重计算平均光学特性。
用于实现本发明的目的的摄像装置的图像处理方法具有：图像获取步骤，获取通过成像元件的拍摄而获得的图像数据，所述成像元件能够经由光学系统对可见光的波长范围和近红外光的波长范围具有灵敏度而拍摄被摄体；以及点像复原处理步骤，对通过图像获取步骤获取的图像数据，使用复原滤波器来进行点像复原处理，并且对利用成像元件对可见光的波长范围具有灵敏度而拍摄的被摄体的图像数据和利用成像元件对近红外光的波长范围具有灵敏度而拍摄的被摄体的图像数据，使用共同的复原滤波器来进行点像复原处理，共同的复原滤波器根据光学系统的平均光学特性来计算，所述平均光学特性通过对针对可见光的光学系统的第1光学特性和针对近红外光的光学系统的第2光学特性进行加权平均而获得。
用于实现本发明的目的的程序，其使摄像装置的计算机作为对通过成像元件的拍摄而获得的图像数据实施点像复原处理的单元来发挥作用，所述成像元件能够经由光学系统对可见光的波长范围和近红外光的波长范围具有灵敏度而拍摄被摄体，所述程序使计算机作为图像获取部和点像复原处理部来发挥作用，所述图像获取部获取通过成像元件的拍摄而获得的图像数据，所述点像复原处理部对图像获取部所获取的图像数据，使用复原滤波器来进行点像复原处理，并且对利用成像元件对可见光的波长范围具有灵敏度而拍摄的被摄体的图像数据和利用成像元件对近红外光的波长范围具有灵敏度而拍摄的被摄体的图像数据，使用共同的复原滤波器来进行点像复原处理，所述共同的复原滤波器根据平均光学特性来计算，所述平均光学特性通过对针对可见光的光学系统的第1光学特性和针对近红外光的光学系统的第2光学特性进行加权平均而获得。
用于实现本发明的目的的摄像装置具备：图像获取部，获取通过成像元件的拍摄而获得的图像数据，所述成像元件能够经由光学系统对可见光的波长范围和近红外光的波长范围具有灵敏度而拍摄被摄体；以及点像复原处理部，对图像获取部所获取的图像数据，使用基于光学系统的光学特性的复原滤波器来进行点像复原处理，点像复原处理部对利用成像元件对近红外光的波长范围具有灵敏度而拍摄的被摄体的图像数据，使用复原滤波器来进行点像复原处理，所述复原滤波器基于针对可见光中红色波长范围的红色光的光学系统的光学特性。
根据本发明，作为对通过对近红外光的波长范围具有灵敏度而拍摄被摄体来获得的图像数据进行的点像复原处理中所使用的复原滤波器，能够代用基于针对红色波长范围的红色光的光学系统的光学特性的复原滤波器。
本发明的其他方式所涉及的摄像装置中，成像元件具有对可见光的波长范围具有灵敏度的第1像素以及对近红外光的波长范围具有灵敏度的第2像素。由此，能够对可见光的波长范围和近红外光的波长范围具有灵敏度而拍摄被摄体。
本发明的其他方式所涉及的摄像装置中，成像元件的第1像素中的同色像素间的像素间距与第2像素的像素间距相同。由此，能够对通过第1像素获得的图像数据和通过第2像素获得的图像数据，使用共同的复原滤波器来进行点像复原处理。
本发明的其他方式所涉及的摄像装置中，具备红外线截止滤波器，所述红外线截止滤波器在利用成像元件对可见光的波长范围具有灵敏度而进行拍摄时，配置于朝向成像元件的摄像光路，且在利用成像元件对近红外光的波长范围具有灵敏度而进行拍摄时，避开摄像光路。
本发明的其他方式所涉及的摄像装置中，根据针对红色光的光学系统的光学特性的计算出的复原滤波器，根据针对红色光的光学系统的光学特性而生成，或者根据对光学特性进行运算处理而得的光学特性而生成。
用于实现本发明的目的的摄像装置的图像处理方法具有：图像获取步骤，获取通过成像元件的拍摄而获得的图像数据，所述成像元件能够经由光学系统对可见光的波长范围和近红外光的波长范围具有灵敏度而拍摄被摄体；以及点像复原处理步骤，使用基于光学系统的光学特性的复原滤波器，对通过图像获取步骤获取的图像数据进行点像复原处理，点像复原处理步骤中，对利用成像元件对近红外光的波长范围具有灵敏度而拍摄的被摄体的图像数据，使用复原滤波器来进行点像复原处理，所述复原滤波器基于针对可见光中红色波长范围的红色光的光学系统的光学特性。
用于实现本发明的目的的程序，其使摄像装置的计算机作为对通过成像元件的拍摄而获得的图像数据实施点像复原处理的单元来发挥作用，所述成像元件能够经由光学系统对可见光的波长范围和近红外光的波长范围具有灵敏度而拍摄被摄体，所述程序使计算机作为获取部和点像复原处理部来发挥作用，所述获取部获取通过成像元件的拍摄而获得的图像数据，所述点像复原处理部使用基于光学系统的光学特性的复原滤波器，对获取部所获取的图像数据进行点像复原处理，并且对利用成像元件对近红外光的波长范围具有灵敏度而拍摄的被摄体的图像数据，使用复原滤波器来进行点像复原处理，所述复原滤波器基于针对可见光中红色波长范围的红色光的光学系统的光学特性。
发明效果
本发明的摄像装置、摄像装置的图像处理方法以及程序能够减少点像复原处理中所需的资源。
附图说明
图1是表示监控摄像机的功能结构例的框图，是表示在昼间(白天)进行拍摄的状态。
图2是表示监控摄像机的功能结构例的框图，是表示在夜间进行摄像的状态。
图3(A)是设置在成像元件的成像面的像素的放大图，图3(B)是用于说明图3(A)所示的像素的滤色器的分光透射率特性的说明图。
图4是表示相机主体控制器的电结构的框图。
图5是第1实施方式的图像处理部的功能框图。
图6是用于说明点像复原处理的说明图。
图7是用于说明点像复原处理的相位校正和振幅校正的说明图。
图8是用于说明由第1实施方式的加权平均处理部进行加权平均处理的说明图。
图9是表示由第1实施方式的复原滤波器生成部进行的共同复原滤波器的生成处理流程的流程图。
图10是表示第1实施方式的监控摄像机的摄像处理和图像处理的流程的流程图。
图11是示出3板式成像元件的一例的概略图。
图12是第2实施方式的监控摄像机的图像处理部的功能框。
图13是第3实施方式的监控摄像机的图像处理部的功能框图。
图14是用于说明由第3实施方式的加权平均处理部进行的加权平均处理的说明图。
图15是表示由第3实施方式的复原滤波器生成部进行的各共同复原滤波器的生成处理流程的流程图。
图16是表示第3实施方式的监控摄像机的摄像处理和图像处理的流程的流程图。
图17是第4实施方式的监控摄像机的图像处理部的功能框图。
图18(A)是设置在第5实施方式的成像元件的成像面的像素的放大图，图18(B)是用于说明图18(A)所示的像素的滤色器的分光透射率特性的说明图。
图19是第5实施方式的监控摄像机的图像处理部的功能框图。
图20是第6实施方式的监控摄像机的复原滤波器生成部的功能框图。
图21是表示被摄体的明度(光量)随着从白天到夜间的时间经过而变化的曲线图。
图22是第7实施方式的监控摄像机的图像处理部的功能框图。
图23是表示第7实施方式的监控摄像机的摄像处理和图像处理的流程的流程图。
图24是第8实施方式的监控摄像机的图像处理部的功能框图。
图25是第9实施方式的监控摄像机的图像处理部的功能框图。
图26是第10实施方式的监控摄像机的图像处理部的功能框图。
图27是表示作为摄像装置的实施方式的智能手机的外观的图。
图28是表示图27所示的智能手机的结构的框图。
具体实施方式
[第1实施方式的监控摄像机的整体结构]
图1是表示昼夜兼用使用的监控摄像机10的功能结构例的框图，表示昼间(白天)进行拍摄的状态。图2是表示监控摄像机10的功能结构例的框图，表示夜间进行拍摄的状态。在此，本说明书中所说的“昼间”和“夜间”并不一定规定特定的时间段，“昼间”和“夜间”会分别包括拂晓(黎明)和黄昏。
如图1和图2所示，相当于本发明的摄像装置的监控摄像机10为数码相机的一种，并在公共设施、商业设施以及住宅等中设置在固定位置(定点)。该监控摄像机10通过在昼间拍摄被摄体(监控区域)的可见光图像，且在夜间拍摄被摄体的近红外光图像，无论昼夜均拍摄被摄体。并且，监控摄像机10连接于个人计算机(Personal Computer)等计算机60，并将通过拍摄被摄体而获得的图像数据输出至计算机60。
在此，近红外光图像是指，至少对近红外光的波长范围具有灵敏度而拍摄被摄体来获得的图像。该近红外光的波长范围(近红外区域)并没有特别限定，但在700nm至2500nm的范围。并且，可见光图像是指，对可见光的波长范围(通常为380nm至780nm)具有灵敏度而拍摄被摄体来获得的图像。
监控摄像机10具备透镜单元12和相机主体14。另外，监控摄像机10的外观并不限定于图1和图2所示的外观，例如透镜单元12和相机主体14可以被透明的穹顶覆盖。
透镜单元12设置在相机主体14的前表面。透镜单元12具备：近红外光发光部15；包含聚焦透镜和变焦透镜等的透镜16；光圈17；以及驱动透镜16和光圈17的透镜驱动部18。
近红外光发光部15在通过监控摄像机10进行夜间拍摄时，朝向被摄体将近红外光作为辅助光而进行发光。由此，即使在通过监控摄像机10在夜间较暗的状态(低照度下)下进行拍摄时，也能够获得清晰的被摄体的近红外光图像的图像数据。
透镜16从可见光至近红外区域具有实际的透射率，且使用对可见光和近红外光的色像差(倍率色像差)进行了光学校正的昼夜兼用透镜。另外，通常，即便是昼夜兼用的透镜，进行至近红外区域的完全的色像差校正也并不现实，像差会因透镜张数等的限制而残存。透镜驱动部18包含透镜单元控制器20以及驱动透镜16和光圈17的驱动器(未图示)。
透镜单元控制器20经由设置在相机主体14的透镜单元输入输出部22而与相机主体14电连接。该透镜单元控制器20根据从相机主体14输入的控制信号，通过前述驱动器驱动透镜16和光圈17。由此，进行由透镜移动进行的透镜16的聚焦控制和变焦控制以及光圈17的光圈量控制。
相机主体14除了具备前述透镜单元输入输出部22以外，还具备滤波器驱动部24、红外线(IR：infrared)截止滤波器25、成像元件26、照度传感器27、相机主体控制器28、相机主体输入输出部30以及输入输出接口32。
IR截止滤波器25为用于截断包括近红外光的红外光的滤波器。IR截止滤波器25与透镜单元12的透镜16和光圈17一同构成本发明的光学系统。IR截止滤波器25能够通过滤波器驱动部24插入透镜单元12的摄像光路L或避开摄像光路L。在此，摄像光路L是指，入射于透镜单元12的光到达后述成像元件26为止的光路。另外，本实施方式中，IR截止滤波器25设置在相机主体14内，但也可以设置在透镜单元12内。
滤波器驱动部24在相机主体控制器28的控制下，在拍摄被摄体的可见光图像时，将IR截止滤波器25插入摄像光路L，且在拍摄被摄体的近红外光图像时，使IR截止滤波器25避开摄像光路L。由此，能够在拍摄可见光图像时截断入射于后述成像元件26的红外光。另外，IR截止滤波器25的种类并没有特别限定，例如，可以使用用于截断近红外光的近红外光截止滤波器。
成像元件26使用单板式(还称为单板方式)的CCD(电荷耦合器件(Charge CoupledDevice))型成像元件或者CMOS(互补金属氧化物半导体(Complementary Metal OxideSemiconductor))型成像元件等。成像元件26通过透镜单元12拍摄被摄体，并将该被摄体的图像数据输出至相机主体控制器28。
图3(A)是设置在成像元件26的成像面的像素的放大图。并且，图3(B)是用于说明图3(A)所示的像素的滤色器的分光透射率特性的说明图。
如图3(A)所示，在单板式成像元件26的成像面，多个颜色的像素被排列成矩阵状。各像素构成为包含微透镜、红(R：Red)、绿(G：Green)或蓝(B：Blue)滤色器以及光电转换部(光电二极管等)。RGB滤色器具有拜耳排列等规定图案的滤波器排列。另外，图中的“R”、“G”以及“B”为分别具有RGB各滤色器的R像素、G像素以及B像素(以下，称为RGB像素)，相当于本发明的多个颜色的第1像素。
如图3(B)所示，RGB像素各自不仅对可见光的波长范围具有灵敏度，还对近红外区域、尤其近红外光发光部15进行发光的近红外光的波长范围(本实施方式中为800nm～900nm)具有灵敏度。因此，RGB像素在拍摄近红外光图像时(在后述第2拍摄模式时)作为IR像素发挥作用。即，成像元件26能够拍摄被摄体的可见光图像和近红外光图像。
返回图1和图2，监控摄像机10具有与昼间拍摄对应的第1拍摄模式以及与夜间拍摄对应的第2拍摄模式作为拍摄被摄体的拍摄模式。另外，监控摄像机10的拍摄模式的切换通过相机主体控制器28来执行。
第1拍摄模式时的成像元件26在IR截止滤波器25插入摄像光路L的状态下通过透镜单元12拍摄被摄体，并输出表示被摄体的可见光图像(彩色图像)的第1图像数据D1[RAW图像(RAW图像格式(Raw image format))数据]。该第1图像数据D1由从R像素获得的R图像数据、从G像素获得的G图像数据以及从B像素获得的B图像数据构成。以下，将这些R图像数据、G图像数据以及B图像数据简称为“RGB图像数据”。另外，只要IR截止滤波器25插入摄像光路L，则第1拍摄模式的其他条件是任意的。
并且，在第2拍摄模式时，成像元件26在IR截止滤波器25避开摄像光路L的状态下通过透镜单元12拍摄被摄体，并输出包含被摄体的近红外光图像(黑白图像)的第2图像数据D2(RAW图像数据)。在此，“包含近红外光图像的第2图像数据D2”是表示，即便在夜间，根据时间段和周围环境，可见光向成像元件26的入射也不会成为零，从而不仅包含通过近红外光的拍摄获得的第2图像数据D2，还包含通过可见光的摄像获得的第2图像数据D2。但是，在夜间拍摄中，可见光的光量减少，而且在本实施方式中通过近红外光发光部15将近红外光作为辅助光而进行发光，因此入射于成像元件26的可见光的光量与近红外光的光量相比大幅减少。因此，第2图像数据D2不具有颜色的信息，能够视作由亮度信息(亮度信号)构成的黑白图像数据。
照度传感器27检测由监控摄像机10拍摄的被摄体(监控区域)的照度，并将该照度检测结果输出至相机主体控制器28。由照度传感器27产生的照度检测结果例如用于由近红外光发光部15进行的近红外光的发光的开启(ON)和关闭(OFF)的切换、IR截止滤波器25的插入和避开的切换以及前述拍摄模式的切换。
相机主体控制器28例如由包含CPU(中央处理器(Central Processing Unit))的各种形状的运算部、处理部以及存储部(存储器)构成，并总体控制监控摄像机10的整体的工作和处理。
图4是表示相机主体控制器28的电结构的框图。如图4所示，相机主体控制器28具有设备控制部34、图像处理部35以及存储部36。
设备控制部34通过执行从存储部36读取的控制用程序37A，对监控摄像机10的各部的工作进行控制。例如，设备控制部34生成用于控制透镜单元12的控制信号，并将该控制信号从相机主体输入输出部30发送至透镜单元控制器20(参照图1和图2)。由此，执行前述聚焦控制和变焦控制以及光圈17的光圈量控制。并且，设备控制部34控制由成像元件26进行的摄像处理以及图像数据的输出处理。
此外，设备控制部34根据由照度传感器27产生的照度检测结果，分别控制拍摄模式的切换、由近红外光发光部15进行的近红外光的发光的开启和关闭的切换以及IR截止滤波器25的插入和避开的切换。
例如，设备控制部34中，若照度检测结果在预先设定的阈值以上，则判定为“昼间”，并将拍摄模式切换为第1拍摄模式。由此，通过成像元件26的拍摄而获得第1图像数据D1。另一方面，设备控制部34中，若照度检测结果小于预先设定的阈值，则判定为“夜间”，并将拍摄模式切换为第2拍摄模式。由此，通过成像元件26的拍摄而获得第2图像数据D2。
如此，设备控制部34根据从照度检测结果判别的“昼间”、“夜间”、“昼间”、“夜间”、……的重复，将拍摄模式交替地切换为第1拍摄模式和第2拍摄模式。
并且，设备控制部34在将拍摄模式切换为第1拍摄模式时，控制近红外光发光部15而关闭近红外光的发光，并且控制滤波器驱动部24而将IR截止滤波器25插入摄像光路L。相反，设备控制部34在将拍摄模式切换为第2拍摄模式时，控制近红外光发光部15而开启近红外光的发光，并且控制滤波器驱动部24而使IR截止滤波器25避开摄像光路L。
另外，本实施方式的设备控制部34根据由照度传感器27产生的照度检测结果来切换拍摄模式，但拍摄模式切换条件并不限定于照度检测结果，可进行适当变更。例如，也可以将预先设定的时间段(“昼间”设为AM6:00～PM6:00，“夜间”设为PM6:00～AM6:00)作为拍摄模式切换条件，并根据时间段而切换拍摄模式。
图像处理部35通过执行从存储部36读取的图像处理用程序37B，对从成像元件26输入的图像数据(第1图像数据D1和第2图像数据D2)进行后述图像处理。而且，图像处理部35将图像处理后的图像数据输出至输入输出接口32(参照图1和图2)。
图像处理用程序37B相当于本发明的程序。该图像处理用程序37B使构成监控摄像机10的计算机的一部分的图像处理部35作为包含图像获取部39以及点像复原处理部44的多个处理部来发挥作用，详细内容将进行后述(参照图5)。
返回图1和图2，输入输出接口32有线或无线连接于外部设备类(计算机60等)，并向计算机60等输出图像处理后的图像数据。另外，发送至计算机60等的图像数据的格式并没有特别限定，可以为任意格式。
计算机60经由相机主体14的输入输出接口32和计算机输入输出部62与监控摄像机10连接，并接收从监控摄像机10发送来的图像数据等数据类。该计算机60具有计算机控制器64以及显示器66。
计算机控制器64总体控制计算机60，对来自监控摄像机10的图像数据进行图像处理，并控制与服务器80等的通信，所述服务器80经由互联网70等网络线路与计算机输入输出部62连接。显示器66显示从监控摄像机10输入的图像。
服务器80具有服务器输入输出部82以及服务器控制器84。服务器输入输出部82构成与计算机60等外部设备类的发送和接收连接部，并经由互联网70等网络线路与计算机60的计算机输入输出部62连接。服务器控制器84根据来自计算机60的控制命令信号而与计算机控制器64协同动作，在与计算机控制器64之间根据需要发送和接收数据类并将数据类下载到计算机60，通过进行运算处理而将该运算结果发送至计算机60。
另外，监控摄像机10、计算机60以及服务器80之间的通信可以是有线通信和无线通信中的任一种。并且，可以一体构成计算机60和服务器80，还可以省略两者中的一个或两个。并且，可以使监控摄像机10具有与服务器80的通信功能，并在监控摄像机10与服务器80之间直接发送和接收数据类。
[图像处理部的结构]
图5是图像处理部35的功能框图。图像处理部35在第1拍摄模式时，对从成像元件26输入的第1图像数据D1(RAW图像数据)实施图像处理，并将图像处理后的第1图像数据D1输出至输入输出接口32。并且，图像处理部35在第2拍摄模式时，对从成像元件26输入的第2图像数据D2(RAW图像数据)实施图像处理，并将图像处理后的第2图像数据D2输出至输入输出接口32。
图像处理部35对第1图像数据D1和第2图像数据D2实施的图像处理，除了包含增益校正处理和灰度校正处理等通常的图像处理以外，还包含点像复原处理。另外，图5中的“实线”表示第1拍摄模式时的数据处理流程，“虚线”表示第2拍摄模式时的数据处理流程(其他相似附图也相同)。
图像处理部35通过执行从前述存储部36读取的图像处理用程序37B，在第1拍摄模式时作为图像获取部39、增益校正处理部40、去马赛克处理部41、第1灰度校正处理部42、转换处理部43以及点像复原处理部44来发挥作用。并且，图像处理部35在第2拍摄模式时除了作为前述图像获取部39、增益校正处理部40以及点像复原处理部44发挥作用以外，还作为第2灰度校正处理部46来发挥作用。即，本实施方式中，图像获取部39、增益校正处理部40以及点像复原处理部44与拍摄模式的种类无关，是共同的。
在第1拍摄模式时，图像获取部39获取从成像元件26输出的第1图像数据D1(RAW图像数据)，并将该第1图像数据D1输出至增益校正处理部40。第1图像数据D1由与单板式成像元件26的滤色器排列对应的马赛克状的RGB图像数据(图中表示为“Rm”、“Gm”、“Bm”)构成。
另一方面，在第2拍摄模式时，图像获取部39获取从成像元件26输出的第2图像数据D2(RAW图像数据)，并将该第2图像数据D2输出至增益校正处理部40。如前述，在第2拍摄模式时，成像元件26的RGB像素(参照图3(A))作为IR像素发挥作用，因此第2图像数据D2为一面(非马赛克状)的IR图像数据(图中表示为IR)。
另外，在此所说的一面IR图像数据由从R像素获得的马赛克状的IR(Rm)图像数据、从G像素获得的马赛克状的IR(Gm)图像数据以及从B像素获得的马赛克状的IR(Bm)图像数据构成(图中表示为IR(Rm)、IR(Gm)、IR(Bm)”)。
在第1拍摄模式时，增益校正处理部40作为对从图像获取部39输入的马赛克状的RGB图像数据调整白平衡(WB：White Balance)的增益校正处理部来发挥作用。具体而言，增益校正处理部40将针对RGB各颜色而设定的WB增益分别与RGB图像数据相乘，从而进行RGB图像数据的白平衡校正。而且，增益校正处理部40将白平衡校正后的RGB图像数据输出至去马赛克处理部41。
另一方面，在第2拍摄模式时，增益校正处理部40作为对针对近红外光的R像素、G像素以及B像素的灵敏度差进行校正的灵敏度校正处理部来发挥作用。具体而言，增益校正处理部40将从RGB像素分别输出的IR(Rm)、IR(Gm)、IR(Bm)图像数据的累计平均值设为1:1:1的增益分别与各图像数据相乘，从而对各图像数据进行校正。另外，在RGB像素中不存在针对近红外光的灵敏度差时，不需要由增益校正处理部40进行的灵敏度差的校正。而且，增益校正处理部40将由灵敏度差校正后的IR(Rm)、IR(Gm)、IR(Bm)图像数据构成的一面IR图像数据输出至第2灰度校正处理部46。
在第1拍摄模式时，去马赛克处理部41进行去马赛克处理(也称为同步处理)，所述去马赛克处理根据从增益校正处理部40输入的马赛克状的RGB图像数据针对每个像素来计算所有的颜色信息。即，去马赛克处理部41生成根据马赛克状的RGB图像数据(点顺序的RGB图像数据)而同步的RGB的三面图像数据(图中表示为“R”、“G”、“B”)。而且，去马赛克处理部41将去马赛克处理后的RGB图像数据输出至第1灰度校正处理部42。
在第1拍摄模式时，第1灰度校正处理部42对从去马赛克处理部41输入的三面RGB图像数据进行灰度校正处理(伽马校正处理等)。例如，第1灰度校正处理部42对12位(0～4095)RGB图像数据进行与伽马特性对应的伽马校正，从而生成8位(0～255)RGB颜色数据(1字节的数据)。这种第1灰度校正处理部42例如能够由各RGB的查表构成，并且进行与RGB图像数据的各颜色分别对应的伽马校正。而且，第1灰度校正处理部42将灰度校正处理后的RGB图像数据输出至转换处理部43。
在第1拍摄模式时，转换处理部43将从第1灰度校正处理部42输入的RGB图像数据转换为利用规定的转换式来表示亮度成分的亮度数据Y和色差数据Cr、Cb。而且，转换处理部43将转换后的亮度数据Y输出至点像复原处理部44。该亮度数据Y为根据RGB图像数据生成且与亮度相关的图像，相当于本发明的亮度系统图像数据。
在第2拍摄模式时，第2灰度校正处理部46对从增益校正处理部40输入的IR图像数据进行与由第1灰度校正处理部42进行的灰度校正处理相同的灰度校正处理(伽马校正处理等)。例如，第2灰度校正处理部46能够由近红外光用查表构成，并且对所输入的12位IR图像数据进行与伽马特性对应的伽马校正，从而生成8位IR图像数据。而且，第2灰度校正处理部46将灰度校正处理后的IR图像数据输出至点像复原处理部44。另外，IR图像数据为与前述亮度数据Y相同的亮度系统图像数据。
点像复原处理部44对在第1拍摄模式时从转换处理部43输入的亮度数据Y和在第2拍摄模式时从第2灰度校正处理部46输入的IR图像数据，使用存储在复原滤波器存储部49的1种共同复原滤波器F1来进行点像复原处理。
点像复原处理是指如下处理：预先求出表示由监控摄像机10的光学系统(透镜16、光圈17以及IR截止滤波器25等)的像差等引起的劣化的光学特性，并且使用根据前述光学特性生成的复原(恢复)滤波器，将所拍摄的图像(劣化的图像)复原成分辨率高的图像。
图6是用于说明点像复原处理的说明图。另外，图6示出作为被摄体而拍摄点像的情况。
如图6所示，将点像作为被摄体而拍摄时，通过监控摄像机10的光学系统而由成像元件26拍摄被摄体的可见光图像(第1拍摄模式)或近红外光图像(第2拍摄模式)，并从该成像元件26输出原图像数据(第1图像数据D1或第2图像数据D2)。
此时，第1图像数据D1的振幅成分和相位成分因基于针对可见光的监控摄像机10的光学系统的光学特性的点扩散现象而劣化，原始的被摄体像(点像)为非点对称的模糊图像。在此，由于可见光由各种波长范围的光构成，因此产生倍率色像差，并在构成第1图像数据D1的RGB图像数据的相位上产生偏离。并且，第2图像数据D2(IR图像数据)的振幅成分和相位成分因基于针对近红外光的监控摄像机10的光学系统的光学特性的点扩散现象而劣化，原始的被摄体像(点像)为非点对称的模糊图像。
由点像复原处理部44进行的点像复原处理中，预先获取或求出针对可见光的监控摄像机10的光学系统的第1光学特性和针对近红外光的监控摄像机10的光学系统的第2光学特性，并根据这些第1光学特性和第2光学特性，由后述复原滤波器生成部51生成共同复原滤波器F1。
作为第1光学特性和第2光学特性，使用点扩散函数(PSF：Point spreadfunction)或光学传递函数(OTF：Optical Transfer Function)。PSF与OTF为傅立叶变换关系，PSF为实函数，OTF为复函数。并且，作为具有与它们等价的信息的函数，有调制传递函数或振幅传递函数(MTF：Modulation Transfer Function)和相位传递函数(PTF：PhaseTransfer Function)，分别表示OTF的振幅成分和相位成分。通过组合MTF和PTF，具有与OTF或PSF等价的信息量。
通常，作为基于PSF的模糊图像的复原中所使用的复原滤波器，能够使用卷积型维纳(Wiener)滤波器。参照将PSF(x,y)进行了傅立叶变换而得的OTF和信噪比(SNR：signal-noise ratio，还称为SN比)的信息，能够通过以下公式来计算复原滤波器的频率特性d(ωx,ωy)。
[数式1]
其中，ωx、ωy表示空间频率，H(ωx,ωy)表示OTF，H*(ωx,ωy)表示其复共轭。并且，SNR(ωx,ωy)表示信噪比(SN比)。作为上述[数式1]公式的H(ωx,ωy)，也可以使用表示该OTF的振幅成分的MTF来代替OTF，从而计算点像复原滤波器。
复原滤波器的滤波器系数的设计是以滤波器的频率特性最接近所希望的Wiener频率特性的方式选择系数值的最佳化问题，可通过任意公知的方式来适当地计算滤波器系数。如此，复原滤波器根据与摄像条件对应的光学系统的点像信息(PSF)，通过规定的振幅复原以及相位校正的滤波器计算算法来获得。光学系统的点像信息不仅能够根据透镜16的种类而变动，还能够根据光圈量、焦距、变焦量、像高、记录像素数、像素间距等各种摄像条件而变动。
复原滤波器为由例如M×N(M和N为2以上的整数)个抽头构成的实空间上的滤波器，分别适用于处理对象的图像数据。由此，能够通过将分配于各抽头的滤波器系数与对应的像素数据(处理对象像素数据和相邻像素数据)进行加权平均运算(反卷积运算)，来计算恢复处理后的像素数据。将使用了复原滤波器的加权平均处理依次替换对象像素的同时适用于构成图像数据的所有像素数据中，由此能够进行点像复原处理。由此，获得复原图像数据(亮度数据Y、IR图像数据)。
图7是用于说明点像复原处理的相位校正和振幅校正的说明图。如图7所示，点像复原处理能够大致区分为“相位校正”(还称为“相位复原”)和“振幅校正”(还称为“振幅复原”)。该“相位校正”包括复原RGB图像数据等的相位偏离以及复原因非点对称的点扩散函数(PSF)的形状产生的相位成分。另外，复原因非点对称的点扩散函数的形状产生的相位成分是指，将非对称的点扩散形状校正为点对称的点扩散形状。另外，对如前述亮度数据Y或IR图像数据这样的亮度系统图像数据的相位校正是指，复原因非点对称的点扩散函数(PSF)的形状产生的相位成分。
“振幅校正”为图像数据的振幅成分(MTF)的复原处理。通过振幅校正，至奈奎斯特频率的摄像系统的SN比(signal-to-noise ratio)足够大时，能够将点扩散形状校正为点(δ函数(delta function))。
返回图6，通常，优选使用根据前述第1光学特性生成的可见光用复原滤波器，对亮度数据Y进行点像复原处理。并且，优选使用根据前述第2光学特性生成的近红外光用复原滤波器，对第2图像数据D2进行点像复原处理。然而，该情况下，如前述那样，需要准备与2种拍摄模式对应的复原滤波器，从而需要与拍摄模式对应的复原滤波器的切换以及复原滤波器存储部49的容量等额外资源。
因此，本实施方式中，通过复原滤波器生成部51，根据监控摄像机10的光学系统的第1光学特性和第2光学特性，生成能够适用于亮度数据Y(第1图像数据D1)和IR图像数据(第2图像数据D2)这两者的共同复原滤波器F1，并对亮度数据Y和IR图像数据分别使用共同复原滤波器F1来进行点像复原处理。
＜复原滤波器生成部的结构＞
返回图5，复原滤波器生成部51为与监控摄像机10分开设置的计算机，根据监控摄像机10的光学系统的第1光学特性和第2光学特性而生成共同复原滤波器F1。另外，也可以将前述计算机60或服务器80(参照图1)作为复原滤波器生成部51发挥作用(第2实施方式之后也相同)。
复原滤波器生成部51大致具备光学特性存储部52、加权平均处理部53、权重设定部54以及复原滤波器计算部55。
光学特性存储部52中预先存储有相当于前述第1光学特性的R用光学特性57R、G用光学特性57G及B用光学特性57B以及相当于前述第2光学特性的IR用光学特性58。R用光学特性57R为针对可见光中红色波长范围的红色光(R光)的监控摄像机10的光学系统的光学特性。G用光学特性57G为针对可见光中绿色波长范围的绿色光(G光)的监控摄像机10的光学系统的光学特性。B用光学特性57B为针对可见光中蓝色波长范围的蓝色光(B光)的监控摄像机10的光学系统的光学特性。IR用光学特性58为针对近红外光的监控摄像机10的光学系统的光学特性。
这些各光学特性57R、57G、57B、58为前述MTF或OTF(PSF)等，针对监控摄像机10的光学系统的各种类而预先测定的光学特性。另外，可经由互联网等网络线路而获取各光学特性57R、57G、57B、58，并将其存储于光学特性存储部52。
图8是用于说明由加权平均处理部53进行的加权平均处理的说明图。如图8所示，加权平均处理部53对第1光学特性(R用光学特性57R、G用光学特性57G以及B用光学特性57B)和第2光学特性(IR用光学特性58)进行加权平均来计算平均光学特性59(MTF或OTF(PSF)等)。具体而言，加权平均处理部53根据针对第1光学特性(R用光学特性57R、G用光学特性57G以及B用光学特性57B)的第1权重α、针对第2光学特性(IR用光学特性58)的第2权重(1-α)以及R像素的出现频率PR、G像素的出现频率PG及B像素的出现频率PB，将第1光学特性和第2光学特性进行加权平均。
分别规定第1权重α和第2权重(1-α)的“α”(其中，0≤α＜1)例如为在监控摄像机10中拍摄可见光图像的概率即选择第1拍摄模式的概率。该“α”也可以根据在1天中由监控摄像机10拍摄可见光图像的时间(第1拍摄模式的时间)的比例来确定。并且，“α”也可以根据重视拍摄可见光图像(第1拍摄模式的拍摄)和拍摄近红外光图像(第2拍摄模式的拍摄)中的哪种情况来任意确定。
此外，也可以将“α”调整为，主观评价由监控摄像机10拍摄的第1图像数据D1和第2图像数据D2的结果成为最佳。该情况下，接收由用户进行的对复原滤波器生成部51的操作输入部(省略图示)的“α”的输入，并由权重设定部54设定第1权重α和第2权重(1-α)，从而将这些第1权重α和第2权重(1-α)输入至加权平均处理部53。
R像素的出现频率PR、G像素的出现频率PG以及B像素的出现频率PB为满足“0≤PR＜1、0≤PG＜1、0≤PB＜1”和“PR+PG+PB＝1”的值，例如能够根据由RGB图像数据计算亮度数据Y的周知的公式(Y＝0.299R+0.587G+0.114B)来确定。该情况下，成为PR＝0.299、PG＝0.587、PB＝0.114。另外，出现频率PR、PG、PB也可以考虑被摄体的分光特性而主观地进行调整。接收由用户进行的对前述操作输入部的“PR、PG、PB”数值的输入，并由前述权重设定部54设定出现频率PR、PG、PB，从而将这些出现频率PR、PG、PB输入至加权平均处理部53。
当第1光学特性(R用光学特性57R、G用光学特性57G以及B用光学特性57B)和第2光学特性(IR用光学特性58)分别为MTF时，加权平均处理部53通过以下公式来求出以MTF所表示的平均光学特性59。在此，以下公式中，“MTFR”为R用光学特性57R，“MTFG”为G用光学特性57G，“MTFB”为B用光学特性57B，“MTFIR”为IR用光学特性58，“MTFAVE”为平均光学特性59。
[数式2]
MTFAVE(ωx，ωy)＝αPRMTFR(ωx，ωy)+αPGMTFG(ωx，ωy)+αPBMTFB(ωx，ωy)+(1-α)MTFIR(ωx，ωy)
另一方面，以PSF所表示的平均光学特性59等价于以OTF所表示的平均光学特性59。因此，加权平均处理部53通过以下公式来求出以OTF所表示的平均光学特性59。在此，以下公式中，“OTFR”为R用光学特性57R，“OTFG”为G用光学特性57G，“OTFB”为B用光学特性57B，“OTFIR”为IR用光学特性58，“OTFAVE”为平均光学特性59。
[数式3]
OTFAVE(ωx，ωy)＝αPROTFR(ωx，ωy)+αPGOTFG(ωx，ωy)+αPBOTFB(ωx，ωy)+(1-α)OTFIR(ωx，ωy)
加权平均处理部53将计算出的平均光学特性59[MTF或OTF(PSF)]输出至复原滤波器计算部55。另外，虽省略了图示，但在由点像复原处理部44进行点像复原处理之前，对第1图像数据D1的RGB图像数据进行倍率色像差校正处理时，对PSF的位置也进行相同的校正(其他实施方式也相同)。
返回图5，复原滤波器计算部55根据由加权平均处理部53输入的平均光学特性59[MTF或OTF(PSF)]，通过上述[数式1]公式计算共同复原滤波器F1。根据平均光学特性59[MTF]，计算出能够对亮度数据Y和IR图像数据进行振幅校正的共同复原滤波器F1。并且，复原滤波器计算部55根据平均光学特性59[OTF(PSF)]，计算出能够对亮度数据Y和IR图像数据进行振幅校正和相位校正这两者的共同复原滤波器F1。复原滤波器计算部55将共同复原滤波器F1经由有线或无线的网络线路或存储卡的信息记录介质而存储于复原滤波器存储部49。
＜使用了共同复原滤波器的点像复原处理＞
在第1拍摄模式时，点像复原处理部44对从转换处理部43输入的亮度数据Y，使用从复原滤波器存储部49读取的共同复原滤波器F1来进行点像复原处理(振幅校正或者振幅校正和相位校正)。由此，由点像复原处理后的复原图像数据即亮度数据Y和从转换处理部43输出的色差数据Cr、Cb构成的图像处理后的第1图像数据D1，从图像处理部35输出至前述输入输出接口32。
并且，在第2拍摄模式时，点像复原处理部44对从转换处理部43输入的IR图像数据，使用从复原滤波器存储部49读取的共同复原滤波器F1来进行点像复原处理(振幅校正或者振幅校正和相位校正)。由此，点像复原处理后的复原图像数据即IR图像数据作为图像处理后的第2图像数据D2而从图像处理部35输出至前述输入输出接口32。
[第1实施方式的监控摄像机的作用]
接着，利用图9和图10对上述结构的监控摄像机10的作用(本发明的摄像装置的图像处理方法)进行说明。在此，图9是表示由复原滤波器生成部51进行的共同复原滤波器F1的生成处理流程的流程图。并且，图10是表示监控摄像机10的摄像处理和图像处理的流程的流程图。
＜共同复原滤波器的生成处理＞
监控摄像机10的复原滤波器存储部49中预先存储有由复原滤波器生成部51生成的共同复原滤波器F1。如图9所示，复原滤波器生成部51预先测定或获取监控摄像机10的光学系统的R用光学特性57R、G用光学特性57G、B用光学特性57B以及IR用光学特性58，并将其存储于光学特性存储部52(步骤S1)。
并且，用户向复原滤波器生成部51的未图示的操作输入部输入规定第1权重和第2权重的前述“α”。接收该“α”的输入，权重设定部54设定第1权重α和第2权重(1-α)，从而将这些设定结果输入至加权平均处理部53(步骤S2)。并且，在改变R像素的出现频率PR、G像素的出现频率PG以及B像素的出现频率PB时，用户向前述操作输入部输入出现频率PR、PG、PB。这些出现频率PR、PG、PB由权重设定部54输入至加权平均处理部53。
而且，若用户通过前述操作输入部进行共同复原滤波器F1的生成开始操作，则加权平均处理部53从光学特性存储部52读取R用光学特性57R、G用光学特性57G及B用光学特性57B(第1光学特性)以及IR用光学特性58(第2光学特性)(步骤S3)。
接着，加权平均处理部53利用前述[数式2]公式或[数式3]公式来计算平均光学特性59[MTF或OTF(PSF)]。即，加权平均处理部53根据第1权重α、第2权重(1-α)以及出现频率PR、PG、PB，将第1光学特性(R用光学特性57R、G用光学特性57G以及B用光学特性57B)和第2光学特性(IR用光学特性58)进行加权平均来计算平均光学特性59(步骤S4)。该平均光学特性59从加权平均处理部53输出至复原滤波器计算部55。
复原滤波器计算部55根据从加权平均处理部53输入的平均光学特性59[MTF或OTF(PSF)]，通过上述[数式1]公式计算共同复原滤波器F1(步骤S5)。由该复原滤波器计算部55计算的共同复原滤波器F1存储于监控摄像机10的复原滤波器存储部49。通过以上，完成由复原滤波器生成部51进行的共同复原滤波器F1的生成处理。
＜监控摄像机的摄像处理和图像处理：第1拍摄模式＞
如图10所示，当根据从照度传感器27输入的被摄体的照度检测结果而判定为从“夜间”切换为“昼间”时，监控摄像机10的设备控制部34将拍摄模式切换为第1拍摄模式(步骤S10中为“是”)。同时，设备控制部34控制近红外光发光部15而使近红外光的发光关闭，并且控制滤波器驱动部24而将IR截止滤波器25插入摄像光路L(步骤S11)。
设备控制部34使成像元件26开始拍摄第1拍摄模式下的被摄体(监控区域)的可见光图像。成像元件26在IR截止滤波器25插入到摄像光路L的状态下通过透镜单元12拍摄被摄体，并将第1图像数据D1(RAW数据)输出至图像处理部35(步骤S12)。
图像处理部35的图像获取部39从成像元件26获取构成第1图像数据D1的马赛克状的RGB图像数据，并将其输出至增益校正处理部40(步骤S13，相当于本发明的图像获取步骤)。增益校正处理部40对从图像获取部39输入的马赛克状的RGB图像数据进行白平衡校正，并将校正后的RGB图像数据输出至去马赛克处理部41。
去马赛克处理部41对从增益校正处理部40输入的马赛克状的RGB图像数据进行去马赛克处理，从而生成三面RGB图像数据，并将三面RGB图像数据输出至第1灰度校正处理部42(步骤S14)。该三面RGB图像数据通过第1灰度校正处理部42进行灰度校正处理，校正后的RGB图像数据输出至转换处理部43。
转换处理部43将从第1灰度校正处理部42输入的三面RGB图像数据利用规定的转换式而转换为亮度数据Y和色差数据Cr、Cb，并将亮度数据Y输出至点像复原处理部44(步骤S15)。
点像复原处理部44对从转换处理部43输入的亮度数据Y，使用从复原滤波器存储部49读取的共同复原滤波器F1来进行点像复原处理(步骤S16、S17，相当于本发明的点像复原处理步骤)。当使用了根据平均光学特性59[MTF]生成的共同复原滤波器F1时，对亮度数据Y进行振幅校正，当使用了根据平均光学特性59[OTF(PSF)]生成的共同复原滤波器F1时，对亮度数据Y进行振幅校正和相位校正。
由点像复原处理部44进行点像复原处理之后，由点像复原处理后的亮度数据Y和从转换处理部43输出的色差数据Cr、Cb构成的图像处理后的第1图像数据D1，从图像处理部35输出至输入输出接口32(步骤S18)。
以下，在拍摄模式从第1拍摄模式切换为第2拍摄模式之前的期间，重复执行前述步骤S12至步骤S18的处理(步骤S19中为“否”)。而且，如后述，若拍摄模式从第1拍摄模式切换为第2拍摄模式，则第1拍摄模式下的摄像处理和图像处理结束(步骤S19中为“是”)。
＜监控摄像机的摄像处理和图像处理：第2拍摄模式＞
当根据从照度传感器27输入的被摄体的照度检测结果而判定为从“昼间”切换为“夜间”时，设备控制部34将拍摄模式从第1拍摄模式切换为第2拍摄模式(步骤S10中为“否”或者步骤S19中为“是”)。同时，设备控制部34控制近红外光发光部15而使近红外光的发光开启，并且控制滤波器驱动部24而使IR截止滤波器25避开摄像光路L(步骤S21)。
接着，设备控制部34使成像元件26开始拍摄第2拍摄模式下的被摄体(监控区域)的近红外光图像。成像元件26在IR截止滤波器25避开摄像光路L的状态下通过透镜单元12拍摄被摄体，并将第2图像数据D2(RAW数据)输出至图像处理部35(步骤S22)。
图像获取部39从成像元件26获取一面IR图像数据[IR(Rm)、IR(Gm)、IR(Bm)图像数据]作为第2图像数据D2，并将所述IR图像数据输出至增益校正处理部40(步骤S23，相当于本发明的图像获取步骤)。增益校正处理部40对从图像获取部39输入的IR图像数据进行灵敏度差校正，并将校正后的IR图像数据输出至第2灰度校正处理部46。而且，第2图像数据D2通过第2灰度校正处理部46进行灰度校正处理，校正后的IR图像数据输出至点像复原处理部44。
点像复原处理部44对从第2灰度校正处理部46输入的IR图像数据，使用从复原滤波器存储部49读取的共同复原滤波器F1来进行点像复原处理(步骤S24、S25，相当于本发明的点像复原处理步骤)。当使用了根据平均光学特性59[MTF]生成的共同复原滤波器F1时，对IR图像数据进行振幅校正，当使用了根据平均光学特性59[OTF(PSF)]生成的共同复原滤波器F1时，对IR图像数据进行振幅校正和相位校正。
由点像复原处理部44进行的点像复原处理后的IR图像数据作为图像处理后的第2图像数据D2而从图像处理部35输出至前述输入输出接口32(步骤S26)。
以下，在拍摄模式从第2拍摄模式切换为第1拍摄模式之前的期间，重复执行前述步骤S22至步骤S26的处理(步骤S27中为“否”)。而且，若拍摄模式从第2拍摄模式切换为第1拍摄模式，则第2拍摄模式下的摄像处理和图像处理结束(步骤S27中为“是”)。
以下，以相同方式，根据“昼间”和“夜间”的切换来交替地重复执行前述第1拍摄模式下的摄像处理和图像处理与前述第2拍摄模式下的摄像处理和图像处理。
[第1实施方式的效果]
如上，第1实施方式的监控摄像机10中，能够对由昼间的第1拍摄模式获取的第1图像数据D1(亮度数据Y)和由夜间的第2拍摄模式获取的第2图像数据D2(IR图像数据)，使用1种共同复原滤波器F1来进行点像复原处理。其结果，无需切换针对各拍摄模式而准备的复原滤波器以及确保存储这些复原滤波器的存储器容量等，从而能够减少点像复原处理中所需的资源。
并且，本实施方式的点像复原处理部44对亮度系统图像数据(亮度数据Y和IR图像数据)进行点像复原处理，因此与对RGB各颜色的图像数据使用不同的复原滤波器来进行点像复原处理时相比，能够降低运算处理的负荷，即能够减少点像复原处理中所需的资源。
[第1实施方式的变形例]
上述第1实施方式中，对图像数据中视觉效果增大的亮度成分即亮度系统图像数据(亮度数据Y和IR图像数据)，使用共同复原滤波器F1来进行了点像复原处理，所述共同复原滤波器根据通过昼间(第1拍摄模式)和夜间(第2拍摄模式)进行了加权平均而得的平均良好的平均光学特性59而生成。因此，并非对亮度系统图像数据进行始终最佳的点像复原处理，当平均光学特性59与监控摄像机10的光学系统的实际的光学特性背离时，会产生过校正和画质劣化。因此，下述变形例中，抑制因平均光学特性59与实际的光学特性背离而导致的过校正和画质劣化。
＜第1实施方式的变形例1＞
变形例1中，根据第1光学特性即R用光学特性57R、G用光学特性57G及B用光学特性57B(MTF)以及第2光学特性即IR用光学特性58(MTF)，生成用于防止对与点像复原处理后的亮度系统图像数据(亮度数据Y和IR图像数据)对应的复原图像数据的MTF值进行过校正的共同复原滤波器F1。在此，防止对复原图像数据的MTF值进行过校正是指，将复原图像数据的MTF值抑制为1.0以下。
具体而言，从上述[数式2]公式所示的MTFR(ωx,ωy)、MTFG(ωx,ωy)、MTFB(ωx,ωy)以及MTFIR(ωx,ωy)中选择“最大的MTF(ωx,ωy)”。而且，将上述[数式2]公式中的MTFR(ωx,ωy)、MTFG(ωx,ωy)、MTFB(ωx,ωy)以及MTFIR(ωx,ωy)分别替换为“最大的MTF(ωx,ωy)”而计算MTFAVE(ωx,ωy)，并根据该MTFAVE(ωx,ωy)生成共同复原滤波器F1。另外，关于变形例1的复原滤波器F1的具体计算方法是公知(国际公开第2014/136321号：WO2014/136321 A1)的，因此，在此省略详细的说明。
通过使用这种变形例1的共同复原滤波器F1来进行点像复原处理，能够抑制对点像复原处理后的复原图像数据(亮度数据Y和IR图像数据)的MTF值进行过校正。其结果，会抑制因平均光学特性59与实际的光学特性的背离而导致的过校正。
＜第1实施方式的变形例2＞
变形例2中，根据第1光学特性即R用光学特性57R、G用光学特性57G及B用光学特性57B(OTF)以及第2光学特性即IR用光学特性58(OTF)，生成用于防止对与点像复原处理后的亮度系统图像数据(亮度数据Y、IR图像数据)对应的复原图像数据的相位进行过校正的共同复原滤波器F1。
具体而言，从多个颜色[R、G、B、IR]中的按各颜色区分的相位偏离量中选择绝对值最小的单色的相位偏离量，所述多个颜色[R、G、B、IR]由上述[数式3]公式中的OTFR(ωx,ωy)、OTFG(ωx,ωy)、OTFB(ωx,ωy)以及OTFIR(ωx,ωy)表示。而且，生成以与所选择的单色的相位偏离量对应的相位校正量对亮度系统图像数据的相位偏离进行校正的共同复原滤波器F1。另外，关于变形例2的共同复原滤波器F1的具体计算方法是公知(国际公开第2014/136322号：WO2014/136322A1)的，因此，在此省略详细的说明。
通过使用这种变形例2的共同复原滤波器F1来进行点像复原处理，能够抑制由相位校正产生的相位偏离的校正量，以免针对亮度系统图像数据的相位校正在与相位校正后的亮度系统图像数据对应的各颜色(R、G、B、IR)的复原图像数据中成为过校正。
＜第1实施方式的变形例3＞
变形例3中，根据第1光学特性即R用光学特性57R、G用光学特性57G及B用光学特性57B(OTF)以及第2光学特性即IR用光学特性58(OTF)，生成减少了由光学传递函数(OTF)的各颜色(R、G、B、IR的每一个)的偏差导致的过校正且韧性高的共同复原滤波器F1。
具体而言，生成变形例3的共同复原滤波器F1时，利用国际公开第2014/148074号(WO2014/148074A1)中所公开的复原滤波器的生成方法，首先，求出除RGB以外还扩张到IR(红外波长成分)的OTF(还称为复OTF)的联合概率分布。将空间频率ωx、ωy下的R、G、B、IR各自波长的复传递函数设为hR、hG、hB、hIR时，R、G、B、IR的联合概率分布能够通过下式求出。
[数式4]
P(hR，hG，hB，hIR|ωx，ωy)＝PRGB(hR，hG，hB|ωx，ωy)PIR(hIR|ωx，ωy)
其中，联合概率分布PRGB(hR,hG,hB|ωx,ωy)针对各空间频率(ωx,ωy)示出按RGB各颜色区分的OTF的概率变量成为hR、hG以及hB值的概率。并且，联合概率分布PIR(hIR|ωx,ωy)针对各空间频率(ωx,ωy)示出IR的OTF的概率变量成为hIR这样的值的概率。
接着，根据以上述[数式4]公式所表示的R、G、B、IR的联合概率分布，如下式所示，针对各空间频率(ωx,ωy)计算特定表色系中的OTF的母体中OTF的平均值μ和方差σ2。
[数式5]
[数式6]
其中，上述[数式5]公式和[数式6]公式中的“M”是从下式中所定义的RGB向YCbCr的变换矩阵。
[数式7]
根据以上述[数式5]公式和[数式6]公式所表示的OTF的平均值μ和方差σ2，能够通过下式计算共同复原滤波器F1的频率特性d(ωx,ωy)。另外，下式是考虑因OTF偏差和亮度系统校正导致的过校正，从而导入还适用到基于颜色的OTF偏差的Wiener滤波器推导用误差基准而得的公式，而非直接利用如上述[数式1]公式那样的公知的Wiener滤波器的推导式的公式。
[数式8]
上述[数式8]公式中，μ*(ωx,ωy)表示μ(ωx,ωy)的复共轭。并且，SY(ωx,ωy)和NY(ωx,ωy)分别为亮度系统图像数据(亮度数据Y、IR图像数据)的信号功率和噪声功率。另外，关于共同复原滤波器F1的详细的生成方法，请参照上述文献(国际公开第2014/148074号)。
通过使用这种变形例3的共同复原滤波器F1来进行点像复原处理，能够减少由OTF的各颜色(R、G、B、IR)的偏差导致的过校正，从而抑制复原图像数据的画质劣化。
[第2实施方式的监控摄像机]
接着，对本发明的第2实施方式的监控摄像机进行说明。上述第1实施方式的监控摄像机10利用单板式成像元件26拍摄被摄体。相对于此，第2实施方式的监控摄像机使用如图11所示的3板式(还称为3板方式)成像元件26R、26G以及26B来拍摄被摄体。在此，图11是表示3板式成像元件26R、26G以及26B的一例的概略图。
3板式中，在第1拍摄模式时，使用由分色镜和棱镜构成的色分离光学系统68，将可见光分别分离为R光、G光以及B光，并利用成像元件26R、26G、26B分别拍摄R光、G光以及B光。由此，获得由三面RGB图像数据构成的第1图像数据D1。
并且，色分离光学系统68中，波长比R光长的光入射于成像元件26R。因此，在第2拍摄模式时，由成像元件26R拍摄近红外光。由此，从成像元件26R获得一面IR(R)图像数据而作为第2图像数据D2。
图12是第2实施方式的监控摄像机10A的图像处理部35A的功能框。另外，除了不作为第1实施方式的去马赛克处理部41发挥作用的方面以外，图像处理部35A的结构与第1实施方式的图像处理部35基本相同。因此，对与上述第1实施方式在功能、结构上相同的部分标注相同符号，并省略其说明。
如图12所示，在第1拍摄模式时，除了图像获取部39从成像元件26R、26G、26B分别获取构成第1图像数据D1的三面RGB图像数据(图中表示为“R”、“G”、“B”)的方面以及增益校正处理部40对三面RGB图像数据进行白平衡校正的方面以外，图像处理部35A进行与第1实施方式的图像处理部35相同的图像处理。即，在第2实施方式中，也在第1拍摄模式时，对根据三面RGB图像数据生成的亮度数据Y进行由点像复原处理部44进行的点像复原处理。
另一方面，在第2拍摄模式时，除了对与第1实施方式的一面IR图像数据实质上相同的一面IR(R)图像数据进行由点像复原处理部44进行的点像复原处理的方面以外，图像处理部35A进行与第1实施方式的图像处理部35相同的图像处理。在此，通过第2实施方式获得的亮度数据Y和IR(R)图像数据的像素间距与第1实施方式的亮度数据Y和IR图像数据的像素间距相同。因此，第2实施方式的点像复原处理部44能够使用与第1实施方式相同的共同复原滤波器F1。
在第1拍摄模式时，第2实施方式的点像复原处理部44对根据三面RGB图像数据生成的亮度数据Y，使用共同复原滤波器F1来进行点像复原处理。并且，在第2拍摄模式时，点像复原处理部44对IR(R)图像数据使用共同复原滤波器F1来进行点像复原处理。后续的处理与上述第1实施方式相同，因此省略说明。
另外，除了获取三面RGB图像数据以及一面IR(R)图像数据来进行图像处理的方面(不进行去马赛克处理的方面等)以外，第2实施方式的监控摄像机10A的作用与图9和图10所示的上述第1实施方式基本相同，因此，在此省略说明。
[第2实施方式的效果]
如此，在使用了3板式成像元件26R、26G、26B的第2实施方式的监控摄像机10A中，也能够对通过第1拍摄模式获得的第1图像数据(亮度数据Y)和通过第2拍摄模式获得的第2图像数据D2(IR(R)图像数据)，使用1种共同复原滤波器F1来进行点像复原处理。其结果，获得与上述第1实施方式相同的效果。
[第3实施方式的监控摄像机]
接着，对本发明的第3实施方式的监控摄像机进行说明。上述第1实施方式的监控摄像机10通过点像复原处理部44对亮度系统图像数据(亮度数据Y、IR图像数据)进行点像复原处理。相对于此，第3实施方式的监控摄像机中，对利用成像元件26的RGB像素而分别获得的图像数据，使用针对RGB各颜色而不同的共同复原滤波器来进行点像复原处理。
图13是第3实施方式的监控摄像机10B的图像处理部35B的功能框图。另外，除了图像处理部35B以外，监控摄像机10B的结构与第1实施方式的监控摄像机10基本相同，对与上述各实施方式在功能、结构上相同的部分标注相同符号，并省略其说明。
如图13所示，通过执行从前述存储部36读取的图像处理用程序37B(参照图4)，在第1拍摄模式时，图像处理部35B除了作为前述图像获取部39、增益校正处理部40以及第1灰度校正处理部42发挥作用以外，还作为点像复原处理部93、去马赛克处理部94以及转换处理部95发挥作用。并且，在第2拍摄模式时，图像处理部35B除了作为前述图像获取部39、增益校正处理部40以及第2灰度校正处理部46发挥作用以外，还作为点像复原处理部93发挥作用。
在第1拍摄模式时，图像获取部39从成像元件26获取构成第1图像数据D1的马赛克状的RGB图像数据(图中表示为“Rm”、“Gm”、“Bm”)，并将其输出至增益校正处理部40。并且，在第2拍摄模式时，图像获取部39从成像元件26获取构成第2图像数据D2的马赛克状的IR(Rm)、IR(Gm)、IR(Bm)图像数据(图中表示为“IR(Rm)”、“IR(Gm)”、“IR(Bm)”)，并将其输出至增益校正处理部40。
在第1拍摄模式时，增益校正处理部40对从图像获取部39输入的马赛克状的RGB图像数据进行白平衡校正，并将校正后的第1图像数据D1输出至第1灰度校正处理部42。并且，在第2拍摄模式时，增益校正处理部40对从图像获取部39输入的马赛克状的IR(Rm)、IR(Gm)、IR(Bm)图像数据进行灵敏度差校正，并将其输出至第2灰度校正处理部46。
在第1拍摄模式时，第3实施方式的第1灰度校正处理部42对从增益校正处理部40输入的马赛克状的RGB图像数据进行灰度校正处理，并将校正后的各图像数据输出至点像复原处理部93。并且，在第2拍摄模式时，第2灰度校正处理部46对从增益校正处理部40输入的马赛克状的IR(Rm)、IR(Gm)、IR(Bm)图像数据进行灰度校正处理，并将校正后的各图像数据输出至点像复原处理部93。
在第1拍摄模式时，点像复原处理部93对从第1灰度校正处理部42输入的马赛克状的RGB图像数据，使用存储在复原滤波器存储部49的3种共同复原滤波器并针对RGB各颜色来进行点像复原处理。并且，在第2拍摄模式时，点像复原处理部93对从第2灰度校正处理部46输入的马赛克状的IR(Rm)、IR(Gm)、IR(Bm)图像数据，使用前述3种共同复原滤波器并针对RGB各颜色来进行点像复原处理。
如此，第3实施方式中，对从成像元件26的同色像素输出的去马赛克处理前的马赛克状的图像数据进行点像复原处理。因此，与如第1实施方式那样对一面图像数据(亮度数据Y和IR图像数据)进行点像复原处理时相比，第3实施方式中很难设计复原滤波器。因此，优选成像元件26的RGB像素排列(即，滤色器排列)为前述图3(A)所示的拜耳排列等简单的排列。
3种共同复原滤波器为R用共同复原滤波器F2R、G用共同复原滤波器F2G以及B用共同复原滤波器F2B。R用共同复原滤波器F2R共同使用于对第1拍摄模式下的马赛克状的R图像数据和第2拍摄模式下的马赛克状的IR(Rm)图像数据进行的点像复原处理。G用共同复原滤波器F2G共同使用于对第1拍摄模式下的马赛克状的G图像数据和第2拍摄模式下的马赛克状的IR(Gm)图像数据进行的点像复原处理。B用共同复原滤波器F2B共同使用于对第1拍摄模式下的马赛克状的B图像数据和第2拍摄模式下的马赛克状的IR(Bm)图像数据进行的点像复原处理。
这种R用共同复原滤波器F2R、G用共同复原滤波器F2G以及B用共同复原滤波器F2B由与第1实施方式的复原滤波器生成部51不同的复原滤波器生成部96生成。
＜复原滤波器生成部的结构＞
复原滤波器生成部96除了具备前述光学特性存储部52以及权重设定部54以外，还大致具备加权平均处理部97以及复原滤波器计算部98。
第3实施方式的光学特性存储部52中按RGB像素的各颜色像素区分而存储有前述R用各光学特性57R、G用各光学特性57G以及B用各光学特性57B，除此以外，还存储有相当于本发明的第2光学特性的IR(R)用光学特性58R、IR(G)用光学特性58G以及IR(B)用光学特性58B。IR(R)用光学特性58R为针对成像元件26的R像素具有灵敏度的波长范围的近红外光(参照图3(B))的光学系统的光学特性。IR(G)用光学特性58G为针对成像元件26的G像素具有灵敏度的波长范围的近红外光(参照图3(B))的光学系统的光学特性。IR(B)用光学特性58B为针对成像元件26的B像素具有灵敏度的波长范围的近红外光(参照图3(B))的光学系统的光学特性。
各光学特性58R、58G以及58B为前述MTF或OTF(PSF)等，针对监控摄像机10B的光学系统的各个种类而预先测定的光学特性。另外，可经由互联网等网络线路而获取各光学特性58R、58G以及58B，并将其存储于光学特性存储部52。
图14是用于说明由第3实施方式的加权平均处理部97进行的加权平均处理的说明图。如图14所示，加权平均处理部97针对RGB各颜色来对第1光学特性(各光学特性57R、57G、57B)和第2光学特性(各光学特性58R、58G、58B)进行加权平均，从而计算RGB各颜色的平均光学特性。这些RGB各颜色的平均光学特性为R用平均光学特性59R、G用平均光学特性59G以及B用平均光学特性59B。
具体而言，加权平均处理部97根据由前述权重设定部54设定的第1权重α和第2权重(1-α)以及灵敏度特性βR、βG、βB，针对RGB各颜色来对第1光学特性和第2光学特性进行加权平均，所述灵敏度特性βR、βG、βB表示成像元件26的RGB像素各自对可见光和近红外光的波长的灵敏度。
其中，灵敏度特性βR表示R像素对可见光的输入灵敏度大小相对于R像素对所有波长范围的光(可见光和红外光)的总输入灵敏度大小(参照图3(B))。并且，灵敏度特性βG表示G像素对可见光的输入灵敏度大小相对于G像素对所有波长范围的光(可见光和红外光)的总输入灵敏度大小(参照图3(B))。并且，灵敏度特性βB表示B像素对可见光的输入灵敏度大小相对于B像素对所有波长范围的光(可见光和红外光)的总输入灵敏度大小(参照图3(B))。另外，虽然这些灵敏度特性βR、βG、βB预先存储在加权平均处理部97，但能够通过前述权重设定部54来改变各自的数值。
当第1光学特性(各光学特性57R、57G以及57B)和第2光学特性(各光学特性58R、58G以及58B)分别为MTF时，加权平均处理部97通过以下公式来计算以MTF所表示的R用平均光学特性59R、G用平均光学特性59G以及B用平均光学特性59B。
[数式9]
上述[数式9]公式中，“MTFR (IR)”为IR(R)用光学特性58R，“MTFG (IR)”为IR(G)用光学特性58G，“MTFB (IR)”为IR(B)用光学特性58B。并且，“MTFR+IR”为R用平均光学特性59R，“MTFG+IR(ωx,ωy)”为G用平均光学特性59G，“MTFB+IR”为B用平均光学特性59B。
另一方面，以OTF(PSF)所表示的各平均光学特性59R、59G以及59B等价于以MTF所表示的各平均光学特性59R、59G以及59B。因此，加权平均处理部97通过将上述[数式9]公式的“MTF”替换为“OTF”而得的公式(省略记载)来计算以OTF所表示的各平均光学特性59R、59G以及59B。
加权平均处理部97将计算出的各平均光学特性59R、59G以及59B[MTF或OTF(PSF)]输出至复原滤波器计算部98。
返回图13，复原滤波器计算部98根据从加权平均处理部97输入的各平均光学特性59R、59G、59B[MTF或OTF(PSF)]，通过上述[数式1]公式来分别计算RGB各颜色的R用共同复原滤波器F2R、G用共同复原滤波器F2G以及B用共同复原滤波器F2B。而且，复原滤波器计算部98将各共同复原滤波器F2R、F2G以及F2B经由有线或无线的网络线路或存储卡的信息记录介质而存储于复原滤波器存储部49。
＜关于使用了共同复原滤波器的点像复原处理＞
在第1拍摄模式时，点像复原处理部93对从第1灰度校正处理部42输入的马赛克状的RGB图像数据，使用从复原滤波器存储部49读取的各共同复原滤波器F2R、F2G以及F2B并针对RGB各颜色来进行点像复原处理(振幅校正和相位校正)。而且，点像复原处理部93将点像复原处理后的马赛克状的RGB图像数据输出至去马赛克处理部94。
并且，在第2拍摄模式时，点像复原处理部93对从第2灰度校正处理部46输入的马赛克状的IR(Rm)、IR(Gm)以及IR(Bm)图像数据，使用从复原滤波器存储部49读取的各共同复原滤波器F2R、F2G以及F2B并针对RGB各颜色来进行点像复原处理(振幅校正和相位校正)。点像复原处理后的马赛克状的IR(Rm)、IR(Gm)以及IR(Bm)图像数据作为图像处理后的第2图像数据D2而从图像处理部35B输出至输入输出接口32。
＜图像处理部的其他结构＞
在第1拍摄模式时，去马赛克处理部94对从点像复原处理部93输入的马赛克状的RGB图像数据进行去马赛克处理，从而生成三面RGB图像数据(图中，由“R”、“G”以及“B”表示)。而且，去马赛克处理部94将去马赛克处理后的三面RGB图像数据输出至转换处理部95。
在第1拍摄模式时，转换处理部95将从去马赛克处理部94输入的三面RGB图像数据转换为表示亮度成分的亮度数据Y和色差数据Cr、Cb。由此，由亮度数据Y和色差数据Cr、Cb构成的第1图像数据D1从图像处理部35B输出至输入输出接口32。
[第3实施方式的监控摄像机的作用]
接着，利用图15和图16，对上述结构的监控摄像机10B的作用(本发明的摄像装置的图像处理方法)进行说明。在此，图15是表示由复原滤波器生成部96进行的各共同复原滤波器F2R、F2G以及F2B的生成处理流程的流程图。并且，图16是表示监控摄像机10B的摄像处理和图像处理的流程的流程图。
＜共同复原滤波器的生成处理＞
监控摄像机10B的复原滤波器存储部49中预先存储有由复原滤波器生成部96生成的各共同复原滤波器F2R、F2G以及F2B。如图15所示，复原滤波器生成部96预先测定或获取各光学特性57R、57G、57B以及各光学特性58R、58G、58B，并将其存储于光学特性存储部52(步骤S31)。
并且，与前述第1实施方式相同地，由权重设定部54设定第1权重α和第2权重(1-α)，并将这些第1权重α和第2权重(1-α)输入至加权平均处理部97(步骤S32)。另外，加权平均处理部97中存储有预先测定或获取的前述灵敏度特性βR、βG、βB。
而且，若用户通过前述操作输入部进行各共同复原滤波器F2R、F2G以及F2B的生成开始操作，则加权平均处理部97从光学特性存储部52读取各光学特性57R、57G、57B(第1光学特性)以及各光学特性58R、58G、58B(第2光学特性)(步骤S33)。
接着，加权平均处理部97利用将前述[数式9]公式或该[数式9]公式的“MTF”替换为“OTF”而得的数式，分别计算RGB各颜色的各平均光学特性59R、59G、59B[MTF或OTF(PSF)]。即，加权平均处理部97根据第1权重α、第2权重(1-α)以及灵敏度特性βR、βG、βB，针对RGB各颜色来对第1光学特性(各光学特性57R、57G、57B)和第2光学特性(各光学特性57R、57G、57B)进行加权平均，从而分别计算各平均光学特性59R、59G、59B(步骤S34)。这些RGB各颜色的各平均光学特性59R、59G、59B从加权平均处理部97输出至复原滤波器计算部98。
复原滤波器计算部98根据从加权平均处理部97输入的各平均光学特性59R、59G、59B[MTF或OTF(PSF)]，通过上述[数式1]公式来分别计算RGB各颜色的各共同复原滤波器F2R、F2G、F2B(步骤S35)。通过该复原滤波器计算部98计算的各共同复原滤波器F2R、F2G、F2B存储于监控摄像机10B的复原滤波器存储部49。通过以上，完成由复原滤波器生成部96进行的各共同复原滤波器F2R、F2G、F2B的生成处理。
＜第3实施方式的监控摄像机的摄像处理和图像处理：第1拍摄模式＞
如图16所示，第1拍摄模式的监控摄像机10B的步骤S40至步骤S43的处理与前述图10所示的第1实施方式的步骤S10至步骤S13的处理基本相同，因此，在此省略说明。
若完成至步骤S43的处理，则图像处理部35B的图像获取部39从成像元件26获取构成第1图像数据D1的马赛克状的RGB图像数据(Rm、Gm、Bm)，并将其输出至增益校正处理部40(相当于本发明的图像获取步骤)。这些RGB图像数据经由增益校正处理部40中的白平衡校正和第1灰度校正处理部42中的灰度校正而输入至点像复原处理部93。
点像复原处理部93对从第1灰度校正处理部42输入的马赛克状的RGB图像数据，使用从复原滤波器存储部49读取的各共同复原滤波器F2R、F2G、F2B并针对RGB各颜色来进行点像复原处理(步骤S44、S45，相当于本发明的点像复原处理步骤)。当使用了根据各平均光学特性59R、59G、59B[MTF]生成的各共同复原滤波器F2R、F2G、F2B时，对RGB图像数据进行振幅校正。并且，当使用了根据各平均光学特性59R、59G、59B[OTF(PSF)]生成的各共同复原滤波器F2R、F2G、F2B时，对RGB图像数据进行振幅校正和相位校正。点像复原处理后的马赛克状的RGB图像数据从点像复原处理部93输出至去马赛克处理部94。
去马赛克处理部94对从点像复原处理部93输入的马赛克状的RGB图像数据进行去马赛克处理，从而生成三面RGB图像数据(步骤S46)。去马赛克处理后的三面RGB图像数据从去马赛克处理部94输出至转换处理部95。
转换处理部95将从去马赛克处理部94输入的三面RGB图像数据转换为亮度数据Y和色差数据Cr、Cb(步骤S47)。
在由转换处理部95进行的转换处理之后，由亮度数据Y和色差数据Cr、Cb构成的图像处理后的第1图像数据D1从图像处理部35B输出至输入输出接口32(步骤S48)。
以下，在拍摄模式从第1拍摄模式切换为第2拍摄模式之前的期间，重复执行前述步骤S42至步骤S48的处理(步骤S49中为“否”)。而且，如后述，若拍摄模式从第1拍摄模式切换为第2拍摄模式，则第1拍摄模式下的摄像处理和图像处理结束(步骤S49中为“是”)。
＜第3实施方式的监控摄像机的摄像处理和图像处理：第2拍摄模式＞
第2拍摄模式的监控摄像机10B的步骤S51至步骤S53的处理与前述图10所示的第1实施方式的步骤S21至步骤S23的处理基本相同，因此，在此省略说明。
若完成至步骤S53的处理，则图像获取部39从成像元件26获取构成第2图像数据D2的马赛克状的IR(Rm)、IR(Gm)及IR(Bm)图像数据，并将其输出至增益校正处理部40(相当于本发明的图像获取步骤)。这些IR(Rm)、IR(Gm)以及IR(Bm)图像数据经由第2灰度校正处理部46中的灰度校正而输出至点像复原处理部93。
点像复原处理部93对从第2灰度校正处理部46输入的马赛克状的IR(Rm)、IR(Gm)以及IR(Bm)图像数据，使用从复原滤波器存储部49读取的各共同复原滤波器F2R、F2G以及F2B并针对RGB各颜色来进行点像复原处理(步骤S54、S55，相当于本发明的点像复原处理步骤)。当使用了根据各平均光学特性59R、59G以及59B[MTF]生成的各共同复原滤波器F2R、F2G以及F2B时，对IR(Rm)、IR(Gm)以及IR(Bm)图像数据进行振幅校正。并且，当使用了根据各平均光学特性59R、59G、59B[OTF(PSF)]生成的各共同复原滤波器F2R、F2G以及F2B时，对IR(Rm)、IR(Gm)以及IR(Bm)图像数据进行振幅校正和相位校正。
点像复原处理后的IR(Rm)、IR(Gm)以及IR(Bm)图像数据作为图像处理后的第2图像数据D2而从图像处理部35B输出至输入输出接口32(步骤S56)。
以下，在拍摄模式从第2拍摄模式切换为第1拍摄模式之前的期间，重复执行前述步骤S52至步骤S56的处理(步骤S57中为“否”)。而且，若拍摄模式从第2拍摄模式切换为第1拍摄模式，则第2拍摄模式下的摄像处理和图像处理结束(步骤S57中为“是”)。
以下，以相同方式，根据“昼间”和“夜间”的切换来交替地重复执行前述第1拍摄模式下的摄像处理和图像处理与前述第2拍摄模式下的摄像处理和图像处理。
[第3实施方式的效果]
如上，第3实施方式的监控摄像机10B中，能够对通过第1拍摄模式获取的第1图像数据D1(马赛克状的RGB图像数据)和通过第2拍摄模式获取的第2图像数据D2(马赛克状的IR(Rm)、IR(Gm)以及IR(Bm)图像数据)，针对RGB各颜色而分别使用各共同复原滤波器F2R、F2G以及F2B来进行点像复原处理。其结果，无需切换针对各拍摄模式而准备的复原滤波器以及确保存储这些复原滤波器的存储器容量等。由此，能够减少点像复原处理中所需的资源。
并且，第3实施方式的监控摄像机10B中，对RGB各颜色的图像数据使用不同的各共同复原滤波器F2R、F2G以及F2B来进行点像复原处理，因此与对亮度系统图像数据进行点像复原处理的第1实施方式相比，能够减少复原图像数据的画质劣化。
[第3实施方式的变形例]
上述第3实施方式中，也如上述第1实施方式的变形例中进行的说明那样，当各平均光学特性59R、59G、59B与监控摄像机10B的光学系统的实际的光学特性背离时，会产生过校正和画质劣化。因此，也可以防止如上述第1实施方式的变形例1中进行的说明那样的对复原图像数据的MTF值进行的过校正以及防止如上述第1实施方式的变形例2中进行的说明那样的对复原图像数据的相位进行的过校正。
并且，也可以生成如上述第1实施方式的变形例3中说明的那样的减少了由光学传递函数(OTF)的各颜色的偏差导致的过校正且韧性高的各共同复原滤波器F2R、F2G、F2B。该情况下，用下式来代替上述[数式5]公式和[数式6]公式，并针对各空间频率(ωx,ωy)来计算OTF的平均值μ和方差σ2。
[数式10]
[数式11]
其中，上述[数式10]公式和[数式11]公式中，X＝{R、G、B}。能够根据以上述[数式10]公式和[数式11]公式所表示的OTF的平均值μ和方差σ2，通过上述[数式8]公式来计算各共同复原滤波器F2R、F2G、F2B的频率特性d(ωx,ωy)。
[第4实施方式的监控摄像机]
接着，对本发明的第4实施方式的监控摄像机进行说明。上述第3实施方式的监控摄像机10B利用单板式成像元件26拍摄被摄体，但第4实施方式的监控摄像机利用前述图11所示的3板式成像元件26R、26G、26B来拍摄被摄体。
图17是第4实施方式的监控摄像机10C的图像处理部35C的功能框图。另外，除图像处理部35C以外，监控摄像机10C的结构与第3实施方式的监控摄像机10B(参照图13)基本相同，对在功能、结构上与上述各实施方式相同的部分标注相同符号，并省略其说明。
如图17所示，除了通过执行从前述存储部36读取的图像处理用程序37B(参照图4)而作为增益校正处理部40A发挥作用来代替第3实施方式的增益校正处理部40，作为点像复原处理部93A发挥作用来代替第3实施方式的点像复原处理部93，并且不作为去马赛克处理部94发挥作用的方面以外，图像处理部35C的结构与第3实施方式的图像处理部35B(参照图13)基本相同。
在第1拍摄模式时，第4实施方式的图像获取部39从成像元件26R、26G、26B获取构成第1图像数据D1的三面RGB图像数据(图中表示为“R”、“G”以及“B”)。并且，在第2拍摄模式时，图像获取部39从仅由R像素构成的成像元件26R获取一面IR(R)图像数据(图中表示为“IR(R)”)作为第2图像数据D2。
在第1拍摄模式时，增益校正处理部40A对图像获取部39从成像元件26R、26G、26B获取的三面RGB图像数据进行白平衡校正。并且，在第2拍摄模式时，增益校正处理部40A将图像获取部39从成像元件26R获取的一面IR(R)图像数据直接输出至第2灰度校正处理部46。
在第1拍摄模式时，第1灰度校正处理部42对三面RGB图像数据进行灰度校正之后，将其输出至点像复原处理部93A。另一方面，在第2拍摄模式时，第2灰度校正处理部46对一面IR(R)图像数据进行灰度校正之后，将其输出至点像复原处理部93A。
从对利用RGB像素而分别获得的图像数据，针对RGB各颜色而使用不同的复原滤波器来进行点像复原处理的方面来看，点像复原处理部93A与第3实施方式的点像复原处理部93基本相同。在此，点像复原处理部93A对在第1拍摄模式下利用成像元件26R获得的一面R图像数据和在第2拍摄模式下利用成像元件26R获得的一面IR(R)图像数据，使用R用共同复原滤波器F3R来进行点像复原处理。另一方面，点像复原处理部93A对在第1拍摄模式时利用成像元件26G获得的一面G图像数据和利用成像元件26B获得的一面B图像数据，分别使用不同的G用复原滤波器F(G)和B用复原滤波器F(B)来进行点像复原处理。
这种R用共同复原滤波器F3R、G用复原滤波器F(G)以及B用复原滤波器F(B)由与第3实施方式的复原滤波器生成部96不同的复原滤波器生成部96A生成。
＜复原滤波器生成部的结构＞
复原滤波器生成部96A除了具备前述光学特性存储部52以及权重设定部54以外，还大致具备加权平均处理部97A以及复原滤波器计算部98A。
第4实施方式的光学特性存储部52中，除了存储有前述R用光学特性57R、G用光学特性57G以及B用光学特性57B以外，还存储有前述IR(R)用光学特性58R。第4实施方式中的IR(R)用光学特性58R为针对成像元件26R的R像素具有灵敏度的波长范围的近红外光(参照图3(B))的光学系统的光学特性[MTF或OTF(PSF)]。
与上述第3实施方式相同地，加权平均处理部97A根据由权重设定部54设定的第1权重α和第2权重(1-α)以及灵敏度特性βR，对R用光学特性57R和IR(R)用光学特性58R进行加权平均来计算R用平均光学特性59R。而且，加权平均处理部97A将计算出的R用平均光学特性59R[MTF或OTF(PSF)]输出至复原滤波器计算部98A。
复原滤波器计算部98A根据从加权平均处理部97A输入的R用平均光学特性59R，通过上述[数式1]公式来生成R用共同复原滤波器F3R。该R用共同复原滤波器F3R与对应于马赛克状的图像数据的第3实施方式的R用共同复原滤波器F2R不同，是与一面图像数据对应的复原滤波器。
并且，复原滤波器计算部98A根据从光学特性存储部52读取的G用光学特性57G、B用光学特性57B，通过上述[数式1]公式来分别生成G用复原滤波器F(G)、B用复原滤波器F(B)。而且，复原滤波器计算部98A将R用共同复原滤波器F3R、G用复原滤波器F(G)、B用复原滤波器F(B)经由有线或无线的网络线路或存储卡的信息记录介质而存储于复原滤波器存储部49。
＜关于第4实施方式的点像复原处理＞
在第1拍摄模式时，点像复原处理部93A对从第1灰度校正处理部42输入的三面RGB图像数据中的R图像数据，使用从复原滤波器存储部49读取的R用共同复原滤波器F3R来进行点像复原处理(振幅校正和相位校正)。并且，点像复原处理部93A对G图像数据和B图像数据，分别使用从复原滤波器存储部49读取的G用复原滤波器F(G)和B用复原滤波器F(B)，并针对G和B各颜色来进行点像复原处理(振幅校正和相位校正)。点像复原处理后的三面RGB图像数据通过转换处理部95进行了转换处理之后，作为图像处理后的第1图像数据D1而从图像处理部35C输出至输入输出接口32。
另一方面，在第2拍摄模式时，点像复原处理部93A对从第2灰度校正处理部46输入的一面IR(R)图像数据，使用从复原滤波器存储部49读取的R用共同复原滤波器F3R来进行点像复原处理(振幅校正和相位校正)。点像复原处理后的IR(R)图像数据作为图像处理后的第2图像数据D2而从图像处理部35C输出至输入输出接口32。
另外，除了对一面R图像数据和IR(R)图像数据使用R用共同复原滤波器F3R来进行点像复原处理，并对一面G图像数据和B图像数据使用G用复原滤波器F(G)和B用复原滤波器F(B)来进行点像复原处理的方面以外，第4实施方式的监控摄像机10C的作用与上述第3实施方式(参照图15和图16)基本相同。因此，省略具体说明。
[第4实施方式的效果]
如此，第4实施方式的监控摄像机10C中，能够对通过第1拍摄模式获得的第1图像数据D1(R图像数据)和通过第2拍摄模式获得的第2图像数据D2(IR(R)图像数据)，使用1种R用共同复原滤波器F3R来进行点像复原处理。即，在第4实施方式中，预先存储于监控摄像机10C的复原滤波器的种类也与第3实施方式相同，为3种，因此，获得与上述第3实施方式相同的效果。
[第5实施方式的监控摄像机]
接着，对本发明的第5实施方式的监控摄像机进行说明。上述第1实施方式的监控摄像机10利用RGB像素在成像面配置成矩阵状的单板式成像元件26来拍摄被摄体。相对于此，第5实施方式的监控摄像机利用RGB像素以及IR像素在成像面配置成矩阵状的单板式成像元件26来拍摄被摄体。
图18(A)是设置在第5实施方式的成像元件26的成像面的像素的放大图。并且，图18(B)是用于说明图18(A)所示的像素的滤色器的分光透射率特性的说明图。
如图18(A)所示，在第5实施方式的成像元件26的成像面上，除了排列有前述RGB像素以外，还排列有包含微透镜、近红外光透射滤波器以及光电转换部而构成的IR像素(图中表示为IR)。该IR像素相当于本发明的第2像素。而且，本实施方式中，RGB像素以及IR像素以RGB像素中的同色像素间的像素间距与IR像素的像素间距相同的方式排列在成像面上。即，RGB像素中的同色像素的排列图案与IR像素的排列图案成为相同的图案。
如图18(B)所示，IR像素仅对近红外光的波长范围具有灵敏度。在第2拍摄模式下IR截止滤波器25避开摄像光路L时，只有近红外光入射于IR像素中。另外，如前述，RGB像素也对近红外光的波长范围具有灵敏度，但本实施方式中，仅从IR像素获取第2图像数据D2。
图19是第5实施方式的监控摄像机10D的图像处理部35D的功能框图。在第1拍摄模式时，图像处理部35D对图像获取部39从成像元件26获取的构成第1图像数据D1的马赛克状的RGB图像数据(“Rm”、“Gm”、“Bm”)进行包含点像复原处理在内的各种图像处理。另一方面，在第2拍摄模式时，图像处理部35D对图像获取部39从成像元件26作为第2图像数据D2而获取的马赛克状的IRm图像数据(图中表示为“IRm”)进行包含点像复原处理在内的各种图像处理。
除了作为与第3实施方式的增益校正处理部40、点像复原处理部93以及去马赛克处理部94不同的增益校正处理部40B、点像复原处理部101以及去马赛克处理部102来发挥作用的方面以外，图像处理部35D的结构与第3实施方式的图像处理部35B(参照图13)基本相同。因此，对在功能、结构上与上述各实施方式相同的部分标注相同符号，并省略其说明。
在第1拍摄模式时，增益校正处理部40B对图像获取部39所获取的马赛克状的RGB图像数据进行白平衡校正。在通过第1灰度校正处理部42进行了灰度校正之后，校正后的RGB图像数据输入至点像复原处理部101。
另一方面，在第2拍摄模式时，增益校正处理部40B将图像获取部39所获取的马赛克状的IRm图像数据直接输出至第2灰度校正处理部46。在通过第2灰度校正处理部46进行了灰度校正之后，IRm图像数据输入至点像复原处理部101。
除了对马赛克状的图像数据进行点像复原处理的方面以外，点像复原处理部101与上述第4实施方式的点像复原处理部93A(参照图17)基本相同。即，第5实施方式的点像复原处理部101对通过第1拍摄模式并利用成像元件26的R像素获得的马赛克状的R图像数据和通过第2拍摄模式并利用成像元件26的IR像素获得的马赛克状的IRm图像数据，使用R用共同复原滤波器F4R来进行点像复原处理。如前述图18(A)所示，成像元件26的R像素和IR像素以相同的像素间距排列且排列图案也相同，因此，能够使用相同的R用共同复原滤波器F4R来进行点像复原处理。
另一方面，点像复原处理部101对通过第1拍摄模式下的成像元件26的G像素和B像素获得的马赛克状的G图像数据和B图像数据，分别使用不同的G用复原滤波器F(Gm)和B用复原滤波器F(Bm)来进行点像复原处理。
这种R用共同复原滤波器F4R、G用复原滤波器F(Gm)、B用复原滤波器F(Bm)由与第4实施方式的复原滤波器生成部96A不同的复原滤波器生成部96B生成。
＜复原滤波器生成部的结构＞
复原滤波器生成部96B除了具备前述光学特性存储部52以及权重设定部54以外，还大致具备加权平均处理部97B以及复原滤波器计算部98B。
第5实施方式的光学特性存储部52中，除了存储有前述各光学特性57R、57G以及57B以外，还存储有针对成像元件26的IR像素具有灵敏度的波长范围的近红外光的监控摄像机10D的光学特性即IR用光学特性103[MTF或OTF(PSF)]。
与上述第4实施方式相同地，加权平均处理部97B根据由权重设定部54设定的第1权重α和第2权重(1-α)以及灵敏度特性βR，对R用光学特性57R和IR用光学特性103进行加权平均来计算R用平均光学特性104。而且，加权平均处理部97B将计算出的R用平均光学特性104[MTF或OTF(PSF)]输出至复原滤波器计算部98B。
复原滤波器计算部98B根据从加权平均处理部97B输入的R用平均光学特性104，通过上述[数式1]公式来生成与马赛克状的图像数据的点像复原处理对应的R用共同复原滤波器F4R。并且，复原滤波器计算部98B根据从光学特性存储部52读取的G用光学特性57G和B用光学特性57B，通过上述[数式1]公式来分别生成与马赛克状的图像数据的点像复原处理对应的G用复原滤波器F(Gm)和B用复原滤波器F(Bm)。而且，复原滤波器计算部98B将R用共同复原滤波器F4R、G光学特性F(Gm)、B用复原滤波器F(Bm)经由有线或无线的网络线路或存储卡的信息记录介质而存储于复原滤波器存储部49。
＜关于第5实施方式的点像复原处理＞
在第1拍摄模式时，点像复原处理部101对从第1灰度校正处理部42输入的马赛克状的RGB图像数据中的R图像数据，使用从复原滤波器存储部49读取的R用共同复原滤波器F4R来进行点像复原处理(振幅校正和相位校正)。并且，点像复原处理部101对G图像数据和B图像数据，分别使用从复原滤波器存储部49读取的G用复原滤波器F(Gm)和B用复原滤波器F(Bm)，并针对G、B各颜色来进行点像复原处理(振幅校正和相位校正)。而且，点像复原处理部101将点像复原处理后的马赛克状的RGB图像数据输出至去马赛克处理部102。
另一方面，在第2拍摄模式时，点像复原处理部101对从第2灰度校正处理部46输入的马赛克状的IRm图像数据，使用从复原滤波器存储部49读取的R用共同复原滤波器F4R来进行点像复原处理(振幅校正和相位校正)。而且，点像复原处理部101将点像复原处理后的马赛克状的IRm图像数据输出至去马赛克处理部102。
＜关于第5实施方式的其他结构＞
在第1拍摄模式时，与第3实施方式的去马赛克处理部94(参照图13)相同地，去马赛克处理部102对马赛克状的RGB图像数据进行去马赛克处理并生成三面RGB图像数据。三面RGB图像数据通过转换处理部95转换为亮度数据Y和色差数据Cr、Cb。而且，由亮度数据Y和色差数据Cr、Cb构成的图像处理后的第1图像数据D1，从图像处理部35D输出至输入输出接口32。
另一方面，在第2拍摄模式时，去马赛克处理部102对从点像复原处理部101输入的马赛克状的IRm图像数据进行去马赛克处理并生成一面IR图像数据(图中表示为“IR”)。该IR图像数据作为图像处理后的第2图像数据D2而从图像处理部35D输出至输入输出接口32。
另外，除了对马赛克状的R图像数据以及IRm图像数据使用R用共同复原滤波器F4R来进行点像复原处理的方面以及对点像复原处理后的马赛克状的IRm图像数据进行去马赛克处理的方面以外，第5实施方式的监控摄像机10D的作用与上述第3实施方式(参照图16)基本相同。因此，省略具体说明。
如此，第5实施方式的监控摄像机10D中，能够对通过第1拍摄模式获得的第1图像数据D1(马赛克状的R图像数据)和通过第2拍摄模式获得的马赛克状的第2图像数据D2(IRm图像数据)，使用1种R用共同复原滤波器F4R来进行点像复原处理。即，在第5实施方式中，预先存储于监控摄像机10D的复原滤波器的种类也与第3实施方式相同，为3种，因此获得与上述第3实施方式相同的效果。
[第5实施方式的变形例]
上述第5实施方式中，对通过成像元件26的R像素、IR像素、G像素以及B像素分别获得的图像数据，针对R(IR)、G、B各颜色而使用不同的复原滤波器来进行点像复原处理，但也可以如通过上述第1实施方式说明的那样，对亮度系统图像数据进行点像复原处理。该情况下，上述[数式2]公式中的“MTFIR”和[数式3]公式中的“OTFIR”分别为前述IR用光学特性103。
并且，上述第5实施方式中，对通过第1拍摄模式获得的马赛克状的R图像数据和通过第2拍摄模式获得的马赛克状的IRm图像数据，使用R用共同复原滤波器F4R进行了点像复原处理，但有时无法将成像元件26的R像素与IR像素设为相同的像素间距。该情况下，也可以对通过第1拍摄模式获得的马赛克状的G图像数据或B图像数据以及IRm图像数据使用共同复原滤波器来进行点像复原处理。
[第6实施方式]
接着，对本发明的第6实施方式的监控摄像机进行说明。上述各实施方式中，各复原滤波器生成部分别与监控摄像机分开设置，但也可以在监控摄像机(例如相机主体控制器28)中设有前述复原滤波器生成部。
此时，为了生成与通过昼间拍摄获得的第1图像数据D1和通过夜间拍摄获得的第2图像数据D2这两者对应的共同复原滤波器，优选以如下时间段为基准来计算平均光学特性，所述时间段为对几乎只有可见光入射于成像元件26的“昼间”和几乎只有近红外光入射于成像元件26的“夜间”进行切换的时间段。即，优选根据混合存在有可见光和近红外光的光入射于成像元件26的黄昏等暮光下的可见光与近红外光的光量比，来适当地调整对第1光学特性和第2光学特性进行加权平均时的第1权重α和第2权重(1-α)。
图20是第6实施方式的监控摄像机10E的复原滤波器生成部51A的功能框图。如图20所示，关于第6实施方式的监控摄像机10E，在第1实施方式的监控摄像机10中设置复原滤波器生成部51A，基本结构与第1实施方式相同。因此，对在功能和结构上与上述第1实施方式相同的部分标注相同符号，并省略其说明。
除了设有光量比检测部106并且在加权平均处理部53内设有权重调整部107的方面以外，复原滤波器生成部51A与第1实施方式的复原滤波器生成部51基本相同。光量比检测部106根据从照度传感器27输入的照度检测结果，检测可见光的光量与近红外光的光量的光量比。
图21是表示被摄体的明度(光量)随着昼间(白天)到夜间的时间经过而变化的曲线图。如图21所示，被摄体的光量(太阳光的光量)随着昼间(白天)到夜间的时间经过而逐渐减少，夜间成为零。
在黄昏时间段，若被摄体的光量小于阈值Th，则拍摄模式从第1拍摄模式切换为第2拍摄模式，从而拍摄近红外光图像。即，昼间切换为第1拍摄模式，黄昏和夜间切换为第2拍摄模式。而且，若拍摄模式切换为第2拍摄模式，则前述近红外光发光部15进行发光，且IR截止滤波器25避开摄像光路L。其结果，若切换为第2拍摄模式，则被摄体的光量增加与从近红外光发光部15照射到被摄体的近红外光的光量相当的光量。
若将最初成为小于阈值Th时的光量设为Q1、将从可见光图像拍摄模式切换为近红外光图像拍摄模式时点的光量设为Q2、将黄昏状态的任意时点的光量设为Q3，则从光量Q2减去光量Q1而得的光量(光量Q2-光量Q1)为与从近红外光发光部15照射到被摄体的近红外光对应的光量，为一定的值。因此，夜间光量成为仅由近红外光产生的一定的光量。并且，黄昏状态的可见光的光量为从光量Q3减去仅由近红外光产生的一定的光量(光量Q2-光量Q1)而得的光量[光量Q3-(光量Q2-光量Q1)]。
本实施方式中，监控摄像机10E中设有照度传感器27，因此，能够将从该照度传感器27输入的照度检测结果作为表示被摄体的光量(明度)的光量数据即上述光量Q1～Q3来使用。
返回图20，光量比检测部106根据从照度传感器27输入的照度检测结果，存储最初成为小于阈值Th时的光量数据(光量Q1)和切换为红外光图像拍摄模式的时点的光量数据(光量Q2)，之后，根据时实输入的光量数据(光量QC)，检测黄昏状态的可见光的光量[光量Q3-(光量Q2-光量Q1)]与近红外光的光量(光量Q2-光量Q1)的光量比。而且，光量比检测部106将可见光与近红外光的光量比输出至权重调整部107。
权重调整部107根据从光量比检测部106输入的可见光与近红外光的光量比的检测结果，调整加权平均处理部53对第1光学特性和第2光学特性进行加权平均时的第1权重α和第2权重(1-α)。具体而言，权重调整部107根据可见光与近红外光的光量比的检测结果，可见光的光量越大于近红外光的光量，越调高第1权重α，相反，可见光的光量越小于近红外光的光量，越调低第1权重α。
加权平均处理部53根据由权重调整部107进行的调整后的第1权重α和第2权重(1-α)，对第1光学特性和第2光学特性进行加权平均。后续的处理与上述第1实施方式基本相同，因此，在此省略具体说明。
[第6实施方式的效果]
如此，第6实施方式的监控摄像机10E中，能够根据黄昏等暮光下的可见光与近红外光的光量比，适当地调整对第1光学特性和第2光学特性进行加权平均时的第1权重α和第2权重(1-α)。由此，能够根据设有监控摄像机10E的环境，通过适当的第1权重α和第2权重(1-α)来计算平均光学特性59。其结果，能够生成共同复原滤波器F1，所述共同复原滤波器F1能够对在昼间和夜间的拍摄中分别获得的图像数据(第1图像数据D1、第2图像数据D2)这两者良好地进行点像复原处理。
并且，这种共同复原滤波器F1的生成也可以针对每一定时间间隔而重复进行。由此，例如针对昼间和夜间的时间长度发生变化的每个季节，通过不同的第1权重α和第2权重(1-α)来生成平均光学特性59，从而能够根据该平均光学特性59来生成共同复原滤波器F1。
另外，上述第6实施方式中，举出在上述第1实施方式的监控摄像机10中设置复原滤波器生成部51而得的监控摄像机10E的例子进行了说明，但在上述第2实施方式至第5实施方式的监控摄像机中设有复原滤波器生成部的情况下，也能够相同地适用第6实施方式所涉及的发明。
上述第6实施方式中，根据由照度传感器27进行的照度检测结果来求出被摄体的光量，但求出被摄体的光量的方法并没有特别限定，例如在进行基于光圈17的控制以及快门速度(成像元件26中的电荷积蓄时间)的控制的自动曝光控制时，检测被摄体的明度[EV值(曝光值(exposure value))]，因此将所检测的EV值用作被摄体的光量(明度)等。
[第7实施方式的监控摄像机的结构]
接着，对本发明的第7实施方式的监控摄像机进行说明。上述各实施方式中，对通过第1拍摄模式获得的第1图像数据D1和通过第2拍摄模式获得的第2图像数据D2，使用共同复原滤波器来进行点像复原处理。相对于此，第7实施方式的监控摄像机中，对第2图像数据D2使用根据前述R用光学特性57R生成的R用复原滤波器来进行点像复原处理。
图22是第7实施方式的监控摄像机10F的图像处理部35F的功能框图。如图22所示，除了点像复原处理中使用的复原滤波器的种类不同的方面以外，监控摄像机10F的结构与上述第3实施方式的监控摄像机10B(参照图13)基本相同。因此，对在功能、结构上与上述各实施方式相同的部分标注相同符号，并省略其说明。
除了作为与第3实施方式的点像复原处理部93(参照图13)不同的点像复原处理部120发挥作用的方面以外，图像处理部35F的结构与第3实施方式的图像处理部35B基本相同。
第7实施方式的复原滤波器存储部49存储对利用单板式成像元件26获得的马赛克状的RGB图像数据进行的点像复原处理中所使用的R用复原滤波器F(Rm)、G用复原滤波器F(Gm)以及B用复原滤波器F(Bm)。这些各复原滤波器F(Rm)、F(Gm)以及F(Bm)根据前述R用光学特性57R、G用光学特性57G以及B用光学特性57B，由复原滤波器生成部122通过已经说明的方法来生成。另外，复原滤波器生成部122与监控摄像机10F一体设置或分开设置。
在第1拍摄模式时，点像复原处理部120对从第1灰度校正处理部42输入的构成第1图像数据D1的马赛克状的RGB图像数据，使用从复原滤波器存储部49读取的各复原滤波器F(Rm)、F(Gm)以及F(Bm)并针对RGB各颜色来进行点像复原处理(振幅校正和相位校正)。而且，点像复原处理部101将点像复原处理后的马赛克状的RGB图像数据输出至去马赛克处理部94。
并且，在第2拍摄模式时，点像复原处理部120对从第2灰度校正处理部46输入的构成第2图像数据D2的马赛克状的IR(Rm)、IR(Gm)以及IR(Bm)图像数据，使用从复原滤波器存储部49读取的R用复原滤波器F(Rm)来进行点像复原处理。后续的处理与上述第3实施方式基本相同，因此，在此省略说明。
[第7实施方式的监控摄像机的作用]
接着，利用图23，对上述结构的监控摄像机10F的作用(本发明的摄像装置的图像处理方法)进行说明。在此，图23是表示监控摄像机10B的摄像处理和图像处理的流程的流程图。
如图23所示，除了在第1拍摄模式时，点像复原处理部120对构成第1图像数据D1的马赛克状的RGB图像数据使用从复原滤波器存储部49读取的各复原滤波器F(Rm)、F(Gm)以及F(Bm)并针对RGB各颜色来进行点像复原处理的方面(步骤S44A、S45A)以外，第7实施方式的监控摄像机10F与图16所示的第3实施方式基本相同。
并且，除了在第2拍摄模式时，点像复原处理部120对构成第2图像数据D2的马赛克状的IR(Rm)、IR(Gm)以及IR(Bm)图像数据使用从复原滤波器存储部49读取的R用复原滤波器F(Rm)来进行点像复原处理的方面(步骤S54A、S55A)以外，第7实施方式的监控摄像机10F与图16所示的第3实施方式基本相同。
另外，第7实施方式中，步骤S43、S53相当于本发明的图像获取步骤，步骤S55A相当于本发明的点像复原处理步骤。
[第7实施方式的效果]
如此，第7实施方式的监控摄像机10F中，作为对第2图像数据D2(IR(Rm)、IR(Gm)以及IR(Bm)图像数据)进行的点像复原处理中所使用的复原滤波器，代用R用复原滤波器F(Rm)，因此，无需另外生成和存储对第2图像数据D2进行的点像复原处理中所使用的复原滤波器。其结果，与上述各实施方式相同地，能够减少点像复原处理中所需的资源。
[第7实施方式的变形例]
上述第7实施方式中，作为R图像数据和IR(Rm)图像数据的点像复原处理中所使用的R用复原滤波器F(Rm)，使用了根据光学系统的R用光学特性57R其本身生成的复原滤波器(即，直接使用R用光学特性57R而生成的复原滤波器)，但也可以使用根据对R用光学特性57R进行运算处理而得的光学特性来生成的复原滤波器。此处所说的“运算处理”是指，例如，将R用光学特性57R(OTF)的直流(Direct Current)成分以外(ωx≠0、ωy≠0)的成分设为常数λ(0＜λ＜1)倍的运算处理。这是因为，通常情况下，IR图像比R图像模糊，且IR用光学特性(OTF)的扩散大于R用光学特性(OTF)的扩散。该λ值例如通过观察点像复原处理后的图像来主观调整。另外，对后述第8实施方式至第10实施方式中的R用复原滤波器也相同。
[第8实施方式的监控摄像机]
接着，对本发明的第8实施方式的监控摄像机进行说明。上述第7实施方式的监控摄像机10F利用单板式成像元件26来拍摄被摄体。相对于此，第8实施方式的监控摄像机利用如前述图11所示的3板式成像元件26R、26G、26B来拍摄被摄体。
图24是第8实施方式的监控摄像机10G的图像处理部35G的功能框图。如图24所示，除了图像处理部35G以外，监控摄像机10G的结构与第4实施方式的监控摄像机10C(参照图17)基本相同，对在功能、结构上与上述各实施方式相同的部分标注相同符号，并省略其说明。
除了作为与第4实施方式的点像复原处理部93A(参照图17)不同的点像复原处理部120A发挥作用的方面以外，图像处理部35G的结构与第4实施方式的图像处理部35C基本相同。另外，除了去马赛克处理的有无以外，在对亮度系统图像数据进行点像复原处理时，与上述第7实施方式基本相同，因此，在此省略说明。
第8实施方式的复原滤波器存储部49存储对利用3板式成像元件26R、26G以及26B获得的三面RGB图像数据进行的点像复原处理中所使用的R用复原滤波器F(R)、G用复原滤波器F(G)以及B用复原滤波器F(B)。这些各复原滤波器F(R)、F(G)以及F(B)根据前述R用光学特性57R、G用光学特性57G以及B用光学特性57B，由复原滤波器生成部122A通过已经说明的方法来生成。另外，复原滤波器生成部122A与监控摄像机10G一体设置或分开设置。
在第1拍摄模式时，点像复原处理部120A对从第1灰度校正处理部42输入的构成第1图像数据D1的三面RGB图像数据，使用从复原滤波器存储部49读取的各复原滤波器F(R)、F(G)以及F(B)并针对RGB各颜色来进行点像复原处理(振幅校正和相位校正)。而且，点像复原处理部120A将点像复原处理后的三面RGB图像数据输出至转换处理部95。
另一方面，在第2拍摄模式时，点像复原处理部120A对从第2灰度校正处理部46作为第2图像数据D2而输入的一面IR(R)图像数据，使用从复原滤波器存储部49读取的R用复原滤波器F(R)来进行点像复原处理。后续的处理与上述第4实施方式基本相同，因此，在此省略说明。
另外，除了进行与3板式成像元件26R、26G、26B对应的点像复原处理等图像处理的方面以外，关于第8实施方式的监控摄像机10G的作用与上述第7实施方式(参照图23)基本相同，因此，在此省略具体说明。
[第8实施方式的效果]
如此，第8实施方式的监控摄像机10G中，作为对第2图像数据D2(IR(R)图像数据)进行的点像复原处理中所使用的复原滤波器，代用R用复原滤波器F(R)，因此获得与上述第7实施方式相同的效果。
[第9实施方式的监控摄像机]
接着，对本发明的第9实施方式的监控摄像机进行说明。上述第7实施方式的监控摄像机10F(参照图22)中，对利用RGB像素在成像面配置成矩阵状的单板式成像元件26来拍摄被摄体的情况进行了说明，但第9实施方式的监控摄像机中，利用如图18(A)所示那样的RGB像素以及IR像素在成像面配置成矩阵状的单板式成像元件26来拍摄被摄体。
图25是第9实施方式的监控摄像机10H的图像处理部35H的功能框图。如图24所示，除了具有IR像素的成像元件26、图像处理部35H的去马赛克处理部129以及点像复原处理部130以外，监控摄像机10G的结构与第1实施方式的监控摄像机10(参照图5)基本相同，对在功能、结构上与上述各实施方式相同的部分标注相同符号，并省略其说明。
除了在第2拍摄模式时，对作为第2图像数据D2而从IR像素获得的马赛克状的图像数据(省略图示)进行去马赛克处理，并将一面IR图像数据输出至点像复原处理部130的方面以外，第9实施方式的去马赛克处理部129与第1实施方式的去马赛克处理部41基本相同。
第9实施方式的复原滤波器存储部49存储对转换处理部43将前述RGB图像数据进行转换而生成的亮度数据Y进行的点像复原处理中所使用的复原滤波器F(Y)以及前述第8实施方式中所说明的R用复原滤波器F(R)。另外，关于复原滤波器F(Y)的生成方法为公知的技术，因此省略说明。
在第1拍摄模式时，点像复原处理部130对从转换处理部43输入的亮度数据Y使用从复原滤波器存储部49读取的复原滤波器F(Y)来进行点像复原处理。另一方面，在第2拍摄模式时，点像复原处理部130对从第2灰度校正处理部46输入的一面IR图像数据使用从复原滤波器存储部49读取的R用复原滤波器F(R)来进行点像复原处理。后续的处理与上述第1实施方式基本相同，因此，在此省略说明。
[第9实施方式的效果]
如此，第9实施方式的监控摄像机10H中，作为对一面第2图像数据D2进行的点像复原处理中所使用的复原滤波器，代用R用复原滤波器F(R)，因此，无需另外生成(设计)对第2图像数据D2进行的点像复原处理中所使用的复原滤波器。
[第10实施方式的监控摄像机]
接着，对本发明的第10实施方式的监控摄像机进行说明。上述第9实施方式的监控摄像机10H通过点像复原处理部130对亮度系统图像数据(亮度数据Y、第2图像数据D2)进行了点像复原处理。相对于此，第10实施方式的监控摄像机中，对通过R像素、IR像素、G像素以及B像素而分别获得的图像数据使用不同的复原滤波器来进行点像复原处理。
图26是第10实施方式的监控摄像机10I的图像处理部35I的功能框图。如图26所示，除了图像处理部35I的点像复原处理部135以外，监控摄像机10I的结构与第5实施方式的监控摄像机10D(参照图19)基本相同，对在功能、结构上与上述各实施方式相同的部分标注相同符号，并省略其说明。
与第7实施方式(参照图22)相同地，第10实施方式的复原滤波器存储部49存储对马赛克状的图像数据进行的点像复原处理中所使用的前述R用复原滤波器F(Rm)、G用复原滤波器F(Gm)以及B用复原滤波器F(Bm)。
在第1拍摄模式时，点像复原处理部135对从第1灰度校正处理部42输入的构成第1图像数据D1的马赛克状的RGB图像数据，分别使用从复原滤波器存储部49读取的各复原滤波器F(Rm)、F(Gm)、F(Bm)并针对RGB各颜色来进行点像复原处理。
另一方面，在第2拍摄模式时，点像复原处理部135对作为第2图像数据D2而从第2灰度校正处理部46输入的马赛克状的IRm图像数据，使用从复原滤波器存储部49读取的R用复原滤波器F(Rm)来进行点像复原处理。如前述图18(A)所示，成像元件26的R像素与IR像素以相同的像素间距排列，且排列图案也相同，因此能够使用相同的R用复原滤波器F(Rm)来进行点像复原处理。后续的处理与上述第5实施方式基本相同，因此，在此省略说明。
[第10实施方式的效果]
如此，第10实施方式的监控摄像机10I中，作为对第2图像数据D2(IRm图像数据)进行的点像复原处理中所使用的复原滤波器，能够代用R用复原滤波器F(Rm)，因此获得与上述第7实施方式中所说明的效果相同的效果。
[其他]
在上述各实施方式中，作为图像处理部进行的除点像复原处理以外的通常的图像处理，举出增益校正处理和灰度校正处理的例子进行了说明，但也可以进行除此以外的公知的各种图像处理。
上述各实施方式中，进行点像复原处理的图像处理部设置在监控摄像机内，但也可以在前述计算机60或服务器80中设置图像处理部。
作为上述实施方式中所说明的摄像装置(监控摄像机)对图像数据实施点像复原处理的单元，将用于使摄像装置的计算机发挥作用的程序(前述图像处理用程序37B等)记录于CD-ROM(光盘只读存储器(Compact Disc Read Only Memory))或磁盘或其他计算机可读介质(作为有形物体的非临时性信息存储介质)，能够通过信息存储介质来提供程序。也能够利用互联网等通信网络而将程序信号作为下载服务来提供，来代替将程序存储于这种信息存储介质来提供的方式。
＜对EDoF系统的适用例＞
上述实施方式中的点像复原处理也能够适用于例如对如下图像数据进行的点像复原处理，所述图像数据通过具有被扩大的场景(焦点)深度(EDoF：Extended Depth ofField(Focus))的光学系统(透镜等)而拍摄获取。
对在通过EDoF光学系统而景深(焦深)被扩大的状态下拍摄获取的模糊图像的图像数据进行点像复原处理，由此，能够复原成在宽范围内对焦的状态下的高分辨率的图像数据。该情况下，使用如下点像复原滤波器来进行复原处理，所述点像复原滤波器基于EDoF光学系统的传递函数(PSF、OTF、MTF、PTF等)，并且具有设定成能够在被扩大的景深(焦深)范围内复原成良好的图像的滤波器系数。
并且，能够适用本发明的方式并不限定于监控摄像机或数码相机，除了以摄像为主要功能的相机类以外，还能够适用于不仅具备摄像功能还具备除摄像以外的其他功能(通话功能、通信功能、其他计算机功能)的移动设备类。作为能够适用本发明的其他方式，例如可举出具有相机功能的移动电话、智能手机、PDA(个人数字助理(Personal DigitalAssistants))以及便携式游戏机。以下，对能够适用本发明的智能手机的一例进行说明。
＜智能手机的结构＞
图27是表示作为摄像装置的实施方式的智能手机500的外观的图。图27所示的智能手机500具有平板状的框体502，在框体502的一个面具备作为显示部的显示面板521和作为输入部的操作面板522成为一体的显示输入部520。并且，框体502具备扬声器531、麦克风532、操作部540、相机部541以及LED发光部542。此外，框体502的结构并不限定于此，例如，还能够采用显示部和输入部独立构成的结构、折叠结构或具有滑动机构的结构。
图28是表示图27所示的智能手机500的结构的框图。如图28所示，作为智能手机500的主要构成要件，具备无线通信部510、显示输入部520、通话部530、操作部540、相机部541、存储部550、外部输入输出部560、GPS(全球定位系统(Global Positioning System))接收部570、动作传感器部580、电源部590以及主控制部501。并且，作为智能手机500的主要功能，具备经由基站装置和移动通信网进行移动无线通信的无线通信功能。
无线通信部510根据主控制部501的命令而与容纳于移动通信网的基站装置进行无线通信。利用该无线通信来进行语音数据、图像数据等各种文件数据、电子邮件数据等的发送和接收，或Web数据和流数据等的接收。
显示输入部520是通过主控制部501的控制而显示图像(静止图像和动态图像)或字符信息等并将信息视觉性地传递给用户，并且检测相对于所显示的信息的用户操作的所谓的触摸面板，且具备显示面板521和操作面板522。在观看所生成的3D图像时，优选显示面板521为3D显示面板。
显示面板521将LCD(液晶显示器(Liquid Crystal Display))、OELD(有机电致发光显示器(Organic Electro-Luminescence Display))等作为显示设备而使用。
操作面板522是以能够视觉确认显示在显示面板521的显示面上的图像的方式被载置且通过用户的手指或尖笔操作的检测一个或多个坐标的设备。若通过用户的手指或尖笔操作该设备，则将因操作而产生的检测信号输出至主控制部501。接着，主控制部501根据所接收的检测信号来检测显示面板521上的操作位置(坐标)。
如图27所示，智能手机500的显示面板521和操作面板522成为一体而构成显示输入部520，成为操作面板522完全覆盖显示面板521的配置。采用该配置时，操作面板522可以对显示面板521之外的区域也具备检测用户操作的功能。换句话说，操作面板522可以具备关于与显示面板521重叠的重叠部分的检测区域(以下，称为显示区域)以及关于除此以外的不与显示面板521重叠的外缘部分的检测区域(以下，称为非显示区域)。
此外，显示区域的大小和显示面板521的大小可以完全一致，但两者并不需要一定一致。并且，操作面板522可以具备外缘部分和除此以外的内侧部分这2个感应区域。此外，外缘部分的宽度是根据框体502的大小等而适当设计的。此外，作为操作面板522中采用的位置检测方式，可以举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，能够采用任意方式。
通话部530具备扬声器531和麦克风532，并将通过麦克风532输入的用户的声音转换成可在主控制部501处理的语音数据而输出至主控制部501，或者将通过无线通信部510或外部输入输出部560接收的语音数据进行解码而从扬声器531输出。并且，如图27所示，例如，能够将扬声器531和麦克风532搭载于与设有显示输入部520的面相同的面。
操作部540是使用了键开关等的硬件键，并且接受来自用户的命令。例如，操作部540是搭载于智能手机500的框体502的显示部的下部、下侧面，且在用手指等按下时成为接通，放开手指时通过弹簧等的复原力而成为断开状态的按钮式开关。
存储部550存储主控制部501的控制程序和控制数据、将通信对象的名称和电话号码等建立对应关联而成的地址数据、发送和接收的电子邮件数据、通过Web浏览下载的Web数据或已下载的内容数据，并且临时存储流数据等。并且，存储部550由智能手机内置的内部存储部551和具有装卸自如的外部存储器插槽的外部存储部552构成。此外，构成存储部550的各内部存储部551和外部存储部552使用闪存型(flash memory type)、硬盘型(harddisk type)、微型多媒体卡类型(multimedia card micro type)、卡类型的存储器(例如，Micro SD(注册商标)存储器等)、RAM(随机存取存储器(Random Access Memory))、ROM(只读存储器(Read Only Memory))等存放介质来实现。
外部输入输出部560发挥与连结于智能手机500的所有外部设备之间的接口作用，用于通过通信等(例如，通用串行总线等)或网络(例如，互联网、无线LAN(局域网(LocalArea Network))、蓝牙(Bluetooth)(注册商标)、RFID(射频识别(Radio FrequencyIdentification))、红外线通信(红外数据协会(Infrared Data Association：IrDA))、UWB(超宽带(Ultra Wideband))(注册商标)、紫蜂(ZigBee)(注册商标)等)而直接或间接地与其他外部设备连接。
作为连结于智能手机500的外部设备，例如具有有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡插槽而连接的存储卡(Memory card)或SIM(客户标识模块卡(Subscriber Identity Module Card))/UIM(用户标识模块卡(User IdentityModule Card))卡、经由音频/视频I/O(输入/输出(Input/Output))端子而连接的外部音频/视频设备、无线连接的外部音频/视频设备、有线/无线连接的智能手机、有线/无线连接的个人计算机、有线/无线连接的PDA、耳机等。外部输入输出部能够将从这种外部设备传输来的数据传递至智能手机500的内部的各构成要件，或者能够将智能手机500的内部的数据传输至外部设备。
GPS接收部570根据主控制部501的命令而接收从GPS卫星ST1～STn发送的GPS信号，根据所接收的多个GPS信号执行定位运算处理，并检测由智能手机500的纬度、经度、高度组成的位置。当能够从无线通信部510或外部输入输出部560(例如，无线LAN)获取位置信息时，GPS接收部570还能够利用该位置信息来检测位置。
动作传感器部580例如具备三轴加速度传感器等，并根据主控制部501的命令而检测智能手机500的物理移动。通过检测智能手机500的物理移动，从而检测智能手机500的移动方向和加速度。该检测结果被输出至主控制部501。
电源部590根据主控制部501的命令而向智能手机500的各部供给积蓄在电池(未图示)的电力。
主控制部501具备微处理器，并且根据存储部550所存储的控制程序和控制数据进行工作并总体控制智能手机500的各部。并且，主控制部501由于通过无线通信部510而进行语音通信和数据通信，因此具备控制通信系统的各部的移动通信控制功能和应用处理功能。
应用处理功能通过根据存储部550所存储的应用软件而主控制部501进行工作来实现。作为应用处理功能，例如有控制外部输入输出部560而与对象设备进行数据通信的红外线通信功能、进行电子邮件的发送和接收的电子邮件功能、浏览Web页的Web浏览功能等。
并且，主控制部501具备根据接收数据或所下载的流数据等的图像数据(静止图像或动态图像的数据)，将影像显示在显示输入部520等的图像处理功能。图像处理功能是指，主控制部501将上述图像数据进行解码并对该解码结果实施图像处理，从而将图像显示在显示输入部520的功能。
此外，主控制部501执行对显示面板521的显示控制以及检测通过操作部540、操作面板522进行的用户操作的操作检测控制。
通过执行显示控制，主控制部501显示用于启动应用软件的图标或滚动条等软件键，或者显示用于创建电子邮件的窗口。此外，滚动条是指，用于使无法收容于显示面板521的显示区域的较大的图像等接受移动图像显示部分的命令的软件键。
并且，通过执行操作检测控制，主控制部501检测通过操作部540进行的用户操作，或接受通过操作面板522而对上述图标进行的操作、对上述窗口的输入栏进行的字符串的输入，或者接受通过滚动条进行的显示图像的滚动要求。
此外，通过执行操作检测控制，主控制部501判定对操作面板522的操作位置是与显示面板521重叠的重叠部分(显示区域)还是除此以外的与显示面板521不重叠的外缘部分(非显示区域)，并具备对操作面板522的感应区域、软件键的显示位置进行控制的触摸面板控制功能。
并且，主控制部501还能够检测对操作面板522的手势操作，并根据所检测的手势操作而执行预先设定的功能。手势操作是指用手指等描绘轨迹或同时指定多个位置或者将它们进行组合而从多个位置对至少一个描绘轨迹的操作，而非以往简单的触摸操作。
相机部541是使用前述CMOS型或CCD型成像元件来进行电子拍摄的摄像装置。能够对该相机部541适用前述监控摄像机10的结构。该情况下，为了实现智能手机500的薄型化，优选使用不设置使IR截止滤波器插入以及避开摄像光路的滤波器装置便能够拍摄可见光图像和近红外光图像的成像元件。例如，作为相机部541的成像元件，能够使用图18(A)所示的具有RGB像素以及IR像素的成像元件26。
LED发光部542具有白色LED和近红外LED，在可见光图像拍摄模式时被摄体的光量不足的情况下打开白色LED，并作为可见光图像拍摄时的辅助光而从白色LED发出白色光，在近红外光图像拍摄模式时打开近红外LED，并作为近红外光图像摄像时的辅助光而从近红外LED发出近红外光。并且，近红外LED在具有红外线通信功能的智能手机500的情况下，也能够用作红外线通信的光源。
并且，相机部541能够通过控制主控制部501，将通过拍摄获得的图像数据转换为例如JPEG(联合图像专家组(Joint Photographic coding Experts Group))等压缩的图像数据，并记录于存储部550或者通过外部输入输出部560或无线通信部510而进行输出。在图27所示的智能手机500中，相机部541搭载于与显示输入部520相同的面，但相机部541的搭载位置并不限于此，也可以搭载于显示输入部520的背面，或者也可以搭载有多个相机部541。此外，搭载有多个相机部541时，还能够切换供拍摄的相机部541而单独进行拍摄或者同时使用多个相机部541而进行拍摄。
并且，相机部541能够利用于智能手机500的各种功能。例如，能够在显示面板521显示由相机部541获取的图像或作为操作面板522的操作输入之一而利用相机部541的图像。并且，还能够在GPS接收部570检测位置时，参照来自相机部541的图像而检测位置。此外，也能够参照来自相机部541的图像而不使用三轴加速度传感器，或者同时使用三轴加速度传感器来判断智能手机500的相机部541的光轴方向或判断当前的使用环境。当然，也能够在应用软件内利用来自相机部541的图像。
符号说明
10、10A-监控摄像机，12-透镜单元，16-透镜，25-红外线(IR)截止滤波器，26-成像元件、26R、26G、26B-成像元件，35、35A-图像处理部，37B-图像处理用程序，39-图像获取部，44、93-点像复原处理部，49-复原滤波器存储部，51、96-复原滤波器生成部，53-加权平均处理部，55、98-复原滤波器计算部，57R-R用光学特性，57G-G用光学特性，57B-B用光学特性，58-IR用光学特性，58R-IR(R)用光学特性，58G-IR(G)用光学特性，58B-IR(B)用光学特性，59-平均光学特性，59R-R用平均光学特性，59G-G用平均光学特性，59B-B用平均光学特性，106-光量比检测部，F1-共同复原滤波器，F2R、F3R、F4R-R用共同复原滤波器，F2G-G用共同复原滤波器，F2B-B用共同复原滤波器。

Claims (20)

1.一种摄像装置，其具备：
图像获取部，获取通过成像元件的拍摄而获得的图像数据，所述成像元件能够经由光学系统对可见光的波长范围和近红外光的波长范围具有灵敏度而拍摄被摄体；以及
点像复原处理部，对所述图像获取部所获取的所述图像数据，使用复原滤波器来进行点像复原处理，并且对利用所述成像元件对所述可见光的波长范围具有灵敏度而拍摄的所述被摄体的所述图像数据和利用所述成像元件对所述近红外光的波长范围具有灵敏度而拍摄的所述被摄体的所述图像数据，使用共同的所述复原滤波器来进行点像复原处理，
共同的所述复原滤波器根据所述光学系统的平均光学特性来计算，所述平均光学特性通过对针对所述可见光的所述光学系统的第1光学特性和针对所述近红外光的所述光学系统的第2光学特性进行加权平均而获得。
2.根据权利要求1所述的摄像装置，其具备近红外光发光部，所述近红外光发光部在利用所述成像元件对所述近红外光的波长范围具有灵敏度而进行拍摄时，将近红外光作为辅助光而进行发光。
3.根据权利要求1或2所述的摄像装置，其具备红外线截止滤波器，所述红外线截止滤波器在利用所述成像元件对所述可见光的波长范围具有灵敏度而进行拍摄时，配置于朝向所述成像元件的摄像光路，且在利用所述成像元件对所述近红外光的波长范围具有灵敏度而进行拍摄时，避开所述摄像光路。
4.根据权利要求1至3中任一项所述的摄像装置，其中，
所述第1光学特性为针对所述可见光的波长范围中所含的多个颜色的所述可见光的每一个的所述光学系统的光学特性，
共同的所述复原滤波器根据所述平均光学特性来计算，所述平均光学特性通过对所述多个颜色中的每个颜色的所述第1光学特性和所述第2光学特性进行加权平均而获得，
所述点像复原处理部对根据所述图像数据生成且与亮度相关的图像数据即亮度系统图像数据，使用共同的所述复原滤波器来进行所述点像复原处理。
5.根据权利要求4所述的摄像装置，其中，
所述成像元件包含对所述可见光的波长范围具有灵敏度的多个颜色的第1像素，
所述平均光学特性根据针对所述第1光学特性的第1权重、针对所述第2光学特性的第2权重以及所述第1像素中的每个颜色的出现频率，对所述多个颜色中的每个颜色的所述第1光学特性和所述第2光学特性进行加权平均而获得。
6.根据权利要求5所述的摄像装置，其中，
所述成像元件包含所述第1像素以及对所述近红外光的波长范围具有灵敏度的第2像素，
所述成像元件的所述第1像素中的同色像素间的像素间距与所述第2像素的像素间距相同。
7.根据权利要求1至3中任一项所述的摄像装置，其中，
所述成像元件包含对所述可见光的波长范围具有灵敏度的多个颜色的第1像素，
所述第1光学特性为针对所述可见光的波长范围中所含的多个颜色的所述可见光的每一个的所述光学系统的光学特性，
所述第2光学特性为针对所述多个颜色的所述第1像素分别具有灵敏度的所述近红外光且按该第1像素的各颜色像素区分的所述光学系统的光学特性，
共同的所述复原滤波器根据所述多个颜色中的每个颜色的所述平均光学特性，针对所述多个颜色中的每个颜色来进行计算，所述平均光学特性通过对所述多个颜色中的每个颜色的所述第1光学特性和所述多个颜色中的每个颜色的所述第2光学特性进行加权平均而获得，
所述点像复原处理部对通过所述多个颜色的所述第1像素获得的多个颜色中的每个颜色的所述图像数据，使用所述多个颜色中的每个颜色的共同的所述复原滤波器并针对所述多个颜色中的每个颜色来进行所述点像复原处理。
8.根据权利要求7所述的摄像装置，其中，
所述多个颜色中的每个颜色的所述平均光学特性根据针对所述第1光学特性的第1权重、针对所述第2光学特性的第2权重以及灵敏度特性，针对所述多个颜色中的每个颜色来对所述第1光学特性和所述第2光学特性进行加权平均而获得，所述灵敏度特性表示所述多个颜色的所述第1像素对所述可见光波长和所述近红外光波长的灵敏度。
9.根据权利要求1至3中任一项所述的摄像装置，其中，
所述成像元件包含：对所述可见光的波长范围具有灵敏度的多个颜色的第1像素；以及对所述近红外光的波长范围具有灵敏度的第2像素，
共同的所述复原滤波器根据所述平均光学特性来计算，所述平均光学特性通过对与所述可见光中的红色光对应的所述光学系统的所述第1光学特性和所述第2光学特性进行加权平均而获得，
所述点像复原处理部对通过所述多个颜色中的红色的所述第1像素获得的所述图像数据和通过所述第2像素获得的所述图像数据，使用共同的所述复原滤波器来进行点像复原处理。
10.根据权利要求9所述的摄像装置，其中，
所述成像元件的所述第1像素中的同色像素间的像素间距与所述第2像素的像素间距相同。
11.根据权利要求1至10中任一项所述的摄像装置，其具备：
光量比检测部，检测入射于所述成像元件的所述可见光与所述近红外光的光量比；
光学特性存储部，存储所述第1光学特性和所述第2光学特性；以及
复原滤波器生成部，根据所述平均光学特性，生成共同的所述复原滤波器，所述平均光学特性通过对存储在所述光学特性存储部的所述第1光学特性和第2光学特性进行加权平均而获得，
所述复原滤波器生成部根据所述光量比检测部的检测结果，调整在进行所述加权平均时的针对所述第1光学特性的第1权重和针对所述第2光学特性的第2权重。
12.一种摄像装置的图像处理方法，其具有：
图像获取步骤，获取通过成像元件的拍摄而获得的图像数据，所述成像元件能够经由光学系统对可见光的波长范围和近红外光的波长范围具有灵敏度而拍摄被摄体；以及
点像复原处理步骤，对通过所述图像获取步骤获取的所述图像数据，使用复原滤波器来进行点像复原处理，并且对利用所述成像元件对所述可见光的波长范围具有灵敏度而拍摄的所述被摄体的所述图像数据和利用所述成像元件对所述近红外光的波长范围具有灵敏度而拍摄的所述被摄体的所述图像数据，使用共同的所述复原滤波器来进行点像复原处理，
共同的所述复原滤波器根据所述光学系统的平均光学特性来计算，所述平均光学特性通过对针对所述可见光的所述光学系统的第1光学特性和针对所述近红外光的所述光学系统的第2光学特性进行加权平均而获得。
13.一种程序，其使摄像装置的计算机作为对通过成像元件的拍摄而获得的图像数据实施点像复原处理的单元来发挥作用，所述成像元件能够经由光学系统对可见光的波长范围和近红外光的波长范围具有灵敏度而拍摄被摄体，
所述程序使计算机作为图像获取部和点像复原处理部来发挥作用，
所述图像获取部获取通过所述成像元件的拍摄而获得的所述图像数据，
所述点像复原处理部对所述图像获取部所获取的所述图像数据，使用复原滤波器来进行点像复原处理，并且对利用所述成像元件对所述可见光的波长范围具有灵敏度而拍摄的所述被摄体的所述图像数据和利用所述成像元件对所述近红外光的波长范围具有灵敏度而拍摄的所述被摄体的所述图像数据，使用共同的所述复原滤波器来进行所述点像复原处理，所述共同的所述复原滤波器根据平均光学特性来计算，所述平均光学特性通过对针对所述可见光的所述光学系统的第1光学特性和针对所述近红外光的所述光学系统的第2光学特性进行加权平均而获得。
14.一种摄像装置，其具备：
图像获取部，获取通过成像元件的拍摄而获得的图像数据，所述成像元件能够经由光学系统对可见光的波长范围和近红外光的波长范围具有灵敏度而拍摄被摄体；以及
点像复原处理部，对所述图像获取部所获取的所述图像数据，使用基于所述光学系统的光学特性的复原滤波器来进行点像复原处理，
所述点像复原处理部对利用所述成像元件对所述近红外光的波长范围具有灵敏度而拍摄的所述被摄体的所述图像数据，使用所述复原滤波器来进行所述点像复原处理，所述复原滤波器基于针对所述可见光中红色波长范围的红色光的所述光学系统的光学特性。
15.根据权利要求14所述的摄像装置，其中，
所述成像元件具有：对所述可见光的波长范围具有灵敏度的第1像素；以及对所述近红外光的波长范围具有灵敏度的第2像素。
16.根据权利要求15所述的摄像装置，其中，
所述成像元件的所述第1像素中的同色像素间的像素间距与所述第2像素的像素间距相同。
17.根据权利要求14至16中任一项所述的摄像装置，其具备红外线截止滤波器，所述红外线截止滤波器在利用所述成像元件对所述可见光的波长范围具有灵敏度而进行拍摄时，配置于朝向所述成像元件的摄像光路，且在利用所述成像元件对所述近红外光的波长范围具有灵敏度而进行拍摄时，避开所述摄像光路。
18.根据权利要求14至17中任一项所述的摄像装置，其中，
根据针对所述红色光的所述光学系统的光学特性计算出的所述复原滤波器，根据针对所述红色光的所述光学系统的光学特性而生成，或者根据对该光学特性进行运算处理而得的光学特性而生成。
19.一种摄像装置的图像处理方法，其具有：
图像获取步骤，获取通过成像元件的拍摄而获得的图像数据，所述成像元件能够经由光学系统对可见光的波长范围和近红外光的波长范围具有灵敏度而拍摄被摄体；以及
点像复原处理步骤，使用基于所述光学系统的光学特性的复原滤波器，对通过所述图像获取步骤获取的图像数据进行点像复原处理，
所述点像复原处理步骤中，对利用所述成像元件对所述近红外光的波长范围具有灵敏度而拍摄的所述被摄体的所述图像数据，使用所述复原滤波器来进行所述点像复原处理，所述复原滤波器基于针对所述可见光中红色波长范围的红色光的所述光学系统的光学特性。
20.一种程序，其使摄像装置的计算机作为对通过成像元件的摄像而获得的图像数据实施点像复原处理的单元来发挥作用，所述成像元件能够经由光学系统对可见光的波长范围和近红外光的波长范围具有灵敏度而拍摄被摄体，
所述程序使计算机作为获取部和点像复原处理部来发挥作用，
所述获取部获取通过所述成像元件的拍摄而获得的所述图像数据，
所述点像复原处理部使用基于所述光学系统的光学特性的复原滤波器，对所述获取部所获取的所述图像数据进行点像复原处理，并且对利用所述成像元件对所述近红外光的波长范围具有灵敏度而拍摄的所述被摄体的所述图像数据，使用所述复原滤波器来进行所述点像复原处理，所述复原滤波器基于针对所述可见光中红色波长范围的红色光的所述光学系统的光学特性。
CN201680019287.XA 2015-03-31 2016-03-04 摄像装置、摄像装置的图像处理方法以及存储介质 Active CN107431760B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-072936 2015-03-31
JP2015072936 2015-03-31
PCT/JP2016/056695 WO2016158196A1 (ja) 2015-03-31 2016-03-04 撮像装置及び撮像装置の画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN107431760A true CN107431760A (zh) 2017-12-01
CN107431760B CN107431760B (zh) 2018-08-28

Family

ID=57005604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680019287.XA Active CN107431760B (zh) 2015-03-31 2016-03-04 摄像装置、摄像装置的图像处理方法以及存储介质

Country Status (4)

Country Link
US (1) US10366475B2 (zh)
JP (1) JP6185213B2 (zh)
CN (1) CN107431760B (zh)
WO (1) WO2016158196A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI666508B (zh) * 2018-02-14 2019-07-21 奇景光電股份有限公司 基於結構光之自動曝光控制器、自動曝光控制方法及其系統
CN111083455A (zh) * 2018-10-22 2020-04-28 精工爱普生株式会社 位置检测装置、显示装置、显示系统以及位置检测方法
TWI767468B (zh) * 2020-09-04 2022-06-11 聚晶半導體股份有限公司 雙感測器攝像系統及其攝像方法
US11418719B2 (en) 2020-09-04 2022-08-16 Altek Semiconductor Corp. Dual sensor imaging system and calibration method which includes a color sensor and an infrared ray sensor to perform image alignment and brightness matching
US11496694B2 (en) 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
US11496660B2 (en) 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and depth map calculation method thereof
US11568526B2 (en) 2020-09-04 2023-01-31 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
US11689822B2 (en) 2020-09-04 2023-06-27 Altek Semiconductor Corp. Dual sensor imaging system and privacy protection imaging method thereof
TWI832864B (zh) * 2018-08-07 2024-02-21 日商索尼半導體解決方案公司 攝像裝置及攝像系統

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6608763B2 (ja) * 2015-08-20 2019-11-20 株式会社東芝 画像処理装置及び撮影装置
CN108353137A (zh) * 2016-04-07 2018-07-31 托比股份公司 用于基于视觉的人机交互的图像传感器
US10594974B2 (en) 2016-04-07 2020-03-17 Tobii Ab Image sensor for vision based on human computer interaction
US11140355B1 (en) * 2016-05-11 2021-10-05 Oceanit Laboratories, Inc. Optical frequency imaging
KR101747603B1 (ko) * 2016-05-11 2017-06-16 재단법인 다차원 스마트 아이티 융합시스템 연구단 컬러 나이트 비전 시스템 및 그 동작 방법
CN116269261A (zh) * 2016-12-01 2023-06-23 松下知识产权经营株式会社 生物体信息处理方法及生物体信息处理系统
JP2018106038A (ja) * 2016-12-27 2018-07-05 ルネサスエレクトロニクス株式会社 カメラの像ぶれを補正するように構成されたアクチュエータの駆動量を較正するための方法
JP6975896B2 (ja) 2017-02-03 2021-12-01 パナソニックＩｐマネジメント株式会社 撮像装置の制御方法及び撮像装置
JP6818585B2 (ja) * 2017-02-21 2021-01-20 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
JP7037346B2 (ja) * 2017-03-10 2022-03-16 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
TWI630559B (zh) * 2017-06-22 2018-07-21 佳世達科技股份有限公司 影像擷取裝置及影像擷取方法
WO2019067193A1 (en) * 2017-09-28 2019-04-04 Apple Inc. NOCTURNAL DETECTION
US10580121B2 (en) * 2017-11-16 2020-03-03 Axis Ab Image noise reduction based on a modulation transfer function of a camera dome
CN112602316B (zh) * 2018-09-14 2022-06-24 浙江宇视科技有限公司 双光图像自动曝光方法、装置、双光图像相机及机器存储介质
JP7169863B2 (ja) * 2018-12-03 2022-11-11 キヤノン株式会社 撮像装置及びその制御方法、及び演算方法
JP6732059B1 (ja) * 2019-01-18 2020-07-29 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 カメラ装置およびカメラ装置の撮像制御方法
JP7374600B2 (ja) * 2019-03-22 2023-11-07 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察システム
CN110430394B (zh) * 2019-07-15 2021-08-27 浙江大华技术股份有限公司 一种监控设备切换日夜模式的方法及监控设备
US11846702B2 (en) * 2019-07-18 2023-12-19 Nec Corporation Image processing device and image processing method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1573532A (zh) * 2003-06-09 2005-02-02 佳能株式会社 图像处理方法和装置以及x线摄影装置
CN101222583A (zh) * 2007-01-09 2008-07-16 奥林巴斯映像株式会社 进行电图像恢复处理的摄像装置
CN101578885A (zh) * 2007-08-07 2009-11-11 松下电器产业株式会社 摄像处理装置以及摄像装置、图像处理方法以及计算机程序
CN103259976A (zh) * 2012-02-17 2013-08-21 佳能株式会社 图像处理设备、摄像设备和图像处理方法
US8861852B2 (en) * 2011-05-09 2014-10-14 Canon Kabushiki Kaisha Image processing method for image restoration, image processing apparatus and image pickup apparatus

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5315574B2 (ja) 2007-03-22 2013-10-16 富士フイルム株式会社 撮像装置
JP5404122B2 (ja) 2009-03-26 2014-01-29 オリンパス株式会社 焦点位置調整装置およびカメラ
TW201044856A (en) * 2009-06-09 2010-12-16 Ind Tech Res Inst Image restoration method and apparatus
JP5546229B2 (ja) * 2009-12-09 2014-07-09 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP5264968B2 (ja) 2011-08-08 2013-08-14 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置、および、画像処理プログラム
JP5824297B2 (ja) * 2011-08-30 2015-11-25 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
JP2016010080A (ja) * 2014-06-26 2016-01-18 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1573532A (zh) * 2003-06-09 2005-02-02 佳能株式会社 图像处理方法和装置以及x线摄影装置
CN101222583A (zh) * 2007-01-09 2008-07-16 奥林巴斯映像株式会社 进行电图像恢复处理的摄像装置
CN101578885A (zh) * 2007-08-07 2009-11-11 松下电器产业株式会社 摄像处理装置以及摄像装置、图像处理方法以及计算机程序
US8861852B2 (en) * 2011-05-09 2014-10-14 Canon Kabushiki Kaisha Image processing method for image restoration, image processing apparatus and image pickup apparatus
CN103259976A (zh) * 2012-02-17 2013-08-21 佳能株式会社 图像处理设备、摄像设备和图像处理方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI666508B (zh) * 2018-02-14 2019-07-21 奇景光電股份有限公司 基於結構光之自動曝光控制器、自動曝光控制方法及其系統
TWI832864B (zh) * 2018-08-07 2024-02-21 日商索尼半導體解決方案公司 攝像裝置及攝像系統
CN111083455A (zh) * 2018-10-22 2020-04-28 精工爱普生株式会社 位置检测装置、显示装置、显示系统以及位置检测方法
CN111083455B (zh) * 2018-10-22 2023-08-11 精工爱普生株式会社 位置检测装置、显示装置、显示系统以及位置检测方法
TWI767468B (zh) * 2020-09-04 2022-06-11 聚晶半導體股份有限公司 雙感測器攝像系統及其攝像方法
US11418719B2 (en) 2020-09-04 2022-08-16 Altek Semiconductor Corp. Dual sensor imaging system and calibration method which includes a color sensor and an infrared ray sensor to perform image alignment and brightness matching
US11496694B2 (en) 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
US11496660B2 (en) 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and depth map calculation method thereof
US11568526B2 (en) 2020-09-04 2023-01-31 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
US11689822B2 (en) 2020-09-04 2023-06-27 Altek Semiconductor Corp. Dual sensor imaging system and privacy protection imaging method thereof

Also Published As

Publication number Publication date
WO2016158196A1 (ja) 2016-10-06
JPWO2016158196A1 (ja) 2017-08-03
US10366475B2 (en) 2019-07-30
US20170374282A1 (en) 2017-12-28
JP6185213B2 (ja) 2017-08-23
CN107431760B (zh) 2018-08-28

Similar Documents

Publication Publication Date Title
CN107431760B (zh) 摄像装置、摄像装置的图像处理方法以及存储介质
CN104995911B (zh) 图像处理装置、摄影装置、滤波器生成装置、图像复原方法以及程序
CN105075239B (zh) 复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置以及记录介质
CN105009168B (zh) 复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置
CN105009563B (zh) 复原滤波器生成装置和方法、图像处理装置、摄像装置、复原滤波器生成程序以及记录介质
CN104995912B (zh) 摄像装置、图像处理装置及图像处理方法
CN104704807B (zh) 图像处理装置、摄像装置及图像处理方法
CN104704806B (zh) 图像处理装置、摄像装置以及图像处理方法
CN105609035B (zh) 图像显示装置及方法
CN106797453B (zh) 图像处理装置、摄像装置、图像处理方法以及图像处理程序
CN105432069B (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN105103534B (zh) 摄像装置及校准方法
CN106134177B (zh) 图像处理装置、摄影装置、图像处理方法及图像处理程序
CN104380706B (zh) 图像处理装置、摄像装置、计算机及图像处理方法
CN105453539B (zh) 图像处理装置、摄像装置及图像处理方法
CN105432068B (zh) 摄像装置、摄像方法及图像处理装置
CN106165392B (zh) 图像处理装置、摄影装置以及图像处理方法
CN105453534B (zh) 图像处理装置及方法
CN105409198B (zh) 摄像装置及图像处理方法
CN107534733A (zh) 摄像装置、该摄像装置的图像处理方法及程序
CN105453540B (zh) 图像处理装置、摄像装置、图像处理方法
CN104272732B (zh) 图像处理装置、方法及摄像装置
CN110447223A (zh) 成像元件以及摄像装置
CN106464798B (zh) 图像处理装置、摄像装置、图像处理方法以及记录介质
CN106416218A (zh) 图像处理装置、摄像装置、图像处理方法以及程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant