CN107534733A - 摄像装置、该摄像装置的图像处理方法及程序 - Google Patents

摄像装置、该摄像装置的图像处理方法及程序 Download PDF

Info

Publication number
CN107534733A
CN107534733A CN201680023422.8A CN201680023422A CN107534733A CN 107534733 A CN107534733 A CN 107534733A CN 201680023422 A CN201680023422 A CN 201680023422A CN 107534733 A CN107534733 A CN 107534733A
Authority
CN
China
Prior art keywords
view data
image
screening
mode
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680023422.8A
Other languages
English (en)
Other versions
CN107534733B (zh
Inventor
椚濑高志
成濑洋介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN107534733A publication Critical patent/CN107534733A/zh
Application granted granted Critical
Publication of CN107534733B publication Critical patent/CN107534733B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Toxicology (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Blocking Light For Cameras (AREA)

Abstract

本发明提供一种能够抑制大型化及部件件数的增加，并且使通过第2拍摄模式时的拍摄而得到的近红外光图像容易看清的摄像装置、摄像装置的图像处理方法及程序。在本发明的一方式中，当摄像部在第2拍摄模式下动作时，检测在由摄像部获取的第2图像数据内，与第2图像数据之前由摄像部获取的第2图像数据相比存在变化的变化区域。根据变化区域的检测结果，生成合成图像数据，所述合成图像数据是在与第2图像数据内的变化区域对应的变化区域图像数据上合成彩色图像的背景图像数据而得到的，所述彩色图像的背景图像数据根据通过摄像部在第2拍摄模式紧前的第1拍摄模式下获取的第1图像数据而生成且与和第2图像数据内的变化区域不同的背景区域对应。

Description

摄像装置、该摄像装置的图像处理方法及程序
技术领域
本发明涉及一种设置于固定位置且无论昼夜进行被摄体的拍摄的摄像装置、该摄像装置的图像处理方法及程序。
背景技术
近年来，广泛使用在公共设施及商业设施及住居地等设置于固定位置(定点)且无论昼夜进行被摄体的拍摄的监控摄像机(摄像装置)。这种昼夜兼用(也称为白天/夜晚功能(day night function))的监控摄像机通常白天(昼间)拍摄被摄体的可见光图像，夜间拍摄被摄体的近红外光图像。
专利文献1中记载有一种混合式摄像机，其具备：可见光摄像机，拍摄被摄体的可见光图像；及红外线摄像机，拍摄被摄体的热图像。通过将该专利文献1的混合式摄像机适用于上述监控摄像机来将2种摄像部设置于监控摄像机中，由此能够进行白天的可见光图像的拍摄和夜间的近红外光图像的拍摄。
并且，专利文献1的混合式摄像机根据可见光图像的图像数据生成与被摄体的背景区域对应的背景图像数据，并且根据热图像的图像数据生成与被摄体内的运动体对应的运动体图像数据，并在背景图像数据上合成运动体图像数据，由此生成合成图像数据。如此，通过在基于可见光图像的背景图像上重合基于热图像的运动体图像，能够提供容易看清的图像。
专利文献2中记载有一种摄像装置，其中，透过红外线截止滤波器插入到摄像光路中的光学系统拍摄被摄体的可见光图像，且透过红外线截止滤波器从摄像光路中退避的光学系统拍摄被摄体的近红外光图像。通过将该专利文献2的摄像装置适用于上述昼夜兼用的监控摄像机中，能够进行白天的可见光图像的拍摄和夜间的近红外光图像的拍摄。
此时，根据红外线截止滤波器的有无，光路长度会发生变化，因此焦距也大幅变化，从而有可能发生图像模糊。因此，专利文献2中所记载的摄像装置中，通过在前述摄像光路上设置相位调制元件来抑制图像模糊的发生。
现有技术文献
专利文献
专利文献1：日本特开2009-010675号公报
专利文献2：日本特开2011-128238号公报
发明内容
发明所要解决的问题
通过监控摄像机的夜间的拍摄而得到的近红外光图像为单色图像(黑白图像)，因此发生与通过白天的拍摄而得到的可见光图像相比难以看清的问题。因此，将前述专利文献1中所记载的技术适用于监控摄像机，在由可见光图像数据生成的背景图像数据上合成由近红外光图像数据生成的运动体图像数据来生成合成图像数据，由此能够使近红外光图像容易看清。然而，在该情况下，需同时进行可见光图像的拍摄和近红外光图像的拍摄。即，需要在监控摄像机中设置可见光图像的拍摄用及近红外光图像的拍摄用的2种摄像部。其结果，发生监控摄像机的大型化及部件件数增加的问题。
并且，当将前述专利文献1中所记载的技术适用于监控摄像机时，需要利用高灵敏度摄像机在低照度下的夜间进行可见光图像的拍摄，在该情况下，发生可见光图像中的干扰增加的问题。
专利文献2中记载有在摄像光路上设置相位调制元件来抑制由红外线截止滤波器的有无引起的图像模糊的发生，但没有关于如专利文献1那样生成合成图像数据的记载或暗示。因此，专利文献2的摄像装置中，通过夜间的拍摄而得到的单色图像的近红外光图像相比通过白天的拍摄而得到的可见光图像难以看清的问题未得到解决。另外，专利文献2的摄像装置中，需要在摄像光路上设置相位调制元件，因此发生监控摄像机的大型化及部件件数增加的问题。
本发明是鉴于这种情况而完成的，其目的在于提供一种抑制大型化及部件件数的增加，并且能够使近红外光图像容易看清的摄像装置、摄像装置的图像处理方法及程序。
用于解决问题的手段
用于实现本发明的目的的摄像装置，其设置于固定位置，具备：光学系统，红外线截止滤波器能够插入到摄像光路中或者从摄像光路中退避；摄像部，其具有第1拍摄模式和第2拍摄模式，在所述第1拍摄模式下，透过红外线截止滤波器插入到摄像光路中的光学系统拍摄被摄体，获取表示可见光图像的第1图像数据，所述可见光图像为被摄体的可见光图像且为彩色图像，在所述第2拍摄模式下，透过红外线截止滤波器从摄像光路中退避的光学系统拍摄被摄体，获取包含近红外光图像的第2图像数据，所述近红外光图像为被摄体的近红外光图像且为单色图像；拍摄模式切换部，在第1拍摄模式与第2拍摄模式之间交替切换；及变化区域检测部，当摄像部在第2拍摄模式下动作时，检测在由摄像部获取的第2图像数据内，与第2图像数据之前由摄像部获取的第2图像数据相比存在变化的变化区域；及合成图像数据生成部，根据变化区域检测部的检测结果，生成合成图像数据，所述合成图像数据是在与第2图像数据内的变化区域对应的变化区域图像数据上合成彩色图像的背景图像数据而得到的，所述彩色图像的背景图像数据是根据通过摄像部在第2拍摄模式紧前的第1拍摄模式下获取的第1图像数据而生成且与和第2图像数据内的变化区域不同的背景区域对应。
根据本发明，能够根据在第1拍摄模式下获取的表示可见光图像(彩色图像)的第1图像数据，将在第2拍摄模式下获取的包含近红外光图像(单色图像)的第2图像数据的背景区域进行彩色显示。
本发明的其他方式所涉及的摄像装置中，合成图像数据生成部根据从与第1图像数据内的背景区域对应的区域中抽取的颜色信息和第2图像数据的背景区域中的亮度信息，生成背景图像数据。由此，能够根据亮度信息再现实际的明暗，可得到接近现实的图像(合成图像数据)。
本发明的其他方式所涉及的摄像装置中，合成图像数据生成部使用与第1图像数据内的背景区域对应的区域中所包含的图像数据其本身来生成背景图像数据。作为背景图像数据，直接使用可见光图像的第1图像数据，因此可防止背景图像数据受到前述色差(倍率色差)的影响。并且，在背景图像数据的生成中不需要复杂的图像处理等，且系统的负荷减少。
本发明的其他方式所涉及的摄像装置中，非变化区域检测部，检测在第1拍摄模式下由摄像部在不同的时刻获取的多个第1图像数据中的非变化区域；及根据非变化区域检测部的检测结果，由与第1图像数据内的非变化区域对应的图像数据生成背景图像数据。由此，能够从基于背景图像数据的图像内除去运动体。
本发明的其他方式所涉及的摄像装置中，具备至少对变化区域图像数据进行锐化处理的锐化处理部。由此，能够校正可见光与近红外光的色差(倍率色差)。
本发明的其他方式所涉及的摄像装置中，具备至少对变化区域图像数据进行倍率色差校正处理的倍率色差校正处理部。由此，能够校正可见光与近红外光的色差(倍率色差)。
本发明的其他方式所涉及的摄像装置中，具备至少对变化区域图像数据进行基于对近红外光的光学系统的第1光学特性的点像复原处理的第1点像复原处理部。由此，能够校正可见光与近红外光的色差(倍率色差)。
本发明的其他方式所涉及的摄像装置中，第1光学特性为对近红外光的光学系统的第1点扩散函数，第1点像复原处理部对变化区域图像数据进行的点像复原处理中，复原变化区域图像数据的振幅分量和由非点对称的第1点扩散函数的形状而产生的相位分量。由此，能够校正可见光与近红外光的色差(倍率色差)。
本发明的其他方式所涉及的摄像装置中，对第1图像数据进行基于对可见光的光学系统的第2光学特性的点像复原处理。由此，能够校正可见光与近红外光的色差(倍率色差)。
本发明的其他方式所涉及的摄像装置中，第2光学特性为对红色、绿色及蓝色的可见光的光学系统的每个颜色的第2点扩散函数，第2点像复原处理部对第1图像数据进行的点像复原处理包含基于每个颜色的第2点扩散函数的使用了复原滤波器的第1图像数据的相位分量的复原处理。由此，能够校正可见光与近红外光的色差(倍率色差)。
用于实现本发明的目的的摄像装置的图像处理方法，所述摄像装置设置于固定位置，其具备：光学系统，红外线截止滤波器能够插入到摄像光路中或者从摄像光路中退避；摄像部，其具有第1拍摄模式和第2拍摄模式，在所述第1拍摄模式下，透过红外线截止滤波器插入到摄像光路中的光学系统拍摄被摄体，获取表示可见光图像的第1图像数据，所述可见光图像为被摄体的可见光图像且为彩色图像，在所述第2拍摄模式下，透过红外线截止滤波器从摄像光路中退避的光学系统拍摄被摄体，获取包含近红外光图像的第2图像数据，所述近红外光图像为被摄体的近红外光图像且为单色图像；及拍摄模式切换部，在第1拍摄模式与第2拍摄模式之间交替切换，所述摄像装置的图像处理方法具备以下步骤：变化区域检测步骤，当摄像部在第2拍摄模式下动作时，检测在由摄像部获取的第2图像数据内，与第2图像数据之前由摄像部获取的第2图像数据相比存在变化的变化区域；及合成图像数据生成步骤，根据变化区域检测步骤的检测结果，生成合成图像数据，所述合成图像数据是在与第2图像数据内的变化区域对应的变化区域图像数据上合成彩色图像的背景图像数据而得到的，所述彩色图像的背景图像数据是根据通过摄像部在第2拍摄模式紧前的第1拍摄模式下获取的第1图像数据而生成且与和第2图像数据内的变化区域不同的背景区域对应。
用于实现本发明的目的的程序使摄像装置的计算机作为如下机构发挥功能，所述摄像装置设置于固定位置，其具备：光学系统，红外线截止滤波器能够插入到摄像光路中或者从摄像光路中退避；摄像部，其具有第1拍摄模式和第2拍摄模式，在第1拍摄模式下，透过红外线截止滤波器插入到摄像光路中的光学系统拍摄被摄体，获取表示可见光图像的第1图像数据，所述可见光图像为被摄体的可见光图像且为单色图像，在所述第2拍摄模式下，透过红外线截止滤波器从摄像光路中退避的光学系统拍摄被摄体，获取包含近红外光图像的第2图像数据，所述近红外光图像为被摄体的近红外光图像且为单色图像；及拍摄模式切换部，在第1拍摄模式与第2拍摄模式之间交替切换，所述机构为：变化区域检测机构，当摄像部在第2拍摄模式下动作时，检测在由摄像部获取的第2图像数据内，与第2图像数据之前由摄像部获取的第2图像数据相比存在变化的变化区域；及合成图像数据生成机构，根据变化区域检测机构的检测结果，生成合成图像数据，所述合成图像数据是在与第2图像数据内的变化区域对应的变化区域图像数据上合成彩色图像的背景图像数据而得到的，所述彩色图像的背景图像数据是根据通过所述摄像部在第2拍摄模式紧前的第1拍摄模式下获取的第1图像数据而生成且与和第2图像数据内的变化区域不同的背景区域对应。记录有该程序的计算机可读取的非暂时性有形介质(a non-transitory computer-readable tangiblemedium)也包含于本发明的方式中。
发明效果
本发明的摄像装置、摄像装置的图像处理方法及程序能够抑制大型化及部件件数的增加，并且使通过第2拍摄模式时的拍摄而得到的近红外光图像容易看清。
附图说明
图1是表示以昼夜兼用而使用的监控摄像机的功能结构例的框图，是表示白天(昼间)进行拍摄的状态的图。
图2是表示监控摄像机的功能结构例的框图，是表示夜间进行拍摄的状态的图。
图3是表示摄像机主体控制器的电构成的框图。
图4是用于说明由设备控制部进行的控制(尤其是拍摄模式的切换控制)的说明图。
图5是图像处理部的功能框图。
图6是表示运动体区域检测部的功能框图的一例的图。
图7是用于说明由运动体区域检测部进行的运动体区域的检测处理的流程的说明。
图8是用于说明由选择部进行的合成图像数据的生成处理的说明图。
图9是表示第1拍摄模式时的监控摄像机的拍摄处理及图像处理的流程的流程图。
图10是表示第2拍摄模式时的监控摄像机的拍摄处理及图像处理的流程的流程图。
图11是构成第2实施方式的监控摄像机的图像处理部的功能框图。
图12是用于说明由选择部进行的颜色信息合成数据的生成处理的说明图。
图13是表示第1拍摄模式时的第2实施方式的监控摄像机的拍摄处理及图像处理的流程的流程图。
图14是表示第2拍摄模式时的第2实施方式的监控摄像机的拍摄处理及图像处理的流程的流程图。
图15是构成第3实施方式的监控摄像机的图像处理部的功能框图。
图16是构成第4实施方式的监控摄像机的图像处理部的功能框图。
图17是用于说明第1拍摄模式时的由点像复原处理部进行的点像复原处理的说明图。
图18是用于说明点像复原处理的相位校正和振幅校正的说明图。
图19是用于说明第2拍摄模式时的由点像复原处理部进行的点像复原处理的说明图。
具体实施方式
[第1实施方式的监控摄像机的整体结构]
图1是表示以昼夜兼用而使用的监控摄像机10的功能结构例的框图，是表示白天(昼间)进行拍摄的状态的图。图2是表示监控摄像机10的功能结构例的框图，是表示夜间进行拍摄的状态的图。在此，本说明书中所说的“白天”及“夜间”并非规定特定的时间段，有时“白天”及“夜间”分别包含黎明和傍晚。
如图1及图2所示，相当于本发明的摄像装置的监控摄像机10为数码相机的一种，在公共设施及商业设施及住居地等设置于固定位置(定点)。该监控摄像机10白天进行被摄体(监控区域)的可见光图像的拍摄，夜间进行被摄体的近红外光图像的拍摄，由此无论昼夜进行被摄体的拍摄。并且，监控摄像机10与个人计算机(Personal Computer：PC)等计算机60连接，将通过被摄体的拍摄而得到的图像数据输出至计算机60。
在此，所谓近红外光图像为至少在近红外光的波长范围保持灵敏度而拍摄被摄体所得的图像。该近红外光的波长范围并没有特别限定，在700nm至2500nm的范围。并且，所谓可见光图像为在可见光的波长范围(一般是380nm至780nm)保持灵敏度而拍摄被摄体所得的图像。
监控摄像机10具备透镜单元12和摄像机主体14。另外，监控摄像机10的外观并不限定于图1及图2所示的外观，例如透镜单元12及摄像机主体14可以由透明的圆顶覆盖。
透镜单元12设置于摄像机主体14的前表面。透镜单元12具备近红外光发光部15、包含聚焦透镜或变焦透镜等的透镜16、光圈17及驱动透镜16和光圈17的透镜驱动部18。
近红外光发光部15在通过监控摄像机10进行夜间的拍摄时，朝向被摄体发出近红外光作为辅助光。由此，即使在通过监控摄像机10在夜间较暗状态(低照度下)下进行拍摄的情况下，也可得到鲜明的被摄体的近红外光图像的图像数据。
透镜驱动部18包含透镜单元控制器20及驱动透镜16和光圈17的致动器(未图示)。透镜单元控制器20经由设置于摄像机主体14的透镜单元输入输出部22与摄像机主体14电连接。该透镜单元控制器20根据从摄像机主体14输入的控制信号，通过前述致动器驱动透镜16及光圈17。由此，进行基于透镜16的透镜移动的聚焦控制和变焦控制以及光圈17的光圈量控制。
摄像机主体14除了前述透镜单元输入输出部22以外，还具备滤波器驱动部24、红外线(IR：infrared)截止滤波器25、摄像部26、照度传感器27、摄像机主体控制器28、摄像机主体输入输出部30及输入输出接口32。
红外线截止滤波器25为遮挡红外光的滤波器，与透镜单元12的透镜16及光圈17一同构成本发明的光学系统。该红外线截止滤波器25能够通过滤波器驱动部24插入到透镜单元12的摄像光路L中或者从摄像光路L中退避。在此，所谓摄像光路L为入射到透镜单元12的光到达后述的摄像部26为止的光路。另外，本实施方式中，红外线截止滤波器25设置于摄像机主体14内，但也可以设置于透镜单元12内。
滤波器驱动部24在摄像机主体控制器28的控制下，当被摄体的可见光图像的拍摄时(后述的第1拍摄模式)将红外线截止滤波器25插入到摄像光路L中，当被摄体的近红外光图像的拍摄时(后述的第2拍摄模式)使红外线截止滤波器25从摄像光路L中退避。由此，在可见光图像的拍摄时能够遮挡入射到后述的摄像部26的红外光。另外，红外线截止滤波器25的种类并没有特别限定，例如可以使用遮挡近红外光的近红外光截止滤波器。
作为摄像部26，包含CCD(Charge Coupled Device：电荷耦合元件)型的摄像元件或CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)型的摄像元件及各种信号处理电路。在本实施方式的摄像部26的摄像元件的摄像面上，以矩阵状排列有具有红色(R：Red)和绿色(G：Green)及蓝色(B：Blue)3色(也可以为3色以上)的滤色器的RGB像素。RGB像素不仅在可见光的波长范围具有灵敏度，而且在近红外光的波长范围的一部分(尤其是由近红外光发光部15发出的近红外光的波长范围)也具有灵敏度，在近红外光图像的拍摄时(后述的第2拍摄模式时)作为近红外光像素发挥功能。
摄像部26透过透镜单元12拍摄被摄体而获取被摄体的图像数据，并将该图像数据输出至摄像机主体控制器28。该摄像部26中，作为拍摄模式，具有与白天的拍摄对应的第1拍摄模式和与夜间的拍摄对应的第2拍摄模式。另外，摄像部26的拍摄模式的切换通过摄像机主体控制器28来执行。
在第1拍摄模式下，摄像部26以红外线截止滤波器25插入到摄像光路L中的状态透过透镜单元12拍摄被摄体，获取表示被摄体的彩色图像即可见光图像的第1图像数据D1。第1图像数据D1由RGB的各颜色的图像数据构成。另外，第1拍摄模式只要红外线截止滤波器25插入到摄像光路L中，则其他条件是任意的。
并且，在第2拍摄模式下，摄像部26以红外线截止滤波器25从摄像光路L中退避的状态透过透镜单元12拍摄被摄体，获取包含被摄体的单色图像即近红外光图像的第2图像数据D2。在此，“包含近红外光图像的第2图像数据D2”是指即使在夜间，根据时间段或周围的环境，可见光向摄像部26的入射也不为零，不仅包含通过近红外光的拍摄而得到的第2图像数据D2，还包含通过可见光的拍摄而得到的第2图像数据D2。但是，在夜间的拍摄中，可见光的光量减少，另外，本实施方式中，通过近红外光发光部15发出近红外光作为辅助光，因此入射到摄像部26的可见光的光量相比近红外光的光量大幅减少。因此，第2图像数据D2不具有颜色的信息，能够视为由亮度信息(亮度信号)构成的单色图像数据。另外，当在第2拍摄模式时可见光向摄像部26的入射成为问题时，可以在摄像光路L中插入遮挡可见光的可见光截止滤波器。
照度传感器27检测通过监控摄像机10拍摄的被摄体(监控区域)的照度，并将该照度检测结果输出至摄像机主体控制器28。由照度传感器27检测的照度检测结果例如用于由近红外光发光部15进行的近红外光的发光开始及发光结束的切换、红外线截止滤波器25的插入及退避的切换、以及摄像部26的拍摄模式的切换。
摄像机主体控制器28例如由包含CPU(Central Processing Unit：中央处理单元)的各种形状的运算部、处理部及存储部(存储器)构成，集中控制监控摄像机10整体的动作和处理。
图3是表示摄像机主体控制器28的电构成的框图。如图3所示，摄像机主体控制器28具有设备控制部34、图像处理部35及存储部36。
设备控制部34通过执行从存储部36读出的控制用程序37A来控制监控摄像机10的各部的动作。例如，设备控制部34生成用于控制透镜单元12的控制信号，并将该控制信号从摄像机主体输入输出部30发送至透镜单元控制器20(参考图1及图2)。由此，执行前述聚焦控制和变焦控制以及光圈17的光圈量控制。并且，设备控制部34控制由摄像部26进行的拍摄处理及图像数据的输出处理。
另外，设备控制部34根据由照度传感器27检测的照度检测结果，分别控制摄像部26的拍摄模式的切换、由近红外光发光部15进行的近红外光的发光开始及发光结束的切换、以及红外线截止滤波器25的插入及退避的切换。即，设备控制部34作为本发明的拍摄模式切换部发挥功能。
图4是用于说明由设备控制部34进行的控制(尤其是拍摄模式的切换控制)的说明图。如图4所示，设备控制部34将从照度传感器27输入的被摄体的照度检测结果作为拍摄模式切换条件而进行摄像部26的拍摄模式的切换。具体而言，若照度检测结果为预先设定的阈值以上，则设备控制部34判定为“白天”，并将摄像部26的拍摄模式切换成第1拍摄模式。由此，摄像部26进行在第1拍摄模式下的拍摄。图中的符号“an-1”、“an”(n为任意的自然数)表示由摄像部26进行的拍摄的时刻。
另一方面，若照度检测结果小于预先设定的阈值，则设备控制部34判定为“夜间”，并将摄像部26的拍摄模式切换成第2拍摄模式。由此，摄像部26进行在第2拍摄模式下的拍摄。图中的符号“bn-1”、“bn”表示由摄像部26进行的拍摄的时刻，符号“A”表示拍摄的时间间隔。另外，在第1拍摄模式下的摄像的时间间隔并没有特别限定，可以是与第2拍摄模式相同的时间间隔A。
如此，设备控制部34根据由照度检测结果判别出的“白天”、“夜间”、“白天”、“夜间”、……的重复，将摄像部26的拍摄模式在第1拍摄模式与第2拍摄模式之间交替切换。
并且，当将摄像部26切换成第1拍摄模式时，设备控制部34控制近红外光发光部15使近红外光结束发光，并且控制滤波器驱动部24使红外线截止滤波器25插入到摄像光路L中。相反，当将摄像部26切换成第2拍摄模式时，设备控制部34控制近红外光发光部15使近红外光开始发光，并且控制滤波器驱动部24使红外线截止滤波器25从摄像光路L中退避。图中的符号“CH”为拍摄模式的切换的时刻，即红外线截止滤波器25的插入及退避的切换的时刻。
另外，本实施方式的设备控制部34根据由照度传感器27检测的照度检测结果进行摄像部26的拍摄模式的切换，但拍摄模式切换条件并不限定于照度检测结果，可以适当变更。例如，也可以将预先设定的时间段(“白天”为AM6:00～PM6:00，“夜间”为PM6:00～AM6:00)作为拍摄模式切换条件，根据时间段进行摄像部26的拍摄模式的切换。
返回到图3，图像处理部35通过执行从存储部36读出的图像处理用程序37B而对从摄像部26输入的图像数据(第1图像数据D1及第2图像数据D2)进行后述的图像处理。而且，图像处理部35将图像处理后的图像数据输出至输入输出接口32(参考图1及图2)。
图像处理用程序37B相当于本发明的程序。关于该图像处理用程序37B，将在后面叙述详细内容，使构成监控摄像机10的计算机的一部分的图像处理部35作为包含本发明的变化区域检测机构(运动体区域检测部48)和本发明的合成图像数据生成机构(背景图像数据生成部43及选择部50)的多个处理部发挥功能(参考图5)。
返回到图1及图2，输入输出接口32与外部设备类(计算机60等)有线或无线连接，对计算机60等输出图像处理后的图像数据。另外，被发送至计算机60等的图像数据的格式并没有特别限定，可以设为任意的格式。
计算机60经由摄像机主体14的输入输出接口32及计算机输入输出部62与监控摄像机10连接，接收从监控摄像机10发送过来的图像数据等数据类。该计算机60具有计算机控制器64和显示器66。
计算机控制器64集中控制计算机60。计算机控制器64对来自监控摄像机10的图像数据进行图像处理，并控制与经由因特网等网络线路70与计算机输入输出部62连接的服务器80等之间的通信。显示器66显示从监控摄像机10输入的图像。
服务器80具有服务器输入输出部82及服务器控制器84。服务器输入输出部82构成与计算机60等外部设备类的发送接收连接部，经由网络线路70与计算机输入输出部62连接。服务器控制器84根据来自计算机60的控制指示信号，与计算机控制器64协同作用而在与计算机控制器64之间根据需要进行数据类的发送接收，将数据类下载到计算机60中，进行运算处理并将该运算结果发送至计算机60。
另外，监控摄像机10及计算机60以及服务器80之间的通信可以是有线通信及无线通信中的任一种。并且，可以将计算机60及服务器80构成为一体，进而，也可以省略两者中的一方或双方。并且，可以使监控摄像机10具有与服务器80之间的通信功能，使得在监控摄像机10与服务器80之间直接进行数据类的发送接收。
[图像处理部的结构]
图5是图像处理部35的功能框图。图像处理部35在第1拍摄模式时对从摄像部26输入的第1图像数据D1实施图像处理，并将图像处理后的第1图像数据D1输出至输入输出接口32。并且，图像处理部35根据第1图像数据D1生成与被摄体的背景区域对应的背景图像数据DB。
另一方面，图像处理部35在第2拍摄模式时生成合成图像数据D3，所述合成图像数据D3是在其紧前的第1拍摄模式时所生成的背景图像数据DB上合成与第2图像数据D2内的运动体区域对应的运动体图像数据DM(相当于本发明的变化区域图像数据，参考图8)而得到的。即，图像处理部35能够根据白天获取的彩色图像的第1图像数据D1，将夜间获取的单色图像的第2图像数据D2的背景区域进行彩色显示。另外，在第2拍摄模式时，作为其紧前的第1拍摄模式时所生成的背景图像数据DB，只要是从第1摄影模式过渡到第2拍摄模式之前的第1摄影模式时(当前的第2拍摄模式的前一个的第1拍摄模式时)所生成的背景图像数据DB，则没有特别限定。例如，可以是根据过渡到第2拍摄模式之前的第1摄影模式时的最后的帧(第1图像数据D1)生成的背景图像数据DB、或根据与最后的帧相比特定期间之前的帧或从该帧至最后的帧为止期间的帧生成的背景图像数据DB。并且，作为背景图像数据DB没有变化时，可以使用根据从在第1摄影模式下未发生变化的时刻至第1摄影模式的最后的帧为止期间的帧生成的背景图像数据DB。另外，也可以使用多个帧中的背景图像数据DB的平均值等。
如图5所示，图像处理部35通过执行从前述存储部36读出的图像处理用程序37B而在第1拍摄模式时作为第1图像处理部35A发挥功能，在第2拍摄模式时作为第2图像处理部35B发挥功能。另外，本实施方式中，为了方便说明，将图像处理部35分为第1图像处理部35A和第2图像处理部35B，但两者也可以是一体。
[关于第1图像处理部]
第1图像处理部35A作为非变化区域检测部42和背景图像数据生成部43发挥功能。第1图像处理部35A通过未图示的图像处理电路对从摄像部26输入的第1图像数据D1实施白平衡校正或灰度校正等图像处理之后，将图像处理后的第1图像数据D1输出至输入输出接口32。并且，第1图像处理部35A通过非变化区域检测部42及背景图像数据生成部43进行前述背景图像数据DB的生成。
非变化区域检测部42检测在第1拍摄模式下通过摄像部26在不同的时刻获取的多个第1图像数据D1中的非变化区域V1(相当于图7中的背景区域V3)。该非变化区域V1相当于成为监控摄像机10的拍摄对象的被摄体(监控区域)内的背景区域，是被假定为无论昼夜不发生变化的区域。
具体而言，非变化区域检测部42将在第1拍摄模式下通过摄像部26获取的第1图像数据D1按预先设定的存储时刻存储于未图示的缓冲器中。该缓冲器具有存储多个帧量的第1图像数据D1的存储区域，新的第1图像数据D1覆盖在缓冲器内的最早的第1图像数据D1上。而且，非变化区域检测部42按预先设定的非变化区域V1的检测时刻分析缓冲器内的多个第1图像数据D1而检测非变化区域V1。另外，非变化区域V1的检测方法使用与由后述的运动体区域检测部48进行的运动体区域检测基本相同的方法，因此将在后面叙述详细内容(参考图6及图7)。非变化区域检测部42将非变化区域V1的检测结果(图5中，简单表示为“V1”)输出至背景图像数据生成部43。
背景图像数据生成部43根据从非变化区域检测部42输入的非变化区域V1的检测结果和通过摄像部26获取的第1图像数据D1，从该第1图像数据D1中抽取与非变化区域V1对应的图像数据而生成背景图像数据DB。如此，通过根据非变化区域V1的检测结果进行背景图像数据DB的生成，能够从基于背景图像数据DB的图像内除去运动体。而且，背景图像数据生成部43将生成的背景图像数据DB存储于未图示的存储器等。以下，背景图像数据生成部43每当从非变化区域检测部42输入非变化区域V1的检测结果时生成新的背景图像数据DB，并更新存储于存储器等的背景图像数据DB。
[关于第2图像处理部]
第2图像处理部35B作为倍率色差校正处理部46、过去图像保持缓冲器47、运动体区域检测部48、转换部49及选择部50发挥功能。第2图像处理部35B生成合成图像数据D3，所述合成图像数据D3是在紧前的第1拍摄模式下通过第1图像处理部35A生成的背景图像数据DB上合成与在第2拍摄模式下通过摄像部26获取的第2图像数据D2内的运动体区域对应的运动体图像数据DM(参考图8)而得到的。
倍率色差校正处理部46对在第2拍摄模式下从摄像部26按时间间隔A(参考图4)输入的第2图像数据D2实施倍率色差校正处理。本实施方式中，如上所述，生成在根据可见光图像的第1图像数据D1生成的背景图像数据DB上合成近红外光图像的第2图像数据D2内的运动体图像数据DM而得到的合成图像数据D3。此时，由于可见光与近红外光的色差(倍率色差)，通过摄像部26拍摄的可见光图像与近红外光图像的大小产生差异。因此，若不进行某种处理，则对大小(图像尺寸)不同的背景图像数据DB和第2图像数据D2(运动体图像数据DM)进行合成，导致生成不自然的合成图像数据D3。
另外，作为昼夜兼用的监控摄像机10中所使用的透镜16，可以使用从可见光至近红外区域为止具有现实性的透射率且光学地校正了可见光与近红外光的色差(倍率色差)的昼夜兼用透镜。但是，一般而言，即使是昼夜兼用的透镜，直至近红外区域为止的完全的色差校正并不现实，由于透镜片数等的限制而残留像差。尤其，在监控用的广角变焦透镜等中，需要在广角端优先抑制可见光与近红外光的焦点偏移，具有无法彻底抑制色差(倍率色差)的倾向。
因此，倍率色差校正处理部46通过对从摄像部26按时间间隔A(参考图4)输入的第2图像数据D2实施倍率色差校正处理来校正可见光与近红外光的色差(倍率色差)。倍率色差校正处理例如通过使第2图像数据D2的各像素的像素位置位移等公知的方法来进行。并且，关于此时的校正量，使用根据监控摄像机10的光学系统(透镜16、光圈17及红外线截止滤波器25)的种类预先设定的校正量。倍率色差校正处理部46将倍率色差校正处理后的第2图像数据D2分别输出至过去图像保持缓冲器47、运动体区域检测部48及转换部49。
过去图像保持缓冲器47暂时存储从倍率色差校正处理部46输入的倍率色差校正处理后的第2图像数据D2。例如，过去图像保持缓冲器47具有存储2帧量的第2图像数据D2的存储区域。从倍率色差校正处理部46输入至过去图像保持缓冲器47的新的第1图像数据D1覆盖在缓冲器内的最早的第2图像数据D2上。
运动体区域检测部48相当于本发明的变化区域检测部。该运动体区域检测部48检测在从倍率色差校正处理部46新输入的第2图像数据D2(以下，简略为“新的第2图像数据D2”)内与被摄体内的运动体对应的运动体区域V2(参考图7)。该运动体区域V2的检测通过新的第2图像数据D2与通过倍率色差校正处理部46预先存储于过去图像保持缓冲器47的第2图像数据D2(以下，简略为“之前的第2图像数据D2”)的比较来进行。
即，运动体区域检测部48将在如图4所示的摄像时刻“bn”得到的新的第2图像数据D2内，与在时间间隔A之前的摄像时刻“bn-1”得到的之前的第2图像数据D2比较时存在变化的变化区域检测为运动体区域V2。因此，运动体区域V2相当于本发明的变化区域。并且，本说明书中所说的“运动体”并不一定限定于在被摄体(监控区域)内移动的物体，还包含在获取之前的第2图像数据D2时不存在于被摄体内的物体。
在此，当时间间隔A被设定为极短时，即使对新的第2图像数据D2和之前的第2图像数据D2进行比较，被摄体内的运动体的位置及形状等也不会产生明确的差异，因此无法检测与被摄体内的运动体对应的运动体区域V2。因此，时间间隔A被设定为对新的第2图像数据D2和之前的第2图像数据D2进行比较时，能够根据两者的差异识别被摄体内的运动体的程度的较长的时间间隔，例如几十秒钟至几分钟。
图6是表示运动体区域检测部48的功能框图的一例的图。并且，图7(A)至(D)是用于说明由运动体区域检测部48进行的运动体区域V2的检测处理的流程的说明图。另外，图7中，假定为获取之前的第2图像数据D2时不存在于被摄体内的运动体在获取新的第2图像数据D2时出现在被摄体内的情况来进行说明。
如图6所示，运动体区域检测部48包含差分区域抽取处理部52、二值化处理部53、中值滤波处理部54、膨胀运算处理部55及收缩运算处理部56。
如图7(A)所示，差分区域抽取处理部52进行抽取新的第2图像数据D2与之前的第2图像数据D2的差分区域的差分区域抽取处理，生成表示该差分区域抽取处理的结果的差分区域抽取图像数据DF。另外，在实际的摄像系统中，当两张图像数据(第2图像数据D2)的拍摄间隔分开时，由于因时间经过引起的暗电流分量的变化或环境光量的变化，每个图像的QL(Quantum Level：量子能级)值的偏移值发生变化，即便不是运动体区域V2，也有可能发生QL值大幅变化的现象。因此，考虑到该现象，需要适用经时偏移值校正，或者设置从图像比较对象中忽略掉DC(直流电：direct current)分量的鲁棒的运动体检测处理。但是，在此为了简化处理，假定为不会发生这种QL值的变化而仅在运动体的存在区域发生QL值的变化。
接着，二值化处理部53对差分区域抽取图像数据DF实施二值化处理。由此，按差分区域抽取图像数据DF的每个像素，亮度值为预先设定的阈值以上时亮度值转换成“1”，相反，亮度值小于预先设定的阈值时亮度值转换成“0”。其结果，例如与差分区域抽取图像数据DF内的运动体区域V2对应的像素的亮度值转换成“1”，与差分区域抽取图像数据DF内的背景区域V3对应的像素的亮度值转换成“0”。另外，背景区域V3成为实质上与前述第1图像数据D1内的非变化区域V1相同的区域。
如图7(B)所示，中值滤波处理部54通过对二值化处理后的差分区域抽取图像数据DF实施中值滤波处理来除去混入到差分区域抽取图像数据DF中的暗干扰等干扰。
如图7(C)及图7(D)所示，膨胀运算处理部55及收缩运算处理部56对中值滤波处理后的差分区域抽取图像数据DF实施闭(Closing)处理。具体而言，膨胀运算处理部55对差分区域抽取图像数据DF实施膨胀运算处理之后(参考图7(C))，收缩运算处理部56对差分区域抽取图像数据DF实施收缩运算处理(参考图7(D))。通过该闭处理(膨胀运算处理及收缩运算处理)除去差分区域抽取图像数据DF中所包含的微细的(较小的)图案。其结果，可防止差分区域抽取图像数据DF内的运动体区域V2和背景区域V3各自成为斑点状。
在这种闭处理后的差分区域抽取图像数据DF中，亮度值为“1”的像素聚集的区域成为运动体区域V2，相反，亮度值为“0”的像素聚集的区域成为背景区域V3。因此，运动体区域检测部48能够根据差分区域抽取图像数据DF内的构成运动体区域V2的各像素的位置坐标来检测新的第2图像数据D2内的运动体区域V2。而且，运动体区域检测部48将构成运动体区域V2的各像素的位置坐标作为新的第2图像数据D2内的运动体区域V2的检测结果(图5中，简单表示为“V2”)而输出至选择部50。
另外，前述非变化区域检测部42通过与图6及图7所示的运动体区域检测部48基本相同的方法(在此，相反地，检测背景区域V3)检测在不同的时刻获取的多个第1图像数据D1内的非变化区域V1(相当于背景区域V3)，并将该检测结果输出至背景图像数据生成部43。
返回到图5，转换部49将从倍率色差校正处理部46输入的新的第2图像数据D2转换成与前述第1图像数据D1(背景图像数据DB)相同的RGB图像数据。在此，第2图像数据D2为如上所述仅由亮度信息(亮度信号)构成的图像数据，不具有颜色信息。因此，转换部49对第2图像数据D2附加颜色信息之后，将该第2图像数据D2转换成RGB图像数据。
最初，转换部49对从倍率色差校正处理部46输入的新的第2图像数据D2附加预先设定的颜色信息即红外光运动体颜色58(CbCr规定值)而将第2图像数据D2设为YCbCr图像数据。由此，颜色信息附加到成为合成图像数据D3的第2图像数据D2内的运动体图像数据DM(参考图8)，能够将合成图像数据D3内的运动体图像数据DM进行彩色显示。该红外光运动体颜色58为规定基于合成图像数据D3的图像内所显示的运动体的颜色的颜色，能够选择任意的颜色。
接着，转换部49将YCbCr图像数据即第2图像数据D2转换成RGB图像数据之后，输出至选择部50。
选择部50与前述背景图像数据生成部43一同构成本发明的合成图像数据生成部。选择部50根据从运动体区域检测部48输入的运动体区域V2的检测结果，生成合成图像数据D3，所述合成图像数据D3是在紧前的第1拍摄模式下由背景图像数据生成部43生成的背景图像数据DB上合成与第2图像数据D2内的运动体区域V2对应的运动体图像数据DM而得到的。
图8是用于说明由选择部50进行的合成图像数据D3的生成处理的说明图。另外，图8中的第2图像数据D2内的阴影显示表示附加有前述红外光运动体颜色58。
如图8所示，选择部50根据从运动体区域检测部48输入的运动体区域V2的检测结果，判定合成图像数据D3的第1个像素(例如左下角的像素)属于运动体区域V2及背景区域V3中的哪一个区域。而且，当合成图像数据D3的第1个像素属于背景区域V3时，选择部50在背景图像数据DB及第2图像数据D2各自的第1个像素(左下角的像素)中选择背景图像数据DB内的第1个像素并进行输出。
另一方面，当合成图像数据D3的第1个像素属于运动体区域V2时，选择部50在背景图像数据DB及第2图像数据D2各自的第1个像素中选择第2图像数据D2内的第1个像素并进行输出。
以下同样地，选择部50对合成图像数据D3的剩余的第N个像素，也根据运动体区域V2的检测结果输出从背景图像数据DB及第2图像数据D2中的一方选择的第N个像素。在此，“N”为2以上且合成图像数据D3的所有像素数以下的数。由此，在合成图像数据D3的各像素中，选择第2图像数据D2的像素作为属于运动体区域V2的像素，并选择背景图像数据DB的像素作为属于背景区域V3的像素。其结果，生成在背景图像数据DB上合成与第2图像数据D2内的运动体区域V2对应的运动体图像数据DM而得到的合成图像数据D3。
另外，当通过前述运动体区域检测部48未检测出运动体区域V2时，选择部50仅根据背景图像数据DB生成合成图像数据D3。
以下，第2图像处理部35B中，每当从摄像部26以时间间隔A输入第2图像数据D2时，执行由倍率色差校正处理部46进行的倍率色差校正处理、由运动体区域检测部48进行的运动体区域检测处理、由转换部49进行的转换处理及由选择部50进行的合成图像数据生成处理而生成合成图像数据D3。合成图像数据D3通过未图示的图像处理电路实施白平衡校正或灰度校正等图像处理之后，从第2图像处理部35B输出至输入输出接口32。
[第1实施方式的监控摄像机的作用]
接着，使用图9及图10，对上述结构的监控摄像机10的作用，尤其是拍摄处理及图像处理(本发明的摄像装置的图像处理方法)进行说明。在此，图9是表示第1拍摄模式时的监控摄像机10的拍摄处理及图像处理的流程的流程图。并且，图10是表示第2拍摄模式时的监控摄像机10的拍摄处理及图像处理的流程的流程图。
＜第1拍摄模式＞
如图9所示，设备控制部34根据从照度传感器27输入的被摄体的照度检测结果判定为从“夜间”切换成“白天”时，将摄像部26的拍摄模式切换成第1拍摄模式(步骤S1)。并且，与此同时，设备控制部34控制近红外光发光部15使近红外光结束发光，并且控制滤波器驱动部24使红外线截止滤波器25插入到摄像光路L中(步骤S2)。
接着，设备控制部34通过摄像部26开始进行在第1拍摄模式下的被摄体(监控区域)的可见光图像的拍摄。摄像部26以红外线截止滤波器25插入到摄像光路L中的状态透过透镜单元12拍摄被摄体，获得表示作为彩色图像的被摄体的可见光图像的第1图像数据D1(步骤S3)。而且，摄像部26将第1图像数据D1输出至图像处理部35(步骤S4)。
从摄像部26输出的第1图像数据D1输入至图像处理部35的第1图像处理部35A。第1图像处理部35A中，通过未图示的图像处理电路对第1图像数据D1实施白平衡校正或灰度校正等图像处理之后，输出至输入输出接口32。而且，经过图像处理的第1图像数据D1从输入输出接口32输出至计算机60及服务器80中的一方或双方。以下，每当从摄像部26输入第1图像数据D1时，反复执行对第1图像数据D1的图像处理及向计算机60等的输出(步骤S5中“否”)。
此时，从摄像部26输入的第1图像数据D1按预先设定的存储时刻存储于非变化区域检测部42的缓冲器(步骤S5中“是”)。而且，直至由非变化区域检测部42进行的非变化区域V1的检测时刻为止，持续进行摄像部26的拍摄(步骤S5或步骤S6中“否”)，由此在不同的时刻获取的多个第1图像数据D1存储于非变化区域检测部42的缓冲器。
当成为非变化区域V1的检测时刻时，非变化区域检测部42根据前述图6及图7中所说明的方法分析缓冲器内的多个第1图像数据D1而检测非变化区域V1(步骤S6中“是”、步骤S7)。而且，非变化区域检测部42将非变化区域V1的检测结果输出至背景图像数据生成部43。
背景图像数据生成部43根据从非变化区域检测部42输入的非变化区域V1的检测结果，从由摄像部26输入的第1图像数据D1中抽取与非变化区域V1对应的图像数据而生成背景图像数据DB(步骤S8)。该背景图像数据DB通过背景图像数据生成部43存储于未图示的存储器等。
以下，在持续进行第1拍摄模式的期间，反复执行前述步骤S3至步骤S8的处理(步骤S9中“是”)。由此，反复执行第1图像数据D1向非变化区域检测部42的缓冲器内的存储、由非变化区域检测部42进行的非变化区域V1的检测及由背景图像数据生成部43进行的背景图像数据DB的生成，更新存储于前述存储器等的背景图像数据DB。而且，如后述，若摄像部26的拍摄模式切换成第2拍摄模式，则在第1拍摄模式下的拍摄处理及图像处理结束(步骤S9中“否”)。
＜第2拍摄模式＞
如图10所示，设备控制部34根据从照度传感器27输入的被摄体的照度检测结果判定为从“白天”切换成“夜间”时，将摄像部26的拍摄模式从第1拍摄模式切换成第2拍摄模式(步骤S11)。并且，与此同时，设备控制部34控制近红外光发光部15使近红外光开始发光，并且控制滤波器驱动部24使红外线截止滤波器25从摄像光路L中退避(步骤S12)。
接着，设备控制部34通过摄像部26开始进行在第2拍摄模式下的被摄体的红外光图像的拍摄。摄像部26以红外线截止滤波器25从摄像光路L中退避的状态透过透镜单元12拍摄被摄体，获取包含作为单色图像的被摄体的近红外光图像的第2图像数据D2(步骤S13)。而且，摄像部26将第2图像数据D2输出至图像处理部35(步骤S14)。
从摄像部26输出的第2图像数据D2输入至图像处理部35中的第2图像处理部35B。第2图像处理部35B的倍率色差校正处理部46对从摄像部26输入的第2图像数据D2实施倍率色差校正处理(步骤S15)。由此，校正可见光与近红外光的色差(倍率色差)，能够使背景图像数据DB与第2图像数据D2的大小(图像尺寸)一致，因此可防止生成不自然的合成图像数据D3。
并且，由倍率色差校正处理部46进行的倍率色差校正处理为软件处理，如上述专利文献2中所记载，能够在不进行在摄像光路上设置相位调制元件之类的追加硬件的状态下实施。其结果，能够抑制监控摄像机10的大型化及部件件数的增加。
另外，本实施方式的倍率色差校正处理部46对第2图像数据D2整体进行倍率色差校正处理，但例如也可以在倍率色差校正处理之前预先进行由运动体区域检测部48进行的运动体区域V2的检测，并根据该检测结果对第2图像数据D2内的运动体区域V2进行倍率色差校正处理。即，倍率色差校正处理部46只要至少对第2图像数据D2内的运动体区域V2进行倍率色差校正处理即可。
接着，倍率色差校正处理部46将倍率色差校正处理后的第2图像数据D2分别输出至过去图像保持缓冲器47、运动体区域检测部48及转换部49。由此，在过去图像保持缓冲器47中存储新的第2图像数据D2(步骤S16)。
另外，虽然省略图示，但在切换成第2拍摄模式之后，至少将由摄像部26进行的第2图像数据D2的获取进行2次以上，由此在过去图像保持缓冲器47中存储前述“之前的第2图像数据D2”。由此，能够进行由运动体区域检测部48进行的运动体区域V2的检测。以下，假定为在过去图像保持缓冲器47内存储有前述“之先的第2图像数据D2”来进行说明。
当从倍率色差校正处理部46输入新的第2图像数据D2时，运动体区域检测部48开始进行运动体区域V2的检测。如前述图6及图7中所说明，运动体区域检测部48对新的第2图像数据D2和过去图像保持缓冲器47内的之前的第2图像数据D2进行比较来检测新的第2图像数据D2内的运动体区域V2(步骤S17，相当于本发明的变化区域检测步骤)。而且，运动体区域检测部48将运动体区域V2的检测结果输出至选择部50。
转换部49对从倍率色差校正处理部46输入的新的第2图像数据D2附加基于红外光运动体颜色58(CbCr规定值)的颜色信息而将第2图像数据D2设为YCbCr图像数据之后，转换成RGB图像数据(步骤S18)。转换部49将转换成RGB图像数据的第2图像数据D2输出至选择部50。
当切换成第2拍摄模式时，选择部50从前述存储器等读出在其紧前的第1拍摄模式时由背景图像数据生成部43生成的背景图像数据DB。而且，如前述图8中所说明，选择部50根据从运动体区域检测部48输入的运动体区域V2的检测结果，在背景图像数据DB上合成与从转换部49输入的第2图像数据D2内的运动体区域V2对应的运动体图像数据DM。由此，生成合成图像数据D3(步骤S19，相当于本发明的合成图像数据生成步骤)
这种合成图像数据D3可以说是对与第2图像数据D2内的背景区域V3对应的部分适用白天获取的作为彩色图像的第1图像数据D1的颜色信息(彩色信息)而带颜色的图像数据。其结果，在通过夜间的拍摄而得到的图像内，对于与映在通过白天的拍摄而得到的图像内的被摄体相同的被摄体，赋予白天的被摄体的颜色信息。因此，能够使通过夜间的拍摄而得到的近红外光图像容易看清。
合成图像数据D3通过未图示的图像处理电路实施白平衡校正或灰度校正等图像处理之后，从第2图像处理部35B输出至输入输出接口32。而且，经过图像处理的合成图像数据D3从输入输出接口32输出至计算机60及服务器80中的一方或双方。
以下，在持续进行第2拍摄模式的期间，按时间间隔A反复执行前述步骤S13至步骤S19的处理，从而在第2图像处理部35B中反复生成合成图像数据D3。(步骤S20中“是”、步骤S21)。而且，若摄像部26的拍摄模式从第2拍摄模式切换成第1拍摄模式，则在第2拍摄模式下的拍摄处理及图像处理结束(步骤S20中“否”)。
以下同样地，根据“白天”与“夜间”的切换，交替反复执行前述在第1拍摄模式下的拍摄处理及图像处理和前述在第2拍摄模式下的拍摄处理及图像处理。
[第1实施方式的效果]
如上，第1实施方式的监控摄像机10中，使用根据在白天的第1拍摄模式下获取的彩色图像的第1图像数据D1而生成的背景图像数据DB，在夜间的第2拍摄模式下生成合成图像数据D3，因此能够将在夜间的第2拍摄模式下获取的单色图像的第2图像数据D2的背景区域进行彩色显示。其结果，如前述专利文献1中所记载，能够抑制设置2种摄像部之类的大型化及部件件数的增加，并且使通过夜间的拍摄而得到的近红外光图像容易看清。
并且，由于直接使用可见光图像的第1图像数据D1作为合成图像数据D3的背景图像数据DB，因此背景图像数据DB不受前述色差(倍率色差)的影响。并且，在背景图像数据DB的生成中不需要复杂的图像处理等，且监控摄像机10的系统的负荷减少。
[第2实施方式的监控摄像机的整体结构]
接着，对本发明的第2实施方式的监控摄像机90进行说明。上述第1实施方式的监控摄像机10中，直接使用可见光图像的第1图像数据D1作为合成图像数据D3内的背景图像数据DB。相对于此，监控摄像机90中，使用第1图像数据D1的颜色信息和第2图像数据D2的亮度信息生成合成图像数据D3内的背景图像数据DB。
图11是构成第2实施方式的监控摄像机90的图像处理部91的功能框图。如图11所示，监控摄像机90具备与第1实施方式的图像处理部35不同的图像处理部91，除这一点以外，结构与第1实施方式的监控摄像机10基本相同。因此，对于与上述第1实施方式在功能、结构上相同的部分，标注相同符号并省略其说明。
图像处理部91通过执行从前述存储部36读出的图像处理用程序37B，在第1拍摄模式时作为第1图像处理部91A发挥功能，在第2拍摄模式时作为第2图像处理部91B发挥功能。另外，与第1实施方式同样地，第1图像处理部91A和第2图像处理部91B可以是一体。
[关于第2实施方式的第1图像处理部]
第1图像处理部91A对从摄像部26输入的第1图像数据D1实施图像处理，并将图像处理后的第1图像数据D1输出至输入输出接口32，在这一点上与第1实施方式的第1图像处理部35A基本相同。但是，第1图像处理部91A与第1实施方式的第1图像处理部35A不同，从第1图像数据D1的非变化区域V1中抽取颜色信息(CbCr)。该第1图像处理部91A作为第1转换部93、前述非变化区域检测部42及颜色信息抽取部94发挥功能。
第1转换部93将在第1拍摄模式下从摄像部26输入的作为RGB图像数据的第1图像数据D1转换成YCbCr图像数据，并将转换后的第1图像数据D1输出至非变化区域检测部42。
如第1实施方式中所说明，非变化区域检测部42检测通过摄像部26在不同的时刻获取的多个第1图像数据D1中的非变化区域V1，并将该非变化区域V1的检测结果输出至颜色信息抽取部94。
颜色信息抽取部94根据从非变化区域检测部42输入的非变化区域V1的检测结果和通过摄像部26获取的第1图像数据D1，从该第1图像数据D1内的非变化区域V1中抽取颜色信息96(CbCr)。而且，颜色信息抽取部94将非变化区域V1的颜色信息96存储于未图示的存储器等。以下，颜色信息抽取部94每当从非变化区域检测部42输入非变化区域V1的检测结果时抽取新的颜色信息96，并更新存储于存储器等的颜色信息96。
[关于第2实施方式的第2图像处理部]
第2图像处理部91B进行合成图像数据D3的生成，在这一点上与第1实施方式的第2图像处理部35B相同。但是，第2图像处理部91B根据从第2图像数据D2中抽取的亮度信息和在紧前的第1拍摄模式下得到的颜色信息96，生成合成图像数据D3内的背景图像数据DB。该第2图像处理部91B作为前述倍率色差校正处理部46和过去图像保持缓冲器47及运动体区域检测部48、选择部100、亮度信息抽取部101、以及第2转换部102发挥功能。
倍率色差校正处理部46对从摄像部26按时间间隔A输入的第2图像数据D2实施倍率色差校正处理，并将倍率色差校正处理后的第2图像数据D2分别输出至过去图像保持缓冲器47和运动体区域检测部48、以及亮度信息抽取部101。
与第1实施方式同样地，运动体区域检测部48检测从倍率色差校正处理部46输入的新的第2图像数据D2内的运动体区域V2(参考图6及图7)，并将运动体区域V2的检测结果输出至选择部100。
选择部100根据从运动体区域检测部48输入的运动体区域V2的检测结果，在紧前的第1拍摄模式下得到的非变化区域V1的颜色信息96(CbCr)上合成表示运动体区域V2的颜色信息而生成表示合成图像数据D3的颜色信息的颜色信息合成数据DC(CbCr)。
图12是用于说明由选择部100进行的颜色信息合成数据DC的生成处理的说明图。如图12所示，选择部100根据前述运动体区域V2的检测结果，判定颜色信息合成数据DC的第1个像素(例如左下角的像素)属于运动体区域V2及背景区域V3中的哪一个区域。而且，当颜色信息合成数据DC的第1个像素属于背景区域V3时，选择部100在颜色信息96及作为表示运动体区域V2的颜色信息的红外光运动体颜色58中选择与颜色信息96中所包含的第1个像素(左下角的像素)对应的颜色信息(CbCr)并进行输出。
另一方面，当颜色信息合成数据DC的第1个像素属于运动体区域V2时，选择部100在颜色信息96及红外光运动体颜色58中选择红外光运动体颜色58的颜色信息(CbCr规定值)并进行输出。
以下同样地，选择部100对颜色信息合成数据DC的剩余的第N个像素，也根据运动体区域V2的检测结果，输出从颜色信息96及红外光运动体颜色58中的一方选择的颜色信息。由此，在颜色信息合成数据DC的各像素中，选择颜色信息96作为属于背景区域V3的像素的颜色信息，并选择红外光运动体颜色58的颜色信息作为属于运动体区域V2的像素的颜色信息。其结果，生成在与背景区域V3对应的前述非变化区域V1的颜色信息96上合成作为表示运动体区域V2的颜色信息的红外光运动体颜色58的颜色信息而得到的颜色信息合成数据DC。而且，选择部100将颜色信息合成数据DC输出至第2转换部102。
返回到图11，亮度信息抽取部101从由倍率色差校正处理部46输入的新的第2图像数据D2中抽取每个像素的亮度信息，并将作为其抽取结果的亮度信息数据DY输出至第2转换部102。亮度信息数据DY为通过第2拍摄模式的拍摄而获取的实时的亮度信息。
第2转换部102与前述颜色信息抽取部94及选择部100一同构成本发明的合成图像数据生成部(合成图像数据生成机构)。第2转换部102根据从选择部100输入的颜色信息合成数据DC和从亮度信息抽取部101输入的亮度信息数据DY生成作为RGB图像数据的合成图像数据D3。
最初，第2转换部102根据表示合成图像数据D3的颜色信息的颜色信息合成数据DC(CbCr)和实时的亮度信息数据DY，生成作为YCbCr图像数据的合成图像数据D3。即，第2转换部102利用实时得到的亮度信息数据DY对仅由颜色信息构成的颜色信息合成数据DC的亮度信息进行插值，由此生成包含每个像素的亮度信息及颜色信息的合成图像数据D3(YCbCr图像数据)。
如此，第2实施方式中，根据在紧前的第1拍摄模式下得到的颜色信息96和第2图像数据D2的背景区域V3中的亮度信息数据DY，生成合成图像数据D3内的背景图像数据DB。并且，第2实施方式中，根据红外光运动体颜色58的颜色信息和第2图像数据D2的运动体区域V2中的亮度信息数据DY，生成合成图像数据D3内的运动体图像数据DM。由此，生成合成图像数据D3(YCbCr图像数据)。
接着，第2转换部102将作为YCbCr图像数据的合成图像数据D3转换成RGB图像数据。与第1实施方式同样地，作为RGB图像数据的合成图像数据D3通过未图示的图像处理电路实施白平衡校正或灰度校正等图像处理之后，从第2图像处理部35B输出至输入输出接口32。
[第2实施方式的监控摄像机的作用]
接着，使用图13及图14，对上述结构的监控摄像机90的作用，尤其是拍摄处理及图像处理(本发明的摄像装置的图像处理)进行说明。在此，图13是表示第1拍摄模式时的监控摄像机90的拍摄处理及图像处理的流程的流程图。并且，图14是表示第2拍摄模式时的监控摄像机90的拍摄处理及图像处理的流程的流程图。
＜第1拍摄模式＞
如图13所示，步骤S31至步骤S34的处理的流程与图9所示的第1实施方式(步骤S1至步骤S4)基本相同，因此省略具体的说明。通过直至步骤S34为止的处理，摄像部26将第1图像数据D1输出至图像处理部35。而且，从摄像部26输出的第1图像数据D1输入至图像处理部35的第1图像处理部35A，通过未图示的图像处理电路实施白平衡校正或灰度校正等图像处理之后，输入至输入输出接口32。
此时，从摄像部26输入的第1图像数据D1按预先设定的存储时刻通过第1转换部93从RGB图像数据转换成YCbCr图像数据之后，存储于非变化区域检测部42的缓冲器(步骤S35中“是”、步骤S36)。而且，直至由非变化区域检测部42进行的非变化区域V1的检测时刻为止，持续进行摄像部26的拍摄(步骤S35或步骤S37中“否”)。由此，在不同的时刻获取的多个第1图像数据D1(YCbCr图像数据)存储于非变化区域检测部42的缓冲器。
当成为非变化区域V1的检测时刻时，非变化区域检测部42根据前述图6及图7中所说明的方法分析缓冲器内的多个第1图像数据D1而检测非变化区域V1(步骤S37中“是”、步骤S38)。而且，非变化区域检测部42将非变化区域V1的检测结果输出至颜色信息抽取部94。
颜色信息抽取部94根据从非变化区域检测部42输入的非变化区域V1的检测结果，从由摄像部26输入的第1图像数据D1内的非变化区域V1中抽取颜色信息96(CbCr)(步骤S39)。该颜色信息96通过颜色信息抽取部94存储于未图示的存储器等。
以下，在持续进行第1拍摄模式的期间，反复执行前述步骤S33至步骤S39的处理(步骤S40中“是”)。由此，反复执行第1图像数据D1向非变化区域检测部42的缓冲器内的存储、由非变化区域检测部42进行的非变化区域V1的检测及由颜色信息抽取部94进行的颜色信息96的抽取，更新存储于前述存储器等的颜色信息96。而且，如后述，若摄像部26的拍摄模式从第1拍摄模式切换成第2拍摄模式，则在第1拍摄模式下的拍摄处理及图像处理结束(步骤S40中“否”)。
＜第2拍摄模式＞
如图14所示，步骤S41至步骤S47的处理的流程与图10所示的第1实施方式(步骤S11至步骤S17)基本相同，因此省略具体的说明。通过直至步骤S47为止的处理，由倍率色差校正处理部46进行的倍率色差校正处理后的新的第2图像数据D2分别输出至过去图像保持缓冲器47和运动体区域检测部48及亮度信息抽取部101，并且执行由运动体区域检测部48进行的新的第2图像数据D2内的运动体区域V2的检测(相当于本发明的变化区域检测步骤)，运动体区域V2的检测结果从运动体区域检测部48输出至选择部100。
在切换成第2拍摄模式时，选择部100从前述存储器等读出在其紧前的第1拍摄模式下通过颜色信息抽取部94抽取的非变化区域V1的颜色信息96(CbCr)。接着，如前述图12中所说明，选择部100根据从运动体区域检测部48输入的运动体区域V2的检测结果，在非变化区域V1的颜色信息96(CbCr)上合成表示运动体区域V2的红外光运动体颜色58的颜色信息。由此，生成颜色信息合成数据DC(CbCr)(步骤S48)。而且，选择部100将颜色信息合成数据DC输出至第2转换部102。
另一方面，亮度信息抽取部101从由倍率色差校正处理部46输入的新的第2图像数据D2中抽取每个像素的亮度信息，并将亮度信息数据DY输出至第2转换部102(步骤S49)。
第2转换部102根据表示合成图像数据D3的颜色信息的颜色信息合成数据DC和实时的亮度信息数据DY，生成作为YCbCr图像数据的合成图像数据D3。接着，第2转换部102将作为YCbCr图像数据的合成图像数据D3转换成RGB图像数据。由此，生成作为RGB图像数据的合成图像数据D3(步骤S50、步骤S51，相当于本发明的合成图像数据生成步骤)。与第1实施方式同样地，该合成图像数据D3通过未图示的图像处理电路实施白平衡校正或灰度校正等图像处理之后，从第2图像处理部35B输出至输入输出接口32。
以下，在持续进行第2拍摄模式的期间，按时间间隔A反复执行前述步骤S43至步骤S51的处理，从而在第2图像处理部91B中反复生成合成图像数据D3。(步骤S52中“是”、步骤S53)。而且，若摄像部26的拍摄模式切换成第1拍摄模式，则在第2拍摄模式下的拍摄处理及图像处理结束(步骤S52中“否”)。
以下同样地，根据“白天”与“夜间”的切换，交替反复执行前述在第1拍摄模式下的拍摄处理及图像处理和前述在第2拍摄模式下的拍摄处理及图像处理。
[第2实施方式的效果]
如上，第2实施方式的监控摄像机90中，生成在背景图像数据DB上合成前述运动体图像数据DM而得到的合成图像数据D3，所述背景图像数据DB是根据从第2图像数据D2中抽取的亮度信息数据DY和在第1拍摄模式下得到的颜色信息96而生成，因此与第1实施方式同样地，能够将在夜间的第2拍摄模式下获取的单色图像的第2图像数据D2的背景区域进行彩色显示。其结果，与第1实施方式同样地，能够抑制大型化及部件件数的增加，并且使通过夜间的拍摄而得到的近红外光图像容易看清。
并且，根据在第1拍摄模式下所得到的颜色信息96和通过第2拍摄模式的拍摄而获取的实时的背景区域V3中的亮度信息生成合成图像数据D3内的背景图像数据DB，因此能够再现实际明暗。例如，能够再现从白天至夜间的明度的变化、或被来自近红外光发光部15的近红外光(辅助光)照明的状态，因此可得到接近现实的图像(合成图像数据D3)。
[第3实施方式的监控摄像机]
图15是构成本发明的第3实施方式的监控摄像机120的图像处理部121的功能框图。上述第1实施方式中，为了校正可见光与近红外光的色差(倍率色差)而对第2图像数据D2进行了倍率色差校正处理，但监控摄像机120中，通过对第2图像数据D2进行锐化处理来校正前述色差。
如图15所示，监控摄像机120的图像处理部121在第2图像处理部35Bs具有锐化处理部123来代替倍率色差校正处理部46，除了这一点以外，结构与第1实施方式的监控摄像机10基本相同。因此，对于与上述第1实施方式在功能、结构上相同的部分，标注相同符号并省略其说明。
锐化处理部123对在第2拍摄模式下从摄像部26按时间间隔A(参考图4)输入的第2图像数据D2实施锐化处理。锐化处理例如是通过使用了拉普拉斯滤波器等锐化滤波器的滤波器处理(卷积运算)进行基于第2图像数据D2的图像边缘强调的处理。
在此，在滤波器处理中，能够通过适当调整锐化滤波器的滤波器系数来使第2图像数据D2的相位错开。即，即使在进行了锐化处理的情况下，也能够与进行了倍率色差校正处理的情况同样地，使第2图像数据D2的各像素的像素位置位移，能够校正可见光与近红外光的色差(倍率色差)。另外，关于锐化处理部123的锐化处理中所使用的锐化滤波器的滤波器系数，使用根据监控摄像机120的光学系统(透镜16和光圈17及红外线截止滤波器25等)的种类预先设定的滤波器系数。
锐化处理部123将锐化处理后的第2图像数据D2分别输出至过去图像保持缓冲器47、运动体区域检测部48及转换部49。关于在此之后的处理，与上述第1实施方式基本相同，因此省略说明。
另外，第3实施方式的锐化处理部123对第2图像数据D2整体进行锐化处理，但例如也可以在锐化处理之前预先进行由运动体区域检测部48进行的运动体区域V2的检测，并根据该检测结果对第2图像数据D2内的运动体区域V2进行锐化处理。即，锐化处理部123只要至少对第2图像数据D2内的运动体区域V2进行锐化处理即可。
并且，第3实施方式中，对将上述第1实施方式的监控摄像机10的倍率色差校正处理部46替换成锐化处理部123的实施方式进行了说明，但也可以将上述第2实施方式的监控摄像机90的倍率色差校正处理部46替换成锐化处理部123。
[第4实施方式的监控摄像机]
图16是构成本发明的第4实施方式的监控摄像机130的图像处理部131的功能框图。上述第1实施方式中，为了校正可见光与近红外光的色差(倍率色差)而对第2图像数据D2进行倍率色差校正处理。相对于此，监控摄像机130中，通过对第1图像数据D1及第2图像数据D2进行点像复原处理来校正前述色差(倍率色差)。
所谓点像复原处理为如下处理：预先求出表示由监控摄像机130的光学系统的像差等而产生的劣化的光学特性，使用根据前述光学特性而生成的复原(恢复)滤波器对所拍摄的图像(劣化的图像)进行复原处理，由此复原为分辨率高的图像。
如图16所示，监控摄像机130的图像处理部131在第1拍摄模式下作为第1图像处理部35Af发挥功能，在第2拍摄模式下作为第2图像处理部35Bf发挥功能。
在此，第1图像处理部35Af具有相当于本发明的第2点像复原处理部的点像复原处理部133A，除了这一点以外，结构与第1实施方式的第1图像处理部35A基本相同。并且，第2图像处理部35Bs具有相当于本发明的第1点像复原处理部的点像复原处理部133B来代替倍率色差校正处理部46，除了这一点以外，结构与第1实施方式的第2图像处理部35B基本相同。因此，对于与上述第1实施方式在功能、结构上相同的部分，标注相同的符号并省略其说明。
点像复原处理部133A使用存储于前述存储部36的后述的3种R、G、B用复原滤波器FR、FG、FB对在第1拍摄模式下从摄像部26输入的第1图像数据D1实施点像复原处理。并且，点像复原处理部133B使用存储于存储部36的后述的红外用复原滤波器FIR对在第2拍摄模式下从摄像部26输入的第2图像数据D2实施点像复原处理。
＜第1拍摄模式时的点像复原处理＞
图17是用于说明第1拍摄模式时的由点像复原处理部133A进行的点像复原处理的说明图。图17中，为了容易理解，示出拍摄点像作为被摄体的情况(后述的图19也相同)。
如图17所示，在第1拍摄模式时拍摄点像作为被摄体的情况下，透过监控摄像机130的光学系统(透镜16和光圈17及红外线截止滤波器25等)，通过摄像部26拍摄被摄体的可见光图像，并从该摄像部26输出第1图像数据D1。该第1图像数据D1中，因基于对可见光的监控摄像机130的光学系统的光学特性的点扩散现象而振幅分量和相位分量发生劣化，原来的被摄体像(点像)成为非点对称的模糊图像。因此，由于可见光由各种波长范围的光构成而发生倍率色差，构成第1图像数据D1的R图像数据、G图像数据及B图像数据的相位发生偏离。以下，将R图像数据和G图像数据及B图像数据简略为“R、G、B图像数据”。
由点像复原处理部133A进行的点像复原处理中，作为对可见光的监控摄像机130的光学系统的光学特性(相当于本发明的第2光学特性)，预先求出对R光和G光及B光各自的每个颜色的点扩散函数(PSF：Point spread function)KR、KG、KB。这些点扩散函数KR、KG、KB相当于本发明的第2点扩散函数。
另外，也可以预先求出光学传递函数(OTF：Optical Transfer Function)来代替点扩散函数KR、KG、KB(PSF)。PSF与OTF具有傅里叶变换的关系，PSF为实函数，OTF为复变函数。并且，作为具有与这些等价的信息的函数，有调制传递函数或振幅传递函数(MTF：Modulation Transfer Function)和相位传递函数(PTF：Phase Transfer Function)，分别表示OTF的振幅分量和相位分量。结合MTF和PTF而具有与OTF或PSF等价的信息量。
本实施方式中，预先求出点扩散函数KR、KG、KB(PSF)，并输入至复原滤波器生成部135。复原滤波器生成部135例如使用计算机等运算装置。该复原滤波器生成部135根据点扩散函数KR、KG、KB(PSF)生成由点像复原处理部133A进行的点像复原处理中所使用的R、G、B用复原滤波器FR、FG、FB。
一般而言，作为基于PSF的模糊图像的复原中所使用的复原滤波器，能够利用卷积型维纳(Wiener)滤波器。能够参考对PSF(x，y)进行了傅里叶变换的OTF与信噪比(SNR：signal-noise ratio，也称为SN比)的信息，通过以下的式计算出复原滤波器的频率特性d(ωx，ωy)。
[数式1]
其中，H(ωx，ωy)表示OTF，H*(ωx，ωy)表示其复共轭。并且，SNR(ωx，ωy)表示信噪比(SN比)。
复原滤波器的滤波器系数的设计为以使滤波器的频率特性最接近所希望的维纳频率特性的方式选择系数值的最优化问题，可通过任意公知的方法适当计算出滤波器系数。
如此，R、G、B用复原滤波器FR、FG、FB根据与获取第1图像数据D1时的拍摄条件相应的监控摄像机130的光学系统的点像信息(PSF)，通过规定规定的振幅复原及相位校正滤波器计算算法而得到。光学系统的点像信息不仅根据透镜16的种类而发生变动，还有可能根据光圈量、焦距、变焦量、像高、记录像素数、像素间距等各种的拍摄条件而发生变动。因此，当通过复原滤波器生成部135生成(计算)R、G、B用复原滤波器FR、FG、FB时，可获取这些拍摄条件。复原滤波器生成部135将生成的R、G、B用复原滤波器FR、FG、FB存储于前述存储部36。
R、G、B用复原滤波器FR、FG、FB例如为由α×β(α及β为2以上的整数)的抽头构成的实际空间上的滤波器，分别适用于处理对象的第1图像数据D1的R、G、B图像数据。由此，通过对分配于各抽头的滤波器系数与对应的像素数据(R、G、B图像数据的处理对象像素数据及相邻像素数据)进行权重平均运算(反卷积运算)，能够计算出恢复处理后的像素数据。通过一边依次改变对象像素一边将使用了R、G、B用复原滤波器FR、FG、FB的权重平均处理适用于构成R、G、B图像数据的所有像素数据，从而能够进行点像复原处理。
图18是用于说明点像复原处理的相位校正和振幅校正的说明图。如图18所示，点像复原处理能够大致分为“相位校正”(也称为“相位复原”)和“振幅校正”(也称为“振幅复原”)。“相位校正”为使用了R、G、B用复原滤波器FR、FG、FB的第1图像数据D1的R、G、B图像数据的相位分量的复原处理。具体而言，“相位校正”包含R、G、B图像数据的相位偏离的复原和由非点对称的点扩散函数KR、KG、KB(PSF)的形状而产生的相位分量的复原。另外，所谓由非点对称的点扩散函数的形状而产生的相位分量的复原为将非点对称的点扩散形状校正为点对称的点扩散形状。
“振幅校正”为第1图像数据D1的振幅分量(MTF)的复原处理。通过振幅校正，能够将点扩散形状校正为点(δ函数)。
返回到图17，点像复原处理部133A对从摄像部26输入的原图像数据(第1图像数据D1)的R、G、B图像数据进行使用了用于振幅复原及相位校正的R、G、B用复原滤波器FR、FG、FB的点像复原处理。由此，可得到表示更接近原来的被摄体像(点像)的图像(恢复图像)的恢复图像数据(第1图像数据D1)。
＜第2拍摄模式时的点像复原处理＞
图19是用于说明第2拍摄模式时的由点像复原处理部133B进行的点像复原处理的说明图。如图19所示，在第2拍摄模式时拍摄点像作为被摄体的情况下，透过监控摄像机130的光学系统(透镜16及光圈17等)，通过摄像部26拍摄被摄体的近红外光图像，并从该摄像部26输出第2图像数据D2。该第2图像数据D2中，因基于对近红外光的监控摄像机130的光学系统的光学特性的点扩散现象而振幅分量和相位分量发生劣化，原来的被摄体像(点像)成为非点对称的模糊图像。
由点像复原处理部133B进行的点像复原处理中，作为对近红外光的监控摄像机130的光学系统的光学特性(相当于本发明的第1光学特性)，预先求出对近红外光的点扩散函数(PSF：Point spread function)KIR。该点扩散函数KIR相当于本发明的第1点扩散函数。
本实施方式中，预先求出与近红外光对应的点扩散函数KIR(PSF)，并输入至前述复原滤波器生成部135。复原滤波器生成部135根据与近红外光对应的点扩散函数KIR(PSF)，生成由点像复原处理部133B进行的点像复原处理中所使用的红外用复原滤波器FIR。红外用复原滤波器FIR根据与获取第2图像数据D2时的拍摄条件相应的监控摄像机130的光学系统的点像信息(PSF)，通过规定的振幅复原及相位校正滤波器计算算法而得到。复原滤波器生成部135将生成的红外用复原滤波器FIR存储于前述存储部36。
点像复原处理部133B对从摄像部26输入的原图像数据(第2图像数据D2)进行使用了用于振幅复原及相位校正的红外用复原滤波器FIR的点像复原处理。在此，在夜间的近红外光图像的拍摄时，几乎能够忽视除近红外光以外的光的影响，因此不会发生倍率色差。因此，在由点像复原处理部133B进行的点像复原处理中，进行第2图像数据D2的振幅分量的复原(振幅校正)和由非点对称的点扩散函数KIR的形状而产生的相位分量的复原(相位校正)。由此，可得到表示更接近原来的被摄体像(点像)的图像(恢复图像)的恢复图像数据(第2图像数据D2)。
＜第4实施方式的效果＞
如上，第4实施方式的监控摄像机130中，通过由点像复原处理部133A及点像复原处理部133B进行的点像复原处理来进行第1图像数据D1及第2图像数据D2的振幅分量的复原和相位分量的复原，因此可得到与进行前述倍率色差校正处理的情况相同的效果，能够校正可见光与近红外光的色差(倍率色差)。
＜第4实施方式的其他实施例＞
第4实施方式中，对第1图像数据D1及第2图像数据D2双方进行点像复原处理，但也可以仅对第2图像数据D2进行点像复原处理。并且，上述第4实施方式中，对第2图像数据D2整体进行点像复原处理，但例如也可以在点像复原处理之前进行运动体区域V2的检测，并根据该检测结果对第2图像数据D2内的运动体区域V2进行点像复原处理。即，点像复原处理部133B至少对第2图像数据D2内的运动体区域V2进行点像复原处理即可。
并且，第4实施方式中，对在上述第1实施方式的监控摄像机10中进行点像复原处理来代替倍率色差校正处理的实施方式进行了说明，但本发明也能够适用于在上述第2实施方式的监控摄像机90中进行点像复原处理来代替倍率色差校正处理的实施方式。并且，第4实施方式中，设置了2个点像复原处理部133A和点像复原处理部133B，但也可以由1个点像复原处理部进行对第1图像数据D1及第2图像数据D2的点像复原处理。
[其他]
上述实施方式中，举例说明了进行所谓的定点观测的监控摄像机，但本发明也能够适用于具有平移倾斜(pan tilt)功能且能够拍摄多个被摄体(宽范围的监控区域)的监控摄像机。
上述各实施方式中，第1图像处理部作为非变化区域检测部42发挥功能，但也可以省略非变化区域检测部42。并且，上述各实施方式中，通过倍率色差校正处理或锐化处理或点像复原处理进行了可见光与近红外光的色差(倍率色差)的校正，但只要透镜16的透镜片数等没有限制，则能够在一定程度上抑制色差(倍率色差)。因此，在该情况下，可以省略色差(倍率色差)的校正。
上述实施方式中，作为设置于固定位置的本发明的摄像装置，举例说明了监控摄像机，但本发明的摄像装置包含设置于固定位置且拍摄特定的被摄体(监控区域)的市售的数码相机或智能手机等各种摄像装置。
上述各实施方式中，在第2拍摄模式下通过具备具有RGB像素的摄像元件的摄像部26获取了第2图像数据D2，但也可以通过具备具有除RGB像素以外的近红外光像素的摄像元件的摄像部来获取第2图像数据D2。
作为上述实施方式中所说明的摄像装置(监控摄像机)，能够将用于使摄像装置的计算机作为发挥功能的程序(前述图像处理用程序37B等)记录于CD-ROM或磁盘或其他计算机可读介质(作为有体物的非暂时性信息存储介质)中，并通过信息存储介质来提供程序。也可以利用因特网等通信网络以下载服务方式提供程序信号，来代替使程序存储于这种信息存储介质来提供的方式。
符号说明
10-监控摄像机，12-透镜单元，16-透镜，25-红外线截止滤波器，26-摄像部，35-图像处理部，37B-图像处理用程序，42-非变化区域检测部，43-背景图像数据生成部，46-倍率色差校正处理部，48-运动体区域检测部，49-转换部，50-选择部，90-监控摄像机，91-图像处理部，94-颜色信息抽取部，100-选择部，120-监控摄像机，121-图像处理部，123-锐化处理部，130-监控摄像机，131-图像处理部，133A-点像复原处理部，133B-点像复原处理部。

Claims (13)

1.一种摄像装置，其设置于固定位置，具备：
光学系统，红外线截止滤波器能够插入到摄像光路中或者从摄像光路中退避；
摄像部，其具有第1拍摄模式和第2拍摄模式，在所述第1拍摄模式下，透过所述红外线截止滤波器插入到摄像光路中的所述光学系统拍摄被摄体，获取表示可见光图像的第1图像数据，所述可见光图像为所述被摄体的可见光图像且为彩色图像，在所述第2拍摄模式下，透过所述红外线截止滤波器从摄像光路中退避的所述光学系统拍摄被摄体，获取包含近红外光图像的第2图像数据，所述近红外光图像为所述被摄体的近红外光图像且为单色图像；
拍摄模式切换部，在所述第1拍摄模式与所述第2拍摄模式之间交替切换；
变化区域检测部，当所述摄像部在所述第2拍摄模式下动作时，检测在由所述摄像部获取的所述第2图像数据内，与该第2图像数据之前由所述摄像部获取的所述第2图像数据相比存在变化的变化区域；及
合成图像数据生成部，根据所述变化区域检测部的检测结果，生成合成图像数据，所述合成图像数据是在与所述第2图像数据内的所述变化区域对应的变化区域图像数据上合成彩色图像的背景图像数据而得到的，所述彩色图像的背景图像数据根据通过所述摄像部在所述第2拍摄模式紧前的所述第1拍摄模式下获取的所述第1图像数据而生成且与和所述第2图像数据内的所述变化区域不同的背景区域对应。
2.根据权利要求1所述的摄像装置，其中，
所述合成图像数据生成部根据从与所述第1图像数据内的所述背景区域对应的区域中抽取的颜色信息和所述第2图像数据的所述背景区域中的亮度信息来生成所述背景图像数据。
3.根据权利要求1所述的摄像装置，其中，
所述合成图像数据生成部使用与所述第1图像数据内的所述背景区域对应的区域中所包含的图像数据其本身来生成所述背景图像数据。
4.根据权利要求1至3中任一项所述的摄像装置，
非变化区域检测部，检测在所述第1拍摄模式下由所述摄像部在不同的时刻获取的多个所述第1图像数据中的非变化区域；及
根据所述非变化区域检测部的检测结果，由与所述第1图像数据内的所述非变化区域对应的图像数据生成所述背景图像数据。
5.根据权利要求1至4中任一项所述的摄像装置，其具备锐化处理部，所述锐化处理部至少对所述变化区域图像数据进行锐化处理。
6.根据权利要求1至4中任一项所述的摄像装置，其具备倍率色差校正处理部，所述倍率色差校正处理部至少对所述变化区域图像数据进行倍率色差校正处理。
7.根据权利要求1至4中任一项所述的摄像装置，其具备第1点像复原处理部，所述第1点像复原处理部至少对所述变化区域图像数据进行基于对近红外光的所述光学系统的第1光学特性的点像复原处理。
8.根据权利要求7所述的摄像装置，其中，
所述第1光学特性为对所述近红外光的所述光学系统的第1点扩散函数，
所述第1点像复原处理部对所述变化区域图像数据进行的所述点像复原处理中，复原该变化区域图像数据的振幅分量和由非点对称的所述第1点扩散函数的形状而产生的相位分量。
9.根据权利要求7或8所述的摄像装置，其具备第2点像复原处理部，所述第2点像复原处理部对所述第1图像数据进行基于对可见光的所述光学系统的第2光学特性的点像复原处理。
10.根据权利要求9所述的摄像装置，其中，
所述第2光学特性为对红色及绿色及蓝色的所述可见光的所述光学系统的每个颜色的第2点扩散函数，
所述第2点像复原处理部对所述第1图像数据进行的所述点像复原处理包含基于每个所述颜色的第2点扩散函数的使用了复原滤波器的所述第1图像数据的相位分量的复原处理。
11.一种摄像装置的图像处理方法，所述摄像装置设置于固定位置，其具备：光学系统，红外线截止滤波器能够插入到摄像光路中或者从摄像光路中退避；摄像部，其具有第1拍摄模式和第2拍摄模式，在所述第1拍摄模式下，透过所述红外线截止滤波器插入到摄像光路中的所述光学系统拍摄被摄体，获取表示可见光图像的第1图像数据，所述可见光图像为所述被摄体的可见光图像且为彩色图像，在所述第2拍摄模式下，透过所述红外线截止滤波器从摄像光路中退避的所述光学系统拍摄被摄体，获取包含近红外光图像的第2图像数据，所述近红外光图像为所述被摄体的近红外光图像且为单色图像；及拍摄模式切换部，在所述第1拍摄模式与所述第2拍摄模式之间交替切换，所述摄像装置的图像处理方法具有以下步骤：
变化区域检测步骤，当所述摄像部在所述第2拍摄模式下动作时，检测在由所述摄像部获取的所述第2图像数据内，与该第2图像数据之前由所述摄像部获取的所述第2图像数据相比存在变化的变化区域；及
合成图像数据生成步骤，根据所述变化区域检测步骤的检测结果，生成合成图像数据，所述合成图像数据是在与所述第2图像数据内的所述变化区域对应的变化区域图像数据上合成彩色图像的背景图像数据而得到的，所述彩色图像的背景图像数据根据通过所述摄像部在所述第2拍摄模式紧前的所述第1拍摄模式下获取的所述第1图像数据而生成且与和所述第2图像数据内的所述变化区域不同的背景区域对应。
12.一种程序，其用于使摄像装置的计算机作为如下机构发挥功能，所述摄像装置设置于固定位置，其具备：光学系统，红外线截止滤波器能够插入到摄像光路中或者从摄像光路中退避；摄像部，其具有第1拍摄模式和第2拍摄模式，在所述第1拍摄模式下，透过所述红外线截止滤波器插入到摄像光路中的所述光学系统拍摄被摄体，获取表示可见光图像的第1图像数据，所述可见光图像为所述被摄体的可见光图像且为单色图像，在所述第2拍摄模式下，透过所述红外线截止滤波器从摄像光路中退避的所述光学系统拍摄被摄体，获取包含近红外光图像的第2图像数据，所述近红外光图像为所述被摄体的近红外光图像且为单色图像；及拍摄模式切换部，在所述第1拍摄模式与所述第2拍摄模式之间交替切换，
所述机构为：
变化区域检测机构，当所述摄像部在所述第2拍摄模式下动作时，检测在由所述摄像部获取的所述第2图像数据内，与该第2图像数据之前由所述摄像部获取的所述第2图像数据相比存在变化的变化区域；及
合成图像数据生成机构，根据所述变化区域检测机构的检测结果，生成合成图像数据，所述合成图像数据是在与所述第2图像数据内的所述变化区域对应的变化区域图像数据上合成彩色图像的背景图像数据而得到的，所述彩色图像的背景图像数据根据通过所述摄像部在所述第2拍摄模式紧前的所述第1拍摄模式下获取的所述第1图像数据而生成且与和所述第2图像数据内的所述变化区域不同的背景区域对应。
13.一种计算机可读取的非暂时性有形介质，其记录有权利要求12所述的程序。
CN201680023422.8A 2015-04-23 2016-04-15 摄像装置、该摄像装置的图像处理方法及介质 Active CN107534733B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-088229 2015-04-23
JP2015088229 2015-04-23
PCT/JP2016/062170 WO2016171088A1 (ja) 2015-04-23 2016-04-15 撮像装置及び撮像装置の画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN107534733A true CN107534733A (zh) 2018-01-02
CN107534733B CN107534733B (zh) 2019-12-20

Family

ID=57143146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680023422.8A Active CN107534733B (zh) 2015-04-23 2016-04-15 摄像装置、该摄像装置的图像处理方法及介质

Country Status (4)

Country Link
US (1) US10634830B2 (zh)
JP (1) JP6243087B2 (zh)
CN (1) CN107534733B (zh)
WO (1) WO2016171088A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111464800A (zh) * 2019-01-21 2020-07-28 佳能株式会社 图像处理装置、系统、方法和计算机可读存储介质
CN112513676A (zh) * 2018-09-18 2021-03-16 松下知识产权经营株式会社 纵深取得装置、纵深取得方法以及程序
CN112912886A (zh) * 2018-10-23 2021-06-04 电装波动株式会社 信息码读取装置
WO2022100256A1 (zh) * 2020-11-12 2022-05-19 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、可读存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018106038A (ja) * 2016-12-27 2018-07-05 ルネサスエレクトロニクス株式会社 カメラの像ぶれを補正するように構成されたアクチュエータの駆動量を較正するための方法
US11037525B2 (en) * 2017-06-27 2021-06-15 Semiconductor Energy Laboratory Co., Ltd. Display system and data processing method
JP7210872B2 (ja) * 2017-07-19 2023-01-24 富士フイルムビジネスイノベーション株式会社 画像処理装置及び画像処理プログラム
US11502003B2 (en) 2017-08-24 2022-11-15 Semiconductor Energy Laboratory Co., Ltd. Image processing method
JP7169863B2 (ja) 2018-12-03 2022-11-11 キヤノン株式会社 撮像装置及びその制御方法、及び演算方法
EP3820144B1 (en) * 2019-11-07 2021-12-29 Axis AB Method for displaying a video stream of a scene
WO2022024612A1 (ja) * 2020-07-29 2022-02-03 富士フイルム株式会社 撮像制御装置、撮像制御装置の作動方法、プログラム、並びに撮像装置
JP2023162833A (ja) 2022-04-27 2023-11-09 株式会社リコー 画像処理装置、読取装置、画像形成装置および画像処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3934471A (en) * 1973-02-07 1976-01-27 Percy William White Flow monitoring system
CN101079149A (zh) * 2006-09-08 2007-11-28 浙江师范大学 一种基于径向基神经网络的有噪运动模糊图像复原方法
US20090001269A1 (en) * 2007-06-28 2009-01-01 Shoji Tadano Image pickup apparatus
CN102458228A (zh) * 2009-06-11 2012-05-16 佳能株式会社 眼科摄像设备和眼科摄像方法
US8866937B2 (en) * 2011-06-14 2014-10-21 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11272849A (ja) * 1998-03-24 1999-10-08 Toyota Motor Corp 周辺監視装置
US7428019B2 (en) * 2001-12-26 2008-09-23 Yeda Research And Development Co. Ltd. System and method for increasing space or time resolution in video
JP2006333132A (ja) * 2005-05-26 2006-12-07 Sony Corp 撮像装置及び撮像方法、プログラム、プログラム記録媒体並びに撮像システム
KR101292458B1 (ko) * 2005-11-10 2013-07-31 테세라 인터내셔널, 인크 모자이크 도메인에서의 이미지 개선
US8866920B2 (en) * 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP5259381B2 (ja) * 2008-12-25 2013-08-07 京セラ株式会社 撮像装置および撮像方法
JP2011128238A (ja) 2009-12-16 2011-06-30 Fujitsu Ltd 撮像装置および情報端末装置
EP2664153B1 (en) * 2011-01-14 2020-03-04 Sony Corporation Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating
JP5409829B2 (ja) * 2012-02-17 2014-02-05 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、および、プログラム
JP2015056674A (ja) * 2013-09-10 2015-03-23 和浩 山本 カメラ
JP6027287B2 (ja) * 2014-03-28 2016-11-16 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
WO2016167189A1 (ja) * 2015-04-16 2016-10-20 富士フイルム株式会社 撮像装置、画像処理装置、画像処理方法、プログラム及び記録媒体
WO2016167188A1 (ja) * 2015-04-16 2016-10-20 富士フイルム株式会社 撮像装置、画像処理装置、画像処理方法、プログラム及び記録媒体
CN108605094B (zh) * 2016-02-26 2019-08-06 富士胶片株式会社 图像处理装置、摄像装置以及图像处理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3934471A (en) * 1973-02-07 1976-01-27 Percy William White Flow monitoring system
CN101079149A (zh) * 2006-09-08 2007-11-28 浙江师范大学 一种基于径向基神经网络的有噪运动模糊图像复原方法
US20090001269A1 (en) * 2007-06-28 2009-01-01 Shoji Tadano Image pickup apparatus
CN102458228A (zh) * 2009-06-11 2012-05-16 佳能株式会社 眼科摄像设备和眼科摄像方法
US8866937B2 (en) * 2011-06-14 2014-10-21 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112513676A (zh) * 2018-09-18 2021-03-16 松下知识产权经营株式会社 纵深取得装置、纵深取得方法以及程序
CN112912886A (zh) * 2018-10-23 2021-06-04 电装波动株式会社 信息码读取装置
CN111464800A (zh) * 2019-01-21 2020-07-28 佳能株式会社 图像处理装置、系统、方法和计算机可读存储介质
CN111464800B (zh) * 2019-01-21 2022-05-03 佳能株式会社 图像处理装置、系统、方法和计算机可读存储介质
US11361408B2 (en) 2019-01-21 2022-06-14 Canon Kabushiki Kaisha Image processing apparatus, system, image processing method, and non-transitory computer-readable storage medium
WO2022100256A1 (zh) * 2020-11-12 2022-05-19 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、可读存储介质

Also Published As

Publication number Publication date
US20180045867A1 (en) 2018-02-15
JP6243087B2 (ja) 2017-12-06
JPWO2016171088A1 (ja) 2018-03-15
US10634830B2 (en) 2020-04-28
CN107534733B (zh) 2019-12-20
WO2016171088A1 (ja) 2016-10-27

Similar Documents

Publication Publication Date Title
CN107534733A (zh) 摄像装置、该摄像装置的图像处理方法及程序
CN108419023B (zh) 一种生成高动态范围图像的方法以及相关设备
CN107431760B (zh) 摄像装置、摄像装置的图像处理方法以及存储介质
CN108712608B (zh) 终端设备拍摄方法和装置
JP5321163B2 (ja) 撮像装置及び撮像方法
CN102377943B (zh) 摄像装置以及摄像方法
CN102300049B (zh) 图像信号处理装置
CN107534727A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN108028895A (zh) 有缺陷的图像传感器元件的校准
CN103339925B (zh) 摄像装置、图像处理装置以及摄像方法
CN102783135A (zh) 利用低分辨率图像提供高分辨率图像的方法和装置
JP2005130297A (ja) 信号処理システム、信号処理方法、信号処理プログラム
CN103813097A (zh) 摄像装置以及摄像方法
CN106878624A (zh) 摄像装置和摄像方法
CN108024054A (zh) 图像处理方法、装置及设备
CN110490811A (zh) 图像降噪装置及图像降噪方法
CN109493283A (zh) 一种高动态范围图像鬼影消除的方法
JP2013034261A (ja) 撮像装置、撮像方法
CN102547057A (zh) 图像处理装置和图像处理方法
CN107852456A (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN105933592A (zh) 图像处理装置、拍摄装置以及图像处理方法
CN107534728A (zh) 图像处理装置、摄像装置、图像处理方法及程序
JP2008005246A (ja) 撮像システム及び撮像プログラム
CN102090054B (zh) 成像设备，图像处理设备和图像处理方法
US9922410B2 (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant