CN106716991B - 红外线摄像装置、图像处理方法及记录介质 - Google Patents

红外线摄像装置、图像处理方法及记录介质 Download PDF

Info

Publication number
CN106716991B
CN106716991B CN201580052999.7A CN201580052999A CN106716991B CN 106716991 B CN106716991 B CN 106716991B CN 201580052999 A CN201580052999 A CN 201580052999A CN 106716991 B CN106716991 B CN 106716991B
Authority
CN
China
Prior art keywords
value
image data
image
aperture
signal values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580052999.7A
Other languages
English (en)
Other versions
CN106716991A (zh
Inventor
小林诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN106716991A publication Critical patent/CN106716991A/zh
Application granted granted Critical
Publication of CN106716991B publication Critical patent/CN106716991B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/0205—Mechanical elements; Supports for optical elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G01J5/34—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using capacitors, e.g. pyroelectric capacitors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Power Engineering (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Radiation Pyrometers (AREA)

Abstract

本发明提供一种红外线摄像装置、图像处理方法及记录介质。本发明的红外线摄像装置具备：成像元件，包含二维配置的多个红外线检测像素；光圈；温度检测部，检测光圈的温度；及数字信号处理部，从将光圈的F值设为多个值的状态下通过成像元件拍摄而得到的多个摄像图像数据各自的至少一部分减去信号值，并合成减去后的多个摄像图像数据而生成合成图像数据，该信号值与各自的获取时的F值及基于通过温度检测部检测的温度的从光圈射出的红外线量相对应。

Description

红外线摄像装置、图像处理方法及记录介质
技术领域
本发明涉及一种红外线摄像装置、图像处理方法及记录介质。
背景技术
例如，已知有一种如热像仪和夜视镜等拍摄红外线图像的红外线摄像装置(例如，参考专利文献1～3)。
专利文献1中公开了一种在摄像光学系统中具有光圈的红外线摄像装置。
专利文献2中公开了一种在拍摄高温被摄体的情况下，通过将摄像光学系统中所包含的光圈的开口面积设为最小而防止成像元件受损的红外线摄像装置。
专利文献3中公开了通过根据拍摄中的被摄体的温度中的最高温度控制光圈而改变测定温度范围的红外线摄像装置。
以往技术文献
专利文献
专利文献1：日本特开2013-080130号公报
专利文献2：日本特开2008-278036号公报
专利文献3：日本特开平9-101207号公报
发明内容
发明要解决的技术课题
专利文献2中所记载的红外线摄像装置中，拍摄高温被摄体时，光圈的开口面积被控制为最小，因此到达成像元件的来自低温被摄体的红外线量减少，且无法良好地拍摄低温被摄体。
专利文献3中所记载的红外线摄像装置中，测定温度范围根据被摄体的最高温度而改变，因此在该最高温度非常高的情况下，对来自低温的被摄体的红外线的灵敏度降低，且无法良好地拍摄低温被摄体。
专利文献1中，并未设想控制光圈的开口面积，且无法提高混合存在低温被摄体和高温被摄体的场景中的拍摄质量。
本发明是鉴于上述情况而完成的，本发明的目的在于提供一种能够提高混合存在低温被摄体和高温被摄体的场景中的拍摄质量的红外线摄像装置、图像处理方法及记录介质。
用于解决技术课题的手段
本发明的红外线摄像装置具备：成像元件，包含二维配置的多个红外线检测像素；光圈，配置在比上述成像元件更靠被摄体侧；温度检测部，检测上述光圈的温度；及图像处理部，从将上述光圈的F值设为多个值的状态下通过上述成像元件拍摄而得到的多个摄像图像数据各自的至少一部分减去信号值，并合成上述减去后的上述多个摄像图像数据而生成合成图像数据，该信号值与上述各自的获取时的F值及基于通过上述温度检测部检测出的温度的从上述光圈射出的红外线量相对应。
本发明的图像处理方法为基于红外线摄像装置的图像处理方法，该红外线摄像装置具有：成像元件，包含二维配置的多个红外线检测像素；光圈，配置在比上述成像元件更靠被摄体侧；及温度检测部，检测上述光圈的温度，其中，
该图像处理方法具备：图像处理步骤，从将上述光圈的F值设为多个值的状态下通过上述成像元件拍摄而得到的多个摄像图像数据各自的至少一部分减去信号值，并合成上述减去后的上述多个摄像图像数据而生成合成图像数据，该信号值与上述各自的获取时的F值及基于通过上述温度检测部检测出的温度的从上述光圈射出的红外线量相对应。
本发明的图像处理程序为用于使红外线摄像装置执行图像处理步骤的程序，上述红外线摄像装置具有：成像元件，包含二维配置的多个红外线检测像素；光圈，配置在比上述成像元件更靠被摄体侧；及温度检测部，检测上述光圈的温度，上述图像处理步骤中，从将上述光圈的F值设为多个值的状态下通过上述成像元件拍摄而得到的多个摄像图像数据各自的至少一部分减去信号值，并合成上述减去后的上述多个摄像图像数据而生成合成图像数据，该信号值与上述各自的获取时的F值及基于通过上述温度检测部检测出的温度的从上述光圈射出的红外线量相对应。
发明效果
根据本发明，可提供一种能够提高混合存在低温被摄体和高温被摄体的场景中的拍摄质量的红外线摄像装置、图像处理方法及记录介质。
附图说明
图1为表示用于说明本发明的一实施方式的红外线摄像装置的概略结构的图。
图2为用于说明利用将F值改变为F1和F1.4而拍摄得到的两个摄像图像数据的FPN计算方法的图。
图3为表示F值与表示透射光圈2的红外线量的红外线透射率α的关系的图。
图4为用于说明图1所示的红外线摄像装置中的FPN计算动作的流程图。
图5(a)、图5(b)、图5(c)为表示从成像元件3侧观察到的光圈2的图。
图6为表示F值与从光圈2射出的红外线量的关系的图。
图7为用于说明FPN计算方法的变形例的图。
图8为表示通过成像元件3拍摄温度相同的被摄体时的各红外线检测像素的检测灵敏度的图。
图9为用于说明从位置“L”或“R”红外线检测像素输出的像素信号值的图。
图10为表示从成像元件3的各红外线检测像素输出的像素信号值相对于被摄体温度的变化(红外线检测像素的输出响应特性)的图。
图11为表示运算系数a的图。
图12为表示运算系数b的图。
图13为表示两个摄像图像数据的合成结果的图。
图14表示通过图1的红外线摄像装置拍摄的被摄体的一例的图。
图15(a)、图15(b)为表示根据两个值改变光圈2的F值并拍摄图14的被摄体而得到的摄像图像数据的图。
图16为表示合成摄像图像数据151和摄像图像数据152而得到的合成图像数据155的图。
具体实施方式
以下，参考附图对本发明的实施方式进行说明。
图1为表示用于对本发明的一实施方式进行说明的红外线摄像装置的概略结构的图。
图1所示的红外线摄像装置具备成像透镜1、光圈2、通过成像透镜1及光圈2而拍摄被摄体的成像元件3、用于检测光圈2的温度的温度检测部4、模拟信号处理部6、模数转换电路(A/D转换电路)7、光圈驱动部9及成像元件驱动部10。
成像元件3具有经由成像透镜1及光圈2而聚光且检测从被摄体射出的红外线(通常为波长8μm～12μm的光)的二维配置的多个红外线检测像素。成像元件3通过成像元件驱动部10而被驱动。
作为红外线检测像素中所使用的红外线检测元件，例如可举出热释电元件。或者，还可使用连接有产生塞贝克效应的热电偶的热电堆型、利用基于温度上升的电阻值的变化的热辐射计型等红外线检测元件。
另外，关于红外线检测元件，并不限定于这些，若能够检测出红外线，则其种类并无限制。本说明书中，将从成像元件3的所有红外线检测像素输出的像素信号的集合称为摄像图像数据。
光圈2配置在比成像元件3更靠被摄体侧，并通过光圈驱动部9控制开口面积。
温度检测部4由配置在光圈2附近的热敏电阻等温度传感器构成，并向系统控制部11通知所检测出的温度。
模拟信号处理部6进行模拟信号处理，该模拟信号处理包含对从成像元件3输出的摄像图像数据的各像素信号值乘以增益而增幅的增幅处理。
A/D转换电路7将从模拟信号处理部6输出的模拟摄像图像数据转换为数字数据。
模拟信号处理部6、A/D转换电路7、光圈驱动部9及成像元件驱动部10通过系统控制部11而被控制。
系统控制部11中输入有通过操作部14而由用户发出的指示信号。
而且，红外线摄像装置的电控系统具备：主存储器16；存储器控制部15，连接在主存储器16；数字信号处理部17，进行将从A/D转换电路7输出的摄像图像数据改变为能够通过显示部23显示的形式的处理等；FPN计算部19，计算通过成像元件3拍摄而得到的摄像图像数据中所包含的FPN；外部存储器控制部20，与装卸自如的记录介质21连接；及显示控制部22，与显示部23连接。
存储器控制部15、数字信号处理部17、FPN计算部19、外部存储器控制部20及显示控制部22通过控制总线24及数据总线25而彼此连接，并通过来自系统控制部11的命令而被控制。
FPN计算部19根据在将光圈2的F值设为第一值的状态下通过成像元件3拍摄被摄体而得到的第一摄像图像数据及在将光圈2的F值设为第二值的状态下通过成像元件3拍摄被摄体而得到的第二摄像图像数据和第一值及第二值计算通过成像元件3拍摄而得到的摄像图像数据中所包含的FPN。
图2为用于说明第一值为F1，第二值为F1.4时的FPN的计算方法的图。
图2中，符号31表示在F值＝F1的状态下得到的第一摄像图像数据中的任意坐标位置的像素信号值。符号32表示在F值＝F1.4的状态下得到的第二摄像图像数据中的上述任意坐标位置的像素信号值。
如图2所示，第一摄像图像数据的各像素信号值31和第二摄像图像数据的各像素信号值32分别由FPN成分Cfpn和FPN成分Cfpn以外的信号成分SG构成。
在此，第一摄像图像数据和第二摄像图像数据利用接近时刻(例如连续的拍摄)内获取的数据。因此，可认为第一摄像图像数据的各像素信号值31和第二摄像图像数据的各像素信号值32中所包含的FPN成分Cfpn为完全相同的值。
图3为表示F值与红外线透射率α的关系的图，该红外线透射率α表示透射光圈2的红外线量。图3中，将透射F值＝F1(光圈2的开口面积为最大的状态)时的光圈2的红外线透射率α设为“100％”而标准化。
如图3所示，F值＝F1.4时，与F值＝F1时相比，入射于成像元件3的红外线量变成一半。
即，图2所示的第二摄像图像数据的各像素信号值32中所包含的信号成分SG(以下，还称为SG(2))成为第一摄像图像数据的各像素信号值31中所包含的信号成分SG(以下，还称为SG(1))乘以F值＝F1.4和F值＝F1中的红外线透射率α之比(＝0.5)的值。
如此，根据得到像素信号值31时的F值与得到像素信号值32时的F值之差，唯一确定像素信号值31中所包含的信号成分SG(1)与像素信号值32中所包含的信号成分SG(2)的比。
FPN计算部19根据F值＝F1.4和F值＝F1中的红外线透射率α之比(＝0.5)，设定用于将信号成分SG(2)设为与信号成分SG(1)相同的值的系数，将所设定的系数乘以像素信号值31和像素信号值32的至少一方。
例如，当像素信号值31仅乘以系数时，将F值＝F1.4和F值＝F1中的红外线透射率α之比(＝0.5)设定为系数。
并且，当像素信号值32仅乘以系数时，将F值＝F1.4和F值＝F1中的红外线透射率α之比(＝0.5)的倒数(＝2)设定为系数。
并且，当像素信号值31和像素信号值32各自乘以系数时，以各自相乘的系数之比成为F值＝F1.4和F值＝F1中的红外线透射率α之比(＝0.5)的方式设定系数。
例如，将与像素信号值31相乘的系数设定为“1.5”，与像素信号值32相乘的系数设定为“3”。
图2中示出像素信号值32乘以系数(＝2)而得到的像素信号值33。通过乘以该系数，像素信号值31的信号成分SG与像素信号值33的信号成分SG成为相同的值。
从而，FPN计算部19在乘以该系数之后，从像素信号值33减去像素信号值31，由此能够计算FPN成分Cfpn。
另外，当像素信号值31仅乘以系数时，从像素信号值32减去将像素信号值31乘以0.5倍而得到的像素信号值，并将减去后的像素信号值设为2倍，由此能够计算FPN成分Cfpn。
并且，当像素信号值31和像素信号值32各自乘以系数时，从将像素信号值32乘以3倍而得到的像素信号值减去将像素信号值31乘以1.5倍而得到的像素信号值，并将减去后的像素信号值除以1.5，由此能够计算FPN成分Cfpn。
图4为用于说明图1所示的红外线摄像装置中的FPN计算动作的流程图。
图4所示的处理中，例如，为将通过成像元件3对被摄体进行多次拍摄的而得到的红外图像显示于显示部23的动态图像拍摄模式时隔开恒定间隔(例如10秒一次)进行。
并且，动态图像拍摄模式时，将光圈2的F值在动态图像拍摄开始时预先通过手动操作等设定为第一值。
首先，若开始进行动态图像拍摄，则从成像元件3隔开恒定间隔输出的摄像图像数据通过数字信号处理部17而被处理并生成记录用数据。该记录用数据记录于记录介质21，并且基于该记录用数据的红外图像显示于显示部23。
数字信号处理部17对摄像图像数据进行的处理包括从摄像图像数据减去记录在主存储器16的FPN记录用区域的FPN成分Cfpn而校正FPN的处理。
动态图像拍摄开始时，在主存储器16的FPN记录用区域中未记录有FPN成分Cfpn，因此在设定为动态图像拍摄模式时，红外线摄像装置首先进行以下进行说明的处理。
系统控制部11将光圈2的F值维持在作为拍摄条件而设定的第一值，且在该状态下对成像元件3进行成像(步骤S1)。通过该成像而从成像元件3输出的第一摄像图像数据暂时存储于主存储器16(步骤S2)。
接着，系统控制部11将光圈2的F值从第一值变更为第二值，且在该状态下对成像元件3进行拍摄(步骤S3)。通过该成像而从成像元件3输出的第二摄像图像数据暂时存储于主存储器16(步骤S4)。
接着，FPN计算部19获取暂时存储在主存储器16的第一摄像图像数据及第二摄像图像数据，并根据所获取的第一摄像图像数据及第二摄像图像数据和作为获取第一摄像图像数据时的F值的第一值及作为获取第二摄像图像数据时的F值的第二值计算FPN成分Cfpn(步骤S5)。
FPN计算部19在计算出FPN成分Cfpn时，将其记录于主存储器16中的FPN记录用区域。
而且，数字信号处理部17从暂时存储在主存储器16的第一摄像图像数据及第二摄像图像数据各自减去在步骤S5中生成的FPN成分Cfpn，从而校正FPN(步骤S6)。
接着，数字信号处理部17进行对FPN校正后的第二摄像图像数据乘以增益的处理，以使减少FPN校正后的第二摄像图像数据的亮度与FPN校正后的第一摄像图像数据的亮度之差(步骤S7)。
具体而言，数字信号处理部17将与第二值和第一值之差相对应的增益乘以FPN校正后的第二摄像图像数据。数字信号处理部17作为增益处理部而发挥功能。
例如，若第一值为F1，第二值为F1.4，则数字信号处理部17根据图2所示的F1与F1.4中的红外线透射率α的差异，作为增益＝2而将第二摄像图像数据的各像素信号值乘以2倍。
若第一值为F2，第二值为F1.4，则数字信号处理部17根据图2所示的F2与F1.4中的红外线透射率α的差异，作为增益＝0.5而将第二摄像图像数据的各像素信号值乘以0.5倍。
步骤S7之后，数字信号处理部17根据在步骤S6、步骤7中进行处理之后的第一摄像图像数据及第二摄像图像数据生成记录用数据，并将其记录于记录介质21(步骤S8)。
步骤S8之后，系统控制部11将F值从第二值还原到第一值，并继续进行动态图像拍摄。
如以上，根据图1的红外线摄像装置，不中断动态图像即能够以高精度计算FPN。并且，如以往技术，在动态图像拍摄中不会定期发生散焦的拍摄图像，能够拍摄高质量的动态图像。
并且，并不关闭快门或者制作非聚焦状态，能够在动态图像拍摄中仅通过瞬间关闭或打开光圈2的动作来计算FPN。因此，能够减少用于FPN计算的电力。
并且，根据图1的红外线摄像装置，第二摄像图像数据的亮度通过增益而被校正，因此在动态图像拍摄中记录于记录介质的记录用数据的亮度变均匀。并且，在动态图像拍摄中显示于显示部23的图像的亮度也变均匀。从而，在动态图像拍摄中能够去除通过变更光圈2的F值而产生的画质变动而维持动态图像的质量。
另外，若在动态图像拍摄中改变光圈的F值，则景深有可能发生变化。拍摄主要使用于观赏目的的可见光像的撮像装置中，根据景深的变化而画质变动明显，导致给鉴赏动态图像的利用者带来不协调感。
然而，红外线摄像装置中，例如在拍摄平面被摄体的情况下，能够容许基于景深的变化的画质变动。
如此，红外线摄像装置中，存在动态图像拍摄中容许景深的变化的场景，因此上述FPN计算方法在红外线摄像装置中成为有效的方法。
上述FNP计算方法中，根据改变F值而获得的两个摄像图像数据计算FPN，因此若在该两个摄像图像数据的内容中存在较大的差异，则很难正确计算FPN。
于是，FPN计算部19在图4的步骤S4之后，对第一摄像图像数据与第二摄像图像数据进行比较，并通过周知的运动物体检测处理判定在该两个摄像图像数据中是否存在运动物体部分。FPN计算部19作为运动物体判定部而发挥功能。
当判定为存在运动物体部分时，FPN计算部19判断FPN计算精度降低，且省略步骤S5的处理。
而且，在步骤S6中，数字信号处理部17利用存储在主存储器16中的FPN而对第一摄像图像数据和第二摄像图像数据进行FPN校正，之后，将处理移到步骤S7。
由此，能够防止存储在主存储器16中的FPN被更新为精度较低的FPN，并能够提高动态图像质量。
另外，由FPN计算部19进行上述FPN计算处理的时刻可以为通过温度检测部4检测出的温度的变动量成为阈值以上的时刻。温度的变动量较大时，认为FPN的变化较大，因此该时刻为有效。
并且，当通过FPN计算部19计算出的FPN成为阈值以上时，系统控制部11有效停止连续拍摄，并冷却成像元件3。由此，能够防止画质劣化。
图1的红外线摄像装置具备光圈2，因此入射于成像元件3的红外线中还包含从光圈2的光圈叶片射出的红外线。
以上说明中，FPN计算部19未考虑从高光圈叶片射出的红外线而进行FPN的计算。以下，为了进一步提高FPN的计算精度，考虑从光圈叶片射出的红外线而对计算FPN的方法进行说明。
图5(a)、图5(b)、图5(c)为表示从成像元件3侧观察光圈2的图。图5(a)表示F值＝F1时的光圈2的状态，图5(b)表示F值＝F1.4时的光圈2的状态，图5(c)表示完全关闭光圈2的状态下(设为F值＝F∞)的光圈2的状态。图5(a)、图5(b)、图5(c)中，符号2a表示基于成像元件3的拍摄范围与光圈叶片外周的重复部分，符号2b表示光圈叶片的表面，符号2c表示光圈2的开口。
如图5(a)、图5(b)、图5(c)所示，从成像元件3侧观察时，光圈2的F值发生变化时，光圈叶片的露出面积发生改变。F值＝F∞与F值＝F1.4的比较中，相对于F值＝F∞时，在F值＝F1.4时光圈叶片的露出面积成为约1/2倍。光圈叶片的露出面积表示从成像元件3观察时，光圈叶片未被遮挡红外线的障碍物遮蔽的部分的面积。
从该光圈叶片的露出部分射出红外线而入射于成像元件3，因此如上所述，通过F值＝F1而得到的第一摄像图像数据的信号成分SG(1)与通过F值＝F1.4而得到的第二摄像图像数据的信号成分SG(2)之比优选考虑从光圈2射出的红外线量。
图6为表示F值与从光圈2射出的红外线量的关系的图。图6中，将F值＝F1时从光圈2射出的红外线量β设为“0”，将F值＝F∞时从光圈2射出的红外线量设为“100”而进行标准化。
如图6所示，与F值＝F∞时相比，F值＝F1.4时，从光圈2射出的红外线量β成为约1/2倍。另外，图6的数据根据光圈2的温度而不同，因此主存储器16中按每一光圈2的温度而存储有图6所示的数据。
并且，根据从光圈2射出的红外线量而从成像元件3的各红外线检测像素输出的像素信号值并不相同，且根据红外线检测像素的受光面上的位置而不同。
例如，从位于与光圈2的开口部分相对置的位置的红外线检测像素输出的像素信号值变小，但从位于与光圈2的光圈叶片相对置的位置的红外线检测像素输出的像素信号值变大。
图1的红外线摄像装置的主存储器16按能够设定的每一F值预先存储有表格数据，该表格数据中记录有根据从光圈2射出的红外线而从各红外线检测像素输出的像素信号值。
并且，与任意F值相对应的表格数据按每一光圈2的温度而存储多个。其理由为如下，即若光圈2的温度不同，则光圈叶片的露出面积即使相同，从光圈2射出的红外线量也不同。
例如，从通过成像元件3拍摄温度为已知且温度分布相同的被摄体而得到的摄像图像数据的各像素信号值减去相当于该被摄体的温度的信号值，由此能够按红外线检测像素求出与从光圈2射出的红外线相对应的像素信号值。
改变F值来反复进行这种操作，由此能够求出上述表格数据。并且，将F值固定而直接改变光圈2的温度的同时反复进行上述操作，由此能够相对于相同的F值而生成多个表格数据。
另外，根据从光圈2射出的红外线从各红外线检测像素输出的像素信号值与光圈2的温度的4次方和光圈2的露出面积的积成比例。
因此，相对于任意F值(最小值以外的值)，求出根据从光圈2射出的红外线而从各红外线检测像素输出的像素信号值，并通过光圈2的温度和F值对该像素信号值进行校正，由此也能够制作上述表格数据。
图7为用于说明FPN计算方法的变形例的图。
图7中示出在F值＝F1的状态下得到的第一摄像图像数据中的任意坐标位置的像素信号值41和在F值＝F1.4的状态下得到的第二摄像图像数据中的上述任意坐标位置的像素信号值42。
像素信号值41和像素信号值42各自所包含的信号成分SG包含与从被摄体射出的红外线相对应的信号成分SG(obj)和从光圈2射出的信号成分SG(ap)。另外，当F值＝F1时，光圈2的露出面积成为“0”，因此像素信号值41的信号成分SG(ap)为“0”。
像素信号值41的信号成分SG(obj)与像素信号值42的信号成分SG(obj)之比根据F1和F1.4时的红外线透射率α之比而确定，约为“0.5”。并且，像素信号值41的信号成分SG(ap)和像素信号值42的信号成分SG(ap)为通过上述表格数据而已知的值。
FPN计算部19从与通过温度检测部4检测出的光圈2的温度及F值＝F1的组合相对应的表格数据检索而获取像素信号值41的信号成分SG(ap)。
并且，从与通过温度检测部4检测出的光圈2的温度及F值＝F1.4的组合相对应的表格数据检索而获取像素信号值42的信号成分SG(ap)。
接着，FPN计算部19设定系数，该系数用于将从像素信号值41减去上述获取的信号成分SG(ap)而得到的像素信号值41a和从像素信号值42减去上述获取的信号成分SG(ap)而得到的像素信号值42a设为相同。
而且，FPN计算部19将所设定的系数与像素信号值41a和像素信号值42a的至少一方相乘。相乘后的处理与在图2中说明的处理相同。
如以上，还考虑根据F值的改变而从光圈2射出的红外线量发生变化的情况来计算FPN，由此能以更高的高精度计算FPN，并能够提高画质。
至此，在成像元件3的受光面的任意位置，将表示从与相同量的红外线相对应的红外线检测像素输出的像素信号值的检测灵敏度设为相同而进行了说明。但是，实际上，根据红外线检测像素的受光面中的位置而红外线检测像素的检测灵敏度发生变化，且在摄像图像数据中产生阴影(shading)。
图8为表示通过成像元件3拍摄温度相同的被摄体时的各红外线检测像素的检测灵敏度γ的图。图8的横轴表示受光面上的一方向上的位置，并以0表示与摄像光学系统的光轴相交的位置。
“R”表示在成像元件3的受光面上所设定的直线即位于通过位置0的红外线检测像素的直线上且位于红外线检测像素中的一端部的红外线检测像素的位置。“L”表示位于该直线上且位于红外线检测像素中的另一端部的红外线检测像素的位置。
并且，图8中，以虚线表示F值＝F1时的检测灵敏度γ，并以实线表示F值＝F1.4时的检测灵敏度γ。图8中，将位置0的红外线检测像素的检测灵敏度γ设为“100％”而进行标准化。
如图8所示，红外线检测像素的检测灵敏度γ在受光面的中心成为最高，并随着接近受光面的端部而下降。并且，检测灵敏度γ的下降程度根据F值而不同。
从而，相对于从位于受光面的中心的红外线检测像素输出的像素信号值，成为图2所示的关系，但相对于从位于受光面的周边的红外线检测像素输出的像素信号值，并不成为图2所示的关系。
图9为用于说明从位置“L”或“R”的红外线检测像素输出的像素信号值的图。
图9中，符号31a表示在F值＝F1的状态下通过拍摄而得到的像素信号值。符号32a表示在F值＝F1.4的状态下通过拍摄而得到的像素信号值。图9中以虚线示出图2所示的像素信号值31、像素信号值32。
根据图2所示的关系，与像素信号值31a的信号成分SG相比，像素信号值32a的信号成分SG减少。然而，根据图8所示的关系，与位于受光面的中心的红外线检测像素相比，其减少幅度变小。
从而，优选考虑因在该受光面上的位置的差异而引起的第一摄像图像数据的像素信号值的信号成分SG与第二摄像图像数据的像素信号值的信号成分SG之比的差异而计算FPN。
已知图2所示的关系、图6所示的关系及图8所示的关系。因此，FPN计算部19参考图2、图6及图8所示的数据将以下系数设定为与在受光面上的红外线检测像素的位置相对应的值，该系数用于将第一摄像图像数据的像素信号值的信号成分SG和第二摄像图像数据的像素信号值的信号成分SG设为相同。
FPN计算部19将所设定的系数与第一摄像图像数据的像素信号值的信号成分SG和第二摄像图像数据的像素信号值的信号成分SG的至少一方相乘。
FPN计算部19根据相乘后的第一摄像图像数据的像素信号值的信号成分SG与第二摄像图像数据的像素信号值的信号成分SG之差计算FPN成分Cfpn。
由此，能够进一步正确计算FPN，并能够实现画质的提高。
利用数式对以上所说明的FPN计算方法进行进一步具体的说明。
将摄像图像数据的坐标(x，y)的像素信号值中的与从被摄体射出的红外线量相对应的成分的数字值设为Sobj(x，y)。
将摄像图像数据的坐标(x，y)的像素信号值中的FPN成分的数字值设为Cfpn(x，y)。
将任意F值中的图2所示的红外线透射率α设为α(F)。α(F)为存储于主存储器16的数据。
将摄像图像数据的坐标(x，y)的像素信号值中与任意F值及光圈2的温度为T时从光圈2射出的红外线量相对应的像素信号值设为β(x，y，F，T)。β(x，y，F，T)为预先通过实验而求出并记录于主存储器16的数据。
将任意的F值状态下的红外线检测像素的受光面中的坐标(x，y)的检测灵敏度γ设为γ(x，y，F)。γ(x，y，F)为实验性求出并存储在主存储器16的数据。
将摄像图像数据的坐标(x，y)中的像素信号值的数字值设为Out(x，y)。
如以上设定时，Out(x，y)由以下式(1)表示。
[数式1]
Out(x，y)＝Sobi(x，y)×α(F)×γ(x，y，F)+β(x，y，F，T)+Cfpn(x，y)......(1)
从而，F值＝F1时的Out(x，y)F1由以下式(2)表示，F值＝F1.4时的Out(x，y)F1.4由以下式(3)表示。
[数式2]
Out(x，y)F1＝Sobi(x，y)×α(F1)×γ(x，y，F1)+β(x，y，F1，T)+Cfpn(x，y)......(2)
Out(x，y)F1.4＝Sobi(x，y)×α(F1.4)×γ(x，y，F1.4)+β(x，y，F1.4，T)+Cfpn(x，y)......(3)
式(2)中，若将两边除以α(F1)×γ(x，y，F1)，则能够变形为以下式(4)。
[数式3]
式(3)中，若将两边除以α(F1.4)×γ(x，y，F1.4)，则能够变形为以下式(5)。
[数式4]
若从式(5)减去式(4)，则成为式(6)。
[数式5]
在式(6)中，若求出Cfpn(x，y)，则成为式(7)。
[数式6]
式(7)中所有数值为已知，因此能够计算出FPN成分Cfpn(x，y)。
式(7)中的{1/α(F1.4)×γ(x，y，F1.4)}和{1/α(F1)×γ(x，y，F1)}为与F值＝F1和F值＝F1.4之差相对应的系数，并成为用于将改变F值而获取的两个像素信号值中所包含的Sobj(x，y)设为相同的系数。
式(7)中，将γ(x，y，F)设为“1”，将β(x，y，F，T)设为“0”的情况下的处理为在图2中进行说明的处理。并且，式(7)中，将γ(x，y，F)设为“1”的情况下的处理为在图7中进行说明的处理。
至此，对拍摄动态图像时的FPN的计算方法进行了说明。以下，对根据来自用户的指示等通过成像元件3对被摄体进行一次拍摄，并对通过该拍摄而得到的摄像图像数据进行处理而得到的记录用数据记录于记录介质21的静止图像拍摄模式的动作进行说明。
静止图像拍摄模式中，数字信号处理部17对改变光圈2的F值而获取的多个摄像图像数据进行合成而生成一个摄像图像数据，并根据该摄像图像数据生成记录用数据而记录于记录介质21。
图10为表示从成像元件3的各红外线检测像素输出的像素信号值相对于被摄体温度的变化(红外线检测像素的输出响应特性)的图。
图10中，符号101表示F值＝F1的状态下的各红外线检测像素的输出响应特性。符号102表示F值＝F1.4的状态下的各红外线检测像素的输出响应特性。
输出响应特性101和输出响应特性102均表示去除与从光圈2射出的红外线相对应的信号成分(上述β(x，y，F，T))的像素信号值。
F值＝F1的状态下，较多的红外线从被摄体入射于成像元件3。从而，相对于被摄体温度的像素信号值的变化成陡峭。
图10的例中，在F值＝F1的状态下，相对于20℃以上的被摄体，像素信号值为饱和。因此，对于小于20℃的被摄体，能够在S/N比(信噪比)较高的状态下进行拍摄，但对于20℃以上的被摄体，无法正确地进行拍摄。
另一方面，在F值＝F1.4的状态下，与F值＝F1时相比，入射于成像元件3的红外线量减少。从而，相对于被摄体温度的像素信号值的变化变得平缓。
图10的例中，在F值＝F1.4的状态下，相对于小于80℃的被摄体，像素信号值不饱和。即，能够正确地拍摄小于80℃的被摄体像，但对于小于20℃的被摄体，像素信号值变小，因此S/N比恶化。
图10中，将F值＝F1时的红外线检测像素达到饱和电平的温度(＝20℃)称为饱和温度。并且，将F值＝F1.4时的红外线检测像素达到饱和电平的温度(＝80℃)称为饱和温度。
如此，若改变光圈2的F值，则能够正确拍摄的被摄体的上限温度(饱和温度)发生变化。
将在设为F值＝F1的状态下得到的坐标位置(x，y)的像素信号值设为Out(x，y，F1)，将在设为F值＝F1.4的状态下得到的坐标位置(x，y)的像素信号值设为Out(x，y，F2)。在该设定的基础上，数字信号处理部17进行以下式(8)的运算，并生成像素信号值D(x，y)。
D(x，y)＝{Out(x，y，F1)-β(x，y，F1，T)}×a+{Out(x，y，F1.4)-β(x，y，F1.4，T)}×b……(8)
图11为表示式(8)的运算系数a的一例的图。如图11所示，被摄体温度小于20℃的范围时，运算系数a成为与输出响应特性101成反比例的值。并且，被摄体温度为20℃以上的范围时，运算系数a成为“0”，而与被摄体温度无关。被摄体温度为0℃时的运算系数a成为图10中的被摄体温度＝20℃时的输出响应特性101的像素信号值与输出响应特性102的像素信号值之比，即“0.25”。
图12为表示式(8)的运算系数b的一例的图。如图12所示，运算系数b在被摄体温度小于20℃的范围内成为与输出响应特性101成比例的值。并且，运算系数b在被摄体温度为20℃以上的范围内成为“1”，而与被摄体温度无关。并且，被摄体温度为0℃时的运算系数b成为“0”。
运算系数a为与F值＝F1时的输出响应特性101(表示被摄体温度与从所述成像元件的各红外线检测像素输出的像素信号值的关系的信息)相对应的系数。
运算系数a为与F值＝F1.4时的输出响应特性102(表示被摄体温度与从所述成像元件的各红外线检测像素输出的像素信号值的关系的信息)相对应的系数。
进行式(8)的运算而得到的摄像图像数据与通过具有以图13的符号130表示的输出响应特性的红外线检测像素拍摄被摄体而得到的数据成为等效。
以符号130表示的输出响应特性与图10的输出响应特性102变得相同。但是，在式(8)的运算结果、被摄体温度为20℃以下的范围内，被摄体温度越低，则合成后的像素信号值D(x，y)中，{Out(x，y，F1)-β(x，y，F1，T)}所占的比例越高。
{Out(x，y，F1)-β(x，y，F1，T)}中，信号成分相对变多，与{Out(x，y，F1.4)-β(x，y，F1.4，T)}相比，S/N比更优异。从而，通过具有以图13的符号130表示的输出响应特性的红外线检测像素拍摄被摄体，由此关于小于20℃的低温被摄体，不会使各像素信号值饱和，并且与F值＝F1.4时相比，能够在进一步提高S/N比的状态下进行拍摄。
并且，关于20℃以上且小于80℃的温度范围的被摄体，不使各像素信号值饱和即能够进行拍摄。因此，即使在低温被摄体和高温被摄体混合存在的场景中，也能够提高拍摄质量。
以上的说明中，按成像元件3中所包含的每一红外线检测像素进行通过运算系数a、运算系数b对改变F值而获取的多个像素信号值进行加权相加的处理，由此生成一个摄像图像数据。
作为该变形例，数字信号处理部17从改变F值而获取的多个摄像图像数据的每一个减去与从光圈2射出的红外线相对应的数据。数字信号处理部17从减去而得到的多个摄像图像数据切取非饱和部分，并通过拼接所切取的部分而生成一个摄像图像数据。
图14为表示通过图1的红外线摄像装置拍摄的被摄体的一例的图。图14中例示包括物体140、物体141、物体142的被摄体。图14中，物体140和物体141的温度为相同程度，物体142的温度比物体140、物体141更高。
图15(a)、图15(b)为表示将光圈2的F值改变为两个值而拍摄图14的被摄体而得到的摄像图像数据的图。
图15(a)例如表示以F值＝F1拍摄而得到的摄像图像数据151。图15(b)例如表示以F值＝F1.4拍摄而得到的摄像图像数据152。
图15(a)、图15(b)中，符号142a为与图14的被摄体142相对应的数据。符号140a为与图14的被摄体140相对应的数据。符号141a为与图14的被摄体141相对应的数据。
图15(a)、图15(b)的例中，F值＝F1时的图像数据部分142a的各像素信号值达到饱和电平，但F值＝F1.4时的图像数据部分142a的各像素信号值小于饱和电平。
并且，F值＝F1、F值＝F1.4时，图像数据部分140a、图像数据部分141a的各像素信号值均小于饱和电平。而且，与F值＝F1时的图像数据部分140a、图像数据部分141a的各像素信号值电平相比，F值＝F1.4时的图像数据部分140a、图像数据部分141a的各像素信号值的电平变小。
图15(a)、图15(b)的例中，数字信号处理部17根据摄像图像数据151检测像素信号值达到饱和电平的图像数据部分142a，并从摄像图像数据151切取图像数据部分142a以外的部分。
数字信号处理部17从该切取的部分的各像素信号值根据获取摄像图像数据151时的F值及通过温度检测部4检测出的光圈2的温度减去与从光圈2射出的红外线量相对应的信号值(上述的β(x，y，F1，T))而生成第一修整数据。
接着，数字信号处理部17在摄像图像数据152中对与上述检测出的图像数据部分相对应的图像数据部分的各像素信号值与饱和电平进行比较，判定各像素信号值是否小于饱和电平。各像素信号值小于饱和电平时，数字信号处理部17从摄像图像数据152切取该图像数据部分。
数字信号处理部17从该切取的部分的各像素信号值根据获取摄像图像数据152时的F值及通过温度检测部4检测出的光圈2的温度减去与从光圈2射出的红外线量相对应的信号值(上述的β(x，y，F1.4，T))而生成第二修整信息。
而且，数字信号处理部17通过拼接第一修整信息和第二修整信息，合成两个摄像图像数据151、摄像图像数据152，并生成图16所示的合成图像数据155。数字信号处理部17对合成图像数据155进行处理而得到记录用数据。
如以上，在改变F值而获取的多个摄像图像数据中存在包括像素信号值达到饱和电平的物体部分的摄像图像数据(设为摄像图像数据(1))的情况下，数字信号处理部17从多个摄像图像数据中确定包括与该物体部分相对应且像素信号值小于饱和电平的物体部分、并且获取时的F值成为最小的摄像图像数据。
而且，数字信号处理部17以上述确定的摄像图像数据中所包括的上述物体部分的数据取代摄像图像数据(1)的上述物体部分。由此，即使在低温被摄体和高温被摄体混合存在的场景中，也能够得到正确地拍摄两者的合成图像数据。
另外，在改变F值而获取的多个摄像图像数据中不存在包括像素信号值达到饱和电平的物体部分的摄像图像数据的情况下，数字信号处理部17对获取时的F值成为最小的摄像图像数据进行处理而生成记录用数据即可。
并且，图15(a)、图15(b)的例中，对改变F值而进行两次拍摄的情况进行了说明，但也可以改变F值而进行3次以上的拍摄。
例如，以F值＝F1得到的摄像图像数据中饱和的物体部分存在两处，该两处之一即使在F值＝F1.4时也饱和，但可考虑F值＝F2时并不饱和的情况。
该情况中，将以F值＝F1得到的摄像图像数据的两处的物体部分取代为以F值＝F1.4得到的摄像图像数据中所包括的物体部分和以F值＝F2得到的摄像图像数据中所包括的物体部分即可。
另外，静止图像拍摄模式中，如上述改变F值而进行多次拍摄，因此能够进行利用在该多次拍摄下得到的多个摄像图像数据的前述FPN计算处理。数字信号处理部17从上述合成图像数据减去在该FPN计算处理中得到的FPN数据而对其进行FPN校正即可。
能够将由本实施方式的FPN计算部19及数字信号处理部17进行的各步骤作为用于使计算机执行的程序而提供。这种程序记录于能够由计算机读取的非暂时性(non-transitory)记录介质中。
这种“计算机可读取的记录介质”例如包括CD-ROM(Compact Disc-ROM)等光学介质、存储卡等磁记录介质等。并且，这种程序还可通过网络下载而提供。
如以上说明，本说明书中公开有以下内容。
所公开的红外线摄像装置具备：成像元件，包含二维配置的多个红外线检测像素；光圈，配置在比上述成像元件更靠被摄体侧；温度检测部，检测上述光圈的温度；及图像处理部，从将上述光圈的F值设为多个值的状态下通过上述成像元件拍摄而得到的多个摄像图像数据各自的至少一部分减去信号值，并合成上述减去后的上述多个摄像图像数据而生成合成图像数据，该信号值与上述各自的获取时的F值及基于通过上述温度检测部检测出的温度的从上述光圈射出的红外线量相对应。
所公开的红外线摄像装置中，上述图像处理部拼接从上述多个摄像图像数据中的包含像素信号值达到饱和电平的物体部分的摄像图像数据的上述物体部分以外的部分减去上述信号值而得到的部分和从上述多个摄像图像数据中确定并包含与上述物体部分相对应且像素信号值小于饱和电平的物体部分，并且从获取时的F值成为最小的摄像图像数据中的上述物体部分减去上述信号值而得到的部分，并生成上述合成图像数据。
所公开的红外线摄像装置中，上述图像处理部从上述多个摄像图像数据各自的各像素信号值减去上述信号值，对上述减去后的多个摄像图像数据各自的各像素信号值乘以与表示根据上述各自的获取时的F值确定的被摄体温度和从上述成像元件的各红外线检测像素输出的像素信号值的关系的信息相对应的系数，通过上述多个摄像图像数据相加上述相乘后的各像素信号值而生成上述合成图像数据。
所公开的红外线摄像装置中，上述多个摄像图像数据包含在将上述光圈的F值设为第一值的状态下通过上述成像元件拍摄而得到的第一摄像图像数据和在将上述光圈的F值设为第二值的状态下通过上述成像元件拍摄而得到的第二摄像图像数据，所述红外线摄像装置还具备固定图案噪声计算部，所述固定图案噪声计算部根据上述第一摄像图像数据及上述第二摄像图像数据和上述第一值及上述第二值计算通过上述成像元件拍摄而得到的摄像图像数据中所包含的固定图案噪声。
所公开的红外线摄像装置中，上述固定图案噪声计算部对上述第一摄像图像数据及上述第二摄像图像数据各自中位于任意坐标位置的两个像素信号值的至少一个乘以与上述第一值和上述第二值之差相对应的系数，并利用上述相乘后的上述两个像素信号值的差分计算上述任意坐标位置中的固定图案噪声。
所公开的红外线摄像装置中，上述固定图案噪声计算部根据上述第一摄像图像数据及上述第二摄像图像数据、上述第一值及上述第二值和通过上述温度检测部检测出的上述光圈的温度计算上述固定图案噪声。
所公开的红外线摄像装置中，上述固定图案噪声计算部对上述第一摄像图像数据及上述第二摄像图像数据各自中位于任意坐标位置的两个像素信号值的至少一个乘以与上述第一值和上述第二值之差相对应的系数及与通过上述温度检测部检测出的温度相对应的系数，并利用上述相乘后的上述两个像素信号值的差分计算上述任意坐标位置中的固定图案噪声。
所公开的红外线摄像装置中，上述固定图案噪声计算部作为上述系数利用根据上述红外线检测像素的位置而不同的值。
所公开的红外线摄像装置的图像处理方法为基于红外线摄像装置的图像处理方法，该红外线摄像装置具有：成像元件，包含二维配置的多个红外线检测像素；光圈，配置在比上述成像元件更靠被摄体侧；及温度检测部，检测上述光圈的温度，其中，该图像处理方法具备：图像处理步骤，从将上述光圈的F值设为多个值的状态下通过上述成像元件拍摄而得到的多个摄像图像数据各自的至少一部分减去信号值，并合成上述减去后的上述多个摄像图像数据而生成合成图像数据，该信号值与上述各自的获取时的F值及基于通过上述温度检测部检测出的温度的从上述光圈射出的红外线量相对应。
所公开的红外线摄像装置的图像处理方法中，上述图像处理步骤中，拼接从上述多个摄像图像数据中的包含像素信号值达到饱和电平的物体部分的摄像图像数据的上述物体部分以外的部分减去上述信号值而得到的部分和从上述多个摄像图像数据中确定并包含与上述物体部分相对应且像素信号值小于饱和电平的物体部分，并且从获取时的F值成为最小的摄像图像数据中的上述物体部分减去上述信号值而得到的部分，并生成上述合成图像数据。
所公开的红外线摄像装置的图像处理方法中，上述图像处理步骤中，从上述多个摄像图像数据各自的各像素信号值减去上述信号值，对上述减去后的多个摄像图像数据各自的各像素信号值乘以与表示根据上述各自的获取时的F值确定的被摄体温度和从上述成像元件的各红外线检测像素输出的像素信号值的关系的信息相对应的系数，通过上述多个摄像图像数据相加上述相乘后的各像素信号值而生成上述合成图像数据。
所公开的红外线摄像装置的图像处理方法中，上述多个摄像图像数据包含在将上述光圈的F值设为第一值的状态下通过上述成像元件拍摄而得到的第一摄像图像数据和在将上述光圈的F值设为第二值的状态下通过上述成像元件拍摄而得到的第二摄像图像数据，述图像处理方法还具备：固定图案噪声计算步骤，根据上述第一摄像图像数据及上述第二摄像图像数据和上述第一值及上述第二值计算通过上述成像元件拍摄而得到的摄像图像数据中所包含的固定图案噪声。
所公开的红外线摄像装置的图像处理方法中，上述固定图案噪声计算步骤中，对上述第一摄像图像数据及上述第二摄像图像数据各自中位于任意坐标位置的两个像素信号值的至少一个乘以与上述第一值和上述第二值之差相对应的系数，并利用上述相乘后的上述两个像素信号值的差分计算上述任意坐标位置中的固定图案噪声。
所公开的红外线摄像装置的图像处理方法中，上述固定图案噪声计算步骤中，根据上述第一摄像图像数据及上述第二摄像图像数据、上述第一值及上述第二值和通过上述温度检测部检测出的上述光圈的温度计算上述固定图案噪声。
所公开的红外线摄像装置的图像处理方法中，上述固定图案噪声计算步骤中，对上述第一摄像图像数据及上述第二摄像图像数据各自中位于任意坐标位置的两个像素信号值的至少一个乘以与上述第一值和上述第二值之差相对应的系数及与通过上述温度检测部检测出的温度相对应的系数，并利用上述相乘后的上述两个像素信号值的差分计算上述任意坐标位置中的固定图案噪声。
所公开的红外线摄像装置的图像处理方法中，上述固定图案噪声计算步骤中，利用根据上述红外线检测像素的位置而不同的值来作为上述系数。
所公开的图像处理程序为用于使红外线摄像装置执行图像处理步骤的程序，上述红外线摄像装置具有：成像元件，包含二维配置的多个红外线检测像素；光圈，配置在比上述成像元件更靠被摄体侧；及温度检测部，检测上述光圈的温度，上述图像处理步骤中，从将上述光圈的F值设为多个值的状态下通过上述成像元件拍摄而得到的多个摄像图像数据各自的至少一部分减去信号值，并合成上述减去后的上述多个摄像图像数据而生成合成图像数据，该信号值与上述各自的获取时的F值及基于通过上述温度检测部检测出的温度的从上述光圈射出的红外线量相对应。
产业上的可利用性
本发明尤其在应用于车载用相机等而便利性较高且有效。
将本发明详细地并参考特定实施方式进行了说明，但对于本领域技术人员而言，在不脱离本发明的精神和范围的情况下可施加各种变更和修正是显而易见的。
本申请主张基于2014年9月30日于日本申请的日本专利申请(专利申请2014-200076)，并将其内容通过参考而并入本说明书中。
符号说明
2-光圈，3-成像元件，4-温度检测部，11-系统控制部，17-数字信号处理部(图像处理部)，19-FPN计算部。

Claims (17)

1.一种红外线摄像装置，具备：
成像元件，包含二维配置的多个红外线检测像素；
光圈，配置在比所述成像元件更靠被摄体侧；
温度检测部，检测所述光圈的温度；及
图像处理部，从将所述光圈的F值设为多个值的状态下通过所述成像元件拍摄而获取的多个摄像图像数据各自的至少一部分减去信号值，并合成所述减去后的所述多个摄像图像数据而生成合成图像数据，该信号值与所述各自的获取时的F值及基于通过所述温度检测部检测出的温度的从所述光圈射出的红外线量相对应。
2.根据权利要求1所述的红外线摄像装置，其中，
所述图像处理部拼接从所述多个摄像图像数据中的包含像素信号值达到饱和电平的物体部分的摄像图像数据的所述物体部分以外的部分减去所述信号值而得到的部分和从所述多个摄像图像数据中确定并包含与所述物体部分相对应且像素信号值小于饱和电平的物体部分，并且从获取时的F值成为最小的摄像图像数据中的所述像素信号值小于饱和电平的物体部分减去所述信号值而得到的部分，并生成所述合成图像数据。
3.根据权利要求1所述的红外线摄像装置，其中，
所述图像处理部从所述多个摄像图像数据各自的各像素信号值减去所述信号值，对所述减去后的多个摄像图像数据各自的各像素信号值乘以与表示根据所述各自的获取时的F值确定的被摄体温度和从所述成像元件的各红外线检测像素输出的像素信号值的关系的信息相对应的系数，通过所述多个摄像图像数据相加所述相乘后的各像素信号值而生成所述合成图像数据。
4.根据权利要求1至3中任一项所述的红外线摄像装置，其中，
所述多个摄像图像数据包含在将所述光圈的F值设为第一值的状态下通过所述成像元件拍摄而得到的第一摄像图像数据和在将所述光圈的F值设为第二值的状态下通过所述成像元件拍摄而得到的第二摄像图像数据，
所述红外线摄像装置还具备：
固定图案噪声计算部，根据所述第一摄像图像数据及所述第二摄像图像数据和所述第一值及所述第二值计算通过所述成像元件拍摄而得到的摄像图像数据中所包含的固定图案噪声。
5.根据权利要求4所述的红外线摄像装置，其中，
所述固定图案噪声计算部对所述第一摄像图像数据及所述第二摄像图像数据各自中位于任意坐标位置的两个像素信号值的至少一个乘以与所述第一值和所述第二值之差相对应的系数，并利用所述相乘后的所述两个像素信号值的差分计算所述任意坐标位置中的固定图案噪声。
6.根据权利要求4所述的红外线摄像装置，其中，
所述固定图案噪声计算部根据所述第一摄像图像数据及所述第二摄像图像数据、所述第一值及所述第二值和通过所述温度检测部检测出的所述光圈的温度计算所述固定图案噪声。
7.根据权利要求6所述的红外线摄像装置，其中，
所述固定图案噪声计算部对所述第一摄像图像数据及所述第二摄像图像数据各自中位于任意坐标位置的两个像素信号值的至少一个乘以与所述第一值和所述第二值之差相对应的系数及与通过所述温度检测部检测出的温度相对应的系数，并利用所述相乘后的所述两个像素信号值的差分计算所述任意坐标位置中的固定图案噪声。
8.根据权利要求5或7所述的红外线摄像装置，其中，
所述固定图案噪声计算部利用根据所述红外线检测像素的位置而不同的值作为所述系数。
9.一种基于红外线摄像装置的图像处理方法，该红外线摄像装置具有：成像元件，包含二维配置的多个红外线检测像素；光圈，配置在比所述成像元件更靠被摄体侧；及温度检测部，检测所述光圈的温度，
该图像处理方法具备：
图像处理步骤，从将所述光圈的F值设为多个值的状态下通过所述成像元件拍摄而获取的多个摄像图像数据各自的至少一部分减去信号值，并合成所述减去后的所述多个摄像图像数据而生成合成图像数据，该信号值与所述各自的获取时的F值及基于通过所述温度检测部检测出的温度的从所述光圈射出的红外线量相对应。
10.根据权利要求9所述的图像处理方法，其中，
所述图像处理步骤中，拼接从所述多个摄像图像数据中的包含像素信号值达到饱和电平的物体部分的摄像图像数据的所述物体部分以外的部分减去所述信号值而得到的部分和从所述多个摄像图像数据中确定并包含与所述物体部分相对应且像素信号值小于饱和电平的物体部分，并且从获取时的F值成为最小的摄像图像数据中的所述像素信号值小于饱和电平的物体部分减去所述信号值而得到的部分，并生成所述合成图像数据。
11.根据权利要求9所述的图像处理方法，其中，
所述图像处理步骤中，从所述多个摄像图像数据各自的各像素信号值减去所述信号值，对所述减去后的多个摄像图像数据各自的各像素信号值乘以与表示根据所述各自的获取时的F值确定的被摄体温度和从所述成像元件的各红外线检测像素输出的像素信号值的关系的信息相对应的系数，通过所述多个摄像图像数据相加所述相乘后的各像素信号值而生成所述合成图像数据。
12.根据权利要求9至11中任一项所述的图像处理方法，其中，
所述多个摄像图像数据包含在将所述光圈的F值设为第一值的状态下通过所述成像元件拍摄而得到的第一摄像图像数据和在将所述光圈的F值设为第二值的状态下通过所述成像元件拍摄而得到的第二摄像图像数据，
所述图像处理方法还具备：
固定图案噪声计算步骤，根据所述第一摄像图像数据及所述第二摄像图像数据和所述第一值及所述第二值计算通过所述成像元件拍摄而得到的摄像图像数据中所包含的固定图案噪声。
13.根据权利要求12所述的图像处理方法，其中，
所述固定图案噪声计算步骤中，对所述第一摄像图像数据及所述第二摄像图像数据各自中位于任意坐标位置的两个像素信号值的至少一个乘以与所述第一值和所述第二值之差相对应的系数，并利用所述相乘后的所述两个像素信号值的差分计算所述任意坐标位置中的固定图案噪声。
14.根据权利要求12所述的图像处理方法，其中，
所述固定图案噪声计算步骤中，根据所述第一摄像图像数据及所述第二摄像图像数据、所述第一值及所述第二值和通过所述温度检测部检测出的所述光圈的温度计算所述固定图案噪声。
15.根据权利要求14所述的图像处理方法，其中，
所述固定图案噪声计算步骤中，对所述第一摄像图像数据及所述第二摄像图像数据各自中位于任意坐标位置的两个像素信号值的至少一个乘以与所述第一值和所述第二值之差相对应的系数及与通过所述温度检测部检测出的温度相对应的系数，并利用所述相乘后的所述两个像素信号值的差分计算所述任意坐标位置中的固定图案噪声。
16.根据权利要求13或15所述的图像处理方法，其中，
所述固定图案噪声计算步骤中，利用根据所述红外线检测像素的位置而不同的值作为所述系数。
17.一种记录有图像处理程序的、计算机能够读取的记录介质，该图像处理程序用于使红外线摄像装置执行图像处理步骤，所述红外线摄像装置具有：成像元件，包含二维配置的多个红外线检测像素；光圈，配置在比所述成像元件更靠被摄体侧；及温度检测部，检测所述光圈的温度，所述图像处理步骤中，从将所述光圈的F值设为多个值的状态下通过所述成像元件拍摄而获取的多个摄像图像数据各自的至少一部分减去信号值，并合成所述减去后的所述多个摄像图像数据而生成合成图像数据，该信号值与所述各自的获取时的F值及基于通过所述温度检测部检测出的温度的从所述光圈射出的红外线量相对应。
CN201580052999.7A 2014-09-30 2015-05-13 红外线摄像装置、图像处理方法及记录介质 Active CN106716991B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014200076 2014-09-30
JP2014-200076 2014-09-30
PCT/JP2015/063799 WO2016051849A1 (ja) 2014-09-30 2015-05-13 赤外線撮像装置、画像処理方法、及び画像処理プログラム

Publications (2)

Publication Number Publication Date
CN106716991A CN106716991A (zh) 2017-05-24
CN106716991B true CN106716991B (zh) 2019-07-23

Family

ID=55629905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580052999.7A Active CN106716991B (zh) 2014-09-30 2015-05-13 红外线摄像装置、图像处理方法及记录介质

Country Status (4)

Country Link
US (1) US10462387B2 (zh)
JP (1) JP6251817B2 (zh)
CN (1) CN106716991B (zh)
WO (1) WO2016051849A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020219694A1 (en) * 2019-04-23 2020-10-29 Apple Inc. Systems and methods for resolving hidden features in a field of view
CN111026708B (zh) * 2019-11-25 2023-04-14 烟台艾睿光电科技有限公司 一种热像仪图像文件的存储方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6177724A (ja) * 1984-09-25 1986-04-21 Toshiba Corp 赤外光制御装置
JPH0282122A (ja) * 1988-09-19 1990-03-22 Fujitsu Ltd 赤外線撮像装置
CN1576941A (zh) * 2003-07-23 2005-02-09 柯尼卡美能达精密光学株式会社 摄像镜头和摄像装置
CN103179355A (zh) * 2011-12-20 2013-06-26 弗卢克公司 用于红外重新拍摄的热成像相机

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02190083A (ja) * 1989-01-19 1990-07-26 Fujitsu Ltd 赤外線撮像装置のオフセット値測定、及びオフセット補正方法
JPH09101207A (ja) 1995-10-04 1997-04-15 Nippon Avionics Co Ltd 赤外線熱画像装置における測定温度レンジ自動切り換え方法及び装置
US6759657B2 (en) 2001-03-27 2004-07-06 Kabushiki Kaisha Toshiba Infrared sensor
JP3657885B2 (ja) * 2001-03-27 2005-06-08 株式会社東芝 赤外線センサ装置およびその駆動方法
JP2008278036A (ja) 2007-04-26 2008-11-13 Mitsubishi Electric Corp 赤外線カメラ
JP4900283B2 (ja) 2008-02-29 2012-03-21 日本電気株式会社 赤外線撮像装置および固定パターンノイズ補正方法
JP5803532B2 (ja) 2011-10-04 2015-11-04 ソニー株式会社 赤外線光学系、赤外線撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6177724A (ja) * 1984-09-25 1986-04-21 Toshiba Corp 赤外光制御装置
JPH0282122A (ja) * 1988-09-19 1990-03-22 Fujitsu Ltd 赤外線撮像装置
CN1576941A (zh) * 2003-07-23 2005-02-09 柯尼卡美能达精密光学株式会社 摄像镜头和摄像装置
CN103179355A (zh) * 2011-12-20 2013-06-26 弗卢克公司 用于红外重新拍摄的热成像相机

Also Published As

Publication number Publication date
JP6251817B2 (ja) 2017-12-20
JPWO2016051849A1 (ja) 2017-04-27
US10462387B2 (en) 2019-10-29
US20170201696A1 (en) 2017-07-13
CN106716991A (zh) 2017-05-24
WO2016051849A1 (ja) 2016-04-07

Similar Documents

Publication Publication Date Title
US10997696B2 (en) Image processing method, apparatus and device
CN109377469B (zh) 一种热成像融合可见光图像的处理方法、系统及存储介质
JP6173156B2 (ja) 画像処理装置、撮像装置及び画像処理方法
US20150278996A1 (en) Image processing apparatus, method, and medium for generating color image data
CN102685511B (zh) 图像处理设备和图像处理方法
JP6013284B2 (ja) 撮像装置及び撮像方法
US10536626B2 (en) Infrared imaging device, fixed pattern noise calculation method, and fixed pattern noise calculation program
US11347133B2 (en) Image capturing apparatus, image processing apparatus, control method, and storage medium
JP2013198041A (ja) 画像処理装置
JP2010117593A (ja) 距離情報取得装置、撮像装置、及びプログラム
JP2014138290A (ja) 撮像装置及び撮像方法
US10362243B2 (en) Infrared imaging device, diaphragm control method, and diaphragm control program
US11808561B2 (en) Electronic apparatus for controlling a projector to project an image onto a screen at an actual size length, control method thereof and computer readable storage medium
CN106716991B (zh) 红外线摄像装置、图像处理方法及记录介质
JP2011160255A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP6552325B2 (ja) 撮像装置、撮像装置の制御方法、及びプログラム
JP2016054506A (ja) 撮像装置、ヒストグラムの表示方法、プログラム、画像処理装置
JP2020181401A (ja) 画像処理装置、画像処理方法及びプログラム
JP2014131188A (ja) 撮像装置、その制御方法、および制御プログラム
JP2019007826A (ja) 測距カメラおよび測距方法
US20240040215A1 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
US20230196517A1 (en) Information processing apparatus, control method of information processing apparatus, and non-transitory computer readable medium
JP2020095454A (ja) 処理装置、撮像装置、処理システム、処理方法、プログラム、および、記憶媒体
JP2019022002A (ja) 画像処理装置および画像処理プログラム
JP2016142778A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant