CN107615019B - 红外线摄像装置及基于红外线摄像装置的信号校正方法 - Google Patents

红外线摄像装置及基于红外线摄像装置的信号校正方法 Download PDF

Info

Publication number
CN107615019B
CN107615019B CN201680028969.7A CN201680028969A CN107615019B CN 107615019 B CN107615019 B CN 107615019B CN 201680028969 A CN201680028969 A CN 201680028969A CN 107615019 B CN107615019 B CN 107615019B
Authority
CN
China
Prior art keywords
deviation
picture element
signal
infrared
element signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680028969.7A
Other languages
English (en)
Other versions
CN107615019A (zh
Inventor
北川润也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN107615019A publication Critical patent/CN107615019A/zh
Application granted granted Critical
Publication of CN107615019B publication Critical patent/CN107615019B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/80—Calibration
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14649—Infrared imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

本发明提供一种红外线摄像装置及基于红外线摄像装置的信号校正方法。在红外线摄像装置及基于红外线摄像装置的信号校正方法中，即使在红外线图像的像素信号的偏差发生变动的情况下也减少因红外线图像的像素信号的偏差引起的干扰。红外线摄像装置(1)具备：光学系统(2)；检测部(3)，其备在来自光学系统(2)的红外线所入射的有效区域以矩阵状配置有作为红外线检测元件的有效像素的有效像素部及在来自光学系统的红外线未入射的参考区域配置有多个作为红外线检测元件的参考像素的参考像素部，且位于光学系统(2)的成像面；及信号校正部(6)，对由检测部(3)检测出的像素信号进行校正处理，信号校正部(6)进行偏差校正处理，该处理中计算表示参考像素部中所含有的多个参考像素的像素信号的偏差的参考偏差值，且与参考偏差值变大相应地减少有效像素的像素信号的偏差。

Description

红外线摄像装置及基于红外线摄像装置的信号校正方法
技术领域
本发明涉及一种拍摄红外线图像的红外线摄像装置及基于红外线摄像装置的信号校正方法，尤其涉及一种校正红外线图像的像素信号的红外线摄像装置及基于红外线摄像装置的信号校正方法。
背景技术
近年来，在拍摄红外线图像的摄像装置中，作为以矩阵状配置有红外线检测元件的图像传感器，使用利用根据温度变动而电阻值发生变动的情况来检测红外线的热辐射计型图像传感器。专利文献1中公开了如下技术，即在这种热辐射计型图像传感器中，为了去除因用于蓄积基于红外线的信号的偏置电流的焦耳热引起的干扰，在图像传感器设置红外线入射的图像区域和红外线未入射的非图像区域，根据非图像区域的红外线检测元件的电信号，偏移控制流向图像区域的红外线检测元件的偏置电流。
以往技术文献
专利文献
专利文献1：日本特开2004-245692号公报
发明内容
发明要解决的技术课题
在此，基于本申请的发明人的新的见解，在图1示出横轴表示时间轴，且纵轴表示对于特定的测定对象区域用图像传感器检测出的红外线图像的像素信号的分散的时序列图表。通过本申请的发明人的分析，得知图像传感器的干扰特性根据传感器本身的温度变动等的原因而发生变化，因此如图1所示，用图像传感器检测出的像素信号的偏差按每一时刻以非线形发生变动。
在此，当像素信号的偏差按每一时刻以非线形发生变动时，关于对用图像传感器检测出的红外线图像的每一个进行了以相同的校正强度减少像素信号的偏差的偏差校正处理的比较例进行说明。图13中，作为比较例，分别示出对于图1中的时刻t1的红外线图像It1及图1中的时刻t2的红外线图像It2以相同的校正强度校正像素信号的偏差的校正后图像It1_p及校正后图像It2_p。另外，若像素信号的偏差变大，则在红外线图像中增加与摄像对象无关的白点或黑点等干扰。图13中，示出与红外线图像It1相比红外线图像It2的像素信号的偏差相对较大的例。
如图13所示的比较例，以相同的校正强度进行了偏差校正处理时，即使能够得到对于一个红外线图像It1适当地减少了像素信号的偏差的校正后图像It1_p，对于另一个红外线图像It2无法应对像素信号的偏差的增大，且如校正后图像It2_p所示，无法充分减少像素信号的偏差而导致校正不足。相反地，对于像素信号的偏差比红外线图像It1小的红外线图像以相同的校正强度进行偏差校正处理时，无法充分减少像素信号的偏差而导致过度校正。因此，要求即使在红外线图像的像素信号的偏差发生变动的情况下也减少因红外线图像的像素信号的偏差引起的干扰的技术。然而，上述专利文献1中所记载的技术为以地址线单元偏移控制偏置电流的技术，因此无法减少红外线图像的像素信号的偏差。
本发明是鉴于上述情况而完成的，其目的在于提出一种即使在红外线图像的像素信号的偏差发生变动的情况下也减少因红外线图像的像素信号的偏差引起的干扰的红外线摄像装置、基于所述红外线摄像装置的信号校正方法。
用于解决技术课题的手段
本申请发明所涉及的红外线摄像装置，其特征在于，具备：光学系统；检测部，其具备在来自光学系统的红外线所入射的有效区域以矩阵状配置有作为红外线检测元件的有效像素的有效像素部及在来自光学系统的红外线未入射的参考区域配置有多个作为红外线检测元件的参考像素的参考像素部，且位于光学系统的成像面；及信号校正部，对由检测部检测出的像素信号进行校正处理，信号校正部进行偏差校正处理，该处理中计算表示参考像素部中所含有的多个参考像素的像素信号的偏差的参考偏差值，且与该参考偏差值变大相应地减少有效像素的像素信号的偏差。
本申请发明所涉及的基于红外线摄像装置的信号校正方法，该红外线摄像装置具备：光学系统；检测部，其具备在来自光学系统的红外线所入射的有效区域以矩阵状配置有作为红外线检测元件的有效像素的有效像素部及在来自光学系统的红外线未入射的参考区域配置有多个作为红外线检测元件的参考像素的参考像素部，且位于光学系统的成像面；及信号校正部，对由检测部检测出的像素信号进行校正处理，该方法的特征在于，具有：检测步骤，检测有效像素的像素信号和参考像素的像素信号；及信号校正步骤，进行偏差校正处理，该处理中计算表示参考像素部中所含有的多个参考像素的像素信号的偏差的参考偏差值，且与参考偏差值变大相应地减少有效像素的像素信号的偏差。
上述“来自光学系统的红外线未入射的参考区域”是指，参考区域通过任意方法以来自光学系统的红外线未入射的方式构成的情况。例如，可以构成为通过以不与光学系统的成像区域重复的方式设置参考区域以免红外线未入射参考区域，也可以构成为通过屏蔽物屏蔽来自光学系统的红外线的直接入射以免红外线未入射参考区域。
上述“参考偏差值”是指，表示参考像素部中所含有的多个参考像素的像素信号的偏差的值。参考偏差值能够通过表示参考像素部中所含有的多个参考像素的像素信号的偏差的任意方法来定义。例如，作为参考偏差值，能够使用参考像素部中所含有的多个参考像素的像素信号的分散、标准偏差等表示统计偏差的值或参考像素部中所含有的多个参考像素的像素信号的最大值与最小值之差等表示参考像素部的像素信号的分布的范围的值。
本申请发明所涉及的红外线摄像装置中，检测部可以作为具有参考像素部和有效像素部的单一图像传感器而构成。
上述情况下，参考像素部可以具备位于与有效像素部相邻的部位的多个部分参考像素部。
本申请发明所涉及的红外线摄像装置中，当参考像素部具备位于与有效像素部相邻的部位的多个部分参考像素部时，信号校正部可以对多个部分参考像素部的每一个计算表示部分参考像素部的偏差的部分参考偏差值，且确定多个部分参考偏差值的平均值来作为参考偏差值。
本申请发明所涉及的红外线摄像装置中，当参考像素部具备位于与有效像素部相邻的部位的多个部分参考像素部时，信号校正部可以对多个部分参考像素部的每一个计算部分参考偏差值，且确定多个部分参考偏差值的最大值或最小值来作为参考偏差值。
本申请发明所涉及的红外线摄像装置中，当参考像素部具备位于与有效像素部相邻的部位的多个部分参考像素部时，优选多个部分参考像素部具备在第1方向上隔着有效区域的中心而相互对置的第1及第2部分参考像素部及在与第1方向不同的第2方向上隔着有效区域的中心而相互对置的第3部分参考像素部及第4部分参考像素部。
上述“参考像素部位于与有效像素部相邻的部位”是指，参考像素部位于以可视为参考像素部与有效像素部相邻的程度距离有效像素部充分小的距离。参考像素部可以与有效像素部直接相邻，但只要位于在不包含于成像区域中范围内与有效像素部的最短距离充分小的距离，则可以不与有效像素部直接相邻。
本申请发明所涉及的红外线摄像装置中，检测部可以具备具有有效像素部的第1图像传感器及具有与第1图像传感器相同的温度特性，并具有参考像素部的第2图像传感器，且第2图像传感器位于第1图像传感器的周边。
上述情况下，优选在整个第2图像传感器的检测面设置有参考像素，信号校正部计算表示参考像素部中所含有的所有的参考像素的像素信号的偏差的参考偏差值。
上述具有“与第1图像传感器相同的温度特性”的第2图像传感器是指，设置在第1图像传感器的红外线元件的结构与设置在第2图像传感器的红外线元件的结构相同，且在基于基板温度及红外线摄像装置的壳体温度等外在原因的温度相同的热环境下，第2图像传感器构成为表示与第1图像传感器相同的像素信号的变动。例如，能够将第2图像传感器设为与第1图像传感器规格相同的产品。
上述“第2图像传感器位于第1图像传感器的周边”是指，第2图像传感器位于基于基板温度及红外线摄像装置的壳体温度等外在原因的温度与第1图像传感器相同的范围内。例如，能够将第1图像传感器和第2图像传感器相邻设置于基板的第1面(靠近光学系统的面)。并且，例如，可以将第1图像传感器和第2图像传感器分别设置在第1面与第2面(远离光学系统的面)的相对应的位置。
本申请发明所涉及的红外线摄像装置中，参考像素部可以设置在除了光学系统的成像区域以外的位置。
本申请发明所涉及的红外线摄像装置中，其还可以具备屏蔽从光学系统向参考像素的红外线入射的屏蔽部。
本申请发明所涉及的红外线摄像装置中，信号校正部对各有效像素的像素信号，与参考偏差值变大相应地校正该有效像素的像素信号来减少有效像素的像素信号的值与位于该有效像素的周边的多个周边像素的像素信号的平均值之差，由此能够进行偏差校正处理。
上述“位于有效像素的周边的多个周边像素”是指，以与有效像素满足特定的位置关系的方式选择的除了该有效像素以外的多个有效像素。周边像素只要以位于与有效像素充分靠近的距离的方式选择，则可以采用不与有效像素直接相邻的其他有效像素。例如，能够根据以被视为对象的有效像素为中心属于3×3像素或5×5像素的范围的多个有效像素，将除了被视为中心的有效像素以外的任意的有效像素设为周边像素。
本申请发明所涉及的红外线摄像装置中，当有效像素的像素信号的值与位于该有效像素的周边的多个周边像素的像素信号的平均值之差满足第1阈值条件时，信号校正部可以进行偏差校正处理。
本申请发明所涉及的红外线摄像装置中，优选信号校正部进行校正强度更新处理，该处理中计算参考偏差值，并计算表示根据所计算出的参考偏差值计算减少有效像素的图像信号的偏差的程度的校正强度，且根据所计算出的校正强度减少有效像素的像素信号的偏差，由此进行偏差校正处理，计算参考偏差值，并根据所计算出的该参考偏差值进行更新并计算校正强度。
上述情况下，信号校正部获取参考像素部的像素信号，当所获取的该参考像素部的像素信号与上一次的校正强度的计算时的参考像素部的像素信号之差满足第2阈值条件时，能够进行校正强度更新处理。
发明效果
根据本发明的红外线摄像装置及本发明的基于红外线摄像装置的信号校正方法，即使在红外线图像的像素信号的偏差发生变动的情况下也能够优选减少因红外线图像的像素信号的偏差引起的干扰。
附图说明
图1为用图像传感器检测出的红外线图像的像素信号的分散的时序列图表。
图2为表示基于本发明的一实施方式的红外线摄像装置的结构的概要框图。
图3为表示第1及第2实施方式的检测部的示意图。
图4A为表示通过第1实施方式的信号校正部进行的处理的流程图。
图4B为表示通过第1实施方式的偏差校正部进行的处理的流程图。
图5为用于对第1实施方式的偏差校正处理进行说明的图。
图6为表示基于第1实施方式的校正前的红外线图像与校正后的红外线图像的图。
图7为表示第3实施方式的检测部的示意图。
图8为表示第4实施方式的检测部的示意图。
图9为表示第5实施方式的检测部的示意图。
图10A为第6实施方式的检测部的示意图。
图10B为表示图10A的AA截面的切断部剖面图
图11为表示第7实施方式中的校正前的红外线图像与校正后的红外线图像的图。
图12为表示通过第8实施方式的偏差校正部进行的处理的流程图。
图13为表示校正前的红外线图像与校正后的红外线图像的比较例的图。
具体实施方式
以下，参考附图对本发明的实施方式进行说明。图2为表示基于本发明的一实施方式的红外线摄像装置1的结构的概要框图。
首先，本实施方式的红外线摄像装置1具备：红外线摄像用光学系统2；检测部3，位于光学系统2的成像面，且具有检测透射光学系统2的红外线的后述图像传感器(在图2未图示)；模拟信号处理电路4，对用后述图像传感器检测出的像素信号进行包括增幅处理的公知的模拟信号处理；AD转换电路5，对已实施模拟信号处理的像素信号进行AD转换(Analogto Digital(模拟对数字)转换)；信号校正部6，其为数字信号处理装置(Digital SignalProcessor)，该装置对由已实施AD转换处理的数字信号构成的红外线图像进行包括基于本发明的实施方式的偏差校正处理的各种信号校正处理；存储部8，存储由信号校正部6使用的各种数据；及输出部7，输出通过信号校正部6已校正的红外线图像。并且，红外线摄像装置1具备进行红外线图像的摄像等的控制的未图示的控制部及控制机构。
存储部8包含根据需要存储使用于信号校正部6的各种信息、已实施各种数字信号处理的红外线图像等的DRAM(Dynamic Random Access Memory(动态随机存取存储器))等挥发性存储器和闪存器等不挥发性存储器而构成。输出部7通过无线或有线通信，将已实施包括本发明的实施方式的偏差校正处理的各种数字信号处理的红外线图像输出到未图示的外部存储部和显示部。在此，未图示的外部存储部由硬盘等各种存储介质构成。例如，可以将外部存储部作为存储卡型辅助存储装置而构成。另外，未图示的显示部局别液晶型显示器等公知的显示器，且显示所输出的红外线图像。在此，存储部8与信号校正部6安装在单一集成电路芯片。但是，并不限定于此，存储部8与信号校正部6也可以分别安装于不同的集成电路芯片。
检测部3由以矩阵状配置有多个红外线检测元件的一个以上的图像传感器构成。图3中示出基于第1实施方式的第1图像传感器31的示意图。检测部3中所含有的一个以上的图像传感器具有在透射了光学系统2的红外线所入射的有效区域AR以矩阵状配置有作为红外线检测元件的有效像素的有效像素部35及在透射了光学系统2的红外线未入射的参考区域BR配置有多个作为红外线检测元件的参考像素的参考像素部36。有效像素部35检测与红外线图像对应的图像信号，参考像素部36检测用于红外线图像的信号校正处理的图像信号。以下，将检测部3中所含有的一个以上的图像传感器中的具有有效像素部35的图像传感器记载为第1图像传感器31。当检测部3具备不具有有效像素部35的又一图像传感器时，将又一图像传感器记载为第2图像传感器32。
在此，有效像素及参考像素为能够检测红外线(波长0.7μm～1mm)的红外线检测元件(红外线検出器)，尤其为能够检测远红外线(波长4μm～1mm)的红外线检测元件。例如，作为用作上述有效像素及参考像素的红外线检测元件而能够使用热辐射计型红外线检测元件。并且，本发明的各实施方式中，通过使红外线的入射的有无不同的方式，将具备相同结构的红外线检测元件用作有红外线的入射的有效像素或无红外线的入射的参考像素，而不是通过检测红外线的热敏部的有无或使热敏部的结构不同的方式。通过使用这种具备有效像素的有效像素部35和具备参考像素的参考像素部36，由因基于热敏部的结构或热敏部的结构的不同的热特性的不同引起，不会产生有效像素与参考像素的像素值之差(有效像素的像素信号与参考像素的像素信号之差)。从而，能够使用参考像素以良好精度计算使用于后述的偏差校正处理的值。另外，在各图中，关于第1图像传感器31及第2图像传感器32仅示意性示出其检测区域。第1图像传感器31(及第2图像传感器32)具有一个检测区域，且在该一个检测区域设置有具有相同结构的(共同的结构)的多个红外线检测元件。
如图3的第1图像传感器31所示，检测部3能够作为具有参考像素部36和有效像素部35的单一的图像传感器而构成。在该情况下，在单一的图像传感器设置有参考像素部36和有效像素部35，因此不会产生因图像传感器的个体差异而引起的问题。并且，能够抑制摄像装置的组件件数的增加。
并且，如图3所示，当将检测部3作为具有参考像素部36和有效像素部35的单一的图像传感器而构成时，参考像素部36优选位于与有效像素部35相邻的部位。与参考像素部36与有效像素部35的距离变小相对应地两者的环境温度差变小(热环境类似)，因此能够使参考像素部36与有效像素部35的环境温度接近而使表示有效像素部35与参考像素部36之间的像素信号的分布形状的干扰特性适当类似，且以良好精度进行偏差校正处理，因此有利。
并且，如图3所示，可以使第1图像传感器31的检测面位于光学系统2的成像面，且在使第1图像传感器31的中心C与光学系统2的光轴一致的状态下包含于成像面，在通过光轴的至少一个直线上，以光学系统的成像区域IR的直径比第1图像传感器31的长度小的方式构成第1图像传感器31及光学系统2。在该情况下，第1图像传感器31中，位于作为与成像区域IR重复的区域的有效区域AR的红外线检测像素作为有效像素而构成有效像素部35，且位于作为不与成像区域IR重复的区域的参考区域BR的红外线检测像素作为参考像素而构成参考像素部36。如此，当将参考像素部36设置在除了成像区域IR以外的位置时，对于参考像素部36不需要用于避开来自光学系统2的红外线的入射的优异组件，因此能够简单地且以节省成本的方式制造检测部3。并且，对于成像区域IR适当确保有效像素部35的位置及面积的同时在除了成像区域IR以外的区域设置参考像素部36，因此有利。
图3的例中，第1图像传感器31为矩形传感器，第1图像传感器31的4个角部为作为不与成像区域IR重复的区域的参考区域BR。参考像素部36能够在参考区域BR内的任意位置以任意形状选择性设置。例如，可以在包含于如上述那样的成像面，且在通过光轴的至少一个直线上，使相对于第1图像传感器31的长度的光学系统的成像区域IR的直径适当不同而设置包围有效区域的框状参考区域，或者可以在隔着有效区域的中心而对置的两个边缘部设置参考区域。该情况下，可以在框状参考区域设置框状参考像素部，且可以在隔着有效区域的中心而对置的两个边缘部设置参考像素部。有效像素部35与参考像素部36的位置信息存储于存储部8，且可在信号校正部6适当参考。在第1实施方式中，在图3右下方的参考区域BR内设置有参考像素部36。
返回到图2并对其进行说明。如图2所示，信号校正部6具备选择参考区域BR内的参考像素部36和有效区域AR内的有效像素部35的选择部61、计算表示参考像素部36中所含有的多个参考像素的像素信号的偏差的参考偏差值的偏差计算部62、根据参考偏差值以与参考偏差值变大相应地校正强度变大的方式计算校正强度的校正强度计算部63及根据所计算出的校正强度实施与参考偏差值变大相应地减小有效像素的像素信号的偏差的偏差减少处理的偏差校正部64。
图4A为表示信号校正部6的处理的流程的流程图，图4B为详细示出图4A的处理中的偏差校正部64的处理(与图4A的S04对应的处理)的流程图，图5为用于说明偏差校正处理的图。以下，利用图4A、图4B，对信号校正部6进行详细说明。另外，在信号校正部6的处理之前，在存储部8存储有表示通过第1图像传感器31检测出的红外线图像I的图像信号。另外，偏差校正处理包括如在下述S01～S04分别所示那样的本发明的实施方式所涉及的选择处理、偏差计算处理、校正强度计算处理及偏差减少处理。
首先，选择部61参考存储部8选择参考区域BR内的参考像素部36和有效区域AR内的有效像素部35(S01)。在此，选择图3的有效区域AR内的有效像素部35和图3的参考区域BR内的第1图像传感器31的右下方的参考像素部36。
接着，偏差计算部62利用在图3右下的参考区域BR内的参考像素部36中所含有的所有的参考像素的像素信号，将参考像素部36的像素信号的分散作为参考偏差值Kb而计算(S02)。在无来自光学系统2的红外线的入射的参考区域BR内没有因拍摄场景引起的像素信号的偏差，因此通过参考区域BR的参考像素部36计算参考偏差值，由此参考偏差值表示因干扰引起的像素信号的偏差。
接着，校正强度计算部63根据参考偏差值Kb，计算偏差校正的校正强度α(S03)。校正强度计算部63可以根据参考偏差值以与参考偏差值变大相应地校正强度α变大的方式并通过任意方法计算校正强度α。例如，校正强度α可以根据对线形函数或曲线进行定义的特定函数进行计算。在此，校正强度计算部63根据下述式(1)计算校正强度。式(1)中，Kb为参考像素部36的像素信号的分散，Ks为参考像素部36的像素信号的基准偏差值(在此为基准分散值)，且作为Ks而使用设定值“2”。例如，计算出的参考偏差值只要是Kb＝4，则校正强度计算部63通过式(1)计算校正强度α＝0.7。根据式(1)，可知相对于将校正强度α设为固定值(例如α＝0.35)的情况，校正强度计算部63能够以与红外线图像的像素信号的偏差变大相应地校正强度变大的方式计算校正强度。另外，常数的数值0.35为一例，能够使用根据要求适当选择的常数。
α＝0.35*(Kb/Ks)……(1)
另外，校正强度α被设为0～1的范围的值，且只要以与参考偏差值变大相应地校正强度变大的方式适当选择即可，并不限定于如式(1)使用对于基准偏差值的比例的方法。
接着，偏差校正部64进行以与校正强度α变大相应地减少红外线图像的图像信号的偏差的程度变大的方式减少红外线图像的图像信号的偏差的偏差减少处理(S04)。利用图4B，对偏差校正部64的处理的流程进行说明。在此，对于各有效像素的像素信号，偏差校正部64与校正强度α变大相应地校正有效像素的像素信号，且减小有效像素的像素信号的值与位于有效像素的周边的多个周边像素的像素信号的平均值之差，由此进行偏差减少处理。
偏差校正部64将表示像素编号的i设定为初始值(i＝1)(S21)，选择第i个像素信号，并利用下述式(2)进行像素信号的校正(S22)。
Aip＝Ai*(1-α)+Mi*α……(2)
式(2)中，Ai表示有效像素部35的第i个有效像素(i为1～n的自然数)的像素信号的值，Aip表示第i个有效像素的校正后的像素信号的值，Mi表示第i个有效像素的周边像素的平均值，且α表示校正强度。另外，在此，校正强度α为通过校正强度计算部63并根据式(1)计算出的值。并且，如图5所示，偏差校正部64将以各第i个有效像素Qi为中心而位于3×3像素的范围的除了有效像素Qi以外的8个有效像素分别用作周边像素，且将8个周边像素的像素信号的加算平均值用作周边像素的像素信号的平均值Mi。
接着，偏差校正部64判断是否满足结束条件(i＝n)，当不满足结束条件(i！＝n)时(S23，否)，对表示像素编号的i增加1(S24)，对下一个有效像素进行S22的处理。而且，偏差校正部64反复进行示于S22～S24中的处理直至满足结束条件(i＝n)为止而结束偏差减少处理。
如上述，以与参考偏差值变大相应地校正强度α变大的方式进行偏差校正处理时，使用与表示各红外线图像的像素信号的分布的干扰特性对应的适当的校正强度而实施偏差校正处理，由此即使在红外线图像的像素信号的偏差发生变动的情况下，也能够适当减少因像素信号的偏差引起的干扰。并且，如式(1)所示，根据基准偏差值与参考偏差值的比例以校正强度α变大的方式确定校正强度时，能够简单地且适当地计算校正强度。并且，如式(2)所示，与参考偏差值变大相应地减小各有效像素的像素信号的值与该周边像素的像素信号的平均值之差而以增强平滑化效果的方式进行偏差校正处理时，能够适当减少红外线图像的像素信号的偏差。
另外，作为已进行偏差校正处理的校正后的红外线图像的校正后图像存储于存储部8，且通过输出部7适当输出未图示的外部存储部及显示部等且根据需要将其显示于显示部。并且，校正后图像可以通过红外线摄像装置1的数字信号处理装置在偏差校正处理之前或之后适当实施其他需要的校正处理等。
并且，优选信号校正部6进行计算参考偏差值，且根据所计算出的参考偏差值更新并计算校正强度的校正强度更新处理。另外，当拍摄了多个红外线图像时，信号校正部6可以通过对按时序列第2个以后拍摄到的各红外线图像的每一个进行校正强度更新处理(示于图4A的S01～S03的处理)而在每次更新校正强度之后进行偏差减少处理(表示图4A的S04的处理)。或者，信号校正部6可以隔着时间间隔而进行校正强度更新处理，且对按时序列第2个以后拍摄到的各红外线图像的每一个共同使用通过上一次的校正强度更新处理计算出的校正强度而进行偏差减少处理(示于图4A的S04的处理)。在此，校正强度更新处理由与选择处理、参考偏差值计算处理、校正强度计算处理(分别与图4A所示的S01～S03对应的处理)相同的处理构成。该情况下，能够通过更新校正强度而进行动态偏差校正处理，适当应对于根据时序列非线形变化的像素信号的偏差的变动，以良好的精度进行偏差校正处理。
作为一例，在红外线图像摄像装置1进行视频拍摄时，优选信号校正部6偏差计算部62对各帧图像周期性反复进行包括上述校正强度更新处理的偏差校正处理。并且，在隔着时间间隔进行校正强度更新处理时，信号校正部6可以根据装置的规格或要求事项，将时间间隔设为恒定的时间间隔，也可以设为分别不同的时间间隔。另外，进行校正强度更新处理的时间间隔根据入射于第1图像传感器31的红外线的变动而适当设定即可。例如，可考虑因基板温度(尤其传感器温度)及红外线摄像装置的壳体温度等与摄像对象无关的外在原因而红外线量频繁发生变动时，将上述时间间隔设为较短，且因外在原因而红外线量几乎未发生变动时，将上述时间间隔设定为较差。作为一例，能够将进行校正强度更新处理的时间间隔设为0.01秒以上且300秒以下，进而能够设为0.01秒以上且180秒以下。
另外，信号校正部6可以根据入射于参考像素部36的红外线的变动进行校正强度更新处理。例如，信号校正部6获取参考像素部36的像素信号，且在所获取的参考像素部36的像素信号与上一次进行校正强度计算处理时的参考像素部36的像素信号之差满足第2阈值条件时，可以进行校正强度更新处理。例如，作为第2阈值，能够根据预先试验性测定的测定值，设定传感器温度改变为特定温度(例如，0.1℃)时的参考像素的像素信号的变化量。另外，参考像素部36的像素信号表示与外在原因对应的入射红外线的量，例如，若时刻ta与时刻tb的传感器温度的温度差变大，则时刻ta的参考像素部36的像素信号与时刻tb(！＝ta)的参考像素的像素信号之差(变化量)也变大。
上述情况下，若参考像素部36的像素信号与上一次的校正强度计算处理时的参考像素部36的像素信号之差为第2阈值以下(不满足第2阈值条件时)，则信号校正部6不进行校正强度更新处理。另一方面，当参考像素部36的像素信号与上一次进行校正强度计算处理时的参考像素部36的像素信号之差大于第2阈值时(满足第2阈值条件时)，信号校正部6进行校正强度更新处理。由此，能够根据入射于第1图像传感器31的红外线的变动更新校正强度，并以适当的校正强度进行偏差校正处理。另外，作为第2阈值条件的第2阈值，设定影响干扰特性(尤其像素信号的偏差)的适当的像素信号的变化量即可。例如，在此，对应于传感器温度的温度变化而确定了第2阈值，因此能够反映影响干扰特性(尤其像素信号的偏差)的适当的像素信号的变化量。另外，将对应于第2阈值的传感器温度的温度变化设为0.1℃，例如，能够设为0.01℃以上的适当的值。并且，参考像素部36的像素信号只要表示参考像素部36的代表性像素信号即可，例如，能够使用参考像素部36中所含有的参考像素的像素信号的平均值或中央值等。
图6中，分别示出大于图1中的时刻t1的红外线图像It1、和图1中的时刻t2的红外线图像It2，通过第1实施方式所涉及的偏差校正处理校正了像素信号的偏差而得的校正后图像It1_p及校正后图像It2_p。
根据本发明的实施方式，通过使用与各图像的干扰特性对应的适当的校正强度而实施偏差校正处理，即使在红外线图像的像素信号的偏差发生变动的情况下，也能够适当减少因像素信号的偏差引起的干扰。其结果，如图6所示，即使在与红外线图像It1相比红外线图像It2的像素信号的偏差相对大的情况下，因校正后图像It1_p和校正后图像It2_p的像素信号的偏差引起的干扰也适当减少，从而能够提供在各种环境下将各图像的校正后图像的画质均匀化的校正后图像。
以下，在第2～第5实施方式分别示出检测部3与信号校正部6的变形例。利用图3，对第2实施方式的检测部3和信号校正部6的处理进行说明。在各实施方式中，对与第1实施方式相同的结构标注相同的符号并省略其说明。
第2实施方式中，仅在由多个部分参考像素部36A～36D构成参考像素部36的方面和信号校正部6利用多个部分参考像素部36A～36D的图像信号进行偏差校正处理的方面与第1实施方式不同。以下，对检测部3和信号校正部6的处理以与第1实施方式的不同点为中心进行说明，并对其他共同部分省略说明。
如图3所示，参考像素部36由设置在作为矩形传感器的第1图像传感器31的4个角部的各参考区域BR内的部分参考像素部36A～36D构成。另外，构成参考像素部36的部分参考像素部能够设为任意数量及形状。例如，参考像素部36可以由选自图3所示的部分参考像素部36A～36D中的任意的组合构成。
如图3所示，当由与有效像素部35相邻的多个部分参考像素部36A～36D构成参考像素部36时，通过反映不同的位置的部分参考像素部36A～36D的像素信号，能够使表示有效像素部35与参考像素部36之间的像素信号的分布形状的干扰特性适当类似，且以良好的精度进行偏差校正处理，因此有利。
并且，如图3所示，参考像素部36具备在第1方向上隔着有效区域AR的中心C而相互对置的第1及第2部分参考像素部36A、36D及在与第1方向不同的第2方向上隔着有效区域C的中心而相互对置的第3部分参考像素部及第4部分参考像素部36B、36C。因此，能够适当配置部分参考像素部36A～36D，进而使表示有效像素部35与参考像素部36之间的像素信号的分布形状的干扰特性适当类似，且以良好的精度进行偏差校正处理，因此有利。
如第2实施方式，对参考像素部36具备多个部分参考像素部36A～36D时的信号校正部6的处理进行说明。
选择部61参考存储部8选择各部分参考像素部。在此，选择部分参考像素部36A～36D。另外，当部分参考像素部的数量或形状等不同时，只要选择部61适当地选择适当的部分参考像素部即可。而且，偏差计算部62对所选择的多个部分参考像素部(在此为部分参考像素部36A～36D)的每一个计算表示部分参考像素部的像素信号的偏差的部分参考偏差值，并根据所计算出的多个部分参考偏差值确定参考偏差值。
在此，对于各部分参考像素部36A～36D，偏差计算部62分别计算各部分参考像素部36A～36D中所含有的所有的参考像素的像素信号的分散来作为部分参考偏差值。作为部分参考偏差值，例如，能够使用部分参考像素部36A～36D中所含有的像素信号的分散或标准偏差等表示统计偏差的值或部分参考像素部36A～36D中所含有的像素信号的最大值与最小值之差等表示像素信号的分布的宽度的值等。接着，偏差计算部62确定多个部分参考偏差值的平均值来作为参考偏差值。
接着，校正强度计算部63根据所确定的参考偏差值并以与第1实施方式相同的方式利用式(1)计算校正强度α。而且，偏差校正部64利用所计算出的校正强度并以与第1实施方式相同的方式利用式(2)进行偏差校正处理即可。
偏差计算部62确定多个部分参考偏差值的平均值来作为参考偏差值时，能够根据反映了多个部分参考偏差值的校正强度抑制校正不足和过度校正，提供以良好的精度进行偏差校正处理的校正后图像。
偏差计算部62可以确定多个部分参考偏差值的最大值或最小值来作为参考偏差值。偏差计算部62确定多个部分参考偏差值的最大值来作为参考偏差值时，通过根据像素信号的偏差最大的部分参考像素部的像素信号的偏差设定校正强度而进行偏差校正处理，能够提供优先减少因像素信号的偏差而引起的干扰的校正后图像。并且，偏差计算部62确定多个部分参考偏差值的最小值来作为参考偏差值时，通过根据像素信号的偏差最小的部分参考像素部的像素信号的偏差设定校正强度而进行偏差校正处理，能够提供确保红外线图像的细节的辨识性的同时减少了因偏差引起的干扰的校正后图像。
并且，校正强度计算部63可以根据存储在存储部8的上限值或下限值确定校正强度α。该情况下，校正强度计算部63在根据如条件式(1)所示那样的参考偏差值计算出的校正强度α的候选值大于上限值时确定上限值来作为校正强度α，且根据参考偏差值计算出的校正强度α的候选值小于下限值时确定下限值来作为校正强度α即可。该情况下，能够限制校正强度而进行偏差校正处理。另外，校正强度计算部63可以仅根据上限值和下限值中的一方而确定校正强度α。
图7为表示第3实施方式的检测部3的示意图。图8为表示第4实施方式的检测部3的示意图。图9为表示第5的实施方式的检测部3的示意图。第3～第5实施方式在检测部3的结构和通过信号校正部6进行的偏差校正处理方面与第1实施方式不同。尤其，第3～第5实施方式在检测部3具备第2图像传感器32的方面与第1实施方式不同。以下，先对作为在第3～第5实施方式中共同的特征的第2图像传感器32进行说明。然后，对第3～第4实施方式，关于检测部3的结构和信号校正部6的处理以与第1实施方式的不同点为中心进行说明，并对其他共同部分省略说明。第5实施方式为第2实施方式的变形，因此以与第2实施方式的不同点为中心进行说明，并对与第2实施方式的其他共同部分省略说明。
在第3～第5实施方式中，检测部3具备具有有效像素部的第1图像传感器31及具有与第1图像传感器31相同的温度特性，并具有参考像素部的第2图像传感器32，第2图像传感器32位于第1图像传感器31的周边。因此，可轻松地确保参考像素部36的同时相对于成像区域IR的面积轻松地确保有效区域AR的面积，因此在红外线图像的高分辨率方面有利。另外，第2图像传感器32可以是一个也可以是多个。
另外，第2图像传感器32具备与第1图像传感器31的红外线摄像元件结构相同的红外线摄像元件，且在基板温度(尤其传感器温度)及红外线摄像装置的壳体温度等外部温度相同的热环境下，第2图像传感器以表示与第1图像传感器相同的像素信号的变动的方式构成。并且，第2图像传感器32例如能够位于第2图像传感器32的环境温度与第1图像传感器31的环境温度之间未产生1度以上的温度差的范围或从第2图像传感器32至第1图像传感器31的最短距离为第1图像传感器31的传感器长度的百分之50以内的范围。该情况下，作为第1图像传感器31的传感器长度，例如能够使用第1图像传感器31的任意一边的长度、传感器对角长度、通过传感器中心且横切第1图像传感器31的线段的长度的最大值等。并且，作为第2图像传感器的环境温度，能够使用传感器中心等第2图像传感器的特定位置上的环境温度。同样地，作为第1图像传感器的环境温度，能够使用传感器中心等第2图像传感器的特定位置上的环境温度。
如图7所示，第3实施方式中示出使第2图像传感器32位于第1图像传感器31的周边的例，且为将第1图像传感器31和第2图像传感器32相邻设置在基板BP的第1面(靠近光学系统2的面)的例。该情况下，能够使基板温度(尤其传感器温度)及红外线摄像装置1的壳体温度等外部温度的影响在第1图像传感器31和第2图像传感器32相同，因此能够以良好的精度进行偏差校正处理。
如图8所示，第4实施方式中示出使第2图像传感器32位于第1图像传感器31的周边的例，且为将第1图像传感器31设置在基板BP的第1面，且将第2图像传感器32设置在基板BP的第2面(远离光学系统2的面)的例。通过将第2图像传感器32与第1图像传感器31设置在基板BP的第1面与第2面的相对应的位置，即使在与光轴正交的方向上产生温度不均的情况下，通过相对于第1图像传感器31的有效像素部35使用第2图像传感器32的相对应的位置的参考像素部36的参考偏差值，上述温度不均的影响得到抑制，并能够以良好的精度进行偏差校正处理。另外，第4实施方式中，在将第2图像传感器32设为与第1图像传感器31对应的大小时，能够进一步提高上述效果。另外，如第3实施方式所示，第2图像传感器32可以以检测面的面积比第1图像传感器31小的方式构成(参考图7)，也可以以检测面的面积比第1图像传感器31大的方式构成。并且，适当采用由在各实施方式中要求的具有导热性的材质构成的基板BP。
并且，如图7、图8所示，第3实施方式及第4实施方式的检测部3中，在整个第2图像传感器32的检测面设置有参考像素部36。
第3实施方式及第4实施方式的信号校正部6除了参考像素部36的位置不同以外，进行与第1实施方式相同的偏差校正处理。即，第3实施方式及第4的信号校正部6中，选择部61选择分别对应的参考像素部36，偏差计算部62计算表示参考像素部36的所有的参考像素的像素信号的偏差的参考偏差值，校正强度计算部63以与第1实施方式相同的方式利用式(1)计算校正强度，偏差校正部64以与第1实施方式相同的方式利用式(2)进行偏差校正处理。
当在整个第2图像传感器32的检测面设置有参考像素部36时，通过反应第2图像传感器32整体的参考像素的像素信号反映，例如还能够反映第2图像传感器32的中心部的像素信号的偏差，并能够抑制基于像素位置的参考像素特性的变动的影响，以良好的精度进行偏差校正处理。
并且，如第3实施方式及第4的检测部3，仅在第2图像传感器设有参考像素部36时，能够提高第1图像传感器31中的有效像素部35的设计自由度。例如，如图7、图8所示，能够以在成像区域IR包含第1图像传感器31的整个检测面的方式构成，并能够适当确保有效像素部35的面积。
如图9所示，第5实施方式为检测部3具备与第2实施方式相同的第1图像传感器31和第2图像传感器32，且参考像素部36具备设置在第1图像传感器31的部分参考像素部36A～36D和设置在第2图像传感器32的部分参考像素部36E的例。如图9所示，第5实施方式的第1图像传感器31具有与第2实施方式的第1图像传感器31相同的结构。并且，第5实施方式的第2图像传感器32在整个检测面具备部分参考像素部36E。
并且，第5实施方式的信号校正部6中，在参考像素部36追加有部分参考像素部36E，因此除了使用部分参考像素部36A～36E以外，进行与第2实施方式相同的偏差校正处理。即，第5实施方式的信号校正部6中，选择部61选择部分参考像素部36A～36E。而且，偏差计算部62对部分参考像素部36A～36E的每一个计算分散来作为部分参考偏差值，且确定所计算出的部分参考偏差值的平均值来作为参考偏差值。接着，校正强度计算部63以与第2实施方相同的方式根据式(1)计算校正强度，且偏差校正部64以与第2实施方式相同的方式利用式(2)进行偏差校正处理。
并且，第5实施方式的偏差计算部62与第2实施方式相同，可以确定多个部分参考偏差值的最小值或最大值来作为参考偏差值。如第5实施方式所示，通过使用第1图像传感器31和第2图像传感器32的各部分参考像素部36A～36E的像素信号而确定参考偏差值，能够使表示有效像素部35与参考像素部36之间的像素信号的分布形状的干扰特性进一步适当类似，且以良好的精度进行偏差校正处理，因此有利。并且，当确定第1图像传感器31和第2图像传感器32的各部分参考像素部36A～36E的像素信号的平均值、最小值、最大值中的任一个来作为参考偏差值时，能够进一步提高在第2实施方式叙述的基于确定多个部分参考偏差值的平均值、最小值、最大值来作为参考偏差值的各效果。
以下，作为第6实施方式，利用图10A和图10B对红外线摄像装置1还具备屏蔽从光学系统2向参考像素的红外线入射的屏蔽部9的例进行说明。图10A为表示第6实施方式的检测部3的示意图。图10B为表示图10A的AA截面的切断部剖面图。第6的实施方式中，检测部3具备屏蔽部9，通过屏蔽部9屏蔽红外线入射而设置参考区域BR，仅在该方面与第1实施方式的偏差校正部64不同，其他的各部的结构或功能与第1实施方式相同，因此对屏蔽部9进行说明，并对其他共同部分省略说明。
如图10A、图10B所示，在第6实施方式中，在第1图像传感器31的检测面与光学系统2之间设置屏蔽部9，并通过屏蔽部9屏蔽从光学系统2入射到成像区域IR的红外线的一部分，由此设置红外线入射到第1图像传感器31的有效区域AR和作为红外线未入射的区域的参考区域BR，进而在有效区域AR内设有有效像素部35，且在参考区域BR内设有参考像素部36。
根据第6实施方式，通过在能够适当确保有效像素部35的范围内适当选择位置或形状而设置屏蔽部9，能够使参考像素部36的位置或形状不同，因此能够确保有效像素部35的同时提高红外线摄像装置1的设计的自由度。并且，可以将屏蔽部9设为能够确保所需要的参考区域的任意结构，且作为一例，能够将屏蔽部9设为如图10B所示具备立设于基板BP的支撑部9B和向从支撑部9B接近光轴的方向延伸的屏蔽板部9A的结构。如此，当将屏蔽部9设为简单的结构时，设计的自由度和节省成本性得到提高，因此有利。并且，可以使用屏蔽部9而将参考区域设置为任意的位置及形状，且可以使用屏蔽部9设置在各实施方式中例示的参考区域。另外，根据屏蔽部9与检测面的距离，有时在检测区域与屏蔽部9对应的区域的轮廓模糊。该情况下，以具有相同的温度的参考被摄体的像显现于成像区域整体的方式进行试验摄像而获取检测区域的红外线检测元件的像素信号，且适当地通过阈值判断等，将检测区域中的被视为红外线检测元件表示与参考被摄体对应的红外线量的区域设为有效区域，且将被视为参考被摄体的红外线量没有对红外线检测元件做出贡献的区域设为参考区域即可。
作为第7的实施方式，表示通过偏差校正部64进行的偏差减少处理的变形例。第7的实施方式中，偏差校正部64利用后述式(3)来替代式(2)，仅在这方面与第1实施方式的偏差校正部64不同，且其他各部的结构或功能与第1实施方式共同，因此对偏差校正部64的与式(3)有关的处理进行说明，并对其他共同部分省略说明。
图11为表示第7实施方式中的校正前的红外线图像和校正后的红外线图像的图。图11所示的校正前的红外线图像It中产生因像素信号的偏差引起的干扰，并且红外线量在远离红外线图像的光轴的位置变小，由此在远离红外线图像的光轴的位置产生的像素信号减少。另外，红外线量在远离红外线图像的光轴的位置变小的现象与可见光摄像装置中的所谓的周边光量下降的现象对应。
第7实施方式中，偏差校正部64对有效像素部35中所含有的第1～n个的有效像素的每一个，替代式(2)而利用下述式(3)进行偏差校正处理。式(3)为规定因远离红外线图像的光轴的位置的红外线量变小而引起的像素信号的变动的校正(以下，记载为周边变动校正。)和偏差校正这两者的式。
Aip＝Ai*(1-α*β)+Mi*α*β……(3)
在式(3)中，与式(2)相同，Ai是指有效像素部35的第i个有效像素(i为1～n的自然数)的像素信号的值，Aip是指第i个有效像素的校正后的像素信号的值，Mi是指第i个有效像素的周边像素的平均值，α是指校正强度。并且，在式(3)中，β为用于周边变动校正的参数。β在β≥1并且α*β≤1的范围发生变动，且对于设置有红外线图像的位置以像素信号变大的方式设定。例如，关于β，若距第i个有效像素的红外线图像的中心的距离为特定距离以下则设为1，若距第i个有效像素的红外线图像的中心的距离为特定距离以上，则设定根据距第i个有效像素的红外线图像的中心的距离变大的1以上的值。
根据第7实施方式，如图11所示，偏差校正部64对因与校正强度α对应的因像素信号的偏差引起的干扰进行校正，从而能够提供对远离红外线图像的光轴的位置上的像素信号的减少适当地被校正的校正后的红外线图像It_p。并不限定于式(2)、式(3)，偏差校正部64只要以与校正强度变大相应地减少红外线图像的图像信号的偏差的程度变大的方式减少红外线图像的图像信号的偏差，则能够采用适合红外线摄像装置1的任意的偏差校正处理。另外，在本发明的其他各实施方式中，也能够替代式(2)而应用第7实施方式所示的式(3)。
作为第8实施方式，示出通过偏差校正部64对有效像素部35中所含有的有效像素选择性地校正像素信号的偏差校正处理的例。图12为表示第8实施方式的偏差校正部64的处理的流程的流程图。
第8的实施方式中，当有效像素的像素信号的值与位于有效像素的周边的多个周边像素的像素信号的平均值之差满足第1阈值条件时，偏差校正部64进行如式(1)所示那样的偏差校正处理。第8实施方式中，仅偏差校正部64的处理与第1实施方式的偏差校正部64不同，且其他各部的结构或功能与第1实施方式共同。因此，利用图12对偏差校正部64的处理进行说明，并对其他共同部分省略说明。
在第8实施方式中，在选择处理、参考偏差值计算处理、校正强度计算处理(分别与图4A所示的S01～S03对应的处理)，接着，偏差校正部64计算用于判断有无干扰的产生的第1阈值(S41)。在此，偏差校正部64求出有效像素部35中所含有的所有的有效像素的像素信号的标准偏差σ，且作为第1阈值而计算2σ。另外，若假设为有效像素部35的像素信号依照平均值μ、分散σ2的正规分布，则像素信号取μ±σ的范围的值的有效像素的数量为整体的68.27％，像素信号取μ±2σ的范围的值的有效像素的数量为整体的95.45％，像素信号取μ±3σ的范围的值的有效像素的数量为整体的99.73％。鉴于此，偏差校正部64利益有效像素部35的像素信号的标准偏差σ计算用于判断有无干扰的产生的第1阈值(＝2σ)。另外，第1阈值在能够以所需要的精度判断有无干扰的产生的范围内设为适当的值。例如，可以将第1阈值设为预先设定的固定值，并省略第1阈值的计算。
而且，偏差校正部64将表示像素编号的i设定为初始值(i＝1)(S42)，选择第i个像素信号，判断第i个有效像素的像素信号的值与其周边像素的平均值之差是否满足第1阈值条件(S43)。在此，若以第i个有效像素的像素信号的值和第i个有效像素为中心属于3×3像素的范围的8个周边像素的平均值之差的绝对值为第1阈值(＝2σ)以下，则判断为满足第1阈值条件(S43，是)，判断为在第i个有效像素产生了因像素信号的偏差引起的干扰，并进行基于式(2)的像素信号的校正(S44)。
接着，偏差校正部64判断是否满足结束条件(i＝n)(S45)。而且，当不满足结束条件(i！＝n)时(S45，否)，对表示像素编号的i增加1(S46)，且对下一个有效像素进行S43(及在S43中为是时S44)的处理。
另一方面，当第i个有效像素的像素信号的值与其周边像素的像素信号的平均值之差的绝对值大于第1阈值时，偏差校正部64判断为不满足第1阈值条件(S43，否)，并判断是否满足结束条件(i＝n)(S45)。而且，当不满足结束条件(i！＝n)时(S45，否)，对表示像素编号的i增加1(S46)，且对下一个有效像素进行S43(及在S43中为是时S44)的处理。而且，偏差校正部64反复进行S43～S46中所示的处理直至满足结束条件(i＝n)而结束偏差校正。
根据第8实施方式，当有效像素的像素信号的值与位于有效像素的周边的多个周边像素的像素信号的平均值之差满足第1阈值条件时，能够对有效像素的像素信号使用周边像素的像素信号，并进行平均化等减少干扰的偏差校正处理。其结果，能够仅对有效像素部35的图像信号中的判断为产生红外线图像中的干扰的图像素信号适当地进行偏差校正处理。另外，作为位于有效像素的周边的多个周边像素的像素信号的平均值，能够使用从以作为对象的有效像素为中心属于3×3像素或5×5像素的范围的多个有效像素，除了作为中心的有效像素以外，任意选择的有效像素的平均值。
并且，关于第1阈值，根据有效像素部35的像素信号的标准偏差σ被设定判断有无干扰的产生的适当的值，因此对于图像信号的偏差分别不同的红外线图像，也能够以良好的精度判断有无干扰是产生而适当进行偏差校正处理。另外，为了得到所述效果，例如，可以将g*σ(g为1以上且3以下的常数)用作第1阈值。该情况下，以能够以所需要的精度判断有无产生干扰的方式，作为常数g而适当选择适当的值即可。在本发明的其他各实施方式中，也能够进行第8实施方式所示的选择性偏差校正。
根据本发明的各实施方式，对于根据红外线(波长0.7μm～1mm)中的尤其远红外线(波长4μm～1mm)而产生的干扰也适当得到在上述中进行说明的各效果。另外，本发明的各实施方式所涉及的红外线摄像装置1优选能够应用于防犯用摄像装置、车载用摄像装置等，可以作为拍摄红外线图像的单独的摄像装置而构成，也可以安装于具有红外线图像的摄像功能的摄像系统而构成。
上述各实施方式仅为例示，上述所有的说明并不是用于限定性解释本发明的技术范围。本发明的方式并不限定于上述的各实施例(第1～第8实施方式、其他变形例及应用例)，各实施例的各要件的所有组合均包含于本发明，并且，还包含本领域技术人员可想到的各种变形。即，在不脱离从在申请专利范围中规定的内容及其等同物导出的本发明的概念性思想和宗旨的范围内，能够进行各种追加、变更及部分的消除。
符号说明
1-红外线摄像装置，2-光学系统，3-检测部，4-模拟信号处理电路，5-转换电路，6-信号校正部，7-输出部，8-存储部，9-屏蔽部，31-第1图像传感器，32-第2图像传感器，35-有效像素部，36-参考像素部，36A～36D、36E-部分参考像素部，61-选择部，62-偏差计算部，63-校正强度计算部，64-偏差校正部，IR-成像区域，AR-有效区域，BR-参考区域，BP-基板。

Claims (14)

1.一种红外线摄像装置，其特征在于，具备：
光学系统；
检测部，其具备在来自所述光学系统的红外线所入射的有效区域以矩阵状配置有作为红外线检测元件的有效像素的有效像素部及在来自所述光学系统的红外线未入射的参考区域配置有多个作为所述红外线检测元件的参考像素的参考像素部，且位于所述光学系统的成像面；及
信号校正部，对由所述检测部检测出的像素信号进行校正处理，
所述信号校正部进行偏差校正处理，该处理中计算表示所述参考像素部中所含有的所述多个参考像素的像素信号的偏差的参考偏差值，且与该参考偏差值变大相应地减少所述有效像素的像素信号的偏差，
所述偏差校正处理，对各所述有效像素的像素信号，计算作为位于距离该有效像素特定范围内的该有效像素以外的像素的多个周边有效像素的像素信号的平均值，基于将该有效像素的像素信号和该多个周边有效像素的像素信号的平均值进行了加权平均的值来校正该有效像素的像素信号，由此通过减少该有效像素的像素信号的值与该多个周边有效像素的像素信号的平均值之差来减少该有效像素的像素信号的偏差。
2.根据权利要求1所述的红外线摄像装置，其中，
所述检测部作为具有所述参考像素部和所述有效像素部的单一图像传感器而构成。
3.根据权利要求2所述的红外线摄像装置，其中，
所述参考像素部具备位于与所述有效像素部相邻的部位的多个部分参考像素部。
4.根据权利要求3所述的红外线摄像装置，其中，
所述信号校正部对所述多个部分参考像素部的每一个计算表示该部分参考像素部的偏差的部分参考偏差值，且确定该多个部分参考偏差值的平均值来作为所述参考偏差值。
5.根据权利要求3所述的红外线摄像装置，其中，
所述信号校正部对所述多个部分参考像素部的每一个计算部分参考偏差值，且确定该多个部分参考偏差值的最大值或最小值来作为所述参考偏差值。
6.根据权利要求1至5中任一项所述的红外线摄像装置，其中，
所述多个部分参考像素部具备在第1方向上隔着所述有效区域的中心而相互对置的第1部分参考像素部及第2部分参考像素部以及在与所述第1方向不同的第2方向上隔着所述有效区域的中心而相互对置的第3部分参考像素部及第4部分参考像素部。
7.根据权利要求1所述的红外线摄像装置，其中，
所述检测部具备具有所述有效像素部的第1图像传感器及具有与所述第1图像传感器相同的温度特性，并具有所述参考像素部的第2图像传感器，且所述第2图像传感器位于所述第1图像传感器的周边。
8.根据权利要求7所述的红外线摄像装置，其中，
在所述第2图像传感器的整个检测面设置有所述参考像素，
所述信号校正部计算表示所述参考像素部中所含有的所有的所述参考像素的像素信号的偏差的所述参考偏差值。
9.根据权利要求1至8中任一项所述的红外线摄像装置，其中，
所述参考像素部设置在除了所述光学系统的成像区域以外的位置。
10.根据权利要求1至8中任一项所述的红外线摄像装置，其还具备屏蔽红外线从所述光学系统向所述参考像素入射的屏蔽部。
11.根据权利要求1至10中任一项所述的红外线摄像装置，其中，
当所述有效像素的像素信号的值与对于该有效像素的所述多个周边有效像素的像素信号的平均值之差满足第1阈值条件时，所述信号校正部进行所述偏差校正处理。
12.根据权利要求1至11中任一项所述的红外线摄像装置，其中，
所述信号校正部计算所述参考偏差值，并根据所计算出的所述参考偏差值计算表示减少所述有效像素的图像信号的偏差的程度的校正强度，且根据所计算出的该校正强度减少所述有效像素的像素信号的偏差，由此进行所述偏差校正处理，
进行校正强度更新处理，该处理中计算所述参考偏差值，并根据所计算出的该参考偏差值更新并计算所述校正强度。
13.根据权利要求12所述的红外线摄像装置，其中，
所述信号校正部获取所述参考像素部的像素信号，当所获取的该参考像素部的像素信号与上一次的所述校正强度的计算时的所述参考像素部的像素信号之差满足第2阈值条件时，进行所述校正强度更新处理。
14.一种基于红外线摄像装置的信号校正方法，该红外线摄像装置具备：光学系统；检测部，其具备在来自所述光学系统的红外线所入射的有效区域以矩阵状配置有作为红外线检测元件的有效像素的有效像素部及在来自所述光学系统的红外线未入射的参考区域配置有多个作为所述红外线检测元件的参考像素的参考像素部，且位于所述光学系统的成像面；及信号校正部，对由所述检测部检测出的像素信号进行校正处理，该方法的特征在于，具有：
检测步骤，检测所述有效像素的像素信号和所述参考像素的像素信号；及
信号校正步骤，进行偏差校正处理，该处理中计算表示所述参考像素部中所含有的所述多个参考像素的像素信号的偏差的参考偏差值，且与该参考偏差值变大相应地减少所述有效像素的像素信号的偏差，
所述偏差校正处理，对各所述有效像素的像素信号，计算作为位于距离该有效像素特定范围内的该有效像素以外的像素的多个周边有效像素的像素信号的平均值，基于将该有效像素的像素信号和该多个周边有效像素的像素信号的平均值进行了加权平均的值来校正该有效像素的像素信号，由此通过减少该有效像素的像素信号的值与该多个周边有效像素的像素信号的平均值之差来减少该有效像素的像素信号的偏差。
CN201680028969.7A 2015-05-21 2016-05-13 红外线摄像装置及基于红外线摄像装置的信号校正方法 Active CN107615019B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-103565 2015-05-21
JP2015103565 2015-05-21
PCT/JP2016/002354 WO2016185700A1 (ja) 2015-05-21 2016-05-13 赤外線撮像装置および赤外線撮像装置による信号補正方法

Publications (2)

Publication Number Publication Date
CN107615019A CN107615019A (zh) 2018-01-19
CN107615019B true CN107615019B (zh) 2019-11-05

Family

ID=57319774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680028969.7A Active CN107615019B (zh) 2015-05-21 2016-05-13 红外线摄像装置及基于红外线摄像装置的信号校正方法

Country Status (4)

Country Link
US (1) US10419696B2 (zh)
JP (1) JP6275333B2 (zh)
CN (1) CN107615019B (zh)
WO (1) WO2016185700A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019118043A (ja) * 2017-12-27 2019-07-18 キヤノン株式会社 撮像装置、画像処理装置、制御方法およびプログラム
JP6880512B2 (ja) 2018-02-14 2021-06-02 オムロン株式会社 ３次元測定装置、３次元測定方法及び３次元測定プログラム
FR3082385B1 (fr) * 2018-06-08 2021-05-14 Ulis Dispositif et procede de compensation de chaleur parasite dans une camera infrarouge
US11417023B2 (en) * 2018-10-04 2022-08-16 Sony Corporation Image processing device, image processing method, and program
CN111238646A (zh) * 2018-11-29 2020-06-05 东京毅力科创株式会社 红外线摄像机的校正方法和红外线摄像机的校正系统
CN110286716B (zh) * 2019-06-24 2021-03-19 Oppo广东移动通信有限公司 显示装置、电子设备及图像获取方法
CN112393804B (zh) * 2019-08-02 2022-04-05 杭州海康微影传感科技有限公司 一种图像校正的方法及装置
WO2021044771A1 (ja) * 2019-09-06 2021-03-11 パナソニックＩｐマネジメント株式会社 撮像装置
RU2744483C1 (ru) * 2020-06-29 2021-03-10 Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет имени В.Ф. Уткина" Способ компенсации геометрического шума в видеопоследовательности инфракрасных изображений, основанный на анализе наблюдаемой сцены
CN112260672B (zh) * 2020-10-19 2024-02-06 深圳市太美亚电子科技有限公司 一种用于红外装置感应距离的调节方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1023335A (ja) * 1996-07-05 1998-01-23 Nec Corp 赤外線撮像装置
CN1636129A (zh) * 1999-12-24 2005-07-06 帕尔金艾光电子股份有限公司 校正红外辐射多元件传感器输出信号的方法和一种红外辐射多元件传感器系统
CN104580946A (zh) * 2013-10-22 2015-04-29 株式会社东芝 固体摄像装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6583416B1 (en) 1999-11-15 2003-06-24 Sarnoff Corporation Uncooled IR detector array having improved temperature stability and reduced fixed pattern noise
JP2004245692A (ja) 2003-02-13 2004-09-02 Toshiba Corp 赤外線撮像素子
US7880777B2 (en) 2005-05-26 2011-02-01 Fluke Corporation Method for fixed pattern noise reduction in infrared imaging cameras
JP4611212B2 (ja) 2006-01-17 2011-01-12 京セラ株式会社 画像データ処理方法および画像データ処理装置
JP2008160561A (ja) * 2006-12-25 2008-07-10 Auto Network Gijutsu Kenkyusho:Kk 撮像システム及び撮像装置
US9208542B2 (en) * 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
US8203116B2 (en) * 2010-10-19 2012-06-19 Raytheon Company Scene based non-uniformity correction for infrared detector arrays
WO2014018948A2 (en) * 2012-07-26 2014-01-30 Olive Medical Corporation Camera system with minimal area monolithic cmos image sensor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1023335A (ja) * 1996-07-05 1998-01-23 Nec Corp 赤外線撮像装置
CN1636129A (zh) * 1999-12-24 2005-07-06 帕尔金艾光电子股份有限公司 校正红外辐射多元件传感器输出信号的方法和一种红外辐射多元件传感器系统
CN104580946A (zh) * 2013-10-22 2015-04-29 株式会社东芝 固体摄像装置

Also Published As

Publication number Publication date
WO2016185700A1 (ja) 2016-11-24
CN107615019A (zh) 2018-01-19
US10419696B2 (en) 2019-09-17
JPWO2016185700A1 (ja) 2018-04-05
JP6275333B2 (ja) 2018-02-07
US20180084205A1 (en) 2018-03-22

Similar Documents

Publication Publication Date Title
CN107615019B (zh) 红外线摄像装置及基于红外线摄像装置的信号校正方法
US11570423B2 (en) System and methods for calibration of an array camera
CN109377469B (zh) 一种热成像融合可见光图像的处理方法、系统及存储介质
CN110717942B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN105391932B (zh) 图像处理装置及其控制方法、以及摄像装置及其控制方法
US10931901B2 (en) Method and apparatus for selectively correcting fixed pattern noise based on pixel difference values of infrared images
TW453110B (en) Pixel defect detector for solid-state imaging device
CN103312970A (zh) 图像合成设备和图像合成方法
TWI658430B (zh) 熱影像處理系統及方法
Honjo et al. Sky view factor measurement by using a spherical camera
CN107666562A (zh) 图像处理装置、图像处理方法和存储介质
JP2020038073A5 (zh)
EP3944183A1 (en) Method and system for enhancing images using machine learning
CN106912199B (zh) 摄像装置、图像取得方法以及存储介质
CN106716990A (zh) 红外线摄像装置、固定图案噪声计算方法及固定图案噪声计算程序
US11902504B2 (en) Method and system for mapping the non-uniformity of an image sensor
JP6583565B2 (ja) 計数システムおよび計数方法
US20090244275A1 (en) Compound eye photographing apparatus, control method therefor, and program
CN106716991B (zh) 红外线摄像装置、图像处理方法及记录介质
CN107911676A (zh) 一种用于投影设备的焦距调整方法及装置
JP6961477B2 (ja) 撮像装置およびその制御方法
WO2016185697A1 (ja) 赤外線撮像装置および赤外線撮像装置による信号補正方法
WO2019093062A1 (ja) 計測装置、計測装置の制御方法、計測プログラムおよび記録媒体
KR20220064629A (ko) 체온측정을 위한 온도정보보정방법
WO2019043878A1 (ja) 画像解析距離情報提供システム、方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant