CN108353135B - 红外线摄像装置及基于红外线摄像装置的信号校正方法 - Google Patents
红外线摄像装置及基于红外线摄像装置的信号校正方法 Download PDFInfo
- Publication number
- CN108353135B CN108353135B CN201680063045.0A CN201680063045A CN108353135B CN 108353135 B CN108353135 B CN 108353135B CN 201680063045 A CN201680063045 A CN 201680063045A CN 108353135 B CN108353135 B CN 108353135B
- Authority
- CN
- China
- Prior art keywords
- value
- correction
- pixel
- infrared
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 title claims abstract description 406
- 238000000034 method Methods 0.000 title claims abstract description 100
- 238000003331 infrared imaging Methods 0.000 title claims abstract description 60
- 230000008859 change Effects 0.000 claims abstract description 139
- 238000004364 calculation method Methods 0.000 claims abstract description 126
- 230000003287 optical effect Effects 0.000 claims abstract description 37
- 238000003384 imaging method Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims description 87
- 230000008569 process Effects 0.000 claims description 63
- 238000003705 background correction Methods 0.000 claims description 54
- 238000001514 detection method Methods 0.000 claims description 37
- 230000003247 decreasing effect Effects 0.000 claims description 16
- 238000009826 distribution Methods 0.000 claims description 7
- 238000013500 data storage Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 19
- 238000003860 storage Methods 0.000 description 15
- 230000001419 dependent effect Effects 0.000 description 11
- 230000007423 decrease Effects 0.000 description 9
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000036760 body temperature Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
- H04N25/673—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
- H04N25/674—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources based on the scene itself, e.g. defocusing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
- G01J1/44—Electric circuits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/20—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming only infrared radiation into image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
- H04N25/677—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
- G01J1/44—Electric circuits
- G01J2001/444—Compensating; Calibrating, e.g. dark current, temperature drift, noise reduction or baseline correction; Adjusting
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Theoretical Computer Science (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
本发明提供一种红外线摄像装置及基于红外线摄像装置的信号校正方法,本发明的红外线摄像装置及基于红外线摄像装置的信号校正方法中,不会中断外部环境的摄像而校正因温度变化而引起的每一像素的非均匀性变动。红外线摄像装置具备:光学系统;红外线检测器,拍摄红外线图像;校正部(62),根据基础校正数据校正红外线图像而输出校正后图像;及偏移值计算部(60)。偏移值计算部(60)从校正后图像检测被摄体区域,并计算表示被摄体区域的像素值的被摄体值,且根据基准被摄体值和所计算的被摄体值来计算作为被摄体区域的像素值的变化量的被摄体值变化量,并计算被摄体值变化量来作为表示因温度变化而引起的多个像素的像素值的变化量的代表偏移值。
Description
技术领域
本发明涉及一种拍摄红外线图像的红外线摄像装置及基于红外线摄像装置的信号校正方法,尤其涉及一种校正红外线图像的像素信号的红外线摄像装置及基于红外线摄像装置的信号校正方法。
背景技术
已知有一种检测入射红外光(红外线)来生成红外线图像的红外线摄像装置。通常,红外线摄像装置包括检测从被摄体放射的红外线并将其转换为电信号的红外线检测器。红外线摄像装置利用于监控摄像头、夜视装置、热像仪或搭载于车辆或飞机等的前方监控装置等广范围的领域。
红外线摄像装置中存在红外线检测器的检测器元件(像素)所具有的像素固有的灵敏度的变化等每一像素的非均匀性。若存在每一像素的非均匀性,则即使通过红外线摄像装置拍摄温度均匀的面,也会在图像信号(像素值)中产生变化而得不到均匀的图像。为了减少每一像素的非均匀性的影响,获取具备与各像素的非均匀性相对应的校正值而成的校正数据,并实施根据通过该像素检测出的像素值对与该像素相对应的校正值进行偏移校正的非均匀性校正处理即可。非均匀性校正处理中所使用的校正数据例如在将光量均匀的光源设置在红外线检测器的前表面,并且遮蔽从外部入射到红外线检测器的红外线的状态下获取。
例如,专利文献1中公开了如下方法:在红外线摄像装置内设置快门机构,通过快门遮蔽从外部入射到红外线检测器的红外线来获取非均匀性校正处理中所使用的校正数据。
每一像素的非均匀性根据红外线摄像装置的主体、电路基板及像素本身等的温度变化而发生变动。因此,优选重复获取非均匀性校正处理中所使用的校正数据。另外,与温度变化无关而利用通用的校正数据对多个时点的红外线图像实施了非均匀性校正处理的情况下,虽然对于某一时点的红外线图像得到适当的校正结果,但对于其他时点的红外线图像而言,有可能成为具有图像的明亮部分由单一白色显示的泛白或图像的较暗部分由单一黑色显示的发黑等不良情况的非适当的校正结果。
并且,专利文献2中提出了如下方法:根据用两个摄像装置分别拍摄相同任务而得到的人物而得到的两个红外线图像求出两个红外线图像的人物的像素值的平均值,并以所述平均值与两个红外线图像的人物的像素值一致的方式校正两个红外线图像的像素值的方法。
以往技术文献
专利文献
专利文献1:日本特开2005-96752号公报
专利文献2:日本专利申请4910529号公报
发明内容
发明所要解决的问题
在此,专利文献1中所记载的技术中,为了获取非均匀性校正处理中所使用的校正数据而需要将快门设为关闭的状态,因此导致有时无法拍摄外部环境。但是,例如在拍摄应关注的被摄体的期间等特定的状况下,不优选外部环境的摄像被中断。
并且,专利文献2仅为在计算使通过不同的摄像装置分别拍摄到的两个红外线图像之间相对应的被摄体的像素值一致的校正值的技术。因此,专利文献2的技术中,产生了外部环境的温度变化等的情况下,需要对两个摄像装置的每一个更新非均匀性校正处理中所使用的校正数据,从而导致有时无法通过各摄像装置的每一个进行拍摄。
因此,期待即使产生因温度变化而引起的每一像素的非均匀性的变动,也不会中断外部环境的拍摄,且能够获取非均匀性校正处理中所使用的校正数据的方法。
本发明是鉴于上述情况而完成的,其目的在于提出一种不会中断外部环境的拍摄便能够校正因温度变化而引起的每一像素的非均匀性变动的红外线摄像装置、基于所述红外线摄像装置的信号校正方法。
用于解决问题的手段
本发明所涉及的红外线摄像装置的特征在于,具备:光学系统;红外线检测器,位于光学系统的成像面,并具备检测所入射的红外线的多个像素,且通过多个像素而拍摄红外线图像;校正部,根据用于分别校正多个像素的每一像素的非均匀性的基础校正数据校正红外线图像而输出校正后图像;及偏移值计算部,偏移值计算部具有:区域检测部,从校正后图像检测与对象被摄体相对应的被摄体区域;像素值计算部,计算表示被摄体区域的像素值的被摄体值;变化量计算部,根据校正后基准图像中的作为被摄体区域的像素值的基准被摄体值和被摄体值,计算作为被摄体区域的像素值的变化量的被摄体值变化量,校正后基准图像是根据基础校正数据校正通过红外线检测器拍摄到的成为基准的红外线图像即基准红外线图像而得到的;及代表偏移值计算部,计算被摄体值变化量来作为表示因温度变化而引起的多个像素的像素值的变化量的代表偏移值,校正部根据代表偏移值和基础校正数据校正红外线图像。
本发明所涉及的基于红外线摄像装置的信号校正方法中,红外线摄像装置具备,位于光学系统的成像面,并具备检测所入射的红外线的多个像素的红外线检测器,所述信号校正方法的特征在于,具有:拍摄步骤,根据多个像素拍摄红外线图像;校正步骤,根据用于分别校正多个像素的每一像素的非均匀性的基础校正数据校正红外线图像而输出校正后图像;及偏移值计算步骤,偏移值计算步骤具有:区域检测步骤,从校正后图像检测与对象被摄体相对应的被摄体区域;像素值计算步骤,计算表示被摄体区域的像素值的被摄体值;变化量计算步骤,根据校正后基准图像中的作为被摄体区域的像素值的基准被摄体值和被摄体值,计算作为被摄体区域的像素值的变化量的被摄体值变化量,校正后基准图像是根据基础校正数据校正通过红外线检测器拍摄到的成为基准的红外线图像即基准红外线图像而得到的;及代表偏移值计算步骤,计算被摄体值变化量来作为表示因温度变化而引起的多个像素的像素值的变化量的代表偏移值,校正步骤中根据代表偏移值和基础校正数据校正红外线图像。
上述中,“因温度变化而引起的多个像素的像素值的变化量”是指,红外线检测器中所含有的多个像素的像素值的变化量,即因温度变化而产生的变化量。作为所述变化量的一例,存在伴随外部环境的温度变化的红外线摄像装置主体与电路基板及像素本身的温度变化、因通过与电路基板通电而产生的电路基板及像素本身的温度变化等而产生的像素值的变化量。
本发明所涉及的红外线摄像装置中,优选校正部利用根据代表偏移值增加或减少基础校正数据而得的数据对红外线图像进行偏移校正。
本发明所涉及的红外线摄像装置中,可以是偏移值计算部还具备固有偏移值计算部,固有偏移值计算部根据按多个像素的每一像素分别表示代表偏移值与表示因温度变化而引起的像素的像素值的变化量的固有偏移值的关系的固有值信息,按多个像素的每一像素分别计算与代表偏移值相对应的固有偏移值,校正部利用根据固有偏移值增加或减少基础校正数据而得的数据对红外线图像进行偏移校正。
本发明所涉及的红外线摄像装置中,优选变化量计算部对基准被摄体值与被摄体值中的至少一个值进行减少基准被摄体值与被摄体值之间的因光学系统而引起的阴影差的校正,并计算从进行减少阴影差的校正之后的被摄体值减去进行减少阴影差的校正之后的基准被摄体值的值来作为被摄体值变化量。
本发明所涉及的红外线摄像装置中,优选偏移值计算部还具有阴影校正部,阴影校正部在通过变化量计算部计算被摄体值变化量之前,对校正后图像的像素值的至少一部分进行校正因光学系统而引起的阴影的阴影校正处理。
上述“因光学系统而引起的阴影”是指,因光学系统引起而产生的像素值的非均匀性(变化)。例如,作为基于光学系统的阴影,可举出与光学系统的光轴上的光量相比,光量在远离光轴的位置减少的所谓的周边光量下降等。
当偏移值计算部具有阴影校正部时,优选阴影校正部对校正后图像中的与多个像素相对应的像素值进行阴影校正处理,区域检测部根据进行阴影校正处理之后的与多个像素相对应的像素值来检测被摄体区域。
当偏移值计算部具有阴影校正部时,优选阴影校正部对被摄体区域所包含的像素的像素值进行阴影校正处理,像素值计算部根据进行阴影校正处理之后的被摄体区域所包含的像素值计算被摄体值。
本发明所涉及的红外线摄像装置中,优选像素值计算部根据表示被摄体区域的像素值的分布的直方图计算最频值、平均值及中央值中的任一个来作为被摄体值。
本发明所涉及的红外线摄像装置中,优选区域检测部检测与人相对应的区域来作为被摄体区域。
本发明所涉及的红外线摄像装置中,优选偏移值计算部周期性重复计算代表偏移值。
本发明所涉及的红外线摄像装置中,优选还具备:基础校正数据更新部,执行校正基础校正数据的基础校正数据更新处理;快门,位于红外线检测器与光学系统之间,且开闭自如;及控制部,在校正后图像中不存在被摄体区域的期间,使红外线检测器拍摄关闭了快门的状态下的快门图像,并根据快门图像使基础校正数据更新部执行基础校正数据更新处理。
“在校正后图像中不存在被摄体区域的期间”是指,在校正后图像中实质上不包含被摄体区域的期间。并且,例如并不限定于从校正后图像检测有无被摄体区域而确认到不存在被摄体区域的情况,还包含已知在校正后图像中不存在被摄体区域的情况等。
发明效果
根据本发明的红外线摄像装置及基于本发明的红外线摄像装置的信号校正方法,根据红外线图像本身的信息计算红外线检测器的多个像素中的表示因温度变化而引起的像素值的变化量的代表偏移值,并根据代表偏移值校正红外线图像。因此,不中断外部环境的摄像便能够校正因温度变化而引起的每一像素的非均匀性的变动。
附图说明
图1为表示基于本发明的一实施方式的红外线摄像装置的结构的概略框图。
图2为表示第1实施方式的数字信号处理部的结构的框图。
图3为用于说明基于温度变化的像素值的变化的图。
图4为表示受到温度变化的影响的红外线图像的一例的图。
图5为表示红外线检测器的一部分像素的图。
图6中,图6A为表示与图5所示的像素相对应的校正前的基础校正数据的例的图。
图6中,图6B为表示与图5所示的像素相对应的校正后的基础校正数据的例的图。
图7为表示第1实施方式的信号校正处理的流程图。
图8中,图8A为表示受到温度变化的影响的红外线图像的另一例的图。
图8中,图8B为用于说明基于光学系统的阴影的图。
图9为表示第3实施方式的数字信号处理部的结构的框图。
图10为表示第3实施方式的信号校正处理的流程图。
图11为表示第3实施方式的变形例的信号校正处理的流程图。
图12为表示第4实施方式的数字信号处理部的结构的框图。
图13为表示第4实施方式的固有值信息的例的图。
图14中,图14A为表示第4实施方式的校正前的基础校正数据的例的图。
图14中,图14B为表示第4实施方式的校正后的基础校正数据的例的图。
图15为表示第4实施方式的信号校正处理的流程图。
具体实施方式
以下,参考附图对本发明的实施方式进行说明。图1为表示基于本发明的一实施方式的红外线摄像装置100的结构的概略框图。
首先,本发明的一实施方式的红外线摄像装置100具备:红外线摄影用光学系统1;红外线检测器3,使检测面位于光学系统1的成像面,并检测透过光学系统1的红外线;快门2,位于红外线检测器3与光学系统1之间,且开闭自如;模拟信号处理电路4,对通过红外线检测器3检测出的像素信号进行包含放大处理的公知的模拟信号处理;AD转换电路5,对已实施模拟信号处理的像素信号进行AD转换(Analog to Digital(模-数)转换);作为数字信号处理装置(Digital Signal Processor)的数字信号处理部6,对由已实施AD转换处理的数字信号构成的红外线图像进行包含基于本发明的实施方式的信号校正处理的各种信号校正处理;输出部8,输出通过数字信号处理部6进行校正而得的红外线图像;控制部9,进行拍摄红外线图像等控制;及快门驱动机构10,驱动通过控制部9控制的快门2。并且,红外线摄像装置100具备在图1中未图示的装置主体,上述各部配置在摄像装置主体中。
红外线检测器3由作为多个红外线检测元件被配置成矩阵状的固体摄像元件的图像传感器构成。红外线检测器3的像素为能够检测红外线(波长0.7μm~1mm)的红外线检测元件(红外线检测器),尤其为能够检测远红外线(波长8~15μm)的红外线检测元件。例如,作为用作上述有效像素或参考像素的红外线检测元件,能够使用热辐射计型或SOI(Silicon on Insulator:绝缘体上硅)二极管型红外线检测元件。
输出部8通过无线或有线通信将已实施本发明的实施方式的包含信号校正处理的各种数字信号处理的红外线图像输出到未图示的外部存储部和显示部。在此,未图示的外部存储部由硬盘等各种存储介质构成。例如,可以将外部存储部作为存储卡型辅助存储装置来构成。另外,未图示的显示部具备液晶型显示器等公知的显示器,且显示已输出的红外线图像。并且,未图示的外部存储部存储从输出部8获取的红外线图像。
控制部9进行装置整体的统一控制。控制部9中例如能够使用FPGA(Field-Programmable Gate Array:现场可编程门阵列)等PLD(Programmable Logic Device:可编程逻辑器件)。控制部9在通常摄像模式与基础校正数据的更新模式之间切换红外线摄像装置100的动作模式。控制部9通过控制信号,并根据动作模式来控制数字信号处理部6中的信号处理。具体而言,在通常摄像模式时,使数字信号处理部6实施校正处理,在基础校正数据的更新模式时,实施基础校正数据更新处理。并且,在基础校正数据的更新模式时,控制部9控制快门驱动机构10,通过设置在快门2的加热器2A以成为均匀的基准温度的方式控制快门2的像侧面,且在快门2的像侧面被控制成均匀的基准温度的状态下进行拍摄快门图像的控制。
数字信号处理部6典型地包含处理器、储存针对处理器的命令的ROM(Read OnlyMemory:只读存储器)及储存数据的RAM(Random Access Memory:随机存取存储器),且这些经由总线而连接。
图2为表示第1实施方式的数字信号处理部6的详细结构的框图。如图2所示,处理器按照储存在ROM中的程序而动作,由此数字信号处理部6作为校正部62、偏移值计算部60、基础校正数据更新部63及开关SW等而发挥功能。并且,数字信号处理部6的RAM作为帧存储器61、基准值存储部66及校正数据存储部64而发挥功能。数字信号处理部6可以具有与外部存储装置等连接的接口。另外,基准值存储部66与校正数据存储部64例如可以由EEPROM(Electrically Erasable and Programmable Read Only Memory:电可擦除可编程只读存储器)等能够重写的非易失性存储器构成。
帧存储器61存储作为通过红外线检测器3检测出的帧图像的红外线图像。并且,根据各图像处理的需要而存储处理对象的红外线图像。
另外,作为已进行信号校正处理的校正后的红外线图像的校正后图像通过红外线摄像装置100的数字信号处理装置在信号校正处理之后适当实施其他所需要的校正处理等,且通过输出部8而适当输出到未图示的外部存储部及显示部等。另外,可以对校正后图像进行例如灰度处理、边缘强调处理、局部对比度强调处理、清晰度调整处理和/或阴影校正处理等任意处理。
校正数据存储部64存储表示每一像素的非均匀性的校正值的基础校正数据。在此,通过红外线检测器3的各检测器元件(各像素)检测的各像素值(各像素信号)具有该像素固有的变化分量(非均匀性分量)。基础校正数据为表示相当于各像素的变化分量的值的校正值的数据,且为各像素的校正值的集合。关于校正数据存储部64,在初始状态下,可以将光量均匀的光源设置于红外线检测器3的前表面,并且在遮蔽从外部入射到红外线检测器3的红外线的状态下存储将通过红外线检测器3检测出的红外线图像来作为基础校正数据。
校正部62根据基础校正数据校正红外线图像而输出校正后图像。在此,校正部62参考存储在校正数据存储部64中的基础校正数据来进行红外线图像的各像素值所包含的变化分量的校正(去除)。更详细而言,校正部62从通过红外线检测器3拍摄到的红外线图像的各像素值分别对相当于该像素值的像素的变化分量的校正值进行偏移运算,由此进行去除各像素中固有的变化分量的非均匀性校正处理,并输出依赖于入射红外线的量的像素值。
并且,校正部62在计算代表偏移值之后,根据代表偏移值与基础校正数据校正红外线图像。并且,校正部62利用根据代表偏移值来增加或减少基础校正数据而得的数据对红外线图像进行偏移校正。另外,在此成为校正部62的校正对象的红外线图像可以是在计算代表偏移值时所使用的红外线图像,也可以是在比计算代表偏移值时所使用的红外线图像更晚拍摄的红外线图像。
“利用根据代表偏移值来增加或减少基础校正数据而得的数据对红外线图像进行偏移校正”是指,根据红外线图像的各像素值对代表偏移值和基础校正数据所包含的与该像素值相对应的像素的校正值进行偏移校正。“利用根据代表偏移值来增加或减少基础校正数据而得的数据对红外线图像进行偏移校正”是指,其结果还包括根据红外线图像的各像素值对代表偏移值和基础校正数据所包含的与该像素值相对应的像素的校正值分别进行偏移校正(去除)的任意方法。
例如,当红外线检测器3具有1~n个像素时,校正部62在通过校正部62输出的第i个(1≤i≤n)像素的输出像素值成为(与第i个像素相对应的输出像素值)=(第i个像素的输入像素值)-(第i个像素的校正值)-(代表偏移值)的范围内,通过任意方法进行偏移校正即可。
作为一例,如图2中用虚线所示,当在校正数据存储部64中分别存储有代表偏移值与基础校正数据时,如式(1)所示,校正部62可以通过参考代表偏移值与基础校正数据,从红外线图像的各像素值减去代表偏移值和基础校正数据所包含的与该像素值相对应的像素的校正值来进行偏移校正。并且,如本实施方式,当根据相加代表偏移值而得的基础校正数据来更新校正数据存储部64的基础校正数据时,如后述式(1-1)所示,校正部62可以通过从红外线图像的各像素值减去已更新的基础校正数据所包含的与该像素值相对应的像素的校正值来进行偏移校正。
(与第i个像素相对应的输出像素值)=(第i个像素的输入像素值)-(第i个像素的校正值)-(代表偏移值) (1)
并且,结果,校正部62只要根据红外线图像的各像素值至少校正(去除)代表偏移值和基础校正数据所包含的相对应的校正值,则除了代表偏移值与基础校正数据所包含的校正值以外,还可以利用其他校正值来进行校正处理。
开关SW中被输入作为通过校正部62已进行非均匀性校正处理的红外线图像的校正后图像。开关SW将校正后图像选择性输出到偏移值计算部60与基础校正数据更新部63。开关SW的切换例如根据由控制部9输出的控制信号来实施。在通常摄像模式时,控制部9使开关SW向偏移值计算部60输出校正后图像。并且,控制部命令偏移值计算部60计算偏移值。另一方面,在基础校正数据的更新模式时,控制部9使开关SW向基础校正数据更新部63输出校正后图像。并且,控制部9命令基础校正数据更新部63更新基础校正数据。
基础校正数据更新部63更新基础校正数据。若成为基础校正数据更新模式,则基础校正数据更新部63中经由开关SW而被输入在快门2的像侧面被控制成均匀的基准温度的状态下拍摄到的快门图像。基础校正数据更新部63根据快门图像,并通过公知的方法按每一像素计算各像素成为均匀的输出值的校正值,从而获取作为每一像素的校正值的集合的基础校正数据。而且,根据所获取的基础校正数据更新存储在校正数据存储部64中的基础校正数据。另外,在拍摄到设为均匀的温度的快门的快门图像中,快门图像中的像素值成为每一像素固有的变化分量的值与从被摄体入射的均匀的像素值之和。因此,例如基础校正数据更新部63可以获取快门图像的像素值数据来作为基础校正数据。另外,基础校正数据可以在制造红外线摄像装置100时创建并保存于校正数据存储部64。并且,红外线摄像装置100中,可以省略基础校正数据更新部63及开关SW。
另外,在此,基础校正数据更新部63在满足从之前的校正后图像未检测到人区域这一条件的情况下进行基礎数据更新处理。详细而言,基础校正数据更新部63在经过于上一次的基础校正数据的更新处理中设定的时间间隔,进而满足从之前的校正后图像未检测到区域检测部65这一更新条件的情况下进行基础校正数据的更新处理。
能够将更新基础校正数据的时间间隔设为所需要的任意时间间隔,且可以根据装置的规格或要求事项来设为一定的时间间隔,也可以设为分别不同的时间间隔。例如,考虑当基于基板温度(尤其传感器温度)及红外线摄像装置100的框体温度等与摄影对象无关的外部因素的红外线量频繁变动时,将上述时间间隔设定为较短,当基于外部因素的红外线量几乎没有变动时,将上述时间间隔设定为较长。作为一例,能够将上述时间间隔设为2~3分钟左右。
另外,基础校正数据更新部63可以通过任意方法来更新基础校正数据。例如,由于光学系统成为非对焦状态而来自光学系统的观察视角内的所有的方向的光均等地入射到红外线检测器3。即,从多个方向入射到光学系统的光束未在红外线检测器3的特定的点上成像而均等地入射到红外线检测器3的检测面。基础校正数据更新部63可以利用将这种光学系统设为非对焦状态而拍摄的图像来更新基础校正数据。
另外,作为一例,基础校正数据更新部63可以获取通过日本特开2001-336983号公报中所示的方法而得到的固定图案干扰数据来作为基础校正数据。根据日本特开2001-336983号公报中所示的方法,在将光学系统设为非对焦的状态下,求出从红外线检测器所输出的红外线图像减去固定图案干扰数据的处理后图像与固定图案干扰数据的期待值数据的误差。将基于该误差的反馈数据作为固定图案干扰数据而进行向减法器赋予的负反馈,且将减法器的输出图像数据与期待值数据大致相同时的反馈数据作为固定图案干扰数据而保持。
另外,更新基础校正数据是指,用新数据重写存储在校正数据存储部64中的基础校正数据。基础校正数据的更新不仅包含一次性更新红外线检测器3所包含的与所有的像素相对应的校正值,还包含更新与一部分像素相对应的校正值局部更新。
在此,对本发明中的校正各像素的像素值所包含的每一像素的非均匀性的技术的原理进行说明。尤其,在本发明中关注了根据各像素的像素值来抑制因温度变化而引起的像素值的变动。图3为表示通过红外线检测器3检测到的像素值(输出像素值)中的依赖入射红外线的信号分量和变化分量的图。如图3所示,关于5个像素P1~P5,5个像素P1~P5的各像素值为依赖来自被摄体的入射红外线的各信号分量D1~D5与在图中以标注斜线而表示的每一像素固有的变化分量之和。并且,5个像素P1~P5的各变化分量包含未根据温度变化而发生变化的分量A1~A5和随着温度变化而变动的温度依赖分量B1~B5。
并且,在图3的左侧示出基准温度下的像素值,在图3的右侧示出在温度从基准温度发生变化的其他温度下的像素值。当基础校正数据为相当于基准温度下的各像素的变化分量的校正值的集合时,在基准温度下,能够利用基础校正数据来适当校正(去除)变化分量。但是,若从基准温度发生温度变化,则如温度依赖分量B1~B5中的箭头所示,温度依赖分量B1~B5会增加或减少,因此例如若利用与基准温度相对应的基础校正数据来校正图3右侧的其他温度下的像素值,则温度依赖分量B1~B5中的增加部分(温度依赖分量B1~B5中的箭头部分)会残留于所输出的像素值,且会以像素值整体增加的方式位移。相反地,当温度依赖分量B1~B5减少时,校正后的像素值仅在温度依赖分量B1~B5的减少部分变小而变得不适合,且会以像素值整体减少的方式位移。如此,由于温度变化而产生非均匀性校正处理后的校正后图像的像素值变动这一问题。
图4中,从左侧依次示出校正在基准温度下拍摄到的红外线图像而得的校正后图像和校正在与基准温度不同的其他温度下拍摄到的红外线图像而得的校正后图像。另外,对两个校正后图像利用与基准温度相对应的基础校正数据而进行了非均匀性校正处理。图4的左右侧的图像中,包含具有已知的温度范围内的体温的人,即使在两个图像中人的体温几乎无差异,通过如上述那样的温度依赖分量的变动而在图4的右侧所示的与基准温度不同的温度相对应的校正后图像中,图像中的像素值会整体发生变动,且人区域的像素值会变小。
为了抑制这种像素值的变动,优选周期性重复获取基础校正数据,并利用所获取的基础校正数据来进行红外线图像的非均匀性校正处理。但是,关于基础校正数据的获取,在现有的方法中,由于获取用于基础校正数据的图像而会产生外部环境无法摄像的期间。但是,例如在车载用红外线摄像装置100等中,在步行者等应关注的被摄体包含于红外线图像的期间等,存在欲延迟基础校正数据的更新而不间断地拍摄外部环境而进行观察这一要求。并且,还会发生不间断地拍摄外部环境的状况持续一定期间。在这种情况下,优选不中断外部环境的摄像便能够校正因温度变化而引起的像素值的变动。
本发明中,为了校正因温度变化而引起的像素值的变动,着眼于利用已知与周围温度无关而基本上保持一定温度的情况的对象被摄体的像素值。例如,当红外线图像中存在具有人体等已知的特定温度范围的温度的对象被摄体时,推定从对象被摄体入射的红外线量与周围温度无关而基本上保持一定值。因此,认为若对象被摄体的像素值发生变化,则其像素值的变化量表示因温度变化而引起的像素值的变化量。并且,推定给像素值带来影响的温度变化为通过外部环境的温度变化或电路基板的通电而产生的摄像装置主体、电路基板及像素本身的温度变化,且对于红外线检测器3的整体发生类似的温度变化。因此,认为在本发明中,对象被摄体的像素值的变化量表示红外线检测器3整体所包含的多个像素的像素值的变化量。
从而,偏移值计算部60具备后述代表偏移值计算部69,并通过代表偏移值计算部69计算被摄体值的像素值的变化量来作为因温度变化而引起的变化量,即表示红外线检测器3的多个像素的像素值的变化量的代表偏移值。而且,校正部62根据代表偏移值进行偏移校正,以便消除红外线图像的像素值的温度依赖分量的变动。
偏移值计算部60具有区域检测部65、像素值计算部67、变化量计算部68及代表偏移值计算部69而成。以下,作为一例,利用图4对由偏移值计算部60计算图4的左图像的被摄体的像素值向图4的右图像的被摄体的像素值的变化量(被摄体值变化量)来作为代表偏移值的处理进行说明。另外,校正部62利用代表偏移值来进行减少像素值的变动的校正,由此校正图4的右图像所示的因温度变化而引起的像素值的变动(减少),并以图4的右图像的被摄体的像素值成为相当于图4的左图像的被摄体的像素值的像素值的方式进行校正。
区域检测部65获取通过校正部62已进行非均匀性校正处理之后的校正后图像,并从校正后图像检测与对象被摄体相对应的被摄体区域R。在此,区域检测部65通过公知的方法,从红外线图像检测表示与人物温度相对应的基准范围的温度的像素集合,并抽出所检测出的像素集合的边缘。而且,对于所抽出的边缘,通过利用表示已知的人物形状的图案进行图案识别来从红外线图像检测人物。
并且,在此,区域检测部65获取图4的右侧所示的校正后图像,从校正后图像检测被摄体的头部(脸),并检测包含头部的矩形区域来作为被摄体区域R。只要是能够从红外线图像检测对象的被摄体的方法,则区域检测部65能够采用任意方法。例如,区域检测部65在检测人物区域的情况下,可以采用专利文献1所示的被摄体区域R的检测方法。
另外,如上述,区域检测部65在检测与人相对应的区域来作为被摄体区域R的情况下,能够根据具有已知的人体温度范围内的温度的人区域的像素值,进行高精度地计算代表偏移值来抑制红外线图像因温度变化而变动的校正。另外,根据设置摄像装置的目的或观察对象,将具有已知的特定范围的温度的任意物体设为对象被摄体即可。例如,区域检测部65可以构成为检测除了人以外的恒温动物等的区域来作为与对象被摄体相对应的区域。
像素值计算部67计算表示通过区域检测部65检测到的被摄体区域R的像素值的被摄体值。在此,像素值计算部67根据表示被摄体区域R的像素值的分布的直方图计算被摄体区域R的最频值来作为被摄体值。并且,例如像素值计算部67可以根据表示被摄体区域R的像素值的分布的直方图计算平均值与中央值中的任一个来作为被摄体值。在这种情况下,通过利用作为被摄体区域R的代表像素值即被摄体值而适当的值,能够高精度地计算被摄体区域R的像素值的变化。
像素值计算部67可以通过任意方法计算被摄体值来作为表示被摄体区域R的像素值的被摄体值。例如,可以将被摄体区域R的像素值的相加平均值或加权相加平均值作为被摄体值,也可以根据被摄体区域R中,特定位置的像素值或所选择的多个像素的像素值来计算被摄体值。
变化量计算部68根据基准被摄体值和通过像素值计算部67计算的被摄体值来计算作为被摄体区域R的像素值的变化量的被摄体值变化量。具体而言,变化量计算部68参考存储在基准值存储部66中的基准被摄体值计算如下差值来作为被摄体值变化量,该差值是从通过像素值计算部67从成为对象的红外线图像计算的被摄体值减去基准被摄体值而得的。在此,从图4的左图像如后述作为基准被摄体值而计算100并将其存储在基准值存储部66。若像素值计算部67从图4的右图像作为被摄体值而计算90,则变化量计算部68计算从被摄体值(90)减去基准被摄体值(100)而得的值(90-100=-10)来作为被摄体值变化量。
另外,基准被摄体值为从成为基准的基准红外线图像计算的被摄体值。基准被摄体值与从成为对象的红外线图像得到的被摄体值优选利用相同的基础校正数据来实施非均匀性校正处理,通过相同的方法来检测被摄体区域R,并通过相同的方法来计算被摄体区域R中的被摄体值。并且,作为基准红外线图像,优选利用在尽量与拍摄到用于获取基础校正数据的图像的时刻接近的时刻拍摄的红外线图像,即包含被摄体的红外线图像。
对从图4的左侧所示的校正后基准图像计算基准被摄体值的方法进行说明。关于数字信号处理部6,若从基础校正数据更新模式转移到通常摄像模式,则所拍摄到的红外线图像存储于帧存储器61,并输出由校正部62根据基础校正数据存储在对帧存储器61中的红外线图像实施非均匀性校正处理而成的校正后图像。而且,区域检测部65对校正后图像检测被摄体区域R。若检测到被摄体区域R,则像素值计算部67从校正后图像的被摄体区域R根据表示被摄体区域R的像素值的分布的直方图计算被摄体区域R的最频值来作为基准被摄体值,并将基准被摄体值存储于基准值存储部66。
另外,直至检测到被摄体区域R为止,重复进行按每一次拍摄红外线图像,在帧存储器61存储红外线图像,输出对所存储的红外线图像实施非均匀性校正处理而成的校正后图像,并检测校正后图像中的被摄体区域R的这一系列的处理。另外,在上述情况下,基准红外线图像为从基础校正数据更新模式转移到通常摄像模式之后,与最初检测到被摄体区域R的校正后图像相对应的红外线图像。
在上述情况下,能够尽量缩小获取基础校正数据时与获取基准被摄体值时的时间间隔。因此,能够在获取基础校正数据时的外部环境及电路基板的温度与获取基准被摄体值时的外部环境及电路基板的温度之差尽量小的状态下,计算基准被摄体值。由此,使基准被摄体值接近与获取基础校正数据时的温度相对应的像素值来计算近似表示从获取基础校正数据时基于温度变化的像素值的变化的被摄体值变化量。从而,将被摄体值变化量用作代表偏移值而能够适当校正从获取基础校正数据基于温度变化的像素值的变动。另外,作为基准红外线图像,可以利用在比拍摄成为对象的红外线图像更早通过红外线检测器3拍摄到的任意红外线图像。
代表偏移值计算部69计算被摄体值变化量来作为代表偏移值。而且,代表偏移值计算部69利用以代表偏移值对基础校正数据的各校正值进行偏移运算(增加或减少)而得的数据来更新存储在校正数据存储部64中的基础校正数据。另外,代表偏移值计算部69可以将代表偏移值存储于与基础校正数据不同的校正数据存储部64。
利用图5、图6A及图6B,对代表偏移值计算部69利用代表偏移值来更新基础校正数据的处理进行说明。图5表示作为红外线检测器3的像素的一部分的5×5像素P1~P25。图6A与图6B为基础校正数据,且在分别与图5的像素P1~P25相对应的位置显示与像素P1~P25相对应的校正值。并且,图6A中示出基于代表偏移值计算部69的更新处理前的基础校正数据,图6B中示出基于代表偏移值计算部69的更新处理后的基础校正数据。并且,如图6A等所示,基础校正数据成为按每一像素校正(去除)该像素的非均匀性(每一像素的变化分量)的固有的校正值的集合。
另外,图6A及图6B所示的各数值均为为了说明而简化的数值,且为与实际不同的值。并且,为了说明而对5×5像素进行说明,但代表偏移值计算部69对所有的红外线检测器3所包含的n个像素执行更新处理。
在此,代表偏移值计算部69计算上述被摄体值变化量(-10)来作为代表偏移值,且将图6A所示的与基础校正数据的各像素Pi(1≤i≤25)分别相对应的校正值设为(与第i个像素相对应的校正值)=(与第i个像素相对应的校正值)+(代表偏移值)的偏移运算来计算图6B所示的偏移运算后的基础校正数据,并利用偏移运算后的基础校正数据更新存储在校正数据存储部64中的基础校正数据。可知对图6A所示的各校正值,在图6B所示的各校正值相加代表偏移值(-10)。
另外,若计算代表偏移值,则校正部62根据存储在校正数据存储部64中的基础校正数据,从红外线图像的各像素值减去与该像素值相对应的像素的校正值来执行非均匀性校正处理。即,校正部62根据更新后校正数据,对红外线图像的各第i个像素(1≤i≤n)进行式(1-1)所示的偏移运算,由此对所输入的红外线图像进行非均匀性校正处理来输出校正后图像。
(与第i个像素相对应的输出像素值)=(第i个像素的输入像素值)-(第i个像素的更新后的校正值)=(第i个像素的输入像素值)-((第i个像素的校正值)+(代表偏移值))(1-1)
图7为表示第1实施方式的信号校正处理的流程的流程图。利用图7对信号校正处理的流程进行详细说明。
首先,当为通常摄像模式时,若红外线摄像装置100拍摄红外线图像,则将所拍摄到的红外线图像存储于帧存储器61(ST01)。校正部62对存储在帧存储器61中的红外线图像,参考校正数据存储部64而实施非均匀性校正处理(ST02)。具体而言,根据基础校正数据,从红外线图像的各像素值分别减去与该像素值相对应的像素的校正值来输出校正后图像。接着,区域检测部65从校正后图像检测被摄体区域R(ST03)。当未检测到被摄体区域R时(ST04,否),重复进行ST01~ST03的处理。另一方面,当检测到被摄体区域R时(ST04,是),像素值计算部67根据所检测到的被摄体区域R的像素值计算被摄体值(ST05)。接着,变化量计算部68计算从被摄体值减去基准被摄体值而得的差分来作为被摄体值变化量(ST06),代表偏移值计算部69计算所计算的被摄体值变化量来作为代表偏移值(ST07)。在此,代表偏移值计算部69利用所计算的代表偏移值来更新存储在校正数据存储部64中的基础校正数据(ST08)。当未满足结束条件时(ST09,否),红外线摄像装置100重复进行ST01~ST08的处理。当满足结束条件时(ST09,是),红外线摄像装置100结束处理。
根据上述实施方式,根据红外线图像本身的信息来计算因温度变化而引起的表示红外线检测器3的多个像素的像素值的变化量的代表偏移值,并根据代表偏移值与基础校正数据来校正红外线图像。因此,不中断外部环境的摄像便能够校正因温度变化而引起的像素值的变动。
并且,上述实施方式中,具备基础校正数据更新部63,且基础校正数据更新部63在满足从之前拍摄的红外线图像未检测到人这一更新条件的情况下进行基础校正数据的更新,偏移值计算部60在检测到被摄体的情况下计算代表偏移值。而且,校正部62根据基于代表偏移值来增加或减少基础校正数据而得的数据来对红外线图像进行偏移校正,由此进行非均匀性校正处理。
由此,当拍摄到作为被关注的被摄体的人时,能够作为通常摄像模式持续进行拍摄而不进行中断外部的摄像的基础校正数据的更新处理。而且,在通常摄像模式下,根据有无被摄体区域R的检测来适当计算代表偏移值,因此即使中断摄像而并不更新基础校正数据,也能够适当校正基于温度变化的多个像素的像素值的变化量。并且,在拍摄到作为被关注的被摄体的人的状态下,能够适当更新基础校正数据。因此,校正部62能够根据有无应关注的被摄体来适当获取与温度变化相对应的校正数据,并能够根据所获取的校正数据适当进行非均匀性校正处理。
并且,如上述各实施方式所示,偏移值计算部60在周期性重复计算代表偏移值的情况下能够适当校正基于温度变化的像素值的变化量。另外,如上述,对每帧图像检测被摄体区域R,且每次检测到被摄体区域R时计算代表偏移值的情况下,能够使代表偏移值适当适合温度变化,因此上述效果尤其显著。
另外,偏移值计算部60可以隔开时间间隔来进行代表偏移值的计算处理或后述固有偏移值的计算处理。
并且,可以任意设定进行基于基础校正数据更新部63的基础校正数据的更新处理的更新条件。
并且,可以将控制部9构成为与基于基础校正数据更新部63的更新条件无关地,命令执行基于偏移值计算部60的偏移值计算处理(代表偏移值计算处理或后述固有偏移值计算处理)。
例如,偏移值计算部60可以以所设定的时间间隔进行代表偏移值的计算或后述固有偏移值的计算。该情况下,考虑当基于基板温度(尤其传感器温度)及红外线摄像装置100的框体温度等与摄影对象无关的外部因素的红外线量频繁变动时,将上述时间间隔设定为较短,当基于外部因素的红外线量几乎没有变动时,将上述时间间隔设定为较长。例如,能够将由偏移值计算部60计算代表偏移值的时间间隔设为3分钟以下或5分钟以下。
并且,作为一例,可以将用于检测温度变化的未图示的温度传感器设置在红外线摄像装置100的外部或内部,且由控制部9根据温度传感器的测定值来监视温度变化。而且,当观察到温度变化时,可以命令偏移值计算部60实施代表偏移值的计算处理(或代表偏移值的计算处理和固有偏移值的计算处理这两个)。该情况下,例如由控制部监视温度传感器的测定值,并判定测定值是否为阈值以上来对基准值以上的温度的变化进行判断即可。
并且,在满足基于时间经过或温度变化等的任意更新条件的状态下,也被检测出并不想中断图像的摄像的状况等不优选进行基于基础校正数据更新部63的基础校正数据的更新处理的状况时,控制部9可以将基于基础校正数据更新部63的基础校正数据的更新处理延期,取而代之命令执行基于偏移值计算部60的偏移值计算处理。该情况下,优选控制部9适当命令直至消除不优选进行更新处理的状况为止,执行基于偏移值计算部60的偏移值计算处理。该情况下,根据有无不优选进行基于基础校正数据更新部63的基础校正数据的更新处理的状况,能够持续向输出部8输出包括应关注的被摄体的校正后图像的同时通过偏移值计算处理抑制基于温度变化的像素值的变动。
并且,如上述,当计算被摄体值变化量来作为代表偏移值,并基于根据代表偏移值来增加或减少基础校正数据而得的数据来对红外线图像进行偏移校正时,能够简单且适当地根据红外线图像的各像素值来校正因温度变化而引起的像素值的变化量。
以下,利用图8A和图8B对第2实施方式进行说明。第2实施方式中,变化量计算部68对基准被摄体值与被摄体值中的至少一个值进行减少因基准被摄体值与被摄体值之间的光学系统1而引起的阴影(透镜阴影)差的校正,且计算从在进行减少阴影差的校正之后的被摄体值减去进行减少阴影差的校正之后的基准被摄体值而得的值来作为被摄体值变化量,在这一方面与第1实施方式不同。
图8A中,从左侧依次示出校正在基准温度下拍摄到的红外线图像(基准红外线图像)而成校正后图像和校正在与基准温度不同的温度下拍摄到的红外线图像而成的校正后图像。另外,对两个校正后图像利用与基准温度相对应的基础校正数据进行了非均匀性校正处理。在此,图8A的左图像中,人区域位于图像中央Z,图8B的右图像中,人区域位于从图像中央Z远离的位置C。图8B中示意性示出在拍摄到温度均匀的被摄体时入射于检测面上的像素的光量分布。另外,图8B为红外线检测器3的检测面所包含的直线上的像素的光量分布,该直线为贯穿图8A中的与图像中央Z相对应的检测面上的位置(与光轴相对应的位置Z1)和与被摄体区域R的中心C相对应的检测面上的位置(C1)的直线。如图8B所示,可知在从与光轴相对应的位置Z1远离的被摄体区域R的位置C1,因透镜阴影而光量减少。
如图8A所示,当被摄体区域R的位置在基准被摄体值的检测中所使用的校正后图像与被摄体值的检测中所使用的校正后图像中不同时,在基准被摄体值与被摄体值中根据各自的被摄体区域R的位置,基于透镜阴影的像素值的变化不同。例如,图8A的例中,右图像的被摄体区域R位于从与光轴相对应的图像中央Z远离的位置C,因此在被摄体值发生基于温度变化的像素值的减少和因透镜阴影而像素值的减少。另一方面,关于左图像的基准被摄体值,由于被摄体区域R位于与光轴相对应的图像中央Z,因此在基准被摄体值中不会发生基于透镜阴影的像素值的减少。
上述情况下,当仅将从被摄体值减去基准被摄体值而得的差分值作为被摄体值变化量时,被摄体值变化量不仅减少因温度变化而引起的像素值,还反映两个图像之间的透镜阴影差。为了使被摄体值变化量高精度地表示因温度变化而引起的像素值的变化,优选在去除基准被摄体值与被摄体值之间的透镜阴影差的状态下计算被摄体值变化量。
因此,第2实施方式中,变化量计算部68对基准被摄体值和被摄体值中的至少一个值进行减少因基准被摄体值与被摄体值之间的光学系统1而引起的阴影差的校正,并计算从进行减少阴影差的校正之后的被摄体值减去进行减少阴影差的校正之后的基准被摄体值而得的值来作为被摄体值变化量。第2实施方式中,除了变化量计算部68以外的各部的结构或功能与第1实施方式为通用,因此仅对不同部分进行说明。
若以图8A为例而进行说明,则如图8A所示,在此变化量计算部68对作为基准红外线图像的被摄体区域R的位置的基准位置、作为从红外线图像检测到的被摄体区域R的位置的位置C进行确定。另外,将被摄体区域R的位置确定为被摄体区域R的中央的位置。而且,如图8B所示,根据在制造时等预先获取的表示红外线检测器3的多个像素的透镜阴影的信息,变化量计算部68利用以下式(2),将被摄体区域R位于基准位置时的基准被摄体值转换为被摄体区域R位于位置C时的基准被摄体值,且从被摄体区域R位于位置C的被摄体值减去已转换的基准被摄体值,由此计算被摄体值变化量。
(位置C中的被摄体值变化量)=(位置C中的被摄体值)-(基准位置的基准被摄体值)×(位置C中的光量/基准位置中的光量) (2)
图8A的左图像中,被摄体位于作为图像中央Z的基准位置时的基准被摄体值为100。根据图8B,将相对于与光轴相对应的位置Z1的光量的与被摄体区域R相对应的位置C1的光量设为80%。变化量计算部68参考表示透镜阴影的信息,并根据位置C中的光量相对于基准位置中的光量的比例(80/100),将被摄体区域R位于基准位置时的基准被摄体值(100)转换为被摄体区域R位于位置C时的基准被摄体值(80)。而且,获取从被摄体区域R位于位置C时的被摄体值(70)减去被摄体区域R位于位置C时的基准转换值(80)而得的值来作为被摄体值变化量(-10)。如此,根据表示透镜阴影的信息,将被摄体区域R位于基准位置时的基准被摄体值转换为被摄体区域R位于位置C时的基准被摄体值,由此进行减少基准被摄体值与被摄体值之间的透镜阴影差的校正时,能够正确计算被摄体值变化量。
另外,基准位置可适当选择基准红外线图像中的被摄体区域R的位置。并且,第2实施方式中,与第1实施方式相同,像素值计算部67通过表示被摄体区域R的代表性像素值的任意方法计算被摄体值即可。变化量计算部68可以采用能够减少(消除)基准被摄体值与被摄体值之间的透镜阴影差的任意校正方法。例如,变化量计算部68为了减少(消除)基准被摄体值与被摄体值之间的透镜阴影差,可以将被摄体区域R位于位置C时的被摄体值转换为被摄体区域R位于基准位置时的被摄体值,也可以将被摄体区域R位于基准位置时的基准被摄体值和被摄体区域R位于位置C时的被摄体值这两个分别转换为被摄体区域R位于第3位置时的基准被摄体值和被摄体区域R位于第3位置时的被摄体值。
如上述,当根据被摄体位置的不同而消除了基准被摄体值与被摄体值的透镜阴影差的状态下,计算被摄体值变化量时,被摄体值变化量更明显表示基于温度变化的像素值的变化,因此通过将被摄体值变化量用作代表偏移值来校正红外线图像的像素值,能够高精度地进行非均匀性校正处理。并且,通过利用被摄体值与基准被摄体值来计算消除了阴影差的被摄体值变化量,从而能够简单且高精度地计算被摄体值变化量。
并且,关于如上述那样的效果,只要能够在计算被摄体值与基准被摄体值之差来作为被摄体值变化量的处理之前,校正被摄体值与基准被摄体值的透镜阴影差,则即使校正透镜阴影差的时点不同也能够得到相同的效果。以下,对作为根据校正透镜阴影而得的像素值来计算被摄体值的例的第3实施方式进行说明。图9为表示第3实施方式的数字信号处理部6的结构的图,图10为表示第3实施方式的信号校正处理的流程图。
第3实施方式中,偏移值计算部60具备在通过变化量计算部68计算被摄体值变化量之前,对校正后图像的像素值中的至少一部分进行校正因光学系统1而引起的阴影的阴影校正处理的阴影校正部70。并且,第3实施方式中,优选通过后述阴影校正部70对已对基准红外线图像实施了非均匀性校正处理的校正后图像进行阴影校正,且从经阴影校正的图像检测被摄体区域R,从所检测到的被摄体区域R计算被摄体值,并将所计算出的被摄体值存储于基准值存储部66来作为基准被摄体值。
而且,在此偏移值计算部60具有对校正后图像中的与多个像素相对应的像素值进行阴影校正处理的阴影校正部70,区域检测部65根据进行阴影校正处理之后的与多个像素相对应的像素值检测被摄体区域R,在这一方面与第1实施方式不同。因此,对与第1实施方式相同的结构标注相同的符号,并省略说明。以下,以与第1实施方式的不同点为中心而进行说明,且对其他通用部分省略说明。
按照图10,对第3实施方式中的信号校正处理的流程进行说明。另外,图10中的ST21~ST22的处理为分别与图7的ST01~ST02相同的处理,因此省略说明。
阴影校正部70对从校正部62输出的校正后图像,参考作为与每一像素的透镜阴影相对应的阴影校正值的集合的透镜阴影校正信息来获取与校正后图像的各位置相对应的像素的阴影校正值。而且,阴影校正部70以从校正后图像的各像素值校正(去除)相对应的像素的透镜阴影的方式对阴影校正值进行偏移运算来进行阴影校正(ST23)。另外,阴影校正信息在制造时通过测定等而创建,且预先存储在校正数据存储部64即可。
然后,区域检测部65根据与进行阴影校正处理之后的多个像素相对应的像素值检测被摄体区域R(ST24)。然后,ST26~ST30的处理为分别与图7的ST05~ST09的处理相同的处理,因此省略说明。
当为第3实施方式时,也利用校正透镜阴影差而得的被摄体值来计算被摄体值变化量,因此可得到与第2实施方式相同的效果。而且,如第3实施方式,区域检测部65构成为从校正透镜阴影而得的校正后图像检测被摄体区域R时,能够提高被摄体区域R的检测精度。
另外,作为第3实施方式的变形例,如图9的虚线部所示,可以将阴影校正部70构成为对所检测出的被摄体区域R所包含的像素的像素值进行阴影校正处理,且将像素值计算部67构成为根据进行阴影校正处理之后的被摄体区域R所包含的像素值来计算被摄体值。以下,以与第3实施方式的不同点为中心而进行说明,且对其他通用部分省略说明。
另外,第3实施方式的变形例中,优选从对基准红外线图像实施了非均匀性校正处理的校正后图像检测被摄体区域R,在所检测到的被摄体区域R由阴影校正部70进行阴影校正处理,从进行了阴影校正的被摄体区域R计算被摄体值,并将所计算出的被摄体值存储于基准值存储部66来作为基准被摄体值。
图11为表示为上述变形例时的信号校正处理的流程图。另外,图11中的ST31~ST34的处理为分别与图7的ST01~ST04相同的处理,因此省略说明。
若检测到被摄体区域R,则阴影校正部70获取由区域检测部65检测到的被摄体区域R,对被摄体区域R,参考作为与每一像素的透镜阴影相对应的阴影校正值的集合的透镜阴影校正信息来获取与被摄体区域R的各位置相对应的像素的阴影校正值。而且,阴影校正部70以从被摄体区域R的各像素值校正(去除)相对应的像素的透镜阴影的方式对相对应的像素的阴影校正值进行偏移运算来进行阴影校正(ST35)。另外,阴影校正信息在制造时通过测定等而创建,且预先存储在校正数据存储部64即可。
然后,像素值计算部67根据进行阴影校正处理之后的被摄体区域R所包含的像素值来计算被摄体值(ST36)。然后,ST37~ST40的处理为分别与图7的ST06~ST09的处理相同的处理,因此省略说明。
如上述,阴影校正部70在对所检测到的被摄体区域R进行阴影校正时,能够对被摄体值的计算中所需要的范围的像素值进行阴影校正来抑制计算负载的过度增加。并且,在上述变形例所示的情况下,能够利用校正透镜阴影而得的被摄体值来计算被摄体值变化量,因此可得到与第2实施方式及第3实施方式相同的效果。
以下,对第4实施方式进行说明。第1实施方式中,如图3所示,使因温度变化而引起的各像素P1~P5的温度依赖分量B1~B5的各变化量(参考图3右图的箭头部分)与红外线检测器3整体的通用值近似,并将被摄体区域R值用作代表偏移值来校正了各像素的像素值。但是,详细而言,认为因温度变化而引起的各像素的像素值的变化量(各像素值的温度依赖分量的变化量)为每一像素中的固有的值。
因此,第4实施方式中,偏移值计算部60利用表示红外线检测器3所包含的多个像素的像素值的变化量的代表偏移值来计算表示红外线检测器3所包含的各像素中固有的像素值的变化量的固有偏移值。更详细而言,第4实施方式中,偏移值计算部60还具备固有偏移值计算部71,且校正部62利用根据固有偏移值来增加或减少基础校正数据而得的数据而对红外线图像进行偏移校正,在这一方面与第1实施方式不同。以下,以与第1实施方式的不同点为中心而进行说明,且对其他通用部分省略说明。
固有偏移值计算部71根据按多个像素的每一像素分别表示代表偏移值与固有偏移值的关系的固有值信息来按多个像素的每一像素分别计算与代表偏移值相对应的固有偏移值。
固有值信息在制造阶段测定并获取,且预先存储在校正数据存储部64中。固有值信息可以通过按每一像素表示代表偏移值与固有偏移值的关系的任意方法来构成。例如,固有值信息可以针对多个代表偏移值分别具备按每一像素对与代表偏移值相对应的固有偏移值建立对应的表。并且,例如,固有值信息可以针对多个代表偏移值分别具备按每一像素对代表偏移值与固有偏移值之差建立对应的表。
在此,固有值信息为按每一像素对代表偏移值与该像素的固有偏移值之差相对于代表偏移值的比例的值(固有值)建立对应的表。图13中示出固有值信息的例。图13的固有值信息表示与图5中的5×5像素P1~P25相对应的固有值。第i个像素的固有值能够如以下式(3)那样表示。
(第i个像素的固有值)={(第i个像素的固有偏移值)-(代表偏移值)}/(代表偏移值) (3)
固有偏移值计算部71通过根据固有值信息对各像素的固有值分别乘以代表偏移值,按每一像素计算代表偏移值与该像素的固有偏移值的差分值(=(第i个像素的固有偏移值)-(代表偏移值))。而且,固有偏移值计算部71计算固有偏移值来作为代表偏移值与差分值之和。另外,固有偏移值、代表偏移值及固有值的关系能够如以下式(4)那样表示。另外,以下有时将代表偏移值与第i个像素的固有偏移值的差分值简单记载为差分值。
(第i个像素的固有偏移值)=(代表偏移值)+(差分值)=(代表偏移值)+(代表偏移值)×(第i个像素的固有值) (4)
图14A和图14B为分别与图5所示的像素P1~P25相对应的基础校正数据。并且,图14A中示出基于固有偏移值计算部71的更新处理前的基础校正数据,且图14B中示出基于固有偏移值计算部71的更新处理后的基础校正数据。利用图13、图14A及图14B,对由固有偏移值计算部71利用代表偏移值来计算固有偏移值,并利用固有偏移值更新基础校正数据的处理进行说明。
另外,基础校正数据原本被设定为按每一像素校正该像素的非均匀性(每一像素的变化分量)的固有的校正值,但为了在图14A中进行说明,设为通用的校正值。另外,图13、图14A及图14B所示的各数值均为用于说明的数值,且为与实际不同的值。并且,为了说明而对5×5像素进行说明,偏移值计算部60对红外线检测器3所包含的所有的像素执行基础校正数据的更新处理。
在此,代表偏移值计算部69计算被摄体值变化量(-10)来作为代表偏移值。然后,固有偏移值计算部71对分别与图14A所示的基础校正数据的各像素Pi(1≤i≤25)相对应的校正值进行式(5)所示的偏移运算,并计算如图14B所示的基础校正数据。如图14B所示,可知对基础校正数据的各校正值分别相加固有偏移值而进行偏移运算。
(第i个像素的更新后的校正值)=(第i个像素的校正值)+(第i个像素的固有偏移值) (5)
而且,固有偏移值计算部71利用偏移运算后的基础校正数据来更新存储在校正数据存储部64中的基础校正数据。
另外,若计算出代表偏移值,则校正部62根据存储在校正数据存储部64中的基础校正数据,从红外线图像的各像素值减去与该像素值相对应的像素的校正值来执行非均匀性校正处理。即,校正部62根据更新后校正数据,对红外线图像的第i个像素(1≤i≤n)进行式(6)所示的偏移运算,由此对所输入的红外线图像进行非均匀性校正处理而输出校正后图像。
(与第i个像素相对应的输出像素值)=(第i个像素的输入像素值)-(第i个像素的更新后的校正值)=(第i个像素的输入像素值)-((第i个像素的校正值)+(第i个像素的固有偏移值)) (6)
另外,关于固有偏移值计算部71,只要是在由校正部62进行校正时能够确定固有偏移值的方式,则可以以任意方式存储固有偏移值。例如,如图12的虚线所示,固有偏移值计算部71可以将作为固有偏移值的集合的固有偏移数据存储于与基础校正数据不同的校正数据存储部64。并且,虽省略图示,但固有偏移值计算部71可以将固有偏移数据分为代表偏移值和按每一像素表示代表偏移值与固有偏移值的差分值的差分数据而存储于校正数据存储部64。
并且,校正部62利用根据固有偏移值来增加或减少基础校正数据而得的数据对红外线图像进行偏移校正。另外,在此成为校正部62的校正对象的红外线图像可以是计算代表偏移值时所使用的红外线图像,也可以是在计算代表偏移值时所使用的红外线图像之后拍摄到的红外线图像。
“利用根据固有偏移值来增加或减少基础校正数据而得的数据对红外线图像进行偏移校正”是指,从红外线图像的各像素值对固有偏移值和基础校正数据所包含的与该像素值相对应的像素的校正值进行偏移校正(去除)。“利用根据固有偏移值来增加或减少基础校正数据而得的数据对红外线图像进行偏移校正”是指,其结果还包括根据红外线图像的各像素值对固有偏移值和基础校正数据所包含的与该像素值相对应的像素的校正值分别进行偏移校正(去除)的任意方法。
例如,当红外线检测器3具有1~n个像素时,校正部62在通过校正部62输出的第i个(1≤i≤n)像素的输出像素值成为(与第i个像素相对应的输出像素值)=(第i个像素的输入像素值)-(第i个像素的校正值)-(固有偏移值)的范围内,通过任意方法进行偏移校正即可。
作为一例,如图12中用虚线所示,当在校正数据存储部64中分别存储有固有偏移值与基础校正数据时,如式(6-1)所示,校正部62可以通过参考固有偏移值与基础校正数据,从红外线图像的各像素值减去固有偏移值和基础校正数据所包含的与该像素值相对应的像素的校正值来进行偏移校正。
(第i个像素相对应的输出像素值)=(第i个像素的输入像素值)-(第i个像素的校正值)-(第i个像素的固有偏移值) (6-1)
并且,校正数据存储部64中,可以将固有偏移值通过固有偏移值计算部71分为代表偏移值和差分值而存储,进而可以单独存储有基础校正数据。该情况下,如式(6-2)所示,校正部62可以从红外线图像的各像素值减去基础校正数据所包含的与该像素值相对应的像素的校正值、代表偏移值、该像素的代表偏移值及固有偏移值的差分值来进行偏移校正。在得到相同结果的范围内,可以适当使减法运算的顺序不同。
(第i个像素相对应的输出像素值)=(第i个像素的输入像素值)-(第i个像素的校正值)-(代表偏移值)-(第i个像素的差分值) (6-2)
另外,结果,校正部62只要根据红外线图像的各像素值至少校正(去除)代表偏移值和基础校正数据所包含的相对应的校正值,则除了代表偏移值与基础校正数据所包含的校正值以外,还可以利用其他校正值来进行校正处理。
图15为表示第4实施方式中的信号校正处理的流程的流程图。以下,按照图15对第4实施方式中的信号校正处理的流程进行说明。另外,图15中的ST41~ST47的处理为分别与图7的ST01~ST07相同的处理,因此省略说明。
若计算出代表偏移值,则固有偏移值计算部71参考固有值信息,按每一像素计算与代表偏移值相对应的固有偏移值(ST48)。而且,固有偏移值计算部71根据固有偏移值对基础校正数据中的各校正值进行偏移运算,并根据由偏移运算而得到的基础校正数据更新存储在校正数据存储部64中的基础校正数据(ST49)。而且,在不满足结束条件时(ST50,否),红外线摄像装置100重复进行ST41~ST49的处理。当满足结束条件(ST50,是)时,红外线摄像装置100结束处理。
根据上述第4实施方式,校正部62通过基于根据固有偏移值来增加或减少基础校正数据而得的数据进行偏移校正来进行非均匀性校正处理,因此能够更加适当的校正因温度变化而引起的每一像素的非均匀性的变动。
并且,存储固有值信息来作为按每一像素对代表偏移值与该像素的固有偏移值之差相对于代表偏移值的比例的值(固有值)建立对应的表,且根据固有值信息来计算固有偏移值,因此能够适当地抑制存储在校正数据存储部64中的固有值信息过于增大。
另外,第4实施方式能够与第1实施方式~第3实施方式及其变形例进行组合。
根据本发明的各实施方式,对于红外线(波长0.7μm~1mm)中,尤其对根据远红外线(波长8~15μm)而产生的干扰也可适当地得到在上述中进行说明的各种效果。另外,本发明的各实施方式所涉及的红外线摄像装置100能够适当地应用于预防犯罪用摄像装置、车载用摄像装置等中,且可以构成为拍摄红外线图像的独立的摄像装置,也可以构成为组装于具有红外线图像的摄像功能的摄像系统中。
上述各实施方式仅为例示,而无需为了限定性解释本发明的技术范围而利用上述所有的说明。本发明的方式并不限定于上述各实施例(第1实施方式~第4实施方式、其他变形例及应用例),各实施例的各要件的任意组合也包含于本发明中,并且还包含本领域技术人员应当理解的各种变形例。即,在不脱离由权利要求书中所限定的内容及其均等物导出的本发明的概念思想和宗旨的范围内,能够进行各种追加、变更及部分删除。
符号说明
1-光学系统,2-快门,3-红外线检测器(红外线图像传感器),4-模拟信号处理电路,5-转换电路,6-数字信号处理部,8-输出部,9-控制部,10-快门驱动机构,60-偏移值计算部,61-帧存储器,62-校正部,63-基础校正数据更新部,64-校正数据存储部,65-区域检测部,66-基准值存储部,67-像素值计算部,68-变化量计算部,69-代表偏移值计算部,70-阴影校正部,71-固有偏移值计算部,100-红外线摄像装置。
Claims (12)
1.一种红外线摄像装置,其特征在于,具备:
光学系统;
红外线检测器,位于所述光学系统的成像面,并具备检测所入射的红外线的多个像素,且通过该多个像素而拍摄红外线图像;
校正部,根据用于分别校正所述多个像素的每一像素的非均匀性的基础校正数据校正所述红外线图像并输出校正后图像;及
偏移值计算部,
所述偏移值计算部具有:
区域检测部,从所述校正后图像检测与对象被摄体相对应的被摄体区域;
像素值计算部,计算表示所述被摄体区域的像素值的被摄体值;
变化量计算部,根据校正后基准图像中的作为所述被摄体区域的像素值的基准被摄体值和所述被摄体值,计算作为所述被摄体区域的像素值的变化量的被摄体值变化量,所述校正后基准图像是根据所述基础校正数据校正通过所述红外线检测器拍摄到的成为基准的红外线图像即基准红外线图像而得到的;及
代表偏移值计算部,计算所述被摄体值变化量来作为表示因温度变化而引起的所述多个像素的像素值的变化量的代表偏移值,
所述校正部根据所述代表偏移值和所述基础校正数据校正所述红外线图像。
2.根据权利要求1所述的红外线摄像装置,其中,
所述校正部利用根据所述代表偏移值来增加或减少所述基础校正数据而得的数据对所述红外线图像进行偏移校正。
3.根据权利要求1所述的红外线摄像装置,其中,
所述偏移值计算部还具备固有偏移值计算部,所述固有偏移值计算部根据按所述多个像素的每一像素分别表示所述代表偏移值与表示因温度变化而引起的该像素的像素值的变化量的固有偏移值的关系的固有值信息,按所述多个像素的每一像素分别计算与所述代表偏移值相对应的所述固有偏移值,
所述校正部利用根据所述固有偏移值来增加或减少所述基础校正数据而得的数据对所述红外线图像进行偏移校正。
4.根据权利要求1至3中任一项所述的红外线摄像装置,其中,
所述变化量计算部对所述基准被摄体值与所述被摄体值的至少一方的值进行减少所述基准被摄体值与所述被摄体值之间的因所述光学系统而引起的阴影差的校正,并计算从进行减少所述阴影差的校正之后的所述被摄体值减去进行减少所述阴影差的校正之后的所述基准被摄体值的值来作为所述被摄体值变化量。
5.根据权利要求1至3中任一项所述的红外线摄像装置,其中,
所述偏移值计算部还具有阴影校正部,所述阴影校正部在通过所述变化量计算部计算所述被摄体值变化量之前,对所述校正后图像的像素值的至少一部分进行校正因所述光学系统而引起的阴影的阴影校正处理。
6.根据权利要求5所述的红外线摄像装置,其中,
所述阴影校正部对所述校正后图像中的与所述多个像素相对应的像素值进行所述阴影校正处理,
所述区域检测部根据进行所述阴影校正处理之后的与所述多个像素相对应的像素值检测所述被摄体区域。
7.根据权利要求5所述的红外线摄像装置,其中,
所述阴影校正部对所述被摄体区域中所含有的像素的像素值进行所述阴影校正处理,
所述像素值计算部根据进行所述阴影校正处理之后的所述被摄体区域中所含有的像素值计算所述被摄体值。
8.根据权利要求1至3中任一项所述的红外线摄像装置,其中,
所述像素值计算部根据表示所述被摄体区域的像素值的分布的直方图计算最频值、平均值及中央值中的任一个来作为所述被摄体值。
9.根据权利要求1至3中任一项所述的红外线摄像装置,其中,
所述区域检测部检测与人相对应的区域来作为所述被摄体区域。
10.根据权利要求1至3中任一项所述的红外线摄像装置,其中,
所述偏移值计算部周期性重复计算所述代表偏移值。
11.根据权利要求1至3中任一项所述的红外线摄像装置,其还具备:
基础校正数据更新部,执行校正所述基础校正数据的基础校正数据更新处理;
快门,位于所述红外线检测器与所述光学系统之间,且开闭自如;及
控制部,在所述校正后图像中不存在所述被摄体区域的期间,使所述红外线检测器拍摄关闭了所述快门的状态下的快门图像,并根据该快门图像使所述基础校正数据更新部执行所述基础校正数据更新处理。
12.一种基于红外线摄像装置的信号校正方法,所述红外线摄像装置具备位于光学系统的成像面,并具备检测所入射的红外线的多个像素的红外线检测器,所述信号校正方法的特征在于,具有:
拍摄步骤,根据所述多个像素拍摄红外线图像;
校正步骤,根据用于分别校正所述多个像素的每一像素的非均匀性的基础校正数据校正所述红外线图像并输出校正后图像;及
偏移值计算步骤,
所述偏移值计算步骤具有:
区域检测步骤,从所述校正后图像检测与对象被摄体相对应的被摄体区域;
像素值计算步骤,计算表示所述被摄体区域的像素值的被摄体值;
变化量计算步骤,根据校正后基准图像中的作为所述被摄体区域的像素值的基准被摄体值和所述被摄体值,计算作为所述被摄体区域的像素值的变化量的被摄体值变化量,所述校正后基准图像是根据所述基础校正数据校正通过所述红外线检测器拍摄到的成为基准的红外线图像即基准红外线图像而得到的;及
代表偏移值计算步骤,计算所述被摄体值变化量来作为表示因温度变化而引起的所述多个像素的像素值的变化量的代表偏移值,
所述校正步骤中根据所述代表偏移值和所述基础校正数据校正所述红外线图像。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015-213031 | 2015-10-29 | ||
JP2015213031 | 2015-10-29 | ||
PCT/JP2016/080805 WO2017073401A1 (ja) | 2015-10-29 | 2016-10-18 | 赤外線撮像装置および赤外線撮像装置による信号補正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108353135A CN108353135A (zh) | 2018-07-31 |
CN108353135B true CN108353135B (zh) | 2020-07-21 |
Family
ID=58630113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680063045.0A Active CN108353135B (zh) | 2015-10-29 | 2016-10-18 | 红外线摄像装置及基于红外线摄像装置的信号校正方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10469747B2 (zh) |
JP (1) | JP6356926B2 (zh) |
CN (1) | CN108353135B (zh) |
WO (1) | WO2017073401A1 (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7127656B2 (ja) * | 2018-01-10 | 2022-08-30 | ソニーグループ株式会社 | キャリブレーション装置とキャリブレーション方法およびキャリブレーションチャート装置 |
JP7306408B2 (ja) * | 2018-11-05 | 2023-07-11 | ソニーグループ株式会社 | 温度推定装置、温度推定方法及び温度推定プログラム |
JP6944196B2 (ja) * | 2018-11-16 | 2021-10-06 | 株式会社ジェイエイアイコーポレーション | 撮像装置 |
CN111238646A (zh) * | 2018-11-29 | 2020-06-05 | 东京毅力科创株式会社 | 红外线摄像机的校正方法和红外线摄像机的校正系统 |
CN114705302A (zh) * | 2019-06-11 | 2022-07-05 | 杭州海康微影传感科技有限公司 | 热成像摄像机灼伤处理方法及装置 |
JP7535704B2 (ja) * | 2019-09-06 | 2024-08-19 | パナソニックIpマネジメント株式会社 | 撮像装置 |
JP7373777B2 (ja) * | 2019-11-27 | 2023-11-06 | パナソニックIpマネジメント株式会社 | 赤外線処理システム、赤外線センサシステム、赤外線処理方法、及び、プログラム |
CN111556252B (zh) * | 2020-05-22 | 2021-12-21 | 烟台艾睿光电科技有限公司 | 一种快门校正的方法、装置及电子设备 |
WO2021245772A1 (ja) * | 2020-06-02 | 2021-12-09 | 三菱電機株式会社 | 赤外線撮像装置 |
JP7271604B2 (ja) * | 2020-06-02 | 2023-05-11 | 三菱電機株式会社 | 赤外線撮像装置 |
JP7494615B2 (ja) * | 2020-07-22 | 2024-06-04 | 株式会社Jvcケンウッド | 画像処理装置、画像処理方法およびプログラム |
CN114414070B (zh) * | 2020-12-07 | 2024-04-19 | 杭州美盛红外光电技术有限公司 | 校正系统、校正装置和校正方法 |
TWI806006B (zh) * | 2021-02-20 | 2023-06-21 | 緯創資通股份有限公司 | 熱影像定位方法及其系統 |
EP4084467B1 (en) * | 2021-04-30 | 2023-02-01 | Axis AB | A method and a thermal camera having a microbolometer detector for capturing a sequence of image frames |
CN113566981B (zh) * | 2021-09-26 | 2022-01-04 | 南京智谱科技有限公司 | 红外探测器的自适应调整方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001518760A (ja) * | 1997-09-26 | 2001-10-16 | イギリス国 | センサシステム |
JP2003298949A (ja) * | 2002-04-05 | 2003-10-17 | Mitsubishi Electric Corp | 点滅欠陥検出方法、映像補正方法及び固体撮像装置 |
CN103404123A (zh) * | 2011-02-28 | 2013-11-20 | 富士胶片株式会社 | 成像装置和缺陷像素校正方法 |
CN104580894A (zh) * | 2014-12-25 | 2015-04-29 | 烟台艾睿光电科技有限公司 | 一种红外焦平面的多点校正方法及系统 |
CN105049752A (zh) * | 2014-04-30 | 2015-11-11 | 优利斯公司 | 用于非均匀性修正的红外图像处理方法 |
JP2016029759A (ja) * | 2014-07-25 | 2016-03-03 | キヤノン株式会社 | 撮像装置の欠陥画素検出方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03270567A (ja) * | 1990-03-20 | 1991-12-02 | Fuji Photo Film Co Ltd | 画像信号補正方法 |
US6230108B1 (en) * | 1997-10-23 | 2001-05-08 | Fujitsu Limited | Realtime sensitivity correction method and infrared imaging system |
JP4016022B2 (ja) | 1999-01-14 | 2007-12-05 | 松下電器産業株式会社 | 赤外線画像撮像装置およびこれを搭載した車両 |
JP4910529B2 (ja) | 2006-07-14 | 2012-04-04 | 住友電気工業株式会社 | 障害物検出システム及び障害物検出方法 |
US9237284B2 (en) * | 2009-03-02 | 2016-01-12 | Flir Systems, Inc. | Systems and methods for processing infrared images |
JP2013088192A (ja) * | 2011-10-14 | 2013-05-13 | Toshiba Corp | 赤外線固体撮像装置 |
-
2016
- 2016-10-18 WO PCT/JP2016/080805 patent/WO2017073401A1/ja active Application Filing
- 2016-10-18 JP JP2017547741A patent/JP6356926B2/ja active Active
- 2016-10-18 CN CN201680063045.0A patent/CN108353135B/zh active Active
-
2018
- 2018-04-12 US US15/951,388 patent/US10469747B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001518760A (ja) * | 1997-09-26 | 2001-10-16 | イギリス国 | センサシステム |
JP2003298949A (ja) * | 2002-04-05 | 2003-10-17 | Mitsubishi Electric Corp | 点滅欠陥検出方法、映像補正方法及び固体撮像装置 |
CN103404123A (zh) * | 2011-02-28 | 2013-11-20 | 富士胶片株式会社 | 成像装置和缺陷像素校正方法 |
CN105049752A (zh) * | 2014-04-30 | 2015-11-11 | 优利斯公司 | 用于非均匀性修正的红外图像处理方法 |
JP2016029759A (ja) * | 2014-07-25 | 2016-03-03 | キヤノン株式会社 | 撮像装置の欠陥画素検出方法 |
CN104580894A (zh) * | 2014-12-25 | 2015-04-29 | 烟台艾睿光电科技有限公司 | 一种红外焦平面的多点校正方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
JP6356926B2 (ja) | 2018-07-11 |
JPWO2017073401A1 (ja) | 2018-07-19 |
US20180234628A1 (en) | 2018-08-16 |
US10469747B2 (en) | 2019-11-05 |
WO2017073401A1 (ja) | 2017-05-04 |
CN108353135A (zh) | 2018-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108353135B (zh) | 红外线摄像装置及基于红外线摄像装置的信号校正方法 | |
EP3621850B1 (en) | Shutterless far infrared (fir) camera for automotive safety and driving systems | |
US10432881B2 (en) | Infrared imaging device and method of updating fixed pattern noise data | |
US8040403B2 (en) | Image capturing apparatus and dark current component cancel processing method | |
US12101569B2 (en) | Techniques for correcting oversaturated pixels in shutterless FIR cameras | |
US10699386B2 (en) | Techniques for scene-based nonuniformity correction in shutterless FIR cameras | |
US10523883B2 (en) | Infrared imaging device and method of updating fixed pattern noise data | |
CN109565557A (zh) | 用于热成像系统的固定模式噪声减轻 | |
CN107079114B (zh) | 红外线摄像装置及固定图案噪声计算方法 | |
JP2002310804A (ja) | 赤外線撮像装置及びドリフト補正方法 | |
US10841522B2 (en) | Image capturing apparatus, control method therefor, and recording medium | |
JP2011044813A (ja) | 撮像装置、補正値算出方法、及び撮像方法 | |
JP6478703B2 (ja) | 撮像装置及び撮像システム | |
KR101429512B1 (ko) | 밴딩 노이즈 제거 장치 및 방법 | |
JP6581412B2 (ja) | 撮像装置 | |
US11252344B2 (en) | Method and system for generating multiple synchronized thermal video streams for automotive safety and driving systems | |
JP3882640B2 (ja) | 赤外線カメラ | |
JP7490939B2 (ja) | 撮像装置 | |
WO2023119751A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20240303864A1 (en) | Control system and control method | |
US9641765B2 (en) | Image capture device, image correction method, and image correction program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |