JP2011044813A - Imaging apparatus, correction value calculation method, and imaging method - Google Patents
Imaging apparatus, correction value calculation method, and imaging method Download PDFInfo
- Publication number
- JP2011044813A JP2011044813A JP2009190372A JP2009190372A JP2011044813A JP 2011044813 A JP2011044813 A JP 2011044813A JP 2009190372 A JP2009190372 A JP 2009190372A JP 2009190372 A JP2009190372 A JP 2009190372A JP 2011044813 A JP2011044813 A JP 2011044813A
- Authority
- JP
- Japan
- Prior art keywords
- correction value
- imaging
- value
- calculated
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像素子例えば赤外線撮像素子の出力輝度値を精度良く補正することができる撮像装置、撮像装置の補正値算出方法、及び撮像方法に関する。 The present invention relates to an imaging device capable of accurately correcting an output luminance value of an imaging device such as an infrared imaging device, a correction value calculation method for the imaging device, and an imaging method.
赤外線撮像装置では、レンズで集光された赤外光が、光電変換部で電気信号に変換されて、信号読出部を経て、AD変換器によりA/D変換して、デジタル信号として出力する。 In the infrared imaging device, infrared light collected by a lens is converted into an electric signal by a photoelectric conversion unit, A / D converted by an AD converter through a signal reading unit, and output as a digital signal.
光電変換部は行列状に配置されている赤外線センサによって構成される。赤外線センサは、赤外線領域の光(赤外線)を受光し電気信号に変換して、必要な情報を取り出すものである。従来の赤外線センサは、動作原理により大別すると、熱型と量子型の2種類に分けられる。 The photoelectric conversion unit is composed of infrared sensors arranged in a matrix. The infrared sensor receives light in the infrared region (infrared ray) and converts it into an electrical signal to extract necessary information. Conventional infrared sensors are roughly classified into two types: thermal type and quantum type.
熱型赤外線センサは、受光した赤外線によりセンサ自身の温度が上昇することを利用している。熱型赤外線センサには、熱起電力効果を原理としたサーモパイル、温度変化による電気抵抗の変化のボロメータなどがある。熱型赤外線センサは、動作の波長帯域が広く、室温動作が可能であるが、検出感度が低く、応答速度が遅いという欠点がある。 The thermal infrared sensor utilizes the fact that the temperature of the sensor itself increases due to the received infrared light. Thermal infrared sensors include thermopiles based on the thermoelectromotive force effect, and bolometers that change electrical resistance due to temperature changes. The thermal infrared sensor has a wide operating wavelength band and can be operated at room temperature, but has the disadvantages of low detection sensitivity and low response speed.
量子型赤外線センサは、固体材料が吸収した赤外線を直接電気信号に変換する光電効果を利用し、光エネルギーによって起こる光電流を検知するものであり、光電導型とも呼ばれている。フォトダイオード及びフォトトランジスタならびにフォトICなどがある。量子型赤外線センサは、検出感度が高く、応答速度に優れ、熱型センサより100〜1000倍の検出能力を持つが、検出感度に波長依存性があり、動作温度が低いために液体窒素などで冷却しなければ動作しないという欠点がある。また、前述の熱型に比べて高価である。 The quantum infrared sensor detects a photocurrent caused by light energy by using a photoelectric effect that directly converts infrared light absorbed by a solid material into an electrical signal, and is also called a photoconductive type. There are photodiodes, phototransistors, and photo ICs. Quantum infrared sensors have high detection sensitivity, excellent response speed, and a detection capability 100 to 1000 times that of thermal sensors, but the detection sensitivity is wavelength-dependent and the operating temperature is low, so liquid nitrogen There is a disadvantage that it does not work without cooling. Moreover, it is more expensive than the above-described thermal type.
いずれの種類の赤外線センサを用いる場合でも、赤外線センサの出力側(後段)には、それぞれ信号読出し回路を設置する必要がある。信号読出し回路は、赤外線センサで検出した信号を読み出して増幅するものである。また、複数の赤外線センサを用いる場合は、そのセンサの数だけ信号読出し回路を設けなければならない。 Regardless of which type of infrared sensor is used, it is necessary to install a signal readout circuit on the output side (rear stage) of the infrared sensor. The signal readout circuit reads out and amplifies the signal detected by the infrared sensor. In addition, when a plurality of infrared sensors are used, it is necessary to provide as many signal readout circuits as the number of sensors.
このような赤外線撮像装置は、赤外線センサの製造ばらつき、入射された光量や露光時間、印加された逆バイアス電圧、増幅器の製造ばらつきや温度などにより、画素ごとの信号出力にばらつきが生じる。これにより、映像に固定パターンノイズが重畳されてしまう。固定パターンノイズには、感度ばらつきに起因するゲイン成分と、明るさのばらつきによるオフセット成分とに大別できる。映像を正確に出力するために、同一の対象物の撮像データの輝度値が同一となるよう赤外線撮像装置の出力値を補正する必要がある。 Such an infrared imaging device has variations in signal output for each pixel due to manufacturing variations of infrared sensors, incident light quantity and exposure time, applied reverse bias voltage, amplifier manufacturing variations, temperature, and the like. As a result, fixed pattern noise is superimposed on the video. Fixed pattern noise can be broadly classified into gain components resulting from sensitivity variations and offset components resulting from variations in brightness. In order to output video accurately, it is necessary to correct the output value of the infrared imaging device so that the luminance values of the imaging data of the same object are the same.
斯かる問題を解決すべく、例えば非特許文献1では、撮像素子ごとに相違している感度のばらつき(非均一性)を補正する方法の代表例であるNUC(Non-Uniformity Correction)について開示されている。非特許文献1では、撮像素子の出力特性が線形であることを前提として、撮像素子ごとの所定の温度に対する出力値を補正するオフセット補正値、及び撮像素子ごとの所定の温度変化率に対する出力値の差異を補正するゲイン補正値を算出して、赤外線撮像装置からの出力値を補正している。
In order to solve such a problem, for example, Non-Patent
しかし、非特許文献1の2点補正方法では、異なる輝度の基準画像2枚を撮像し、該2枚の基準画像を利用して、撮像素子ごとにオフセット補正値及びゲイン補正値を算出するので、該2枚の基準画像ならびに各撮像素子のオフセット補正値及びゲイン補正値を保存するために、少なくとも画像データ4フレーム分のメモリが必要となる。このため、赤外線映像信号の画像処理には大量のメモリが必要であり、撮像装置全体のサイズが大型になり、コストが高くなり、改善策が要望されていた。
However, in the two-point correction method of Non-Patent
本発明は、斯かる事情に鑑みてなされたものであり、主たる目的は、撮像部で撮像された互いに異なる均一な輝度を有する2つの画像を2つのメモリにそれぞれ保存しておき、補正値を算出する際、両メモリから前記2つの画像を読み出して、これらの画像を用いてゲイン補正値(又はオフセット補正値)を算出して、一方のメモリに保存し、他方のメモリの画像及び算出された前記ゲイン補正値(又はオフセット補正値)を用いて、オフセット補正値(又はゲイン補正値)を算出するような構成とすることにより、少量のメモリでゲイン補正値及びオフセット補正値を算出し、複数の撮像素子の出力値を、同一の対象物に対しては略一致するように補正し、映像に重畳している固定パターンノイズを効果的に取り除くことができる撮像装置、撮像装置の補正値算出方法、及び撮像方法を提供することにある。なお、赤外線撮像に限られず、2点で出力値を補正できる各種の撮像に適用できる。 The present invention has been made in view of such circumstances, and a main object of the present invention is to store two images having different uniform luminances picked up by the image pickup unit in two memories, and set a correction value. At the time of calculation, the two images are read from both memories, a gain correction value (or offset correction value) is calculated using these images, stored in one memory, and an image of the other memory is calculated. By using the gain correction value (or offset correction value) and calculating the offset correction value (or gain correction value), the gain correction value and the offset correction value are calculated with a small amount of memory. An imaging device capable of correcting the output values of a plurality of imaging elements so as to substantially match the same object, and effectively removing fixed pattern noise superimposed on the video; And to provide the correction value calculation method of the image device, and the imaging method. Note that the present invention is not limited to infrared imaging, and can be applied to various imaging in which output values can be corrected at two points.
本発明の撮像装置は、複数の撮像素子を有する撮像部と、第1及び第2のメモリと、各撮像素子の感度ばらつきを補正するゲイン補正値及びオフセットばらつきを補正するオフセット補正値を、前記撮像素子ごとに算出する補正値算出部とを備え、前記撮像部は、撮像した第1及び第2の画像を、前記第1及び第2のメモリにそれぞれ保存し、前記補正値算出部は、前記第1及び第2のメモリから前記第1及び第2の画像を読み出し、該第1及び第2の画像を用いて前記ゲイン補正値(又はオフセット補正値)を算出して、前記第1のメモリに保存し、前記第2の画像及び算出された前記ゲイン補正値(又はオフセット補正値)を用いて、前記オフセット補正値(又はゲイン補正値)を算出するように構成してあることを特徴とする。 An imaging apparatus according to the present invention includes an imaging unit having a plurality of imaging elements, first and second memories, a gain correction value for correcting sensitivity variations of each imaging element, and an offset correction value for correcting offset variations. A correction value calculation unit that calculates for each imaging element, the imaging unit stores the captured first and second images in the first and second memories, respectively, and the correction value calculation unit includes: The first and second images are read from the first and second memories, the gain correction value (or offset correction value) is calculated using the first and second images, and the first and second images are calculated. The offset correction value (or gain correction value) is calculated using the second image and the calculated gain correction value (or offset correction value) stored in a memory. And
また、本発明の撮像装置は、前記補正値算出部は、算出された前記オフセット補正値(又はゲイン補正値)を前記第2のメモリに保存するように構成してあることを特徴とする。 In the imaging apparatus according to the present invention, the correction value calculation unit is configured to store the calculated offset correction value (or gain correction value) in the second memory.
また、本発明の撮像装置は、前記第1及び第2の画像それぞれに含まれる複数の画素の明るさに係る画素値の平均値である第1及び第2の基準値を算出する基準値算出部をさらに有し、前記補正値算出部は、前記第1及び第2の基準値を用いて、被撮像体の照度に対する前記撮像部の出力を示す出力特性の直線を確定し、前記撮像素子ごとの出力値が該直線と一致するように、前記ゲイン補正値及びオフセット補正値を算出するように構成してあることを特徴とする。 In addition, the imaging apparatus of the present invention calculates a reference value for calculating first and second reference values that are average values of pixel values related to the brightness of a plurality of pixels included in each of the first and second images. The correction value calculating unit determines a straight line of an output characteristic indicating an output of the imaging unit with respect to illuminance of the imaging target using the first and second reference values, and the imaging element The gain correction value and the offset correction value are calculated so that each output value coincides with the straight line.
また、本発明の撮像装置は、前記撮像部で撮像された画像に重畳しているランダムノイズを除去するランダムノイズ除去部をさらに有し、該ランダムノイズ除去部で前記第1及び第2の画像のランダムノイズを除去した後、前記第1及び第2のメモリに保存するように構成してあることを特徴とする。 The imaging apparatus of the present invention further includes a random noise removing unit that removes random noise superimposed on an image captured by the imaging unit, and the first and second images are removed by the random noise removing unit. After the random noise is removed, the random noise is stored in the first and second memories.
また、本発明の撮像装置は、前記撮像部は、前記第1及び第2の画像それぞれ複数フレーム分を撮像し、前記ランダムノイズ除去部は、画素毎に前記複数フレーム間での画素値の平均演算を行なうように構成してあることを特徴とする。 In the imaging apparatus of the present invention, the imaging unit captures a plurality of frames for each of the first and second images, and the random noise removal unit averages pixel values between the plurality of frames for each pixel. It is configured to perform an operation.
また、本発明の撮像装置は、前記複数フレーム間での画素値の平均演算を、移動平均またはIIRフィルタリングで行なうことを特徴とする。 The image pickup apparatus according to the present invention is characterized in that an average calculation of pixel values between the plurality of frames is performed by moving average or IIR filtering.
また、本発明の撮像装置は、前記撮像部は、前記第1及び第2の画像それぞれ複数フレーム分を撮像し、前記第1及び第2の画像それぞれの複数フレーム分について、フレームごとに画像に含まれる複数の画素の明るさに係る画素値の平均値をフレーム内平均値として算出するフレーム内平均値演算部と、前記フレーム内平均値演算部で算出された各フレームのフレーム内平均値を、前記第1及び第2の画像ごとに、前記複数フレーム間で平均してフレーム間平均値として算出するフレーム間平均値演算部と、前記第1及び第2の画像それぞれの複数フレーム分について、画素毎に該複数のフレーム間で画素値を平均して画素平均値として算出して、前記第1及び第2のメモリに保存する画素平均値演算部とをさらに有し、前記補正値算出部は、前記第1及び第2の画像のフレーム間平均値を用いて、被撮像体の照度に対する前記撮像部の出力を示す出力特性の直線を確定し、前記撮像素子ごとの出力値が該直線と一致するように、前記第1及び第2の画像の画素平均値に基づいて、前記ゲイン補正値及びオフセット補正値を算出するように構成してあることを特徴とする。 In the imaging apparatus of the present invention, the imaging unit captures a plurality of frames for each of the first and second images, and converts the plurality of frames for each of the first and second images into an image for each frame. An intra-frame average value calculating unit that calculates an average value of pixel values related to the brightness of a plurality of pixels included as an intra-frame average value, and an intra-frame average value of each frame calculated by the intra-frame average value calculating unit. For each of the first and second images, an inter-frame average value calculation unit that calculates an average between the plurality of frames and calculates an average value between the frames, and a plurality of frames of the first and second images, respectively. A pixel average value calculation unit that averages pixel values between the plurality of frames for each pixel, calculates the pixel average value, and stores the average value in the first and second memories; Then, using the average value between the frames of the first and second images, a straight line of output characteristics indicating the output of the imaging unit with respect to the illuminance of the imaging target is determined, and the output value for each imaging element is The gain correction value and the offset correction value are calculated based on pixel average values of the first and second images so as to match.
また、本発明の撮像装置は、前記フレーム間平均値演算部及び/または前記画素平均値演算部は、移動平均またはIIRフィルタリングを利用して平均演算を行なうことを特徴とする。 Further, the imaging apparatus of the present invention is characterized in that the inter-frame average value calculation unit and / or the pixel average value calculation unit performs an average calculation using moving average or IIR filtering.
また、本発明の撮像装置は、前記オフセット補正値及びゲイン補正値により撮像素子ごとに出力値を補正するNUC処理部をさらに備えることを特徴とする。 The image pickup apparatus according to the present invention further includes a NUC processing unit that corrects an output value for each image pickup device using the offset correction value and the gain correction value.
また、本発明の撮像装置は、前記撮像素子は赤外線撮像素子であることを特徴とする。 In the imaging apparatus of the present invention, the imaging element is an infrared imaging element.
本発明の補正値算出方法は、複数の撮像素子を有する撮像部と、該撮像部が撮像した画像を保存する第1及び第2のメモリとを備える撮像装置に、各撮像素子の感度ばらつきを補正するゲイン補正値及びオフセットばらつきを補正するオフセット補正値を、前記撮像素子ごとに算出する補正値算出方法において、前記撮像部は、互いに異なる均一な照度を有する2つの被撮像体を撮像して第1及び第2の画像を取得する撮像ステップと、該第1及び第2の画像を前記第1及び第2のメモリにそれぞれ保存する保存ステップと、前記第1及び第2のメモリから前記第1及び第2の画像を読み出して、該第1及び第2の画像を用いて前記ゲイン補正値(又はオフセット補正値)を算出して、前記第1のメモリに保存する第1の算出ステップと、前記第2の画像及び算出された前記ゲイン補正値(又はオフセット補正値)を用いて、前記オフセット補正値(又はゲイン補正値)を算出する第2の算出ステップとを含むことを特徴とする。 According to the correction value calculation method of the present invention, an imaging device including an imaging unit having a plurality of imaging devices and first and second memories that store images captured by the imaging unit has a sensitivity variation of each imaging device. In the correction value calculation method for calculating the gain correction value to be corrected and the offset correction value for correcting the offset variation for each of the image sensors, the imaging unit images two objects to be imaged having different uniform illuminances. An imaging step for acquiring the first and second images, a storage step for storing the first and second images in the first and second memories, respectively, and the first and second memories from the first and second memories. A first calculation step of reading the first and second images, calculating the gain correction value (or offset correction value) using the first and second images, and storing the gain correction value (or offset correction value) in the first memory; ,in front Using said gain correction value second image and the calculated (or offset correction value), characterized in that it comprises a second calculation step of calculating the offset correction value (or gain correction value).
また、本発明の補正値算出方法は、前記第2の算出ステップは、算出された前記オフセット補正値(又はゲイン補正値)を前記第2のメモリに保存することを特徴とする。 In the correction value calculation method of the present invention, the second calculation step stores the calculated offset correction value (or gain correction value) in the second memory.
本発明の撮像方法は、複数の撮像素子を有する撮像部を備える撮像装置に用いられる撮像方法において、前述した補正値算出方法で算出されたオフセット補正値及びゲイン補正値により、前記撮像素子ごとの出力値を補正して出力することを特徴とする。 The imaging method according to the present invention is an imaging method used in an imaging apparatus including an imaging unit having a plurality of imaging elements. The offset correction value and the gain correction value calculated by the correction value calculation method described above are used for each imaging element. The output value is corrected and output.
本発明にあっては、互いに異なる均一な照度を有する2つの被撮像体を撮像して得た明暗2種類の一様な第1及び第2の画像を用いて、撮像素子ごとのゲイン補正値(又はオフセット補正値)を算出し、前記第2の画像ならびに算出されたゲイン補正値(又はオフセット補正値)を用いて、前記オフセット補正値(又はゲイン補正値)を算出することができる。また、補正値の算出処理では、ゲイン補正値(又はオフセット補正値)を算出した後、第1の画像の画素値は不要になり、かつ該算出されたゲイン補正値(又はオフセット補正値)とデータを保存するタイミングが時間的に重ならないことを利用して、メモリを共用し、算出処理では画像データ3フレーム分のメモリで十分であり、必要となるメモリを大幅に削減することが可能となる。 In the present invention, the gain correction value for each image sensor is obtained by using two types of light and dark uniform first and second images obtained by imaging two imaging objects having uniform illuminances different from each other. (Or an offset correction value) is calculated, and the offset correction value (or gain correction value) can be calculated using the second image and the calculated gain correction value (or offset correction value). Further, in the correction value calculation process, after calculating the gain correction value (or offset correction value), the pixel value of the first image becomes unnecessary, and the calculated gain correction value (or offset correction value) and Taking advantage of the fact that the timing to save data does not overlap in time, the memory is shared, and the memory for 3 frames of image data is sufficient for the calculation process, and the required memory can be greatly reduced. Become.
本発明にあっては、補正値の算出処理では、第2の画像の画素値と算出された前記オフセット補正値(又はゲイン補正値)は、データを保存するタイミングが時間的に重ならないことを利用して、メモリを共用し、算出処理では画像データ2フレーム分のメモリで十分であり、必要となるメモリをさらに削減することが可能となる。 According to the present invention, in the correction value calculation processing, the pixel value of the second image and the calculated offset correction value (or gain correction value) indicate that the timing for storing data does not overlap in time. By utilizing the memory, the memory for two frames of image data is sufficient for the calculation process, and the required memory can be further reduced.
本発明にあっては、2点非均一性補正方法を利用し、被撮像体の照度に対する各撮像素子の出力値の平均値、すなわち平均出力特性を、第1及び第2の基準値で確定された直線に近似し、該直線で撮像素子ごとのゲイン補正値及びオフセット補正値を算出する。これにより、各撮像素子のゲイン補正値及びオフセット補正値を、簡便かつ高精度に算出することができる。 In the present invention, using the two-point non-uniformity correction method, the average value of the output values of each image sensor with respect to the illuminance of the imaging target, that is, the average output characteristic is determined by the first and second reference values. The gain correction value and the offset correction value for each image sensor are calculated using the straight line. Thereby, the gain correction value and offset correction value of each image sensor can be calculated easily and with high accuracy.
本発明にあっては、前記第1及び第2の画像は、画像に重畳しているランダムノイズが除去された後、ゲイン補正値及びオフセット補正値の算出処理に供給される。これにより、各撮像素子のゲイン補正値及びオフセット補正値はいっそう高精度に算出される。 In the present invention, the first and second images are supplied to the gain correction value and offset correction value calculation processing after the random noise superimposed on the image is removed. Thereby, the gain correction value and the offset correction value of each image sensor are calculated with higher accuracy.
本発明にあっては、ランダムノイズの分布の時間的な不規則性を利用して、画素毎のフレーム間平均演算でランダムノイズを効果的に除去することができる。 In the present invention, random noise can be effectively removed by interframe average calculation for each pixel by using temporal irregularity of the distribution of random noise.
本発明にあっては、移動平均またはIIRフィルタリングで画素値のフレーム間平均演算を行なう。特に、IIRフィルタリングにおいては、過去フレームの画素値を保存するメモリが不要となり、かつ、加算とビットシフトのみの簡易な演算回路で効果的にランダムノイズを除去することが可能となる。 In the present invention, inter-frame average calculation of pixel values is performed by moving average or IIR filtering. In particular, in IIR filtering, a memory for storing pixel values of past frames is not required, and random noise can be effectively removed with a simple arithmetic circuit only for addition and bit shift.
本発明にあっては、前記2つの被撮像体の明暗2種類の一様な第1及び第2の映像を撮像し、フレーム内平均演算及びフレーム間平均演算を行なうことで、ランダムノイズが効果的に除去されたフレーム間平均値を算出し、画素毎のフレーム間平均演算を行なうことで、ランダムノイズが効果的に除去された第1及び第2の画像を取得する。そして、2点非均一性補正方法を利用して撮像素子ごとのゲイン補正値及びオフセット補正値を算出する。これにより、各撮像素子のゲイン補正値及びオフセット補正値を、簡便かつ高精度に算出することができる。 In the present invention, random noise is effective by capturing two types of bright and dark uniform first and second images of the two imaging objects and performing an intra-frame average calculation and an inter-frame average calculation. The first and second images from which random noise has been effectively removed are obtained by calculating an average value between frames that has been removed and performing an average calculation between frames for each pixel. Then, a gain correction value and an offset correction value for each image sensor are calculated using a two-point non-uniformity correction method. Thereby, the gain correction value and offset correction value of each image sensor can be calculated easily and with high accuracy.
本発明にあっては、移動平均またはIIRフィルタリングでフレーム間平均演算及び/または画素毎のフレーム間平均演算を行なう。特に、IIRフィルタリングにおいては、過去フレームの画素値を保存するメモリが不要となり、加算とビットシフトのみの簡易な演算回路でランダムノイズ除去部を構成することが可能となる。 In the present invention, the interframe average calculation and / or the interframe average calculation for each pixel is performed by moving average or IIR filtering. In particular, in IIR filtering, a memory for storing pixel values of past frames is not required, and a random noise removal unit can be configured with a simple arithmetic circuit only for addition and bit shift.
本発明にあっては、NUC処理部で映像に重畳している固定パターンノイズを取り除く処理を行ない、クリアな映像を作製・表示することが可能となる。 In the present invention, it is possible to produce and display a clear video by performing a process of removing fixed pattern noise superimposed on the video by the NUC processing unit.
本発明にあっては、赤外線素子の製造ばらつき、動作環境のばらつきなどによるゲイン補正値及びオフセット補正値を、少量のメモリで算出し、算出されたゲイン補正値及びオフセット補正値で複数の赤外線撮像素子の出力値を、同一の対象物に対しては略一致するように補正し、映像に重畳している固定パターンノイズを効果的に取り除くことができる。 In the present invention, gain correction values and offset correction values due to manufacturing variations of infrared elements, operating environment variations, and the like are calculated with a small amount of memory, and a plurality of infrared imaging is performed with the calculated gain correction values and offset correction values. The output value of the element can be corrected so as to substantially match the same object, and fixed pattern noise superimposed on the video can be effectively removed.
本発明にあっては、本発明の補正値算出方法で算出されたゲイン補正値及びオフセット補正値で、複数の撮像素子の出力値を、同一の対象物に対しては略一致するように補正する撮像方法を提供できる。 In the present invention, the output correction values of a plurality of image sensors are corrected so as to substantially match the same object with the gain correction value and the offset correction value calculated by the correction value calculation method of the present invention. An imaging method can be provided.
本発明によれば、補正値の算出処理でメモリを共用することによって、算出処理で必要となるメモリを大幅に削減することが可能となる。さらに、撮像装置全体のサイズが小型になり、コストが抑えられる。 According to the present invention, the memory required for the calculation process can be greatly reduced by sharing the memory for the correction value calculation process. Furthermore, the overall size of the imaging apparatus is reduced, and the cost can be reduced.
以下に、本発明をその実施の形態を示す図面に基づいて詳述する。
(実施形態1)
図1は、本発明の実施形態1に係る赤外線撮像装置1の構成を示すブロック図である。なお、本実施形態に係る赤外線撮像装置1は、VOxやアモルファスシリコンなどボロメータ型、SOIダイオードやサーモパイルなどを用いた非冷却型の8〜12μmに感度帯域を持つ遠赤外線撮像素子、InGaAsなどを受光面に採用した1.0〜3.0μmに感度帯域を持つ近赤外線撮像素子などを用いる。
Hereinafter, the present invention will be described in detail with reference to the drawings illustrating embodiments thereof.
(Embodiment 1)
FIG. 1 is a block diagram showing a configuration of an
図1において、赤外線撮像装置1は、画像撮像部11、信号処理部12、通信インタフェース部13を備えている。画像撮像部11は、光学信号を電気信号に変換する撮像素子をマトリックス状に備えている。画像撮像部11は、周囲の赤外線光像を輝度信号として読み取り、読み取った輝度信号を信号処理部12へ送信する。なお、撮像素子は、1次元アレイ状に配置されてもよい。
In FIG. 1, the
信号処理部12は、LSIなどで構成され、画像撮像部11から入力された輝度信号をデジタル信号に変換し、撮像素子のばらつきを補正する処理、撮像素子の出力値(輝度信号)を算出する処理、欠陥素子の補正処理、ゲイン制御処理等を行う。処理された映像データは、通信インタフェース部13を介して外部の記憶装置、表示装置などへ出力される。
The
図2は、本発明の実施形態1に係る赤外線撮像装置1の信号処理部12の構成を示すブロック図である。信号処理部12は、一又は複数のLSI等の演算手段により動作が制御されるA/D変換部121、NUC(Non-Uniformity Correction)処理部122、補正値算出部123、及びフラッシュメモリ等の不揮発性メモリ、SRAM等の一時記憶用メモリであるメモリ部124で構成されている。
FIG. 2 is a block diagram illustrating a configuration of the
信号処理部12は、画像撮像部11から受信した輝度信号をA/D変換部121でデジタル信号に変換してNUC処理部122に出力する。NUC処理部122は、補正値算出部123によってあらかじめ算出されメモリ部124に保存されている補正値で撮像素子ごとに出力された輝度信号を補正する。
The
補正値算出部123では、輝度信号に重畳している固定パターンノイズを除去するために、キャリブレーションによる補正係数として、撮像素子ごとに所定の照度に対して出力される輝度値を補正するオフセット補正値、及び撮像素子ごとに所定の照度変化分に対して出力される輝度値の変動分を補正するゲイン補正値を算出して、メモリ部124に保存する。
The correction
メモリ部124は、撮像素子ごとのゲイン補正値を保存するためのメモリP2と、撮像素子ごとのオフセット補正値を保存するためのメモリP1と、後述の補正値算出処理に用いられる2つの基準値を保存するための基準値メモリA2、A1に割り当てる。なお、メモリP2、P1は、後記の補正値算出処理において、画像撮像部1で撮像された2枚の画像を一時退避するために用いられる。なお、メモリP2、P1はフレームメモリであり、基準値メモリA2、A1は画素メモリ、メモリP2、P1に対して、基準値メモリA2、A2は無視できるほどである。
The
NUC処理部122は、画像撮像部11から入力されA/D変換部121で変換された輝度信号が入力されると、メモリP2に保存されているゲイン補正値及びメモリP1に保存されているオフセット補正値を利用して、輝度信号を補正する。例えばN行M列のマトリックス状に配列された撮像素子(i,j)の輝度値をVijとした場合、NUC処理部122では数1に示す演算を行うことにより撮像素子ごとの輝度値Vijを出力輝度値Vij'へ補正する。
When the luminance signal input from the
但し、Gijはゲイン補正値を、Oijはオフセット補正値を示している。 Here, G ij represents a gain correction value, and O ij represents an offset correction value.
本実施形態1では、2点非均一性補正方法を利用し、撮像素子の出力特性が線形であることを前提として、例えば黒体炉及びシャッターの均一かつ互いに異なる照度を有する2つの被撮像体を撮像して明暗2種類の一様な画像を取得し、その出力特性の傾きを線形近似し、各撮像素子の傾き及び撮像素子全体の平均傾きを算出し、撮像素子ごとに傾きが平均傾きと同一になるようにゲイン補正値を算出する。ゲイン補正値が算出されると、基準照度下の各撮像素子の輝度値の平均である基準輝度値を算出し、撮像素子ごとに、感度ばらつきを考慮して輝度値と前記基準輝度値との差分をオフセット補正値として算出する。 In the first embodiment, two imaging objects having uniform and different illuminances of a black body furnace and a shutter are used, for example, on the assumption that the output characteristics of the imaging element are linear using a two-point non-uniformity correction method. To obtain two uniform images of brightness and darkness, linearly approximate the slope of its output characteristics, calculate the tilt of each image sensor and the average tilt of the entire image sensor, and the tilt of each image sensor is the average tilt The gain correction value is calculated so as to be the same. When the gain correction value is calculated, a reference luminance value that is an average of the luminance values of the respective image sensors under the reference illuminance is calculated, and for each image sensor, the luminance value and the reference luminance value are considered in consideration of sensitivity variation. The difference is calculated as an offset correction value.
図6は照度に対する赤外線撮像素子の出力を示す説明図である。図6において、横軸は照度であり、縦軸は撮像素子の出力の輝度である。図6中、直線S1〜S3は、2次元アレイにおける3つの撮像素子それぞれの出力特性を線形近似したものであり、照度eに対する各撮像素子の出力である出力特性を、直線で表している。各撮像素子のオフセット及び感度のばらつき等により、同一の照度に対する出力は、撮像素子毎に異なる場合がある。また、照度eの変動分により撮像素子の出力の変動分、即ちゲインは、ほぼ線形な特性を有し、傾きで表すことができる。したがって、照度eH と照度eL での、撮像素子の出力の平均値バーV(eH )、バーV(eL )を算出すると、撮像素子全体の平均出力特性を表す直線を確定することが可能となる。該直線の傾きで各撮像素子の出力を補正することで、感度ばらつきの除去が実現される。具体的には、以下の数2に従って撮像素子ごとのゲイン補正値Gijを算出する。 FIG. 6 is an explanatory diagram showing the output of the infrared imaging device with respect to the illuminance. In FIG. 6, the horizontal axis represents illuminance, and the vertical axis represents the output luminance of the image sensor. In FIG. 6, straight lines S <b> 1 to S <b> 3 are linear approximations of the output characteristics of the three image sensors in the two-dimensional array, and output characteristics that are outputs of the image sensors with respect to the illuminance e are represented by straight lines. The output for the same illuminance may differ from one image sensor to another due to variations in offset and sensitivity of each image sensor. Further, the fluctuation of the output of the image sensor, that is, the gain due to the fluctuation of the illuminance e has a substantially linear characteristic and can be expressed by a slope. Therefore, when the average value V (e H ) and bar V (e L ) of the output of the image sensor at the illuminance e H and the illuminance e L are calculated, a straight line representing the average output characteristic of the entire image sensor is determined. Is possible. By correcting the output of each image sensor with the inclination of the straight line, it is possible to eliminate sensitivity variations. Specifically, the gain correction value G ij for each image sensor is calculated according to the following formula 2.
但し、Vij(e)は撮像素子(i,j)の照度eでの出力値を示している。 However, V ij (e) indicates an output value at the illuminance e of the image sensor (i, j).
また、撮像素子ごとのオフセット補正値Oijは、ゲイン補正値Gijが算出された後、例えば照度eL を基準照度として、感度ばらつきを考慮して撮像素子の出力平均値バーV(eL )との差分として、以下の数3に従って算出することができる。
図3は、本実施形態1に係る補正値算出部123の構成を示すブロック図である。図5は、本実施形態1に係る補正値算出処理の手順を示すフローチャートである。以下、図3、図5に基づいて本実施形態1の補正値算出処理を詳しく説明する。
FIG. 3 is a block diagram illustrating a configuration of the correction
補正値算出部123は、図3に示すように、ランダムノイズ除去部231、基準値算出部232、オフセット補正値算出部233、ゲイン補正値算出部234を備える。補正値を算出する際、まず、画像撮像部11は略均一の第1照度eH を有する被撮像体を撮像して、第1輝度の第1の映像を取得する(ステップS501)。取得された第1の映像はA/D変換部121でデジタル信号に変換されて(ステップS502)、ランダムノイズ除去部231へ出力される。ランダムノイズ除去部231は、A/D変換された第1の映像から数フレーム例えばnフレームを抽出して、画素ごとのフレーム間平均演算により、画素ごとに個別に該nフレーム分の輝度平均値を計算する(ステップS503)。例えば、ランダムノイズ除去部231では数4に示す演算を行うことにより、第1照度eH 下の第1の映像に対して、画素即ち撮像素子ごとに、輝度値Vij(eH )からフレーム間平均値バーVij(eH )を算出する。これにより、ランダムノイズを除去することが可能となる。
As illustrated in FIG. 3, the correction
但し、Vijf(e)は照度eで、第fフレームの画素(i,j)の値を示している。 Here, V ijf (e) is the illuminance e and indicates the value of the pixel (i, j) in the f-th frame.
また、平均値の計算ではなく、移動平均やIIR(Infinite Impulse Response,無限インパルス応答)フィルタを用いて計算を行ってもよい。特に、IIRフィルタを用いると過去フレームの輝度値を保存するメモリが不要となり、かつ、加算とビットシフトのみの簡易な演算回路で効果的にランダムノイズを除去することが可能となる。 Further, instead of calculating the average value, the calculation may be performed using a moving average or an IIR (Infinite Impulse Response) filter. In particular, when the IIR filter is used, a memory for storing the luminance value of the past frame is not required, and random noise can be effectively removed with a simple arithmetic circuit only for addition and bit shift.
算出された画素ごとのフレーム間平均値バーVij(eH )は、メモリP1に保存されるとともに、基準値算出部232へ出力される。基準値算出部232は、数5に示すフレーム内平均演算により、該入力された画素ごとのフレーム間平均値バーVij(eH )から1フレーム(1画面)の全ての画素の平均値を、第1照度eH 下の撮像素子の出力の基準値である第1の基準輝度値VH として算出する(ステップS504)。算出された第1の基準輝度値VH は基準値メモリA1に保存される。
The calculated inter-frame average value bar V ij (e H ) for each pixel is stored in the
次に、画像撮像部11は、略均一の前記第1照度eH より低い第2照度eL を有する被撮像体を撮像し、第2輝度の第2の映像を取得する(ステップS505)。取得された第2の映像はA/D変換部121でデジタル信号に変換して(ステップS506)、ランダムノイズ除去部231へ出力する。ランダムノイズ除去部231は、A/D変換された第2の映像に対して、上述の第1の映像と同様に、画素ごとに輝度のフレーム間平均値バーVij(eL )を算出し、メモリP2に保存する(ステップS507)とともに、基準値算出部232へ出力する。基準値算出部232は、数5に示すフレーム内平均演算により、該入力された画素ごとのフレーム間平均値バーVij(eL )から、1フレーム(1画面)の全ての画素の平均値を、第2照度eL 下の撮像素子の出力の基準値である第2の基準輝度値VL として算出する(ステップS508)。算出された第2の基準輝度値VL は基準値メモリA2に保存される。
Next,
そして、ゲイン補正値算出部234は、画素ごとにメモリP1、P2から画素のフレーム間平均値を読み出して、基準値メモリA1、A2から第1及び第2の基準輝度値VH 、VL を読出し、これらの値を用いてゲイン補正値を計算する(ステップS509)。例えば、画素(i,j)についてゲイン補正値を算出する場合、ゲイン補正値算出部234は、基準値メモリA1、A2から第1及び第2の基準輝度値VH 、VL を読出し、メモリP1、P2から画素(i,j)のフレーム間平均値バーVij(eH )、バーVij(eL )を読み出して、数6に従って該画素(i,j)についてのゲイン補正値Gijを算出する。
Then, the gain correction
なお、前述のように、撮像素子ごとのオフセット補正値Oijは、ゲイン補正値Gijが算出されると、例えば照度eL を基準照度として、感度ばらつきを考慮して基準輝度値VL との差分として算出される。つまり、ゲイン補正値Gijが算出されると、第1の映像の画素ごとのフレーム間平均値バーVij(eH )は不必要になる。したがって、ゲイン補正値Gijが算出されると、第1の映像の画素ごとのフレーム間平均値バーVij(eH )を廃棄して、ゲイン補正値GijをメモリP1に保存することができる。 As described above, when the gain correction value G ij is calculated, the offset correction value O ij for each image sensor is, for example, the illuminance e L as the reference illuminance and the reference luminance value V L in consideration of sensitivity variations. Is calculated as the difference between That is, when the gain correction value G ij is calculated, the inter-frame average value bar V ij (e H ) for each pixel of the first video becomes unnecessary. Therefore, when the gain correction value G ij is calculated, the interframe average value bar V ij (e H ) for each pixel of the first video is discarded, and the gain correction value G ij can be stored in the memory P1. it can.
次に、オフセット補正値算出部233は、画素ごとにメモリP1からゲイン補正値、メモリP2から画素のフレーム間平均値を読み出して、基準値メモリA2から第2の基準輝度値VL を読出し、オフセット補正値を計算する(ステップS510)。例えば、画素(i,j)についてオフセット補正値を計算する場合、オフセット補正値算出部233は、メモリP1から画素(i,j)のゲイン補正値Gij、メモリP2から画素(i,j)のフレーム間平均値バーVij(eL )、基準値メモリA2から第2の基準輝度値VL を読み出して、数7に従って該画素(i,j)についてのオフセット補正値Oijを算出する。
Next, the offset correction
なお、オフセット補正値Oijが算出されると、メモリP2に保存されている第2の映像の画素ごとのフレーム間平均値バーVij(eL )は不必要になる。したがって、オフセット補正値OijをメモリP2に保存する。 When the offset correction value O ij is calculated, the inter-frame average bar V ij (e L ) for each pixel of the second video stored in the memory P2 becomes unnecessary. Therefore, the offset correction value O ij is stored in the memory P2.
以上のように算出されたオフセット補正値及びゲイン補正値は、メモリ部124に保存されておき、実際の撮像時には、NUC処理部122は、保存されてあるオフセット補正値及びゲイン補正値に基づいて撮像素子ごとに出力された輝度信号を補正する。
The offset correction value and gain correction value calculated as described above are stored in the
以下、実際の撮像時に、本実施形態1に係る赤外線撮像装置1の信号処理部12での出力された輝度信号(出力値)の補正処理について説明する。図4は、本実施形態1に係る信号処理部12による補正処理の手順を示すフローチャートである。
Hereinafter, correction processing of the luminance signal (output value) output by the
赤外線撮像装置1の画像撮像部11は、被撮像体を撮像し、撮像素子ごとの出力値が信号処理部12へ送信される。信号処理部12は、画像撮像部11から撮像素子ごとの輝度信号を受信し(ステップS401)、デジタル信号Vijへ変換する(ステップS402)。
The
信号処理部12は、メモリ部124に保存してあるオフセット補正値及びゲイン補正値を読み出して(ステップS403)、画像撮像部11で撮像された輝度信号を補正する(ステップS404)。補正された輝度信号は出力輝度値Vij'として外部へ出力する(ステップS405)。
The
以上のように本実施形態1によれば、異なる輝度を有する2種の基準画像に基づいて、撮像素子ごとのゲイン(感度)補正値及びオフセット補正値を算出する。この算出結果を用いて、映像に重畳している固定パターンノイズ(ゲイン成分やオフセット成分)を取り除くNUC処理を行ない、クリアな映像を作製・表示することが可能となる。 As described above, according to the first embodiment, a gain (sensitivity) correction value and an offset correction value for each image sensor are calculated based on two types of reference images having different luminances. Using this calculation result, it is possible to perform a NUC process for removing fixed pattern noise (a gain component and an offset component) superimposed on the video, and to create and display a clear video.
また、ゲイン補正値及びオフセット補正値を算出する処理では、2種の基準画像の画素ごとの輝度値ならびにゲイン補正値及びオフセット補正値は、データを保存するタイミングが時間的に重ならないため、メモリを共用することが可能であることを利用して、算出処理で必要となるメモリを大幅に削減することが可能となる。 Further, in the process of calculating the gain correction value and the offset correction value, the luminance value for each pixel of the two types of reference images, the gain correction value, and the offset correction value are stored in the memory because the data storage timing does not overlap in time. It is possible to significantly reduce the memory required for the calculation process by utilizing the fact that it is possible to share the memory.
(実施形態2)
以下、本発明の実施形態2に係る赤外線撮像装置について、図面を参照しながら詳細に説明する。実施形態2に係る赤外線撮像装置は、補正値算出部125の構成が実施形態1と相違する。それ以外は、本実施形態2に係る撮像装置は実施形態1に係る撮像装置と同様に構成されているため、説明は省略する。
(Embodiment 2)
Hereinafter, an infrared imaging device according to Embodiment 2 of the present invention will be described in detail with reference to the drawings. In the infrared imaging device according to the second embodiment, the configuration of the correction
図7は、本実施形態2に係る補正値算出部125の構成を示すブロック図である。図8は、本実施形態2に係る補正値算出処理の手順を示すフローチャートである。以下、図7、図8に基づいて本実施形態2の補正値算出処理を詳しく説明する。補正値算出部125は、図7に示すように、フレーム内平均演算部251、フレーム間平均演算部252、画素平均値演算部255、オフセット補正値算出部253、ゲイン補正値算出部254を備える。補正値を算出する際、まず、画像撮像部11は略均一の第1照度eH を有する被撮像体を撮像して第1輝度の第1の映像を取得する(ステップS801)。取得された第1の映像はA/D変換部121でデジタル信号に変換されて(ステップS802)、フレーム内平均演算部251及び画素平均値演算部255へ出力される。フレーム内平均演算部251は、A/D変換された第1の映像から数フレーム例えばnフレームを抽出し、各フレームについて、数8によるフレーム内平均演算を実行することで、各フレームの平均輝度値バーVf (eH )を算出し、フレーム間平均演算部252へ出力する(ステップS803)。
FIG. 7 is a block diagram illustrating a configuration of the correction
フレーム間平均演算部252は、数9に示すフレーム間平均演算により、各フレームの平均輝度値をnフレーム間で平均して、第1照度eH 下の撮像素子の出力の基準値である第1の基準輝度値VH として算出する(ステップS804)。算出された基準輝度値VH は基準値メモリA1に保存される。
The inter-frame
また、画素平均値演算部255は、前記第1の映像のnフレームについて、画素ごとのフレーム間平均演算により、画素ごと個別に該nフレーム分の輝度平均値を計算する。例えば、数4による演算で、第1照度eH 下の第1の映像に対して、画素即ち撮像素子ごとにフレーム間平均値バーVij(eH )を算出する。算出されたバーVij(eH )は、メモリP1に保存される(ステップS805)。
Also, the pixel average
次に、画像撮像部11は、略均一の前記第1照度eH より低い第2照度eL を有する被撮像体を撮像し、第2輝度の第2の映像を取得する(ステップS806)。取得された第2の映像はA/D変換部121でデジタル信号に変換して(ステップS807)、フレーム内平均演算部251及び画素平均値演算部255へ出力される。フレーム内平均演算部251は、A/D変換された第2の映像に対して、上述の第1の映像と同様に、nフレーム分のフレーム内平均値を算出して、フレーム間平均演算部252へ出力する(ステップS808)。フレーム間平均演算部252は、nフレームの平均値を、第2照度eL 下の撮像素子の出力の基準値である第2の基準輝度値VL として算出して、基準値メモリA2に保存する(ステップS809)。また、画素平均値演算部255は、前記第2の映像のnフレームに対して、画素ごとにフレーム間平均値バーVij(eL )を算出し、メモリP2に保存する(ステップS810)
Next,
これにより、本実施形態2の補正値算出部125は上記の実施形態1の補正値算出部123と同様に、映像に重畳しているランダムノイズを除去することが可能となる。また、平均値の計算ではなく、移動平均やIIRフィルタを用いて計算を行ってもよい。
As a result, the correction
次に、ゲイン補正値及びオフセット補正値の算出処理について説明する。本実施形態2のオフセット補正値算出部253及びゲイン補正値算出部254の算出動作は、上記実施形態1のオフセット補正値算出部233及びゲイン補正値算出部234の算出動作と同様である。まず、ゲイン補正値算出部234は、画素ごとにメモリP1、P1から画素のフレーム間平均値を読み出して、基準値メモリA1、A2から第1及び第2の基準輝度値VH 、VL を読出し、数6に従ってゲイン補正値Gijを算出して、メモリP1に保存する(ステップS811)。次に、オフセット補正値算出部253は、画素ごとにメモリP1からゲイン補正値、メモリP2から画素のフレーム間平均値を読み出して、基準値メモリA2から第2の基準輝度値VL を読出し、数7に従ってオフセット補正値Oijを算出して、メモリP2に保存する(ステップS812)。
Next, gain correction value and offset correction value calculation processing will be described. The calculation operations of the offset correction
これにより、本実施形態2の補正値算出部125は上記実施形態1の補正値算出部123と同様に、異なる輝度を有する2種の基準画像に基づいて、撮像素子ごとのゲイン(感度)補正値及びオフセット補正値を算出する。この算出結果を用いて、映像に重畳している固定パターンノイズを取り除くNUC処理を行ない、クリアな映像を作製・表示することが可能となる。
Accordingly, the correction
また、ゲイン補正値及びオフセット補正値を算出する処理では、2種の基準画像の画素ごとの輝度値ならびにゲイン補正値及びオフセット補正値は、データを保存するタイミングが時間的に重ならないため、メモリを共用することが可能であることを利用して、算出処理で必要となるメモリを大幅に削減することが可能となる。 Further, in the process of calculating the gain correction value and the offset correction value, the luminance value for each pixel of the two types of reference images, the gain correction value, and the offset correction value are stored in the memory because the data storage timing does not overlap in time. It is possible to significantly reduce the memory required for the calculation process by utilizing the fact that it is possible to share the memory.
(実施形態3)
以下、本発明の実施形態3に係る赤外線撮像装置について、図面を参照しながら詳細に説明する。実施形態3に係る赤外線撮像装置は、補正値算出部126の構成が実施形態1と相違する。それ以外は、本実施形態3に係る撮像装置は実施形態1に係る撮像装置と同様に構成されているため、説明は省略する。
(Embodiment 3)
Hereinafter, an infrared imaging device according to Embodiment 3 of the present invention will be described in detail with reference to the drawings. The infrared imaging device according to the third embodiment is different from the first embodiment in the configuration of the correction
図9は、本実施形態3に係る補正値算出部126の構成を示すブロック図である。図10は、本実施形態3に係る補正値算出処理の手順を示すフローチャートである。以下、図9、図10に基づいて本実施形態3の補正値算出処理を詳しく説明する。補正値算出部126は、図9に示すように、ランダムノイズ除去部261、基準値算出部262、オフセット補正値算出部263、ゲイン補正値算出部264を備える。本実施形態3のランダムノイズ除去部261、基準値算出部262の構成及び動作は、上記実施形態1のランダムノイズ除去部231、基準値算出部232と同様である。補正値を算出する際、まず、画像撮像部11は略均一の第1照度eH を有する被撮像体を撮像して第1輝度の第1の映像を取得する(ステップS1001)。取得された第1の映像はA/D変換部121でデジタル信号に変換されて(ステップS1002)、ランダムノイズ除去部261へ出力される。ランダムノイズ除去部261は、A/D変換された第1の映像から数フレーム例えばnフレームを抽出し、数4に示すフレーム間平均演算により、画素ごとに個別に該nフレーム分のフレーム間平均値バーVij(eH )を算出し、メモリP1に保存するとともに、基準値算出部262へ出力する(ステップS1003)。これにより、ランダムノイズを除去することが可能となる。
FIG. 9 is a block diagram illustrating a configuration of the correction
次に、基準値算出部262は、数5に示すフレーム内平均演算により、該入力された画素ごとのフレーム間平均値バーVij(eH )から1フレーム(1画面)の全ての画素の平均値を、第1照度eH 下の撮像素子の出力の基準値である第1の基準輝度値VH として算出する(ステップS1004)。算出された基準輝度値VH は基準値メモリA1に保存される。
Next, the reference
次に、画像撮像部11は、略均一の前記第1照度eH より低い第2照度eL を有する被撮像体を撮像し、第2輝度の第2の映像を取得する(ステップS1005)。取得された第2の映像はA/D変換部121でデジタル信号に変換して(ステップS1006)、ランダムノイズ除去部261へ出力する。ランダムノイズ除去部261は、A/D変換された第2の映像に対して、上述の第1の映像と同様に、画素ごとに輝度のフレーム間平均値バーVij(eL )を算出し、メモリP2に保存する(ステップS1007)とともに、基準値算出部262へ出力する。基準値算出部262は、数5に示すフレーム内平均演算により、該入力された画素ごとのフレーム間平均値バーVij(eL )から、1フレーム(1画面)の全ての画素の平均値を、第2照度eL 下の撮像素子の出力の基準値である第2の基準輝度値VL として算出する(ステップS1008)。算出された第2の基準輝度値VL は基準値メモリA2に保存される。
Next,
次に、オフセット補正値算出部263は、画素ごとにメモリP1、P2から画素のフレーム間平均値を読み出して、基準値メモリA1、A2から第1及び第2の基準輝度値VH 、VL を読出し、これらの値を用いてオフセット補正値を算出して、メモリP1に保存する(ステップS1009)。上述した実施形態1、2では、第1及び第2の基準輝度値VH 、VL で撮像素子の平均出力特性を表す直線を確定し、撮像素子ごとのゲイン補正値Gijを算出した後、照度eL を基準照度として、感度ばらつきを考慮してオフセット補正値Oijを算出する場合について説明したが、本発明はこれに限られず、撮像素子ごとのオフセット補正値Oijを算出した後、ゲイン補正値Gijを算出しても良い。例えば、遠赤外線撮像の場合、前記第2照度eL を絶対温度下の照度にして該絶対温度下の撮像素子の出力平均値との差分として、オフセット補正値Oijを算出する。この他、前記数6、数7から得られる下記の数10にしたがって、オフセット補正値Oijを算出してもよい。
Next, the offset correction
次に、ゲイン補正値算出部264は、画素ごとにメモリP1からオフセット補正値、メモリP2から画素のフレーム間平均値を読み出して、基準値メモリA2から第2の基準輝度値VL を読出し、数11に従ってゲイン補正値Gijを算出して、メモリP2に保存する(ステップS1010)。
Next, the gain correction
これにより、本実施形態3の補正値算出部126は上記実施形態1、2の補正値算出部123、125と同様に、異なる輝度を有する2種の基準画像に基づいて、撮像素子ごとのゲイン(感度)補正値及びオフセット補正値を算出する。この算出結果を用いて、映像に重畳している固定パターンノイズを取り除くNUC処理を行ない、クリアな映像を作製・表示することが可能となる。
As a result, the correction
また、ゲイン補正値及びオフセット補正値を算出する処理では、2種の基準画像の画素ごとの輝度値ならびにゲイン補正値及びオフセット補正値は、データを保存するタイミングが時間的に重ならないため、メモリを共用することが可能であることを利用して、算出処理で必要となるメモリを大幅に削減することが可能となる。 Further, in the process of calculating the gain correction value and the offset correction value, the luminance value for each pixel of the two types of reference images, the gain correction value, and the offset correction value are stored in the memory because the data storage timing does not overlap in time. It is possible to significantly reduce the memory required for the calculation process by utilizing the fact that it is possible to share the memory.
(実施形態4)
以下、本発明の実施形態4に係る赤外線撮像装置について、図面を参照しながら詳細に説明する。実施形態4に係る赤外線撮像装置は、補正値算出部127の構成が実施形態1と相違する。それ以外は、本実施形態4に係る撮像装置は実施形態1に係る撮像装置と同様に構成されているため、説明は省略する。
(Embodiment 4)
Hereinafter, an infrared imaging device according to Embodiment 4 of the present invention will be described in detail with reference to the drawings. In the infrared imaging apparatus according to the fourth embodiment, the configuration of the correction
図11は、本実施形態4に係る補正値算出部127の構成を示すブロック図である。図12は、本実施形態4に係る補正値算出処理の手順を示すフローチャートである。以下、図11、図12に基づいて本実施形態4の補正値算出処理を詳しく説明する。補正値算出部127は、図11に示すように、フレーム内平均演算部271、フレーム間平均演算部272、画素平均値演算部275、オフセット補正値算出部273、ゲイン補正値算出部274を備える。補正値を算出する際、まず、画像撮像部11は略均一の第1照度eH を有する被撮像体を撮像して第1輝度の第1の映像を取得する(ステップS1201)。取得された第1の映像はA/D変換部121でデジタル信号に変換されて(ステップS1202)、フレーム内平均演算部271及び画素平均値演算部275へ出力される。フレーム内平均演算部271は、A/D変換された第1の映像から数フレーム例えばnフレームを抽出し、各フレームについて、数8にしたがって各フレームの平均輝度値を算出し、フレーム間平均演算部272へ出力する(ステップS1203)。
FIG. 11 is a block diagram illustrating a configuration of the correction
フレーム間平均演算部272は、数9に示すフレーム間平均演算により、各フレームの平均輝度値をnフレーム間で平均して、第1照度eH 下の撮像素子の出力の基準値である第1の基準輝度値VH として算出する(ステップS1204)。算出された基準輝度値VH は基準値メモリA1に保存される。
The inter-frame
また、画素平均値演算部275は、前記第1の映像のnフレームについて、数4による画素ごとのフレーム間平均演算により、画素ごと個別に該nフレーム分のフレーム間平均値バーVij(eH )を算出し、メモリP1に保存される(ステップS1205)。
In addition, the pixel average
次に、画像撮像部11は、略均一の前記第1照度eH より低い第2照度eL を有する被撮像体を撮像し、第2輝度の第2の映像を取得する(ステップS1206)。取得された第2の映像はA/D変換部121でデジタル信号に変換して(ステップS1207)、フレーム内平均演算部271及び画素平均値演算部275へ出力される。フレーム内平均演算部271は、A/D変換された第2の映像に対して、上述の第1の映像と同様に、nフレーム分のフレーム内平均値を算出して、フレーム間平均演算部272へ出力する(ステップS1208)。フレーム間平均演算部272は、nフレームの平均値を、第2照度eL 下の撮像素子の出力の基準値である第2の基準輝度値VL として算出して、基準値メモリA2に保存する(ステップS1209)。また、画素平均値演算部275は、前記第2の映像のnフレームに対して、画素ごとにフレーム間平均値バーVij(eL )を算出し、メモリP2に保存する(ステップS1210)
Next,
これにより、本実施形態4の補正値算出部127は上記の実施形態1〜3と同様に、映像に重畳しているランダムノイズを除去することが可能となる。また、平均値の計算ではなく、移動平均やIIRフィルタを用いて計算を行ってもよい。
Thereby, the correction
次に、ゲイン補正値及びオフセット補正値の算出処理について説明する。本実施形態4のオフセット補正値算出部273及びゲイン補正値算出部274の算出動作は、上記実施形態3のオフセット補正値算出部263及びゲイン補正値算出部264の算出動作と同様である。まず、オフセット補正値算出部273は、画素ごとにメモリP1、P2から画素のフレーム間平均値を読み出して、基準値メモリA1、A2から第1及び第2の基準輝度値VH 、VL を読出し、これらの値を用いてオフセット補正値Oijを算出して、メモリP1に保存する(ステップS1211)。次に、ゲイン補正値算出部274は、画素ごとにメモリP1からオフセット補正値、メモリP2から画素のフレーム間平均値を読み出して、基準値メモリA2から第2の基準輝度値VL を読出し、ゲイン補正値Gijを算出して、メモリP2に保存する(ステップS1212)。
Next, gain correction value and offset correction value calculation processing will be described. The calculation operations of the offset correction
これにより、本実施形態4の補正値算出部127は上記実施形態1〜3の補正値算出部と同様に、異なる輝度を有する基準画像2枚に基づいて、撮像素子ごとのゲイン(感度)補正値及びオフセット補正値を算出する。この算出結果を用いて、映像に重畳している固定パターンノイズを取り除くNUC処理を行ない、クリアな映像を作製・表示することが可能となる。
Accordingly, the correction
また、ゲイン補正値及びオフセット補正値を算出する処理では、2枚基準画像の画素ごとの輝度値ならびにゲイン補正値及びオフセット補正値は、データを保存するタイミングが時間的に重ならないため、メモリを共用することが可能であることを利用して、算出処理で必要となるメモリを大幅に削減することが可能となる。 Further, in the process of calculating the gain correction value and the offset correction value, the brightness value for each pixel of the two reference images, the gain correction value, and the offset correction value are stored in the memory because the timing for storing the data does not overlap in time. By utilizing the fact that it can be shared, it becomes possible to greatly reduce the memory required for the calculation process.
以上、図面に基づいて本発明の実施形態を詳述したが、本発明は前記実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。 As mentioned above, although embodiment of this invention was explained in full detail based on drawing, this invention is not limited to the said embodiment, A various deformation | transformation implementation is possible within the range of the summary of this invention.
例えば、前記実施形態1〜4において、赤外線撮像装置1の撮像開始前に補正値算出処理を実行しているが、補正値算出処理を実行するタイミングはこれに限定されるものではなく、例えば一定時間ごとに補正値算出処理を実行して、ゲイン補正値及びオフセット補正値を更新しても良い。また、赤外線撮像装置1の出荷時、ゲイン補正値及びオフセット補正値の初期値を保存しておき、随時シャッターを閉じた状態で補正値算出処理を実行して、算出結果によりゲイン補正値及びオフセット補正値を更新しても良い。
For example, in the first to fourth embodiments, the correction value calculation process is performed before the imaging of the
また、前記実施形態1〜4において、オフセット補正値は、照度eL を基準照度とし、感度ばらつきを考慮して基準照度での撮像素子の出力基準値との差分として算出されるが、これに限定されるものではなく、例えば、照度eH を基準照度とし、感度ばらつきを考慮して基準照度での撮像素子の出力基準値との差分として算出してもよい。また、遠赤外線撮像の場合、絶対温度下の照度でオフセット補正値を算出しておき、実際に撮像の際、輝度値に基づいて撮像対象物の温度を推定し、算出されたオフセット補正値を該温度に応じて補完してもよい。 In the first to fourth embodiments, the offset correction value is calculated as a difference from the output reference value of the image sensor at the reference illuminance, taking the illuminance e L as the reference illuminance and taking into account sensitivity variations. is not limited, for example, the illuminance e H a reference illuminance, may be calculated taking into account the sensitivity variation as a difference between the output reference value of the image sensor at the reference illuminance. In the case of far-infrared imaging, an offset correction value is calculated based on the illuminance under the absolute temperature, the temperature of the imaging target is estimated based on the luminance value at the time of actual imaging, and the calculated offset correction value is You may supplement according to this temperature.
また、前記実施形態1〜4において、赤外線撮像素子に係るゲイン補正値及びオフセット補正値を算出することを説明したが、これに限定されるものではなく、2点非均一性補正方法によって出力値を補正できる各種の撮像に適用することが可能となる。 Further, in the first to fourth embodiments, it has been described that the gain correction value and the offset correction value related to the infrared imaging device are calculated. It is possible to apply to various types of imaging that can correct the above.
11 画像撮像部
124 メモリ部
231、261 ランダムノイズ除去部
233、253、263、273 オフセット補正値算出部
234、254、264、274 ゲイン補正値算出部
232、262 基準値算出部
251、271 フレーム内平均演算部
252、272 フレーム間平均演算部
255、275 画素平均値演算部
11
Claims (13)
第1及び第2のメモリと、
各撮像素子の感度ばらつきを補正するゲイン補正値及びオフセットばらつきを補正するオフセット補正値を、前記撮像素子ごとに算出する補正値算出部と
を備え、
前記撮像部は、撮像した第1及び第2の画像を、前記第1及び第2のメモリにそれぞれ保存し、
前記補正値算出部は、前記第1及び第2のメモリから前記第1及び第2の画像を読み出し、該第1及び第2の画像を用いて前記ゲイン補正値(又はオフセット補正値)を算出して、前記第1のメモリに保存し、前記第2の画像及び算出された前記ゲイン補正値(又はオフセット補正値)を用いて、前記オフセット補正値(又はゲイン補正値)を算出するように構成してあることを特徴とする撮像装置。 An imaging unit having a plurality of imaging elements;
First and second memories;
A correction value calculation unit that calculates a gain correction value for correcting sensitivity variations of each image sensor and an offset correction value for correcting offset variations for each of the image sensors; and
The imaging unit stores the captured first and second images in the first and second memories, respectively.
The correction value calculation unit reads the first and second images from the first and second memories, and calculates the gain correction value (or offset correction value) using the first and second images. Then, the offset correction value (or gain correction value) is calculated using the second image and the calculated gain correction value (or offset correction value) stored in the first memory. An imaging apparatus characterized by being configured.
前記補正値算出部は、前記第1及び第2の基準値を用いて、被撮像体の照度に対する前記撮像部の出力を示す出力特性の直線を確定し、前記撮像素子ごとの出力値が該直線と一致するように、前記ゲイン補正値及びオフセット補正値を算出するように構成してあることを特徴とする請求項1または2に記載の撮像装置。 A reference value calculation unit that calculates first and second reference values that are average values of pixel values related to the brightness of a plurality of pixels included in each of the first and second images;
The correction value calculation unit uses the first and second reference values to determine a straight line of output characteristics indicating the output of the imaging unit with respect to the illuminance of the imaging target, and the output value for each imaging device is The imaging apparatus according to claim 1, wherein the gain correction value and the offset correction value are calculated so as to coincide with a straight line.
該ランダムノイズ除去部で前記第1及び第2の画像のランダムノイズを除去した後、前記第1及び第2のメモリに保存するように構成してあることを特徴とする請求項1から3のいずれか1項に記載の撮像装置。 A random noise removing unit that removes random noise superimposed on the image captured by the imaging unit;
The random noise removing unit removes random noise from the first and second images, and then stores the first and second images in the first and second memories. The imaging device according to any one of the above.
前記ランダムノイズ除去部は、画素毎に前記複数フレーム間での画素値の平均演算を行なうように構成してあることを特徴とする請求項4に記載の撮像装置。 The imaging unit captures a plurality of frames for each of the first and second images,
The imaging apparatus according to claim 4, wherein the random noise removing unit is configured to perform an average calculation of pixel values between the plurality of frames for each pixel.
前記第1及び第2の画像それぞれの複数フレーム分について、フレームごとに画像に含まれる複数の画素の明るさに係る画素値の平均値をフレーム内平均値として算出するフレーム内平均値演算部と、
前記フレーム内平均値演算部で算出された各フレームのフレーム内平均値を、前記第1及び第2の画像ごとに、前記複数フレーム間で平均してフレーム間平均値として算出するフレーム間平均値演算部と、
前記第1及び第2の画像それぞれの複数フレーム分について、画素毎に該複数のフレーム間で画素値を平均して画素平均値として算出して、前記第1及び第2のメモリに保存する画素平均値演算部と
をさらに有し、
前記補正値算出部は、前記第1及び第2の画像のフレーム間平均値を用いて、被撮像体の照度に対する前記撮像部の出力を示す出力特性の直線を確定し、前記撮像素子ごとの出力値が該直線と一致するように、前記第1及び第2の画像の画素平均値に基づいて、前記ゲイン補正値及びオフセット補正値を算出するように構成してあることを特徴とする請求項1または2に記載の撮像装置。 The imaging unit captures a plurality of frames for each of the first and second images,
An intra-frame average value calculation unit that calculates an average value of pixel values related to the brightness of a plurality of pixels included in the image for each frame for each of the plurality of frames of the first and second images. ,
The inter-frame average value calculated by averaging the intra-frame average value of each frame calculated by the intra-frame average value calculation unit between the plurality of frames for each of the first and second images. An arithmetic unit;
For each of the plurality of frames of each of the first and second images, a pixel value is averaged between the plurality of frames for each pixel to be calculated as a pixel average value, and is stored in the first and second memories An average value calculation unit, and
The correction value calculation unit determines a straight line of an output characteristic indicating an output of the imaging unit with respect to illuminance of the imaging target, using an average value between frames of the first and second images, and for each imaging element. The gain correction value and the offset correction value are calculated based on pixel average values of the first and second images so that an output value matches the straight line. Item 3. The imaging device according to Item 1 or 2.
前記撮像部は、互いに異なる均一な照度を有する2つの被撮像体を撮像して第1及び第2の画像を取得する撮像ステップと、
該第1及び第2の画像を前記第1及び第2のメモリにそれぞれ保存する保存ステップと、
前記第1及び第2のメモリから前記第1及び第2の画像を読み出して、該第1及び第2の画像を用いて前記ゲイン補正値(又はオフセット補正値)を算出して、前記第1のメモリに保存する第1の算出ステップと、
前記第2の画像及び算出された前記ゲイン補正値(又はオフセット補正値)を用いて、前記オフセット補正値(又はゲイン補正値)を算出する第2の算出ステップと
を含むことを特徴とする補正値算出方法。 A gain correction value and offset variation for correcting sensitivity variation of each imaging device are added to an imaging device including an imaging unit having a plurality of imaging devices and first and second memories that store images captured by the imaging unit. In the correction value calculation method for calculating the offset correction value to be corrected for each image sensor,
The imaging unit captures two imaging objects having uniform illuminances different from each other and acquires first and second images, and
Storing the first and second images in the first and second memories, respectively;
The first and second images are read from the first and second memories, the gain correction value (or offset correction value) is calculated using the first and second images, and the first and second memories are calculated. A first calculation step stored in the memory of
And a second calculation step of calculating the offset correction value (or gain correction value) using the second image and the calculated gain correction value (or offset correction value). Value calculation method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009190372A JP2011044813A (en) | 2009-08-19 | 2009-08-19 | Imaging apparatus, correction value calculation method, and imaging method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009190372A JP2011044813A (en) | 2009-08-19 | 2009-08-19 | Imaging apparatus, correction value calculation method, and imaging method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011044813A true JP2011044813A (en) | 2011-03-03 |
Family
ID=43831929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009190372A Pending JP2011044813A (en) | 2009-08-19 | 2009-08-19 | Imaging apparatus, correction value calculation method, and imaging method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011044813A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102707549A (en) * | 2012-06-13 | 2012-10-03 | 中国科学院长春光学精密机械与物理研究所 | Non-uniformity correction device for infrared camera |
WO2014010375A1 (en) * | 2012-07-10 | 2014-01-16 | 住友電気工業株式会社 | Image pick-up device |
KR101778461B1 (en) * | 2016-09-02 | 2017-09-26 | 광운대학교 산학협력단 | A method of reducing noise of low light environment and an apparatus therefor |
KR101870351B1 (en) | 2017-04-11 | 2018-06-25 | 주식회사 라온우리 | Thermal image processing method using thermal image camera |
US10362214B2 (en) | 2016-06-10 | 2019-07-23 | Canon Kabushiki Kaisha | Control apparatus, image capturing apparatus, control method, and non-transitory computer-readable storage medium |
JP2019139043A (en) * | 2018-02-09 | 2019-08-22 | キヤノン株式会社 | Imaging apparatus and method for controlling the same |
-
2009
- 2009-08-19 JP JP2009190372A patent/JP2011044813A/en active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102707549A (en) * | 2012-06-13 | 2012-10-03 | 中国科学院长春光学精密机械与物理研究所 | Non-uniformity correction device for infrared camera |
WO2014010375A1 (en) * | 2012-07-10 | 2014-01-16 | 住友電気工業株式会社 | Image pick-up device |
US10362214B2 (en) | 2016-06-10 | 2019-07-23 | Canon Kabushiki Kaisha | Control apparatus, image capturing apparatus, control method, and non-transitory computer-readable storage medium |
KR101778461B1 (en) * | 2016-09-02 | 2017-09-26 | 광운대학교 산학협력단 | A method of reducing noise of low light environment and an apparatus therefor |
KR101870351B1 (en) | 2017-04-11 | 2018-06-25 | 주식회사 라온우리 | Thermal image processing method using thermal image camera |
JP2019139043A (en) * | 2018-02-09 | 2019-08-22 | キヤノン株式会社 | Imaging apparatus and method for controlling the same |
JP7019442B2 (en) | 2018-02-09 | 2022-02-15 | キヤノン株式会社 | Image pickup device and its control method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10706514B2 (en) | Systems and methods for enhanced dynamic range infrared imaging | |
US10110833B2 (en) | Hybrid infrared sensor array having heterogeneous infrared sensors | |
JP5835996B2 (en) | Imaging device | |
JP5264407B2 (en) | Method for reading a two-dimensional matrix of pixels and device for implementing the method | |
US7397509B2 (en) | High dynamic range imager with a rolling shutter | |
JP5312246B2 (en) | Imaging apparatus and control method | |
JP2007013292A (en) | Imaging apparatus | |
JP2011044813A (en) | Imaging apparatus, correction value calculation method, and imaging method | |
JP2015164284A (en) | Solid-state image sensor, movement information acquisition apparatus and imaging apparatus | |
EP2923187A1 (en) | Hybrid infrared sensor array having heterogeneous infrared sensors | |
JP5013811B2 (en) | Imaging apparatus and correction method | |
JP6734649B2 (en) | IMAGING DEVICE, IMAGING SYSTEM, AND METHOD OF CONTROLLING IMAGING DEVICE | |
JP2010245891A (en) | Imaging device and imaging method | |
JP2008193163A (en) | Solid-state imaging apparatus | |
US11659292B2 (en) | Image output adjustment responsive to integration time changes for infrared imaging devices | |
JP2008537411A (en) | Creating and storing column offsets for column-parallel image sensors | |
JP2009077047A (en) | Electronic camera | |
JP2013088192A (en) | Infrared solid-state imaging apparatus | |
JP4326239B2 (en) | Electronic imaging system and method for improving image quality in an electronic imaging system | |
JP6701269B2 (en) | Image processing apparatus and image processing method | |
JP2009027241A (en) | Imaging apparatus | |
JP5127510B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
TWI803335B (en) | Infrared camera device and method for generating noise data of fixed pattern | |
JP6765953B2 (en) | Imaging device and its control method | |
JP2017085377A (en) | Imaging apparatus and its control method, program, and storage medium |