JP2007266787A - Imaging apparatus provided with process for making excessive-noise pixel usable - Google Patents
Imaging apparatus provided with process for making excessive-noise pixel usable Download PDFInfo
- Publication number
- JP2007266787A JP2007266787A JP2006086694A JP2006086694A JP2007266787A JP 2007266787 A JP2007266787 A JP 2007266787A JP 2006086694 A JP2006086694 A JP 2006086694A JP 2006086694 A JP2006086694 A JP 2006086694A JP 2007266787 A JP2007266787 A JP 2007266787A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- noise
- integration
- excessive
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
本発明は、赤外線撮像装置における、雑音が平均的な画素のものより大きい画素を処理する撮像装置に関する。 The present invention relates to an imaging apparatus that processes pixels larger in noise than an average pixel in an infrared imaging apparatus.
赤外線撮像装置においては、入射する赤外線を電気信号に変える赤外検知器があり、それは多数の検知素子から成るアレイ(2次元配列)構造を備える構成となっている。各画素は各々固有のノイズ特性を持っており、平均的な画素よりノイズの大きい画素は輝度変動点が散在する等の画像上の不都合を生じるため、隣接する正常な画素の出力に置き換えて目立たなくすることが通常行われる。ところが、この処理を行うことによって
（１） 当該画素が撮像する点目標を見失う
（２）隣接画素とのつながりが不自然な画素群を生ずる
といった不都合を生ずる場合がある。
In an infrared imaging device, there is an infrared detector that converts incident infrared light into an electrical signal, which has an array (two-dimensional array) structure including a large number of detection elements. Each pixel has its own noise characteristics. Pixels with larger noise than the average pixel cause image inconveniences such as scattered brightness fluctuation points, so they are conspicuous by replacing them with the output of adjacent normal pixels. It is usually done. However, this processing may cause inconvenience that (1) the point target imaged by the pixel is missed (2) a pixel group that is unnaturally connected to adjacent pixels is generated.
一方、こうしたノイズ過大画素の出力は運用条件によっては必ずしもその検知情報を破棄する必要は無く、そうした情報を救済する処理が望まれていた。
図１１は、赤外線撮像装置の従来の構成例である。
On the other hand, the output of such a pixel with excessive noise does not necessarily need to discard the detection information depending on the operating conditions, and a process for relieving such information has been desired.
FIG. 11 is a conventional configuration example of an infrared imaging device.
光学系(レンズ、フィルタ等)１０を介して赤外検知器１１に赤外線が入射すると、赤外検知器１１では、その赤外線を電気信号に変換して周辺回路１２へ出力する。周辺回路１２では、その電気信号のA/D変換、フレームメモリへのデータ格納などが行なわれる。周辺回路１２のフレームメモリに格納された検知データに対し、感度補正／欠陥画素置換部４９において、感度補正（オフセット補正（低温側の均一な入射に対する素子の出力ばらつきの補正）とゲイン補正 (高温側と低温側の均一な温度差の入力に対する素子の応答のばらつきの補正)からなる）と欠陥画素置換処理（欠陥画素置換部１５が行う）を行った後、フレームメモリ、および、ビデオ・エンコーダを構成品とする表示回路１６を通じて、TVモニタなどの表示装置１７へ画像表示される。 When infrared rays are incident on the infrared detector 11 via the optical system (lens, filter, etc.), the infrared detector 11 converts the infrared rays into an electrical signal and outputs it to the peripheral circuit 12. The peripheral circuit 12 performs A / D conversion of the electrical signal, data storage in the frame memory, and the like. For the detection data stored in the frame memory of the peripheral circuit 12, the sensitivity correction / defective pixel replacement unit 49 performs sensitivity correction (offset correction (correction of output variation of the element for uniform incidence on the low temperature side) and gain correction (high temperature). And a defective pixel replacement process (performed by the defective pixel replacement unit 15), a frame memory, and a video encoder The image is displayed on a display device 17 such as a TV monitor through the display circuit 16 that is a component.
ここで、感度補正/欠陥画素置換部４９について説明する。図中低温側データメモリ１８に格納される低温側データとは、赤外検知器１１が参照する低温側の均一な入射（検知器１１を構成する全画素に同じ温度の入射があるという意味）に対する検知データを格納したものである。また高温側データメモリ１９の高温側データとは、赤外検知器１１が参照する高温側の均一な入射に対する検知データを格納したものである。この2種の検知データから、ゲイン補正係数算出部２０において、ゲイン補正係数を算出する。また低温側データは、各画素オフセット１３として、撮像中の検知データから差し引く処理に使用される。さらに、グローバル・オフセットを計算するグローバル・オフセット算出部２１があり、これは、たとえば、低温側データの全画素平均値としておく。TV画像への表示の際、この平均値を、たとえば、白黒256階調の中央値で表示させるようにする。次に、欠陥画素判定部２２においては、ゲイン補正係数と低温側データをもとに計算される素子の雑音のデータを用いて、(高温側データ)−(低温側データ)が小さい（ゲインが小さくて、その逆数で表すゲイン補正係数が大きくなる）画素、雑音の大きな画素を欠陥画素として判定し、そのアドレスを欠陥画素置換部１５（フレームメモリ、欠陥画素のアドレスを記録したメモリを主要構成品とする）へ送る。欠陥画素置換部１５では、感度補正後の検知データを格納したフレームメモリからのアクセスの際、欠陥画素のアドレスになるときには、その隣接画素のデータを読み出して、表示回路１６へ送る処理を行っている。 Here, the sensitivity correction / defective pixel replacement unit 49 will be described. The low temperature side data stored in the low temperature side data memory 18 in the figure is uniform incidence on the low temperature side referred to by the infrared detector 11 (meaning that all pixels constituting the detector 11 have the same temperature incidence). The detection data for is stored. The high temperature side data in the high temperature side data memory 19 stores detection data for uniform incidence on the high temperature side which is referred to by the infrared detector 11. From these two types of detection data, the gain correction coefficient calculation unit 20 calculates a gain correction coefficient. Further, the low temperature side data is used as processing for subtracting from the detection data being imaged as each pixel offset 13. Furthermore, there is a global offset calculation unit 21 for calculating a global offset, which is set as, for example, the average value of all pixels of the low temperature side data. At the time of display on a TV image, this average value is displayed, for example, as a median value of 256 black and white gradations. Next, in the defective pixel determination unit 22, (high temperature side data) − (low temperature side data) is small (gain is low) using element noise data calculated based on the gain correction coefficient and low temperature side data. A pixel that is small and has a large gain correction coefficient represented by its reciprocal) and a noisy pixel are determined as defective pixels, and their addresses are defined as defective pixel replacement unit 15 (frame memory, memory in which defective pixel addresses are recorded). Product). In the defective pixel replacement unit 15, when the address of the defective pixel is reached when accessing from the frame memory storing the detection data after sensitivity correction, the data of the adjacent pixel is read and sent to the display circuit 16. Yes.
なお、低温側データの取得と高温側データの取得、および、欠陥画素判定（欠陥画素判定部２２）、欠陥画素置換アドレス情報の生成については、シーンの撮像前に事前に行う。 Note that the acquisition of the low-temperature side data, the acquisition of the high-temperature side data, the defective pixel determination (defective pixel determination unit 22), and the generation of defective pixel replacement address information are performed in advance before imaging the scene.
さらに、全画素の平均の感度が小さい、雑音が大きいなどの理由で画像表示の際、Ｓ／Ｎ比が十分によくないときには、フレーム積分または空間積分などを行い、Ｓ／Ｎ比の改善を図ることがある。前者のフレーム積分としては、幾つかの公知例がある（特許文献１、特許文献２参照）。 Furthermore, when the S / N ratio is not good enough when displaying an image because the average sensitivity of all pixels is small or the noise is large, frame integration or spatial integration is performed to improve the S / N ratio. There are things to plan. There are several known examples of the former frame integration (see Patent Document 1 and Patent Document 2).
図１２に、フレーム積分の処理を説明する図を示す。
図中の積分回数指定部２５では、撮像装置外部のスイッチなどを用いて、積分する回数（フレーム数）を決めている。この数を4回として、説明を進める。
FIG. 12 is a diagram illustrating the frame integration process.
In the integration number designation unit 25 in the figure, the number of integrations (number of frames) is determined using a switch or the like outside the imaging apparatus. This number is assumed to be 4 times, and the explanation proceeds.
図１２（ａ）において、感度補正/欠陥画素置換部４９において得られた検知データを入力し、図中、積分データ格納部３１の積分データとの加算を行なう。初回の積分データは０である。1回目の加算時には、積分回数判定部３２によって、4回の加算が終了していないと判断されるため、初回の積分データ「０」と検知データの加算結果は、積分データ格納部３１へ格納され、積分データは1回目の検知データとなる。次に2回目の加算処理では、1回目の検知データ（積分データ）と2回目の検知データ（感度補正/欠陥画素置換部４９からの入力）の加算結果が再び積分データ格納部３１へ格納される。このようにして4回の加算処理が終了した時点で加算結果/積分回数を計算して、積分回数が積分回数指定部２５の指定値となった場合には、積分回数の逆数を積分データに掛けて表示回路３３へ出力する。 In FIG. 12A, detection data obtained in the sensitivity correction / defective pixel replacement unit 49 is input, and addition with the integration data in the integration data storage unit 31 is performed. The initial integration data is zero. At the time of the first addition, the integration number determination unit 32 determines that the four additions have not been completed, so that the first integration data “0” and the detection data addition result are stored in the integration data storage unit 31. The integration data becomes the first detection data. Next, in the second addition process, the addition result of the first detection data (integration data) and the second detection data (input from the sensitivity correction / defective pixel replacement unit 49) is stored in the integration data storage unit 31 again. The When the addition process / integration count is calculated when the four addition processes are completed in this way, and the integration count becomes the specified value of the integration count specifying unit 25, the inverse of the integration count is used as the integration data. Multiply and output to display circuit 33.
図１２（ｂ）は、フレーム積分処理のフローチャートである。
ステップＳ１０において、感度補正／欠陥画素置換後検知データを入力する。ステップＳ１１において、積分データとの加算を行い、ステップＳ１２において、積分回数が指定数を超えているか否かを判断する。ステップＳ１２の判断がＮｏの場合には、ステップＳ１３において、積分データを格納し、ステップＳ１１に戻る。ステップＳ１２の判断がＹｅｓの場合には、ステップＳ１４に進んで、加算結果／積分結果を算出する（平均処理する）。
FIG. 12B is a flowchart of the frame integration process.
In step S10, detection data after sensitivity correction / defective pixel replacement is input. In step S11, addition with integration data is performed, and in step S12, it is determined whether or not the number of integrations exceeds a specified number. If the determination in step S12 is No, integration data is stored in step S13, and the process returns to step S11. When the determination in step S12 is Yes, the process proceeds to step S14, and the addition result / integration result is calculated (average processing).
図１３に空間積分の処理を説明する図を示す。
図１３（ａ）の積分画素数指定部３０では、撮像装置外部のスイッチなどを用いて空間積分に用いる画素数を決めている。この数を2×2の4画素として説明を進める。また、赤外線撮像装置の検知素子はｎ×n画素構成（図１３（ｃ）参照）とする。積分画素数指定部３０の指定に基づいて、4つのアドレス（i,j）,(i+1,j),(i,j+1),(i+1,j+1) (i,j=1,2,・・・n-1)を指定し、4つの画素の検知データを順次読出し、加算部２６で加算して、平均部２７で平均する。そしてフレームデータメモリ1からのデータ読出しに使用したアドレスをフレームデータメモリ2に対して指定し、その平均値を4つの画素アドレスに格納する。その後、i、ｊを、例えば、2つインクリメントし、同様の処置を繰り返す。i、および、ｊの値がn-1に達したとき、処理は終了となり、フレームデータメモリ２内の検知データを表示回路３３へ転送する。
FIG. 13 is a diagram for explaining the spatial integration process.
In the integrated pixel number designating unit 30 in FIG. 13A, the number of pixels used for spatial integration is determined using a switch or the like outside the imaging apparatus. The description proceeds with this number as 2 × 2 4 pixels. In addition, the detection element of the infrared imaging device has an n × n pixel configuration (see FIG. 13C). Based on the designation of the integral pixel number designation unit 30, four addresses (i, j), (i + 1, j), (i, j + 1), (i + 1, j + 1) (i, j = 1, 2,..., N-1), the detection data of the four pixels are sequentially read out, added by the adding unit 26, and averaged by the averaging unit 27. Then, the address used for reading data from the frame data memory 1 is designated to the frame data memory 2, and the average value is stored in four pixel addresses. Thereafter, i and j are incremented by two, for example, and the same procedure is repeated. When the values of i and j have reached n−1, the process is completed, and the detection data in the frame data memory 2 is transferred to the display circuit 33.
図１３（ｂ）は、空間積分処理のフローチャートである。
ステップＳ２０において、感度補正／欠陥画素置換後検知データを入力する。ステップＳ２１において、ｉ、ｊを初期化する。ステップＳ２２において、フレームデータ１から４画素の検知データを読み出し、ステップＳ２３において、４画素分の検知データを加算する。ステップＳ２４において、加算結果を４で割り、ステップＳ２５において、フレームデータ２に格納する。ステップＳ２６において、ｉ、ｊがｎ−１より小さいか否かを判断する。ステップＳ２６の判断がＮｏの場合には、ステップＳ２７において、ｉ、ｊをインクリメントし、ステップＳ２２に戻る。ステップＳ２６の判断がＹｅｓの場合には、処理を終了する。
In step S20, detection data after sensitivity correction / defective pixel replacement is input. In step S21, i and j are initialized. In step S22, the detection data of 4 pixels is read from the frame data 1, and the detection data for 4 pixels is added in step S23. In step S24, the addition result is divided by 4 and stored in frame data 2 in step S25. In step S26, it is determined whether i and j are smaller than n-1. If the determination in step S26 is No, i and j are incremented in step S27, and the process returns to step S22. If the determination in step S26 is Yes, the process ends.
従来技術のように、ノイズの大きな画素を他の画素と置き換えてしまうと、その分その部分の画素情報が落ちるので、これを回避する技術が望まれる。
ノイズ(撮像領域の放射量に対する出力の時間的変動)が大きな画素の検知情報を、動きが比較的小さく、それほど高い更新レートを要しない運用において利用できるようにすることが好ましい。
If a noisy pixel is replaced with another pixel as in the prior art, the pixel information for that portion will drop accordingly, and a technique to avoid this is desired.
It is preferable to make it possible to use detection information of pixels with large noise (time fluctuation of output with respect to the radiation amount of the imaging region) in an operation in which movement is relatively small and does not require a very high update rate.
ノイズが大きな画素の検知情報を、比較的細かい放射輝度分布が無く、それほど高い空間分解能を要しない運用において利用できるようにすることが好ましい。
動きが比較的小さく、細かい放射輝度分布も無いため、更新レートと空間分解能がそれほど高くなくてもよい運用において、ノイズの大きな画素の検知情報を利用できるようにすることが好ましい。
It is preferable that detection information of a pixel having a large noise can be used in an operation that does not require a relatively high spatial resolution without a relatively fine radiance distribution.
Since the motion is relatively small and there is no fine radiance distribution, it is preferable to be able to use the detection information of the noisy pixels in operations where the update rate and spatial resolution need not be so high.
本発明の課題は、所定の条件の下で、ノイズの大きな画素について、他の画素と画素値と置き換えることなく、処理することのできる撮像装置を提供することである。 An object of the present invention is to provide an imaging device capable of processing a noisy pixel without replacing it with other pixels and pixel values under a predetermined condition.
本発明の撮像装置は、撮像されたフレームデータ中から画素値のノイズが過大な画素を抽出するノイズ過大画素抽出手段と、該ノイズが過大な画素について、あるいは、該ノイズが過大な画素とその近傍についてのみノイズ低減処理を施すノイズ低減処理手段とを備えることを特徴とする。 The imaging apparatus according to the present invention includes a noise excessive pixel extraction unit that extracts pixels with excessive pixel value noise from captured frame data, a pixel with excessive noise, or a pixel with excessive noise and its And noise reduction processing means for performing noise reduction processing only on the vicinity.
本発明によれば、所定の条件の下で、ノイズの大きな画素を他の画素の画素値と置き換えることなく、映像を得ることのできる撮像装置を提供することができる。 According to the present invention, it is possible to provide an imaging apparatus capable of obtaining an image without replacing a noisy pixel with a pixel value of another pixel under a predetermined condition.
赤外線撮像装置の撮像素子は、比較的短い積分時間で蓄積電子が飽和領域に到達するため、例えば、肉眼の時定数(200 msec程度)に比べて高いフレーム・レート(例えば120Hz → フレーム・タイム16.7 msec)の赤外線撮像装置では、動きの比較的ゆっくりしたシーンに対しては200/16.7 = 12フレーム程度以上フレーム積分しても運用に大きな支障を来たさない。そこで、視野内の主な領域での動きベクトル分析等で代表的な像の角速度を求め、それが閾値以下の場合、ノイズ過大のため置換を行っていた画素出力の置換を解除し、規程回数のフレーム積分を開始する。特に、当該ノイズ過大画素のみフレーム積分する。 Since the image sensor of the infrared imaging device reaches the saturation region in a relatively short integration time, for example, the frame rate (for example, 120 Hz → frame time 16.7) is higher than the time constant of the naked eye (about 200 msec). In the case of an infrared imaging device of msec), even if the frame integration is about 200 / 16.7 = 12 frames or more for a scene with a relatively slow motion, the operation is not greatly affected. Therefore, the angular velocity of a representative image is obtained by motion vector analysis etc. in the main area of the field of view, and if it is below the threshold, the replacement of the pixel output that was replaced due to excessive noise is canceled, and the number of regulations Start frame integration of. In particular, frame integration is performed only on the excessive noise pixels.
また、撮像シーンの空間放射輝度分布が比較的低周波の成分までしかない場合、個々の画素の検知情報を個別に出力しても情報量が増えず、例えば、3×3画素の空間積分を行い、エルゴード仮定(時間的分布と空間的分布が等価)が準用できるような画素群に対しては、時間的ノイズを低減した方が画質が良くなる場合がある。そこで、視野内輝度分布の空間周波数分析を行い、最高周波数(0.5サイクル/画素)近傍の成分が少ないシーンについては、ノイズ過大で置換していた画素出力の置換を解除し、空間積分を行う。特に、当該ノイズ過大画素の周辺のみの画素群の空間積分を行う。 In addition, if the spatial radiance distribution of the imaging scene has only a relatively low frequency component, the amount of information does not increase even if individual pixel detection information is output, for example, 3 × 3 pixel spatial integration is performed. If the ergodic assumption (temporal distribution and spatial distribution are equivalent) can be applied mutatis mutandis, the image quality may be improved by reducing temporal noise. Therefore, the spatial frequency analysis of the luminance distribution in the visual field is performed, and for the scene with few components near the maximum frequency (0.5 cycles / pixel), the replacement of the pixel output that has been replaced due to excessive noise is canceled and the spatial integration is performed. In particular, spatial integration is performed on a pixel group only around the excessive noise pixel.
代表的な視野内像の角速度が小さく、視野内輝度分布の高空間周波数成分も少ない場合、上記したフレーム積分と空間積分を併用してさらにノイズを低減し、置換を解除した画素の情報可用性を増す。特に、当該ノイズ過大画素についてのみフレーム積分および空間積分を行う。何れか一方の積分のみ当該画素に対して限定的に行っても良い。 When the angular velocity of a representative in-field image is small and the high spatial frequency component of the in-field luminance distribution is small, the above-mentioned frame integration and spatial integration are used together to further reduce noise and improve the information availability of the pixel whose replacement has been canceled. Increase. In particular, frame integration and spatial integration are performed only for the excessive noise pixels. Only one of the integrations may be limited to the pixel.
従来技術では、運用上求められる最速の像動きに対応できるようフレーム・レートが固定され、ノイズが過大な画素の検知情報は隣接画素群の内の正常画素のものに置換され、利用されることが無かった。本発明によれば、シーンにおける像の動きに応じてフレーム積分を施し、それによって時間的ノイズを低減してノイズ過大画素の検知情報も利用できるようになる。 In the prior art, the frame rate is fixed so that it can cope with the fastest image motion required for operation, and the detection information of pixels with excessive noise is replaced with that of normal pixels in the adjacent pixel group and used. There was no. According to the present invention, frame integration is performed in accordance with the movement of an image in a scene, thereby reducing temporal noise and making it possible to use detection information of excessive noise pixels.
また、従来技術では、撮像装置の最高空間周波数を表現可能とすることを前提としていたので、空間積分のような空間分解能を落とす処理は採用されず、単画素出力ではノイズが過大な画素の検知情報は隣接画素群の内の正常画素のものに置換され、利用されることが無かった。本発明によれば、シーンの空間周波数成分に応じて空間積分を施して等価的に時間的ノイズを低減することにより、ノイズ過大画素の検知情報も利用できるようになる。 In addition, since the conventional technology is based on the premise that the highest spatial frequency of the imaging device can be expressed, a process for reducing the spatial resolution such as spatial integration is not adopted, and pixel detection with excessive noise is detected in single pixel output. The information was replaced with that of a normal pixel in the adjacent pixel group and was not used. According to the present invention, detection information of an excessive noise pixel can be used by performing spatial integration according to the spatial frequency component of the scene and equivalently reducing temporal noise.
さらに、従来技術では、運用上求められる最速の像動きに対応できるフレーム・レートや、撮像装置の最高空間周波数を表現可能とすることが前提とされ、特殊環境でのオペレータ・オーバライド（操作者が撮像装置の動作を指定すること）を除いてフレーム積分や空間積分を行わずに運用されていたために、単サンプル・単画素出力では、ノイズが過大な画素の検知情報は、隣接画素群の内の正常画素のものに置換され、利用されることが無かった。本発明によれば、シーンの動きや空間周波数成分に応じてフレーム積分や空間積分を施して時間的ノイズを低減することにより、ノイズ過大画素の検知情報も利用できるようになる。 Furthermore, the conventional technology assumes that the frame rate that can handle the fastest image motion required for operation and the highest spatial frequency of the imaging device can be expressed. In the case of single-sample / single-pixel output, the detection information for pixels with excessive noise is not detected in the adjacent pixel group. It was replaced with that of normal pixels and was not used. According to the present invention, detection information of an excessively noisy pixel can be used by reducing temporal noise by performing frame integration and spatial integration in accordance with scene movement and spatial frequency components.
図１および図２は、本発明の第１の実施形態を説明する図である。
図１において、図１１と同じ構成要素には、同じ参照符号を付している。
図１において、 赤外検知器１１の出力は周辺回路１２によってバッファリングされ、A/D変換によりディジタル・データ化される。赤外検知器１１の各画素の特性バラツキを含む(感度補正前)検知データは、感度補正／ノイズ過大画素置換部４９において、通常、視野内で一様な感度補正基準(低温側および高温側)を見せた時の各画素の出力データを記録し、低温側基準を見た時のデータを各画素オフセット１３、低温側と高温側を見た時の各画素データ変化で全画素平均変化を除したものをゲイン補正係数、低温側の全画素データ平均をDC再生用のグローバル・オフセット（グローバル・オフセット算出部２１によって算出される）として感度補正処理される。
1 and 2 are diagrams for explaining a first embodiment of the present invention.
In FIG. 1, the same components as those in FIG. 11 are denoted by the same reference numerals.
In FIG. 1, the output of the infrared detector 11 is buffered by the peripheral circuit 12 and converted into digital data by A / D conversion. The detection data including the characteristic variation of each pixel of the infrared detector 11 (before sensitivity correction) is normally detected by the sensitivity correction / noise excessive pixel replacement unit 49 in a uniform sensitivity correction standard (low temperature side and high temperature side) ) Is recorded, and when the low temperature side reference is viewed, the data when the low temperature side reference is viewed is the pixel offset 13, and each pixel data change when the low temperature side and the high temperature side are viewed Sensitivity correction processing is performed using a gain correction coefficient as a result of dividing and an average of all pixel data on the low temperature side as a global offset for DC reproduction (calculated by the global offset calculator 21).
この際、ゲインが著しく平均値から外れていて、ゲイン補正ができない画素や、ノイズが大きくて表示上時間的変動が大き過ぎる、若しくは、補正係数が適切に算出できない画素は、ノイズ過大画素判定部２２がその旨判定して、ノイズ過大画素置換部１５において、異常画素値を異常画素として隣接している正常画素の出力に置換することが行われる。此処で、動き領域抽出部４０が、動き領域抽出(フレーム差分を取って移動領域の輪郭を抽出する等の処理による)を行う。そして、抽出移動領域の角速度算出を領域角速度算出部４１が算出し、算出角速度が設定された閾値を超えているか否かの判定を領域角速度閾値判定部４２が行い、移動領域の角速度が閾値以下、すなわち、動きの緩やかなシーンに対しては、フレーム積分部４３において、フレーム積分を行う。このとき、ノイズ過大画素の置換解除アドレスをノイズ過大画素判定部２２に指示して置換処理を解除する。 At this time, a pixel whose gain is significantly deviated from the average value and cannot be corrected, or a pixel whose noise is too large and temporal variation in display is too large, or a correction coefficient cannot be calculated appropriately, is a noise excessive pixel determination unit. 22 determines that, and the excessive noise pixel replacement unit 15 replaces the abnormal pixel value with the output of the adjacent normal pixel as an abnormal pixel. Here, the motion region extraction unit 40 performs motion region extraction (by processing such as extracting the contour of the moving region by taking a frame difference). Then, the region angular velocity calculation unit 41 calculates the angular velocity calculation of the extracted movement region, and the region angular velocity threshold determination unit 42 determines whether or not the calculated angular velocity exceeds the set threshold, and the angular velocity of the movement region is equal to or less than the threshold. In other words, the frame integration unit 43 performs frame integration for a slow-moving scene. At this time, the replacement cancellation address of the excessive noise pixel is instructed to the excessive noise pixel determination unit 22 to cancel the replacement process.
図２は、第１の実施形態の処理の流れを説明するフローチャートである。
ステップＳ３０において、補正前の画像を入力する。ステップＳ３１において、フレーム差分をとることによって移動領域の検出を行う。ステップＳ３２において、移動角速度を算出する。ステップＳ３３において、移動角速度が閾値を越えているか否かを判断する。ステップＳ３３の判断がＹｅｓの場合には、ステップＳ３５に進む。ステップＳ３３の判断がＮｏの場合には、ステップＳ３４において、ノイズ過大画素について、ノイズ過大画素置換処理を解除し、Ｎフレーム積分を行う。Ｎは、当業者によって適切に設定されるべきものである。ステップＳ３５において、補正画像を出力する。
FIG. 2 is a flowchart for explaining the flow of processing of the first embodiment.
In step S30, an image before correction is input. In step S31, a moving region is detected by taking a frame difference. In step S32, the moving angular velocity is calculated. In step S33, it is determined whether or not the moving angular velocity exceeds a threshold value. If the determination in step S33 is Yes, the process proceeds to step S35. If the determination in step S33 is No, in step S34, the excessive noise pixel replacement process is canceled for the excessive noise pixel, and N frame integration is performed. N should be appropriately set by those skilled in the art. In step S35, a corrected image is output.
図３および図４は、本発明の第２の実施形態を説明する図である。
なお、図３において、図１と同じ構成要素には同じ参照符号を付し、説明を省略する。
視野内の空間周波数分析(複数の空間フィルタ処理結果を用いたり、FFTを適用したりする)を空間周波数分析部４５が行い、高空間周波数成分分析(設定した空間周波数閾値より高空間周波数の高空間周波数成分の度数や振幅を調べる)を高空間周波数成分分析部４６が行い、高空間周波数成分が設定された(度数や振幅の)閾値を超えているか否かの判定を高空間周波数成分閾値判定部４７が行う。そして、高周波数成分(の度数や振幅)が閾値を超えていないなら、すなわち高空間周波数成分が少ないシーンに対しては、空間積分部４８が空間積分を行う。このとき、ノイズ過大画素の置換解除アドレスをノイズ過大画素判定部２２に指示して、ノイズ過大画素の置換処理を解除する。
3 and 4 are diagrams illustrating a second embodiment of the present invention.
In FIG. 3, the same components as those in FIG. 1 are denoted by the same reference numerals, and description thereof is omitted.
The spatial frequency analysis unit 45 performs spatial frequency analysis within the field of view (using a plurality of spatial filter processing results or applying FFT), and performs high spatial frequency component analysis (higher spatial frequency than the set spatial frequency threshold). The high spatial frequency component analysis unit 46 conducts (examines the frequency and amplitude of the spatial frequency component) and determines whether the high spatial frequency component exceeds the set threshold (frequency or amplitude). The determination part 47 performs. If the high frequency component (the frequency and amplitude thereof) does not exceed the threshold value, that is, for a scene with few high spatial frequency components, the spatial integration unit 48 performs spatial integration. At this time, the excessive noise pixel replacement cancellation address is instructed to the excessive noise pixel determination unit 22 to cancel the excessive noise pixel replacement processing.
図４は、第２の実施形態の処理を説明するフローチャートである。
ステップＳ４０において、補正前の画像を入力する。ステップＳ４１において、空間周波数分析を空間フィルタ処理やＦＦＴ等を用いて行う。ステップＳ４２において、高空間周波数成分分析を行い、ステップＳ４３において、高空間周波数成分の頻度あるいは強度は閾値を超えているか否かを判断する。ステップＳ４３における判断がＹｅｓの場合には、ステップＳ４５に進む。ステップＳ４３における判断がＮｏの場合には、ステップＳ４４において、ノイズ過大画素について空間積分を行う。このとき、ノイズ過大画素の置換処理を解除しておく。ステップＳ４５において、補正画像を出力する。
FIG. 4 is a flowchart for explaining the processing of the second embodiment.
In step S40, an image before correction is input. In step S41, spatial frequency analysis is performed using spatial filter processing, FFT, or the like. In step S42, high spatial frequency component analysis is performed. In step S43, it is determined whether the frequency or intensity of the high spatial frequency component exceeds a threshold value. If the determination in step S43 is yes, the process proceeds to step S45. If the determination in step S43 is No, in step S44, spatial integration is performed for the excessive noise pixel. At this time, the process of replacing the excessive noise pixels is canceled. In step S45, a corrected image is output.
図５および図６は、本発明の第３の実施形態を説明する図である。
図５において、図１、および、図３と同じ構成要素には同じ参照符号を付して、説明を省略する。
5 and 6 are diagrams for explaining a third embodiment of the present invention.
5, the same components as those in FIGS. 1 and 3 are denoted by the same reference numerals, and description thereof is omitted.
本実施形態では、フレーム積分と空間積分を併用する。
図５において、 赤外検知器１１の出力は周辺回路１２によってバッファリングされ、A/D変換によりディジタル・データ化される。赤外検知器１１の各画素の特性バラツキを含む(感度補正前)検知データは、感度補正／ノイズ過大画素置換部４９において、通常、視野内で一様な感度補正基準(低温側および高温側)を見せた時の各画素の出力データを記録し、低温側基準を見た時のデータを各画素オフセット１３、低温側と高温側を見た時の各画素データ変化で全画素平均変化を除したものをゲイン補正係数、低温側の全画素データ平均をDC再生用のグローバル・オフセット（グローバル・オフセット算出部２１によって算出される）として感度補正処理される。
In this embodiment, frame integration and spatial integration are used together.
In FIG. 5, the output of the infrared detector 11 is buffered by the peripheral circuit 12 and converted into digital data by A / D conversion. The detection data including the characteristic variation of each pixel of the infrared detector 11 (before sensitivity correction) is normally detected by the sensitivity correction / noise excessive pixel replacement unit 49 in a uniform sensitivity correction standard (low temperature side and high temperature side) within the field of view. ) Is recorded, and when the low temperature side reference is viewed, the data when the low temperature side reference is viewed is the pixel offset 13, and each pixel data change when the low temperature side and the high temperature side are viewed Sensitivity correction processing is performed using a gain correction coefficient as a result of dividing and an average of all pixel data on the low temperature side as a global offset for DC reproduction (calculated by the global offset calculator 21).
この際、ゲインが著しく平均値から外れていてゲイン補正ができない画素や、ノイズが大きくて表示上時間的変動が大き過ぎる、若しくは、補正係数が適切に算出できない画素は、ノイズ過大画素判定部２２がその旨判定して、ノイズ過大画素置換部１５において、異常画素値を異常画素と隣接している正常画素の出力に置換することが行われる。此処で、動き領域抽出部４０が動き領域抽出(フレーム差分を取って移動領域の輪郭を抽出する等の処理による)を行い、抽出移動領域の角速度算出を領域角速度算出部４１が算出し、算出角速度が設定された閾値を超えているか否かの判定を領域角速度閾値判定部４２が行い、移動領域の角速度が閾値以下、すなわち、動きの緩やかなシーンに対しては、フレーム積分部４３において、フレーム積分を行う。このとき、ノイズ過大画素の置換解除アドレスをノイズ過大画素判定部２２に指示して置換処理を解除する。 At this time, a pixel whose gain is significantly different from the average value and cannot be corrected, or a pixel whose noise is large and temporal variation in display is too large, or whose correction coefficient cannot be calculated appropriately, is an excessive noise pixel determination unit 22. Therefore, the excessive noise pixel replacement unit 15 replaces the abnormal pixel value with the output of the normal pixel adjacent to the abnormal pixel. Here, the motion region extraction unit 40 performs motion region extraction (by processing such as extracting the outline of the moving region by taking a frame difference), and the region angular velocity calculating unit 41 calculates the angular velocity of the extracted moving region. The region angular velocity threshold determination unit 42 determines whether or not the angular velocity exceeds a set threshold. For a scene where the angular velocity of the moving region is equal to or less than the threshold, that is, a slowly moving scene, the frame integration unit 43 Perform frame integration. At this time, the replacement cancellation address of the excessive noise pixel is instructed to the excessive noise pixel determination unit 22 to cancel the replacement process.
さらに、視野内の空間周波数分析(複数の空間フィルタ処理結果を用いたり、FFTを適用したりする)を空間周波数分析部４５が行い、高空間周波数成分分析(設定した空間周波数閾値より高空間周波数成分の度数や振幅を調べる)を高空間周波数成分分析部４６が行い、高空間周波数成分が設定された(度数や振幅の)閾値を超えているか否かの判定を高空間周波数成分閾値判定部４７が行う。そして、高周波数成分(の度数や振幅)が閾値を超えていないなら、すなわち高空間周波数成分が少ないシーンに対しては、空間積分部４８が空間積分を行う。このとき、ノイズ過大画素の置換解除アドレスをノイズ過大画素判定部２２に指示して置換処理を解除する。 Furthermore, the spatial frequency analysis unit 45 performs spatial frequency analysis within the field of view (using a plurality of spatial filter processing results or applying FFT), and high spatial frequency component analysis (higher spatial frequency than the set spatial frequency threshold). The high spatial frequency component analysis unit 46 conducts (examines the frequency and amplitude of the component), and determines whether or not the high spatial frequency component exceeds a set threshold (of frequency and amplitude). 47 does. If the high frequency component (the frequency and amplitude thereof) does not exceed the threshold value, that is, for a scene with few high spatial frequency components, the spatial integration unit 48 performs spatial integration. At this time, the replacement cancellation address of the excessive noise pixel is instructed to the excessive noise pixel determination unit 22 to cancel the replacement process.
図６は、第３の実施形態の処理の流れを示すフローチャートである。
ステップＳ５０において、補正前の画像を入力する。ステップＳ５１において、移動領域検出をフレーム差分をとるなどして行う。ステップＳ５２において、移動角速度を算出する。ステップＳ５３において、移動角速度の絶対値は閾値を越えているか否かを判断する。ステップＳ５３の判断がＹｅｓの場合には、ステップＳ５５に進む。ステップＳ５３の判断がＮｏの場合には、ノイズ過大画素の置換処理を解除し、そのノイズ過大画素についてフレーム積分を行う。
FIG. 6 is a flowchart showing the flow of processing of the third embodiment.
In step S50, an image before correction is input. In step S51, the moving area is detected by taking a frame difference or the like. In step S52, the moving angular velocity is calculated. In step S53, it is determined whether or not the absolute value of the moving angular velocity exceeds a threshold value. If the determination in step S53 is Yes, the process proceeds to step S55. If the determination in step S53 is No, the process of replacing the excessive noise pixel is canceled, and frame integration is performed for the excessive noise pixel.
ステップＳ５５においては、高空間周波数成分の頻度や強度が閾値を超えているか否かを判断する。ステップＳ５５の判断がＹｅｓの場合には、ステップＳ５７に進む。ステップＳ５５の判断がＮｏの場合には、ステップＳ５６において、ノイズ過大画素への置換処理を解除し、ノイズ過大画素について空間積分を行う。ステップＳ５７において、補正画像を出力する。 In step S55, it is determined whether the frequency and intensity of the high spatial frequency component exceed a threshold value. If the determination in step S55 is yes, the process proceeds to step S57. If the determination in step S55 is No, in step S56, the replacement process with the excessive noise pixel is canceled, and spatial integration is performed for the excessive noise pixel. In step S57, the corrected image is output.
図７は、フレーム積分を用いる手法について説明する図である。
図7は、フレーム積分の機能ブロック図である。図７において、図１２と同じ構成には同じ参照符号を付し、説明を省略する。図１２における従来のフレーム積分のための構成に積分回数データメモリ５０とフレーム積分を要する画素のアドレスを積分回数判定部３２に送るアドレス生成部５１を設ける。そして、赤外検知器のアドレス生成部５１が生成したアドレスの画素の出力の更新を、積分回数データメモリ５０の積分回数分だけ、所定フレーム加算するように構成している。フレーム積分を必要としない（積分回数が1）の画素については、感度補正/欠陥画素置換部４９から転送されたデータを直接表示回路３３のフレームメモリへ送る。
FIG. 7 is a diagram illustrating a method using frame integration.
FIG. 7 is a functional block diagram of frame integration. In FIG. 7, the same components as those in FIG. 12 is provided with an integration number data memory 50 and an address generation unit 51 that sends addresses of pixels that require frame integration to the integration number determination unit 32. The output of the pixel at the address generated by the address generation unit 51 of the infrared detector is configured to add a predetermined number of frames by the number of integrations in the integration number data memory 50. For pixels that do not require frame integration (the number of integrations is 1), the data transferred from the sensitivity correction / defective pixel replacement unit 49 is sent directly to the frame memory of the display circuit 33.
図８に、フレーム積分を必要とする画素のアドレスと回数を取得する機能のブロック図を示す。
図８において、光学系１０の前に基準熱源６０（均一な温度の低温側の入射を実現する熱源）を置いた状態で、感度補正/欠陥画素置換部４９から送られてきたデータに対して、フレーム積分を必要とする画素、および、その積分回数を抽出する機能を説明する図である。加算処理部６１は、フレーム単位で積分を行なうフレーム積分機能をもったブロックである（加算処理については図１２に示した従来例と同様）。フレームデータメモリ1、およびフレームデータメモリ２の検知データ１、２は、積分後のデータを連続して２回分取り込む機能をもつ。たとえば1回積分する場合にはフレームデータメモリ1には1フレーム目の、フレームデータメモリ2には2フレーム目の検知データが格納される。また2回積分することにすると、フレームデータメモリ1には、1フレーム目と2フレーム目の加算・平均処理後の検知データ、フレームデータメモリ2には3フレーム目と4フレーム目の加算・平均処理後の検知データが格納される（それぞれのフレームデータメモリに格納されているデータを検知データ1、および、検知データ2と称する）。減算処理部６２では、検知データ2と検知データ1の差分が計算され、結果が閾値判定部６３へ送られる。閾値判定部６３では、判定結果として、積分回数データ、画素のアドレス、処理終了判定部６４への信号（「0」か「1」）を送る。処理終了判定部６４は全てのデータが「1」となっているフレームメモリと、その制御部からなるブロックである。閾値判定部６３では、あらかじめ設定された閾値との大小を判定し、ある画素に関する差分が閾値より小さければ、その画素のアドレス、積分回数、および、処理終了判定部６４への符号（0）を送る。また、大きければ、アドレスと積分回数を記録すると共に、処理終了判定部６４に「1」を送る。処理終了判定部６４は、自分のフレームメモリ内の、送られてきた画素のアドレスに対応するアドレスに、閾値判定部６３からの符号を設定するようにする。ここで得られる積分回数と、画素のアドレスは、図７の積分回数データメモリ５０とアドレス生成部５１に与えられる。
FIG. 8 shows a block diagram of a function for acquiring the address and the number of pixels that require frame integration.
In FIG. 8, with respect to the data sent from the sensitivity correction / defective pixel replacement unit 49 in a state where a reference heat source 60 (a heat source that realizes incidence on the low temperature side of a uniform temperature) is placed in front of the optical system 10. It is a figure explaining the function which extracts the pixel which requires frame integration, and the frequency | count of the integration. The addition processing unit 61 is a block having a frame integration function for performing integration in units of frames (the addition processing is the same as the conventional example shown in FIG. 12). The detection data 1 and 2 in the frame data memory 1 and the frame data memory 2 have a function of taking in the data after integration twice continuously. For example, when integrating once, the frame data memory 1 stores detection data of the first frame, and the frame data memory 2 stores detection data of the second frame. In addition, if integration is performed twice, the frame data memory 1 stores the detection data after addition and averaging processing for the first and second frames, and the frame data memory 2 adds and averages the third and fourth frames. Detection data after processing is stored (data stored in each frame data memory is referred to as detection data 1 and detection data 2). In the subtraction processing unit 62, the difference between the detection data 2 and the detection data 1 is calculated, and the result is sent to the threshold value determination unit 63. The threshold determination unit 63 sends integration number data, pixel addresses, and a signal (“0” or “1”) to the processing end determination unit 64 as determination results. The processing end determination unit 64 is a block composed of a frame memory in which all data is “1” and its control unit. The threshold determination unit 63 determines the magnitude of a predetermined threshold. If the difference regarding a certain pixel is smaller than the threshold, the pixel address, the number of integrations, and the code (0) to the processing end determination unit 64 are set. send. If larger, the address and the number of integrations are recorded, and “1” is sent to the processing end determination unit 64. The processing end determination unit 64 sets the code from the threshold determination unit 63 to an address corresponding to the address of the transmitted pixel in its own frame memory. The integration number and the pixel address obtained here are given to the integration number data memory 50 and the address generation unit 51 shown in FIG.
はじめに1回の積分を設定しておき、閾値判定を行う。そして積分回数、アドレス、処理終了判定部６４のデータの格納が終了したところで、処理終了判定部６４にあるフレームメモリ内の全データの論理和を求める。この論理和が「1」のときには、検知器内のどこかの画素が1回の積分では閾値以上の変動をしていることを表す。論理和が「１」の信号を加算処理部６１が受け取った場合には、積分回数を2回に増やして、加算処理を行う。このときには、処理終了判定部６４において「1」が格納されている画素についてのみ閾値判定を行うようにすれば、すでに積分回数が決まっている画素についての情報更新はない。2回の積分で、処理終了判定部６４からの出力の論理和が「0」にならなければ、さらに積分回数を増やして、閾値判定を繰り返す。こうして、処理終了判定部６４内のメモリの全データの論理和が「0」になったとき、フレーム積分処理の必要な画素とその積分回数の抽出処理は終了する。 First, one integration is set, and threshold judgment is performed. When the storage of the number of integrations, the address, and the processing end determination unit 64 is completed, a logical sum of all data in the frame memory in the processing end determination unit 64 is obtained. When this logical sum is “1”, it means that some pixel in the detector fluctuates more than a threshold value in one integration. When the addition processing unit 61 receives a signal with a logical sum of “1”, the number of integrations is increased to 2 and addition processing is performed. At this time, if the threshold determination is performed only for the pixel for which “1” is stored in the process end determination unit 64, the information for the pixel for which the number of integrations has already been determined is not updated. If the logical sum of the outputs from the processing end determination unit 64 does not become “0” in two integrations, the number of integrations is further increased and the threshold determination is repeated. In this way, when the logical sum of all data in the memory in the processing end determination unit 64 becomes “0”, the extraction processing of the pixels that require frame integration processing and the number of integrations thereof is completed.
図９に空間積分の処理ブロックを示す。フレームデータメモリ１に感度補正／欠陥置換部４９によって処理されたデータを格納する。図中のアドレス生成部７１に相当する画素について、積分画素数データメモリ７０から読み出された画素数を用いて、過大ノイズ画素の周辺の画素を含めて、加算部７２で加算し、平均部７３で平均し、フレームデータメモリ２へ格納する。平均部７３は、積分画素数データメモリ７０の積分数の逆数を演算する逆数算出部７４から積分画素数の逆数を得、加算部７２からの入力をこの逆数で割って、平均処理を行う。ここで示したアドレス、および、積分画素数の抽出機能について、図１０を用いて説明する。 FIG. 9 shows a processing block for spatial integration. Data processed by the sensitivity correction / defect replacement unit 49 is stored in the frame data memory 1. The pixels corresponding to the address generation unit 71 in the figure are added by the addition unit 72 using the number of pixels read from the integral pixel number data memory 70, including pixels around the excessive noise pixel, and the average unit The result is averaged at 73 and stored in the frame data memory 2. The averaging unit 73 obtains the reciprocal number of the integral pixel number from the reciprocal number calculation unit 74 that calculates the reciprocal number of the integral number in the integral pixel number data memory 70, and divides the input from the addition unit 72 by this reciprocal number to perform the averaging process. The address shown here and the function of extracting the number of integrated pixels will be described with reference to FIG.
図１０は、空間積分を必要とする画素、およびその積分に必要な画素数の抽出について説明する図である。
図１０は、光学系の前に基準熱源６０（均一な温度の低温側の入射を実現する熱源）を置いた状態で、感度補正/欠陥画素置換部４９から送られてきたデータに対して、空間積分を必要とする画素、および、その積分に必要な画素数を抽出する機能を説明する図である。加算処理部６１は、空間積分機能をもった処理部である（加算処理については図１３に示した従来例と同様）。フレームデータメモリ1、および、フレームデータメモリ2は、空間積分後のデータを連続して2つ取り込む機能をもつ。たとえば2×2画素の加算平均した検知データを連続2フレーム、3×3画素の加算平均処理した検知データを連続2フレーム格納する（それぞれのフレームデータブロックに格納されているデータを検知データ1、および2と称する）。減算処理部６２では、検知データ２と検知データ１の差分が計算され、結果が閾値判定部６３へ送られる。閾値判定部６３では、判定結果として、積分画素数データ、画素のアドレス、処理終了判定部６４への信号（「0」か「1」）を送る。処理終了判定部６４は全てのデータが「1」となっているフレームメモリと、その制御部からなるブロックである。閾値判定部６３では、あらかじめ設定された閾値との大小を判定し、ある画素に関する差分が閾値より小さければ、その画素のアドレス、積分画素数、および処理終了判定部６４への符号（0）を送る。また、大きければ、アドレスと積分画素数数を記録すると共に、処理終了判定部６４に「1」を送る。処理終了判定部６４は、自分のフレームメモリの、送られてきた画素のアドレスに対応するアドレスに、送られてきた符号を格納する。ここで得られる積分画素数と画素のアドレスは、図９の積分画素数データメモリ７０とアドレス生成部７１に与えられる。
FIG. 10 is a diagram for explaining extraction of pixels that require spatial integration and the number of pixels necessary for the integration.
FIG. 10 shows the data sent from the sensitivity correction / defective pixel replacement unit 49 in a state where the reference heat source 60 (heat source that realizes incidence on the low temperature side of a uniform temperature) is placed in front of the optical system. It is a figure explaining the function which extracts the pixel which requires space integration, and the number of pixels required for the integration. The addition processing unit 61 is a processing unit having a spatial integration function (the addition processing is the same as the conventional example shown in FIG. 13). The frame data memory 1 and the frame data memory 2 have a function of taking in two pieces of data after spatial integration. For example, 2 x 2 pixels of averaging detection data is stored in 2 consecutive frames, 3 x 3 pixels of averaging data is stored in 2 consecutive frames (the data stored in each frame data block is detected data 1, And 2). In the subtraction processing unit 62, the difference between the detection data 2 and the detection data 1 is calculated, and the result is sent to the threshold value determination unit 63. The threshold determination unit 63 sends the integrated pixel number data, the pixel address, and a signal (“0” or “1”) to the processing end determination unit 64 as determination results. The processing end determination unit 64 is a block composed of a frame memory in which all data is “1” and its control unit. The threshold determination unit 63 determines whether the threshold value is larger or smaller than a preset threshold value. If the difference regarding a certain pixel is smaller than the threshold value, the address of the pixel, the number of integrated pixels, and the code (0) to the processing end determination unit 64 send. If larger, the address and the number of integrated pixels are recorded, and “1” is sent to the processing end determination unit 64. The processing end determination unit 64 stores the transmitted code at an address corresponding to the address of the transmitted pixel in its own frame memory. The integrated pixel number and pixel address obtained here are given to the integrated pixel number data memory 70 and the address generating unit 71 shown in FIG.
はじめに1×1画素の積分を設定しておき（すなわち空間積分を行わない設定とする）、閾値判定を行う。そして積分画素数、アドレス、処理終了判定部６４のデータの格納が終了したところで、処理終了判定部６４にあるフレームメモリ内の全データの論理和を求める。この論理和が「1」のときには、検知器内のどこかの画素が1回の積分では閾値以上の変動をしていることを表す。論理和が「１」の信号を加算処理部６１が受け取った場合には、積分画素数を2×2画素として、ふたたび加算処理を行い、その結果を連続2フレーム分格納し、閾値判定を行う。このとき処理終了判定部６４において、「1」が格納されている画素についてのみ閾値判定を行うようにすれば、すでに積分画素数数が決まっている画素についての情報更新はない。2×2画素空間積分で処理終了判定部６４からの出力の論理和が「0」にならなければ、さらに3×3、4×4画素と積分画素数を増やして閾値判定を繰り返す。こうして処理終了判定部６４内のメモリの全データの論理和が「0」になったとき、空間積分処理の必要な画素とその積分画素数の抽出処理は終了する。 First, the integration of 1 × 1 pixel is set (that is, the setting is made so that spatial integration is not performed), and threshold determination is performed. When the storage of the number of integrated pixels, the address, and the processing end determination unit 64 is completed, the logical sum of all data in the frame memory in the processing end determination unit 64 is obtained. When this logical sum is “1”, it means that some pixel in the detector fluctuates more than a threshold value in one integration. When the addition processing unit 61 receives a signal with a logical sum of “1”, the addition processing is performed again by setting the number of integration pixels to 2 × 2 pixels, the result is stored for two consecutive frames, and threshold determination is performed. . At this time, if the process end determination unit 64 performs the threshold determination only for the pixel storing “1”, there is no information update for the pixel for which the number of integrated pixels has already been determined. If the logical sum of the output from the processing end determination unit 64 does not become “0” in 2 × 2 pixel space integration, the threshold determination is repeated by increasing the number of integration pixels to 3 × 3 and 4 × 4 pixels. Thus, when the logical sum of all the data in the memory in the processing end determination unit 64 becomes “0”, the extraction processing of the pixels that require the spatial integration processing and the number of integration pixels is completed.
（付記１）
撮像されたフレームデータ中から画素値のノイズが過大な画素を抽出するノイズ過大画素抽出手段と、
該ノイズが過大な画素について、あるいは、該ノイズが過大な画素とその近傍についてのみノイズ低減処理を施すノイズ低減処理手段と、
を備えることを特徴とする撮像装置。
(Appendix 1)
Noise excessive pixel extraction means for extracting pixels with excessive pixel value noise from the captured frame data;
Noise reduction processing means for performing noise reduction processing only for pixels with excessive noise, or for pixels with excessive noise and the vicinity thereof;
An imaging apparatus comprising:
（付記２）
前記ノイズ低減処理は、撮像されたフレームデータの動き領域の角速度が所定値より小さい場合に、前記ノイズが過大な画素の画素値を複数フレームにわたって平均することを特徴とする付記１に記載の撮像装置。
(Appendix 2)
The imaging according to claim 1, wherein the noise reduction processing averages pixel values of pixels with excessive noise over a plurality of frames when an angular velocity of a motion region of the captured frame data is smaller than a predetermined value. apparatus.
（付記３）
前記ノイズ低減処理は、撮像されたフレームデータの高空間周波数成分が所定値より小さい場合に、前記ノイズが過大な画素の画素値とその近傍の画素の画素値を用いて、空間平均を行うことを特徴とする付記１に記載の撮像装置。
(Appendix 3)
In the noise reduction processing, when a high spatial frequency component of captured frame data is smaller than a predetermined value, spatial averaging is performed using a pixel value of a pixel with excessive noise and a pixel value of a neighboring pixel. The imaging apparatus according to appendix 1, characterized by:
（付記４）
前記ノイズ低減処理は、撮像されたフレームデータの動き領域の角速度が所定値より小さく、かつ、撮像されたフレームデータの高空間周波数成分が所定値より小さい場合に、前記ノイズが過大な画素の画素値を複数フレームにわたって平均すると共に、前記ノイズが過大な画素の画素値とその近傍の画素の画素値を用いて、空間平均を行うことを特徴とする付記１に記載の撮像装置。
(Appendix 4)
The noise reduction processing is performed when the angular velocity of the motion region of the captured frame data is smaller than a predetermined value and the high spatial frequency component of the captured frame data is smaller than the predetermined value. The imaging apparatus according to appendix 1, wherein the values are averaged over a plurality of frames, and spatial averaging is performed using a pixel value of a pixel with excessive noise and a pixel value of a neighboring pixel.
（付記５）
前記撮像装置は、赤外線撮像装置であることを特徴とする付記１に記載の撮像装置。
（付記６）
撮像されたフレームデータ中から画素値のノイズが過大な画素を抽出し、
該ノイズが過大な画素について、あるいは、該ノイズが過大な画素とその近傍についてのみノイズ低減処理を施す
ことを特徴とする撮像方法。
(Appendix 5)
The imaging apparatus according to appendix 1, wherein the imaging apparatus is an infrared imaging apparatus.
(Appendix 6)
Extract pixels with excessive pixel value noise from the captured frame data,
An imaging method, wherein noise reduction processing is performed only on a pixel having excessive noise, or only on a pixel having excessive noise and the vicinity thereof.
１０ 光学系
１１ 赤外検知器
１２ 周辺回路
１３ 画素オフセット
１４ 画素ゲイン
１５ ノイズ過大画素置換部
１８ 低温側データメモリ
１９ 高温側データメモリ
２０ ゲイン補正係数算出部
２１ グローバル・オフセット算出部
２２ ノイズ過大画素判定部
４０ 動き領域抽出部
４１ 領域角速度算出部
４２ 領域角速度閾値判定部
４３ フレーム積分部
４５ 空間周波数分析部
４６ 高空間周波数成分分析部
４７ 高空間周波数成分閾値判定部
４８ 空間積分部
DESCRIPTION OF SYMBOLS 10 Optical system 11 Infrared detector 12 Peripheral circuit 13 Pixel offset 14 Pixel gain 15 Noise excessive pixel replacement part 18 Low temperature side data memory 19 High temperature side data memory 20 Gain correction coefficient calculation part 21 Global offset calculation part 22 Noise excessive pixel determination Unit 40 motion region extraction unit 41 region angular velocity calculation unit 42 region angular velocity threshold determination unit 43 frame integration unit 45 spatial frequency analysis unit 46 high spatial frequency component analysis unit 47 high spatial frequency component threshold determination unit 48 spatial integration unit
Claims (5)
該ノイズが過大な画素について、あるいは、該ノイズが過大な画素とその近傍についてのみノイズ低減処理を施すノイズ低減処理手段と、
を備えることを特徴とする撮像装置。 Noise excessive pixel extraction means for extracting pixels with excessive pixel value noise from the captured frame data;
Noise reduction processing means for performing noise reduction processing only for pixels with excessive noise, or for pixels with excessive noise and the vicinity thereof;
An imaging apparatus comprising:
該ノイズが過大な画素について、あるいは、該ノイズが過大な画素とその近傍についてのみノイズ低減処理を施す、
ことを特徴とする撮像方法。 Extract pixels with excessive pixel value noise from the captured frame data,
A noise reduction process is performed only for a pixel with excessive noise, or only for a pixel with excessive noise and the vicinity thereof.
An imaging method characterized by the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006086694A JP2007266787A (en) | 2006-03-27 | 2006-03-27 | Imaging apparatus provided with process for making excessive-noise pixel usable |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006086694A JP2007266787A (en) | 2006-03-27 | 2006-03-27 | Imaging apparatus provided with process for making excessive-noise pixel usable |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2007266787A true JP2007266787A (en) | 2007-10-11 |
Family
ID=38639372
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006086694A Withdrawn JP2007266787A (en) | 2006-03-27 | 2006-03-27 | Imaging apparatus provided with process for making excessive-noise pixel usable |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2007266787A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010050607A (en) * | 2008-08-20 | 2010-03-04 | Nec Corp | Image processor, and noise reducing method and program |
| JP2014165854A (en) * | 2013-02-27 | 2014-09-08 | Nikon Corp | Image processing device, imaging device, image processing method, and image processing program |
| WO2014174794A1 (en) * | 2013-04-23 | 2014-10-30 | 日本電気株式会社 | Image capture device, image correction method, and image correction program |
-
2006
- 2006-03-27 JP JP2006086694A patent/JP2007266787A/en not_active Withdrawn
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010050607A (en) * | 2008-08-20 | 2010-03-04 | Nec Corp | Image processor, and noise reducing method and program |
| JP2014165854A (en) * | 2013-02-27 | 2014-09-08 | Nikon Corp | Image processing device, imaging device, image processing method, and image processing program |
| WO2014174794A1 (en) * | 2013-04-23 | 2014-10-30 | 日本電気株式会社 | Image capture device, image correction method, and image correction program |
| JP6036998B2 (en) * | 2013-04-23 | 2016-11-30 | 日本電気株式会社 | Imaging apparatus, image correction method, and image correction program |
| US9641765B2 (en) | 2013-04-23 | 2017-05-02 | Nec Corporation | Image capture device, image correction method, and image correction program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5052301B2 (en) | Image processing apparatus and image processing method | |
| US20120019686A1 (en) | Image synthesizing device, image synthesizing method and computer readable medium | |
| US8436910B2 (en) | Image processing apparatus and image processing method | |
| JP4127411B1 (en) | Image processing apparatus and method | |
| US20120057029A1 (en) | Capture of video with motion-speed determination and variable capture rate | |
| CN108605102B (en) | Method for improving image quality and thermal imaging device | |
| KR20110032344A (en) | High dynamic range imaging apparatus and method | |
| US20110169960A1 (en) | Video enhancement system | |
| JP6576028B2 (en) | Image processing apparatus and image processing method | |
| US8085316B2 (en) | Image-processing unit, imaging apparatus, and computer program product | |
| KR20080076004A (en) | Image pickup device and method of extending dynamic range thereof | |
| JP2007300191A (en) | Infrared image processor and infrared image processing method | |
| JP2012182626A (en) | Imaging apparatus | |
| JP2017157902A (en) | Signal processor, imaging apparatus and signal processing method | |
| WO2020090176A1 (en) | Image processing device and image processing method | |
| JP2007266787A (en) | Imaging apparatus provided with process for making excessive-noise pixel usable | |
| KR101920369B1 (en) | Apparatus and method for image processing of thermal imaging camera | |
| JP2013038591A (en) | Imaging apparatus, and control method and program therefor | |
| JP2005173879A (en) | Fused image display device | |
| JP2008311834A (en) | Defective pixel correcting device and method | |
| US9344648B2 (en) | High dynamic range imaging | |
| JP2018056892A (en) | Image processing device | |
| KR102011490B1 (en) | Contrast Stabilization Method and Device based on Thermal Image Motion Vector | |
| JP2016082390A (en) | Signal processing unit | |
| JP2015091072A (en) | Imaging apparatus, imaging system with the imaging apparatus, and false color removal method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20090602 |