JP2009207072A

JP2009207072A - 赤外線撮像装置および固定パターンノイズ補正方法

Info

Publication number: JP2009207072A
Application number: JP2008049757A
Authority: JP
Inventors: Kazuyuki Egashira; 和行江頭
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2008-02-29
Filing date: 2008-02-29
Publication date: 2009-09-10
Anticipated expiration: 2028-02-29
Also published as: EP3068131A1; KR101161518B1; EP2257047A1; JP4900283B2; US20110001830A1; EP3197149A1; KR20100126771A; EP2257047A4; WO2009107471A1

Abstract

【課題】赤外線撮像装置および被写体を移動させることなく、赤外線センサに入射される赤外光を変化させて、安定したシーンベースドＦＰＮ補正を行う。
【解決手段】本発明は、赤外光を集光する赤外線レンズと、該集光された赤外光を検知する赤外線センサと、赤外線センサの出力信号から、画素ごとの固定パターンノイズを除去して画像信号を得る画像信号出力部と、を有する赤外線撮像装置に適用される。この赤外線撮像装置は、赤外線センサに入射される赤外光に対する赤外線センサの視野を変化させるセンサ視野制御部と、赤外線センサの視野を変化させた時の赤外線センサの出力信号の輝度を基に、画素ごとの固定パターンノイズを求める全体制御部と、を有している。
【選択図】図１

Description

本発明は、赤外線撮像装置および固定パターンノイズ補正方法に関する。

赤外線カメラ等の赤外線撮像装置は、被写体からの赤外光を赤外線レンズにて集光し、その集光された赤外光を赤外線センサにて検知する構成になっている。

ところが、赤外線センサには、出力信号の輝度が画素ごとにばらつくという問題点がある。この問題は、赤外線センサの出力信号に含まれているＦＰＮ（Fixed Pattern Noise：固定パターンノイズ）が、画素ごとに異なることに起因している。

したがって、赤外線撮像装置において、画像の画質を確保するためには、赤外線センサの出力信号からＦＰＮを除去しなければならず、そのためには、ＦＰＮを補正する必要がある。この補正は、ＦＰＮ補正と称されている。

赤外線撮像装置におけるＦＰＮ補正の手法としては、赤外線センサに入射される赤外光の変化に応じて、赤外線センサの出力信号の輝度が変化することを利用して、ＦＰＮ補正を行う手法がある。このＦＰＮ補正は、シーンベースドＦＰＮ補正（Scene-based FPN correction）またはシーンベースドＮＵＣ（Scene-based Nonuniformity Correction）と称されている。

なお、シーンベースドＦＰＮ補正において、赤外線センサに入射される赤外光の変化に応じた赤外線センサの出力信号の輝度の変化を基に、画素ごとのＦＰＮを求める方法は、非特許文献１，２に詳しく開示されている。
"An algebraic restoration method for estimating fixed-pattern noise in infrared imagery from a video sequence", Unal Sakoglu, Russell C. Hardie, Majeed M. Hayat, Bradley M. Ratliff and J. Scott Tyo, Department of Electrical and Computer Engineering, University of New Mexico, Albuquerque, NM, USA 87131-0001, Department of Electrical and Computer Engineering, University of Dayton, Dayton, OH,USA 45469-0226 "Generalized Algebraic Algorithm for Scene-based Nonuniformity Correction", Majeed M. Hayat, Bradley M. Ratliff, J. Scott Tyo and Kamil Agi, University of New Mexico, Department of Electrical and Computer Engineering, Albuquerque, NM, USA 87131, K & A Wireless LLC, 2617 Juan Tabo, NE., Suite A, Albuquerque, NM, USA 87112

ところで、赤外線撮像装置においては、シーンベースドＦＰＮ補正を行う場合、通常、赤外線センサに入射される赤外光の変化を、赤外線撮像装置自体または被写体の移動に求めていた。

しかし、赤外線撮像装置の移動には、赤外線撮像装置の大きさに応じた大きな動力が必要となるため、赤外線撮像装置の外部構造が制限されてしまう。

また、被写体の移動に期待する場合、被写体の移動がシーンベースドＦＰＮ補正に適さないと、求めるＦＰＮが不適切なものになってしまう。

したがって、赤外線撮像装置においては、赤外線撮像装置および被写体を移動させることなく、赤外線センサに入射される赤外光を変化させて、安定したシーンベースドＦＰＮ補正を行うことが重要な課題となっている。

そこで、本発明の目的は、上述した課題を解決することができる赤外線撮像装置および固定パターンノイズ補正方法を提供することにある。

本発明の赤外線撮像装置は、
赤外光を集光する赤外線レンズと、該集光された赤外光を検知する赤外線センサと、前記赤外線センサの出力信号から、画素ごとの固定パターンノイズを除去して画像信号を得る画像信号出力部と、を有してなる赤外線撮像装置であって、
前記赤外線センサに入射される赤外光に対する該赤外線センサの視野を変化させるセンサ視野制御部と、
前記赤外線センサの視野を変化させた時の該赤外線センサの出力信号の輝度を基に、画素ごとの固定パターンノイズを求める全体制御部と、を有する。

本発明の固定パターンノイズ補正方法は、
赤外線レンズにて集光された赤外光を検知する赤外線センサの出力信号から、画素ごとの固定パターンノイズを除去して画像信号を得る赤外線撮像装置による固定パターンノイズ補正方法であって、
前記赤外線センサに入射される赤外光に対する該赤外線センサの視野を変化させるステップと、
前記赤外線センサの視野を変化させた時の該赤外線センサの出力信号の輝度を基に、画素ごとの固定パターンノイズを求めるステップと、を有する。

本発明の赤外線撮像装置によれば、赤外線センサに入射される赤外光に対する赤外線センサの視野を変化させるセンサ視野制御部を設けている。

したがって、赤外線撮像装置および被写体を移動させることなく、赤外線センサに入射される赤外光を変化させることができるため、安定したシーンベースドＦＰＮ補正を行うことができるという効果が得られる。

以下に、本発明を実施するための最良の形態について図面を参照して説明する。

図１は、本実施形態の赤外線撮像装置の構成を示す図である。

図１に示すように、本実施形態の赤外線撮像装置は、赤外線レンズ１１と、赤外線センサ１２と、センサ視野制御部１３と、増幅部１４と、Ａ／Ｄ変換部１５と、全体制御部１６と、補償データメモリ１７と、画像信号出力部１８と、画像メモリ１９と、を有している。

赤外線レンズ１１は、被写体からの赤外光を集光する。

赤外線センサ１２は、赤外線レンズ１１にて集光された赤外光を検知する。赤外線センサ１２の出力信号は、増幅部１４にて増幅され、Ａ／Ｄ変換部１５にてデジタル信号に変換された後、全体制御部１６および画像信号出力部１８に入力される。

センサ視野制御部１３は、赤外線センサ１２に入射される赤外光に対する赤外線センサ１２の視野を変化させる。

全体制御部１６は、ＦＰＮ補正時に、センサ視野制御部１３を制御して赤外線センサ１２の視野を変化させる。そして、全体制御部１６は、赤外線センサ１２の視野を変化させた時の赤外線センサ１２の出力信号の輝度を基に、画素ごとのＦＰＮを求め、求めたＦＰＮを補償データとして補償データメモリ１７に格納する。なお、ＦＰＮ補正は、装置起動時や不図示の温度センサにて環境温度の変化が検知された時などに自動的に行われる。

画像信号出力部１８は、赤外線センサ１２の出力信号を、補償データメモリ１７に格納された補償データを基に、ＦＰＮを除去し補償することで画像信号を得て、得られた画像信号を画像メモリ１９に格納する。画像メモリ１９に格納された画像信号は、不図示のインタフェースを介して表示装置等へ出力される。

上述したように本実施形態においては、赤外線センサ１２に入射される赤外光に対する赤外線センサ１２の視野を変化させるセンサ視野制御部１３を設けている。

したがって、赤外線撮像装置および被写体を移動させることなく、赤外線センサ１２に入射される赤外光を変化させることができるため、安定したシーンベースドＦＰＮ補正を行うことができる。

なお、本実施形態の特徴は、センサ視野制御部１３により赤外線センサ１２の視野を変化させる点にあり、赤外線センサ１２の視野の変化に応じた赤外線センサ１２の出力信号の輝度の変化を基にして画素ごとのＦＰＮを求める方法は、非特許文献１，２に開示された方法を使用できるため、詳細な説明は省略する。

以下、図１に示した赤外線撮像装置の具体的な実施例について説明する。

（実施例１）
図２は、本発明の実施例１に係るセンサ視野制御部１３の構成を示す図である。

図２に示すように、本実施例に係るセンサ視野制御部１３は、屈折器２１と、屈折器角度制御部２２と、を有している。

屈折器２１は、赤外線レンズ１１と赤外線センサ１２との間に配置され、赤外線レンズ１１にて集光された赤外光を屈折させる。屈折器２１としては、赤外光を屈折させるものであれば、特に限定はなく、例えば、ゲルマニウム、カルコゲナイド、サファイア、プラスチック等の材料からなるものを使用することができる。

屈折器角度制御部２２は、屈折器２１の赤外光に対する角度を変化させる。

図３は、屈折器角度制御部２２の一構成例を示す図である。

図３に示すように、本例の屈折器角度制御部２２は、シャフト２３と、ソレノイド２４と、駆動部２５と、を有している。

シャフト２３は、屈折器２１の下部に連結された棒状のシャフトである。なお、屈折器２１の上部は、移動が上下移動のみに制限されるようになっている。

ソレノイド２４は、コイルおよびシャフト２３と一体的に動作するプランジャからなり、コイルの励磁によりプランジャが移動する構成になっている。よって、コイルの励磁によりプランジャが移動すると、屈折器２１とシャフト２３との連結部分が図３の左右方向に移動し、それにより、屈折器２１の赤外光に対する角度が変化することになる。

駆動部２５は、ソレノイド２４のコイルを励磁する。

図４は、屈折器角度制御部２２の他の構成例を示す図である。

図４に示すように、本例の屈折器角度制御部２２は、シャフト２６と、歯車２７と、駆動部２８と、を有している。

シャフト２６は、屈折器２１の下部に連結された棒状のシャフトである。また、シャフト２６には、シャフト２６の移動方向に沿って歯形２６ａが形成されている。なお、屈折器２１の上部は、移動が上下移動のみに制限されるようになっている。

歯車２７は、シャフト２６の歯形２６ａと噛み合うような構成になっている。よって、歯車２７が回転すると、屈折器２１とシャフト２３との連結部分が図４の左右方向に移動し、それにより、屈折器２１の赤外光に対する角度が変化することになる。

駆動部２８は、歯車２７を回転させる。

上述したように本実施例においては、赤外線レンズ１１と赤外線センサ１２との間に配置された屈折器２１と、屈折器２１の赤外光に対する角度を変化させる屈折器角度制御部２２と、を設けている。

このように、屈折器２１の赤外光に対する角度を変化させると、赤外光の光路が変化するため、赤外光に対する赤外線センサ１２の視野を変化させることができる。

なお、本実施例においては、屈折器２１の赤外光に対する角度は、縦、横、および斜めのいずれの方向に変化させても、赤外線センサ１２の視野を変化させることが可能である。そのため、屈折器２１の赤外光に対する角度方向は、図２〜図４に示した角度方向に限定されない。

（実施例２）
図５は、本発明の実施例２に係るセンサ視野制御部１３の構成を示す図である。

図５に示すように、本実施例に係るセンサ視野制御部１３は、赤外線レンズ１１を、赤外光の入射面を一定に保ったまま、偏心移動させるレンズ偏心移動制御部３１を有している。

図６は、レンズ偏心移動制御部３１の一構成例を示す図である。

図６に示すように、本例のレンズ偏心移動制御部３１は、レンズ保持部材３２と、歯車３３と、駆動部３４と、を有している。

レンズ保持部材３２は、自己のレンズ保持部材３２の中心に対して赤外線レンズ１１の中心が偏心するように赤外線レンズ１１を保持する。また、レンズ保持部材３２の外周には、歯形３２ａが形成されている。

歯車３２は、レンズ保持部材３２の外周の歯形３２ａと噛み合うような構成になっている。よって、歯車３２が回転すると、レンズ保持部材３２が回転し、それにより、レンズ保持部材３２に保持された赤外線レンズ１１が偏心移動することになる。

駆動部３３は、歯車３２を回転させる。

上述したように本実施例においては、赤外線レンズ１１を偏心移動させるレンズ偏心移動制御部３１を設けている。

このように、赤外線レンズ１１を偏心移動させると、赤外光の光軸が変化するため、赤外光に対する赤外線センサ１２の視野を変化させることができる。

なお、本実施例においては、レンズ偏心移動制御部３１は、フォーカス調整機構と一体とし、フォーカス調整のため赤外線レンズ１１を回転すると、赤外線レンズ１１が偏心移動し補償データを求めることができるような構造にしても良い。

（実施例３）
図７は、本発明の実施例３に係るセンサ視野制御部１３の構成を示す図である。

図７に示すように、本実施例に係るセンサ視野制御部１３は、赤外線センサ１２を、赤外光の入射面を一定に保ったまま、平行に（図７の上下方向）移動させるセンサ移動制御部４１を有している。

図８は、センサ移動制御部４１を図７のＸ方向から見た図であり、また、図９は、センサ移動制御部４１を図７のＹ方向から見た図である。

図７〜図９に示すように、本例のセンサ移動制御部４１は、ガイド溝４２と、ガイドレール４３と、アクチュエータ４４と、駆動部４５と、を有している。

ガイド溝４２は、赤外線センサ１２の、赤外線レンズ１１との対向面の裏面に、取り付けられた、２本の平行な凹状の溝である。

ガイドレール４３は、赤外線センサ１２の裏面側に配置され、２本のガイド溝４２にそれぞれ係合する、２本の平行な凸状のレールである。

アクチュエータ４４は、赤外線センサ１２を、赤外光の入射面を一定に保ったまま、ガイドレール４３に沿って平行に移動させる。

例えば、アクチュエータ４４は、電圧の印加により伸縮するピエゾ素子等の圧電素子とすることができる。この場合、電圧の印加により圧電素子が伸縮すると、それに伴い赤外線センサ１２が図７の上下方向に移動することになる。

また、アクチュエータ４４は、コイルおよび赤外線センサ１２と一体的に動作するプランジャからなり、コイルの励磁によりプランジャが移動するソレノイドとすることもできる。この場合、コイルの励磁によりプランジャが移動すると、それに伴い赤外線センサ１２が図７の上下方向に移動することになる。

駆動部４５は、アクチュエータ４４を駆動する。例えば、駆動部４５は、アクチュエータ４４が圧電素子の場合は、圧電素子に電圧を印加し、アクチュエータ４４がソレノイドの場合は、ソレノイドのコイルを励磁することになる。

上述したように本実施例においては、赤外線センサ１２を平行移動させるセンサ移動制御部４１を設けているため、赤外光に対する赤外線センサ１２の視野を変化させることができる。

なお、本実施例においては、赤外線センサ１２の移動方向は、縦、横、および斜めのいずれの方向であっても、赤外線センサ１２の視野を変化させることが可能である。そのため、赤外線センサ１２の移動方向は、図７〜図９に示した移動方向に限定されない。

（実施例４）
本実施例においては、センサ視野制御部１３として、実施例１に係る屈折器２１および屈折器角度制御部２２と、実施例３に係るセンサ移動制御部４１と、を組み合わせた構成とする。なお、本実施例の図面は省略する。

すなわち、本実施例においては、まず、赤外線センサ１２の前段に設けた屈折器２１の赤外光に対する角度を変化させ、さらに、赤外線センサ１２自体も平行移動させる。

このように、実施例１および実施例３に係るセンサ視野制御部１３を組み合せることにより、屈折器２１の赤外光に対する角度方向および赤外線センサ１２の移動方向をそれぞれ１つの方向だけに変化させたとしても、その組み合せに応じて、赤外線センサ１２の視野を様々な位置に変化させることが可能である。

本発明の一実施形態の赤外線撮像装置の構成を示す図である。本発明の実施例１に係るセンサ視野制御部の構成を示す図である。図２に示した屈折器角度制御部の一構成例を示す図である。図２に示した屈折器角度制御部の他の構成例を示す図である。本発明の実施例２に係るセンサ視野制御部の構成を示す図である。図５に示したレンズ偏心移動制御部の一構成例を示す図である。本発明の実施例３に係るセンサ視野制御部の構成を示す図である。図７に示したセンサ移動制御部をＸ方向から見た図である。図７に示したセンサ移動制御部をＹ方向から見た図である。

符号の説明

１１赤外線レンズ
１２赤外線センサ
１３センサ視野制御部
１４増幅部
１５Ａ／Ｄ変換部
１６全体制御部
１７補償データメモリ
１８画像信号出力部
１９画像メモリ
２１屈折器
２２屈折器角度制御部
２３シャフト
２４ソレノイド
２５駆動部
２６シャフト
２６ａ歯形
２７歯車
２８駆動部
３１レンズ偏心移動制御部
３２レンズ保持部材
３２ａ歯形
３３歯車
３４駆動部
４１センサ移動制御部
４２ガイド溝
４３ガイドレール
４４アクチュエータ
４５駆動部

Claims

赤外光を集光する赤外線レンズと、該集光された赤外光を検知する赤外線センサと、前記赤外線センサの出力信号から、画素ごとの固定パターンノイズを除去して画像信号を得る画像信号出力部と、を有してなる赤外線撮像装置であって、
前記赤外線センサに入射される赤外光に対する該赤外線センサの視野を変化させるセンサ視野制御部と、
前記赤外線センサの視野を変化させた時の該赤外線センサの出力信号の輝度を基に、画素ごとの固定パターンノイズを求める全体制御部と、を有する赤外線撮像装置。
前記センサ視野制御部は、
前記赤外線レンズと前記赤外線センサとの間に配置され、前記赤外線レンズにて集光された赤外光を屈折させる屈折器と、
前記屈折器の前記赤外光に対する角度を変化させる屈折器角度制御部と、を有する、請求項１に記載の赤外線撮像装置。
前記屈折器角度制御部は、
前記屈折器の一部に連結されたシャフトと、
コイルおよび前記シャフトと一体的に動作するプランジャからなり、該コイルの励磁により該プランジャが移動することで、前記屈折器と前記シャフトとの連結部分を移動させて該屈折器の前記赤外光に対する角度を変化させるソレノイドと、を有する、請求項２に記載の赤外線撮像装置。
前記屈折器角度制御部は、
前記屈折器の一部に連結され、移動方向に沿って歯形が形成されたシャフトと、
前記シャフトの歯形と噛み合うように回転することで、前記屈折器と前記シャフトとの連結部分を移動させて該屈折器の前記赤外光に対する角度を変化させる歯車と、を有する、請求項２に記載の赤外線撮像装置。
前記センサ視野制御部は、
前記赤外線レンズを偏心移動させるレンズ偏心移動制御部を有する、請求項１に記載の赤外線撮像装置。
前記レンズ偏心移動制御部は、
自己の中心に対して前記赤外線レンズの中心が偏心するように該赤外線レンズを保持し、外周に歯形が形成されたレンズ保持部材と、
前記レンズ保持部材の外周の歯形と噛み合うように回転することで、前記レンズ保持部材を回転させて該レンズ保持部材に保持された前記赤外線レンズを偏心移動させる歯車と、を有する、請求項５に記載の赤外線撮像装置。
前記センサ視野制御部は、
前記赤外線センサを平行移動させるセンサ移動制御部を有する、請求項１に記載の赤外線撮像装置。
前記センサ移動制御部は、
前記赤外線センサの、前記赤外線レンズとの対向面の裏面に取り付けられたガイド溝と、
前記赤外線センサの前記裏面側に配置され、前記ガイド溝に係合するガイドレールと、
前記赤外線センサを前記ガイドレールに沿って平行移動させるアクチュエータと、を有する、請求項７に記載の赤外線撮像装置。
前記アクチュエータは、電圧の印加により伸縮することで、前記赤外線センサを前記ガイドレールに沿って平行移動させる圧電素子である、請求項８に記載の赤外線撮像装置。
前記アクチュエータは、コイルおよび前記赤外線センサと一体的に動作するプランジャからなり、該コイルの励磁により該プランジャが移動することで、前記赤外線センサを前記ガイドレールに沿って平行移動させるソレノイドである、請求項８に記載の赤外線撮像装置。
前記センサ視野制御部は、
前記赤外線レンズと前記赤外線センサとの間に配置され、前記赤外線レンズにて集光された赤外光を屈折させる屈折器と、
前記屈折器の前記赤外光に対する角度を変化させる屈折器角度制御部と、
前記赤外線センサを平行移動させるセンサ移動制御部と、を有する、請求項１に記載の赤外線撮像装置。
前記屈折器角度制御部は、
前記屈折器の一部に連結されたシャフトと、
コイルおよび前記シャフトと一体的に動作するプランジャからなり、該コイルの励磁により該プランジャが移動することで、前記屈折器と前記シャフトとの連結部分を移動させて該屈折器の前記赤外光に対する角度を変化させるソレノイドと、を有する、請求項１１に記載の赤外線撮像装置。
前記屈折器角度制御部は、
前記屈折器の一部に連結され、移動方向に沿って歯形が形成されたシャフトと、
前記シャフトの歯形と噛み合うように回転することで、前記屈折器と前記シャフトとの連結部分を移動させて該屈折器の前記赤外光に対する角度を変化させる歯車と、を有する、請求項１１に記載の赤外線撮像装置。
前記センサ移動制御部は、
前記赤外線センサの、前記赤外線レンズとの対向面の裏面に取り付けられたガイド溝と、
前記赤外線センサの前記裏面側に配置され、前記ガイド溝に係合するガイドレールと、
前記赤外線センサを前記ガイドレールに沿って平行移動させるアクチュエータと、を有する、請求項１１に記載の赤外線撮像装置。
前記アクチュエータは、電圧の印加により伸縮することで、前記赤外線センサを前記ガイドレールに沿って平行移動させる圧電素子である、請求項１４に記載の赤外線撮像装置。
前記アクチュエータは、コイルおよび前記赤外線センサと一体的に動作するプランジャからなり、該コイルの励磁により該プランジャが移動することで、前記赤外線センサを前記ガイドレールに沿って平行移動させるソレノイドである、請求項１４に記載の赤外線撮像装置。
赤外線レンズにて集光された赤外光を検知する赤外線センサの出力信号から、画素ごとの固定パターンノイズを除去して画像信号を得る赤外線撮像装置による固定パターンノイズ補正方法であって、
前記赤外線センサに入射される赤外光に対する該赤外線センサの視野を変化させるステップと、
前記赤外線センサの視野を変化させた時の該赤外線センサの出力信号の輝度を基に、画素ごとの固定パターンノイズを求めるステップと、を有する固定パターンノイズ補正方法。
前記赤外線センサの視野を変化させるステップでは、
前記赤外線レンズと前記赤外線センサとの間に配置した、前記赤外光を屈折させる屈折器の前記赤外光に対する角度を変化させる、請求項１７に記載の固定パターンノイズ補正方法。
前記赤外線センサの視野を変化させるステップでは、
前記赤外線レンズを偏心移動させる、請求項１７に記載の固定パターンノイズ補正方法。
前記赤外線センサの視野を変化させるステップでは、
前記赤外線センサを平行移動させる、請求項１７に記載の固定パターンノイズ補正方法。