JP2022022530A

JP2022022530A - カメラ、画像処理方法、プログラムおよびプログラムを記録したコンピュータ読み取り可能な記録媒体

Info

Publication number: JP2022022530A
Application number: JP2020109921A
Authority: JP
Inventors: 悟山本; Satoru Yamamoto; 田鶴子北澤; Tazuko Kitazawa
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2020-06-25
Filing date: 2020-06-25
Publication date: 2022-02-07
Also published as: US20210409619A1; CN113852735A

Abstract

【課題】前景画像を正確に算出可能なカメラを提供する。【解決手段】赤外線カメラ１０は、２次元状に配置されかつ第１の波長範囲の電磁波を検出することができる撮影用素子３１を含む第１の検出部と、２次元状に配置されかつ筐体１内から放射される第２の波長範囲の電磁波における少なくとも１つの波長の電磁波を検出することができる背景用素子３２を含む第２の検出部と、背景用素子３２に対応して配置され、第２の波長範囲の電磁波を透過することができるフィルタと、第３の波長範囲の電磁波を筐体１外から筐体１内へ透過させることができるレンズ２と、第１の検出部で検出された検出値と第２の検出部で検出された検出値とから画像情報を算出することができる算出部５を備える。第１の波長範囲の少なくとも１つの波長は、第３の波長範囲の波長と重複し、第２の波長範囲は、第３の波長範囲と重複しない。【選択図】図１

Description

この発明は、カメラ、画像処理方法、プログラムおよびプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。

赤外線カメラは、赤外線を検出できる素子を二次元状に配置した検出器アレイを含む。赤外線カメラは、対象物からの赤外線の輝度を検出することができるため、これを元に対象物の温度を算出することができる。

しかし、実際に、測定したい対象物を赤外線カメラで撮影すると、対象物が放射する赤外線の像と、それ以外に起因する像とが同時に撮影されてしまうという問題がある。

この問題を解決するために、従来、特許文献１に記載の方法が知られている。即ち、対象物の画像（ｍ行ｎ列）と、基準の画像（１行ｎ列）とを同時に測定し、対象物の画像と基準の画像とを用いてオフセット補正を行う。

また、特許文献２に記載されているように、シャッターを高速で開閉する機能を用いて、シャッターを開いたときに対象物の画像を撮影し、シャッターを閉じたときにシャッター（背景）の画像を撮影し、対象物の画像に対してシャッターの画像を用いてオフセット校正を行う方法が知られている。

更に、特許文献３に記載されているように、複数の波長を時間分割で検出し、一方の波長での検出結果を用いて、他方の波長の検出結果を補正する方法が知られている。

特開２０１５－２１２６９５号公報特開２０１７－１２６８１２号公報特開平１０－２６２１７８号公報

しかし、特許文献１に記載の方法では、一次元の基準の画像から二次元の分散を算出しているため、除去できる背景の形状が限られ、背景を正確に除去できないという問題がある。

また、特許文献２に記載の方法では、高速で開閉するシャッターが必要であるため、可動部品が増え、故障が生じ易くなる可能性がある。その結果、オフセット校正を正確に行うことが困難である。

更に、特許文献３に記載の方法では、複数の波長を同時に検出できないため、正確に補正することが困難である。

そこで、この発明の実施の形態によれば、前景画像を正確に算出可能なカメラを提供する。

また、この発明の実施の形態によれば、前景画像を正確に算出可能な画像処理方法を提供する。

更に、この発明の実施の形態によれば、前景画像の正確な算出をコンピュータに実行させるためのプログラムを提供する。

更に、この発明の実施の形態によれば、前景画像の正確な算出をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。

（構成１）
この発明の実施の形態によれば、カメラは、第１の検出部と、第２の検出部と、第１の透過部材と、第２の透過部材と、算出部とを備える。第１の検出部は、２次元状に配置されかつ第１の波長範囲の電磁波を検出することができる第１の検出素子を含む。第２の検出部は、２次元状に配置されかつ筐体内から放射される第２の波長範囲の電磁波における少なくとも１つの波長の電磁波を検出することができる第２の検出素子を含む。第１の透過部材は、第２の検出素子に対応して配置され、第２の波長範囲の電磁波を透過することが可能である。第２の透過部材は、第３の波長範囲の電磁波を筐体外から筐体内へ透過させることが可能である。算出部は、第１の検出部で検出された第１の検出値と第２の検出部で検出された第２の検出値とから画像情報を算出することができる。第１の波長範囲の少なくとも１つの波長は、第３の波長範囲の波長と重複する。第２の波長範囲は、第３の波長範囲と重複しない。

（構成２）
構成１において、第１および第２の検出素子は、撮影領域において相互に異なる位置に配置される。

（構成３）
構成１または構成２において、第１の検出素子は、第２の検出素子と同じ検出素子からなり、第１の検出素子には、波長フィルタが貼られており、波長フィルタの透過波長範囲は、第１の波長範囲と同じである。

（構成４）
構成１から構成３のいずれかにおいて、第１の検出素子および第２の検出素子は、量子ドット型検出素子からなる。

なお、量子ドット型検出素子とは、光電変換部に量子トッドまたは量子井戸を用いた検出素子のことを意味する。また、量子ドットとは、１００ｎｍ以下の粒子サイズを有する半導体粒子のことを意味する。更に、量子井戸とは、１００ｎｍ以下の厚みを有する半導体膜によって構成され、量子井戸を構成する半導体よりもバンドギャップの大きい半導体で挟まれたもののことを意味する。

（構成５）
構成４において、量子ドット型検出素子は、第１の量子ドット型検出素子と、第２の量子ドット型検出素子とを含む。第１の量子ドット型検出素子は、第１の電圧が印加され、対象物から放射される電磁波を第１の波長範囲の一部を少なくとも含む第３の波長範囲で検出する。第２の量子ドット型検出素子は、第１の電圧と異なる第２の電圧が印加され、筐体内から放射される電磁波を第２の波長範囲で検出する。

（構成６）
構成１から構成５のいずれかにおいて、第１の検出素子の個数と第２の検出素子の個数との比は、第１の検出素子の個数：第２の検出素子の個数＝６４：１以下である。

（構成７）
構成１から構成６のいずれかにおいて、算出部は、第２の検出値から得られた背景画像の画素値である第１の背景画素値に基づいて撮影領域の外側の領域である画像処理領域における背景画素値である第２の背景画素値を算出する第１の処理を実行し、第１および第２の背景画素値に基づいて第１の検出素子に対応する画像における背景画素値を補間して撮影領域の全域における背景画素値である第３の背景画素値を算出する第２の処理を実行し、第１の検出素子によって検出された撮影画像の画素値である撮影画素値に基づいて第２の検出素子に対応する画像における撮影画素値を補間して撮影領域の全域における撮影画素値を算出し、その算出した撮影画素値から第３の背景画素値を除いて前景画像を算出する。

（構成８）
構成７において、第１の検出素子および第２の検出素子は、撮影領域においてＮ_ｙ行Ｎ_ｘ列の行列状に配列されている。画像処理領域は、ｋ行Ｎ_ｘ列の行列状に配列されたｋ×Ｎ_ｘ個またはＮ_ｙ行ｋ列の行列状に配列されたＮ_ｙ×ｋ個の背景画像を含み、かつ、撮影領域の行または列に沿って配置された第１の画像処理領域と、ｋ行ｋ列の行列状に配列されたｋ×ｋ個の背景画像を含み、かつ、撮影領域の対角線の延長線上に位置する第２の画像処理領域とを含む。算出部は、第１の処理において、第１の画像処理領域の背景画素値を算出すべき第１の目的背景画像と同じ行または列に配置され、かつ、第１の目的背景画像に最も近い撮影領域の背景画像を第１の背景画像としたとき、第１の背景画像と第１の目的背景画像との画像間隔である第１の画像間隔が大きくなれば、第１の背景画像の背景画素値である第４の背景画素値からの背景画素値の変化分が大きくなり、第１の画像間隔が小さくなれば第４の背景画素値からの背景画素値の変化分が小さくなるように第１の目的背景画像の背景画素値を算出する第３の処理を第１の画像処理領域内の全ての背景画像について実行するとともに、第２の画像処理領域の背景画素値を算出すべき第２の目的背景画像と同じ行に配置され、かつ、第２の目的背景画像に最も近い第１の画像処理領域の背景画像を第２の背景画像とし、第２の目的背景画像と同じ列に配置され、かつ、第２の目的背景画像に最も近い第１の画像処理領域の背景画像を第３の背景画像としたとき、第２の背景画像と第２の目的背景画像との画像間隔である第２の画像間隔が大きくなれば、第２の背景画像の背景画素値である第５の背景画素値からの背景画素値の変化分が大きくなり、第２の画像間隔が小さくなれば、第５の背景画素値からの背景画素値の変化分が小さくなるように第６の背景画素値を算出し、第３の背景画像と第２の目的背景画像との画像間隔である第３の画像間隔が大きくなれば、第３の背景画像の背景画素値である第７の背景画素値からの背景画素値の変化分が大きくなり、第３の画像間隔が小さくなれば、第７の背景画素値からの背景画素値の変化分が小さくなるように第８の背景画素値を算出し、第６の背景画素値と第８の背景画素値との平均を第２の目的背景画素の背景画素値として算出する第４の処理を第２の画像処理領域内の全ての背景画像について実行する。

（構成９）
構成８において、算出部は、第１の処理において、第３および第４の処理を実行した後にノイズ除去処理を更に実行する。

（構成１０）
構成１から構成９のいずれかにおいて、電磁波は、赤外線である。

（構成１１）
また、この発明の実施の形態によれば、画像処理方法は、複数の第２の検出素子によって検出された背景画像の画素値である第１の背景画素値に基づいて撮影領域の外側の領域である画像処理領域における背景画素値である第２の背景画素値を算出する第１のステップと、第１および第２の背景画素値に基づいて複数の第１の検出素子に対応する画像における背景画素値を補間して撮影領域の全域における背景画素値である第３の背景画素値を算出する第２のステップと、複数の第１の検出素子によって検出された撮影画像の画素値である撮影画素値に基づいて複数の第２の検出素子に対応する画像における撮影画素値を補間して撮影領域の全域における撮影画素値を算出する第３のステップと、第３のステップにおいて算出された撮影画素値から前記第３の背景画素値を除いて前景画像を算出する第４のステップと、第１のステップの実行後かつ第２のステップを実行前に、第２の背景画素値に対して、ノイズ除去を実行する第５のステップとを備える。

（構成１２）
更に、この発明の実施の形態によれば、複数の第２の検出素子によって検出された背景画像の画素値である第１の背景画素値と、複数の第１の検出素子によって検出された撮影画像の画素値である撮影画素値を受け付ける第１のステップと、第１の背景画素値に基づいて撮影領域の外側の領域である画像処理領域における背景画素値である第２の背景画素値を算出する第２のステップと、第１および第２の背景画素値に基づいて複数の第１の検出素子に対応する画像における背景画素値を補間して撮影領域の全域における背景画素値である第３の背景画素値を算出する第３のステップと、撮影画素値に基づいて複数の第２の検出素子に対応する画像における撮影画素値を補間して撮影領域の全域における撮影画素値を算出する第４のステップと、第４のステップにおいて算出された撮影画素値から第３の背景画素値を除いて前景画像を算出する第５のステップと、第２のステップの実行後かつ第３のステップを実行前に、第２の背景画素値に対して、ノイズ除去を実行する第６のステップとをコンピュータに実現させるためのプログラムである。

（構成１３）
更に、この発明の実施の形態によれば、記録媒体は、構成１２に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体である。

前景画像を正確に算出できる。

この発明の実施の形態１による赤外線カメラの概略図である。図１に示す撮影用素子および背景用素子の配列状態を示す図である。画素の概念図である。フィルタアレイと検出器アレイとの関係を示す図である。画像処理を説明するための図である。撮影画素の補間の概念図である。前処理１を説明するための図である。前処理２を説明するための図である。前景画像を算出する方法を説明するためのフローチャートである。図９のステップＳ２の詳細な動作を説明するためのフローチャートである。図９のステップＳ３の詳細な動作を説明するためのフローチャートである。図９のステップＳ４の詳細な動作を説明するためのフローチャートである。図９のステップＳ５の詳細な動作を説明するためのフローチャートである。検証実験１における画像を示す図である。検証実験１の画像処理における画像を示す図である。検証実験２における画像を示す図である。検証実験２の画像処理における画像を示す図である。実施の形態２による赤外線カメラの概略図である。図１８に示す検出器アレイの平面図である。撮影画素の他の補間の概念図である。画像処理領域２の背景画素値の別の算出方法を説明するための図である。この発明の実施の形態における赤外線の波長範囲の関係を示す概念図である。

本発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰返さない。

［実施の形態１］
図１は、この発明の実施の形態１による赤外線カメラの概略図である。図１を参照して、この発明の実施の形態１による赤外線カメラ１０は、筐体１と、レンズ２と、検出器アレイ３と、制御部４と、算出部５とを備える。検出器アレイ３は、撮影用素子３１と、背景用素子３２とを含む。

レンズ２は、筐体１の対象物３０側の側面に配置される。レンズ２は、対象物３０から放射された赤外線を集光し、特定の波長範囲（透過波長範囲）の赤外線を透過する。レンズ２を透過した赤外線は、検出器アレイ３に入射される。特定の波長範囲の赤外線を透過する機能は、必ずしもレンズ２によって実現されなくてもよく、例えば、筐体１の内部に設置された赤外線フィルタによって実現されてもよい。

検出器アレイ３は、２次元状に配列された検出器のアレイであり、検出部に含まれる。ここでは、撮影用素子３１と背景用素子３２とを含む構成としているが、撮影用素子３１（第１の検出素子）で構成される（または含む）検出器アレイを第１の検出部とし、背景用素子３２（第２の検出素子）で構成される（または含む）検出器アレイを第２の検出部とする。撮影用素子３１と背景用素子３２が別体として構成されても良い。なお、この発明の実施の形態に記載のように撮影用素子３１と背景用素子３２を一体に構成することもできる。そうすることでスペースの削減および光学部品の削減をすることができる。

撮影用素子３１は、入射した赤外線を検出波長λ１で検出し、その検出した赤外線を制御部４へ出力する。検出波長λ１は、レンズ２の透過波長範囲を含む波長で構成される。従って、検出波長λ１は、レンズ２の透過波長範囲と一致してもよい。検出波長λ１は、例えば、８～１０μｍである。

背景用素子３２は、入射した赤外線を検出波長λ２で検出し、その検出した赤外線を制御部４へ出力する。検出波長λ２は、レンズの透過波長範囲を含まない波長で構成される。従って、検出波長λ２は、検出波長λ１を含まなくてもよい。検出波長λ２は、例えば、１０～１１μｍである。

制御部４は、対象物３０の輝度と筐体１の輝度（背景の輝度）とを同時に検出するように撮影用素子３１および背景用素子３２を制御する。

また、制御部４は、撮影用素子３１から検出値Ｄ１を受け、その受けた検出値Ｄ１を算出部５へ出力するとともに、背景用素子３２から検出値Ｄ２を受け、その受けた検出値Ｄ２を算出部５へ出力する。

算出部５は、検出値Ｄ１，Ｄ２を制御部４から受け、その受けた検出値Ｄ１，Ｄ２に基づいて、後述する方法によって、前景画像を算出する。

図２は、図１に示す撮影用素子３１および背景用素子３２の配列状態を示す図である。図２においては、Ｘ－Ｙ平面を規定する。撮影用素子３１に対して背景用素子３２を縦、横それぞれに８：１以下で配置すると、撮影用素子３１の画像を損なうことなく、正確に対象物３０の画像を撮影することができる。従って、撮影用素子３１に対する背景用素子３２の割合は、６４：１以下が好ましい。

図２を参照して、撮影用素子３１および背景用素子３２は、左端・上端の検出素子を基準（０，０）とし、右端・上端の検出素子を（Ｎ_ｘ－１，０）とし、左端・下端の検出素子を（０，Ｎ_ｙ－１）とし、右端・下端の検出素子を（Ｎ_ｘ－１，Ｎ_ｙ－１）とする。

その結果、撮影用素子３１および背景用素子３２は、撮影領域ＰＨＧ＿ＲＥＧ内にＮ_ｙ行Ｎ_ｘ列の行列状（２次元状）に配列される。即ち、Ｎ_ｘ×Ｎ_ｙ個の撮影用素子３１および背景用素子３２が撮影領域ＰＨＧ＿ＲＥＧ内に配列される。Ｎ_ｘ，Ｎ_ｙの各々は、２以上の整数である。Ｎ_ｘは、Ｎ_ｙと同じあってもよく、異なっていてもよい。

そして、背景用素子３２は、行方向（Ｘ軸方向）および列方向（Ｙ軸方向）に所定の間隔で配列される。より具体的には、背景用素子３２は、行方向（Ｘ軸方向）において、撮影領域ＰＨＧ＿ＲＥＧの端部からｎ_ｘ０の間隔で配置され、隣接する背景用素子３２と間隔ｎ_ｘで配置される。また、背景用素子３２は、列方向（Ｙ軸方向）において、撮影領域ＰＨＧ＿ＲＥＧの端部からｎ_ｙ０の間隔で配置され、隣接する背景用素子３２と間隔ｎ_ｙで配置される。この場合、例えば、ｎ_ｘ０＜ｎ_ｘ、かつ、ｎ_ｙ０＜ｎ_ｙとする。但し、必ずしも、ｎ_ｘ０＜ｎ_ｘ、かつ、ｎ_ｙ０＜ｎ_ｙを満たす必要はなく、ｎ_ｘ０＞ｎ_ｘ、またはｎ_ｙ０＞ｎ_ｙの場合には、後述する前処理１および前処理２の方法で撮影領域ＰＨＧ＿ＲＥＧの画素値を補間してもよい。なお、背景用素子３２以外は、全て、撮影用素子３１である。

なお、図２に示す撮影用素子３１および背景用素子３２の配列状態は、撮影用素子３１と背景用素子３２を相互に異なる位置に配置する一実施形態であるが、このように配置することによって、対象物と背景を同時に撮影することができ、更には、背景用素子３２を撮影用素子３１と同じ検出器アレイ３に設置しているので、背景用素子３２の背景（筐体１が放射する赤外線や、検出器の温度、周囲の熱的環境に起因する）は、撮影用素子３１の背景に最も近くなる。すなわち、最も正確に撮影用素子３１の背景を除去することができる。また、筐体１内のスペースを削減することもでき、更に光学部品を削減することもできる。

図３は、画素の概念図である。図３の（ａ）は、撮影用素子３１の検出値Ｄ１を画像化した撮影画像を示し、図３の（ｂ）は、背景用素子３２の検出値Ｄ２を画像化した背景画像を示す。

撮影用素子３１の検出値Ｄ１および背景用素子３２の検出値Ｄ２を画像化すると、Ｎ_ｘ×Ｎ_ｙ画素の画像となる。

ピクセル座標は、撮影領域ＰＨＧ＿ＲＥＧと検出素子（撮影用素子３１および背景用素子３２）の番号が対応するように定める。すなわち、左端・上端のピクセル座標を（０，０）とし、右端・上端のピクセル座標を（Ｎ_ｘ－１，０）とし、左端・下端のピクセル座標を（０、Ｎ_ｙ－１）とし、右端・下端のピクセル座標は（Ｎ_ｘ－１，Ｎ_ｙ－１）とする。

この発明の実施の形態における画像処理では、撮影用素子３１の検出値Ｄ１を画像化した撮影画像と、背景用素子３２の検出値Ｄ２を画像化した背景画像とに分けて、それぞれの画像に対して適切な処理を行う。

図３（ａ）に示す撮影画像において、撮影用素子３１の検出値Ｄ１を画素値に換算したものを撮影画素値と呼ぶ。また、図３（ｂ）に示す背景画像において、背景用素子３２の検出値Ｄ２を画素値に換算したものを背景画素値と呼ぶ。

なお、図３（ａ），（ｂ）においては、各画像に対して画素値が入力された画素のみをハッチングで示し、画素値が入力されていない画素を白色で示している。

図４は、フィルタアレイと検出器アレイとの関係を示す図である。図４を参照して、検出器アレイを構成する検出素子（撮影用素子３１および背景用素子３２）は、例えば、ＩｎＧａＡｓのバンドギャップで光電変換する検出素子、サーモパイルおよびボロメータのような熱型検出器に波長フィルタを搭載した構成からなる検出素子、多層に積層した量子ドットのエネルギー準位を利用して光電変換する量子ドット型検出素子および多層に積層した量子井戸のエネルギー準位を利用して光電変換する量子井戸型検出素子等から構成される。実施の形態１では、検出波長が一定の赤外線検出素子を用いて、検出器アレイ３が構成されている。

例えば、ＩｎＧａＡｓセンサおよびボロメータ等は、検出素子によって検出波長が決まっており、検出波長を変えることができない。また、検出波長が可変の検出素子であっても、本構成によって検出器アレイ３を構成してもよい。

レンズと、フィルタアレイと検出素子の組み合わせについて説明する。図４（ａ）の構成では、レンズ２の透過波長が検出波長λ１を規定する。撮影用素子３１は、検出素子に透過フィルタが貼り合わされたものである。透過フィルタは、検出波長λ１を少なくとも透過すればよく、なくてもよい。

背景用素子３２は、検出素子に波長フィルタＦＬＴ１が貼り合わされたものである。波長フィルタＦＬＴ１は、検出波長λ２を透過し、レンズ２の透過波長範囲の赤外線を遮光する。これにより、背景用素子３２は、レンズ２の透過光、即ち、対象物３０からの赤外線を検出せず、背景のみを検出する。

図４（ｂ）の構成では、波長フィルタＦＬＴ２が検出波長λ１を規定する。撮影用素子３１は、検出素子に波長フィルタＦＬＴ２が貼り合わされたものである。波長フィルタＦＬＴ２は、検出波長λ１および検出波長λ２の一部または全ての波長を透過するフィルタとする。これによって、レンズ２の透過光を検出可能な波長フィルタＦＬＴ２と貼り合せた検出器（撮影用素子３１）と、レンズ２の透過光の影響を受けない波長フィルタＦＬＴ１と貼り合せた検出器（背景用素子３２）を構成することができる。

特に、波長フィルタＦＬＴ２の透過波長範囲が検出波長λ１と等しいとき、撮影用素子３１での検出値のうち、前景の輝度による輝度を最大とすることができるため、算出された前景の画像のＳ／Ｎが高くなる。つまり、撮影用素子３１の検出波長を波長フィルタで制限すると、撮影用素子３１に入射する対象物３０と背景の赤外線強度を調整することができ、更に、例えば、撮影用素子３１の検出波長を波長フィルタで制限することで撮影用素子３１の検出波長範囲をレンズ２の透過波長範囲と等しくすると、撮影用素子３１に入射する対象物３０の赤外線強度を最大にすると共に、撮影用素子３１に入射する背景の赤外線強度を最小にすることができる。これによって、シグナルの最大化と、ノイズの最小化ができる。即ち、Ｓ／Ｎが向上する。撮影用素子３１の検出波長範囲とレンズ２の透過波長範囲とを等しくすると、上記効果が得られるが、全く等しくすることを必要とせず、等しい範囲の割合を増やすことによって上記で述べた効果をそれに応じた程度で得ることができる。

なお、図４（ａ），（ｂ）においては、フィルタアレイの各領域は、検出器アレイの各領域に対応付けられている。

図１に示す算出部５における画像処理について説明する。図５は、画像処理を説明するための図である。

図５を参照して、撮影領域ＰＨＧ＿ＲＥＧの外側に画像処理領域１，２を設定する。画像処理領域１は、撮影領域ＰＨＧ＿ＲＥＧの行方向および列方向に沿って配置される。画像処理領域２は、撮影領域ＰＨＧ＿ＲＥＧの対角線の延長線上に配置される。撮影領域ＰＨＧ＿ＲＥＧには、背景用素子３２のみが図示されているが、背景用素子３２以外の部分には、撮影用素子３１が配列されている。

撮影領域ＰＨＧ＿ＲＥＧの上側および下側の画像処理領域１には、ｋ行Ｎ_ｘ列の行列状に配列されたｋ×Ｎ_ｘ個の画素（点線で示す画素）が配置される。また、撮影領域ＰＨＧ＿ＲＥＧの左側および右側の画像処理領域１には、Ｎ_ｙ行ｋ列の行列状に配列されたＮ_ｙ×ｋ個の画素（点線で示す画素）が配置される。

４個の画像処理領域２の各々には、ｋ行ｋ列の行列状に配列されたｋ×ｋ個の画素が配置される。

［撮影画像の画像処理］
撮影画像において、撮影用素子３１が配置されていない画素（即ち、背景用素子３２の位置と対応する画素）では、撮影画素値が欠落している。そこで、撮影領域ＰＨＧ＿ＲＥＧ内の全ての撮影画素値を算出するためには、背景用素子３２の位置と対応する画素の撮影画素値を補間する必要がある。

撮影画像において、背景用素子３２の位置と対応する画素の撮影画素値を補間する方法について説明する。

背景用素子３２が配置された画素の撮影画素値は、背景用素子３２の画素周辺の撮影画素値に基づいて補間する。

例えば、式（１）の重みパラメータを持つ奇数次元の平均化フィルタ（Ｆ_ＡＶＥ）と、背景用素子３２に対応する画素の周辺画素の撮影画素値とを用いて、式（２）に示す畳み込み演算を行うことで、背景用素子３２の位置と対応する撮影画素値を算出することができる。即ち、撮影領域ＰＨＧ＿ＲＥＧ内で欠落した撮影画素値を全て補間し、撮影画素値に欠落がない撮影画像を算出することができる。

画像の大きさをＮ_ｘ×Ｎ_ｙとすると、左端・上端のピクセル座標は、（０，０）となり、右端・上端のピクセル座標は、（Ｎ_ｘ－１，０）となり、左端・下端のピクセル座標は、（０、Ｎ_ｙ－１）となり、右端・下端のピクセル座標は、（Ｎ_ｘ－１，Ｎ_ｙ－１）となる。即ち、ピクセル座標(ｘ，ｙ)の画素値をＰ_ｘ，ｙとし、画像の少なくとも一部の画素値を式（３）のように行列で記述する。以下、これを画素値行列と呼ぶ。

つぎに、次数がｃの画像処理フィルタについて説明する。次数ｃの奇数次元の画像処理フィルタは、（２ｃ＋１）×（２ｃ＋１）行列で表される。ここで、奇数次元の画像処理フィルタの場合、列（行）のインデックスは、－ｃ、－ｃ＋１、・・・、－１、０、１、・・・ｃ－１、ｃとする。

次数ｃの偶数次元の画像処理フィルタは、２ｃ×２ｃ行列で表される。ここで、偶数次元の画像処理フィルタ行列の場合、列（行）の行列のインデックスは、－ｃ＋１、－ｃ＋２、・・・、－１、０、１、・・・ｃ－１、ｃとする。

ｃ＝１の奇数次元の画像処理フィルタを式（４）に示す。

また、ｃ＝２の偶数次元の画像処理フィルタを式（５）に示す。

各行列要素Ｆ_ａ，ｂを、重みパラメータという。フィルタインデックスａ，ｂは、上述の奇数次元の画像処理フィルタの場合、－ｃ、－ｃ＋１、・・・、－１、０、１、・・・ｃ－１、ｃであり、偶数次元の画像処理フィルタ行列の場合、－ｃ＋１、－ｃ＋２、・・・、－１、０、１、・・・ｃ－１、ｃである。

なお、ここでは、横と縦の次数ｃを揃えた場合について説明したが、必ずしも次数ｃを揃える必要はない。例えば、横の次数をｃ_ｘ、縦の次数をｃ_ｙとし、（２ｃ_ｘ＋１）×（２ｃ_ｙ＋１）行列、または２ｃ_ｘ×２ｃ_ｙ行列を画像処理フィルタとしてもよい。

また、撮影画素値の補間に使用するフィルタ方法は、上記の平均化フィルタに限らず、例えば、ガウシアンフィルタなどの平均化フィルタであっても良い。更に、ぼかしフィルタであってもよい。更に、周辺の撮影画素値に基づき、重みパラメータを推定する画像処理フィルタを使用してもよい。

奇数次元の画像処理フィルタが用いられる場合、式（２）によって畳み込み演算を行い、画像処理後のピクセル座標（ｘ，ｙ）の画素値Ｐ’_ｘ，ｙを算出する。即ち、奇数次元の画像処理フィルタは、ピクセル座標（ｘ，ｙ）の周辺の±ｃの範囲の画素に作用する。

一方、偶数次元の画像処理フィルタが用いられる場合、次の式（６）によって畳み込み演算を行う。

例えば、画像のリサイズなどで、２つの画素の間の画素に対して画素値を算出する必要がある場合には、式（５）に示す偶数次元の画像処理フィルタが用いられる。このとき、一般に、元画像のピクセル座標を算出用ピクセル座標に変換し、間のピクセル座標を小数点を含む座標値で表す。即ち、背景画像のリサイズの場合、背景画像の画素値の間隔が１となるように、ピクセル座標（ｘ，ｙ）を背景画素値の間隔ｎ_ｘ（またはｎ_ｙ）で割り、算出用ピクセル座標（ｘ＾，ｙ＾）＝（ｘ／ｎ_ｘ，ｙ／ｎ_ｙ）に変換する。

この座標系を用いて、偶数次元の次数ｃの画像処理フィルタの畳み込み演算を式（６）によって行う。即ち、偶数次元の画像処理フィルタは、算出用ピクセル座標が（ｆｌｏｏｒ（ｘ＾）－ｃ＋１からｆｌｏｏｒ（ｘ＾）＋ｃ）かつ（ｆｌｏｏｒ（ｙ＾）－ｃ＋１からｆｌｏｏｒ（ｙ＾）＋ｃ）の範囲の画素に作用する。ここで、ｆｌｏｏｒ関数は、非整数値の小数点以下を切り捨てて整数化する関数である。

最後に、画像処理後に算出用ピクセル座標（ｘ＾，ｙ＾）を元画像のピクセル座標（ｘ，ｙ）に変換する（戻す）。

図６は、撮影画素の補間の概念図である。図６を参照して、補間対象の画素の画素値は、補間対象の画素を取り囲む周辺画素の画素値と、上述した画像処理フィルタ（奇数次元の画像処理フィルタまたは偶数次元の画像処理フィルタ）とを用いて式（２）または式（６）によって畳み込み演算を行って周辺画素の画素値を平均化した値を補間対象の画素値として補間する。

［背景画像の画像処理］
背景画像において、背景用素子３２が配置されていない画素（即ち、撮影用素子３１の位置に対応する画素）は、背景画素値が入力されていない。そこで、撮影領域ＰＨＧ＿ＲＥＧ内の全ての背景画素値を算出するためには、撮影用素子３１の位置に対応する画素の背景画素値を補間する必要がある。背景画像において、撮影領域ＰＨＧ＿ＲＥＧの背景用素子３２が配置されていない背景画素値を推定する方法について説明する。

背景画素値の推定処理は、撮影領域ＰＨＧ＿ＲＥＧよりも外側（画像処理領域という）の背景画素値を推定する前処理と、撮影用素子３１の位置に対応する背景画素値を推定する後処理との２つの処理で構成される。後処理では、撮影した背景画像の背景画素値と、前処理で推定した背景画素値とを使用する。
（１）前処理
図５に示すように、撮影領域ＰＨＧ＿ＲＥＧの外側の画像処理領域１，２に画素を追加する。撮影領域ＰＨＧ＿ＲＥＧの上側および下側の画像処理領域１には、ｋ行Ｎ_ｘ列の行列状に配列されたｋ×Ｎ_ｘ個の画素（点線で示す画素）が追加される。また、撮影領域ＰＨＧ＿ＲＥＧの左側および右側の画像処理領域１には、Ｎ_ｙ行ｋ列の行列状に配列されたＮ_ｙ×ｋ個の画素（点線で示す画素）が追加される。更に、４個の画像処理領域２の各々には、ｋ行ｋ列の行列状に配列されたｋ×ｋ個の画素が追加される。その結果、撮影領域ＰＨＧ＿ＲＥＧと画像処理領域１，２とをまとめると、撮影領域ＰＨＧ＿ＲＥＧにおける背景用素子３２の間隔に対応する画素間隔で（ｆｌｏｏｒ（（Ｎ_ｘ－ｎ_ｘ０）／ｎ_ｘ）＋２ｋ）×（ｆｌｏｏｒ（（Ｎ_ｙ－ｎ_ｙ０）／ｎ_ｙ）＋２ｋ）個の背景画素が配置される。

そして、画像処理領域１における背景画素値の算出は、前処理１によって行われ、画像処理領域２における背景画素値の算出は、前処理２によって行われる。なお、ｋは、後処理に用いるフィルタの次数の和と同じ、またはフィルタの次数の和よりも大きい値に設定する必要がある。
（１－１）前処理１
画像処理領域１の背景画素値は、例えば、式（７）によって示される線形法で補間される。

式（７）において、ｓ＝１～ｋである。

図７は、前処理１を説明するための図である。図７の（ａ）においては、図５に示す２つの背景画素Ｐ_{Ｑ１＿ｂａｃｋ}，Ｐ_{Ｑ２＿ｂａｃｋ}を例にして前処理１について説明する。

図７の（ａ）を参照して、背景画素Ｐ_{Ｑ１＿ｂａｃｋ}，Ｐ_{Ｑ２＿ｂａｃｋ}は、撮影領域ＰＨＧ＿ＲＥＧ内の背景画素Ｐ_{１＿ｂａｃｋ}，Ｐ_{２＿ｂａｃｋ}と同じ列に配置された画素である。背景画素Ｐ_{２＿ｂａｃｋ}は、背景画素値を算出すべき背景画素Ｐ_{Ｑ１＿ｂａｃｋ}，Ｐ_{Ｑ２＿ｂａｃｋ}に最も近い背景画素であり、背景画素Ｐ_{１＿ｂａｃｋ}は、背景画素値を算出すべき背景画素Ｐ_{Ｑ１＿ｂａｃｋ}，Ｐ_{Ｑ２＿ｂａｃｋ}に２番目に近い背景画素である。

そして、背景画素Ｐ_{１＿ｂａｃｋ}と背景画素Ｐ_{２＿ｂａｃｋ}との画素間隔、背景画素Ｐ_{２＿ｂａｃｋ}と背景画素Ｐ_{Ｑ１＿ｂａｃｋ}との画素間隔および背景画素Ｐ_{Ｑ１＿ｂａｃｋ}と背景画素Ｐ_{Ｑ２＿ｂａｃｋ}との画素間隔は、ｎ_ｙである。

また、背景画素Ｐ_{１＿ｂａｃｋ}の背景画素値は、背景画素値Ｐ_１であり、背景画素Ｐ_{２＿ｂａｃｋ}の背景画素値は、背景画素値Ｐ_２である。

背景画素Ｐ_{Ｑ１＿ｂａｃｋ}の背景画素値Ｑ_１を算出する場合、背景画素Ｐ_{Ｑ１＿ｂａｃｋ}と、背景画素Ｐ_{Ｑ１＿ｂａｃｋ}に最も近い背景画素Ｐ_{２＿ｂａｃｋ}との画素間隔（＝ｎ_ｙ）を列方向における背景画素の画素間隔（＝ｎ_ｙ）で除算した結果をｓ（＝ｎ_ｙ／ｎ_ｙ＝１）とする。

そして、背景画素値Ｐ_１，Ｐ_２とｓ（＝１）とを式（７）に代入して背景画素値Ｑ_１（＝Ｐ_２－Ｐ_１＋Ｐ_２）を算出する。

また、背景画素Ｐ_{Ｑ２＿ｂａｃｋ}の背景画素値Ｑ_２を算出する場合、背景画素Ｐ_{Ｑ２＿ｂａｃｋ}と、背景画素Ｐ_{Ｑ２＿ｂａｃｋ}に最も近い背景画素Ｐ_{２＿ｂａｃｋ}との画素間隔（＝２×ｎ_ｙ）を列方向における背景画素の画素間隔（＝ｎ_ｙ）で除算した結果をｓ（＝２×ｎ_ｙ／ｎ_ｙ＝２）とする。

そして、背景画素値Ｐ_１，Ｐ_２とｓ（＝２）とを式（７）に代入して背景画素値Ｑ_２（＝２×（Ｐ_２－Ｐ_１）＋Ｐ_２）を算出する。

（Ｐ_２－Ｐ_１）は、背景画素Ｐ_{２＿ｂａｃｋ}の背景画素値Ｐ_２と背景画素Ｐ_{１＿ｂａｃｋ}の背景画素値Ｐ_１との画素値の変化分である。その結果、背景画素値Ｑ_１（＝Ｐ_２－Ｐ_１＋Ｐ_２）は、背景画素Ｐ_{２＿ｂａｃｋ}の背景画素値Ｐ_２を変化分（Ｐ_２－Ｐ_１）だけ変化させた画素値になり、背景画素値Ｑ_２（＝２×（Ｐ_２－Ｐ_１）＋Ｐ_２）は、背景画素Ｐ_{２＿ｂａｃｋ}の背景画素値Ｐ_２を変化分２×（Ｐ_２－Ｐ_１）だけ変化させた画素値になる。

従って、背景画素Ｐ_{２＿ｂａｃｋ}との画素間隔が大きくなれば（即ち、２×ｎ_ｙになれば）、背景画素値Ｐ_２からの画素値の変化分が大きくなるように（即ち、変化分が２×（Ｐ_２－Ｐ_１）になるように）背景画素値Ｑ_２（＝２×（Ｐ_２－Ｐ_１）＋Ｐ_２）を算出し、背景画素Ｐ_{２＿ｂａｃｋ}との画素間隔が小さくなれば（即ち、ｎ_ｙになれば）、背景画素値Ｐ_２からの画素値の変化分が小さくなるように（即ち、変化分が（Ｐ_２－Ｐ_１）になるように）背景画素値Ｑ_１（＝（Ｐ_２－Ｐ_１）＋Ｐ_２）を算出する。

図７の（ｂ）においては、図５に示す２つの背景画素Ｐ_{Ｑ’１＿ｂａｃｋ}，Ｐ_{Ｑ’２＿ｂａｃｋ}を例にして前処理１について説明する。

図７の（ｂ）を参照して、背景画素Ｐ_{Ｑ’１＿ｂａｃｋ}，Ｐ_{Ｑ’２＿ｂａｃｋ}は、撮影領域ＰＨＧ＿ＲＥＧ内の背景画素Ｐ_{１’＿ｂａｃｋ}，Ｐ_{２’＿ｂａｃｋ}と同じ行に配置された画素である。背景画素Ｐ_{２’＿ｂａｃｋ}は、背景画素値を算出すべき背景画素Ｐ_{Ｑ’１＿ｂａｃｋ}，Ｐ_{Ｑ’２＿ｂａｃｋ}に最も近い背景画素であり、背景画素Ｐ_{１’＿ｂａｃｋ}は、背景画素値を算出すべき背景画素Ｐ_{Ｑ’１＿ｂａｃｋ}，Ｐ_{Ｑ’２＿ｂａｃｋ}に２番目に近い背景画素である。

そして、背景画素Ｐ_{１’＿ｂａｃｋ}と背景画素Ｐ_{２’＿ｂａｃｋ}との画素間隔、背景画素Ｐ_{２’＿ｂａｃｋ}と背景画素Ｐ_{Ｑ’１＿ｂａｃｋ}との画素間隔および背景画素Ｐ_{Ｑ’１＿ｂａｃｋ}と背景画素Ｐ_{Ｑ’２＿ｂａｃｋ}との画素間隔は、ｎ_ｘである。

また、背景画素Ｐ_{１’＿ｂａｃｋ}の背景画素値は、背景画素値Ｐ_１’であり、背景画素Ｐ_{２’＿ｂａｃｋ}の背景画素値は、背景画素値Ｐ_２’である。

背景画素Ｐ_{Ｑ’１＿ｂａｃｋ}の背景画素値Ｑ’_１を算出する場合、背景画素Ｐ_{Ｑ’１＿ｂａｃｋ}と、背景画素Ｐ_{Ｑ’１＿ｂａｃｋ}に最も近い背景画素Ｐ_{２‘＿ｂａｃｋ}との画素間隔（＝ｎ_ｘ）を行方向における背景画素の画素間隔（＝ｎ_ｘ）で除算した結果をｓ（＝ｎ_ｘ／ｎ_ｘ＝１）とする。

そして、背景画素値Ｐ_１’，Ｐ_２’とｓ（＝１）とを式（７）に代入して背景画素値Ｑ’_１（＝Ｐ_２’－Ｐ_１’＋Ｐ_２’）を算出する。

また、背景画素Ｐ_{Ｑ’２＿ｂａｃｋ}の背景画素値Ｑ’_２を算出する場合、背景画素Ｐ_{Ｑ’２＿ｂａｃｋ}と、背景画素Ｐ_{Ｑ’２＿ｂａｃｋ}に最も近い背景画素Ｐ_{２’＿ｂａｃｋ}との画素間隔（＝２×ｎ_ｘ）を行方向における背景画素の画素間隔（＝ｎ_ｘ）で除算した結果をｓ（＝２×ｎ_ｘ／ｎ_ｘ＝２）とする。

そして、背景画素値Ｐ_１’，Ｐ_２’とｓ（＝２）とを式（７）に代入して背景画素値Ｑ’_２（＝２（Ｐ_２’－Ｐ_１’）＋Ｐ_２’）を算出する。

（Ｐ_２’－Ｐ_１’）は、背景画素Ｐ_{２’＿ｂａｃｋ}の背景画素値Ｐ_２’と背景画素Ｐ_{１’＿ｂａｃｋ}の背景画素値Ｐ_１’との変化分である。その結果、背景画素値Ｑ’_１（＝Ｐ_２’－Ｐ_１’＋Ｐ_２’）は、背景画素Ｐ_{２’＿ｂａｃｋ}の背景画素値Ｐ_２’を変化分（Ｐ_２’－Ｐ_１’）だけ変化させた画素値になり、背景画素値Ｑ’_２（＝２（Ｐ_２’－Ｐ_１’）＋Ｐ_２’）は、背景画素Ｐ_{２’＿ｂａｃｋ}の背景画素値Ｐ_２’を変化分２×（Ｐ_２’－Ｐ_１’）だけ変化させた画素値になる。

従って、背景画素Ｐ_{２’＿ｂａｃｋ}との画素間隔が大きくなれば（即ち、２×ｎ_ｘになれば）、背景画素値Ｐ_２’からの画素値の変化分が大きくなるように（即ち、変化分が２（Ｐ_２’－Ｐ_１’）になるように）背景画素値Ｑ’_２（＝２（Ｐ_２’－Ｐ_１’）＋Ｐ_２’）を算出し、背景画素Ｐ_{２’＿ｂａｃｋ}との画素間隔が小さくなれば（即ち、ｎ_ｘになれば）、背景画素値Ｐ_２’からの画素値の変化分が小さくなるように（即ち、変化分が（Ｐ_２’－Ｐ_１’）になるように）背景画素値Ｑ’_１（＝（Ｐ_２’－Ｐ_１’）＋Ｐ_２’）を算出する。

撮影領域ＰＨＧ＿ＲＥＧの上側および下側に配置された画像処理領域１においては、図７の（ａ）において説明した方法によって画像処理領域１の全ての背景画素の背景画素値を算出し、撮影領域ＰＨＧ＿ＲＥＧの左側および右側に配置された画像処理領域１においては、図７の（ｂ）において説明した方法によって画像処理領域１の全ての背景画素の背景画素値を算出する。

なお、前処理１における背景画素値の補間方法は、式（７）に示す方法に限らず、例えば、撮影領域ＰＨＧ＿ＲＥＧの背景画素値の変化を２次（または高次）の変化を考慮して推定してもよい。
（１－２）前処理２
画像処理領域２の背景画素値の算出方法について説明する。画像処理領域２の背景画素値は、例えば、式（８）によって示される線形法で補間される。

なお、式（８）において、ｔ，ｕの各々は、ｔ＝１～ｋ、ｕ＝１～ｋである。

図８は、前処理２を説明するための図である。図８においては、図５に示す２つの背景画素Ｐ_Ｒｔｕ１，Ｐ_Ｒｔｕ２を例にして前処理１について説明する。

図８を参照して、背景画素Ｐ_Ｒｔｕ１は、画像処理領域１内の背景画素Ｐ_{Ｑ１＿ｂａｃｋ}，Ｐ_{Ｑ２＿ｂａｃｋ}と同じ列に配置され、かつ、画像処理領域１内の背景画素Ｐ_{Ｑｂ＿ｂａｃｋ}，Ｐ_{Ｑａ＿ｂａｃｋ}と同じ行に配置された画素である。背景画素Ｐ_{Ｑ２＿ｂａｃｋ}，Ｐ_{Ｑｂ＿ｂａｃｋ}は、算出すべき背景画素Ｐ_Ｒｔｕ１に最も近い背景画素であり、背景画素Ｐ_{Ｑ１＿ｂａｃｋ}，Ｐ_{Ｑａ＿ｂａｃｋ}は、算出すべき背景画素Ｐ_Ｒｔｕ１に２番目に近い背景画素である。

そして、背景画素Ｐ_{Ｑ１＿ｂａｃｋ}と背景画素Ｐ_{Ｑ２＿ｂａｃｋ}との画素間隔および背景画素Ｐ_{Ｑ２＿ｂａｃｋ}と背景画素Ｐ_Ｒｔｕ１との画素間隔は、ｎ_ｙである。また、背景画素Ｐ_{Ｑａ＿ｂａｃｋ}と背景画素Ｐ_{Ｑｂ＿ｂａｃｋ}との画素間隔および背景画素Ｐ_{Ｑｂ＿ｂａｃｋ}と背景画素Ｐ_Ｒｔｕ１との画素間隔は、ｎ_ｘである。

また、背景画素Ｐ_{Ｑ１＿ｂａｃｋ}の背景画素値は、背景画素値Ｑ_１であり、背景画素Ｐ_{Ｑ２＿ｂａｃｋ}の背景画素値は、背景画素値Ｑ_２である。

更に、背景画素Ｐ_{Ｑａ＿ｂａｃｋ}の背景画素値は、背景画素値Ｑ_ａであり、背景画素Ｐ_{Ｑｂ＿ｂａｃｋ}の背景画素値は、背景画素値Ｑ_ｂである。

背景画素Ｐ_Ｒｔｕ１の背景画素値Ｒ_ｔｕ１を算出する場合、背景画素Ｐ_Ｒｔｕ１と、背景画素Ｐ_Ｒｔｕ１に最も近い背景画素Ｐ_{Ｑｂ＿ｂａｃｋ}との画素間隔（＝ｎ_ｘ）を行方向における背景画素の画素間隔（＝ｎ_ｘ）で除算した結果をｕ（＝ｎ_ｘ／ｎ_ｘ＝１）とする。

そして、背景画素値Ｑ_ａ，Ｑ_ｂとｕ（＝１）とを式（８ｃ）に代入して背景画素値Ｑ_ｕ１（＝Ｑ_ｂ－Ｑ_ａ＋Ｑ_ｂ）を算出する。

また、背景画素Ｐ_Ｒｔｕ１と、背景画素Ｐ_Ｒｔｕ１に最も近い背景画素Ｐ_{Ｑ２＿ｂａｃｋ}との画素間隔（＝ｎ_ｙ）を列方向における背景画素の画素間隔（＝ｎ_ｙ）で除算した結果をｔ（＝ｎ_ｙ／ｎ_ｙ＝１）とする。

そして、背景画素値Ｑ_１，Ｑ_２とｔ（＝１）とを式（８ｂ）に代入して背景画素値Ｑ_ｔ１（＝Ｑ_２－Ｑ_１＋Ｑ_２）を算出する。

そうすると、背景画素値Ｑ_ｕ１（＝Ｑ_ｂ－Ｑ_ａ＋Ｑ_ｂ）と背景画素値Ｑ_ｔ１（＝Ｑ_２－Ｑ_１＋Ｑ_２）とを式（８ａ）に代入して背景画素値Ｒ_ｔｕ１を算出する。このように、背景画素値Ｒ_ｔｕ１は、行方向における背景画素値Ｑ_ａ，Ｑ_ｂから算出した背景画素値Ｑ_ｕ１と、列方向における背景画素値Ｑ_１，Ｑ_２から算出した背景画素値Ｑ_ｔ１との平均として算出される。

背景画素Ｐ_Ｒｔｕ２は、画像処理領域１内の背景画素Ｐ_{Ｑ’１＿ｂａｃｋ}，Ｐ_{Ｑ’２＿ｂａｃｋ}と同じ列に配置され、かつ、画像処理領域１内の背景画素Ｐ_{Ｑｂ＿ｂａｃｋ}，Ｐ_{Ｑａ＿ｂａｃｋ}と同じ行に配置された画素である。

背景画素Ｐ_{Ｑ’２＿ｂａｃｋ}，Ｐ_{Ｑｂ＿ｂａｃｋ}は、算出すべき背景画素Ｐ_Ｒｔｕ２に最も近い背景画素であり、背景画素Ｐ_{Ｑ’１＿ｂａｃｋ}，Ｐ_{Ｑａ＿ｂａｃｋ}は、算出すべき背景画素Ｐ_Ｒｔｕ２に２番目に近い背景画素である。

そして、背景画素Ｐ_{Ｑ’１＿ｂａｃｋ}と背景画素Ｐ_{Ｑ’２＿ｂａｃｋ}との画素間隔および背景画素Ｐ_{Ｑ’２＿ｂａｃｋ}と背景画素Ｐ_Ｒｔｕ２との画素間隔は、ｎ_ｙである。また、背景画素Ｐ_{Ｑａ＿ｂａｃｋ}と背景画素Ｐ_{Ｑｂ＿ｂａｃｋ}との画素間隔、背景画素Ｐ_{Ｑｂ＿ｂａｃｋ}と背景画素Ｐ_Ｒｔｕ１との画素間隔、および背景画素Ｐ_Ｒｔｕ１と背景画素Ｐ_Ｒｔｕ２との画素間隔は、ｎ_ｘである。

また、背景画素Ｐ_{Ｑ’１＿ｂａｃｋ}の背景画素値は、背景画素値Ｑ’_１であり、背景画素Ｐ_{Ｑ’２＿ｂａｃｋ}の背景画素値は、背景画素値Ｑ’_２である。

背景画素Ｐ_Ｒｔｕ２の背景画素値Ｒ_ｔｕ２を算出する場合、背景画素Ｐ_Ｒｔｕ２と、背景画素Ｐ_Ｒｔｕ２に最も近い背景画素Ｐ_{Ｑｂ＿ｂａｃｋ}との画素間隔（＝２×ｎ_ｘ）を行方向における背景画素の画素間隔（＝ｎ_ｘ）で除算した結果をｕ（＝２×ｎ_ｘ／ｎ_ｘ＝２）とする。

そして、背景画素値Ｑ_ａ，Ｑ_ｂとｕ（＝２）とを式（８ｃ）に代入して背景画素値Ｑ_ｕ２（＝２×（Ｑ_ｂ－Ｑ_ａ）＋Ｑ_ｂ）を算出する。

また、背景画素Ｐ_Ｒｔｕ２と、背景画素Ｐ_Ｒｔｕ２に最も近い背景画素Ｐ_Ｑ’_{２＿ｂａｃｋ}との画素間隔（＝ｎ_ｙ）を列方向における背景画素の画素間隔（＝ｎ_ｙ）で除算した結果をｔ（＝ｎ_ｙ／ｎ_ｙ＝１）とする。

そして、背景画素値Ｑ’_１，Ｑ’_２とｔ（＝１）とを式（８ｂ）に代入して背景画素値Ｑ_ｔ２（＝Ｑ’_２－Ｑ’_１＋Ｑ’_２）を算出する。

そうすると、背景画素値Ｑ_ｕ２（＝２×（Ｑ_ｂ－Ｑ_ａ）＋Ｑ_ｂ）と景画素値Ｑ_ｔ２（＝Ｑ’_２－Ｑ’_１＋Ｑ’_２）とを式（８ａ）に代入して背景画素値Ｒ_ｔｕ２を算出する。このように、背景画素値Ｒ_ｔｕ２は、行方向における背景画素値Ｑ_ａ，Ｑ_ｂから算出した背景画素値Ｑ_ｕと、列方向における背景画素値Ｑ’_１，Ｑ’_２から算出した背景画素値Ｑ_ｔとの平均として算出される。

背景画素Ｐ_Ｒｔｕ３は、画像処理領域１内の背景画素Ｐ_{Ｑ１＿ｂａｃｋ}，Ｐ_{Ｑ２＿ｂａｃｋ}と同じ列に配置され、かつ、画像処理領域１内の背景画素Ｐ_{Ｑ’ｂ＿ｂａｃｋ}，Ｐ_{Ｑ’ａ＿ｂａｃｋ}と同じ行に配置された画素である。背景画素Ｐ_{Ｑ２＿ｂａｃｋ}，Ｐ_{Ｑ’ｂ＿ｂａｃｋ}は、算出すべき背景画素Ｐ_Ｒｔｕ３に最も近い背景画素であり、背景画素Ｐ_{Ｑ１＿ｂａｃｋ}，Ｐ_{Ｑ’ａ＿ｂａｃｋ}は、算出すべき背景画素Ｐ_Ｒｔｕ３に２番目に近い背景画素である。

そして、背景画素Ｐ_{Ｑ１＿ｂａｃｋ}と背景画素Ｐ_{Ｑ２＿ｂａｃｋ}との画素間隔および背景画素Ｐ_{Ｑ２＿ｂａｃｋ}と背景画素Ｐ_Ｒｔｕ３との画素間隔は、ｎ_ｙである。また、背景画素Ｐ_{Ｑ’ａ＿ｂａｃｋ}と背景画素Ｐ_{Ｑ’ｂ＿ｂａｃｋ}との画素間隔および背景画素Ｐ_{Ｑ’ｂ＿ｂａｃｋ}と背景画素Ｐ_Ｒｔｕ３との画素間隔は、ｎ_ｘである。

更に、背景画素Ｐ_{Ｑ’ａ＿ｂａｃｋ}の背景画素値は、背景画素値Ｑ’_ａであり、背景画素Ｐ_{Ｑ’ｂ＿ｂａｃｋ}の背景画素値は、背景画素値Ｑ’_ｂである。

背景画素Ｐ_Ｒｔｕ３の背景画素値Ｒ_ｔｕ３を算出する場合、背景画素Ｐ_Ｒｔｕ３と、背景画素Ｐ_Ｒｔｕ３に最も近い背景画素Ｐ_{Ｑ’ｂ＿ｂａｃｋ}との画素間隔（＝ｎ_ｘ）を行方向における背景画素の画素間隔（＝ｎ_ｘ）で除算した結果をｕ（＝ｎ_ｘ／ｎ_ｘ＝１）とする。

そして、背景画素値Ｑ’_ａ，Ｑ’_ｂとｕ（＝１）とを式（８ｃ）に代入して背景画素値Ｑ_ｕ３（＝Ｑ’_ｂ－Ｑ’_ａ＋Ｑ’_ｂ）を算出する。

また、背景画素Ｐ_Ｒｔｕ３と、背景画素Ｐ_Ｒｔｕ３に最も近い背景画素Ｐ_{Ｑ２＿ｂａｃｋ}との画素間隔（＝２×ｎ_ｙ）を列方向における背景画素の画素間隔（＝ｎ_ｙ）で除算した結果をｔ（＝２×ｎ_ｙ／ｎ_ｙ＝２）とする。

そして、背景画素値Ｑ_１，Ｑ_２とｔ（＝２）とを式（８ｂ）に代入して背景画素値Ｑ_ｔ３（＝２×（Ｑ_２－Ｑ_１）＋Ｑ_２）を算出する。

そうすると、背景画素値Ｑ_ｕ３（＝Ｑ’_ｂ－Ｑ’_ａ＋Ｑ’_ｂ）と背景画素値Ｑ_ｔ３（＝２×（Ｑ_２－Ｑ_１）＋Ｑ_２）とを式（８ａ）に代入して背景画素値Ｒ_ｔｕ３を算出する。このように、背景画素値Ｒ_ｔｕ３は、行方向における背景画素値Ｑ’_ａ，Ｑ’_ｂから算出した背景画素値Ｑ_ｕ３と、列方向における背景画素値Ｑ_１，Ｑ_２から算出した背景画素値Ｑ_ｔ４との平均として算出される。

背景画素Ｐ_Ｒｔｕ４は、画像処理領域１内の背景画素Ｐ_{Ｑ’１＿ｂａｃｋ}，Ｐ_{Ｑ’２＿ｂａｃｋ}と同じ列に配置され、かつ、画像処理領域１内の背景画素Ｐ_{Ｑ’ｂ＿ｂａｃｋ}，Ｐ_{Ｑ’ａ＿ｂａｃｋ}と同じ行に配置された画素である。

背景画素Ｐ_{Ｑ’２＿ｂａｃｋ}，Ｐ_{Ｑ’ｂ＿ｂａｃｋ}は、算出すべき背景画素Ｐ_Ｒｔｕ４に最も近い背景画素であり、背景画素Ｐ_{Ｑ’１＿ｂａｃｋ}，Ｐ_{Ｑ’ａ＿ｂａｃｋ}は、算出すべき背景画素Ｐ_Ｒｔｕ４に２番目に近い背景画素である。

そして、背景画素Ｐ_{Ｑ’１＿ｂａｃｋ}と背景画素Ｐ_{Ｑ’２＿ｂａｃｋ}との画素間隔は、ｎ_ｙであり、背景画素Ｐ_{Ｑ’２＿ｂａｃｋ}と背景画素Ｐ_Ｒｔｕ４との画素間隔は、２×ｎ_ｙである。また、背景画素Ｐ_{Ｑ’ａ＿ｂａｃｋ}と背景画素Ｐ_{Ｑ’ｂ＿ｂａｃｋ}との画素間隔、背景画素Ｐ_{Ｑ’ｂ＿ｂａｃｋ}と背景画素Ｐ_Ｒｔｕ３との画素間隔、および背景画素Ｐ_Ｒｔｕ３と背景画素Ｐ_Ｒｔｕ４との画素間隔は、ｎ_ｘである。

また、背景画素Ｐ_{Ｑ’１＿ｂａｃｋ}の背景画素値は、背景画素値Ｑ’_１であり、背景画素Ｐ_{Ｑ’２＿ｂａｃｋ}の背景画素値は、背景画素値Ｑ’_２であり、背景画素Ｐ_{Ｑ’ａ＿ｂａｃｋ}の背景画素値は、背景画素値Ｑ’_ａであり、背景画素Ｐ_{Ｑ’ｂ＿ｂａｃｋ}の背景画素値は、背景画素値Ｑ’_ｂであ。

背景画素Ｐ_Ｒｔｕ４の背景画素値Ｒ_ｔｕ４を算出する場合、背景画素Ｐ_Ｒｔｕ４と、背景画素Ｐ_Ｒｔｕ４に最も近い背景画素Ｐ_{Ｑ’ｂ＿ｂａｃｋ}との画素間隔（＝２×ｎ_ｘ）を行方向における背景画素の画素間隔（＝ｎ_ｘ）で除算した結果をｕ（＝２×ｎ_ｘ／ｎ_ｘ＝２）とする。

そして、背景画素値Ｑ’_ａ，Ｑ’_ｂとｕ（＝２）とを式（８ｃ）に代入して背景画素値Ｑ_ｕ４（＝２×（Ｑ’_ｂ－Ｑ’_ａ）＋Ｑ’_ｂ）を算出する。

また、背景画素Ｐ_Ｒｔｕ４と、背景画素Ｐ_Ｒｔｕ４に最も近い背景画素Ｐ_Ｑ’_{２＿ｂａｃｋ}との画素間隔（＝２×ｎ_ｙ）を列方向における背景画素の画素間隔（＝ｎ_ｙ）で除算した結果をｔ（＝２×ｎ_ｙ／ｎ_ｙ＝２）とする。

そして、背景画素値Ｑ’_１，Ｑ’_２とｔ（＝２）とを式（８ｂ）に代入して背景画素値Ｑ_ｔ４（＝２×（Ｑ’_２－Ｑ’_１）＋Ｑ’_２）を算出する。

そうすると、背景画素値Ｑ_ｕ４（＝２×（Ｑ’_ｂ－Ｑ’_ａ）＋Ｑ’_ｂ）と背景画素値Ｑ_ｔ４（＝２×（Ｑ’_２－Ｑ’_１）＋Ｑ’_２）とを式（８ａ）に代入して背景画素値Ｒ_ｔｕ４を算出する。このように、背景画素値Ｒ_ｔｕ４は、行方向における背景画素値Ｑ’_ａ，Ｑ’_ｂから算出した背景画素値Ｑ_ｕ４と、列方向における背景画素値Ｑ’_１，Ｑ’_２から算出した背景画素値Ｑ_ｔ４との平均として算出される。

図８において説明した方法によって、図５に示す４個の画像処理領域２の全ての背景画素について背景画素値を算出する。

上述したように、背景画像Ｐ_Ｒｔｕ１の背景画素値Ｒ_ｔｕ１は、背景画素値Ｑ_ｕ１（＝Ｑ_ｂ－Ｑ_ａ＋Ｑ_ｂ）と背景画素値Ｑ_ｔ１（＝Ｑ_２－Ｑ_１＋Ｑ_２）との平均として算出され、背景画像Ｐ_Ｒｔｕ２の背景画素値Ｒ_ｔｕ２は、背景画素値Ｑ_ｕ２（＝２×（Ｑ_ｂ－Ｑ_ａ）＋Ｑ_ｂ）と景画素値Ｑ_ｔ２（＝Ｑ’_２－Ｑ’_１＋Ｑ’_２）との平均として算出され、背景画像Ｐ_Ｒｔｕ３の背景画素値Ｒ_ｔｕ３は、背景画素値Ｑ_ｕ３（＝Ｑ’_ｂ－Ｑ’_ａ＋Ｑ’_ｂ）と背景画素値Ｑ_ｔ３（＝２×（Ｑ_２－Ｑ_１）＋Ｑ_２）との平均として算出され、背景画像Ｐ_Ｒｔｕ４の背景画素値Ｒ_ｔｕ４は、背景画素値Ｑ_ｕ４（＝２×（Ｑ’_ｂ－Ｑ’_ａ）＋Ｑ’_ｂ）と背景画素値Ｑ_ｔ４（＝２×（Ｑ’_２－Ｑ’_１）＋Ｑ’_２）の平均として算出される。

そして、背景画素値Ｑ_ｕ１（＝Ｑ_ｂ－Ｑ_ａ＋Ｑ_ｂ）は、背景画素値Ｑ_ｂを変化分（＝Ｑ_ｂ－Ｑ_ａ）だけ変化させたものであり、背景画素値Ｑ_ｕ２（＝２×（Ｑ_ｂ－Ｑ_ａ）＋Ｑ_ｂ）は、背景画素値Ｑ_ｂを変化分（＝２×（Ｑ_ｂ－Ｑ_ａ））だけ変化させたものであり、背景画素値Ｑ_ｕ３（＝Ｑ’_ｂ－Ｑ’_ａ＋Ｑ’_ｂ）は、背景画素値Ｑ’_ｂを変化分（＝Ｑ’_ｂ－Ｑ’_ａ）だけ変化させたものであり、背景画素値Ｑ_ｔ３（＝２×（Ｑ_２－Ｑ_１）＋Ｑ_２）は、背景画素値Ｑ_２を変化分（＝Ｑ_２－Ｑ_１）だけ変化させたものであり、背景画素値Ｑ_ｕ４（＝２×（Ｑ’_ｂ－Ｑ’_ａ）＋Ｑ’_ｂ）は、背景画素値Ｑ’_ｂを変化分（＝２×（Ｑ’_ｂ－Ｑ’_ａ））だけ変化させたものであり、背景画素値Ｑ_ｔ４（＝２×（Ｑ’_２－Ｑ’_１）＋Ｑ’_２）は、背景画素値Ｑ’_２を変化分（＝２×（Ｑ’_２－Ｑ’_１））だけ変化させたものである。

従って、画像処理領域２の背景画素値Ｒ_ｔｕ１～Ｒ_ｔｕ４は、背景画像Ｐ_Ｒｔｕ１～Ｐ_Ｒｔｕ４と、背景画像Ｐ_Ｒｔｕ１～Ｐ_Ｒｔｕ４に最も近い背景画像（背景画像Ｐ_{Ｑ２＿ｂａｃｋ}，Ｐ_{Ｑ’２＿ｂａｃｋ}，Ｐ_{Ｑｂ＿ｂａｃｋ}，Ｐ_{Ｑ’ｂ＿ｂａｃｋ}のいずれか）との画素間隔が大きくなれば（即ち、２×ｎ_ｘになれば）、背景画素値（背景画素値Ｑ_２，Ｑ’_２，Ｑ_ｂ，Ｑ’_ｂのいずれか）からの画素値の変化分が大きくなるように背景画素値Ｑ_ｕ２，Ｑ_ｕ４を算出し、背景画像Ｐ_Ｒｔｕ１～Ｐ_Ｒｔｕ４と、背景画像Ｐ_Ｒｔｕ１～Ｐ_Ｒｔｕ４に最も近い背景画像（背景画像Ｐ_{Ｑ２＿ｂａｃｋ}，Ｐ_{Ｑ’２＿ｂａｃｋ}，Ｐ_{Ｑｂ＿ｂａｃｋ}，Ｐ_{Ｑ’ｂ＿ｂａｃｋ}のいずれか）との画素間隔が小さくなれば（即ち、ｎ_ｘになれば）、背景画素値（背景画素値Ｑ_２，Ｑ’_２，Ｑ_ｂ，Ｑ’_ｂのいずれか）からの画素値の変化分が小さくなるように背景画素値Ｑ_ｕ１，Ｑ_ｕ３を算出する。

また、背景画素値Ｒ_ｔｕ１～Ｒ_ｔｕ４は、背景画像Ｐ_Ｒｔｕ１～Ｐ_Ｒｔｕ４と、背景画像Ｐ_Ｒｔｕ１～Ｐ_Ｒｔｕ４に最も近い背景画像（背景画像Ｐ_{Ｑ２＿ｂａｃｋ}，Ｐ_{Ｑ’２＿ｂａｃｋ}，Ｐ_{Ｑｂ＿ｂａｃｋ}，Ｐ_{Ｑ’ｂ＿ｂａｃｋ}のいずれか）との画素間隔が大きくなれば（即ち、２×ｎ_ｙになれば）、背景画素値（背景画素値Ｑ_２，Ｑ’_２，Ｑ_ｂ，Ｑ’_ｂのいずれか）からの画素値の変化分が大きくなるように背景画素値Ｑ_ｔ３，Ｑ_ｔ４を算出し、背景画像Ｐ_Ｒｔｕ１～Ｐ_Ｒｔｕ４と、背景画像Ｐ_Ｒｔｕ１～Ｐ_Ｒｔｕ４に最も近い背景画像（背景画像Ｐ_{Ｑ２＿ｂａｃｋ}，Ｐ_{Ｑ’２＿ｂａｃｋ}，Ｐ_{Ｑｂ＿ｂａｃｋ}，Ｐ_{Ｑ’ｂ＿ｂａｃｋ}のいずれか）との画素間隔が小さくなれば（即ち、ｎ_ｙになれば）、背景画素値（背景画素値Ｑ_２，Ｑ’_２，Ｑ_ｂ，Ｑ’_ｂのいずれか）からの画素値の変化分が小さくなるように背景画素値Ｑ_ｔ１，Ｑ_ｔ２を算出する。

また、前処理２における背景画素値の補間方法は、式（８）に示す方法に限らず、例えば、画像処理領域１の背景画素値の変化を２次（または高次）の変化を考慮して推定してもよい。

［ノイズ除去処理］
次に、ノイズ除去処理について説明する。後述するリサイズ処理の前に撮影領域ＰＨＧ＿ＲＥＧおよび画像処理領域１，２の背景画素値に対して、ノイズ除去処理を行ってもよい。

例えば、式（９）に示す平均化フィルタを用いると、ノイズ除去を実行できる。

前提として、リサイズ処理前の背景画像は、元画像のピクセル座標（ｘ，ｙ）において、等間隔ｎ_ｘ（またはｎ_ｙ）に背景画素値が入力されている。そこで、リサイズ処理と同様に、算出用ピクセル座標（ｘ＾，ｙ＾）に座標変換を行ってから、ノイズ除去フィルタを適用する。そして、ノイズ除去フィルタの次数をｃ＿ｎとする。

ノイズ除去処理は、次のように行う。初めに、元画像のピクセル座標（ｘ，ｙ）を算出用ピクセル座標（ｘ＾，ｙ＾）に変換する。

次に、算出用ピクセル座標（ｘ＾，ｙ＾）における背景画素値と、ノイズ除去フィルタ（例えば、式（９）の平均化フィルタ）とを用いて、例えば、上述した式（２）によって畳み込み演算を行う。これによって、ノイズ除去フィルタ適用後の背景画素値（ｘ＾，ｙ＾）を算出することができる。

最後に、算出用ピクセル座標（ｘ＾，ｙ＾）を元画像のピクセル座標（ｘ，ｙ）に変換する（戻す）。これによって、ノイズ除去後の背景画素値（ｘ，ｙ）を算出することができる。

［リサイズ処理］
最後に、撮影領域（Ｎ_ｘ×Ｎ_ｙ画素）の背景画素値を推定する方法を説明する。撮影領域ＰＨＧ＿ＲＥＧと画像処理領域１，２の背景画像の背景画素値を用いて、撮影用素子３１に対応する位置の背景画素値を算出するため、リサイズ処理を実行する。

この時、リサイズフィルタの次数をｃ＿ｒｅとする。例えば、式（１０）に示す次数ｃ＿ｒｅのLanczos(ｃ＿ｒｅ)フィルタを用いると、上記のリサイズ処理を実行することができる。

偶数次元の次数ｃ＿ｒｅのLanczosフィルタを用いてリサイズ処理を説明する。ピクセル座標（ｘ，ｙ）において、背景画像の画素値は、等間隔ｎ_ｘ（またはｎ_ｙ）に入力されている。畳み込み演算の前準備として、背景画像の画素値の間隔が１となるように、ピクセル座標（ｘ，ｙ）をそれぞれｎ_ｘ，ｎ_ｙで割り、算出用ピクセル座標（ｘ＾，ｙ＾）＝（ｘ／ｎ_ｘ，ｙ／ｎ_ｙ）に変換する。

リサイズフィルタは、算出用ピクセル座標（ｘ＾，ｙ＾）の位置の画素値を推定するフィルタである。式（５）に示す通り、通常は、偶数次元の画像処理フィルタが使用される。

Lanczos（ｃ＿ｒｅ）フィルタの場合、フィルタは，式（１０）で与えられる。ここで、ａ，ｂは、フィルタの行列インデックスであり、－ｃ＿ｒｅからｃ＿ｒｅ－１の値を取る。

背景画像の画素値（ｘ，ｙ）の算出手順は、次の通りである。

初めに、背景画像のピクセル座標（ｘ，ｙ）を算出用ピクセル座標（ｘ＾，ｙ＾）に変換する。

次に、画像処理フィルタの次元ｃ＿ｒｅと、算出用ピクセル座標（ｘ＾，ｙ＾）とに基づき、画像処理フィルタの重みパラメータ（例えば、式（１０））を算出する。

その後、上記画像処理フィルタと算出用ピクセル座標（ｘ＾，ｙ＾）を用いて、畳み込み演算を行うことで、算出用ピクセル座標（ｘ＾，ｙ＾）における背景画素値を算出する。

最後に、算出用ピクセル座標（ｘ＾，ｙ＾）を元画像のピクセル座標（ｘ，ｙ）に変換する（戻す）。これによって、リサイズ処理後の背景画素値（ｘ，ｙ）を算出することができる。

なお、リサイズ処理の方法は、上記のLanczosフィルタに限らず、例えば、ニアレストネイバー法や、バイリニア法などを用いても良い。また、リサイズフィルタには、Lanczosフィルタに限らず、sinc関数またはsinc関数とウィンドウ関数の組み合わせを用いてもよい。

上記の後処理を実行する際、ｋは、フィルタの次数の合計よりも大きい値に設定する必要がある。これは、各フィルタを適用すると、フィルタの次数に応じて正確に算出できる画像の領域が減少するためである。即ち、ノイズ除去を行わない場合、ｃ＿ｒｅ≦ｋを満たす必要がある。また、ノイズ除去フィルタの次数をｃ＿ｎとすると、ノイズ除去を行う場合、ｃ＿ｒｅ＋ｃ＿ｎ≦ｋを満たす必要がある。

［前景画像の算出方法］
前景画像の算出方法について説明する。例えば、撮影画像から背景画像を引くことで前景画像を算出することができる。この際、撮影用素子３１と背景用素子３２の検出波長の違いを考慮して、補正してもよい。例えば、撮影画像－背景画像－オフセット値によって、前景画像を算出することができる。また、補正係数×（撮影画像－背景画像）－オフセット値や、撮影画像－補正係数×背景画像－オフセット値や、補正係数×（撮影画像－背景画像－オフセット値）などでもよい。

また、この補正は、撮影用素子３１と背景用素子３２の検出波長以外に、それぞれの検出素子に入射する赤外線の強度（すなわち、周辺物の温度）を考慮してもよい。この場合、赤外線カメラ内部の温度を測る温度計と、温度とオフセット値に関する校正テーブル１を予め用意する必要がある。

また、背景画像から、検出器アレイ３の温度分布を算出し、その温度分布に基づき補正してもよい。この場合、背景画素値を素子温度に換算する温度テーブルと、素子温度を撮影画像のオフセット値に換算する校正テーブル２を予め用意する必要がある。

図９は、前景画像を算出する方法を説明するためのフローチャートである。図９を参照して、前景画像を算出する動作が開始されると、算出部５は、撮影用素子３１の検出値Ｄ１と背景用素子３２の検出値Ｄ２とを制御部４から受け、撮影用素子３１の検出値Ｄ１の画像と背景用素子３２の検出値Ｄ２の画像とに分離する（ステップＳ１）。

そして、算出部５は、背景用素子３２に対応する画素の画素値を撮影画像の画素値によって補間して撮影領域の全域における撮影画像の画素値を算出する（ステップＳ２）。

一方、算出部５は、ステップＳ１の後、ステップＳ２と並行して、ステップＳ３～ステップＳ５を順次実行する。即ち、算出部５は、画像処理領域１，２の画素値を推定し（ステップＳ３）、ノイズを除去し（ステップＳ４）、リサイズ処理を実行する（ステップＳ５）。

そして、ステップＳ２およびステップＳ５の後、算出部５は、撮影画像の画素値から背景画像の画素値を減算して前景画像を算出する（ステップＳ６）。これによって、前景画像を算出する動作が終了する。

なお、図９に示すフローチャートにおいては、ステップＳ４を実行せずに、ステップＳ３を実行した後にステップＳ５を実行してもよい。

図１０は、図９のステップＳ２の詳細な動作を説明するためのフローチャートである。図１０を参照して、図９のステップＳ１の後、算出部５は、ｉ＝１を設定する（ステップＳ２１）。そして、算出部５は、画像処理フィルタの次元数ｃ＿ｒｅを設定する（ステップＳ２２）。

その後、算出部５は、次元数ｃ＿ｒｅが奇数であるか否かを判定する（ステップＳ２３）。

ステップＳ２３において、次元数ｃ＿ｒｅが奇数であると判定されたとき、算出部５は、撮影領域ＰＨＧ＿ＲＥＧにおいて背景用素子３２に対応する画素Ｐｉの周辺画素における撮影画像の画素値Ｐ_{（ｘ－ａ），（ｙ－ｂ）}を検出する（ステップＳ２４）。

その後、算出部５は、奇数次元ｃ＿ｒｅの画像処理フィルタと撮影画像の画素値Ｐ_{（ｘ－ａ），（ｙ－ｂ）}とを用いて式（２）によって畳み込み演算を行い、画素Ｐｉの画素値を補間する（ステップＳ２５）。

そうすると、算出部５は、ｉ＝Ｉ_ＢＫであるか否かを判定する（ステップＳ２６）。ここで、Ｉ_ＢＫは、撮影領域ＰＨＧ＿ＲＥＧにおいて背景用素子３２に対応する画素Ｐｉの総数である。

ステップＳ２６において、ｉ＝Ｉ_ＢＫでないと判定されたとき、算出部５は、ｉ＝ｉ＋１を設定する（ステップＳ２７）。その後、一連の動作は、ステップＳ２４へ移行し、ステップＳ２６において、ｉ＝Ｉ_ＢＫであると判定されるまで、ステップＳ２４～ステップＳ２７が繰り返し実行される。そして、ステップＳ２６において、ｉ＝Ｉ_ＢＫであると判定されると、一連の動作は、図９のステップＳ６へ移行する。

一方、ステップＳ２３において、次元数ｃ＿ｒｅが奇数でないと判定されたとき、算出部５は、元画像のピクセル座標Ｐ（ｘ，ｙ）を算出用ピクセル座標Ｐ（ｘ＾，ｙ＾）に変換する（ステップＳ２８）。

そして、算出部５は、撮影領域ＰＨＧ＿ＲＥＧにおいて背景用素子３２に対応する画素Ｐｉの周辺画素における撮影画像の画素値Ｐ_{（ｆｌｏｏｒ（ｘ＾）－ａ），（ｆｌｏｏｒ（ｙ＾）－ｂ）}を検出する（ステップＳ２９）。

その後、算出部５は、偶数次元ｃ＿ｒｅの画像処理フィルタと撮影画像の画素値Ｐ_{（ｆｌｏｏｒ（ｘ＾）－ａ），（ｆｌｏｏｒ（ｙ＾）－ｂ）}とを用いて式（６）によって畳み込み演算を行い、画素Ｐｉの画素値を補間する（ステップＳ３０）。

そうすると、算出部５は、ｉ＝Ｉ_ＢＫであるか否かを判定する（ステップＳ３１）。ステップＳ３１において、ｉ＝Ｉ_ＢＫでないと判定されたとき、算出部５は、ｉ＝ｉ＋１を設定する（ステップＳ３２）。その後、一連の動作は、ステップＳ２９へ移行し、ステップＳ３１において、ｉ＝Ｉ_ＢＫであると判定されるまで、ステップＳ２９～ステップＳ３２が繰り返し実行される。そして、ステップＳ３１において、ｉ＝Ｉ_ＢＫであると判定されると、一連の動作は、図９のステップＳ６へ移行する。

図１１は、図９のステップＳ３の詳細な動作を説明するためのフローチャートである。図１１を参照して、図９のステップＳ１の後、算出部５は、ｊ＝１を設定する（ステップＳ４１）。

そして、算出部５は、画像処理領域１の背景画素Ｐｊの背景画素値を推定するための撮影領域ＰＨＧ＿ＲＥＧの背景画素値Ｐ_１，Ｐ_２を検出する（ステップＳ４２）。

その後、算出部５は、背景画素値Ｐ_１，Ｐ_２に基づいて式（７）によって背景画素Ｐｊの背景画素値を算出する（ステップＳ４３）。

そうすると、算出部５は、ｊ＝Ｊ_ＢＫであるか否かを判定する（ステップＳ４４）。ここで、Ｊ_ＢＫは、画像処理領域１において背景画素値を算出すべき画素Ｐｉ（背景画素）の総数である。

ステップＳ４４において、ｊ＝Ｊ_ＢＫでないと判定されたとき、算出部５は、ｊ＝ｊ＋１を設定する（ステップＳ４５）。その後、一連の動作は、ステップＳ４２へ移行し、ステップＳ４４において、ｊ＝Ｊ_ＢＫであると判定されるまで、ステップＳ４２～ステップＳ４５が繰り返し実行される。

そして、ステップＳ４４において、ｊ＝Ｊ_ＢＫであると判定されると、算出部５は、ｋ＝１を設定する（ステップＳ４６）。

その後、算出部５は、画像処理領域２の背景画素Ｐｋの背景画素値を推定するための画像処理領域１の背景画素値Ｑ_１，Ｑ_２，Ｑ_ａ，Ｑ_ｂを検出する（ステップＳ４７）。

その後、算出部５は、背景画素値Ｑ_１，Ｑ_２，Ｑ_ａ，Ｑ_ｂに基づいて式（８）によって背景画素Ｐｋの背景画素値を算出する（ステップＳ４８）。

そうすると、算出部５は、ｋ＝Ｋ_ＢＫであるか否かを判定する（ステップＳ４９）。ここで、Ｋ_ＢＫは、画像処理領域２において背景画素値を算出すべき画素Ｐｋ（背景画素）の総数である。

ステップＳ４９において、ｋ＝Ｋ_ＢＫでないと判定されたとき、算出部５は、ｋ＝ｋ＋１を設定する（ステップＳ５０）。その後、一連の動作は、ステップＳ４７へ移行し、ステップＳ４９において、ｋ＝Ｋ_ＢＫであると判定されるまで、ステップＳ４７～ステップＳ５０が繰り返し実行される。

そして、ステップＳ４９において、ｋ＝Ｋ_ＢＫであると判定されると、一連の動作は、図９のステップＳ４へ移行する。

図１２は、図９のステップＳ４の詳細な動作を説明するためのフローチャートである。図１２を参照して、図９のステップＳ３の後、算出部５は、元画像のピクセル座標Ｐ（ｘ，ｙ）を算出用ピクセル座標Ｐ（ｘ＾，ｙ＾）に変換する（ステップＳ５１）。

そして、算出部５は、算出用ピクセル座標Ｐ（ｘ＾，ｙ＾）における背景画素値とノイズフィルタとを用いて畳み込み演算を実行する（ステップＳ５２）。

その後、算出部５は、算出用ピクセル座標Ｐ（ｘ＾，ｙ＾）を元画像のピクセル座標Ｐ（ｘ，ｙ）に変換する（ステップＳ５３）。そして、一連の動作は、図９のステップＳ５へ移行する。

図１３は、図９のステップＳ５の詳細な動作を説明するためのフローチャートである。図１３を参照して、図９のステップＳ４の後、算出部５は、元画像のピクセル座標Ｐ（ｘ，ｙ）を算出用ピクセル座標Ｐ（ｘ＾，ｙ＾）に変換する（ステップＳ６１）。

そして、算出部５は、画像処理フィルタの次元数ｃ＿ｒｅと算出用ピクセル座標Ｐ（ｘ＾，ｙ＾）に基づいて画像処理フィルタの重みパラメータを算出する（ステップＳ６２）。

その後、算出部５は、画像処理フィルタと算出用ピクセル座標Ｐ（ｘ＾，ｙ＾）とを用いて畳み込み演算を実行する（ステップＳ６３）。

そして、算出部５は、算出用ピクセル座標Ｐ（ｘ＾，ｙ＾）を元画像のピクセル座標Ｐ（ｘ，ｙ）に変換する（ステップＳ６４）。その後、一連の動作は、図９のステップＳ６へ移行する。

図９に示すフローチャート（図１０から図１３に示すフローチャートを含む）に従って前景画像を算出することによって、少数の背景画素値から正確な背景画像を算出することができる。これによって、前景画像の算出精度を向上することができる。また、背景画素値の個数を抑えることで、撮影画素値の個数を最大化することができる。これによって、背景画素値の配置による撮影画像の劣化を抑制することができる。従って、正確な前景画像を算出することができる。

この発明の実施の形態においては、図９に示すフローチャート（図１０から図１３に示すフローチャートを含む）に従って前景画像を算出する方法は、「画像処理方法」を構成する。

また、この発明の実施の形態においては、前景画像の算出は、ソフトウェアによって実現されてもよい。この場合、算出部５は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を備える。そして、ＲＯＭは、図９に示すフローチャート（図１０から図１３に示すフローチャートを含む）の各ステップからなるプログラムＰｒｏｇ＿Ａを記憶する。

ＣＰＵは、ＲＯＭからプログラムＰｒｏｇ＿Ａを読み出し、その読み出したプログラムＰｒｏｇ＿Ａを実行して、前景画像を算出する。ＲＡＭは、前景画像の算出過程における各種の算出結果を一時的に記憶する。

また、プログラムＰｒｏｇ＿Ａは、ＣＤ，ＤＶＤ等の記録媒体に記録されて流通してもよい。プログラムＰｒｏｇ＿Ａを記録した記録媒体がコンピュータに装着されると、コンピュータは、記録媒体からプログラムＰｒｏｇ＿Ａを読み出して実行し、前景画像を算出する。

従って、プログラムＰｒｏｇ＿Ａを記録した記録媒体は、コンピュータ読み取り可能な記録媒体である。

なお、この実施の形態においては、検出対象を電磁波としているが、次の様に検出対象の波長を特定の波長範囲内の波長とすることも可能である。例えば、検出波長を光の波長とすることで、光学系の設計が容易なため、実施が容易となる。ここで、光とは、広義の光を意味し、１ｎｍから１ｍｍの波長範囲内の電磁波を意味する。また、検出波長を赤外線とすることで、筐体１の温度に起因して筐体１が放射する赤外線を除去して対象物３０の画像を算出することができる。また、暗視も可能となる。特に、６～２０μｍの波長を検出する場合、室温の筐体１が放射する赤外線を効果的に除去することができる。

［電磁波、光、赤外線の検出に関する効果］
実施の形態１において、カメラの検出波長毎に効果を説明する。実施の形態１は、電磁波、光、赤外線を検出するカメラにおいて、実施が可能である。光を検出するカメラでは、光学系の設計が容易なため、実施が容易となる。また、赤外線を検出するカメラでは、筐体１の温度に起因して筐体１が放射する赤外線を除去して、対象物３０の画像を算出することができる。また、暗視も可能となる。特に、６～２０μｍの波長を検出する場合、室温の筐体１が放射する赤外線を効果的に除去することができる。

［撮影用素子の検出波長に関する効果］
実施の形態１において、撮影用素子３１の検出波長を波長フィルタで制限する場合の効果を説明する。撮影用素子３１の検出波長を波長フィルタで制限すると、撮影用素子３１に入射する対象物３０と背景の赤外線強度を調整することができる。更に、例えば、撮影用素子３１の検出波長を波長フィルタで制限することで撮影用素子３１の検出波長範囲をレンズ２の透過波長範囲と等しくすると、撮影用素子３１に入射する対象物３０の赤外線強度を最大にすると共に、撮影用素子３１に入射する背景の赤外線強度を最小にすることができる。これによって、シグナルの最大化と、ノイズの最小化ができる。即ち、Ｓ／Ｎが向上する。撮影用素子３１の検出波長範囲とレンズ２の透過波長範囲とを等しくすると上記効果が得られるが、全く等しくすることを必要とせず、等しい範囲の割合を増やすことによって上記で述べた効果をそれに応じた程度で得ることができる。

［背景用素子の検出波長に関する効果］
実施の形態１において、背景用素子３２の検出波長を波長フィルタで制限する場合の効果を説明する。背景用素子３２の検出波長は、レンズ２の透過波長範囲を含まないように設計する必要があるため、背景用素子３２に取り付ける波長フィルタの透過波長は、レンズ２の透過波長範囲を含んではならない。上記の制約に加えて、波長フィルタの透過波長を更に狭めてもよい。これによって、背景用素子３２に入射する背景の赤外線強度を調整することができる。例えば、波長フィルタの透過波長を調整することで、背景用素子３２に入射する背景の赤外線強度を、撮影用素子３１に入射する背景の赤外線強度に一致させることができる。これによって、正確に背景を除去することができる。なお、背景用素子３２に入射する背景の赤外線強度を、撮影用素子３１に入射する背景の赤外線強度に一致させると上記効果が得られるが、完全に一致させることを必要とせず、一致させる範囲の割合を増やすことによって上記で述べた効果をそれに応じた程度で得ることができる。

［撮影用素子と背景用素子の両方を有する検出器アレイに関する効果］
実施の形態１では、撮影用素子３１と背景用素子３２を相互に異なる位置に配置することによって、対象物３０と背景を同時に撮影することができる。また、背景用素子３２を撮影用素子３１と単一の検出器アレイに設置すると、背景用素子３２の背景（筐体１が放射する赤外線や、検出器の温度、周囲の熱的環境に起因する）は、撮影用素子３１の背景に最も近くなる。即ち、最も正確に撮影用素子３１の背景を除去することができる。

［対象物と背景の同時撮影に関する効果］
実施の形態１による対象物と背景の同時撮影の効果を、シャッターを使用する校正方法（特許文献２に記載の発明）と比較して説明する。

一般的な赤外線カメラでは、シャッター機能が付属しており、シャッターを開いたときに対象物を撮影し、シャッターを閉じたときに背景物を撮影する校正が行われる。この場合、シャッターの開閉および校正操作によって、対象物を撮影できない時間（撮影のデッドタイム）が生じる。また、対象物の画像と背景の画像を同時に撮影することができない。対象物の画像と背景の画像の撮影時刻が異なる場合、検出器アレイ、カメラ筐体およびレンズ等の温度や温度分布が変わってしまうため、算出する前景の画像に誤差が生じてしまう。

撮影のデッドタイムを短くするため、または対象物と背景をできるだけ同時に撮影するためには、シャッターを高速に開閉する必要がある。しかし、高速なシャッターの開閉には、そのための機構が必要であり、製造コストが増大してしまう。

一方、実施の形態１によると、シャッターを使用しないため、撮影のデッドタイムが生じない。これによって、赤外線画像を高フレームレートで連続的に撮影することができる。

また、実施の形態１によると、対象物と背景を同時に撮影することができる。このため、検出器アレイ、カメラ筐体およびレンズ等の温度や温度分布が変化する場合であっても、正確に前景画像を算出することができる。

［二次元的な背景画素値の分布の除去に関する効果］
実施の形態１によると、二次元的な背景画素値の分布がある場合であっても、撮影画像から背景の影響を除去することができる。

一般に、赤外線カメラの背景画素値は、検出器アレイ、カメラ筐体およびレンズ等の温度や温度分布によって影響を受ける。例えば、赤外線カメラの周囲の環境に温度分布がある場合や、赤外線カメラの周囲の環境が温度変化する場合などによって、検出器アレイ、カメラ筐体およびレンズ等に温度分布が生じると、二次元的に背景画素値の分布が生じる。

実施の形態１の方法は、このように二次元的な背景画素値の分布がある場合であっても、背景画像を正確に算出することができる。その結果、前景画像を正確に算出することができる。即ち、赤外線カメラが複雑な温度環境に置かれた場合であっても、正確に前景画像を算出することができる。

［検証実験１］
（検証の目的/構成）
図９に示すフローチャート（図１０から図１３に示すフローチャートを含む）の画像処理によって撮影画像と背景画像を補間できるかを検証する。カメラの構成は、特に限定しない。即ち、カメラの構成は、図４の（ａ）または（ｂ）に示すいずれの構成であってもよい。

（公知の技術との比較）
公知の技術では、撮影用素子の検出値から撮影画像を正確に算出できる（念のため、下記（２）画像処理（撮影画像）で確認）。一方で、背景用素子の検出値から、背景画像を正確に算出することができない（前処理：「画像処理領域の画素値の推定」がないため、下記（３）画像処理（背景画像、従来技術）で確認）。この観点から、本願の効果を確認する（下記（４）画像処理（背景画像、本願）で確認）。

（１）検証の前提
図１４は、検証実験１における画像を示す図である。検出器アレイの検出素子の数（撮影用素子と背景用素子の数の和）を２５６×３２０個とする。検出器アレイの検出素子のうち、背景用素子は、オフセットｍ０＝ｎ０＝４、間隔ｍ＝ｎ＝８で検出器アレイに配列されている。この時、背景用素子の数は、３２×４０個である。一方で、撮影用素子は、背景用素子以外の検出器アレイの検出素子である。

検証用画像には、画素値（ｘ，ｙ）＝０．０１×［（ｘ－１２８）^２＋（ｙ－１６０）^２］＋２４０００となる画像を準備した（図１４（ａ）参照）。図１４（ａ）の画像では、画素値の最小値は、２３５８０であり、最大値は、２４０００であり、画素値の分布は、４２０（＝２４０００－２３５８０）である。

この検証用画像を撮影画像および背景画像とする場合について、各画像処理で復元できるかを検証した。なお、ｘは、横の画素位置、ｙは、縦の画素位置を意味している。

（２）画像処理（撮影画像）
撮影用素子を用いて検出した撮影画像の処理について説明する。撮影画像（図１４（ｂ）参照）は、背景用素子が配置されている場所の画素値が欠落している。そこで、検出した撮影画像に対して、式（１）に示す１次の平均化フィルタを適用して、これらの画素値を推定した。

推定した撮影画像（図１４（ｃ）参照）から検証用画像（図１４（ａ）参照）を引いた結果、図１４（ｄ）に示す画像が得られた。ここで、推定した撮影画像と検証用画像の画素値は、最大で１異なる。すなわち、撮影画像の処理によって、約９９．８％（＝１００－（１／４２０）×１００）の精度で撮影画素値を補間することができる。

（３）画像処理（背景画像、従来技術）
図１５は、検証実験１の画像処理における画像を示す図である。従来技術（前処理なし）でリサイズ処理を行った。図１５（ａ）は、背景用素子が検出する背景画像である（撮影用素子が配置された画素の画素値が欠落している）。図１５（ｂ）は、図１５（ａ）の背景用素子で検出した画素値のみを抽出した画像である。これに対してリサイズ処理を適用した結果、図１５（ｃ）の画像が得られた。ここで、リサイズ処理には、２次のLanczosフィルタを適用した。

従来技術に基づいて推定した撮影画像（図１５（ｃ）参照）から検証用画像（図１５（ａ）参照）を引いた結果、図１５（ｄ）の画像が得られた。ここで、推定した撮影画像と検証用画像の画素値は、最大で２７７３７異なる。すなわち、正確に背景画像を算出することができない。

（４）画像処理（背景画像、実施の形態１）
実施の形態１の方法でリサイズ処理を行った。図１５（ｂ）までの処理は、従来技術と同様の方法を用いた。図１５（ｂ）に対して後処理フィルタの次数を２と定めて、前処理を行った。前処理では、式（７）を適用して図５の画像処理領域１の背景画素値を算出し、式（８）を適用して図５の画像処理領域２の背景画素値を算出した。続いて、Lanczos （２）フィルタによるリサイズ処理を後処理として行い、撮影領域の背景画素値を算出した。その結果、図１５（ｅ）の画像を得た。

推定した背景画像（図１５（ｅ）参照）から検証用画像（図１４（ａ）参照）を引いた結果、図１５（ｆ）の画像が得られた。ここで、推定した背景画像と検証用画像の画素値は、最大で３異なる。すなわち、背景画像の処理によって、約９９．３％（＝１００－（３／４２０）×１００）の精度で背景画素値を補間することができる。

（４）結果
以上、実施の形態１の方法によって、撮影画像および背景画像が正確に算出できることを確認した。従来例によると、画像の端の画素値の算出誤差が非常に大きくなってしまう。したがって、実施の形態１の方法の効果を確認することができた。

［検証実験２］
（検証の目的/構成）
図４（ｂ）に示す構成および図９に示すフローチャート（図１０から図１３に示すフローチャートを含む）によって、撮影画像中の背景を除去できるかを検証する。また、図９に示すフローチャート（図１０から図１３に示すフローチャートを含む）のノイズ除去によって、正確に背景画像を算出できることを検証する。
（検証実験１と検証実験２の比較）
図１６は、検証実験２における画像を示す図である。検証実験２では、検証実験１と同じく、図９に示すフローチャート（図１０から図１３に示すフローチャートを含む）に基づいて、撮影画像と背景画像の補間を検証した。ただし、検証実験２では、実際に赤外線カメラを用いて撮影した画像（図１６（ａ），（ｃ）参照）を用いて、実施の形態１の効果を検証している。

（１）検証の前提
検出器アレイの検出素子の数が２５６×３２０個である赤外線カメラを用いて、原理検証を行った。

撮影画像（図１６（ａ）参照）と背景画像（図１６（ｃ）参照）を、図４（ｂ）に示す構成に対応する赤外線カメラで撮影した。

カメラ構成は、レンズを透過する赤外線の波長が８－１４μｍであり、検出素子の検出波長は、５～２０μｍであり、撮影用素子の波長フィルタＦＬＴ２の波長が８～９．５μｍであり、背景用素子の波長フィルタＦＬＴ１の波長が６．２５～６．７５μｍである。従って、対象物が放射する赤外線は、撮影用素子のみに入射し、背景用素子に入射しない。

赤外線カメラでは、検出器アレイの検出素子のうち、背景用素子は、オフセットｍ０＝ｎ０＝４、間隔ｍ＝ｎ＝８に配置した。この時、背景用素子の数は、３２×４０個である。一方で、撮影用素子は、背景用素子以外の検出器アレイの検出素子である。

検証用画像は、室温の黒体を対象物として配置して撮影した。

図１６（ａ）の画像は、撮影用素子を用いて撮影した撮影画像である。図１６（ａ）には、対象物の黒体が放射する赤外線と背景が放射する赤外線が映っている。この際、レンズの全視野は、温度一定（室温）の黒体で覆われている。したがって、正しい画像（＝撮影画像から背景画像を除去した前景）は、温度一定（室温）の黒体画像となる。言い換えると、図１６（ａ）の温度分布は、全て背景によるものである。なお、図１６（ａ）の白抜き部分は、背景用素子のため、撮影画素値が欠落した領域である。

図１６（ａ）の撮影画素値の最小値（画像右上の特定の画素値）は、２３６２２であり、最大値（画像中央の特定の画素値）は、２３９９８である。従って、３６６（＝２３９９８－２３６２２）の画素値の二次元分布がある。図１６（ａ）の四辺の画素値は、画像中央の画素値と比べて小さい。

一方、図１６（ｃ）の画像は、背景用素子を用いて撮影した背景画像である。図１６（ｃ）には、背景による赤外線のみが撮影されている。なお、図１６（ｃ）の白抜き部分は、撮影用素子のため、背景画素値が欠落した領域である。また、図１６（ｃ）の画像から背景画素値を抽出して画像化したものが、図１６（ｄ）の画像である（図１６（ｄ）の画像は、上述した前処理１の画素間隔の規格化後の画像である。）。ここで、カメラと対象物は、室温のため、図１６（ａ）および図１６（ｃ）の画素値を補完した画像は、理想的には同一の画像となる。

検証では、撮影画像と背景画像のそれぞれを用いて欠落した画素を補間して、前景を算出した。撮影画像と背景画像は、殆ど同一の画像であるため、前景の画素値は、０に近づくほど、算出精度は高くなる。

（２）画像処理（撮影画像）
図１７は、検証実験２の画像処理における画像を示す図である。対象物の検出素子を用いて検出した撮影画像（図１６（ａ）参照）の処理について説明する。

検出した撮影画像に対して、式（１）の１次の平均化フィルタを適用することで、背景用素子の位置と対応する画素の撮影画素値を推定した（図１６（ｂ）参照）。

（３）画像処理（背景画像）
背景用素子を用いて検出した背景画像（図１６（ｄ）参照）の処理について説明する。検出した背景画像に対して、画像処理領域１，２の各方向に追加する画素数ｋを３と定めて、前処理を行った。前処理では、式（７）を適用して画像処理領域１の背景画素値を算出し、式（８）を適用して画像処理領域２の背景画素値を算出した。

図１７（ａ）は、ノイズ除去を行わず次数２のLanczos（２）フィルタによって撮影領域の背景画素値の算出したものである。

図１６（ｅ）の画像は、図１６（ｄ）の画像にノイズ除去を適用した後の画像である。ノイズ除去によって、図１６（ｄ）のノイズ由来の凹凸が、図１６（ｅ）では抑制されている。図１６（ｅ）に対して、次数２のLanczos（２）フィルタによって撮影領域の背景画素値を算出すると、図１７（ｂ）の画像を得る。

（４）前景画像の算出１
初めに、撮影画像から背景画像を引いて算出した前景画像について説明する。

図１６（ｂ）の画素値から図１７（ａ）の画素値を引いて前景画像を算出すると、前景の画素値である前景画素値の最小値は、－１０１となり、最大値は、３３となり、平均値は、－３３．４となり、標準偏差は、１６．２となった（図１７（ｃ）参照）。即ち、画像処理（２），（３）によって、約７２．４％（＝１００－（１０１／３６６）×１００）の精度で前景画素値を算出できた。

一方、図１６（ａ）の画素値から図１７（ｂ）の画素値を引いて前景画像を算出すると、前景画素値の最小値は、－８７となり、最大値は、３０となり、平均値は、－３１．５となり、標準偏差は、１４．６となった（図１７（ｄ）参照）。即ち、画像処理（２）および（３）によって、約７６．３％（＝１００－（８７／３６６）×１００）の精度で前景画素値を算出できた。前景画素値の最小値／最大値／平均値／標準偏差／精度の全ての指標において、ノイズ除去を適用した背景画像（図１７（ｂ）参照）は、ノイズ除去を適用しない背景画像（図１７（ａ）参照）と比べて、前景画像を正確に算出することができる。

［実施の形態２］
図１８は、実施の形態２による赤外線カメラの概略図である。図１８を参照して、実施の形態２による赤外線カメラ１０Ａは、図１に示す赤外線カメラ１０の検出器アレイ３を検出器アレイ３Ａに変え、制御部４を制御部４Ａに変えたものであり、その他は、赤外線カメラ１０と同じである。

検出器アレイ３Ａは、複数の量子ドット型赤外線検出素子３３を含む。量子ドット型赤外線検出素子３３は、印加される電圧に応じて赤外線の検出波長が変化する検出素子である。

複数の量子ドット型赤外線検出素子３３は、実施の形態１における撮影用素子３１に対応する量子ドット型赤外線検出素子３３－１と、実施の形態１における背景用素子３２に対応する量子ドット型赤外線検出素子３３－２とからなる。

量子ドット型赤外線検出素子３３－１は、制御部４Ａによって電圧Ｖ１が印加されると、検出波長λ３で赤外線を検出し、その検出した赤外線の検出値Ｄ３を制御部４Ａへ出力する。また、量子ドット型赤外線検出素子３３－２は、制御部４Ａによって電圧Ｖ２が印加されると、検出波長λ２で赤外線を検出し、その検出した赤外線の検出値Ｄ４を制御部４Ａへ出力する。

制御部４Ａは、量子ドット型赤外線検出素子３３－１に電圧Ｖ１を印加し、量子ドット型赤外線検出素子３３－２に電圧Ｖ２を印加する。そして、制御部４Ａは、量子ドット型赤外線検出素子３３－１から検出値Ｄ３を受け、量子ドット型赤外線検出素子３３－２から検出値Ｄ４を受け、その受けた検出値Ｄ３，Ｄ４を算出部５へ出力する。制御部４Ａは、その他、制御部４と同じ機能を果たす。

赤外線カメラ１０Ａにおいては、算出部５は、制御部４Ａから受けた検出値Ｄ３，Ｄ４に基づいて、図９に示すフローチャート（図１０から図１３に示すフローチャートを含むｊ）に従って前景画像を算出する。

図１９は、図１８に示す検出器アレイ３Ａの平面図である。なお、図１９は、レンズ２側から見た検出器アレイ３Ａの平面図を示す。

図１９を参照して、検出器アレイ３Ａは、検出波長λ３で赤外線を検出する量子ドット型赤外線検出素子３３－１と、検出波長λ２で赤外線を検出する量子ドット型赤外線検出素子３３－２とからなる。検出波長λ３は、例えば、８～１０μｍ、９～１０μｍおよび８～１１μｍのいずれかである。従って、検出波長λ３は、検出波長λ１の少なくとも一部を含む。

そして、量子ドット型赤外線検出素子３３－１，３３－２は、Ｎ_ｙ行Ｎ_ｘ列の行列状に配列される。

赤外線カメラ１０Ａにおいては、次の効果を得ることができる。
（１）フィルタアレイを用いずに、実施の形態１と同じ効果を得ることができる。つまり、波長範囲を制限するための光学部材が不要となり、筐体１内のスペースの削減および光学系の設計の自由度を増すことができる。
（２）特定の波長範囲の検出素子の選定が不要で、検出波長の選択の自由度、設計の自由度が増し、簡易に効率的な検出が可能となる。例えば、対象物３０を検出するために最適な検出波長λ３を選択する自由度が増す。
（３）図４（ｂ）の構成では、１つの背景用素子３２が破損すると、広い範囲の背景画素値に大きな影響を与える。即ち、背景用素子３２は、疎らに配置されているので、背景用素子３２が破損すると、背景画像の算出程度が大幅に低下する。しかし、図１９に示す構成では、背景画像を検出する量子ドット型赤外線検出素子３３－２が破損しても、背景画像を検出する量子ドット型赤外線検出素子を変更することができる。検出器アレイ３Ａは、量子ドット型赤外線検出素子に印加する電圧を変更することによって撮影画像または背景画像を検出することができるからである。従って、背景画像を検出する量子ドット型赤外線検出素子３３－２が破損しても、背景画像への影響を抑制することができる。

実施の形態２におけるその他の説明は、実施の形態１における説明と同じである。

図２０は、撮影画素の他の補間の概念図である。上記においては、１個の背景用素子３２（または量子ドット型赤外線検出素子３３－２）が所定の間隔（ｎ_ｘまたはｎ_ｙ）ごとに配置されると説明したが、この発明の実施の形態においては、これに限らず、隣接する２個の背景用素子３２（または量子ドット型赤外線検出素子３３－２）が所定の間隔（ｎ_ｘまたはｎ_ｙ）ごとに配置されていてもよい。この場合、２個の背景用素子３２（または量子ドット型赤外線検出素子３３－２）に対応する撮影画像の画素値は、次のように補間される。

図２０を参照して、補間対象の画素１，２が隣接して存在する。この場合、補間対象の画素１の画素値は、周辺素子１の画素値と、上述した画像処理フィルタ（奇数次元の画像処理フィルタまたは偶数次元の画像処理フィルタ）とを用いて式（２）または式（６）によって畳み込み演算を行って周辺画素の画素値を平均化した値を補間対象の画素値として補間する。また、補間対象の画素２の画素値は、周辺素子２の画素値と、上述した画像処理フィルタ（奇数次元の画像処理フィルタまたは偶数次元の画像処理フィルタ）とを用いて式（２）または式（６）によって畳み込み演算を行って周辺画素の画素値を平均化した値を補間対象の画素値として補間する。

図２１は、画像処理領域２の背景画素値の別の算出方法を説明するための図である。図２１を参照して、背景画像Ｐ_Ｒｔｕ１の背景画素値Ｒ_ｔｕ１は、背景画像Ｐ_{Ｑｂ２＿ｂａｃｋ}の背景画素値Ｑ_ｂ２と、背景画像Ｐ_{Ｑａ２＿ｂａｃｋ}の背景画素値Ｑ_ａ２とを用いて式（７）によって算出されてもよい。

背景画像Ｐ_{Ｑｂ２＿ｂａｃｋ}は、撮影領域の対角線の方向において、背景画像Ｐ_Ｒｔｕ１に最も近い背景画像であり、背景画像Ｐ_{Ｑａ２＿ｂａｃｋ}は、撮影領域の対角線の方向において、背景画像Ｐ_Ｒｔｕ１に２番目に近い背景画像である。そして、背景画像Ｐ_{Ｑａ２＿ｂａｃｋ}と背景画像Ｐ_{Ｑｂ２＿ｂａｃｋ}との画素間隔、および背景画像Ｐ_{Ｑｂ２＿ｂａｃｋ}と背景画像Ｐ_Ｒｔｕ１との画素間隔は、（（Ｎ_ｘ）^２＋（Ｎ_ｙ）^２））^１／２になる。従って、ｓは、背景画像Ｐ_{Ｑｂ２＿ｂａｃｋ}と背景画像Ｐ_Ｒｔｕ１との画素間隔（＝（（Ｎ_ｘ）^２＋（Ｎ_ｙ）^２））^１／２）を、撮影領域の対角線の方向における画素間隔（＝（（Ｎ_ｘ）^２＋（Ｎ_ｙ）^２））^１／２）で除算して“１”となる。

そして、背景画素値Ｑ_ａ２，Ｑ_ｂ２およびｓ＝１を式（７）に代入して背景画素値Ｒ_ｔｕ１（＝Ｑ_ｂ２－Ｑ_ａ２＋Ｑ_ｂ２）を算出する。

また、背景画像Ｐ_Ｒｔｕ４の背景画素値Ｒ_ｔｕ４も、背景画像Ｐ_{Ｑｂ２＿ｂａｃｋ}の背景画素値Ｑ_ｂ２と、背景画像Ｐ_{Ｑａ２＿ｂａｃｋ}の背景画素値Ｑ_ａ２とを用いて式（７）によって算出されてもよい。

背景画像Ｐ_{Ｑｂ２＿ｂａｃｋ}は、撮影領域の対角線の方向において、背景画像Ｐ_Ｒｔｕ４に最も近い背景画像であり、背景画像Ｐ_{Ｑａ２＿ｂａｃｋ}は、撮影領域の対角線の方向において、背景画像Ｐ_Ｒｔｕ４に２番目に近い背景画像である。そして、背景画像Ｐ_Ｒｔｕ１と背景画像Ｐ_Ｒｔｕ４との画素間隔も、（（Ｎ_ｘ）^２＋（Ｎ_ｙ）^２））^１／２になる。従って、ｓは、背景画像Ｐ_{Ｑｂ２＿ｂａｃｋ}と背景画像Ｐ_Ｒｔｕ２との画素間隔（＝２×（（Ｎ_ｘ）^２＋（Ｎ_ｙ）^２））^１／２）を、撮影領域の対角線の方向における画素間隔（（（Ｎ_ｘ）^２＋（Ｎ_ｙ）^２））^１／２）で除算して“２”となる。

そして、背景画素値Ｑ_ａ２，Ｑ_ｂ２およびｓ＝２を式（７）に代入して背景画素値Ｒ_ｔｕ４（＝２×（Ｑ_ｂ２－Ｑ_ａ２）＋Ｑ_ｂ２）を算出する。

なお、背景画像Ｐ_Ｒｔｕ２の背景画素値Ｒ_ｔｕ２および背景画像Ｐ_Ｒｔｕ３の背景画素値Ｒ_ｔｕ３は、図８において説明した方法によって算出される。

図２１において説明した方法によって背景画素値Ｒ_ｔｕ１および背景画素値Ｒ_ｔｕ４を算出することによって、撮影領域の対角線に沿って存在する背景画素値の分布状態を反映して背景画素値Ｒ_ｔｕ１および背景画素値Ｒ_ｔｕ４を算出することができる。また、図８において説明した方法よりも計算量を少なくして背景画素値Ｒ_ｔｕ１および背景画素値Ｒ_ｔｕ４を算出できる。

図２２は、この発明の実施の形態における赤外線の波長範囲の関係を示す概念図である。上記においては、撮影用素子３１が赤外線を検出する検出波長λ１は、８～１０μｍであり、背景用素子３２が赤外線を検出する検出波長λ２は、１０～１１μｍであることを説明した。また、上記においては、検出波長λ１がレンズ２の透過波長範囲を含む波長で構成されること、および検出波長λ１がレンズ２の透過波長範囲と一致してもよいことを説明した。更に、背景用素子３２が、波長フィルタＦＬＴ１を検出素子に貼り合わされたものから構成され、波長フィルタＦＬＴ１が、検出波長λ２を透過し、レンズ２の透過波長範囲の赤外線を遮光することを説明した。

従って、撮影用素子３１が赤外線を検出することができる波長範囲は、レンズ２の透過波長範囲と少なくとも一部で重複していればよい。また、背景用素子３２が赤外線を検出することができる波長範囲がレンズ２の透過波長範囲と重複しなければよい。そして、背景用素子３２が赤外線を検出することができる波長範囲がレンズ２の透過波長範囲と重複しないことは、検出素子に貼り合わされた波長フィルタＦＬＴ１によって実現される。

図２２において、６～８．５μｍの波長範囲、８．５～９μｍの波長範囲および９～１２μｍの波長範囲は、撮影用素子３１が赤外線を検出することができる波長範囲λｒａｎｇｅ＿１である。また、５～７μｍの波長範囲および１１～１３μｍの波長範囲は、背景用素子３２が赤外線を検出することができる波長範囲λｒａｎｇｅ＿２である。更に、８～１０μｍの波長範囲は、レンズ２の透過波長範囲λｒａｎｇｅ＿３である。ここで、波長範囲λｒａｎｇｅ＿１は、波長範囲λｒａｎｇｅ＿２と一部が重複してもよい。

従って、撮影用素子３１が赤外線を検出することができる波長範囲λｒａｎｇｅ＿１（６～８．５μｍ、８．５～９μｍおよび９～１２μｍのいずれか）は、レンズ２の透過波長範囲λｒａｎｇｅ＿３（８～１０μｍ）と少なくとも一部が重複する。また、背景用素子３２が赤外線を検出することができる波長範囲λｒａｎｇｅ＿２（５～７μｍまたは１１～１３μｍ）は、レンズ２の透過波長範囲λｒａｎｇｅ＿３（８～１０μｍ）と重複しない。そして、背景用素子３２が赤外線を検出することができる波長範囲λｒａｎｇｅ＿２（５～７μｍまたは１１～１３μｍ）は、波長フィルタＦＬＴ１によって実現される。

その結果、６～８．５μｍ、８．５～９μｍおよび９～１２μｍのいずれかの波長範囲λｒａｎｇｅ＿１を第１の波長範囲とし、５～７μｍまたは１１～１３μｍの波長範囲λｒａｎｇｅ＿２を第２の波長範囲とし、８～１０μｍの波長範囲λｒａｎｇｅ＿３を第３の波長範囲とすると、この発明の実施の形態によるカメラは、次の構成を備えていればよい。
（１）２次元状に配置されかつ第１の波長範囲λｒａｎｇｅ＿１の電磁波を検出することができる第１の検出素子を含む第１の検出部と、
（２）２次元状に配置されかつ筐体内から放射される第２の波長範囲λｒａｎｇｅ＿２の電磁波における少なくとも１つの波長の電磁波を検出することができる第２の検出素子を含む第２の検出部と、
（３）第２の検出素子に対応して配置され、第２の波長範囲λｒａｎｇｅ＿２の電磁波を透過することができる第１の透過部材と、
（４）第３の波長範囲λｒａｎｇｅ＿３の電磁波を筐体外から筐体内へ透過させることができる第２の透過部材と、
（５）第１の検出部で検出された第１の検出値と第２の検出部で検出された第２の検出値とから画像情報を算出することができる算出部を備え、
（６）第１の波長範囲λｒａｎｇｅ＿１の少なくとも１つの波長は、第３の波長範囲λｒａｎｇｅ＿３の波長と重複し、
（７）第２の波長範囲λｒａｎｇｅ＿２は、第３の波長範囲λｒａｎｇｅ＿３と重複しない。

カメラの検出対象は、赤外線に限らず、電磁波であればよく、カメラが構成（１）～（７）を備えることによって、対象物３０から放射された電磁波を第１の検出素子によって検出するときの波長範囲λｒａｎｇｅ＿３（＝第３の波長範囲と少なくとも１つの波長で重複する第１の波長範囲）と、背景から放射された電磁波を第２の検出素子によって検出するときの波長範囲λｒａｎｇｅ＿２（＝第２の波長範囲）とが重複しないので、第１の検出部（第１の検出素子）で検出された第１の検出値と第２の検出部（第２の検出素子）で検出された第２の検出値とから画像情報を算出することによって正確な画像情報が得られるからである。

この発明の実施の形態においては、検出器アレイ３において、２次元状に配置された撮影用素子３１は、「第１の検出部」を構成し、２次元状に配置された背景用素子３２は、「第２の検出部」を構成する。

また、この発明の実施の形態においては、波長フィルタＦＬＴ１は、背景用素子３２（第２の検出素子）に対応して配置され、第２の波長範囲λｒａｎｇｅ＿２の電磁波を透過することができる「第１の透過部材」を構成し、レンズ２は、第３の波長範囲λｒａｎｇｅ＿３の電磁波を筐体１外から筐体１内へ透過させることができる「第２の透過部材」を構成する。

更に、この発明の実施の形態においては、背景用素子３２または量子ドット型赤外線検出素子３３－２によって検出された背景画像の背景画素値は、「第１の背景画素値」を構成する。

更に、この発明の実施の形態においては、背景画素値Ｑ_ｓ，Ｒ_ｔｕは、「第２の背景画素値」を構成する。

更に、この発明の実施の形態においては、背景用素子３２または量子ドット型赤外線検出素子３３－２によって検出された背景画像の背景画素値および背景画素値Ｑ_ｓ，Ｒ_ｔｕは、「第３の背景画素値」を構成する。

更に、この発明の実施の形態においては、背景画素Ｐ_{Ｑ１＿ｂａｃｋ}，Ｐ_{Ｑ２＿ｂａｃｋ}，Ｐ_{Ｑ’１＿ｂａｃｋ}，Ｐ_{Ｑ’２＿ｂａｃｋ}は、「第１の目的背景画像」を構成し、背景画像Ｐ_{２＿ｂａｃｋ}，Ｐ_{２’＿ｂａｃｋ}は、「第１の背景画像」を構成し、背景画素値Ｐ_２，Ｐ_２’は、「第４の背景画素値」を構成する。

更に、この発明の実施の形態においては、背景画像Ｐ_Ｒｔｕ１，Ｐ_Ｒｔｕ２は、「第２の目的背景画像」を構成し、背景画像Ｐ_{Ｑｂ＿ｂａｃｋ}，_{Ｑ’ｂ＿ｂａｃｋ}の各々は、「第２の背景画像」を構成し、背景画像Ｐ_{Ｑ２＿ｂａｃｋ}，Ｐ_{Ｑ’２＿ｂａｃｋ}の各々は、「第３の背景画像」を構成し、背景画素値Ｑ_ｂ，Ｑ’_ｂの各々は、「第５の背景画素値」を構成し、背景画素値Ｑ_ｕ１～Ｑ_ｕ４をは、「第６の背景画素値」を構成し、背景画素値Ｑ_２，Ｑ’_２の各々は、「第７の背景画素値」を構成し、背景画素値Ｒ_ｔ１～Ｒ_ｔ４は、「第８の背景画素値」を構成する。

更に、この発明の実施の形態においては、背景用素子３２または量子ドット型赤外線検出素子３３－２によって検出された背景画像の背景画素値に基づいて、背景画素値Ｑ_ｓ，Ｒ_ｔｕを算出する処理は、「第１の処理」を構成する。

更に、この発明の実施の形態においては、背景用素子３２または量子ドット型赤外線検出素子３３－２によって検出された背景画像の背景画素値および背景画素値Ｑ_ｓ，Ｒ_ｔｕに基づいて撮影領域の全域における背景画素値を算出する処理は、「第２の処理」を構成する。

更に、この発明の実施の形態においては、背景画像Ｐ_{２＿ｂａｃｋ}，Ｐ_{２’＿ｂａｃｋ}の背景画素値を算出する処理は、「第３の処理」を構成し、背景画像Ｐ_Ｒｔｕ１，Ｐ_Ｒｔｕ２の背景画素値を算出する処理は、「第４の処理」を構成する。

図９のステップＳ３（＝図１１のステップＳ４１～ステップＳ５０）は、複数の第２の検出素子（複数の背景用素子３２）によって検出された背景画像の画素値である第１の背景画素値に基づいて撮影領域の外側の領域である画像処理領域における背景画素値である第２の背景画素値を算出するステップと、第１および第２の背景画素値に基づいて複数の第１の検出素子（複数の撮影用素子３１）に対応する画像における背景画素値を補間して撮影領域の全域における背景画素値である第３の背景画素値を算出するステップとを構成する。

また、図９のステップＳ２（＝図１０のステップＳ２１～ステップＳ３２）は、複数の第１の検出素子（複数の撮影用素子３１）によって検出された撮影画像の画素値である撮影画素値に基づいて複数の第２の検出素子（複数の背景用素子３２）に対応する画像における撮影画素値を補間して撮影領域の全域における撮影画素値を算出するステップを構成する。

更に、図９のステップＳ６は、撮影画素値から第３の背景画素値を除いて前景画像を算出するステップを構成する。

更に、図９のステップＳ４は、第２の背景画素値に対して、ノイズ除去を実行するステップを構成する。

更に、図９に示すフローチャートにおいて、算出部５が撮影用素子３１の検出値Ｄ１と背景用素子３２の検出値Ｄ２とを制御部４から受けることは、複数の第２の検出素子（複数の背景用素子３２）によって検出された背景画像の画素値である第１の背景画素値と、複数の第１の検出素子（複数の撮影用素子３１）によって検出された撮影画像の画素値である撮影画素値を受け付けるステップを構成する。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

この発明は、カメラ、画像処理方法、プログラムおよびプログラムを記録したコンピュータ読み取り可能な記録媒体に適用される。

１筐体、２レンズ、３，３Ａ検出器アレイ、４，４Ａ制御部、５算出部、１０，１０Ａ赤外線カメラ、３０対象物、３１撮影用素子、３２背景用素子、３３量子ドット型赤外線検出素子。

検出器アレイ３は、２次元状に配列された検出素子のアレイであり、検出部に含まれる。ここでは、撮影用素子３１と背景用素子３２とを含む構成としているが、撮影用素子３１(第１の検出素子)で構成される(または含む)検出器アレイを第1の検出部とし、背景用素子３２(第２の検出素子)で構成される(または含む)検出器アレイを第２の検出部とする。撮影用素子３１と背景用素子３２が別体として構成されても良い。なお、この発明の実施の形態に記載のように撮影用素子３１と背景用素子３２を一体に構成することもできる。そうすることでスペースの削減および光学部品の削減をすることができる。

撮影用素子３１は、入射した赤外線を検出波長λ１で検出し、その検出した赤外線の検出値を制御部４へ出力する。検出波長λ１は、レンズ２の透過波長範囲を含む波長で構成される。従って、検出波長λ１は、レンズ２の透過波長範囲と一致してもよい。検出波長λ１は、例えば、８～１０μｍである。

背景用素子３２は、入射した赤外線を検出波長λ２で検出し、その検出した赤外線の検出値を制御部４へ出力する。検出波長λ２は、レンズの透過波長範囲を含まない波長で構成される。従って、検出波長λ２は、検出波長λ１を含まなくてもよい。検出波長λ２は、例えば、１０～１１μｍである。

その結果、撮影用素子３１および背景用素子３２は、撮影領域ＰＨＧ＿ＲＥＧ内にＮ_ｙ行Ｎ_ｘ列の行列状（２次元状）に配列される。Ｎ _ｘ，Ｎ_ｙの各々は、２以上の整数である。Ｎ_ｘは、Ｎ_ｙと同じあってもよく、異なっていてもよい。

また、撮影画素値の補間に使用するフィルタ方法は、上記の平均化フィルタに限らず、例えば、ガウシアンフィルタなどの平均化フィルタであっても良い。更に、ぼかしフィルタであってもよい。更に、背景用素子３２の画素周辺の撮影画素値に基づき、重みパラメータを推定する画像処理フィルタを使用してもよい。

奇数次元の画像処理フィルタが用いられる場合、式（２）によって畳み込み演算を行い、ピクセル座標（ｘ，ｙ）の画素値Ｐ’_ｘ，ｙを算出する。即ち、奇数次元の画像処理フィルタは、ピクセル座標（ｘ，ｙ）の周辺の±ｃの範囲の画素に作用する。

［背景画像の画像処理］
背景画像において、背景用素子３２が配置されていない画素（即ち、撮影用素子３１の位置に対応する画素）は、背景画素値が入力されていない。そこで、撮影領域ＰＨＧ＿ＲＥＧ内の全ての背景画素値を算出するためには、撮影用素子３１の位置に対応する画素の背景画素値を補間する必要がある。背景画像において、撮影領域ＰＨＧ＿ＲＥＧの背景用素子３２が配置されていない画素の背景画素値を推定する方法について説明する。

そして、画像処理領域１における背景画素値の算出は、前処理１によって行われ、画像処理領域２における背景画素値の算出は、前処理２によって行われる。なお、ｋは、後処理に用いるフィルタの次数の和と同じ、またはフィルタの次数の和よりも大きい値に設定する必要がある。
（１－１）前処理１
画像処理領域１の背景画素値Ｑ _ｓは、例えば、式（７）によって示される線形法で補間される。

図７は、前処理１を説明するための図である。図７の（ａ）においては、図５に示す撮影領域ＰＨＧ＿ＲＥＧ外の２つの背景画素Ｐ_{Ｑ１＿ｂａｃｋ}，Ｐ_{Ｑ２＿ｂａｃｋ}を例にして前処理１について説明する。

図７の（ａ）を参照して、背景画素Ｐ_{Ｑ１＿ｂａｃｋ}，Ｐ_{Ｑ２＿ｂａｃｋ}は、撮影領域ＰＨＧ＿ＲＥＧ内の背景画素Ｐ_{１＿ｂａｃｋ}，Ｐ_{２＿ｂａｃｋ}と同じ列に配置された画素である。背景画素Ｐ_{２＿ｂａｃｋ}は、撮影領域ＰＨＧ＿ＲＥＧ内において背景画素値を算出すべき背景画素Ｐ_{Ｑ１＿ｂａｃｋ}，Ｐ_{Ｑ２＿ｂａｃｋ}に最も近い背景画素であり、背景画素Ｐ_{１＿ｂａｃｋ}は、撮影領域ＰＨＧ＿ＲＥＧ内において背景画素値を算出すべき背景画素Ｐ_{Ｑ１＿ｂａｃｋ}，Ｐ_{Ｑ２＿ｂａｃｋ}に２番目に近い背景画素である。

また、背景画素Ｐ_{Ｑ２＿ｂａｃｋ}の背景画素値Ｑ_２を算出する場合、背景画素Ｐ_{Ｑ２＿ｂａｃｋ}と、撮影領域ＰＨＧ＿ＲＥＧ内において背景画素Ｐ_{Ｑ２＿ｂａｃｋ}に最も近い背景画素Ｐ_{２＿ｂａｃｋ}との画素間隔（＝２×ｎ_ｙ）を列方向における背景画素の画素間隔（＝ｎ_ｙ）で除算した結果をｓ（＝２×ｎ_ｙ／ｎ_ｙ＝２）とする。

図７の（ｂ）においては、図５に示す撮影領域ＰＨＧ＿ＲＥＧ外の２つの背景画素Ｐ_{Ｑ’１＿ｂａｃｋ}，Ｐ_{Ｑ’２＿ｂａｃｋ}を例にして前処理１について説明する。

図７の（ｂ）を参照して、背景画素Ｐ_{Ｑ’１＿ｂａｃｋ}，Ｐ_{Ｑ’２＿ｂａｃｋ}は、撮影領域ＰＨＧ＿ＲＥＧ内の背景画素Ｐ_{１’＿ｂａｃｋ}，Ｐ_{２’＿ｂａｃｋ}と同じ行に配置された画素である。背景画素Ｐ_{２’＿ｂａｃｋ}は、撮影領域ＰＨＧ＿ＲＥＧ内において背景画素値を算出すべき背景画素Ｐ_{Ｑ’１＿ｂａｃｋ}，Ｐ_{Ｑ’２＿ｂａｃｋ}に最も近い背景画素であり、背景画素Ｐ_{１’＿ｂａｃｋ}は、撮影領域ＰＨＧ＿ＲＥＧ内において背景画素値を算出すべき背景画素Ｐ_{Ｑ’１＿ｂａｃｋ}，Ｐ_{Ｑ’２＿ｂａｃｋ}に２番目に近い背景画素である。

また、背景画素Ｐ_{Ｑ’２＿ｂａｃｋ}の背景画素値Ｑ’_２を算出する場合、背景画素Ｐ_{Ｑ’２＿ｂａｃｋ}と、撮影領域ＰＨＧ＿ＲＥＧ内において背景画素Ｐ_{Ｑ’２＿ｂａｃｋ}に最も近い背景画素Ｐ_{２’＿ｂａｃｋ}との画素間隔（＝２×ｎ_ｘ）を行方向における背景画素の画素間隔（＝ｎ_ｘ）で除算した結果をｓ（＝２×ｎ_ｘ／ｎ_ｘ＝２）とする。

図８は、前処理２を説明するための図である。図８においては、図５に示す２つの画像処理領域２内の背景画素Ｐ_Ｒｔｕ１，Ｐ_Ｒｔｕ２を例にして前処理２について説明する。

図８を参照して、背景画素Ｐ_Ｒｔｕ１は、画像処理領域１内の背景画素Ｐ_{Ｑ１＿ｂａｃｋ}，Ｐ_{Ｑ２＿ｂａｃｋ}と同じ列に配置され、かつ、画像処理領域１内の背景画素Ｐ_{Ｑｂ＿ｂａｃｋ}，Ｐ_{Ｑａ＿ｂａｃｋ}と同じ行に配置された画素である。背景画素Ｐ_{Ｑ２＿ｂａｃｋ}，Ｐ_{Ｑｂ＿ｂａｃｋ}は、背景画素値を算出すべき背景画素Ｐ_Ｒｔｕ１に最も近い画像処理領域１内の背景画素であり、背景画素Ｐ_{Ｑ１＿ｂａｃｋ}，Ｐ_{Ｑａ＿ｂａｃｋ}は、背景画素値を算出すべき背景画素Ｐ_Ｒｔｕ１に２番目に近い画像処理領域１内の背景画素である。

背景画素Ｐ_Ｒｔｕ１の背景画素値Ｒ_ｔｕ１を算出する場合、背景画素Ｐ_Ｒｔｕ１と、背景画素Ｐ_Ｒｔｕ１に最も近い画像処理領域１内の背景画素Ｐ_{Ｑｂ＿ｂａｃｋ}との画素間隔（＝ｎ_ｘ）を行方向における背景画素の画素間隔（＝ｎ_ｘ）で除算した結果をｕ（＝ｎ_ｘ／ｎ_ｘ＝１）とする。

また、背景画素Ｐ_Ｒｔｕ１と、背景画素Ｐ_Ｒｔｕ１に最も近い画像処理領域１内の背景画素Ｐ_{Ｑ２＿ｂａｃｋ}との画素間隔（＝ｎ_ｙ）を列方向における背景画素の画素間隔（＝ｎ_ｙ）で除算した結果をｔ（＝ｎ_ｙ／ｎ_ｙ＝１）とする。

背景画素Ｐ_{Ｑ’２＿ｂａｃｋ}，Ｐ_{Ｑｂ＿ｂａｃｋ}は、算出すべき背景画素Ｐ_Ｒｔｕ２に最も近い画像処理領域１内の背景画素であり、背景画素Ｐ_{Ｑ’１＿ｂａｃｋ}，Ｐ_{Ｑａ＿ｂａｃｋ}は、算出すべき背景画素Ｐ_Ｒｔｕ２に２番目に近い画像処理領域１内の背景画素である。

背景画素Ｐ_Ｒｔｕ２の背景画素値Ｒ_ｔｕ２を算出する場合、背景画素Ｐ_Ｒｔｕ２と、背景画素Ｐ_Ｒｔｕ２に最も近い画像処理領域１内の背景画素Ｐ_{Ｑｂ＿ｂａｃｋ}との画素間隔（＝２×ｎ_ｘ）を行方向における背景画素の画素間隔（＝ｎ_ｘ）で除算した結果をｕ（＝２×ｎ_ｘ／ｎ_ｘ＝２）とする。

また、背景画素Ｐ_Ｒｔｕ２と、背景画素Ｐ_Ｒｔｕ２に最も近い画像処理領域１内の背景画素Ｐ_{Ｑ’２＿ｂａｃｋ}との画素間隔（＝ｎ_ｙ）を列方向における背景画素の画素間隔（＝ｎ_ｙ）で除算した結果をｔ（＝ｎ_ｙ／ｎ_ｙ＝１）とする。

背景画素Ｐ_Ｒｔｕ３は、画像処理領域１内の背景画素Ｐ_{Ｑ１＿ｂａｃｋ}，Ｐ_{Ｑ２＿ｂａｃｋ}と同じ列に配置され、かつ、画像処理領域１内の背景画素Ｐ_{Ｑ’ｂ＿ｂａｃｋ}，Ｐ_{Ｑ’ａ＿ｂａｃｋ}と同じ行に配置された画素である。背景画素Ｐ_{Ｑ２＿ｂａｃｋ}，Ｐ_{Ｑ’ｂ＿ｂａｃｋ}は、算出すべき背景画素Ｐ_Ｒｔｕ３に最も近い画像処理領域１内の背景画素であり、背景画素Ｐ_{Ｑ１＿ｂａｃｋ}，Ｐ_{Ｑ’ａ＿ｂａｃｋ}は、算出すべき背景画素Ｐ_Ｒｔｕ３に２番目に近い画像処理領域１内の背景画素である。

背景画素Ｐ_Ｒｔｕ３の背景画素値Ｒ_ｔｕ３を算出する場合、背景画素Ｐ_Ｒｔｕ３と、背景画素Ｐ_Ｒｔｕ３に最も近い画像処理領域１内の背景画素Ｐ_{Ｑ’ｂ＿ｂａｃｋ}との画素間隔（＝ｎ_ｘ）を行方向における背景画素の画素間隔（＝ｎ_ｘ）で除算した結果をｕ（＝ｎ_ｘ／ｎ_ｘ＝１）とする。

また、背景画素Ｐ_Ｒｔｕ３と、背景画素Ｐ_Ｒｔｕ３に最も近い画像処理領域１内の背景画素Ｐ_{Ｑ２＿ｂａｃｋ}との画素間隔（＝２×ｎ_ｙ）を列方向における背景画素の画素間隔（＝ｎ_ｙ）で除算した結果をｔ（＝２×ｎ_ｙ／ｎ_ｙ＝２）とする。

背景画素Ｐ_{Ｑ’２＿ｂａｃｋ}，Ｐ_{Ｑ’ｂ＿ｂａｃｋ}は、算出すべき背景画素Ｐ_Ｒｔｕ４に最も近い画像処理領域１内の背景画素であり、背景画素Ｐ_{Ｑ’１＿ｂａｃｋ}，Ｐ_{Ｑ’ａ＿ｂａｃｋ}は、算出すべき背景画素Ｐ_Ｒｔｕ４に２番目に近い画像処理領域１内の背景画素である。

背景画素Ｐ_Ｒｔｕ４の背景画素値Ｒ_ｔｕ４を算出する場合、背景画素Ｐ_Ｒｔｕ４と、背景画素Ｐ_Ｒｔｕ４に最も近い画像処理領域１内の背景画素Ｐ_{Ｑ’ｂ＿ｂａｃｋ}との画素間隔（＝２×ｎ_ｘ）を行方向における背景画素の画素間隔（＝ｎ_ｘ）で除算した結果をｕ（＝２×ｎ_ｘ／ｎ_ｘ＝２）とする。

また、背景画素Ｐ_Ｒｔｕ４と、背景画素Ｐ_Ｒｔｕ４に最も近い画像処理領域１内の背景画素Ｐ_{Ｑ’２＿ｂａｃｋ}との画素間隔（＝２×ｎ_ｙ）を列方向における背景画素の画素間隔（＝ｎ_ｙ）で除算した結果をｔ（＝２×ｎ_ｙ／ｎ_ｙ＝２）とする。

上述したように、背景画素Ｐ_Ｒｔｕ１の背景画素値Ｒ_ｔｕ１は、背景画素値Ｑ_ｕ１（＝Ｑ_ｂ－Ｑ_ａ＋Ｑ_ｂ）と背景画素値Ｑ_ｔ１（＝Ｑ_２－Ｑ_１＋Ｑ_２）との平均として算出され、背景画素Ｐ_Ｒｔｕ２の背景画素値Ｒ_ｔｕ２は、背景画素値Ｑ_ｕ２（＝２×（Ｑ_ｂ－Ｑ_ａ）＋Ｑ_ｂ）と背景画素値Ｑ_ｔ２（＝Ｑ’_２－Ｑ’_１＋Ｑ’_２）との平均として算出され、背景画素Ｐ_Ｒｔｕ３の背景画素値Ｒ_ｔｕ３は、背景画素値Ｑ_ｕ３（＝Ｑ’_ｂ－Ｑ’_ａ＋Ｑ’_ｂ）と背景画素値Ｑ_ｔ３（＝２×（Ｑ_２－Ｑ_１）＋Ｑ_２）との平均として算出され、背景画素Ｐ_Ｒｔｕ４の背景画素値Ｒ_ｔｕ４は、背景画素値Ｑ_ｕ４（＝２×（Ｑ’_ｂ－Ｑ’_ａ）＋Ｑ’_ｂ）と背景画素値Ｑ_ｔ４（＝２×（Ｑ’_２－Ｑ’_１）＋Ｑ’_２）の平均として算出される。

従って、画像処理領域２の背景画素値Ｒ_ｔｕ１～Ｒ_ｔｕ４は、背景画素Ｐ_Ｒｔｕ１～Ｐ_Ｒｔｕ４と、背景画素Ｐ_Ｒｔｕ１～Ｐ_Ｒｔｕ４に最も近い画像処理領域１内の背景画素（背景画素Ｐ_{Ｑ２＿ｂａｃｋ}，Ｐ_{Ｑ’２＿ｂａｃｋ}，Ｐ_{Ｑｂ＿ｂａｃｋ}，Ｐ_{Ｑ’ｂ＿ｂａｃｋ}のいずれか）との画素間隔が大きくなれば（即ち、２×ｎ_ｘになれば）、背景画素値（背景画素値Ｑ_２，Ｑ’_２，Ｑ_ｂ，Ｑ’_ｂのいずれか）からの画素値の変化分が大きくなるように背景画素値Ｑ_ｕ２，Ｑ_ｕ４を算出し、背景画素Ｐ_Ｒｔｕ１～Ｐ_Ｒｔｕ４と、背景画素Ｐ_Ｒｔｕ１～Ｐ_Ｒｔｕ４に最も近い画像処理領域１内の背景画素（背景画素Ｐ_{Ｑ２＿ｂａｃｋ}，Ｐ_{Ｑ’２＿ｂａｃｋ}，Ｐ_{Ｑｂ＿ｂａｃｋ}，Ｐ_{Ｑ’ｂ＿ｂａｃｋ}のいずれか）との画素間隔が小さくなれば（即ち、ｎ_ｘになれば）、背景画素値（背景画素値Ｑ_２，Ｑ’_２，Ｑ_ｂ，Ｑ’_ｂのいずれか）からの画素値の変化分が小さくなるように背景画素値Ｑ_ｕ１，Ｑ_ｕ３を算出する。

また、背景画素値Ｒ_ｔｕ１～Ｒ_ｔｕ４は、背景画素Ｐ_Ｒｔｕ１～Ｐ_Ｒｔｕ４と、背景画素Ｐ_Ｒｔｕ１～Ｐ_Ｒｔｕ４に最も近い画像処理領域１内の背景画像（背景画素Ｐ_{Ｑ２＿ｂａｃｋ}，Ｐ_{Ｑ’２＿ｂａｃｋ}，Ｐ_{Ｑｂ＿ｂａｃｋ}，Ｐ_{Ｑ’ｂ＿ｂａｃｋ}のいずれか）との画素間隔が大きくなれば（即ち、２×ｎ_ｙになれば）、背景画素値（背景画素値Ｑ_２，Ｑ’_２，Ｑ_ｂ，Ｑ’_ｂのいずれか）からの画素値の変化分が大きくなるように背景画素値Ｑ_ｔ３，Ｑ_ｔ４を算出し、背景画素Ｐ_Ｒｔｕ１～Ｐ_Ｒｔｕ４と、背景画素Ｐ_Ｒｔｕ１～Ｐ_Ｒｔｕ４に最も近い画像処理領域１内の背景画像（背景画素Ｐ_{Ｑ２＿ｂａｃｋ}，Ｐ_{Ｑ’２＿ｂａｃｋ}，Ｐ_{Ｑｂ＿ｂａｃｋ}，Ｐ_{Ｑ’ｂ＿ｂａｃｋ}のいずれか）との画素間隔が小さくなれば（即ち、ｎ_ｙになれば）、背景画素値（背景画素値Ｑ_２，Ｑ’_２，Ｑ_ｂ，Ｑ’_ｂのいずれか）からの画素値の変化分が小さくなるように背景画素値Ｑ_ｔ１，Ｑ_ｔ２を算出する。

従来技術に基づいて推定した背景画像（図１５（ｃ）参照）から検証用画像（図１４（ａ）参照）を引いた結果、図１５（ｄ）の画像が得られた。ここで、推定した背景画像と検証用画像の画素値は、最大で２７７３７異なる。すなわち、正確に背景画像を算出することができない。

図２０を参照して、補間対象の画素１，２が隣接して存在する。この場合、補間対象の画素１の画素値は、周辺画素１の画素値と、上述した画像処理フィルタ（奇数次元の画像処理フィルタまたは偶数次元の画像処理フィルタ）とを用いて式（２）または式（６）によって畳み込み演算を行って周辺画素の画素値を平均化した値を補間対象の画素値として補間する。また、補間対象の画素２の画素値は、周辺画素２の画素値と、上述した画像処理フィルタ（奇数次元の画像処理フィルタまたは偶数次元の画像処理フィルタ）とを用いて式（２）または式（６）によって畳み込み演算を行って周辺画素の画素値を平均化した値を補間対象の画素値として補間する。

図２１は、画像処理領域２の背景画素値の別の算出方法を説明するための図である。図２１を参照して、背景画素Ｐ_Ｒｔｕ１の背景画素値Ｒ_ｔｕ１は、背景画素Ｐ_{Ｑｂ２＿ｂａｃｋ}の背景画素値Ｑ_ｂ２と、背景画素Ｐ_{Ｑａ２＿ｂａｃｋ}の背景画素値Ｑ_ａ２とを用いて式（７）によって算出されてもよい。

背景画素Ｐ_{Ｑｂ２＿ｂａｃｋ}は、撮影領域の対角線の方向において、背景画素Ｐ_Ｒｔｕ１に最も近い背景画像であり、背景画素Ｐ_{Ｑａ２＿ｂａｃｋ}は、撮影領域の対角線の方向において、背景画素Ｐ_Ｒｔｕ１に２番目に近い背景画像である。そして、背景画素Ｐ_{Ｑａ２＿ｂａｃｋ}と背景画素Ｐ_{Ｑｂ２＿ｂａｃｋ}との画素間隔、および背景画素Ｐ_{Ｑｂ２＿ｂａｃｋ}と背景画素Ｐ_Ｒｔｕ１との画素間隔は、（（Ｎ_ｘ）^２＋（Ｎ_ｙ）^２））^１／２になる。従って、ｓは、背景画素Ｐ_{Ｑｂ２＿ｂａｃｋ}と背景画素Ｐ_Ｒｔｕ１との画素間隔（＝（（Ｎ_ｘ）^２＋（Ｎ_ｙ）^２））^１／２）を、撮影領域の対角線の方向における画素間隔（＝（（Ｎ_ｘ）^２＋（Ｎ_ｙ）^２））^１／２）で除算して“１”となる。

また、背景画素Ｐ_Ｒｔｕ４の背景画素値Ｒ_ｔｕ４も、背景画素Ｐ_{Ｑｂ２＿ｂａｃｋ}の背景画素値Ｑ_ｂ２と、背景画素Ｐ_{Ｑａ２＿ｂａｃｋ}の背景画素値Ｑ_ａ２とを用いて式（７）によって算出されてもよい。

背景画素Ｐ_{Ｑｂ２＿ｂａｃｋ}は、撮影領域の対角線の方向において、背景画素Ｐ_Ｒｔｕ４に最も近い背景画像であり、背景画素Ｐ_{Ｑａ２＿ｂａｃｋ}は、撮影領域の対角線の方向において、背景画素Ｐ_Ｒｔｕ４に２番目に近い背景画像である。そして、背景画素Ｐ_Ｒｔｕ１と背景画素Ｐ_Ｒｔｕ４との画素間隔も、（（Ｎ_ｘ）^２＋（Ｎ_ｙ）^２））^１／２になる。従って、ｓは、背景画素Ｐ_{Ｑｂ２＿ｂａｃｋ}と背景画素Ｐ_Ｒｔｕ２との画素間隔（＝２×（（Ｎ_ｘ）^２＋（Ｎ_ｙ）^２））^１／２）を、撮影領域の対角線の方向における画素間隔（（（Ｎ_ｘ）^２＋（Ｎ_ｙ）^２））^１／２）で除算して“２”となる。

なお、背景画素Ｐ_Ｒｔｕ２の背景画素値Ｒ_ｔｕ２および背景画素Ｐ_Ｒｔｕ３の背景画素値Ｒ_ｔｕ３は、図８において説明した方法によって算出される。

図２２において、６～８．５μｍの波長範囲、８．５～９μｍの波長範囲および９～１２μｍの波長範囲は、撮影用素子３１が赤外線を検出することができる波長範囲λｒａｎｇｅ＿１の一例である。また、５～７μｍの波長範囲および１１～１３μｍの波長範囲は、背景用素子３２が赤外線を検出することができる波長範囲λｒａｎｇｅ＿２の一例である。更に、８～１０μｍの波長範囲は、レンズ２の透過波長範囲λｒａｎｇｅ＿３である。ここで、波長範囲λｒａｎｇｅ＿１は、波長範囲λｒａｎｇｅ＿２と一部が重複してもよい。

更に、この発明の実施の形態においては、背景画素Ｐ_{Ｑ１＿ｂａｃｋ}，Ｐ_{Ｑ２＿ｂａｃｋ}，Ｐ_{Ｑ’１＿ｂａｃｋ}，Ｐ_{Ｑ’２＿ｂａｃｋ}は、「第１の目的背景画像」を構成し、背景画素Ｐ_{２＿ｂａｃｋ}，Ｐ_{２’＿ｂａｃｋ}は、「第１の背景画像」を構成し、背景画素値Ｐ_２，Ｐ_２’は、「第４の背景画素値」を構成する。

更に、この発明の実施の形態においては、背景画素Ｐ_Ｒｔｕ１，Ｐ_Ｒｔｕ２は、「第２の目的背景画像」を構成し、背景画素Ｐ_{Ｑｂ＿ｂａｃｋ}，Ｐ _{Ｑ’ｂ＿ｂａｃｋ}の各々は、「第２の背景画像」を構成し、背景画素Ｐ_{Ｑ２＿ｂａｃｋ}，Ｐ_{Ｑ’２＿ｂａｃｋ}の各々は、「第３の背景画像」を構成し、背景画素値Ｑ_ｂ，Ｑ’_ｂの各々は、「第５の背景画素値」を構成し、背景画素値Ｑ_ｕ１～Ｑ_ｕ４は、「第６の背景画素値」を構成し、背景画素値Ｑ_２，Ｑ’_２の各々は、「第７の背景画素値」を構成し、背景画素値Ｒ_ｔ１～Ｒ_ｔ４は、「第８の背景画素値」を構成する。

更に、この発明の実施の形態においては、背景画素Ｐ_{２＿ｂａｃｋ}，Ｐ_{２’＿ｂａｃｋ}の背景画素値を算出する処理は、「第３の処理」を構成し、背景画素Ｐ_Ｒｔｕ１，Ｐ_Ｒｔｕ２の背景画素値を算出する処理は、「第４の処理」を構成する。

Claims

２次元状に配置されかつ第１の波長範囲の電磁波を検出することができる第１の検出素子を含む第１の検出部と、
２次元状に配置されかつ筐体内から放射される第２の波長範囲の電磁波における少なくとも１つの波長の電磁波を検出することができる第２の検出素子を含む第２の検出部と、
前記第２の検出素子に対応して配置され、前記第２の波長範囲の電磁波を透過することができる第１の透過部材と、
第３の波長範囲の電磁波を筐体外から筐体内へ透過させることができる第２の透過部材と、
前記第１の検出部で検出された第１の検出値と前記第２の検出部で検出された第２の検出値とから画像情報を算出することができる算出部を備え、
前記第１の波長範囲の少なくとも１つの波長は、前記第３の波長範囲の波長と重複し、
前記第２の波長範囲は、前記第３の波長範囲と重複しない、カメラ。
前記第１および第２の検出素子は、撮影領域において相互に異なる位置に配置される、請求項１に記載のカメラ。
前記第１の検出素子は、前記第２の検出素子と同じ検出素子からなり、
前記第１の検出素子には、波長フィルタが貼られており、
前記波長フィルタの透過波長範囲は、前記第１の波長範囲と同じである、請求項１または請求項２に記載のカメラ。
前記第１の検出素子および前記第２の検出素子は、量子ドット型検出素子からなる、請求項１から請求項３のいずれか１項に記載のカメラ。
前記量子ドット型検出素子は、
第１の電圧が印加され、対象物から放射される電磁波を前記第１の波長範囲の一部を少なくとも含む前記第３の波長範囲で検出する第１の量子ドット型検出素子と、
前記第１の電圧と異なる第２の電圧が印加され、前記筐体内から放射される電磁波を前記第２の波長範囲で検出する第２の量子ドット型検出素子とを含む、請求項４に記載のカメラ。
前記第１の検出素子の個数と前記第２の検出素子の個数との比は、前記第１の検出素子の個数：前記第２の検出素子の個数＝６４：１以下である、請求項１から請求項５のいずれか１項に記載のカメラ。
前記算出部は、前記第２の検出値から得られた背景画像の画素値である第１の背景画素値に基づいて撮影領域の外側の領域である画像処理領域における背景画素値である第２の背景画素値を算出する第１の処理を実行し、前記第１および第２の背景画素値に基づいて前記第１の検出素子に対応する画像における背景画素値を補間して前記撮影領域の全域における背景画素値である第３の背景画素値を算出する第２の処理を実行し、前記第１の検出素子によって検出された撮影画像の画素値である撮影画素値に基づいて前記第２の検出素子に対応する画像における撮影画素値を補間して前記撮影領域の全域における撮影画素値を算出し、その算出した撮影画素値から前記第３の背景画素値を除いて前景画像を算出する、請求項１から請求項６のいずれか１項に記載のカメラ。
前記第１の検出素子および前記第２の検出素子は、前記撮影領域においてＮ_ｙ行Ｎ_ｘ列の行列状に配列されており、
前記画像処理領域は、ｋ行Ｎ_ｘ列の行列状に配列されたｋ×Ｎ_ｘ個またはＮ_ｙ行ｋ列の行列状に配列されたＮ_ｙ×ｋ個の背景画像を含み、かつ、前記撮影領域の行または列に沿って配置された第１の画像処理領域と、ｋ行ｋ列の行列状に配列されたｋ×ｋ個の背景画像を含み、かつ、前記撮影領域の対角線の延長線上に位置する第２の画像処理領域とを含み、
前記算出部は、前記第１の処理において、前記第１の画像処理領域の背景画素値を算出すべき第１の目的背景画像と同じ行または列に配置され、かつ、前記第１の目的背景画像に最も近い前記撮影領域の背景画像を第１の背景画像としたとき、前記第１の背景画像と前記第１の目的背景画像との画像間隔である第１の画像間隔が大きくなれば、前記第１の背景画像の背景画素値である第４の背景画素値からの背景画素値の変化分が大きくなり、前記第１の画像間隔が小さくなれば前記第４の背景画素値からの背景画素値の変化分が小さくなるように前記第１の目的背景画像の背景画素値を算出する第３の処理を前記第１の画像処理領域内の全ての背景画像について実行するとともに、前記第２の画像処理領域の背景画素値を算出すべき第２の目的背景画像と同じ行に配置され、かつ、前記第２の目的背景画像に最も近い前記第１の画像処理領域の背景画像を第２の背景画像とし、前記第２の目的背景画像と同じ列に配置され、かつ、前記第２の目的背景画像に最も近い前記第１の画像処理領域の背景画像を第３の背景画像としたとき、前記第２の背景画像と前記第２の目的背景画像との画像間隔である第２の画像間隔が大きくなれば、前記第２の背景画像の背景画素値である第５の背景画素値からの背景画素値の変化分が大きくなり、前記第２の画像間隔が小さくなれば、前記第５の背景画素値からの背景画素値の変化分が小さくなるように第６の背景画素値を算出し、前記第３の背景画像と前記第２の目的背景画像との画像間隔である第３の画像間隔が大きくなれば、前記第３の背景画像の背景画素値である第７の背景画素値からの背景画素値の変化分が大きくなり、前記第３の画像間隔が小さくなれば、前記第７の背景画素値からの背景画素値の変化分が小さくなるように第８の背景画素値を算出し、前記第６の背景画素値と前記第８の背景画素値との平均を前記第２の目的背景画素の背景画素値として算出する第４の処理を前記第２の画像処理領域内の全ての背景画像について実行する、請求項７に記載のカメラ。
前記算出部は、前記第１の処理において、前記第３および第４の処理を実行した後にノイズ除去処理を更に実行する、請求項８に記載のカメラ。
前記電磁波は、赤外線である、請求項１から請求項９のいずれか１項に記載のカメラ。
複数の第２の検出素子によって検出された背景画像の画素値である第１の背景画素値に基づいて撮影領域の外側の領域である画像処理領域における背景画素値である第２の背景画素値を算出する第１のステップと、
前記第１および第２の背景画素値に基づいて複数の第１の検出素子に対応する画像における背景画素値を補間して前記撮影領域の全域における背景画素値である第３の背景画素値を算出する第２のステップと、
複数の第１の検出素子によって検出された撮影画像の画素値である撮影画素値に基づいて前記複数の第２の検出素子に対応する画像における撮影画素値を補間して前記撮影領域の全域における撮影画素値を算出する第３のステップと、
前記第３のステップにおいて算出された撮影画素値から前記第３の背景画素値を除いて前景画像を算出する第４のステップと、
前記第１のステップの実行後かつ前記第２のステップを実行前に、前記第２の背景画素値に対して、ノイズ除去を実行する第５のステップとを備える画像処理方法。
複数の第２の検出素子によって検出された背景画像の画素値である第１の背景画素値と、複数の第１の検出素子によって検出された撮影画像の画素値である撮影画素値を受け付ける第１のステップと、
前記第１の背景画素値に基づいて撮影領域の外側の領域である画像処理領域における背景画素値である第２の背景画素値を算出する第２のステップと、
前記第１および第２の背景画素値に基づいて複数の第１の検出素子に対応する画像における背景画素値を補間して前記撮影領域の全域における背景画素値である第３の背景画素値を算出する第３のステップと、
前記撮影画素値に基づいて前記複数の第２の検出素子に対応する画像における撮影画素値を補間して前記撮影領域の全域における撮影画素値を算出する第４のステップと、
前記第４のステップにおいて算出された撮影画素値から前記第３の背景画素値を除いて前景画像を算出する第５のステップと、
前記第２のステップの実行後かつ前記第３のステップを実行前に、前記第２の背景画素値に対して、ノイズ除去を実行する第６のステップとをコンピュータに実現させるためのプログラム。
請求項１２に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。