JP2022039246A - 領域抽出装置及び方法並びに対象物検出装置及び方法 - Google Patents

Abstract

【課題】撮像領域の中で特定の狭帯域の発光スペクトルを有する光を発する目的対象物が存在する可能性がある領域を判定領域として適切に抽出することができる、目的対象物の検出の前段階の領域抽出装置及び方法、並びに領域抽出結果を使用することで効率よく目的対象物を検出することができる対象物検出装置及び方法を提供する。【解決手段】領域抽出方法は、目的対象物が発する光の第１狭帯域に対応する第２狭帯域の画像、及び第２狭帯域とは異なる第３狭帯域の画像を含む複数の画像をマルチスペクトルカメラから取得する（ステップＳ１００）。続いて、取得した複数の画像に基づいて、撮像領域の中で第１狭帯域の発光スペクトル以外の発光スペクトルを有する光を発する領域を非判定領域と判定し、撮像領域から非判定領域を除いた１乃至複数の領域を判定領域として抽出する（ステップＳ１１０～ステップ１３０）。【選択図】 図１８

Description

本発明は領域抽出装置及び方法並びに対象物検出装置及び方法に係り、特に撮像領域において、目的対象物が存在する可能性がある領域を判定領域として抽出する技術、及び抽出結果を使用して目的対象物を検出する技術に関する。

特定の波長を有する光を発する目的対象物だけを検出する技術が求められている。

例えば、ＬＥＤ（Light Emitting Diode）化が進んでいる交通信号機を自動認識できるカメラと画像認識技術は、交差点の監視カメラ及び自動運転自動車の車載カメラとして期待されている。

特許文献１には、ＬＥＤで構成された交通信号機の青色信号灯、黄色信号灯、及び赤色信号灯を検出する監視用カメラ装置が記載されている。

特許文献１に記載の監視用カメラは、固体撮像素子の撮像領域内にある交通信号機のＬＥＤで構成された信号灯の点灯を検出する信号灯検出手段と、検出された各信号灯の点灯→消灯→点灯を周期的に繰り返す点灯／消灯領域を検出する点灯／消灯領域検出手段と、点灯／消灯領域検出手段から出力された点灯／消灯領域のＲＧＢ信号の比率を検出するＲＧＢ比率検出手段とを有し、撮像領域内で横方向又は縦方向で、かつ３個直列配列され周期的に繰り返し点灯／消灯する画素のｘｙ座標値で示された領域を、赤色信号灯、黄色信号灯、及び青色信号灯が存在する領域とし、３個の点灯／消灯している点灯／消灯領域における固体撮像素子の赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色信号（ＲＧＢ信号）の比率から、赤色信号灯、黄色信号灯、及び青色信号灯を特定している。

また、特許文献２には、紙幣、有価証券等の本物と偽物とを選別する技術が記載されている。

本物の紙幣等には、特定の狭帯域の光を放射（反射）する特殊インクが存在している。特許文献２に記載の方法は、特定の狭帯域と他の波長とを含む第１波長帯域内の放射の検出と、実質的に他の波長のみしか含まない第２波長帯域内の放射の検出とを行い、検出した２つの放射のレベルを比較することで、特定の狭帯域の放射の存在（特殊インクの存在）を決定するようにしている。

特開２０１４－３２４３６号公報 特表２００１－５１６０１２号公報

特許文献１に記載の監視用カメラは、交通信号機の青色信号灯、黄色信号灯、及び赤色信号灯が順番に点灯／消灯することを利用して、青色信号灯、黄色信号灯、及び赤色信号灯が存在する領域を検出しており、特許文献１に記載の発明は、検出の目的対象物が、監視用カメラで撮像される交通信号機のように、撮像領域内の同じ位置に存在する対象物に限られる。

また、特許文献２に記載の方法は、紙幣、有価証券等の本物と偽物とを選別する方法であり、特に検出すべき目的対象物は、本物の紙幣等に使用された、特定の狭帯域の光を放射する特殊インクであり、特殊インクが存在すべき位置は限定されている。

即ち、特許文献１、２に記載の技術は、いずれも目的対象物が撮像領域の特定の位置に存在することが前提となっており、撮像領域の任意の位置に存在する目的対象物を検出することはできない。

本発明はこのような事情に鑑みてなされたもので、撮像領域の中で特定の狭帯域の発光スペクトルを有する光を発する目的対象物が存在する可能性がある領域を判定領域として適切に抽出することができる、目的対象物の検出の前段階の領域抽出装置及び方法、並びに領域抽出結果を使用することで効率よく目的対象物を検出することができる対象物検出装置及び方法を提供することを目的とする。

上記目的を達成するために第１態様に係る発明は、撮像領域において、目的対象物が存在する可能性がある領域を判定領域として抽出する、プロセッサを備えた領域抽出装置であって、目的対象物は、第１狭帯域の発光スペクトルを有する光を発するものであり、プロセッサは、第１狭帯域に対応する第２狭帯域の画像、及び第２狭帯域とは異なる第３狭帯域の画像を含む複数の画像をマルチスペクトルカメラから取得する画像取得処理と、複数の画像のうちの第２狭帯域の画像以外の画像に基づいて、撮像領域の中で第１狭帯域の発光スペクトル以外の発光スペクトルを有する光を発する領域を検出し、検出した領域を非判定領域として決定する非判定領域決定処理と、撮像領域から非判定領域を除いた１乃至複数の領域を判定領域として抽出する判定領域抽出処理と、を行う。

本発明の第１態様によれば、撮像領域の中で第１狭帯域の発光スペクトルを有する光で発光、又は反射していない領域（即ち、目的対象物が発光又は反射する第１狭帯域の発光スペクトルを有しない領域）を、複数の画像のうちの第２狭帯域の画像以外の画像に基づいて検出する。このようにして検出した領域には、少なくとも目的対象物の発光スペクトルの光とは異なる発光スペクトルの光が含まれるため、目的対象物は存在しない。そこで、目的対象物が存在しない領域を非判定領域とみなして、目的対象物が存在する可能性がある領域から排除する。即ち、撮像領域から非判定領域を排除した残りの領域を目的対象物が存在する可能性がある領域（判定領域）として抽出する。

目的対象物の検出処理の前処理として、目的対象物が存在する可能性がある判定領域を絞り込むことで、目的対象物の検出性能が「向上」する。

ここで、「向上」とは、(a) 非判定領域にある「偽の対象物」は、そもそも判定対象外となるため誤検出がなくなる（誤検出抑制）、(b) 撮像領域の中で判定領域が少なくなる(厳選される)ので、目的対象物の判定処理の処理時間が減る（処理時間の短縮）、の２面の性能向上を含む。

本発明の第２態様に係る領域抽出装置において、第２狭帯域の中心波長は、第１狭帯域の中心波長から第１狭帯域の発光スペクトルの半値幅未満の範囲にあり、第３狭帯域の中心波長は、第２狭帯域の中心波長から第１狭帯域の発光スペクトルの半値幅以上離れていることが好ましい。

本発明の第３態様に係る領域抽出装置において、第２狭帯域の中心波長は、第１狭帯域の中心波長と一致し、かつ第２狭帯域の帯域幅は、第１狭帯域の帯域幅以内であることが好ましい。第２狭帯域の中心波長と第１狭帯域の中心波長との一致とは、完全に一致する場合に限らず、略一致している場合も含む。

本発明の第４態様に係る領域抽出装置において、目的対象物は、商用電源の周波数に対応する周波数のフリッカを発生するものであり、非判定領域決定処理は、撮像領域の中でフリッカが発生しない領域を非判定領域とすることが好ましい。

本発明の第５態様に係る領域抽出装置において、非判定領域決定処理は、撮像領域の中の下方の３分の１以下の領域を非判定領域とすることが好ましい。例えば、車載のマルチスペクトルカメラで前方を撮像する場合、交通信号機は、通常、車載カメラの撮像領域の下方の３分の１以下の領域には存在しないからである。

本発明の第６態様に係る領域抽出装置において、目的対象物は、発光ダイオードを有する発光体であることが好ましい。例えば、発光ダイオードで構成された交通信号機を目的対象物とすることができる。

本発明の第７態様に係る対象物検出装置は、上記の領域抽出装置を備え、プロセッサは、第２狭帯域の画像及び第３狭帯域の画像を含む複数の狭帯域の画像に基づいて、判定領域内の対象物が目的対象物か否かを判定する判定処理を行う。

本発明の第８態様に係る対象物検出装置において、画像取得処理は、第２狭帯域の画像、第３狭帯域の画像、及び第２狭帯域を挟んで第３狭帯域と反対側の第４狭帯域の画像をマルチスペクトルカメラから取得し、判定処理は、判定領域内の第２狭帯域の画像から、判定領域内の第３狭帯域の画像及び第４狭帯域の画像を減算し、減算した減算結果により判定領域内の対象物が目的対象物か否かを判定することが好ましい。

本発明の第８態様によれば、第２狭帯域の画像から、その第２狭帯域の両隣接の第３狭帯域画像及び第４狭帯域の画像を差し引くことで、第１狭帯域の発光スペクトルの光を発する目的対象物のみを良好に検出することができる。

本発明の第９態様に係る対象物検出装置において、画像取得処理は、第２狭帯域の画像、第３狭帯域の画像、及び第２狭帯域を挟んで第３狭帯域と反対側の第４狭帯域の画像をマルチスペクトルカメラから取得し、判定処理は、判定領域内の第２狭帯域の画像、第３狭帯域の画像及び第４狭帯域の画像と画像毎に設定した重み係数とを用いて積和演算を行い、積和演算した演算結果により判定領域内の対象物が目的対象物か否かを判定することが好ましい。

本発明の第９態様によれば、判定領域内の第２狭帯域の画像、第３狭帯域の画像及び第４狭帯域の画像の３つの画像と画像毎に設定した重み係数とを用いて積和演算を行うことで、第１狭帯域の発光スペクトルの光を発する目的対象物のみをより良好に検出することができる。

本発明の第１０態様に係る対象物検出装置において、画像取得処理は、第２狭帯域の画像、第３狭帯域の画像、及び第２狭帯域を挟んで第３狭帯域と反対側の第４狭帯域の画像をマルチスペクトルカメラから取得し、判定処理は、判定領域内の第２狭帯域の画像、第３狭帯域の画像及び第４狭帯域の画像と画像毎に設定した重み係数とを用いて積和演算を行い、積和演算した演算結果に対して更に非線形演算を行い、非線形演算の結果により判定領域内の対象物が目的対象物か否かを判定することが好ましい。

本発明の第１０態様によれば、判定領域内の第２狭帯域の画像、第３狭帯域の画像及び第４狭帯域の画像の３つの画像と画像毎に設定した重み係数とを用いて積和演算を行い、更に積和演算した演算結果に対して非線形演算を行うことで、第１狭帯域の発光スペクトルの光を発する目的対象物のみを更に良好に検出することができる。

本発明の第１１態様に係る対象物検出装置において、画像取得処理は、第２狭帯域の画像、第３狭帯域の画像、及び第２狭帯域を挟んで第３狭帯域と反対側の第４狭帯域の画像をマルチスペクトルカメラから取得し、判定処理は、判定領域内の第２狭帯域の画像、第３狭帯域の画像及び第４狭帯域の画像を入力し、判定領域内の対象物が目的対象物か否かの判定結果を出力する学習済みモデルによる処理であることが好ましい。

本発明の第１２態様に係る対象物検出装置において、目的対象物は、交通信号機の青色信号灯、黄色信号灯、及び赤色信号灯であり、画像取得処理は、青色信号灯、黄色信号灯、及び赤色信号灯がそれぞれ発する光の発光スペクトルに対応する３つの狭帯域の各画像と３つの狭帯域とは異なる３以上の狭帯域の画像を含む複数の狭帯域の画像をマルチスペクトルカメラから取得し、プロセッサは、６以上の狭帯域の画像に基づいて交通信号機のいずれの信号灯が光を発しているかを検出することが好ましい。

第１３態様に係る発明は、撮像領域において、目的対象物が存在する可能性がある領域を判定領域として抽出する、プロセッサによる領域抽出方法であって、目的対象物は、第１狭帯域の発光スペクトルを有する光を発するものであり、第１狭帯域に対応する第２狭帯域の画像、及び第２狭帯域とは異なる第３狭帯域の画像を含む複数の画像をマルチスペクトルカメラから取得するステップと、複数の画像のうちの第２狭帯域の画像以外の画像に基づいて、撮像領域の中で第１狭帯域の発光スペクトル以外の発光スペクトルを有する光を発する領域を検出し、検出した領域を非判定領域として決定するステップと、撮像領域から非判定領域を除いた１乃至複数の領域を判定領域として抽出するステップと、を含む。

本発明の第１４態様に係る対象物検出方法は、上記の領域抽出方法を含み、プロセッサが、第２狭帯域の画像及び第３狭帯域の画像を含む複数の狭帯域の画像に基づいて、判定領域内の対象物が目的対象物か否かを判定する。

本発明によれば、撮像領域の中で特定の狭帯域の発光スペクトルを有する光を発する目的対象物が存在する可能性がある領域を判定領域として適切に抽出することができる。また、この判定領域の抽出処理を目的対象物の検出処理の前処理として行うことで、撮像領域の中で特定の狭帯域の発光スペクトルを有する光を発する目的対象物を効率よく検出することができる。

図１は本発明に係る対象物検出装置の実施形態を示す概略構成図である。 図２はマルチスペクトルカメラの実施形態を示す概略図である。 図３は瞳分割フィルタの正面図である。 図４は狭帯域フィルタの正面図である。 図５は、狭帯域フィルタ部に設定される透過波長の一例を示す図である。 図６は偏光フィルタの正面図である。 図７は偏光フィルタの各偏光フィルタ部に設定される偏光方向の一例を示す図である。 図８はイメージセンサの画素の配列の概略構成を示す図である。 図９はイメージセンサの概略構成を示す図である。 図１０は、図９の破線部で示した画素の概略構成を示す断面図である。 図１１は各画素ブロックに備えられる偏光フィルタ素子の配列パターンの一例を示す図である。 図１２は各画素ブロックに備えられる分光フィルタ素子の配列パターンの一例を示す図である。 図１３はマルチスペクトルカメラの信号処理部の腰部ブロック図である。 図１４はプロセッサの実施形態を示す概略図である。 図１５は各判定処理部による判定処理の実施形態を示す概念図である。 図１６は判定処理部の他の変形例を示す概念図である。 図１７はマルチスペクトルカメラ及び判定処理部の変形例を示す概念図である。 図１８は本発明に係る対象物検出方法の実施形態を示すフローチャートである。 図１９は本発明による目的対象物の検出過程における各種の画像等を示す図である。 図２０は本発明に係る対象物検出方法に対する比較例を示すフローチャートである。 図２１は比較例による目的対象物の検出過程における各種の画像等を示す図である。

以下、添付図面に従って本発明に係る領域抽出装置及び方法並びに対象物検出装置及び方法の好ましい実施形態について説明する。

図１は本発明に係る対象物検出装置の実施形態を示す概略構成図である。

図１に示す対象物検出装置１は、本発明に係る領域抽出装置を含んで構成されている。

図１に示すように対象物検出装置１は、マルチスペクトルカメラ１０と、プロセッサ１００とから構成されている。対象物検出装置１は、特定の狭帯域の波長で発光又は反射する目的対象物を検出するものであり、本例では、発光ダイオード（ＬＥＤ：Light Emitting Diode）で構成された交通信号機の青色信号灯、黄色信号灯、及び赤色信号灯を検出の目的対象物としている。

交通信号機に使用されている青色ＬＥＤ、黄色ＬＥＤ、及び赤色ＬＥＤは、それぞれ発光中心波長が503nm、592nm、及び630nmであり、波長幅がそれぞれ30～50nm程度の狭帯域の発光スペクトルの光を発光する。

マルチスペクトルカメラ１０は、青色ＬＥＤ、黄色ＬＥＤ、及び赤色ＬＥＤの各発光帯域を含む複数の狭帯域の光をそれぞれ選択的に透過させる複数の狭帯域フィルタを有し、複数の狭帯域フィルタをそれぞれ透過した複数の画像を同時に撮像するものである。

＜マルチスペクトルカメラ＞
図２は、マルチスペクトルカメラの実施形態を示す概略図である。

図２に示すマルチスペクトルカメラ１０は、撮像光学系１１、イメージセンサ２０及び信号処理部３０を備える。

〔撮像光学系〕
撮像光学系１１は、レンズ１２及び瞳分割フィルタ１４を備える。レンズ１２は、目的対象物を含む被写体の光学像をイメージセンサ２０の受光面上に結像させる。

瞳分割フィルタ１４は、撮像光学系１１の瞳位置又はその近傍に備えられ、撮像光学系１１の瞳部分を９つの光学領域に分割する。瞳分割フィルタ１４は、狭帯域フィルタ１６と偏光フィルタ１８とを重ね合わせて構成される。

図３は、瞳分割フィルタの正面図である。

図３に示すように、瞳分割フィルタ１４は、周方向に９等分割された９つの光学領域Ｓｊ（ｊ＝１、２、３、４、５、６、７、８、９）を有する。以下、必要に応じて、符号Ｓ１の光学領域を第１光学領域Ｓ１、符号Ｓ２の光学領域を第２光学領域Ｓ２、符号Ｓ３の光学領域を第３光学領域Ｓ３、符号Ｓ４の光学領域を第４光学領域Ｓ４、符号Ｓ５の光学領域を第５光学領域Ｓ５、符号Ｓ６の光学領域を第６光学領域Ｓ６、符号Ｓ７の光学領域を第７光学領域Ｓ７、符号Ｓ８の光学領域を第８光学領域Ｓ８、符号Ｓ９の光学領域を第９光学領域Ｓ９として、９つの光学領域Ｓｊを区別する。

各光学領域Ｓｊは、それぞれ異なる波長帯域の光が透過する設定とされる。また、９つの光学領域Ｓｊのうち第１光学領域Ｓ１、第２光学領域Ｓ２及び第３光学領域Ｓ３で構成される光学領域群と、第４光学領域Ｓ４、第５光学領域Ｓ５及び第６光学領域Ｓ６で構成される光学領域群と、第７光学領域Ｓ７、第８光学領域Ｓ８及び第９光学領域Ｓ９で構成される光学領域群とは、互いに異なる偏光方向（透過偏光方位）の光を透過する設定とされる。このような構成は、次の構成の狭帯域フィルタ１６及び偏光フィルタ１８の組み合わせによって実現される。

図４は、狭帯域フィルタの正面図である。

狭帯域フィルタ１６は、周方向に９等分割された９つの狭帯域フィルタ部Ｆ１～Ｆ９を有する。以下、必要に応じて、符号Ｆ１の狭帯域フィルタ部を第１狭帯域フィルタ部Ｆ１、符号Ｆ２の狭帯域フィルタ部を第２狭帯域フィルタ部Ｆ２、符号Ｆ３の狭帯域フィルタ部を第３狭帯域フィルタ部Ｆ３、符号Ｆ４の狭帯域フィルタ部を第４狭帯域フィルタ部Ｆ４、符号Ｆ５の狭帯域フィルタ部を第５狭帯域フィルタ部Ｆ５、符号Ｆ６の狭帯域フィルタ部を第６狭帯域フィルタ部Ｆ６、符号Ｆ７の狭帯域フィルタ部を第７狭帯域フィルタ部Ｆ７、符号Ｆ８の狭帯域フィルタ部を第８狭帯域フィルタ部Ｆ８、符号Ｆ９の狭帯域フィルタ部を第９狭帯域フィルタ部Ｆ９として、９つの狭帯域フィルタ部Ｆ１～Ｆ９を区別する。

各狭帯域フィルタ部Ｆ１～Ｆ９は、それぞれ瞳分割フィルタ１４の各光学領域Ｓ１～Ｓ９に対応する。即ち、第１狭帯域フィルタ部Ｆ１は第１光学領域Ｓ１に対応し、第２狭帯域フィルタ部Ｆ２は第２光学領域Ｓ２に対応し、第３狭帯域フィルタ部Ｆ３は第３光学領域Ｓ３に対応し、第４狭帯域フィルタ部Ｆ４は第４光学領域Ｓ４に対応し、第５狭帯域フィルタ部Ｆ５は第５光学領域Ｓ５に対応し、第６狭帯域フィルタ部Ｆ６は第６光学領域Ｓ６に対応し、第７狭帯域フィルタ部Ｆ７は第７光学領域Ｓ７に対応し、第８狭帯域フィルタ部Ｆ８は第８光学領域Ｓ８に対応し、第９狭帯域フィルタ部Ｆ９は第９光学領域Ｓ９に対応する。

各狭帯域フィルタ部Ｆ１～Ｆ９は、それぞれ異なる狭帯域の光を透過させるバンドバスフィルタにより構成される。

図５は、各狭帯域フィルタ部に設定される透過波長の一例を示す図である。

第１狭帯域フィルタ部Ｆ１が透過させる光の波長帯域を第１波長帯域Δｆ１、第２狭帯域フィルタ部Ｆ２が透過させる光の波長帯域を第２波長帯域Δｆ２、第３狭帯域フィルタ部Ｆ３が透過させる光の波長帯域を第３波長帯域Δｆ３、第４狭帯域フィルタ部Ｆ４が透過させる光の波長帯域を第４波長帯域Δｆ４、第５狭帯域フィルタ部Ｆ５が透過させる光の波長帯域を第５波長帯域Δｆ５、第６狭帯域フィルタ部Ｆ６が透過させる光の波長帯域を第６波長帯域Δｆ６、第７狭帯域フィルタ部Ｆ７が透過させる光の波長帯域を第７波長帯域Δｆ７、第８狭帯域フィルタ部Ｆ８が透過させる光の波長帯域を第８波長帯域Δｆ８、第９狭帯域フィルタ部Ｆ９が透過させる光の波長帯域を第９波長帯域Δｆ９とする。

第２波長帯域Δｆ２は、青色ＬＥＤの波長帯域に対応する波長帯域であり、第２波長帯域Δｆ２の中心波長は、青色ＬＥＤの中心波長（503nm）と一致し、第２波長帯域Δｆ２の帯域幅は、青色ＬＥＤの波長帯域の帯域幅以内であることが好ましい。尚、第２波長帯域Δｆ２の中心波長は、青色ＬＥＤの中心波長（503nm）と完全に一致する場合に限らず、略一致している場合を含み、少なくとも青色ＬＥＤの中心波長から青色ＬＥＤの発光スペクトルの半値幅未満の範囲であればよい。

第１波長帯域Δｆ１の中心波長は503nm－λ１であり、第２波長帯域Δｆ２の中心波長（青色ＬＥＤの中心波長（503nm））よりもλ１だけ短く、第３波長帯域Δｆ３の中心波長は503nm＋λ３であり、第２波長帯域Δｆ２の中心波長よりもλ３だけ長い。即ち、第３波長帯域Δｆ３は、第１波長帯域Δｆ１、第２波長帯域Δｆ２とは異なり、第２波長帯域Δｆ２を挟んで第１波長帯域Δｆ１とは反対側の波長帯域である。

また、λ１、λ３は、それぞれ第２波長帯域Δｆ２の中心波長から青色ＬＥＤの発光スペクトルの半値幅以上離れた値であることが好ましい。

第５波長帯域Δｆ５は、黄色ＬＥＤの波長帯域に対応する波長帯域であり、第５波長帯域Δｆ２．５の中心波長は、黄色ＬＥＤの中心波長（592nm）と一致し、第５波長帯域Δｆ５の帯域幅は、黄色ＬＥＤの波長帯域の帯域幅以内であることが好ましい。

第４波長帯域Δｆ４及び第６波長帯域Δｆ６は、それぞれ第５波長帯域Δｆ５を挟む前後の波長帯域であり、第４波長帯域Δｆ４の中心波長は592nm－λ４、第６波長帯域Δｆ６は592nm＋λ６である。λ４、λ６は、それぞれ第５波長帯域Δｆ５の中心波長から黄色ＬＥＤの発光スペクトルの半値幅以上離れた値であることが好ましい。

第８波長帯域Δｆ８は、赤色ＬＥＤの波長帯域に対応する波長帯域であり、第８波長帯域Δｆ８の中心波長は、赤色ＬＥＤの中心波長（630nm）と一致し、第８波長帯域Δｆ８の帯域幅は、赤色ＬＥＤの波長帯域の帯域幅以内であることが好ましい。

第７波長帯域Δｆ７及び第９波長帯域Δｆ９は、それぞれ第８波長帯域Δｆ８を挟む前後の波長帯域であり、第７波長帯域Δｆ７の中心波長は630nm－λ７、第９波長帯域Δｆ９は630nm＋λ９である。λ７、λ９は、それぞれ第８波長帯域Δｆ８の中心波長から赤色ＬＥＤの発光スペクトルの半値幅以上離れた値であることが好ましい。

図６は、偏光フィルタの正面図である。

偏光フィルタ１８は、周方向に３等分割された３つの偏光フィルタ部Ｇ１～Ｇ３を有する。以下、必要に応じて、符号Ｇ１の偏光フィルタ部を第１偏光フィルタ部Ｇ１、符号Ｇ２の偏光フィルタ部を第２偏光フィルタ部Ｇ２、符号Ｇ３の偏光フィルタ部を第３偏光フィルタ部Ｇ３として、３つの偏光フィルタ部Ｇ１～Ｇ３を区別する。第１偏光フィルタ部Ｇ１は、瞳分割フィルタ１４の第１光学領域Ｓ１～第３光学領域Ｓ３に対応し、第２偏光フィルタ部Ｇ２は、瞳分割フィルタ１４の第４光学領域Ｓ４～第６光学領域Ｓ６に対応し、第３偏光フィルタ部Ｇ３は、瞳分割フィルタ１４の第７光学領域Ｓ７～第９光学領域Ｓ９に対応する。

図７は、偏光フィルタの各偏光フィルタ部に設定される偏光方向の一例を示す図である。

偏光方向（透過偏光方位）は、光軸Ｌと直交するＸＹ平面において、偏光透過軸がＸ軸と成す角度（方位角）によって表わされる。図７において、符号Ａａは、第１偏光フィルタ部Ｇ１の偏光透過軸を示し、符号Ａｂは、第２偏光フィルタ部Ｇ２の偏光透過軸を示し、符号Ａｃは、第３偏光フィルタ部Ｇ３の偏光透過軸を示している。

図７に示すように、各偏光フィルタ部Ｇ１～Ｇ３は、それぞれ異なる偏光方向（透過偏光方位）の光を透過させる構成を有する。第１偏光フィルタ部Ｇ１が透過させる光の偏光方向（透過偏光方位）をα１、第２偏光フィルタ部Ｇ２が透過させる光の偏光方向（透過偏光方位）をα２、第３偏光フィルタ部Ｇ３が透過させる光の偏光方向（透過偏光方位）をα３とする。本実施の形態のマルチスペクトルカメラ１０では、第１偏光フィルタ部Ｇ１が、方位角０°（α１＝０°）の光を透過する設定とされ、第２偏光フィルタ部Ｇ２が方位角６０°（α２＝６０°）の光を透過する設定とされ、第３偏光フィルタ部Ｇ３が方位角１２０°（α３＝１２０°）の光を透過する設定とされる。

以上の構成の狭帯域フィルタ１６及び偏光フィルタ１８を同軸上に重ね合わせることで、瞳分割フィルタ１４が構成される。この瞳分割フィルタ１４は、次のように作用する。

瞳分割フィルタ１４の第１光学領域Ｓ１を通過する光は、狭帯域フィルタ１６の第１狭帯域フィルタ部Ｆ１及び偏光フィルタ１８の第１偏光フィルタ部Ｇ１を通過する。よって、第１光学領域Ｓ１からは、第１波長帯域Δｆ１の光が、偏光方向α１に偏光（直線偏光）されて出射される。瞳分割フィルタ１４の第２光学領域Ｓ２を通過する光は、狭帯域フィルタ１６の第２狭帯域フィルタ部Ｆ２及び偏光フィルタ１８の第１偏光フィルタ部Ｇ１を通過する。よって、第２光学領域Ｓ２からは、第２波長帯域Δｆ２の光が、偏光方向α１に偏光（直線偏光）されて出射される。瞳分割フィルタ１４の第３光学領域Ｓ３を通過する光は、狭帯域フィルタ１６の第３狭帯域フィルタ部Ｆ３及び偏光フィルタ１８の第１偏光フィルタ部Ｇ１を通過する。よって、第３光学領域Ｓ３からは、第３波長帯域Δｆ３の光が、偏光方向α１に偏光（直線偏光）されて出射される。

また、瞳分割フィルタ１４の第４光学領域Ｓ４を通過する光は、狭帯域フィルタ１６の第４狭帯域フィルタ部Ｆ４及び偏光フィルタ１８の第２偏光フィルタ部Ｇ２を通過する。よって、第４光学領域Ｓ４からは、第４波長帯域Δｆ４の光が、偏光方向α２に偏光（直線偏光）されて出射される。瞳分割フィルタ１４の第５光学領域Ｓ５を通過する光は、狭帯域フィルタ１６の第５狭帯域フィルタ部Ｆ５及び偏光フィルタ１８の第２偏光フィルタ部Ｇ２を通過する。よって、第５光学領域Ｓ５からは、第５波長帯域Δｆ５の光が、偏光方向α２に偏光（直線偏光）されて出射される。瞳分割フィルタ１４の第６光学領域Ｓ６を通過する光は、狭帯域フィルタ１６の第６狭帯域フィルタ部Ｆ６及び偏光フィルタ１８の第２偏光フィルタ部Ｇ２を通過する。よって、第６光学領域Ｓ６からは、第６波長帯域Δｆ６の光が、偏光方向α２に偏光（直線偏光）されて出射される。

また、瞳分割フィルタ１４の第７光学領域Ｓ７を通過する光は、狭帯域フィルタ１６の第７狭帯域フィルタ部Ｆ７及び偏光フィルタ１８の第３偏光フィルタ部Ｇ３を通過する。よって、第７光学領域Ｓ７からは、第７波長帯域Δｆ７の光が、偏光方向α３に偏光（直線偏光）されて出射される。瞳分割フィルタ１４の第８光学領域Ｓ８を通過する光は、狭帯域フィルタ１６の第８狭帯域フィルタ部Ｆ８及び偏光フィルタ１８の第３偏光フィルタ部Ｇ３を通過する。よって、第８光学領域Ｓ８からは、第８波長帯域Δｆ８の光が、偏光方向α３に偏光（直線偏光）されて出射される。瞳分割フィルタ１４の第９光学領域Ｓ９を通過する光は、狭帯域フィルタ１６の第９狭帯域フィルタ部Ｆ９及び偏光フィルタ１８の第３偏光フィルタ部Ｇ３を通過する。よって、第９光学領域Ｓ９からは、第９波長帯域Δｆ９の光が、偏光方向α３に偏光（直線偏光）されて出射される。

撮像光学系１１は、全体が光軸Ｌに沿って前後移動可能に設けられる。これにより、焦点調節が行われる。

〔イメージセンサ〕
図８は、イメージセンサの画素の配列の概略構成を示す図である。

図８に示すように、イメージセンサ２０は、その受光面に複数の画素Ｐｉ（ｉ＝１、２、３、４、５、６、７、８、９）を有する。画素Ｐｉは、水平方向（ｘ方向）及び垂直方向（ｙ方向）に沿って、一定ピッチで規則的に配列される。

本実施の形態のイメージセンサ２０は、隣接する９個（３個×３個）の画素Ｐｉで１つの画素ブロックＰＢ（ｘ、ｙ）を構成し、この画素ブロックＰＢ（ｘ、ｙ）が、水平方向（ｘ方向）及び垂直方向（ｙ方向）に沿って規則的に配列される。以下、必要に応じて、符号Ｐ１の画素を第１画素Ｐ１、符号Ｐ２の画素を第２画素Ｐ２、符号Ｐ３の画素を第３画素Ｐ３、符号Ｐ４の画素を第４画素Ｐ４、符号Ｐ５の画素を第５画素Ｐ５、符号Ｐ６の画素を第６画素Ｐ６、符号Ｐ７の画素を第７画素Ｐ７、符号Ｐ８の画素を第８画素Ｐ８、符号Ｐ９の画素を第９画素Ｐ９として、１つの画素ブロックＰＢ（ｘ、ｙ）に備えられる９個の画素を区別する。各画素Ｐｉは、それぞれ異なる特性の光を受光する。

図９は、イメージセンサの概略構成を示す図である。図１０は、１つの画素（図９の破線部）の概略構成を示す断面図である。

イメージセンサ２０は、ピクセルアレイ層２１、偏光フィルタ素子アレイ層２３、分光フィルタ素子アレイ層２５、及びマイクロレンズアレイ層２７を有する。各層は、像面側から物体側に向かって、ピクセルアレイ層２１、偏光フィルタ素子アレイ層２３、分光フィルタ素子アレイ層２５、マイクロレンズアレイ層２７の順に配置される。

ピクセルアレイ層２１は、多数のフォトダイオード２２を二次元的に配列して構成される。１つのフォトダイオード２２は、１つの画素を構成する。各フォトダイオード２２は、水平方向（ｘ方向）及び垂直方向（ｙ方向）に沿って規則的に配置される。

偏光フィルタ素子アレイ層２３は、互いに偏光方向（透過偏光方位）の異なる３種類の偏光フィルタ素子２４Ａ、２４Ｂ、２４Ｃを二次元的に配列して構成される。以下、必要に応じて、符号２４Ａの偏光フィルタ素子を第１偏光フィルタ素子２４Ａ、符号２４Ｂの偏光フィルタ素子を第２偏光フィルタ素子２４Ｂ、符号２４Ｃの偏光フィルタ素子を第３偏光フィルタ素子２４Ｃとして、３種類の偏光フィルタ素子２４Ａ、２４Ｂ、２４Ｃを区別する。

各偏光フィルタ素子２４Ａ、２４Ｂ、２４Ｃは、ピクセルアレイ層２１と同じ間隔で配置され、画素ごとに備えられる。第１偏光フィルタ素子２４Ａが透過させる光の偏光方向（透過偏光方位）をβ１、第２偏光フィルタ素子２４Ｂが透過させる光の偏光方向（透過偏光方位）をβ２、第３偏光フィルタ素子２４Ｃが透過させる光の偏光方向（透過偏光方位）をβ３とする。

マルチスペクトルカメラ１０では、第１偏光フィルタ素子２４Ａが、方位角０°（β＝０°）の光を透過する設定とされ、第２偏光フィルタ素子２４Ｂが方位角６０°（β２＝６０°）の光を透過する設定とされ、第３偏光フィルタ素子２４Ｃが方位角１２０°（β３＝１２０°）の光を透過する設定とされる。偏光フィルタ素子２４Ａ、２４Ｂ、２４Ｃは、第２光学フィルタの一例である。

各画素ブロックＰＢ（ｘ、ｙ）において、偏光フィルタ素子２４Ａ、２４Ｂ、２４Ｃは、規則的に配列される。

図１１は、各画素ブロックに備えられる偏光フィルタ素子の配列パターンの一例を示す図である。

図１１に示すように、本実施の形態のマルチスペクトルカメラ１０では、画素ブロック内の第１列目の画素である第１画素Ｐ１、第４画素Ｐ４及び第７画素Ｐ７に第１偏光フィルタ素子２４Ａが備えられ、画素ブロック内の第２列目の画素である第２画素Ｐ２、第５画素Ｐ５及び第８画素Ｐ８に第２偏光フィルタ素子２４Ｂが備えられ、画素ブロック内の第３列目の画素である第３画素Ｐ３、第６画素Ｐ６及び第９画素Ｐ９に第３偏光フィルタ素子２４Ｃが備えられる。

分光フィルタ素子アレイ層２５は、互いに分光透過率の異なる３種類の分光フィルタ素子２６Ａ、２６Ｂ、２６Ｃを二次元的に配列して構成される。以下、必要に応じて、符号２６Ａの分光フィルタ素子を第１分光フィルタ素子２６Ａ、符号２６Ｂの分光フィルタ素子を第２分光フィルタ素子２６Ｂ、符号２６Ｃの分光フィルタ素子を第３分光フィルタ素子２６Ｃとして、３種類の分光フィルタ素子２６Ａ、２６Ｂ、２４６を区別する。各分光フィルタ素子２６Ａ、２６Ｂ、２６Ｃは、フォトダイオード２２と同じ間隔で配置され、画素ごとに備えられる。

分光フィルタ素子２６Ａ、２６Ｂ、２６Ｃは、狭帯域フィルタ１６の各狭帯域フィルタ部Ｆ１～Ｆ９を透過する光を、それぞれ異なる透過率で透過させる。マルチスペクトルカメラ１０では、第１分光フィルタ素子２６Ａは、可視光の波長帯域のうちの短い波長帯域の光をより多く透過させる特性を有し、第２分光フィルタ素子２６Ｂは、中間の波長帯域の光をより多く透過させる特性を有し、第３分光フィルタ素子２６Ｃは、長い波長帯域の光をより多く透過させる特性を有する。例えば、分光フィルタ素子２６Ａ、２６Ｂ、２６Ｃは、一般的なカラーイメージセンサに設けられているＢ、Ｇ、Ｒのカラーフィルタでもよい。

図１２は、各画素ブロックに備えられる分光フィルタ素子の配列パターンの一例を示す図である。

図１２に示すように、各画素ブロックＰＢ（ｘ、ｙ）において、分光フィルタ素子２６Ａ、２６Ｂ、２６Ｃは、規則的に配列される。本例のマルチスペクトルカメラ１０では、画素ブロック内の第１行目の画素である第１画素Ｐ１、第２画素Ｐ２及び第３画素Ｐ３に第１分光フィルタ素子２６Ａが備えられ、画素ブロック内の第２行目の画素である第４画素Ｐ４、第５画素Ｐ５及び第６画素Ｐ６に第２分光フィルタ素子２６Ｂが備えられ、画素ブロック内の第３行目の画素である第７画素Ｐ７、第８画素Ｐ８及び第９画素Ｐ９に第３分光フィルタ素子２６Ｃが備えられる。

図９に示すようにマイクロレンズアレイ層２７は、多数のマイクロレンズ２８を二次元的に配列して構成される。各マイクロレンズ２８は、フォトダイオード２２と同じ間隔で配置され、１画素ごとに備えられる。マイクロレンズ２８は、撮像光学系１１からの光をフォトダイオード２２に効率よく集光させる目的で備えられる。

以上のように構成されるイメージセンサ２０は、各画素ブロックＰＢ（ｘ、ｙ）において、各画素Ｐｉが、次のように撮像光学系１１からの光を受光する。

第１画素Ｐ１は、第１分光フィルタ素子２６Ａ及び第１偏光フィルタ素子２４Ａを介して、撮像光学系１１からの光を受光する。第２画素Ｐ２は、第１分光フィルタ素子２６Ａ及び第２偏光フィルタ素子２４Ｂを介して、撮像光学系１１からの光を受光する。第３画素Ｐ３は、第１分光フィルタ素子２６Ａ及び第３偏光フィルタ素子２４Ｃを介して、撮像光学系１１からの光を受光する。

また、第４画素Ｐ４は、第２分光フィルタ素子２６Ｂ及び第１偏光フィルタ素子２４Ａを介して、撮像光学系１１からの光を受光する。第５画素Ｐ５は、第２分光フィルタ素子２６Ｂ及び第２偏光フィルタ素子２４Ｂを介して、撮像光学系１１からの光を受光する。また、第６画素Ｐ６は、第２分光フィルタ素子２６Ｂ及び第３偏光フィルタ素子２４Ｃを介して、撮像光学系１１からの光を受光する。

また、第７画素Ｐ７は、第３分光フィルタ素子２６Ｃ及び第１偏光フィルタ素子２４Ａを介して、撮像光学系１１からの光を受光する。第８画素Ｐ８は、第３分光フィルタ素子２６Ｃ及び第２偏光フィルタ素子２４Ｂを介して、撮像光学系１１からの光を受光する。第９画素Ｐ９は、第３分光フィルタ素子２６Ｃ及び第３偏光フィルタ素子２４Ｃを介して、撮像光学系１１からの光を受光する。

このように、画素ブロックＰＢ（ｘ、ｙ）の各画素Ｐｉは、異なる組み合わせの分光フィルタ素子２６Ａ、２６Ｂ、２６２Ｃと偏光フィルタ素子２４Ａ、２４Ｂ、２４Ｃを有することにより、それぞれ異なる特性の光を受光する。

〔信号処理部〕
図１３は、マルチスペクトルカメラの信号処理部の腰部ブロック図である。

図１３に示すように信号処理部３０は、イメージセンサ２０から出力される画像信号を処理して、撮像光学系１１の各光学領域Ｓｊで取得される画像データを生成する部分であり、アナログ信号処理部３０Ａ、画像生成部３０Ｂ、及び係数記憶部３０Ｃを備えている。

イメージセンサ２０から出力される画像信号は、アナログ信号処理部３０Ａに加えられる。アナログ信号処理部３０Ａは、サンプリングホールド回路、色分離回路、ＡＧＣ（Automatic Gain Control）回路等を含んで構成されている。ＡＧＣ回路は、撮像時の感度（ＩＳＯ感度(ＩＳＯ：International Organization for Standardization)）を調整する感度調整部として機能し、入力する画像信号を増幅する増幅器のゲインを調整し、画像信号の信号レベルが適切な範囲に入るようにする。Ａ／Ｄ変換器は、アナログ信号処理部から出力されたアナログの画像信号をデジタルの画像信号に変換する。尚、イメージセンサ２０がＣＭＯＳ型イメージセンサである場合、アナログ信号処理部及びＡ／Ｄ変換器は、ＣＭＯＳ型イメージセンサ内に内蔵されていることが多い。

図８に示したように各画素ブロックＰＢ（ｘ，ｙ）には、第１画素Ｐ１、第２画素Ｐ２、第３画素Ｐ３、第４画素Ｐ４、第５画素Ｐ５、第６画素Ｐ６、第７画素Ｐ７、第８画素Ｐ８及び第９画素Ｐ９が含まれる。

画像生成部３０Ｂは、各画素ブロックＰＢ（ｘ，ｙ）から第１画素Ｐ１、第２画素Ｐ２、第３画素Ｐ３、第４画素Ｐ４、第５画素Ｐ５、第６画素Ｐ６、第７画素Ｐ７、第８画素Ｐ８及び第９画素Ｐ９の画素信号を分離して抽出することにより、９つの画像データＤ１～Ｄ９を生成する。

しかしながら、これらの９つの画像データＤ１～Ｄ９には、混信（クロストーク）が生じている。即ち、各画素Ｐｉには、撮像光学系１１の各光学領域Ｓｊからの光が入射するため、生成される画像は、各光学領域Ｓｊの画像が所定の割合で混合した画像となる。このため、画像生成部３０Ｂは、次の演算処理を行って、混信（クロストーク）を除去する。

いま、各画素ブロックＰＢ（ｘ、ｙ）の第１画素Ｐ１で得られる画素信号（信号値）をｘ１、第２画素Ｐ２で得られる画素信号をｘ２、第３画素Ｐ３で得られる画素信号をｘ３、第４画素Ｐ４で得られる画素信号をｘ４、第５画素Ｐ５で得られる画素信号をｘ５、第６画素Ｐ６で得られる画素信号をｘ６、第７画素Ｐ７で得られる画素信号をｘ７、第８画素Ｐ８で得られる画素信号をｘ８、第９画素Ｐ９で得られる画素信号をｘ９、とする。各画素ブロックＰＢ（ｘ，ｙ）からは、９個の画素信号ｘ１～ｘ９が得られる。画像生成部３０Ｂは、これらの９個の画素信号ｘ１～ｘ９から、［数１］に示す行列Ａを用いた下記の［数２］式によって、各光学領域Ｓ１～Ｓ９に対応した９個の画素信号Ｘ１～Ｘ９を算出し、混信を除去する。

尚、画素信号Ｘ１は第１光学領域Ｓ１に対応した画素信号、画素信号Ｘ２は第２光学領域Ｓ２に対応した画素信号、画素信号Ｘ３は第３光学領域Ｓ３に対応した画素信号、画素信号Ｘ４は第４光学領域Ｓ４に対応した画素信号、画素信号Ｘ５は第５光学領域Ｓ５に対応した画素信号、画素信号Ｘ６は第６光学領域Ｓ６に対応した画素信号、画素信号Ｘ７は第７光学領域Ｓ７に対応した画素信号、画素信号Ｘ８は第８光学領域Ｓ８に対応した画素信号、画素信号Ｘ９は第９光学領域Ｓ９に対応した画素信号である。

したがって、画素信号Ｘ１からは第１光学領域Ｓ１で取得される画像が生成され、画素信号Ｘ２からは第２光学領域Ｓ２で取得される画像が生成され、画素信号Ｘ３からは第３光学領域Ｓ３で取得される画像が生成され、画素信号Ｘ４からは第４光学領域Ｓ４で取得される画像が生成され、画素信号Ｘ５からは第５光学領域Ｓ５で取得される画像が生成され、画素信号Ｘ６からは第６光学領域Ｓ６で取得される画像が生成され、画素信号Ｘ７からは第７光学領域Ｓ７で取得される画像が生成され、画素信号Ｘ８からは第８光学領域Ｓ８で取得される画像が生成され、画素信号Ｘ９からは第９光学領域Ｓ９で取得される画
像が生成される。

以下、上記［数２］式によって混信を除去できる理由について説明する。

混信は、各画素Ｐｉに各光学領域Ｓｊからの光が混入することで発生する。いま、撮像光学系１１の第ｊ光学領域Ｓｊ（ｊ＝１～９）に入射した光が、各画素ブロックＰＢ（ｘ、ｙ）の第ｉ画素Ｐｉ（ｉ＝１～９）で受光される割合（混信量（混信比率ともいう））をｂｉｊ（ｉ＝１～９、ｊ＝１～９）とすると、各画素ブロックＰＢ（ｘ、ｙ）の各画素Ｐｉで得られる画素信号ｘｉと、撮像光学系１１の各光学領域Ｓｊに対応する画素信号Ｘｊとの間には、次の関係が成り立つ。

即ち、第１画素Ｐ１で得られる画素信号ｘ１に関して、次式が成り立つ（「＊」は、積算の記号）。

［数３］
ｂ１１＊Ｘ１＋ｂ１２＊Ｘ２＋ｂ１３＊Ｘ３＋ｂ１４＊Ｘ４＋ｂ１５＊Ｘ５＋ｂ１６＊Ｘ６＋ｂ１７＊Ｘ７＋ｂ１８＊Ｘ８＋ｂ１９＊Ｘ９＝ｘ１
同様にして、第２画素Ｐ２～第９画素Ｐ９でそれぞれ得られる画素信号ｘ２～ｘ９に関して、［数３］式と同様な式が成り立つ。

そして、Ｘ１～Ｘ９について、９つの式からなる連立方程式を解くことで、元の画像の画素信号、即ち、各光学領域Ｓ１～Ｓ９に対応した画素信号Ｘ１～Ｘ９を取得できる。

ここで、上記の連立方程式は、［数４］の行列Ｂを用いた［数５］式で表わすことができる。

９つの式からなる連立方程式の解であるＸ１～Ｘ９は、［数５］式の両辺に行列Ｂの逆行列Ｂ^－１をかけた、［数６］式により算出することができる。

このように、各光学領域Ｓ１～Ｓ９に対応した画素信号Ｘ１～Ｘ９は、撮像光学系１１の各光学領域Ｓ１～Ｓ９に入射した光が、画素ブロックＰＢ（ｘ、ｙ）の各画素Ｐ１～Ｓ９で受光される割合に基づいて、各画素Ｐ１～Ｐ２の信号値（画素信号）ｘ１～ｘ９から算出できる。

［数２］式は、［数６］式の逆行列Ｂ^－１を、行列Ａとしたものである（Ｂ^－１＝Ａ）。したがって、［数２］式における行列Ａの各要素ａｉｊは、行列Ｂの逆行列Ｂ^－１を求めることで取得できる。行列Ｂの各要素ｂｉｊ（ｉ＝１～９、ｊ＝１～９）は、撮像光学系１１の第ｊ光学領域Ｓｊ（ｊ＝１～９）に入射した光が、各画素ブロックＰＢ（ｘ、ｙ）の第ｉ画素Ｐｉ（ｉ＝１～９）で受光される割合（混信量）である。この割合は、偏光に基づく透過率をｃ、分光透過率に基づく透過率をｄとした場合に、透過率ｃと透過率ｄとの積で算出される。

ここで、偏光に基づく透過率ｃは、光学領域を透過する光の透過偏光方位と画素が受光する光の透過偏光方位との角度差の余弦の二乗で算出される。

また、分光透過率に基づく透過率ｄは、光学領域を透過する光の波長帯域と画素に備えられた分光フィルタ素子の分光透過率とに基づいて求められる。

例えば、撮像光学系１１の第ｊ光学領域Ｓｊとイメージセンサ２０の第ｉ画素Ｐｉとの関係において、偏光に基づく透過率ｃは、第ｊ光学領域Ｓｊを透過する光の透過偏光方位をθｊ、第ｉ画素Ｐｉが受光する光の透過偏光方位をΦｉとすると、その角度差（｜θｊ－Φｉ｜）の余弦（ｃｏｓ）の二乗（ｃｏｓ^２（｜θｊ－Φｉ｜））で算出される。

また、分光透過率に基づく透過率ｄは、第ｊ光学領域Ｓｊを透過する光の波長帯域と、第ｉ画素Ｐｉに備えられた分光フィルタ素子２６Ａ、２６Ｂ、２６Ｃの分光透過率と、に基づいて求められる。即ち、第ｉ画素Ｐｉに備えられた分光フィルタ素子２６Ａ、２６Ｂ、２６の分光透過率に基づいて、第ｊ光学領域Ｓｊを透過する光の波長帯域から求められる。

図１３に示した係数記憶部３０Ｃは、９行９列の行列Ａの各要素ａｉｊを係数群として記憶する。画像生成部３０Ｂは、係数記憶部３０Ｃから係数群を取得し、各画素ブロックＰＢ（ｘ，ｙ）の各画素Ｐ１～Ｐ９から得られる画素信号ｘ１～ｘ９から、上記［数２］式によって、撮像光学系１１の各光学領域Ｓ１～Ｓ９に対応した画素信号Ｘ１～Ｘ９を算出し、各光学領域Ｓ１～Ｓ９の９つの画像データを生成する。

即ち、本例のマルチスペクトルカメラ１０は、９つの狭帯域フィルタ部Ｆ１～Ｆ９をそれぞれ透過した、第１波長帯域Δｆ１～第９波長帯域Δｆ９の９つの画像を同時に撮像することができる。マルチスペクトルカメラ１０により同時に撮像された第１波長帯域Δｆ１～第９波長帯域Δｆ９の画像を示す９つの画像データは、プロセッサ１００に出力される。

＜プロセッサ＞
図１４は、プロセッサの実施形態を示す概略図である。

図１４に示すプロセッサ１００は、ＣＰＵ（Central Processing Unit）、画像データに対して特定の信号処理を行う専用電気回路等を含み、マルチスペクトルカメラ１０から第１波長帯域Δｆ１～第９波長帯域Δｆ９の９つの画像データを取得し、９つの画像データに基づいて、目的対象物が存在する可能性がある領域を判定領域として抽出する領域抽出装置として機能し、また、抽出した判定領域内の対象物が、目的対象物か否かを判定する判定処理（目的対象物を検出する処理）を行う。

プロセッサ１００は、領域抽出装置１１０、第１判定処理部１２０Ａ、第２判定処理部１２０Ｂ，及び第３判定処理部１２０Ｃを備える。

領域抽出装置１１０は、マルチスペクトルカメラ１０から第１波長帯域Δｆ１～第９波長帯域Δｆ９の複数（９つ）の画像データを取得する画像取得処理を行う。続いて、取得した９つの画像データのうちの、目的対象物が発する光の発光スペクトルの波長帯域以外の画像データに基づいて、撮像領域の中で目的対象物が発する光の発光スペクトル以外の発光スペクトルを有する光を発する領域を検出し、検出した領域を目的対象物が存在しない非判定領域と決定し、撮像領域から非判定領域を除いた１乃至複数の領域を判定領域として抽出する判定領域抽出処理を行う。

本例の目的対象物は、ＬＥＤで構成された交通信号機の青色信号灯、黄色信号灯、及び赤色信号灯である。

領域抽出装置１１０は、点灯している青色信号灯を検出する場合、第１波長帯域Δｆ１～第９波長帯域Δｆ９の９つの画像データのうちの、青色信号灯の発光スペクトルを含まない、又は略含まない第４波長帯域Δｆ４～第９波長帯域Δｆ９の６つの画像データに基づいて、点灯している青色信号灯が存在しない領域を非判定領域として決定する非判定領域決定処理を行う。

例えば、撮像領域の或る画素Ｐｊに対して、９つの画像データのうち、青色信号灯の発光スペクトルを含まない、又は略含まない第４波長帯域Δｆ４～第９波長帯域Δｆ９の６つの画像データから、画素Ｐｊの位置の６つの画素データが得られるが、６つの画素データのうちの１つでも閾値を超える画素データがある場合、その画素Ｐｉは、点灯している青色信号灯が存在しない領域（非判定領域）の画素として判定する。これを撮像領域の全ての画素について判定することで、点灯している青色信号灯が存在しない非判定領域を判定することができる。

領域抽出装置１１０は、上記のようにして点灯している青色信号灯が存在しない非判定領域を決定すると、撮像領域から非判定領域を除いた１乃至複数の領域を、点灯している青色信号灯が存在する可能性がある判定領域（第１判定領域）として抽出する。

同様に、領域抽出装置１１０は、点灯している黄色信号灯が存在しない非判定領域の判定を行う場合には、黄色信号灯の発光スペクトルを含まない、又は略含まない第１波長帯域Δｆ１～第３波長帯域Δｆ３、第８波長帯域Δｆ８、及び第９波長帯域Δｆ９の５つの画像データに基づいて、点灯している黄色信号灯が存在しない非判定領域を判定し、点灯している黄色信号灯が存在しない非判定領域を判定すると、撮像領域から非判定領域を除いた１乃至複数の領域を、点灯している黄色信号灯が存在する可能性がある判定領域（第２判定領域）として抽出する。

また、領域抽出装置１１０は、点灯している赤色信号灯が存在しない非判定領域の判定を行う場合には、赤色信号灯の発光スペクトルを含まない、又は略含まない第１波長帯域Δｆ１～第５波長帯域Δｆ５の５つの画像データに基づいて、点灯している赤色信号灯が存在しない非判定領域を判定し、点灯している赤色信号灯が存在しない非判定領域を判定すると、撮像領域から非判定領域を除いた１乃至複数の領域を、点灯している赤色信号灯が存在する可能性がある判定領域（第３判定領域）として抽出する。

領域抽出装置１１０は、上記のようにして抽出した第１判定領域を示す第１領域情報を第１判定処理部１２０Ａに出力し、第２判定領域を示す第２領域情報を第２判定処理部１２０Ｂに出力し、第３判定領域を示す第３領域情報を第３判定処理部１２０Ｃに出力する。

第１判定処理部１２０Ａ、第２判定処理部１２０Ｂ、及び第３判定処理部１２０Ｃは、それぞれ第１判定領域内の対象物、第２判定領域内の対象物、及び第３判定領域内の対象物が、目的対象物（点灯している青色信号灯、黄色信号灯、及び赤色信号灯）であるか否かを判定する。

〔判定処理部〕
図１５は、各判定処理部による判定処理の実施形態を示す概念図である。

第１判定処理部１２０Ａは、第１波長帯域Δｆ１～第３波長帯域Δｆ３の３つの画像データ、及び第１領域情報を入力し、第１波長帯域Δｆ１～第３波長帯域Δｆ３の３つの画像データ、及び第１領域情報に基づいて、第１判定領域内の対象物が、目的対象物（点灯している青色信号灯）か否かを判定する。

第１判定領域内の対象物には、点灯している青色信号灯に限らず、青色の光を発する他の発光体あるいは反射体が存在することが考えられる。

青色の光を発する他の発光体あるいは反射体は、青色であっても、青色ＬＥＤのように中心波長が503nm、波長幅が30～50nm程度の狭帯域の光を発するものではない。

そこで、第１判定処理部１２０Ａは、中心波長が青色ＬＥＤの中心波長と一致する第２波長帯域Δｆ２の画像データから、その前後の波長帯域である第１波長帯域Δｆ１の画像データ及び第３波長帯域Δｆ３の画像データを減算し、その減算結果により第１判定領域内の対象物が目的対象物（青色ＬＥＤの青色信号灯）か否かを判定する。

第１判定領域内の対象物が青色信号灯の場合、減算結果は大幅に小さくならないが、青色ＬＥＤのような発光スペクトルを有しない他の発光体あるいは反射体の場合、減算結果は大幅に小さくなり、あるいはマイナスになる。したがって、第１判定処理部１２０Ａは、上記減算結果から第１判定領域内の対象物が、点灯している青色信号灯か否かを判定することができる。

同様に第２判定処理部１２０Ｂは、第４波長帯域Δｆ４～第６波長帯域Δｆ６の３つの画像データ、及び第２領域情報を入力し、第４波長帯域Δｆ４～第６波長帯域Δｆ６の３つの画像データ、及び第２領域情報に基づいて、第２判定領域内の対象物が、目的対象物（点灯している黄色信号灯）か否かを判定する。

また、第３判定処理部１２０Ｃは、第７波長帯域Δｆ７～第９波長帯域Δｆ９の３つの画像データ、及び第３領域情報を入力し、第７波長帯域Δｆ７～第９波長帯域Δｆ９の３つの画像データ、及び第３領域情報に基づいて、第３判定領域内の対象物が、目的対象物（点灯している赤色信号灯）か否かを判定する。

本発明によれば、領域抽出装置１１０により目的対象物が存在しない領域を非判定領域として決定し、撮像領域から非判定領域を除いた領域を判定領域として抽出する前処理を行うことで、非判定領域にある「偽の対象物」は、そもそも判定対象外となるため誤検出をなくすことができ（誤検出抑制）、また、撮像領域の中で判定領域が少なくなる(厳選される)ので、目的対象物の判定処理の処理時間の短縮化を図ることができる。

また、判定領域における目的対象物の判定処理では、第１狭帯域の発光スペクトルの光で発光している目的対象物に対して、第１狭帯域に対応する第２狭帯域と、第２狭帯域では異なる第３狭帯域（本例では、前後の狭帯域）を含む複数の狭帯域の画像を使用することで、第１狭帯域の発光スペクトルの光で発光しているが、第１狭帯域よりも広い帯域で発光している「偽の対象物」を排除し、これにより目的対象物のみを検出することができる。

プロセッサ１００により検出された目的対象物（本例では、交通信号機の点灯している信号灯）の撮像領域内の位置、及び点灯している信号灯の色の情報は、出力先２００に出力される。出力先２００としては、交通信号機の情報を使用する監視システム、自動運転システム等が考えられる。

図１６は、判定処理部の他の変形例を示す概念図である。

図１６に示す第１判定処理部１２０－１は、第１判定領域内の対象物が青色信号灯か否かを判定するものであるが、第１判定領域内の第１波長帯域Δｆ１～第５波長帯域Δｆ５の５つの画像データを使用する。即ち、第１判定処理部１２０－１は、中心波長が青色ＬＥＤの中心波長と一致する第２波長帯域Δｆ２の画像データ、その前後の波長帯域である第１波長帯域Δｆ１の画像データ及び第３波長帯域Δｆ３の画像データの他に、第４波長帯域Δｆ４の画像データ及び第５波長帯域Δｆ５の画像データを使用し、第２波長帯域Δｆ２の画像データから第２波長帯域Δｆ２の画像データを除く２以上の画像データ（第１波長帯域Δｆ１、第３波長帯域Δｆ３～第５波長帯域Δｆ５の４つの画像データ）を減算し、その減算結果に非線形関数（ｆ）による非線形処理を行い、非線形処理の結果により第１判定領域内の対象物が青色信号灯か否かを判定する。

非線形演算としては、例えば、減算結果に対する閾値による２値化処理が考えられる。

図１６に示す第２判定処理部１２０－２は、第２判定領域内の対象物が黄色信号灯か否かを判定するものであり、第１判定処理部１２０－１と同様に５つの画像データを入力している。即ち、第２判定処理部１２０－２は、中心波長が黄色ＬＥＤの中心波長と一致する第５波長帯域Δｆ５の画像データ、その前後の波長帯域である第４波長帯域Δｆ４の画像データ及び第６波長帯域Δｆ６の画像データの他に、更に外側に隣接する第３波長帯域Δｆ３の画像データ及び第７波長帯域Δｆ７の画像データを使用し、第５波長帯域Δｆ５の画像データから第５波長帯域Δｆ５の画像データを除く２以上の画像データ（第３波長帯域Δｆ３、第４波長帯域Δｆ４、第６波長帯域Δｆ６、及び第７波長帯域Δｆ７の４つの画像データ）を減算し、その減算結果により第２判定領域内の対象物が黄色信号灯か否かを判定する。

尚、第２判定領域内の第５波長帯域Δｆ５の画像データを含む３以上の画像データ（第３波長帯域Δｆ３～第７波長帯域Δｆ７の５つの画像データ）と、画像毎（５つの画像データ毎）に設定した重み係数とを用いて積和演算を行い、積和演算した演算結果により第２判定領域内の対象物が黄色信号灯か否かを判定するようにしてもよい。

各判定処理部１２０－１、１２０－２では、目的対象物に対応する波長帯域の画像から単純に前後に隣接する波長帯域の画像を差し引くだけでなく、より多くの波長帯域の画像を使用することで、目的対象物の認識精度の向上を図っている。

第３判定処理部１２０－３は、第３判定領域内の対象物が赤色信号灯か否かを判定するものであり、特に非線形な処理（学習済みモデルによる処理）を行う。

学習済みモデルは、例えば、畳み込みニューラルネットワークで構成することができ、予め複数の波長帯域毎の学習画像とその正解データとからなる学習データセットにより機械学習されたものである。

第３判定処理部１２０－３には、第３判定領域の画像データであって、中心波長が赤色ＬＥＤの中心波長と一致する第８波長帯域Δｆ８の画像データと、その前後の波長帯域である第７波長帯域Δｆ７の画像データ及び第９波長帯域Δｆ９の画像データとを入力し、第３判定領域内の対象物が赤色信号灯か否を示す認識結果を出力する。

上記の各判定処理部１２０－１～１２０－３は、説明の便宜上、それぞれ第１判定領域、第２判定領域、及び第３判定領域の対象物が、青色信号灯、黄色信号灯、及び赤色信号灯か否かを判定するが、入力する複数の波長帯域の画像データを変更することで、相互に他の色信号灯の判定も可能であることは言うまでもない。

図１７は、マルチスペクトルカメラ及び判定処理部の変形例を示す概念図である。

マルチスペクトルカメラ１０は、第１波長帯域Δｆ１～第９波長帯域Δｆ９の９つの画像データを撮像するが、図１７に示すように、中心波長が592nm＋λ６の第６波長帯域Δｆ６、及び中心波長が630nm－λ７の第７波長帯域Δｆ７を省いて、第１波長帯域Δｆ１～第５波長帯域Δｆ５、第８波長帯域Δｆ８、及び第９波長帯域Δｆ９の７つの画像データを撮像するマルチスペクトルカメラでもよい。

上記の７つ波長帯域の画像データを撮像する場合、第２判定領域内の対象物が黄色信号灯か否かを判定する第２判定処理部１２０Ｂ－１は、第４波長帯域Δｆ４、第５波長帯域Δｆ５、及び第８波長帯域Δｆ８の３つの画像データを使用して判定処理を行う。第２判定処理部１２０Ｂ－１は、第２判定処理部１２０Ｂと同様に中心波長が黄色ＬＥＤの中心波長と一致する第５波長帯域Δｆ５の画像データから、その前後の波長帯域である第４波長帯域Δｆ４の画像データ及び第８波長帯域Δｆ８の画像データを減算し、その減算結果により第２判定領域内の対象物が目的対象物（黄色ＬＥＤの青色信号灯）か否かを判定する。

また、第３判定領域内の対象物が赤色信号灯か否かを判定する第３判定処理部１２０Ｃ－１は、第５波長帯域Δｆ５、第８波長帯域Δｆ８、及び第９波長帯域Δｆ９の３つの画像データを使用して判定処理を行う。第３判定処理部１２０Ｃ－１は、第３判定処理部１２０Ｃと同様に中心波長が赤色ＬＥＤの中心波長と一致する第８波長帯域Δｆ８の画像データから、その前後の波長帯域である第５波長帯域Δｆ５の画像データ及び第９波長帯域Δｆ９の画像データを減算し、その減算結果により第３判定領域内の対象物が目的対象物（赤色ＬＥＤの青色信号灯）か否かを判定する。

尚、マルチスペクトルカメラは、上記のように７つの波長帯域の画像データを撮像するものが好ましいが、青色信号灯、黄色信号灯、及び赤色信号灯がそれぞれ発する光の発光スペクトルに対応する３つの狭帯域と、これらの３つの狭帯域とは異なる３以上の狭帯域を含む複数の狭帯域の画像を撮像するものでもよく、また、プロセッサは、６以上の狭帯域の画像に基づいて交通信号機のいずれの信号灯が光を発しているかを検出するようにしてもよい。

また、図４に示した領域抽出装置１１０は、フリッカ検出部１１２を備え、フリッカ検出部１１２の検出結果を、第１判定領域、第２判定領域、及び第３判定領域の抽出に利用することができる。

近年、自動車のブレーキランプは、赤色ＬＥＤが使用されているものが多い。この場合、赤色ＬＥＤのブレーキランプ（偽の対象物）を排除することが難しい。

フリッカ検出部１１２は、赤色ＬＥＤのブレーキランプ等の偽の対象物を排除するために使用される。

自動車の赤色ＬＥＤのブレーキランプは、直流電源により点灯するため、一定の輝度レベルで発光する。一方、交通信号機の赤色ＬＥＤ等は、商用電源により点灯するため、商用電源の周波数（５０Ｈｚ又は６０Ｈｚ）の影響を受け、商用電源の周波数に対応する周波数のフリッカが発生する。

そこで、マルチスペクトルカメラ１０は、交通信号機の赤色ＬＥＤ等のフリッカ周波数と異なるフレームレート（ｆｐｓ：frames per second）で、各波長帯域の画像データ（動画像データ）を撮像する。

フリッカ検出部１１２は、入力する各波長帯域の動画像データに基づいて、連続するフレームで輝度レベルが変化しない領域（フリッカが発生していない領域）を検出する。

領域抽出装置１１０は、点灯している青色信号灯が存在しない領域、かつフリッカが発生していない領域を非判定領域とし、撮像領域から非判定領域を除いた領域を第１判定領域として抽出する。

同様に領域抽出装置１１０は、点灯している黄色信号灯が存在しない領域、かつフリッカが発生していない領域を非判定領域とし、撮像領域から非判定領域を除いた領域を第２判定領域として設定し、また、点灯している赤色信号灯が存在しない領域、かつフリッカが発生していない領域を非判定領域とし、撮像領域から非判定領域を除いた領域を第３判定領域として抽出する。

これにより、各判定領域内の対象物は、フリッカを発生する対象物に限られ、例えば、赤色ＬＥＤの赤色信号灯を検出する場合に、自動車の赤色ＬＥＤからなるブレーキランプ等が検出されないようにすることができる。

赤色ＬＥＤのブレーキランプ等の偽の対象物を排除する方法として、領域抽出装置１１０は、撮像領域の中の下方の３分の１以下の領域を非判定領域とすることができる。マルチスペクトルカメラ１０が車載カメラの場合、車載カメラで撮像される撮像領域の中の下方の３分の１以下の領域には、交通信号機が存在せず、その一方、撮像領域の中の上方の３分の２の領域には、自動車のブレーキランプ等が存在しないと考えられるからである。この場合、各判定領域が撮像領域の中の上方の３分の２の領域内に限定され、処理時間の短縮化を図ることができる。

［対象物検出方法］
図１８は、本発明に係る対象物検出方法の実施形態を示すフローチャートであり、図１９は、本発明による目的対象物の検出過程における各種の画像等を示す図である。尚、図１８に示す対象物検出方法は、本発明に係る目的対象物が存在する可能性がある領域を判定領域として抽出する領域抽出方法を含む。

図１８において、マルチスペクトルカメラ１０により、複数の狭帯域の画像を取得する（ステップＳ１００）。

図１９（Ａ）は、可視光の広帯域の画像を示し、図１９（Ｂ）は、狭帯域別の７つの画像を示している。本例では、図１７に示すように第１波長帯域Δｆ１～第５波長帯域Δｆ５、第８波長帯域Δｆ８、及び第９波長帯域Δｆ９の７つの画像を取得する。

プロセッサ１００は、マルチスペクトルカメラ１０から狭帯域別の複数の画像を取得し、以下の各ステップの処理を行う。

尚、説明を簡単にするために、点灯している赤色ＬＥＤの赤色信号灯を目的対象物とする場合について説明するが、点灯している青色ＬＥＤの青色信号灯、及び点灯している黄色ＬＥＤの黄色信号灯を目的対象物とする場合も同様な処理が行われる。

プロセッサ１００の領域抽出装置１１０は、複数の画像に基づいて目的対象物の波長帯域で発光・反射していない領域を検出する（ステップＳ１１０）。本例の目的対象物の波長帯域以外の狭帯域は、第１波長帯域Δｆ１～第５波長帯域Δｆ５であるため、これらの狭帯域の５枚の画像において、１つでも閾値を超える画素データがある場合、その画素は、目的対象物を含む画素ではない。これを撮像領域の全ての画素について判定することで、撮像領域内で目的対象物が存在しない領域を検出する。

そして、目的対象物が存在しない領域として検出した領域を、非判定領域とみなして判定領域から排除する（ステップＳ１２０）。領域抽出装置１１０は、撮像領域から非判定領域を除いた残りの領域だけを判定領域として抽出する（ステップＳ１３０）。

図１９（Ｃ）は上記のようにして抽出された判定領域を示す。図１９（Ｃ）において、矩形の白枠で示す判定領域（第３判定領域）は、点灯している赤色信号灯が存在する可能性がある領域を示しており、本例では４つの判定領域が抽出されている。

続いて、判定処理部（図１７の第３判定処理部１２０Ｃ－１）は、判定領域の対象物が目的対象物か否かを判定する（ステップＳ１４０）。即ち、第３判定処理部１２０Ｃ－１、図１７を使用して説明したように、中心波長が赤色ＬＥＤの中心波長と一致する第８波長帯域Δｆ８の画像データから、その前後の波長帯域である第５波長帯域Δｆ５の画像データ及び第９波長帯域Δｆ９の画像データを減算し、その減算結果により判定領域内の対象物が目的対象物（赤色ＬＥＤの赤色信号灯）か否かを判定する。

判定領域内の対象物が目的対象物であると判定されると（「Yes」の場合）、その判定領域内の対象物を目的対象物として検出し、検出結果を出力先２００に出力する（ステップＳ１５０）。一方、判定領域内の対象物が目的対象物ではないと判定されると（「No」の場合）、ステップＳ１６０に遷移させる。

ステップＳ１６０では、全ての判定領域における上記の判定処理が終了したか否かを判別する。全ての判定領域における判定処理が終了していない場合（「No」の場合）、ステップＳ１７０に遷移し、ここで、次の判定領域を設定する。次の判定領域が設定されると、ステップＳ１４０に戻り、次の判定領域について、再びステップＳ１４０～ステップＳ１６０の各処理が行われる。

このようにして全ての判定領域における上記の判定処理が終了すると、１回の撮像により得られる画像に基づく目的対象物の検出が終了する。

図１９（Ｄ）は、目的対象物が存在すると判定された判定領域、及びその判定領域内の目的対象物等を示す図である。

図１９（Ｄ）において、目的対象物が存在すると判定された判定領域は白枠で表され、その判定領域内の目的対象物は白色で表されている。本例では、図１９（Ｄ）に示すように、１つの目的対象物（点灯している赤色ＬＥＤの赤色信号灯）が、撮像領域内の白枠で示す位置に存在することが検出されたことになる。

本発明によれば、図１９（Ｃ）の白枠で示すように目的対象物が存在する可能性のある判定領域が厳選されているため、判定処理部での負荷が少なく、また、非判定領域にある「偽の対象物」はそもそも判定対象外となるため、誤検出を抑制することができる。

［比較例］
図２０は、本発明に係る対象物検出方法に対する比較例を示すフローチャートであり、図２１は、比較例による目的対象物の検出過程における各種の画像等を示す図である。

図２０において、目的対象物の波長帯域である狭帯域の画像を撮像する（ステップＳ２００）。比較例では、点灯している赤色ＬＥＤの赤色信号灯を目的対象物とするため、目的対象物の波長帯域は、第８波長帯域Δｆ８である。

図２１（Ａ）は、可視光の広帯域の画像を示し、図２１（Ｂ）は、狭帯域（第８波長帯域Δｆ８）の画像を示している。図２１（Ｂ）に示す画像は、狭帯域の画像であるが、狭帯域以外の他の帯域の光を発光・反射する多くの対象物が写り込んでいる。

続いて、撮像された狭帯域の画像に基づいて、目的対象物の波長帯域で発光・反射している領域を検出する（ステップＳ２１０）。例えば、狭帯域の画像において、閾値を超える画素群の領域を、目的対象物の波長帯域で発光・反射している領域として検出することができる。

ステップＳ２１０で検出した領域を判定領域に設定する（ステップＳ２２０）。図２１（Ｃ）は、上記のようにして設定された判定領域を示す。図２１（Ｃ）において、矩形の白枠で示す領域が判定領域である。図２１（Ｃ）に示す判定領域は、図１９（Ｃ）に示した判定領域に比べて多く設定される。目的対象物が存在しないことが明らかな非判定領域が排除されていないからである。例えば、物体色が白い対象物の領域は、目的対象物の波長帯域の光も反射するため、判定領域として設定される。

次に、判定領域の対象物が目的対象物か否かを判定する（ステップＳ２３０）。ここでの目的対象物か否かを判定は、画像認識処理により行うことができる。例えば、目的対象物が交通信号機の発光している信号灯の場合、対象物の形状は円形あるいは略円形である。したがって、判定領域内の対象物の形状が目的対象物の形状に合致する場合には、目的対象物と認識することができる。また、判定領域を含む近傍の形状が、交通信号機の形状を表す場合（例えば、青、黄、赤の３つ信号灯が並んでいる場合）、検出された対象物は交通信号機の信号灯であると認識することができる。

判定領域内の対象物が目的対象物であると判定されると（「Yes」の場合）、その判定領域内の対象物を目的対象物として検出する（ステップＳ２４０）。一方、判定領域内の対象物が目的対象物ではないと判定されると（「No」の場合）、ステップＳ２５０に遷移させる。

ステップＳ２５０では、全ての判定領域における上記の判定処理が終了したか否かを判別する。全ての判定領域における判定処理が終了していない場合（「No」の場合）、ステップＳ２６０に遷移し、ここで、次の判定領域を設定する。次の判定領域が設定されると、ステップＳ２３０に戻り、次の判定領域について、再びステップＳ２３０～ステップＳ２５０の各処理が行われる。

このようにして全ての判定領域における上記の判定処理が終了すると、１回の撮像により得られる画像に基づく目的対象物の検出が終了する。

図２０（Ｄ）は、目的対象物が存在すると判定された判定領域、及びその判定領域内の目的対象物等を示す図である。

図２０（Ｄ）において、目的対象物が存在すると判定された判定領域は白枠で表され、その判定領域内の目的対象物は白色で表されている。本例では、図２０（Ｄ）に示すように、２つの目的対象物が、撮像領域内の白枠で示す位置に存在することが検出されたことになる。

比較例によると、多くの判定領域が設定されるため、各判定領域内に目的対象物が存在するか否かの認識処理の負荷が大きくなる。また、判定領域には、目的対象物が発生・反射する狭帯域を含む、白色光等の広帯域の光を発生・反射する「偽の対象物」が多く存在し、その結果、「偽の対象物」を目的対象物として誤検出する可能性が高くなる。尚、比較例により判定された判定結果によると、図２１（Ｄ）に示すように撮像領域の略中央部において、目的対象物が検出されているが、撮像領域の左下領域に「偽の対象物」が検出されている。

［その他］
本実施形態では、ＬＥＤで構成された交通信号機の青色信号灯、黄色信号灯、及び赤色信号灯を目的対象物としているが、目的対象物は、これに限らず、１つの目的対象物でもよい。例えば、空港の滑走路に設けられた誘導灯、ＬＥＤ道路鋲、その他、狭帯域の光のみを反射する反射体等を目的対象物としてもよい。

また、マルチスペクトルカメラにより同時に撮像される狭帯域の画像の数は、本実施形態に限定されずない。マルチスペクトルカメラは、少なくとも目的対象物が発する波長帯域（第１狭帯域）に対応する第２狭帯域と、第２狭帯域とは異なる第３狭帯域とを含む複数の狭帯域の光をそれぞれ選択的に透過させる複数の狭帯域フィルタを有し、これらの複数の狭帯域フィルタをそれぞれ透過した複数の画像を同時に取得するものであればよい。尚、マルチスペクトルカメラのイメージセンサから同時に取得される複数の画像間で混信が発生しない場合には、混信を除去する処理が不要であることは言うまでもない。

また、本実施形態において、例えば、ＣＰＵ等の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１ 対象物検出装置
１０ マルチスペクトルカメラ
１１ 撮像光学系
１２ レンズ
１４ 瞳分割フィルタ
１６ 狭帯域フィルタ
１８ 偏光フィルタ
２０ イメージセンサ
２１ ピクセルアレイ層
２２ フォトダイオード
２３ 偏光フィルタ素子アレイ層
２４Ａ 第１偏光フィルタ素子
２４Ｂ 第２偏光フィルタ素子
２４Ｃ 第３偏光フィルタ素子
２５ 分光フィルタ素子アレイ層
２６ 分光フィルタ素子
２６Ａ 第１分光フィルタ素子
２６Ｂ 第２分光フィルタ素子
２６Ｃ 第３分光フィルタ素子
２７ マイクロレンズアレイ層
２８ マイクロレンズ
３０ 信号処理部
３０Ａ アナログ信号処理部
３０Ｂ 画像生成部
３０Ｃ 係数記憶部
１００ プロセッサ
１１０ 領域抽出装置
１１２ フリッカ検出部
１２０Ａ、１２０－１ 第１判定処理部
１２０Ｂ、１２０Ｂ－１、１２０－２ 第２判定処理部
１２０Ｃ、１２０Ｃ－１、１２０－３ 第３判定処理部
２００ 出力先
２４６ 分光フィルタ素子
２６２Ｃ 分光フィルタ素子
Ｆ１ 第１狭帯域フィルタ部
Ｆ２ 第２狭帯域フィルタ部
Ｆ３ 第３狭帯域フィルタ部
Ｆ４ 第４狭帯域フィルタ部
Ｆ５ 第５狭帯域フィルタ部
Ｆ５ 狭帯域フィルタ部
Ｆ６ 第６狭帯域フィルタ部
Ｆ７ 第７狭帯域フィルタ部
Ｆ８ 第８狭帯域フィルタ部
Ｆ９ 第９狭帯域フィルタ部部
Ｇ１ 第１偏光フィルタ部
Ｇ２ 第２偏光フィルタ部
Ｇ３ 第３偏光フィルタ部
Ｌ 光軸
Ｐ１ 第１画素
Ｐ２ 第２画素
Ｐ３ 第３画素
Ｐ４ 第４画素
Ｐ５ 第５画素
Ｐ６ 第６画素
Ｐ７ 第７画素
Ｐ８ 第８画素
Ｐ９ 第９画素
ＰＢ 画素ブロック
Ｐｉ 第ｉ画素
Ｓ１ 第１光学領域
Ｓ２ 第２光学領域
Ｓ３ 第３光学領域
Ｓ４ 第４光学領域
Ｓ５ 第５光学領域
Ｓ６ 第６光学領域
Ｓ７ 第７光学領域
Ｓ８ 第８光学領域
Ｓ９ 第９光学領域
Ｓ１００－１７０，Ｓ２００－Ｓ２６０ ステップ
Ｘ１－Ｘ９、ｘ１－ｘ９、Ｘｊ 画素信号
Δｆ１ 第１波長帯域
Δｆ２ 第２波長帯域
Δｆ３ 第３波長帯域
Δｆ４ 第４波長帯域
Δｆ５ 第５波長帯域
Δｆ６ 第６波長帯域
Δｆ７ 第７波長帯域
Δｆ８ 第８波長帯域
Δｆ９ 第９波長帯域

Claims (14)

1. 撮像領域において、目的対象物が存在する可能性がある領域を判定領域として抽出する、プロセッサを備えた領域抽出装置であって、
   前記目的対象物は、第１狭帯域の発光スペクトルを有する光を発するものであり、
   前記プロセッサは、
   前記第１狭帯域に対応する第２狭帯域の画像、及び前記第２狭帯域とは異なる第３狭帯域の画像を含む複数の画像をマルチスペクトルカメラから取得する画像取得処理と、
   前記複数の画像のうちの前記第２狭帯域の画像以外の画像に基づいて、撮像領域の中で前記第１狭帯域の発光スペクトル以外の発光スペクトルを有する光を発する領域を検出し、前記検出した領域を非判定領域として決定する非判定領域決定処理と、
   前記撮像領域から前記非判定領域を除いた１乃至複数の領域を前記判定領域として抽出する判定領域抽出処理と、を行う、
   領域抽出装置。
2. 前記第２狭帯域の中心波長は、前記第１狭帯域の中心波長から前記第１狭帯域の発光スペクトルの半値幅未満の範囲にあり、前記第３狭帯域の中心波長は、前記第２狭帯域の中心波長から前記第１狭帯域の発光スペクトルの半値幅以上離れている、請求項１に記載の領域抽出装置。
3. 前記第２狭帯域の中心波長は、前記第１狭帯域の中心波長と一致し、かつ前記第２狭帯域の帯域幅は、前記第１狭帯域の帯域幅以内である、請求項２に記載の領域抽出装置。
4. 前記目的対象物は、商用電源の周波数に対応する周波数のフリッカを発生するものであり、
   前記非判定領域決定処理は、撮像領域の中で前記フリッカが発生しない領域を前記非判定領域とする、
   請求項１から３のいずれか１項に記載の領域抽出装置。
5. 前記非判定領域決定処理は、撮像領域の中の下方の３分の１以下の領域を非判定領域とする、
   請求項１から４のいずれか１項に記載の領域抽出装置。
6. 前記目的対象物は、発光ダイオードを有する発光体である、請求項１から５のいずれか１項に記載の領域抽出装置。
7. 請求項１から６のいずれか１項に記載の領域抽出装置と、前記マルチスペクトルカメラとを備え、
   前記プロセッサは、前記第２狭帯域の画像及び前記第３狭帯域の画像を含む複数の狭帯域の画像に基づいて、前記判定領域内の対象物が前記目的対象物か否かを判定する判定処理を行う、
   対象物検出装置。
8. 前記画像取得処理は、前記第２狭帯域の画像、前記第３狭帯域の画像、及び前記第２狭帯域を挟んで前記第３狭帯域と反対側の第４狭帯域の画像を前記マルチスペクトルカメラから取得し、
   前記判定処理は、前記判定領域内の前記第２狭帯域の画像から、前記判定領域内の前記第３狭帯域の画像及び前記第４狭帯域の画像を減算し、前記減算した減算結果により前記判定領域内の対象物が前記目的対象物か否かを判定する、
   請求項７に記載の対象物検出装置。
9. 前記画像取得処理は、前記第２狭帯域の画像、前記第３狭帯域の画像、及び前記第２狭帯域を挟んで前記第３狭帯域と反対側の第４狭帯域の画像を前記マルチスペクトルカメラから取得し、
   前記判定処理は、前記判定領域内の前記第２狭帯域の画像、前記第３狭帯域の画像及び前記第４狭帯域の画像と画像毎に設定した重み係数とを用いて積和演算を行い、前記積和演算した演算結果により前記判定領域内の対象物が前記目的対象物か否かを判定する、
   請求項７に記載の対象物検出装置。
10. 前記画像取得処理は、前記第２狭帯域の画像、前記第３狭帯域の画像、及び前記第２狭帯域を挟んで前記第３狭帯域と反対側の第４狭帯域の画像を前記マルチスペクトルカメラから取得し、
    前記判定処理は、前記判定領域内の前記第２狭帯域の画像、前記第３狭帯域の画像及び前記第４狭帯域の画像と画像毎に設定した重み係数とを用いて積和演算を行い、前記積和演算した演算結果に対して更に非線形演算を行い、前記非線形演算の結果により前記判定領域内の対象物が前記目的対象物か否かを判定する、
    請求項７に記載の対象物検出装置。
11. 前記画像取得処理は、前記第２狭帯域の画像、前記第３狭帯域の画像、及び前記第２狭帯域を挟んで前記第３狭帯域と反対側の第４狭帯域の画像を前記マルチスペクトルカメラから取得し、
    前記判定処理は、前記判定領域内の前記第２狭帯域の画像、前記第３狭帯域の画像及び前記第４狭帯域の画像を入力し、前記判定領域内の対象物が前記目的対象物か否かの判定結果を出力する学習済みモデルによる処理である、
    請求項７に記載の対象物検出装置。
12. 前記目的対象物は、交通信号機の青色信号灯、黄色信号灯、及び赤色信号灯であり、
    前記画像取得処理は、前記青色信号灯、黄色信号灯、及び赤色信号灯がそれぞれ発する光の発光スペクトルに対応する３つの狭帯域の各画像と前記３つの狭帯域とは異なる３以上の狭帯域の画像を含む複数の狭帯域の画像を前記マルチスペクトルカメラから取得し、
    前記プロセッサは、６以上の狭帯域の画像に基づいて前記交通信号機のいずれの信号灯が光を発しているかを検出する、請求項７に記載の対象物検出装置。
13. 撮像領域において、目的対象物が存在する可能性がある領域を判定領域として抽出する、プロセッサによる領域抽出方法であって、
    前記目的対象物は、第１狭帯域の発光スペクトルを有する光を発するものであり、
    前記第１狭帯域に対応する第２狭帯域の画像、及び前記第２狭帯域とは異なる第３狭帯域の画像を含む複数の画像をマルチスペクトルカメラから取得するステップと、
    前記複数の画像のうちの前記第２狭帯域の画像以外の画像に基づいて、撮像領域の中で前記第１狭帯域の発光スペクトル以外の発光スペクトルを有する光を発する領域を検出し、前記検出した領域を非判定領域として決定するステップと、
    前記撮像領域から前記非判定領域を除いた１乃至複数の領域を前記判定領域として抽出するステップと、
    を含む領域抽出方法。
14. 請求項１３に記載の領域抽出方法を含み、
    前記プロセッサが、前記第２狭帯域の画像及び前記第３狭帯域の画像を含む複数の狭帯域の画像に基づいて、前記判定領域内の対象物が前記目的対象物か否かを判定する、
    対象物検出方法。

Images