JP2019134331A - 画像処理装置 - Google Patents

Abstract

【課題】色味が強い環境光によらず、被写体の白色部材に対応する領域を特定して、カラー画像を精度良く補正できる画像処理装置を提供する。【解決手段】画像処理装置７は、白色部材と近赤外光反射部材又は近赤外光吸収部材の少なくとも何れか一方とが所定の位置関係で配置された被写体を撮影したカラー画像及び近赤外光画像を生成する撮影部１１と、所定の位置関係を示す位置関係情報を記憶する記憶部１５と、近赤外光画像において近赤外光反射部材又は近赤外光吸収部材に対応する第１領域を検出し、第１領域の位置と位置関係情報に示される位置関係とに基づいて、カラー画像において白色部材に対応する第２領域を特定する領域検出手段１６２と、第２領域内の画素の色値に基づいて、カラー画像内の画素の色値を補正する補正手段１６４と、を有する。【選択図】図１

Description

本発明は、カラー画像を補正する画像処理装置に関する。

所定の色を有するマーカ等の被写体を付した状態で監視対象物を撮影し、撮影したカラー画像における色の画像特徴に基づいて監視対象物を監視する画像処理装置が開発されている。このような画像処理装置では、撮影したカラー画像において被写体が適切な色で示されるようにホワイトバランス調整を行い、カラー画像全体の色調が特定の色に偏る、いわゆる「色かぶり」の影響を除去する必要がある。ホワイトバランス調整は、例えば、カラー画像内で無彩色に近く高輝度と判断される領域を白色領域と推定して検出し、検出した白色領域内の画素の色差が０となるように画像全体を補正することによって行われる。

例えば、特許文献１には、色差信号を輝度信号で除算した値に基づいて白色領域を検出し、ホワイトバランス制御を行うことが記載されている。

特開平０２−２６１９３号公報

従来の方式では、夕日や色付きスポットライトのように色味が強い環境光が被写体に照射されている場合、被写体の白色部材が変色し、カラー画像内で被写体の白色部材に対応する領域が白色領域として検出されない可能性があった。

本発明の目的は、色味が強い環境光によらず、被写体の白色部材に対応する領域を特定して、カラー画像を精度良く補正できる画像処理装置を提供することにある。

かかる課題を解決するため本発明は、白色部材と近赤外光反射部材又は近赤外光吸収部材の少なくとも何れか一方とが所定の位置関係で配置された被写体を撮影したカラー画像及び近赤外光画像を生成する撮影部と、所定の位置関係を示す位置関係情報を記憶する記憶部と、近赤外光画像において近赤外光反射部材又は近赤外光吸収部材に対応する第１領域を検出し、第１領域の位置と位置関係情報に示される位置関係とに基づいて、カラー画像において白色部材に対応する第２領域を特定する領域検出手段と、第２領域内の画素の色値に基づいて、カラー画像内の画素の色値を補正する補正手段とを有する画像処理装置を提供する。

この画像処理装置において、被写体に向けて光を照射する照明部をさらに有し、領域検出手段は、照明部が光を照射した状態で撮影された近赤外光画像と、照明部が光を照射していない状態で撮影された近赤外光画像とを比較することにより、第１領域を検出することが好適である。

この画像処理装置において、被写体には、白色以外の色を有する非白色部材がさらに配置され、補正手段は、第２領域内の画素の色値に基づいて、少なくともカラー画像内の非白色部材に対応する第３領域内の画素の色値を補正し、少なくとも補正された第３領域内の画素に基づいて、補正したカラー画像に被写体が含まれるか否かを判定する判定手段をさらに有することが好適である。

この画像処理装置において、被写体は、監視対象物に付され、判定手段は、補正したカラー画像に被写体が含まれないと判定した場合、監視対象物が異常状態であると判定することが好適である。

この画像処理装置において、判定手段は、撮影部の撮影環境の明るさに応じて、補正したカラー画像において被写体に対応する画素の色値に基づいて被写体が含まれるか否かを判定する第１モードと、近赤外光画像において被写体に対応する画素の輝度値に基づいて被写体が含まれるか否かを判定する第２モードとを切り替えることが好適である。

この画像処理装置において、カラー画像及び近赤外光画像には、複数の被写体が撮影され、領域検出手段は、被写体毎に第２領域を特定し、補正手段は、被写体毎に特定した第２領域内の画素の色値に基づいて、カラー画像における各被写体に対応する領域内の各画素の色値を補正することが好適である。

本発明に係る画像処理装置は、色味が強い環境光によらず、被写体の白色部材に対応する領域を特定して、カラー画像を精度良く補正することが可能となる。

（ａ）は監視システム１の全体システム構成を示す図であり、（ｂ）はマーカ１０の模式図である。 画像センサ７の機能ブロック図である。 登録処理の動作を示すフローチャートである。 （ａ）〜（ｃ）は各監視画像について説明するための模式図であり、（ｄ）は各領域について説明するための図である。 判定処理の動作を示すフローチャートである。

以下、本発明を適用した画像センサの実施の形態について図を参照しつつ説明する。

図１（ａ）は、本発明を適用した画像センサを用いた警備システム１の全体システム構成を示す図である。図１（ａ）に示すように、警備システム１は、店舗、オフィス、マンション、倉庫、家屋等の各監視対象物件２に設置される警備装置３と、インターネットや公衆電話回線などの通信網４を介して各警備装置３と接続される警備センタ装置５とを有する。また、各警備装置３には、監視対象物件２に設置された金庫等の監視対象物９が無くなった又は移動されたなどの異常を、監視対象物９を含む監視場所を撮影した監視画像に基づいて検出するための１以上の画像センサ７が接続される。

警備装置３は、構内ＬＡＮなどを介して接続された画像センサ７からアラーム信号を受信すると、そのアラーム信号と、警備装置３、監視対象物９又は異常を検出した画像センサ７の識別信号とを警備センタ装置５へ送信する。そのために、警備装置３は、画像センサ７と通信するための通信インタフェースと、警備センタ装置５と通信するための通信インタフェースと、それらを制御するための制御ユニットを有する。
警備センタ装置５は、いわゆるコンピュータで構成され、通信網４を介して警備装置３と通信するための通信インタフェースと、液晶ディスプレイなどの表示装置とを備える。警備センタ装置５は、警備装置３から通信網４を介してアラーム信号を受信すると、そのアラーム信号に対応する監視対象物９及び検出された異常の内容を表示装置を通じて監視員に報知し、異常時の監視画像を表示する。監視員は、報知された異常の内容、及び、表示された監視画像を確認することにより、監視対象物件２を監視する。

監視対象物９には、被写体の一例であるシール等のマーカ１０が付され、マーカ１０には、外光、監視場所に配置された光源からの光等の色味の強い（色味を有する）環境光が照射され得る。図１（ｂ）に、マーカ１０の模式図を示す。図１（ｂ）に示すように、マーカ１０では、第１部材１０１、第２部材１０２及び第３部材１０３が所定の位置関係で配置されている。第１部材１０１は、近赤外光反射部材の一例であり、再帰性反射材などの近赤外光を大きく反射する（第１所定値以上の高い反射率を有する）近赤外光反射フィルムにより形成されている。第２部材１０２は、白色部材の一例であり、白色の部材に近赤外光を大きく吸収する（第１所定値より値の小さい第２所定値以下の低い反射率を有する）近赤外光吸収フィルム（近赤外光吸収部材）を重ね合わせて形成されている。第３部材１０３は、非白色部材の一例であり、青色、緑色等の白色以外の色を有する部材に近赤外光吸収フィルムを重ね合わせて形成されている。なお、本実施形態では第１部材の色は白色とするが、白色以外の色であってもよい。
第１部材１０１と第２部材１０２は互いに略等しい面積を有し、第１部材１０１及び第２部材１０２の合計と第３部材１０３とは互いに略等しい面積を有している。なお、各部材が画像センサ７で検出可能な大きさを有していれば、各部材の面積比はどのような比でもよい。
なお、第１部材１０１には、近赤外光反射部材として近赤外光反射フィルムが貼付される代わりに、近赤外光を大きく反射する塗料が塗布されてもよい。同様に、第２部材１０２及び第３部材１０３には、近赤外光吸収部材として近赤外光吸収フィルムが貼付される代わりに、近赤外光を大きく吸収する塗料が塗布されてもよい。また、第３部材１０３は、白色の近赤外光吸収部材の上に所定の可視光を通過させるカラーフィルム（例えば青色フィルム）を重ね合わせて形成されてもよい。第１部材１０１、第２部材１０２及び第３部材１０３は、一つの部材上において一体に形成されてもよい。また、第３部材１０３は、一つの色でなく、複数の色を有していてもよい。
なお、マーカ１０の形状は図１（ｂ）のような矩形ではなく、円形又は三角形等でもよい。例えば、マーカには、中心部分に第１部材として円形状の近赤外光反射部材が設けられ、その周囲に第２部材としてドーナツ形状の白色部材が設けられ、さらにその周囲に第３部材としてドーナツ形状の非白色部材が設けられる。または、マーカには、中心部分に第１部材として三角形状の近赤外光反射部材が設けられ、その周囲に第２部材として第１部材に対応する形状の穴を有する三角形状の白色部材が設けられ、さらにその周囲に第３部材として第２部材に対応する形状の穴を有する三角形状の非白色部材が設けられる。

次に、画像センサ７の詳細について説明する。図２に、画像センサ７の機能ブロック図を示す。図２に示すように、画像センサ７は、画像処理装置の一例であり、撮影部１１と、照度センサ１２と、照明部１３と、通信部１４と、記憶部１５と、信号処理部１６とを有する。

撮影部１１は、信号処理部１６が設定する二つの撮影モード（昼間モードと夜間モード）の何れかに従って撮影した監視画像を生成して出力する。
昼間モードは、第１モードの一例であり、監視場所が十分に明るいときに使用されることを想定した撮影モードである。撮影部１１は、昼間モードでは、監視場所を可視光で撮影したカラー画像を監視画像として生成する。一方、夜間モードは、第２モードの一例であり、監視場所が暗く、可視光で撮影しても監視場所内の詳細を判別できないときに使用されることを想定した撮影モードである。撮影部１１は、夜間モードでは、照明部１３が監視場所に近赤外光を照射した状態で撮影した点灯近赤外光画像と、照明部１３が監視場所に近赤外光を照射していない状態で撮影した消灯近赤外光画像とを監視画像として生成する。以下では、点灯近赤外光画像及び消灯近赤外光画像をまとめて近赤外光画像と称する場合がある。カラー画像は、画素ごとの可視光の強度を表す画像であり、具体的には、カラー画像は、画素ごとに青色成分の強度を表すＢ値と、緑色成分の強度を表すＧ値と、赤色成分の強度を表すＲ値とからなる色値を有する。一方、近赤外光画像は、少なくとも画素ごとの近赤外光の強度を表す輝度値を有する画像である。例えば、近赤外光画像は、画素ごとに可視光と近赤外光の二種類の光の成分についての強度を表す色値を有する画像として生成され、色値に含まれる近赤外光の成分の強度が選択的に用いられる。なお、近赤外光画像は、近赤外光の成分についての強度のみを表す画像であってもよい。
撮影部１１は、ＣＣＤなど、可視光及び近赤外光に感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に監視場所の像を結像する結像光学系などで構成される。撮影部１１は、一定の時間間隔（例えば１／５秒）にて撮影を行う。その結像光学系は、挿抜可能な赤外線カットフィルタ（以下、ＩＲカットフィルタという）を有する。昼間モードでは、ＩＲカットフィルタは２次元検出器の光路内に挿入され、カラー画像が撮影される。一方、夜間モードでは、ＩＲカットフィルタは光路外へ外され、近赤外光画像が撮影される。なお、撮影部１１は、積層型構造を有する有機薄膜へ加える電圧を変えることにより光電変換器の感度波長域を制御する方式、撮影ごとに調整された別個の２次元検出器及び結像光学系を切り替えて用いる方式等、ＩＲカットフィルタの挿抜以外の公知の様々な方式により、カラー画像及び近赤外光画像を取得してもよい。撮影部１１で取得された監視画像は、信号処理部１６へ送られる。

照度センサ１２は、撮影部１１の動作中、監視場所の照度（明るさ）を逐次検出し、検出した照度を示す照度信号を信号処理部１６へ出力する。照度信号は、撮影モードの切り替え判定に使用される。照度センサ１２として、公知の様々な照度センサを使用できる。なお、照度センサ１２は省略され、信号処理部１６が監視画像の画素の値により監視場所の照度を推定してもよい。

照明部１３は、複数の赤外ＬＥＤなどを有する。撮影モードが夜間モードである場合、照明部１３は点灯と消灯を切り替えるように制御される。照明部１３は、点灯時、監視場所に向けて近赤外光を照射する。一方、撮影モードが昼間モードである場合、照明部１３は常時消灯される。

通信部１４は、画像センサ７と警備装置３との間で構内ＬＡＮなどの通信ネットワークを介して各種の信号を送受信する通信インタフェース回路を有する。通信部１４は、信号処理部１６が生成したアラーム信号を警備装置３に送信する。また、通信部１４は、信号処理部１６が異常であると判定した監視画像を警備センタ装置５に送信して表示させるために警備装置３に送信する。

記憶部１５は、半導体メモリ、磁気ディスク（ＨＤＤ）などの記録媒体を有する。記憶部１５は、画像センサ７を制御するためのプログラム及び各種データ（位置関係情報１５１及びマーカ情報１５２等）を記憶し、信号処理部１６との間でこれらの情報を入出力する。プログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から記憶部１５にインストールされてもよい。
位置関係情報１５１は、マーカ１０全体におけるマーカ１０の第１部材１０１及び第２部材１０２の位置関係を示す。位置関係情報１５１には、第１部材１０１の縦横比、形状（長方形、丸形、三角形など）等の情報が示され、さらに、第１部材１０１に対する第２部材１０２の相対位置及び相対範囲と、第１部材１０１に対するマーカ１０全体の相対位置及び相対範囲が示される。位置関係情報１５１は、監視画像において、第１部材１０１に対応する画像領域（第１領域）から、第２部材１０２に対応する画像領域（第２領域）及びマーカ１０全体に対応する画像領域（マーカ領域）を特定するために使用される。なお、本明細書では「画像領域」を「領域」として表現する。図１（ｂ）に示すマーカ１０の場合、位置関係情報１５１には、第２部材１０２が第１部材１０１の下部に隣接し且つ第１部材１０１と略等しい面積及び形状を有していることが記憶される。さらに、位置関係情報１５１には、マーカ１０全体が、第１部材１０１と、第２部材１０２と、第２部材１０２の下部に隣接し且つ第１部材１０１及び第２部材１０２の合計と略等しい面積及び形状を有する部材（第３部材１０３）とを有していることが記憶される。また、マーカの形状が円形である場合、位置関係情報１５１には、第２部材が第１部材の周囲に隣接し且つ第１部材の二倍の半径を有する円を外周とするドーナツ形状を有していることが記憶される。さらに、位置関係情報１５１には、マーカ全体が、第１部材と、第２部材と、第２部材の周囲に隣接し且つ第２部材の二倍の半径を有する円を外周とするドーナツ形状を有する部材（第３部材）とを有していることが記憶される。位置関係情報１５１は、監視対象物９に貼付されたマーカ１０の形状に応じて管理者等により予め設定される。
マーカ情報１５２として、監視対象物９に貼付されたマーカ１０ごとに、マーカ識別子、マーカ領域情報、第１領域情報、第２領域情報及び基準色情報が対応付けて記憶される。マーカ領域情報、第１領域情報及び第２領域情報（以下、これらの情報をまとめて領域情報と称する場合がある）は、それぞれマーカ領域、第１領域及び第２領域の監視画像における位置及び範囲を示し、例えば、各領域を構成する画素の座標値の集合として表現される。領域情報は、登録処理で設定され、監視画像において各マーカ１０に対応する領域及び各マーカ１０の各部材に対応する領域を特定するために使用される。基準色情報は、第２領域内の画素の色値（Ｒ値、Ｇ値、Ｂ値）を示す。基準色情報は、判定処理で設定され、各マーカ１０の領域のホワイトバランス調整を行うために使用される。

信号処理部１６は、組み込み型のマイクロプロセッサユニットと、ＲＯＭ、ＲＡＭなどのメモリと、その周辺回路とを有し、画像センサ７の各種信号処理を実行する。そのために、信号処理部１６は、マイクロプロセッサユニット上で動作するプログラムの機能モジュールとして実装される制御手段１６１、領域検出手段１６２、基準色設定手段１６３、補正手段１６４及び判定手段１６５を有する。

図３は、画像センサ７による領域情報の登録処理の動作を示すフローチャートである。以下、図３を参照しつつ、本実施形態による登録処理の動作を説明する。登録処理は、不図示の設定端末を用いて管理者等による設定登録操作が行われたときに実行される。

まず、制御手段１６１は、撮影モードを夜間モードに設定し、照明部１３を点灯させて撮影部１１に点灯近赤外光画像を生成させ、その後、照明部１３を消灯させて撮影部１１に消灯近赤外光画像を生成させる（ステップＳ１０１）。次に、制御手段１６１は、撮影部１１が出力した近赤外光画像を取得する（ステップＳ１０２）。

図４（ａ）は監視場所を撮影したカラー画像の一例を示し、図４（ｂ）は点灯近赤外光画像の一例を示し、図４（ｃ）は消灯近赤外光画像の一例を示す。監視場所１０４には複数の監視対象物９が配置され、各監視対象物９にはそれぞれマーカ１０が付されており、カラー画像４００、点灯近赤外光画像４１０及び消灯近赤外光画像４２０には、複数のマーカ１０が撮影されている。以下の例では、監視場所に複数のマーカが含まれるが、マーカは一つでもよい。

次に、領域検出手段１６２は、制御手段１６１が取得した点灯近赤外光画像と消灯近赤外光画像とを比較することにより、近赤外光画像において第１領域を検出する（ステップＳ１０３）。領域検出手段１６２は、点灯近赤外光画像と消灯近赤外光画像との間で対応する各画素の輝度差を算出して輝度差が所定の閾値以上となる画素を抽出する。ちなみに輝度差において可視光の成分の強度は相殺されている。領域検出手段１６２は、抽出した抽出画素の内、相互に隣接する抽出画素をグループ化（ラベリング）し、グループ化した抽出画素により構成される各領域を候補領域とする。領域検出手段１６２は、各候補領域の縦横比及びサイズ（総画素数）を算出する。領域検出手段１６２は、縦横比が予め設定された第１範囲内であり且つサイズが予め設定された第２範囲内である候補領域を第１領域として検出する。なお、領域検出手段１６２は、さらに各候補領域の形状を算出し、算出した形状が位置関係情報１５１に記憶されている形状と略一致する場合に限り、各候補領域を第１領域として検出してもよい。領域検出手段１６２は、撮影部１１の結像光学系のレンズによる歪等による変形を撮影部１１のカメラパラメータを用いて補正して領域を検出してもよい。領域検出手段１６２は、検出した第１領域の位置及び範囲をマーカ情報１５２の第１領域情報として記憶部１５に記憶させる。

図４（ｂ）に示すように、各マーカ１０の第１部材１０１は近赤外光を反射するため、点灯近赤外光画像４１０内の各第１部材１０１に対応する領域では輝度が高くなっている。一方、各第１部材１０１以外では近赤外光の反射率が低いため、点灯近赤外光画像４１０内の各第１部材１０１に対応しない領域では輝度が低くなっている。また、図４（ｃ）に示すように、近赤外光が照射されていない場合は、消灯近赤外光画像４２０内の各第１部材１０１に対応する領域では、他の領域と同様に、輝度が低くなっている。したがって、領域検出手段１６２は、点灯近赤外光画像４１０と消灯近赤外光画像４２０との間で対応する各画素の輝度差が所定の閾値以上となる画素を抽出することにより、第１部材１０１に対応する第１領域を精度良く検出することができる。

次に、領域検出手段１６２は、近赤外光画像から第１領域を検出したか否かを判定する（ステップＳ１０４）。第１領域を検出しなかった場合、領域検出手段１６２は、領域情報の登録に失敗したことを設定端末に通知し（ステップＳ１０５）、一連のステップを終了する。一方、第１領域を検出した場合、領域検出手段１６２は、検出した第１領域毎に、即ちマーカ１０毎に、ステップＳ１０６及びＳ１０７の処理を実行する。
まず、領域検出手段１６２は、近赤外光画像における第１領域の位置と記憶部１５に記憶された位置関係情報１５１とに基づいて第２領域を特定する（ステップＳ１０６）。なお、領域検出手段１６２は、カラー画像において、近赤外光画像の第２領域に対応する（同一の座標を有する）領域をカラー画像における第２領域として特定する。領域検出手段１６２は、特定したカラー画像における第２領域の位置及び範囲をマーカ情報１５２の第２領域情報として記憶部１５に記憶させる。なお、領域検出手段１６２は、第１部材１０１の色が白色であり且つカラー画像において第１部材１０１からの反射光がカラー画像における色の再現性に影響しない場合には、第１領域自体を第２領域として特定してもよい。この場合、位置関係情報１５１として、第２部材１０２は第１部材１０１と同一であることが示される。また、領域検出手段１６２は、第２部材１０２に対応する全ての領域でなく、第２部材１０２に対応する領域の内の少なくとも一画素を含む一部の領域を第２領域として特定してもよい。
次に、領域検出手段１６２は、近赤外光画像における第１領域の位置と記憶部１５に記憶された位置関係情報１５１に示される位置関係とに基づいてマーカ領域の位置及び範囲を特定する（ステップＳ１０７）。なお、領域検出手段１６２は、カラー画像において、近赤外光画像のマーカ領域に対応する（同一の座標を有する）領域をマーカ情報１５２のマーカ領域として特定し、記憶する。
領域検出手段１６２は、全ての第１領域についてステップＳ１０６及びＳ１０７の処理を実行すると、登録処理を終了する。

図４（ｄ）は、第１領域、第２領域及びマーカ領域について説明するための図である。図４（ｄ）は、第２部材１０２が第１部材１０１の下部に隣接し且つ第１部材１０１と略等しい面積及び形状を有し、第３部材１０３が第２部材１０２の下部に隣接し且つ第１部材１０１及び第２部材１０２と略等しい面積及び形状を有している例を示す。領域検出手段１６２は、位置関係情報１５１を参照し、各第１部材１０１に対応する第１領域の下部に隣接し且つ第１領域と同一の大きさ及び形状を有する領域を第２領域として特定する。さらに、領域検出手段１６２は、各第２領域の下部に隣接し且つ第１領域と第２領域とを合わせた領域と同一の大きさ及び形状を有する領域を第３領域として特定する。そして、領域検出手段１６２は、第１領域、第２領域及び第３領域を含む領域をマーカ領域として特定する。なお、マーカ１０の貼付位置や撮影部１１の設置条件によっては位置関係情報１５１をそのまま適用できない場合が想定されるため、例えば、検出された第１領域の周囲から第２領域や第３領域を探索して、第１領域及びマーカ領域を特定してもよい。

図５は、画像センサ７による監視対象物の有無の判定処理の動作を示すフローチャートである。以下、図５を参照しつつ、本実施形態による判定処理の動作を説明する。判定処理は、画像が生成される毎に実行される。

まず、制御手段１６１は、照度センサ１２から照度信号を受け取り、受け取った照度信号に基づいて、監視場所が明状態であるか否かを判定する（ステップＳ２０１）。制御手段１６１は、照度信号に示される照度が閾値以上である状態が一定期間（例えば３０秒間）継続すれば明状態と判定し、閾値未満である状態が一定期間継続すれば暗状態と判定する。この閾値は、例えば、監視場所内においてマーカ１０の第３部材１０３をカラー画像にて識別可能な最低照度に設定され、撮影部１１に使用される２次元検出器の感度に応じて予め設定される。なお、制御手段１６１は、現在時刻が昼間であるか夜間であるかにより、明状態か暗状態かを判定してもよい。

制御手段１６１は、明状態と判定した場合、撮影モードを昼間モードに設定し、照明部１３を消灯させて撮影部１１にカラー画像を生成させる（ステップＳ２０２）。次に、制御手段１６１は、撮影部１１が出力したカラー画像を取得する（ステップＳ２０３）。ステップＳ２０４〜Ｓ２０６の処理は、マーカ領域毎に実行される。

まず、基準色設定手段１６３は、第２領域内の画素の色値に基づいて基準色を設定する（ステップＳ２０４）。基準色設定手段１６３は、マーカ情報１５２の第２領域情報として記憶されている第２領域の重心位置（中央位置）の画素の色値を基準色の色値に決定する。なお、基準色設定手段１６３は、第２領域内の各画素の色値の平均値、中央値、最大値又は最小値を基準色の色値に決定してもよい。基準色設定手段１６３は、決定した色値をマーカ情報１５２の基準色情報として記憶部１６に記憶させる。

次に、補正手段１６４は、設定された基準色に基づいて、カラー画像における各マーカ領域の画素の色値を補正（ホワイトバランス調整）する（ステップＳ２０５）。すなわち、補正手段１６４は、基準色情報の色値を白色とする補正値を求め、当該補正値を用いて各マーカ領域の画素の色値を補正する。例えば、補正手段１６４は、基準色のＲ値、Ｇ値及びＢ値のそれぞれをその中の最大値に一致させる倍率を補正値として算出する。例えば、基準色のＲ値、Ｇ値及びＢ値がそれぞれ２００、１５０及び１５０であった場合、各値に対応する倍率は１倍、４／３倍、４／３倍となる。補正手段１６４は、マーカ領域内の各画素のＲ値、Ｇ値及びＢ値の各値に、算出した倍率を乗算することにより、各画素の色値を補正する。なお、補正手段１６４は、他の公知の様々なホワイトバランス調整方式により、補正を行ってもよい。
このように、補正手段１６４は、白色であることが既知の第２領域の画素の色値に基づいて環境光の影響を求めることができ、当該環境光の影響を取り除くよう各マーカ領域の補正を行うため、ホワイトバランス調整を良好に行うことができる。

次に、判定手段１６５は、補正したカラー画像内のマーカ領域においてマーカの検出処理を実行する（ステップＳ２０６）。判定手段１６５は、昼間モードでは、補正したカラー画像内のマーカ領域の特徴量に基づいて、当該マーカ領域にマーカが含まれるか否かを判定する。例えば、特徴量は画素の色値の特徴量とすることができる。すなわち、判定手段１６５は、第１及び第２領域（白色領域）内で、色値が予め設定された白色値範囲内である画素の数と、第３領域（非白色領域）内で、色値が予め設定された非白色（例えば青色）値範囲内である画素の数とが、何れも閾値以上である場合はマーカ領域にマーカが含まれると判定し、何れかが閾値未満である場合は含まれないと判定する。
なお、判定手段１６５は、上述した画素の数の条件に代えて形状の条件、又は代表値の条件を用いてマーカの検出処理を実行することもできる。または、判定手段１６５は、画素の数の条件、形状の条件及び代表値の条件のうちの２以上の条件を用いてマーカの検出処理を実行することもできる。
形状の条件を用いる場合、判定手段１６５は、マーカ領域から、色値が白色値範囲内である画素、及び／又は、色値が非白色値範囲内である画素を抽出し、抽出した画素による領域の形状が、位置関係情報１５１として記憶されている第１部材１０１、第２部材１０２、及び、第３部材１０３の内の対応する部材の形状と略一致する場合に、マーカが含まれると判定する。また、例えば図１（ｂ）に示したマーカ１０を用いる場合は、第１領域内で抽出した領域及び第２領域内で抽出した領域を合わせた領域と、第３領域内で抽出した領域とを比較し、略一致する場合にマーカが含まれると判定する。
代表値の条件を用いる場合、判定手段１６５は、少なくとも第１及び第２領域内の各画素の輝度値の代表値と、第３領域内の各画素の輝度値の代表値との差が輝度差の範囲内である場合に、マーカが含まれると判定する。代表値は例えば、平均値、中央値、最大値又は最小値のうちの１つ以上である。
また、第３部材１０３が複数の色（例えば青色及び黄色）を有している場合、特徴量をマーカ領域の画素の色相値の特徴量としてもよい。その場合、位置関係情報１５１には、マーカ１０における第３部材１０３の各色の分布位置が記憶される。判定手段１６５は、まず、第３領域内の各画素のＲＧＢ値（色値）をＨＳＬ値（色相値、彩度値、明度値）に変換する。次に、判定手段１６５は、位置関係情報１５１に記憶された各色の分布位置に基づいて、第３領域を各色領域に分割する。次に、判定手段１６５は、各色領域内の各画素の色相値の内、各色を示す色相値に最も近い色相値を抽出する。各色を示す色相値は、予め設定され、例えば青色の場合は２３０度に設定され、黄色の場合は５０度に設定される。次に、判定手段１６５は、抽出した各色相値の差を算出し、算出した差が予め設定された範囲内である場合に、マーカが含まれると判定する。

一方、制御手段１６１は、ステップＳ２０１で暗状態と判定した場合、撮影モードを夜間モードに設定し、照明部１３を点灯させて撮影部１１に点灯近赤外光画像を生成させ、その後、照明部１３を消灯させて撮影部１１に消灯近赤外光画像を生成させる（ステップＳ２０７）。次に、制御手段１６１は、撮影部１１が出力した近赤外光画像を取得する（ステップＳ２０８）。ステップＳ２０９の処理は、個別のマーカ領域毎に実行される。

判定手段１６５は、近赤外光画像内のマーカ領域においてマーカの検出処理を実行する（ステップＳ２０９）。判定手段１６５は、夜間モードでは、近赤外光画像内のマーカ領域の特徴量に基づいて、マーカ領域にマーカが含まれるか否かを判定する。例えば、特徴量は画素の輝度値の特徴量とすることができる。すなわち、判定手段１６５は、マーカ領域内の各画素のＲＧＢ値（色値）をＹＵＶ値（輝度値、色差値）に変換する。判定手段１６５は、点灯近赤外光画像内の第１領域（近赤外光が反射されている領域）内の各画素の輝度値の代表値（平均値、中央値、最大値又は最小値）と、第２及び第３領域（近赤外光が反射されていない領域）内の各画素の輝度値の代表値との差が何れも閾値以上である場合はマーカ領域にマーカが含まれると判定し、何れかが閾値未満である場合は含まれないと判定する。
なお、判定手段１６５は、上述した点灯近赤外光画像における輝度差の条件に代えて形状の条件、又は点灯近赤外光画像と消灯近赤外光画像との間の輝度差の条件を用いてマーカの検出処理を実行することもできる。または、判定手段１６５は、点灯近赤外光画像における輝度差の条件、形状の条件、及び点灯近赤外光画像と消灯近赤外光画像との間の輝度差の条件のうちの２以上の条件を用いてマーカの検出処理を実行することもできる。
形状の条件を用いる場合、判定手段１６５は、点灯近赤外光画像におけるマーカ領域から、輝度値が反射輝度値範囲内である画素、及び／又は、輝度値が非反射輝度値範囲内である画素を抽出し、反射輝度値範囲内である画素による領域の形状が位置関係情報１５１として記憶されている第１部材の形状と略一致する場合、及び／又は、非反射輝度値範囲内である画素による領域の形状が位置関係情報１５１として記憶されている第２部材及び第３部材を合わせた形状と略一致する場合に、マーカが含まれると判定してもよい。反射輝度値範囲は近赤外光が反射されていると想定される輝度値の範囲に予め設定され、非反射輝度値範囲は近赤外光が反射されていないと想定される輝度値の範囲に予め設定される。
点灯近赤外光画像と消灯近赤外光画像との間の輝度差の条件を用いる場合、判定手段１６５は、点灯近赤外光画像及び消灯近赤外光画像のそれぞれについて、第１領域内の画素の輝度値の中の最高輝度値と、第２及び第３領域内の画素の輝度値の中の最低輝度値とを特定する。判定手段１６５は、点灯近赤外光画像で特定した最高輝度値と最低輝度値の差と、点灯近赤外光画像で特定した最高輝度値と消灯近赤外光画像で特定した最高輝度値の差とを算出し、算出した差の何れもが予め設定された閾値以上である場合に、マーカが含まれると判定する。

このように、判定手段１６５は、撮影部１１の撮影環境の明るさに応じて、昼間モードと夜間モードとを切り替えてマーカを検出する。これにより、判定手段１６５は、撮影環境の明るさに関わらず良好にマーカを検出することが可能となる。

次に、判定手段１６５は、登録処理でマーカ情報１５２に記憶された全マーカ領域にてマーカが含まれていると判定されたか否かを判定する（ステップＳ２１０）。全マーカ領域にてマーカが含まれていると判定された場合、判定手段１６５は、監視対象物が正常状態であると判定し（ステップＳ２１１）、一連のステップを終了する。一方、何れかのマーカ領域にマーカが含まれないと判定した場合、判定手段１６５は、監視対象物が異常状態であると判定し（ステップＳ２１２）、一連のステップを終了する。その場合、判定手段１６５は、所定のアラーム信号を生成し、画像センサ７の識別信号及び異常が検出された監視画像を通信部１４を介して警備装置３へ出力する。なお、判定手段１６５は、所定の期間（例えば、３０秒間）の間、異常状態が継続した場合にのみ、アラーム信号等を警備装置３へ出力してもよい。

以上説明してきたように、本発明に係る画像センサ７は、近赤外光を反射させる第１部材１０１に対応する第１領域を検出し、第１領域の位置から白色の第２部材１０２に対応する第２領域を特定する。したがって、画像センサ７は、色味の強い環境光による影響に関わらず、第２領域を精度良く特定することが可能となる。これにより、画像センサ７は、第２領域内の画素の色値に基づいて、カラー画像内の画素の色値を良好に補正することができ、監視対象物が異常状態であるか否かを精度良く判定することが可能となる。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されない。例えば、第１部材１０１は、近赤外光反射部材でなく近赤外光吸収部材とし、第２部材１０２及び第３部材１０３は、近赤外光吸収部材ではなく一般的な色部材である白色部材及び青色部材としてもよい。そのようにしても、点灯近赤外光画像と消灯近赤外光画像において、近赤外光吸収部材に対応する領域内の輝度差は、他の領域内の輝度差より小さくなるため、この場合も、画像センサ７は、第１領域を良好に検出でき、ひいては第２領域を精度良く特定できる。
また、領域検出手段１６２は、カラー画像で撮像できる程度に周囲の環境が明るい場合は、照明部１３を用いずに、消灯近赤外光画像とカラー画像を用いて第１領域を検出してもよい。消灯近赤外光画像において、第１領域は、環境光に含まれる近赤外光の反射成分を多く含んで撮影されるため、第１領域の輝度値は他の領域よりも高くなる。したがって、消灯近赤外光画像とカラー画像の第１領域における輝度差は、他の領域における輝度差より大きくなる。そこで、領域検出手段１６２は、消灯近赤外光画像とカラー画像との間で対応する各画素の輝度差を算出し、輝度差が所定の閾値以上となる画素を抽出し、抽出した画素をグループ化した領域を第１領域の候補領域として検出する。また、第１部材１０１を近赤外光吸収部材とした場合、消灯近赤外光画像において、第１領域は、環境光に含まれる近赤外光の反射成分を吸収して撮像されるため、第１領域の輝度値は他の領域よりも低くなる。したがって、消灯近赤外光画像とカラー画像の第１領域における輝度差は、他の領域における輝度差より大きくなる。そこで、領域検出手段１６２は、消灯近赤外光画像とカラー画像との間で対応する輝度差が所定の閾値以上となる画素を抽出し、抽出した画素をグループ化した領域を第１領域の候補領域として検出してもよい。

また、補正手段１６５は、マーカ領域のみを補正するのではなく、マーカ領域外の領域を含むカラー画像内の全領域を補正してもよい。その場合、補正手段１６５は、特定の第２領域について設定された基準色に基づいて、カラー画像の全領域を補正する。補正手段１６５は、各第２領域の中で、画素の色値が最も白色に近い第２領域を特定し、特定した第２領域内の画素の色値に基づいて設定された基準色に基づいて、カラー画像の全領域を補正する。
また、補正手段１６５は、各第２領域について設定された各基準色に基づいてそれぞれカラー画像の全領域を補正した複数の補正カラー画像を生成し、判定手段１６５は、全ての補正カラー画像から全マーカが検出された場合に限り、監視対象物が正常状態であると判定してもよい。その場合、図３のステップＳ１０７において、領域検出手段１６２が各マーカ領域を特定せずに、図５のステップＳ２０６において、判定手段１６５が補正カラー画像全体から各マーカを検出する。
また、制御手段１６１は、図５のステップＳ２１２で異常と判定された監視画像としてカラー画像を出力する代わりに、カラー画像の全領域を補正したカラー画像を警備装置３に出力してもよい。これにより、警備装置３を介して補正されたカラー画像を受信した警備センタ装置５は、当該補正されたカラー画像を表示させることができ、監視員は異常時の状態を好適に参照することが可能となる。また、制御手段１６１は、図５の判定処理を実行することなく、登録処理にて登録された第２領域内の画素の色値（基準色）に基づいて、カラー画像の全領域を補正したカラー画像を警備装置３へ出力してもよい。

また、画像センサ７は、図３の登録処理を事前に実行せずに、図５の判定処理を実行する度に、判定処理の直前に実行してもよい。
また、照明部１３は、赤外ＬＥＤを用いて近赤外光を照射するものに限定されない。照明部１３は、撮影部１１の２次元検出器が検出可能な波長帯の光を照射すればよく、例えば、白色ＬＥＤなどを用いて可視光を照射してもよい。
また、近赤外光反射部材又は近赤外光吸収部材は、近赤外光のみを大きく反射又は吸収する部材に限定されない。近赤外光反射部材又は近赤外光吸収部材は、少なくとも近赤外光を反射又は吸収する部材であればよく、近赤外光及び可視光の両方を大きく反射又は吸収する部材でもよい。
以上のように、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

７ 画像センサ、１１ 撮影部、１２ 照度センサ、１３ 照明部、１４ 通信部、１５ 記憶部、１６ 信号処理部、１６１ 制御手段、１６２ 領域検出手段、１６３ 基準色設定手段、１６４ 補正手段、１６５ 判定手段

Claims (6)

1. 白色部材と近赤外光反射部材又は近赤外光吸収部材の少なくとも何れか一方とが所定の位置関係で配置された被写体を撮影したカラー画像及び近赤外光画像を生成する撮影部と、
   前記所定の位置関係を示す位置関係情報を記憶する記憶部と、
   前記近赤外光画像において前記近赤外光反射部材又は前記近赤外光吸収部材に対応する第１領域を検出し、前記第１領域の位置と前記位置関係情報に示される位置関係とに基づいて、前記カラー画像において前記白色部材に対応する第２領域を特定する領域検出手段と、
   前記第２領域内の画素の色値に基づいて、前記カラー画像内の画素の色値を補正する補正手段と、
   を有することを特徴とする画像処理装置。
2. 前記被写体に向けて光を照射する照明部をさらに有し、
   前記領域検出手段は、前記照明部が光を照射した状態で撮影された近赤外光画像と、前記照明部が光を照射していない状態で撮影された近赤外光画像とを比較することにより、前記第１領域を検出する、請求項１に記載の画像処理装置。
3. 前記被写体には、白色以外の色を有する非白色部材がさらに配置され、
   前記補正手段は、前記第２領域内の画素の色値に基づいて、少なくとも前記カラー画像内の前記非白色部材に対応する第３領域内の画素の色値を補正し、
   少なくとも前記補正された第３領域内の画素に基づいて、前記補正したカラー画像に前記被写体が含まれるか否かを判定する判定手段をさらに有する、請求項１または２に記載の画像処理装置。
4. 前記被写体は、監視対象物に付され、
   前記判定手段は、前記補正したカラー画像に前記被写体が含まれないと判定した場合、前記監視対象物が異常状態であると判定する、請求項３に記載の画像処理装置。
5. 前記判定手段は、前記撮影部の撮影環境の明るさに応じて、前記補正したカラー画像において前記被写体に対応する画素の色値に基づいて前記被写体が含まれるか否かを判定する第１モードと、前記近赤外光画像において前記被写体に対応する画素の輝度値に基づいて前記被写体が含まれるか否かを判定する第２モードとを切り替える、請求項３または４に記載の画像処理装置。
6. 前記カラー画像及び前記近赤外光画像には、複数の前記被写体が撮影され、
   前記領域検出手段は、前記被写体毎に前記第２領域を特定し、
   前記補正手段は、前記被写体毎に特定した第２領域内の画素の色値に基づいて、前記カラー画像における各被写体に対応する領域内の各画素の色値を補正する、請求項１〜５の何れか一項に記載の画像処理装置。