JP2019179532A - マーカ検出システム - Google Patents

Abstract

【課題】カラー画像及び近赤外画像から物体検出用のマーカを高精度に検出することができるマーカ検出システムを提供する。【解決手段】マーカ検出システムは、マーカとマーカが撮影画像に含まれるか否かを判定する画像処理装置とを備える。マーカは、第１色領域、第２色領域、近赤外光を反射する第１反射領域及び第２反射領域を表面に有する。画像処理装置は、カラー画像及び近赤外画像を取得する画像取得部と、第１色領域に相当する第１色画像領域内及び第２色領域に相当する第２色画像領域内の画素の色値と色情報に示される色値との合致度を判定する第１判定処理、第１反射領域に相当する第１反射画像領域内及び第２反射領域に相当する第２反射画像領域内の画素の輝度値と輝度情報に示される輝度値との合致度を判定する第２判定処理の一方を実行し、マーカが撮影画像内に含まれるか否かを判定する判定部と、を備える。【選択図】図３

Description

本発明は、監視対象である物体に貼付したマーカを検出するマーカ検出システムに関する。

監視対象である物体にマーカを貼付し、そのマーカを貼付した物体を撮影した画像における光学的な特徴に基づいてマーカの有無を判定することにより、物体の有無を判定するシステムが存在する。

例えば、特許文献１には、近赤外光の反射領域と吸収領域とを有するマーカを貼付した重要物に近赤外光を照射し、近赤外カメラによって撮像した近赤外画像から反射領域及び吸収領域を検出してマーカの有無を判定することにより、重要物監視を行うシステムが記載されている。また、特許文献２には、物体に貼付され異なる複数の色が着色されたマーカにおいて、可視カメラにて撮影したカラー画像の色相差からマーカの有無を判定し、その判定結果から物体の三次元座標を計測するシステムが記載されている。

特開平１１−２７２９６５号公報 特開２００９−１３９１９７号公報

ところで、近赤外カメラを用いてマーカを撮影した場合、近赤外光を反射した反射領域が高輝度に検出されるが、得られた画像上の高輝度領域は実際のマーカの反射領域より膨張して大きく写る膨張現象が生じる。よって、特許文献１のシステムのように、反射領域と吸収領域が略等しい面積のマーカでは画像上の吸収領域の部分が狭くなり、高精度にマーカを検出できないおそれがある。この問題は、カメラの解像度が低いほど顕著に生じる。

また、近年では可視カメラと近赤外カメラとを昼夜で切替えて動作する兼用カメラも存在し、特許文献１及び特許文献２のシステムでは、可視カメラと近赤外カメラの双方に対して高精度なマーカ検出を行うことができない。そこで、一つのマーカにて近赤外画像だけでなくカラー画像からもマーカを高精度に検出することができ、昼夜問わず重要物を監視することができる物体検出用のマーカを有するマーカ検出システムが求められている。

本発明の目的は、近赤外画像及びカラー画像から物体検出用のマーカを高精度に検出することができるマーカ検出システムを提供することにある。

かかる課題を解決するため本発明は、マーカと、マーカが撮影画像に含まれるか否かを判定する画像処理装置と、を備え、マーカは、所定の色を有する第１色領域、第１色領域と異なる色を有する第２色領域、近赤外光を反射する第１反射領域、及び、第１反射領域より反射率が低い第２反射領域を表面に有し、第１反射領域の面積は、第２反射領域の面積より小さく、第１反射領域と第２反射領域との面積比は、第１色領域と第２色領域との面積比とは異ならせ、画像処理装置は、予め、第１色領域及び第２色領域に相当する撮影画像上の第１色画像領域及び第２色画像領域の位置を示す色領域情報、第１反射領域及び第２反射領域に相当する撮影画像上の第１反射画像領域及び第２反射画像領域の位置を示す反射領域情報、第１色領域及び第２色領域に対応する色値に関する色情報、及び、第１反射領域及び第２反射領域に対応する輝度値に関する輝度情報を記憶する記憶部と、撮影画像として、カラー画像及び近赤外画像を取得する画像取得部と、取得したカラー画像において色領域情報に基づき特定される第１色画像領域及び第２色画像領域に対応する領域の色値と色情報に示される色値との合致度を判定する第１判定処理、及び、取得した近赤外画像において反射領域情報に基づき特定される第１反射画像領域及び第２反射画像領域に対応する領域の輝度値と輝度情報に示される輝度値との合致度を判定する第２判定処理の少なくとも一方の判定結果に基づいて、マーカが撮影画像内に含まれるか否かを判定する判定部と、を備えるマーカ検出システムを提供する。

このマーカ検出システムにおいて、反射領域情報における第１反射画像領域は、撮影画像上の実際の第１反射領域の面積よりも大きく、第２反射画像領域は、撮影画像上の実際の第２反射領域の面積よりも小さいことが好適である。

本発明は、マーカと、マーカが撮影画像に含まれるか否かを判定する画像処理装置と、を備え、マーカは、所定の色を有する第１色領域、第１色領域と異なる色を有する第２色領域、近赤外光を反射する第１反射領域、及び、第１反射領域より反射率が低い第２反射領域を表面に有し、第１反射領域の面積は、第２反射領域の面積より小さく、第１反射領域と第２反射領域との面積比は、第１色領域と第２色領域との面積比とは異ならせ、画像処理装置は、予め、第１色領域及び第２色領域に対応する色値に関する色情報、第１反射領域及び第２反射領域に対応する輝度値に関する輝度情報、第１色領域及び第２色領域の位置関係を示す色領域情報、第１反射領域及び第２反射領域の位置関係を示す反射領域情報を記憶する記憶部と、撮影画像としてカラー画像及び近赤外画像を取得する画像取得部と、取得したカラー画像において色情報に基づき特定される第１色領域の色値を有する領域と第２色領域の色値を有する領域との位置関係および色領域情報に示される位置関係の合致度を判定する第１判定処理、及び、取得した近赤外画像において輝度情報に基づき特定される第１反射領域の輝度値を有する領域と第２反射領域の輝度値を有する領域との位置関係および反射領域情報に示される位置関係の合致度を判定する第２判定処理の少なくとも一方の判定結果に基づいて、マーカが撮影画像内に含まれるか否かを判定する判定部と、を備えるマーカ検出システムを提供する。

本発明は、マーカと、マーカが撮影画像に含まれるか否かを判定する画像処理装置と、を備え、マーカは、所定の色を有する第１色領域、第１色領域と異なる色を有する第２色領域、近赤外光を反射する第１反射領域、及び、第１反射領域より反射率が低い第２反射領域を表面に有し、第１反射領域の面積は、第２反射領域の面積より小さく、第１反射領域と第２反射領域との面積比は、第１色領域と第２色領域との面積比とは異ならせ、画像処理装置は、予め、第１色領域及び第２色領域に対応する色値に関する色情報、第１反射領域及び第２反射領域に対応する輝度値に関する輝度情報、第１色領域及び第２色領域の位置関係を示す色領域情報、第１反射領域及び第２反射領域の位置関係を示す反射領域情報を記憶する記憶部と、撮影画像としてカラー画像及び近赤外画像を取得する画像取得部と、色情報及び色領域情報に基づき、取得したカラー画像において第１色領域の色値を有する第１の領域および当該第１の領域と位置関係を有する第２の領域を特定し、輝度情報及び反射領域情報に基づき、取得した近赤外画像において第１反射領域の輝度値を有する第３の領域および当該第１の領域と位置関係を有する第４の領域を特定する領域特定部と、カラー画像において第２の領域の色値と色情報に示される第２色領域の色値との合致度を判定する第１判定処理、及び、取得した近赤外画像において第２の領域の輝度値と輝度情報に示される第２反射領域の輝度値との合致度を判定する第２判定処理の少なくとも一方の判定結果に基づいて、マーカが撮影画像内に含まれるか否かを判定する判定部と、を備えるマーカ検出システムを提供する。

このマーカ検出システムにおいて、反射領域情報は、第１反射領域及び第２反射領域の大きさを示す情報を含み、第１反射領域の大きさは、撮影画像上の実際の第１反射領域の面積よりも大きく、第２反射領域の大きさは、撮影画像上の実際の第２反射領域の面積よりも小さいことが好適である。

このマーカ検出システムにおいて、画像処理装置は、マーカが撮影される撮影環境の明るさを検出する明るさ検出部をさらに備え、検出した明るさを示す値が第１閾値未満である場合、近赤外画像を用いてマーカが撮影画像に含まれるか否かを判定し、検出した明るさを示す値が第１閾値以上第２閾値未満である場合、カラー画像を用いてマーカが撮影画像に含まれるか否かを判定し、検出した明るさを示す値が第２閾値以上である場合、近赤外画像を用いてマーカが撮影画像に含まれるか否かを判定することが好適である。

このマーカ検出システムにおいて、画像処理装置は、撮影画像を撮影した撮影装置とマーカとの距離を取得する距離取得部をさらに備え、取得した距離が所定の閾値以上離れている場合、近赤外画像を用いてマーカが撮影画像に含まれるか否かを判定することが好適である。

本発明に係るマーカ検出システムにより、カラー画像及び近赤外画像から物体検出用のマーカを高精度に検出することができる。

警備システム１の全体システム構成を示す図である。 （ａ）はマーカ１０の模式図であり、（ｂ）及び（ｃ）はマーカ１０の構成部材を示す図である。 画像処理装置７の機能ブロック図である。 登録処理の動作を示すフローチャートである。 （ａ）〜（ｃ）は各監視画像について説明するための模式図であり、（ｄ）は各画像領域について説明するための図である。 判定処理の動作を示すフローチャートである。 マーカ検出処理の動作を示すフローチャートである。 第１変形例におけるマーカ検出処理の動作を示すフローチャートである。 第２変形例におけるマーカ検出処理の動作を示すフローチャートである。 マーカ２０の模式図である。

以下、本発明を適用したマーカ検出システムの実施の形態について図を参照しつつ説明する。

図１は、本発明を適用したマーカ検出システムの一例である警備システム１の全体システム構成を示す図である。図１に示すように、警備システム１は、店舗、オフィス、マンション、倉庫、家屋等の各監視対象物件２に設置される警備装置３と、インターネットや公衆電話回線などの通信網４を介して各警備装置３と接続される警備センタ装置５とを有する。また、各警備装置３には、監視対象物件２に設置された金庫等の監視対象物９が無くなった又は移動されたなどの異常を、監視対象物９を含む監視場所を撮影した監視画像に基づいて検出するための１以上の画像処理装置７が接続される。

警備装置３は、構内ＬＡＮなどを介して接続された画像処理装置７からアラーム信号を受信すると、そのアラーム信号と、警備装置３、監視対象物９又は異常を検出した画像処理装置７の識別信号とを警備センタ装置５へ送信する。そのために、警備装置３は、画像処理装置７と通信するための通信インタフェースと、警備センタ装置５と通信するための通信インタフェースと、それらを制御するための制御ユニットを有する。

警備センタ装置５は、いわゆるコンピュータで構成され、通信網４を介して警備装置３と通信するための通信インタフェースと、液晶ディスプレイなどの表示装置とを備える。警備センタ装置５は、警備装置３から通信網４を介してアラーム信号を受信すると、そのアラーム信号に対応する監視対象物９及び検出された異常の内容を表示装置を通じて監視員に報知し、異常時の監視画像を表示する。監視員は、報知された異常の内容、及び、表示された監視画像を確認することにより、監視対象物件２を監視する。

監視対象物９である物体には、被写体の一例であるシール等のマーカ１０が貼付され、マーカ１０には、外光、監視場所に配置された光源からの色味の強い（色味を有する）光等の環境光が照射され得る。

図２（ａ）は、マーカ１０の模式図である。マーカ１０は、相互に色が異なる複数の色部材をつなぎ合わせた上に、相互に近赤外光の反射率が異なる複数の反射部材を重ね合わせることにより、形成される。

図２（ｂ）は、複数の色部材について説明するための模式図である。図２（ｂ）に示すように、マーカ１０は、複数の色部材として、第１色（例えば黄色）を有する第１色部材１２１及び第１色と異なる第２色（例えば青色）を有する第２色部材１２２を有する。マーカ１０の表面は、第１色部材１２１に対応する第１色領域１０１及び第２色部材１２２に対応する第２色領域１０２で構成される。第１色領域１０１は、第２色領域１０２の上側に配置される。なお、第１色部材１２１及び第２色部材１２２は、第１色及び第２色を有するカラーシートが貼付されても良いし、第１色及び第２色の塗料が着色されてもよい。

図２（ｃ）は、複数の反射部材について説明するための模式図である。図２（ｃ）に示すように、マーカ１０は、複数の反射部材として、近赤外光を反射する性質を有する第１反射部材１３１及び第１反射部材１３１より反射率が低い第２反射部材１３２を有する。第１反射部材１３１は、第１反射率（例えば９０％）を有し、第２反射部材１３２は、第１反射率より低い第２反射率（例えば５％）を有する。例えば、第１反射部材１３１として、再帰性反射材などの近赤外光を反射する近赤外光反射シートが用いられ、第２反射部材１３２として、近赤外光を吸収する近赤外光吸収シートが用いられる。なお、第１反射部材１３１及び第２反射部材１３２として、他の部材が用いられてもよい。マーカ１０の表面は、第１反射部材１３１に対応する第１反射領域１１１及び第２反射部材１３２に対応する第２反射領域１１２で構成される。第１反射領域１１１は、第２反射領域１１２の上側に配置される。

図２（ｂ）の第１色領域１０１及び第２色領域１０２と図２（ｃ）の第１反射領域１１１及び第２反射領域１１２とを重ね合わせたマーカが図２（ａ）のマーカ１０であり、マーカの表面は第１色領域１０１及び第２色領域１０２で構成され、さらに表面の一部の領域（第１色領域１０１の一部の領域）は第１反射領域１１１からなり、表面の一部以外の領域（第１色領域１０１に重畳された第１反射領域１１１以外の第１色領域１０１と第２色領域１０２の領域）は第２反射領域１１２からなる。

第１反射領域１１１及び第２反射領域１１２の面積比は、第１色領域１０１及び第２色領域１０２の面積比とは異なるように構成されている。具体的には、第１色領域１０１の面積と第２色領域１０２の面積は、略同一であり、一方、第１反射領域１１１の面積は、第２反射領域１１２の面積よりも小さい。また、第１反射領域１１１と第２反射領域１１２との面積比は、第１色領域１０１と第２色領域１０２との面積比とは異なる。第１色領域１０１の面積と第２色領域１０２の面積は、それぞれ第１反射領域１１１の面積よりも大きく且つ第２反射領域１１２の面積よりも小さくてもよい。なお、図２（ａ）のマーカ１０のように、第１反射領域１１１はマーカ１０の輪郭に接する位置に配置されている。また、第１色領域１０１及び第２色領域１０２の面積が略同一である範囲は、例えば第１色領域１０１の面積は第２色領域１０２の面積の０．９倍〜１．１倍の範囲である。

なお、第１反射領域１１１には、近赤外光反射部材として近赤外光反射フィルムが貼付される代わりに、近赤外光を大きく反射する塗料が塗布されてもよい。同様に、第２反射領域１１２には、近赤外光吸収部材として近赤外光吸収フィルムが貼付される代わりに、近赤外光を大きく吸収する塗料が塗布されてもよい。

また、マーカ１０の形状及び第１色領域１０１、第２色領域１０２第１反射領域１１１、第２反射領域１１２の形状は図２（ａ）のような矩形ではなく、円形又は三角形等でもよい。例えば、マーカ１０が円形の場合、マーカ１０の中心部分に円形状の第１色部材１２１と、その周囲にドーナツ形状の第２色部材１２２が設けられ、且つ、マーカ１０の半円より小さい弓形の第１反射部材１３１はマーカ１０の円弧に沿って配置しその他の領域に第２反射部材１３２を設ける。また、上記円形のマーカ１０において第１反射部材１３１と第２反射部材１３２が配置される位置は、マーカ１０の中心部分に円形状（第１色部材１２１と第２色部材１２２に跨る円形）の第２反射部材１３２が配置され、その周囲にドーナツ形状の第１反射部材１３１が配置されても良いし、またマーカ１０の第１色部材１２１の内側に第１色部材１２１よりも小さい面積（反射光による膨張の影響が生じない大きさ）で第１反射部材１３１が配置され、その周囲にドーナツ形状の第２反射部材１３２が配置されても良い。又は、マーカ１０には、中心部分の三角形状の第１色部材１２１と、その周囲の、第１色部材１２１に対応する形状の穴を有する三角形状の第２色部材１２２が設けられる。マーカ１０には、さらに、第１色部材１２１の内側に配置される三角形状の第１反射部材１３１と、その周囲の、第１反射部材１３１に対応する形状の穴を有する三角形状の第２反射部材１３２が設けられる。なお、上記に示したように、マーカ１０の形状と、各領域の形状が一致しなくても良い。これらの部材により、第１色領域１０１、第２色領域１０２、第１反射領域１１１及び第２反射領域１１２が構成される。

また、マーカ１０の色は青・黄色以外でも良いが、カラー画像上での色の属性を表す値の差が顕著であるものが好ましい。例えばＨＳＬ色空間のＨ値即ち色相値を用いる場合、各色は第１色部材１２１の色の色相値と第２色部材１２２の色の色相値との差が１８０度に近くなるように選択されることが好ましい。同様に、マーカ１０の表面が３色以上の色で構成（第１色領域１０１及び第２色領域１０２のそれぞれが異なる複数の色領域から構成）される場合、各色は、その色相値が０〜３６０度の間で等間隔に並ぶように選択されることが好ましい。なお、第１色部材１２１の色の色相値と第２色部材１２２の色の色相差が０度に近くなるような選択にならなければ、どのような色を用いてもよい。

次に、画像処理装置７の詳細について説明する。図３に、画像処理装置７の機能ブロック図を示す。図３に示すように、画像処理装置７は、撮影部１１と、照度センサ１２と、照明部１３と、通信部１４と、記憶部１５と、信号処理部１６とを有する。

撮影部１１は、ＣＣＤなど、可視光及び近赤外光に感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に監視場所の像を結像する結像光学系などで構成される。撮影部１１は、一定の時間間隔（例えば１／５秒）にて撮影を行う。その結像光学系は、挿抜可能な赤外線カットフィルタ（以下、ＩＲカットフィルタという）を有する。昼間モードでは、ＩＲカットフィルタは２次元検出器の光路内に挿入され、カラー画像が撮影される。一方、夜間モードでは、ＩＲカットフィルタは光路外へ外され、近赤外光画像が撮影される。

撮影部１１は、信号処理部１６が設定する二つの撮影モード（昼間モードと夜間モード）の何れかに従って撮影した監視画像を生成して出力する。

昼間モードは、監視場所が十分に明るいときに使用されることを想定した撮影モードである。撮影部１１は、昼間モードでは、監視場所を可視光で撮影したカラー画像を監視画像として生成する。一方、夜間モードは、監視場所が暗く、可視光で撮影しても監視場所内の詳細を判別できないときに使用されることを想定した撮影モードである。

撮影部１１は、夜間モードでは、照明部１３が監視場所に近赤外光を照射した状態で撮影した点灯近赤外光画像と、照明部１３が監視場所に近赤外光を照射していない状態で撮影した消灯近赤外光画像とを監視画像として生成する。以下では、点灯近赤外光画像及び消灯近赤外光画像をまとめて近赤外光画像と称する場合がある。

カラー画像は、画素ごとの可視光の強度を表す画像であり、具体的には、カラー画像は、画素ごとに赤色成分の強度を表すＲ値と、緑色成分の強度を表すＧ値と、青色成分の強度を表すＢ値とからなるＲＧＢ色空間の色値を有する。一方、近赤外光画像は、少なくとも画素ごとの近赤外光の強度を表す画像である。例えば、近赤外光画像は、ＩＲカットフィルタが光路外へ外された状態でＣＣＤが近赤外光を検出した結果として得られた、近赤外光の強度である。なお、色値とは、ＲＧＢ色空間におけるＲ、Ｇ又はＢの値、ＨＳＬ色空間におけるＨ、Ｓ又はＬの値などの、各色空間におけるいずれかの要素を示す値である。また、近赤外光画像は、少なくとも画素ごとの近赤外光の強度を表す輝度値を有する画像である。

なお、撮影部１１は、積層型構造を有する有機薄膜へ加える電圧を変えることにより光電変換器の感度波長域を制御する方式、撮影ごとに調整された別個の２次元検出器及び結像光学系を切り替えて用いる方式等、ＩＲカットフィルタの挿抜以外の公知の様々な方式により、カラー画像及び近赤外光画像を取得してもよい。撮影部１１で取得された監視画像は、信号処理部１６へ送られる。また、撮影部１１は、画像処理装置７とは別の撮影装置に備えられ、マーカ１０を撮像したカラー画像及び近赤外光画像を画像処理装置７へ送信してもよい。

照度センサ１２は、撮影部１１の動作中、監視場所の照度（明るさ）を逐次検出し、検出した照度を示す照度信号を信号処理部１６へ出力する。照度信号は、撮影モードの切り替え判定に使用される。照度センサ１２として、公知の様々な照度センサを使用できる。なお、照度センサ１２は省略され、信号処理部１６が監視画像の画素の値により監視場所の照度を推定してもよい。

照明部１３は、複数の赤外ＬＥＤなどを有する。撮影モードが夜間モードである場合、照明部１３は点灯と消灯を切り替えるように制御される。照明部１３は、点灯時、監視場所に向けて近赤外光を照射する。一方、撮影モードが昼間モードである場合、照明部１３は常時消灯される。

通信部１４は、画像処理装置７と警備装置３との間で構内ＬＡＮなどの通信ネットワークを介して各種の信号を送受信する通信インタフェース回路を有する。通信部１４は、信号処理部１６が生成したアラーム信号を警備装置３に送信する。また、通信部１４は、信号処理部１６が異常であると判定した監視画像を警備センタ装置５に送信して表示させるために警備装置３に送信する。

記憶部１５は、半導体メモリ、磁気ディスク（ＨＤＤ）などの記録媒体を有する。記憶部１５は、画像処理装置７を制御するためのプログラム及び各種データ（位置関係情報１５１、画像領域情報１５２、色情報１５５、輝度情報１５６等）を予め記憶し、信号処理部１６との間でこれらの情報を入出力する。プログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から記憶部１５にインストールされてもよい。

位置関係情報１５１は、マーカ１０におけるマーカ全体に対応する領域、第１色領域１０１、第２色領域１０２、第１反射領域１１１及び第２反射領域１１２の位置関係を示す。位置関係情報１５１には、マーカ１０、第１色領域１０１、第２色領域１０２、第１反射領域１１１及び第２反射領域１１２の縦横比、サイズ及び面積等の大きさ、形状（長方形、丸形、三角形など）等の情報が示される。さらに、位置関係情報１５１には、マーカ１０における第１色領域１０１、第２色領域１０２、第１反射領域１１１及び第２反射領域１１２の相対位置及び相対範囲等の配置パターンが示される。以後、マーカ全体に対応する領域を、マーカ領域と称する場合がある。位置関係情報１５１は、監視画像において、第１反射領域１１１に対応する画像領域から、マーカ１０全体に対応する画像領域及び第１色領域１０１、第２色領域１０２及び第２反射領域１１２のそれぞれに対応する画像領域を特定するために使用される。なお、位置関係情報１５１には、第１反射領域１１１及び第２反射領域１１２の上記の関係に代えて、第１反射領域を所定倍率だけ拡大した拡大反射領域及び前記第２反射領域を所定倍率だけ縮小した縮小反射領域について上記の関係が示されてもよい。つまり、位置関係情報１５１に含まれる第１反射領域１１１の大きさは撮影画像の画角に対する実際の第１反射領域の面積よりも大きい拡大反射領域と、第２反射領域の大きさは前記撮影画像の画角に対する実際の第２反射領域の面積よりも小さい縮小反射領域とについて上記の関係が示されても良い。拡大する倍率及び縮小する倍率は、事前の実験等により決定される。なお、マーカ１０の第１反射領域１１１及び第２反射領域１１２の面積比は第１色領域１０１及び第２色領域１０２の面積比とは異なっているため、第１反射領域１１１及び第２反射領域１１２の位置関係は第１色領域１０１及び第２色領域１０２の位置関係とは異なった位置関係が示される。

図２（ａ）に示すマーカ１０の場合、例えば位置関係情報１５１には、第２色領域１０２が第１色領域１０１の下部に隣接し且つ第１色領域１０１と略等しい面積及び形状を有していることが記憶される。さらに、位置関係情報１５１には、第２反射領域１１２が、第１反射領域１１１の下部に隣接し、第１反射領域１１１に対して垂直方向に約３倍且つ水平方向に等しい長さの長方形状を有し、第１反射領域１１１の約３倍の面積を有していることが記憶される。

さらに、位置関係情報１５１には、マーカ１０の表面全体が、第１色領域１０１及び第２色領域１０２で構成され、且つ、第１色領域１０１の一部の領域は第１反射領域からなり、第１色領域１０１の第１反射領域以外の領域及び第２色領域は第２反射領域からなることが記憶される。

また、マーカの形状が円形である場合、位置関係情報１５１には、第２色領域が第１色領域の周囲に隣接し且つ第１色領域の２倍の半径を有する円を外周とするドーナツ形状を有していることが記憶される。さらに、位置関係情報１５１には、第２反射領域が第１反射領域の周囲に隣接し且つ第１反射領域の３倍の半径を有する円を外周とするドーナツ形状を有していることが記憶される。さらに、位置関係情報１５１には、マーカの表面全体が、第１色領域及び第２色領域で構成され、且つ、第１反射領域及び第２反射領域で構成されていることが記憶される。位置関係情報１５１は、監視対象物９に貼付されたマーカ１０の形状に応じて管理者等により予め設定される。

なお、監視画像において、第１色領域１０１に相当する画像領域を第１色画像領域と称し、第２色領域１０２に相当する画像領域を第２色画像領域と称する場合がある。また、監視画像において、第１反射領域１１１に相当する画像領域を第１反射画像領域と称し、第２反射領域１１２に相当する画像領域を第２反射画像領域と称する場合がある。また、マーカ１０全体に相当する画像領域をマーカ画像領域と称する場合がある。

画像領域情報１５２として、監視対象物９に貼付されたマーカ１０ごとに、マーカ識別子、マーカ画像領域情報、第１反射画像領域情報、第２反射画像領域情報、第１色画像領域情報及び第２色画像領域情報が対応付けて記憶される。マーカ画像領域情報、第１色画像領域情報、第２色画像領域情報、第１反射画像領域情報及び第２反射画像領域情報は、それぞれマーカ画像領域、第１色画像領域、第２色画像領域、第１反射画像領域及び第２反射画像領域の位置及び範囲を示す。第１色画像領域情報及び第２色画像領域情報は、第１色領域及び第２色領域が存在する位置を示す色領域情報の一例であり、第１反射画像領域情報及び第２反射画像領域情報は、第１反射領域及び第２反射領域が存在する位置を示す反射領域情報の一例である。これらの各画像領域の位置及び範囲は、例えば、各画像領域を構成する画素の座標値の集合として表現される。画像領域情報１５２は、登録処理で設定され、監視画像において各マーカ１０に対応する画像領域及び各マーカ１０の各領域に対応する画像領域を特定するために使用される。以後、第１色画像領域情報及び第２色画像領域情報をまとめて色画像領域情報１５３と称し、第１反射画像領域情報及び第２反射画像領域情報をまとめて反射画像領域情報１５４と称する場合がある。

色情報１５５は、マーカ１０における第１色領域１０１に対応する色値及び第２色領域１０２に対応する色値に関する情報を示す。なお、色情報１５５は、カラー画像において第１色領域１０１に相当する第１色画像領域などを検出したり、カラー画像において画像領域の組が第１色画像領域及び第２色画像領域であるか否かを判定するために用いられる。色情報１５５には、第１色領域１０１に対応する画素の色値及び第２色領域１０２に対応する画素の色値に関する情報が、第１色画像領域の画素の色の属性値及び第２色画像領域の画素の色の属性値で示される。色情報１５５には、第１色領域１０１に対応する画素の色値及び第２色領域１０２に対応する画素の色値に関する情報が、第１色画像領域の画素の色の属性値、及び、第１色画像領域の画素の色の属性値と第２色画像領域の画素の色の属性値との関係等で示されてもよい。色情報１５５における色の属性値は、例えば、ＲＧＢ色空間のＲ、Ｇ又はＢ、ＨＳＬ色空間のＨ、Ｓ又はＬ等である。第１色画像領域の画素の色の属性値と第２色画像領域の画素の色の属性値との関係とは、例えば第１色画像領域の画素の色の色相値と第２色画像領域の画素の色の色相値との差分である色相差等の値である。

輝度情報１５６は、マーカ１０における第１反射領域１１１に対応する輝度値及び第２反射領域１１２に対応する輝度値に関する情報を示す。なお、輝度情報１５６は、近赤外画像において第１反射領域１１１に相当する第１反射画像領域等を検出したり、近赤外画像において、画像領域の組が第１反射画像領域及び第２反射画像領域であるか否かを判定するために用いられる。輝度情報１５６には、第１反射領域１１１内の画素の輝度値及び第２反射領域１１２の画素の輝度値に関する情報が、第１反射画像領域の画素の輝度値及び第２反射画像領域の画素の輝度値で示される。輝度情報１５６には、第１反射領域１１１内の画素の輝度値及び第２反射領域１１２の画素の輝度値に関する情報が、第１反射画像領域の画素の輝度値、及び、第１反射画像領域の画素の輝度値と第２反射画像領域の画素の輝度値との関係等で示されてもよい。第１反射画像領域の画素の輝度値と第２反射画像領域の画素の輝度値との関係とは、例えば第１反射画像領域の画素の輝度値と第２反射画像領域の画素の輝度値との差分である輝度差の値である。

信号処理部１６は、組み込み型のマイクロプロセッサユニットと、ＲＯＭ、ＲＡＭなどのメモリと、その周辺回路とを有し、画像処理装置７の各種信号処理を実行する。そのために、信号処理部１６は、マイクロプロセッサユニット上で動作するプログラムの機能モジュールとして実装される制御部１６１、画像取得部１６２、設定部１６３、明るさ検出部１６４、領域特定部１６５、判定部１６６及び距離取得部１６７を有する。

図４は、画像処理装置７による画像領域情報１５２の登録処理の動作を示すフローチャートである。以下、図４を参照しつつ、本実施形態による登録処理の動作を説明する。登録処理は、不図示の設定端末を用いて管理者等による設定登録操作が行われたときに実行される。

まず、制御部１６１は、撮影モードを夜間モードに設定し、照明部１３を点灯させて撮影部１１に点灯近赤外光画像を生成させ、その後、照明部１３を消灯させて撮影部１１に消灯近赤外光画像を生成させる（ステップＳ１０１）。次に、画像取得部１６２は、撮影部１１が出力した近赤外光画像を取得する（ステップＳ１０２）。

図５（ａ）は監視場所を撮影したカラー画像の一例を示し、図５（ｂ）は点灯近赤外光画像の一例を示し、図５（ｃ）は消灯近赤外光画像の一例を示す。監視場所１０４には複数の監視対象物９が配置され、各監視対象物９にはそれぞれマーカ１０が貼付されており、カラー画像４００、点灯近赤外光画像４１０及び消灯近赤外光画像４２０には、複数のマーカ１０が撮影されている。以下の例では、監視場所に複数のマーカが含まれるが、マーカは一つでもよい。

次に、設定部１６３は、画像取得部１６２が取得した点灯近赤外光画像と消灯近赤外光画像とを比較することにより、近赤外光画像において第１反射画像領域を検出する（ステップＳ１０３）。設定部１６３は、点灯近赤外光画像と消灯近赤外光画像との間で対応する各画素の輝度差を算出して輝度差が所定の閾値以上となる画素を抽出する。設定部１６３は、抽出した抽出画素の内、相互に隣接する抽出画素をグループ化（ラベリング）し、グループ化した抽出画素により構成される各領域を候補領域とする。設定部１６３は、各候補領域の縦横比及びサイズ（総画素数）を算出する。設定部１６３は、縦横比が予め設定された第１範囲内であり且つサイズが予め設定された第２範囲内である候補領域を第１反射画像領域として検出する。

なお、設定部１６３は、さらに各候補領域の形状を算出し、算出した形状が位置関係情報１５１に記憶されている形状と略一致する場合に限り、各候補領域を第１反射画像領域として検出してもよい。設定部１６３は、撮影部１１の結像光学系のレンズによる歪等による変形を撮影部１１のカメラパラメータを用いて補正して領域を検出してもよい。

設定部１６３は、一意に識別可能なマーカ識別子と検出した第１反射画像領域の位置及び範囲とを関連付けて、画像領域情報１５２のマーカ識別子及び第１反射画像領域情報として記憶部１５に記憶させる。

図５（ｂ）に示すように、各マーカ１０の第１反射領域１１１は近赤外光を反射するため、点灯近赤外光画像４１０内の各第１反射領域１１１に対応する領域では輝度が高くなっている。一方、各第２反射領域１１２では近赤外光の反射率が低いため、点灯近赤外光画像４１０内の各第２反射領域１１２では輝度が低くなっている。また、図５（ｃ）に示すように、近赤外光が照射されていない場合は、消灯近赤外光画像４２０内の各第１反射領域１１１に対応する領域では、他の領域と同様に、輝度が低くなっている。したがって、設定部１６３は、点灯近赤外光画像４１０と消灯近赤外光画像４２０との間で対応する各画素の輝度差が所定の閾値以上となる画素を抽出することにより、第１反射領域１１１に対応する第１反射画像領域を精度良く検出することができる。

次に、設定部１６３は、近赤外光画像から第１反射画像領域を検出したか否かを判定する（ステップＳ１０４）。第１反射画像領域を検出しなかった場合、設定部１６３は、画像領域情報１５２の登録に失敗したことを設定端末に通知し（ステップＳ１０５）、一連のステップを終了する。一方、第１反射画像領域を検出した場合、設定部１６３は、検出した第１反射画像領域毎に、即ちマーカ１０毎に、ステップＳ１０６及びＳ１０７の処理を実行する。

まず、設定部１６３は、近赤外光画像における第１反射画像領域の位置と位置関係情報１５１に示されるマーカ領域に占める第１反射領域１１１の大きさ及びマーカ領域に対する第１反射領域１１１の配置パターンとに基づいて、マーカ画像領域の位置及び範囲を特定する（ステップＳ１０６）。なお、設定部１６３は、特定したマーカ画像領域に対応する（同一の座標を有する）領域を画像領域情報１５２のマーカ画像領域情報として記憶部１５に記憶させる。

次に、設定部１６３は、特定したマーカ画像領域の位置と位置関係情報１５１に示されるマーカ領域に占める各領域の大きさ及び各領域の配置パターンとに基づいて、第１色画像領域、第２色画像領域及び第２反射画像領域のそれぞれの位置及び範囲を特定する（ステップＳ１０７）。なお、設定部１６３は、特定した第１色画像領域、第２色画像領域、第１反射画像領域及び第２反射画像領域のそれぞれに対応する（同一の座標を有するように互いの画像領域が重なり合ってもよい）領域を、それぞれ画像領域情報１５２の第１色画像領域情報、第２色画像領域情報及び第２反射画像領域情報として記憶部１５に記憶させる。

設定部１６３は、全ての第１反射画像領域についてステップＳ１０６及びＳ１０７の処理を実行すると、登録処理を終了する。

なお、マーカ１０の貼付位置や撮影部１１の設置条件によっては位置関係情報１５１をそのまま適用できない場合が想定されるため、例えば、検出された第１反射画像領域の周囲から第２反射画像領域を探索して、マーカ画像領域を特定してもよい。

また、設定部１６３は、第１反射画像領域に代えて第１色画像領域を検出し、第１色画像領域と位置関係情報１５１とに基づいてマーカ画像領域、第２色画像領域、第１反射画像領域及び第２反射画像領域のそれぞれの位置及び範囲を特定してもよい。例えば、設定部１６３は、制御部１６１が撮影モードを昼間モードに設定し撮影部１１に生成させたカラー画像から、色情報１５５の第１色属性値に対応する属性を有する画素を抽出する。次に、設定部１６３は、第１反射画像領域を検出したときと同様な方法により、抽出した画素をグループ化して候補領域を生成し、候補領域から第１色画像領域を検出する。次に、設定部１６３は、第１色画像領域と位置関係情報１５１とに基づいてマーカ画像領域、第２色画像領域、第１反射画像領域及び第２反射画像領域のそれぞれの位置及び範囲を特定する。

また、設定部１６３は、近赤外画像から検出した第１反射画像領域と位置関係情報１５１とに基づいて第２反射画像領域を特定し、カラー画像から検出した第１色画像領域と位置関係情報１５１とに基づいて第２色画像領域を特定してもよい。

また、設定部１６３は、ステップＳ１０６における第１反射領域１１１に代えて、第１反射領域を所定倍率だけ拡大した拡大反射領域に基づいてマーカ画像領域の位置及び範囲を特定することにより、拡大反射領域に基づいて反射画像領域情報を設定してもよい。例えば、記憶部１５は、第１反射領域に代えて、第１反射領域を所定倍率だけ拡大した拡大反射領域を、予め位置関係情報１５１に記憶する。設定部１６３は、検出した第１反射画像領域の位置と位置関係情報１５１に示されるマーカ領域に占める拡大反射領域の大きさ及びマーカ領域に対する拡大反射領域の配置パターンに基づいて、第１反射画像領域に対するマーカ画像領域の位置及び範囲を特定する。第１反射領域１１１を拡大する倍率及び拡大反射領域の位置及び範囲は、事前の実験等により決定される。

また、設定部１６３は、第２反射領域１１２を所定倍率だけ縮小した縮小反射領域に基づいて第２反射画像領域を特定し、画像領域情報１５２に設定してもよい。これにより、後述する判定処理において第２反射画像領域を検出する際に、近赤外光が第１反射領域１１１で乱反射することにより、第１反射画像領域に隣接する第２反射画像領域内の領域が明るくなる影響を軽減させることが可能である。第２反射領域１１２を縮小する倍率は、事前の実験等により決定される。

また、設定部１６３は、監視場所内におけるマーカ１０の第１色領域１０１、第２色領域１０２、第１反射領域１１１、第２反射領域１１２の位置に基づいて画像領域情報１５２を設定してもよい。その場合、記憶部１５には、監視場所内におけるマーカ１０の第１色領域１０１、第２色領域１０２、第１反射領域１１１、第２反射領域１１２の位置と、撮影部１１の設置位置及び画角等が予め記憶される。設定部１６３は、記憶部１５に記憶された各情報から、マーカ画像領域情報、第１色画像領域情報、第２色画像領域情報、第１反射画像領域情報及び第２反射画像領域情報を特定する。

図５（ｄ）は、第１反射画像領域、第２反射画像領域、第１色画像領域、第２色画像領域及びマーカ画像領域について説明するための図である。

図５（ｄ）は、第２色領域１０２が第１色領域１０１の下部に隣接し且つ第１色領域１０１と略等しい面積及び形状を有している例を示す。また、図５（ｄ）は、第２反射領域１１２が第１反射領域１１１の下部に隣接し、第１反射領域１１１に対して垂直方向に約３倍、水平方向に等しい長さの長方形状であり、且つ第１反射領域１１１の約３倍の面積を有している例を示す。

図６は、画像処理装置７による監視対象物の有無の判定処理の動作を示すフローチャートである。以下、図６を参照しつつ、本実施形態による判定処理の動作を説明する。判定処理は、画像が生成される毎に実行される。

まず、明るさ検出部１６４は、照度センサ１２から照度信号を受け取り、受け取った照度信号に基づいて、監視場所が明状態であるか否かを判定する（ステップＳ２０１）。明るさ検出部１６４は、照度信号に示される照度が第１閾値以上である状態が一定期間（例えば３０秒間）継続すれば明状態と判定し、第１閾値未満である状態が一定期間継続すれば暗状態と判定する。この閾値は、例えば、監視場所内においてマーカ１０の第１色領域１０１及び第２色領域１０２をカラー画像にて識別可能な最低照度に設定され、撮影部１１に使用される２次元検出器の感度に応じて予め設定される。なお、明るさ検出部１６４に代えて制御部１６１が、現在時刻が昼間であるか夜間であるかにより、明状態か暗状態かを判定してもよい。

明状態と判定された場合、制御部１６１は、撮影モードを昼間モードに設定し、照明部１３を消灯させて撮影部１１にカラー画像を生成させる（ステップＳ２０２）。次に、画像取得部１６２は、撮影部１１が出力したカラー画像を取得する（ステップＳ２０３）。次に、制御部１６１は、取得したカラー画像のＲＧＢ色空間の色値をＨＳＬ色空間の色値に変換する（ステップＳ２０４）。

領域特定部１６５及び判定部１６６は、カラー画像内においてマーカ検出処理を実行する（ステップＳ２０５）。判定部１６６は、昼間モードでは、カラー画像内の特徴量に基づいて、当該マーカ画像領域にマーカが含まれるか否かを判定する。例えば、特徴量は画素の色値の特徴量とすることができる。昼間モードのマーカ検出処理の詳細については後述する。

一方、ステップＳ２０１で暗状態と判定された場合、制御部１６１は、撮影モードを夜間モードに設定する（ステップＳ２０６）。制御部１６１は、照明部１３を点灯させて撮影部１１に点灯近赤外光画像を生成させ、その後、照明部１３を消灯させて撮影部１１に消灯近赤外光画像を生成させる。次に、画像取得部１６２は、撮影部１１が出力した近赤外光画像を取得する（ステップＳ２０７）。次に、制御部１６１は、取得した近赤外画像のＲＧＢ色空間の色値をＹＵＶ色空間の色値に変換する（ステップＳ２０８）。

領域特定部１６５及び判定部１６６は、近赤外光画像内においてマーカの検出処理を実行する（ステップＳ２０９）。判定部１６６は、夜間モードでは、近赤外光画像内の特徴量に基づいて、マーカが含まれるか否かを判定する。例えば、特徴量は画素の輝度値の特徴量とすることができる。夜間モードのマーカ検出処理の詳細については後述する。

次に、判定部１６６は、登録処理で画像領域情報１５２に記憶された全マーカ画像領域にてマーカが含まれていると判定されたか否かを判定する（ステップＳ２１０）。全マーカ画像領域にてマーカが含まれていると判定された場合、判定部１６６は、監視対象物が正常状態であると判定し（ステップＳ２１１）、一連のステップを終了する。一方、何れかのマーカ画像領域にマーカが含まれないと判定した場合、判定部１６６は、監視対象物が異常状態であると判定し（ステップＳ２１２）、一連のステップを終了する。その場合、判定部１６６は、所定のアラーム信号を生成し、画像処理装置７の識別信号及び異常が検出された監視画像を通信部１４を介して警備装置３へ出力する。なお、判定部１６６は、所定の期間（例えば、３０秒間）の間、異常状態が継続した場合にのみ、アラーム信号等を警備装置３へ出力してもよい。

なお、ステップＳ２１０の処理に代えて、記憶部１５は、画像処理装置７が監視する範囲に存在するマーカ１０の個数を予め記憶し、判定部１６６は、検出したマーカの個数が、記憶部１５が記憶するマーカの個数と一致するか否かを判定してもよい。判定部１６６は、検出したマーカの個数と記憶部１５が記憶するマーカの個数とが一致する場合、監視対象物が正常状態であると判定し（ステップＳ２１１）、一致しない場合、監視対象物が異常状態であると判定してもよい（ステップＳ２１２）。

図７は、マーカ検出処理の動作を示すフローチャートである。昼間モードのマーカ検出処理は、図６のステップＳ２０５で実行され、夜間モードのマーカ検出処理は、図６のステップＳ２０９で実行される。以下、図７を参照しつつ、本実施形態による判定処理の動作を説明する。

以下、第１色画像領域及び第１反射画像領域を第１画像領域と総称し、第２色画像領域及び第２反射画像領域を第２画像領域と総称する場合がある。また、第１色領域１０１及び第１反射領域１１１を第１領域と総称し、第２色領域１０２及び第２反射領域１１２を第２領域と総称する場合がある。

最初に、領域特定部１６５は、第１特定処理及び第２特定処理の少なくとも一方を実行する（ステップＳ３０１）。領域特定部１６５は、昼間モードの場合、第１特定処理を実行し、夜間モードの場合、第２特定処理を実行する。第１特定処理において、領域特定部１６５は、画像取得部１６２が取得し制御部１６１が色空間を変換したカラー画像から、色画像領域情報１５３に基づいて、第１色画像領域及び第２色画像領域を特定する。例えば、領域特定部１６５は、カラー画像において、色画像領域情報１５３のうち、第１色画像領域情報に記憶された座標値の集合からなる領域を第１色画像領域として特定し、第２色画像領域情報に記憶された座標値の集合からなる領域を第２色画像領域として特定する。第２特定処理において、領域特定部１６５は、画像取得部１６２が取得し制御部１６１が色空間を変換した近赤外画像から、反射画像領域情報１５４に基づいて、第１反射画像領域及び第２反射画像領域を特定する。例えば、領域特定部１６５は、近赤外画像において、反射画像領域情報１５４のうち、第１反射画像領域情報に記憶された座標値の集合からなる領域を第１反射画像領域として特定し、第２反射画像領域情報に記憶された座標値の集合からなる領域を第２反射画像領域として特定する。

次に、領域特定部１６５は、第１画像領域及び第２画像領域が特定されたか否かを判定する（ステップＳ３０２）。第１画像領域及び第２画像領域の少なくとも一方が特定されなかった場合、一連の処理を終了し、図６のステップＳ２１０に進む。

第１画像領域及び第２画像領域の両方が特定された場合、判定部１６６は、第１判定処理及び第２判定処理の少なくとも一方を実行する（ステップＳ３０３）。判定部１６６は、昼間モードの場合、第１判定処理を実行し、夜間モードの場合、第２判定処理を実行する。

第１判定処理において、判定部１６６は、第１特定処理で特定した第１色画像領域内の画素の色値及び第２色画像領域内の画素の色値と色情報とに基づいてマーカ１０の色特徴との類似性を判定する。例えば、記憶部１５には、色情報１５５として、第１色領域１０１の第１色相値、第２色領域１０２の第２色相値、各色相値が取り得る第１範囲、及び、各色相値の色相差が取り得る第２範囲が記憶される。その場合、判定部１６６は、第１色画像領域内の各画素の色相値のうち第１色相値に最も近い色相値Ｐを抽出し、第２色画像領域内の各画素の色相値のうち第２色相値に最も近い色相値Ｑを抽出する。次に、判定部１６６は、色相値Ｐと第１色相値との色相差と、色相値Ｑと第２色相値との色相差とがどちらも第１範囲内であり、且つ、色相値ＰとＱとの色相差が第２範囲内であるか否かの判定に基づいて、第１色画像領域及び第２色画像領域とマーカ１０の色特徴である第１色領域１０１及び第２色領域１０２の配置パターン等との類似性を判定する。

第２判定処理において、判定部１６６は、第２特定処理で特定した第１反射画像領域内の画素の輝度値及び第２反射画像領域内の画素の輝度値と輝度情報とに基づいてマーカ１０の輝度特徴との類似性を判定する。例えば、記憶部１５には、輝度情報１５６として、第１反射画像領域内の画素の輝度値と第２反射画像領域内の画素の輝度値との差分の絶対値の第１最小値が記憶されている。その場合、判定部１６６は、第１反射画像領域内の各画素の輝度値のうち最も高い輝度値Ｈを抽出し、第２反射画像領域内の各画素の輝度値のうち最も低い輝度値Ｉを抽出する。次に、判定部１６６は、輝度値ＨとＩとの差分の絶対値が色情報１５５に示される第１最小値以上であるか否かの判定に基づいて、第１反射画像領域及び第２反射画像領域とマーカ１０の輝度特徴である第１反射領域１１１及び第２反射領域１１２の配置パターン等との類似性を判定する。

次に、判定部１６６は、第１判定処理又は第２判定処理による判定結果に基づいて、マーカ１０が撮影画像内に含まれるか否かを判定する（ステップＳ３０４）。昼間モードの場合、判定部１６６は、色相値Ｐと第１色相値との色相差と、色相値Ｑと第２色相値との色相差とがどちらも色情報１５５に示される第１範囲内であり、且つ、色相値ＰとＱとの色相差が色情報１５５に示される第２範囲内であるという判定結果の場合、第１色画像領域と第２色画像領域とがマーカ１０の色特徴と類似していると判定し、マーカ１０が撮影画像内に含まれると判定する（ステップＳ３０５）。判定部１６６は、その他の判定結果の場合、マーカ１０が撮影画像内に含まれないと判定する（ステップＳ３０６）。夜間モードの場合、判定部１６６は、輝度値ＨとＩとの差分の絶対値が色情報１５５に示される差分値以上であるという判定結果の場合、第１反射画像領域と第２反射画像領域とがマーカ１０の輝度特徴と類似していると判定し、マーカ１０が撮影画像内に含まれると判定する（ステップＳ３０５）。判定部１６６は、その他の判定結果の場合、マーカ１０が撮影画像内に含まれないと判定する（ステップＳ３０６）。ステップＳ３０５及びＳ３０６の処理の後に、制御部１６１は、処理をステップＳ３０１に進める。

なお、判定部１６６は、昼間モードでは、ステップＳ３０３の色相値Ｐ及びＱの抽出処理に加えて、第１色画像領域内の各画素の色相値のうち第２色相値から最も遠い色相値Ｒを抽出し、第２色画像領域内の各画素の色相値のうち第１色相値から最も遠い色相値Ｓを抽出する。判定部１６６は、ステップＳ３０３の判定内容に代えて、色相値ＰとＳとの色相差、及び、色相値ＱとＲとの色相差の内、大きい方の色相差が第２範囲内であるか否かを判定する。判定部１６６は、差分値が第２範囲内であるという判定結果の場合、マーカ１０が撮影画像内に含まれると判定し、その他の判定結果の場合、マーカ１０が撮影画像内に含まれないと判定する。

また、記憶部１５には、色情報１５５として、第１色相値、第２色相値、第１範囲、第２範囲及び第１色画像領域内における第１色相値を有する画素の第１最低割合を記憶してもよい。この場合、判定部１６６は、昼間モードでは、ステップＳ３０３の判定内容に代えて、第１色画像領域内の全画素のうち、第１色相値に対して第１範囲に含まれる色相値を有する画素の割合が第１最低割合以上であり、且つ、色相値ＰとＱとの差分の絶対値が、第２範囲内に含まれるか否かを判定する。判定部１６６は、画素の割合が第１最低割合以上であり、且つ、色相値ＰとＱとの色相差が第２範囲内に含まれるという判定結果の場合、マーカ１０が撮影画像内に含まれると判定し、その他の判定結果の場合、マーカ１０が撮影画像内に含まれないと判定する。

また、記憶部１５には、輝度情報１５６として、第１反射画像領域の画素が取り得る輝度値の第３範囲、輝度値の差分の絶対値が取り得る第４範囲、及び、第１反射画像領域内の画素の第２最低割合が記憶されてもよい。この場合、判定部１６６は、夜間モードでは、ステップＳ３０３の判定内容に代えて、第１反射画像領域内の全画素のうち、第３範囲に含まれる輝度値を有する画素の割合が第２最低割合以上であり、且つ、輝度値ＨとＩとの差分が第４範囲内に含まれる場合、所定の条件を満たすと判定してもよい。

また、記憶部１５には、色情報１５５として、第１色相値、第２色相値及び第１範囲が記憶されてもよい。この場合、判定部１６６は、昼間モードでは、ステップＳ３０３の抽出処理に代えて、第１色画像領域内の全画素の色相値の平均値である色相値Ｔ及び第２色画像領域内の全画素の色相値の平均値である色相値Ｕを算出する。判定部１６６は、ステップＳ３０３の判定処理に代えて、色相値Ｔと第１色相値との色相差、及び、色相値Ｕと第２色相値との色相差がどちらも第１範囲内であるか否かを判定する。判定部１６６は、どちらも第１範囲内であるという判定結果の場合、マーカ１０が撮影画像内に含まれると判定し、その他の判定結果の場合、マーカ１０が撮影画像内に含まれないと判定する。また、記憶部１５には、色情報１５５として、さらに第２範囲が記憶されてもよい。この場合、判定部１６６は、さらに色相値ＴとＵとの色相差が第２範囲内であるか否かを判定する。判定部１６６は、色相値ＴとＵとの色相差が第２範囲内であるという判定結果の場合、マーカ１０が撮影画像内に含まれると判定し、その他の判定結果の場合、マーカ１０が撮影画像内に含まれないと判定する。

また、記憶部１５には、輝度情報１５６として、第１反射領域１１１に対応する画素の第１輝度値、第２反射領域１１２に対応する画素の第２輝度値、及び、各輝度値が取り得る第３範囲が記憶されてもよい。この場合、判定部１６６は、夜間モードでは、ステップＳ３０３の抽出処理に代えて、第１反射画像領域内の全画素の輝度値の平均値である輝度値Ｊ及び第２反射画像領域内の全画素の輝度値の平均値である輝度値Ｋを算出する。判定部１６６は、ステップＳ３０３の判定処理に代えて、輝度値Ｊと第１輝度値との差分の絶対値と、輝度値Ｋと第２輝度値との差分の絶対値とがどちらも第３範囲内であるか否かを判定する。判定部１６６は、各絶対値がどちらも第３範囲内であるという判定結果の場合、マーカ１０が撮影画像内に含まれると判定し、その他の判定結果の場合、マーカ１０が撮影画像内に含まれないと判定する。また、記憶部１５には、輝度情報１５６として、さらに第１最小値が記憶されてもよい。この場合、判定部１６６は、さらに輝度値ＪとＫとの差分の絶対値が第１最小値以上であるか否かを判定する。判定部１６６は、差分の絶対値が第１最小値以上であるという判定結果の場合、マーカ１０が撮影画像内に含まれると判定し、その他の判定結果の場合、マーカ１０が撮影画像内に含まれないと判定する。

以上説明してきたように、本実施形態に係るマーカ検出システムにおいて、画像処理装置７は、カラー画像と近赤外画像とで、マーカを検出する画像領域の比率を異ならせてマーカの検出を行う。画像処理装置７は、カラー画像から、予め記憶されたマーカの第１色領域１０１及び第２色領域１０２の大きさ及び配置パターンに基づいて第１色画像領域及び第２色画像領域を特定し、特定した第１色画像領域及び第２色画像領域が予め記憶された色情報に合致するか否かを判定し、近赤外画像から、予め記憶されたマーカの第１反射領域１１１及び第２反射領域１１２の大きさ及び配置パターンに基づいて第１反射画像領域及び第２反射画像領域を特定し、特定した第１反射画像領域及び第２反射画像領域が予め記憶された輝度情報に合致するか否かを判定する。これにより、マーカ検出システムは、カラー画像及び近赤外画像から物体検出用の第１反射領域及び第２反射領域の面積比が第１色領域及び第２色領域の面積比と異なるマーカを高精度に検出することができる。

また、本実施形態に係るマーカ検出システムにおいて、画像処理装置７は、照明部１３から照射された近赤外光により第１反射領域が膨張することを考慮してマーカの検出を行う。これにより、近赤外画像では第１反射領域１１１の膨張を考慮した第１反射領域と第２反射領域との位置関係情報１５１に基づいてマーカの検出を行い、カラー画像では第１色領域１０１と第２色領域１０２の位置関係情報１５１に基づいてマーカの検出を行うことで、近赤外画像における第１反射領域１１１の膨張により第２反射領域１１２が実際より小さく写ることの影響を抑制することができるため、カラー画像及び近赤外画像から物体検出用のマーカを高精度に検出することができる。

また、本実施形態に係るマーカ検出システムにおいて、マーカ１０は、は、第１反射領域１１１及び第２反射領域１１２の面積比を第１色領域１０１及び第２色領域１０２の面積比と異ならせ、第１反射領域１１１を第２反射領域１１２より小さく、且つ、第１色領域１０１と第２色領域１０２とを略等しい大きさに構成される。このような構成により、本実施形態に係るマーカ検出システムは、近赤外画像において第１反射領域１１１の膨張による第２反射領域１１２の侵食の影響が抑制されるためマーカ１０を高精度に検出できるとともに、カラー画像においても同程度の大きさの２種の色領域から高精度にマーカ１０を検出可能である。また、近赤外画像およびカラー画像に写るマーカ１０が低解像度であっても精度よくマーカ１０を検出可能なため、マーカ１０の検出可能距離（撮影部１１からマーカ１０までの距離）を大きくすることができ、またマーカ１０の小型化による美観の向上を図れる。

＜第１変形例＞
第１変形例では、マーカ検出システムは、位置関係情報１５１の内、第１色領域１０１及び第２色領域１０２の位置関係を示す情報を色領域情報として使用し、第１反射領域１１１及び第２反射領域１１２の位置関係を示す情報を反射領域情報として使用する。

図８は、第１変形例におけるマーカ検出処理の動作を示すフローチャートである。昼間モードのマーカ検出処理は、図６のステップＳ２０５で実行され、夜間モードのマーカ検出処理は、図６のステップＳ２０９で実行される。第１変形例は、登録処理が実行されない場合、即ち画像領域情報１５２が設定されていない場合に、マーカを検出する処理を示す。以下、図８を参照しつつ、本変形例による判定処理の動作を説明する。

最初に、領域特定部１６５は、第１特定処理及び第２特定処理の少なくとも一方を実行する（ステップＳ４０１）。領域特定部１６５は、昼間モードの場合、第１特定処理を実行し、夜間モードの場合、第２特定処理を実行する。

第１特定処理において、領域特定部１６５は、画像取得部１６２が取得し制御部１６１が色空間を変換したカラー画像から、色情報１５５に基づいて、第１色画像領域及び第２色画像領域を特定する。例えば、記憶部１５には、色情報１５５として、第１色画像領域の画素が取り得る色相値の第１範囲、及び、第２色画像領域の画素が取り得る色相値の第２範囲が記憶される。その場合、領域特定部１６５は、第１範囲内の色相値を有する画素をカラー画像から抽出する。領域特定部１６５は、抽出した抽出画素の内、相互に隣接する抽出画素を画像領域別にグループ化（ラベリング）し、グループ化した抽出画素により構成される領域を第１色画像領域として特定する。領域特定部１６５は、第２範囲内の色相値を有する画素についても同様に抽出及びグループ化し、グループ化した抽出画素により構成される領域を第２色画像領域として特定する。

第２特定処理において、領域特定部１６５は、画像取得部１６２が取得し制御部１６１が色空間を変換した近赤外画像から、輝度情報１５６に基づいて、第１反射画像領域及び第２反射画像領域を特定する。例えば、記憶部１５には、輝度情報１５６として、第１反射画像領域の画素が取り得る輝度値の第１範囲、及び、第２反射画像領域の画素が取り得る輝度値の第２範囲が記憶される。その場合、領域特定部１６５は、第１範囲内の輝度値を有する画素を近赤外画像から抽出する。領域特定部１６５は、抽出した抽出画素の内、相互に隣接する抽出画素を画像領域別にグループ化（ラベリング）し、グループ化した抽出画素により構成される領域を第１反射画像領域として特定する。領域特定部１６５は、第２範囲内の輝度値を有する画素についても同様に抽出及びグループ化し、グループ化した抽出画素により構成される領域を第２輝度画像領域として特定する。

次に、領域特定部１６５は、第１画像領域及び第２画像領域が特定されたか否かを判定する（ステップＳ４０２）。第１画像領域及び第２画像領域の少なくとも一方が特定されなかった場合、一連の処理を終了し、図６のステップＳ２１０に進む。

第１画像領域及び第２画像領域の両方が特定された場合、判定部１６６は、第１判定処理及び第２判定処理の少なくとも一方を実行する（ステップＳ４０３）。判定部１６６は、昼間モードの場合、第１判定処理を実行し、夜間モードの場合、第２判定処理を実行する。

第１判定処理において、判定部１６６は、第１特定処理で特定した第１色画像領域及び第２色画像領域の位置関係と位置関係情報１５１に示される位置関係とに基づき、マーカの色特徴との類似性を判定する。例えば、判定部１６６は、第２色画像領域が第１色画像領域の下部に隣接し、第１色画像領域の面積と第２色画像領域の面積が略等しいか（例えば各領域の画素数の比が０．９〜１．１の範囲にあるか）否かを判定する。

第２判定処理において、判定部１６６は、第２特定処理で特定した第１反射画像領域及び第２反射画像領域の位置関係と位置関係情報１５１に示される位置関係とに基づき、マーカの輝度特徴との類似性を判定する。例えば、判定部１６６は、第２反射画像領域が第１反射画像領域の下部に隣接し、第１反射領域１１１に対して垂直方向に約３倍且つ水平方向に等しい長さの長方形状を有しているか（例えば、垂直方向における第１反射画像領域の最大画素数に対する第２反射画像領域の最大画素数の比が２．８５〜３．１５の範囲にあり且つ水平方向における第１反射画像領域の最大画素数に対する第２反射画像領域の最大画素数の比が０．９〜１．１の範囲にあるか）否かを判定する。なお第１反射画像領域及び第２反射画像領域の位置関係が位置関係情報１５１に示される位置関係に対応するか否かを判定する際、第１反射領域１１１及び第２反射領域１１２の位置関係情報１５１として、前記撮影画像に撮影された実際のマーカの前記第１反射領域１１１を拡大した拡大反射領域及び前記第２反射領域１１２を縮小した縮小反射領域の位置関係を用いて判定を行っても良い。

次に、判定部１６６は、第１判定処理又は第２判定処理による判定結果に基づいて、マーカ１０が撮影画像内に含まれるか否かを判定する（ステップＳ４０４）。例えば、昼間モードの場合、判定部１６６は、第２色画像領域が第１色画像領域の下部に隣接し、第１色画像領域の面積と第２色画像領域の面積が略等しいという判定結果の場合、第１色画像領域と第２色画像領域とがマーカ１０の色特徴と類似していると判定し、マーカ１０が撮影画像内に含まれると判定する（ステップＳ４０５）。判定部１６６は、その他の判定結果の場合、マーカ１０が撮影画像内に含まれないと判定する（ステップＳ４０６）。例えば、夜間モードの場合、判定部１６６は、第２反射画像領域が第１反射画像領域の下部に隣接し、第１反射領域１１１に対して垂直方向に約３倍且つ水平方向に等しい長さの長方形状を有しているという判定結果の場合、第１反射画像領域と第２反射画像領域とがマーカ１０の輝度特徴と類似していると判定し、マーカ１０が撮影画像内に含まれると判定する（ステップＳ４０５）。判定部１６６は、その他の判定結果の場合、マーカ１０が撮影画像内に含まれないと判定する（ステップＳ４０６）。ステップＳ４０５及びＳ４０６の処理の後に、制御部１６１は、処理をステップＳ４０１に進める。

第１変形例に係るマーカ検出システムによれば、近赤外画像及びカラー画像から物体検出用のマーカを高精度に検出することができることに加えて、色情報又は輝度情報に基づいて第１画像領域及び第２画像領域を特定するので、登録処理を実行することなくマーカを検出することができる。

＜第２変形例＞
第２変形例においても、第１変形例と同様に、マーカ検出システムは、位置関係情報１５１の内、第１色領域１０１及び第２色領域１０２の位置関係を示す情報を色領域情報として使用し、第１反射領域１１１及び第２反射領域１１２の位置関係を示す情報を反射領域情報として使用する。

図９は、第２変形例におけるマーカ検出処理の動作を示すフローチャートである。昼間モードのマーカ検出処理は、図６のステップＳ２０５で実行され、夜間モードのマーカ検出処理は、図６のステップＳ２０９で実行される。第２変形例は、登録処理が実行されない場合、即ち画像領域情報１５２が設定されていない場合に、マーカを検出する処理を示す。以下、図９を参照しつつ、本変形例による判定処理の動作を説明する。

最初に、領域特定部１６５は、第１特定処理及び第２特定処理の少なくとも一方を実行する（ステップＳ５０１）。領域特定部１６５は、昼間モードの場合、第１特定処理を実行し、夜間モードの場合、第２特定処理を実行する。

第１特定処理において、領域特定部１６５は、画像取得部１６２が取得し制御部１６１が色空間を変換したカラー画像から、色情報１５５に基づいて、第１色画像領域を特定する。領域特定部１６５は、特定した第１色画像領域と位置関係情報１５１に示される第１色領域及び第２色領域の位置関係とに基づいて第２色画像領域を特定する。例えば、記憶部１５には、色情報１５５として、第１色画像領域の画素が取り得る色相値の第１範囲が記憶される。その場合、領域特定部１６５は、第１範囲内の色相値を有する画素をカラー画像から抽出する。領域特定部１６５は、抽出した抽出画素の内、相互に隣接する抽出画素を画像領域別にグループ化（ラベリング）し、グループ化した抽出画素により構成される領域を第１色画像領域として特定する。次に、領域特定部１６５は、特定した第１色画像領域の下部に隣接し、垂直方向及び水平方向の画素数が第１色画像領域の垂直方向及び水平方向の画素数と同一である画像領域を第２色画像領域として特定する。つまり、第１特定処理は、色情報１５５及び色領域情報に基づいて、第１色領域１０１の色値を有する第１の領域と前記位置関係を有する第２の領域を特定する。

第２特定処理において、領域特定部１６５は、画像取得部１６２が取得し制御部１６１が色空間を変換した近赤外画像から、輝度情報１５６に基づいて、第１反射領域１１１に相当する第１反射画像領域を特定する。領域特定部１６５は、特定した第１反射画像領域と位置関係情報１５１に示される第１反射領域及び第２反射領域の位置関係とに基づいて第２反射領域１１２に相当する第２反射画像領域を特定する。例えば、記憶部１５には、輝度情報１５６として、第１反射画像領域の画素が取り得る輝度値の第１範囲が記憶される。その場合、領域特定部１６５は、第１範囲内の輝度値を有する画素を近赤外画像から抽出する。領域特定部１６５は、抽出した抽出画素の内、相互に隣接する抽出画素を画像領域別にグループ化（ラベリング）し、グループ化した抽出画素により構成される領域を第１反射画像領域として特定する。次に、領域特定部１６５は、特定した第１反射画像領域の下部に隣接し、垂直方向の画素数が第１反射画像領域の画素数の３倍であり且つ水平方向の画素数が第１反射画像領域の画素数と同一である画像領域を第２反射画像領域として特定する。つまり、第２特定処理は、輝度情報１５６及び反射領域情報に基づいて、第１反射領域１１１の輝度値を有する第３の領域と前記位置関係を有する第４の領域を特定する。なお特定した第１反射画像領域と位置関係情報１５１から第２反射画像領域を特定する際、第１反射領域１１１及び第２反射領域１１２の位置関係情報１５１として、前記撮影画像に撮影された実際のマーカの前記第１反射領域１１１を拡大した拡大反射領域及び前記第２反射領域１１２を縮小した縮小反射領域の位置関係を用いて判定を行っても良い。

次に、領域特定部１６５は、第１画像領域及び第２画像領域が特定されたか否かを判定する（ステップＳ５０２）。第１画像領域及び第２画像領域の少なくとも一方が特定されなかった場合、一連の処理を終了し、図６のステップＳ２１０に進む。

第１画像領域及び第２画像領域の両方が特定された場合、判定部１６６は、第１判定処理及び第２判定処理の少なくとも一方を実行する（ステップＳ５０３）。判定部１６６は、昼間モードの場合、第１判定処理を実行し、夜間モードの場合、第２判定処理を実行する。

第１判定処理において、領域特定部１６５は、第１特定処理で特定した第２色画像領域内の画素の色値と色情報１５５とに基づき、マーカの色特徴との類似性を判定する。例えば、記憶部１５には、色情報１５５として、第２色相値、第２色画像領域の画素が取り得る色相値の第１範囲、及び、第２色画像領域内の画素の第１最低割合が記憶されている。この場合、判定部１６６は、第２色画像領域内の全画素のうち、第２色相値に対して第１範囲に含まれる色相値を有する画素の割合が第１最低割合以上であるか否かを判定する。

第２判定処理において、領域特定部１６５は、第２特定処理で特定した第２反射画像領域内の画素の輝度値と輝度情報１５６とに基づき、マーカの輝度特徴との類似性を判定する。例えば、記憶部１５には、輝度情報１５６として、第２反射画像領域の画素が取り得る輝度値の第２範囲、及び、第２反射画像領域内における第２色相値を有する画素の第２最低割合が記憶されている。この場合、判定部１６６は、第２反射画像領域内の全画素のうち、第２範囲に含まれる輝度値を有する画素の割合が第２最低割合以上であるか否かを判定する。

次に、判定部１６６は、第１判定処理又は第２判定処理による判定結果に基づいて、マーカ１０が撮影画像内に含まれるか否かを判定する（ステップＳ５０４）。例えば、昼間モードの場合、判定部１６６は、第２色画像領域内の全画素のうち、第１範囲に含まれる色相値を有する画素の割合が第１最低割合以上であるという判定結果の場合、第１色画像領域と第２色画像領域とがマーカ１０の色特徴と類似していると判定し、マーカ１０が撮影画像内に含まれると判定する（ステップＳ５０５）。判定部１６６は、その他の判定結果の場合、マーカ１０が撮影画像内に含まれないと判定する（ステップＳ５０６）。例えば、夜間モードの場合、判定部１６６は、第２反射画像領域内の全画素のうち、第２範囲に含まれる輝度値を有する画素の割合が第２最低割合以上であるという判定結果の場合、第１反射画像領域と第２反射画像領域とがマーカ１０の輝度特徴と類似していると判定し、マーカ１０が撮影画像内に含まれると判定する（ステップＳ５０５）。判定部１６６は、その他の判定結果の場合、マーカ１０が撮影画像内に含まれないと判定する（ステップＳ５０６）。ステップＳ５０５及びＳ５０６の処理の後に、制御部１６１は、処理をステップＳ５０１に進める。

第２変形例に係るマーカ検出システムによれば、近赤外画像及びカラー画像から物体検出用のマーカを高精度に検出することができることに加えて、色情報又は輝度情報に基づいて第１画像領域を特定し、色領域情報又は反射領域情報、及び色情報又は輝度情報に基づいて第２画像領域を特定するので、登録処理を実行することなくマーカを検出することができる。

＜第３変形例＞
図１０は、マーカ２０の模式図である。マーカ１０とは異なり、マーカ２０は、第１色部材２２１及び第２色部材２２２に加えて、第３色部材２２３及び第４色部材２２４を有する。第３色部材２２３及び第４色部材２２４の色は、第１色部材２２１及び第２色部材２２２のいずれの色とも異なる。マーカ２０は、第３色部材２２３に貼付された第１反射部材２３１と、第４色部材２２４に貼付された、第１反射部材２３１より赤外光の反射率が低い第２反射部材２３２をさらに有する。第１色部材２２１及び第２色部材２２２には、近赤外光の反射部材は貼付されていない。マーカ２０の表面は、第１色部材２２１に対応する第１色領域２０１、第２色部材２２２に対応する第２色領域２０２、第１反射部材２３１に対応する第１反射領域２１１及び第２反射部材２３２に対応する第２反射領域２１２で構成される。

第３変形例に係るマーカ検出システムによっても、近赤外画像及びカラー画像から物体検出用のマーカを高精度に検出することができる。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されない。例えば、マーカ１０及び２０において、第１反射部材１３１に代えて表面の一部に光が再帰反射する性質を有する再帰反射部材１４１を配置し、第２反射部材１３２に代えて光が再帰反射しない非再帰反射部材１４２を配置してもよい。これにより、マーカ１０又は２０において、第１反射領域１１１に代えて再帰反射領域が構成され、第２反射領域１１２に代えて非再帰反射領域が構成される。この場合、照明部１３は、赤外ＬＥＤを用いて近赤外光を照射するものに限定されない。照明部１３は、撮影部１１の２次元検出器が検出可能な波長帯の光を照射すればよく、例えば、白色ＬＥＤなどを用いて可視光を照射してもよい。これにより、近赤外画像を使用しなくてもカラー画像のみで昼でも夜でもマーカを精度良く検出することができる。

また、上記実施例のマーカ１０は、第１色領域、第２色領域、第１反射領域、第２反射領域で占められている例を示してきたが、各領域同士の間に多少の隙間があっても良い。例えば、マーカに縁があるものや、色領域同士の間に隙間があるものでも良い。

また、マーカ１０の第２反射領域１１２の近赤外光の反射率は、０％であってもよい。即ち、第２反射領域１１２は、照射された近赤外光のすべてを吸収してもよい。

また、マーカ１０及び２０は、監視対象物と一体化して扱われるものであれば標識、シール等でもよく、監視対象物に所定の色が付された部分であってもよい。

また、制御部１６１は、画像処理装置７とは別の撮影装置に備えられた撮影部に監視画像を生成させ、画像取得部１６２は、通信部１４を介して撮影装置から監視画像を取得してもよい。

また、設定部１６３は、カラー画像で撮像できる程度に周囲の環境が明るい場合は、照明部１３を用いずに、消灯近赤外光画像とカラー画像を用いて第１反射画像領域を検出してもよい。消灯近赤外光画像において、第１反射画像領域は、環境光に含まれる近赤外光の反射成分を多く含んで撮影されるため、第１反射画像領域の輝度値は他の領域よりも高くなる。したがって、消灯近赤外光画像とカラー画像の第１反射画像領域における輝度差は、他の領域における輝度差より大きくなる。そこで、領域特定部１６５は、消灯近赤外光画像とカラー画像との間で対応する各画素の輝度差を算出し、輝度差が所定の閾値以上となる画素を抽出し、抽出した画素をグループ化した領域を第１反射画像領域の候補領域として検出する。

また、画像処理装置７は、図４の登録処理を事前に実行せずに、図６の判定処理を実行する度に、判定処理の直前に実行してもよい。

また、領域特定部１６５及び判定部１６６は、昼間モードにおいてさらに近赤外画像に対してステップＳ２０６〜Ｓ２０９の処理を実行してもよい。この場合、判定部１６６は、カラー画像及び近赤外画像の少なくとも一方でマーカが含まれていないと判定された場合に、マーカが存在しないと判定する。また、判定部１６６は、カラー画像の判定に用いた各画素の色相値が色情報１５５に示される色値に合致する充足度合い、及び、近赤外画像の判定に用いた各画素の輝度値が輝度情報１５６に示される色値に合致する充足度合いを数値化してもよい。例えば、カラー画像の判定において、記憶部１５には、色情報１５５として、第１色画像領域の画素が取り得る色相値の第１範囲が記憶されている。この場合、判定部１６６は、第１色画像領域内の全画素のうち、第１範囲に含まれる色相値を有する画素の割合を充足度合い（又は合致度など）として算出する。また、近赤外画像の判定において、記憶部１５には、輝度情報１５６として、第１反射画像領域の画素が取り得る輝度値の第１範囲が記憶されている。この場合、判定部１６６は、第１反射画像領域内の全画素のうち、第１範囲に含まれる輝度値を有する画素の割合を充足度合いとして算出する。判定部１６６は、これらの数値の合計が閾値以上であるか否かによりマーカ画像領域にマーカが含まれているか否かを判定する。

また、判定部１６６は、カラー画像についてマーカの検出処理を実行する場合、ＨＳＬ色空間に変換する前のＲＧＢ色空間の色値を用いてマーカ画像領域にマーカが含まれるか否かを判定してもよい。また、判定部１６６は、カラー画像についてマーカの検出処理を実行する場合、色相値に代えて彩度値又は明度値について、又は、これらの値の２つ以上の組み合わせについて、色情報１５５に示される条件を判定してもよい。

また、判定部１６６は、ステップＳ２０１で明るさ検出部１６４が検出した明るさを示す値が第１閾値より大きい第２閾値以上である場合、近赤外画像を用いてマーカが撮影画像に含まれるか否かを判定してもよい。可視光の強度が極端に強く撮影画像に白とびが発生する場合には、カラー画像による色の判定が適切に行われないため、近赤外画像を用いることによりマーカが撮影画像に含まれるか否かを適切に判断することができる。

また、画像処理装置７は、撮影画像を撮影した撮影装置とマーカ１０又は２０との距離を取得する距離取得部１６７をさらに備え、取得した距離が所定の閾値以上離れている場合、近赤外画像を用いてマーカが撮影画像に含まれるか否かを判定してもよい。撮影装置とマーカ１０又は２０との距離が遠くなると、２次元検出器上でマーカに割り当てられる素子の数が少なくなり、１つの素子がマーカの色とマーカが貼付された物体の色とを検出することがある。これにより、色を適切に検出することが困難になるため、近赤外画像を用いてマーカが撮影画像に含まれるか否かを判定する。例えば、マーカが４色から構成される場合、所定の閾値は、６ｍである。なお、距離取得部１６７は、タッチパネル等の不図示の入力部から入力される値を取得する、又は、撮影画像を解析して取得する等の方法により距離を取得する。距離取得部１６７は、撮影画像を解析する場合、マーカの貼付された物体の実サイズ、物体の画像上でのサイズ及び撮影装置の焦点距離等に基づいて、公知の手法により距離を取得する。

以上のように、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１ 警備システム（マーカ検出システム） ７ 画像処理装置 １５ 記憶部 １０１ 第１色領域 １０２ 第２色領域 １１１ 第１反射領域 １１２ 第２反射領域 １５１ 位置関係情報 １５３ 色画像領域情報 １５４ 反射画像領域情報 １５５ 色情報 １５６ 輝度情報 １６２ 画像取得部 １６５ 領域特定部 １６６ 判定部 １６４ 明るさ検出部 １６７ 距離取得部

Claims (7)

1. マーカと、
   前記マーカが撮影画像に含まれるか否かを判定する画像処理装置と、を備え、
   前記マーカは、
   所定の色を有する第１色領域、前記第１色領域と異なる色を有する第２色領域、近赤外光を反射する第１反射領域、及び、前記第１反射領域より反射率が低い第２反射領域を表面に有し、
   前記第１反射領域の面積は、前記第２反射領域の面積より小さく、
   前記第１反射領域と前記第２反射領域との面積比は、前記第１色領域と前記第２色領域との面積比とは異ならせ、
   前記画像処理装置は、
   予め、前記第１色領域及び前記第２色領域に相当する前記撮影画像上の第１色画像領域及び第２色画像領域の位置を示す色領域情報、前記第１反射領域及び前記第２反射領域に相当する前記撮影画像上の第１反射画像領域及び第２反射画像領域の位置を示す反射領域情報、前記第１色領域及び前記第２色領域に対応する色値に関する色情報、及び、前記第１反射領域及び前記第２反射領域に対応する輝度値に関する輝度情報を記憶する記憶部と、
   前記撮影画像として、カラー画像及び近赤外画像を取得する画像取得部と、
   前記取得したカラー画像において前記色領域情報にて特定される前記第１色画像領域及び前記第２色画像領域に対応する領域の色値と前記色情報とに基づき前記マーカの色特徴との類似性を判定する第１判定処理、及び、前記取得した近赤外画像において前記反射領域情報にて特定される前記第１反射画像領域及び第２反射画像領域に対応する領域の輝度値と前記輝度情報とに基づき前記マーカの輝度特徴との類似性を判定する第２判定処理の少なくとも一方の判定結果に基づいて、前記マーカが前記撮影画像内に含まれるか否かを判定する判定部と、を備える、
   ことを特徴とするマーカ検出システム。
2. 前記反射領域情報における前記第１反射画像領域は、前記撮影画像の画角に対する実際の前記第１反射領域よりも大きく、前記第２反射画像領域は、前記撮影画像の画角に対する実際の前記第２反射領域よりも小さい、請求項１に記載のマーカ検出システム。
3. マーカと、
   前記マーカが撮影画像に含まれるか否かを判定する画像処理装置と、を備え、
   前記マーカは、
   所定の色を有する第１色領域、前記第１色領域と異なる色を有する第２色領域、近赤外光を反射する第１反射領域、及び、前記第１反射領域より反射率が低い第２反射領域を表面に有し、
   前記第１反射領域の面積は、前記第２反射領域の面積より小さく、
   前記第１反射領域と前記第２反射領域との面積比は、前記第１色領域と前記第２色領域との面積比とは異ならせ、
   前記画像処理装置は、
   予め、前記第１色領域及び前記第２色領域に対応する色値に関する色情報、前記第１反射領域及び前記第２反射領域に対応する輝度値に関する輝度情報、前記第１色領域及び前記第２色領域の位置関係を示す色領域情報、前記第１反射領域及び前記第２反射領域の位置関係を示す反射領域情報を記憶する記憶部と、
   前記撮影画像としてカラー画像及び近赤外画像を取得する画像取得部と、
   前記取得したカラー画像において前記色情報にて特定される前記第１色領域の色値を有する領域と前記第２色領域の色値を有する領域との位置関係および前記色領域情報に示される位置関係とに基づき前記マーカの色特徴との類似性を判定する第１判定処理、及び、前記取得した近赤外画像において前記輝度情報にて特定される前記第１反射領域の輝度値を有する領域と前記第２反射領域の輝度値を有する領域との位置関係および前記反射領域情報に示される位置関係に基づき前記マーカの色特徴との類似性を判定する第２判定処理の少なくとも一方の判定結果に基づいて、前記マーカが前記撮影画像内に含まれるか否かを判定する判定部と、を備える、
   ことを特徴とするマーカ検出システム。
4. マーカと、
   前記マーカが撮影画像に含まれるか否かを判定する画像処理装置と、を備え、
   前記マーカは、
   所定の色を有する第１色領域、前記第１色領域と異なる色を有する第２色領域、近赤外光を反射する第１反射領域、及び、前記第１反射領域より反射率が低い第２反射領域を表面に有し、
   前記第１反射領域の面積は、前記第２反射領域の面積より小さく、
   前記第１反射領域と前記第２反射領域との面積比は、前記第１色領域と前記第２色領域との面積比とは異ならせ、
   前記画像処理装置は、
   予め、前記第１色領域及び前記第２色領域に対応する色値に関する色情報、前記第１反射領域及び前記第２反射領域に対応する輝度値に関する輝度情報、前記第１色領域及び前記第２色領域の位置関係を示す色領域情報、前記第１反射領域及び前記第２反射領域の位置関係を示す反射領域情報を記憶する記憶部と、
   前記撮影画像としてカラー画像及び近赤外画像を取得する画像取得部と、
   前記色情報及び前記色領域情報に基づき、前記取得したカラー画像において前記第１色領域の色値を有する第１の領域および当該第１の領域と前記位置関係を有する第２の領域を特定し、前記輝度情報及び前記反射領域情報に基づき、前記取得した近赤外画像において前記第１反射領域の輝度値を有する第３の領域および当該第１の領域と前記位置関係を有する第４の領域を特定する領域特定部と、
   前記カラー画像において前記第２の領域の色値と前記色情報とに基づき前記マーカの色特徴との類似性を判定する第１判定処理、及び、前記取得した近赤外画像において第２の領域の輝度値と前記輝度情報とに基づき前記マーカの輝度特徴との類似性を判定する第２判定処理の少なくとも一方の判定結果に基づいて、前記マーカが前記撮影画像内に含まれるか否かを判定する判定部と、を備える、
   ことを特徴とするマーカ検出システム。
5. 前記反射領域情報は、前記第１反射領域及び前記第２反射領域の大きさを示す情報を含み、前記第１反射領域の大きさは、前記撮影画像上の実際の前記第１反射領域の面積よりも大きく、前記第２反射領域の大きさは、前記撮影画像上の実際の前記第２反射領域の面積よりも小さい、請求項３又は４に記載のマーカ検出システム。
6. 前記画像処理装置は、
   前記マーカが撮影される撮影環境の明るさを検出する明るさ検出部をさらに備え、
   前記検出した明るさを示す値が第１閾値未満である場合、前記近赤外画像を用いて前記マーカが前記撮影画像に含まれるか否かを判定し、
   前記検出した明るさを示す値が前記第１閾値以上第２閾値未満である場合、前記カラー画像を用いて前記マーカが前記撮影画像に含まれるか否かを判定し、
   前記検出した明るさを示す値が前記第２閾値以上である場合、前記近赤外画像を用いて前記マーカが前記撮影画像に含まれるか否かを判定する、請求項１〜５のいずれか一項に記載のマーカ検出システム。
7. 前記画像処理装置は、
   前記撮影画像を撮影した撮影装置と前記マーカとの距離を取得する距離取得部をさらに備え、
   前記取得した距離が所定の閾値以上離れている場合、前記近赤外画像を用いて前記マーカが前記撮影画像に含まれるか否かを判定する、請求項１〜６のいずれか一項に記載のマーカ検出システム。