JP2019179017A - マーカ及びマーカ検出システム - Google Patents

Abstract

【課題】近赤外画像及びカラー画像からマーカを高精度に検出することができる物体検出用のマーカ及びそのマーカを有するマーカ検出システムを提供する。【解決手段】物体９に貼付され、撮影装置が撮影した近赤外画像及びカラー画像に基づいて検出される物体検出用のマーカ１０であって、マーカ１０の表面は、第１色領域１０１および第１色領域１０１と色が異なる第２色領域１０２で構成され、表面の一部領域は近赤外光を反射する性質を有する第１反射領域１１１であり、表面の一部領域以外の領域は第１反射領域１１１より反射率が低い第２反射領域１１２であり、第１反射領域１１１の面積は、第２反射領域１１２の面積よりも小さく、第１色領域１０１の面積及び第２色領域１０２の面積は、それぞれ第１反射領域１１１の面積よりも大きく且つ第２反射領域１１２の面積よりも小さい。【選択図】図２

Description

本発明は、監視対象である物体に貼付するマーカ及びマーカ検出システムに関する。

監視対象である物体にマーカを貼付し、そのマーカを貼付した物体を撮影した画像における光学的な特徴に基づいてマーカの有無を判定することにより、物体の有無を判定するシステムが存在する。

例えば、特許文献１には、近赤外光の反射領域と吸収領域とを有するマーカを貼付した重要物に近赤外光を照射し、近赤外カメラによって撮像した近赤外画像から反射領域及び吸収領域を検出してマーカの有無を判定することにより、重要物監視を行うシステムが記載されている。また、特許文献２には、物体に貼付され異なる複数の色が着色されたマーカにおいて、可視カメラにて撮影したカラー画像の色相差からマーカの有無を判定し、その判定結果から物体の三次元座標を計測するシステムが記載されている。

特開平１１−２７２９６５号公報 特開２００９−１３９１９７号公報

ところで、近赤外カメラを用いてマーカを撮影した場合、近赤外光を反射した反射領域が高輝度に検出されるが、得られた画像上の高輝度領域は実際のマーカの反射領域より膨張して大きく写る膨張現象が生じる。よって、特許文献１のシステムのように、反射領域と吸収領域が略等しい面積のマーカでは画像上の吸収領域の部分が狭くなり、高精度にマーカを検出できないおそれがある。この問題は、カメラの解像度が低いほど顕著に生じる。

また、近年では可視カメラと近赤外カメラとを昼夜で切替えて動作する兼用カメラも存在し、特許文献１及び特許文献２のシステムでは、可視カメラと近赤外カメラの双方に対して高精度なマーカ検出を行うことができない。そこで、一つのマーカにて近赤外画像だけでなくカラー画像からもマーカを高精度に検出することができ、昼夜問わず重要物を監視することができる物体検出用のマーカ及びそのマーカを有するマーカ検出システムが求められている。

本発明の目的は、近赤外画像及びカラー画像からマーカを高精度に検出することができる物体検出用のマーカ及びそのマーカを有するマーカ検出システムを提供することにある。

かかる課題を解決するため本発明は、物体に貼付され、撮影装置が撮影した近赤外画像及びカラー画像に基づいて検出される物体検出用のマーカであって、マーカの表面は、第１色領域および前記第１色領域と色が異なる第２色領域で構成され、前記表面の一部領域は近赤外光を反射する性質を有する第１反射領域であり、前記表面の一部領域以外の領域は第１反射領域より反射率が低い第２反射領域であり、第１反射領域の面積は、第２反射領域の面積よりも小さく、第１色領域の面積及び第２色領域の面積は、それぞれ第１反射領域の面積よりも大きく且つ第２反射領域の面積よりも小さい、マーカを提供する。

このマーカにおいて、第１反射領域は、第１色領域及び第２色領域の少なくとも一方に重畳し、マーカの輪郭に接する位置にあることが好適である。

このマーカにおいて、第２反射領域は、第１反射率の領域と前記第１反射率より低い第２反射率の領域とからなり、第２反射率の領域は、第１反射率の領域を挟んで第１反射領域と離間する位置に配置されることが好適である。

このマーカにおいて、第１色領域の面積と第２色領域の面積とは等しいことが好適である。

このマーカにおいて、第１色領域及び第２色領域のそれぞれは、色が異なる複数の色領域から構成されることが好適である。

本発明は、上述したいずれかのマーカと、撮影装置がマーカを撮影したカラー画像における、マーカの第１色領域に対応する領域の色と第２色領域に対応する領域の色に基づいて、前記カラー画像にマーカが存在するか否かを判定する、又は、撮影装置がマーカを撮影した近赤外画像における、マーカの第１反射領域に対応する領域の輝度と第２反射領域に対応する領域の輝度に基づいて、前記近赤外画像にマーカが存在するか否かを判定する判定装置と、を備えるマーカ検出システムを提供する。

本発明は、物体に貼付され、撮影装置が撮影した画像に基づいて検出される物体検出用のマーカであって、マーカの表面は、第１色領域と、前記第１色領域とは異なる色を有する第２色領域とから構成され、前記表面の一部領域は光が再帰反射する性質を有する再帰反射領域であり、前記表面の一部領域以外の領域は光が再帰反射しない性質を有する非再帰反射領域であり、再帰反射領域の面積は、非再帰反射領域の面積よりも小さく、第１色領域の面積及び第２色領域の面積は、それぞれ再帰反射領域の面積よりも大きく且つ非再帰反射領域の面積よりも小さい、マーカを提供する。

本発明は、上述したいずれかのマーカと、撮影装置がマーカを撮影したカラー画像における、マーカの第１色領域に対応する領域の色と第２色領域に対応する領域の色に基づいて、前記カラー画像にマーカが存在するか否かを判定する、又は、撮影装置がマーカを撮影した近赤外画像における、マーカの第１反射領域に対応する領域の輝度と第２反射領域に対応する領域の輝度に基づいて、前記近赤外画像にマーカが存在するか否かを判定する判定装置と、を備えるマーカ検出システムを提供する。

本発明に係る物体検出用のマーカ及びそのマーカを有するマーカ検出システムにより、近赤外画像及びカラー画像からマーカを高精度に検出することができる。

警備システム１の全体システム構成を示す図である。 （ａ）はマーカ１０の模式図であり、（ｂ）及び（ｃ）はマーカ１０の構成部材を示す図である。 判定装置７の機能ブロック図である。 登録処理の動作を示すフローチャートである。 （ａ）〜（ｃ）は各監視画像について説明するための模式図であり、（ｄ）は各画像領域について説明するための図である。 判定処理の動作を示すフローチャートである。 （ａ）〜（ｃ）はマーカの変形例を示す図である。 （ａ）及び（ｂ）はマーカの他の変形例を示す図である。

以下、本発明を適用したマーカの実施の形態について図を参照しつつ説明する。

図１は、本発明を適用したマーカ検出システムの一例である警備システム１の全体システム構成を示す図である。図１に示すように、警備システム１は、店舗、オフィス、マンション、倉庫、家屋等の各監視対象物件２に設置される警備装置３と、インターネットや公衆電話回線などの通信網４を介して各警備装置３と接続される警備センタ装置５とを有する。また、各警備装置３には、監視対象物件２に設置された金庫等の監視対象物９が無くなった又は移動されたなどの異常を、監視対象物９を含む監視場所を撮影した監視画像に基づいて検出するための１以上の判定装置７が接続される。

警備装置３は、構内ＬＡＮなどを介して接続された判定装置７からアラーム信号を受信すると、そのアラーム信号と、警備装置３、監視対象物９又は異常を検出した判定装置７の識別信号とを警備センタ装置５へ送信する。そのために、警備装置３は、判定装置７と通信するための通信インタフェースと、警備センタ装置５と通信するための通信インタフェースと、それらを制御するための制御ユニットを有する。

警備センタ装置５は、いわゆるコンピュータで構成され、通信網４を介して警備装置３と通信するための通信インタフェースと、液晶ディスプレイなどの表示装置とを備える。警備センタ装置５は、警備装置３から通信網４を介してアラーム信号を受信すると、そのアラーム信号に対応する監視対象物９及び検出された異常の内容を表示装置を通じて監視員に報知し、異常時の監視画像を表示する。監視員は、報知された異常の内容、及び、表示された監視画像を確認することにより、監視対象物件２を監視する。

監視対象物９である物体には、被写体の一例であるシール等のマーカ１０が貼付され、マーカ１０には、外光、監視場所に配置された光源からの色味の強い（色味を有する）光等の環境光が照射され得る。

図２（ａ）は、マーカ１０の模式図である。マーカ１０は、相互に色が異なる複数の色部材をつなぎ合わせた上に、相互に近赤外光の反射率が異なる複数の反射部材を重ね合わせることにより、形成される。

図２（ｂ）は、複数の色部材について説明するための模式図である。図２（ｂ）に示すように、マーカ１０は、複数の色部材として、第１色（例えば黄色）を有する第１色部材１２１及び第１色と異なる第２色（例えば青色）を有する第２色部材１２２を有する。マーカ１０の表面は、第１色部材１２１に対応する第１色領域１０１および第２色部材１２２に対応する第２色領域１０２で構成される。第１色領域１０１は、第２色領域１０２の上側に配置される。なお、第１色部材１２１及び第２色部材１２２は、第１色及び第２色を有するカラーシートが貼付されても良いし、第１色及び第２色の塗料が着色されてもよい。

図２（ｃ）は、複数の反射部材について説明するための模式図である。図２（ｃ）に示すように、マーカ１０は、複数の反射部材として、近赤外光を反射する性質を有する第１反射部材１３１及び第１反射部材１３１より反射率が低い第２反射部材１３２を有する。第１反射部材１３１は、第Ｘ反射率（例えば９０％）を有し、第２反射部材１３２は、第１反射率より低い第Ｙ反射率（例えば５％）を有する。例えば、第１反射部材１３１として、再帰性反射材などの近赤外光を反射する近赤外光反射シートが用いられ、第２反射部材１３２として、近赤外光を吸収する近赤外光吸収シートが用いられる。なお、第１反射部材１３１及び第２反射部材１３２として、他の部材が用いられてもよい。マーカ１０の表面は、第１反射部材１３１に対応する第１反射領域１１１および第２反射部材１３２に対応する第２反射領域１１２で構成される。第１反射領域１１１は、第２反射領域１１２の上側に配置される。

図２（ｂ）の第１色領域１０１及び第２色領域１０２と図２（ｃ）の第１反射領域１１１及び第２反射領域１１２とを重ね合わせたマーカが図２（ａ）のマーカ１０であり、マーカの表面は第１色領域１０１及び第２色領域１０２で構成され、さらに表面の一部の領域（第１色領域１０１の一部の領域）は第１反射領域１１１からなり、表面の一部以外の領域（第１色領域１０１に重畳された第１反射領域１１１以外の第１色領域１０１と第２色領域１０２の領域）は第２反射領域１１２からなる。

第１反射領域１１１及び第２反射領域１１２の面積比は、第１色領域１０１及び第２色領域１０２の面積比とは異なるように構成されている。具体的には、第１色領域１０１の面積と第２色領域１０２の面積は、略同一であり、一方、第１反射領域１１１の面積は、第２反射領域１１２の面積よりも小さく構成されている。また、第１色領域１０１の面積と第２色領域１０２の面積は、それぞれ第１反射領域１１１の面積よりも大きく且つ第２反射領域１１２の面積よりも小さい。なお、図２（ａ）のマーカ１０のように、第１反射領域１１１はマーカ１０の輪郭に接する位置に配置されている。また、第１色領域１０１及び第２色領域１０２の面積が略同一である範囲は、例えば第１色領域１０１の面積は第２色領域１０２の面積の０．９倍〜１．１倍の範囲である。

なお、第１反射領域１１１には、近赤外光反射部材として近赤外光反射フィルムが貼付される代わりに、近赤外光を大きく反射する塗料が塗布されてもよい。同様に、第２反射領域１１２には、近赤外光吸収部材として近赤外光吸収フィルムが貼付される代わりに、近赤外光を大きく吸収する塗料が塗布されてもよい。

なお、マーカ１０の形状、第１色領域１０１、第２色領域１０２、第１反射領域１１１第２反射領域１１２の形状は図２（ａ）のような矩形ではなく、円形又は三角形等でもよい。例えば、マーカ１０が円形の場合、マーカ１０の中心部分に円形状の第１色部材１２１と、その周囲にドーナツ形状の第２色部材１２２が設けられ、且つ、マーカ１０の半円より小さい弓形の第１反射部材１３１はマーカ１０の円弧に沿って配置し、その他の領域に第２反射部材１３２を設ける。また、上記円形のマーカ１０において第１反射部材１３１と第２反射部材１３２が配置される位置は、マーカ１０の中心部分に円形状（第１色部材１２１と第２色部材１２２に跨る円形）の第２反射部材１３２が配置され、その周囲にドーナツ形状の第１反射部材１３１が配置されても良いし、またマーカ１０の第１色部材１２１の内側に第１色部材１２１よりも小さい面積（反射光による膨張の影響が生じない大きさ）で第１反射部材１３１が配置され、その周囲にドーナツ形状の第２反射部材１３２が配置されても良い。または、マーカ１０には、中心部分の三角形状の第１色部材１２１と、その周囲の、第１色部材１２１に対応する形状の穴を有する三角形状の第２色部材１２２が設けられ、且つ、第１色部材１２１及び第２色部材１２２に配置される三角形状の第２反射部材１３２と、その周囲の、第２反射部材１３２に対応する形状の穴を有する三角形状の第２反射部材１３２が設けられる。なお、上記に示したように、マーカ１０の形状と、各領域の形状が一致しなくても良い。これらの部材により、第１色領域１０１、第２色領域１０２、第１反射領域１１１及び第２反射領域１１２が構成される。

また、マーカ１０の色は青・黄色以外でも良いが、カラー画像上での色の属性を表す値の差が顕著であるものが好ましい。例えばＨＳＬ色空間のＨ値即ち色相値を用いる場合、各色は第１色部材１２１の色の色相値と第２色部材１２２の色の色相差が１８０度に近くなるように選択されることが好ましい。同様に、マーカ１０の表面が３色以上の色で構成される場合、各色は、その色相値が０〜３６０度の間で等間隔に並ぶように選択されることが好ましい。なお、第１色部材１２１の色の色相値と第２色部材１２２の色の色相差が０度に近くなるような選択にならなければ、どのような色を用いてもよい。

次に、判定装置７の詳細について説明する。図３に、判定装置７の機能ブロック図を示す。図３に示すように、判定装置７は、撮影部１１と、照度センサ１２と、照明部１３と、通信部１４と、記憶部１５と、信号処理部１６とを有する。

撮影部１１は、ＣＣＤなど、可視光及び近赤外光に感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に監視場所の像を結像する結像光学系などで構成される。撮影部１１は、一定の時間間隔（例えば１／５秒）にて撮影を行う。その結像光学系は、挿抜可能な赤外線カットフィルタ（以下、ＩＲカットフィルタという）を有する。昼間モードでは、ＩＲカットフィルタは２次元検出器の光路内に挿入され、カラー画像が撮影される。一方、夜間モードでは、ＩＲカットフィルタは光路外へ外され、近赤外光画像が撮影される。

撮影部１１は、信号処理部１６が設定する二つの撮影モード（昼間モードと夜間モード）の何れかに従って撮影した監視画像を生成して出力する。

昼間モードは、監視場所が十分に明るいときに使用されることを想定した撮影モードである。撮影部１１は、昼間モードでは、監視場所を可視光で撮影したカラー画像を監視画像として生成する。一方、夜間モードは、監視場所が暗く、可視光で撮影しても監視場所内の詳細を判別できないときに使用されることを想定した撮影モードである。

撮影部１１は、夜間モードでは、照明部１３が監視場所に近赤外光を照射した状態で撮影した点灯近赤外光画像と、照明部１３が監視場所に近赤外光を照射していない状態で撮影した消灯近赤外光画像とを監視画像として生成する。以下では、点灯近赤外光画像及び消灯近赤外光画像をまとめて近赤外光画像と称する場合がある。

カラー画像は、画素ごとの可視光の強度を表す画像であり、具体的には、カラー画像は、画素ごとに赤色成分の強度を表すＲ値と、緑色成分の強度を表すＧ値と、青色成分の強度を表すＢ値とからなるＲＧＢ色空間の色値を有する。一方、近赤外光画像は、少なくとも画素ごとの近赤外光の強度を表す画像である。例えば、近赤外光画像は、ＩＲカットフィルタが光路外へ外された状態でＣＣＤが近赤外光を検出した結果として得られた、近赤外光の強度である。なお、色値とは、ＲＧＢ色空間におけるＲ、Ｇ又はＢの値、ＨＳＬ色空間におけるＨ、Ｓ又はＬの値などの、各色空間におけるいずれかの要素を示す値である。また、近赤外光画像は、少なくとも画素ごとの近赤外光の強度を表す輝度値を有する画像である。

なお、撮影部１１は、積層型構造を有する有機薄膜へ加える電圧を変えることにより光電変換器の感度波長域を制御する方式、撮影ごとに調整された別個の２次元検出器及び結像光学系を切り替えて用いる方式等、ＩＲカットフィルタの挿抜以外の公知の様々な方式により、カラー画像及び近赤外光画像を取得してもよい。撮影部１１で取得された監視画像は、信号処理部１６へ送られる。また、撮影部１１は、判定装置７とは別の撮影装置に備えられ、マーカ１０を撮像したカラー画像及び近赤外光画像を判定装置７へ送信してもよい。

照度センサ１２は、撮影部１１の動作中、監視場所の照度（明るさ）を逐次検出し、検出した照度を示す照度信号を信号処理部１６へ出力する。照度信号は、撮影モードの切り替え判定に使用される。照度センサ１２として、公知の様々な照度センサを使用できる。なお、照度センサ１２は省略され、信号処理部１６が監視画像の画素の値により監視場所の照度を推定してもよい。

照明部１３は、複数の赤外ＬＥＤなどを有する。撮影モードが夜間モードである場合、照明部１３は点灯と消灯を切り替えるように制御される。照明部１３は、点灯時、監視場所に向けて近赤外光を照射する。一方、撮影モードが昼間モードである場合、照明部１３は常時消灯される。

通信部１４は、判定装置７と警備装置３との間で構内ＬＡＮなどの通信ネットワークを介して各種の信号を送受信する通信インタフェース回路を有する。通信部１４は、信号処理部１６が生成したアラーム信号を警備装置３に送信する。また、通信部１４は、信号処理部１６が異常であると判定した監視画像を警備センタ装置５に送信して表示させるために警備装置３に送信する。

記憶部１５は、半導体メモリ、磁気ディスク（ＨＤＤ）などの記録媒体を有する。記憶部１５は、判定装置７を制御するためのプログラム及び各種データ（色情報１５０、位置関係情報１５１及びマーカ情報１５２等）を記憶し、信号処理部１６との間でこれらの情報を入出力する。プログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から記憶部１５にインストールされてもよい。

色情報１５０は、第１色領域１０１の色の属性値である第１色属性値及び第２色領域１０２の色の属性値である第２色属性値を示す。例えば、第１色属性値及び第２色属性値として、ＨＳＬ色空間のＨ値即ち色相値が用いられる。例えば第１色が黄色である場合、第１色属性値は黄色を示す５０度であり、第２色が青色である場合、第２色属性値は青色を示す２３０度である。

位置関係情報１５１は、マーカ１０におけるマーカ全体に対応する領域、第１色領域１０１、第２色領域１０２、第１反射領域１１１及び第２反射領域１１２の位置関係を示す。位置関係情報１５１には、マーカ１０、第１色領域１０１、第２色領域１０２、第１反射領域１１１及び第２反射領域１１２の縦横比、サイズ及び面積等の大きさ、形状（長方形、丸形、三角形など）等の情報が示される。さらに、位置関係情報１５１には、マーカ１０、第１色領域１０１、第２色領域１０２、第１反射領域１１１及び第２反射領域１１２の相対位置及び相対範囲等の配置パターンが示される。位置関係情報１５１は、監視画像において、第１反射領域１１１に対応する画像領域から、マーカ１０全体に対応する画像領域及び第１色領域１０１、第２色領域１０２及び第２反射領域１１２のそれぞれに対応する画像領域を特定するために使用される。

なお、監視画像において、第１色領域１０１に対応する画像領域を第１色画像領域と称し、第２色領域１０２に対応する画像領域を第２色画像領域と称する。また、監視画像において、第１反射領域１１１に対応する画像領域を第１反射画像領域と称し、第２反射領域１１２に対応する画像領域を第２反射画像領域と称する。また、マーカ１０全体に対応する画像領域をマーカ画像領域と称する。

図２（ａ）に示すマーカ１０の場合、例えば位置関係情報１５１には、第２色領域１０２が第１色領域１０１の下部に隣接し且つ第１色領域１０１と略等しい面積及び形状を有していることが記憶される。さらに、位置関係情報１５１には、第２反射領域１１２が、第１反射領域１１１の下部に隣接し、第１反射領域１１１に対して上下方向に約３倍且つ左右方向に等しい長さの長方形状を有し、第１反射領域１１１の約３倍の面積を有していることが記憶される。

さらに、位置関係情報１５１には、マーカ１０の表面全体が、第１色領域１０１及び第２色領域１０２で構成され、且つ、第１色領域１０１の一部の領域は第１反射領域からなり、第１色領域１０１の第１反射領域以外の領域及び第２色領域は第２反射領域からなることが記憶される。

また、マーカの形状が円形である場合、位置関係情報１５１には、第２色領域が第１色領域の周囲に隣接し且つ第１色領域の２倍の半径を有する円を外周とするドーナツ形状を有していることが記憶される。さらに、位置関係情報１５１には、第２反射領域が第１反射領域の周囲に隣接し且つ第１反射領域の３倍の半径を有する円を外周とするドーナツ形状を有していることが記憶される。さらに、位置関係情報１５１には、マーカの表面全体が、第１色領域及び第２色領域で構成され、且つ、第１反射領域及び第２反射領域で構成されていることが記憶される。位置関係情報１５１は、監視対象物９に貼付されたマーカ１０の形状に応じて管理者等により予め設定される。

マーカ情報１５２として、監視対象物９に貼付されたマーカ１０ごとに、マーカ識別子、マーカ画像領域情報、第１反射画像領域情報、第２反射画像領域情報、第１色画像領域情報及び第２色画像領域情報が対応付けて記憶される。マーカ画像領域情報、第１反射画像領域情報、第２反射画像領域情報、第１色画像領域情報及び第２色画像領域情報をまとめて画像領域情報と称する場合がある。各画像領域情報は、それぞれマーカ画像領域、第１反射画像領域、第２反射画像領域、第１色画像領域及び第２色画像領域の監視画像における位置及び範囲を示し、例えば、各画像領域を構成する画素の座標値の集合として表現される。画像領域情報は、登録処理で設定され、監視画像において各マーカ１０に対応する画像領域及び各マーカ１０の各領域に対応する画像領域を特定するために使用される。

信号処理部１６は、組み込み型のマイクロプロセッサユニットと、ＲＯＭ、ＲＡＭなどのメモリと、その周辺回路とを有し、判定装置７の各種信号処理を実行する。そのために、信号処理部１６は、マイクロプロセッサユニット上で動作するプログラムの機能モジュールとして実装される制御手段１６１、領域検出手段１６２、及び判定手段１６３を有する。

図４は、判定装置７による画像領域情報の登録処理の動作を示すフローチャートである。以下、図４を参照しつつ、本実施形態による登録処理の動作を説明する。登録処理は、不図示の設定端末を用いて管理者等による設定登録操作が行われたときに実行される。

まず、制御手段１６１は、撮影モードを夜間モードに設定し、照明部１３を点灯させて撮影部１１に点灯近赤外光画像を生成させ、その後、照明部１３を消灯させて撮影部１１に消灯近赤外光画像を生成させる（ステップＳ１０１）。次に、制御手段１６１は、撮影部１１が出力した近赤外光画像を取得する（ステップＳ１０２）。

図５（ａ）は監視場所を撮影したカラー画像の一例を示し、図５（ｂ）は点灯近赤外光画像の一例を示し、図５（ｃ）は消灯近赤外光画像の一例を示す。監視場所１０４には複数の監視対象物９が配置され、各監視対象物９にはそれぞれマーカ１０が貼付されており、カラー画像４００、点灯近赤外光画像４１０及び消灯近赤外光画像４２０には、複数のマーカ１０が撮影されている。以下の例では、監視場所に複数のマーカが含まれるが、マーカは一つでもよい。

次に、領域検出手段１６２は、制御手段１６１が取得した点灯近赤外光画像と消灯近赤外光画像とを比較することにより、近赤外光画像において第１反射画像領域を検出する（ステップＳ１０３）。領域検出手段１６２は、点灯近赤外光画像と消灯近赤外光画像との間で対応する各画素の輝度差を算出して輝度差が所定の閾値以上となる画素を抽出する。領域検出手段１６２は、抽出した抽出画素の内、相互に隣接する抽出画素をグループ化（ラベリング）し、グループ化した抽出画素により構成される各領域を候補領域とする。領域検出手段１６２は、各候補領域の縦横比及びサイズ（総画素数）を算出する。領域検出手段１６２は、縦横比が予め設定された第１範囲内であり且つサイズが予め設定された第２範囲内である候補領域を第１反射画像領域として検出する。

なお、領域検出手段１６２は、さらに各候補領域の形状を算出し、算出した形状が位置関係情報１５１に記憶されている形状と略一致する場合に限り、各候補領域を第１反射画像領域として検出してもよい。領域検出手段１６２は、撮影部１１の結像光学系のレンズによる歪等による変形を撮影部１１のカメラパラメータを用いて補正して領域を検出してもよい。

領域検出手段１６２は、検出した第１反射画像領域の位置及び範囲をマーカ情報１５２の第１反射画像領域情報として記憶部１５に記憶させる。

図５（ｂ）に示すように、各マーカ１０の第１反射領域１１１は近赤外光を反射するため、点灯近赤外光画像４１０内の各第１反射領域１１１に対応する領域では輝度が高くなっている。一方、各第２反射領域１１２では近赤外光の反射率が低いため、点灯近赤外光画像４１０内の各第２反射領域１１２では輝度が低くなっている。また、図５（ｃ）に示すように、近赤外光が照射されていない場合は、消灯近赤外光画像４２０内の各第１反射領域１１１に対応する領域では、他の領域と同様に、輝度が低くなっている。したがって、領域検出手段１６２は、点灯近赤外光画像４１０と消灯近赤外光画像４２０との間で対応する各画素の輝度差が所定の閾値以上となる画素を抽出することにより、第１反射領域１１１に対応する第１反射画像領域を精度良く検出することができる。

次に、領域検出手段１６２は、近赤外光画像から第１反射画像領域を検出したか否かを判定する（ステップＳ１０４）。第１反射画像領域を検出しなかった場合、領域検出手段１６２は、画像領域情報の登録に失敗したことを設定端末に通知し（ステップＳ１０５）、一連のステップを終了する。一方、第１反射画像領域を検出した場合、領域検出手段１６２は、検出した第１反射画像領域毎に、即ちマーカ１０毎に、ステップＳ１０６及びＳ１０７の処理を実行する。

まず、領域検出手段１６２は、近赤外光画像における第１反射画像領域の位置と位置関係情報１５１に示される第１反射領域１１１の大きさ及びマーカ全体に対する第１反射領域１１１の配置パターンとに基づいて、マーカ画像領域の位置及び範囲を特定する（ステップＳ１０６）。なお、領域検出手段１６２は、特定したマーカ画像領域に対応する（同一の座標を有する）領域をマーカ情報１５２のマーカ画像領域として記憶部１５に記憶させる。

次に、領域検出手段１６２は、特定したマーカ画像領域の位置と位置関係情報１５１に示されるマーカ全体に占める各領域の大きさ及び各領域の配置パターンとに基づいて、第１色画像領域、第２色画像領域及び第２反射画像領域のそれぞれの位置及び範囲を特定する（ステップＳ１０７）。なお、領域検出手段１６２は、特定した第１色画像領域、第２色画像領域、第１反射画像領域及び第２反射画像領域のそれぞれに対応する（同一の座標を有するように互いの画像領域が重なり合ってもよい）領域を、それぞれマーカ情報１５２の第１色画像領域、第２色画像領域及び第２反射画像領域として記憶部１５に記憶させる。

領域検出手段１６２は、全ての第１反射画像領域についてステップＳ１０６及びＳ１０７の処理を実行すると、登録処理を終了する。

なお、マーカ１０の貼付位置や撮影部１１の設置条件によっては位置関係情報１５１をそのまま適用できない場合が想定されるため、例えば、検出された第１反射画像領域の周囲から第２反射画像領域を探索して、マーカ画像領域を特定してもよい。

図５（ｄ）は、第１反射画像領域、第２反射画像領域、第１色画像領域、第２色画像領域及びマーカ画像領域について説明するための図である。

図５（ｄ）は、第２色領域１０２が第１色領域１０１の下部に隣接し且つ第１色領域１０１と略等しい面積及び形状を有している例を示す。また、図５（ｄ）は、第２反射領域１１２が第１反射領域１１１の下部に隣接し、第１反射領域１１１に対して上下方向に約３倍、左右方向に等しい長さの長方形状であり、且つ第１反射領域１１１の約３倍の面積を有している例を示す。

図６は、判定装置７による監視対象物の有無の判定処理の動作を示すフローチャートである。以下、図６を参照しつつ、本実施形態による判定処理の動作を説明する。判定処理は、画像が生成される毎に実行される。

まず、制御手段１６１は、照度センサ１２から照度信号を受け取り、受け取った照度信号に基づいて、監視場所が明状態であるか否かを判定する（ステップＳ２０１）。制御手段１６１は、照度信号に示される照度が閾値以上である状態が一定期間（例えば３０秒間）継続すれば明状態と判定し、閾値未満である状態が一定期間継続すれば暗状態と判定する。この閾値は、例えば、監視場所内においてマーカ１０の第１色領域１０１及び第２色領域１０２をカラー画像にて識別可能な最低照度に設定され、撮影部１１に使用される２次元検出器の感度に応じて予め設定される。なお、制御手段１６１は、現在時刻が昼間であるか夜間であるかにより、明状態か暗状態かを判定してもよい。

制御手段１６１は、明状態と判定した場合、撮影モードを昼間モードに設定し、照明部１３を消灯させて撮影部１１にカラー画像を生成させる（ステップＳ２０２）。次に、制御手段１６１は、撮影部１１が出力したカラー画像を取得する（ステップＳ２０３）。次に、制御手段１６１は、取得したカラー画像のＲＧＢ色空間の色値をＨＳＬ色空間の色値に変換する（ステップＳ２０４）。ステップＳ２０５の処理は、色空間が変換されたカラー画像内のマーカ画像領域毎に実行される。

判定手段１６３は、カラー画像内のマーカ画像領域においてマーカの検出処理を実行する（ステップＳ２０５）。判定手段１６３は、昼間モードでは、カラー画像内のマーカ画像領域の特徴量に基づいて、当該マーカ画像領域にマーカが含まれるか否かを判定する。例えば、特徴量は画素の色値の特徴量とすることができる。具体的には、判定手段１６３は、第１色画像領域内の各画素の色相値のうち第１色属性値に最も近い色相値と第１色属性値とが予め設定された範囲内であるか否か、及び、第２色画像領域内の各画素の色相値のうち第２色属性値に最も近い色相値と第２色属性値とが予め設定された範囲内であるか否かを判定する。判定手段１６３は、いずれの色相値も予め設定された範囲内である場合、即ち、マーカ画像領域に第１色領域１０１及び第２色領域１０２が含まれる場合は、マーカ画像領域にマーカが含まれると判定する。判定手段１６３は、少なくともいずれか一方の色相値が予め設定された範囲内でない場合、即ち、マーカ画像領域に第１色領域１０１及び第２色領域１０２の少なくとも一方が含まれない場合は、マーカ画像領域にマーカが含まれないと判定する。

一方、制御手段１６１は、ステップＳ２０１で暗状態と判定した場合、撮影モードを夜間モードに設定する（ステップＳ２０６）。制御手段１６１は、照明部１３を点灯させて撮影部１１に点灯近赤外光画像を生成させ、その後、照明部１３を消灯させて撮影部１１に消灯近赤外光画像を生成させる。次に、制御手段１６１は、撮影部１１が出力した近赤外光画像を取得する（ステップＳ２０７）。次に、制御手段１６１は、取得した近赤外画像のＲＧＢ色空間の色値をＹＵＶ色空間の色値に変換する（ステップＳ２０８）。ステップＳ２０９の処理は、色空間が変換された近赤外画像内のマーカ画像領域毎に実行される。

判定手段１６３は、近赤外光画像内のマーカ画像領域においてマーカの検出処理を実行する（ステップＳ２０９）。判定手段１６３は、夜間モードでは、近赤外光画像内のマーカ画像領域の特徴量に基づいて、マーカ画像領域にマーカが含まれるか否かを判定する。例えば、特徴量は画素の輝度値の特徴量とすることができる。

近赤外光が第１反射領域１１１で乱反射することにより、第１反射画像領域に隣接する第２反射画像領域内の領域においても画素の輝度値が増大する。つまり近赤外画像において、第２反射領域１１２の第１反射領域１１１に接する部分が影響を受けて明るくなる。判定手段１６３は、その範囲の輝度値を後述する輝度値の処理に反映させるために、第１反射画像領域を拡大反射画像領域に拡大し、第２反射画像領域を縮小反射画像領域に縮小する。第１反射画像領域を拡大する範囲及び第２反射画像領域を縮小する範囲は、事前の実験等により決定され、記憶部１５に設定される。次に、判定手段１６３は、近赤外点灯画像において、拡大反射画像領域の中で最も高い輝度値ＹＨを有する画素Ｈと、縮小反射画像領域の中で最も低い輝度値ＹＬを有する画素Ｌとを検出する。次に、判定手段１６３は、輝度値ＹＨとＹＬとの輝度差、及び、輝度値ＹＨと近赤外消灯画像における画素Ｈの輝度値ＹＨ´との輝度差を算出する。判定手段１６３は、両輝度差が何れも閾値以上である場合、即ち、マーカ画像領域に第１反射領域１１１及び第２反射領域１１２が含まれる場合は、マーカ画像領域にマーカが含まれると判定する。判定手段１６３は、何れかが閾値未満である場合、即ちマーカ画像領域に第１反射領域１１１及び第２反射領域１１２の少なくとも一方が含まれない場合は、マーカ画像領域にマーカが含まれないと判定する。

次に、判定手段１６３は、登録処理でマーカ情報１５２に記憶された全マーカ画像領域にてマーカが含まれていると判定されたか否かを判定する（ステップＳ２１０）。全マーカ画像領域にてマーカが含まれていると判定された場合、判定手段１６３は、監視対象物が正常状態であると判定し（ステップＳ２１１）、一連のステップを終了する。一方、何れかのマーカ画像領域にマーカが含まれないと判定した場合、判定手段１６３は、監視対象物が異常状態であると判定し（ステップＳ２１２）、一連のステップを終了する。その場合、判定手段１６３は、所定のアラーム信号を生成し、判定装置７の識別信号及び異常が検出された監視画像を通信部１４を介して警備装置３へ出力する。なお、判定手段１６３は、所定の期間（例えば、３０秒間）の間、異常状態が継続した場合にのみ、アラーム信号等を警備装置３へ出力してもよい。

以上説明してきたように、本発明に係るマーカ１０は、第１反射領域１１１及び第２反射領域１１２の面積比を第１色領域１０１及び第２色領域１０２の面積比と異ならせ、第１反射領域１１１を第２反射領域１１２より小さく、且つ、第１色領域１０１と第２色領域１０２とを略等しい大きさに構成される。このような構成により、近赤外画像において第１反射領域１１１の膨張により第２反射領域１１２が実際より小さく写ることの影響を受けることなくマーカ１０を高精度に検出できるとともに、カラー画像においても同程度の大きさの２種の色領域から高精度にマーカ１０を検出可能である。また、近赤外画像およびカラー画像に写るマーカ１０が低解像度であっても精度よくマーカ１０を検出可能なため、マーカ１０の検出可能距離（撮影部１１からマーカ１０までの距離）を大きくすることができ、またマーカ１０の小型化による美観の向上を図れる。

また、本発明に係るマーカ１０は、第１反射領域１１１と第２反射領域１１２との境界から第２反射領域１１２の端までの最大距離が大きくなるように、第１反射領域１１１がマーカ１０の輪郭に接する位置に配置される。このような構成により、近赤外画像において第１反射領域１１１の膨張による第２反射領域１１２の侵食の影響が抑制され、高精度にマーカ１０を検出することができる。

図７（ａ）〜図７（ｃ）、図８（ａ）及び図８（ｂ）は、マーカの変形例を示す図である。変形例に係るマーカにおいて、実施形態と同一の要素については同一の符号を付し、詳細な説明を省略する。

図７（ａ）に示すように、マーカ２０は、横長の第１色部材１２１と横長の第２色部材１２２を縦方向に並べてつなぎ合わせ、その上に縦長の第１反射部材２３１と縦長の第２反射部材２３２とを横方向に並べて重ね合わせることにより形成されてもよい。その場合、マーカ２０の表面は、上下方向に隣接して配置された第１色領域１０１および第２色領域１０２で構成され、且つ、左右方向に隣接して配置された第１反射領域２１１および第２反射領域２１２で構成される。即ち、第１反射領域２１１および第２反射領域２１２は、それぞれ、第１色領域１０１および第２色領域１０２に跨るように配置される。マーカ２０においても、第１反射領域２１１の面積が第２反射領域２１２の面積よりも小さく、第１色領域１０１の面積及び第２色領域１０２の面積が、それぞれ第１反射領域２１１の面積よりも大きく且つ第２反射領域２１２の面積よりも小さい。したがって、マーカ２０は、近赤外画像及びカラー画像を用いて高精度に検出される。

図７（ｂ）に示すように、マーカ３０は、横長の第１色部材１２１と横長の第２色部材１２２を縦方向に並べてつなぎ合わせ、その上に横長の第１反射部材１３１´と横長の第３反射部材３３１と横長の第４反射部材３３２とを縦方向に並べて重ね合わせることにより形成されてもよい。その場合、マーカ３０の表面は、上下方向に隣接して配置された第１色領域１０１および第２色領域１０２で構成され、且つ、上下方向に隣接して配置された第１反射領域１１１´、第３反射領域３１１及び第４反射領域３１２で構成される。第３反射領域３１１及び第４反射領域３１２は、第２反射領域１１２´を分割した領域であり、近赤外光の反射率は、第１反射領域１１１´が第Ｘ反射率、第３反射領域３１１が第１反射率、第４反射領域３１２が第２反射率であり、第Ｘ反射率よりも第１反射率のほうが反射率は低く、第１反射率よりも第２反射率のほうが反射率は低い。マーカ３０は、第４反射領域３１２が第１反射領域１１１´と離間する位置に配置されるため（第１反射領域１１１´による反射光の影響を第３反射領域３１１が受けるため、第４反射領域３１２は第１反射領域１１１´の反射光の影響を受けない）近赤外光の反射光のより大きな輝度差を得られることにより、近赤外画像を用いてより高精度に検出される。

図７（ｃ）に示すように、マーカ４０は、横長の第１色部材１２１と横長の第２色部材１２２を横方向に並べてつなぎ合わせ、その上に縦長の第１反射部材１３１´と縦長の第３反射部材４３１と縦長の第４反射部材４３２とを横方向に並べて重ね合わせることにより形成されてもよい。その場合、マーカ４０の表面は、上下方向に隣接して配置された第１色領域１０１および第２色領域１０２で構成され、且つ、左右方向に隣接して配置された第１反射領域１１１´´、第３反射領域４１１及び第４反射領域４１２で構成される。第３反射領域４１１及び第４反射領域４１２は、第２反射領域１１２´´を分割した領域であり、近赤外光の反射率は、第１反射領域１１１´´が第Ｘ反射率、第３反射領域４１１が第１反射率、第４反射領域４１２第２反射率であり第Ｘ反射率よりも第１反射率のほうが反射率は低く、第１反射率よりも第２反射率のほうが反射率は低い。マーカ４０は、第４反射領域４１２が第１反射領域１１１´´と離間した位置に配置されるため近赤外光の反射光の大きな輝度差を得られることにより、近赤外画像を用いてより高精度に検出される。

なお、第１色領域１０１及び第２色領域１０２は、それぞれ色が異なる複数の色領域から構成されてもよい。

例えば、図８（ａ）に示すように、図７（ｂ）における第１色部材１２１を、第３色部材５２１と、第３色部材５２１の右側に隣接し且つ色相値が第３色部材５２１と異なる第４色部材５２２から構成される第１色部材１２１´にしてもよい。また、図７（ｂ）における第２色部材１２２を、第５色部材５２３と、第５色部材５２３の右側に隣接し且つ色相値が第５色部材５２３と異なる第６色部材５２４から構成される第２色部材１２２´にしてもよい。

また、図８（ｂ）に示すように、図７（ｃ）における第１色部材１２１を、第３色部材６２１と、第３色部材６２１の右側に隣接し且つ色が第３色部材６２１と異なる第４色部材６２２から構成される第１色部材１２１´´にしてもよい。また、図７（ｃ）における第２色部材１２２を、第５色部材６２３と、第５色部材６２３の右側に隣接し且つ色が第５色部材６２３と異なる第６色部材６２４から構成される第２色部材１２２´´にしてもよい。

図８（ａ）及び図８（ｂ）のようにマーカ１０が４つ以上の色領域を有する場合、そのうち２つの領域の色は、輝度値が異なる色であってもよい。例えば、図８（ａ）に示す第３色領域５０１は白色であり、第５色領域５０３は黒色であってもよい。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されない。例えば、マーカ１０において、第１反射領域に代えて光が再帰反射する性質を有する再帰反射領域を配置し、第２反射領域に代えて光が再帰反射しない非再帰反射領域を配置してもよい。この場合、照明部１３は、赤外ＬＥＤを用いて近赤外光を照射するものに限定されない。照明部１３は、撮影部１１の２次元検出器が検出可能な波長帯の光を照射すればよく、例えば、白色ＬＥＤなどを用いて可視光を照射してもよい。これにより、近赤外画像を使用しなくてもカラー画像のみで昼でも夜でもマーカを精度良く検出することができる。

また、上記実施例のマーカ１０は、第１色領域、第２色領域、第１反射領域、第２反射領域で占められている例を示してきたが、各領域同士の間に多少の隙間があっても良い。例えば、マーカに縁があるものや、色領域同士の間に隙間があるものでも良い。

また、マーカ１０の第２反射領域１１２の近赤外光の反射率は、０％であってもよい。即ち、第２反射領域１１２は、照射された近赤外光のすべてを吸収してもよい。

また、マーカ１０は、監視対象物と一体化して扱われるものであれば標識、シール等でもよく、監視対象物に所定の色が付された部分であってもよい。

また、領域検出手段１６２は、カラー画像で撮像できる程度に周囲の環境が明るい場合は、照明部１３を用いずに、消灯近赤外光画像とカラー画像を用いて第１反射画像領域を検出してもよい。消灯近赤外光画像において、第１反射画像領域は、環境光に含まれる近赤外光の反射成分を多く含んで撮影されるため、第１反射画像領域の輝度値は他の領域よりも高くなる。したがって、消灯近赤外光画像とカラー画像の第１反射画像領域における輝度差は、他の領域における輝度差より大きくなる。そこで、領域検出手段１６２は、消灯近赤外光画像とカラー画像との間で対応する各画素の輝度差を算出し、輝度差が所定の閾値以上となる画素を抽出し、抽出した画素をグループ化した領域を第１反射画像領域の候補領域として検出する。

また、判定装置７は、図４の登録処理を事前に実行せずに、図６の判定処理を実行する度に、判定処理の直前に実行してもよい。

また、判定手段１６３は、第１色画像領域内の各画素の色相値のうち第１色属性値に最も近い色相値と、第２色画像領域内の各画素の色相値のうち第１色属性値から最も離れた色相値との差分を算出してもよい。判定手段１６３は、その差分が予め設定された範囲内である場合はマーカ画像領域にマーカが含まれると判定し、差分が予め設定された範囲内でない場合はマーカ画像領域にマーカが含まれないと判定する。

また、判定手段１６３は、色相値に代えて彩度値、明度値又は輝度値を用いてマーカの検出処理を実行してもよい。または、判定手段１６３は、色相値、彩度値、明度値、輝度値の内の２以上の値を用いてマーカの検出処理を実行してもよい。例えば、図８（ａ）に示す例の場合、判定手段１６３は、第３色領域５０１の輝度値と第５色領域５０３の輝度値との差分を算出するとともに、第４色領域５０２の色相値と第６色領域５０４の色相値との差分を算出する。判定手段１６３は、輝度値の差分が所定の閾値以上であり、且つ、色相値の差分が所定の範囲内である場合、マーカ画像領域にマーカが含まれると判定する。

また、判定手段１６３は、カラー画像についてマーカの検出処理を実行する場合、ＨＳＬ色空間に変換する前のＲＧＢ色空間の色値を用いてマーカ画像領域にマーカが含まれるか否かを判定してもよい。

以上のように、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１ 警備システム（マーカ検出システム） ７ 判定装置 ９ 監視対象物（物体） １０、２０、３０、４０、５０、６０ マーカ １０１、１０１´、１０１´´ 第１色領域 １０２、１０２´、１０２´´ 第２色領域 １１１、１１１´、１１１´´ 第１反射領域 １１２、１１２´、１１２´´ 第２反射領域

Claims (8)

1. 物体に貼付され、撮影装置が撮影した近赤外画像及びカラー画像に基づいて検出される物体検出用のマーカであって、
   前記マーカの表面は、第１色領域および前記第１色領域と色が異なる第２色領域で構成され、
   前記表面の一部領域は近赤外光を反射する性質を有する第１反射領域であり、前記表面の一部領域以外の領域は前記第１反射領域より反射率が低い第２反射領域であり、
   前記第１反射領域の面積は、前記第２反射領域の面積よりも小さく、
   前記第１色領域の面積及び前記第２色領域の面積は、それぞれ前記第１反射領域の面積よりも大きく且つ前記第２反射領域の面積よりも小さい、
   ことを特徴とするマーカ。
2. 前記第１反射領域は、前記第１色領域及び前記第２色領域の少なくとも一方に重畳し、前記マーカの輪郭に接する位置にある、請求項１に記載のマーカ。
3. 前記第２反射領域は、第１反射率の領域と前記第１反射率より低い第２反射率の領域とからなり、
   前記第２反射率の領域は、前記第１反射率の領域を挟んで前記第１反射領域と離間する位置に配置される、請求項１に記載のマーカ。
4. 前記第１色領域の面積と前記第２色領域の面積とは等しい、請求項１〜３のいずれか一項に記載のマーカ。
5. 前記第１色領域及び前記第２色領域のそれぞれは、色が異なる複数の色領域から構成される、請求項１〜４のいずれか一項に記載のマーカ。
6. 請求項１〜５のいずれか一項に記載のマーカと、
   撮影装置が前記マーカを撮影したカラー画像における、前記マーカの前記第１色領域に対応する領域の色と前記第２色領域に対応する領域の色に基づいて、前記カラー画像に前記マーカが存在するか否かを判定する、又は、撮影装置が前記マーカを撮影した近赤外画像における、前記マーカの前記第１反射領域に対応する領域の輝度と前記第２反射領域に対応する領域の輝度に基づいて、前記近赤外画像に前記マーカが存在するか否かを判定する判定装置と、を備える、
   ことを特徴とするマーカ検出システム。
7. 物体に貼付され、撮影装置が撮影した画像に基づいて検出される物体検出用のマーカであって、
   前記マーカの表面は、第１色領域と、前記第１色領域とは異なる色を有する第２色領域とから構成され、
   前記表面の一部領域は光が再帰反射する性質を有する再帰反射領域であり、前記表面の一部領域以外の領域は光が再帰反射しない性質を有する非再帰反射領域であり、
   前記再帰反射領域の面積は、前記非再帰反射領域の面積よりも小さく、
   前記第１色領域の面積及び前記第２色領域の面積は、それぞれ前記再帰反射領域の面積よりも大きく且つ前記非再帰反射領域の面積よりも小さい、ことを特徴とするマーカ。
8. 請求項７に記載のマーカと、
   撮影装置が前記マーカを撮影した画像における、前記マーカの前記第１色領域に対応する領域の色と前記第２色領域に対応する領域の色に基づいて、前記画像に前記マーカが存在するか否かを判定する、又は、前記画像における、前記マーカの前記再帰反射領域に対応する領域の輝度と前記非再帰反射領域に対応する領域の輝度に基づいて、前記画像に前記マーカが存在するか否かを判定する判定装置と、を備える、
   ことを特徴とするマーカ検出システム。