以下、図面を参照して発明を実施するための形態について説明する。
[監視システムの概要]
まず、図1を参照して、本実施形態に係る監視システム1の概要を説明する。
図1は、本実施形態に係る監視システムの一例(監視システム1)の概要を示す図である。
図1に示すように、本実施形態に係る監視システム1は、カメラ10と、監視装置20を含む。
カメラ10(撮像装置の一例)は、例えば、工場や倉庫等の所定の監視空間100の天井や壁等の相対的に高い位置等に取り付けられる。カメラ10は、監視空間100内の所定の監視対象を監視するための画像を撮像し、カメラ10の撮像画像に基づき、監視空間100内の監視対象を監視する機能(以下、「空間監視機能」)を有する所定の外部装置に出力する。監視対象は、例えば、作業者、車両、作業機械(例えば、クレーン、フォークリフト)、出荷待ちの製品等が含まれうる。
また、カメラ10は、例えば、通信ケーブルを通じて監視装置20と通信可能に接続され、監視装置20の制御下で、監視空間100の様子を撮像し、撮像画像を監視装置20に出力する。また、カメラ10は、所定の無線通信(例えば、基地局を末端とする移動体通信網に基づく移動体通信や、WiFi或いはブルートゥース(共に、登録商標)等の近距離通信)によって、監視装置20と通信可能に接続されてもよい。
監視空間100において、カメラ10の撮像範囲には、固定的に複数のマーカ30が設置される。例えば、複数のマーカ30は、監視空間100の壁や柱等の移動しない物体(固定部)に設置される。つまり、カメラ10の撮像画像には、複数のマーカ30が含まれる(つまり、映っている)。
監視装置20(情報処理装置の一例)は、カメラ10の撮像画像に含まれる複数のマーカ30の時間変化をモニタリングすることで、カメラ10の姿勢変化を監視する。以下、監視装置20によるカメラ10の姿勢変化を監視する機能を「カメラ姿勢変化監視機能」と称する場合がある。監視装置20は、監視空間100が存在する建物或いは当該建物の周辺の建物に設置されてもよいし、監視空間100が存在する建物から相対的に遠く離れた遠隔地に設置されてもよい。監視装置20は、例えば、デスクトップ型或いはラップトップ型のコンピュータ端末である。また、監視装置20は、例えば、監視空間100に対応する工場や倉庫等の施設の遠隔に配置されるサーバ装置であってもよい。
尚、監視装置20は、空間監視機能を有していてもよい。つまり、空間監視機能とカメラ姿勢変化監視機能は、異なる装置により実現されてもよいし、共通の装置により実現されてもよい。
[監視システム(監視装置)の構成]
次に、図1に加えて、図2、図3を参照して、本実施形態に係る監視システム1(監視装置)の構成について説明する。
図2は、監視装置20のハードウェア構成の一例を示す図である。図3は、監視システム1の機能構成の一例を示す機能ブロック図である。
監視装置20の機能は、任意のハードウェア、或いは、ハードウェア及びソフトウェアの組み合わせにより実現されてよい。図2Bに示すように、例えば、監視装置20は、ドライブ装置21と、補助記憶装置22と、メモリ装置23と、CPU24と、インタフェース装置25と、表示装置26と、入力装置27を含み、それぞれがバスB2で接続される。
監視装置20の各種機能を実現するプログラムは、例えば、CD−ROM(Compact Disc Read Only Memory)、DVD−ROM(Digital Versatile Disc Read Only Memory)、或いは、USB(Universal Serial Bus)メモリ等の可搬型の記録媒体21Aによって提供される。プログラムが記録された記録媒体21Aが、ドライブ装置21にセットされると、プログラムが記録媒体21Aからドライブ装置21を介して補助記憶装置22にインストールされる。また、プログラムは、通信ネットワークを介して他のコンピュータからダウンロードされ、補助記憶装置22にインストールされてもよい。
補助記憶装置22は、インストールされた各種プログラムを格納すると共に、必要なファイルやデータ等を格納する。
メモリ装置23は、プログラムの起動指示があった場合に、補助記憶装置22からプログラムを読み出して格納する。
CPU24は、メモリ装置23に格納された各種プログラムを実行し、プログラムに従って監視装置20に係る各種機能を実現する。
インタフェース装置25は、通信ネットワーク(例えば、通信ネットワークNW1,NW2)に接続するためのインタフェースとして用いられる。
表示装置26は、例えば、CPU24で実行されるプログラムに従って、GUI(Graphical User Interface)を表示する。
入力装置27は、監視装置20に関する様々な操作指示を監視装置20の作業者や管理者等に入力させるために用いられる。
監視装置20は、例えば、補助記憶装置22にインストールされる一以上のプログラムをCPU24上で実行することにより実現される機能部として、撮像制御部201と、マーカ位置測定部202と、カメラ姿勢変化測定部203と、エラー検出部204を含む。
撮像制御部201は、カメラ10に制御指令を出力し、カメラ10に撮像画像を取得させる。
マーカ位置測定部202は、カメラ10の撮像画像上における複数のマーカ30の位置を測定する。具体的には、マーカ位置測定部202は、カメラ10の撮像画像上におけるマーカ30の所定の代表位置(例えば、形状部の中心位置)を測定する。
カメラ姿勢変化測定部203(姿勢変化測定部の一例)は、マーカ位置測定部202により測定される、カメラ10の撮像画像上における複数のマーカ30の位置の時間変化に基づき、カメラ10の姿勢の変化を測定する。
空間監視機能が監視装置20により実現される場合、カメラ姿勢変化測定部203は、測定結果を空間監視機能に関する構成要素(機能部)に送信する。これにより、空間監視機能に関する構成要素は、測定結果に基づき、カメラ10の撮像画像に基づき監視対象を監視する際のパラメータを補正する必要があるか否かを判断したり、補正の必要がある場合に、補正をしたりすることができる。
また、空間監視機能が監視装置20以外の外部装置により実現される場合、カメラ姿勢変化測定部203は、測定結果を当該外部装置に送信する。これにより、外部装置は、測定結果に基づき、カメラ10の撮像画像に基づき監視対象を監視する際のパラメータを補正する必要があるか否かを判断したり、補正の必要がある場合に、補正をしたりすることができる。
エラー検出部204は、カメラ姿勢変化測定機能に関する所定のエラー(例えば、カメラ10の姿勢変化を測定することができない測定不能エラーや、カメラ10の姿勢変化の測定精度が相対的に低下している測定精度低下エラー等)を検出する。
[マーカの具体例]
次に、図4(図4A、図4B)を参照して、マーカ30の具体例について説明する。
<マーカの第1例>
まず、図4Aを参照して、マーカ30の第1例について説明する。
図4Aは、マーカ30の第1例を示す図である。
図4Aに示すように、マーカ30は、二つのマーカ30A,30Bを含む。つまり、マーカ30は、一組のマーカ30A,30Bにより構成される。以下、本例のマーカ30を便宜的に「マーカセット30」と称する。
マーカ30Aは、形状部30Aaと、背景部30Bbを含む。
形状部30Aaは、マーカセット30(マーカ30A)が被写体としてカメラ10により撮像される撮像画像における画像認識の対象である。形状部30Aaは、例えば、幾何学形状(本例では、4つの正方形の組み合わせ)により構成される。形状部30Aaは、被写体としてカメラ10により撮像される撮像画像上において、背景部30Abとの間で相対的に大きな輝度勾配(輝度差)が生じるように構成される。本例では、相対的に濃い色、つまり、明度の低い色(本例では、黒)で構成される。これにより、形状部30Aaは、相対的に淡い色、つまり、明度の高い色(本例では、白)の背景部30Abとのコントラストによって、被写体としてカメラ10により撮像される撮像画像上で画像認識され易くなる。また、形状部30Aaは、反射具合が相対的に低くなるように構成される。例えば、形状部30Aaは、吸光材、具体的には、吸光性を有する塗料等により形成されてよい。これにより、相対的に照度が高い環境下であっても、カメラ10の撮像画像における形状部30Aaのエッジがぼけてしまうような事態を抑制することができる。つまり、マーカ30Aは、相対的に照度が高い環境下において、画像認識され易く構成される。
尚、形状部30Aaとして組み合わせられる正方形等の幾何学形状の数は、カメラ10
の撮像画像上における画像認識が可能であれば、3つ以下であってもよいし、5つ以上であってもよい。以下、マーカ30B及びマーカ30の第2例の場合についても同様である。
背景部30Abは、画像認識の対象である形状部30Aaの背景を構成する。背景部30Abは、被写体としてカメラ10により撮像される撮像画像上において、形状部30Aaとの間に相対的に大きな輝度勾配(輝度差)が生じるように構成される。本例では、背景部30Abは、相対的に明度の高い色(本例では、白)で構成される。また、背景部30Abは、反射具合が相対的に高くなるように構成される。例えば、形状部30Aaは、乱反射材、具体的には、乱反射性を有する塗料等により形成されてよい。これにより、カメラ10の撮像画像上において、形状部30Aaと背景部30Abとの境界、つまり、形状部30Aaのエッジを明確に見せることができ、形状部30Aaが更に画像認識され易くなる。
マーカ30Bは、マーカ30Aと同様に、形状部30Baと、背景部30Bbを含む。
形状部30Baは、マーカセット30(マーカ30B)が被写体としてカメラ10により撮像される撮像画像における画像認識の対象である。形状部30Baは、マーカ30Aの場合と同様、例えば、幾何学形状(本例では、4つの正方形の組み合わせ)により構成される。形状部30Baは、被写体としてカメラ10により撮像される撮像画像上において、背景部30Bbとの間で相対的に大きな輝度勾配(輝度差)が生じるように構成される。本例では、形状部30Baは、相対的に明度の高い色(本例では、白)で構成される。これにより、形状部30Baは、相対的に明度の低い色(本例では、黒)の背景部30Bbとのコントラストによって、被写体としてカメラ10により撮像される撮像画像上で画像認識され易くなる。また、形状部30Baは、反射具合が相対的に高くなるように構成される。例えば、形状部30Baは、乱反射材、具体的には、乱反射性を有する塗料等により形成されてよい。これにより、相対的に照度が低い環境下であっても、カメラ10の撮像画像における形状部30Aaのエッジを際立たせることができる。つまり、マーカ30Aは、相対的に照度が低い環境下において、画像認識され易く構成される。
背景部30Bbは、画像認識の対象である形状部30Baの背景を構成する。背景部30Bbは、被写体としてカメラ10により撮像される撮像画像上において、形状部30Baとの間に相対的に大きな輝度勾配(輝度差)が生じるように構成される。本例では、背景部30Bbは、相対的に明度の低い色(本例では、黒)で構成される。また、背景部30Bbは、反射具合が相対的に低くなるように構成される。例えば、形状部30Baは、吸光材、具体的には、吸光性を有する塗料等により形成されてよい。これにより、カメラ10の撮像画像上において、形状部30Baと背景部30Bbとの境界、つまり、形状部30Baのエッジを明確に見せることができ、形状部30Baが更に画像認識され易くなる。
このように、本例では、マーカセット30は、反射具合の異なる2つのマーカ30A,30Bにより構成される。つまり、マーカセット30は、相対的に照度が高い環境下でカメラ10により撮像される撮像画像で画像認識され易いマーカ30Aと、相対的に照度が低い環境下でカメラ10により撮像される撮像画像で画像認識され易いマーカ30Bにより構成される。これにより、マーカ30A,30Bを予め規定される相対位置関係で監視空間100の壁や柱等の固定部に設置されることにより、監視空間100の照度環境が大きく変化する状況であっても、マーカ30A,30Bの何れかが画像認識される可能性が高くなる。つまり、マーカ30A,30Bは、監視装置20によるマーカ30A,30Bの画像認識処理の照度環境の変化に関するロバスト性を向上させることができる。
尚、マーカセット30は、相互に反射具合の異なる3以上のマーカを含んでいてもよい。
<マーカの第2例>
続いて、図4Bを参照して、マーカ30の第2例について説明する。
図4Bは、マーカ30の第2例を示す図である。
図4Bに示すように、マーカ30は、形状部30aと、背景部30bと、変化部30cを含む。
形状部30aは、マーカ30が被写体としてカメラ10により撮像される撮像画像における画像認識の対象である。形状部30aは、例えば、幾何学形状(本例では、4つの正方形の組み合わせ)により構成される。形状部30aは、被写体としてカメラ10により撮像される撮像画像上において、背景部30bとの間で相対的に大きな輝度勾配(輝度差)が生じるように構成される。本例では、相対的に明度の低い色(本例では、黒)で構成される。これにより、形状部30aは、相対的に明度の高い色(本例では、白)の背景部30bとのコントラストによって、被写体としてカメラ10により撮像される撮像画像上で画像認識され易くなる。
背景部30bは、画像認識の対象である形状部30aの背景を構成する。背景部30bは、被写体としてカメラ10により撮像される撮像画像上において、形状部30aとの間に相対的に大きな輝度勾配(輝度差)が生じるように構成される。本例では、背景部30bは、相対的に明度の高い色(本例では、白)で構成される。
変化部30cは、マーカ30が被写体としてカメラ10により撮像される撮像画像において、撮像範囲(監視空間100)の照度環境やカメラ10の露光時間等により見え方が変化する構成要素である。本例では、変化部30cは、変化部30c1,30c2を含む。
変化部30c1は、マーカ30の上端部(形状部30aの上)に設けられる。変化部30c1は、形状部30aと同じ色(つまり、黒)の背景上に、左から右に架けて背景部30bの色(つまり、白)から形状部30aの色(つまり、黒)に変化する線形グラデーションを表すグラデーションバーである。
変化部30c2は、マーカ30の下端部(形状部30aの下)に設けられる。変化部30c2は、背景部30bと同じ色(つまり、白)の背景上に、変化部30c1と同様、左から右に架けて背景部30bの色(つまり、白)から形状部30aの色(つまり、黒)に変化する線形グラデーションを表すグラデーションバーである。
尚、変化部30c1,30c2のうちの何れか一方は省略されてもよい。
形状部30aと背景部30bとの間の線形グラデーションを表すグラデーションバーは、撮像範囲の照度環境やカメラ10の露光時間によって、カメラ10の撮像画像上における見え方が変化する。よって、監視装置20(マーカ位置測定部202)は、後述の如く、相互に異なる露光時間の異なる複数の撮像画像ごとに、変化部30c(グラデーションバー)の見え方が、形状部30aの画像認識に適した見え方か否かを判断することができる。
このように、本例では、マーカ30に、カメラ10の露光時間の変化に応じて、カメラ10の撮像画像上における見え方が変化する変化部30cが設けられる。これにより、マーカ30は、相互に露光時間の異なる複数の撮像画像の中でマーカ30の画像認識に適した撮像画像を選択させることができる。よって、マーカ30は、監視装置20によるマーカ30A,30Bの画像認識処理の照度環境の変化に関するロバスト性を向上させることができる。
[カメラの姿勢変化の測定方法の概要]
次に、図5、図6を参照して、カメラ10の姿勢変化の測定方法の概要を説明する。
図5は、監視装置20によるカメラ10の姿勢変化を監視する処理(以下、「姿勢変化監視処理」)の一例を概略的に示すフローチャートである。図6は、カメラ10により取得される、相互に露光時間の異なる撮像画像群(複数の撮像画像)の一例を示す図である。
図5に示すように、ステップS102にて、撮像制御部201は、カメラ10に制御指令を出力し、相互に露光時間の異なる複数の撮像画像(例えば、3枚〜5枚の撮像画像)をカメラ10に撮像させ、ステップS104に進む。
例えば、図6に示すように、カメラ10は、相互に露光時間の異なる3枚の撮像画像610〜630を取得する。これにより、カメラ10は、マーカ30の見え方が異なる撮像画像610〜630を取得できる。
図5に戻り、ステップS104にて、マーカ位置測定部202は、カメラ10により撮像される、相互に異なる露光時間の複数の撮像画像に基づき、撮像画像における複数のマーカ30の位置(つまり、初期位置)を測定する処理(マーカ位置測定処理)を行い、ステップS106に進む。マーカ位置測定処理の詳細は、後述する。
ステップS106にて、マーカ位置測定部202は、測定された複数のマーカ30の位置を初期位置として補助記憶装置22等に保存し(記憶させ)、ステップS108に進む。
ステップS108にて、撮像制御部201は、カメラ10の姿勢変化の測定タイミング(以下、単に「測定タイミング」)が到来したか否かを判定する。測定タイミングは、例えば、毎日或いは所定日ごと等の予め規定された時刻であってよい。撮像制御部201は、測定タイミングが到来していない場合、測定タイミングが到来するまで待機し、測定タイミングが到来した場合、ステップS110に進む。
ステップS110にて、撮像制御部201は、ステップS102と同様、カメラ10に制御指令を出力し、相互に露光時間の異なる複数の撮像画像をカメラ10に撮像させ(図6参照)、ステップS112に進む。
ステップS112にて、マーカ位置測定部202は、カメラ10により撮像される、相互に異なる露光時間の複数の撮像画像に基づき、撮像画像における複数のマーカ30の位置(つまり、現在位置)を測定する処理マーカ位置測定処理を行い、ステップS114に進む。
ステップS114にて、カメラ姿勢変化測定部203は、ステップ112で測定された、撮像画像における複数のマーカ30の現在位置と、ステップS102で測定された(ステップS106で保存された)、撮像画像における複数のマーカ30の初期位置とに基づき、カメラ10の姿勢の変化を測定し、ステップS116に進む。また、カメラ姿勢変化測定部203は、本ステップの処理が過去に実施済みである場合、今回のステップS112で測定された、撮像画像における複数のマーカ30の現在位置と、前回のステップS112で測定された、撮像画像における複数のマーカ30の過去位置とに基づき、カメラ10の姿勢変化を測定してもよい。
ステップS116にて、エラー検出部204は、各種エラーを検出したか否かを判定する。エラー検出部116は、エラーを検出した場合、ステップS118に進み、エラーを検出していない場合、ステップS108に戻る。
ステップS118にて、エラー検出部204は、表示装置26等を通じて、アラートを出力し、今回の処理を終了する。
このように、監視装置20は、エラーが検出されない限り、所定の測定タイミングごとに、カメラ10の姿勢の変化を測定し、カメラ姿勢変化監視機能を実現する。
[マーカ位置測定処理の詳細]
次に、図7〜図9(図9A、図9B)を参照して、マーカ位置測定処理(図5のステップS104,S112)の詳細を説明する。
図7は、監視装置20によるマーカ位置測定処理の一例を概略的に示すフローチャートである。図8は、カメラ10の撮像画像からマーカセット30(マーカ30A,30B)の領域の局所画像(以下、「マーカ領域画像」)を抽出する過程を示す図である。図9A、図9Bは、それぞれ、マーカセット30の位置を測定するための画像(以下、「マーカ位置測定用画像」)取得する方法の第1例及び第2例を説明する図である。
<マーカ位置測定処理の第1例>
まず、図7、図8、図9Aを参照して、マーカ位置測定処理の第1例について説明する。具体的には、上述した図4Aのマーカセット30が採用される場合のマーカ位置測定処理について説明する。
図7に示すように、ステップS202にて、マーカ位置測定部202は、相互に露光時間の異なる撮像画像ごとに、複数のマーカセット30のそれぞれを含むと想定される領域の画像(以下、「マーカ大域画像」)を抽出する。例えば、マーカ位置測定部202は、複数のマーカセット30ごとに予め規定される撮像画像の座標範囲に沿って、マーカ大域画像を抽出する(つまり、切り出す)。複数のマーカセット30の設置場所が既知であるため、撮像画像上の複数のマーカセット30が含まれる大雑把な位置を規定することができるからである。これにより、複数のマーカセット30ごとに、相互に露光時間の異なる複数のマーカ大域画像が取得される。
ステップS204にて、マーカ位置測定部202は、複数のマーカセット30ごとに、形状計測等の既知の方法によって、マーカ大域画像からマーカセット30が略占有する領域の画像(以下、「マーカ領域画像」)を抽出する。このとき、マーカ位置測定部202は、相互に露光時間の異なる複数の画像のそれぞれについて、形状計測等の方法を実施する必要はない。具体的には、マーカ位置測定部202は、マーカ領域画像の抽出に適した一の撮像画像で形状計測等によりマーカ領域画像を抽出し、他の撮像画像については、同じ座標範囲をマーカ領域画像として抽出すればよい。これにより、複数のマーカセットごとに、相互に露光時間の異なる複数のマーカ領域画像が取得される。
例えば、図8に示すように、マーカ位置測定部202は、撮像画像810から予め規定された座標範囲811を切り出すことにより、マーカ大域画像820を抽出する(ステップS202)。そして、マーカ位置測定部202は、形状計測等の方法を適用し、マーカ30(マーカセット30)が略占有する領域821を切り出し、マーカ領域画像830を抽出する(ステップS204)。
図7に戻り、ステップS206にて、マーカ位置測定部202は、複数のマーカ30A及び複数のマーカ30Bごとに、相互に露光時間の異なる複数のマーカ領域画像の中から、マーカ30の位置の測定に最も適したマーカ領域画像(マーカ位置測定用画像)を取得する。具体的には、マーカ位置測定部202は、相互に露光時間の異なる複数のマーカ領域画像ごとに、マーカ30A,30Bの輝度に関する統計情報や形状情報等に基づき、マーカ30A,30Bの撮像画像上における認識し易さを判断するための特徴量を取得し、取得した特徴量に基づき、マーカ位置測定用画像を取得する。
例えば、図9Aに示すように、マーカ位置測定部202は、マーカ30Aの相互に露光時間の異なるマーカ領域画像910,920,930が取得された場合に、それぞれに対応する画像ヒストグラム(輝度ヒストグラム)915,925,935を算出する。そして、マーカ位置測定部202は、画像ヒストグラム915,925,935に基づき、マーカ位置測定用画像を取得する。例えば、マーカ位置測定部202は、ヒストグラムの輝度に対応するx座標と、ピクセル数に対応するy座標との積の和が最小になるヒストグラムに対応するマーカ領域画像をマーカ位置測定用画像として取得してよい。
図7に戻り、ステップS208にて、マーカ位置測定部202は、複数のマーカ30A及び複数のマーカ30Bごとに、取得されたマーカ位置測定用画像に基づき、マーカ30A,30Bの位置を測定する。例えば、マーカ位置測定部202は、マーカ位置測定用画像と、補助記憶装置22等に予め準備されるマーカ30A,30Bの形状を表すデジタルデータ(例えば、CAD(Computer Aided Design)データ)とのパターンマッチングによって、カメラ10の撮像画像(マーカ位置測定用画像)におけるマーカ30A,30Bの形状部30Aa,30Baの中心位置を測定してよい。これにより、マーカ位置測定部202は、より精度良く、マーカ30A,30Bの位置(形状部30Aa,30Baの中心位置)を測定することができる。
尚、上述の図4Aのマーカセット30が用いられる場合、標準的な露光時間で取得された一枚の撮像画像に基づき、マーカ大域画像、マーカ領域画像(マーカ位置測定用画像)が取得されてもよい。マーカセット30には、相互に画像認識がされ易い照度環境が異なる複数のマーカが含まれるため、撮像画像が取得されるタイミングによって、照度環境が大きく変化し得る状況であっても、マーカ位置測定部202は、マーカセット30に含まれる複数のマーカの何れかを適切に認識できる可能性が高く、結果として、マーカセット30の位置を認識することができるからである。
<マーカ位置測定処理の第2例>
続いて、図7、図8、図9Bを参照して、マーカ位置測定処理の第2例について説明する。
図7のステップS202、S204の処理は、上述の第1例の場合と同様であるため、説明を省略する。
ステップS206にて、マーカ位置測定部202は、複数のマーカ30ごとに、相互に露光時間の異なる複数のマーカ領域画像から、マーカ位置測定用としての合成画像を取得(生成)する。
例えば、図9Bに示すように、マーカ位置測定部202は、相互に露光時間が異なるマーカ領域画像940,950,960が取得された場合に、マーカ領域画像940,950,960からHDR(High Dynamic Range)画像970を取得する。これにより、マーカ位置測定部202は、マーカ30の特徴を際立たせることができるため、監視空間100の照度環境が相対的に大きく変化する状況であっても、マーカ30の形状部30a等を相対的に認識し易くなり、マーカ30の位置測定精度を向上させることができる。
マーカ位置測定部202は、相互に露光時間の異なる全てのマーカ領域画像から合成画像を生成してもよいし、相互に露光時間の異なる複数のマーカ領域画像の中から、マーカ30の画像認識に適した、つまり、マーカ30が相対的に画像認識され易い態様で含まれている二以上のマーカ領域画像を抽出し、合成画像を生成してもよい。後者の場合、マーカ位置測定部202は、マーカ30の変化部30cのマーカ領域画像上における見え方に基づき、マーカ30の画像認識に適したマーカ領域画像を抽出する。具体的には、マーカ位置測定部202は、マーカ領域画像上の変化部30cと、画像認識に適した変化部30cの見え方に対応する基準画像データとの比較により、マーカ30の画像認識に適したマーカ領域画像を抽出してよい。
図7に戻り、ステップS208の処理は、上述の第1例の場合と同様であるため、説明を省略する。
尚、上述の図4Bのマーカ30が用いられる場合、マーカ位置測定部202は、HDR画像を生成してもよい。つまり、マーカ位置測定部202は、相互に露光時間の異なる複数のマーカ領域画像の中から選択される、マーカ30の画像認識(つまり、位置の測定)に最も適した撮像画像をそのまま用いて、マーカ30の位置を測定してもよい。
[カメラ姿勢変化測定処理の詳細]
次に、図10を参照して、カメラ姿勢変化測定処理(図5のステップS114)の詳細を説明する。以下、本説明では、図4Aのマーカセット30及び図4Bのマーカを総括的にマーカ30と称し、説明を進める。
図10は、撮像画像上のマーカ30の位置の変化の一例を示す図である。
カメラ姿勢変化測定部203は、複数のマーカ30のうちの二つのマーカ30(以下、対象マーカ)の現在位置及び過去の位置(例えば、図5のステップS104で取得される初期位置或いは前回のステップS112で取得されたマーカ30の位置)に基づき、カメラ10の姿勢の変化を測定する。具体的には、カメラ姿勢変化測定部203は、カメラ10の上下方向の変位(以下、「x変位」)dx、左右方向の変位(以下、「y変位」)dy、ロール方向の回転変位(以下、「ロール変位」)r、ヨー方向の回転変位(以下、「ヨー変位」)yaw、及びピッチング方向の回転変位(以下、「ピッチ変位」)pitchを測定する。
例えば、図10に示すように、カメラ10の撮像画像1000におけて、左上のマーカ30が(x0,y0)の画素座標から(X0,Y0)の画素座標に(左下方向に)変位し、右下のマーカ30が画素座標(x1,y1)から(X1,Y1)の画素座標に(右下方向に)変位している場合、カメラ10のロール変位r、x変位dx、y変位dy、ヨー変位yaw、及びピッチ変位pitchは、次の式(1)〜(5)で表される。
尚、式(4)のpx及び式(5)のpyは、それぞれ、カメラ10の撮像画像の上下方向(縦方向)及び左右方向(横方向)のそれぞれの画素サイズを表す。また、式(4)、(5)のfは、カメラ10のレンズ焦点距離を表す。また、式(1)〜(3)のmは、以下の式(6)で表される。
また、カメラ姿勢変化測定部203は、マーカ30が3以上設置される場合、二つの対象マーカの組み合わせを複数設定し、各組み合わせごとに、カメラ10の姿勢の変化を測定してもよい。この場合、カメラ姿勢変化測定部203は、各組合わせごとの測定結果に統計的処理(例えば、クラスタリング処理、平均値の算出処理、中央値の算出処理等)を施すことで、カメラ10の姿勢の変化を算出してよい。
[本実施形態の作用]
次に、本実施形態に係る監視システム1(監視装置20)及びマーカ(マーカセット)30の作用について説明する。
本実施形態では、カメラ姿勢変化測定部203は、相互に異なる照度環境で相対的に画像認識され易い複数のマーカ(マーカ30A,30B)を含むマーカセット30が固定的に複数設置された撮像範囲を撮像するカメラ10の撮像画像に基づき、カメラ10の撮像画像における複数のマーカセット30の位置の時間変化を測定することにより、カメラ10の姿勢の変化を測定してよい。
これにより、監視装置20は、複数のマーカセット30ごとに、マーカセット30に含まれる複数のマーカの中から撮像画像が取得されたときの撮像範囲の照度環境における画像認識に適したマーカを選択することができる。そのため、監視装置20は、撮像画像の取得タイミングごとに、撮像範囲の照度環境が相対的に大きく変化してしまうような状況であっても、複数のマーカの何れかを認識し、複数のマーカセット30の位置の時間変化により、カメラ10の姿勢変化を測定することができる。よって、監視装置20は、カメラ姿勢変化監視機能の照度変化に関するロバスト性を向上させることができる。
また、本実施形態では、カメラ姿勢変化測定部203は、空間監視機能のためのカメラ10の撮像画像と露光時間の異なる、カメラ10の撮像画像に基づき、複数のマーカセット30の位置の時間変化を測定することにより、カメラ10の姿勢の変化を測定してよい。
これにより、監視装置20は、カメラ姿勢変化監視機能における複数のマーカセット30の画像認識に適した露光時間の撮像画像を用いて、カメラ10の姿勢の変化を測定することできる。よって、監視装置20は、カメラ姿勢変化監視機能の照度変化に対するロバスト性を更に向上させることができる。
また、本実施形態では、カメラ姿勢変化測定部203は、カメラ10により所定のタイミングごとに取得される、相互に露光時間が異なる複数の撮像画像に基づき、カメラ10の撮像画像における複数のマーカセット30の位置の時間変化を測定してよい。
これにより、監視装置20は、相互に露光時間の異なる撮像画像の中から選択される、撮像画像が取得されたタイミングの撮像範囲の照度環境におけるマーカセット30の画像認識に適した撮像画像を用いて、カメラ10の姿勢の変化を測定することができる。よって、監視装置20は、カメラ姿勢変化監視機能の照度変化に対するロバスト性を更に向上させることができる。
また、本実施形態では、マーカ位置測定部202は、カメラ10の撮像画像において、マーカセット30に含まれる複数のマーカ(マーカ30A,30B)のうちの相対的に画像認識され易い一又は二以上のマーカの位置に基づき、マーカセットの位置を測定してよい。
これにより、監視装置20は、具体的に、撮像画像が取得されたタイミングの撮像範囲の照度環境におけるマーカセット30の画像認識に適した撮像画像を用いて、カメラ10の姿勢の変化を測定することができる。
また、本実施形態では、マーカ位置測定部202は、カメラ10の撮像画像において、マーカセット30に含まれる複数のマーカ(マーカ30A,30B)のそれぞれに対応する画像部分のヒストグラムに基づき、相対的に画像認識され易い一又は二以上のマーカを抽出する。そして、マーカ位置測定部202は、カメラ10の撮像画像において、マーカセット30に含まれる複数のマーカから抽出した一又は二以上のマーカの位置に基づき、マーカセットの位置を測定する。
これにより、監視装置20は、相互に露光時間が異なる複数の撮像画像の中から、具体的に、撮像画像が取得されたタイミングの撮像範囲の照度環境におけるマーカセット30の画像認識に適した撮像画像を抽出することができる。
また、本実施形態では、マーカセット30は、相互に反射具合の異なる複数のマーカ(マーカ30A,30B)を含む。
これにより、マーカセット30は、被写体としてカメラ10により撮像された撮像画像内において、設置場所における照度環境の変化に合わせて、画像認識がされ易いマーカを変化させることができる。そのため、マーカセット30は、設置場所の照度環境が相対的に大きく変化する状況であっても、被写体としてカメラ10により撮像された撮像画像内において、画像認識され易くなる。よって、マーカセット30は、カメラ姿勢変化監視機能の照度変化に対するロバスト性を更に向上させることができる。
また、本実施形態では、マーカセット30に含まれる複数のマーカのうちの二つのマーカ(マーカ30A,30B)は、互いに、画像認識の対象の形状部及び形状部の背景を構成する背景部の色が反転している。
これにより、マーカセット30は、具体的に、二つのマーカの相互間の反射具合を異ならせることができる。
また、本実施形態では、マーカセット30に含まれる複数のマーカのうちの二つのマーカ(マーカ30A,30B)は、互いに、画像認識の対象の形状部と、形状部の背景を構成する背景部との間の相対的な反射具合が反転している。
これにより、マーカセット30は、具体的に、二つのマーカの相互間の反射具合を異ならせることができる。
また、本実施形態では、カメラ姿勢変化測定部203は、複数のマーカ30が固定的に設置された撮像範囲を撮像するカメラ10の、所定のタイミングごとに取得される相互に露光時間の異なる複数の撮像画像に基づき、カメラ10の撮像画像における複数のマーカ30の位置の時間変化を測定することにより、カメラ10の姿勢の変化を測定してよい。
これにより、監視装置20は、例えば、相互の露光時間の異なる複数の撮像画像から複数のマーカの特徴を認識し易い撮像画像を選択したり、複数のマーカの特徴を認識し易い合成画像生成したりすることができる。そのため、監視装置20は、撮像画像の取得タイミングごとに、照度環境が大きく変化してしまうような状況であっても、複数のマーカを適切に認識し、複数のマーカの位置の時間変化により、カメラ10の姿勢の変化を測定することができる。よって、監視装置20は、カメラ姿勢変化測定機能の照度変化に関するロバスト性を向上させることができる。
また、本実施形態では、カメラ姿勢変化測定部203は、相互に露光時間の異なる複数の撮像画像から生成される合成画像(HDR画像)に基づき、カメラ10の撮像画像における複数のマーカ30の位置の時間変化を測定することにより、カメラ10の姿勢の変化を測定してよい。
これにより、監視装置20は、撮像画像の取得タイミングごとに、照度環境が大きく変化してしまうような状況であっても、相互の露光時間の異なる複数の撮像画像から生成される複数のマーカの特徴を認識し易い合成画像を用いて、複数のマーカを適切に認識することができる。
また、本実施形態では、カメラ姿勢変化測定部203は、相互に露光時間の異なる複数の撮像画像のうちの複数のマーカ30が相対的に画像認識され易い態様で含まれる二以上の撮像画像から生成される合成画像(HDR画像)に基づき、カメラ10の撮像画像における複数のマーカ30の位置の時間変化を測定してよい。
これにより、監視装置20は、複数のマーカの特徴をより認識し易い合成画像(HDR画像)を用いることができる。よって、監視装置20は、カメラ姿勢変化測定機能の照度変化に関するロバスト性を更に向上させることができる。
また、本実施形態では、複数のマーカ30は、それぞれ、画像認識の対象の形状部とは別に、露光時間の変化に応じて、カメラ10の撮像画像における見え方が変化する変化部を含む。そして、マーカ位置測定部202は、複数の撮像画像における複数のマーカ30の変化部の見え方に基づき、相互に露光時間が異なる複数の撮像画像の中から、複数のマーカ30が相対的に画像認識され易い態様で含まれる撮像画像を抽出してよい。
これにより、監視装置20は、カメラ10の撮像画像における変化部の見え方に基づき、具体的に、複数のマーカ30が画像認識され易いかどうかを判断し、合成画像の生成に適した撮像画像を抽出することができる。
また、本実施形態では、カメラ姿勢変化測定部203は、空間監視機能のためのカメラ10の撮像画像と露光時間の異なる、カメラ10の撮像画像に基づき、複数のマーカ30の位置の時間変化を測定することにより、カメラ10の姿勢の変化を測定してよい。
これにより、監視装置20は、カメラ姿勢変化監視機能における複数のマーカ30の画像認識に適した露光時間の撮像画像を用いて、カメラ10の姿勢の変化を測定することできる。よって、監視装置20は、カメラ姿勢変化監視機能の照度変化に対するロバスト性を更に向上させることができる。
また、本実施形態では、マーカ位置測定部202は、相互に露光時間の異なる複数の撮像画像から生成される合成画像(HDR画像)に基づき、複数のマーカ30の形状を表すデジタルデータ(CADデータ)に対するパターンマッチングによって、カメラ10の撮像画像における複数のマーカ30の位置を測定してよい。
これにより、監視装置20は、カメラ10の撮像画像上において、複数のマーカ30の位置をより精度よく測定することができる。よって、監視装置20は、カメラ10の姿勢の変化の測定精度を向上させることができる。
また、本実施形態では、マーカ30は、画像認識の対象の形状部30aと、カメラ10の露光時間の変化に応じて撮像画像上での見え方が変化する変化部30cと、を含む。
これにより、マーカ30は、カメラ10の撮像画像における変化部の見え方に基づき、カメラ10により撮像された、相互に露光時間が異なる複数の撮像画像の中からマーカ30の画像認識に適した撮像画像を監視装置20に認識させることができる。よって、マーカ30は、監視装置20のカメラ姿勢変化監視機能の照度変化に対するロバスト性を向上させることができる。
また、本実施形態では、変化部30cは、形状部30aの色と背景部30bの色との間の線形グラデーションを表すグラデーションバーである。
これにより、マーカ30は、具体的に、カメラ10の露光時間の変化に応じて、カメラ10の撮像画像における変化部30cの見え方を変化させることができる。
以上、本発明を実施するための形態について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。