JP2023057308A - 監視装置 - Google Patents

Abstract

【課題】簡便且つ安価な構成で精度且つ利便性の高い監視装置を提供する。
【解決手段】監視対象物に１つ以上のマーカー２００を付設する。監視装置１００は、カメラ１１０と、カメラ１１０による撮像画像から当該撮像画像に含まれるマーカー２００の撮像画像内における座標及び現実空間におけるマーカー２００とカメラ１１０との間の距離を検出する学習済みのマーカー認識部１２０と、マーカー認識部１２０により検出された座標及び距離に基づきマーカー２００の現実空間における位置を算出するマーカー位置算出部１３０と、マーカー位置算出部１３０により算出されたマーカーの現実空間における位置と監視領域１０の領域情報とに基づき警告を出力する警告処理部１４０とを備える。
【選択図】図２

Description

本発明は、監視領域内における監視対象物の位置又は挙動を監視する監視装置に関する。

従来、この種の監視装置としては特許文献１や非特許文献１に記載のものが知られている。特許文献１に記載のものは、２台のカメラを備えて監視対象物を認識するとともにステレオ法により監視対象物の位置を検出し、監視対象物が監視マップ内に侵入すると警告を発する。また、非特許文献１に記載のものは、レーザースキャンにより面状の空間における監視対象物の位置を検出し、監視対象物が所定の監視エリアに侵入すると警告を発する。

特開平１０－７９９３４号公報

「レーザーバリアシステム LMSシリーズ」, [online], [令和３年９月２日検索], インターネット<https://www.netis.mlit.go.jp/netis/pubsearch/details?regNo=KT-130018%20>

しかし、特許文献１に記載のものは、カメラを２台設置する必要があり利便性に欠けるという問題がある。特に、監視対象物の検出精度を上げてより適確な警告を発するようにするにはカメラ間の距離を大きく取る必要がある。しかし、カメラ間の距離を大きく取ると監視対象物が他の障害物の死角に位置する可能性が高くなりカメラの設置位置が限定されてしまう。一方、監視対象物が他の障害物の死角に位置する可能性を低減するためにカメラ間の距離を小さく取ると監視対象物の検出精度が落ちてしまう。

また、特許文献１や非特許文献１に記載のものは監視領域内において監視対象物とそれ以外のものを区別していない。このため監視対象物以外の物や人が監視領域に侵入することを防止する必要があり、この点においても利便性に欠けるものであった。

本発明は上記事情に鑑みてなされたものであり、その目的とするところは、簡便且つ安価な構成で精度且つ利便性の高い監視装置を提供することにある。

上記目的を達成するために、本願発明は、監視領域内における監視対象物の位置又は挙動を監視する監視装置であって、前記監視対象物には１つ以上のマーカーが付設されており、前記監視装置は、カメラと、前記マーカーが写っている複数のマーカー画像を学習データとして前記マーカーの識別及び現実空間における前記マーカー画像の撮像位置と前記マーカーとの間の距離を認識するよう機械学習されたマーカー認識部であって、前記カメラによる撮像画像から当該撮像画像に含まれるマーカーの撮像画像内における座標及び現実空間における当該マーカーと前記カメラとの間の距離を検出するマーカー認識部と、前記マーカー認識部により検出された座標及び距離並びにカメラの撮像方向に基づきマーカーの現実空間における位置を算出するマーカー位置算出部と、前記マーカー位置算出部により算出されたマーカーの現実空間における位置と前記監視領域の領域情報とに基づき監視対象物の位置又は挙動を監視する監視処理部とを備えたことを特徴とする。

本発明によれば、監視対象物にマーカーを付設し、一台のカメラを監視領域の撮像可能な位置に設置することにより監視対象物の監視が可能になるので、利便性が高く且つ廉価なものとなる。また、マーカー認識部の学習を十分に行うことにより、一台のカメラであっても高い検出精度を実現できる。さらに、監視対象物自体を検出するのではなく監視対象物に付設したマーカーを検出対象としているので、監視対象自体の検出と比較して学習精度や認識精度を容易に向上させることができる。また、マーカー以外の物や人は検出対象外なので監視領域の管理が容易となり、したがって利便性が高いものとなる。

監視装置の使用形態を説明する図 第１の実施の形態に係る監視装置の機能ブロック図 画像データの一例を示す図 マーカー位置の算出アルゴリズムについて説明する図 マーカーの外観斜視図 マーカーに対するカメラ位置と写像の関係を説明する図 マーカーに対するカメラ位置と写像の関係を説明する図 学習用装置の機能ブロック図 第２の実施の形態に係る監視装置の機能ブロック図 第３の実施の形態に係る監視装置の機能ブロック図

（第１の実施の形態）
本発明の第１の実施の形態に係る監視装置について図面を参照して説明する。図１は監視装置の使用形態を説明する図、図２は第１の実施の形態に係る監視装置の機能ブロック図、図３は画像データの一例を示す図、図４はマーカー位置の算出アルゴリズムについて説明する図である。

本実施の形態に係る監視装置１００は、図１に示すように、クレーン１の吊荷２を監視対象物とし、クレーン１による作業領域の一部又は全部を監視領域１０とし、監視領域１０内において監視対象である吊荷２の位置又は挙動を監視して所定の警告を出力する。ここで、吊荷２には１つ以上のマーカー２００が付設されている。すなわち本発明に係る監視装置１００は、マーカー２００の位置又は挙動を監視することにより、監視対象物である吊荷２の位置又は挙動の監視を行うものである。

監視装置１００は、図２に示すように、カメラ１１０と、マーカー認識部１２０と、マーカー位置算出部１３０と、監視処理部１４０と、監視領域情報記憶部１４１とを備えている。

監視装置１００は、主演算装置、主記憶部、補助記憶部、表示装置、入力装置等を備えた従来周知のコンピュータにより構成することができる。監視装置１００は、前述の各部として機能させるプログラムをコンピュータにインストールすることにより実装することができる。監視装置１００は、専用のハードウェアとして実装することができる。また、監視装置１００は、複数の装置に分散して実装することができる。例えば、本実施の形態ではカメラ１１０を監視装置１００の一部として実装したが、カメラ１１０を監視装置１００の他の構成から分離して実装してもよい。本実施の形態では監視装置１００として、カメラ１１０が内蔵された「スマートフォン」と呼ばれる高機能携帯通信端末を用いた。

カメラ１１０は、現実空間の所定領域を撮像して二次元の画像データを出力する周知の撮像手段である。カメラ１１０は動画として複数のデジタル形式の画像データを経時的に出力する。カメラ１１０が出力する画像データのフォーマット形式、解像度、フレームレート、画角、焦点距離等は任意である。カメラ１１０により撮像された二次元の画像データの各ピクセルは二次元直交座標系により特定される。本実施の形態では、カメラ１１０により撮像された画像データの中心点を直交座標系の原点とする。カメラ１１０により撮像された画像データの中心点は、カメラ１１０の向いている方向すなわち光軸と一致している。

カメラ１１０は、監視領域１０の全部又は一部が撮像範囲となるような位置・方向に設置される。カメラ１１０は、特に監視領域１０のうち警告発報の対象となる領域が撮像範囲となるような位置・方向に設置される。また、検出精度の観点から、カメラ１１０は、監視領域１０のうち警告発報の対象となる警告領域が、カメラ１１０の正面に位置するような位置・方向に設置されると好ましい。本実施の形態では、計算を容易にするため、カメラ１１０は、その撮像方向すなわち光軸が水平であるように設置されているものとする。

ここで、監視領域１０について説明する。監視領域１０は、三次元の現実空間において定義される任意の形状の領域である。ここで現実空間の位置は三次元直交座標系で定義することができる。また現実空間の位置は、カメラ１１０の設置位置及び撮像方向すなわち光軸方向を基準とした相対的な値とすることができる。また現実空間の位置は、例えば緯度・経度・標高を用いた絶対的な値としてもよい。本実施の形態では、現実空間の位置はカメラ１１０の設置位置及び撮像方向すなわち光軸方向を基準とした相対的な値とし、鉛直方向をＺ軸、カメラ１１０の向いている方向すなわち光軸方向をＸ軸、カメラ１１０の向いている方向すなわち光軸方向と直交し且つ水平面に平行な方向をＹ軸とする。

監視領域１０は、監視装置１００による警告出力の空間的な位置の基準を規定するものであり、現実空間において三次元空間として定義される。監視領域１０は複数設定することができる。監視領域１０の領域情報は、監視領域情報記憶部１４１に記憶されている。

本実施の形態では、図１に示すように、カメラ１１０の設置位置を基準としてカメラ１１０の前方且つ左側の領域全体を監視領域１０と設定した。また、監視領域１０は、カメラ１１０の設置位置及び撮像方向すなわち光軸方向を基準とした相対的な値で定義した。

マーカー認識部１２０は、カメラ１１０によって撮像された画像データであってマーカー２００が写り込まれたものを入力とし、当該画像データに写り込んでいるマーカー２００の有無、識別子、画像データ内における二次元座標Ｍ（Ｍｘ，Ｍｙ）及び現実空間におけるマーカー２００とカメラ１１０との間の距離Ｄを検出するよう、教師信号を用いて深層学習された学習器からなる。ここで、画像データにおいてマーカー２００の写像はカメラ１１０との距離に応じた大きさの領域に形成されている。マーカー認識部１２０は、マーカー２００の写像が形成された領域の中心座標や重心座標などの代表座標をマーカー２００の座標Ｍとする。図３に画像データの一例を示す。

マーカー認識部１２０は、中間層を複数有するニューラルネットワークなどにより構成された深層学習が可能な周知の学習器からなる。マーカー認識部１２０は、推論エンジンと当該推論エンジンを学習済み状態にするためのパラメータとを内包する。マーカー認識部１２０は、推論エンジンとパラメータとが一体不可分になっていてもよいし、両者が分離可能に構成されていてもよい。

マーカー位置算出部１３０は、カメラ１１０により撮像された画像データに写り込んでいるマーカー２００の存在をマーカー認識部１２０により検出すると、マーカー認識部１２０により検出されたマーカー２００の画像データにおける二次元座標Ｍ、現実空間におけるマーカー２００とカメラ１１０との距離Ｄ、及びカメラ１１０の撮像方向すなわち光軸方向に基づき、マーカー２００の現実空間における三次元直交座標系の位置Ｐ（Ｐｘ，Ｐｙ，Ｐｚ）を算出する。マーカー位置算出部１３０が算出するマーカー２００の位置Ｐは、カメラ１１０の既知の設置位置及び撮像方向すなわち光軸方向を基準とした相対的な値であってもよいし、絶対的な値であってもよい。本実施の形態では、マーカー位置算出部１３０が算出するマーカー２００の位置Ｐは、カメラ１１０の既知の設置位置及び撮像方向すなわち光軸方向を基準とした相対的な値とした。

マーカー位置算出部１３０の算出アルゴリズムについて図４を参照して説明する。まず、画像データを基準とした仮想現実空間を考える。つまり、カメラ１１０の撮像方向（光軸方向）及び撮像方向を中心軸としたカメラ１１０の傾きに対応した仮想三次元直交座標系を考える。この仮想三次元直交座標系では、画像データの奥行き方向すなわち現実空間ではカメラ１１０の撮像方向（光軸方向）がＸ軸方向、画像データの左右方向すなわちカメラ１１０に対する相対的な左右方向がＹ軸方向、画像データの上下方向すなわちカメラ１１０に対する相対的な上下方向がＺ軸方向となる。またカメラ１１０の設置位置が原点となる。マーカー位置算出部１３０は、マーカー２００の画像データ内における二次元座標Ｍから、仮想現実空間におけるカメラ１１０の正面からＸ軸方向に延びる中心軸（光軸）に対するカメラ１１０からマーカー２００を結ぶ線の角度θ（θｘｙ，θｚ）を算出する。ここで、θｘｙは角度θの水平方向成分すなわち仮想現実空間における方位角であり、θｚは垂直方向成分すなわち仮想現実空間における仰角である。座標Ｍから角度θへの算出処理は、カメラ１１０の焦点距離、カメラ１１０が出力する画像データの解像度（ピクセル数）等の既知の諸元情報に基づき行うことができる。なお、カメラ１１０の諸元情報は監視装置１００の所定の記憶装置（図示省略）に予め記憶しておけばよい。このような処理により、マーカー認識部１２０により検出されたマーカー２００とカメラ１１０の現実空間における距離をＤとすると、マーカー２００の仮想現実空間における位置は、カメラ１１０の設置位置を原点とする極座標（Ｄ，θ）で特定される。そして、マーカー位置算出部１３０は、前記極座標（Ｄ，θ）を周知の座標変換処理により仮想三次元直交座標系の位置Ｐ’に変換し、さらに現実空間におけるカメラ１１０の設置位置及びカメラの撮像方向すなわち光軸方向に基づき現実空間の三次元直交座標系の位置Ｐに変換する。カメラ１１０の設置位置及びカメラの撮像方向の情報は監視装置１００の所定の記憶装置（図示省略）に予め記憶しておけばよい。

監視処理部１４０は、マーカー位置算出部１３０により算出されたマーカー２００の現実空間における位置Ｐと、監視領域１０の領域情報に基づき任意の警告出力処理を行う。監視領域１０を複数設定している場合、監視処理部１４０は、それぞれの監視領域１０についての警告出力処理を行う。また、マーカー２００が複数ある場合、監視処理部１４０はそれぞれのマーカー２００について警告出力処理を行う。

いくつかの実施例では、監視処理部１４０は、監視領域１０と監視領域１０外との境界面１１との位置関係に基づき警告を出力する。例えば、監視処理部１４０は、監視領域１０内にあった位置Ｐが境界面１１に到達した際に警告を出力する。また例えば、監視処理部１４０は、監視領域１０内にあった位置Ｐが境界面１１を超えて監視領域１０外に入った際に警告を出力する。また例えば、監視処理部１４０は、監視領域１０内において位置Ｐと境界面１１との距離が所定値以下になった際に警告を出力する。いくつかの実施例では、位置Ｐの経時的変化（例えば速度や加速度）から将来のマーカー２００の予測位置を算出し、この予測位置と監視領域１０の領域情報とに基づき警告を出力する。例えば、監視処理部１４０は、位置Ｐの速度を算出し、境界面１１に近づく速度が所定値以上の際に警告を出力する。このような各実施例に係る警告出力処理は任意に組み合わせることができる。

監視処理部１４０による警告の出力形態は不問である。いくつかの実施例では、監視装置１００において、所定のアラーム音をスピーカー等から出力したり、所定の警告表示を行ったり、振動発生装置を作動させたりする。いくつかの実施例では、監視装置１００から他の警告装置に警告信号を伝達し、当該他の警告装置において、所定のアラーム音をスピーカー等から出力したり、所定の警告表示を行ったり、振動発生装置を作動させたり、機器の制御を行ったりする。この場合、他の警告装置は、監視対象物の操作を行う者や装置或いはその近傍に配置すると好ましい。また、他の警告装置を、監視領域１０内の任意の場所や監視領域１０の近傍の任意の場所に配置してもよい。また、他の警告装置を、監視対象物やマーカー２００に配置してもよい。他の警告装置への警告信号の伝達経路は、無線であっても有線であってもよい。

次に、マーカー２００について図４を参照して説明する。マーカー２００は、図４に示すように、外観円柱状のマーカー本体２１０を備える。マーカー本体２１０の一端側の端部に位置する周の表面には識別用パターン２２０が形成されている。識別用パターン２２０は、全周に亘って延在する複数の帯状の識別帯２２１が軸方向に配列されて形成されている。本実施の形態では、各識別帯２２１は間隔を空けることなく隣接しており、且つ、隣り合う識別帯２２１間で色彩が互いに異なる。ここで、色彩が異なるとは、色相・明度・彩度の少なくとも何れか１つが互いに異なることを意味する。マーカー本体２１０の端面は、当該端面に隣接する識別帯２２１とは異なる色彩が付されている。マーカー本体２１０の一端側の端面は、全ての識別帯２２１の色彩と異なる色彩が付されていてもよい。マーカー本体２１０の端面は、当該端面には隣接しない何れかの識別帯２２１と同一の色彩が付されていてもよい。識別用パターン２２０は、マーカー本体２１０の端面との間に間隙が形成される位置に配置してもよい。また、識別用パターン２２０は、マーカー本体２１０の外周の全面に形成してもよい。

識別用パターン２２０は、複数の識別帯２２１の色彩の組み合わせ又は順列或いは順序により、マーカー２００を識別するためのものである。識別帯２２１として用いられる色彩は、互いに色相・明度・彩度の少なくとも何れか１つが互いに異なる色彩群の中から選択される。ただし、識別用パターン２２０がマーカー本体２１０の外周全面に形成されている場合を除き、識別帯２２１として用いられる色彩は、マーカー本体２１０の外周面のうち識別用パターン２２０以外の部分の色彩に対して、色相・明度・彩度の少なくとも何れか異なる。複数の識別帯２２１は、互いに同じ色彩が付されていてもよい。識別用パターン２２０は、マーカー２００の識別情報を符号化したものであってもよい。例えば、黒＝０、赤＝１、…緑＝９のように色彩に対して１桁の数字を割り当てておき、３つの識別帯２２１の順序により３桁の数字としてマーカー２００の識別子を表現することができる。

マーカー２００の現実空間における監視対象物への設置形態は不問である。典型的には、マーカー２００は、円柱状のマーカー本体２１０の長手方向を鉛直方向に一致させ、且つ、識別用パターン２２０が上部にくるように設置される。図１の例では、略直方体形状の吊荷２の四隅に円柱状のマーカー本体２１０の長手方向が吊荷２の上下方向となるように設置している。

このようなマーカー２００では、マーカー本体２１０の軸方向に対するカメラ１１０の角度が同一であれば、図５に示すように、マーカー本体２１０の周方向のどちらから撮像しても画像データにおける識別用パターン２２０の写像の形状は同一となる。また、このようなマーカー２００では、図６に示すように、マーカー本体２１０の軸方向に対するカメラ１１０の角度が直角であれば（図６（ａ）参照）、識別用パターン２２０の画像データ２３０における写像２３１は各識別帯２２１が矩形となる（図６（ｂ）参照）。また、このようなマーカー２００では、図７に示すように、マーカー本体２１０の軸方向に対するカメラ１１０の角度が直角から上下にずれていても（図７（ａ）参照）、識別用パターン２２０の画像データ２３２における写像２３３は、各識別帯２２１が略矩形、具体的には矩形の上辺及び下辺がやや上下方向に湾曲した形状となる。

したがって、このようなマーカー２００によれば、マーカー認識部１２０による認識対象となるマーカー２００の写像が、カメラ１１０の撮像位置や角度などに大きな影響を受けることなく安定した形状となるので、認識精度が向上する。特に、カメラ１１０とマーカー２００の距離が大きいと画像データ中におけるマーカー２００の写像が占める画素数が少なくなるが、この場合であっても認識精度の低下を抑えることができる。同様に、マーカー２００の写像が画像中の中心から大きく外れるとレンズ歪みにより写像に歪みが生じるが、この場合であっても歪みによる認識精度の低下を抑えることができる。なお、マーカー認識部１２０に、レンズ歪みに対してレンズの固有値を用いた補正処理を行う歪み補正部を設けると、歪みによる認識精度の低下をさらに抑えることができる。

また、マーカー認識部１２０の学習の過程においては、学習器に入力する学習データのサンプル数が少なくてすむので、学習データ取得の手間が軽減されるとともに、学習処理にかかる手間も軽減することができる。

次に、マーカー認識部１２０を生成するための学習用装置３００について図８を参照して説明する。学習用装置３００は、学習用データとしてマーカー２００が写り込んだ静止画像を入力とし、人手によるアノテーション処理により学習器を学習させる。

入力とする学習データは、識別用パターン２２０が異なる複数のマーカー２００を、角度・距離・画角・照明等の撮像条件を変えて撮像した複数の静止画である。なお、本実施の形態では、学習データを静止画像としたが動画であってもよい。この場合、当該動画をフレーム毎に分割することにより複数の静止画を取得することができる。

図８に示すように、学習用装置３００は、画像前処理部３１０と、アノテーション処理部３２０と、学習対象である学習器３３０とを備えている。

画像前処理部３１０は、学習の前処理として、学習データに対して輝度調整などの画像処理を行う。

アノテーション処理部３２０は、学習用データに対してアノテーション処理を行う。アノテーション処理は、表示装置（図示省略）に画像を表示し、マウス等の入力装置（図示省略）を用いてユーザから認識用パターン２２０の存在領域を入力することにより行う。すなわち、この入力されたアノテーション情報が教師信号となる。なお、教師信号として認識用パターン２２０の識別子を付加してもよい。また、アノテーション処理部３２０は、学習用データに対して白黒化処理や反転処理や回転処理などを行うことにより、学習用データを水増ししてもよい。

学習対象である学習器３３０は、その学習状態を除き、マーカー認識部１２０と同一の構造を有する学習器である。学習用装置３００により学習された学習器３３０は、マーカー認識部１２０として監視装置１００にインストールされる。学習用装置３００から監視装置１００への学習器２３０のインストールは、ネットワークを介してもいいし、所定の記録メディアを介してもいい。学習用装置３００から監視装置１００への学習器３３０のインストールは、学習器３３０そのものをインストールしてもよいし、学習器３３０の学習状態に対応する各種パラメータのみを監視装置１００のマーカー認識部１２０にインストールしてもよい。

このような監視装置１００によれば、監視対象物にマーカー２００を付設し、一台のカメラ１１０を監視領域１０の撮像可能な位置に設置することにより監視対象物の監視が可能になるので、利便性が高く且つ廉価なものとなる。また、マーカー認識部１２０の学習を十分に行うことにより、一台のカメラ１１０であっても高い検出精度を実現できる。さらに、監視対象物自体を検出するのではなく監視対象物に付設したマーカー２００を検出対象としているので、監視対象自体の検出と比較して学習精度や認識精度を容易に向上させることができる。また、マーカー２００以外の物や人は検出対象外なので監視領域１０の管理が容易となり、したがって利便性が高いものとなる。

（第２の実施の形態）
本発明の第２の実施の形態に係る監視装置について図９を参照して説明する。図９は第２の実施の形態に係る監視装置の機能ブロック図である。本実施の形態が第１の実施の形態と異なる点は、監視領域の設定方法にある。その他については第１の実施の形態と同様なのでここでは相違点について説明する。

監視装置１００ａは、図９に示すように、カメラ１１０と、マーカー認識部１２０と、マーカー位置算出部１３０と、監視処理部１４０と、監視領域情報記憶部１４１と、監視領域設定部１５０とを備えている。監視領域設定部１５０は、監視処理部１４０による警告処理の開始に先立ち、カメラ１１０の撮像可能範囲に設置された領域設定用のマーカー２００ａの現実空間における位置に基づき監視領域１０を設定する。領域設定用のマーカー２００ａの現実空間における位置は、マーカー認識部１２０とマーカー位置算出部１３０により検出する。ここで、領域設定用のマーカー２００ａは、監視対象物に付設するマーカー２００とは異なる識別用パターン２２０により識別することができる。

このような監視装置１００ａによれば、監視現場において監視領域１０を柔軟に設定することができるので利便性が向上したものになる。その他の作用・効果については第１の実施の形態と同様である。

（第３の実施の形態）
本発明の第２の実施の形態に係る監視装置について図１０を参照して説明する。図１０は第３の実施の形態に係る監視装置の機能ブロック図である。本実施の形態が第１及び第２の実施の形態と異なる点は、マーカー位置算出部１３０に校正処理部１３１を設けたことにある。その他については第１及び第２の実施の形態と同様なのでここでは第１の実施形態との相違点について説明する。

監視装置１００ｂは、図１０に示すように、カメラ１１０と、マーカー認識部１２０と、マーカー位置算出部１３０と、監視処理部１４０と、監視領域情報記憶部１４１と、監視領域設定部１５０とを備えている。本実施の形態では、マーカー位置算出部１３０は校正処理部１３１を備えている。

校正処理部１３１は、監視処理部１４０による警告処理の開始に先立ち、カメラ１１０の撮像可能範囲であって現実空間における既知の位置に設置された校正用のマーカー２００ｂの位置及び距離に基づき位置に関する校正処理を行う。校正用のマーカー２００ｂの現実空間における位置は、マーカー認識部１２０とマーカー位置算出部１３０により検出する。校正用のマーカー２００ｂは、監視対象物に付設するマーカー２００とは異なる識別用パターン２２０により識別することができる。校正処理部１３１は、マーカー認識部１２０とマーカー位置算出部１３０により検出したマーカー２００ｂの位置と、マーカー２００ｂの既知の位置との差分に基づき校正処理を行う。校正用のマーカー２００ｂの既知の位置は、外部から入力することができる。

このような監視装置１００ｂによれば、マーカー２００の位置精度が向上するので高精度で監視を行うことができる。その他の作用・効果については第１の実施の形態と同様である。

以上、本発明の第１～第３の実施の形態について詳述したが、本発明は上記各実施の形態に限定されるものではなく、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよい。

例えば、上記実施の形態では、監視領域１０やマーカー２００の位置としてカメラ１１０からの相対的な値を用いたが、絶対的な値を用いてもよい。この場合、カメラ１１０の絶対的な位置を取得するために、ＧＮＳＳ（Global Navigation Satellite System）受信機などの位置検出装置を監視装置に設けてもよい。また、既知の測量装置を用いてカメラ１１０の位置を計測し、計測した位置を監視装置に入力するようにしてもよい。

また、上記実施の形態では、監視対象物としてクレーン１の吊荷２について例示したが、他の物を監視対象物としてもよい。また、監視領域１０についても監視装置１００の使用形態等に応じて任意に設定することができる。

また、上記実施の形態では、計算を容易にするためカメラ１１０の撮像方向すなわち光軸を水平に設置した例について説明したが、カメラ１１０の撮像方向は任意である。

１…クレーン
２…吊荷
１０…監視領域
１１…境界面
１００，１００ａ，１００ｂ…監視装置
１１０…カメラ
１２０…マーカー認識部
１３０…マーカー位置算出部
１３１…校正処理部
１４０…監視処理部
１４１…監視領域情報記憶部
１５０…監視領域設定部

Claims (9)

1. 監視領域内における監視対象物の位置又は挙動を監視する監視装置であって、
   前記監視対象物には１つ以上のマーカーが付設されており、
   前記監視装置は、
   カメラと、
   前記マーカーが写っている複数のマーカー画像を学習データとして前記マーカーの識別及び現実空間における前記マーカー画像の撮像位置と前記マーカーとの間の距離を認識するよう機械学習されたマーカー認識部であって、前記カメラによる撮像画像から当該撮像画像に含まれるマーカーの撮像画像内における座標及び現実空間における当該マーカーと前記カメラとの間の距離を検出するマーカー認識部と、
   前記マーカー認識部により検出された座標及び距離並びにカメラの撮像方向に基づきマーカーの現実空間における位置を算出するマーカー位置算出部と、
   前記マーカー位置算出部により算出されたマーカーの現実空間における位置と前記監視領域の領域情報とに基づき監視対象物の位置又は挙動を監視する監視処理部とを備えた
   ことを特徴とする監視装置。
2. 前記監視処理部は、前記マーカー位置算出部により算出されたマーカーの現実空間における位置と前記監視領域の領域情報とに基づき警告を出力する
   ことを特徴とする請求項１記載の監視装置。
3. 前記監視処理部は、前記マーカー位置算出部により算出されたマーカーの現実空間における位置と前記監視領域の境界面との位置関係に基づき警告を出力する
   ことを特徴とする請求項２記載の監視装置。
4. 前記監視処理部は、前記マーカー位置算出部により算出されたマーカーの現実空間における位置が前記監視領域から前記境界面を超えた場合に警告を出力する
   ことを特徴とする請求項３記載の監視装置。
5. 前記監視処理部は、前記マーカー位置算出部により算出されたマーカーの現実空間における位置の経時的変化に基づきマーカーの将来の位置を推定し、推定した位置と前記監視領域の領域情報とに基づき警告を出力する
   ことを特徴とする請求項２乃至４何れか１項記載の監視装置。
6. 前記監視領域は、前記カメラの設置位置及び撮像方向を基準にして相対的に定められている
   ことを特徴とする請求項１乃至５何れか１項記載の監視装置。
7. 前記監視処理部は、前記カメラの撮像可能範囲に設置された領域定義用のマーカーの現実空間における位置に基づき前記監視領域を設定する監視領域設定部を備えた
   ことを特徴とする請求項１乃至５何れか１項記載の監視装置。
8. 前記マーカー位置算出部は、前記カメラの撮像可能範囲であって現実空間における既知の位置に設置された校正用のマーカーの位置及び距離に基づき校正処理を行う校正処理部を備えた
   ことを特徴とする請求項１乃至７何れか１項記載の監視装置。
9. 前記マーカーは、円柱状のマーカー本体を備え、前記マーカー本体の外周の表面に、全周に亘って延在する複数の帯状の識別部が軸方向に配列されて形成されている
   ことを特徴とする請求項１乃至８何れか１項記載の監視装置。

Images