JP2016118919A - 監視装置、監視方法 - Google Patents

Abstract

【課題】保護対象に接近した物体のうち、保護対象を保護する観点から選別した物体を検出して監視することのできる監視装置を提供する。【解決手段】監視装置１０は、保護対象Ｐに向けた視野Ｖ内の三次元座標を測定する三次元光測定部１１と、三次元光測定部１１で測定した保護対象Ｐの三次元座標を基準として監視領域Ａｗを設定する監視領域設定部２１と、三次元光測定部１１で測定した三次元座標に基づいて、設定した特定形状を有する特定物体Ｏｓが監視領域Ａｗに存在することを検出する形状検出部２２と、形状検出部２２での検出結果に基づいて監視領域Ａｗの状態を判定する監視状態判定部２３と、を備える。【選択図】図１

Description

本発明は、監視装置およびそこで用いる監視方法に関する。

例えば、美術館や博物館における様々な展示品等を保護するために、当該展示品等を保護対象として監視装置を用いて監視することが考えられている。この監視装置では、保護対象に何かが触れないように監視することから、保護対象に触ろうとする動きのある物体を監視する必要がある。

このような動きのある物体を監視する監視装置として、距離画像センサで取得した距離画像に基づいて、行動監視処理部でベッド上に位置する人を監視するものが考えられている（例えば、特許文献１参照）。この監視装置では、距離画像センサで取得した距離画像に基づいて三次元座標におけるベッドが位置する領域を検出し、そのベッド面を基準として異なる高さ位置に閾値としての複数の検知面を設定する。監視装置では、各検知面を横切る物体の有無や各検知面に対する当該物体の高さ位置や各検知面において当該物体が占有する面積等の情報に基づいて、当該物体をベッドの近傍で動作する人として検出する。そして、監視装置では、その情報に基づいてベッドに対する人の動作を判断し、その判断内容に応じて適宜報知することにより、動きのある人の動作を監視する。

このような監視装置では、上記した保護対象に触ろうとする動きのある物体を監視しようとすると、保護対象を基準として複数の検知面を設定することにより、当該物体の動きを判断して保護対象を監視することとなる。ところが、監視装置では、各検知面に対する物体の高さ位置や各検知面において物体が占有する面積等の情報に基づいて当該物体を検出することから、保護対象に触ろうとしていない物体であっても検出してしまう。

本発明は、上記の事情に鑑みて為されたもので、保護対象に接近した物体のうち、保護対象を保護する観点から選別した物体を検出して監視することのできる監視装置を提供することを目的とする。

請求項１に記載の監視装置は、保護対象に向けた視野内の三次元座標を測定する三次元光測定部と、前記三次元光測定部で測定した前記保護対象の三次元座標を基準として監視領域を設定する監視領域設定部と、前記三次元光測定部で測定した三次元座標に基づいて、設定した特定形状を有する特定物体が前記監視領域に存在することを検出する形状検出部と、前記形状検出部での検出結果に基づいて前記監視領域の状態を判定する監視状態判定部と、を備えることを特徴とする。

本発明に係る監視装置では、保護対象に接近した物体のうち、保護対象を保護する観点から選別した物体を検出して監視することができる。

本発明の監視装置の一実施形態に係る実施例１の監視装置１０の構成を概略的に示す説明図である。 監視装置１０における三次元光測定部１１の構成を概略的に示す説明図である。 監視装置１０を用いて保護対象Ｐを監視する様子を模式的に示す説明図であり、（ａ）は三次元で示し、（ｂ）は（ａ）をＸ軸方向の手前側から見た二次元で示す。 三次元光測定部１１が生成したデプスマップＭを模式的に示す説明図であり、（ａ）は図３（ａ）に対応する三次元で示し、（ｂ）は図３（ｂ）に対応する二次元で示す。 監視装置１０の監視制御部１２における監視領域設定部２１が設定する監視領域Ａｗを模式的に示す説明図である。 監視装置１０の監視制御部１２における形状検出部２２が特定物体Ｏｓの一例としての手Ｈを検出する様子を模式的に示す説明図であり、（ａ）は監視領域Ａｗに特定物体Ｏｓが存在する様子を示し、（ｂ）は監視領域Ａｗに特定物体Ｏｓが存在する監視デプスマップＭｗを図４（ｂ）と同様の二次元で示し、（ｃ）は監視デプスマップＭｗと基準デプスマップＭｂとの差分である差分デプスマップＭｄを図４（ｂ）と同様の二次元で示す。 監視装置１０の監視制御部１２にて実行される監視方法の一例としての監視処理内容を示すフローチャートである。 他の一例としての三次元光測定部１１１の構成を概略的に示す説明図である。 他の一例としての三次元光測定部１１２の構成を概略的に示す説明図である。 監視装置１０を用いて２つの保護対象Ｐを監視する様子を模式的に三次元で示す説明図である。 本発明の監視装置の一実施形態に係る実施例２の監視装置１０Ａの構成を概略的に示す説明図である。 監視装置１０Ａの監視制御部１２Ａにて実行される監視方法の一例としての監視処理内容を示すフローチャートである。 本発明の監視装置の一実施形態に係る実施例３の監視装置１０Ｂの監視制御部１２における監視領域設定部２１が設定した第１監視領域Ａｗ１および第２監視領域Ａｗ２を模式的に示す説明図である。 監視装置１０Ｂの監視制御部１２にて実行される監視方法の一例としての監視処理内容を示すフローチャートである。

以下に、本発明に係る監視装置および監視方法の各実施例について図面を参照しつつ説明する。

本発明に係る監視装置の一例としての実施例１の監視装置１０を、図１から図７を用いて説明する。なお、図３および図５では、監視装置１０の構成の理解を容易なものとするために、各部の構成を模式的に示している。図４（ａ）、（ｂ）および図６（ｂ）、（ｃ）では、理解を容易なものとするためにデプスマップを模式的に示している。

本発明に係る監視装置としての実施例１の監視装置１０は、保護対象Ｐ（図３等参照）に何かが触れないように監視するものであり、保護対象Ｐに触れようとする動きのある物体を監視する。監視装置１０は、実施例１では、一例として美術館や博物館における様々な展示品のうちの絵画を保護対象Ｐとしている。なお、監視装置１０は、実施例１では、絵画を保護対象Ｐとしているが、例えば、他の展示品や、商業施設での販売品や、動物園や水族館等の動物等を保護対象としてもよく、他のものを保護対象としてもよく、実施例１の例に限定されるものではない。この監視装置１０は、図１に示すように、三次元光測定部１１と監視制御部１２と報知部１３とを備える。

その三次元光測定部１１は、実施例１では、測定対象に基準パターンを投影し、その基準パターンを撮像し、その撮像した撮像画像を元に三次元座標を得るパターン投影法を用いる。三次元光測定部１１は、測定対象に向けた所定の視野Ｖを有し、パターン投影法に基づいて視野Ｖ内の測定対象までの距離を算出することにより当該測定対象（その各点）の三次元座標を求める。この三次元光測定部１１は、図２に示すように、投影部１４および撮像部１５と、それらに接続する測定制御部１６と、を備える。その投影部１４と撮像部１５とは、所定の間隔だけ離して基準線上に設けられ、投影部１４の投影光軸Ａｐと撮像部１５の撮像光軸Ａｓとが異なる方向に向けられている。

投影部１４は、投影光軸Ａｐ上で基準となる所定の基準パターンを投影する。この投影部１４は、実施例１では、光源と、マスクが設けられた投影光学系と、を有する。投影部１４は、光源から出射した光（光束）を、投影光学系およびそこに設けられたマスクを経て出射させることで、投影光軸Ａｐ上に基準パターンを投影する。その光源は、レーザ光源やＬＥＤ光源を用いて構成することができ、実施例１では近赤外光を出射するものとする。投影光学系は、光源から出射した光（光束）を所定の形状に成形する光学部材であり、実施例１では光（光束）を所定の広がり角度で発散させる。マスクは、ガラス基板上に金属膜を蒸着して形成され、その金属膜の膜圧の変化により基準パターンを形成すべく透過率が設定されたマスクパターンが設けられている。

このため、投影部１４は、実施例１では、無彩色の基準パターンを投影する。この投影部１４は、投影光軸Ａｐ上に位置する測定対象へ向けて、投影光学系の焦点距離に応じた広がり角度で徐々に拡散する光（光束）としての基準パターンを投影するため、所定の視野範囲に基準パターンを投影することができる。なお、この投影部１４は、投影光軸Ａｐ上で所定の基準パターンを投影するものであれば、例えばプロジェクタを用いるものであってもよく、他の構成であってもよく、実施例１の構成に限定されるものではない。

撮像部１５は、基準パターンが投影された測定対象を撮像する。この撮像部１５は、実施例１では、撮像光学系と撮像素子とを有し、撮像光軸Ａｓを中心として入射する光（光束）を撮像光学系で撮像素子（その受光面）上に結像させる。その撮像光学系は、撮像光軸Ａｓを中心として投影部１４の視野範囲を撮像範囲（画角）とする焦点距離としている。撮像素子は、実施例１では、近赤外の波長帯域に感度を有するＣＣＤイメージセンサを用いて構成し、受光面上に結像された被写体像を電気信号（画像データ）に変換して、画像生成部に出力する。その画像生成部は、撮像部１５に設けられ、撮像素子から出力された電気信号を、被写体像に対応したデジタル画像データ（撮像画像）に生成して出力する。なお、撮像部１５では、撮像素子としてＣＭＯＳを用いて構成してもよく、他の構成であってもよく、実施例１の構成に限定されるものではない。撮像部１５は、撮像した撮像光軸Ａｓ上の撮像画像（そのデジタル画像データ）を、測定制御部１６に出力する。

その測定制御部１６は、駆動制御部１７と三次元座標計算部１８と測定記憶部１９とを備え、その測定記憶部１９に記憶されたプログラムに基づいて三次元光測定部１１の動作を統括的に制御する。なお、この測定制御部１６は、投影部１４および撮像部１５とは別体とされていてもよく、投影部１４および撮像部１５と一体とされていてもよく、投影部１４または撮像部１５に内蔵されていてもよい。駆動制御部１７は、投影部１４（その光源）を制御することで投影部１４から所定の視野範囲に基準パターンを投影させる。また、駆動制御部１７は、撮像部１５（その撮像素子および画像生成部）を制御することで所定の撮像範囲（画角）を撮像させ、その撮像に基づく撮像画像（そのデジタル画像データ）を生成させる。

三次元座標計算部１８は、撮像部１５からの撮像光軸Ａｓ上の撮像画像（そのデジタル画像データ）に基づいて、三角測量の原理により撮像画像に写し出された任意の点までの深度方向距離を算出する。その深度方向距離とは、三次元光測定部１１から測定対象（任意の点）までの距離を示す。この三次元座標計算部１８は、撮像画像における投影パターン像を基準パターンに対応付けすることにより、投影部１４（その基準点）から任意の点へ向かう方向の投影光軸Ａｐに対する投影角度を求める。三次元座標計算部１８では、投影角度と、撮像部１５の撮像光学系の焦点距離と、撮像画像上での撮像光軸Ａｓと任意の点との間隔と、投影部１４と撮像部１５との所定の間隔と、を用いて三角測量の原理により任意の点の深度方向距離を算出する。そして、三次元座標計算部１８では、測定対象を写し出した撮像画像における全ての測定点に対して深度方向距離を算出することにより、当該測定対象の三次元座標（その各値）を算出する。

これにより、三次元光測定部１１は、撮像部１５の所定の撮像範囲（画角）における、基準パターンを投影した投影部１４の所定の視野範囲を視野Ｖ（図３等参照）として、その視野Ｖ内の測定対象の三次元座標（その各値）を測定することができる。そして、監視装置１０では、後述するように、三次元光測定部１１が測定した三次元座標を用いて保護対象Ｐの監視を行うことから、三次元光測定部１１の視野Ｖが監視装置１０における視野Ｖ（監視範囲）となる。この三次元光測定部１１は、実施例１では、保護対象Ｐを監視するために用いられることから、視野Ｖ内における保護対象Ｐを含むデプスマップＭを生成する。以下では、このデプスマップＭについて説明する。

ここで、保護対象Ｐを監視するために、図３に示すように、三次元光測定部１１の視野Ｖ内に保護対象Ｐを位置させて監視装置１０を設けたものとする。そして、理解を容易なものとするために、図３に示す例において、保護対象Ｐとしての絵画が掛けられた平坦な壁面Ｗを、水平方向をＸ軸方向でかつ鉛直方向をＹ軸方向とするＸ−Ｙ平面とし、そこに直交する方向をＺ軸方向（手前側を正側）とする。その保護対象Ｐとしての絵画は、理解を容易なものとするために、図３を含む実施例１では平板状の部材として示す。三次元光測定部１１では、上述したように、撮像部１５の所定の撮像範囲（画角）内で投影部１４の所定の視野範囲を視野Ｖとして、その視野Ｖ内の保護対象Ｐ（絵画）およびその周辺（壁面Ｗ）の三次元座標を測定する。

すると、三次元光測定部１１の三次元座標計算部１８では、Ｘ−Ｙ平面で見た各点における視野Ｖ内のＺ軸座標を求めることで、デプスマップＭ（図４参照）を生成することができる。そのデプスマップＭは、図４（ａ）、（ｂ）に示すように、Ｚ軸方向を深度方向として、Ｘ軸座標およびＹ軸座標で示す各点における深度値（Ｚ軸座標）を示す深度マップであり、Ｘ−Ｙ平面で見た各点に対してそれぞれ１つの深度値（Ｚ軸座標）を有する。図４に示すデプスマップＭでは、図３に示す壁面Ｗに保護対象Ｐ（絵画）が掛けられた様子を表すことから、壁面Ｗとしての深度値（Ｚ軸座標）に対して、保護対象Ｐ（絵画）としての深度値（Ｚ軸座標）がＺ軸方向正側の値とされる。すなわち、デプスマップＭでは、保護対象Ｐ（絵画）を示す箇所の深度値（Ｚ軸座標）が、他の箇所（壁面Ｗ）を示す箇所の深度値（Ｚ軸座標）に対して浮き上がっている。なお、デプスマップＭでは、基準面（実施例１ではＸ−Ｙ平面に平行な面）に対する深度方向（実施例１ではＺ軸方向）を出力として示すものであれば、各座標の態様は適宜設定すればよく、実施例１の構成に限定されるものではない。

この三次元光測定部１１は、所定のフレームレートで測定対象の三次元座標を測定し、それに基づくデプスマップＭを生成する。そのフレームレートは、後述する監視処理（監視処理方法（図７参照））におけるステップＳ４からステップＳ７を経てステップＳ３に戻るまでの処理速度よりも早いものであれば、それに合わせて設定するものであってもよく、それとは異なるものとしてもよい。ここで、異なるものとする場合、ステップＳ３へと進んだ際の最新のデプスマップＭを用いて、ステップＳ４からステップＳ７の処理を行うものとすればよい。この三次元光測定部１１は、測定制御部１６の制御下で、測定対象の三次元座標としてのデプスマップＭ（そのデータ）を適宜監視制御部１２へと出力する。

監視制御部１２は、図１に示すように、監視領域設定部２１と形状検出部２２と監視状態判定部２３と監視記憶部２４とを備える。この監視制御部１２は、監視記憶部２４に記憶されたプログラムに基づいて、監視装置１０すなわち三次元光測定部１１および報知部１３の動作を統括的に制御する。また、監視制御部１２は、三次元光測定部１１から入力された測定対象の三次元座標（デプスマップＭ）を用いて、保護対象Ｐの監視を行う。この監視制御部１２は、保護対象Ｐの周辺に何も存在しない状態（図３参照）におけるデプスマップＭ（図４参照）を三次元光測定部１１から取得し、それを基準デプスマップＭｂとして設定して、監視記憶部２４や内部メモリ等に適宜記憶する。また、監視制御部１２は、保護対象Ｐを監視する際には、監視下の保護対象Ｐを含むデプスマップＭ（図４、図６（ｂ）参照）を三次元光測定部１１から適宜取得し、それを監視デプスマップＭｗとして設定して、監視記憶部２４や内部メモリ等に適宜記憶する。その監視デプスマップＭｗでは、保護対象Ｐを監視する際に取得するものであることから、保護対象Ｐの周辺に何も存在しない場合（図３参照）と、保護対象Ｐの周辺に何らかの物体（後述する特定物体Ｏｓ等）が存在する場合（図６（ｂ）参照）と、がある。そして、監視制御部１２では、基準デプスマップＭｂと監視デプスマップＭｗとに基づいて、監視領域設定部２１と形状検出部２２と監視状態判定部２３とが適宜動作することにより、保護対象Ｐの監視を行う。

その監視領域設定部２１は、三次元光測定部１１からの測定対象の三次元座標としての基準デプスマップＭｂに基づいて、図５に示す監視領域Ａｗを設定する。その監視領域Ａｗは、保護対象Ｐに触れられることを防止するために設定するものであり、保護対象Ｐに対して所定の距離以内となる領域に設定する。監視領域Ａｗでは、形状検出部２２が後述する特定物体Ｏｓを検出することで、当該特定物体Ｏｓが保護対象Ｐに対して過度に近付くことを防止する。監視制御部１２は、実施例１では、保護対象Ｐから所定の距離値となる位置に監視境界Ｂｗを設定し、その監視境界Ｂｗと保護対象Ｐとの間の空間を監視領域Ａｗとする。

その監視境界Ｂｗは、保護対象Ｐの周辺に何も存在しない状態（図３参照）における基準デプスマップＭｂ（図４参照）に基づいて、当該保護対象Ｐからの距離値が所定の値ｄｐとなる位置に設定する。その所定の値ｄｐは、予め定めてあるものであっても良く、監視制御部１２（監視装置１０）またはそこに接続された操作部に対する入力操作により適宜設定するものであっても良い。監視境界Ｂｗは、実施例１では、基準デプスマップＭｂが示す各点すなわち壁面Ｗであるか保護対象Ｐであるかに拘わらず深度方向（Ｚ軸方向）で見て所定の値ｄｐとなる位置に設定し、所定の値ｄｐの一例として３０ｃｍに設定する。このように、監視制御部１２は、三次元光測定部１１から基準デプスマップＭｂを取得すると、その基準デプスマップＭｂに対して深度方向（Ｚ軸方向）で見て所定の値ｄｐ（３０ｃｍ）となる位置に各監視境界Ｂｗを設定することで、監視領域Ａｗを設定する。

形状検出部２２は、三次元光測定部１１からの測定対象の三次元座標としての監視デプスマップＭｗと基準デプスマップＭｂとを用いて、監視領域Ａｗに、特定形状を有する特定物体Ｏｓ（図６参照）が存在するか否かを検出する。その特定物体Ｏｓは、保護対象Ｐに触れる虞がある物体を監視対象とすべく設定するものであり、例えば人の指や手、指示棒等が挙げられる。実施例１では、人の指、人の手および指示棒を特定物体Ｏｓ（特定形状）に設定する。形状検出部２２は、特定物体Ｏｓとして予め設定した物体の形状（そのデータ）すなわち特定形状に適合する形状の物体が監視領域Ａｗに存在するか否かを検出する。その特定形状（特定物体Ｏｓ）は、予め定めてあるものであっても良く、監視制御部１２（監視装置１０）またはそこに接続された操作部に対する入力操作により適宜設定するものであっても良い。

実施例１では、定めた特定物体Ｏｓに対して、様々な方向から見た際の形状や個人差による大きさ寸法等の変化分等の情報を、特定形状（その情報）として設定する。これにより、形状検出部２２では、特定形状に適合する形状の物体を検出することで、定めた特定物体Ｏｓの検出をロバストに、すなわち当該物体の写り方等の外乱の影響を極めて小さなものとしてより適切に特定物体Ｏｓを検出することができる。この形状検出部２２における実施例１での特定物体Ｏｓの検出の様子を、図６を用いて説明する。

先ず、図６（ａ）に示すように、監視下の保護対象Ｐに対する監視領域Ａｗに手Ｈが存在しているものとする。すると、三次元光測定部１１は、保護対象Ｐの手前の監視領域Ａｗに手Ｈが存在する三次元座標を測定してデプスマップＭ（図６（ｂ）参照）を生成し、監視制御部１２へと出力する。すると、監視制御部１２は、監視下の保護対象Ｐを含むデプスマップＭ（図６（ｂ）参照）を監視デプスマップＭｗとして設定する。その監視デプスマップＭｗでは、図６（ｂ）に示すように、保護対象Ｐ（絵画）を示す箇所の深度値（Ｚ軸座標）に対して、手Ｈ（特定物体Ｏｓ）を示す箇所の深度値（Ｚ軸座標）が浮き上がっている。

先ず、形状検出部２２は、その監視デプスマップＭｗ（図６（ｂ）参照）と、保護対象Ｐの周辺に何も存在しない状態（図３参照）を示す基準デプスマップＭｂ（図４参照）と、を取得する。そして、形状検出部２２は、監視デプスマップＭｗから基準デプスマップＭｂを減算することにより、差分を示す差分デプスマップＭｄ（図６（ｃ）参照）を生成する。その差分デプスマップＭｄは、保護対象Ｐの手前に手Ｈ（特定物体Ｏｓ）が存在する監視デプスマップＭｗから、保護対象Ｐの周辺に何も存在しない状態でのＸ−Ｙ平面で見た各点に対する深度値（Ｚ軸座標）を取り除いたものとなる。このため、差分デプスマップＭｄは、図６（ｃ）に示すように、背景（図６の例では保護対象Ｐ（絵画）および壁面Ｗ）をＺ軸座標が零となる基準値Ｒｆとして手Ｈ（特定物体Ｏｓ）を示す三次元座標となる。これは、監視デプスマップＭｗおよび基準デプスマップＭｂには、いずれにも壁面Ｗと保護対象Ｐとが存在することから、それらを示す深度値（Ｚ軸座標）が相殺されることによる。このことから、差分デプスマップＭｄでは、保護対象Ｐの手前に何らの物体も存在しない場合、Ｘ−Ｙ平面で見た各点において深度値（Ｚ軸座標）が零となる。

次に、形状検出部２２は、差分デプスマップＭｄの各点の深度値が零の場合、すなわち保護対象Ｐの手前に何らの物体が存在しない場合には特定物体Ｏｓを検出していないと判断する。また、形状検出部２２は、差分デプスマップＭｄにおける複数の点が深度値を有する場合、すなわち保護対象Ｐの手前に何か物体が存在する場合、当該物体が特定物体Ｏｓに該当するか否かを判断すべく検出動作を継続する。このため、図６に示す例では、差分デプスマップＭｄ（図６（ｃ）参照）に深度値（Ｚ軸座標）として物体が表れているので、当該物体が特定物体Ｏｓに該当するか否かを判断すべく検出動作を継続する。

次に、形状検出部２２は、保護対象Ｐの手前に存在する物体が監視制御部１２の監視領域設定部２１で設定した監視領域Ａｗに位置するか否かを判断する。形状検出部２２は、監視領域Ａｗに位置しない場合には特定物体Ｏｓを検出していないと判断し、監視領域Ａｗに位置する場合には当該物体が特定物体Ｏｓに該当するか否かを判断すべく検出動作を継続する。この当該物体が監視領域Ａｗに位置するか否かの判断は、実施例１では、差分デプスマップＭｄにおける物体を表す深度値（Ｚ軸座標）ｄｓが、監視境界Ｂｗとしての所定の値ｄｐ（図５参照）よりも大きいか否かを判断することで行うことができる。これは、差分デプスマップＭｄにおける物体を表す深度値ｄｓは、Ｚ軸座標で見て背景（保護対象Ｐ（絵画））を基準とした手Ｈ（特定物体Ｏｓ）を示す三次元座標となることによる。図６に示す例では、差分デプスマップＭｄに表れている物体が監視領域Ａｗに位置するので、当該物体が特定物体Ｏｓに該当するか否かを判断すべく検出動作を継続する。

次に、形状検出部２２は、差分デプスマップＭｄに表れる物体が、特定形状に適合するか否かを判断する。この形状検出部２２は、当該物体が特定形状に適合する場合には当該物体を特定物体Ｏｓとして検出し、当該物体が特定形状に適合しない場合には当該物体を特定物体Ｏｓとして検出しない。その特定形状に適合するか否かの判断は、差分デプスマップＭｄに表れた物体と、特定物体Ｏｓとして設定した特定形状と、のマッチング処理を行うことにより行う。形状検出部２２は、差分デプスマップＭｄに表れる物体（手Ｈ）が、特定物体Ｏｓとして設定した人の指、人の手または指示棒を表すいずれかの特定形状に適合するものであるのか否かを判断する。そして、形状検出部２２は、図６に示す例では、差分デプスマップＭｄに表れる物体（手Ｈ）が人の手を表す特定形状に適合することから、当該物体（手Ｈ）を特定物体Ｏｓとして検出する。これにより、形状検出部２２では、監視領域Ａｗに特定物体Ｏｓ（手Ｈ）が存在することを検出することができる。

なお、形状検出部２２は、差分デプスマップＭｄに深度値（Ｚ軸座標）ｄｓとして表れる物体の大きさ寸法に基づいて、当該物体が特定形状に適合するか否かの判断を行うものであってもよい。この場合、特定形状（特定物体Ｏｓ）の大きさ寸法（占有面積）を予め設定し、その大きさ寸法（占有面積）と差分デプスマップＭｄに深度値ｄｓとして表れる物体の大きさ寸法とが近いものであるか否かを判断することで行うことができる。すなわち、特定形状（特定物体Ｏｓ）として設定した大きさ寸法（占有面積）に対して、差分デプスマップＭｄに表れる物体の大きさ寸法が所定の範囲内である場合には当該物体を特定物体Ｏｓとして検出する。また、形状検出部２２は、上記した２つ（特徴および大きさ寸法）を併せて用いることで、特定形状であるか否かの判断を行うものであってもよく、実施例１の構成に限定されるものではない。さらに、形状検出部２２では、特定物体Ｏｓ（特定形状）として、単一の物体を設定してもよく、実施例１とは異なる数の物体を設定してもよく、実施例１の構成に限定されるものではない。

監視状態判定部２３は、形状検出部２２による特定物体Ｏｓ（特定形状）の検出結果を用いて、予め設定された判定式に基づいて監視領域Ａｗの状態が「正常」であるのか「異常」であるのかを判定する。この監視状態判定部２３（その判定式）は、例えば、特定物体Ｏｓを検出しない場合には、保護対象Ｐの近傍に特定物体Ｏｓが存在しないことから、監視領域Ａｗの状態が「正常」であると判定する。また、監視状態判定部２３（その判定式）は、特定物体Ｏｓを検出した場合、それだけをもって監視領域Ａｗの状態が「異常」であると判定してもよく、複数の特定物体Ｏｓを検出すると「異常」であると判定するものとしてもよい。ここでいう複数とは、一種類の特定物体Ｏｓが複数存在してもよく、異なる種類の特定物体Ｏｓが存在してもよい。このように複数の特定物体Ｏｓを検出すると監視領域Ａｗの状態が「異常」であると判定する場合、単一の特定物体Ｏｓを検出しても監視領域Ａｗの状態が「正常」であると判定する。監視状態判定部２３（その判定式）は、実施例１では、単一の特定物体Ｏｓを検出した場合には「正常」であると判定し、複数の特定物体Ｏｓを検出した場合には「異常」であると判定する。

報知部１３は、監視制御部１２の制御下で、監視状態判定部２３での判定に基づいて報知するものであり、実施例１では監視状態判定部２３で判定した監視領域Ａｗの状態が「異常」であることの報知を行う。この報知は、特定物体Ｏｓが保護対象Ｐに触れることを防止するためのものであり、当該特定物体Ｏｓを有する者に対して警告したり、特定物体Ｏｓが保護対象Ｐの近傍に存在していることを監視員に通報したりするものである。この報知部１３は、実施例１では、監視状態判定部２３で監視領域Ａｗの状態が「異常」であると判定すると、警告音を発するとともに監視員に通報する。

次に、本発明に係る監視装置としての実施例１の監視装置１０の監視制御部１２（図１参照）において実行される、保護対象Ｐを監視する監視処理について、図７を用いて説明する。その図７は、実施例１における監視制御部１２にて実行される監視方法の一例としての監視処理（監視処理方法）を示すフローチャートである。この監視処理（監視処理方法）は、監視制御部１２の監視記憶部２４に記憶されたプログラムに基づいて、監視制御部１２が実行する。以下では、この監視処理（監視処理方法）としての図７のフローチャートの各ステップＳ（各工程）について説明する。この図７のフローチャートは、監視装置１０が設置されて保護対象Ｐの監視を開始する要求が為されると開始される。

ステップＳ１では、三次元光測定部１１から保護対象Ｐを含む基準デプスマップＭｂ（図４参照）を取得して、ステップＳ２へ進む。このステップＳ１では、三次元光測定部１１が保護対象Ｐの周辺に何も存在しない状態（図３参照）におけるデプスマップＭ（図４参照）を生成し、そのデプスマップＭ（そのデータ）を監視制御部１２に出力する。ステップＳ１では、三次元光測定部１１から入力されたデプスマップＭを基準デプスマップＭｂとして設定し、その基準デプスマップＭｂを監視記憶部２４や内部メモリ等に適宜記憶する。このため、ステップＳ１は、保護対象Ｐに向けた視野Ｖ内の三次元座標を測定する三次元光測定工程として機能する。

ステップＳ２では、ステップＳ１での基準デプスマップＭｂの取得に続き、監視領域Ａｗを設定して、ステップＳ３へ進む。このステップＳ２では、監視制御部１２の監視領域設定部２１が、基準デプスマップＭｂに対して深度方向（Ｚ軸方向）で見て所定の値ｄｐ（３０ｃｍ）となる位置に各監視境界Ｂｗを設定して、監視領域Ａｗを設定する（図５参照）。そして、ステップＳ２では、設定した監視領域Ａｗを監視記憶部２４や内部メモリ等に適宜記憶する。このように、ステップＳ１からステップＳ２は、監視装置１０が保護対象Ｐを監視するために必要となる基準デプスマップＭｂの取得と監視領域Ａｗの設定とを行う。このため、ステップＳ１からステップＳ２は、保護対象Ｐを監視する直前に行うものであってもよく、保護対象Ｐの監視を開始するよりも以前に予め行うものであってもよい。後者の場合、ステップＳ１およびステップＳ２で得て内部メモリ等に記憶した基準デプスマップＭｂおよび監視領域Ａｗを、保護対象Ｐの監視を開始する際に内部メモリ等から読み出すものとする。このため、ステップＳ２は、測定した保護対象Ｐの三次元座標を基準として監視領域Ａｗを設定する監視領域設定工程として機能する。

ステップＳ３では、ステップＳ２での監視領域Ａｗの設定、あるいは、ステップＳ７での保護対象Ｐの監視を終了する要求が為されていないとの判断に続き、三次元光測定部１１により監視下の保護対象Ｐを含む監視デプスマップＭｗ（図４、図６（ｂ）参照）を取得して、ステップＳ４へ進む。このステップＳ３では、三次元光測定部１１が監視下とする保護対象Ｐを含むデプスマップＭ（図４、図６（ｂ）参照）を生成し、そのデプスマップＭ（そのデータ）を監視制御部１２に出力する。ステップＳ３では、三次元光測定部１１から入力されたデプスマップＭを監視デプスマップＭｗとして設定し、その監視デプスマップＭｗを監視記憶部２４や内部メモリ等に適宜記憶する。このため、ステップＳ３は、保護対象Ｐに向けた視野Ｖ内の三次元座標を測定する三次元光測定工程として機能する。

ステップＳ４では、ステップＳ３での監視デプスマップＭｗの取得に続き、特定物体Ｏｓが存在するか否かを判断し、ＹＥＳの場合はステップＳ５へ進み、ＮＯの場合はステップＳ７へ進む。このステップＳ４では、監視制御部１２の形状検出部２２が、ステップＳ２で設定した監視領域Ａｗに特定物体Ｏｓが存在するか否かを判断する。形状検出部２２は、ステップＳ３で取得した監視デプスマップＭｗからステップＳ１で取得した基準デプスマップＭｂを減算して差分デプスマップＭｄ（図６（ｃ）参照）を生成する。そして、形状検出部２２は、差分デプスマップＭｄに基づいて保護対象Ｐの手前に何らの物体が存在しない場合には特定物体Ｏｓを検出しないと判断する。また、形状検出部２２は、保護対象Ｐの手前に何か物体が存在した場合であっても、当該物体が監視領域Ａｗに位置しない場合には特定物体Ｏｓを検出しないと判断する。そして、形状検出部２２は、保護対象Ｐの手前に存在した物体が監視領域Ａｗに位置する場合であっても、当該物体が特定形状に適合しない場合には特定物体Ｏｓを検出しないと判断する。ついで、形状検出部２２は、保護対象Ｐの手前に存在する物体が監視領域Ａｗに位置して特定形状に適合する場合には、特定物体Ｏｓの存在を検出したと判断する。このため、ステップＳ４は、三次元光測定部１１で測定した三次元座標に基づいて、設定した特定形状を有する特定物体Ｏｓが監視領域Ａｗに存在することを検出する形状検出工程として機能する。

ステップＳ５では、ステップＳ４での特定物体Ｏｓが存在するとの判断に続き、監視領域Ａｗの状態が「正常」であるのか否かを判定し、ＹＥＳの場合はステップＳ７へ進み、ＮＯの場合はステップＳ６へ進む。このステップＳ５では、監視制御部１２の監視状態判定部２３が、ステップＳ４での特定物体Ｏｓ（特定形状）の検出結果を用いて、予め設定された判定式に基づき監視領域Ａｗの状態が「正常」であるのか「異常」であるのかを判定する。実施例１のステップＳ５では、予め設定された判定式に基づいて、ステップＳ４で単一の特定物体Ｏｓを検出した場合には「正常」であると判定してステップＳ７へ進む。また、実施例１のステップＳ５では、ステップＳ４で複数の特定物体Ｏｓを検出した場合には「異常」であると判定し、保護対象Ｐに触れられる虞があることからステップＳ６へ進む。このため、ステップＳ５は、形状検出工程（ステップＳ４）での検出結果に基づいて監視領域Ａｗの状態を判定する監視状態判定工程として機能する。

ステップＳ６では、ステップＳ５での監視領域Ａｗの状態が「正常」ではないとの判定に続き、報知部１３による報知を行って、ステップＳ７へ進む。このステップＳ６では、監視領域Ａｗの状態が「異常」であると判定したことから、報知部１３により報知を行う。実施例１のステップＳ６では、警告音を発するとともに、監視領域Ａｗの状態が「異常」である旨を監視員に通報する。このため、ステップＳ６は、監視状態判定部２３（監視状態判定工程）での判定に基づいて報知する報知工程として機能する。この報知部１３による報知は、報知を終了する旨の要求が為されると停止する。

ステップＳ７では、ステップＳ４での特定物体Ｏｓが存在しないとの判断、あるいは、ステップＳ５での監視領域Ａｗの状態が「正常」であるとの判定、あるいは、ステップＳ６での報知部１３による報知に続き、保護対象Ｐの監視を終了する要求が為されたか否かを判断し、ＹＥＳの場合はこの監視処理（監視処理方法）を終了し、ＮＯの場合はステップＳ３へ戻る。このステップＳ７では、監視処理（監視処理方法）を終了する旨の要求、例えば、監視制御部１２（監視装置１０）またはそこに接続された操作部に対する入力操作により監視処理（監視処理方法）を終了する旨の操作が為されたか否かを判断する。そして、ステップＳ７では、監視処理（監視処理方法）を終了する旨の要求が為されていない場合、保護対象Ｐの監視を継続すべくステップＳ３へ戻る。

次に、監視装置１０により保護対象Ｐを監視する様子を説明する。先ず、美術館や博物館等のような展示施設では、様々な展示品が観覧者に対して公開されている。このような展示品は、貴重な文化的作品や美術品であることから確実性を高めて保護されるべき対象であり、多数の観覧者等に触れられることから防止すべく保護対象Ｐとして監視することが求められる。ここで、展示品では、観覧者が手で触れたり、観覧者が指や指示棒で指し示す際に当たったりする等のように、意図的か偶発的かに拘らず触れられることが考えられる。他方、展示品では、展示施設の混雑により観覧者の体の一部が指定された観覧位置からはみ出したり、撮影のためにカメラを向けたりする等のように、触れられる虞がないにも拘わらず何らかの物体が接近することが考えられる。このため、上記したような展示品を保護対象Ｐとして監視する場合、単に保護対象Ｐに接近する物体を検出するだけでは、展示品（保護対象Ｐ）に触れられる虞がない物体であっても検出して過度の監視となる。このため、保護対象Ｐを適切に保護する観点から、展示品（保護対象Ｐ）に触れられる虞がない物体を検出しないことが望ましい。

全ての観覧者が指定された観覧位置から適切に鑑賞している場合には、監視領域Ａｗに何らの物体が存在しない。すると、監視装置１０では、図７のフローチャートにおいてステップＳ１→ステップＳ２→ステップＳ３→ステップＳ４へと進み、特定物体Ｏｓを検出できないので、そのステップＳ３→ステップＳ４を繰り返す。このため、監視装置１０では、報知部１３からは何らの報知を行わない。このため、監視装置１０では、適切に鑑賞している観覧者を驚かすこともなく、監視員に負荷をかけることもない。

また、観覧者が保護対象Ｐを動かそうとして、監視領域Ａｗに両手が侵入したものとする。すると、監視装置１０では、図７のフローチャートにおいてステップＳ１→ステップＳ２→ステップＳ３→ステップＳ４へと進むことで、監視領域Ａｗに存在し特定形状に適合する両手をそれぞれ特定物体Ｏｓとして検出する。そして、監視装置１０では、図７のフローチャートにおいてステップＳ５→ステップＳ６へと進むことで、検出した特定物体Ｏｓが２つ存在することから、監視領域Ａｗの状態が「異常」であると判定して報知部１３が報知を行う。これにより、監視装置１０では、保護対象Ｐを動かそうとした観覧者に警告を発することができ、かつ保護対象Ｐが触れられそうなことを監視員に通報することができる。

そして、複数の観覧者が指や指示棒で保護対象Ｐを指し示しており、その指や指示棒が保護対象Ｐに近かった場合には、監視領域Ａｗに指や指示棒が侵入する。すると、監視装置１０では、図７のフローチャートにおいてステップＳ１→ステップＳ２→ステップＳ３→ステップＳ４へと進むことで、監視領域Ａｗに存在し特定形状に適合する指と指示棒とを特定物体Ｏｓとして検出する。そして、監視装置１０では、図７のフローチャートにおいてステップＳ５→ステップＳ６へと進むことで、検出した特定物体Ｏｓが２つ以上存在することから、監視領域Ａｗの状態が「異常」であると判定して報知部１３が報知を行う。これにより、監視装置１０では、指や指示棒で指し示していた観覧者に警告を発することができ、かつ保護対象Ｐが触れられそうなことを監視員に通報することができる。

展示施設の混雑により観覧者の体の一部が指定された観覧位置からはみ出した場合には、監視領域Ａｗに体の一部が侵入する。すると、監視装置１０では、図７のフローチャートにおいてステップＳ１→ステップＳ２→ステップＳ３→ステップＳ４へと進むことで、監視領域Ａｗに何らかの物体は存在するが、当該物体が特定形状に適合しないので特定物体Ｏｓとして検出しない。そして、監視装置１０では、図７のフローチャートにおいてステップＳ７→ステップＳ３→ステップＳ４を繰り返すことで、報知部１３からは何らの報知を行わない。このため、監視装置１０では、混雑により観覧位置からはみ出してしまっただけであって保護対象Ｐに触れられる虞がない物体を検出することはなく、そのはみ出した観覧者を驚かすこともなく、監視員に負荷をかけることもない。このことは、撮影のためにカメラを向けることにより、当該カメラが監視領域Ａｗに侵入してした場合であっても同様である。

本発明に係る監視装置の実施例１の監視装置１０では、三次元光測定部１１が、保護対象Ｐに向けた視野Ｖ内の三次元座標を測定し、監視領域設定部２１が、三次元光測定部１１で測定した保護対象Ｐの三次元座標を基準として監視領域Ａｗを設定する。そして、監視装置１０では、形状検出部２２が、三次元光測定部１１からの三次元座標に基づいて特定物体Ｏｓの監視領域Ａｗでの存在の有無を検出し、監視状態判定部２３が、形状検出部２２での検出結果に基づき監視領域Ａｗの状態が正常か否かを判定する。このため、監視装置１０では、監視領域Ａｗに物体が存在しても、当該物体の三次元形状が特定形状に該当すると特定物体Ｏｓとして検出し、当該物体の三次元形状が特定形状に該当しないと特定物体Ｏｓとして検出しない。これにより、監視装置１０では、設定した複数の検知面に対する物体の高さ位置や各検知面において物体が占有する面積等の情報に基づき当該物体を検出することとは異なり、監視領域Ａｗに侵入する物体を選別して検出して保護対象Ｐを監視することができる。

また、監視装置１０では、監視領域Ａｗに侵入する物体を選別して検出することができるため、保護対象Ｐの性質や保護対象Ｐが置かれた環境等に応じて特定形状を設定することで、より適切に保護対象Ｐを監視することができる。このため、監視装置１０では、手で触れることのように意図的に保護対象Ｐに危害を加えるような動作に対しては報知処理を行うことができる。また、監視装置１０では、体の一部が監視領域Ａｗに偶発的に入った等の動作や、意図的ではあってもカメラを監視領域Ａｗに侵入させる動作に対しては報知処理を行わないことができる。このように、監視装置１０では、保護対象Ｐに即した監視を行うことができ、より適切に保護対象Ｐを監視することができる。

さらに、監視装置１０では、三次元光測定部１１で測定した三次元座標を用いて設定した監視領域Ａｗに特定物体Ｏｓが存在するか否かに基づいて、監視領域Ａｗの状態が正常であるか否かを判定する。このため、監視装置１０では、特定物体Ｏｓが監視領域Ａｗ内に存在するのか監視領域Ａｗ外に存在するのか、すなわち保護対象Ｐに対する特定物体Ｏｓの距離に応じて監視領域Ａｗの状態が正常であるか否かを判定することができる。換言すると、監視装置１０では、特定物体Ｏｓを検出した場合であっても、監視領域Ａｗ内に存在しない場合には、監視領域Ａｗの状態が正常であると判定することができる。このことから、監視装置１０では、２次元情報を取得することで保護対象Ｐに対する物体の距離を把握できない一般的な監視カメラと比較して、より適切に保護対象Ｐを監視することができる。

監視装置１０では、保護対象Ｐの三次元座標を用いて監視領域Ａｗを設定し、三次元座標を用いて特定物体Ｏｓの監視領域Ａｗでの存在の有無を検出して監視領域Ａｗの状態が正常であるか否かを判定する。このため、監視装置１０では、保護対象Ｐを変えた場合であっても、三次元光測定部１１で保護対象Ｐの三次元座標を測定することで新たな保護対象Ｐに適切に対応して当該保護対象Ｐを監視することができる。これにより、監視装置１０では、保護対象Ｐを選ぶことがなく、汎用性を高めつつ適切な監視を実現することができる。

監視装置１０では、保護対象Ｐの三次元座標を用いることで、保護対象Ｐの形状に合わせて監視領域Ａｗを設定することができる。このため、監視装置１０では、簡易な構成で、より適切に保護対象Ｐを監視することができる。

監視装置１０では、特定形状（特定物体Ｏｓ）として人の手を設定していることから、観覧者が保護対象Ｐに触れようとすることを確実に検出することができる。

監視装置１０では、特定形状（特定物体Ｏｓ）として人の指を設定していることから、観覧者が保護対象Ｐに触れようとしたり指し示す際に誤って当たったりすることを確実に検出することができる。

監視装置１０では、三次元光測定部１１を、基準パターンを投影しその基準パターンを撮像した撮像画像から三次元座標を得るパターン投影法を用いるものであることから、簡易な構成でかつ少ないコストで三次元形状を測定することができる。

監視装置１０では、観覧者と展示品（保護対象Ｐ）との間に空間的に仕切りや隔たりを設ける場合と比較して、観覧者と展示品との間に物体を存在させたり、観覧者と展示品との間の距離を遠くさせたりすることを防止することができる。その空間的な仕切りとしては、展示品を頑丈なガラスケースに入れて公開する等があり、空間的な隔たりとしては、展示品から離れた場所に観覧スペースを設ける等がある。このため、監視装置１０では、観覧者に臨場感を味わわせることや観覧者に満足感を与えることを可能としつつ、適切に展示品（保護対象Ｐ）を監視することができる。

監視装置１０では、監視カメラからの映像を監視員が目視で監視する場合と比較して、高い信頼性で保護対象Ｐを監視することができる。これは、監視員が監視する場合、監視員の疲労に起因して危険動作の見落としや危険動作か否かの見誤りが生じやすいことに対して、監視装置１０ではそのようなリスクが無いことによる。

監視装置１０では、赤外光照射センサにより監視を行う場合と比較して、簡易な構成としつつ保護対象Ｐをより適切に監視することができる。これは、以下のことによる。赤外光照射センサを用いる場合、赤外光を遮断するものは全て検知するので、監視領域Ａｗに侵入する物体を選別して検出することができない。また、照射する赤外光は直線的に進行することから、単一の赤外光照射センサでは保護対象Ｐの形状に合わせて監視領域Ａｗを設定することができず、保護対象Ｐの形状に合わせるには複数の赤外光照射センサを用いる必要がある。これに対して、監視装置１０では、三次元座標に基づいて特定物体Ｏｓの監視領域Ａｗでの存在の有無の検出に基づいて監視領域Ａｗの状態が正常か否かを判定するので、監視領域Ａｗに侵入する物体を選別して検出することができる。また、監視装置１０では、保護対象Ｐの三次元座標を用いることで保護対象Ｐの形状に合わせて監視領域Ａｗを設定することができるので、当該保護対象Ｐに対して複数用いる必要がない。

したがって、本発明に係る監視装置としての実施例１の監視装置１０では、保護対象Ｐに接近した物体のうち、保護対象Ｐを保護する観点から選別した物体を検出して監視することができる。

なお、実施例１では、三次元光測定部１１を、一例として、測定対象に基準パターンを投影し、撮影画像におけるパターン形状から三次元座標を得るパターン投影法を用いるものとしている。しかしながら、三次元光測定部１１は、測定対象に向けた所定の視野Ｖを有し、その視野Ｖ内の三次元座標を測定する機能を有するものであれば、他の方法を用いるものであってもよく、実施例１の構成に限定されるものではない。その他の方法を用いる一例としての三次元光測定部１１１を図８に示し、他の一例としての三次元光測定部１１２を図９に示す。

三次元光測定部１１１は、図８に示すように、視点の異なる２枚以上の撮影画像の視差から三次元座標を得るステレオ法を用いる。三次元光測定部１１１は、第１撮像部２５と第２撮像部２６とそれらに接続する測定制御部１６１と、を備える。その第１撮像部２５と第２撮像部２６とは、互いに異なる視点であって所定の位置関係および姿勢とされて設けられ、視点の異なる２枚の撮影画像を取得する。測定制御部１６１は、基本的に三次元光測定部１１の測定制御部１６と同様の構成であり、駆動制御部１７と三次元座標計算部１８１と測定記憶部１９とを備え、その測定記憶部１９に記憶されたプログラムに基づいて三次元光測定部１１１の動作を統括的に制御する。その三次元座標計算部１８１は、第１撮像部２５および第２撮像部２６から所定の視差を有する２枚の撮影画像を取得し、両撮影画像での各画素（各点）の対応付けることにより、三角測量の原理により各画素（各点）までの深度方向距離を算出する。このため、三次元座標計算部１８１では、第１撮像部２５と第２撮像部２６との双方の撮影画像に写し出される範囲が、三次元座標を測定することのできる視野Ｖとなる。なお、三次元光測定部１１１では、２つの撮像部（２５、２６）を用いているが、視点の異なる２枚以上の撮影画像の視差から三次元座標を得るべく３つ以上の撮像部を用いるものであってもよく、図８に示す例に限定されるものではない。

三次元光測定部１１２は、図９に示すように、物体に照射した光が反射により戻って来るまでの時間（光の飛行時間）から三次元座標を得る光飛行時間法（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ（ＴｏＦ））を用いる。この三次元光測定部１１２は、照明部２７と受光部２８とそれらに接続する測定制御部１６２と、を備える。照明部２７は、測定対象に向けて照明光を照射し、受光部２８は、当該測定対象で反射された照明光の反射光を受光する。この照明部２７は、照明光として近赤外光を出射するものとすることが望ましい。測定制御部１６２は、基本的に三次元光測定部１１の測定制御部１６と同様の構成であり、駆動制御部１７と三次元座標計算部１８２と測定記憶部１９とを備え、その測定記憶部１９に記憶されたプログラムに基づいて三次元光測定部１１２の動作を統括的に制御する。その三次元座標計算部１８２は、照明光を出射した時間と反射光を受光した時間との時間差から照明光（反射光）の飛行時間を求めることにより、測定対象の各点までの距離を算出する。このため、三次元座標計算部１８２では、照明部２７により照明光を照射する範囲が、三次元座標を測定することのできる視野Ｖとなる。

また、実施例１では、単一の物体（実施例１では展示品としての絵画）を保護対象Ｐとしていたが、監視装置１０の視野Ｖに保護対象を位置させるものであれば、複数の物体を保護対象とするものであってもよく、実施例１の構成に限定されるものではない。その複数の物体を保護対象とする一例を図１０に示す。図１０では、視野Ｖに、実施例１と同様の絵画（Ｐ１）と、一例として様々な展示品のうちの彫刻（Ｐ２）と、を位置させて、監視装置１０を設けている。このため、図１０に示す例の監視装置１０では、絵画を第１保護対象Ｐ１とするとともに、彫刻を第２保護対象Ｐ２としている。監視装置１０では、このような場合であっても、実施例１と同様に第１保護対象Ｐ１および第２保護対象Ｐ２のそれぞれ対して監視領域Ａｗを設定することができ、それらの監視を行うことができる。このように複数の保護対象を設定した場合、監視装置１０では、保護対象毎に監視領域Ａｗの状態が「正常」であるか否かを判定し、それぞれの判定に応じて報知部１３による報知を行うものとすることが望ましい。これは、監視装置１０では、三次元光測定部１１からの三次元座標に基づいて設定した各保護対象に対して監視領域Ａｗへの特定物体Ｏｓへの侵入の有無を検出することができるので、何れの保護対象に対して特定物体Ｏｓが接近しているのかの判断が可能であることによる。

さらに、実施例１では、深度方向（Ｚ軸方向）で見て所定の値ｄｐ（実施例１では３０ｃｍ）となる位置に監視境界Ｂｗを設定することにより、保護対象Ｐの手前に監視領域Ａｗを設定している。しかしながら、監視領域Ａｗは、保護対象Ｐを保護する観点から接近する特定物体Ｏｓを検出する領域であれば、保護対象Ｐに対して上下方向や左右方向にも所定の値を有するものとしてもよく、実施例１の構成に限定されるものではない。

実施例１では、形状検出部２２（図７のフローチャートのステップＳ４）が、保護対象Ｐの手前に物体が存在するか否かを判断し、当該物体が監視領域Ａｗに位置するか否かを判断してから、当該物体が特定形状に適合するか否かを判断している。しかしながら、形状検出部２２（ステップＳ４（形状検出工程））は、監視領域Ａｗに存在するか否かに拘わらず保護対象Ｐの周辺に存在する物体が特定物体Ｏｓであるか否か（特定形状に適合するか否か）を判断するものであればよい。この場合、監視状態判定部２３（ステップＳ５（監視状態判定工程））は、形状検出部２２（ステップＳ４）が検出した特定物体Ｏｓが監視領域Ａｗに存在するか否かを判断する。そして、監視状態判定部２３（ステップＳ５（監視状態判定工程））は、存在する場合は監視領域Ａｗの状態が「異常」と判断し、存在しない場合は監視領域Ａｗの状態が「正常」と判断するものとする。

次に、本発明の監視装置としての実施例２の監視装置１０Ａについて、図１１および図１２を用いて説明する。この実施例２の監視装置１０Ａは、特定物体Ｏｓの動作の情報を用いて、監視領域Ａｗの状態が「正常」であるか否かを判断する例である。この実施例２の監視装置１０Ａは、基本的な概念および構成は上記した実施例１の監視装置１０と同様であることから、等しい概念および構成の個所には同じ符号を付し、その詳細な説明は省略する。

実施例２の監視装置１０Ａでは、図１１に示すように、監視制御部１２Ａが、監視領域設定部２１と形状検出部２２と監視記憶部２４とに加えて、第１監視状態判定部３１と第２監視状態判定部３２と動作検出部３３とを備える。監視制御部１２Ａでは、監視装置１０の監視制御部１２と比較して、監視状態判定部２３として第１監視状態判定部３１と第２監視状態判定部３２とが設けられるとともに、動作検出部３３が追加されている。その第１監視状態判定部３１は、実施例１の監視制御部１２の監視状態判定部２３の構成および処理と同様とされている。

動作検出部３３は、形状検出部２２で検出した特定物体Ｏｓの動作を検出する。この動作検出部３３は、実施例２では、三次元光測定部１１が所定のフレームレートで測定対象の三次元座標を測定して生成した複数のデプスマップＭを、それぞれ時間差を有する複数の監視デプスマップＭｗとして取得する。動作検出部３３は、各監視デプスマップＭｗから基準デプスマップＭｂを減算することにより、時間差を有する複数の差分デプスマップＭｄを生成する。この動作検出部３３は、各差分デプスマップＭｄにおける特定物体Ｏｓの代表位置（例えば、重心点）を求めて、時間の経過順に並べた各差分デプスマップＭｄから特定物体Ｏｓの代表位置の時系列情報を取得する。その時系列情報は、例えば、特定物体Ｏｓの代表位置の移動方向および移動距離等である。動作検出部３３は、予め時間に対する移動距離で示す移動判断閾値を設定し、時系列情報の移動距離が移動判断閾値を超えている場合に特定物体Ｏｓが移動していると判断し、超えていない場合には特定物体Ｏｓが停止していると判断する。また、動作検出部３３は、時系列情報の移動方向から、特定物体Ｏｓが保護対象Ｐ側へと移動している場合には保護対象Ｐに近付いていると判断し、保護対象Ｐ側とは異なる方向へと移動している場合には保護対象Ｐから遠ざかっていると判断する。この動作検出部３３（監視装置１０Ａ）は、三次元光測定部１１からの三次元座標を用いて特定物体Ｏｓの動作を検出することから、特定物体Ｏｓの動作を定量的に判定することができる。

第２監視状態判定部３２は、動作検出部３３による検出結果を用いて、予め設定された判定式に基づいて監視領域Ａｗの状態が「正常」であるのか「異常」であるのかを判定する。この第２監視状態判定部３２（その判定式）は、実施例２では、特定物体Ｏｓが移動していない場合、もしくは、特定物体Ｏｓが保護対象Ｐから遠ざかっている場合には、監視領域Ａｗの状態が「正常」であると判定する。また、第２監視状態判定部３２（その判定式）は、実施例２では、特定物体Ｏｓが保護対象Ｐに近付いている場合には、監視領域Ａｗの状態が「異常」であると判定する。

次に、本発明に係る監視装置としての実施例２の監視装置１０Ａの監視制御部１２Ａ（図１１参照）において実行される、保護対象Ｐを監視する監視処理について、図１２を用いて説明する。その図１２は、実施例２における監視制御部１２Ａにて実行される監視方法の一例としての監視処理（監視処理方法）を示すフローチャートである。この監視処理（監視処理方法）は、監視制御部１２Ａの監視記憶部２４に記憶されたプログラムに基づいて、監視制御部１２Ａが実行する。以下では、この監視処理（監視処理方法）としての図１２のフローチャートの各ステップＳ（各工程）について説明する。この図１２のフローチャートは、監視装置１０Ａが設置されて保護対象Ｐの監視を開始する要求が為されると開始される。

ステップＳ１１では、三次元光測定部１１により保護対象Ｐを含む基準デプスマップＭｂを取得して、ステップＳ１２へ進む。このステップＳ１１は、図７のフローチャートにおけるステップＳ１と同様であり、三次元光測定工程として機能する。

ステップＳ１２では、ステップＳ１１での基準デプスマップＭｂの取得に続き、監視領域Ａｗを設定して、ステップＳ１３へ進む。このステップＳ１２は、図７のフローチャートにおけるステップＳ２と同様であり、監視領域設定工程として機能する。

ステップＳ１３では、ステップＳ１２での監視領域Ａｗの設定、あるいは、ステップＳ１９での保護対象Ｐの監視を終了する要求が為されていないとの判断に続き、三次元光測定部１１により監視下の保護対象Ｐを含む監視デプスマップＭｗを取得して、ステップＳ１４へ進む。このステップＳ１３は、図７のフローチャートにおけるステップＳ３と同様であり、三次元光測定工程として機能する。

ステップＳ１４では、ステップＳ１３での監視デプスマップＭｗの取得に続き、特定物体Ｏｓが存在するか否かを判断し、ＹＥＳの場合はステップＳ１５へ進み、ＮＯの場合はステップＳ１９へ進む。このステップＳ１４は、図７のフローチャートにおけるステップＳ４と同様であり、形状検出工程として機能する。

ステップＳ１５では、ステップＳ１４での特定物体Ｏｓが存在するとの判断に続き、監視領域Ａｗの状態が「正常」であるのか否かを判定し、ＹＥＳの場合はステップＳ１９へ進み、ＮＯの場合はステップＳ１６へ進む。このステップＳ１５では、監視制御部１２Ａの第１監視状態判定部３１が、ステップＳ１４での特定物体Ｏｓ（特定形状）の検出結果を用いて、予め設定された判定式に基づいて監視領域Ａｗの状態が「正常」であるのか「異常」であるのかを判定する。ステップＳ１５では、予め設定された判定式に基づいて、ステップＳ１４で単一の特定物体Ｏｓを検出した場合には「正常」であると判定してステップＳ１９へ進む。また、このステップＳ１５では、ステップＳ１４で複数の特定物体Ｏｓを検出した場合には「異常」であると判定し、特定物体Ｏｓにより保護対象Ｐに触れられる虞があることから、その特定物体Ｏｓの動作を判断すべくステップＳ１６へ進む。このため、ステップＳ１５は、形状検出工程（ステップＳ１４）での検出結果に基づいて特定物体Ｏｓの動作を判断する必要があるか否かを判定する第１監視状態判定工程として機能する。

ステップＳ１６では、ステップＳ１５での監視領域Ａｗの状態が「正常」ではないとの判定に続き、特定物体Ｏｓの動作を検出して、ステップＳ１７へ進む。このステップＳ１６では、ステップＳ１５（第１監視状態判定部３１）で監視領域Ａｗの状態が「異常」であると判定したので、監視制御部１２Ａの動作検出部３３が、ステップＳ１４で検出した特定物体Ｏｓの動作を検出する。ステップＳ１６では、三次元光測定部１１が所定のフレームレートで監視下とする保護対象Ｐを含むデプスマップＭを生成し、そのデプスマップＭ（そのデータ）を監視制御部１２Ａに出力する。ステップＳ１６では、三次元光測定部１１から入力された時間差を有する複数のデプスマップＭをそれぞれ監視デプスマップＭｗとして設定し、各監視デプスマップＭｗを監視記憶部２４や内部メモリ等に適宜記憶する。動作検出部３３は、その各監視デプスマップＭｗを取得し、当該各監視デプスマップＭｗからステップＳ１で取得した基準デプスマップＭｂを減算して時間差を有する複数の差分デプスマップＭｄを生成する。この動作検出部３３は、各差分デプスマップＭｄから特定物体Ｏｓの代表位置の時系列情報を取得する。そして、動作検出部３３は、その時系列情報に基づいて特定物体Ｏｓの動作すなわち特定物体Ｏｓが移動しているか否かを検出し、移動している場合には保護対象Ｐに近付いているか否かを検出する。このため、ステップＳ１６は、三次元光測定部１１で測定した三次元座標に基づいて、特定物体Ｏｓの動作を検出する動作検出工程として機能する。

ステップＳ１７では、ステップＳ１６での特定物体Ｏｓの動作の検出に続き、監視領域Ａｗの状態が「正常」であるのか否かを判定し、ＹＥＳの場合はステップＳ１９へ進み、ＮＯの場合はステップＳ１８へ進む。このステップＳ１７では、監視制御部１２Ａの第２監視状態判定部３２が、ステップＳ１６での特定物体Ｏｓの動作の検出結果を用いて、予め設定された判定式に基づいて監視領域Ａｗの状態が「正常」であるのか「異常」であるのかを判定する。ステップＳ１７では、ステップＳ１６で特定物体Ｏｓが移動していない場合、または、特定物体Ｏｓが保護対象Ｐから遠ざかっている場合には「正常」であると判定してステップＳ１９へ進む。また、このステップＳ１７では、ステップＳ１６で特定物体Ｏｓが保護対象Ｐに近付いている場合には「異常」であると判定し、特定物体Ｏｓにより保護対象Ｐに触れられる虞があることからステップＳ１８へ進む。このため、ステップＳ１７は、動作検出工程（ステップＳ１６）による検出結果に基づいて、監視領域Ａｗの状態を判定する第２監視状態判定工程として機能する。

ステップＳ１８では、ステップＳ１７での監視領域Ａｗの状態が「正常」ではないとの判定に続き、報知部１３による報知を行って、ステップＳ１９へ進む。このステップＳ１８では、特定物体Ｏｓの動作に基づいて監視領域Ａｗの状態が「異常」であると判定したことから、報知部１３により報知を行う。実施例２のステップＳ１８では、警告音を発するとともに、監視領域Ａｗの状態が「異常」である旨を監視員に通報する。このため、ステップＳ１８は、監視状態判定部２３（第１監視状態判定部３１および第２監視状態判定部３２）（監視状態判定工程）での判定に基づいて報知する報知工程として機能する。

ステップＳ１９では、ステップＳ１４での特定物体Ｏｓが存在しないとの判断、あるいは、ステップＳ１５での監視領域Ａｗの状態が「正常」であるとの判定、あるいは、ステップＳ１７での監視領域Ａｗの状態が「正常」であるとの判定、あるいは、ステップＳ１８での報知部１３による報知に続き、保護対象Ｐの監視を終了する要求が為されたか否かを判断し、ＹＥＳの場合はこの監視処理（監視処理方法）を終了し、ＮＯの場合はステップＳ１３へ戻る。このステップＳ１９は、図７のフローチャートにおけるステップＳ７と同様である。

この実施例２の監視装置１０Ａでは、全ての観覧者が指定された観覧位置から適切に鑑賞している場合や、観覧者の体の一部が観覧位置からはみ出してしまった場合や、カメラが撮影のために監視領域Ａｗに侵入してしまった場合は、実施例１と同様に動作する。

そして、観覧者が保護対象Ｐを動かそうとして、監視領域Ａｗに両手が侵入し、その両手が保護対象Ｐに接近したものとする。すると、監視装置１０Ａでは、図１２のフローチャートにおいてステップＳ１１→ステップＳ１２→ステップＳ１３→ステップＳ１４へと進むことにより、監視領域Ａｗに存在し特定形状に適合する両手をそれぞれ特定物体Ｏｓとして検出する。そして、監視装置１０Ａでは、図１２のフローチャートにおいてステップＳ１５へと進むことにより、検出した特定物体Ｏｓが２つ存在することから、監視領域Ａｗの状態が「異常」であると判定して両特定物体Ｏｓの動作を判断する必要があると判定する。すると、監視装置１０Ａでは、図１２のフローチャートにおいてステップＳ１６→ステップＳ１７→ステップＳ１８へと進むことにより、両手が保護対象Ｐに近付いていることから、監視領域Ａｗの状態が「異常」であると判定して報知部１３が報知を行う。これにより、監視装置１０Ａでは、保護対象Ｐを動かそうとした観覧者に警告を発することができ、かつ保護対象Ｐが触れられそうになっていることを監視員に通報することができる。

また、複数の観覧者が指や指示棒で保護対象Ｐを指し示しており、その指や指示棒が観覧位置からはみ出している場合には、監視領域Ａｗに指や指示棒が侵入するが保護対象Ｐに接近することはない。すると、監視装置１０Ａでは、図１２のフローチャートにおいてステップＳ１１→ステップＳ１２→ステップＳ１３→ステップＳ１４へと進むことにより、監視領域Ａｗに存在し特定形状に適合する指と指示棒とを特定物体Ｏｓとして検出する。そして、監視装置１０Ａでは、図１２のフローチャートにおいてステップＳ１５へと進むことにより、検出した特定物体Ｏｓが２つ以上存在することから、監視領域Ａｗの状態が「異常」であると判定して両特定物体Ｏｓの動作を判断する必要があると判定する。すると、監視装置１０Ａでは、図１２のフローチャートにおいてステップＳ１６→ステップＳ１７へと進むことにより、指や指示棒が移動していないもしくは保護対象Ｐから遠ざかっていることから、監視領域Ａｗの状態が「正常」であると判定する。そして、監視装置１０Ａでは、図１２のフローチャートにおいてステップＳ１９→ステップＳ１３→ステップＳ１４→ステップＳ１５→ステップＳ１６→ステップＳ１７→ステップＳ１９を繰り返し、報知部１３からは何らの報知を行わない。このため、監視装置１０Ａでは、単に保護対象Ｐを指し示しているだけであって保護対象Ｐに触れることのない観覧者を驚かすこともなく、監視員に負荷をかけることもない。

実施例２の監視装置１０Ａでは、基本的に実施例１の監視装置１０と同様の構成であることから、基本的に実施例１と同様の効果を得ることができる。

それに加えて、実施例２の監視装置１０Ａでは、特定物体Ｏｓが監視領域Ａｗに存在することで監視領域Ａｗの状態が異常と判定すると、その特定物体Ｏｓの動作を判断し、その動作の判断に基づいて監視領域Ａｗの状態が異常であるか否かの最終的な判定を行う。すなわち、監視装置１０Ａでは、特定物体Ｏｓが監視領域Ａｗに存在することで監視領域Ａｗの状態が異常と判定しても直ちに報知を行うものではなく、さらに特定物体Ｏｓの動作に基づいて監視領域Ａｗの状態が異常であると判断した場合に報知を行う。このように、監視装置１０Ａでは、監視領域Ａｗに特定物体Ｏｓが存在しても、当該特定物体Ｏｓが保護対象Ｐに触れる虞があるものであるのか、当該特定物体Ｏｓが偶発的に監視領域Ａｗに侵入してしまっただけであるのかを判別することができる。これにより、監視装置１０Ａでは、細かく状況に応じて保護対象Ｐの監視を行うことができる。このことから、監視装置１０Ａでは、観覧者が意図せず監視領域Ａｗに侵入した場合に何らの報知もしないことで、過度の報知処理を行うことを防止することができ、監視員への負荷も低減することができる。

また、監視装置１０Ａでは、第２監視状態判定部３２が、特定物体Ｏｓの移動方向に応じて監視領域Ａｗの状態が正常であるか否かを判定するので、特定物体Ｏｓの保護対象Ｐに対する移動の態様を勘案して監視領域Ａｗの状態を判定することができる。このため、監視装置１０Ａでは、特定物体Ｏｓが保護対象Ｐに対して近付いているもしくは遠ざかっている等のように、当該特定物体Ｏｓの具体的な動作に基づいて監視領域Ａｗの状態を判定することができる。これにより、監視装置１０Ａでは、より細かく状況に応じて保護対象Ｐの監視を適切に行うことができる。

したがって、本発明に係る監視装置としての実施例２の監視装置１０Ａでは、保護対象Ｐに接近した物体のうち、保護対象Ｐを保護する観点から選別した物体を検出して監視することができる。

なお、実施例２では、動作検出部３３（ステップＳ１６）において、時系列情報として特定物体Ｏｓの代表位置の移動方向および移動距離を取得している。しかしながら、動作検出部３３（ステップＳ１６）では、時間の経過により得られる動作を時系列情報として取得するものであればよく、実施例２の構成に限定されるものではない。

また、実施例２では、第２監視状態判定部３２（ステップＳ１７）が、特定物体Ｏｓが移動していない場合、または、特定物体Ｏｓが保護対象Ｐから遠ざかっている場合には「正常」であると判定し、報知部１３（ステップＳ１８）による報知は行わない。しかしながら、ステップＳ１７では、第１監視状態判定部３１（ステップＳ１５）により監視領域Ａｗの状態が「異常」と判定されて監視領域Ａｗに特定物体Ｏｓが存在する場面であるので、報知部１３（ステップＳ１８）により報知を行って注意喚起するものであってもよい。このような構成とする場合、注意喚起したにも拘わらず当該特定物体Ｏｓが保護対象Ｐに近付いた際には、報知部１３（ステップＳ１８）でより強力な報知を行うことにより、保護対象Ｐに近付くことに対する警告を行うものとすることもできる。

さらに、実施例２では、第２監視状態判定部３２（ステップＳ１７）が、特定物体Ｏｓが移動していない場合や特定物体Ｏｓが保護対象Ｐから遠ざかっている場合には、監視領域Ａｗの状態が「正常」であると判定している。しかしながら、第２監視状態判定部３２（ステップＳ１７）は、特定物体Ｏｓが保護対象Ｐに触れることが予想される動作である場合に監視領域Ａｗの状態が「異常」であると判定するものであればよく、実施例２の構成に限定されるものではない。

次に、本発明の監視装置としての実施例３の監視装置１０Ｂについて、図１３および図１４を用いて説明する。この実施例３の監視装置１０Ｂは、複数の監視領域を設定する例である。この実施例３の監視装置１０Ｂは、基本的な概念および構成は上記した実施例１の監視装置１０と同様であることから、等しい概念および構成の個所には同じ符号を付し、その詳細な説明は省略する。

実施例３の監視装置１０Ｂでは、図１３に示すように、監視制御部１２の監視領域設定部２１が、監視領域として第１監視領域Ａｗ１と第２監視領域Ａｗ２とを設定する。この第１監視領域Ａｗ１と第２監視領域Ａｗ２とは、保護対象Ｐへの近付き度合に応じて特定物体Ｏｓを段階的に検出すべく設定するものである。監視領域設定部２１は、実施例１と同様に、三次元光測定部１１からの測定対象の三次元座標としての基準デプスマップＭｂに基づいて、第１監視領域Ａｗ１と第２監視領域Ａｗ２とを設定する。第１監視領域Ａｗ１は、保護対象Ｐに対して第１の所定の値以内となる領域に設定し、第２監視領域Ａｗ２は、保護対象Ｐに対して上記した第１の所定の値よりも小さい第２の所定の値以内となる領域に設定する。

監視領域設定部２１は、実施例３では、保護対象Ｐから第１の所定の値としての第１距離ｄｐ１となる位置に第１監視境界Ｂｗ１を設定し、その第１監視境界Ｂｗ１と後述する第２監視境界Ｂｗ２との間の空間を第１監視領域Ａｗ１とする。その第１監視境界Ｂｗ１は、実施例１の監視境界Ｂｗと同様に、保護対象Ｐの周辺に何も存在しない状態（図３参照）における基準デプスマップＭｂ（図４参照）に基づいて、当該保護対象Ｐからの距離値が第１距離ｄｐ１となる位置に設定する。その第１距離ｄｐ１は、予め定めるものであっても良く、監視制御部１２（監視装置１０）またはそこに接続された操作部に対する入力操作により適宜設定するものであっても良い。

また、監視領域設定部２１は、実施例３では、保護対象Ｐから第１距離ｄｐ１よりも小さい第２の所定の値としての第２距離ｄｐ２となる位置に第２監視境界Ｂｗ２を設定し、その第２監視境界Ｂｗ２と保護対象Ｐとの間の空間を第２監視領域Ａｗ２とする。その第２監視境界Ｂｗ２は、実施例１の監視境界Ｂｗと同様に、保護対象Ｐの周辺に何も存在しない状態（図３参照）における基準デプスマップＭｂ（図４参照）に基づいて、当該保護対象Ｐからの距離値が第２距離ｄｐ２となる位置に設定する。その第２距離ｄｐ２は、予め定めてあるものであっても良く、監視制御部１２（監視装置１０）またはそこに接続された操作部に対する入力操作により適宜設定するものであっても良い。

監視状態判定部２３は、実施例１と同様に、形状検出部２２による特定物体Ｏｓ（特定形状）の検出結果を用いて、予め設定された判定式に基づいて監視領域の状態が「正常」であるのか「異常」であるのかを判定する。このとき、監視状態判定部２３は、監視領域として、第１監視領域Ａｗ１および第２監視領域Ａｗ２の双方を用いて判定する。また、監視状態判定部２３は、実施例３では、監視領域の状態が「異常」であると判定した場合、特定物体Ｏｓが、第１監視領域Ａｗ１に存在するのか、第２監視領域Ａｗ２に存在するのか、を判定する。監視状態判定部２３は、実施例３では、差分デプスマップＭｄにおける物体を表す深度値ｄｓ（図６（ｃ）参照）が、第２距離ｄｐ２（第２監視境界Ｂｗ２）よりも小さい場合には第２監視領域Ａｗ２に存在すると判定する。また、監視状態判定部２３は、実施例３では、差分デプスマップＭｄにおける物体を表す深度値ｄｓが、第２距離ｄｐ２値（第２監視境界Ｂｗ２）よりも大きくかつ第１距離ｄｐ１値（第１監視境界Ｂｗ１）よりも小さい場合には第１監視領域Ａｗ１に存在すると判定する。このため、監視状態判定部２３は、実施例３では、複数の監視領域（第１監視領域Ａｗ１および第２監視領域Ａｗ２）毎に当該監視領域の状態が正常であるか否かを判定している。

報知部１３は、実施例３では、監視状態判定部２３により判定された監視領域の状態が「異常」である場合、監視制御部１２の制御下で、特定物体Ｏｓが存在する位置に応じて、段階的な報知を行う。この報知部１３は、実施例３では、特定物体Ｏｓが第１監視領域Ａｗ１に存在する場合には、保護対象Ｐへとさらに近付くことを防止するために、当該特定物体Ｏｓを有する者に対して注意喚起する１段階目の報知を行う。この１段階目の報知（注意喚起）は、実施例４では、注意喚起のための警告としての警告音を発する。また、報知部１３は、実施例３では、特定物体Ｏｓが第２監視領域Ａｗ２に存在する場合には２段階目の報知を行う。この２段階目の報知は、第１監視領域Ａｗ１に存在する際の警告（注意喚起）の後に当該特定物体Ｏｓが保護対象Ｐへと近付いているので、保護対象Ｐを保護するためにより強力な報知を行うものである。２段階目の報知は、実施例４では、注意喚起のための警告音よりも大きな音量等の警告音を発するとともに監視員に通報する。

次に、本発明に係る監視装置としての実施例３の監視装置１０Ｂの監視制御部１２において実行される、保護対象Ｐを監視する監視処理について、図１４を用いて説明する。その図１４は、実施例３における監視制御部１２にて実行される監視方法の一例としての監視処理（監視処理方法）を示すフローチャートである。この監視処理（監視処理方法）は、監視制御部１２の監視記憶部２４に記憶されたプログラムに基づいて、監視制御部１２が実行する。以下では、この監視処理（監視処理方法）としての図１４のフローチャートの各ステップＳ（各工程）について説明する。この図１４のフローチャートは、監視装置１０Ｂが設置されて保護対象Ｐの監視を開始する要求が為されると開始される。

ステップＳ２１では、三次元光測定部１１により保護対象Ｐを含む基準デプスマップＭｂを取得して、ステップＳ２２へ進む。このステップＳ２１は、図７のフローチャートにおけるステップＳ１と同様であり、三次元光測定工程として機能する。

ステップＳ２２では、ステップＳ２１での基準デプスマップＭｂの取得に続き、監視領域Ａｗを設定して、ステップＳ２３へ進む。このステップＳ２２は、図７のフローチャートにおけるステップＳ２と同様であり、監視領域設定工程として機能する。

ステップＳ２３では、ステップＳ２２での監視領域Ａｗの設定、あるいは、ステップＳ２９での保護対象Ｐの監視を終了する要求が為されていないとの判断に続き、三次元光測定部１１により監視下の保護対象Ｐを含む監視デプスマップＭｗを取得して、ステップＳ２４へ進む。このステップＳ２３は、図７のフローチャートにおけるステップＳ３と同様であり、三次元光測定工程として機能する。

ステップＳ２４では、ステップＳ２３での監視デプスマップＭｗの取得に続き、特定物体Ｏｓが存在するか否かを判断し、ＹＥＳの場合はステップＳ２５へ進み、ＮＯの場合はステップＳ２９へ進む。このステップＳ２４は、図７のフローチャートにおけるステップＳ４と同様であり、形状検出工程として機能する。

ステップＳ２５では、ステップＳ２４での特定物体Ｏｓが存在するとの判断に続き、監視領域の状態が「正常」であるのか否かを判定し、ＹＥＳの場合はステップＳ２９へ進み、ＮＯの場合はステップＳ２６へ進む。このステップＳ２５では、監視制御部１２の監視状態判定部２３が、ステップＳ２４での特定物体Ｏｓ（特定形状）の検出結果を用いて、予め設定された判定式に基づいて監視領域の状態が「正常」であるのか「異常」であるのかを判定する。ステップＳ２５では、予め設定された判定式に基づいて、ステップＳ２４で単一の特定物体Ｏｓを検出した場合には「正常」であると判定してステップＳ２９へ進む。また、このステップＳ２５では、ステップＳ２４で複数の特定物体Ｏｓを検出した場合には「異常」であると判定し、特定物体Ｏｓにより保護対象Ｐに触れられる虞があることから、その特定物体Ｏｓの位置を判断すべくステップＳ２６へ進む。このため、ステップＳ２５は、形状検出工程（ステップＳ２４）での検出結果に基づいて監視領域の状態を判定する監視状態判定工程として機能する。

ステップＳ２６では、ステップＳ２５での監視領域の状態が「正常」ではないとの判定に続き、特定物体Ｏｓが第１監視領域Ａｗ１に存在するか否かを判断し、ＹＥＳの場合はステップＳ２７へ進み、ＮＯの場合はステップＳ２８へ進む。このステップＳ２６では、ステップＳ２５（監視状態判定部２３）で監視領域の状態が「異常」であると判定したので、監視制御部１２の監視状態判定部２３が、ステップＳ２４で検出した特定物体Ｏｓの監視領域における位置（保護対象Ｐからの距離）を検出する。ステップＳ２６では、ステップＳ２４で検出した特定物体Ｏｓを示す差分デプスマップＭｄにおける深度値（Ｚ軸座標）ｄｓに基づいて、第１監視領域Ａｗ１に存在するか第２監視領域Ａｗ２に存在するかを判断する。このため、ステップＳ２６は、三次元光測定部１１で測定した三次元座標に基づいて、特定物体Ｏｓの監視領域における位置（保護対象Ｐからの距離）を検出する位置検出工程として機能する。なお、このステップＳ２６では、ステップＳ２４（形状検出部２２）により特定物体Ｏｓが存在すると判断された場面であることから、当該特定物体Ｏｓが第１監視領域Ａｗ１または第２監視領域Ａｗ２に必ず存在するので、その他の選択肢はないものとしている。

ステップＳ２７では、ステップＳ２６での特定物体Ｏｓが第１監視領域Ａｗ１に存在するとの判断に続き、１段階目の報知を行って、ステップＳ２９へ進む。このステップＳ２７では、特定物体Ｏｓが第１監視領域Ａｗ１に存在することから、報知部１３により当該特定物体Ｏｓを有する者に対して注意喚起する１段階目の報知を行う。実施例３のステップＳ２７では、注意喚起のための警告としての警告音を発する。このため、ステップＳ２７は、監視状態判定部２３（監視状態判定工程）での判定に基づいて報知する報知工程として機能し、注意喚起のための１段階目の報知を行う第１報知工程として機能する。また、実施例３では、ステップＳ２６（報知部１３）による１段階目の報知は、報知を行った後に、ステップＳ２４での特定物体Ｏｓが存在しないとの判断、あるいは、ステップＳ２５での監視領域の状態が「正常」であるとの判断、あるいは、ステップＳ２８での報知部１３による２段階目の報知をする際に停止する。

ステップＳ２８では、ステップＳ２６での特定物体Ｏｓが第１監視領域Ａｗ１に存在しないとの判断に続き、２段階目の報知を行って、ステップＳ２９へ進む。このステップＳ２８では、特定物体Ｏｓが第２監視領域Ａｗ２に存在することから、報知部１３により当該特定物体Ｏｓを有する者に対して、保護対象Ｐを保護するためにより強力な報知である２段階目の報知を行う。実施例３のステップＳ２７では、注意喚起のための警告音（１段階目の報知）よりも大きな音量等の警告音を発するとともに監視員に通報する。このため、ステップＳ２８は、監視状態判定部２３（監視状態判定工程）での判定に基づいて報知する報知工程として機能し、より強力な報知のための２段階目の報知を行う第２報知工程として機能する。この報知部１３による報知は、報知を終了する旨の要求が為されると停止する。

ステップＳ２９では、ステップＳ２４での特定物体Ｏｓが存在しないとの判断、あるいは、ステップＳ２５での監視領域の状態が「正常」であるとの判定、あるいは、ステップＳ２７での報知部１３による１段階目の報知、あるいは、ステップＳ２８での報知部１３による２段階目の報知に続き、保護対象Ｐの監視を終了する要求が為されたか否かを判断し、ＹＥＳの場合はこの監視処理（監視処理方法）を終了し、ＮＯの場合はステップＳ２３へ戻る。このステップＳ２９は、図７のフローチャートにおけるステップＳ７と同様である。

この実施例３の監視装置１０Ｂでは、全ての観覧者が指定された観覧位置から適切に鑑賞している場合や、観覧者の体の一部が観覧位置からはみ出してしまった場合や、カメラが撮影のために監視領域Ａｗに侵入してしまった場合は、実施例１と同様に動作する。

そして、観覧者が保護対象Ｐを動かそうとして、先ず、第１監視領域Ａｗ１に両手が侵入したものとする。すると、監視装置１０Ｂでは、図１４のフローチャートにおいてステップＳ２１→ステップＳ２２→ステップＳ２３→ステップＳ２４へと進むことにより、監視領域Ａｗに存在し特定形状に適合する両手をそれぞれ特定物体Ｏｓとして検出する。そして、監視装置１０Ｂでは、図１４のフローチャートにおいてステップＳ２５へと進むことにより、検出した特定物体Ｏｓが２つ存在することから、監視領域の状態が「異常」であると判定して両特定物体Ｏｓの位置を判断する必要があると判定する。すると、監視装置１０Ｂでは、図１４のフローチャートにおいてステップＳ２６→ステップＳ２７へと進むことにより、両手が第１監視領域Ａｗ１に存在することから、報知部１３が１段階目の報知を行う。これにより、監視装置１０Ｂでは、保護対象Ｐを動かそうとした観覧者に警告を発して注意喚起することができる。

この注意喚起（１段階目の報知）により当該観覧者が保護対象Ｐを動かそうとすることを止めて保護対象Ｐから遠ざかった場合、第１監視領域Ａｗ１に侵入した両手が第１監視領域Ａｗ１および第２監視領域Ａｗ２に存在しなくなる。すると、監視装置１０Ｂでは、図１４のフローチャートにおいてステップＳ２９→ステップＳ２３→ステップＳ２４→ステップＳ２９へと進むことにより、この注意喚起（１段階目の報知）を停止する。このため、監視装置１０Ｂでは、保護対象Ｐを動かそうとした観覧者に注意喚起することができ、保護対象Ｐを保護することができる。

また、注意喚起（１段階目の報知）したにも拘わらず当該観覧者が保護対象Ｐを動かそうとした場合、第１監視領域Ａｗ１に侵入した両手が第２監視領域Ａｗ２に侵入して保護対象Ｐに接近する。すると、監視装置１０Ｂでは、図１４のフローチャートにおいてステップＳ２９→ステップＳ２３→ステップＳ２４→ステップＳ２５→ステップＳ２６→ステップＳ２８へと進むことにより、両手が第２監視領域Ａｗ２に存在することから、報知部１３が２段階目の報知を行う。これにより、監視装置１０Ｂでは、保護対象Ｐを動かそうとした観覧者に警告を発することができ、かつ保護対象Ｐが触れられそうになっていることを監視員に通報することができる。これらのことは、複数の観覧者が指や指示棒で保護対象Ｐを指し示しており、その指や指示棒が観覧位置からはみ出している場合であっても同様である。

実施例３の監視装置１０Ｂでは、基本的に実施例１の監視装置１０と同様の構成であることから、基本的に実施例１と同様の効果を得ることができる。

それに加えて、実施例３の監視装置１０Ｂでは、第１監視領域Ａｗ１と第２監視領域Ａｗ２とを設定し、特定物体Ｏｓが存在する位置に応じて段階的に報知を行う。すなわち、監視装置１０Ｂでは、特定物体Ｏｓが監視領域（第１監視領域Ａｗ１または第２監視領域Ａｗ２）に存在することで監視領域の状態が異常と判定しても一様に報知を行うものではなく、特定物体Ｏｓの位置に応じて段階的な報知を行う。このため、監視装置１０Ｂでは、保護対象Ｐに触れようとする特定物体Ｏｓが第１監視領域Ａｗ１に入った時点で１段目の報知を行って注意喚起することができる。これにより、監視装置１０Ｂでは、特定物体Ｏｓが保護対象Ｐに触れることを止めさせることができるとともに、偶発的に監視領域Ａｗに侵入してしまった特定物体Ｏｓに対してもその旨を知らせることができる。このことから、監視装置１０Ｂでは、観覧者が意図せず監視領域に侵入した場合に注意喚起することで、過度の報知処理を行うことを防止することができ、監視員への負荷も低減することができる。

また、監視装置１０Ｂでは、保護対象Ｐに触れようとする特定物体Ｏｓが第２監視領域Ａｗ２に入ると、保護対象Ｐを保護するためにより強力な報知（２段目の報知）を行う。ここで、第２監視領域Ａｗ２に入る特定物体Ｏｓは、第１監視領域Ａｗ１に存在する際の警告（注意喚起）を行ったにも拘らず当該第２監視領域Ａｗ２に入っていることから、保護対象Ｐに触れられる虞が高いものと考えられる。このため、監視装置１０Ｂでは、第２監視領域Ａｗ２に入る特定物体Ｏｓに対してより強力な報知を行うことにより、保護対象Ｐを保護することができる。特に、実施例３の監視装置１０Ｂでは、２段目の報知として、注意喚起のための警告音よりも大きな音量等の警告音を発するとともに監視員に通報することから、保護対象Ｐに触れられる虞がある場合にのみ監視員による対応を求めることができる。これにより、監視装置１０Ｂでは、特定物体Ｏｓが保護対象Ｐに触れる虞があるものであるのか偶発的に監視領域Ａｗに侵入してしまっただけであるのかを判別して報知することができ、細かく状況に応じて保護対象Ｐの監視を行うことができる。

したがって、本発明に係る監視装置としての実施例３の監視装置１０Ｂでは、保護対象Ｐに接近した物体のうち、保護対象Ｐを保護する観点から選別した物体を検出して監視することができる。

なお、実施例３では、形状検出部２２（ステップＳ２４）が、第１監視領域Ａｗ１か第２監視領域Ａｗ２かに拘わらず、等しい特定物体Ｏｓを検出するものとしている。しかしながら、形状検出部２２（ステップＳ２４（形状検出工程））では、監視領域毎（第１監視領域Ａｗ１または第２監視領域Ａｗ２）に異なる特定物体Ｏｓを検出するものとしてもよく、上記した実施例３の構成に限定されるものではない。ここで、監視領域毎に異なる特定物体Ｏｓとは、各監視領域が他の監視領域とは全く異なる特定物体Ｏｓを検出するものであってもよく、複数の特定物体Ｏｓの内の一部が異なる特定物体Ｏｓを検出するものであってもよい。この場合、形状検出部２２（ステップＳ２４）では、例えば、特定形状（特定物体Ｏｓ）として、第１監視領域Ａｗ１では手を設定し、第２監視領域Ａｗ２では手に加えて指示棒、カメラおよび指を設定する等のように、監視領域毎に異なる設定とする。そして、形状検出部２２（ステップＳ２４）では、先ず差分デプスマップＭｄに表れる物体の深度値（Ｚ軸座標）から当該物体の位置を検出し、その位置に応じて当該物体と特定物体Ｏｓとして設定した特定形状とのマッチング処理を行う。これにより、形状検出部２２（ステップＳ２４）では、監視領域毎に異なる特定物体Ｏｓを検出することができる。この場合であっても、特定物体Ｏｓが存在する監視領域に応じて、報知部１３による報知の態様を異なるものとすることが望ましい。このような構成とすると、監視領域毎の監視レベルの調整の自由度をより高めることができる。

また、実施例３では、監視領域設定部２１（ステップＳ２２）において、監視領域として第１監視領域Ａｗ１と第２監視領域Ａｗ２とを設定している。しかしながら、監視領域設定部２１（ステップＳ２２（監視領域設定工程））では、保護対象Ｐからの距離に応じて複数の監視領域を設定するものであれば、その数は適宜設定することができ、実施例３の構成に限定されるものではない。

なお、上記した各実施例では、本発明に係る監視装置の一例としての各実施例の監視装置１０、１０Ａ、１０Ｂについて説明したが、保護対象に向けた視野内の三次元座標を測定する三次元光測定部と、前記三次元光測定部で測定した前記保護対象の三次元座標を基準として監視領域を設定する監視領域設定部と、前記三次元光測定部で測定した三次元座標に基づいて、設定した特定形状を有する特定物体が前記監視領域に存在することを検出する形状検出部と、前記形状検出部での検出結果に基づいて前記監視領域の状態を判定する監視状態判定部と、を備える監視装置であればよく、上記した各実施例に限定されるものではない。

また、各実施例では、報知部１３を用いて監視状態判定部２３により監視領域の状態が正常ではないと判定したことを報知している。しかしながら、監視状態判定部２３が、形状検出部２２での検出結果に基づいて監視領域の状態を判定して、その判定結果を用いて監視を行うものであればよく、上記した各実施例の構成に限定されるものではない。

以上、本発明の好適な実施の形態および各実施例により本発明を説明した。その実施の形態および各実施例では、特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。

１０、１０Ａ、１０Ｂ 監視装置
１１、１１１、１１２ 三次元光測定部
１３ 報知部
２１ 監視領域設定部
２２ 形状検出部
２３ 監視状態判定部
３１ 第１監視状態判定部
３３ 動作検出部
Ａｗ 監視領域
Ｏｓ 特定物体
Ｐ 保護対象
Ｖ 視野

特開２０１２−０３００４２号公報

Claims (14)

1. 保護対象に向けた視野内の三次元座標を測定する三次元光測定部と、
   前記三次元光測定部で測定した前記保護対象の三次元座標を基準として監視領域を設定する監視領域設定部と、
   前記三次元光測定部で測定した三次元座標に基づいて、設定した特定形状を有する特定物体が前記監視領域に存在することを検出する形状検出部と、
   前記形状検出部での検出結果に基づいて前記監視領域の状態を判定する監視状態判定部と、を備えることを特徴とする監視装置。
2. 請求項１に記載の監視装置であって、
   さらに、前記三次元光測定部で測定した三次元座標に基づいて、前記特定物体の動作を検出する動作検出部を備え、
   前記監視状態判定部は、前記形状検出部での検出結果に基づいて前記特定物体の動作を判断する必要があるか否かを判定する第１監視状態判定部と、
   前記第１監視状態判定部で動作を判断する必要があると判定した前記特定物体の動作の前記動作検出部による検出結果に基づいて、前記監視領域の状態を判定する第２監視状態判定部と、を有することを特徴とする監視装置。
3. 前記第２監視状態判定部は、前記動作検出部による検出結果としての前記特定物体の移動方向に応じて、前記監視領域の状態を判定することを特徴とする請求項２に記載の監視装置。
4. 前記特定形状は、手の形であることを特徴とする請求項１から請求項３のいずれか１項に記載の監視装置。
5. 前記特定形状は、指の形であることを特徴とする請求項１から請求項３のいずれか１項に記載の監視装置。
6. 請求項１から請求項５のいずれか１項に記載の監視装置であって、
   さらに、前記監視状態判定部での判定に基づいて報知する報知部を備えることを特徴とする監視装置。
7. 前記監視領域設定部は、複数の前記監視領域を設定し、
   前記監視状態判定部は、前記監視領域毎に状態を判定し、
   前記報知部は、前記監視領域毎に異なる態様で前記監視状態判定部での判定に基づいて報知することを特徴とする請求項６に記載の監視装置。
8. 前記監視領域設定部は、複数の前記監視領域を設定し、
   前記形状検出部は、前記各監視領域で異なる前記特定形状を設定して、前記三次元光測定部で測定した三次元座標に基づいて前記監視領域毎に設定された前記特定物体を検出することを特徴とする請求項１から請求項７のいずれか１項に記載の監視装置。
9. 前記三次元光測定部は、基準パターンを投影し、投影された基準パターンを撮像した撮像画像から三次元座標を得ることを特徴とする請求項１から請求項８のいずれか１項に記載の監視装置。
10. 前記三次元光測定部は、光の飛行時間から三次元座標を得ることを特徴とする請求項１から請求項８のいずれか１項に記載の監視装置。
11. 前記三次元光測定部は、視点の異なる２枚以上の撮影画像の視差から三次元座標を得ることを特徴とする請求項１から請求項８のいずれか１項に記載の監視装置。
12. 保護対象に向けた視野内の三次元座標を測定する三次元光測定工程と、
    前記三次元光測定工程で測定した前記保護対象の三次元座標を基準として監視領域を設定する監視領域設定工程と、
    前記三次元光測定工程で測定した三次元座標に基づいて、設定した特定形状を有する特定物体が前記監視領域に存在することを検出する形状検出工程と、
    前記形状検出工程での検出結果に基づいて前記監視領域の状態を判定する監視状態判定工程と、を備えることを特徴とする監視方法。
13. 請求項１２に記載の監視方法であって、
    さらに、前記三次元光測定工程で測定した三次元座標に基づいて前記特定物体の動作を検出する動作検出工程を備え、
    前記監視状態判定工程は、前記形状検出工程での検出結果に基づいて前記特定物体の動作を判断する必要があるか否かを判定する第１監視状態判定工程と、
    前記第１監視状態判定工程で動作を判断する必要があると判定した前記特定物体の動作の前記動作検出工程による検出結果に基づいて、前記監視領域の状態を判定する第２監視状態判定工程と、を有することを特徴とする監視方法。
14. 請求項１２または請求項１３に記載の監視方法であって、
    さらに、前記監視状態判定工程での判定に基づいて報知する報知工程を備えることを特徴とする監視方法。