JP2016118919A - 監視装置、監視方法 - Google Patents
監視装置、監視方法 Download PDFInfo
- Publication number
- JP2016118919A JP2016118919A JP2014257929A JP2014257929A JP2016118919A JP 2016118919 A JP2016118919 A JP 2016118919A JP 2014257929 A JP2014257929 A JP 2014257929A JP 2014257929 A JP2014257929 A JP 2014257929A JP 2016118919 A JP2016118919 A JP 2016118919A
- Authority
- JP
- Japan
- Prior art keywords
- monitoring
- unit
- protection target
- specific object
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】保護対象に接近した物体のうち、保護対象を保護する観点から選別した物体を検出して監視することのできる監視装置を提供する。【解決手段】監視装置10は、保護対象Pに向けた視野V内の三次元座標を測定する三次元光測定部11と、三次元光測定部11で測定した保護対象Pの三次元座標を基準として監視領域Awを設定する監視領域設定部21と、三次元光測定部11で測定した三次元座標に基づいて、設定した特定形状を有する特定物体Osが監視領域Awに存在することを検出する形状検出部22と、形状検出部22での検出結果に基づいて監視領域Awの状態を判定する監視状態判定部23と、を備える。【選択図】図1
Description
本発明は、監視装置およびそこで用いる監視方法に関する。
例えば、美術館や博物館における様々な展示品等を保護するために、当該展示品等を保護対象として監視装置を用いて監視することが考えられている。この監視装置では、保護対象に何かが触れないように監視することから、保護対象に触ろうとする動きのある物体を監視する必要がある。
このような動きのある物体を監視する監視装置として、距離画像センサで取得した距離画像に基づいて、行動監視処理部でベッド上に位置する人を監視するものが考えられている(例えば、特許文献1参照)。この監視装置では、距離画像センサで取得した距離画像に基づいて三次元座標におけるベッドが位置する領域を検出し、そのベッド面を基準として異なる高さ位置に閾値としての複数の検知面を設定する。監視装置では、各検知面を横切る物体の有無や各検知面に対する当該物体の高さ位置や各検知面において当該物体が占有する面積等の情報に基づいて、当該物体をベッドの近傍で動作する人として検出する。そして、監視装置では、その情報に基づいてベッドに対する人の動作を判断し、その判断内容に応じて適宜報知することにより、動きのある人の動作を監視する。
このような監視装置では、上記した保護対象に触ろうとする動きのある物体を監視しようとすると、保護対象を基準として複数の検知面を設定することにより、当該物体の動きを判断して保護対象を監視することとなる。ところが、監視装置では、各検知面に対する物体の高さ位置や各検知面において物体が占有する面積等の情報に基づいて当該物体を検出することから、保護対象に触ろうとしていない物体であっても検出してしまう。
本発明は、上記の事情に鑑みて為されたもので、保護対象に接近した物体のうち、保護対象を保護する観点から選別した物体を検出して監視することのできる監視装置を提供することを目的とする。
請求項1に記載の監視装置は、保護対象に向けた視野内の三次元座標を測定する三次元光測定部と、前記三次元光測定部で測定した前記保護対象の三次元座標を基準として監視領域を設定する監視領域設定部と、前記三次元光測定部で測定した三次元座標に基づいて、設定した特定形状を有する特定物体が前記監視領域に存在することを検出する形状検出部と、前記形状検出部での検出結果に基づいて前記監視領域の状態を判定する監視状態判定部と、を備えることを特徴とする。
本発明に係る監視装置では、保護対象に接近した物体のうち、保護対象を保護する観点から選別した物体を検出して監視することができる。
以下に、本発明に係る監視装置および監視方法の各実施例について図面を参照しつつ説明する。
本発明に係る監視装置の一例としての実施例1の監視装置10を、図1から図7を用いて説明する。なお、図3および図5では、監視装置10の構成の理解を容易なものとするために、各部の構成を模式的に示している。図4(a)、(b)および図6(b)、(c)では、理解を容易なものとするためにデプスマップを模式的に示している。
本発明に係る監視装置としての実施例1の監視装置10は、保護対象P(図3等参照)に何かが触れないように監視するものであり、保護対象Pに触れようとする動きのある物体を監視する。監視装置10は、実施例1では、一例として美術館や博物館における様々な展示品のうちの絵画を保護対象Pとしている。なお、監視装置10は、実施例1では、絵画を保護対象Pとしているが、例えば、他の展示品や、商業施設での販売品や、動物園や水族館等の動物等を保護対象としてもよく、他のものを保護対象としてもよく、実施例1の例に限定されるものではない。この監視装置10は、図1に示すように、三次元光測定部11と監視制御部12と報知部13とを備える。
その三次元光測定部11は、実施例1では、測定対象に基準パターンを投影し、その基準パターンを撮像し、その撮像した撮像画像を元に三次元座標を得るパターン投影法を用いる。三次元光測定部11は、測定対象に向けた所定の視野Vを有し、パターン投影法に基づいて視野V内の測定対象までの距離を算出することにより当該測定対象(その各点)の三次元座標を求める。この三次元光測定部11は、図2に示すように、投影部14および撮像部15と、それらに接続する測定制御部16と、を備える。その投影部14と撮像部15とは、所定の間隔だけ離して基準線上に設けられ、投影部14の投影光軸Apと撮像部15の撮像光軸Asとが異なる方向に向けられている。
投影部14は、投影光軸Ap上で基準となる所定の基準パターンを投影する。この投影部14は、実施例1では、光源と、マスクが設けられた投影光学系と、を有する。投影部14は、光源から出射した光(光束)を、投影光学系およびそこに設けられたマスクを経て出射させることで、投影光軸Ap上に基準パターンを投影する。その光源は、レーザ光源やLED光源を用いて構成することができ、実施例1では近赤外光を出射するものとする。投影光学系は、光源から出射した光(光束)を所定の形状に成形する光学部材であり、実施例1では光(光束)を所定の広がり角度で発散させる。マスクは、ガラス基板上に金属膜を蒸着して形成され、その金属膜の膜圧の変化により基準パターンを形成すべく透過率が設定されたマスクパターンが設けられている。
このため、投影部14は、実施例1では、無彩色の基準パターンを投影する。この投影部14は、投影光軸Ap上に位置する測定対象へ向けて、投影光学系の焦点距離に応じた広がり角度で徐々に拡散する光(光束)としての基準パターンを投影するため、所定の視野範囲に基準パターンを投影することができる。なお、この投影部14は、投影光軸Ap上で所定の基準パターンを投影するものであれば、例えばプロジェクタを用いるものであってもよく、他の構成であってもよく、実施例1の構成に限定されるものではない。
撮像部15は、基準パターンが投影された測定対象を撮像する。この撮像部15は、実施例1では、撮像光学系と撮像素子とを有し、撮像光軸Asを中心として入射する光(光束)を撮像光学系で撮像素子(その受光面)上に結像させる。その撮像光学系は、撮像光軸Asを中心として投影部14の視野範囲を撮像範囲(画角)とする焦点距離としている。撮像素子は、実施例1では、近赤外の波長帯域に感度を有するCCDイメージセンサを用いて構成し、受光面上に結像された被写体像を電気信号(画像データ)に変換して、画像生成部に出力する。その画像生成部は、撮像部15に設けられ、撮像素子から出力された電気信号を、被写体像に対応したデジタル画像データ(撮像画像)に生成して出力する。なお、撮像部15では、撮像素子としてCMOSを用いて構成してもよく、他の構成であってもよく、実施例1の構成に限定されるものではない。撮像部15は、撮像した撮像光軸As上の撮像画像(そのデジタル画像データ)を、測定制御部16に出力する。
その測定制御部16は、駆動制御部17と三次元座標計算部18と測定記憶部19とを備え、その測定記憶部19に記憶されたプログラムに基づいて三次元光測定部11の動作を統括的に制御する。なお、この測定制御部16は、投影部14および撮像部15とは別体とされていてもよく、投影部14および撮像部15と一体とされていてもよく、投影部14または撮像部15に内蔵されていてもよい。駆動制御部17は、投影部14(その光源)を制御することで投影部14から所定の視野範囲に基準パターンを投影させる。また、駆動制御部17は、撮像部15(その撮像素子および画像生成部)を制御することで所定の撮像範囲(画角)を撮像させ、その撮像に基づく撮像画像(そのデジタル画像データ)を生成させる。
三次元座標計算部18は、撮像部15からの撮像光軸As上の撮像画像(そのデジタル画像データ)に基づいて、三角測量の原理により撮像画像に写し出された任意の点までの深度方向距離を算出する。その深度方向距離とは、三次元光測定部11から測定対象(任意の点)までの距離を示す。この三次元座標計算部18は、撮像画像における投影パターン像を基準パターンに対応付けすることにより、投影部14(その基準点)から任意の点へ向かう方向の投影光軸Apに対する投影角度を求める。三次元座標計算部18では、投影角度と、撮像部15の撮像光学系の焦点距離と、撮像画像上での撮像光軸Asと任意の点との間隔と、投影部14と撮像部15との所定の間隔と、を用いて三角測量の原理により任意の点の深度方向距離を算出する。そして、三次元座標計算部18では、測定対象を写し出した撮像画像における全ての測定点に対して深度方向距離を算出することにより、当該測定対象の三次元座標(その各値)を算出する。
これにより、三次元光測定部11は、撮像部15の所定の撮像範囲(画角)における、基準パターンを投影した投影部14の所定の視野範囲を視野V(図3等参照)として、その視野V内の測定対象の三次元座標(その各値)を測定することができる。そして、監視装置10では、後述するように、三次元光測定部11が測定した三次元座標を用いて保護対象Pの監視を行うことから、三次元光測定部11の視野Vが監視装置10における視野V(監視範囲)となる。この三次元光測定部11は、実施例1では、保護対象Pを監視するために用いられることから、視野V内における保護対象Pを含むデプスマップMを生成する。以下では、このデプスマップMについて説明する。
ここで、保護対象Pを監視するために、図3に示すように、三次元光測定部11の視野V内に保護対象Pを位置させて監視装置10を設けたものとする。そして、理解を容易なものとするために、図3に示す例において、保護対象Pとしての絵画が掛けられた平坦な壁面Wを、水平方向をX軸方向でかつ鉛直方向をY軸方向とするX−Y平面とし、そこに直交する方向をZ軸方向(手前側を正側)とする。その保護対象Pとしての絵画は、理解を容易なものとするために、図3を含む実施例1では平板状の部材として示す。三次元光測定部11では、上述したように、撮像部15の所定の撮像範囲(画角)内で投影部14の所定の視野範囲を視野Vとして、その視野V内の保護対象P(絵画)およびその周辺(壁面W)の三次元座標を測定する。
すると、三次元光測定部11の三次元座標計算部18では、X−Y平面で見た各点における視野V内のZ軸座標を求めることで、デプスマップM(図4参照)を生成することができる。そのデプスマップMは、図4(a)、(b)に示すように、Z軸方向を深度方向として、X軸座標およびY軸座標で示す各点における深度値(Z軸座標)を示す深度マップであり、X−Y平面で見た各点に対してそれぞれ1つの深度値(Z軸座標)を有する。図4に示すデプスマップMでは、図3に示す壁面Wに保護対象P(絵画)が掛けられた様子を表すことから、壁面Wとしての深度値(Z軸座標)に対して、保護対象P(絵画)としての深度値(Z軸座標)がZ軸方向正側の値とされる。すなわち、デプスマップMでは、保護対象P(絵画)を示す箇所の深度値(Z軸座標)が、他の箇所(壁面W)を示す箇所の深度値(Z軸座標)に対して浮き上がっている。なお、デプスマップMでは、基準面(実施例1ではX−Y平面に平行な面)に対する深度方向(実施例1ではZ軸方向)を出力として示すものであれば、各座標の態様は適宜設定すればよく、実施例1の構成に限定されるものではない。
この三次元光測定部11は、所定のフレームレートで測定対象の三次元座標を測定し、それに基づくデプスマップMを生成する。そのフレームレートは、後述する監視処理(監視処理方法(図7参照))におけるステップS4からステップS7を経てステップS3に戻るまでの処理速度よりも早いものであれば、それに合わせて設定するものであってもよく、それとは異なるものとしてもよい。ここで、異なるものとする場合、ステップS3へと進んだ際の最新のデプスマップMを用いて、ステップS4からステップS7の処理を行うものとすればよい。この三次元光測定部11は、測定制御部16の制御下で、測定対象の三次元座標としてのデプスマップM(そのデータ)を適宜監視制御部12へと出力する。
監視制御部12は、図1に示すように、監視領域設定部21と形状検出部22と監視状態判定部23と監視記憶部24とを備える。この監視制御部12は、監視記憶部24に記憶されたプログラムに基づいて、監視装置10すなわち三次元光測定部11および報知部13の動作を統括的に制御する。また、監視制御部12は、三次元光測定部11から入力された測定対象の三次元座標(デプスマップM)を用いて、保護対象Pの監視を行う。この監視制御部12は、保護対象Pの周辺に何も存在しない状態(図3参照)におけるデプスマップM(図4参照)を三次元光測定部11から取得し、それを基準デプスマップMbとして設定して、監視記憶部24や内部メモリ等に適宜記憶する。また、監視制御部12は、保護対象Pを監視する際には、監視下の保護対象Pを含むデプスマップM(図4、図6(b)参照)を三次元光測定部11から適宜取得し、それを監視デプスマップMwとして設定して、監視記憶部24や内部メモリ等に適宜記憶する。その監視デプスマップMwでは、保護対象Pを監視する際に取得するものであることから、保護対象Pの周辺に何も存在しない場合(図3参照)と、保護対象Pの周辺に何らかの物体(後述する特定物体Os等)が存在する場合(図6(b)参照)と、がある。そして、監視制御部12では、基準デプスマップMbと監視デプスマップMwとに基づいて、監視領域設定部21と形状検出部22と監視状態判定部23とが適宜動作することにより、保護対象Pの監視を行う。
その監視領域設定部21は、三次元光測定部11からの測定対象の三次元座標としての基準デプスマップMbに基づいて、図5に示す監視領域Awを設定する。その監視領域Awは、保護対象Pに触れられることを防止するために設定するものであり、保護対象Pに対して所定の距離以内となる領域に設定する。監視領域Awでは、形状検出部22が後述する特定物体Osを検出することで、当該特定物体Osが保護対象Pに対して過度に近付くことを防止する。監視制御部12は、実施例1では、保護対象Pから所定の距離値となる位置に監視境界Bwを設定し、その監視境界Bwと保護対象Pとの間の空間を監視領域Awとする。
その監視境界Bwは、保護対象Pの周辺に何も存在しない状態(図3参照)における基準デプスマップMb(図4参照)に基づいて、当該保護対象Pからの距離値が所定の値dpとなる位置に設定する。その所定の値dpは、予め定めてあるものであっても良く、監視制御部12(監視装置10)またはそこに接続された操作部に対する入力操作により適宜設定するものであっても良い。監視境界Bwは、実施例1では、基準デプスマップMbが示す各点すなわち壁面Wであるか保護対象Pであるかに拘わらず深度方向(Z軸方向)で見て所定の値dpとなる位置に設定し、所定の値dpの一例として30cmに設定する。このように、監視制御部12は、三次元光測定部11から基準デプスマップMbを取得すると、その基準デプスマップMbに対して深度方向(Z軸方向)で見て所定の値dp(30cm)となる位置に各監視境界Bwを設定することで、監視領域Awを設定する。
形状検出部22は、三次元光測定部11からの測定対象の三次元座標としての監視デプスマップMwと基準デプスマップMbとを用いて、監視領域Awに、特定形状を有する特定物体Os(図6参照)が存在するか否かを検出する。その特定物体Osは、保護対象Pに触れる虞がある物体を監視対象とすべく設定するものであり、例えば人の指や手、指示棒等が挙げられる。実施例1では、人の指、人の手および指示棒を特定物体Os(特定形状)に設定する。形状検出部22は、特定物体Osとして予め設定した物体の形状(そのデータ)すなわち特定形状に適合する形状の物体が監視領域Awに存在するか否かを検出する。その特定形状(特定物体Os)は、予め定めてあるものであっても良く、監視制御部12(監視装置10)またはそこに接続された操作部に対する入力操作により適宜設定するものであっても良い。
実施例1では、定めた特定物体Osに対して、様々な方向から見た際の形状や個人差による大きさ寸法等の変化分等の情報を、特定形状(その情報)として設定する。これにより、形状検出部22では、特定形状に適合する形状の物体を検出することで、定めた特定物体Osの検出をロバストに、すなわち当該物体の写り方等の外乱の影響を極めて小さなものとしてより適切に特定物体Osを検出することができる。この形状検出部22における実施例1での特定物体Osの検出の様子を、図6を用いて説明する。
先ず、図6(a)に示すように、監視下の保護対象Pに対する監視領域Awに手Hが存在しているものとする。すると、三次元光測定部11は、保護対象Pの手前の監視領域Awに手Hが存在する三次元座標を測定してデプスマップM(図6(b)参照)を生成し、監視制御部12へと出力する。すると、監視制御部12は、監視下の保護対象Pを含むデプスマップM(図6(b)参照)を監視デプスマップMwとして設定する。その監視デプスマップMwでは、図6(b)に示すように、保護対象P(絵画)を示す箇所の深度値(Z軸座標)に対して、手H(特定物体Os)を示す箇所の深度値(Z軸座標)が浮き上がっている。
先ず、形状検出部22は、その監視デプスマップMw(図6(b)参照)と、保護対象Pの周辺に何も存在しない状態(図3参照)を示す基準デプスマップMb(図4参照)と、を取得する。そして、形状検出部22は、監視デプスマップMwから基準デプスマップMbを減算することにより、差分を示す差分デプスマップMd(図6(c)参照)を生成する。その差分デプスマップMdは、保護対象Pの手前に手H(特定物体Os)が存在する監視デプスマップMwから、保護対象Pの周辺に何も存在しない状態でのX−Y平面で見た各点に対する深度値(Z軸座標)を取り除いたものとなる。このため、差分デプスマップMdは、図6(c)に示すように、背景(図6の例では保護対象P(絵画)および壁面W)をZ軸座標が零となる基準値Rfとして手H(特定物体Os)を示す三次元座標となる。これは、監視デプスマップMwおよび基準デプスマップMbには、いずれにも壁面Wと保護対象Pとが存在することから、それらを示す深度値(Z軸座標)が相殺されることによる。このことから、差分デプスマップMdでは、保護対象Pの手前に何らの物体も存在しない場合、X−Y平面で見た各点において深度値(Z軸座標)が零となる。
次に、形状検出部22は、差分デプスマップMdの各点の深度値が零の場合、すなわち保護対象Pの手前に何らの物体が存在しない場合には特定物体Osを検出していないと判断する。また、形状検出部22は、差分デプスマップMdにおける複数の点が深度値を有する場合、すなわち保護対象Pの手前に何か物体が存在する場合、当該物体が特定物体Osに該当するか否かを判断すべく検出動作を継続する。このため、図6に示す例では、差分デプスマップMd(図6(c)参照)に深度値(Z軸座標)として物体が表れているので、当該物体が特定物体Osに該当するか否かを判断すべく検出動作を継続する。
次に、形状検出部22は、保護対象Pの手前に存在する物体が監視制御部12の監視領域設定部21で設定した監視領域Awに位置するか否かを判断する。形状検出部22は、監視領域Awに位置しない場合には特定物体Osを検出していないと判断し、監視領域Awに位置する場合には当該物体が特定物体Osに該当するか否かを判断すべく検出動作を継続する。この当該物体が監視領域Awに位置するか否かの判断は、実施例1では、差分デプスマップMdにおける物体を表す深度値(Z軸座標)dsが、監視境界Bwとしての所定の値dp(図5参照)よりも大きいか否かを判断することで行うことができる。これは、差分デプスマップMdにおける物体を表す深度値dsは、Z軸座標で見て背景(保護対象P(絵画))を基準とした手H(特定物体Os)を示す三次元座標となることによる。図6に示す例では、差分デプスマップMdに表れている物体が監視領域Awに位置するので、当該物体が特定物体Osに該当するか否かを判断すべく検出動作を継続する。
次に、形状検出部22は、差分デプスマップMdに表れる物体が、特定形状に適合するか否かを判断する。この形状検出部22は、当該物体が特定形状に適合する場合には当該物体を特定物体Osとして検出し、当該物体が特定形状に適合しない場合には当該物体を特定物体Osとして検出しない。その特定形状に適合するか否かの判断は、差分デプスマップMdに表れた物体と、特定物体Osとして設定した特定形状と、のマッチング処理を行うことにより行う。形状検出部22は、差分デプスマップMdに表れる物体(手H)が、特定物体Osとして設定した人の指、人の手または指示棒を表すいずれかの特定形状に適合するものであるのか否かを判断する。そして、形状検出部22は、図6に示す例では、差分デプスマップMdに表れる物体(手H)が人の手を表す特定形状に適合することから、当該物体(手H)を特定物体Osとして検出する。これにより、形状検出部22では、監視領域Awに特定物体Os(手H)が存在することを検出することができる。
なお、形状検出部22は、差分デプスマップMdに深度値(Z軸座標)dsとして表れる物体の大きさ寸法に基づいて、当該物体が特定形状に適合するか否かの判断を行うものであってもよい。この場合、特定形状(特定物体Os)の大きさ寸法(占有面積)を予め設定し、その大きさ寸法(占有面積)と差分デプスマップMdに深度値dsとして表れる物体の大きさ寸法とが近いものであるか否かを判断することで行うことができる。すなわち、特定形状(特定物体Os)として設定した大きさ寸法(占有面積)に対して、差分デプスマップMdに表れる物体の大きさ寸法が所定の範囲内である場合には当該物体を特定物体Osとして検出する。また、形状検出部22は、上記した2つ(特徴および大きさ寸法)を併せて用いることで、特定形状であるか否かの判断を行うものであってもよく、実施例1の構成に限定されるものではない。さらに、形状検出部22では、特定物体Os(特定形状)として、単一の物体を設定してもよく、実施例1とは異なる数の物体を設定してもよく、実施例1の構成に限定されるものではない。
監視状態判定部23は、形状検出部22による特定物体Os(特定形状)の検出結果を用いて、予め設定された判定式に基づいて監視領域Awの状態が「正常」であるのか「異常」であるのかを判定する。この監視状態判定部23(その判定式)は、例えば、特定物体Osを検出しない場合には、保護対象Pの近傍に特定物体Osが存在しないことから、監視領域Awの状態が「正常」であると判定する。また、監視状態判定部23(その判定式)は、特定物体Osを検出した場合、それだけをもって監視領域Awの状態が「異常」であると判定してもよく、複数の特定物体Osを検出すると「異常」であると判定するものとしてもよい。ここでいう複数とは、一種類の特定物体Osが複数存在してもよく、異なる種類の特定物体Osが存在してもよい。このように複数の特定物体Osを検出すると監視領域Awの状態が「異常」であると判定する場合、単一の特定物体Osを検出しても監視領域Awの状態が「正常」であると判定する。監視状態判定部23(その判定式)は、実施例1では、単一の特定物体Osを検出した場合には「正常」であると判定し、複数の特定物体Osを検出した場合には「異常」であると判定する。
報知部13は、監視制御部12の制御下で、監視状態判定部23での判定に基づいて報知するものであり、実施例1では監視状態判定部23で判定した監視領域Awの状態が「異常」であることの報知を行う。この報知は、特定物体Osが保護対象Pに触れることを防止するためのものであり、当該特定物体Osを有する者に対して警告したり、特定物体Osが保護対象Pの近傍に存在していることを監視員に通報したりするものである。この報知部13は、実施例1では、監視状態判定部23で監視領域Awの状態が「異常」であると判定すると、警告音を発するとともに監視員に通報する。
次に、本発明に係る監視装置としての実施例1の監視装置10の監視制御部12(図1参照)において実行される、保護対象Pを監視する監視処理について、図7を用いて説明する。その図7は、実施例1における監視制御部12にて実行される監視方法の一例としての監視処理(監視処理方法)を示すフローチャートである。この監視処理(監視処理方法)は、監視制御部12の監視記憶部24に記憶されたプログラムに基づいて、監視制御部12が実行する。以下では、この監視処理(監視処理方法)としての図7のフローチャートの各ステップS(各工程)について説明する。この図7のフローチャートは、監視装置10が設置されて保護対象Pの監視を開始する要求が為されると開始される。
ステップS1では、三次元光測定部11から保護対象Pを含む基準デプスマップMb(図4参照)を取得して、ステップS2へ進む。このステップS1では、三次元光測定部11が保護対象Pの周辺に何も存在しない状態(図3参照)におけるデプスマップM(図4参照)を生成し、そのデプスマップM(そのデータ)を監視制御部12に出力する。ステップS1では、三次元光測定部11から入力されたデプスマップMを基準デプスマップMbとして設定し、その基準デプスマップMbを監視記憶部24や内部メモリ等に適宜記憶する。このため、ステップS1は、保護対象Pに向けた視野V内の三次元座標を測定する三次元光測定工程として機能する。
ステップS2では、ステップS1での基準デプスマップMbの取得に続き、監視領域Awを設定して、ステップS3へ進む。このステップS2では、監視制御部12の監視領域設定部21が、基準デプスマップMbに対して深度方向(Z軸方向)で見て所定の値dp(30cm)となる位置に各監視境界Bwを設定して、監視領域Awを設定する(図5参照)。そして、ステップS2では、設定した監視領域Awを監視記憶部24や内部メモリ等に適宜記憶する。このように、ステップS1からステップS2は、監視装置10が保護対象Pを監視するために必要となる基準デプスマップMbの取得と監視領域Awの設定とを行う。このため、ステップS1からステップS2は、保護対象Pを監視する直前に行うものであってもよく、保護対象Pの監視を開始するよりも以前に予め行うものであってもよい。後者の場合、ステップS1およびステップS2で得て内部メモリ等に記憶した基準デプスマップMbおよび監視領域Awを、保護対象Pの監視を開始する際に内部メモリ等から読み出すものとする。このため、ステップS2は、測定した保護対象Pの三次元座標を基準として監視領域Awを設定する監視領域設定工程として機能する。
ステップS3では、ステップS2での監視領域Awの設定、あるいは、ステップS7での保護対象Pの監視を終了する要求が為されていないとの判断に続き、三次元光測定部11により監視下の保護対象Pを含む監視デプスマップMw(図4、図6(b)参照)を取得して、ステップS4へ進む。このステップS3では、三次元光測定部11が監視下とする保護対象Pを含むデプスマップM(図4、図6(b)参照)を生成し、そのデプスマップM(そのデータ)を監視制御部12に出力する。ステップS3では、三次元光測定部11から入力されたデプスマップMを監視デプスマップMwとして設定し、その監視デプスマップMwを監視記憶部24や内部メモリ等に適宜記憶する。このため、ステップS3は、保護対象Pに向けた視野V内の三次元座標を測定する三次元光測定工程として機能する。
ステップS4では、ステップS3での監視デプスマップMwの取得に続き、特定物体Osが存在するか否かを判断し、YESの場合はステップS5へ進み、NOの場合はステップS7へ進む。このステップS4では、監視制御部12の形状検出部22が、ステップS2で設定した監視領域Awに特定物体Osが存在するか否かを判断する。形状検出部22は、ステップS3で取得した監視デプスマップMwからステップS1で取得した基準デプスマップMbを減算して差分デプスマップMd(図6(c)参照)を生成する。そして、形状検出部22は、差分デプスマップMdに基づいて保護対象Pの手前に何らの物体が存在しない場合には特定物体Osを検出しないと判断する。また、形状検出部22は、保護対象Pの手前に何か物体が存在した場合であっても、当該物体が監視領域Awに位置しない場合には特定物体Osを検出しないと判断する。そして、形状検出部22は、保護対象Pの手前に存在した物体が監視領域Awに位置する場合であっても、当該物体が特定形状に適合しない場合には特定物体Osを検出しないと判断する。ついで、形状検出部22は、保護対象Pの手前に存在する物体が監視領域Awに位置して特定形状に適合する場合には、特定物体Osの存在を検出したと判断する。このため、ステップS4は、三次元光測定部11で測定した三次元座標に基づいて、設定した特定形状を有する特定物体Osが監視領域Awに存在することを検出する形状検出工程として機能する。
ステップS5では、ステップS4での特定物体Osが存在するとの判断に続き、監視領域Awの状態が「正常」であるのか否かを判定し、YESの場合はステップS7へ進み、NOの場合はステップS6へ進む。このステップS5では、監視制御部12の監視状態判定部23が、ステップS4での特定物体Os(特定形状)の検出結果を用いて、予め設定された判定式に基づき監視領域Awの状態が「正常」であるのか「異常」であるのかを判定する。実施例1のステップS5では、予め設定された判定式に基づいて、ステップS4で単一の特定物体Osを検出した場合には「正常」であると判定してステップS7へ進む。また、実施例1のステップS5では、ステップS4で複数の特定物体Osを検出した場合には「異常」であると判定し、保護対象Pに触れられる虞があることからステップS6へ進む。このため、ステップS5は、形状検出工程(ステップS4)での検出結果に基づいて監視領域Awの状態を判定する監視状態判定工程として機能する。
ステップS6では、ステップS5での監視領域Awの状態が「正常」ではないとの判定に続き、報知部13による報知を行って、ステップS7へ進む。このステップS6では、監視領域Awの状態が「異常」であると判定したことから、報知部13により報知を行う。実施例1のステップS6では、警告音を発するとともに、監視領域Awの状態が「異常」である旨を監視員に通報する。このため、ステップS6は、監視状態判定部23(監視状態判定工程)での判定に基づいて報知する報知工程として機能する。この報知部13による報知は、報知を終了する旨の要求が為されると停止する。
ステップS7では、ステップS4での特定物体Osが存在しないとの判断、あるいは、ステップS5での監視領域Awの状態が「正常」であるとの判定、あるいは、ステップS6での報知部13による報知に続き、保護対象Pの監視を終了する要求が為されたか否かを判断し、YESの場合はこの監視処理(監視処理方法)を終了し、NOの場合はステップS3へ戻る。このステップS7では、監視処理(監視処理方法)を終了する旨の要求、例えば、監視制御部12(監視装置10)またはそこに接続された操作部に対する入力操作により監視処理(監視処理方法)を終了する旨の操作が為されたか否かを判断する。そして、ステップS7では、監視処理(監視処理方法)を終了する旨の要求が為されていない場合、保護対象Pの監視を継続すべくステップS3へ戻る。
次に、監視装置10により保護対象Pを監視する様子を説明する。先ず、美術館や博物館等のような展示施設では、様々な展示品が観覧者に対して公開されている。このような展示品は、貴重な文化的作品や美術品であることから確実性を高めて保護されるべき対象であり、多数の観覧者等に触れられることから防止すべく保護対象Pとして監視することが求められる。ここで、展示品では、観覧者が手で触れたり、観覧者が指や指示棒で指し示す際に当たったりする等のように、意図的か偶発的かに拘らず触れられることが考えられる。他方、展示品では、展示施設の混雑により観覧者の体の一部が指定された観覧位置からはみ出したり、撮影のためにカメラを向けたりする等のように、触れられる虞がないにも拘わらず何らかの物体が接近することが考えられる。このため、上記したような展示品を保護対象Pとして監視する場合、単に保護対象Pに接近する物体を検出するだけでは、展示品(保護対象P)に触れられる虞がない物体であっても検出して過度の監視となる。このため、保護対象Pを適切に保護する観点から、展示品(保護対象P)に触れられる虞がない物体を検出しないことが望ましい。
全ての観覧者が指定された観覧位置から適切に鑑賞している場合には、監視領域Awに何らの物体が存在しない。すると、監視装置10では、図7のフローチャートにおいてステップS1→ステップS2→ステップS3→ステップS4へと進み、特定物体Osを検出できないので、そのステップS3→ステップS4を繰り返す。このため、監視装置10では、報知部13からは何らの報知を行わない。このため、監視装置10では、適切に鑑賞している観覧者を驚かすこともなく、監視員に負荷をかけることもない。
また、観覧者が保護対象Pを動かそうとして、監視領域Awに両手が侵入したものとする。すると、監視装置10では、図7のフローチャートにおいてステップS1→ステップS2→ステップS3→ステップS4へと進むことで、監視領域Awに存在し特定形状に適合する両手をそれぞれ特定物体Osとして検出する。そして、監視装置10では、図7のフローチャートにおいてステップS5→ステップS6へと進むことで、検出した特定物体Osが2つ存在することから、監視領域Awの状態が「異常」であると判定して報知部13が報知を行う。これにより、監視装置10では、保護対象Pを動かそうとした観覧者に警告を発することができ、かつ保護対象Pが触れられそうなことを監視員に通報することができる。
そして、複数の観覧者が指や指示棒で保護対象Pを指し示しており、その指や指示棒が保護対象Pに近かった場合には、監視領域Awに指や指示棒が侵入する。すると、監視装置10では、図7のフローチャートにおいてステップS1→ステップS2→ステップS3→ステップS4へと進むことで、監視領域Awに存在し特定形状に適合する指と指示棒とを特定物体Osとして検出する。そして、監視装置10では、図7のフローチャートにおいてステップS5→ステップS6へと進むことで、検出した特定物体Osが2つ以上存在することから、監視領域Awの状態が「異常」であると判定して報知部13が報知を行う。これにより、監視装置10では、指や指示棒で指し示していた観覧者に警告を発することができ、かつ保護対象Pが触れられそうなことを監視員に通報することができる。
展示施設の混雑により観覧者の体の一部が指定された観覧位置からはみ出した場合には、監視領域Awに体の一部が侵入する。すると、監視装置10では、図7のフローチャートにおいてステップS1→ステップS2→ステップS3→ステップS4へと進むことで、監視領域Awに何らかの物体は存在するが、当該物体が特定形状に適合しないので特定物体Osとして検出しない。そして、監視装置10では、図7のフローチャートにおいてステップS7→ステップS3→ステップS4を繰り返すことで、報知部13からは何らの報知を行わない。このため、監視装置10では、混雑により観覧位置からはみ出してしまっただけであって保護対象Pに触れられる虞がない物体を検出することはなく、そのはみ出した観覧者を驚かすこともなく、監視員に負荷をかけることもない。このことは、撮影のためにカメラを向けることにより、当該カメラが監視領域Awに侵入してした場合であっても同様である。
本発明に係る監視装置の実施例1の監視装置10では、三次元光測定部11が、保護対象Pに向けた視野V内の三次元座標を測定し、監視領域設定部21が、三次元光測定部11で測定した保護対象Pの三次元座標を基準として監視領域Awを設定する。そして、監視装置10では、形状検出部22が、三次元光測定部11からの三次元座標に基づいて特定物体Osの監視領域Awでの存在の有無を検出し、監視状態判定部23が、形状検出部22での検出結果に基づき監視領域Awの状態が正常か否かを判定する。このため、監視装置10では、監視領域Awに物体が存在しても、当該物体の三次元形状が特定形状に該当すると特定物体Osとして検出し、当該物体の三次元形状が特定形状に該当しないと特定物体Osとして検出しない。これにより、監視装置10では、設定した複数の検知面に対する物体の高さ位置や各検知面において物体が占有する面積等の情報に基づき当該物体を検出することとは異なり、監視領域Awに侵入する物体を選別して検出して保護対象Pを監視することができる。
また、監視装置10では、監視領域Awに侵入する物体を選別して検出することができるため、保護対象Pの性質や保護対象Pが置かれた環境等に応じて特定形状を設定することで、より適切に保護対象Pを監視することができる。このため、監視装置10では、手で触れることのように意図的に保護対象Pに危害を加えるような動作に対しては報知処理を行うことができる。また、監視装置10では、体の一部が監視領域Awに偶発的に入った等の動作や、意図的ではあってもカメラを監視領域Awに侵入させる動作に対しては報知処理を行わないことができる。このように、監視装置10では、保護対象Pに即した監視を行うことができ、より適切に保護対象Pを監視することができる。
さらに、監視装置10では、三次元光測定部11で測定した三次元座標を用いて設定した監視領域Awに特定物体Osが存在するか否かに基づいて、監視領域Awの状態が正常であるか否かを判定する。このため、監視装置10では、特定物体Osが監視領域Aw内に存在するのか監視領域Aw外に存在するのか、すなわち保護対象Pに対する特定物体Osの距離に応じて監視領域Awの状態が正常であるか否かを判定することができる。換言すると、監視装置10では、特定物体Osを検出した場合であっても、監視領域Aw内に存在しない場合には、監視領域Awの状態が正常であると判定することができる。このことから、監視装置10では、2次元情報を取得することで保護対象Pに対する物体の距離を把握できない一般的な監視カメラと比較して、より適切に保護対象Pを監視することができる。
監視装置10では、保護対象Pの三次元座標を用いて監視領域Awを設定し、三次元座標を用いて特定物体Osの監視領域Awでの存在の有無を検出して監視領域Awの状態が正常であるか否かを判定する。このため、監視装置10では、保護対象Pを変えた場合であっても、三次元光測定部11で保護対象Pの三次元座標を測定することで新たな保護対象Pに適切に対応して当該保護対象Pを監視することができる。これにより、監視装置10では、保護対象Pを選ぶことがなく、汎用性を高めつつ適切な監視を実現することができる。
監視装置10では、保護対象Pの三次元座標を用いることで、保護対象Pの形状に合わせて監視領域Awを設定することができる。このため、監視装置10では、簡易な構成で、より適切に保護対象Pを監視することができる。
監視装置10では、特定形状(特定物体Os)として人の手を設定していることから、観覧者が保護対象Pに触れようとすることを確実に検出することができる。
監視装置10では、特定形状(特定物体Os)として人の指を設定していることから、観覧者が保護対象Pに触れようとしたり指し示す際に誤って当たったりすることを確実に検出することができる。
監視装置10では、三次元光測定部11を、基準パターンを投影しその基準パターンを撮像した撮像画像から三次元座標を得るパターン投影法を用いるものであることから、簡易な構成でかつ少ないコストで三次元形状を測定することができる。
監視装置10では、観覧者と展示品(保護対象P)との間に空間的に仕切りや隔たりを設ける場合と比較して、観覧者と展示品との間に物体を存在させたり、観覧者と展示品との間の距離を遠くさせたりすることを防止することができる。その空間的な仕切りとしては、展示品を頑丈なガラスケースに入れて公開する等があり、空間的な隔たりとしては、展示品から離れた場所に観覧スペースを設ける等がある。このため、監視装置10では、観覧者に臨場感を味わわせることや観覧者に満足感を与えることを可能としつつ、適切に展示品(保護対象P)を監視することができる。
監視装置10では、監視カメラからの映像を監視員が目視で監視する場合と比較して、高い信頼性で保護対象Pを監視することができる。これは、監視員が監視する場合、監視員の疲労に起因して危険動作の見落としや危険動作か否かの見誤りが生じやすいことに対して、監視装置10ではそのようなリスクが無いことによる。
監視装置10では、赤外光照射センサにより監視を行う場合と比較して、簡易な構成としつつ保護対象Pをより適切に監視することができる。これは、以下のことによる。赤外光照射センサを用いる場合、赤外光を遮断するものは全て検知するので、監視領域Awに侵入する物体を選別して検出することができない。また、照射する赤外光は直線的に進行することから、単一の赤外光照射センサでは保護対象Pの形状に合わせて監視領域Awを設定することができず、保護対象Pの形状に合わせるには複数の赤外光照射センサを用いる必要がある。これに対して、監視装置10では、三次元座標に基づいて特定物体Osの監視領域Awでの存在の有無の検出に基づいて監視領域Awの状態が正常か否かを判定するので、監視領域Awに侵入する物体を選別して検出することができる。また、監視装置10では、保護対象Pの三次元座標を用いることで保護対象Pの形状に合わせて監視領域Awを設定することができるので、当該保護対象Pに対して複数用いる必要がない。
したがって、本発明に係る監視装置としての実施例1の監視装置10では、保護対象Pに接近した物体のうち、保護対象Pを保護する観点から選別した物体を検出して監視することができる。
なお、実施例1では、三次元光測定部11を、一例として、測定対象に基準パターンを投影し、撮影画像におけるパターン形状から三次元座標を得るパターン投影法を用いるものとしている。しかしながら、三次元光測定部11は、測定対象に向けた所定の視野Vを有し、その視野V内の三次元座標を測定する機能を有するものであれば、他の方法を用いるものであってもよく、実施例1の構成に限定されるものではない。その他の方法を用いる一例としての三次元光測定部111を図8に示し、他の一例としての三次元光測定部112を図9に示す。
三次元光測定部111は、図8に示すように、視点の異なる2枚以上の撮影画像の視差から三次元座標を得るステレオ法を用いる。三次元光測定部111は、第1撮像部25と第2撮像部26とそれらに接続する測定制御部161と、を備える。その第1撮像部25と第2撮像部26とは、互いに異なる視点であって所定の位置関係および姿勢とされて設けられ、視点の異なる2枚の撮影画像を取得する。測定制御部161は、基本的に三次元光測定部11の測定制御部16と同様の構成であり、駆動制御部17と三次元座標計算部181と測定記憶部19とを備え、その測定記憶部19に記憶されたプログラムに基づいて三次元光測定部111の動作を統括的に制御する。その三次元座標計算部181は、第1撮像部25および第2撮像部26から所定の視差を有する2枚の撮影画像を取得し、両撮影画像での各画素(各点)の対応付けることにより、三角測量の原理により各画素(各点)までの深度方向距離を算出する。このため、三次元座標計算部181では、第1撮像部25と第2撮像部26との双方の撮影画像に写し出される範囲が、三次元座標を測定することのできる視野Vとなる。なお、三次元光測定部111では、2つの撮像部(25、26)を用いているが、視点の異なる2枚以上の撮影画像の視差から三次元座標を得るべく3つ以上の撮像部を用いるものであってもよく、図8に示す例に限定されるものではない。
三次元光測定部112は、図9に示すように、物体に照射した光が反射により戻って来るまでの時間(光の飛行時間)から三次元座標を得る光飛行時間法(Time−of−Flight(ToF))を用いる。この三次元光測定部112は、照明部27と受光部28とそれらに接続する測定制御部162と、を備える。照明部27は、測定対象に向けて照明光を照射し、受光部28は、当該測定対象で反射された照明光の反射光を受光する。この照明部27は、照明光として近赤外光を出射するものとすることが望ましい。測定制御部162は、基本的に三次元光測定部11の測定制御部16と同様の構成であり、駆動制御部17と三次元座標計算部182と測定記憶部19とを備え、その測定記憶部19に記憶されたプログラムに基づいて三次元光測定部112の動作を統括的に制御する。その三次元座標計算部182は、照明光を出射した時間と反射光を受光した時間との時間差から照明光(反射光)の飛行時間を求めることにより、測定対象の各点までの距離を算出する。このため、三次元座標計算部182では、照明部27により照明光を照射する範囲が、三次元座標を測定することのできる視野Vとなる。
また、実施例1では、単一の物体(実施例1では展示品としての絵画)を保護対象Pとしていたが、監視装置10の視野Vに保護対象を位置させるものであれば、複数の物体を保護対象とするものであってもよく、実施例1の構成に限定されるものではない。その複数の物体を保護対象とする一例を図10に示す。図10では、視野Vに、実施例1と同様の絵画(P1)と、一例として様々な展示品のうちの彫刻(P2)と、を位置させて、監視装置10を設けている。このため、図10に示す例の監視装置10では、絵画を第1保護対象P1とするとともに、彫刻を第2保護対象P2としている。監視装置10では、このような場合であっても、実施例1と同様に第1保護対象P1および第2保護対象P2のそれぞれ対して監視領域Awを設定することができ、それらの監視を行うことができる。このように複数の保護対象を設定した場合、監視装置10では、保護対象毎に監視領域Awの状態が「正常」であるか否かを判定し、それぞれの判定に応じて報知部13による報知を行うものとすることが望ましい。これは、監視装置10では、三次元光測定部11からの三次元座標に基づいて設定した各保護対象に対して監視領域Awへの特定物体Osへの侵入の有無を検出することができるので、何れの保護対象に対して特定物体Osが接近しているのかの判断が可能であることによる。
さらに、実施例1では、深度方向(Z軸方向)で見て所定の値dp(実施例1では30cm)となる位置に監視境界Bwを設定することにより、保護対象Pの手前に監視領域Awを設定している。しかしながら、監視領域Awは、保護対象Pを保護する観点から接近する特定物体Osを検出する領域であれば、保護対象Pに対して上下方向や左右方向にも所定の値を有するものとしてもよく、実施例1の構成に限定されるものではない。
実施例1では、形状検出部22(図7のフローチャートのステップS4)が、保護対象Pの手前に物体が存在するか否かを判断し、当該物体が監視領域Awに位置するか否かを判断してから、当該物体が特定形状に適合するか否かを判断している。しかしながら、形状検出部22(ステップS4(形状検出工程))は、監視領域Awに存在するか否かに拘わらず保護対象Pの周辺に存在する物体が特定物体Osであるか否か(特定形状に適合するか否か)を判断するものであればよい。この場合、監視状態判定部23(ステップS5(監視状態判定工程))は、形状検出部22(ステップS4)が検出した特定物体Osが監視領域Awに存在するか否かを判断する。そして、監視状態判定部23(ステップS5(監視状態判定工程))は、存在する場合は監視領域Awの状態が「異常」と判断し、存在しない場合は監視領域Awの状態が「正常」と判断するものとする。
次に、本発明の監視装置としての実施例2の監視装置10Aについて、図11および図12を用いて説明する。この実施例2の監視装置10Aは、特定物体Osの動作の情報を用いて、監視領域Awの状態が「正常」であるか否かを判断する例である。この実施例2の監視装置10Aは、基本的な概念および構成は上記した実施例1の監視装置10と同様であることから、等しい概念および構成の個所には同じ符号を付し、その詳細な説明は省略する。
実施例2の監視装置10Aでは、図11に示すように、監視制御部12Aが、監視領域設定部21と形状検出部22と監視記憶部24とに加えて、第1監視状態判定部31と第2監視状態判定部32と動作検出部33とを備える。監視制御部12Aでは、監視装置10の監視制御部12と比較して、監視状態判定部23として第1監視状態判定部31と第2監視状態判定部32とが設けられるとともに、動作検出部33が追加されている。その第1監視状態判定部31は、実施例1の監視制御部12の監視状態判定部23の構成および処理と同様とされている。
動作検出部33は、形状検出部22で検出した特定物体Osの動作を検出する。この動作検出部33は、実施例2では、三次元光測定部11が所定のフレームレートで測定対象の三次元座標を測定して生成した複数のデプスマップMを、それぞれ時間差を有する複数の監視デプスマップMwとして取得する。動作検出部33は、各監視デプスマップMwから基準デプスマップMbを減算することにより、時間差を有する複数の差分デプスマップMdを生成する。この動作検出部33は、各差分デプスマップMdにおける特定物体Osの代表位置(例えば、重心点)を求めて、時間の経過順に並べた各差分デプスマップMdから特定物体Osの代表位置の時系列情報を取得する。その時系列情報は、例えば、特定物体Osの代表位置の移動方向および移動距離等である。動作検出部33は、予め時間に対する移動距離で示す移動判断閾値を設定し、時系列情報の移動距離が移動判断閾値を超えている場合に特定物体Osが移動していると判断し、超えていない場合には特定物体Osが停止していると判断する。また、動作検出部33は、時系列情報の移動方向から、特定物体Osが保護対象P側へと移動している場合には保護対象Pに近付いていると判断し、保護対象P側とは異なる方向へと移動している場合には保護対象Pから遠ざかっていると判断する。この動作検出部33(監視装置10A)は、三次元光測定部11からの三次元座標を用いて特定物体Osの動作を検出することから、特定物体Osの動作を定量的に判定することができる。
第2監視状態判定部32は、動作検出部33による検出結果を用いて、予め設定された判定式に基づいて監視領域Awの状態が「正常」であるのか「異常」であるのかを判定する。この第2監視状態判定部32(その判定式)は、実施例2では、特定物体Osが移動していない場合、もしくは、特定物体Osが保護対象Pから遠ざかっている場合には、監視領域Awの状態が「正常」であると判定する。また、第2監視状態判定部32(その判定式)は、実施例2では、特定物体Osが保護対象Pに近付いている場合には、監視領域Awの状態が「異常」であると判定する。
次に、本発明に係る監視装置としての実施例2の監視装置10Aの監視制御部12A(図11参照)において実行される、保護対象Pを監視する監視処理について、図12を用いて説明する。その図12は、実施例2における監視制御部12Aにて実行される監視方法の一例としての監視処理(監視処理方法)を示すフローチャートである。この監視処理(監視処理方法)は、監視制御部12Aの監視記憶部24に記憶されたプログラムに基づいて、監視制御部12Aが実行する。以下では、この監視処理(監視処理方法)としての図12のフローチャートの各ステップS(各工程)について説明する。この図12のフローチャートは、監視装置10Aが設置されて保護対象Pの監視を開始する要求が為されると開始される。
ステップS11では、三次元光測定部11により保護対象Pを含む基準デプスマップMbを取得して、ステップS12へ進む。このステップS11は、図7のフローチャートにおけるステップS1と同様であり、三次元光測定工程として機能する。
ステップS12では、ステップS11での基準デプスマップMbの取得に続き、監視領域Awを設定して、ステップS13へ進む。このステップS12は、図7のフローチャートにおけるステップS2と同様であり、監視領域設定工程として機能する。
ステップS13では、ステップS12での監視領域Awの設定、あるいは、ステップS19での保護対象Pの監視を終了する要求が為されていないとの判断に続き、三次元光測定部11により監視下の保護対象Pを含む監視デプスマップMwを取得して、ステップS14へ進む。このステップS13は、図7のフローチャートにおけるステップS3と同様であり、三次元光測定工程として機能する。
ステップS14では、ステップS13での監視デプスマップMwの取得に続き、特定物体Osが存在するか否かを判断し、YESの場合はステップS15へ進み、NOの場合はステップS19へ進む。このステップS14は、図7のフローチャートにおけるステップS4と同様であり、形状検出工程として機能する。
ステップS15では、ステップS14での特定物体Osが存在するとの判断に続き、監視領域Awの状態が「正常」であるのか否かを判定し、YESの場合はステップS19へ進み、NOの場合はステップS16へ進む。このステップS15では、監視制御部12Aの第1監視状態判定部31が、ステップS14での特定物体Os(特定形状)の検出結果を用いて、予め設定された判定式に基づいて監視領域Awの状態が「正常」であるのか「異常」であるのかを判定する。ステップS15では、予め設定された判定式に基づいて、ステップS14で単一の特定物体Osを検出した場合には「正常」であると判定してステップS19へ進む。また、このステップS15では、ステップS14で複数の特定物体Osを検出した場合には「異常」であると判定し、特定物体Osにより保護対象Pに触れられる虞があることから、その特定物体Osの動作を判断すべくステップS16へ進む。このため、ステップS15は、形状検出工程(ステップS14)での検出結果に基づいて特定物体Osの動作を判断する必要があるか否かを判定する第1監視状態判定工程として機能する。
ステップS16では、ステップS15での監視領域Awの状態が「正常」ではないとの判定に続き、特定物体Osの動作を検出して、ステップS17へ進む。このステップS16では、ステップS15(第1監視状態判定部31)で監視領域Awの状態が「異常」であると判定したので、監視制御部12Aの動作検出部33が、ステップS14で検出した特定物体Osの動作を検出する。ステップS16では、三次元光測定部11が所定のフレームレートで監視下とする保護対象Pを含むデプスマップMを生成し、そのデプスマップM(そのデータ)を監視制御部12Aに出力する。ステップS16では、三次元光測定部11から入力された時間差を有する複数のデプスマップMをそれぞれ監視デプスマップMwとして設定し、各監視デプスマップMwを監視記憶部24や内部メモリ等に適宜記憶する。動作検出部33は、その各監視デプスマップMwを取得し、当該各監視デプスマップMwからステップS1で取得した基準デプスマップMbを減算して時間差を有する複数の差分デプスマップMdを生成する。この動作検出部33は、各差分デプスマップMdから特定物体Osの代表位置の時系列情報を取得する。そして、動作検出部33は、その時系列情報に基づいて特定物体Osの動作すなわち特定物体Osが移動しているか否かを検出し、移動している場合には保護対象Pに近付いているか否かを検出する。このため、ステップS16は、三次元光測定部11で測定した三次元座標に基づいて、特定物体Osの動作を検出する動作検出工程として機能する。
ステップS17では、ステップS16での特定物体Osの動作の検出に続き、監視領域Awの状態が「正常」であるのか否かを判定し、YESの場合はステップS19へ進み、NOの場合はステップS18へ進む。このステップS17では、監視制御部12Aの第2監視状態判定部32が、ステップS16での特定物体Osの動作の検出結果を用いて、予め設定された判定式に基づいて監視領域Awの状態が「正常」であるのか「異常」であるのかを判定する。ステップS17では、ステップS16で特定物体Osが移動していない場合、または、特定物体Osが保護対象Pから遠ざかっている場合には「正常」であると判定してステップS19へ進む。また、このステップS17では、ステップS16で特定物体Osが保護対象Pに近付いている場合には「異常」であると判定し、特定物体Osにより保護対象Pに触れられる虞があることからステップS18へ進む。このため、ステップS17は、動作検出工程(ステップS16)による検出結果に基づいて、監視領域Awの状態を判定する第2監視状態判定工程として機能する。
ステップS18では、ステップS17での監視領域Awの状態が「正常」ではないとの判定に続き、報知部13による報知を行って、ステップS19へ進む。このステップS18では、特定物体Osの動作に基づいて監視領域Awの状態が「異常」であると判定したことから、報知部13により報知を行う。実施例2のステップS18では、警告音を発するとともに、監視領域Awの状態が「異常」である旨を監視員に通報する。このため、ステップS18は、監視状態判定部23(第1監視状態判定部31および第2監視状態判定部32)(監視状態判定工程)での判定に基づいて報知する報知工程として機能する。
ステップS19では、ステップS14での特定物体Osが存在しないとの判断、あるいは、ステップS15での監視領域Awの状態が「正常」であるとの判定、あるいは、ステップS17での監視領域Awの状態が「正常」であるとの判定、あるいは、ステップS18での報知部13による報知に続き、保護対象Pの監視を終了する要求が為されたか否かを判断し、YESの場合はこの監視処理(監視処理方法)を終了し、NOの場合はステップS13へ戻る。このステップS19は、図7のフローチャートにおけるステップS7と同様である。
この実施例2の監視装置10Aでは、全ての観覧者が指定された観覧位置から適切に鑑賞している場合や、観覧者の体の一部が観覧位置からはみ出してしまった場合や、カメラが撮影のために監視領域Awに侵入してしまった場合は、実施例1と同様に動作する。
そして、観覧者が保護対象Pを動かそうとして、監視領域Awに両手が侵入し、その両手が保護対象Pに接近したものとする。すると、監視装置10Aでは、図12のフローチャートにおいてステップS11→ステップS12→ステップS13→ステップS14へと進むことにより、監視領域Awに存在し特定形状に適合する両手をそれぞれ特定物体Osとして検出する。そして、監視装置10Aでは、図12のフローチャートにおいてステップS15へと進むことにより、検出した特定物体Osが2つ存在することから、監視領域Awの状態が「異常」であると判定して両特定物体Osの動作を判断する必要があると判定する。すると、監視装置10Aでは、図12のフローチャートにおいてステップS16→ステップS17→ステップS18へと進むことにより、両手が保護対象Pに近付いていることから、監視領域Awの状態が「異常」であると判定して報知部13が報知を行う。これにより、監視装置10Aでは、保護対象Pを動かそうとした観覧者に警告を発することができ、かつ保護対象Pが触れられそうになっていることを監視員に通報することができる。
また、複数の観覧者が指や指示棒で保護対象Pを指し示しており、その指や指示棒が観覧位置からはみ出している場合には、監視領域Awに指や指示棒が侵入するが保護対象Pに接近することはない。すると、監視装置10Aでは、図12のフローチャートにおいてステップS11→ステップS12→ステップS13→ステップS14へと進むことにより、監視領域Awに存在し特定形状に適合する指と指示棒とを特定物体Osとして検出する。そして、監視装置10Aでは、図12のフローチャートにおいてステップS15へと進むことにより、検出した特定物体Osが2つ以上存在することから、監視領域Awの状態が「異常」であると判定して両特定物体Osの動作を判断する必要があると判定する。すると、監視装置10Aでは、図12のフローチャートにおいてステップS16→ステップS17へと進むことにより、指や指示棒が移動していないもしくは保護対象Pから遠ざかっていることから、監視領域Awの状態が「正常」であると判定する。そして、監視装置10Aでは、図12のフローチャートにおいてステップS19→ステップS13→ステップS14→ステップS15→ステップS16→ステップS17→ステップS19を繰り返し、報知部13からは何らの報知を行わない。このため、監視装置10Aでは、単に保護対象Pを指し示しているだけであって保護対象Pに触れることのない観覧者を驚かすこともなく、監視員に負荷をかけることもない。
実施例2の監視装置10Aでは、基本的に実施例1の監視装置10と同様の構成であることから、基本的に実施例1と同様の効果を得ることができる。
それに加えて、実施例2の監視装置10Aでは、特定物体Osが監視領域Awに存在することで監視領域Awの状態が異常と判定すると、その特定物体Osの動作を判断し、その動作の判断に基づいて監視領域Awの状態が異常であるか否かの最終的な判定を行う。すなわち、監視装置10Aでは、特定物体Osが監視領域Awに存在することで監視領域Awの状態が異常と判定しても直ちに報知を行うものではなく、さらに特定物体Osの動作に基づいて監視領域Awの状態が異常であると判断した場合に報知を行う。このように、監視装置10Aでは、監視領域Awに特定物体Osが存在しても、当該特定物体Osが保護対象Pに触れる虞があるものであるのか、当該特定物体Osが偶発的に監視領域Awに侵入してしまっただけであるのかを判別することができる。これにより、監視装置10Aでは、細かく状況に応じて保護対象Pの監視を行うことができる。このことから、監視装置10Aでは、観覧者が意図せず監視領域Awに侵入した場合に何らの報知もしないことで、過度の報知処理を行うことを防止することができ、監視員への負荷も低減することができる。
また、監視装置10Aでは、第2監視状態判定部32が、特定物体Osの移動方向に応じて監視領域Awの状態が正常であるか否かを判定するので、特定物体Osの保護対象Pに対する移動の態様を勘案して監視領域Awの状態を判定することができる。このため、監視装置10Aでは、特定物体Osが保護対象Pに対して近付いているもしくは遠ざかっている等のように、当該特定物体Osの具体的な動作に基づいて監視領域Awの状態を判定することができる。これにより、監視装置10Aでは、より細かく状況に応じて保護対象Pの監視を適切に行うことができる。
したがって、本発明に係る監視装置としての実施例2の監視装置10Aでは、保護対象Pに接近した物体のうち、保護対象Pを保護する観点から選別した物体を検出して監視することができる。
なお、実施例2では、動作検出部33(ステップS16)において、時系列情報として特定物体Osの代表位置の移動方向および移動距離を取得している。しかしながら、動作検出部33(ステップS16)では、時間の経過により得られる動作を時系列情報として取得するものであればよく、実施例2の構成に限定されるものではない。
また、実施例2では、第2監視状態判定部32(ステップS17)が、特定物体Osが移動していない場合、または、特定物体Osが保護対象Pから遠ざかっている場合には「正常」であると判定し、報知部13(ステップS18)による報知は行わない。しかしながら、ステップS17では、第1監視状態判定部31(ステップS15)により監視領域Awの状態が「異常」と判定されて監視領域Awに特定物体Osが存在する場面であるので、報知部13(ステップS18)により報知を行って注意喚起するものであってもよい。このような構成とする場合、注意喚起したにも拘わらず当該特定物体Osが保護対象Pに近付いた際には、報知部13(ステップS18)でより強力な報知を行うことにより、保護対象Pに近付くことに対する警告を行うものとすることもできる。
さらに、実施例2では、第2監視状態判定部32(ステップS17)が、特定物体Osが移動していない場合や特定物体Osが保護対象Pから遠ざかっている場合には、監視領域Awの状態が「正常」であると判定している。しかしながら、第2監視状態判定部32(ステップS17)は、特定物体Osが保護対象Pに触れることが予想される動作である場合に監視領域Awの状態が「異常」であると判定するものであればよく、実施例2の構成に限定されるものではない。
次に、本発明の監視装置としての実施例3の監視装置10Bについて、図13および図14を用いて説明する。この実施例3の監視装置10Bは、複数の監視領域を設定する例である。この実施例3の監視装置10Bは、基本的な概念および構成は上記した実施例1の監視装置10と同様であることから、等しい概念および構成の個所には同じ符号を付し、その詳細な説明は省略する。
実施例3の監視装置10Bでは、図13に示すように、監視制御部12の監視領域設定部21が、監視領域として第1監視領域Aw1と第2監視領域Aw2とを設定する。この第1監視領域Aw1と第2監視領域Aw2とは、保護対象Pへの近付き度合に応じて特定物体Osを段階的に検出すべく設定するものである。監視領域設定部21は、実施例1と同様に、三次元光測定部11からの測定対象の三次元座標としての基準デプスマップMbに基づいて、第1監視領域Aw1と第2監視領域Aw2とを設定する。第1監視領域Aw1は、保護対象Pに対して第1の所定の値以内となる領域に設定し、第2監視領域Aw2は、保護対象Pに対して上記した第1の所定の値よりも小さい第2の所定の値以内となる領域に設定する。
監視領域設定部21は、実施例3では、保護対象Pから第1の所定の値としての第1距離dp1となる位置に第1監視境界Bw1を設定し、その第1監視境界Bw1と後述する第2監視境界Bw2との間の空間を第1監視領域Aw1とする。その第1監視境界Bw1は、実施例1の監視境界Bwと同様に、保護対象Pの周辺に何も存在しない状態(図3参照)における基準デプスマップMb(図4参照)に基づいて、当該保護対象Pからの距離値が第1距離dp1となる位置に設定する。その第1距離dp1は、予め定めるものであっても良く、監視制御部12(監視装置10)またはそこに接続された操作部に対する入力操作により適宜設定するものであっても良い。
また、監視領域設定部21は、実施例3では、保護対象Pから第1距離dp1よりも小さい第2の所定の値としての第2距離dp2となる位置に第2監視境界Bw2を設定し、その第2監視境界Bw2と保護対象Pとの間の空間を第2監視領域Aw2とする。その第2監視境界Bw2は、実施例1の監視境界Bwと同様に、保護対象Pの周辺に何も存在しない状態(図3参照)における基準デプスマップMb(図4参照)に基づいて、当該保護対象Pからの距離値が第2距離dp2となる位置に設定する。その第2距離dp2は、予め定めてあるものであっても良く、監視制御部12(監視装置10)またはそこに接続された操作部に対する入力操作により適宜設定するものであっても良い。
監視状態判定部23は、実施例1と同様に、形状検出部22による特定物体Os(特定形状)の検出結果を用いて、予め設定された判定式に基づいて監視領域の状態が「正常」であるのか「異常」であるのかを判定する。このとき、監視状態判定部23は、監視領域として、第1監視領域Aw1および第2監視領域Aw2の双方を用いて判定する。また、監視状態判定部23は、実施例3では、監視領域の状態が「異常」であると判定した場合、特定物体Osが、第1監視領域Aw1に存在するのか、第2監視領域Aw2に存在するのか、を判定する。監視状態判定部23は、実施例3では、差分デプスマップMdにおける物体を表す深度値ds(図6(c)参照)が、第2距離dp2(第2監視境界Bw2)よりも小さい場合には第2監視領域Aw2に存在すると判定する。また、監視状態判定部23は、実施例3では、差分デプスマップMdにおける物体を表す深度値dsが、第2距離dp2値(第2監視境界Bw2)よりも大きくかつ第1距離dp1値(第1監視境界Bw1)よりも小さい場合には第1監視領域Aw1に存在すると判定する。このため、監視状態判定部23は、実施例3では、複数の監視領域(第1監視領域Aw1および第2監視領域Aw2)毎に当該監視領域の状態が正常であるか否かを判定している。
報知部13は、実施例3では、監視状態判定部23により判定された監視領域の状態が「異常」である場合、監視制御部12の制御下で、特定物体Osが存在する位置に応じて、段階的な報知を行う。この報知部13は、実施例3では、特定物体Osが第1監視領域Aw1に存在する場合には、保護対象Pへとさらに近付くことを防止するために、当該特定物体Osを有する者に対して注意喚起する1段階目の報知を行う。この1段階目の報知(注意喚起)は、実施例4では、注意喚起のための警告としての警告音を発する。また、報知部13は、実施例3では、特定物体Osが第2監視領域Aw2に存在する場合には2段階目の報知を行う。この2段階目の報知は、第1監視領域Aw1に存在する際の警告(注意喚起)の後に当該特定物体Osが保護対象Pへと近付いているので、保護対象Pを保護するためにより強力な報知を行うものである。2段階目の報知は、実施例4では、注意喚起のための警告音よりも大きな音量等の警告音を発するとともに監視員に通報する。
次に、本発明に係る監視装置としての実施例3の監視装置10Bの監視制御部12において実行される、保護対象Pを監視する監視処理について、図14を用いて説明する。その図14は、実施例3における監視制御部12にて実行される監視方法の一例としての監視処理(監視処理方法)を示すフローチャートである。この監視処理(監視処理方法)は、監視制御部12の監視記憶部24に記憶されたプログラムに基づいて、監視制御部12が実行する。以下では、この監視処理(監視処理方法)としての図14のフローチャートの各ステップS(各工程)について説明する。この図14のフローチャートは、監視装置10Bが設置されて保護対象Pの監視を開始する要求が為されると開始される。
ステップS21では、三次元光測定部11により保護対象Pを含む基準デプスマップMbを取得して、ステップS22へ進む。このステップS21は、図7のフローチャートにおけるステップS1と同様であり、三次元光測定工程として機能する。
ステップS22では、ステップS21での基準デプスマップMbの取得に続き、監視領域Awを設定して、ステップS23へ進む。このステップS22は、図7のフローチャートにおけるステップS2と同様であり、監視領域設定工程として機能する。
ステップS23では、ステップS22での監視領域Awの設定、あるいは、ステップS29での保護対象Pの監視を終了する要求が為されていないとの判断に続き、三次元光測定部11により監視下の保護対象Pを含む監視デプスマップMwを取得して、ステップS24へ進む。このステップS23は、図7のフローチャートにおけるステップS3と同様であり、三次元光測定工程として機能する。
ステップS24では、ステップS23での監視デプスマップMwの取得に続き、特定物体Osが存在するか否かを判断し、YESの場合はステップS25へ進み、NOの場合はステップS29へ進む。このステップS24は、図7のフローチャートにおけるステップS4と同様であり、形状検出工程として機能する。
ステップS25では、ステップS24での特定物体Osが存在するとの判断に続き、監視領域の状態が「正常」であるのか否かを判定し、YESの場合はステップS29へ進み、NOの場合はステップS26へ進む。このステップS25では、監視制御部12の監視状態判定部23が、ステップS24での特定物体Os(特定形状)の検出結果を用いて、予め設定された判定式に基づいて監視領域の状態が「正常」であるのか「異常」であるのかを判定する。ステップS25では、予め設定された判定式に基づいて、ステップS24で単一の特定物体Osを検出した場合には「正常」であると判定してステップS29へ進む。また、このステップS25では、ステップS24で複数の特定物体Osを検出した場合には「異常」であると判定し、特定物体Osにより保護対象Pに触れられる虞があることから、その特定物体Osの位置を判断すべくステップS26へ進む。このため、ステップS25は、形状検出工程(ステップS24)での検出結果に基づいて監視領域の状態を判定する監視状態判定工程として機能する。
ステップS26では、ステップS25での監視領域の状態が「正常」ではないとの判定に続き、特定物体Osが第1監視領域Aw1に存在するか否かを判断し、YESの場合はステップS27へ進み、NOの場合はステップS28へ進む。このステップS26では、ステップS25(監視状態判定部23)で監視領域の状態が「異常」であると判定したので、監視制御部12の監視状態判定部23が、ステップS24で検出した特定物体Osの監視領域における位置(保護対象Pからの距離)を検出する。ステップS26では、ステップS24で検出した特定物体Osを示す差分デプスマップMdにおける深度値(Z軸座標)dsに基づいて、第1監視領域Aw1に存在するか第2監視領域Aw2に存在するかを判断する。このため、ステップS26は、三次元光測定部11で測定した三次元座標に基づいて、特定物体Osの監視領域における位置(保護対象Pからの距離)を検出する位置検出工程として機能する。なお、このステップS26では、ステップS24(形状検出部22)により特定物体Osが存在すると判断された場面であることから、当該特定物体Osが第1監視領域Aw1または第2監視領域Aw2に必ず存在するので、その他の選択肢はないものとしている。
ステップS27では、ステップS26での特定物体Osが第1監視領域Aw1に存在するとの判断に続き、1段階目の報知を行って、ステップS29へ進む。このステップS27では、特定物体Osが第1監視領域Aw1に存在することから、報知部13により当該特定物体Osを有する者に対して注意喚起する1段階目の報知を行う。実施例3のステップS27では、注意喚起のための警告としての警告音を発する。このため、ステップS27は、監視状態判定部23(監視状態判定工程)での判定に基づいて報知する報知工程として機能し、注意喚起のための1段階目の報知を行う第1報知工程として機能する。また、実施例3では、ステップS26(報知部13)による1段階目の報知は、報知を行った後に、ステップS24での特定物体Osが存在しないとの判断、あるいは、ステップS25での監視領域の状態が「正常」であるとの判断、あるいは、ステップS28での報知部13による2段階目の報知をする際に停止する。
ステップS28では、ステップS26での特定物体Osが第1監視領域Aw1に存在しないとの判断に続き、2段階目の報知を行って、ステップS29へ進む。このステップS28では、特定物体Osが第2監視領域Aw2に存在することから、報知部13により当該特定物体Osを有する者に対して、保護対象Pを保護するためにより強力な報知である2段階目の報知を行う。実施例3のステップS27では、注意喚起のための警告音(1段階目の報知)よりも大きな音量等の警告音を発するとともに監視員に通報する。このため、ステップS28は、監視状態判定部23(監視状態判定工程)での判定に基づいて報知する報知工程として機能し、より強力な報知のための2段階目の報知を行う第2報知工程として機能する。この報知部13による報知は、報知を終了する旨の要求が為されると停止する。
ステップS29では、ステップS24での特定物体Osが存在しないとの判断、あるいは、ステップS25での監視領域の状態が「正常」であるとの判定、あるいは、ステップS27での報知部13による1段階目の報知、あるいは、ステップS28での報知部13による2段階目の報知に続き、保護対象Pの監視を終了する要求が為されたか否かを判断し、YESの場合はこの監視処理(監視処理方法)を終了し、NOの場合はステップS23へ戻る。このステップS29は、図7のフローチャートにおけるステップS7と同様である。
この実施例3の監視装置10Bでは、全ての観覧者が指定された観覧位置から適切に鑑賞している場合や、観覧者の体の一部が観覧位置からはみ出してしまった場合や、カメラが撮影のために監視領域Awに侵入してしまった場合は、実施例1と同様に動作する。
そして、観覧者が保護対象Pを動かそうとして、先ず、第1監視領域Aw1に両手が侵入したものとする。すると、監視装置10Bでは、図14のフローチャートにおいてステップS21→ステップS22→ステップS23→ステップS24へと進むことにより、監視領域Awに存在し特定形状に適合する両手をそれぞれ特定物体Osとして検出する。そして、監視装置10Bでは、図14のフローチャートにおいてステップS25へと進むことにより、検出した特定物体Osが2つ存在することから、監視領域の状態が「異常」であると判定して両特定物体Osの位置を判断する必要があると判定する。すると、監視装置10Bでは、図14のフローチャートにおいてステップS26→ステップS27へと進むことにより、両手が第1監視領域Aw1に存在することから、報知部13が1段階目の報知を行う。これにより、監視装置10Bでは、保護対象Pを動かそうとした観覧者に警告を発して注意喚起することができる。
この注意喚起(1段階目の報知)により当該観覧者が保護対象Pを動かそうとすることを止めて保護対象Pから遠ざかった場合、第1監視領域Aw1に侵入した両手が第1監視領域Aw1および第2監視領域Aw2に存在しなくなる。すると、監視装置10Bでは、図14のフローチャートにおいてステップS29→ステップS23→ステップS24→ステップS29へと進むことにより、この注意喚起(1段階目の報知)を停止する。このため、監視装置10Bでは、保護対象Pを動かそうとした観覧者に注意喚起することができ、保護対象Pを保護することができる。
また、注意喚起(1段階目の報知)したにも拘わらず当該観覧者が保護対象Pを動かそうとした場合、第1監視領域Aw1に侵入した両手が第2監視領域Aw2に侵入して保護対象Pに接近する。すると、監視装置10Bでは、図14のフローチャートにおいてステップS29→ステップS23→ステップS24→ステップS25→ステップS26→ステップS28へと進むことにより、両手が第2監視領域Aw2に存在することから、報知部13が2段階目の報知を行う。これにより、監視装置10Bでは、保護対象Pを動かそうとした観覧者に警告を発することができ、かつ保護対象Pが触れられそうになっていることを監視員に通報することができる。これらのことは、複数の観覧者が指や指示棒で保護対象Pを指し示しており、その指や指示棒が観覧位置からはみ出している場合であっても同様である。
実施例3の監視装置10Bでは、基本的に実施例1の監視装置10と同様の構成であることから、基本的に実施例1と同様の効果を得ることができる。
それに加えて、実施例3の監視装置10Bでは、第1監視領域Aw1と第2監視領域Aw2とを設定し、特定物体Osが存在する位置に応じて段階的に報知を行う。すなわち、監視装置10Bでは、特定物体Osが監視領域(第1監視領域Aw1または第2監視領域Aw2)に存在することで監視領域の状態が異常と判定しても一様に報知を行うものではなく、特定物体Osの位置に応じて段階的な報知を行う。このため、監視装置10Bでは、保護対象Pに触れようとする特定物体Osが第1監視領域Aw1に入った時点で1段目の報知を行って注意喚起することができる。これにより、監視装置10Bでは、特定物体Osが保護対象Pに触れることを止めさせることができるとともに、偶発的に監視領域Awに侵入してしまった特定物体Osに対してもその旨を知らせることができる。このことから、監視装置10Bでは、観覧者が意図せず監視領域に侵入した場合に注意喚起することで、過度の報知処理を行うことを防止することができ、監視員への負荷も低減することができる。
また、監視装置10Bでは、保護対象Pに触れようとする特定物体Osが第2監視領域Aw2に入ると、保護対象Pを保護するためにより強力な報知(2段目の報知)を行う。ここで、第2監視領域Aw2に入る特定物体Osは、第1監視領域Aw1に存在する際の警告(注意喚起)を行ったにも拘らず当該第2監視領域Aw2に入っていることから、保護対象Pに触れられる虞が高いものと考えられる。このため、監視装置10Bでは、第2監視領域Aw2に入る特定物体Osに対してより強力な報知を行うことにより、保護対象Pを保護することができる。特に、実施例3の監視装置10Bでは、2段目の報知として、注意喚起のための警告音よりも大きな音量等の警告音を発するとともに監視員に通報することから、保護対象Pに触れられる虞がある場合にのみ監視員による対応を求めることができる。これにより、監視装置10Bでは、特定物体Osが保護対象Pに触れる虞があるものであるのか偶発的に監視領域Awに侵入してしまっただけであるのかを判別して報知することができ、細かく状況に応じて保護対象Pの監視を行うことができる。
したがって、本発明に係る監視装置としての実施例3の監視装置10Bでは、保護対象Pに接近した物体のうち、保護対象Pを保護する観点から選別した物体を検出して監視することができる。
なお、実施例3では、形状検出部22(ステップS24)が、第1監視領域Aw1か第2監視領域Aw2かに拘わらず、等しい特定物体Osを検出するものとしている。しかしながら、形状検出部22(ステップS24(形状検出工程))では、監視領域毎(第1監視領域Aw1または第2監視領域Aw2)に異なる特定物体Osを検出するものとしてもよく、上記した実施例3の構成に限定されるものではない。ここで、監視領域毎に異なる特定物体Osとは、各監視領域が他の監視領域とは全く異なる特定物体Osを検出するものであってもよく、複数の特定物体Osの内の一部が異なる特定物体Osを検出するものであってもよい。この場合、形状検出部22(ステップS24)では、例えば、特定形状(特定物体Os)として、第1監視領域Aw1では手を設定し、第2監視領域Aw2では手に加えて指示棒、カメラおよび指を設定する等のように、監視領域毎に異なる設定とする。そして、形状検出部22(ステップS24)では、先ず差分デプスマップMdに表れる物体の深度値(Z軸座標)から当該物体の位置を検出し、その位置に応じて当該物体と特定物体Osとして設定した特定形状とのマッチング処理を行う。これにより、形状検出部22(ステップS24)では、監視領域毎に異なる特定物体Osを検出することができる。この場合であっても、特定物体Osが存在する監視領域に応じて、報知部13による報知の態様を異なるものとすることが望ましい。このような構成とすると、監視領域毎の監視レベルの調整の自由度をより高めることができる。
また、実施例3では、監視領域設定部21(ステップS22)において、監視領域として第1監視領域Aw1と第2監視領域Aw2とを設定している。しかしながら、監視領域設定部21(ステップS22(監視領域設定工程))では、保護対象Pからの距離に応じて複数の監視領域を設定するものであれば、その数は適宜設定することができ、実施例3の構成に限定されるものではない。
なお、上記した各実施例では、本発明に係る監視装置の一例としての各実施例の監視装置10、10A、10Bについて説明したが、保護対象に向けた視野内の三次元座標を測定する三次元光測定部と、前記三次元光測定部で測定した前記保護対象の三次元座標を基準として監視領域を設定する監視領域設定部と、前記三次元光測定部で測定した三次元座標に基づいて、設定した特定形状を有する特定物体が前記監視領域に存在することを検出する形状検出部と、前記形状検出部での検出結果に基づいて前記監視領域の状態を判定する監視状態判定部と、を備える監視装置であればよく、上記した各実施例に限定されるものではない。
また、各実施例では、報知部13を用いて監視状態判定部23により監視領域の状態が正常ではないと判定したことを報知している。しかしながら、監視状態判定部23が、形状検出部22での検出結果に基づいて監視領域の状態を判定して、その判定結果を用いて監視を行うものであればよく、上記した各実施例の構成に限定されるものではない。
以上、本発明の好適な実施の形態および各実施例により本発明を説明した。その実施の形態および各実施例では、特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。
10、10A、10B 監視装置
11、111、112 三次元光測定部
13 報知部
21 監視領域設定部
22 形状検出部
23 監視状態判定部
31 第1監視状態判定部
33 動作検出部
Aw 監視領域
Os 特定物体
P 保護対象
V 視野
11、111、112 三次元光測定部
13 報知部
21 監視領域設定部
22 形状検出部
23 監視状態判定部
31 第1監視状態判定部
33 動作検出部
Aw 監視領域
Os 特定物体
P 保護対象
V 視野
Claims (14)
- 保護対象に向けた視野内の三次元座標を測定する三次元光測定部と、
前記三次元光測定部で測定した前記保護対象の三次元座標を基準として監視領域を設定する監視領域設定部と、
前記三次元光測定部で測定した三次元座標に基づいて、設定した特定形状を有する特定物体が前記監視領域に存在することを検出する形状検出部と、
前記形状検出部での検出結果に基づいて前記監視領域の状態を判定する監視状態判定部と、を備えることを特徴とする監視装置。 - 請求項1に記載の監視装置であって、
さらに、前記三次元光測定部で測定した三次元座標に基づいて、前記特定物体の動作を検出する動作検出部を備え、
前記監視状態判定部は、前記形状検出部での検出結果に基づいて前記特定物体の動作を判断する必要があるか否かを判定する第1監視状態判定部と、
前記第1監視状態判定部で動作を判断する必要があると判定した前記特定物体の動作の前記動作検出部による検出結果に基づいて、前記監視領域の状態を判定する第2監視状態判定部と、を有することを特徴とする監視装置。 - 前記第2監視状態判定部は、前記動作検出部による検出結果としての前記特定物体の移動方向に応じて、前記監視領域の状態を判定することを特徴とする請求項2に記載の監視装置。
- 前記特定形状は、手の形であることを特徴とする請求項1から請求項3のいずれか1項に記載の監視装置。
- 前記特定形状は、指の形であることを特徴とする請求項1から請求項3のいずれか1項に記載の監視装置。
- 請求項1から請求項5のいずれか1項に記載の監視装置であって、
さらに、前記監視状態判定部での判定に基づいて報知する報知部を備えることを特徴とする監視装置。 - 前記監視領域設定部は、複数の前記監視領域を設定し、
前記監視状態判定部は、前記監視領域毎に状態を判定し、
前記報知部は、前記監視領域毎に異なる態様で前記監視状態判定部での判定に基づいて報知することを特徴とする請求項6に記載の監視装置。 - 前記監視領域設定部は、複数の前記監視領域を設定し、
前記形状検出部は、前記各監視領域で異なる前記特定形状を設定して、前記三次元光測定部で測定した三次元座標に基づいて前記監視領域毎に設定された前記特定物体を検出することを特徴とする請求項1から請求項7のいずれか1項に記載の監視装置。 - 前記三次元光測定部は、基準パターンを投影し、投影された基準パターンを撮像した撮像画像から三次元座標を得ることを特徴とする請求項1から請求項8のいずれか1項に記載の監視装置。
- 前記三次元光測定部は、光の飛行時間から三次元座標を得ることを特徴とする請求項1から請求項8のいずれか1項に記載の監視装置。
- 前記三次元光測定部は、視点の異なる2枚以上の撮影画像の視差から三次元座標を得ることを特徴とする請求項1から請求項8のいずれか1項に記載の監視装置。
- 保護対象に向けた視野内の三次元座標を測定する三次元光測定工程と、
前記三次元光測定工程で測定した前記保護対象の三次元座標を基準として監視領域を設定する監視領域設定工程と、
前記三次元光測定工程で測定した三次元座標に基づいて、設定した特定形状を有する特定物体が前記監視領域に存在することを検出する形状検出工程と、
前記形状検出工程での検出結果に基づいて前記監視領域の状態を判定する監視状態判定工程と、を備えることを特徴とする監視方法。 - 請求項12に記載の監視方法であって、
さらに、前記三次元光測定工程で測定した三次元座標に基づいて前記特定物体の動作を検出する動作検出工程を備え、
前記監視状態判定工程は、前記形状検出工程での検出結果に基づいて前記特定物体の動作を判断する必要があるか否かを判定する第1監視状態判定工程と、
前記第1監視状態判定工程で動作を判断する必要があると判定した前記特定物体の動作の前記動作検出工程による検出結果に基づいて、前記監視領域の状態を判定する第2監視状態判定工程と、を有することを特徴とする監視方法。 - 請求項12または請求項13に記載の監視方法であって、
さらに、前記監視状態判定工程での判定に基づいて報知する報知工程を備えることを特徴とする監視方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014257929A JP2016118919A (ja) | 2014-12-19 | 2014-12-19 | 監視装置、監視方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014257929A JP2016118919A (ja) | 2014-12-19 | 2014-12-19 | 監視装置、監視方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016118919A true JP2016118919A (ja) | 2016-06-30 |
Family
ID=56243036
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014257929A Pending JP2016118919A (ja) | 2014-12-19 | 2014-12-19 | 監視装置、監視方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016118919A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018014101A (ja) * | 2016-07-19 | 2018-01-25 | 合盈光電科技股▲ふん▼有限公司H.P.B. Optoelectronics Co., Ltd. | 相互作用安全警告システム |
JP2019201268A (ja) * | 2018-05-15 | 2019-11-21 | コニカミノルタ株式会社 | 監視システムおよび監視方法 |
-
2014
- 2014-12-19 JP JP2014257929A patent/JP2016118919A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018014101A (ja) * | 2016-07-19 | 2018-01-25 | 合盈光電科技股▲ふん▼有限公司H.P.B. Optoelectronics Co., Ltd. | 相互作用安全警告システム |
CN107633630A (zh) * | 2016-07-19 | 2018-01-26 | 合盈光电科技股份有限公司 | 互动与安全警示系统 |
JP2019201268A (ja) * | 2018-05-15 | 2019-11-21 | コニカミノルタ株式会社 | 監視システムおよび監視方法 |
JP7043968B2 (ja) | 2018-05-15 | 2022-03-30 | コニカミノルタ株式会社 | 監視システムおよび監視方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11538224B2 (en) | Safety for wearable virtual reality devices via object detection and tracking | |
US10099609B2 (en) | Machine safety dome | |
US9275302B1 (en) | Object detection and identification | |
JP6712778B2 (ja) | 物体検知装置、物体検知システムおよび物体検知方法 | |
JP2020154730A (ja) | 監視装置、監視システム、及び、監視方法 | |
US20140375812A1 (en) | Method for representing a vehicle's surrounding environment | |
KR20170052585A (ko) | 주사 레이저 평면성 검출 | |
IL308285B1 (en) | System and method for augmentation and virtual reality | |
JP6662914B2 (ja) | 媒介現実 | |
TWI474173B (zh) | 行走輔助系統及行走輔助方法 | |
TW201344637A (zh) | 上空墜物預警系統及方法 | |
JPWO2018042481A1 (ja) | 撮影装置及び撮影方法 | |
JP2016180681A (ja) | 地盤崩壊検知システム | |
JP2007013709A (ja) | 設定装置 | |
JP2016118919A (ja) | 監視装置、監視方法 | |
US20150177605A1 (en) | Safety feature for projection subsystem using laser technology | |
JP2016176816A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2011053005A (ja) | 監視システム | |
JP2006027481A (ja) | 物体警告装置及び物体警告方法 | |
KR102185322B1 (ko) | 적외선 스테레오 카메라를 이용한 위치 검출 시스템 | |
JP2020088840A (ja) | 監視装置、監視システム、監視方法、監視プログラム | |
JP2020069572A (ja) | ロボットシステム | |
JP6581280B1 (ja) | 監視装置、監視システム、監視方法、監視プログラム | |
JP7127592B2 (ja) | 報知システム | |
JPWO2018030024A1 (ja) | 見守りシステム、見守り装置、見守り方法、および見守りプログラム |