JP2020154730A - 監視装置、監視システム、及び、監視方法 - Google Patents

Abstract

【課題】２次元画像を用いた監視装置において、監視対象とした「人」が行う監視対象とした「物」に対する不定形な一般的動作を抽出して、監視対象とした「人」が、監視対象とした「物」に対して不審度の高い所定の行動を行ったことを、高い精度で認識することができる監視装置・監視システムを提供すること。【解決手段】監視対象領域３次元空間を２次元の画像として撮影する撮影部と、前記撮影部が撮影した撮影画像中の監視対象を特定することができる監視対象特定部と、複数の特徴点を連接する骨格線で構成される前記監視対象の骨格を抽出する骨格抽出部と、前記骨格抽出部が抽出した前記骨格を構成する特徴点の前記監視対象領域３次元空間内における位置を特定する、位置特定部と、前記特徴点の３次元位置の変動情報に基づいて、前記監視対象領域３次元空間内での運動を認識する運動認識部と、を備える監視装置。【選択図】図１

Description

本発明は、監視装置、監視システム、及び、監視方法に関する。

従来、防犯や防災等の目的で監視カメラを用いた監視装置及び監視システム（以下、「監視装置等」とも言う）が利用されている。この種の監視装置等は、一般に、監視カメラと情報処理装置とを含んで構成されており、例えば、店舗や商業施設、公共施設等の所定の監視対象領域内に設置した監視カメラによって撮影された画像を用いて監視対象の監視を行っている。

一般に、監視カメラで撮像される画像データは２次元的なものであるため、高さ情報や奥行き情報が得られない。そうすると、例えば大きさの異なる２人の人を捉えた画像データが得られたとしても、実際に２人の身長が異なっているのか、或いは、一方の人が監視カメラの近い側にいて他方の人が遠い側にいるため、大きさが異なるように見えているのか、コンピュータは画像データだけから判断することはできない。即ち、２次元の画像データから人を正確に把握することは困難である。

近年、高さ情報や奥行き情報も得ることができる３Ｄ撮影カメラの開発が進み、実用可能な３Ｄカメラは市場に存在する。しかしながら、現状では、一般的な２次元画像のみを撮影するカメラと比較して著しく高額であり、多くの一般的な小売店舗等においては、監視用カメラとしての導入は、コスト面で事実上不可能である。

そこで、様々な画像処理技術により、２次元の画像データに、撮影後に付加的に奥行き情報を加えることにより、当該２次元の画像データから、監視対象についての３次元空間内での位置情報（以下、「３Ｄ位置情報」とも言う）を得ることができる監視装置や監視システムが提案されている（特許文献１、２参照）。以下、本明細書においては、このように、２次元の元画像データから、例えば上記のようにして、監視対象についての「３Ｄ位置情報」を得ることができ、当該「３Ｄ位置情報」を用いて監視を実行する監視装置や監視システムとのことを「２Ｄ−３Ｄ監視装置等」と称する。

ここで、特許文献１に開示されている監視システム（「２Ｄ−３Ｄ監視装置等」）においては、監視対象に係る３Ｄ位置情報を得るためには、監視対象までの距離を監視期間中、常に測定し続ける必要があるため、情報処理量が膨大となる点に改善の余地があった。

一方、特許文献２に開示されている監視システム（「２Ｄ−３Ｄ監視装置等」）においては、監視装置等の稼働開始時に、予め、撮像部から各メッシュまでの距離情報を有するメッシュモデルを、生成することにより、その後は、監視対象までの距離を測定することなく、撮像部で所定領域を撮像することにより、距離測定を行うことなく監視対象とする３次元空間内での監視対象の３Ｄ位置情報を、監視期間中を通して継続的に得ることができる。

又、特許文献２には、２次元画像内の監視対象人を、複数の領域（例えば、上部領域：頭部、中間領域：胴体部、下部領域：脚部）に区画して、それらの各領域毎に人の各部の位置変動に係る特徴量を抽出することにより、監視対象とした「人」の不審行動等、予め設定されている「特異的な動作」を判別する方法が開示されている。これにより、２次元画像データから３次元空間内での監視対象の人の「動作」を監視し、監視対象とした「人」の「特異的な動作」を一定の精度で抽出することが可能である。例えば、「上部領域（頭部）の特異的な運動量の増加」から、当該人の不審な行動（例えば、過剰に周辺を見回す行動等）を定型的な行動の一つとして把握すること等は、最新の監視システムにおいて実現されている。

しかしながら、上記のように「特異的な動作」を把握するだけでは、監視の精度としては、未だ不十分とされる場合も多い。例えば、監視対象が「人（不審者）」と「物（陳列商品等）」とである場合に、上記のような「過剰に周辺を見回す」といったような定型的な不審行動を予備的な行動として抽出することは、従来の「２Ｄ−３Ｄ監視装置等」においても可能となっている。しかしながら、実際に当該商品をつかんで持ち去ったときだけに、「商品を持ち去った」という「人」の「物」に対する不定形な「動作」を、物とは関連しない類似のその他の動作と区別して抽出することは、従来の「２Ｄ−３Ｄ監視装置等」によっては未だ実現されていなかった。頭部、体幹、両手、両足を個別に、且つ、連動させて複雑に動かす「人」の動作を、「物」に対する特定の作用として統合された「３Ｄ位置情報」として把握することは、従来の「２Ｄ−３Ｄ監視装置等」においては、おおよそ不可能であると考えられていた。

特開２０１３−２０７４１５号公報 特許第５８９９５０６号公報

本発明は、以上の状況に鑑みてなされたものである。その目的は、２次元画像を用いた監視装置において、監視対象とした「人」が行う監視対象とした「物」に対する不定形な一般的動作を抽出して、監視対象とした「人」が、監視対象とした「物」に対して不審度の高い所定の行動を行ったことを、高い精度で認識することができる監視装置・監視システムを提供することである。

本発明は、以下のような解決手段により、前記課題を解決する。尚、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。

（１） 監視対象領域３次元空間を２次元の画像として撮影する撮影部（１１０）と、前記撮影部（１１０）が撮影した撮影画像中の監視対象を特定することができる監視対象特定部（１２３）と、複数の特徴点を連接する骨格線で構成される前記監視対象の骨格を抽出する骨格抽出部（１２４）と、前記骨格抽出部（１２４）が抽出した前記特徴点の前記監視対象領域３次元空間内における位置を特定する、位置特定部（１２５）と、前記特徴点の前記位置の変動に係る情報に基づいて、前記監視対象の運動を認識する運動認識部（１２６）と、を備える監視装置（１００）。

（２） 前記撮影画像中の床面又は地面に相当する位置を前記監視対象領域３次元空間内における実寸法と関連付けて特定可能な座標を、前記撮影画像に基づいて設定する座標設定部（１２１）を備え、前記位置特定部（１２５）は、前記座標設定部（１２１）が設定した前記座標に基づいて前記特徴点の前記監視対象領域３次元空間内における位置を特定する、（１）に記載の監視装置（１００）。

（３） 前記運動認識部（１２６）により認識された前記監視対象の運動量ベクトルを入力値とし、この入力値と既定の閾値との比較により、該監視対象の運動の不審度を判定して出力する、不審運動判定部（１２７）を備える、（１）又は（２）に記載の監視装置（１００）。

（４） 前記不審運動判定部（１２７）は、前記監視対象が人及び物を含んでいる場合に、該人の前記運動量ベクトルと該物の前記運動量ベクトルとの差分を入力値とし、この入力値と既定の閾値との比較により、前記監視対象の運動の不審度を判定して出力する、（３）に記載の監視装置（１００）。

（５） 監視対象領域３次元空間を２次元の画像として撮影する撮影部（１１０）と、前記撮影部（１１０）が撮影した撮影画像中の監視対象を特定することができる監視対象特定部（１２３）と、複数の特徴点を連接する骨格線で構成される前記監視対象の骨格を抽出する骨格抽出部（１２４）と、前記骨格抽出部（１２４）が抽出した前記特徴点の前記監視対象領域３次元空間内における位置を特定する、位置特定部（１２５）と、前記特徴点の前記位置の変動に係る情報に基づいて、前記監視対象の運動を認識する運動認識部
（１２６）と、を備える監視システム。

（６） 前記撮影画像中の床面又は地面に相当する位置を前記監視対象領域３次元空間内における実寸法と関連付けて特定可能な座標を、前記撮影画像に基づいて設定する座標設定部（１２１）を備え、前記位置特定部（１２５）は、前記座標設定部（１２１）が設定した前記座標に基づいて前記特徴点の前記監視対象領域３次元空間内における位置を特定する、（５）に記載の監視システム。

（７） 前記運動認識部（１２６）により認識された前記監視対象の運動量ベクトルを入力値とし、該入力値と既定の閾値との比較により、前記監視対象の運動の不審度を判定して出力する、不審運動判定部（１２７）を備える、（５）又は（６）に記載の監視システム。

（８） 前記不審運動判定部（１２７）は、前記監視対象が人及び物を含んでいる場合に、該人の前記運動量ベクトルと該物の前記運動量ベクトルとの差分を入力値とし、この入力値と既定の閾値との比較により、前記監視対象の運動の不審度を判定して出力する、（７）に記載の監視システム。

（９） 撮影部（１１０）が監視対象領域３次元空間を２次元の画像として撮影する撮影ステップと、監視対象特定部（１２３）が、前記撮影部（１１０）が撮影した撮影画像中の監視対象を特定する監視対象特定ステップと、骨格抽出部（１２４）が、複数の特徴点を連接する骨格線で構成される監視対象の骨格を抽出する監視対象の骨格抽出ステップと、位置特定部（１２５）が、前記骨格抽出部（１２４）が抽出した前記特徴点の前記監視対象領域３次元空間内における位置を特定する特徴点位置特定ステップと、運動認識部（１２６）が、前記特徴点の前記位置の変動に係る情報に基づいて、前記監視対象領域３次元空間内における前記監視対象の運動を認識する運動認識ステップと、を備える、監視方法。

（１０） 座標設定部（１２１）が、前記撮影画像中の床面又は地面に相当する位置を前記監視対象領域３次元空間内における実寸法と関連付けて特定可能な座標を、前記撮影画像に基づいて設定する座標設定ステップを更に備え、前記座標設定ステップは、前記撮影部の設置後に少なくとも１回行われ、前記撮影ステップ、前記監視対象特定ステップ、前記骨格抽出ステップ、前記特徴点位置特定ステップ、及び、前記運動認識ステップは、監視期間中に繰り返し行われる、（９）に記載の監視方法。

（１１） 不審運動判定部（１２７）が、前記運動認識部（１２６）により認識された前記監視対象の運動量ベクトルを入力値とし、該入力値と既定の閾値との比較により、前記監視対象の運動の不審度を判定して出力する、不審行動判定ステップを更に備え、前記不審行動判定ステップは、監視期間中に繰り返し行われる、（１０）に記載の監視方法。

本発明によれば、２次元画像を用いた監視装置において、監視対象とした「人」が行う監視対象とした「物」に対する不定形な一般的動作を抽出して、監視対象とした「人」が、監視対象とした「物」に対して不審度の高い所定の行動を行ったことを、高い精度で認識することができる監視装置・監視システムを提供することができる。

本発明の監視装置の構成を示すブロック図である。 本発明の監視装置を構成する撮影部の取り付け態様の一例を示す図である。 本発明の監視装置が備える座標設定部が座標設定を行うために用いる背景画像の一例を示す図である。 上記の座標設定部が設定した座標の一例を示す図である。 本発明の監視装置・監視システムの動作の流れを示すフローチャートである。 本発明の監視装置による座標設定処理の動作の流れを示すフローチャートである。 本発明の監視装置が備える監視対象特定部によって、撮影画像中の監視対象（人Ｈと物Ｍ）が特定されている状態を示す図である。 本発明の監視装置が備える骨格抽出部によって、図７の監視対象から骨格が抽出されている状態を示す図である。 本発明の監視装置が備える位置特定部によって、上記の骨格の特徴点が、３次元情報（奥行情報）を含む座標上に重ね合わされている状態を示す図である。 上記の監視装置が備える運動認識部によって、上記の特徴点の位置の変動に係る情報に基づいて、監視対象の運動が認識される状態を示す図である。 上記の運動認識部によって認識された、監視対象の運動量ベクトルを示す図である。 設定用被写体を含めて背景の撮影を行った撮影画像を示す図である。 基準被写体と消失点との関係を説明する図であり、上記撮影部により撮影された画像に相当する。 本発明の他の実施形態における撮影部の取り付け態様を横方向から模式的に示す図である。 上記撮影部と監視対象との関係を上方から見た状態として模式的に示す図である。 より詳細な説明を図１４に追加した図である。 より詳細な説明を図１５に追加した図である。

以下、本発明を実施するための最良の形態について図面等を参照して説明する。

＜監視装置＞
図１は、本発明の監視装置１００の構成を示すブロック図である。尚、図１を含め、以下に示す各図は、模式的に示した図であり、各部の大きさ、形状は、理解を容易にするために、適宜変更して示している。又、以下の説明では、具体的な構成を示して説明を行うが、これらは、適宜変更することができる。

［全体構成］
監視装置１００は、撮影部１１０と、演算処理部１２０とを備えている。以下では、監視装置１００は、撮影部１１０と演算処理部１２０とを離れた位置に別々に配置可能として構成した例を挙げて説明する。しかし、撮影部１１０と演算処理部１２０とを１つの監視装置として一体化した構成、或いは、演算処理部１２０の一部のみを撮影部１１０内に搭載した構成とすることもできる。

［撮影部］
図２は、撮影部１１０の取り付け態様の一例を示す図である。撮影部１１０は、監視対象領域を撮影する、所謂、監視カメラである。又、撮影部１１０を構成する監視カメラは監視対象領域３次元空間を２次元の画像として撮影する単眼のカメラでよく、高価な３Ｄカメラを導入することなく、本発明の効果を享受することができる。図２には、撮影部１１０が天井に取り付けられている例を示したが、取り付け場所は、監視対象領域に応じて適宜変更可能である。撮影部１１０は、撮像素子１１１と、撮影レンズ１１２と、画像処理部１１３とを備えいる構成とすることができる。

撮像素子１１１は、撮影レンズ１１２が結像する像を撮像して、画像処理部１１３へ送る。又、図２には、撮影レンズ１１２の光軸（映像光の光軸）Ｏ、及び、撮影範囲（角度θの範囲）を模式的に示した。尚、撮影範囲は、アスペクト比に応じて、上下、左右の各方向における実撮影範囲が異なるので、ここでは、理解を容易にするために図示したような撮影画面における上下方向の撮影範囲を角度θ（垂直方向画角）の範囲として示した。

画像処理部１１３は、撮像素子１１１から出力されるデータを処理して画像データ化して、演算処理部１２０へ送信する。

［演算処理部］
演算処理部１２０は、撮影部１１０から送信された画像データに対して、監視に必要な演算処理を行う。演算処理部１２０は、例えば、パーソナルコンピュータやタブレット端末、スマートフォン等を利用して構成することができる。或いは、演算処理部１２０は、監視動作に特化した専用の装置として構成することもできる。これらの何れの構成においても、演算処理部１２０は、ＣＰＵ、メモリ、通信部等のハードウェアを備えている。そして、このような構成からなる演算処理部１２０は、コンピュータプログラム（監視プログラム）を実行することにより、以下に説明する各種動作、及び、監視方法を具体的に実行することができる。

演算処理部１２０は、撮影部１１０から画像データを受信することができるように撮影部１１０と接続されている。この接続は、専用の通信ケーブルを利用した有線接続、或いは、有線ＬＡＮによる接続とすることができる。又、有線接続に限らず、無線ＬＡＮや近距離無線通信、携帯電話回線等の各種無線通信を用いた接続としてもよい。尚、演算処理部１２０は、撮影部１１０の近傍に配置せずに、撮影部１１０から離れた遠隔地に配置してもよい。

演算処理部１２０は、座標設定部１２１、入力部１２２、監視対象特定部１２３、位置特定部１２５、及び、不審運動判定部１２７を備えている。以下これらの各部について説明する。

（座標設定部）
座標設定部１２１は、撮影部１１０が撮影した撮影画像中の床面又は地面に相当する位置を監視対象領域３次元空間内における実寸法と関連付けて特定可能な座標を設定する処理を行う。座標設定動作の詳細は後述する（図４参照）。

（入力部）
入力部１２２は、撮影部１１０から床面又は地面までの距離（高さｈ）について、外部からの入力を受け付ける。又、入力部１２２は、撮影部１１０が撮影する映像光の光軸の向き（鉛直方向（Ｚ方向）に対する角度α）の入力を受け付ける。入力部１２２は、演算処理部１２０に設けられたキーボード等の汎用の入力装置を介して入力される値を受け付けてもよいし、設定値が保存された記憶媒体を介して入力される値を受け付けてもよいし、ネットワーク等を介して入力される値を受け付けてもよい。

（監視対象特定部）
監視対象特定部１２３は、監視動作中に、撮影画像中の「人」や「物」を自動的に検出して、これを監視対象として特定する。又、監視対象特定部１２３は、複数の監視対象を同時に並行して個別に特定する機能を有する（図８参照）。

（骨格抽出部）
骨格抽出部１２４は、複数の特徴点を連接する骨格線で構成される前記監視対象の骨格を抽出する（図８、９参照）。

（位置特定部）
位置特定部１２５は、骨格抽出部１２４が抽出した骨格を構成する特徴点の「監視対象領域３次元空間内における位置」を特定する（図１０、１１参照）。この「監視対象領域３次元空間内における位置」とは、上記特徴点が現実の監視対象領域空間内で実際に占める位置である。この位置は、各特徴点が、上記の座標上に占める位置から得ることができる「３次元位置情報」に基づいて特定される（図１０参照）。

（運動認識部）
運動認識部１２６は、上記の特徴点の「監視対象領域３次元空間内における位置」の変動に係る情報に基づいて、監視対象領域３次元空間内における監視対象の「運動」を認識する。尚、ここでいう「運動」には、監視対象とする「人」等の姿勢の変化や、監視対象とする「物」の形状の変化等、骨格の特徴点の位置変動によって把握することが可能な監視対象のあらゆる動きが含まれる（図１０、図１１参照）。

（不審運動判定部）
不審運動判定部１２７は、運動認識部１２６により認識された監視対象とされているた「人」や「物」の監視対象領域３次元空間内における運動量ベクトルを入力値とし、この入力値と所定の閾値との比較により、監視対象の運動の不審度を判定して出力する。

又、不審運動判定部（１２７）は、監視対象が「人」及び「物」を含んでいる場合に、「人」の運動量ベクトルと「物」の運動量ベクトルとの差分を入力値とし、この入力値と既定の閾値との比較によっても、監視対象の運動の不審度を判定して出力する。これにより、例えば、「人が物を掴んでそのまま持ち去る」というような「人」の「物」に対する動作を統合的に判定することができる。

［監視装置及び監視システムの動作］
図５は、監視装置１００を好適に用いて実行することができる本発明の監視システムの動作の流れを示すフローチャートである。

（座標設定ステップ）
座標設定ステップＳ１１では、座標設定部１２１が、座標設定処理を行う。Ｓ１１で行われる座標設定処理とは、座標設定部１２１が、撮影部１１０が撮影した撮影画像中の床面又は地面に相当する位置を監視対象領域３次元空間内における実寸法と関連付けて特定可能な座標、即ち、監視対象領域についての奥行き情報も有する３次元座標を設定する処理である。

尚、この座標設定ステップＳ１１は、監視領域を監視するための事前準備であって、これ以降のステップにより本稼働としての実際の監視が開始される。換言すると、座標設定ステップＳ１１は、監視の本稼働の開始に先行して、撮影部１１０の設置後に少なくとも１回行われればよい。例えば、監視装置１００を設置したときに適切に上記の座標を設定しておけば、その後、撮影部１１０の配置の変更等、監視画像の撮影条件に特段の変更がない限り、監視システムの稼働中における再度の座標設定を不要とすることができる。

この座標設定部１２１が設定する座標とは、撮影部１１０が撮影する撮影画像中において、ある任意の位置を特定し、その位置が床面又は地面にあるとしたときに、その床面又は地面が、実際の監視対象領域の空間においてどの位置に相当するのか特定可能な座標である。即ち、この設定される座標上の位置は、監視対象領域３次元空間内における実寸法と関連付けて設定される。

図３は、座標設定部１２１が座標設定を行うときに撮影される背景画像の一例を示す図である。図３に示した例では、床面５０１と、壁面５０２と、陳列棚５０３とが撮影画像中に含まれている。図３において、床面に平行な面をＸＹ平面とし、ＸＹ平面のうち図３中の左右方向をＸ方向とし、左右方向に直交する奥行方向をＹ方向とする。又、床面に垂直な鉛直方向をＺ方向とする。以下、図４、図７〜９、図１３においても同様である。

撮影部１１０が撮影する撮影画像は２次元の画像情報である。よって、撮影画像中である位置を選択（特定）したとしても、それだけでは、選択（特定された）位置（２次元位置）が、実際の３次元空間上におけるいかなる位置（３次元位置）であるのかを特定することができない。しかし、床面、又は、地面上に、「監視対象領域３次元空間内における実寸法」と関連付けた座標を設定した上で、撮影画像中で選択（特定）する位置を、床面又は地面であると限定すれば、撮影画像中で選択（特定）された位置が監視対象領域３次元空間内におけるどの位置の床面又は地面であるのかを特定することが可能となる。そこで、座標設定部１２１は床面又は地面に対応させた座標を設定する。

座標設定部１２１は、撮影部１１０から床面又は地面までの距離ｈと、撮影部１１０が撮影する映像光の光軸Ｏの向き（角度α）と、撮影部１１０が撮影する撮影画像の画角（θ）とを用いて座標を設定する。

図２に示すように、撮影部１１０が撮影する撮影画像中における、中心位置に存在する床面又は地面の実際の中心位置ＰＯ、即ち、撮影レンズ１１２の光軸Ｏが床面又は地面と交わる中心位置ＰＯは、幾何学的に特定可能である。具体的には、撮影部１１０が設置されている位置の床面又は地面からの高さｈと、光軸Ｏの向きを特定可能な角度α（光軸Ｏと鉛直方向Ｇとのなす角度）とを取得できれば、撮影部１１０の真下の位置から位置ＰＯまでの距離ＬＯを求めることができる。

又、垂直方向画角θは、撮像素子１１１のサイズと撮影レンズ１１２の諸元から一義的に決まる既知の値であるので、中心位置ＰＯから撮影範囲の最近点Ｐ１までの距離Ｌ１と、中心位置ＰＯから撮影範囲の最遠点Ｐ２までの距離Ｌ２とについても、幾何学的に求めることができる。同様に、これらの中間の任意の位置についても、画像中の位置と監視対象領域３次元空間内における実際の位置（実寸法、実距離）とを関連付けることができる。

又、上述した奥行方向（図中のＹ方向）と同様に、左右方向（図中のＸ方向）についても、画像中の位置と監視対象領域３次元空間内における実際の位置（実寸法、実距離）とを関連付けることができる。

以上のようにして、座標設定部１２１は、撮影画像中に、「監視対象領域３次元空間内における位置」と関連付けされた座標を設定することができる。

図４は、座標設定部１２１が設定した座標の一例を示す図である。図４では、説明のために、図３の撮影画像にＹ方向及びＸ方向に、監視対象領域３次元空間内における実寸法において等間隔となるグリッドを重ねて示した。尚、このようにグリッドで領域を分割することは、一例であって、グリッド分けをせずに連続した座標が設定されていてもよい。尚、座標設定部１２１が設定する座標は、床面５０１（又は地面）が無限に広がっていると仮定して設定されるので、これを説明するために、あえて壁面５０２や陳列棚５０３等に対してもグリッドを重ねて表示した。

ここで、撮影画像では、監視対象領域３次元空間内における実寸法が同じであっても、近くの位置よりも遠くの位置の方が小さく見える。よって、設定された座標において、上記実寸法上で等間隔のグリッドは、遠方の方が小さくなるように設定される。このように、座標設定部１２１が設定する座標は、監視対象領域３次元空間内における実際の位置（実寸法、実距離）と関連付けられている。

座標設定部１２１が設定する座標が、上述の通り、監視対象領域３次元空間内における実際の位置（実寸法、実距離）と関連付けられているということは、換言すれば、座標設定部１２１が設定する上記座標上の各グリッド、或いは、各点は、撮影部１１０からの距離情報を含んでいるということでもある。そうすると、所定領域内の監視対象がどのグリッドに位置しているかを把握することで、当該監視対象の大きさや立体形状に係る３次元情報を取得することが可能である。

尚、本発明の監視装置１００においては、撮影部１１０が設置されている位置の床面又は地面からの高さｈと、光軸Ｏの向きを特定可能な角度α（光軸Ｏと鉛直方向Ｇとのなす角度）とを取得できれば、撮影部１１０の真下の位置から位置ＰＯまでの距離ＬＯを求めることができる。一方で、監視装置１００を構成する撮影部１１０は、赤外線等を照射して距離測定を行う距離測定部に相当する構成を必須の構成としてはいない。上記のように幾何学的に監視対象領域３次元空間の位置を特定する前提として必要な初期情報となる「高さｈ」に関しては、監視装置１００が自動的に得られる値ではない。撮影部１１０が設置される高さは、監視を行う現場に応じて様々である。監視装置１００では、入力部１２２が高さｈの入力を受け付けることで、適切な高さｈを取得する。

又、光軸Ｏの向きを特定可能な角度αについても、正しい値を取得する必要がある。ここで説明する撮影部１１０は、光軸Ｏの向きを任意の向きに向けて設置が可能なように構成されているが、設置後は、光軸Ｏの向きに変化はない。そこで、本実施形態の監視装置１００では、角度αについても、入力部１２２が入力を受け付けることで、適切な角度αを取得する。尚、角度αについては、撮影部１１０の設置工事時に調整されるので、設置工事完了後に入力が行われる。その際、最終的な調整値を得ることができるように、例えば、撮影部１１０の向き調整機構に目盛を設けておけば、この目盛に応じた値を入力部１２２に入力することにより、適切な値を簡単に入力可能である。尚、光軸Ｏの向きを変更できない簡素な構成の撮影部１１０の場合に、この角度αは、その規定値を用いればよいので、入力部１２２による角度αの入力を省略可能である。

尚、撮影部１１０が、赤外線等を照射して距離測定を行う距離測定部に相当する構成を有する場合においては、距離測定部によって先ず撮影部から監視画像の背景に対応する実際の各点までの距離を実測し、この実測値に基づいて、上記同様、監視対象領域３次元空間内における実際の位置（実寸法、実距離）と関連付けられている座標を設定することができる（特許文献２参照）。換言すれば、本発明の好ましい実施形態によれば、特許文献２に開示されている監視システム等において座標設定のための初期情報を得るために必須とされている撮影部から監視対象等までの距離の測定は不要である。

図６は、座標設定処理の動作の流れを示すフローチャートである。Ｓ１０１では、入力部１２２が、高さｈと角度αの入力を受け付ける。Ｓ１０２では、座標設定部１２１が、座標を設定する座標設定処理を行い、座標設定処理を終了する。

尚、座標設定処理は、上記方法による他、基準被写体を撮影部（１１０）により撮影した撮影画像を用いて設定する方法によることもできる。ここで、基準被写体とは、予め形状及び寸法が既知の被写体であり、この基準被写体を撮影することにより、撮影画面内のどの位置で既知の寸法がどのように撮影されているかを演算することにより、上記のように高さｈと角度αの入力を行わなくても、精度の高い座標設定を行うことが可能である。

又、基準被写体としては、座標設定用に作製された専用の設定用被写体であることが好ましいが、座標設定時に撮影範囲内に含まれる背景物（例えば、陳列棚５０３）を基準被写体として利用してもよい。その場合に、基準被写体とする背景物の監視対象領域３次元空間内における実寸法や形状等を入力可能とするとよい。基準被写体の形状は限定されないが、正方形の設定用被写体Ｓを基準被写体として用いることにより、撮影画像内で認識される設定用被写体Ｓの各辺の寸法差に基づいて、幅方向と奥行き方向の座標系を、より簡易な演算で高精度に設定することができる。

（撮影ステップ）
撮影ステップＳ１２では、撮影部１１０が監視撮影を行う。ここで、監視撮影は、静止画の撮影を所定間隔で連続して行い、撮影される画像の連続として後述する監視動作を行うが、撮影間隔を非常に短くすることにより、実質的には、動画撮影として、監視動作を行っているものと捉えることもできる。

（監視対象特定ステップ）
監視対象特定ステップＳ１３では、監視対象特定部１２３が、撮影部が撮影した撮影画像中の監視対象を検出して特定したか否かについて判断を行う。監視対象を検出して特定した場合（Ｓ１３、Ｙｅｓ）には、骨格抽出ステップＳ１４へ進み、監視対象が検出されていない場合（Ｓ１３、Ｎｏ）には、撮影ステップＳ１２へ戻り、監視動作を継続する。

監視対象の検出は、具体的には、従来公知の様々な手法の何れか、又は、それらを組合せて行うことができる。例えば、背景差分によって監視領域内の「人」を抽出することができる。この背景差分は公知の技術であり、監視カメラ２４で取得された画像データと、事前に取得しておいた監視領域Ａの背景画像との差分をとることで、動きのある監視対象を抽出する技術である。

又、検出した監視対象の特定については、近年、画像認識分野において、認識率の飛躍的向上が注目を集めているディープラーニングを用いた画像認識技術と本発明との組合せが有効である。このような画像認識技術と組合せることにより、撮影画像中の「人」や物を自動的に、且つ、極めて高い認識正解率で検出して特定することができる。又、多数の監視対象をカテゴリーや種類毎に分類認識して、同時並行的に検出して特定することもできる。

尚、ディープランニングを用いた画像認識技術については、例えば、下記に公開されている。
「ディープラーニングと画像認識、オペレーションズ・リサーチ」
（ｈｔｔｐ：／／ｗｗｗ．ｏｒｓｊ．ｏ．ｊｐ／ａｒｃｈｉｖｅ２／ｏｒ６０−４／ｏｒ６０＿４＿１９８．ｐｄｆ））

（骨格抽出ステップ）
骨格抽出ステップＳ１４では、骨格抽出部１２４が、監視対象特定ステップＳ１３で検出され特定された監視対象（例えば、図９における人Ｈと、物Ｍ）について、複数の特徴点とそれらの複数の特徴点を連接する骨格線とで構成される各監視対象の骨格を抽出する。

本明細書において、監視対象の「骨格」とは、監視対象の複数の特徴点とこれらを連接してなる線状の図形である。図８は、骨格抽出部１２４によって、監視対象である人Ｈから骨格が抽出されている状態を示す図である。図８において、監視対象である人Ｈの頭頂部、左手Ｈ_２、及び、その他の四肢の先端や主たる関節部分に対応する位置が特徴点（ｈ_１、・・・、ｈ_ｎ）として把握されており、これらの複数の特徴点と、それらを連接する線分とによって形成される監視対象Ｈの「骨格」が、２次元撮影画像内の図形として認識されている。

骨格抽出ステップＳ１４で骨格を抽出する監視対象をどの程度の数の特徴点で区切って動作解析の単位となる各部分に細分化するかは、監視目的に応じて、どのような行動の差異を峻別して判定する必要があるかを考慮して適宜設計すればよい。但し、本発明の監視装置、監視システムの有利な効果を享受するための最小限の構成として、複数の特徴点が、少なくとも監視対象の「人」の頭頂部及び四肢の先端近傍部に該当する位置点を含んで構成されていることが好ましい。

監視対象の骨格の抽出は、具体的には、従来公知の様々な手法の何れか、又は、それらを組合せて行うことができる。一例として、下記文献に開示されている「ＯｐｅｎＰｏｓｅ」と称される技術を用いることにより、２次元の撮影画像から「人」の骨格を抽出することができる。
「Ｚｈｅ Ｃａｏ 他 Ｒｅａｌｔｉｍｅ Ｍｕｌｔｉ−Ｐｅｒｓｏｎ ２Ｄ Ｈｕｍａｎ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ Ｐａｒｔ Ａｆｆｉｎｉｔｙ Ｆｉｅｌｄｓ， ＣＶＰＲ ２０１７」

（特徴点位置特定ステップ）
特徴点位置特定ステップＳ１５では、位置特定部１２５が、骨格抽出部１２４が２次元の図形として抽出した監視対象の骨格の位置情報から、これを構成する各特徴点の「監視対象領域３次元空間内における位置」を特定する。

図９は、位置特定部１２５によって、監視対象特定ステップＳ１３で監視対象として検出された人Ｈ及び物Ｍについて、骨格抽出ステップＳ１４で抽出されたそれぞれの骨格の特徴点（ｈ１、ｈ２、・・・ｈ５）、（ｍ１）が、座標設定ステップＳ１１において予め設定されている３次元情報（奥行情報）を含む座標上に重ね合わされている状態を示す図である。

図９に示すように、位置特定部１２５の動作により、監視対象の人Ｈの骨格の脚部先端近傍の特徴点（ｈ３、ｈ５）の位置が、３次元情報（奥行情報）を含む座標上におけるどの位置を占めているか（どのグリッド内にあるか）によって、監視対象の人Ｈの立ち位置が斜線部分のグリッド内であることを特定することができる。

そして、人Ｈの立ち位置が、３次元情報（奥行情報）を含む座標上で特定できれば、例えば、撮影画像内での人Ｈのサイズや形状から、監視対象領域３次元空間内における人Ｈの実際のサイズや立体形状を算出して把握することができる。つまり、２次元の画像データ（撮影画像内の座標上に重ね合わされた特徴点の位置情報）から、人Ｈや物Ｍの位置や運動に係る三次元データを取得することができる。

上記原理により、特徴点位置特定ステップＳ１５では、監視対象の骨格を構成する特徴点について「監視対象領域３次元空間内における位置」が特定される。又、「監視対象領域３次元空間内における位置」を特定することができれば、上述の通り、当該監視対象の大きさや立体形状に係る３次元情報を取得することもできる。

例えば、上述の「ＯｐｅｎＰｏｓｅ」を用いることにより、監視対象となる「人Ｈ」の２次元撮影画像から、複数の特徴点（ｈ１〜ｈ５等で構成される複数の特徴点）が連接されてなる骨格を抽出することが可能である。そして、これら各特徴点の上記座標上の位置から、各特徴点の「監視対象領域３次元空間内における位置」を算出して特定することができる。

（運動認識ステップ）
運動認識ステップＳ１６では、運動認識部１２６が、特徴点の「監視対象領域３次元空間内における位置」の変動に係る情報に基づいて、前記監視対象領域３次元空間内における前記監視対象の運動を認識する。

図１０は、運動認識部１２６によって、上記の各特徴点の３次元位置の変動に係る情報に基づいて、監視対象領域３次元空間内での監視対象の動作が認識される状態を示す図である。ここでは、監視対象として特定された人Ｈの左手Ｈ２の位置が、監視対象領域３次元空間内において位置ｈ２_０（ｘｈ２_０、ｙｈ２_０、ｚｈ２_０）から位置ｈ２_１（ｘｈ２_１、ｙｈ２_１、ｚｈ２_１）に移動したこと、及び、監視対象である物Ｍについては位置ｍ１_０（ｘｍ１_０、ｙｍ１_０、ｚｍ１_０）に静止していること、そして、「人Ｈの左手Ｈ２の移動後の位置ｈ２_１と、物Ｍの位置ｍ１_０とが、監視対象領域３次元空間内において一致していること」が、運動認識部１２６によって認識されている。

（不審行動判定ステップ）
不審行動判定ステップＳ１７では、不審運動判定部（１２７）が、前記運動認識部（１２６）により認識された前記監視対象の運動量ベクトルを入力値とし、この入力値と既定の閾値との比較により、前記監視対象の運動の不審度を判定して出力する。不審運動判定部１２７が、監視対象の運動の不審度が高い（異常行動を行っている）と判断した場合（Ｓ１７、Ｙｅｓ）には、不審行動検知処理ステップＳ１８へ進み、監視対象の運動の不審度が低い（異常行動を行っていない）と判断した場合（Ｓ１７、Ｎｏ）には、撮影ステップＳ１２へ戻る。

不審運動判定部１２７は、上述の運動量ベクトルから、監視対象である「人」の移動、頭部や四肢の動き、姿勢の変化を統合的に把握し、この「運動」が不審度の高い「運動」であるか否かを判断する。例えば、監視対象である「人」が、進入禁止の位置に浸入したことを検知したり、一定の位置に所定時間以上留まっていること、或いは、短時間のうちに一定の位置の周囲を徘徊する行動等、を検知したりした場合等に、それらの「運動」を不審度の高い運動と判断する。

更に、不審運動判定部１２７は、監視対象である「人」の運動量ベクトルと、「物」の運動量ベクトルとの差分を入力値とし、この入力値と既定の閾値との比較により、前記監視対象の運動の不審度を判定して出力する。この場合も、判断結果に応じたその後の動作の流れは上記同様である。

不審運動判定部１２７は、例えば、図１１に示すような人Ｈの運動量ベクトルと、物Ｍの運動量ベクトルに係るデータを取得したとき、ベクトル量の差分等を解析することにより、「人Ｈが、位置ｍ１_０に静置されていた物Ｍに左手を伸ばしてこれを把持し、そのまま物Ｍを位置ｍ１_２（ｈ１_２）まで移動させた」ことを３次元空間内で統合的に把握することが可能である。物Ｍが移動させられるべき物品ではないことを、予め条件付けしておくことにより、上記行動を「極めて不審度の高い行動」として検知することができる。

尚、不審運動判定部１２７の上記判断例は、簡単な構成を例示したに過ぎず、様々な条件の組合せによって、より高度な不審行動の検出を行うことが可能である。

（不審行動検知処理ステップ）
不審行動検知処理ステップＳ１８では、演算処理部１２０が、異常行動を検知した場合に行われる不審行動検知処理を行う。不審行動検知処理としては、従来から公知の様々な処理を適宜利用可能である。例えば、警告音を発したり、警告表示を行ったりするといった簡単な処理であってもよいし、管理者や警備会社等への通報を更に行ってもよい。又、異常行動の種類やレベルに応じて、不審行動検知処理の内容を変更してもよい。

不審行動検知処理ステップＳ１８では、演算処理部１２０が、監視を終了するか否かを判断する。監視終了は、例えば、監視終了の命令が入力された場合に終了と判断される。終了する場合（Ｓ１８、Ｙｅｓ）には、監視動作を終了し、それ以外の場合（Ｓ１８、Ｎｏ）には、撮影ステップＳ１２へ戻り、監視を継続する。

［監視装置・監視システムの他の実施形態］
本発明の監視装置・監視システムは、位置特定部による、上記の特徴点の「監視対象領域３次元空間内における位置」の特定（特徴点位置特定ステップＳ１５）を、上記座標（監視対象領域についての奥行き情報も有する３次元座標）にはよらず、監視対象領域の撮影画像に含まれる情報から求めた「消失点」に基づいて、行う実施形態とすることもできる。

この実施形態においては、座標設定部１２１が行なう座標設定に相当する処理（座標設定ステップＳ１１）を行なわずに、「監視対象領域３次元空間内における位置」を特定することができる。

図１３は、基準被写体と消失点を説明する図であり、撮影部１１０により撮影された画像に相当する。又、図１４は、撮影部１１０と監視対象との関係を上方から見た状態として模式的に示す図である。そして、図１５は、撮影部１１０と監視対象との関係を横方向から模式的に示す図である。これらの各図、及び、図１６、１７において、網点で塗りつぶした領域は、撮影部１１０の撮影範囲である。

この実施形態においては、基準被写体として、図１４中の壁面Ｗを用いている。この壁面Ｗの上端部のラインＬ１と下端部のラインＬ２とは、「監視対象領域３次元空間内」における実物としては、両者が平行であって、且つ、水平に延在しているが、撮影画像中では、遠くに行くにしたがって両者の間の間隔が狭くなっている。そして、これら２本のラインＬ１、Ｌ２を仮想的に図中の一点鎖線のように延長して交わる点が、本明細書における「消失点Ｖ」である。尚、ラインＬ１、Ｌ２の設定は、画像処理によって自動的、又は、基準被写体をオペレータが指定することによって半自動的に行なわれるようにしてもよいし、オペレータが撮影画像中の基準被写体に基づいて手動でラインを指定（ライン上の２点をマウス等のポインティングデバイス等により指定）してもよい。

消失点Ｖが撮影画像中で特定できたら、その消失点Ｖの撮影画像中における縦方向の座標値を求める。以下、この撮影画像中における縦方向の座標をＳＹ座標、横方向の座標をＳＸ座標と呼び、実際の空間において設定したＸ座標、及び、Ｙ座標と区別することとする。したがって、ＳＹ座標、ＳＸ座標は、画素単位の数値で位置を表すことになる。

消失点Ｖの撮影画像中における縦方向の座標値Ｖ_ＳＹを求めたら、以下の式により、角度β０を求めることができる。尚、角度β０は、監視対象のある床面又は地面の位置から撮影部１１０へ向けて引いた仮想線が床面となす角度である（図１４参照）。
β０＝θＹ−（Ｋ×Ｖ_ＳＹ） ・・・式（１）
ここで、θＹは、撮影部１１０の縦方向（ＳＹ方向）の画角である。又、Ｋは、撮影部係数である。

監視対象の「監視対象領域３次元空間内における位置」を特定するためには、先ず、監視対象のＹ方向の実際の位置として、撮影部１１０直下から監視対象までのＹ方向の実際の距離ＬＹ（監視対象が「人」であれば、その足下までのＹ方向の距離）を求める。

具体的には、先ず、図１５、図１６中に示した距離ＬＹを、以下の式により求める。
β１＝Ｐ_ＳＹ／（ＰＮ_ＳＹ／θＹ）−β０ ・・・式（２）
ＬＹ＝ｈ／（ｔａｎ（β１）） ・・・式（３）
ここで、Ｐ_ＳＹは、撮影画像中の縦方向（ＳＹ方向）の座標値（画素数）であり、ＰＮ_ＳＹは、撮影画像全体の縦方向（ＳＹ方向）の座標値（画素数）である。

図１７は、より詳細な説明を図１５に追加した図である。Ｘ方向の位置を考慮するために、図１７に示す各寸法を更に求める。先ず、撮影画像のＸ方向における中心線Ｏから監視対象のＳＸ方向の座標値（画素数）である画像中距離を求める。
Ｐ_Ｘ＝｜Ｐ_ＳＸ−（ＰＮ_ＳＸ／２）｜ ・・・式（４）
ここで、Ｐ_ＳＸは、監視対象の撮影画像中の横方向（ＳＸ方向）の座標値（画素数）であり、ＰＮ_ＳＸは、撮影画像全体の縦方向（ＳＹ方向）の座標値（画素数）である。

次に、図１７中の角度β２を求める。尚、監視対象の床面又は地面から撮影部１１０直下へ向かって引いた仮想線がＸ軸（ＳＸ軸）となす角度である。
β２＝９０−（Ｐ_Ｘ×（θＸ／ＰＮ_ＳＸ） ・・・式（５）
ここで、θＸは、撮影部１１０のＸ方向における画角である。

最後に、以下の式により、監視対象の床面又は地面から撮影部１１０直下までの距離ＬＰを求める。
ＬＰ＝ＬＹ／ｓｉｎ（β２） ・・・式（６）

この実施形態においては、以上の手順によって、座標設定部１２１が行なう座標設定に相当する処理（座標設定ステップＳ１１）を行なわずに、「監視対象領域３次元空間内における位置」を特定すること（特徴点位置特定ステップＳ１５）を実行することができる。その他のステップについては、上述と同様の手順で行うことができる。つまり、この実施形態によれば、より簡易的な手法により、正確に監視対象の位置を特定することが可能となる。

以上説明した、本発明の監視装置・監視システムによれば、２次元画像を用いた監視装置等（「２Ｄ−３Ｄ監視装置等」）において、監視対象とした「人」が行う監視対象とした「物」に対する不定形な一般的動作を抽出して、２次元画像を用いた監視装置等（「２Ｄ−３Ｄ監視装置等」）でありながら、実際に監視対象とした「人」が、監視対象とした「物」に対して不審度の高い所定の行動を行ったことを、高い精度で認識することができる監視装置・監視システムを提供することができる。又、説明を簡素化するために、監視対象については、「人」と「物」の２つのカテゴリーに分けて説明したが、「人」以外の生物や、自力で運動する「物」についても、それぞれ監視対象特定部の画像認識力によって対象として認識し、基本物性等も含めて特定した上で、監視対象に含めることができる。

１００ 監視装置
１１０ 撮影部
１１１ 撮像素子
１１２ 撮影レンズ
１２０ 演算処理部
１２１ 座標設定部
２２１ 条件設定部
１２２ 入力部
１２３ 監視対象特定部
１２４ 骨格抽出部
１２５ 位置特定部
１２６ 運動認識部
１２７ 不審運動判定部
５０１ 床面
５０２ 壁面
５０３ 陳列棚

（３） 前記運動認識部（１２６）により認識された前記監視対象の速度ベクトルを入力値とし、この入力値と既定の閾値との比較により、該監視対象の運動の不審度を判定して出力する、不審運動判定部（１２７）を備える、（１）又は（２）に記載の監視装置（１００）。

（４） 前記不審運動判定部（１２７）は、前記監視対象が人及び物を含んでいる場合に、該人の前記速度ベクトルと該物の前記速度ベクトルとの差分を入力値とし、この入力値と既定の閾値との比較により、前記監視対象の運動の不審度を判定して出力する、（３）に記載の監視装置（１００）。

（７） 前記運動認識部（１２６）により認識された前記監視対象の速度ベクトルを入力値とし、該入力値と既定の閾値との比較により、前記監視対象の運動の不審度を判定して出力する、不審運動判定部（１２７）を備える、（５）又は（６）に記載の監視システム。

（８） 前記不審運動判定部（１２７）は、前記監視対象が人及び物を含んでいる場合に、該人の前記速度ベクトルと該物の前記速度ベクトルとの差分を入力値とし、この入力値と既定の閾値との比較により、前記監視対象の運動の不審度を判定して出力する、（７）に記載の監視システム。

（１１） 不審運動判定部（１２７）が、前記運動認識部（１２６）により認識された前記監視対象の速度ベクトルを入力値とし、該入力値と既定の閾値との比較により、前記監視対象の運動の不審度を判定して出力する、不審行動判定ステップを更に備え、前記不審行動判定ステップは、監視期間中に繰り返し行われる、（１０）に記載の監視方法。

本発明の監視装置の構成を示すブロック図である。 本発明の監視装置を構成する撮影部の取り付け態様の一例を示す図である。 本発明の監視装置が備える座標設定部が座標設定を行うために用いる背景画像の一例を示す図である。 上記の座標設定部が設定した座標の一例を示す図である。 本発明の監視装置・監視システムの動作の流れを示すフローチャートである。 本発明の監視装置による座標設定処理の動作の流れを示すフローチャートである。 本発明の監視装置が備える監視対象特定部によって、撮影画像中の監視対象（人Ｈと物Ｍ）が特定されている状態を示す図である。 本発明の監視装置が備える骨格抽出部によって、図７の監視対象から骨格が抽出されている状態を示す図である。 本発明の監視装置が備える位置特定部によって、上記の骨格の特徴点が、３次元情報（奥行情報）を含む座標上に重ね合わされている状態を示す図である。 上記の監視装置が備える運動認識部によって、上記の特徴点の位置の変動に係る情報に基づいて、監視対象の運動が認識される状態を示す図である。 上記の運動認識部によって認識された、監視対象の速度ベクトルを示す図である。 設定用被写体を含めて背景の撮影を行った撮影画像を示す図である。 基準被写体と消失点との関係を説明する図であり、上記撮影部により撮影された画像に相当する。 本発明の他の実施形態における撮影部の取り付け態様を横方向から模式的に示す図である。 上記撮影部と監視対象との関係を上方から見た状態として模式的に示す図である。 より詳細な説明を図１４に追加した図である。 より詳細な説明を図１５に追加した図である。

（不審運動判定部）
不審運動判定部１２７は、運動認識部１２６により認識された監視対象とされている「人」や「物」の監視対象領域３次元空間内における速度ベクトルを入力値とし、この入力値と所定の閾値との比較により、監視対象の運動の不審度を判定して出力する。

又、不審運動判定部（１２７）は、監視対象が「人」及び「物」を含んでいる場合に、「人」の速度ベクトルと「物」の速度ベクトルとの差分を入力値とし、この入力値と既定の閾値との比較によっても、監視対象の運動の不審度を判定して出力する。これにより、例えば、「人が物を掴んでそのまま持ち去る」というような「人」の「物」に対する動作を統合的に判定することができる。

（不審行動判定ステップ）
不審行動判定ステップＳ１７では、不審運動判定部（１２７）が、前記運動認識部（１２６）により認識された前記監視対象の速度ベクトルを入力値とし、この入力値と既定の閾値との比較により、前記監視対象の運動の不審度を判定して出力する。不審運動判定部１２７が、監視対象の運動の不審度が高い（異常行動を行っている）と判断した場合（Ｓ１７、Ｙｅｓ）には、不審行動検知処理ステップＳ１８へ進み、監視対象の運動の不審度が低い（異常行動を行っていない）と判断した場合（Ｓ１７、Ｎｏ）には、撮影ステップＳ１２へ戻る。

不審運動判定部１２７は、上述の速度ベクトルから、監視対象である「人」の移動、頭部や四肢の動き、姿勢の変化を統合的に把握し、この「運動」が不審度の高い「運動」であるか否かを判断する。例えば、監視対象である「人」が、進入禁止の位置に浸入したことを検知したり、一定の位置に所定時間以上留まっていること、或いは、短時間のうちに一定の位置の周囲を徘徊する行動等、を検知したりした場合等に、それらの「運動」を不審度の高い運動と判断する。

更に、不審運動判定部１２７は、監視対象である「人」の速度ベクトルと、「物」の速度ベクトルとの差分を入力値とし、この入力値と既定の閾値との比較により、前記監視対象の運動の不審度を判定して出力する。この場合も、判断結果に応じたその後の動作の流れは上記同様である。

不審運動判定部１２７は、例えば、図１１に示すような人Ｈの速度ベクトルと、物Ｍの速度ベクトルに係るデータを取得したとき、ベクトル量の差分等を解析することにより、「人Ｈが、位置ｍ１_０に静置されていた物Ｍに左手を伸ばしてこれを把持し、そのまま物Ｍを位置ｍ１_２（ｈ１_２）まで移動させた」ことを３次元空間内で統合的に把握することが可能である。物Ｍが移動させられるべき物品ではないことを、予め条件付けしておくことにより、上記行動を「極めて不審度の高い行動」として検知することができる。

Claims (11)

1. 監視対象領域３次元空間を２次元の画像として撮影する撮影部と、
   前記撮影部が撮影した撮影画像中の監視対象を特定することができる監視対象特定部と、
   複数の特徴点を連接する骨格線で構成される前記監視対象の骨格を抽出する骨格抽出部と、
   前記骨格抽出部が抽出した前記特徴点の前記監視対象領域３次元空間内における位置を特定する、位置特定部と、
   前記特徴点の前記位置の変動に係る情報に基づいて、前記監視対象領域３次元空間内における前記監視対象の運動を認識する運動認識部と、
   を備える監視装置。
2. 前記撮影画像中の床面又は地面に相当する位置を前記監視対象領域３次元空間内における実寸法と関連付けて特定可能な座標を、前記撮影画像に基づいて設定する座標設定部を備え、
   前記位置特定部は、前記座標設定部が設定した前記座標に基づいて前記特徴点の前記監視対象領域３次元空間内における位置を特定する、
   請求項１に記載の監視装置。
3. 前記運動認識部により認識された前記監視対象の運動量ベクトルを入力値とし、該入力値と既定の閾値との比較により、前記監視対象の運動の不審度を判定して出力する、不審運動判定部を備える、
   請求項１又は２に記載の監視装置。
4. 前記不審運動判定部は、前記監視対象が人及び物を含んでいる場合に、該人の前記運動量ベクトルと該物の前記運動量ベクトルとの差分を入力値とし、この入力値と既定の閾値との比較により、前記監視対象の運動の不審度を判定して出力する、請求項３に記載の監視装置。
5. 監視対象領域３次元空間を２次元の画像として撮影する撮影部と、
   前記撮影部が撮影した撮影画像中の監視対象を特定することができる監視対象特定部と、
   複数の特徴点を連接する骨格線で構成される前記監視対象の骨格を抽出する骨格抽出部と、
   前記骨格抽出部が抽出した前記特徴点の前記監視対象領域３次元空間内における位置を特定する、位置特定部と、
   前記特徴点の前記位置の変動に係る情報に基づいて、前記監視対象の運動を認識する運動認識部と、
   を備える監視システム。
6. 前記撮影画像中の床面又は地面に相当する位置を前記監視対象領域３次元空間内における実寸法と関連付けて特定可能な座標を、前記撮影画像に基づいて設定する座標設定部を備え、
   前記位置特定部は、前記座標設定部が設定した前記座標に基づいて前記特徴点の前記監視対象領域３次元空間内における位置を特定する、
   請求項５に記載の監視システム。
7. 前記運動認識部により認識された前記監視対象の運動量ベクトルを入力値とし、該入力値と既定の閾値との比較により、前記監視対象の運動の不審度を判定して出力する、不審運動判定部を備える、
   請求項５又は６に記載の監視システム。
8. 前記不審運動判定部は、前記監視対象が人及び物を含んでいる場合に、該人の前記運動量ベクトルと該物の前記運動量ベクトルとの差分を入力値とし、この入力値と既定の閾値との比較により、前記監視対象の運動の不審度を判定して出力する、請求項７に記載の監視システム。
9. 撮影部が監視対象領域３次元空間を２次元の画像として撮影する撮影ステップと、
   監視対象特定部が、前記撮影部が撮影した撮影画像中の監視対象を特定する監視対象特定ステップと、
   骨格抽出部が、複数の特徴点を連接する骨格線で構成される監視対象の骨格を抽出する監視対象の骨格抽出ステップと、
   位置特定部が、前記骨格抽出部が抽出した前記特徴点の前記監視対象領域３次元空間内における位置を特定する特徴点位置特定ステップと、
   運動認識部が、前記特徴点の前記位置の変動に係る情報に基づいて、前記監視対象領域３次元空間内における前記監視対象の運動を認識する運動認識ステップと、を備える、
   監視方法。
10. 座標設定部が、前記撮影画像中の床面又は地面に相当する位置を前記監視対象領域３次元空間内における実寸法と関連付けて特定可能な座標を、前記撮影画像に基づいて設定する座標設定ステップを更に備え、
    前記座標設定ステップは、前記撮影部の設置後に少なくとも１回行われ、
    前記撮影ステップ、前記監視対象特定ステップ、前記骨格抽出ステップ、前記特徴点位置特定ステップ、及び、前記運動認識ステップは、監視期間中に繰り返し行われる、
    請求項９に記載の監視方法。
11. 不審運動判定部が、前記運動認識部により認識された前記監視対象の運動量ベクトルを入力値とし、該入力値と既定の閾値との比較により、前記監視対象の運動の不審度を判定して出力する、不審行動判定ステップを更に備え、
    前記不審行動判定ステップは、監視期間中に繰り返し行われる、
    請求項１０に記載の監視方法。

Images