JP2016082431A - モニタリング装置、モニタリングシステムおよびモニタリング方法 - Google Patents

Abstract

【課題】監視映像上で指定されたエリアに関する副画像を監視映像上の適切な位置に配置して、副画像が監視業務の妨げになることがなく、効率的な監視業務を遂行することができるようにする。【解決手段】ユーザの操作入力に応じて、監視映像上に対象エリアを設定する処理条件設定部３６と、監視映像に現れる動体の滞留状況を観測して、その動体の滞留状況を表す滞留情報を取得する滞留情報取得部３２と、副画像を生成する副画像生成部３３と、滞留情報取得部により取得した滞留情報に基づき、監視映像上における副画像の配置位置を制御する副画像配置制御部３４と、この副画像配置制御部により決定された副画像の配置位置に基づき、副画像を監視映像上に合成したモニタリング映像を生成して表示装置に出力する出力制御部３５と、を備えたものとする。【選択図】図６

Description

本発明は、監視映像上に設定された対象エリアに関する副画像を監視映像上に重畳して表示させたモニタリング映像を生成して表示装置に表示させるモニタリング装置、モニタリングシステムおよびモニタリング方法に関するものである。

コンビニエンスストアなどの店舗においては、店舗内を撮影するカメラを設置して、そのカメラで撮影された監視映像をモニタに表示させて、店舗内の状況を監視するモニタリングシステムが広く普及している。このようなモニタリングシステムでは、監視映像内の注目するエリアを指定して、そのエリアの画像を拡大して表示するようにすると、注目するエリアでの人物の状態を詳しく観察することができ、監視業務を的確にかつ効率よく実施することができる。

このように監視映像内の注目するエリアの画像を拡大して表示する場合、拡大画像を副画像として監視映像上に重畳して表示する、いわゆるＰｉｎＰ（Picture in Picture）方式を採用するとよいが、単に指定したエリアの真上に副画像を重畳して表示すると、指定したエリアの元画像やその周辺部が副画像で隠れてしまい、監視業務の支障になる。そこで、監視映像上における指定したエリアと異なる位置に副画像を配置することが望まれる。

このようなＰｉｎＰ方式において、監視映像上における指定したエリアと異なる位置に副画像を配置する技術として、従来、異常が発生したエリアの拡大画像を副画像として、監視映像の隅に配置する技術が知られている（特許文献１参照）。また、人物のベストショットの顔画像を副画像として、動きのない領域（静ブロック）、すなわち人物が存在しない領域に配置する技術が知られている（特許文献２参照）。

特開平１０−３２２６８４号公報 特開２００６−２１７０７０号公報

さて、特許文献１に記載の技術では、異常が発生したエリアの拡大画像が副画像として監視映像上に重畳して表示されるので、異常が発生したエリアの状況を詳しく観察することができるが、副画像を監視映像のどの位置に配置するかについては、何の配慮もなされておらず、単に監視映像の隅に配置しただけであり、これでは、監視映像において、注目するエリア、すなわち、異常が発生したエリアと関連性の高いエリアが隠れてしまう場合があり、このような状態になると、監視業務に支障を来すおそれがある。

また、特許文献２に記載の技術では、人物のベストショットの顔画像が副画像として、人物が存在しない領域に配置されるので、副画像が監視業務への支障になること避けることができるが、監視エリアが混雑した状況で、多数の人物が監視映像の全体に存在すると、動きのない領域（静ブロック）をうまく見つけることができず、混雑した状況に適切に対応することができないという問題があり、監視エリアの状況の如何に関係なく、監視映像上の適切な位置に副画像を配置することができる技術が望まれる。

本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、監視映像上で指定されたエリアに関する副画像を監視映像上の適切な位置に配置して、副画像が監視業務の妨げになることがなく、効率的な監視業務を遂行することができるように構成されたモニタリング装置、モニタリングシステムおよびモニタリング方法を提供することにある。

本発明のモニタリング装置は、監視映像上に設定された対象エリアに関する副画像を前記監視映像上に重畳して表示させたモニタリング映像を生成して表示装置に表示させるモニタリング装置であって、ユーザの操作入力に応じて、前記監視映像上に前記対象エリアを設定する対象エリア設定部と、前記監視映像に現れる動体の滞留状況を観測して、その動体の滞留状況を表す滞留情報を取得する滞留情報取得部と、前記副画像を生成する副画像生成部と、前記滞留情報取得部により取得した前記滞留情報に基づき、前記監視映像上における前記副画像の配置位置を制御する副画像配置制御部と、この副画像配置制御部により決定された前記副画像の配置位置に基づき、前記副画像を前記監視映像上に合成した前記モニタリング映像を生成して前記表示装置に出力する出力制御部と、を備えた構成とする。

また、本発明のモニタリングシステムは、監視映像上に設定された対象エリアに関する副画像を前記監視映像上に重畳して表示させたモニタリング映像を生成して表示装置に表示させるモニタリングシステムであって、監視エリアを撮影するカメラと、複数の情報処理装置と、前記モニタリング映像を表示する表示装置と、を有し、前記複数の情報処理装置のいずれかが、ユーザの操作入力に応じて、前記監視映像上に前記対象エリアを設定する対象エリア設定部と、前記監視映像に現れる動体の滞留状況を観測して、その動体の滞留状況を表す滞留情報を取得する滞留情報取得部と、前記副画像を生成する副画像生成部と、前記滞留情報取得部により取得した前記滞留情報に基づき、前記監視映像上における前記副画像の配置位置を制御する副画像配置制御部と、この副画像配置制御部により決定された前記副画像の配置位置に基づき、前記副画像を前記監視映像上に合成した前記モニタリング映像を生成して前記表示装置に出力する出力制御部と、を備えた構成とする。

また、本発明のモニタリング方法は、監視映像上に設定された対象エリアに関する副画像を前記監視映像上に重畳して表示させたモニタリング映像を生成して表示装置に表示させる処理を情報処理装置に行わせるモニタリング方法であって、ユーザの操作入力に応じて、前記監視映像上に前記対象エリアを設定するステップと、前記監視映像に現れる動体の滞留状況を観測して、その動体の滞留状況を表す滞留情報を取得するステップと、前記副画像を生成するステップと、前記滞留情報に基づき、前記監視映像上における前記副画像の配置位置を制御するステップと、このステップにより決定された前記副画像の配置位置に基づき、前記副画像を前記監視映像上に合成した前記モニタリング映像を生成して前記表示装置に出力するステップと、を備えた構成とする。

本発明によれば、動体の滞留状況に基づいて、監視映像上における副画像の配置位置を制御するため、副画像を監視映像上の適切な位置に配置することができる。このため、副画像が監視業務の妨げになることがなく、監視業務を効率的に遂行することができる。

第１実施形態に係るモニタリングシステムの全体構成図 店舗におけるカメラ１の設置状況を示す平面図 モニタ７に表示されるモニタリング映像を示す説明図 ＰＣ３で行われる処理で生成する滞留情報を説明する説明図 ＰＣ３で行われる処理の概要を説明する説明図 ＰＣ３の概略構成を示す機能ブロック図 モニタ７に表示される対象エリア入力画面を示す説明図 モニタ７に表示される副画像設定画面を示す説明図 副画像配置制御部３４で行われる処理の手順を示すフロー図 候補エリア評価部５２で行われる候補エリア設定処理を説明する説明図 第２実施形態においてモニタ７に表示されるモニタリング映像を示す説明図 第３実施形態においてＰＣ３で行われる処理の概要を説明する説明図 第５実施形態に係るモニタリングシステムにおけるカメラ１およびＰＣ３の概略構成を示す機能ブロック図

前記課題を解決するためになされた第１の発明は、監視映像上に設定された対象エリアに関する副画像を前記監視映像上に重畳して表示させたモニタリング映像を生成して表示装置に表示させるモニタリング装置であって、ユーザの操作入力に応じて、前記監視映像上に前記対象エリアを設定する対象エリア設定部と、前記監視映像に現れる動体の滞留状況を観測して、その動体の滞留状況を表す滞留情報を取得する滞留情報取得部と、前記副画像を生成する副画像生成部と、前記滞留情報取得部により取得した前記滞留情報に基づき、前記監視映像上における前記副画像の配置位置を制御する副画像配置制御部と、この副画像配置制御部により決定された前記副画像の配置位置に基づき、前記副画像を前記監視映像上に合成した前記モニタリング映像を生成して前記表示装置に出力する出力制御部と、を備えた構成とする。

これによると、動体の滞留状況に基づいて、監視映像上における副画像の配置位置を制御するため、副画像を監視映像上の適切な位置に配置することができる。このため、副画像が監視業務の妨げになることがなく、監視業務を効率的に遂行することができる。

また、第２の発明は、前記滞留情報は、前記監視映像上に設定された観測エリアに滞留する動体の数である滞留度数、および前記観測エリア内で動体が滞留する時間である滞留時間に関する情報を含む構成とする。

これによると、滞留度数および滞留時間に基づいて、副画像の配置位置を制御するため、副画像を適切な位置に配置することができる。

また、第３の発明は、前記副画像配置制御部は、前記滞留情報に基づき、前記対象エリアとの間での動体の滞留状態に関する関連性が低いことを条件にして、前記副画像の配置位置を決定する構成とする。

これによると、対象エリアとの関連性が低いエリアに副画像が配置され、対象エリアとの関連性が高いエリアが副画像で隠されないため、監視業務の妨げになることを避けることができる。

また、第４の発明は、前記副画像配置制御部は、前記滞留情報に基づき、前記対象エリアが滞留状態および非滞留状態のいずれであるかを判定し、前記対象エリアが滞留状態にあると判定された場合には、前記滞留度数および前記滞留時間の値が共に小さくなることを条件にして、前記副画像の配置位置を決定し、前記対象エリアが非滞留状態にあると判定された場合には、前記滞留度数の値が小さく、かつ前記滞留時間の値が大きくなることを条件にして、前記副画像の配置位置を決定する構成とする。

これによると、動体の数が少ないエリアに副画像が配置されるため、動体が副画像で隠されることを極力避けることができる。そして、動体が滞留しているエリアにユーザが注目して、その動体が滞留しているエリアの一部に対象エリアを指定した場合には、対象エリアが滞留状態となり、動体が流れているエリアに副画像が配置され、また、動体が流れているエリアにユーザが注目して、その動体が流れているエリアの一部に対象エリアを指定した場合には、対象エリアが非滞留状態となり、動体が滞留しているエリアに副画像が配置される。このため、ユーザが注目するエリアが副画像で隠されることがなく、副画像が監視業務の妨げになることを避けることができる。

また、第５の発明は、前記副画像配置制御部は、前記滞留情報に基づき、前記副画像の配置位置の候補となる複数の候補エリアについて、前記対象エリアとの関連性の高さを表す評価値を取得し、その評価値が小さいことを条件にして、最適な前記候補エリアを選択して、その候補エリアに基づいて前記副画像の配置位置を決定する構成とする。

これによると、最適な候補エリアを簡単にかつ高い精度で探索することができ、副画像の配置位置を効率よくかつ精度よく決定することができる。

また、第６の発明は、前記副画像配置制御部は、前記対象エリアの元画像に現れる動体の向きを検出して、その検出結果に基づき、前記副画像の配置位置を決定する構成とする。

これによると、ユーザがモニタリング映像において対象エリアの元画像に写った動体の向きを見ることで、対象エリアに対応する副画像をすぐに見つけることができるため、監視業務のより一層の効率化を図ることができる。

また、第７の発明は、前記副画像生成部は、前記対象エリアの元画像を拡大した拡大画像を前記副画像として生成する構成とする。

これによると、対象エリアの元画像を拡大した拡大画像が副画像として監視映像上に重畳して表示されるため、注目するエリアでの動体の状態を詳しく観察することができる。

また、第８の発明は、監視映像上に設定された対象エリアに関する副画像を前記監視映像上に重畳して表示させたモニタリング映像を生成して表示装置に表示させるモニタリングシステムであって、監視エリアを撮影するカメラと、複数の情報処理装置と、前記モニタリング映像を表示する表示装置と、を有し、前記複数の情報処理装置のいずれかが、ユーザの操作入力に応じて、前記監視映像上に前記対象エリアを設定する対象エリア設定部と、前記監視映像に現れる動体の滞留状況を観測して、その動体の滞留状況を表す滞留情報を取得する滞留情報取得部と、前記副画像を生成する副画像生成部と、前記滞留情報取得部により取得した前記滞留情報に基づき、前記監視映像上における前記副画像の配置位置を制御する副画像配置制御部と、この副画像配置制御部により決定された前記副画像の配置位置に基づき、前記副画像を前記監視映像上に合成した前記モニタリング映像を生成して前記表示装置に出力する出力制御部と、を備えた構成とする。

これによると、第１の発明と同様に、監視映像上で指定されたエリアに関する副画像を監視映像上の適切な位置に配置して、副画像が監視業務の妨げになることがなく、効率的な監視業務を遂行することができる。

また、第９の発明は、監視映像上に設定された対象エリアに関する副画像を前記監視映像上に重畳して表示させたモニタリング映像を生成して表示装置に表示させる処理を情報処理装置に行わせるモニタリング方法であって、ユーザの操作入力に応じて、前記監視映像上に前記対象エリアを設定するステップと、前記監視映像に現れる動体の滞留状況を観測して、その動体の滞留状況を表す滞留情報を取得するステップと、前記副画像を生成するステップと、前記滞留情報に基づき、前記監視映像上における前記副画像の配置位置を制御するステップと、このステップにより決定された前記副画像の配置位置に基づき、前記副画像を前記監視映像上に合成した前記モニタリング映像を生成して前記表示装置に出力するステップと、を備えた構成とする。

これによると、第１の発明と同様に、監視映像上で指定されたエリアに関する副画像を監視映像上の適切な位置に配置して、副画像が監視業務の妨げになることがなく、効率的な監視業務を遂行することができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

（第１実施形態）
図１は、第１実施形態に係るモニタリングシステムの全体構成図である。このモニタリングシステムは、スーパーマーケットなどの小売店舗などを対象にして構築されるものであり、カメラ１と、レコーダ（映像蓄積装置）２と、ＰＣ（モニタリング装置）３と、を備えている。

カメラ１は店舗内の適所に設置され、カメラ１により店舗内（監視エリア）が撮像され、これにより得られた映像がレコーダ２に蓄積される。

ＰＣ３には、店長などのユーザが種々の入力操作を行うマウスなどの入力デバイス６と、モニタリング画面を表示するモニタ（表示装置）７とが接続されている。このモニタ７に表示されるモニタリング画面により、ユーザが、カメラ１で撮影された店舗内の映像をリアルタイムで閲覧することができ、また、レコーダ２に録画された過去の店舗内の映像を閲覧することができる。

また、カメラ１、レコーダ２およびＰＣ３は、複数の店舗の各々に設置されており、複数の店舗を総括する本部にはＰＣ１１が設置されており、このＰＣ１１では、カメラ１で撮影された店舗内の映像をリアルタイムで閲覧することができ、また、レコーダ２に録画された過去の店舗内の映像を閲覧することができ、これにより本部で店舗内の状況を確認することができる。

本実施形態では、店舗に設置されたＰＣ３が、店舗内での人物や商品の状態を監視するモニタリング装置として構成され、このＰＣ３で生成したモニタリング映像をＰＣ３で店舗側のユーザ、例えば店長が閲覧することができ、さらに、本部に設置されたＰＣ１１に送信されて、このＰＣ１１でも本部側のユーザ、例えば、担当する地域の各店舗に対して指導や提案を行うスーパーバイザーなどが閲覧することができ、ＰＣ３，１１がモニタリング映像を閲覧する閲覧装置として構成される。

次に、店舗におけるカメラ１の設置状況について説明する。図２は、店舗におけるカメラ１の設置状況を示す平面図である。

店舗内には商品陳列棚およびレジカウンタが設けられている。顧客は、商品陳列棚で所望の商品を入手してレジカウンタで支払いを行い、このとき、顧客は、商品陳列棚が設けられた商品陳列エリア側からレジカウンタに進入し、会計が終わるとレジカウンタから退出する。カメラ１は、レジカウンタに進入する顧客を正面から撮影するように設置されており、これによりカメラ１による監視映像から人物検出を行うことができる。なお、店舗には、この他にも商品陳列棚の間の通路を通る顧客や、商品陳列棚の手前で品定めをする顧客を撮影するようにカメラ１が設置される。

次に、図１に示したＰＣ３で行われる処理の概要について説明する。図３は、図１に示したモニタ７に表示されるモニタリング映像を示す説明図である。図４は、ＰＣ３で行われる処理で生成する滞留情報を説明する説明図である。図５は、ＰＣ３で行われる処理の概要を説明する説明図である。

図３に示すように、カメラ１で撮影された監視映像には、レジカウンタで精算を行う人物が映り、これらの人物は、入口側、すなわちカメラ１から離れた奥側からレジカウンタに進入して、出口側、すなわちカメラ１に近接する手前側から退出し、レジカウンタの周囲には、レジカウンタで精算を行う人物を先頭にした行列ができ、ここでは人物が滞留した状態となる。また、レジカウンタの入口側には、レジカウンタに向かう人物の流れができ、レジカウンタの出口側には、レジカウンタで精算を済ませた人物が店舗の出入口などに向かう人物の流れができる。

本実施形態では、ユーザが監視映像上において注目するエリアの一部に対象エリアを指定し、この対象エリアの元画像を拡大した拡大画像をＰｉｎＰ方式で監視映像上に表示する。すなわち、拡大画像を副画像として監視映像上に重畳して表示する。

ここで、図３（Ａ）は、人物が滞留しているエリアにユーザが注目して、その人物が滞留しているエリアの一部に対象エリアを設定した場合である。この場合、対象エリアの元画像を拡大した拡大画像を副画像として表示させることで、対象エリア内の人物の状態を詳しく観察することができるが、このとき、人物が滞留しているエリアの全体における人物の状態も観察する必要がある。このため、人物が滞留しているエリアを外して副画像の副画像を配置する必要がある。そこで、本実施形態では、対象エリアと人物の滞留状態に関する関連性が低いエリア、すなわち、人物が流れているエリアに副画像を配置する。

図３（Ｂ）は、人物が流れているエリアにユーザが注目して、その人物が流れているエリアの一部に対象エリアを設定した場合である。この場合、対象エリアの元画像を拡大して拡大画像を副画像として表示させることで、対象エリア内の人物の状態を詳しく観察することができるが、このとき、人物が流れているエリアの全体における人物の状態も観察する必要がある。このため、人物が流れているエリアを外して副画像を配置する必要がある。そこで、本実施形態では、対象エリアと人物の滞留状態に関する関連性が低いエリア、すなわち、人物が滞留しているエリアに副画像を配置する。

このように、本実施形態では、対象エリアと人物の滞留状態に関する関連性が低いエリアに副画像を配置することで、対象エリアと関連性の高いエリア、すなわちユーザが注目するエリアの全体を、副画像に邪魔されることなく観察することができる。また、対象エリアと関連性が低いエリアに副画像を配置する場合でも、できる限り人物を隠さないように副画像を配置することが望まれる。そこで、本実施形態では、人物が少なく、かつ、対象エリアと関連性が低いエリアに副画像を配置する。

また、本実施形態では、対象エリアと人物の滞留状態に関する関連性が低いエリアに副画像を配置するために、監視映像に現れる人物の滞留状態を観測して、その観測結果として得られた滞留情報に基づいて、対象エリアの滞留状態を判定し、この対象エリアの滞留状態に応じて、対象エリアと関連性が低いエリアを探索して、副画像の配置位置を決定する。

ここで、本実施形態では、図４に示すように、監視映像を格子状に分割してできた複数のセル（観測エリア）ごとに人物の滞留状況を表す滞留情報を取得する。本実施形態では、セルごとの滞留情報として、セルごとの滞留度数（滞留人数）、すなわち所定の観測期間において各セル内に滞留した人物の人数、およびセルごとの滞留時間、すなわち所定の観測期間において各セル内で人物が滞留した時間を取得する。そして、このセルごとの滞留情報（滞留度数および滞留時間）に基づいて、対象エリアの滞留状態を判定し、また、対象エリアと関連性が低いエリアを探索する。

なお、図４では、監視映像内の滞留状況を表す滞留情報を説明するために、滞留情報を可視化したヒートマップ画像を記載しているが、副画像を監視映像上に重畳して表示する場合には、このヒートマップ画像はモニタリング映像には表示されない。また、図４には、セルごとの滞留度数を表すヒートマップ画像を記載しているが、これと同様に、セルごとの滞留時間を表すヒートマップ画像を得ることができる。

また、本実施形態では、図５に示すように、対象エリアについて、人物ごとの滞留時間の平均である平均滞留時間を求め、この対象エリアにおける平均滞留時間に基づいて、対象エリアが滞留状態および非滞留状態のいずれであるかを判定する。この滞留状態の判定は、平均滞留時間を所定のしきい値と比較することで行われる。

一方、副画像の配置位置を決定する際には、監視映像上に候補エリアを設定して、その候補エリアについて、対象エリアとの間での滞留状態に関する関連性を評価する。このとき、候補エリアについて、滞留度数、および人物ごとの滞留時間を加算した総滞留時間を求め、この候補エリアにおける滞留度数および総滞留時間に基づいて、対象エリアとの関連性を評価する。

ここで、まず、滞留度数が高い候補エリア、すなわち、多数の人物が存在する候補エリアは除外し、滞留度数が低い候補エリア、すなわち、人物が少ない候補エリアに限定する。そして、対象エリアと関連性が低い候補エリア、すなわち、対象エリアと逆の滞留状態となる候補エリアを選択する。具体的には、対象エリアが滞留状態の場合には、滞留度数が低く、かつ、総滞留時間が短い候補エリアを選択し、対象エリアが非滞留状態の場合には、滞留度数が低く、かつ、総滞留時間が長い候補エリアを選択する。

なお、図３に示したモニタリング映像では、監視映像が動画で表示され、また、副画像の表示枠が常時表示されて、その表示枠に、対象エリアの元画像の拡大画像である副画像が動画で表示される。通常、監視映像の動画と副画像の動画は同期して再生されるが、監視者の好みで、監視映像の動画に対して副画像の動画の再生タイミングを遅らせることも可能である。また、モニタリング映像には、対象エリアの範囲を示す枠が常時表示される。また、本実施形態では、監視映像上に複数の対象エリアを設定することができ、モニタリング映像には、対象エリアと副画像との対応関係を表す補助線が表示されている。なお、対象エリアの枠および副画像の表示枠の色を変えることで対応関係を表示するようにしてもよい。また、対象エリアの枠と副画像の表示枠とを結ぶ矢印により対応関係を表示するようにしてもよい。

また、本実施形態では、図４に示したヒートマップ画像をモニタリング映像に表示させないものとしたが、表示モードと非表示モードとをユーザが切り替えることができるようにしてもよい。例えば、監視用途でモニタリング映像を閲覧する際には、ヒートマップ画像は監視の邪魔になるため、非表示モードを選択するとよく、監視以外の用途、例えば顧客行動分析など用途では、ヒートマップ画像が参考になるため、表示モードを選択するとよい。また、本実施形態では、副画像の配置位置をユーザが指定することができ、このとき、その指定のための参考にヒートマップ画像を表示させるようにしてもよい。

次に、図１に示したＰＣ３で行われる処理について説明する。図６は、ＰＣ３の概略構成を示す機能ブロック図である。

ＰＣ３は、映像取得部３１と、滞留情報取得部３２と、副画像生成部３３と、副画像配置制御部３４と、出力制御部３５と、処理条件設定部（対象エリア設定部）３６と、を備えている。

映像取得部３１では、カメラ１により店舗内を撮影した映像をカメラ１またはレコーダ２から取得する。ここで、現在の映像をリアルタイムに表示させる場合にはカメラ１から映像を取得し、過去の映像を表示させる場合にはレコーダ２から映像を取得する。

滞留情報取得部３２は、映像取得部３１で取得した映像に現れる人物の滞留状況を観測して、各セル（図３（Ａ）参照）を対象とした人物の滞留状況を表す滞留情報（滞留時間および滞留度数）を取得するものであり、位置情報取得部４１と、位置情報蓄積部４２と、滞留度数取得部４３と、滞留時間取得部４４と、を備えている。

位置情報取得部４１は、映像取得部３１で取得した映像から人物を検出して、人物ごとの位置情報を取得するものであり、人物検出部４５と、動線情報取得部４６と、を備えている。

人物検出部４５では、映像取得部３１で取得した映像（フレーム）から人物を検出する処理が行われる。この人物検出部４５で行われる処理は、公知の画像認識技術を用いればよい。動線情報取得部４６では、人物検出部４５での検出結果に基づいて、人物ごとの動線（軌跡）を取得する処理が行われる。この動線情報取得部４６で取得した人物ごとの動線に関する情報は、人物ごとの位置情報として位置情報蓄積部４２に蓄積される。

なお、この位置情報取得部４１では、人物の中心点の座標を取得して、その中心点を結ぶように動線を生成する。また、位置情報取得部４１で取得する位置情報には、人物が検出された映像の撮影時刻から取得した人物ごとの検出時刻などに関する時間情報が含まれる。

滞留度数取得部４３では、位置情報蓄積部４２に蓄積された人物ごとの位置情報（動線情報）に対して時間的な統計処理を行って、所定の観測期間における滞留度数（滞留人数）をセルごとに取得する処理が行われる。この処理では、観測期間において各セルを通過した各人物の動線の本数をカウントして、観測期間における滞留度数を求める。

滞留時間取得部４４では、位置情報蓄積部４２に蓄積された人物ごとの位置情報（動線情報）に対して時間的な統計処理を行って、所定の観測期間における滞留時間（総滞留時間および平均滞留時間）をセルごとに取得する処理が行われる。この処理では、まず、観測期間において各セルを通過した各人物の動線を対象にして、人物ごとの滞留時刻（セルに対する進入時刻および退出時刻）を取得し、次に、この人物ごとの滞留時刻から、人物ごとの滞留時間を取得し、次に、この人物ごとの滞留時間を加算して、観測期間における総滞留時間を取得する。さらに、総滞留時間を滞留度数で除算することで、人物ごとの滞留時間の平均である平均滞留時間を取得する。

また、滞留情報取得部３２では、処理条件設定部３６で設定された対象エリアの滞留情報（滞留時間および滞留度数）を、セルごとの滞留情報から生成する処理が行われる。また、滞留情報取得部３２では、副画像配置制御部３４で設定された候補エリアの滞留情報を、セルごとの滞留情報から生成する処理が行われる。この対象エリアおよび候補エリアの滞留情報を生成する処理では、例えば、対象エリアおよび候補エリアに含まれる各セルの滞留情報に各セルの占有率を乗算することで求めることができる。なお、セルごとの滞留情報を生成せずに、位置情報（動線情報）から対象エリアおよび候補エリアの滞留情報を生成するようにしてもよい。

副画像生成部３３では、監視映像から対象エリアの画像領域を切り出して、その切り出された元画像から副画像を生成する処理が行われる。本実施形態では、処理条件設定部３６で設定された倍率または副画像のサイズに基づいて、対象エリアの元画像を拡大する処理が行われる。なお、処理条件設定部３６で倍率（拡大率）が設定された場合には、対象エリアの元画像のサイズと倍率から副画像のサイズが決定される。また、処理条件設定部３６で副画像のサイズが設定された場合には、そのサイズに適合するように元画像を拡大する処理が行われる。

副画像配置制御部３４は、滞留情報取得部３２により取得した滞留情報に基づき、監視映像上における副画像の配置位置を制御するものであり、対象エリア判定部５１と、候補エリア評価部５２と、配置位置決定部５３と、を備えている。

対象エリア判定部５１では、滞留情報取得部３２で取得した対象エリアの滞留情報に基づいて、対象エリアの滞留状態を判定する処理が行われる。本実施形態では、前記のように、滞留情報取得部３２において、対象エリアの平均滞留時間、すなわち、対象エリアを通過した各人物の滞留時間の平均である平均滞留時間、具体的には、各人物の滞留時間を加算した総滞留時間Ｔを滞留度数Ｆで除したもの（Ｔ／Ｆ）が求められ、対象エリア判定部５１では、この平均滞留時間に基づいて、対象エリアの滞留状態が判定される。

ここで、平均滞留時間が長い、すなわち、人物が滞留している場合には、滞留状態と判定し、平均滞留時間が短い、すなわち、人物が流れている場合には、非滞留状態と判定する。具体的には、平均滞留時間を所定のしきい値と比較して、平均滞留時間がしきい値以上となる場合には滞留状態と判定し、平均滞留時間がしきい値未満となる場合には非滞留状態と判定する。

候補エリア評価部５２では、監視映像上に候補エリアを順次設定して、滞留情報取得部３２に候補エリアごとの滞留情報を取得する処理を行わせて、その候補エリアごとの滞留情報に基づいて、各候補エリアについて、対象エリアとの間での滞留状態に関する関連性を評価する処理が行われる。本実施形態では、各候補エリアについて、対象エリアとの間での関連性の高さを表す評価値を算出する。この評価値は、対象エリアと関連性が高い候補エリアで大きくなるように設定された算出式を用いて算出され、対象エリアと関連性が高いと、評価値が大きくなり、対象エリアと関連性が低いと、評価値が小さくなる。なお、候補エリア評価部５２では、副画像生成部３３から副画像のサイズを取得して、その副画像のサイズと同一のサイズで候補エリアが設定される。

配置位置決定部５３では、候補エリア評価部５２での各候補エリアの評価結果に基づいて、最適な候補エリアを選択して、副画像の配置位置を決定する処理が行われる。この処理では、対象エリアと滞留状態に関する関連性が低いことを条件にして、候補エリアを選択する。本実施形態では、候補エリア評価部５２において、各候補エリアについて、対象エリアとの間での関連性の高さを表す評価値が算出され、配置位置決定部５３では、評価値が小さいことを条件にして、候補エリアを選択する。なお、後に適宜説明するが、評価値以外の条件を考慮して候補エリアを選択することができ、評価値以外の条件を考慮しない場合には、評価値が最も小さい候補エリアが選択される。

なお、本実施形態では、副画像の配置位置を予め設定された位置に固定するモードを選択することができ、この場合、副画像配置制御部３４では、その予め設定された位置を副画像の配置位置とする。また、本実施形態では、滞留状態に関する関連性の評価を行わないモードを選択することができ、この場合、各候補エリアの滞留度数のみに基づいて、最適な候補エリアを選択する。すなわち、滞留度数の低い候補エリアを選択する。

出力制御部３５では、副画像配置制御部３４で決定された副画像の配置位置に基づいて、副画像生成部３３で生成した副画像を監視映像上に合成したモニタリング映像を生成してモニタ７に出力する処理が行われる。これにより、モニタリング映像（図３参照）がモニタ７に表示される。また、出力制御部３５では、対象エリア入力画面（図７参照）や副画像設定画面（図８参照）をモニタ７に表示させる処理が行われる。

処理条件設定部３６では、ユーザの操作入力に応じて、監視映像上における対象エリアの位置を設定する処理が行われる。この設定処理では、監視映像を表示させた対象エリア入力画面（図７参照）をモニタ７に表示させて、その対象エリア入力画面上で対象エリアの位置をユーザに入力させて、対象エリアの位置情報を取得する。この処理条件設定部３６で設定された対象エリアの位置情報にしたがって、滞留情報取得部３２において対象エリアの滞留情報を取得する処理が行われ、また、副画像生成部３３において監視映像から対象エリアの画像領域を切り出す処理が行われる。

また、処理条件設定部３６では、ユーザの操作入力に応じて、副画像に関する処理条件を設定する処理が行われる。この設定処理では、副画像設定画面（図８参照）をモニタ７に表示させて、その副画像設定画面上で処理条件をユーザに入力させて、処理条件に関する情報を取得する。この処理条件設定部３６で設定された処理条件にしたがって、副画像生成部３３において副画像を生成する処理が行われ、また、副画像配置制御部３４において副画像の配置位置の制御が行われる。

次に、ユーザが監視映像上に対象エリアを指定する操作について説明する。図７は、図６に示したモニタ７に表示される対象エリア入力画面を示す説明図である。

本実施形態では、処理条件設定部３６において、ユーザの入力操作に応じて、監視映像上に対象エリアを設定する処理が行われ、このとき、図７に示す対象エリア入力画面がモニタ７に表示される。この対象エリア入力画面は、監視映像上での対象エリアの位置をユーザが指定するものであり、この対象エリア入力画面には監視映像が表示されている。ユーザは、監視映像上で、マウスなどの入力デバイス６を用いて、矩形をなす対象エリアの１つの頂点とその対角方向のもう１つの頂点を指定する操作を行う。例えば、１つの頂点をクリックして、もう１つの頂点までドラッグしてドロップするドラッグ・アンド・ドロップの操作を行う。この操作により、対象エリアの位置を入力することができる。

次に、副画像に関する各種の条件を設定する処理について説明する。図８は、図６に示したモニタ７に表示される副画像設定画面を示す説明図である。

本実施形態では、処理条件設定部３６において、ユーザの入力操作に応じて、副画像に関する各種の条件を設定する処理が行われ、このとき、図８に示す副画像設定画面がモニタ７に表示される。この副画像設定画面は、副画像に関する各種の条件をユーザが指定するものであり、この副画像設定画面には、図８（Ａ）に示すように、配置位置設定モード選択部６１と、サイズ設定モード選択部６２と、倍率指定部６３と、サイズ指定部６４と、が設けられている。

配置位置設定モード選択部６１では、副画像の配置位置に関する設定モードをユーザが選択する。この配置位置設定モード選択部６１では、図８（Ｂ）に示すように、プルダウンメニューにより、固定設定、動的設定（関連性評価なし）および動的設定（関連性評価あり）のいずれかの設定モードを選択することができる。固定設定では、初期設定で予め決められた位置をそのまま副画像の配置位置に設定する。動的設定（関連性評価なし）では、単に滞留度数が低いことを条件にして副画像の配置位置を決定する。動的設定（関連性評価あり）では、前記のように滞留状態に基づく関連性評価により副画像の配置位置を決定する。

なお、配置位置設定モード選択部６１に、副画像の配置位置をユーザが任意に指定するモードを設けるようにしてもよい。

サイズ設定モード選択部６２では、副画像のサイズに関する設定モードをユーザが選択する。このサイズ設定モード選択部６２では、図８（Ｃ）に示すように、プルダウンメニューにより、固定設定、倍率指定およびサイズ指定のいずれかの設定モードを選択することができる。固定設定では、予め設定されたサイズ（または倍率）を副画像のサイズとする。倍率指定では、倍率指定部６３で指定された倍率で元画像を拡大した拡大画像のサイズを副画像のサイズとする。サイズ指定では、サイズ指定部６４で指定されたサイズを副画像のサイズとする。

倍率指定部６３では、副画像の倍率（拡大率）をユーザが指定する。サイズ指定部６４では、副画像のサイズをユーザが指定する。サイズ設定モード選択部６２で倍率指定を選択すると、倍率指定部６３で倍率を指定することができ、サイズ設定モード選択部６２でサイズ指定を選択すると、サイズ指定部６４でサイズを指定することができる。図８に示す例では、倍率指定部６３およびサイズ指定部６４で、ユーザが数値を入力するようにしており、任意の倍率およびサイズをユーザが指定することができる。

また、図８に示す例では、副画像を正方形として、サイズ指定部６４において、正方形の一辺の長さをピクセル単位で指定するようにしている。なお、副画像を任意のアスペクト比の長方形として、サイズ指定部６４において、副画像の縦横の長さをそれぞれ指定するようにしてもよい。この場合、対象エリア設定画面（図７参照）で対象エリアを指定した後に、この副画像設定画面を表示させるとよい。また、副画像設定画面において副画像の縦横の長さを指定した後に、対象エリア設定画面において、指定された縦横の長さに対応するアスペクト比で対象エリアを指定することができるようにしてもよい。

このように、本実施形態では、副画像の配置位置に関する設定モード、および副画像のサイズに関する設定モードをユーザに自由に選択することができ、また、副画像の倍率（拡大率）および副画像のサイズをユーザが自由に指定することができるため、監視エリアの状況や監視業務の内容などに応じて、適切な副画像を表示させることができ、これにより監視業務の効率化を図ることができる。

次に、図６に示した副画像配置制御部３４で行われる処理について説明する。図９は、副画像配置制御部３４で行われる処理の手順を示すフロー図である。

本実施形態では、副画像配置制御部３４において、対象エリアの滞留状態を判定し、その判定結果に応じて、候補エリアについて、対象エリアとの間での滞留状態に関する関連性を評価し、その評価結果に基づいて、最適な候補エリアを選択して、副画像の配置位置を決定する。

具体的には、まず、副画像配置制御部３４の対象エリア判定部５１において、平均滞留時間に基づいて、対象エリアの滞留状態を判定する（ＳＴ１０１）。次に、候補エリア評価部５２において、対象エリアが滞留状態であると判定された場合には（ＳＴ１０２でＹｅｓ）、候補エリアについて第１の評価値を算出する（ＳＴ１０３）。一方、対象エリアが非滞留状態であると判定された場合には（ＳＴ１０２でＮｏ）、候補エリアについて第２の評価値を算出する（ＳＴ１０４）。

そして、配置位置決定部５３において、第１の評価値または第２の評価値に基づいて、最適な候補エリアを選択して、副画像の配置位置を決定する（ＳＴ１０５）。このとき、第１の評価値または第２の評価値が最も小さい候補エリアを選択して、その候補エリアの位置を副画像の配置位置とする。

次に、図６に示した副画像配置制御部３４の候補エリア評価部５２で行われる候補エリア設定処理について説明する。図１０は、候補エリア評価部５２で行われる候補エリア設定処理を説明する説明図である。

本実施形態では、副画像配置制御部３４の候補エリア評価部５２において、副画像生成部３３で設定された副画像のサイズと同じサイズで、監視映像上に候補エリアを順次設定して、各候補エリアについて、対象エリアとの間での滞留状態に関する関連性の高さを表す評価値を算出する。このとき、所定の開始位置から一定の間隔でずらしながら監視映像上に候補エリアを順次設定する。

具体的には、Ｘ方向（横方向）およびＹ方向（縦方向）に一定の間隔でずらしながら監視映像上に候補エリアを順次設定する。図１０に示す例では、監視映像の左上端を開始位置として、この開始位置からＸ方向（横方向）に一定の間隔でずらしながら候補エリアを順次設定し、候補エリアが監視映像の右端に到達すると、次に、Ｙ方向（縦方向）に一定の間隔でずらした上で、Ｘ方向（横方向）に候補エリアを順次設定し、これを繰り返すことで、監視映像の全体を対象にして候補エリアを設定する。

次に、図６に示した副画像配置制御部３４の候補エリア評価部５２で行われる評価値算出処理について説明する。

本実施形態では、副画像配置制御部３４の候補エリア評価部５２において、各候補エリアについて、対象エリアとの間での人物の滞留状態に関する関連性の高さを表す評価値を算出する。この評価値は、対象エリアの滞留状態に応じて異なり、対象エリアが滞留状態である場合には第１の評価値を算出し、対象エリアが非滞留状態である場合には第２の評価値を算出する。

対象エリアが滞留状態である場合の第１の評価値Ｓ１は、次式で示すように、滞留度数Ｆおよび総滞留時間Ｔにそれぞれ所定の重み係数Ｗａ１，Ｗｂ１を乗じたものの和とする。
Ｓ１＝Ｆ×Ｗａ１＋Ｔ×Ｗｂ１
ここで、滞留度数Ｆおよび総滞留時間Ｔの値が共に小さい場合には、第１の評価値Ｓ１が小さくなる。

また、対象エリアが非滞留状態である場合の第２の評価値Ｓ２は、次式で示すように、滞留度数Ｆおよび総滞留時間Ｔの逆数にそれぞれ所定の重み係数Ｗａ２，Ｗｂ２を乗じたものの和とする。
Ｓ２＝Ｆ×Ｗａ２＋１／Ｔ×Ｗｂ２
ここで、滞留度数Ｆの値が小さく、かつ総滞留時間Ｔの値が大きい場合には、第２の評価値Ｓ２が小さくなる。

このようにして候補エリア評価部５２において、第１の評価値または第２の評価値が算出されると、次に、配置位置決定部５３において、第１の評価値または第２の評価値に基づいて、最適な候補エリアを選択して、その候補エリアの位置に基づいて副画像の配置位置を決定する処理が行われる。

この配置位置決定処理では、第１の評価値または第２の評価値が最も小さい候補エリアを選択する。これにより、対象エリアが滞留状態の場合には、滞留度数および総滞留時間の値が共に小さい候補エリアが選択され、対象エリアが非滞留状態の場合には、滞留度数の値が小さく、かつ総滞留時間の値が大きい候補エリアが選択される。

なお、評価値の算出式で用いられる重み係数Ｗａ１，Ｗｂ１，Ｗａ２，Ｗｂ２は、定数で与えるようにすればよいが、適切な評価結果が得られるように、ユーザが適宜に変更することができるようにしてもよい。

また、配置位置決定処理では、第１の評価値または第２の評価値が同一となる候補エリアが複数見つかる場合があり、この場合、予め設定された条件に基づいて候補エリアを１つに絞り込むようにしてもよいが、第１の評価値または第２の評価値が同一となる複数の候補エリアを画面表示させて、ユーザが選択することができるようにしてもよい。

なお、本実施形態では、監視映像の全体を対象にして候補エリアを設定するようにしたが、この場合、対象エリアから大きく離れた位置が副画像の配置位置に決定されて、対象エリアとこれに対応する副画像とが大きく離れた状態となり、ユーザが対象エリアに対応する副画像を探し出すのに手間取ることがある。そこで、対象エリアから比較的近い位置に副画像の配置位置が決定されるようにするとよく、これにより、ユーザの視線移動が減り、監視業務の効率性を高めることができる。

ここで、対象エリアから比較的近い位置に副画像の配置位置が決定されるようにするには、候補エリアを設定する際に、候補エリアの設定範囲を対象エリアから所定の距離以下となるエリアに限定すればよい。また、滞留情報に基づく評価値が小さい候補エリアの中から、対象エリアからの距離が短い候補エリアを選択するようにしてもよい。

また、候補エリアの評価値に対象エリアからの距離が反映されるように評価値の算出式を設定するようにしてもよい。この場合、対象エリアからの距離が長い場合に、評価値が大きくなるように評価値の算出式を設定すればよい。例えば、対象エリアから候補エリアまでの距離に比例する項を評価値の算出式に加えればよい。このようにすると、対象エリアからの距離が大きいと、評価値が大きくなり、評価値が小さい候補エリアを選択することで、対象エリアからの距離が短い候補エリアが選択される。

以上のように本実施形態では、処理条件設定部（対象エリア設定部）３６において、ユーザの操作入力に応じて、監視映像上に対象エリアを設定し、滞留情報取得部３２において、監視映像に現れる人物の滞留状況を観測して、その人物の滞留状況を表す滞留情報を取得し、副画像生成部３３において、副画像を生成し、副画像配置制御部３４において、滞留情報取得部３２により取得した滞留情報に基づき、監視映像上における副画像の配置位置を制御し、出力制御部３５において、副画像配置制御部３４により決定された副画像の配置位置に基づき、副画像を監視映像上に合成したモニタリング映像を生成して表示装置に出力するものとした。これにより、人物の滞留状況に基づいて、監視映像上における副画像の配置位置を制御するため、副画像を監視映像上の適切な位置に配置することができる。このため、副画像が監視業務の妨げになることがなく、監視業務を効率的に遂行することができる。

また、本実施形態では、滞留情報が、監視映像上に設定された観測エリアに滞留する人物の数である滞留度数、および観測エリア内で人物が滞留する時間である滞留時間に関する情報を含むものとしており、滞留度数および滞留時間に基づいて、副画像の配置位置を制御するため、副画像を適切な位置に配置することができる。

また、本実施形態では、副画像配置制御部３４において、滞留情報に基づき、対象エリアとの間での人物の滞留状態に関する関連性が低いことを条件にして、副画像の配置位置を決定するようにしており、対象エリアとの関連性が低いエリアに副画像が配置され、対象エリアとの関連性が高いエリアが副画像で隠されないため、監視業務の妨げになることを避けることができる。

また、本実施形態では、副画像配置制御部３４において、滞留情報に基づき、対象エリアが滞留状態および非滞留状態のいずれであるかを判定し、対象エリアが滞留状態にあると判定された場合には、滞留度数および滞留時間の値が共に小さくなることを条件にして、副画像の配置位置を決定し、対象エリアが非滞留状態にあると判定された場合には、滞留度数の値が小さく、かつ滞留時間の値が大きくなることを条件にして、副画像の配置位置を決定するようにした。これにより、人物の数が少ないエリアに副画像が配置されるため、人物が副画像で隠されることを極力避けることができる。そして、人物が滞留しているエリアにユーザが注目して、その人物が滞留しているエリアの一部に対象エリアを指定した場合には、対象エリアが滞留状態となり、人物が流れているエリアに副画像が配置され、また、人物が流れているエリアにユーザが注目して、その人物が流れているエリアの一部に対象エリアを指定した場合には、対象エリアが非滞留状態となり、人物が滞留しているエリアに副画像が配置される。このため、ユーザが注目するエリアが副画像で隠されることがなく、副画像が監視業務の妨げになることを避けることができる。

また、本実施形態では、副画像配置制御部３４において、滞留情報に基づき、副画像の配置位置の候補となる複数の候補エリアについて、対象エリアとの関連性の高さを表す評価値を取得し、その評価値が小さいことを条件にして、最適な候補エリアを選択して、その候補エリアに基づいて副画像の配置位置を決定するようにしているため、最適な候補エリアを簡単にかつ高い精度で探索することができ、副画像の配置位置を効率よくかつ精度よく決定することができる。

また、本実施形態では、副画像生成部３３において、対象エリアの元画像を拡大した拡大画像を副画像として生成するようにしており、対象エリアの元画像を拡大した拡大画像が副画像として監視映像上に重畳して表示されるため、注目するエリアでの人物の状態を詳しく観察することができる。

（第２実施形態）
次に、第２実施形態について説明する。なお、ここで特に言及しない点は第１実施形態と同様である。図１１は、第２実施形態においてモニタ７に表示されるモニタリング映像を示す説明図である。

第１実施形態では、副画像配置制御部３４において、滞留情報（滞留時間および滞留度数）に基づいて、副画像の配置位置を決定するようにしたが、この第２実施形態では、滞留情報に加えて、対象エリアの元画像に写った人物の顔の向きに基づいて、副画像の配置位置を決定する。特にここでは、対象エリアの元画像に写った人物の顔の向きに概ね一致する方向に副画像を配置する。

なお、副画像配置制御部３４において行われる人物の顔の向きを検出する処理には公知の画像認識技術を用いればよい。また、図１１に示す例では、監視映像上に複数の対象エリアが設定されており、対象エリアと副画像との対応関係を表す矢印が表示されている。

この第２実施形態では、副画像配置制御部３４において、滞留情報に加えて、対象エリアの元画像に写った人物の顔の向きに基づいて、最適な候補エリアを選択する。このとき、第１実施形態と同様に、評価値に基づいて最適な候補エリアを選択する。この場合、人物の顔の向きに一致する方向に候補エリアが位置する場合に、評価値が低くなるように評価値の算出式を設定すればよい。例えば、対象エリアに対する候補エリアの方向と人物の顔の向きとのなす角度に比例する項を評価値の算出式に加えればよい。このようにすると、対象エリアに対する候補エリアの方向と人物の顔の向きとが大きく異なると、評価値が大きくなり、評価値が小さい候補エリアを選択することで、人物の顔の向きに概ね一致する方向に位置する候補エリアが選択される。

また、対象エリアの元画像に写った人物の顔の向きに基づいて、候補エリアの設定範囲を限定するようにしてもよい。また、第１実施形態と同様の手順で評価値を求めた後に、評価値が小さい候補エリアの中から人物の顔の向きに略一致する方向にある候補エリアを選択するようにしてもよい。

なお、対象エリアの元画像に写った人物の顔の向きが度々変わるような状況が考えられる。このような場合、副画像位置が頻繁に変わると監視映像としてはかえって見づらい状況になるため、次の人物の顔向き判定までの時間を長めにとることで、監視映像の見づらさを改善することができる。また、対象エリア内に複数の人物が存在する場合には、顔の向きが異なる人物の比率に基づいて、対象エリア全体での顔の向きを決定するようにすればよい。

このように本実施形態では、副画像配置制御部３４において、対象エリアの元画像に現れる人物の顔の向きを検出して、その検出結果に基づき、副画像の配置位置を決定するようにしており、ユーザがモニタリング映像において対象エリアの元画像に写った人物の顔の向きを見ることで、対象エリアに対応する副画像をすぐに見つけることができるため、監視業務のより一層の効率化を図ることができる。

また、図１１に示した例では、副画像を監視映像の左右の端に寄せて配置するようにしており、このように副画像を並べると、どちらの方向を向いている人物がどのくらい存在するかを直感的に把握することが可能となり、監視業務の効率化を図ることができる。

（第３実施形態）
次に、第３実施形態について説明する。なお、ここで特に言及しない点は第１実施形態と同様である。図１２は、第３実施形態においてＰＣ３で行われる処理の概要を説明する説明図である。

第１実施形態では、図５に示したように、対象エリアの滞留状態の判定を、人物ごとの滞留時間の平均である平均滞留時間、すなわち、人物ごとの滞留時間を加算した総滞留時間を滞留度数で除したものを用いて行い、副画像の配置位置を決定する際の関連性の評価を、滞留度数および総滞留時間を用いて行うようにしたが、この第３実施形態では、対象エリアの滞留状態の判定を、第１実施形態と同様に平均滞留時間を用いて行うが、副画像の配置位置を決定する際の関連性の評価も、平均滞留時間を用いて行うようにしている。

すなわち、対象エリアが滞留状態の場合、すなわち対象エリアの平均滞留時間が所定のしきい値以上となる場合には、平均滞留時間が最も小さい候補エリアを選択する。一方、対象エリアが非滞留状態の場合、すなわち対象エリアの平均滞留時間がしきい値未満となる場合には、平均滞留時間が最も大きい候補エリアを選択する。

このように、副画像の配置位置を決定する際の関連性の評価を、平均滞留時間を用いて行うようにすると、滞留度数が考慮されないため、人物が混雑しているエリアに副画像が配置される場合があるが、関連性の低いエリアに副画像が配置されるため、監視業務に大きな支障はない。

（第４実施形態）
次に、第４実施形態について説明する。なお、ここで特に言及しない点は第１実施形態と同様である。

第１実施形態では、滞留情報に基づいて、副画像の配置位置を決定するようにしたが、この第４実施形態では、人物の移動方向に基づいて、副画像の配置位置を決定する。

ユーザが人物が流れているエリアに注目して、その人物が流れているエリアの一部に対象エリアを設定した場合、対象エリアにおける人物の移動方向と略一致する方向に人物が移動しているエリアは、対象エリアと同じ人物の流れの中にあり、ここに副画像を配置すると、ユーザが注目するエリアの全体を観察することができなくなるため、このようなエリアを除外して副画像を配置する必要がある。

ここで、第１実施形態では、滞留情報に基づく候補エリアの探索により、人物が流れていないエリアに副画像を配置するため、副画像に邪魔されることなく、人物が流れているエリアの全体における人物の状態を観察することができる。一方、この第４実施形態では、人物の移動方向に基づく候補エリアの探索により、対象エリアと同じ人物の流れの中にないエリアに副画像を配置することができる。

この第４実施形態では、まず、人物ごとの動線に基づいて人物ごとの移動方向を検出し、各セルを通過した人物ごとの移動方向に対して平均化などの統計処理を行って、セル単位の移動方向を求める。次に、セル単位の移動方向に基づいて、対象エリアでの移動方向を求め、また、候補エリアでの移動方向を求める。そして、移動方向が対象エリアと略一致する候補エリア、すなわち、人物の流れに対して対象エリアの下流側にある候補エリア、および、移動方向が対象エリアと略逆方向となる候補エリア、すなわち、人物の流れに対して対象エリアの上流側にある候補エリアを選択対象から除外すればよい。

また、候補エリアの評価値に人物の移動方向が反映されるように評価値の算出式を設定するようにしてもよい。この場合、対象エリアでの移動方向に略一致するかあるいは略逆方向となる場合に、評価値が低くなるように評価値の算出式を設定すればよい。例えば、対象エリアでの移動方向と候補エリアでの移動方向とのなす角度（９０度を超える場合にはその補角）に反比例する項を評価値の算出式に加える。このようにすると、対象エリアでの移動方向と候補エリアでの移動方向とが略一致するかあるいは略逆方向となる場合に評価値が大きくなり、評価値が小さい候補エリアを選択することで、対象エリアと同じ人物の流れの中にない候補エリアが選択される。

この他に、候補エリアを設定する際に、対象エリアでの移動方向と略一致するかあるいは略逆方向に位置するエリアを、候補エリアの設定範囲から除外するようにしてもよい。

以上のように、この第４実施形態では、人物の移動方向に基づいて最適な候補エリアを選択するが、この処理は、滞留情報に基づく候補エリアの探索で適切な候補エリアが見つからない場合に実施すればよい。また、滞留情報は考慮せず、人物の移動方向のみに基づいて候補エリアの探索を行うことも可能である。

（第５実施形態）
次に、第５実施形態について説明する。なお、ここで特に言及しない点は第１実施形態と同様である。図１３は、第５実施形態に係るモニタリングシステムにおけるカメラ１およびＰＣ３の概略構成を示す機能ブロック図である。

この第５実施形態では、第１実施形態においてＰＣ３に設けられた滞留情報取得部３２が、カメラ１に設けられている。カメラ１には、撮像素子および光学素子を有する撮像部７１が設けられており、この撮像部７１から出力される映像が、滞留情報取得部３２に入力される。一方、ＰＣ３には、副画像生成部３３、副画像配置制御部３４、出力制御部３５、および処理条件設定部３６が設けられている。

カメラ１およびＰＣ３の各部では、第１実施形態と同様の処理が行われるが、特に、この第５実施形態では、処理条件設定部３６で設定された情報、すなわち対象エリアなどに関する情報が、ＰＣ３の制御部７３からカメラ１の制御部７２に送られ、この情報に基づいて、滞留情報取得部３２で所定の処理が行われる。なお、カメラ１側で、対象エリアなどに関する情報を入力して滞留情報取得部３２で所定の処理を行うものとしたが、滞留情報取得部３２からの滞留情報をＰＣ３に入力させて、ＰＣ３側で対象エリアなどに関する情報を参照して所定の処理を行うようにしてもよい。

以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本発明に係るモニタリング装置、モニタリングシステムおよびモニタリング方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

例えば、前記の実施形態では、スーパーマーケットなどの小売店舗の例について説明したが、このような小売店舗に限定されるものではなく、小売店舗以外の業務形態の店舗、例えば飲食店や銀行などに適用することも可能であり、さらに、店舗以外の監視エリア、特に監視エリア内に人物が滞留するエリアと人物が流れるエリアとが混在する状況が現れる場所に広く適用することができる。

また、前記の実施形態では、監視対象となる動体を人物とした例について説明したが、人物以外の動体、例えば自動車や自転車などの車両を対象としたものであってもよい。

また、前記の実施形態では、図４に示したように、監視映像を格子状に分割してできた複数のセル（分割領域）ごとに人物の滞留状況を表す滞留情報を取得するようにしたが、このように格子状に分割する構成に限定されるものではなく、監視エリアの状況に応じて適宜な分割線で分割すればよい。また、監視映像の分割数も適宜に設定すればよく、さらに、分割領域の大きさも均一に設定した構成に限定されるものではなく、監視エリアの状況に応じて適宜な大きさに設定すればよい。

また、前記の実施形態では、対象エリアの元画像を拡大した拡大画像を副画像として監視映像上に重畳して表示するようにしたが、副画像は拡大画像に限定されるものではなく、例えば、モニタリング映像に表示された監視映像とは撮影時刻が異なる対象エリアの元画像を等倍で副画像として監視映像上に重畳して表示するようにしてもよい。

また、前記の第１実施形態では、モニタリングに必要な処理を、店舗に設けられたＰＣ３に行わせるようにしたが、この必要な処理を、図１に示したように、本部に設けられたＰＣ１１や、クラウドコンピューティングシステムを構成するクラウドコンピュータ１２に行わせるようにしてもよい。また、必要な処理を複数の情報処理装置で分担し、ＩＰネットワークやＬＡＮなどの通信媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、必要な処理を分担する複数の情報処理装置でモニタリングシステムが構成される。

このような構成では、モニタリングに必要な処理のうち、少なくとも演算量が大きな処理、例えば人物検出処理を、店舗に設けられたＰＣ３などの装置に行わせるようにするとよい。このように構成すると、残りの処理で必要となる情報のデータ量が少なくて済むため、残りの処理を店舗とは異なる場所に設置された情報処理装置、例えば本部に設置されたＰＣ１１に行わせるようにしても、通信負荷を軽減することができるため、広域ネットワーク接続形態によるシステムの運用が容易になる。

また、モニタリングに必要な処理のうち、少なくとも演算量が大きな処理、例えば人物検出処理を、クラウドコンピュータ１２に行わせるようにしてもよい。このように構成すると、残りの処理は演算量が小さくて済むため、店舗などのユーザ側に高速な情報処理装置が不要となり、ユーザが負担するコストを軽減することができる。

また、クラウドコンピュータ１２に必要な処理の全部を行わせ、あるいは、必要な処理のうちの少なくとも映像出力処理をクラウドコンピュータ１２に分担させるようにしてもよく、このように構成すると、店舗や本部に設けられたＰＣ３，１１の他に、スマートフォン１３やタブレット端末１４などの携帯型端末でも映像を表示させることができるようになり、これにより店舗や本部の他に外出先などの任意の場所で店舗内の状況を確認することができる。

また、本実施形態では、店舗に設置されたＰＣ３にモニタリングに必要な処理を行わせるとともに、ＰＣ３のモニタ７にモニタリング画面や対象エリア入力画面などを表示させて、ＰＣ３で必要な入力および出力を行う場合について説明したが、モニタリングに必要な処理を行う情報処理装置とは別の情報処理装置、例えば本部に設置されたＰＣ１１やタブレット端末１４などの携帯型端末で必要な入力および出力を行うようにしてもよい。

本発明に係るモニタリング装置、モニタリングシステムおよびモニタリング方法は、監視映像上で指定されたエリアに関する副画像を監視映像上の適切な位置に配置して、副画像が監視業務の妨げになることがなく、効率的な監視業務を遂行することができる効果を有し、監視映像上に設定された対象エリアに関する副画像を監視映像上に重畳して表示させたモニタリング映像を生成して表示装置に表示させるモニタリング装置、モニタリングシステムおよびモニタリング方法などとして有用である。

１ カメラ
２ レコーダ
３ ＰＣ（モニタリング装置）
６ 入力デバイス
７ モニタ
１１ ＰＣ
１２ クラウドコンピュータ
１３ スマートフォン
１４ タブレット端末
３２ 滞留情報取得部
３３ 副画像生成部
３４ 副画像配置制御部
３５ 出力制御部
３６ 処理条件設定部（対象エリア設定部）
４１ 位置情報取得部
４３ 滞留度数取得部
４４ 滞留時間取得部
４５ 人物検出部
４６ 動線情報取得部
５１ 対象エリア判定部
５２ 候補エリア評価部
５３ 配置位置決定部

本発明のモニタリング装置は、監視映像上に設定された対象エリアに関する副画像を前記監視映像上に重畳して表示させたモニタリング映像を生成して表示装置に表示させるモニタリング装置であって、ユーザの操作入力に応じて、前記監視映像上に前記対象エリアを設定する対象エリア設定部と、前記監視映像に現れる動体の滞留状況を観測して、その動体の滞留状況を表す滞留情報を取得する滞留情報取得部と、前記副画像を生成する副画像生成部と、前記滞留情報取得部により取得した前記滞留情報に基づき、前記監視映像上における前記副画像の配置位置を制御する副画像配置制御部と、この副画像配置制御部により決定された前記副画像の配置位置に基づき、前記副画像を前記監視映像上に合成した前記モニタリング映像を生成して前記表示装置に出力する出力制御部と、を備え、前記副画像配置制御部は、前記滞留情報に基づき、前記対象エリアとの間での動体の滞留状態に関する関連性が低いことを条件にして、前記副画像の配置位置を決定する構成とする。

また、本発明のモニタリングシステムは、監視映像上に設定された対象エリアに関する副画像を前記監視映像上に重畳して表示させたモニタリング映像を生成して表示装置に表示させるモニタリングシステムであって、監視エリアを撮影するカメラと、複数の情報処理装置と、前記モニタリング映像を表示する表示装置と、を有し、前記複数の情報処理装置のいずれかが、ユーザの操作入力に応じて、前記監視映像上に前記対象エリアを設定する対象エリア設定部と、前記監視映像に現れる動体の滞留状況を観測して、その動体の滞留状況を表す滞留情報を取得する滞留情報取得部と、前記副画像を生成する副画像生成部と、前記滞留情報取得部により取得した前記滞留情報に基づき、前記監視映像上における前記副画像の配置位置を制御する副画像配置制御部と、この副画像配置制御部により決定された前記副画像の配置位置に基づき、前記副画像を前記監視映像上に合成した前記モニタリング映像を生成して前記表示装置に出力する出力制御部と、を備え、前記副画像配置制御部は、前記滞留情報に基づき、前記対象エリアとの間での動体の滞留状態に関する関連性が低いことを条件にして、前記副画像の配置位置を決定する構成とする。

また、本発明のモニタリング方法は、監視映像上に設定された対象エリアに関する副画像を前記監視映像上に重畳して表示させたモニタリング映像を生成して表示装置に表示させる処理を情報処理装置に行わせるモニタリング方法であって、ユーザの操作入力に応じて、前記監視映像上に前記対象エリアを設定するステップと、前記監視映像に現れる動体の滞留状況を観測して、その動体の滞留状況を表す滞留情報を取得するステップと、前記副画像を生成するステップと、前記滞留情報に基づき、前記監視映像上における前記副画像の配置位置を制御するステップと、このステップにより決定された前記副画像の配置位置に基づき、前記副画像を前記監視映像上に合成した前記モニタリング映像を生成して前記表示装置に出力するステップと、を備え、前記副画像の配置位置を制御するステップは、前記滞留情報に基づき、前記対象エリアとの間での動体の滞留状態に関する関連性が低いことを条件にして、前記副画像の配置位置を決定する構成とする。

本発明によれば、動体の滞留状況に基づいて、監視映像上における副画像の配置位置を制御するため、副画像を監視映像上の適切な位置に配置することができる。このため、副画像が監視業務の妨げになることがなく、監視業務を効率的に遂行することができる。とりわけ、対象エリアとの関連性が低いエリアに副画像が配置され、対象エリアとの関連性が高いエリアが副画像で隠されないため、監視業務の妨げになることを避けることができる。

前記課題を解決するためになされた第１の発明は、監視映像上に設定された対象エリアに関する副画像を前記監視映像上に重畳して表示させたモニタリング映像を生成して表示装置に表示させるモニタリング装置であって、ユーザの操作入力に応じて、前記監視映像上に前記対象エリアを設定する対象エリア設定部と、前記監視映像に現れる動体の滞留状況を観測して、その動体の滞留状況を表す滞留情報を取得する滞留情報取得部と、前記副画像を生成する副画像生成部と、前記滞留情報取得部により取得した前記滞留情報に基づき、前記監視映像上における前記副画像の配置位置を制御する副画像配置制御部と、この副画像配置制御部により決定された前記副画像の配置位置に基づき、前記副画像を前記監視映像上に合成した前記モニタリング映像を生成して前記表示装置に出力する出力制御部と、を備え、前記副画像配置制御部は、前記滞留情報に基づき、前記対象エリアとの間での動体の滞留状態に関する関連性が低いことを条件にして、前記副画像の配置位置を決定する構成とする。

これによると、動体の滞留状況に基づいて、監視映像上における副画像の配置位置を制御するため、副画像を監視映像上の適切な位置に配置することができる。このため、副画像が監視業務の妨げになることがなく、監視業務を効率的に遂行することができる。とりわけ、対象エリアとの関連性が低いエリアに副画像が配置され、対象エリアとの関連性が高いエリアが副画像で隠されないため、監視業務の妨げになることを避けることができる。

また、第３の発明は、前記副画像配置制御部は、前記滞留情報に基づき、前記対象エリアが滞留状態および非滞留状態のいずれであるかを判定し、前記対象エリアが滞留状態にあると判定された場合には、前記滞留度数および前記滞留時間の値が共に小さくなることを条件にして、前記副画像の配置位置を決定し、前記対象エリアが非滞留状態にあると判定された場合には、前記滞留度数の値が小さく、かつ前記滞留時間の値が大きくなることを条件にして、前記副画像の配置位置を決定する構成とする。

また、第４の発明は、前記副画像配置制御部は、前記滞留情報に基づき、前記副画像の配置位置の候補となる複数の候補エリアについて、前記対象エリアとの関連性の高さを表す評価値を取得し、その評価値が小さいことを条件にして、最適な前記候補エリアを選択して、その候補エリアに基づいて前記副画像の配置位置を決定する構成とする。

また、第５の発明は、前記副画像配置制御部は、前記対象エリアの元画像に現れる動体の向きを検出して、その検出結果に基づき、前記副画像の配置位置を決定する構成とする。

また、第６の発明は、前記副画像生成部は、前記対象エリアの元画像を拡大した拡大画像を前記副画像として生成する構成とする。

また、第７の発明は、監視映像上に設定された対象エリアに関する副画像を前記監視映像上に重畳して表示させたモニタリング映像を生成して表示装置に表示させるモニタリングシステムであって、監視エリアを撮影するカメラと、複数の情報処理装置と、前記モニタリング映像を表示する表示装置と、を有し、前記複数の情報処理装置のいずれかが、ユーザの操作入力に応じて、前記監視映像上に前記対象エリアを設定する対象エリア設定部と、前記監視映像に現れる動体の滞留状況を観測して、その動体の滞留状況を表す滞留情報を取得する滞留情報取得部と、前記副画像を生成する副画像生成部と、前記滞留情報取得部により取得した前記滞留情報に基づき、前記監視映像上における前記副画像の配置位置を制御する副画像配置制御部と、この副画像配置制御部により決定された前記副画像の配置位置に基づき、前記副画像を前記監視映像上に合成した前記モニタリング映像を生成して前記表示装置に出力する出力制御部と、を備え、前記副画像配置制御部は、前記滞留情報に基づき、前記対象エリアとの間での動体の滞留状態に関する関連性が低いことを条件にして、前記副画像の配置位置を決定する構成とする。

また、第８の発明は、監視映像上に設定された対象エリアに関する副画像を前記監視映像上に重畳して表示させたモニタリング映像を生成して表示装置に表示させる処理を情報処理装置に行わせるモニタリング方法であって、ユーザの操作入力に応じて、前記監視映像上に前記対象エリアを設定するステップと、前記監視映像に現れる動体の滞留状況を観測して、その動体の滞留状況を表す滞留情報を取得するステップと、前記副画像を生成するステップと、前記滞留情報に基づき、前記監視映像上における前記副画像の配置位置を制御するステップと、このステップにより決定された前記副画像の配置位置に基づき、前記副画像を前記監視映像上に合成した前記モニタリング映像を生成して前記表示装置に出力するステップと、を備え、前記副画像の配置位置を制御するステップは、前記滞留情報に基づき、前記対象エリアとの間での動体の滞留状態に関する関連性が低いことを条件にして、前記副画像の配置位置を決定する構成とする。

Claims (9)

1. 監視映像上に設定された対象エリアに関する副画像を前記監視映像上に重畳して表示させたモニタリング映像を生成して表示装置に表示させるモニタリング装置であって、
   ユーザの操作入力に応じて、前記監視映像上に前記対象エリアを設定する対象エリア設定部と、
   前記監視映像に現れる動体の滞留状況を観測して、その動体の滞留状況を表す滞留情報を取得する滞留情報取得部と、
   前記副画像を生成する副画像生成部と、
   前記滞留情報取得部により取得した前記滞留情報に基づき、前記監視映像上における前記副画像の配置位置を制御する副画像配置制御部と、
   この副画像配置制御部により決定された前記副画像の配置位置に基づき、前記副画像を前記監視映像上に合成した前記モニタリング映像を生成して前記表示装置に出力する出力制御部と、
   を備えたことを特徴とするモニタリング装置。
2. 前記滞留情報は、前記監視映像上に設定された観測エリアに滞留する動体の数である滞留度数、および前記観測エリア内で動体が滞留する時間である滞留時間に関する情報を含むことを特徴とする請求項１に記載のモニタリング装置。
3. 前記副画像配置制御部は、前記滞留情報に基づき、前記対象エリアとの間での動体の滞留状態に関する関連性が低いことを条件にして、前記副画像の配置位置を決定することを特徴とする請求項１または請求項２に記載のモニタリング装置。
4. 前記副画像配置制御部は、前記滞留情報に基づき、前記対象エリアが滞留状態および非滞留状態のいずれであるかを判定し、前記対象エリアが滞留状態にあると判定された場合には、前記滞留度数および前記滞留時間の値が共に小さくなることを条件にして、前記副画像の配置位置を決定し、前記対象エリアが非滞留状態にあると判定された場合には、前記滞留度数の値が小さく、かつ前記滞留時間の値が大きくなることを条件にして、前記副画像の配置位置を決定することを特徴とする請求項３に記載のモニタリング装置。
5. 前記副画像配置制御部は、前記滞留情報に基づき、前記副画像の配置位置の候補となる複数の候補エリアについて、前記対象エリアとの関連性の高さを表す評価値を取得し、その評価値が小さいことを条件にして、最適な前記候補エリアを選択して、その候補エリアに基づいて前記副画像の配置位置を決定することを特徴とする請求項３または請求項４に記載のモニタリング装置。
6. 前記副画像配置制御部は、前記対象エリアの元画像に現れる動体の向きを検出して、その検出結果に基づき、前記副画像の配置位置を決定することを特徴とする請求項１から請求項５のいずれかに記載のモニタリング装置。
7. 前記副画像生成部は、前記対象エリアの元画像を拡大した拡大画像を前記副画像として生成することを特徴とする請求項１から請求項６のいずれかに記載のモニタリング装置。
8. 監視映像上に設定された対象エリアに関する副画像を前記監視映像上に重畳して表示させたモニタリング映像を生成して表示装置に表示させるモニタリングシステムであって、
   監視エリアを撮影するカメラと、
   複数の情報処理装置と、
   前記モニタリング映像を表示する表示装置と、
   を有し、
   前記複数の情報処理装置のいずれかが、
   ユーザの操作入力に応じて、前記監視映像上に前記対象エリアを設定する対象エリア設定部と、
   前記監視映像に現れる動体の滞留状況を観測して、その動体の滞留状況を表す滞留情報を取得する滞留情報取得部と、
   前記副画像を生成する副画像生成部と、
   前記滞留情報取得部により取得した前記滞留情報に基づき、前記監視映像上における前記副画像の配置位置を制御する副画像配置制御部と、
   この副画像配置制御部により決定された前記副画像の配置位置に基づき、前記副画像を前記監視映像上に合成した前記モニタリング映像を生成して前記表示装置に出力する出力制御部と、
   を備えたことを特徴とするモニタリングシステム。
9. 監視映像上に設定された対象エリアに関する副画像を前記監視映像上に重畳して表示させたモニタリング映像を生成して表示装置に表示させる処理を情報処理装置に行わせるモニタリング方法であって、
   ユーザの操作入力に応じて、前記監視映像上に前記対象エリアを設定するステップと、
   前記監視映像に現れる動体の滞留状況を観測して、その動体の滞留状況を表す滞留情報を取得するステップと、
   前記副画像を生成するステップと、
   前記滞留情報に基づき、前記監視映像上における前記副画像の配置位置を制御するステップと、
   このステップにより決定された前記副画像の配置位置に基づき、前記副画像を前記監視映像上に合成した前記モニタリング映像を生成して前記表示装置に出力するステップと、
   を備えたことを特徴とするモニタリング方法。

Images