JP2020077337A - 画像監視システム - Google Patents

Abstract

【課題】撮影画像から検出された人物への対処の必要性の度合いを高精度に算出することができる画像監視システムを提供する。【解決手段】店舗装置１０は、店舗内を撮影した撮影画像から人物を検出する人物検出部１４３と、予め設定されたモデルを用いて要対処度を算出する要対処度算出部１４４と、要対処度が閾値以上である場合、監視装置３０に通報を送信する通報部１４５とを有し、監視装置は、店舗装置から受信した通報に対する監視員の対処行動を検出する対処行動検出部３５１と、検出した対処行動に基づいて、店舗装置１０から受信した通報の正誤を判定し、判定結果を店舗装置に送信する判定部３５２とを有し、店舗装置は、監視装置から受信した判定結果及びその判定結果に対応する撮影画像に基づいて、モデルを更新する更新部１４６をさらに有する。【選択図】図１

Description

本発明は、店舗を監視する画像監視システムに関する。

従来、店舗に設置された店舗装置が、店舗内を撮影した撮影画像を解析し、撮影画像から検出した人物への対処が必要である場合、監視センタに設置された監視装置に通報を行う画像監視システムが利用されている。

例えば、特許文献１には、監視対象の状況を監視センタで画像により監視する画像監視システムが開示されている。この画像監視システムにおいて、画像監視装置は、利用者により非常通報操作があったときは、監視センタへの非常通報及び現画像の送出を行う。

また、特許文献２には、監視領域の画像から検知した人物の姿勢が記憶手段に記憶された姿勢と一致した場合に、強盗発生状況要因に基づいて非常通報の要否を判定する通報装置が開示されている。

特開２００１−１０９９７３号公報 特開２０１２−３５９５号公報

店舗を監視する画像監視システムでは、店舗内を撮影した撮影画像から検出された人物への対処が必要であったか否かをより高精度に判定することが求められている。

本発明の目的は、撮影画像から検出された人物への対処の必要性の度合いを高精度に算出することができる画像監視システムを提供することにある。

かかる課題を解決するため本発明は、店舗装置及び監視装置を有し、店舗を監視する画像監視システムであって、店舗装置は、店舗内を撮影した撮影画像を取得する画像取得部と、撮影画像から人物を検出する人物検出部と、予め設定されたモデルを用いて、検出された人物への対処の必要性の度合いを示す要対処度を算出する要対処度算出部と、要対処度が閾値以上である場合、監視装置に通報を送信する通報部と、を有し、監視装置は、店舗装置から通報を受信した場合、受信した通報に対する監視員の対処行動を検出する対処行動検出部と、対処行動検出部が検出した対処行動に基づいて、受信した通報の正誤を判定し、判定結果を店舗装置に送信する判定部と、を有し、店舗装置は、監視装置から受信した判定結果及びその判定結果に対応する撮影画像に基づいて、モデルを更新する更新部をさらに有する画像監視システムを提供する。

この画像監視システムにおいて、対処行動検出部は、店舗装置から通報を受信した場合、さらに、監視員が店舗を監視する監視時間を検出し、判定部は、判定結果とともに監視時間を店舗装置に送信し、更新部は、監視装置から受信した監視時間に基づいて、モデルを更新する度合いを変更することが好適である。

この画像監視システムにおいて、店舗装置は、店舗の店員による通報指示に従って、監視装置に手動通報を送信する手動通報部をさらに有し、対処行動検出部は、店舗装置から手動通報を受信した場合、監視員の対処行動の検出を行わず、更新部は、手動通報部が監視装置に手動通報を送信した場合、受信した通報を正しいとみなして、モデルを更新することが好適である。

この画像監視システムにおいて、対処行動は、店舗に対する音声通知、又は、他装置への通報であることが好適である。

本発明に係る画像監視システムは、撮影画像から検出された人物への対処の必要性の度合いを高精度に算出することが可能となる。

画像監視システム１の全体システム構成を示す図である。 監視処理の動作を示すフローチャートの一例を示す図である。 画像監視システム１の動作シーケンスの一例を示す図である。 監視装置３０に表示される表示画面の一例である。

以下、実施形態に係る画像監視システムについて図を参照しつつ説明する。

図１は、実施形態に係る画像監視システム１の全体システム構成を示す図である。図１に示すように、画像監視システム１は、一又は複数の店舗のそれぞれに設置される一又は複数の店舗装置１０と、構内ＬＡＮ又はインターネット等の通信ネットワークを介して各店舗装置１０と接続される監視装置３０とを有する。また、各店舗装置１０には、一又は複数の撮像装置２１と、音出力装置２２と、操作装置２３と、一又は複数の端末装置２４とが接続される。

店舗装置１０は、例えばパーソナルコンピュータ等であり、インタフェース部１１と、第１通信部１２と、第１記憶部１３と、第１制御部１４とを有する。

インタフェース部１１は、例えばＵＳＢ等のシリアルバス規格に準じるインタフェース回路を有し、撮像装置２１、音出力装置２２、操作装置２３及び／又は端末装置２４と通信接続して各種の情報を送受信する。なお、インタフェース部１１は、シリアルバス規格に準じるインタフェース回路の代わりに、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ等の近距離無線通信規格に準じるインタフェース回路を有してもよい。

第１通信部１２は、イーサネット（登録商標）などの各種の通信インタフェース回路を有し、通信ネットワークを介して監視装置３０と各種の信号を送受信する。

第１記憶部１３は、ＲＯＭ、ＲＡＭ等の半導体メモリ、磁気ディスク（ＨＤＤ）、又はＣＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ等の光ディスクドライブ及びその記録媒体を有する。第１記憶部１３は、店舗装置１０を制御するためのコンピュータプログラム及び各種データを記憶し、第１制御部１４との間でこれらの情報を入出力する。コンピュータプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第１記憶部１３にインストールされてもよい。また、記憶部１５は、データとして、モデル１３１及び背景画像１３２等を記憶する。
モデル１３１は、店舗内を撮影した撮影画像から検出された人物への対処の必要性の度合いを示す要対処度を算出するために使用される判定モデルであり、予め設定される。対処が必要な人物とは、例えば不審人物、又は、困っている人物等である。不審人物とは、例えば長時間滞留している人物、刃物等の凶器を所持している人物、奇声を発する人物、サングラスもしくはマスク等で顔を覆っている人物、又は、万引き等の窃盗行為を画策して周辺を観察している人物等である。困っている人物とは、例えば何かを探してうろうろしている人物、又は、体調不良等のため、うずくまっている人物等である。
背景画像１３２は、各撮像装置２１が、動物体が存在しないときに店舗内を撮影した画像である。

第１制御部１４は、ＣＰＵ、ＭＰＵ等のプロセッサと、ＲＯＭ、ＲＡＭ等のメモリと、その周辺回路とを有し、店舗装置１０の各種信号処理を実行する。第１制御部１４は、プロセッサ上で動作するプログラムの機能モジュールとして実装される手動通報手段１４１、画像取得手段１４２、人物検出手段１４３、要対処度算出手段１４４、通報手段１４５及び更新手段１４６等を有する。なお、第１制御部１４として、ＤＳＰ、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ等が用いられてもよい。

撮像装置２１は、店舗装置１０が設置される店舗に固定設置され、店舗内を撮影するカメラである。撮像装置２１は、ＣＣＤ素子またはＣ−ＭＯＳ素子など、可視光に感度を有する光電変換素子と、その光電変換素子上に像を結像する結像光学系と、光電変換素子から出力された電気信号を増幅し、アナログ／デジタル（Ａ／Ｄ）変換するＡ／Ｄ変換器とを有する。撮像装置２１は、撮影したＲＧＢ各色の画像を各画素が０〜２５５の範囲の輝度値を有するデジタルの撮影画像に変換して店舗装置１０へ出力する。

音出力装置２２は、店舗装置１０が設置される店舗に設置され、店舗内に音声を出力するスピーカである。音出力装置２２は、店舗装置１０から音声信号を受信し、受信した音声信号に従って、店員又は客等の店舗内の人物に音声を出力する。

操作装置２３は、店舗装置１０が設置される店舗内の、特に店員が操作するレジの周辺等に設置され、店員の通報指示を受け付けるボタンである。操作装置２３は、受け付けた通報指示に応じた通報指示信号を店舗装置１０へ出力する。本実施形態では、操作装置２３は、通報ボタンであり、店員により押下されると、通報指示信号を店舗装置１０へ出力する。

端末装置２４は、店舗装置１０の店員により携帯される端末であり、例えばインカム（インターコミュニケーション）、スマートフォン等である。端末装置２４は、店舗装置１０と接続するためのインタフェースと、店員に通知を行うための表示装置及び／又は音声出力装置等の通知部と、それらを制御するためのプロセッサとを有する。端末装置２４は、店舗装置１０から通知信号を受信し、受信した通知信号に従って、店員に画像又は音声による通知を行う。

なお、撮像装置２１、音出力装置２２、操作装置２３及び／又は端末装置２４は、店舗装置１０と別個に設けられるのでなく、店舗装置１０と一体に設けられてもよい。

監視装置３０は、例えばサーバ等であり、第２通信部３１と、操作部３２と、表示部３３と、第２記憶部３４と、第２制御部３５とを有する。

第２通信部３１は、第１通信部１２と同様の通信インタフェース回路を有し、通信ネットワークを介して店舗装置１０と各種の信号を送受信する。

操作部３２は、例えばタッチパネル、マウス、キーボード等であり、監視センタの監視員による操作を受け付け、受け付けた操作に応じた信号を第２制御部３５に送る。

表示部３３は、例えば液晶ディスプレイ、有機ＥＬディスプレイ等であり、第２制御部３５からの指示に従って、店舗装置１０から受信した通報、撮影画像等を表示する。

第２記憶部３４は、第１記憶部１３と同様の半導体メモリ、磁気ディスク又は光ディスクドライブ及びその記録媒体を有する。第２記憶部３４は、監視装置３０を制御するためのコンピュータプログラム及び各種データを記憶し、第２制御部３５との間でこれらの情報を入出力する。コンピュータプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第２記憶部３４にインストールされてもよい。

第２制御部３５は、第１制御部１４と同様のプロセッサ、メモリ及び周辺回路を有し、監視装置３０の各種信号処理を実行する。第２制御部３５は、プロセッサ上で動作するプログラムの機能モジュールとして実装される対処行動検出手段３５１及び判定手段３５２等を有する。

図２は、店舗装置１０による監視処理の動作を示すフローチャートの一例を示す図である。以下、図２に示したフローチャートを参照しつつ、本実施形態による登録処理の動作を説明する。なお、以下に説明する動作のフローは、第１記憶部１３に予め記憶されているプログラムに基づいて、主に第１制御部１４により、店舗装置１０の各部と協同して実行される。

まず、手動通報手段１４１は、インタフェース部１１を介して操作装置２３から店舗の店員による通報指示が入力されたか否かを判定する（ステップＳ１０１）。店舗の店員による通報指示が入力された場合、手動通報手段１４１は、店員により通報が指示されたことを示す手動通報を監視装置３０に送信することを決定し（ステップＳ１０２）、処理をステップＳ１０１へ戻す。手動通報には、入力店舗の識別情報が含まれる。さらに、手動通報には、通報を指示した店員の勤務スケジュール情報等に基づく識別情報が含まれてもよい。この場合、手動通報手段１４１は、後述する処理において、監視装置３０に手動通報を送信する。このように、手動通報手段１４１は、店舗の店員による通報指示に従って、監視装置３０に手動通報を送信する。

一方、操作装置２３から店舗の店員による通報指示が入力されていない場合、画像取得手段１４２は、撮像装置２１が店舗内を撮影した撮影画像をインタフェース部１１を介して撮像装置２１から取得する（ステップＳ１０３）。本実施形態では、画像取得手段１４２は、直前の所定期間（例えば１０秒間）に撮影された複数の撮影画像を取得する。

次に、人物検出手段１４３は、撮影画像から人物を検出する（ステップＳ１０４）。人物検出手段１４３は、撮影画像と、その撮影画像を撮影した撮像装置２１が撮影した背景画像１３２との間で、対応画素間の輝度差を求め、各画素の画素値がその輝度差の絶対値で表される差分画像を生成する。人物検出手段１４３は、撮影画像において、対応する差分画像内の画素値が所定の閾値以上となる領域を動物体領域として検出する。例えば、所定の閾値は、差分画像の各画素値の平均値とすることができる。人物検出手段１４３は、検出した動物体領域が、人物に対応する所定範囲の大きさを有する場合、その動物体領域を人物が写っている人物領域として検出する。
また、人物検出手段１４３は、画像取得手段１４２が順次取得した撮影画像において、検出した各人物領域に対して公知のトラッキング技術を用いて追跡処理を実行する。人物検出手段１４３は、例えば、最新の撮影画像内の人物領域のそれぞれについて、その人物領域の重心位置と、直前の撮影画像から検出された人物領域の重心位置との距離を算出し、距離が所定の閾値以下である人物領域を同一人物による人物領域として対応付ける。なお、人物検出手段１４３は、オプティカルフロー、パーティクルフィルタ等の方法を用いて追跡処理を実行してもよい。
撮影画像から人物が検出されなかった場合、人物検出手段１４３は、処理をステップＳ１０１へ戻す。

一方、撮影画像から人物が検出された場合、要対処度算出手段１４４は、予め設定されたモデル１３１を用いて、撮影画像から、検出した各人物の要対処度を算出する（ステップＳ１０５）。

店舗装置１０は、モデル１３１として、強化学習により事前に学習された学習モデルを使用する。店舗装置１０は、例えば、強化学習としてＱ学習を使用し、学習モデルとして行動価値関数を使用する。Ｑ学習では、環境の状態ｓと、その状態ｓで選択される行動ａとを独立変数として、状態ｓで行動ａを選択した場合の行動の価値を表す行動価値関数Ｑ（ｓ，ａ）が学習される。Ｑ学習では、状態ｓと行動ａとの相関性が未知の状態で学習が開始され、任意の状態ｓで種々の行動ａを選択する試行錯誤を繰り返すことにより、行動価値関数Ｑが反復して更新される。また、Ｑ学習では、ある状態ｓである行動ａが選択された場合に、報酬ｒが得られるように構成され、より高い報酬ｒが得られる行動ａが選択されるように、行動価値関数Ｑが学習される。
行動価値関数Ｑの更新式は、以下の式（１）のように表される。

式（１）において、ｓ_t及びａ_tはそれぞれ時刻ｔにおける状態及び行動であり、行動ａ_tにより状態はｓ_tからｓ_t+1に変化する。ｒ_t+1は、状態がｓ_tからｓ_t+1に変化したことで得られる報酬である。ｍａｘＱの項は、時刻ｔ＋１で最大の価値Ｑになる（と時刻ｔで考えられている）行動ａを行ったときのＱを意味する。α及びγはそれぞれ学習係数及び割引率であり、０＜α≦１、０＜γ≦１で任意に設定される。

店舗装置１０には、対処が必要である人物が写っている画像に対する行動価値関数Ｑ₁と、対処が必要である人物が写っていない画像に対する行動価値関数Ｑ₂とが設定される。行動価値関数Ｑ₁は、対処が必要である人物が写っているサンプル画像群を複数用いて事前に学習され、行動価値関数Ｑ₂は、対処が必要である人物が写っていないサンプル画像群を複数用いて事前に学習される。各サンプル画像群は、各撮像装置２１により所定期間に撮影された連続する撮影画像のセットである。店舗装置１０は、各撮影画像が撮影された時刻を時刻ｔとし、時刻ｔにおける撮影画像から検出された人物領域の重心位置を状態ｓ_tとし、各人物領域の重心位置が、時刻ｔにおける撮影画像から検出された人物領域の重心位置から時刻ｔ＋１における撮影画像から検出された人物領域の重心位置へ移動したことを行動ａ_tとして使用する。また、店舗装置１０は、サンプル画像群における最後の行動ａの報酬ｒとして０より大きい値を設定し、他の行動ａの報酬ｒとして０を設定する。

店舗装置１０は、全ての状態ｓと各状態ｓにおいて取り得る行動ａとの全組合せについて、Ｑ（ｓ，ａ）の初期値をランダムに設定する。店舗装置１０は、一つのサンプル画像群に含まれる各画像を時刻順に参照し、各画像から検出された人物領域に対応するＱ（ｓ，ａ）を、上記の式（１）に従って更新していく。店舗装置１０は、対処が必要である人物が写っている全てのサンプル画像群を用いて、行動価値関数Ｑ₁（ｓ，ａ）を更新し、最終的に更新された各Ｑ₁（ｓ，ａ）の値（行動価値）の組合せをモデル１３１として第１記憶部１３に記憶する。同様に、店舗装置１０は、対処が必要である人物が写っていない全てのサンプル画像群を用いて、行動価値関数Ｑ₂（ｓ，ａ）を更新し、最終的に更新された各Ｑ₂（ｓ，ａ）の値（行動価値）の組合せをモデル１３１として第１記憶部１３に記憶する。

要対処度算出手段１４４は、画像取得手段１４２が取得した各撮影画像から検出された各人物の人物領域の重心位置を状態ｓとし、その重心位置から、次の撮影画像から検出されたその人物の人物領域の重心位置へ移動したことを行動ａとして特定する。要対処度算出手段１４４は、モデル１３１を参照し、特定した状態ｓと行動ａとの組合せに対応するＱ₁（ｓ，ａ）の値（行動価値）と、Ｑ₂（ｓ，ａ）の値（行動価値）とを特定する。要対処度算出手段１４４は、特定したＱ₁（ｓ，ａ）の値（行動価値）からＱ₂（ｓ，ａ）の値（行動価値）を減算した値を、その組合せに対応する行動価値として算出する。要対処度算出手段１４４は、検出された人物毎に、各撮影画像について算出したその人物に対する行動価値の総和を算出し、算出した総和の中の最大値を要対処度として算出する。即ち、要対処度は、撮影画像に対処が必要である人物が写っている可能性が高い程、高くなるように算出される。

次に、通報手段１４５は、算出された要対処度が閾値以上であるか否かを判定する（ステップＳ１０６）。閾値は、事前の実験による実験結果に基づいて予め設定される。全ての人物について算出された要対処度が閾値未満である場合、通報手段１４５は、通報を監視装置３０に送信しないことを決定し（ステップＳ１０７）、処理をステップＳ１０１へ戻す。
一方、何れかの人物について算出された要対処度が閾値以上である場合、通報手段１４５は、要対処度が、閾値より大きい第２閾値以上であるか否かを判定する（ステップＳ１０８）。第２閾値は、事前の実験による実験結果に基づいて予め設定される。要対処度が第２閾値以上である場合、通報手段１４５は、店舗装置１０が撮影画像に基づいて通報が必要であると判定したことを示す自動通報を監視装置３０に送信することを決定し（ステップＳ１０９）、処理をステップＳ１０１へ戻す。自動通報には、入力店舗の識別情報が含まれる。さらに、自動通報には、行動価値の総和が閾値又は第２閾値以上である人物の識別情報（例えば、撮影画像における人物領域の座標）が含まれてもよい。この場合、通報手段１４５は、後述する処理において、監視装置３０に自動通報を送信する。
一方、要対処度が第２閾値未満である場合、通報手段１４５は、店舗の各店員に通報指示の実行を促すメッセージを、インタフェース部１１を介して各店員が所持する端末装置２４に送信し、通知する（ステップＳ１１０）。各端末装置２４は、通報指示の実行を促すメッセージを受信すると、受信したメッセージを表示又は音声出力し、各店員に通知する。

次に、通報手段１４５は、インタフェース部１１を介して操作装置２３から通報指示信号を受信したか否かを判定する（ステップＳ１１１）。通報指示信号を受信した場合、通報手段１４５は、手動通報を監視装置３０に送信することを決定し（ステップＳ１１２）、処理をステップＳ１０１へ戻す。この場合、手動通報手段１４１は、後述する処理において、監視装置３０に手動通報を送信する。この場合の手動通報には、行動価値の総和が閾値以上である人物の識別情報が含まれてもよい。
一方、通報指示信号を受信していない場合、通報手段１４５は、端末装置２４にメッセージを送信してから所定時間（例えば１０秒間）が経過したか否かを判定する（ステップＳ１１３）。所定時間が経過していない場合、通報手段１４５は、処理をステップＳ１１１に戻し、再度、通報指示信号を受信したか否かを判定する。一方、所定時間が経過した場合、通報手段１４５は、店員が通報指示を実行しなかったとみなして、処理をステップＳ１０１に戻す。

図３は、画像監視システム１の動作シーケンスの一例を示す図である。この動作シーケンスは、予め各装置の各記憶部に記憶されているプログラムに基づいて、主に各装置の各制御部により、店舗装置１０及び監視装置３０の各要素と協働して実行される。この動作シーケンスは、店舗装置１０が、監視処理において通報を監視装置３０に送信することを決定した場合に実行される。

まず、店舗装置１０の手動通報手段１４１又は通報手段１４５は、手動通報又は自動通報と、各手動通報又は自動通報を送信することを決定する際に使用された撮影画像とを第１通信部１２を介して監視装置３０に送信する（ステップＳ２０１）。
図２のステップＳ１０２において手動通報を送信することが決定された場合、手動通報手段１４１が、監視装置３０に手動通報を送信する。その場合、撮影画像として、手動通報前に撮影され且つ人物が検出された画像が送信される。
図２のステップＳ１０９において自動通報を送信することが決定された場合、通報手段１４５が、監視装置３０に自動通報を送信する。その場合、撮影画像として、自動通報が送信された時及びその直前の所定期間に撮影された画像が送信される。
図２のステップＳ１１２において手動通報を送信することが決定された場合、手動通報手段１４１が、監視装置３０に手動通報を送信する。その場合、撮影画像として、店舗の各店員に通報指示の実行を促すメッセージが端末装置２４に送信された時及びその直前の所定期間に撮影された画像が送信される。
なお、監視装置３０に対する手動通報が、店舗の各店員に端末装置２４に通報指示の実行を促すメッセージによるものか否かは、実行を促すメッセージが送信されてから所定時間内に店員が手動ボタンを押したか否かにより判定される。
また、ステップＳ１０２、Ｓ１０９において通報を送信することが決定された場合、上記撮影画像と合わせて現在の画像であるライブ画像が送信される。

次に、監視装置３０の対処行動検出手段３５１は、第２通信部３１を介して店舗装置１０から手動通報又は自動通報及び撮影画像を受信した場合、受信した通報を示す情報及び撮影画像を表示部３３に表示する（ステップＳ２０２）。

図４は、監視装置３０に表示される表示画面の一例である。
図４に示すように、表示画面４００には、受信した通報を示す情報４０１、自動通報或いは手動通報による通報時の撮影画像４０２、ライブ映像を表示するライブ画像４０３、音声通知ボタン４０４、通報ボタン４０５及び終了ボタン４０６等が表示される。
情報４０１には、通報を送信した店舗装置１０が設置された店舗の識別情報と、その店舗装置１０から受信した通報が手動通報であるか自動通報であるかとが表示される。なお、店舗装置１０から受信した通報が手動通報である場合、情報４０１には、さらに通報を指示した店員もしくは端末装置２４の識別情報が表示されてもよい。また、店舗装置１０から受信した通報に、行動価値の総和が閾値又は第２閾値以上である人物の識別情報が含まれている場合、情報４０１には、さらにその人物の識別情報が表示されてもよい。
監視員は、音声通知ボタン４０４を押下することにより、店舗装置１０を介して音出力装置２２に所定の音声を出力させることができる。
監視員は、通報ボタン４０５を押下することにより、監視装置３０から、警察等に設置された他の装置（不図示）に通報を送信させることができる。
監視員は、終了ボタン４０６を押下することにより、表示画面４００の表示を終了させることができる。

次に、対処行動検出手段３５１は、店舗装置１０から通報を受信した場合、受信した通報に対する監視員の対処行動を検出する（ステップＳ２０３）。対処行動とは、受信した通報に係る問題（撮影画像に写っている問題）を解決するために、監視員が実行する行動である。即ち、対処行動には、監視員が、店舗装置１０から受信した通報の正誤を評価（撮影画像に写っている人物に対する対処が必要であったか否か）して監視装置３０に評価結果を直接入力するような行動は含まれない。対処行動検出手段３５１は、操作部３２を用いた監視員による表示画面４００に対する操作を監視員の対処行動として検出する。対処行動検出手段３５１は、自動通報又は手動通報の何れかを受信した場合、対処行動を検出する。なお、対処行動検出手段３５１は、自動通報を受信した場合に限り、対処行動を検出してもよい。また、対処行動検出手段３５１は、自動通報を受信した場合、又は、図２のステップＳ１１２において手動通報を送信することが決定されて手動通報を受信した場合に限り、対処行動を検出してもよい。

監視員により音声通知ボタン４０４が押下された場合、対処行動検出手段３５１は、監視員の対処行動として店舗に対する音声通知を検出する。この場合、対処行動検出手段３５１は、第２通信部３１を介して店舗装置１０に、警告等の所定の音声を出力することを要求する音声出力要求を送信する。店舗装置１０は、音声出力要求を受信すると、インタフェース部１１を介して音出力装置２２に所定の音声を出力させる。なお、監視装置３０は、マイク等の音声入力部（不図示）を有し、監視員による音声の入力を受け付け、受け付けた音声を店舗装置１０に送信してもよい。
また、監視員により通報ボタン４０５が押下された場合、対処行動検出手段３５１は、監視員の対処行動として他装置への通報を検出する。この場合、対処行動検出手段３５１は、第２通信部３１を介して他の装置に通報を送信する。
また、監視員により終了ボタン４０６が押下された場合、対処行動検出手段３５１は、表示画面４００を閉じて、表示画面４００の表示を終了する。この場合、対処行動検出手段３５１は、表示画面４００の表示を開始してから終了するまでの時間を、監視員が店舗を監視する監視時間として検出する。なお、対処行動検出手段３５１は、音声通知ボタン４０４又は通報ボタン４０５が押下された場合、表示画面４００の表示を開始してから音声通知ボタン４０４又は通報ボタン４０５が押下されるまでの時間を監視時間として検出してもよい。

次に、判定手段３５２は、対処行動検出手段３５１が検出した対処行動に基づいて、店舗装置１０から受信した通報の正誤（対処要否）を判定する（ステップＳ２０４）。
判定手段３５２は、対処行動検出手段３５１が、監視員の対処行動として店舗に対する音声通知又は他装置への通報を検出した場合、検出された人物への対処が必要であったと判定する。即ち、その場合、判定手段３５２は、店舗装置１０から受信した通報が正しいと判定する。一方、判定手段３５２は、対処行動検出手段３５１が、表示画面４００の表示を開始してから所定時間（例えば１０分間）が経過する前に、店舗に対する音声通知又は他装置への通報を検出することなく、表示画面４００の表示を終了する終了ボタン４０６が押下されたことを検知した場合、検出された人物への対処が不要であったと判定する。即ち、その場合、判定手段３５２は、店舗装置１０から受信した通報が不正解であると判定する。
また、判定手段３５２は、対処行動検出手段３５１が、表示画面４００の表示を開始してから所定時間が経過するまで、店舗に対する音声通知又は他装置への通報を検出することなく、表示画面４００を表示し続けた場合、検出された人物への対処の要否が不明であると判定する。即ち、この場合、判定手段３５２は、万引き等の問題が発生した可能性があり、監視員が表示画面４００を監視し続けているが、撮影画像からその問題の発生を確信できないものとみなす。即ち、その場合、判定手段３５２は、店舗装置１０から受信した通報に対する正誤判定を保留する。または、判定手段３５２は、表示画面４００の表示を開始してから所定時間が経過するまで表示画面４００を表示し続けた場合、検出された人物への対処が必要であると判定してもよい。

次に、判定手段３５２は、判定結果を第２通信部３１を介して店舗装置１０に送信する（ステップＳ２０５）。

次に、店舗装置１０の更新手段１４６は、第１通信部１２を介して監視装置３０から判定結果を受信した場合、受信した判定結果及びその判定結果に対応する撮影画像に基づいて、第１記憶部１３に記憶されたモデル１３１を更新する（ステップＳ２０６）。
更新手段１４６は、モデル１３１の初期設定時と同様にして、モデル１３１を更新する。但し、更新手段１４６は、図２のステップＳ１０２において手動通報を送信することが決定された場合、通報指示が実行される前、即ち手動通報前に撮影され且つ人物が検出された撮影画像を用いてモデル１３１を更新する。また、更新手段１４６は、ステップＳ１０９において自動通報を送信することが決定された場合、自動通報が送信される前の所定期間、特に自動通報が送信された時及びその直前の所定期間に撮影された撮影画像を用いてモデル１３１を更新する。その場合、更新手段１４６は、行動価値の総和が閾値又は第２閾値以上である人物の人物領域のみを用いてモデル１３１を更新してもよい。また、更新手段１４６は、ステップＳ１１２において手動通報を送信することが決定された場合、店舗の各店員に通報指示の実行を促すメッセージが端末装置２４に送信された時及びその直前の所定期間に撮影された撮影画像を用いてモデル１３１を更新する。その場合、更新手段１４６は、行動価値の総和が閾値以上である人物の人物領域のみを用いてモデル１３１を更新してもよい。このように、評価結果が手動通報に対応する場合、更新手段１４６は、モデル１３１の更新に使用する画像として、通報指示が実行される前の所定期間に撮影された撮影画像を設定する。

更新手段１４６は、各撮影画像が撮影された時刻を時刻ｔとし、時刻ｔにおける撮影画像から検出された人物領域の重心位置を状態ｓ_tとし、各人物領域の重心位置が、時刻ｔにおける撮影画像から検出された人物領域の重心位置から、時刻ｔ＋１における撮影画像から検出された人物領域の重心位置へ移動したことを行動ａ_tとして使用する。更新手段１４６は、受信した判定結果に対応する各撮影画像の内の最後の撮影画像に係る行動ａの報酬ｒとして０より大きい値を設定し、他の行動ａの報酬ｒとして０を設定する。
更新手段１４６は、受信した判定結果に対応する各撮影画像を時刻順に参照し、各撮影画像から検出された人物領域に対応するＱ（ｓ，ａ）を、上記の式（１）に従って更新していく。判定結果が、撮影画像に写っている人物に対する対処が必要であったことを示す場合、更新手段１４６は、行動価値関数Ｑ₁（ｓ，ａ）を更新し、モデル１３１を、最終的に更新された各Ｑ₁（ｓ，ａ）の値（行動価値）の組合せに更新する。一方、判定結果が、撮影画像に写っている人物に対する対処が不要であったことを示す場合、更新手段１４６は、行動価値関数Ｑ₂（ｓ，ａ）を更新し、モデル１３１を、最終的に更新された各Ｑ₂（ｓ，ａ）の値（行動価値）の組合せに更新する。また、判定結果が、撮影画像に写っている人物に対する対処の要否が不明であったことを示す場合、更新手段１４６は、モデル１３１を更新しない。

以上により、画像監視システム１の動作シーケンスは終了する。
なお、図２のステップＳ１０６において要対処度が閾値以上であった場合、通報手段１４５は、要対処度が第２閾値以上であるか否かに関わらず、監視装置３０に自動通報を送信することを決定してもよい。その場合、図３のステップＳ２０１において、通報手段１４５は、要対処度が閾値以上である場合に、監視装置３０に自動通報を送信する。また、店舗装置１０は、図２のステップＳ１０１〜Ｓ１０２の処理を省略し、監視装置３０に手動通報を送信する処理を省略してもよい。

また、店舗の店員による通報指示が入力され、店舗装置１０が手動通報を実行する場合、その手動通報の直前に撮影された撮影画像には、対処が必要である人物が写っている可能性が高い。そのため、その場合、店舗装置１０は、判定手段３５２による判定結果に関わらず、モデル１３１を更新してもよい。例えば、店舗装置１０から手動通報を受信した場合、対処行動検出手段３５１は、ステップＳ２０３において、監視員の対処行動の検出処理を省略し、判定手段３５２は、ステップＳ２０４において、対処要否の判定処理を省略し、ステップＳ２０５において、判定結果の送信を省略する。一方、更新手段１４６は、ステップＳ２０１において、手動通報手段１４１が監視装置３０に手動通報を送信した場合、撮影画像から検出された人物への対処が必要である、即ち受信した通報を正しいとみなして、モデル１３１（行動価値関数Ｑ₁）を更新する。
この場合、画像監視システムは、店舗の店員による信頼性の高い指示に基づいて、判定手段３５２による判定結果を用いずにモデル１３１を更新するため、監視装置３０の処理負荷を軽減しつつ、モデル１３１を適切に更新することができる。

また、ステップＳ２０５において、判定手段３５２は、判定結果とともに、ステップＳ２０３で検出した監視時間を店舗装置１０に送信してもよい。その場合、ステップＳ２０６において、更新手段１４６は、監視装置から受信した監視時間に基づいて、モデル１３１を更新する度合いを変更してもよい。監視時間が長い場合、監視員は店舗装置１０から受信した通報の正誤を判定するために長時間を要しており、その撮影画像には人物の行動が顕著に表れていない可能性が高い。逆に、他装置への通報がなく、監視時間が短い場合、店舗装置１０から受信した通報の正誤を短時間で判定しており、撮影画像には人物の行動が顕著に表れている可能性が高い。
そこで、更新手段１４６は、監視時間が短い程、モデル１３１を更新する度合いを大きくし、監視時間が長い程、モデル１３１を更新する度合いを小さくする。例えば、更新手段１４６は、監視時間が短い程、判定結果に対応する各撮影画像の内の最後の撮影画像に係る行動ａの報酬ｒとして大きい値を設定し、監視時間が長い程、判定結果に対応する各撮影画像の内の最後の撮影画像に係る行動ａの報酬ｒとして小さい値を設定する。
これにより、更新手段１４６は、モデル１３１をより効率良く更新することができる。

また、ステップＳ２０５において、判定手段３５２は、判定結果とともに、ステップＳ２０３で検出した対処行動の種別（店舗に対する音声通知であるか他装置への通報であるか）を店舗装置１０に送信してもよい。その場合、ステップＳ２０６において、更新手段１４６は、監視装置から受信した対処行動の種別に基づいて、モデル１３１を更新する度合いを変更してもよい。
例えば、更新手段１４６は、対処行動が店舗に対する音声通知である場合、対処行動が他装置への通報である場合より、モデル１３１を更新する度合いを大きくする。または、更新手段１４６は、対処行動が店舗に対する音声通知である場合、対処行動が他装置への通報である場合より、モデル１３１を更新する度合いを小さくしてもよい。
これにより、更新手段１４６は、モデル１３１をより効率良く更新することができる。

以上説明してきたように、本発明に係る画像監視システムでは、店舗装置１０が、モデル１３１を用いて要対処度を算出し、要対処度が閾値以上である場合、監視装置３０へ通報を送信する。一方、監視装置３０は、店舗装置１０から通報を受信した場合、監視員の対処行動に基づいて、店舗装置１０から受信した通報の正誤を判定し、店舗装置１０は、その判定結果に基づいてモデル１３１を更新する。これにより、画像監視システムは、監視員の対処行動に基づいて、モデル１３１を適切に更新することが可能となり、その結果、要対処度を高精度に算出することが可能となる。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されない。本実施形態では、モデル１３１が店舗装置１０に記憶される例について説明したが、モデル１３１は、外部装置に記憶され、クラウドコンピューティングの形態で利用されてもよい。その場合、要対処度算出手段１４４は、人物領域を含む画像を第１通信部１２を介して外部装置に送信し、外部装置により算出された要対処度を第１通信部１２を介して外部装置から受信する。また、更新手段１４６は、撮影画像を第１通信部１２を介して外部装置に送信し、モデル１３１を外部装置に更新させる。これにより、画像監視システムは、十分な処理速度及び記憶容量を有さない装置を店舗装置１０として利用することができる。

また、図２のステップＳ１０７において、通報手段１４５は、要対処度が第２閾値以上であるか否かでなく、撮影画像に写っている人物が不審人物であるか困っている人物であるかを判定してもよい。
その場合、店舗装置１０には、不審人物が写っている画像に対する行動価値関数Ｑ₃と、困っている人物が写っている画像に対する行動価値関数Ｑ₄とが設定される。行動価値関数Ｑ₃は、不審人物が写っているサンプル画像群を複数用いて事前に学習され、行動価値関数Ｑ₄は、困っている人物が写っているサンプル画像群を複数用いて事前に学習される。行動価値関数Ｑ₃及びＱ₄は、行動価値関数Ｑ₁及びＱ₂と同様にして、設定される。要対処度算出手段１４４は、各撮影画像から検出された各人物領域について、Ｑ₃（ｓ，ａ）の値（行動価値）と、Ｑ₄（ｓ，ａ）の値（行動価値）とを特定する。要対処度算出手段１４４は、各撮影画像について算出した各人物に対するＱ₃（ｓ，ａ）の値（行動価値）の総和がＱ₄（ｓ，ａ）の値（行動価値）の総和以上である場合、その人物は不審人物であると判定する。一方、要対処度算出手段１４４は、Ｑ₃（ｓ，ａ）の値（行動価値）の総和がＱ₄（ｓ，ａ）の値（行動価値）の総和未満である場合、その人物は困っている人物であると判定する。
通報手段１４５は、撮影画像に写っている人物が不審人物である場合、ステップＳ１０９において自動通報を監視装置３０に送信することを決定し、撮影画像に写っている人物が困っている人物である場合、ステップＳ１１０において通報指示の実行を促すメッセージを端末装置２４に送信する。
これにより、撮影画像に不審人物が写っていると推定される場合には、自動的に監視装置３０に通報され、監視員により適切な対処が行われる。一方、撮影画像に困っている人物が写っていると推定される場合には、まず店員に通知されて店員により対処が行われ、店員が必要と判断した場合には、さらに監視装置３０に通報される。したがって、画像監視システムでは、対処の必要がないにも関わらず、監視装置３０に通報されて監視員に負担をかけることが抑制される。

また、店舗装置１０は、学習モデルを事前に設定せずに、運用中に撮像された撮影画像、及び、監視装置３０から送信された評価結果のみに基づいて、モデル１３１を生成及び更新してもよい。画像監視システムの管理者は、新たに画像監視システムを構築する際に、学習モデルを事前学習しておく必要がないため、短期間且つ容易に画像監視システムを構築することができる。

また、図３のステップＳ２０５において、対処行動検出手段３５１は、判定結果及びその判定結果に対応する撮影画像を、通報を送信した店舗装置１０と異なる他の店舗装置１０に送信してもよい。その場合、他の店舗装置１０の更新手段１４６は、受信した判定結果及び撮影画像に基づいて、自装置が記憶するモデル１３１を更新する。これにより、画像監視システムは、店舗として全国展開する複数のチェーン店等を有する場合に、各店舗の店舗装置１０により取得されたデータを一元管理して水平展開し、各店舗装置１０が使用するモデル１３１を効率よく更新することができる。

また、図２のステップＳ１０５において、店舗装置１０は、強化学習により決定された学習モデル（行動価値関数）の代わりに、教師あり学習等の他の学習方式により決定された学習モデル（識別器）を使用して、撮影画像に対処の必要がある人物が写っているか否かを判定してもよい。
その場合、要対処度算出手段１４４は、画像が入力された場合に要対処度を出力するように事前学習された識別器により、要対処度を算出する。この識別器は、例えばディープラーニング等により、対処が必要である人物が写っている複数のサンプル画像、及び、対処が必要である人物が写っていない複数のサンプル画像を用いて事前学習され、モデル１３１として予め第１記憶部１３に記憶される。要対処度算出手段１４４は、人物検出手段１４３が検出した人物領域を含む画像を識別器に入力し、識別器から出力された要対処度を取得することにより、要対処度を算出する。
一方、図３のステップＳ２０６において、更新手段１４６は、監視装置３０から判定結果を受信した場合、受信した判定結果に基づいて、モデル１３１として記憶された識別器を更新する。判定結果が、撮影画像に写っている人物に対する対処が必要であることを示す場合、更新手段１４６は、その撮影画像内の人物領域を、対処が必要である人物が写っているサンプル画像に追加して、識別器を再学習する。一方、判定結果が、撮影画像に写っている人物に対する対処が不要であったことを示す場合、更新手段１４６は、その撮影画像内の人物領域を、対処が不要であった人物が写っているサンプル画像に追加して、識別器を再学習する。この際、更新手段１４６は、監視装置から受信した監視時間に基づいてサンプル画像への追加の是非を制限するようにしてもよい。即ち、更新手段１４６は、撮影画像に写っている人物に対する対処が必要であった場合で、且つ、監視時間が所定未満であった場合はサンプル画像への追加するようにする。
この場合も、画像監視システムは、モデル１３１を適切に更新することが可能となり、その結果、要対処度を高精度に算出することが可能となる。

または、店舗装置１０は、パターンマッチングにより撮影画像に対処の必要がある人物が写っているか否かを判定してもよい。
その場合、店舗装置１０は、対処が必要である人物が写っている複数の第１画像パターンと、対処が不要であった人物が写っている複数の第２画像パターンとをモデル１３１として第１記憶部１３に記憶しておく。要対処度算出手段１４４は、撮影画像から検出した人物領域と、モデル１３１として記憶しておいた各画像パターンとの類似度を算出する。類似度は、例えば、人物領域と、画像パターンを人物領域と同じサイズに拡大／縮小した画像との正規化相互相関値とすることができる。要対処度算出手段１４４は、人物領域と各第１画像パターンの類似度の内の最大値を、人物領域と各第２画像パターンの類似度の内の最大値で除算した値を要対処度として算出する。
一方、図３のステップＳ２０６において、更新手段１４６は、監視装置３０から判定結果を受信した場合、受信した判定結果に基づいて、モデル１３１として記憶された画像パターンを更新する。判定結果が、撮影画像に写っている人物に対する対処が必要であったことを示す場合、更新手段１４６は、その撮影画像内の人物領域を第１画像パターンに追加する。一方、判定結果が、撮影画像に写っている人物に対する対処が不要であったことを示す場合、更新手段１４６は、その撮影画像内の人物領域を第２画像パターンに追加する。また、店舗装置１０は、モデル１３１として記憶された画像パターンと合わせて、監視時間の情報を記憶しておき、監視時間に基づき第１画像パターン、第２画像パターンへの追加の是非を判定するようにしてもよい。例えば、対処が必要であった判定結果の場合、且つ監視時間が所定時間未満の場合は、第１画像パターンに追加するなどとしてもよい。
この場合も、画像監視システムは、モデル１３１を適切に更新することが可能となり、その結果、要対処度を高精度に算出することが可能となる。

以上のように、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１０ 店舗装置、１４１ 手動通報手段、１４２ 画像取得手段、１４３ 人物検出手段、１４４ 要対処度算出手段、１４５ 通報手段、１４６ 更新手段、３０ 監視装置、３５１ 対処行動検出手段、３５２ 判定手段

Claims (4)

1. 店舗装置及び監視装置を有し、店舗を監視する画像監視システムであって、
   前記店舗装置は、
   店舗内を撮影した撮影画像を取得する画像取得部と、
   前記撮影画像から人物を検出する人物検出部と、
   予め設定されたモデルを用いて、前記検出された人物への対処の必要性の度合いを示す要対処度を算出する要対処度算出部と、
   前記要対処度が閾値以上である場合、前記監視装置に通報を送信する通報部と、を有し、
   前記監視装置は、
   前記店舗装置から前記通報を受信した場合、前記受信した通報に対する監視員の対処行動を検出する対処行動検出部と、
   前記対処行動検出部が検出した対処行動に基づいて、前記受信した通報の正誤を判定し、判定結果を前記店舗装置に送信する判定部と、を有し、
   前記店舗装置は、前記監視装置から受信した判定結果及び当該判定結果に対応する撮影画像に基づいて、前記モデルを更新する更新部をさらに有する、
   ことを特徴とする画像監視システム。
2. 前記対処行動検出部は、前記店舗装置から前記通報を受信した場合、さらに、監視員が店舗を監視する監視時間を検出し、
   前記判定部は、前記判定結果とともに前記監視時間を前記店舗装置に送信し、
   前記更新部は、前記監視装置から受信した監視時間に基づいて、前記モデルを更新する度合いを変更する、請求項１に記載の画像監視システム。
3. 前記対処行動は、店舗に対する音声通知、又は、他装置への通報である、請求項１または２に記載の画像監視システム。
4. 前記店舗装置は、店舗の店員による通報指示に従って、前記監視装置に手動通報を送信する手動通報部をさらに有し、
   前記対処行動検出部は、前記店舗装置から前記手動通報を受信した場合、前記監視員の対処行動の検出を行わず、
   前記更新部は、前記手動通報部が前記監視装置に前記手動通報を送信した場合、前記受信した通報を正しいとみなして、前記モデルを更新する、請求項１〜３の何れか一項に記載の画像監視システム。

Images