JP2019149641A - 監視システム、監視方法及び監視プログラム。 - Google Patents

Abstract

【課題】監視対象とする人物の情報をデータベースに容易に登録する。【解決手段】店舗内を監視する監視システムを、監視対象者の顔画像を管理するデータベースと、店舗内を撮像する監視カメラと、監視カメラで撮像した監視画像を保存する記憶部と、データベースに追加登録する不審人物の発見を通報するための通報装置と、記憶部に保存された監視画像を参照して、通報装置による通報時に監視カメラで撮像された人物を特定すると共に該人物の顔が写った監視画像を探索する顔画像探索部と、顔画像探索部が探索した監視画像から顔画像を切り出す顔画像切出部と、顔画像切出部によって切り出された不審人物の顔画像を前記データベースに登録する顔画像登録部とによって構成する。【選択図】図２

Description

この発明は、データベースに登録された人物を監視する監視システム、監視方法及び監視プログラムに関し、特に、監視対象とする人物の情報をデータベースに容易に登録することができる監視システム、監視方法及び監視プログラムに関する。

従来、コンビニエンスストア、スーパーマーケット等の店舗では、店内を監視するための監視システムが利用されている。例えば、特許文献１には、顔画像データベースに登録された人物の来店を店員に報知するシステムが開示されている。このシステムは、来店者を撮像した画像から顔画像を切り出して、顔画像データベースに登録されている顔画像と照合する。来店者が、顔画像データベースに顔画像を登録された人物であった場合、この人物の検知を店員に知らせるために所定の店内放送等が行われる。例えば、不審人物の顔画像を顔画像データベースに登録しておくことにより、不審人物が来店したことを店員に報知して注意を促すことができる。顔画像データベースへの顔画像の登録は店員等が手動操作で行う。

特許文献２には、不審人物を検知して不審人物データベースに顔画像を登録する処理を自動化したシステムが開示されている。このシステムは、不審行動をとった人物を検知すると要注意人物データベースに登録して監視を継続する。不審行動の回数を不審度として管理して、不審度が所定の累積回数に達すると不審人物と判定する。不審人物と判定された人物の顔画像は自動的に不審人物データベースに登録される。

特許文献３には、不審人物の検知に万引き防止タグを利用するシステムが開示されている。このシステムは、万引き防止タグが付いたまま商品を店外へ持ち出そうとする人物を店舗出口のゲートで検知してカメラで撮像する。検知した人物の顔画像は顔情報データベースで管理され、要注意人物の来店報知等に利用される。

特開２００７−３０６４８５号公報 特開２００９−２４６７９９号公報 特開２０１１−２３３１３３号公報

しかしながら、不審人物を検知してデータベースへ登録する処理を自動化すると、不審人物ではない人物が誤って登録される場合がある。万引き防止タグの利用は不審人物の検知に有効であったが、近年、タグの利用方法が多様化し、万引き防止以外の用途で利用されるタグも増えている。このため、他の店舗で別の用途で利用されていたタグが、万引き防止タグとして反応し、不審人物でない人物が誤って登録される場合がある。不審人物であるか否かを店員が判断して手動操作でデータベースに登録すれば誤登録を減らすことはできるが、多忙な業務中に店員が登録作業を行うことは困難である。

本発明は、上記従来技術による課題に鑑みてなされたものであって、監視対象とする人物の情報をデータベースに容易に登録することができる監視システム、監視方法及び監視プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明は、店舗内を監視する監視システムであって、監視対象者の顔画像を管理するデータベースと、店舗内を撮像する監視カメラと、前記監視カメラが撮像した監視画像を保存する記憶部と、前記店舗内に設けられ、前記データベースに追加登録する不審人物の発見を通報するための通報装置と、前記記憶部に保存された監視画像を参照して、前記通報装置による通報時に前記監視カメラで撮像された人物を特定すると共に該人物の顔が写った監視画像を探索する顔画像探索部と、前記顔画像探索部が探索した監視画像から顔画像を切り出す顔画像切出部と、前記顔画像切出部によって切り出された前記不審人物の顔画像を前記データベースに登録する顔画像登録部とを備えることを特徴とする。

また、本発明は、上記発明において、前記通報装置は、前記監視カメラで撮像中の監視画像を表示する表示部と、前記表示部に表示された監視画像上で人物を指定するための操作部とを有し、前記通報装置による通報に、監視画像上の人物を指定する情報が含まれる場合には、前記顔画像探索部は、指定された人物の監視画像を探索することを特徴とする。

また、本発明は、上記発明において、前記通報装置は、前記店舗内の複数のエリアを表示する表示部と、前記表示部に表示された複数エリアの中からエリアを指定するための操作部とを有し、前記通報装置による通報に、エリアを指定する情報が含まれる場合には、前記顔画像探索部は、通報時に指定エリアで撮像された人物の監視画像を探索することを特徴とする。

また、本発明は、上記発明において、前記店舗内のレイアウトを示すレイアウト画像を前記表示部に表示して、前記操作部により、前記レイアウト画像上でエリアを指定する操作を受け付けることを特徴とする。

また、本発明は、上記発明において、前記顔画像登録部は、同一人物の顔画像が切り出された通報回数が所定回数に達すると該人物の顔画像を前記データベースに登録することを特徴とする。

また、本発明は、上記発明において、前記通報装置による通報に、前記通報装置を操作した操作者を特定する情報が含まれることを特徴とする。

また、本発明は、上記発明において、前記監視カメラは、前記店舗から退出する顧客を略正面から撮像する位置に設けられていることを特徴とする。

また、本発明は、上記発明において、前記顔画像探索部は、通報時に撮像された人物の容姿に基づいて該人物の監視画像を探索することを特徴とする。

また、本発明は、上記発明において、前記顔画像探索部は、通報時に撮像された人物の移動に基づいて該人物の監視画像を探索することを特徴とする。

また、本発明は、上記発明において、前記顔画像探索部は、通報時を含む所定時間内に撮像された監視画像の中から、顔が写った監視画像を探索することを特徴とする。

また、本発明は、上記発明において、前記顔画像切出部が切り出した複数の顔画像を一覧表示するための表示部と、前記表示部に一覧表示された顔画像の中から前記不審人物の顔画像を選択するための操作部とを有する管理装置をさらに備え、前記顔画像登録部は、前記管理装置を操作して選択された顔画像を前記データベースに登録することを特徴とする。

また、本発明は、上記発明において、前記管理装置が、前記記憶部、前記顔画像探索部、前記顔画像切出部及び前記顔画像登録部を有することを特徴とする。

また、本発明は、監視システムによって店舗内を監視する監視方法であって、監視カメラで店舗内を撮像した監視画像を記憶部に保存する工程と、通報装置によって不審人物の発見を通報する工程と、前記通報装置による通報時に前記監視カメラで撮像された人物を特定する工程と、前記記憶部に保存された監視画像の中から、特定された人物の顔が写った監視画像を探索する工程と、探索された監視画像から顔画像を切り出す工程と、切り出された前記不審人物の顔画像を、監視対象者の顔画像を管理するデータベースに登録する工程とを含むことを特徴とする。

また、本発明は、監視システムによって店舗内を監視するための監視プログラムであって、監視カメラで店舗内を撮像した監視画像を記憶部に保存するステップと、不審人物の発見を通報する情報を受信するステップと、店舗で通報操作が行われた際に前記監視カメラで撮像された人物を特定するステップと、前記記憶部に保存された監視画像の中から、特定された人物の顔が写った監視画像を探索するステップと、探索された監視画像から顔画像を切り出すステップと、切り出された前記不審人物の顔画像を、監視対象者の顔画像を管理するデータベースに登録するステップとをコンピュータに実行させることを特徴とする。

本発明によれば、店員等が通報装置を操作して不審人物を発見したことを通報すると、通報時に店舗内を撮像した監視画像に写っている人物の顔画像が切り出される。店員等の判断に基づいて、監視対象者の顔画像をデータベースに追加登録することができるので、誤って無関係な人物の顔画像がデータベースに登録される可能性を低減することができる。

図１は、監視システムを利用して監視を行う店舗のレイアウトの例を示す模式図である。 図２は、監視システムの構成例を示すブロック図である。 図３は、店舗端末の外観を示す模式図である。 図４は、店舗端末の操作表示部に表示される画面例を示す模式図である。 図５は、店舗端末から通報を受けて管理装置で行われる処理の流れを示すフローチャートである。 図６は、不審人物を指定する通報を受けて得られた登録候補者の情報を表示する画面例を示す模式図である。 図７は、エリアを指定する通報を受けて得られた登録候補者の情報を表示する画面例を示す模式図である。 図８は、店舗のレイアウト画像を利用して不審人物の発見を通報する方法を説明するための模式図である。 図９は、レイアウト画像でエリアを指定する通報を受けて得られた登録候補者の情報を表示する画面例を示す模式図である。 図１０は、通報ボタンを含む監視システムの構成例を示すブロック図である。 図１１は、通報ボタンの外観を示す図である。 図１２は、通報ボタンによる通報を受けて、監視対象データベースに登録する監視対象者を選択する処理を説明するための模式図である。 図１３は、自動登録処理の流れを示すフローチャートである。

以下、添付図面を参照しながら、本発明に係る監視システム、監視方法及び監視プログラムについて詳細に説明する。本発明に係る監視システムは、監視対象とする人物の顔画像を予め登録したデータベースを利用して、監視対象者を検知する。監視システムは、コンビニエンスストア、スーパーマーケット等の店舗において、要注意人物の来店を検知するために利用される。例えば、要注意人物の顔画像をデータベースに登録しておいて、監視カメラで撮像した来店者の顔画像と照合する。そして、要注意人物の来店を検知した際には、これを店員に報知して注意を促す。関係ない人物の顔画像が誤ってデータベースに登録されないように、データベースに登録する監視対象者の決定は店員が行う。本発明に係る監視システムは、店員が多忙な状況にあっても、監視対象者の顔画像をデータベースに容易に登録することができる点に１つの特徴を有している。監視システムを利用する店舗の種類は特に限定されないが、本実施形態では、コンビニエンスストアの店舗を例に登録作業について説明する。

（第１実施例）
図１は、監視システムを利用して監視を行う店舗２のレイアウトの例を示す模式図である。店舗２内には、複数の商品棚６が配置されている。カテゴリＡ〜Ｈとして示したように、店舗２で販売される商品は、各商品棚６にカテゴリ別に並べられている。具体的には、商品が、弁当、おにぎり、パン、デザート、飲料、菓子、雑貨、雑誌等のカテゴリに分類され、各商品棚６に並べられる。顧客は、商品棚６の間に形成された通路を通りながら商品を選択し、レジカウンター４で代金を支払う。

レジカウンター４は、店舗２の壁に沿って設けられている。レジカウンター４には、ＰＯＳレジスタ等のキャッシュレジスタ（以下「レジ」と記載する）５が複数台配置されている。店員は、レジカウンター４でレジ５を操作して精算処理を実行する。各レジ５の近傍に店舗端末１０が配置されている。店舗端末１０は、監視対象者として登録したい不審人物の発見を通報するための通報装置であるが詳細は後述する。

店内中央部に島の形で配置されたカテゴリＣ〜Ｆの商品棚６は、レジカウンター４で顧客に対応している間も、店員が店舗２内を見渡して不審な行動をとる顧客を発見できるよう、他の商品棚６に比べて高さが低くなっている。レジカウンター４が設けられた壁の裏側、カテゴリＨの商品棚６の裏側等に、バックヤードと呼ばれる事務所や倉庫が設けられているが図１では省略している。

店舗２の天井や壁等に監視カメラ２０（２０ａ〜２０ｃ）が複数台設置されている。監視カメラ２０には、入店カメラ２０ａと、退店カメラ２０ｂと、店内カメラ２０ｃとが含まれる。入店カメラ２０ａは、出入口３から入店する人物を略正面から撮像できるように配置されている。退店カメラ２０ｂは、出入口３から退店する人物を略正面から撮像できるように配置されている。店舗２内の顧客を少なくともいずれか１台の監視カメラ２０で常に撮像できるよう、複数台の店内カメラ２０ｃは、店内に死角をつくらないように配置されている。これにより、各監視カメラ２０を利用して、入店してから退店するまでの各顧客の移動を追跡し、各顧客を撮像した画像を特定できるようになっている。

次に、監視システムの構成について説明する。図２は、監視システム１の構成例を示すブロック図である。監視システム１は、店舗端末１０、監視カメラ２０、記録装置２１及び管理装置３０を含む。店舗端末１０、監視カメラ２０及び管理装置３０は、ネットワーク７を介して通信可能に接続されている。

店舗端末１０及び複数台の監視カメラ２０は、図１に示したように、店舗２内に設置されている。監視カメラ２０と接続され、監視カメラ２０で撮像した動画像を記録する記録装置２１も店舗２のバックヤード等に設置されている。

管理装置３０の設置場所は特に限定されない。例えば、複数店舗を統括する本部に管理装置３０を設置する。本部では、監視担当者が、管理装置３０を操作して各店舗を監視する。また、例えば、店舗２のバックヤードに管理装置３０を設置する。バックヤードでは、店舗２の店長等が管理装置３０を操作して店舗２を監視する。以下では、本部担当者が、本部に設置された管理装置３０を操作するものとして説明を続ける。

店舗端末１０は、店員が、監視対象者に追加したい不審人物を発見した場合に、これを管理装置３０へ通報するための通報装置として機能する。店舗端末１０は、制御部１１、操作表示部１２及び記憶部１３を含む。例えば、タブレット型の通信端末を店舗端末１０として利用する。操作表示部１２は、タッチパネル式の液晶ディスプレイから成る。操作表示部１２は、各種情報を入力するための操作部として機能すると共に、各種情報を画面上に出力表示する表示部としても機能する。記憶部１３は、半導体メモリ等の不揮発性の記憶装置から成り、制御部１１の動作に必要なプログラムやデータの保存に利用される。制御部１１は、記憶部１３に保存された各種プログラムやデータを利用しながら各部を制御する。制御部１１が各部を制御することにより本実施例に記載した店舗端末１０の機能及び動作が実現されている。

監視カメラ２０は、店舗２内を撮像したカラーの動画像又は店舗２内を所定の時間間隔で連続撮影したカラーの静止画像（以下「監視画像」と記載する）を出力する。監視カメラ２０から出力された監視画像は、ネットワーク７を介して管理装置３０へ送信される。また、監視画像は、監視カメラ２０と接続された記録装置２１にも送信される。

記録装置２１は、監視カメラ２０から入力された監視画像を長時間にわたって記録するため、監視画像のデータ量を圧縮して記録する。図１に示したように、店舗２には複数台の監視カメラ２０（２０ａ〜２０ｃ）が設置されている。記録装置２１は、各監視カメラ２０で撮像した監視画像を保存して管理する。記録装置２１にテレビ装置等を接続することにより、各監視カメラ２０で撮像された監視画像を画面上で再生して撮像内容を確認できるようになっている。

管理装置３０は、例えばコンピュータ装置から成り、操作部１１０、表示部１２０、制御部２００及び記憶部３００を含む。操作部１１０は、例えばマウスやキーボードから成り、各種情報を入力するために利用される。表示部１２０は、例えば液晶ディスプレイから成り、各種情報を画面上に出力表示するために利用される。

記憶部３００は、半導体メモリやハードディスク等の不揮発性の記憶装置である。記憶部３００は、制御部２００の動作に必要なプログラムやデータの保存に利用される。記憶部３００には、監視画像データ３１０、登録候補データ３２０及び監視対象データベース３３０が保存されている。

監視画像データ３１０は、店舗２の各監視カメラ２０から受信した監視画像を含むデータである。管理装置３０は、ネットワーク７を介して、全ての監視カメラ２０から監視画像を受信する。管理装置３０は、画質を維持するため監視画像を無圧縮で保存して監視画像データ３１０として管理する。複数の監視カメラ２０それぞれが撮像した監視画像が、カメラ別に管理される。

登録候補データ３２０は、監視対象者として監視対象データベース３３０に追加登録される可能性がある顧客の顔画像等を含むデータである。監視対象データベース３３０は、監視対象者の顔画像等が登録されたデータである。登録候補データ３２０に登録候補として保存された顔画像の中から、監視対象者の顔画像が選択されて監視対象データベース３３０に登録されるが詳細は後述する。

制御部２００は、顔画像探索部２１０、顔画像切出部２２０、顔画像登録部２３０及び報知部２４０を含む。制御部２００は、操作部１１０を利用して行われた操作や、ネットワーク７を介して受信した情報等に基づいて、記憶部３００に保存された各種プログラムやデータを利用しながら各部を制御する。制御部２００が各部を制御することにより本実施例に記載した管理装置３０の機能及び動作が実現されている。

顔画像探索部２１０は、記憶部３００に保存された監視画像データ３１０の中から、監視対象データベース３３０に監視対象者として登録される可能性がある人物（以下「登録候補者」と記載する）が写り込んだ監視画像を探索する。顔画像探索部２１０は、探索した監視画像と、この監視画像から切り出した登録候補者の画像とを記憶部３００に保存し、登録候補データ３２０として管理する。顔画像探索部２１０が切り出す登録候補者の画像は、監視画像に全身が写っていれば全身画像となり、上半身のみが写っていれば半身画像となる。

顔画像切出部２２０は、顔画像探索部２１０が探索した登録候補者の監視画像から、登録候補者の顔部分の画像を切り出す。顔画像切出部２２０は、切り出した登録候補者の顔画像を、登録候補データ３２０として記憶部３００に保存する。監視画像と、該監視画像から切り出された登録候補者の全身や半身の画像及び顔画像とは、関連付けた状態で管理される。

顔画像登録部２３０は、顔画像切出部２２０が切り出した顔画像を監視対象データベース３３０に登録する。登録候補データ３２０に、登録候補者の顔画像が複数含まれる場合や、登録候補者として複数の異なる人物が含まれる場合は、監視対象データベース３３０への登録を望む顔画像が手動又は自動で選択されるが詳細は後述する。

報知部２４０は、監視対象データベース３３０に監視対象者として登録されている人物が来店した際に、これを店員に報知する。店員への報知は、例えば、来店を知らせるメッセージを店舗端末１０の操作表示部１２に表示したり、店舗端末１０で音や光を発したりすることによって行われる。報知部２４０は、店舗２の監視カメラ２０で撮像中の監視画像から顧客の顔画像を切り出して、監視対象データベース３３０に登録されている各顔画像と照合する顔照合処理を実行する。顧客の顔画像が監視対象者の顔画像と一致した場合、報知部２４０は、監視対象者が来店したと判定して報知処理を実行する。顔照合処理及び報知処理は従来同様に行われるため詳細な説明は省略する。

図３は、店舗端末１０の外観を示す模式図である。店員がレジカウンター４で接客中であっても不審人物の発見を通報する操作を行えるように、店舗端末１０はレジ５に隣接して配置されている。店舗端末１０は、操作表示部１２の画面を、レジ５を操作する店員の方に向けて配置される。タブレット型の店舗端末１０は、ネットワーク７に無線接続されている。このため、店員がレジカウンター４から離れる際、店舗端末１０を持って移動することも可能となっている。

次に、店舗端末１０を操作して行われる不審人物発見の通報処理と、店舗端末１０から通報を受けて管理装置３０で行われる監視対象データベース３３０への顔画像の登録処理とについて説明する。

図４は、店舗端末１０の操作表示部１２に表示される画面例を示す模式図である。画面上部には、店舗端末１０を操作する店員を特定する情報４００が表示される。この情報４００には、現在日時、店舗２の名称、店舗端末１０を操作する店員の氏名、店員の識別番号等が含まれている。店員は、画面上の情報４００を確認して、操作者が自分以外の店員になっている場合は、操作者を変更する操作を行う。情報４００が表示されているバーの部分にタッチすると、店舗２で働く複数の店員をリスト表示したウィンドウが表示される。店員は、このウィンドウ上で、自身を示す情報を選択するタッチ操作を行って操作者を切り替えることができる。

図４に示すように、店舗端末１０の画面は複数に分割され、各領域には、監視カメラ２０で撮像中の監視画像がリアルタイムに表示される。画面上の各領域に、店舗２内のどのエリアを撮像中かを示すエリア情報４０１が表示される。各領域に表示するエリアは変更できるようになっている。店員が、エリア情報４０１の表示にタッチすると、店舗２内に設置された全ての監視カメラ２０の情報をリスト表示したウィンドウが表示される。このウィンドウには、例えば、入店カメラ、退店カメラ、デザートコーナーカメラ、飲料コーナーカメラというように、どの商品棚６を撮像しているかが分かるように各監視カメラ２０に付けられた名称がリスト表示される。店員が、監視カメラ２０を選択すると、この監視カメラ２０で撮像中の画像が表示される。例えば、店員が雑誌コーナーカメラを選択した場合、雑誌を並べた商品棚６を撮像する店内カメラ２０ｃが選択され、図４に示すように、この商品棚６を含むエリアの監視画像が表示される。

店員は、店舗２内の顧客を直接目視したり、店舗端末１０の画面に表示された監視画像を目視したりしながら、不審行動をとる人物がいないか確認する。不審人物を発見して、監視対象者に加えるべきであると判断した場合、店員は、不審人物の発見を本部に通報する操作を開始する。

例えば、図４に示す画面左上の領域に、監視対象者として監視対象データベース３３０に登録したい不審人物４０２が写っている場合、店員は、この不審人物４０２を指定するために画面上の不審人物４０２にタッチする。画面上の各領域でエリア情報４０１以外の部分にタッチすると、画面上に、不審人物を登録するか尋ねる確認ウィンドウが表示される。誤って画面にタッチしてしまった場合は、この確認ウィンドウで処理をキャンセルできる。店員が、確認ウィンドウで処理続行を指示する操作を行うと、店舗端末１０は、監視対象データベース３３０への監視対象者の登録が要求されたことを認識して、これを管理装置３０へ通報する通報処理を開始する。店員が多忙で確認ウィンドウの操作を行えない場合も、確認ウィンドウを表示してから所定時間が経過すると、店員が処理続行を指示したものとして処理が進められる。

店舗端末１０による通報処理は、店員が発見した不審人物に係る情報を、ネットワーク７を介して管理装置３０へ送信することによって行われる。具体的には、店舗２を特定する店舗名等の情報、画面にタッチした店員を特定する氏名や識別番号等の情報、店員が画面の不審人物４０２にタッチした日時、店員がタッチした監視画像を撮像した監視カメラ２０を特定するカメラ名称等の情報、監視画像上のタッチ位置を示す情報等が、店舗端末１０から管理装置３０へ送信される。

管理装置３０は、店舗端末１０から受信した情報に基づいて、監視対象者の登録を要求した店舗２及び店員を特定することができる。また、店員が不審人物４０２にタッチした監視画像を撮像した監視カメラ２０と、店員が監視画像の不審人物４０２にタッチした日時及びタッチ位置とを特定することができる。通報を受けた管理装置３０は、受信した情報を記憶部３００に保存して管理すると共に、監視対象者を監視対象データベース３３０に登録するための処理を開始する。

図５は、店舗端末１０から通報を受けて管理装置３０で行われる処理の流れを示すフローチャートである。通報処理によって不審人物４０２に関する情報を受信した管理装置３０は、監視対象者の登録が要求されたことを認識する（ステップＳ１）。

管理装置３０の顔画像探索部２１０は、監視対象者として登録される可能性がある人物、すなわち登録候補者の画像を探索する処理を開始する（ステップＳ２）。まず、顔画像探索部２１０は、記憶部３００に監視画像データ３１０として保存されている監視画像の中から、店員が不審人物４０２にタッチした監視画像を特定する。具体的には、店員が不審人物４０２にタッチした監視画像を撮像した監視カメラ２０の情報と、不審人物４０２にタッチした日時情報とに基づいて監視画像を特定する。次に、店員が、この監視画像上の不審人物４０２にタッチしたタッチ位置に基づいて、監視画像に写った不審人物４０２を特定する。

不審人物４０２を特定した顔画像探索部２１０は、不審人物４０２の画像を探索する。探索は、店員が監視画像の不審人物４０２にタッチした日時を発見日時として、発見日時を含む前後所定時間分の監視画像を対象として行われる。

具体的には、例えば、発見日時の１０分前から発見日時の１０分後までの間に監視カメラ２０で撮像され、記憶部３００に監視画像データ３１０として保存された監視画像を対象として、不審人物４０２の画像探索が行われる。探索は、店員が不審人物４０２にタッチした監視画像を撮像した監視カメラ２０だけではなく、全ての監視カメラ２０で撮像した監視画像を対象として行われる。

顔画像探索部２１０は、監視画像（動画像や連続撮影された静止画像）に写った人物の移動を追跡して、この人物が写った監視画像を探索する機能を有する。また、顔画像探索部２１０は、顔画像を比較して２つの監視画像に写った人物が同一人物であるか否かを判定する顔照合処理や、髪型や服装等の容姿を比較して２つの監視画像に写った人物が同一人物であるか否かを判定するアピアランス照合処理を実行する機能を有する。店員がタッチした監視画像上で不審人物４０２を特定した顔画像探索部２１０は、これらの機能を利用して、不審人物４０２の顔が写った監視画像を探索する。

例えば、顔画像探索部２１０は、不審人物４０２を特定した監視画像を含む動画像で、この不審人物４０２の動きを追跡して、顔画像が写った監視画像を探索する。不審人物４０２の移動を追跡することにより、別の監視カメラ２０で撮像した動画像から、不審人物４０２の顔画像が写った監視画像を探索することもできる。また、顔画像探索部２１０は、顔照合処理及びアピアランス照合処理によって、監視画像データ３１０として記憶部３００に保存されている監視画像の中から、不審人物４０２の顔が写った監視画像を探索する。

監視カメラ２０で撮像した監視画像を管理装置３０の記憶部３００に保存する処理は常に行われている。このため、顔画像探索部２１０は、発見日時の後に撮像された監視画像も探索の対象とする。本実施形態では、探索対象とする監視画像を発見日時の前後１０分、合計２０分として説明するが、この時間は設定により変更可能となっている。例えば、発見日時より前の所定時間分の監視画像のみを探索対象とすることもできるし、発見日時から後の所定時間分の監視画像のみを探索対象とすることもできる。入店カメラ２０ａ及び退店カメラ２０ｂで撮像する監視画像は、他の店内カメラ２０ｃで撮像する監視画像に比べて、顧客を略正面から撮像した画像となる能性が高い。このため、不審人物４０２の入店時と退店時の少なくともいずれかが探索対象に含まれるよう、店舗２の規模等に応じて時間を設定する。

顔画像探索部２１０は、探索した監視画像から不審人物４０２の画像を切り出し、顔画像切出部２２０は、顔画像探索部２１０が探索した監視画像から不審人物４０２の顔画像を切り出す（図５ステップＳ３）。顔画像探索部２１０が切り出す画像は不審人物４０２が写った部分領域を切り出した画像で、顔領域だけでなく上半身や全身が含まれる。一方、顔画像切出部２２０が切り出す画像は不審人物４０２の顔部分を切り出した画像である。

移動追跡、顔照合処理、アピアランス照合処理等による認識では、実際には不審人物４０２ではない人物が不審人物４０２と誤認識されている可能性がある。このため、顔画像探索部２１０及び顔画像切出部２２０が切り出した画像を不審人物４０２の画像として確定せず、登録候補者の画像として処理が進められる。具体的には、管理装置３０は、切り出された画像を登録候補者の画像として、登録候補データ３２０に保存して管理する。

顔画像探索部２１０による画像探索及び画像切り出しと、顔画像切出部２２０による顔画像の切り出しとが終わると、顔画像登録部２３０が、不審人物４０２に係る情報と、登録候補データ３２０として管理する登録候補者の情報とを、管理装置３０の表示部１２０に表示する（ステップＳ４）。

図６は、不審人物４０２を指定する通報を受けて得られた登録候補者の情報を表示する画面例を示す模式図である。画面上部には、不審人物４０２の発見を通報した店舗２及び店員、この店員が監視画像上の不審人物４０２にタッチした発見日時等の情報４１０が表示される。画面左側には、店舗２の店員が不審人物４０２を指定するためにタッチした監視画像、すなわち発見日時に撮像された監視画像が、通報画像４１１として表示される。

通報画像４１１上には、不審人物４０２を指定するために店員が店舗端末１０にタッチしたタッチ位置４１２が所定記号で表示される。顔画像探索部２１０による探索は、このタッチ位置４１２から不審人物４０２を特定して行われたものである。

画面上、通報画像４１１の下に、顔画像探索部２１０が通報画像４１１から切り出した不審人物４０２の画像４１４と、顔画像切出部２２０が通報画像４１１から切り出した不審人物４０２の顔画像４１３とが表示される。

画面右側には、発見日時を含む所定時間の間に全ての監視カメラ２０で撮像された監視画像を対象として行った探索結果４１５が一覧表示される。探索結果４１５には、各探索結果４１５を区別するための識別番号、２つの画像、これらの画像を撮像した監視カメラ２０を示す情報及び撮像日時等が含まれる。２つの画像は、顔画像探索部２１０が不審人物４０２の顔が写っていると認識した監視画像から切り出した登録候補者の上半身等を含む画像と、同じ監視画像から顔画像切出部２２０が切り出した登録候補者の顔画像である。例えば、不審人物４０２の顔が写った監視画像が複数の監視カメラ２０によって撮像されていた場合、各監視カメラ２０で撮像された登録候補者の画像が、探索結果４１５として表示される。

本部担当者は、表示部１２０の画面を確認しながら操作部１１０を操作して、不審人物４０２の顔画像を監視対象データベース３３０に登録する作業を開始する。このとき、本部担当者が、操作部１１０のマウスを操作して探索結果４１５に含まれる画像をクリックすると、画像を拡大表示したウィンドウが表示されるようになっている。また、このウィンドウ上に表示された再生ボタンをクリックすると、拡大画像の切り出し元となった監視画像（動画像）が再生される。例えば、不審人物４０２と似た人物が複数人居る、動画像を確認しても不審人物４０２が不審行動をとった形跡がない等、疑問がある場合には、本部担当者は、画面上部の情報４１０を参照して店舗２の店員に電話をかけるなどして確認作業を行う。

本部担当者は、不審人物４０２の顔画像を含む探索結果４１５を特定すると、操作部１１０で所定操作を行って、この顔画像を監視対象データベース３３０に追加登録する。画面上には、通報画像４１１、タッチ位置４１２、不審人物４０２の拡大画像４１４、不審人物４０２の顔画像４１３等が表示される。これにより、本部担当者は、登録候補者として一覧表示された探索結果４１５の中から、容易かつ正確に、不審人物４０２の顔画像が含まれる探索結果４１５を選択することができる。本部担当者が、操作部１１０を操作して、不審人物４０２の鮮明な顔画像を含む探索結果４１５を選択すると、顔画像登録部２３０は、選択された探索結果４１５に含まれる顔画像を監視対象者の顔画像として監視対象データベース３３０に追加登録する（図５ステップＳ５）。店舗２の店員が通報した不審人物４０２の顔画像を監視対象データベース３３０に登録すると、管理装置３０は、店舗端末１０から通報を受けて開始した処理を終了する。

なお、退店カメラ２０ｂを、他の監視カメラ２０ａ、２０ｃと区別して利用する設定とすることもできる。具体的には、店舗端末１０に退店カメラ２０ｂで撮像中の監視画像を表示して、この監視画像上で不審人物にタッチする操作が行われた場合には、本部担当者による選択操作を省略することができる。

例えば、不審人物を発見した店員は、店舗端末１０の画面上に、退店カメラ２０ｂで撮像中の監視画像を表示する。そして、不審人物が退店する際に、画面上の監視画像で不審人物にタッチする。管理装置３０の顔画像探索部２１０は、退店カメラ２０ｂで撮像した監視画像上で１人の人物が指定されたことを認識すると、退店カメラ２０ｂで発見日時の前後数秒の間に撮像された監視画像の中から、この人物の顔画像が写った監視画像を探索する。顔画像切出部２２０は、顔画像探索部２１０が探索した画像から、店員が指定した人物の顔画像を切り出す。顔画像登録部２３０は、本部担当者による選択操作を省略して、顔画像切出部２２０が切り出した顔画像を監視対象データベース３３０に登録する。退店カメラ２０ｂは、退店する顧客を略正面から撮像できるように設置されており、退店カメラ２０ｂで撮像した監視画像から鮮明な顔画像を取得できる可能性が高い。このため、他の監視カメラ２０で撮像した監視画像の中から、登録候補者の顔が写った監視画像を探索する処理や、探索結果の中から、本部担当者が不審人物の顔画像を選択する操作を省略するものである。

ここまでは、店員が店舗端末１０の画面にタッチして不審人物４０２を指定する例を示したが、店員が、店舗端末１０の画面上で不審人物４０２以外の領域にタッチした場合でも、不審人物４０２の顔画像を監視対象データベース３３０に登録することができる。例えば、店員がレジカウンター４で接客中であるために、画面上で正確に不審人物４０２にタッチできない場合がある。このような場合、店員は、画面上に表示中の、不審人物４０２の居るエリアの監視画像、すなわち不審人物４０２を撮像中の監視カメラ２０の監視画像にタッチする操作を行えばよい。

例えば、図４に示す画面左上の監視画像で、不審人物４０２を発見した店員が、監視画像上の不審人物４０２以外の領域にタッチしていた場合、顔画像探索部２１０は、店員が、不審人物ではなく、不審人物が撮像されたエリアを指定したと認識する。エリア指定が行われたことを認識した顔画像探索部２１０は、店員がタッチした監視画像に写っている全ての人物を特定する。そして、特定した全ての人物を登録候補者として、各人物の顔が写った監視画像の探索を行う。各人物について、顔画像探索部２１０及び顔画像切出部２２０が行う探索及び画像切り出しの処理は、不審人物４０２を指定した場合と同様に行われる。

図７は、エリアを指定する通報を受けて得られた登録候補者の情報を表示する画面例を示す模式図である。店員が不審人物を指定していないため、画面上、通報画像４１１の下には、通報画像４１１から切り出した全ての人物の画像４１４、４１７と、顔画像４１３、４１６とが表示される。

本部担当者は、通報画像４１１上に表示されたタッチ位置４１２を示す記号が、人物上にないことから、店員によるタッチ操作に基づいて不審人物を特定することはできないと判断する。通報画像４１１に写った人物が１人だけであれば、本部担当者は、この人物を不審人物として登録作業を進めるが、図７に示すように複数人が写っていると不審人物を特定することはできない。このような場合、本部担当者は、画面上部の情報４１０を参照して店舗２の店員に電話をかけるなどして連絡を取り、店員が発見した不審人物を特定する。不審人物を特定した本部担当者は、操作部１１０を操作して、画面右側に表示された複数の探索結果４１５の中から、不審人物の顔部分が含まれる探索結果４１５を選択する所定操作を実行する。これにより、上述したように、顔画像登録部２３０が、選択された探索結果４１５に含まれる顔画像を、監視対象者の顔画像として監視対象データベース３３０に登録する処理を実行することができる。

図４〜図７の例では、監視カメラ２０で撮像中の画像を店舗端末１０の画面上に表示して、不審人物の発見を通報する例を示したが、不審人物を通報する方法がこれに限定されるものではない。例えば、携帯電話等の小型の通信端末を店舗端末１０として使用する場合、図４に示すように操作表示部１２の画面を複数領域に分割すると、各領域に表示される監視画像が小さくなって不審人物の確認や指定が困難になる。このような場合、店舗端末１０の画面上に店舗２のレイアウトを表示する設定とすることもできる。

図８は、店舗２のレイアウト画像４２１を利用して不審人物の発見を通報する方法を説明するための模式図である。図８（ａ）は、店舗端末１０の操作表示部１２に表示される、不審人物の位置を指定するための画面例を示している。図８（ｂ）は、図８（ａ）で不審人物の位置を指定した後に表示される画面例を示している。

店舗端末１０の画面上部には、店舗端末１０を操作する店員を特定する情報４２０が表示される。この情報４２０は、図４を参照しながら説明した情報４００と同じものである。店員は、上述したように操作表示部１２を操作して画面上の情報４２０が自分を示すように切り替える。

図８（ａ）に示すように、店舗端末１０の画面には、店舗２内のレジカウンター４や商品棚６の位置関係を示すレイアウト画像４２１が表示される。レイアウト画像４２１上には、商品棚６に並べられた商品のカテゴリを示す名称が表示される。

不審人物の発見を通報する店員は、不審人物の現在位置を指定するため、レイアウト画像４２１上で不審人物が居る場所にタッチする。画面上には、不審人物を登録するか尋ねる確認ウィンドウが表示される。誤って画面にタッチしてしまった場合には、この確認ウィンドウで作業をキャンセルする。

店員が、確認ウィンドウで処理続行を指示する操作を行うと、続いて、店舗端末１０の画面表示が、図８（ｂ）に示す画面に切り替わる。なお、店員が多忙で、操作を行わないまま所定時間が経過すると処理続行が指示されたものとして自動的に処理が進められる。店員は、図８（ｂ）に示す画面を確認して不審人物の特徴を入力する。画面上には、店員が発見した不審人物の特定に役立つ情報がボタンで表示される。店員は、ボタンにタッチして不審人物の特徴を入力する。このとき、全ての特徴を入力する必要はない。例えば、性別だけ、性別と眼鏡を掛けていることを示す情報だけというように、一部の情報のみを入力してもよい。ボタンで表示する情報は、設定により変更できるようになっている。

店員は、不審人物の特徴を選択した後、図８（ｂ）に示す画面下部の送信ボタン４２２にタッチする。接客中等の理由で特徴を選択する余裕がない場合、店員は、「後で連絡」と表示されたボタン４２３にタッチして特徴入力を省略することもできる。

図８（ｂ）に示す画面でボタン４２２又は４２３にタッチすると、店舗端末１０は、監視対象データベース３３０への監視対象者の登録が要求されたことを認識して、不審人物の発見を管理装置３０へ通報する通報処理を開始する。

通報処理は、店員が不審人物を発見して行った操作に係る情報を、ネットワーク７を介して管理装置３０へ送信することによって行われる。具体的には、店舗２を特定する店舗名等の情報、画面にタッチした店員を特定する氏名や識別番号等の情報、店員が画面にタッチした日時（発見日時）、レイアウト画像４２１上のタッチ位置を示す情報等が、店舗端末１０から管理装置３０へ送信される。また、店員が、図８（ｂ）に示す画面で不審人物の特徴を入力した場合は、入力した特徴情報が店舗端末１０から管理装置３０へ送信される。

管理装置３０は、店舗端末１０から受信した情報に基づいて、監視対象者の登録を要求した店舗２及び店員を特定することができる。また、店員がレイアウト画像４２１にタッチした発見日時と、レイアウト画像４２１上のタッチ位置とを特定することができる。管理装置３０は、受信した情報を記憶部３００に保存して管理すると共に、監視対象者を監視対象データベース３３０に登録するための処理を開始する。この処理は、図５及び図７を参照しながら説明したように行われる。

具体的には、店舗端末１０から通報を受信した管理装置３０の顔画像探索部２１０は、レイアウト画像４２１上のタッチ位置に基づいて店舗２内の位置を特定すると共に、この位置を撮像する監視カメラ２０を特定する。そして、発見日時に基づいて記憶部３００の監視画像データ３１０を参照して、特定した店舗２内の位置を撮像した監視画像を取得する。すなわち、特定した監視カメラ２０が発見日時に撮像した監視画像を取得する。この監視画像に写っている全ての人物を登録候補者として特定した顔画像探索部２１０は、上述したように、各人物の顔が写った監視画像の探索を開始する。顔画像探索部２１０は探索した監視画像から登録候補者の画像を切り出し、顔画像切出部２２０は、顔画像探索部２１０が探索した監視画像から登録候補者の顔画像を切り出す。顔画像探索部２１０及び顔画像切出部２２０によって切り出された登録候補者の画像は、登録候補データ３２０として記憶部３００で管理される。顔画像探索部２１０及び顔画像切出部２２０による処理が終わると、顔画像登録部２３０は、得られた情報を表示部１２０に表示する。

図９は、レイアウト画像４２１でエリアを指定する通報を受けて得られた登録候補者の情報を表示する画面例を示す模式図である。画面上部には、不審人物の発見を通報した店舗２、店員、発見日時等の情報４３０が表示される。画面左側には、店舗２のレイアウト画像４３１が表示される。レイアウト画像４３１上に、不審人物の位置を指定するために店員がタッチしたタッチ位置４３２が所定記号で表示される。

顔画像探索部２１０は、探索時に、タッチ位置４３２及び発見日時に基づいて、記憶部３００の監視画像データ３１０を参照して、タッチ位置４３２を撮像する監視カメラ２０が発見日時に撮像した監視画像を取得する。このとき得られた監視画像４３３が、レイアウト画像４３１の左下に表示される。レイアウト画像４３１上には、この監視画像４３３を撮像した監視カメラ２０のカメラ位置４３４が、タッチ位置４３２と異なる所定記号で表示される。

顔画像探索部２１０は、監視画像４３３に含まれる全ての人物の画像を切り出す。顔画像切出部２２０は、監視画像４３３に含まれる全ての人物の顔画像を切り出す。監視画像４３３の右側に、切り出された人物の画像４３５ａ、４３６ａと、各人物の顔画像４３５ｂ、４３６ｂとが表示される。さらに、図８（ｂ）に示す画面で店員が不審人物の特徴を入力した場合には、入力された特徴が、不審人物の特徴情報４３７として画面上に表示される。

画面右側には、顔画像探索部２１０によって得られた探索結果４３８が一覧表示される。探索結果４３８には、各探索結果４３８を区別するための識別番号、監視カメラ２０の名称、撮像日時、登録候補者の顔画像、登録候補者の上半身や全身を含む人物画像等が含まれる。

本部担当者は、画面上の情報を確認して、不審人物の特定を試みる。例えば、監視画像４３３に人物が１人しか含まれていない場合は、不審人物を特定することができる。監視画像４３３に複数の人物が含まれている場合でも、店員が入力した不審人物の特徴情報４３７を満たす人物が１人しかいない場合は、不審人物を特定することができる。不審人物を特定できないと判断した場合、本部担当者は、画面上部の情報４３０を参照して店舗２の店員に電話をかけるなどして連絡を取り、店員が不審人物と判断した人物を特定する。

不審人物を特定した本部担当者は、操作部１１０を操作して、画面右側に一覧表示された探索結果４３８の中から、監視対象者として追加する不審人物の顔が鮮明に写った探索結果４３８を選択する。顔画像登録部２３０は、選択された探索結果４３８に含まれる顔画像を監視対象者の顔画像として監視対象データベース３３０に登録する。こうして、店舗２で店員が登録を要求した不審人物４０２の顔画像を、監視対象データベース３３０に追加することができる。

なお、初期設定では、顔画像探索部２１０は、図９に示す監視画像４３３に写った全ての人物を対象に探索処理を実行するが、探索対象を絞り込む設定とすることもできる。具体的には、図８（ｂ）で店員が入力した不審人物の特徴情報を利用して、監視画像４３３に写った人物のうち、この特徴情報を満たす人物のみを登録候補者として、探索処理を実行する設定とすることができる。例えば、店員が、不審人物は帽子を被っているとした場合は、帽子を被った人物のみを探索の対象とする。また、例えば、店員が、不審人物の上着が赤色であるとした場合は、赤色の上着を着た人物のみを探索の対象とする。探索対象を絞り込む設定とすることで、図９に示す画面上で、探索結果４３８として表示される候補者の数を減らすことができる。これにより、探索結果４３８の中から監視対象者の探索結果４３８を選択する操作も容易になる。

なお、本実施例では、図４に示すように店舗端末１０の画面を４分割する例を示したが、店舗端末１０の画面における表示態様がこれに限定されるものではない。例えば、画面を分割しなくてもよいし、２分割又は３分割してもよいし、５つ以上の領域に分割してもよい。

また、本実施例では、レジ５とは別に店舗端末１０を設ける態様を示したが、レジ５がタッチパネル式の液晶表示装置を備える場合には、この液晶表示装置を店舗端末１０として利用する態様であってもよい。レジ５を精算処理で使用中であっても、レジ５が備える液晶表示装置の画面の一部領域を利用して、上述した店舗端末１０の機能及び動作を実現することができれば、レジ５を店舗端末１０とすることができる。

（第２実施例）
第１実施例では、不審人物の発見を通報する通報装置として、操作表示部１２を備える店舗端末１０を利用する例を示したが、不審人物を通報する方法がこれに限定されるものではない。例えば、店舗端末１０に代えて通報ボタンを利用する態様であってもよい。

図１０は、通報ボタン５１０を含む監視システム１の構成例を示すブロック図である。本実施例に係るシステム構成は、店舗端末１０に代えて通報ボタン５１０を備える点と、不審人物が来店した際に、これを報知するための装置として、来店報知装置５０を備える点とが、図２に示す第１実施例のシステム構成と異なっている。以下では、第１実施例と共通する構成、機能及び動作についての説明は省略して、第１実施例と異なる点を主に説明する。

来店報知装置５０は、管理装置３０の報知部２４０が実行する報知処理を受けて、店員に監視対象者の来店を報知する。例えば、レジ５を来店報知装置５０として利用する態様であってもよいし、店舗２に備えた携帯電話やタブレット端末等の通信端末を来店報知装置５０として利用する態様であってもよい。

図１１は、通報ボタン５１０の外観を示す図である。各レジ５で接客中の店員が操作できるように、通報ボタン５１０は、店舗２のレジカウンター４に設置された各レジ５に対応して設けられている。通報ボタン５１０は、複数の押しボタン５１１（５１１ａ、５１１ｂ）を有している。

各押しボタン５１１は、通常はオフ状態にあり、手で押している間だけオン状態になる。各押しボタン５１１は、店舗２の各店員に割り当てられている。各押しボタン５１１にラベルが貼り付けられており、各店員は、自分に割り当てられた押しボタン５１１を認識できるようになっている。発見した不審人物を監視対象者として監視対象データベース３３０に登録したい場合、店員は、自身に割り当てられた押しボタン５１１を押して通報する。

図１０に示すように、通報ボタン５１０は、ネットワーク７を介して、管理装置３０と接続されている。店員が押しボタン５１１を押してオフ状態からオン状態に変化すると、管理装置３０は、オン状態になった日時、すなわち店員がボタンを押した押下日時を、店員が不審人物を発見した発見日時として認識できるようになっている。管理装置３０は、各押しボタン５１１を店舗２の店員と関連付けて管理している。これにより、管理装置３０は、押しボタンが押された発見日時に加えて、押しボタンを押した店舗２及び店員を特定することができる。

店員が通報ボタン５１０を押して不審人物の発見を通報すると、管理装置３０は、監視対象者を監視対象データベース３３０に登録するための処理を開始する。この処理は、第１実施例と同様に行われる。具体的には、押しボタン５１１が押されて、不審人物を監視対象者に加える登録要求がなされたことを認識した管理装置３０では、顔画像探索部２１０が、監視対象者の顔が写った監視画像を探索する処理を開始する。通報ボタン５１０による通報では、不審人物の指定や、不審人物が居るエリアの指定等を行うことができない。不審人物やエリアを特定できないため、顔画像探索部２１０は、発見日時に店舗２内に居る全ての人物を登録候補者として探索処理を実行する。

顔画像探索部２１０は、発見日時を含む前後１０分、合計２０分の間に、全ての監視カメラ２０で撮像され、記憶部３００に監視画像データ３１０として保存された監視画像を対象に、登録候補者の顔が写った監視画像を探索する。発見日時より後に来店した顧客は探索対象から除外される。

顔画像探索部２１０は探索した監視画像から登録候補者の画像を切り出し、顔画像切出部２２０は、顔画像探索部２１０が探索した画像から登録候補者の顔画像を切り出す。顔画像探索部２１０及び顔画像切出部２２０によって切り出された画像は、登録候補データ３２０として記憶部３００に保存され管理される。顔画像探索部２１０及び顔画像切出部２２０による処理が終わると、顔画像登録部２３０は、得られた情報を表示部１２０に表示する。

図１２は、通報ボタンによる通報を受けて、監視対象データベース３３０に登録する監視対象者を選択する処理を説明するための模式図である。図１２（ａ）は、登録候補者を一覧表示した管理装置３０の表示部１２０の画面例を示している。図１２（ｂ）は、通報した店舗２の店員に不審人物の確認を求める際に、店舗２に備えられた通信端末に表示される画面例を示している。

図１２（ａ）に示すように、表示部１２０の画面上部には、登録を要求した店舗２、店員、発見日時等の情報４４０が表示される。画面上には、顔画像探索部２１０によって得られた探索結果４４１が一覧表示される。探索結果４４１には、各探索結果４４１を区別するための識別番号、監視カメラ２０の名称、撮像日時、登録候補者の顔画像、登録候補者の上半身や全身を含む人物画像等が含まれる。

本部担当者は、画面上部の情報４４０を参照して店舗２の店員に電話をかけるなどして連絡を取る。そして、店員が発見した不審人物の特徴を聴き取って、探索結果４４１として一覧表示された登録候補者の中から不審人物を特定する。

聴き取りのみで不審人物を特定することが困難である場合、店舗２に備えられた通信端末に探索結果４４１の画像を送信することもできる。本部担当者が、図１２（ａ）に示す画面右下の候補者情報送信ボタン４４２を押すと、店舗２の通信端末に、探索結果４４１が送信される。具体的には、候補者情報送信ボタン４４２が押されると、報知部２４０が、各探索結果４４１の識別番号、人物画像及び顔画像を、店舗２の通信端末に送信する。探索結果４４１を受信した店舗２の通信端末は、図１２（ｂ）に示す画面を表示する。例えば、図１２（ｂ）に示す画面をレジ５が備える液晶表示装置等の画面に表示する態様であってもよいし、店員が所持する携帯電話等の画面に表示する態様であってもよい。本部担当者は、本部で図１２（ａ）の画面を確認しながら、店舗２で図１２（ｂ）に示す画面を確認する店員から電話で聴き取りを行うなどして不審人物を特定する。

こうして不審人物を特定した本部担当者は、操作部１１０を操作して、一覧表示された探索結果４４１の中から、不審人物の顔画像が含まれる探索結果４４１を選択する。顔画像登録部２３０は、選択された探索結果４４１に含まれる顔画像を監視対象者の顔画像として監視対象データベース３３０に登録する。このように、通報ボタン５１０を利用する場合も、容易な操作によって、店舗２で店員が発見した不審人物の顔画像を監視対象データベース３３０に追加登録することができる。

なお、図１２（ｂ）に示すように、店舗２の通信端末に探索結果４４３を表示する場合、不審人物を選択する操作を店員が行う設定とすることもできる。この設定では、店員が探索結果４４３を選択すると、店舗２の通信端末が、選択された探索結果４４３の識別番号を管理装置３０に送信する。これにより、識別番号を受信した管理装置３０は、本部担当者による選択操作を省略して、店員が選択した探索結果４４３に含まれる顔画像を、監視対象者の顔画像として監視対象データベース３３０に登録することができる。

本実施例では、通報ボタン５１０による通報で不審人物を特定できない例を示したが、通報ボタン５１０の利用方法が、これに限定されるものではない。例えば、店舗２における通報ボタン５１０の使用方法を限定することにより登録候補者を絞り込む態様であってもよい。例えば、不審人物を発見したら、この不審人物が退店する際に、退店カメラ２０ｂによる撮像範囲を通るタイミングで押しボタン５１１を押すというように、通報ボタン５１０の使用方法を決めておく。店舗２の床に、退店カメラ２０ｂによる撮像範囲を示す目印として矩形やラインを描き、店員は、不審人物が目印を通過するタイミングで押しボタン５１１を押す。これにより、管理装置３０は、押しボタン５１１が押されたタイミングを発見日時とみなして、顔画像探索部２１０が顔画像を探索する登録候補者を、発見日時に退店カメラ２０ｂによって撮像された人物に限定することができる。また、他の監視カメラ２０ａ、２０ｃと区別する退店カメラ２０ｂの利用例として実施例１で説明したように、発見日時を含む数秒の間に退店カメラ２０ｂで撮像された監視画像のみを、顔画像探索部２１０による探索対象とすることができる。退店カメラ２０ｂで撮像した監視画像から探索された登録候補者が１人だけである場合には、本部担当者が複数の登録候補者の中から監視対象者を選択する操作を省略して、この登録候補者の顔画像を監視対象データベース３３０へ登録する処理を自動的に行うこともできる。

本実施例では、１つの通報ボタン５１０が複数の押しボタン５１１を備える例を示したが、通報ボタン５１０がこれに限定されるものではない。例えば、通報ボタン５１０が３つ以上の押しボタン５１１を備える態様であってもよいし、複数の通報ボタン５１０が押しボタン５１１を１つずつ備える態様であってもよい。

本実施例では、通報ボタン５１０をレジ５から独立して設ける例を示したが、通報ボタン５１０がこれに限定されるものではない。例えば、レジ５が備えるボタンを通報ボタン５１０として利用する態様であってもよい。また、通報ボタン５１０が機械式のボタンに限定されるものではなく、例えば、レジ５がタッチパネル式の液晶表示装置を備える場合には、この液晶表示装置の画面上に表示したボタンを、通報ボタン５１０として利用する態様であってもよい。

本実施例では、各押しボタン５１１と店員との関係を管理装置３０で管理する例を示したが、管理方法がこれに限定されるものではない。例えば、各押しボタン５１１と店員との関係を店舗２で管理して、押しボタン５１１が押された際に、押下日時と、押しボタンを押した店員の店員情報とを、店舗２から管理装置３０に送信する態様であってもよい。

図２及び図１０に示した本実施形態に係る監視システム１では、不審人物の発見が通報される度に、同一人物の顔画像が登録候補者として繰り返し検出される場合に、この人物の顔画像を監視対象データベース３３０に自動的に登録できるようになっている。

図１３は、自動登録処理の流れを示すフローチャートである。ステップＳ１１〜Ｓ１３の処理は、図５を参照しながら説明したステップＳ１〜Ｓ３の処理と同じであるため説明を省略する。店員による通報を受けて、管理装置３０の顔画像探索部２１０が探索処理を実行し、監視画像から登録候補者の顔画像が切り出されると、顔画像登録部２３０は、この顔画像と同一人物の顔画像が、過去の通報で検出された回数を確認する（ステップＳ１４）。

記憶部３００の登録候補データ３２０では、過去に行われた通報と、各通報時に登録候補者として検出された顔画像とが管理されている。顔画像登録部２３０は、今回の通報で検出した登録候補者の顔画像と、過去の通報時に検出した登録候補者の顔画像とが一致するか否かを確認する顔照合処理を実行する。顔画像が一致した場合、顔画像登録部２３０は、この人物の顔画像が過去に検出された検出回数、すなわち同一人物を検出した通報の回数をカウントする。

今回の通報で、登録候補者として複数人物の顔画像が切り出された場合は、各人物について、過去の検出回数（通報回数）をカウントする。検出回数が、予め設定された閾値を超える人物がいなければ（ステップＳ１５；Ｎｏ）、自動登録に係る処理を終了する。一方、検出回数が閾値を超える人物がいた場合（ステップＳ１５；Ｙｅｓ）、顔画像登録部２３０は、この人物を監視対象者と判定し、この人物の顔画像を監視対象データベース３３０に登録する（ステップＳ１６）。これらステップＳ１４〜Ｓ１６の処理は管理装置３０によって自動的に実行される。店員が不審人物と認識していない人物であっても、過去に不審人物の通報が行われた際に、この不審人物と一緒に居ることが何度も確認された人物を、監視対象者に加えるものである。万引き等の犯罪は、複数人のグループで行われることも多いが、店員がグループを構成する人物であると気付かない場合がある。このような場合に、グループの構成員を自動的に監視対象者に加えることで、将来の犯罪に備えることが可能となる。

本実施形態では、主に、監視対象データベース３３０に登録する監視対象者の最終選択が手動操作で行われる例を示したが、所定条件を満たす場合には、選択が管理装置３０によって自動実行されるように設定することもできる。具体的には、顔画像探索部２１０による探索によって登録候補者として挙げられた人物が１人だけである場合等に、本部担当者等による確認作業を省略して、この人物の顔画像が監視対象データベース３３０に自動的に登録されるよう設定することもできる。また、監視対象データベース３３０において、自動的に登録された顔画像と、本部担当者等による選択操作を受けて登録された顔画像とを区別可能に登録することも可能となっている。これにより、本部担当者は、自動登録された顔画像のみを抽出して確認作業を行うことができる。

このように、本実施形態に係る監視システム１では、店舗２の店員が、レジ５近傍に設置された店舗端末１０や通報ボタン５１０を操作するだけで、監視対象データベース３３０へ監視対象者を追加登録することができる。監視対象者として登録するか否かの判断は店員が行うため、無関係な顧客が誤って不審人物と判定される可能性を低減することができる。また、店舗２内の全ての監視カメラ２０で撮像された画像を対象に監視対象者として登録する人物の画像を探索することができる。このため、監視対象者として追加する不審人物を略正面から撮像した、顔照合処理に適した顔画像を得られる可能性が高くなる。さらに、本部担当者が、店員から聴き取りを行って不審人物に関する情報を確認した上で、候補画像の中から選択した顔画像を監視対象データベース３３０へ登録することができる。このため、店員が登録を要求した人物と異なる人物の顔画像が誤って登録される可能性を低減することができる。

以上のように、本発明に係る監視システム、監視方法及び監視プログラムは、監視対象とする人物の情報をデータベースに追加登録する処理を容易に行うために有用である。

１ 監視システム
４ レジカウンター
５ キャッシュレジスタ
６ 商品棚
７ ネットワーク
１０ 店舗端末
１１、２００ 制御部
１２ 操作表示部
１３、３００ 記憶部
２０（２０ａ〜２０ｃ） 監視カメラ
２１ 記録装置
３０ 管理装置
５０ 来店報知装置
１１０ 操作部
１２０ 表示部
２１０ 顔画像探索部
２２０ 顔画像切出部
２３０ 顔画像登録部
２４０ 報知部
５１０ 通報ボタン

Claims (14)

1. 店舗内を監視する監視システムであって、
   監視対象者の顔画像を管理するデータベースと、
   店舗内を撮像する監視カメラと、
   前記監視カメラが撮像した監視画像を保存する記憶部と、
   前記店舗内に設けられ、前記データベースに追加登録する不審人物の発見を通報するた
   めの通報装置と、
   前記記憶部に保存された監視画像を参照して、前記通報装置による通報時に前記監視カメラで撮像された人物を特定すると共に該人物の顔が写った監視画像を探索する顔画像探索部と、
   前記顔画像探索部が探索した監視画像から顔画像を切り出す顔画像切出部と、
   前記顔画像切出部によって切り出された前記不審人物の顔画像を前記データベースに登録する顔画像登録部と
   を備えることを特徴とする監視システム。
2. 前記通報装置は、
   前記監視カメラで撮像中の監視画像を表示する表示部と、
   前記表示部に表示された監視画像上で人物を指定するための操作部と
   を有し、
   前記通報装置による通報に、監視画像上の人物を指定する情報が含まれる場合には、
   前記顔画像探索部は、指定された人物の監視画像を探索する
   ことを特徴とする請求項１に記載の監視システム。
3. 前記通報装置は、
   前記店舗内の複数のエリアを表示する表示部と、
   前記表示部に表示された複数エリアの中からエリアを指定するための操作部と
   を有し、
   前記通報装置による通報に、エリアを指定する情報が含まれる場合には、
   前記顔画像探索部は、通報時に指定エリアで撮像された人物の監視画像を探索する
   ことを特徴とする請求項１又は２に記載の監視システム。
4. 前記店舗内のレイアウトを示すレイアウト画像を前記表示部に表示して、
   前記操作部により、前記レイアウト画像上でエリアを指定する操作を受け付ける
   ことを特徴とする請求項３に記載の監視システム。
5. 前記顔画像登録部は、同一人物の顔画像が切り出された通報回数が所定回数に達すると該人物の顔画像を前記データベースに登録することを特徴とする請求項１〜４のいずれか１項に記載の監視システム。
6. 前記通報装置による通報に、前記通報装置を操作した操作者を特定する情報が含まれることを特徴とする請求項１〜５のいずれか１項に記載の監視システム。
7. 前記監視カメラは、前記店舗から退出する顧客を略正面から撮像する位置に設けられていることを特徴とする請求項１〜６のいずれか１項に記載の監視システム。
8. 前記顔画像探索部は、通報時に撮像された人物の容姿に基づいて該人物の監視画像を探索することを特徴とする請求項１〜７のいずれか１項に記載の監視システム。
9. 前記顔画像探索部は、通報時に撮像された人物の移動に基づいて該人物の監視画像を探索することを特徴とする請求項１〜８のいずれか１項に記載の監視システム。
10. 前記顔画像探索部は、通報時を含む所定時間内に撮像された監視画像の中から、顔が写った監視画像を探索することを特徴とする請求項１〜９のいずれか１項に記載の監視システム。
11. 前記顔画像切出部が切り出した複数の顔画像を一覧表示するための表示部と、前記表示部に一覧表示された顔画像の中から前記不審人物の顔画像を選択するための操作部とを有する管理装置
    をさらに備え、
    前記顔画像登録部は、前記管理装置を操作して選択された顔画像を前記データベースに登録する
    ことを特徴とする請求項１〜１０のいずれか１項に記載の監視システム。
12. 前記管理装置が、前記記憶部、前記顔画像探索部、前記顔画像切出部及び前記顔画像登録部を有することを特徴とする請求項１１に記載の監視システム。
13. 監視システムによって店舗内を監視する監視方法であって、
    監視カメラで店舗内を撮像した監視画像を記憶部に保存する工程と、
    通報装置によって不審人物の発見を通報する工程と、
    前記通報装置による通報時に前記監視カメラで撮像された人物を特定する工程と、
    前記記憶部に保存された監視画像の中から、特定された人物の顔が写った監視画像を探索する工程と、
    探索された監視画像から顔画像を切り出す工程と、
    切り出された前記不審人物の顔画像を、監視対象者の顔画像を管理するデータベースに登録する工程と
    を含むことを特徴とする監視方法。
14. 監視システムによって店舗内を監視するための監視プログラムであって、
    監視カメラで店舗内を撮像した監視画像を記憶部に保存するステップと、
    不審人物の発見を通報する情報を受信するステップと、
    店舗で通報操作が行われた際に前記監視カメラで撮像された人物を特定するステップと、
    前記記憶部に保存された監視画像の中から、特定された人物の顔が写った監視画像を探索するステップと、
    探索された監視画像から顔画像を切り出すステップと、
    切り出された前記不審人物の顔画像を、監視対象者の顔画像を管理するデータベースに登録するステップと
    をコンピュータに実行させることを特徴とする監視プログラム。

Images