JP2011233133A - 万引き防止システム - Google Patents

Abstract

【課題】 カメラを有するゲートを用いる万引き防止システムにおいて、ゲートで撮影した画像を有効に利用すること。
【解決手段】 ゲートでは商品に取り付けられたタグを検出すると警報を出力するともに、ゲート前の通路を撮影する。この撮影で得られた画像に含まれる人物を検出し（Ｓ４０３）、万引き防止システムに設けられている複数の監視カメラで撮影された映像を探索する（Ｓ４０５）。探索により対象の人物が撮影されていると判別される映像については、自動再生して表示することができる（Ｓ４０９）。
【選択図】 図８

Description

本発明は万引き防止システムに関し、特にカメラ付きのゲートを用いた万引き防止システムに関する。

従来、ビデオレンタル店などの店舗において、個々の商品に取り付ける万引き防止用のタグと、店舗の出入り口などの通路に配置され、タグを検出するゲートとを組み合わせた万引き防止システムが用いられている。通常、このような万引き防止システムでは、タグが付いたまま、あるいは無効化されていないタグが付いたまま商品を持ち出そうとすると、ゲートがタグを検出して警告音を発することで、万引きの抑制を図ってきた。

一方、特許文献１には、ゲートにカメラを設け、ゲートを通過する人物をカメラで撮影し、予め記憶された通過予定者リストの画像との相関に基づいて正当な通過者かどうかを判別可能な入退管理システムが開示されている。

このようなカメラ付きのゲートを用いることで、例えば警告音を無視して逃走するといった悪質な手口を繰り返すような万引きの常習者の顔情報を取得、蓄積することが可能になる。

特開２００６−７９２７０号公報

しかしながら、従来、このようなカメラ付きゲートで撮影した画像から得られる情報の利用範囲は限定的であった。例えば、ある店舗に設置されたゲートで撮影された人物の画像や、それから得られる情報（例えば顔の特徴を表す情報）は、その店舗内でのみ利用されていた。この場合、店舗Ａにおいてゲートの警報を無視した人物が他の店舗Ｂに現れても、店舗Ｂではその人物が店舗Ａでゲートの警報を無視した要注意人物であることを知ることができない。

また、従来のカメラ付きゲートにおいては、カメラの性能（例えば画素数）や撮影する画像データの形式などについて、例えばメーカーや機種に依存せずに共有することが想定されていなかった。そのため、撮影画像から顔認識を行う場合、例えば画素数の多寡により認識精度にばらつきが生じるおそれがあり、信頼できる情報の共有を実現することが望まれていた。

また、万引き防止ゲートが設けられる場所（店舗など）では、別途監視カメラ（防犯カメラ）が設けられていることが多い。監視カメラは撮影の死角ができないように天井などに複数台設置され、撮影された映像は管理室などで集中的に表示するとともに、録画を行う構成が一般的である。

従来、ゲートで警報が発生した場合、警報の対象となった人物を特定するには、複数の監視カメラで撮影された画像をそれぞれ巻き戻し再生などしてチェックする必要があり、膨大な確認時間が必要だった。上述のカメラ付きゲートを用いると、警報の対象となった人物の撮影を行うことできるため、人物の特定の手間は大幅に軽減できる。しかし、カメラ付きゲートで撮影した画像と、監視カメラで録画した画像とはそれぞれ別個に利用されていた。

本発明はこのような従来技術の課題を少なくとも１つ解決することを目的とし、カメラを有するゲートを用いる万引き防止システムにおいて、撮影した画像やそれから得られる情報を有効に利用可能な万引き防止システムの構成を提供する。

上述の目的は、店舗の通路に沿って設けられ、管理対象の物品に取り付けられたタグを検出するゲートであって、通路を通って店舗から出て行こうとする人物を撮影する視野を有するカメラを備えるゲートと、店舗内の所定範囲を撮影するように設置された監視カメラと、ゲート及び監視カメラと接続され、監視カメラで撮影された映像を保存する記憶装置を備える管理装置とを有する万引き防止システムであって、ゲートは、タグを検出すると、カメラによりゲート前の通路を撮影し、撮影した画像を管理装置に送信し、管理装置が、ゲートから受信した画像から、少なくとも人間の顔の特徴を表す顔情報を取得する顔検出手段と、記憶装置に保存されている監視カメラで撮影された映像を顔情報を用いて探索し、顔情報に対応する人物が撮影されている映像が含まれるか否かを判別する探索手段とを有することを特徴とする万引き防止システムによって達成される。

また、上述の目的は、店舗の通路に沿って設けられ、管理対象の物品に取り付けられたタグを検出するゲートであって、通路を通る人物を撮影する視野を有するカメラを備えるゲートと、店舗内の所定範囲を撮影するように設置された少なくとも１つの監視カメラと、を備える管理装置とを有する万引き防止システムであって、ゲートのカメラと監視カメラの少なくとも１つは、通路を通って店舗に入ろうとする人物を撮影するとともに、撮影した画像を管理装置に送信し、管理装置が、受信した画像に、予め登録されている人物が撮影されている場合、予め登録されている人物の、少なくとも人間の顔の特徴を表す顔情報を用いて監視カメラが撮影した映像を探索し、顔情報に対応する人物が撮影されている映像が含まれるか否かを判別する探索手段とを有することを特徴とする万引き防止システムによっても達成される。

このような構成により、本発明による万引き防止システムは、カメラを有するゲートで撮影した画像やそれから得られる情報を有効に利用することが可能である。

本発明の第１の実施形態に係る万引き防止システムの構成例を模式的に示す図。 本発明の第１の実施形態に係る店舗システムの機能構成例を示すブロック図。 本発明の第１の実施形態に係る管理サーバの機能構成例を示すブロック図。 本発明の第１の実施形態に係る万引き防止システムで用いる画像ファイル及び顔情報データベースのデータ構造の例を示す図。 本発明の第１の実施形態に係るカメラ付きゲートの動作を説明するためのフローチャート。 本発明の第１の実施形態に係る管理装置の動作を説明するためのフローチャート。 本発明の第１の実施形態に係る管理サーバの動作を説明するためのフローチャート。 本発明の第２の実施形態に係る管理装置の動作を説明するためのフローチャート。 （ａ）は本発明の第２の実施形態に係る万引き防止システムにおける監視カメラの配置例を模式的に示す図、（ｂ）は探索を行う映像の切り替え設定の例を示す図。 本発明の第２の実施形態に係る管理装置における表示画面例を示す図。 （ａ）は本発明の第２の実施形態に係る万引き防止システムにおける要注意場所の登録画面の例を示す図、（ｂ）は要注意場所の登録情報の例を示す図。 ゲートに設けられるカメラの撮影方向を説明する図。 本発明の第３の実施形態に係る万引き防止システムにおける、新規顔情報ファイルの登録動作を説明するためのフローチャート。 本発明の第３の実施形態に係る万引き防止システムにおいて、ユーザの確認を得ながら顔情報の登録を行うために用いる登録画面の例を示す図。

以下、図面を参照して本発明の例示的な実施形態を詳細に説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る万引き防止システムの構成例を模式的に示す図である。図において、万引き防止システム１００は、複数の店舗システム１１０と管理サーバ３００とが互いに通信可能にネットワーク２００で接続された構成を有する。また、店舗システム１１０は１つ以上のカメラ付きゲート１２０が管理装置１５０と接続された構成を有する。店舗システム１１０は、店舗の天井などに設置される監視カメラ１６０を少なくとも１台備えていてもよい。監視カメラ１６０が設けられる場合、その少なくとも１台は、カメラ付きゲート１２０を通過する人の顔を認識可能な程度の解像度で撮影可能にするように設けられる。本実施形態において、カメラ付きゲート１２０は少なくとも１台のカメラを備え、店舗から出ようとしてゲート１２０を通過する人物と、店舗に入ろうとしてゲート１２０を通過する人物の顔を撮影することが可能である。なお、カメラ付きゲート１２０は、店舗から出ようとする人物の顔を撮影し、店舗に入ろうとする人物の顔は監視カメラ１６０で撮影する構成であってもよい。また、カメラ付きゲート１２０は店舗の通路に沿って設けられるが、通路を挟んで配置された一対のゲートから構成されるものであっても、通路脇に配置された１つのゲートから構成されるものであってもよい。

管理サーバ３００は、店舗システム１１０の管理装置１５０から送信される、人物の画像を受信し、顔情報データベース(DB)に登録する。この際、管理サーバ３００では、画像に対して周知の顔検出処理を適用し、顔領域を抽出する。そして、顔領域から、顔認証に用いるための、人間の顔の特徴を表す情報（顔情報）を取得し、個々の画像と関連付けて顔情報ＤＢに登録する。また、管理サーバ３００は、管理装置１５０から受信した画像から取得した顔情報を顔情報ＤＢに登録済みの顔情報と比較することにより顔認識処理を行い、管理装置１５０から受信した画像に含まれる人物が顔情報ＤＢに登録済みの人物かどうか、また登録済みであればどの人物かを特定する。

管理サーバ３００は、ある店舗システム１１０から受信した画像に撮影された人物が、顔情報ＤＢに登録済みの人物であることが確認された場合、その旨を当該店舗システム１１０の管理装置１５０に通知する。この際、該当する登録済みの人物についての情報を合わせて管理装置１５０に通知してもよい。

また、管理サーバ３００は、登録済みの人物が店舗に現れたことが検出された場合、人物の情報と店舗の情報を警備会社システム４００に通知するようにしてもよい。

なお、管理装置１５０及び管理サーバ３００は、例えば、中央処理装置（ＭＰＵ、ＣＰＵ等）、出力デバイス（表示装置、スピーカ、プリンタ等）、入力デバイス（キーボード、マウス、タッチパネル等）、記憶装置（ＲＡＭ、ＲＯＭ、ディスクドライブ等）、外部インタフェース（ネットワークインタフェース、ＵＳＢ等）などを有する汎用コンピュータにおいて、以下の機能を実現するためのソフトウェア（ＯＳ、アプリケーション等）を実行することによって実施可能である。また、ネットワーク２００は専用ネットワークであっても公衆ネットワークであってもよい。

図２は、店舗システム１１０の機能構成例を示す図である。ここでは説明のためカメラ付きゲート１２０（以下、単にゲート１２０という）が管理装置１５０に１つ接続されているように記載しているが、複数のゲート１２０が接続されていて良いことは言うまでもない。ゲート制御部１２１は、ゲート１２０の全体的な動作を制御する。ゲート制御部１２１は例えばマイクロプロセッサであり、図示しないＲＯＭに書き込まれたプログラムを実行して各部の動作を制御することにより後述するゲート１２０の動作を実現する。スピーカ１２２は警告音や音声メッセージなどを出力するために用いられる。送受信器１２３は、図示しないアンテナを通じて例えば一定間隔で所定周波数の電波を送信し、送信に対してＲＦタグや共振タグからの応答があるかないかを検出することで、ＲＦタグや共振タグがゲート近傍に存在することを検出する。

ＲＦタグや共振タグは管理対象となる物品に取り付けられ、購入するなどして店舗から正当に持ち出しできる状態になった物品からは除去されるか無効化される。従って、ゲート近傍にＲＦタグや共振タグの存在が検出された場合、物品が不正に持ち出されようとしていることになる。この場合、送受信器１２３からゲート制御部１２１にタグが検出された旨の通知が出力され、ゲート制御部１２１はスピーカ１２２から警告音を出力させる。また、ゲート制御部１２１は、送受信器１２３でタグの存在が検出されると、カメラ駆動部１２４を通じてカメラ１２５を制御し、ゲート１２０の前の通路（ゲート１２０が通路を挟んで一対設けられている場合にはゲート間の通路）をカメラ１２５で撮影させる。

本実施形態において、カメラ１２５はゲート１２０から店舗内方向の視野と、出入口方向の視野の両方を撮影することができる。それぞれの視野の画像は個別に生成されても良いし、例えば右半分に店舗内方向視野の画像、左半分に出入口方向視野の画像が含まれる１枚の画像として生成されてもよい。つまり、カメラ１２５により、ゲート１２０前の通路を通って店舗内から出ようとしている人物と、出入口から通路を通って店舗に入ってくる人物をそれぞれ顔が撮影できる方向から撮影可能に構成されている。カメラ１２５は撮影する視野毎に設けられても良いし、回動式の１台のカメラで異なる視野を異なるタイミングで撮影してもよい。あるいは、鏡などを用いて同時に複数の視野を撮影する様に構成しても良い。本発明においては、両方の視野を並行して撮影可能であることが好ましい。このようなカメラの構成自体は本発明と直接関係しないため、構成の詳細についての説明は省略する。なお、上述の通り、ゲート１２０が有するカメラ１２５は少なくとも店舗から出ようとする人物の顔を撮影可能であればよく、店舗に入ろうとする人物の顔は監視カメラ１６０など他のカメラで撮影してもよい。もちろん、店舗に出入りする人物をカメラ１２５と監視カメラ１６０を含む複数のカメラで撮影する構成など、複数のカメラで同一範囲を撮影する構成であってもよい。

カメラ駆動部１２４は、ゲート制御部１２１の制御に従い、カメラ１２５に撮影指示や撮影中止指示などを与える。また、カメラ駆動部１２４は、カメラ１２５がズームレンズを有する場合や、カメラ１２５の向きを変更するための機構を有する場合に、ズーム機構やカメラ１２５の移動機構をゲート制御部１２１の制御に従って駆動する。以下の説明においては便宜上、ゲート１２０を通って店舗から出ようとしている人物を撮影するカメラを登録用カメラ、ゲート１２０を通って店舗（売り場）に入ろうとしている人物を撮影するカメラを照会用カメラと呼ぶ。上述の通り、登録用カメラと照会用カメラは同一のカメラであっても、独立したカメラであってもよい。また、監視カメラ１６０など照会用カメラとして機能する他のカメラが存在する場合、ゲート１２０は登録用カメラのみを有していてもよい。

カメラ１２５は、カメラ駆動部１２４並びにゲート制御部１２１の制御に従って撮影を行い、得られた画像データをゲート制御部１２１に出力する。なお、カメラ１２５はカメラ駆動部１２４から撮影指示を受けた際に静止画撮影を行っても、常時動画撮影を行っていてもよい。本実施形態では、登録用カメラは前者、照会用カメラは後者の形態で撮影を行うものとする。カメラ１２５が撮影した画像は、ゲート制御部１２１を通じて管理装置１５０へ供給される。

また、本実施形態においては、ゲート１２０に設けられたカメラ１２５の他に、店舗内
の所定範囲を撮影する監視カメラ１６０を設置してもよい。上述のように、監視カメラ１６０の少なくとも１台は、ゲート１２０を通過する人物（特に店舗に入ろうとする人物）が撮影されるような撮影範囲を有するように設ける。監視カメラ１６０についても、ゲート１２０が設けられた通路の両方向の視野を撮影するように設置することができる。監視カメラ１６０が撮影した画像は、後述する管理装置１５０に出力される。監視カメラ１６０は動画像を常時撮影していても、一定時間（例えば数秒）おきに１枚の静止画を撮影してもよい。

管理装置１５０は、例えば店舗の管理室に設置され、店舗内に設置されたゲートを集中管理する。管理装置１５０はネットワークインタフェース１５１を通じて店舗内の全てのゲート１２０並びにネットワーク２００と接続される。ネットワークインタフェース１５１には、店員へ警報を報知するための店員端末（図示せず）が接続されていてよい。店員端末は、例えば店員が常駐する店舗内の場所（例えばレジカウンター等）に設置されていても良いし、店員が携帯する情報通信端末であっても良いし、その両方であってもよい。店員端末は少なくともメッセージ表示又は音声出力のいずれかの機能を備え、少なくとも店員が常駐する場所に設けられる店員端末には画像表示機能を備えることが好ましい。

画像処理部１５２は例えばゲート１２０から受信した画像に対して予め定められた処理を行う。予め定められた処理には、顔検出及び顔認証のうち、少なくとも顔検出を含む。また、画像処理部１５２は、必要に応じて画像のリサイズ、解像度変換処理なども実行する。

表示部１５３は管理装置１５０の動作状況をはじめ、ゲート１２０の各々や監視カメラ１６０から受信した画像、管理装置１５０を操作するためのＧＵＩなどを表示する。入力部１５４はキーボード、マウス、表示部１５３の画面上に設けられたタッチパネル、マイクなど、管理装置１５０のユーザが管理装置１５０に指示などを入力するための入力機器である。管理装置制御部１５５は管理装置１５０並びに店舗システム１１０全体の動作を制御する。管理装置制御部１５５は例えば、ＣＰＵやマイクロプロセッサと、不揮発性メモリと揮発性メモリとを備え、不揮発性メモリに記録された制御プログラムをＣＰＵやマイクロプロセッサで実行して、管理装置１５０及びゲート１２０の各部を制御することにより、店舗システム１１０全体の動作を実現する。

記憶部１５６は半導体メモリやハードディスクドライブのような記憶装置であり、ゲート１２０や監視カメラ１６０から受信した静止画や動画を記憶したり、管理装置制御部１５５が用いる各種データ、プログラムなどを記憶したりする。記憶部１５６はさらに、店舗内の放送に用いる音声データ（音楽データ、メッセージ音声データ等）を記憶する。

出力部１５７は例えばオーディオインタフェースであり、店舗内の音響システム１５８に対して管理装置１５０からの音声信号を出力する。管理装置１５０から音響システム１５８へ出力する音声信号としては、例えば入力部１５４に設けられたマイクなどの音声入力装置から入力された音声信号や、記憶部１５６に記憶された音楽データを管理装置制御部１５５が再生した音声信号であってよい。音響システム１５８はアンプや店舗内に配置された複数のスピーカを備え、管理装置１５０から入力された音声信号を店舗内に放送する。管理装置１５０において、ネットワークインタフェース１５１〜出力部１５７はバス１５９により通信可能に接続されている。なお、画像処理部１５２、管理装置制御部１５５、記憶部１５６の機能の少なくとも一部は管理サーバ３００で実行してもよい。

図３は本実施形態における管理サーバ３００及び顔情報ＤＢの機能構成例を示す図である。上述の通り、管理サーバ３００と管理装置１５０はいずれも例えば汎用コンピュータによって実施可能であり、機能構成も類似している。管理サーバ３００における構成要素３０１〜３０６、３０９は、管理装置１５０における構成要素１５１〜１５６、１５９とそれぞれ対応する機能を有する。

画像処理部３０２は、ネットワーク２００を通じて管理装置１５０から受信した画像から人物の顔領域を検出し、顔領域内から、顔認識に用いるための特徴情報（顔情報）を抽出する。なお、店舗システム１１０のゲート１２０が有する照会用カメラで撮影された画像について、画像処理部１５２が顔検出する場合は、画像処理部１５２で得られた顔領域の情報を画像と共に管理装置１５０から管理サーバ３００に送信することで、画像処理部３０２の顔検出処理を省略することができる。顔検出や特徴情報の抽出は、公知の任意の方法を利用して行うことができる。画像処理部３０２が抽出した顔情報は、管理サーバ制御部３０５を通じて、抽出元の画像やその他の情報とともに顔情報ＤＢ３１０に蓄積される。

画像処理部３０２はまた、管理装置１５０から受信した画像に含まれる人物の顔が、顔情報ＤＢに登録されている人物の顔であるかどうかを判定する顔認証を行う。顔認証は、受信画像から抽出した顔情報と顔情報ＤＢに登録されている顔情報との類似度に基づいて行うことができる。具体的には、顔情報がテンプレート画像を含む場合、テンプレート画像同士の相関度を求めることができる。顔認証についても様々な方法が知られており、本発明においては公知の任意の方法を用いることが可能であるため、詳細についての説明は省略する。画像処理部３０２において、受信画像に含まれる人物の顔が顔情報ＤＢ３１０に登録済みの顔であると判定された場合、管理サーバ制御部３０５は、当該登録済みの顔についての情報を顔情報ＤＢ３１０から読み出す。そして、読み出した情報を、登録済みの顔を含んだ画像を送信してきた管理装置１５０に対してネットワークインタフェース３０１を介して送信する。管理サーバ制御部３０５はまた、同様の情報を警備会社システム４００に対してネットワークインタフェース３０１を介して送信してもよい。

次に、本実施形態の万引き防止システムにおいて管理装置１５０並びに管理サーバ３００で用いる画像のデータ構造について図４を用いて説明する。
図４（ａ）は、管理装置１５０において生成する画像ファイル１１５０の構造例を示す図である。

本実施形態において、管理装置制御部１５５は、ゲート１２０もしくは監視カメラ１６０から受信した画像を画像ファイル１１５０の形式で管理サーバ３００へ送信する。画像ファイル１１５０は、画像ファイルが警報発生時に撮影された画像を含むか否かを示すためのファイル種別１１５１、店舗を特定するための店舗ＩＤ１１５２、店舗内のゲート（監視カメラ含む）を特定するためのゲートＮｏ、画像の撮影日時１１５４及び撮影された画像のデータ１１５５を含む。なお、撮影日時１１５４は、ゲート１２０（監視カメラ１６０）が生成する画像のメタデータに含まれる場合には省略してもよい。また、画像処理部１５２で顔領域が検出された画像については、さらに、顔領域の大きさや位置などを特定する顔領域情報を含ませてもよい。

図４（ｂ）は、管理サーバ３００において、顔情報ＤＢ３１０に蓄積する顔情報データの構造例を示す図である。
顔情報データは、同一の顔と判断された画像データをまとめて管理できるよう、顔毎に生成された顔情報データファイル３１００に登録される。顔情報データファイル３１００は、顔毎に固有に割り当てられる顔ＩＤ３１０１と、代表顔情報３１０２と、代表画像データ３１０３とを先頭部分に有し、さらに撮影情報３１０４〜３１０６が順次付加された構成を有する。撮影情報の各々は、受信した画像ファイル１１５０に、画像処理部３０２で抽出した顔情報３１１０を付加した形式を有する。

代表画像データ３１０３は、顔情報から同一人物と判定された顔を含む画像データのうち、最も顔の特徴がわかりやすい画像データである。具体的には、顔検出や特徴抽出処理における信頼度が高い画像データ（顔領域の大きさが所定以上であることや、顔が正面向きであること、目、鼻、口などの顔の構成要素の抽出結果などに基づいて判断される）を、画像処理部３０２の顔検出、特徴情報抽出処理結果に基づいて、管理サーバ制御部３０５が撮影情報３１０４〜３１０６の中から決定する。代表画像データ３１０３には、画像データ自体が含まれても良いし、撮影情報を特定する参照情報であってもよい。代表顔情報３１０２は、顔ＩＤに対応する人物の顔の特徴を最も良く表していると考えられる顔情報であり、例えば代表画像データに対応する顔情報であってもよいし、信頼性の高い顔情報から平均的な顔情報を生成して代表顔情報としてもよい。画像処理部３０２は、受信した画像から生成した顔情報と、個々の顔ＩＤに対応する代表顔情報とを比較することにより、顔認証を行う。代表画像データは、例えば店舗システム１１０や警備会社システム４００へ、人物の画像を送信する際に用いることができる。

このように、本実施形態においては、店舗システム１１０から管理サーバ３００へ送信する画像ファイル１１５０に、店舗や撮影したゲートを特定する情報や、撮影日時に関する情報を含める。また、管理サーバ３００では、同一人物と認証された顔ごとに画像ファイルや顔情報を管理する。そのため、例えば人物ごとに、いつ、どの店舗に現れたかを顔ＩＤと店舗ＩＤと時刻情報とを関連付けることによって管理し、分析することが可能である。特に常習者においてはある範囲に存在する店舗に繰り返し出現する可能性が高く、過去の行動パターンを分析することは、来店を予測した対策（例えば警備会社や警察への巡回依頼等）を行う上で有用である。

以下、本実施形態の万引き防止システムの動作について、ゲート１２０、管理装置１５０、管理サーバ３００のそれぞれの動作を示す図５〜図７のフローチャートを用いてさらに説明する。
ゲート１２０は、カメラ１２５（照会用カメラ）によって入店方向（店舗内に入ろうとしてゲートに向かってくる人物を撮影できる方向）の視野を周期的あるいは連続的に撮影している（Ｓ１０１）。照会用カメラが周期的に撮影する場合、入店者が漏れなく撮影できる程度の撮影周期（見通し距離にもよるが、例えば１〜数秒おき）を設定する。そして、カメラ１２５（照会用カメラ）が撮影した画像は、ゲート制御部１２１が管理装置１５０へ送信する（Ｓ１０３）。カメラ１２５が照会用カメラとして機能しない場合、Ｓ１０１及びＳ１０３の処理は監視カメラ１６０など、他に設けられた照会用カメラで行う。この、入店方向の視野の撮影、送信動作と並行して、送受信器１２３はタグを検出するための所定周波数の電波を間欠的に送信し、送信した電波に対してタグから応答があったかどうかをチェックしている（Ｓ１０５）。そして、タグからの応答が受信され、ゲート近傍にタグの存在が検出されると、送受信器１２３はゲート制御部１２１に通知する。

ゲート制御部１２１は通知を受信するとスピーカ１２２から警告音を発生させるとともに、管理装置１５０に対して警報の発生を通知する。また、ゲート制御部１２１は、カメラ駆動部１２４を通じてカメラ１２５（登録用カメラ）を制御して店舗内方向（店舗から出ようとしてゲート前を通過する人物を撮影できる方向。出店方向）の視野を撮影させる（Ｓ１０６）。

なお、本実施形態のようにカメラ１２５が出店方向の視野を連続的に撮影している場合、Ｓ１０６において改めて撮影を行う必要はない。
一方、カメラ１２５が、撮影方向を切り替えることでいずれか一方の視野を選択的に撮影可能な場合、ゲート制御部１２１はカメラ駆動部１２４を通じて照会用カメラとして動作しているカメラ１２５の撮影視野を切り替えて登録用カメラとして撮影を行わせ、ふたたび照会用カメラの視野に戻して撮影を再開させる。

タグの存在の検知に伴う撮影を行う場合には、タグが取り付けられた物品を不正に持ち出そうとした人物を撮影することになるため、タグの存在の検知とは関係なく撮影する場合よりも、より高精細な画像を撮影するようにゲート制御部１２１からカメラ１２５（登録用カメラ）に設定してもよい。例えば、通常は第１の解像度で撮影しており、タグの検出に伴う撮影においては第１の解像度よりも高い第２の解像度で撮影するようにしてもよい。これにより、通常撮影時の処理データ量を低減しつつ、画像処理部３０２及び／又は１５２により、高精度な顔情報を抽出することができる。

一方、管理装置１５０は、ネットワークインタフェース１５１に接続された１つ以上のゲート１２０から受信した画像を管理サーバ３００へ送信する処理（図６（ａ））及び、管理サーバ３００からの通知を受信する処理（図６（ｂ））を並行して行っている。

管理装置制御部１５５は、ネットワークインタフェース１５１を通じてゲート１２０（監視カメラ１６０含む）から画像が受信されるのを待機する（Ｓ２０１）。画像が受信されると、管理装置制御部１５５は、受信した画像が警報に係る画像かどうか（ゲート１２０の登録用カメラで撮影された画像かどうか）判別する。そして、警報に係る画像でなければ（照会用カメラで撮影された画像であれば）、画像を一時的に記憶部１５６に記憶し、画像処理部１５２に顔検出を行わせる。画像処理部１５２は記憶部１５６に一時記憶された画像に対して顔検出処理を行う。そして、画像処理部１５２は、顔検出処理の結果として、顔領域が検出できれば、顔領域の場所や大きさを特定する顔領域情報を、顔領域が検出できなければできなかった旨の情報を、管理装置制御部１５５に供給する。
管理装置制御部１５５は、照会用カメラで撮影された画像のうち顔領域が検出された画像と、登録用カメラで撮影された画像について、図４（ａ）に示した構成を有する画像ファイルを生成する（Ｓ２０３）。ここで、管理装置制御部１５５は、そして、管理装置制御部１５５は、警報に係る画像であれば、表示部１５３に警報メッセージとともに受信画像を表示する。また、管理装置１５０においても管理者に警報を報知するために音声等を出力してもよい。

管理装置制御部１５５は、受信した画像が警報に係る画像生成する画像ファイルの画像ファイル種別を「警報」に、警報に係る画像でなければ「通常」に設定する。そして、予め設定された、店舗に固有の識別情報（例えば店舗番号）と、画像を送信してきたゲートを識別可能な情報（例えばゲート番号）と、画像の撮影日時（画像に記録されている日時情報、もしくは画像を受信した日時情報）と、受信した画像データを用いて、画像ファイルを生成する。また、照会用カメラで撮影され、顔領域が検出された画像については、顔領域情報を含んだ画像ファイルを生成することもできる。

受信した画像が警報に係る画像であれば、画像ファイルを記憶部１５６に記憶して（Ｓ２０７）から、受信した画像が警報に係る画像でなければ記憶せずに、管理装置制御部１５５は生成した画像ファイルを管理サーバ３００へ送信する（Ｓ２０９）。

上述の送信処理と並行して、管理装置制御部１５５は管理サーバ３００からの通知を監視している（Ｓ２１１）。この通知は、管理装置１５０から管理サーバ３００へ送信した通常種別の画像ファイルにおいて、以前、自店舗又は情報を共有している他店舗のいずれかにおいて、ゲートを不正に通過した人物が撮影されていることが検出されたこと、つまり、自店舗に要注意人物が来店していることを意味する。そのため、管理装置制御部１５５は、管理サーバ３００から通知を受信すると、要注意人物が来店していることを店員に報知する（Ｓ２１３）。

店員への報知は、上述の店員端末に対して音声やメッセージ表示によって行うことができる。また、画像表示機能を有する店員端末に対しては、要注意人物を特定できるよう、記憶部１５６に記憶した画像ファイルのうち、管理サーバ３００から受信した通知に対応するものから読み出した画像を用いて報知することもできる。あるいは、またはさらに、管理装置制御部１５５は、出力部１５７並びに音響システム１５８を用い、店内放送を通じて店員に報知を行ってもよい。この場合、あからさまに要注意人物の来店を音声で報知することは望ましくないと考えられるので、予め定められた符牒を用いたり、店内放送で流しているＢＧＭを予め設定された音楽に切り替えたりするなどして報知することができる。

管理サーバ３００において、管理サーバ制御部３０５は、店舗システム１１０から画像ファイルが送信されてくるのを待機している（Ｓ３０１）。画像ファイルを受信すると、管理サーバ制御部３０５は、画像ファイルを記憶部３０６へ保存するとともに、画像ファイル１１５０に含まれる画像データ１１５５（図４（ａ））を画像処理部３０２へ供給する。画像処理部３０２は、画像データに対して顔認証処理を適用する（Ｓ３０３）。上述の通り、顔認証処理は、画像中の顔領域の検出、検出した顔領域からの特徴量（顔情報）の抽出、顔情報ＤＢ３１０に記憶された個々の顔情報（代表顔情報）との比較（相関度算出）からなる。なお、画像ファイルに顔領域情報が含まれている場合、当該画像ファイルに含まれる画像データについては、画像処理部３０２による顔検出処理を省略してもよい。

画像処理部３０２は、顔認証処理の結果（受信した画像ファイルに含まれる画像データに、顔情報ＤＢ３１０に登録済みの顔が撮影されていると判別されたかどうか）及び抽出した顔情報並びに顔認証処理の信頼度を、管理サーバ制御部３０５へ出力する。管理サーバ制御部３０５は、顔認証処理において、登録済みの人物の顔が検出された場合（Ｓ３０５，Ｙ）、顔認証処理を行った画像が警報に係る画像かどうか、すなわち、Ｓ３０１で受信し、記憶部３０６に保存した画像ファイルの種別が「警報」かどうかを判別する（Ｓ３０７）。そして、警報に係る画像でない場合、すなわち、画像ファイルの種別が「通常」である場合には、画像ファイルの送信元の管理装置１５０に対して通知を送信する。この通知を受信した管理装置は、自店舗のゲートで撮影した、来店客の画像の中に、自店舗を含む、顔情報を共有している店舗のいずれかにおいて以前ゲートを不正に通過した人物が含まれていること、すなわち、要注意人物が現在来店していること、を知ることができる。そして、管理装置１５０は、上述したように、店員に対して要注意人物の来店を報知する。

Ｓ３０７において、顔認証処理を行った画像が警報に係る画像であると判別された場合、管理サーバ制御部３０５は、顔情報ＤＢ３１０の、対応する顔ＩＤの顔情報ファイルに対し、抽出された顔情報を付加した画像ファイル（図４（ｂ））を、新たな撮影情報として追加する登録処理を行う（Ｓ３１１）。そして、登録処理後はＳ３０１から処理を繰り返す。

また、Ｓ３０５において、顔認証処理において見つかった顔が登録済みの人物の顔でないと判別された場合、管理サーバ制御部３０５は、Ｓ３０７と同様にして、顔認証処理を行った画像が警報に係る画像かどうかを判別する（Ｓ３１３）。そして、警報に係る画像でなければ、一般客とみなして登録処理を行わずにＳ３０１の処理へ戻る。一方、警報に係る画像である場合には、新たな顔ＩＤを有する顔情報ファイルを生成し（Ｓ３１５）、当該新たな顔情報ファイルに対して登録処理を行う（Ｓ３１１）。

尚、登録処理において、新たな顔情報ファイルに対して登録処理を行う場合には、撮影情報＃１への登録と共に、代表顔情報及び代表画像データについても、撮影情報＃１に対応した情報とする。一方、既に存在する顔情報ファイルに対して登録処理を行う場合には、既に登録されている顔情報と登録しようとする顔情報との信頼度（顔情報３１１０の一部に記録されている）とを比較し、これから登録しようとする顔情報の信頼度が最も高ければ、代表顔情報と代表画像データの情報を、これから登録しようとする撮影情報に対応した値に更新する。

また、管理サーバ制御部３０５は、登録処理を行った際に、その顔情報ファイルが有する撮影情報の数が予め定められた数を超えた場合に、常習者として顔ＩＤ並びに代表画像データとともに警備会社システムへ通知し、その後同一人物の来店が検知されると、例えば検知される毎に、Ｓ３０９で管理装置に通知を送信する際に、警備会社システムへ顔ＩＤと店舗ＩＤを通知してもよい。

また、管理サーバ制御部３０５は、顔情報ファイルに登録された撮影情報、特には店舗ＩＤと撮影日時から、当該人物の来店傾向を分析してもよい。例えば、どの店舗に最も多く来店しているか、来店の日時に何らかの傾向があるか、また、複数の店舗間を特定の順番で来店する傾向があるか、といった分析を行うことができる。例えば、店舗Ａの次には店舗Ｂへ来店する傾向が強いことがわかれば、店舗Ａへの来店が検知された際に、店舗Ａに通知するだけでなく、店舗Ｂに対しても、店舗Ａから店舗Ｂへ来店する可能性の高い要注意人物が店舗Ａに来店したことを通知してもよい。そうすることで、店舗Ｂにおいて予め警備員を要請するなどの対策を行うことができる。

以上説明したように、本実施形態によれば、カメラ付きゲートや監視カメラで撮影した画像や、画像から得られる情報を店舗間で共通利用することが容易になり、個々の店舗だけでなく、地域を単位とした情報の共有や対策が可能になる。
また、共有情報を解析して要注意人物の行動の傾向をつかむことで、例えば来店前から対策を講じることが可能になり、効果的な対策を取ることができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態は、カメラ付きゲートで撮影した画像から得られる情報を用いて、監視カメラで撮影した映像の効率的な利用を可能とする。
本実施形態に係る万引き防止システムは、主に店舗システムに特徴を有し、店舗システム単体での実施も可能である。また、店舗システムのハードウェア構成は第１の実施形態と共通で良いため、以下図２を参照して説明する。

本実施形態において、監視カメラ１６０は店舗内に複数設けられており、店舗内で来店者が自由に移動できる空間を、原則として漏れなく撮影できるように撮影範囲と配置が設定されている。また、複数の監視カメラ１６０のうち少なくとも１台については、第１の実施形態と同様にゲート１２０を通過する人物を撮影できるように（登録用カメラと照会用カメラの少なくともいずれかとして機能するように）配置することができる。この場合、ゲート１２０を含む比較的広い空間を撮影する監視カメラ１６０の他に、ゲート１２０を通過する人物の特定を目的としたより狭い範囲（例えばゲート１２０前の通路を画面全体で捉える画角や、ゲート１２０の上半分を中心にした画角など）を撮影する監視カメラ１６０を設けてもよい。また本実施形態において、画像処理部１５２は顔認識機能や動体検出機能を有する。

図８は、本実施形態に係る万引き防止システムの管理装置１５０の動作を説明するフローチャートである。
管理装置制御部１５５は、ネットワークインタフェース１５１を通じてゲート１２０（監視カメラ１６０を含む）から画像が受信されるのを待機する（Ｓ４０１）。管理装置制御部１５５は、受信した画像が警報に係る画像かどうか（登録用カメラで撮影された画像かどうか）判別する。そして、管理装置制御部１５５は、警報に係る画像であれば、表示部１５３に警報メッセージとともに受信画像を表示する。また、管理装置１５０においても管理者に警報を報知するために音声等を出力してもよい。

Ｓ４０３で管理装置制御部１５５は、Ｓ４０１で受信した警報に係る画像を、画像処理部１５２へ渡す。そして、画像処理部１５２は、画像から特徴抽出を行う。特徴抽出には顔領域の検出処理を始めとして、背景と人物の分離処理など、警報に係る画像に撮影されている人物をマッチング技術などの画像処理によって他の画像中から探索するための情報を取得する処理が含まれる。従って、探索処理として採用する手法に応じて抽出する特徴の種類や数は任意に設定可能である。ただし、少なくとも顔の探索を行うための特徴は抽出するものとする。画像処理部１５２は、抽出された特徴情報を例えば図示しない内部メモリに記憶する。

次に画像処理部１５２は、記憶部１５６に記憶されている、複数の監視カメラ１６０で撮影された映像のうち、ゲート１２０の設置位置に最も近い範囲（あるいはゲート１２０を含む範囲）を撮影する監視カメラ１６０のいずれか１つで撮影された映像を、時間を遡る方向で順次探索する（Ｓ４０５）。

図９（ａ）は、店舗の上面図の例であり、監視カメラ１６０の撮影範囲の関係を模式的に示した図である。１２６〜１２８は、店舗内の陳列棚を示している。
図９（ａ）に示す例では、監視カメラ１６０が５台設けられており、それぞれの撮影範囲がＡ〜Ｅに設定されている。また、対応する矢印は撮影方向である。撮影方向は基本的にゲート１２０に向かってくる（店舗から出ようとする）人物をほぼ正面方向から（顔が撮影できる角度で）撮影できるように設定されている。以後、撮影範囲Ｘの監視カメラ１６０を監視カメラ１６０Ｘとして説明する。監視カメラ１６０Ａは、ゲート１２０を通過する人物（図９の例では店舗から出ようとする人物）を撮影するために設けられており、監視カメラ１６０Ａの撮影画像は本実施形態ではＳ４０５における探索対象としない。

Ｓ４０５で画像処理部１５２は、撮影範囲がゲート１２０の設置位置に最も近い監視カメラ１６０Ｂまたは１６０Ｅで撮影された映像に対して探索処理を開始する。もちろん、画像処理部１５２の処理能力が十分高い場合など、複数の監視カメラ１６０で撮影された映像に対して同時並列的に探索処理を行ってもよい。しかし、撮影範囲が大きく重複していないかぎり、探索したい人物が異なる監視カメラに同時に撮影される可能性は低いので、警報発生時から遡って探索を行う場合には複数の監視カメラ１６０で撮影された映像に対して同時並列的に探索を行う効果はそれほど期待できない。むしろ、１つの監視カメラ１６０で撮影された映像について、探索できるところまで処理を速く終了させることのほうが有利であると考えられる。

画像処理部１５２がどの監視カメラで撮影された映像から探索を行うかは、予め決めておくことができる。例えば図９（ａ）の例では、監視カメラ１６０Ｂの映像を最初に探索するものとする。これは、監視カメラ１６０Ｂの撮影範囲がゲート１２０に正面から向かってくる経路であり、ゲート１２０を通過して店舗から出た人物の顔が顔認識に適した角度で撮影されている可能性が監視カメラ１６０Ｅの映像よりも高いことによる。

探索の方法には特に制限はなく、周知の任意の方法を採用することができるが、人物を特定する必要があるので、可能な限り個人に固有な特徴を用いることが好ましい。そのため、少なくとも顔に関する情報を用いて探索を行うことが好ましい。顔による探索が困難な場合、顔領域の下方の領域である上半身の服装の情報（色、模様など）を用いるなど、他の補助情報を用いてもよい。

探索の結果、警報に係る画像で撮影された顔が見つかったら（Ｓ４０７，Ｙ）、画像処理部１５２は探索処理を継続しながら、表示部１５３への表示を並行して行う自動再生処理を開始する（Ｓ４０８）。
図１０は、自動再生時の表示部１５３の画面の例を示す図である。このように、自動再生時には、Ｓ４０１で受信した、警報に係る画像５０１と、画像５０１に写っている人物（探索対象者）と同一と思われる人物がＳ４０５の探索処理で最初に検出された時点からの巻き戻し再生画像５０２とを並べて表示することができる。これにより、探索処理の結果が正しいかどうかを店舗の管理者が確認することができる。また、再生画像５０２には、どの監視カメラ１６０で撮影されたかや撮影日時の情報などを合わせて重畳表示する。

画像処理部１５２は、自動再生中、各映像（監視カメラ１６０で撮影される映像が動画であればフレーム画像、静止画であれば静止画像）について、探索対象者の追跡処理を行う。追跡処理は基本的に顔認識処理であってよいが、例えば顔認識ができない場合には、直前の画像中の探索対象者の領域を抽出し、次の画像とパターンマッチングを行うことにより、次の画像中の探索対象者の位置を特定することにより追跡を行ってもよい。また、画像間の動きを利用してもよい。監視カメラ１６０の画角が固定であれば、背景部分の変化はほとんど無いと考えることができるので、移動している人物の画像領域を特定することは容易である。画像間の特定被写体の移動を追跡する処理も様々な方法が知られており、本実施形態においてはこれら周知の方法を適宜採用することができる。

Ｓ４１１で画像処理部１５２は、再生中の映像において探索対象者の追跡が不能になったかどうかを判断する。追跡できている場合には、自動再生処理を継続する。また、追跡不能と判断される場合、画像処理部１５２は、他の監視カメラ１６０で撮影された映像のうち、未探索のものがあるか判別する（Ｓ４１３）。未探索の映像がなければ、処理を終了する。一方、未探索の映像があれば、画像処理部１５２は、どの映像を探索するかを選定する（Ｓ４１５）。

この選定は、予め定められた関係に従って行うことができる。例えば図９（ａ）に示した例において、最初に探索した監視カメラ１６０Ｂの映像において探索対象者が検出され、自動再生中に追跡不能と判断された場合、通路と監視カメラの撮影範囲の位置関係から、監視カメラ１６０Ｂと撮影範囲が近接する（一部重複する）監視カメラ１６０Ｃ又は１６０Ｅの映像を探索すべきであることがわかる。また、追跡不能となるまでの期間における探索対象者の画像領域の大きさ（例えば顔領域の大きさ）の変化により、徐々に減少していた場合には監視カメラ１６０Ｃの映像を、増加していた場合には監視カメラ１６０Ｅの映像を探索すべきであると決定することができる。

図９（ｂ）に、このように、ある監視カメラで追跡不能となった場合にどの監視カメラの映像を探索すべきかの設定例を示す。このテーブルでは、例えば監視カメラ１６０Ｂからは、被写体領域が減少していた場合には監視カメラ１６０Ｃの映像を、被写体領域が増加していた場合は監視カメラ１６０Ｅの映像を次に探索すべきであると設定した例を示している。他の監視カメラについても同様である。

Ｓ４１５において、次に探索処理を行うべき監視カメラ（の映像）を選択すると、画像処理部１５２はＳ４０５からの処理を継続して行う。なお、次の探索は、映像のうち、追跡不能となった時点より数秒前から開始する。これは、映像の最初から探索しても撮影されていない可能性が高いこと、また、追跡不能となる直前には複数の監視カメラで重複して撮影されている可能性が高いことによる。監視カメラ１６０で撮影された映像にはタイムコードや撮影日時が記録されているため、探索を開始すべき映像の探索は容易に行うことができる。

なお、自動再生を開始した際に、入力部１５４を通じて管理者から探索結果が誤りである旨の入力があった場合には、その時点で別の監視カメラの映像の探索処理に切り替えてもよい。例えば、上述の例では、監視カメラ１６０Ｂの映像を最初に探索し、自動再生を開始したが、それが誤っているとの入力があった場合には、監視カメラ１６０Ｅの映像の探索に切り替えることができる。

また、どの監視カメラ１６０で撮影されているかと、画像内で検出された位置（例えば図９（ａ）の例では、監視カメラ１６０Ｂの映像中、画面の下側で検出されているか、上側で検出されているか）や、顔領域の大きさなどの情報から、探索対象者が撮影された店舗内の大凡の位置を把握することができる。より具体的には、個々の監視カメラ１６０の設置位置や設置角度、撮影範囲は既知であるので、個々の監視カメラ１６０が撮影した映像中の位置と、店舗内の位置との関係を例えば記憶部１５６に予め登録しておけば、画像処理部１５２で得られる、映像中の探索対象者の領域の位置（顔領域の位置や服装を含めた探索対象者の画像領域の位置）と、記憶部１５６に記憶した関係とを用いて、探索対象者が撮影された店舗内の位置をより正確に知ることができる。そのため、例えば図１０（ｂ）に示すような、探索対象者が撮影された店舗内の位置を示す画面５０３を、図１０（ａ）の画面と共に表示部１５３に表示することもできる。５０４は、撮影位置を示す指標である。なお、指標５０４を軌跡として表示するようにしてもよい。

なお、本実施形態においては、監視カメラ１６０で撮影した映像の探索を、警報の発生時点から直ちに開始し、時間を遡りながら、また探索すべき映像を切り替えながら行う場合を想定していた。しかし、全ての監視カメラ１６０で撮影した映像に対して探索処理を終えてから、探索対象者が撮影されていると判別された映像を再生するようにしてもよい。

この場合、監視カメラ１６０で撮影された映像毎に、探索対象者が撮影されていると判別された時間帯を表示部１５３に表示し、ユーザが再生を指示した映像ファイルを再生する様にしても良い。この場合、探索対象者が撮影されていると判別された時間帯を順次頭出し再生することで、映像のチェックに要する時間を大幅に短縮することができる。

以上説明したように、本実施形態においては、カメラ付きゲート（またはゲートを通過する人物を撮影するために設けられた監視カメラ）で得られた画像を用いて、監視カメラで撮影された映像を探索するようにしたので、ゲートで警報が発生した場合に監視カメラの映像をチェックする手間を大幅に省略することができる。

また、探索対象者の移動を考慮して探索すべき映像を順次切り替えながら自動再生を行うようにした場合には、警報が発生してから短時間で必要な映像のチェックを行うことが可能である。

（変形例）
なお、本実施形態では、ゲートの登録用カメラで撮影された警報に係る画像に含まれる人物を、警報発生前に録画済みの過去の監視カメラの映像から探索、追跡する構成について説明した。しかし、監視カメラの映像に対する探索、追跡を、録画と並行して実時間的に行ってもよい。

すなわち、第１の実施形態で説明したように、照会用カメラで撮影した画像のうち、顔領域が検出された画像を管理サーバ３００に送信し、管理サーバ３００から通知を受信した場合、要注意人物が店舗内に存在することになる。従って、監視カメラで撮影された画像についてほぼ実時間で要注意人物の探索と追跡を行うことで、店舗内における要注意人物の行動を追跡することができる。

例えば、管理サーバ３００からの通知を受けると、管理装置制御部１５５は、記憶部１５６に対して録画する監視カメラ１６０からの映像について、画像処理部１５２で顔認識処理を行わせる。この際に用いる顔情報は、管理サーバ３００が通知と共に送信し、それを用いて良いし、照会用カメラで撮影され、管理サーバ３００に送信した画像を記憶部１５６に記憶しておき、その画像から顔情報を抽出して用いてもよい。

また、記憶部１５６に録画された監視カメラ１６０の映像を、管理サーバ３００に画像を送信してから通知を受けるまでに要した時間（タイムラグ）だけ遡って追いかけ再生しながら上述した要注意人物の探索と追跡を行ってもよい。タイムラグは回線速度や管理サーバ３００の能力に依存して変化するが、人物の移動速度と比較すれば十分に早いであろうため、実際の位置と探索で得られる位置との誤差は少なく、問題となる可能性は低い。あるいは、追いかけ再生を開始した直後は探索を行うフレームの間隔を大きくし、タイムラグが無くなった段階で通常のフレーム周期で探索、追跡を行うことで、タイムラグを無くすようにしてもよい。この探索においても、上述したように、顔情報のみならず服装などの情報を用いることができる。

また、物品の盗難が頻発する場所など、店舗内での要注意場所を予め登録しておき、要注意人物が要注意場所に移動した際に管理者や店員に通知するように構成してもよい。
図１１（ａ）は、要注意場所の登録画面の例を示す図である。例えば、図９（ａ）に示したような店舗内の模式的な俯瞰図を管理装置１５０の表示部１５３に表示する。ユーザは、入力部１５４に含まれるマウスなどを用いて画面中の所望の範囲６０２をドラッグ等の操作により指定し、ＯＫボタン６０３をクリックすることで、要注意場所を登録することができる。管理装置は画面内で指定された領域６０２の位置から、その領域を撮影範囲に含む監視カメラ（この例では１６０Ｂ）を判別し、判別した監視カメラの撮影範囲における領域６０２の位置から、領域６０２を、監視カメラ１６０Ｂで撮影される画像中の領域の位置情報（例えば座標範囲）に置き換えて登録する。図１１（ｂ）は、図１１（ａ）での領域６０２の登録情報の例を示す図である。この例では、要注意場所の登録情報として、通し番号と、監視カメラを特定する情報と、画像中の座標範囲とが関連付けて登録される。ここでは、座標範囲として、領域６０２に外接する矩形の対角２頂点の座標を登録する場合を示したが、中心と半径、各頂点の座標など、領域を特定可能な任意の情報を登録しうる。

上述した要注意人物の追跡時に、管理装置１５０は要注意人物の画像領域の中心又は重心位置が要注意場所の座標範囲内に含まれるかどうかを判別し、含まれる場合に店舗の管理者や店員に報知することができる。これにより、要注意人物の入店が確認されたものの、店員が少ない等の理由により、要注意人物を店員が常時監視できない場合であっても、効果的な万引きの抑制が期待できる。

なお、第１の実施形態と第２の実施形態は組み合わせて実施可能であることは言うまでもない。第２の実施形態においても、警報に係る画像はネットワーク２００を通じて管理サーバへ送信し、第１の実施形態と同様の処理を行うことができる。ただし、第２の実施形態では、画像処理部１５２で警報に係る画像の特徴を抽出するので、画像とともに抽出した特徴の情報を管理サーバへ送信することで、管理サーバの処理を軽減することができる。

また、照合の結果、管理サーバから通知があった場合、その情報を図１０に示した再生画面に合わせて表示するようにして、探索対象者の検出履歴などを把握できるようにすることもできる。

（第３の実施形態）
第１の実施形態においては、ゲート１２０に設けられたカメラ１２５で撮影された画像から得られる顔情報を登録し、入店者の映像に適用して照会を行う構成であった。一般にゲート１２０は、図１２に示すように、通路の脇に設けられ、ゲート１２０に設けられた登録用カメラ１２５の光軸１３１は、通常、通路に対して平行ではなく、ある角度αを有している。そのため、ゲート１２０のカメラ１２５では、通路を通る人物を斜め方向から撮影することになる。また、人物がカメラ１２５の撮影範囲を通過する時間のうち、顔認識に用いることのできる程度の大きさで顔を撮影できる時間は短く、さらには通路を移動するにつれて光軸と人物との角度が徐々に変化する。従って、カメラ１２５における撮影は、顔認識のテンプレートとして用いる画像（顔認識のための特徴情報を取得するための画像）の撮影条件としては厳しく、結果として、斜め方向から撮影した画像から得られる顔情報の信頼度は必ずしも高くなく、満足のいく顔認識精度が得られない場合がある。さらに、照会用カメラが登録用カメラと異なるカメラである場合、通常は人物を撮影する互いに角度が異なるため、その点においても顔の認識精度が低下する場合がある。

一方、入店者を例えば天井に取り付けた監視カメラ１６０で撮影する場合、例えば天井などから吊り下げることにより、店舗に入ろうとする人物が通行する通路を略正面から撮影するように（光軸が通路の方向と略平行となるように）監視カメラ１６０を設置することができる。つまり、監視カメラ１６０により、入店者を略正面から撮影することができる。また、撮影範囲内で人物が移動している期間においても、人物の顔の向きが大きく変化しない。そのため、ゲート１２０のカメラ１２５と比較的すると、顔の大きさ、向きともに安定した撮影が可能であり、撮影画像から得られる顔認識のための特徴情報の信頼度は高い。また、照会用カメラで撮影した映像から得られる特徴情報を用い、照会用カメラで撮影した映像に対して顔認識を行う場合、同じカメラで撮影した画像であるため、カメラの撮影方向が等しい。従って、顔の認識精度も高くなる。

このように、照会用カメラとして、入店者を正面から撮影する監視カメラ１６０が設けられている場合、監視カメラ１６０で撮影した映像から得られる顔情報を登録することで、万引きをした疑いのある人物が再度来店した際の認識率を向上させることができる。このような認識に基づき、本実施形態では、ゲート１２０のカメラ１２５で撮影された映像から得られる顔情報を登録するのではなく、カメラ１２５で撮影された顔と同一と考えられる顔が含まれる、監視カメラ１６０が撮影した映像から得られる顔情報を登録することを特徴とする。

以下、本実施形態に係る万引き防止システムの動作について詳細に説明する。
本実施形態に係る万引き防止システムの構成は前述したとおりであってよい。ただし、照会用カメラには監視カメラ１６０を用い、登録用カメラにはカメラ１２５を用いるが、最終的に登録する顔情報を抽出する画像は、照会用カメラである監視カメラ１６０で撮影された画像であることが異なる。なお、監視カメラ１６０は、入店する人物を漏れなく、かつ正面から撮影することが出来れば、店舗のどの場所に設けられても、どのような範囲を撮影してもよい。なお、上述の通り、監視カメラ１６０は、入店者の顔を認識するために十分な情報が撮影画像から得られるよう、設置位置、画角、撮影画像の画素数（あるいは監視カメラ１６０の撮像素子の画素数）などが決定される。

本実施形態において、ゲート１２０は、カメラ１２５（登録用カメラ）によって出店方向（店舗から出ようとしてゲートに向かってくる人物を撮影できる方向）の視野を周期的あるいは連続的に撮影している（Ｓ１０１）。照会用カメラが周期的に撮影する場合、出店者を漏れなく撮影できる程度の撮影周期（見通し距離にもよるが、例えば０．５〜１秒おき）を設定する。なお、出店者の顔情報を漏れなく取得するためには、連続して撮影するか、充分短い間隔で撮影することが望ましい。本実施形態では、カメラ１２５は連続撮影しているものとする。カメラ１２５（登録用カメラ）が撮影した映像は、ゲート制御部１２１が管理装置１５０へ順次送信する（Ｓ１０３）。

本実施形態においては、監視カメラ１６０が照会用カメラとして機能するため、入店方向の視野を撮影した映像は、監視カメラ１６０から管理装置１５０に送信される。監視カメラ１６０の撮影も、連続的もしくは充分短い間隔で行うことが好ましく、連続的に行うことがより好ましい。本実施形態では、監視カメラ１６０は連続撮影しているものとする。

カメラ１２５による出店方向の視野の撮影と撮影映像の送信動作と並行して、ゲート１２０の送受信器１２３はタグを検出するための所定周波数の電波を間欠的に送信し、送信した電波に対してタグから応答があったかどうかをチェックしている（Ｓ１０５）。そして、タグからの応答が受信され、ゲート近傍にタグの存在が検出されると、送受信器１２３はゲート制御部１２１に通知する。

ゲート制御部１２１は通知を受信するとスピーカ１２２から警告音を発生させるとともに、管理装置１５０に対して警報の発生を通知する。

一方、管理装置１５０は、ネットワークインタフェース１５１に接続された１つ以上のゲート１２０および監視カメラ１６０から受信した映像を管理サーバ３００へ送信する処理（図６（ａ））及び、管理サーバ３００からの通知を受信する処理（図６（ｂ））を並行して行っている。

管理装置制御部１５５は、ネットワークインタフェース１５１を通じてゲート１２０の登録用カメラ１２５からの映像と監視カメラ１６０からの映像を受信し、所定時間分、記憶部１５６に蓄積する。なお、蓄積する時間は、ゲート１２０から受信した映像については例えば直近の１０秒〜数分、監視カメラ１６０から受信した映像については例えば直近の１日〜数日分であってよい。これらの数値は単なる一例であり、記憶部１５６の容量に応じて適宜決定すればよい。ただし、一般に、ゲート１２０から受信した出店方向の映像は、警報がなければ長期間分保存しておく必要性に乏しい。

管理装置制御部１５５は、照会用カメラである監視カメラ１６０から受信した映像については、記憶部１５６に蓄積しながら、画像処理部１５２に顔検出を行わせる。そして、管理装置制御部１５５は、監視カメラ１６０で撮影された映像のうち顔領域が検出された画像（フレーム）について、ファイル種別が「通常」の画像ファイルを生成し、管理サーバ３００に送信する。なお、管理サーバ３００の記憶部３０６の容量に余裕があり、また、管理サーバ３００と管理装置１５０との間の通信速度が充分高速であれば、照会用カメラ１６０から受信した映像をそのまま管理サーバ３００にストリーミングして、管理サーバ３００の記憶部３０６に蓄積してもよい。

一方、カメラ１２５から受信した映像については、警報を受信しない限り、蓄積動作（新規画像（フレーム）を記録し、古い画像を削除して、常に直近の所定時間分が蓄積されるようにする動作）を継続する。管理装置制御部１５５は警報の発生通知を受信すると、記憶部１５６に蓄積中のカメラ１２５の撮影映像に対して画像処理部１５２に顔検出を行わせる。具体的には、管理装置制御部１５５は、蓄積されている映像のうち、警報の発生通知を受信したタイミングを基準として、予め定められた時間範囲の映像を、記憶部１５６の消去されない領域にコピーした後、顔検出を実行させる。蓄積動作は継続して行われ、蓄積内容は順次更新されていくため、警報が発生した場合には解析に用いる撮影映像を保護するために、消去されない別の領域にコピーしている。

警報が発生した際にコピーする撮影映像の時間範囲は、警報の原因となった人物がカメラ１２５で撮影されている可能性が高い期間を含むように設定される。例えば、カメラ１２５の撮影範囲を人物が通過するのに通常要する時間や、タグを検出する送受信器１２３とカメラ１２５との位置関係などに基づいて予め定めておくことができる。ここでは一例として、警報の発生時刻に対して前後１０秒間の期間が設定されているものとする。

画像処理部１５２は、コピーされた映像に対して顔検出処理を行う。そして、画像処理部１５２は、撮影映像に含まれる個々のフレーム画像について、顔検出ができた場合には顔領域の場所や大きさ、顔検出の信頼度を含む顔領域情報を、顔領域が検出できなければ検出できなかった旨の情報を、管理装置制御部１５５に供給する。

管理装置制御部１５５は、警報に係る期間に登録用カメラ１２５で撮影された映像のうち顔領域が検出されたフレームについて、ファイル種別が「警報」の画像ファイルを生成して管理サーバ３００に送信する。顔領域が検出されたフレームが複数存在する場合には、全てについて画像ファイルを生成してもよいし、顔検出の信頼度の高いフレームについてのみ画像ファイルを生成してもよい。
管理装置制御部１５５による、管理サーバ３００からの通知に関する処理は上述の実施形態と同様であるため、説明を省略する。

管理サーバ３００において、管理サーバ制御部３０５は、店舗システム１１０から画像ファイル（又は映像ストリーム）が送信されてくるのを待機している（Ｓ３０１）。画像ファイルを受信すると、管理サーバ制御部３０５は、受信した画像ファイルまたは映像ストリームを記憶部３０６へ保存する。

図７におけるＳ３０１〜Ｓ３０５までの処理については、店舗システム１１０から映像ストリームが送信されてくる場合を除き、上述の実施形態と基本的に同一である。店舗システム１１０から照会用カメラの映像ストリームを受信している場合、画像処理部３０２は映像ストリームの各フレーム画像に対して顔検出処理を行い、顔領域が検出されたフレーム画像について顔認証処理を行う。

Ｓ３０５において、顔認証処理において見つかった顔が登録済みの人物の顔でないと判別された場合、管理サーバ制御部３０５は、Ｓ３０７と同様にして、顔認証処理を行った画像が警報に係る画像かどうかを判別する（Ｓ３１３）。そして、警報に係る画像でなければ、一般客とみなして登録処理を行わずにＳ３０１の処理へ戻る。一方、警報に係る画像である場合には、新たな顔ＩＤを有する顔情報ファイルを生成し（Ｓ３１５）、当該新たな顔情報ファイルに対して登録処理を行う（Ｓ３１１）。

本実施形態において、新たな顔情報ファイルに対して登録処理を行う場合の動作について、図１３に示すフローチャートを用いて説明する。
管理サーバ制御部３０５は、店舗システム１１０から受信した種別「警報」の画像ファイルのうち、探索に用いる画像（を含んだ画像ファイル）を決定する（Ｓ７０１）。管理サーバ制御部３０５は、同一の警報に係る画像ファイルが１つだけ受信されていればその画像ファイルを探索に用いる画像ファイルとして決定する。
また、同一の警報に係る画像ファイルが複数受信されている場合には、それらの中で顔検出時の信頼度が最も高いものを、探索に用いる画像ファイルとして決定することができる。あるいは、信頼度が所定値以上である１つ以上の画像ファイルを探索に用いる画像ファイルとして決定してもよい。なお信頼度としてどのような値を用いるかは本発明に本質的な事項ではなく、顔検出技術において検出の確からしさの指標として一般的に用いられている任意の値を用いることができる。

次に、管理サーバ制御部３０５は、画像処理部３０２に対し、決定した画像ファイルに含まれる画像から得られる顔情報を用いて、照会用カメラ１６０で撮影した映像（又は映像から生成された画像ファイル）を探索するように指示する。

この指示に応答して、画像処理部３０２は、探索処理を実行する（Ｓ７０２）。画像処理部３０２は、記憶部３０６に保存されている、照会用カメラ１６０で撮影された映像のうち、警報が発生した時刻から所定時間（例えば数十分〜数時間）遡る期間に撮影された映像に含まれるフレームであって、かつ顔領域が検出されるフレームに対して探索を行う。この探索動作は基本的に顔認証処理と同一であり、種別「警報」の画像ファイルに含まれている画像データから検出された顔情報と類似した特徴情報を有する顔が含まれるフレームを探索する。なお、複数の画像ファイルを探索に用いる場合、個々の画像ファイルに含まれる画像から得られる特徴情報を用いて探索を行えばよい。

そして、画像処理部３０２は、探索された画像（フレーム）に基づいて、代表顔情報及び代表画像データを含んだ新たな顔情報データファイルを生成し、顔情報ＤＢ３１０に登録する（Ｓ７０３）。

このように、本実施形態では、ゲートに設けられたカメラで撮影された画像から検出された顔情報を用いて、入店者を略正面から撮影するように設置された照会用カメラで撮影された映像を探索する。そして、類似度の高い（同一と判断される）顔を含んだフレームから得られる顔情報を顔情報ＤＢに登録する。監視用カメラは入店者を略正面から撮影するように設置されているので、顔情報ＤＢに登録される顔情報の精度が高くなり、認識率の向上を図ることができる。さらに、顔情報を抽出した画像を撮影したカメラと、顔情報を用いて顔認識を行う画像を撮影するカメラが同一となるため、この点においても顔認識の精度が向上する。

なお、顔情報の登録は、警報に係る画像を受信した時点で直ちに行わなくてもよい。店舗の開店時間中は入店者の照会を随時行う必要があるため、処理負荷を軽減するために店舗の閉店時間などに行ったり、負荷が少ない場合に行うようにしてもよい。

（変形例）
登録された顔情報を用いて入店者を認識し、警報などを通知するため、登録すべきでない人物の顔情報を誤って登録することは望ましくない。そのため、ユーザの承認を受けてから顔情報を登録するようにしてもよい。また、照会用カメラ１６０で撮影された映像を探索するために用いる顔情報を抽出するための、カメラ１２５で撮影した画像についても、ユーザが選択できるように構成することもできる。

例えば、管理装置１５０において、ユーザの確認を得ながら顔情報の登録を行うための登録画面（登録ウィンドウ）の例を図１４に示す。
設定画面８００は、例えば警報が発生し、顔情報の登録処理を実行する必要がある場合に管理装置制御部１５５が表示部１５３に自動的に表示するようにしてもよいし、ユーザ操作に応じて表示するようにしてもよい。

図１４では、ゲート１２０が通路を挟んで２基設置され、個々のゲート１２０のカメラ１２５で撮影を行っている場合の例を示している。タイムライン８０１と映像表示領域８０２において、上段は出店方向に向かって右側のゲート、下段は左側のゲートに対応している。タイムライン８０１は、映像表示領域８０２に表示されているフレーム画像が、警報発生時にコピーされた所定時間分の画像のどのタイミングで撮影されたものか、を示すものである。画面左端から右端へ向かって時間軸が存在している。なお、所定時間の全体を設定画面の幅で表示する必要はなく、水平スクロール表示させてもよい。タイムライン８０１において、警報マーク８１１は、警報が発生したタイミングを示している。

タイムライン８０１上の位置が例えばマウスクリックなどにより指定されると、その位置に選択マーク８１２が表示される。そして、指定位置に対応した時刻に撮影されたフレーム画像を含む複数のフレーム画像が時系列的に映像表示領域８０２に表示される。さらに、指定位置に対応した時刻に撮影されたフレーム画像には選択マーク８２２が表示されるとともに、拡大表示領域８０３に拡大表示される。なお、タイムライン８０１の代わりに映像表示領域８０２に表示されているフレーム画像を選択してもよく、この場合には選択されたフレーム画像の撮影時刻に対応したタイムライン８０１上の位置に選択マーク８１２が表示される。

送り／戻しボタン８２３は、映像表示領域８０２に表示されるフレーム画像の撮影時刻の範囲を進めたり戻したりするためのボタンであり、１回のクリックに対応する時間の長さに応じて送り・戻り方向とも３種類のボタンが配置されている。

映像表示領域８０２においては、カメラ１２５で撮影された映像のフレーム画像が時系列的に表示され、顔領域が検出できた画像については顔検出マーク８２１が表示される。

例えば管理装置１５０のユーザは、タイムライン８０１の警報マーク８１１付近に対応するフレーム画像を映像表示領域８０２に表示させ、その中から顔検出できている画像を探すことで、照会用カメラ１６０の映像を探索するための顔情報を抽出するフレーム画像の候補を効率的に探すことができる。上述の通り、映像表示領域８０２に表示されているフレーム画像のうち選択されているものは、拡大表示領域８０３に拡大表示される。また、選択されたフレーム画像で顔領域が検出できている場合には、顔領域の画像がさらに顔表示領域８０６に拡大表示される。

検索条件指定領域８０４は、照会用カメラ１６０で撮影された映像の探索範囲などの検索条件を指定するための領域である。この例では、警報が発生した時刻（警報マーク８１１に対応した時刻）を終了時刻、終了時刻から所定時間（この例では２時間）遡った時刻を開始時刻とした探索範囲が管理装置制御部１５５によって自動入力されるが、ユーザは、入力部１５４を用いて開始時刻、終了時刻を変更することができる。また、照会用カメラ１６０が複数ある場合には、探索対象となる照会用カメラを指定することもできる。指定されない場合には、店舗に設置されている全ての照会用カメラで撮影された映像が探索対象となる。

検索ボタンのクリックなどによって検索の実行が指示されると、探索動作を開始する。なお、検索実行の指示は、顔領域が検出できているフレーム画像が選択されている場合にのみ有効であり、顔領域が検出できていないフレーム画像が選択されている場合、顔表示領域８０６は空欄であり、また検索ボタンは無効表示となる。

探索は、設定画面８００で選択されているフレーム画像で検出された顔領域から得られる顔情報を用いて行われる。上述の通り、警報に係る画像のうち顔領域の検出できている画像については画像ファイルとして管理サーバ３００に送信済みである。そのため、管理装置１５０は、指定された探索条件と、撮影時刻のような画像を特定する情報を管理サーバ３００に送信すれば、管理サーバ３００は探索を実行することができる。

管理サーバ３００では、指定された画像から画像処理部３０２で得られる顔情報を用い、指定された条件で探索を行う。探索範囲の映像において、同一と判断される顔が撮影されているフレーム画像が検出されると、そのフレームに関して、予め設定されている情報を管理装置１５０に通知する。本実施形態では、予め定められた顔の類似度が所定値以上である場合に、同一の顔であると判断する。管理装置制御部１５５は、管理サーバ３００からの通知に基づいて、検出された画像の情報をログ表示領域８０５に一覧表示する。

ログ表示領域８０５には、探索で見つかった照会用画像の情報が、顔の類似度を数値で表すスコアの順に一覧表示される。一覧表示される情報には、例えば撮影時刻、顔領域の画像、スコア、カメラ名などが含まれる。また、一覧表示における画像ごとの欄の背景色は、例えば過去に顔情報として登録されている画像かどうかなど、何らかの情報に応じて変化させることができる。

ユーザが、ログ表示領域８０５に一覧表示された情報の１つを選択すると、選択された情報の欄が選択表示され（８５１）、対応する顔領域の画像が候補表示領域８０７に表示される。ユーザは、顔表示領域８０６と候補表示領域８０７にそれぞれ拡大表示された顔を見比べて、同一人物であると確認できたら、登録ボタン８０８をクリックするなどして登録を指示する。登録指示を受け付けると、管理装置制御部１５５は、その時点で一覧表示領域８０５で選択されている情報を元に、顔情報を登録するために用いる画像を特定する。そして、管理装置１５０は、顔情報を登録するために用いる画像を特定する情報（例えば撮影時刻とカメラを特定する情報）を管理サーバ３００に送信する。管理サーバ３００は、この情報で特定される画像を用いて顔情報の抽出（再度必要であれば）および登録を行う。

なお、顔認識は管理装置１５０の画像処理部１５２で行ってもよい。そのため、照会用カメラ１６０で撮影した映像を記憶部１５６にある程度の期間（例えば直近の数日分）蓄積しておける場合には、登録する顔情報の生成までを管理装置１５０が全て行い、生成した顔情報だけを管理サーバ３００に送信するようにしてもよい。

Claims (12)

1. 店舗の通路に沿って設けられ、管理対象の物品に取り付けられたタグを検出するゲートであって、前記通路を通って前記店舗から出て行こうとする人物を撮影する視野を有するカメラを備えるゲートと、
   前記店舗内の所定範囲を撮影するように設置された監視カメラと、
   前記ゲート及び前記監視カメラと接続され、前記監視カメラで撮影された映像を保存する記憶装置を備える管理装置とを有する万引き防止システムであって、
   前記ゲートは、前記タグを検出すると、前記カメラにより前記ゲート前の通路を撮影し、撮影した画像を前記管理装置に送信し、
   前記管理装置が、
   前記ゲートから受信した前記画像から、少なくとも人間の顔の特徴を表す顔情報を取得する顔検出手段と、
   前記記憶装置に保存されている前記監視カメラで撮影された映像を前記顔情報を用いて探索し、前記顔情報に対応する人物が撮影されている映像が含まれるか否かを判別する探索手段とを有することを特徴とする万引き防止システム。
2. 前記探索手段が、前記監視カメラで撮影された映像を新しい映像から順に探索し、前記顔情報に対応する人物が撮影されていると判別された時点から遡って前記映像の再生を開始し、
   前記再生された映像を表示する表示手段をさらに有することを特徴とする請求項１記載の万引き防止システム。
3. 前記監視カメラは、撮影範囲の少なくとも一部が互いに異なる複数の監視カメラであり、
   前記探索手段は、前記複数の監視カメラで撮影された複数の映像のうち、前記ゲートの位置に最も近い撮影範囲を有する１つの監視カメラで撮影された映像の探索を最初に行うことを特徴とする請求項２記載の万引き防止システム。
4. 前記探索手段は、前記再生中の映像において前記顔情報に対応する人物が撮影されていないと判別されると、前記再生中の映像の撮影範囲と撮影範囲の近接する他の監視カメラで撮影された映像の探索を開始することを特徴とする請求項３記載の万引き防止システム。
5. 前記探索手段は、前記再生中の映像において前記顔情報に対応する人物が撮影されていないと判別されるまでの前記人物の領域の大きさが増加していたか、減少していたかによって、前記他の監視カメラを決定することを特徴とする請求項４記載の万引き防止システム。
6. 前記監視カメラで撮影される映像中の位置と、前記店舗内の位置との関係とが予め登録された位置情報記憶手段をさらに有し、
   前記探索手段は、前記再生中の映像において前記顔情報に対応する人物が撮影されていると判別された場合、前記再生中の映像中における顔情報に対応する人物の位置を検出し、前記位置情報記憶手段を用いて店舗内の位置を取得し、前記表示手段に表示することを特徴とする請求項１乃至請求項５のいずれか１項に記載の万引き防止システム。
7. さらに、前記管理装置が、前記ゲートから受信した前記画像を外部の管理サーバに送信する送信手段を有し、
   前記管理サーバから、前記顔情報に対応する人物が前記管理サーバに登録されている人物であることを示す情報を受信すると、前記探索手段が、前記情報を前記再生された映像とともに前記表示手段に表示することを特徴とする請求項２乃至請求項６のいずれか１項に記載の万引き防止システム。
8. 店舗の通路に沿って設けられ、管理対象の物品に取り付けられたタグを検出するゲートであって、前記通路を通る人物を撮影する視野を有するカメラを備えるゲートと、
   前記店舗内の所定範囲を撮影するように設置された少なくとも１つの監視カメラと、
   を備える管理装置とを有する万引き防止システムであって、
   前記ゲートのカメラと前記監視カメラの少なくとも１つは、前記通路を通って前記店舗に入ろうとする人物を撮影するとともに、撮影した画像を前記管理装置に送信し、
   前記管理装置が、
   前記受信した前記画像に、予め登録されている人物が撮影されている場合、前記予め登録されている人物の、少なくとも人間の顔の特徴を表す顔情報を用いて前記監視カメラが撮影した映像を探索し、前記顔情報に対応する人物が撮影されている映像が含まれるか否かを判別する探索手段とを有することを特徴とする万引き防止システム。
9. 前記管理装置が、前記受信した前記画像を外部の管理サーバに送信する送信手段をさらに有し、
   前記探索手段は、前記管理サーバから、前記顔情報に対応する人物が前記管理サーバに登録されている人物であることを示す情報を受信すると、前記探索を行うことを特徴とする請求項８記載の万引き防止システム。
10. 店舗の通路に沿って設けられ、管理対象の物品に取り付けられたタグを検出するゲートであって、前記通路を通って前記店舗から出て行こうとする人物を撮影する視野を有するカメラを備えるゲートと、
    前記店舗に入ろうとする人物が通行する通路を略正面から撮影するように設置された監視カメラと、
    前記ゲート及び前記監視カメラと接続され、前記監視カメラで撮影された映像を保存する記憶装置と、
    撮影された画像から、少なくとも人間の顔の特徴を表す顔情報を取得する顔検出手段とを備える管理装置とを有する万引き防止システムであって、
    前記ゲートが前記タグを検出したタイミングの近傍で前記カメラで撮影された画像から前記顔検出手段が取得した顔情報を用いて、前記監視カメラにおいて前記タイミングより前に撮影された画像から、前記顔情報で表される顔と同一と判断される顔が含まれる画像を探索する探索手段と、
    前記探索手段で探索された画像から前記顔検出手段によって得られる顔情報を、前記監視カメラにおいて前記タイミングより後に撮影された画像から、前記ゲートが前記タグを検出したタイミングの近傍で前記カメラで撮影された画像から前記顔検出手段が取得した顔情報で表される顔と同一と判断される顔が含まれる画像を探索するために登録する登録手段とを有することを特徴とする万引き防止システム。
11. 前記顔検出手段は、前記ゲートが前記タグを検出したタイミングの近傍で前記カメラで撮影された画像のうち、人間の顔と思われる領域が検出できた画像であって、かつユーザが選択した画像から前記顔情報を取得することを特徴とする請求項１０記載の万引き防止システム。
12. 前記登録手段は、前記探索手段で探索された画像のうちユーザが選択した画像から、前記顔検出手段で取得される顔情報を登録することを特徴とする請求項１０又は請求項１１記載の万引き防止システム。