JP2009284167A - 人物行動監視装置及び人物行動監視プログラム - Google Patents

Abstract

【課題】不正行為等の特定の行為が行われたと推定される画像データに速やかにアクセスできるようにする。
【解決手段】監視領域内を移動する人物の行動を追跡する動線データを記憶する動線データベース３６と、監視領域内を移動する人物を撮影可能なカメラで撮影された画像データを記憶する画像データベース３４とを備える。人物行動監視装置１は、動線データベース３６に記憶された人物の動線データのなかから、特定の人物行動を表わす条件データに該当する人物行動が行われた区間を検索する。検出された区間の当該人物を撮影したカメラ画像データを抽出する。抽出されたカメラ画像データを再生する。
【選択図】 図１

Description

本発明は、例えばコンビニエンスストアやスーパーマーケット等の店舗において、来店した顧客の行動を監視する人物行動監視装置及びコンピュータを当該監視装置として機能させるための人物行動監視プログラムに関する。

従来、来店した顧客の行動を監視するシステムとしては、人物動線追跡技術を利用した監視カメラシステムが知られている。
例えば特許文献１には、店内等の監視領域を撮影するカメラと、カメラの撮影に基づく監視画像から監視対象の移動体を検出し追跡する移動体検出・追跡手段と、移動体の移動情報を演算する演算手段と、監視画像、移動体検出・追跡結果、移動情報等の監視情報を記憶する監視情報記憶手段と、監視情報の一部または全部を選択的に表示する表示手段とを備えた監視カメラシステムが開示されている。

このような監視カメラシステムを、コンビニエンスストアやスーパーマーケット等の店舗で導入することにより、万引き等の不正行為があった際には監視画像を再生することで、不正行為者を確認することができる。

また、特許文献２には、店舗内に設置されたカメラで撮影された映像を時間情報と紐付けして記録した映像データベースと、販売情報入力装置から入力された購入商品を含む販売情報を購入時刻と紐付けして記録した販売情報データベースと、映像データベースに記録した映像を取り込んで画像処理を行い、人物の抽出と抽出された人物の追跡を行って人物の位置する座標及び人物の識別情報に時間情報を紐付けした動線データを作成する動線変換処理部と、動線変換処理部で作成された動線データを記録する動線データベースを備え、販売情報を指定して販売データベースから監視対象者を抽出し、監視対象者の購入時刻から動線データベースの動線データを特定して表示する販売分析装置が開示されている。
特開２００３−１０１９９９号公報 特開２００６−３５０７５１号公報

従来の人物動線追跡技術を利用した監視カメラシステムにおいては、監視画像を再生することで万引き等の不正行為を確認できるものの、そのためには、監視画像を逐一チェックしなければならず、確認作業に手間と時間がかかるという課題があった。

本発明はこのような事情に基づいてなされたもので、その目的とするところは、不正行為等の特定の行為が行われたと推定される画像データに速やかにアクセスすることができ、確認作業に要する手間と時間を削減できる人物行動監視装置及びコンピュータを当該装置として機能させるための人物行動監視プログラムを提供しようとするものである。

本発明の人物行動監視装置は、監視領域内を移動する人物の行動を追跡する動線データを記憶する動線データベースと、監視領域内を移動する人物を撮影可能なカメラで撮影されたカメラ画像データを記憶するカメラ画像データベースと、特定の人物行動を表わす条件データが設定される条件設定部と、動線データベースに記憶された人物の動線データのなかから、条件データに該当する人物行動が行われた区間を検索する検索手段と、この検索手段により検出された区間の当該人物を撮影したカメラ画像データを抽出する抽出手段と、この抽出手段により抽出されたカメラ画像データを再生する再生手段とを備えたものである。

本発明の人物行動監視プログラムは、監視領域内を移動する人物の行動を追跡する動線データを記憶する動線データベースと、監視領域内を移動する人物を撮影可能なカメラで撮影されたカメラ画像データを記憶するカメラ画像データベースとにアクセス可能なコンピュータに、動線データベースに記憶された人物の動線データのなかから、特定の人物行動を表わす条件データに該当する人物行動が行われた区間を検索させる検索機能と、この検索機能により検出された区間の当該人物を撮影したカメラ画像データを抽出させる抽出機能と、この抽出機能により抽出されたカメラ画像データを再生させる再生機能とを実現させるためのものである。

かかる手段を講じた本発明によれば、不正行為等の特定の行為が行われたと推定される画像データに速やかにアクセスすることができ、確認作業に要する手間と時間を削減できる人物行動監視装置及び人物行動監視プログラムを提供できる。

以下、本発明を実施するための最良の形態について、図面を用いて説明する。
なお、この実施の形態は、監視領域としてコンビニエンスストアの店舗を例示し、この店舗における特定の人物行動として、万引き等の不正行為を監視するのに適した人物行動監視装置に本発明を適用した場合である。

図１は本実施の形態のシステム構成図である。本実施の形態は、本発明に係る人物行動監視装置１と、販売管理、動線管理及び商品棚管理をそれぞれ実行する各コンピュータシステム２，３，４とから構成されている。

販売管理を実行するコンピュータシステム、いわゆる販売管理システム２は、複数台（図では２台）のＰＯＳ端末２１ａ，２１ｂと、その上位機として機能するＰＯＳサーバ２２とから構成されている。ＰＯＳサーバ２２と各ＰＯＳ端末２１ａ，２１ｂとは、ＬＡＮ（Local Area Network）等の通信回線２３を介して接続されている。かかる構成の販売管理システム２は、一般に、ＰＯＳシステムと称される。

各ＰＯＳ端末２１ａ，２１ｂは、顧客が買上げる商品の販売データを処理して顧客との商取引を決済させるもので、図２の店内売場領域平面図に示すように、店のチェックアウトカウンタＣＣに設置されている。出入口部ＩＮ／ＯＵＴから入店した顧客は、商品陳列棚Ｒが設置された売場を自由に移動する。そして、購入する商品があったならば、それをチェックアウトカウンタＣＣまで持っていく。店員は、客が購入する商品の販売データをＰＯＳ端末２１ａ，２１ｂに登録して、商取引の決済を行う。決済を終えた客は、出入口部ＩＮ／ＯＵＴから店外に出る。

各ＰＯＳ端末２１ａ，２１ｂは、商取引を決済させる毎に、その商取引の内容を示す購買情報、いわゆるトランザクションデータを生成する。トランザクションデータには、その商取引で売買された商品の商品コード，商品名，分類コード，単価，点数及び金額や合計金額，預かり金額，釣銭額等の取引明細データに加え、端末番号、取引一連番号、責任者コード、取引日時等が含まれる。

端末番号は、当該商取引を決済させたＰＯＳ端末２１ａ，２１ｂを識別するための情報である。取引一連番号は、各ＰＯＳ端末２１ａ，２１ｂで商取引が決済される毎にカウントアップされる番号である。責任者コードは、商取引を決済したキャッシャを特定するコードである。

取引日時は、当該商取引が開始された時点の日時である。各ＰＯＳ端末２１ａ，２１ｂには、時計用ＩＣが実装されており、各ＰＯＳ端末２１ａ，２１ｂの制御部は、顧客の１品目の商品データが入力されたときに時計用ＩＣが計時している日時（年月日時分秒）を取引日時として取得する。

ＰＯＳサーバ２２は、店舗内で販売される各商品の商品コード，商品名，分類コード、単価等の商品情報が格納された商品データベースを管理する。各ＰＯＳ端末２１ａ，２１ｂは、上記商品データベースに格納された商品情報に基づいてトランザクションデータを生成する。

また、ＰＯＳサーバ２２は、取引データベース２４を有する。各ＰＯＳ端末２１ａ，２１ｂで生成されたトランザクションデータは、通信回線２３を介してＰＯＳサーバ２２に送信され、取引データベース２４に蓄積される。

取引データベース２４に蓄積されるトランザクションデータの構造を、図３の模式図で示す。図示するように、端末番号、取引日時、取引一連番号、責任者コード及び取引明細データ等で構成されるトランザクションデータは、取引ＩＤが紐付けされて、取引データベース２４に記憶される。取引ＩＤは、ＰＯＳサーバ２２において、トランザクションデータを受信する毎に生成される固有のデータである。トランザクションデータは、当該取引ＩＤによって、個々に識別される。

動線管理を実行するコンピュータシステム、いわゆる動線管理システム３は、複数台のカメラ３１と、動線サーバ３２とから構成されている。

各カメラ３１は、魚眼レンズを用いたカメラや全方位ミラー付のカメラ等の広角レンズカメラである。これらのカメラ３１は、視体積交差法により売場領域を移動する客の軌跡、すなわち人物動線を追跡するために用いられる。視体積交差法は、例えば客の頭部を複数の方向から撮影し、各画像の頭部の位置から頭部の店内空間に適宜設置された３次元座標系内の座標値を算出する方法である。

各カメラ３１は、図２の店内売場領域平面図において、ＣＡ１〜ＣＡ６として示すように、売場領域の天井部に所定の間隔を開けて設置されている。これらの設置場所から、売場領域を移動する顧客の頭部を撮影する。各カメラ３１の設置場所は、ユーザが、店舗図面を参照したり、実際に店舗内に仮設置したりして、店舗内の什器やＰＯＰ等の遮蔽の影響も考慮し、売場領域の全域が複数のカメラで撮影されるように適宜決定する。因みに、視体積交差法による位置検出精度を高めるためには、店舗全域が少なくとも３台のカメラから撮影されることが望ましい。

このように設置された各カメラ３１により、監視領域、すなわち売場領域を移動する人物の行動を追跡可能となる。また、同時に商品棚Ｒの商品を手に取ったなどの客の行動もある程度撮影されるので、万引き等の不正行為の判別も可能である。

動線サーバ３２は、カメラコントロール部３３を備えており、各カメラ３１の撮影動作を制御する。各カメラ３１は、カメラコントロール部の制御により一定の周期（例えば１／１５秒）で撮影動作を繰り返し、その撮影画像（フレーム画像）を動線サーバ３２に送信する。各カメラ３１で撮影されたフレーム画像データは、カメラ画像データベース３４に順次蓄積される。

カメラ画像データベース３４に蓄積されるフレーム画像データの構造を、図４の模式図で示す。図示するように、フレーム画像データは、カメラＩＤ、フレーム番号及び撮影時刻が紐付けされて、カメラ画像データベース３４に記憶される。カメラＩＤは、当該画像データを撮影したカメラ３１の識別コードである。各カメラ３１には、それぞれ固有のカメラＩＤが予め設定されている。フレーム番号は、各カメラ３１でフレーム画像が撮影される毎にカウントアップされる“１”からの連続番号である。カメラコントロール部の制御により、各カメラ３１のフレーム番号は同期している。撮影日時は、当該画像データが撮影された時点の日時（年月日時分秒）である。

動線サーバ３２は、動線データ生成部３５を有しており、人物（顧客）の動線データを作成する。すなわち動線サーバ３２は、各カメラ３１で撮影された画像データの画像処理により移動体を抽出すると、この移動体を顧客として認識し、その行動を追跡して動線データを作成する（動線生成手段）。

なお、現状の画像処理技術では、各カメラ３１で店内の全エリアを死角なく撮影したとしても、一人の顧客の店内全域の動きを１つの動線として追跡することはきわめて困難である。例えば、動線が途切れたり、他の顧客と入れ替わったりする場合が考えられる。動線サーバ３２は、例えばオペレータのマニュアル操作によって、複数に途切れた同一顧客の動線を、入店から退店まで１本の動線に連結する機能を有している。こうして、顧客毎に生成される入店から退店までの動線データは、動線データベース３６に順次蓄積される。

動線データベース３６に蓄積される動線データの構造を、図５の模式図で示す。図示するように、動線データは、動線ＩＤが紐付けられて、動線データベース３６に記憶される。動線ＩＤは、当該動線データを個々に識別するコードである。動線サーバ３２は、顧客１名の入店から退店までの動線データを生成する毎に、その動線データに固有の動線ＩＤを付して、動線データベース３６に格納する。

動線データは、入店フレーム“１”のフレーム番号、及び退店フレーム“ｎ”（ｎ＞１の整数）のフレーム番号と、入店フレーム“１”から退店フレーム“ｎ”までのフレーム毎の店内座標データとから構成されている。入店フレーム“１”番号は、当該動線データの顧客が最初に検出されたフレーム画像のフレーム番号であり、退店フレーム”Ｎ”番号は、当該顧客が最後に検出されたフレーム画像のフレーム番号である。フレーム番号順の店内座標は、対応するフレーム番号のフレーム画像から検出された当該顧客の位置を、三次元の世界座標系（Ｘ，Ｙ，Ｈ）で特定したものである。本実施の形態では、図２の店内売場領域平面図において、左上の角をＸ軸及びＹ軸の原点（０，０）とし、その床面をＨ（Height）軸の原点としている。

商品棚管理を実行するコンピュータシステム、いわゆる棚管理システム４は、複数のＲＦＩＤリーダ４１と、棚サーバ４２とから構成されている。

各ＲＦＩＤリーダ４１は、商品棚Ｒの各スペースにそれぞれ置かれた商品から、ＲＦＩＤ（Radio Frequency Identification）タグのデータを非接触で読み取れるように、商品棚Ｒ毎に設けられている。各商品には、予めＲＦＩＤタグが付されている。ＲＦＩＤタグのＩＣメモリには、そのタグ固有のＩＤの他、当該タグが付されている商品の商品コード等が格納されている。ＲＦＩＤリーダ４１は、ＲＦＩＤタグの問合せ電波を繰返し発信し、その都度、この問合せ電波に応答したＲＦＩＤタグと無線通信を行って、当該タグのＩＣメモリに記憶されている商品コード等を読み取る。各ＲＦＩＤリーダ４１で読み取られたＲＦＩＤタグデータは、通信回線４３を介して棚サーバ４２に送信される。

棚サーバ４２は、ＲＦＩＤリーダ４１毎に、前回の問合せ電波に応答したＲＦＩＤタグと今回の問合せ電波に応答したＲＦＩＤタグとを照合する。そして、前回は応答したが今回は応答しなかったＲＦＩＤタグを検出すると、棚サーバ４２は、そのＲＦＩＤタグが付された商品が商品棚Ｒから取り出されたと判定する。この場合、棚サーバ４２は、その商品コードと、取り出されたと判定された時刻（感知時刻）と、取り出しを示すステータス“ＯＵＴ”とからなるアイテム感知データを生成し、アイテム感知データベース４４に格納する。

逆に、前回は応答しなかったが今回は応答したＲＦＩＤタグを検出すると、棚サーバ４２は、そのＲＦＩＤタグが付された商品が商品棚Ｒに戻されたと判定する。この場合、棚サーバ４２は、その商品コードと、戻されたと判定された時刻（感知時刻）と、戻しを示すステータス“ＩＮ”とからなるアイテム感知データを生成し、アイテム感知データベース４４に格納する。

アイテム感知データベース４４に蓄積されるアイテム感知データの構造を、図６の模式図で示す。

人物行動監視装置１は、入力部１１、表示部１２、通信部１３、プログラム記憶部１４、データ記憶部１５、ファイル記憶部１６及び制御部１７で構成されている。入力部１１は、キーボード，マウス等の入力デバイスからなる。表示部１２は、液晶ディスプレイ，ＣＲＴディスプレイ等の表示デバイスからなる。タッチパネル付のディスプレイを用いることで、入力部と表示部を兼用してもよい。

通信部１３は、各コンピュータシステム２，３，４のサーバ（ＰＯＳサーバ２２、動線サーバ３２、棚サーバ４２）とのインターフェイス機能を有する。プログラム記憶部１４は、ＲＯＭ（Read Only Memory）で構成されている。データ記憶部１５は、ＲＡＭ（Random Access Memory）で構成されている。ファイル記憶部１６は、ハードディスクや光磁気ディスク等の記録媒体で構成されている。制御部１７は、ＣＰＵ（Central Processing Unit）を主体に構成されている。かかる構成の人物行動監視装置１は、パーソナルコンピュータ等のコンピュータ機器によって実現される。

人物行動監視装置１は、通信部１３を介してＰＯＳサーバ２２、動線サーバ３２及び棚サーバ４２にそれぞれアクセスし、各サーバが管理するデータベース（取引データベース２４、カメラ画像データベース３４、動線データベース３６、アイテム感知データベース４４）のデータを高速で処理することができる。

人物行動監視装置１は、店舗エリア区分ファイル５１、動線−取引連結ファイル５２及び調査アイテムファイル５３を備えている。これらのファイル５１〜５３は、ファイル記憶部１６に形成されている。

店舗エリア区分ファイル５１のデータ構造を図８の模式図で示す。本実施の形態では、図７の破線で示すように、店内売場領域を複数の矩形状の区分領域で分割しており、領域毎に固有の領域ＩＤを割り当てている。店舗エリア区分ファイル５１には、その領域ＩＤ毎に、当該ＩＤで特定される区分領域の左上角の二次元座標（Ｘ，Ｙ）と、右下角の二次元座標（Ｘ，Ｙ）とが設定されている。

店内売場領域をどのようなサイズでいくつに区分するかは、当該システムのユーザが、店舗図面を参照したり、商品の配置等を考慮したりして、適宜決定する。

動線−取引連結ファイル５２のデータ構造を図９の模式図で示す。人物行動監視装置１のプログラム記憶部１４には、動線−取引連結プログラムが実装されている。このプログラムが起動されると、制御部１７は、ＰＯＳサーバ２２の取引データベース２４に記憶されているトランザクションデータと、動線サーバ３２の動線データベース３６に記憶されている動線データとの連結処理を実行する。この連結処理は、以下の処理手順に従い実行される。

先ず、制御部１７は、動線データベース３６に蓄積された動線データを取り込む。そして、各動線データの動線ＩＤをリストとして表示部１２の動線解析画面６０に表示させる。

動線解析画面６０の一例を、図１１に示す。図示するように、動線解析画面６０は、動線表示領域６１と、カメラ画像表示領域６２と、リスト表示領域６３とに区分されている。動線ＩＤのリストは、リスト表示領域６３に表示される。人物行動監視装置１のユーザは、リストから所望の動線ＩＤを選択する。そうすると、この動線ＩＤで特定される動線データの動線６５が動線表示領域６１に表示される。

動線表示領域６１には、店内売場領域のマップ図が表示される。また、動線表示領域６１には、スクロールバー６４が設けられている。スクロールバー６４は、各カメラ３１の撮影時間に同期している。ユーザが、スクロールバー６４を画面に向かって左端から右端にスライドさせると、撮影時間が経過する。そして、その時間に各カメラ３１で撮影された映像から検出された顧客の動線６５が、該マップに重ねて表示される。なお、動線６５は、図１１に示すように、フレーム番号順の店内座標を線で結んだものに限定されるものではなく、店内座標を点で示す動点表示であってもよい。

カメラ画像表示領域６２には、スクロールバー６４で指定された時間に各カメラ３１で撮影された映像が表示される。図示するように、６台のカメラ３１（ＣＡ１〜ＣＡ６）の映像を並べて同時に表示することができる。また、その中から選択された１台のカメラの映像を拡大して表示することもできる。

ユーザは、スクロールバー６４を操作して、動線６５を追跡する。そして、この動線６５の顧客が会計のためにチェックアウトカウンタＣＣに立ち寄ったか否かを判断する。立ち寄っていない場合には、次の動線ＩＤを選択して、その動線を追跡する。

立ち寄っている場合には、ユーザは、動線６５と同期して表示されるカメラ画像から、当該顧客が買上げる商品の１点目をキャッシャがＰＯＳ端末に登録した時点を確認する。そして、その時点の時刻、いわゆる取引開始時刻と、そのＰＯＳ端末の端末番号とを入力する。例えば、一方のＰＯＳ端末２１ａを指定するキーと他方のＰＯＳ端末２１ｂを指定するキーとが入力部１１に設けられており、ユーザは、当該顧客が買上げる商品の１点目をキャッシャがＰＯＳ端末に登録した時点で該当するキーを押下する。そうすると、この動線データに、キーが押下された時点でカメラ画像表示領域６２に表示されていたフレーム画像の撮影時刻が取引開始時刻として、押下されたキーに該当するＰＯＳ端末２１ａまたは２１ｂの端末番号とともに関連付けされる。

ユーザは、動線ＩＤリストに表示された全ての動線データについて、上記と同様にして、取引開始時刻と端末番号との関連付けを行う。

こうして、各動線データに取引開始時刻と端末番号とが関連付けられたならば、人物行動監視装置１は、トランザクションデータと動線データとの紐付けを行う。すなわち人物行動監視装置１は、取引データベース２４から１つのトランザクションデータを取り込む。そして、このトランザクションデータの端末番号が関連付けられているとともに、取引日時に最も近い取引開始時刻が関連付けられた動線データを１つ選択する。該当する動線データを選択できたならば、人物行動監視装置１は、この動線データの動線ＩＤに、当該トランザクションデータの取引ＩＤと取引時刻とを関連付けて、動線−取引連結ファイル５２に登録する。

人物行動監視装置１は、取引データベース２４からトランザクションデータを取り込む毎に、上記処理を繰返し実行する。かくして、取引データベース２４に記憶されているトランザクションデータに、動線データベース３６に記憶されている動線データが紐付けされる。

なお、トランザクションデータの取引日時は、商取引が開始された時点でなく、終了した時点であってもよい。この場合、ユーザは、動線６５と同期して表示されるカメラ画像から、預／現計キー等の締めキーが操作された時点を確認して、キー操作すればよい。

調査アイテムファイル５３のデータ構造を図１０の模式図で示す。図示するように、調査アイテムファイル５３には、アイテムＩＤ、アイテム名称、棚ＩＤ、領域ＩＤ及び検索条件データの各項目からなる調査アイテムデータが１以上保存される。

アイテムＩＤは、調査対象として指定された商品単品または商品分類のコードである。アイテム名称は、その調査対象の名称である。棚ＩＤは、その調査対象が置かれた商品棚を識別するＩＤである。領域ＩＤは、その調査対象が置かれた商品棚に手を伸ばすことが可能な領域を含む区分領域のＩＤである。区分領域とそのＩＤは、図７のレイアウトに従う。この区分領域を調査領域と称する。

検索条件データは、対応する領域ＩＤで特定される調査領域内での特定の人物行動を表わすデータである。条件データの項目としては、滞在時間、動線長、移動速度等がある。動線データを構成するフレーム番号順の店内座標を入店フレームから順に追跡する。そして、当該動線データの顧客が、調査領域に侵入してから退出するまでのフレーム数から、調査領域での滞在時間を算出することができる。また、この領域内での前後の座標間距離を合計することにより、調査領域内での動線長を算出することができる。さらに、この動線長を滞在時間で除することにより、調査領域内での平均移動速度を算出することができる。

例えば、調査領域内に所定時間以上留まった顧客を抽出する場合には、検索条件データとして最小滞在時間を設定する。逆に、留まることなく通過した顧客を抽出する場合には、最大滞在時間を設定する。また、調査領域内でうろついたために所定長以上の動線長を有する顧客を抽出する場合には、検索条件データとして最短動線長を設定する。逆に、うろつくことなく通過した顧客を抽出する場合には、最長動線長を設定する。平均移動速度についても、同様に、最小速度または最大速度を設定する。なお、１アイテムに設定される検索条件データは１項目に限定されるものではなく、２項目以上が設定されてもよい。

ここに、調査アイテムファイル５３は、条件設定部を構成する。調査アイテムファイル５３に対しては、ユーザが適宜所望の調査アイテムデータを追加したり、削除したりすることができる。このような設定機能は、後述する人物行動監視プログラムに含まれていてもよいし、別のプログラムによって実現されてもよい。

今、店舗エリア区分ファイル５１、動線−取引連結ファイル５２及び調査アイテムファイル５３に、それぞれ任意のデータが保存されているものとする。このとき、人物行動監視装置１は、プログラム記憶部１４に記憶された人物行動監視プログラムに従い、人物行動監視業務を実行可能である。

人物行動監視業務の大まかな処理手順を、図１２の流れ図に示す。図示するように、人物行動監視プログラムが起動すると、制御部１７は、先ず、検索処理を実行する（ＳＴ１）。この検索処理は、図１３の流れ図によってその処理手順が具体的に示される。

すなわち制御部１７は、ＳＴ１１として調査アイテムファイル５３から１つの調査アイテムデータを選択する。そして、この調査アイテムデータに基づいて、ＳＴ１２〜ＳＴ２２の処理を実行する。

先ず、制御部１７は、動線データベース３６から先頭の動線データを選択する（ＳＴ１２）。そして、この動線データを構成するフレーム番号順店内座標を入店フレームから順に追跡して（ＳＴ１３）、調査アイテムデータの領域ＩＤで特定される調査領域内に進入したか否かを判断する（ＳＴ１４）。矩形状をなす調査領域の左上角の座標（Ｘ１，Ｙ１）と右下角の座標（Ｘ２，Ｙ２）は、店舗エリア区分ファイル５１に予め設定されている。したがって、制御部１７は、フレーム番号順店内座標を入店フレームから順に追跡して、Ｘ座標がＸ１からＸ２の範囲内で、かつ、Ｙ座標がＹ１からＹ２の範囲内である店内座標を検出すると、調査領域内に進入したと判断する（ＳＴ１４のＹＥＳ）。その場合、制御部１７は、その店内座標に対するフレーム番号を、進入フレーム番号としてデータ記憶部１５の進入フレーム番号メモリで記憶する（ＳＴ１５）。

次に、制御部１７は、フレーム番号順店内座標の追跡を継続して、調査領域から離脱したか否かを判断する（ＳＴ１６）。Ｘ座標がＸ１からＸ２の範囲外に出るか、Ｙ座標がＹ１からＹ２の範囲内に出た店内座標を検出すると、調査領域から離脱したと判断する（ＳＴ１６のＹＥＳ）。その場合、制御部１７は、その店内座標に対するフレーム番号を、離脱フレーム番号としてデータ記憶部１５の離脱フレーム番号で記憶する（ＳＴ１７）。

次に、制御部１７は、調査領域内の人物行動を判定する（ＳＴ１８）。前述したように、進入フレーム番号から離脱フレーム番号までのフレーム数により、調査領域内の滞在時間を算出することができる。また、この領域内での前後フレームの座標間距離を合計することにより、調査領域内での動線長を算出することができる。さらに、この動線長を滞在時間で除することにより、調査領域内での平均移動速度を算出することができる。

制御部１７は、調査領域内の人物行動が、調査アイテムデータの検索条件を満足するか否かを判断する（ＳＴ１９）。例えば、検索条件として最小滞在時間が設定されていた場合には、調査領域内の滞在時間を算出する。そして、この滞在時間が、最小滞在時間を上回る場合には検索条件を満足したと判断し、最小滞在時間に満たない場合には検索条件を満足しないと判断する。検索条件として最小動線長が設定されていた場合には、調査領域内の動線長を算出する。そして、この動線長が、最小動線長を上回る場合には検索条件を満足したと判断し、最小動線長に満たない場合には検索条件を満足しないと判断する。

検索条件を満足しないと判断された場合（ＳＴ１９のＮＯ）、制御部１７は、当該動線データのフレーム番号順店内座標の追跡を継続する（ＳＴ１３）。

これに対し、検索条件を満足すると判断された場合には（ＳＴ１９のＹＥＳ）、制御部１７は、当該動線データの動線ＩＤと、進入フレーム番号メモリで記憶した進入フレーム番号と、離脱フレーム番号で記憶した離脱フレーム番号とから、調査対象動線データを生成する。調査対象動線データは、データ記憶部１５の調査対象メモリで記憶される（ＳＴ２０）。しかる後、制御部１７は、当該動線データの追跡を継続する（ＳＴ１３）。

こうして、当該動線データについて、退店フレーム番号の座標まで追跡を完了したならば（ＳＴ２１のＹＥＳ）、制御部１７は、動線データベース３６に次の動線データが保存されているか調べる（ＳＴ２２）。保存されている場合には（ＳＴ２２のＹＥＳ）、この動線データを選択して（ＳＴ１２）、ＳＴ１３以降の追跡処理を実行する。

動線データベース３６に次の動線データが保存されていない場合には（ＳＴ２２のＮＯ）、制御部１７は、調査アイテムファイル５３に次の調査アイテムデータが設定されているか調べる（ＳＴ２３）。設定されている場合には、制御部１７は、この調査アイテムデータを選択して（ＳＴ１１）、ＳＴ１２以降の検索処理を再度実行する。

調査アイテムファイル５３に次の調査アイテムデータが設定されていない場合（ＳＴ２３のＮＯ）、制御部１７は、調査対象メモリ内の調査対象動線データを、動線ＩＤの昇順あるいは降順にソートする（ＳＴ２４）。以上で、今回の検索処理を終了する。

このような検索処理が実行されることにより、動線データベース３６に保存された動線データ毎に、その動線データで示される人物行動が追跡される。そして、調査アイテムファイル５３に設定された調査アイテムデータの条件を満足する人物行動が行われた区間の有無が検索される。その結果、該当する人物行動の区間が検出されたならば、その動線データの動線ＩＤと、その区間の先頭フレームである進入フレーム番号と、最終フレームである離脱フレーム番号とが、調査対象動線データとして調査対象メモリに記憶される。１つの動線データの中に該当区間が複数ある場合には、それぞれについて、調査対象動線データが作成され、調査対象メモリに記憶される。

ここに、検索処理を実行する制御部１７は、動線データベース３６に記憶された人物の動線データのなかから、条件データに該当する人物行動が行われた区間を検索する検索手段を構成する。

検索処理が終了すると、制御部１７は、調査対象メモリに調査対象動線データが記憶されているか否かを判断する（ＳＴ２）。記憶されていない場合には（ＳＴ２のＮＯ）、調査対象の動線データが存在しない。この場合、人物行動監視プログラムは終了する。

調査対象メモリに調査対象動線データが記憶されている場合には（ＳＴ２のＹＥＳ）、制御部１７は、抽出処理を実行する。この抽出処理は、図１４の流れ図によってその処理手順が具体的に示される。

すなわち制御部１７は、ＳＴ３１として調査対象メモリから１つの調査対象動線データを選択する。そして、この選択した調査対象動線データに基づいて、ＳＴ３２〜ＳＴ３４の処理を実行する。

先ず、制御部１７は、選択した調査対象動線データから、動線ＩＤ、進入フレーム番号及び離脱フレーム番号を取得する（ＳＴ３２）。また、動線データベース３６にアクセスして、当該動線ＩＤで識別される動線データの入店フレーム番号と退店フレーム番号とを取得する（ＳＴ３３）。そして、この動線ＩＤと、入店フレーム番号、進入フレーム番号、離脱フレーム番号及び退店フレーム番号とから、調査フレームデータを生成する。調査フレームデータは、データ記憶部１５の調査フレームメモリで記憶される（ＳＴ３４）。

次に、制御部１７は、ＳＴ３５として次の調査対象動線データが調査対象メモリに記憶されているか否かを判断する。記憶されている場合には（ＳＴ３５のＹＥＳ）、ＳＴ３６として前回選択した調査対象動線データと今回選択する調査対象動線データとで動線ＩＤが一致するか否かを判断する。

一致しない場合には、前記ＳＴ３１〜ＳＴ３４の処理を実行する。すなわち、調査対象メモリから次の調査対象動線データを選択し（ＳＴ３１）、この調査対象動線データから、動線ＩＤ、進入フレーム番号及び離脱フレーム番号を取得するとともに（ＳＴ３２）、動線データベース３６から当該動線ＩＤで識別される動線データの入店フレーム番号と退店フレーム番号とを取得し（ＳＴ３３）、調査フレームデータを作成する（ＳＴ３４）。その後、ＳＴ３５の判断処理に進む。

一方、動線ＩＤが一致する場合には（ＳＴ３６のＹＥＳ）、制御部１７は、ＳＴ３７〜ＳＴ３９の処理を実行する。
先ず、制御部１７は、調査対象メモリから次の調査対象動線データ、すなわち直前の調査対象動線データと動線ＩＤが一致するデータを選択する。そして、この選択した調査対象動線データから、動線ＩＤ、進入フレーム番号及び離脱フレーム番号を取得する（ＳＴ３８）。

次に、制御部１７は、調査フレームメモリの動線ＩＤが同一の調査フレームデータに、今回選択した調査対象動線データから取得した進入フレーム番号と離脱フレーム番号とを追加する。このとき、動線ＩＤで識別される１データ内で、入店フレーム番号から退店フレーム番号に向かってフレーム番号が順に大きくなるように、今回の進入フレーム番号と離脱フレーム番号を追加する（ＳＴ３９）。その後、制御部１７は、ＳＴ３５の判断処理に進む。

ＳＴ３５にて、次の調査対象動線データが調査対象メモリに記憶されていないと判断した場合には（ＳＴ３５のＮＯ）、今回の抽出処理を終了する。

このような抽出処理が実行されることにより、調査領域内で特定の行動を行った人物の動線データにおける入店フレーム番号と退店フレーム番号とが抽出される。また、その人物が調査領域内に進入したときのフレーム番号と該調査領域から離脱したときのフレーム番号とが抽出される。そして、これらのフレーム番号が、動線ＩＤ別に、かつフレーム番号の小さい順に、調査フレームメモリに記憶される。

各フレーム番号は、それぞれフレーム画像データに対応している。ここに、抽出処理を実行する制御部１７は、検索手段により検出された区間の当該人物を撮影したカメラ画像データを抽出する抽出手段を構成する。

抽出処理が終了すると、制御部１７は、削除処理を実行する（ＳＴ４）。この削除処理は、図１５の流れ図によってその処理手順が具体的に示される。

すなわち制御部１７は、ＳＴ４１として最小開始フレーム番号の初期値を無限大とする。また、最大終了フレーム番号の初期値を“０”とする。次いで、制御部１７は、ＳＴ４２として調査フレームメモリから１つの調査フレームデータを選択する。そして、この選択した調査フレームデータに基づいて、ＳＴ４３〜ＳＴ４８の処理を実行する。

先ず、制御部１７は、選択した調査フレームデータから入店フレーム番号を取得する（ＳＴ４３）。そして、この入店フレーム番号が最小開始フレーム番号より小さいか否かを判断する（ＳＴ４４）。小さい場合には（ＳＴ４４のＹＥＳ）、最小開始フレーム番号を今回の入店フレーム番号に更新する（ＳＴ４５）。入店フレーム番号が最小開始フレーム番号と等しいか、それより大きい場合には（ＳＴ４４のＮＯ）、ＳＴ４５の処理を実行しない。すなわち、最小開始フレーム番号を現状のまま維持する。

次に、制御部１７は、選択した調査フレームデータから退店フレーム番号を取得する（ＳＴ４６）。そして、この退店フレーム番号が最大終了フレーム番号より大きいか否かを判断する（ＳＴ４７）。大きい場合には（ＳＴ４７のＹＥＳ）、最大終了フレーム番号を今回の退店フレーム番号に更新する（ＳＴ４８）。退店フレーム番号が最大終了フレーム番号と等しいか、それより小さい場合には（ＳＴ４７のＮＯ）、ＳＴ４８の処理を実行しない。すなわち、最大終了フレーム番号を現状のまま維持する。

次に、制御部１７は、ＳＴ４９として次の調査フレームデータが調査フレームメモリに記憶されているか否かを判断する。記憶されている場合には（ＳＴ４９のＹＥＳ）、前記ＳＴ４２〜ＳＴ４８の処理を実行する。すなわち、調査フレームメモリから次の調査フレームデータを選択し（ＳＴ４２）、この調査フレームデータの入店フレーム番号と現時点の最小開始フレーム番号とを比較して（ＳＴ４３，４４）、入店フレーム番号が最小開始フレーム番号より小さい場合は、最小開始フレーム番号を今回の入店フレーム番号に更新する（ＳＴ４５）。また、この調査フレームデータの退店フレーム番号と現時点の最大終了フレーム番号とを比較して（ＳＴ４６，４７）、退店フレーム番号が最大終了フレーム番号より大きい場合は、最大終了フレーム番号を今回の退店フレーム番号に更新する（ＳＴ４８）。

ＳＴ４９にて、次の調査フレームデータが調査フレームメモリに記憶されていないと判断した場合には（ＳＴ４９のＮＯ）、制御部１７は、ＳＴ５０として動線サーバ３２のカメラ画像データベース３４にアクセスする。そして、このカメラ画像データベース３４に蓄積されている各カメラ３１のフレーム画像データのうち、先頭フレームから最小開始フレームまでと、最大終了フレームから最終フレームまでを削除する。以上で、今回の削除処理を終了する。

このような削除処理が実行されることにより、抽出処理によって抽出された入店フレーム番号から退店フレームまでの画像データ以外の画像データが、カメラ画像データベース３４から削除される。ここに、削除処理を実行する制御部１７は、抽出手段により抽出されるデータ以外のカメラ画像データを画像データベース３４から削除する削除手段を構成する。

削除処理が終了すると、制御部１７は、調査処理を実行する（ＳＴ５）。この調査処理は、図１６の流れ図によってその処理手順が具体的に示される。

すなわち制御部１７は、ＳＴ６１として調査フレームメモリに記憶されている全ての調査フレームデータの動線ＩＤを取得する。そして、各動線ＩＤを調査対象動線リストとして、動線解析画面６０のリスト表示領域６３に表示させる（ＳＴ６１）。この状態で、制御部１７は、調査終了が指示されるか、調査対象の動線ＩＤが選択されるのを待機する。

調査を行う場合、ユーザは、入力部１１を操作してリスト表示領域６３から調査すべき１つの動線ＩＤを選択する。例えば、所望の動線ＩＤにフォーカスをあててマウスをクリックする。制御部１７は、ＳＴ６３として調査対象動線ＩＤが選択されたことを検知すると、ＳＴ６４〜ＳＴ７５の処理を実行する。

先ず、制御部１７は、調査フレームメモリからその調査対象動線ＩＤに関連して記憶されている各フレーム番号（入店、進入、離脱、（進入、離脱）、…、退店）を取得する（ＳＴ６４）。

次に、制御部１７は、カメラ画像データベース３４にアクセスし、各カメラ３１のフレーム画像データのうち、入店フレーム番号から退店フレーム番号までのデータをダウンロードする。そして、このダウンロードした各カメラ３１のフレーム画像データを、それぞれ動線解析画面６０のカメラ画像表示領域６２で再生する。このとき、制御部１７は、フレーム画像データを通常再生でなく早送り再生する。早送り再生の速度は特に限定されるものではない（ＳＴ６５）。

その後、制御部１７は、再生中の画像データのフレーム番号が進入フレーム番号に到達するのを待機する（ＳＴ６６）。進入フレーム番号に到達したならば（ＳＴ６６のＹＥＳ）、制御部１７は、早送り再生を一時停止し、進入フレーム番号をデータ記憶部１５のワークメモリで記憶する（ＳＴ６７）。しかる後、図１７で具体的に示される静止画再生処理を実行する（ＳＴ６８）。

すなわち制御部１７は、ＳＴ８１として現時点のフレーム番号（この場合は、進入フレーム番号）で識別される各カメラ３１のフレーム画像データを、静止画としてカメラ画像表示領域６２に表示する。

次に、制御部１７は、ＳＴ８２として調査対象動線ＩＤの動線データから現時点のフレーム番号に対応した店内座標を取得する。さらに、ＳＴ８３としてこの店内座標が存在する区分領域の領域ＩＤを店内エリアデータファイル５１から取得する。そして、ＳＴ８４としてこの領域ＩＤが設定された調査アイテムデータを調査アイテムファイル５３から取得する。すなわち、調査対象動線ＩＤで識別される顧客が、現時点のフレーム番号に相当する撮影時刻に居る調査領域を対象とした調査アイテムデータを取得する。

次に、制御部１７は、ＳＴ８５としてアイテム感知データベース４４にアクセスし、現時点のフレーム番号に相当する撮影時刻が感知時刻としてセットされたアイテム感知データの有無を判断する。撮影時刻は、当該フレーム番号のフレーム画像データに保持されている。当該感知時刻のアイテム感知データが存在しない場合には（ＳＴ８５のＮＯ）、今回の静止画再生処理を終了する。

これに対し、当該感知時刻のアイテム感知データが存在する場合には（ＳＴ８５のＹＥＳ）、制御部１７は、ＳＴ８６としてこのアイテム感知データの商品コードが、ＳＴ８４の処理で取得した調査アイテムデータのアイテムＩＤに属するか否かを判断する。アイテムＩＤが商品単品のコードであった場合は、アイテム感知データの商品コードとアイテムＩＤとが一致した場合に属するとみなす。また、アイテムＩＤが商品分類のコードであった場合には、アイテム感知データの商品コードで特定される商品が属する分類のコードがアイテムＩＤと一致した場合に属するとみなす。属さない場合には（ＳＴ８６のＮＯ）、今回の静止画再生処理を終了する。

これに対し、商品コードがアイテムＩＤに属する場合には（ＳＴ８６のＹＥＳ）、制御部１７は、ＳＴ８７として当該アイテム感知データのステータスを調べる。ここで、ステータスが“ＯＵＴ”の場合には（ＳＴ８７のＹＥＳ）、制御部１７は、ＳＴ８８としてワークメモリで記憶した進入フレーム番号と当該調査アイテムデータのアイテムＩＤとから不正候補データを作成する。不正候補データは、不正候補メモリに記憶される。すなわち、現時点のフレーム番号に相当する撮影時刻に、調査対象のアイテムＩＤに属する商品が商品棚から取り出された場合には、そのフレーム番号と調査対象アイテムＩＤとからなる不正候補データが不正候補メモリに記憶される。

一方、ステータスが“ＩＮ”の場合には、不正候補メモリに当該調査アイテムデータのアイテムＩＤを有する不正候補データが記憶されているか否かを判断する。記憶されていない場合には、今回の静止画再生処理を終了する。

記憶されている場合には、ＳＴ９０として不正候補メモリから当該アイテムＩＤを有する不正候補データを削除する。すなわち、現時点のフレーム番号に相当する撮影時刻に、調査対象のアイテムＩＤに属する商品が商品棚に戻された場合には、そのフレーム番号と調査対象アイテムＩＤとからなる不正候補データが不正候補メモリから削除される。

上記ＳＴ８８又はＳＴ９０の処理が実行されると、制御部１７は、今回の静止画再生処理を終了する。静止画再生処理を終了すると、制御部１７は、現時点のフレーム番号を“＋１”して次のフレーム番号に更新する（ＳＴ６９）。そして、更新後のフレーム番号が、離脱フレーム番号に到達したか否かを判断する（ＳＴ７０）。更新後のフレーム番号が離脱フレーム番号に到達していない場合（ＳＴ７０のＮＯ）、制御部１７は、再度、静止画再生処理を実行する（ＳＴ６８）。この場合、更新後のフレーム番号が現時点のフレーム番号として処理される。

静止画再生処理を終了すると、制御部１７は、フレーム番号をさらに更新する（ＳＴ６９）。そして、更新後のフレーム番号が離脱フレーム番号に到達したか否かを判断する（ＳＴ７０）。離脱フレーム番号に到達していない場合（ＳＴ７０のＮＯ）、制御部１７は、再度、静止画再生処理を実行する（ＳＴ６８）。こうして、制御部１７は、更新後のフレーム番号が離脱フレーム番号に到達するまで、静止画再生処理を繰返し実行する。かくして、カメラ画像表示領域６２には、進入フレームから離脱フレームまでの画像データがコマ送り再生される（再生手段）。

更新後のフレーム番号が離脱フレーム番号に到達したならば（ＳＴ７０のＹＥＳ）、制御部１７は、この離脱フレーム番号以降の画像データを早送り再生する（ＳＴ７１）。

その後、制御部１７は、調査フレームメモリから取得した次のフレーム番号が進入フレーム番号なのか退店フレーム番号なのかを判断する（ＳＴ７２）。進入フレーム番号の場合には（ＳＴ７２のＮＯ）、制御部１７は、再生中の画像データのフレーム番号がその進入フレーム番号に到達するのを待機する（ＳＴ７３）。到達したならば（ＳＴ７３のＹＥＳ）、前記ＳＴ６７〜ＳＴ７２の処理を再度実行する。すなわち、当該進入フレームから次の離脱フレームまでの画像データをカメラ画像表示領域６２にてコマ送り再生する（再生手段）。そして、その間に、調査対象のアイテムＩＤに属する商品が商品棚から取り出された場合には、そのフレーム番号と調査対象アイテムＩＤとからなる不正候補データが不正候補メモリに記憶される。ただし、離脱フレームまでの間に、調査対象のアイテムＩＤに属する商品が商品棚に戻された場合は、上記不正候補データが不正候補メモリから削除される。

調査フレームメモリから取得した次のフレーム番号が退店フレーム番号であった場合には（ＳＴ７２のＹＥＳ）、制御部１７は、再生中の画像データのフレーム番号がその退店フレーム番号に到達するのを待機する（ＳＴ７４）。到達したならば（ＳＴ７４のＹＥＳ）、カメラ画像の再生を停止して、制御部１７は、図１８に具体的に示す不正判定処理を実行する（ＳＴ７５）。

すなわち制御部１７は、ＳＴ１０１として不正候補メモリに不正候補データが記憶されているか否かを判断する。記憶されていない場合には（ＳＴ１０１のＮＯ）、不正判定すべきデータがない。この場合は、不正判定処理を終了する。

不正候補データが記憶されている場合には（ＳＴ１０１のＹＥＳ）、制御部１７は、ＳＴ１０２として動線―取引連結ファイル５２を検索して、調査対象動線ＩＤに紐付けられた取引ＩＤを取得する。

次に、制御部１７は、ＳＴ１０３として取引データベース２４にアクセスして、当該取引ＩＤで特定されるトランザクションデータの取引明細データに、不正候補データのアイテムＩＤに属する商品の買上データが存在するか否かを判断する。存在する場合には、当該商品を顧客が購入しており、万引き等の不正ではない。この場合は、ＳＴ１０４として不正候補メモリから当該アイテムＩＤの不正候補データを削除する。

次に、制御部１７は、ＳＴ１０５として依然として不正候補メモリに不正候補データが記憶されているか否かを判断する。記憶されていない場合には（ＳＴ１０５のＮＯ）、この不正判定処理を終了する。

不正候補データが記憶されている場合には（ＳＴ１０５のＹＥＳ）、制御部１７は、ＳＴ１０６として不正候補メモリに記憶されている全ての不正候補データのアイテムＩＤにそれぞれ対応したアイテム名称を調査アイテムファイル５３から取得し、そのアイテム名称を動線解析画面６０のリスト表示領域６３に表示させる。この状態で、制御部１７は、不正判定終了が指示されるか、不正判定対象のアイテムが選択されるのを待機する。

不正判定を行う場合、ユーザは、入力部１１を操作してリスト表示領域６３から不正判定すべき１つのアイテム名称を選択する。例えば、所望のアイテム名称にフォーカスをあててマウスをクリックする。制御部１７は、ＳＴ１０８としてアイテム名称が選択されたことを検知すると、ＳＴ１０９〜ＳＴ１１１の処理を実行する。

先ず、制御部１７は、選択されたアイテム名称のアイテムＩＤを有する不正候補データの進入フレーム番号を取得する（ＳＴ１０９）。そして、既にダウンロード済のフレーム画像テータのうち、進入フレーム番号以降のデータをカメラ画像表示領域６２で再生する。このとき、制御部１７は、フレーム画像データをコマ送り再生する。また、入力部１１の操作により、巻き戻しをしたり、早送りをしたりできる（ＳＴ１１０）。

制御部１７は、再生停止が指示されるのを待機する（ＳＴ１１１）。再生停止が指示されたならば（ＳＴ１１１）、不正候補アイテムリストの表示状態に戻る（ＳＴ１０６）。そして、不正判定終了が指示されるか、次のアイテムが選択されるのを待機する。

不正判定を終了する場合、ユーザは、入力部１１を操作して不正判定終了を指示する。例えば、終了キーを押下する。制御部１７は、ＳＴ１０７として不正判定終了が指示されたことを検知すると、今回の不正判定処理を終了する。

不正判定処理を終了すると、制御部１７は、リスト表示領域６３に調査対象動線リストを再び表示させる（ＳＴ６１）。そして、調査終了が指示されるか、調査対象の動線ＩＤが選択されるのを待機する。

調査を終了する場合、ユーザは、入力部１１を操作して調査終了を指示する。例えば、終了キーを押下する。制御部１７は、ＳＴ６２として調査終了が指示されたことを検知すると、今回の調査処理を終了する。

ここに、調査処理を実行する制御部１７は、検索手段により条件データに該当する人物行動が行われた区間が検出された顧客の動線データに紐付けられている購買情報を調査する調査手段を構成する。

このように構成された本実施の形態の人物行動監視装置１を利用して万引き等の不正行為を監視する場合、ユーザは、先ず、調査アイテムデータを設定する。例えば、雑誌の万引きが多い店では、雑誌の分類コードをアイテムＩＤとする調査アイテムデータを設定する。この調査アイテムデータには、雑誌のアイテム名称と、雑誌が置かれている商品棚の棚ＩＤと、この棚に手が届く区分領域を含む調査領域（雑誌エリア）の領域ＩＤと、検索条件データとが設定される。雑誌の場合、立ち読みをしている間に万引きをする可能性が高いので、検索条件データとしては、最小滞在時間を設定する。なお、特定の雑誌の万引きを監視したい場合には、アイテムＩＤをその雑誌の商品コードとすればよい。

ユーザは、１日の所定の時刻になると、人物行動監視装置１において、人物行動監視プログラムを起動させる。そうすると、先ず、検索処理が実行される。この検索処理により、動線データベース３６に記憶されている各動線データのなかから、雑誌エリアに進入し、かつそのエリア内に最小滞在時間以上滞在した顧客の動線データが検索される。そして、この顧客の動線ＩＤと、雑誌エリアに進入した時点のフレーム番号（進入フレーム番号）と、離脱した時点のフレーム番号（離脱フレーム番号）とを記録した調査対象データが、調査対象メモリに記憶される。

検索処理が終了すると、続いて、抽出処理が実行される。この抽出処理により、雑誌エリアに進入し、かつそのエリア内に最小滞在時間以上滞在した顧客の、入店時点のフレーム番号（入店フレーム番号）と、退店時点のフレーム番号（退店フレーム番号）とが抽出される。そして、この顧客の動線ＩＤと関連付けて、入店フレーム番号、進入フレーム番号、離脱フレーム番号及び退店フレーム番号を記録した調査フレームデータが、調査フレームメモリに記憶される。

検索処理が終了すると、続いて、削除処理が実行される。この削除処理により、雑誌エリアに進入し、かつそのエリア内に最小滞在時間以上滞在した顧客のうち、最も早くに入店した顧客の入店時点に相当する入店フレーム番号が、最小開始フレーム番号として求められる。また、最も遅くに退店した顧客の退店時点に相当する退店フレーム番号が、最大終了フレーム番号として求められる。そして、カメラ画像データベース３４に記憶されているフレーム画像データのうち、先頭フレームから最小開始フレームまでの画像データと、最大終了フレームから最終フレームまでの画像データが削除される。すなわち、雑誌エリアに進入し、かつそのエリア内に最小滞在時間以上滞在した顧客を撮影した画像データ以外の画像データがカメラ画像データベース３４から削除される。画像データは、データ量が大変に大きい。したがって、削除処理を実行することにより、監視に不要な画像データをカメラ画像データベース３４から削除できるので、記憶容量を有効に活用することができる。

削除処理が終了すると、調査処理が実行される。この調査処理が開始されると、雑誌エリアに進入し、かつそのエリア内に最小滞在時間以上滞在した顧客の動線ＩＤがリストとして動線解析画面６０のリスト表示領域６３に表示される。そこでユーザは、調査対象とする動線ＩＤを選択する。そうすると、先ず、動線解析画面６０のカメラ画像表示領域６２に、この顧客が入店してからの画像データが早送りで再生される。そして、この顧客が雑誌エリアに進入した時点で、早送り再生からコマ送り再生に変化する。コマ送り再生は、顧客が雑誌エリアから離れるまで継続される。雑誌エリアから離れると、この顧客が退店するまでの画像データが早送り再生される。なお、この顧客が、雑誌エリアに再度進入して最小滞在時間以上滞在していた場合には、その滞在中は、画像データがコマ送り再生される。したがって、ユーザは、コマ送り再生がされている画像を注視することによって、万引き等の不正行為が行われていないか監視することができる。

ところで本実施の形態では、人物行動監視装置１に商品棚管理システム４を接続している。商品棚管理システム４では、商品棚から商品が取り出されたり、商品棚に商品が戻されたりしたことが感知される。そして、その商品の商品コードと感知時刻とが、取り出されたのか戻されたのかを識別するステータスとともに、アイテム感知データとしてアイテム感知データベース４４に蓄積される。

人物行動監視装置１においては、雑誌エリアに最小滞在時間以上滞在した顧客のその滞在期間中に発生したアイテム感知データが検索される。そして、ステータスが“ＯＵＴ”のアイテム感知データのうち雑誌に属する商品コードのデータが存在し、かつ、このデータに対する戻しのアイテム感知データ（ステータス＝ＩＮ）が存在しない場合には、当該顧客の雑誌エリアへの進入フレーム番号と調査対象アイテムＩＤとが、不正候補データとして不正候補メモリに記憶される。すなわち、この滞在期間中に雑誌が雑誌エリアから持出された場合に、上記不正候補データが不正候補メモリに記憶される。

その後、当該顧客の退店フレーム番号までフレーム画像データが再生されると、人物行動監視装置１において不正判定処理が実行される。人物行動監視装置１では、当該顧客が商品を購入していた場合、この顧客の動線データを識別する動線ＩＤと、この顧客の購買情報であるトランザクションデータを識別する取引ＩＤとが紐付けられている。そこで、この顧客のトランザクションデータから、雑誌を購入した履歴があるか否かが判定される。雑誌を購入した履歴がある場合には、万引きではないので、不正候補メモリから不正候補データが削除される。

これに対し、雑誌を購入した履歴がない場合には、万引きの可能性が高い。この場合は、不正候補データがそのまま不正候補メモリに残る。そして、不正候補データのアイテムＩＤに対応したアイテム名称「雑誌」が、リスト表示領域６３に表示される。

そこでユーザは、リスト表示領域６３からアイテム名称「雑誌」を選択する。そうすると、当該顧客が雑誌コーナーに侵入してからの画像データが、再びカメラ画像表示領域６２にてコマ送り再生される。したがって、ユーザは、さらに画像を注視することによって、万引きが行われているか否かを監視することができる。

このように本実施の形態によれば、万引き等の不正行為が行われたと推定される画像データに速やかにアクセスすることができるので、確認作業に要する手間と時間を大幅に削減できる効果を奏する。

なお、この発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。

例えば前記実施の形態では、取引データベース２４、カメラ画像データベース３４、動線データベース３６及びアイテム感知データベース４４をいずれも外部のコンピュータシステムに設けたが、これらのデータベースの全てあるいは一部を人物行動監視装置１に内蔵されたハードディスク等の大容量記憶装置に設けてもよい。

また、前記実施の形態では、人物行動監視装置１に商品棚管理システム４を接続したが、商品棚管理システム４は省略してもよい。この場合、不正判定処理を実行できなくなるが、その前の静止画再生処理だけでも、万引き等の不正行為を発見することは可能であり、確認作業に要する手間と時間の削減という効果は変わらない。

また、商品棚管理システム４は、ＲＦＩＤの技術を用いなくても構築することは可能である。例えば、商品棚に手が入れられたことを検知するセンサ（レーザレンジスキャナー等）を各商品棚に設け、このセンサが作動した時点の時刻データ（感知時刻）と、棚ＩＤとを、アイテム感知データとして蓄積する。こうすることにより、不正判定処理では、調査対象の棚ＩＤを有するアイテム感知データが存在する場合に不正候補データとして作成し、購買情報と照合して、不正の有無を調査することができる。

また、前記実施の形態では、静止画再生処理により、調査対象の顧客が調査対象領域に侵入した時点からカメラ画像をコマ送り再生したが、数フレーム分のオフセット値を予め設定し、進入した時点のフレームからオフセット値だけ前のフレーム画像からコマ送り再生をするようにしてもよい。また、コマ送り再生でなく通常再生とし、ユーザの操作によってコマ送り再生や巻き戻しができるようにしてもよい。

また、前記実施の形態では、条件設定部である調査アイテムファイル５３に設定される条件データについて万引き行為を前提に説明したが、万引き以外の特定の行為が推測される条件データを設定し、当該行為が行われている区間の画像データを抽出して、再生するようにした人物行動監視装置にも、本発明は適用できるものである。例えば、商品を選ぶのに時間が要していると推定される領域での人物行動を監視したい場合は、その領域のＩＤとともに条件データとして最小滞在時間又は最短動線長を設定する。そうすることにより、当該領域内に最小滞在時間以上また最短動線長以上滞在した顧客を検索し、そのこきゃくの当該領域内の行動を撮影したカメラ画像を抽出して、再生することができる。なお、この場合は、調査アイテムファイル５３にアイテムＩＤやアイテム名称を設定する必要はない。

また、前記実施の形態では、装置内部のプログラム記憶部１４に、発明を実現させるための機能である人物行動監視プログラムが予め記録されているものとして説明をしたが、これに限らず同様の機能をネットワークから装置にダウンロードしても良いし、同様の機能を記録媒体に記憶させたものを装置にインストールしてもよい。記録媒体としては、ＣＤ−ＲＯＭ等プログラムを記憶でき、かつ装置が読み取り可能な記録媒体であれば、その形態は何れの形態であっても良い。またこのように予めインストールやダウンロードにより得る機能は装置内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。

この他、前記実施形態に開示されている複数の構成要素の適宜な組合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を組合わせてもよい。

本発明の一実施の形態を示すシステム構成図。 同実施の形態が適用される店舗の店内売場領域を示す平面図。 同実施の形態において、取引データベースのデータ構造を示す模式図。 同実施の形態において、カメラ画像データベースのデータ構造を示す模式図。 同実施の形態において、動線データベースのデータ構造を示す模式図。 同実施の形態において、アイテム感知データベースのデータ構造を示す模式図。 図２に示す店内売場領域を区分する一例を示す平面図。 同実施の形態の人物行動監視装置が有する店舗エリア区分ファイルのデータ構造を示す模式図。 同人物行動監視装置が有する動線−取引連結ファイルのデータ構造を示す模式図。 同人物行動監視装置が有する調査アイテムファイルのデータ構造を示す模式図。 同人物行動監視装置の表示部に表示される動線解析画面の一例を示す平面図。 同人物行動監視装置において、人物行動監視プログラムに従い実行される制御部の処理手順を示す流れ図。 図１２の検索処理の手順を具体的に示す流れ図。 図１２の抽出処理の手順を具体的に示す流れ図。 図１２の削除処理の手順を具体的に示す流れ図。 図１２の調査処理の手順を具体的に示す流れ図。 図１６の静止画再生処理の手順を具体的に示す流れ図。 図１６の不正判定処理の手順を具体的に示す流れ図。

符号の説明

１…人物行動監視装置、２…販売管理システム、３…動線管理システム、４…商品棚管理システム、１７…制御部、２４…取引データベース、３１…カメラ、３４…カメラ画像データベース、３６…動線データベース、４４…アイテム感知データベース、５１…店舗エリア区分ファイル、５２…動線−取引連結ファイル、５３…調査アイテムファイル、６０…動線解析画面。

Claims (7)

1. 監視領域内を移動する人物の行動を追跡する動線データを記憶する動線データベースと、
   前記監視領域内を移動する人物を撮影可能なカメラで撮影されたカメラ画像データを記憶するカメラ画像データベースと、
   特定の人物行動を表わす条件データが設定される条件設定部と、
   前記動線データベースに記憶された人物の動線データのなかから、前記条件データに該当する人物行動が行われた区間を検索する検索手段と、
   この検索手段により検出された区間の当該人物を撮影したカメラ画像データを抽出する抽出手段と、
   この抽出手段により抽出されたカメラ画像データを再生する再生手段と、
   を具備したことを特徴とする人物行動監視装置。
2. 前記抽出手段により抽出されるデータ以外のカメラ画像データを前記画像データベースから削除する削除手段、
   をさらに具備したことを特徴とする請求項１記載の人物行動監視装置。
3. 前記カメラで撮影されたカメラ画像データに基づいて前記動線データを生成する動線生成手段、
   をさらに具備し、
   この動線生成手段により生成された動線データを前記動線データベースで記憶することを特徴とする請求項１記載の人物行動監視装置。
4. 前記再生手段は、前記カメラ画像データをコマ送り再生することを特徴とする請求項１乃至３のうちいずれか１記載の人物行動監視装置。
5. 前記条件設定部は、前記監視領域を区分するエリア毎に任意の条件データが設定されることを特徴とする請求項１乃至４のうちいずれか１に記載の人物行動監視装置。
6. 前記動線データベースは、店内売場領域内を移動する顧客の行動を追跡する動線データを記憶するものであり、
   各顧客の動線データには、その顧客の購買情報が紐付けられており、
   前記検索手段により前記条件データに該当する人物行動が行われた区間が検出された顧客の動線データに紐付けられている購買情報を調査する調査手段、
   をさらに具備したことを特徴とする請求項１記載の人物行動監視装置。
7. 監視領域内を移動する人物の行動を追跡する動線データを記憶する動線データベースと、前記監視領域内を移動する人物を撮影可能なカメラで撮影されたカメラ画像データを記憶するカメラ画像データベースとにアクセス可能なコンピュータに、
   前記動線データベースに記憶された人物の動線データのなかから、特定の人物行動を表わす条件データに該当する人物行動が行われた区間を検索させる検索機能と、
   この検索機能により検出された区間の当該人物を撮影したカメラ画像データを抽出させる抽出機能と、
   この抽出機能により抽出されたカメラ画像データを再生させる再生機能と、
   を実現させるための人物行動監視プログラム。

Images