JP2020161194A - 監視システム - Google Patents

Abstract

【課題】客自身が会計を行う方式の店舗において、未会計の商品を店外に持ち出す不正行為の監視を効率的に行うことが可能な監視装置及びプログラムを提供する。【解決手段】商品の登録及び会計に係るチェックアウト領域において、入り口に位置する第１領域と、客自身が商品の会計を行う第２領域と、出口に位置する第３領域との各領域をそれぞれ撮像する撮像手段と、前記各領域で撮像された撮像画像から、客の特徴を表した特徴情報を抽出する抽出手段と、前記第１領域の撮像画像から抽出された特徴情報と、前記第２領域及び前記第３領域の各々の撮像画像から抽出された特徴情報との類似性に基づいて、同一の客が前記第１領域から前記第３領域に到達するまでの移動経路を追跡する追跡手段と、前記移動経路が前記第１領域から前記第２領域を飛ばして前記第３領域に到達したことを示す場合に報知を行う報知手段と、を備える。【選択図】図２

Description

本発明の実施形態は、監視装置及びプログラムに関する。

従来、スーパーマーケット等の店舗では、店員がＰＯＳ（Point Of Sale）端末を操作することで、商品の登録と会計とを行っている。また、店舗では、商品の登録を店員が行い、商品の会計を客自身が行うセミセルフ等と呼ばれるチェックアウト方式や、商品の登録及び会計を客自身が行うセルフ等と呼ばれるチェックアウト方式も利用されている。

ところで、上記したセミセルフやセルフでは、商品の会計は客に委ねられているため、会計を行わないまま店舗から出てしまう「カゴ抜け」等と呼ばれる不正行為が行われる可能性がある。従来、セミセルフにおいて、商品の登録を依頼した客を撮像する第１の撮像装置と、出口近傍等を撮像する第２の撮像装置とを設け、これらの撮像装置で撮像された客の撮像画像を照合することで、未会計の客が出口付近に存在するか否かを判定する技術が知られている。

しかしながら、上記した従来の技術では、会計が完了したか否かの判断については、撮像画像を用いておらず、会計装置から送信される完了通知に基づいて行っている。そのため、撮像画像の照合をベースとした監視システムにおいて、上記した従来の技術は効率的とは言えず更なる改善の余地がある。

本発明が解決しようとする課題は、客自身が会計を行う方式の店舗において、未会計の商品を店外に持ち出す不正行為の監視を効率的に行うことが可能な監視装置及びプログラムを提供することである。

実施形態の監視装置は、撮像手段と、抽出手段と、追跡手段と、報知手段とを備える。撮像手段は、商品の登録及び会計に関わるチェックアウト領域において、入り口に位置する第１領域と、客自身が商品の会計を行う第２領域と、出口に位置する第３領域との各領域をそれぞれ撮像する。抽出手段は、前記各領域で撮像された撮像画像から、客の特徴を表した特徴情報を抽出する。追跡手段は、前記第１領域の撮像画像から抽出された特徴情報と、前記第２領域及び前記第３領域の各々の撮像画像から抽出された特徴情報との類似性に基づいて、同一の客が前記第１領域から前記第３領域に到達するまでの移動経路を追跡する。報知手段は、前記移動経路が前記第１領域から前記第２領域を飛ばして前記第３領域に到達したことを示す場合に報知を行う。

図１は、第１の実施形態に係る店舗レイアウトの一例を模式的に示す図である。 図２は、第１の実施形態に係る監視システムの構成の一例を模式的に示す図である。 図３は、第１の実施形態に係る登録装置の構成の一例を示す図である。 図４は、第１の実施形態の登録装置が実行する送信画像選定処理の一例を示すフローチャートである。 図５は、第１の実施形態に係る会計装置の構成の一例を示す図である。 図６は、第１の実施形態に係る監視サーバの構成の一例を示す図である。 図７は、追跡テーブルのデータ構造の一例を示す図である。 図８は、第１の実施形態の監視サーバが実行する監視処理の一例を示すフローチャートである。 図９は、第２の実施形態に係る店舗レイアウトの一例を模式的に示す図である。 図１０は、第２の実施形態に係る監視システムの構成の一例を模式的に示す図である。 図１１は、第２の実施形態に係る監視サーバの構成の一例を示す図である。

以下に図面を参照して、本発明に係る監視装置及びプログラムの実施形態を詳細に説明する。以下に示す実施形態では、本発明をスーパーマーケット等の店舗に適用した例について説明するが、本発明はこの実施形態に限定されるものではない。

［第１の実施形態］
図１は、第１の実施形態に係る店舗レイアウトの一例を模式的に示す図である。図１に示すように、店舗は、商品の登録及び会計に係るチェックアウト領域Ａ１を有する。チェックアウト領域Ａ１は、登録領域Ａ１１と、会計領域Ａ１２と、出口領域Ａ１３とを含む。

登録領域Ａ１１は、チェックアウト領域Ａ１の入口に位置する第１領域であり、登録装置１０が設けられている。会計領域Ａ１２は、客が商品の会計を行う第２領域であり、会計装置２０が設けられている。出口領域Ａ１３は、チェックアウト領域Ａ１の出口に位置する第３領域であり、店舗の出口Ｂ１１が設けられている。なお、図示しないが、店舗内には販売対象の商品が陳列される領域があるものとする（例えば、チェックアウト領域Ａ１の上方等）。

登録装置１０は、店員により操作され、客が購入する商品の登録処理を行う商品データ処理装置である。会計装置２０は、客により操作され、登録装置１０で登録された商品の会計処理を行う商品データ処理装置である。つまり、登録装置１０及び会計装置２０は、セミセルフ等と呼ばれるチェックアウト方式を実現する。

図１に示したレイアウトの店舗において、客が商品を購入する際の動作は以下のようになる。まず、客は、購入する商品を買い物カゴ等に入れて登録領域Ａ１１（登録装置１０）に運ぶ。登録装置１０では、店員が、商品に付されたバーコードを後述する読取部１４（図３参照）に読み取らせることで商品の登録を行う。一取引に係る全ての商品の登録が完了すると、店員は会計先となる会計装置２０を一つ選択（指定）し、その会計装置２０を客に通知することで会計先への案内を行う。また、登録装置１０は、登録した各商品の単価や数量等の情報を含んだ会計情報を、指定された会計装置２０に送信する。

客は商品の登録が完了すると、商品（買い物カゴ）を持って会計領域Ａ１２に移動し、店員により指定された会計装置２０で会計を行う。その際、会計装置２０は、登録装置１０から事前に送信された会計情報に基づき会計処理を実行する。そして、客は、会計が完了すると、購入した商品をレジ袋等に入れ、出口領域Ａ１３（出口Ｂ１１）に移動する。

このように、セミセルフ方式では、登録と会計とを分担することができるため、レジ待ち時間の短縮等、処理の効率化を図ることができる。しかしながら、セミセルフ方式では、会計が客自身に委ねられているため、商品を未会計のまま店舗外に持ち出すカゴ抜け等と呼ばれる不正行為が行われる可能性がある。

そこで、本実施形態の監視システムでは、登録領域Ａ１１、会計領域Ａ１２及び出口領域Ａ１３をそれぞれ撮像し、その撮像画像に基づいて不正行為の可能性がある客の検知を行う。以下、本実施形態に係る監視システムの構成について説明する。

図２は、第１の実施形態に係る監視システムの構成の一例を模式的に示す図である。同図に示すように、監視システムは、上述した登録装置１０及び会計装置２０とともに、第１カメラ３１、第２カメラ３２、第３カメラ３３及び監視サーバ４０を備える。登録装置１０、会計装置２０、第３カメラ３３及び監視サーバ４０は、ＬＡＮ（Local Area network）等のネットワークＮ１に接続される。

第１カメラ３１は、登録領域Ａ１１（登録装置１０）に存在する客を撮像する撮像装置である。第１カメラ３１は、登録装置１０の各々に設けられる（図１参照）。より好ましくは、第１カメラ３１は、登録装置１０の各々において、客の顔を撮像可能な位置に設けられる。登録装置１０と第１カメラ３１は、接続線Ｌ１により接続される。なお、第１カメラ３１の設置位置は特に問わず、登録装置１０と一体的に設けられてもよいし、監視カメラ等の形態で店舗の天井等に設けられてもよい。

登録装置１０は、第１カメラ３１と協働し、登録処理の間に撮像された撮像画像（以下、第１撮像画像という）を監視サーバ４０に送信する。なお、撮像画像は、静止画及び動画を含む概念である。

図３は、第１の実施形態に係る登録装置１０の構成の一例を示す図である。図３に示すように、登録装置１０は、制御部１１を備える。制御部１１は、ＣＰＵ（Central Processing Unit）やＳｏＣ（System-on-a-Chip）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のコンピュータ構成を有する。

制御部１１には、バス等を介して、表示部１２、操作部１３、読取部１４、記憶部１５、接続インタフェース１６及び通信インタフェース１７等が接続される。

表示部１２は、液晶ディスプレイ等の表示デバイスを有する。表示部１２は、制御部１１の制御の下、登録された商品の商品名や商品コード等、各種の情報を表示する。操作部１３は、各種の操作キーやポインティングデバイスを有し、オペレータ（店員）の操作を受け付ける。例えば、操作部１３は、登録処理の開始や完了を指示する操作キーや、商品コードや商品の個数等を入力するための置数キー等を有する。なお、操作部１３は、表示部１２の表示面上に設けられたタッチパネルであってもよい。

読取部１４は、バーコードや二次元コード等のコードシンボルを読み取り可能なコードリーダである。例えば、読取部１４は、商品に付されたコードシンボルから、当該コードシンボルに保持された商品コードを読み取る。ここで、商品コードは、商品を識別するための識別情報であって、商品の種別毎に固有の識別情報が付与されている。

記憶部１５は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリ等の記憶装置である。記憶部１５は、制御部１１により実行されるプログラム及び当該プログラムの実行に用いられる各種データを記憶する。例えば、記憶部１５は、各商品の商品コードと、当該商品の商品名及び単価等を含む商品情報とを対応付けた商品マスタ（図示せず）を予め記憶する。また、記憶部１５は、店員の顔と客の顔とを識別するため、各店員の顔を撮像した撮像画像や当該撮像画像から抽出された顔の特徴を表す特徴情報を予め記憶してもよい。

接続インタフェース１６は、第１カメラ３１と接続可能なインタフェースである。接続インタフェース１６は、第１カメラ３１から入力される第１撮像画像を受け付ける。通信インタフェース１７は、ネットワークＮ１に接続可能な通信インタフェースである。通信インタフェース１７は、ネットワークＮ１に接続された外部装置（例えば、会計装置２０、監視サーバ４０）と各種情報を送受信する。

上記構成の登録装置１０において、店員の操作により購入対象の商品に付されたコードシンボルの読み取りが行われると、制御部１１は、読取部１４で読み取られた商品コードをＲＡＭ等に記憶することで商品の登録を行う。また、制御部１１は、商品の点数（個数）が入力されると、その点数を商品コードと対応付けて登録する。また、制御部１１は、商品の登録処理が行われている間、第１カメラ３１で撮像される第１撮像画像を取得する。

一取引分の商品の登録が完了すると、制御部１１は、それまでに登録された商品コード及び点数に基づき会計情報を生成する。ここで、会計情報は、例えば、各商品（商品コード）の商品名や代金、総支払額等を含む。なお、商品名や代金の導出は、商品マスタに登録された商品情報に基づいて行われるものとする。

また、制御部１１は、操作部１３等を介して、店員により特定の会計装置２０が選択（指定）されると、その会計装置２０宛に商品情報を送信する。そして、制御部１１は、登録処理中に取得した第１撮像画像を監視サーバ４０に送信する。なお、監視サーバ４０に送信する第１撮像画像の枚数（静止画）や時間数（動画）は特に問わないものとする。また、会計装置２０の選択は、会計装置２０の空き状況等に基づいて、制御部１１が自動で選択する構成としてもよい。

ところで、第１撮像画像は、後述する監視処理において、同一の客を識別（認識）する際の基準画像となる。そのため、制御部１１は、客の顔等の特徴的な部分が撮像された第１撮像画像を監視サーバ４０に送信することが好ましい。そこで、例えば、制御部１１は、登録処理中に撮像された第１撮像画像のうち、顔面積や同一人物の顔が出現する頻度等に基づいて監視サーバ４０に送信する第１撮像画像を選定する構成としてもよい。以下、第１撮像画像の選定に係る処理について説明する。

図４は、第１の実施形態の登録装置１０が実行する送信画像選定処理の一例を示すフローチャートである。なお、本処理は、登録処理のバックグラウンドで実行されるものである。また、本処理において、顔領域の検出や顔認識等に係る技術は、公知の技術を用いるものとする。

まず、制御部１１は、操作部１３等を介して登録開始の指示を受け付けると（ステップＳ１１）、第１カメラ３１に撮像を開始させる（ステップＳ１２）。

続いて、制御部１１は、第１カメラ３１から入力される第１撮像画像から、顔領域を検出したか否かを判定する（ステップＳ１３）。顔領域を検出できない場合（ステップＳ１３；Ｎｏ）、制御部１１は、ステップＳ１７に移行する。また、制御部１１は、第１撮像画像から顔領域を検出すると（ステップＳ１３；Ｙｅｓ）、その顔領域の特徴と、記憶部１５に記憶された各店員の顔領域の特徴とを比較することで、撮像された人物が店員か否かを判別する（ステップＳ１４）。

撮像された人物が店員の場合（ステップＳ１４；Ｙｅｓ）、制御部１１は、ステップＳ１３に処理を戻す。また、撮像された人物が店員以外、つまり客の場合（ステップＳ１４；Ｎｏ）、制御部１１は、顔領域の面積を導出し（ステップＳ１５）、その面積の降順（又は昇順）に第１撮像画像をＲＡＭ等に一時記憶する（ステップＳ１６）。

続いて、制御部１１は、操作部１３等を介して登録完了が指示されたか否かを判定する（ステップＳ１７）。登録完了の指示がない場合（ステップＳ１７；Ｎｏ）、制御部１１は、ステップＳ１３に処理を戻す。これにより、商品の登録が行われている間、第１カメラ３１で撮像された客の顔領域を含む第１撮像画像が、その顔領域の面積の順に一時記憶されることになる。

制御部１１は、登録完了が指示されると（ステップＳ１７；Ｙｅｓ）、一時記憶された第１撮像画像の間で顔領域の特徴を照合することで、同一の人物（客）をそれぞれ識別する。次いで、制御部１１は、識別した客の中から、最も多く出現した客の顔を特定する（ステップＳ１８）。例えば、第１カメラ３１が撮像する第１撮像画像の中には、取引に係る客以外の他の客（例えば、順番待ちの客等）が含まれる場合がある。そこで、制御部１１は、ステップＳ１８において、第１撮像画像の各々に含まれた同一の客をそれぞれ認識し、その出現数が最も多い客を取引に係る客として特定する。

続いて、制御部１１は、ステップＳ１８で特定した客の顔領域が含まれた第１撮像画像の中から、その顔領域の面積が最大となる第１撮像画像を選定する（ステップＳ１９）。そして、制御部１１は、ステップＳ１９で選定した第１撮像画像を監視サーバ４０に送信し（ステップＳ２０）、本処理を終了する。

上記の処理により、登録装置１０は、客の特徴（顔）が表れた第１撮像画像を監視サーバ４０に送信することができる。これにより、後述する監視処理において、客の認識精度を向上させることができる。

図２に戻り、第２カメラ３２は、会計領域Ａ１２に存在する客を撮像する撮像装置である。第２カメラ３２は、会計装置２０毎に設けられる。より好ましくは、第２カメラ３２は、会計装置２０の各々において、客の顔を撮像することが可能な位置に設けられる。会計装置２０と第２カメラ３２とは、接続線Ｌ２により接続される。なお、第２カメラ３２の設置位置は特に問わず、会計装置２０と一体的に設けられてもよいし、監視カメラ等の形態で店舗の天井等に設けられてもよい。

会計装置２０は、第２カメラ３２と協働し、会計処理の間に撮像された撮像画像（以下、第２撮像画像という）を監視サーバ４０に送信する。

図５は、第１の実施形態に係る会計装置２０の構成の一例を示す図である。図５に示すように、会計装置２０は、制御部２１を備える。制御部２１は、ＣＰＵやＳｏＣや、ＲＯＭ、ＲＡＭ等のコンピュータ構成を有する。

制御部２１には、バス等を介して、表示部２２、操作部２３、印字部２４、記憶部２５、接続インタフェース２６及び通信インタフェース２７等が接続される。

表示部２２は、液晶ディスプレイ等の表示デバイスを有する。表示部２２は、制御部２１の制御の下、会計情報等の各種の情報を表示する。操作部２３は、各種の操作キーやポインティングデバイスを有し、オペレータ（客）の操作を受け付ける。例えば、操作部２３は、会計処理の開始や完了を指示する操作キー等を有する。なお、操作部２３は、表示部２２の表示面上に設けられたタッチパネルであってもよい。

印字部２４は、サーマルプリンタ等の印字装置である。印字部２４は、制御部２１の制御の下、会計（会計情報）の内訳等をレシート用紙等の紙媒体に印字する。記憶部２５は、ＨＤＤやフラッシュメモリ等の記憶装置である。記憶部２５は、制御部２１により実行されるプログラム及び当該プログラムの実行に用いられる各種データを記憶する。

接続インタフェース２６は、第２カメラ３２と接続可能なインタフェースである。接続インタフェース２６は、第２カメラ３２から入力される第２撮像画像を受け付ける。通信インタフェース２７は、ネットワークＮ１に接続可能な通信インタフェースである。通信インタフェース２７は、ネットワークＮ１に接続された外部装置（例えば、登録装置１０、監視サーバ４０）と各種情報を送受信する。

また、制御部２１には、バス等を介して、硬貨や紙幣の入金を受け付ける金銭入金装置や、釣り銭等を払い出す金銭出金装置等が接続される（何れも図示せず）。

上記構成の会計装置２０において、制御部２１は、登録装置１０から送信された会計情報をＲＡＭ等に一時記憶し、当該会計情報に係る会計処理の開始を待機する。客は、登録装置１０の店員が指示した会計装置２０に移動すると、操作部２３を介して会計処理の開始を指示する。制御部２１は、会計処理の開始が指示されると、一時記憶した会計情報に基づき、商品代金の支払い（入金）を受け付ける。そして、制御部２１は、支払いが完了すると、その内訳を印字したレシート用紙を印字部２４から出力させ、会計処理を終了する。

また、制御部２１は、会計処理が行われている間、第２カメラ３２で撮像された第２撮像画像を取得する。そして、制御部２１は、会計処理が完了すると、会計処理中に取得した第２撮像画像を監視サーバ４０に送信する。ここで、監視サーバ４０に送信する第２撮像画像の枚数（静止画）や時間数（動画）は特に問わないものとする。なお、制御部２１は、上述した登録装置１０と同様の送信画像選定処理を実行することで、顔領域の面積や出現頻度等に基づいて、監視サーバ４０に送信する第２撮像画像を選定してもよい。

図２に戻り、第３カメラ３３は、出口領域Ａ１３に存在する客を撮像する撮像装置である。第３カメラ３３は、出口Ｂ１１を通過する客の顔を撮像することが可能な位置に設けられる。第３カメラ３３は、撮像した撮像画像（以下、第３撮像画像という）を監視サーバ４０に送信する。なお、第３カメラ３３の設置位置は特に問わず、監視カメラ等の形態で店舗の天井等に設けられてもよい。

監視サーバ４０は、第１カメラ３１、第２カメラ３２及び第３カメラ３３で撮像された撮像画像に基づき、チェックアウト領域Ａ１内における客の動作を監視するサーバ装置である。以下、監視サーバ４０について説明する。

図６は、第１の実施形態に係る監視サーバ４０の構成の一例を示す図である。図６に示すように、監視サーバ４０は、制御部４１を備える。制御部４１は、ＣＰＵやＳｏＣ、ＲＯＭ、ＲＡＭ等のコンピュータ構成を有する。

制御部４１には、バス等を介して記憶部４２が接続される。記憶部４２は、ＨＤＤやフラッシュメモリ等の記憶装置である。記憶部４２は、制御部４１により実行されるプログラム及び当該プログラムの実行に用いられる各種データを記憶する。また、記憶部４２は、チェックアウト領域Ａ１における客の移動経路を追跡するための追跡テーブルＴ１（図７参照）を記憶する。

また、制御部４１には、バス等を介して通信インタフェース（Ｉ／Ｆ）４３が接続される。通信インタフェース４３は、ネットワークＮ１に接続し、他の装置（登録装置１０、会計装置２０、第３カメラ３３等）との間で各種情報の授受を行う。

また、制御部４１は、図６に示すように、画像取得部４１１、特徴抽出部４１２、登録処理部４１３、追跡処理部４１４、不正検出部４１５及び報知処理部４１６等の機能部を備える。これらの機能部は、記憶部４２に記憶されたプログラムの実行によりソフトウェア的に、或いは制御部４１が備える専用プロセッサ等によりハードウェア的に実現される。

画像取得部４１１は、通信インタフェース４３を介して、第１カメラ３１、第２カメラ３２及び第３カメラ３３の各々で撮像された撮像画像を取得する。より詳細には、画像取得部４１１は、登録装置１０の各々から送信される第１撮像画像を取得する。また、画像取得部４１１は、会計装置２０の各々から送信される第２撮像画像を取得する。また、画像取得部４１１は、第３カメラ３３から送信される第３撮像画像を取得する。

特徴抽出部４１２は、画像取得部４１１が取得した撮像画像（第１撮像画像、第２撮像画像、第３撮像画像）の各々から、当該撮像画像に含まれた人物（客）の特徴を表す特徴情報を抽出する。ここで、特徴情報は、例えば、撮像画像に含まれた顔領域の特徴を表す特徴量である。また、撮像画像中の人物がサングラスやマスク等を装着している等により、顔領域を検出できない場合がある。このような場合、特徴抽出部４１２は、その人物の服装や髪形、体型等の他の要素から、当該要素の特徴を特徴情報として抽出する。以下、第１撮像画像、第２撮像画像及び第３撮像画像の各々から抽出される特徴情報を、それぞれ第１特徴情報、第２特徴情報及び第３特徴情報という。なお、特徴情報の抽出方法は、特に問わず、顔認識や画像認識等の公知の技術を用いてもよい。

登録処理部４１３は、追跡の対象となる客を設定する機能部である。より詳細には、登録処理部４１３は、特徴抽出部４１２により第１撮像画像から抽出された第１特徴情報を、記憶部４２の追跡テーブルＴ１に登録する。

ここで、図７は、追跡テーブルＴ１のデータ構造の一例を示す図である。図７に示すように、追跡テーブルＴ１は、追跡対象者欄と、第１チェック欄と、第２チェック欄と、第３チェック欄とを項目として有する。これらの各項目は、客毎に用意され一のデータエントリを構成する。

追跡対象者欄は、追跡の対象となる客の第１特徴情報が登録される項目である。登録処理部４１３は、第１撮像画像から抽出された第１特徴情報を追跡対象者欄に登録する。また、第１チェック欄は、追跡対象の客が商品の登録が完了したことをチェックするための項目である。本実施形態では、登録装置１０で第１撮像画像が撮像されるため、登録処理部４１３は、追跡対象者欄に第１特徴情報を登録するとともに、第１チェック欄に商品の登録を済ませたことを示すチェック情報を登録する。また、第２チェック欄は、追跡対象の客が会計装置２０で会計を済ませたことをチェックするための欄である。また、第３チェック欄は、追跡対象の客が出口Ｂ１１に向かっていることをチェックするための欄である。以下、第１チェック欄、第２チェック欄及び第３チェック欄にチェック情報を登録することを、単にチェックともいう。

図６に戻り、追跡処理部４１４は、各領域の撮像画像（特徴情報）を照合することで、会計領域Ａ１２及び出口領域Ａ１３における客の移動経路を追跡する機能部である。なお、追跡処理部４１４は、撮像画像（特徴情報）間の照合において、顔認証や画像認識等の公知の技術を用いるものとする。

具体的には、追跡処理部４１４は、第２撮像画像から抽出された第２特徴情報と、追跡テーブルＴ１に登録された第１特徴情報の各々とを照合し、その類似度が閾値以上となる第１特徴情報が存在するか否かを判定する。類似度が閾値以上の第１特徴情報が存在する場合、追跡処理部４１４は、その第１特徴情報に対応する客と、第２特徴情報に対応する客とが同一人物と認識し、その客が会計装置２０で会計を済ませたと判定する。そして、追跡処理部４１４は、その第１特徴情報が登録されたデータエントリの第２チェック欄に、会計を済ませたことを示すチェック情報を登録する。なお、類似度が閾値以上の第１特徴情報が複数存在する場合、追跡処理部４１４は、類似度が最も高い一の第１特徴情報を選択するものとする。

また、追跡処理部４１４は、第３撮像画像から抽出された第３特徴情報と、追跡テーブルＴ１に登録された第１特徴情報の各々とを照合し、その類似度が閾値以上となる第１特徴情報が存在するか否かを判定する。類似度が閾値以上の第１特徴情報が存在する場合、追跡処理部４１４は、その第１特徴情報に対応する客と、第３特徴情報に対応する客とが同一人物と認識し、その客が出口Ｂ１１に向かっていると判定する。そして、追跡処理部４１４は、その第１特徴情報が登録されたデータエントリの第３チェック欄に、出口Ｂ１１に向かっていることを示すチェック情報を登録する。なお、類似度が閾値以上の第１特徴情報が複数存在する場合、追跡処理部４１４は、類似度が最も高い一の第１特徴情報を選択し、その第１特徴情報が登録されたデータエントリの第３チェック欄をチェックする。

不正検出部４１５は、追跡テーブルＴ１を監視し、不正行為の可能性がある客を検知する。より詳細には、不正検出部４１５は、第１チェック欄、第２チェック欄及び第３チェック欄の３つのチェック欄に登録されたチェック情報の状態、つまり客の移動経路に基づき、不正行為の可能性の有無を判定する。

例えば、第１チェック欄と第３チェック欄とがチェック済で、且つ第２チェック欄が未チェックの場合、商品の登録を済ませた客が、会計をしないまま商品を店外に持ち出そうとしている可能性がある。そこで、不正検出部４１５は、追跡テーブルＴ１に登録されたチェック情報の状態が、登録領域Ａ１１から会計領域Ａ１２を飛ばして出口領域Ａ１３に到達したことを示す場合、不正行為の可能性ありとして検出する。

また、３つのチェック欄のすべてがチェック済の場合、不正検出部４１５は、正常に登録と会計とが行われたと判定し、そのデータエントリを追跡対象から除外する。ここで、「追跡対象から除外」とは、追跡の非対象を指示するフラグ情報を付加したり、データエントリ自体を追跡テーブルＴ１から削除したり、データエントリを他のデータテーブルに移動したりすることを意味する。なお、不正検出部４１５は、第３チェック欄にチェック情報が登録されたタイミングで、不正行為の可能性の有無を判定することが好ましい。

報知処理部４１６は、不正検出部４１５の検出結果に応じて報知を行う機能部である。より詳細には、報知処理部４１６は、不正検出部４１５が不正行為の可能性があることを検出したことを条件に、店員への報知を行う。報知方法は特に問わず、種々の方法を採用することが可能である。例えば、報知処理部４１６は、登録装置１０の各々に、不正行為の発生を報知するメッセージや、該当する客の撮像画像（特徴情報）等を含んだ報知情報を送信してもよい。また、ネットワークＮ１に接続された携帯型の通信装置を各店員が所持する場合、報知処理部４１６は、その通信装置宛に報知情報を送信してもよい。また、出口領域Ａ１３等に警報ブザーや警報灯等の報知装置が設けられている場合、それらの報知装置を動作させることで報知を行ってもよい。

次に、図８を参照して、上記した監視サーバ４０の動作について説明する。図８は、第１の実施形態の監視サーバ４０が実行する監視処理の一例を示すフローチャートである。

まず、画像取得部４１１は、各装置から送信された撮像画像を取得する（ステップＳ３１）。次いで、特徴抽出部４１２は、ステップＳ３１で取得された撮像画像から特徴情報を抽出する（ステップＳ３２）。

登録処理部４１３は、ステップＳ３２で、第１撮像画像から第１特徴情報が抽出されたことを条件に（ステップＳ３３；Ｙｅｓ）、その抽出された第１特徴情報を追跡テーブルＴ１の追跡対象者欄に登録する（ステップＳ３４）。次いで、登録処理部４１３は、ステップＳ３４で第１特徴情報を登録したデータエントリの第１チェック欄をチェックし（ステップＳ３５）、ステップＳ３１に処理を戻す。

また、追跡処理部４１４は、ステップＳ３２で第２撮像画像から第２特徴情報が抽出されたことを条件に（ステップＳ３３；Ｎｏ→ステップＳ３６；Ｙｅｓ）、ステップＳ３７に移行する。追跡処理部４１４は、抽出された第２特徴情報と、追跡テーブルＴ１に登録された第１特徴情報の各々とを照合し、両特徴情報間の類似度を算出する（ステップＳ３７）。次いで、追跡処理部４１４は、第２特徴情報との類似度が、所定の閾値を上回る第１特徴情報が存在、つまり第２特徴情報の客に該当する客が存在するか否かを判定する(ステップＳ３８）。

閾値を上回る第１特徴情報が存在しない場合、追跡処理部４１４は、該当者なしと判断し（ステップＳ３８；Ｎｏ）、ステップＳ３１に処理を戻す。また、閾値を上回る第１特徴情報が存在する場合、追跡処理部４１４は、該当者ありと判断し（ステップＳ３８；Ｙｅｓ）、その第１特徴情報が登録されたデータエントリの第２チェック欄をチェックする（ステップＳ３９）。そして、追跡処理部４１４は、ステップＳ３１に処理を戻す。

また、追跡処理部４１４は、ステップＳ３２で第３撮像画像から第３特徴情報が抽出されたことを条件に（ステップＳ３３；Ｎｏ→ステップＳ３６；Ｎｏ）、ステップＳ４０に移行する。追跡処理部４１４は、抽出された第３特徴情報と、追跡テーブルＴ１に登録された第１特徴情報の各々とを照合し、両特徴情報間の類似度を算出する（ステップＳ４０）。次いで、追跡処理部４１４は、第３特徴情報との類似度が、所定の閾値を上回る第１特徴情報が存在、つまり第３特徴情報の客に該当する客が存在するか否かを判定する(ステップＳ４１）。

閾値を上回る第１特徴情報が存在しない場合、追跡処理部４１４は、該当者なしと判断し（ステップＳ４１；Ｎｏ）、ステップＳ３１に処理を戻す。また、閾値を上回る第１特徴情報が存在する場合、追跡処理部４１４は、該当者ありと判断し（ステップＳ４１；Ｙｅｓ）、その第１特徴情報が登録されたデータエントリの第３チェック欄をチェックする（ステップＳ４２）。

続いて、不正検出部４１５は、ステップＳ４２で第３チェック欄がチェックされたデータエントリの各チェック欄の状態（移動経路）を参照し、不正行為の可能性があるか否かを判定する（ステップＳ４３）。ここで、不正検出部４１５は、第１チェック欄、第２チェック欄及び第３チェック欄の全てがチェック済の場合、正常に商品の会計手続が行われたと判定し（ステップＳ４３；Ｎｏ）、ステップＳ３１に戻る。

一方、不正検出部４１５は、第１チェック欄及び第３チェック欄がチェック済で、且つ第２チェック欄が未チェックの場合、不正行為の可能性があると判定する（ステップＳ４３；Ｙｅｓ）。そして、報知処理部４１６は、報知情報を送信等することで店員への報知を行い（ステップＳ４４）、ステップＳ３１に戻る。

以上のように、本実施形態の監視サーバ４０は、登録領域Ａ１１、会計領域Ａ１２及び出口領域Ａ１３の各々を撮像した撮像画像に基づいて、チェックアウト領域Ａ１内における客の移動経路を追跡する。そして、監視サーバ４０は、追跡した移動経路に基づいて、不正行為の可能性がある客を検出し、店員への報知を行う。これにより、監視サーバ４０は、撮像画像の照合をベースとした監視システムにおいて、未会計の商品を店外に持ち出す不正行為の検知を効率的に行うことができる。

なお、本実施形態では、登録装置１０において、登録処理の完了時に第１撮像画像を監視サーバ４０に送信する構成としたが、これに限らず、登録処理の最中に送信してもよい。また、会計装置２０においても、会計処理の完了時に第２撮像画像を監視サーバ４０に送信する構成としたが、これに限らず、会計処理の最中に送信してもよい。また、会計装置２０において、第２撮像画像から人物（客）の顔領域を検出した場合に、当該客が会計を行ったと見なして、その第２撮像画像を監視サーバ４０に送信する構成としてもよい。なお、これらの構成を採用した場合、上述した実施形態の構成と比較して、会計が行われたか否かの判定基準が甘くなる。そのため、これらの構成は、客の移動経路を簡易的に追跡するような場合に用いることが好ましい。

また、本実施形態では、客は、店員から指定された会計装置２０で会計処理を行う構成としたが、これに限らず、任意の会計装置２０で会計処理を行うことが可能な構成としてもよい。この構成を採用する場合、例えば、登録装置１０、会計装置２０及び監視サーバ４０を以下のように動作させることで、任意の会計装置２０で会計処理を行うことができる。

まず、登録装置１０の制御部１１は、登録処理の終了指示を受け付けると、この登録処理で生成した会計情報と、登録処理の間に撮像された第１撮像画像との組を監視サーバ４０に送信する。監視サーバ４０では、特徴抽出部４１２が、登録装置１０から送信された第１撮像画像から第１特徴情報を抽出する。登録処理部４１３は、抽出された第１特徴情報を追跡テーブルＴ１に登録するとともに、第１チェック欄をチェックする。また、特徴抽出部４１２は、登録した第１特徴情報に関連付けて、当該第１特徴情報の抽出元となった第１撮像画像と組をなす会計情報を追跡テーブルＴ１等に登録（記憶）する。

一方、登録装置１０で商品の登録が完了した客は、任意の会計装置２０に移動する。会計装置２０の制御部２１は、客により会計処理の開始指示を受け付けると、第２カメラ３２で撮像された第２撮像画像を監視サーバ４０に送信する。監視サーバ４０では、特徴抽出部４１２が、会計装置２０から送信された第２撮像画像から第２特徴情報を抽出する。次いで、追跡処理部４１４は、第２特徴情報に基づいて、追跡テーブルＴ１に登録された第１特徴情報の中から、会計装置２０（第２カメラ３２）で撮像された客の第１特徴情報を特定する。次いで、監視サーバ４０の制御部４１は、特定された第１特徴情報に関連付けられた会計情報を、第２撮像画像を送信した会計装置２０に送信する。

続いて、会計装置２０の制御部２１は、監視サーバ４０から会計情報を受け付けると、当該会計情報に基づいて会計処理を実行する。そして会計装置２０の制御部２１は、会計処理の完了後、会計処理の最中に撮像された第２撮像画像を監視サーバ４０に送信する。以後の処理は、上述した実施形態と同様である。

［第２の実施形態］
次に、第２の実施形態について説明する。第２の実施形態では、客自身が登録と会計とを行うチェックアウト方式を採用した店舗を例に説明する。なお、第１の実施形態と同様の要素については、同一の符号を付与し説明を省略する。

図９は、第２の実施形態に係る店舗レイアウトの一例を模式的に示す図である。図９に示すように、店舗は、商品の登録及び会計に係るチェックアウト領域Ａ２を有する。チェックアウト領域Ａ２は、入口領域Ａ２１と、登録会計領域Ａ２２と、出口領域Ａ２３とを含む。

入口領域Ａ２１は、チェックアウト領域Ａ２の入口に位置する第１領域であり、チェックアウト領域Ａ２への入口Ｂ２１が設けられている。登録会計領域Ａ２２は、客が商品の登録及び会計を行う第２領域であり、登録会計装置５０が設けられている。出口領域Ａ２３は、チェックアウト領域Ａ２の出口に位置する第３領域であり、店舗の出口Ｂ２２が設けられている。なお、図示しないが、店舗内には販売対象の商品が陳列される領域があるものとする（例えば、チェックアウト領域Ａ２の上方等）。

登録会計装置５０は、客により操作され、客が購入する商品の登録処理及び会計処理を行う商品データ処理装置である。つまり、登録会計装置５０は、セルフ等と呼ばれるチェックアウト方式を実現する。

図９に示したレイアウトの店舗において、客が商品を購入する際の動作は以下のようになる。まず、客は、購入する商品を買い物カゴ等に入れ、入口領域Ａ２１（入口Ｂ２１）から、登録会計領域Ａ２２（登録会計装置５０）に移動する。登録会計装置５０では、客が、商品に付されたバーコードを読取部に読み取らせることで商品の登録を行う。そして、客は、商品の登録が完了すると、登録会計装置５０で会計を行う。そして、客は、会計が完了すると、購入した商品をレジ袋等に入れ、出口領域Ａ２３（出口Ｂ２２）に移動する。

このように、セルフ方式では、客自身が登録と会計とを行うため、レジ待ち時間の短縮等、処理の効率化を図ることができる。しかしながら、セルフ方式では、登録及び会計が客自身に委ねられているため、セミセルフ方式と同様にカゴ抜け等と呼ばれる不正行為が行われる可能性がある。

そこで、本実施形態の監視システムでは、入口領域Ａ２１、登録会計領域Ａ２２及び出口領域Ａ２３をそれぞれ撮像し、その撮像画像に基づいて不正行為の可能性がある客の検知を行う。以下、本実施形態に係る監視システムの構成について説明する。

図１０は、第２の実施形態に係る監視システムの構成の一例を模式的に示す図である。図１０に示すように、監視システムは、上述した登録会計装置５０とともに、第１カメラ６１、第２カメラ６２、第３カメラ６３及び監視サーバ４０ａを備える。登録会計装置５０、第１カメラ６１、第３カメラ６３及び監視サーバ４０ａは、ＬＡＮ等のネットワークＮ２に接続される。

第１カメラ６１は、入口領域Ａ２１に存在する客を撮像する撮像装置である。第１カメラ６１は、入口Ｂ２１からチェックアウト領域Ａ２内に入る客の顔を撮像することが可能な位置に設けられる。第１カメラ６１は、撮像した撮像画像（以下、第１撮像画像という）を監視サーバ４０ａに送信する。なお、第１カメラ６１の設置位置は特に問わず、例えば、入口Ｂ２１のゲートに設けられてもよいし、監視カメラ等の形態で店舗の天井等に設けられてもよい。

第２カメラ６２は、登録会計領域Ａ２２に存在する客を撮像するカメラである。第２カメラ６２は、登録会計装置５０の各々に設けられる。より好ましくは、第２カメラ６２は、登録会計装置５０の各々において、客の顔を撮像することが可能な位置に設けられる。登録会計装置５０と第２カメラ６２との各組は、接続線Ｌ３により接続される。なお、第２カメラ６２の設置位置は特に問わず、例えば、登録会計装置５０と一体的に設けられてもよいし、監視カメラ等の形態で店舗の天井等に設けられてもよい。

登録会計装置５０は、第２カメラ６２と協働し、会計処理の間に撮像された撮像画像（以下、第２撮像画像という）を監視サーバ４０ａに送信する。なお、登録会計装置５０の構成は、上述した登録装置１０と会計装置２０とを合わせたものと同様であるため、詳細な説明は省略する。

登録会計装置５０は、会計処理が行われている間、第２カメラ６２で撮像された第２撮像画像を取得する。そして、登録会計装置５０は、会計処理が完了すると、会計処理中に取得した第２撮像画像を監視サーバ４０ａに送信する。ここで、監視サーバ４０ａに送信する第２撮像画像の枚数（静止画）や時間数（動画）は特に問わないものとする。なお、登録会計装置５０は、登録処理が行われている間に第２撮像画像を取得し、当該登録処理又は会計処理が完了したタイミングで、取得した第２撮像画像を監視サーバ４０ａに送信してもよい。また、登録会計装置５０（制御部）は、上述した登録装置１０と同様の送信画像選定処理を実行することで、顔領域の面積や出現頻度等に基づいて、監視サーバ４０ａに送信する第２撮像画像を選定してもよい。

第３カメラ６３は、出口領域Ａ２３に存在する客を撮像する撮像装置である。第３カメラ６３は、出口Ｂ２２を通過する客の顔を撮像することが可能な位置に設けられる。第３カメラ６３は、撮像した撮像画像（以下、第３撮像画像という）を監視サーバ４０ａに送信する。なお、第３カメラ６３の設置位置は特に問わず、出口Ｂ２２のゲートに設けられてもよいし、監視カメラ等の形態で店舗の天井等に設けられてもよい。

監視サーバ４０ａは、第１カメラ６１、第２カメラ６２及び第３カメラ６３で撮像された撮像画像に基づき、チェックアウト領域Ａ２内における客の動作を監視するサーバ装置である。以下、監視サーバ４０ａについて説明する。なお、第１の実施形態と同様の構成については、同一の符号を付与し説明を省略する。

図１１は、第２の実施形態に係る監視サーバ４０ａの構成の一例を示す図である。図１１に示すように、監視サーバ４０ａは、制御部４１ａを備える。制御部４１ａは、ＣＰＵやＳｏＣ、ＲＯＭ、ＲＡＭ等のコンピュータ構成を有する。

制御部４１ａには、バス等を介して記憶部４２及び通信インタフェース（Ｉ／Ｆ）４３が接続される。記憶部４２は、第１の実施形態と同様のデータ構成の追跡テーブルＴ１（図７参照）を記憶する。

また、制御部４１ａは、図１１に示すように、画像取得部４１１ａ、特徴抽出部４１２、登録処理部４１３、追跡処理部４１４、不正検出部４１５及び報知処理部４１６等の機能部を備える。これらの機能部は、記憶部４２に記憶されたプログラムの実行によりソフトウェア的に、或いは制御部４１ａが備える専用プロセッサ等によりハードウェア的に実現される。

画像取得部４１１ａは、通信インタフェース４３を介して、第１カメラ６１、第２カメラ６２及び第３カメラ６３の各々で撮像された撮像画像を取得する。より詳細には、画像取得部４１１ａは、第１カメラ６１から送信される第１撮像画像を取得する。また、画像取得部４１１ａは、登録会計装置５０の各々から送信される第２撮像画像を取得する。また、画像取得部４１１ａは、第３カメラ６３から送信される第３撮像画像を取得する。

制御部４１ａは、上記した各機能部と協働することで、図８で説明した監視処理を実行する。これにより、本実施形態の監視サーバ４０ａは、入口領域Ａ２１、登録会計領域Ａ２２及び出口領域Ａ２３の各々を撮像した撮像画像に基づいて、チェックアウト領域Ａ２内における客の移動経路を追跡する。そして、監視サーバ４０ａは、追跡した移動経路に基づいて、不正行為の可能性がある客を検出し、店員への報知を行う。これにより、監視サーバ４０ａは、撮像画像の照合をベースとした監視システムにおいて、未会計の商品を店外に持ち出す不正行為の検知を効率的に行うことができる。

以上、本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、上記の実施形態では、監視サーバ４０（４０ａ）が、撮像画像から特徴情報を抽出する構成としたが、これに限らず、撮像画像の送信元の装置で特徴情報を抽出する構成としてもよい。例えば、登録装置１０、会計装置２０及び登録会計装置５０の何れか又は全てが特徴抽出部４１２を備え、撮像画像から抽出した特徴情報を監視サーバ４０（４０ａ）に送信してもよい。また、各カメラ（例えば、第３カメラ３３、第１カメラ６１、第３カメラ６３等）が、特徴抽出部４１２を備え、撮像画像から抽出した特徴情報を監視サーバ４０（４０ａ）に送信してもよい。この場合、監視サーバ４０（４０ａ）では、登録処理部４１３が、登録装置１０や第１カメラ６１から送信された第１特徴情報を、追跡テーブルＴ１に登録する。また、追跡処理部４１４が、追跡テーブルＴ１に登録された第１特徴情報の各々と、他の装置から送信された第２特徴情報及び第３特徴情報との類似性に基づいて、同一の客の移動経路を追跡する。

また、上記の実施形態では、監視サーバ４０（登録処理部４１３）は、第１撮像画像から抽出された第１特徴情報を追跡テーブルＴ１に登録する構成としたが、これに限らず、第１撮像画像を追跡テーブルＴ１に登録してもよい。この場合、特徴抽出部４１２は、追跡処理部４１４と協働することで、撮像画像間の類似度を比較する際に各撮像画像から特徴情報を抽出する。

また、上記の実施形態では、監視サーバ４０（４０ａ）が不正行為の監視を行う構成としたが、これに限らず、他の装置が監視を行う構成としてもよい。例えば、登録装置１０や会計装置２０（或いは登録会計装置５０）のうち、代表となる一の装置が監視サーバ４０（４０ａ）の機能を備えることで、不正行為の監視を行う構成としてもよい。

また、上記実施形態では、登録装置１０、会計装置２０及び登録会計装置５０が、撮像画像を送信する構成としたが、これに限らず、各カメラが直接送信する構成としてもよい。また、第１カメラ３１、第３カメラ３３、３６は、撮像画像を直接送信する構成としたが、ＰＣ（Personal Computer）等の情報処理装置と協働することで当該情報処理装置から送信する構成としてもよい。また、情報処理装置から送信する場合、送信画像選定処理と同様の処理を行うことで、送信する撮像画像を選定してもよい。

１０ 登録装置
２０ 会計装置
３１、６１ 第１カメラ
３２、６２ 第２カメラ
３３、６３ 第３カメラ
４０、４０ａ 監視サーバ
５０ 登録会計装置
４１１、４１１ａ 画像取得部
４１２ 特徴抽出部
４１３ 登録処理部
４１４ 追跡処理部
４１５ 不正検出部
Ｔ１ 追跡テーブル

特開２０１３−１８６４９５号公報

本発明の実施形態は、監視システムに関する。

本発明が解決しようとする課題は、客自身が会計を行う方式の店舗において、未会計の商品を店外に持ち出す不正行為の監視を効率的に行うことが可能な監視システムを提供することである。

実施形態の監視システムは、商品の登録及び会計に係るチェックアウト領域のうち、入り口に位置する第１領域において、前記チェックアウト領域に入る人を撮像する第１撮像手段と、前記チェックアウト領域のうち、登録装置で登録された商品の会計に係る処理を行う会計装置が設けられた第２領域において、前記会計装置を利用する客を撮像する第２撮像手段と、前記チェックアウト領域の出口に位置する第３領域を撮像する第３撮像手段と、前記第１撮像手段、前記第２撮像手段及び前記第３撮像手段で撮像された撮像画像から、客の特徴を表した特徴情報を抽出する抽出手段と、予め記憶された店員の特徴を表す特徴情報に基づいて、前記第１撮像手段の撮像画像から抽出された前記特徴情報に対応する人物が店員か客かを判別する判別手段と、前記判別手段が客と判別した場合、前記第１撮像手段の撮像画像から抽出した客の前記特徴情報と、前記第２撮像手段及び前記第３撮像手段の撮像画像から抽出された客の特徴情報とに基づいて、同一の客が前記第１領域から前記第３領域に到達するまでの移動経路を追跡する追跡手段と、前記移動経路が前記第１領域から前記第２領域を飛ばして前記第３領域に到達したことを示す場合に報知を行う報知手段と、を備える。

Claims (6)

1. 商品の登録及び会計に係るチェックアウト領域において、入り口に位置する第１領域と、客自身が商品の会計を行う第２領域と、出口に位置する第３領域との各領域をそれぞれ撮像する撮像手段と、
   前記各領域で撮像された撮像画像から、客の特徴を表した特徴情報を抽出する抽出手段と、
   前記第１領域の撮像画像から抽出された特徴情報と、前記第２領域及び前記第３領域の各々の撮像画像から抽出された特徴情報との類似性に基づいて、同一の客が前記第１領域から前記第３領域に到達するまでの移動経路を追跡する追跡手段と、
   前記移動経路が前記第１領域から前記第２領域を飛ばして前記第３領域に到達したことを示す場合に報知を行う報知手段と、
   を備える監視装置。
2. 前記第１領域には、客が購入する商品の登録を店員が行うための登録装置が設置され、
   前記第２領域には、前記登録装置で登録された商品の会計を客が行うための会計装置が設置され、
   前記第２領域を撮像する前記撮像手段は、前記登録装置及び前記会計装置の各々において、前記客を撮像可能な位置に設けられる請求項１に記載の監視装置。
3. 前記会計装置に設けられる前記撮像手段は、前記会計装置で会計に係る処理が行われた後、当該処理中に撮像した撮像画像を前記監視装置に送信する請求項２に記載の監視装置。
4. 前記第２領域には、商品の登録及び会計を客が行うための登録会計装置が設置され、
   前記第２領域を撮像する前記撮像手段は、前記登録会計装置の各々において、前記客を撮像可能な位置に設けられる請求項１に記載の監視装置。
5. 前記登録会計装置に設けられる前記撮像手段は、前記登録会計装置で登録及び会計に係る処理が行われた後、当該処理中に撮像した撮像画像を前記監視装置に送信する請求項４に記載の監視装置。
6. コンピュータを、
   商品の登録及び会計に係るチェックアウト領域において、入口に位置する第１領域と、客自身が商品の会計を行う第２領域と、出口に位置する第３領域との各領域をそれぞれ撮像した撮像画像から、客の特徴を表した特徴情報を抽出する抽出手段と、
   前記第１領域の撮像画像から抽出された特徴情報と、前記第２領域及び前記第３領域の各々の撮像画像から抽出された特徴情報との類似性に基づいて、同一の客が前記第１領域から前記第３領域に到達するまでの移動経路を追跡する追跡手段と、
   前記移動経路が前記第１領域から前記第２領域を飛ばして前記第３領域に到達したことを示す場合に報知を行う報知手段と、
   して機能させるためのプログラム。

Images