JP2018173855A - 万引き防止システム及びそれに使用される店舗側装置並びにセンタ側装置 - Google Patents

Abstract

【課題】万引き防止に寄与することのできる万引き防止システムを提供する。【解決手段】万引き防止システムは、センタ側装置と、該センタ側装置に通信回線を介して接続した少なくとも１つの店舗側装置とで構成される。前記店舗側制御装置は、店舗側顔認証部から人物毎の店舗への入場日時と店舗からの退場日時及び顔情報を取得して店舗情報とともに前記センタ側装置に送信するとともに、動線検出部から人物毎に検出された動線情報と該当する人物の顔情報を取得して店舗情報とともに前記センタ側装置に送信する。前記店舗側制御装置は更に、不審行動検出部から不審人物有りを示す情報と前記不審人物有りと判別した動線情報に該当する人物の顔情報とその場所情報を店舗情報と共に不審情報として前記センタ側装置に送信すると共に、商品検出装置から無くなった商品に関する情報と無くなった日時及び時間帯情報を受け取ると、これらの情報を店舗情報と共にロスト情報としてセンタ側装置に出力する動作を実行する。【選択図】図１

Description

本発明は万引き防止システム及びそれに使用される店舗側装置並びにセンタ側装置に関する。

近年、スーパーマーケットや小売店舗（以下、まとめて店舗と呼ぶ）における万引きによる被害金額の増大化が問題となっている。それゆえ、万引きによる被害を減らすための様々な対策が講じられている。

一般的な万引き犯の検出は、万引きGメンと呼ばれる専門要員を店舗に配置し、万引きGメンにより万引きの現場を押さえることで実現している。しかし、万引きGメンと呼ばれる専門要員は、特殊な技術を要する上に人件費がかかるため、配置される店舗には限りがある。それゆえ、現状において検出される万引き犯は氷山の一角でしかなく、万引きGメンのような人手によらずに万引きに対処する方法が望まれている。

万引きGメンを配置せずに万引きに対処する方法として、顔認証技術を利用した防犯管理システムによる方法がある。この方法では、店舗スタッフが、店舗に配置した監視カメラの画像を監視し、怪しいと思われる人物を発見した場合にはその人物の顔情報（主に、顔画像）を、その都度、手動で防犯管理システムに登録する。以後、監視カメラの画像に対して顔認証技術による顔認証を行い、登録された人物の顔画像に一致する画像が検出されると、その旨を店舗スタッフに知らせる。

しかし、この方法では、怪しいと思われる人物の見た目や関係ない挙動も目に入るため、万引きGメンの様な特殊技能を持たない店舗スタッフが登録作業を行う場合、個人の感情が影響することを避けることは難しく、登録データの信憑性に根拠が無くなってしまう可能性がある。そのため、誤認識が許されない万引き防止という観点からは、このような方法では運用が難しく、個人的感情の入る余地のない方法が望まれている。

万引き現場を実際に画像認識技術で捉える技術も提案されているが、巧みな万引き犯を現在の画像認識技術で確実に検出することは難しい。

万引き防止の関連技術として、特許文献１〜３に開示された技術があり、以下に簡単に説明する。

特許文献１は、ショーケースに陳列されている商品の在庫状況についてコンピュータを用いて管理する商品管理システムについて開示している。このシステムは、ショーケースからの商品の取得有無を検知する商品取得検知手段と、商品取得検知手段が商品の取得有りを検知した場合に当該商品の取得行為者を撮像する第一撮像手段と、商品取得検知手段が商品の取得有りを検知した場合にレジにおいて商品の売上情報を取得する売上取得手段と、を備える。このシステムは更に、売上取得手段で売上情報を取得した場合に当該商品購入者を撮像する第二撮像手段と、第一撮像手段による撮像情報と、第二撮像手段による撮像情報とに基づいて万引き行為を判定する制御手段と、前記二つの撮像手段による撮像情報が格納される情報格納手段と、を備え、万引き行為を撮像情報に基づいて判定する。

特許文献２は、万引き被害を低減することのできる販売管理システムについて開示している。このシステムはストアコントローラを備える。ストアコントローラは、記録装置に記録された精算カメラからの精算撮像データと陳列棚カメラからの陳列棚撮像データが一致した場合、記録装置から精算撮像データおよび陳列棚撮像データを消去する。しかし、所定期間において陳列棚撮像データが残存した場合、ストアコントローラは、その旨を知らせて注意を促す。以後、顔認識システムにより万引きの可能性の高い人物の特定作業を実行する。

特許文献３は、販売品種や販売個数が多い店舗にても採用しやすいセキュリティシステムについて開示している。このシステムは、RFID(Radio-Frequency Identification Device)を用いて店内の商品を把握し、レジを通っていないにも拘わらず店内から消えた商品を、定期的に店内のRFIDをスキャンすることで把握する。このシステムは、レジを通っていないにも拘わらず店内から消えた商品があると判別すると、今回のスキャン時刻と前回のスキャン時刻との間に店内に居た人物を万引き行為者の候補として挙げる。そして、上記動作を繰り返すことで候補の積み上げを行い、検出精度を増すようにしている。

特開２０１３−１８８４０１号公報 特開２０１２−２４２９１２号公報 特開２０１３−１３４６４４号公報

特許文献１の開示によれば、特許文献１のシステムは、万引き行為者の特定だけでなく、常習化した万引き行為者の再犯にも寄与するとしている。しかしながら、特許文献１のシステムでは、通常の商品取り出しであっても商品を商品陳列部から取り出す毎に取り出した人物を撮像することが必要であり、万引き行為判定のための動作を必要とする。加えて、特許文献１のシステムは、人物の行為そのものについて何らかの診断あるいは判別を行うようなことはしないので、ある人物に万引き行為につながるような不審な行動があっても、それは考慮されない。

特許文献２のシステムでも、人物の行為そのものについて何らかの診断あるいは判別を行うようなことはしないので、ある人物に万引き行為につながるような不審な行動があっても、それは考慮されない。

特許文献３のシステムでは、積み上がった候補の情報を減らすことは考えていないので、偶然何度も候補として挙げられてしまった場合は誤った判断をしてしまうことになりかねない。また、特許文献１、２のシステムと同様、特許文献３のシステムも、人物の行為そのものについて何らかの診断あるいは判別を行うようなことはしないので、ある人物に万引き行為につながるような不審な行動があっても、それは考慮されない。

更に、特許文献１〜３のいずれのシステムも、１つの店舗内で実行することしか考えていない。

本発明は、上記のような課題に鑑み、万引き行為そのものというよりも、万引きにつながると思われるような行為の検出に重きをおいて、万引き防止に寄与することのできる万引き防止システム及びそれに使用される店舗側装置並びにセンタ側装置を提供しようとするものである。

本発明の第１の態様によれば、センタ側装置と、該センタ側装置に通信回線を介して接続した少なくとも１つの店舗側装置とで構成される万引き防止システムの店舗側装置であって、
店舗の出入り口に設置されて入場する人物及び退場する人物をそれぞれ撮像する少なくとも２つの入退場撮像カメラと、
店舗内の所定箇所に設置されて撮影領域内を撮像する複数のカメラと、
前記２つの入退場撮像カメラからの画像情報から入場する人物及び退場する人物の顔情報を抽出し、顔認証を行って人物毎に入場日時及び退場日時と顔情報を出力する店舗側顔認証部と、
前記２つの入退場撮像カメラからの画像情報と前記複数のカメラからの画像情報を受け、前記複数のカメラからの画像情報に対して画像に含まれる人物毎に顔情報を抽出するとともに動線検出を行い、人物毎に検出した動線情報と該当する人物の顔情報を出力する動線検出部と、
前記人物毎に検出された動線情報と前記該当する人物の顔情報を用いて不審行動をとる人物の有無を検出し、人物有りの場合にそれを示す情報と判別した動線情報に該当する人物の顔情報とその場所情報を出力する不審行動検出部と、
店舗内の商品について購入されていないにもかかわらず、無くなった商品が無いかどうかの検出を一定時間毎に行い、無くなった商品があると、その商品に関する情報と、無くなった日時及び時間帯情報を出力する商品検出装置と、
店舗側制御装置と、を含み、
前記商品に関する情報は、無くなった商品の陳列されていた場所情報を含み、
前記店舗側制御装置は前記複数のカメラの撮像動作を制御し、
前記店舗側制御装置はまた、前記店舗側顔認証部から人物毎の前記入場日時と前記退場日時及び前記顔情報を取得して店舗情報とともに前記センタ側装置に送信するとともに、前記動線検出部から前記人物毎に検出された動線情報と前記該当する人物の顔情報を取得して店舗情報とともにセンタ側装置に送信し、
前記店舗側制御装置は更に、前記不審行動検出部から前記人物有りを示す情報と前記判別した動線情報に該当する人物の顔情報とその場所情報を店舗情報と共に不審情報として前記センタ側装置に送信すると共に、前記商品検出装置から無くなった商品に関する情報と無くなった日時及び時間帯情報を受け取ると、これらの情報を店舗情報と共にロスト情報としてセンタ側装置に出力する動作を実行することを特徴とする万引き防止システムの店舗側装置、が提供される。

本発明の第２の態様によれば、少なくとも１つの上記第１の態様に記載の店舗側装置と通信回線を介して接続して構成される万引き防止システムのセンタ側装置であって、
センタ側メモリと、センタ側顔認証部と、これらを制御するセンタ側制御装置と、を含み、
前記センタ側制御装置は、前記店舗側装置から送られてくる当該店舗への人物毎の入場日時と退場日時及び顔情報と店舗情報を受けると、これらの情報を人物別に、人物毎に付与される怪しさ数値とともに前記センタ側メモリに蓄積し、
前記センタ側制御装置はまた、前記店舗側装置から送られてくる、前記不審情報と前記ロスト情報を前記センタ側メモリに蓄積し、
前記センタ側制御装置は更に、前記店舗側装置から送られてくる、前記人物毎に検出された動線情報と前記該当する人物の顔情報及び店舗情報を受けると、これらの情報を前記センタ側メモリに蓄積し、
前記センタ側制御装置は更に、前記不審情報と前記ロスト情報及び前記人物毎に検出された動線情報と前記該当する人物の顔情報及び前記店舗情報を用いて、前記センタ側顔認証部により、商品の無くなった時間帯に、前記無くなった商品の陳列されていた場所に近づいた人物の有無を調べ、人物有りと判別すると該当する人物の顔情報を抽出すると共に、前記センタ側メモリに蓄積されている人物毎の顔情報と照合を行い、該当する顔情報を検出するとその顔情報の人物に対応する怪しさ数値を増加するように更新することを特徴とする万引き防止システムのセンタ側装置、が提供される。

本発明の第３の態様によれば、少なくとも１つの上記第１の態様に記載の店舗側装置と、上記第２の態様に記載のセンタ側装置とで構成される万引き防止システムが提供される。

本発明の第４の態様は、センタ側装置と、該センタ側装置に通信回線を介して接続した少なくとも１つの店舗側装置とで構成される万引き防止システムの店舗側装置であって、
店舗の出入り口に設置されて入場する人物及び退場する人物をそれぞれ撮像する少なくとも２つの入退場撮像カメラと、
店舗内の所定箇所に設置されて撮影領域内を撮像する複数のカメラと、
前記２つの入退場撮像カメラからの画像情報から入場する人物及び退場する人物の顔情報を抽出し、顔認証を行って人物毎に入場日時及び退場日時と顔情報を出力する店舗側顔認証部と、
前記２つの入退場撮像カメラからの画像情報と前記複数のカメラからの画像情報を受け、前記複数のカメラからの画像情報に対して画像に含まれる人物毎に顔情報を抽出するとともに動線検出を行い、人物毎に検出した動線情報と該当する人物の顔情報を出力する動線検出部と、
前記人物毎に検出された動線情報と前記該当する人物の顔情報を用いて不審行動をとる人物の有無を検出し、人物有りの場合にそれを示す情報と判別した動線情報に該当する人物の顔情報とその場所情報を出力する不審行動検出部と、
店舗内の商品について購入されていないにもかかわらず、無くなった商品が無いかどうかの検出を一定時間毎に行い、無くなった商品があると、その商品に関する情報と、無くなった日時及び時間帯情報を出力する商品検出装置と、
店舗側制御装置と、を含む店舗側装置で実行される方法であって、
前記商品に関する情報は、無くなった商品の陳列されていた場所情報を含み、
前記店舗側顔認証部から人物毎の前記入場日時と前記退場日時及び前記顔情報を取得して店舗情報とともに前記センタ側装置に送信するとともに、前記動線検出部から前記人物毎に検出された動線情報と前記該当する人物の顔情報を取得して店舗情報とともにセンタ側装置に送信し、
前記不審行動検出部から前記人物有りを示す情報と前記判別した動線情報に該当する人物の顔情報とその場所情報を店舗情報と共に不審情報として前記センタ側装置に送信すると共に、前記商品検出装置から無くなった商品に関する情報と無くなった日時及び時間帯情報を受け取ると、これらの情報を店舗情報と共にロスト情報としてセンタ側装置に出力する動作を実行する
ことを特徴とする万引き防止システムの店舗側装置で実行される方法である。

本発明の第５の態様は、少なくとも１つの上記第１の態様に記載の店舗側装置と通信回線を介して接続して構成される万引き防止システムのセンタ側装置であって、
センタ側メモリと、センタ側顔認証部と、これらを制御するセンタ側制御装置と、を含むセンタ側装置で実行される方法であって、
前記店舗側装置から送られてくる当該店舗への人物毎の入場日時と退場日時及び顔情報と店舗情報を受けると、これらの情報を人物別に、人物毎に付与される怪しさ数値とともに前記センタ側メモリに蓄積し、
前記店舗側装置から送られてくる、前記不審情報と前記ロスト情報を前記センタ側メモリに蓄積し、
前記店舗側装置から送られてくる、前記人物毎に検出された動線情報と前記該当する人物の顔情報及び店舗情報を受けると、これらの情報を前記センタ側メモリに蓄積し、
前記不審情報と前記ロスト情報及び前記人物毎に検出された動線情報と前記該当する人物の顔情報及び前記店舗情報を用いて、前記センタ側顔認証部により、商品の無くなった時間帯に、前記無くなった商品の陳列されていた場所に近づいた人物の有無を調べ、人物有りと判別すると該当する人物の顔情報を抽出すると共に、前記センタ側メモリに蓄積されている人物毎の顔情報と照合を行い、該当する顔情報を検出するとその顔情報の人物に対応する怪しさ数値を増加するように更新する
ことを特徴とする万引き防止システムのセンタ側装置で実行される方法である。

本発明によれば、万引き行為そのものというよりも、万引きにつながると思われるような行為の検出に重きをおいて、万引き防止に寄与することのできる万引き防止システムを提供することができる。

本発明に係る万引き防止システムの概略構成を説明するための図である。 本発明が適用される店舗のレイアウトの一例と、この店舗において万引き防止システムを構築するために店舗内外に設置されるカメラの配置例を示した図である。 本発明の実施形態に係る店舗側装置の構成例を示すブロック図である。 本発明の実施形態に係るセンタ側装置の構成例を示すブロック図である。 本発明の実施形態に係るセンタ側装置のメモリに記憶される情報の一例を示した図である。 本発明の実施形態に係る店舗側装置の動作を説明するためのフローチャート図である。 本発明の実施形態に係るセンタ側装置の動作を説明するためのフローチャート図である。

本発明による万引き防止システムは、店舗を訪れた人物の顔情報、日時及び時間帯の情報、商品が店舗から無くなった日時及び時間帯の情報、店舗内における人物の動線情報を組み合わせることで、万引き行為を繰り返す可能性のある人物を統計的に導き出し、再犯を未然に防ぐことを可能とする。

以下に、本発明に係る万引き防止システムの実施形態について説明する。

図１は、万引き防止システムの概略構成を説明するための図で、データセンタＤＣに設置されるセンタ側装置と、店舗毎に設置され、センタ側装置に通信回線を介して接続した１つ以上の店舗側装置とで構成される。ここでは、２つの店舗α、βのみを示し、センタ側装置、店舗側装置の構成については後述する。

図２は、店舗のレイアウトの一例と、この店舗において万引き防止システムを構築するために店舗内外に設置されるカメラの配置例を示した図である。

図２において、店舗内の壁に沿って商品陳列棚１００が設置されているほか、間隔をおいて複数の商品陳列棚２００が設置されている。店舗内にはまた、精算処理を行う１つ以上のレジカウンタ３００が設置されている。このようなレイアウトの店舗において、商品陳列棚１００、２００におけるすべての領域を撮影できるように複数のカメラＣＭ１が設置されるほか、レジカウンタ３００での精算者、店舗の出入り口４００における入場者、退場者を撮影できるように複数のカメラＣＭ２、ＣＭ３が設置される。カメラＣＭ１とその撮影領域、換言すれば商品の陳列場所はあらかじめ対応付けられている。また、カメラの設置に際しては、死角領域ができないように工夫される。

図３は、店舗側装置の構成例を示すブロック図である。

図３において、本実施形態に係る店舗側装置１０は、前述したように、店舗の出入り口４００に設置されて入場する人物及び退場する人物をそれぞれ撮像する２つの入退場撮像用のカメラＣＭ３と、店舗内の所定箇所に設置されて決められた撮影領域内を撮像する複数のカメラＣＭ１、ＣＭ２とを備える。

店舗側装置１０はまた、店舗側顔認証部２０、動線検出部３０、商品検出装置４０、不審行動検出部５０、店舗側制御装置６０を備える。店舗側顔認証部２０、動線検出部３０、商品検出装置４０、不審行動検出部５０、店舗側制御装置６０は、１つのコンピュータあるいはＣＰＵで実現することができるが、以下では、各部を個別に備える場合について説明する。以下に、前記各部の機能、動作について簡単に説明する。

店舗側顔認証部２０は、２つの入退場撮像用のカメラＣＭ３からの画像情報と複数のカメラＣＭ１、ＣＭ２からの画像情報を受け、２つの入退場撮像用のカメラＣＭ３の画像情報を基に入場する人物及び退場する人物の顔画像から顔情報を抽出し、顔認証を行って人物毎に入場日時及び退場日時と顔情報を店舗側制御装置６０に出力する。なお、日時のうちの「時」は時間帯で示される。また、ここでの顔情報は、顔画像そのものを用いるが、顔画像から抽出される顔の輪郭、目の間隔や頬骨の長さ等、顔認証を行う際に使用される特徴点情報を用いても良い。

動線検出部３０は、２つの入退場撮像用のカメラＣＭ３からの画像情報と複数のカメラＣＭ１、ＣＭ２からの画像情報を受け、複数のカメラＣＭ１、ＣＭ２からの画像情報に対して画像に含まれる人物毎に顔画像から顔情報を抽出するとともに人物の動線検出を行い、人物毎に検出した動線情報と該当する人物の顔情報を店舗側制御装置６０に出力する。

商品検出装置４０は、店舗内の商品について購入されていないにもかかわらず、無くなった商品が無いかどうかの検出を一定時間毎に行い、無くなった商品（ロスト商品）があると、ロスト商品に関する情報と、無くなった日時及び時間帯情報を店舗側制御装置６０に出力する。ロスト商品に関する情報は、無くなった商品が陳列されていた場所（陳列場所）情報を含む。商品検出装置４０の具体例としては、商品陳列棚１００、２００に陳列されている個々の商品にＲＦＩＤを付け、商品陳列棚１００、２００にＲＦＩＤの読み取り機を設置して定期的に商品の有無を検知する形態が挙げられる。あるいは、この種の店舗はＰＯＳ（Ｐｏｉｎｔ ｏｆ Ｓａｌｅｓ）装置を備えることが普通であるので、ＰＯＳ装置に接続された店舗スタッフ用の携帯端末（バーコード読み取り機能付き）で商品の個数を確認する形態でも良い。

不審行動検出部５０は、動線検出部３０で検出された、人物毎の検出した動線情報と該当する人物の顔情報を店舗側制御装置６０経由で受け取り、これらの情報を用いて、商品陳列棚１００、２００の近くで不審行動をとる人物の有無を調べ、不審行動をとる人物有りと判別すると、判別した動線情報に該当する人物の顔情報とその場所情報を店舗側制御装置６０に出力する。

店舗側装置１０は更に、センタ側装置と無線あるいは有線で通信を行うための通信部７０、センタ側装置からの警戒情報に基づいて店舗スタッフに万引きに対する警戒を促す通知を行う報知部８０、店舗側制御装置６０の制御下で上記各部からの各種検出情報や判別情報を記録するメモリ（店舗側メモリ）９０を備える。メモリ９０は、店舗側制御装置６０が制御動作を実行するために必要なプログラムを格納しているメモリも含む。

店舗側制御装置６０は、メモリ９０から制御動作を実行するためのプログラムを読み出し、以下の制御動作を実行する。

店舗側制御装置６０は、カメラＣＭ１〜ＣＭ３の撮像動作を制御する。店舗側制御装置６０はまた、店舗側顔認証部２０から人物毎の入場日時と退場日時及び顔情報を取得して店舗情報とともにセンタ側装置に出力（送信）する。店舗情報というのは、店舗を識別するために店舗別に付与される識別情報である。店舗側制御装置６０は更に、動線検出部３０で取得された人物毎に検出された動線情報と該当する人物の顔情報を店舗情報とともにセンタ側装置に送信するとともに、人物毎の検出した動線情報と該当する人物の顔情報を不審行動検出部５０に出力し、不審行動の検出を実行させる。店舗側制御装置６０は更に、商品検出装置４０からロスト商品に関する情報と無くなった日時及び時間帯情報を受け取ると、これらの情報を万引き情報として店舗情報と共にセンタ側装置に出力する。店舗側制御装置６０は更に、不審行動検出部５０において不審な人物有りと判別した時に送られてくる、該当する人物の顔情報と場所情報及び店舗情報をセンタ側装置に出力する。

店舗側制御装置６０は、上述したように、センタ側装置からの警戒情報を通信部７０経由で受信すると、報知部８０に対し、受信した警戒情報に基づいて店舗側スタッフに万引きに対する警戒を促す通知を報知させる。

図４は、センタ側装置５００の構成例を示すブロック図である。

図４において、本実施形態に係るセンタ側装置５００は、センタ側制御装置５１０、センタ側顔認証部５２０、各店舗の店舗側装置と無線あるいは有線で通信を行う通信部５３０、データベースとなるメモリ（センタ側メモリ）５４０を備える。メモリ５４０は、センタ側制御装置５１０が制御動作を実行するために必要なプログラムも格納しているメモリも含む。センタ側制御装置５１０、センタ側顔認証部５２０は、１つのコンピュータあるいはＣＰＵで実現することができるが、以下では、各部を個別に備える場合について説明する。

センタ側制御装置５１０は、メモリ５４０から制御動作を実行するためのプログラムを読み出し、以下の制御動作を実行する。

センタ側制御装置５１０は、店舗側装置から送られてくる当該店舗への人物毎の入場日時と退場日時及び顔情報と店舗情報を受け、これらの情報を人物毎に付与される怪しさ数値とともにメモリ５４０に蓄積する。センタ側制御装置５１０はまた、店舗側装置から送られてくる、ロスト商品に関する情報と無くなった日時及び時間帯情報と店舗情報を受け、これらの情報をメモリ５４０に蓄積する。センタ側制御装置５１０は更に、店舗側装置の不審行動検出部５０において不審な人物有りと判別した時に店舗側装置から送られてくる、該当する人物の顔情報と場所情報及び店舗情報を受け、これらの情報をメモリ５４０に蓄積すると共に、後述する怪しさ数値の更新を行う。

センタ側顔認証部５２０は、センタ側制御装置５１０経由で得られる、ロスト商品に関する情報と無くなった日時及び時間帯情報と店舗情報、人物毎に検出された動線情報と該当する人物の顔情報及び店舗情報を用いて、商品の無くなった日時及び時間帯に、ロスト商品の陳列場所に近づいた人物の有無を調べ、人物有りと判別すると該当する人物の顔情報がメモリ５４０に記憶されているか調べる。すなわち、センタ側顔認証部５２０は、上記の判別の結果得られた該当する人物の顔情報とメモリ５４０に蓄積されている人物毎の顔情報との照合を行い、該当する顔情報を検出するとそれをセンタ側制御装置５１０に出力する。これを受けたセンタ側制御装置５１０は、メモリ５４０における、検出された顔情報の人物に対応する怪しさ数値を増加するように更新する動作を実行する。なお、センタ側顔認証部５２０において人物有りと判別したが、該当する人物の顔情報がメモリ５４０に存在しない場合には、センタ側制御装置５１０は、その顔情報と店舗情報を怪しさ数値と共にメモリ５４０に新たに蓄積する。

次に、店舗αの店舗側装置１０とセンタ側装置５００の動作を、それらのフローチャート図である図６、図７を参照して順を追って説明する。

１．店舗側制御装置６０は、店舗αの出入口４００に設置されたカメラＣＭ３によって、入場する人物及び退場する人物の顔情報を取得し、顔情報と入退場日時及び店舗情報をメモリ９０に記憶すると共に、通信部７０経由でデータセンタのセンタ側装置５００に送信する（ステップＳ１０１）。センタ側装置５００のセンタ側制御装置５１０は店舗αから送信されてきたすべての人物の顔情報及び入退場日時と店舗情報を怪しさデータと共にメモリ５４０に記憶する（ステップＳ２０１）。

メモリ５４０における記憶形態の一例を図５に示す。情報の記憶は、メモリ５４０の記憶領域を人物毎に区画し、区画毎に人物を特定する記号又は番号を付した顔情報と、店舗情報及び入退場日時と、後述する怪しさデータを紐付して記憶する。以下では、人物毎に区画された記憶領域を人物記憶領域と呼ぶ。

センタ側制御装置５１０は、新たな顔情報及び入退場日時と店舗情報が送信されてきた際には、顔情報についてすでに記憶している顔情報との照合を行い、一致する顔情報がある場合には、一致した顔情報の人物記憶領域（区画）に、新たな店舗情報及び入退場日時を追記する。なお、以降の説明における「一致」というのは、類似度に基づく照合を行った結果、類似度が所定値以上の場合を含むものとする。

２．店舗αの店舗側制御装置６０は、定期的に、購入されていないにもかかわらず店舗α内から無くなった商品（ロスト商品）があるかどうかの検出動作を商品検出装置４０に実行させる（ステップＳ１０２）。店舗側制御装置６０は、商品検出装置４０からロスト商品有りの出力を受け取ると、ロスト商品名と日時、無くなった時間帯及び場所情報をメモリ９０に記憶すると共に、ロスト商品名と日時、無くなった時間帯及び場所情報に店舗情報を加えてセンタ側装置５００に送信する（ステップＳ１０３）。以下では、ロスト商品名と日時、無くなった時間帯及び場所情報に店舗情報を加えた情報をまとめてロスト情報と呼ぶことがある。

３．センタ側制御装置５１０は、ロスト情報の受信があることを検出すると（ステップＳ２０２）、受信したロスト情報をメモリ５４０に記憶する（ステップＳ２０３）。ロスト情報は、店舗別に記憶される。

センタ側制御装置５１０は、上記１及び２において取得した情報を基に、定期的に、店舗αに入場した人物の怪しさデータを計上、更新していく。怪しさデータは、ここでは数値で示すこととし、以後、怪しさ数値と呼ぶ。

４．店舗αでは、店舗側制御装置６０が動線検出部３０に対して店舗α内の人物の動線情報及び顔情報を取得させ、これらの情報をメモリ９０に記憶すると共に、センタ側装置５００に送信する（ステップＳ１０４）。

センタ側制御装置５１０は、店舗αから送信されてきた店舗α内の人物の動線情報及び顔情報の受信があることを検出すると（ステップＳ２０２）、受信した情報をメモリ５４０に記憶する（ステップＳ２０３）。

店舗側制御装置６０はまた、動線検出部３０で検出された、人物毎の検出した動線情報と該当する人物の顔情報を用いて、不審行動検出部５０に対して、商品陳列棚１００、２００の近くで不審な行動をとる人物の有無を調べさせ（ステップＳ１０５）、不審な人物有りの判別結果が得られると、該当する人物の顔情報とその人物がいた場所情報及び店舗情報を不審情報としてセンタ側装置５００に送信する（ステップＳ１０６）。

センタ側制御装置５１０は、不審情報を受信すると（ステップＳ２０４）、不審情報中の顔情報を用いて、記憶しているすべての人物の顔情報に対して照合を行って当該人物に対応する顔情報があるかどうか調べる（ステップＳ２０５）。センタ側制御装置５１０はまた、対応する顔情報を抽出することができた場合（ステップＳ２０５のＹｅｓ）には、メモリ５４０における抽出した顔情報の人物に対して怪しさ数値を所定数値プラスする（ステップＳ２０６）。センタ側制御装置５１０は、対応する顔情報を抽出することができない場合には、不審情報に含まれる顔情報を店舗情報と共にメモリ５４０の新たな人物記憶領域に記憶する（Ｓ２０７）。

センタ側制御装置５１０は更に、上記１及び２において取得した情報と、店舗情報と、商品が無くなった日時、時間帯の動線情報及び顔情報を基に、商品が無くなった日時、時間帯に、無くなった商品が置かれていた商品陳列棚１００、２００、すなわち陳列場所の前に一定時間滞在した人物がいたかどうかの判別動作を実行する（ステップＳ２０８）。この判別動作にはセンタ側顔認証部５２０が用いられる。センタ側制御装置５１０は、該当する人物有りと判別すると、その人物の顔情報を用いて、メモリ５４０に記憶しているすべての人物の顔情報に対して照合を行って当該人物に対応する顔情報を抽出する。センタ側制御装置５１０はまた、対応する顔情報を抽出することができた場合には、抽出した顔情報を記憶している人物記憶領域の怪しさ数値を所定数値プラスする（ステップＳ２０９）。なお、判別の結果、商品陳列棚の前を通過しただけ、または通過すらしてない人物の場合には、怪しさ数値をプラスしないだけでなく、マイナスするというようにしても良い。

４．上記１〜３を複数の店舗についてセンタ側装置５００で日々繰り返すことで、センタ側装置５００は、図５に示されるような記憶情報において、再犯を繰り返す可能性のある人物の怪しさ数値を更新する。怪しさ数値の更新に際しては、上記３に記載の工夫により、万引きとは無関係な人物の場合は怪しさ数値が上がらないようにすることができる。

この情報を元に、センタ側装置５００は、ある閾値以上に怪しさ数値が上がった人物がいる場合（ステップＳ２１０のＹｅｓ）には、その旨を該当する人物の顔情報と共に不審人物情報として該当する店舗（α）だけでなく、すべての店舗に通知する（ステップＳ２１１）。通知を受けた各店舗では（ステップＳ１０７のＹｅｓ）、店舗スタッフ専用のディスプレイにより通知を受けた人物の顔情報を表示して店舗スタッフに通知する（ステップＳ１０８）。

店舗側制御装置６０は、以後、店舗側顔認証部２０により入場時に撮影された人物の顔情報と通知を受けた人物の顔情報との照合を行い（ステップＳ１０９）、該当する人物の入場有りと判別した場合にはその旨を店員に通知して注意を促すことで、万引きを未然に防ぐことができる（ステップＳ１１０）。

以上のように、複数の各店舗α、βにおいて、各店舗に入場したことのある人物の顔情報とその人物に関する怪しさデータ（怪しさ数値）を、センタ側装置を通して共有しているため、店舗αだけでなく他の店舗βでも怪しさ数値の高い人物の検出が可能となる。

５．なお、誤検出を防ぐ方法としては、上記に記載した項目を含めて以下の手法が考えられる。

５−１．センタ側装置での動線情報を使用した検出処理により、無くなった商品が置かれていた棚の前にある人物が一定時間滞在した場合には、怪しさ数値をプラスに、逆に棚の前を通過しただけ、または通過すらしてない様な場合には、プラスしないだけでなくマイナスするという制御を行う。

５−２．店舗側装置１０の不審行動検出部５０において、動線情報を使用した検出処理により、ある人物が万引きのための品定めをしているのではないかと疑われる不審行動を検出した場合には、不審行動検出を示す情報と、顔情報及び店舗情報をセンタ側装置５００に送信してメモリ５４０における怪しさ数値をプラスさせる。不審行動の検出は以下のようにして実現される。不審行動として検出すべき動作パターンを、いくつかの不審行動パターンに類型化してあらかじめメモリ９０に記憶しておく。不審行動検出部５０は、店舗側制御装置６０の制御下で動線検出部３０から送付されてくる動線情報について通常とは異なる動きを検出した場合には、動線情報が不審行動パターンに該当するかどうかの判別を行う。該当すると判別した場合には、不審行動検出部５０はすぐに店舗側制御装置６０経由で不審行動をとる人物が存在することを検出したことを示す情報を顔情報及び店舗情報と共にセンタ側装置５００に送信する。勿論、不審行動をとる人物が存在することを店舗スタッフ専用のディスプレイにより店舗スタッフに通知するようにしても良い。なお、不審行動検出部をセンタ側装置５００に設置して、不審行動検出をセンタ側装置５００において実行するようにしても良い。

５−３．万引きを行った人物と同じ時間帯に偶然複数回店舗を訪問した他人の場合には、怪しさ数値が誤って計上される可能性があるので、商品の紛失を検出する時間間隔を短くし、怪しさ数値の正確さを向上させる。

５−４．怪しさ数値としては単に個人として計上するだけではなく、同じ時間帯に店舗内に存在した人物と紐付けた情報も管理することで、それと外れた行動(例えば怪しさ数値計上時に店内に存在した人物と一緒ではない時間帯に店舗αを訪れた場合や、他店舗βを訪れた)をした場合に何もなければ、怪しさ数値をマイナスする。

５−５．怪しさ数値が閾値を超えた場合でも、万一誤検出であることがわかった場合や、警察官が万引き現場を抑えて逮捕した様な場合には、データを手動でクリアすることもできる。

怪しさ数値の扱いについて例を用いて説明する。

図１の店舗αに、X、Y、Zの３名がそれぞれ、同日の図１に記載の時間帯に店舗に滞在したと仮定する。店舗αで図１に記載の商品（ビール、アイス）が万引きに合ったと仮定する。すると、商品（ビール）が無くなった日時、時間帯（２０１６／７／５、１１：００〜１４：００）に店舗αに滞在したX、Y、Zの３名が疑わしいので、怪しさ数値を計上する。

その際、店舗α内に設置された人物の動線検出部や不審行動検出部により、商品が無くなった時間帯（１１：００〜１４：００）に商品が無くなった商品陳列棚の前に、ある一定閾値時間以上滞在した人物Xの存在を検出した場合には、不審行動検出に該当した人物Xの怪しさ数値を大きめに計上する。逆に、同じ時間帯に店舗αに滞在したにも拘わらず、商品が無くなった商品陳列棚の前を通過しただけ、または通っていない人物Y、Zについては、怪しさ数値を計上しない。これを繰り返すことで、怪しさ数値に信憑性が増す。

そして、ある人物の怪しさ数値が所定の閾値を超えた場合に、センタ側装置はその旨を該当する人物の顔情報と共に該当するすべての店舗に通知する。通知を受けた各店舗では、以後、入場時に撮影された人物の顔情報と通知を受けた人物の顔情報との照合を行い、該当する人物の入場を検出した場合には店員に注意を促し、店内の見回りを強化したり、店内で防犯強化についての放送を行ったりすることにより、万引きを未然に防ぐことができる。

なお、店舗側装置１０におけるメモリ９０、センタ側装置５００におけるメモリ５４０においては、記憶時間が一定期間を経過した情報については自動的に消去するようにしても良い。特に、メモリ５４０の人物記憶領域に記憶される情報とこれに関連する店舗情報、入退場日時情報、怪しさ数値情報は、怪しさ数値が一定期間変化しなければ自動的に消去するようにしても良い。

本発明による万引き防止システム及び店舗側装置並びにセンタ側装置は、スーパーマーケットや小売店舗等の様々な販売施設に適用することができる。

ＤＣ データセンタ
ＣＭ１〜ＣＭ３ カメラ
１００、２００ 商品陳列棚
３００ レジカウンタ
４００ 出入り口
１０ 店舗側装置
６０ 店舗側制御装置
５００ センタ側装置
５１０ センタ側制御装置

Claims (8)

1. センタ側装置と、該センタ側装置に通信回線を介して接続した少なくとも１つの店舗側装置とで構成される万引き防止システムの店舗側装置であって、
   店舗の出入り口に設置されて入場する人物及び退場する人物をそれぞれ撮像する少なくとも２つの入退場撮像カメラと、
   店舗内の所定箇所に設置されて撮影領域内を撮像する複数のカメラと、
   前記２つの入退場撮像カメラからの画像情報から入場する人物及び退場する人物の顔情報を抽出し、顔認証を行って人物毎に入場日時及び退場日時と顔情報を出力する店舗側顔認証部と、
   前記２つの入退場撮像カメラからの画像情報と前記複数のカメラからの画像情報を受け、前記複数のカメラからの画像情報に対して画像に含まれる人物毎に顔情報を抽出するとともに動線検出を行い、人物毎に検出した動線情報と該当する人物の顔情報を出力する動線検出部と、
   前記人物毎に検出された動線情報と前記該当する人物の顔情報を用いて不審行動をとる人物の有無を検出し、人物有りの場合にそれを示す情報と判別した動線情報に該当する人物の顔情報とその場所情報を出力する不審行動検出部と、
   店舗内の商品について購入されていないにもかかわらず、無くなった商品が無いかどうかの検出を一定時間毎に行い、無くなった商品があると、その商品に関する情報と、無くなった日時及び時間帯情報を出力する商品検出装置と、
   店舗側制御装置と、を含み、
   前記商品に関する情報は、無くなった商品の陳列されていた場所情報を含み、
   前記店舗側制御装置は前記複数のカメラの撮像動作を制御し、
   前記店舗側制御装置はまた、前記店舗側顔認証部から人物毎の前記入場日時と前記退場日時及び前記顔情報を取得して店舗情報とともに前記センタ側装置に送信するとともに、前記動線検出部から前記人物毎に検出された動線情報と前記該当する人物の顔情報を取得して店舗情報とともにセンタ側装置に送信し、
   前記店舗側制御装置は更に、前記不審行動検出部から前記人物有りを示す情報と前記判別した動線情報に該当する人物の顔情報とその場所情報を店舗情報と共に不審情報として前記センタ側装置に送信すると共に、前記商品検出装置から無くなった商品に関する情報と無くなった日時及び時間帯情報を受け取ると、これらの情報を店舗情報と共にロスト情報としてセンタ側装置に出力する動作を実行する
   ことを特徴とする万引き防止システムの店舗側装置。
2. 更に、前記センタ側装置からの警戒情報に基づいて店舗側スタッフに万引きに対する警戒を促す通知を行う報知部を備えることを特徴とする請求項１に記載の万引き防止システムの店舗側装置。
3. 前記店舗側制御装置は更に、前記センタ側装置から不審人物の顔情報を含む不審人物情報の通知を受信すると、以後、前記店舗側顔認証部により入場時に撮影された人物の顔情報と通知を受けた不審人物の顔情報との照合を行い、該当する人物の入場有りと判別した場合にはその旨を店員に通知して注意を促すことを特徴とする請求項１又は２に記載の万引き防止システムの店舗側装置。
4. 少なくとも１つの請求項１に記載の店舗側装置と通信回線を介して接続して構成される万引き防止システムのセンタ側装置であって、
   センタ側メモリと、センタ側顔認証部と、これらを制御するセンタ側制御装置と、を含み、
   前記センタ側制御装置は、前記店舗側装置から送られてくる当該店舗への人物毎の入場日時と退場日時及び顔情報と店舗情報を受けると、これらの情報を人物別に、人物毎に付与される怪しさ数値とともに前記センタ側メモリに蓄積し、
   前記センタ側制御装置はまた、前記店舗側装置から送られてくる、前記不審情報と前記ロスト情報を前記センタ側メモリに蓄積し、
   前記センタ側制御装置は更に、前記店舗側装置から送られてくる、前記人物毎に検出された動線情報と前記該当する人物の顔情報及び店舗情報を受けると、これらの情報を前記センタ側メモリに蓄積し、
   前記センタ側制御装置は更に、前記不審情報と前記ロスト情報及び前記人物毎に検出された動線情報と前記該当する人物の顔情報及び前記店舗情報を用いて、前記センタ側顔認証部により、商品の無くなった時間帯に、前記無くなった商品の陳列されていた場所に近づいた人物の有無を調べ、人物有りと判別すると該当する人物の顔情報を抽出すると共に、前記センタ側メモリに蓄積されている人物毎の顔情報と照合を行い、該当する顔情報を検出するとその顔情報の人物に対応する怪しさ数値を増加するように更新する
   ことを特徴とする万引き防止システムのセンタ側装置。
5. 前記センタ側制御装置は、前記センタ側メモリにおける前記怪しさ数値が所定の閾値に到達した人物があることを検出すると、対応する人物の顔情報を含む不審人物情報を前記店舗側装置に送信することを特徴とする請求項４に記載の万引き防止システムのセンタ側装置。
6. 少なくとも１つの請求項１に記載の店舗側装置と、請求項４に記載のセンタ側装置とで構成される万引き防止システム。
7. センタ側装置と、該センタ側装置に通信回線を介して接続した少なくとも１つの店舗側装置とで構成される万引き防止システムの店舗側装置であって、
   店舗の出入り口に設置されて入場する人物及び退場する人物をそれぞれ撮像する少なくとも２つの入退場撮像カメラと、
   店舗内の所定箇所に設置されて撮影領域内を撮像する複数のカメラと、
   前記２つの入退場撮像カメラからの画像情報から入場する人物及び退場する人物の顔情報を抽出し、顔認証を行って人物毎に入場日時及び退場日時と顔情報を出力する店舗側顔認証部と、
   前記２つの入退場撮像カメラからの画像情報と前記複数のカメラからの画像情報を受け、前記複数のカメラからの画像情報に対して画像に含まれる人物毎に顔情報を抽出するとともに動線検出を行い、人物毎に検出した動線情報と該当する人物の顔情報を出力する動線検出部と、
   前記人物毎に検出された動線情報と前記該当する人物の顔情報を用いて不審行動をとる人物の有無を検出し、人物有りの場合にそれを示す情報と判別した動線情報に該当する人物の顔情報とその場所情報を出力する不審行動検出部と、
   店舗内の商品について購入されていないにもかかわらず、無くなった商品が無いかどうかの検出を一定時間毎に行い、無くなった商品があると、その商品に関する情報と、無くなった日時及び時間帯情報を出力する商品検出装置と、
   店舗側制御装置と、を含む店舗側装置で実行される方法であって、
   前記商品に関する情報は、無くなった商品の陳列されていた場所情報を含み、
   前記店舗側顔認証部から人物毎の前記入場日時と前記退場日時及び前記顔情報を取得して店舗情報とともに前記センタ側装置に送信するとともに、前記動線検出部から前記人物毎に検出された動線情報と前記該当する人物の顔情報を取得して店舗情報とともにセンタ側装置に送信し、
   前記不審行動検出部から前記人物有りを示す情報と前記判別した動線情報に該当する人物の顔情報とその場所情報を店舗情報と共に不審情報として前記センタ側装置に送信すると共に、前記商品検出装置から無くなった商品に関する情報と無くなった日時及び時間帯情報を受け取ると、これらの情報を店舗情報と共にロスト情報としてセンタ側装置に出力する動作を実行する
   ことを特徴とする万引き防止システムの店舗側装置で実行される方法。
8. 少なくとも１つの請求項１に記載の店舗側装置と通信回線を介して接続して構成される万引き防止システムのセンタ側装置であって、
   センタ側メモリと、センタ側顔認証部と、これらを制御するセンタ側制御装置と、を含むセンタ側装置で実行される方法であって、
   前記店舗側装置から送られてくる当該店舗への人物毎の入場日時と退場日時及び顔情報と店舗情報を受けると、これらの情報を人物別に、人物毎に付与される怪しさ数値とともに前記センタ側メモリに蓄積し、
   前記店舗側装置から送られてくる、前記不審情報と前記ロスト情報を前記センタ側メモリに蓄積し、
   前記店舗側装置から送られてくる、前記人物毎に検出された動線情報と前記該当する人物の顔情報及び店舗情報を受けると、これらの情報を前記センタ側メモリに蓄積し、
   前記不審情報と前記ロスト情報及び前記人物毎に検出された動線情報と前記該当する人物の顔情報及び前記店舗情報を用いて、前記センタ側顔認証部により、商品の無くなった時間帯に、前記無くなった商品の陳列されていた場所に近づいた人物の有無を調べ、人物有りと判別すると該当する人物の顔情報を抽出すると共に、前記センタ側メモリに蓄積されている人物毎の顔情報と照合を行い、該当する顔情報を検出するとその顔情報の人物に対応する怪しさ数値を増加するように更新する
   ことを特徴とする万引き防止システムのセンタ側装置で実行される方法。

Images