JP2021093649A - 情報処理装置、情報処理装置の制御方法及びプログラム - Google Patents

Abstract

【課題】店舗等で人物の追尾を行う情報処理装置、情報処理装置の制御方法及びプログラムを提供する。【解決手段】店舗３００内の映像を用いて店舗３００内の顧客の追尾を行う情報処理装置である追尾装置は、店舗３００に入店した人物（顧客３０３）であってもすぐには追尾せず、ショーケース３０９Ａ、３０９Ｂ、・・・に設けられたセンサ（ＴＯＦカメラ３０８Ａ、３０８Ｂ、・・・）によりショーケースの扉が開けられたことが検知されたことを条件に、ＴＯＦカメラ３０１の映像からショーケース３０９Ａ、３０９Ｂ、・・・の前に居ると認識される人物（顧客３０４、３０５・・・）を追尾対象として追尾を開始する。また、商品決済が完了した人物（顧客３０６）を追尾対象から外す。【選択図】図１

Description

本発明は、店舗等で人物の追尾を行う情報処理装置、情報処理装置の制御方法及びプログラムに関する。

従来、店舗内での顧客の行動をデータ化するために、天井に設置された監視カメラに映った店内の顧客が店内を歩いた動線を追尾する技術がある。昨今では、顧客が店内で欲しい商品を手に取って自動決済するウォークスルー型の無人店舗で店舗内の顧客と購入商品を関連付けする技術等にも採用が検討されている。

特許文献１には、店舗内を撮影した画像から、出入口における入店した顧客に関する情報と該店舗内での顧客の動線に関する情報を対応付け、また、店舗内の支払領域から出入口までの顧客の動線に関する情報と該店舗における購買に関する情報を対応付ける技術が開示されている。

特開２０１６−１６２２５６号公報

しかし、上記特許文献１の技術は、入店した全ての顧客の店内行動を出入口から追尾する技術である。このため、入店した顧客数が多くなり、店内が多数の顧客で混雑した場合、追尾の負荷が増大し、店内で行動している各顧客の動線を正確に追尾することが困難となる。例えば、追尾されている者が入れ替わったりして、誤った追尾が起こりやすくなるといった課題があった。

本発明は、上記の課題を解決するためになされたものである。本発明は、店舗内で追尾が必要な対象者を適切に減らし、追尾の負荷を軽減することができる仕組みを提供することを目的とするものである。

本発明は、店舗内を撮影している映像を用いて該店舗内の人物の追尾を行う追尾手段を有し、前記追尾手段は、前記店舗内に設置されている商品を陳列する棚に対して人が行う所定のアクション又は該アクションに応じて生じる該棚における所定の変化を検知するセンサで、前記検知があったことを条件に、前記映像から該棚の前に居ると認識される人物を追尾対象として追尾開始し、前記店舗への入店が認識された人物であっても前記追尾対象となるまでは該人物の追尾を行わない、ことを特徴とする。

本発明によれば、店舗内で追尾が必要な対象者を適切に減らし、追尾の負荷を軽減することができる。この結果、来店者数が多くなり店舗内が多数の顧客で混雑したような場合でも、店舗内で行動している各顧客の動線を正確に追尾することが可能となる。例えば、追尾されている者が入れ替わったりして誤った追尾が発生するのを抑えることができる。

本実施形態の情報処理システムの概要を説明する図。 本実施形態の情報処理システムの概要を説明する図。 本実施形態の情報処理システムの構成の一例を示す図。 本実施形態の追尾装置の構成の一例を示すブロック図。 本実施形態の情報処理システムの動作の一例を示すフローチャート。 本実施形態の情報処理システムの動作の一例を示すフローチャート。 本実施形態の情報処理システムで用いる各種テーブルを例示する図。 商品決済端末に表示される商品決済画面の一例を示す図。

以下、本発明を実施するための形態について図面を用いて説明する。
図１、図２は、本発明の一実施形態を示す情報処理システムの概要を説明する図である。
本実施形態の情報処理システムは、店舗３００の天井等に設けられたＴＯＦカメラ３０８で撮影された映像を用いて、店舗３００内の顧客を追尾（「追跡」、「トラッキング」ともいう）するシステムである。

本システムでは、例えば顧客３０３のように、店舗内出入口３０２から通過ゲート３１５を通って顧客が入店したとしても、その時点では、その顧客に対する追尾は開始しない（まだ追尾対象としない）。入店しただけで商品の購入を行わず退店する顧客も多いため、このような顧客を追尾しないことで追尾対象の顧客を減らし追尾の負荷を軽減できる。

顧客３０４のように、顧客がショーケース３０９（３０９Ａ、３０９Ｂ、・・・）の扉を開けたことを条件に、本システムにおいて、その顧客の追尾を開始する（追尾対象とする）。ショーケース３０９の扉を開けた顧客は、ショーケース３０９内に陳列されている商品３１０を購入する可能性が高いと考えられるためである。
なお、顧客３０５は、既に本システムにおいて追尾中の顧客に対応する。

また、顧客３０６のように、顧客が商品決済端末３１２を用いて決済を行った場合、本システムは、その顧客の追尾を終了する（追尾対象から外す）。商品決済が終了した顧客については、追尾に必要がなくなったと考えられるためである。このように、決済等を行い追尾の必要がなくなった顧客を追尾対象から外すことにより、追尾対象の顧客を減らし追尾の負荷を軽減できる。

このように、本実施形態のシステムは、入店した顧客の中で追尾が必要な対象者を減らし、その結果、入店した顧客数が多くなり店内が多数の顧客で混雑した場合でも、店内で行動している各顧客の動線を正確に追尾することを可能にするシステムである。

また、顧客３０４、３０５のように、追尾中の顧客がショーケース３０９から商品を手に取った場合、そのショーケース３０９に備えられたＴＯＦセンサ３０８で得た情報で、その商品を特定し、その顧客と対応付けし、清算の際に利用可能にする。

また、追尾中の顧客の中で商品を手に持っている顧客（すなわち未精算の顧客）が店舗内出入口３０２に設けられた通過ゲート３１５を通過した場合、店舗３００の天井等に設けられた監視カメラ３１７により撮影された映像とその顧客が通過ゲート３１５を通過した時刻を関連付けする。これにより、清算することなく商品を店外に持ち出した顧客の特定が可能となる。なお、内出入口３０２が複数あり、それぞれに通過ゲート３１５が設けられていてもよい。

図３は、本実施形態の情報処理システムの構成の一例を示す図であり、図１、図２と同一のものには同一の符号を付してある。
本実施形態の情報処理システムにおいて、追尾装置１００は、ＴＯＦカメラ３０１で撮影されている店舗３００内の映像を用いて店舗３００内の顧客の追尾を行う情報処理装置である。なお、追尾装置１００とＴＯＦカメラ３０１とは別体でもよいが、ＴＯＦカメラ３０１の内部に追尾装置１００を組み込んで、ＴＯＦカメラ３０１の内部で追尾開始や追尾終了を判断するエッジ処理型のＴＯＦカメラ３０１を用いてもよい。

各ショーケース３０９（例えば図１、図２の３０９Ａ、３０９Ｂ、・・・）は、扉付きショーケースであり、該扉を開けることでショーケース３０９に陳列されている商品の取り出しが可能となる。各ショーケース３０９の扉にはそれぞれセンサが設けられており、顧客によりショーケース３０９の扉が開けられたことを検知可能となっている。ショーケース３０９の扉が開けられると、そのタイミングで（リアルタイムに）その情報がＬＡＮ等を介して追尾装置１００に通知される。なお、ショーケース３０９の扉は、ガラスのようなショーケース内部を透視可能なものに限定されるものではなく、ショーケース内部を透視不可能なものでもよい。また、本実施形態で「ショーケース」とは、所謂業務用のショーケース（陳列棚）に限定されるものではなく、販売のために商品を収容可能な形態のものであればよく、単なる棚（本実施形態の例では扉付きの棚）などでもよい。

また、各ショーケース３０９にはそれぞれ、ＴＯＦカメラ３０８（例えば図１、図２の３０８Ａ、３０８Ｂ、・・・）が設けられている。ＴＯＦカメラ３０８は、ＴＯＦカメラ本体（後述するＴＯＦカメラデバイスに対応）と、ＴＯＦカメラ本体で取得した情報から顧客がショーケース３０９から取り出された（又は顧客が手に取った）商品の商品種別と個数を特定可能な制御部を備える。上記ＴＯＦカメラ本体は、自身が設置されているショーケース３０９から商品が取り出される際にその様子を撮影することが可能な角度で該ショーケース３０９に取り付けられている。また、上記制御部は、ＴＯＦカメラ本体に接続される制御ボード等で実現されてもよいし、ＴＯＦカメラ本体に接続されるパーソナルコンピュータ当で実現されてもよい。なお、ＴＯＦカメラ３０８で特定された商品に関する情報は、該特定したタイミングで（リアルタイムに）ＬＡＮ等を介してＴＯＦカメラ３０８から追尾装置１００に通知される。すなわちＴＯＦカメラ３０８は、ショーケース３０９から商品が取り出されている様子を撮影している映像から該ショーケース３０９から取り出された商品の商品種別と個数を特定する特定装置として機能する。なお、ショーケース３０９から取り出された商品の商品種別や個数の特定は、例えば学習済み画像認識モデルを用いて行うものとするが、他の方法を用いてもよい。

なお、ＴＯＦカメラ３０１や３０８は、ＴＯＦ（Time of Flight）カメラデバイス（ＴＯＦセンサともいう）を備える。ＴＯＦカメラデバイスは、光の飛行時間を利用して三次元情報を計測可能なものであり、前記三次元情報に基づく距離画像と例えばカラー可視画像（カラー可視画像に限定されるものではない）を同時に撮影可能である。このようなＴＯＦカメラデバイスで撮影された映像を用いて、顧客の追尾や顧客が手に取った商品の特定等が可能になる。

商品決済端末３１２は、顧客が自身で商品の決済を行うための決済装置であり、複数あってもよい。商品決済端末３１２には二次元コードリーダ３１１が接続されており、二次元コードリーダ３１１で来店者端末３１４のディスプレイに表示される二次元コード（例えばＱＲコード（登録商標））を読み取る等することで、商品決済を行う顧客の情報を取得可能である。本実施形態では、二次元コードの一例としてＱＲコード（登録商標）を用いて説明するが、これに限定されるものではない。商品決済端末３１２は、商品決済の際、その顧客が手に取っている商品の情報を、追尾装置１００から取得して利用する。なお、顧客が手に取っている商品の情報は、顧客がショーケース３０９から商品を取り出した際に、該ショーケース３０９に設けられたＴＯＦカメラ３０８で特定されて、追尾装置１００に提供されている。

通過ゲート３１５は、通過ゲート３１５を顧客が通知しているのを検知した場合に（リアルタイムに）、その情報をＬＡＮ等を介して追尾装置１００に通知する。追尾装置１００は、未決済の商品を持った顧客が通過ゲート３１５を通過している場合、店舗管理者デバイス（ウェラブルデバイス）３１６に通知を行う。この際、追尾装置１００は、タイムスタンプにより、その時刻と監視カメラ３１７により撮影されている映像（少なくとも店舗内出入口３０２付近を含む監視映像）とを対応付けする。すなわち、未決済の商品を店外に持ち出そうとしている顧客と、該顧客の映っている映像との関連付けを行う。なお、監視カメラ３１７により撮影された店舗３００内の監視映像は、ＬＡＮ等を介して不図示のデータサーバ（以下「監視カメラ映像記録サーバ」と呼ぶ）に送信されて保存される。

なお、図３に示した各機器と追尾装置１００との通信は、ＬＡＮに限定されるものではなく、その他の各種通信方法を用いるものでもよい。

図４は、追尾装置１００の構成の一例を示すブロック図である。
図４において、ＣＰＵ２０１は、ＲＯＭ２０３又は外部メモリ２１２等に格納されたプログラムを必要に応じてＲＡＭ２０２にロードして実行することにより、各種制御を実行する。ＲＡＭ２０２は、ＣＰＵ２０１の作業領域として利用される。ＲＯＭ２０３は、各種プログラムや各種データが記憶されている。

入力コントローラ２０５は、キーボード（ＫＢ）２０９や図示しないポインティングデバイス（マウス、タッチパネル等）からの入力を制御する。ビデオコントローラ２０６は、ディスプレイ２１１への表示を制御する。なお、追尾装置１００では、入力コントローラ２０５にカメラデバイス２１０が接続されていなくてもよい。また、キーボード２０９やディスプレイ２１１も、追尾装置１００に備えられていなくてもよい。

メモリコントローラ２０７は、ハードディスク（ＨＤ）やソリッドステートドライブ（ＳＳＤ）、フラッシュメモリ等の外部メモリ２１２へのアクセスを制御する。
通信Ｉ／Ｆコントローラ２０８は、有線又は無線のネットワークとの通信を制御する。
システムバス２０４は、各デバイス２０１〜２０８を接続する。

なお、商品決済端末３１２のハードウェア構成も基本的に追尾装置１００と同様であるが、入力コントローラ２０５に、二次元コードリーダ３１１が接続される。
また、来店者端末３１３のハードウェア構成も基本的に追尾装置１００と同様であるが、通信Ｉ／Ｆコントローラ２０８は、例えば、移動通信システム等の携帯電話回線および無線ＬＡＮ等の通信モジュールによって実現される。来店者端末３１３は、所謂スマートフォン等で実現可能である。

また、ＴＯＦカメラ３０１や３０８も基本的に追尾装置１００と同様のハードウェア構成で実現可能であるが、キーボード２０９やディスプレイ２１１等の代わりに、カメラデバイス２１０として上述したＴＯＦカメラデバイスを備える。また、ＴＯＦカメラ３０１や３０８には、ビデオコントローラ２０６やディスプレイ２１１は備えられていなくてもよい。なお、ＴＯＦカメラ３０８では、上述したような顧客がショーケース３０９から取り出している商品の商品種別と個数を特定する等の処理を、カメラデバイス２１０に接続される制御ボード等のＣＰＵ２０１がＲＯＭ２０３に格納されたプログラムを実行すること等により実現する。

また、監視カメラ３１７も同様の構成で実現可能であるが、キーボード２０９やディスプレイ２１１等の代わりに、可視画像を撮影するカメラデバイス２１０を備える。また、監視カメラ３１７には、ビデオコントローラ２０６やディスプレイ２１１は備えられていなくてもよい。

また、通過ゲート３１５も同様の構成で実現可能であるが、ゲート機構等を備える。
また、店舗管理者デバイス（ウェラブルデバイス）３１６も同様の構成で実現可能である。

以下、フローチャートを用いて、本実施形態の情報処理システムの動作について説明する。
図５、図６は、本実施形態の情報処理システムの動作の一例を示すフローチャートである。この図において、追尾装置１００の動作は、追尾装置１００のＣＰＵ２０１が外部メモリ２１２に格納されたプログラムを必要に応じてＲＡＭ２０２にロードして実行することにより実現される。また、ＴＯＦカメラ３０８の動作は、上述したＴＯＦカメラ３０８に備えらえた制御部が実行するものである。また、決済端末３１２の動作は、決済端末３１２のＣＰＵが外部メモリに格納されたプログラムを必要に応じてＲＡＭにロードして実行することにより実現される。なお、図５に左部に記載される「来店者の店舗内の行動」は説明を容易にするために記載してあるものであり、本システムの動作に含まれるものではない。

また、図７は、本実施形態の情報処理システムで用いる各種テーブルを例示する図である。図７に示す各テーブルは、例えば追尾装置１００の外部メモリ２１２に記憶されている。

図５に示すように、来店者（顧客）がショーケース３０９の扉を開けると、この動作をショーケース３０９に備えられたセンサ（不図示）が検知する。これに応じて、ショーケース３０９に備えられた不図示の通信インタフェースからＬＡＮを介して、ショーケース番号及び扉が開けられたこと示す情報が、追尾装置１００に通知される（Ｓ１０１）。

追尾装置１００は、ショーケース３０９からショーケース番号及び扉が開けられたこと示す情報を受信すると、ショーケース番号に対応するショーケース３０９の前の人物が追尾中の人物か否かを判定する（Ｓ１０２）。なお、本システムが稼働している間、ＴＯＦカメラ３０１は撮影している映像（距離画像及びカラー画像）を常に追尾装置１００に送信している。追尾装置１００は、この映像を用いて顧客の追尾を行い、例えば図７（ａ）のような店内の追尾者テーブルを用い、追尾されている者（以下「追尾者」という）のルート管理や追尾人数の管理を行っている。

追尾装置１００は、上記ショーケース番号に対応するショーケース３０９の前の人物が追尾中の人物であると判定した場合（Ｓ１０２でＹｅｓの場合）、Ｓ１０４に処理を進める。追尾中の人物とは、例えば図２に示した顧客３０５のように、以前にショーケースＡ，Ｂの扉を開けて追尾が開始されている顧客に対応する。Ｓ１０４の処理については後述する。
一方、上記ショーケース番号に対応するショーケース３０９の前の人物が追尾中の人物でないと判定した場合（Ｓ１０２でＮｏの場合）、追尾装置１００は、Ｓ１０３に処理を進める。

Ｓ１０３において、追尾装置１００は、上記ショーケース番号に対応するショーケース３０９の前の未追尾の人物の追尾を開始し（追尾対象とし）、Ｓ１０４に処理を進める。
Ｓ１０４において、追尾装置１００は、追尾者のルート管理、追尾人数を更新する。例えば図７（ａ）のような店内の追尾者テーブルの店内の追尾者、位置情報を更新する。

また、顧客がショーケース３０９から商品を取ると、このショーケース３０９に備えられたＴＯＦカメラ３０８が、ショーケースから取られた商品の種類と個数を特定し、ショーケース番号とともに、追尾装置１００に通知する（Ｓ１０５）。

この通知に応じて、追尾装置１００は、該通知に含まれるショーケース番号に対応するショーケース３０９の前の追尾者と、上記通知に含まれる商品及び数量を紐付ける（Ｓ１０６）。さらにＳ１０７において、追尾装置１００は、上記Ｓ１０６で紐付けした情報に基づいて、全追尾者の購入リスト（例えば図７（ｂ）に示す手持ち商品テーブル）に保持されている商品情報（商品を特定する情報、数量）を更新する。

また、来店者端末３１３で所定のアプリケーション（例えば店舗専用アプリケーション）が起動され、顧客の情報が埋め込まれたＱＲコード３１４が表示され（Ｓ１０８）、該ＱＲコード３１４が商品決済端末３１２に接続された二次元コードリーダ３１１により読み取られると、商品決済端末３１２が、該ＱＲコード３１４から読み取った顧客情報（例えば顧客ＩＤ）及びＱＲコードを受け付けたことを示す情報を、追尾装置１００に送信する（Ｓ１０９）。なお、決済端末３１２が複数存在する場合には、決済端末３１２を特定するための決済端末番号等も送信情報に含めるものとする。

追尾装置１００は、商品決済端末３１２から顧客情報及びＱＲコードを受け付けたことを示す情報を受信すると、商品決済端末３１２の前の追尾者を全追尾者の中から特定し、該追尾者とＱＲコードの情報とを紐づけする。例えば、図７（ｃ）のような決済方法テーブルの上記特定した追尾者に対応するレコードの顧客ＩＤに、商品決済端末３１２から受信した顧客ＩＤを登録する。また、追尾装置１００は、上記特定した追尾者の購入リスト（例えば図７（ｂ））に保持されている商品情報（商品を特定する情報、数量）を商品決済端末３１２に送信する（Ｓ１１０）。

商品決済端末３１２は、追尾装置１００から商品情報（商品を特定する情報、数量）を受信すると、該商品情報に基づき、例えば図８の１００１のように商品購入リストを表示する（Ｓ１１１）。

図８は、商品決済端末３１２により商品決済端末３１２のディスプレイに表示される商品決済画面１０００の一例を示す図である。
商品決済画面１０００には、商品購入リスト１００１、お買い上げ合計金額１００５、決済方法選択ボタン１００２〜１００４等が表示される。顧客は、決済方法選択ボタン１００２〜１００４のいずれかを選択することにより、該選択した決済方法で決済を行うことができる。

商品決済端末３１２は、顧客による商品決済方法の選択を受け付けると（Ｓ１１２）、該選択された決済方法で商品決済処理を行い（Ｓ１１３）、決済終了情報（顧客情報と決済方法を含む）を追尾装置１００に送信する。

追尾装置１００は、商品決済端末３１２から決済終了情報を受信すると、該決済終了情報に基づいて、例えば決済方法テーブル（例えば図７（ｃ））の該商品決済が終了した追尾者の決済方法に、決済情報に含まれる決済方法を登録する（Ｓ１１４）。さらに、追尾装置１００は、該商品決済が終了した追尾者の追尾を終了し（追尾対象から外し）、追尾装置１００は、最新追尾者のルート管理、追尾人数を更新する（Ｓ１０４）。

以上のように、本実施形態のシステムでは、来店のみではその来店者の追尾は開始せず、来店者がショーケースの扉を開けることでその来店者の追尾を開始し、決済完了によりその来店者の追尾を終了する。これにより、来店者の中で追尾が必要な対象者を適切に減らすことができる。その結果、来店者数が多くなり店内が多数の来店者で混雑した場合でも、店内で行動している各来店者の動線を正確に追尾することができる。

なお、本フローチャートでは、決済が完了した追尾者の追尾を終了する構成を説明した。しかし、追尾者が商品決済端末３１２の列に並んだ（又は決済端末３１１の前に行った）ことを条件に、その追尾者の追尾を終了するようにしてもよい。例えば、決済端末３１１の列に並んだ追尾者は決済の意思のある来店者と判断し、その追尾者の追尾を終了するようにしてもよい。
このようにすることにより、より速やかに追尾者の数を減らすことができる。

なお、ショーケースの扉を開けて追尾が開始された来店者が該ショーケースから商品を取ることなく該扉を閉めた場合、前記追尾を開始した来店者の追尾を終了するようにしてもよい。
また、ショーケースの扉を開けただけでは追尾を開始せず、ショーケースの扉を開けて且つショーケースから商品を取った場合に、ショーケースの前の来店者の追尾を開始するようにしてもよい。

また、本システムでは、追尾者がショーケースから取り出した商品をショーケースに備えられたＴＯＦセンサによって、読み取り清算の際に利用する構成である。このため、顧客が自ら購入商品のバーコード等を商品決済端末に読み取らせるといった煩雑な作業を省略することができる。このため、無人店舗等において、顧客が容易に決済を行うことが可能となる。

また図６に示すように、通過ゲート３１５は、顧客が通過ゲート３１５を通過していることを検知すると、通過情報（例えば通過ゲート番号及び顧客が通過していること示す情報）を、追尾装置１００に通知する（Ｓ２０１）。

追尾装置１００は、通過ゲート３１５から通過情報を受信すると、追尾者の中で商品を持っている人物が該通過情報に対応する通過ゲート３１５を通過したか否かを判定する。追尾装置１００は、追尾者でない者又は商品を持っていない追尾者が通過ゲート３１５を通過したと判定した場合（Ｓ２０２でＮｏの場合）、商品を買わずに店を出たものと判断して、上記Ｓ２０１の通過情報に起因する処理を終了する。この場合、追尾装置１００は、通過ゲート３１５を通過しているのが商品を持っていない追尾者の場合には、その追尾者を追尾対象から外す。
一方、追尾装置１００は、商品を持っている追尾者が通過ゲート３１５を通過したと判定した場合（Ｓ２０２でＹｅｓの場合）、Ｓ２０３に処理を進める。

Ｓ２０３において、追尾装置１００は、上記商品を持ってゲート通過している追尾者の決済方法テーブル（例えば図７（ｃ））に保持されている決済方法が「Ｎｕｌｌ」か否かを判定する。なお、決済方法テーブルの決済方法には、商品決済が終了するまで「Ｎｕｌｌ」が格納されているものとする。すなわち、決済方法テーブルの決済方法に「Ｎｕｌｌ」が格納されている追尾者は、商品決済が終了していない追尾者に対応する。

上記商品を持ってゲート通過している追尾者の決済方法テーブル（例えば図７（ｃ））に保持されている決済方法が「Ｎｕｌｌ」でなかった場合（Ｓ２０３でＮｏの場合）、追尾装置１００は、清算後に店を出たものと判断して、上記Ｓ２０１の通過情報に起因する処理を終了する。この場合も、追尾装置１００は、通過ゲート３１５を通過している追尾者を追尾対象から外す。
一方、追尾装置１００は、上記商品を持ってゲート通過している追尾者の決済方法テーブル（例えば図７（ｃ））に保持されている決済方法が「Ｎｕｌｌ」の場合（Ｓ２０３でＹｅｓの場合）、Ｓ２０４に処理を進める。

Ｓ２０４において、追尾装置１００は、未決済者（上記商品を持ってゲート通過している追尾者）の検出を店舗管理者デバイス３１６に通知する。
追尾装置１００から未決済者の検出通知を受信した店舗管理者デバイス３１６は、バイブレーション、アラーム音、警告表示等により、未決済者の検出を管理者に通知する（Ｓ２０５）。

またＳ２０６において、追尾装置１００は、未決済者（上記商品を持ってゲート通過している追尾者）の検出時刻を監視カメラ映像記録サーバ（不図示）に送信する。
追尾装置１００から未決済者の検出時刻の通知を受信した監視カメラ映像記録サーバは、該検出時刻を、タイムスタンプとして撮影時刻に紐づけて記録する（Ｓ２０７）。これにより、未決済の商品を持ってゲートを通過した来店者の画像情報を記録することが可能となる。

以上のように、本実施形態のシステムでは、追尾中の顧客の中で商品を手に持っている顧客（すなわち未精算の顧客）が店舗内出入口に設けられた通過ゲートを通過しているタイミングで店舗の天井等に設けられた監視カメラにより撮影されている映像とその顧客を関連付けることができる。これにより、未精算の商品を店外に持ち出した顧客の特定が可能となる。
また、未精算の顧客が通過ゲートを通過しているタイミングで、店舗管理者に通知を行うことにより、未精算の商品を店外に持ち出そうとしている顧客への対応が可能となる。

なお、上記実施形態では、ショーケースに設けられたセンサにショーケースの扉が開けられたことを検知させ、該ショーケースの扉が開けられたことをトリガーとして、ショーケースの前にいる顧客の追尾を開始する構成について説明した。しかし、顧客の追尾の開始のトリガーはショーケースの扉が開けられたことを検知した場合に限定されるものではない。顧客がショーケースから商品を取り出すための何等かの顧客動作（ショーケースに対して顧客が行う所定のアクションや該アクションに応じて生じるショーケースにおける所定の変化）を検知し、該検知を、顧客の追尾を開始するトリガーとする構成であればよい。

例えば、ショーケースに扉を開けるためのボタン等と該ボタン等が操作されたことを検知するセンサを設けて、該センサがボタン等が操作されたことを検知したことを、顧客の追尾を開始するトリガーとしてもよい。また、ショーケースの扉に手が触れたことを検知するセンサを設けて、該センサが扉に手が触れたことを検知したことを、顧客の追尾を開始するトリガーとしてもよい。さらに、ショーケースに赤外線センサ等を設けて、ショーケース内に差し入れられた（侵入した）顧客の手やショーケース内からショーケース外に持ち出された商品を検知したことを、顧客の追尾を開始するトリガーとしてもよい。また、ショーケースに収容されている商品重量を検知（測定）する重量センサ等を設けて、ショーケース内の商品が取られて商品重量が軽くなったことを重量センサで検知したことを、顧客の追尾を開始するトリガーとしてもよい。
さらに、ショーケースにTOFカメラ等を設けて、ショーケース内からショーケース外に持ち出された商品を検知したことを、顧客の追尾を開始するトリガーとしてもよい。
さらに、ショーケース毎のドアセンサで、ショーケースの扉が開けられたことを検知した場合で、その次に、同じ識別番号のショーケースのTOFカメラで、ショーケース内からショーケース外に持ち出された商品を検知し、追尾開始をするための複数条件を満たした場合に、顧客の追尾を開始するトリガーとしてもよい。このように、複数条件にすることで、追尾対象とする店舗内の顧客を更に絞り込むことが可能である。

また、店舗の従業員がショーケースの商品の補充等を行う場合、該従業員の追尾は必要ない。このため、従業員が所定の帽子や制服等の衣服や襷、バッチ等の識別子を身に着け、ＴＯＦカメラ３０１により撮影された映像から該識別子が認識された人物の追尾は行わないように構成してもよい。ＴＯＦカメラ３０１は、距離画像とともに例えばカラー画像を出力する。このため、ＴＯＦカメラからの出力を用いて追尾処理を行う追尾装置１００は、上記従業員の識別子を容易に判断して、追尾対象から除外することも可能となる。これにより、従業員等の追尾不要な人物を追尾対象から容易に除外して、追尾の負荷を抑えることが可能となる。

また、本実施形態では、店舗３００に出入口３０２を設けているが、入口と出口を分けてもよい。すなわち、店舗３００への入店のみが可能な１又は複数の入口と、店舗３００への退転のみが可能な１又は複数の出口を設けて、店舗３００への入店及び退転が可能な出入口は設けないようにしてもよい。この構成の場合、図６のＳ２０１で通過情報を送信するのは、出口に設けられた通過ゲート３１５とする。
さらに、通過ゲート３１５を設けることなく、ＴＯＦカメラ３０１で撮影されている映像から顧客の退店を検知するように構成してもよい。

また、追尾装置１００の機能は、１台のコンピュータにより実現されるものであっても、複数のコンピュータにより実現されるものであってもよい。例えば、追尾装置１００の機能は、クラウドサービス等を利用して実現される構成であってもよい。

また、追尾装置１００の機能を、ＴＯＦカメラ３０１が備える制御部で実現するようにしてもよい。すなわち、ＴＯＦカメラ３０１が備える制御部が、ＴＯＦカメラ３０１が備えるカメラデバイスで店舗内を撮影している映像を用いて該店舗内の人物の追尾を行う等の上述した追尾装置１００の機能を実行するようにしてもよい。この構成の場合、ＴＯＦカメラ３０１は、ＬＡＮ等を介して、ＴＯＦカメラ３０８、ショーケース３０９、店舗決済端末３１２、通過ゲート３１５、店舗管理者デバイス３１６等の本情報処理システムの各装置と通信可能に構成されているものとする。

以上説明したように、来店者の中で追尾が必要な対象者を適切に減らすことができる。この結果、来店者数が多くなり店内が多数の顧客で混雑したような場合でも、店内で行動している各顧客の動線を正確に追尾することが可能となる。よって、追尾者が入れ替わったりして誤った追尾の発生等を抑えることができる。
また、ショーケースに設けた扉の開閉を検知可能なセンサ等を用いて顧客の追尾開始を制御することにより、システムのコストアップを抑え、安価な構成で、追尾が必要な対象者を適切に減らすシステムを実現することが可能となる。

なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。
以上、一実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
また、上記各実施形態を組み合わせた構成も全て本発明に含まれるものである。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。
本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施形態の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施形態及びその変形例を組み合わせた構成も全て本発明に含まれるものである。

１００ 追尾装置
３００ 店舗
３０１ ＴＯＦカメラ（天井に設置）
３０８ ＴＯＦカメラ（ショーケースに設置）
３０９ ショーケース
３１２ 商品決済端末
３１５ 通過ゲート
３１７ 監視カメラ

Claims (17)

1. 店舗内を撮影している映像を用いて該店舗内の人物の追尾を行う追尾手段を有し、
   前記追尾手段は、前記店舗内に設置されている商品を陳列する棚に対して人が行う所定のアクション又は該アクションに応じて生じる該棚における所定の変化を検知するセンサで、前記検知があったことを条件に、前記映像から該棚の前に居ると認識される人物を追尾対象として追尾開始し、前記店舗への入店が認識された人物であっても前記追尾対象となるまでは該人物の追尾を行わない、ことを特徴とする情報処理装置。
2. 前記棚は、扉を備え、該扉を開けることで該棚に陳列されている商品の取り出しが可能なものであり、
   前記センサは、前記扉が開けられたこと、前記扉に人が触れたこと、又は、前記扉を開けるためのボタンが操作されたこと、を検知することを特徴とする請求項１に記載の情報処理装置。
3. 前記センサは、前記棚に陳列されている商品重量の変化を検知することを特徴とする請求項１に記載の情報処理装置。
4. 前記センサは、前記棚内に侵入した人の手、又は、前記棚から持ち出された商品を検知することを特徴とする請求項１に記載の情報処理装置。
5. 前記追尾手段は、前記店舗内に設置された決済装置において前記棚から取り出された商品の決済が行われたことを条件に、該決済装置の前に居ると認識される前記追尾対象の人物を追尾対象から外すことを特徴とする請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記追尾手段は、前記追尾対象の人物が、前記店舗内に設置された決済装置の前に居ると認識されたことを条件に、該追尾対象の人物を追尾対象から外すことを特徴とする請求項１〜４のいずれか１項に記載の情報処理装置。
7. 前記棚から商品が取り出されている様子を撮影している映像から該棚から取り出された商品及びその数量を特定する特定装置により、前記棚から取り出された商品及びその数量が特定された場合に、前記追尾手段により該棚の前に居ると認識される追尾対象の人物と、前記取得された商品及びその数量の情報とを関連付けする関連付け手段を有することを特徴とする請求項１〜６のいずれか１項に記載の情報処理装置。
8. 前記追尾対象の人物が前記店舗内に設けられた決済装置の前に居ると認識された場合に、該追尾対象の人物と関連付けされている前記商品及びその数量の情報を、前記決済装置に提供する提供手段を有することを特徴とする請求項７に記載の情報処理装置。
9. 前記商品及びその数量の情報と関連付けされている前記追尾対象の人物が前記店舗の出口を通過しようとしていることが認識された場合に、所定の通知先に通知を行う通知手段を有することを特徴とする請求項７又は８に記載の情報処理装置。
10. 前記通知先は、前記店舗の管理者が身に着けるウェラブル端末であることを特徴とする請求項９に記載の情報処理装置。
11. 前記商品及びその数量の情報と関連付けされている前記追尾対象の人物が前記店舗の出口を通過しようとしていることが認識された場合に、その時刻と前記店舗内を撮影した監視映像とを対応付け可能にするタイムスタンプ手段を有することを特徴とする請求項７〜１０のいずれか１項に記載の情報処理装置。
12. 前記映像は、三次元情報を含む映像であることを特徴とする請求項１〜１０のいずれか１項に記載の情報処理装置。
13. 前記映像は、ＴＯＦ（Time of Flight）カメラにより撮影されている映像であることを特徴とする請求項１２に記載の情報処理装置。
14. 前記追尾手段は、前記センサにより前記所定の変化が検知された場合でも、前記店舗内を撮影している映像から前記棚の前に居ると認識される人物に所定の特徴が認識される場合には、該人物を追尾対象としない、ことを特徴とする請求項１〜１３のいずれか１項に記載の情報処理装置。
15. 前記人物に所定の特徴が認識される場合とは、その人物が所定の識別子を身に着けていることが認識される場合であること特徴とする請求項１４に記載の情報処理装置。
16. 店舗内を撮影している映像を用いて該店舗内の人物の追尾を行う情報処理装置の制御方法であって、
    前記店舗内に設置されている商品を陳列する棚に対して人が行う所定のアクション又は該アクションに応じて生じる該棚における所定の変化を検知するセンサで、前記検知があったことを条件に、前記映像から該棚の前に居ると認識される人物を追尾対象として追尾開始する工程を有し、
    前記店舗への入店が認識された人物であっても前記追尾対象となるまでは該人物の追尾を行わないことを特徴とする情報処理装置の制御方法。
17. コンピュータを、請求項１〜１５のいずれか１項に記載の手段として機能させるためのプログラム。

Images