JP2015176227A - 監視方法、監視装置および監視プログラム - Google Patents

Abstract

【課題】陳列された商品の状況を正確に監視可能にする。【解決手段】監視装置１は、商品配置領域１０に配置された商品１１の移動の有無の検知結果を示す第１の情報２ａと、商品配置領域１０の周囲に位置する人物１２の向きの検知結果を示す第２の情報２ｂとを取得し、第１の情報２ａと第２の情報２ｂとに基づいて、警告情報２ｃを出力するかを判定する。人物１２が購入を目的として商品１１を手に取るという通常の場合とは異なる、万引き等の特殊な状況の発生を正確に監視できる。【選択図】図１

Description

本発明は、監視方法、監視装置および監視プログラムに関する。

近年、画像のデータやセンサデータを用いて、店舗内の状況を判定する技術が注目されている。例えば、監視画像から検出された人物画像に基づいてその人物の不審度を判定し、人物画像とその人物画像について設定された不審度を記憶する。そして、記憶された不審度が所定以上の人物画像と、監視画像から検出された人物画像とが一致したときに報知出力する技術が提案されている。

また、例えば、商品配置エリア毎に、商品に対して人が手を伸ばしたことを検知するためのセンサを設置し、そのセンサにより商品に対して人が手を伸ばしたことを検知された場合には、検知情報を分析サーバに送信する技術が提案されている。

特開２００９−２４６７９９号公報 特開２００９−９８９２９号公報

ところで、店舗の店員は、顧客が商品の近くで立ち止まり、その商品の方向を向いたことに気づいた場合、その商品を顧客が手に取ることを予測できる。また、陳列された商品の位置が移動したことがセンサによって検知された場合にも、店員は、その商品を顧客が手に取ったと推定できる。顧客が商品を手に取ったと判断した場合、店員は、その商品が購入されると推定して、レジに向かう等の次に行うべき行動を判断できる。

しかしながら、陳列された商品の位置が移動する状況や、商品を顧客が手に取るという状況は、顧客が商品の購入を目的として行動した場合にのみ発生するとは限らない。例えば、万引き等の不正行為によって商品が持ち去られたケース、あるいは、その顧客が意図せずに、顧客が所持する荷物や顧客の身体の一部が商品に接触したケースも考えられる。しかし、このような詳細な商品の状況を店員が判別することは困難であった。

１つの側面では、本発明は、陳列された商品の状況を正確に監視可能にする監視方法、監視装置、監視プログラムを提供することを目的とする。

１つの案では、情報処理装置による監視方法が提供される。監視方法では、まず、情報処理装置は、商品配置領域に配置された商品の移動の有無の検知結果を示す第１の情報と、商品配置領域の周囲に位置する人物の向きの検知結果を示す第２の情報とを取得する。次に、情報処理装置は、第１の情報と第２の情報とに基づいて、警告情報を出力するかを判定する。

また、１つの案では、上記監視方法と同様の処理を実行する監視装置が提供される。
さらに、１つの案では、上記監視方法と同様の処理をコンピュータに実行させる監視プログラムが提供される。

一側面では、陳列された商品の状況を正確に監視できる。

第１の実施の形態の監視装置の構成例および処理例を示す図である。 第２の実施の形態の陳列管理システムの例を示す図である。 センサデバイスの配置例を示す図である。 センサデバイスのハードウェア構成例を示す図である。 陳列管理装置のハードウェア構成例を示す図である。 端末装置のハードウェア構成例を示す図である。 商品が商品配置領域に存在するかの判定例を示す図である。 商品配置領域上で商品の位置が正しい位置から移動したかの判定例を示す図である。 顧客の手が商品に伸びたかの判定例を示す図である。 センサデバイス、陳列管理装置および端末装置の機能例を示す図である。 骨格情報の例を示す図である。 領域情報テーブルの例を示す図である。 商品情報テーブルの例を示す図である。 メッセージ情報テーブルの例を示す図である。 商品状況設定テーブルの例を示す図である。 第１のメッセージの表示例を示す図である。 第２のメッセージの表示例を示す図である。 第３のメッセージの表示例を示す図である。 第４のメッセージの表示例を示す図である。 メッセージの出力を制御する処理の例を示すフローチャートである。 メッセージを判定する処理の例を示すフローチャートである。 メッセージを判定する処理の例を示すフローチャート（続き）である。 メッセージを判定する処理の例を示すフローチャート（続き２）である。

以下、実施の形態を図面を参照して説明する。
［第１の実施の形態］
図１は、第１の実施の形態の監視装置の構成例および処理例を示す図である。監視装置１は、商品配置領域１０に配置された商品１１の状況や、商品配置領域１０の周囲に位置する人物１２の状況を監視するための装置である。監視装置１は、例えば、コンピュータとして実現される。この場合、監視装置１は、例えば、デスクトップ型のコンピュータでもよいし、ノート型のコンピュータでもよい。また、監視対象の人物１２は、例えば、商品１１が陳列されている店舗に訪れた顧客である。

監視装置１は、取得部１ａおよび出力制御部１ｂを有する。取得部１ａおよび出力制御部１ｂの処理は、例えば、監視装置１が備えるプロセッサが所定のプログラムを実行することで実現される。

取得部１ａは、商品配置領域１０に配置された商品１１の移動の有無の検知結果を示す第１の情報２ａと、商品配置領域１０の周囲に位置する人物１２の向きの検知結果を示す第２の情報２ｂとを取得する（ステップＳ１）。第１の情報２ａおよび第２の情報２ｂは、他の装置や記録媒体から取得したものであってもよいし、画像やセンサデータを解析することで取得したものであってもよい。

出力制御部１ｂは、第１の情報２ａと第２の情報２ｂとに基づいて、警告情報２ｃを出力するかを判定する（ステップＳ２）。警告情報２ｃとしては、例えば、陳列された商品１１の状況を示す情報、その状況に応じた注意事項や取るべき行動の内容、その状況の発生原因を示す情報等が挙げられる。また、警告情報２ｃの出力は、例えば、監視装置１が有するディスプレイに警告情報２ｃの内容を表示させることで実現できる。あるいは、監視装置１は、監視装置１と通信可能なコンピュータ（例えば、店員が所持する携帯端末装置）へ警告情報２ｃを送信してもよい。この場合、送信された警告情報２ｃの内容が、携帯端末装置のディスプレイに表示されてもよい。

上記の監視装置１によれば、商品１１の移動の有無と、商品配置領域１０の周囲に位置する人物１２の向きとに基づいて、警告情報２ｃを出力するかが判定される。これにより、陳列された商品１１の状況を正確に監視できる。そして、このようにして出力された警告情報２ｃを認識したユーザ（例えば、店舗の店員）は、陳列された商品１１の状況を正確に認識できる。例えば、ユーザは、単に商品１１が移動したか否かだけでない詳細な状況を判別できる。

例えば、人物１２が購入を目的として商品１１を手に取って移動するケース（第１のケース）では、商品１１が移動したことが検知されたとき、人物１２は商品配置領域１０の方向を向いている可能性が高い。一方、商品１１が移動したことが検知されたとき、人物１２が商品配置領域１０の方向を向いていないケース（第２のケース）では、商品１１の移動の発生原因は、人物１２が購入を目的として商品１１を手に取ったこととは考えにくい。

第２のケースにおける商品１１の移動の発生原因の例としては、万引き等の不正行為によって商品１１が持ち去られたことや、人物１２が所持する荷物や人物１２の身体の一部が、人物１２が意図せずに商品１１に接触したことが考えられる。このような状況は、店舗の店員が人物１２の行動を常時、厳密に監視していない限り、店員が気づきにくい。また、店舗の店員は、第２のケースが発生したとき、上記の第１のケースとは異なる行動を起こす必要があることも考えられる。

例えば、出力制御部１ｂが、商品１１が移動し、かつ、人物１２が商品配置領域１０の方向を向いていない場合に警告情報２ｃを出力することで、警告情報２ｃを認識したユーザは上記の第２のケースが発生したことを認識できる。これにより、ユーザは、商品１１が移動したことを認識できるだけでなく、その移動の原因が、人物１２が購入を目的として商品１１を手に取ったことでないことも認識できる。

また、出力制御部１ｂは、商品１１が移動したことが検知された場合に、人物１２が向いている方向の検知結果に応じて、出力する警告情報２ｃの内容を変更してもよい。これにより、ユーザは、商品１１が移動したことを認識できるだけでなく、その移動の原因も判別できる。

［第２の実施の形態］
図２は、第２の実施の形態の陳列管理システムの例を示す図である。陳列管理システム３は、商品の陳列の乱れの発生を判定するシステムに、顧客が商品の方向に向いていないのに商品の位置が移動するという特殊な状況下での商品の状況を判定する機能を新たに追加したシステムである。上記の特殊な状況の例として、顧客の荷物と商品との接触により商品の位置が移動した場合や、顧客の商品に対する不正行為（例えば、万引き）により商品が持ち去られた場合が挙げられる。

陳列管理システム３は、センサデバイス１００、陳列管理装置２００および端末装置３００を有する。陳列管理装置２００は、ネットワーク２０を介して、センサデバイス１００および端末装置３００と接続されている。センサデバイスの数は、２台以上でもよい。また、センサデバイス１００および陳列管理装置２００は、商品が販売される店舗の中に配置される。あるいは、センサデバイス１００のみが店舗の中に配置され、陳列管理装置２００が店舗の外部に配置されてもよい。陳列管理装置２００は、第１の実施の形態の監視装置１の一例である。

センサデバイス１００は、画像を撮像する機能を有する。センサデバイス１００は、店舗内の領域のうち、少なくとも商品が配置された領域を所定時間間隔（例えば、１／３０秒等）で撮像する。商品が配置された領域の例として、商品が配置される商品棚の領域が挙げられる。

また、センサデバイス１００は、画像に写った人物（ここでは顧客）の骨格情報を検出する。本実施の形態では、センサデバイス１００は、顧客の骨格の部位として、少なくとも手首を検出する。また、骨格情報には、対応する骨格の部位の位置情報が含まれる。位置情報には、骨格の各部位についての画像における位置と、深度とが含まれる。深度とは、センサデバイス１００から被写体までの画素毎の距離を意味する。

センサデバイス１００は、撮像した画像のデータと、検出した骨格情報とを陳列管理装置２００へ送信する。センサデバイス１００は、これらの情報を陳列管理装置２００へ所定時間間隔で送信する。なお、センサデバイス１００は、画像のデータ等と共に、画像の画素毎の深度を示す情報を陳列管理装置２００へ送信してもよい。

陳列管理装置２００は、商品の状況を判定してその内容を報知する情報を出力するコンピュータである。陳列管理装置２００は、センサデバイス１００から画像のデータや骨格情報を受信する度に、受信した画像のデータや骨格情報等を解析し、商品の状況を判定する。商品の状況には、例えば、商品の位置が所定の位置からずれた状態で、センサデバイス１００が撮像する領域から顧客が移動したこと、顧客が購入を目的として商品を手に取った状態で、センサデバイス１００が撮像する領域から移動したことが挙げられる。あるいは、別の例として、万引き等の不正行為により商品が持ち去られたこと、顧客の荷物等が商品に接触することにより商品が落下したこと等が挙げられる。商品の状況は、商品の位置が移動したか、顧客の手が商品に伸びたか、および、顧客の向きにより判定される。

陳列管理装置２００は、商品の状況に関するメッセージを生成して、端末装置３００へ送信する。
端末装置３００は、店舗に存在する店員が所持する装置である。端末装置３００は、商品の状況を示すメッセージを陳列管理装置２００から受信し、ディスプレイに表示させる。

図３は、センサデバイスの配置例を示す図である。図３の例では、商品棚３１の上面に商品３２が配置される。また、図３の右側が、顧客３０が移動する領域となっている。センサデバイス１００は、商品棚３１に対して、顧客３０の移動領域とは反対側の位置に配置される。この場合、センサデバイス１００は、顧客３０、商品棚３１および商品３２を被写体とした画像のデータと、顧客３０の骨格情報とを陳列管理装置２００へ送信することとなる。

このようなセンサデバイス１００の配置方法により、陳列管理装置２００は、センサデバイス１００から受信した情報に基づいて、商品３２が配置された商品棚３１上の領域の状況を正確に監視できる。

図４は、センサデバイスのハードウェア構成例を示す図である。センサデバイス１００は、プロセッサ１０１、ＲＡＭ（Random Access Memory）１０２、フラッシュメモリ１０３、撮像カメラ１０４、深度センサ１０５および通信インタフェース１０６を有する。これらのユニットは、センサデバイス１００内でバス１０７に接続されている。

プロセッサ１０１は、プログラムの命令を実行する演算器を含み、例えばＣＰＵ（Central Processing Unit）である。プロセッサ１０１は、フラッシュメモリ１０３に記憶されているプログラムやデータの少なくとも一部をＲＡＭ１０２にロードしてプログラムを実行する。なお、プロセッサ１０１は複数のプロセッサコアを備えてもよい。また、センサデバイス１００は、複数のプロセッサを備えてもよい。また、センサデバイス１００は、複数のプロセッサまたは複数のプロセッサコアを用いて並列処理を行ってもよい。また、２以上のプロセッサの集合、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）等の専用回路、２以上の専用回路の集合、プロセッサと専用回路の組み合わせ等を「プロセッサ」と呼んでもよい。

ＲＡＭ１０２は、プロセッサ１０１が実行するプログラムやプログラムから参照されるデータを一時的に記憶する揮発性メモリである。なお、センサデバイス１００は、ＲＡＭ以外の種類のメモリを備えてもよく、複数個の揮発性メモリを備えてもよい。

フラッシュメモリ１０３は、ファームウェアやアプリケーションソフトウェア等のプログラムおよびデータを記憶する不揮発性の記憶装置である。なお、センサデバイス１００は、ＨＤＤ（Hard Disk Drive）等の他の種類の記憶装置を備えてもよく、複数個の不揮発性の記憶装置を備えてもよい。

撮像カメラ１０４は、画像を撮像し、撮像された画像のデータをプロセッサ１０１へ出力する。
深度センサ１０５は、撮像カメラ１０４により撮像された画像の各画素について深度を計測し、プロセッサ１０１に出力する。深度の計測方式として、例えば、レーザ光線の往復時間により深度を計測するＴＯＦ（Time Of Flight）方式が挙げられる。また、別の計測方式として、反射する光線（例えば、赤外線等）のパターンのひずみで深度を計測するパターン照射方式等の様々な計測方式が挙げられ、何れの方式を採用してもよい。ＴＯＦ方式およびパターン照射方式が採用される場合、深度センサ１０５は、レーザ光線や赤外線等の光線照射装置と、照射された光線の反射成分を検出するセンサとを有する。

通信インタフェース１０６は、ネットワーク２０等のネットワークを介して他の情報処理装置（例えば、陳列管理装置２００）と通信を行う。
なお、プロセッサ１０１に実行させるプログラムは、フラッシュメモリ１０３に他の記憶装置からコピーするようにしてもよい。また、センサデバイス１００は、撮像した画像における人体の部位の位置および深度を検出できるものであれば、上記の構成に限るものではない。

図５は、陳列管理装置のハードウェア構成例を示す図である。陳列管理装置２００は、プロセッサ２０１、ＲＡＭ２０２、ＨＤＤ２０３、画像信号処理部２０４、入力信号処理部２０５、ディスクドライブ２０６および通信インタフェース２０７を有する。これらのユニットは、陳列管理装置２００内でバス２０８に接続されている。

プロセッサ２０１は、前述のプロセッサ１０１と同様に、プログラムの命令を実行する演算器を含む。ＲＡＭ２０２は、前述のＲＡＭ１０２と同様に、プロセッサ２０１が実行するプログラムやデータを一時的に記憶する揮発性メモリである。

ＨＤＤ２０３は、ＯＳ（Operating System）やファームウェアやアプリケーションソフトウェア等のソフトウェアのプログラムおよびデータを記憶する不揮発性の記憶装置である。なお、陳列管理装置２００は、フラッシュメモリ等の他の種類の記憶装置を備えてもよく、複数個の不揮発性の記憶装置を備えてもよい。

画像信号処理部２０４は、プロセッサ２０１からの命令に従って、陳列管理装置２００に接続されたディスプレイ３５に画像を出力する。ディスプレイ３５としては、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）等を用いることができる。

入力信号処理部２０５は、陳列管理装置２００に接続された入力デバイス３６から入力信号を取得し、プロセッサ２０１に通知する。入力デバイス３６としては、マウスやタッチパネル等のポインティングデバイス、キーボード等を用いることができる。

ディスクドライブ２０６は、記録媒体３７に記録されたプログラムやデータを読み取る駆動装置である。記録媒体３７として、例えば、フレキシブルディスク（ＦＤ：Flexible Disk）やＨＤＤ等の磁気ディスク、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）等の光ディスク、光磁気ディスク（ＭＯ：Magneto-Optical disk）を使用できる。ディスクドライブ２０６は、プロセッサ２０１からの命令に従って、記録媒体３７から読み取ったプログラムやデータをＲＡＭ２０２またはＨＤＤ２０３に格納する。

通信インタフェース２０７は、ネットワーク２０等のネットワークを介して他の情報処理装置（例えば、センサデバイス１００）と通信を行う。
なお、陳列管理装置２００はディスクドライブ２０６を備えていなくてもよく、専ら他の端末装置から制御される場合には、画像信号処理部２０４や入力信号処理部２０５を備えていなくてもよい。また、ディスプレイ３５や入力デバイス３６は、陳列管理装置２００の筐体と一体に形成されていてもよい。

図６は、端末装置のハードウェア構成例を示す図である。端末装置３００は、プロセッサ３０１、ＲＡＭ３０２、フラッシュメモリ３０３、ディスプレイ３０４、タッチパネル３０５および無線インタフェース３０６を有する。これらのユニットは、端末装置３００内でバス３０７に接続されている。

プロセッサ３０１は、前述のプロセッサ１０１と同様に、プログラムの命令を実行する演算器を含むプロセッサである。ＲＡＭ３０２は、前述のＲＡＭ１０２と同様に、プロセッサ３０１が実行するプログラムやデータを一時的に記憶する揮発性メモリである。

フラッシュメモリ３０３は、ＯＳやファームウェアやアプリケーションソフトウェア等のプログラムおよびデータを記憶する不揮発性の記憶装置である。なお、端末装置３００は、ＨＤＤ等の他の種類の記憶装置を備えてもよく、複数個の不揮発性の記憶装置を備えてもよい。

ディスプレイ３０４は、プロセッサ３０１からの命令に従って画像を表示する。ディスプレイ３０４としては、液晶ディスプレイや有機ＥＬディスプレイ等を用いることができる。

タッチパネル３０５は、ディスプレイ３０４に重ねて設けられており、ディスプレイ３０４に対するユーザのタッチ操作を検出してタッチ位置を入力信号としてプロセッサ３０１に通知する。タッチ操作には、タッチペン等のポインティングデバイスまたはユーザの指が用いられる。タッチ位置の検出方式には、例えば、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式等の様々な検出方式があり、何れの方式を採用してもよい。なお、端末装置３００は、複数の入力キーを備えたキーパッド等、他の種類の入力デバイスを備えてもよい。

無線インタフェース３０６は、無線通信を行う通信インタフェースである。無線インタフェース３０６は、受信信号の復調・復号や送信信号の符号化・変調等を行う。例えば、無線インタフェース３０６は、アクセスポイント（図示無し）を介してネットワーク２０等に接続する。端末装置３００は、複数の無線インタフェースを備えてもよい。

なお、プロセッサ３０１に実行させるプログラムは、フラッシュメモリ３０３に他の記憶装置からコピーするようにしてもよい。また、プロセッサ３０１に実行させるプログラムは、無線インタフェース３０６がネットワーク２０等からダウンロードするようにしてもよい。

次に、商品の状況の判定方法について説明する。陳列管理装置２００は、商品の位置が移動したか、顧客の手が商品に伸びたか、および、顧客の顔の向きが商品配置領域の方向かにより、商品の状況を判定する。

商品配置領域とは、所定の商品が配置される一定空間を指し、例えば、顧客の手がその商品に伸びたかの判定に用いられる。例えば、商品配置領域は、商品棚の上面における所定の商品が配置される領域から、その上側の一定の高さまでの領域である。

ただし、このような３次元空間に対する手の進入を判定する処理は複雑になる。このため、陳列管理装置２００は、画像上に商品配置領域に対応する２次元領域を設定し、設定された２次元領域に顧客の手（例えば手首の代表位置）が含まれているかにより、商品配置領域に手が進入したかを判定する。以下、画像上に設定される、商品配置領域に対応する２次元領域を、“設定領域”と記載する場合がある。

顧客の向きの判定方法としては、例えば、センサデバイス１００から受信した骨格情報に含まれる顧客の両肩の位置に基づいて判定する方法が挙げられる。この方法では、例えば、顧客の両肩間の距離が閾値より大きい場合に、顧客がセンサデバイス１００の方向（すなわち商品の方向）を向いていると判定される。また、例えば、顧客の両肩間の距離が閾値より大きいことに加えて、顧客の手首の位置が検出されている（すなわち、手首が顧客の身体に遮られていない）場合、または、顧客の手首の深度が、その手首に接続している肩の深度より小さい場合に、顧客がセンサデバイス１００の方向を向いていると判定してもよい。

また、顧客の向きの別の判定方法としては、センサデバイス１００から顧客の首までの距離より、センサデバイス１００から顧客の頭までの距離の方が短い場合に、顧客がセンサデバイス１００の方向を向いていると判定する方法が挙げられる。さらに別の判定方法としては、センサデバイス１００から受信した画像から顧客を示す領域を抽出し、抽出した領域を解析することにより、顧客の向きを判定する方法が挙げられる。例えば、顧客を示す領域における顔のパーツ（目、鼻等）の位置に基づいて顧客の向きを判定する方法がある。

商品の位置が移動したかの判定方法、および、顧客の手が商品に伸びたかの判定方法については、図７〜９を用いて説明する。
まず、図７〜８を用いて、商品の移動の有無についての判定方法について説明する。陳列管理装置２００は、商品の画像を予め記憶している。また、陳列管理装置２００は、商品を陳列してから商品の状況を監視する前に、商品配置領域に正しく商品を陳列した状態で撮像された画像を取得し、取得した画像上における商品の画像領域を示す情報を取得して記憶する。

商品が移動した状態には、商品が商品配置領域に存在しなくなった状態と、商品配置領域内で、商品の位置が正しい位置から移動した状態とが含まれる。陳列管理装置２００は、センサデバイス１００から受信した画像のうち、商品配置領域に対応する設定領域の画像から、予め記憶されている商品の画像と一致する画像が検出された場合、商品が商品配置領域に存在すると判定し、商品の画像と一致する画像が検出されなかった場合、商品が商品配置領域に存在しないと判定する。

また、陳列管理装置２００は、上記の予め記憶されている商品の画像との比較により商品が商品配置領域に存在すると判定したときに、まず、検出された商品の画像領域を取得する。検出された商品の画像領域が、正しく陳列したときの商品の画像領域と一致しない場合、商品配置領域に配置された商品の位置が、正しく陳列したときの位置から移動したと判定する。

図７は、商品が商品配置領域に存在するかの判定例を示す図である。画像５は、センサデバイス１００により撮像された画像である。画像５の被写体には、顧客３０、商品棚３１および商品３２が含まれる。商品棚３１は、センサデバイス１００の正面に設置されている。顧客３０は、センサデバイス１００から見て商品棚３１の奥側に存在する。

領域３１ａは、商品棚３１における、所定の商品（ここでは商品３２）が配置される商品配置領域に対応する設定領域であり、ユーザによって画像上に任意に設定される。商品棚３１の前に顧客３０が現れる前の状態では、商品３２は、図７において点線で示すように、領域３１ａに対応する商品配置領域に配置されていたものとする。

また、陳列管理装置２００は、陳列管理装置２００が有する記憶装置（ＨＤＤ２０３等）に商品３２の画像を予め記憶している。
ここで、陳列管理装置２００は、画像５のデータをセンサデバイス１００から受信したとする。このとき、予め記憶されている商品３２の画像と一致する画像は、画像５における領域３１ａ内に存在しない。そのため、陳列管理装置２００は、領域３１ａに対応する商品配置領域に商品３２が存在しないと判定する。

図８は、商品配置領域上で商品の位置が正しい位置から移動したかの判定例を示す図である。図８において、図７と同じ内容については、説明を省略する。
画像６は、商品の状況の監視を実行する前に、画像５と同じ領域がセンサデバイス１００により撮像されたときの画像である。画像６において、領域３１ａは、画像５と同様の位置・範囲に設定された設定領域であり、商品３２に対応する。また、画像６において、商品３２は対応する商品配置領域内の正しい位置に配置された状態で撮像されている。

画像７は、センサデバイス１００により撮像された画像である。画像７が撮像された領域は、画像５および画像６が撮像された領域と同一である。画像７に写る商品配置領域の状態は、顧客３０が商品３２を手に取り、その後、商品３２を商品配置領域に戻すことにより、商品３２が商品配置領域内の正しい位置から移動した状態である。

ここで、陳列管理装置２００は、商品の状況の監視を実行する前に、画像６のデータをセンサデバイス１００から受信したとする。このとき、陳列管理装置２００は、商品３２が配置された画像上の領域３１ｂを取得して、取得した領域３１ｂを正しく配置された商品３２の画像領域として、陳列管理装置２００が有する記憶装置（ＨＤＤ２０３等）に記憶する。

次に、画像７のデータをセンサデバイス１００から受信したとする。このとき、画像７における商品３２の画像領域と領域３１ｂとが一致しない場合、陳列管理装置２００は、領域３１ａに対応する商品配置領域上の商品３２の位置が正しい位置から移動したと判定する。

なお、画像６における領域３１ｂは、図８に示すように、画像６における商品３２の外形より外側に設定されてもよい。この場合、陳列管理装置２００は、画像７において商品３２が写った領域の少なくとも一部が領域３１ｂに含まれない場合に、商品３２が正しい位置から移動したと判定する。これにより、例えば、顧客３０が商品３２を手に取ってから戻した場合でも、商品３２の移動量が陳列をし直す必要のない程度であれば、商品３２が移動したと判定されない。よって、商品３２の移動量が陳列をし直す必要のない程度である場合にアラームが出力されることが防止される。

なお、商品の移動の有無の判定は、図７〜８で説明した方法に限定されるものではない。例えば、受信した画像を解析することで画像上の商品の形状が有する特徴を示す位置を抽出し、抽出した代表位置と、商品が配置される位置とを比較することで判定できる。また、各商品配置領域に設置された非接触方式のＩＣリーダにより、各商品に設置されたＩＣタグの情報の読み取りが可能かで、商品の位置の移動の有無が判定されてもよい。

次に、図９を用いて、顧客の手が商品に伸びたかの判定方法について説明する。陳列管理装置２００は、画像に写る顧客の手首の位置が、商品配置領域に対応する設定領域の範囲内であるときに、顧客の手が商品に伸びたと判定する。

図９は、顧客の手が商品に伸びたかの判定例を示す図である。画像８は、画像７と同じ領域がセンサデバイス１００により撮像された画像である。画像８の被写体には、画像７と同様に、顧客３０、商品棚３１および商品３２が含まれる。以下、画像８において、画像７と同様の内容については説明を省略する。

画像８において、顧客３０は、センサデバイス１００から見て商品棚３１の奥側に存在する。画像８において、顧客３０の手首３０ａの位置は、領域３１ａに含まれていない。
ここで、陳列管理装置２００は、画像８のデータをセンサデバイス１００から受信したとする。このとき、手首３０ａの位置が領域３１ａに含まれていないため、陳列管理装置２００は、顧客３０の手が商品３２に伸びていないと判定する。

画像９は、画像７と同じ領域がセンサデバイス１００により撮像された画像である。以下、画像９において、画像７と同様の内容については説明を省略する。画像９において、手首３０ａの位置は、領域３１ａに含まれている。

ここで、陳列管理装置２００は、画像９のデータをセンサデバイス１００から受信したとする。このとき、手首３０ａの位置が領域３１ａに含まれているため、陳列管理装置２００は、顧客３０の手が商品３２に伸びていると判定する。

なお、顧客の手が商品に伸びたかの判定は、図９で説明した方法に限定されるものではなく、例えば、各顧客が所持する非接触方式のＩＣリーダにより、各商品に設置されたＩＣタグの情報の読み取りが可能かで、商品の移動の有無が判定してもよい。

また、陳列管理システム３においては、１つの商品棚に１つの商品配置領域を設定するが、１つの商品棚に複数の商品配置領域を設定してもよい。また、１つの商品（例えば、商品３２）に対応する商品配置領域が複数であってもよい。

図１０は、センサデバイス、陳列管理装置および端末装置の機能例を示す図である。センサデバイス１００は、画像取得部１１０、骨格検出部１２０および送信部１３０を有する。

画像取得部１１０は、撮像カメラ１０４によって撮像された画像のデータを所定時間間隔（例えば、１／３０秒毎）で取得する。
骨格検出部１２０は、画像のデータと深度センサ１０５による深度情報とに基づき、画像に写る人物の手首等、予め決められた骨格の部位の位置を検出する。骨格検出部１２０は、画像取得部１１０が画像データを取得する度に骨格の部位の位置を検出し、骨格の各部位の位置情報を含む骨格情報を生成する。骨格の各部位の位置情報には、画像に写る顧客の各部位の画像上の座標を示す情報や、骨格の各部位の深度を示す情報を含む。“骨格の部位（例えば、手首）の深度”とは、骨格の各部位に対応する画素の深度を意味する。

送信部１３０は、撮像された画像のデータ、および画像に写る顧客の骨格情報を陳列管理装置２００へ送信する。撮像された画像のデータには、センサデバイスを識別するためのデバイスＩＤ（identification）が含まれる。

なお、画像取得部１１０、骨格検出部１２０および送信部１３０の処理は、例えば、プロセッサ１０１が所定のプログラムを実行することで実現される。
陳列管理装置２００は、管理情報記憶部２１０、移動判定部２２０、顧客向き判定部２３０、接触判定部２４０およびメッセージ制御部２５０を有する。

管理情報記憶部２１０は、商品の画像のデータを予め記憶する。商品の画像は、商品の移動の有無を判定する際に用いられる。以下、予め記憶されている商品の画像を“商品画像”と記載する場合がある。

また、管理情報記憶部２１０は、商品配置領域に対応する設定領域に関する情報を予め格納した領域情報テーブルを記憶する。また、管理情報記憶部２１０は、店舗で扱われる商品に関する情報を格納する商品情報テーブルや、商品の状況に関するメッセージを生成するための情報を格納するメッセージ情報テーブルを記憶する。さらに、管理情報記憶部２１０は、商品の状況に関する情報を一時的に格納する商品状況設定テーブルを記憶する。管理情報記憶部２１０は、例えば、ＨＤＤ２０３等に確保された不揮発性の記憶領域として実現される。

移動判定部２２０は、センサデバイス１００から、画像のデータおよび画像に写る顧客の骨格情報を受信する。移動判定部２２０は、受信した骨格情報に基づいて、顧客が商品配置領域付近に現れたことを検出する。移動判定部２２０は、検出された顧客に対応するレコードを商品状況設定テーブルに作成する。

また、移動判定部２２０は、商品の状況の監視を実行する前に受信した画像を解析して、正しい位置に配置されているときの商品の画像領域を取得し、取得した画像領域を示す情報を領域情報テーブルに登録する。移動判定部２２０は、商品の状況の監視を開始すると、撮像された画像の情報と、管理情報記憶部２１０に予め記憶されている商品画像と、領域情報テーブルに格納されている画像領域を示す情報とに基づいて、商品配置領域上の商品が移動したか判定する。

顧客向き判定部２３０は、顧客の骨格における１以上の部位（例えば、両肩）の位置等に基づいて、顧客の向きを判定する。そして、顧客向き判定部２３０は、領域情報テーブルを参照し、顧客の向きが設定領域に対応する商品配置領域の方向であるかを判定する。

接触判定部２４０は、画像における顧客の手首の位置と、商品配置領域に対応する設定領域との位置関係に基づいて、顧客の手が商品に伸びたかを判定する。顧客の手首の位置は、受信した骨格情報を基に判定される。設定領域の範囲は、領域情報テーブルを基に判定される。

メッセージ制御部２５０は、商品配置領域上の商品が移動したか、顧客の向き、および、顧客の手が商品に伸びたかの判定結果と、管理情報記憶部２１０に記憶されている各テーブルに格納された情報とに基づいて商品の状況を判定する。商品の状況を判定する際、メッセージ制御部２５０は、商品状況設定テーブルを用いる。商品配置領域上の商品が移動したかは、移動判定部２２０により判定され、顧客の向きは、顧客向き判定部２３０により判定され、顧客の手が商品に伸びたかは、接触判定部２４０により判定される。メッセージ制御部２５０は、商品の状況に関するメッセージを生成する。メッセージ制御部２５０は、生成したメッセージを端末装置３００へ送信する。

なお、移動判定部２２０、顧客向き判定部２３０、接触判定部２４０およびメッセージ制御部２５０の処理は、例えば、プロセッサ２０１が所定のプログラムを実行することで実現される。

端末装置３００は、メッセージ受信部３１０およびメッセージ表示部３２０を有する。メッセージ受信部３１０は、商品の状況に関するメッセージを陳列管理装置２００から受信する。メッセージ表示部３２０は、受信したメッセージをディスプレイ３０４に表示させる。なお、メッセージ受信部３１０およびメッセージ表示部３２０の処理は、例えば、プロセッサ３０１が所定のプログラムを実行することで実現される。

なお、陳列管理システム３においては、陳列管理装置２００が生成したメッセージを、端末装置３００が表示するが、次のように、端末装置３００が、メッセージを生成して表示させてもよい。まず、陳列管理装置２００は、移動判定部２２０、接触判定部２４０および顧客向き判定部２３０による判定結果を示す情報と、陳列が乱れた商品の識別子を端末装置３００に送信する。次に、端末装置３００は、受信した情報に基づいてメッセージを生成し、ディスプレイ３０４に表示させる。この場合、商品情報テーブルおよびメッセージ情報テーブルは、陳列管理装置２００ではなく、端末装置３００に予め記憶される。

次に、図１１〜１４を用いて、陳列管理システム３で用いられるデータやテーブルについて説明する。
図１１は、骨格情報の例を示す図である。骨格情報の例を示す図である。骨格情報１２１は、顧客の頭や手首の関節等の骨格の各部位の位置を示す情報である。骨格情報１２１は、骨格検出部１２０により生成される。骨格情報１２１は、顧客ＩＤ、部位および位置情報の項目を有する。

顧客ＩＤの項目には、画像に写る顧客を識別するための識別子が設定される。部位の項目には、骨格の部位の種別を示す情報が設定される。
位置情報の項目には、部位の位置情報が設定される。陳列管理システム３において、位置情報は、“（Ｘ軸方向の位置，Ｙ軸方向の位置，Ｚ軸方向の位置）”で表される。Ｘ軸は、撮像カメラ１０４の光軸と直交する水平方向の軸であり、撮像カメラ１０４から見て左方向を正とする。Ｙ軸は、撮像カメラ１０４の光軸と直交する垂直方向の軸であり、撮像カメラ１０４から見て上方向を正とする。Ｚ軸は、撮像カメラ１０４の光軸の方向の軸であり、撮像カメラ１０４が向いている方向を正とする。すなわち、Ｘ軸およびＹ軸の座標により骨格の部位についての画像上の位置が示され、Ｚ軸の座標により骨格の部位の深度が示される。

例えば、図１１に示すように、骨格の部位として、右手首、左手首、右肩、左肩等が検出される。顧客３０の右手首の画像上の座標が“（６０，３０）”であり、深度が“３０”であるとすると、骨格情報１２１における顧客３０の“右手首”に対応する位置情報の項目には、“（６０，３０，３０）”が設定される。

なお、骨格の部位の位置情報は、上記の表現方法の他、緯度・経度・高さ等の別の方法により表されてもよい。
図１２は、領域情報テーブルの例を示す図である。領域情報テーブル２１１は、設定領域に関する情報を予め格納している。領域情報テーブル２１１は、管理情報記憶部２１０に記憶されている。領域情報テーブル２１１は、領域ＩＤ、領域情報、商品ＩＤ、商品画像および商品画像領域の項目を有する。

領域ＩＤの項目には、設定領域を識別するための識別子が設定される。
領域情報の項目には、設定領域を示す情報が設定される。陳列管理システム３において、設定領域は、四角形であるとする。また、設定領域を示す情報は、商品を配置する領域の四隅の座標により表される。四隅の各座標は、“（Ｘ軸方向の位置，Ｙ軸方向の位置）”により表される。なお、設定領域は、四角形に限定されず、円や円形であってもよい。また、設定領域が長方形である場合、例えば、設定領域を示す情報は、例えば、右上と左下の座標のみで表されてもよい。

商品ＩＤの項目には、設定領域に対応する商品配置領域に配置される商品を識別するための識別子が設定される。なお、異なる領域ＩＤに対応する商品ＩＤの項目に、同一の商品ＩＤが設定されてもよい。

商品画像の項目には、商品に対応する商品画像を示す情報が設定される。商品画像を示す情報は、商品画像のデータでもよいし、商品画像のデータの格納先を示す情報でもよい。

商品画像領域の項目には、設定領域に対応する商品配置領域内の正しい位置に商品が配置されているときの、商品の画像領域を示す情報が設定される。陳列管理システム３において、撮像された画像内の商品の画像領域と、商品画像領域とが一致しない場合、商品が正しい位置から移動したと判定される。なお、撮像された画像内の商品の画像領域の少なくとも一部が、商品画像領域に含まれていない場合に、商品が正しい位置から移動したと判定してもよい。

図１３は、商品情報テーブルの例を示す図である。商品情報テーブル２１２は、店舗で扱う商品に関する情報を予め格納している。商品情報テーブル２１２は、管理情報記憶部２１０に記憶されている。

商品情報テーブル２１２は、商品ＩＤおよび商品名の項目を有する。商品ＩＤの項目には、店舗で扱う商品を識別するための識別子が設定される。商品名の項目には、端末装置３００に表示するための情報として、商品名を示す文字列が設定される。

なお、商品情報テーブル２１２には、上記項目の他、商品の価格を示す情報や、商品の画像を示す情報等が含まれていてもよい。
図１４は、メッセージ情報テーブルの例を示す図である。メッセージ情報テーブル２１３は、商品の状況に関する情報を予め格納している。メッセージ情報テーブル２１３は、管理情報記憶部２１０に記憶されている。

メッセージ情報テーブル２１３は、メッセージＩＤおよびメッセージの項目を有する。メッセージＩＤの項目には、商品の状況に関するメッセージを識別するための識別子が設定される。メッセージの項目には、端末装置３００に表示するためのメッセージを示す文字列が設定される。文字列内の“＜商品ＩＤ＞”には、陳列管理装置２００がメッセージを生成する際、対象となる（移動した）商品の商品ＩＤが設定される。また、文字列内の“＜商品名＞”には、陳列管理装置２００がメッセージを生成する際、対象となる（移動した）商品の商品名が設定される。

メッセージＩＤが“ＭＳＧ＃０”であるメッセージは、陳列管理装置２００が商品の状況の監視を実行する前に、商品が商品配置領域に配置されていない状態の商品配置領域が撮像された状況に対応するメッセージである。すなわち、メッセージＩＤが“ＭＳＧ＃０”であるメッセージは、商品配置領域に商品が配置されていない状態で、商品の監視を実行しようとした状況に対応するメッセージである。

メッセージＩＤが“ＭＳＧ＃１”であるメッセージは、顧客が購入を目的として商品を手に取って移動したことにより、商品が商品配置領域に存在しなくなった状況に対応するメッセージである。

メッセージＩＤが“ＭＳＧ＃２”であるメッセージは、顧客が商品配置領域付近から立ち去ったときに、商品配置領域内の商品が正しい位置から移動している等、商品の陳列が乱れている状況に対応するメッセージである。

メッセージＩＤが“ＭＳＧ＃３”であるメッセージは、顧客の持つ荷物や手以外の顧客の身体の一部が商品と接触して商品が商品棚から落下したことで、商品配置領域から商品がなくなった状況に対応するメッセージである。

メッセージＩＤが“ＭＳＧ＃４”であるメッセージは、商品に対して万引き等の不正行為が顧客により行われたことにより、商品配置領域から商品がなくなった状況に対応するメッセージである。

なお、メッセージＩＤが“ＭＳＧ＃１”〜“ＭＳＧ＃４”であるメッセージは、商品の状況を示すメッセージであるのに対し、メッセージＩＤが“ＭＳＧ＃０”であるメッセージは、商品の状況の監視を正常に実行できないことを示すメッセージであり、両者のメッセージの性質は異なる。

また、図１４に示したメッセージは、第１の実施の形態の警告情報２ｃの一例である。
図１５は、商品状況設定テーブルの例を示す図である。商品状況設定テーブル２１４は、商品の状況に関する情報を一時的に格納する。商品状況設定テーブル２１４は、管理情報記憶部２１０に記憶されている。商品状況設定テーブル２１４は、顧客ＩＤ、顧客向きフラグ、接触フラグおよびメッセージＩＤの項目を有する。

顧客ＩＤの項目には、画像に写る顧客を識別するための識別子が設定される。顧客向きフラグの項目には、顧客の骨格が検出されて（顧客が商品配置領域付近に現れて）から、顧客の骨格が検出されなくなる（顧客が商品配置領域付近から立ち去る）までの間に、顧客が商品配置領域の方向に向いた状態が検出されたかを示す情報が設定される。例えば、この識別子の初期値を“ＦＡＬＳＥ”と設定し、その上で、顧客が商品配置領域付近に現れてから立ち去るまでの間に、顧客の体が商品配置領域の方向に向いた状態が一度でも検出された場合、顧客向きフラグの項目には“ＴＲＵＥ”が設定される。一方、顧客が商品配置領域付近に現れてから立ち去るまでの間に、顧客の体が商品配置領域の方向に向いた状態が一度も検出されなかった場合、顧客向きフラグの項目には“ＦＡＬＳＥ”が設定されたままになる。

接触フラグの項目には、顧客が商品配置領域付近に現れてから立ち去るまでの間に、顧客の手が商品に伸びた状態が検出されたかを示す情報が設定される。例えば、この情報の初期値を“ＦＡＬＳＥ”と設定し、その上で、顧客が商品配置領域付近に現れてから立ち去るまでの間に、顧客の手が商品に伸びた状態が一度でも検出された場合、接触フラグの項目には“ＴＲＵＥ”が設定される。一方、顧客が商品配置領域付近に現れてから立ち去るまでの間に、顧客の手が商品に伸びた状態が一度も検出されなかった場合、接触フラグの項目には“ＦＡＬＳＥ”が設定されたままになる。

メッセージＩＤの項目には、顧客が移動した商品配置領域に配置された商品について、その商品の状況に関するメッセージを識別するための識別子が設定される。本項目は、例えば、商品の状況に関する履歴情報を作成する際に用いられる。

次に、図１６〜１９を用いて、商品の状況に応じたメッセージの表示例について説明する。図１６〜１９では、商品ＩＤが“商品＃１”であり、商品名が“ミニトラック”である商品の状況に関するメッセージの表示例について説明する。また、図１６〜１９で説明する画像において、画像５と同様の内容については、説明を省略する場合がある。

図１６は、第１のメッセージの表示例を示す図である。メッセージ画面３２１は、商品の状況に関するメッセージを表示する画面である。メッセージ画面３２１は、端末装置３００が備えるディスプレイ３０４に表示される。

画像４０は、センサデバイス１００により撮像された画像である。画像４０において、顧客３０は、商品３２に対応する商品配置領域の方向に向いている。また、画像４０において、顧客３０の右手首である手首３０ａの位置は、領域３１ａに含まれていない。すなわち、画像４０に写る顧客３０の手は、商品３２に伸びていない状態である。

画像４１は、画像４０の撮像後に、センサデバイス１００により撮像された画像である。また、画像４１において、手首３０ａの位置は、領域３１ａに含まれている。すなわち、画像４１に写る顧客３０の手は、商品３２に伸びた状態である。また、画像４１において、顧客３０は、商品３２に対応する商品配置領域の方向に向いている。

画像４２は、画像４１の撮像後に、センサデバイス１００により撮像された画像である。画像４２において、顧客３０は、商品３２を手に取った状態で商品配置領域から離れようとしている。

ここで、陳列管理装置２００は、顧客３０の骨格情報の受信を開始し（すなわち、顧客３０の骨格情報をはじめて受信し）、その後、画像４０，４１，４２の順に画像データを受信したとする。このとき、まず、陳列管理装置２００は、画像４０の前に受信した画像（図示しない）に対応する顧客３０の骨格情報の受信により、商品配置領域付近に顧客３０が現れたことを検出する。

次に、陳列管理装置２００は、画像４０の解析により、顧客３０の向きが、領域３１ａに対応する商品配置領域の方向であると判定する。また、陳列管理装置２００は、画像４０の後に受信した画像４１の解析により、顧客３０の手首３０ａが、領域３１ａに対応する商品配置領域に含まれていると判定する。すなわち、陳列管理装置２００は、顧客３０の手が商品３２に伸びたと判定する。

その後、画像４２に示すように顧客３０が移動し、その移動に伴って顧客３０の骨格の位置も移動する。このとき、商品３２は、領域３１ａに対応する商品配置領域に存在しないものとする。そして、その後に受信される画像（図示せず）からは、顧客３０の骨格情報が検出されなくなる。すなわち、センサデバイス１００から受信される画像に顧客３０が写らなくなる。この時点でも、商品３２は、領域３１ａに対応する商品配置領域に存在しないままであるとする。

以上の経過を辿った場合、顧客が購入を目的として商品を手に取って移動したことにより、商品が商品配置領域からなくなったと、陳列管理装置２００により判定される。そのため、図１４に示した、メッセージＩＤが“ＭＳＧ＃１”に対応するメッセージが、陳列管理装置２００により生成される。具体的には、まず、“ＭＳＧ＃１”を含むレコードが、メッセージ情報テーブル２１３から陳列管理装置２００により検索される。次に、検索されたレコードのメッセージの“＜商品ＩＤ＞”の部分に“商品＃１”が設定され、“＜商品名＞”の部分に“ミニトラック”が設定されたものが、商品の状況に関するメッセージとして生成される。

生成されたメッセージは、陳列管理装置２００により端末装置３００へ送信される。そして、図１６右下側に示すように、メッセージを受信した端末装置３００により、受信されたメッセージを含むメッセージ画面３２１が、ディスプレイ３０４に表示される。

顧客が商品の方向を向いた状態で商品を手に取って移動した場合、その顧客は、正当な目的で商品を手に取った移動したと考えられる。そのため、図１６で説明したように、まず、骨格情報が検出される（顧客３０が商品配置領域付近に現れる）。次に、顧客の向きが商品配置領域の方向である状態が検出され、顧客が商品に手を伸ばした状態が検出される。その後、骨格情報が検出されなくなった（顧客３０が商品配置領域付近から立ち去った）ときに商品が商品配置領域に存在しない場合、陳列管理装置２００は、顧客が購入を目的として商品を手に取って移動したと判定する。そして、そのことを報知するメッセージが端末装置３００のディスプレイ３０４に表示される。これにより、店員が多忙により顧客や商品棚を目視できない場合でも、店員は、顧客がレジに移動したりすることを予測して行動することができると共に、商品の補充が必要になったことを認識できる。

図１７は、第２のメッセージの表示例を示す図である。画像４３は、センサデバイス１００により撮像された画像である。画像４３において、顧客３０の体の向きは、センサデバイス１００の方向に向いている。すなわち、顧客３０の体は、領域３１ａに対応する商品配置領域の方向に向いている。また、画像４３において、顧客３０は、商品３２を手に取ってから商品配置領域に戻している。このとき、商品３２は、商品配置領域内の正しい位置から移動された状態となっている。領域３１ｂは、正しい位置に配置されているときの商品３２の配置領域を示す。

画像４４は、画像４３の撮像後に、センサデバイス１００により撮像された画像である。画像４４において、顧客３０は、商品３２を手に取っていない状態で、領域３１ａに対応する商品配置領域付近から立ち去ろうとしている。

ここで、陳列管理装置２００は、顧客３０の骨格情報の受信を開始し（すなわち、顧客３０の骨格情報をはじめて受信し）、その後、画像４３，４４の順に画像データを受信したとする。このとき、まず、陳列管理装置２００は、画像４３の前に受信した画像（図示しない）に対応する顧客３０の骨格情報の受信により、商品配置領域付近に顧客３０が現れたことを検出する。

その後に受信する画像４３において、商品３２は、顧客３０により商品配置領域内に戻されたことで、商品配置領域内の正しい位置から移動された状態となる。また、その後、画像４４に示すように顧客３０が移動し、その移動に伴って顧客３０の骨格の位置も移動する。そして、その後に受信される画像（図示せず）からは、顧客３０の骨格情報が検出されなくなる。この時点でも、商品３２は、画像４３と同様に、商品配置領域上の正しい位置から移動された状態である。

以上の経過を辿った場合、商品配置領域内の商品が正しい位置から移動して、その商品の陳列が乱れたと、陳列管理装置２００により判定される。そのため、図１６で説明した方法と同様の方法により、メッセージＩＤが“ＭＳＧ＃２”に対応するメッセージが、陳列管理装置２００により生成され、端末装置３００へ送信される。そして、図１７右側に示すように、受信したメッセージを含むメッセージ画面３２１が、端末装置３００によりディスプレイ３０４に表示される。

顧客が商品配置領域付近から立ち去ったときに、商品配置領域内の商品が、正しい位置から移動されている場合がある。このような例として、顧客が商品配置領域内の商品を手に取り、手に取った商品を商品配置領域に戻すことにより、商品が商品配置領域内の正しい位置から移動され、その後、その顧客が商品配置領域付近から立ち去る場合が挙げられる。そのため、図１７で説明したように、まず、骨格情報が検出され、その後、骨格情報が検出されなくなったときに、商品配置領域の正しい位置から商品が移動している場合、陳列管理装置２００は、商品の陳列が乱れたと判定する。そして、そのことを報知するメッセージが端末装置３００のディスプレイ３０４に表示される。これにより、店員が多忙により顧客や商品棚を目視できない場合でも、店員は、商品の陳列が乱れたことを認識することができ、その商品の位置を正しい位置に戻す動作を起こすことができる。

図１８は、第３のメッセージの表示例を示す図である。画像４５は、センサデバイス１００により撮像された画像である。画像４５において、顧客３０は、商品３２に対応する商品配置領域以外の方向（センサデバイス１００から見て左方向）に向いている。また、画像４５において、顧客３０の各手首の位置は、領域３１ａに含まれていない。すなわち、画像４５に写る顧客３０の手は、商品３２に伸びていない状態である。

画像４６は、画像４５の撮像後に、センサデバイス１００により撮像された画像である。画像４６において、画像４５と同様に、顧客３０は、商品３２に対応する商品配置領域以外の方向（センサデバイス１００から見て左方向）に向いており、顧客３０の手は、商品３２に伸びていない。さらに、商品３２は、顧客３０が持つ荷物の接触により商品棚３１から落下し、領域３１ａに対応する商品配置領域に存在しない。

ここで、陳列管理装置２００は、顧客３０の骨格情報の受信を開始し（すなわち、顧客３０の骨格情報をはじめて受信し）、その後、画像４５，４６の順に画像データを受信したとする。このとき、まず、陳列管理装置２００は、画像４５の前に受信した画像（図示しない）に対応する顧客３０の骨格情報の受信により、商品配置領域付近に顧客３０が現れたことを検出する。

次に、陳列管理装置２００は、画像４５の解析により、顧客３０の手首３０ａが、領域３１ａに対応する商品配置領域に含まれていないと判定する。すなわち、陳列管理装置２００は、顧客３０の手が商品３２に伸びていないと判定する。また、陳列管理装置２００は、画像４５の解析により、顧客３０の向きが領域３１ａに対応する商品配置領域以外の方向であると判定する。

次に、陳列管理装置２００は、画像４６の解析により、商品３２が領域３１ａに対応する商品配置領域に存在しなくなったと判定する。また、陳列管理装置２００は、画像４６を受信するまでの間に、顧客３０の向きが、領域３１ａに対応する商品配置領域以外の方向であり、顧客３０の手が商品３２に伸びていないと判定する。

以上の経過を辿った場合、顧客３０の荷物や手以外の顧客３０の身体の一部が商品３２に接触したことにより、商品３２が商品棚３１から落下し、商品配置領域に存在しなくなったと、陳列管理装置２００により判定される。そのため、図１６で説明した方法と同様の方法により、メッセージＩＤが“ＭＳＧ＃３”に対応するメッセージが、陳列管理装置２００により生成され、端末装置３００へ送信される。そして、図１８右側に示すように、受信したメッセージを含むメッセージ画面３２１が、端末装置３００によりディスプレイ３０４に表示される。

顧客の荷物や手以外の顧客の身体の一部が、顧客が意図せずに商品に接触するとき、顧客の手は、商品に伸びていない状態となり、顧客の向きは、商品が配置されている商品配置領域以外の方向となる。また、商品棚から落下したとき、商品は、商品配置領域に存在しない状態となる。そのため、図１８で説明したように、顧客の骨格情報が検出されてから、商品が商品配置領域に存在しなくなったときに撮像された画像を受信するまでの間に、顧客の手が商品に伸びた状態と、顧客の向きが商品配置領域の方向である状態との何れもが検出されなかった場合、陳列管理装置２００は、顧客の荷物や手以外の顧客３０の身体の一部の接触により商品が商品棚から落下したと判定する。

このような状況は、顧客が商品の近くを立ち止まることなく通り過ぎることで発生するため、顧客の行動を常に監視していない限り店員によって検知できない。陳列管理装置２００によれば、店員は、顧客を目視していなくても、このような状況が発生したことを認識することができ、例えば、商品を元の位置に戻す動作を起こすことができる。

図１９は、第４のメッセージの表示例を示す図である。画像４７は、センサデバイス１００により撮像された画像である。画像４７において、顧客３０は、商品３２に対応する商品配置領域以外の方向（センサデバイス１００から見て左方向）に向いている。また、画像４７において、顧客３０の右手首である手首３０ａの位置は、領域３１ａに含まれている。すなわち、画像４７に写る顧客３０の手が商品３２に伸びた状態である。

画像４８は、画像４７の撮像後に、センサデバイス１００により撮像された画像である。また、画像４８において、顧客３０は、商品３２に対応する商品配置領域以外の方向（センサデバイス１００から見て左方向）に向いており、顧客３０の手は、商品３２に伸びていない。また、画像４８において、商品３２は、顧客３０により持ち去られ、領域３１ａに対応する商品配置領域に存在しない。

ここで、陳列管理装置２００は、顧客３０の骨格情報の受信を開始し（すなわち、顧客３０の骨格情報をはじめて受信し）、その後、画像４７，４８の順に画像データを受信したとする。このとき、まず、陳列管理装置２００は、画像４７の前に受信した画像（図示しない）に対応する顧客３０の骨格情報の受信により、商品配置領域付近に顧客３０が現れたことを検出する。

次に、陳列管理装置２００は、画像４７の解析により、顧客３０の手首３０ａが、領域３１ａに対応する商品配置領域に含まれていると判定する。すなわち、陳列管理装置２００は、顧客３０の手が商品３２に伸びていると判定する。また、陳列管理装置２００は、画像４７の解析により、顧客３０の向きが領域３１ａに対応する商品配置領域以外の方向であると判定する。

次に、陳列管理装置２００は、画像４８の解析により、商品３２が領域３１ａに対応する商品配置領域に存在しなくなったと判定する。また、陳列管理装置２００は、画像４８を受信するまでの間に、顧客３０の向きが、領域３１ａに対応する商品配置領域以外の方向であったと判定する。

以上の経過を辿った場合、商品に対する顧客の不正行為（例えば、万引き）により、商品配置領域内の商品が持ち去られたと、陳列管理装置２００により判定される。そのため、図１６で説明した方法と同様の方法により、メッセージＩＤが“ＭＳＧ＃４”に対応するメッセージが、陳列管理装置２００により生成され、端末装置３００へ送信される。そして、図１９右側に示すように、受信したメッセージを含むメッセージ画面３２１が、端末装置３００によりディスプレイ３０４に表示される。

ここで、顧客が商品に対して万引き等の不正行為をするとき、顧客の手は、商品に伸びた状態となる。しかし、顧客は立ち止まることなく通り過ぎる可能性が高いことから、顧客の向きは、商品が配置されている商品配置領域の方向を向いていない可能性が高い。そのため、図１９で説明したように、顧客の骨格情報が検出されてから、商品が商品配置領域に存在しなくなったときに撮像された画像を受信するまでの間に、顧客の手が商品に伸びた状態が検出されたが、顧客の向きが商品配置領域の方向である状態が検出されなかったとする。このとき、陳列管理装置２００は、顧客の不正行為により商品が持ち去られたと判定する。

図１８の場合と同様に、図１９のような状況は、顧客の行動を常に監視していない限り店員によって検知できない。陳列管理装置２００によれば、店員は、顧客を目視していなくても、このような状況が発生したことを認識することができ、例えば、商品の有無を確認する、あるいは顧客を追いかけるといった動作を起こすことができる。

図１６〜１９で説明したように、陳列管理装置２００は、商品の移動の有無、顧客の手が商品に伸びたか、および顧客の向きに基づいて、商品の状況、より具体的には、商品がどのように移動したかと、その移動の原因とを判定する。これにより、店員が顧客を常に目視していなくても、商品の状況を正確に監視できる。

また、判定した商品の状況に応じたメッセージが、陳列管理装置２００により生成され、端末装置３００へ送信され、送信されたメッセージを含むメッセージ画面３２１がディスプレイ３０４へ表示される。これにより、端末装置３００を所持する店員は、表示されたメッセージを参照することで、商品の状況を把握でき、その状況に応じた必要な動作を起こすことができる。

なお、陳列管理システム３において、端末装置３００は、メッセージの表示の他、商品の状況（メッセージＩＤ）に応じたアラームを鳴らしてもよい。
次に、図２０〜２３を用いて、商品の状況に関するメッセージを制御する処理について、フローチャートを用いて説明する。図２０〜２３において、撮像された画像に写る顧客は１人であるとする。また、図２０〜２３において、受信した画像上に１つの設定領域が存在するものとする。図２０〜２３の処理は、処理対象とする店舗のオペレータによる開始指示を受けて、もしくは営業開始時刻前にタイマーで起動し、処理を開始することが考えられる。また、図２０〜２３の処理は、処理対象とする店舗のオペレータによる終了指示を受けて、もしくは営業終了時刻後にタイマーで、処理を終了することが考えられる。起動してから終了するまでは、図２０〜２３の処理を繰り返し実行する。

図２０は、メッセージの出力を制御する処理の例を示すフローチャートである。以下、図２０に示す処理をステップ番号に沿って説明する。
（Ｓ１１）移動判定部２２０は、センサデバイス１００により撮像された画像のデータをセンサデバイス１００から受信する。

（Ｓ１２）移動判定部２２０は、図７を用いて説明した方法で、対応する商品配置領域内に商品が存在するかを判定する。商品配置領域内に商品が存在しない場合、処理をステップＳ１４へ進める。商品配置領域内に商品が存在する場合は、処理をステップＳ１３へ進める。なお、後者の場合には、商品配置領域内の正しい位置に商品が配置されているものとする。

このとき、商品配置領域に対応する設定領域は、対応する領域ＩＤを含むレコードを領域情報テーブル２１１から検索し、検索したレコードの領域情報を読み出すことで取得できる。また、商品の画像は、領域情報テーブル２１１から検索したレコードの商品画像を読み出すことで取得する。

（Ｓ１３）移動判定部２２０は、ステップＳ１２で存在すると判定された商品の画像領域の位置を取得する。移動判定部２２０は、ステップＳ１２で検索されたレコードの商品画像領域の項目に、取得した画像領域の位置情報を登録する。なお、画像領域は、図８に示した領域３１ｂのように、画像に写った商品の外形より大きく設定されてもよい。

このように、陳列管理装置２００は、陳列管理装置２００が商品の状況を監視する前に、ステップＳ１１〜Ｓ１３を実行することで、商品配置領域内の正しい位置に商品が配置されたときの商品画像領域の位置情報を取得する。

その後、陳列管理装置２００は、ステップＳ１５〜Ｓ１９の処理により商品の状況の監視を実行する。
（Ｓ１４）メッセージ制御部２５０は、メッセージＩＤが“ＭＳＧ＃０”に対応するメッセージを、次のように生成する。このメッセージは、商品の状況の監視前に、商品が商品配置領域に配置されていない状態で、商品配置領域を含む画像が撮像された状況に対応するものである。

まず、メッセージ制御部２５０は、“ＭＳＧ＃０”であるメッセージＩＤを含むレコードをメッセージ情報テーブル２１３から検索し、検索したレコードのメッセージの項目を読み出す。

次に、メッセージ制御部２５０は、設定領域に対応する領域ＩＤを含むレコードを領域情報テーブル２１１から検索し、検索したレコードから商品ＩＤを読み出す。そして、メッセージ制御部２５０は、商品ＩＤを含むレコードを商品情報テーブル２１２から検索し、検索したレコードから商品名を読み出す。

そして、メッセージ制御部２５０は、読み出したメッセージの“＜商品ＩＤ＞”の部分を、読み出した商品ＩＤに置換し、読み出したメッセージの“＜商品名＞”の部分を、読み出した商品名に置換する。

その後、処理をステップＳ１９へ進める。
（Ｓ１５）移動判定部２２０は、センサデバイス１００により撮像された画像のデータを受信する。

（Ｓ１６）移動判定部２２０は、ステップＳ１５で画像データとともに骨格情報１２１が受信されたか判定する。骨格情報１２１が受信された場合、処理をステップＳ１７へ進める。骨格情報１２１が受信されなかった場合、処理をステップＳ１５へ進める。

すなわち、移動判定部２２０は、骨格情報１２１を受信するまで（顧客が商品配置領域付近に現れるまで）、ステップＳ１５〜Ｓ１６の処理を繰り返す。
（Ｓ１７）移動判定部２２０は、商品状況設定テーブル２１４に新たなレコードを生成し、顧客ＩＤの項目にステップＳ１５で受信した骨格情報１２１に含まれる顧客ＩＤを設定し、顧客向きフラグの項目および接触フラグの項目に“ＦＡＬＳＥ”を設定する。

（Ｓ１８）陳列管理装置２００は、センサデバイス１００により撮像された画像のデータと、その画像に写る顧客の骨格情報１２１とを所定時間間隔でセンサデバイス１００から受信し、受信した画像や骨格情報１２１に基づいて、商品の状況を示すメッセージの内容を判定する。詳細は、図２１〜２３で後述する。

（Ｓ１９）メッセージ制御部２５０は、ステップＳ１４およびステップＳ１７内の処理で生成されたメッセージを端末装置３００へ送信する。
なお、センサデバイス１００により撮像された画像に複数の顧客が写っている場合（すなわち、センサデバイス１００から受信した骨格情報１２１に複数の顧客の情報が含まれている場合）には、各顧客について、ステップＳ１７〜Ｓ１９の処理が実行される。

図２１は、メッセージを判定する処理の例を示すフローチャートである。図２１〜２３の処理は、図２０のステップＳ１８で実行される。以下、図２１〜２３に示す処理をステップ番号に沿って説明する。

（Ｓ１７１）移動判定部２２０は、センサデバイス１００により撮像された画像のデータと、その画像に写る顧客の骨格情報１２１とを、所定時間間隔でセンサデバイス１００から受信する。

（Ｓ１７２）移動判定部２２０は、受信した画像から該当する顧客が消失しているか判定する。具体的には、移動判定部２２０は、ステップＳ１７１において該当する顧客についての骨格情報１２１を受信しなかった場合、顧客が消失したと判定する。

画像から該当する顧客が消失している場合、処理をステップＳ１７３へ進める。画像から該当する顧客が消失していない場合、処理を図２２のステップＳ１９１へ進める。
（Ｓ１７３）移動判定部２２０は、図２０のステップＳ１２と同様の方法により、対応する商品配置領域内に商品が存在するかを判定する。商品配置領域内に商品が存在しない場合、処理をステップＳ１７４へ進める。商品配置領域内に商品が存在する場合は、処理をステップＳ１７７へ進める。

（Ｓ１７４）メッセージ制御部２５０は、ステップＳ１７２で画像から消失したと判定された顧客（商品配置領域付近から立ち去った顧客）に対応する顧客向きフラグが“ＴＲＵＥ”であり、かつ、接触フラグが“ＴＲＵＥ”であるか判定する。すなわち、メッセージ制御部２５０は、１回目のステップＳ１７１の処理を実行してから本ステップを実行するまでの間に受信したいずれかの画像から、顧客の向きが商品配置領域の方向である状態と、顧客の手が商品に伸びた状態とを検出済みであるか判定する。

顧客向きフラグおよび接触フラグは、次にように取得できる。まず、ステップＳ１７２で画像から消失した顧客の顧客ＩＤを特定する。次に、特定した顧客ＩＤを含むレコードを商品状況設定テーブル２１４から検索する。そして、検索したレコードから顧客向きフラグおよび接触フラグを読み出す。

顧客向きフラグおよび接触フラグのいずれもが“ＴＲＵＥ”である場合、処理をステップＳ１７５へ進める。顧客向きフラグまたは接触フラグの少なくともいずれかが“ＦＡＬＳＥ”である場合、処理をステップＳ１７８へ進める。

（Ｓ１７５）メッセージ制御部２５０は、図２０のステップＳ１４と同様の方法により、メッセージＩＤが“ＭＳＧ＃１”に対応するメッセージを生成する。このメッセージは、顧客が購入を目的として商品を手にとって移動したときにおける、商品配置領域の状況に対応するものである。

（Ｓ１７６）メッセージ制御部２５０は、メッセージＩＤ“ＭＳＧ＃１”を商品状況設定テーブル２１４に、次のように登録する。
まず、ステップＳ１７２で画像から消失した顧客の顧客ＩＤを特定する。次に、特定した顧客ＩＤを含むレコードを商品状況設定テーブル２１４から検索する。そして、検索したレコードのメッセージＩＤの項目に、“ＭＳＧ＃１”を登録する。

（Ｓ１７７）移動判定部２２０は、図８を用いて説明した方法で、商品が商品配置領域内の正しい位置から移動しているか判定する。商品が正しい位置から移動している場合、処理をステップＳ１７８へ進める。商品が商品配置領域内の正しい位置のままである場合は、処理をステップＳ１８０へ進める。

このとき、商品配置領域に対応する設定領域は、対応する領域ＩＤを含むレコードを領域情報テーブル２１１から検索し、検索したレコードの領域情報を読み出すことで取得できる。また、商品の画像は、検索されたレコードの商品画像を読み出すことで取得する。さらに、商品の正しい位置は、検索されたレコードの商品画像領域を読み出すことで取得できる。

（Ｓ１７８）メッセージ制御部２５０は、図２０のステップＳ１４と同様の方法により、メッセージＩＤが“ＭＳＧ＃２”に対応するメッセージを生成する。このメッセージは、顧客が商品配置領域付近から立ち去ったときに、商品配置領域に配置された商品の陳列が乱れている状況に対応するものである。商品の陳列が乱れている状況として、例えば、顧客が手に取った商品を商品配置領域に戻す行為により、商品配置領域内の商品が正しい位置から移動した場合等が挙げられる。

（Ｓ１７９）メッセージ制御部２５０は、ステップＳ１７６と同様の方法により、メッセージＩＤ“ＭＳＧ＃２”を商品状況設定テーブル２１４に登録する。
（Ｓ１８０）メッセージ制御部２５０は、図２１のステップＳ１７６と同様の方法により、メッセージＩＤ“未送信”を商品状況設定テーブル２１４に登録する。

図２２は、メッセージを判定する処理の例を示すフローチャート（続き）である。
（Ｓ１９１）図２１のステップＳ１７２で、画像から該当する顧客が消失していないと判定された場合、メッセージ制御部２５０は、顧客に対応する顧客向きフラグが“ＴＲＵＥ”であるか判定する。すなわち、メッセージ制御部２５０は、１回目のステップＳ１７１の処理を実行してから本ステップを実行するまでの間に受信したいずれかの画像から、顧客の向きが商品配置領域の方向である状態を検出済みであるか判定する。顧客向きフラグは、図２１のステップＳ１７４と同様の方法により取得できる。

顧客向きフラグが“ＴＲＵＥ”である場合、処理をステップＳ１９２へ進める。顧客向きフラグが“ＦＡＬＳＥ”である場合、処理をステップＳ１９５へ進める。
（Ｓ１９２）メッセージ制御部２５０は、顧客に対応する接触フラグが“ＴＲＵＥ”であるか判定する。すなわち、メッセージ制御部２５０は、１回目のステップＳ１７１の処理を実行してから本ステップを実行するまでの間に受信したいずれかの画像から、顧客の手が商品に伸びた状態を検出済みであるか判定する。接触フラグは、図２１のステップＳ１７４と同様の方法により取得できる。

接触フラグが“ＴＲＵＥ”である場合、処理を図２１のステップＳ１７１へ進める。接触フラグが“ＦＡＬＳＥ”である場合、処理をステップＳ１９３へ進める。
（Ｓ１９３）接触判定部２４０は、顧客の手が商品に伸びているか判定する。顧客の手が商品に伸びているかの判定方法は、図９を用いて説明した方法を用いる。

このとき、顧客の手首の位置は、骨格情報１２１における該当する顧客のレコードから、“右手首”若しくは“左手首”に対応付けられた位置情報を読み出すことで取得できる。

顧客の手が商品に伸びている場合は、処理をステップＳ１９４へ進める。顧客の手が商品に伸びていない場合は、処理を図２１のステップＳ１７１へ進める。
（Ｓ１９４）メッセージ制御部２５０は、該当する顧客に対応する接触フラグを“ＴＲＵＥ”に設定する。接触フラグは、次にように設定できる。まず、該当する顧客の顧客ＩＤを含むレコードを商品状況設定テーブル２１４から検索する。そして、検索したレコードの接触フラグに“ＴＲＵＥ”を設定する。

（Ｓ１９５）顧客向き判定部２３０は、顧客の向きが商品配置領域の方向であるかを判定する。顧客の向きは、例えば、前述のように、図２１のステップＳ１７１で受信した骨格情報１２１に含まれる顧客の両肩間のＸＹ平面上の距離や、首および頭のＺ軸方向の位置関係に基づいて判定できる。

顧客の向きが商品配置領域の方向である場合、処理をステップＳ１９６へ進める。顧客の向きが商品配置領域以外の方向である場合、処理をステップＳ１９７へ進める。
陳列管理システム３において、顧客の向きは、例えば、センサデバイス１００の撮像方向を示す“手前”と、センサデバイス１００の撮像方向の反対方向を示す“奥”と、センサデバイス１００の撮像方向に垂直で、かつ水平面と平行な“横”の何れかに分類される。言うまでもなく、顧客の向きの分類は、これらの方向に限定されるものではない。また、図２０〜２３の処理において、商品配置領域は、常に、センサデバイス１００から見て顧客の“手前”に配置するものとする。このとき、顧客の向きが“手前”である場合、顧客の向きが商品配置領域の方向であると判定される。

なお、１つの店舗に商品配置領域が複数存在する場合、これらの商品配置領域それぞれは、顧客から見たときの任意の方向に設定されてもよい。これらの場合、例えば、商品配置領域が設定されたときの方向を示す“方向”の項目を、領域情報テーブル２１１に追加する。

（Ｓ１９６）メッセージ制御部２５０は、該当する顧客に対応する顧客向きフラグを“ＴＲＵＥ”に設定する。顧客向きフラグは、次にように設定できる。まず、該当する顧客の顧客ＩＤを含むレコードを商品状況設定テーブル２１４から検索する。そして、検索したレコードの顧客向きフラグに“ＴＲＵＥ”を設定し登録する。

（Ｓ１９７）接触判定部２４０は、ステップＳ１９３と同様の方法により、顧客の手が商品に伸びているか判定する。顧客の手が商品に伸びている場合、処理をステップＳ１９８へ進める。顧客の手が商品に伸びていない場合、処理を図２３のステップＳ２１１へ進める。

（Ｓ１９８）メッセージ制御部２５０は、ステップＳ１９４と同様の方法により、該当する顧客に対応する接触フラグを“ＴＲＵＥ”に設定する。
図２３は、メッセージを判定する処理の例を示すフローチャート（続き２）である。

（Ｓ２１１）図２２のステップＳ１９７で、顧客の手が商品に伸びていないと判定された場合、移動判定部２２０は、図２０のステップＳ１２と同様の方法により、対応する商品配置領域内に商品が存在するかを判定する。商品配置領域内に商品が存在しない場合、処理をステップＳ２１２へ進める。商品配置領域内に商品が存在する場合は、処理を図２１のステップＳ１７１へ進める。

（Ｓ２１２）メッセージ制御部２５０は、図２２のステップＳ１９２と同様の方法により、ステップＳ１７１で受信した画像に写る顧客に対応する接触フラグが“ＴＲＵＥ”であるか判定する。すなわち、メッセージ制御部２５０は、１回目のステップＳ１７１の処理を実行してから本ステップを実行するまでの間に受信したいずれかの画像から、顧客の手が商品に伸びた状態を検出済みであるか判定する。

接触フラグが“ＴＲＵＥ”である場合、処理をステップＳ２１３へ進める。接触フラグが“ＦＡＬＳＥ”である場合、処理をステップＳ２１５へ進める。
（Ｓ２１３）メッセージ制御部２５０は、図２０のステップＳ１４と同様の方法により、メッセージＩＤが“ＭＳＧ＃４”に対応するメッセージを生成する。このメッセージは、顧客の不正行為により商品が持ち去られたときにおける、商品配置領域の状況に対応するものである。

（Ｓ２１４）メッセージ制御部２５０は、図２１のステップＳ１７６と同様の方法により、メッセージＩＤ“ＭＳＧ＃４”を商品状況設定テーブル２１４に登録する。
（Ｓ２１５）メッセージ制御部２５０は、図２０のステップＳ１４と同様の方法により、メッセージＩＤが“ＭＳＧ＃３”に対応するメッセージを生成する。このメッセージは、顧客の荷物等との接触により商品が商品棚から落下したときにおける、商品配置領域の状況に対応するものである。

（Ｓ２１６）メッセージ制御部２５０は、ステップＳ１７６と同様の方法により、メッセージＩＤ“ＭＳＧ＃３”を商品状況設定テーブル２１４に登録する。
図２０〜２３に示すフローでは、ステップＳ１７２でＮＯ、ステップＳ１９１でＮＯ、ステップＳ１９５でＮＯ、ステップＳ１９７でＮＯ、ステップＳ１２１でＮＯまたはステップＳ２１２でＹＥＳの場合に“ＭＳＧ４”のメッセージを登録する例を示した。しかし、“ＭＳＧ４”のメッセージを登録する例は、上記に限定されるものではない。例えば、顧客が消失した時点（ステップＳ１７２でＹＥＳ）で判断する別の動きとして、ステップＳ１７４でＮＯの際に、「向きフラグが“ＦＡＬＳＥ”かつ、接触フラグが“ＴＲＵＥ”」か判断する処理をし、該当する場合に“ＭＳＧ４”のメッセージを登録するようにしてもよい。

なお、商品の移動の有無、顧客の手が商品に伸びたか、および顧客の顔の向きが商品配置領域であるかの判定結果の組み合わせと、生成されるメッセージとの対応関係は、第２の実施の形態で説明したものに限るものではない。例えば、メッセージ制御部２５０は、ステップＳ１７４でＮＯと判定された場合に、“ＭＳＧ＃１”〜“ＭＳＧ＃４”に対応するメッセージ以外のメッセージを生成してもよい。

また、図２１〜２３の処理を、メッセージＩＤが“ＭＳＧ＃３”および“ＭＳＧ＃４”に対応する各メッセージのみ出力されるように変形してもよい。この場合、ステップＳ１７２で画像から顧客が消失したと判定された場合（顧客が商品配置領域付近から立ち去った場合）、商品配置領域内における商品の存在の有無に関わらず、メッセージの出力が行われない。例えば、顧客が商品領域の方向を向いている場合、顧客が商品領域の前で立ち止まり、顧客が立ち止まったことに店員が気づく可能性がある。そのため、商品が商品配置領域から取り出されたとしても、このような状況下においてはメッセージを送信しないことで、必要性が低い警告メッセージを出すことを防止できる。また、上記の陳列管理システム３を、顧客が商品の方向に向いていないのに商品の位置が移動するという特殊な状況を検知することに特化したシステムとすることもできる。

なお、前述のように、第１の実施の形態の情報処理は、監視装置１にプログラムを実行させることで実現でき、第２の実施の形態の情報処理は、センサデバイス１００、陳列管理装置２００および端末装置３００にプログラムを実行させることで実現できる。このようなプログラムは、コンピュータ読み取り可能な記録媒体（例えば、記録媒体３７）に記録しておくことができる。記録媒体としては、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等を使用できる。磁気ディスクには、ＦＤおよびＨＤＤが含まれる。光ディスクには、ＣＤ、ＣＤ−Ｒ（Recordable）／ＲＷ（Rewritable）、ＤＶＤおよびＤＶＤ−Ｒ／ＲＷが含まれる。

プログラムを流通させる場合、例えば、当該プログラムを記録した可搬記録媒体が提供される。コンピュータは、例えば、可搬記録媒体に記録されたプログラムまたは他のコンピュータから受信したプログラムを、記憶装置（例えば、ＨＤＤ２０３）に格納し、当該記憶装置からプログラムを読み込んで実行する。ただし、可搬記録媒体から読み込んだプログラムを直接実行してもよい。また、上記の情報処理の少なくとも一部を、ＤＳＰ（Digital Signal Processing）、ＡＳＩＣ、ＰＬＤ（Programmable Logic Device）等の電子回路で実現することも可能である。

以上の第１および第２の実施の形態を含む実施の形態に関し、さらに以下の付記を開示する。
（付記１） 情報処理装置が、
商品配置領域に配置された商品の移動の有無の検知結果を示す第１の情報と、前記商品配置領域の周囲に位置する人物の向きの検知結果を示す第２の情報とを取得し、
前記第１の情報と前記第２の情報とに基づいて、警告情報を出力するかを判定する、
ことを特徴とする監視方法。

（付記２） 前記判定では、前記第１の情報が、前記商品の移動があったことを示す場合に、前記警告情報を出力するとともに、前記第２の情報に基づいて、出力する前記警告情報の内容を決定することを特徴とする付記１記載の監視方法。

（付記３） 前記取得では、前記人物の手が前記商品に伸びたかの検知結果を示す第３の情報をさらに取得し、
前記判定では、前記第１の情報が、前記商品の移動があったことを示す場合に、前記第２の情報と前記第３の情報とに基づいて、出力する前記警告情報の内容を決定する、
ことを特徴とする付記２記載の監視方法。

（付記４） 前記判定では、前記第１の情報が、前記商品が移動したことを示し、かつ、前記第２の情報が、前記人物が前記商品配置領域の方向に向いていないことを示す場合に、前記警告情報を出力することを特徴とする付記１記載の監視方法。

（付記５） 前記判定では、前記警告情報を出力すると判定した場合、前記警告情報を前記情報処理装置と通信可能なコンピュータへ送信することを特徴とする付記１乃至４の何れか１つに記載の監視方法。

（付記６） 商品配置領域に配置された商品の移動の有無の検知結果を示す第１の情報と、前記商品配置領域の周囲に位置する人物の向きの検知結果を示す第２の情報とを取得する取得部と、
前記第１の情報と前記第２の情報とに基づいて、警告情報を出力するかを判定する出力制御部と、
を有することを特徴とする監視装置。

（付記７） 前記出力制御部は、前記第１の情報が、前記商品の移動があったことを示す場合に、前記警告情報を出力するとともに、前記第２の情報に基づいて、出力する前記警告情報の内容を決定することを特徴とする付記６記載の監視装置。

（付記８） 前記取得部は、前記人物の手が前記商品に伸びたかの検知結果を示す第３の情報をさらに取得し、
前記出力制御部は、前記第１の情報が、前記商品の移動があったことを示す場合に、前記第２の情報と前記第３の情報とに基づいて、出力する前記警告情報の内容を決定する、
ことを特徴とする付記７記載の監視装置。

（付記９） 前記出力制御部は、前記第１の情報が、前記商品が移動したことを示し、かつ、前記第２の情報が、前記人物が前記商品配置領域の方向に向いていないことを示す場合に、前記警告情報を出力することを特徴とする付記６記載の監視装置。

（付記１０） 前記出力制御部は、前記警告情報を出力すると判定した場合、前記警告情報を前記情報処理装置と通信可能なコンピュータへ送信することを特徴とする付記６乃至９の何れか１つに記載の監視装置。

（付記１１） コンピュータに、
商品配置領域に配置された商品の移動の有無の検知結果を示す第１の情報と、前記商品配置領域の周囲に位置する人物の向きの検知結果を示す第２の情報とを取得し、
前記第１の情報と前記第２の情報とに基づいて、警告情報を出力するかを判定する、
処理を実行させることを特徴とする監視プログラム。

１ 監視装置
１ａ 取得部
１ｂ 出力制御部
２ａ 第１の情報
２ｂ 第２の情報
２ｃ 警告情報
１０ 商品配置領域
１１ 商品
１２ 人物

Claims (7)

1. 情報処理装置が、
   商品配置領域に配置された商品の移動の有無の検知結果を示す第１の情報と、前記商品配置領域の周囲に位置する人物の向きの検知結果を示す第２の情報とを取得し、
   前記第１の情報と前記第２の情報とに基づいて、警告情報を出力するかを判定する、
   ことを特徴とする監視方法。
2. 前記判定では、前記第１の情報が、前記商品の移動があったことを示す場合に、前記警告情報を出力するとともに、前記第２の情報に基づいて、出力する前記警告情報の内容を決定することを特徴とする請求項１記載の監視方法。
3. 前記取得では、前記人物の手が前記商品に伸びたかの検知結果を示す第３の情報をさらに取得し、
   前記判定では、前記第１の情報が、前記商品の移動があったことを示す場合に、前記第２の情報と前記第３の情報とに基づいて、出力する前記警告情報の内容を決定する、
   ことを特徴とする請求項２記載の監視方法。
4. 前記判定では、前記第１の情報が、前記商品が移動したことを示し、かつ、前記第２の情報が、前記人物が前記商品配置領域の方向に向いていないことを示す場合に、前記警告情報を出力することを特徴とする請求項１記載の監視方法。
5. 前記判定では、前記警告情報を出力すると判定した場合、前記警告情報を前記情報処理装置と通信可能なコンピュータへ送信することを特徴とする請求項１乃至４の何れか１項に記載の監視方法。
6. 商品配置領域に配置された商品の移動の有無の検知結果を示す第１の情報と、前記商品配置領域の周囲に位置する人物の向きの検知結果を示す第２の情報とを取得する取得部と、
   前記第１の情報と前記第２の情報とに基づいて、警告情報を出力するかを判定する出力制御部と、
   を有することを特徴とする監視装置。
7. コンピュータに、
   商品配置領域に配置された商品の移動の有無の検知結果を示す第１の情報と、前記商品配置領域の周囲に位置する人物の向きの検知結果を示す第２の情報とを取得し、
   前記第１の情報と前記第２の情報とに基づいて、警告情報を出力するかを判定する、
   処理を実行させることを特徴とする監視プログラム。

Images