JP2017182653A - 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法 - Google Patents

Abstract

【課題】陳列対象となる商品ではない対象外の物品が存在するような不測の状態であっても、陳列不備を改善する作業の指示を迅速にかつ適切に行なうことができるようにする。【解決手段】売場画像上に状態監視エリアを設定する状態監視エリア設定部５２と、商品識別情報および陳列器具識別情報が登録された情報記憶部２２と、売場画像および商品識別情報に基づいて、状態監視エリアに陳列された商品を識別するとともに、売場画像および陳列器具識別情報に基づいて、状態監視エリアにおける陳列器具を識別する商品識別部５４と、商品に関する識別結果と、陳列器具に関する識別結果とに基づいて、状態監視エリアの陳列不備を判定する陳列状態判定部５５と、この陳列状態判定部により陳列不備と判定された場合に、陳列不備表示画像を売場画像上に重畳したモニタリング画面を生成する画面生成部５９と、を備えたものとする。【選択図】図８

Description

本発明は、店舗の売場を撮像した売場画像に基づいて、前記売場に陳列された商品の陳列状態を監視する商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法に関するものである。

コンビニエンスストアなどの店舗においては、売場に陳列された商品の陳列状態に不備がある、すなわち商品の陳列が乱れていたり、商品が不足していたりすると、機会損失が発生し、この機会損失は店舗の売上げに大きな影響を及ぼす。そこで、商品の陳列状態に不備がある場合には、それを解消するための商品管理作業（整頓作業や補充作業）を速やかに実施する必要がある。

このような商品管理作業に関連するものとして、従来、店舗の売場をカメラで撮影して、そのカメラの画像に基づいて、売場に陳列されている商品を識別する技術が知られている（特許文献１参照）。このような商品識別技術により、売場に陳列されている商品を識別することにより、売場に陳列された商品の陳列状態に不備がないかの判定を適切に行うことができる。

特開２０１５−２１０６５１号公報

さて、店員の勘違いなどにより、別の陳列棚に陳列すべき商品が陳列されることがあるが、この他にも、陳列対象となる商品ではない様々な対象外の物品が紛れ込むことがある。このように陳列不備の具体的な状況には様々なものがあり、予測が難しいが、このような不測の状態でも、陳列不備を確実に検知して、それを改善する作業を速やかにユーザに実施させることが望まれる。

しかしながら、前記従来の技術のように、予め登録された商品特徴情報に基づいて商品識別を行うだけでは、様々な対象外の物品が紛れ込むといった不測の状態が発生すると、その対象外の物品を正規の商品として誤って識別したり、対象外の物品が存在することを検知することができなかったりする。このため、陳列不備を適切に検知することができず、陳列不備を改善する作業の指示を迅速にかつ適切に行うことができないという問題があった。

そこで、本発明は、店舗内の売場を撮影した画像に基づいて、陳列対象となる商品ではない対象外の物品が存在するような不測の状態であっても、陳列不備を改善する作業の指示を迅速にかつ適切に行なうことができる商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法を提供することを主な目的とするものである。

本発明の商品モニタリング装置は、店舗の売場を撮像した売場画像に基づいて、前記売場に陳列された商品の陳列状態を監視する商品モニタリング装置であって、前記売場画像上に状態監視エリアを設定する状態監視エリア設定部と、商品を識別するための商品識別情報が登録された情報記憶部と、前記売場画像および前記商品識別情報に基づいて、前記状態監視エリアに陳列された商品を識別する商品識別部と、この商品識別部の識別結果に基づいて、前記状態監視エリアの陳列不備を判定する陳列状態判定部と、この陳列状態判定部により陳列不備と判定された場合に、前記状態監視エリアにおいて陳列不備が発生したことを表す陳列不備表示画像を前記売場画像上に重畳したモニタリング画面を生成する画面生成部と、を備え、前記情報記憶部には、商品が陳列される陳列器具を識別するための陳列器具識別情報が登録され、前記商品識別部は、前記売場画像および前記陳列器具識別情報に基づいて、前記状態監視エリアにおける陳列器具を識別し、前記陳列状態判定部は、前記商品に関する識別結果と、前記陳列器具に関する識別結果とに基づいて、前記状態監視エリアの陳列不備を判定する構成とする。

また、本発明の商品モニタリングシステムは、店舗の売場を撮像した売場画像に基づいて、前記売場に陳列された商品の陳列状態を監視する商品モニタリングシステムであって、前記売場を撮像して前記売場画像を出力するカメラと、前記売場画像を含むモニタリング画面を生成して出力するサーバ装置と、前記モニタリング画面を表示するユーザ端末装置と、を有し、前記サーバ装置は、前記売場画像上に状態監視エリアを設定する状態監視エリア設定部と、商品を識別するための商品識別情報が登録された情報記憶部と、前記売場画像および前記商品識別情報に基づいて、前記状態監視エリアに陳列された商品を識別する商品識別部と、この商品識別部の識別結果に基づいて、前記状態監視エリアの陳列不備を判定する陳列状態判定部と、この陳列状態判定部により陳列不備と判定された場合に、前記状態監視エリアにおいて陳列不備が発生したことを表す陳列不備表示画像を前記売場画像上に重畳したモニタリング画面を生成する画面生成部と、を備え、前記情報記憶部には、商品が陳列される陳列器具を識別するための陳列器具識別情報が登録され、前記商品識別部は、前記売場画像および前記陳列器具識別情報に基づいて、前記状態監視エリアにおける陳列器具を識別し、前記陳列状態判定部は、前記商品に関する識別結果と、前記陳列器具に関する識別結果とに基づいて、前記状態監視エリアの陳列不備を判定する構成とする。

また、本発明の商品モニタリング方法は、店舗の売場を撮像した売場画像に基づいて、前記売場に陳列された商品の陳列状態を監視する処理を情報処理装置に行わせる商品モニタリング方法であって、前記売場画像上に状態監視エリアを設定し、前記売場画像および商品識別情報に基づいて、前記状態監視エリアに陳列された商品を識別するとともに、前記売場画像および陳列器具識別情報に基づいて、前記状態監視エリアにおける陳列器具を識別し、前記商品に関する識別結果と、前記陳列器具に関する識別結果とに基づいて、前記状態監視エリアの陳列不備を判定し、陳列不備と判定された場合に、前記状態監視エリアにおいて陳列不備が発生したことを表す陳列不備表示画像を前記売場画像上に重畳したモニタリング画面を生成する構成とする。

本発明によれば、商品に関する識別結果と、陳列器具に関する識別結果とに基づいて、状態監視エリアの陳列不備を判定するため、陳列対象となる商品ではない対象外の物品が存在する場合であっても、その対象外の物品が存在することを適切に検知して、陳列不備を改善する作業の指示を迅速にかつ適切に行なうことができる。

本実施形態に係る商品モニタリングシステムの全体構成図 店舗のレイアウトおよびカメラ１の設置状況を説明する店舗の平面図 売場画像上に設定される状態監視エリアを示す説明図 サーバ装置２で行われる商品識別処理の要領を説明する説明図 商品識別の識別結果に基づく未学習領域の検出状況を示す説明図 サーバ装置２で生成されてユーザ端末装置３に表示されるモニタリング画像を示す説明図 カメラ１、サーバ装置２およびユーザ端末装置３のハードウェア構成を示すブロック図 カメラ１およびサーバ装置２の機能ブロック図 サーバ装置２で生成されてユーザ端末装置３に表示されるモニタリング画面を示す説明図 サーバ装置２で生成されてユーザ端末装置３に表示されるモニタリング画面を示す説明図 未学習物品を新商品として検知する場合の処理を説明する説明図

前記課題を解決するためになされた第１の発明は、店舗の売場を撮像した売場画像に基づいて、前記売場に陳列された商品の陳列状態を監視する商品モニタリング装置であって、前記売場画像上に状態監視エリアを設定する状態監視エリア設定部と、商品を識別するための商品識別情報が登録された情報記憶部と、前記売場画像および前記商品識別情報に基づいて、前記状態監視エリアに陳列された商品を識別する商品識別部と、この商品識別部の識別結果に基づいて、前記状態監視エリアの陳列不備を判定する陳列状態判定部と、この陳列状態判定部により陳列不備と判定された場合に、前記状態監視エリアにおいて陳列不備が発生したことを表す陳列不備表示画像を前記売場画像上に重畳したモニタリング画面を生成する画面生成部と、を備え、前記情報記憶部には、商品が陳列される陳列器具を識別するための陳列器具識別情報が登録され、前記商品識別部は、前記売場画像および前記陳列器具識別情報に基づいて、前記状態監視エリアにおける陳列器具を識別し、前記陳列状態判定部は、前記商品に関する識別結果と、前記陳列器具に関する識別結果とに基づいて、前記状態監視エリアの陳列不備を判定する構成とする。

これによると、商品に関する識別結果と、陳列器具に関する識別結果とに基づいて、状態監視エリアの陳列不備を判定するため、陳列対象となる商品ではない対象外の物品が存在するような不測の状態であっても、陳列不備を改善する作業の指示を迅速にかつ適切に行なうことができる。

また、第２の発明は、前記商品識別部は、前記識別結果の信頼性に関する信頼性情報を生成し、前記陳列状態判定部は、前記信頼性情報に基づいて、前記状態監視エリアの陳列不備を判定する構成とする。

これによると、状態監視エリアに、陳列対象となる商品ではない対象外の物品が存在する場合に、その対象外の物品が存在することを適切に検知して、状態監視エリアの陳列不備を精度よく判定することができる。

また、第３の発明は、前記商品識別部は、識別の視点が異なる複数の識別器を有し、この複数の識別器による識別結果のばらつき度合いに関する情報を前記信頼性情報として生成する構成とする。

これによると、精度の高い信頼性情報を生成することができる。

また、第４の発明は、前記画面生成部は、前記陳列不備表示画像として、前記状態監視エリアを表す枠画像を表示する構成とする。

これによると、枠画像により、陳列不備が発生している状態監視エリアをユーザが容易に把握することができる。

また、第５の発明は、前記画面生成部は、前記陳列不備表示画像として、陳列不備が発生している位置を表すアイコンを表示する構成とする。

これによると、アイコンにより、状態監視エリアにおいて陳列不備が発生している位置をユーザが容易に把握することができる。

また、第６の発明は、前記画面生成部は、陳列不備の継続時間に応じて前記陳列不備表示画像の表示形態を変更する構成とする。

これによると、陳列不備表示画像の表示形態の違いにより、陳列不備の継続時間をユーザが容易に把握することができる。

また、第７の発明は、前記画面生成部は、陳列不備の発生頻度に関する情報を前記モニタリング画面に付加する構成とする。

これによると、陳列不備の発生頻度をユーザが把握することができる。

また、第８の発明は、前記画面生成部は、陳列不備の発生状況を表すリストを前記モニタリング画面に付加する構成とする。

これによると、陳列不備の発生状況を表すリストにより、陳列不備が発生している状態監視エリアをユーザが容易に把握することができる。

また、第９の発明は、店舗の売場を撮像した売場画像に基づいて、前記売場に陳列された商品の陳列状態を監視する商品モニタリングシステムであって、前記売場を撮像して前記売場画像を出力するカメラと、前記売場画像を含むモニタリング画面を生成して出力するサーバ装置と、前記モニタリング画面を表示するユーザ端末装置と、を有し、前記サーバ装置は、前記売場画像上に状態監視エリアを設定する状態監視エリア設定部と、商品を識別するための商品識別情報が登録された情報記憶部と、前記売場画像および前記商品識別情報に基づいて、前記状態監視エリアに陳列された商品を識別する商品識別部と、この商品識別部の識別結果に基づいて、前記状態監視エリアの陳列不備を判定する陳列状態判定部と、この陳列状態判定部により陳列不備と判定された場合に、前記状態監視エリアにおいて陳列不備が発生したことを表す陳列不備表示画像を前記売場画像上に重畳したモニタリング画面を生成する画面生成部と、を備え、前記情報記憶部には、商品が陳列される陳列器具を識別するための陳列器具識別情報が登録され、前記商品識別部は、前記売場画像および前記陳列器具識別情報に基づいて、前記状態監視エリアにおける陳列器具を識別し、前記陳列状態判定部は、前記商品に関する識別結果と、前記陳列器具に関する識別結果とに基づいて、前記状態監視エリアの陳列不備を判定する構成とする。

これによると、第１の発明と同様に、陳列対象となる商品ではない対象外の物品が存在するような不測の状態であっても、陳列不備を改善する作業の指示を迅速にかつ適切に行なうことができる。

また、第１０の発明は、店舗の売場を撮像した売場画像に基づいて、前記売場に陳列された商品の陳列状態を監視する処理を情報処理装置に行わせる商品モニタリング方法であって、前記売場画像上に状態監視エリアを設定し、前記売場画像および商品識別情報に基づいて、前記状態監視エリアに陳列された商品を識別するとともに、前記売場画像および陳列器具識別情報に基づいて、前記状態監視エリアにおける陳列器具を識別し、前記商品に関する識別結果と、前記陳列器具に関する識別結果とに基づいて、前記状態監視エリアの陳列不備を判定し、陳列不備と判定された場合に、前記状態監視エリアにおいて陳列不備が発生したことを表す陳列不備表示画像を前記売場画像上に重畳したモニタリング画面を生成する構成とする。

これによると、第１の発明と同様に、陳列対象となる商品ではない対象外の物品が存在するような不測の状態であっても、陳列不備を改善する作業の指示を迅速にかつ適切に行なうことができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

図１は、本実施形態に係る商品モニタリングシステムの全体構成図である。

この商品モニタリングシステムは、コンビニエンスストアなどの小売チェーン店などを対象にして構築されるものであり、複数の店舗（施設）ごとに設けられたカメラ１と、サーバ装置（商品モニタリング装置）２と、ユーザ端末装置３と、を備えている。

カメラ１は、店舗内の適所に設置され、店舗内の売場を撮像する。このカメラ１は、店舗内ネットワーク、ルータ４およびＶＬＡＮ（Virtual Local Area Network）などの閉域ネットワークを介してサーバ装置２に接続されている。また、カメラ１では、店舗内を撮像した画像から人物を除去する画像処理が実施され、この画像処理で得られた売場画像（処理画像）がカメラ１から出力される。

サーバ装置２は、店舗内に設置されたカメラ１から送信される売場画像などを受信する。また、サーバ装置２は、インターネットを介してユーザ端末装置３に接続されており、ユーザが閲覧するモニタリング画面を生成してユーザ端末装置３に配信し、また、ユーザがモニタリング画面で入力した情報を取得する。

ユーザ端末装置３は、スマートフォンやタブレット端末やＰＣで構成される。このユーザ端末装置３では、サーバ装置２から配信されるモニタリング画面が表示される。このモニタリング画面をユーザが閲覧することで、店舗内の状況を把握することができる。

次に、店舗のレイアウトおよびカメラ１の設置状況について説明する。図２は、店舗のレイアウトおよびカメラ１の設置状況を説明する店舗の平面図である。

店舗には、出入口、陳列棚、レジカウンタ、および調理器具などが設けられている。陳列棚は、ファーストフード（ＦＦ）、米飯（おにぎり、弁当、寿司などの商品）、ベーカリー、デザート、ドリンク、加工食品、雑貨、生鮮食品、雑誌、新聞などの商品の区分（種類）に分けて設置されている。調理器具は、からあげなどのファーストフードを店内で調理するものであり、レジカウンタの隣には、ファーストフードの陳列棚（ＦＦケース）が設置されている。顧客は、出入口から入店し、陳列棚の間の通路を通って店舗内を移動し、所望の商品が見つかると、その商品を持ってレジカウンタに向かい、レジカウンタで会計（代金の支払い）を済ませた後に出入口から退店する。

また、店舗には、売場を撮影する複数のカメラ１が設置されている。このカメラ１は、店舗内の天井の適宜な位置に設置されている。特に、図２に示す例では、カメラ１に、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラが採用され、このカメラ１により、売場の陳列棚などに陳列された商品などを撮影することができる。

次に、サーバ装置２で行われるエリア設定処理について説明する。図３は、売場画像上に設定される状態監視エリアを示す説明図である。

サーバ装置２では、ユーザ端末装置３におけるユーザの操作入力に基づき、売場画像上に状態監視エリアを設定する。この状態監視エリアは、陳列棚の棚板や商品のカテゴリーにより、売場における陳列エリアを区分けした区画ごとに設定することができる。具体的には、売場画像内の商品が配置される領域を取り囲むように状態監視エリアが設定される。

図３に示す例では、対象とする陳列エリアを、米飯（おにぎり、弁当、寿司などの商品）などの商品を陳列する陳列棚として、この陳列棚の各棚板を対象にして複数の状態監視エリアが設定されている。ここで、状態監視エリアは、４つの頂点を指定することで、４角形状に設定されるようにすればよいが、状態監視エリアの境界線を曲線で指定することができるようにしてもよい。また、１つの棚板上の陳列エリアを複数に分割して、１つの棚板上の陳列エリアに複数の状態監視エリアを設定するようにしてもよい。

なお、図３に示す例は、陳列棚を撮像した売場画像であるが、商品が陳列される器具（陳列器具）は陳列棚に限定されるものではなく、陳列台やワゴンなどの種々の形態の陳列器具が可能である。

次に、サーバ装置２で行われる商品識別処理について説明する。図４は、サーバ装置２で行われる商品識別処理の要領を説明する説明図である。図５は、商品識別の識別結果に基づく未学習領域の検出状況を示す説明図である。

サーバ装置２では、機械学習による物体認識の技術を用いて、状態監視エリアに存在する商品を識別する。この商品識別では、識別の視点が異なる複数の識別器が用いられ、各識別器の識別結果を集計して、識別結果ごとの投票数を求め、多数決により投票数が最も多い識別結果を最終的な識別結果として選出する。この商品識別には、公知の機械学習による物体認識の技術、例えばランダムフォレスト（Random Forest）の技術を用いればよい。

具体的には、図４に示すように、まず、予め学習された各商品およびそれらの商品が陳列される陳列トレイ（陳列器具）を候補として、識別対象がいずれの候補に該当するかを各識別器に投票させ、各識別器が投票した候補を集計して、候補ごとの投票数を求める。そして、投票数が最も多い候補を最終的な識別結果として選出する。

ここで、状態監視エリアに未学習物品が存在すると、各識別器の識別結果が全体的にばらついた状態となる。具体的には、投票数が最多で最終的な識別結果として選出された商品と、投票数が次点となる商品との間で投票数に大きな差異がなく、さらに、投票数が３位以降の商品と比較しても、投票数に大きな差異がない状態となる。これは、識別結果に曖昧さがある、すなわち、識別結果の信頼性が低いことを示している。

そこで、本実施形態では、識別器の識別結果のばらつき度合いに基づいて、未学習物品が存在する可能性が高い未学習領域を検出する。すなわち、各識別器の識別結果のばらつき度合いが大きく、識別結果の信頼性が低い場合に、未学習領域と判定する。

具体的には、図４に示すように、各識別器が投票した候補（ラベル）を投票数で降順に並び替えて、その順に候補に投票番号ｘを付与する。次に、図４に示す式１により、投票番号ｘごとの投票数と、ラベル数（各識別器が投票した候補の数）とから、ばらつき度合評価値ｖを算出する。そして、このばらつき度合評価値ｖを所定のしきい値と比較して、ばらつき度合評価値ｖがしきい値を超える場合に、識別結果の信頼性が低いものと判断して、未学習領域と判定する。

また、本実施形態では、商品に関する識別と、陳列トレイに関する識別と、が行われる。商品に関する識別では、識別対象がいずれの商品に該当するかを判定する。陳列トレイに関する識別では、商品が陳列される陳列トレイ（陳列器具）であるか否かを判定する。

ここで、商品に関する識別および陳列トレイに関する識別の各々において、各識別器の識別結果のばらつき度合いを表すばらつき度合評価値を求め、このばらつき度合評価値がしきい値を超える領域を未学習領域として検出する。

図５に示す画像は、状態監視エリアとなる陳列棚の棚板上に未学習物品を配置して、識別器の識別結果のばらつき度合いに基づいて未学習領域を検出した結果を示したものであり、未学習領域が色分け表示されている。この未学習領域の検出結果を、実際の未学習物品の位置と比較することで、未学習領域を適切に検出することができるかを確認することができる。

図５（Ａ−１），（Ａ−２），（Ａ−３）は、陳列トレイに関する識別で、ばらつき度合評価値ｖのしきい値をそれぞれ０．５、１．０、１．５とした場合である。ここで、ばらつき度合評価値ｖのしきい値を１．０とする、すなわち、ばらつき度合評価値ｖが１．０を超える場合に未学習領域として検出するようにすると、未学習物品が存在する未学習領域を適切に検出することができる。

図５（Ｂ−１），（Ｂ−２），（Ｂ−３）は、商品に関する識別で、ばらつき度合評価値ｖのしきい値をそれぞれ０．５、１．０、１．５とした場合である。ここで、ばらつき度合評価値ｖのしきい値を０．５とする、すなわち、ばらつき度合評価値ｖが０．５を超える場合に未学習領域として検出するようにすると、未学習物品が存在する未学習領域を適切に検出することができる。

このように、ばらつき度合評価値ｖのしきい値を適切に設定することで、未学習領域を精度よく検出することができる。特に、陳列トレイに関する識別と商品に関する識別とでは、未学習領域を適切に識別することができるばらつき度合評価値ｖのしきい値が異なる。そこで、本実施形態では、未学習領域を識別するためのばらつき度合評価値のしきい値を、陳列トレイに関する識別と商品に関する識別とで異なる値（陳列トレイに関する識別では１．０，商品に関する識別では０．５）に設定する。

このようにして未学習領域が検出されると、この未学習領域の検出結果に基づいて、未学習物品が存在するか否かを判定する。このとき、未学習領域の大きさとその連続性に基づいて、未学習物品の有無を判定する。すなわち、未学習領域の大きさ（画素数）を所定のしきい値以上となり、かつ、その大きさの未学習領域が所定時間以上連続して検出された場合に、未学習物品が存在するものと判定する。

なお、陳列棚の棚板上に載置された未学習物品の位置を取得するには、状態監視エリアの画像において、横方向の各位置での未学習領域の占有率を求め、その占有率が所定のしきい値以上となる位置を未学習物品の位置とすればよい。

また、本実施形態では、状態監視エリアにおいて商品が存在しない領域を陳列トレイとして識別するようにしたが、陳列棚を斜め上方から撮像した画像において陳列棚の棚板上のエリアに状態監視エリアを設定した場合、棚板の上面の他に、陳列棚の側面パネルや背面パネルの内側面が状態監視エリアの画像に現れ、これらの部分が陳列トレイとして識別される。

以上のように、識別結果の信頼性の低さ（識別結果の曖昧さ）を表すばらつき度合評価値に基づいて、未学習物品を検知することができるが、本実施形態では、この未学習物品の検知結果を、状態監視エリアの陳列不備としてユーザに提示する。

店舗の売場では、商品区分で分けて商品が各陳列棚に陳列され、各陳列棚に陳列される商品は予め定められているが、店員の勘違いなどにより、別の陳列棚に陳列すべき商品が陳列されることがある。また、この他にも、陳列対象となる商品ではない様々な対象外の物品が紛れ込むことがあり、このような対象外の物品が紛れ込んだ状態は、陳列不備として確実に検知して、それを改善する作業を速やかにユーザに実施させることが望まれる。

そこで、本実施形態では、状態監視エリアにおいて未学習物品が検知されると、その未学習物品を、陳列対象となる商品ではない対象外の物品とみなして、状態監視エリアで陳列不備が発生しているものと判定し、その陳列不備を解消する作業をユーザに促すための報知を行う。

次に、サーバ装置２で生成されてユーザ端末装置３に表示されるモニタリング画像について説明する。図６は、サーバ装置２で生成されてユーザ端末装置３に表示されるモニタリング画像を示す説明図である。

本実施形態では、サーバ装置２において、図６に示すモニタリング画像が生成されてユーザ端末装置３に送信され、ユーザ端末装置３にモニタリング画像が表示される。

このモニタリング画像では、売場画像６１上に、状態監視エリアの輪郭を表す枠線からなる枠画像（陳列不備表示画像）６２が重畳表示されている。この枠画像６２は、状態監視エリアにおいて陳列不備が発生するのに応じて、表示形態が変化する。具体的には、状態監視エリアに陳列不備が発生すると、枠画像の表示色が、例えば緑色から赤色に変化する。これにより、陳列不備が発生している状態監視エリア（例えば陳列棚の棚板）をユーザが把握することができる。

また、モニタリング画像では、売場画像６１において陳列不備が検知された位置の近傍に、陳列不備が発生している位置を表すアイコン６３が重畳表示されている。これにより、陳列不備が発生している位置をユーザが把握することができる。

次に、カメラ１、サーバ装置２およびユーザ端末装置３の概略構成について説明する。図７は、カメラ１、サーバ装置２およびユーザ端末装置３のハードウェア構成を示すブロック図である。

カメラ１は、撮像部１１と、制御部１２と、情報記憶部１３と、通信部１４と、を備えている。

撮像部１１は、イメージセンサを備え、時間的に連続する撮像画像（フレーム）、いわゆる動画像を順次出力する。制御部１２は、撮像画像に対して人物などの動体を除去する画像処理を行い、この画像処理により生成した動体除去画像を売場画像として出力する。情報記憶部１３は、制御部１２を構成するプロセッサで実行されるプログラムや、撮像部１１から出力される撮像画像を記憶する。通信部１４は、サーバ装置２との間で通信を行うものであり、制御部１２から出力される売場画像をネットワークを介してサーバ装置２に送信する。

サーバ装置２は、制御部２１と、情報記憶部２２と、通信部２３と、を備えている。

通信部２３は、カメラ１およびユーザ端末装置３との間で通信を行うものであり、カメラ１から送信される売場画像を受信し、また、ユーザ端末装置３から送信されるユーザ設定情報を受信し、また、ユーザが閲覧するモニタリング画面をユーザ端末装置３に配信する。情報記憶部２２では、通信部２３で受信したカメラ１ごとの売場画像や、制御部２１を構成するプロセッサで実行されるプログラムなどを記憶する。制御部２１は、ユーザ端末装置３に配信するモニタリング画面を生成する。

また、情報記憶部２２には、商品および陳列トレイを識別するための機械学習で取得した学習データ（商品および陳列トレイの特徴に関する情報）が記憶される。この学習データには、商品に関する識別で用いられる学習データ（商品識別情報）と、陳列トレイ（陳列器具）に関する識別で用いられる学習データ（陳列器具識別情報）とがある。

ユーザ端末装置３は、制御部３１と、情報記憶部３２と、通信部３３と、入力部３４と、表示部３５と、を備えている。

入力部３４は、ユーザが各種の設定情報を入力する。表示部３５は、サーバ装置２から送信される画面情報に基づいてモニタリング画面を表示する。入力部３４および表示部３５は、タッチパネルディスプレイで構成することができる。通信部３３は、サーバ装置２との間で通信を行うものであり、入力部３４で入力されたユーザ設定情報をサーバ装置２に送信し、また、サーバ装置２から送信される画面情報を受信する。制御部３１は、ユーザ端末装置３の各部を制御する。情報記憶部３２は、制御部３１を構成するプロセッサで実行されるプログラムなどを記憶する。

次に、カメラ１およびサーバ装置２の機能的な構成について説明する。図８は、カメラ１およびサーバ装置２の機能ブロック図である。

カメラ１の制御部１２は、動体除去画像生成部４１を備えている。この動体除去画像生成部４１は、情報記憶部１３に記憶されたモニタリング用のプログラム（インストラクション）を、制御部１２を構成するプロセッサに実行させることで実現される。

動体除去画像生成部４１では、所定の学習期間における複数の撮像画像（フレーム）に基づいて、撮像画像から動体を除去した動体除去画像を生成する。具体的には、撮像部１１から出力される時間的に連続する撮像画像が動体除去画像生成部４１に順次入力されると、直近の所定のサンプリング期間における複数の撮像画像に基づいて、画素単位の支配画像情報（優勢な状態にある色情報）を求めて、動体除去画像（背景画像）を生成する。そして、このような支配画像情報を撮像画像が入力される度に更新することで、最新の動体除去画像を得ることができる。この動体除去画像の生成には、公知の背景画像生成技術を利用すればよい。

このようにして動体除去画像生成部４１で生成された動体除去画像は、売場画像として通信部１４から所定の単位時間間隔（例えば１５分間隔）でサーバ装置２に送信される。具体的には、サーバ装置２において、カメラ１に対する画像送信要求が所定のタイミング（例えば１５分間隔）で定期的に行われ、カメラ１の通信部１４では、サーバ装置２からの画像送信要求に応じて、その時刻の売場画像を送信する。

サーバ装置２の制御部２１は、画像取得部５１と、状態監視エリア設定部５２と、機械学習部５３と、商品識別部５４と、陳列状態判定部５５と、継続時間取得部５６と、発生頻度取得部５７と、アラートレベル判定部５８と、画面生成部５９と、を備えている。この制御部２１の各部は、情報記憶部２２に記憶されたモニタリング用のプログラム（インストラクション）を、制御部２１を構成するプロセッサに実行させることで実現される。

画像取得部５１では、カメラ１から定期的（例えば１５分間隔）に送信されて通信部２３において受信した売場画像（動体除去画像）を取得する。この画像取得部５１で取得した売場画像は情報記憶部２２に記憶される。

状態監視エリア設定部５２では、ユーザ端末装置３において行われるユーザの入力操作に応じて、売場画像上に状態監視エリア（図３参照）を設定する処理が行われる。このとき、陳列エリアの撮影画像が表示されたエリア設定画面をユーザ端末装置３に表示させ、このエリア設定画面上で状態監視エリアの位置をユーザに入力させればよい。

機械学習部５３では、学習対象として入力された商品ごとの画像に対して機械学習を行い、学習結果として商品ごとの特徴情報を取得して、その商品ごとの特徴情報に関する学習データを情報記憶部２２のデータベースに登録する。また、新規の商品の画像が入力されると、その新規の商品に関する機械学習を行い、その学習結果に基づいて学習データを更新する。

商品識別部５４では、画像取得部５１で取得した売場画面と、情報記憶部２２に登録された学習データとに基づいて、状態監視エリアに陳列された商品、および商品が陳列される陳列トレイ（陳列器具）を識別する。本実施形態では、商品に関する識別と、陳列トレイに関する識別と、が行われる。商品に関する識別では、各商品に関する学習データ（商品識別情報）に基づいて、識別対象がいずれの商品に該当するかを判定する。陳列トレイに関する識別では、陳列トレイに関する学習データ（陳列器具識別情報）に基づいて、識別対象が陳列トレイであるか否かを判定する。

また、商品識別部５４は、識別の視点が異なる複数の識別器を有しており、各識別器の識別結果を集計して、識別結果ごとの投票数を求め、投票数が最も多い識別結果を最終的な識別結果として選出する。また、商品識別部５４では、各識別器の識別結果に基づいて、識別結果の信頼性に関する信頼性情報として、各識別器の識別結果のばらつき度合いの大きさ、すなわち、識別結果の信頼性の低さ（識別結果の曖昧さ）を表すばらつき度合評価値を算出する。

陳列状態判定部５５では、商品識別部５４で取得したばらつき度合評価値（信頼性情報）に基づいて、状態監視エリアにおける陳列不備を判定する。本実施形態では、まず、ばらつき度合評価値を所定のしきい値と比較して、ばらつき度合評価値がしきい値を超える場合に未学習領域として検出する。そして、その未学習領域の大きさ（画素数）を所定のしきい値と比較して、未学習領域の大きさがしきい値以上となると、未学習物品が存在するものと判定し、その未学習物品が検知された状態監視エリアにおいて陳列不備が発生しているものと判定する。

継続時間取得部５６では、陳列状態判定部５５の検知結果に基づいて、陳列不備の継続時間、すなわち、陳列不備が発生してから現在までの経過時間を取得する。

発生頻度取得部５７では、陳列状態判定部５５の検知結果に基づいて、陳列不備の発生頻度、すなわち、所定の期間内において陳列不備が発生した頻度を取得する。この陳列不備の発生頻度には、同一の状態監視エリアで断続的に発生したときの発生回数や、異なる状態監視エリアで同時に発生したときの発生箇所数がカウントされる。

アラートレベル判定部５８では、継続時間取得部５６で取得した陳列不備の継続時間が長いか短いかに応じて、アラートレベルが「軽度」および「重度」のいずれであるかを判定する。具体的には、陳列不備の継続時間を所定のしきい値（例えば１時間、１日）と比較して、陳列不備の継続時間がしきい値未満である場合には「軽度」と判定し、陳列不備の継続時間がしきい値以上となる場合には「重度」と判定する。

また、アラートレベル判定部５８では、発生頻度取得部５７で取得した陳列不備の発生頻度が多いか少ないかに応じて、アラートレベルが「軽度」および「重度」とのいずれであるかを判定する。具体的には、陳列不備の発生頻度を所定のしきい値と比較して、陳列不備の発生頻度がしきい値未満である場合には「軽度」と判定し、陳列不備の発生頻度がしきい値以上となる場合には「重度」と判定する。

なお、陳列不備の発生頻度が多く、かつ、陳列不備の継続時間が長い場合に、アラートレベルを「重度」と判定するようにしてもよい。具体的には、陳列不備の発生頻度がしきい値以上となり、かつ、その発生頻度がしきい値以上となる状態の継続時間がしきい値以上となる場合に、アラートレベルを「重度」と判定するようにしてもよい。

また、本実施形態では、陳列不備の継続時間や発生頻度に基づいてアラートレベル（軽度および重度）を判定するようにしたが、未学習領域の大きさに基づいてアラートレベルを判定するようにしてもよい。すなわち、未学習領域の大きさが所定のしきい値以上となる場合には「重度」と判定するようにしてもよい。

画面生成部５９では、状態監視エリア設定部５２で設定された状態監視エリアを表す枠画像（陳列不備表示画像）を売場画像上に重畳したモニタリング画面を生成する。

このモニタリング画面では、陳列状態判定部５５の判定結果に基づいて、枠画像の表示形態を変更する。具体的には、陳列不備の有無に応じて枠画像６２（図６参照）を色分けして表示する。すなわち、陳列不備がある状態監視エリアの枠画像６２を、陳列不備がない状態監視エリアの枠画像と異なる表示色で強調表示する。さらに、モニタリング画面では、継続時間取得部５６で取得した陳列不備の継続時間に応じて枠画像６２の表示形態を変更する。具体的には、陳列不備の継続時間に応じて枠画像６２の表示色を変化させる。

また、画面生成部５９では、アラートレベル判定部５８の判定結果に基づいて、モニタリング画面において、アラートレベルが「重度」と判定された状態監視エリアをユーザに提示する。本実施形態では、陳列不備が発生している売場をユーザに通知するウインドウのポップアップ表示や、陳列不備の発生状況を表す陳列不備リストでの強調表示が行われる（図９，図１０参照）。

次に、サーバ装置２で生成されてユーザ端末装置３に表示されるモニタリング画面について説明する。図９および図１０は、サーバ装置２で生成されてユーザ端末装置３に表示されるモニタリング画面を示す説明図であり、図９に、陳列不備の発生頻度が少ない場合を示し、図１０に、陳列不備の発生頻度が多い場合を示す。

本実施形態では、サーバ装置２において、図９および図１０に示すモニタリング画面の画面情報が生成され、この画面情報がユーザ端末装置３に配信されて、ユーザ端末装置３でモニタリング画面が表示される。

このモニタリング画面は、多数の店舗を担当する店舗管理者などのユーザが、各店舗における売場の状況を効率的に監視することができるようにしたものであり、このモニタリング画面には、各店舗における売場ごとの売場画像６１（図６参照）が並べて表示されている。各売場画像には、状態監視エリアを表す枠画像６２が表示されており、陳列不備が検知された状態監視エリアを表す枠画像６２は、陳列不備が検知されていない状態監視エリアを表す枠画像６２とは異なる表示色で表示される。

これにより、多くの売場の中から、陳列不備が発生している売場をユーザが容易に見分けることができ、さらに、売場画像６１を見ることで、陳列不備の具体的な状況をユーザが把握することができる。

また、モニタリング画面には、陳列不備の発生状況を表す陳列不備リスト７１が表示される。この陳列不備リスト７１には、陳列不備が検知された位置（店舗および売場）と、陳列不備の発生頻度とが一覧表示される。これにより、どの店舗のどの売場にどの程度の陳列不備が発生しているかをユーザが容易に把握することができる。

また、陳列不備が発生している状態監視エリアについてアラートレベルが「重度」と判定されると、図１０に示すように、該当する売場で陳列不備が発生していることをユーザに通知するウインドウ（メッセージボックス）７２がモニタリング画面上にポップアップ表示される。また、モニタリング画面の陳列不備リスト７１では、アラートレベルが「重度」と判定された状態監視エリアに対応する売場の表示欄が、他の売場の表示欄と異なる表示色で強調表示される。

なお、本実施形態では、状態監視エリアの輪郭を表す枠線で構成される枠画像６２の表示色を変化させることで、陳列不備の有無および継続時間の長さを表現するようにしたが、枠画像を構成する枠線の太さや線種（例えば実線や点線など）などの他の表示要素を変化させることで、陳列不備の有無および継続時間の長さを表現するようにしてもよい。

また、枠画像６２の代わりに、状態監視エリアの輪郭の内部を塗り潰した塗り潰し画像を表示させて、その塗り潰し画像の色や透過率などの表示要素を変化させることで、陳列不備の有無および継続時間の長さを表現するようにしてもよい。

また、本実施形態では、陳列不備がある状態監視エリアの枠画像６２を、陳列不備がない状態監視エリアの枠画像６２と異なる表示形態で強調表示するようにしたが、陳列不備がない状態監視エリアでは、枠画像６２を表示させないようにしてもよい。

また、本実施形態では、枠画像６２の表示形態を変化させることで、状態監視エリアにおいて陳列不備が発生したことを表現するようにしたが、状態監視エリアの陳列状態を表すアイコンを、状態監視エリアの中央などの適宜な位置に表示させて、そのアイコンの表示形態を変化させることで、状態監視エリアにおいて陳列不備が発生したことを表現するようにしてもよい。

また、本実施形態では、陳列不備リスト７１において、売場ごとの陳列不備の発生頻度を表示するようにしたが、状態監視エリア（例えば、陳列棚の各棚）ごとの陳列不備の発生頻度を表示するようにしてもよい。

なお、本実施形態では、陳列不備リスト７１に陳列不備の発生頻度を数字で表示するようにしたが、この陳列不備リスト７１に陳列不備の継続時間を数字で表示するようにしてもよい。

ところで、このようにモニタリング画面で陳列不備をユーザに提示する他に、電子メールなどの種々の通知手段を用いて陳列不備をユーザに通知することもできる。

このとき、アラートレベルが「軽度」である、すなわち、陳列不備の発生箇所が少なく、また、陳列不備の継続時間が短い場合には、ユーザへの警告が過剰にならないように、注意を促す程度の通知にとどめるようにするとよい。具体的には、店舗の運営状況に関する情報などの他の様々な通知情報とまとめて陳列不備を通知したり、電子メールの送信先などの陳列不備の通知先を限定するようにしたりしてもよい。

一方、アラートレベルが「重度」である、すなわち、陳列不備の発生箇所が増えた場合や、陳列不備の継続時間が長くなった場合には、顧客の購買意欲を減退させて販売機会損失を招き、また、陳列不備の誤検知であれば、商品識別の精度低下や異常が発生している場合もあり、いずれにしても店舗運営上の大きな問題となる可能性がある。このため、ユーザに対して積極的に警告を行い、陳列不備を解消する商品管理作業を優先して実施させ、また、システムのメンテナンス作業に早急に着手させる必要がある。

具体的には、他の通知情報とは別に陳列不備専用の通知を行ったり、電子メールの送信先などの陳列不備の通知先を増やしたり変更したりする、例えば本部のスーパーバイザーより上位の管理者を通知先に含めるようにしてもよい。また、店舗に設置された警報ランプなどの報知装置を用いて陳列不備を店員などのユーザに通知するようにしてもよい。

次に、未学習物品を新商品として検知する場合について説明する。図１１は、未学習物品を新商品として検知する場合の処理を説明する説明図であり、図１１（Ａ）に、陳列棚に商品ポップ８１が設置された売場画面を示し、図１１（Ｂ）に、商品ポップ８１の表示内容を示す。

前記のように、本実施形態では、商品識別における識別結果の信頼性から検出される未学習領域に基づいて未学習物品（陳列対象となる商品ではない対象外の物品）を検知して、その未学習物品の検知結果を陳列不備としてユーザに提示するようにしたが、未学習物品を新商品として検知してユーザに提示することも可能である。

陳列棚に新商品を陳列した場合、その新商品の近傍に、新商品であることを表す商品ポップ８１が設置されることがあり、この場合、図１１（Ａ）に示すように、売場画像６１には、商品とともに商品ポップが写る。そこで、売場画像６１において、新商品であることを表す商品ポップ８１を検知することで、未学習物品が新商品であることを判定することができる。

また、商品ポップ８１には、新商品であることを表す文字や図形が描かれており、この文字や図形により、商品ポップ８１であることを判定することができる。図１１（Ｂ）に示す例では、カラーバーコード８２と、新商品であることを表す文字８３と、が描かれている。この場合、文字認識やバーコード認識により、商品ポップ８１が新商品であることを表すものか否かを判定することができる。

なお、文字やバーコードの他に、商品ポップの全体形状（矩形など）や、商品ポップの色（下地の白色など）や、商品ポップに描かれた絵柄などに基づいて、商品ポップを検知するようにしてもよい。

また、新商品の検知では、まず、商品識別における識別結果の信頼性から未学習領域が検出されると、未学習領域の大きさを所定のしきい値と比較して、その未学習領域の大きさがしきい値を超えると、未学習物品が存在するものと判定して、その未学習物品の近傍に商品ポップの画像領域があるか否かを探索し、商品ポップの画面領域が見つかると、未学習物品を新商品と判定する。

このようにして新商品が検知されると、検知された新商品に、新規の商品カテゴリーを割り当てて、新商品を機械学習部５３に学習させるようにするとよい。これにより、従来の商品に関する商品識別の精度低下を抑止することができる。

また、新商品が検知されると、売場に新商品が陳列されていることをユーザ（スーパーバイザーなどの店舗管理者）に通知する。例えば、モニタリング画面（図９，１０参照）において、新商品が陳列された状態監視エリアを強調表示する。具体的には、新商品が陳列された状態監視エリアを表す枠画像を、表示色の変更などで強調表示したり、新商品であることを表す文字（例えば「新商品！」）を表示したりする。これにより、店舗に新商品が陳列されていることをユーザが確認することができる。また、売場画面に写った新商品の具体的な陳列状況を見ることで、新商品の陳列位置が適切か否かをユーザが容易に把握することができる。

また、新商品が検知されると、電子メールやデジタルサイネージなどの適宜な広告媒体を用いて、店舗に新商品が陳列されている旨の案内を顧客に提示するようにしてもよい。これにより、店舗に新商品が陳列されていることを顧客に伝えることができ、新商品の購買を促進することができる。

なお、ここでは、未学習物品を新商品として検知した結果をユーザや顧客に提示するようにしたが、未学習物品を新商品として検知した結果を陳列不備の判定に用いるようにしてもよい。すなわち、未学習物品が新商品と判定されると、陳列不備がないものと判定し、未学習物品が新商品でないと判定されると、その未学習物品を、陳列対象となる商品ではない対象外の物品と判断して、陳列不備があるものと判定する。

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

例えば、前記の実施形態では、コンビニエンスストアなどの小売店舗の例について説明したが、このような小売店舗に限定されるものではなく、小売店舗以外の業務形態の店舗に適用することも可能である。

また、前記の実施形態では、図２に示したように、カメラ１を、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラとしたが、所定の画角を有するカメラ、いわゆるボックスカメラでも可能である。

また、前記の実施形態では、サーバ装置２において、状態監視エリア設定、機械学習、商品識別、陳列状態判定、発生頻度取得、継続時間取得、アラートレベル判定、および画面生成の各処理を行うようにしたが、これらの処理の全部あるいは一部を、店舗に設置されたＰＣで行うようにしてもよい。

また、前記の実施形態では、商品識別における識別結果の信頼性から未学習領域を検出して、その未学習領域に基づいて検知された未学習物品を陳列不備としてユーザに提示し、また、未学習物品を新商品として検知してユーザに提示するようにしたが、未学習領域の検出結果を商品識別の精度低下としてユーザに提示するようにしてもよい。すなわち、商品識別の精度が低下することで未学習領域が検出される場合もあるため、未学習領域が顕著である場合には、商品識別処理に不具合がないかの確認や、学習データの見直し（更新や入れ替え）をユーザ（システム運用者）に促す通知を行い、商品識別の精度を向上させる対策をユーザに速やかに実施させるようにしてもよい。

また、前記の実施形態では、複数の識別器による投票で最終的な識別結果を選出する商品識別において、各識別器の識別結果のばらつき度合いが大きい場合に、識別結果の信頼性が低いものと判断して、未学習物品と判定するようにしたが、未学習物品の判定は、このような手法に限定されるものではない。例えば、パターンマッチングにより商品識別を行う場合に、各候補に関するパターンマッチングの正解率が低く、かつ、近接している場合には、識別結果の信頼性が低いものと判断することができ、このような基準で未学習物品を判定するようにしてもよい。

本発明に係る商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法は、店舗内の売場を撮影した画像に基づいて、陳列対象となる商品ではない対象外の物品が存在するような不測の状態であっても、陳列不備を改善する作業の指示を迅速にかつ適切に行なうことができる効果を有し、店舗の売場を撮像した売場画像に基づいて、前記売場に陳列された商品の陳列状態を監視する商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法などとして有用である。

１ カメラ
２ サーバ装置（商品モニタリング装置）
３ ユーザ端末装置
２１ 制御部
２２ 情報記憶部
５２ 状態監視エリア設定部
５３ 機械学習部
５４ 商品識別部
５５ 陳列状態判定部
５６ 継続時間取得部
５７ 発生頻度取得部
５８ アラートレベル判定部
５９ 画面生成部
６１ 売場画像
６２ 枠画像
６３ アイコン
７１ 陳列不備リスト

Claims (10)

1. 店舗の売場を撮像した売場画像に基づいて、前記売場に陳列された商品の陳列状態を監視する商品モニタリング装置であって、
   前記売場画像上に状態監視エリアを設定する状態監視エリア設定部と、
   商品を識別するための商品識別情報が登録された情報記憶部と、
   前記売場画像および前記商品識別情報に基づいて、前記状態監視エリアに陳列された商品を識別する商品識別部と、
   この商品識別部の識別結果に基づいて、前記状態監視エリアの陳列不備を判定する陳列状態判定部と、
   この陳列状態判定部により陳列不備と判定された場合に、前記状態監視エリアにおいて陳列不備が発生したことを表す陳列不備表示画像を前記売場画像上に重畳したモニタリング画面を生成する画面生成部と、を備え、
   前記情報記憶部には、商品が陳列される陳列器具を識別するための陳列器具識別情報が登録され、
   前記商品識別部は、前記売場画像および前記陳列器具識別情報に基づいて、前記状態監視エリアにおける陳列器具を識別し、
   前記陳列状態判定部は、前記商品に関する識別結果と、前記陳列器具に関する識別結果とに基づいて、前記状態監視エリアの陳列不備を判定することを特徴とする商品モニタリング装置。
2. 前記商品識別部は、前記識別結果の信頼性に関する信頼性情報を生成し、
   前記陳列状態判定部は、前記信頼性情報に基づいて、前記状態監視エリアの陳列不備を判定することを特徴とする請求項１に記載の商品モニタリング装置。
3. 前記商品識別部は、識別の視点が異なる複数の識別器を有し、この複数の識別器による識別結果のばらつき度合いに関する情報を前記信頼性情報として生成することを特徴とする請求項２に記載の商品モニタリング装置。
4. 前記画面生成部は、前記陳列不備表示画像として、前記状態監視エリアを表す枠画像を表示することを特徴とする請求項１から請求項３のいずれかに記載の商品モニタリング装置。
5. 前記画面生成部は、前記陳列不備表示画像として、陳列不備が発生している位置を表すアイコンを表示することを特徴とする請求項１から請求項４のいずれかに記載の商品モニタリング装置。
6. 前記画面生成部は、陳列不備の継続時間に応じて前記陳列不備表示画像の表示形態を変更することを特徴とする請求項１から請求項５のいずれかに記載の商品モニタリング装置。
7. 前記画面生成部は、陳列不備の発生頻度に関する情報を前記モニタリング画面に付加することを特徴とする請求項１から請求項６のいずれかに記載の商品モニタリング装置。
8. 前記画面生成部は、陳列不備の発生状況を表すリストを前記モニタリング画面に付加することを特徴とする請求項１から請求項７のいずれかに記載の商品モニタリング装置。
9. 店舗の売場を撮像した売場画像に基づいて、前記売場に陳列された商品の陳列状態を監視する商品モニタリングシステムであって、
   前記売場を撮像して前記売場画像を出力するカメラと、
   前記売場画像を含むモニタリング画面を生成して出力するサーバ装置と、
   前記モニタリング画面を表示するユーザ端末装置と、
   を有し、
   前記サーバ装置は、
   前記売場画像上に状態監視エリアを設定する状態監視エリア設定部と、
   商品を識別するための商品識別情報が登録された情報記憶部と、
   前記売場画像および前記商品識別情報に基づいて、前記状態監視エリアに陳列された商品を識別する商品識別部と、
   この商品識別部の識別結果に基づいて、前記状態監視エリアの陳列不備を判定する陳列状態判定部と、
   この陳列状態判定部により陳列不備と判定された場合に、前記状態監視エリアにおいて陳列不備が発生したことを表す陳列不備表示画像を前記売場画像上に重畳したモニタリング画面を生成する画面生成部と、を備え、
   前記情報記憶部には、商品が陳列される陳列器具を識別するための陳列器具識別情報が登録され、
   前記商品識別部は、前記売場画像および前記陳列器具識別情報に基づいて、前記状態監視エリアにおける陳列器具を識別し、
   前記陳列状態判定部は、前記商品に関する識別結果と、前記陳列器具に関する識別結果とに基づいて、前記状態監視エリアの陳列不備を判定することを特徴とする商品モニタリングシステム。
10. 店舗の売場を撮像した売場画像に基づいて、前記売場に陳列された商品の陳列状態を監視する処理を情報処理装置に行わせる商品モニタリング方法であって、
    前記売場画像上に状態監視エリアを設定し、
    前記売場画像および商品識別情報に基づいて、前記状態監視エリアに陳列された商品を識別するとともに、前記売場画像および陳列器具識別情報に基づいて、前記状態監視エリアにおける陳列器具を識別し、
    前記商品に関する識別結果と、前記陳列器具に関する識別結果とに基づいて、前記状態監視エリアの陳列不備を判定し、
    陳列不備と判定された場合に、前記状態監視エリアにおいて陳列不備が発生したことを表す陳列不備表示画像を前記売場画像上に重畳したモニタリング画面を生成することを特徴とする商品モニタリング方法。

Images