JP2014170431A - 情報処理システム、情報処理装置およびその制御方法と制御プログラム - Google Patents

Abstract

【課題】陳列棚に陳列された複数種類の物品の数を効果的に表示すること。
【解決手段】同種の物品が手前から奥に向かって並べられた物品列を載置する陳列棚上に設けられた物品有無センサを用いて、前記物品列に含まれる物品の陳列数情報を取得する陳列数取得手段と、撮像手段が前記陳列棚の前面を撮影することにより取得した物品画像に基づいて、陳列棚に載置された物品列の先頭の物品の種類を識別する物品識別手段と、物品識別手段が識別した種類の物品の画像に重畳して、または物品の画像に並べて、前記陳列数取得手段で取得した該物品の陳列数情報を表示する表示手段と、を備えた情報処理装置。
【選択図】 図１

Description

本発明は、陳列された物品を管理する技術に関する。

上記技術分野において、特許文献１、２には、棚における商品の陳列状況を表示する技術が開示されている。

特開２０１２−１７３８５４号公報 特開２０１２−１７４１５４号公報

しかしながら、上記特許文献１に記載の技術では、棚割状況を文字で示したものに過ぎず、直感的に陳列棚が状況を把握できるものではなかった。また、特許文献２に記載の技術では、斜め上から商品状況を撮影できる特殊な陳列棚に対してしか適用できず、汎用性なかった。すなわち、上述の文献記載技術では、陳列棚に陳列された複数種類の物品の数を効果的に表示することができなかった。

本発明の目的は、上述の課題を解決する技術を提供することにある。

上記目的を達成するため、本発明に係る情報処理装置は、
同種の物品が手前から奥に向かって並べられた物品列を載置する陳列棚上に設けられた物品有無センサを用いて、前記物品列に含まれる物品の陳列数情報を取得する陳列数取得手段と、
撮像手段が前記陳列棚の前面を撮影することにより取得した物品画像に基づいて、前記陳列棚に載置された物品列の先頭の物品の種類を識別する物品識別手段と、
前記物品識別手段が識別した種類の物品の画像に重畳して、または前記物品の画像に並べて、前記陳列数取得手段で取得した該物品の陳列数情報を表示する表示手段と、
を備えた。

上記目的を達成するため、本発明に係る情報処理装置の制御方法は、
同種の物品が手前から奥に向かって並べられた物品列を載置する陳列棚上に設けられた物品有無センサを用いて、前記物品列に含まれる物品の陳列数情報を取得する陳列数取得ステップと、
撮像手段が前記陳列棚の前面を撮影することにより取得した物品画像に基づいて、前記陳列棚に載置された物品列の先頭の物品の種類を識別する物品識別ステップと、
前記物品識別ステップで識別した種類の物品の画像に重畳して、または前記物品の画像に並べて、前記陳列数取得ステップで取得した該物品の陳列数情報を表示する表示ステップと、
を備えた。

上記目的を達成するため、本発明に係る情報処理装置の制御プログラムは、
同種の物品が手前から奥に向かって並べられた物品列を載置する陳列棚上に設けられた物品有無センサを用いて、前記物品列に含まれる物品の陳列数情報を取得する陳列数取得ステップと、
撮像手段が前記陳列棚の前面を撮影することにより取得した物品画像に基づいて、前記陳列棚に載置された物品列の先頭の物品の種類を識別する物品識別ステップと、
前記物品識別ステップで識別した種類の物品の画像に重畳して、または前記物品の画像に並べて、前記陳列数取得ステップで取得した該物品の陳列数情報を表示する表示ステップと、
をコンピュータに実行させる。

上記目的を達成するため、本発明に係る情報処理システムは、
同種の物品が手前から奥に向かって並べられた物品列を載置する陳列棚上に設けられた物品有無センサと、
前記物品有無センサを用いて、前記物品列に含まれる物品の陳列数情報を取得する陳列数取得手段と、
前記陳列棚の前面を撮影する撮像手段と、
前記撮像手段が取得した物品画像に基づいて、前記陳列棚に載置された物品列の先頭の物品の種類を識別する物品識別手段と、
前記物品識別手段が識別した種類の物品の画像に重畳して、または前記物品の画像に並べて、前記陳列数取得手段で取得した該物品の陳列数情報を表示する表示手段と、
を備えた。

本発明によれば、陳列棚に陳列された複数種類の物品の数を効果的に表示することができる。

本発明の第１実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第２実施形態に係る情報処理装置を含む物品管理システムの概要を示す図である。 本発明の第２実施形態に係る情報処理装置を含む物品管理システムの構成を示すブロック図である。 本発明の第２実施形態に係る情報処理装置を含む物品管理システムの動作手順を示すシーケンス図である。 本発明の第２実施形態に係る情報処理装置を含む物品管理システムの動作タイミングの例を示すタイミング図である。 本発明の第２実施形態に係る情報処理装置を含む物品管理システムの動作タイミングの他の例を示すタイミング図である。 本発明の第２実施形態に係る情報処理装置を含む物品管理システムの動作タイミングのさらに他の例を示すタイミング図である。 本発明の第２実施形態に係る情報処理装置の機能構成を示すブロック図である。 本発明の第２実施形態に係る局所特徴量データベースの構成を示す図である。 本発明の第２実施形態に係るセンサデータベースの構成を示す図である。 本発明の第２実施形態に係る物品種類配列テーブルの構成を示す図である。 本発明の第２実施形態に係る物品有無配列テーブルの構成を示す図である。 本発明の第２実施形態に係る物品管理テーブルの構成を示す図である。 本発明の第２実施形態に係る物品識別部の構成を示すブロック図である。 本発明の第２実施形態に係る図６Ａの物品識別部における領域分割部の構成を示すブロック図である。 本発明の第２実施形態に係る物品識別部の他の構成を示すブロック図である。 本発明の第２実施形態に係る図６Ｃの物品識別部における領域分割部の構成を示すブロック図である。 本発明の第２実施形態に係る物品識別部のさらに他の構成を示すブロック図である。 本発明の第２実施形態に係る図６Ｅの物品識別部における領域分割部の構成を示すブロック図である。 本発明の第２実施形態に係る図６Ｅの物品識別部における領域分割部の他の構成を示すブロック図である。 本発明の第２実施形態に係る局所特徴量生成部の構成を示すブロック図である。 本発明の第２実施形態に係る局所特徴量生成の手順を説明する図である。 本発明の第２実施形態に係る局所特徴量生成の手順を説明する図である。 本発明の第２実施形態に係る局所特徴量生成部でのサブ領域の選択順位を示す図である。 本発明の第２実施形態に係る局所特徴量生成部での特徴ベクトルの選択順位を示す図である。 本発明の第２実施形態に係る局所特徴量生成部での特徴ベクトルの階層化を示す図である。 本発明の第２実施形態に係る物品配列生成部の構成を示すブロック図である。 本発明の第２実施形態に係る物品有無データ取得の動作手順を示すシーケンス図である。 本発明の第２実施形態に係る物品有無データ取得時の通信手順を示すシーケンス図である。 本発明の第２実施形態に係るセンサデータベースの構成を示す図である。 本発明の第２実施形態に係るセンサデータベースの他の構成を示す図である。 本発明の第２実施形態に係る物品有無センサの構成を示す図である。 本発明の第２実施形態に係る物品有無センサにおけるリーダアンテナの構成を示す図である。 本発明の第２実施形態に係る物品有無センサにおける物品の配置を示す図である。 本発明の第２実施形態に係る物品有無センサにおけるＲＦＩＤタグの構成を示す図である。 本発明の第２実施形態に係る物品有無センサにおける位置関係を示す図である。 本発明の第２実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 本発明の第２実施形態に係る情報処理装置の処理結果の出力を示す図である。 本発明の第２実施形態に係る情報処理装置の処理手順を示すフローチャートである。 本発明の第２実施形態に係る棚表面物品配列の認識処理の手順を示すフローチャートである。 本発明の第２実施形態に係る物品有無検出処理の手順を示すフローチャートである。 本発明の第２実施形態に係る物品配置および残数確定処理の手順を示すフローチャートである。 本発明の第３実施形態に係る情報処理装置を含む物品管理システムの概要を示す図である。 本発明の第３実施形態に係る情報処理装置を含む物品管理システムの動作手順を示すシーケンス図である。 本発明の第３実施形態に係る情報処理装置の機能構成を示すブロック図である。 本発明の第３実施形態に係る局所特徴量データベースの構成を示す図である。 本発明の第３実施形態に係るシート管理データベースの構成を示す図である。 本発明の第３実施形態に係る物品種類配列テーブルの構成を示す図である。 本発明の第３実施形態に係る情報処理装置の処理手順を示すフローチャートである。 本発明の第３実施形態に係るシートマーク識別処理の手順を示すフローチャートである。 本発明の第４実施形態に係る情報処理装置を含む物品管理システムの概要を示す図である。 本発明の第４実施形態に係る情報処理装置を含む物品管理システムの動作手順を示すシーケンス図である。 本発明の第４実施形態に係る情報処理装置の機能構成を示すブロック図である。 本発明の第４実施形態に係る局所特徴量データベースの構成を示す図である。 本発明の第４実施形態に係る棚管理データベースの構成を示す図である。 本発明の第４実施形態に係る物品種類配列テーブルの構成を示す図である。 本発明の第４実施形態に係る情報処理装置の処理手順を示すフローチャートである。 本発明の第４実施形態に係る棚マーク識別処理の手順を示すフローチャートである。 本発明の第５実施形態に係る情報処理装置を含む物品管理システムの概要を示す図である。 本発明の第５実施形態に係る情報処理装置を含む物品管理システムの動作手順を示すシーケンス図である。 本発明の第５実施形態に係る情報処理装置の機能構成を示すブロック図である。 本発明の第５実施形態に係る物品列管理データベースの構成を示す図である。 本発明の第５実施形態に係る情報処理装置の処理手順を示すフローチャートである。 本発明の第５実施形態に係る物品列識別処理の手順を示すフローチャートである。 本発明の第６実施形態に係る情報処理装置を含む物品管理システムの概要を示す図である。 本発明の第６実施形態に係る情報処理装置を含む物品管理システムの概要を示す図である。 本発明の第６実施形態に係る情報処理装置の機能構成を示すブロック図である。 本発明の第６実施形態に係る物品陳列判定処理を説明する図である。 本発明の第６実施形態に係る情報処理装置の処理手順を示すフローチャートである。 本発明の第６実施形態に係る物品陳列判定処理の手順を示すフローチャートである。 本発明の第７実施形態に係る情報処理装置を含む物品管理システムの概要を示す図である。 本発明の第７実施形態に係る情報処理装置の機能構成を示すブロック図である。 本発明の第７実施形態に係る情報処理装置の処理手順を示すフローチャートである。 本発明の第７実施形態に係る物品有無検出および物品識別の調整処理の手順を示すフローチャートである。 本発明の第８実施形態に係る情報処理装置を含む物品管理システムの概要を示す図である。 本発明の第８実施形態に係る情報処理装置を含む物品管理システムの動作手順を示すシーケンス図である。 本発明の第８実施形態に係る情報処理装置の機能構成を示すブロック図である。 本発明の第８実施形態に係る物品有無列照合を説明する図である。 本発明の第８実施形態に係る情報処理装置の処理手順を示すフローチャートである。 本発明の第８実施形態に係る有無列照合処理の手順を示すフローチャートである。 本発明の第９実施形態に係る物品管理システムの構成を示す図である。

以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。

［第１実施形態］
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、陳列された物品を管理するための装置である。

図１に示すように、情報処理装置１００は、陳列数取得部１０１と、画像受信部１０２と、物品識別部１０３と、表示部１０４と、を含む。

陳列数取得部１０１は、同種の物品が手前から奥に向かって並べられた物品列を載置する陳列棚上に設けられた物品有無センサ１３０を用いて、物品列１１０に含まれる物品の陳列数情報を取得する。

物品識別部１０３は、撮像部１２０が陳列棚１１０の前面を撮影することにより取得した物品画像に基づいて、陳列棚１１０に載置された物品列の先頭の物品の種類を識別する。

表示部１０４は、物品識別部１０３が識別した種類の物品の画像に重畳して、または物品の画像に並べて、陳列数取得部１０１で取得した物品の陳列数情報を表示する。

本実施形態によれば、物品の画像と物品の陳列数を同時に表示するため、陳列棚に陳列された複数種類の物品の状況を直感的に示す画像を、非常に簡単かつリアルタイムに生成し表示することができる。

［第２実施形態］
次に、本発明の第２実施形態に係る情報処理装置を含む情報処理システムの一例として、物品管理システムについて説明する。本実施形態においては、撮影した画像から局所特徴量に基づいて物品を識別し、物品陳列棚に設置された物品有無センサからの物品有無情報と紐付けることにより、陳列棚に奥行き方向に陳列された複数種類の大量の物品を種類ごとに高速に計数する。

《物品管理システム》
図２Ａ〜図３Ｄを参照して、本実施形態の物品管理システム２００の構成および動作について説明する。

（システム概要）
図２Ａは、本実施形態に係る情報処理装置２１０を含む物品管理システム２００の概要を示す図である。図２Ａにおいては、商店における商品陳列棚を例に説明するが、これに限定されない。奥行き方向に複数の物品が配置される陳列棚であればよい。

物品管理システム２００は、情報処理装置２１０と、カメラである撮像部２２０と、物品有無センサ２３０とを有する。撮像部２２０は、陳列棚２０１の最前列の画像を撮影する。一方、各陳列棚２０１の各段の底に配置された複数の物品有無センサ２３０は、各々が、その物品有無センサ２３０上に載置された物品の有無を判定する。

情報処理装置２１０は、物品識別部２１１と、陳列数取得部２１２と、陳列認識部２１３と、表示部２１４とを有する。物品識別部２１１は、撮像部２２０から陳列棚２０１の最前列の画像に基づいて、陳列されている物品の種類とその配列を識別する。なお、物品識別部２１１は、物品の種類やメーカ、物品名までを識別する。陳列数取得部２１２は、同種の物品が手前から奥に向かって並べられた物品列を載置する陳列棚２０１上に設けられた物品有無センサ２３０を用いて、物品列に含まれる物品の陳列数情報を取得する。陳列認識部２１３は、物品識別部２１１からの陳列棚２０１の最前列の物品配列と、陳列数取得部２１２からの陳列数情報とを紐付けて、陳列棚２０１における各物品の陳列数を認識する。

表示部２１４は、識別した種類の物品の画像に重畳して、または物品の画像に並べて、取得した各物品の陳列数情報を表示する。これにより、陳列棚２０１の在庫管理が可能となり、店員は、陳列数量が少ない物品が何でどこに補充すべきかを非常に容易に把握することができる。

（システム構成）
図２Ｂは、情報処理装置２１０を含む物品管理システム２００の構成を示すブロック図である。

陳列認識部２１３は、各物品の陳列棚２０１の陳列数を認識するため、物品識別部２１１からの陳列棚２０１の最前列の物品配列と、陳列数取得部２１２からの陳列数情報とを紐付ける。物品識別部２１１からの各物品の種類情報と、陳列数取得部２１２からの陳列数情報とを紐付けることで、各物品の陳列棚における陳列数を確定できる。

図２Ｂに示された、画像内の物品有無センサ２３０の位置情報２１５は、物品識別部２１１からの各物品識別情報と陳列数取得部２１２からの陳列数情報とを紐付ける情報である。本実施形態においては、情報処理装置２１０が、物品有無センサ２３０の位置情報２１５をあらかじめ有する場合を説明する。

（動作手順）
図３Ａは、情報処理装置２１０を含む物品管理システム２００の動作手順を示すシーケンス図である。

撮像部２２０は、ステップＳ３０１において、陳列棚の前面画像を取得して、ステップＳ３０３において、前面画像を情報処理装置２１０に送信する。一方、検出センサ群からなる物品有無センサ２３０は、ステップＳ３０５において、各センサ上の物品有無を検出して、ステップＳ３０７において、物品有無情報を情報処理装置２１０に送信する。

物品識別部２１１は、ステップＳ３０９において、陳列棚の前面画像に基づく個々の物品識別を行なう。

次に、陳列認識部２１３は、ステップＳ３１１において、センサシートの画像中の位置を特定する。ここで、センサシートとは、少なくとも１つのセンサ列を有し、各列に複数の奥行数の物品有無センサが配列されたシートである。センサシートに関しては、センサシートＩＤと絶対位置（どの棚のどの段のどの位置に配置されているか）との関連性があらかじめテーブルに保存されている。このため、撮像位置さえ判明していれば、画像内のセンサシートの位置を導くことができる。

そして、陳列認識部２１３は、ステップＳ３１３において、識別された物品の位置と奥行き方向の個数を紐付ける。これにより、陳列棚上の各物品の陳列数が計数される。情報処理装置２１０は、ステップＳ３１５において、陳列棚上の各物品の陳列数に基づく在庫管理処理を行なう。

（動作タイミング）
図３Ｂは、情報処理装置２１０の動作タイミング３１０を示すタイミング図である。

撮像部２２０で撮影された陳列棚前面の画像から陳列されている各物品を識別する物品識別処理３１１は、例えば約１０秒で実現される。一方、物品有無センサ２３０からの物品有無情報を収集して整理する物品有無処理３１２は、例えば約１秒で実現される。ここでは物品識別処理３１１と物品有無処理３１２とを関連付けずに、それぞれ独立したタイミングで行なう。そして陳列棚上の各物品の配列および陳列数を特定する物品陳列数決定処理３１３は、物品有無処理３１２の終了に続けて行なう。

図３Ｃは、情報処理装置２１０の動作タイミングの他の例３２０を示すタイミング図である。図３Ｃは、例えば約１０秒の処理時間を必要とする物品識別処理３１１の完了のタイミングに合わせて、各物品有無処理３２２が終了するように調整する。そして、物品識別処理３１１による物品識別完了と、物品有無処理３２２による物品有無検出完了とを受けて、物品陳列数決定処理３２３を行なう。かかる動作タイミング３２０によれば、物品有無処理３２２の回数を物品識別処理３１１の回数に削減し、かつ、物品陳列数決定処理３２３を効果的に行なうことができる。

図３Ｄは、情報処理装置２１０の動作タイミングのさらに他の例３３０を示すタイミング図である。この例では、物品有無処理３１２による物品有無情報に変化があった場合（３３５）に、物品識別処理３３１を開始する。そして、物品識別処理３３１による物品識別完了を受けて、陳列数算出処理３３３を行なう。この場合、物品有無処理３１２により物品数変化があった（顧客が取りだしたか、店員が補充したか）タイミングで物品識別処理３３１をするので、物品識別処理３３１の回数を削減し、陳列数算出処理３３３を効果的に行なうことができる。

なお、陳列棚の前面画像から物品の変化を認識した場合に、物品有無処理を開始するようにタイミングを制御してもよい。

《情報処理装置の機能構成》
図４は、情報処理装置２１０の機能構成を示すブロック図である。なお、図２Ａおよび図２Ｂと同様の構成要素には同じ参照番号を付す。

情報処理装置２１０は、ＷＡＮ（Wide Area Network）あるいはＬＡＮ（Local Area Network）を介して通信する通信制御部４０１を有する。画像受信部４０２は、通信制御部４０１を介して、撮像部２２０が撮影した陳列棚前面の画像を受信する。物品識別部２１１は、局所特徴量データベース４０３に格納されている物品画像から生成された局所特徴量と、陳列棚前面の画像から生成された局所特徴量とを照合して、陳列棚前面の画像内に含まれる物品の種類を識別する。一方、物品有無情報受信部４０５は、通信制御部４０１を介して、物品有無センサ２３０から物品有無情報を受信する。

物品配列生成部４０７は、センサデータベース４０６に格納されている陳列棚内の物品有無センサ２３０の配置情報を参照して、物品有無情報から陳列棚の物品配列を示す物品有無配列テーブルを生成する。陳列認識部２１３は、物品識別部２１１が識別した物品識別情報と、物品配列生成部４０７が生成した物品有無情報とを紐付けて、陳列棚の棚割を確定すると共に、陳列棚上の物品種類ごとの陳列数を算出する。陳列数は、同じ物品識別情報を有する物品列に紐付いた物品有数を積算することで算出される。

店頭在庫管理部４１０は陳列認識部２１３が導いた陳列数に基づいて、店の在庫情報を保持する在庫管理データベース４０９を参照し、陳列棚のように店頭に陳列する物品の在庫管理処理を行なう。在庫管理の結果は、表示部２１４に表示されたり、表示情報送信部４１１から通信制御部４０１を介して外部に通知されたりする。また、操作部から、あるいは通信制御部４０１を介して操作情報受信部４１２で受信した操作指示に従って各機能部が動作する。

（局所特徴量データベース）
図５Ａは、局所特徴量データベース４０３の構成を示す図である。局所特徴量データベース４０３は、各物品のサンプル画像からあらかじめ生成された局所特徴量を格納して、入力画像から生成された局所特徴量と比較して物品を識別するために使用される。局所特徴量データベース４０３は、物品ＩＤ５１１に対応付けて、物品名／種類５１２と、物品から生成された局所特徴量群５１３と各種類の物品のサンプル画像データ（正面画像データ）５１４を格納する。つまり、局所特徴量データベース４０３の一部は、予め用意した画像データベースとして機能する。

（センサデータベース）
図５Ｂは、センサデータベース４０６ａの構成を示す図である。センサデータベース４０６ａは、センサデータベース４０６の一部であり、陳列棚に配置されたセンサシートの陳列棚内の位置を格納して、陳列棚の最前列の物品配列と、物品有無センサからの物品有無情報とを紐付けるために使用される。なお、センサデータベース４０６ａは、物品有無センサが陳列棚上の位置に対応付く情報であれば、構成は図５Ｂに限定されない。

センサデータベース４０６ａは、陳列棚の棚ＩＤ５２１に対応つけて、棚位置５２２と複数の段５２３とを記憶する。各段５２３に対応付けて、総列数５２４と物品総数５２５とその段に配置された複数のセンサシートのセンサシートＩＤ５２６とを記憶する。各センサシートＩＤ５２６に対応付けてセンサシート構成５２７を記憶する。センサシート構成５２７は、センサシート上にあるセンサの列数、列幅、奥行数、奥行幅、物品数を含む。

（物品種類配列テーブル）
図５Ｃは、物品種類配列テーブル５３０の構成を示す図である。物品種類配列テーブル５３０は、物品識別部２１１が陳列棚の前面画像から識別した物品を記憶するテーブルである。

物品種類配列テーブル５３０は、棚ＩＤ５３１に対応つけて、棚位置５３２と複数の段５３３とを記憶する。各段５３３に対応付けて、識別された物品ＩＤ５３４と物品名／種類５３５と物品画像５３６とを記憶する。なお、物品画像５３６は、局所特徴量であってもよい。

（物品有無配列テーブル）
図５Ｄは、物品有無配列テーブル５４０の構成を示す図である。物品有無配列テーブル５４０は、物品配列生成部４０７が物品有無センサから受信した物品有無結果を記憶するテーブルである。

物品有無配列テーブル５４０は、センサシートＩＤ５４１に対応つけて、そのセンサシートが有する列５４２と、その列の陳列数５４３と、物品配置５４４とを記憶する。なお、物品配置５４４には、その列の全奥行数と物品有無を記憶する。図５Ｄにおいては、物品有りが●で示され、物品無しが○で示されている。このように記憶すれば、物品有りの間に物品無しが挟まったようなエラーを検出できる。

（物品管理テーブル）
図５Ｅは物品管理テーブル５５０の構成を示す図である。物品管理テーブル５５０は、陳列認識部２１３が物品種類配列テーブル５３０と物品有無配列テーブル５４０とを紐付けてから算出した、物品陳列位置と陳列数とを記憶するテーブルである。なお、図５Ｅにおいて、図５Ｃおよび図５Ｄと同様の項目には同じ参照番号を付す。

物品管理テーブル５５０は、棚ＩＤ５３１に対応つけて、棚位置５３２と複数の段５３３とを記憶する。各段５３３に対応付けて、その段の左から右の順にフェイスＩＤ５５１を記憶する。そして、各フェイスＩＤ５５１に対応付けて、そのフェイス（物品列）の物品ＩＤ５３４、物品名／種類５３５、物品画像５３６、陳列数５４３、物品配置５４４を記憶する。

各フェイスの陳列数５４３から、補充要のフラグ５５２を記憶する。物品管理テーブル５５０においては、"○"が補充要、"△"が補充注意、"×"が補充不要を表わしている。また、各列の物品配置５４４から、警告要のフラグ５５３を記憶する。物品管理テーブル５５０においては、"○"が警告要、"×"が警告不要を表わしている。なお、物品管理テーブル５５０においては、図５Ｄのように５列目には物品有りの間に物品無しが挟まったエラーが判別されている。

《物品識別部》
（構成例）
図６Ａは、物品識別部２１１ａの構成例を示すブロック図である。物品識別部２１１ａは、図４の物品識別部２１１の一例であり、撮影画像の局所特徴量生成部６０１と、領域分割部６０２と、照合部６０３とを含む。

撮影画像の局所特徴量生成部６０１は、陳列棚前面の撮影画像から多数の特徴点を検出すると共に、多数の特徴点の座標位置で構成される撮影画像の座標位置情報群を領域分割部６０２へと出力する。また、撮影画像の局所特徴量生成部６０１は、各特徴点の座標位置から、特徴点を含む周辺領域（近傍領域）の局所特徴量で構成される撮影画像の局所特徴量群を照合部６０３へと出力する。

領域分割部６０２は、撮影画像の局所特徴量生成部６０１が出力した撮影画像の座標位置情報群を用いて撮影画像の特徴点をクラスタリングする。そして、領域分割部６０２は、１以上の特徴点を含む複数のクラスタに係る複数のクラスタ情報で構成されるクラスタ情報群を、照合部６０３へと出力する。

照合部６０３は、撮影画像の局所特徴量生成部６０１が出力した撮影画像の局所特徴量群と、局所特徴量データベース４０３に格納された物品画像の局所特徴量群と、領域分割部６０２が出力したクラスタ情報群とを用いる。そして、照合部６０３は、クラスタ単位で、撮影画像の局所特徴量群と物品画像の局所特徴量群とを照合することにより、各特徴点に対して同一性または類似性を判定する。この結果、照合部６０３は、撮影画像と物品画像との間で同一または類似の被写体を識別すると共に、その識別結果（照合結果）として物品ＩＤを出力する。さらに照合部６０３は、同一または類似と判定した特徴点に関して、そのクラスタに属する特徴点の座標位置情報に基づき、撮影画像の同一または類似と判定された領域の情報を出力するようにしてもよい。

図６Ｂは図６Ａの物品識別部２１１ａにおける領域分割部６０２の構成を示すブロック図である。領域分割部６０２は、類似度算出部６１１および特徴点クラスタリング部６１２を含む。

類似度算出部６１１は、撮影画像の局所特徴量生成部６０１が出力した撮影画像の局所特徴量群内の任意の２つの局所特徴量の類似度を算出すると共に、算出した多数の類似度を、類似度情報群として特徴点クラスタリング部６１２へと出力する。局所特徴量の類似度の算出法には、例えば、任意の２つの局所特徴量間の特徴量間距離（例えばユークリッド距離）を算出すると共に、距離に基づいて類似度を算出すること等が考えられる。この時、例えば、距離値が小さい場合は類似度を大きく、距離値が大きい場合には類似度を小さくすればよい。また、特徴量間距離を所定の値で正規化すると共に、正規化した値から類似度を算出する方法を用いることも考えられる。

特徴点クラスタリング部６１２は、撮影画像の局所特徴量生成部６０１が出力した撮影画像の座標位置情報群と、類似度算出部６１１が出力した類似度情報群とを用いて、撮影画像の特徴点をクラスタリングする。そして、特徴点クラスタリング部６１２は、クラスタリングの結果を示すクラスタ情報群を照合部６０３へと出力する。ここで、特徴点クラスタリング部６１２は、例えば類似度が大きい（距離値が小さい）局所特徴量が異なるクラスタに分類されるようにクラスタリングすればよい。特徴点のクラスタリングには、例えば、撮影画像の任意の特徴点と各クラスタ重心との距離を算出すると共に、算出した距離が最も小さくなるクラスタに当該特徴点を分類する方法を用いることが考えられる。この際、任意のクラスタ内に閾値以上の類似度の特徴点が含まれる場合には、例えば、クラスタ重心までの距離が長い特徴点を、当該クラスタから除外して別のクラスタに分類すればよい。ここで、各特徴点とクラスタ重心との距離には、例えば、ユークリッド距離を用いてもよいし、マハラノビス距離を用いてもよいし、市街地距離（マンハッタン距離）を用いてもよい。

また、グラフカットを用いてクラスタリングしてもよい。例えば、特徴点をノードとして、特徴点間の距離と、その局所特徴量間の類似度とに基づいてエッジ値を算出して得られたグラフに対してグラフカットを提供してもよい。例えば、特徴点間の距離が小さく、局所特徴量間の類似度が大きいほど、２つのノード間のエッジ値を大きくしてもよい。グラフカットには、例えば、ノーマライズドカットを用いてもよいし、マルコフ・クラスタ・アルゴリズムを用いてもよい。

（物品識別部の他の構成例）
図６Ｃは、物品識別部２１１ｂの他の構成例を示すブロック図である。物品識別部２１１ｂは、撮影画像の局所特徴量生成部６０１と、領域分割部６２２と、照合部６０３とを含む。ここで、撮影画像の局所特徴量生成部６０１と照合部６０３の動作は図６Ａと同様であるので、ここでは説明を省略する。以下、領域分割部６２２の動作を中心に説明する。

領域分割部６２２は、撮影画像の局所特徴量生成部６０１が出力した撮影画像の局所特徴量群および撮影画像の座標位置情報群と、局所特徴量データベース４０３が出力した物品画像の局所特徴量群とを用いる。そして、領域分割部６２２は、撮影画像の特徴点をクラスタリングすると共に、クラスタリングの結果に係るクラスタ情報群を照合部６０３へと出力する。

図６Ｄは、物品識別部２１１ｂにおける領域分割部６２２の構成を示すブロック図である。領域分割部６２２は、対応点探索部６３１と、特徴点クラスタリング部６３２とを含む。

対応点探索部６３１は、撮影画像の局所特徴量生成部６０１が出力した撮影画像の局所特徴量群と、局所特徴量データベース４０３が出力した物品画像の局所特徴量群とを用いる。そして、対応点探索部６３１は、撮影画像の局所特徴量群に含まれる任意の局所特徴量が、物品画像の局所特徴量群のどの局所特徴量と一致するか、すなわち、撮影画像の任意の特徴点が物品画像のどの特徴点と対応するかに関する情報である対応情報を生成する。さらに、対応点探索部６３１は、生成した多数の対応情報を、対応情報群として特徴点クラスタリング部６３２へと出力する。

対応情報の生成には、例えば、図６Ａの照合部６０３と同様の手法を用いること等が考えられる。またここで、対応関係は、物品画像の或る特徴点が、撮影画像の複数の特徴点に対応していてもよい。さらに、撮影画像の特徴点が、物品画像の特徴点と１対１で対応していてもよい。

特徴点クラスタリング部６３２は、撮影画像の局所特徴量生成部６０１が出力した座標位置情報群と、対応点探索部６３１が出力した対応情報群とを用いる。そして、特徴点クラスタリング部６３２は、撮影画像の特徴点のうち、物品画像の特徴点と対応関係がある特徴点を選択した上で、選択した撮影画像の特徴点をそれらの座標位置に基づいてクラスタリングする。さらに、特徴点クラスタリング部６３２は、クラスタリングに係る結果を示すクラスタ情報群を、照合部６０３へと出力する。特徴点のクラスタリングには、さらに既知の手法を用いること等が考えられる。

また、特徴点クラスタリング部６３２は、物品画像の特徴点が、撮影画像の複数の特徴点に対応している場合に、撮影画像の特徴点が異なるクラスタに分類されるようにクラスタリングしてもよい。このために、例えば特徴点クラスタリング部６３２は、グラフカットによるクラスタリングを用いることなどが考えられる。この場合、物品画像の特徴点が、撮影画像の複数の特徴点に対応している場合に、それらの撮影画像の複数の特徴点をノードとして、それらのノード間のエッジ値が小さくなるようにグラフを生成する。また、その場合、エッジ値が小さいノード間を分割するようにグラフカットを適用する。グラフカットには、例えば、ノーマライズドカットやマルコフ・クラスタ・アルゴリズムを用いてもよい。

また、特徴点クラスタリング部６３２は、第１の画像の任意の２つの特徴点間の距離が閾値を下回り、それらの特徴点に対応する物品画像の特徴点間距離が別の閾値を上回る場合に、撮影画像の２つの特徴点が異なるクラスタに分類されるようにしてもよい。このために、上記と同様にグラフカットによるクラスタリングを用いることも考えられる。

また、特徴点クラスタリング部６３２は、例えば、任意のサイズの分析領域ごとに当該領域に含まれる特徴点を計数し、計数値が所定の閾値以上であれば、当該領域に含まれる特徴点を同一のクラスタに分類するという方法を用いてもよい。このように特徴点をクラスタリングすることで、より高速に処理できるという効果がある。

（物品識別部のさらに他の構成例）
図６Ｅは、物品識別部２１１ｃのさらに他の構成を示すブロック図である。物品識別部２１１ｃは、撮影画像の局所特徴量生成部６０１と、領域分割部６４２と、照合部６０３とを含む。ここで、撮影画像の局所特徴量生成部６０１と照合部６０３の動作は図６Ａおよび図６Ｃと同様であるので、説明を省略する。

領域分割部６４２は、撮影画像の局所特徴量生成部６０１が出力した撮影画像の局所特徴量群および撮影画像の座標位置情報群と、局所特徴量データベース４０３が出力した出力した物品画像の局所特徴量群および物品画像の座標位置情報群とを用いる。そして、領域分割部６４２は、撮影画像の特徴点をクラスタリングするとともに、クラスタリング結果を示すクラスタ情報群を照合部６０３へと出力する。

図６Ｆは、物品識別部２１１ｃにおける領域分割部６４２ａの構成を示すブロック図である。領域分割部６４２ａは、図６Ｅの領域分割部６４２の一例であり、対応点探索部６３１と比率算出部６５２と特徴点クラスタリング部６５３とを含む。

対応点探索部６３１は、図６Ｄと同様の動作により、対応情報群を生成するとともに、生成した対応情報群を、比率算出部６５２と特徴点クラスタリング部６５３とに出力する。

比率算出部６５２は、撮影画像の局所特徴量生成部６０１が出力した撮影画像の局所特徴量群と、局所特徴量データベース４０３が出力した物品画像の局所特徴量群と、対応点探索部６３１が出力した対応情報群とを用いる。そして、比率算出部６５２は、撮影画像の任意の２つの特徴点間の距離（以下、特徴点間距離という）と、それらの特徴点に対応する第２の画像の特徴点間距離との比率を算出する。比率算出部６５２は、さらに、算出した多数の比率を、比率情報群として特徴点クラスタリング部６５３へと出力する。ここで、特徴点間距離には、例えば、ユークリッド距離やマハラビノス距離、市街地距離を用いることが考えられる。

特徴点クラスタリング部６５３は、撮影画像の局所特徴量生成部６０１が出力した撮影画像の座標位置情報群と、対応点探索部６３１が出力した対応情報群と、比率算出部６５２が出力した比率情報群とを用いる。そして、特徴点クラスタリング部６５３は、撮影画像の特徴点をクラスタリングするとともに、その結果を示すクラスタ情報群を照合部６０３へと出力する。ここで、例えば算出された比率の差が小さい特徴点を同じクラスタに分類する（比率の差が大きい特徴点を異なるクラスタに分類する）ように、クラスタリングすることが考えられる。この時には、例えば、グラフカットを用いてクラスタリングすればよい。より具体的には、例えば、特徴点をノードとして、特徴点間の距離と、比率の差に基づいてノード間のエッジ値を大きくすることにより得られたグラフ対してグラフカットを行うことが考えられる。グラフカットには、例えば、ノーマライズドカットを用いてもよいし、マルコフ・クラスタ・アルゴリズムを用いてもよい。

特徴点クラスタリング部６５３は、座標位置情報群と、対応情報群と、比率情報群とを用いて、例えば、次のように撮影画像の特徴点をクラスタリングすることも考えられる。この場合、ある特徴点と、その周囲の複数の特徴点との比率情報群を用いて、その特徴点が任意のクラスタに所属する所属確率を算出する。この場合、この算出された所属確率と、その特徴点の座標位置情報とに基づいて、特徴点クラスタリング部６５３はクラスタリングする。例えば、物品画像の任意の特徴点に対応する撮影画像の特徴点を対応情報群に基づいて選択してもよい。また、特徴点と各クラスタ重心との間の距離を座標位置情報と所属確率とに基づいて算出してもよい。さらに、算出した距離が最も小さくなるクラスタに当該特徴点を分類する方法を用いてもよい。

図６Ｇは、物品識別部２１１ｃにおける領域分割部６４２ｂの構成を示すブロック図である。領域分割部６４２ｂは、図６Ｅの領域分割部６４２の他の例であり、対応点探索部６３１と、比率算出部６５２と、回転量算出部６６１と、特徴点クラスタリング部６６２とを含む。ここで、比率算出部６５２の動作は図６Ｆと同様であるので、説明を省略する。

対応点探索部６３１は、図６Ｄと同様の動作により対応情報群を生成するとともに、生成した対応情報群を比率算出部６５２と回転量算出部６６１と特徴点クラスタリング部６６２とに出力する。

回転量算出部６６１は、撮影画像の局所特徴量生成部６０１が出力した撮影画像の座標位置情報群と、対応点探索部６３１が出力した対応情報群と、局所特徴量データベース４０３が出力した物品画像の座標位置情報群とを用いる。そして、回転量算出部６６１は、撮影画像の２つの特徴点で構成されるベクトルの方向と物品画像の２つの特徴点で構成されるベクトルの方向とを算出する。さらに回転量算出部６６１は、算出したベクトルの方向から撮影画像の被写体の回転量を算出すると共に、算出した多数の回転量を回転量情報群として特徴点クラスタリング部６６２へと出力する。

特徴点クラスタリング部６６２は、撮影画像の局所特徴量生成部６０１が出力した撮影画像の座標位置情報群と、対応点探索部６３１が出力した対応情報群と、比率算出部６５２が出力した比率情報群と、回転量算出部６６１が出力した回転量情報群とを用いる。そして、特徴点クラスタリング部６６２は、撮影画像の特徴点をクラスタリングする。その上で特徴点クラスタリング部６６２は、クラスタリングした結果得られる各クラスタに係る情報であるクラスタ情報群を照合部６０３へと出力する。

ここで、例えば算出された比率の差と回転量の差が小さい特徴点を同じクラスタに分類する（比率の差と回転量の差とが大きい特徴点を、異なるクラスタに分類する）ようにしてもよい。例えば、グラフカットを用いてクラスタリングすることが考えられる。例えば、特徴点をノードとして、特徴点間の距離と、比率の差と回転量の差とに基づいてエッジ値を算出して得られたグラフに対してグラフカットを提供してもよい。例えば、特徴点間の距離値が小さく、比率の差と回転量の差とが小さいほど、２つのノード間のエッジ値を大きくしてもよい。ここで、グラフカットには、例えば、ノーマライズドカットや、マルコフ・クラスタ・アルゴリズムを用いることが考えられる。

図６Ｇにおいて、さらに、物品画像の基準点（例えば、被写体中心）と物品画像の各特徴点との相対座標位置を示すテーブルを有する相対座標位置データベースを設けてもよい。ここで基準点とは、あらかじめ定められた第２の画像での座標位置である。上述の通り、基準点は被写体中心であってもよいし、物品画像の左上座標位置であってもよい。以下では、基準点は被写体中心を示すものとして説明する。

特徴点クラスタリング部６６２は、撮影画像の局所特徴量生成部６０１が出力した撮影画像の座標位置情報群と、対応点探索部６３１が出力した対応情報群と、比率算出部６５２が出力した比率情報群と、を用いる。また、特徴点クラスタリング部６６２はさらに、回転量算出部６６１が出力した回転量情報群と、相対座標位置データベースに格納されている相対座標位置とを用いる。そして、特徴点クラスタリング部６６２は、撮影画像の特徴点をクラスタリングする。また、特徴点クラスタリング部６６２は、当該クラスタリングの結果を示すクラスタ情報群を照合部１０７へと出力する。

ここで、特徴点のクラスタリングには、例えば、撮影画像の特徴点のうち、物品画像の任意の特徴点に対応する特徴点を対応情報群に基づいて多数選択すると共に、選択された特徴点の座標位置に基づいて撮影画像の被写体中心点を推定する。さらに、推定した被写体中心点をそれらの座標位置に基づいてクラスタリングする手法を用いることができる。また、被写体中心点のクラスタリングには、例えば、任意のサイズの分析領域ごとに領域に含まれる被写体中心点を計数し、計数値が所定の閾値以上であれば、領域に含まれる被写体中心点を同一のクラスタに分類するという方法を用いてもよい。このように被写体中心点をクラスタリングすることで、より高速に処理できるという効果がある。

《局所特徴量生成部》
図７Ａは、局所特徴量生成部６０１の構成を示すブロック図である。局所特徴量生成部６０１は、特徴点検出部７１１、局所領域取得部７１２、サブ領域分割部７１３、サブ領域特徴ベクトル生成部７１４、および次元選定部７１５を含んで構成される。

特徴点検出部７１１は、画像データから特徴的な点（特徴点）を多数検出し、各特徴点の座標位置、スケール（大きさ）、および角度を出力する。局所領域取得部７１２は、検出された各特徴点の座標値、スケール、および角度から、特徴量抽出を行う局所領域を取得する。サブ領域分割部７１３は、局所領域をサブ領域に分割する。例えば、サブ領域分割部７１３は、局所領域を１６ブロック（４×４ブロック）に分割することも、局所領域を２５ブロック（５×５ブロック）に分割することもできる。なお、分割数は限定されない。本実施形態においては、以下、局所領域を２５ブロック（５×５ブロック）に分割する場合を代表して説明する。

サブ領域特徴ベクトル生成部７１４は、局所領域のサブ領域ごとに特徴ベクトルを生成する。サブ領域の特徴ベクトルとしては、例えば、勾配方向ヒストグラムを用いることができる。次元選定部７１５は、サブ領域の位置関係に基づいて、近接するサブ領域の特徴ベクトル間の相関が低くなるように、局所特徴量として出力する次元を選定する（例えば、次元を削除あるいは間引きする）。また、次元選定部７１５は、単に次元を選定するだけではなく、選定の優先順位を決定することができる。すなわち、次元選定部７１５は、例えば、隣接するサブ領域間では同一の勾配方向の次元が選定されないように、優先順位をつけて次元を選定することができる。そして、次元選定部７１５は、選定した次元から構成される特徴ベクトルを、局所特徴量として出力する。なお、次元選定部７１５は、優先順位に基づいて次元を並び替えた状態で、局所特徴量を出力することができる。

《局所特徴量生成部の処理》
図７Ｂ〜図７Ｆは、局所特徴量生成部６０１の処理を示す図である。

まず、図７Ｂは、局所特徴量生成部６０１における、特徴点検出／局所領域取得／サブ領域分割／特徴ベクトル生成の一連の処理を示す図である。かかる一連の処理については、米国特許第６７１１２９３号明細書や、David G. Lowe著、「Distinctive image features from scale-invariant key points」、（米国）、International Journal of Computer Vision、60(2)、2004年、p. 91-110を参照されたい。

（特徴点検出部）
図７Ｂの画像７２１は、図７Ａの特徴点検出部７１１において、映像中の画像から特徴点を検出した状態を示す図である。以下、１つの特徴点データ７２１ａを代表させて局所特徴量の生成を説明する。特徴点データ７２１ａの矢印の起点が特徴点の座標位置を示し、矢印の長さがスケール（大きさ）を示し、矢印の方向が角度を示す。ここで、スケール（大きさ）や方向は、対象映像にしたがって輝度や彩度、色相などを選択できる。また、図７Ｂの例では、６０度間隔で６方向の場合を説明するが、これに限定されない。

（局所領域取得部）
図７Ａの局所領域取得部７１２は、例えば、特徴点データ７２１ａの起点を中心にガウス窓７２２ａを生成し、このガウス窓７２２ａをほぼ含む局所領域７２２を生成する。図７Ｂの例では、局所領域取得部７１２は正方形の局所領域７２２を生成したが、局所領域は円形であっても他の形状であってもよい。この局所領域を各特徴点について取得する。局所領域が円形であれば、撮影方向に対してロバスト性が向上するという効果がある。

（サブ領域分割部）
次に、サブ領域分割部７１３において、上記特徴点データ７２１ａの局所領域７２２に含まれる各画素のスケールおよび角度をサブ領域７２３に分割した状態が示されている。なお、図７Ｂでは４×４＝１６画素をサブ領域とする５×５＝２５のサブ領域に分割した例を示す。しかし、サブ領域は、４×４＝１６や他の形状、分割数であってもよい。

（サブ領域特徴ベクトル生成部）
サブ領域特徴ベクトル生成部７１４は、サブ領域内の各画素のスケールを６方向の角度単位にヒストグラムを生成して量子化し、サブ領域の特徴ベクトル７２４とする。すなわち、特徴点検出部７１１が出力する角度に対して正規化された方向である。そして、サブ領域特徴ベクトル生成部７１４は、サブ領域ごとに量子化された６方向の頻度を集計し、ヒストグラムを生成する。この場合、サブ領域特徴ベクトル生成部７１４は、各特徴点に対して生成される２５サブ領域ブロック×６方向＝１５０次元のヒストグラムにより構成される特徴ベクトルを出力する。また、勾配方向を６方向に量子化するだけに限らず、４方向、８方向、１０方向など任意の量子化数に量子化してよい。勾配方向をＤ方向に量子化する場合、量子化前の勾配方向をＧ（０〜２πラジアン）とすると、勾配方向の量子化値Ｑq（q＝０，...，Ｄ−１）は、例えば式（１）や式（２）などで求めることができるが、これに限られない。

Ｑq＝floor(Ｇ×Ｄ／２π） ...（１）
Ｑq＝round(Ｇ×Ｄ／２π）modＤ ...（２）
ここで、floor()は小数点以下を切り捨てる関数、round()は四捨五入を行う関数、modは剰余を求める演算である。また、サブ領域特徴ベクトル生成部７１４は勾配ヒストグラムを生成するときに、単純な頻度を集計するのではなく、勾配の大きさを加算して集計してもよい。また、サブ領域特徴ベクトル生成部７１４は勾配ヒストグラムを集計するときに、画素が属するサブ領域だけではなく、サブ領域間の距離に応じて近接するサブ領域（隣接するブロックなど）にも重み値を加算するようにしてもよい。また、サブ領域特徴ベクトル生成部７１４は量子化された勾配方向の前後の勾配方向にも重み値を加算するようにしてもよい。なお、サブ領域の特徴ベクトルは勾配方向ヒストグラムに限られず、色情報など、複数の次元（要素）を有するものであればよい。本実施形態においては、サブ領域の特徴ベクトルとして、勾配方向ヒストグラムを用いることとして説明する。

（次元選定部）
次に、図７Ｃ〜図７Ｆにしたがって、局所特徴量生成部６０１における、次元選定部７１５に処理を説明する。

次元選定部７１５は、サブ領域の位置関係に基づいて、近接するサブ領域の特徴ベクトル間の相関が低くなるように、局所特徴量として出力する次元（要素）を選定する（間引きする）。より具体的には、次元選定部７１５は、例えば、隣接するサブ領域間では少なくとも１つの勾配方向が異なるように次元を選定する。なお、本実施形態では、次元選定部７１５は近接するサブ領域として主に隣接するサブ領域を用いることとするが、近接するサブ領域は隣接するサブ領域に限られず、例えば、対象のサブ領域から所定距離内にあるサブ領域を近接するサブ領域とすることもできる。

図７Ｃは、局所領域を５×５ブロックのサブ領域に分割し、勾配方向を６方向７３１ａに量子化して生成された１５０次元の勾配ヒストグラムの特徴ベクトル７３１から次元を選定する場合の一例を示す図である。図７Ｃの例では、１５０次元（５×５＝２５サブ領域ブロック×６方向）の特徴ベクトルから次元の選定が行われている。

（局所領域の次元選定）
図７Ｃは、局所特徴量生成部６０１における、特徴ベクトルの次元数の選定処理の様子を示す図である。

図７Ｃに示すように、次元選定部７１５は、１５０次元の勾配ヒストグラムの特徴ベクトル７３１から半分の７５次元の勾配ヒストグラムの特徴ベクトル７３２を選定する。この場合、隣接する左右、上下のサブ領域ブロックでは、同一の勾配方向の次元が選定されないように、次元を選定することができる。

この例では、勾配方向ヒストグラムにおける量子化された勾配方向をｑ（ｑ＝０，１，２，３，４，５）とした場合に、ｑ＝０，２，４の要素を選定するブロックと、ｑ＝１，３，５の要素を選定するサブ領域ブロックとが交互に並んでいる。そして、図７Ｃの例では、隣接するサブ領域ブロックで選定された勾配方向を合わせると、全６方向となっている。

また、次元選定部７１５は、７５次元の勾配ヒストグラムの特徴ベクトル７３２から５０次元の勾配ヒストグラムの特徴ベクトル７３３を選定する。この場合、斜め４５度に位置するサブ領域ブロック間で、１つの方向のみが同一になる（残り１つの方向は異なる）ように次元を選定することができる。

また、次元選定部７１５は、５０次元の勾配ヒストグラムの特徴ベクトル７３３から２５次元の勾配ヒストグラムの特徴ベクトル７３４を選定する場合は、斜め４５度に位置するサブ領域ブロック間で、選定される勾配方向が一致しないように次元を選定する。図７Ｃに示す例では、次元選定部７１５は、１次元から２５次元までは各サブ領域から１つの勾配方向を選定し、２６次元から５０次元までは２つの勾配方向を選定し、５１次元から７５次元までは３つの勾配方向を選定している。

このように、隣接するサブ領域ブロック間で勾配方向が重ならないように、また全勾配方向が均等に選定されることが望ましい。また同時に、図７Ｃに示す例のように、局所領域の全体から均等に次元が選定されることが望ましい。なお、図７Ｃに示した次元選定方法は一例であり、この選定方法に限らない。

（局所領域の優先順位）
図７Ｄは、局所特徴量生成部６０１における、サブ領域からの特徴ベクトルの選定順位の一例を示す図である。

次元選定部７１５は、単に次元を選定するだけではなく、特徴点の特徴に寄与する次元から順に選定するように、選定の優先順位を決定することができる。すなわち、次元選定部７１５は、例えば、隣接するサブ領域ブロック間では同一の勾配方向の次元が選定されないように、優先順位をつけて次元を選定することができる。そして、次元選定部７１５は、選定した次元から構成される特徴ベクトルを、局所特徴量として出力する。なお、次元選定部７１５は、優先順位に基づいて次元を並び替えた状態で、局所特徴量を出力することができる。

すなわち、次元選定部７１５は、１〜２５次元、２６次元〜５０次元、５１次元〜７５次元の間は、例えば図７Ｄのマトリクス７４１に示すようなサブ領域ブロックの順番で次元を追加するように選定していってもよい。図７Ｄのマトリクス７４１に示す優先順位を用いる場合、次元選定部７１５は、中心に近いサブ領域ブロックの優先順位を高くして、勾配方向を選定していくことができる。

図７Ｅのマトリクス７５１は、図７Ｄの選定順位にしたがって、１５０次元の特徴ベクトルの要素の番号の一例を示す図である。この例では、５×５＝２５ブロックをラスタスキャン順に番号ｐ（ｐ＝０，１，...，２５）で表し、量子化された勾配方向をｑ（ｑ＝０，１，２，３，４，５）とした場合に、特徴ベクトルの要素の番号を６×ｐ＋ｑとしている。

図７Ｆのマトリクス７６１は、図７Ｅの選定順位による１５０次元の順位が、２５次元単位に階層化されていることを示す図である。すなわち、図７Ｆのマトリクス７６１は、図７Ｄのマトリクス７４１に示した優先順位にしたがって図７Ｅに示した要素を選定していくことにより得られる局所特徴量の構成例を示す図である。次元選定部７１５は、図７Ｆに示す順序で次元要素を出力することができる。具体的には、次元選定部７１５は、例えば１５０次元の局所特徴量を出力する場合、図７Ｆに示す順序で全１５０次元の要素を出力することができる。また、次元選定部７１５は、例えば２５次元の局所特徴量を出力する場合、図７Ｆに示す１行目（７６番目、４５番目、８３番目、...、１２０番目）の要素７７１を図７Ｆに示す順（左から右）に出力することができる。また、次元選定部７１５は、例えば５０次元の局所特徴量を出力する場合、図７Ｆに示す１行目に加えて、図７Ｆに示す２行目の要素７７２を図７Ｆに示す順（左から右）に出力することができる。

ところで、図７Ｆに示す例では、局所特徴量は階層的な構造配列となっている。すなわち、例えば、２５次元の局所特徴量と１５０次元の局所特徴量とにおいて、先頭の２５次元分の局所特徴量における要素７７１〜７７６の並びは同一となっている。このように、次元選定部７１５は、階層的（プログレッシブ）に次元を選定することにより、アプリケーションや通信容量、端末スペックなどに応じて、任意の次元数の局所特徴量、すなわち任意のサイズの局所特徴量を抽出して出力することができる。また、次元選定部７１５が、階層的に次元を選定し、優先順位に基づいて次元を並び替えて出力することにより、異なる次元数の局所特徴量を用いて、画像の照合を行うことができる。例えば、７５次元の局所特徴量と５０次元の局所特徴量を用いて画像の照合が行われる場合、先頭の５０次元だけを用いることにより、局所特徴量間の距離計算を行うことができる。

なお、図７Ｄのマトリクス７４１から図７Ｆに示す優先順位は一例であり、次元を選定する際の順序はこれに限られない。例えば、ブロックの順番に関しては、図７Ｄのマトリクス７４１の例の他に、図７Ｄのマトリクス７４２や図７Ｄのマトリクス７４３に示すような順番でもよい。また、例えば、全てのサブ領域からまんべんなく次元が選定されるように優先順位が定められることとしてもよい。また、局所領域の中央付近が重要として、中央付近のサブ領域の選定頻度が高くなるように優先順位が定められることとしてもよい。また、次元の選定順序を示す情報は、例えば、プログラムにおいて規定されていてもよいし、プログラムの実行時に参照されるテーブル等（選定順序記憶部）に記憶されていてもよい。

また、次元選定部７１５は、サブ領域ブロックを１つ飛びに選択して、次元の選定を行ってもよい。すなわち、あるサブ領域では６次元が選定され、当該サブ領域に近接する他のサブ領域では０次元が選定される。このような場合においても、近接するサブ領域間の相関が低くなるようにサブ領域ごとに次元が選定されていると言うことができる。

また、局所領域やサブ領域の形状は、正方形に限られず、任意の形状とすることができる。例えば、局所領域取得部７１２が、円状の局所領域を取得することとしてもよい。この場合、サブ領域分割部７１３は、円状の局所領域を例えば複数の局所領域を有する同心円に９分割や１７分割のサブ領域に分割することができる。この場合においても、次元選定部７１５は、各サブ領域において、次元を選定することができる。

以上、図７Ｂ〜図７Ｆに示したように、本実施形態の局所特徴量生成部６０１によれば、局所特徴量の情報量を維持しながら生成された特徴ベクトルの次元が階層的に選定される。この処理により、認識精度を維持しながらリアルタイムでの景観要素認識と認識結果の表示が可能となる。なお、局所特徴量生成部６０１の構成および処理は本例に限定されない。認識精度を維持しながらリアルタイムでの景観要素認識と認識結果の表示が可能となる他の処理が当然に適用できる。

《物品配列生成部》
図８Ａは、物品配列生成部４０７の構成を示すブロック図である。

物品配列生成部４０７は、ＲＦＩＤ（Radio Frequency IDentification：電波による個体識別子）取得部８０１と、センサシート判定部８０２と、物品位置判定部８０３と、物品配列決定８０４と、を有する。

ＲＦＩＤ取得部８０１は、物品有無情報受信部４０５が受信した物品有りを示したＲＦＩＤタグのＩＤを取得する。センサシート判定部８０２は、物品有無検出用のセンサシートから検出したセンサシートを識別するためのセンサシートＩＤに基づいて、陳列棚上のセンサシート位置を特定する。物品位置判定部８０３は、センサシートの各物品有無判定タグから検出した物品位置を識別するための物品位置ＩＤ（センサ識別情報）に基づいて、陳列棚上の物品位置を特定する。

物品配列決定８０４は、センサシート判定部８０２からの陳列棚上のセンサシートの配置、および、物品位置判定部８０３からの陳列棚上の物品位置に基づいて、奥行数も含めた陳列棚上の物品配列を決定する。なお、物品配列決定８０４から出力される物品配列は、物品有無の配列であって、各列の物品が何であるかは分かっていない。

（動作手順）
図８Ｂは、物品有無データ取得の動作手順を示すシーケンス図である。なお、本実施形態においては、ＲＦＩＤリーダが各物品配置位置に置かれたＲＦＩＤタグに対してＩＤを含むタグ情報読出信号を送信し、ＲＦＩＤタグが閾値より強い信号強度で応答した場合を物品無し、閾値より弱い信号強度で応答した場合を物品有りとする。

情報処理装置２１０は、ステップＳ８０１において、ＲＦＩＤ応答信号の強度に基づいて物品有無を判定するための閾値を設定する。この閾値設定は、初期設定のみでなく物品有無検出のエラー発生などの履歴に基づいて行なってもよい。

ＲＦＩＤリーダは、ステップＳ８０３において、センサシートを識別するＲＦＩＤタグへのセンサシートＩＤを含むコマンドを送信する。センサシートＩＤが合致したセンサシート用のＲＦＩＤタグが、ステップＳ８０５において、応答信号を返信する。ＲＦＩＤリーダは、センサシート用のＲＦＩＤタグからの返信を受けて、ステップＳ８０７において、ＲＦＩＤリーダが対象とする陳列棚の段にセンサシートが配置されていることを、情報処理装置２１０に通知する。情報処理装置２１０は、センサシートＩＤからそのシート上の物品検出タグの物品位置ＩＤを通知する。なお、ＲＦＩＤリーダがシート上の物品検出タグの物品位置ＩＤを見付けてもよい。なお、かかる処理はＲＦＩＤタグの操作処理を短縮するためであり、全ビットにわたって物品位置ＩＤを走査してもよい。

ＲＦＩＤリーダは、ステップＳ８１１において、シート上の物品検出タグに対してセンサＩＤを含むコマンドを送信する。センサＩＤが合致した物品有無タグが、ステップＳ８１３において、応答信号を返信する。ＲＦＩＤリーダは、物品有無タグからの返信を応答受信して、ステップＳ８１５において、応答信号の信号強度を閾値と比較して、閾値より弱い場合は物品有り、閾値より強い場合は物品無し、と判定して、物品有りの物品位置ＩＤを情報処理装置２１０に通知する。

情報処理装置２１０は、ステップＳ８１７において、物品有りの物品位置ＩＤを受信して、センサデータベース４０６を参照して、図５Ｄに示すような、陳列棚上の物品配列を決定する。

（通信手順）
図８Ｃは、物品有無データ取得時の通信手順を示すシーケンス図である。

ＲＦＩＤリーダから情報処理装置２１０へ、陳列棚上のセンサシートのＩＤを送信するメッセージ８１０は、ヘッダ８１１、送信先８１２、送信元８１３、ＲＦＩＤリーダに応答したセンサシートＩＤ列８１４、誤り訂正であるＣＲＣ８１５、を含む。情報処理装置２１０からＲＦＩＤリーダへ、センサシート上の物品有無検出の物品位置ＩＤを送信するメッセージ８２０は、ヘッダ８２１、送信先８２２、送信元８２３、物品有無検出のＲＦＩＤ列８２４、誤り訂正であるＣＲＣ８２５、を含む。ＲＦＩＤリーダから情報処理装置２１０へ、物品有りの物品位置ＩＤを送信するメッセージ８３０は、ヘッダ８３１、送信先８３２、送信元８３３、ＲＦＩＤリーダへの応答信号強度が閾値より弱かったＲＦＩＤ列８３４、誤り訂正であるＣＲＣ８３５、を含む。

（センサデータベース）
図８Ｄは、センサ配置記憶手段としてのセンサデータベース４０６ｂの構成を示す図である。センサデータベース４０６ｂは、センサデータベース４０６の一部分を表わし、センサシートがどの陳列棚のどの段の何処に配置されているかを格納する。センサデータベース４０６ｂは、センサシートＩＤ８４１に対応付けて、そのセンサシートが有する物品配置位置の各々について、その陳列棚上の確定位置を記憶する。すなわち、各物品位置ＩＤ８４２に対応して、陳列棚８４３、段８４４、列８４５、奥行８４６を格納する。この物品位置と陳列棚の前面画像からの物品を紐付けることで、物品種類ごとの陳列数を算出できる。

図８Ｅは、センサデータベース４０６ｃの構成を示す図である。センサデータベース４０６ｃは、図４のセンサデータベース４０６の一部分の他の例を表わし、センサシートＩＤを有することなく、物品位置ＩＤに対応してどの陳列棚のどの段の何処に配置されているかを格納する。このように、陳列棚に配置された全物品位置ＩＤを格納しておけば、物品配列が決定可能であり、後は、陳列棚の前面画像からの物品を紐付けることで、物品の陳列数を算出できる。

《物品有無センサ》
図９Ａは、物品有無センサ２３０の構成を示す図である。図９Ａにおいては、２つのセンサシートを陳列棚に並べる例を示すが、これに限定されない。

センサシート９１０は、管理対象物品非配置領域９１１と、管理対象物品配置領域９１３とを有する。管理対象物品非配置領域９１１には、シート認識用ＲＦＩＤタグ９１２が配置される。また、管理対象物品配置領域９１３には、物品有無のセンシング用ＲＦＩＤタグ９１４が配置される。センシング用ＲＦＩＤタグ９１４は、２列で奥行３個の計６個の物品の有無を検出できる。

センサシート９２０は、管理対象物品非配置領域９２１と、管理対象物品配置領域９２３とを有する。管理対象物品非配置領域９２１には、シート認識用ＲＦＩＤタグ９２２が配置される。また、管理対象物品配置領域９１３には、物品有無のセンシング用ＲＦＩＤタグ９２４が配置される。センシング用ＲＦＩＤタグ９２４は、３列で奥行４個の計１２個の物品の有無を検出できる。

各センサシート９１０、９２０はスペーサ９３１の上に配置され、スペーサ９３１の下面にはリーダアンテナ９３２が配線される。リーダアンテナ９３２は、接続線９４１を介してＲＦＩＤリーダ９４０に接続されている。後述するが、スペーサ９３１の厚さは、センシング用ＲＦＩＤタグ９２４上近傍に物品が置かれた時の電磁界結合の変化に影響する。図示はしてないが、センサシート９１０、９２０と物品の底との間にもスペーサが配置されて、その距離を安定させるのが、電磁界結合への影響を安定させるために望ましい。ＲＦＩＤリーダ９４０への応答信号が閾値より弱いセンシング用ＲＦＩＤタグ９２４の上には、物品が置かれていると判定して、通信線を介して情報処理装置２１０に通知される。なお、通信線は無線通信であっても構わない。

物品有無センサ２３０によれば、センシング用ＲＦＩＤタグ９１４は物品に貼付されないため、タグ貼付によるコスト上昇を防ぐことができる。また、購入した物品に貼付されたセンシング用ＲＦＩＤタグ９１４から情報を不正に読み取られることによるプライバシーの侵害や情報セキュリティ上の問題あるいは購買者に与える不安に関する問題を生じない。即ち、第三者によるタグ情報の不正読み取りの問題を生じない。

（リーダアンテナ）
図９Ｂは、物品有無センサ２３０におけるリーダアンテナ９３２の構成を示す図である。少なくとも１枚のセンサシートとスペーサ９３１を隔てて配線されたリーダアンテナ９３２には、種々の構成が考えられるが、図９Ｂには２つの例を示す。

リーダアンテナ９５３は、並行２線路のアンテナである。各列の２線路は、分配器９５１を介して接続線９４１でＲＦＩＤリーダ９４０に接続されている。

リーダアンテナ９５４は、マイクロストリップ線路のアンテナである。各列のマイクロストリップ線路は、分配器９５２を介して接続線９４１でＲＦＩＤリーダ９４０に接続されている。マイクロストリップ線路の場合は、整合終端抵抗（不図示）を介してグランド導体９５５が接続される。

この２線路あるいはマイクロストリップ線路とスペーサ９３１を隔てて、ＲＦＩＤタグを有するセンサシートが配置されることになる。

（物品配置）
図９Ｃは、物品有無センサ２３０における物品の配置を示す図である。なお、図９Ａと同様の要素には同じ参照番号を付して、説明は省略する。

図９Ｃは、センサシート９１０のセンシング用ＲＦＩＤタグ９１４の上近傍に物品９６１が置かれた場合を示している。本実施形態においては、同じ列の奥行方向の物品９６１は同じであることを想定している。

以下、このように、ＲＦＩＤリーダ９４０がリーダアンテナ９３２を介してセンシング用ＲＦＩＤタグ９１４上近傍の物品の有無を検出する原理を説明する。

（ＲＦＩＤタグ）
図９Ｄは、物品有無センサ２３０におけるＲＦＩＤタグ９１４の構成を示す図である。

図９Ｄは陳列棚の上面図を示す。図９Ｄでは、上面図として物品９６１が１つ置かれる領域を拡大した図を示した。図９Ｄに示すように、物品管理プレート９００上にマイクリストリップ線路のリーダアンテナ９５４が形成される。そして、リーダアンテナ９５４の上方にＲＦＩＤタグ９１４が設置される。さらに、ＲＦＩＤタグ９１４の上方であって、ＲＦＩＤタグ９１４が覆われる位置に物品９６１が置かれる物品配置領域が設定される。また、ＲＦＩＤタグ９１４は、ＲＦＩＤチップ９７１およびタグアンテナ９７２を有する。

（位置関係）
図９Ｅは、物品有無センサ２３０における位置関係を示す図である。物品有無センサ２３０においては、ＲＦＩＤリーダ９４０からリーダアンテナ９３２を介して送信されたＩＤを含むコマンドに対して、ＩＤが一致して応答したセンシング用ＲＦＩＤタグ９１４の応答信号の強度により、物品の有無を判定する。物品が無くて、リーダアンテナ９３２とセンシング用ＲＦＩＤタグ９１４との電磁界結合が強ければ強い応答信号がリーダアンテナ９３２に返ってくる。この応答信号の強度を閾値と比較して、閾値より強いので物品無しと判定する。一方、物品が有って、リーダアンテナ９３２とセンシング用ＲＦＩＤタグ９１４との電磁界結合が弱くなれば弱い応答信号がリーダアンテナ９３２に返ってくる。この応答信号の強度を閾値と比較して、閾値より弱いので物品有りと判定する。

以下、その応答信号の強度を判定するに適した物品有無センサ２３０の構造を簡単に説明する。図９Ｅにおいて、距離Ｌ１はセンシング用ＲＦＩＤタグ９１４のタグアンテナ９７２と物品９６１の底との距離である。また、距離Ｌ２はセンシング用ＲＦＩＤタグ９１４のタグアンテナ９７２とマイクリストリップ線路のリーダアンテナ９５４との距離である。なお、距離Ｌ１と距離Ｌ２とは安定した距離であることが望ましいので、ＲＦＩＤタグ９１４をプラスティック板等でカバーして、プラスティック板の厚みを用いることも可能であり、他の手法を用いることも可能である。

物品有無センサ２３０においては、距離Ｌ１および距離Ｌ２を調節することにより、物品９６１とタグアンテナ９７２との結合係数ｋ２およびタグアンテナ９７２とリーダアンテナ９５４との結合係数ｋ１を調節する。そして、物品９６１の有無によって変化する結合係数ｋ２に応じてタグアンテナ９７２とリーダアンテナ９５４との間の信号強度を変化させ、信号強度の変化により物品９６１の有無を判断する。ここで、結合係数ｋ１と結合係数ｋ２とがｋ１＜ｋ２の関係を満たすので、リーダアンテナ９５４とタグアンテナ９７２との間の交信の維持よりも、物品の有無によるタグアンテナ９７２の周波特性変化による反射信号強度の変化が大きくなる。即ち、物品９６１の有無を確実に捉えることができるため、誤検知を抑制できる。

また、物品有無センサ２３０においては、タグアンテナ９７２とリーダアンテナ９５４との間の無線信号の波長をλとすると、距離Ｌ１≦λ、距離Ｌ２≦λと設定できる。このように、タグアンテナ９７２とリーダアンテナ９５４との間の交信範囲が狭く外乱やノイズの影響を受けないので、安定した物品有無の判定ができる。さらに、Ｌ２≦λ／２πの関係を満たして配置することも容易である。このように、Ｌ２≦λの関係を満たすことにより、リーダアンテナ９５４とタグアンテナ９７２との間の無線通信は直接波が中心となり、周囲環境を反映したマルチパス現象に伴う電波干渉が起こりにくい。したがって、誤検知が抑制できる。特に棚上の物品の有無を管理する場合に棚が金属であったり、金属の冷蔵ケースであったりする場合も多くあるが、このような環境においても安定してこのシステムを動作できる。

また、物品有無センサ２３０によれば、物品９６１の有無の検出にＲＦＩＤタグ９１４とＲＦＩＤリーダ９４０の見通しを物品９６１が遮ることは必要ない。また、物品９６１はタグアンテナ９７２と電磁界結合するように、タグアンテナ９７２（あるいはＲＦＩＤタグ９１４）と離間して物品９６１を置く場所が設けられていればよいため、自由な配置が可能となる。

物品有無センサ２３０によれば、準静電磁界と誘導電磁界、放射電磁界の電磁界成分が十分な強度で混在し、かつベクトルの方向も時間的に様々に変化するため、リーダアンテナ９５４とタグアンテナ９７２の相対的な向きの自由度を向上させることができる。

《情報処理装置のハードウェア構成》
図１０Ａは、情報処理装置２１０のハードウェア構成を示すブロック図である。

図１０Ａで、ＣＰＵ(Central Processing Unit)１０１０は演算制御用のプロセッサであり、プログラムを実行することで図４に示した各機能構成を実現する。ＲＯＭ(Read Only Memory)１０２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。また、通信制御部４０１は、ネットワークを介して他の通信端末や各サーバと通信すると共に、撮像部２２０ａや物品有無センサ２３０とも通信する。

なお、ＣＰＵ１０１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵを含んでもよい。また、通信制御部４０１は、ＣＰＵ１０１０とは独立したＣＰＵを有して、ＲＡＭ(Random Access Memory)１０４０の領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、ＲＡＭ１０４０とストレージ１０５０との間でデータを転送するＤＭＡＣを設けるのが望ましい（図示なし）。さらに、入出力インタフェース１０６０は、ＣＰＵ１０１０とは独立したＣＰＵを有して、ＲＡＭ１０４０の領域に入出力データを書き込みあるいは読み出しするのが望ましい。したがって、ＣＰＵ１０１０は、ＲＡＭ１０４０にデータが受信あるいは転送されたことを認識してデータを処理する。また、ＣＰＵ１０１０は、処理結果をＲＡＭ１０４０に準備し、後の送信あるいは転送は通信制御部４０１やＤＭＡＣ、あるいは入出力インタフェース１０６０に任せる。

ＲＡＭ１０４０は、ＣＰＵ１０１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ１０４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。画像データ１０４１は、撮像部２２０から取得した陳列棚の前面画像のデータである。物品識別結果１０４２は、画像データ１０４１から局所特徴量に基づき識別した物品情報である。物品有無データ１０４３は、物品有無センサ２３０から収集した陳列棚の物品有無のデータである。物品有無処理結果１０４４は、物品有無データ１０４３に基づいて生成した物品配列情報である。陳列数算出結果１０４５は、物品識別結果１０４２と物品有無処理結果１０４４とを紐付けて、物品の棚割とその陳列数を算出した結果である。陳列数表示データ１０４６は、陳列数算出結果１０４５を店員に通知するために生成された表示データである。入出力データ１０４７は、入出力インタフェース１０６０を介して入出力されるデータである。送受信データ１０４８は、通信制御部４０１を介して送受信されるデータである。

ストレージ１０５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。局所特徴量データベース４０３は、図５Ａに示したデータを格納するデータベースである。センサデータベース４０６は、図５Ｂや図８Ｄまたは図８Ｅに示したデータを格納するデータベースである。物品識別アルゴリズム／パラメータ１０５１は、図６Ａ〜図６Ｇ、および、図７Ａ〜図７Ｆに示した、陳列棚の前面画像から物品を識別するために使用されるアルゴリズムとパラメータである。在庫管理データベース４０９は、図示しない在庫管理に使用されるデータベースである。ストレージ１０５０には、以下のプログラムが格納される。情報処理装置制御プログラム１０５２は、情報処理装置２１０全体を制御する制御プログラムである。物品識別モジュール１０５３は、陳列棚の前面画像から物品を識別するためのモジュールである。物品配列生成モジュール１０５４は、物品有無データからセンサデータベース４０６を参照して物品配列を生成するモジュールである。陳列数算出モジュール１０５５は、物品識別モジュール１０５３が識別した物品識別情報と物品配列生成モジュール１０５４が生成した物品配列情報とを紐付けて、陳列棚の棚割と陳列数を算出するモジュールである。

入出力インタフェース１０６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース１０６０には、表示部２１４、タッチパネル／キーボードの操作部１０６１、が接続される。また、スピーカやマイクなどの音声入出力部１０６２が接続される。さらに、撮像部２２０や物品有無センサ２３０ａも接続される。なお、撮像部や物品有無センサは、通信制御部４０１を介してＬＡＮに接続されても、入出力インタフェース１０６０を介してＩ／Ｏとして接続されてもよい。図１０Ａにおいては、撮像部２２０は入出力インタフェース１０６０に接続され、物品有無センサ２３０はＬＡＮに接続されているとした。したがって、撮像部２２０ａと物品有無センサ２３０ａとは破線で示されている。

なお、図１０のＲＡＭ１０４０やストレージ１０５０には、情報処理装置２１０が有する汎用の機能や他の実現可能な機能に関連するプログラムやデータは図示されていない。

（処理結果の出力）
図１０Ｂは、情報処理装置２１０の表示部２１４の出力の一例を示す図である。表示部２１４の表示画面（ビューワ）１０７１には、管理対象の陳列棚１０７２と物品表１０７３とが表示されている。仮想陳列棚画像１０７２中には、各物品画像が、現実の棚割と同様に配置され、かつ、各物品画像に重畳してフェイス（物品列）ごとの陳列数が表示される。これらの陳列数データは、図５Ｅに示した物品管理テーブル５５０から読出される。ここで、陳列できる物品の在庫数を記憶する在庫データベース（不図示）から、物品種類ごとの在庫数を読み出して、陳列数と共に（例えばかっこで）表示してもよい。この仮想陳列棚画像１０７２においては、陳列数が０となっているフェイスの物品画像を目立たせるように着色して（あるいは明るさを変えて）表示する。

物品表１０７３には、物品名、フェイス数（１つの物品種類に対応する物品列数）、物品の陳列数および在庫数が表示される。フェイス数は、物品管理テーブル５５０のフェイスＩＤを物品種類ごとにカウントすることで求めることができる。物品の陳列数も、物品管理テーブル５５０の陳列数５４３を物品ＩＤごとに集計することで求められる。

物品表１０７３は、陳列数がなくなり補充が必要なことを店員に通知する警報マーク１０７４や、陳列数が少なくなり補充が必要なことを店員に通知する注意マーク１０７５や在庫がなくなり仕入れが必要なことを店員に通知する警報マーク１０７６を表示する。

仮想陳列棚画像１０７２中の各物品画像は、局所特徴量データベース４０３に含まれていた物品のサンプル画像である。つまり、局所特徴量を用いて物品の種類を特定すると、その特定した物品の正面画像をデータベースから読出して、仮想陳列棚画像１０７２中に配置し、陳列数を重畳する。これにより、撮像部２２０によって撮像された画像中で物品が後ろ向きに置かれていたとしてもこのビューワでは、物品の正面を確認することができ、非常に直感的に物品配列を把握できる。もちろん、撮像部２２０で撮像した物品画像をそのまま用いて、その撮像物品画像上に陳列数を重畳してもよい。なお、個々では、物品画像に重畳して陳列数を表示する例を示しているが、本発明はこれに限定されるものではなく、物品画像に並べて陳列数を表示してもよい。

また、表示部２１４には、表示更新ボタン１０７６が表示されており、ユーザがこの表示更新ボタン１０７６を選択したことを検知すると、撮像部２２０が陳列棚を撮影しなおす。これに伴い、陳列棚中の物品種類およびその配置が認識され、陳列数が改めて算出されて、最新の陳列棚の状況が表示される。ビューワ更新のために撮像を行なったところ、物品の陳列数が０の物品列があった場合（この場合物品列に含まれる物品種類も判定できない）には、確認や再撮像を促すメッセージを表示してもよい。その場合、表示部２１４は、撮像部２２０に撮像指示を送信する撮像指示手段として機能する。

また、表示部２１４には、陳列棚反転ボタン１０７７が表示され、ユーザがこの陳列棚反転ボタン１０７６を選択したことを検知すると、仮想陳列棚画像１０７２を反転させる。例えば、店員がユーザとは逆側の陳列棚裏側から物品を補充する構成になっている場合には、陳列棚を左右反転させて表示することで、店員にとって直感的にどの位置のどの商品を補充すべきかを把握しやすくなる。

《情報処理装置の処理手順》
図１１Ａは、情報処理装置２１０の処理手順を示すフローチャートである。このフローチャートは、図１０ＡのＣＰＵ１０１０がＲＡＭ１０４０を使用しながら実行して、図４の機能構成部を実現する。

情報処理装置２１０は、ステップＳ１１０１において、撮像部２２０から陳列棚の前面画像を取得する。次に、情報処理装置２１０は、ステップＳ１１０３において、取得した撮影画像から陳列棚の前面の物品配列を識別する。

情報処理装置２１０は、ステップＳ１１０５において、物品有無センサ２３０から物品有無の検出データを取得して記憶する。そして、情報処理装置２１０は、ステップＳ１１０７において、物品有無の検出データから物品有無センサの配列を生成する。

情報処理装置２１０は、ステップＳ１１０９において、前面の物品配列と物品有無センサの配列とを紐付けて、陳列棚内の物品配置および陳列数を確定する。そして、情報処理装置２１０は、ステップＳ１１１１において、陳列棚内の物品配置および陳列数を出力する。

（棚表面物品配列の認識処理）
図１１Ｂは、棚表面物品配列の認識処理（Ｓ１１０３）の手順を示すフローチャートである。

情報処理装置２１０は、ステップＳ１１２１において、受信した撮影画像を取得する。次に、情報処理装置２１０は、ステップＳ１１２３において、撮影画像から多数の特徴点を検出する。次に、情報処理装置２１０は、ステップＳ１１２５において、図７Ａ〜図７Ｆの処理に従って、各特徴点の座標位置、スケール、および角度から局所特徴量を生成する。

情報処理装置２１０は、図６Ａ〜図６Ｇの処理に従って、ステップＳ１１２７において、撮影画像の特徴点の座標位置に基づき特徴点をクラスタリングする。そして、情報処理装置２１０は、ステップＳ１１２９において、撮影画像の局所特徴量群と物品の局所特徴量群とをクラスタ単位で照合する。

情報処理装置２１０は、ステップＳ１１３１において、照合結果から合致する局所特徴量群が有るか否かを判定する。合致する局所特徴量群が有れば、情報処理装置２１０は、ステップＳ１１３３において、合致した局所特徴量群を有する物品であると特定する。一方、合致する局所特徴量群が無ければ、情報処理装置２１０は、ステップＳ１１３５において、クラスタリングした局所特徴量群の物品は無いとしてエラー処理する。なお、ステップＳ１１３５において、エラー回数によりクラスタリングの閾値や方法を変えるように制御してもよい。

情報処理装置２１０は、ステップＳ１１３７において、撮影画像の特徴点が残っているか否かを判定する。特徴点が残っていれば、情報処理装置２１０は、ステップＳ１１２７に戻って、特徴点のクラスタリングと照合を繰り返す。特徴点が残ってなければ、情報処理装置２１０は、ステップＳ１１３９において、特定した識別物品の陳列棚の前面における配列として、物品種類配列テーブル（図５Ｃ参照）を生成する。

（物品有無検出処理）
図１１Ｃは、物品有無検出処理（Ｓ１１０７）の手順を示すフローチャートである。

情報処理装置２１０は、ステップＳ１１４１において、ＲＦＩＤリーダ９４０から受信したセンサシートＩＤと物品有無検出データとを取得する。次に、情報処理装置２１０は、ステップＳ１１４３において、センサデータベース４０６からダグシートの配列情報を取得する。そして、情報処理装置２１０は、ステップＳ１１４５において、センサシートＩＤと物品有無検出データとから物品有無配列テーブル（図５Ｄ参照）を生成する。

（物品配置および陳列数確定処理）
図１１Ｄは、物品配置および陳列数確定処理（Ｓ１１０９）の手順を示すフローチャートである。

情報処理装置２１０は、ステップＳ１１５１において、物品種類配列テーブル（図５Ｃ参照）と物品有無配列テーブル（図５Ｄ参照）とを、センサシートの配列に基づいて紐付ける。そして、情報処理装置２１０は、ステップＳ１１５３において、棚割と陳列数とを確定する（図５Ｅ参照）。

本実施形態によれば、陳列棚に奥行き方向に陳列された複数種類の大量の物品を廉価な構成で種類ごとに高速に計数できるので、実時間での陳列棚への物品補充を通知できる。また、物品の画像と物品の陳列数とを同時に表示するため、陳列棚に陳列された複数種類の物品の状況を直感的に示す画像を、非常に簡単かつリアルタイムに生成し表示することができる。

［第３実施形態］
次に、本発明の第３実施形態に係る情報処理装置を含む物品管理システムについて説明する。本実施形態に係る情報処理装置は、上記第２実施形態と比べると、撮影した画像から物品有無センサ群（センサシート）を識別可能なシートマークを識別する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

《物品管理システム》
図１２および図１３を参照して、本実施形態の物品管理システム１２００の構成と動作を説明する。

（システム概要）
図１２は、本実施形態に係る情報処理装置１２１０を含む物品管理システム１２００の概要を示す図である。なお、図１２において、図２Ａと同様の構成要素には同じ参照番号を付して、説明は省略する。

物品管理システム１２００は、情報処理装置１２１０と、カメラである撮像部２２０と、物品有無センサ１２３０とを有する。撮像部２２０は、陳列棚２０１の最前列の画像を撮影する。なお、撮像部２２０が撮影した画像には、物品有無センサ１２３０の各センサシートに付加されたシートマーク１２３１も含まれている。すなわち、各陳列棚２０１の各段の底に配置された物品有無センサ１２３０は、各々がその上の物品有無を判定すると共に、各センサシートにシートマーク１２３１が付加されている。

情報処理装置１２１０は、物品識別部１２１１と、陳列数取得部２１２と、陳列認識部１２１３と、を有する。物品識別部１２１１は、撮像部２２０から陳列棚２０１の最前列の画像を受けて、陳列されている物品種類とその配列を識別すると共に、シートマーク１２３１を識別する。陳列認識部１２１３は、物品識別部１２１１からの陳列棚２０１の最前列の物品配列と、陳列数取得部２１２からの陳列数情報とを、物品識別部１２１１が識別したシートマーク１２３１の位置に基づいて紐付けて、各物品の陳列棚２０１の陳列数を認識する。

（動作手順）
図１３は、情報処理装置１２１０を含む物品管理システム１２００の動作手順を示すシーケンス図である。なお、図１３において、第２実施形態の図３と同様のステップには同じステップ番号を付して、説明は省略する。

図１３においては、ステップＳ１３１０のシートマークの識別が図３に付加されている。情報処理装置１２１０は、ステップＳ１３１０において、陳列棚の前面画像からシートマークを識別して、物品有無センサ位置の特定に使用する。

第２実施形態においては、センサシートの陳列棚における配置情報をあらかじめ記憶することで物品有無センサ位置を特定し、物品識別と紐付けた。したがって、センサシートを移動すると配置情報を変更する必要がある。本実施形態においては、撮影画像から識別したシートマークによりセンサシートの位置を特定することで、センサシートを移動しても、センサシートの位置、すなわち、各物品有無センサの位置を特定できる。

《情報処理装置の機能構成》
図１４は、情報処理装置１２１０の機能構成を示すブロック図である。なお、図１４において、図４と同様の機能構成には同じ参照番号を付して、説明は省略する。

図１４の物品識別部１２１１は、画像中の物品識別に加えて、画像中のシートマークを識別する。そのために、局所特徴量データベース１４０３は、物品画像から生成された局所特徴量に加えて、シートマークの画像から局所特徴量を格納する。なお、シートマークの識別を容易にするために、シートマークは特徴点の多いものが望ましい。

物品配列生成部１４０７は、物品識別部１２１１からのシートマーク情報と、シート管理データベース１４０６に格納されているセンサシート内の物品有無センサ２３０の配置情報とを参照して、陳列棚の物品配列を示す物品有無配列テーブルを生成する。

（局所特徴量データベース）
図１５Ａは、局所特徴量データベース１４０３の構成を示す図である。なお、局所特徴量データベース１４０３には、図５Ａの物品画像から生成された局所特徴量データベース４０３のデータも含まれる。

局所特徴量データベース１４０３は、シートマークＩＤ１５１１に対応付けて、シートマークの画像から生成された局所特徴量群１５１２を格納する。

（シート管理データベース）
図１５Ｂは、シート管理データベース１４０６の構成を示す図である。

シート管理データベース１４０６は、シートマークＩＤ１５２１に対応付けて、そのシートマークを付けたセンサシートのセンサシートＩＤ１５２２と、シート構成１５２３とを格納する。なお、シート構成１５２３は、図５Ｂのシート構成５２７に相当するデータである。

（物品種類配列テーブル）
図１５Ｃは、物品種類配列テーブル１５３０の構成を示す図である。物品種類配列テーブル１５３０は、撮像画像から識別された物品およびシートマークに基づいて、物品識別部１２１１が生成したテーブルである。なお、図１５Ｃにおいて、図５Ｃと同様の項目には同じ参照番号を付して、説明は省略する。

図１５Ｃにおいては、図５Ｃに加えて、物品識別部１２１１が識別したシートマークから特定されたセンサシートＩＤ１５３７を記憶する。かかるシートマークから特定されたセンサシートＩＤ１５３７により、物品種類配列テーブル１５３０と物品有無センサからの物品有無情報から生成された物品有無配列テーブルとが紐付けられる。

なお、物品有無配列テーブルと物品管理テーブルとは、図５Ｄおよび図５Ｅと同様であるので、図示および説明は省略する。

《情報処理装置の処理手順》
図１６Ａは、情報処理装置１２１０の処理手順を示すフローチャートである。このフローチャートは、図１０ＡのＣＰＵ１０１０がＲＡＭ１０４０を使用しながら実行して、図１４の機能構成部を実現する。なお、図１６Ａにおいて、図１１Ａと同様のステップには同じステップ番号を付して、説明は省略する。

図１６Ａの図１１Ａとの相違は、情報処理装置１２１０が、ステップＳ１６０７において、撮影画像からシートマークを識別して、センサシートの配置位置を確定して、物品有無センサ配列を生成する点である。

（シートマーク識別処理）
図１６Ｂは、シートマーク識別処理（Ｓ１６０７）の手順を示すフローチャートである。なお、図１６Ｂにおいて、図１１Ｂと同様なステップには同じステップ番号を付して、説明は省略する。

情報処理装置１２１０は、ステップＳ１６２５において、ステップＳ１１０３で撮影画像から生成した局所特徴量を取得する。なお、シートマークの照合において、物品と異なる精度の局所特徴量を使用する場合には、ステップＳ１１０３で生成した局所特徴量を援用せずに、新たに局所特徴量を生成してもよい。

情報処理装置１２１０は、ステップＳ１６２９において、撮影画像の局所特徴量群とシートマークの局所特徴量群とをクラスタ単位で照合する。なお、ステップＳ１１２７のクラスタリングおよびステップＳ１６２９の照合においても、シートマーク識別に特有の処理をしてもよい。局所特徴量群が合致すると、情報処理装置１２１０は、ステップＳ１６３３において、シートマークを特定する。そして、情報処理装置１２１０は、ステップＳ１６３９において、シートマークに基づく配列テーブルを生成して、物品種類配列テーブル１５３０と物品有無センサからの物品有無情報から生成された物品有無配列テーブルとの紐付けに使用する。

本実施形態によれば、物品陳列棚の物品有無センサ群を移動しても位置を特定できるので、物品有無センサ群を任意に配置しても、撮影した画像に基づく物品の識別と、物品有無センサからの物品有無情報とを容易に紐付けることできる。

［第４実施形態］
次に、本発明の第４実施形態に係る情報処理装置を含む物品管理システムについて説明する。本実施形態に係る情報処理装置は、上記第２実施形態と比べると、撮影した画像から物品陳列棚を識別可能な棚マークを認識する点で異なる。その他の構成および動作は、第２実施形態または第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

《物品管理システム》
図１７および図１８を参照して、本実施形態の物品管理システム１７００の構成と動作を説明する。

（システム概要）
図１７は、本実施形態に係る情報処理装置１７１０を含む物品管理システム１７００の概要を示す図である。なお、図１７において、図２Ａと同様の構成要素には同じ参照番号を付して、説明は省略する。

物品管理システム１７００は、情報処理装置１７１０と、カメラである撮像部２２０と、物品有無センサ２３０とを有する。撮像部２２０は、複数用意された陳列棚１７２０、１７３０の最前列の画像を撮影する。なお、撮像部２２０が撮影した画像には、陳列棚１７２０、１７３０の各陳列棚に付加された棚マーク１７２１〜１７２３...１７３１〜１７３３も含まれている。すなわち、陳列棚１７２０、１７３０の各陳列棚には、棚マーク１７２１〜１７２３...１７３１〜１７３３が付加されている。

情報処理装置１７１０は、物品識別部１７１１と、陳列数取得部２１２と、陳列認識部１７１３と、を有する。物品識別部１７１１は、撮像部２２０から陳列棚１７２０、１７３０の最前列の画像を受けて、陳列されている物品種類とその配列を識別すると共に、棚マーク１７２１〜１７２３...１７３１〜１７３３を識別する。陳列認識部１７１３は、物品識別部１７１１からの陳列棚１７２０、１７３０の最前列の物品配列と、陳列数取得部２１２からの陳列数情報とを、棚マーク１７２１〜１７３３の位置に基づいて紐付けて、各物品の陳列棚１７２０、１７３０の陳列数を認識する。

なお、棚マークの数は図１７の例に限定されない。撮像部２２０の視界に対応して選択される。

（動作手順）
図１８は、情報処理装置１７１０を含む物品管理システム１７００の動作手順を示すシーケンス図である。なお、図１８において、第２実施形態の図３と同様のステップには同じステップ番号を付して、説明は省略する。

図１８においては、ステップＳ１８１０の棚マークの識別が図３に付加されている。情報処理装置１７１０は、ステップＳ１８１０において、陳列棚の前面画像から棚マークを識別して、撮像部２２０からの画像位置と物品有無センサ位置とを紐付ける。

第２実施形態および第３実施形態においては、撮像部２２０が撮影する画像位置が固定されており、画像の同じ位置が陳列棚の同じ位置に対応していた。本実施形態においては、撮影画像から識別した棚マークにより撮像部２２０が撮影する画像位置を陳列棚の同じ位置に紐付けることで、撮像部２２０が首振り移動しても、各物品識別位置と各物品有無センサの位置とを紐付けることができる。

《情報処理装置の機能構成》
図１９は、情報処理装置１７１０の機能構成を示すブロック図である。なお、図１９において、図４と同様の機能構成には同じ参照番号を付して、説明は省略する。

図１９の物品識別部１７１１は、画像中の物品識別に加えて、画像中の棚マークを識別する。そのために、局所特徴量データベース１９０３は、物品画像から生成された局所特徴量に加えて、棚マークの画像から局所特徴量を格納する。なお、棚マークの識別を容易にするために、棚マークは特徴点の多いものが望ましい。

物品配列生成部１９０７は、物品識別部１７１１からの棚マーク情報と、棚管理データベース１９０６に格納されている陳列棚内の物品有無センサ２３０の配置情報とを参照して、物品有無情報から陳列棚の物品配列を示す物品有無配列テーブルを生成する。

（局所特徴量データベース）
図２０Ａは、局所特徴量データベース１９０３の構成を示す図である。なお、局所特徴量データベース１９０３には、図５Ａの物品画像から生成された局所特徴量データベース４０３のデータも含まれる。

局所特徴量データベース１９０３は、棚マークＩＤ２０１１に対応付けて、棚マークの画像から生成された局所特徴量群２０１２を格納する。

（棚管理データベース）
図２０Ｂは、棚管理データベース１９０６の構成を示す図である。

棚管理データベース１９０６は、棚マークＩＤ２０２１に対応付けて、その棚マークを付けた棚ＩＤ２０２２と、何段何列構成かを示す棚構成２０２３と、センサデータ２０２４とを格納する。なお、棚構成２０２３やセンサデータ２０２４は、図５Ｂのセンサデータベース４０６ａに相当するデータである。

（物品種類配列テーブル）
図２０Ｃは、物品種類配列テーブル２０３０の構成を示す図である。物品種類配列テーブル２０３０は、撮像画像から識別された物品および棚マークに基づいて、物品識別部１７１１が生成したテーブルである。なお、図２０Ｃにおいて、図５Ｃと同様の項目には同じ参照番号を付して、説明は省略する。

図２０Ｃにおいては、図５Ｃに加えて、物品識別部１７１１が識別した棚マークと棚管理データベース１９０６とを参照して特定された棚の列２０３７とセンサシートＩＤ２０３８とを記憶する。かかる棚マークから特定された棚の列２０３７とセンサシートＩＤ２０３８とにより、物品種類配列テーブル２０３０と物品有無センサからの物品有無情報から生成された物品有無配列テーブルとが紐付けられる。

なお、物品有無配列テーブルと物品管理テーブルとは、図５Ｄおよび図５Ｅと同様であるので、図示および説明は省略する。

《情報処理装置の処理手順》
図２１Ａは、情報処理装置１７１０の処理手順を示すフローチャートである。このフローチャートは、図１０ＡのＣＰＵ１０１０がＲＡＭ１０４０を使用しながら実行して、図１７の機能構成部を実現する。なお、図２１Ａにおいて、図１１Ａと同様のステップには同じステップ番号を付して、説明は省略する。

図２１Ａの図１１Ａとの相違は、情報処理装置１７１０が、ステップＳ２１０７において、撮影画像から棚マークを識別して、撮影画像の位置とセンサシートの配置位置を紐付けて、物品有無センサ配列を生成する点である。

（棚マーク識別処理）
図２１Ｂは、棚マーク識別処理（Ｓ２１０７）の手順を示すフローチャートである。なお、図２１Ｂにおいて、図１１Ｂまたは図１６Ｂと同様なステップには同じステップ番号を付して、説明は省略する。

情報処理装置１７１０は、ステップＳ１６２５において、ステップＳ１１０３で撮影画像から生成した局所特徴量を取得する。なお、棚マークの照合において、物品やシートマークと異なる精度の局所特徴量を使用する場合には、ステップＳ１１０３で生成した局所特徴量を援用せずに、新たに局所特徴量を生成してもよい。

情報処理装置１７１０は、ステップＳ２１２９において、撮影画像の局所特徴量群と棚マークの局所特徴量群とをクラスタ単位で照合する。なお、ステップＳ１１２７のクラスタリングおよびステップＳ２１２９の照合においても、棚マーク識別に特有の処理をしてもよい。局所特徴量群が合致すると、情報処理装置１７１０は、ステップＳ２１３３において、棚マークを特定する。そして、情報処理装置１７１０は、ステップＳ２１３９において、棚マークに基づく配列テーブルを生成して、物品種類配列テーブル２０３０と物品有無センサからの物品有無情報から生成された物品有無配列テーブルとの紐付けに使用する。

本実施形態によれば、棚マークに基づき物品陳列棚の位置を確定できるので、撮影した画像に基づく物品の識別と、物品有無センサからの物品有無情報とを容易に紐付けることできる。

［第５実施形態］
次に、本発明の第５実施形態に係る情報処理装置を含む物品管理システムについて説明する。本実施形態に係る情報処理装置は、上記第２実施形態と比べると、撮影した画像から物品陳列棚に特有の物品配列を識別する点で異なる。その他の構成および動作は、第２実施形態乃至第４実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

《物品管理システム》
図２２および図２３を参照して、本実施形態の物品管理システム１２００の構成と動作を説明する。

（システム概要）
図２２は、本実施形態に係る情報処理装置２２１０を含む物品管理システム２２００の概要を示す図である。なお、図２２において、図２Ａと同様の構成要素には同じ参照番号を付して、説明は省略する。

物品管理システム２２００は、情報処理装置２２１０と、カメラである撮像部２２０と、物品有無センサ２３０とを有する。撮像部２２０は、陳列棚２０１の最前列の画像を撮影する。なお、陳列棚２０１の各陳列棚の特定位置、図２２では最上段の物品配列は、各陳列棚特有の配列を有している。なお、図２２には、簡単のため陳列棚２０１の最上段に、背の高いボトル（ビット１で表わす）と背の低いボトル（ビット０で表わす）の配列を、各陳列棚特有とした例を示している。しかしながら、各物品の識別結果に基づいた特有の配列とすることで、ごく少数の物品列を各陳列棚特有とすることによって、陳列棚を特定できる。このように、第４実施形態のような棚マークが無くても、棚とその撮影位置を特定できる。

情報処理装置２２１０は、物品識別部２１１と、陳列数取得部２１２と、陳列認識部２２１３と、を有する。物品識別部２１１は、撮像部２２０から陳列棚２０１の最前列の画像を受けて、陳列されている物品種類を識別する。陳列認識部２２１３は、物品識別部２１１からの陳列棚２０１の最前列の物品配列と、陳列数取得部２１２からの物品有無情報とを、陳列棚特有の物品配列から識別した棚の位置に基づいて紐付けて、各物品の陳列棚２０１の陳列数を認識する。

なお、特有の物品配列の間隔は図２２の例に限定されない。撮像部２２０の視界に対応して選択される。

（動作手順）
図２３は、情報処理装置２２１０を含む物品管理システム２２００の動作手順を示すシーケンス図である。なお、図２３において、第２実施形態の図３と同様のステップには同じステップ番号を付して、説明は省略する。

図２３においては、ステップＳ２３１０の陳列棚特有の物品配列の識別が図３に付加されている。情報処理装置２２１０は、ステップＳ２３１０において、陳列棚の前面画像から陳列棚特有の物品配列を識別して、撮像部２２０からの画像位置と物品有無センサ位置とを紐付ける。

第４実施形態においては、棚マークを付加することで各物品識別位置と各物品有無センサの位置との紐付けに対応していた。本実施形態においては、撮影画像から識別した陳列棚特有の物品配列により、撮像部２２０が撮影する画像位置を陳列棚の同じ位置に紐付けることで、撮像部２２０が首振り移動しても、各物品識別位置と各物品有無センサの位置とを紐付けることができる。

《情報処理装置の機能構成》
図２４は、情報処理装置２２１０の機能構成を示すブロック図である。なお、図２４において、図４と同様の機能構成には同じ参照番号を付して、説明は省略する。

図２４の物品配列生成部２４０７は、物品識別部２１１からの物品認識情報と、物品配列記憶部としての物品列管理データベース２４０６に格納されている陳列棚内の特有の物品列情報とを参照して、陳列棚の物品配列を示す物品有無配列テーブルを生成する。なお、陳列棚内の特有の物品列は、識別精度を高めるために、特有な物品配列が確実に識別できるものが望ましい。例えば、色や形に特徴がある物品の配列が望ましい。

（物品列管理データベース）
図２５は、物品列管理データベース２４０６の構成を示す図である。

物品列管理データベース２４０６は、物品列ＩＤ２５１１に対応付けて、棚ＩＤ２５１２、段や列を含む棚位置２５１３、何段何列かを示す棚構成２５１４、センサシートデータ２５１５、を格納する。なお、棚構成２５１４やセンサシートデータ２５１５は、図５Ｂのセンサデータベース４０６ａに相当するデータである。

《情報処理装置の処理手順》
図２６Ａは、情報処理装置２２１０の処理手順を示すフローチャートである。このフローチャートは、図１０ＡのＣＰＵ１０１０がＲＡＭ１０４０を使用しながら実行して、図２４の機能構成部を実現する。なお、図２６Ａにおいて、図１１Ａと同様のステップには同じステップ番号を付して、説明は省略する。

図２６Ａの図１１Ａとの相違は、情報処理装置２２１０が、ステップＳ２６０６において、陳列棚特有の物品列から棚を識別して、撮影画像の位置とセンサシートの配置位置を紐付けて、物品有無センサ配列を生成する点である。

（物品列識別処理）
図２６Ｂは、物品列識別処理（Ｓ２６０６）の手順を示すフローチャートである。

情報処理装置２２１０は、ステップＳ２６２１において、撮影した物品配列と物品列管理データベース２４０６に格納された物品配列とを照合する。情報処理装置２２１０は、ステップＳ２６２３において、合致する物品配列が有るか否かを判定する。合致する物品配列が有れば、情報処理装置２２１０は、ステップＳ２６２５において、合致する物品配列を有する陳列棚を特定する。一方、合致する物品配列が無ければ、情報処理装置２２１０は、ステップＳ２６２７において、陳列棚が見付からないとしてエラー処理する。なお、ステップＳ２６２７において、エラー回数により物品識別精度や撮影位置・範囲を変えるように制御してもよい。

本実施形態によれば、特有の物品配列に基づき物品陳列棚の位置を確定できるので、陳列棚へのシートマークや棚マークの付加なしに、撮影した画像に基づく物品の識別と、物品有無センサからの物品有無情報とを容易に紐付けることできる。

［第６実施形態］
次に、本発明の第６実施形態に係る情報処理装置を含む物品管理システムについて説明する。本実施形態に係る情報処理装置は、上記第２実施形態乃至第５実施形態と比べると、撮影した画像から得た物品配列情報と、物品有無センサから得た物品有無情報とに基づいて、物品配置変えや配置エラーを判定する点で異なる。その他の構成および動作は、第２実施形態乃至第５実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

《物品管理システム》
図２７Ａは、本実施形態に係る情報処理装置を含む物品管理システム２７００の概要を示す図である。

物品管理システム２７００においては、図２７Ａのように、大型ボトル２７１１の位置に小型ボトル２７１２がある場合、あるいは、小型ボトル２７２１がある位置に大型ボトル２７２２がある場合など、様々な物品の配置位置のミスを検出する。あるいは、物品配列を変えた場合と配置ミスとを判別する。

図２７Ｂは、情報処理装置を含む物品管理システム２７００の他の概要を示す図である。

物品管理システム２７００においては、大型ボトル２７３１が倒れた場合や、小型ボトル２７３３が倒れた場合など、物品有無センサは物品有りを検出するが、前面画像の識別からは物品が倒れて１つの物品が複数の物品有無判定範囲を覆うことが判明する。

なお、図２７Ａおよび図２７Ｂには、明らかに物品の配置を間違っている例を示した。この場合には、物品有無データと物品識別データとから容易に配置ミスが分かる。しかしながら、単なる比較によっては簡単に配置ミスが分からない場合もある（図２９参照）。

《情報処理装置の機能構成》
図２８は、情報処理装置２８１０の機能構成を示すブロック図である。なお、図２８において、図４と同様の機能構成には同じ参照番号を付して、説明は省略する。

図２８の物品配列履歴データベース２８１４は、物品識別部２１１が識別した物品配列と物品有無センサが検出した物品配列との履歴を蓄積する。物品配列監視部２８１５は、物品識別部２１１が識別した物品配列と物品有無センサが検出した物品配列とを比較する。そして、不一致の場合には、物品配列履歴データベース２８１４から過去の物品配列情報を取得して、物品配列の変更なのか、一時的な物品配列エラーなのか、を判定する。物品配列エラーであれば表示部へ表示して警告する。

（物品陳列判定処理）
図２９は、物品陳列判定処理を説明する図である。図２９には、物品配列の変更なのか、一時的な物品配列エラーなのか、を判定する一例を示しているが、判定アルゴリズムはこれに限定されない。

物品配列２９０１においては、陳列棚の物品有無センサは、８列（各列：４、４、３、４、５、４、４、４）で総数３２の物品が陳列されている。各列の物品は、前面画像からの物品識別により、（大型ボトルＡ、大型ボトルＡ、大型ボトルＢ、大型ボトルＢ、小型ボトルｃ、小型ボトルｃ、小型ボトルｄ、小型ボトルｄ）である。

次に判定した物品配列２９０２においては、陳列棚の物品有無センサは、８列（各列：４、４、３、４、５、４、４、４）で総数３２の物品で変わらない。しかし、各列の物品は、前面画像からの物品識別により、大型ボトルＡ、大型ボトルＡ、大型ボトルＢ、大型ボトルＢ、小型ボトルｃ、小型ボトルｄ、小型ボトルｃ、小型ボトルｄである。つまり、左から６列目と７列目の物品が小型ボトルｄと小型ボトルｃとの入れ替わっている。この段階では、６列目と７列目の物品を配置替えしたとも判定できる。

次に判定した物品配列２９０３においては、陳列棚の物品有無センサは、８列（各列：４、４、３、４、３、３、３、４）で総数２８となった。この時、各列の物品は、前面画像からの物品識別により、大型ボトルＡ、大型ボトルＡ、大型ボトルＢ、大型ボトルＢ、小型ボトルｃ、小型ボトルｃ、小型ボトルｄ、小型ボトルｄである。つまり、左から６列目と７列目の物品が小型ボトルｃと小型ボトルｄとに戻っている。この場合には、物品配列２９０１と物品配列２９０２とを参照すれば、物品配列２９０２において左から６列目と７列目の最前のボトルが配置エラーであったと判定できる。

なお、図２９の例は一例であって、物品配列の履歴を、物品有無センサからのデータと前面画像から識別した物品配列との履歴から追うことで、配置替えや配置エラーを判定することができる。

《情報処理装置の処理手順》
図３０Ａは、情報処理装置の処理手順を示すフローチャートである。このフローチャートは、図１０ＡのＣＰＵ１０１０がＲＡＭ１０４０を使用しながら実行して、図２８の機能構成部を実現する。なお、図３０Ａにおいて、図１１Ａと同様のステップには同じステップ番号を付して、説明は省略する。

図３０Ａの図１１Ａとの相違は、情報処理装置２８１０が、ステップＳ３００８において、物品有無センサからの物品有無データと前面画像から識別した物品配列との履歴に基づいて、配置判定処理を行なう点である。

（配置判定処理）
図３０Ｂは、配置判定処理（Ｓ３００８）の手順を示すフローチャートである。

情報処理装置２８１０は、ステップＳ３０２１において、物品配列履歴データベース２８１４から物品有無データと物品配列データとの履歴を取得する。次に、情報処理装置２８１０は、ステップＳ３０２３において、取得した履歴に基づいて現在の物品配列を判定する。

図３０Ｂには、３つの判定結果を示す。物品有無データと物品配列データとの変化がない場合、情報処理装置２８１０は、ステップＳ３０２５において、物品配列に変化なしと判定する。物品有無データおよび物品配列データ共に変化があり、かつ、相互の変化に齟齬が無い場合、情報処理装置２８１０は、ステップＳ３０２７において、物品配置替えと判定する。また、図２９のように物品有無データおよび物品配列データの変化にズレある場合、情報処理装置２８１０は、ステップＳ３０２９において、物品配置エラーと判定する。

なお、物品配置変更や配置エラーは本例に限定されない、その他の例についても、本実施形態の前面画像による物品識別情報と物品有無センサによる物品有無情報を対比したり、履歴を辿ったりすることで見付けることが可能となる。

本実施形態によれば、物品補充の通知に加えて、物品配置変えや配置エラーを通知できるので、陳列棚における物品管理のきめの細かい支援ができる。

［第７実施形態］
次に、本発明の第７実施形態に係る情報処理装置を含む物品管理システムについて説明する。本実施形態に係る情報処理装置は、上記第２実施形態乃至第６実施形態と比べると、撮影した画像から得た物品配列情報と、物品有無センサから得た物品有無情報とにより、お互いの識別精度や検出精度を高める点で異なる。その他の構成および動作は、第２実施形態乃至第５実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

《物品管理システム》
図３１は、本実施形態に係る情報処理装置を含む物品管理システム３１００の概要を示す図である。図３１には、画像からの物品識別精度を向上する調整例３１１０と、物品有無センサの有無判定の精度向上の調整例３１２０とを示す。

調整例３１１０においては、物品有無センサによる陳列棚最前列の検出結果３１１１では、全列に物品有りである。一方、前面画像から識別した物品識別結果３１１２では、左から７列目の物品を識別できていない。この場合には、画像の誤識別３１１３と判断して、画像からの物品識別精度を向上させるように調整３１１４する。調整３１１４としては、物品識別の過程おける特徴点検出、局所特徴量生成、特徴点のクラスタリング、局所特徴量の照合の各パラメータや閾値などの調整を含む。

調整例３１２０においては、前面画像から識別した物品識別結果３１２２では、全列の物品が識別されている。一方、物品有無センサによる陳列棚最前列の検出結果３１２１では、２列目が物品無しとなっている。この場合には、物品有無センサの検出エラー３１２３と判断して、物品有無検出の精度を向上させるように調整３１２４する。調整３１２４としては、ＲＦＩＤリーダにおける応答信号の強度を判定する閾値の調整、ＲＦＩＤリーダからのコマンド送信する送信強度の調整などを含む。なお、物品識別結果には、陳列棚最前列だけではなく奥の物品の識別結果も含まれることがあるため、物品有無センサの検出エラーは、陳列棚最前列だけではなく後列まで全ての検出結果に基づいて判断してもよい。

《情報処理装置の機能構成》
図３２は、情報処理装置３２１０の機能構成を示すブロック図である。なお、図３２において、図４と同様の機能構成には同じ参照番号を付して、説明は省略する。

図３２のエラー履歴データベース３２１４は、物品識別部２１１が識別した物品配列と物品有無センサが検出した物品配列との照合でエラーとなった履歴を蓄積する。物品識別・物品有無照合部３２１７は、物品識別部２１１が識別した物品配列と物品有無センサが検出した物品配列とを照合して、不一致の場合には、エラーと判断する。そして、エラー履歴をエラー履歴データベース３２１４に蓄積すると共に、物品識別部２１１におけるパラメータ調整や物品配列生成部４０７におけるパラメータ調整を行なう。さらに、物品識別・物品有無照合部３２１７は、撮像部／物品有無センサ調整部３２１８に、どちらの調整が必要かの情報と共にエラー発生を通知する。撮像部／物品有無センサ調整部３２１８は、撮像部および／または物品有無センサを調整するためのデータを送信する。

《情報処理装置の処理手順》
図３３Ａは、情報処理装置３２１０の処理手順を示すフローチャートである。このフローチャートは、図１０ＡのＣＰＵ１０１０がＲＡＭ１０４０を使用しながら実行して、図３２の機能構成部を実現する。なお、図３３Ａにおいて、図１１Ａと同様のステップには同じステップ番号を付して、説明は省略する。

図３３Ａの図１１Ａとの相違は、情報処理装置３２１０が、ステップＳ３３０８において、物品有無センサからの物品有無データと前面画像から識別した物品配列との照合に基づいて、物品有無検出および／または物品識別の調整処理を行なう点である。

（物品有無検出および物品識別の調整処理）
図３３Ｂは、物品有無検出および物品識別の調整処理（Ｓ３３０８）の手順を示すフローチャートである。

情報処理装置３２１０は、ステップＳ３３２１において、物品有無結果と物品識別結果とを照合する。情報処理装置３２１０は、ステップＳ３３２３において、照合の結果に基づき分岐する。照合結果からエラーが無かった場合は、処理を終了する。

画像からの物品識別にエラーがある場合は、情報処理装置３２１０は、ステップＳ３３２５において、局所特徴量生成の閾値調整などの識別処理に関連する調整を行なう。そして、情報処理装置３２１０は、ステップＳ３３２７において、エラーが回復したかを判定する。エラー回復すれば処理を終了する。なお、ステップＳ３３２５の識別処理の調整とステップＳ３３２７の判定とは繰り返されるが、複雑になるため図３３Ｂには示していない。

エラーが回復しない場合は、情報処理装置３２１０は、ステップＳ３３２９において、撮像部の調整を行なう。情報処理装置３２１０は、ステップＳ３３３１において、エラーが回復したかを判定する。エラー回復すれば処理を終了する。なお、ステップＳ３３２９の撮像部の調整とステップＳ３３３１の判定とは繰り返されるが、複雑になるため図３３Ｂには示していない。エラーが回復しない場合は、物品識別系にエラーがあることを通知する。

ステップＳ３３２３の判定で物品有無検出エラーがある場合は、情報処理装置３２１０は、ステップＳ３３３５において、ＲＦＩＤリーダの物品有無検出の閾値調整などを行なう。情報処理装置３２１０は、ステップＳ３３３７において、エラーが回復したかを判定する。エラー回復すれば処理を終了する。なお、ステップＳ３３３５の物品有無センサの調整とステップＳ３３３７の判定とは繰り返されるが、複雑になるため図３３Ｂには示していない。エラーが回復しない場合は、物品有無検出系にエラーがあることを通知する。

なお、物品識別系と物品有無検出系との双方のエラー検出方法あるいはその調整方法は、本実施形態に限定されない。物品識別系と物品有無検出系とを紐付けて物品陳列管理をする本実施形態に特有のエラー検出方法あるいはその調整方法が他にも可能である。

本実施形態によれば、識別精度や検出精度を互いに高めて、陳列棚の物品配置の確実な把握ができる。

［第８実施形態］
次に、本発明の第８実施形態に係る情報処理装置を含む物品管理システムについて説明する。本実施形態に係る情報処理装置は、上記第２実施形態乃至第７実施形態と比べると、物品有無センサから得られた最前列の物品有無パターンと撮影画像から物品識別して得られた物品有無パターンとを照合して、撮影位置を特定する点で異なる。その他の構成および動作は、第２実施形態乃至第７実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

《物品管理システム》
図３４および図３５を参照して、本実施形態の物品管理システム３４００の構成と動作を説明する。

（システム概要）
図３４は、本実施形態に係る情報処理装置３４１０を含む物品管理システム３４００の概要を示す図である。なお、図３４において、図２Ａと同様の構成要素には同じ参照番号を付して、説明は省略する。

物品管理システム３４００は、情報処理装置３４１０と、カメラである撮像部２２０と、物品有無センサ２３０とを有する。撮像部２２０は、陳列棚２０１の最前列の画像を撮影する。なお、図３４には、簡単のため陳列棚２０１の最上段に、ボトル有り（ビット１で表わす）とボトル無し（ビット０で表わす）の配列例を示している。このように、第４実施形態のような棚マークや第５実施形態のように棚特有の物品配列を記憶して置かなくても、棚とその撮影位置を特定できる。

情報処理装置３４１０は、物品識別部２１１と、陳列数取得部２１２と、陳列認識部３４１３と、を有する。陳列認識部３４１３は、物品識別部２１１からの陳列棚２０１の最前列の物品有無パターンと、陳列数取得部２１２からの物品有無情報による最前列の物品有無パターンとを、照合する。かかる照合は、物品有無を含めて同じ位置のみでなく左右上下に画像取得位置を変えて行なう。合致する物品有無パターンが見付かれば、その陳列棚のどこを撮影しているかが判明する。したがって、画像から物品識別した物品有無パターンと物品有無センサからの物品有無パターンを紐付けることができるので、各物品の陳列棚２０１の陳列数を認識する。

（動作手順）
図３５は、本実施形態に係る情報処理装置３４１０を含む物品管理システム３４００の動作手順を示すシーケンス図である。なお、図３５において、第２実施形態の図３と同様のステップには同じステップ番号を付して、説明は省略する。

図３５においては、ステップＳ３５１０の物品識別結果と物品有無結果との物品有無パターンの照合が図３に付加されている。情報処理装置３４１０は、ステップＳ３５１０において、陳列棚の前面画像から識別して得た物品有無パターンと、物品有無センサから得られた陳列棚前面の物品有無パターンとを照合して、撮像部２２０からの画像位置と物品有無センサ位置とを紐付ける。

第４実施形態においては、棚マークを付加することで各物品識別位置と各物品有無センサの位置との紐付けに対応していた。また、第５実施形態においては、撮影画像から識別した陳列棚特有の物品配列により、撮像部２２０が撮影する画像位置を陳列棚の同じ位置に紐付けることで、各物品識別位置と各物品有無センサの位置とを紐付けた。本実施形態においては、棚マークや陳列棚特有の物品配列を準備することなく、棚とその撮影位置を特定して各物品識別位置と各物品有無センサの位置とを紐付けることができる。

《情報処理装置の機能構成》
図３６は、情報処理装置３４１０の機能構成を示すブロック図である。なお、図３６において、図４と同様の機能構成には同じ参照番号を付して、説明は省略する。

図３６の物品有無列照合部３６１９は、物品識別部２１１からの物品認識情報により生成される物品有無パターンと、物品有無情報受信部４０５が受信した物品有無情報から生成される物品有無パターンとを照合する。そして、物品有無パターンが合致する棚およびその撮影位置を特定する。

（物品列有無列照合）
図３７は、本実施形態に係る物品列有無列照合を説明する図である。

図３７の上段には、物品有無センサの検出データから生成された２つの陳列棚の最前列の物品配列パターン３７１０が図示されている。ここで、"●"が最前列の物品有り、"○"が最前列の物品無し、を表わしている。第１物品配列パターンは、陳列棚ＩＤ３７１１と、段３７１２と、物品配列パターン３７１３とを有する。第２物品配列パターンは、陳列棚ＩＤ３７１５と、段３７１６と、物品配列パターン３７１７とを有する。

図３７の下段には、画像から識別された物品から生成された物品有無パターン３７２１が図示されている。ここで、物品配列パターン３７１７で、物品配列パターン３７１３および物品配列パターン３７１７を操作する。本例においては、物品配列パターン３７１７と合致するパターンが、物品配列パターン３７１７の左から２列目の後（破線枠内）に現われる。その結果、画像から識別された物品から生成された物品有無パターン３７２１は、右側の陳列棚の２列目からを撮影していることは判明して、識別物品配列と物品有無配列とを紐付けることができる。なお、図３７においては、複数段を含むパターンを例に説明したが、１段の物品有無パターンであってもよい。

《情報処理装置の処理手順》
図３８Ａは、情報処理装置３４１０の処理手順を示すフローチャートである。このフローチャートは、図１０ＡのＣＰＵ１０１０がＲＡＭ１０４０を使用しながら実行して、図３６の機能構成部を実現する。なお、図３８Ａにおいて、図１１Ａと同様のステップには同じステップ番号を付して、説明は省略する。

図３８Ａの図１１Ａとの相違は、情報処理装置３４１０が、ステップＳ３８０６において、物品識別結果と物品有無結果との有無パターンの照合を行なって、棚とその撮影位置を特定する点である。

（物品列識別処理）
図３８Ｂは、物品列識別処理（Ｓ３８０６）の手順を示すフローチャートである。

情報処理装置３４１０は、ステップＳ３８２１において、撮影した物品有無パターンと物品有無センサによる物品有無パターンとを走査しながら照合する。情報処理装置３４１０は、ステップＳ３８２３において、合致する物品配列パターンが有るか否かを判定する。合致する物品配列パターンが有れば、情報処理装置３４１０は、ステップＳ３８２５において、合致する物品配列を有する陳列棚と撮影位置とを特定する。一方、合致する物品配列パターンが無ければ、情報処理装置３４１０は、ステップＳ３８２７において、陳列棚あるいは撮影位置が見付からないとしてエラー処理する。なお、ステップＳ３８２７において、エラー回数により物品識別精度や撮影位置・範囲を変えるように制御してもよい。

本実施形態によれば、第３実施形態や第４実施形態のように陳列棚を特定するための特別な操作なしに、物品陳列棚の撮影位置を確定できるので、撮影した画像に基づく物品の識別と、物品有無センサからの物品有無情報とを容易に紐付けることできる。

［第９実施形態］
次に、本発明の第９実施形態に係る情報処理装置を含む物品管理システムについて説明する。本実施形態に係る情報処理装置３９１０は、上記第２実施形態乃至第８実施形態と比べると、表示部３９１４と撮像部３９２０とが、情報処理装置３９１０から分離してタブレット端末３９３０に備えられた点で異なる。その他の構成および動作は、第２実施形態乃至第７実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

図３９は、物品管理システム３９００の概略構成を示す図である。物品管理システム３９００は、陳列棚２０１に設けられた物品有無センサ２３０と、物品管理サーバとしての情報処理装置３９１０とタブレット端末３９３０とを備えている。情報処理装置３９１０は、陳列数取得部３９１２と在庫データベース３９１５とを備えている。陳列数取得部３９１２は、物品有無センサ２３０からプレゼンスセンシングデータ（物品有無センサ２３０上の物品の有無を示すデータ）を受信して、物品列毎の陳列数を取得する。一方、在庫データベース３９１５は不図示のＰＯＳ端末などと連携して、物品の在庫数を物品種類ごとに管理している。

タブレット端末３９３０は、物品識別部３９１１と陳列認識部３９１３と撮像部３９２０と表示部３９１４を備える。つまりタブレット端末３９３０は撮像機能を内蔵する。物品識別部３９１１を、タブレット端末３９３０ではなく情報処理装置３９１０内に設けてもよい。その場合、撮像部３９２０で撮像した画像を情報処理装置３９１０に送信して、物品の識別処理を要求する。

タブレット端末３９３０は、フェイス（物品列）ごとの陳列数を情報処理装置３９１０から受信して、表示部３９１４において、撮像した画像（制止画またはライブビュー）に重畳して表示する。第２実施形態と同様に、表示部３９１４は、陳列数が０の商品がある場合、警告メッセージを表示してもよいし、その商品のサンプル画像データを受信または読み出して、何も陳列されていない棚に、どの物品を配列すべきかを店員に指示してもよい。

さらに、在庫データベース３９１５から読出した在庫数を、物品画像に重畳してまたは並べて表示してもよい。

このような構成によれば、タブレット端末３９３０を用いて陳列棚を撮像するだけで、撮像された画像に陳列数および／または在庫数が表示される。

なお、ここでは情報処理装置３９１０を用いた例を示したが、本発明はこれに限定されるものではない。例えばセンサシートからタブレット端末３９３０が直接、物品有無情報を受信して、物品毎の陳列数をカウントしてもよい。

［他の実施形態］
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。

Claims (18)

1. 同種の物品が手前から奥に向かって並べられた物品列を載置する陳列棚上に設けられた物品有無センサを用いて、前記物品列に含まれる物品の陳列数情報を取得する陳列数取得手段と、
   撮像手段が前記陳列棚の前面を撮影することにより取得した物品画像に基づいて、前記陳列棚に載置された物品列の先頭の物品の種類を識別する物品識別手段と、
   前記物品識別手段が識別した種類の物品の画像に重畳して、または前記物品の画像に並べて、前記陳列数取得手段で取得した該物品の陳列数情報を表示する表示手段と、
   を備えた情報処理装置。
2. 前記表示手段は、前記物品識別手段が識別した種類の前記物品の画像を、あらかじめ用意した画像データベースから読出して表示し、該画像に重畳して、または該画像に並べて、前記陳列数取得手段で取得した該物品の陳列数情報を表示する請求項１に記載の情報処理装置。
3. 前記表示手段は、前記撮像手段で撮像した前記物品の画像に重畳して、または前記画像に並べて、前記陳列数取得手段で取得した該物品の陳列数情報を表示する請求項１に記載の画像処理装置。
4. 全ての前記物品列の陳列数が１つ以上である状態で前記陳列棚を撮像するように前記撮像手段に対して撮像指示を送信する撮像指示手段をさらに有する請求項１、２または３に記載の情報処理装置。
5. 前記陳列棚に陳列されていないが、陳列できる物品の在庫数を記憶する記憶手段をさらに有し、
   前記表示手段は、前記陳列数取得手段で取得した該物品の陳列数情報と共に前記在庫数を前記物品ごとに表示する請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記表示手段は、さらに仮想陳列棚画像を表示し、前記物品の画像を、前記仮想陳列棚画像内において前記陳列棚と同じ配列で表示する請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記表示手段は、前記仮想陳列棚及び前記物品の配列を左右反転させて表示する反転表示機能を有する請求項６に記載の情報処理装置。
8. 前記撮像手段を内蔵する請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記物品識別手段は、
   前記画像から、複数の特徴点における局所特徴量を生成する局所特徴量生成手段と、
   前記複数の特徴点の座標に基づいて、前記複数の特徴点をクラスタリングする領域分割手段と、
   前記クラスタリングされた特徴点の局所特徴量と、物品の画像に基づいて生成された局所特徴量との照合により、物品を識別する照合手段と、
   を含む請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 前記陳列棚における複数の前記物品有無センサのそれぞれの位置とセンサ識別情報との対応関係を記憶するセンサ配置記憶手段をさらに備え、
    前記陳列数取得手段は、複数の前記物品有無センサから、前記センサ識別情報と共に各物品列の陳列数情報を取得し、
    前記センサ配置記憶手段を参照して、前記陳列数と前記物品識別手段により得られた物品の種類とを紐付けし、前記物品のそれぞれの陳列数を認識する請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 複数の前記物品有無センサが取り付けられたセンサシートをさらに備え、
    前記センサシートには、前記陳列棚の前面において、それぞれ固有のシートマークが取り付けられ、
    前記陳列数取得手段は、複数の前記物品有無センサから、前記センサシートの情報と共に各物品列の陳列数情報を取得し、
    前記物品識別手段は、さらに、前記撮像手段が撮影した画像に含まれる、前記シートマークを識別して前記センサシートの情報を取得し、
    前記センサシートの情報を用いて、前記陳列数情報と前記物品の種類とを紐付ける請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 前記陳列棚は複数用意され、前記陳列棚の前面において、それぞれ固有の棚マークが取り付けられており、
    前記物品識別手段は、さらに、前記棚マークを認識することにより、前記陳列数取得手段が取得した陳列数情報と前記物品識別手段により得られた物品の種類とを紐付ける請求項１０に記載の情報処理装置。
13. 前記陳列棚は複数用意され、
    前記陳列棚の少なくとも一部において、前記複数の物品の配列を記憶する物品配列記憶手段をさらに備え、
    前記物品の配列に基づいて陳列棚を特定して、前記陳列数情報と前記物品の種類とを紐付ける請求項１０に記載の情報処理装置。
14. 撮像手段が撮影した画像に基づいて識別した物品有無パターンと前記物品有無センサから受信した物品有無パターンとを照合することにより、前記陳列数情報と前記物品の種類とを紐付ける請求項１０に記載の情報処理装置。
15. 同種の物品が手前から奥に向かって並べられた物品列を載置する陳列棚上に設けられた物品有無センサを用いて、前記物品列に含まれる物品の陳列数情報を取得する陳列数取得ステップと、
    撮像手段が前記陳列棚の前面を撮影することにより取得した物品画像に基づいて、前記陳列棚に載置された物品列の先頭の物品の種類を識別する物品識別ステップと、
    前記物品識別ステップで識別した種類の物品の画像に重畳して、または前記物品の画像に並べて、前記陳列数取得ステップで取得した該物品の陳列数情報を表示する表示ステップと、
    を備えた情報処理装置の制御方法。
16. 同種の物品が手前から奥に向かって並べられた物品列を載置する陳列棚上に設けられた物品有無センサを用いて、前記物品列に含まれる物品の陳列数情報を取得する陳列数取得ステップと、
    撮像手段が前記陳列棚の前面を撮影することにより取得した物品画像に基づいて、前記陳列棚に載置された物品列の先頭の物品の種類を識別する物品識別ステップと、
    前記物品識別ステップで識別した種類の物品の画像に重畳して、または前記物品の画像に並べて、前記陳列数取得ステップで取得した該物品の陳列数情報を表示する表示ステップと、
    をコンピュータに実行させる情報処理装置の制御プログラム。
17. 同種の物品が手前から奥に向かって並べられた物品列を載置する陳列棚上に設けられた物品有無センサと、
    前記物品有無センサを用いて、前記物品列に含まれる物品の陳列数情報を取得する陳列数取得手段と、
    前記陳列棚の前面を撮影する撮像手段と、
    前記撮像手段が取得した物品画像に基づいて、前記陳列棚に載置された物品列の先頭の物品の種類を識別する物品識別手段と、
    前記物品識別手段が識別した種類の物品の画像に重畳して、または前記物品の画像に並べて、前記陳列数取得手段で取得した該物品の陳列数情報を表示する表示手段と、
    を備えた情報処理システム。
18. 前記撮像手段および前記物品識別手段および前記表示手段を備えたタブレット端末と、
    前記陳列数取得手段を備えたサーバと、
    を備えた請求項１７に記載の情報処理システム。
    

Images