JP2020119000A - 情報処理装置、棚管理システム、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】棚管理システムにおける利便性を向上させる。【解決手段】商品を識別する商品識別情報と、商品の配置位置を示す位置情報とを関連づけた商品配置情報を記憶する記憶部と、複数の商品が陳列された棚が撮像された画像を取得する画像取得部と、画像に含まれる商品ごとに、商品を認識する認識部と、画像に含まれる商品ごとに、商品の配置位置を特定する特定部と、認識された商品の商品識別情報と、特定された配置位置を示す位置情報との対応関係が、商品配置情報に記憶されているか否かを判定する判定部と、対応関係が商品配置情報に記憶されていない場合、認識された商品の商品識別情報に対応する商品の位置情報を、商品配置情報から取得する位置情報取得部と、取得された商品の位置情報を出力する出力部と、を備える。【選択図】図５

Description

本開示は、情報処理装置、棚管理システム、情報処理方法、及びプログラムに関する。

近年、商品画像を用いて商品の棚割を管理するシステムの開発が行われている。例えば、特許文献１には、商品棚における商品の配置状況に変化が生じると推定される画像を取得し、この画像に写る商品の種別及び配置状況が所定の商品種別及び配置状況と一致しているかを判定し、判定結果に基づいて商品配置検査を実行することが開示されている。

再公表２０１６−１１７６００号

しかしながら、従来の棚管理システムにおいて、その利便性には改善の余地がある。例えば、商品の配置位置が適切ではない場合、店員は、商品の適切な配置位置を容易に把握することができないという課題がある。

本発明は、以上説明した事情を鑑みてなされたものであり、棚管理システムにおける利便性を向上させることが可能な情報処理装置、棚管理システム、情報処理方法、及びプログラムを提供することを目的の一つとする。

本開示の一実施形態に係る情報処理装置は、商品を識別する商品識別情報と、前記商品の配置位置を示す位置情報とを関連づけた商品配置情報を記憶する記憶部と、複数の商品が陳列された棚が撮像された画像を取得する画像取得部と、前記画像に含まれる商品ごとに、前記商品を認識する認識部と、前記画像に含まれる商品ごとに、前記商品の配置位置を特定する特定部と、認識された商品の商品識別情報と、特定された配置位置を示す位置情報との対応関係が、前記商品配置情報に記憶されているか否かを判定する判定部と、前記対応関係が前記商品配置情報に記憶されていない場合、前記認識された商品の商品識別情報に対応する商品の位置情報を、前記商品配置情報から取得する位置情報取得部と、取得された前記商品の位置情報を出力する出力部と、を備える。

開示の技術によれば、棚管理システムにおける利便性を向上させることが可能となる。

第１実施形態に係る棚管理システム１の概略構成を示す図である。 第１実施形態に係る情報処理装置１０４のハードウェア構成の一例を示す図である。 第１実施形態に係る撮像装置１０２の機能構成の一例を示す図である。 撮像装置１０２と各棚との関係の一例を示す図である。 第１実施形態に係る情報処理装置１０４の機能構成の一例を示す図である。 商品配置情報の一例を示す図である。 ディープラーニングを用いる認識部４０８の機能構成の一例を示す図である。 不適切な位置にある商品に対するエラーメッセージの一例を示す図である。 欠品アラート、及び期限アラートの一例を示す図である。 販売効率の良い棚位置情報を伝えるメッセージの一例を示す図である。 実施形態におけるシステムの棚管理処理の一例を示すフローチャートである。 撮像装置１０２の設置位置の他の例を示す図である。 第２実施形態における情報処理装置１０４の機能構成の一例を示す図である。 第２実施形態におけるユーザ端末７００の機能構成の一例を示す図である。 商品検索画面の一例を示す図である。 検索結果画面の一例を示す図である。 第２実施形態におけるシステムの商品検索処理の一例を示すシーケンス図である。

以下、本発明の実施形態について図面を参照しつつ詳細に説明する。なお、同一の要素には同一の符号を付し、重複する説明を省略する。

Ａ．第１実施形態
第１実施形態では、大型量販店やスーパーマーケットなどにおいて、商品が陳列された棚の画像から商品位置を管理するシステムを想定するが、商品を販売するあらゆる店舗（コンビニエンスストアや専門店など）にも適用可能である。また、棚に陳列されるものは商品に限らず、撮像画像に含まれる物体を棚に配置して管理する場合にも適用可能である。以下、物体は、商品を例にして説明するが、これに限られるものではない。

（１）構成
＜システム構成＞
図１は、第１実施形態に係る棚管理システム１の概略構成を示す図である。図１に示すように、棚管理システム１は、撮像装置１０２Ａと、撮像装置１０２Ｂと、撮像装置１０２Ｃと、情報処理装置１０４とを有する。また、上述した装置の全部又は一部は、通信ネットワークを介して相互通信可能に接続されている。通信ネットワークは、例えば、インターネット、ＬＡＮ、専用線、電話回線、企業内ネットワーク、移動体通信網、Bluetooth（登録商標）、ＷｉＦｉ（Wireless Fidelity）、その他の通信回線、それらの組み合わせ等のいずれであってもよく、有線であるか無線であるかを問わない。なお、撮像装置（例えばカメラ）や情報処理装置（例えばサーバ）の数は上記例に限られず、システムの規模に応じて適宜必要な数の撮像装置や情報処理装置が設けられれば良い。以下、撮像装置１０２Ａ、１０２Ｂ、１０２Ｃを個別に区別せず、まとめて表現する場合は、単に「撮像装置１０２」と表記する。

撮像装置１０２は、店舗内の所定の棚を撮像できる位置に設置され、棚に陳列された商品を含む棚を撮像する。撮像装置１０２は、所定のタイミングで棚を撮像する。所定のタイミングとは、例えば、定期的にでもよいし、管理者により指示されたときなどである。また、撮像装置１０２は、撮像した画像を情報処理装置１０４に送信する際、自身の識別情報（撮像装置ＩＤ）とともに送信する。撮像装置１０２Ａ、１０２Ｂ、１０２Ｃは、撮像される棚が重複しないように設置されるとよい。

情報処理装置１０４は、例えば店舗内のサーバや、店舗外のクラウドサーバであり、各撮像装置１０２から画像を受信し、画像内の各商品を認識し、認識した各商品の棚における位置情報を特定する。情報処理装置１０４は、商品識別情報（商品ＩＤ）と、棚における商品の配置位置を示す位置情報とを対応づけて記憶しているため、商品の位置が適切か否かを判定し、不適切な位置にある商品を特定することができる。

また、情報処理装置１０４は、例えば棚に陳列された所定の商品が全てなくなった場合には、この所定の商品を欠品の商品として認識することができる。また、情報処理装置１０４は、棚に陳列された商品の消費期限や賞味期限を管理しておくことで、この消費期限や賞味期限と現在時刻とを比較し、期限切れの商品を特定することができる。また、情報処理装置１０４は、例えば小売企業等から各商品の販売実績を取得することで、商品の販売実績に基づく、棚の位置の販売効率等を取得することができる。

＜ハード構成＞
図２は、第１実施形態に係る情報処理装置１０４のハードウェア構成の一例を示す図である。図２に示すように、情報処理装置１０４は、プロセッサ２０２と、メモリ２０４と、ストレージ２０６と、入出力インタフェース（入出力Ｉ／Ｆ）２０８と、通信インタフェース（通信Ｉ／Ｆ）２１０とを含む。情報処理装置１０４のＨＷの各構成要素は、例えばバスＢを介して相互に接続される。

情報処理装置２０は、プロセッサ２０２と、メモリ２０４と、ストレージ２０６と、入出力Ｉ／Ｆ２０８と、通信Ｉ／Ｆ２１０との協働により、第１実施形態に記載される機能、及び／又は方法を実現する。

プロセッサ２０２は、ストレージ２０６に記憶されるプログラムに含まれるコードまたは命令によって実現する機能、および／または、方法を実行する。プロセッサ２０２は、例えば、中央処理装置（ＣＰＵ）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ、マイクロプロセッサ（microprocessor）、プロセッサコア（processor core）、マルチプロセッサ（multiprocessor）、ＡＳＩＣ（Application-Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等を含む。

メモリ２０４は、ストレージ２０６からロードしたプログラムを一時的に記憶し、プロセッサ２０２に対して作業領域を提供する。メモリ２０４には、プロセッサ２０２がプログラムを実行している間に生成される各種データも一時的に格納される。メモリ２０４は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などを含む。

ストレージ２０６は、プロセッサ２０２により実行されるプログラム等を記憶する。ストレージ２０６は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、 フラッシュメモリなどを含む。

入出力Ｉ／Ｆ２０８は、情報処理装置１０４に対する各種操作を入力する入力装置、および、情報処理装置１０４で処理された処理結果を出力する出力装置を含む。入出力Ｉ／Ｆ２０８は、入力装置と出力装置が一体化していてもよいし、入力装置と出力装置とに分離していてもよいし、情報処理装置１０４外の入力装置及び出力装置に接続されていてもよい。

入力装置は、ユーザからの入力を受け付けて、当該入力に係る情報をプロセッサ２０２に伝達できる全ての種類の装置のいずれか、または、その組み合わせにより実現される。入力装置は、例えば、タッチパネル、タッチディスプレイ、キーボード等のハードウェアキーや、マウス等のポインティングデバイス、カメラ（画像を介した操作入力）、マイク（音声による操作入力）を含む。

出力装置は、プロセッサ２０２で処理された処理結果を出力することができる全ての種類の装置のいずれか、または、その組み合わせにより実現される。当該処理結果を映像、および／または、動画像として出力する場合、出力装置は、フレームバッファに書き込まれた表示データに従って、当該表示データを表示することができる全ての種類の装置のいずれかまたはその組み合わせにより実現される。出力装置は、例えば、タッチパネル、タッチディスプレイ、モニタ（例えば、液晶ディスプレイ、ＯＥＬＤ（Organic Electroluminescence Display）など）などに画像やテキスト情報等を表示可能な装置、スピーカ（音声出力）などを含む。

通信Ｉ／Ｆ２１０は、ネットワークを介して各種データの送受信を行う。当該通信は、有線、無線のいずれで実行されてもよく、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。通信Ｉ／Ｆ２１０は、ネットワークを介して、他の情報処理装置との通信を実行する機能を有する。通信Ｉ／Ｆ２１０は、各種データをプロセッサ２０２からの指示に従って、他の情報処理装置に送信する。また、通信Ｉ／Ｆ２１０は、他の情報処理装置から送信された各種データを受信し、プロセッサ２０２に伝達する。

第１実施形態のプログラムは、コンピュータに読み取り可能な記憶媒体に記憶された状態で提供されてもよい。 記憶媒体は、「一時的でない有形の媒体」に、プログラムを記憶可能である。プログラムは、例えば、ソフトウェアプログラムやコンピュータプログラムを含む。

情報処理装置１０４における処理の少なくとも一部は、１以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。情報処理装置１０４における処理の少なくとも一部を、他の情報処理装置により行う構成としてもよい。この場合、プロセッサ２０２により実現される各機能部の処理のうち少なくとも一部の処理を、他の情報処理装置で行う構成としてもよい。

＜撮像装置の機能構成＞
図３は、第１実施形態に係る撮像装置１０２の機能構成の一例を示す図である。図３に示す例では、撮像装置１０２は、撮像部３０２と、送信部３０４とを有する。撮像部３０２は、例えば、複数の商品が陳列された棚を撮像する。撮像部３０２は、複数の商品を含む棚全体が写るようにして撮像する。撮像部３０２は、撮像した画像を送信部３０４に出力する。ここで、撮像装置と棚との関係について説明する。

（撮像装置と棚の関係）
図４は、撮像装置１０２と各棚との関係の一例を示す図である。図４に示す例では、撮像装置１０２は、４個（１０２Ａ、１０２Ｂ、１０２Ｃ、１０２Ｄ）設置される。また、図４に示す店舗のレイアウトは、例えば１階（１Ｆ）のフロアのレイアウトを示しており、各棚に識別情報（以下、「棚ＩＤ」とも称す。）が割り当てられる。例えば、棚ＩＤの例として、「１Ｆ１１」、「１Ｆ１２」などである。また、各棚ＩＤには、自身の棚が撮像される撮像装置の識別情報（以下、「撮像装置ＩＤ」とも称す。）が割り当てられる。例えば、撮像装置１０２Ａの撮像装置ＩＤを「１」、撮像装置１０２Ｂの撮像装置ＩＤを「２」とすると、棚ＩＤ「１Ｆ１１」には、撮像装置ＩＤ「１」が対応付けられ、棚ＩＤ「１Ｆ１３」には、撮像装置ＩＤ「２」が対応付けられる。

また、棚には、複数の棚板があり、各棚板には識別情報（以下、「棚板ＩＤ」とも称す。）が割り当てられ、例えば、鉛直方向の上又は下から順番に、１，２，３などの番号が割り当てられる。また、各棚には、鉛直方向の仕切りが存在する場合があり、この仕切りごとに番号（以下、「地番」とも称す。）が割り当てられ、例えば、撮像画像の左から、１，２，３などの番号が割り当てられる。なお、これらのＩＤの割り当て方は一例であって、棚の所定位置を画像により識別できるようにＩＤが設定されていれば、いずれの割り当て方でもよい。

図３に戻り、送信部３０４は、撮像部３０２により生成された撮像画像を、情報処理装置１０４に送信する。例えば、送信部３０４は、撮像画像とともに、自身の撮像装置ＩＤを情報処理装置１０４に送信する。これにより、情報処理装置１０４は、撮像装置ＩＤに基づき、どの撮像装置から画像を取得したかを特定することができる。

＜情報処理装置の機能構成＞
図５は、第１実施形態に係る情報処理装置１０４の機能構成の一例を示す図である。図５に示す例では、情報処理装置１０４は、通信部４０２と、記憶部４０４と、画像取得部４０６と、認識部４０８と、特定部４１０と、判定部４１２と、位置情報取得部４１４と、出力部４１６と、実績取得部４１８とを有する。

通信部４０２は、例えば通信Ｉ／Ｆ２１０により実現され、記憶部４０４は、例えばストレージ２０６により実現されうる。画像取得部４０６、認識部４０８、特定部４１０、判定部４１２、位置情報取得部４１４、及び実績取得部４１８は、例えばプロセッサ２０２及び作業領域としてのメモリ２０４などにより実現されうる。出力部４１６は、例えば入出力Ｉ／Ｆ２０８などにより実現されうる。

通信部４０２は、撮像装置１０２から画像及び撮像装置ＩＤを受信する受信部や、情報処理装置１０４内で処理された結果を他の装置に送信する送信部として機能する。処理された結果は、後述する棚管理のエラー処理を含む。

記憶部４０４は、商品を識別する商品識別情報（以下、「商品ＩＤ」とも称す。）と、商品の配置位置を示す位置情報とを関連づけた商品配置情報などを記憶する。また、商品配置情報には、商品ＩＤに関連付けて、在庫情報や、消費期限又は賞味期限などの期限情報が含まれてもよい。商品配置情報は、図６を用いて説明する。また、記憶部４０４は、撮像装置１０２から取得した画像を一定期間記憶するようにしてもよい。

（商品配置情報）
図６は、商品配置情報の一例を示す図である。図６に示す例では、商品配置情報は、商品ＩＤに対し、棚位置情報、在庫情報、及び期限情報が関連付けられる。例えば、商品ＩＤ「１１１１１１１」には、棚位置情報「１Ｆ４２−６−１−１」、在庫「３０」、期限「２０１８／１１／８」が関連付けられている。

棚位置情報は、例えば、棚ＩＤ、撮像装置ＩＤ、棚板ＩＤ、及び地番が順番にハイフン（−）で連結された情報である。これにより、棚位置情報に基づいて、商品が配置された位置を一意に特定することが可能になる。具体的には、取得された画像に付与された撮像装置ＩＤに基づき、棚ＩＤと撮像装置ＩＤとが特定されることで、どのフロアのどの棚であるかが特定される。次に、画像内の棚板を画像認識することで、棚板ＩＤが特定され、特定された棚板ＩＤに基づき、どの棚板かが特定される。さらに、画像内の左からの仕切りスペース等を画像認識することで、地番が特定され、特定された地番に基づき、棚板のどのスペースであるかが特定される。

これにより、撮像された画像から、商品が配置された位置情報を取得することが可能になる。なお、上述した配置位置の特定方法は、あくまでも一例であって、棚のどの位置に商品が配置されているかを特定できるのであれば、その方法を用いることで、第１実施形態は実現されうる。例えば、棚の所定位置にユニークなマークやＩＤを示すシールを付与することで、画像に含まれるマークを画像認識することにより、棚の位置が特定されてもよい。

在庫情報は、商品ＩＤに対応する商品の在庫状況を示す情報である。これにより、棚に陳列された商品の欠品時に、発注が必要であるか否かを店員に知らせたりすることができる。また、撮像装置１０２により撮像された画像から、何個商品が補充されたかを認識部４０８等により認識することで、在庫情報の数を自動で増減することも可能である。

期限情報は、商品に付与された消費期限、又は賞味期限を示す情報である。陳列されている商品の中で、最も早く到来する期限情報が管理される。例えば、陳列される商品の中には、異なる期限情報を有する商品が存在する可能性がある。この場合、最も早く到来する期限情報が管理されることで、期限切れの商品を販売することを防止することができる。また、画像から期限情報を認識することができる場合がある。例えば、期限情報が記載されたラベルが、撮像装置１０２から撮像される範囲内にある場合である。このとき、認識部４０８は、認識された期限情報と、登録されている期限情報とを比較し、認識された期限情報の方が早ければ、商品配置情報の期限情報を、認識された期限情報に更新する。これにより、陳列された商品群の最前列にある商品であり、お客様が手にしやすい商品の期限を管理することが可能になる。

なお、商品配置情報は、上述した情報以外にも、商品名や商品のカテゴリなどを関連付けておくようにしてもよい。また、商品配置情報は、商品ＩＤをマスタキーとして、商品情報と、棚位置情報とに分けて管理されてもよい。例えば、商品情報は、商品ＩＤに関連付けて、商品名、カテゴリ、価格、在庫情報、及び期限情報などを含み、棚位置情報は、商品ＩＤに関連付けて、棚位置情報などを含む。

図５に戻り、画像取得部４０６は、通信部４０２により受信された、複数の商品が陳列された棚が撮像された画像を取得する。画像には、１又は複数の棚が含まれ、各棚に陳列された商品が含まれる。

認識部４０８は、画像に含まれる商品ごとに、商品を認識する。認識の方法としては様々な方法があるが、簡易な方法としては、商品ごとに複数の商品画像を保持しておき、パターンマッチングを用いて、一番類似する商品を認識する方法である。

また、店舗が大量の商品を扱う場合に、商品を適切に認識する方法が望まれている。このとき、様々な角度から撮像した大量の商品画像を用いてディープラーニング（深層学習）を行い、商品認識のためのモデルを作成しておくことが考えられる。これにより、認識対象の商品画像が取得されたとき、このモデルを用いて商品を適切に認識することが可能になる。

（認識部の構成の一例）
図７は、ディープラーニングを用いる認識部４０８の機能構成の一例を示す図である。図７に示す例では、認識部４０８は、第１制御部５０２と、第１認識処理部５０４と、第２認識処理部５０６とを有する。

第１制御部５０２は、画像取得部５１２と、第１取得部５１４と、判定部５１６と、第２取得部５１８と、出力部５２０とを有する。画像取得部５１２は、第２撮像装置１０８から認識対象の第１商品画像を取得する。画像取得部５１２は、取得した第１商品画像を第１認識処理部５０４に出力する。

第１認識処理部５０４は、各商品の商品ＩＤがラベル付けされた複数の商品画像を複数用いる学習によって生成された商品認識のための第１モデルと、複数の類似商品を含むグループのグループＩＤとに基づき、商品の認識処理を行う認識部を複数有する。各認識部は、ＧＰＵとＣＰＵとの組み合わせにより実現されてもよい。

なお、各認識部は、取得した画像から特定した第１商品画像に対し、自身が保持する第１モデルを用いて認識処理（一次認識処理）を行う。各認識部は、認識結果として、第１商品画像に一番近い商品の商品ＩＤと、その類似度とを取得する。このとき、商品ＩＤが類似商品リストに含まれる場合、商品ＩＤを含むグループのグループＩＤが認識結果に含まれる。類似度は、例えば画像同士の二乗誤差などの公知の類似度が用いられればよい。第１認識処理部５０４は、類似度が一番大きい商品ＩＤ又はグループＩＤを第１取得部５１４に出力する。類似商品リストは、学習装置（不図示）により、商品画像同士の類似度などを用いて類似商品を判別し、類似商品をグループ化し、グループにグループＩＤを付与することで生成可能である。

第１取得部５１４は、第１認識処理部５０４から、認識された商品が類似商品であれば、類似商品のグループＩＤを取得し、認識された商品が類似商品でなければ、認識された商品の商品ＩＤを取得する。例えば、第１取得部５１４は、各認識部により出力された認識結果内で、類似度が一番大きい商品ＩＤ又はグループＩＤを第１認識処理部５０４から取得する。

判定部５１６は、第１取得部５１４により取得されたＩＤは、商品ＩＤであるかグループＩＤであるかを判定する。判定部５１６は、判定結果が商品ＩＤであれば、出力部５２０に商品ＩＤを出力する。また、判定部５１６は、判定結果がグループＩＤであれば、商品画像を第２認識処理部５０６に出力する。

第２認識処理部５０６は、複数の類似商品の商品画像を用いる学習によって生成された類似商品認識のための第２モデルに基づき、類似商品の認識処理（二次認識処理）を行う第２認識部５３４（認識部Ｘ１，Ｘ２，・・・）を１又は複数有する。また、第２認識処理部５０６は、類似商品用の認識部を制御する第２制御部５３２を有する。

第２制御部５３２は、各認識部から認識結果を取得する。認識結果は、商品ＩＤや類似度を含む。例えば、第２制御部５３２は、取得した各認識結果に含まれる類似度が一番高い商品ＩＤを特定し、特定した商品ＩＤを第２取得部５１８に出力する。

第２取得部５１８は、第２認識処理部５０６から、類似商品の認識結果を取得する。認識結果には、商品ＩＤが含まれる。第２取得部５１８は、商品ＩＤを出力部５２０に出力する。

出力部５２０は、第１取得部５１４、又は第２取得部５１８により取得された商品ＩＤを特定部４１０に出力する。

図５に戻り、特定部４１０は、画像に含まれる商品ごとに、商品の配置位置を特定する。前提として、画像には、撮像装置ＩＤが付与されている。また、撮像装置ＩＤには、棚の識別情報（棚ＩＤ）が関連付けられて、例えば記憶部４０４に記憶されている。さらに、特定部４１０は、画像から棚板を特定して、例えば上から順番に棚板の識別情報（棚板ＩＤ）を割り当てる。また、特定部４１０は、例えば画像の左から棚の鉛直方向の区切り単位で番号を付与する。これにより、商品の配置を示す位置情報は、「棚ＩＤ＋撮像装置ＩＤ＋棚ＩＤ＋番号」となる。記憶部４０４に記憶される商品配置情報に含まれる位置情報は、「棚ＩＤ＋撮像装置ＩＤ＋棚ＩＤ＋番号」の形式で記憶される。特定部４１０は、認識部４０８により認識された商品の商品ＩＤと商品の位置情報とを対応づけて判定部４１２に出力する。

判定部４１２は、認識部４０８により認識された商品の商品識別情報と、特定部４１０により特定された配置位置を示す位置情報との対応関係が、商品配置情報に記憶されているか否かを判定する。例えば、判定部４１２は、認識された商品の商品ＩＤと、特定された位置情報の対応関係が、記憶部４０４に記憶される商品ＩＤと位置情報との対応関係と異なる場合、認識された商品の配置位置は適切ではないと判定する。一方で、判定部４１２は、認識された商品の商品ＩＤと、特定された位置情報の対応関係が、記憶部４０４に記憶される商品ＩＤと位置情報との対応関係と同じ場合、認識された商品の配置位置は適切であると判定する。

位置情報取得部４１４は、対応関係が商品配置情報に記憶されていない場合、認識部４０８により認識された商品の商品ＩＤに対応する商品の位置情報を、商品配置情報から取得する。商品配置情報には、商品の適切な配置位置が記憶されている。

出力部４１６は、位置情報取得部４１４により取得された商品の位置情報を出力する。例えば、出力部４１６は、情報処理装置１０４が有する表示装置や、店員が保持するタブレット端末などに適切な商品の位置情報を出力する。

これにより、画像認識により認識された商品の配置位置を適切に管理することができ、さらに不適切な位置にある商品に対して、適切な配置位置を提示することができるようになる。

また、記憶部４０４は、店舗のレイアウトを示すレイアウト情報を記憶してもよい。この場合、商品の配置を示す位置情報は、店舗のレイアウトにおける位置を示してもよい。また、出力部４１６は、位置情報取得部４１４により取得された商品の位置情報を、レイアウトにおける位置として表示してもよい。これにより、店舗レイアウトを用いて、商品が配置されるべき適切な位置を示すことができ、店員等が商品の適切な位置を容易に把握することができる。

また、出力部４１６は、認識及び特定された対応関係が商品配置情報に記憶されていないと判定された商品を含む画像を、適切な位置情報とともに出力してもよい。これにより、どの棚で商品が不適切に配置されているかを画像により提示することが可能であり、店員等が不適切な位置に配置された商品を容易に把握することができる。

また、出力部４１６は、位置情報とともに出力される画像において、不適切な位置に配置されている商品を、他の商品とは異なる態様で表示してもよい。例えば、出力部４１６は、不適切な位置に配置されている商品を枠で囲ったり、強調表示したりする。これにより、どの商品が不適切に配置されているかを画像により提示することが可能であり、店員等が不適切な位置に配置された商品をより容易に把握することができる。

特定部４１０は、画像に含まれる商品ごとに、消費期限又は賞味期限を特定してもよい。この場合、判定部４１２は、認識された消費期限又は賞味期限が、現在の日時を経過しているか否かを判定する。位置情報取得部４１４は、消費期限又は賞味期限が現在の日時を経過している商品の商品ＩＤに対応する商品の位置情報を、商品配置情報から取得する。また、出力部４１６は、消費期限又は賞味期限が現在の日時を経過している商品の位置情報を、対応関係が商品配置情報に記憶されていない商品の位置情報とは異なる態様で出力する。これにより、消費期限又は賞味期限が切れた商品を特定し、提示することが可能になる。

また、実績取得部４１８は、例えば小売業者から各商品の購買実績を取得する。この場合、位置情報取得部４１４は、購買実績に応じて所定の商品の位置情報を、商品配置情報から取得する。出力部４１６は、購買実績に応じた所定の商品の位置情報を、他の商品の位置情報とは異なる態様で出力する。例えば、出力部４１６は、店舗内で、一番売れている商品の位置を特定し、強調表示したり、販売数の上位所定個の商品の位置を特定し、色分け表示したりする。これにより、店舗内のレイアウトにおける販売効率を分析することが可能になる。

＜出力の態様＞
次に、図８Ａ〜図８Ｃを用いて、出力の態様の例について説明する。図８Ａは、不適切な位置にある商品に対するエラーメッセージ（位置アラート）の一例を示す図である。図８Ａに示す例では、出力部４１６は、撮像された画像に対して不適切な商品を強調表示し、正しい配置場所（配置位置）を提示する。正しい配置場所は、認識された商品の商品ＩＤに基づいて、商品配置情報から特定可能である。出力部４１６は、図８Ａに示すような出力画面の情報を、店員が所有するタブレット端末等に表示してもよいし、店舗内の管理者等が確認する情報処理装置の表示装置に表示してもよい。

図８Ｂは、欠品アラート、及び期限アラートの一例を示す図である。図８Ｂに示す例では、出力部４１６は、店舗のレイアウトにおける商品の位置に対し、欠品アラート、及び期限アラートを提示する。欠品アラートは、特定部４１０により特定された棚位置情報に、商品が存在せず、さらに商品配置情報内に、この棚位置情報の商品ＩＤが対応付けられている場合に出力される。この場合、欠品となっている商品の棚位置情報が、レイアウト内で強調表示され、欠品アラートのメッセージが、強調表示された棚位置を指示してレイアウト内に表示される。このメッセージは、商品の補充を促すメッセージであり、棚位置情報を含む。また、出力部４１６は、補充すべき商品ＩＤや商品名を欠品アラートに含めるようにしてもよい。また、欠品アラートは、位置アラートとは異なる態様で表示されてもよい。

期限アラートは、現在日時が、商品配置情報に含まれる期限情報が示す期限を経過した場合に出力される。この場合、期限が経過している商品の棚位置情報が、レイアウト内で強調表示され、期限アラートが、強調表示された棚位置を指示してレイアウト内に表示される。また、出力部４１６は、交換すべき商品の商品ＩＤや商品名を期限アラートに含めるようにしてもよい。また、期限アラートは、欠品アラートや、位置アラートとは異なる態様で表示されてもよい。

図８Ｃは、販売効率の良い棚位置情報を伝えるメッセージの一例を示す図である。図８Ｃに示す例では、出力部４１６は、撮像された画像に対して、店舗内で一番売れている商品の棚位置を強調表示し、最も売れる場所であることを伝えるメッセージを表示する。また、出力部４１６は、最も売れる商品ＩＤや商品名をメッセージに含めるようにしてもよい。

（２）動作説明
次に、第１実施形態に係る棚管理システム１の動作について説明する。図９は、第１実施形態におけるシステムの棚管理処理の一例を示すフローチャートである。図９に示す例では、棚管理システム１において、ステップＳ１０２で、撮像装置１０２は、複数の商品を含む商品棚を撮像する。撮像装置１０２は、店舗内の棚を俯瞰できるよう上部に設置されたり、棚の内部に設置されたりする。

ステップＳ１０４で、撮像装置１０２は、撮像した画像を情報処理装置１０４に送信する。情報処理装置１０４は、店舗内のサーバ等であり、撮像装置１０２とはネットワークを介して接続される。

ステップＳ１０６で、情報処理装置１０４の画像取得部４０６は、撮像装置１０２からの画像を取得する。

ステップＳ１０８で、情報処理装置１０４の認識部４０８は、既に登録されている商品画像などを用いてパターンマッチングを行うことで、商品を認識する。なお、より適切に商品認識を行う場合は、ディープラーニングを用いて、商品認識用に生成されたモデルを用いて、商品を認識してもよい（例えば図７参照）。

ステップＳ１１０で、情報処理装置１０４の特定部４１０は、撮像装置１０２により撮像された画像から、商品の棚位置を特定する。特定部４１０は、棚位置の特定について、上述したとおり、画像に付与される撮像装置ＩＤと、このＩＤに対応付けられた棚ＩＤとに基づき、棚の位置を特定する。また、特定部４１０は、画像から、棚板と、その垂直方向の仕切り位置とを特定してもよい。

ステップＳ１１２で、判定部４１２は、認識部４０８により認識された商品の商品ＩＤと、特定部４１０により特定された配置位置を示す位置情報とに基づいて、エラー判定を行う。例えば、判定部４１２は、認識された商品ＩＤと特定された位置情報との対応関係が、記憶部４０４内の商品配置情報に記憶されているか否かを判定する（位置エラー判定処理）。また、判定部４１２は、上述した欠品の判定処理や期限経過の判定処理について実行してもよい。少なくとも１つエラー（不適切な位置に配置、欠品、期限経過）があれば、処理はステップＳ１１４に進み、エラーがなければ、処理が終了する。

ステップＳ１１４で、出力部４１６は、エラーの種類に応じて、メッセージを出力する。例えば、出力部４１６は、不適切な位置の商品が判定された場合は、その旨を出力し（例えば図８Ａ）、欠品、及び／又は期限経過が判定された場合は、その旨を出力する（例えば図８Ｂ）。

以上説明したように、第１実施形態に係る棚管理システム１によれば、棚管理の利便性を向上させることができる。例えば、棚管理システム１は、不適切な位置に配置された商品に対し、適切な位置を提示すること、欠品が生じた棚を特定して店員に補充の必要性を知らせること、期限切れ商品を特定して店員に交換の必要性を知らせること、および購買履歴に基づく棚位置ごとの販売効率を分析したりすることの少なくとも１つを実行することが可能である。

図１０は、撮像装置１０２の設置位置の他の例を示す図である。図１０に示す例では、撮像装置１０２の位置を棚ＩＤ「１Ｆ１０」の棚内の中央付近に設置する。撮像装置１０２は、正面の棚全体を撮像するようにする。正面の棚に設置された撮像装置１０２は、棚「１Ｆ１０」全体を撮像する。例えば、棚「１Ｆ１０」の向かいにある撮像装置１０２により撮像された画像に付与される撮像装置ＩＤから、棚ＩＤ「１Ｆ１０」が特定される。撮像された画像から、棚板、及び／又は棚（水平方向を区切るスペース）の特定が行われる。例えば、棚板は上から順番に番号が割り振られる。棚の特定は、左から順番に番号が割り振られる。すなわち、図１０に示す左側の一番上の棚板の棚位置情報は、「１Ｆ１０−撮像装置ＩＤ−１−１」となり、図１０に示す右側の上から３番目の棚板の棚位置情報は、「１Ｆ１０−撮像装置ＩＤ−３−１」である。

Ｂ．第２実施形態
第２実施形態では、第１実施形態で説明した棚管理システム１を用いて、ユーザに商品の位置を提示するシステムについて説明する。例えば、ユーザが、店舗内で所定のアプリケーションを用いて商品名を検索すると、その商品が陳列されている棚の情報が提示されたり、その商品を含む棚の画像が提示されたりする。

（１）構成
第２実施形態におけるシステム構成では、図１に示すシステム構成に、ユーザが利用する情報処理装置が１又は複数追加される。ユーザが利用する情報処理装置とは、スマートフォンなどの携帯端末、タブレット端末、パーソナルコンピュータなどの処理装置である。以下、ユーザが利用する情報処理装置を、「ユーザ端末」とも表記する。ユーザ端末のハードウェア構成は、図２に示すハードウェア構成と同様である。

＜情報処理装置の機能構成＞
図１１は、第２実施形態における情報処理装置１０４の機能構成の一例を示す図である。図１１に示す例では、情報処理装置１０４は、図５に示す機能に加え、検索部６０２を含む。以下、第１実施形態と異なる機能について説明する。

通信部４０２は、ユーザ端末から商品の位置情報を検索するためのリクエストを受信する。リクエストは、商品情報を含み、商品情報とは、商品名や商品のカテゴリなどである。通信部４０２は、受信したリクエストを検索部６０２に通知する。

検索部６０２は、通信部４０２から商品検索のリクエストを取得し、リクエスト内に含まれる商品名や商品のカテゴリに基づいて、その商品の位置を検索する。例えば、検索部６０２は、商品名が記憶される商品配置情報から棚位置情報を特定する。検索部６０２は、棚位置情報から、撮像装置のＩＤを特定できるため、検索対象の商品を含む、最新の棚画像を取得することも可能である。また、検索部６０２は、棚位置情報に基づいて、記憶部４０４に記憶された店舗のレイアウトにおける位置を特定してもよい。検索部６０２は、特定した商品位置に関する情報（棚位置情報、商品を含む棚画像、及びレイアウト情報のうち少なくとも１つ）をユーザ端末に送信するよう通信部４０２に指示する。

通信部４０２は、検索部６０２から取得した商品位置に関する情報を、ユーザ端末に送信する。

＜ユーザ端末の機能構成＞
図１２は、第２実施形態におけるユーザ端末７００の機能構成の一例を示す図である。図１２に示す例では、ユーザ端末７００は、通信部７０２と、入力部７０４と、要求部７０６と、表示制御部７０８とを有する。通信部７０２は、例えば、通信Ｉ／Ｆ２１０により実現され、入力部７０４は、例えば、入出力Ｉ／Ｆ２０８により実現され、要求部７０６及び表示制御部７０８は、例えばプロセッサ２０２及び作業領域としてのメモリ２０４などにより実現されうる。

通信部７０２は、ネットワークを介して情報処理装置１０４と通信を行う。なお、通信部７０２は、他のサーバを介して店舗内にある情報処理装置１０４と通信を行うようにしてもよい。通信部７０２は、商品位置情報を検索するためのリクエストを情報処理装置１０４に送信する送信部として機能したり、商品位置に関する情報を情報処理装置１０４から受信する受信部として機能したりする。

入力部７０４は、表示制御部７０８により表示制御された検索画面からユーザ操作を受け付けて、ユーザが探している商品名や商品のカテゴリを入力する。例えば、入力部７０４は、検索画面内の入力欄から、ユーザにより入力された商品名やカテゴリを入力してもよいし、検索画面内の選択欄から、ユーザにより選択された商品名やカテゴリを入力してもよい。

要求部７０６は、入力部７０４により入力された商品名や商品のカテゴリから、店舗内の位置を検索するためのリクエストを情報処理装置１０４に送信するよう通信部７０２に指示する。

表示制御部７０８は、上述した商品の位置を検索するための検索画面や、商品の位置情報を表示する検索結果画面を、表示装置（入出力Ｉ／Ｆ２０８）に表示するよう制御する。

ユーザ端末７００は、商品の位置を検索するための機能として少なくとも上述した処理部を有するが、このアプリケーションにはその他の機能が含まれていてもよい。

＜出力の態様＞
次に、図１３Ａ〜図１３Ｂを用いて、第２実施形態における出力の態様の例について説明する。図１３Ａは、商品検索画面の一例を示す図である。図１３Ａに示す例では、表示制御部７０８は、商品名や商品のカテゴリをユーザに入力させるための入力欄を含む検索画面を表示装置に表示するよう制御する。検索画面は、検索ボタンと、戻るボタンとを含む。ユーザが検索ボタンを押下すると、要求部７０６によりリクエスト処理が実行され、ユーザが戻るボタンを押下すると、前の画面（例えばメニュー画面）に戻る。

図１３Ｂは、検索結果画面の一例を示す図である。図１３Ｂに示す例では、商品検索結果の一例として、商品の位置を示す棚画像と、その位置を示す文字情報（１Ｆ棚３０）とが検索結果画面に含まれる。なお、検索結果画面として、レイアウト情報を含んでもよいし、文字情報、画像情報、及びレイアウト情報の少なくとも１つ以上の組み合わせでもよい。

これにより、ユーザが、商品を検索する際、どの位置に所望の商品があるかを容易に把握することができる。また、第２実施形態におけるユーザ端末７００のアプリケーションによれば、商品の位置を視覚的にユーザに提供することが可能になる。

（２）動作説明
次に、第２実施形態に係るユーザ端末７００及び情報処理装置１０４の動作について説明する。図１４は、第２実施形態におけるシステムの商品検索処理の一例を示すシーケンス図である。図１４に示す例では、ステップＳ２０２で、ユーザ端末７００の表示制御部７０８は、検索画面を表示するよう制御する（例えば、図１３Ａ参照。）。

ステップＳ２０４で、ユーザ端末７００の入力部７０４は、ユーザ操作に基づいて、ユーザが検索したい商品の商品名やカテゴリを入力する。

ステップＳ２０６で、ユーザ端末７００の要求部７０６は、入力部７０４により入力された商品名やカテゴリを含む商品検索のためのリクエストを情報処理装置１０４に送信するよう通信部７０２に指示する。通信部７０２は、商品検索リクエストを情報処理装置１０４に送信する。

ステップＳ２０８で、情報処理装置１０４の検索部６０２は、商品検索リクエストに含まれる商品名やカテゴリにより特定される商品の位置情報を、商品配置情報を用いて特定する。例えば、検索部６０２は、商品配置情報を検索し、商品検索リクエストに含まれる商品名やカテゴリに一致する商品名やカテゴリを特定する。検索部６０２は、一致した商品名やカテゴリの商品位置に関する情報（例、棚位置情報、棚画像、レイアウト情報の少なくとも１つ）を取得する。検索部６０２は、取得した商品位置に関する情報をユーザ端末７００に送信するよう通信部４０２に指示する。

ステップＳ２１０で、情報処理装置１０４の通信部４０２は、検索結果として、所望の商品位置に関する情報をユーザ端末７００に送信する。

ステップＳ２１２で、ユーザ端末７００の表示制御部７０８は、取得した商品位置に関する情報を表示装置に表示するよう制御する（例えば図１３Ｂ参照）。

以上説明したように、第２実施形態に係るシステムによれば、ユーザ端末７００にインストールされたアプリケーションを用いて、商品検索を実行させ、棚管理システム１に商品の位置を問い合わせることが可能になる。棚管理システム１は、商品が陳列された棚画像等を記憶するため、商品の検索結果として、所望の商品が陳列された棚の棚画像をユーザに提示することができ、ユーザは商品位置を容易に把握することができる。

Ｃ．第３実施形態
第３実施形態では、第１実施形態で説明した棚管理システム１に加えて、商品が陳列された棚に貼付された広告情報（「ＰＯＰ（ポップ）」とも呼ばれる。）の妥当性を判定する。妥当性とは、例えば、棚に貼付されたポップが、その棚に陳列された商品を表しているか、金額が正しいか、ポップの位置が正しいかなどである。

第３実施形態におけるシステム構成やハードウェア構成は、第１実施形態におけるシステム構成やハードウェア構成と同様である。第３実施形態における情報処理装置１０４の機能構成も第１実施形態における情報処理装置１０４の機能構成とほぼ同様であるが、判定部４１２が、以下の機能をさらに有する。

判定部４１２は、画像取得部４０６により取得された画像からポップを認識する。認識の方法の一例として、判定部４１２は、認識された棚板周辺に所定サイズの矩形が認識されれば、その矩形をポップとして判定してもよい。また。ポップには文字等が記載されているので、判定部４１２は、認識した矩形に文字等が含まれているか否かを認識方法に加えてもよい。

判定部４１２は、認識したポップ内から文字認識処理を実行し、文字列を抽出する。判定部４１２は、抽出された文字列の一部又は全部を商品名と判断し、この商品名が、認識部４０８により認識された商品の商品名と一致するかを判定する。商品の商品名は、商品配置情報に含まれているとする。判定部４１２は、商品名が一致しないと判定した場合、第１実施形態で説明したエラー処理を実行し、店舗の管理者等にエラー内容を知らせる。これにより、棚等に貼付されたポップの位置が正しくないことを管理者等に知らせることができる。

判定部４１２は、認識したポップ内から文字認識処理を実行し、数字列を抽出する。判定部４１２は、抽出された数字列の一部又は全部を商品の金額と判断し、この金額が、認識部４０８により認識された商品の金額と一致するかを判定する。商品の金額は、商品配置情報に含まれているとする。判定部４１２は、金額が一致しないと判定した場合、第１実施形態で説明したエラー処理を実行し、店舗の管理者等にエラー内容を知らせる。これにより、棚等に貼付されたポップに表示された商品の金額と、情報処理装置１０４に記憶された商品の金額とが一致しないことを管理者等に知らせることができる。

以上説明したように、第３実施形態に係る棚管理システム１によれば、商品が陳列された棚の近辺に、その商品の広告が貼付されていれば、広告の妥当性を判定することができる。

Ｄ．その他
なお、本発明は、上述した各実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。このため、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。例えば、上述した各処理ステップは処理内容に矛盾を生じない範囲で任意に順番を変更し、または並列に実行することができる。

また、上述した各実施形態では、情報処理装置１０４は、店舗内の棚管理装置であることを例にしたが、情報処理装置１０４をクラウドサーバ側に設置し、クライアント側では、撮像装置１０２を棚全体が撮像できる位置に配置しても上述した処理を実行することができる。

１…棚管理システム、１０２…撮像装置、１０４…情報処理装置、２０２…プロセッサ、２０４…メモリ、２０６…ストレージ、２０８…入出力Ｉ／Ｆ、２１０…通信Ｉ／Ｆ、３０２…撮像部、３０４…送信部、４０２…通信部、４０４…記憶部、４０６…画像取得部、４０８…認識部、４１０…特定部、４１２…判定部、４１４…位置情報取得部、４１８…実績取得部、５０２…第１制御部、５０４…第１認識処理部、５０６…第２認識処理部、５１２…画像取得部、５１４…第１取得部、５１６…判定部、５１８…第２取得部、５２０…出力部、５３２…第２制御部、５３４…第２認識部、６０２…検索部、７００…ユーザ端末、７０２…通信部、７０４…入力部、７０６…要求部、７０８…表示制御部。

Claims (12)

1. 商品を識別する商品識別情報と、前記商品の配置位置を示す位置情報とを関連づけた商品配置情報を記憶する記憶部と、
   複数の商品が陳列された棚が撮像された画像を取得する画像取得部と、
   前記画像に含まれる商品ごとに、前記商品を認識する認識部と、
   前記画像に含まれる商品ごとに、前記商品の配置位置を特定する特定部と、
   認識された商品の商品識別情報と、特定された配置位置を示す位置情報との対応関係が、前記商品配置情報に記憶されているか否かを判定する判定部と、
   前記対応関係が前記商品配置情報に記憶されていない場合、前記認識された商品の商品識別情報に対応する商品の位置情報を、前記商品配置情報から取得する位置情報取得部と、
   取得された前記商品の位置情報を出力する出力部と、
   を備える情報処理装置。
2. 前記記憶部は、店舗のレイアウトを示すレイアウト情報を記憶し、
   前記位置情報は、前記レイアウトにおける位置を示し、
   前記出力部は、取得された前記商品の位置情報を、前記レイアウトにおける位置として表示する、請求項１に記載の情報処理装置。
3. 前記出力部は、前記対応関係が前記商品配置情報に記憶されていないと判定された商品を含む画像を、前記位置情報とともに出力する、請求項１又は２に記載の情報処理装置。
4. 前記出力部は、前記画像内の前記判定された商品を、他の商品とは異なる態様で表示する、請求項３に記載の情報処理装置。
5. 前記特定部は、画像に含まれる商品ごとに、消費期限又は賞味期限を特定し、
   前記判定部は、認識された消費期限又は賞味期限が、現在の日時を経過しているか否かを判定し、
   前記位置情報取得部は、前記消費期限又は前記賞味期限が前記現在の日時を経過している商品の商品識別情報に対応する商品の位置情報を、前記商品配置情報から取得し、
   前記出力部は、前記消費期限又は前記賞味期限が前記現在の日時を経過している商品の位置情報を、前記対応関係が前記商品配置情報に記憶されていない商品の位置情報とは異なる態様で出力する、請求項１から４のいずれか一項に記載の情報処理装置。
6. 前記商品ごとの購買実績を取得する実績取得部をさらに備え、
   前記位置情報取得部は、前記購買実績に応じて所定の商品の位置情報を、前記商品配置情報から取得し、
   前記出力部は、前記購買実績に応じた前記所定の商品の位置情報を、他の商品の位置情報とは異なる態様で出力する、請求項１から５のいずれか一項に記載の情報処理装置。
7. 前記画像は、各棚内に設置された撮像装置により、前記撮像装置が設置された棚の正面に位置する棚が撮像された画像である、請求項１から６のいずれか一項に記載の情報処理装置。
8. 前記判定部は、前記画像から広告情報を抽出し、前記広告情報から認識された文字列又は数字列に基づいて、前記広告情報の妥当性を判定する、請求項１から７のいずれか一項に記載の情報処理装置。
9. １又は複数の撮像装置と、情報処理装置とを含む棚管理システムであって、
   前記１又は複数の撮像装置は、
   複数の商品が陳列された棚を撮像する撮像部と、
   撮像された画像を送信する送信部と、を備え、
   前記情報処理装置は、
   前記商品を識別する商品識別情報と、前記商品の配置位置を示す位置情報とを関連づけた商品配置情報を記憶する記憶部と、
   前記１又は複数の撮像装置により撮像された画像を取得する画像取得部と、
   前記画像に含まれる商品ごとに、前記商品を認識する認識部と、
   前記画像に含まれる商品ごとに、前記商品の配置位置を特定する特定部と、
   認識された商品の商品識別情報と、特定された配置位置を示す位置情報との対応関係が、前記商品配置情報に記憶されているか否かを判定する判定部と、
   前記対応関係が前記商品配置情報に記憶されていない場合、前記認識された商品の商品識別情報に対応する商品の位置情報を、前記商品配置情報から取得する位置情報取得部と、
   取得された前記商品の位置情報を出力する出力部と、を備える、
   棚管理システム。
10. 商品を識別する商品識別情報と、前記商品の配置位置を示す位置情報とを関連づけた商品配置情報を記憶する記憶部と、制御部とを備える情報処理装置が実行する情報処理方法であって、
    前記制御部が、
    複数の商品が陳列された棚が撮像された画像を取得し、
    前記画像に含まれる商品ごとに、前記商品を認識し、
    前記画像に含まれる商品ごとに、前記商品の配置位置を特定し、
    認識された商品の商品識別情報と、特定された配置位置を示す位置情報との対応関係が、前記商品配置情報に記憶されているか否かを判定し、
    前記対応関係が前記商品配置情報に記憶されていない場合、前記認識された商品の商品識別情報に対応する商品の位置情報を、前記商品配置情報から取得し、
    取得された前記商品の位置情報を出力する、情報処理方法。
11. 商品を識別する商品識別情報と、前記商品の配置位置を示す位置情報とを関連づけた商品配置情報を記憶する記憶部と、制御部とを備える情報処理装置に実行させるためのプログラムであって、
    前記制御部に、
    複数の商品が陳列された棚が撮像された画像を取得し、
    前記画像に含まれる商品ごとに、前記商品を認識し、
    前記画像に含まれる商品ごとに、前記商品の配置位置を特定し、
    認識された商品の商品識別情報と、特定された配置位置を示す位置情報との対応関係が、前記商品配置情報に記憶されているか否かを判定し、
    前記対応関係が前記商品配置情報に記憶されていない場合、前記認識された商品の商品識別情報に対応する商品の位置情報を、前記商品配置情報から取得し、
    取得された前記商品の位置情報を出力する、処理を実行させるプログラム。
12. 商品識別情報に関連付けて商品名、カテゴリ、及び商品が陳列された棚を含む棚画像を管理するサーバと通信を行う通信部と、制御部とを備える情報処理装置に実行させるためのプログラムであって、
    前記制御部に、
    商品を検索するための検索画面を表示装置に表示するよう制御し、
    前記検索画面に対するユーザ操作に基づいて、商品を特定する商品名又はカテゴリを入力し、
    前記商品名又は前記カテゴリを含む、商品の位置を検索するためのリクエストを前記サーバに送信し、
    前記サーバから、前記商品名又は前記カテゴリが示す商品が陳列された棚の棚画像を受信し、
    前記棚画像を前記表示装置に表示するよう制御する、処理を実行させるプログラム。