JP2012074014A - 拡張現実提供システム、情報処理端末、情報処理装置、拡張現実提供方法、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】棚の空き空間をより有効に使用することを目的とする。
【解決手段】情報処理端末は、撮影部での撮影内容の画像情報を含む、画像情報から特定され得る棚に陳列できる商品を示す商品情報を取得するための要求を情報処理装置に送信する要求手段と、要求に応答して情報処理装置から送信された返答に含まれる商品情報を撮影部で撮影された画像情報に重畳して表示部に表示する表示制御手段と、を有し、情報処理装置は、要求に含まれる画像情報から棚を特定して棚の空き空間の大きさを特定する特定手段と、商品を示す商品情報と商品の大きさを示すサイズ情報とが関連付けられて複数記憶された記憶部から、特定手段で特定された棚の空き空間の大きさよりも小さい商品の商品情報を選択する選択手段と、選択手段で選択された商品情報を含む返答を情報処理端末に送信する返答手段と、を有することで課題を解決する。
【選択図】図１

Description

本発明は、拡張現実を提供する拡張現実提供システム、情報処理端末、情報処理装置、拡張現実提供方法、情報処理方法、及びプログラムに関する。

商品を販売する店舗では、商品をどこにどのように配置するかを示したマニュアルを作成し、店員がマニュアルに沿って商品を配置している。また、最近では、このようなマニュアルを自動的に作成する仕組みが導入されている。
例えば、棚の大きさの情報、季節性など商品毎の優先順位、顧客視点での棚の見やすさ等に基づいて棚割りを決定する技術が開示されている（特許文献１）。
また、例えば、店舗内を撮影した画像に、商品の画像を合成して棚割りの様子を視覚的に表示する技術も開示されている（特許文献２）。

特許第２９６２２５９号公報 特開２００２−１６３４３６号公報

ここで、商品が売り切れた場合にその商品が陳列されていた場所が空き空間となる。しかしながら、特許文献１及び特許文献２に記載の技術では、生じた空き空間に陳列可能な他の商品を店員が把握することができず、棚の空き空間が無駄になる問題が生じる。

本発明はこのような問題点に鑑みなされたもので、棚の空き空間をより有効に使用することを目的とする。

そこで、本発明に係る拡張現実提供システムは、撮影部及び表示部を有する情報処理端末と情報処理装置とが通信可能な拡張現実提供システムであって、前記情報処理端末は、前記撮影部での撮影内容の画像情報を含む、前記画像情報から特定され得る棚に陳列できる商品を示す商品情報を取得するための要求を前記情報処理装置に送信する要求手段と、前記要求に応答して前記情報処理装置から送信された返答に含まれる商品情報を前記撮影部で撮影された画像情報に重畳して前記表示部に表示する表示制御手段と、を有し、前記情報処理装置は、前記要求に含まれる前記画像情報から棚を特定して前記棚の空き空間の大きさを特定する特定手段と、商品を示す商品情報と前記商品の大きさを示すサイズ情報とが関連付けられて複数記憶された記憶部から、前記特定手段で特定された前記棚の空き空間の大きさよりも小さい商品の商品情報を選択する選択手段と、前記選択手段で選択された商品情報を含む返答を前記情報処理端末に送信する返答手段と、を有することを特徴とする。

ここで、「要求手段」は、例えば、後述する要求部１５０に対応する。「表示制御手段」は、例えば、後述する表示制御部１５５に対応する。「特定手段」は、例えば、後述する特定部２５０に対応する。「選択手段」は、例えば、後述する選択部２５５に対応する。「返答手段」は、例えば、後述する返答部２６５に対応する。

また、本発明に係る拡張現実提供方法は、撮影部及び表示部を有する情報処理端末と情報処理装置とが通信可能な拡張現実提供システムにおける拡張現実提供方法であって、前記情報処理端末が、前記撮影部での撮影内容の画像情報を含む要求を前記情報処理装置に送信する要求工程と、前記情報処理装置が、前記要求に含まれる前記画像情報から棚を特定して前記棚の空き空間の大きさを特定する特定工程と、前記情報処理装置が、商品を示す商品情報と前記商品の大きさを示すサイズ情報とが関連付けられて複数記憶された記憶部から、前記特定工程で特定された前記棚の空き空間の大きさよりも小さい商品の商品情報を選択する選択工程と、前記情報処理装置が、前記選択工程で選択された商品情報を含む返答を前記情報処理端末に送信する返答工程と、前記情報処理端末が、前記要求に応答して前記情報処理装置から送信された返答に含まれる商品情報を前記撮影部で撮影された画像情報に重畳して前記表示部に表示する表示制御工程と、を有することを特徴とする。

本発明によれば、棚の空き空間をより有効に使用することができる。

ＡＲ提供システムの構成の一例を示す図である。 ＡＲ提供装置のハードウェア構成の一例を示す図である。 サーバ装置のハードウェア構成の一例を示す図である。 商品ＤＢ及び棚ＤＢのデータ構造の一例を示す図である。 商品ＤＢ及び棚ＤＢに格納される情報の一例を示す図である。 ＡＲ提供装置及びサーバ装置の機能構成の一例を示す図である。 ＡＲ提供システムのシーケンスの一例を示す図である。 表示画面の表示内容の一例を示す図である。 表示画面の表示内容の一例を示す図である。 表示画面の表示内容の一例を示す図である。 ＡＲ提供装置のメイン処理に係るフローチャートの一例を示す図である。 拡張画像表示処理に係るフローチャートの一例を示す図である。 表示変更処理に係るフローチャートの一例を示す図である。 サーバ装置のメイン処理に係るフローチャートの一例を示す図である。 空き空間サイズ特定処理に係るフローチャートの一例を示す図である。 マスタ情報選択処理に係るフローチャートの一例を示す図である。 付加情報生成処理に係るフローチャートの一例を示す図である。 ＡＲ提供システムのシーケンスの一例を示す図である。 指摘情報・在庫切れ予告情報生成処理に係るフローチャートの一例を示す図である。

以下、本発明の実施形態について図面に基づいて説明する。

図１は、本実施形態に係るＡＲ提供システムの構成の一例を示す図である。ＡＲ提供システムは、リアルタイムに棚の空き空間を捉え、空き空間の大きさ（空き空間サイズ）に合った商品のうち、現時点において棚への陳列を推奨する商品を選定し、選定した商品の情報をユーザに提供する拡張現実提供システムの一例である。ＡＲ提供システムは、ＡＲ提供装置１００、及びサーバ装置２００を有する。ＡＲ提供装置１００とサーバ装置２００とは、通信可能に構成されている。
ＡＲ提供装置１００は、情報処理端末（コンピュータ）の一例であり、携帯情報端末、携帯電話、ＨＭＤ（Head Mounted Display）、デジタルカメラ等である。ＡＲ提供装置１００は、ＡＲ提供装置１００を介して知覚できる現実空間に整合する位置に、ＡＲ提供装置１００で生成した画像（コンピュータグラフィックス画像など）を表示することにより、拡張された現実感（ＡＲ：Augmented Reality）を提供する。本実施形態では、ＡＲ提供装置１００は、タッチパネル式の表示画面１０を有し、ＡＲ提供装置１００を介して知覚できる現実空間の商品を陳列する棚に整合する位置に、商品に関する各種の情報（後述する商品情報など）を表す画像（拡張画像）を表示画面１０に表示する。

サーバ装置２００は、情報処理装置（コンピュータ）の一例である。サーバ装置２００は、ネットワーク４００を介してＰＯＳ（Point of sale system）端末３００と通信し、商品の販売に関する各種の情報（販売情報）を商品ＤＢに格納して管理する。また、サーバ装置２００は、棚の空き空間に陳列を推奨する商品の商品情報を、棚に関する各種の情報を格納する棚ＤＢ、上述した商品ＤＢ等に基づいて決定し、決定した商品情報などをＡＲ提供装置１００に送信する。
なお、ＡＲ提供システムの構成は、上述した構成に限られるものではない。例えば、サーバ装置２００が棚ＤＢ及び商品ＤＢを有する構成を採用したが、サーバ装置２００とは異なる装置が棚ＤＢ及び商品ＤＢを有する構成を採用してもよい。

図２は、ＡＲ提供装置１００のハードウェア構成の一例を示す図である。ＡＲ提供装置１００は、制御装置１０５、記憶装置１１０、通信装置１１５、表示装置１２０、方位検出装置１２５、姿勢検出装置１３０、及び撮影装置１３５を有する。
制御装置１０５は、例えばＣＰＵ（Central Processing Unit）であり、必要に応じて、記憶装置１１０よりプログラムを読み出して、プログラムを実行する。プログラムが実行されることで、ＡＲ提供装置１００における後述の機能、及び後述のフローチャートに係る処理が実現される。

記憶装置１１０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤ（Hard Disk）等であり、各種の情報を記憶する。より詳細に説明すると、記憶装置１１０（ＲＯＭ）は、ＡＲ提供装置１００の電源投入時に最初に読み込まれるプログラム等を記憶する。また、記憶装置１１０（ＲＡＭ）は、ＡＲ提供装置１００のメインメモリとして機能する。また、記憶装置１１０（ＨＤ）は、プログラム以外に制御装置１０５により算出された数値データ等を記憶する。なお、ＡＲ提供装置１００は、記憶装置１１０に記憶される各種の情報を、ＣＤ−ＲＯＭ等の記録媒体から取得してもよいし、ネットワーク等を通じてダウンロードしてもよい。

通信装置１１５は、外部装置（サーバ装置２００等）と通信を行い、商品情報などを受信する。通信装置１１５で受信された商品情報などは、記憶装置１１０に記憶される。
表示装置１２０は、表示部の一例であり、表示画面１０を有し、各種の画像を表示画面１０に表示する。なお、本実施形態では、表示装置１２０として、非透過型の液晶ディスプレイを例に挙げて説明するが、透過型の液晶ディスプレイを採用してもよい。

方位検出装置１２５は、例えば電子コンパスであり、微弱な地磁気（例えば前後方向の地磁気及び左右方向の地磁気）を検知し、地磁気の強さから北の方向を計算してＡＲ提供装置１００の方位（方位情報）を算出する。
姿勢検出装置１３０は、例えばジャイロセンサであり、物体の角速度を検知し、角速度を積分などして角度（ＡＲ提供装置１００の姿勢（姿勢情報））を算出する。
撮影装置１３５は、撮影部の一例であり、現実空間の撮影を行う。
なお、ＡＲ提供装置１００のハードウェア構成は、これに限られるものではない。例えば、方位検出装置１２５及び姿勢検出装置１３０に代えて、方位検出装置１２５及び姿勢検出装置１３０の機能を一体とした機能を有する方位姿勢検出装置を採用してもよい。また、例えば、ＡＲ提供装置１００は、方位検出装置１２５及び姿勢検出装置１３０を有していなくてもよい。

図３は、サーバ装置２００のハードウェア構成の一例を示す図である。
サーバ装置２００は、制御装置２０５、記憶装置２１０、通信装置２１５、表示装置２２０、及び入力装置２２５を有する。
制御装置２０５は、例えばＣＰＵ（Central Processing Unit）であり、必要に応じて、記憶装置２１０よりプログラムを読み出して、プログラムを実行する。プログラムが実行されることで、サーバ装置２００における後述の機能、及び後述のフローチャートに係る処理が実現される。

記憶装置２１０は、記憶部の一例であり、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤ（Hard Disk）等であり、各種の情報を記憶する。より詳細に説明すると、記憶装置２１０（ＲＯＭ）は、サーバ装置２００の電源投入時に最初に読み込まれるプログラム等を記憶する。また、記憶装置２１０（ＲＡＭ）は、サーバ装置２００のメインメモリとして機能する。また、記憶装置２１０（ＨＤ）は、プログラム以外に制御装置２０５により算出された数値データ等を記憶する。なお、サーバ装置２００は、記憶装置２１０に記憶される各種の情報を、ＣＤ−ＲＯＭ等の記録媒体から取得してもよいし、ネットワーク等を通じてダウンロードしてもよい。
通信装置２１５は、外部装置（ＰＯＳ端末３００、ＡＲ提供装置１００等）と通信を行う。例えば、通信装置２１５は、ＡＲ提供装置１００から商品情報の取得要求を受信する。また、例えば、通信装置２１５は、ＰＯＳ端末３００から販売情報を受信する。通信装置２１５で受信された販売情報は、記憶装置２１０（商品ＤＢ等）に記憶される。
表示装置２２０は、ディスプレイ等であり、各種の情報を表示する。
入力装置２２５は、ユーザが操作するキーボード及びマウス等であり、サーバ装置２００に各種の情報を入力する。

図４は、商品ＤＢ及び棚ＤＢのデータ構造の一例を示す図である。商品ＤＢには、マスタ情報及びトランザクション情報が格納されている。棚ＤＢには、棚（什器）マスタ情報及び棚割パターンマスタ情報が格納されている。図５は、商品ＤＢ及び棚ＤＢに格納される情報（マスタ情報、トランザクション情報、棚（什器）マスタ情報、及び棚割パターンマスタ情報）の一例を示す図である。

マスタ情報は、商品コード、商品カテゴリ、商品名、ブランド、商品サイズ、及び商品画像の項目の情報を含んで構成され、商品ＤＢに複数記憶されている。換言するならば、商品カテゴリ、商品名、ブランド、商品サイズ、及び商品画像の各々は、商品コードに関連付けられて設けられている。
商品コードには、商品を一意に識別する符号の情報が格納される。商品カテゴリには、商品が属するカテゴリの情報（カテゴリ情報）、例えば「食料品」、「医薬品」などの情報が格納される。商品名には、商品の名称の情報が格納される。ブランドには、商品の銘柄（会社の名称、商標など）の情報（ブランド情報）が格納される。商品サイズには、商品の縦・横・奥行きの情報（商品の大きさを示すサイズ情報）が格納される。
商品画像には、商品を立体的に表す画像の格納先の情報が格納される。格納先の情報より取得される画像は、商品の正面・側面・上面・下面のカラー画像（商品画像情報）である。より好ましくは、商品毎の３次元情報（例えば３次元オブジェクトの生成の用に供する情報）であり、これにより任意の方向から商品を見た画像が描画できるようになる。なお、商品画像には、画像の格納先の情報ではなく、画像のバイナリデータが格納されていてもよい。また、商品画像情報は、白黒画像であってもよい。
ここで、マスタ情報には、売価、原価、販売開始予定年月日（或いは販売終了予定年月日）の項目の情報が含まれていてもよい。売価には、商品の売値の情報が格納される。原価には、商品の仕入値の情報が格納される。販売開始予定年月日には、商品の販売を開始する予定の時期（年月日）の情報（開始情報）が格納される。販売終了予定年月日には、商品の販売を終了する予定の年月日の情報（終了情報）が格納される。

トランザクション情報は、商品の販売に関する各種の情報であり、ＰＯＳ端末３００から受信した販売情報などに基づいて適宜更新される。トランザクション情報は、商品コード、在庫数、週次売上数実績、在庫日数（或いは在庫回転数）の項目の情報を含んで構成されている。在庫数には、倉庫などに商品を保管している数の情報が格納される。週次売上数実績には、一週間に商品が販売された数の情報（売上数を示す実績情報）が格納される。なお、週次売上数実績に代えて又は加えて、日次売上数実績、月次売上数実績、年次売上数実績などの売上の実績を示す項目を採用してもよい。在庫日数には、商品が在庫として保持される日数の情報が格納される。
ここで、トランザクション情報には、入庫予定年月日、及び入庫予定数の項目の情報が含まれていてもよい。入庫予定年月日には、商品が入庫する予定の年月日の情報が格納される。入庫予定数には、入庫予定年月日に入庫する商品の数の情報が格納される。

本実施形態では、複数の店舗の各々において商品の販売が行われ、複数の店舗の全ての販売に関する情報が商品毎にトランザクション情報として商品ＤＢに格納されるものとする。ただし、本実施形態は、この構成に限られるものではない。例えば、トランザクション情報は、店舗毎かつ商品毎に商品ＤＢに格納されてもよい。この場合、トランザクション情報は、例えば、店舗を一意に識別する符号（店舗コード）の項目の情報を含んで構成される。

棚（什器）マスタ情報は、棚ＩＤ、棚種、及び棚仕様の項目の情報を含んで構成されている。棚ＩＤには、棚を一意に識別する符号の情報が格納される。棚種には、棚の種別を表す情報が格納される。棚仕様には、棚の幅・高さ・奥行き・段数・段高さの情報が格納される。
棚割パターンマスタ情報は、商品カテゴリ、棚数（各棚ＩＤ）、棚番地（段／列）毎の指定商品及び陳列数、並びに、棚番地（段／列）毎の指定ブランド及び陳列数の項目の情報を含んで構成されている。すなわち、棚割パターンマスタ情報は、棚への陳列を許可（換言するならば、制限）する商品を識別するためのルールの情報（陳列ルール情報）である。

ここで、棚割パターンマスタ情報には、展開開始予定年月日（或いは展開終了予定年月日）、並びに、棚番地（段／列）及び指定商品毎の陳列方法の項目の情報が含まれていてもよい。展開開始予定年月日には、商品がシーズン性のある商品などであり、シーズン毎に棚割のパターンを変える場合、その棚割のパターンの展開を開始する年月日の情報が格納される。陳列方法には、商品の陳列の指示に関する情報（陳列指示情報）が格納される。例えば、ビールケースなどを平台にピラミッド式に積上げる、文房具などをフックに吊り下げる、詰め替え用のシャンプーなどのパッケージを正面からみて斜めに置く旨の陳列指示情報が格納される。これらの棚割パターンについては、店舗側やサプライヤ側が指定し、予め棚割パターンマスタ情報として格納しておく。
なお、図４では、マスタ情報、トランザクション情報、棚（什器）マスタ情報、棚割パターンマスタ情報における必須の項目を示しているが、本実施形態は、これらの必須の項目に代えて又は加えて他の項目を必須の項目としてもよい。

図６は、ＡＲ提供装置１００及びサーバ装置２００の機能構成の一例を示す図である。
ＡＲ提供装置１００は、要求部１５０、及び表示制御部１５５を有する。サーバ装置２００は、特定部２５０、選択部２５５、生成部２６０、及び返答部２６５を有する。なお、ＡＲ提供装置１００は、要求部１５０、表示制御部１５５などを統括する制御部を有している。また、サーバ装置２００は、特定部２５０、選択部２５５、生成部２６０、返答部２６５などを統括する制御部を有している。

要求部１５０は、撮影装置１３５の撮影内容に含まれ得る棚に陳列が許可された商品に関する情報（商品情報等）を取得するための要求をサーバ装置２００に送信する。
表示制御部１５５は、要求部１５０による要求に応答してサーバ装置２００から送信された返答に含まれる商品情報を撮影装置１３５で撮影されている棚に重畳して表示画面１０に表示する。

特定部２５０は、棚ＤＢに格納される複数の棚（什器）マスタ情報と要求部１５０による要求に含まれる画像（画像情報）とから棚の空き空間サイズを特定する。
選択部２５５は、商品ＤＢに格納される複数のマスタ情報から、特定部２５０で特定された空き空間サイズよりも小さいサイズの商品のマスタ情報（広義には商品情報）を選択する。なお、詳細については後述するが、選択部２５５は、商品ＤＢのトランザクション情報、棚ＤＢの棚割パターンマスタ情報に基づいて、選択したマスタ情報から推奨する商品のマスタ情報を更に選択する。
生成部２６０は、商品ＤＢのトランザクション情報などを参照して、商品の陳列に関する情報（付加情報）を生成する。
返答部２６５は、選択部２５５で選択されたマスタ情報と生成部２６０で生成された付加情報とに基づいて生成される商品情報を含む返答をＡＲ提供装置１００に送信する。

図７は、ＡＲ提供システムのシーケンスの一例を示す図である。ここで、図８に、シーケンスの処理が行われる前（棚５００にＡＲ提供装置１００がかざされたとき）の表示画面１０の表示内容の一例を示す。また、図９に、シーケンスの処理が行われた後の表示画面１０の表示内容の一例を示す。
ＳＱ６１０では、要求部１５０は、撮影装置１３５で撮影されている映像から画像を一定の間隔で取得する。
ＳＱ６２０では、要求部１５０は、取得した画像をサーバ装置２００に適宜のタイミングで送信する。

ＳＱ６３０では、特定部２５０は、受信した画像を解析し、棚ＤＢの棚（什器）マスタ情報に基づいて棚を特定する。本実施形態では、例えば図８に示すように、棚５００には、棚５００を識別可能なマーカー５１０が付されているので、特定部２５０は、受信した画像を解析することでマーカー５１０の情報を抽出し、抽出したマーカー５１０の情報より棚５００を識別可能な棚ＩＤを取得する。なお、マーカー５１０には、棚ＩＤそのものが記されていてもよいし、棚ＩＤを符号化した二次元バーコードが記されていてもよいし、棚ＩＤが一意に対応付けられた模様や商品の宣伝が記されていてもよい。また、１つの棚５００に複数のマーカーを付し、複数のマーカーを用いて棚５００を特定するようにしてもよい。そして、特定部２５０は、棚ＩＤをキーとして棚（什器）マスタ情報（棚仕様など）を棚ＤＢから取得する。

ＳＱ６４０では、特定部２５０は、受信した画像を解析し、ＳＱ６３０で取得した棚仕様に基づいて棚５００に生じている空き空間サイズを特定する。より具体的には、特定部２５０は、画像を解析して、棚５００に生じている一定の幅（例えば、５ｃｍ）以上の空き空間の幅を取得する。このとき、特定部２５０は、受信した画像を解析し、棚５００のどの段／列に空き空間が生じているか（空き空間の位置）も特定する。この例では、特定部２５０は、２段目に空き空間が生じていると特定する。ここが空き空間であることを特定する方法としては、種々の方法を採用できる。例えば、棚５００に全ての商品が配置されているときの画像を予め撮影しておき、現在の画像との差分を求めることで空き空間の位置であると特定するように処理してもよいし、棚板の色や柄を捉えたときに空き空間であると特定するように処理してもよい。
そして、特定部２５０は、特定した空き空間の奥行き及び段高さを棚５００の棚仕様から決定することで、決定した奥行き及び段高さと、取得した幅とを有する空き空間サイズを特定する。例えば、棚仕様で特定される棚の幅に対する空き空間の幅の割合で、空き空間の実寸を推定（幅１ｍの棚に空き空間の幅が１５％程度存在していると判断した場合、実際の空き空間の幅を１５ｃｍと推定）することができる。なお、一定の幅は、棚（什器）マスタ情報の項目として棚毎に予め設けられていてもよいし、設けられていなくてもよい。

ＳＱ６５０では、サーバ装置２００は、選択部２５５及び生成部２６０を介して、空き空間サイズに収まるサイズの商品であり、かつ現時点の空き空間への配置を推奨する商品の商品情報を生成する。商品情報には、商品コードの情報、商品名の情報、商品画像情報などが含まれている。なお、商品情報には、在庫数の情報、配置許容数情報、誤り情報等の付加情報が含まれていることもある。
ＳＱ６６０では、返答部２６５は、要求部１５０による要求に対する、商品情報と特定部２５０で特定された棚５００のどの段／列に空き空間が対応するかという位置情報とを含む応答をＡＲ提供装置１００に送信する。

ＳＱ６７０では、表示制御部１５５は、受信した商品情報を表示画面１０に表示する。例えば、表示制御部１５５は、図９に示すように、棚５００への陳列を推奨する商品の商品画像情報１２を棚５００の空き空間の整合する位置に表示し、商品画像情報１２に対応する付加情報１６を、商品画像情報１２を指し示すように表示する。また、表示制御部１５５は、棚５００への陳列を推奨する商品情報が複数存在すると判断した場合には、次の候補に切替える切替えインタフェース１４を表示する。
ここで、表示画面１０における商品画像情報１２の位置合わせの方法としては、任意の重畳表示技術を適用できるが、本実施形態では、一般的なマーカーを利用したＡＲの重畳表示技術を採用した場合を例に挙げて説明する。より詳細に説明すると、表示制御部１５５は、撮影装置１３５で撮影されているマーカー５１０の画像を基準として、返答部２６５から受信した空き空間の位置情報により空き空間の位置を特定し、商品画像情報１２を当該位置に表示する。なお、マーカー５１０によって棚５００とＡＲ提供装置１００との相対位置（向き）も割り出せるので、商品画像情報１２は、棚５００に正面向きに置いたように表示することができる。

図１１は、ＡＲ提供装置１００におけるメイン処理に係るフローチャートの一例を示す図である。なお、メイン処理は、定期的に開始されているものとする。
はじめに、ＡＲ提供装置１００の制御部は、サーバ装置２００に対する前回の画像の送信から一定の時間が経過したか否かを判断する（Ｓ７１０）。このとき、一定の時間が経過したと判断された場合、Ｓ７２０の処理が行われ、他方、一定の時間が経過していないと判断された場合、Ｓ７３０の処理が行われる。
Ｓ７２０では、要求部１５０は、撮影装置１３５で撮影されている映像から画像を取得し、取得した画像をサーバ装置２００に送信する。続いて、Ｓ７３０の処理が行われる。

Ｓ７３０では、制御部は、商品情報を含む応答を受信したか否かを判断する。このとき、受信したと判断された場合、Ｓ７４０の処理が行われ、他方、受信していないと判断された場合、Ｓ７５０の処理が行われる。
Ｓ７４０では、表示制御部１５５は、後述の拡張画像表示処理を行う。続いて、Ｓ７５０の処理が行われる。
Ｓ７５０では、制御部は、ＡＲ提供装置１００に設けられるタッチパネル式の表示画面１０、入力ボタン等の入力部の操作（ユーザ操作）を受け付けたか否かを判断する。このとき、ユーザ操作を受け付けたと判断された場合、Ｓ７６０の処理が行われ、他方、ユーザ操作を受け付けていないと判断された場合、メイン処理は終了する。
Ｓ７６０では、表示制御部１５５は、後述の表示変更処理を行い、メイン処理を終了する。

図１２は、ＡＲ提供装置１００における拡張画像表示処理に係るフローチャートの一例を示す図である。拡張画像表示処理は、商品情報の受信時、後述する次の候補の表示を指示するユーザ操作の受付時に開始される。
はじめに、表示制御部１５５は、受信した応答に含まれる商品情報に基づいて拡張画像を生成する。上述の通り表示制御部１５５は、マーカー５１０の画像を基準にして商品画像情報１２を表示するが、この際、撮影装置１３５で撮影された映像に表示されている棚の寸法に対応するように商品情報に含まれる最初の商品画像情報（或いは次の候補の商品画像情報）を拡大・縮小し、サイズを調整した商品を表す拡張画像を生成する（Ｓ８１０）。
続いて、表示制御部１５５は、商品を表す拡張画像に対応する付加情報の内容を表す拡張画像を生成する（Ｓ８２０）。
続いて、表示制御部１５５は、生成した商品を表す拡張画像を撮影装置１３５で撮影された映像に重畳し、付加情報の内容を表す拡張画像を適宜の位置に表示し（Ｓ８３０）、拡張画像表示処理を終了する。なお、１つの画像内に空き空間が複数存在する場合、各々の空き空間に商品画像情報１２を表示するようにしてもよい。

図１３は、ＡＲ提供装置１００における表示変更処理に係るフローチャートの一例を示す図である。
はじめに、表示制御部１５５は、商品を表す拡張画像の向きの変更を指示するタッチパネルへのユーザ操作を受け付けたか否かを判断する（Ｓ９１０）。このとき、表示制御部１５５は、当該ユーザ操作を受け付けたと判断した場合、Ｓ９２０の処理を行い、他方、当該ユーザ操作を受け付けていないと判断した場合、Ｓ９３０の処理を行う。

Ｓ９２０では、表示制御部１５５は、ユーザ操作に応答して、商品を表す拡張画像の向きを変更する。このように、仮想的に表示されている商品を表す拡張画像の向きを変えることで、見栄えや他の商品との色合いを検討する際の参考にできるようになる。
Ｓ９３０では、表示制御部１５５は、棚に陳列が許可されている商品の次の候補の表示を指示するユーザ操作（切替えインタフェース１４を押下する操作など）を受け付けたか否かを判断する。このとき、表示制御部１５５は、当該ユーザ操作を受け付けたと判断した場合、Ｓ９４０の処理を行い、他方、当該ユーザ操作を受け付けていないと判断した場合、表示変更処理を終了する。
Ｓ９４０では、表示制御部１５５は、拡張画像表示処理を行い、表示変更処理を終了する。

図１４は、サーバ装置２００におけるメイン処理に係るフローチャートの一例を示す図である。なお、メイン処理は、定期的に開始されているものとする。
はじめに、サーバ装置２００の制御部は、ＡＲ提供装置１００から画像を受信したか否かを判断する（Ｓ１０１０）。このとき、受信したと判断された場合、Ｓ１０２０の処理が行われ、他方、受信していないと判断された場合、メイン処理は終了する。
Ｓ１０２０では、制御部は、受信した画像に棚の画像が含まれているか否かを判断する。このとき、含まれていると判断した場合、Ｓ１０３０からＳ１０７０までの処理が行われ、他方、含まれていないと判断された場合、メイン処理は終了する。ここで、制御部は、受信した画像を解析し、マーカーの情報が含まれていると認識したときは棚の画像が含まれていると判断する。

Ｓ１０３０では、特定部２５０は、後述の空き空間サイズ特定処理を行う。
Ｓ１０４０では、選択部２５５は、後述のマスタ情報選択処理を行う。
Ｓ１０５０では、生成部２６０は、後述の付加情報生成処理を行う。
Ｓ１０６０では、生成部２６０は、マスタ情報選択処理で選択されるマスタ情報と付加情報生成処理で生成される付加情報とから商品情報を生成する。
Ｓ１０７０では、返答部２６５は、生成部２６０で生成された商品情報を含む応答をＡＲ提供装置１００に送信する。

図１５は、サーバ装置２００における空き空間サイズ特定処理に係るフローチャートの一例を示す図である。
はじめに、特定部２５０は、制御部により抽出されたマーカーの情報より棚ＩＤを特定する（Ｓ１１１０）。本実施形態では、マーカーには、棚ＩＤそのものが記され、特定部２５０は、画像処理することで、棚の特定の場所に付されているマーカーを抽出して棚ＩＤを取得するものとする。なお、棚を特定する方法は、この構成に限られるものではない。例えば、特定部２５０は、棚に陳列されている複数の商品を特定することで、すなわち、複数の商品をマーカーとして見立てて棚ＩＤを特定してもよい。この構成によれば、棚の特定の場所にマーカーを付す必要がなくなる。以下では、棚ＩＤが「０００１」であると特定された場合を例に挙げて適宜説明する。

続いて、特定部２５０は、棚ＩＤをキーとして棚（什器）マスタ情報を棚ＤＢから取得する（Ｓ１１２０）。すなわち、特定部２５０は、棚を特定する。ここでは、特定部２５０は、棚（什器）マスタ情報として棚種「Ｔ００１」及び棚仕様「２００，２００，１００，３，６０」を取得する。
続いて、特定部２５０は、商品ＤＢのマスタ情報に含まれる商品画像の情報と、受信した画像情報とから、棚に陳列されている商品を特定する（Ｓ１１３０）。例えば、特定部２５０は、受信した画像情報に商品画像の情報が含まれていると判断した場合、その商品画像の情報が含まれているマスタ情報から商品コードを取得する。

続いて、特定部２５０は、商品ＤＢを参照して週次売上数実績の情報が既定値（例えば１個）以下の商品がＳ１１３０で特定した商品に含まれているか否かを判断する（Ｓ１１４０）。ここで、特定部２５０は、含まれていると判断した商品の商品コードを取得すると共に、その商品が棚に陳列されている段／列（位置）を特定する。このとき、特定部２５０は、含まれていると判断した場合、Ｓ１１５０の処理を行い、含まれていないと判断した場合、Ｓ１１６０の処理を行う。なお、この判別に代えて、在庫日数の情報が既定値（例えば６０日）を超えた商品がＳ１１３０で特定した商品に含まれているか否かを判別し、含まれていると判断した場合、Ｓ１１５０の処理を行い、含まれていないと判断した場合、Ｓ１１６０の処理を行ってもよい。また、特定部２５０は、上述の２つの判断を共に行ってもよいし、何れの判断（及びＳ１１５０の処理）をも行わなくてもよい。

Ｓ１１５０では、特定部２５０は、該当する商品が占める空間を空き空間として指定する。より具体的には、特定部２５０は、Ｓ１１４０で含まれていると判断した商品の商品コードに関連付けられた商品サイズの情報を商品ＤＢから取得し、取得した商品サイズの幅と、Ｓ１１２０で取得した棚仕様の奥行き・段高さとからなる空間の大きさを空き空間として指定する。このように、特定部２５０は、売上げが相対的に低い商品を特定し、特定した商品が占める空間を空き空間と指定することにより、売上げが相対的に低い商品に代えて現時点で棚への配置を推奨する商品を提示できるようになる。つまり、売上げが相対的に低い商品を棚から排除して空間を生み出し、そこに、売れ筋の商品の陳列を推奨するように機能している。
Ｓ１１６０では、特定部２５０は、受信した画像を解析して得られる空き空間、及びＳ１１５０で指定した空き空間の位置・幅を特定する。ここでは、特定部２５０は、画像を解析して幅が「２０」の空き空間を１つ取得し、その空き空間が棚の２段目に位置していると特定したものとする。なお、空き空間のサイズは、上記ＳＱ６４０で説明したような処理で特定される。

続いて、特定部２５０は、特定した空き空間の位置に基づいて、棚の同じ段に空き空間が複数存在するか否かを判断する（Ｓ１１７０）。このとき、特定部２５０は、存在すると判断した場合、Ｓ１１８０の処理を行い、存在しないと判断した場合、Ｓ１１９０の処理を行う。
Ｓ１１８０では、特定部２５０は、同じ段の空き空間の幅を合算し、続いてＳ１１９０の処理を行う。
Ｓ１１９０では、特定部２５０は、Ｓ１１２０で取得した棚（什器）マスタ情報から、空き空間が位置する段高さ・奥行きを読み出し、Ｓ１１６０で特定した幅（或いはＳ１１８０で合算した幅）と読み出した段高さ・奥行きとからなる空間の大きさを空き空間サイズとし、空き空間サイズ特定処理を終了する。なお、上述の例では、特定部２５０は、幅「２０」、高さ「６０」、奥行き「１００」の空き空間サイズを特定する。

図１６は、サーバ装置２００におけるマスタ情報選択処理に係るフローチャートの一例を示す図である。
はじめに、選択部２５５は、特定部２５０で特定された空き空間サイズごとに、空き空間サイズに収まる商品のマスタ情報を商品ＤＢから抽出する（Ｓ１２１０）。上述の例では、空き空間サイズが「２０，６０，１００」であるので、選択部２５５は、空き空間サイズよりも商品サイズが小さい商品コード「０１２３」、商品コード「０１２４」、及び商品コード「０２３４」のマスタ情報を商品ＤＢから抽出する。

続いて、選択部２５５は、空き空間サイズに対して抽出されたマスタ情報の各々が棚割パターンマスタ情報に反するか否かを判別し、反すると判別したマスタ情報を除去する（Ｓ１２２０）。上述の例では、棚ＩＤが「０００１」であるとＳ１１１０で特定されているので、まず、選択部２５５は、棚ＩＤ「０００１」をキーとして図５に示す上から３つの棚割パターンマスタ情報を取得する。また、上述の例では、空き空間が棚の２段目に位置しているので、選択部２５５は、取得した棚割パターンマスタ情報のうち、図５に示す上から２つ目の棚割パターンマスタ情報を参照して、商品カテゴリ「食料品」、指定商品「―」、指定ブランド「Ａブランド」の条件を満たす商品コード「０１２３」、商品コード「０１２４」のマスタ情報を選択する。すなわち、棚割パターンマスタ情報に反する商品コード「０２３４」のマスタ情報を除去する。なお、「―」は、商品が指定されていないことを表し、例えば、指定商品が「―」ではなく「０１２３」であった場合は、「０１２３」と一致する商品コードの商品のみが棚への陳列が許可されることになる。

続いて、選択部２５５は、商品ＤＢを参照して週次売上数実績の情報が既定値以下の商品のマスタ情報を除去し（Ｓ１２３０）、マスタ情報選択処理を終了する。換言するならば、選択部２５５は、商品の売上数が相対的に高い商品の商品情報を優先的に選択する。この構成によれば、店員は、売れ筋の商品を把握することができる。また、店舗毎の売上数を管理する構成を採用した場合は、店員は、予め指定した地域（近隣の店舗）に特有の売れ筋の商品を把握することができる。

図１７は、サーバ装置２００における付加情報生成処理に係るフローチャートの一例を示す図である。
はじめに、生成部２６０は、マスタ情報選択処理で選択されたマスタ情報毎に推奨度が設定された推奨度情報を生成する（Ｓ１３１０）。例えば、生成部２６０は、商品ＤＢを参照して、週次売上数実績の情報が高いほど推奨度を高く設定する。また、例えば、生成部２６０は、商品ＤＢを参照して、在庫回転数の情報が高いほど推奨度を高く設定する。また、例えば、生成部２６０は、商品ＤＢを参照して、販売終了予定年月日の情報が現在に近いほど推奨度を高く設定する。なお、生成部２６０は、これらを組み合わせて推奨度を設定してもよい。ここで、マスタ情報選択処理で複数のマスタ情報が選択され、推奨度情報が生成された場合には、表示制御部１５５は、推奨度情報をそのまま表示してもよいし、推奨度情報に基づいて推奨度が高い順に商品情報を表示してもよい。

続いて、生成部２６０は、空き空間サイズの奥行きとこの空間に陳列可能な商品の商品サイズの奥行きとから、この商品を奥に配置することができる数（配置許容数）をマスタ情報選択処理で選択されたマスタ情報毎に算出し、配置許容数情報を生成する（Ｓ１３２０）。上述の例では、空き空間サイズが「幅２０，高さ６０，奥行き１００」であり、商品コード「０１２３」については、商品サイズが「横１５，縦１０，奥行き１０」であるので、生成部２６０は、６０（＝１×６×１０）を配置許容数として算出する。
続いて、生成部２６０は、Ｓ１１３０において特定部２５０で特定された棚に陳列されている商品に、棚割パターンマスタ情報に反する商品が含まれているか否かを判断する。このとき、生成部２６０は、含まれていると判断した場合、該当する商品の陳列が許可されている棚ＩＤを、棚ＤＢの棚割パターンマスタ情報を参照して特定する。その後、生成部２６０は、該当する商品の位置、商品コード、棚ＩＤの情報、陳列が許可されていない商品が存在する旨の情報を含む誤り情報（指摘情報）を生成する（Ｓ１３３０）。

続いて、生成部２６０は、マスタ情報選択処理で選択されたマスタ情報に含まれる販売終了予定年月日の情報が予め定められた期間内に達したか否かをマスタ情報毎に判断し、達したと判断した場合は、商品の販売の終了を予告する旨の予告情報を生成する（Ｓ１３４０）。例えば、販売終了予定年月日の情報が「2010/7/1」であり、予め定められた期間が１カ月である場合は、生成部２６０は、「2010/6/1」に達したときに予告情報を生成する。
続いて、生成部２６０は、推奨度情報、配置許可数情報、誤り情報、及び予告情報を含む付加情報を生成する（Ｓ１３５０）。なお、生成部２６０は、Ｓ１２２０で用いた棚割パターンマスタ情報に陳列方法の情報が含まれていると判断した場合は、陳列方法の情報を付加情報に加える。
なお、上述した処理は、適宜組み合わせて採用することができる。

以上のように、本実施形態の構成によれば、
・空き空間サイズに合った商品を探さなければならない、
・複数個所に空き空間が生じた場合には、複合的な空き空間サイズを加味したい、
・商品によってはサプライヤからの陳列方法などの指定があるものがあり、この指定に沿った状態で商品を選択して陳列することが要求される、
・元々の在庫切れ商品が納入されたときに、直ぐに戻さなければならない、
等の要素を考慮して、空き空間に的確な商品を推奨することができる。

（第２の実施形態）
第１の実施形態では、空き空間が発生した棚に対する推奨する代替商品の情報をＡＲ提供装置に表示する構成を中心に説明したが、本実施形態では、第１の実施形態で示した同じハードウェア構成を用いて、商品の陳列に関する別の情報をＡＲ提供装置に表示する構成をより詳細に説明する。
より具体的には、本実施形態では、棚に許可されていない商品が陳列されている、つまり店員がうっかり商品の陳列を誤った場合、客がある棚で取った商品を別の棚に置いてしまった場合などを想定している。この商品の置き間違いは、特に空きスペースがある場合に起きやすい課題であり、空きスペースを有効に活用する上で障害になりやすい。そこで、本実施形態では、その誤りを正すための情報を店員に提供する構成を採用する。
なお、本実施形態では、第１の実施形態の構成と同一の構成については、同一の符号を用いて、その説明を省略する。

図１９は、第１の実施形態の図１４、図１５に対応するフローチャートであり、第１の実施形態と異なる処理について主に説明する。Ｓ１５１０及びＳ１５２０は、Ｓ１０１０及びＳ１０２０と同一である。また、Ｓ１５３０〜Ｓ１５５０は、Ｓ１１１０〜Ｓ１１３０と同一である。
Ｓ１５６０では、生成部２６０は、棚に許可されていない商品が陳列されているか否かを判断する。判断の方法は、特に限定されるものではない。例えば、棚５００に全ての商品が配置されているときの画像を予め撮影しておき、現在の画像との差分を求めることで異なる商品があるか否かを特定する構成であってもよい。また、例えば、撮影装置１３５で撮影された棚５００に陳列されている個々の商品画像について商品ＤＢと棚ＤＢとに格納されている情報をもとに、個別に画像のマッチング処理を行って特定する構成であってもよい。

このとき、生成部２６０は、Ｓ１５６０で陳列されていない（Ｎｏ）と判断した場合、Ｓ１５８０の処理を行う。他方、生成部２６０は、陳列されている（Ｙｅｓ）と判断した場合、Ｓ１５７０の処理を行う。図１０は、陳列が許可されていない商品が存在する旨の指摘情報をＡＲ提供装置１００で表示した例を示す図である。この例では、商品番号「０２３４」の商品の配置が間違っていることに加え、本来の位置である棚「Ｚ５」を示す情報が提示されている。
このように、商品の棚への陳列について、間違えていることを人間が１つ１つ探すことが困難であるような場合でも、本実施形態によれば容易に把握でき、且つ本来の陳列の位置を示すことで、店員の業務負荷を軽減することが可能となる。
なお、単に商品の陳列の向きが間違えているというだけのこともあるため、商品画像については、複数の方向から撮影した写真を用いたり、３次元情報を用いたりすることが好ましい。

続いて、Ｓ１５８０では、生成部２６０は、現在撮影されている棚の商品について、商品ＤＢから商品の在庫の数を示す在庫数情報（図示せず）を抽出し、在庫数が所定数を下回っているか否かを判断する。この所定数は、商品ごとで決めておいてもよいし、商品カテゴリごとに決めておいてもよい。
このとき、生成部２６０は、在庫数が所定数を下回っていない（Ｎｏ）と判断した場合、Ｓ１６００の処理を行う。他方、生成部２６０は、在庫数が所定数を下回っている（Ｙｅｓ）と判断した場合、Ｓ１５９０で在庫切れ予告情報を生成する。
在庫切れ予告情報とは、「この商品は店内在庫が不足気味です」、「この商品はバックヤードに在庫が有りません」などの在庫の状況を店員に知らせるための情報であり、第１の実施形態で説明したようにＡＲ提供装置１００で棚に重畳して表示される。

通常、ＰＯＳ等の装置や紙の在庫伝票などを参照することで在庫の状況を確認することができるが、本実施形態によれば、棚の前にいながらにして、しかも棚に情報が重畳して表示されるため、店員は棚を探すことなく、一目で在庫の状況を把握することが可能となる。
以上のように、本実施形態によれば、棚での空きスペースを活用できるだけでなく、店員がうっかり商品の陳列を誤った場合、客がある棚で取った商品を別の棚に置いてしまった場合などに店員に間違いを正すよう指示できるようになり、棚をより有効に活用できるようになる。
なお、本実施形態については、独立して採用することができるが、例えば第１の実施形態に組み合わせて実装することも可能である。

（第３の実施形態）
本実施形態では、ＡＲ提供装置１００が特定部２５０の機能を有し、サーバ装置２００が特定部２５０の機能を有していない。以下では、図１８を参照して第１の実施形態と異なる構成について主に説明する。
図１８は、ＡＲ提供システムのシーケンスの一例を示す図である。ＳＱ１４１０は、ＳＱ６１０と同様の処理であり、ＳＱ１４２０は、ＳＱ６３０と同様の処理であり、ＳＱ１４３０は、ＳＱ６４０と同様の処理であり、ＳＱ１４５０は、ＳＱ６５０と同様の処理であり、ＳＱ１４６０は、ＳＱ６６０と同様の処理であり、ＳＱ１４７０は、ＳＱ６７０と同様の処理であるので説明を省略する。
ＳＱ１４４０では、要求部１５０は、特定情報を含む商品情報の取得要求をサーバ装置２００に送信する。特定情報には、ＳＱ１４２０で特定された棚ＩＤの情報、ＳＱ１４３０で特定された空き空間サイズの情報などが含まれている。
上述した各実施形態の構成によれば、棚の空き空間をより有効に使用することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
例えば、ＡＲ提供装置１００としては、タッチパネル式の表示画面１０を有した装置として説明したが、ＨＭＤなど、メガネ型の装置を採用してもよい。
また、例えば、商品サイズについては、基本的には陳列する向きに合わせた情報として商品ＤＢに格納されているが、同一の商品であっても陳列の向きを複数想定して商品サイズを格納しておく構成としてもよい。即ち、図１２のＳ１２１０では、選択部２５５は、空き空間サイズに収まる商品を抽出する際に、商品ＤＢに格納した商品サイズに従って抽出を行うが、この構成によれば、何れかの向きで商品が陳列された場合でも抽出されるようになる。

また、例えば、図１５のＳ１１１０では、特定部２５０は、複数の商品をマーカーとして見立てて棚ＩＤを特定する構成を示したが、棚に掲げられた商品値札をマーカーとして見立てて棚ＩＤを特定する構成としてもよい。
また、例えば、図１５で説明した空き空間サイズ特定処理では、全ての処理を行う必要はなく、Ｓ１１３０〜Ｓ１１５０の処理を行わないで実際に空いている空間のみを空き空間として特定してもよい。
また、例えば、図１６では、１つの空き空間に１種類の商品を提示したが、空き空間が大きい場合には、複数種の商品を並べて陳列するよう商品を選択する構成としてもよい。この場合、複数の商品サイズの合計値が空き空間サイズより小さくなるように条件を設定し、必要に応じて棚割パターンマスタ情報も設定しておく。
また、例えば、各実施形態を必要に応じて組み合わせて使用してもよい。

１００ ＡＲ提供装置
１５０ 要求部
１５５ 表示制御部
２００ サーバ装置
２５０ 特定部
２５５ 選択部
２６０ 生成部
２６５ 返答部

Claims (17)

1. 撮影部及び表示部を有する情報処理端末と情報処理装置とが通信可能な拡張現実提供システムであって、
   前記情報処理端末は、
   前記撮影部での撮影内容の画像情報を含む、前記画像情報から特定され得る棚に陳列できる商品を示す商品情報を取得するための要求を前記情報処理装置に送信する要求手段と、
   前記要求に応答して前記情報処理装置から送信された返答に含まれる商品情報を前記撮影部で撮影された画像情報に重畳して前記表示部に表示する表示制御手段と、
   を有し、
   前記情報処理装置は、
   前記要求に含まれる前記画像情報から棚を特定して前記棚の空き空間の大きさを特定する特定手段と、
   商品を示す商品情報と前記商品の大きさを示すサイズ情報とが関連付けられて複数記憶された記憶部から、前記特定手段で特定された前記棚の空き空間の大きさよりも小さい商品の商品情報を選択する選択手段と、
   前記選択手段で選択された商品情報を含む返答を前記情報処理端末に送信する返答手段と、
   を有することを特徴とする拡張現実提供システム。
2. 前記記憶部には、前記棚への陳列が許容される商品を識別する陳列ルール情報が記憶され、
   前記選択手段は、前記棚の空き空間の大きさよりも小さい商品の商品情報のうち、前記陳列ルール情報より前記棚への陳列が許容されると識別した商品の商品情報を選択することを特徴とする請求項１に記載の拡張現実提供システム。
3. 前記陳列ルール情報には、前記棚への陳列が許容される商品のカテゴリ情報が含まれ、
   前記選択手段は、前記棚の空き空間の大きさよりも小さい商品の商品情報のうち、前記カテゴリ情報に属する商品の商品情報を選択することを特徴とする請求項２に記載の拡張現実提供システム。
4. 前記陳列ルール情報には、前記棚への陳列が許容される商品のブランド情報が含まれ、
   前記選択手段は、前記棚の空き空間の大きさよりも小さい商品の商品情報のうち、前記ブランド情報に対応するブランドの商品の商品情報を選択することを特徴とする請求項２又は３に記載の拡張現実提供システム。
5. 前記陳列ルール情報には、前記棚への陳列が許容される商品の商品情報が含まれ、
   前記選択手段は、前記棚の空き空間の大きさよりも小さい商品の商品情報のうち、前記陳列ルール情報に含まれる商品情報に一致する商品情報を選択することを特徴とする請求項２乃至４の何れか１項に記載の拡張現実提供システム。
6. 前記記憶部には、商品毎に売上数を示す実績情報が記憶され、
   前記選択手段は、前記棚の空き空間の大きさよりも小さい商品の商品情報のうち、前記実績情報に基づいて商品の売上数が相対的に高い商品の商品情報を優先的に選択することを特徴とする請求項１乃至５の何れか１項に記載の拡張現実提供システム。
7. 前記記憶部には、商品毎に売上数を示す実績情報が記憶され、
   前記記憶部に記憶される商品情報には、商品を表す商品画像情報が含まれ、
   前記特定手段は、前記要求に含まれる前記画像情報と前記記憶部に記憶される商品画像情報とから前記棚に陳列されている商品を識別し、前記実績情報に基づいて前記棚に陳列されている商品から売上数が相対的に低い商品を特定し、特定した商品を前記棚から排したときに生じる空間の大きさを前記棚の空き空間の大きさとして特定することを特徴とする請求項１乃至６の何れか１項に記載の拡張現実提供システム。
8. 前記特定手段は、前記要求に含まれる前記画像情報から前記棚の同じ段に複数の空き空間があると判断した場合、前記複数の空き空間を合算した大きさを前記棚の空き空間の大きさとして特定することを特徴とする請求項１乃至７の何れか１項に記載の拡張現実提供システム。
9. 前記記憶部には、商品毎に販売の終了の時期を示す終了情報が記憶され、
   前記情報処理装置は、
   前記選択手段で選択された商品情報において、予め定められた時間が経過したときに販売が終了する商品の商品情報があると前記終了情報に基づいて判断した場合、該当する商品の販売の終了に関する指示を示す指示情報を生成する生成手段を更に有し、
   前記返答手段は、前記生成手段で指示情報が生成された場合、前記指示情報を前記情報処理端末に送信し、
   前記表示制御手段は、前記指示情報を前記表示部に表示することを特徴とする請求項１乃至８の何れか１項に記載の拡張現実提供システム。
10. 前記記憶部には、前記棚への陳列が許容される商品を識別する陳列ルール情報と前記商品を表す商品画像情報とが記憶され、
    前記情報処理装置は、
    前記要求に含まれる前記画像情報と前記記憶部に記憶されている商品画像情報とから前記陳列ルール情報より前記棚への陳列が許容されない商品があると識別した場合、前記棚で陳列が許可されていない商品が存在する旨の指摘情報を生成する生成手段を更に有し、
    前記返答手段は、前記生成手段で指摘情報が生成された場合、前記指摘情報を前記情報処理端末に送信し、
    前記表示制御手段は、前記指摘情報を前記表示部に表示することを特徴とする請求項１乃至９の何れか１項に記載の拡張現実提供システム。
11. 撮影部及び表示部を有する情報処理端末から送信される前記撮影部での撮影内容の画像情報から棚を特定して前記棚の空き空間の大きさを特定する特定手段と、
    商品を示す商品情報と前記商品の大きさを示すサイズ情報とが関連付けられて複数記憶された記憶部から、前記特定手段で特定された前記棚の空き空間の大きさよりも小さい商品の商品情報を選択する選択手段と、
    前記選択手段で選択された商品情報を含む返答を前記情報処理端末に送信する返答手段と、
    を有することを特徴とする情報処理装置。
12. 撮影部及び表示部を有する情報処理端末であって、
    前記撮影部での撮影内容の画像情報から棚を特定して前記棚の空き空間の大きさを特定する特定手段と、
    前記特定手段で特定された前記棚の空き空間の大きさの情報を含む前記棚に陳列できる商品を示す商品情報を取得するための要求を、商品を示す商品情報と前記商品の大きさを示すサイズ情報とが関連付けられて複数記憶された記憶部から、前記棚の空き空間の大きさよりも小さい商品の商品情報を選択する情報処理装置に送信する要求手段と、
    前記要求に応答して前記情報処理装置から送信された返答に含まれる商品情報を前記撮影部で撮影された画像情報に重畳して前記表示部に表示する表示制御手段と、
    を有することを特徴とする情報処理端末。
13. 撮影部及び表示部を有する情報処理端末と情報処理装置とが通信可能な拡張現実提供システムにおける拡張現実提供方法であって、
    前記情報処理端末が、前記撮影部での撮影内容の画像情報を含む要求を前記情報処理装置に送信する要求工程と、
    前記情報処理装置が、前記要求に含まれる前記画像情報から棚を特定して前記棚の空き空間の大きさを特定する特定工程と、
    前記情報処理装置が、商品を示す商品情報と前記商品の大きさを示すサイズ情報とが関連付けられて複数記憶された記憶部から、前記特定工程で特定された前記棚の空き空間の大きさよりも小さい商品の商品情報を選択する選択工程と、
    前記情報処理装置が、前記選択工程で選択された商品情報を含む返答を前記情報処理端末に送信する返答工程と、
    前記情報処理端末が、前記要求に応答して前記情報処理装置から送信された返答に含まれる商品情報を前記撮影部で撮影された画像情報に重畳して前記表示部に表示する表示制御工程と、
    を有することを特徴とする拡張現実提供方法。
14. 撮影部及び表示部を有する情報処理端末から送信される前記撮影部での撮影内容の画像情報から棚を特定して前記棚の空き空間の大きさを特定する特定工程と、
    商品を示す商品情報と前記商品の大きさを示すサイズ情報とが関連付けられて複数記憶された記憶部から、前記特定工程で特定された前記棚の空き空間の大きさよりも小さい商品の商品情報を選択する選択工程と、
    前記選択工程で選択された商品情報を含む返答を前記情報処理端末に送信する返答工程と、
    を有することを特徴とする情報処理方法。
15. 撮影部及び表示部を有する情報処理端末が実行する情報処理方法であって、
    前記撮影部での撮影内容の画像情報から棚を特定して前記棚の空き空間の大きさを特定する特定工程と、
    前記特定工程で特定された前記棚の空き空間の大きさの情報を含む前記棚に陳列できる商品を示す商品情報を取得するための要求を、商品を示す商品情報と前記商品の大きさを示すサイズ情報とが関連付けられて複数記憶された記憶部から、前記棚の空き空間の大きさよりも小さい商品の商品情報を選択する情報処理装置に送信する要求工程と、
    前記要求に応答して前記情報処理装置から送信された返答に含まれる商品情報を前記撮影部で撮影された画像情報に重畳して前記表示部に表示する表示制御工程と、
    を有することを特徴とする情報処理方法。
16. コンピュータを、
    撮影部及び表示部を有する情報処理端末から送信される前記撮影部での撮影内容の画像情報から棚を特定して前記棚の空き空間の大きさを特定する特定手段と、
    商品を示す商品情報と前記商品の大きさを示すサイズ情報とが関連付けられて複数記憶された記憶部から、前記特定手段で特定された前記棚の空き空間の大きさよりも小さい商品の商品情報を選択する選択手段と、
    前記選択手段で選択された商品情報を含む返答を前記情報処理端末に送信する返答手段と、
    して機能させるプログラム。
17. 撮影部及び表示部を有するコンピュータを、
    前記撮影部での撮影内容の画像情報から棚を特定して前記棚の空き空間の大きさを特定する特定手段と、
    前記特定手段で特定された前記棚の空き空間の大きさの情報を含む前記棚に陳列できる商品を示す商品情報を取得するための要求を、商品を示す商品情報と前記商品の大きさを示すサイズ情報とが関連付けられて複数記憶された記憶部から、前記棚の空き空間の大きさよりも小さい商品の商品情報を選択する情報処理装置に送信する要求手段と、
    前記要求に応答して前記情報処理装置から送信された返答に含まれる商品情報を前記撮影部で撮影された画像情報に重畳して前記表示部に表示する表示制御手段と、
    して機能させるプログラム。

Images