JP2022012266A - 情報処理システム、情報処理装置、情報処理方法、及び、プログラム - Google Patents

Abstract

【課題】商品棚に値札を付与せず、顧客が携帯端末を用いて各商品の価格や商品情報を見ることができるようにする。
【解決手段】情報処理システムにおいて、撮像手段は、商品の外観を撮像した撮像画像を生成する。商品認識手段は、撮像画像の画像認識を行い、当該撮像画像に含まれる商品を認識する。価格取得手段は、認識された商品の価格を取得する。表示制御手段は、価格を撮像画像上に重畳した価格重畳画面を表示部に表示する。
【選択図】図６

Description

本発明は、携帯端末を用いた商品情報の表示に関する。

店舗において、顧客が所有するスマートフォンなどの携帯端末を用いて商品の読み取りを行うシステムが提案されている。例えば、特許文献１は、カメラ付き携帯情報端末により商品に付与されたバーコードを読み取り、商品の価格を表示する手法を提案している。また、特許文献２は、商品の精算を行うレジにおいて、商品の画像を撮影し、購入商品の画像と、各商品の商品名、単価、個数、合計金額などを表示する手法を記載している。

特開２００４－３１０２７４号公報 特開２０１２－０４３３７１号公報

通常の店舗では、商品棚に陳列された商品について、商品棚に値札が付与されているので、顧客は値札を見ることにより各商品の価格を知ることができる。しかし、店舗側としては、個々の商品に対する値札を作成したり、商品棚に値札を付与したりする労力は大きい。特に、新たな商品を陳列したり、商品の価格が変更になったり、税率が変更になったりした場合には、対象となる商品の値札を追加したり更新したりする必要があり、店舗としては大きな負担となる。

本発明の目的は、商品棚に値札を付与せず、顧客が携帯端末を用いて商品の価格や商品情報を見ることができる店舗を実現することが可能な情報処理システムを提供することにある。

本発明の１つの観点は、情報処理システムであって、
商品の外観を撮像した撮像画像を生成する撮像手段と、
前記撮像画像の画像認識を行い、当該撮像画像に含まれる商品を認識する商品認識手段と、
認識された商品の価格を取得する価格取得手段と、
前記価格を前記撮像画像上に重畳した価格重畳画面を表示部に表示する表示制御手段と、
を備える。

本発明の他の観点は、端末装置と通信可能な情報処理装置であって、
商品の外観を撮像した撮像画像を前記端末装置から受信する受信手段と、
前記撮像画像の画像認識を行い、当該撮像画像に含まれる商品を認識する商品認識手段と、
認識された商品の価格を取得する価格取得手段と、
前記価格を前記撮像画像上に重畳した価格重畳画面を生成し、前記端末装置へ送信する送信手段と、を備える。

本発明の他の観点は、情報処理方法であって、
商品の外観を撮像した撮像画像を端末装置から受信し、
前記撮像画像の画像認識を行い、当該撮像画像に含まれる商品を認識し、
認識された商品の価格を取得し、
前記価格を前記撮像画像上に重畳した価格重畳画面を生成し、前記端末装置へ送信する。

本発明の他の観点は、プログラムであって、
商品の外観を撮像した撮像画像を端末装置から受信し、
前記撮像画像の画像認識を行い、当該撮像画像に含まれる商品を認識し、
認識された商品の価格を取得し、
前記価格を前記撮像画像上に重畳した価格重畳画面を生成し、前記端末装置へ送信する処理をコンピュータに実行させる。

本発明によれば、商品棚に値札を付与せず、顧客が携帯端末を用いて商品の価格や商品情報を見ることができる店舗を実現することが可能となる。

実施形態に係る情報処理システムの構成を示す。 画像処理サーバの概略構成を示す。 商品情報のデータ構造の例を示す。 商品情報のデータ構造の他の例を示す。 携帯端末の概略構成を示す。 撮像画像を用いて価格情報を得る方法を示す。 商品詳細画面の例を示す。 複数の商品を比較する商品詳細画面の例を示す。 バーコードを用いて商品情報を取得する方法を示す。 表示処理のフローチャートである。 撮像画像に含まれる商品数が多い場合のメッセージ表示例を示す。 商品詳細画面の他の例を示す。

以下、図面を参照しながら、本発明の好適な実施形態について説明する。
［システムの全体構成］
図１は、本実施形態に係る情報処理システム１００の全体構成を示す。情報処理システム１００は、画像処理サーバ２と、携帯端末３とを備える。顧客は、店舗８において商品を購入する。店舗８では、商品棚４に商品が陳列され、販売されている。ここで、通常の店舗では商品棚に値札が付与されており、顧客は値札を見ることにより商品の価格を知ることができる。これに対し、本実施形態においては、店舗８の商品棚４には値札が付与されていないものとする。即ち、商品棚４には、単純に各商品が陳列されているだけである。なお、本実施形態では、商品の一例として薬を用いて説明を行う。図示のように商品棚４には、異なる種類の薬Ａ～Ｈなどが陳列されている。

本実施形態では、商品棚４に値札が付されていないので、顧客は携帯端末３を用いて価格情報や商品に関する詳細な情報（以下、「商品詳細情報」と呼ぶ。）を取得する。なお、「商品詳細情報」とは、商品仕様の情報であり、例えば、商品名、メーカ名、価格、原材料、産地、容量、用法、効能、商品や商品パッケージの画像などのいずれか１つを少なくとも含む。具体的に、顧客は、店舗８内において携帯端末３に商品を表示させることにより、価格情報や商品詳細情報を見ることができる。なお、顧客は、携帯端末３を用いて、商品に付されたバーコードを読み取ることによっても、商品詳細情報を見ることができる。

画像処理サーバ２は、携帯端末３とネットワーク等を介して通信可能となっており、携帯端末３が表示制御に必要な情報を記憶し、携帯端末３が各種画面を表示するために必要な表示情報を携帯端末３に送信する。なお、画像処理サーバ２は、携帯端末３が表示制御に必要な情報を、携帯端末が表示制御をする度に外部装置から取得してもよいし、定期的に外部装置から取得して内部に記憶しても良い。また、画像処理サーバ２は、携帯端末がの表示制御に必要な情報の一部のみを内部に記憶し、残りの情報を外部装置から取得しても良い。本実施形態の画像処理サーバ２は、定期的に携帯端末３が表示制御に必要な情報を外部装置から取得している、又は、予め携帯端末３が表示制御に必要な情報を内部に記憶していることを前提に記載する。

携帯端末３は、店舗８で買い物を行う顧客が使用する端末であり、商品棚４に陳列された商品を撮像する機能、商品に付された商品バーコードを読み取る機能、画像処理サーバ２と通信を行うことで価格情報や商品詳細情報を取得し、表示する機能などを有する。なお、図１では説明の便宜上、携帯端末３は１つのみ表示されているが、実際には店舗８に入店している顧客の数だけ存在している。なお、携帯端末３は、顧客が所有するスマートフォンなどの端末であってもよく、店舗８における買い物の際に一時的に顧客に貸し出される店舗所有の端末であってもよい。

［装置構成］
次に、画像処理サーバ２及び携帯端末３の構成について図２～３を参照して説明する。
（画像処理サーバ）
図２は、画像処理サーバ２の概略構成を示す。画像処理サーバ２は、記憶部２３と、通信部２４と、制御部２５とを備える。

記憶部２３は、ハードディスク又はフラッシュメモリといったメモリによって構成される。記憶部２３は、制御部２５が実行するプログラム、及び、制御部２５がプログラムを実行することで所定の処理を実行するのに必要な情報を記憶する。記憶部２３は、画像処理サーバ２内に設けられる場合、バスライン２０を介して通信部２４及び制御部２５と接続される。なお、画像処理サーバ２内に記憶部２３を設ける代わりに、画像処理サーバ２が使用する情報を画像処理サーバ２外の外部装置に記憶し、制御部２５がその外部装置から情報を取得して処理を行ってもよい。その場合、その外部装置は、ファイバーチャネルやＬＡＮケーブルなどを介して通信部２４及び制御部２５と接続される。

具体的に、記憶部２３は、顧客情報、商品情報、及び、画像特徴情報を記憶している。「顧客情報」は、個々の顧客に関する情報である。本実施形態では、チェーン店に属する１つの店舗８において携帯端末３を用いて商品情報を表示するサービスを受けるため、顧客は事前にチェーン本部に対してユーザ登録を行う。記憶部２３は、登録された顧客について、顧客ＩＤ、顧客が使用する携帯端末３の端末ＩＤ、その顧客の過去の購入履歴、会員ランクなどの情報を顧客情報として記憶する。なお、会員ランクは、その店舗やそのチェーン店全体における顧客の過去の購入履歴などに基づいて設定され、一般的には、過去の購入金額が多いほど、会員ランクが高くなる。

「商品情報」は、各商品に関する情報であり、商品ＩＤなどの商品識別情報毎に価格情報及び商品詳細情報を含む。「価格情報」は、各商品の価格を示す。なお、商品の価格は店舗ごとに決められており、価格情報は各商品に対して店舗ごとの価格を含んでいる。「商品詳細情報」は、前述のように商品仕様の情報であり、例えば、商品名、メーカ名、価格、原材料、産地、容量、用法、効能、商品や商品パッケージの画像などのいずれか１つを少なくとも含む。商品詳細情報は、商品識別情報と対応付けられている。商品識別情報は、商品種別を識別するための情報であり、例えば、商品に付されるバーコードで示されるＪＡＮコードや商品名などである。

図３は、商品情報のデータ構造の一例を示す。この例では、商品識別情報と、価格情報と、商品詳細情報とを紐付けた商品情報が店舗毎に用意され、記憶部２３に記憶されている。図４は、商品情報のデータ構造の他の例を示す。この例では、商品情報は、価格情報と商品詳細情報とに分けられ、記憶部２３に記憶されている。図４（Ａ）に示すように、価格情報は店舗毎に各商品の価格を示している。一方、図４（Ｂ）に示すように、商品詳細情報は商品毎に記憶されている。

「画像特徴情報」は、商品の画像認識に用いられる特徴量の情報である。具体的には、画像特徴情報は、店舗８で販売されている各商品について、その外観を撮影した画像から画像処理により抽出した特徴量を示す情報である。画像特徴情報は、商品識別情報と対応付けて記憶されている。なお、画像特徴情報の代わりに、その商品の画像自体を記憶してもよい。

通信部２４は、有線又は無線通信により携帯端末３と通信する。制御部２５は、図示しないＣＰＵ、ＲＯＭ及びＲＡＭなどを備え、画像処理サーバ２内の各構成要素に対して種々の制御を行う。制御部２５が実行する処理については後述する。

なお、上記の構成において、画像処理サーバ２は情報処理装置の一例であり、通信部２４は受信手段及び送信手段の一例であり、記憶部２３は価格記憶部の一例であり、制御部２５は商品認識手段及び価格取得手段の一例である。

（携帯端末）
図５は、携帯端末３の概略構成を示す。携帯端末３は、表示部３１と、入力部３２と、記憶部３３と、通信部３４と、制御部３５と、カメラ３６とを備える。これらの各要素は、バスライン３０を介して相互に接続されている。

表示部３１は、制御部３５の制御に基づき、カメラ３６により撮像した商品の画像、商品の価格、商品詳細情報などを表示する。入力部３２は、ユーザの入力を受け付けるインターフェースであり、例えば、タッチパネル、ボタン、音声入力装置などが該当する。

記憶部３３は、ハードディスク又はフラッシュメモリといったメモリによって構成される。記憶部３３は、制御部３５が実行するプログラム、及び、制御部３５がプログラムを実行することで所定の処理を実行するのに必要な情報を記憶する。例えば、記憶部３３には、店舗８において買い物を行う際に起動され、価格情報や商品詳細情報の表示を制御するための専用のアプリケーションプログラム（以下、「商品情報表示アプリ」と呼ぶ。）が記憶されている。

通信部３４は、例えば店舗に設置されたＷｉＦｉ（登録商標）機器を経由した通信により画像処理サーバ２と通信する。制御部３５は、図示しないＣＰＵ、ＲＯＭ及びＲＡＭなどを備え、携帯端末３内の各構成要素に対して種々の制御を行う。制御部３５が実行する制御については後述する。なお、上記の構成において、カメラ３６は撮像手段、読取手段、店舗識別情報取得手段の一例であり、制御部３５は表示制御手段、顧客識別情報取得手段の一例である。

カメラ３６は、商品の撮像に使用される。顧客がカメラ３６を撮影モードとし、商品棚に陳列されている商品を撮像すると、撮像されている商品が表示部３１に表示される。ここで「撮像」とは、カメラ３６の撮影範囲内に商品の画像を捕捉した状態を指し、その画像を画像データとして携帯端末３に記憶又は記録することは必要ではない。即ち、カメラ３６で商品棚のある商品を撮像した状態ではその商品が表示部３１に表示されているが、顧客が携帯端末３の位置や向きを変えた場合には、別の商品が撮像され、その商品が表示部３１に表示されるようになる。以下、携帯端末３で撮像した画像を「撮像画像」と呼ぶ。

また、カメラ３６は、バーコードリーダとしても機能する。前述の商品情報表示アプリは、撮像された画像がバーコードを含む場合にはバーコードリーダとして動作し、カメラ３６が撮像したバーコードからＪＡＮコードなどの商品識別情報を取得して制御部３５へ出力する。

［商品情報の表示方法］
次に、商品情報の表示方法について説明する。
（撮像画像を用いる方法）
（１）価格重畳画面の表示
本実施形態では、前述のように店舗８の商品棚４には値札が付いておらず、顧客は携帯端末３を用いて商品情報を取得する。図６は、撮像画像を用いて価格情報を得る方法を示す。顧客は、携帯端末３にインストールされた商品情報表示アプリを操作してカメラ３６を起動し、関心のある商品を携帯端末３で撮像する。図６の例で示すように、顧客が商品棚４の破線４２で示す範囲を携帯端末３で撮像すると、表示画面６１に示すように、携帯端末３は破線４２の範囲の撮像画像を表示するとともに、その撮像画像を画像処理サーバ２へ送信する。画像処理サーバ２は、携帯端末３から撮像画像を受信すると、撮像画像に含まれる各商品を画像認識し、各商品の価格情報を取得して携帯端末３へ送信する。携帯端末３は、受信した価格情報を、対応する商品上に重畳して表示する。その結果、表示画面６２に示すように、各商品上にその商品の価格５１が表示された画面（「価格重畳画面」と呼ぶ。）が携帯端末３に表示される。このように、顧客が携帯端末３で関心のある商品を撮像すると、そのときの撮像画像に含まれる商品の価格が各商品上に重ねて表示される。よって、商品棚４に値札が付されていなくても、顧客は携帯端末３を使って、関心のある商品の価格を知ることができる。

（２）商品詳細画面の表示
価格重畳画面に同じ商品が表示された状態で所定時間が経過すると、携帯端末３は、図７（Ａ）に例示するように、商品の選択が可能であることを顧客に伝えるメッセージ５２を表示する。顧客が画面上でいずれかの商品をタップして選択すると、選択された商品の商品詳細画面が表示される。具体的に、顧客が商品を選択すると、携帯端末３は選択された商品の商品識別情報を画像処理サーバ２へ送信する。画像処理サーバ２は、受信した商品識別情報に対応する商品の商品詳細情報を記憶部２３から取得し、携帯端末３へ送信する。携帯端末３は、受信した商品詳細情報を含む商品詳細画面を生成し、表示部３１に表示する。

図７（Ｂ）は、商品詳細画面の一例である。この例は、価格重畳画面において、薬Ｂが選択された場合の例である。商品詳細画面６３は、その商品のパッケージ画像６３ａと、その商品に関する詳細情報６３ｂとを含む。なお、パッケージ画像６３ａは、携帯端末３が撮像した画像ではなく、予め画像処理サーバ２の記憶部２３に商品詳細情報の一部として記憶されている画像である。こうして、顧客は、価格重畳画面において関心のある商品を選択することにより、その商品の詳細情報を見ることができる。

また、図７（Ａ）に示すようにメッセージ５２が表示された状態で、顧客が複数の商品を選択すると、携帯端末３は、複数の商品についての商品詳細情報を比較表示する商品詳細画面を表示する。具体的には、携帯端末３は、顧客が選択した複数の商品の商品識別情報を画像処理サーバ２へ送信する。画像処理サーバ２は、受信した商品識別情報に対応する商品の商品詳細情報を記憶部２３から取得し、携帯端末３へ送信する。携帯端末３は、受信した複数の商品の商品詳細情報を含む商品詳細画面を生成し、表示部３１に表示する。

図８は、複数の商品を比較する商品詳細画面の例を示す。図８は、複数の商品として、薬Ｂと薬Ｇが選択された場合の商品詳細画面６４を示す。このように、顧客が複数の商品を選択した場合、携帯端末３にはそれらの商品の商品詳細情報を比較表示する商品詳細画面が表示される。なお、この場合、商品詳細画面が見にくくならないように、一度に比較表示できる商品数に制限を設けることが好ましい。

なお、携帯端末３による撮像画像に含まれる商品が１つのみである場合には、その商品が選択されたものと考えてよいので、携帯端末３は、価格重畳画面を表示せずに、その商品についての商品詳細画面を表示すればよい。具体的には、携帯端末３は、撮像画像を画像処理サーバ２へ送信し、画像処理サーバ２は、撮像画像に含まれる商品を画像認識する。そして、画像処理サーバ２は、撮像画像に含まれる商品が１つであるか否か判定し、撮像画像に含まれる商品が１つである場合、その商品の商品詳細情報を記憶部２３から取得し、携帯端末３へ送信する。携帯端末３は、受信した商品詳細情報を含む商品詳細画面を生成し、表示部３１に表示する。

（バーコードを用いる方法）
本実施形態では、上記のように撮像画像を用いて商品情報を取得する方法に加えて、バーコードを用いて商品情報を取得することもできる。図９は、バーコードを用いて商品情報を取得する方法を示す。顧客は、携帯端末３の商品情報表示アプリを操作してカメラ３６を起動し、商品のパッケージ４１に印刷又は貼付されているバーコード４３を撮像する。携帯端末３は、撮像した画像がバーコードを含むと判定すると、バーコードリーダとして機能し、バーコードを読み取って商品識別情報を取得し、画像処理サーバ２へ送信する。画像処理サーバ２は、商品識別情報に基づいて、記憶部２３から対応する商品の商品詳細情報を取得して携帯端末３へ送信する。携帯端末３は、受信した商品詳細情報を含む商品詳細画面６５を生成し、表示部３１に表示する。なお、商品から読み取るバーコードとしては、図９に例示する１次元のバーコードの他、ＱＲコード（登録商標）などの２次元バーコードなどでもよい。バーコードはコード情報の一例である。

［表示処理］
次に、情報処理システム１００による表示処理について説明する。表示処理は、顧客が店舗８において携帯端末３を使用して商品情報を表示する処理である。図１０は、表示処理のフローチャートである。表示処理は、画像処理サーバ２及び携帯端末３が、それぞれ予め用意されたプログラムを実行することにより実現される。なお、前提として、顧客は店舗８で携帯端末３を用いた商品表示のサービスを受けるため、事前に店舗８が属するチェーン本部に対してユーザ登録を行っており、その顧客の情報が画像処理サーバ２の記憶部２３に顧客情報として登録されているものとする。また、顧客は、店舗８で商品を表示するための商品情報表示アプリを携帯端末３にインストールしているものとする。

まず、顧客は、店舗８に入ると、携帯端末３にインストール済みの商品情報表示アプリを起動し、携帯端末３を用いて店舗バーコードを読み取る（ステップＳ１０１）。店舗バーコードは、店舗８内の所定の場所、例えば、店舗の入口付近の壁や買い物に使用するカードなどに貼り付けられている。顧客が店舗バーコードを読み取ると、携帯端末３は、読み取った店舗バーコードから店舗ＩＤを取得し、画像処理サーバ２へ送信する（ステップＳ１０２）。なお、携帯端末３は、何らかの情報を画像処理サーバ２へ送信する際には、必要に応じて自身を識別するために顧客ＩＤ又は携帯端末３の端末ＩＤを送信する。画像処理サーバ２は、携帯端末３から店舗ＩＤを受信し、店舗を特定する（ステップＳ１０３）。

なお、上記のステップＳ１０１では、携帯端末３は店舗バーコードの読み取りにより店舗を特定しているが、その代わりに、携帯端末３の位置を示すＧＰＳ情報を用いて店舗を特定し、店舗ＩＤを画像処理サーバ２へ送信してもよい。また、携帯端末３が店舗情報を画像処理サーバ２へ送信する代わりに、画像処理サーバ２が、携帯端末３からの情報がどの店舗のＷｉＦｉ経由で画像処理サーバ２へ送信されてくるかを識別することにより、その顧客がいる店舗を特定してもよい。

次に、携帯端末３は、カメラ３６を用いて商品に付されている商品バーコードが読み取られたか否かを判定する（ステップＳ２０１）。商品バーコードが読み取られた場合（ステップＳ２０１：Ｙｅｓ）、携帯端末３は読み取った商品バーコードに基づいて、読み取った商品の商品識別情報を画像処理サーバ２へ送信する（ステップＳ２０２）。画像処理サーバ２は、携帯端末３から商品識別情報を受信し（ステップＳ２０３）、記憶部２３を参照してその商品の商品詳細情報を取得し、携帯端末３へ送信する（ステップＳ２０４）。なお、店舗毎に各商品の商品詳細情報が記憶部２３に記憶されている場合、ステップＳ２０４において画像処理サーバ２は、ステップＳ１０３で特定した店舗、およびステップＳ２０３で受信した商品識別情報に対応付けられた商品詳細情報を記憶部２３から取得し、携帯端末３へ送信する。ステップＳ２０４に続いて、携帯端末３は、商品詳細情報を受信し、商品詳細画面を表示部３１に表示する（ステップＳ２０５）。こうして、図９を参照して説明したように、バーコードを利用した商品情報の表示が行われる、そして、処理はステップＳ２０６へ進む。なお、商品バーコードが読み取られていない場合も（ステップＳ２０１：Ｎｏ）、処理はステップＳ２０６へ進む。

ステップＳ２０６では、携帯端末３は、カメラ３６を用いて商品の撮像画像が取得されたか否かを判定する。撮像画像が取得された場合（ステップＳ２０６：Ｙｅｓ）、携帯端末３は撮像画像を画像処理サーバ２へ送信する（ステップＳ２０７）。画像処理サーバ２は、携帯端末３から撮像画像を受信し（ステップＳ２０８）、記憶部２３内の画像特徴情報を用いて撮像画像に含まれる商品の商品識別情報を取得する。

次に、画像処理サーバ２は、記憶部２３内の商品情報のうち、ステップＳ１０３で特定した店舗に対応する商品情報を参照して、ステップＳ２０８で取得した商品識別情報に対応する各商品の価格を取得し、携帯端末３へ送信する（ステップＳ２０９）。携帯端末３は、撮像画像に含まれる各商品の価格を受信し、表示部３１に表示する（ステップＳ２１０）。こうして、図６を参照して説明したように、商品の撮像画像を利用して、携帯端末３に価格重畳画面が表示される。そして、処理はステップＳ２１１へ進む。撮像画像が表示されていない場合も（ステップＳ２０６：Ｎｏ）、処理はステップＳ２１１へ進む。なお、画像処理サーバ２は、ステップＳ２０８で受信した撮像画像に含まれる商品が１つだけである場合、該撮像画像に基づいて該商品の商品識別情報を取得し、ステップＳ１０３で特定した店舗に対応する商品情報を参照してその商品の商品詳細情報を取得し、携帯端末３へ送信すればよい。この場合、携帯端末３は、その商品の商品詳細情報を含む商品詳細画面を表示する。

ステップＳ２１１では、携帯端末３は、価格重畳画面において、顧客により商品が選択されたか否かを判定する。商品が選択された場合（ステップＳ２１１：Ｙｅｓ）、携帯端末３は、選択された商品を特定する情報（以下、「選択商品情報」と呼ぶ。）を画像処理サーバ２へ送信する（ステップＳ２１２）。なお、価格重畳画面を表示した時点で、画像処理サーバ２は各商品を識別済みであるので、携帯端末３は、選択された商品の商品識別情報を選択商品情報として送信することができる。なお、商品識別情報の代わりに、携帯端末３は、撮像画面における選択された商品の位置情報などを選択商品情報として使用してもよい。

画像処理サーバ２は、選択商品情報を携帯端末３から受信し（ステップＳ２１３）、記憶部２３を参照して、選択された商品の商品詳細情報を取得し、携帯端末３へ送信する（ステップＳ２１４）。なお、店舗毎に各商品の商品詳細情報が記憶部２３に記憶されている場合、ステップＳ２１４において画像処理サーバ２は、ステップＳ１０３で特定された店舗に対応する記憶部２３の商品情報を参照して商品詳細情報を取得する。また、選択された商品が複数ある場合、画像処理サーバ２はそれら複数の商品の商品詳細情報を携帯端末３へ送信する。

続いて、携帯端末３は、選択された商品の商品詳細情報を受信し、商品詳細画面を表示部３１に表示する（ステップＳ２１５）。こうして、図７及び図８を参照して説明したように、価格重畳画面において顧客が選択した商品の商品詳細画面が表示される。

次に、携帯端末３は、顧客の操作により、商品情報表示アプリが終了したか否かを判定する（ステップＳ２１６）。商品情報表示アプリが終了した場合（ステップＳ２１６：Ｙｅｓ）、処理は終了する。一方、商品情報表示アプリが終了していない場合（ステップＳ２１６：Ｎｏ）、処理はステップＳ２０１へ戻る。

以上説明したように、本実施形態の商品情報表示処理によれば、顧客は、携帯端末３を用いたバーコードの読み取り、又は、商品画像の撮像により、価格情報や商品詳細情報などを取得することができる。よって、店舗の商品棚に値札が付されていなくても、顧客は商品の購入に必要な情報を容易に得ることができる。

［変形例］
次に、本実施形態の変形例について説明する。以下の変形例は、適宜組み合わせて実施することができる。
（１）撮像画像に含まれる商品数が多い場合の処理
携帯端末３により一度に撮像される商品数が多いと、価格重畳画面における各商品の領域が小さくなるため、価格重畳画面が見にくくなる恐れがある。このため、撮像画像に含まれる商品数が多い場合には、携帯端末３は、価格重畳画面を表示する前に、撮像する商品数を減らすことを求めるメッセージを表示する。図１１（Ａ）は、撮像画像に含まれる商品数が多い場合のメッセージ表示例を示す。いま、価格重畳画面において一度に表示可能な商品数の上限（以下、「上限数」と呼ぶ。）が６個であると仮定する。図１１（Ａ）の例では、携帯端末３により上限数を超える商品が撮像されている。この場合、携帯端末３は、商品数を減らすことを求めるメッセージ５６を表示する。

具体的な処理としては、携帯端末３は、カメラ３６で撮像した撮像画像を画像処理サーバ２へ送信する。画像処理サーバ２は、撮像画像から商品を認識し、認識された商品の数が上限数を超えている場合、その旨を携帯端末３へ通知する。携帯端末３は、その通知を受信すると、図１１（Ａ）に例示するように、商品数を減らすことを求めるメッセージ５６を表示する。

なお、一度に表示可能な商品の上限数を用いる代わりに、撮像画像において個々の商品が占める領域の上限サイズを決めておいてもよい。例えば、個々の商品の上限サイズを、撮像画像全体の面積の１／６とする。この場合、画像処理サーバ２は、撮像画像から認識された個々の商品のサイズが上限サイズ以上である場合、その旨を携帯端末３へ通知する。携帯端末３は、その通知を受信すると、図１１（Ａ）に例示するように、商品数を減らすことを求めるメッセージ５６を表示する。

また、撮像画像に含まれる商品数が多い場合、上記のように商品数を減らすことを求める代わりに、顧客にいずれかの商品を選択することを求めてもよい。図１１（Ｂ）は、いずれかの商品を選択することを求めるメッセージを表示する例である。この例では、撮像画像に含まれている商品数が上限数である６個を超えているので、撮像画像に含まれている商品のいずれかを選択することを求めるメッセージ５７が表示されている。この場合、具体的な処理としては、携帯端末３は、撮像画像を画像処理サーバ２へ送信する。画像処理サーバ２は、撮像画像から商品を認識し、認識された商品の数が上限数を超えている場合、又は、個々の商品のサイズが上限サイズを超えている場合、その旨を携帯端末３へ通知する。携帯端末３は、その通知を受信すると、図１１（Ｂ）に例示するように、いずれかの商品を選択することを求めるメッセージ５７を表示する。メッセージ５７が表示された状態で、顧客がいずれかの商品を選択すると、携帯端末３は、選択された商品について図７（Ｂ）に例示するような商品詳細画面を表示する。なお、いずれかの商品を選択することを求める代わりに、顧客に商品棚に近づくように促し、携帯端末３に表示される商品の個数を上限数以下に減らすようにしてもよい。この場合、携帯端末３は、「画面に映る商品数を６個以下にするため、商品に近づいて下さい。」などのメッセージを表示すればよい。

（２）顧客別の価格変更
本実施形態において、店舗８で携帯端末３を用いた商品情報の表示を行う顧客は、店舗が属するチェーン本部に対して事前にユーザ登録を行っている。そこで、顧客毎に商品の価格を変更してもよい。この場合、画像処理サーバ２の記憶部２３には、店舗毎、かつ、顧客毎又は顧客のランク毎に異なる価格情報を記憶しておく。例えば、一般顧客に適用する標準価格表に加えて、その店舗における購入実績が高い優良顧客に対する特別な価格表を記憶してもよい。また、購入実績に基づいて顧客に会員ランクを設定し、会員ランク毎の価格表を記憶していてもよい。なお、優良顧客や会員ランク毎の価格表を用意する代わりに、優良顧客や各顧客ランクに対応する割引率を記憶しておいてもよい。

実際の処理としては、画像処理サーバ２は、顧客の携帯端末３から顧客ＩＤを受信すると、記憶部２３内の顧客情報を参照してその顧客が一般顧客であるか優良顧客であるか、又は、その顧客の会員ランクを判定する。そして、画像処理サーバ２は、記憶部２３内に記憶されている、その店舗及びその顧客に対応する商品情報を参照し、各商品の価格を決定して携帯端末３へ送信すればよい。

（３）商品詳細画面の表示情報
図７（Ｂ）や図８に例示する商品詳細画面は、各商品の商品詳細情報を表示する画面であるが、これにセールス情報を追加してもよい。例えば、図１２（Ａ）に示すように、商品詳細画面にクーポンマーク５３を付加し、その商品について使用できるクーポンの存在を顧客に知らせることができる。なお、各商品に適用されるクーポンは、顧客の購入履歴や会員ランクに応じて決定すればよい。別の例では、その商品の所定期間の売上情報や、販売個数などの情報を商品詳細画面に追加してもよい。この場合、画像処理サーバ２は、例えば各商品のチェーン店全体又は店舗毎の売上などを管理しているＰＯＳサーバなどにアクセスして、その商品の売上や販売個数などの情報を取得すればよい。なお、各商品の売上や販売個数などの情報を定期的にＰＯＳサーバなどから画像処理サーバ２へ送信し、その情報を利用してもよい。図１２（Ｂ）の例では、その商品の最近の売れ行き情報５４が表示されている。

その他、上記の各実施形態（変形例を含む、以下同じ）の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。

（付記１）
情報処理システムであって、
商品の外観を撮像した撮像画像を生成する撮像手段と、
前記撮像画像の画像認識を行い、当該撮像画像に含まれる商品を認識する商品認識手段と、
認識された商品の価格を取得する価格取得手段と、
前記価格を前記撮像画像上に重畳した価格重畳画面を表示部に表示する表示制御手段と、
を備える情報処理システム。

（付記２）
前記表示制御手段は、前記価格重畳画面において商品が選択されたときに、選択された商品の商品詳細情報を取得し、当該商品詳細情報を含む商品詳細画面を前記表示部に表示する付記１に記載の情報処理システム。

（付記３）
前記表示制御手段は、前記価格重畳画面において複数の商品が選択された場合、選択された複数の商品の商品詳細情報を比較表示する商品詳細画面を前記表示部に表示する付記２に記載の情報処理システム。

（付記４）
商品に付されたコード情報を読み取る読取手段を備え、
前記表示制御手段は、読み取られた前記コード情報に対応する商品の商品詳細情報を取得し、当該商品詳細情報を含む商品詳細画面を前記表示部に表示する付記１乃至３のいずれか一項に記載の情報処理システム。

（付記５）
前記商品詳細画面は、顧客毎又は顧客のランク毎に決定されるクーポン情報を含む付記２乃至４のいずれか一項に記載の情報処理システム。

（付記６）
前記商品詳細画面は、当該商品の所定期間の売り上げ情報又は販売個数を含む付記２乃至５のいずれか一項に記載の情報処理システム。

（付記７）
前記表示制御手段は、前記撮像画像に含まれる個々の商品の大きさが所定サイズ以上である場合、又は、前記撮像画像に含まれる商品数が所定数以上である場合、前記撮像画像に含まれる商品数を減らすことを求めるメッセージを前記表示部に表示する付記１乃至６のいずれか一項に記載の情報処理システム。

（付記８）
前記表示制御手段は、前記撮像画像に含まれる個々の商品の大きさが所定サイズ以上である場合、又は、前記撮像画像に含まれる商品数が所定数以上である場合、前記撮像画像に含まれる商品の選択を求めるメッセージを前記表示部に表示し、商品が選択されたときに、選択された商品の商品詳細情報を含む商品詳細画面を前記表示部に表示する付記１乃至６のいずれか一項に記載の情報処理システム。

（付記９）
顧客の識別情報を取得する顧客識別情報取得手段と、
前記顧客毎又は前記顧客のランク毎に異なる価格を記憶した価格記憶部と、を備え、
前記価格取得手段は、前記顧客の識別情報に基づき、当該顧客に対応する価格を前記価格記憶部から取得する付記１乃至８のいずれか一項に記載の情報処理システム。

（付記１０）
店舗の識別情報を取得する店舗識別情報取得手段と、
前記店舗毎に異なる価格を記憶した価格記憶部と、を備え、
前記価格取得手段は、前記店舗の識別情報に基づき、当該店舗に対応する価格を前記価格記憶部から取得する付記１乃至９のいずれか一項に記載の情報処理システム。

（付記１１）
前記商品認識手段は、前記撮像画像に含まれる商品数を検出し、
前記表示制御手段は、前記商品数が１つの場合、当該商品の商品詳細情報を含む商品詳細画面を前記表示部に表示し、前記商品数が複数である場合、前記価格重畳画面を前記表示部に表示する付記１乃至１０のいずれか一項に記載の情報処理システム。

（付記１２）
端末装置と通信可能な情報処理装置であって、
商品の外観を撮像した撮像画像を前記端末装置から受信する受信手段と、
前記撮像画像の画像認識を行い、当該撮像画像に含まれる商品を認識する商品認識手段と、
認識された商品の価格を取得する価格取得手段と、
前記価格を前記撮像画像上に重畳した価格重畳画面を生成し、前記端末装置へ送信する送信手段と、
を備える情報処理装置。

（付記１３）
商品の外観を撮像した撮像画像を端末装置から受信し、
前記撮像画像の画像認識を行い、当該撮像画像に含まれる商品を認識し、
認識された商品の価格を取得し、
前記価格を前記撮像画像上に重畳した価格重畳画面を生成し、前記端末装置へ送信する情報処理方法。

（付記１４）
商品の外観を撮像した撮像画像を端末装置から受信し、
前記撮像画像の画像認識を行い、当該撮像画像に含まれる商品を認識し、
認識された商品の価格を取得し、
前記価格を前記撮像画像上に重畳した価格重畳画面を生成し、前記端末装置へ送信する処理をコンピュータに実行させるプログラム。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。

２ 画像処理サーバ
３ 携帯端末
４ 商品棚
８ 店舗
２５ 制御部
３６ カメラ
１００ 情報処理システム

Claims (14)

1. 情報処理システムであって、
   商品の外観を撮像した撮像画像を生成する撮像手段と、
   前記撮像画像の画像認識を行い、当該撮像画像に含まれる商品を認識する商品認識手段と、
   認識された商品の価格を取得する価格取得手段と、
   前記価格を前記撮像画像上に重畳した価格重畳画面を表示部に表示する表示制御手段と、
   を備える情報処理システム。
2. 前記表示制御手段は、前記価格重畳画面において商品が選択されたときに、選択された商品の商品詳細情報を取得し、当該商品詳細情報を含む商品詳細画面を前記表示部に表示する請求項１に記載の情報処理システム。
3. 前記表示制御手段は、前記価格重畳画面において複数の商品が選択された場合、選択された複数の商品の商品詳細情報を比較表示する商品詳細画面を前記表示部に表示する請求項２に記載の情報処理システム。
4. 商品に付されたコード情報を読み取る読取手段を備え、
   前記表示制御手段は、読み取られた前記コード情報に対応する商品の商品詳細情報を取得し、当該商品詳細情報を含む商品詳細画面を前記表示部に表示する請求項１乃至３のいずれか一項に記載の情報処理システム。
5. 前記商品詳細画面は、顧客毎又は顧客のランク毎に決定されるクーポン情報を含む請求項２乃至４のいずれか一項に記載の情報処理システム。
6. 前記商品詳細画面は、当該商品の所定期間の売り上げ情報又は販売個数を含む請求項２乃至５のいずれか一項に記載の情報処理システム。
7. 前記表示制御手段は、前記撮像画像に含まれる個々の商品の大きさが所定サイズ以上である場合、又は、前記撮像画像に含まれる商品数が所定数以上である場合、前記撮像画像に含まれる商品数を減らすことを求めるメッセージを前記表示部に表示する請求項１乃至６のいずれか一項に記載の情報処理システム。
8. 前記表示制御手段は、前記撮像画像に含まれる個々の商品の大きさが所定サイズ以上である場合、又は、前記撮像画像に含まれる商品数が所定数以上である場合、前記撮像画像に含まれる商品の選択を求めるメッセージを前記表示部に表示し、商品が選択されたときに、選択された商品の商品詳細情報を含む商品詳細画面を前記表示部に表示する請求項１乃至６のいずれか一項に記載の情報処理システム。
9. 顧客の識別情報を取得する顧客識別情報取得手段と、
   前記顧客毎又は前記顧客のランク毎に異なる価格を記憶した価格記憶部と、を備え、
   前記価格取得手段は、前記顧客の識別情報に基づき、当該顧客に対応する価格を前記価格記憶部から取得する請求項１乃至８のいずれか一項に記載の情報処理システム。
10. 店舗の識別情報を取得する店舗識別情報取得手段と、
    前記店舗毎に異なる価格を記憶した価格記憶部と、を備え、
    前記価格取得手段は、前記店舗の識別情報に基づき、当該店舗に対応する価格を前記価格記憶部から取得する請求項１乃至９のいずれか一項に記載の情報処理システム。
11. 前記商品認識手段は、前記撮像画像に含まれる商品数を検出し、
    前記表示制御手段は、前記商品数が１つの場合、当該商品の商品詳細情報を含む商品詳細画面を前記表示部に表示し、前記商品数が複数である場合、前記価格重畳画面を前記表示部に表示する請求項１乃至１０のいずれか一項に記載の情報処理システム。
12. 端末装置と通信可能な情報処理装置であって、
    商品の外観を撮像した撮像画像を前記端末装置から受信する受信手段と、
    前記撮像画像の画像認識を行い、当該撮像画像に含まれる商品を認識する商品認識手段と、
    認識された商品の価格を取得する価格取得手段と、
    前記価格を前記撮像画像上に重畳した価格重畳画面を生成し、前記端末装置へ送信する送信手段と、
    を備える情報処理装置。
13. 商品の外観を撮像した撮像画像を端末装置から受信し、
    前記撮像画像の画像認識を行い、当該撮像画像に含まれる商品を認識し、
    認識された商品の価格を取得し、
    前記価格を前記撮像画像上に重畳した価格重畳画面を生成し、前記端末装置へ送信する情報処理方法。
14. 商品の外観を撮像した撮像画像を端末装置から受信し、
    前記撮像画像の画像認識を行い、当該撮像画像に含まれる商品を認識し、
    認識された商品の価格を取得し、
    前記価格を前記撮像画像上に重畳した価格重畳画面を生成し、前記端末装置へ送信する処理をコンピュータに実行させるプログラム。

Images