JP2023029520A - 表示制御装置、制御方法、プログラム及び記憶媒体 - Google Patents

表示制御装置、制御方法、プログラム及び記憶媒体 Download PDF

Info

Publication number
JP2023029520A
JP2023029520A JP2023001437A JP2023001437A JP2023029520A JP 2023029520 A JP2023029520 A JP 2023029520A JP 2023001437 A JP2023001437 A JP 2023001437A JP 2023001437 A JP2023001437 A JP 2023001437A JP 2023029520 A JP2023029520 A JP 2023029520A
Authority
JP
Japan
Prior art keywords
product
terminal
customer
information
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023001437A
Other languages
English (en)
Inventor
文伸 加来
Fuminobu Kaku
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Electronic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Electronic Corp filed Critical Pioneer Electronic Corp
Priority to JP2023001437A priority Critical patent/JP2023029520A/ja
Publication of JP2023029520A publication Critical patent/JP2023029520A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】顧客などの利用者から指定された商品の配置場所や当該商品の詳細情報を好適に表示する。【解決手段】表示制御装置は、商品を取り扱う販売者によって視認される表示部の表示を制御し、商品情報取得部と、商品位置取得部と、表示制御部とを備える。商品位置取得部は、利用者により選択された商品の位置に関する位置情報を取得する。表示制御部は、商品情報取得部が取得した商品に関する情報を、商品位置情報取得部が取得した位置情報に基づいて、見かけ上商品に対応付けて表示部に表示させる。【選択図】図8

Description

本発明は、情報を表示する技術に関する。
従来から、インターネットショッピングなどにおいて、店内を撮影した画像を顧客が使用する顧客端末に表示させる技術が存在する。例えば、特許文献1には、電子商取引において、店内に設置された複数のカメラから撮影される画像を同時又は選択的に顧客端末に表示させることで、顧客が購入したい商品を選択させるバーチャル店舗システムが開示されている。また、特許文献2には、電子商取引において、文字又は音声チャットにより、店員の映像を表示した状態で顧客が指定した商品について店員が説明を行う通信システムが開示されている。
特開2009-223760号公報 特開2005-071304号公報
電子商取引システムにおいて、顧客が商品の一覧画面などで任意の商品を指定した場合に、店員からその説明を即時に受けることができると便宜である。この場合、店員は、顧客が指定した商品の配置場所や商品情報を即時かつ的確に認識して説明する必要がある。特許文献1及び2は、この点について何ら開示していない。
本発明は、上記のような課題を解決するためになされたものであり、顧客などの利用者から指定された商品の配置場所や当該商品の詳細情報を好適に表示することが可能な表示制御装置を提供することを主な目的とする。
請求項に記載の発明は、表示制御装置であって、利用者端末を使用する利用者に選択された商品に関する情報を、前記選択された商品に関する位置情報に基づいて、表示部に、前記選択された商品と見かけ上対応付けて前記利用者以外の者に視認される表示部に表示させる制御部と、画像を撮影する撮影部と、を備え、前記制御部は、前記画像内に人物が映っている場合、前記人物の特定ができない画像に加工し、該加工した画像を、前記利用者端末へ通信部により送信させることを特徴とする。
また、請求項に記載の発明は、画像を撮影する撮影部を備える表示制御装置が実行する制御方法であって、利用者端末を使用する利用者に選択された商品に関する情報を、前記選択された商品に関する位置情報に基づいて、表示部に、前記選択された商品と見かけ上対応付けて前記利用者以外の者に視認される表示部に表示させる第1工程と、前記画像内に人物が映っている場合、前記人物の特定ができない画像に加工し、該加工した画像を、前記利用者端末へ通信部により送信させる第2工程と、を備えることを特徴とする。
また、請求項に記載の発明は、画像を撮影する撮影部を備える表示制御装置のコンピュータが実行するプログラムであって、利用者端末を使用する利用者に選択された商品に関する情報を、前記選択された商品に関する位置情報に基づいて、表示部に、前記選択された商品と見かけ上対応付けて前記利用者以外の者に視認される表示部に表示させる制御部
として前記コンピュータを機能させ、前記制御部は、前記画像内に人物が映っている場合、前記人物の特定ができない画像に加工し、該加工した画像を、前記利用者端末へ通信部により送信させることを特徴とする。
表示システムの概略構成図である。 商品が配置される棚を拡大した図である。 店員端末の概略構成図である。 顧客端末の概略構成図である。 サーバ装置の概略構成図である。 顧客情報DBのデータ構造を示す。 表示システムの処理の概要を示すフローチャートである 商品説明要求処理の手順を示すフローチャートである。 説明商品強調処理の手順を示すフローチャートである。 購入関連処理の手順を示すフローチャートである。 接客対象の顧客を選択する際の店員端末のハーフミラーの表示例である。 接客問合せ信号を受信した直後の顧客端末の画面表示例である。 接客モードへの移行後の顧客端末の画面表示例である。 顧客端末の画面上で説明要求商品を指定する操作を行う様子を示す。 説明要求商品が指定された場合の店員端末のハーフミラーの表示例である。 店員端末が店員から外された際の顧客端末の画面表示例である。 変形例に係る店員端末のハーフミラーの表示例である。
本発明の好適な実施形態によれば、表示制御装置は、商品を取り扱う販売者によって視認される表示部の表示を制御する表示制御装置であって、利用者によって選択された商品に関する情報を取得する商品情報取得部と、前記選択された商品に関する位置情報を取得する商品位置取得部と、前記商品情報取得部が取得した前記商品に関する情報を、前記商品位置情報取得部が取得した位置情報に基づいて、見かけ上前記選択された商品に対応付けて前記表示部に表示させる表示制御部と、を備える。
上記表示制御装置は、商品を取り扱う販売者によって視認される表示部の表示を制御し、商品情報取得部と、商品位置取得部と、表示制御部とを備える。「販売者」は、販売等を目的として商品を取り扱う者であって、例えば、商品の説明を行うことが可能な販売員又は店員などが該当する。商品位置取得部は、利用者により選択された商品に関する位置情報を取得する。ここで、「利用者」とは、ネットワーク等を介して販売者とコミュニケーションがとれる者であって、商品の説明やその商品の店舗での位置情報を要求する者を指す。具体的には、利用者は、商品を購入する顧客であってもよく、販売者から離れた遠隔地に存在する店員であってもよい。また、「商品に関する位置情報」とは、商品の位置情報の他、商品棚などの商品に近接する物の位置情報であってもよい。表示制御部は、商品情報取得部が取得した商品に関する情報を、商品位置情報取得部が取得した位置情報に基づいて、見かけ上商品に対応付けて表示部に表示させる。この態様により、表示制御装置は、商品の配置場所及び商品情報を好適に販売者に認識させることができる。
上記表示制御装置の一態様では、表示制御装置は、前記利用者に関する情報を取得する利用者情報取得部をさらに備え、前記表示制御部は、前記利用者情報取得部が取得した前記利用者に関する情報を前記表示部に表示させる。この態様により、表示制御装置は、販売者に利用者情報を認識させ、好適に接客を実行させることができる。
上記表示制御装置の他の一態様では、前記表示制御部は、見かけ上前記選択された商品を囲む枠を前記表示部に表示させ、かつ、前記商品に関する情報を、前記枠に対応付けて前記表示部に表示させる。この態様により、表示制御装置は、商品の配置場所及び商品情報を好適に販売者に認識させることができる。
上記表示制御装置の他の一態様では、表示制御装置は、前記販売者に装着された撮影部が生成した画像又は前記販売者に装着された音声入力部が生成した音声データの少なくとも一方を、前記利用者が使用する利用者端末へ通信部により送信する通信制御部をさらに有する。表示制御装置は、この態様により、映像又は音声により利用者端末を介して利用者の接客を好適に実行することができる。
上記表示制御装置の他の一態様では、前記表示部は装着自在であり、前記通信制御部は、前記表示部が装着状態である場合に限り、前記画像又は前記音声データの少なくとも一方を前記利用者端末へ送信させる。この態様により、来店中の接客を開始したときなどに、来店中の客の映像や音声が利用者端末に流れたりすることを好適に防ぐことができる。
上記表示制御装置の他の一態様では、前記通信部は、前記利用者端末が表示する前記画像の表示画面が最前面に表示されているか否かを示す情報を前記利用者端末から受信し、前記表示制御部は、前記画像の表示画面が最前面に表示されていない場合に、所定の情報を前記表示部に表示させる。この態様により、表示制御装置は、利用者が接客用の表示画面以外の画面を閲覧又は操作対象としている場合に、販売者が不要な応対をするのを好適に抑制することができる。
上記表示制御装置の他の一態様では、前記販売者が把持する商品を認識する商品認識手段と、前記商品認識手段が認識した商品の識別情報を前記利用者が使用する利用者端末へ通信部により送信する通信制御部と、を有する。この態様により、表示制御装置は、販売者が説明中の商品を利用者に好適に通知することができる。
上記表示制御装置の他の一態様では、前記表示制御部は、前記利用者端末から前記商品認識手段が認識する商品とは異なる商品の説明要求を前記通信部が受信した場合、見かけ上前記説明要求があった商品に対応付けて当該商品に関する情報を前記表示部に表示させる。このようにすることで、販売者は、説明が求められた商品の説明を好適に実行することができる。
上記表示制御装置の他の一態様では、前記商品位置取得部は、前記利用者によって選択された商品に関連する関連商品に関する位置情報を取得し、前記表示制御手段は、前記関連商品に関する情報を、前記商品位置情報取得部が取得した位置情報に基づいて、見かけ上前記関連商品に対応付けて前記表示部に表示させる。この態様により、表示制御装置は、ユーザが選択した商品に関連した商品の存在を販売者に認識させ、利用者への販売を促進させることができる。
上記表示制御装置の他の一態様では、前記商品位置取得部は、前記商品に付されたタグの情報を読み取ったタグリーダの位置を示す位置情報を、前記商品に関する位置情報として取得する。この態様により、表示制御装置は、商品の位置を好適に認識し、当該商品に関する情報を商品に対応付けて表示させることができる。
本発明の好適な他の実施形態によれば、表示制御装置は、商品を取り扱う販売者によって視認される表示部の表示を制御する表示制御装置が実行する制御方法であって、利用者によって選択された商品に関する情報を取得する商品情報取得工程と、前記選択された商品に関する位置情報を取得する商品位置取得工程と、前記商品情報取得工程で取得した前記商品に関する情報を、前記商品位置情報取得工程で取得した位置情報に基づいて、見かけ上前記選択された商品に対応付けて前記表示部に表示させる表示制御工程と、を有する。表示制御装置は、この制御方法を実行することで、商品の配置場所及び商品情報を好適に販売者に認識させることができる。
本発明のさらに別の実施形態によれば、商品を取り扱う販売者によって視認される表示部の表示を制御するコンピュータが実行するプログラムであって、利用者によって選択された商品に関する情報を取得する商品情報取得部と、前記選択された商品に関する位置情報を取得する商品位置取得部と、前記商品情報取得部が取得した前記商品に関する情報を、前記商品位置情報取得部が取得した位置情報に基づいて、見かけ上前記選択された商品に対応付けて前記表示部に表示させる表示制御部として前記コンピュータを機能させる。コンピュータは、このプログラムを実行することで、商品の配置場所及び商品情報を好適に販売者に認識させることができる。好適には、上記プログラムは、記憶媒体に記憶される。
以下、図面を参照して本発明の好適な実施例について説明する。以下では、ヘッドマウントディスプレイを適宜「HMD」と表記する。
[表示システムの構成]
図1は、本実施例に係る表示システムの概略構成図である。図1に示すように、表示システムは、電子商取引(EC:Electronic Commerce)に関するシステムであって、主に、電子商取引で扱われる商品が配置された店舗5内の店員9が装着する店員端末1と、電子商取引の顧客が使用する顧客端末2と、Webサーバ等として機能するサーバ装置3とを備える。そして、表示システムは、店員端末1が撮影する画像等を顧客端末2に送信することで、顧客端末2の画面上で店員9が顧客に対して商品説明などの応対を行う。本実施例では、一例として、店舗5は、衣服を取り扱う店であるものとする。
店員端末1は、眼鏡型に構成されたシースルー型HMDであり、店員9の頭部に装着可能に構成される。また、店員端末1は、サーバ装置3と通信を行い、サーバ装置3から受信した情報に基づき、風景に重ねた画像(「AR画像」とも呼ぶ。)を表示する。本実施例では、店員端末1は、サーバ装置3が表示情報を提供する電子商取引用の画面(単に「EC画面」とも呼ぶ。)を閲覧する顧客の情報(「訪問者情報」とも呼ぶ。)をサーバ装置3から受信し、接客すべき顧客を店員9に選択させる。その後、店員端末1は、接客の開始時に、顧客端末2と通信を確立し、撮影した画像を顧客端末2へ送信したり、顧客が説明を要求する商品(「説明要求商品」とも呼ぶ。)の情報を受信して当該商品の配置場所や商品情報を表示したりする。以後では、店員端末1と顧客端末2とが通信を確立して接客用の映像や音声データのやり取りを行う動作モードを、「接客モード」とも呼ぶ。
顧客端末2は、例えば顧客が自宅で使用するパーソナルコンピュータやスマートフォンなどの携帯端末であり、サーバ装置3が提供する表示情報に基づくEC画面を表示する。また、顧客端末2は、EC画面の表示中に、サーバ装置3を介して店員端末1から応対が必要か問い合わせる信号(「接客問合せ信号」とも呼ぶ。)を受信し、ユーザ入力に基づきその応答信号を店員端末1へ送信する。そして、接客モードへの移行後では、顧客端末2は、映像や音声データを店員端末1から受信して出力したり、生成した音声データを店員端末1に送信したりする。顧客端末2は、本発明における「利用者端末」の一例である。
サーバ装置3は、店員端末1及び顧客端末2とネットワークを介して通信を行う。サーバ装置3は、顧客端末2のWebページに関する要求信号に基づき、EC画面の表示情報を店員端末1に送信する。また、サーバ装置3は、訪問者情報や商品に関する情報を顧客端末2に送信したり、接客問合せ信号の転送処理等を行ったりする。
また、店舗5内には、RFID(Radio FrequencyIdentifier)などのタグ7が付された商品が棚などに配置されており、商品が載置される棚にはタグ7との無線通信を行うタグリーダ6が配置されている。図2は、商品が配置される棚を拡大した図である。図2に示すように、タグリーダ6は、それぞれ破線で示される通信範囲を有し、通信範囲内に存在するタグ7から、対応する商品の識別情報(即ち商品番号)を示す信号を無線通信により受信する。図2の例では、タグリーダ6は、上段の棚、中段の棚、下段の棚のそれぞれに3個ずつ略等間隔に配置され、互いの通信範囲が重ならない程度に近接している。そして、タグリーダ6は、タグ7から受信した商品番号と、タグリーダ6の識別情報とを示す信号(「タグ検出信号」とも呼ぶ。)を、サーバ装置3へ送信する。このようにすることで、後述するように、サーバ装置3は、商品が移動した場合であっても、移動後の商品が存在する場所を、タグリーダ6から受信するタグ検出信号に基づき好適に特定することができる。なお、商品が配置される場所は、商品棚に限らず、ショーケース内などの任意の場所であってもよい。この場合、商品の設置場所ごとにタグリーダ6が設けられてもよく、サーバ装置3が商品の設置場所の情報を予め記憶しておいてもよい。
[店員端末の構成]
図3は、店員端末1の概略構成を示す。図2に示すように、店員端末1は、光源ユニット10と、ハーフミラー11と、通信部12と、入力部13と、記憶部14と、カメラ15と、タグリーダ16と、制御部17と、スピーカ18と、計測部19とを有する。
光源ユニット10は、レーザ光源やLCD光源などを有しており、このような光源から光を出射する。ハーフミラー11は、光源ユニット10からの光を、ユーザの眼球に向けて反射する。これにより、店員端末1によって形成された画像に対応する虚像が、ユーザに視認されることとなる。なお、ハーフミラー11は透過率と反射率とが概ね等しいが、このようなハーフミラー11を用いる代わりに、透過率と反射率とが等しくないようなミラー(所謂ビームスプリッタ)を用いても良い。店員端末1又はハーフミラー11は、本発明における「表示部」の一例である。
通信部12は、制御部17の制御に基づき、顧客端末2やサーバ装置3とのデータ通信を行う。入力部13は、ユーザの操作に基づく入力信号を生成して制御部17に送信する。入力部13は、例えばユーザが操作するためのボタンや十字キー及びボタンなどを有するリモートコントローラである。また、入力部13は、マイク130を有し、マイク130が生成した音声データを制御部17に送信する。マイク130は、接客モード時に入力された音声から音声データを生成する。記憶部14は、制御部17が実行するプログラムなどを記憶する。カメラ15は、制御部17の制御に基づき、店員端末1の前方を撮影した画像(「撮影画像Im」とも呼ぶ。)を生成し、生成した撮影画像Imを制御部17に供給する。
タグリーダ16は、商品に付されたタグ7から商品番号を読み取り、読み取った商品番号の情報を制御部17に供給する。タグリーダ16は、店員9が商品を手に取って説明する際に、当該商品に付されたタグ7が通信可能範囲に入ることにより、当該タグ7から商品番号を読み取る。
スピーカ18は、制御部17の制御に基づき、顧客端末2から受信した音声データを出力する。計測部19は、店員端末1の状態を検出するセンサ等であり、現在位置を示す位置情報を生成するGPS受信機、方位を検知する地磁気センサ、店員端末1の傾きを検知する加速度センサなどを有する。
制御部17は、図示しないCPUなどのプロセッサやRAMやROMなどのメモリを有しており、店員端末1の全体的な制御を行う。例えば、制御部17は、接客モードでは、カメラ15が生成した撮影画像Imやマイク130が生成した音声データを顧客端末2へ送信したり、顧客端末2から受信した音声データを再生したりする。また、制御部17は、サーバ装置3から送信される情報に基づき、接客中の顧客の顧客情報や商品情報を表すAR画像を表示したり、計測部19により計測した現在位置及び店員端末1の向きを検出することで、指定された説明要求商品の配置場所を示すAR画像を表示したりする。なお、ハーフミラー11を本発明における「表示部」とみなした場合、制御部17は、本発明における「表示制御装置」及びプログラムを実行するコンピュータの一例である。
[顧客端末の構成]
図4は、顧客端末2の概略構成である。顧客端末2は、通信部22と、入力部23と、記憶部24と、制御部27と、ディスプレイなどの表示部29とを有する。
通信部22は、制御部27の制御に基づき、店員端末1やサーバ装置3とのデータ通信を行う。入力部23は、マイク230を有する。マイク230は、接客モード時に入力された音声から音声データを生成する。また、入力部23は、マイク230の他、マウス、キーボード、タッチパネルなどの入力デバイスを有する。記憶部24は、制御部27が実行するプログラムを記憶する。
制御部27は、図示しないCPUなどのプロセッサやRAMやROMなどのメモリを有しており、顧客端末2の全体的な制御を行う。例えば、制御部27は、サーバ装置3から受信した表示情報に基づき、EC画面を表示部29に表示させる。また、制御部27は、接客モードでは、店員端末1から受信した撮影画像Imや音声データを出力すると共に、マイク230により入力された音声データを店員端末1に送信する。
[サーバ装置の構成]
図5は、サーバ装置3の概略構成である。サーバ装置3は、通信部32と、記憶部34と、制御部37とを有する。通信部32は、制御部37の制御に基づき、店員端末1や顧客端末2とのデータ通信を行う。
記憶部34は、制御部37が実行するプログラムを記憶する。また、記憶部34は、顧客情報DB341と、商品情報DB342と、タグリーダ配置情報343と、説明済リスト情報344とを有する。
顧客情報DB341は、顧客端末2の通信アドレスやEC画面へのアクセス履歴などの情報を顧客ごとに記憶する。顧客情報DB341については図6を参照して後述する。商品情報DB342は、EC画面に表示させる各商品の情報を記憶する。商品情報DB342に登録される商品情報には、商品画像や、商品のサイズ、色、商品名称、製造番号(SN:Serial Number)などが含まれる。タグリーダ配置情報343は、店舗5内に設置された各タグリーダ6の識別情報と配置場所とを関連付けた情報である。説明済リスト情報344は、接客時に店員9が顧客に説明した商品を、顧客ごとにリスト化した情報である。
制御部37は、図示しないCPUなどのプロセッサやRAMやROMなどのメモリを有しており、サーバ装置3の全体的な制御を行う。例えば、制御部37は、顧客が顧客端末2によりEC画面を表示している時間(単に「訪問時間」とも呼ぶ。)を監視し、訪問時間が所定の閾値を超えた顧客の情報を訪問者情報として店員端末1に送信する。この場合、訪問時間は、Webページ(サイト)ごとの表示時間であってもよく、サーバ装置3が管理する全サイトに対する合計表示時間であってもよい。また、制御部37は、店員端末1から特定の顧客を指定した接客問合せ信号を受信した場合、該当する顧客端末2に接客問合せ信号を転送する。そして、制御部37は、接客モードの開始時には、店員端末1と顧客端末2とが直接通信するのに必要な情報を店員端末1又は/及び顧客端末2に送信する。なお、店員端末1を本発明における「表示部」とみなした場合、制御部37は、本発明における「表示制御装置」及びプログラムを実行するコンピュータの一例である。
ここで、顧客情報DB341について補足説明する。図6は、顧客情報DB341のデータ構造を示す。図6に示す顧客情報DB341は、顧客端末2ごとのサーバ装置3との接続状態を示す「Status」、顧客端末2が使用するIPアドレスを示す「IP Address」、アクセス日時を示す「Date Time」、訪問時間を示す「Visit Duration」、アクセスしたEC画面のアドレス情報を示す「Request」、顧客端末2が使用するブラウザ等のプログラム情報を示す「User-agent」、及びIPアドレスより特定される国を示す「Country」の各項目を有する。図6の例では、制御部37は、「IP Address」及び「User-agent」の項目を顧客の識別情報とし、EC画面への顧客端末2によるアクセスをリアルタイムに解析することで、顧客情報DB341を更新する。例えば、制御部37は、顧客端末2との接続状態の有無に基づき、「Status」を更新する。また、制御部37は、顧客端末2がEC画面へアクセスする度に、顧客端末2との接続日時や訪問時間を計測することで、「Date Time」や「Visit Duration」等の各項目を追加又は更新する。
[処理フロー]
次に、本実施例に係る表示システムが実行する処理フローについて、図7~図10を参照して説明する。
(1)処理概要
図7は、本実施例に係る表示システムの処理の概要を示すフローチャートの一例である。表示システムは、図7に示すフローチャートの処理を、EC画面を表示するために顧客端末2がサーバ装置3にアクセスする度に繰り返し実行する。なお、サーバ装置3は、複数の顧客端末2がEC画面を表示するためにサーバ装置3へアクセスしているときは、各顧客端末2に対して図7の処理をそれぞれ実行する。
まず、顧客端末2は、URLなどを指定するユーザ操作等に基づき、Webブラウザに表示させるEC画面の表示情報の要求信号をサーバ装置3へ送信する(ステップS101)。そして、サーバ装置3は、受信した要求信号に基づき、対応するEC画面の表示情報を顧客端末2へ送信する(ステップS102)。そして、顧客端末2は、受信した表示情報に基づき、EC画面を表示する(ステップS103)。
次に、サーバ装置3は、アクセス履歴に関する顧客情報DB341を更新する(ステップS104)。具体的には、サーバ装置3は、顧客端末2がアクセスした日時や訪問時間を計測し、顧客端末2との通信により認識した顧客端末2のIPアドレスやプログラム情報に対応付けて顧客情報DB341として記憶する。そして、サーバ装置3は、計測中の訪問時間が所定の閾値を超えたか否か判定する(ステップS105)。上述の閾値は、例えば、顧客がEC画面上で商品購入を迷っているか否かを判断するための閾値であり、例えば実験等に基づき予め定められた適合値に設定される。
そして、サーバ装置3は、訪問時間が閾値を超えたと判断した場合(ステップS105;Yes)、訪問者情報を店員端末1へ送信する(ステップS106)。ここで、サーバ装置3は、例えば、訪問者情報として、顧客端末2のIPアドレスの他、顧客情報DB341から抽出した国の情報及び訪問時間の情報等や、顧客端末2がEC画面で表示中の商品の情報などを店員端末1へ送信する。一方、サーバ装置3は、訪問時間が閾値を超えていない場合(ステップS105;No)、訪問時間が閾値を超えないか引き続き監視する。
次に、店員端末1は、訪問者情報を示すAR画像を表示する(ステップS107)。訪問者情報の具体的な表示例については、図11を参照して後述する。そして、店員端末1は、店員9から接客する旨のユーザ入力を検知したか否か判定する(ステップS108)。そして、店員端末1は、接客する旨のユーザ入力を検知した場合(ステップS108;Yes)、接客対象の顧客のIPアドレス等を指定した接客問合せ信号をサーバ装置3へ送信する(ステップS109)。この場合、サーバ装置3は、受信した接客問合せ信号を、対応する顧客の顧客端末2へ転送する(ステップS110)。
接客問合せ信号を受信した顧客端末2は、店員9が接客をする意思がある旨を表示し、接客を受けるか否かユーザに選択させる入力を受け付ける(ステップS111)。そして、顧客端末2は、接客を受けるか否かを示す応答信号をサーバ装置3へ送信し(ステップS112)、サーバ装置3は、当該応答信号を店員端末1へ転送する(ステップS113)。そして、店員端末1は、受信した応答信号が接客要求であるか否か判定する(ステップS114)。そして、店員端末1は、受信した応答信号が接客要求である場合(ステップS114;Yes)、顧客端末2との通信を確立し、カメラ15が生成した撮影画像Im及びマイク130が生成した音声データを顧客端末2へ送信したり(ステップS116)、顧客端末2が生成した音声データを受信してスピーカ18により再生したりする(ステップS117)。
同様に、顧客端末2は、接客を受ける旨の応答を行った場合(ステップS115;Yes)、店員端末1が生成した撮影画像Im及び音声データを受信して再生したり(ステップS116)、マイク230が生成した音声データを店員端末1へ送信したりする(ステップS117)。
一方、店員端末1は、受信した応答信号が接客要求を示すものでない場合(ステップS114;No)、又は、接客問合せ信号の送信から所定時間以上経過しても応答信号を受信できない場合、フローチャートの処理を終了する。同様に、顧客端末2は、接客を受ける旨の応答を行わなかった場合(ステップS115;No)、フローチャートの処理を終了する。そして、店員端末1は、店員9からの所定の操作があった場合、又は顧客端末2から接客を終了する旨の通知があった場合、接客を終了すべきと判断し(ステップS118;Yes)、フローチャートの処理を終了する。同様に、顧客端末2は、接客を終了すべき旨の所定のユーザ操作があった場合、又は店員端末1から接客を終了する旨の通知があった場合、店員9による接客が終了したと判断し(ステップS119;Yes)、フローチャートの処理を終了する。
(2)商品説明要求処理
図8は、図7のステップS116及びステップS117の実行時である接客モード時に実行される商品説明要求処理の手順を示すフローチャートである。商品説明要求処理は、接客中に顧客がEC画面上の任意の商品を説明要求商品として指定する操作を行った場合に、指定された説明要求商品の位置及び詳細情報を店員端末1が表示する処理である。表示システムは、図8に示すフローチャートの処理を接客モード時に繰り返し実行する。なお、商品説明要求処理の実行時では、EC画面は、後述する図13及び図14等に示すように、店員端末1が生成した撮影画像Imの表示領域と、商品の一覧を表示する領域とを有するものとする。
まず、顧客端末2は、EC画面に表示された商品の一覧から一つの商品を説明要求商品として指定するユーザ入力があったか否か判定する(ステップS201)。この具体的なユーザ入力の受付方法については、図14を参照して後述説明する。そして、EC画面上に表示された商品の一覧から一つの商品を説明要求商品として指定するユーザ入力があった場合(ステップS201;Yes)、顧客端末2は、指定された説明要求商品の商品番号を含む説明要求信号をサーバ装置3へ送信する(ステップS202)。一方、顧客端末2は、EC画面上に表示された商品の一覧から一つの商品を説明要求商品として指定するユーザ入力がない場合(ステップS201;No)、上述のユーザ入力の有無を引き続き監視する。
次に、サーバ装置3は、説明要求商品の商品番号を含む信号を受信した場合、受信した商品番号に対応する商品情報を商品情報DB342から抽出し、かつ、受信した商品番号と同一の商品番号を含むタグ検出信号を送信するタグリーダ6の位置をタグリーダ配置情報343により特定することで、説明要求商品の配置場所を認識する(ステップS203)。そして、サーバ装置3は、抽出又は認識した説明要求商品の商品情報及び配置場所の情報を店員端末1へ送信する(ステップS204)。この場合、店員端末1は、受信した説明要求商品の配置場所を強調表示するAR画像を表示すると共に、受信した商品情報を示すAR画像を表示する(ステップS205)。この場合、例えば、店員端末1は、計測部19による計測結果に基づき、店員端末1の位置や向きを認識することで、ハーフミラー11を介した店員9の視界の範囲を認識し、認識した視界の範囲内に説明要求商品の配置場所がある場合に、当該配置場所を囲むAR画像を表示する。これにより、店員9は、顧客が指定した説明要求商品の場所や商品情報を好適に認識することができ、説明要求商品の説明を好適に実行することができる。
(3)説明商品強調処理
図9は、接客モード中に実行される説明商品強調処理の手順を示すフローチャートである。説明商品強調処理は、店員9が手にとって説明している商品を顧客端末2が表示するEC画面上で強調表示する処理である。表示システムは、図9に示すフローチャートの処理を接客モード時に繰り返し実行する。なお、説明商品強調処理の実行時では、商品説明要求処理の場合と同様、EC画面は、店員端末1が生成した撮影画像Imの表示領域と、商品の一覧を表示する領域とを有するものとする。
まず、店員端末1は、タグリーダ16がタグ7から商品番号を読み取ったか否か判定する(ステップS206)。そして、店員端末1は、タグリーダ16がタグ7から商品番号を読み取った場合(ステップS206;Yes)、読み取った商品番号を顧客端末2へ送信する(ステップS207)。一方、店員端末1は、タグリーダ16がタグ7から商品番号を読み取っていない場合(ステップS206;No)、引き続き、タグリーダ16がタグ7から商品番号を読み取ったか否か監視する。
そして、顧客端末2は、商品番号の受信後、受信した商品番号が示す商品を強調表示する(ステップS208)。これにより、顧客端末2は、店員9が手にとって説明している商品を、顧客に容易に認識させることができる。
(4)購入関連処理
図10は、接客モードの開始後に実行される購入関連処理の手順を示すフローチャートである。購入関連処理では、表示システムは、説明済リスト情報344の生成・更新処理を行うと共に、説明済リスト情報344が示す説明済みの商品リストを顧客端末2に表示させることで、顧客による購入商品の指定を円滑に受け付ける。表示システムは、図10に示すフローチャートの処理を繰り返し実行する。
まず、店員端末1は、店員9が商品への説明を実施したか否か判定する(ステップS301)。例えば、店員端末1は、タグリーダ16が所定時間以上連続してタグ7から同一の商品番号を読み取った場合、又は、タグリーダ16による商品番号の読取り中に所定の入力があった場合、当該商品番号が示す商品の説明を店員9が実施したと判断する。そして、店員端末1は、店員9が商品への説明を実施したと判断した場合(ステップS301;Yes)、説明済リスト情報344の更新の要求信号をサーバ装置3へ送信する(ステップS302)。この場合、店員端末1は、タグリーダ16が読み取った商品番号や顧客端末2を識別するためのIPアドレス等を上述の要求信号に含めて送信する。
そして、サーバ装置3は、説明済リスト情報344の更新を行う(ステップS303)。具体的には、ステップS302の要求信号で指定された商品番号が示す商品を、顧客端末2の顧客に対して店員9が説明済みの商品であるとみなし、説明済リスト情報344に追加する。そして、店員端末1及びサーバ装置3は、ステップS301~S303の処理を、接客が終了するまで繰り返し実行する。
そして、顧客端末2は、接客が終了したか否か判定する(ステップS304)。そして、顧客端末2は、接客が終了したと判断した場合(ステップS304;Yes)、説明済リスト情報344の要求信号をサーバ装置3へ送信する(ステップS305)。そして、この場合、サーバ装置3は、説明済リスト情報344を顧客端末2へ送信する(ステップS306)。
その後、顧客端末2は、説明済リスト情報344に基づき、説明済リストをEC画面上に表示させ、当該リストから顧客が購入したい商品を指定する入力を受け付ける(ステップS307)。その後、顧客端末2は、説明済リストから任意の商品が指定されたことを検知した場合、サーバ装置3等と通信を行い、指定された商品の購入に必要な決済処理等を実行する。
なお、好適には、店員端末1は、店員9のユーザ操作等に基づき、商品のクーポン情報を任意のタイミングで顧客端末2に送信するとよい。例えば、店員端末1は、接客モード中又は接客モードの終了時に、商品購入を促進するため、説明済みの商品に関するクーポン情報の送信指示を、ユーザ入力に基づくタイミングによりサーバ装置3へ送信する。この場合、サーバ装置3は、指定されたクーポン情報を顧客端末2に送信する。そして、顧客端末2は、受信したクーポン情報を表示し、顧客による入力に基づき、クーポン情報の利用の有無を決定する。
[表示例]
次に、本実施例に基づく表示例について、図11~図15を参照して説明する。
図11(A)は、図7のステップS106において店員端末1に5人分の顧客に対応する訪問者情報が送信された場合のハーフミラー11の表示例を示す。図11(A)の例では、店員端末1は、各顧客が関心あると推定される商品の位置を囲んだ破線枠40A、40Bと、当該破線枠内の商品に関心がある顧客の数及び商品画像や価格などの商品情報を示したウィンドウ41A、41Bとを、AR画像としてハーフミラー11上で風景に重ねて表示させている。なお、図11(A)に示すウィンドウ41A、41B等のAR画像は、便宜上透過性を0%にして描かれているが、実際には所定の透過性を有する。
この場合、店員端末1は、訪問者情報として、各顧客がEC画面で表示中又はカーソル等で選択中の商品の商品番号(SN番号)や商品名などの商品情報と、当該商品の配置場所の情報とをサーバ装置3から受信している。そして、店員端末1は、2人の顧客に対する訪問者情報に含まれる商品番号(ここではSN:5180-15-300)が一致すると判断し、当該商品の配置場所の情報に基づき、破線枠40Aを表示すると共に、ウィンドウ41Aを表示している。また、店員端末1は、3人の顧客に対する訪問者情報に含まれる商品番号(ここではSN:4380-12-300)が一致すると判断し、破線枠40B及びウィンドウ41Bを表示している。
そして、店員9は、接客の対象となる顧客を選択する場合、ウィンドウ41A、41Bのいずれかを選択することで、顧客の詳細情報を示すリスト(「顧客リスト」とも呼ぶ。)を店員端末1に表示させる。
図11(B)は、ウィンドウ41Bが店員9により選択された後のハーフミラー11の表示例を示す。図11(B)では、店員端末1は、入力部13への入力に基づき、ウィンドウ41Bが選択されたことを検知し、ウィンドウ41Bに対応する3人分の顧客リストを示すウィンドウ42Bを表示している。なお、店員端末1は、入力部13への入力に代えて、店員9の手の位置を撮影画像Imにより画像認識し、ウィンドウ41Bに重なったと判断した場合に、ウィンドウ41Bが選択されたと判断してもよい。
図11(B)のウィンドウ42Bが示す顧客リストは、IPアドレス、訪問時間(VISIT DURATION)、及び国名(COUNTRY)等の各項目を有する。そして、店員9は、ウィンドウ42Bが示す3人分の顧客リストから、国名等を参照し、対応可能な顧客のリストを選択する。この場合、店員9は、訪問時間をさらに考慮し、接客が必要であると判断される顧客のリストを選択するとよい。なお、この場合、店員端末1は、ウィンドウ41Bの選択方法と同様に、ウィンドウ42Bが示す顧客リストから1つのリストの選択を受け付ける。そして、店員端末1は、選択されたリストに対応する顧客に対する接客問合せ信号を生成してサーバ装置3に送信する。そして、サーバ装置3は、店員端末1が指定した顧客の顧客端末2に対し、受信した接客問合せ信号を送信する。なお、ウィンドウ42Bが示す顧客リストは、訪問時間や国名の項目の他に、前回のアクセス日時、購入履歴、顧客の住所(所在地域)などのサーバ装置3が顧客情報DB341として保有する任意の情報を含んでもよい。
図12は、接客問合せ信号を受信した直後の顧客端末2の表示部29が表示するEC画面の表示例である。図12の例では、顧客端末2は、サーバ装置3から受信した表示情報に基づき、商品表示領域70と、商品表示領域70の上方に設けられたメッセージ領域71とを含むEC画面を表示している。ここで、顧客端末2は、商品表示領域70上に、各商品を表す商品画像45A~45F、購入選択ボタン49A~49F、及び各商品を説明する文字などを表示する。また、顧客端末2は、メッセージ領域71上には、接客の意思がある旨のメッセージを表示するメッセージ欄43と、店員端末1に対して接客を受ける旨の応答をするための受諾ボタン44Aと、店員端末1に対して接客を受けない旨の応答をするための拒否ボタン44Bと、店員9の状態を表すアイコン46とを表示する。
そして、顧客端末2は、受諾ボタン44A又は拒否ボタン44Bのいずれかがマウス操作などにより選択されたことを検知した場合、選択されたボタンに対応する応答信号をサーバ装置3へ送信する。図12の例では、顧客端末2は、受諾ボタン44Aが選択されたことを検知し、接客を受ける旨の応答信号をサーバ装置3へ送信する。そして、サーバ装置3は、当該応答信号を店員端末1へ送信する。その後、顧客端末2と店員端末1とは、サーバ装置3から双方の通信アドレス等の通知を受けることにより、通信を確立し、接客モードに移行する。
図13は、店員端末1と顧客端末2とが接客モードに移行した後の表示部29が表示するEC画面の表示例である。図13では、店員端末1と顧客端末2とが通信を確立後、顧客端末2は、店員端末1から受信した撮影画像Imを表示するための映像表示領域72を上部に配置し、商品表示領域70を下部に配置したEC画面を表示している。
そして、顧客端末2は、映像表示領域72に撮影画像Imを表示すると共に、店員端末1から受信した音声データをスピーカ28により出力する。また、顧客端末2は、マイク230により生成した音声データを店員端末1へ送信する。これにより、顧客端末2を使用する顧客は、店員9と映像や音声を介して商品に対する説明を受けたり、質問をしたりすることができる。
また、図13の例では、店員9は、商品48を手に取って説明を行っている。この場合、店員端末1は、タグリーダ16により商品48に付されているタグ7から商品番号を読み取り、サーバ装置3を介して顧客端末2に当該商品番号を通知する。従って、顧客端末2は、通知された商品番号に対応する商品画像45Dを縁取り効果により強調表示している。これにより、顧客は、店員9が手に取って説明を行っている商品を好適に認識することができる。
図14は、図13に示すEC画面上で説明要求商品を指定する操作を行う様子を示す。図14の例では、顧客は、現在説明を受けている商品48とは異なる商品画像45Eが示す商品の説明を受けたいと考え、商品画像45Eをクリック操作等により選択している。この場合、顧客端末2は、強調表示している商品画像45Dとは異なる商品画像45Eが選択されたことを検知し、説明を受けるか否かを促すウィンドウ45Eを表示する。そして、顧客端末2は、ウィンドウ45E中のYESボタンが選択されたことを検知した場合、商品画像45Eに対応する商品番号を店員端末1へ送信する。
図15(A)は、図14においてEC画面上で説明要求商品が指定された場合のハーフミラー11の表示例を示す。図15(A)では、店員端末1は、AR画像として、接客中の顧客の情報を示すウィンドウ51と、説明要求商品の場所を示す破線枠52と、説明要求商品の情報を示すウィンドウ53とを表示する。
店員端末1は、接客モードへの移行後、接客対象の顧客の情報をサーバ装置3から受信し、ウィンドウ51上に表示させる。図15(A)では、店員端末1は、顧客情報DB341に登録されている顧客の国名や購入履歴を、サーバ装置3から受信することで、ウィンドウ51上に表示させている。なお、会員登録等によりサーバ装置3が顧客の詳細な登録情報を顧客情報DB341等に記録している場合、店員端末1は、当該登録情報を受信してウィンドウ51上に表示させてもよい。ここで、登録情報は、例えば、名前、年齢若しくは年代、性別、職業などが該当する。
また、店員端末1は、図8の商品説明要求処理に従い、サーバ装置3から取得した説明要求商品の配置場所と計測部19により認識した店員端末1の位置及び傾き等とに基づき、破線枠52により説明要求商品を囲む。また、店員端末1は、サーバ装置3から取得した説明要求商品の商品情報を表示したウィンドウ53を、破線枠52に対応付けて表示する。この場合、店員端末1は、商品情報として、商品名、商品番号、価格、カラー、サイズ、商品在庫数、可能な割引率の上限などをウィンドウ53上に表示する。これにより、店員9は、顧客がEC画面上で指定した説明要求商品の配置場所及び商品内容を把握し、顧客に好適に商品説明を行うことができる。
図15(B)は、説明要求商品が存在せず、説明要求商品に類似した代替商品をおすすめ商品として提示したハーフミラー11の表示例である。図15(B)の例では、店員端末1は、代替商品の配置場所を囲む破線枠52Aに対応付けて、代替商品の商品情報を示すウィンドウ53Aを表示させている。
この場合、サーバ装置3は、タグリーダ6から送信される信号等に基づき、顧客端末2が指定した説明要求商品が店舗5内に存在しないことを認識し、説明要求商品の代替商品を検索し、当該商品の配置場所及び商品情報を店員端末1へ送信する。なお、この場合、サーバ装置3は、例えば、類似する商品同士を対応付けるテーブルまたはマップ等を予め記憶しておき、当該テーブル等を参照して代替商品を決定する。
なお、店員端末1は、説明要求商品の代替商品をおすすめ商品として表示する代わりに、説明要求商品と共に着用するのが好ましい商品や店舗5が積極的に販売したい商品をおすすめ商品として表示してもよい。この場合、サーバ装置3は、例えば、同時に着用することが推奨される商品を対応付けるテーブルまたはマップ等を予め記憶しておき、当該テーブル等を参照しておすすめ商品を決定し、当該商品の情報を店員端末1へ送信する。そして、この場合、店員端末1は、説明要求商品の情報と共におすすめ商品の情報をAR画像として表示する。
図16は、接客モード時に店員9が来店客への応対のために店員端末1を外した場合のEC画面の表示例である。図16の例では、店員端末1は、計測部16により店員端末1が水平面よりも上方へ所定角度以上傾けられたことを検知し、又は図示しない脱着センサにより店員端末1が店員9の目の位置から外されたことを検知し、撮影画像Im及び音声データの送信を停止する。そして、店員端末1は、顧客端末2に対し、対応ができない旨の通知を行う。そして、顧客端末2は、この場合、撮影画像Imに代えて、映像表示領域72に「SORRY.」と表示し、撮影画像Imを表示できない旨を顧客に通知する。これにより、来客した顧客がEC画面上で表示されるのを好適に抑制することができる。
また、図16では、顧客端末2は、アイコン46の表示を、図13の場合と背景色を変えることで異なる表示にしている。このように、顧客端末2は、店員端末1を装着する店員9の店員端末1の脱着状態等に応じてアイコン46の表示態様を変えることで、顧客端末2を利用する顧客に店員9の状態を好適に認識させることができる。
なお、店員端末1は、撮影画像Im中の人物の表示部分を当該人物が特定できないように加工して顧客端末2に送信し、顧客端末2に加工後の撮影画像Imを表示させてもよい。この場合、店員端末1は、撮影画像Im中に任意の人の顔が映っていること及びその表示領域を公知の画像認識技術により認識する。これによっても、来店した顧客がEC画面上で表示されるのを好適に抑制することができる。
[変形例]
以下、上述の実施例に好適な変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施例に適用してもよい。
(変形例1)
図15(A)において、店員端末1は、説明要求商品の位置及び商品情報を表示するのに代えて、又はこれに加えて、EC画面上の商品画像にカーソル位置が重なった場合に、当該商品画像が示す商品(「カーソル重畳商品」とも呼ぶ。)の位置及び商品情報を表示してもよい。
図17(A)は、本変形例に係るハーフミラー11の表示例を示す。図17(A)の例では、店員端末1は、AR画像として、カーソル重畳商品の配置場所を示す破線枠52Bと、カーソル重畳商品の商品情報を示すウィンドウ53Bとを対応付けて表示している。
この場合、顧客端末2は、EC画面上に表示した商品画像の表示位置にカーソル位置が重なったことを検知し、当該商品画像が示す商品の商品番号をカーソル重畳商品の商品番号としてサーバ装置3へ通知する。この場合、顧客端末2は、所定時間以上カーソル位置が重なった商品画像が示す商品をカーソル重畳商品として認識してもよい。そして、サーバ装置3は、通知されたカーソル重畳商品の配置場所及び商品情報を、商品情報DB342やタグリーダ配置情報343を参照することで取得し、店員端末1へ通知する。そして、店員端末1は、図8の商品説明要求処理のステップS205と同様に、対象商品の配置場所を示す破線枠52Bと、対象商品の商品情報を示すウィンドウ53Bとを表示する。
このようにすることで、店員端末1は、顧客が関心あると推定される商品の配置場所及び商品情報を店員9に好適に認識させ、接客を円滑に実行させることができる。
(変形例2)
店員端末1は、顧客端末2のEC画面がアクティブでなくなった場合(即ち他の画面の背面に存在する場合)、顧客が接客を受ける状態でないと判断し、その旨を店員9に通知してもよい。
図17(B)は、本変形例におけるハーフミラー11の表示例を示す。図17(B)の例では、店員端末1は、顧客端末2のEC画面がアクティブでない旨を示すウィンドウ54をAR画像として表示している。この場合、顧客端末2は、接客モードを開始後、EC画面がアクティブであるか否かを監視し、EC画面がアクティブでなくなった場合、その旨を示す信号を店員端末1に送信する。なお、店員端末1は、ウィンドウ54を表示する代わりに、音声によりEC画面がアクティブでない旨を店員9に通知してもよい。
この態様により、店員端末1は、顧客がEC画面以外の画面を閲覧中の場合に、店員9が不要に商品説明を継続するのを好適に防ぐことができる。
(変形例3)
サーバ装置3は、タグリーダ配置情報343の代わりに、店舗5内にある各商品の位置情報のデータベースを記憶部34に記憶してもよい。この場合、図8の商品説明要求処理のステップS203では、サーバ装置3は、記憶部34に記憶した上述のデータベースを参照し、説明要求商品の配置場所を取得する。
(変形例4)
実施例の処理概要を示す図7のフローチャートにおいて、サーバ装置3は、店員端末1からの問い合わせの有無によらずステップS106で訪問者情報を店員端末1に送信した。これに代えて、サーバ装置3は、店員端末1から訪問者情報の問い合わせがあった場合に限り、生成した訪問者情報を店員端末1へ送信してもよい。例えば、この場合、店員端末1は、店員9からの所定の操作を検知した場合、又は店員9が店員端末1を装着したことを認識した場合等に、訪問者情報の問い合わせを行い、訪問者情報を受信する。
(変形例5)
サーバ装置3は、店員9が接客可能状態であるか否かを監視し、店員9が接客可能状態である場合にEC画面の取得要求があったときには、図12に示すEC画面の表示情報を顧客端末2へ送信してもよい。
この場合、店員端末1は、計測部16又は図示しない着脱センサ等に基づき、店員端末1の着脱状態を認識し、その認識結果を所定間隔ごとにサーバ装置3へ送信する。そして、サーバ装置3は、上述の認識結果に基づき、店員9が店員端末1を装着している場合に、店員9が接客可能状態であると判断する。そして、サーバ装置3は、店員9が接客可能状態のときにEC画面の取得要求があったときには、図12に示すEC画面の表示情報を顧客端末2へ送信し、EC画面上にメッセージ欄43や受諾ボタン44A等を表示させる。
(変形例6)
図7のステップS105において、サーバ装置3は、訪問時間が閾値を超えた顧客に対応する訪問者情報を店員端末1へ送信した。これに代えて、又はこれに加えて、サーバ装置3は、訪問時間以外の情報に基づき、訪問者情報を店員端末1へ送信すべきか否か判定してもよい。
例えば、サーバ装置3は、顧客情報DB341に基づき認識されるEC画面へのアクセス回数や前回のアクセス日時などが所定の条件に該当する場合に、顧客が常連客又は購入を迷っている客であると判断し、訪問者情報を店員端末1へ送信してもよい。
(変形例7)
図7のステップS106において、サーバ装置3は、店舗5と同一系列の店舗に存在する店員端末1に対し、訪問者情報を一斉送信してもよい。そして、サーバ装置3は、送信した訪問者情報に対する応答として接客問合せ信号を送信した店員端末1に対して、顧客端末2との直接接続を開始させ、接客モードへ移行させる。なお、変形例5と同様に、サーバ装置3は、各店舗5の店員9が接客可能状態であるか否か監視している場合には、接客可能状態の店員9の店員端末1のみに対し、訪問者情報を送信してもよい。
(変形例8)
店員端末1は、実施例で説明したサーバ装置2の一部の機能を有してもよい。例えば、店員端末1は、商品情報DB342やタグリーダ配置情報343などの各種情報を記憶し、図8の商品説明要求処理をサーバ装置2と通信することなく実行してもよい。この場合、店員端末1は、顧客端末2から説明要求商品の商品番号を直接受信し、図15に示す商品説明要求処理に係る表示処理などをサーバ装置2と通信することなく行う。また、この場合、店員端末1は、サーバ装置3に代えてタグリーダ6から信号を受信し、タグリーダ配置情報343に基づき、店舗5内の各商品の配置場所を認識する。
(変形例9)
表示システムは、店員端末1に代えて、カメラを有するスマートフォンなどの携帯端末を有してもよい。この場合、携帯端末は、カメラが撮影した画像をディスプレイに表示すると共に、表示した画像中に、図11や図15等に示したAR画像を重畳表示させる。そして、本変形例では、携帯端末又は携帯端末のディスプレイは、本発明における「表示部」の一例である。
(変形例10)
顧客が店員9と店舗5内で対面して接客を受ける場合であっても、店員端末1は、顧客が指定した説明要求商品の配置場所及び商品情報をAR画像により表示してもよい。
この場合、例えば、店員端末1は、マイク130により入力された顧客の音声データをサーバ装置3へ送信し、サーバ装置3は、音声データから商品名などの商品を特定するフレーズを抽出する。そして、サーバ装置3は、抽出したフレーズに関連する商品を説明要求商品であると認識し、当該商品の配置場所及び商品情報を店員端末1に送信することで、店員端末1に当該商品の配置場所及び商品情報を表示させる。この場合、サーバ装置3は、抽出され得るフレーズと商品との対応関係を示すマップ等を予め記憶してもよい。なお、上述のフレーズの抽出などの音声認識処理は、サーバ装置3に代えて店員端末1が実行してもよい。
(変形例11)
接客モードでは、店員端末1と顧客端末2とがサーバ装置3を介さずに通信を行った。これに代えて、店員端末1と顧客端末2とは、接客モードであっても、サーバ装置3を介してデータの授受を行ってもよい。
(変形例12)
店員端末1は、店舗5の本部が使用する端末(「本部端末」とも呼ぶ。)から各商品の配置場所の情報(「商品配置情報」とも呼ぶ。)を受信し、各商品の配置場所を示すAR画像を表示してもよい。
この場合、本部端末は、商品番号ごとに各商品の配置(陳列)場所を示した商品配置情報を予め生成し、当該情報を店員端末1に送信する。そして、店員端末1は、タグリーダ16によりタグ7から商品番号を読み取った場合、本部端末から受信した商品配置情報を参照し、対応する商品の配置場所を認識する。そして、店員端末1は、図15(A)等の例と同様に、認識した配置場所を囲むAR画像を表示する。これにより、店員は、本部の指示に従い、商品を適切に陳列させることができる。本変形例では、本部端末の使用人は、本発明における「利用者」の一例である。
なお、本部端末に代えて、店舗5において店長などが使用する端末が商品配置情報を店員端末1に送信してもよい。
1 店員端末
2 顧客端末
3 サーバ装置
5 店舗
6 タグリーダ
7 タグ
9 店員

Claims (1)

  1. 利用者端末を使用する利用者に選択された商品に関する情報を、前記選択された商品に関する位置情報に基づいて、表示部に、前記選択された商品と見かけ上対応付けて前記利用者以外の者に視認される表示部に表示させる制御部と、
    画像を撮影する撮影部と、を備え、
    前記制御部は、前記画像内に人物が映っている場合、前記人物の特定ができない画像に加工し、該加工した画像を、前記利用者端末へ通信部により送信させることを特徴とする表示制御装置。
JP2023001437A 2019-04-18 2023-01-10 表示制御装置、制御方法、プログラム及び記憶媒体 Pending JP2023029520A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023001437A JP2023029520A (ja) 2019-04-18 2023-01-10 表示制御装置、制御方法、プログラム及び記憶媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019079048A JP2019164803A (ja) 2019-04-18 2019-04-18 表示制御装置、制御方法、プログラム及び記憶媒体
JP2021027391A JP2021099831A (ja) 2019-04-18 2021-02-24 表示制御装置、制御方法、プログラム及び記憶媒体
JP2023001437A JP2023029520A (ja) 2019-04-18 2023-01-10 表示制御装置、制御方法、プログラム及び記憶媒体

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021027391A Division JP2021099831A (ja) 2019-04-18 2021-02-24 表示制御装置、制御方法、プログラム及び記憶媒体

Publications (1)

Publication Number Publication Date
JP2023029520A true JP2023029520A (ja) 2023-03-03

Family

ID=68065764

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019079048A Pending JP2019164803A (ja) 2019-04-18 2019-04-18 表示制御装置、制御方法、プログラム及び記憶媒体
JP2021027391A Pending JP2021099831A (ja) 2019-04-18 2021-02-24 表示制御装置、制御方法、プログラム及び記憶媒体
JP2023001437A Pending JP2023029520A (ja) 2019-04-18 2023-01-10 表示制御装置、制御方法、プログラム及び記憶媒体

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2019079048A Pending JP2019164803A (ja) 2019-04-18 2019-04-18 表示制御装置、制御方法、プログラム及び記憶媒体
JP2021027391A Pending JP2021099831A (ja) 2019-04-18 2021-02-24 表示制御装置、制御方法、プログラム及び記憶媒体

Country Status (1)

Country Link
JP (3) JP2019164803A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7156412B2 (ja) * 2021-01-07 2022-10-19 凸版印刷株式会社 遠隔収穫システム
WO2023112519A1 (ja) * 2021-12-17 2023-06-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ ウェアラブル装置、情報処理方法、情報処理プログラム及び情報提供システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3753207B2 (ja) * 1997-08-11 2006-03-08 富士ゼロックス株式会社 共同作業支援システムおよび共同作業支援方法
JP2012190094A (ja) * 2011-03-09 2012-10-04 Sony Corp サーバ装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
JP2019164803A (ja) 2019-09-26
JP2021099831A (ja) 2021-07-01

Similar Documents

Publication Publication Date Title
US20220005095A1 (en) Augmented reality devices, systems and methods for purchasing
JP5280590B2 (ja) 情報処理システム、情報処理方法及びプログラム
JP2023029520A (ja) 表示制御装置、制御方法、プログラム及び記憶媒体
US20150095228A1 (en) Capturing images for financial transactions
EP2675143B1 (en) User terminal apparatus providing a navigation function, server and controlling method thereof
JP6323586B1 (ja) 店舗システム、電子棚札、店舗システムの処理方法及びプログラム
JP6185216B1 (ja) 情報提供システム、情報提供装置、情報提供方法、及びプログラム
JP2011048462A (ja) 販売支援装置及びプログラム
US20110050900A1 (en) Image processing apparatus, wearable image processing apparatus, and method of controlling image processing apparatus
US11978105B2 (en) System, method, and apparatus for processing clothing item information for try-on
CN111243200A (zh) 购物方法、穿戴式设备及介质
US20110055027A1 (en) Cooking assistance terminal, wearable cooking assitance terminal and method
KR102298101B1 (ko) 성인용품 판매시스템 및 그 시스템의 구동방법
JP2018032439A (ja) 表示制御装置、制御方法、プログラム及び記憶媒体
WO2015166527A1 (ja) 表示制御装置、制御方法、プログラム及び記憶媒体
JP2002216020A (ja) オンラインモールシステム及びオンラインモールのショップサイト更新方法並びにオンラインモールのショップサイト更新用プログラム
JP7465228B2 (ja) 拡張現実システム
JP7477439B2 (ja) 情報処理装置、情報処理方法及び情報処理システム
WO2022219798A1 (ja) 接客支援装置、接客支援方法、及びプログラム
JP2017084090A (ja) 接客システム
WO2021176552A1 (ja) ユーザ端末およびプログラム
JP2024079332A (ja) 情報提供装置、情報処理システム、情報提供方法、及びプログラム
JP2019161524A (ja) ウェアラブル端末、視聴管理システム、コンテンツ注文システム及び視聴管理方法
KR101589379B1 (ko) 촬영대상 이미지를 이용한 정보 제공 시스템 및 그 방법
JP2021131770A (ja) 表示制御装置、表示制御システムおよび表示制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109