JP2020095581A - 情報処理方法、情報処理装置、情報処理システム、および店舗 - Google Patents

Abstract

【課題】店舗において、タグをリーダに近づけて読み取らせるような手動操作をユーザに求めることなく、商品に関する映像コンテンツをユーザに提示する情報処理方法、情報処理装置及び情報処理システムを提供する。【解決手段】本発明の情報処理方法は、コンピュータ（店舗サーバ１２０）による、所定の空間領域のモニタ映像を撮像装置から取得するステップと、モニタ映像から、商品サンプルの表面に付された識別情報のシンボルを検出して、識別情報を特定するステップと、識別情報に関連付けられた商品情報を記憶装置から取得するステップと、商品情報を、ミラーディスプレイに出力するステップとを含む。空間領域において、商品サンプルは、ミラーディスプレイ（表示装置１６０）の所定領域に映り込むように位置合わせされている。【選択図】図８

Description

本願は、情報処理方法、情報処理装置、情報処理システム、および店舗に関する。

従来、店舗内に設置され、商品に関する映像コンテンツを消費者に案内する表示システムが知られている。例えば、商品毎に付されたＲＦＩＤ（radio frequency identifier）タグを、店舗に設置されたリーダに読み取らせることにより、対応の映像コンテンツが表示装置に配信および表示される。また、店舗のような施設に設置される表示システムとして、デジタルサイネージ技術の適用が知られている。

特開２００９−２８２６７６号公報 特開２０１１−１１４７０７号公報

上述の表示システムでは、訪問客（ユーザ）は、値札等に付されたＲＦＩＤタグをＲＦＩＤリーダライタに近づけて読み取らせるという手動操作が求められる。つまり、店舗において、ユーザは商品の値札の存在およびＲＦＩＤリーダライタの設置場所を確認し、値札部分のＲＦＩＤタグをＲＦＩＤリーダライタにかざした後に、ディスプレイに表示される情報を別途視認しなければならない。このことは、ユーザにとっては手間が掛かるものであった。

本願は、店舗において、ＲＦＩＤタグをリーダに近づけて読み取らせるという手動操作をユーザに求めることなく、商品に関する映像コンテンツをユーザに提示することを１つの目的としている。また、このような映像コンテンツのユーザ提示動作をトリガするために、デジタルサイネージ技術の１つである、ミラーサイネージ技術を適用することを１つの目的とする。

一実施形態によれば、情報処理方法が提供される。かかる情報処理方法は、コンピュータによる、所定の空間領域のモニタ映像を撮像装置から取得するステップと、モニタ映像から、商品サンプルの表面に付された識別情報のシンボルを検出して、識別情報を特定するステップと、識別情報に関連付けられた商品情報を記憶装置から取得するステップと、商品情報を、ミラーディスプレイに出力するステップと、を含み、上記空間領域において、商品サンプルがミラーディスプレイの所定領域に映り込むように位置合わせされている。

全体システムの概略構成図である。 一実施形態による情報処理装置のハードウェア構成の概略図である。 外部サーバのハードウェア構成の概略図である。 ユーザ端末のハードウェア構成の概略図である。 一実施形態による情報処理システムで実装される機能構成の概略図である。 外部サーバで実装される機能構成の概略図である。 ユーザ端末で実装される機能構成の概略図である。 一実施形態による情報処理方法の処理フローの概略図である。 一実施形態による店舗の概略空間図である。 一実施形態による店舗の概略空間図である。 一実施形態による店舗の概略空間図である。 表示装置に表示されるイメージ図である。

以下に、本発明に係る情報処理方法、情報処理装置、情報処理システム、および店舗の実施形態を添付図面とともに説明する。添付図面において、同一または類似の要素には同一または類似の参照符号が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。更に、図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。

以下の実施形態の説明では、店舗および商品のサンプルとして、アイウエアショップおよび試着用のアイウエアを例に挙げるが、これに限定されない。アイウエアはアイウエアショップ内に陳列され、ユーザは試着用のアイウエアを自由に試すことができる。

図１の全体システム１の概要図に示すように、システム１は、店舗システム１００、外部サーバ３００、ユーザ端末５００、およびネットワーク７００を備える。店舗システム１００は、店舗（ＳＨ１〜ＳＨｎ）毎に構築され、一実施形態による情報処理方法を実行し、情報処理装置および情報処理システムを提供すると共に、店舗運営を管理する。外部サーバ３００は、全店舗の店舗システム１００およびユーザアプリケーションを管理する。ユーザ端末５００は、例えばスマートフォンであり、ユーザアプリケーションを実行する。これらのコンポーネントは、ネットワーク７００を介して相互に接続される。

全体システム１の店舗システム１００は、複数の店舗ＳＨ１〜ＳＨｎのそれぞれにおいて、店舗サーバ１２０、撮像装置１４０、表示装置１６０、および商品サンプル群１８０を備える。店舗サーバ１２０は、撮像装置１４０および表示装置１６０の動作を制御する。また、ネットワーク７００を通じて外部サーバ３００およびユーザ端末５００と通信する。なお、店舗サーバ１２０は店舗内に物理的に設置される必要はなく、店舗外に設置されてもよい。

図２〜図４を参照して、店舗システム１００の店舗サーバ１２０、外部サーバ３００、およびユーザ端末５００のハードウェア構成の概略を説明する。なお、店舗サーバ１２０および外部サーバ３００は、例えば、ワークステーションやパーソナルコンピュータのような汎用コンピュータを複数用いて実現されてもよい。或いは、クラウド・コンピューティングによって論理的に実現されてもよい。また、ユーザ端末５００は、例えば、スマートフォン、タブレット端末、ラップトップコンピュータ、パーソナルコンピュータ、フィーチャーフォン、ＰＤＡ(Personal Digital Assistant)等のような電子機器としてもよい。

図２は、一実施形態による情報処理装置のハードウェア構成の概略図である。情報処理装置は店舗サーバ１２０であり、プロセッサ１１、メモリ１２、ストレージ１３、入出力部１４、および通信インタフェース１５を備え、これらはバス１９を通じて相互に電気的に接続される。

プロセッサ１１は、情報処理を制御し、各要素間におけるデータの送受信の制御、および一実施形態による情報処理方法を実行する演算装置である。例えばプロセッサ１１はＣＰＵ(Central Processing Unit)であり、ストレージ１３に格納されメモリ１２に展開されたプログラム等を実行して情報処理を実施する。

メモリ１２は、ＤＲＡＭ(Dynamic Random Access Memory)等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ(Hard Disc Drive)等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１２は、プロセッサ１１のワークエリア等として使用され、ＯＳ(operating system)の起動時に実行されるＢＩＯＳ(Basic Input / Output System)、各種設定情報等を格納する。ストレージ１３は、プロセッサ１１による情報処理のためのプログラムおよびＯＳ等を格納する。また、プログラムの実行に用いられる各種データを格納したデータベースがストレージ１３に構築されていてもよい。

入出力部１４は、マウスやキーボード等の情報入力機器から入力を受け付け、また、ディスプレイ等の出力機器への出力を実施する。特に、店舗サーバ１２０においては、入出力部１４は、撮像装置１４０からのモニタ映像の入力を受け付け、また、表示装置１６０に商品情報を出力する。通信インタフェース１５は、ネットワーク７００に接続し、外部の各エンティティとの通信を実施する。バス１９は、上述の各要素を接続し、例えば、アドレス信号、データ信号、および制御信号を伝送する。

図３は、外部サーバ３００のハードウェア構成の概略図である。外部サーバ３００のハードウェア構成は、図２の店舗サーバ１２０と基本的に同様である。つまり、プロセッサ３１、メモリ３２、ストレージ３３、入出力部３４、および通信インタフェース３５を備え、バス３９を通じて相互に電気的に接続される。

図４は、ユーザ端末５００のハードウェア構成の概略図である。図４の例はスマートフォンである。ユーザ端末５００は、図２の店舗サーバ１２０および図３の外部サーバ３００と同様に、プロセッサ５１、メモリ５２、ストレージ５３、および通信インタフェース５７を備える。加えて、ユーザ端末５００は、入出力装置としてタッチパネル５４および撮像部５８等も備える。これらは、バス５９を介して相互に電気的に接続される。

ユーザ端末５００においては、例えば、プロセッサ５１はＣＰＵに加え、ＧＰＵ(Graphical Processing Unit)等も備えてもよい。また、通信インタフェース５７は、Ｂｌｕｅｔｏｏｔｈ（登録商標）およびＢＬＥ(Bluetooth Low Energy)の近距離通信インタフェースを含んでもよい。また、タッチパネル５４は入力部５５および表示部５６を構成する。入力部５５は、タッチパネル５４に対するユーザのタッチ操作を検知する。タッチパネルの表示部５６は液晶ディスプレイ等で構成される。撮像部５８は、ユーザ端末５００内のインカメラやアウトカメラである。つまり、カメラ機能を有し、ユーザによって撮像された画像や動画をストレージ５３に格納する。

図５〜図７を参照して、店舗システム１００、外部サーバ３００、およびユーザ端末５００のそれぞれに実装される機能構成について説明する。ここでは、各機能をブロックで表している。

図５は、一実施形態による情報処理システムに実装される機能構成の概略図である。情報処理システムの例は店舗システム１００であり、店舗サーバ１２０、撮像装置１４０、表示装置１６０、および商品サンプル群１８０を備える。また、店舗サーバ１２０は、通信部１２１、外部インタフェース部１２２、制御部２００、および記憶部２９０を備える。撮像装置１４０はモニタ部１４１を備える。表示装置１６０は、表示部１６１、ミラー部１６２、およびセンサ部１６３を備える。商品サンプル群１８０（以下、「商品サンプル」と称する。）には、その表面に識別情報のシンボル１８１が付されている。識別情報は、例えば商品サンプル１８０に対応した商品コードとするのがよい。

店舗サーバ１２０の通信部１２１は、ネットワーク７００を介して外部サーバ３００およびユーザ端末５００と通信を行う。外部インタフェース部１２２は、店舗システム１００内において店舗サーバ１２０を撮像装置１４０および表示装置１６０に結合し、それぞれの間で相互作用する。

店舗サーバ１２０の制御部２００は、映像取得部２１０、特定部２２０、情報取得部２３０、画面生成部２４０、および出力部２５０を備える。映像取得部２１０は、撮像装置１４０のモニタ部１４１から空間領域のモニタ映像を取得する。特定部２２０は、取得したモニタ映像から、商品サンプルの表面に付された識別情報のシンボル１８１を検出して識別情報を特定する。情報取得部２３０は、識別情報に関連付けられた商品情報を記憶部２９０から取得する。画面生成部２４０および出力部２５０は、取得した商品情報を用いて表示用の画面を生成して、表示装置１６０の表示部１６１に出力する。

店舗サーバ１２０の記憶部２９０は、アイウエアショップの位置情報等の店舗情報２９１と、アイウエアに関する商品基本情報２９２と、アイウエアに関する商品カタログ情報２９３と、在庫情報等の商品管理情報２９４と、を格納する。また、店舗システム１００を実施することにより取得可能な試着情報２９５も格納するのがよい。各種情報２９１〜２９５が商品情報を少なくとも構成し、これらが表示装置１６０に表示されることになる。更に、記憶部２９０は、各種データ・ファイル、および制御部２００の各種機能を実装したプログラムを含んでもよい。つまり、記憶部２９０は、一実施形態による情報処理方法を実装したプログラムを格納してもよい。

撮像装置１４０のモニタ部１４１は、所定の店舗内の空間をモニタリングする。つまり、モニタリング中は、所定の画角（視界）で空間領域のモニタ映像を撮像する。また、撮像装置１４０は、モニタ部１４１を通じて、モニタ映像にユーザ映像が含まれたかを判断することにより、ユーザの接近を感知してもよく、更には、ユーザ映像においてユーザの顔認識を実施してもよい。

表示装置１６０の表示部１６１は液晶等の薄型のディスプレイによって構成され、また、ミラー部１６２はマジックミラーとも称されるハーフミラーによって構成される（以下において、「ディスプレイ１６１」および「ハーフミラー１６２」と称することもある。）。センサ部１６３は、距離センサや人感センサによって構成され、人の接近を感知する。

図６は、外部サーバ３００に実装される機能構成の概略図である。外部サーバ３００は、通信部３１０、アプリケーション部３２０、および記憶部３９０を備える。通信部３１０は、ネットワーク７００を介して店舗システム１００およびユーザ端末５００と通信を行う。アプリケーション部３２０は、ユーザ端末５００に対しアプリケーション（Ａｐｐ）機能を提供する。また、店舗システム１００に対しても付加的な機能を提供する。

具体的には、アプリケーション部３２０は、コミュニティ管理部３２１、似合度判定部３２２、オンラインショップ部３２３を備え、ユーザ端末５００および店舗システム１００と相互作用する。このうちコミュニティ管理部３２１は、アプリケーションを利用するユーザ同士のコミュニティを管理する。例えば、ユーザがユーザ端末５００で撮影し、アプリケーションを通じて投稿したスナップ画像、およびこれに対する他のユーザによるリアクションを管理する。リアクションは、「いいね」や「お気に入り」への登録、およびユーザレビューのようなコメント投稿を含むのがよい。似合度判定部３２２は、アイウエアを試着したユーザの顔写真を画像解析して、その特徴量を分析すると共に、ユーザの属性（性別、年齢等）や嗜好（用途、印象等）等に基づいて加重するように数値化を行う。オンラインショップ部３２３は、ユーザによるオンラインでの購入をサポートし、発注、決済、配送等の処理を実施する。

外部サーバ３００の記憶部３９０は、商品全般の商品情報３９１、登録ユーザのユーザ情報３９２、ユーザが投稿したスナップ画像やコメントのような投稿情報３９３、および投稿情報３９３に対するリアクション情報３９４を格納する。商品情報３９１は、各店舗において店舗サーバ１２０の記憶部２９０に格納した商品情報とリアルタイムまたは定期的に同期されるのがよい。また、投稿情報３９３およびリアクション情報３９４は商品情報３９１に関連付けられ、表示装置１６０に表示されるように商品情報の一部として構成されるのがよい。

図７は、ユーザ端末５００に実装される機能構成の概略図である。ユーザ端末５００は、通信部５１０、ユーザアプリケーション部５２０、スナップ部５３０、および記憶部５９０を備える。通信部５１０は、ネットワーク７００を介して店舗システム１００および外部サーバ３００と通信を行う。ユーザアプリケーション部５２０は、ユーザ端末５００上のアプリケーション機能を提供する。なお、アプリケーションはユーザ端末上にインストールされてもよく、または、ウェブブラウザを介してユーザに提供されてもよい。

具体的には、ユーザアプリケーション部５２０は、商品試着部５２１、投稿部５２２、およびリアクション部５２３を備え、ユーザ端末と相互作用する。商品試着部５２１は、ユーザ端末５００において、スナップ部５３０によって撮像されたユーザの顔写真と、アイウエアのカタログ画像とを合成することにより、仮想的な試着機能を提供する。合成写真は、投稿部５２２によって外部サーバ３００に投稿され、外部サーバ３００の似合度判定部３２２によって似合度の数値が計算されてもよい。投稿部５２２は、また、アイウエアに関連したユーザ投稿を受け付ける。具体的には、上記の合成写真に加え、例えば、アイウエアの「お気に入り」の登録、およびアイウエアを装着したユーザのスナップ画像（セルフィー）の投稿等を受ける。リアクション部５２３は、ユーザからの投稿に対し、他のユーザによるリアクションを受ける。投稿部５２２およびリアクション部５２３で受け付けた情報は、外部サーバ３００の記憶部３９０に投稿情報３９３およびリアクション情報３９４として格納するのがよい。

ユーザ端末５００の記憶部５９０は、スナップ部５３０によって取得されたスナップ画像５９１をローカルに格納してもよい。また、記憶部５９０は、アプリケーション・プログラムをおよび当該プログラムの実行に用いられる各種データを格納してもよく、更には外部サーバ３００の記憶部３９０に格納される情報を同期して格納してもよい。

図２〜図４に示した各ハードウェア構成の概略図、および、図５〜図７に示した対応の機能ブロック構成の概略図は例示に過ぎず、これらに限定されない。図５〜図７に示した機能ブロック構成は、ハードウェアの一部として実装されても、および／またはソフトウェアの一部として実装されてもよい。特に、図５に示した店舗サーバ１２０の各機能ブロックの少なくとも一部は、外部サーバ３００が有するように構成してもよい。逆に、外部サーバ３００の各機能ブロックの少なくとも一部は、店舗サーバ１２０が有するように構成してもよい。つまり、一実施形態による情報処理装置および情報処理システムは、店舗サーバ１２０および店舗システム１００に限定されず、外部サーバ３００の機能ブロックを任意に組み込んでもよい。

図８は、一実施形態において実行される情報処理方法による処理フローの概略図である。処理フローは、店舗サーバ１２０、撮影装置１４０、表示装置１６０、および外部サーバ３００の相互作用によるものであり、図５および図６の店舗サーバ１２０および外部サーバ３００の各ブロックの機能を用いて実行される。処理フローは、アイウエアショップ内において、ユーザが表示装置１６０に近づいたことを契機にして開始される。

Ｓ６１において、表示装置１６０のセンサ部１６３はユーザの接近を感知する。これに応じて、Ｓ６２において、表示部１６１は、ユーザによるアイウエアの試着を促す画面を表示する。例えば、「アイウエアをかけてミラーの前に立ってみてください。」や「表示の枠に顔を合わせてください。」のようなメッセージを表示するのがよい。同時に、Ｓ４１において、撮像装置１４０のモニタ部１４１は、モニタリングを開始する。モニタリングの実施中、撮像装置１４０が有する所定の画角で空間領域のモニタ映像が撮像される。Ｓ２１において、店舗サーバ１２０の映像取得部２１０は、空間領域のモニタ映像を取得する。

モニタ映像の撮像（Ｓ４１）と取得（Ｓ２１）を通じた撮像装置１４０と店舗サーバ１２０の相互作用は、モニタ映像からシンボル１８１が検出されるまで繰り返される。つまり、Ｓ２２において、制御部２００の特定部２２０は、モニタ映像から、試着用のアイウエア１８０の表面に付された識別情報のシンボル１８１を検出する。当該検出は、一例では、シンボル１８１に含まれる所定の画像パターンを特定することで実施される。Ｓ２２でシンボル１８１が検出されると、引き続きＳ２３において、特定部２２０はシンボル１８１が示す識別情報を特定する。

以降の商品情報の抽出処理は、上記Ｓ２３での識別情報の特定をトリガにして実施される。つまり、ユーザが店舗内の所定の空間領域内でミラー部１６２に自らを映り込ませさえすれば、試着したアイウエアに関する商品情報の抽出処理をトリガできる。すなわち、一実施形態による情報処理方法は、上記以外の操作をユーザに求めることがないので、ユーザビリティを向上させることができ、また、ユーザフレンドリなものである。

Ｓ２４において、制御部２００の情報取得部２３０は、特定済みの識別情報を検索キーにして記憶部２９０を検索する。外部サーバ３００が、Ｓ３１において、当該識別情報を検索キーにして記憶部３９０を検索してもよい。その結果、Ｓ２５において、情報取得部２３０は識別情報に関連付けられた商品情報を取得する。商品情報は、図５に示した、店舗サーバ１２０の記憶部２９０に格納された店舗情報２９１、商品基本情報２９２、商品カタログ情報２９３、商品管理情報２９４、および試着情報２９５を含むのがよい。また、図６に示した、外部サーバ３００の記憶部３９０に格納された商品情報３９１、投稿情報３９３、およびリアクション情報３０４を含んでもよい。

Ｓ２６において、制御部２００の画面生成部２４０は、取得済みの商品情報を用いて、表示装置１６０に表示するための表示画面を生成する。生成される表示画面は、ウェブページのようなブラウザで閲覧可能なものとしてもよい。そして、Ｓ２７において、出力部２５０は、生成した表示画面を出力するように表示装置１６０に指示する。これに応じて、Ｓ６３において、表示装置１６０の表示部１６１は画面表示を実施する。

Ｓ６３での表示処理の結果、表示装置１６０には、表示部１６１による画面表示が行われるのと同時に、ミラー部１６２によって、アイウエアを試着したユーザが映り込んでいる状態となる。つまり、画面表示の上に、ユーザの鏡像が重畳表示されている状態となる。すなわち、ユーザは表示装置１６０を対面で目視するだけで、アイウエアを試着した自分の鏡像と、アイウエアの商品説明を一度に確認することができるので、ユーザエクスペリエンスを向上させることができる。

図９〜図１１を参照して、一実施形態による店舗ＳＨについて説明する。図９〜図１１は、一実施形態による店舗の例示の概略空間図である。図９は店舗空間の斜視図、図１０は同側面図、図１１は同平面図である。ここでは、店舗の床面である水平面をｘｚ平面とし、ユーザが表示装置１６０に向かう方向をｚ方向としている。また、水平面の垂直方向をｙ方向としている。

一実施形態による店舗ＳＨは、店舗システム１００が備える表示装置１６０、撮像装置１４０、および商品サンプル１８０を少なくとも収容する。表示装置１６０は、例えば店舗内の支柱に固定して設置されてもよいし、移動可能に単独で設置されてもよい。店舗の天井から吊されるように表示装置１６０の近傍（ユーザから見て表示装置の裏側）に設置された撮像装置１４０によって、モニタ映像が撮像される。モニタ対象となるモニタ映像の空間領域ＡＲ１は当該店舗内の三次元領域である。

一実施形態では、撮像装置１４０のモニタ部１４１によってモニタリングされる空間領域ＡＲ１において、商品サンプルであるアイウエア１８０は、表示装置１６０上の所定の二次元領域ＡＲ２に映り込むように位置合わせされている。具体的には、ディスプレイ１６１上に表示されたガイド用の領域ＡＲ２内にアイウエア１８０を収容させるように、ハーフミラー１６２に映り込むアイウエア１８０が、ユーザによって空間的に位置合わせされる。このような位置合わせを通じて、撮像装置１４０は、商品サンプルに付されたシンボル１８１を適切に検出することができる。

なお、ディスプレイ１６１に表示されるガイド用の領域ＡＲ２は、矩形に限らず任意の形状としてもよい。例えば、人の顔の輪郭を模式化した形状としてもよく、これにより、ユーザによる位置合わせを容易することができる。通常、アイウエアは人の眼の周囲に固定的に配置されるものであるから、空間の領域範囲を限定して、撮像装置１４０にキャプチャさせるのがよい。これにより、撮像装置１４０によるシンボル１８１の検出を容易にでき、検出精度を向上させることができる。

表示装置１６０のディスプレイ１６１には、シンボル１８１が示す識別情報に関連付けられる様々な商品情報が表示される。表示される商品情報は、商品サンプルの画像やモデル名のような商品基本情報２９２を含むのがよい。また、ユーザに購入を促すために、在庫の有無を示す商品管理情報２９４も含むのがよい。更には、図１２において詳述するように、店舗サーバ１２０の記憶部２９０および外部サーバ３００の記憶部３９０に格納された各種情報を含むのがよい。

一実施形態では、店舗ＳＨに設置される表示装置１６０は、液晶ディスプレイ等の薄型のディスプレイ１６１とハーフミラー１６２を重ねて一体的に形成したミラー型のディスプレイ（ミラーディスプレイ）である。具体的には、ミラーディスプレイ１６０において、薄型のディスプレイ１６１が外光を遮断する筐体内に設置され、所定の光反射率を有するハーフミラー１６２でディスプレイ１６１の表示面側の空間を閉鎖することで店舗空間よりも暗くする。ディスプレイ１６１に画面を表示する際は、ディスプレイ１６１のバックライト光を、ハーフミラー１６２を介して前面側に透過させる。これにより、ユーザはハーフミラー側から画面を視認可能となる。ハーフミラー１６２はマジックミラーとも称され、鏡としての機能も有する。

このようなミラーディスプレイ１６０を採用することにより、店舗サーバ１２０の制御部２００の命令に応じて商品情報を表示するディスプレイ１６１として機能すると共に、対面するユーザをハーフミラー１６２に映り込ませることができる。つまり、アイウエアを試着したユーザに、ハーフミラー１６２に映り込んだ自らの鏡像を確認させつつ、ディスプレイ１６１に表示される商品情報を確認させることができる。

一実施形態では、試着用のアイウエア１８０に付されているシンボル１８１は二次元コードとするのがよく、その一例はＱＲコード（登録商標）である。二次元コードは、アイウエア１８０の表面に付され、撮像装置１４０が空間領域ＡＲ１内をキャプチャすることによって読み取られる。ここで、アイウエア１８０の表面には、レンズ部、ブリッジ、およびヨロイ部が含まれ、二次元コードは何れの部分に配置されてもよいが、二次元コードの配置面積を広く確保できるという意味では、レンズ部に配置するのが好適である。

なお、シンボル１８１に関し、二次元コードは、ＱＲコード（登録商標）に限定されず、バーコードとしてもよい。また、シンボル１８１は、可視化されたコードでもよいが、特にレンズ部に付される際には、ユーザの視界の邪魔になってならないようにする必要がある。この点、ユーザには不可視なようにシンボル１８１をステルス印字することにより、ユーザにストレスを感じさせないようにするのがよい。なお、シンボル１８１をレンズに直接ステルス印字してもよいし、或いは、透明のシール部材にステルス印字をしたものをレンズに貼付してもよい。

シンボル１８１によって示される識別情報は、商品サンプルを一意に識別する情報である。一例では、識別情報は、アイウエアのサンプル（フレーム）を識別するコードである。コードは、対象性別（例えば男性用）、フレーム種別（例えばフルリム）、年式モデル（例えば２０１６年春モデル）、色（例えば青）、製造ロット番号等の情報を含むのがよい。また、識別情報はＷｅｂページのＵＲＬ等の文字列としてもよい。

一実施形態では、撮像装置１４０は、赤外線を照射する赤外線カメラ（ナイトヴィジョンカメラ）を採用するのがよい。撮像装置１４０が設置されるハーフミラー裏側のスペースが暗い場合であっても、赤外線を用いることにより照射対象を明瞭に認識できるからである。また、赤外線の照射は可視光照射ではなく、ユーザにとって眩しく感じることはないところ、ユーザへの使用感に影響が出にくいからである。なお、赤外線に限らず、一般に人の眼への影響が少ないとされる、その他の可視光以外の光線を照射可能なカメラを採用してもよい。

図１２は、ミラーディスプレイ１６０に表示される例示のイメージ図である。ミラーディスプレイ１６０には、ディスプレイ１６１における画面表示に、ハーフミラー１６２におけるユーザの鏡像ＵＳＲが重畳表示されている。ディスプレイ１６１の表示は、ユーザが試着しているアイウエアに関する商品情報を含む。なお、以下に説明する各種情報やミラーディスプレイへの表示項目は例示に過ぎず、これらに限定されないことは言うまでもない。

ミラーディスプレイ１６０は、ハーフミラー１６２に対して複数のディスプレイ１６１を具備してもよい。また、各ディスプレイ１６１には１または複数の表示領域が設けられてもよい。図１２のミラーディスプレイ１６０の例では、１枚のハーフミラー１６２に対して２つのディスプレイ１６１ａ，１６１ｂを具備する。また、ディスプレイ１６１ａには複数の表示領域Ｄ１，Ｄ２（点線領域）が設けられる。更に、ディスプレイ１６１ａには、外部サーバ３００から受け取った情報が表示され、ディスプレイ１６１ｂには、店舗サーバ１２０で特定し、および／または記憶部２９０から取得した情報が表示されている。

ディスプレイ１６１ａの１つの表示領域Ｄ１には、ユーザが試着しているアイウエアに関連する投稿情報３９３のうち、他のユーザ「ＪＩＮ」によって投稿されたスナップ画像およびユーザレビューが表示されている。当該コンテンツは、アプリケーションを登録したユーザ「ＪＩＮ」が、自らのユーザ端末５００のスナップ部５３０で取得したスナップ画像５９１を、「プライベート用。なかなかイイ感じです」とのユーザレビューと共に、投稿部５２２を通じて投稿したものである。また、当該投稿情報３９３と共に、リアクション情報３９４である「＜８０いいね＞」が表示されている。これは、他のユーザ「ＪＩＮ」による当該コンテンツを、アプリケーションを通じて閲覧したユーザのうち８０人が、各々のユーザ端末５００のリアクション部５２３を通じて「いいね」を投稿したことを示している。これらの情報は、外部サーバ３００のコミュニティ管理部３２１を通じて記憶部３９０に投稿情報３９３およびリアクション情報３９４として格納されていたものである。これらの情報は、アイウエアに関連付けられる付加的な商品情報として、店舗サーバ１２０からの商品情報の検索要求（図８：Ｓ２４）に応じてリアルタイムに配信されたものである（図８：Ｓ３１）。

ディスプレイ１６１ａの表示領域Ｄ２には、「＜似合度６８％＞」がグラフとともに表示されている。「６８％」という数値は、アイウエアを試着した顔写真の画像解析を行うことにより似合度を数値化したものである。店舗サーバ１２０を通じて外部サーバ３００が顔写真を受け取ると、似合度判定部３２２が似合度の数値を計算する。計算された似合度の数値は、アイウエアに関連付けられる付加的な商品情報として、店舗サーバ１２０にリアルタイムに配信される（Ｓ３１）。なお、顔写真は、撮像装置１４０で撮影したものでも、それ以外によるもの（例えば、自らのユーザ端末５００の撮像部５８）で撮影したものでもよい。

他方、ディスプレイ１６１ｂには、ユーザが試着しているアイウエアの情報が表示されている。アイウエアの情報は、主に、店舗サーバ１２０の記憶部２９０に格納された商品情報である。一例では、商品基本情報２９２に含まれる、アイウエアの画像、年式モデル（「２０１８年秋冬モデル」）、および金額（「￥１２，０００」）が表示されてもよい。また、商品管理情報２９４に含まれる在庫情報（「在庫あり」）が表示されてもよい。更に、商品カタログ情報２９３に含まれる、品番（「ＸＹＺＷ」）、サイズ（「Ｍｅｄｉｕｍ」）、性別（「メンズ」）、素材（「メタル」）が表示されてもよい。

加えて、ディスプレイ１６１ｂには、ＱＲコード（登録商標）２９６が併せて表示されるのがよい。ＱＲコード（登録商標）２９６は、例えば、これらの商品カタログ情報２９３に対応したページのリンク文字列を示すのがよい。これにより、ユーザが自らのユーザ端末５００に読み取らせて、ユーザアプリケーション部５２０と効率的に連携させることができる。ＱＲコード（登録商標）２９６はまた、オンライン販売サイトへのリンク文字列を示してもよい。

加えて、ディスプレイ１６１ｂをタッチパネルで構成し、ユーザがそのままオンライン発注できるようフォーム等の情報を表示すると共に、ユーザによるタッチ入力を直接受け付けるように構成してもよい。

加えて、試着情報２９５に含まれる、店舗ＳＨにおいて頻度よく試着されているアイウエアの情報を、例えば画像２９７でリコメンドしてもよい。その際、記憶部２９０に格納した各種情報２９１〜２９５に基づいて、ユーザが現在試着しているアイウエアに関連性が高いアイウエアを特にリコメンドするように加重してもよい。試着されたアイウエアの情報は、試着情報２９５として履歴を格納するのがよい。これにより、上記リコメンド内容に情報が反映されることになる。

一実施形態による店舗において、シンボル１８１が商品サンプルに直接付されることにより、ＲＦＩＤタグのような別途の物理タグを用意する必要がなくなる。つまり、店舗の管理運営面での負担が軽減される。また、ミラーディスプレイを用いて多くの情報を仮想的にユーザに提供可能とすることにより、店舗内に陳列する商品サンプルの数を減らすこともできる。すなわち、店舗を物理的に小型化することができる。

以下に、一実施形態による店舗に関する幾らかの変更例を説明する。変更例は、主に、店舗ＳＨに設置される上述の撮像装置１４０を代替のものにすることを意図したものである。

＜変更例１＞
変更例１では、店舗ＳＨが備える撮像装置１４０および表示装置１６０に加えて、或いはこれらに替えて、ユーザが保有するユーザ端末５００が利用される。例えば、上述の店舗ＳＨの天井から吊すように設置された撮像装置１４０の代替として、ユーザが保有するユーザ端末５００の撮像部５８（インカメラ）が使用される。この場合、店舗内では、ユーザ端末５００は通信インタフェース５７を通じて店舗サーバ１２０と通信可能な状態にある。なお、通信は、例えば、ＷｉＦｉ(Wireless Fidelity)接続のような無線通信でも、ケーブル・インタフェースを通じた有線通信でもよい。或いは、インターネット等の外部ネットワーク７００を介して、ユーザ端末５００が店舗サーバ１２０と通信を行う形態としてもよい。

ユーザは、店舗ＳＨに展示された、シンボルが付されたアイウエアを試着して、自らのユーザ端末５００のインカメラを使用してスナップ画像（セルフィー）を取得する。この時点で、スナップ画像中のアイウエアに付されたシンボルがユーザ端末５００の機能によって特定される。スナップ画像およびシンボルは、店舗サーバ１２０に転送され、制御部２００によって情報が処理される。具体的には、シンボルを用いて情報取得部２３０で取得した商品情報が、画面生成部２４０が画面を生成する際に使用され、当該画面にはスナップ画像が表示される。

変更例１の構成とした場合、店舗に撮像装置１４０を設置するのが不要になるのに加えて、表示画面内にスナップ画像が直接表示された上で表示部１６１に出力されるので、表示装置１６０のミラー部の機能も不要となる。

なお、スナップ画像を表示する際は、ミラーと同等の表示態様となるようにスナップ画像の画像処理を行うのがよい。具体的には、スナップ画像を鏡面反転画像とするのがよい。また、鏡面反転したスナップ画像を透過処理して、レイヤによる重畳表示とするのがよい。ミラーと同等の表示態様とすることにより、店舗内で試着しているユーザに対して、ユーザエクスペリエンスを向上させることができる。

このように、変更例１では、ミラーディスプレイ１６０は、ハーフミラー１６２を備えたミラーサイネージを構成する必要がなく、ディスプレイ１６１を備えたデジタルサイネージとして構成することで足りる。この点、店舗設置のコスト削減が可能となる。また、店舗ＳＨ内に撮像装置１４０を設置する必要がなくなる点でもコスト削減が可能となり、この場合は更に、ミラーディスプレイ１６０を任意の位置に配置することができるようになるため、店舗内での配置がより柔軟なものとなる。

加えて、画面生成部２４０が生成した、スナップ画像が表示された画面は、表示装置１６０の表示部１６１に表示するのに加えて、或いはこれに替えて、ユーザ端末５００に送信されてもよい。ユーザ端末５００では、受信した画面を、ユーザアプリケーション部５２０の表示部５６を通じてユーザに提示することができる。つまり、ユーザが自らのユーザ端末５００で画面を確認できるようにすることにより、ユーザへの販売促進が可能となる。

＜変更例２＞
変更例２では、上述の撮像装置１４０に加えて、ユーザのモーションを解析可能なモーション認識用撮像装置を別途店舗ＳＨ内に設置し、ユーザによるミラーディスプレイ１６０に対するモーションを認識可能とする。これにより、モーション認識用撮像装置とユーザの間の相互作用を可能とする。例えば、ディスプレイ１６１ｂに表示された画像２９２，２９７に対し、ユーザによるスワイプや指さしのような空間操作を受け付けることにより、ユーザは、所望の画像を選択して、そのままオンライン発注まで実施できる。

この変更例２のように、モーション認識に基づくユーザの空間操作を受け付けるように構成した場合は、ディスプレイ１６１をタッチパネルで構成する場合とは異なり、ユーザがハーフミラー１６２に直接触れることがない。すなわち、ユーザの指紋等で鏡面が汚れてしまうことを防ぐことができ、店舗の清潔さを保つことができる。

上述の実施形態から少なくとも以下の技術思想が把握される。
［形態１］形態１によれば情報処理方法が提供される。かかる情報処理方法は、コンピュータによる、所定の空間領域のモニタ映像を撮像装置から取得するステップと、モニタ映像から、商品サンプルの表面に付された識別情報のシンボルを検出して、識別情報を特定するステップと、識別情報に関連付けられた商品情報を記憶装置から取得するステップと、商品情報を、ミラーディスプレイに出力するステップと、を含み、空間領域において、商品サンプルが、ミラーディスプレイの所定領域に映り込むように位置合わせされている。

［形態２］形態２によれば、形態１による情報処理方法において、商品サンプルがアイウエアであり、アイウエアのレンズ部に、ステルス印字されたシンボルが付されている。

［形態３］形態３によれば、形態１または２の形態による情報処理方法において、シンボルが二次元コードである。

［形態４］形態４によれば、形態１から３の何れか１つの形態による情報処理方法において、撮像装置が赤外線カメラである。

［形態５］形態５によれば情報処理装置が提供される。かかる情報処理装置は、所定の空間領域のモニタ映像を撮像装置から取得する映像取得部と、モニタ映像から、商品サンプルの表面に付された識別情報のシンボルを検出して、識別情報を特定する特定部と、識別情報に関連付けられた商品情報を記憶部から取得する情報取得部と、商品情報を、ミラーディスプレイの表示部に出力する出力部と、を備え、空間領域において、商品サンプルが、ミラーディスプレイのミラー部における所定領域に映り込むように位置合わせされている。

［形態６］形態６によれば、形態５による情報処理装置において、商品サンプルがアイウエアであり、アイウエアのレンズ部に、ステルス印字されたシンボルが付され、シンボルが二次元コードである。

［形態７］形態７によれば情報処理システムが提供される。かかる情報処理システムは、ハーフミラーおよびディスプレイを重ね合わせて一体的に備えた表示装置と、所定の空間領域のモニタ映像を撮像可能な撮像装置と、識別情報のシンボルが表面に付された商品サンプルと、店舗サーバであって、モニタ映像を撮像装置から取得する映像取得部と、モニタ映像から、シンボルを検出し、識別情報を特定する特定部と、識別情報に関連付けられた商品情報を記憶部から取得する情報取得部と、商品情報を、表示装置に出力する出力部と、を備える店舗サーバと、を備え、空間領域において、商品サンプルがハーフミラーの所定領域に映り込むように位置合わせされている。

［形態８］形態８によれば、形態６による情報処理システムにおいて、商品サンプルがアイウエアであり、アイウエアのレンズ部に、ステルス印字されたシンボルが付されている。

［形態９］形態９によれば、形態６または７による情報処理システムにおいて、シンボルが二次元コードである。

［形態１０］形態１０によれば、形態７から９の何れか１つの形態による情報処理システムにおいて、撮像装置が赤外線カメラである。

［形態１１］形態１１によれば、形態７から１０の何れか１つの形態による情報処理システムが備える上記表示装置、上記撮像装置、および上記商品サンプルを少なくとも収容した店舗が提供される。かかる店舗において、上記空間領域が当該店舗内の三次元領域である。

以上、本発明に係る情報処理方法、情報処理装置、情報処理システム、および店舗の実施形態について説明したが、本発明の技術的範囲は上述の記載の範囲には限定されない。上記の説明に、多様な変更または改良を加えることも可能であることが当業者には明らかである。そのような改良を加えた形態もまた本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

１・・・全体システム
１００・・・店舗システム
１２０・・・店舗サーバ
１４０・・・撮像装置
１６０・・・表示装置（ミラーディスプレイ）
１６１，１６１ａ，１６１ｂ・・・表示部（ディスプレイ）
１６２・・・ミラー部（ハーフミラー）
１６３・・・センサ部
１８０・・・商品サンプル（群）（アイウエア）
１８１・・・シンボル
２００・・・制御部
２１０・・・映像取得部
２２０・・・特定部
２３０・・・情報取得部
２４０・・・画面生成部
２５０・・・出力部
２９０，３９０，５９０・・・記憶部
３００・・・外部サーバ
３２０・・・アプリケーション部
５００・・・ユーザ端末
５２０・・・ユーザアプリケーション部

Claims (11)

1. 情報処理方法であって、コンピュータによる、
   所定の空間領域のモニタ映像を撮像装置から取得するステップと、
   前記モニタ映像から、商品サンプルの表面に付された識別情報のシンボルを検出して、前記識別情報を特定するステップと、
   前記識別情報に関連付けられた商品情報を記憶装置から取得するステップと、
   前記商品情報を、ミラーディスプレイに出力するステップと、を含み、
   前記空間領域において、前記商品サンプルが、前記ミラーディスプレイの所定領域に映り込むように位置合わせされている、情報処理方法。
2. 前記商品サンプルがアイウエアであり、前記アイウエアのレンズ部に、ステルス印字された前記シンボルが付されている、請求項１記載の情報処理方法。
3. 前記シンボルが二次元コードである、請求項１または２記載の情報処理方法。
4. 前記撮像装置が赤外線カメラである、請求項１から３の何れか一項記載の情報処理方法。
5. 情報処理装置であって、
   所定の空間領域のモニタ映像を撮像装置から取得する映像取得部と、
   前記モニタ映像から、商品サンプルの表面に付された識別情報のシンボルを検出して、前記識別情報を特定する特定部と、
   前記識別情報に関連付けられた商品情報を記憶部から取得する情報取得部と、
   前記商品情報を、ミラーディスプレイの表示部に出力する出力部と、
   を備え、前記空間領域において、前記商品サンプルが、前記ミラーディスプレイのミラー部における所定領域に映り込むように位置合わせされている、情報処理装置。
6. 前記商品サンプルがアイウエアであり、前記アイウエアのレンズ部に、ステルス印字された前記シンボルが付され、前記シンボルが二次元コードである、請求項５記載の情報処理装置。
7. 情報処理システムであって、
   ハーフミラーおよびディスプレイを重ね合わせて一体的に備えた表示装置と、
   所定の空間領域のモニタ映像を撮像可能な撮像装置と、
   識別情報のシンボルが表面に付された商品サンプルと、
   店舗サーバであって、
   前記モニタ映像を撮像装置から取得する映像取得部と、
   前記モニタ映像から、前記シンボルを検出し、前記識別情報を特定する特定部と、
   前記識別情報に関連付けられた前記商品情報を記憶部から取得する情報取得部と、
   前記商品情報を、前記表示装置に出力する出力部と、
   を備える店舗サーバと、
   を備え、前記空間領域において、前記商品サンプルが前記ハーフミラーの所定領域に映り込むように位置合わせされている、情報処理システム。
8. 前記商品サンプルがアイウエアであり、前記アイウエアのレンズ部に、ステルス印字された前記シンボルが付されている、請求項７記載の情報処理システム。
9. 前記シンボルが二次元コードである、請求項７または８記載の情報処理システム。
10. 前記撮像装置が赤外線カメラである、請求項７から９の何れか一項記載の情報処理システム。
11. 請求項７から１０の何れか一項記載の情報処理システムが備える前記表示装置、前記撮像装置、および前記商品サンプルを少なくとも収容した店舗において、前記所定の空間領域が当該店舗内の三次元領域である、店舗。