JP2019061518A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】ユーザに実際の商品の大きさを確認させてからその商品を注文できるようにする。【解決手段】サーバ装置の表示制御部は、商品メニューを含む現実空間が撮像された場合に、ユーザのウェアラブル端末において、その商品メニューに記された商品を示す商品画像を、その商品がユーザに提供されるときの大きさで現実空間に重畳表示させる。ユーザが商品を選択すると、サーバ装置の処理部は、商品画像に対応する商品を注文するための処理を行う。【選択図】図１

Description

本発明は、撮像画像に画像を重畳表示するための技術に関する。

いわゆるＡＲ（拡張現実）は、現実空間の撮像画像に対して情報の付加・削除・強調・減衰を行うことで、人間が見た現実の世界を拡張するものである。例えば特許文献１には、撮像画像において特定の被写体を検出し、その被写体に対する所定の位置に付加画像を配置させた合成画像を生成することが開示されている。

特開２０１０−１８７０５２号公報

ところで、飲食店等においては、ユーザは商品の名称や外観写真等が列挙された商品メニューを見て所望の商品を選ぶ、という手順が一般的である。このとき商品メニューに掲載されている商品の外観写真は必ずしも実際の商品の大きさで表現されているわけではないから、商品が実際にユーザの手元に運ばれてきたときに、ユーザが期待していた大きさでないという場合がある。

そこで、本発明は、ユーザに実際の商品の大きさを確認させてからその商品を注文できるような仕組みを提供することを目的とする。

上記課題を解決するため、本発明は、商品メニューを含む現実空間が撮像された場合に、当該商品メニューに記された商品を示す商品画像を、当該商品がユーザに提供されるときの大きさで現実空間に重畳表示させる表示制御部と、現実空間において重畳表示された前記商品画像によって示される商品を注文するための処理を行う処理部とを備えることを特徴とする情報処理装置を提供する。

前記表示制御部は、ユーザにより選択された複数の商品の前記商品画像を、それぞれの当該商品がユーザに提供されるときの大きさで同時に重畳表示させ、前記処理部は、同時に重畳表示された複数の前記商品画像によって示される複数の商品を注文するための処理を行うようにしてもよい。

前記表示制御部は、前記商品メニューを含む現実空間の撮像画像において、ユーザにより当該商品メニューに記されている商品を当該商品メニューの外に移動させる操作に応じて、当該商品の商品画像を、当該商品がユーザに提供されるときの大きさで当該商品メニューの外に重畳表示させるようにしてもよい。

前記表示制御部は、前記商品メニューを含む現実空間の撮像画像において、ユーザにより当該商品メニューに記されている商品の商品画像を、当該商品がユーザに提供されるときの大きさで当該商品メニュー上に重畳表示させるようにしてもよい。

前記表示制御部は、重畳表示された前記商品画像の大きさをユーザが変更する操作に応じて、当該商品画像の大きさを変更して重畳表示させ、
前記処理部は、当該商品画像によって示される商品を、ユーザの前記操作に応じて変更された大きさに応じた量で注文するための処理を行うようにしてもよい。

前記表示制御部は、重畳表示された前記商品画像のうちの一部の大きさをユーザが変更する操作に応じて、当該商品画像の一部の大きさを変更して重畳表示させ、
前記処理部は、当該商品画像によって示される商品の前記一部を、ユーザの前記操作に応じて変更された大きさに応じた量で注文するための処理を行うようにしてもよい。

前記表示制御部は、重畳表示された前記商品画像の大きさをユーザが変更する操作に応じて、当該商品画像の大きさを変更して重畳表示させるとともに、当該商品画像の商品の属性のうち当該大きさの変更に伴って変更される属性を示す属性画像を、現実空間に重畳表示させるようにしてもよい。

前記表示制御部は、現実空間の撮像画像において、前記商品メニューに記された内容のうちユーザの属性に応じた部分をマスキングし、マスキングした当該部分に当該ユーザに応じた情報を重畳表示させるようにしてもよい。

また、本発明は、コンピュータを、商品メニューを含む現実空間が撮像された場合に、当該商品メニューに記された商品を示す商品画像を、当該商品がユーザに提供されるときの大きさで現実空間に重畳表示させる表示制御部と、現実空間において重畳表示された前記商品画像によって示される商品を注文するための処理を行う処理部として機能させるためのプログラムを提供する。

本発明によれば、ユーザに実際の商品の大きさを確認させてからその商品を注文できるようになる。

本発明の一実施形態に係る情報処理システムの構成を例示する図である。 撮像表示装置のハードウェア構成の一例を示すブロック図である。 情報処理装置のハードウェア構成の一例を示すブロック図である。 情報処理装置に記憶されている商品画像ＤＢの一例を示す図である。 情報処理システムの機能構成の一例を示すブロック図である。 情報処理システムの動作の一例を示すシーケンスチャートである。 商品メニューの一例を示す図である。 撮像表示装置によって現実空間に商品画像が重畳表示されているときのユーザの視界を例示する図である。

［構成］
図１は、本実施形態の情報処理システム１の一例を示す図である。情報処理システム１は、いわゆるＡＲ（拡張現実）を実現するための処理を行う情報処理装置１０と、画像の撮像及び表示を行う撮像表示装置２０と、これら情報処理装置１０及び撮像表示装置２０を通信可能に接続するネットワーク９０とを備えている。ネットワーク９０は、例えばＬＡＮ（Local Area Network）又はＷＡＮ（Wide Area Network）、若しくはこれらの組み合わせであり、有線区間又は無線区間を含んでいる。なお、図１には、情報処理装置１０及び撮像表示装置２０を１つずつ示しているが、これらはそれぞれ複数であってもよい。

情報処理装置１０は、撮像表示装置２０によって撮像された現実空間の撮像画像を取得し、その現実空間に対して付加的な画像を重畳した状態で表示するよう、撮像表示装置２０を制御する。具体的には、情報処理装置１０は、ユーザが飲食店等で見ている商品（料理）メニューに記された商品を示す商品画像を、その商品が実際にユーザに提供されるときの大きさとなるよう現実空間に重畳した状態で撮像表示装置２０に表示させる。これにより、ユーザは自らの目の前に現実の商品がその商品本来の大きさで存在しているように感じることが可能となる。また、情報処理装置１０は、飲食店等において注文を記録し、店舗従業員に通知し、その注文に応じた会計処理を行う注文処理システム（図示略）に接続されている。情報処理装置１０は、ユーザにより選択された商品やユーザが着席しているテーブルの識別子を注文処理システムに通知するなどの、商品を注文するための処理を行う。

図２は、撮像表示装置２０のハードウェア構成を例示する図である。撮像表示装置２０は、例えばグラス型、ヘッドマウントディスプレイ型又はコンタクトレンズ型のウェアラブルコンピュータ、或いは、スマートフォン又はタブレットなどの携帯型コンピュータである。ＡＲを実現する装置には、現実空間の撮像画像を表示する表示面においてＡＲオブジェクトと呼ばれる付加的な画像を撮像画像に重畳して表示するタイプと、ユーザの眼の前に配置された光透過型の表示面において、ユーザから表示面を介して見える現実空間の所定の位置に重なる表示面上の位置にＡＲオブジェクトを表示するタイプとがあるが、撮像表示装置２０はいずれもタイプであってもよい。いずれにしろ、撮像表示装置２０は、ＡＲオブジェクトを現実空間に重畳表示する装置として機能する。

撮像表示装置２０は、ＣＰＵ２０１（Central Processing Unit）、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３、補助記憶装置２０４、通信ＩＦ２０５、撮像部２０６、表示部２０７及び操作部２０８を有する。

ＣＰＵ２０１は、各種の演算を行うプロセッサである。ＲＯＭ２０２は、例えば撮像表示装置２０の起動に用いられるプログラム及びデータを記憶した不揮発性メモリである。ＲＡＭ２０３は、ＣＰＵ２０１がプログラムを実行する際のワークエリアとして機能する揮発性メモリである。補助記憶装置２０４は、例えばＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）などの不揮発性の記憶装置であり、撮像表示装置２０において用いられるプログラム及びデータを記憶する。ＣＰＵ２０１がこのプログラムを実行することにより撮像表示装置２０はコンピュータ装置として機能し、後述する図５に示される機能が実現される。通信ＩＦ２０５は、所定の通信規格に従ってネットワーク９０を介した通信を行うためのインターフェースである。この通信規格は、無線通信の規格であってもよいし、有線通信の規格であってもよい。無線の場合、通信ＩＦ２０５は、例えばＬＴＥ（Long Term Evolution）又はＷｉ−Ｆｉ（登録商標）等の通信規格で動作するアンテナ及び通信回路を備えている。撮像部２０６はレンズ及び光学素子を含み、撮像した画像を示す撮像画像データを生成する。表示部２０７は、例えば液晶パネル及び液晶駆動回路などを含み、画像データに応じた画像を表示する。操作部２０８は、例えばキーやタッチセンサなどの操作子を含み、ユーザの操作を受け付けてその操作に応じた信号をＣＰＵ２０１に供給する。なお、撮像表示装置２０は、図２に例示した構成以外に、例えばＧＰＳ（Global Positioning System）ユニットや音声入出力部などの他の構成を含んでいてもよい。

図３は、情報処理装置１０のハードウェア構成を例示する図である。情報処理装置１０は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、補助記憶装置１０４、及び通信ＩＦ１０５を有するコンピュータ装置である。ＣＰＵ１０１は、各種の演算を行うプロセッサである。ＲＯＭ１０２は、例えば情報処理装置１０の起動に用いられるプログラム及びデータを記憶した不揮発性メモリである。ＲＡＭ１０３は、ＣＰＵ１０１がプログラムを実行する際のワークエリアとして機能する揮発性メモリある。補助記憶装置１０４は、例えばＨＤＤ又はＳＳＤなどの不揮発性の記憶装置であり、情報処理装置１０において用いられるプログラム及びデータを記憶する。ＣＰＵ１０１がこのプログラムを実行することにより、後述する図５に示される機能が実現される。通信ＩＦ１０５は、所定の通信規格に従ってネットワーク９０を介した通信を行うためのインターフェースである。情報処理装置１０は、図３に例示した構成以外に、例えば表示部や操作部などの他の構成を含んでいてもよい。

補助記憶装置１０４には、飲食店等においてユーザに提供される商品（料理）を識別するための商品ＩＤと、その商品を示す商品画像を撮像表示装置２０において立体的に表示するための３Ｄの画像データと、その商品がユーザに実際に提供されるときの大きさを示すサイズ情報とを含む画像データベース（以下、データベースをＤＢと省略する）を記憶している。図４は、商品画像ＤＢの一例を示す図である。例えば商品ＩＤ「A01」の商品の画像データは「D01.WRL」であり、サイズ情報S01に対応づけられている。画像データ及びサイズ情報は、ＡＲオブジェクトに相当する。なお、サイズ情報は、図４のように画像データとは別のデータファイルであってもよいし、画像データのデータファイルに内包されていてもよい。

図５は、情報処理システム１の機能構成の一例を示すブロック図である。図５に示すように、撮像表示装置２０においては、画像を撮像する撮像部２１と、情報処理装置１０による制御の下で画像データに応じた画像を表示する表示部２２と、ユーザの操作を検出する操作検出部２３という機能が実現される。情報処理装置１０においては、撮像表示装置２０から撮像画像を取得する取得部１１と、取得された撮像画像を認識する画像認識部１２と、商品メニューを含む現実空間が撮像された場合に画像認識部１２による画像認識結果に基づいて商品を特定する商品特定部１３と、商品メニューを含む現実空間が撮像された場合に、撮像表示装置２０においてその商品メニューに記された商品を示す商品画像をその商品がユーザに提供されるときの大きさで現実空間に重畳表示させる表示制御部１４と、現実空間において重畳表示された商品画像に対応する商品を注文するための処理を行う処理部１５とが実現される。

撮像表示装置２０において、撮像部２１はハードウェアとしての撮像部２０６及び通信ＩＦ２０５によって実現され、表示部２２はハードウェアとしての表示部２０７によって実現され、操作検出部２３はハードウェアとしての操作部２０８及びＣＰＵ１０１によって実現される。情報処理装置１０において、取得部１１はハードウェアとしての通信ＩＦ１０５によって実現され、画像認識部１２はハードウェアとしてのＣＰＵ１０１によって実現され、商品特定部１３はハードウェアとしてのＣＰＵ１０１によって実現され、表示制御部１４はハードウェアとしてのＣＰＵ１０１及び通信ＩＦ１０５によって実現され、処理部１５はハードウェアとしてのＣＰＵ１０１によって実現される。

［動作］
図６〜図８を参照して、情報処理システム１の動作例について説明する。まず、ユーザは、飲食店に入ってテーブルに着席する。ユーザは、商品メニューが提供されると、撮像表示装置２０の撮像部２１を起動し、商品メニューを含む現実空間の撮像を開始する（ステップＳ１１）。

ここで、図７は商品メニューの一例を示す図である。この商品メニューには、商品の外観写真４１と、その商品の名称や内容物の説明等の属性情報４２と、いわゆるＡＲマーカー４３とが記されている。ＡＲマーカー４３は、例えば各商品の商品ＩＤを含む情報が符号化された２次元マーカーである。また、飲食店には複数の商品メニューとユーザが着席する複数のテーブルが用意されているが、それぞれの商品メニューとテーブルとは１対１に対応付けられている。商品メニューには、その商品メニューを識別する（つまりその商品メニューに対応するテーブルを識別する）ためのマーカー４４が記されている。撮像部２１は、このような商品メニューを含む現実空間を撮像し、その撮像画像データを情報処理装置１０に送信する（図６のステップＳ１２）。

情報処理装置１０の取得部１１が撮像画像データを取得すると、情報処理装置１０の画像認識部１２は、撮像画像データについて画像認識を行う（ステップＳ１３）。ここで行う画像認識は、主に、ＡＲマーカー４３の位置、向き及び大きさを認識して、ＡＲマーカー４３及びマーカー４４において符号化された情報を復号する処理を含む。このとき、復号対象となるＡＲマーカー４３及びマーカー４４は、撮像画像データに含まれるもの全てである。

情報処理装置１０の商品特定部１３は、画像認識部１２により復号された商品ＩＤに基づいて、表示対象の候補となる商品を特定する（ステップＳ１４）。

ここで、ユーザが、商品メニューに記されている商品群のうち、表示対象となる所望の商品に対応する外観写真を指でタッチし、その指で外観写真を商品メニューの外に移動させるような操作（つまり商品メニューから所望の商品を取り出すような操作）を行ったとする。撮像表示装置２０の操作検出部２３は、この操作（表示操作）を検出すると（ステップＳ１５）、撮像部２１によってその操作の前後の様子が撮像された動画像データを情報処理装置１０に送信する（ステップＳ１６）。このようにユーザの操作が上記の表示操作に該当するか否かの判断は、例えば次のようにして行う。撮像表示装置２０の操作検出部２３は、撮像部２１による撮像画像におけるユーザの指先を画像認識により特定し、そのユーザの指先の移動軌跡を認識する。この移動軌跡が、操作検出部２３に予め保持されている移動軌跡のパターンと照合され、両者の差異が閾値以内であると判定された場合には、上記移動軌跡の始点に重なる位置に商品（或いは上記移動軌跡の始点に最も近いＡＲマーカー４３に対応する商品）が商品メニューから取り出されたと判断される。なお、この判断は、撮像表示装置２０ではなく、情報処理装置１０が行ってもよい。つまり、撮像部２１はユーザの操作の様子を撮像した動画像データを情報処理装置１０に送信し続け、情報処理装置１０が、この撮像画像におけるユーザの指先を画像認識により特定し、そのユーザの指先の移動軌跡を認識する。この移動軌跡が、情報処理装置１０に予め保持されている移動軌跡のパターンと照合され、両者の差異が閾値以内であると判定された場合には、上記移動軌跡の始点に重なる位置に商品（或いは上記移動軌跡の始点に最も近いＡＲマーカー４３に対応する商品）が商品メニューから取り出されたと判断される。

情報処理装置１０の画像認識部１２は、撮像画像データについて画像認識を行う（ステップＳ１７）。ここで行う画像認識は、ステップＳ１２と同様の処理に加えて、ＡＲマーカー４３の位置とユーザの指先の移動軌跡に基づいてユーザによってどの商品が表示操作されたかを特定する処理を含む。

情報処理装置１０の表示制御部１４は、画像認識部１２によって特定された商品の画像データ及びサイズ情報を補助記憶装置２０４から読み出す（ステップＳ１８）。表示制御部１４は、読み出した画像データ及びサイズ情報を撮像表示装置２０に送信し、サイズ情報が示すサイズで、画像データに応じた商品画像を表示するよう撮像表示装置２０に指示する（ステップＳ１９）。

撮像表示装置２０の表示部２２は、情報処理装置１０の表示制御部１４による制御に従い、サイズ情報が示すサイズで、画像データに応じた商品画像を表示する（ステップＳ２０）。このとき、現実空間に重ねあわされる商品画像のサイズはサイズ情報によって規定されるが、そのときに表示される商品画像のサイズは、例えば撮像画像におけるＡＲマーカー４３の大きさを基準に決められる。また、それ以外にも例えばユーザが着席しているテーブルの模様や形状を画像認識部１２が認識して、その模様の一単位の大きさやテーブルの大きさを基準にして、表示される商品画像のサイズが決められてもよい。また、商品画像が表示される位置についても、例えばユーザが着席しているテーブルの模様や形状を画像認識部１２が認識して、そのテーブル上の、商品メニューとは重ならない位置を表示位置とするということなどが考えられる。

これにより、図８に示すように、ユーザの視界Ｖにおいては、現実空間のテーブル５０の上に立体的な商品画像６０が本来の大きさで存在しているように見える。なお、図８は、ユーザの眼の前に配置された光透過型の表示面において、ユーザから表示面を介して見える現実空間の所定の位置に重なる表示面上の位置にＡＲオブジェクトを表示するタイプの撮像表示装置２０を用いたときの例である。

この後、ユーザにより注文対象となる所望の商品画像を指で仮想的にタッチする操作を行ったとする。撮像表示装置２０の操作検出部２３は、この操作（注文操作）を検出すると（ステップＳ２１）、撮像部２１は、その操作の前後の様子を撮像した動画像データを情報処理装置１０に送信する（ステップＳ２２）。

情報処理装置１０の画像認識部１２は、撮像画像データについて画像認識を行う。ここで行う画像認識は、表示されている商品画像の位置とユーザの指先の移動軌跡に基づいてユーザによりどの商品が注文操作されたかを特定する処理を含む。

処理部１５は、ユーザにより選択された商品の商品ＩＤを補助記憶装置２０４から読み出し、さらにユーザが着席しているテーブルの識別子（ステップＳ１３にて復号された識別子）を注文処理システムに通知するなどの、商品を注文するための処理を行う（ステップＳ２３）。この処理後に、処理部１５は、完了通知を撮像表示装置２０に送信する（ステップＳ２４）。これにより商品の注文手続が完了し、以降、商品の用意が出来次第、ユーザに提供される。

以上説明した実施形態によれば、ユーザは実際の商品の大きさを確認してからその商品を注文できるようになる。よって、商品が実際にユーザの手元に運ばれてきたときに、ユーザが期待していた大きさでないという可能性は小さくなる。また、商品を商品メニューから取り出すような操作によりその商品を表示するので、ユーザにとって分かりやすい行為で表示を指示することができる。

［変形例］
本発明は、上述した実施形態に限定されない。上述した実施形態を以下のように変形してもよい。また、以下の２つ以上の変形例を組み合わせて実施してもよい。
［変形例１］
実施形態では、商品として、飲食店で提供される商品（つまり料理や飲料）の例を挙げたが、商品はこれら料理や飲料以外であってもよいことはもちろんである。

［変形例２］
商品の表示や注文の単位は単数に限らず複数であってもよい。つまり、表示制御部１４は、ユーザにより選択された複数の商品の商品画像を、それぞれの商品がユーザに提供されるときの大きさで同時に重畳表示させる。処理部１５は、同時に重畳表示された複数の商品画像に対応する複数の商品を注文するための処理を行う。これにより、ユーザは複数の商品を全部表示してから注文することになるので、商品群全体のボリューム感を確認してから注文することができる。

［変形例３］
実施形態では、ユーザが、商品メニューに記されている商品群のうち、表示対象となる所望の商品に対応する外観写真を指でタッチし、その指で外観写真を商品メニューの外に移動させるような操作（つまり商品メニューから所望の商品を取り出すような操作）に応じて、表示制御部１４は、撮像表示装置２０において、メニュー外の位置に商品画像を重畳表示させていたが、メニュー上の商品の属性情報に対応する位置（属性情報の隣の位置）に商品画像を重畳表示させるようにしてもよい。つまり、表示制御部１４は、商品メニューを含む現実空間を撮像した画像において、ユーザにより当該商品メニューに記されている商品の商品画像を、当該商品がユーザに提供されるときの大きさで当該商品メニュー上に重畳表示させるようにしてもよい。このようにすれば、ユーザは商品画像と属性情報とを見比べながら商品を選ぶことができる。
なお、このように商品をユーザに提供されるときの大きさで商品メニュー上に重畳表示させる場合、撮像表示装置２０の表示部２２は、情報処理装置１０の表示制御部１４による制御に従い、サイズ情報が示すサイズで、画像データに応じた商品画像を表示する。このとき、上記実施形態と同様に、現実空間に重ねあわされる商品画像のサイズはサイズ情報によって規定されるが、そのときに表示される商品画像のサイズは、例えば撮像画像における商品メニュー上のＡＲマーカー４３の大きさを基準に決められる。また、それ以外にも例えば商品メニューの模様や文字或いは商品メニュー全体の形状を画像認識部１２が認識して、その模様や文字の一単位の大きさ或いは商品メニュー全体の大きさを基準にして、表示される商品画像のサイズが決められてもよい。

［変形例４］
ユーザ操作に応じて重畳表示された商品のサイズを変更するようにしてもよい。例えば表示制御部１４は、重畳表示された商品画像の大きさをユーザが変更する操作に応じて、当該商品画像の大きさを変更して重畳表示させる。処理部１５は、その商品画像の商品をユーザの操作に応じて変更された大きさに応じた量で注文するための処理を行う。例えばユーザが商品画像の端部を指でタッチして商品画像の中央に寄せるように指を移動させる。画像認識部１２はその指の移動軌跡を解析し、表示制御部１４はその指の動きに追随して商品画像を縮小して重畳表示させる。ユーザは自分が望むような大きさの商品となったときに、指の動きを止めて注文操作を行う。このときの縮小率が例えば８２％であり、ユーザに提供可能な商品の大きさの値が小サイズ６０％（通常の４割減のサイズ）、中サイズ８０％（通常の２割減のサイズ）、通常サイズ１００％（通常提供されるサイズ）、大サイズ１２０％（通常の２割増しのサイズ）であったときに、８２％に最も近い中サイズ８０％が選択され、その注文がなされる。同様に商品画像が拡大されると、その拡大率に最も近いサイズの商品が選択され、その注文がなされる。このようにすれば、ユーザは商品の大きさを確認しながらそのサイズ変更が可能となる。

商品のサイズ変更は、その商品の一部だけであってもよい。ここでいう一部とは、例えば商品が料理である場合には、その料理に含まれる食材（例えば、ステーキ料理であれば、肉、付け合せの野菜、スープなどの各食材）などである。この場合、表示制御部１４は、重畳表示された商品画像のうちの一部の大きさをユーザが変更する操作に応じて、当該商品画像の一部の大きさを変更して重畳表示させる。処理部１５は、当該商品画像の商品の一部を、ユーザの操作に応じて変更された大きさに応じた量で注文するための処理を行う。このようにすれば、ユーザは商品の一部の大きさを確認しながらその一部のみのサイズ変更が可能となる。

上記のような商品のサイズ変更に伴い、その商品の属性（例えば価格、カロリー、栄養成分量など）が変化する。そこで、表示制御部１４は、重畳表示された商品画像の大きさをユーザが変更する操作に応じて、当該商品画像の大きさを変更して重畳表示させるとともに、当該商品画像の商品の属性のうち当該大きさの変更に伴って変更される属性を示す属性画像を、現実空間に重畳表示させる。これを実現するため、商品画像ＤＢには、商品ＩＤに対応付けて、属性情報と、サイズ変更に伴い属性情報の変更ルールとが記憶されている。これにより、ユーザは商品のサイズ変更に伴う属性の変更内容を知ることができる。

［変形例５］
表示制御部１４は、商品メニューにおいて、ユーザに提示するのが適切でない情報（例えばその飲食店の優遇会員に対する通常価格や、ユーザの健康上又は宗教上の禁忌の食品）をマスキングし、そのマスキング部分に対してユーザ固有のカスタマイズメニュー（例えば優遇会員に対する割引価格やユーザが摂取可能な商品）を表示させるようにしてもよい。つまり、表示制御部１４は、現実空間の撮像画像において、商品メニューに記された内容のうちユーザの属性に応じた部分をマスキングし、マスキングした当該部分に当該ユーザに応じた情報を重畳表示させる。これを実現するため、補助記憶装置２０４にはユーザに関するプロファイル情報（例えば氏名、年齢、性別、生年月日、趣味、興味、好み、飲食店の優遇会員であるかいなか、禁忌の食品等）と、そのプロファイルに対する商品メニューの変更内容とを含むユーザＤＢが記憶されている。これにより、ユーザに応じた商品メニューのカスタマイズが可能となる。

なお、ユーザに応じた商品メニューのカスタマイズは次のようなものも考えられる。例えばユーザに関連するイベント（例えばユーザの誕生日）の前後の所定期間に現在日時が含まれる場合には、表示制御部１４は、ＡＲマーカー４３等により商品メニューを認識すると、その商品メニューの特定部分（例えばケーキを表示するページ）の閲覧を案内する表示を行う。そして、表示制御部１４は、ユーザがそのページを開いたことをＡＲマーカー４３等により認識すると、そのユーザに対するサービス（例えば商品メニュー上のケーキの飾りプレート部分にユーザの名前を入れられる）を案内する画像を重畳表示させる。また、ユーザの好みの商品（例えばハンバーグ）や食材（例えば鶏肉）に関するイベントを飲食店側が行っている場合には、表示制御部１４は、ＡＲマーカー４３等により商品メニューを認識すると、その商品メニューの特定部分（例えばハンバーグフェアや鶏肉フェアに対応するページ）の閲覧を案内する表示を行う。そして、表示制御部１４は、ユーザがそのページを開いたことをＡＲマーカー４３等により認識すると、そのユーザに対する特典（例えば商品を２つ注文したら１０％割引等）を案内する画像を重畳表示させる。

［そのほかの変形例］
上記実施の形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に（例えば、有線及び／又は無線）で接続し、これら複数の装置により実現されてもよい。例えば、撮像表示装置２０の機能の少なくとも一部が情報処理装置１０に実装されてもよいし、情報処理装置１０の機能の少なくとも一部が撮像表示装置２０に実装されてもよい。例えば情報処理装置１０の機能の全部が撮像表示装置２０に実装された場合、撮像表示装置２０が本発明に係る情報処理装置として機能する。

本明細書で説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ−Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ−Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ−ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ ８０２．１１（Ｗｉ−Ｆｉ）、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。

本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

本明細書で使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。

本明細書で説明した情報又はパラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。例えば、無線リソースはインデックスで指示されるものであってもよい。

上述したパラメータに使用する名称はいかなる点においても限定的なものではない。さらに、これらのパラメータを使用する数式等は、本明細書で明示的に開示したものと異なる場合もある。様々なチャネル（例えば、ＰＵＣＣＨ、ＰＤＣＣＨなど）及び情報要素（例えば、ＴＰＣなど）は、あらゆる好適な名称によって識別できるので、これらの様々なチャネル及び情報要素に割り当てている様々な名称は、いかなる点においても限定的なものではない。

本明細書で使用する「判定（determining）」、「決定（determining）」という用語は、多種多様な動作を包含する場合がある。「判定」、「決定」は、例えば、判定（judging）、計算（calculating）、算出（computing）、処理（processing）、導出（deriving）、調査（investigating）、探索（looking up）（例えば、テーブル、データベース又は別のデータ構造での探索）、確認（ascertaining） した事を「判定」「決定」したとみなす事などを含み得る。また、「判定」、「決定」は、受信（receiving） （例えば、情報を受信すること）、送信（transmitting）（例えば、情報を送信すること）、入力（input）、出力（output）、アクセス（accessing）（例えば、メモリ中のデータにアクセスすること）した事を「判定」「決定」したとみなす事などを含み得る。また、「判定」、「決定」は、解決（resolving）、選択（selecting）、選定（choosing）、確立（establishing）、比較（comparing）などした事を「判定」「決定」したとみなす事を含み得る。つまり、「判定」「決定」は、何らかの動作を「判定」「決定」したとみなす事を含み得る。

本発明は、情報処理システム１において行われる処理のステップを備える飛行制御方法として提供されてもよい。また、本発明は、撮像表示装置２０又は情報処理装置１０において実行されるプログラムとして提供されてもよい。かかるプログラムは、光ディスク等の記録媒体に記録した形態で提供されたり、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にするなどの形態で提供されたりすることが可能である。

ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。例えば、チャネル及び／又はシンボルは信号（シグナル）であってもよい。また、信号はメッセージであってもよい。また、コンポーネントキャリア（ＣＣ）は、キャリア周波数、セルなどと呼ばれてもよい。

本明細書で使用する「第１」、「第２」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１及び第２要素への参照は、２つの要素のみがそこで採用され得ること、又は何らかの形で第１要素が第２要素に先行しなければならないことを意味しない。

上記の各装置の構成における「手段」を、「部」、「回路」、「デバイス」等に置き換えてもよい。

「含む（ｉｎｃｌｕｄｉｎｇ）」、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」、及びそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

本開示の全体において、例えば、英語でのa、an、及びtheのように、翻訳により冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数のものを含むものとする。

以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。

１…情報処理システム、１０…情報処理装置、１１…取得部、１２…画像認識部、１３…商品特定部、１４…表示制御部、１５…処理部、２０…撮像表示装置、２１…撮像部、２２…表示部、２３…操作検出部、９０…ネットワーク、１０１…ＣＰＵ、１０２…ＲＡＭ、１０３…ＲＯＭ、１０４…補助記憶装置、１０５…通信ＩＦ、２０１…ＣＰＵ、２０２…ＲＡＭ、２０３…ＲＯＭ、２０４…補助記憶装置、２０５…通信ＩＦ、２０６…撮像部、２０７…表示部、２０８…操作部。

Claims (9)

1. 商品メニューを含む現実空間が撮像された場合に、当該商品メニューに記された商品を示す商品画像を、当該商品がユーザに提供されるときの大きさで現実空間に重畳表示させる表示制御部と、
   現実空間において重畳表示された前記商品画像によって示される商品を注文するための処理を行う処理部と
   を備えることを特徴とする情報処理装置。
2. 前記表示制御部は、ユーザにより選択された複数の商品の前記商品画像を、それぞれの当該商品がユーザに提供されるときの大きさで同時に重畳表示させ、
   前記処理部は、同時に重畳表示された複数の前記商品画像によって示される複数の商品を注文するための処理を行う
   ことを特徴とする請求項１記載の情報処理装置。
3. 前記表示制御部は、前記商品メニューを含む現実空間の撮像画像において、ユーザにより当該商品メニューに記されている商品を当該商品メニューの外に移動させる操作に応じて、当該商品の商品画像を、当該商品がユーザに提供されるときの大きさで当該商品メニューの外に重畳表示させる
   ことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記表示制御部は、前記商品メニューを含む現実空間の撮像画像において、ユーザにより当該商品メニューに記されている商品の商品画像を、当該商品がユーザに提供されるときの大きさで当該商品メニュー上に重畳表示させる
   ことを特徴とする請求項１又は２に記載の情報処理装置。
5. 前記表示制御部は、重畳表示された前記商品画像の大きさをユーザが変更する操作に応じて、当該商品画像の大きさを変更して重畳表示させ、
   前記処理部は、当該商品画像によって示される商品を、ユーザの前記操作に応じて変更された大きさに応じた量で注文するための処理を行う
   ことを特徴とする請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記表示制御部は、重畳表示された前記商品画像のうちの一部の大きさをユーザが変更する操作に応じて、当該商品画像の一部の大きさを変更して重畳表示させ、
   前記処理部は、当該商品画像によって示される商品の前記一部を、ユーザの前記操作に応じて変更された大きさに応じた量で注文するための処理を行う
   ことを特徴とする請求項５に記載の情報処理装置。
7. 前記表示制御部は、重畳表示された前記商品画像の大きさをユーザが変更する操作に応じて、当該商品画像の大きさを変更して重畳表示させるとともに、当該商品画像の商品の属性のうち当該大きさの変更に伴って変更される属性を示す属性画像を、現実空間に重畳表示させる
   ことを特徴とする請求項５又は６に記載の情報処理装置。
8. 前記表示制御部は、現実空間の撮像画像において、前記商品メニューに記された内容のうちユーザの属性に応じた部分をマスキングし、マスキングした当該部分に当該ユーザに応じた情報を重畳表示させる
   ことを特徴とする請求項１〜７のいずれか１項に記載の情報処理装置。
9. コンピュータを、
   商品メニューを含む現実空間が撮像された場合に、当該商品メニューに記された商品を示す商品画像を、当該商品がユーザに提供されるときの大きさで現実空間に重畳表示させる表示制御部と、
   現実空間において重畳表示された前記商品画像によって示される商品を注文するための処理を行う処理部と
   して機能させるためのプログラム。

Images