JP2019212039A - 情報処理装置、情報処理方法、プログラム及び情報処理システム - Google Patents

Abstract

【課題】画像中に存在する対象物に関する情報をユーザに応じた見易い状態で表示することが可能な情報処理装置等を提供する。【解決手段】情報処理装置は、画像を取得し、取得した画像中に存在する対象物を検知する。また情報処理装置は、検知した対象物のそれぞれについて、対象物までの距離及びユーザの属性に応じて、対象物に関する表示情報を特定する。そして情報処理装置は、対象物のそれぞれについて特定した表示情報を出力する。【選択図】図１

Description

本発明は情報処理装置、情報処理方法、プログラム及び情報処理システムに関する。

現実空間を撮像して得られた撮像画像に、各種の情報を重畳させて表示するＡＲ（Augmented Reality ）技術が利用されている。例えば特許文献１では、撮像画像中の実物体に関連付けられている仮想オブジェクトを、実物体と撮像装置との間の相対的な位置又は姿勢に応じた表示態様で撮像画像に重畳させる装置が提案されている。また特許文献１には、撮像画像中の実物体のうち、ユーザによって指定された実物体に関連付けられている仮想オブジェクトを他の仮想オブジェクトよりも強調して表示する構成が開示されている。

特許第６０５６１７８号公報

上述したような装置では、撮像画像中のそれぞれの実物体に仮想オブジェクトを重畳させた場合、多数の仮想オブジェクトが表示される場合があり、このような場合、仮想オブジェクトが見辛い状態となる虞がある。また、多数の仮想オブジェクトが表示された場合、ユーザが全ての仮想オブジェクトを確認し、自身が注目する実物体（仮想オブジェクト）を選択することは困難である。

本発明は、このような事情に鑑みてなされたものであり、その目的とするところは、仮想オブジェクト（対象物の表示情報）を見易い状態で表示することが可能な情報処理装置等を提供することにある。

本発明の一態様に係る情報処理装置は、画像を取得する画像取得部と、取得した前記画像中に存在する対象物を検知する検知部と、検知した前記対象物までの距離及びユーザの属性に応じて前記対象物の表示情報を特定する情報特定部と、特定した前記表示情報を出力する出力部とを備える。

本発明の一態様にあっては、画像中に存在する対象物までの距離及びユーザの属性に応じた表示情報を用いるので、対象物の表示情報をユーザに応じた見易い状態で表示することができる。

実施形態１に係る情報処理装置の構成例を示すブロック図である。 商品情報ＤＢ及び属性情報ＤＢの構成例を示す模式図である。 詳細レベルテーブルの構成例を示す模式図である。 情報処理装置の制御部によって実現される機能を示すブロック図である。 情報処理装置の表示画面例を示す模式図である。 情報処理装置が行う処理の手順を示すフローチャートである。 実施形態２の情報処理装置の制御部によって実現される機能を示すブロック図である。 情報処理装置の表示画面例を示す模式図である。 情報処理装置が行う処理の手順の一部を示すフローチャートである。 実施形態３の情報処理装置の制御部によって実現される機能を示すブロック図である。 情報処理装置が行う処理の手順の一部を示すフローチャートである。 実施形態４の情報処理装置の制御部によって実現される機能を示すブロック図である。 情報処理装置の表示画面例を示す模式図である。 実施形態５の情報処理装置が行う処理の説明図である。 実施形態６の情報処理装置の制御部によって実現される機能を示すブロック図である。 実施形態７に係る情報処理装置及びサーバ装置の構成例を示すブロック図である。 情報処理装置及びサーバ装置が行う処理の手順を示すフローチャートである。 情報処理装置及びサーバ装置が行う処理の手順を示すフローチャートである。

以下に、本開示の情報処理装置、情報処理方法、プログラム及び情報処理システムについて、実施形態を示す図面に基づいて詳述する。以下の実施形態では、例えばショッピングモール、イベント会場等の商業施設で撮影して得られた撮像画像に対して、撮像画像中の商品（被写体）を特定し、特定した商品に関する情報（表示情報）を撮像画像に重畳して表示するシステムについて説明する。

（実施形態１）
図１は実施形態１に係る情報処理装置の構成例を示すブロック図である。本実施形態の情報処理装置１０は、例えばスマートフォン、タブレット端末、パーソナルコンピュータ等である。また情報処理装置１０は、例えばユーザの顔又は頭に装着される眼鏡型、ゴーグル型、ヘッドギア型、コンタクトレンズ型等のウェアラブルデバイスであってもよい。情報処理装置１０は、制御部１１、記憶部１２、カメラ１３、表示部１４、入力部１５、通信部１６等を含み、これらの各部はバスを介して相互に接続されている。

制御部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）又はＧＰＵ（Graphics Processing Unit）等の１又は複数のプロセッサを含む。制御部１１は、記憶部１２に記憶してある制御プログラムを適宜実行することにより、情報処理装置１０が行うべき種々の情報処理、制御処理等を行う。

記憶部１２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive）等を含む。記憶部１２は、制御部１１が実行する制御プログラム及び制御プログラムの実行に必要な各種のデータ等を予め記憶している。また記憶部１２は、制御部１１が制御プログラムを実行する際に発生するデータ等を一時的に記憶する。記憶部１２に記憶される制御プログラムには、本開示のプログラムである情報重畳アプリケーションプログラム（以下では情報重畳アプリという）１２ａが含まれる。また記憶部１２に記憶されるデータには、商品情報データベース（以下では商品情報ＤＢという）１２ｂ、属性情報データベース（以下では属性情報ＤＢという）１２ｃ、詳細レベルテーブル１２ｄが含まれる。情報重畳アプリ１２ａ、商品情報ＤＢ１２ｂ、属性情報ＤＢ１２ｃ及び詳細レベルテーブル１２ｄは、例えば通信部１６を介して外部装置から取得されて記憶部１２に記憶される。また、情報処理装置１０が可搬型記憶媒体に記憶された情報を読み取る読取部等を備える場合、情報重畳アプリ１２ａ、商品情報ＤＢ１２ｂ、属性情報ＤＢ１２ｃ及び詳細レベルテーブル１２ｄは可搬型記憶媒体から読み出されて記憶部１２に記憶されてもよい。また、商品情報ＤＢ１２ｂ、属性情報ＤＢ１２ｃ及び詳細レベルテーブル１２ｄは、情報処理装置１０に接続された外部の記憶装置等に記憶されてもよく、ネットワークを介して情報処理装置１０が通信可能な別の記憶装置に記憶されてもよい。

カメラ（撮像部）１３は、レンズ及び撮像素子等を有し、レンズを介して入射した光を撮像素子にて光電変換して画像データを取得する。カメラ１３は、制御部１１からの指示に従って撮影を行い、取得した画像データ（撮影画像）を逐次制御部１１へ送出する。なお、情報処理装置１０は、カメラ１３が内蔵された構成のほかに、外部カメラの接続が可能な接続部を備える構成でもよい。この場合、接続部は、外部カメラにて取得された画像データの入力を受け付け、入力された画像データを逐次制御部１１へ送出する。

表示部１４は、例えば液晶ディスプレイ、有機ＥＬディスプレイ等であり、制御部１１からの指示に従って各種の情報を表示する。入力部１５は、表示部１４の表面に配置されたタッチセンサ又は押下式のボタンであり、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部１１へ送出する。なお、タッチセンサである入力部１５は表示部１４と一体としてタッチパネルを構成する。入力部１５は、ユーザの手の動きを検知する機能、ユーザの視線を検知する機能を用いて、ユーザのハンドジェスチャによる入力又は視線入力を受け付ける構成を有してもよい。また入力部１５は、マイクを用いて音声入力を受け付ける構成を有してもよい。通信部１６は、ネットワークに接続するためのインタフェースであり、ネットワークを介して外部装置との間で情報の送受信を行う。

本実施形態の情報処理装置１０は、上述した構成のほかに、カメラ１３による撮像処理の際にカメラ１３（情報処理装置１０）から撮像範囲内の被写体までの距離を計測する距離センサを備えていてもよい。本実施形態の情報処理装置１０は、カメラ１３及び表示部１４を備え、カメラ１３で撮像して得られた撮像画像を表示部１４に表示することができる情報機器であれば、どのような機器でもよい。また、本実施形態の情報処理装置１０は、通信部１６を有しない構成でもよい。情報処理装置１０をウェアラブルデバイスで構成した場合、入力部１５は、ユーザのハンドジェスチャによる入力、ユーザによる音声入力、視線入力等を受け付けるように構成されていることが好ましい。

図２は商品情報ＤＢ１２ｂ及び属性情報ＤＢ１２ｃの構成例を示す模式図であり、図３は詳細レベルテーブル１２ｄの構成例を示す模式図である。商品情報ＤＢ１２ｂには、所定の商業施設で販売されている商品に関する商品情報が登録されている。商品情報には商品ＩＤ、商品のジャンル、表示情報が含まれる。商品ＩＤは各商品に固有に付与された識別情報である。ジャンルは例えば商品の種類、ブランドの種類等である。表示情報は、各商品が撮像された場合に、撮像画像に重畳して表示すべき情報であり、メッセージ及びアイコン情報を含む。メッセージは例えば商品の説明情報、宣伝情報等を含むテキストデータであり、アイコン情報は所定サイズのアイコンを表示するための情報である。ジャンル及び表示情報は、各商品の商品情報を登録する際に、各商品の販売者によって設定された情報である。なお、商品情報はインターネットを介してＷｅｂサイトから取得してもよい。また、商品情報に各商品を販売する店舗の情報を含めてもよい。

属性情報ＤＢ１２ｃには、ユーザの属性と、商品情報ＤＢ１２ｂに登録されている各商品との関連度が登録されている。具体的には、属性情報ＤＢ１２ｃには、ユーザの性別及び年齢を含むユーザ属性に対して、各商品の商品ＩＤと、ユーザ属性及び商品ＩＤの各組に対して設定された関連度とが対応付けて記憶されている。図２Ｂに示す例では、各ユーザ属性と各商品との関連度として高い順に大、中、小が登録されているが、これらの限らず、また関連度の段階は３段階に限らない。例えば各関連度を数字等で表してもよい。関連度は、例えば各商品の販売者によって設定される情報であり、各商品について説明及び宣伝したい対象者の属性ほど高い値が設定される。また関連度は、過去の商品販売の統計データと購入者の属性との関係から機械学習や深層学習等を用いて自動的に求めてもよい。また新しく売り出す新商品の関連度については、機械学習や深層学習等を用いて既存商品との類似度を計算し、類似する既存商品における関連度から予測してもよい。更に、天気や季節等の付加的なデータを用いて関連度を設定してもよく、この場合、関連度の精度が上がる。

詳細レベルテーブル１２ｄには、属性情報ＤＢ１２ｃに登録された関連度と、撮影時における被写体の商品までの距離とに対応付けられた詳細レベルが登録されている。具体的には、詳細レベルテーブル１２ｄには、関連度と、商品までの距離と、関連度及び商品までの距離の各組に対して設定された詳細レベルとが対応付けて記憶されている。詳細レベルは、各商品が撮像された場合に、各商品の表示情報を撮像画像に重畳する際の表示領域の大きさ及び表示内容の詳細度合を示す情報である。図３に示す例では、詳細レベルとして表示領域が大きく表示内容が詳細である順に１〜５の数字が登録されているが、これらに限らず、また詳細レベルの段階は５段階に限らない。詳細レベルは、例えば情報重畳アプリ１２ａを提供する提供者によって設定される情報である。また図３に示す例では、商品までの距離として、第１距離、第２距離、第３距離のいずれかが登録されている。例えば第１距離は第１閾値未満の距離であり、第２距離は第１閾値以上第２閾値未満の距離であり、第３距離は第２閾値以上の距離である。第１閾値として例えば２ｍを設定し、第２閾値として例えば４ｍを設定することができる。この場合、第１距離は２ｍ未満の距離であり、第２距離が２ｍ以上４ｍ未満の距離であり、第３距離は４ｍ以上の距離である。第１閾値及び第２閾値は、カメラ１３によって撮像可能である範囲内の被写体までの適宜距離を設定すればよく、第１閾値は第２閾値よりも短い距離が設定される。なお、商品までの距離はこれらに限らず、また距離の段階は３段階に限らない。

次に、情報処理装置１０において制御部１１が情報重畳アプリ１２ａを実行することによって実現される機能について説明する。図４は情報処理装置１０の制御部１１によって実現される機能を示すブロック図であり、図５は情報処理装置１０の表示画面例を示す模式図である。情報処理装置１０の制御部１１は、記憶部１２に記憶してある情報重畳アプリ１２ａを実行した場合、画像取得部１０１、商品検出部１０２、関連度特定部１０３、距離検出部１０４、詳細レベル特定部１０５、第１読出部１０６、変換部１０７、第１重畳部１０８、選択受付部１０９、第２読出部１１０、第２重畳部１１１の各機能を実現する。なお、本実施形態では、これらの各機能を制御部１１が情報重畳アプリ１２ａを実行することにより実現するが、これらの一部を専用のハードウェア回路で実現してもよい。

画像取得部１０１は、カメラ１３に撮像処理を行わせ、撮像画像を取得する。図５Ａは撮像画像の表示例を示す。図５Ａに示す撮像画像中には４つの商品Ａ〜Ｄ（被写体）が写っている。

商品検出部１０２は、画像取得部１０１が取得した撮像画像中に、商品情報ＤＢ１２ｂに登録されている商品が含まれるか否かを検出する。例えば商品検出部１０２は、商品情報ＤＢ１２ｂに登録されている商品について予め学習済みの商品識別器を用い、撮像画像中に存在する被写体（対象物）が、商品識別器で識別可能な商品のいずれであるかを特定する。なお、商品識別器は、商品情報ＤＢ１２ｂに登録されている商品の外観形状及び色等の画像特徴量を学習済みである。また商品検出部１０２は、テンプレートマッチング技術によって撮像画像中に含まれる商品を特定してもよい。この場合、商品情報ＤＢ１２ｂに登録されている各商品の画像特徴量を示すテンプレートを予め記憶部１２に記憶しておき、商品検出部１０２は、撮像画像からテンプレートに一致する領域を検知した場合、検知した領域を、商品の領域に特定する。例えば図５Ａに示す撮像画像の場合、商品検出部１０２は、撮像画像中に商品Ａ〜Ｃが含まれていることを特定する。なお、図５Ａに示す撮像画像中の被写体Ｄは、商品情報ＤＢ１２ｂに登録されていない商品であるとし、商品検出部１０２は、このような被写体Ｄについては背景と同様に扱う。商品検出部１０２は、それぞれ検出した商品（被写体）に対して商品ＩＤを特定する。

関連度特定部１０３は、商品検出部１０２が検出（特定）したそれぞれの商品について、情報処理装置１０のユーザの属性との関連度を属性情報ＤＢ１２ｃに基づいて特定する。具体的には、関連度特定部１０３は、各商品について、商品ＩＤと、ここでのユーザの性別及び年齢とに対応付けられた関連度を属性情報ＤＢ１２ｃから読み出す。なお、ユーザの属性は、予め登録されており、情報重畳アプリ１２ａ内に保持されているか、又は記憶部１２に記憶されている。またユーザの属性は、制御部１１が情報重畳アプリ１２ａを実行した際に、入力部１５を介して受け付けるように構成されていてもよい。

距離検出部１０４は、商品検出部１０２が検出したそれぞれの商品について、撮像時におけるカメラ１３（情報処理装置１０）から商品までの距離を検出する。距離検出部１０４は、例えば情報処理装置１０が距離センサを備える場合、撮像時に距離センサによって各商品までの距離を検出する。また距離検出部１０４は、撮像画像中の各商品（被写体）の撮像領域の大きさに基づいて各商品までの距離を検出してもよい。

詳細レベル特定部１０５は、商品検出部１０２が検出したそれぞれの商品について、関連度特定部１０３が特定した関連度と、距離検出部１０４が検出した距離とに対応付けられた詳細レベルを詳細レベルテーブル１２ｄに基づいて特定する。具体的には、詳細レベル特定部１０５は、各商品について、距離検出部１０４が検出した距離が、第１閾値未満である第１距離、第１閾値以上第２閾値未満である第２距離、第２閾値以上である第３距離のいずれであるかを判断する。そして、詳細レベル特定部１０５は、関連度と、距離（第１距離、第２距離又は第３距離）とに対応付けられた詳細レベルを詳細レベルテーブル１２ｄから読み出す。

第１読出部（情報取得部）１０６は、商品検出部１０２が検出したそれぞれの商品について、商品に対応する表示情報を商品情報ＤＢ１２ｂから読み出す。
変換部１０７は、商品検出部１０２が検出したそれぞれの商品について、第１読出部１０６が読み出した表示情報を、詳細レベル特定部１０５が特定した詳細レベルに応じた詳細度合で、詳細レベルに応じた大きさの表示領域に収まるように変換する。例えば詳細レベル１〜３は、各商品の表示情報に含まれるメッセージを表示する吹き出し型の表示領域に対応付けられており、表示領域が大きい順に詳細レベル１，２，３が対応付けられている。詳細レベル４，５は、アイコンの表示領域に対応付けられており、例えば詳細レベル４は各商品の表示情報に含まれるアイコン情報に基づくアイコンの表示が可能な表示領域に対応付けられており、詳細レベル５は所定のアイコンの表示が可能な表示領域に対応付けられている。よって、変換部１０７は、例えば詳細レベルが１〜３の商品について、第１読出部１０６が読み出した表示情報に含まれるメッセージを、詳細レベル１〜３に対応する詳細度合で（例えば詳細レベル１〜３に対応する文字数で）、詳細レベル１〜３に対応する大きさの表示領域に収まるように変換する。

具体的には、変換部１０７は、例えば詳細レベル１の商品については、商品情報ＤＢ１２ｂから読み出したメッセージの全てを、詳細レベル１に対応する大きさの表示領域に表示するための重畳情報を生成する。例えば変換部１０７は、表示する際のフォントを調整してメッセージの全てを表示領域に表示できる重畳情報を生成する。また変換部１０７は、詳細レベル２又は３の商品について、フォントを調整すると共に、商品情報ＤＢ１２ｂから読み出したメッセージを要約し、詳細レベル２又は３に対応する大きさの表示領域に表示するための重畳情報を生成する。例えば変換部１０７は、商品情報ＤＢ１２ｂから読み出したメッセージの重要な単語や文を上手く抜き出して組み合わせて要約する抽出型の要約アルゴリズムを用いて、商品情報ＤＢ１２ｂから読み出したメッセージから適切な箇所を抽出して要約メッセージを生成する。また変換部１０７は、メッセージを一度何らかの中間表現に変換し、この中間表現から自然言語生成技術を用いて要約する生成型の要約モデルを用いて、商品情報ＤＢ１２ｂから読み出したメッセージから適切な要約メッセージを生成してもよい。変換部１０７は、要約メッセージを生成した場合、生成した要約メッセージを、詳細レベル２又は３に対応する大きさの表示領域に表示するための重畳情報を生成する。なお、変換部１０７は、詳細レベルに応じて要約アルゴリズム又は要約モデルを切り替えてもよく、詳細レベルに応じて表示すべき文字数を変更してもよい。

また変換部１０７は、詳細レベル４の商品について、商品情報ＤＢ１２ｂから読み出したアイコン情報に基づいて、詳細レベル４に対応する大きさの表示領域にアイコンを表示するための重畳情報を生成する。例えば変換部１０７は、アイコン情報に基づくアイコンを拡大又は縮小して表示領域に表示できる重畳情報を生成する。更に変換部１０７は、詳細レベル５の商品について、詳細レベル５に対応する大きさの表示領域に所定のアイコンを表示するための重畳情報を生成する。なお、所定のアイコンを表示するためのアイコン情報は情報重畳アプリ１２ａ又は記憶部１２に記憶されている。以上の処理より、関連度特定部１０３、距離検出部１０４、詳細レベル特定部１０５、第１読出部１０６及び変換部１０７は、商品検出部１０２が検知した商品までの距離及びユーザの属性に応じて商品に関する重畳情報（表示情報）を特定（生成）する情報特定部として機能する。

第１重畳部１０８は、変換部１０７によって生成された重畳情報を、画像取得部１０１が取得した撮像画像に重畳（付加）する。なお、第１重畳部１０８は、撮像画像において、商品検出部１０２が検出した各商品の撮像位置に応じた位置に、各商品の重畳情報を付加する。第１重畳部１０８は、重畳情報を付加した撮像画像を表示部１４に送出し、表示部１４に表示する。図５Ｂは、各商品の重畳情報が付加された撮像画像の画面例を示し、図５Ｂに示す画面では、商品Ａ〜Ｃに対してそれぞれ重畳情報が付加されている。図５Ｂに示す撮像画像では、例えば商品Ａには大きい表示領域に表示されたメッセージ（重畳情報）が付加されており、商品Ｃには小さい表示領域に表示された要約メッセージが付加されている。また商品Ｂにはアイコンが付加されている。なお、図５Ｂに示す撮像画像中の被写体Ｄは商品検出部１０２によって検出可能でない商品であるので、被写体Ｄには重畳情報が付加されない。

なお、情報処理装置１０を例えば眼鏡型又はコンタクトレンズ型のウェアラブルデバイスで構成し、ユーザが周囲の空間を、カメラ１３による撮像画像にて表示部１４を介して見るのではなく、現実空間を直接見るように構成することができる。この場合、第１重畳部（出力部）１０８は、各商品の重畳情報のみを表示部１４に送出し、表示部１４の表示画面において、撮像画像における各商品の撮像位置に応じた位置に表示させる。この場合、ユーザが見ている現実空間において、各商品に対応する位置に各商品の重畳情報が表示され、各商品に関する情報をユーザに提供できる。
また、例えば各商品のメッセージとして、それぞれの詳細レベルに応じたデータ量のメッセージを商品情報ＤＢ１２ｂに登録しておいた場合、変換部１０７を備える必要はない。この場合、第１読出部１０６は、商品検出部１０２が検出したそれぞれの商品について、詳細レベル特定部１０５がそれぞれ特定した詳細レベルに応じたメッセージを商品情報ＤＢ１２ｂから読み出し、第１重畳部１０８は、読み出されたメッセージを撮像画像に付加すればよい。

本実施形態の情報処理装置１０では、表示部１４に表示される画面は、撮像画像中の各商品に付加された重畳情報に対して入力部１５を介して選択できるように構成されている。情報処理装置１０のユーザは、表示された各商品の重畳情報（メッセージ又はアイコン）を確認し、気になる商品又は重畳情報があれば商品又は重畳情報に対して入力部１５を介して選択操作を行う。選択受付部１０９は、図５Ｂに示すような画面においていずれかの商品又は重畳情報に対して選択操作が行われた場合、商品に対する選択を入力部１５にて受け付ける。

第２読出部１１０は、選択受付部１０９が選択を受け付けた商品に対応する表示情報を商品情報ＤＢ１２ｂから読み出す。第２読出部１１０は、表示情報のうちのメッセージのみを読み出してもよい。
第２重畳部１１１は、第２読出部１１０が読み出したメッセージの全てを、例えば詳細レベル１に対応する大きさの表示領域に表示するための重畳情報を生成し、生成した重畳情報を、画像取得部１０１が取得した撮像画像に重畳（付加）する。なお、第２重畳部１１１は、撮像画像において、選択された商品の撮像位置に応じた位置に重畳情報を付加する。第２重畳部１１１は、重畳情報を付加した撮像画像を表示部１４に送出し、表示部１４に表示する。図５Ｃは、図５Ｂの画面において商品Ｂが選択され、商品Ｂのメッセージの全てを表示する重畳情報が付加された撮像画像の画面例を示す。図５Ｃに示す画面では、選択された商品Ｂ以外の商品の重畳情報（メッセージ又はアイコン）の表示を終了し、商品Ｂの重畳情報のみが表示されているが、この構成に限らない。例えば、商品Ｂ以外の商品の重畳情報の上に、商品Ｂの重畳情報を重ねて表示してもよい。また、第２重畳部１１１は、詳細レベル１に対応する大きさよりも大きい表示領域に商品のメッセージを表示する重畳情報を生成してもよい。

ここでも、情報処理装置１０をユーザが現実空間を見るように構成した場合、第２重畳部１１１は、ユーザによって選択された商品の重畳情報のみを表示部１４に送出し、表示画面において、選択された商品の撮像位置に応じた位置に重畳情報を表示させる。この場合にも、ユーザが見ている現実空間において、ユーザが選択した商品に対応する位置に商品に関する情報が表示される。

次に、情報処理装置１０が行う情報重畳処理についてフローチャートを用いて説明する。図６は情報処理装置１０が行う処理の手順を示すフローチャートである。以下の処理は、情報処理装置１０の記憶部１２に記憶してある情報重畳アプリ１２ａを含む制御プログラムに従って制御部１１によって実行される。
情報処理装置１０のユーザは、入力部１５を介して情報重畳アプリ１２ａの起動を指示する。情報処理装置１０の制御部１１は、情報重畳アプリ１２ａの起動指示を受け付けた場合、記憶部１２に記憶してある情報重畳アプリ１２ａを起動する。情報重畳アプリ１２ａを起動した場合、制御部１１は、カメラ１３を起動し、カメラ１３にて撮像画像を取得する（Ｓ１）。制御部１１は、例えば図５Ａに示すような撮像画像を取得する。なお、カメラ１３は所定のタイミングで撮像処理を行い、取得された撮像画像は表示部１４に送出されて表示される。

次に制御部１１は、取得した撮像画像に対して、商品情報ＤＢ１２ｂに登録されている商品の有無を検出する（Ｓ２）。制御部１１は、撮像画像に、商品情報ＤＢ１２ｂに登録されている商品が含まれているか否かを判断し（Ｓ３）、含まれていないと判断した場合（Ｓ３：ＮＯ）、ステップＳ１３に処理を移行し、取得した撮像画像をそのまま表示部１４に送出する。

撮像画像に、商品情報ＤＢ１２ｂに登録されている商品が含まれていると判断した場合（Ｓ３：ＹＥＳ）、制御部１１は、撮像画像に含まれるそれぞれの商品について、情報処理装置１０のユーザの属性との関連度を属性情報ＤＢ１２ｃから特定する（Ｓ４）。また制御部１１は、それぞれの商品について、撮像時のカメラ１３（情報処理装置１０）からの距離を検出する（Ｓ５）。なお、制御部１１は、ステップＳ１で撮像画像を取得し、ステップＳ２で撮像画像中の商品を検出した際に、それぞれの商品までの距離を検出しておいてもよい。そして制御部１１は、それぞれの商品について、ステップＳ４で特定した関連度と、ステップＳ５で検出した距離とに応じた詳細レベルを詳細レベルテーブル１２ｄから特定する（Ｓ６）。

次に制御部１１は、それぞれの商品について、商品に対応する表示情報を商品情報ＤＢ１２ｂから読み出し（Ｓ７）、読み出した表示情報に対して、ステップＳ６で特定した詳細レベルに応じた変換処理を行って重畳情報を生成する（Ｓ８）。そして制御部１１は、生成した重畳情報を、ステップＳ１で取得した撮像画像に重畳する（Ｓ９）。これにより、図５Ｂに示すように、撮像画像中の各商品に、商品に関するメッセージ又はアイコン（重畳情報）が付加された画像が表示部１４に表示される。

図５Ｂに示すような画面を表示している情報処理装置１０において、制御部１１は、いずれかの商品の重畳情報に対する選択を入力部１５にて受け付けたか否かを判断する（Ｓ１０）。選択を受け付けていないと判断した場合（Ｓ１０：ＮＯ）、制御部１１は、ステップＳ１３に処理を移行する。選択を受け付けたと判断した場合（Ｓ１０：ＹＥＳ）、制御部１１は、選択された商品に対応する表示情報を商品情報ＤＢ１２ｂから読み出し（Ｓ１１）、読み出した表示情報（メッセージ）を大きい表示領域に表示するための重畳情報を生成して、ステップＳ１で取得した撮像画像に重畳する（Ｓ１２）。これにより、図５Ｃに示すように、選択された商品に関するメッセージが、大きい表示領域に表示された画像が表示部１４に表示される。

制御部１１は処理を終了するか否かを判断する（Ｓ１３）。処理を終了する場合とは、例えば制御部１１が入力部１５を介してユーザから終了の指示を受け付けた場合である。終了しないと判断した場合（Ｓ１３：ＮＯ）、制御部１１はステップＳ１の処理に戻り、カメラ１３にて撮像画像を取得し（Ｓ１）、取得した撮像画像に対してステップＳ２〜Ｓ１２の処理を行う。終了すると判断した場合（Ｓ１３：ＹＥＳ）、制御部１１は処理を終了する。

本実施形態では、ユーザが情報処理装置１０を用いて撮像した画像に対して、撮像画像に含まれる商品に関する情報（メッセージ又はアイコン）を重畳させて表示することができる。このとき、商品に関する情報を、商品とユーザの属性との関連度、及び、撮像時におけるユーザ（情報処理装置１０）と商品との距離に応じた大きさ及び詳細度合で表示することができる。よって、例えばユーザの属性との関連度が高い商品、撮像時にユーザとの距離が近い商品については、ユーザの注目度が高い可能性があるので、商品に関する情報を大きい表示領域で詳細に表示することができる。また、ユーザの属性との関連度が低い商品、撮像時にユーザとの距離が遠い商品については、ユーザの注目度が低い可能性があるので、商品に関する情報を小さい表示領域で表示することができる。このようにユーザの注目度を考慮して商品に関する情報の表示態様（表示サイズ及び詳細度合）を異ならせることにより、多数の情報が表示された場合であっても見辛い状態とならない。また、ユーザ毎に各商品の情報の表示態様を異ならせることができるので、各ユーザの注目度が高い可能性のある商品の情報を目立つように表示することができる。よって、ユーザは撮像画像中の各商品から、自身が気になる商品を容易に見つけ出すことができる。

本実施形態では、予め用意してある商品に関するメッセージが表示すべき領域に収まらない場合に、メッセージを要約して表示する。よって、ユーザに知らせたい情報を少ない文字数で効率良く表示することができ、ユーザは少ない文字数のメッセージで各商品に関する情報を効率良く得られる。

本実施形態において、各商品とユーザとの関連度は、ユーザの性別及び年齢層を含む属性のほかに、例えばユーザの購入履歴、趣味、習慣等を考慮して特定してもよい。例えば、ユーザによる入力又は所定のＳＮＳ（Social Network Service）等のウェブサイトからの取得によって、ユーザの購入履歴、趣味、習慣等に関する情報を取得する。そして、例えばユーザが購入したことのある商品、又はこの商品と同じ種類（ジャンル）の商品が撮像画像に含まれる場合、この商品に対する関連度として高い関連度を特定してもよい。また、撮像画像に含まれる各商品について属性情報ＤＢ１２ｃに基づいてユーザの属性との関連度を特定した後に、ユーザの購入履歴に含まれる商品については、特定した関連度から例えば１段階上の関連度をこの商品の関連度としてもよい。この場合、ユーザの購入履歴、趣味、習慣等の個人情報を考慮して、各商品に関する情報の表示態様を異ならせることができる。

本実施形態において、撮像画像中の各商品に付加する重畳情報は、詳細レベルに応じて表示領域の大きさを変更するほかに、表示色、フォント等を変更してもよい。例えば詳細レベルが高い商品（本実施形態では詳細レベル１に近い商品）の情報（重畳情報）を目立つ色又は目立つフォントで表示してもよい。これにより、ユーザの注目度が高い可能性のある商品に関する情報を目立たせて、ユーザにアピールできる。

本実施形態において、情報処理装置１０を例えば眼鏡型又はコンタクトレンズ型のウェアラブルデバイスを用い、ユーザが現実空間をカメラ１３による撮像画像を介して見るのではなく、直接見るように構成してもよい。この場合、制御部１１は、表示部１４の表示画面（例えば眼鏡のレンズ又はコンタクトレンズ）において、ユーザが見ている現実空間内の各商品の位置に対応する位置に各商品の重畳情報が表示されるように、各商品の重畳情報を表示部１４に送出して表示させる。このように構成した場合であっても、現実空間内の各商品に対して、各商品に関する情報をユーザに提供できる。

（実施形態２）
本実施形態では、同じ商品が近くに陳列されている状態を撮像した場合に、各商品に付加すべき重畳情報を集約して表示する情報処理装置について説明する。本実施形態の情報処理装置は、実施形態１の情報処理装置１０と同じ構成を有するので、実施形態１と共通する部分については説明を省略する。

図７は実施形態２の情報処理装置１０の制御部１１によって実現される機能を示すブロック図であり、図８は情報処理装置１０の表示画面例を示す模式図である。本実施形態の情報処理装置１０の制御部１１は、情報重畳アプリ１２ａを実行した場合、図４に示した各機能に加え、商品分類部１１２の機能を実現する。なお、図７では、商品検出部１０２、関連度特定部１０３、第１読出部１０６及び商品分類部１１２以外の各部の図示を省略する。本実施形態においても、これらの各機能の一部を専用のハードウェア回路で実現してもよい。

商品分類部１１２は、商品検出部１０２が検出した商品をジャンル（種類）毎に分類し、近くに陳列された同じジャンルの商品毎に各商品を代表する代表商品を特定する。具体的には、商品分類部１１２は、ジャンル特定部１１３、距離判断部１１４及び代表商品特定部１１５を有する。ジャンル特定部１１３は、商品検出部１０２が検出したそれぞれの商品について、商品情報ＤＢ１２ｂに基づいてジャンルを特定する。具体的には、ジャンル特定部１１３は、商品検出部１０２が検出したそれぞれの商品の商品ＩＤに対応付けられているジャンルを商品情報ＤＢ１２ｂから読み出す。例えば図８Ａに示す撮像画像の場合、商品検出部１０２は、撮像画像に対して商品Ａ，Ｂ１〜Ｂ４，Ｃ１〜Ｃ３を検出する。なお、商品Ｂ１〜Ｂ４及び商品Ｃ１〜Ｃ３は同じジャンルの商品であり、例えば色違いの商品、形が若干違う商品等である。ジャンル特定部１１３は、商品検出部１０２が検出した商品Ｂ１〜Ｂ４のジャンルとして同じジャンルを特定し、商品Ｃ１〜Ｃ３のジャンルとして同じジャンルを特定する。

距離判断部（判断部）１１４は、ジャンル特定部１１３が特定したジャンル毎に各商品間（対象物間）の距離が所定距離未満であるか否かを判断する。具体的には、距離判断部１１４は、撮像画像中の各商品間の距離（間隔）が所定距離未満であるか否かを判断する。ここでの所定未満は、例えば商品の陳列状況において、同じ商品として並べて陳列されているのか、離れた位置に陳列されているのかを判断できる程度の距離であればよい。図８Ａに示す撮像画像の場合、距離判断部１１４は例えば、商品Ｂ１〜Ｂ４間の距離及び商品Ｃ１〜Ｃ２間の距離は所定距離未満であると判断し、商品Ｃ１〜Ｃ２と商品Ｃ３との距離は所定距離以上であると判断する。

代表商品特定部１１５は、距離判断部１１４によって商品間の距離が所定距離未満であると判断された複数の商品から、これらの商品を代表する１つの商品（代表商品）を特定する。代表商品特定部１１５は、例えばカメラ１３からの距離が最も近い商品、最も大きく写っている商品、正面から撮像されている商品等を代表商品に特定する。図８Ａに示す撮像画像の場合、代表商品特定部１１５は例えば、商品Ｂ１〜Ｂ４の代表商品として商品Ｂ１を特定し、商品Ｃ１〜Ｃ２の代表商品として商品Ｃ１を特定する。なお、同じジャンルの他の商品との距離が所定距離以上離れている商品については、代表商品特定部１１５は、この商品を代表商品に特定する。

そして、本実施形態の関連度特定部１０３、距離検出部１０４、詳細レベル特定部１０５、第１読出部１０６、変換部１０７及び第１重畳部１０８は、商品分類部１１２の代表商品特定部１１５が特定したそれぞれの商品（代表商品）について各処理を行う。これにより、図８Ｂに示すように、撮像画像に対して、商品Ａ，商品Ｂ１〜Ｂ４の代表商品である商品Ｂ１、商品Ｃ１〜Ｃ２の代表商品である商品Ｃ１、商品Ｃ３のそれぞれに対して重畳情報を付加することができる。なお、商品分類部１１２は、近くに陳列された複数の同一の商品に対して、各商品に表示すべき重畳情報を集約して１つの重畳情報を表示する構成でもよい。

次に、本実施形態の情報処理装置１０が行う情報重畳処理について説明する。図９は情報処理装置１０が行う処理の手順の一部を示すフローチャートである。図９に示す処理は、図６に示した実施形態１の処理において、ステップＳ３，Ｓ４の間にステップＳ２１〜Ｓ２４の処理を追加したものである。図９では図６中のステップＳ１〜Ｓ２，Ｓ５〜Ｓ１３の図示を省略する。
本実施形態の情報処理装置１０の制御部１１は、ステップＳ３で撮像画像に、商品情報ＤＢ１２ｂに登録されている商品が含まれていると判断した場合（Ｓ３：ＹＥＳ）、撮像画像に含まれるそれぞれの商品について、各商品のジャンルを特定する（Ｓ２１）。例えば制御部１１は、商品情報ＤＢ１２ｂから各商品のジャンルを読み出す。次に制御部１１は、ステップＳ２１で特定したジャンル毎に、各商品間の距離を計測し（Ｓ２２）、計測した距離が所定距離未満であるか否かを判断する（Ｓ２３）。

商品間の距離が所定距離未満である商品があると判断した場合（Ｓ２３：ＹＥＳ）、制御部１１は、この商品の中から１つの代表商品を特定する（Ｓ２４）。そして、制御部１１は、ステップＳ２４で特定した代表商品に対して、ステップＳ４以降の処理を行う。なお、各商品間の距離が所定距離未満でないと判断した場合（Ｓ２３：ＮＯ）、制御部１１はステップＳ２４の処理をスキップし、撮像画像に含まれるそれぞれの商品について、ステップＳ４以降の処理を行う。

本実施形態では、上述した実施形態１と同様の効果が得られる。また本実施形態では、所定範囲内にある（商品間の距離が所定距離未満である）同じジャンルの商品については、商品の情報（メッセージ又はアイコン）をまとめて１つ表示することができる。よって、それぞれの商品に付加すべき重畳情報を集約して表示することにより、より見易い状態で各重畳情報を表示できる。よって、ユーザは撮像画像において自身が気になる商品を探す際に、より容易に見つけ出すことができる。

（実施形態３）
本実施形態では、撮像画像中の各商品に同じ重畳情報（メッセージ又はアイコン）を付加する場合に、重畳情報を集約して表示する情報処理装置について説明する。本実施形態の情報処理装置は、実施形態１の情報処理装置１０と同じ構成を有するので、実施形態１と共通する部分については説明を省略する。

図１０は実施形態３の情報処理装置１０の制御部１１によって実現される機能を示すブロック図である。本実施形態の情報処理装置１０の制御部１１は、情報重畳アプリ１２ａを実行した場合、図４に示した各機能に加え、情報集約部１１６の機能を実現する。なお、図１０では、変換部１０７、第１重畳部１０８及び情報集約部１１６以外の各部の図示を省略する。本実施形態においても、これらの各機能の一部を専用のハードウェア回路で実現してもよい。

情報集約部１１６は、撮像画像において近くに写っている各商品について変換部１０７が生成した重畳情報が重複する場合に、１つに集約する処理を行う。具体的には、情報集約部１１６は、同一判定部１１７、距離判断部１１８及び代表商品特定部１１９を有する。同一判定部１１７は、商品検出部１０２が検出したそれぞれの商品について変換部１０７が生成した重畳情報が同一であるか否かを判定する。同一判定部１１７は、各商品の重畳情報において、表示内容のメッセージ、アイコン等が同一であるか否かを判断する。

距離判断部（判断部）１１８は、同一判定部１１７によって重畳情報が同一であると判定された商品について、商品間の距離が所定距離未満であるか否かを判断する。ここでも、距離判断部１１８は、撮像画像中の各商品間の距離（間隔）が所定距離未満であるか否かを判断する。代表商品特定部１１９は、距離判断部１１８によって商品間の距離が所定距離未満であると判断された複数の商品から、これらの商品を代表する１つの商品（代表商品）を特定する。そして、本実施形態の第１重畳部１０８は、撮像画像において、情報集約部１１６の代表商品特定部１１９が特定したそれぞれの商品（代表商品）の撮影位置に応じた位置にのみ、変換部１０７が生成した重畳情報を付加する。よって、本実施形態においても、上述の実施形態２と同様に、図８Ｂに示すような撮像画像を表示できる。

本実施形態の変換部１０７は、例えば図８Ａ中の商品Ｂ１〜Ｂ４が同じ商品である場合、商品Ｂ１〜Ｂ４に対して同じ重畳情報を生成する。そして情報集約部１１６が、商品Ｂ１〜Ｂ４に対する同じ重畳情報を１つに集約し、第１重畳部１０８が、例えば商品Ｂ１〜Ｂ４の代表商品である商品Ｂ１に対してのみ重畳情報を付加する。これにより、図８Ｂに示すように、商品Ｂ１〜Ｂ４の重畳情報が集約されて代表商品Ｂ１にのみ付加され、商品Ｃ１〜Ｃ２の重畳情報が集約されて代表商品Ｃ１にのみ付加される。よって、本実施形態では、異なる商品又は異なるジャンルの商品であっても、重畳情報が同一であり、商品間の距離が所定距離未満であれば、集約して代表商品にのみ重畳情報を表示（付加）できる。なお、集約された重畳情報は、１つの代表商品に対応する位置に表示されるほかに、同じ重畳情報を付加すべき複数の商品を包括できる位置に表示されてもよい。

次に、本実施形態の情報処理装置１０が行う情報重畳処理について説明する。図１１は情報処理装置１０が行う処理の手順の一部を示すフローチャートである。図１１に示す処理は、図６に示した実施形態１の処理において、ステップＳ８，Ｓ９の間にステップＳ３１〜Ｓ３４の処理を追加したものである。図１１では図６中のステップＳ１〜Ｓ７，Ｓ１０〜Ｓ１３の図示を省略する。

本実施形態の情報処理装置１０の制御部１１は、ステップＳ８の処理後、ステップＳ８で生成した撮像画像中の各商品の重畳情報において、同一の重畳情報があるか否かを判断する（Ｓ３１）。同一の重畳情報があると判断した場合（Ｓ３１：ＹＥＳ）、制御部１１は、重畳情報が同一である商品について、各商品間の距離を計測し（Ｓ３２）、計測した距離が所定距離未満であるか否かを判断する（Ｓ３３）。商品間の距離が所定距離未満である商品があると判断した場合（Ｓ３３：ＹＥＳ）、制御部１１は、この商品の中から１つの代表商品を特定する（Ｓ３４）。そして、制御部１１は、特定した代表商品に対してステップＳ８で生成した重畳情報を、撮像画像中の代表商品に対応した位置に重畳する（Ｓ９）。これにより、図８Ｂに示すような画面が表示部１４に表示され、制御部１１はステップＳ１０以降の処理を行う。一方、同一の重畳情報がないと判断した場合（Ｓ３１：ＮＯ）、又は各商品間の距離が所定距離未満でないと判断した場合（Ｓ３３：ＮＯ）、制御部１１はステップＳ９に処理を移行し、各商品に対してステップＳ８で生成した重畳情報を、撮像画像中の各商品に対応した位置に重畳する（Ｓ９）。そして制御部１１はステップＳ１０以降の処理を行う。

本実施形態では、上述した実施形態１と同様の効果が得られる。また本実施形態では、所定範囲内にある（商品間の距離が所定距離未満である）商品に付加すべき情報（メッセージ又はアイコン）が同一である場合、まとめて１つの情報を表示することができる。即ち、本実施形態では、異なる商品又は異なるジャンルの商品であっても、各商品が所定範囲内にあって重畳情報が同一であれば、代表商品にのみ重畳情報が付加され、不要な重畳情報の表示を回避できる。よって、同一の重畳情報が複数表示されることが抑制されるので、より見易い状態で各重畳情報を表示できる。これにより、ユーザは撮像画像において自身が気になる商品をより容易に見つけ出すことができる。

（実施形態４）
本実施形態では、撮像画像中の各商品に付加すべき重畳情報を生成する際に、ユーザが使用する言語に翻訳する情報処理装置について説明する。本実施形態の情報処理装置は、実施形態１の情報処理装置１０と同じ構成を有するので、実施形態１と共通する部分については説明を省略する。

図１２は実施形態４の情報処理装置１０の制御部１１によって実現される機能を示すブロック図であり、図１３は情報処理装置１０の表示画面例を示す模式図である。本実施形態の情報処理装置１０の制御部１１は、情報重畳アプリ１２ａを実行した場合、図４に示した各機能に加え、言語取得部１２０の機能を実現する。なお、図１２では、詳細レベル特定部１０５、第１読出部１０６、変換部１０７、第１重畳部１０８、第２読出部１１０、第２重畳部１１１及び言語取得部１２０以外の各部の図示を省略する。本実施形態においても、これらの各機能の一部を専用のハードウェア回路で実現してもよい。

言語取得部（言語特定部）１２０は、情報処理装置１０のユーザが使用する言語の種類（例えば、日本語、英語、中国語等）を取得（特定）する。言語取得部１２０は例えば、ユーザによる入力、情報処理装置１０にインストールされているＯＳ又は情報処理装置１０で実行可能なアプリケーションからの取得によって、ユーザの使用言語を取得する。なお、ＯＳ又はアプリケーションプログラムには使用言語が設定されており、言語取得部１２０は、ＯＳ又はアプリケーションプログラムから使用言語を取得する。本実施形態の変換部１０７は、商品検出部１０２が検出したそれぞれの商品について、第１読出部１０６が読み出した表示情報を、詳細レベル特定部１０５が特定した詳細レベルに応じた大きさの表示領域に収まるように変換する。そして変換部（言語変換部）１０７は、変換後の表示情報を、言語取得部１２０が取得した言語に翻訳して重畳情報を生成する。その後、第１重畳部１０８が、生成した重畳情報を、画像取得部１０１が取得した撮像画像に付加して表示部１４に送出し、重畳情報が付加された撮像画像を表示部１４に表示する。これにより、例えばユーザの使用言語が英語の場合、図１３に示すように、撮影画像中の各商品に英語の重畳情報が付加された画像が表示部１４に表示される。なお、本実施形態の変換部１０７は、第１読出部１０６が読み出した表示情報をまず、言語取得部１２０が取得した言語に翻訳し、翻訳後の表示情報を、特定した詳細レベルに応じた大きさの表示領域に収まるように変換する構成でもよい。

また、本実施形態の第２重畳部１１１は、第２読出部１１０が読み出したメッセージを、言語取得部１２０が取得した言語に翻訳する。そして第２重畳部１１１は、翻訳後のメッセージを、例えば詳細レベル１に対応する大きさの表示領域に表示するための重畳情報を生成する。その後、第２重畳部１１１は、生成した重畳情報を、画像取得部１０１が取得した撮像画像に付加して表示部１４に送出し、重畳情報が付加された撮像画像を表示部１４に表示する。これにより、撮影画像中のユーザによって選択された商品に、商品に関するメッセージがユーザの使用言語で表示（付加）された画像が表示部１４に表示される。

本実施形態の情報処理装置１０の制御部１１は、図６に示す処理と同様の処理を行う。なお、本実施形態の制御部１１は、ステップＳ８において、ステップＳ２で検出したそれぞれの商品について、ステップＳ７で商品情報ＤＢ１２ｂから読み出した表示情報に対して、ステップＳ６で特定した詳細レベルに応じた変換処理、及びユーザの使用言語への翻訳を行って重畳情報を生成する。なお、ユーザの使用言語は予め設定又は取得しておいてもよいし、重畳情報を生成する際に取得してもよい。これにより、図１３に示すように、撮像画像中の各商品に、商品に関する英語のメッセージ又はアイコン（重畳情報）が付加された画像が表示部１４に表示される。また、本実施形態の制御部１１は、ステップＳ１２において、ステップＳ１１で商品情報ＤＢ１２ｂから読み出した表示情報（メッセージ）に対して、ユーザの使用言語への翻訳、及び大きい表示領域に表示するための変換処理を行って重畳情報を生成する。これにより、例えば図５Ｃに示す画面において商品Ｂに関するメッセージがユーザの使用言語で表示された画像が表示部１４に表示される。

本実施形態では、上述した実施形態１と同様の効果が得られる。また本実施形態では、撮像画像中の商品に付加すべき各商品の情報（重畳情報）をユーザの使用言語に翻訳して表示するので、ユーザがより見易い状態で各重畳情報を表示できる。本実施形態の構成は実施形態２，３にも適用可能であり、実施形態２，３に適用した場合であっても実施形態２，３と同様の効果が得られる。

（実施形態５）
本実施形態では、撮像画像中に商品情報ＤＢ１２ｂに登録されている商品が含まれているか否かを検出する際に、表示部１４の表示領域に対して商品の検出処理を行う領域（検出範囲）を制限する情報処理装置について説明する。本実施形態の情報処理装置は、実施形態１の情報処理装置１０と同じ構成を有する。また本実施形態の情報処理装置１０の制御部１１は、情報重畳アプリ１２ａを実行した場合、図４に示す各機能を実現し、実施形態１における各機能と同様の処理を行う。実施形態１と共通する部分については説明を省略する。

図１４は実施形態５の情報処理装置１０が行う処理の説明図である。本実施形態の情報処理装置１０では、表示部１４の表示領域において、商品検出部１０２が商品情報ＤＢ１２ｂに登録されている商品の有無を検出する処理対象の領域（検出領域）が限定される。図１４では検出領域１４ａを破線で示しており、本実施形態では、検出領域１４ａ内に写っている被写体のみを処理対象とする。よって、撮像画像の端部に写っている被写体を処理対象から除外できるので、ユーザがより注目している可能性の高い被写体（商品）のみを処理対象とすることができる。撮像画像の端部のように検出領域１４ａ以外の箇所に写っている商品はユーザが注目していない可能性が高く、このような商品を処理対象としないことにより、不要な重畳情報を撮像画像に重畳させない。よって、ユーザが注目している可能性が高い商品の情報をより目立たせて表示することができると共に、不要な処理を行わないことによって情報処理装置１０による処理負担を軽減できる。

よって、本実施形態の商品検出部１０２は、画像取得部１０１が取得した撮像画像において、設定された検出領域中に、商品情報ＤＢ１２ｂに登録されている商品が含まれるか否かを検出する。なお、本実施形態の制御部１１は、情報重畳アプリ１２ａを起動させた場合に、又は情報重畳アプリ１２ａをインストールした場合に、検出領域の範囲を設定する。また検出領域の範囲は、例えば入力部（受付部）１５にて受け付けたユーザ入力によって設定されてもよいし、予め設定された範囲が設定されてもよい。
本実施形態の構成は実施形態２〜４にも適用可能であり、実施形態２〜４に適用した場合であっても実施形態２〜４と同様の効果が得られる。

（実施形態６）
本実施形態では、重畳情報が付加された撮像画像を介して、撮像画像中のいずれかの商品（又は商品に付加された重畳情報）が選択された場合に、選択された商品と選択を行ったユーザの属性とを対応付けて記憶する情報処理装置について説明する。本実施形態の情報処理装置は、実施形態１の情報処理装置１０と同じ構成を有するので、実施形態１と共通する部分については説明を省略する。

図１５は実施形態６の情報処理装置１０の制御部１１によって実現される機能を示すブロック図である。本実施形態の情報処理装置１０の制御部１１は、情報重畳アプリ１２ａを実行した場合、図４に示した各機能に加え、対応付け部１２１の機能を実現する。なお、図１５では、選択受付部１０９、第２読出部１１０、第２重畳部１１１及び対応付け部１２１以外の各部の図示を省略する。本実施形態においても、これらの各機能の一部を専用のハードウェア回路で実現してもよい。

本実施形態の選択受付部（選択情報取得部）１０９は、各商品に重畳情報が付加された撮像画像が表示されている表示画面を介して、いずれかの商品又は商品の重畳情報に対する選択操作を入力部１５にて受け付ける。入力部１５が選択操作を受け付けた場合、選択受付部１０９は、選択された商品を示す選択情報を取得する。選択受付部１０９が選択情報を受け付けた場合、対応付け部１２１は、選択された商品と、情報処理装置１０のユーザの属性とを対応付けて、記憶部１２に記憶してある所定のデータベース（図示せず）に登録する。具体的には、対応付け部１２１は、選択された商品の商品ＩＤを商品情報ＤＢ１２ｂから読み出し、ユーザの属性を情報重畳アプリ１２ａ又は記憶部１２から読み出し、読み出した商品ＩＤ及びユーザの属性を対応付けてデータベースに登録する。

本実施形態の情報処理装置１０の制御部１１は、図６に示す処理と同様の処理を行う。なお、本実施形態の制御部１１は、ステップＳ１０で、表示中の画面においていずれかの商品の重畳情報に対する選択を受け付けたと判断した場合（Ｓ１０：ＹＥＳ）、選択された商品の商品ＩＤとユーザの属性とを対応付けて所定のデータベースに登録する処理を行う。その後、制御部１１はステップＳ１１以降の処理を行う。これにより、ユーザが撮像画像において、気になる商品を選択した場合に、選択された商品をデータベースに蓄積できる。よって、ユーザが選択した商品の選択履歴を保存することができるので、選択履歴を用いて、各商品とユーザの属性との関連度をユーザに応じた値に設定し直すことができる。また、選択された商品とこのユーザの属性とを対応付けて登録することにより、この対応付けに基づいて、属性情報ＤＢ１２ｃに登録されている各商品とユーザ属性との関連度を設定し直すことができる。よって、以降の情報重畳処理において、各商品と各ユーザとの関連度がより適切な値となるので、ユーザに応じて重畳情報を付加すべき商品をより適切に特定することができる。

本実施形態では、上述した実施形態１と同様の効果が得られる。また本実施形態では、ユーザによる商品の選択履歴を用いて各商品とユーザ属性との関連度を設定できるので、ユーザに提供すべき商品に関する情報を適切に提供できる。よって、ユーザは撮像画像において自身が気になる商品をより容易に探し出すことができる。本実施形態の構成は実施形態２〜５にも適用可能であり、実施形態２〜５に適用した場合であっても実施形態２〜５と同様の効果が得られる。

（実施形態７）
本実施形態では、上述した実施形態１の情報処理装置１０が行う処理を、情報処理装置１０及びサーバ装置２０の２つで行うシステムについて説明する。本実施形態の情報処理装置は、実施形態１の情報処理装置１０と同じ構成を有するので、実施形態１と共通する部分については説明を省略する。

図１６は実施形態７に係る情報処理装置１０及びサーバ装置２０の構成例を示すブロック図である。本実施形態のシステムにおいて、情報処理装置１０及びサーバ装置２０は、インターネット等のネットワークＮを介して接続可能である。本実施形態の情報処理装置１０は、記憶部１２に情報重畳アプリ１２ａのみを記憶しているほかは、実施形態１と同様である。

サーバ装置２０は、例えばサーバコンピュータ、パーソナルコンピュータ等であり、制御部２１、記憶部２２、通信部２３等を含み、これらの各部はバスを介して相互に接続されている。制御部２１は、ＣＰＵ、ＭＰＵ又はＧＰＵ等の１又は複数のプロセッサを含み、記憶部２２に記憶してある制御プログラムを適宜実行することにより、サーバ装置２０が行うべき種々の情報処理、制御処理等を行う。記憶部２２は、ＲＡＭ、フラッシュメモリ、ハードディスク、ＳＳＤ等を含む。記憶部２２は、制御部２１が実行する制御プログラム及び制御プログラムの実行に必要な各種のデータ等を予め記憶している。また記憶部２２は、制御部２１が制御プログラムを実行する際に発生するデータ等を一時的に記憶する。

記憶部２２に記憶される制御プログラムには、情報生成プログラム２２ａが含まれる。また記憶部２２に記憶されるデータには、実施形態１の商品情報ＤＢ１２ｂ、属性情報ＤＢ１２ｃ及び詳細レベルテーブル１２ｄと同様の構成を有する商品情報ＤＢ２２ｂ、属性情報ＤＢ２２ｃ及び詳細レベルテーブル２２ｄが含まれる。なお、情報生成プログラム２２ａ、商品情報ＤＢ２２ｂ、属性情報ＤＢ２２ｃ及び詳細レベルテーブル２２ｄは、例えば通信部２３を介して外部装置から取得されて記憶部２２に記憶される。また、サーバ装置２０が可搬型記憶媒体に記憶された情報を読み取る読取部等を備える場合、情報生成プログラム２２ａ、商品情報ＤＢ２２ｂ、属性情報ＤＢ２２ｃ及び詳細レベルテーブル２２ｄは可搬型記憶媒体から読み出されて記憶部２２に記憶されてもよい。また、商品情報ＤＢ２２ｂ、属性情報ＤＢ２２ｃ及び詳細レベルテーブル２２ｄは、サーバ装置２０に接続された外部の記憶装置等に記憶されてもよく、ネットワークＮを介してサーバ装置２０が通信可能な別の記憶装置に記憶されてもよい。

通信部２３は、ネットワークＮに接続するためのインタフェースであり、ネットワークＮを介して外部装置との間で情報の送受信を行う。
サーバ装置２０は、上述した構成のほかに、液晶ディスプレイ、有機ＥＬディスプレイ等の表示部、キーボード又はマウス等の入力部を備えていてもよい。

本実施形態では、情報処理装置１０は、カメラ１３による撮像処理を行い、取得した撮像画像をネットワークＮ経由でサーバ装置２０に送信し、サーバ装置２０は、受信した撮像画像に基づいて、実施形態１の情報処理装置１０が行った情報重畳処理を行う。具体的には、サーバ装置２０は、情報重畳処理によって撮像画像に付加すべき重畳情報を生成して情報処理装置１０に送信し、情報処理装置１０は、受信した重畳情報を撮像画像に重畳して表示する。即ち、本実施形態のサーバ装置２０は、情報処理装置１０から取得した撮像画像に基づいて、撮像画像に重畳すべき重畳情報を生成し、生成した重畳情報を情報処理装置１０へ送信する。また、情報処理装置１０は、カメラ１３で撮像した撮像画像を表示部１４に表示しつつ、サーバ装置２０から重畳情報を受信した場合に、受信した重畳情報を表示中の撮像画像に重畳して表示する。

本実施形態では、情報処理装置１０の制御部１１は情報重畳アプリ１２ａを実行することによって、図４中の画像取得部１０１、第１重畳部１０８、選択受付部１０９及び第２重畳部１１１の各機能を実現する。またサーバ装置２０の制御部２１は情報生成プログラム２２ａを実行することによって、図４中の商品検出部１０２、関連度特定部１０３、距離検出部１０４、詳細レベル特定部１０５、第１読出部１０６、変換部１０７及び第２読出部１１０の各機能を実現する。なお、本実施形態においても、これらの各機能の一部を専用のハードウェア回路で実現してもよい。

本実施形態の情報処理装置１０において、制御部１１は、画像取得部１０１が撮像画像を取得した場合、取得した撮像画像をネットワークＮ経由でサーバ装置２０に送信する。サーバ装置２０において、制御部２１が実現する商品検出部１０２、関連度特定部１０３、距離検出部１０４、詳細レベル特定部１０５、第１読出部１０６、変換部１０７は、情報処理装置１０から受信した撮像画像に対して各処理を行う。なお、サーバ装置２０における距離検出部１０４は、撮像画像に基づいて各商品までの距離を検出してもよい。例えば距離検出部１０４は、撮像画像中の各商品（被写体）の撮像領域の大きさに基づいて各商品までの距離を検出する。また、情報処理装置１０が距離センサ等によって撮像時における各商品までの距離を検出する構成の場合、情報処理装置１０の制御部１１は、撮像画像と共に各商品までの距離をサーバ装置２０に送信する。この場合、サーバ装置２０における距離検出部１０４は、撮像画像中の各商品までの距離を情報処理装置１０から受信できる。

また、サーバ装置２０の制御部２１は、変換部１０７が重畳情報を生成した場合、生成した重畳情報をネットワークＮ経由で情報処理装置１０に送信する。そして、情報処理装置１０において、制御部１１が実現する第１重畳部１０８は、サーバ装置２０から受信した重畳情報を、画像取得部１０１が取得した撮像画像に重畳（付加）して表示部１４に送出する。これにより、本実施形態の情報処理装置１０においても、図５Ｂに示すように、各商品に重畳情報（メッセージ又はアイコン）が付加された撮像画像を表示することができる。なお、サーバ装置２０が情報処理装置１０に送信する重畳情報は、重畳すべき情報及び重畳すべき画面上の位置情報を含み、情報処理装置１０における第１重畳部１０８は、受信した重畳情報に従って、表示中の撮像画像上の適切な位置に適切な情報を重畳させることができる。

また、本実施形態の情報処理装置１０において、制御部１１は、選択受付部１０９が選択を受け付けた商品をネットワークＮ経由でサーバ装置２０に通知する。例えば制御部１１は、選択された商品の商品ＩＤをサーバ装置２０に送信する。サーバ装置２０において、制御部２１が実現する第２読出部１１０は、情報処理装置１０から受信した商品ＩＤに基づいて処理を行う。具体的には、第２読出部１１０は、情報処理装置１０から受信した商品ＩＤの商品に対応する表示情報（メッセージ）を商品情報ＤＢ２２ｂから読み出す。なお、サーバ装置２０における第２読出部１１０は、読み出したメッセージの全てを、例えば詳細レベル１に対応する大きさの表示領域に表示するための重畳情報を生成し、生成した重畳情報をネットワークＮ経由で情報処理装置１０に送信する。そして、情報処理装置１０において、制御部１１が実現する第２重畳部１１１は、サーバ装置２０から受信した重畳情報を、画像取得部１０１が取得した撮像画像に重畳（付加）して表示部１４に送出する。これにより、本実施形態の情報処理装置１０においても、図５Ｃに示すように、表示中の撮像画像において、ユーザによって選択された商品に重畳情報（メッセージ）を付加することができる。

次に、本実施形態のシステムにおいて、情報処理装置１０及びサーバ装置２０が行う情報重畳処理についてフローチャートに基づいて説明する。図１７及び図１８は、情報処理装置１０及びサーバ装置２０が行う処理の手順を示すフローチャートである。図１７，１８において左側には情報処理装置１０が行う処理を示し、右側にはサーバ装置２０が行う処理を示す。

情報処理装置１０の制御部１１は、記憶部１２に記憶してある情報重畳アプリ１２ａを起動した場合、カメラ１３を起動し、カメラ１３にて撮像画像を取得し（Ｓ４１）、取得した撮像画像をネットワークＮ経由でサーバ装置２０に送信する（Ｓ４２）。サーバ装置２０の制御部２１は、情報処理装置１０が送信した撮像画像を受信し（Ｓ４３）、受信した画像に対して、実施形態１で説明した図６中のステップＳ２〜Ｓ８と同様の処理を行って、撮像画像に付加すべき重畳情報を生成する（Ｓ４４〜Ｓ５０）。なお、制御部２１は、ステップＳ４５で、受信した撮像画像中に、商品情報ＤＢ２２ｂに登録されている商品が含まれていないと判断した場合（Ｓ４５：ＮＯ）、何も行わずにステップＳ４３の処理に戻る。

サーバ装置２０の制御部２１は、生成した重畳情報をネットワークＮ経由で情報処理装置１０に送信する（Ｓ５１）。情報処理装置１０の制御部１１は、サーバ装置２０が送信した重畳情報を受信し（Ｓ５２）、受信した重畳情報を、表示部１４に表示中の撮像画像に重畳する（Ｓ５３）。これにより、図５Ｂに示すように、撮像画像中の各商品に、商品に関するメッセージ又はアイコン（重畳情報）を付加して表示することができる。

そして情報処理装置１０の制御部１１は、表示中の画面において、いずれかの商品又は商品の重畳情報に対する選択を受け付けたか否かを判断し（Ｓ５４）、選択を受け付けていないと判断した場合（Ｓ５４：ＮＯ）、ステップＳ６２に処理を移行する。一方、選択を受け付けたと判断した場合（Ｓ５４：ＹＥＳ）、制御部１１は、選択された商品の例えば商品ＩＤをサーバ装置２０に送信する（Ｓ５５）。サーバ装置２０の制御部２１は、情報処理装置１０が送信した商品ＩＤを受信し（Ｓ５６）、受信した商品ＩＤの商品について、商品に対応する表示情報を商品情報ＤＢ２２ｂから読み出す（Ｓ５７）。そして制御部２１は、読み出した表示情報（メッセージ）を大きい表示領域に表示するための重畳情報を生成し（Ｓ５８）、生成した重畳情報をネットワークＮ経由で情報処理装置１０に送信する（Ｓ５９）。

情報処理装置１０の制御部１１は、サーバ装置２０が送信した重畳情報を受信し（Ｓ６０）、受信した重畳情報を、表示部１４に表示中の撮像画像に重畳する（Ｓ６１）。これにより、図５Ｃに示すように、表示中の撮像画像において、ユーザによって選択された商品に関するメッセージを大きい表示領域に表示することができる。情報処理装置１０の制御部１１は処理を終了するか否かを判断し（Ｓ６２）、終了しないと判断した場合（Ｓ６２：ＮＯ）、ステップＳ４１の処理に戻り、終了すると判断した場合（Ｓ６２：ＹＥＳ）、処理を終了する。

本実施形態では、上述した実施形態１と同様の効果が得られる。即ち、ユーザが情報処理装置１０を用いて撮像した画像に含まれる商品のうちで、ユーザとの関連度が高く、撮像時にユーザとの距離が近い商品ほど、大きい表示領域で商品に関する情報（メッセージ又はアイコン）を重畳させて表示することができる。よって、ユーザが注目している可能性の高い商品の情報を目立つように表示することができるので、ユーザは撮像画像中の各商品から、自身が気になる商品を容易に見つけ出すことができる。

本実施形態において、情報処理装置１０からサーバ装置２０に送信される撮像画像は、カメラ１３にて取得された撮像画像のほかに、撮像画像から抽出された特徴量データであってもよい。特徴量データは、サーバ装置２０において画像中の商品（被写体）を検出するためのデータである。この場合、情報処理装置１０の制御部１１は、カメラ１３にて取得した撮像画像から特徴量データを抽出する処理を行い、生成した特徴量データをサーバ装置２０に送信する。そして、サーバ装置２０は、受信した特徴量データに対して、商品情報ＤＢ１２ｂに登録してある商品の有無を検出し、検出した商品に対して重畳情報を生成する処理を行う。

本実施形態において、情報処理装置１０及びサーバ装置２０がそれぞれ行う処理は上述した構成に限らない。例えば情報処理装置１０が、カメラ１３にて撮像画像を取得し、取得した撮像画像に商品が含まれているか否かを検出する処理を行い、検出した商品に関する情報（例えば商品ＩＤ）をサーバ装置２０に送信してもよい。この場合、サーバ装置２０は、情報処理装置１０によって検出された商品について重畳情報を生成し、生成した重畳情報を情報処理装置１０に送信する。そして、情報処理装置１０は、サーバ装置２０にて生成された重畳情報を受信して、撮像画像に付加して表示する。

また、情報処理装置１０が、カメラ１３にて撮像画像を取得し、取得した撮像画像に商品が含まれているか否かを検出し、検出したそれぞれの商品について詳細レベルを特定し、特定した各商品の詳細レベルをサーバ装置２０に送信してもよい。この場合、サーバ装置２０は、情報処理装置１０によって特定された各商品の詳細レベルに基づいて、各商品の重畳情報を生成し、生成した重畳情報を情報処理装置１０に送信する。そして、情報処理装置１０は、サーバ装置２０にて生成された重畳情報を受信して、撮像画像に付加して表示する。なお、情報処理装置１０及びサーバ装置２０がそれぞれ行う処理に応じて、商品情報ＤＢ、属性情報ＤＢ及び詳細レベルテーブルを情報処理装置１０の記憶部１２に記憶すべきか、サーバ装置２０の記憶部２２に記憶すべきかを変更すればよい。また、情報処理装置１０及びサーバ装置２０がいずれの処理を行うべきかは、商品情報ＤＢ、属性情報ＤＢ及び詳細レベルテーブルを管理する管理者によって適宜変更可能である。

本実施形態のシステムを、表示部を有するデジタルサイネージと、デジタルサイネージに接続されたカメラとにより構成してもよい。この場合、カメラが撮像画像を取得してデジタルサイネージに送信し、デジタルサイネージが、受信した撮像画像に対して情報重畳処理を行い、撮像画像中の各商品に重畳情報を付加して表示部に表示する。このような構成においても、図５Ｂ及び図５Ｃに示すような画面をユーザに提供することができる。

本実施形態の構成は実施形態２〜６にも適用可能であり、実施形態２〜６に適用した場合であっても実施形態２〜６と同様の効果が得られる。なお、実施形態２〜６に適用する場合、情報処理装置１０及びサーバ装置２０が行うべき処理を、各実施形態に合わせて適宜変更することができる。

上述した各実施形態において、撮像画像中の各商品を検出する際に、撮像画像に含まれる文字（テキストデータ）を検出し、検出した文字によって各商品を特定してもよい。例えば、各商品にポップ広告が貼付されている場合に、このポップ広告に記載されている文字を認識することによって、各商品又は各商品の種類を検出するように構成することができる。また、例えば屋外の景色を撮像し、得られた撮像画像中に写っている店舗の看板等を認識（特定）し、認識した看板等に応じて各店舗に関する情報を撮像画像に重畳させる構成とすることができる。この場合、看板に記載されている文字を検出することによって店舗の名称等を特定し、特定された店舗に関する情報をユーザに提供するように構成できる。

今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１０ 情報処理装置
１１ 制御部
１２ 記憶部
１３ カメラ
１５ 入力部（受付部）
１０１ 画像取得部
１０２ 商品検出部（検知部）
１０６ 第１読出部（情報取得部）
１０７ 変換部（言語変換部）
１０８ 第１重畳部（出力部）
１０９ 選択受付部（選択情報取得部）
１１４ 距離判断部（判断部）
１１８ 距離判断部（判断部）
１２０ 言語取得部
１２１ 対応付け部

Claims (11)

1. 画像を取得する画像取得部と、
   取得した前記画像中に存在する対象物を検知する検知部と、
   検知した前記対象物までの距離及びユーザの属性に応じて前記対象物の表示情報を特定する情報特定部と、
   特定した前記表示情報を出力する出力部と
   を備える情報処理装置。
2. 前記情報特定部は、
   検知した前記対象物の表示情報を取得する情報取得部と、
   前記情報取得部が取得した前記表示情報を、前記対象物までの距離及びユーザの属性に応じた大きさの表示領域に収まるように変換する変換部とを有する
   請求項１に記載の情報処理装置。
3. 前記出力部は、前記画像中の前記対象物に応じた位置に前記表示情報を表示する指示を出力する
   請求項１又は２に記載の情報処理装置。
4. 前記ユーザの使用言語を特定する言語特定部と、
   前記情報特定部が特定した前記表示情報を、前記言語特定部が特定した前記使用言語に応じた表示情報に変換する言語変換部と
   を備える請求項１から３までのいずれかひとつに記載の情報処理装置。
5. 前記画像取得部が取得する画像に対して前記検知部が対象物を検知する検知範囲を受け付ける受付部
   を備える請求項１から４までのいずれかひとつに記載の情報処理装置。
6. 前記検知部が同一又は同じジャンルの対象物を複数検知した場合、複数の前記対象物間の距離が所定距離未満であるか否かを判断する判断部を備え、
   前記情報特定部は、前記複数の対象物間の距離が所定距離未満であると判断された場合、前記複数の対象物のいずれかまでの距離及び前記ユーザの属性に応じて前記表示情報を特定する
   請求項１から５までのいずれかひとつに記載の情報処理装置。
7. 前記情報特定部が複数の対象物のそれぞれの表示情報を特定した場合、複数の前記表示情報が同一であり、かつ、前記表示情報が特定された前記対象物間の距離が所定距離未満であるか否かを判断する判断部を備え、
   前記出力部は、前記複数の表示情報が同一であり、かつ、前記距離が所定距離未満であると判断された場合、前記画像中の前記複数の対象物に応じた位置に１つの前記表示情報を表示する指示を出力する
   請求項１から５までのいずれかひとつに記載の情報処理装置。
8. 前記出力部が出力した表示情報に対して選択されたか否かを示す選択情報を取得する選択情報取得部と、
   取得した前記選択情報及び前記ユーザの属性を対応付ける対応付け部と
   を備える請求項１から７までのいずれかひとつに記載の情報処理装置。
9. 画像を取得し、
   取得した前記画像中に存在する対象物を検知し、
   検知した前記対象物までの距離及びユーザの属性に応じて前記対象物の表示情報を特定し、
   特定した前記表示情報を出力する
   処理を情報処理装置が実行する情報処理方法。
10. コンピュータに、
    画像を取得し、
    取得した前記画像中に存在する対象物を検知し、
    検知した前記対象物までの距離及びユーザの属性に応じて前記対象物の表示情報を特定し、
    特定した前記表示情報を出力する
    処理を実行させるプログラム。
11. 撮像部と、
    撮像して得られた画像中に存在する対象物を検知する検知部と、
    検知した前記対象物までの距離及びユーザの属性に応じて前記対象物の表示情報を特定する情報特定部と、
    特定した前記表示情報を出力する出力部と
    を備える情報処理システム。

Images