JP2015232913A - 拡張現実装置、方法、及びプログラム - Google Patents

Abstract

【課題】効率よく情報を提示できる。【解決手段】本実施形態に係る拡張現実装置は、推定部、検索部、第１格納部、第２格納部、関心特徴生成部、施設特徴生成部及び選択部を含む。推定部は、中心施設を地図情報から推定する。検索部は、対象施設を得る。第１格納部は、興味項目と関連ユーザとを対応付けて格納する。第２格納部は、第１特徴キーワードと興味項目とで決まる第１値を全ての興味項目に対して格納する。関心特徴生成部は、ユーザの興味項目に対応する１以上の第１値に応じた第１特徴量を生成する。施設特徴生成部は、第２特徴キーワードと対象施設に関連する情報とで決まる第２値に応じた第２特徴量を生成する。選択部は、第１特徴量および第２特徴量を用いて対象施設とユーザとの関連度を対象施設ごとに算出し、関連度が閾値以上である対象施設の推奨施設情報を選択する。【選択図】図１

Description

本発明の実施形態は、拡張現実装置、方法、及びプログラムに関する。

従来のＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）では、カメラを向けた方角に存在する各施設に対し、予めＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）やコミュニティー上で付与された情報（例えば、口コミなどのおすすめ情報）または施設の基本情報を画像に合成して提示する手法がある。しかし、提示される情報の中にはユーザにとって不必要な情報も含まれるため、ユーザにとって必要な情報を効果的に提示することが重要となる。

このようなＡＲの問題に対して、従来の一般的な検索手法として、地理的領域、時間帯、および店舗などのジャンルごとにユーザの関心度を表わすテーブルを用意し、利用者の行動パターンを予測することで個々の時点で適した情報を選択して提供する手法がある。

特許第４２１３１９９号明細書 特開２００８−１５８８２３号公報

しかしながら、上述の手法は、ユーザの行動が正確に予測できており、かつユーザの関心が統計的に取得できていることが必要である。したがって、ユーザが予測パターン以外の行動をした場合や、ユーザがＡＲを利用する場所が予め予測できない場合は、ユーザに適切な情報が提示されない。

本開示は、上述の課題を解決するためになされたものであり、ユーザに効率よく情報を提示することができる拡張現実装置、方法、及びプログラムを提供することを目的とする。

本実施形態に係る拡張現実装置は、中心施設推定部、対象施設検索部、第１格納部、第２格納部、関心特徴生成部、施設特徴生成部および推奨施設選択部を含む。中心施設推定部は、ユーザの位置情報と該ユーザが使用するカメラのレンズが向けられる方向とに基づいて、該カメラにより撮像される画像の中心に位置する中心施設を地図情報から推定する。対象施設検索部は、前記中心施設から第１距離範囲内かつ前記カメラの画角内に存在する１以上の施設を前記地図情報から検索し、該施設を１以上の対象施設として得る。第１格納部は、ユーザごとに、該ユーザが興味を示す１以上の興味項目を対応付けて格納する。第２格納部は、複数のキーワードのうちの、１つの興味項目の特徴を表現する語として該当する１以上のキーワードを第１特徴キーワードとして、１つの第１特徴キーワードと１つの興味項目とによって決まる第１値を、全ての興味項目に対して格納する。関心特徴生成部は、少なくとも前記ユーザの興味項目に対応する１以上の前記第１値に応じた第１特徴量を生成する。施設特徴生成部は、前記複数のキーワードのうちの、１つの対象施設の特徴を表現する語として該当する１以上のキーワードを第２特徴キーワードとして、対象施設ごとに、１つの第２特徴キーワードと１つの対象施設に関連する情報とによって決まる第２値に応じた第２特徴量を生成する。推奨施設選択部は、前記第１特徴量および前記第２特徴量を用いて前記対象施設と前記ユーザとの関連度を前記対象施設ごとに算出し、該関連度が第１閾値以上である対象施設の情報を推奨施設情報として選択する。

本実施形態に係る拡張現実装置を示すブロック図。 ユーザプロフィールデータベースに格納されるテーブルの一例を示す図。 関心データベースに格納される興味項目のテーブルの一例を示す図。 特徴キーワードのテーブルの一例を示す図。 中心施設推定部および対象施設検索部における中心施設および対象施設のそれぞれの選択例を示す図。 本実施形態に係る拡張現実装置の動作を示すフローチャート。 従来のＡＲ機器での表示画像を示す図。 本実施形態に係る拡張現実装置の表示の一例を示す図。

以下、図面を参照しながら本実施形態に係る拡張現実装置、方法、及びプログラムについて詳細に説明する。なお、以下の実施形態では、同一の参照符号を付した部分は同様の動作をおこなうものとして、重複する説明を適宜省略する。
本実施形態に係る拡張現実装置の利用例について図１を参照して説明する。
本実施形態に係る拡張現実装置１００は、ユーザ位置検出部１０１、地図データベース１０２（以下、地図ＤＢ１０２という）、中心施設推定部１０３、対象施設検索部１０４、ユーザプロフィールデータベース１０５（以下、ユーザプロフィールＤＢ１０５という）、関心データベース１０６（以下、関心ＤＢ１０６という）、関心特徴生成部１０７、対象施設特徴生成部１０８、推奨施設選択部１０９、表示データ合成部１１０、および表示部１１１を含む。

ユーザ位置検出部１０１は、ユーザの現在の位置情報（緯度および経度）とユーザが使用するカメラ１５０の向きとを検出する。位置情報は、例えば、一般的なＧＰＳ（Ｇｒｏｂａｌ Ｐｏｓｉｓｉｏｎｉｎｇ Ｓｙｓｔｅｍ）情報を用いて検出することができる。また、カメラ１５０の向きとは、カメラ１５０のレンズが向けられる方向である。カメラ１５０の向きは、例えば一般的な６軸センサーを用いて検出することができる。６軸センサーは、３軸の地磁気センサー（電子コンパス）と３軸の加速度センサーとが一体となったセンサーである。この６軸センサーを用いることにより、カメラ１５０の向き（東西南北の方位および仰角）と同時に、カメラ１５０に加わった加速度の方向も検出することができる。以下、カメラのレンズが向けられる方位および仰角と、加速度の方向に関する情報とを合わせて方向情報ともいう。

地図ＤＢ１０２は、緯度および経度に関する情報を有する地図情報と、この地図上に存在する施設に関する情報を示す施設情報とを対応付けて格納する。施設は、例えばショップやレストラン、ホテルなどの宿泊施設、市役所などの公共施設である。施設情報は、ここでは基本的な情報として、施設の名称、施設の分類、電話番号および住所とするが、これに限らず、例えばレストランであれば人気メニュー名を含めるなど、施設に関するどのような情報を含めてもよい。さらに、地図ＤＢ１０２は、外部のサーバなどに格納されてもよい。

中心施設推定部１０３は、ユーザ位置検出部１０１からユーザの位置情報およびカメラ１５０の方向情報を受け取り、地図ＤＢ１０２に格納される地図情報からユーザの位置情報に対応する地点とその周辺の施設を抽出し、カメラ１５０により撮像される画像の中心に位置する施設（以下、中心施設という）を推定する。
対象施設検索部１０４は、中心施設推定部１０３から推定された中心施設を受け取り、推定された中心施設に基づいて、中心施設とその周辺に存在する施設との中で、中心施設から一定距離の範囲内かつカメラ１５０の画角内に存在する施設を地図ＤＢ１０３から検索する。その後、対象施設検索部１０４は、上述の条件を満たす施設を、ユーザに情報を推薦する候補となる施設(以下、対象施設という)として決定し、地図ＤＢ１０３から対象施設に関する施設情報を抽出する。

ユーザプロフィールＤＢ１０５は、ユーザのプロフィール情報を格納する。プロフィール情報は、ユーザに関する情報であり、例えばＳＮＳ上で登録されているユーザＩＤ、性別、年齢、ユーザの興味項目が挙げられる。ユーザプロフィールＤＢ１０５については、図２を参照して後述する。
関心ＤＢ１０６は、興味項目と第１特徴キーワードとによって決まる第１値を対応付けて格納する。第１特徴キーワードは、複数のキーワードのうちの、興味項目の特徴を表現する語である。関心ＤＢ１０６については、図３および図４を参照して後述する。

関心特徴生成部１０７は、ユーザプロフィールＤＢ１０５からプロフィール情報を、関心ＤＢ１０６から特徴キーワードをそれぞれ抽出する。関心特徴生成部１０７は、プロフィール情報に含まれるユーザの興味項目に対応する第１特徴キーワードの第１値を得て、１以上の第１値に応じて、興味項目の特徴を反映した第１特徴量を生成する。
対象施設特徴生成部１０８は、対象施設検索部１０４から対象施設の施設情報を受け取り、対象施設ごとに、第２特徴キーワードと対象施設に関連する情報とによって決まる第２値を計算し、第２値に応じて、施設の特徴を反映した第２特徴量を生成する。第２特徴キーワードは、複数のキーワードうちの、対象施設の特徴を表現する語である。

推奨施設選択部１０９は、対象施設特徴生成部１０８から第２特徴量と対象施設の施設情報とを、関心特徴生成部１０７から第１特徴量をそれぞれ受け取り、対象施設ごとにユーザとの関連度を算出し、関連度が閾値以上である対象施設の施設情報を推奨施設情報として選択する。なお、ここでは施設情報を対象施設特徴生成部１０８から受け取ることを想定しているが、推奨施設が選択された後に、推奨施設選択部１０９が地図ＤＢ１０３から対象施設の情報を推奨施設情報として抽出してもよい。

表示データ合成部１１０は、カメラ１５０から画像データを、推奨施設選択部１０９から推奨施設情報をそれぞれ受け取り、画像データに推奨施設情報を合成して合成画像を得る。
表示部１１１は、表示データ合成部１１０から合成画像を受け取り、合成画像を画面に表示する。
カメラ１５０は、例えば携帯端末に搭載され、画像を撮影可能な一般的なＣＣＤカメラであればよい。カメラ１５０によりユーザ周りの施設が撮像され、画像データが得られる。

次に、ユーザプロフィールＤＢ１０５に格納されるテーブルの一例について図２を参照して説明する。
図２に示す例では、ユーザプロフィールＤＢ１０５は、ユーザＩＤ２０１とプロフィール情報２０２とを対応付けて格納する。ユーザＩＤ２０１は、各ユーザを識別するために付与される一意的なＩＤである。プロフィール情報２０２は、ここでは、ユーザの性別２０３、年齢２０４、関連ユーザ２０５および興味２０６を含む。関連ユーザ２０５は、ユーザ同士が知り合いであるといった、ユーザと関連があることを示す情報である。ここでは、ユーザ本人と知り合いである関連ユーザのユーザＩＤ２０１が対応付けられる。興味２０６には、ユーザが興味を示す事柄が含まれ、本実施形態では興味項目のＩＤ（後述の興味ＩＤ）が含まれる。
具体的には、ユーザＩＤ２０１「Ｕｓｅｒ００１」のユーザは、プロフィール情報２０２として、性別２０３「Ｍａｌｅ」、年齢２０４「２５」、関連ユーザ２０５「Ｕｓｅｒ００２，Ｕｓｅｒ０１３，Ｕｓｅｒ１０６，Ｕｓｅｒ２３８，Ｕｓｅｒ３４８」、および興味２０６「ｉｎｔｅｒｅｓｔ００５，ｉｎｔｅｒｅｓｔ０１８，ｉｎｔｅｒｅｓｔ２２５」がそれぞれ対応付けられてテーブルに格納される。このように、ユーザプロフィールＤＢ１０５には、ユーザごとのプロフィール情報が格納される。

次に、関心ＤＢ１０６に格納される興味項目に関するテーブルの一例について図３を参照して説明する。
関心ＤＢ１０６は、興味ＩＤ３０１、興味項目名３０２および第１特徴キーワード３０３をそれぞれ対応付けて格納する。
興味ＩＤ３０１は、ユーザプロフィールＤＢ１０５の興味２０６に登録されるＩＤである。興味項目名３０２は、興味項目の一般的な名称であり、例えば、歌手名、俳優名、映画名、書籍名、施設名、活動名が挙げられる。第１特徴キーワード３０３としては、第１特徴キーワードのＩＤ（後述の第１特徴キーワードＩＤ）が含まれる。興味ＩＤ３０１と興味項目名３０２とは、１対１に対応する。さらに、１つの興味ＩＤ３０１には、１以上の第１特徴キーワードが対応付けられる。なお、異なる興味ＩＤ３０１に同じ第１特徴キーワードが含まれてもよい。
具体的には、図３の例では、興味ＩＤ３０１「ｉｎｔｅｒｓｔ００５」、興味項目名３０２「夜景」、および第１特徴キーワード３０３「ｋｗ２，ｋｗ４，ｋｗ６」がそれぞれ対応付けられてテーブルに格納される。

次に、第１特徴キーワードに関するテーブルの一例について図４を参照して説明する。

第１特徴キーワードに関するテーブルには、第１特徴キーワードＩＤ４０１とキーワード名４０２とが対応付けられる。具体的には、第１特徴キーワードＩＤ４０１「ｋｗ１」とキーワード名４０２「大きい」、第１特徴キーワードＩＤ４０１「ｋｗ２」とキーワード名４０２「きれい」のように、それぞれが対応付けられる。なお、キーワード名４０２としては、分類名、固有名詞、形容詞などを想定しているが、施設および興味項目の特徴を表現できる文字や記号であれば何でもよい。また、第１特徴キーワードに関するテーブルは、関心ＤＢ１０６に格納されてもよいし、別のデータベースとして用意されてもよい。外部のデータベースにテーブルを格納し、そこから参照するようにしてもよい。

次に、中心施設推定部１０３および対象施設検索部１０４における施設抽出処理について図５を参照して説明する。
図５は、携帯端末５０１を用いて対象施設を撮像した一例であり、携帯端末５０１に搭載されるカメラ１５０（図示せず）により、施設が撮像されるときの画角５１１を示す。図５の例では、タワーや、ホテル、中華レストラン、イタリアンレストランなどが撮像される。このとき、中心施設推定部１０３が、ユーザの現在位置とカメラ１５０の方向情報とカメラ１５０の画角５１１とに基づいてカメラ１５０により撮像された画像から中心施設を推定する。
例えば、ユーザの位置情報およびカメラ１５０の方向情報を地図ＤＢに格納される地図データ上にマッピングし、カメラ１５０の画角５１１の範囲内にあり、かつ画角５１１の中心線上にある施設の中で最もユーザに近い施設を中心施設として推定する。または、画角５１１の中心線上にある施設の中でユーザから一定範囲内の距離かつ画像内で閾値以上の大きさがある施設を中心施設として推定すればよい。ここでは、カメラ１５０の画角５１１の範囲内でありかつ画角５１１の中心線上にあるのはタワー５０２のみであるので、タワー５０２が中心施設として抽出される。

続いて、対象施設検索部１０４が、対象施設として、中心施設から一定範囲５１２(図５中の破線で囲まれる範囲)内に存在する施設であり、かつカメラの画角５１１内に存在する施設を抽出する。ここでは、中心施設であるタワー５０２から一定範囲５１２内に存在し、かつカメラの画角５１１内に存在する施設は、タワー５０２、ホテル５０３、イタリアンレストランＡ５０４および中華レストラン５０６があり、これらが対象施設として抽出される。
なお、本実施形態における「画角内に存在する」とは、画角５１１をなす辺５１３上に施設が存在する場合は、閾値以上の領域（ここでは、施設の半分の領域）が画角５１１内に存在することを意味する。すなわち、中華レストラン５０６は、画角５１１の外に存在する領域もあるが、一定範囲５１２内に存在しかつ閾値以上の領域が画角内に存在するので、対象施設として抽出される。一方、寺院５０７は、一定範囲５１２内であり、画角５１１内に存在する領域もあるが、閾値以上の領域が画角５１１内に存在しないので対象施設として抽出されない。また、イタリアンレストランＢ５０５は、画角５１１内であるが中心施設から一定範囲５１２の外に存在するので対象施設として抽出されない。

なお、本実施形態で想定するＡＲにおいては、カメラの向き以外(ユーザの真横または後ろ)の施設の情報は提示する必要がなく、また遠距離に存在する施設名の提示も不要である。この理由は、ユーザがカメラを向ける方向を変えることで施設の情報を得ることができるため、カメラの向き以外の情報を提示することは、逆に不必要な情報を提示することになるからである。

次に、本実施形態に係る拡張現実装置１００の動作について図６のフローチャートを参照して説明する。以下では、第１特徴量として、興味項目を表現する語として第１特徴キーワードに該当するかどうかの値を成分としたベクトルである関心ベクトルを用いて説明する。また、第２特徴量として、対象施設を表現する語として同じく第２特徴キーワードに該当するかどうかの値を成分としたベクトルである特徴ベクトルを用いて説明する。なお、ベクトルの代わりに関数の値を用いるなど、興味項目の特徴および施設の特徴を反映できる指標であれば何でもよい。
ステップＳ６０１では、ユーザ位置検出部１０１が、ユーザの現在位置およびカメラ１５０の向きを検出し、位置情報および方向情報を得る。
ステップＳ６０２では、中心施設推定部１０３が、地図ＤＢ１０２に基づいて中心施設を推定する。
ステップＳ６０３では、対象施設検索部１０４が、中心施設に基づいて中心施設から一定範囲内かつカメラの画角内に存在する対象施設を検索する。

ステップＳ６０４では、関心特徴生成部１０７が、ユーザプロフィールＤＢ１０５と関心ＤＢ１０６とに基づいて、ユーザの関心ベクトルを生成する。

は、１つの興味項目Ｉに対する特徴ベクトルを示し、第１特徴キーワードが含まれているかどうかを示す２値を並べたものである。また、興味項目Ｉに対するベクトルは、一般的に式（１）のように表される。

Ｎは第１特徴キーワードの総数、ｋｗ_ｋはｋ番目の第１特徴キーワードを表わす。このように、興味項目に対する各第１特徴キーワードに対する第１値が得られる。
ユーザプロフィールＤＢ１０５には、複数の興味項目が登録可能であるので、ユーザの興味項目全てのベクトルを求めるのが望ましい。これにより、ユーザがどのような事柄に関心があるかを表すことができる。

は、ユーザ固有の関心ベクトル(以下、固有関心ベクトルともいう)を示し、それぞれの興味項目の特徴ベクトルの線形和として表現できる。すなわち、ユーザの興味項目のセットを｛Ｉ_ｊ｝（１≦ｊ≦ｍ，ｊ、ｍは自然数）とすると、固有関心ベクトルは式（２）で表される。

ここで、ａ_ｊは重み係数であり、ユーザの関心の大きい興味項目ほど係数の値を大きくすることにより、同じ興味項目を選択しているユーザでも、ユーザごとに異なる固有関心ベクトルを生成することができる。

固有関心ベクトルを算出する場合と同様に、関連ユーザの関心ベクトルを算出することができる。

は、関連ユーザの関心ベクトルである。ユーザには複数の関連ユーザが存在することが考えられるので、各関連ユーザの関心ベクトルの線形和を以下の式（３）のように定義することができる。

以下、各関連ユーザの関心ベクトルの線形和を総関連ユーザ関心ベクトルと呼ぶ。
ここで、ｂ_ｓは、各関連ユーザの関心ベクトルに付加する重み係数を表わし、ｎは関連ユーザ数を表わす。すなわち、ユーザと関係性が高い関連ユーザの重み値を大きく設定することで、ユーザが興味を持つと想定される情報を抽出することができる。反対に、ユーザと関係性が低い関連ユーザの重み値を小さく、さらには０に設定することで、関係性が低い関連ユーザの情報をユーザに提示しないように考慮することができる。また、関連ユーザの関心ベクトルを考慮することで、ユーザ自身が当初から関心があった情報だけでなく、ユーザ自身は知らなかったが、関連ユーザが知っている情報を得ることもできる。
関心特徴生成部１０７は、式（４）に示すように固有関心ベクトルと総関連ユーザ関心ベクトルとの和を計算し、最終的なユーザの関心ベクトルを得る。

ステップＳ６０５では、対象施設特徴生成部１０８が、対象施設の名称を検索ワードとしてｗｅｂ検索を行い、対象施設ごとの特徴ベクトルを生成する。具体的には、対象施設特徴生成部１０８が、検索ワードのｗｅｂ上でのヒット率が上位であるｗｅｂページなどのコンテンツにおいて、コンテンツ中に出現する検索ワードの周辺に存在する第２特徴キーワードの有無に基づいて、対象施設ごとの特徴ベクトルを生成する。
例えば、対象施設の名称「○○遊園地」を検索ワードとしてｗｅｂ検索し、ヒットしたｗｅｂページ中のテキストにおいて、「夕方から夜にかけて、ライトアップがきれいである○○遊園地」という文が存在したと仮定する。この場合、対象施設特徴生成部１０８は、検索ワード「○○遊園地」の周辺（ここでは、検索ワードの６文字前）に第２特徴キーワードである「きれい」が存在すると判定することができる。このように、対象施設の特徴を表現するワードとして第２特徴キーワードが存在するかどうかを判定し、全ての第２特徴キーワードについても同様の処理を行なうことで、対象施設に対する第２特徴キーワードのベクトルを算出することができる。
ここで、第２特徴キーワードは関心ＤＢ１０６における第１特徴キーワードと同一であるので、対象施設に対する第２特徴キーワードのベクトルは以下の式（５）で表すことができる。

このように、対象施設に対する各第２特徴キーワードの第２値が得られる。検索キーワードがヒットしたＷｅｂページの上位ｑ件（ｑは自然数）を用いたときの対象施設の特徴ベクトルは式（６）で表される。

ｃ_ｐは重み係数であり、例えば検索結果の上位のｗｅｂページほど重み係数が大きく、下位のｗｅｂページほど重み係数が小さくなるように設定すればよい。なお、式（５）に示すような第２特徴キーワードのベクトルは、地図ＤＢ１０２に格納される施設情報に予め含めてもよい。また、予め施設名と第２特徴キーワードとの対応テーブルを用意し、対象施設特徴生成部１０８が、ｗｅｂ検索時に対応テーブルから第２特徴キーワードを抽出し、第２特徴キーワードの有無を検出して動的に第２特徴キーワードのベクトルを生成してもよい。

ステップＳ６０６では、推奨施設選択部１０９が、ユーザの関心ベクトルと対象施設特徴ベクトルとの類似度、および中心施設から対象施設までの距離ｄに基づいて、ユーザと施設との関連度Ｒｅｌを対象施設ごとに計算する。関連度は、例えば式（７）のように計算される。

τは、距離に対する減衰係数を表わす。ここで、式（７）の右辺の前半部分は、ユーザの関心ベクトルと対象施設特徴ベクトルのコサイン類似度を表わし、右辺の後半部分は、対象施設が中心施設から離れているほど減衰する。これにより、施設の特徴とユーザの関心とが近く、中心施設（またはユーザ）と距離が近いものほど優先されるようになる。

ステップＳ６０７では、推奨施設選択部１０９が、関連度が閾値以上の対象施設の施設情報を推奨施設情報として選択する。
ステップＳ６０８では、表示データ合成部１１０が、カメラの画像データと推奨施設情報とを合成する。その際、関連度が大きい対象施設に関する対象施設情報は、「大きく表示する」「色を変えて表示する」など、ユーザが視認しやすいようにハイライト表示させるようにしてもよい。反対に、関連度が小さい対象施設情報については、「小さく表示する」「色を変えて表示する」などの処理を行なってもよい。
ステップＳ６０９では、表示部１１１が、合成されたデータを合成画像として画面に表示する。
以上で、本実施形態に係る拡張現実装置１００の動作を終了する。リアルタイムに情報を提示するため、この動作を短期間（例えば、１ミリ秒）に繰り返し行なってもよいし、加速度センサーによりカメラが動かされていることを検出した場合は上述した動作を停止し、カメラが静止したときに上述した動作を行うようにしてもよい。

なお、ステップＳ６０６の関連度の計算において、他のユーザによる点数評価なども関連度の計算に反映し、評価が高い対象施設ほど関連度が高くなるようにしてもよい。例えば、式（７）の右辺に、評価が高い対象施設であるほど重み値が大きくなる重み係数を乗算することで、信頼度の高い推薦施設情報を選択することができる。
ここで、関心特徴生成部１０７における関連ユーザの選択手法について説明する。関連ユーザの選択においては、関連ユーザの数が多くなると、全ての関連ユーザを考慮して計算する場合には計算量が膨大になるため、計算に使用する関連ユーザの関心ベクトルに制限を設けることが望ましい。
関連ユーザの第１の選択手法として、ソーシャルグラフ上での距離を用いる手法がある。ユーザとその関連ユーザ、各関連ユーザの関連ユーザ、というようにユーザ間のつながりを線で結ぶことによりグラフ構造が得られる。このようなグラフをソーシャルグラフと呼ぶ。一般に、ソーシャルグラフ上で距離が近いユーザ同士は関係性が高く、逆に距離が遠いユーザ同士は関係性が低いと考えることができる。
従って、総関連ユーザ関心ベクトルを算出する際に、ソーシャル上での距離を考慮すると、以下の式（８）により重み係数を設定すればよい。

また、ソーシャルグラフ上での距離が一定以上の場合は、ｂ_Ｓ＝０としてもよい。すなわち、関心特徴生成部１０７は、ソーシャルグラフ上での距離が一定範囲内の関連ユーザのみを用いて総関連ユーザ関心ベクトルを算出することで、ユーザと関係性が高い関連ユーザのみを選択することができる。

第２の選択手法としては、一定の条件を満たす関連ユーザの重み値を大きく（または小さく）設定すればよい。例えば、年齢が近い（または年齢が遠い）、性別が同じ（または性別が異なる）関連ユーザに対して重み値を大きく設定することにより、それらの関連ユーザを重視するように関連ユーザの関心ベクトルを生成することができる。逆に、重み値を小さく、あるいは０にすれば、それらの関連ユーザの影響を小さくしたり、さらには無視することができる。

さらに第３の選択手法としては、対象施設に対して評価を行っているユーザを考慮してもよい。上述の手法では、関連ユーザは「ユーザから関連ユーザの情報を辿ることにより到達できるユーザ」であるが、本手法では、直接的または間接的なユーザとのつながりが無くとも特定のユーザ群を関連ユーザとする。特定のユーザ群は、例えば、対象施設のレストランについて評価（星を付ける、点数を付ける、口コミなど）を行なっているユーザ群を関連ユーザとすればよい。このとき式（８）の重み係数ｂ_Ｓは、全て同じでもよいし、一定条件を満たす関連ユーザの重みを大きく（または小さく）してもよい。

上述のようなユーザ群は、例えば、ＳＮＳから抽出してもよいし、インターネット上の口コミ情報をまとめたｗｅｂサイトの情報から抽出するようにしてもよい。この手法によれば、例えば「対象施設について星３つ以上の評価を行なっているユーザのうち、３０代男性の関心ベクトル」のような、具体的な条件を付けた関心ベクトルを用いることができ、ユーザの関心が高い施設情報を効率的に抽出することができる。

次に、表示部１１１における表示例を図７および図８を参照して説明する。
図７は、従来のＡＲ機器における施設情報の表示例を示し、図８は、本実施形態に係る拡張現実装置１００の表示例を示す。図７および図８ともに、表示部１１１において、カメラの画像データに施設情報が合成された合成画像が表示される。
図７に示すように、カメラ１５０の画角内に存在する全施設の施設情報７０１が表示され、ユーザが自身にとって必要となる施設の関連情報を見つけることが難しい。
一方、図８では、ユーザと関連度が高い推奨施設の推奨施設情報８０１のみ表示されるため、ユーザは必要な情報のみを効率的に素早く認識することができる。

以上に示した本実施形態に係る拡張現実装置によれば、ユーザとの関連度に応じて推奨施設を選択するので、ユーザに効率よく情報を提示することができる。また、ユーザ本人の関心だけでなく、ＳＮＳ上におけるユーザの知り合いのお薦め情報や関連ユーザの関心も利用して情報の選択を行えば、当初関心があった情報だけでなく、関連ユーザから思いがけない情報が得られる。これにより、ユーザがＡＲによって新しい発見および経験が得られる可能性を高めることができる。

また、本実施形態に係る拡張現実装置の構成を、端末とサーバとに分けてもよい。例えば、端末は、ユーザ位置検出部１０１、表示データ合成部１１０、表示部１１１およびカメラ１５０を含めばよい。一方サーバは、中心施設推定部１０３、対象施設検索部１０４、対象施設特徴生成部１０８、ユーザプロフィールＤＢ１０５、関心ＤＢ１０６、関心特徴生成部１０７および推奨施設選択部１０９を含めばよい。このようにすることで、計算量が多い演算処理をサーバ側で行なうことができるので、端末側の処理量を減らすことができる。よって、端末の構成を簡潔にすることができる。

上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した拡張現実装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃなど）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の拡張現実装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでもよい。
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。
さらに、本実施形態における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。
また、記録媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本実施形態における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。

なお、本実施形態におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
また、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本実施形態における機能を実現することが可能な機器、装置を総称している。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００・・・拡張現実装置、１０１・・・ユーザ位置検出部、１０２・・・地図データベース（ＤＢ）、１０３・・・中心施設推定部、１０４・・・対象施設検索部、１０５・・・ユーザプロフィールデータベース（ＤＢ）、１０６・・・関心データベース（ＤＢ）、１０７・・・関心特徴生成部、１０８・・・対象施設特徴生成部、１０９・・・推奨施設選択部、１１０・・・表示データ合成部、１１１・・・表示部、１５０・・・カメラ、ユーザＩＤ・・・２０１、２０２・・・プロフィール情報、２０３・・・性別、２０４・・・年齢、２０５・・・関連ユーザ、２０６・・・興味、３０１・・・興味ＩＤ、３０２・・・興味項目名、３０３・・・第１特徴キーワード、４０１・・・第１特徴キーワードＩＤ、４０２・・・キーワード名、５０１・・・携帯端末、５０２・・・タワー、５０３・・・ホテル、５０４・・・イタリアンレストランＡ、５０５・・・イタリアンレストランＢ、５０６・・・中華レストラン、５０７・・・寺院、５１１・・・画角、５１２・・・一定範囲、５１３・・・辺、７０１・・・施設情報、８０１・・・推奨施設情報。

Claims (15)

1. ユーザの位置情報と該ユーザが使用するカメラのレンズが向けられる方向とに基づいて、該カメラにより撮像される画像の中心に位置する中心施設を地図情報から推定する推定部と、
   前記中心施設から第１距離範囲内かつ前記カメラの画角内に存在する１以上の施設を前記地図情報から検索し、該施設を１以上の対象施設として得る対象施設検索部と、
   前記ユーザが興味を示す興味項目と、当該興味項目の特徴を表現するキーワードである第１特徴キーワードとに基づいて第１特徴量を生成する第１特徴生成部と、
   前記対象施設の特徴を表現するキーワードである第２特徴キーワードと、前記対象施設に関連する情報とに基づいて第２特徴量を生成する第２特徴生成部と、
   前記第１特徴量および前記第２特徴量を用いて算出された前記対象施設と前記ユーザとの関連度が第１閾値以上である対象施設の情報を、推奨施設情報として選択する推奨施設選択部と、を具備することを特徴とする拡張現実装置。
2. 前記推奨施設選択部は、少なくとも、前記第１特徴量と前記第２特徴量との類似度と、前記中心施設から前記対象施設までの距離が遠くなるほど小さい値となる重み付けとに基づいて、前記関連度を算出することを特徴とする請求項１に記載の拡張現実装置。
3. 前記興味項目は、前記ユーザのプロフィール情報に含まれることを特徴とする請求項１または請求項２に記載の拡張現実装置。
4. ユーザごとに、該ユーザと関係を有する１以上の関連ユーザをそれぞれ対応づけて格納する格納部をさらに具備し、
   前記第１特徴生成部は、前記ユーザおよび前記関連ユーザの興味項目に応じた第１特徴量を生成することを特徴とする請求項１から請求項３のいずれか１項に記載の拡張現実装置。
5. 前記第１特徴生成部は、前記第１特徴キーワードに対する１以上の第１値のそれぞれを成分とする、前記ユーザに関する１以上の第１興味項目に対応する第１ベクトルを生成し、関連ユーザに関する１以上の第２興味項目に対応する第２ベクトルを前記関連ユーザごとに生成し、前記ユーザと各関連ユーザとの間の関係に応じた第１重み値を前記第２ベクトルのそれぞれに乗じた複数の第３ベクトルと、前記第１ベクトルとの和を前記第１特徴量として生成することを特徴とする請求項４に記載の拡張現実装置。
6. 前記第１特徴生成部は、前記ユーザと前記関連ユーザとの関係性が高いほど前記第１重み値を大きく設定することを特徴とする請求項５に記載の拡張現実装置。
7. 前記第１特徴生成部は、前記ユーザと前記関連ユーザとの関係性が低いほど前記第１重み値を小さく設定することを特徴とする請求項５に記載の拡張現実装置。
8. 前記第１特徴生成部は、前記ユーザと前記関連ユーザとの関係を表すソーシャルグラフでの、該ユーザと該関連ユーザとの距離が第２閾値以内である関連ユーザのみを前記第１特徴量の生成に用いることを特徴とする請求項４から請求項７のいずれか１項に記載の拡張現実装置。
9. 前記第２特徴生成部は、前記対象施設ごとに、該対象施設の名称を検索ワードとして該対象施設に関する情報を含むコンテンツを検索し、検索結果のコンテンツに出現する前記第２特徴キーワードごとの出現頻度に基づいて第２値を生成し、該第２値を成分とする第４ベクトルを複数のコンテンツでそれぞれ生成し、複数の該第４ベクトルのそれぞれに第２重み値を乗じた和を前記第２特徴量として生成することを特徴とする請求項１から請求項８のいずれか１項に記載の拡張現実装置。
10. 前記推奨施設選択部は、前記対象施設の評価が高いほど前記関連度が高くなるように重み付けることを特徴とする請求項１から請求項９のいずれか１項に記載の拡張現実装置。
11. ユーザの位置情報と該ユーザが使用するカメラのレンズが向けられる方向とに基づいて、該カメラにより撮像される画像の中心に位置する中心施設を地図情報から推定する推定部と、
    前記中心施設から第１距離範囲内かつ前記カメラの画角内に存在する１以上の施設を前記地図情報から検索し、該施設を１以上の対象施設として得る対象施設検索部と、
    前記ユーザが興味を示す興味項目と当該興味項目の特徴を表現するキーワードである第１特徴キーワードとに基づいて、前記ユーザと前記対象施設の評価を行なったユーザを示す関連ユーザに関する第１特徴量を生成する第１特徴生成部と、
    前記対象施設の特徴を表現するキーワードである第２特徴キーワードと、前記対象施設に関連する情報とに基づいて第２特徴量を生成する第２特徴生成部と、
    前記第１特徴量および前記第２特徴量を用いて算出された前記対象施設と前記ユーザとの関連度が第１閾値以上である対象施設の情報を、推奨施設情報として選択する推奨施設選択部と、を具備することを特徴とする拡張現実装置。
12. 前記第１特徴生成部は、前記関連ユーザのうち、所定の条件を満たす関連ユーザのみに基づいて前記第１特徴量を生成することを特徴とする請求項１１に記載の拡張現実装置。
13. 前記推奨施設情報と前記カメラの画像データとを合成するデータ合成部と、
    合成された画像データを表示する表示部と、をさらに具備することを特徴とする請求項１から請求項１２のいずれか１項に記載の拡張現実装置。
14. 推定手段が、ユーザの位置情報と該ユーザが使用するカメラのレンズが向けられる方向とに基づいて、該カメラにより撮像される画像の中心に位置する中心施設を地図情報から推定し、
    検索手段が、前記中心施設から第１距離範囲内かつ前記カメラの画角内に存在する１以上の施設を前記地図情報から検索し、該施設を１以上の対象施設として得、
    第１特徴生成手段が、前記ユーザが興味を示す興味項目と、当該興味項目の特徴を表現するキーワードである第１特徴キーワードとに基づいて第１特徴量を生成し、
    第２特徴生成手段が、前記対象施設の特徴を表現するキーワードである第２特徴キーワードと、前記対象施設に関連する情報とに基づいて第２特徴量を生成し、
    推奨施設選択手段が、前記第１特徴量および前記第２特徴量を用いて算出された前記対象施設と前記ユーザとの関連度が第１閾値以上である対象施設の情報を、推奨施設情報として選択することを具備することを特徴とする拡張現実方法。
15. コンピュータを、
    ユーザの位置情報と該ユーザが使用するカメラのレンズが向けられる方向とに基づいて、該カメラにより撮像される画像の中心に位置する中心施設を地図情報から推定する推定手段と、
    前記中心施設から第１距離範囲内かつ前記カメラの画角内に存在する１以上の施設を前記地図情報から検索し、該施設を１以上の対象施設として得る対象施設検索手段と、
    前記ユーザが興味を示す興味項目と、当該興味項目の特徴を表現するキーワードである第１特徴キーワードとに基づいて第１特徴量を生成する第１特徴生成手段と、
    前記対象施設の特徴を表現するキーワードである第２特徴キーワードと、前記対象施設に関連する情報とに基づいて第２特徴量を生成する第２特徴生成手段と、
    前記第１特徴量および前記第２特徴量を用いて算出された前記対象施設と前記ユーザとの関連度が第１閾値以上である対象施設の情報を、推奨施設情報として選択する推奨施設選択手段として機能させるための拡張現実プログラム。

Images