JP2013218597A - 情報処理装置、表示制御方法及びプログラム - Google Patents

Abstract

【課題】ＡＲアプリケーションを通じて提供される多数の情報の中で、ユーザにとっての所望の情報の視認性を選択的に向上させること。
【解決手段】撮像装置を用いて実空間を撮像することにより生成される入力画像を取得する画像取得部と、前記入力画像に映る１つ以上の実物体の各々と関連付けられる仮想オブジェクトを前記入力画像に重畳する表示制御部と、前記１つ以上の実物体のうち少なくとも１つの実物体がユーザにより指定された後、当該指定された実物体を複数のフレームにわたって注目物体として選択する選択部と、を備え、前記表示制御部は、前記注目物体と関連付けられる仮想オブジェクトにより示される表示情報を、前記注目物体と前記撮像装置との間の相対的な位置又は姿勢に応じて変化させる、情報処理装置を提供する。
【選択図】図６

Description

本開示は、情報処理装置、表示制御方法及びプログラムに関する。

近年、実空間に付加的な情報を重畳してユーザに呈示する拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が注目されている。ＡＲ技術においてユーザに呈示される情報は、アノテーションとも呼ばれ、テキスト、アイコン又はアニメーションなどの様々な形態の仮想的なオブジェクトを用いて可視化され得る。アノテーションは、通常、入力画像に映るいずれかの実物体と関連付けられる位置に表示される。

ＡＲ技術を通じてユーザに情報を提供する際には、情報の視認性が失われないことが重要である。提供される情報が多ければ、多くの仮想オブジェクトが画像に重畳される結果として、視認性が低下し易い。そこで、下記特許文献１は、複数の仮想オブジェクトを１つの集合的な仮想オブジェクトに統合することにより、情報の視認性を向上させることを提案している。

特開２０１０−２３８０９８号公報

しかしながら、呈示される雑多な情報の中で、ユーザが求めている情報は、通常その一部のみである。ユーザにとっての所望の情報とその他の情報と区別することなく統合すれば、却って視認性が低下する結果ともなりかねない。また、ユーザ自身が移動し又はユーザが端末を動かす結果として画像に重畳される情報は変化し得るが、そのような変化する状況の下でユーザにとっての所望の情報をどのように取り扱うべきかについて、上記特許文献１は良好な解決策を開示していない。

従って、ＡＲアプリケーションを通じて提供される多数の情報の中で、ユーザにとっての所望の情報を他の情報と区別し、その所望の情報の視認性を選択的に向上させることのできる仕組みが提供されることが望ましい。

本開示によれば、撮像装置を用いて実空間を撮像することにより生成される入力画像を取得する画像取得部と、前記入力画像に映る１つ以上の実物体の各々と関連付けられる仮想オブジェクトを前記入力画像に重畳する表示制御部と、前記１つ以上の実物体のうち少なくとも１つの実物体がユーザにより指定された後、当該指定された実物体を複数のフレームにわたって注目物体として選択する選択部と、を備え、前記表示制御部は、前記注目物体と関連付けられる仮想オブジェクトにより示される表示情報を、前記注目物体と前記撮像装置との間の相対的な位置又は姿勢に応じて変化させる、情報処理装置が提供される。

また、本開示によれば、撮像装置を用いて実空間を撮像することにより生成される入力画像を取得することと、前記入力画像に映る１つ以上の実物体の各々と関連付けられる仮想オブジェクトを前記入力画像に重畳することと、前記１つ以上の実物体のうち少なくとも１つの実物体がユーザにより指定された後、当該指定された実物体を複数のフレームにわたって注目物体として選択することと、前記注目物体と関連付けられる仮想オブジェクトにより示される表示情報を、前記注目物体と前記撮像装置との間の相対的な位置又は姿勢に応じて変化させることと、を含む表示制御方法が提供される。

また、本開示によれば、情報処理装置を制御するコンピュータを、撮像装置を用いて実空間を撮像することにより生成される入力画像を取得する画像取得部と、前記入力画像に映る１つ以上の実物体の各々と関連付けられる仮想オブジェクトを前記入力画像に重畳する表示制御部と、前記１つ以上の実物体のうち少なくとも１つの実物体がユーザにより指定された後、当該指定された実物体を複数のフレームにわたって注目物体として選択する選択部と、として動作させるためのプログラムであって、前記表示制御部は、前記注目物体と関連付けられる仮想オブジェクトにより示される表示情報を、前記注目物体と前記撮像装置との間の相対的な位置又は姿勢に応じて変化させる、プログラムが提供される。

本開示に係る技術によれば、ＡＲアプリケーションを通じて提供される多数の情報の中で、ユーザにとっての所望の情報の視認性を選択的に向上させることができる。

一実施形態に係る情報処理装置の概要について説明するための説明図である。 既存のＡＲ技術によって表示され得る画像の一例について説明するための説明図である。 画像の中央に位置する仮想オブジェクトが強調的に表示される例について説明するための説明図である。 本開示に係る技術の基本的な原理について説明するための説明図である。 一実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 一実施形態に係る情報処理装置の論理的機能の構成の一例を示すブロック図である。 デフォルト物体を選択するための基準の第１の例について説明するための説明図である。 デフォルト物体を選択するための基準の第２の例について説明するための説明図である。 デフォルト物体を選択するための基準の第３の例について説明するための説明図である。 注目物体をロックするためのユーザインタフェースの一例を示す説明図である。 表示情報を制御するための制御パラメータの第１の例について説明するための説明図である。 表示情報を制御するための制御パラメータの第２の例について説明するための説明図である。 表示情報を制御するための制御パラメータの第３の例について説明するための説明図である。 アノテーションＤＢの構成の一例を示す説明図である。 スケールに従った表示情報の制御の一例について説明するための第１の説明図である。 スケールに従った表示情報の制御の一例について説明するための第２の説明図である。 距離に従った表示情報の制御の一例について説明するための第１の説明図である。 距離に従った表示情報の制御の一例について説明するための第２の説明図である。 角度に従った表示情報の制御の一例について説明するための第１の説明図である。 角度に従った表示情報の制御の一例について説明するための第２の説明図である。 未ロック状態における表示制御処理の流れの一例を示すフローチャートである。 ロック状態における表示制御処理の流れの一例を示すフローチャートである。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下の順序で説明を行う。
１．概要
２．一実施形態に係る装置の構成
２−１．ハードウェア構成
２−２．機能構成
２−３．表示情報の制御の例
３．処理の流れ
３−１．未ロック状態
３−２．ロック状態
４．まとめ

＜１．概要＞
まず、図１〜図４を用いて、本開示に係る技術の概要を説明する。

図１は、一実施形態に係る情報処理装置１００の概要について説明するための説明図である。図１を参照すると、ユーザＵａが有する情報処理装置１００が示されている。情報処理装置１００は、実空間１０に向けられたレンズを有する撮像部１０２と、表示部１１０とを備える。図１の例において、実空間１０には、様々な実物体（Real Object）１２ａ〜１２ｅが存在している。情報処理装置１００の撮像部１０２は、実空間１０を撮像する。情報処理装置１００の制御部（図示せず）は、撮像部１０２により撮像される画像を入力画像として受け取り、拡張現実（ＡＲ）アプリケーションを動作させる。ＡＲアプリケーションから出力される画像には、入力画像に映る１つ以上の実物体の各々と関連付けられる仮想オブジェクトが重畳される。表示部１１０は、仮想オブジェクトの重畳された画像を表示する。

図１では、情報処理装置１００の一例として携帯端末を示している。しかしながら、情報処理装置１００は、かかる例に限定されない。情報処理装置１００は、例えば、ＰＣ（Personal Computer）、ＰＤＡ（Personal Digital Assistant）、スマートフォン、ゲーム端末、ＰＮＤ（Portable Navigation Device）、コンテンツプレーヤ又はデジタル家電機器などであってもよい。また、ＡＲアプリケーションは、ユーザにより操作される端末上で動作する代わりに、端末との間で通信可能な他の装置（例えば、アプリケーションサーバ）上で動作してもよい。

図２は、既存のＡＲ技術によって表示され得る画像の一例について説明するための説明図である。図２を参照すると、画像Ｉｍ０１に、多数の仮想オブジェクトＶ０１〜Ｖ０７が重畳されている。各仮想オブジェクトは、それぞれ関連付けられる実物体に関する情報を示す。しかし、このように雑多な情報が呈示されると、ＡＲアプリケーションの視認性は低下する。これら情報の中で、通常、ユーザが求めている情報はその一部のみである。図２の例において、仮にユーザが実物体１２ａに関する情報、即ち仮想オブジェクトＶ０１により示される情報に興味を持っているとする。しかし、画像Ｉｍ０１には仮想オブジェクトＶ０１のみならず他の仮想オブジェクトも多数重畳されているため、ユーザにとって、それら情報の中から実物体１２ａに関する情報を見分けることは容易ではない。

図３は、画像の中央に位置する仮想オブジェクトが強調的に表示される例を示している。図３を参照すると、図１と同様の多数の仮想オブジェクトＶ０１〜Ｖ０７が、画像Ｉｍ０２に重畳されている。但し、図３の例では、画像の中央に位置する実物体と関連付けられる仮想オブジェクトＶ０３が、他の仮想オブジェクトよりも大きく表示されている。このような強調的な表示によって、少なくともこの時点における特定の情報の視認性を確保することができる。

しかしながら、上述したように、ＡＲアプリケーションは、通常、ユーザにより携帯される端末に搭載される撮像装置によって撮像される画像を、入力画像として用いる。ユーザが端末を持って移動するような場合には、カメラアングルが変化しないように端末の位置及び姿勢を維持し続けることは困難である。従って、ユーザが移動し又はユーザが端末を動かすような状況を想定すると、（例えば画像の中央などの）所定の位置の仮想オブジェクトを強調的に表示するだけでは、ユーザにとっての所望の情報の視認性を十分に確保できるとは言い難い。

そこで、本開示に係る技術では、注目する実物体（以下、注目物体という）を簡易な手法でユーザに指定させる仕組みが採用される。そして、複数のフレームにわたって注目物体の指定を維持することにより、カメラアングルの変化に影響されることなく、継続的に、注目物体に関する情報の視認性を向上させる。

図４は、本開示に係る技術の基本的な原理について説明するための説明図である。

図４を参照すると、２つの状態ＳＴ１及びＳＴ２の間の状態遷移が示されている。状態ＳＴ１は、注目物体が未だ指定されていない状態である。ＡＲアプリケーションの初期状態は、状態ＳＴ１であってよい。状態ＳＴ２は、注目物体が指定済みとなった状態である。状態ＳＴ１から状態ＳＴ２への遷移を、本明細書では「（注目物体の）ロック」という。ロックのトリガは、典型的には、何らかのユーザ入力であってよい。状態ＳＴ２から状態ＳＴ１への遷移を、本明細書では「ロック解除」という。ロック解除のトリガは、例えば、何らかのユーザ入力であってもよく、又はロックからの所定の時間の経過などであってもよい。

図４の右上の画像Ｉｍ１１及び画像Ｉｍ１２は、注目物体がロックされていない状態ＳＴ１において表示され得る画像の例である。画像Ｉｍ１１に映る複数の実物体のうち、実物体１４ａがデフォルト物体として選択されている。デフォルト物体１４ａと関連付けられる仮想オブジェクトは、他の仮想オブジェクトよりも強調的に表示される。しかし、カメラアングルが変化すると、デフォルト物体も変化し得る。例えば、画像Ｉｍ１２においては、実物体１４ａではなく実物体１４ｂがデフォルト物体として選択されている。

対照的に、図４の右下の画像Ｉｍ２１及び画像Ｉｍ２２は、注目物体がロックされている状態ＳＴ２において表示され得る画像の例である。画像Ｉｍ２１に映る複数の実物体のうち、実物体１４ａが注目物体として選択されている。注目物体１４ａと関連付けられる仮想オブジェクトは、他の仮想オブジェクトよりも強調的に表示される。カメラアングルが変化しても、ロックされた注目物体は変化しない。例えば、画像Ｉｍ２２において、依然として実物体１４ａが注目物体として選択されており、注目物体１４ａと関連付けられる仮想オブジェクトが継続して他の仮想オブジェクトよりも強調的に表示されている。

このように複数のフレームにわたって注目物体の選択が維持されることにより、端末の動きに応じて表示情報が動的に変化するような場合に、ユーザにより注目されている実物体に関する情報を、ユーザが見失うことなく、高い視認性で提供することができる。このような仕組みを実現する実施形態について、次節より詳細に説明する。

＜２．一実施形態に係る装置の構成＞
［２−１．ハードウェア構成］
図５は、一実施形態に係る情報処理装置１００のハードウェア構成の一例を示すブロック図である。図５を参照すると、情報処理装置１００は、撮像部１０２、センサ部１０４、入力部１０６、記憶部１０８、表示部１１０、通信部１１２、バス１１６及び制御部１１８を備える。

（１）撮像部
撮像部１０２は、画像を撮像するカメラモジュールである。撮像部１０２は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を用いて実空間を撮像し、撮像画像を生成する。撮像部１０２により生成される撮像画像は、制御部１１８による表示制御処理の入力画像となる。なお、撮像部１０２は、必ずしも情報処理装置１００の一部でなくてもよい。例えば、情報処理装置１００と有線又は無線で接続される撮像装置が撮像部１０２として扱われてもよい。

（２）センサ部
センサ部１０４は、測位センサ（例えば、ＧＰＳ（Global Positioning System）モジュールなど）、地磁気センサ、加速度センサ及びジャイロセンサなどの様々なセンサを含み得る。測位センサは、端末の現在位置を測定する。地磁気センサは、端末の現在の姿勢（方位）を測定する。センサ部１０４において得られる測定結果は、地理的な位置に特化したデータの取得、環境認識の支援、又はユーザ入力の検出などの様々な用途のために利用されてよい。なお、センサ部１０４は、情報処理装置１００の構成から省略されてもよい。

（３）入力部
入力部１０６は、ユーザが情報処理装置１００を操作し又は情報処理装置１００へ情報を入力するために使用される入力デバイスである。入力部１０６は、例えば、表示部１１０の画面上へのユーザによるタッチを検出するタッチセンサを含んでもよい。その代わりに（又はそれに加えて）、入力部１０６は、マウス若しくはタッチパッドなどのポインティングデバイスを含んでもよい。さらに、入力部１０６は、キーボード、キーパッド、ボタン又はスイッチなどのその他の種類の入力デバイスを含んでもよい。

（４）記憶部
記憶部１０８は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、情報処理装置１００による処理のためのプログラム及びデータを記憶する。記憶部１０８により記憶されるデータは、例えば、撮像画像データ、センサデータ及び後に説明する様々なデータベース（ＤＢ）内のデータを含み得る。なお、本明細書で説明するプログラム及びデータの一部は、記憶部１０８により記憶されることなく、外部のデータソース（例えば、データサーバ、ネットワークストレージ又は外付けメモリなど）から取得されてもよい。

（５）表示部
表示部１１０は、ＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic light-Emitting Diode）又はＣＲＴ（Cathode Ray Tube）などのディスプレイを含む表示モジュールである。表示部１１０は、例えば、情報処理装置１００により生成されるＡＲアプリケーションの画像を表示するために使用される。なお、表示部１１０もまた、必ずしも情報処理装置１００の一部でなくてもよい。例えば、情報処理装置１００と有線又は無線で接続される表示装置が表示部１１０として扱われてもよい。

（６）通信部
通信部１１２は、情報処理装置１００による他の装置との間の通信を仲介する通信インタフェースである。通信部１１２は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。

（７）バス
バス１１６は、撮像部１０２、センサ部１０４、入力部１０６、記憶部１０８、表示部１１０、通信部１１２及び制御部１１８を相互に接続する。

（８）制御部
制御部１１８は、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）などのプロセッサに相当する。制御部１１８は、記憶部１０８又は他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する情報処理装置１００の様々な機能を動作させる。

［２−２．機能構成］
図６は、図５に示した情報処理装置１００の記憶部１０８及び制御部１１８により実現される論理的機能の構成の一例を示すブロック図である。図６を参照すると、情報処理装置１００は、画像取得部１２０、データ取得部１３０、環境認識部１４０、環境データベース（ＤＢ）１５０、選択部１６０、表示制御部１７０及びアノテーションＤＢ１８０を有する。

（１）画像取得部
画像取得部１２０は、撮像部１０２により生成される撮像画像を入力画像として取得する。画像取得部１２０により取得される入力画像は、実空間を映した画像である。当該入力画像は、典型的には、動画を構成する各フレームである。画像取得部１２０は、取得した入力画像を、環境認識部１４０及び表示制御部１７０へ出力する。

（２）データ取得部
データ取得部１３０は、環境認識部１４０による環境の認識、及び表示制御部１７０による表示の制御のために使用されるデータを取得する。例えば、データ取得部１３０は、センサ部１０４により生成されるセンサデータ（例えば、位置データ及び姿勢データ）を取得してもよい。また、データ取得部１３０は、端末の現在位置の近傍に存在する実物体に関するデータ（例えば、後述するマップデータ、画像認識のための特徴データ又はアノテーションデータなど）を、端末の現在位置を用いて外部のデータサーバに問合せを行うことにより取得してもよい。

（３）環境認識部
環境認識部１４０は、入力画像に映る１つ以上の実物体を認識する。環境認識部１４０は、例えば、各実物体の識別子と実空間内の位置とを関連付けるマップデータに基づいて、端末の位置及び姿勢から判定されるカメラアングルに入る実物体を認識してもよい。環境認識部１４０は、当該マップデータを、外部のデータサーバからデータ取得部１３０を介して取得してもよい。その代わりに、環境認識部１４０は、ＳＵＲＦ法（H.Bay, A.Ess, T.Tuytelaars and L.V.Gool, “Speeded-Up Robust Features (SURF)”, Computer Vision-ECCV，2006参照）又はＳＬＡＭ法（Andrew J.Davison，“Real-Time Simultaneous Localization and Mapping with a Single Camera”，Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2, 2003, pp.1403-1410参照）などの公知の環境認識技術を入力画像に適用することにより、入力画像に映る１つ以上の実物体を認識してもよい。環境認識部１４０は、環境認識の結果を環境ＤＢ１５０に記憶させる。

なお、環境認識部１４０は、注目物体が選択されている間、即ちロック状態の間、注目物体のみを入力画像内で認識してもよい。それにより、環境認識処理に要する処理コストを低減することができる。未ロック状態においては、環境認識部１４０は、デフォルト物体及び他の実物体を入力画像内で認識する。

（４）環境ＤＢ
環境ＤＢ１５０は、環境認識部１４０による環境認識の結果を記憶するデータベースである。環境ＤＢ１５０により記憶される環境認識の結果は、例えば、グローバル座標系における、認識された実物体及び端末の３次元的な位置及び姿勢を含んでもよい。また、環境認識の結果は、端末固有の座標系（典型的には、撮像面を基準とする縦、横及び奥行方向の軸を有する座標系）における、認識された実物体の位置及び姿勢を含んでもよい。また、環境認識の結果は、撮像面の２次元座標系における認識された実物体の位置を含んでもよい。後述する表示制御部１７０は、環境ＤＢ１５０により記憶されるこれらデータを用いて、ＡＲ空間内の仮想オブジェクトの配置を決定し得る。

（５）選択部
選択部１６０は、入力画像に映る１つ以上の実物体からデフォルト物体又は注目物体を選択する。例えば、選択部１６０は、ユーザにより注目物体が未だ指定されていない未ロック状態（図４に示した状態ＳＴ１）においては、入力画像に映る実物体のうち所与の基準で特定される実物体をデフォルト物体として選択する。また、選択部１６０は、少なくとも１つの実物体がユーザにより指定されると、当該指定された実物体を注目物体として選択する（ロックする）。注目物体の指定が解除されるまでのロック状態（図４に示した状態ＳＴ２）の間、選択部１６０は、複数のフレームにわたって、指定された実物体を注目物体として選択し続ける。

（５−１）デフォルト物体の選択
本実施形態において、選択部１６０は、所与の基準に従って、デフォルト物体を自動的に選択する。所与の基準とは、例えば、入力画像内の実物体の２次元的な位置、実空間内の実物体の３次元的な位置、及び撮像装置を基準とする実物体の姿勢、のうち少なくとも１つに関する基準であってよい。

図７は、デフォルト物体を選択するための基準の第１の例について説明するための説明図である。第１の例において、デフォルト物体を選択するための基準は、入力画像内の実物体の２次元的な位置に関する。より具体的には、入力画像の中央の最も近くに位置する実物体が、デフォルト物体として選択され得る。図７を参照すると、一例としての入力画像Ｉｍ３１内で、実物体１５ａ〜１５ｆが認識されている。これら実物体１５ａ〜１５ｆのうち、実物体１５ａが、撮像面に対応するＸＹ平面において入力画像の中央の最も近くに位置している。従って、第１の例において、選択部１６０は、実物体１５ａをデフォルト物体として選択する。なお、かかる例に限定されず、選択部１６０は、予め定義され得る入力画像内の任意の場所に位置する実物体を、デフォルト物体として選択してよい。

図８は、デフォルト物体を選択するための基準の第２の例について説明するための説明図である。第２の例において、デフォルト物体を選択するための基準は、実空間内の実物体の３次元的な位置に関する。より具体的には、実空間内で端末から所定の距離離れた場所に位置する実物体が、デフォルト物体として選択され得る。ここでの所定の距離は、ユーザにより設定されてもよく、又はＡＲアプリケーションの目的に応じて定義されてもよい。図８を参照すると、一例としての入力画像Ｉｍ３２内で、実物体１６ａ〜１６ｅが認識されている。実物体１６ａ〜１６ｅと端末との間の距離は、それぞれ距離Ｄａ〜Ｄｅである。ここで、選択基準として与えられる所定の距離Ｄ_ｄｆｔは距離Ｄａに最も近いものとする。この場合、選択部１６０は、実物体１６ａをデフォルト物体として選択する。

図９は、デフォルト物体を選択するための基準の第３の例について説明するための説明図である。第３の例において、デフォルト物体を選択するための基準は、撮像装置を基準とする実物体の姿勢、及び入力画像内の実物体の２次元的な位置に関する。より具体的には、入力画像の中央の所定の領域に映っている実物体のうち、撮像面に正対している（その実物体の正面が撮像面の方向に向いている）実物体が、デフォルト物体として選択され得る。図９の例では、所定の領域とは、領域ＣＡである。一例としての入力画像Ｉｍ３３内で、領域ＣＡには、実物体１７ａ〜１７ｃが映っている。実物体１７ａ〜１７ｃの姿勢は、環境認識部１４０により認識され、例えば、それぞれ法線ベクトルＶａ〜Ｖｃにより表現され得る。法線ベクトルＶａは撮像面に対して略垂直である一方、法線ベクトルＶｂ及びＶｃは撮像面に対して垂直から大きく外れた角度を有する。この場合、選択部１６０は、実物体１７ａをデフォルト物体として選択する。

なお、図７〜図９に示したデフォルト物体の選択基準は、例に過ぎない。上述した基準はどのように組み合わせてもよく、又は他の選択基準がデフォルト物体を選択するために用いられてもよい。

（５−２）注目物体の選択
選択部１６０は、注目物体をロックするためのトリガの検出に応じて、未ロック状態からロック状態に遷移し、ロック状態において注目物体を選択する。注目物体をロックするためのトリガは、情報処理装置１００により提供されるユーザインタフェースを介して検出され得る。当該ユーザインタフェースは、画面上に表示されるグラフィカルユーザインタフェースであってもよく、又はキー若しくはボタンなどの物理的なユーザインタフェースであってもよい。また、ジェスチャ認識又は音声認識に基づくユーザインタフェースが利用されてもよい。

より具体的には、本実施形態において、選択部１６０は、ユーザインタフェースを介して所定のユーザ入力が検出された時点で選択されているデフォルト物体を、注目物体として選択する。従って、ユーザは、興味を引かれた実物体がデフォルト物体として選択されるように端末の位置又は姿勢を調整した上で、上述したトリガを情報処理装置１００に与えることにより、当該実物体を注目物体としてロックすることができる。

図１０は、注目物体をロックするためのユーザインタフェースの一例を示す説明図である。図１０の左には、未ロック状態において、デフォルト物体として選択されている実物体１８ａが示されている、画面上では、実物体１８ａと関連付けられる仮想オブジェクトＶ１１が画像に重畳されている。ここで、ユーザは、ボタンＢ１を押下する。すると、選択部１６０は、未ロック状態からロック状態に遷移する。図１０の右には、ロック状態において注目物体として選択されている実物体１８ａが示されている。また、画面上では、実物体１８ａが注目物体としてロックされたことをユーザに通知するためのメッセージが表示されると共に、仮想オブジェクトＶ１１の表示が変化している。このようなユーザインタフェースによれば、入力画像に映る多数の実物体の中からどの実物体を注目物体として選択するかを、ユーザは画面上で具体的に指定しなくてもよい。なお、上述したように、ボタンＢ１の押下の代わりに、画面へのタッチ又は音声コマンドの入力などの他の種類のユーザ入力が注目物体をロックするために利用されてもよい。

注目物体が一度ロックされると、選択部１６０は、入力画像内の注目物体の位置及び姿勢に依存することなく、複数のフレームにわたって同じ注目物体を選択し続ける。従って、ロック状態でユーザが移動し又は端末が動かされたとしても、注目物体は維持され、注目物体に関する情報が継続的に呈示され得る。ロックを解除するためのトリガは、注目物体をロックするための上述したトリガと同様のユーザ入力であってもよく、又はロックからの所定の時間の経過などであってもよい。

（６）表示制御部
表示制御部１７０は、拡張現実（ＡＲ）アプリケーションの表示を制御する。より具体的には、表示制御部１７０は、入力画像に映る実物体に関する情報をアノテーションＤＢ１８０から取得し、取得した情報を示す仮想オブジェクトを、実物体と関連付けて入力画像に重畳する。

注目物体がロックされていない未ロック状態において、表示制御部１７０は、選択部１６０により選択されるデフォルト物体がユーザにとって識別可能となるように、当該デフォルト物体と関連付けられる仮想オブジェクトの表示を制御する。例えば、表示制御部１７０は、デフォルト物体と関連付けられる仮想オブジェクトの形状、サイズ、明るさ、色又は透過度などの表示属性を、他の仮想オブジェクトとは異なる値に設定する。

注目物体がロックされているロック状態において、表示制御部１７０は、選択部１６０により選択される注目物体がユーザにとって識別可能となるように、当該注目物体と関連付けられる仮想オブジェクトの表示を制御する。注目物体以外の実物体に関する情報は、その存在のみがユーザにより認識されるように簡略的に表示されてもよく、又は表示されなくてもよい。

また、表示制御部１７０は、デフォルト物体又は注目物体と関連付けられる仮想オブジェクトにより示される表示情報を、当該物体と撮像装置との間の相対的な位置及び姿勢の少なくとも一方に応じて変化させる。例えば、表示制御部１７０は、注目物体と撮像装置との間の相対的な位置又は姿勢に依存する少なくとも１つの制御パラメータを計算する。そして、表示制御部１７０は、計算した制御パラメータに従って、表示情報を変化させる。

例えば、表示制御部１７０は、注目物体（デフォルト物体）からの撮像装置の距離が近いほど、表示情報の粒度を高めてもよい。本明細書において、情報の粒度とは、情報の詳しさの程度を意味するものとする。一般的に、粒度の高い情報の情報量は、粒度の低い情報の情報量よりも多い。例えば、クチコミ情報提供サービスにおいて、商品の名称、価格及びレーティングなどの情報は、商品の詳細説明及びレビューなどの情報と比較して、より粒度の低い情報であると言える。また、地図情報提供サービスにおいて、施設の名称及び場所などの情報は、施設の詳細説明及びイベント情報などの情報と比較して、より粒度の低い情報であると言える。

また、例えば、表示制御部１７０は、注目物体（デフォルト物体）の撮像面に対する姿勢に応じて、表示情報の種類を変化させてもよい。例えば、同じ実物体をユーザが正面、上、下、左及び右のいずれの方向から見ているかによって、異なる種類の情報が表示され得る。

図１１は、表示情報を制御するための制御パラメータの第１の例について説明するための説明図である。第１の例において、制御パラメータは、撮像面に投影される実物体のスケールＳＣである。図１１を参照すると、入力画像Ｉｍ４１に映る実物体１９ａが示されている。実空間における実物体１９ａのサイズは、Ｈ_ｒｅａｌである。撮像面に投影された実物体１９ａの（画像内での）サイズは、Ｈ_ｓｃｒである。制御パラメータＳＣは、ＳＣ＝Ｈ_ｓｃｒ／Ｈ_ｒｅａｌとして計算され得る。制御パラメータＳＣの値は、実物体からの撮像装置の距離がより近いほど、より大きくなる。

図１２は、表示情報を制御するための制御パラメータの第２の例について説明するための説明図である。第２の例において、制御パラメータは、実物体からの撮像装置の距離ＤＩＳＴである。図１２を参照すると、入力画像Ｉｍ４２に映る実物体１９ｂが示されている。実空間において、実物体１９ｂは位置Ｐ_ｏｂｊに、情報処理装置１００は位置Ｐ_ｄｅｖにそれぞれ存在する。制御パラメータＤＩＳＴは、ＤＩＳＴ＝｜Ｐ_ｄｅｖ−Ｐ_ｏｂｊ｜として計算され得る。

図１３は、表示情報を制御するための制御パラメータの第３の例について説明するための説明図である。第３の例において、制御パラメータは、撮像面に対する実物体の角度ＡＮＧである。図１３を参照すると、入力画像Ｉｍ４３に映る実物体１９ｃが示されている。撮像面の奥行き方向（Ｚ方向）に対して実物体１９ｃの法線ベクトルＶ_ｏｂｊのなす角度は、環境認識の結果として環境ＤＢ１５０により記憶され得る実物体１９ｃの姿勢及び端末の姿勢から計算され得る。

本実施形態において、表示制御部１７０は、アノテーションＤＢ１８０に蓄積されているアノテーションデータから、上述した制御パラメータに適合するデータをフィルタリングすることにより、表示すべき情報を抽出する。

（７）アノテーションＤＢ
アノテーションＤＢ１８０は、実空間に存在する１つ以上の実物体の各々に関してユーザに提供される情報を蓄積しているデータベースである。ＡＲアプリケーションにおいてユーザに呈示される情報は、表示制御部１７０によりアノテーションＤＢ１８０から選択され、仮想オブジェクトの形で可視化される。

図１４は、アノテーションＤＢ１８０の構成の一例を示す説明図である。図１４を参照すると、アノテーションＤＢ１８０は、カテゴリ１８２ａ、物体ＩＤ１８２ｂ、アノテーションＩＤ１８２ｃ、制御タイプ１８２ｄ、表示範囲１８２ｅ、データ１８２ｆ及び備考１８２ｇという７つのデータ項目を有する。

カテゴリ１８２ａは、各アノテーションに対応する実物体の種類を表す。例えば、アノテーションデータ１８４ａ及び１８４ｂのカテゴリは、食事のメニューである。アノテーションデータ１８４ｃ及び１８４ｄのカテゴリは、施設である。アノテーションデータ１８４ｅ〜１８４ｈのカテゴリは、展示物である。

物体ＩＤ１８２ｂは、各アノテーションに対応する実物体を識別するための識別子である。１つの実物体について複数のアノテーションが存在してもよい。

アノテーションＩＤ１８２ｃは、各アノテーションを一意に識別するための識別子である。

制御タイプ１８２ｄは、各アノテーションをフィルタリングする際に使用される制御パラメータの種類を表す。例えば、アノテーションデータ１８４ａ及び１８４ｂは、スケールを示す制御パラメータＳＣを用いてフィルタリングされる。アノテーションデータ１８４ｃ及び１８４ｄは、距離を示す制御パラメータＤＩＳＴを用いてフィルタリングされる。アノテーションデータ１８４ｅ〜１８４ｈは、距離を示す制御パラメータＤＩＳＴ及び角度を示す制御パラメータＡＮＧを用いてフィルタリングされる。

表示範囲１８２ｅは、各アノテーションが表示されることになる制御パラメータの値の範囲を表す。ここでの制御パラメータは、制御タイプ１８２ｄにより表される種類の制御パラメータである。例えば、アノテーションデータ１８４ａの情報は、制御パラメータＳＣの値が範囲［１．０，３．０］に含まれる場合に表示される。アノテーションデータ１８４ｂの情報は、制御パラメータＳＣの値が範囲［３．０，５．０］に含まれる場合に表示される。アノテーションデータ１８４ｃの情報は、制御パラメータＤＩＳＴの値が範囲［１００，１０００］に含まれる場合に表示される。アノテーションデータ１８４ｄの情報は、制御パラメータＤＩＳＴの値が範囲［３０，１２０］に含まれる場合に表示される。アノテーションデータ１８４ｅの情報は、制御パラメータＤＩＳＴの値が範囲［１．０，３．０］に含まれ、かつ制御パラメータＡＮＧの値が−１５度以下である場合に表示される。アノテーションデータ１８４ｆ〜１８４ｈについても、図１４に示した通りである。

データ１８２ｆは、各アノテーションの情報の実体である。情報は、テキスト形式、イメージ形式又は外部のデータソースへのリンク形式など、いかなる形式で記述されてもよい。

備考１８２ｇは、各アノテーションの情報の概略的な説明を表す。例えば、アノテーションデータ１８４ａは、食事のメニューのレーティング情報である。アノテーションデータ１８４ｂは、レーティング情報よりも詳細化された情報に相当する、レビューコメントである。アノテーションデータ１８４ｃは、施設の場所を指し示す標識である。アノテーションデータ１８４ｄは、施設の場所よりも詳細化された情報に相当する、施設の入口を案内する案内情報である。アノテーションデータ１８４ｅ〜１８４ｇは、展示物をそれぞれ右、正面及び左から見た場合の当該展示物の概要情報である。アノテーションデータ１８４ｈは、展示物についての詳細情報である。

表示制御部１７０は、例えば注目物体が実物体ＭＮ１である場合に、実物体ＭＮ１について計算される制御パラメータＳＣの値を用いて、アノテーションデータ１８４ａ及び１８４ｂから１つ以上のデータを抽出する。例えば、ＳＣ＝２．０［ｍ］であればアノテーションデータ１８４ａが抽出され、、ＳＣ＝４．０［ｍ］であればアノテーションデータ１８４ｂが抽出される。

同様に、表示制御部１７０は、例えば注目物体が実物体ＦＣ２である場合に、実物体ＦＣ２について計算される制御パラメータＤＩＳＴの値を用いて、アノテーションデータ１８４ｃ及び１８４ｄから１つ以上のデータを抽出する。ここで着目すべきは、アノテーションデータ１８４ｃ及び１８４ｄの表示範囲が互いに重複している点である。例えば、ＤＩＳＴ＝１１０［ｍ］であれば、アノテーションデータ１８４ｃ及び１８４ｄの双方が抽出される。このような部分的に重複する範囲が設けられることにより、ユーザが徐々に実物体ＦＣ２に近づいた（あるいは遠ざかった）場合に、表示情報が急に入れ替わってユーザに戸惑いを与えることなく、順次新たな情報をユーザに呈示することができる。

表示制御部１７０は、表示情報が変化することがユーザに予測されるように、注目物体と関連付けられる仮想オブジェクトの表示を制御してもよい。例えば、実物体ＦＣ２が注目物体である状況において、表示制御部１７０は、制御パラメータＤＩＳＴの値が１２０［ｍ］を少しだけ上回る場合に、より実物体ＦＣ２に近づくことにより新たな情報が表示されることを示す補助的な仮想オブジェクトを画像に重畳する。それにより、注目物体により近づいて新たな情報を得ようとする動機づけをユーザに与えることができる。

なお、表示情報の制御は、図１４に例示したようなデータ構成を用いることなく実現されてもよい。例えば、表示制御部１７０は、制御パラメータの値に応じて、粒度の高いある情報から、情報の一部分を抜粋し又は情報の要約を自動的に作成することにより、より粒度の低い情報を動的に生成してもよい。その場合には、アノテーションＤＢ１８０のデータ構成は、より簡略化され得る。

［２−３．表示情報の制御の例］
（１）第１の例
図１５Ａ及び図１５Ｂは、スケールに従った表示情報の制御の一例について説明するための説明図である。

図１５Ａを参照すると、レストランの店頭に設置されるメニューケース２０を撮像する情報処理装置１００が示されている。メニューケース２０には複数のメニューが陳列されている。情報処理装置１００の環境認識部１４０は、入力画像に映るこれらメニューを実物体として認識する。表示制御部１７０は、認識された実物体と関連付けられる情報をアノテーションＤＢ１８０から抽出し、抽出した情報を示す仮想オブジェクトを画像に重畳する。図１５Ａの例では、仮想オブジェクトＶ２１、Ｖ２２ａ〜Ｖ２２ｄが画像に重畳されている。これら仮想オブジェクトＶ２１、Ｖ２２ａ〜Ｖ２２ｄは、各メニューのレーティングスコアを、星印の数で示している。仮想オブジェクトＶ２１は、注目物体又はデフォルト物体として選択されているメニューＲ２１に関するレーティングスコアを示している。

図１５Ｂを参照すると、ユーザが図１５Ａに示したメニューケース２０に情報処理装置１００を近づけている様子が示されている。メニューＲ２１と情報処理装置１００との間の距離が近づいたことにより、メニューＲ２１のスケールはより大きくなる。その結果、メニューＲ２１に関するレーティングスコアの代わりに、メニューＲ２１に関するレビューコメントを示す仮想オブジェクトＶ２３が画像に重畳されている。

第１の例によれば、ユーザは、まず、未ロック状態でメニューケースの全体を撮像して複数のレーティングスコアを概観し、いずれかのメニューに興味を持つ。そして、興味を持ったメニューを注目物体としてロックした上で、端末を当該メニューに近づけることにより、そのメニューに関する詳細な情報を閲覧することができる。

（２）第２の例
図１６Ａ及び図１６Ｂは、距離に従った表示情報の制御の一例について説明するための説明図である。

図１６Ａを参照すると、様々な施設を有する遊園地の遠景を撮像する情報処理装置１００が示されている。情報処理装置１００の環境認識部１４０は、入力画像に映る個々の施設を実物体として認識する。表示制御部１７０は、認識された実物体と関連付けられる情報をアノテーションＤＢ１８０から抽出し、抽出した情報を示す仮想オブジェクトを画像に重畳する。図１６Ａの例では、仮想オブジェクトＶ３１が画像に重畳されている。仮想オブジェクトＶ３１は、施設Ｒ３１までの距離を示すと共に、施設Ｒ３１の場所を指し示している。

図１６Ｂを参照すると、ユーザが図１６Ａに示した施設Ｒ３１により接近した様子が示されている。施設Ｒ３１と情報処理装置１００との間の距離が近づいた結果、施設Ｒ３１に関する概略的な場所の情報の代わりに、施設Ｒ３１に関する入口案内情報を示す仮想オブジェクトＶ３２が画像に重畳されている。

第２の例によれば、ユーザは、目的とする施設を注目物体としてロックし、ＡＲアプリケーションにより提供される情報を参照しながら、当該施設に向けて移動する。その間、例えば画像の中央に目的とする施設が位置するように、カメラアングルを維持し続ける必要はない。そして、目的とする施設に近づくと、ユーザは、当該施設に関するより詳細な情報を閲覧することができる。

（３）第３の例
図１７Ａ及び図１７Ｂは、角度に従った表示情報の制御の一例について説明するための説明図である。

図１７Ａを参照すると、様々な展示物を展示する美術館の内部を撮像する情報処理装置１００が示されている。情報処理装置１００の環境認識部１４０は、入力画像に映る個々の展示物を実物体として認識する。表示制御部１７０は、認識された実物体と関連付けられる情報をアノテーションＤＢ１８０から抽出し、抽出した情報を示す仮想オブジェクトを画像に重畳する。図１７Ａの例では、仮想オブジェクトＶ４１が画像に重畳されている。仮想オブジェクトＶ４１は、展示物Ｒ４１を正面から見た場合の展示物Ｒ４１に関する概要情報を示している。

図１７Ｂを参照すると、図１７Ａの例とは別の角度から展示物Ｒ４１を撮像している情報処理装置１００が示されている。撮像面に対する展示物Ｒ４１の姿勢が変化した結果、仮想オブジェクトＶ４１に加えて、展示物Ｒ４１を右側から見た場合の展示物Ｒ４１に関する概要情報を示す仮想オブジェクトＶ４２が画像に重畳されている。

第３の例によれば、ユーザは、目的とする展示物を注目物体としてロックする。ＡＲアプリケーションは、当該展示物についての情報をユーザに提供する。ユーザが端末を動かすと、ユーザは、当該展示物について、端末の姿勢に依存して他の種類の情報も提供されることに気付く。端末を動かす間、注目物体がロックされていれば、ユーザにとって、カメラアングルに過度に注意を払う必要はない。そのため、ユーザは、ストレスを感じることなく、提供される情報を参照しながら目的とする展示物を鑑賞することができる。

図１５Ａ〜図１７Ｂを用いて説明したように、本実施形態において、仮想オブジェクトにより示される表示情報は、対応する実物体と端末との間の相対的な位置又は姿勢に応じて変化する。しかし、ユーザは、注目物体をロックすれば、端末をどのように動かしても、注目物体に関する情報を、他の情報と区別し得る形式で継続的に明瞭に視認することができる。

＜３．処理の流れ＞
［３−１．未ロック状態］
図１８は、情報処理装置１００により実行される、未ロック状態における表示制御処理の流れの一例を示すフローチャートである。

図１８を参照すると、まず、画像取得部１２０は、撮像部１０２により生成される撮像画像を入力画像として取得する（ステップＳ１１０）。そして、画像取得部１２０は、取得した入力画像を、環境認識部１４０及び表示制御部１７０へ出力する。

次に、環境認識部１４０は、入力画像に映る１つ以上の実物体を認識する（ステップＳ１２０）。そして、環境認識部１４０は、認識した実物体の位置及び姿勢に関連する認識結果を環境ＤＢ１５０に記憶させる。

次に、選択部１６０は、環境認識部１４０により認識された実物体から、所与の基準に従って、デフォルト物体を選択する（ステップＳ１３０）。そして、選択部１６０は、選択したデフォルト物体の識別子を、表示制御部１７０へ出力する。

次に、表示制御部１７０は、選択部１６０により選択されたデフォルト物体について、制御パラメータの値を計算する（ステップＳ１４０）。ここで計算される制御パラメータは、例えば、アノテーションＤＢ１８０の制御タイプ１８２ｄにより表される種類のパラメータ（例えば、スケール、距離及び角度のうち少なくとも１つ）であってよい。

次に、表示制御部１７０は、計算した制御パラメータの値を用いて、アノテーションＤＢ１８０から、デフォルト物体に関する表示情報を抽出する（ステップＳ１５０）。

次に、表示制御部１７０は、抽出した表示情報を示す、デフォルト物体と関連付けられる仮想オブジェクトを生成する（ステップＳ１６０）。

また、表示制御部１７０は、デフォルト物体以外の実物体と関連付けられる仮想オブジェクトをも生成し得る（ステップＳ１７０）。

そして、表示制御部１７０は、ステップＳ１６０及びステップＳ１７０において生成した仮想オブジェクトを、実物体と関連付けて画像に重畳する（ステップＳ１８０）。

その後、処理はステップＳ１１０へ戻り、新たに取得される入力画像について上述した表示制御処理が繰り返される。その間、ロック状態への遷移のトリガが監視され、当該トリガが検出された場合には、情報処理装置１００は、次に説明するロック状態における表示制御処理を実行する。

［３−２．ロック状態］
図１９は、情報処理装置１００により実行される、ロック状態における表示制御処理の流れの一例を示すフローチャートである。

図１９を参照すると、まず、画像取得部１２０は、撮像部１０２により生成される撮像画像を入力画像として取得する（ステップＳ１１０）。そして、画像取得部１２０は、取得した入力画像を、環境認識部１４０及び表示制御部１７０へ出力する。

次に、環境認識部１４０は、入力画像内で、選択部１６０により選択された注目物体を認識する（ステップＳ２２０）。そして、環境認識部１４０は、注目物体の位置及び姿勢に関連する認識結果を環境ＤＢ１５０に記憶させる。

その後の処理は、入力画像に注目物体が映っている場合に実行される（ステップＳ２３０。

入力画像に注目物体が映っている場合に、表示制御部１７０は、選択部１６０により選択された注目物体について、制御パラメータの値を計算する（ステップＳ２４０）。ここで計算される制御パラメータは、例えば、アノテーションＤＢ１８０の制御タイプ１８２ｄにより表される種類のパラメータ（例えば、スケール、距離及び角度のうち少なくとも１つ）であってよい。

次に、表示制御部１７０は、計算した制御パラメータの値を用いて、アノテーションＤＢ１８０から、注目物体に関する表示情報を抽出する（ステップＳ２５０）。

次に、表示制御部１７０は、抽出した表示情報を示す、注目物体と関連付けられる仮想オブジェクトを生成する（ステップＳ２６０）。

そして、表示制御部１７０は、ステップＳ２６０において生成した仮想オブジェクトを、注目物体と関連付けて画像に重畳する（ステップＳ２８０）。

その後、処理はステップＳ１１０へ戻り、新たに取得される入力画像について上述した表示制御処理が繰り返される。その間、未ロック状態への遷移（ロック解除）のトリガが監視され、当該トリガが検出された場合には、情報処理装置１００の状態は未ロック状態に戻る。

＜４．まとめ＞
ここまで、図１〜図１９を用いて、本開示に係る技術の実施形態について詳細に説明した。上述した実施形態によれば、実物体と関連付けられる拡張現実のための表示情報が実物体と端末との間の相対的な位置又は姿勢に応じて変化する場合に、入力画像に映る少なくとも１つの実物体がユーザによる指定に従って注目物体として選択され、複数のフレームにわたって当該選択が維持される（即ち、ロックされる）。そして、注目物体と関連付けられる表示情報が動的に制御される。従って、ユーザは、注目物体をロックすれば、端末をどのように動かしても、注目物体に関する情報を、他の情報と区別し得る形式で継続的に明瞭に視認することができる。よって、ＡＲアプリケーションを通じて提供され得る情報が多数存在し、情報の内容が動的に変化するような状況においても、ユーザにとっての所望の情報の視認性を選択的かつ効果的に向上させることができる。

また、上述した実施形態によれば、注目物体が指定されていない場合には、所与の基準で特定される実物体が自動的にデフォルト物体として選択され、デフォルト物体が識別可能となるように仮想オブジェクトの表示が制御される。従って、ユーザは、注目物体をこれから選択しようとする段階では、端末を動かすことにより、個々の実物体に関する情報をそれぞれ識別して自在に閲覧することができる。

また、上述した実施形態によれば、所定のユーザ入力が検出された時点で選択されているデフォルト物体が、注目物体として選択される。従って、ユーザは、どの実物体に注目するかを決定した時点で、簡単に注目物体を指定することができる。多数の実物体が入力画像に映っている場合にも、あらためて注目物体を正確にタッチし又はポインティングするような操作は必要とされないため、ユーザの負担は軽減される。

なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵなどのプロセッサにより実行される。

また、各装置の論理的機能の一部は、当該装置上に実装される代わりに、クラウドコンピューティング環境内に存在する装置上に実装されてもよい。その場合には、論理的機能の間でやり取りされる情報が、図５に例示した通信部１１２を介して装置間で送信され又は受信され得る。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像装置を用いて実空間を撮像することにより生成される入力画像を取得する画像取得部と、
前記入力画像に映る１つ以上の実物体の各々と関連付けられる仮想オブジェクトを前記入力画像に重畳する表示制御部と、
前記１つ以上の実物体のうち少なくとも１つの実物体がユーザにより指定された後、当該指定された実物体を複数のフレームにわたって注目物体として選択する選択部と、
を備え、
前記表示制御部は、前記注目物体と関連付けられる仮想オブジェクトにより示される表示情報を、前記注目物体と前記撮像装置との間の相対的な位置又は姿勢に応じて変化させる、
情報処理装置。
（２）
前記選択部は、前記ユーザにより注目物体が指定されていない場合には、前記１つ以上の実物体のうち所与の基準で特定される実物体をデフォルト物体として選択し、
前記表示制御部は、前記ユーザにとって前記デフォルト物体が識別可能となるように、前記デフォルト物体と関連付けられる仮想オブジェクトの表示を制御する、
前記（１）に記載の情報処理装置。
（３）
前記選択部は、所定のユーザ入力が検出された時点で選択されている前記デフォルト物体を、前記注目物体として選択する、前記（２）に記載の情報処理装置。
（４）
前記表示制御部は、前記注目物体からの前記撮像装置の距離、及び撮像面に対する前記注目物体の角度のうち少なくとも一方に依存するパラメータに応じて、前記表示情報を変化させる、前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（５）
前記表示制御部は、前記注目物体からの前記撮像装置の距離が第１の範囲に属する場合には前記表示情報として第１の情報を採用し、当該距離が前記第１の範囲よりも近い第２の範囲に属する場合には前記表示情報として前記第１の情報よりも詳細化された第２の情報を前記表示情報として採用する、前記（４）に記載の情報処理装置。
（６）
前記表示制御部は、前記撮像面に対する前記注目物体の角度が第１の範囲に属する場合には前記表示情報として第１の情報を採用し、当該角度が前記第１の範囲と異なる第２の範囲に属する場合には前記表示情報として前記第１の情報と異なる第２の情報を採用する、前記（４）に記載の情報処理装置。
（７）
前記表示制御部は、撮像面に投影される前記注目物体のスケールが第１の範囲に属する場合には前記表示情報として第１の情報を採用し、当該スケールが前記第１の範囲よりも大きい第２の範囲に属する場合には前記表示情報として前記第１の情報よりも詳細化された第２の情報を前記表示情報として採用する、前記（４）に記載の情報処理装置。
（８）
前記第１の範囲及び前記第２の範囲は、部分的に重複する、前記（５）〜（７）のいずれか１項に記載の情報処理装置。
（９）
前記表示制御部は、前記表示情報が変化することが前記ユーザに予測されるように、前記注目物体と関連付けられる仮想オブジェクトの表示を制御する、前記（５）〜（８）のいずれか１項に記載の情報処理装置。
（１０）
前記情報処理装置は、前記入力画像を用いて前記１つ以上の実物体を認識する認識部、をさらに備える、前記（１）〜（９）のいずれか１項に記載の情報処理装置。
（１１）
前記認識部は、前記注目物体が選択されている間、前記注目物体のみを前記入力画像内で認識する、前記（１０）に記載の情報処理装置。
（１２）
前記情報処理装置は、前記撮像装置の位置を用いてデータサーバに問合せを行うことにより、前記１つ以上の実物体を認識する認識部、をさらに備える、前記（１）〜（９）のいずれか１項に記載の情報処理装置。
（１３）
前記所与の基準は、前記入力画像内の実物体の２次元的な位置に関する基準である、前記（２）に記載の情報処理装置。
（１４）
前記所与の基準は、前記撮像装置を基準とする前記実空間内の実物体の３次元的な位置に関する基準である、前記（２）又は前記（１３）に記載の情報処理装置。
（１５）
前記所与の基準は、前記撮像装置を基準とする実物体の姿勢に関する基準である、前記（１３）又は前記（１４）に記載の情報処理装置。
（１６）
前記情報処理装置は、前記撮像装置をさらに備える携帯端末である、
前記（１）〜（１５）のいずれか１項に記載の情報処理装置。
（１７）
前記画像取得部、前記表示制御部及び前記選択部のうち少なくとも１つが前記情報処理装置の代わりにクラウドコンピューティング環境上に存在する装置により実現される、前記（１）〜（１６）のいずれか１項に記載の情報処理装置。
（１８）
撮像装置を用いて実空間を撮像することにより生成される入力画像を取得することと、
前記入力画像に映る１つ以上の実物体の各々と関連付けられる仮想オブジェクトを前記入力画像に重畳することと、
前記１つ以上の実物体のうち少なくとも１つの実物体がユーザにより指定された後、当該指定された実物体を複数のフレームにわたって注目物体として選択することと、
前記注目物体と関連付けられる仮想オブジェクトにより示される表示情報を、前記注目物体と前記撮像装置との間の相対的な位置又は姿勢に応じて変化させることと、
を含む表示制御方法。
（１９）
情報処理装置を制御するコンピュータを、
撮像装置を用いて実空間を撮像することにより生成される入力画像を取得する画像取得部と、
前記入力画像に映る１つ以上の実物体の各々と関連付けられる仮想オブジェクトを前記入力画像に重畳する表示制御部と、
前記１つ以上の実物体のうち少なくとも１つの実物体がユーザにより指定された後、当該指定された実物体を複数のフレームにわたって注目物体として選択する選択部と、
として動作させるためのプログラムであって、
前記表示制御部は、前記注目物体と関連付けられる仮想オブジェクトにより示される表示情報を、前記注目物体と前記撮像装置との間の相対的な位置又は姿勢に応じて変化させる、
プログラム。

１００ 情報処理装置
１０２ 撮像部（撮像装置）
１２０ 画像取得部
１４０ 認識部
１６０ 選択部
１７０ 表示制御部

Claims (19)

1. 撮像装置を用いて実空間を撮像することにより生成される入力画像を取得する画像取得部と、
   前記入力画像に映る１つ以上の実物体の各々と関連付けられる仮想オブジェクトを前記入力画像に重畳する表示制御部と、
   前記１つ以上の実物体のうち少なくとも１つの実物体がユーザにより指定された後、当該指定された実物体を複数のフレームにわたって注目物体として選択する選択部と、
   を備え、
   前記表示制御部は、前記注目物体と関連付けられる仮想オブジェクトにより示される表示情報を、前記注目物体と前記撮像装置との間の相対的な位置又は姿勢に応じて変化させる、
   情報処理装置。
2. 前記選択部は、前記ユーザにより注目物体が指定されていない場合には、前記１つ以上の実物体のうち所与の基準で特定される実物体をデフォルト物体として選択し、
   前記表示制御部は、前記ユーザにとって前記デフォルト物体が識別可能となるように、前記デフォルト物体と関連付けられる仮想オブジェクトの表示を制御する、
   請求項１に記載の情報処理装置。
3. 前記選択部は、所定のユーザ入力が検出された時点で選択されている前記デフォルト物体を、前記注目物体として選択する、請求項２に記載の情報処理装置。
4. 前記表示制御部は、前記注目物体からの前記撮像装置の距離、及び撮像面に対する前記注目物体の角度のうち少なくとも一方に依存するパラメータに応じて、前記表示情報を変化させる、請求項１に記載の情報処理装置。
5. 前記表示制御部は、前記注目物体からの前記撮像装置の距離が第１の範囲に属する場合には前記表示情報として第１の情報を採用し、当該距離が前記第１の範囲よりも近い第２の範囲に属する場合には前記表示情報として前記第１の情報よりも詳細化された第２の情報を前記表示情報として採用する、請求項４に記載の情報処理装置。
6. 前記表示制御部は、前記撮像面に対する前記注目物体の角度が第１の範囲に属する場合には前記表示情報として第１の情報を採用し、当該角度が前記第１の範囲と異なる第２の範囲に属する場合には前記表示情報として前記第１の情報と異なる第２の情報を採用する、請求項４に記載の情報処理装置。
7. 前記表示制御部は、撮像面に投影される前記注目物体のスケールが第１の範囲に属する場合には前記表示情報として第１の情報を採用し、当該スケールが前記第１の範囲よりも大きい第２の範囲に属する場合には前記表示情報として前記第１の情報よりも詳細化された第２の情報を前記表示情報として採用する、請求項４に記載の情報処理装置。
8. 前記第１の範囲及び前記第２の範囲は、部分的に重複する、請求項５に記載の情報処理装置。
9. 前記表示制御部は、前記表示情報が変化することが前記ユーザに予測されるように、前記注目物体と関連付けられる仮想オブジェクトの表示を制御する、請求項５に記載の情報処理装置。
10. 前記情報処理装置は、前記入力画像を用いて前記１つ以上の実物体を認識する認識部、をさらに備える、請求項１に記載の情報処理装置。
11. 前記認識部は、前記注目物体が選択されている間、前記注目物体のみを前記入力画像内で認識する、請求項１０に記載の情報処理装置。
12. 前記情報処理装置は、前記撮像装置の位置を用いてデータサーバに問合せを行うことにより、前記１つ以上の実物体を認識する認識部、をさらに備える、請求項１に記載の情報処理装置。
13. 前記所与の基準は、前記入力画像内の実物体の２次元的な位置に関する基準である、請求項２に記載の情報処理装置。
14. 前記所与の基準は、前記撮像装置を基準とする前記実空間内の実物体の３次元的な位置に関する基準である、請求項２に記載の情報処理装置。
15. 前記所与の基準は、前記撮像装置を基準とする実物体の姿勢に関する基準である、請求項１３に記載の情報処理装置。
16. 前記情報処理装置は、前記撮像装置をさらに備える携帯端末である、
    請求項１に記載の情報処理装置。
17. 前記画像取得部、前記表示制御部及び前記選択部のうち少なくとも１つが前記情報処理装置の代わりにクラウドコンピューティング環境上に存在する装置により実現される、請求項１に記載の情報処理装置。
18. 撮像装置を用いて実空間を撮像することにより生成される入力画像を取得することと、
    前記入力画像に映る１つ以上の実物体の各々と関連付けられる仮想オブジェクトを前記入力画像に重畳することと、
    前記１つ以上の実物体のうち少なくとも１つの実物体がユーザにより指定された後、当該指定された実物体を複数のフレームにわたって注目物体として選択することと、
    前記注目物体と関連付けられる仮想オブジェクトにより示される表示情報を、前記注目物体と前記撮像装置との間の相対的な位置又は姿勢に応じて変化させることと、
    を含む表示制御方法。
19. 情報処理装置を制御するコンピュータを、
    撮像装置を用いて実空間を撮像することにより生成される入力画像を取得する画像取得部と、
    前記入力画像に映る１つ以上の実物体の各々と関連付けられる仮想オブジェクトを前記入力画像に重畳する表示制御部と、
    前記１つ以上の実物体のうち少なくとも１つの実物体がユーザにより指定された後、当該指定された実物体を複数のフレームにわたって注目物体として選択する選択部と、
    として動作させるためのプログラムであって、
    前記表示制御部は、前記注目物体と関連付けられる仮想オブジェクトにより示される表示情報を、前記注目物体と前記撮像装置との間の相対的な位置又は姿勢に応じて変化させる、
    プログラム。
    

Images