JP2013200775A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】画像内に表示される他の装置の画像を操作するときの操作性を向上させる。
【解決手段】第１の画像を表示する表示画面が含まれる撮像画像を取得する撮像画像取得部、上記撮像画像から認識された上記第１の画像に対応する第２の画像を表示部に表示させる表示制御部、および上記第１の画像が上記第２の画像に同期する同期モードと、上記第１の画像が上記第２の画像に同期しない非同期モードとを切り替える切替制御部を含む情報処理装置が提供される。
【選択図】図２

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。

近年、画像認識技術の進歩によって、例えば実空間を撮像した画像に含まれる様々なオブジェクトを、その位置や姿勢とともに認識することが可能になった。かかるオブジェクト認識の技術は、例えば、実空間の画像に付加的な情報を重畳してユーザに呈示する拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術などに利用されている。ＡＲ技術の例として、特許文献１には、家具などの現実のオブジェクトを模倣した仮想オブジェクトの画像を実空間の画像に重畳して表示し、家具などの配置の試行を容易にする技術が記載されている。

特開２００３−２５６８７６号公報

上記のようなＡＲ技術を利用すれば、実空間を撮像した画像に含まれる他の装置の画像を操作するといったことも可能である。しかしながら、その場合の操作性を向上させる技術については、まだ十分に提案されているとはいい難い。

そこで、本開示では、画像内に表示される他の装置の画像を操作するときの操作性を向上させることを可能にする、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提案する。

本開示によれば、第１の画像を表示する表示画面が含まれる撮像画像を取得する撮像画像取得部、上記撮像画像から認識された上記第１の画像に対応する第２の画像を表示部に表示させる表示制御部、および上記第１の画像が上記第２の画像に同期する同期モードと、上記第１の画像が上記第２の画像に同期しない非同期モードとを切り替える切替制御部を含む情報処理装置が提供される。

また、本開示によれば、第１の画像を表示する表示画面が含まれる撮像画像を取得すること、上記撮像画像から認識された上記第１の画像に対応する第２の画像を表示部に表示させること、および上記第１の画像が上記第２の画像に同期する同期モードと、上記第１の画像が上記第２の画像に同期しない非同期モードとを切り替えることを含む情報処理方法が提供される。

また、本開示によれば、第１の画像を表示する表示画面が含まれる撮像画像を取得する機能、上記撮像画像から認識された上記第１の画像に対応する第２の画像を表示部に表示させる機能、および上記第１の画像が上記第２の画像に同期する同期モードと、上記第１の画像が上記第２の画像に同期しない非同期モードとを切り替える機能をコンピュータに実現させるためのプログラムが提供される。

上記の構成によれば、画像内に他の装置の画像が表示されているような場合に、現実の画像と画像内に表示された仮想の画像とを同期させるか否かを、様々なトリガによって切り替えることが可能である。これによって、例えば、仮想の画像に対する操作を現実の画像に反映させる処理を、ユーザの必要に応じて実行することができる。

以上説明したように本開示によれば、画像内に表示される他の装置の画像を操作するときの操作性を向上させることができる。

本開示の第１の実施形態の概要について説明するための図である。 本開示の第１の実施形態に係る端末装置の機能構成を示す概略的なブロック図である。 本開示の第１の実施形態における切り替え処理の例について説明するための図である。 本開示の第１の実施形態における切り替え処理の例について説明するための図である。 図３Ａおよび図３Ｂの例における処理を示すフローチャートである。 本開示の第２の実施形態における切り替え処理の例について説明するための図である。 本開示の第２の実施形態における切り替え処理の例について説明するための図である。 本開示の第２の実施形態における切り替え処理の例について説明するための図である。 図５Ａ〜図５Ｃの例における処理を示すフローチャートである。 本開示の第３の実施形態における切り替え処理の例について説明するための図である。 本開示の第３の実施形態における切り替え処理の例について説明するための図である。 本開示の第３の実施形態における切り替え処理の例について説明するための図である。 図７Ａ〜図７Ｃの例における処理を示すフローチャートである。 情報処理装置のハードウェア構成を説明するためのブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１−１．概要
１−２．装置構成
１−３．切り替え処理の例
２．第２の実施形態
３．第３の実施形態
４．他の実施形態
５．補足

（１．第１の実施形態）
（１−１．概要）
まず、図１を参照して、本開示の第１の実施形態の概要について説明する。なお、この概要は、本開示の他の実施形態についても同様である。

図１は、本実施形態の概要について説明するための図である。図１を参照すると、本実施形態は、端末装置１００（情報処理装置の一例）と、表示装置２００とに関係する。端末装置１００は、表示装置２００を含む実空間の撮像画像を取得し、撮像画像に基づいて表示部１５０に画像１５１を表示させる。端末装置１００は、後述するように撮像画像に含まれるオブジェクトを認識する機能を有し、画像１５１の表示にあたって撮像画像のオブジェクト認識の結果を利用しうる。

一方、表示装置２００は、表示画面２５０を有し、表示画面２５０には画像２５１（第１の画像の一例）が表示される。端末装置１００が取得する撮像画像には、表示装置２００が含まれるため、表示画面２５０に表示される画像２５１も撮像画像に含まれる。端末装置１００は、撮像画像から画面２５０および画像２５１を認識し、画像１５１の中に画像２５１に対応する仮想画像１５３（第２の画像の一例）を表示させる。なお、仮想画像１５３は、撮像画像に含まれる画像２５１がそのまま描画されたものであってもよいし、撮像画像のオブジェクト認識の結果を利用して再描画されたものであってもよい。

ここで、端末装置１００は、例えば携帯電話（スマートフォン）、タブレット型のＰＣ（Personal Computer）、携帯型のゲーム機やメディアプレーヤなど、主にユーザが把持して操作する装置である。また、表示装置２００は、例えばテレビジョン受像機、デスクトップ型やノート型のＰＣ、ＰＣモニタなど、主に据置きの装置である。しかし、本開示の実施形態はこれらの例には限られるものではない。他の例として、端末装置１００と表示装置２００とは、いずれもスマートフォンであってもよい。

上記のように、端末装置１００は、撮像画像に含まれるオブジェクトを認識する機能を有する。また、図示された例において、端末装置１００は、撮像画像に含まれる画面２５０および画像２５１を認識している。それゆえ、例えば、端末装置１００は、画像１５１の中の仮想画像１５３に対する操作を取得し、現実の画像２５１に対して同様の操作がされた場合と同じように仮想画像１５３を変化させることが可能である。

例えば、端末装置１００は、表示部１５０上の座標を表示画面２５０上の座標に変換することによって、仮想画像１５３に含まれるＧＵＩ（Graphical User Interface）コンポーネント（ボタン、リンク、スクロールバーなど）に、画像２５１のＧＵＩコンポーネントと同様の機能を割り当てることが可能である。この場合、ユーザが表示部１５０上に設けられたタッチパネルを介して、仮想画像１５３に含まれるＧＵＩコンポーネントに対して押下、タップ、ドラッグ、フリックなどの操作を実行すると、仮想画像１５３は、画像２５１のＧＵＩコンポーネントに対して同様の操作を実行した場合と同じように変化する。

このように仮想画像１５３を変化させる場合、端末装置１００は、現実の画像２５１を仮想画像１５３に同期させてもよいし、そうしなくてもよい。つまり、端末装置１００の動作モードには、画像２５１が仮想画像１５３に同期する同期モードと、画像２５１が仮想画像１５３に同期しない非同期モードとが存在しうる。なお、本明細書において、「画像が同期する」ことは、複数の画像が、互いに対応関係があるような状態で描画されることを意味する。例えば、画像２５１と仮想画像１５３とが同期している場合、画像２５１の変化が仮想画像１５３の変化に反映されうる。また、同様に、仮想画像１５３の変化が画像２５１に反映されうる。

引き続き図１を参照すると、（ａ）で同期モードの例が、（ｂ）で非同期モードの例が、それぞれ示される。

同期モードの例である（ａ）では、端末装置１００の表示部１５０に、撮像画像がリアルタイムの動画像として表示される。例えば、端末装置１００で仮想画像１５３のＧＵＩコンポーネントに対するユーザの操作が取得された場合、端末装置１００は、操作に従って仮想画像１５３を変化させるとともに、操作の情報を画像２５１のＧＵＩコンポーネントに対する操作の情報に変換して表示装置２００に送信する。表示装置２００は、受信した情報に基づいて画像２５１を変化させる。あるいは、端末装置１００は、操作に従って変化した後の画像の情報を表示装置２００に送信してもよい。

一方、表示装置２００で、画像２５１のＧＵＩコンポーネントに対するユーザの操作が取得された場合、表示装置２００は、操作に従って画像２５１を変化させる。端末装置１００は、例えば、撮像画像の中の画像２５１の変化を認識して、仮想画像１５３を画像２５１と同様に変化させる。あるいは、表示装置２００が操作の情報を端末装置１００に送信し、端末装置１００が受信した情報に基づいて仮想画像１５３を変化させてもよい。

非同期モードの例である（ｂ）では、端末装置１００の表示部１５０に、ある時点の撮像画像がスナップショット（静止画像）として表示される。例えば、端末装置１００で仮想画像１５３のＧＵＩコンポーネントに対するユーザの操作が取得された場合、端末装置１００は、操作に従って仮想画像１５３を変化させるが、表示装置２００には情報を送信しない。その結果として、仮想画像１５３は、現実の画像２５１とは独立して変化する。

一方、表示装置２００で、画像２５１のＧＵＩコンポーネントに対するユーザの操作が取得された場合、表示装置２００は、操作に従って画像２５１を変化させる。端末装置１００は、例えば、撮像画像の中の画像２５１の変化を認識するが、その認識結果を仮想画像１５３には反映させない。あるいは、端末装置１００は、非同期モードでは撮像画像の中の画像２５１を認識していなくてもよい。

なお、同期モードから非同期モードへの切り替えの処理を、「チェックアウト」ともいう。チェックアウトは、例えば、上記の（ａ）に示すような同期モードが設定されている場合に、端末装置１００が何らかのトリガを検知することによって、（ｂ）に示すような非同期モードに移行するときに発生する。チェックアウトによって、それまで画像２５１に同期していた仮想画像１５３は、画像２５１とは独立して自由に変更されるようになる。

一方、非同期モードから同期モードへの切り替えの処理には、「チェックイン」と「変更の破棄」の２つがある。例えば、上記の（ｂ）に示すような非同期モードが設定されている場合に、端末装置１００が何らかのトリガを検知することによって、（ａ）に示すような同期モードに移行するとする。非同期モードでは、仮想画像１５３が現実の画像２５１とは独立して変更されうるため、移行の時点において、仮想画像１５３と画像２５１とが対応していない場合がある。このような場合に、画像２５１を変化させて、仮想画像１５３と同様の画像を表示させる処理を、「チェックイン」ともいう。一方、仮想画像１５３を変化させて、画像２５１と同様の画像を表示させる処理を、「変更の破棄」ともいう。

このような同期モードと非同期モードとの切り替えは、例えば端末装置１００の操作中に数多く発生する可能性がある。それゆえ、同期モードと非同期モードとの切り替えを、より直感的かつ容易な操作によって実現することが望ましい。以下で説明する本開示の第１の実施形態は、そのような切り替えを実現するための構成を含む。

（１−２．装置構成）
次に、図２を参照して、本開示の第１の実施形態の装置構成について説明する。なお、この装置構成は、本開示の他の実施形態についても同様である。

図２は、本実施形態に係る端末装置の機能構成を示す概略的なブロック図である。図２を参照すると、端末装置１００は、撮像部１１０（撮像画像取得部の一例）と、オブジェクト認識部１２０と、表示制御部１３０と、切替制御部１４０と、表示部１５０と、通信部１６０と、操作部１７０とを含む。このうち、オブジェクト認識部１２０、表示制御部１３０、および切替制御部１４０は、例えば端末装置１００のＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、およびＲＯＭ（Read Only Memory）が、ストレージ装置またはリムーバブル記録媒体に格納されたプログラムに従って動作することによって実現される。

（撮像部）
撮像部１１０は、例えば端末装置１００に内蔵または接続される撮像装置によって実現され、撮像画像を取得する。撮像部１１０は、撮像画像を動画像として出力してもよいし、静止画像として出力してもよい。上述のように、撮像画像には、画像２５１を表示する表示装置２００の表示画面２５０が含まれる。撮像部１１０は、取得した撮像画像の画像データをオブジェクト認識部１２０に提供する。

（オブジェクト認識部）
オブジェクト認識部１２０は、撮像部１１０から提供された画像データを用いて、撮像画像に含まれるオブジェクトを認識する。例えば、オブジェクト認識部１２０は、撮像画像から抽出される特徴点のセットを、モデルデータによって定義されるオブジェクトの形状と照合する。また、オブジェクト認識部１２０は、モデルデータによって定義されるシンボルマークまたはテキストラベルなどの画像データを、撮像画像と照合してもよい。さらにまた、オブジェクト認識部１２０は、モデルデータによって定義される既知のオブジェクトの画像の特徴量を、撮像画像から抽出される特徴量と照合してもよい。

なお、モデルデータは、各オブジェクトの形状を定義するデータ、各オブジェクトに付される所定のシンボルマークもしくはテキストラベルなどの画像データ、または各オブジェクトについて既知の画像から抽出された特徴量セットのデータなどを含む。モデルデータは、例えばストレージ装置に格納されるモデルＤＢから取得される。あるいは、モデルデータは、通信部１６０を介してネットワーク上から取得されてもよい。

ここで、オブジェクト認識部１２０は、撮像画像に含まれる表示画面２５０と、そこに表示される画像２５１とを認識する。画像２５１の認識は、例えば画像２５１の内容を検索することによって実行されうる。例えば、画像２５１がブラウザに表示されたＷｅｂページである場合、オブジェクト認識部１２０は、当該ＷｅｂページのＵＲＬ（Uniform Resource Locator）と、その操作状態を示すＵＲＩ（Uniform Resource Identifier）とを検索する。ＵＲＬからＨＴＭＬ（Hyper Text Markup Language）の情報を取得することによって、例えば画像１５１の中で仮想画像１５３を再描画することが可能である。

また、オブジェクト認識部１２０は、上記のＨＴＭＬなどの情報を用いて、画像１５１の中の領域と、画像２５１のＧＵＩコンポーネントとをマッチングさせる（つまり、画像１５１についてマークアップの処理を実行する）。これによって、仮想画像１５３について、画像２５１と同じようにＧＵＩコンポーネントを用いた操作が可能になる。

別の例として、画像２５１がテレビジョン受像機などの操作画面の画像である場合、端末装置１００は、例えば表示装置２００から当該操作画面に含まれるＧＵＩコンポーネントの情報を取得し、上記の例と同様に画像１５１についてマークアップの処理を実行してもよい。

（表示制御部）
表示制御部１３０は、撮像部１１０から提供された撮像画像の画像データに基づいて、表示部１５０に画像１５１を表示させる。上述のように、画像１５１には、撮像画像から認識された画像２５１に対応する仮想画像１５３が含まれる。表示制御部１３０は、撮像画像に何らかの付加的な情報が重畳された画像として画像１５１を表示させてもよい。例えば、表示制御部１３０は、オブジェクト認識部１２０による画像２５１の認識結果を利用して、画像２５１の内容を再描画し、これを仮想画像１５３として撮像画像に重畳させてもよい。なお、上述のように、表示制御部１３０は、例えば操作部１７０が取得する仮想画像１５３のＧＵＩコンポーネントに対するユーザ操作に従って、表示される仮想画像１５３を変化させうる。

また、表示制御部１３０は、通信部１６０を介して、表示装置２００における画像２５１の表示を制御しうる。例えば、同期モードが設定されている場合に、表示制御部１３０は、ユーザ操作による仮想画像１５３の変化を、画像２５１に反映させてもよい。同様に、同じく同期モードが設定されている場合に、表示制御部１３０は、画像２５１の変化に対応して仮想画像１５３を再描画することによって、画像２５１の変化を仮想画像１５３に反映させてもよい。

さらに、表示制御部１３０は、同期モードおよび非同期モードに関する各種の通知を、表示部１５０または表示画面２５０に表示させてもよい。例えば、表示制御部１３０は、同期モードが設定されていることを通知する表示を、表示画面２５０に表示させてもよい。また、表示制御部１３０は、後述する切替制御部１４０の処理によって同期モードと非同期モードとの間の切り替えが発生する場合に、切り替えが発生することを予告する表示、または切り替えが発生したことを通知する表示を、表示部１５０および表示画面２５０の一方または両方に表示させてもよい。

（切替制御部）
切替制御部１４０は、画像２５１が仮想画像１５３に同期する同期モードと、画像２５１が仮想画像１５３に同期しない非同期モードとを切り替える。切替制御部１４０は、例えば、オブジェクト認識部１２０によって認識される、撮像画像の中での表示画面２５０（または画像２５１）の位置または大きさに応じて、同期モードと非同期モードとを切り替える。あるいは、切替制御部１４０は、操作部１７０によって所定のユーザ操作が取得された場合に、同期モードと非同期モードとを切り替えてもよい。

（表示部）
表示部１５０は、例えば端末装置１００が出力装置として有する、あるいは端末装置１００に外部接続機器として接続される、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-luminescence）ディスプレイなどによって実現される。表示部１５０は、必ずしも平面のディスプレイには限られず、例えばＨＭＤ（Head Mount Display）であってもよい。表示部１５０は、表示制御部１３０の制御に従って、画像１５１を表示する。

（通信部）
通信部１６０は、例えば端末装置１００に内蔵または接続される通信装置へのインターフェースとして実現される。通信部１６０は、通信装置を介して、表示装置２００と通信する。通信部１６０は、画像２５１を仮想画像１５３に同期させる場合に、仮想画像１５３に対するユーザ操作、または仮想画像１５３の内容に関する情報を、表示装置２００に送信する。また、通信部１６０は、同期モードが設定されていることを通知する表示、同期モードと非同期モードとの切り替えが発生することを予告する表示、または切り替えが発生したことを通知する表示を画像２５１に表示させるための情報を、表示装置２００に送信してもよい。

（操作部）
操作部１７０は、例えばタッチパネルやボタンなど、端末装置１００に設けられる、または端末装置１００に外部接続機器として接続される各種の入力装置によって実現され、ユーザ操作を取得する。操作部１７０は、例えば、表示部１５０に表示されている仮想画像１５３のＧＵＩコンポーネントに対するユーザ操作を取得し、このユーザ操作の情報を表示制御部１３０に提供する。また、操作部１７０は、切替制御部１４０が同期モードと非同期モードとを切り替えるためのユーザ操作を取得するのに用いられてもよい。

（１−３．切り替え処理の例）
次に、図３Ａ、図３Ｂ、および図４を参照して、本開示の第１の実施形態における同期モードと非同期モードとの切り替え処理の例について説明する。図３Ａおよび図３Ｂは、本実施形態における切り替え処理の例について説明するための図である。図４は、図３Ａおよび図３Ｂの例における処理を示すフローチャートである。

以下の例では、端末装置１００の切替制御部１４０が、ユーザ操作に従って、同期モードを非同期モードに切り替える。

図３Ａでは、同期モードが設定された状態から、ユーザ操作によって仮想画像１５３がチェックアウトされるまでが示されている。（ａ）は、現実の画像２５１の表示が仮想画像１５３の表示に同期する同期モードが設定された状態を示す。この状態で、（ｂ）に示すように、ユーザは、表示部１５０を長押しする（端末装置１００は、操作部１７０としてタッチパネルを含むものとする）。

さらに、ユーザは、長押しを継続したまま、（ｃ）に示すように、端末装置１００を移動させる。端末装置１００の移動は、例えば、端末装置１００が有する加速度センサなどのセンサによって検出されうる。このとき、切替制御部１４０は、同期モードを非同期モードに切り替える。一方、表示制御部１３０は、（ｂ）の時点での画像１５１をスナップショット化する。それゆえ、（ｃ）の時点では、端末装置１００の移動によって撮像画像が変化するにもかかわらず、画像１５１は（ｂ）の時点と同じ状態である。

ここで、表示制御部１３０は、同期モードから非同期モードへの切り替えが発生することを予告する表示、または切り替えが発生したことを通知する表示を、表示部１５０および表示画面２５０の一方または両方に表示させてもよい。

例えば、表示制御部１３０は、（ｂ）でユーザが表示部１５０を長押ししたときに、切り替えを予告するメッセージを、表示部１５０および表示画面２５０の一方または両方に表示させてもよい。また、表示制御部１３０は、（ｃ）で非同期モードへの切り替えが実行されたときに、非同期モードの設定を通知するメッセージを、表示部１５０および表示画面２５０の一方または両方に表示させてもよい。なお、メッセージの表示については、続く第２の実施形態でも説明する。

図３Ｂでは、チェックアウト後の非同期モードにおいて、ユーザ操作によって仮想画像１５３の表示が変化する様子が示されている。（ａ）は、図３Ａで表示装置２００に表示されていた画像２５１ａと同様の仮想画像１５３ａが表示されている状態を示す。このように、非同期モードが設定されていても、画像２５１ａと仮想画像１５３ａとで同様の画像が表示されている場合もありうる。

ここで、例えば、仮想画像１５３ａのＧＵＩコンポーネントに対して押下、ドラッグ、フリックなどのユーザ操作が実行されると、仮想画像１５３ａは、ユーザ操作に従って（ｂ）に示すような仮想画像１５３ｂに変化する。非同期モードが設定されているため、仮想画像１５３ａから仮想画像１５３ｂへの変化は、表示装置２００に表示される画像２５１ａには反映されない。

（処理フロー）
図４に示す処理フローでは、まず、端末装置１００のオブジェクト認識部１２０が、撮像画像に含まれるオブジェクトを認識する（ステップＳ１０１）。次に、切替制御部１４０が、オブジェクト認識の結果に基づいて、撮像画像に表示画面２５０が映っているか否かを判定する（ステップＳ１０３）。

ここで、撮像画像に表示画面２５０が映っていると判定された場合、切替制御部１４０は、同期モードを設定する（ステップＳ１０５）。切替制御部１４０は、画像２５１が撮像画像の中の所定の領域、例えば中央付近の領域に映っている場合に、同期モードを設定してもよい。ここで、表示制御部１３０は、同期モードが設定されたことを示す通知を、表示部１５０および表示画面２５０の一方または両方に表示させてもよい（ステップＳ１０７）。

同期モードが設定された状態で、切替制御部１４０は、操作部１７０などによって所定のユーザ操作が取得されたが否かを判定する（ステップＳ１０９）。本実施形態において、所定のユーザ操作は、画像１５１を長押しした状態で端末装置１００を移動させることである。なお、所定のユーザ操作は、この例には限られず、単なる長押しもしくはタップ、仮想画像１５３のドラッグ、または画像１５１に表示されるＧＵＩボタンや端末装置１００のハードウェアボタンの押下など、他のいかなるユーザ操作であってもよい。

ステップＳ１０９において、所定のユーザ操作が取得されたと判定された場合、切替制御部１４０は、同期モードを非同期モードに切り替える（ステップＳ１１１）。ここで、表示制御部１３０は、非同期モード通知を、表示部１５０および表示画面２５０の一方または両方に表示させてもよい（ステップＳ１１３）。

以上で説明したような本開示の第１の実施形態によれば、画像２５１と仮想画像１５３とについて、同期モードと非同期モードとがユーザの明示的な操作によって切り替えられる。従って、例えば、ユーザの所望に応じて同期状態と非同期状態とが切り替えられ、画像（画像１５１）内に表示される他の装置の画像（仮想画像１５３）を操作するときの操作性が向上する。

（２．第２の実施形態）
次に、図５Ａ〜図５Ｃ、および図６を参照して、本開示の第２の実施形態における同期モードと非同期モードとの切り替え処理の例について説明する。図５Ａ〜図５Ｃは、本実施形態における切り替え処理の例について説明するための図である。図６は、図５Ａ〜図５Ｃの例における処理を示すフローチャートである。

以下の例では、端末装置１００の切替制御部１４０が、撮像画像の中での表示画面２５０の領域に応じて、同期モードと非同期モードとを切り替える。

図５Ａでは、現実の画像２５１が仮想画像１５３に同期する同期モードが設定された状態が示されている。画像１５１に示されるように、このとき、画像２５１を表示する表示画面２５０は、撮像画像の中心付近に大きく映っている。このような場合、切替制御部１４０は、同期モードを設定する。それゆえ、端末装置１００へのユーザ操作によって仮想画像１５３が変化すると、その変化は画像２５１にも反映される。

図示されているように、同期モードが設定されている場合、表示制御部１３０は、端末装置１００の表示部１５０に、同期モードが設定されていることを示すメッセージ１５５を表示させてもよい。また、表示装置２００の表示画面２５０にも、同様に、同期モードが設定されていることを示すメッセージ２５５が表示されてもよい。

図５Ｂでは、同期モードから非同期モードへの切り替えが準備される状態が示されている。（ａ）に示すように、ユーザは、表示部１５０を長押しする（端末装置１００は、操作部１７０としてタッチパネルを含むものとする）。

さらに、ユーザは、長押しを継続したまま、（ｂ）に示すように、端末装置１００を移動させる。画像２５１は、端末装置１００の移動によって、撮像画像の中心から外れつつある。このような場合に、切替制御部１４０は、同期モードから非同期モードへの切替を準備する。一方、表示制御部１３０は、（ｂ）の時点での画像１５１をスナップショット化する。それゆえ、（ｃ）の時点では、端末装置１００の移動によって撮像画像が変化するにもかかわらず、画像１５１は（ｂ）の時点と同じ状態である。

後述するように、本実施形態では、この後、撮像画像の中の表示画面２５０がフレームアウトしていくことで、同期モードが非同期モードに切り替えられる。つまり、非同期モードへの切り替えは、撮像画像の中の表示画面２５０の位置に依存する。そこで、表示制御部１３０は、図示されているように、表示画面２５０を含むスルー画像（リアルタイムの撮像画像）１６１を、画像１５１に透過的に重畳して表示部１５０に表示させてもよい。

このように、本実施形態では、表示制御部１３０が、仮想画像１５３をある時点での位置に固定させて表示する（スナップショット化する）とともに、撮像画像に含まれる表示画面２５０の領域を表示部１５０に表示させる。これによって、仮想画像１５３を、表示部１５０のユーザが操作しやすい位置にスナップショット化して表示しつつ、ユーザに現在の表示画面２５０の位置を認識させ、同期モードを非同期モードに切り替える操作をより直感的かつ容易にすることができる

また、表示制御部１３０は、端末装置１００の表示部１５０に、同期モードが終了することを予告するメッセージ１５７を表示させてもよい。また、図示されていないが、表示制御部１３０は、表示装置２００の表示画面２５０にも、同様に、同期モードが終了することを予告するメッセージを表示させてもよい。

図５Ｃでは、同期モードから非同期モードへの切り替えが完了した状態が示されている。スルー画像１６１に示されているように、このとき、画像２５１は、端部を残して撮像画像の範囲から外れている。このような場合に、切替制御部１４０は、同期モードを非同期モードに切り替える。つまり、切替制御部１４０は、表示画面２５０の領域が撮像画像の中で所定の領域に含まれない場合に、同期モードを非同期モードに切り替える。本実施形態において、撮像画像の中の所定の領域は、撮像画像の中心付近の領域である。

このとき、表示制御部１３０は、端末装置１００の表示部１５０に、同期モードが非同期モードに切り替えられたことを示すメッセージ１５９を表示させてもよい。また、表示制御部１３０は、表示装置２００の表示画面２５０にも、同様に、同期モードが非同期モードに切り替えられたことを示すメッセージ２５９を表示させてもよい。

また、表示制御部１３０は、切替制御部１４０が同期モードから非同期モードへの切り替えを完了した場合、画像１５１に透過的に重畳するスルー画像１６１の表示を終了してもよい。

（処理フロー）
図６に示す処理フローでは、まず、端末装置１００の切替制御部１４０が同期モードを設定する（ステップＳ２０１）。その後、操作部１７０などによって、所定のユーザ操作が取得される（ステップＳ２０３）。なお、ここまでの処理は、例えば図４のステップＳ１０１〜Ｓ１０９の処理と同様である。

ステップＳ２０３での所定の操作の取得を受けて、切替制御部１４０は、表示画面２５０が撮像画像の中央付近に映っているか否かを判定する（ステップＳ２０５）。この判定は、例えば、撮像画像に表示画面２５０の全体が含まれるか、または、表示画面２５０の所定の割合以上が撮像画像に含まれるかの判定であってもよい。さらに、切替制御部１４０は、撮像画像に含まれる表示画面２５０が所定の大きさ以上であるかを判定してもよい。

ステップＳ２０５において、表示画面２５０が撮像画像の中央付近に映っていると判定された場合、切替制御部１４０は、同期モードを維持する（ステップＳ２０７）。ここで、表示制御部１３０は、スルー画像１６１を、画像１５１に透過的に重畳して表示させてもよい（ステップＳ１０９）。

次に、切替制御部１４０は、表示画面２５０が撮像画像からフレームアウトしようとしているか否かを判定する（ステップＳ２１１）。ここで、「表示画面２５０が撮像画像からフレームアウトする」とは、表示画面２５０が、上記のステップＳ２０５でいう「撮像画像の中央付近に映っている」状態から離脱しつつある状態を意味する。従って、ステップＳ２１１の判定は、例えば、表示画面２５０が撮像画像の端に近づいているか、または、表示画面２５０の撮像画像に含まれる部分の割合が所定の割合近くまで減少しているかの判定でありうる。また、上記の判定は、撮像画像の中での表示画面２５０が縮小しているかの判定であってもよい。

ステップＳ２１１において、表示画面２５０が撮像画像からフレームアウトしようとしていると判定された場合、表示制御部１３０は、非同期モードへの切り替え予告を、表示部１５０および表示画面２５０の一方または両方に表示させてもよい（ステップＳ２１３）。非同期モードへの切り替え予告は、例えば、図５Ｂの例に示されるメッセージ１５７のようなメッセージでありうる。

この後、切替制御部１４０は、表示画面２５０が撮像画像の中央付近に映っているか否かの判定（ステップＳ２０５）を再度実行する。

ステップＳ２０５において、画像２５１が撮像画像の中央付近に映っていないと判定された場合、切替制御部１４０は、同期モードを非同期モードに切り替える（ステップＳ２１５）。ここで、表示制御部１３０は、非同期モードへの切り替えが実行されたことを示す通知を、表示部１５０および表示画面２５０の一方または両方に表示させてもよい（ステップＳ２１７）。この通知は、例えば、図５Ｃの例に示されるメッセージ１５９およびメッセージ２５９のようなメッセージでありうる。

以上で説明したような本開示の第２の実施形態によれば、撮像画像の中での表示画面２５０の映り方によって、同期モードと非同期モードとが自動的に切り替えられる。従って、例えば、同期モードと非同期モードとの切り替わりのタイミングを直感的にユーザが認識することが可能になり、画像（画像１５１）内に表示される他の装置の画像（仮想画像１５３）を操作するときの操作性が向上する。

なお、上記の実施形態では、切替制御部１４０が、表示画面２５０の領域が撮像画像の中で所定の領域に含まれない場合に、同期モードを非同期モードに切り替えたが、同様に、切替制御部１４０が、表示画面２５０の領域が撮像画像の中で所定の領域に含まれる場合に、非同期モードを同期モードに切り替える実施形態も実現可能である。

（３．第３の実施形態）
次に、図７Ａ〜図７Ｃ、および図８を参照して、本開示の第３の実施形態における同期モードと非同期モードとの切り替え処理の例について説明する。図７Ａ〜図７Ｃは、本実施形態における切り替え処理の例について説明するための図である。図８は、図７Ａ〜図７Ｃの例における処理を示すフローチャートである。

以下の例でも、端末装置１００の切替制御部１４０が、撮像画像に含まれる表示画面２５０の領域に応じて、同期モードと非同期モードとを切り替える。

図７Ａでは、非同期モードが設定された状態から、所定のユーザ操作が取得されるまでが示されている。（ａ）では、現実の画像２５１の表示が仮想画像１５３の表示に同期しない非同期モードが設定されているため、表示装置２００に表示される画像２５１ａと、端末装置１００に表示される画像１５１の中の仮想画像１５３ｂとは、内容が異なる。また、画像１５１は、図５Ａの例と同様にスナップショット化されている。そのため、仮想画像１５３は、例えばチェックアウトのときの位置に固定されて表示されており、その位置は撮像画像の中の表示画面２５０および画像２５１の位置とは異なっている。

この状態で、（ｂ）に示すように、ユーザは、表示部１５０を長押しする（端末装置１００は、操作部１７０としてタッチパネルを含むものとする）。

図７Ｂでは、ユーザによる長押しの操作の後の状態が示されている。長押しの操作が実行された場合、表示制御部１３０は、リアルタイムの撮像画像（スルー画像）に含まれる表示画面２５０に対応する領域を、ターゲット領域１６３として画像１５１に透過的に重畳して表示させる。ターゲット領域１６３は、例えば、図示されるようにアイコンとして表示されてもよいし、リアルタイムの撮像画像（スルー画像）自体が透過的に重畳して表示されることでターゲット領域１６３が示されてもよい。

このように、本実施形態では、表示制御部１３０が、仮想画像１５３をある時点での位置に固定させて表示する（スナップショット化する）とともに、撮像画像に含まれる表示画面２５０の領域（ターゲット領域１６３）を表示部１５０に表示させる。これによって、仮想画像１５３を、表示部１５０のユーザが操作しやすい位置にスナップショット化して表示しつつ、ユーザに現在の表示画面２５０の位置を認識させ、非同期モードを同期モードに切り替える操作をより直感的かつ容易にすることができる

図７Ｃでは、ユーザが端末装置１００を移動させ、それによって仮想画像１５３ｂがターゲット領域１６３に重ね合わせられた状態が示されている。本実施形態では、このことによって、非同期モードが同期モードに切り替えられる。つまり、切替制御部１４０は、撮像画像の中の表示画面２５０の領域（ターゲット領域１６３）と、仮想画像１５３の領域とが所定の関係を満たす場合に、非同期モードを同期モードに切り替える。本実施形態において、領域間の所定の関係は、領域が互いに所定の割合以上重複することである。

より具体的には、ターゲット領域１６３が表示された状態で、切替制御部１４０は、画像１５１において仮想画像１５３ｂとターゲット領域１６３とが重なっている領域の大きさを検出する。仮想画像１５３ｂおよびターゲット領域１６３の所定の割合以上の部分が重なった場合、切替制御部１４０は、非同期モードを同期モードに切り替える。図示された例では、このときに、表示制御部１３０が、通信部１６０を介して、表示画面２５０の表示を画像２５１ａから仮想画像１５３ｂと同様の画像２５１ｂに変更するチェックインの処理を実行する。

（処理フロー）
図８に示す処理フローでは、まず、切替制御部１４０が、非同期モードを設定する（ステップＳ３０１）。なお、ステップＳ３０１で非同期モードが設定されるに至る処理は、例えば上記の第１または第２の実施形態で説明したような処理でありうる。

非同期モードが設定された状態で、切替制御部１４０は、所定のユーザ操作が取得されたか否かを判定する（ステップＳ３０３）。ここで、所定のユーザ操作は、図７Ａの例では、表示部１５０の長押しである。なお、所定のユーザ操作は、上記の第１の実施形態で説明したように、他のいかなるユーザ操作であってもよい。

ステップＳ３０３において、所定のユーザ操作が取得されたと判定された場合、表示制御部１３０は、表示部１５０にターゲット領域１６３を表示させる（ステップＳ３０５）。ここで、表示制御部１３０は、同期モードへの切り替え予告を、表示部１５０および表示画面２５０の一方または両方に表示してもよい。

ターゲット領域１６３が表示された状態で、切替制御部１４０は、画像１５１に表示される仮想画像１５３とターゲット領域１６３とが重ね合わせられたか否かを判定する（ステップＳ３０７）。上記のように、この判定は、仮想画像１５３ｂおよびターゲット領域１６３の所定の割合以上の部分が重なったかどうかの判定でありうる。つまり、仮想画像１５３とターゲット領域１６３とは、必ずしも全部が重ね合わせられなくてもよい。

ステップＳ３０７において、仮想画像１５３とターゲット領域１６３とが重ね合わせられたと判定された場合、切替制御部１４０は、非同期モードを同期モードに切り替える（ステップＳ３０９）。ここで、表示制御部１３０は、同期モード通知を、表示部１５０および表示画面２５０の一方または両方に表示してもよい。

以上で説明したような本開示の第３の実施形態によれば、画像２５１と仮想画像１５３とについて、同期モードと非同期モードとがユーザの明示的な操作によって切り替えられるとともに、モードを切り替えるための手続が、直感的にユーザに示される。従って、画像（画像１５１）内に表示される他の装置の画像（仮想画像１５３）を操作するときの操作性が向上する。

なお、上記の実施形態では、切替制御部１４０が、撮像画像の中の表示画面２５０の領域（ターゲット領域１６３）と仮想画像１５３の領域とが所定の関係を満たす場合に非同期モードを同期モードに切り替えたが、同様に、切替制御部１４０が、撮像画像の中の表示画面２５０の領域（ターゲット領域１６３）と仮想画像１５３の領域とが所定の関係を満たさない場合に同期モードを非同期モードに切り替える実施形態も実現可能である。

（４．他の実施形態）
なお、本開示の実施形態は、上記で説明した以外にも、以下にその一例を示すように、さまざまな変形が可能である。

例えば、端末装置１００の切替制御部１４０による同期モードおよび非同期モードの設定は、表示装置２００における設定によって制限されてもよい。例えば、表示装置２００の画像２５１が端末装置１００側の操作によって変更されては不都合であるような場合、表示装置２００では、端末装置１００で仮想画像１５３に対する操作をするときにはチェックアウトを必須とする設定がされていてもよい。この場合、切替制御部１４０は、仮想画像１５３に対するユーザ操作全般を所定のユーザ操作として、かかる操作が取得された場合に同期モードを非同期モードに切り替えてもよい。

また、例えば、複数の端末装置１００が存在し、表示装置２００に表示される画像２５１がある端末装置１００ａでチェックアウトされている場合、表示装置２００では、チェックインの競合を防ぐために、他の端末装置１００ｂにおいて同期モードで仮想画像１５３を操作すること、および他の端末装置１００ｂで画像２５１をチェックアウトすることを禁止してもよい。

別の例として、端末装置１００は、複数の表示装置２００との間でチェックインおよびチェックアウトを実行してもよい。例えば、端末装置１００は、第１の表示装置２００ｃに表示される画像２５１ｃを仮想画像１５３ｃとしてチェックアウトし、これを第２の表示装置２００ｄの画像２５１ｄにチェックインしてもよい。この場合、第２の表示装置２００ｄの画像２５１ｄは、第１の表示装置２００ｃの画像２５１ｃと同様の画像に変更される。

また、切替制御部１４０によって設定されるモードは、上記の同期モードと非同期モードとには限られない。例えば切替制御部１４０は、初期設定としてニュートラルモードを設定してもよい。ニュートラルモードにおいて、端末装置１００の画像１５１に含まれる仮想画像１５３の表示（インジケーション）は、現実の画像２５１の表示に伴って変化する。この場合、切替制御部１４０は、仮想画像１５３へのユーザ操作が取得されたときに、同期モードまたは非同期モードを選択してもよい。

また、切替制御部１４０が同期モードと非同期モードとを切り替えるためのトリガは、上記の実施形態でも説明されたように、様々なものでありうる。一例として、トリガは、撮像画像に含まれる表示画面２５０（または画像２５１）の位置または大きさ、仮想画像１５３のＧＵＩコンポーネントに対するユーザ操作、端末装置１００のボタンなどのハードウェア操作部に対するユーザ操作、画像２５１として表示されているアプリケーションの切り替わり、端末装置１００と表示装置２００との相対的な姿勢（位置）関係などでありうる。

上記の例において、切替制御部１４０が、端末装置１００と表示装置２００との相対的な姿勢（位置）関係をトリガとして同期モードと非同期モードとを切り替える場合、例えば以下のような例が考えられる。例えば、切替制御部１４０は、画像２５１が正面視に近い状態で撮像画像に含まれる場合に同期モードを設定し、画像２５１が斜方視の状態で撮像画像に含まれる場合に非同期モードを設定してもよい。また、切替制御部１４０は、撮像画像に含まれる画像２５１の、基準姿勢からの回転角度（縦長、横長、斜めなど）に応じて同期モードと非同期モードとを切り替えてもよい。

また、上記の第３の実施形態では、非同期モードを同期モードに切り替えるときに、モードが切り替えられるために仮想画像１５３を配置する位置が表示されたが、同期モードを非同期モードに切り替えるときにも、同様の表示がされてもよい。例えば、上記の第１の実施形態において、仮想画像１５３が位置した場合に同期モードが非同期モードに切り替えられる、画像１５１の周縁部分の領域が、他の領域とは異なる態様で表示されてもよい。

なお、上記の実施形態では、端末装置１００が情報処理装置として機能する例について説明したが、例えば、表示装置２００が情報処理装置として機能してもよい。この場合、表示装置２００側で、画像２５１を仮想画像１５３に同期させるか否かが切り替えられる。

また、端末装置１００とも表示装置とも異なる第３の装置が、情報処理装置として機能してもよい。この場合、第３の装置は、例えば、端末装置１００と表示装置２００との両方の表示を制御する機能を有する。第３の装置は、例えば端末装置１００および表示装置２００にネットワークを介して接続されるサーバ装置でありうる。なお、サーバ装置は、必ずしも単一の装置によって実現されなくてもよい。例えば、複数の装置が有するリソースがネットワークを介して協働することによってサーバ装置の機能が実現されてもよい。

また、以上のような情報処理装置において実行される方法、情報処理装置に機能を実現されるためのプログラム、およびかかるプログラムを記録した記録媒体も、本開示の実施形態として実現されうる。

（５．補足）
（ハードウェア構成）
最後に、図９を参照して、本開示の実施形態に係る端末装置１００などの情報処理装置を実現しうる情報処理装置９００のハードウェア構成について説明する。図９は、情報処理装置のハードウェア構成を説明するためのブロック図である。

情報処理装置９００は、ＣＰＵ（Central Processing unit）９０１、ＲＯＭ（Read Only Memory）９０３、およびＲＡＭ（Random Access Memory）９０５を含む。さらに、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、および通信装置９２５を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital Signal Processor）などの処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス９１１に接続されている。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。

出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。

ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。

接続ポート９２３は、機器を情報処理装置９００に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ１３２Ｃポート、光オーディオ端子、ＨＤＭＩ（High-Definition Multimedia Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００と外部接続機器９２９との間で各種のデータが交換されうる。

通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。

撮像装置９３３は、例えば、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。

センサ９３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理装置９００の筐体の姿勢など、情報処理装置９００自体の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音など、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Global Positioning System）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。

以上、情報処理装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）第１の画像を表示する表示画面が含まれる撮像画像を取得する撮像画像取得部、
前記撮像画像から認識された前記第１の画像に対応する第２の画像を表示部に表示させる表示制御部、および
前記第１の画像が前記第２の画像に同期する同期モードと、前記第１の画像が前記第２の画像に同期しない非同期モードとを切り替える切替制御部
を備える情報処理装置。
（２）前記切替制御部は、前記撮像画像の中での前記表示画面の領域に応じて、前記同期モードと前記非同期モードとを切り替える、前記（１）に記載の情報処理装置。
（３）前記切替制御部は、前記表示画面の領域が前記撮像画像の中で所定の領域に含まれるか否かによって、前記同期モードと非同期モードとを切り替える、前記（２）に記載の情報処理装置。
（４）前記切替制御部は、前記表示画面の領域が前記撮像画像の中央付近に位置するか否かによって、前記同期モードと前記非同期モードとを切り替える、前記（３）に記載の情報処理装置。
（５）前記切替制御部は、前記表示画面の領域と、前記第２の画像の領域との間の関係に基づいて、前記同期モードと前記非同期モードとを切り替える、前記（２）に記載の情報処理装置。
（６）前記切替制御部は、前記表示画面の領域と、前記第２の画像の領域とが所定の割合以上重複しているか否かによって、前記同期モードと前記非同期モードとを切り替える、前記（５）に記載の情報処理装置。
（７）前記表示制御部は、前記第２の画像をある時点での位置に固定させて表示するとともに、前記撮像画像に含まれる前記表示画面の領域を前記表示部に表示させる、前記（２）〜（６）のいずれか１項に記載の情報処理装置。
（８）前記表示制御部は、前記第２の画像を所定のユーザが取得された時点での位置に固定させて表示する、前記（７）に記載の情報処理装置。
（９）前記切替制御部は、所定のユーザ操作が取得された場合に、前記同期モードと前記非同期モードとを切り替える、前記（１）に記載の情報処理装置。
（１０）前記切替制御部は、前記撮像画像を取得する撮像装置と前記表示画面を有する表示装置との相対的な姿勢関係に応じて、前記同期モードと前記非同期モードとを切り替える、前記（１）に記載の情報処理装置。
（１１）前記表示制御部は、前記同期モードと前記非同期モードとの切り替えが発生することを予告する表示、または該切り替えが発生したことを通知する表示を前記表示部に表示させる、前記（１）〜（１０）のいずれか１項に記載の情報処理装置。
（１２）前記表示制御部は、前記同期モードと前記非同期モードとの切り替えが発生することを予告する表示、または該切り替えが発生したことを通知する表示を前記表示画面に表示させる、前記（１）〜（１１）のいずれか１項に記載の情報処理装置。
（１３）前記表示制御部は、前記同期モードが設定されていることを通知する表示を前記表示部または前記表示画面に表示させる、前記（１）〜（１２）のいずれか１項に記載の情報処理装置。
（１４）前記表示制御部は、前記同期モードが設定されている場合に、前記第２の画像の変化を前記第１の画像に反映させる、前記（１）〜（１３）のいずれか１項に記載の情報処理装置。
（１５）前記表示制御部は、前記同期モードが設定されている場合に、前記第１の画像の変化を前記第２の画像に反映させる、前記（１）〜（１４）のいずれか１項に記載の情報処理装置。
（１６）前記表示画面を有する表示装置と通信する通信部をさらに備える、前記（１）〜（１５）のいずれか１項に記載の情報処理装置。
（１７）第１の画像を表示する表示画面が含まれる撮像画像を取得すること、
前記撮像画像から認識された前記第１の画像に対応する第２の画像を表示部に表示させること、および
前記第１の画像が前記第２の画像に同期する同期モードと、前記第１の画像が前記第２の画像に同期しない非同期モードとを切り替えること
を含む情報処理方法。
（１８）第１の画像を表示する表示画面が含まれる撮像画像を取得する機能、
前記撮像画像から認識された前記第１の画像に対応する第２の画像を表示部に表示させる機能、および
前記第１の画像が前記第２の画像に同期する同期モードと、前記第１の画像が前記第２の画像に同期しない非同期モードとを切り替える機能
をコンピュータに実現させるためのプログラム。

１００ 端末装置
１１０ 撮像部
１２０ オブジェクト認識部
１３０ 表示制御部
１４０ 切替制御部
１５０ 表示部
１６０ 通信部
１７０ 操作部
２００ 表示装置
２５０ 表示画面
２５１ 画像（第１の画像）
１５１ 画像（第２の画像）
１５３ 仮想画像
１６１ スルー画像
１６３ ターゲット領域

Claims (18)

1. 第１の画像を表示する表示画面が含まれる撮像画像を取得する撮像画像取得部、
   前記撮像画像から認識された前記第１の画像に対応する第２の画像を表示部に表示させる表示制御部、および
   前記第１の画像が前記第２の画像に同期する同期モードと、前記第１の画像が前記第２の画像に同期しない非同期モードとを切り替える切替制御部
   を備える情報処理装置。
2. 前記切替制御部は、前記撮像画像の中での前記表示画面の領域に応じて、前記同期モードと前記非同期モードとを切り替える、請求項１に記載の情報処理装置。
3. 前記切替制御部は、前記表示画面の領域が前記撮像画像の中で所定の領域に含まれるか否かによって、前記同期モードと非同期モードとを切り替える、請求項２に記載の情報処理装置。
4. 前記切替制御部は、前記表示画面の領域が前記撮像画像の中央付近に位置するか否かによって、前記同期モードと前記非同期モードとを切り替える、請求項３に記載の情報処理装置。
5. 前記切替制御部は、前記表示画面の領域と、前記第２の画像の領域との間の関係に基づいて、前記同期モードと前記非同期モードとを切り替える、請求項２に記載の情報処理装置。
6. 前記切替制御部は、前記表示画面の領域と、前記第２の画像の領域とが所定の割合以上重複しているか否かによって、前記同期モードと前記非同期モードとを切り替える、請求項５に記載の情報処理装置。
7. 前記表示制御部は、前記第２の画像をある時点での位置に固定させて表示するとともに、前記撮像画像に含まれる前記表示画面の領域を前記表示部に表示させる、請求項２に記載の情報処理装置。
8. 前記表示制御部は、前記第２の画像を所定のユーザが取得された時点での位置に固定させて表示する、請求項７に記載の情報処理装置。
9. 前記切替制御部は、所定のユーザ操作が取得された場合に、前記同期モードと前記非同期モードとを切り替える、請求項１に記載の情報処理装置。
10. 前記切替制御部は、前記撮像画像を取得する撮像装置と前記表示画面を有する表示装置との相対的な姿勢関係に応じて、前記同期モードと前記非同期モードとを切り替える、請求項１に記載の情報処理装置。
11. 前記表示制御部は、前記同期モードと前記非同期モードとの切り替えが発生することを予告する表示、または該切り替えが発生したことを通知する表示を前記表示部に表示させる、請求項１に記載の情報処理装置。
12. 前記表示制御部は、前記同期モードと前記非同期モードとの切り替えが発生することを予告する表示、または該切り替えが発生したことを通知する表示を前記表示画面に表示させる、請求項１に記載の情報処理装置。
13. 前記表示制御部は、前記同期モードが設定されていることを通知する表示を前記表示部または前記表示画面に表示させる、請求項１に記載の情報処理装置。
14. 前記表示制御部は、前記同期モードが設定されている場合に、前記第２の画像の変化を前記第１の画像に反映させる、請求項１に記載の情報処理装置。
15. 前記表示制御部は、前記同期モードが設定されている場合に、前記第１の画像の変化を前記第２の画像に反映させる、請求項１に記載の情報処理装置。
16. 前記表示画面を有する表示装置と通信する通信部をさらに備える、請求項１に記載の情報処理装置。
17. 第１の画像を表示する表示画面が含まれる撮像画像を取得すること、
    前記撮像画像から認識された前記第１の画像に対応する第２の画像を表示部に表示させること、および
    前記第１の画像が前記第２の画像に同期する同期モードと、前記第１の画像が前記第２の画像に同期しない非同期モードとを切り替えること
    を含む情報処理方法。
18. 第１の画像を表示する表示画面が含まれる撮像画像を取得する機能、
    前記撮像画像から認識された前記第１の画像に対応する第２の画像を表示部に表示させる機能、および
    前記第１の画像が前記第２の画像に同期する同期モードと、前記第１の画像が前記第２の画像に同期しない非同期モードとを切り替える機能
    をコンピュータに実現させるためのプログラム。
    

Images