JP2021131521A - 表示制御装置、表示制御方法およびプログラム - Google Patents

Abstract

【課題】複数の利用者の間でより自然にコミュニケーションを行わせるための技術を提供することを目的とする。【解決手段】第１の利用者が存在する空間が撮像された第１の撮像画像の少なくとも一部が第２の利用者によって視認可能な第２の表示領域に表示され、前記第２の利用者が存在する空間が撮像された第２の撮像画像の少なくとも一部が前記第１の利用者によって視認可能な第１の表示領域に表示されるように制御する表示制御部を備え、前記表示制御部は、前記第２の表示領域における前記第１の利用者の位置が第１の条件を満たす場合に、前記第２の利用者が撮像された人物画像が前記第１の表示領域における前記第２の利用者の位置に応じた位置に表示されるように制御する、表示制御装置が提供される。【選択図】図１

Description

本発明は、表示制御装置、表示制御方法およびプログラムに関する。

空間内の映像を撮像する撮像手段と、空間内における各装置の位置を測位し、撮像手段により撮像された映像上の対応位置を示す測位情報を装置毎に求める位置検出手段と、各装置が設けられた各対象に関する関連情報を収集する関連情報収集手段と、関連情報収集手段により収集された関連情報を、位置検出手段により求められた各装置の測位情報と対応付けて保持する関連情報保持手段とを備える、空間情報可視化システムが提案されている（例えば、特許文献１参照）。

かかるシステムにおいて、表示装置は、位置検出手段からの各装置の測位情報に相当する位置に、当該装置に設けられた対象映像を表示すると共に、対象の関連情報を表示する。また、かかるシステムは、各装置が設けられた各対象との間で所定のアプリケーションを実行するアプリケーション提供手段を備える。そして、表示装置は、表示映像内の対象映像が選択されると、この対象映像の測位情報を含むアプリケーション要求をアプリケーション提供手段に与え、アプリケーション提供手段が、関連情報保持手段を参照して、アプリケーション要求に含まれる測位情報に対応する関連情報を用いて、所定のアプリケーションを提供する。

かかるシステムによれば、空間映像に、対象（例えば、人または機器など）の位置および対象の映像を重畳表示すると共に、対象の関連情報を抽出して重畳表示することにより、人と人との間、または、人と機器との間のコミュニケーションを円滑かつ効率的に行うことができる。例えば、かかるシステムによれば、利用者が表示端末の映像表示ウィンドウまたはオブジェクトリスト上で特定の対象を選択すると、利用者は選択した対象の位置に対応する端末と電話などをすることも可能である。

特開２０１０−３８９１８号公報

かかるシステムを利用すれば、第１の情報端末に表示されている映像における第２の情報端末の位置に第２の情報端末の関連情報を対応付けて表示したり、第１の情報端末と第２の情報端末との間で電話をしたりすることが可能である。しかし、複数の利用者の間でより自然にコミュニケーションを行わせるための技術が提供されることが望まれている。

そこで本発明は、複数の利用者の間でより自然にコミュニケーションを行わせるための技術を提供することを目的とする。

上記問題を解決するために、本発明のある観点によれば、第１の利用者が存在する空間が撮像された第１の撮像画像の少なくとも一部が第２の利用者によって視認可能な第２の表示領域に表示され、前記第２の利用者が存在する空間が撮像された第２の撮像画像の少なくとも一部が前記第１の利用者によって視認可能な第１の表示領域に表示されるように制御する表示制御部を備え、前記表示制御部は、前記第２の表示領域における前記第１の利用者の位置が第１の条件を満たす場合に、前記第２の利用者が撮像された人物画像が前記第１の表示領域における前記第２の利用者の位置に応じた位置に表示されるように制御する、表示制御装置が提供される。

前記第１の条件は、前記第２の表示領域における前記第１の利用者の位置が前記第２の表示領域のあらかじめ設定された所定の領域内に存在するという条件を含んでもよい。

前記表示制御部は、前記第２の表示領域における前記第１の利用者の位置が前記第１の条件を満たす場合、かつ、前記第２の表示領域を含む情報端末またはアプリケーション画面内に前記第２の利用者の視点が存在する場合に、前記第２の利用者が撮像された人物画像が表示されるように制御してもよい。

前記第１の条件は、前記第２の表示領域における前記第１の利用者の位置を基準とした所定の視線検出用範囲内に前記第２の利用者の視点が存在するという条件を含んでもよい。

前記視線検出用範囲には、視線検出用オブジェクトが表示されていてもよい。

前記視線検出用オブジェクトのサイズは、前記第１の利用者の状況に応じて変化してもよい。

前記第１の利用者の状況は、前記第１の利用者の位置と前記第１の撮像画像を撮像する撮影部との距離を含んでもよい。

前記第１の利用者の状況は、前記第１の利用者の感情を含んでもよい。

前記表示制御部は、前記第２の表示領域における前記第１の利用者の位置が前記第１の条件を満たす場合、かつ、前記第１の表示領域における前記第２の利用者の位置が第２の条件を満たす場合に、前記第２の利用者が撮像された人物画像が表示されるように制御してもよい。

前記第２の表示領域における前記第１の利用者の位置が前記第１の条件を満たす場合、かつ、前記第１の表示領域における前記第２の利用者の位置が前記第２の条件を満たす場合に、前記第１の利用者が撮像された人物画像が前記第２の表示領域における前記第１の利用者の位置に応じた位置に表示されてもよい。

前記表示制御部は、前記第２の表示領域における前記第１の利用者の位置が前記第１の条件を満たす場合に、前記第２の利用者の位置が前記第１の表示領域における所定の位置に移動するように前記第２の撮像画像を前記第１の表示領域においてスクロールさせてもよい。

前記表示制御部は、前記第１の利用者によって前記第２の利用者が選択された場合に、前記第２の利用者の位置が前記第１の表示領域における所定の位置に移動するように前記第２の撮像画像を前記第１の表示領域においてスクロールさせてもよい。

前記表示制御部は、前記第２の表示領域における前記第１の利用者の位置が前記第１の条件を満たす場合、かつ、前記第２の表示領域を含むアプリケーション画面が最前面に表示されている場合に、前記第２の利用者が撮像された人物画像が表示されるように制御してもよい。

前記第１の利用者の位置は、前記第１の利用者が使用する第１の情報端末の位置であり、前記第２の利用者の位置は、前記第２の利用者が使用する第２の情報端末の位置であってもよい。

また、本発明の他の観点によれば、第１の利用者が存在する空間が撮像された第１の撮像画像の少なくとも一部が第２の利用者によって視認可能な第２の表示領域に表示され、前記第２の利用者が存在する空間が撮像された第２の撮像画像の少なくとも一部が前記第１の利用者によって視認可能な第１の表示領域に表示されるように制御することと、前記第２の表示領域における前記第１の利用者の位置が第１の条件を満たす場合に、前記第２の利用者が撮像された人物画像が前記第１の表示領域における前記第２の利用者の位置に応じた位置に表示されるように制御することと、を含む、表示制御方法が提供される。

また、本発明の他の観点によれば、コンピュータを、第１の利用者が存在する空間が撮像された第１の撮像画像の少なくとも一部が第２の利用者によって視認可能な第２の表示領域に表示され、前記第２の利用者が存在する空間が撮像された第２の撮像画像の少なくとも一部が前記第１の利用者によって視認可能な第１の表示領域に表示されるように制御する表示制御部を備え、前記表示制御部は、前記第２の表示領域における前記第１の利用者の位置が第１の条件を満たす場合に、前記第２の利用者が撮像された人物画像が前記第１の表示領域における前記第２の利用者の位置に応じた位置に表示されるように制御する、表示制御装置として機能させるためのプログラムが提供される。

以上説明したように本発明によれば、複数の利用者の間でより自然にコミュニケーションを行わせるための技術を提供することが可能となる。

本発明の第１の実施形態に係る表示制御システムの概略的な構成の一例を示す図である。 同実施形態に係る情報端末の機能構成の一例を示すブロック図である。 同実施形態に係るサーバの機能構成の一例を示すブロック図である。 同実施形態に係る情報端末によって表示される画面例を示す図である。 同実施形態に係る情報端末によって表示される画面例を示す図である。 利用者の人物映像が重畳された表示対象映像がメイン領域に表示された例を示す図である。 利用者の人物映像が重畳された表示対象映像がメイン領域に表示された例を示す図である。 同実施形態に係る表示制御システムの動作例を示すフローチャートである。 本発明の第２の実施形態に係る情報端末の機能構成の一例を示すブロック図である。 同実施形態に係るサーバの機能構成の一例を示すブロック図である。 本発明の第２の実施形態に係る情報端末によって表示される画面例を示す図である。 同実施形態に係る表示制御システムの動作例を示すフローチャートである。 本発明の実施形態に係る装置のハードウェア構成の一例を示すブロック図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

（１．第１の実施形態）
まず、本発明の第１の実施形態について説明する。

（１−１．システム構成）
図１は、本発明の第１の実施形態に係る表示制御システムの概略的な構成の一例を示す図である。図１を参照すると、本発明の第１の実施形態に係る表示制御システム１は、複数の拠点（拠点Ａ〜Ｄ）と、サーバ２０と、ネットワーク３０とを有する。

なお、本発明の第１の実施形態においては、図１に示したように、複数の拠点が４つの拠点によって構成される場合を主に想定する。しかし、拠点の数は、４つに限定されない。あるいは、拠点の数は複数でなくてもよく、１つであってもよい。また、本発明の第１の実施形態においては、各拠点がオフィスである場合を主に想定する。しかし、各拠点はオフィスに限定されず、住宅などといった他の場所であってもよい。

図１に示したように、拠点Ａ〜Ｄそれぞれには、測位部６１および俯瞰映像撮影部６２が設置されている。また、本発明の第１の実施形態においては、拠点Ａ〜Ｄの全部に、１または複数の情報端末１０が存在する場合を主に想定する（図１に示した例では、拠点Ａに存在する３つの情報端末１０が図示されている）。しかし、拠点Ａ〜Ｄの少なくとも一部に、１または複数の情報端末１０が存在していればよい。あるいは、拠点Ａ〜Ｄの中には、情報端末１０が１つも存在しない拠点があってもよい。

測位部６１は、設置されている拠点に存在する情報端末１０の空間における三次元的な位置を測定する（情報端末１０を測位する）。例えば、測位部６１は、（１または複数の）基地局から送信された無線信号の情報端末１０における受信強度に基づいて、情報端末１０の三次元的な位置を測定してもよい。しかし、測位部６１による情報端末１０の測位手法は限定されない。例えば、後にも説明するように、俯瞰映像撮影部６２によって撮影された映像における情報端末１０の二次元的な位置が直接的に得られる場合には、測位部６１は設けられていなくてもよい。

情報端末１０の三次元的な位置を示す情報（情報端末１０の三次元的な位置情報）は、測位部６１からネットワーク３０を介してサーバ２０に送信される。情報端末１０の三次元的な位置情報が測位部６１からサーバ２０に送信されるタイミングは限定されない。例えば、情報端末１０の三次元的な位置情報は、測位部６１からサーバ２０に所定の時間ごとに送信されてよい。

俯瞰映像撮影部６２は、設置されている拠点（空間）の映像（以下、「拠点映像」とも言う。）を撮影する。俯瞰映像撮影部６２は、１または複数の可視光カメラによって構成されてよい。また、俯瞰映像撮影部６２が全方位カメラによって構成される場合を主に想定する。しかし、俯瞰映像撮影部６２の画角は限定されない。例えば、俯瞰映像撮影部６２の画角が所定の角度よりも狭い場合には、１つの拠点に複数のカメラが設置され、複数のカメラによって撮影された映像が繋ぎ合わされてもよい。このように、俯瞰映像撮影部６２の具体的なハードウェア構成は限定されない。

俯瞰映像撮影部６２は、所定のフレームレートで拠点映像を撮影し、サーバ２０に対しては所定のフレームレートで拠点映像を送信してよい。以下、拠点映像を構成する各フレームを単に「撮像画像」とも言う。なお、俯瞰映像撮影部６２によって撮影される拠点映像は、斜め下方向または下方向に撮影された拠点映像であってよい。これによって、拠点に存在する人を閲覧しやすい拠点映像が得られる。しかし、俯瞰映像撮影部６２による撮影方向は限定されない。俯瞰映像撮影部６２によって得られた拠点映像は、ネットワーク３０を介してサーバ２０に送信される。

情報端末１０は、自身に対応する利用者によって利用される。情報端末１０は、（例えば、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを介して）ネットワーク３０に接続されている。本発明の第１の実施形態においては、情報端末１０がＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）である場合を想定する。しかし、情報端末１０の種類は限定されない。例えば、情報端末１０は、スマートフォンであってもよいし、携帯電話であってもよいし、タブレット端末などであってもよい。なお、情報端末１０は、利用者によって視認される情報の表示を制御する表示制御装置の例として機能し得る。

サーバ２０は、コンピュータによって構成される。サーバ２０は、俯瞰映像撮影部６２から送信された各拠点映像を、ネットワーク３０を介して受信する。また、サーバ２０は、測位部６１から送信された各拠点に存在する情報端末１０の位置情報を、ネットワーク３０を介して受信する。そして、サーバ２０は、各拠点映像と各拠点に存在する情報端末１０の位置情報とに基づいて、利用者によって視認される情報を情報端末１０に提供する情報提供装置の例として機能し得る。

以上、本発明の第１の実施形態に係る表示制御システム１の概略的な構成の一例について説明した。

（１−２．情報端末の機能構成）
次に、図２を参照して、本発明の第１の実施形態に係る情報端末１０の機能構成の一例を説明する。図２は、本発明の第１の実施形態に係る情報端末１０の機能構成の一例を示すブロック図である。図２を参照すると、情報端末１０は、制御部１１０、操作部１２０、音声入力部１３０、記憶部１４０、通信部１５０、音声出力部１６０、表示部１７０および撮影部１８０を備える。

（制御部１１０）
制御部１１０は、情報端末１０が有する様々な機能を提供する。制御部１１０は、視線検出部１１１、表示端末検出部１１２、端末状態確認部１１３および表示制御部１１４を有する。なお、制御部１１０は、ＣＰＵ８０３、ＲＯＭ８０５およびＲＡＭ８０７（図１３）により実装され、ＣＰＵ８０３によってＲＯＭ８０５から読み込まれたプログラムがＲＡＭ８０７に展開され、当該プログラムがＣＰＵ８０３によって実行されることによって実現される。

（操作部１２０）
操作部１２０は、入力部の一例として機能し、利用者からの入力を受け付ける。ここでは、操作部１２０がタッチパネルを含んでいる場合を想定するが、操作部１２０の形態は限定されない。例えば、操作部１２０は、キーボードおよびマウスなどを含んでもよいし、ボタンなどを含んでもよい。操作部１２０は、利用者からの入力を制御部１１０へ提供する。なお、操作部１２０は、入力装置８１５（図１３）により実装され得る。

（音声入力部１３０）
音声入力部１３０は、利用者によって発せられた音声の入力を受け付ける。ここでは、音声入力部１３０がマイクロフォンによって構成される場合を想定する。しかし、音声入力部１３０の形態は限定されない。

（記憶部１４０）
記憶部１４０は、情報端末１０の動作を制御するためのプログラムおよびデータを記憶する。当該プログラムには、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）およびアプリケーションなどが含まれる。なお、記憶部１４０は、記憶装置８０９（図１３）により実装され得る。

（通信部１５０）
通信部１５０は、他の装置と通信する。例えば、通信部１５０は、ネットワーク３０に直接的に接続され、ネットワーク３０を介してサーバ２０と通信する。なお、通信部１５０は、通信インタフェース８１１（図１３）により実装され得る。

（音声出力部１６０）
音声出力部１６０は、提示部の一例として機能し、制御部１１０による制御に従って、ＶＵＩ（Ｖｏｉｃｅ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）によって提示情報を利用者に提示する（音声を出力する）。なお、音声出力部１６０は、スピーカ８１９（図１３）により実装され得る。

（表示部１７０）
表示部１７０は、提示部の一例として機能し、表示制御部１１４による制御に従って、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）によって提示情報を利用者に提示する（画面に表示する）。ここでは、表示部１７０がタッチパネルに積層されたディスプレイによって構成される場合を想定するが、表示部１７０の形態は限定されない。なお、表示部１７０は、表示装置８２３（図１３）により実装され得る。

（撮影部１８０）
撮影部１８０は、情報端末１０の利用者の身体の一部または全体を撮影する。本発明の実施形態では、撮影部１８０が、情報端末１０における利用者の顔に対向する位置に設けられており、情報端末１０の利用者の顔を撮影する場合を主に想定する。しかし、撮影部１８０は、利用者の顔の代わりに、情報端末１０の利用者の身体の他の特徴的な部位を撮影してもよい。以下では、撮影部１８０によって利用者の身体の一部または全体が撮影されて得られた画像を、「人物映像」とも言う。また、人物映像を構成する各フレームを単に「人物画像」とも言う。なお、撮影部１８０は、可視光カメラによって構成されてよい。

以上、本発明の第１の実施形態に係る情報端末１０の機能構成の一例について説明した。

（１−３．サーバの機能構成）
次に、図３を参照して、本発明の第１の実施形態に係るサーバ２０の機能構成の一例について説明する。図３は、本発明の第１の実施形態に係るサーバ２０の機能構成の一例を示すブロック図である。図３を参照すると、サーバ２０は、制御部２１０、記憶部２４０および通信部２５０を備える。

（制御部２１０）
制御部２１０は、サーバ２０が有する様々な機能を提供する。制御部２１０は、取得部２１２、処理部２１３および送信制御部２１４を有する。なお、制御部２１０は、ＣＰＵ８０３、ＲＯＭ８０５およびＲＡＭ８０７（図１３）により実装され、ＣＰＵ８０３によってＲＯＭ８０５から読み込まれたプログラムがＲＡＭ８０７に展開され、当該プログラムがＣＰＵ８０３によって実行されることによって実現される。

（記憶部２４０）
記憶部２４０は、サーバ２０の動作を制御するためのプログラムおよびデータを記憶する。当該プログラムには、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）およびアプリケーションなどが含まれる。なお、記憶部２４０は、記憶装置８０９（図１３）により実装され得る。

（通信部２５０）
通信部２５０は、他の装置と通信する。例えば、通信部２５０は、ネットワーク３０に直接的に接続され、ネットワーク３０を介して、各拠点に存在する情報端末１０、測位部６１および俯瞰映像撮影部６２と通信する。なお、通信部２５０は、通信インタフェース８１１（図１３）により実装され得る。

以上、本発明の第１の実施形態に係るサーバ２０の機能構成の一例について説明した。

（１−４．システムの利用例）
続いて、本発明の第１の実施形態に係る表示制御システム１の利用例について説明する。まず、拠点Ａ〜Ｄそれぞれにおいて、俯瞰映像撮影部６２によって（俯瞰映像撮影部６２が設置された）拠点映像が撮影される。そして、拠点Ａ〜Ｄそれぞれの俯瞰映像撮影部６２によって得られた拠点映像は、（例えば、所定のフレームレートで）ネットワーク３０を介してサーバ２０に送信される。一方、拠点Ａ〜Ｄそれぞれにおいて、測位部６１によって拠点に存在する情報端末１０の三次元的な位置が測定される。拠点Ａ〜Ｄそれぞれの測位部６１によって得られた情報端末１０の三次元的な位置情報は、（例えば、所定の時間ごとに）ネットワーク３０を介してサーバ２０に送信される。

サーバ２０において、通信部２５０は、俯瞰映像撮影部６２から送信された拠点Ａ〜Ｄそれぞれの拠点映像を、ネットワーク３０を介して受信する。また、通信部２５０は、測位部６１から送信された拠点Ａ〜Ｄそれぞれに存在する情報端末１０の三次元的な位置情報を、ネットワーク３０を介して受信する。取得部２１２は、拠点Ａ〜Ｄそれぞれの拠点映像および拠点Ａ〜Ｄそれぞれに存在する情報端末１０の三次元的な位置情報を取得する。

各拠点の三次元的な位置と拠点映像における二次元的な位置との対応関係は、サーバ２０によってあらかじめ把握されている。処理部２１３は、かかる対応関係と、情報端末１０の三次元的な位置情報とに基づいて、拠点映像における情報端末１０の位置（二次元位置）を算出する。なお、俯瞰映像撮影部６２が全方位カメラによって構成される場合も想定される。かかる場合には、処理部２１３は、全方位カメラによって撮影された拠点画像から拠点映像における情報端末１０の位置を算出してもよい。あるいは、拠点映像における情報端末１０の位置は、あらかじめ固定値として設定されていてもよい。

また、本発明の実施形態において、拠点映像における情報端末１０の位置は、拠点映像における情報端末１０の利用者の位置の例として用いられる。したがって、拠点映像における情報端末１０の位置の代わりに、拠点映像における情報端末１０の利用者の位置が直接的に得られる場合には、拠点映像における情報端末１０の位置の代わりに、拠点映像における情報端末１０の利用者の位置が用いられてもよい。

処理部２１３は、拠点映像における情報端末１０の位置情報を拠点映像に対応付ける処理を拠点ごとに行う。これによって、処理部２１３は、拠点Ａ〜Ｄごとに情報端末１０の位置情報が付された拠点映像を得る。さらに、処理部２１３は、拠点Ａ〜Ｄの拠点映像の解像度を低下させることによって、拠点Ａ〜Ｄの低解像度データ（以下、「拠点Ａ〜Ｄのサムネイル映像」とも言う。）を生成する。

ここで、拠点Ａ〜Ｄそれぞれに存在する情報端末１０の表示部１７０において、所定の表示領域（以下、「メイン領域」とも言う。）には、拠点Ａ〜Ｄの拠点映像のうち、指定されている拠点映像の少なくとも一部（ここでは、指定されている部分）の映像が表示対象映像として表示される。表示対象映像は、当該表示対象映像の表示を行う情報端末１０ごとに異なり得る。一方、メイン領域よりも小さい表示領域（以下、「サムネイル領域」とも言う。）には、拠点Ａ〜Ｄのサムネイル映像が表示される。

そこで、送信制御部２１４は、拠点Ａ〜Ｄのサムネイル映像と表示対象映像とを、通信部１５０を介して拠点Ａ〜Ｄそれぞれに存在する情報端末１０に提供する。なお、以下では、拠点Ａ〜Ｄのサムネイル映像と表示対象映像との組み合わせを、「表示用データ」と言う場合がある。

拠点Ａ〜Ｄそれぞれに存在する情報端末１０において、表示制御部１１４は、通信部１５０を介して表示用データを取得する。表示制御部１１４は、表示用データに基づいて、表示用データが表示部１７０によって表示されるように表示部１７０を制御する。以下では、（拠点Ａに存在する）情報端末１０Ａ（図５）の利用者（第２の利用者）の名称を「利用者ＵＡ」（図５）とする。また、（拠点Ｂに存在する）情報端末１０Ｂ（図４）の利用者（第１の利用者）の名称を「利用者ＵＢ」（図４）として説明を続ける。

以下では、利用者ＵＡと利用者ＵＢとの間のコミュニケーションを自然に行わせるための技術について主に説明する。しかし、かかる技術は、他の利用者間でのコミュニケーションにも同様に適用され得る。なお、以下では、利用者ＵＡと利用者ＵＢとが異なる拠点に存在する場合を主に想定する。しかし、利用者ＵＡと利用者ＵＢとは、同じ拠点に存在してもよい。すなわち、利用者ＵＡと利用者ＵＢとの間のコミュニケーションを自然に行わせるための技術は、同じ拠点内に存在する利用者間のコミュニケーションにも適用され得る。

具体的に、以下では、情報端末１０Ａによって表示される画面例と、情報端末１０Ｂによって表示される画面例とを参照しながら、利用者ＵＡと利用者ＵＢとの間のコミュニケーションを自然に行わせるための技術について主に説明を続ける。

図４は、本発明の第１の実施形態に係る情報端末１０Ｂによって表示される画面例を示す図である。図４を参照すると、（拠点Ｂに存在する）情報端末１０Ｂによって表示される画面の一例として画面Ｇ１３が示されている。画面Ｇ１３は、利用者ＵＢによって視認可能である。画面Ｇ１３には、メイン領域Ｒ１（第１の表示領域）とサムネイル領域Ｒ２とが含まれている。ここで、図４に示した例では、メイン領域Ｒ１の下にサムネイル領域Ｒ２が存在している。しかし、メイン領域Ｒ１とサムネイル領域Ｒ２との位置関係は限定されない。

情報端末１０Ｂの表示制御部１１４は、メイン領域Ｒ１に表示対象映像が表示されるように表示部１７０を制御する。ここでは、拠点Ａの拠点映像（第２の撮像映像）の一部が表示対象映像に含まれる場合を想定する。したがって、メイン領域Ｒ１には、拠点Ａの拠点映像の一部（当該一部には、利用者ＵＡと利用者ＵＡによって利用される情報端末１０Ａとが写っている）が表示されている。一方、情報端末１０Ｂの表示制御部１１４は、サムネイル領域Ｒ２に拠点Ａ〜Ｄのサムネイル映像が表示されるように表示部１７０を制御する。サムネイル領域Ｒ２の注目領域８６には、メイン領域Ｒ１に表示されている表示対象映像に対応するデータ（表示対象映像の低解像度データ）が表示されている。

なお、図４に示した例では、サムネイル領域Ｒ２に、拠点Ａ〜Ｄのサムネイル映像が、拠点Ｃのサムネイル映像の右半分、拠点Ｄのサムネイル映像、拠点Ａのサムネイル映像、拠点Ｂのサムネイル映像、拠点Ｃのサムネイル映像の左半分の順に左から右へスペースなく並べられている。しかし、拠点Ａ〜Ｄのサムネイル映像が並べられる方向は、左右方向に限定されない。例えば、拠点Ａ〜Ｄのサムネイル映像が並べられる方向は、上下方向であってもよい。

その他、画面Ｇ１３には、拠点名７１、メッセージ入力欄７２、メニュー選択欄７３、利用者名７４、端末名７６、および、賛同数７７が表示されている。拠点名７１は、メイン領域Ｒ１に写っている拠点（ここでは、拠点Ａ）の名称である。メッセージ入力欄７２は、利用者によるテキストメッセージの入力欄である。メニュー選択欄７３は、各種設定のためのメニュー選択欄である。利用者名７４は、画面Ｇ１３を見ている利用者の名称（利用者ＵＢ）である。端末名７６は、画面Ｇ１３を表示している情報端末１０の名称（情報端末１０Ｂ）である。賛同数７７は、画面Ｇ１３を見ている利用者ＵＢが他の利用者から得た賛同数である。

また、画面Ｇ１３には、音量バー８４および音声認識中表示８５が表示されている。音量バー８４は、音声入力部１３０によって受け付けられた利用者ＵＢが発した音声の音量を示す。音声入力部１３０によって受け付けられた音声は、通話中である場合には制御部１１０によって通信部１５０を介して相手先に送信される。また、通話中に通信部１５０を介して入力された相手先の音声は、制御部１１０によって音声出力部１６０を介して出力される。

音声認識中表示８５は、音声入力部１３０によって受け付けられた利用者ＵＢが発した音声に対して音声認識が実行されていることを示す。音声認識が実行されている場合には、音声認識中表示８５に含まれる３つのランプが順に点滅する。なお、音声認識によって得られたテキストデータは、メッセージ入力欄７２に設定される。さらに、相手先との接続後には、音声認識によって得られたテキストデータは、制御部１１０によって通信部１５０を介して相手先に送信される。

図４に示された例では、メイン領域Ｒ１に拠点Ａの拠点映像の一部が表示されている。このとき、利用者ＵＢが拠点Ａにおける他の領域を閲覧したいと考えた場合、または、拠点Ａとは異なる拠点の拠点映像を閲覧したいと考えた場合を想定する。かかる場合には、利用者ＵＢは、メイン領域Ｒ１に対するスワイプ操作を入力すればよい。操作部１２０によってメイン領域Ｒ１に対するスワイプ操作が受け付けられると、表示制御部１１４は、スワイプ操作に基づいてメイン領域Ｒ１に表示された表示対象映像をスクロールさせる。

ここで、利用者ＵＢが（拠点Ａのサムネイル映像の左隣にサムネイル映像が配置された）拠点Ｄの拠点映像を閲覧したいと考えた場合を想定する。かかる場合には、メイン領域Ｒ１に対する右方向へのスワイプ操作を入力すればよい。このとき、表示制御部１１４は、右方向へのスワイプ操作に基づいて、メイン領域Ｒ１の表示切り替えを行う。これによって、メイン領域Ｒ１に表示される表示対象映像が拠点Ａの拠点映像の一部を含んだ状態から拠点Ｄの拠点映像の一部を含んだ状態に切り替わる。より詳細には、メイン領域Ｒ１に表示される表示対象映像が拠点Ａの拠点映像の左端を超えると、表示制御部１１４は、拠点Ｄの拠点映像の右端を表示させ始める。

なお、操作部１２０によって操作部１２０を介してメイン領域Ｒ１に対するスワイプ操作が受け付けられる場合を主に想定した。しかし、操作部１２０によってサムネイル領域Ｒ２に対するスワイプ操作が受け付けられてもよい。かかる場合には、表示制御部１１４は、サムネイル領域Ｒ２に対するスワイプ操作に基づいてサムネイル領域Ｒ２に表示された拠点Ａ〜Ｄのサムネイル映像をスクロールさせる。なお、スワイプ操作が行われなくても、メイン領域Ｒ１に表示される表示対象映像またはサムネイル領域Ｒ２に表示された拠点Ａ〜Ｄのサムネイル映像が自動的にスクロールされてもよい。

上記したように、サムネイル領域Ｒ２の注目領域８６には、メイン領域Ｒ１に表示されている表示対象映像に対応するデータ（表示対象映像の低解像度データ）が表示される。すなわち、メイン領域Ｒ１に対してスワイプ操作が行われようと、サムネイル領域Ｒ２に対してスワイプ操作が行われようと、表示制御部１１４は、メイン領域Ｒ１に表示される表示対象映像とサムネイル領域Ｒ２に表示された拠点Ａ〜Ｄのサムネイル映像との間でスクロールを連動させるのがよい。

なお、メイン領域Ｒ１に表示される表示対象映像とサムネイル領域Ｒ２に表示された拠点Ａ〜Ｄのサムネイル映像との間のスクロールの連動には、時間差があってもよいし、時間差がなくてもよい。あるいは、メイン領域Ｒ１に表示される表示対象映像とサムネイル領域Ｒ２に表示された拠点Ａ〜Ｄのサムネイル映像との間のスクロールは、連動しなくてもよい。メイン領域Ｒ１には、所定領域Ｃ２が設定されているが、所定領域Ｃ２については、後に説明する。

図５は、本発明の第１の実施形態に係る情報端末１０Ａによって表示される画面例を示す図である。図５を参照すると、（拠点Ａに存在する）情報端末１０Ａによって表示される画面の一例として画面Ｇ１４が示されている。画面Ｇ１４は、利用者ＵＡによって視認可能である。画面Ｇ１４には、利用者ＵＢによって視認可能な画面Ｇ１３（図４）と同様に、メイン領域Ｒ１（第２の表示領域）とサムネイル領域Ｒ２とが含まれている。

情報端末１０Ａの表示制御部１１４は、メイン領域Ｒ１に表示対象映像が表示されるように表示部１７０を制御する。ここでは、拠点Ｂの拠点映像（第１の撮像映像）の一部が表示対象映像に含まれる場合を想定する。したがって、メイン領域Ｒ１には、拠点Ｂの拠点映像の一部（当該一部には、利用者ＵＢと利用者ＵＢによって利用される情報端末１０Ｂとが写っている）が表示されている。一方、情報端末１０Ａの表示制御部１１４は、サムネイル領域Ｒ２に拠点Ａ〜Ｄのサムネイル映像が表示されるように表示部１７０を制御する。

なお、図５に示した例では、サムネイル領域Ｒ２に、拠点Ａ〜Ｄのサムネイル映像が、拠点Ｄのサムネイル映像の右半分、拠点Ａのサムネイル映像、拠点Ｂのサムネイル映像、拠点Ｃのサムネイル映像、拠点Ｄのサムネイル映像の左半分の順に左から右へスペースなく並べられている。しかし、拠点Ａ〜Ｄのサムネイル映像が並べられる方向は、左右方向に限定されない。例えば、拠点Ａ〜Ｄのサムネイル映像が並べられる方向は、上下方向であってもよい。

その他、画面Ｇ１４には、画面Ｇ１３（図４）と同様に、拠点名７１、メッセージ入力欄７２、メニュー選択欄７３、利用者名７４、端末名７６、および、賛同数７７が表示されている。図５に示された例では、メイン領域Ｒ１に拠点Ｂの拠点映像の一部が表示されている。メイン領域Ｒ１に表示された表示対象映像、および、サムネイル領域Ｒ２に表示された拠点Ａ〜Ｄのサムネイル映像は、画面Ｇ１３（図４）の表示領域映像およびサムネイル映像と同様にスクロール可能であってよい。メイン領域Ｒ１には、所定領域Ｃ１が設定されているが、所定領域Ｃ１については、後に説明する。

情報端末１０Ａの視線検出部１１１は、（画面Ｇ１４のメイン領域Ｒ１を含む）情報端末１０Ａまたは画面Ｇ１４（すなわち、アプリケーション画面）を利用者ＵＡが注視しているという条件（以下、「利用者ＵＡの視線に関する条件」とも言う。）が満たされているか否かを検出する。情報端末１０Ａまたは画面Ｇ１４の注視は、情報端末１０Ａまたは画面Ｇ１４に利用者ＵＡの視点が連続して所定の時間（例えば、５秒）以上存在することを意味してよいが、情報端末１０Ａまたは画面Ｇ１４に視点が存在する時間の長さは限定されない。なお、一例として、情報端末１０Ａの視線検出部１１１は、情報端末１０Ａの撮影部１８０によって撮影された利用者ＵＡの眼球画像に基づいて、利用者ＵＡの視線を検出すればよい。

情報端末１０Ａの表示端末検出部１１２は、画面Ｇ１４のメイン領域Ｒ１における利用者ＵＢの位置がある条件（第１の条件）を満たしているか否かを検出する。以下、第１の条件を「利用者ＵＢの表示位置に関する条件」とも言う。ここで、「利用者ＵＢの表示位置に関する条件」は、特に限定されない。本発明の第１の実施形態では、「利用者ＵＢの表示位置に関する条件」が、図５に示されたように、画面Ｇ１４のメイン領域Ｒ１における利用者ＵＢの位置が所定領域Ｃ１の内部に存在するという条件を含む場合を想定する。なお、所定領域Ｃ１は、あらかじめ設定された領域であり、典型的には、図５に示されたように、メイン領域Ｒ１の左右方向への中央領域である場合が想定される。しかし、所定領域Ｃ１は、かかる例に限定されない。所定領域Ｃ１は、画面Ｇ１４のメイン領域Ｒ１において利用者ＵＡによって視認しやすい位置であればよい。

本発明の第１の実施形態では、「利用者ＵＢの表示位置に関する条件」が満たされていることが表示端末検出部１１２によって検出された場合、かつ、「利用者ＵＡの視線に関する条件」が満たされていることが視線検出部１１１によって検出された場合に、端末状態確認部１１３が、利用者ＵＡが画面Ｇ１４における利用者ＵＢを視認しているとみなす場合を想定する。しかし、利用者ＵＡが画面Ｇ１４における利用者ＵＢを視認しているとみなされるための条件は、かかる条件に限定されない。

例えば、「利用者ＵＢの表示位置に関する条件」が満たされていることが表示端末検出部１１２によって検出された場合に、利用者ＵＡが画面Ｇ１４における利用者ＵＢを視認しているとみなされてもよい。あるいは、「利用者ＵＢの表示位置に関する条件」（あるいは、「利用者ＵＢの表示位置に関する条件」かつ「利用者ＵＡの視線に関する条件」）に追加して、画面Ｇ１４が最前面に表示されているという条件が満たされている場合に、利用者ＵＡが画面Ｇ１４における利用者ＵＢを視認しているとみなされてもよい。

情報端末１０Ａの端末状態確認部１１３は、利用者ＵＡが画面Ｇ１４における利用者ＵＢを視認しているとみなした場合、情報端末１０Ｂの状態（すなわち、情報端末１０Ｂの利用者ＵＢが利用者ＵＡを視認している否か）を確認するための確認要求を、通信部２５０を介してサーバ２０に提供する。サーバ２０において、通信部２５０は、確認要求を受信すると、受信した確認要求を利用者ＵＢの情報端末１０Ｂに送信する。情報端末１０Ｂにおいては、通信部１５０によって確認要求が受信される。

情報端末１０Ｂにおいて、通信部１５０によって確認要求が受信されると、情報端末１０Ｂの視線検出部１１１は、情報端末１０Ａの視線検出部１１１と同様に、（画面Ｇ１３のメイン領域Ｒ１を含む）情報端末１０Ｂまたは画面Ｇ１３を利用者ＵＢが注視しているという条件（以下、「利用者ＵＢの視線に関する条件」とも言う。）を満たしているか否かを検出する。情報端末１０Ｂまたは画面Ｇ１３の注視は、情報端末１０Ａまたは画面Ｇ１４の注視と同様である。また、情報端末１０Ｂの視線検出部１１１による利用者ＵＢの視線検出は、情報端末１０Ａの視線検出部１１１による利用者ＵＡの視線検出と同様に行われればよい。

情報端末１０Ｂの表示端末検出部１１２は、画面Ｇ１３のメイン領域Ｒ１における利用者ＵＡの位置がある条件（第２の条件）を満たしているか否かを検出する。以下、第２の条件を「利用者ＵＡの表示位置に関する条件」とも言う。ここで、「利用者ＵＡの表示位置に関する条件」は、上記した「利用者ＵＢの表示位置に関する条件」と同様であってよい。なお、所定領域Ｃ２は、あらかじめ設定された領域であり、所定領域Ｃ１と同様に特に限定されない。

本発明の第１の実施形態では、確認要求の受信から所定の時間（例えば、１０秒）以内に、「利用者ＵＡの表示位置に関する条件」が満たされていることが表示端末検出部１１２によって検出された場合、かつ、「利用者ＵＢの視線に関する条件」が満たされていることが視線検出部１１１によって検出された場合に、端末状態確認部１１３が、利用者ＵＡが画面Ｇ１４における利用者ＵＢを視認しているとみなす場合を想定する。しかし、利用者ＵＢが画面Ｇ１３における利用者ＵＡを視認しているとみなされるための条件は、上記した、利用者ＵＡが画面Ｇ１４における利用者ＵＢを視認しているとみなされるための条件と同様に限定されない。

情報端末１０Ｂの端末状態確認部１１３は、情報端末１０Ｂの状態を示す確認応答を、通信部２５０を介してサーバ２０に提供する。より詳細に、情報端末１０Ｂの端末状態確認部１１３は、利用者ＵＢが画面Ｇ１３における利用者ＵＡを視認しているとみなした場合、情報端末１０Ｂの利用者ＵＢが利用者ＵＡを視認していることを示す確認応答を、通信部２５０を介してサーバ２０に提供する。

情報端末１０Ｂにおいて、利用者ＵＢが画面Ｇ１３における利用者ＵＡを視認しているとみなした場合、撮影部１８０は、利用者ＵＢの顔の撮影を開始することによって、利用者ＵＢの人物映像を得る。通信部１５０は、利用者ＵＢの人物映像をサーバ２０に送信する。

サーバ２０において、通信部２５０は、情報端末１０Ｂによって送信された確認応答を受信し、取得部２１２は、確認応答を取得する。送信制御部２１４は、取得部２１２によって取得された確認応答が、通信部１５０によって利用者ＵＡの情報端末１０Ａに送信されるように通信部１５０を制御する。情報端末１０Ａにおいては、通信部１５０によって確認応答が受信される。

情報端末１０Ａにおいては、情報端末１０Ｂの利用者ＵＢが利用者ＵＡを視認していることを示す確認応答が、確認要求を送信してから所定の時間（例えば、１０秒）以内に通信部１５０によって受信された場合、撮影部１８０は、利用者ＵＡの顔の撮影を開始することによって、利用者ＵＡの人物映像を得る。通信部１５０は、利用者ＵＡの人物映像をサーバ２０に送信する。

サーバ２０において、取得部２１２が、通信部２５０を介して、情報端末１０Ａから送信された利用者ＵＡの人物映像を取得すると、処理部２１３は、拠点Ａの拠点映像における情報端末１０Ａの位置に応じた位置に、利用者ＵＡの人物映像を重畳する。同様に、取得部２１２が、通信部２５０を介して、情報端末１０Ｂから送信された利用者ＵＢの人物映像を取得すると、処理部２１３は、拠点Ｂの拠点映像における情報端末１０Ｂの位置に応じた位置に、利用者ＵＢの人物映像を重畳する。

ここで、「拠点Ａの拠点映像における情報端末１０Ａの位置に応じた位置」は、拠点Ａの拠点映像における情報端末１０Ａの位置そのものであってもよいし、拠点Ａの拠点映像における情報端末１０Ａの位置から所定の方向に所定の長さだけずれた位置であってもよい。例えば、情報端末１０Ａよりも上側に利用者ＵＡの顔があることがあらかじめ分かっている場合などには、「拠点Ａの拠点映像における情報端末１０Ａの位置に応じた位置」は、拠点Ａの拠点映像における情報端末１０Ａの位置から上に所定の長さだけずれた位置であってもよい。「拠点Ｂの拠点映像における情報端末１０Ｂの位置に応じた位置」も同様である。

情報端末１０Ｂにおいて、通信部１５０は、サーバ２０から送信された（利用者ＵＡの人物映像が重畳された）表示対象映像を受信する。情報端末１０Ｂにおいて、表示制御部１１４は、サーバ２０から受信された（利用者ＵＡの人物映像が重畳された）表示対象映像がメイン領域Ｒ１に表示されるように表示部１７０を制御する。

図６は、利用者ＵＡの人物映像が重畳された表示対象映像がメイン領域Ｒ１に表示された例を示す図である。図６を参照すると、情報端末１０Ｂの表示制御部１１４は、利用者ＵＡの人物映像９１Ａが、拠点Ａの拠点映像における情報端末１０Ａの位置に応じた位置（ここでは、拠点Ａの拠点映像における情報端末１０Ａの位置から上に所定の長さだけずれた位置）に重畳された表示対象映像が表示部１７０によって表示されるように表示部１７０を制御している例が示されている。

同様に、情報端末１０Ａにおいて、通信部１５０は、サーバ２０から送信された（利用者ＵＢの人物映像が重畳された）表示対象映像を受信する。情報端末１０Ａにおいて、表示制御部１１４は、サーバ２０から受信された（利用者ＵＢの人物映像が重畳された）表示対象映像がメイン領域Ｒ１に表示されるように表示部１７０を制御する。

図７は、利用者ＵＢの人物映像が重畳された表示対象映像がメイン領域Ｒ１に表示された例を示す図である。図７を参照すると、情報端末１０Ａの表示制御部１１４は、利用者ＵＢの人物映像９１Ｂが、拠点Ｂの拠点映像における情報端末１０Ｂの位置に応じた位置（ここでは、拠点Ｂの拠点映像における情報端末１０Ｂの位置から上に所定の長さだけずれた位置）に重畳された表示対象映像が表示部１７０によって表示されるように表示部１７０を制御している例が示されている。

このようにして表示された利用者ＵＢの人物映像９１Ｂを利用者ＵＡが視認し、かつ、利用者ＵＡの人物映像９１Ａを利用者ＵＢが視認することによって（すなわち、利用者ＵＡと利用者ＵＢとが互いに相手の人物映像を視認することによって）、利用者ＵＡと利用者ＵＢとの間において、擬似的に互いの目線を合わせる操作体験が可能となる。このとき、例えば、利用者ＵＡと利用者ＵＢとの間において、会釈または手を振るといった自然で気軽なコミュニケーションを交わすことが可能となる。

利用者ＵＢの人物映像９１Ｂを利用者ＵＡが視認し、かつ、利用者ＵＡの人物映像９１Ａを利用者ＵＢが視認した後は、他のコミュニケーション手段を用いて改めて利用者ＵＡと利用者ＵＢとの間でコミュニケーションが取られてもよい。例えば、利用者ＵＢおよび利用者ＵＡの一方から他方に向けて電話が掛けられてもよい。あるいは、利用者ＵＢおよび利用者ＵＡの一方から他方に向けてメールが送信されてもよい。

情報端末１０Ａの視線検出部１１１が、情報端末１０Ａまたは画面Ｇ１４に対する利用者ＵＡの視線が所定の時間以上外れたという条件が満たされたと判定した場合、および、情報端末１０Ｂの視線検出部１１１が、情報端末１０Ｂまたは画面Ｇ１３に対する利用者ＵＢの視線が所定の時間以上外れたという条件が満たされたと判定した場合の少なくともいずれか一方の場合、情報端末１０Ａおよび情報端末１０Ｂによる人物映像の表示が解除されてもよい。

ここでは、先に利用者ＵＡが画面Ｇ１４における利用者ＵＢを視認しているとみなされた後に、利用者ＵＢが画面Ｇ１３における利用者ＵＡを視認しているとみなされた場合を主に想定した。しかし、利用者ＵＡが画面Ｇ１４における利用者ＵＢを視認しているとみなされることと、利用者ＵＢが画面Ｇ１３における利用者ＵＡを視認しているとみなされることとの先後関係は限定されない。すなわち、先に利用者ＵＢが画面Ｇ１３における利用者ＵＡを視認しているとみなされた後に、利用者ＵＡが画面Ｇ１４における利用者ＵＢを視認しているとみなされてもよい。

以上、本発明の第１の実施形態に係る表示制御システム１の利用例について説明した。

（１−５．システムの動作例）
続いて、本発明の第１の実施形態に係る表示制御システム１の動作例について説明する。図８は、本発明の第１の実施形態に係る表示制御システム１の動作例を示すフローチャートである。なお、図８に示された例では、先に他の利用者を注視した利用者の情報端末１０を「第１の情報端末１０」と称し、当該他の利用者の情報端末１０を「第２の情報端末１０」と称する。

まず、各拠点の俯瞰映像撮影部６２は、各拠点の映像を撮影する。また、各拠点の測位部６１は、各拠点に存在する情報端末１０の位置を測定する。サーバ２０において、取得部２１２は、拠点Ａ〜Ｄそれぞれの拠点映像および拠点Ａ〜Ｄそれぞれに存在する情報端末１０の三次元的な位置情報を、通信部２５０を介して取得する。

処理部２１３は、拠点Ａ〜Ｄそれぞれの拠点映像に対して情報端末１０の拠点映像における位置情報を付する。また、処理部２１３は、拠点Ａ〜Ｄの映像それぞれの解像度を低下させることによって、拠点Ａ〜Ｄのサムネイル映像を生成する。表示対象映像と拠点Ａ〜Ｄのサムネイル映像とは表示用データとして生成され、拠点Ａ〜Ｄそれぞれに存在する情報端末１０に配信される。

各拠点に存在する情報端末１０において、表示制御部１１４は、表示対象映像がメイン領域Ｒ１に表示されるように制御し、拠点Ａ〜Ｄのサムネイル映像がサムネイル領域Ｒ２に表示されるように制御する。第１の情報端末１０の視線検出部１１１は、第１の情報端末１０（またはアプリケーション画面）を利用者が注視しているという条件が満たされているか否かを検出する（Ｓ１１）。第１の情報端末１０の視線検出部１１１は、第１の情報端末１０（またはアプリケーション画面）を利用者が注視しているという条件が満たされていない場合（Ｓ１１において「ＮＯ」）、Ｓ１１に戻る。

一方、第１の情報端末１０の視線検出部１１１は、第１の情報端末１０（またはアプリケーション画面）を利用者が注視しているという条件が満たされている場合（Ｓ１１において「ＹＥＳ」）、第１の情報端末１０の表示端末検出部１１２は、第１の情報端末１０の表示部１７０の所定領域に第２の情報端末１０を表示しているか否かを判定する（Ｓ１２）。第１の情報端末１０の表示端末検出部１１２は、第１の情報端末１０の表示部１７０の所定領域に第２の情報端末１０を表示していない場合には（Ｓ１２において「ＮＯ」）、Ｓ１１に戻る。

一方、第１の情報端末１０の端末状態確認部１１３は、第２の情報端末１０の状態を確認する（Ｓ１３）。第１の情報端末１０の端末状態確認部１１３は、第２の情報端末１０の状態の確認開始から所定の時間を超えた場合には（Ｓ１４において「ＮＯ」）、動作を終了する。一方、第１の情報端末１０の端末状態確認部１１３は、第２の情報端末１０の状態の確認開始から所定の時間以内である場合には（Ｓ１４において「ＹＥＳ」）、Ｓ１５に動作を移行させる。

第２の情報端末１０の視線検出部１１１は、第２の情報端末１０（またはアプリケーション画面）を利用者が注視しているという条件が満たされているか否かを検出する（Ｓ１５）。第２の情報端末１０の視線検出部１１１は、第２の情報端末１０（またはアプリケーション画面）を利用者が注視しているという条件が満たされていない場合（Ｓ１５において「ＮＯ」）、Ｓ１４に戻る。

一方、第２の情報端末１０の視線検出部１１１は、第２の情報端末１０（またはアプリケーション画面）を利用者が注視しているという条件が満たされている場合（Ｓ１５において「ＹＥＳ」）、第２の情報端末１０の表示端末検出部１１２は、第２の情報端末１０の表示部１７０の所定領域に第１の情報端末１０を表示しているか否かを判定する（Ｓ１６）。第２の情報端末１０の表示端末検出部１１２は、第２の情報端末１０の表示部１７０の所定領域に第１の情報端末１０を表示していない場合には（Ｓ１６において「ＮＯ」）、Ｓ１４に戻る。

一方、第２の情報端末１０の表示部１７０の所定領域に第１の情報端末１０を表示している場合には、（Ｓ１６において「ＹＥＳ」）、サーバ２０は、第１の情報端末１０に、第２の情報端末１０の撮影部１８０によって撮影された撮影データ（人物映像）を表示対象映像に重畳して表示させる（Ｓ１７）。それとともに、サーバ２０は、第２の情報端末１０に、第１の情報端末１０の撮影部１８０によって撮影された撮影データ（人物映像）を表示対象映像に重畳して表示させる（Ｓ１８）。

第１の情報端末１０の視線検出部１１１が、第１の情報端末１０（またはアプリケーション画面）に対する利用者の視線が所定の時間以上外れたという条件が満たされたと判定した場合、および、第２の情報端末１０の視線検出部１１１が、第２の情報端末１０（またはアプリケーション画面）に対する利用者の視線が所定の時間以上外れたという条件が満たされたと判定した場合のいずれでもない場合（Ｓ１９において「ＮＯ」）、Ｓ１７およびＳ１８に動作が移行される。一方、これらの条件の少なくともいずれか一方の場合（Ｓ１９において「ＹＥＳ」）、動作が終了される。

以上、本発明の第１の実施形態に係る表示制御システム１の動作例について説明した。

（１−６．まとめ）
本発明の第１の実施形態によれば、第２の利用者の人物映像を第１の利用者が視認し、かつ、第１の利用者の人物映像を第２の利用者が視認することによって（すなわち、第１の利用者と第２の利用者とが互いに相手の人物映像を視認することによって）、第１の利用者と第２の利用者との間において、擬似的に互いの目線を合わせる操作体験が可能となる。このとき、例えば、第１の利用者と第２の利用者との間において、会釈または手を振るといった自然で気軽なコミュニケーションを交わすことが可能となる。

上記では、利用者ＵＡが画面Ｇ１４における利用者ＵＢを視認しているとみなされた場合、かつ、利用者ＵＢが画面Ｇ１３における利用者ＵＡを視認しているとみなされた場合に（すなわち、利用者同士がお互いに見合った場合）、情報端末１０Ａが利用者ＵＢの人物映像を表示し、情報端末１０Ｂが、利用者ＵＢの人物映像を表示する例について説明した。しかし、利用者ＵＡが画面Ｇ１４における利用者ＵＢを視認しているとみなされた場合に、情報端末１０Ｂの表示制御部１１４は、利用者ＵＡの人物映像が表示されるように制御してもよい。

このとき、利用者ＵＡの人物映像が情報端末１０Ｂにおいて利用者ＵＢによって視認されやすいように、情報端末１０Ｂの表示制御部１１４は、メイン領域Ｒ１に表示される表示対象領域を自動的にスクロールさせてもよい。より詳細に、情報端末１０Ｂの表示制御部１１４は、利用者ＵＡが画面Ｇ１４における利用者ＵＢを視認しているとみなされた場合、利用者ＵＡの位置が画面Ｇ１３のメイン領域Ｒ１における所定の位置（例えば、所定領域Ｃ２内の位置）に移動するように表示対象映像をメイン領域Ｒ１においてスクロールさせてもよい。

このようなスクロールは、利用者の操作によって行われてもよい。例えば、利用者ＵＢが利用者ＵＡを選択する操作（選択操作）を入力した場合、情報端末１０Ｂの表示制御部１１４は、利用者ＵＡの位置がメイン領域Ｒ１における所定の位置（例えば、所定領域Ｃ２内の位置）に移動するように表示対象映像をメイン領域Ｒ１においてスクロールさせてもよい。選択操作は、利用者ＵＢの名称を（音声またはテキストによって）入力する操作であってもよいし、リストから利用者ＵＡの名称を選択する操作であってもよい。

以上、本発明の第１の実施形態について説明した。

（２．第２の実施形態）
続いて、本発明の第２の実施形態について説明する。以下では、本発明の第２の実施形態に係る表示制御システムが有する構成のうち、本発明の第１の実施形態に係る表示制御システムが有する構成と異なる構成について主に説明する。そして、本発明の第２の実施形態に係る表示制御システムが有する構成のうち、本発明の第１の実施形態に係る表示制御システムが有する構成と共通する構成については、詳細な説明を省略する。

具体的に、本発明の第２の実施形態では、表示制御システム１が、本発明の第１の実施形態に係る情報端末１０の代わりに、情報端末１２を有する。また、本発明の第２の実施形態では、表示制御システム１が、本発明の第１の実施形態に係るサーバ２０の代わりに、サーバ２２を有する。したがって、以下では、本発明の第２の実施形態に係る情報端末１２およびサーバ２２について主に説明する。

（２−１．情報端末の機能構成）
次に、図９を参照して、本発明の第２の実施形態に係る情報端末１２の機能構成の一例を説明する。図９は、本発明の第２の実施形態に係る情報端末１２の機能構成の一例を示すブロック図である。図９を参照すると、本発明の第２の実施形態に係る情報端末１２は、視線検出部１１１および表示端末検出部１１２の代わりに、視線検出部１１６を有する点において、本発明の第１の実施形態に係る情報端末１０と異なっている。したがって、以下では、視線検出部１１６について主に説明する。

以上、本発明の第２の実施形態に係る情報端末１２の機能構成の一例について説明した。

（２−２．サーバの機能構成）
次に、図１０を参照して、本発明の第２の実施形態に係るサーバ２２の機能構成の一例を説明する。図１０は、本発明の第２の実施形態に係るサーバ２２の機能構成の一例を示すブロック図である。図１０を参照すると、本発明の第２の実施形態に係るサーバ２２は、対応付け処理部２１５を有する点において、本発明の第１の実施形態に係るサーバ２０と異なっている。したがって、以下では、対応付け処理部２１５について主に説明する。

以上、本発明の第２の実施形態に係るサーバ２２の機能構成の一例について説明した。

（２−３．システムの利用例）
続いて、本発明の第２の実施形態に係る表示制御システム１の利用例について説明する。本発明の第１の実施形態と同様にして、処理部２１３は、拠点映像における情報端末１２の位置（二次元位置）を算出する。対応付け処理部２１５は、拠点映像における情報端末１２の位置を基準とした所定の範囲を視線検出用範囲として設定する。視線検出用範囲は、人物映像の位置と同様に、拠点映像における情報端末１２の位置そのものであってもよいし、拠点映像における情報端末１２の位置から所定の方向に所定の長さだけずれた位置であってもよい。

ここでは、対応付け処理部２１５が、拠点映像の視線検出用範囲に視線検出用オブジェクトを対応付ける処理を行う場合を主に想定する。これによって、処理部２１３は、拠点Ａ〜Ｄごとに情報端末１２の位置を基準とした所定の範囲に視線検出用オブジェクトが対応付けられた拠点映像を得る。しかし、視線検出用オブジェクトは、拠点映像の視線検出用範囲に対応付けられなくてもよい。さらに、処理部２１３は、拠点Ａ〜Ｄの拠点映像の解像度を低下させることによって、拠点Ａ〜Ｄのサムネイル映像を生成する。

送信制御部２１４は、拠点Ａ〜Ｄのサムネイル映像と視線検出用オブジェクトが対応付けられた表示対象映像とを、通信部１５０を介して拠点Ａ〜Ｄそれぞれに存在する情報端末１２に提供する。拠点Ａ〜Ｄそれぞれに存在する情報端末１２において、表示制御部１１４は、通信部１５０を介して表示用データを取得する。表示制御部１１４は、表示用データに基づいて、表示用データが表示部１７０によって表示されるように表示部１７０を制御する。

図１１は、本発明の第２の実施形態に係る情報端末１２Ｂによって表示される画面例を示す図である。図１１を参照すると、（拠点Ｂに存在する）情報端末１２Ｂによって表示される画面の一例として画面Ｇ１７が示されている。画面Ｇ１７は、利用者ＵＢによって視認可能である。画面Ｇ１７には、メイン領域Ｒ１とサムネイル領域Ｒ２とが含まれている。本発明の第２の実施形態では、図１１に示されるように、表示制御部１１４は、サーバ２２によって視線検出用オブジェクト９２Ａが対応付けられた表示対象領域をメイン領域Ｒ１に表示させる。

図１１に示されるように、視線検出用オブジェクト９２Ａは、半透明であるのが望ましい。これによって、利用者ＵＢは、メイン領域Ｒ１に表示されている表示対象映像に写る利用者ＵＡを視認しつつ、視線検出用オブジェクト９２Ａに視線を当てることが可能になる。

ここで、視線検出用オブジェクト９２Ａのサイズは、固定的に決められていてもよいが、状況に応じて変化してもよい。例えば、視線検出用オブジェクト９２Ａのサイズは、利用者ＵＡの状況に応じて変化してもよい。すなわち、対応付け処理部２１５は、利用者ＵＡの状況を計測し、視線検出用オブジェクト９２Ａのサイズを利用者ＵＡの状況に応じて変化させてもよい。ここで、利用者ＵＡの状況は、利用者ＵＡの特定の状況に限定されない。

一例として、利用者ＵＡの状況は、利用者ＵＡの位置と、画面Ｇ１７のメイン領域Ｒ１に表示される表示対象映像を撮像する俯瞰映像撮影部６２との距離を含んでもよい。例えば、当該距離は、対応付け処理部２１５によって利用者ＵＡの位置と俯瞰映像撮影部６２の位置とに基づいて計測されてもよい。例えば、利用者ＵＡの三次元的な位置が拠点Ａの俯瞰映像撮影部６２から遠くなるにつれて、利用者ＵＡが小さく表示対象映像に写ることになる。そのため、対応付け処理部２１５は、利用者ＵＡの三次元的な位置が拠点Ａの俯瞰映像撮影部６２から遠くなるほど、視線検出用オブジェクト９２Ａのサイズを小さくしてもよい。

これによって、利用者ＵＡのサイズに合わせたサイズの視線検出用オブジェクト９２Ａが表示されるため、利用者ＵＡに対する利用者ＵＢによる注視の検出精度の低下を抑制しつつ、利用者ＵＡとは異なる被写体に対する注視を誤って利用者ＵＡに対する注視と誤検出してしまう可能性が低減される。

あるいは、利用者ＵＡの状況は、利用者ＵＡの感情を含んでもよい。すなわち、対応付け処理部２１５は、視線検出用オブジェクト９２Ａのサイズを利用者ＵＡの感情に応じて変化させてもよい。例えば、利用者ＵＡの感情（例えば、ポジティブ度）は、対応付け処理部２１５によって利用者ＵＡの人物映像に基づいて計測されてもよい。例えば、対応付け処理部２１５は、利用者ＵＡのポジティブ度に応じて、視線検出用オブジェクト９２Ａのサイズを変化させてもよい。利用者ＵＡのポジティブ度が高くなるほど、視線検出用オブジェクト９２Ａのサイズを大きくしてもよいし、視線検出用オブジェクト９２Ａのサイズを小さくしてもよい。

なお、本発明の第２の実施形態に係る情報端末１２Ａによって表示される画面例については、図１１に示された情報端末１２Ｂによって表示される画面Ｇ１７と同様であるため、図示が省略されている。

ここで、本発明の第２の実施形態においては、情報端末１２Ａの視線検出部１１６は、視線検出用範囲内（すなわち、視線検出用オブジェクトの範囲内）を利用者ＵＡが注視しているという条件（以下、「利用者ＵＡの利用者ＵＢに対する視線に関する条件」とも言う。）が満たされているか否かを検出する。視線検出用範囲内の注視は、視線検出用範囲内に利用者ＵＡの視点が連続して所定の時間（例えば、５秒）以上存在することを意味してよいが、視線検出用範囲内に視点が存在する時間の長さは限定されない。

本発明の第２の実施形態では、「利用者ＵＡの利用者ＵＢに対する視線に関する条件」が満たされていることが視線検出部１１６によって検出された場合に、端末状態確認部１１３が、利用者ＵＡがアプリケーション画面における利用者ＵＢを視認しているとみなす場合を想定する。しかし、利用者ＵＡがアプリケーション画面における利用者ＵＢを視認しているとみなされるための条件は、かかる条件に限定されない。

例えば、「利用者ＵＡの利用者ＵＢに対する視線に関する条件」に追加して、アプリケーション画面が最前面に表示されているという条件が満たされている場合に、利用者ＵＡがアプリケーション画面における利用者ＵＢを視認しているとみなされてもよい。

情報端末１２Ａの端末状態確認部１１３は、利用者ＵＡがアプリケーション画面における利用者ＵＢを視認しているとみなした場合、情報端末１２Ｂの状態（すなわち、情報端末１２Ｂの利用者ＵＢが利用者ＵＡを視認している否か）を確認するための確認要求を、通信部２５０を介してサーバ２２に提供する。サーバ２２において、通信部２５０は、確認要求を受信すると、受信した確認要求を利用者ＵＢの情報端末１２Ｂに送信する。情報端末１２Ｂにおいては、通信部１５０によって確認要求が受信される。

情報端末１２Ｂにおいて、通信部１５０によって確認要求が受信されると、情報端末１２Ｂの視線検出部１１６は、情報端末１２Ａの視線検出部１１６と同様に、視線検出用範囲内（すなわち、視線検出用オブジェクト９２Ａの範囲内）を利用者ＵＢが注視しているという条件（以下、「利用者ＵＢの利用者ＵＡに対する視線に関する条件」とも言う。）を満たしているか否かを検出する。利用者ＵＢによる視線検出用オブジェクト９２Ａの注視は、利用者ＵＡによる視線検出用オブジェクトの注視と同様である。

本発明の第２の実施形態では、確認要求の受信から所定の時間（例えば、１０秒）以内に、「利用者ＵＢの利用者ＵＡに対する視線に関する条件」が満たされていることが視線検出部１１６によって検出された場合に、端末状態確認部１１３が、利用者ＵＢが画面Ｇ１７における利用者ＵＡを視認しているとみなす場合を想定する。しかし、利用者ＵＢが画面Ｇ１７における利用者ＵＡを視認しているとみなされるための条件は、上記した、利用者ＵＡが視線検出オブジェクト内を視認しているとみなされるための条件と同様に限定されない。

情報端末１２Ｂの端末状態確認部１１３は、情報端末１２Ｂの状態を示す確認応答を、通信部２５０を介してサーバ２２に提供する。以降は、本発明の第１の実施形態と同様の手順に従って、情報端末１２Ｂにおいて、表示制御部１１４は、サーバ２２から受信された（利用者ＵＡの人物映像が重畳された）表示対象映像がメイン領域Ｒ１に表示されるように表示部１７０を制御する。また、情報端末１２Ａにおいて、表示制御部１１４は、サーバ２２から受信された（利用者ＵＢの人物映像が重畳された）表示対象映像がメイン領域Ｒ１に表示されるように表示部１７０を制御する。

以上、本発明の第２の実施形態に係る表示制御システム１の利用例について説明した。

（２−３．システムの動作例）
続いて、本発明の第２の実施形態に係る表示制御システム１の動作例について説明する。図１２は、本発明の第２の実施形態に係る表示制御システム１の動作例を示すフローチャートである。なお、図１２に示された例においては、先に他の利用者を注視した利用者の情報端末１２を「第１の情報端末１２」と称し、当該他の利用者の情報端末１２を「第２の情報端末１２」と称する。

本発明の第１の実施形態と同様に、各拠点の俯瞰映像撮影部６２は、各拠点の映像を撮影する。また、各拠点の測位部６１は、各拠点に存在する情報端末１２の位置を測定する。サーバ２２において、取得部２１２は、拠点Ａ〜Ｄそれぞれの拠点映像および拠点Ａ〜Ｄそれぞれに存在する情報端末１２の三次元的な位置情報を、通信部２５０を介して取得する。

処理部２１３は、拠点Ａ〜Ｄそれぞれの拠点映像における情報端末１２の位置（二次元位置）を算出する。対応付け処理部２１５は、拠点Ａ〜Ｄそれぞれの拠点映像における情報端末１２の位置を基準とした所定の範囲を視線検出用範囲として設定する。対応付け処理部２１５は、拠点Ａ〜Ｄそれぞれの拠点映像の視線検出用範囲に視線検出用オブジェクトを対応付ける処理を行う（Ｓ２１）。さらに、処理部２１３は、拠点Ａ〜Ｄの拠点映像の解像度を低下させることによって、拠点Ａ〜Ｄのサムネイル映像を生成する。

視線検出用オブジェクトが対応付けられた表示対象映像と拠点Ａ〜Ｄのサムネイル映像とは表示用データとして生成され、拠点Ａ〜Ｄそれぞれに存在する情報端末１２に配信される。各拠点に存在する情報端末１２において、表示制御部１１４は、表示対象映像がメイン領域Ｒ１に表示されるように制御し、拠点Ａ〜Ｄのサムネイル映像がサムネイル領域Ｒ２に表示されるように制御する。

第１の情報端末１２の視線検出部１１６は、第２の情報端末１２に対応付けられた視線検出用オブジェクトを利用者が所定の時間以上注視しているという条件が満たされているか否かを検出する（Ｓ２２）。第１の情報端末１２の視線検出部１１６は、第２の情報端末１２に対応付けられた視線検出用オブジェクトに対して利用者が所定の時間以上注視しているという条件が満たされていない場合（Ｓ２２において「ＮＯ」）、Ｓ２１に戻る。一方、第２の情報端末１２に対応付けられた視線検出用オブジェクトを利用者が所定の時間以上注視しているという条件が満たされている場合（Ｓ２２において「ＹＥＳ」）、Ｓ１３に動作が移行される。

Ｓ１３およびＳ１４は、本発明の第１の実施形態に係るＳ１３およびＳ１４と同様に実行される。

第２の情報端末１２の視線検出部１１６は、第１の情報端末１２に対応付けられた視線検出用オブジェクトを利用者が所定の時間以上注視しているという条件が満たされているか否かを検出する（Ｓ２３）。第２の情報端末１２の視線検出部１１６は、第１の情報端末１２に対応付けられた視線検出用オブジェクトに対して利用者が所定の時間以上注視しているという条件が満たされていない場合（Ｓ２３において「ＮＯ」）、Ｓ１４に戻る。一方、第１の情報端末１２に対応付けられた視線検出用オブジェクトを利用者が所定の時間以上注視しているという条件が満たされている場合（Ｓ２３において「ＹＥＳ」）、Ｓ１７およびＳ１８に動作が移行される。

Ｓ１７およびＳ１８は、本発明の第１の実施形態に係るＳ１７およびＳ１８と同様に実行される。Ｓ１７およびＳ１８が実行された後には、Ｓ１９に動作が移行される。Ｓ１９も、本発明の第１の実施形態に係るＳ１９と同様に実行される。

以上、本発明の第２の実施形態に係る表示制御システム１の動作例について説明した。

（２−４．まとめ）
本発明の第２の実施形態によれば、本発明の第１の実施形態と同様の効果を奏し得る。さらに、本発明の第２の実施形態によれば、利用者に対応する視線検出用範囲があらかじめ設定されており、視線検出用範囲内が利用者によって注視されていることが、視線検出用範囲内の利用者が注視されていることに置き換えられ得る。したがって、（例えば、画面内に複数の利用者が写っている場合などには）注視されている利用者が容易に特定され得る。

さらに、本発明の第２の実施形態によれば、本発明の第１の実施形態と異なり、視線検出用範囲内の利用者が注視されるだけで、利用者が視認されているとみなされる。したがって、本発明の第２の実施形態によれば、画面内の所定領域に利用者が位置するまで画面をスクロールさせなくても済む。

以上、本発明の第２の実施形態について説明した。

（３．ハードウェア構成）
図１３は、本発明の実施形態に係る情報端末１０およびサーバ２０（以下、情報端末１０およびサーバ２０それぞれを区別せずに「本実施形態に係る装置」と言う場合がある。）のハードウェア構成の一例を示すブロック図である。なお、情報端末１０およびサーバ２０それぞれに下記のハードウェア構成のすべてが備えられている必要はなく（例えば、サーバ２０に直接的にセンサが備えられている必要はない）、各装置の機能構成を実現できるハードウェアモジュールが適宜限定して備えられてもよい。

図１３を参照すると、本実施形態に係る装置は、バス８０１、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８０３、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８０５、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８０７、記憶装置８０９、通信インタフェース８１１、センサ８１３、入力装置８１５、表示装置８１７、スピーカ８１９を備える。

ＣＰＵ８０３は、本実施形態に係る装置における様々な処理を実行する。また、ＲＯＭ８０５は、本実施形態に係る装置における処理をＣＰＵ８０３に実行させるためのプログラム及びデータを記憶する。また、ＲＡＭ８０７は、ＣＰＵ８０３の処理の実行時に、プログラム及びデータを一時的に記憶する。

バス８０１は、ＣＰＵ８０３、ＲＯＭ８０５及びＲＡＭ８０７を相互に接続する。バス８０１には、さらに、記憶装置８０９、通信インタフェース８１１、センサ８１３、入力装置８１５、表示装置８１７及びスピーカ８１９が接続される。バス８０１は、例えば、複数の種類のバスを含む。一例として、バス８０１は、ＣＰＵ８０３、ＲＯＭ８０５及びＲＡＭ８０７を接続する高速バスと、該高速バスよりも低速の１つ以上の別のバスを含む。

記憶装置８０９は、本実施形態に係る装置内で一時的または恒久的に保存すべきデータを記憶する。記憶装置８０９は、例えば、ハードディスク（Ｈａｒｄ Ｄｉｓｋ）等の磁気記憶装置であってもよく、または、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）、ＭＲＡＭ（Ｍａｇｎｅｔｏｒｅｓｉｓｔｉｖｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＦｅＲＡＭ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＰＲＡＭ（Ｐｈａｓｅ ｃｈａｎｇｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の不揮発性メモリ（ｎｏｎｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）であってもよい。

通信インタフェース８１１は、本実施形態に係る装置が備える通信手段であり、ネットワークを介して（あるいは直接的に）外部装置と通信する。通信インタフェース８１１は、無線通信用のインタフェースであってもよく、この場合に、例えば、通信アンテナ、ＲＦ回路及びその他の通信処理用の回路を含んでもよい。また、通信インタフェース８１１は、有線通信用のインタフェースであってもよく、この場合に、例えば、ＬＡＮ端子、伝送回路及びその他の通信処理用の回路を含んでもよい。

センサ８１３は、例えばカメラ、マイクロフォン、生体センサ、その他のセンサまたはそれらの複合である。カメラは、被写体を撮像するもので、例えば光学系、撮像素子及び画像処理回路を含む。マイクロフォンは、周囲の音を収音するもので、該音を電気信号へ変換し該電気信号をデジタルデータに変換する。

入力装置８１５は、タッチパネル、マウス、カメラなどの視線検出装置、マイクロフォン等である。表示装置８１７は、本実施形態に係る装置からの出力画像（すなわち表示画面）を表示するもので、例えば液晶、有機ＥＬ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等を用いて実現され得る。スピーカ８１９は、音声を出力するもので、デジタルデータを電気信号に変換し該電気信号を音声に変換する。

（４．変形例）
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

また、上記では、処理部２１３が、サーバ２０の内部に存在する場合を主に説明した。しかし、処理部２１３は、サーバ２０の外部に存在してもよい。例えば、情報端末１０の内部に、処理部２１３が存在してもよい。あるいは、上記では、視線検出部１１１、表示端末検出部１１２および端末状態確認部１１３が、情報端末１０の内部に存在する場合を主に説明した。しかし、視線検出部１１１、表示端末検出部１１２および端末状態確認部１１３の少なくともいずれか一つは、情報端末１０の外部（例えば、サーバ２０の内部）に存在してもよい。

１ 表示制御システム
１０、１２ 情報端末
１１０ 制御部
１１１ 視線検出部
１１２ 表示端末検出部
１１３ 端末状態確認部
１１４ 表示制御部
１１６ 視線検出部
１２０ 操作部
１３０ 音声入力部
１４０ 記憶部
１５０ 通信部
１６０ 音声出力部
１７０ 表示部
１８０ 撮影部
２０、２２ サーバ
２１０ 制御部
２１２ 取得部
２１３ 処理部
２１４ 送信制御部
２１５ 対応付け処理部
２４０ 記憶部
２５０ 通信部
３０ ネットワーク
６１ 測位部
６２ 俯瞰映像撮影部
９２Ａ 視線検出用オブジェクト

Claims (16)

1. 第１の利用者が存在する空間が撮像された第１の撮像画像の少なくとも一部が第２の利用者によって視認可能な第２の表示領域に表示され、
   前記第２の利用者が存在する空間が撮像された第２の撮像画像の少なくとも一部が前記第１の利用者によって視認可能な第１の表示領域に表示されるように制御する表示制御部を備え、
   前記表示制御部は、前記第２の表示領域における前記第１の利用者の位置が第１の条件を満たす場合に、前記第２の利用者が撮像された人物画像が前記第１の表示領域における前記第２の利用者の位置に応じた位置に表示されるように制御する、
   表示制御装置。
2. 前記第１の条件は、前記第２の表示領域における前記第１の利用者の位置が前記第２の表示領域のあらかじめ設定された所定の領域内に存在するという条件を含む、
   請求項１に記載の表示制御装置。
3. 前記表示制御部は、前記第２の表示領域における前記第１の利用者の位置が前記第１の条件を満たす場合、かつ、前記第２の表示領域を含む情報端末またはアプリケーション画面内に前記第２の利用者の視点が存在する場合に、前記第２の利用者が撮像された人物画像が表示されるように制御する、
   請求項１または２に記載の表示制御装置。
4. 前記第１の条件は、前記第２の表示領域における前記第１の利用者の位置を基準とした所定の視線検出用範囲内に前記第２の利用者の視点が存在するという条件を含む、
   請求項１に記載の表示制御装置。
5. 前記視線検出用範囲には、視線検出用オブジェクトが表示されている、
   請求項４に記載の表示制御装置。
6. 前記視線検出用オブジェクトのサイズは、前記第１の利用者の状況に応じて変化する、
   請求項５に記載の表示制御装置。
7. 前記第１の利用者の状況は、前記第１の利用者の位置と前記第１の撮像画像を撮像する撮影部との距離を含む、
   請求項６に記載の表示制御装置。
8. 前記第１の利用者の状況は、前記第１の利用者の感情を含む、
   請求項６に記載の表示制御装置。
9. 前記表示制御部は、前記第２の表示領域における前記第１の利用者の位置が前記第１の条件を満たす場合、かつ、前記第１の表示領域における前記第２の利用者の位置が第２の条件を満たす場合に、前記第２の利用者が撮像された人物画像が表示されるように制御する、
   請求項１〜８のいずれか一項に記載の表示制御装置。
10. 前記第２の表示領域における前記第１の利用者の位置が前記第１の条件を満たす場合、かつ、前記第１の表示領域における前記第２の利用者の位置が前記第２の条件を満たす場合に、前記第１の利用者が撮像された人物画像が前記第２の表示領域における前記第１の利用者の位置に応じた位置に表示される、
    請求項９に記載の表示制御装置。
11. 前記表示制御部は、前記第２の表示領域における前記第１の利用者の位置が前記第１の条件を満たす場合に、前記第２の利用者の位置が前記第１の表示領域における所定の位置に移動するように前記第２の撮像画像を前記第１の表示領域においてスクロールさせる、
    請求項１〜８のいずれか一項に記載の表示制御装置。
12. 前記表示制御部は、前記第１の利用者によって前記第２の利用者が選択された場合に、前記第２の利用者の位置が前記第１の表示領域における所定の位置に移動するように前記第２の撮像画像を前記第１の表示領域においてスクロールさせる、
    請求項１〜１１のいずれか一項に記載の表示制御装置。
13. 前記表示制御部は、前記第２の表示領域における前記第１の利用者の位置が前記第１の条件を満たす場合、かつ、前記第２の表示領域を含むアプリケーション画面が最前面に表示されている場合に、前記第２の利用者が撮像された人物画像が表示されるように制御する、
    請求項１〜１２のいずれか一項に記載の表示制御装置。
14. 前記第１の利用者の位置は、前記第１の利用者が使用する第１の情報端末の位置であり、
    前記第２の利用者の位置は、前記第２の利用者が使用する第２の情報端末の位置である、
    請求項１〜１３のいずれか一項に記載の表示制御装置。
15. 第１の利用者が存在する空間が撮像された第１の撮像画像の少なくとも一部が第２の利用者によって視認可能な第２の表示領域に表示され、
    前記第２の利用者が存在する空間が撮像された第２の撮像画像の少なくとも一部が前記第１の利用者によって視認可能な第１の表示領域に表示されるように制御することと、
    前記第２の表示領域における前記第１の利用者の位置が第１の条件を満たす場合に、前記第２の利用者が撮像された人物画像が前記第１の表示領域における前記第２の利用者の位置に応じた位置に表示されるように制御することと、
    を含む、表示制御方法。
16. コンピュータを、
    第１の利用者が存在する空間が撮像された第１の撮像画像の少なくとも一部が第２の利用者によって視認可能な第２の表示領域に表示され、
    前記第２の利用者が存在する空間が撮像された第２の撮像画像の少なくとも一部が前記第１の利用者によって視認可能な第１の表示領域に表示されるように制御する表示制御部を備え、
    前記表示制御部は、前記第２の表示領域における前記第１の利用者の位置が第１の条件を満たす場合に、前記第２の利用者が撮像された人物画像が前記第１の表示領域における前記第２の利用者の位置に応じた位置に表示されるように制御する、
    表示制御装置として機能させるためのプログラム。
    

Images