JP2010206307A - 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム - Google Patents

Abstract

【課題】視線情報を用いた自然なコミュニケーションを容易に実現する。
【解決手段】第１ユーザの画像の入力を受付ける受付部１１１と、第２ユーザを含む表示対象物を表す表示画像をディスプレイ１０３に表示する表示制御部１２４と、第１ユーザの画像から第１ユーザの視線を検出する視線検出部１１２と、検出された視線に基づいて第１ユーザが注視している表示画像を認識する注視物認識部１１３と、第１ユーザの頭部モデルを生成するモデル生成部１１５と、頭部モデルに投影するテクスチャを生成するテクスチャ生成部１１６と、認識された表示画像によって表される表示対象物を識別する識別情報と頭部モデルとテクスチャとを送信する送信部１３０と、を備えた。
【選択図】図１

Description

本発明は、インターネットなどのネットワークを介し、会話相手をディスプレイに表示してネットワーク会議を行うネットワーク会議システム、当該ネットワーク会議システムを構成する情報処理装置、情報処理装置で実行される情報処理方法および情報処理プログラムに関する。

ディスプレイ、スピーカ、カメラ、マイク等を備えた端末が、インターネットやＩＳＤＮ（Integrated Services Digital Network）を介して複数接続され、ユーザ同士がこれらの端末を用いて会議を行うネットワーク会議システムが普及している。このようなネットワーク会議システムは、以下のような基本原理で動作する。まず、第一の端末に備えたカメラやマイクを用いて第一のユーザの映像や音声を入力する。そして、入力した情報を第二の端末に備えたディスプレイやスピーカに出力して第二のユーザに伝える。この動作を相互に行うことで、第一のユーザと第二のユーザとのコミュニケーションを成立させることができる。この場合、表示ディスプレイに一つの仮想会議空間が表示されるシステムや、タイル状に各参加者の映像が表示されるシステムなどが存在する。

一方、コミュニケーション行為において、非言語情報を用いるノンバーバルコミュニケーションの重要性が認識されるようになっている。そして、ネットワーク会議のような遠隔コミュニケーションでは、多くの非言語情報が欠落することが指摘されている。非言語情報の欠落により、例えば参加者が発言の交替（ターンテイキング）をうまく制御できなくなるため、会話がスムーズに進まず、会議の質に悪影響を与える。

このため、特にアイコンタクト（視線一致）を中心に、非言語情報の回復を図るため、従来のネットワーク会議システムでは、以下のような二種類の試みが行われてきた。

一つ目の試みとして、カメラ中心がディスプレイに表示される会話相手の位置と異なるために起きる視差効果を効果的に排除する技術が提案されている（例えば、特許文献１、特許文献２）。しかし、この方法では、複数ユーザ間での情報（例えば「誰が誰を見ているか」）をどのように表現するかという問題を解決できず、会議用途としては実用的ではない。

もう一つの試みは、アイコンコンタクト（視線一致）要求対象の明確化とアイコンコンタクトの迅速な実現ある。例えば、特許文献３では、複数ユーザが利用した場合、レイアウトとカメラ位置を変更することで視線一致を表現する技術が提案されている。また、特許文献４では、ユーザ頭部をモデル化した上で、上記特許文献２の仮想カメラと同様の手法により、視差効果を排除する技術が提案され、さらに、別ユーザを見ているユーザ頭部を、その方向に９０度回転させる手法が提案されている。さらに、特許文献５では、表示されたユーザ間の距離に応じた映像表示を行い、資料への注目も実現する技術が提案されている。

特開平８−１９５９４５号公報 特開平１１−３５５８０４号公報 特許第３２９２２４８号公報 特開平８−２３７６２９号公報 特開平８−２５６３１６号公報

コミュニケーション行為において、非言語情報を用いるノンバーバルコミュニケーションの重要性であるが、ネットワーク会議のような遠隔コミュニケーションでは、多くの非言語情報が欠落する。欠落する非言語情報の中でも重要なものが、「相手が自分を見ているか」「相手が何を見ているか」などを表す視線情報である。

これに対し、特許文献３の方法では、複雑な光学系を用いるため、安価な構成が難しいという問題があった。また、表示されたユーザ間の距離に応じた表現になっていないため、視線情報は必ずしも明確でなく、不自然であるという問題があった。

また、特許文献４の方法は、安価な構成が可能であるが、やはり表示されたユーザ間の距離に応じた自然な表現になっていない。さらに、特許文献５の方法では、事前に取得した映像を切り替えて表示しているため、事前に膨大な参照用映像を録画しておき、各端末に配信することが必要となる。また、実際の会話時のユーザ状態を反映させることができないため、表情や着衣の差異などが再現されず、不自然な映像となる。

本発明は、上記に鑑みてなされたものであって、複数ユーザが参加するネットワーク会議で、視線情報を用いた自然なコミュニケーションを容易に実現可能とする情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システムを提供することを目的とする。

上述した目的を達成するために、本発明は、少なくとも１つの外部装置とネットワークを介して接続された情報処理装置であって、前記情報処理装置のユーザを表す第１ユーザの画像の入力を受付ける受付部と、前記外部装置のユーザである第２ユーザを含む表示対象物を表す表示画像を表示部に表示する表示制御部と、受付けられた前記第１ユーザの画像から前記第１ユーザの視線を検出する視線検出部と、検出された前記視線に基づいて、前記表示部に表示された表示画像のうち、前記第１ユーザが注視している表示画像を認識する認識部と、前記第１ユーザの頭部モデルである第１頭部モデルを生成するモデル生成部と、前記第１頭部モデルに投影する画像である第１テクスチャを生成するテクスチャ生成部と、認識された表示画像によって表される表示対象物を識別する第１識別情報と、前記第１頭部モデルと、前記第１テクスチャと、を前記外部装置に送信する送信部と、を備えることを特徴とする。

また、本発明は、上記装置で実行することができる方法およびプログラムである。

また、本発明は、第１ユーザが使用する第１情報処理装置と、前記第１情報処理装置とネットワークを介して接続され、第２ユーザが使用する第２情報処理装置と、を備えるネットワーク会議システムであって、前記第１情報処理装置は、第１表示部と、前記第１ユーザの画像の入力を受付ける受付部と、前記第２ユーザを含む表示対象物を表す表示画像を前記第１表示部に表示する第１表示制御部と、受付けられた前記第１ユーザの画像から前記第１ユーザの視線を検出する視線検出部と、検出された前記視線に基づいて、前記第１表示部に表示された表示画像のうち、前記第１ユーザが注視している表示画像を認識する認識部と、前記第１ユーザの頭部モデルである第１頭部モデルを生成するモデル生成部と、前記第１頭部モデルに投影する画像である第１テクスチャを生成するテクスチャ生成部と、認識された表示画像によって表される表示対象物を識別する第１識別情報と、前記第１頭部モデルと、前記第１テクスチャと、を前記第２情報処理装置に送信する送信部と、を備え、前記第２情報処理装置は、第２表示部と、前記表示対象物ごとに、前記第２表示部に表示する表示画像の位置を記憶する記憶部と、前記第１識別情報と、前記第１頭部モデルと、前記第１テクスチャと、を前記第１情報処理装置から受信する受信部と、前記第１ユーザの表示画像の位置を表すユーザ位置と、前記第１識別情報で表される表示対象物の表示画像の位置を表す注視物位置と、を前記記憶部から読み出し、前記ユーザ位置から前記注視物位置へ向かう方向を表す情報である視線情報を生成する視線情報生成部と、前記第１テクスチャを前記第１頭部モデルに投影した画像であって、生成された前記視線情報が表す方向を前記第１頭部モデルの視線方向とする画像を、前記第１ユーザを表す表示画像として生成する画像生成部と、生成された前記第１ユーザの表示画像を前記第２表示部に表示する第２表示制御部と、を備えること、を特徴とする。

本発明によれば、複数ユーザが参加するネットワーク会議で、視線情報を用いた自然なコミュニケーションを容易に実現することができるという効果を奏する。

図１は、本実施の形態にかかるネットワーク会議システムの構成を示すブロック図である。 図２は、レイアウト記憶部に記憶されるデータのデータ構造の一例を示す図である。 図３は、本実施の形態における注視物情報生成処理の概要を説明するための図である。 図４は、本実施の形態における注視物情報生成処理の全体の流れを示すフローチャートである。 図５は、本実施の形態における更新情報生成処理の全体の流れを示すフローチャートである。 図６は、本実施の形態における視線情報生成処理の全体の流れを示すフローチャートである。 図７は、視線情報生成を説明するための画面例を示す図である。 図８は、本実施の形態におけるアバターモデル更新処理の全体の流れを示すフローチャートである。 図９は、表示ユーザの表示画像に対する視線の修正量を判断するための規定範囲を説明する図である。 図１０は、瞳孔の修正時に用いる修正量を求める曲線の一例を表す図である。 図１１は、本実施の形態を適用したネットワーク会議システムで表示される画面の具体例を示す図である。 図１２は、本実施の形態にかかる情報処理装置のハードウェア構成を示す説明図である。

以下に添付図面を参照して、この発明にかかる情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システムの最良な実施の形態を詳細に説明する。

本実施の形態にかかるネットワーク会議システムは、標準的なビデオカメラおよびディスプレイ装置を用いて各ユーザの注視対象を認識し、アバターモデルを用いた３次元ＣＧ（Computer Graphics）手法によって各ディスプレイ上のレイアウト情報に従った注視関係を再現する。

アバターモデルとは、ネットワーク会議システムに参加している各ユーザをモデル化した画像である。この画像は、ネットワーク会議システムを構成する各端末（情報処理装置）のディスプレイ上に、各ユーザを表す表示画像として表示される。後述するように、アバターモデルは、例えば予め定められた人間の頭部モデルに、各ユーザの映像から取得したテクスチャを投影する（貼り付ける）ことにより生成することができる。

図１は、本実施の形態にかかるネットワーク会議システム１０の構成を示すブロック図である。図１に示すように、ネットワーク会議システム１０は、複数の端末である情報処理装置１００ａ、１００ｂが、インターネットやＩＳＤＮなどのネットワーク３００を介して接続された構成となっている。なお、ネットワーク３００はインターネットやＩＳＤＮに限られるものではなく、従来から用いられているあらゆるネットワーク形態により構成することができる。

情報処理装置１００ａ、１００ｂは、ネットワーク会議システム１０に参加する各ユーザが利用する端末であり、それぞれ同様の構成となっている。なお、以下では、図示しないユーザ１が情報処理装置１００ａを使用し、図示しないユーザ２が情報処理装置１００ｂを使用しているものとする。情報処理装置１００ａと情報処理装置１００ｂとは対称の関係にあるため、情報処理装置１００ａから情報処理装置１００ｂへデータが送信される場合、逆に情報処理装置１００ｂから情報処理装置１００ａへデータが送信される場合が存在する。以下では、情報処理装置１００ａから情報処理装置１００ｂへのデータが送信される場合を例に構成を説明する。また、以下では、情報処理装置１００ａ、１００ｂを単に情報処理装置１００という場合がある。

図１に示すように、情報処理装置１００は、情報入力部１０１と、レイアウト記憶部１０２と、ディスプレイ１０３と、送信情報生成部１１０と、映像生成部１２０と、送信部１３０と、受信部１４０とを備えている。

なお、情報入力部１０１、レイアウト記憶部１０２、およびディスプレイ１０３以外の構成部は、電子回路等のハードウェアであっても良く、相当の機能を備えるソフトウェアモジュールであっても良い。また、外部のコンピュータ上に備えるソフトウェアであっても良い。以下では簡単のため、各情報処理装置１００内に備えるものとして説明する。

情報入力部１０１は、ユーザの画像（映像）、音声等の情報を入力するハードウェア装置である。情報入力部１０１は、例えば、カメラおよびマイクなどにより構成することができる。情報入力部１０１は、ユーザ１の映像を撮像し、任意の方法でエンコードされた動画情報または連続静止画情報として出力する。エンコードの方法としては、ネットワーク会議で良く用いられるＨ．２６１、Ｈ．２６３などを適用できるが、その他の方法であっても良い。

レイアウト記憶部１０２は、ディスプレイ１０３に表示される情報のレイアウト情報を保持する。レイアウト情報は、ディスプレイ１０３上での、複数の対話相手それぞれを表示する表示領域の位置とサイズ、対話相手それぞれのアバターモデルをレンダリングする際の視点を意味する仮想カメラ情報、および共有資料を表示する表示領域の位置とサイズを含む。各ユーザが、各ユーザの嗜好に応じてレイアウト情報を指定するように構成してもよい。

図２は、レイアウト記憶部１０２に記憶されるデータのデータ構造の一例を示す図である。図２に示すように、レイアウト記憶部１０２は、対話相手であるユーザおよび共有資料を含む表示対象物を識別する識別情報である対象物ＩＤと、表示領域の座標値と、表示領域のサイズと、仮想カメラ情報と、を含むレイアウト情報を記憶している。レイアウト情報がディスプレイ１０３に反映される仕組みは後述する。

なお、レイアウト記憶部１０２は、ＨＤＤ、光ディスク、メモリカード、ＲＡＭ（Random Access Memory）などの一般的に利用されているあらゆる記憶媒体により構成することができる。

図１に戻り、ディスプレイ１０３は、各種情報を表示する液晶ディスプレイなどの表示装置である。例えば、ディスプレイ１０３は、対話中の複数の相手を表す映像を表示する。

送信情報生成部１１０は、ネットワーク会議システム１０に参加している他の情報処理装置１００などの外部装置に対して送信する情報を生成する。送信情報生成部１１０は、受付部１１１と、視線検出部１１２と、注視物認識部１１３と、特徴量検出部１１４と、テクスチャ生成部１１６と、モデル生成部１１５と、更新情報生成部１１７と、を備えている。

視線検出部１１２は、入力されたユーザの映像を解析することにより、ユーザ１の視線を検出し、検出した視線の方向を表す情報を含む視線情報を出力する。このような技術としては、例えば特許第３３６１９８０号のような、ユーザ映像を分析してユーザの視線を取得する方法が知られている。視線情報としては、例えばユーザ１の視線方向を表す世界座標系のベクトル（視線ベクトル）を用いることができる。また、ユーザ１の両眼の中点位置を世界座標系の位置座標で表した視線情報を用いてもよい。さらに、ディスプレイ平面を延長した平面と視線との交点を、ディスプレイ平面上に張られた任意の２次元座標系における点座標として表した視線情報を出力しても良い。

注視物認識部１１３は、視線検出部１１２によって得られた視線情報と、レイアウト記憶部１０２が保持するレイアウト情報とから、ユーザ１が注視している表示対象物である注視物を認識し、注視物の対象物ＩＤと、注視点座標とを含む注視物情報を出力する。注視点座標とは、注視物近傍に設定された座標系上での注視点の座標値を表す。

特徴量検出部１１４は、情報入力部１０１によって得られた動画像（映像）からユーザ１の表情の特徴を表す特徴量を検出して出力する。特徴量は、表情を構成する顔パーツの特徴点位置で表すことができる。こうした特徴点としては、左右の口角、目尻、および眉の位置が挙げられる。このような特徴点を検出する技術としては、例えば特開２００８−３７４９号公報で提案されている技術などを適用できる。

モデル生成部１１５は、ユーザ１の３次元ＣＧモデル（アバターモデル）生成に必要な人間の頭部モデルを提供する。頭部モデルは、一般的な３次元ワイヤーフレームモデルに加え、表情の特徴量を適用するための、各顔パーツがワイヤーフレームモデルのいずれの部分に相当するかを表す情報、および、視線ベクトルを計算するための始点となる頭部を代表する点座標一つを含む。頭部モデルは一般的な人間の頭部に合わせて作られたものでも良いし、ユーザごとに測定されたデータを用いても良い。また、頭部モデルは事前に用意されたものを使い続けても良いし、必要に応じてシステム利用中に更新されるものであっても良い。

テクスチャ生成部１１６は、モデル生成部１１５が提供する３次元ワイヤーフレームモデルに加えることによりユーザの映像に近い映像を作り出せるように調整されたピクセル単位の画像データ片群をテクスチャとして出力する。具体的には、テクスチャ生成部１１６は、まず、情報入力部１０１によって得られた映像からユーザ１の顔を認識する。そして、テクスチャ生成部１１６は、認識した顔の画像データと生成された頭部モデルとを照合することにより、頭部モデルに貼り付ける画像データ片群であるテクスチャを生成して出力する。

更新情報生成部１１７は、他の情報処理装置１００が表示するユーザ１のアバターモデルを更新するためのアバターモデル更新情報を生成する。具体的には、更新情報生成部１１７は、モデル生成部１１５、特徴量検出部１１４、およびテクスチャ生成部１１６がそれぞれ出力する、頭部モデル、表情の特徴量、およびテクスチャを含むアバターモデル更新情報を生成する。

送信部１３０は、外部装置に対して各種情報を送信する。例えば、送信部１３０は、注視物認識部１１３によって出力された注視物情報や、更新情報生成部１１７によって出力されたアバターモデル更新情報を、ネットワーク会議システム１０に参加している他の情報処理装置１００に対して送信する。なお、送信部１３０は、アバターモデル更新情報を送信する際、頭部モデル更新の有無と通信帯域の制限に基づくタイミングに沿ってデータを送信する。図１の例では、情報処理装置１００ａの送信情報生成部１１０が生成した情報が、情報処理装置１００ａの送信部１３０によって、情報処理装置１００ｂに対して送信される。

上述のように、情報を入力する側の装置である情報処理装置１００ａと情報を出力する側の装置である情報処理装置１００ｂとの間はネットワーク３００で接続されている。そして、注視物認識部１１３が出力する注視物情報、および更新情報生成部１１７が出力するアバターモデル更新情報は、ネットワーク３００を介して伝送される。

伝達の際の詳細な方式は何であっても良い。例えば、多地点接続されたネットワーク会議においては、Ｐ２Ｐ（Peer to Peer）方式であっても良いし、中央サーバであるＭＣＵ（Multipoint Control Unit）を用いた構成であっても良い。また、ネットワークはＴＣＰ／ＩＰ方式でも良いし、ＩＳＤＮ網であっても良い。

以下に、情報処理装置１００ａから送信された情報を受信する情報処理装置１００ｂで実行される機能について説明する。

受信部１４０は、外部装置から各種情報を受信する。例えば、受信部１４０は、注視物情報およびアバターモデル更新情報を、ネットワーク会議システム１０に参加している他の情報処理装置１００から受信する。

映像生成部１２０は、受信した情報にしたがって、ディスプレイ１０３に表示するユーザ１の表示画像（アバターモデル）を生成する。映像生成部１２０は、視線情報生成部１２１と、表示画像生成部１２２と、合成部１２３と、表示制御部１２４と、を備えている。

視線情報生成部１２１は、受信された注視物情報と、受信されたアバターモデル更新情報に含まれる頭部モデルと、レイアウト記憶部１０２に記憶されているレイアウト情報とから、ディスプレイ１０３に表示されるべきユーザ１の視線の方向を表す情報を含む視線情報を生成する。視線情報生成部１２１は、例えばディスプレイ座標系上の２次元ベクトル（視線ベクトル）として視線情報を生成して出力する。

表示画像生成部１２２は、受信されたアバターモデル更新情報と視線情報生成部１２１から得られた視線情報とから、適切な視線を表現するユーザ１のアバターモデルを、ユーザ１の表示画像として生成する。表示画像生成部１２２が生成するアバターモデルは、一般的な３次元ＣＧ手法で用いられる人物描写に用いる情報であり、ワイヤーフレームモデル情報とテクスチャ画像情報とを含む。

合成部１２３は、対話相手である複数のユーザそれぞれに対して表示画像生成部１２２が生成するアバターモデル群を、レイアウト記憶部１０２に記憶されているレイアウト情報に応じて、一つの映像に合成する。なお、合成部１２３は、映像を合成するときに、一般的な手法によるアバターモデルの３次元ＣＧレンダリングを実行する。合成部１２３が、最終的な映像に合成する際に、一般的なウィンドウシステムで用いられる、２次元的なウィンドウのタイルレイアウトや重ね合わせを用いて映像を合成してもよい。

表示制御部１２４は、合成部１２３によって合成された映像をディスプレイ１０３に表示する処理を制御する。

以上のような各構成部の機能により、図１で示すネットワーク会議システム１０は、ユーザ２に対し、ユーザ１の視線がいずれの方向を向いているかという情報を、どのような画面レイアウトであっても、ユーザ１のアバターモデルの視線を修正することで映像として正しく伝えることができる。

次に、このように構成された本実施の形態にかかる情報処理装置１００による注視物情報生成処理について図３および図４を用いて説明する。図３は、本実施の形態における注視物情報生成処理の概要を説明するための図である。

同図に示す空間上の矩形平面２００は、視線検出部１１２によって検出可能な視線の領域と、ディスプレイ矩形平面２０５を無限に延長した平面とが交差する領域を示す。座標軸２０１および座標軸２０２は、ディスプレイ矩形平面２０５を無限に延長した平面上に張られた直交座標系を構成する座標軸の一例である。

同図には図示していないが、視線検出部１１２は、情報入力部１０１によって撮像されたユーザ２０３の映像から、ユーザ２０３の視線２０４を検出し、例えば視線２０４と矩形平面２００との交点２０８を視線情報として出力する。具体的には、視線検出部１１２は、座標軸２０１、２０２で張られる座標系上での交点２０８の座標値を出力する。

注視物認識部１１３は、予め既知である注視候補物から、実際に注視されている注視物を認識する。まず、視線検出部１１２が出力した交点２０８がディスプレイ矩形平面２０５に含まれるか否かを判断する。同図では、交点２０８がディスプレイ矩形平面２０５に含まれているので、注視物認識部１１３は、さらにレイアウト情報を用いて、交点２０８が、いずれの注視候補物に含まれるかを判断する。具体的には、注視物認識部１１３は、矩形ウィンドウとして図示される、ディスプレイ１０３に表示された注視候補物の一つ一つと交点２０８との当たり判定を行い、交点２０８が含まれる注視候補物を認識する。

同図では、交点２０８が矩形ウィンドウ２０６に含まれているため、注視物認識部１１３は、矩形ウィンドウ２０６に表示されている表示対象物の対象物ＩＤと、直交する座標軸２０９および座標軸２１０で張られる矩形ウィンドウ２０６内の正規化座標系に変換された交点２０８の座標値とを、注視物情報として出力する。

対象物ＩＤは、ネットワーク会議システム１０全体で共通の符号であれば、どのようなものでも良い。注視候補物は、例えば会議に参加している他のユーザの映像、書類などの共有資料、および、チャットウィンドウなどである。視線検出部１１２が、３次元的な情報を出力できる場合、さらに机上の紙書類、試作品、および、別に備えたホワイトボードなどが、注視候補物となっても良い。

次に、注視物情報生成処理の流れについて図４を用いて説明する。図４は、本実施の形態における注視物情報生成処理の全体の流れを示すフローチャートである。

まず、視線検出部１１２が、受付部１１１によって入力された映像からユーザの視線を検出し、検出した視線を表す視線情報を出力する（ステップＳ３０１）。視線情報は、前述のように、３次元的な点とベクトル（視線ベクトル）の組であっても良いし、既知平面上の２次元座標値であっても良い。

次に、注視物認識部１１３は、視線情報を用いて、ユーザの視線とディスプレイ矩形平面との当たり判定を行う（ステップＳ３０２）。ここでの当たり判定は、平面と視線ベクトルとが交わるか否かを判定することに相当する。

そして、注視物認識部１１３は、ユーザの視線がディスプレイ１０３を向いているか、それ以外の部分を意味する外部環境を向いているかを判断する（ステップＳ３０３）。

ユーザの視線がディスプレイ１０３以外の外部環境を向いている場合（ステップＳ３０３：ＮＯ）、注視物認識部１１３は、注視物情報として、外部環境を表す対象物ＩＤと、正規化された２次元座標値を出力する（ステップＳ３０４）。２次元座標値は、ユーザの眼球の位置（ユーザ眼球位置）からのユーザ視線の方向を表すものであり、例えばユーザ眼球位置を原点とする３次元極座標値から半径方向成分（長さに関する量）を取り除いたものなどである。

ユーザがディスプレイ１０３の方向を向いている場合（ステップＳ３０３：ＹＥＳ）、注視物認識部１１３は、ディスプレイ１０３内の全ての注視候補物について、注視候補物がディスプレイ１０３上に占める領域と、ユーザの視線との当たり判定を行う（ステップＳ３０５）。

なお、注視候補物とは、ディスプレイ１０３に表示されている表示対象物のうち、ユーザが注視している注視物の候補となる表示対象物を意味する。また、ここでの当たり判定は、平面と視線ベクトルとが交わる点である注視点が、ディスプレイ平面上に表示されている各注視候補物の表示領域内に含まれるか否かを判定することに相当する。

そして、注視物認識部１１３は、当たりとなる注視候補物が存在するか、すなわち、注視点が含まれる注視候補物が存在するか否かを判断する（ステップＳ３０６）。

当たりとなる注視候補物が存在しない場合（ステップＳ３０６：ＮＯ）、ユーザの視線が外部環境を向いているものとし、外部環境を表す対象物ＩＤと２次元座標値とを注視物情報として出力する。（ステップＳ３０４）。

当たりとなる注視候補物（以下、注視物という）が存在する場合（ステップＳ３０６：ＹＥＳ）、注視物認識部１１３は、まず、注視点の位置を、注視物がディスプレイ１０３上で表示される表示領域に対して正規化された２次元座標値に変換する（ステップＳ３０７）。例えば、注視物が他のユーザの映像であり、矩形ウィンドウに表示されている場合、矩形ウィンドウをＸ−Ｙの２次元座標系とし、矩形ウィンドウ内の注視点の位置を表す座標値を０．０〜１．０の値で正規化する。すなわち、ウィンドウ内の全ての座標値は、（０，０）〜（１，１）で示される。

最後に、注視物認識部１１３は、注視物情報として、注視物の対象物ＩＤと、ステップＳ３０６で導出された２次元座標値（正規化２次元座標値）を出力する（ステップＳ３０８）。

以上のような処理により、注視物認識部１１３はユーザが注視している対象である注視物を認識し、符号化して出力することができる。

次に、アバターモデル更新情報を生成する更新情報生成処理の流れについて図５を用いて説明する。図５は、本実施の形態における更新情報生成処理の全体の流れを示すフローチャートである。

まず、特徴量検出部１１４が、ユーザの映像からユーザの表情の特徴量を検出する（ステップＳ５０１）。次に、モデル生成部１１５が、ユーザの頭部モデルを生成する（ステップＳ５０２）。次に、テクスチャ生成部１１６が、ユーザの映像からユーザの顔を認識する（ステップＳ５０３）。次に、テクスチャ生成部１１６が、ユーザの顔の認識結果から、頭部モデルに適用するテクスチャを生成する（ステップＳ５０４）。

そして、更新情報生成部１１７が、モデル生成部１１５により生成された頭部モデル、特徴量検出部１１４により検出された特徴量、および、テクスチャ生成部１１６により生成されたテクスチャを含むアバターモデル更新情報を生成し（ステップＳ５０５）、更新情報生成処理を終了する。

次に、視線情報生成部１２１による視線情報生成処理の流れについて図６および図７を用いて説明する。図６は、本実施の形態における視線情報生成処理の全体の流れを示すフローチャートである。また、図７は、視線情報生成を説明するための画面例を示す図である。

なお、図７は、図示しない５人目の会議参加者（参加者Ｅとする）であるユーザの情報処理装置１００ｂのディスプレイ１０３に表示される画面例を表している。同図の画面例では、ネットワーク会議に参加している４人のユーザである参加者Ａ〜Ｄの映像がタイル状にレンダリングされている。以下では、参加者Ｅが利用する情報処理装置１００ｂの視線情報生成部１２１で実行される場合を例に説明する。

まず、視線情報生成部１２１は、ディスプレイ１０３に映像をレンダリングするユーザ（以下、表示ユーザという）を決定する（ステップＳ６０１）。ここでは、図７の矩形領域５０１にレンダリングされる参加者Ａを当該表示ユーザとして決定したと仮定して説明する。

視線情報生成部１２１は、表示ユーザの注視物情報を、当該表示ユーザが使用する情報処理装置１００ａの注視物認識部１１３から受信する（ステップＳ６０２）。注視物情報は、前述のように、外部環境を含む注視物の対象物ＩＤと、正規化された２次元座標値とを含む。次に、視線情報生成部１２１は、対象物ＩＤにより、注視物が外部環境であるか否かを判断する（ステップＳ６０３）。

注視物が外部環境である場合（ステップＳ６０３：ＹＥＳ）、視線情報生成部１２１は、外部環境であることを表す符号を視線情報として出力する（ステップＳ６０４）。一方、注視物が外部環境でない場合（ステップＳ６０３：ＮＯ）、視線情報生成部１２１は、注視物が情報処理装置１００ｂのローカルユーザである参加者Ｅか否かを判断する（ステップＳ６０５）。

注視物が参加者Ｅである場合（ステップＳ６０５：ＹＥＳ）、ローカルユーザであることを表す符号と、ステップＳ６０２で受信した注視物情報に含まれる正規化２次元座標値とを、視線情報として出力する（ステップＳ６０６）。

注視物が参加者Ｅでない場合（ステップＳ６０５：ＮＯ）、視線情報生成部１２１は、情報処理装置１００ｂのディスプレイ１０３での当該注視物の位置情報（注視物位置）を情報処理装置１００ｂのレイアウト記憶部１０２から取得する（ステップＳ６０７）。視線情報生成部１２１は、例えば、注視物がディスプレイ１０３に表示される他の参加者の映像である場合、その映像がレンダリングされる領域の位置情報を取得する。ここでは、図７の参加者Ｃが注視物であったとする。この場合、視線情報生成部１２１は、矩形領域５０２の位置情報を取得する。

次に、視線情報生成部１２１は、注視物情報として得られている注視物の矩形領域内での正規化２次元座標値から、ディスプレイ座標系における２次元座標値を表す注視点座標を算出する（ステップＳ６０８）。ここでは、参加者Ｃの映像内の点５０４が矩形内の正規化座標値として指定されている。したがって、視線情報生成部１２１は、ディスプレイ１０３上での矩形領域５０２の表示位置とサイズとから、点５０４のディスプレイ座標系での２次元座標値（注視点座標）を算出する。仮に正規化座標値が（０．７，０．３）、ディスプレイ１０３上の矩形領域５０２の左下の点が（４００，４００）、幅が３００、高さが２５０であるとすれば、ディスプレイ座標系における点５０４の座標値は（６１０，４７５）である。

さらに、視線情報生成部１２１は、ディスプレイ１０３で当該表示ユーザを表示する位置（ユーザ位置）およびサイズを取得する（ステップＳ６０９）。視線情報生成部１２１は、位置およびサイズを情報処理装置１００ｂのレイアウト記憶部１０２から取得する。

また、視線情報生成部１２１は、表示ユーザのアバターモデルの頭部位置を取得する（ステップＳ６１０）。頭部位置とは、頭部モデルから生成されるアバターモデルを表示する位置を決定するための情報である。例えば、両眼の中点の位置を頭部位置として用いることができる。

視線情報生成部１２１は、頭部位置を取得するために、まず表示ユーザが使用する情報処理装置１００から受信したアバターモデル更新情報に含まれる頭部モデルから、頭部モデルの両眼の中点を表す３次元座標値を取得する。そして、視線情報生成部１２１は、レイアウト記憶部１０２に記憶されているアバターモデルレンダリング用の仮想カメラ情報から、取得した３次元座標値をディスプレイ座標系へ投影した２次元座標値に変換することにより頭部位置を取得する。

図７の例の場合、視線情報生成部１２１は、参加者Ａが表示される矩形領域５０１の位置とサイズをレイアウト記憶部１０２から取得し、点５０３の映像中の座標値を頭部位置として取得する。

最後に、視線情報生成部１２１は、ステップＳ６０８と同様の方法によりディスプレイ座標系に変換された点５０３から、注視点である点５０４までの２次元ベクトルである視線ベクトル５０５をディスプレイ座標系上で算出し、視線情報として出力する（ステップＳ６１１）。

次に、表示画像生成部１２２が表示ユーザのアバターモデルを更新するアバターモデル更新処理の一例を、図８のフローチャート、図９および図１０を用いて説明する。

図８は、本実施の形態におけるアバターモデル更新処理の全体の流れを示すフローチャートである。図９は、表示ユーザの表示画像（アバターモデル）に対する視線の修正量を判断するための規定範囲（閾値）を説明する図である。また、図１０は瞳孔の修正時に用いる修正量を求める曲線の一例を表す図である。

図８に示すように、表示画像生成部１２２は、表示ユーザが使用する情報処理装置１００ａの更新情報生成部１１７からアバターモデル更新情報を受信する（ステップＳ８０１）。また、表示画像生成部１２２は、視線情報生成部１２１から、生成された視線情報を取得する（ステップＳ８０２）。

次に、表示画像生成部１２２は、視線情報として注視物が外部環境であることを示す符号が入力されているか否かを判断する（ステップＳ８０３）。外部環境を示す符号が視線情報として取得されている場合（ステップＳ８０３：ＹＥＳ）、表示画像生成部１２２は、アバターモデルを修正せずに（ステップＳ８０４）、アバターモデル更新処理を終了する。

注視物が外部環境であることを示す符号が視線情報として取得されていない場合（ステップＳ８０３：ＮＯ）、表示画像生成部１２２は、注視物が情報処理装置１００ｂのローカルユーザ（参加者Ｅ）であることを示す符号が視線情報として取得されているか否かを判断する（ステップＳ８０５）。

ローカルユーザであることを示す符号が取得されている場合（ステップＳ８０５：ＹＥＳ）、表示画像生成部１２２は、表示ユーザのアバターモデルに含まれる目のモデル内での瞳孔の位置のみを修正する（ステップＳ８０６）。なお、表示画像生成部１２２は、表示ユーザの表示画像から注視物の表示画像までの距離に相当する視線ベクトルの大きさを入力し、瞳孔位置の修正量を出力する所定の関数を用いて、表示ユーザの瞳孔位置の修正量を算出する。そして、表示画像生成部１２２は、瞳孔の初期位置（例えば目の中央）から、視線ベクトルが示す方向に、算出した修正量に相当する分だけ瞳孔を移動させることにより、瞳孔の位置を修正する。

図１０は、修正量を求める関数の一例を示している。同図の例では、視線ベクトルの大きさ（長さ）に従って瞳孔の修正量が単調増加している。視線ベクトルの長さが０．０のとき、瞳孔の修正量は０．０となる。すなわち、瞳孔位置は修正せず、アバターモデルの視線はカメラ正面を向くことになる。視線ベクトルが大きくなるに従い瞳孔の修正量が大きくなり、最大で１．０となる。この場合、瞳孔位置は目の端に至ることになる。

一方、注視物が外部環境でもローカルユーザでもない場合、注視物はディスプレイ１０３上に存在することになる。

すなわち、ステップＳ８０５で、ローカルユーザであることを示す符号が取得されていない場合（ステップＳ８０５：ＮＯ）、表示画像生成部１２２は、まず、ステップＳ８０２で取得した視線情報に含まれる視線ベクトルの大きさが予め定められた閾値以下であるか否かを判断する（ステップＳ８０７）。図９で示す規定範囲７０２は、ユーザ７０１の視線ベクトルの大きさが閾値以内である範囲を表している。表示画像生成部１２２は、視線ベクトルがこの規定範囲７０２内に含まれるか否かを判断する。

視線ベクトルの大きさが閾値以下である場合（ステップＳ８０７：ＹＥＳ）、表示画像生成部１２２は、瞳孔位置を修正するほか、頭部姿勢も小さく修正する（ステップＳ８０８）。なお、頭部姿勢の小さい修正とは、例えば、注視物が存在する方向に、後頭部が現れない程度に頭部モデルを回転させることを意味する。

頭部姿勢の小さい修正を行うことで、瞳孔の動きが不自然にならないようにしながら、撮像したユーザの映像に含まれない後頭部を表示する必要を無くすことができる。このような技術としては、例えばモーションポートレート株式会社のモーションポートレート技術が知られている。

視線ベクトルの大きさが閾値より大きい場合（ステップＳ８０７：ＮＯ）、表示画像生成部１２２は、瞳孔位置を修正するほか、頭部姿勢を大きく修正する（ステップＳ８０９）。なお、頭部姿勢の大きい修正とは、例えば、後頭部が現れるか否かに関係なく、視線ベクトルの大きさに応じた分だけ、注視物が存在する方向に頭部モデルを回転させることを意味する。

この場合、事前に構築した３次元の頭部モデルに対して、表示ユーザの映像が反映できる部分については当該映像をテクスチャとして使用し、反映できない部分については予め与えられたテクスチャを使用する、というような手法を用いることができる。

次に、表示画像生成部１２２は、受信したアバターモデル更新情報に含まれる表情の特徴量を表示ユーザのアバターモデルに適用することにより、特徴量に対応する表情を有するようにアバターモデルを修正する（ステップＳ８１０）。なお、適用する特徴量は、利用する頭部モデルによって異なる。このため、特徴量検出部１１４は、モデル生成部１１５が生成する頭部モデルに応じた特徴量を検出する。

次に、表示画像生成部１２２は、受信したアバターモデル更新情報に含まれるテクスチャを、アバターモデルに適用することによりアバターモデルを修正する（ステップＳ８１１）。

以上に説明した手順により、与えられた視線情報に従ってユーザ映像を修正し、ユーザの視線情報を映像的に正しく表現することが可能となる。また、ステップＳ８１０、ステップＳ８１１で示すように、実際の会話時のユーザの表情や映像を反映させたアバターモデルを生成することができるため、ユーザが意識することなく自然なコミュニケーションを実現することができる。

次に、本実施の形態を適用したネットワーク会議システム１０で表示される画面の具体例を図１１を用いて説明する。同図では、参加者Ａ〜Ｄがネットワーク会議に参加している例が示されている。参加者それぞれ一台の情報処理装置１００を利用しており、ディスプレイ１０３上のレイアウトは各人の嗜好によって異なっている。

同図の下部に示すように、参加者Ａは参加者Ｂを注視し、参加者Ｂは参加者Ａを注視し、参加者Ｃは参加者Ｂを注視し、参加者Ｄは共有資料を注視しているものとする。本実施の形態の手法を用いれば、同図に示すように各参加者が利用する情報処理装置１００それぞれのディスプレイ１０３上で、これらの注視関係を再現することができる。

従来の技術では、このような状況で、誰が誰を見ているか等の視線情報を全員に正しく伝達することは不可能であった。仮想カメラ技術を用いれば、閲覧者と映像内の人物の視線の角度に応じた映像を提示することが可能であるが、他参加者の視線が動くたびにカメラ位置が変更されるのは非常に不自然である。

一方、本実施の形態の手法によれば、情報を入力する側の装置で参加者の注視物を認識し、情報を出力する側の装置でディスプレイ１０３上のレイアウトに基づいた視線情報を再生成することができる。これにより、図１１に示すように、全ての端末における全ての他参加者像が正しく、かつ自然に視線情報を提示することができ、円滑なノンバーバルコミュニケーションを行うことが可能となる。

なお、情報処理装置１００を利用するユーザ自身の映像が表示されるネットワーク会議システムの場合は、ユーザ自身の映像を修正しないものとしても良い。

また、情報入力部１０１は、特許文献２のような仮想カメラ機能を用いて、ユーザ映像を仮想的にディスプレイ中心線から撮った映像に変換しても良い。

また、テクスチャ生成部１１６は、実際のユーザの映像から生成するテクスチャの代わりに、予め与えられたテクスチャ映像を出力しても良い。その場合、合成部１２３が、ライブ映像ではないことを示す記号または文字列を映像に表示するように構成してもよい。また、逆に、実際のユーザ映像を用いている場合に、ライブ映像であることを示す記号または文字列を表示するように構成しても良い。より具体的には、テクスチャがユーザの映像から生成されたテクスチャであるか、予め与えられた固定テクスチャであるかを表すテクスチャ種別を、送信部１３０および受信部１４０により送受信し、このテクスチャ種別に応じてライブ映像であること、またはライブ映像ではないことを示す記号等を表示するように構成してもよい。

さらに、画面レイアウトは、タイル状ではなく、複数の参加者を一つのウィンドウにオーバーレイさせて表示するようなものや、仮想的な会議室映像であっても良い。その場合は、注視物は、注視点に最も近い参加者が選択される。

このように、本実施の形態にかかるネットワーク会議システムでは、標準的なビデオカメラおよびディスプレイ装置を用いて各ユーザの注視対象を認識し、アバターモデルを用いた３次元ＣＧ手法によって各ディスプレイ上のレイアウトに従った注視関係を再現することができる。これにより、仮想会議空間方式およびタイル表示方式の双方において、視線情報を用いた自然なコミュニケーションを手軽に行うことができる。

また、特許文献５のように事前に映像を準備する必要がなく、実際の会話時のユーザの映像を反映させたアバターモデルを表示することができるため、ユーザが意識することなく自然なコミュニケーションを容易に実現することができる。また、このときにユーザの映像自体ではなく、ユーザをモデル化した頭部モデルや、この頭部モデルに貼り付ける画像（テクスチャ）のみを送信すればよいため、データ伝送量が過大となるのを回避することができる。

次に、本実施の形態にかかる情報処理装置のハードウェア構成について図１２を用いて説明する。図１２は、本実施の形態にかかる情報処理装置のハードウェア構成を示す説明図である。

本実施の形態にかかる情報処理装置は、ＣＰＵ（Central Processing Unit）５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、ＨＤＤ（Hard Disk Drive）、ＣＤ（Compact Disc）ドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置と、各部を接続するバス６１を備えており、通常のコンピュータを利用したハードウェア構成となっている。

本実施の形態にかかる情報処理装置で実行される情報処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本実施の形態にかかる情報処理装置で実行される情報処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態にかかる情報処理装置で実行される情報処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

また、本実施の形態の情報処理プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

本実施の形態にかかる情報処理装置で実行される情報処理プログラムは、上述した各部（送信情報生成部、映像生成部、送信部、受信部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ５１（プロセッサ）が上記記憶媒体から情報処理プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上述した各部が主記憶装置上に生成されるようになっている。

なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。

１０ ネットワーク会議システム
５１ ＣＰＵ
５２ ＲＯＭ
５３ ＲＡＭ
５４ 通信Ｉ／Ｆ
６１ バス
１００ａ、１００ｂ 情報処理装置
１０１ 情報入力部
１０２ レイアウト記憶部
１０３ ディスプレイ
１１０ 送信情報生成部
１１１ 受付部
１１２ 視線検出部
１１３ 注視物認識部
１１４ 特徴量検出部
１１５ モデル生成部
１１６ テクスチャ生成部
１１７ 更新情報生成部
１２０ 映像生成部
１２１ 視線情報生成部
１２２ 表示画像生成部
１２３ 合成部
１２４ 表示制御部
１３０ 送信部
１４０ 受信部
３００ ネットワーク

Claims (18)

1. 少なくとも１つの外部装置とネットワークを介して接続された情報処理装置であって、
   前記情報処理装置のユーザを表す第１ユーザの画像の入力を受付ける受付部と、
   前記外部装置のユーザである第２ユーザを含む表示対象物を表す表示画像を表示部に表示する表示制御部と、
   受付けられた前記第１ユーザの画像から前記第１ユーザの視線を検出する視線検出部と、
   検出された前記視線に基づいて、前記表示部に表示された表示画像のうち、前記第１ユーザが注視している表示画像を認識する認識部と、
   前記第１ユーザの頭部モデルである第１頭部モデルを生成するモデル生成部と、
   前記第１頭部モデルに投影する画像である第１テクスチャを生成するテクスチャ生成部と、
   認識された表示画像によって表される表示対象物を識別する第１識別情報と、前記第１頭部モデルと、前記第１テクスチャと、を前記外部装置に送信する送信部と、
   を備えることを特徴とする情報処理装置。
2. 前記表示対象物ごとに、前記表示部に表示する表示画像の位置を記憶する記憶部と、
   前記外部装置の表示部に表示された表示画像のうち、前記第２ユーザが注視している表示画像によって表される表示対象物を識別する第２識別情報と、前記第２ユーザの頭部モデルである第２頭部モデルと、前記第２頭部モデルに投影する画像である第２テクスチャと、を前記外部装置から受信する受信部と、
   前記第２ユーザの表示画像の位置を表すユーザ位置と、前記第２識別情報で表される表示対象物の表示画像の位置を表す注視物位置と、を前記記憶部から読み出し、前記ユーザ位置から前記注視物位置へ向かう方向を表す情報である視線情報を生成する視線情報生成部と、
   前記第２テクスチャを前記第２頭部モデルに投影した画像であって、生成された前記視線情報が表す方向を前記第２頭部モデルの視線方向とする画像を、前記第２ユーザを表す表示画像として生成する画像生成部と、をさらに備え、
   前記表示制御部は、生成された前記第２ユーザの表示画像を前記表示部に表示すること、
   を特徴とする請求項１に記載の情報処理装置。
3. 前記受信部は、さらに、前記第２ユーザの表情の特徴を表す特徴量を受信し、
   前記画像生成部は、受信した前記特徴量が表す特徴の表情を有する前記第２頭部モデルに前記第２テクスチャを投影し、生成された前記視線情報が表す方向を前記第２頭部モデルの視線方向とする画像を、前記第２ユーザを表す表示画像として生成すること、
   を特徴とする請求項２に記載の情報処理装置。
4. 前記第２頭部モデルは、瞳孔を含む目のモデルを含み、
   前記画像生成部は、前記目のモデル内での瞳孔の位置を修正することにより、生成された前記視線情報が表す方向を前記第２頭部モデルの視線方向とすること、
   を特徴とする請求項２に記載の情報処理装置。
5. 前記画像生成部は、さらに、前記第２頭部モデルの姿勢を修正することにより、生成された前記視線情報が表す方向を前記第２頭部モデルの視線方向とすること、
   を特徴とする請求項２に記載の情報処理装置。
6. 前記画像生成部は、
   前記ユーザ位置および前記注視物位置の間の距離と、予め定められた閾値とを比較し、前記距離が前記閾値以下であるときの前記姿勢の修正量を、前記距離が前記閾値より大きいときの前記姿勢の修正量より小さくすること、
   を特徴とする請求項５に記載の情報処理装置。
7. 前記受信部は、さらに、前記第２テクスチャが、前記第２ユーザの画像から生成されたテクスチャであるか、予め定められた固定テクスチャであるかを表すテクスチャ種別を受信し、
   前記表示制御部は、さらに、前記テクスチャ種別に基づいて、前記第２テクスチャが前記第２ユーザの画像から生成されたテクスチャであることを表す画像、または、前記第２テクスチャが前記固定テクスチャであることを表す画像を、前記第２ユーザの表示画像に対応づけて表示すること、
   を特徴とする請求項２に記載の情報処理装置。
8. 前記受信部は、さらに、前記第２ユーザが前記外部装置の表示部の外部を注視していることを表す第３識別情報を受信し、
   前記画像生成部は、前記第３識別情報が受信された場合に、前記第２テクスチャを前記第２頭部モデルに投影した画像であって、前記第２頭部モデルの視線方向を修正しない画像を、前記第２ユーザを表す表示画像として生成すること、
   を特徴とする請求項２に記載の情報処理装置。
9. 前記画像生成部は、前記第２識別情報と前記第１ユーザを識別する前記第１識別情報とが一致する場合に、前記第２テクスチャを前記第２頭部モデルに投影した画像であって、前記第２頭部モデルの視線方向を修正しない画像を、前記第２ユーザを表す表示画像として生成すること、
   を特徴とする請求項２に記載の情報処理装置。
10. 受付けられた前記第１ユーザの画像から前記第１ユーザの表情の特徴を表す特徴量を検出する特徴検出部をさらに備え、
    前記送信部は、さらに、前記特徴量を前記外部装置に送信すること、
    を特徴とする請求項１に記載の情報処理装置。
11. 前記テクスチャ生成部は、受付けられた前記第１ユーザの画像から前記第１テクスチャを生成すること、
    を特徴とする請求項１に記載の情報処理装置。
12. 前記記憶部は、さらに、前記第１頭部モデルに投影可能な予め定められたテクスチャを記憶し、
    前記テクスチャ生成部は、前記記憶部から読み出したテクスチャを前記第１テクスチャとして生成すること、
    を特徴とする請求項１に記載の情報処理装置。
13. 前記認識部は、検出された前記視線に基づいて、認識された表示画像を表示する表示領域に対して予め定められた座標系での、前記第１ユーザが注視している注視点の座標値をさらに検出し、
    前記送信部は、さらに、前記座標値を前記外部装置に送信すること、
    を特徴とする請求項１に記載の情報処理装置。
14. 前記表示制御部は、複数の表示対象物をそれぞれ表す複数の表示画像を、前記表示部の複数の矩形の前記表示領域のいずれかに表示し、
    前記認識部は、検出された前記視線に基づいて、前記表示領域それぞれに対して予め定められた座標系での、前記注視点の座標値を検出すること、
    を特徴とする請求項１に記載の情報処理装置。
15. 前記認識部は、前記表示部に表示された表示画像のうち、前記注視点に最も近い表示画像を、前記第１ユーザが注視している表示画像として認識すること、
    を特徴とする請求項１に記載の情報処理装置。
16. 前記認識部は、さらに、検出された前記視線に基づいて、前記第１ユーザが前記表示部の外部を注視していることを認識し、
    前記送信部は、さらに、前記第１ユーザが前記表示部の外部を注視していることが認識された場合に、前記第１ユーザが前記表示部の外部を注視していることを表す第３識別情報を前記外部装置に送信すること、
    を特徴とする請求項１に記載の情報処理装置。
17. 少なくとも１つの外部装置とネットワークを介して接続された情報処理装置を、
    前記情報処理装置のユーザを表す第１ユーザの画像の入力を受付ける受付部と、
    前記外部装置のユーザである第２ユーザを含む表示対象物を表す表示画像を表示部に表示する表示制御部と、
    受付けられた前記第１ユーザの画像から前記第１ユーザの視線を検出する視線検出部と、
    検出された前記視線に基づいて、前記表示部に表示された表示画像のうち、前記第１ユーザが注視している表示画像を認識する認識部と、
    前記第１ユーザの頭部モデルである第１頭部モデルを生成するモデル生成部と、
    前記第１頭部モデルに投影する画像である第１テクスチャを生成するテクスチャ生成部と、
    認識された表示画像によって表される表示対象物を識別する第１識別情報と、前記第１頭部モデルと、前記第１テクスチャと、を前記外部装置に送信する送信部と、
    として機能させるための情報処理プログラム。
18. 第１ユーザが使用する第１情報処理装置と、前記第１情報処理装置とネットワークを介して接続され、第２ユーザが使用する第２情報処理装置と、を備えるネットワーク会議システムであって、
    前記第１情報処理装置は、
    第１表示部と、
    前記第１ユーザの画像の入力を受付ける受付部と、
    前記第２ユーザを含む表示対象物を表す表示画像を前記第１表示部に表示する第１表示制御部と、
    受付けられた前記第１ユーザの画像から前記第１ユーザの視線を検出する視線検出部と、
    検出された前記視線に基づいて、前記第１表示部に表示された表示画像のうち、前記第１ユーザが注視している表示画像を認識する認識部と、
    前記第１ユーザの頭部モデルである第１頭部モデルを生成するモデル生成部と、
    前記第１頭部モデルに投影する画像である第１テクスチャを生成するテクスチャ生成部と、
    認識された表示画像によって表される表示対象物を識別する第１識別情報と、前記第１頭部モデルと、前記第１テクスチャと、を前記第２情報処理装置に送信する送信部と、を備え、
    前記第２情報処理装置は、
    第２表示部と、
    前記表示対象物ごとに、前記第２表示部に表示する表示画像の位置を記憶する記憶部と、
    前記第１識別情報と、前記第１頭部モデルと、前記第１テクスチャと、を前記第１情報処理装置から受信する受信部と、
    前記第１ユーザの表示画像の位置を表すユーザ位置と、前記第１識別情報で表される表示対象物の表示画像の位置を表す注視物位置と、を前記記憶部から読み出し、前記ユーザ位置から前記注視物位置へ向かう方向を表す情報である視線情報を生成する視線情報生成部と、
    前記第１テクスチャを前記第１頭部モデルに投影した画像であって、生成された前記視線情報が表す方向を前記第１頭部モデルの視線方向とする画像を、前記第１ユーザを表す表示画像として生成する画像生成部と、
    生成された前記第１ユーザの表示画像を前記第２表示部に表示する第２表示制御部と、を備えること、
    を特徴とするネットワーク会議システム。

Images