JP2010239393A - 通信制御装置、通信制御方法、通信制御プログラム - Google Patents

Abstract

【課題】通信回線の負荷を考慮しつつ臨場感のある会議を提供できる通信制御装置、通信制御方法、通信制御プログラムを提供する。
【解決手段】ネットワークの遅延に基づいて通信形態を切り替える。通信状態が第２レベル以下の場合（Ｓ１２：ＹＥＳ）、アバター画像の制御コマンドを相手側の端末装置に送信する（Ｓ１５）。遅延が第１レベルを超えている場合（Ｓ２０：ＮＯ）、撮影画像を送信する（Ｓ２４）。ネットワークの通信状態に応じて通信形態を切り替えるので、画像の遅延による会話のしづらさを解消し、かつ臨場感のある撮影画像を状況に応じて表示できる。
【選択図】図１０

Description

本発明は、相手側端末との間で、画像と音声を双方向に送受信できる通信制御装置、当該通信端末装置の通信制御方法、通信制御装置の通信制御プログラムに関する。

従来、複数の端末装置を通信回線を介して接続し、画像と音声を双方向に送受信することで、遠隔の地にある者同士の会議を実現するテレビ会議システムが知られている。このシステムでは、通信回線の状況が悪化するとデータの送受信に遅延が発生する。遅延が増大すると、映像が乱れたり、音声が聞き取りづらくなることがあった。そこで、例えば、ユーザの実映像の代わりにモデル画像を表示部に表示させる画像配信システムが知られている（例えば、特許文献１参照）。このシステムでは、ユーザの表情の特徴点を端末装置に送信することで、表示部に表示したモデル画像の表情を制御できる。モデル画像の制御コマンドのデータ量は、実映像のデータ量に比べて格段に小さいので、通信回線の状況が悪化した場合に有効である。

特開２００３−１６４７５号公報

しかしながら、特許文献１に記載の画像配信システムでは、通信回線の負荷を軽減するために、最初からモデル画像を使った通信をしているので、実映像に比べて臨場感が伝わりにくいという問題点があった。

本発明は、上記課題を解決するためになされたものであり、通信回線の負荷を考慮しつつ臨場感のある会議を提供できる通信制御装置、通信制御方法、通信制御プログラムを提供することを目的とする。

上記目的を達成するために、請求項１に係る発明の通信制御装置は、通信回線を介して端末に接続可能であって、前記端末から送信される画像を表示手段に表示させる通信制御装置であって、撮影手段によって撮影された使用者の撮影画像のデータを記憶する撮影画像記憶手段と、当該撮影画像記憶手段に記憶された前記撮影画像のデータを前記端末に送信する撮影画像送信手段と、前記使用者のモデル画像を記憶するモデル画像記憶手段と、前記使用者の動作を検出する動作検出手段と、当該動作検出手段によって検出された動作に基づき、前記表示手段において前記モデル画像の動作を制御するための制御コマンドを生成する制御コマンド生成手段と、前記通信回線の状態を検出する回線状態検出手段によって検出された回線状態が閾値以下か否かを判断する回線状態判断手段と、当該回線状態判断手段によって前記回線状態が前記閾値以下と判断された場合、前記撮影画像送信手段による前記撮影画像のデータの送信を停止する画像送信停止手段と、当該画像送信停止手段によって前記撮影画像のデータの送信が停止された場合に、前記制御コマンド生成手段によって生成された前記制御コマンドを前記端末に送信する制御コマンド送信手段と、前記回線状態判断手段によって前記回線状態が前記閾値を超えたと判断された場合に、前記制御コマンド送信手段による前記制御コマンドの送信を停止する制御コマンド停止手段と、前記画像送信停止手段によって前記撮影画像のデータの送信が停止された状態で、前記回線状態判断手段によって前記回線状態が前記閾値を超えたと判断された場合に、前記撮影画像のデータの送信を再開する撮影画像送信再開手段とを備えている。

また、請求項２に係る発明の通信制御装置は、請求項１に記載の発明の構成に加え、前記端末から送信された前記撮影画像のデータを受信する撮影画像受信手段と、当該撮影画像受信手段によって受信された前記撮影画像のデータに対応する前記撮影画像を前記表示手段に表示させる第１表示制御手段と、前記端末からの前記撮影画像のデータの送信が停止されたか否かを判断する画像送信停止判断手段と、当該画像送信停止判断手段によって前記撮影画像のデータの送信が停止されたと判断された場合、前記モデル画像記憶手段に記憶された前記モデル画像を前記表示手段に表示させる第２表示制御手段と、前記端末から送信された前記制御コマンドを受信する制御コマンド受信手段と、当該制御コマンド受信手段によって受信された前記制御コマンドに基づき、前記モデル画像記憶手段に記憶された前記モデル画像から対応する前記モデル画像を取得し変更するモデル画像変更手段とを備えている。

また、請求項３に係る発明の通信制御装置は、請求項１又は２に記載の発明の構成に加え、前記モデル画像と、前記使用者の顔の表情に関して予め設定されている特徴点とを対応付けて記憶する特徴点記憶手段を備え、前記動作検出手段は、前記撮影画像記憶手段に記憶された前記撮影画像のデータに対応する前記撮影画像において、前記特徴点記憶手段に記憶された前記特徴点のデータを抽出する表情抽出手段を備え、前記制御コマンド送信手段は、当該表情抽出手段によって抽出されたデータに基づき、前記モデル画像において対応する特徴点のデータの制御コマンドを生成することを特徴とする。

また、請求項４に係る発明の通信制御装置は、請求項１乃至３の何れかに記載の発明の構成に加え、前記モデル画像記憶手段に記憶された前記モデル画像のデータを前記端末に送信するモデル画像送信手段と、前記端末から送信された前記モデル画像のデータを受信するモデル画像受信手段と、当該モデル画像受信手段によって受信された前記モデル画像のデータを、前記モデル画像記憶手段に記憶させるモデル画像記憶処理手段と
を備えている。

また、請求項５に係る発明の通信制御装置は、請求項１乃至４の何れかに記載の発明の構成に加え、前記閾値は、第１閾値と、当該第１閾値よりも回線状態の低い第２閾値と
から構成され、前記回線状態は、前記第１閾値を超えた第１回線状態と、前記第１閾値以下で、かつ前記第２閾値を超えた第２回線状態と、前記第２閾値以下である第３回線状態との何れかであって、前記回線状態判断手段は、前記回線状態検出手段によって検出された前記回線状態が、前記第１回線状態、前記第２回線状態、又は前記第３回線状態の何れであるかを判断し、前記回線状態判断手段によって、前記回線状態が前記第１回線状態であると判断された場合、前記撮影画像送信手段が前記撮影画像のデータを前記端末に送信し、前記回線状態判断手段によって、前記回線状態が前記第２回線状態であると判断された場合、前記撮影画像送信手段が前記撮影画像のデータを前記端末に送信し、かつ前記制御コマンド送信手段が前記制御コマンドを前記端末に送信し、前記回線状態判断手段によって、前記回線状態が前記第３回線状態であると判断された場合、前記画像送信停止手段が前記撮影画像送信手段による前記撮影画像のデータの送信を停止し、かつ前記制御コマンド送信手段が前記制御コマンドを前記端末に送信し、前記第３回線状態から、前記回線状態判断手段によって前記第２回線状態であると判断された場合、前記撮影画像送信再開手段が前記撮影画像のデータの送信を再開し、前記第２回線状態から、前記回線状態判断手段によって前記第１回線状態であると判断された場合、前記制御コマンド停止手段が前記制御コマンドの送信を停止することを特徴とする。

また、請求項６に係る発明の通信制御装置は、請求項５に記載の発明の構成に加え、前記撮影画像受信手段によって受信された前記撮影画像のデータに基づいて前記撮影画像を構築する撮影画像構築手段と、前記撮影画像受信手段によって前記撮影画像のデータが受信され、かつ前記制御コマンド受信手段によって前記制御コマンドが受信された場合に、前記撮影画像構築手段によって前記撮影画像が構築済みであるか否かを判断する画像構築判断手段とを備え、前記画像構築判断手段によって前記撮影画像が構築済みであると判断された場合、前記第１表示制御手段が、前記画像構築手段によって構築された前記撮影画像を前記表示手段に表示させ、前記画像構築判断手段によって前記撮影画像がまだ構築済みでないと判断された場合、前記第２表示制御手段が、前記モデル画像を前記表示手段に表示させることを特徴とする。

また、請求項７に係る発明の通信制御装置は、請求項５又は６に記載の発明の構成に加え、前記端末から前記モデル画像のデータを要求する要求信号を受信する要求信号受信手段を備え、前記回線状態判断手段によって、前記回線状態が前記第２回線状態であると判断され、かつ前記要求信号受信手段によって前記要求信号を受信している場合、前記撮影画像送信手段が前記撮影画像を前記端末に送信し、前記モデル画像送信手段が前記モデル画像のデータを前記端末に送信し、前記制御コマンド送信手段が前記制御コマンドを前記端末に送信することを特徴とする。

また、請求項８に係る発明の通信制御装置は、請求項１乃至７の何れかに記載の発明の構成に加え、前記閾値は、通信回線の遅延状況、パケット損失率、ジッタ、使用可能帯域、スループットのうち少なくとも何れかの条件に設けられた基準値であることを特徴とする。

また、請求項９に係る発明の通信制御方法は、通信回線を介して端末に接続可能であって、前記端末から送信される画像を表示手段に表示させる通信制御装置の通信制御方法であって、撮影手段によって撮影された使用者の撮影画像を記憶する撮影画像記憶手段に記憶された前記撮影画像を前記端末に送信する撮影画像送信ステップと、前記使用者の動作を検出する動作検出ステップと、当該動作検出ステップにおいて検出された動作に基づき、前記表示手段において、前記使用者のモデル画像を記憶するモデル画像記憶手段に記憶された前記モデル画像の動作を制御するための制御コマンドを生成する制御コマンド生成ステップと、前記通信回線の状態を検出する回線状態検出手段によって検出された回線状態が閾値以下か否かを判断する回線状態判断ステップと、当該回線状態判断ステップにおいて前記回線状態が前記閾値以下と判断された場合、前記撮影画像送信手段による前記撮影画像の送信を停止する画像送信停止ステップと、当該画像送信停止ステップにおいて前記撮影画像の送信が停止された場合に、前記制御コマンド生成ステップにおいて生成された前記制御コマンドを前記端末に送信する制御コマンド送信ステップと、前記回線状態判断ステップにおいて前記回線状態が前記閾値を超えたと判断された場合に、前記制御コマンド送信ステップによる前記制御コマンドの送信を停止する制御コマンド停止ステップと、前記画像送信停止ステップにおいて前記撮影画像のデータの送信が停止された状態で、前記回線状態判断ステップにおいて前記回線状態が前記閾値を超えたと判断された場合に、前記撮影画像のデータの送信を再開する撮影画像送信再開ステップとを備えている。

また、請求項１０に係る発明の通信制御プログラムは、請求項１乃至８の何れかに記載の通信制御装置の各種処理手段としてコンピュータを機能させることを特徴とする。

請求項１に係る発明の通信制御装置では、通信回線を介して端末に接続可能であって、端末から送信される画像を表示手段に表示させる。撮影画像記憶手段は、撮影手段によって撮影された使用者の撮影画像のデータを記憶する。撮影画像送信手段は、撮影画像記憶手段に記憶された撮影画像のデータを端末に送信する。モデル画像記憶手段は、使用者のモデル画像を記憶する。動作検出手段は、使用者の動作を検出する。制御コマンド生成手段は、動作検出手段によって検出された動作に基づき、表示手段においてモデル画像の動作を制御するための制御コマンドを生成する。回線状態判断手段は、通信回線の状態を検出する回線状態検出手段によって検出された回線状態が閾値以下か否かを判断する。画像送信停止手段は、回線状態判断手段によって回線状態が閾値以下と判断された場合、撮影画像送信手段による撮影画像のデータの送信を停止する。制御コマンド送信手段は、画像送信停止手段によって撮影画像のデータの送信が停止された場合に、制御コマンド生成手段によって生成された制御コマンドを端末に送信する。つまり、通信回線の状態が悪い場合は、データ量の軽い制御コマンドを送信するので、通信回線の負荷を軽減できる。制御コマンド停止手段は、回線状態判断手段によって回線状態が閾値を超えたと判断された場合に、制御コマンド送信手段による制御コマンドの送信を停止する。撮影画像送信再開手段は、画像送信停止手段によって撮影画像のデータの送信が停止された状態で、回線状態判断手段によって回線状態が閾値を超えたと判断された場合に、撮影画像のデータの送信を再開する。つまり、通信回線の状態が回復した場合は、撮影画像のデータを再び送信するので、より臨場感のある会議を提供できる。このように、通信回線の状態によって、端末に制御コマンドを送信するか、撮影画像のデータを送信するかを決めるので、通信回線の負荷を考慮しつつ臨場感のある会議を提供できる。

また、請求項２に係る発明の通信制御装置では、請求項１に記載の発明の効果に加え、撮影画像受信手段は、端末から送信された撮影画像のデータを受信する。第１表示制御手段は、撮影画像受信手段によって受信された撮影画像のデータに対応する撮影画像を表示手段に表示させる。画像送信停止判断手段は、端末からの撮影画像のデータの送信が停止されたか否かを判断する。第２表示制御手段は、画像送信停止判断手段によって撮影画像のデータの送信が停止されたと判断された場合、モデル画像記憶手段に記憶されたモデル画像を表示手段に表示させる。制御コマンド受信手段は、端末から送信された制御コマンドを受信する。モデル画像変更手段は、制御コマンド受信手段によって受信された制御コマンドに基づき、モデル画像記憶手段に記憶されたモデル画像から対応するモデル画像を取得し変更する。これにより、通信回線の状態によって、撮影画像を表示手段に表示させたり、モデル画像を表示させたりすることができる。

また、請求項３に係る発明の通信制御装置では、請求項１又は２に記載の発明の効果に加え、特徴点記憶手段は、モデル画像と、使用者の顔の表情に関して予め設定されている特徴点とを対応付けて記憶する。動作検出手段は、表情抽出手段を備えている。表情抽出手段は、撮影画像記憶手段に記憶された撮影画像のデータに対応する撮影画像において、特徴点記憶手段に記憶された特徴点のデータを抽出する。制御コマンド送信手段は、表情抽出手段によって抽出されたデータに基づき、モデル画像において対応する特徴点のデータの制御コマンドを生成する。これにより、使用者の表情の変化に応じて、モデル画像を動かすことで、臨場感を向上させることができる。

また、請求項４に係る発明の通信制御装置では、請求項１乃至３の何れかに記載の発明の効果に加え、モデル画像送信手段は、モデル画像記憶手段に記憶されたモデル画像のデータを端末に送信する。モデル画像受信手段は、端末から送信されたモデル画像のデータを受信する。モデル画像記憶処理手段は、モデル画像受信手段によって受信されたモデル画像のデータを、モデル画像記憶手段に記憶させる。これにより、端末から送信されたモデル画像を表示手段に表示させることで、事前にモデル画像を記憶しなくても通信回線の負荷を考慮しつつ、臨場感のある会議を提供することができる。

また、請求項５に係る発明の通信制御装置では、請求項１乃至４の何れかに記載の発明の効果に加え、閾値は、第１閾値と、その第１閾値よりも回線状態の低い第２閾値と
から構成される。回線状態は、第１閾値を超えた第１回線状態と、第１閾値以下で、かつ第２閾値を超えた第２回線状態と、第２閾値以下である第３回線状態との何れかである。回線状態判断手段は、回線状態検出手段によって検出された回線状態が、第１回線状態、第２回線状態、又は第３回線状態の何れであるかを判断する。回線状態判断手段によって、回線状態が第１回線状態であると判断された場合、撮影画像送信手段が撮影画像のデータを端末に送信する。つまり、回線状態が比較的良い場合は、臨場感のある撮影画像のデータを端末に送信できる。回線状態判断手段によって、回線状態が第２回線状態であると判断された場合、撮影画像送信手段が撮影画像のデータを端末に送信し、かつ制御コマンド送信手段が制御コマンドを端末に送信する。つまり、回線状態が良くも悪くもない場合は、撮影画像のデータと制御コマンドとの両方を送信することで、撮影画像とモデル画像を切り替えるための準備ができる。回線状態判断手段によって、回線状態が第３回線状態であると判断された場合、画像送信停止手段が撮影画像送信手段による撮影画像のデータの送信を停止し、かつ制御コマンド送信手段が制御コマンドを端末に送信する。つまり、回線状態が悪い場合は、データ量のかるい制御コマンドのデータを端末に送信できる。

また、回線状態判断手段によって、第３回線状態であると判断された場合は、画像送信停止手段は撮影画像送信手段による撮影画像のデータの送信を停止させる。さらに、第２回線状態から、回線状態判断手段によって第１回線状態であると判断された場合は、制御コマンド送信停止手段は制御コマンドの送信を停止させる。つまり、回線状態が他の回線状態に遷移するような場合において、撮影画像のデータの送信を停止させたり、制御コマンドの送信を停止させることによって、回線状態に対して最適なデータのみを送信することができる。このようにして、回線状態を考慮しつつ、撮影画像とモデル画像をスムーズに切り替えて臨場感のある会議ができる。

また、請求項６に係る発明の通信制御装置では、請求項５に記載の発明の効果に加え、撮影画像構築手段は、撮影画像受信手段によって受信された撮影画像のデータに基づいて撮影画像を構築する。画像構築判断手段は、撮影画像受信手段によって撮影画像のデータが受信され、かつ制御コマンド受信手段によって制御コマンドが受信された場合に、撮影画像構築手段によって撮影画像が構築済みであるか否かを判断する。画像構築判断手段によって撮影画像が構築済みであると判断された場合、第１表示制御手段が、画像構築手段によって構築された撮影画像を表示手段に表示させる。画像構築判断手段によって撮影画像がまだ構築済みでないと判断された場合、第２表示制御手段が、モデル画像を表示手段に表示させる。このように、制御コマンドが送信されても、撮影画像が構築されている場合は、撮影画像を表示手段に表示させるので、可能な限り自拠点の臨場感を伝えることができる。

また、請求項７に係る発明の通信制御装置では、請求項５又は６に記載の発明の効果に加え、要求信号受信手段は、端末からモデル画像のデータを要求する要求信号を受信する。回線状態判断手段によって、回線状態が第２回線状態であると判断され、かつ要求信号受信手段によって要求信号を受信している場合、撮影画像送信手段が撮影画像を端末に送信する。さらに、モデル画像送信手段がモデル画像のデータを端末に送信する。さらに、制御コマンド送信手段が制御コマンドを端末に送信する。これにより、モデル画像と撮影画像の切り替えを効率よく行うことができる。

また、請求項８に係る発明の通信制御装置では、請求項１乃至７の何れかに記載の発明の効果に加え、閾値は、通信回線の遅延状況、パケット損失率、ジッタ、使用可能帯域、スループットのうち少なくとも何れかの条件に設けられた基準値であるので、通信回線の状況を的確に判断することができる。

また、請求項９に係る発明の通信制御方法では、撮影画像送信ステップにおいて、撮影手段によって撮影された使用者の撮影画像を記憶する撮影画像記憶手段に記憶された撮影画像を端末に送信する。動作検出ステップにおいて、使用者の動作を検出する。制御コマンド生成ステップにおいて、動作検出ステップにおいて検出された動作に基づき、表示手段において、モデル画像記憶手段に記憶された使用者のモデル画像の動作を制御するための制御コマンドを生成する。回線状態判断ステップにおいて、通信回線の状態を検出する回線状態検出手段によって検出された回線状態が閾値以下か否かを判断する。画像送信停止ステップにおいて、回線状態判断ステップにて回線状態が閾値以下と判断された場合、撮影画像送信手段による撮影画像の送信を停止する。制御コマンド送信ステップにおいて、画像送信停止ステップにて撮影画像の送信が停止された場合に、制御コマンド生成ステップにて生成された制御コマンドを端末に送信する。制御コマンド停止ステップにおいて、回線状態判断ステップにて回線状態が閾値を超えたと判断された場合に、制御コマンド送信ステップによる制御コマンドの送信を停止する。撮影画像送信再開ステップにおいて、画像送信停止ステップにて撮影画像のデータの送信が停止された状態で、回線状態判断ステップにおいて回線状態が閾値を超えたと判断された場合に、撮影画像のデータの送信を再開する。つまり、通信回線の状態が悪い場合は、データ量の軽い制御コマンドを送信するので、通信回線の負荷を軽減できる。通信回線の状態が回復した場合は、撮影画像のデータを再び送信するので、より臨場感のある会議を提供できる。このように、通信回線の状態によって、端末に制御コマンドを送信するか、撮影画像のデータを送信するかを決めるので、通信回線の負荷を考慮しつつ臨場感のある会議を提供できる。

また、請求項１０に係る発明の通信制御プログラムでは、請求項１乃至８の何れかに記載の通信制御装置の各種処理手段としてコンピュータを機能させるので、請求項１乃至８の何れかに記載の効果を得ることができる。

テレビ会議システム１の構成を示すブロック図である。 ディスプレイ２８に撮影画像が表示された状態を示す図である。 ディスプレイ２８の一部にアバター画像が表示された状態を示す図である。 端末装置３の電気的構成を示すブロック図である。 ＨＤＤ３１の各種記憶エリアを示す概念図である。 ログインテーブル３１１１の概念図である。 アバターデータテーブル３１５１の概念図である。 表情特徴点対応テーブル３１８１の概念図である。 顔の特徴点を示す説明図である。 ＣＰＵ２０によって実行される画像送信処理のフローチャートである。 ＣＰＵ２０によって実行される画像受信処理のフローチャートである。

以下、本発明の一実施形態である端末装置３〜６について、図面を参照して説明する。これらの図面は、本発明が採用しうる技術的特徴を説明するために用いられるものであり、記載されている装置の構成、各種処理のフローチャートなどは、特に特定的な記載がない限り、それのみに限定する趣旨ではなく、単なる説明例である。

はじめに、端末装置３〜６を構成要素とするテレビ会議システム１の構成について、図１を参照して説明する。テレビ会議システム１は、ネットワーク２を介して相互に接続され、かつ各拠点毎に設けられる複数の端末装置３〜６を備えている。テレビ会議システム１では、端末装置３〜６間において、ネットワーク２を介して、画像と音声が互いに送受信されることでテレビ会議が実施される。

各端末装置３〜６のディスプレイ２８には、各拠点の撮影画像を同時に映し出すマルチ画面が表示される。例えば、拠点Ａの端末装置３のディスプレイ２８には、図２に示すように、拠点Ｂの端末装置４の撮影画像が表示される分割画面２８１と、拠点Ｃの端末装置５の撮影画像が表示される分割画面２８２と、拠点Ｄの端末装置６の撮影画像が表示される分割画面２８３とが各々表示される。拠点Ａの使用者は、このようなマルチ画面に映し出された他拠点の使用者Ｕ１〜Ｕ３の顔を見ながら会話ができる。分割画面の数は、ネットワーク２に接続する端末装置の数に応じて設定される。なお、図２に示すディスプレイ２８が本発明の「表示手段」に相当する。

本実施形態では、ネットワーク２に遅延が発生した場合、ネットワーク２の通信負荷を考慮し、ディスプレイ２８に表示させる画像が、各拠点の撮影画像からアバター画像に切り替わる。アバター画像は、使用者に対応するモデル画像である。例えば、端末装置３と端末装置４の間の通信状態と、端末装置３と端末装置５の間の通信状態とが悪化した場合、分割画面２８１，２８２に使用者Ｕ１，Ｕ２にそれぞれ対応するアバター画像Ａ１，Ａ２が表示される。ネットワーク２の通信状態が回復した場合は、アバター画像から撮影画像に再び切り替わる。即ち、ネットワーク２の通信状態に応じて、画像に関する通信形態を切り替えることができる。

次に、端末装置３の電気的構成について、図４を参照して説明する。端末装置３〜６は全て同じ構成であるので、ここでは端末装置３の構成についてのみ説明し、他の端末装置４〜６については説明を省略する。

端末装置３には、端末装置３の制御を司るコントローラとしてのＣＰＵ２０が設けられている。ＣＰＵ２０には、ＢＩＯＳ等を記憶したＲＯＭ２１と、各種データを一時的に記憶するＲＡＭ２２と、データの受け渡しの仲介を行うＩ／Ｏインタフェイス３０とが接続されている。Ｉ／Ｏインタフェイス３０には、各種記憶エリアを有するハードディスクドライブ３１（以下「ＨＤＤ３１」という。）が接続されている。

Ｉ／Ｏインタフェイス３０には、ネットワーク２と通信するための通信装置２５と、マウス２７と、ビデオコントローラ２３と、キーコントローラ２４と、使用者を撮影するためのカメラ３４と、使用者の音声を取り込むためのマイク３５と、ＣＤ−ＲＯＭドライブ２６とが各々接続されている。ビデオコントローラ２３には、ディスプレイ２８が接続されている。キーコントローラ２４には、キーボード２９が接続されている。ＣＤ−ＲＯＭドライブ２６に挿入されるＣＤ−ＲＯＭ１１４には、端末装置３のメインプログラムや、本発明の「通信制御プログラム」等が記憶されている。ＣＤ−ＲＯＭ１１４の導入時には、これら各種プログラムが、ＣＤ−ＲＯＭ１１４からＨＤＤ３１にセットアップされて、後述するプログラム記憶エリア３１９（図５参照）に記憶される。なお、カメラ３４が本発明の「撮影手段」に相当する。

次に、ＨＤＤ３１の各種記憶エリアについて、図５を参照して説明する。ＨＤＤ３１には、ログインテーブル記憶エリア３１１と、通信状態記憶エリア３１２と、カメラ画像記憶エリア３１３と、画像記憶エリア３１４と、アバターデータテーブル記憶エリア３１５と、制御コマンド記憶エリア３１６と、通信形態記憶エリア３１７と、表情特徴点対応テーブル記憶エリア３１８と、プログラム記憶エリア３１９と、その他の情報記憶エリア３２０と、が少なくとも設けられている。なお、ＨＤＤ３１のアバターデータテーブル記憶エリア３１５が本発明の「モデル画像記憶手段」に相当する。

ログインテーブル記憶エリア３１１には、テレビ会議にログインした使用者である会議参加者、及び、その会議参加者が使用する端末装置を管理するログインテーブル３１１１（図６参照）が記憶されている。通信状態記憶エリア３１２には、端末間毎に、ネットワーク２の遅延状態が所定時間毎に更新されて記憶される。カメラ画像記憶エリア３１３には、カメラ３４（図４参照）によって撮影されたカメラ画像のデータが記憶される。画像記憶エリア３１４には、他拠点Ｂ〜Ｄの端末装置４〜６から送信された撮影画像のデータが端末毎に管理されて記憶される。

アバターデータテーブル記憶エリア３１５には、アバターデータテーブル３１５１（図７参照）が記憶されている。制御コマンド記憶エリア３１６には、使用者の表情に応じてアバター画像の表情を変化させる制御コマンドが記憶される。通信形態記憶エリア３１７には、ネットワーク２の通信形態の情報が記憶される。後述するが、通信形態の情報とは、「撮影画像のみの通信」、「制御コマンドのみの通信」、「切り替え準備のための通信」の３パターンのうち何れであるかを示すものである。表情特徴点対応テーブル記憶エリア３１８には、表情特徴点対応テーブル３１８１（図８参照）が記憶されている。

プログラム記憶エリア３１９には、端末装置３のメインプログラムや、他の端末装置４〜６との間でテレビ会議を実行する会議支援プログラム、画像表示に関する本発明の「通信制御プログラム」等が記憶されている。その他の情報記憶エリア３２０には、端末装置３で使用されるその他の情報が記憶される。なお、端末装置３がＨＤＤ３１を備えていない専用機の場合は、ＲＯＭ２１に各種プログラムが記憶される。

次に、ログインテーブル３１１１について、図６を参照して説明する。ログインテーブル３１１１には、テレビ会議にログインした会議参加者の使用者ＩＤと、その会議参加者によって使用される端末装置の端末ＩＤとが記憶される。

使用者ＩＤとしては、ログイン時に端末装置３のキーボード２９（図４参照）を介して入力されるＩＤ情報が記憶される。端末ＩＤは、端末装置３〜６を特定するための識別情報が記憶される。端末ＩＤとしては、端末装置３のＭＡＣアドレスやＩＰアドレス等が使用可能である。使用者ＩＤ及び端末ＩＤは、テレビ会議にログインする際に他拠点の端末装置４〜６から送信される端末情報に含まれる。端末装置３では、テレビ会議にログインしている状態で、他の端末装置４〜６から上述の端末情報を受信した場合に、端末情報に含まれる使用者ＩＤ及び端末ＩＤを取得する。取得された使用者ＩＤ及び端末ＩＤは、ログインテーブル３１１１に記憶される。

各拠点において、テレビ会議に参加する場合、端末装置３〜６のうち何れかを操作してＩＤ情報を入力することで、テレビ会議にログインする。例えば、端末装置３からログインした場合、入力した使用者ＩＤと、端末装置３の端末ＩＤとがログインテーブル３１１１に記憶される。なお、ログイン方法は、これに限定されず、例えば、ＲＦＩＤをリーダに読み取らせることによってログインするようにしてもよい。

図６に示す例では、使用者ＩＤ「Ａ０００１」にて特定される者（端末ＩＤ：０００１）、使用者ＩＤ「Ｂ０００１」にて特定される者（端末ＩＤ：０００２）、使用者ＩＤ「Ｃ０００１」にて特定される者（端末ＩＤ：０００３）、使用者ＩＤ「Ｄ０００１」にて特定される者（端末ＩＤ：０００４）の合計４名がテレビ会議に参加した状態におけるログインテーブル３１１１が示されている。

次に、アバターデータテーブル３１５１について、図７を参照して説明する。アバターデータテーブル３１５１には、「使用者ＩＤ」と、使用者に対応する「アバター画像」とが対応付けられて記憶されている。「使用者ＩＤ」には、現在の会議参加者の使用者ＩＤが記憶される。「アバター画像」には、現在の会議参加者に対応するアバター画像のデータが記憶される。自拠点の使用者に対応するアバター画像は、自拠点の端末装置に入力することで、アバターデータテーブル３１５１に記憶される。他拠点の使用者に対応するアバター画像は、他拠点の端末装置から送信されたものが記憶される。

図７に示す例では、使用者ＩＤ：Ａ０００１（端末装置３）に対応するアバター画像＝「ＡＡＡＡ．ｊｐｇ」と、使用者ＩＤ：Ｂ０００１（端末装置４）に対応するアバター画像＝「ＢＢＢＢ．ｊｐｇ」と、使用者ＩＤ：Ｃ０００１（端末装置５）に対応するアバター画像＝「ＣＣＣＣ．ｊｐｇ」と、使用者ＩＤ：Ｄ０００１（端末装置６）に対応するアバター画像＝「ＤＤＤＤ．ｊｐｇ」と、が各々記憶されている。

次に、表情特徴点対応テーブル３１８１について、図８を参照して説明する。表情特徴点対応テーブル３１８１には、各使用者の表情の特徴点の位置データと、その特徴点に対応するアバター画像の表情の特徴点の位置データとが対応付けられて記憶されている。

ここで、顔の特徴点について、図９を参照して説明する。本実施形態では、使用者の表情（図９（ａ））の変化に合わせて、ディスプレイ２８に表示するアバター画像の表情を変化させることができる。顔の特徴点は、表情の変化に応じて位置が変化し易い特徴的な部分に設定される。特徴点は、「怒り」「嫌悪」「恐怖」「幸福」「悲しみ」「驚き」の表情に特有の動きを表す。

特徴点として、図９（ｂ）に示すように、眉でいえば、眉頭、眉尻である。眼でいえば、上瞼のエッジ、下瞼のエッジである。鼻でいえば、２つの鼻穴である。口でいえば、上唇の中央、下唇の中央、口角である。これら各特徴点を「×」で示している。特徴点を検出する方法としては、従来周知の様々な方法が使用可能である。例えば、ＨａｒｒｉｓオペレータやＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）などのアルゴリズムが使用可能である。

図８に示す表情特徴点対応テーブル３１８１には、使用者を識別するための使用者ＩＤと、その使用者の表情で予め設定された表情の各特徴点の位置データと、使用者に対応するアバター画像の表情の各特徴点の位置データとが対応付けられて記憶されている。例えば、使用者の表情において、眉について２つの特徴点（ａ１，ａ２）の位置データと、目について２つの特徴点（ｂ１，ｂ２）の位置データと、鼻について２つの特徴点（ｃ１，ｃ２）の位置データと、口について６つの特徴点（ｄ１〜ｄ６）の位置データとが記憶されている。これに対し、アバター画像の表情において、眉について２つの特徴点（Ａ１，Ａ２）の位置データと、目について２つの特徴点（Ｂ１，Ｂ２）の位置データと、鼻について２つの特徴点（Ｃ１，Ｃ２）の位置データと、口について６つの特徴点（Ｄ１〜Ｄ６）の位置データとが記憶されている。使用者の表情の各特徴点と、アバター画像の表情の各特徴点とは互いに対応づけられている。

次に、ネットワーク２の通信状態について説明する。本実施形態では、通信状態を、ネットワーク２の遅延時間を測定することで、「良好」「普通」「負荷」の何れの状態であるかを判定する。ネットワーク２の遅延は、データが送信側から送信先に到達するまでにかかるデータ伝送時間に基づいて判断する。その他の情報記憶エリア３２０（図５参照）には、データ伝送時間に２つの基準値を設け、その基準値によって区分けされる３つの範囲について上記の通信状態が対応付けられて記憶されている。

通信状態には、第１レベル（第１閾値）と、第２レベル（第２閾値）とが設定されている。第２レベルは、第１レベルよりも状態の低い状態である。第１レベルよりも高い状態を「良好」、第１レベル以下で第２レベルよりも高い状態を「普通」、第２レベル以下の状態を「負荷」とする。なお、通信状態が「良好」である場合が本発明の「第１回線状態」に相当する。通信状態が「普通」である場合が本発明の「第２回線状態」に相当する。通信状態が「負荷」である場合が本発明の「第３回線状態」に相当する。

ネットワーク２の通信状態が「良好」「普通」「負荷」の何れの状態であるかを検出する。その検出結果をＨＤＤ３１の通信状態記憶エリア３１２（図５参照）に記憶する。通信状態記憶エリア３１２に記憶された通信状態に基づき、「撮影画像のみの通信」「制御コマンドのみの通信」「切り替え準備のための通信」の何れにするかを決定する。本実施形態では、ネットワーク２の遅延を測定することで、ネットワーク２の通信状態を判定したが、例えば、パケット損失率、ジッタ（データ受信間隔の変動）、使用可能帯域、スループットの何れかを測定して通信状態を判定してもよい。

次に、ネットワーク２の通信形態について説明する。本実施形態では、所定周期毎に検出されるネットワーク２の通信状態に基づき、ネットワーク２のデータの通信形態を切り替えることができる。通信形態は、「撮影画像のみの通信」「制御コマンドのみの通信」「切り替え準備のための通信」の３パターンである。通信状態が「良好」の場合、ネットワーク２に負荷がかかっていないので、通信形態を「撮影画像のみの通信」にする。

通信状態が「負荷」の場合、ネットワーク２に負荷がかかっているので、画像表示に遅延が発生して会話がしづらくなると予想される。この場合、通信形態を「制御コマンドのみの通信」にする。制御コマンドは、アバター画像の表情を制御するためのコマンドである。通信状態が「普通」の場合、通信形態を「切り替え準備のための通信」にする。このように、ネットワーク２の通信状態に応じて、通信形態を切り替えることで、画像の遅延による会話のしづらさを解消し、かつ臨場感のある撮影画像を状況に応じて表示させることができる。

次に、端末装置３のＣＰＵ２０によって実行される各種処理（「画像送信処理」、「画像受信処理」）について説明する。これらの処理は、端末装置３において使用者がテレビ会議にログインし、テレビ会議を実行させるためのアプリケーションが起動された場合において、ＣＰＵ２０によって起動され実行される。

これらの処理は、所定の周期又は各々の処理に予め設定される優先順位に基づいて適宜スイッチングされ実行される。これによって、一方の処理が連続して実行され続けてしまって、他方の処理が実行されない状態を回避している。一方の処理が実行されている状態で他方の処理が実行される場合には、実行状態の処理は一旦中断される。そして他方の処理が代わりに実行される。中断された処理は、次の実行タイミングで、中断時点から処理を再開する。

はじめに、画像送信処理について、図１０のフローチャートを参照して説明する。まず、ネットワーク２の遅延が測定される（Ｓ１１）。次いで、測定された遅延に基づいた通信状態が第２レベル以下か否かが判断される（Ｓ１２）。第２レベルを超えている場合（Ｓ１２：ＮＯ）、その通信状態が第１レベル以下か否かが判断される（Ｓ２０）。第１レベルを超えている場合（Ｓ２０：ＮＯ）、通信状態は「良好」である。この場合、カメラ３４（図４参照）の撮影画像のデータが他拠点の端末装置に各々送信される（Ｓ２４）。ネットワーク２の通信状態が良好であるので、撮影画像のデータを送信しても通信に不具合を生じない。撮影画像を送信することで、自拠点の臨場感を他拠点に伝達することができる。そして、通信形態が「撮影画像のみの通信」であることがＨＤＤ３１の通信形態記憶エリア３１７（図５参照）に記憶される（Ｓ１６）。なお、通信形態記憶エリア３１７には、少なくとも前回の通信形態と、今回の通信形態とが履歴として記憶されている。

続いて、ネットワーク２の通信形態が変化したか否かが判断される（Ｓ１７）。通信形態の変化は、ＨＤＤ３１の通信形態記憶エリア３１７（図５参照）に記憶された前回の通信形態との比較によって判断される。通信形態が変化した場合（Ｓ１７：ＹＥＳ）、その通信形態の情報が他拠点の端末装置に送信され（Ｓ１８）、会議終了か否かが判断される（Ｓ１９）。通信形態が変化してない場合（Ｓ１７：ＮＯ）、何もせずに、会議終了か否かが判断される（Ｓ１９）。

会議は、ログインテーブル３１１１において、会議参加者が異なる拠点間で２人以上の登録があるか否かで判断される。異なる拠点間で２人以上の登録がない場合、会議終了であるので（Ｓ１９：ＹＥＳ）、そのまま処理を終了する。会議がまだ継続している場合（Ｓ１９：ＮＯ）、Ｓ１１に戻って、再びネットワーク２の遅延が測定され、処理が繰り返される。

一方、ネットワーク２の通信状態が第２レベルを超え、かつ第１レベル以下であった場合（Ｓ１２：ＮＯ、Ｓ２０：ＹＥＳ）、通信状態は「普通」である。この場合、自拠点の使用者に対応するアバター画像のアバターデータが他拠点の端末装置に未送信であるか否かが判断される（Ｓ２１）。アバターデータが各拠点に送信されているか否かの判断は、ＨＤＤ３１のその他の情報記憶エリア３２０（図５参照）に記憶されたアバターデータ送信テーブル（図示外）が参照される。アバターデータ送信テーブルには、各端末毎にアバターデータが送信されたか否かを設定するための送信フラグが記憶されている。ある端末に対してアバターデータが未送信の場合には「０」が記憶され、送信済みの場合には「１」が記憶される。アバターデータが未送信の場合（Ｓ２１：ＹＥＳ）、アバターデータが他拠点の端末装置に送信され（Ｓ２２）、さらに撮影画像のデータが送信される（Ｓ２３）。既に送信している場合は（Ｓ２１：ＮＯ）、そのまま撮影画像のデータが送信される（Ｓ２３）。

次いで、使用者の顔の特徴点（図９参照）の位置データが、ＨＤＤ３１のカメラ画像記憶エリア３１３（図５参照）に記憶されたカメラ画像から検出される（Ｓ１３）。特徴点は上述の方法によって検出される。検出された特徴点の位置データは、ＨＤＤ３１に記憶された表情特徴点対応テーブル３１８１（図８参照）に記憶される。

さらに、表情特徴点対応テーブル３１８１（図８参照）に記憶された使用者の顔の特徴点の位置データに対応させてアバター画像の表情を変化させるために、アバター画像の特徴点データを変更する制御コマンドが生成される（Ｓ１４）。制御コマンドは、使用者の顔の表情の特徴点に基づき、各特徴点に対応するアバター画像の表情の各特徴点の位置データを変更させる。生成された制御コマンドは、ＨＤＤ３１の制御コマンド記憶エリア３１６（図５参照）に記憶される。

そして、制御コマンド記憶エリア３１６に記憶された制御コマンドが、他拠点の端末装置に送信される（Ｓ１５）。つまり、通信状態が「普通」である場合は、撮影画像のデータと、制御コマンドと、アバターデータ（アバターデータ未送信時）とを、他拠点の端末装置に送信することで、各拠点のディスプレイ２８において「撮影画像」から「アバター画像」、「アバター画像」から「撮影画像」への切り替え準備を行う。そして、通信形態が「切り替え準備のための通信」であることが、ＨＤＤ３１の通信形態記憶エリア３１７（図５参照）に記憶される（Ｓ１６）。

次いで、通信形態が変化したか否かが判断される（Ｓ１７）。ここでは、ＨＤＤ３１の通信形態記憶エリア３１７（図５参照）において、前回記憶された通信形態と、今回記憶された通信形態との間で変化したか否かが判断される。変化した場合は（Ｓ１７：ＹＥＳ）、通信形態が他拠点の端末装置に送信される（Ｓ１８）。会議が終了したら（Ｓ１９：ＹＥＳ）、処理が終了し、会議がまだ継続する場合（Ｓ１９：ＮＯ）、Ｓ１１に戻って処理が繰り返される。

また、ネットワーク２の通信状態が第２レベル以下であった場合（Ｓ１２：ＹＥＳ）、通信状態は「負荷」である。この場合、ネットワーク２に遅延が発生しているので、会話しづらくなると予想される。この場合、通信形態を「制御コマンド」のみの通信にするため、使用者の顔の特徴点の位置データが、ＨＤＤ３１のカメラ画像記憶エリア３１３（図５参照）に記憶されたカメラ画像から検出される（Ｓ１３）。特徴点は上述の方法によって検出される。検出された特徴点の位置データは、ＨＤＤ３１の表情特徴点対応テーブル３１８１（図８参照）に記憶される。

さらに、表情特徴点対応テーブル３１８１に記憶された特徴点の位置データに対応させてアバター画像の表情を変化させるための制御コマンドが生成される（Ｓ１４）。生成された制御コマンドは、ＨＤＤ３１の制御コマンド記憶エリア３１６（図５参照）に記憶される。

そして、制御コマンド記憶エリア３１６に記憶された制御コマンドが、他拠点の端末装置に送信される（Ｓ１５）。制御コマンドは、撮影画像に比べてデータ量が軽いので、ネットワーク２に負荷をかけずに、速やかに他拠点の端末装置に送信される。そして、通信形態が「制御コマンドのみの通信」であることが、ＨＤＤ３１の通信形態記憶エリア３１７（図５参照）に記憶される（Ｓ１６）。次いで、通信形態が変化したか否かが判断され（Ｓ１７）、変化した場合は（Ｓ１７：ＹＥＳ）、通信形態が他拠点の端末装置に送信される（Ｓ１８）。会議が終了したら（Ｓ１９：ＹＥＳ）、処理が終了し、会議がまだ継続する場合（Ｓ１９：ＮＯ）、Ｓ１１に戻って処理が繰り返される。

次に、画像受信処理について、図１１のフローチャートを参照して説明する。まず、データを受信したか否かが判断される（Ｓ３１）。そして、その受信データが撮影画像のデータであるか（Ｓ３２）、アバターデータの制御コマンドであるか（Ｓ３７）、アバターデータであるか（Ｓ３９）、通信形態であるか（Ｓ４１）の判断がなされる。

撮影画像データを受信した場合（Ｓ３２：ＹＥＳ）、撮影画像データがＨＤＤ３１の画像記憶エリア３１４（図５参照）に記憶され、撮影画像が構築される（Ｓ３３）。一方、制御コマンドを受信した場合（Ｓ３７：ＹＥＳ）、ＨＤＤ３１に記憶されたアバターデータテーブル３１５１（図７参照）に記憶されたアバターデータの特徴点が変更され、アバター画像が構築される（Ｓ３８）。

そして、撮影画像が構築され、又はアバター画像が構築された場合（Ｓ３３、Ｓ３８）、通信形態が「撮影画像のみの通信」か否かが判断される（Ｓ３４）。「撮影画像のみの通信」の場合は（Ｓ３４：ＹＥＳ）、ＨＤＤ３１の画像記憶エリア３１４（図５参照）に記憶された撮影画像がディスプレイ２８の分割画面に表示される（Ｓ３５）。これにより、使用者は他拠点の臨場感を感じながら会話することができる。次いで、会議終了か否かが判断される（Ｓ３６）。会議が終了した場合（Ｓ３６：ＹＥＳ）、処理を終了する。会議がまだ継続している場合（Ｓ３６：ＮＯ）、Ｓ３１に戻って、データの受信が監視される。

一方、通信形態が「撮影画像のみの通信」でない場合（Ｓ３４：ＮＯ）、通信形態が「切り替え準備のための通信」か「制御コマンドのみの通信」であるか判断される（Ｓ４３）。通信形態が「制御コマンドのみの通信」であった場合（Ｓ４３：ＮＯ）、ＨＤＤ３１に記憶されたアバターデータテーブル３１５１（図７参照）に記憶されたアバターデータに対応するアバター画像がディスプレイ２８に表示される（Ｓ４５）。アバターデータは、制御コマンドによってその特徴点の位置が変更されているので、使用者の表情に合わせてアバター画像の表情を変化させて表示することができる。

また、通信形態が「切り替え準備」であった場合（Ｓ４３：ＹＥＳ）、ＨＤＤ３１の画像記憶エリア３１４（図５参照）に記憶された撮影画像データによって撮影画像が構築済みであるか否かが判断される（Ｓ４４）。撮影画像が構築済みである場合（Ｓ４４：ＹＥＳ）、構築された撮影画像がディスプレイ２８の分割画面に表示される（Ｓ３５）。これにより、使用者は他拠点の臨場感を感じながら会話することができる。

これとは反対に、撮影画像がまだ構築されていない場合（Ｓ４４：ＮＯ）、撮影画像の代わりに、ＨＤＤ３１に記憶されたアバターデータテーブル３１５１に記憶されたアバター画像がディスプレイ２８の分割画面に表示される（Ｓ４５）。つまり、受信した撮影画像データによる撮影画像の構築状況によって、撮影画像又はアバター画像に切り替える。撮影画像が構築されていれば、アバター画像ではなく、撮影画像を表示するので、他拠点の臨場感をできるだけ使用者に伝達することができる。次いで、会議終了か否かが判断される（Ｓ３６）。会議が終了した場合（Ｓ３６：ＹＥＳ）、処理を終了する。会議がまだ継続している場合（Ｓ３６：ＮＯ）、Ｓ３１に戻って、データの受信が再び監視される。

次いで、アバターデータを受信した場合（Ｓ３９：ＹＥＳ）、そのアバターデータがＨＤＤ３１に記憶されたアバターデータテーブル３１５１（図７参照）に記憶される（Ｓ４０）。アバターデータは、端末毎に管理して記憶される。また、通信形態の情報を受信した場合（Ｓ４１：ＹＥＳ）、その通信形態の情報がＨＤＤ３１の通信形態記憶エリア３１７（図５参照）に記憶される（Ｓ４２）。その後、Ｓ３１に戻って、データの受信が再び監視される。また、通信形態の情報も受信していない場合は（Ｓ４１：ＮＯ）、Ｓ３１に戻って、データの受信が再び監視される。

なお、図１０に示す画像送信処理において、ネットワーク２の通信状態の悪化によって（Ｓ１２：ＹＥＳ）、アバターデータの「制御コマンドのみの通信」（Ｓ１３〜Ｓ１５）が行われている場合でも、ネットワーク２の通信状態が回復すれば（Ｓ１１、Ｓ１２：ＮＯ、Ｓ２０：ＹＥＳ、ＮＯ）、「撮影画像のみの通信」又は「切り替え準備のための通信」に切り替えることができるので、他拠点のディスプレイ２８に撮影画像を再び表示させることができる。従って、各拠点の臨場感をネットワーク２の通信状態が良好に保持されている限りは、使用者の撮影画像を表示させることができる。

また、上記した「画像送信処理」は、端末間でそれぞれ行われるので、端末間におけるネットワーク２を介した通信状態によって、通信形態がそれぞれ切り替わる。これにより、例えば、端末装置３と端末装置４との間の通信状態のみが「負荷」となっている場合は、端末装置３と端末装置４の撮影画像を表示する分割画面にアバター画像が表示され、その他の分割画面には撮影画像が表示される。さらに、「画像受信処理」についても各端末でそれぞれ実行されるので、各端末間の通信状態によって、ディスプレイ２８に表示される画像は各端末毎に異なる。

以上の説明において、図１０に示すＳ１３の処理を実行するＣＰＵ２０が本発明の「動作検出手段」に相当する。Ｓ１４の処理を実行するＣＰＵ２０が本発明の「制御コマンド生成手段」に相当する。Ｓ１１の処理を実行するＣＰＵ２０が本発明の「回線状態検出手段」に相当する。Ｓ１２、Ｓ２０の処理を実行するＣＰＵ２０が本発明の「回線状態判断手段」に相当する。Ｓ１５の処理を実行するＣＰＵ２０が本発明の「制御コマンド送信手段」に相当する。

また、「撮影画像のみの通信」を行っている状態で、ネットワーク２の通信状態が悪化した場合に（Ｓ１２：ＹＥＳ）、それまで送信していた撮像画像のデータの代わりに、制御コマンドを送信する（Ｓ１５）ＣＰＵ２０が本発明の「画像送信停止手段」に相当する。「制御コマンドのみの通信」を行っている状態で、ネットワーク２の通信状態が回復した場合に（Ｓ１２：ＮＯ）、それまで送信していた制御コマンドの代わりに、撮影画像や、アバターデータを送信する（Ｓ２２、Ｓ２４）ＣＰＵ２０が本発明の「制御コマンド停止手段」と「撮影画像送信再開手段」に相当する。

また、図１０に示すＳ２２の処理を実行するＣＰＵ２０が本発明の「モデル画像送信手段」に相当する。図１１に示すＳ３９の処理を実行するＣＰＵ２０が本発明の「モデル画像受信手段」に相当する。Ｓ４０の処理を実行するＣＰＵ２０が本発明の「モデル画像記憶処理手段」に相当する。Ｓ４４の処理を実行するＣＰＵ２０が本発明の「画像構築判断手段」に相当する。

以上説明したように、本実施形態のテレビ会議システム１では、ネットワーク２の通信状態に基づき、ネットワーク２のデータの通信形態を切り替えることができる。通信形態は、「撮影画像のみの通信」「制御コマンドのみの通信」「切り替え準備のための通信」の３パターンである。通信状態が「良好」の場合、ネットワーク２に負荷がかかっていないので、通信形態を「撮影画像のみの通信」にする。通信状態が「負荷」の場合、画像表示に遅延が発生して会話がしづらくなると予想されるので、通信形態を「制御コマンド」のみの通信にする。通信状態が「普通」の場合、通信形態を「切り替え準備のための通信」にする。このように、ネットワーク２の通信状態に応じて、通信形態を切り替えることで、画像の遅延による会話のしづらさを解消し、かつ臨場感のある撮影画像を状況に応じて表示させることができる。

なお、本発明は、上記実施形態に限定されることなく、種々の変更が可能である。例えば、上記実施形態のテレビ会議システム１は、端末装置間で画像の送受信を行う所謂「ＰｔｏＰ」の形態であるが、テレビ会議全体を制御するＭＣＵ（Ｍｕｌｔｉｐｏｉｎｔ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）を備えたものにも適用可能である。

ＭＣＵを備えたシステムでは、上述した「画像送信処理」をＭＣＵで行わせる。そして、アバターデータはＭＣＵに記憶させ、各拠点の端末装置に送信するようにすればよい。この場合、アバター制御はＭＣＵで一括して行うことになる。なお、ネットワーク２の通信状態をＭＣＵで監視してもよいが、各端末において通信状態を監視させ、その情報を受信して利用するようにしてもよい。また、ＭＣＵを備えたシステムにおいて、アバター画像の制御コマンドを端末毎に送信してもよいが、同一の制御コマンドを全端末装置に送信してもよい。この場合、端末装置３〜６のディスプレイ２８において、全員一斉にアバター画像が表示されることになる。

また、上記実施形態では、画像受信処理において、他拠点のアバターデータをそれぞれ受信するようにしたが、例えば、会議開始時や、会議予約時にＨＤＤ３１のアバターデータテーブル３１５１（図７参照）に事前に登録しておいてもよい。

また、上記実施形態では、アバター画像の表情を使用者の表示に合わせて変化させるために、顔の特徴点の位置データを検出し、その特徴点に対応するアバター画像の顔の特徴点の位置データを変更させたが、顔に限らず、身体のどの部分の動きを特徴点としてもよい。また、顔の特徴点に応じて、アバター画像を変化させる他に、例えば、音声に応じて、アバター画像の口が動くようにしてもよい。

また、撮影画像を０から表示するには時間がかかるので、例えば、通信状態が回復したときに直ちに撮影画像に切り替えるのではなく、１フレームの静止画像を送り終えるまで、アバターデータと、撮像画像のデータとを併用して送信するようにしてもよい。

また、上記実施形態では、使用者の動作として、使用者の顔の表情を検出したが、例えば、各拠点に使用者がアバター画像を制御するための操作手段を設置し、その操作手段による操作を検出することで、使用者の動作を検出する構成としてもよい。

１ テレビ会議システム
２ ネットワーク
３ 端末装置
２０ ＣＰＵ
２８ ディスプレイ
３１ ハードディスクドライブ（ＨＤＤ）
３４ カメラ
３１５ アバターデータテーブル記憶エリア
３１５１ アバターデータテーブル
３１６ 制御コマンド記憶エリア
３１７ 通信形態記憶エリア
３１８ 表情特徴点対応テーブル記憶エリア
３１８１ 表情特徴点対応テーブル

Claims (10)

1. 通信回線を介して端末に接続可能であって、前記端末から送信される画像を表示手段に表示させる通信制御装置であって、
   撮影手段によって撮影された使用者の撮影画像のデータを記憶する撮影画像記憶手段と、
   当該撮影画像記憶手段に記憶された前記撮影画像のデータを前記端末に送信する撮影画像送信手段と、
   前記使用者のモデル画像を記憶するモデル画像記憶手段と、
   前記使用者の動作を検出する動作検出手段と、
   当該動作検出手段によって検出された動作に基づき、前記表示手段において前記モデル画像の動作を制御するための制御コマンドを生成する制御コマンド生成手段と、
   前記通信回線の状態を検出する回線状態検出手段によって検出された回線状態が閾値以下か否かを判断する回線状態判断手段と、
   当該回線状態判断手段によって前記回線状態が前記閾値以下と判断された場合、前記撮影画像送信手段による前記撮影画像のデータの送信を停止する画像送信停止手段と、
   当該画像送信停止手段によって前記撮影画像のデータの送信が停止された場合に、前記制御コマンド生成手段によって生成された前記制御コマンドを前記端末に送信する制御コマンド送信手段と、
   前記回線状態判断手段によって前記回線状態が前記閾値を超えたと判断された場合に、前記制御コマンド送信手段による前記制御コマンドの送信を停止する制御コマンド停止手段と、
   前記画像送信停止手段によって前記撮影画像のデータの送信が停止された状態で、前記回線状態判断手段によって前記回線状態が前記閾値を超えたと判断された場合に、前記撮影画像のデータの送信を再開する撮影画像送信再開手段と
   を備えたことを特徴とする通信制御装置。
2. 前記端末から送信された前記撮影画像のデータを受信する撮影画像受信手段と、
   当該撮影画像受信手段によって受信された前記撮影画像のデータに対応する前記撮影画像を前記表示手段に表示させる第１表示制御手段と、
   前記端末からの前記撮影画像のデータの送信が停止されたか否かを判断する画像送信停止判断手段と、
   当該画像送信停止判断手段によって前記撮影画像のデータの送信が停止されたと判断された場合、前記モデル画像記憶手段に記憶された前記モデル画像を前記表示手段に表示させる第２表示制御手段と、
   前記端末から送信された前記制御コマンドを受信する制御コマンド受信手段と、
   当該制御コマンド受信手段によって受信された前記制御コマンドに基づき、前記モデル画像記憶手段に記憶された前記モデル画像から対応する前記モデル画像を取得し変更するモデル画像変更手段と
   を備えたことを特徴とする請求項１に記載の通信制御装置。
3. 前記モデル画像と、前記使用者の顔の表情に関して予め設定されている特徴点とを対応付けて記憶する特徴点記憶手段を備え、
   前記動作検出手段は、
   前記撮影画像記憶手段に記憶された前記撮影画像のデータに対応する前記撮影画像において、前記特徴点記憶手段に記憶された前記特徴点のデータを抽出する表情抽出手段を備え、
   前記制御コマンド送信手段は、
   当該表情抽出手段によって抽出されたデータに基づき、前記モデル画像において対応する特徴点のデータの制御コマンドを生成することを特徴とする請求項１又は２に記載の通信制御装置。
4. 前記モデル画像記憶手段に記憶された前記モデル画像のデータを前記端末に送信するモデル画像送信手段と、
   前記端末から送信された前記モデル画像のデータを受信するモデル画像受信手段と、
   当該モデル画像受信手段によって受信された前記モデル画像のデータを、前記モデル画像記憶手段に記憶させるモデル画像記憶処理手段と
   を備えたことを特徴とする請求項１乃至３の何れかに記載の通信制御装置。
5. 前記閾値は、
   第１閾値と、
   当該第１閾値よりも回線状態の低い第２閾値と
   から構成され、
   前記回線状態は、
   前記第１閾値を超えた第１回線状態と、
   前記第１閾値以下で、かつ前記第２閾値を超えた第２回線状態と、
   前記第２閾値以下である第３回線状態と
   の何れかであって、
   前記回線状態判断手段は、
   前記回線状態検出手段によって検出された前記回線状態が、前記第１回線状態、前記第２回線状態、又は前記第３回線状態の何れであるかを判断し、
   前記回線状態判断手段によって、前記回線状態が前記第１回線状態であると判断された場合、前記撮影画像送信手段が前記撮影画像のデータを前記端末に送信し、
   前記回線状態判断手段によって、前記回線状態が前記第２回線状態であると判断された場合、前記撮影画像送信手段が前記撮影画像のデータを前記端末に送信し、かつ前記制御コマンド送信手段が前記制御コマンドを前記端末に送信し、
   前記回線状態判断手段によって、前記回線状態が前記第３回線状態であると判断された場合、前記画像送信停止手段が前記撮影画像送信手段による前記撮影画像のデータの送信を停止し、かつ前記制御コマンド送信手段が前記制御コマンドを前記端末に送信し、
   前記第３回線状態から、前記回線状態判断手段によって前記第２回線状態であると判断された場合、前記撮影画像送信再開手段が前記撮影画像のデータの送信を再開し、
   前記第２回線状態から、前記回線状態判断手段によって前記第１回線状態であると判断された場合、前記制御コマンド停止手段が前記制御コマンドの送信を停止することを特徴とする請求項１乃至４の何れかに記載の通信制御装置。
6. 前記撮影画像受信手段によって受信された前記撮影画像のデータに基づいて前記撮影画像を構築する撮影画像構築手段と、
   前記撮影画像受信手段によって前記撮影画像のデータが受信され、かつ前記制御コマンド受信手段によって前記制御コマンドが受信された場合に、前記撮影画像構築手段によって前記撮影画像が構築済みであるか否かを判断する画像構築判断手段と
   を備え、
   前記画像構築判断手段によって前記撮影画像が構築済みであると判断された場合、前記第１表示制御手段が、前記画像構築手段によって構築された前記撮影画像を前記表示手段に表示させ、
   前記画像構築判断手段によって前記撮影画像がまだ構築済みでないと判断された場合、前記第２表示制御手段が、前記モデル画像を前記表示手段に表示させることを特徴とする請求項５に記載の通信制御装置。
7. 前記端末から前記モデル画像のデータを要求する要求信号を受信する要求信号受信手段を備え、
   前記回線状態判断手段によって、前記回線状態が前記第２回線状態であると判断され、かつ前記要求信号受信手段によって前記要求信号を受信している場合、
   前記撮影画像送信手段が前記撮影画像を前記端末に送信し、
   前記モデル画像送信手段が前記モデル画像のデータを前記端末に送信し、
   前記制御コマンド送信手段が前記制御コマンドを前記端末に送信することを特徴とする請求項５又は６に記載の通信制御装置。
8. 前記閾値は、通信回線の遅延状況、パケット損失率、ジッタ、使用可能帯域、スループットのうち少なくとも何れかの条件に設けられた基準値であることを特徴とする請求項１乃至７の何れかに記載の通信制御装置。
9. 通信回線を介して端末に接続可能であって、前記端末から送信される画像を表示手段に表示させる通信制御装置の通信制御方法であって、
   撮影手段によって撮影された使用者の撮影画像を記憶する撮影画像記憶手段に記憶された前記撮影画像を前記端末に送信する撮影画像送信ステップと、
   前記使用者の動作を検出する動作検出ステップと、
   当該動作検出ステップにおいて検出された動作に基づき、前記表示手段において、前記使用者のモデル画像を記憶するモデル画像記憶手段に記憶された前記モデル画像の動作を制御するための制御コマンドを生成する制御コマンド生成ステップと、
   前記通信回線の状態を検出する回線状態検出手段によって検出された回線状態が閾値以下か否かを判断する回線状態判断ステップと、
   当該回線状態判断ステップにおいて前記回線状態が前記閾値以下と判断された場合、前記撮影画像送信手段による前記撮影画像の送信を停止する画像送信停止ステップと、
   当該画像送信停止ステップにおいて前記撮影画像の送信が停止された場合に、前記制御コマンド生成ステップにおいて生成された前記制御コマンドを前記端末に送信する制御コマンド送信ステップと、
   前記回線状態判断ステップにおいて前記回線状態が前記閾値を超えたと判断された場合に、前記制御コマンド送信ステップによる前記制御コマンドの送信を停止する制御コマンド停止ステップと、
   前記画像送信停止ステップにおいて前記撮影画像のデータの送信が停止された状態で、前記回線状態判断ステップにおいて前記回線状態が前記閾値を超えたと判断された場合に、前記撮影画像のデータの送信を再開する撮影画像送信再開ステップと
   を備えたことを特徴とする通信制御方法。
10. 請求項１乃至８の何れかに記載の通信制御装置の各種処理手段としてコンピュータを機能させるための通信制御プログラム。

Images