JP2006229456A

JP2006229456A - Ｔｖ会議装置、プログラム及び方法

Info

Publication number: JP2006229456A
Application number: JP2005039346A
Authority: JP
Inventors: Shogo Yamaguchi; 口尚吾山; Shinya Murai; 井信哉村
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2005-02-16
Filing date: 2005-02-16
Publication date: 2006-08-31
Anticipated expiration: 2025-02-16
Also published as: JP4358129B2

Abstract

【課題】自機器の送信した画像データが、相手方の機器において実際にどのように表示されているのかを把握できるようにする。
【解決手段】本発明のTV会議装置は、ネットワークを介して相手方のTV会議装置との間でTV会議を行なうTV会議装置であって、ユーザを撮像する撮像手段と、前記撮像手段によって撮像されたユーザの画像データを符号化する画像符号化手段と、符号化後の画像データを第１の符号化画像データとして前記相手方のTV会議装置に向けて送信する画像送信手段と、前記相手方のTV会議装置から第２の符号化画像データを受信する画像受信手段と、前記第１及び第２の符号化画像データを復号化して第１及び第２の復号化画像データを生成する画像復号化手段と、前記第１及び第２の復号化画像データを表示する表示手段と、を備える。
【選択図】図１

Description

本発明は、例えば音声データ、画像データ及び会議資料データ等を相手方のTV会議装置との間でやり取りするTV会議装置、プログラム及び方法に関する。

近年のインターネットの発展に伴い、TV会議システムの利用が急速に広がりつつある。以前は低速な電話回線を用いたシステムが一般的であったが、低速なために動画データや会議資料データ等の転送には向かず普及が進まなかった。これに対しインターネットは比較的高速で、低価格で常時接続が可能である利点から、インターネット上でTV会議システムを利用する形態が一般化しつつある。

ところで、電話回線を用いた場合には一度接続するとその回線を占有でき、利用可能な帯域が保証されていたが、インターネットの場合にはベストエフォート型のネットワークであり、伝送帯域は保証されず、パケットの欠落等も発生する。データの欠落が許されない場合には、TCP等のプロトコルを用いることにより端末間で欠落したデータの再送を行い、データ転送の信頼性を確保する。しかしながら、TV会議システムにおける音声や動画などリアルタイム性が要求されるメディアの転送にTCP(Transmission Control Protocol)を用いると、データの再送による遅延が大きくなるため、通常はUDP(UserDatagramProtocol)を用い、欠落したデータの再送は行なわない。

それ故、インターネットを利用したTV会議システムでは、音声データや動画データ等を送信したとしても、相手に届いているかどうかの保証がない。また、ユーザにとってはどの程度相手に届いているか不安であり、また、確認するためには相手に問い合わせなければならないといった問題があった。

そこで、特開2004-120460公報（特許文献１）では音声データ及び動画データを受信した端末で受信品質を示す品質情報を作成し音声データ及び動画データの送信元に送る。そして、品質情報を受信した送信元では受信した品質情報を表示することで、ユーザは音声データや動画データが相手に伝わっているか否かを知ることができる。しかしながら、品質情報としてパケット数等をユーザに示したとしても、音声データや画像データがある程度届いていることは分るものの、実際にどの程度の品質の画像が表示されているのかは分らない。

また、特開2004-186870公報（特許文献２）では、音声データを受信した端末が音声レベル情報を生成し、音声データの送信端末は制御サーバを介してその音声レベル情報を取得し画面に音声レベルを表示する。ユーザは、表示された音声レベルを見ることで、自分の声が相手側で再生されていることを確認できる。しかしながら、この手法では、受信側で実際に音声がどのように再生されているのかまでは把握できず、また、対応しているのは音声のみであり、動画に関しては何ら述べられていない。

一方、音声及び動画ではなく、会議資料を共有するためにPC（Personal Computer）画面等を遠隔地間で共有する場合がある。PC画面等の共有の場合は、音声や動画とは異なり、データを過不足なく共有する相手に届ける必要があるためTCPが用いられる。しかし、データの全てが相手に届くまでの時間はネットワーク環境により大きく異なり、共有すべきデータが相手に届いているのか否か分らないという問題があった。

そこで、特開平7-15712公報（特許文献３）では、相手への転送にかかる時間を遅延させた後に、共有するデータを自機器にて表示するシステムが述べられている。すなわち、特開平7-15712公報では、相手にデータを転送完了するまでの時間を予測し、予測時間分を遅延させて、共有するデータを表示することで相手に表示されるタイミングと自機器での表示のタイミングとをできるだけ合わせる。しかしながら、ネットワークの状況は常に一定ではなく、時々刻々と変化するものであり、遅延させるべき予測時間を正確に計算するのは困難であるという問題があった。
特開2004-120460公報特開2004-186870公報特開平7-15712公報

本発明は、自機器の送信した画像が、相手方の機器において実際にどのように表示されているのかを簡易に把握できるTV会議装置、プログラム及び方法を提供する。

本発明の一態様としてのTV会議装置は、ネットワークを介して相手方のTV会議装置との間でTV会議を行なうTV会議装置であって、ユーザを撮像する撮像手段と、前記撮像手段によって撮像されたユーザの画像データを符号化する画像符号化手段と、符号化後の画像データを第１の符号化画像データとして前記相手方のTV会議装置に向けて送信する画像送信手段と、前記相手方のTV会議装置から第２の符号化画像データを受信する画像受信手段と、前記第１及び第２の符号化画像データを復号化して第１及び第２の復号化画像データを生成する画像復号化手段と、前記第１及び第２の復号化画像データを表示する表示手段と、を備える。

本発明の一態様としてのTV会議装置は、ネットワークを介して相手方のTV会議装置との間でTV会議を行なうTV会議装置であって、前記相手方のTV会議装置との間で会議資料として共有するための共有データを前記相手方のTV会議装置に向けて送信する送信手段と、前記相手方のTV会議装置から前記共有データの処理状況を示す処理状況情報を受信する受信手段と、画像データを表示する表示手段と、受信された前記処理状況情報の内容に応じたタイミングで、前記共有データに基づく画像データを前記表示手段に出力する制御手段と、を備える。

本発明の一態様としてのプログラムは、ネットワークを介して相手方のTV会議装置との間でTV会議を行なうTV会議装置としてコンピュータを機能させるプログラムであって、撮像部によって撮像されたユーザの画像データを符号化する手段、符号化後の画像データを第１の符号化画像データとして前記相手方のTV会議装置に向けて送信する手段、前記相手方のTV会議装置から第２の符号化画像データを受信する手段、前記第１及び第２の符号化画像データを復号化して第１及び第２の復号化画像データを生成する手段、前記第１及び第２の復号化画像データを表示部に出力する手段、として前記コンピュータを機能させる。

本発明の一態様としてのプログラムは、ネットワークを介して相手方のTV会議装置との間でTV会議を行なうTV会議装置としてコンピュータを機能させるプログラムであって、前記相手方のTV会議装置との間で会議資料として共有するための共有データを前記相手方のTV会議装置に向けて送信する送信手段、前記相手方のTV会議装置から前記共有データの処理状況を示す処理状況情報を受信する受信手段、受信された前記処理状況情報の内容に応じたタイミングで、前記共有データに基づく画像データを表示部に出力する制御手段、として前記コンピュータを機能させる。

本発明の一態様としての方法は、ネットワークを介して相手方のTV会議装置との間でTV会議を行なうTV会議装置において実行する方法であって、ユーザを撮像し、撮像されたユーザの画像データを符号化し、符号化後の画像データを第１の符号化画像データとして前記相手方のTV会議装置に向けて送信し、前記相手方のTV会議装置から第２の符号化画像データを受信し、前記第１及び第２の符号化画像データを復号化して第１及び第２の復号化画像データを生成し、前記第１及び第２の復号化画像データを表示する、ことを特徴とする。

本発明により、自機器の送信した画像が、相手方の機器において実際にどのように表示されているのかを簡易に把握できる。

（第１の実施の形態）
図２は、本発明の実施の形態に係わるTV会議システムの構成例を示す図である。

遠隔地にある２台のTV会議装置１、２がインターネットあるいはイントラネット３を介して接続されている。TV会議装置１、２間で、インターネットあるいはイントラネット３を介して、音声データ、動画データ及び会議資料データ（共有データ）が送受信される。

図２では２台のTV会議装置が相互に接続されているが、TV会議装置は２台である必要はなく、３台以上が相互に接続されても良い。また、複数のTV会議装置が、MCU(Multipoint Control Unit)といった多地点間を接続するサーバを介して接続されても良い。

図１は、TV会議装置の構成例を概略的に示すブロック図である。

このTV会議装置は、カメラ１１、表示部１２、マイク１３、スピーカ１４、通信制御部１５、画像符号化部１６、画像復号化部１７、音声符号化部１８、音声復号化部１９及び表示画像生成部２０を備える。

通信制御部１５、画像符号化部１６、画像復号化部１７、音声符号化部１８、音声復号化部１９及び表示画像生成部２０による機能は、通常のプログラミング技法を用いて生成したプログラムをCPU等のコンピュータに実行させることにより実現してもよいし、ハードウェア的に実現してもよい。

カメラ１１は、本TV会議装置を利用するユーザの画像を撮像する。本TV会議装置がTV会議専用装置の場合には専用のカメラが用いられる。パーソナルコンピュータ（PC：Personal Computer）をTV会議装置として用いる場合にはUSBカメラを利用することが考えられる。カメラ１１によって撮像された画像のデータは、画像符号化部１６へ渡される。

表示部１２は、入力された画像データを実際の画像として表示する。表示部１２は、CRT（Cathode Ray Tube）ディスプレイやLCD（Liquid Crystal Display）等、画像が表示できるものであれば何を用いてもよい。

マイク１３は、TV会議装置を利用するユーザの音声を入力する。マイク１３に入力された音声は音声信号として音声符号化部１８へ渡される。マイク１３は、TV会議装置専用のマイクや、汎用のマイク等、ユーザの音声を入力できるものであればどのようなものを用いてもよい。

スピーカ１４は、入力された音声信号を実際の音声として出力する。スピーカ１４は、TV会議装置専用のスピーカや汎用スピーカ等、入力された音声信号から音声を生成できるものであればどのようなものを用いてもよい。

画像符号化部１６は、カメラ１１から渡された画像データを符号化する。すなわち、カメラ１１から入力された画像データをそのまま相手に転送するにはデータ量が多すぎるため、画像符号化部１６で圧縮符号化する。使用する符号化方式は特に限定されない。例えば、各フレームをJPEG圧縮するモーション（Motion）JPEGが考えられる。あるいはより圧縮率を上げるために前後のフレームとの類似性を利用した圧縮を行なうMPEG2,MPEG4,H263,H264等を利用してもよい。画像符号化部１６は、生成した符号化データを相手のTV会議装置に転送するために通信制御部１５へ渡すと共に、自機器での表示のために画像復号化部１７へも渡す。

音声符号化部１８は、マイク１３から渡された音声信号を符号化する。音声符号化部１８は、符号化後の音声データを遠隔のTV会議装置へ送るために通信制御部１５へ渡す。

通信制御部１５は、インターネットやイントラネット３を介して遠隔のTV会議装置に符号化画像データ及び符号化音声データを送信し、また、遠隔のTV会議装置から符号化画像データ及び符号化音声データを受信する。

ここで、画像や音声などのリアルタイムストリームを転送するには、データをパケット化すること、パケットが廃棄された場合にできる限り品質を落とさなくする仕組み、パケット毎の転送遅延ゆらぎを吸収する仕組み、画像及び音声間の同期をとる仕組みなどが必要である。通信制御部１５は、所定のプロトコルに従った処理を行なうことにより、これらの機能を実現する。所定のプロトコルとしては例えばRTP(Realtime Transport Protocol)及びRTCP(RTP Control Protocol)がある。図３にこれらのプロトコルを用いた場合のプロトコルスタックの一部を示す。

音声復号化部１９は、遠隔のTV会議装置から通信制御部１５によって受信された符号化音声データを復号化する。音声復号化部１９は、復号化したデータを音声信号としてスピーカ１４へ渡す。スピーカ１４は、渡された音声信号を元に、音声を再生する。

画像復号化部１７は、遠隔のTV会議装置から通信制御部１５によって受信された符号化画像データを復号化し、また、画像符号化部１６から渡される符号化画像データを復号化する。画像復号化部１７は、復号化したこれらの画像データを表示画像生成部２０へ渡す。

表示画像生成部２０は、画像復号化部１７から渡された画像データを用いて、表示部１２において表示すべき画像のデータを生成する。

例えば、相手からの画像のみを表示する場合には画像復号化部１７から渡された相手側の画像データのみを元に、表示すべき画像のデータを生成し表示部１２へ渡す。表示部１２は、渡された画像データに対応する画像を表示する。

一方、相手からの画像と共に自画像も同時に表示する場合は、画像復号化部１７から渡された相手側の画像データと自機器側の画像データとの両方を合成して合成画像データを生成し、生成した合成画像データを表示部１２へ渡す。表示部１２は、渡された合成画像データを元に、合成画像を表示する。表示された合成画像における自画像は、符号化及び復号化を経ていることに注意する。ここで、画像の合成方法は特に限定されない。例えば、相手画像をフルサイズで表示し、自画像を相手画像上のいずれかの隅に小さく表示するように合成しても良いし、両方の画像とも同じ大きさになるように合成しても良い。

以上のように、本実施の形態によれば、ローカルのカメラで撮像した自画像を一度符号化した後さらに復号化して自機器上に表示するようにしたため、ユーザは符号化による画質の劣化を視覚的に確認することができる。すなわち、従来においては、自画像を表示する場合にカメラで撮像した画像を符号化及び復号化することなくそのまま表示していたが、本実施の形態では、自画像を一度符号化し、さらに復号化して表示するため、相手側の機器に送信した動画像が実際にどのように表示されているのか正確に知ることができる。よって、ユーザは安心感をもってTV会議に参加することが可能となる。

（第２の実施の形態）
図４は、本実施の形態に従ったTV会議装置の構成例を概略的に示すブロック図である。

本実施の形態が、第１の実施の形態と異なる点は、復号化データ生成部２１が新たに追加されたことにある。よって、以下、この変更部分を中心に説明し、その他の部分については図１と同一の番号を振って、詳細な説明を省略する。

第１の実施の形態では、画像符号化部は、符号化後の画像データを通信制御部へ渡すと共に、自機器での表示のために画像復号化部へ渡していた。これに対し、本実施の形態では、画像符号化部１６は、自機器での表示のために、符号化後の画像データを、画像復号化部１７ではなく、新たに追加された復号化データ生成部２１へ渡す。

通信制御部１５は、第１の実施の形態で述べた機能に加え、受信側（相手側）における符号化画像データの受信品質を認識する機能を持つ。受信側の通信制御部では、符号化画像データを受信できた割合など、符号化画像データの受信品質を示す受信品質情報を生成して、符号化画像データの送信元へ送る。送信元において受信された受信品質情報は、通信制御部１５から復号化データ生成部２１へ通知される。符号化画像データの受信品質を認識できるプロトコルとしては、例えばRTCPがある。

RTCPでは、符号化画像データの受信側から送信側に対してRRパケット(ReceiverReportパケット)が送信される。RRパケットにはパケット廃棄率(前回にRRパケットを送信してからの廃棄率)や、累積廃棄パケット数(画像データの受信を開始してからのパケット廃棄数)が格納されている。上記パケット廃棄率は、送信側からRTPにより送信されてくるシーケンス番号付きのパケットに基づいて計算される。具体的には、受信側で受信できなかったパケット数を、送信側から送信されたパケット数で除算することによりパケット廃棄率を計算できる。受信側では、パケット廃棄率や累積廃棄パケット数等の受信品質情報をRRパケットに格納して、符号化画像データの送信元に送信する。

ここでは符号化画像データ（パケット）の受信品質を受信側から送信側に通知するためにRTP及びRTCPを用いたが、符号化画像データの受信品質を通知できるのであれば、RTP及びRTCPではなく他プロトコルを用いても構わない。

復号化データ生成部２１は、通信制御部１５から通知された符号化画像データの受信品質情報に基づき、画像符号化部１６から渡された符号化画像データを加工する。例えば、受信品質としてパケット廃棄率が通知されている場合には、通知されたパケット廃棄率に従って、符号化画像データの一部を削減する。

復号化データ生成部２１は、受信品質情報に基づいて加工した符号化画像データを画像復号化部１７へ渡す。また復号化データ生成部２１は、相手側からの符号化画像データを通信制御部１５から受け取って画像復号部１７へ渡す。

画像復号化部１７は、復号化データ生成部２１から渡された加工後の符号化画像データと相手側からの符号化画像データとをそれぞれ復号化して表示画像生成部２０に渡す。表示画像生成部２０は、受け取ったこれらの復号化後の画像データを用いて、表示すべき画像のデータを生成し、表示部１２に渡す。表示部１２は、渡された画像のデータに基づいて、対応する画像を表示する。

ここで、復号化データ生成部２１において加工する対象となる符号化画像データとしては、受信側において受信品質を測定する際の対象となった符号化画像データと同一またはこれにできるだけ近い時点のものを用いる方法と、画像符号化部１６から得ている最新の符号化画像データを用いる方法とが考えられる。

前者の場合には、送信側が受信側から受信品質情報を受信するまで符号化画像データをバッファリングしておく必要があると共に、少し遅延のある画像が表示されることとなるが、受信側で表示された画像により近い画像を表示することが可能である。

一方、後者の場合は、送信側によって受信品質情報が反映された画像と、受信側において測定対象となった画像とが異なることになるが、それ程大きなバッファを必要とせず、遅延も少ないため、違和感が少ないと考えられる。

以上の説明では、復号化データ生成部２１は、画像符号化部１６によって生成された符号化画像データを画像符号化部１６から直接受け取ったが、符号化画像データをいったん通信制御部２１でパケット化し、パケット化した符号化画像データを通信制御部２１から取得するようにしてもよい。このようにすることで、例えば、パケット廃棄率に基づく符号化画像データの加工がパケットの廃棄操作となるため、容易かつより正確に、受信側と同一またはこれに近い画質を再現できる。

以上のように、本実施の形態によれば、画像データの符号化に伴う画質の劣化のみならず、パケット落ちなどのネットワーク上での転送による影響をも考慮して、自画像を表示するようにしたため、遠隔で表示されている画像の質により近い画像の確認が可能になる。

（第３の実施の形態）
図５は、本実施の形態に従ったTV会議装置の構成例を概略的に示すブロック図である。

本実施の形態が、第１の実施の形態と異なる点は、利用帯域設定部２２が新たに追加されたことにある。よって、以下、この変更部分を中心に説明し、その他の部分については図１と同一の番号を振って、詳細な説明を省略する。

利用帯域設定部２２は、ユーザの指示に基づき、遠隔のTV会議装置に送信する画像データの符号化レート（転送レート）を設定する。

例えば、1Mbps, 512Kbps, 384Kbps, 128Kbpsといった典型的な転送レートの選択肢を準備しておき、その中からユーザが状況に応じて選択するようにする。選択肢の中から候補が選ばれると、利用帯域設定部２２は、転送レートとそれが候補である旨を画像符号化部１６へ通知する。画像符号化部１６では、転送レート候補を通知されると、カメラ１１からの入力画像データを候補転送レートに基づいて符号化し、符号化画像データを画像復号化部１７のみに渡す。画像復号化部１７は、画像符号化部１６から渡された符号化画像データを復号し、復号後の画像データを表示画像生成部２０へ渡す。表示画像生成部２０は、渡された復号後の画像データに基づき、プレビュー画像データを生成して表示部１２に渡す。表示部１２は、受け取ったプレビュー画像データを元に、プレビュー画像を表示する。

図６は、転送レートの設定画面及びプレビュー画面の一例を示す。

転送レート選択メニュー画面２３に転送レートの選択肢が示され、ここでは512Kbpsが選択されている。プレビュー画面２４には、512Kbpsにより転送した場合に相手に表示されるであろうプレビュー画像が表示されている。ユーザによって設定ボタン２５が押されると（ユーザから了解信号が入力されると）、相手機器への画像データの送信が開始される。すなわち、カメラ１１で撮像された画像データを512Kbpsで符号化して送信する。この他は、第１の実施の形態と同様の処理が行われる。

すなわち、画像復号化部１７は、画像符号化部１６からの符号化画像データと、通信制御部１５からの符号化画像データとをそれぞれ復号して表示画像生成部２０に渡す。表示画像生成部２０は、受け取ったこれらの復号化画像データを用いて、表示部１２に表示すべき画像のデータを生成して表示部１２に渡す。表示部１２は、受け取った画像データに対応する画像を表示する。

以上のように、本実施の形態によれば、送信開始前に、選択した転送レートで送信した場合に相手側に表示されるであろう画像をプレビュー画面に表示するようにしたため、ユーザは転送レートと画質とのバランスを考慮しながら転送レートを選択できる。また、転送レートを決定する前までは相手方に画像は送信されないので、相手方に見苦しい画面を見せる心配もない。

（第４の実施の形態）
図７は、本実施の形態に従ったTV会議装置の構成例を概略的に示すブロック図である。

本実施の形態が、第１の実施の形態と異なる点は、共有データ入力部２６および共有データ制御部２７が新たに追加されたことにある。よって、以下、この追加された部分を中心に詳しく説明し、その他の部分については図１と同一の番号を振って、詳細な説明を省略する。

まず、共有データについて簡単に説明する。

共有データとは、会議資料として会議参加者間で同じ内容のものを見るために互いに共有するデータである。共有データは例えば、アプリケーションのデータそのものでも良いし、あるいはアプリケーションを表示した画面データでもよい。共有データがアプリケーションのデータである場合は、共有データを表示するためには、共有データの送信側及び受信側それぞれで対応するアプリケーションを用意する必要がある。

共有データ入力部２６は、上述した共有データを外部装置（図示せず）からTV会議装置に取り込む、またはTV会議装置内のデータ格納部（図示せず）から取り込む。取り込む方法は特に限定されない。例えば、通信制御部１５を介して、ネットワーク上にある他の機器から共有データを取得しても良いし、あるいは、RGBケーブルにより接続したディスプレイから共有データ（画面データ）を取得しても良い。共有データ入力部２６は、取り込んだ共有データを共有データ制御部２７へ渡す。

共有データ制御部２７は、共有データの送受信の制御や、表示タイミングの制御等を行なう。より詳細には以下の通りである。

共有データ制御部２７は、共有データ入力部２６から渡された共有データを遠隔のTV会議装置に送るために通信制御部１５へ渡す。また、共有データ制御部２７は、自機器でも共有データを表示するために、共有データに基づく画像データ（共有画像データ）を生成し、生成した共有画像データを表示画像生成部２０へ渡す。表示画像生成部２０は、受け取った共有画像データを元に、表示すべき共有画像のデータ（表示共有画像データ）を生成して表示部１２に渡す。ここでは、共有データ制御部２７が共有画像データを生成したが、共有データ制御部２７が共有データを表示画像生成部２０に渡し、表示画像生成部２０において共有画像データを生成しても良い。

一方、表示画像生成部１２は、画像復号化部１７及び通信制御部１５からの画像データを元に、表示すべき合成画像のデータを生成して表示部１２に渡す。

表示部１２は、表示画像生成部１２から受け取った表示共有画像データ及び合成画像データの各々に対応する画像を、それぞれについて用意された画面に表示する。以降、表示共有画像データに対応して表示された画像を共有データ画像と称する。

ここで、共有データ画像の表示タイミング（表示画像生成部２０への共有画像データの出力タイミング、又は表示部１２への表示共有画像データ（あるいは共有データ）の出力タイミング）としては、遠隔のTV会議装置での表示タイミングと無関係に表示する方法と、できる限り遠隔での表示タイミングに合わせて表示する方法とがある。どちらの方法で表示するかをユーザが選択するようにしても良い。

この他、遠隔のTV会議装置とは無関係に共有データ画像を表示する画面と、遠隔のTV会議装置での表示タイミングに合わせて共有データ画像を表示する画面とを別に用意してもよい。この場合、前者を大きく表示し、後者は相手の表示状態を知ることができる程度に小さく表示しても良い。

ここで、遠隔のTV会議装置での表示タイミングに合わせて共有データを表示する方法の一例を説明する。

受信側における共有データ制御部では、共有データを受信すると、共有データの受信状況や表示状況等、共有データの処理状況を示す情報を生成して送信元に通知する。具体的な通知内容としては例えば、受信中、受信完了、表示完了、表示不可などの単純な状態の通知が考えられる。

受信完了から表示完了までは時間的に短いと考え、共有データの送信元では、受信完了通知を受信したタイミングを表示タイミングとしても良い。あるいは、より確実に、表示完了通知を受信したタイミングを表示タイミングとしても良い。この他、受信中通知を受信してから所定時間経過後を表示タイミングとしても良い。

受信側において表示不可となる一因として、共有データが画面データではなく、特定のアプリケーションのデータであり且つ受信側で対応するアプリケーションがインストールされていない場合が考えられる。そのような場合、送信側では、表示不可の状況通知を受け取ると、自動的に共有データを表示した画面のデータを生成し受信側に送信するようにしてもよい。

以上のように、本実施の形態によれば、共有データの受信側から共有データの処理状況を示す情報を受信するようにしたため、受信側での表示タイミングに可能な限り合わせて、共有データを表示できる。これにより、会議資料の説明などにおいて、会議資料が相手にまだ表示されていないにも拘わらず説明を始めてしまう不手際をなくし、また、会議資料が表示されたかどうかを相手に問い合わせる手間を省くといったことが可能になる。

本発明の第１の実施の形態に従ったTV会議装置の構成例を示すブロック図本発明の実施の形態に係わるTV会議システムの構成例を示すブロック図プロトコルスタックの一例を示す図本発明の第２の実施の形態に従ったTV会議装置の構成例を示すブロック図本発明の第３の実施の形態に従ったTV会議装置の構成例を示すブロック図 TV会議装置の転送レート設定を説明する図本発明の第４の実施の形態に従ったTV会議装置の構成例を示すブロック図

符号の説明

１、２：TV会議措置
３：インターネット／イントラネット
１１：カメラ
１２：表示部
１３：マイク
１４：スピーカ
１５：通信制御部
１６：画像符号化部
１７：画像復号化部
１８：音声符号化部
１９：音声復号化部
２０：表示画像生成部
２１：復号化データ生成部
２２：利用帯域設定部
２３：転送レート選択メニュー画面
２４：プレビュー画像
２５：設定ボタン
２６：共有データ入力部
２７：共有データ制御部

Claims

ネットワークを介して相手方のTV会議装置との間でTV会議を行なうTV会議装置であって、
ユーザを撮像する撮像手段と、
前記撮像手段によって撮像されたユーザの画像データを符号化する画像符号化手段と、
符号化後の画像データを第１の符号化画像データとして前記相手方のTV会議装置に向けて送信する画像送信手段と、
前記相手方のTV会議装置から第２の符号化画像データを受信する画像受信手段と、
前記第１及び第２の符号化画像データを復号化して第１及び第２の復号化画像データを生成する画像復号化手段と、
前記第１及び第２の復号化画像データを表示する表示手段と、
を備えたTV会議装置。
前記相手方のTV会議装置から前記第１の符号化画像データの受信品質を示す受信品質情報を受信する情報受信手段をさらに備え、
前記画像復号化手段は、前記受信品質情報を用いて前記第１の符号化画像データの復号化を行なう、
ことを特徴とする請求項１に記載のTV会議装置。
前記画像送信手段は、前記第１の符号化画像データをパケット化して送信し、
前記受信品質情報は、前記相手方のTV会議装置に届かなかったパケット数又は前記相手方のTV会議装置によって廃棄されたパケット数又はこれらの両方に基づく情報を含む、
ことを特徴とする請求項２に記載のTV会議装置
前記受信品質情報の送受信プロトコルはRTCP（RTP(Realtime Transport Protocol) Control Protocol）であることを特徴とする請求項２又は３に記載のTV会議装置。
前記画像データの符号化レートを複数の中から選択する符号化レート設定手段をさらに備え、
前記画像符号化手段は、選択された前記符号化レートにより前記画像データの符号化を行なう、
ことを特徴とする請求項１乃至４のいずれかに記載のTV会議装置。
前記画像送信手段は、前記選択された符号化レートを受け入れることを示す了解信号が入力されるまで、前記第１の符号化画像データの送信を待機する、
ことを特徴とする請求項５に記載のTV会議装置。
前記相手方のTV会議装置との間で会議資料として共有するための共有データを前記相手方のTV会議装置に向けて送信する共有データ送信手段と、
前記相手方のTV会議装置から前記共有データの処理状況を示す処理状況情報を受信する処理状況情報受信手段と、
受信された前記処理状況情報の内容に応じたタイミングで、前記共有データに基づく画像データを前記表示手段に出力する制御手段と、
をさらに備えたことを特徴とする請求項１乃至６のいずれかに記載のTV会議装置。
前記処理状況情報は、前記相手方のTV会議装置により前記共有データの受信が完了されたことを示す受信完了通知、又は前記相手方のTV会議装置によって受信された前記共有データに基づく画像データが前記相手方のTV会議装置で表示されたことを示す表示完了通知を含み、
前記制御手段は、前記処理状況情報受信手段によって前記処理状況情報が受信されたことを検出したら、前記共有データに基づく画像データを前記表示手段に出力する、
ことを特徴とする請求項７に記載のTV会議装置。
ネットワークを介して相手方のTV会議装置との間でTV会議を行なうTV会議装置であって、
前記相手方のTV会議装置との間で会議資料として共有するための共有データを前記相手方のTV会議装置に向けて送信する送信手段と、
前記相手方のTV会議装置から前記共有データの処理状況を示す処理状況情報を受信する受信手段と、
画像データを表示する表示手段と、
受信された前記処理状況情報の内容に応じたタイミングで、前記共有データに基づく画像データを前記表示手段に出力する制御手段と、
を備えたTV会議装置。
前記処理状況情報は、前記相手方のTV会議装置により前記共有データの受信が完了されたことを示す受信完了通知、又は前記相手方のTV会議装置によって受信された前記共有データに基づく画像データが前記相手方のTV会議装置で表示されたことを示す表示完了通知を含み、
前記制御手段は、前記受信手段によって前記処理状況情報が受信されたことを検出したら、前記共有データに基づく画像データを前記表示手段に出力する、
ことを特徴とする請求項９に記載のTV会議装置。
ネットワークを介して相手方のTV会議装置との間でTV会議を行なうTV会議装置としてコンピュータを機能させるプログラムであって、
撮像部によって撮像されたユーザの画像データを符号化する手段、
符号化後の画像データを第１の符号化画像データとして前記相手方のTV会議装置に向けて送信する手段、
前記相手方のTV会議装置から第２の符号化画像データを受信する手段、
前記第１及び第２の符号化画像データを復号化して第１及び第２の復号化画像データを生成する手段、
前記第１及び第２の復号化画像データを表示部に出力する手段、
として前記コンピュータを機能させるプログラム。
前記相手方のTV会議装置から前記第１の符号化画像データの受信品質を示す受信品質情報を受信する情報受信手段として前記コンピュータをさらに機能させ、
前記画像復号化手段は、前記受信品質情報を用いて前記第１の符号化画像データの復号化を行なう、
ことを特徴とする請求項１１に記載のプログラム。
前記画像送信手段は、前記第１の符号化画像データをパケット化して送信し、
前記受信品質情報は、前記相手方のTV会議装置に届かなかったパケット数又は前記相手方のTV会議装置によって廃棄されたパケット数又はこれらの両方に基づく情報を含む、
ことを特徴とする請求項１２に記載のプログラム
前記受信品質情報の送受信プロトコルはRTCP（RTP(Realtime Transport Protocol) Control Protocol）であることを特徴とする請求項１２又は１３に記載のプログラム。
前記画像データの符号化レートを複数の中から選択する符号化レート設定手段として前記コンピュータをさらに機能させ、
前記画像符号化手段は、選択された前記符号化レートにより前記画像データの符号化を行なう、
ことを特徴とする請求項１１乃至１４のいずれかに記載のプログラム。
前記画像送信手段は、前記選択された符号化レートを受け入れることを示す了解信号が入力されるまで、前記第１の符号化画像データの送信を待機する、
ことを特徴とする請求項１５に記載のプログラム。
前記相手方のTV会議装置との間で会議資料として共有するための共有データを前記相手方のTV会議装置に向けて送信する共有データ送信手段、
前記相手方のTV会議装置から前記共有データの処理状況を示す処理状況情報を受信する処理状況情報受信手段、
受信された前記処理状況情報の内容に応じたタイミングで、前記共有データに基づく画像データを前記表示部に出力する制御手段、
として前記コンピュータをさらに機能させることを特徴とする請求項１１乃至１６のいずれかに記載のプログラム。
前記処理状況情報は、前記相手方のTV会議装置により前記共有データの受信が完了されたことを示す受信完了通知、又は前記相手方のTV会議装置によって受信された前記共有データに基づく画像データが前記相手方のTV会議装置で表示されたことを示す表示完了通知を含み、
前記制御手段は、前記処理状況情報受信手段によって前記処理状況情報が受信されたことを検出したら、前記共有データに基づく画像データを前記表示部に出力する、
ことを特徴とする請求項１７に記載のプログラム。
ネットワークを介して相手方のTV会議装置との間でTV会議を行なうTV会議装置としてコンピュータを機能させるプログラムであって、
前記相手方のTV会議装置との間で会議資料として共有するための共有データを前記相手方のTV会議装置に向けて送信する送信手段、
前記相手方のTV会議装置から前記共有データの処理状況を示す処理状況情報を受信する受信手段、
受信された前記処理状況情報の内容に応じたタイミングで、前記共有データに基づく画像データを表示部に出力する制御手段、
として前記コンピュータを機能させるプログラム。
前記処理状況情報は、前記相手方のTV会議装置により前記共有データの受信が完了されたことを示す受信完了通知、又は前記相手方のTV会議装置によって受信された前記共有データに基づく画像データが前記相手方のTV会議装置で表示されたことを示す表示完了通知を含み、
前記制御手段は、前記受信手段によって前記処理状況情報が受信されたことを検出したら、前記共有データに基づく画像データを前記表示部に出力する、
ことを特徴とする請求項１９に記載のプログラム。
ネットワークを介して相手方のTV会議装置との間でTV会議を行なうTV会議装置において実行する方法であって、
ユーザを撮像し、
撮像されたユーザの画像データを符号化し、
符号化後の画像データを第１の符号化画像データとして前記相手方のTV会議装置に向けて送信し、
前記相手方のTV会議装置から第２の符号化画像データを受信し、
前記第１及び第２の符号化画像データを復号化して第１及び第２の復号化画像データを生成し、
前記第１及び第２の復号化画像データを表示する、方法。