JP2005536132A - 通信を中断することなしにビデオ会議中でのマルチメディアファイルのリアルタイム放映を行う方法と実行のための人間／機械インターフェイス - Google Patents

Abstract

ビデオ会議中にデータファイル、特にマルチメディアファイルを伝達端末から放映する方法と該端末に装備された人間／機械インターフェイスに係る発明である。該方法においては、進行中のビデオ会議の通信とリアルタイムでファイルが放映され、この間通信は中断されることがなく、該通信のために開かれたオーディオ・ビデオチャンネルが使用される。該端末から参加者は、自分のスクリーンに表示されたファイルを単に選択して動かすだけで、放映されるべきファイルの放映を開始することができる。

Description

この発明は通信を中断することなしにビデオ会議中でのマルチメディアファイルのリアルタイム放映を行う方法とその実行のための人間／機械インターフェイスに関するものである。

ビデオ会議を行うには、ビデオ会議端末の使用が利用され、該端末は従来専用または非専用のコンピューター機器から構成されている。したがってそれはビデオ会議機能を具えたＰＣタイプのコンピューターである。該コンピューターはオーディオ・ビデオ信号捕捉源（カメラ、マイクロフォン）に結合されている。

また該コンピューターの有するソフトウエアは捕捉された信号を処理しかつ受信された信号を処理する。さらにテレコミュニケーションネットワークへの結合手段と人間／機械インターフェイスをも有しており、これがスクリーン上に所謂「ローカル」ウィンドウと少なくとも１個の「遠隔」ウィンドウを表示する。

以下の記載ではビデオ会議端末について言及するが、これは１以上の他のビデオ会議端末とのテレコミュニケーションネットワークを介してのビデオ会議通信を確立する手段を具えた端末を表示するためのものである。

ビデオ会議の間、ビデオ会議端末を有した参加者はリアルタイムでデータファイル、特にマルチメディアファイルを他の参加者に放映したいと思うだろう。放映とは受信者が使える放映ファイルを有していないことを示している。

ここで送信する参加者を「送信者」と呼ぶ。マルチメディアファイルは例えばビデオファイルであって、参加者が記録したり、ミュージカル抜粋や端末が使える他のマルチメディアファイルについて参加者がコメントしたいと思うものである。これらのファイルは例えばＭＰＥＧ−１フォーマットへのビデオまたはＭＰ３フォーマットへの音楽である。

ビデオ会議端末において現在採用されているひとつの解決策はマルチメディアファイルの全てを通信のオーディオ・ビデオチャンネルとは別個のデータチャンネルを介して参加者に伝達する方法である。すると参加者はファイルを送信者のコンピューター上に存在するように受信するのである。

この解決策はいくつかの問題を惹起する。

第１の問題は現行の通信では動作が真にリアルタイムでは起きない点である。伝達時間はファイルのサイズと使用された別個のチャンネルに使える帯域により左右される。

加えて送信者はいくつかの動作と操作とを行う必要があり不経済であり、この結果通信が瞬間的に中断されることになる。

さらにそれらのファイルを使うことのできる有効な装置を受信者が所持していない危険がある（例えば、送信者は受信者にＭＰＥＧ−１標準でコード化されたビデオを送りたいと思う、受信者はＭＰＥＧ−１解号器を持っていないのでこのファイルを解号することができない。）

最後に送信者は自分の防止したいマルチメディアファイルを受信者が使えるようにする。

要約すると、この解決策はリアルタイム、経済、通信の中断および動作の安全の点で問題がある。

他の解決策としてはＴ．１２０タイプの標準により齎される。この標準によると、ビデオ会議参加者間でアプリケーションを共有することが可能となる。

この目的のために、送信者は自分が発生したイベントを伝達することができるプリミティブのリスト、使用しているビデオ会議端末の２Ｄ画像またはスクリーン捕捉を持っている。しかし送信者は自分が使用する帯域を制御する可能性を有してなく、オーディオデータを伝達する可能性を有していない。

加えて受信者がドキュメント共有標準を支持できない場合には、マルチメディアファイルの放映が不可能である。

これらの問題を解決する目的で、この発明はビデオ会議中に送信端末を使ってデータファイル、特にマルチメディアファイルを放映する方法を提案するもので、該送信端末は１以上の受信端末との通信を確立することができ、これらの端末はオーディオ・ビデオ源を具えている。

また通信のために開かれたオーディオ・ビデオチャンネルを使ってファイルの放映が現行のビデオ会議通信とリアルタイムで実施され、この間通信が中断されないことを主たる特徴とするものである。

また該方法においては、ビデオ会議通信の実行を確立したときに、送信端末と受信端末間で対話を行って、マルチメディアファイルの放映中に１以上の通信パラメータおよび応従を協定し、オーディオ・ビデオチャンネルおよび受信端末のために制約が決められる。

協定される第１のパラメータはビデオ会議通信のオーディオ・ビデオチャンネルのために割り当てられる帯域である。マルチメディアファイルはこの協定された帯域に従って放映される。

第２のパラメータはオーディオ・ビデオ源により捕捉されたストリームのオーディオ・ビデオストリームの周波数であり、マルチメディアファイルはこれらの周波数に従って放映される。

第３のパラメータは画像放映のフレーム寸法であり、結果としてビデオ源およびマルチメディアファイルから出力される画像は協定された寸法に従う。

第４のパラメータはオーディオ・ビデオ源のビットストリームのコード化標準であって、マルチメディアファイルのビットストリームは協定されたコード（コード化−解号アルゴリズム）によりコード化される。

この発明の他の特徴にあっては、放映されるべきマルチメディアファイルのビデオが解号されてリアルタイムで送信端末のビデオ捕捉源から出力されるビデオと混合される。ついで協定されたビデオコード化標準に応じてコード化される。

この発明の他の特徴にあっては、放映されるべきマルチメディアファイルのオーディオデータが解号され、送信端末のオーディオ捕捉源から出力されるオーディオデータとリアルタイムで混合され、ついで協定されたオーディオ標準を使ってコード化される。

望ましくは、放映はプログラムにより実行され、送信端末に装備された人間／機械インターフェイスにより開始される。

この発明はまたビデオ会議通信を行う手段と入出力周辺機器を具えた端末のための人間／機械インターフェイスに関するものである。

該インターフェイスのグラフ表示手段は数個のウィンドウを表示し、そのひとつの「ローカル」はビデオ会議通信中にローカルビデオ放映画像を１以上の遠隔端末に表示する。少なくとも１個の第２の所謂「遠隔」ウィンドウは遠隔端末から出力された少なくとも１個のビデオ画像を表示する。

主たる特徴においては、グラフ表示手段は少なくとも１個の他のウィンドウを表示して、例えばアイコンの形で端末から得られるデータファイル、特にマルチメディアファイルを明示する。

また該インターフェイスの有する論理モジュールはファイル選択動作と「遠隔」ウィンドウ中の運動と該ファイルを現行のビデオ会議通信とリアルタイムで放映するためのプログラムのビデオ会議手段による開始の間の結合を与える。この際通信を中断することはなく、この通信のために開かれたオーディオ・ビデオチャンネルを使用する。

他の特徴においては、インターフェイスはビデオ会議手段により開始されるコンピュータープログラムにより実行される。

この発明はコンピューター端末に関するものであって、該端末はビデオ会議を実行する手段を有しており、主たる特徴としては上記したように人間／機械インターフェイスを有している。

以下添付の図面によりこの発明の特徴などについで記載するが、該記載はこの発明を限定するものではない。

図１において送信者Ａの端末ＴＡはこの発明の方法を実行する手段を有している。該手段は現行のビデオ会議通信とリアルタイムでマルチメディアファイルを放映することを可能とするものであり、該通信を中断することなく、この通信のために開かれたオーディオ・ビデオチャンネルを使用する。

該手段は人間／機械インターフェイスＩと接続されており、該インターフェイスにより送信者は要求するファイルを放映するために非常に簡単な動作を行うのである。

以下の記載では開示を簡単にするべく、参加者Ａ、Ｂ間のビデオ会議について記載する。ここで参加者Ａ（送信者）の一人はマルチメディアファイルを放映するものとする。勿論この発明はこれに限定されるものではなく、数人の参加者を含んだシナリオにも敷衍され得るものである。

したがってこの例では、参加者Ａ、ＢはＰＣのビデオ会議端末を有している。したがってビデオ会議端末Ａはこの発明の方法を実行する手段を有しており、端末Ｂは単に従来のビデオ会議端末（例えばＢの端末ＴＢはＨ．３２３またはＳＩＰ標準のビデオ会議装置である）でよい。

ビデオ会議通信の間、送信者Ａはビデオを放映するものと仮定するが、該ビデオは送信者が自分のコンピューター上で入手できるものであり、かつ自分が相手側Ｂにコメントしたいと思うものである。

送信者Ａが自分の人間／機械インターフェイスＩから自分の望むファイルを放映すべく何の動作もしない限りでは、送信者Ａが相手側Ｂに送信するビットストリームは、カメラＣにより捕捉コード化された画像と１以上のマイクロフォンＭにより捕捉されコード化されたスピーチからなるものである。

ビデオのためのコード化標準は例えばＨ．２６３であり、スピーチのためのコード化標準はたとえばＧ．７１１Ａ標準に従うものである。

図２に示すように端末ＴＡにあっては、３個の対話ウィンドウが開かれており、ひとつは「ファイルエクスプローラー」と名付けられており、例えばアイコンの形で与えられ、入手できたマルチメディアファイルを示している。

他のウィンドウは「遠隔」と名付けられ、相手側から受信された画像からなるものである。もうひとつのウィンドウは「ローカル」と名付けられ、伝達している画像からなるものである。

図３のダイアグラムは通信中の参加者Ｂのための端末ＴＢを示す。参加者Ｂは自分のスクリーン上に「遠隔」と「ローカル」ウィンドウを見ることができ、「遠隔」ウィンドウは端末ＴＡにより伝達された画像を表示しており、「ローカル」ウィンドウはＡに伝達された画像を表示している。

通信が確立されると、２個の端末間で数個のパラメータと制約とが協定される。これは以下に詳細に記載するように、伝達されるフレームの寸法（例えば１７６Ｘ１４４ピクセル）、使用される最大帯域幅（例えば１２８ｋｂ／ｓ）、フレームの最大周波数（例えば１秒当たり１５画像）、および使用されるオーディオ・ビデオコード化標準などである。この協定に使用される通信プロトコルは例えばＨ．３２３標準などでよい。

これらのパラメータの協定の後、通信プロパーが始まり、この間送信者は相手側に自分のコメントするマルチメディアファイルの放映を決定する。

この目的のために送信者Ａはこの発明による人間／機械インターフェイスＩを使用する。これについてなお理解すべく図４のダイアグラムを参照する。

送信者Ａは自分のコンピューターのマウスのポインターをＢに放映したいファイルのアイコンに指向させる。マウスの右ボタンを押圧してアイコンを捕捉して、これを「遠隔」ウィンドウの上へドラッグする。

アイコンを端末の「遠隔」ウィンドウに置かない場合には、なにも起きず、通信はそのコースに従う。アイコンが人間／機械インターフェイスのいずれかのウィンドウに置かれると、受信者Ｂへのマルチメディアファイルの放映が開始される。

この動作はクリックとマウスの動きを必要とし、数秒である。送信者Ａは自分の目をビデオ会議端末から離さずにこれを行うことができる。つまり通信を保留する必要がない。

インターフェイスは端末のグラフ表示手段と論理モジュールＰＲＯＧ−Ｆにより実行される。この論理モジュールはプログラムであり、該プログラムはファイル選択の動作と「遠隔」ウィンドウ中での動きと現行のビデオ会議通信とリアルタイムでかつ通信の中断なくファイルを放映するプログラムＰＲＯＧ−Ｄの開始との結合を与えるものであり、これにはこの通信のために開かれたオーディオ・ビデオチャンネルが使われる。

放映は通信の開始時に協定された制約と状態（画像の寸法、使用されたコーデック（コード化−解号）、帯域幅）の下に行われ、これにより受信者側での解号の正しい機能が保証される。加えて、これはパラメータの再協定を必要としないし新たなオーディオ・ビデオ論理チャンネルを開くことも必要としないのである。なぜなら通信が使用されるときに開かれているからである。

送信者ＡのカメラＣにより捕捉されたローカル画像は放映ファイルＦに含まれるビデオおよび送信者Ａのビデオの画像イン画像挿入により置き換えられる。

同様に、送信者Ａから来た音はマルチメディアファイル（もし存在すれば）中に含まれるオーディオデータと混合され、これが通信の連続性を与えて、２人の参加者間の視覚のまたは可聴のリンクが中断されないのである。

図４、５に示すように、これらの結果は送信者Ａの表示スクリーンの「ローカル」ウィンドウ上および端末ＴＢのスクリーン上に表示される「遠隔」ウィンドウ上において見られる。

ファイルの終りに達すると、送られたビデオが送信者Ａの捕捉されたビデオへと切り換わり、ビデオ会議が続行する。

放映方法は図７に示すアルゴリズムにより実行され、該アルゴリズムはこの目的のために製造されたプログラムＰＲＯＧ−Ｄにより施行される。

このアルゴリズムはこの目的のために製造されたコンピュータープログラムの施行の間実行する。送信者Ａがファイルの選択動作とプログラムモジュールＰＲＯＧ−Ｆによる参加者の「遠隔」ウィンドウ中の動きを行うと、施行が起動される。

このマルチメディアファイル放映アルゴリズムは送信者Ａの端末上で実行される。受信者Ｂ側では、端末ＴＢがネットワークからデータを受信し、アルゴリズムにより図８に示すように規格どおりにこれらを処理する。その手順は次の通りである。

１０．ビデオ会議通信が確立されると、送信端末と受信端末間での対話が行われて、マルチメディアファイルの放映の間、チャンネル、オーディオ・ビデオおよび受信端末側のそれらのために決められた制約にしたがっていくつかの通信パラメータを優先的に協定する。

１００．送信者Ａが有するマルチメディアファイルの選択。これらのマルチメディアデータファイルは端末ＴＡのハードディスクやディスケットなどのいかなる媒体にでも記憶される。

１１０．オーディオデータがオーディオ源（１個以上のマイクロフォン）により捕捉される。

１２０．ビデオデータがビデオ源（１個以上のカメラ）により捕捉される。

２００．マルチメディアファイルのデータが処理されて、オーディオ処理チェーン２１０およびビデオ処理チェーン２２０中にそれぞれネットワークを介して伝達される。

３００．オーディオ捕捉１１０のデータがオーディオ処理チェーン２１０から出力されるデータと混合され、およびビデオ捕捉１２０から出力されるデータがビデオ処理チェーン２２０から出力されるデータと混合される。

４００．オーディオ・ビデオデータがそれぞれコード化される。通信のために採用されたオーディオ標準へのコード化４１０が行われる。採用されたビデオ標準へのコード化４２０が行われる。

５００．ビデオ会議のオーディオ・ビデオ論理チャンネルを使ってデータがネットワークを介して伝達される。

オーディオ処理チェーン２１０はオーディオデータの抽出２１１、解号２１２、周波数マッチング２１３およびステレオ／ビデオマッチング２１４を含んでいる。

ビデオ処理チェーン２２０はビデオデータの抽出２２１、解号２２２、空間サンプリング２２３および一時サンプリング２２４を含んでいる。

これらの処理ステップは全て下記の制約下で行われる。

帯域との応従：放映に使用されるチャンネルは通信のために既に開かれた論理チャンネルである。オーディオ・ビデオ帯域測定メカニズムは常に放映の前のみに使用される。かくしてそれらのチャンネルに割り当てられる帯域は決して過剰とはならない。

オーディオ・ビデオチャンネルの周波数との応従：放映の開始において、マルチメディアファイルの読出しと解号とが行われる。マルチメディアファイルのビデオ・オーディオストリームの周波数は協定された周波数と異なってもよく、オーディオ・ビデオ源により捕捉されたストリームの周波数は、マスターと考えられ、応従している。

例えば、通信中に協定されるフレーム周波数が秒当り１５画像でマルチメディアファイルが秒当り３０画像でサンプリングされる場合、マルチメディアファイルの２個のうち１個の画像のみが放映される。

フレーム寸法との応従：マスターストリームとスレーブストリームから結果される画像が必要に応じて再寸法されると、通信の開始時に協定された寸法に適合する。

コード化標準との応従。

コード化されたビットストリームが下記からなる相手側に送られる。

ビデオについては、混合（選択的）、通信中に使われるコーデックに応じたコード化、カメラにより捕捉された非処理ビデオおよびマルチメディアファイル（送信者のリアルタイム画像およびマルチメディアファイルのＭＰＥＧ−１ビデオは混合され、Ｈ．２６３コーデックでコード化が行われる）の解号化ビデオ。

オーディオについては、送信者の声の混合（選択的）およびマルチメディアファイルの音データ（もし存在すれば）、通信のために協定されたコーデックに応じたコード化（例えば送信者により発生された音はマルチメディアファイルのオーディオデータと混合される）。

このようなメカニズムにより、ビデオ会議の協定されたフォーマット（オーディオ・ビデオコード化標準、帯域など）でのマルチメディアデータの放映が確かとなり、したがって受信者側での解号が確かとなる。かくして、放映を助けるべく、Ｂは通常必要なもの以外の装置を必要としないのである。

図８に受信者側、つまり端末ＴＢ側のネットワークから来るデータのための解号アルゴリズムを示す。このアルゴリズムは下記の手順を含んいる。

６００．各論理チャンネル上のネットワークから来るデータの読出し。

７００．採用された標準に従った解号。７１０．オーディオ解号。７２０．ビデオ解号。

８００．受信者の装置上での翻訳。８１０．オーディオ装置上での翻訳。８２０．ビデオ装置上での翻訳。

同じ手段がビデオ会議に使用され、これにより受信者が送信者から来るオーディオ・ビデオデータを正しく読出しすることが保証される。

以上記載した発明は直観的な人間／機械インターフェイスとビデオ会議中にリアルタイムでマルチメディアファイルを放映するために必要な技術的な道具に関するものである。これらのインターフェイスと放映する道具とは参加者間での通信の連続性を与え、全ての受信者がファイル放映を見聞きすることが確かとなり、通信の協定された制約（帯域制約、リアルタイム制約）に応従するのである。

これはなぜならこの発明によれば、マルチメディアファイルの放映が受信者に対して透過的に起きる、つまり受信者は、ビデオ会議に使うもの以外には装置を必要としないのである。

通信の開いたビデオ・オーディオ論理チャンネルが混合されたマルチメディアファイル（例えばファイルがオーディオまたはビデオデータを有しない場合には混合されない）のデータの伝達に使用され、これとともに送信者により発生され通信に使われたコードによりコード化されたデータも使用される。

このメカニズムにより、ファイルの受信者への放映が確かとなり、この放映は通信と同じ制約（リアルタイム、決して過剰とならない帯域など）下で起きる。加えてこの放映方法は直観的な人間／機械インターフェイスと組み合わされ、いくつかのマウス動作のみを必要とし、ビデオ会議における参加者間の視覚・音声リンクの連続性が確かとなる。

複数のビデオ会議端末間のビデオ会議システムのダイアグラムである。 通信中の送信者Ａのためのビデオ会議端末ＴＡを示す図である。 通信中の受信者Ｂのためのビデオ会議端末ＴＢを示す図である。 送信者Ａのためのビデオ会議端末ＴＡとマルチメディアファイルを放映するためのインターフェイスＩを示す図である。 送信者により選ばれたファイル放映の間の送信者Ａのためのビデオ会議端末ＴＡを示す図である。 マルチメディアファイルの放映の間受信者のためのビデオ会議端末ＴＢを示す図である。 ビデオ会議端末ＴＡにより方法にしたがって実行される放映アルゴリズムを示す図である。 受信端末ＴＢによるオーディオ・ビデオ信号のための受信アルゴリズムを示す図である。

符号の説明

Ａ： 送信者
Ｂ： 受信者
ＴＢ、ＴＢ： ビデオ会議端末
Ｉ： インターフェイス

Claims (11)

1. ビデオ会議中それぞれオーディオ・ビデオ源を具えた送信端末から通信可能な１以上の受信端末へデータファイル、特にマルチメディアファイルを放映する方法であって、送信端末によるファイルの放映が通信を中断することなしに現行のビデオ会議通信と該通信のために開かれたオーディオ・ビデオチャンネルを使ってリアルタイムで行われ、ビデオ会議通信が確立されている間に実行されるステップを含んでおり、該ステップが送信端末と受信端末間の対話からなり、これにより、オーディオ・ビデオチャンネルおよび受信端末について決定された制約の下に、マルチメディアファイルの放映の間、１以上の通信パラメータおよび応従が協定されることを特徴とするデータファイル放映方法。
2. 第１の協定されたパラメータがビデオ会議通信のオーディオ・ビデオチャンネルに割り当てられた帯域幅であって、マルチメディアファイルがこの協定された帯域幅に従った放映であることを特徴とする請求項１に記載の方法。
3. 第２のパラメータがオーディオ・ビデオ源により捕捉されたストリームのオーディオ・ビデオストリームの周波数であり、マルチメディアファイルがこれらの周波数に従った放映であることを特徴とする請求項１または２に記載の方法。
4. 第３のパラメータが放映画像のフレーム寸法であり、ビデオ源とマルチメディアファイルからの結果として得られた画像が協定された寸法に従うことを特徴とする請求項１〜３のいずれかひとつに記載の方法。
5. 第４のパラメータがオーディオ・ビデオ源のビットストリームのコード化標準であり、マルチメディアファイルのビットストリームが協定されたコーデックによりコード化されていることを特徴とする請求項１〜４のいずれかひとつに記載の方法。
6. 放映されるべきマルチメディアファイルのビデオが解号されてリアルタイムで送信端末のビデオ捕捉源から出力されたビデオと混合され、爾後協定されたビデオコード化標準に応じてコード化されることを特徴とする請求項５に記載の方法。
7. 放映されるべきマルチメディアファイルのオーディオデータが解号され、送信端末のオーディオ捕捉源から出力されたオーディオデータとリアルタイムで混合され、爾後協定されたオーディオ標準に応じてコード化されることを特徴とする請求項５に記載の方法。
8. プログラムにより放映が実行され、該プログラムの実行が送信端末に装備された人間／機械インターフェイスにより開始されることを特徴とする請求項１〜７のいずれかひとつに記載の方法。
9. ビデオ会議通信と入出力周辺機器を実施する手段を具えた端末のための人間／機械インターフェイスであって、数個のウィンドウを表示可能なグラフ表示手段を有しており該ウィンドウは所謂「ローカル」ウィンドウと「遠隔」ウィンドウとを有しており、「ローカル」ウィンドウはビデオ会議通信中にローカルビデオ放映画像を１以上の遠隔端末に表示し、「遠隔」ウィンドウは遠隔端末から出力された少なくとも１個のビデオ画像を表示し、グラフ表示手段は少なくとも１個の他のウィンドウを表示して、例えばアイコンの形で端末から得られる特定のマルチメディアファイル中のデータファイルを明示し、さらに論理モジュールがファイルを選択すると「遠隔」ウィンドウの運動の作業とプログラムのビデオ会議手段による開始との間の結合を与え、これにより現行のビデオ会議通信とリアルタイムでの該ファイルの放映を可能とし、この際この通信のために開かれたオーディオ・ビデオチャンネルを使って、該通信を中断しないで行うことを特徴とする人間／機械インターフェイス。
10. ビデオ会議手段により開始されたコンピュータープログラムにより使用されることを特徴とする請求項９に記載の人間／機械インターフェイス。
11. 請求項９または１０の人間／機械インターフェイスを有したビデオ会議を実行する手段を有したコンピューター端末。

Images