JP2007020095A - 情報合成装置、情報合成システム、情報同期方法およびプログラム - Google Patents

Abstract

【課題】 各ユーザの端末から送信されてきた第１および第２の情報をユーザごとに情報間で同期を取った上でそれぞれ合成する。
【解決手段】 本発明の情報合成装置は、第１の端末における第１の情報の再生時刻を示す第１のタイムスタンプと第１の情報とを含む第１の受信情報および第２の端末における第２の情報の再生時刻を示す第２のタイムスタンプと第２の情報とを含む第２の受信情報を受信する受信部と、第１の受信情報内の第１の情報と第２の受信情報内の第２の情報とが入力されて第１の合成情報と第２の合成情報とを生成する合成部と、第１の合成情報及び第１のタイムスタンプを含む第１の送信情報および第２の合成情報及び第２のタイムスタンプを含む第２の送信情報を生成するタイムスタンプ付加部と、第１の送信情報を第１の端末宛に送信し、第２の送信情報を第２の端末宛に送信し、第１及び第２のタイムスタンプを他の情報合成装置宛に送信する送信部と、を備える。
【選択図】 図２

Description

本発明は、情報合成装置、情報合成システム、情報同期方法およびプログラムに関し、例えば、多地点テレビ会議に用いられる、多地点テレビ会議制御装置及び映像音声同期手法に関する。

従来、ネットワークを介した多地点テレビ会議システムでは、各ユーザ（テレビ会議への参加者）が使用する端末間で相互に映像・音声データを送受信し合う形態と、多地点テレビ会議制御装置を介して映像・音声データを送受信する形態との２種類の形態が使用されている。会議へ参加するユーザが少ない（２ないし３の）場合には前者が適しているものの、ユーザ数が増えるにつれ、各ユーザ端末が送受信する映像音声データが対向のユーザ端末数分必要になるため、ネットワーク上を流れるトラフィックが増大するという欠点を持つ。一方、後者の場合、各ユーザ端末からの映像音声データはすべて多地点テレビ会議制御装置を介して送受信されるため、テレビ会議への参加ユーザ数によらず、ある一端末がやり取りする映像音声データは多地点テレビ会議制御装置との間の往復１ストリームのみとなり、端末で処理すべきデータ量を抑えることが可能となる。また、ネットワーク上を送受信するトラフィックも前者に比べて大幅に低減することが可能となり、ネットワークシステム全体に与える負荷を軽減できるという利点を持つ。

さて、テレビ会議システムでは、映像と音声の同期（メディア間同期）が重要な課題のひとつとなる。これはリップシンクとも呼ばれ、テレビ会議に参加しているユーザの口の動きと、話している声とを同期させて、表示・再生することを表す。リップシンクがない状態では、声と口の動きがずれるため、非常に違和感があるコミュニケーションとなり、意志疎通を行う上で、支障をきたす可能性がある。ＩＴＵ−Ｒ規定の実験においては、リップシンクの許容限は音進み（映像に対して音声が早く再生される）の場合で約８０ミリ秒、音遅れ（音声に対して映像が早く表示される）の場合で約１８０ミリ秒であるという結果が得られている。これは、ノンインタレース形式の映像フレームに換算すると、前者で約２．４フレーム分、後者で約５．５フレーム分となる。

テレビ会議では、参加しているユーザの映像と音声がネットワークを介して送受信されるが、ネットワークの帯域の制限から、一般的に映像および音声は圧縮符号化された形で送受信される。通常、映像の符号化・復号化処理に要する時間が、音声のそれに比較して大きいため、受信側での両者の再生時刻に時間差が生じる。また、インターネットのようなベストエフォート型のネットワークでは、ネットワーク上をパケットが転送される際に、転送される経路がパケット毎に異なったり、また転送経路中の各ルータでの輻輳状態やパケットの種類に応じた優先制御等によって、パケット毎に異なる遅延ジッタを受けることになる。今、テレビ会議に参加しているユーザからの映像・音声データがそれぞれ異なるパケットとして送信されるようなシステム構成、例えばあるユーザが音声専用端末と映像専用端末のふたつの端末を使用してテレビ会議に参加するような場合、受信側でのこれら音声データパケットと映像データパケットの到着時間にばらつきが生じ、結果、同期制御が行われないシステムでは再生音声と表示映像との間で、ずれが発生する。映像と音声が同一端末内で符号化・多重化されて送受信される場合は、送信側においてすでに映像と音声の同期が取られた形で音声・映像データが送信されるため、受信側では単に音声と映像のそれぞれのデコード遅延（固定遅延分）を考慮して再生を行うことで、リップシンクが可能となる。

特許文献１には、音声と映像が同一ユーザが操作する異なる端末（音声データ通信端末、テレビ電話）を通して送受信される場合は、音声データ通信端末・テレビ電話間で、例えば音声の再生を遅延させる時間をネットワークを介して通知するような同期処理を行いながら、映像音声の再生を行う方法が記載されている。

また、特許文献２の多地点テレビ会議システムでは、各ユーザ端末から別パケットとして送信されてきた映像データと音声データを多地点テレビ会議制御装置において合成・送信する手法に関して示されている。具体的には、映像データと音声データがそれぞれ異なるパケットとして送信されてきた場合に、シーケンス番号が付加されて送信されてきた特定の映像および音声データを基準として合成後の映像および音声の同期を取って同報する、または合成後の映像および音声に合成前のシーケンス番号をそのまま付加するとの手法が記載されており、シーケンス番号が付加されて送信されてきた特定の端末からの映像と音声に関してのみ同期を取ることが可能となるが、合成映像および合成音声に含まれる他の端末からの映像と音声に関しては、同期は保証されない。また、多地点テレビ会議制御装置が音声用と映像用で、それぞれ独立した装置として存在するようなシステム構成に関しては明記されていない。
特開平１１−１７７９５４公報 特開平９−２１９８５１公報

上記したように、従来の多地点テレビ会議システムでは、多地点テレビ会議制御装置を用いたテレビ会議システムの形態において、映像と音声がそれぞれ異なるパケットとして各ユーザ端末（電話端末・映像端末装置）から多地点テレビ会議制御装置に送信されてきた場合に、複数の端末から送信されてきた映像および音声をそれぞれ合成する際に、特定の端末からの映像と音声に関してのみしか、同期をとることができなかった。また、音声用多地点テレビ会議制御装置、映像用多地点テレビ会議制御装置がそれぞれ独立して存在するような多地点テレビ会議システムに関しては、音声と映像の同期を取るための問題が解決されていない。

本発明は、上記事情を考慮してなされたもので、各ユーザの端末から送信されてきた第１および第２の情報をユーザごとに情報間で同期を取った上でそれぞれ合成することが可能とした情報合成装置、情報合成システム、情報同期方法およびプログラムを提供することを目的とする。

本発明の一態様としての情報合成装置は、第１の端末における第１の情報の再生時刻を示す第１のタイムスタンプと前記第１の情報とを含む第１の受信情報および第２の端末における第２の情報の再生時刻を示す第２のタイムスタンプと前記第２の情報とを含む第２の受信情報を受信する受信部と、前記第１の受信情報内の前記第１の情報と前記第２の受信情報内の前記第２の情報とが入力されて第１の合成情報と第２の合成情報とを生成する合成部と、前記第１の合成情報と前記第１のタイムスタンプとを含む第１の送信情報および前記第２の合成情報と前記第２のタイムスタンプとを含む第２の送信情報を生成するタイムスタンプ付加部と、前記第１の送信情報を前記第１の端末宛に送信し、前記第２の送信情報を前記第２の端末宛に送信し、前記第１のタイムスタンプと前記第２のタイムスタンプとを他の情報合成装置宛に送信する送信部と、を備える。

本発明の一態様としての情報合成装置は、第１の端末における第１の情報の再生時刻を示す第１のタイムスタンプと前記第１の情報とを含む第１の受信情報、第２の端末における第２の情報の再生時刻を示す第２のタイムスタンプと前記第２の情報とを含む第２の受信情報、前記第１の端末における第３の情報の再生時刻を示す第３のタイムスタンプと前記第３の情報とを含む第３の受信情報、前記第２の端末における第４の情報の再生時刻を示す第４のタイムスタンプと前記第４の情報とを含む第４の受信情報、第５のタイムスタンプ、および第６のタイムスタンプを受信する受信部と、前記第１の受信情報と前記第２の受信情報と前記第３の受信情報と前記第４の受信情報とをバッファリングするバッファ部と、前記第５のタイムスタンプに基づいて前記バッファ部がバッファリングしている前記第１の受信情報と前記第３の受信情報とのいずれか一方を選択し、前記第６のタイムスタンプに基づいて前記バッファ部がバッファリングしている前記第２の受信情報と前記第４の受信情報とのいずれか一方を選択する選択部と、選択された前記受信情報内の前記情報を合成して第１の合成情報と第２の合成情報とを生成する合成部と、前記第５のタイムスタンプに基づいて選択した受信情報が含む前記タイムスタンプと前記第１の合成情報とを含む第１の送信情報、および前記第６のタイムスタンプに基づいて選択した受信情報が含む前記タイムスタンプと前記第２の合成情報とを含む第２の送信情報を生成するタイムスタンプ付加部と、前記第１の送信情報を前記第１の端末宛に送信し、前記第２の送信情報を前記第２の端末宛に送信する送信部と、を備える。

本発明の一態様としての情報合成システムは、第１の情報合成装置と第２の情報合成装置とを備えた情報合成システムであって、前記第１の情報合成装置は、第１の端末における第１の情報の再生時刻を示す第１のタイムスタンプと前記第１の情報とを含む第１の受信情報および第２の端末における第２の情報の再生時刻を示す第２のタイムスタンプと前記第２の情報とを含む第２の受信情報を受信する第１の受信部と、前記第１の受信情報内の前記第１の情報と前記第２の受信情報内の前記第２の情報とが入力されて第１の合成情報と第２の合成情報とを生成する第１の合成部と、前記第１の合成情報と前記第１のタイムスタンプとを含む第１の送信情報および前記第２の合成情報と前記第２のタイムスタンプとを含む第２の送信情報を生成する第１のタイムスタンプ付加部と、前記第１の送信情報を前記第１の端末宛に送信し、前記第２の送信情報を前記第２の端末宛に送信し、前記第１のタイムスタンプと前記第２のタイムスタンプとを前記第２の情報合成装置宛に送信する第１の送信部と、を有し、前記第２の情報合成装置は、前記第１の端末における第３の情報の再生時刻を示す第３のタイムスタンプと前記第３の情報とを含む第３の受信情報、前記第２の端末における第４の情報の再生時刻を示す第４のタイムスタンプと前記第４の情報とを含む第４の受信情報、前記第１の端末における第５の情報の再生時刻を示す第５のタイムスタンプと前記第５の情報とを含む第５の受信情報、前記第２の端末における第６の情報の再生時刻を示す第６のタイムスタンプと前記第６の情報とを含む第６の受信情報、前記第１のタイムスタンプ、および前記第２のタイムスタンプを受信する第２の受信部と、前記第３の受信情報と前記第４の受信情報と前記第５の受信情報と前記第６の受信情報とをバッファリングするバッファ部と、前記第１のタイムスタンプに基づいて前記バッファ部がバッファリングしている前記第３の受信情報と前記第５の受信情報とのいずれか一方を選択し、前記第２のタイムスタンプに基づいて前記バッファ部がバッファリングしている前記第４の受信情報と前記第６の受信情報とのいずれか一方を選択する選択部と、選択された前記受信情報内の前記情報を合成して第３の合成情報と第４の合成情報とを生成する第２の合成部と、前記第１のタイムスタンプに基づいて選択した受信情報が含む前記タイムスタンプと前記第３の合成情報とを含む第３の送信情報、および前記第２のタイムスタンプに基づいて選択した受信情報が含む前記タイムスタンプと前記第４の合成情報とを含む第４の送信情報を生成する第２のタイムスタンプ付加部と、前記第３の送信情報を前記第１の端末宛に送信し、前記第４の送信情報を前記第２の端末宛に送信する第２の送信部と、を有する、ことを特徴とする。

本発明の一態様としての情報同期方法は、第１の端末における第１の情報の再生時刻を示す第１のタイムスタンプと前記第１の情報とを含む第１の受信情報および第２の端末における第２の情報の再生時刻を示す第２のタイムスタンプと前記第２の情報とを含む第２の受信情報を受信し、前記第１の受信情報内の前記第１の情報と前記第２の受信情報内の前記第２の情報とから第１の合成情報と第２の合成情報とを生成し、前記第１の合成情報と前記第１のタイムスタンプとを含む第１の送信情報および前記第２の合成情報と前記第２のタイムスタンプとを含む第２の送信情報を生成し、前記第１の送信情報を前記第１の端末宛に送信し、前記第２の送信情報を前記第２の端末宛に送信し、前記第１のタイムスタンプと前記第２のタイムスタンプとを記憶し、前記第１の端末における第３の情報の再生時刻を示す第３のタイムスタンプと前記第３の情報とを含む第３の受信情報、前記第２の端末における第４の情報の再生時刻を示す第４のタイムスタンプと前記第４の情報とを含む第４の受信情報、前記第１の端末における第５の情報の再生時刻を示す第５のタイムスタンプと前記第５の情報とを含む第５の受信情報、前記第２の端末における第６の情報の再生時刻を示す第６のタイムスタンプと前記第６の情報とを含む第６の受信情報を受信し、前記第３の受信情報と前記第４の受信情報と前記第５の受信情報と前記第６の受信情報とをバッファリングし、バッファリングされている前記第３の受信情報と前記第５の受信情報とのいずれか一方を前記第１のタイムスタンプに基づいて選択し、バッファリングされている前記第４の受信情報と前記第６の受信情報とのいずれか一方を前記第２のタイムスタンプに基づいて選択し、選択された前記受信情報内の前記情報を合成して第３の合成情報と第４の合成情報とを生成し、前記第１のタイムスタンプに基づいて選択した受信情報が含む前記タイムスタンプと前記第３の合成情報とを含む第３の送信情報、および前記第２のタイムスタンプに基づいて選択した受信情報が含む前記タイムスタンプと前記第４の合成情報とを含む第４の送信情報を生成し、前記第３の送信情報を前記第１の端末宛に送信し、前記第４の送信情報を前記第２の端末宛に送信する、ことを特徴とする。

本発明の一態様としてのプログラムは、第１の端末における第１の情報の再生時刻を示す第１のタイムスタンプと前記第１の情報とを含む第１の受信情報および第２の端末における第２の情報の再生時刻を示す第２のタイムスタンプと前記第２の情報とを含む第２の受信情報を受信するステップと、前記第１の受信情報内の前記第１の情報と前記第２の受信情報内の前記第２の情報とから第１の合成情報と第２の合成情報とを生成するステップと、前記第１の合成情報と前記第１のタイムスタンプとを含む第１の送信情報および前記第２の合成情報と前記第２のタイムスタンプとを含む第２の送信情報を生成するステップと、前記第１の送信情報を前記第１の端末宛に送信し、前記第２の送信情報を前記第２の端末宛に送信し、前記第１のタイムスタンプと前記第２のタイムスタンプとを他のコンピュータ宛に送信するステップと、をコンピュータに実行させる。

本発明の一態様としてのプログラムは、第１の端末における第１の情報の再生時刻を示す第１のタイムスタンプと前記第１の情報とを含む第１の受信情報、第２の端末における第２の情報の再生時刻を示す第２のタイムスタンプと前記第２の情報とを含む第２の受信情報、第１の端末における第３の情報の再生時刻を示す第３のタイムスタンプと前記第３の情報とを含む第３の受信情報、第２の端末における第４の情報の再生時刻を示す第４のタイムスタンプと前記第４の情報とを含む第４の受信情報、第５のタイムスタンプ、および第６のタイムスタンプを受信するステップと、前記第１の受信情報と前記第２の受信情報と前記第３の受信情報と前記第４の受信情報とをバッファリングするステップと、バッファリングされている前記第１の受信情報と前記第３の受信情報とのいずれか一方を前記第５のタイムスタンプに基づいて選択し、バッファリングされている前記第２の受信情報と前記第４の受信情報とのいずれか一方を前記第６のタイムスタンプに基づいて選択するステップと、選択された前記受信情報内の前記情報を合成して第１の合成情報と第２の合成情報とを生成するステップと、前記第５のタイムスタンプに基づいて選択した受信情報が含む前記タイムスタンプと前記第１の合成情報とを含む第１の送信情報、および前記第６のタイムスタンプに基づいて選択した受信情報が含む前記タイムスタンプと前記第２の合成情報とを含む第２の送信情報を生成するステップと、前記第１の送信情報を前記第１の端末宛に送信し、前記第２の送信情報を前記第２の端末宛に送信するステップと、をコンピュータに実行させる。

本発明によれば、各ユーザの端末から送信されてきた第１および第２の情報をユーザごとに情報間で同期を取った上でそれぞれ合成することが可能となる。

図１に、本発明の一実施形態に係る多地点テレビ会議システムの構成例を示す。

ネットワークＮを介してテレビ会議に参加するユーザＡ・Ｂ・Ｃ・Ｄ・Ｅが示される。本システムは、それらユーザが使用する、主に映像信号の入出力およびネットワークＮを介した映像データの送受信を行う映像端末装置Ａ２・Ｂ２・Ｃ２・Ｄ２、主に音声信号の入出力およびネットワークＮを介した音声データの送受信を行う音声端末装置Ａ１・Ｂ１・Ｃ１・Ｄ１、音声信号・映像信号両方の入出力およびネットワークＮを介した音声および映像データの送受信を行う音声映像端末装置Ｅを備える。また、本システムは、ユーザＡ・Ｂ・Ｃ・Ｄ・Ｅから送信された映像データを合成し、合成映像を各映像端末装置Ａ２・Ｂ２・Ｃ２・Ｄ２および音声映像端末装置Ｅに送信する映像用多地点テレビ会議制御装置２を備える。また、本システムは、ユーザＡ・Ｂ・Ｃ・Ｄ・Ｅから送信された音声データを合成し、合成音声を各音声端末装置Ａ１・Ｂ１・Ｃ１・Ｄ１および音声映像端末装置Ｅに送信する音声用多地点テレビ会議制御装置１を備える。

音声端末装置Ａ１および映像端末装置Ａ２はＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）３を介してネットワークＮと接続されている。同様に、音声端末装置Ｂ１および映像端末装置Ｂ２はＬＡＮ４を介してネットワークＮと接続され、音声端末装置Ｃ１および映像端末装置Ｃ２はＬＡＮ５を介してネットワークＮと接続されている。

ＬＡＮ３にはＮＴＰ（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）サーバＴ１が接続され、ＬＡＮ４にはＮＴＰサーバＴ２が接続され、ＬＡＮ５にはＮＴＰサーバＴ３が接続され、ネットワークＮにはＮＴＰサーバＴ４が接続されている。

音声端末装置Ａ１および映像端末装置Ａ２はそれぞれＮＴＰサーバＴ１を利用して各々の時刻管理を行うことにより互いの間で時刻同期を図る。音声端末装置Ｂ１および映像端末装置Ｂ２はそれぞれＮＴＰサーバＴ２を利用して各々の時刻管理を行うことにより互いの間で時刻同期を図る。音声端末装置Ｃ１および映像端末装置Ｃ２はそれぞれＮＴＰサーバＴ３を利用して各々の時刻管理を行うことにより互いの間で時刻同期を図る。音声端末装置Ｄ１および映像端末装置Ｄ２はそれぞれＮＴＰサーバＴ４を利用して各々の時刻管理を行うことにより互いの間で時刻同期を図る。

ユーザＥが使用する音声映像端末装置Ｅの存在は、本テレビ会議システムに接続するユーザ端末が単一装置において映像と音声の両方の入出力を扱えるものでもよいことを示している。また、図ではユーザＡ〜Ｅの５人のユーザが使用する端末のみを示しているが、テレビ会議に参加するユーザ数は、これに限定されるものではない。音声端末装置の例としていわゆるＩＰ電話が、また映像端末装置または音声映像端末装置の例として専用のテレビ会議端末、またはパーソナルコンピュータにカメラやマイクを接続する形態が考えられる。さらに、音声・映像の両方の入出力を使用可能な装置であったとしても、別装置との組み合わせにおいて片方の機能のみ使用する形態も考えられる。例えば、映像と音声の両者の入出力を可能なパーソナルコンピュータにおいて音声のやり取りのみを行い、より大画面・高精細に表示が可能な映像端末装置を使って映像のやり取りを行うようなことも可能である。

以下、本実施形態におけるネットワークＮの例として、インターネットのようなベストエフォート型のネットワークを例に説明を行うが、有線・無線問わず、これに限定されるものではない。

図２に、本発明の一実施形態に係る映像用多地点テレビ会議制御装置の構成例を示す。

映像用多地点テレビ会議制御装置は、概略的にはテレビ会議に参加する各ユーザが使用する端末装置（映像端末装置または音声映像端末装置）から映像データを受け、それらを合成後、合成映像を各ユーザ端末に送信する処理を実行する。

図２に示すように、本映像用多地点テレビ会議制御装置は、パケット送受信部１０、バッファ部１１（１）〜１１（４）、映像復号化部１２（１）〜１２（４）、映像合成部１３、映像符号化部１４（１）〜１４（４）、タイムスタンプ付加部１５（１）〜１５（４）、制御部１６を備える。図中、映像復号化部をそれぞれ４個のみ示しているが、実際には本多地点テレビ会議制御装置が収容する最大ユーザ数の仕様に応じて決定されるもので、これに限定されるものではない。また、映像符号化部をそれぞれ独立に４個備えているのは、例えば合成映像の画面配置構成や、符号化時のビットレート・符号化方式（例えば、ＭＰＥＧ２・ＭＰＥＧ４・Ｈ．２６４等）を、ユーザ毎にカスタマイズできるようにするためであり、実際には本多地点テレビ会議制御装置がカスタマイズ可能な最大数の仕様に応じて決定されるもので、これに限定されるものではない。

図２の各部の機能は概ね次の通りである。

パケット送受信部１０は、各ユーザの映像端末装置または映像音声端末装置からネットワークＮを介して送信されてきた映像データパケットの受信処理、圧縮符号化した合成映像データを各端末にパケット化して送信するための送信処理、ある合成映像に使用した各ユーザからの元映像に付属のタイムスタンプ情報を音声用多地点テレビ会議制御装置に送信するための送信処理を行う。具体的には、インターネットのようなＩＰネットワーク上に映像データを送信する際の、ＴＣＰ／ＵＤＰ、ＩＰ、Ｅｔｈｅｒｎｅｔ（登録商標）をはじめとした通信プロトコル処理を行うが、使用するプロトコル構成に関してはシステム依存となる。

バッファ部１１（１）〜１１（４）は、各ユーザの映像端末装置または映像音声端末装置から送信された映像データパケットがネットワークＮを介して転送される際に受けた遅延ジッタを平滑化して、後段の映像復号化部に渡すためのバッファである。受信した映像データは、各ユーザ毎に個別のバッファ部１１（１）〜１１（４）に、一定閾値までバッファリングする。また、一度閾値までバッファリングした後は、後段の映像復号化部１２（１）〜１２（４）に順次映像データの供給をはじめる。

映像復号化部１２（１）〜１２（４）は、バッファ部１１（１）〜１１（４）から渡された各ユーザからの映像データを、それぞれ対応する圧縮符号化方式で復号化する。

映像合成部１３は、各ユーザからの復号化された映像データの合成処理を行う。

ネットワークＮ上を転送された際にパケット損が発生した場合は、直前に復号化された映像または適当な形で補間して得られた映像を使用して合成を行うことも可能である。また、制御部１６からの制御により、図１２に示すように、任意の配置パターンで各ユーザからの映像を合成してもよい。さらに、これら合成映像は、各ユーザ毎に好みの配置パターンにより配置した合成映像であってもよい。

映像符号化部１４（１）〜１４（４）は、各ユーザへの合成映像データを、それぞれ対応する圧縮符号化方式で符号化する。前述したように、各ユーザ毎に好みの配置パターンにより配置した各合成映像を、ユーザ毎にカスタマイズした符号化パラメータや符号化方式での符号化を可能とするために、映像符号化部１４（１）〜１４（４）が独立して存在する。

映像タイムスタンプ付加部１５（１）〜１５（４）は、圧縮符号化された各合成映像データに含まれるべきタイムスタンプを、合成映像データにそれぞれ付加する。

制御部１６は、本映像用多地点テレビ会議制御装置の統括制御を行う。パケット送受信部１０を介して、各ユーザ端末からの要求で合成映像の配置パターンを制御することをはじめ、映像符号化部１４（１）〜１４（４）のパラメータや方式等の各種設定・変更を実行するとともに、合成映像を生成する際に使用した各元映像のタイムスタンプ情報を、逐次音声多地点テレビ会議制御装置に送信したりする。

図３に、本発明の一実施形態に係る音声用多地点テレビ会議制御装置の構成例を示す。

音声用多地点テレビ会議制御装置は、概略的にはテレビ会議に参加する各ユーザが使用する端末装置（音声端末装置または音声映像端末装置）から音声データを受け、それらを合成後、合成音声データを各ユーザ端末に送信する処理を実行する。

図３に示すように、本音声用多地点テレビ会議制御装置は、パケット送受信部２０、バッファ部２１（１）〜２１（４）、音声復号化部２２（１）〜２２（４）、音声合成部２３、音声符号化部２４（１）〜２４（４）、タイムスタンプ付加部２５（１）〜２５（４）、制御部２６を備える。図中、音声復号化部をそれぞれ４個のみ示しているが、実際には本多地点テレビ会議制御装置が一会議として収容する最大ユーザ数の仕様に応じて決定されるもので、これに限定されるものではない。また、音声符号化部をそれぞれ独立に４個備えているのは、それぞれのユーザ宛にユーザ自身の声を抜いた合成音声を送信するためである。また、これにより、あて先となるユーザ端末ごとにビットレートや符号化方式（例えば、ＭＰＥＧ１Ａｕｄｉｏ、ＭＰＥＧ２ ＡＡＣ、ＡＣ３等）を、カスタマイズできるようになる。

図３の各部の機能は概ね次の通りである。

パケット送受信部２０は、各ユーザの音声端末装置または映像音声端末装置からネットワークＮを介して送信されてきた音声データパケットの受信処理、映像用多地点テレビ会議制御装置から送信されてくるタイムスタンプ情報パケットの受信処理、ならびに各合成音声データを各ユーザ端末にパケット化して送信するための送信処理を行う。具体的には、インターネットのようなＩＰネットワーク上に音声データを送信する際の、ＴＣＰ／ＵＤＰ、ＩＰ、Ｅｔｈｅｒｎｅｔ等の通信プロトコル処理を行うが、使用するプロトコル構成に関してはシステム依存となる。

バッファ部２１（１）〜２１（４）は、合成映像に同期した合成音声を生成するために、映像用多地点テレビ会議制御装置から指令が来るまで音声データをバッファリングしておくためのものである。各ユーザから送信された音声データは、ユーザ毎に個別のバッファ部２１（１）〜２１（４）にバッファリングする。

音声復号化部２２（１）〜２２（４）は、各ユーザからの音声データを、それぞれ対応する圧縮符号化方式で復号化する。

音声合成部２３は、各ユーザからの復号化された音声データの合成処理を行う。各ユーザごとに、あて先となるユーザ自身の声を除いた合成音声をそれぞれ生成する。

音声符号化部２４（１）〜２４（４）は、各ユーザへの音声データを、それぞれ対応する圧縮符号化方式で符号化する。前述したように、音声符号化部２４（１）〜２４（４）が独立して存在するため、ユーザ毎にカスタマイズした符号化パラメータでの符号化が可能となる。

タイムスタンプ付加部２５（１）〜２５（４）は、各圧縮符号化された合成音声データに含まれるべきタイムスタンプを、合成音声データに個別に付加する。

制御部２６は、本音声用多地点テレビ会議制御装置の統括制御を行う。音声符号化部の符号化パラメータや方式の各種設定・変更を実行するとともに、映像用多地点テレビ会議制御装置から送られてきたタイムスタンプ構成情報を受けて、各バッファ部２１（１）〜２１（４）にバッファリングされている音声データのなかからタイムスタンプに対応する音声データを選択したり、また各合成音声に付加すべきタイムスタンプ値を指示したりする。

図４に、本発明の一実施形態に係る映像端末装置の構成例を示す。

映像端末装置は、概略的にはテレビ会議に参加する各ユーザが使用する映像入出力用の装置で、撮影部（カメラ）で撮影した映像信号を圧縮符号化した映像データとして映像用多地点テレビ会議制御装置へ送信すると共に、映像用多地点テレビ会議制御装置で合成・送信された映像データを受信・復号化し、表示部に表示する。

図４に示すように、本映像端末装置は、パケット送受信部３０、撮影部３１、Ａ／Ｄ部３２、映像符号化部３３、タイムスタンプ付加部３４、バッファ部３５、映像復号化部３６、Ｄ／Ａ部３７、表示部３８、時刻管理部３９、制御部４０から構成される。

図４の各部の機能は概ね次の通りである。

撮影部３１は、主にテレビ会議に参加するユーザを撮影する。

Ａ／Ｄ部３２は、撮影部３１で撮影された映像信号を、例えばＩＴＵ−ＲのＢＴ．６０１／６５６仕様の信号としてデジタル化する。

映像符号化部３３は、デジタル化された映像信号を、ＭＰＥＧ等の圧縮符号化方式で符号化する。

タイムスタンプ付加部３４は、圧縮符号化された映像データに時刻管理部３９から得たタイムスタンプを付加する。

バッファ部３５は、映像用多地点テレビ会議制御装置から送信された映像データパケットがネットワークＮを介して転送される際に受けた遅延ジッタを平滑化して、後段の映像復号化部３６に渡すためのバッファである。受信した映像データは、バッファ部３５に、一定閾値までバッファリングする。また、一度閾値までバッファリングした後は、後段の映像復号化部３６に順次映像データの供給をはじめるが、これは各映像データのタイムスタンプを参照しつつ、時刻管理部３９から指示されたタイミングで実行する。

映像復号化部３６は、受信した合成映像データを対応する圧縮符号化方式で復号化する。

パケット送受信部３０は、撮影部３１で撮影し、圧縮符号化した映像データをパケット化してネットワークＮへ送信するための送信処理と、逆にネットワークＮを介して映像用多地点テレビ会議制御装置から送信されてきた映像データパケットの受信処理を行う。この際、映像用多地点テレビ会議制御装置との間で、対応するプロトコルでのパケットの送受信を行う。

時刻管理部３９は、後述する音声端末装置の時刻管理部との間で時刻の同期処理を行う。具体的には、例えばＩＥＴＦのＲＦＣ１３０５で標準化されているＮＴＰ（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）等のプロトコルを使用して時刻同期を行う。ＲＦＣ１１２８に示されているように、ＮＴＰを使用することによって数ミリ〜数十ミリ秒での時刻同期が可能となる。また、同期した時刻をもとに、送信する映像データに付加するタイムスタンプを生成すると共に、受信した合成映像データの再生時刻を管理する。

制御部４０は、本映像端末装置の統括制御を行う。パケット送受信部３０を介して、音声端末との間で時刻同期を行ったり、映像符号化部３３のパラメータや方式等の各種設定・変更を実行する。

図５に、本発明の一実施形態に係る音声端末装置の構成例を示す。

音声端末装置は、概略的にはテレビ会議に参加する各ユーザが使用する音声入出力用の装置であり、集音部（マイク）で集音した音声信号を圧縮符号化して音声データとして音声用多地点テレビ会議制御装置へ送信すると共に、音声用多地点テレビ会議制御装置で合成・送信された音声データを受信・復号化し、再生部（スピーカー）で再生する。

図５に示すように、本音声端末装置は、パケット送受信部５０、集音部５１、Ａ／Ｄ部５２、音声符号化部５３、タイムスタンプ付加部５４、バッファ部５５、音声復号化部５６、Ｄ／Ａ部５７、音声再生部５８、時刻管理部５９、制御部６０から構成される。

図５の各部の機能は概ね次の通りである。

集音部５１は、主にテレビ会議に参加するユーザからの音声を集音する。

Ａ／Ｄ部５２は、集音部５１で集音された映像信号を、例えばＰＣＭ信号としてデジタル化する。

音声符号化部５３は、デジタル化された音声信号を、ＭＰＥＧ等の圧縮符号化方式で符号化する。

タイムスタンプ付加部５４は、圧縮符号化された音声データに時刻管理部５９から得たタイムスタンプを付加する。

バッファ部５５は、音声用多地点テレビ会議制御装置から送信された音声データパケットがネットワークＮを介して転送される際に受けた遅延ジッタを平滑化して、後段の音声復号化部５６に渡すためのバッファである。受信した音声データは、バッファ部５５に、一定閾値までバッファリングする。また、一度閾値までバッファリングした後は、後段の音声復号化部５６に順次映像データの供給をはじめるが、これは各音声データのタイムスタンプを参照しつつ、時刻管理部５９から指示されたタイミングで実行する。

音声復号化部５６は、受信した合成音声データを対応する圧縮符号化方式で復号化する。

パケット送受信部５０は、集音部５１で集音し、圧縮符号化した音声データをパケット化してネットワークＮへ送信するための送信処理と、逆にネットワークＮを介して音声用多地点テレビ会議制御装置から送信されてきた音声データパケットの受信処理を行う。この際、多地点テレビ会議制御装置との間で、対応するプロトコルでのパケットの送受信を行う。

時刻管理部５９は、前述の図４に示す映像端末装置の時刻管理部との間で時刻の同期処理を行う。具体的には、前述のＮＴＰ等のプロトコルを使用して時刻同期を行う。また、同期した時刻をもとに、送信する音声データに付加するタイムスタンプを生成すると共に、受信した合成音声データの再生時刻を管理する。

制御部６０は、本音声端末装置の統括制御を行う。パケット送受信部５０を介して、映像端末装置との間の時刻同期を行ったり、音声符号化部５３のパラメータや方式等の各種設定・変更を実行する。

次に、図４および図８を参照しながら本発明の一実施形態に係る映像端末装置の動作手順について説明する。

図８は、映像端末装置の動作シーケンスを示す図である。

映像端末装置は、テレビ会議へ参加する場合は（Ｓ８０のＹｅｓ）、制御部４０によって各種初期設定を行う（Ｓ８１）。この初期設定には、テレビ会議を行う上で必要な制御情報（参加会議ＩＤ、ユーザＩＤ、パスワード、映像データを圧縮符号化する際の各種符号化パラメータ、セッション情報等）を映像用多地点テレビ会議制御装置および音声端末装置との間でやり取りすることをはじめ、その他映像端末装置内部の各種初期設定等を含む。

次に、制御部４０はバッファ部３５の初期化を行い（Ｓ８２）、一方時刻管理部３９は、制御部４０・パケット送受信部３０を介して、音声端末装置との間で時刻同期を行う（Ｓ８３）。前述したように、ＮＴＰを用いることによって、リップシンクで許容される誤差範囲での時刻同期が可能となるが、時刻同期の方法はこれに限定されるものではない。また、随時誤差の補正を行うために、動作中は継続的に時刻同期を行う。

図８においては、Ｓ８１〜Ｓ８３は時系列的に実行されるように記載されているが、必要に応じてこれらの順番が入れ替わったり、または並列に実行されてもよい。

次に、映像端末装置は、テレビ会議からの離脱を行わない場合は（Ｓ８４のＮｏ）、映像データの送受信を開始し（Ｓ９０〜Ｓ９４，Ｓ１００〜Ｓ１０８）、テレビ会議から離脱する場合は（Ｓ８４のＹｅｓ）、処理を停止する（Ｓ１１０）
送信処理において、撮影部（カメラ）３１から映像が入力されると（Ｓ９０）、映像信号をＡ／Ｄ部３２によりデジタル化し（Ｓ９１）、更に映像符号化部３３により圧縮符号化処理を施す（Ｓ９２）。圧縮符号化された映像データに、時刻管理部３９から取得された時刻情報をタイムスタンプ付加部３４においてタイムスタンプとして付加し（Ｓ９３）、パケット送受信部３０においてパケット化して送信する（Ｓ９４）。Ｓ９０〜Ｓ９４の処理はテレビ会議参加中は、パイプライン的に継続的に実行する。

一方、受信処理において、パケット送受信部３０が受信した（Ｓ１００）多地点テレビ会議制御装置からの合成映像データは、規定の閾値に達するまでバッファ部３５においてバッファリングされる（Ｓ１００，Ｓ１０１）。これは、前述したように映像データパケットがネットワークＮ上を転送される際に受ける遅延ジッタを平滑化するためで、閾値に関しては仕様上許容する遅延ジッタの最大値に応じて決定する。

一旦、閾値分合成映像データのバッファリングが完了すると（Ｓ１０１のＹｅｓ）、以後受信した合成映像データの復号化を開始する。受信許容時刻内に受信した合成映像データであれば（Ｓ１０２のＹｅｓ）、バッファ部３５へ格納し（Ｓ１０３）、ネットワーク転送中に受けた遅延により受信許容時刻を過ぎている（Ｓ１０２のＮｏ）合成映像データは、破棄する（Ｓ１０８）。

再生時刻になると、合成映像データをバッファ部３５から取り出し、映像復号化部３６へ渡す（Ｓ１０４）。合成映像データは復号化された後（Ｓ１０５）、Ｄ／Ａ変換後（Ｓ１０６）、表示部３８により表示される（Ｓ１０７）。表示部の形態（例えばデジタル表示が可能なＬＣＤ）によっては、Ｄ／Ａ変換を省略して、表示が可能となる場合もある。

再生時刻（各合成映像データを復号化する時刻）に関しては、予め音声端末装置との間で取り決めておく。

次に、図５および図９を参照しながら本発明の一実施形態に係る音声端末装置の動作手順について説明する。

図９は、音声端末装置の動作シーケンスを示す図である。

音声端末装置は、テレビ会議へ参加する場合は（Ｓ１２０のＹｅｓ）、制御部６０によって各種初期設定を行う（Ｓ１２１）。この初期設定には、テレビ会議を行う上で必要な制御情報（参加会議ＩＤ、ユーザＩＤ、パスワード、音声データを圧縮符号化する際の各種符号化パラメータ、その他セッション情報）を音声用多地点テレビ会議制御装置および映像端末装置との間でやり取りすることをはじめ、その他音声端末装置内部の各種初期設定等を含む。

次に、制御部６０はバッファ部５５の初期化を行い（Ｓ１２２）、一方時刻管理部５９は、制御部６０・パケット送受信部５０を介して、映像端末装置との間で時刻同期を行う（Ｓ１２３）。前述したように、ＮＴＰを用いることによって、リップシンクで許容される誤差での時刻同期が可能となるが、時刻同期の方法はこれに限定されるものではない。また、随時誤差の補正を行うために、動作中は継続的に時刻同期を行う。

図９においては、Ｓ１２１〜Ｓ１２３は時系列的に実行されるように記載されているが、必要に応じてこれらの順番が入れ替わったり、または並列に実行されてもよい。

次に、音声端末装置は、テレビ会議からの離脱を行わない場合は（Ｓ１２４のＮｏ）、音声データの送受信を開始し（Ｓ１３０〜Ｓ１３４、Ｓ１４０〜Ｓ１４８）、テレビ会議から離脱する場合は（Ｓ１２４のＹｅｓ）、処理を停止する（Ｓ１５０）。

送信処理において、集音部（マイク）５１から音声が入力されると（Ｓ１３０）、音声信号をＡ／Ｄ部５２によりデジタル化し（Ｓ１３１）、更に音声符号化部５３により圧縮符号化処理を行う（Ｓ１３２）。圧縮符号化された音声データに、時刻管理部５９から取得された時刻情報をタイムスタンプ付加部５４においてタイムスタンプとして付加し（Ｓ１３３）、パケット送受信部５０においてパケット化して送信する（Ｓ１３４）。Ｓ１３０〜Ｓ１３４の処理はテレビ会議参加中は、パイプライン的に継続的に実行される。

一方、受信処理において、パケット送受信部５０が受信した（Ｓ１４０）音声用多地点テレビ会議制御装置からの合成音声データは、規定の閾値に達するまでバッファ部５５においてバッファリングされる（Ｓ１４１）。これは、前述したように音声データパケットがネットワークＮ上を転送される際に受ける遅延ジッタを平滑化するためで、閾値に関しては仕様上許容する遅延ジッタの最大値に応じて決定する。一旦、閾値分合成音声データのバッファリングが完了すると、以後受信した合成音声データは、受信許容時刻内であれば（Ｓ１４２のＹｅｓ）、バッファ部５５へ格納し（Ｓ１４３）、受信許容時刻を過ぎていれば（Ｓ１４２のＮｏ）当該合成音声データを破棄する（Ｓ１４８）。

再生時刻になると、合成音声データをバッファ部５５から取り出し、音声復号化部５６へ渡す（Ｓ１４４）。合成音声データを復号化した後（Ｓ１４５）、Ｄ／Ａ変換後（Ｓ１４６）、音声再生部（スピーカー）５８により再生する（Ｓ１４７）。

再生時刻（各合成音声データを復号化する時刻）に関しては、予め映像端末装置との間で取り決めておく。

次に、図２および図６を参照しながら本発明の一実施形態に係る映像用多地点テレビ会議制御装置の動作手順について説明する。

図６は、映像用多地点テレビ会議制御装置の動作シーケンスを示す図である。

映像用多地点テレビ会議制御装置は、テレビ会議を開始する場合、制御部１６によって各種初期設定を行う（Ｓ１）。この初期設定には、テレビ会議を行う上で必要な制御情報（参加会議ＩＤ、ユーザＩＤ、パスワード、映像データに関する各種符号化パラメータ、合成映像の画面配置構成情報、セッション情報等）を、各映像端末装置および音声用多地点テレビ会議制御装置との間でやり取りを行うことをはじめ、その他映像用多地点テレビ会議制御装置内部の各種初期設定等を行う。具体的な初期設定の詳細手順に関しては、使用するプロトコル依存である。

次に、制御部１６はバッファ部１１（１）〜１１（４）の初期化を行う（Ｓ２）。

図６においては、Ｓ１、Ｓ２は順次実行されるように記載されているが、必要に応じてこれらの順番が入れ替わったり、または並列に実行されてもよい。

会議が終了しない間は（Ｓ３のＮｏ）、映像データの送受信処理を開始し（Ｓ４〜Ｓ１４）、会議が終了する場合は（Ｓ３のＹｅｓ）処理を停止する（Ｓ２０）。

パケット送受信部１０が受信した映像端末装置からの映像データは、規定の閾値に達するまで、バッファ部１１（１）〜１１（４）において各ユーザデータ毎にバッファリングする（Ｓ４〜Ｓ６）。これは、前述したように映像パケットがネットワークＮ上を転送される際に受ける遅延ジッタを平滑化するためで、バッファリングの閾値に関しては、仕様上許容する遅延ジッタの最大値に応じて決定する。

一定閾値までバッファリングした後（Ｓ６のＹｅｓ）、バッファ部１１（１）〜１１（４）に蓄積されている映像データは順次映像復号化部１２（１）〜１２（４）へ渡される（Ｓ７）。

この際、制御部１６は、バッファ部１１（１）〜１１（４）から取り出された各ユーザからの映像データに付属の一連のタイムスタンプを記録し（Ｓ１３）、これを合成タイムスタンプとして音声用多地点テレビ会議制御装置へパケット送受信部１０を介して送信する（Ｓ１４）。例えば、図１０に示すようにバッファ部１１（１）〜１１（４）に映像データが蓄積されている場合、次のタイミングで各映像復号化部１２（１）〜１２（４）に渡される映像データはそれぞれ（ＴＡ＿４、ＴＢ＿７、ＴＣ＿６、ＴＤ＿９）のタイムスタンプが付加された映像データとなり、復号化されたユーザＡ〜Ｄの映像データを元に図１１に示すような合成映像を映像合成部１３にて生成する（Ｓ９）。音声用多地点テレビ会議制御装置には、（ＴＡ＿４、ＴＢ＿７、ＴＣ＿６、ＴＤ＿９）のようなタイムスタンプ情報（合成タイムスタンプ）が送信される。ある合成映像に含まれる元映像は同一のものであるが、各ユーザ毎に好みのパターンでそれぞれ異なる映像配置パターンの合成映像（例えば図１２）を生成することも可能である。

各合成映像は映像符号化部１４（１）〜１４（４）において圧縮符号化され（Ｓ１０）、タイムスタンプ付加部１５（１）〜１５（４）にてタイムスタンプが付加された後（Ｓ１１）、パケット送受信部１０にてパケット化して送信される（Ｓ１２）。

圧縮符号化された合成映像データは各映像端末毎に用意するが、合成映像に含まれる合成前の映像データに付属のタイムスタンプを、各映像端末宛毎に付加して送信する。例えば、（ＴＡ＿４、ＴＢ＿７、ＴＣ＿６、ＴＤ＿９）のタイムスタンプの映像データを元に合成映像を生成した場合、映像端末Ａ２宛の合成映像に付加するタイムスタンプはＴＡ＿４とし、また同様に映像端末Ｂ２宛の合成映像に付加するタイムスタンプはＴＢ＿７とする。映像端末Ｃ２宛、映像端末Ｄ２宛も、同様である。

もし、ネットワークＮ上でのパケットロス等の原因により、あるユーザの映像端末装置からの映像データが受信できておらず、所望の映像合成が行えない場合は、例えば直前の正しく受信できた映像を合成に使うことが考えられるが、この場合その映像端末装置宛の合成映像データには、直前に送信した合成映像データのタイムスタンプの時刻に、インタレース／ノンインタレースに応じて、１／３０秒または１／６０秒進めた時刻をタイムスタンプとして付加する。

次に、図３および図７を参照しながら本発明の一実施形態に係る音声用多地点テレビ会議制御装置の動作手順について説明する。

図７は、音声用多地点テレビ会議制御装置の動作シーケンスを示す図である。

音声用多地点テレビ会議制御装置は、テレビ会議を開始する場合、制御部２６によって各種初期設定を行う（Ｓ３０）。

この初期設定には、テレビ会議を行う上で必要な制御情報（参加会議ＩＤ、ユーザＩＤ、パスワード、音声データに関する各種符号化パラメータ、セッション情報等）を、各音声端末装置および映像用多地点テレビ会議制御装置との間でやり取りを行うことをはじめ、その他音声用多地点テレビ会議制御装置内部の各種初期設定等を行う。具体的な初期設定の詳細手順に関しては、使用するプロトコル依存である。

次に、制御部２６はバッファ部２１（１）〜２１（４）の初期化を行う（Ｓ３１）。

図７においては、Ｓ３０、Ｓ３１は順次実行されるように記載されているが、必要に応じてこれらの順番が入れ替わったり、または並列に実行されてもよい。

会議が終了しない間は（Ｓ３２のＮｏ）、音声データの送受信処理を開始し、（Ｓ４０〜Ｓ５６）、会議が終了する場合は（Ｓ３２のＹｅｓ）処理を停止する（Ｓ６０）。

パケット送受信部２０が受信した音声端末装置からの音声データは、バッファ部２１（１）〜２１（４）において各ユーザデータ毎にバッファリングされる（Ｓ４０、Ｓ４１）。以降、音声用多地点テレビ会議制御装置は、映像用多地点テレビ会議制御装置からタイムスタンプ情報を受信し始めるまでは、受信した音声データをバッファリングし続ける。

映像用多地点テレビ会議制御装置から合成タイムスタンプ情報を受信すると（Ｓ５０）、合成タイムスタンプ情報に含まれるユーザＡ〜Ｄの各タイムスタンプに合致する各音声データをバッファ部２１（１）〜２１（４）から取り出し（Ｓ５１）、音声データ復号化部２３（１）〜２３（４）にてそれぞれ復号化を行う（Ｓ５２）。例えば、（ＴＡ＿４、ＴＢ＿７、ＴＣ＿６、ＴＤ＿９）の組み合わせのタイムスタンプ情報を受信した場合は、これらのタイムスタンプに合致する、または許容範囲内、例えば１／３０秒間隔で合成が行われているのであれば、所望のタイムスタンプから１／３０秒以内のずれに収まるタイムスタンプを持つ音声データをバッファ部２１（１）〜２１（４）から抽出し、復号化を行う。

音声復号化部２２（１）〜２２（４）において復号化された各音声データは、音声合成部２３において合成される（Ｓ５３）。この際、あるユーザ宛の合成音声には、該ユーザからの音声データは含めない。例えば、ユーザＡ宛の合成音声には、ユーザＡからの音声データを含めないことになる。また、ネットワークＮ上でのパケットロスまたは遅延ジッタにより、ある音声端末装置からの音声データが合成のタイミングで用意できなかった場合は、無音として合成する。

それぞれのあて先毎に生成した合成音声データは、音声符号化部２４（１）〜２４（４）にてそれぞれ圧縮符号化し（Ｓ５４）、タイムスタンプ付加部２５（１）〜２５（４）にてタイムスタンプを付加した後（Ｓ５５）、パケット送受信部２０にてパケット化し、各ユーザの音声端末装置へ送信する（Ｓ５６）。

圧縮符号化された各合成音声データにはタイムスタンプを付加するが、音声合成に使用した各ユーザからの音声データに付属のタイムスタンプのうち、各ユーザ宛の合成音声データには合成前の該ユーザの音声データに付属のタイムスタンプを付加する。例えば、音声合成に使用する各ユーザからの音声データに付属のタイムスタンプが（ＴＡ＿４、ＴＢ＿７、ＴＣ＿６、ＴＤ＿９）であった場合、ユーザＡ宛の合成音声にはＴＡ＿４のタイムスタンプを、またユーザＢ宛の合成音声には、ＴＢ＿７のタイムスタンプを付加する。他も、同様である。また、ネットワークＮ上でのパケットロスまたは遅延ジッタにより、ある音声端末装置からの音声データが合成のタイミングで用意できなかった場合は、事前に送信した合成音声データのタイムスタンプの時刻に、１／３０秒または１／６０秒進めた時刻をタイムスタンプとして付加する。

以上の手順により、各映像端末装置および音声端末装置から送信された映像データおよび音声データが映像用多地点テレビ会議制御装置および音声用多地点テレビ会議制御装置にてそれぞれ合成され、それらが各映像端末装置および音声端末装置に送信されるが、各合成映像に含まれる合成前の映像と、各合成音声に含まれる合成前の音声とは、それぞれ同一のタイムスタンプ構成をなす。よって、あるユーザの映像端末装置・音声端末装置がそれぞれ受信した合成映像データ・合成音声データを、合成映像データ・合成音声データに付加されたタイムスタンプに従って、あらかじめ取り決めた時刻に再生すれば、合成映像および合成音声に含まれる合成前の各ユーザからの映像信号および音声信号を、すべてリップシンクした状態で再生・表示することが可能となる。

以上まででは、映像用多地点テレビ会議制御装置からのタイムスタンプ情報を基準にして、音声用多地点テレビ会議制御装置での音声合成を行うことによって、合成映像と合成音声の同期（リップシンク）を実現しているが、仕組み上は音声用多地点テレビ会議制御装置からのタイムスタンプを基準にして映像用多地点テレビ会議制御装置での映像合成を行うことも可能である。この場合、映像用テレビ会議制御装置では音声用多地点テレビ会議制御装置からの音声合成に関するタイムスタンプ情報が来るまでは、映像データをバッファリングしておかなければならないため、本実施形態で述べた映像用テレビ会議制御装置を基準とする構成よりもより多くのバッファ領域（ＲＡＭ）を用意しないといけないという欠点を持つ。これは、一般に映像の情報量が音声の情報量に比べて１００倍程度多いという前提のもとである。また、本実施形態では、映像用多地点テレビ会議制御装置と音声用多地点テレビ会議制御装置を別個の装置として記載したが、これら装置がひとつの装置として集約されている構成においても、同様の手順にて実施することが可能である。具体的には、ネットワークを介したタイムスタンプ情報のやり取りが省略され、装置内に閉じて映像合成時のタイムスタンプ構成が音声合成時に適用されるだけである。

以上のように、本発明の実施形態によれば、多地点テレビ会議制御装置を用いたテレビ会議システムにおいて、複数のユーザの各々について映像および音声の同期（リップシンク）を実現することが可能となる。

以上の説明で用いた図２〜図５に示した各構成における各要素は、通常のプログラミング技法により生成したプログラムをコンピュータに実行させることによって得られる機能（プログラムモジュール）を表してもよいし、ハードウェアを表してもよいし、これらの組み合わせを表してもよい。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の一実施形態に係る多地点テレビ会議システムの構成例を示す図。 同実施形態に係る映像用多地点テレビ会議制御装置の構成例を示す図。 同実施形態に係る音声用多地点テレビ会議制御装置の構成例を示す図。 同実施形態に係る映像端末装置の構成例を示す図。 同実施形態に係る音声端末装置の構成例を示す図。 同実施形態に係る映像用多地点テレビ会議制御装置の動作シーケンスを示す図。 同実施形態に係る音声用多地点テレビ会議制御装置の動作シーケンスを示す図。 同実施形態に係る映像端末装置の動作シーケンスを示す図。 同実施形態に係る音声端末装置の動作シーケンスを示す図。 同実施形態に係る映像、または音声用多地点テレビ会議制御装置のバッファの状態の一例を示す図。 同実施形態に係る映像用多地点テレビ会議制御装置の映像合成の一例を示す図。 同実施形態に係る映像用多地点テレビ会議制御装置の映像合成の合成パターンの例を示す図。

符号の説明

１ 音声用多地点テレビ会議制御装置
２ 映像用多地点テレビ会議制御装置
３、４、５ ＬＡＮ
１０、２０、３０ パケット送受信部
１１、２１、３５、５５ バッファ部
１２、３６ 映像復号化部
１３ 映像合成部
１４、３３ 映像符号化部
１５、２５、３４、５４ タイムスタンプ付加部
１６、２６、４０、６０ 制御部
２２、５６ 音声復号化部
２３ 音声合成部
２４ 音声符号化部
３１ 撮影部
３２、５２ Ａ／Ｄ部
３７、５７ Ｄ／Ａ部
３８ 表示部
３９、５９ 時刻管理部
５１ 集音部
５３ 音声符号化部
５８ 音声再生部
Ａ１〜Ｄ１ 音声端末装置
Ａ２〜Ｄ２ 映像端末装置
Ｔ１〜Ｔ４ ＮＴＰサーバ

Claims (11)

1. 第１の端末における第１の情報の再生時刻を示す第１のタイムスタンプと前記第１の情報とを含む第１の受信情報および第２の端末における第２の情報の再生時刻を示す第２のタイムスタンプと前記第２の情報とを含む第２の受信情報を受信する受信部と、
   前記第１の受信情報内の前記第１の情報と前記第２の受信情報内の前記第２の情報とが入力されて第１の合成情報と第２の合成情報とを生成する合成部と、
   前記第１の合成情報と前記第１のタイムスタンプとを含む第１の送信情報および前記第２の合成情報と前記第２のタイムスタンプとを含む第２の送信情報を生成するタイムスタンプ付加部と、
   前記第１の送信情報を前記第１の端末宛に送信し、前記第２の送信情報を前記第２の端末宛に送信し、前記第１のタイムスタンプと前記第２のタイムスタンプとを他の情報合成装置宛に送信する送信部と、
   を備えた情報合成装置。
2. 第１の端末における第１の情報の再生時刻を示す第１のタイムスタンプと前記第１の情報とを含む第１の受信情報、第２の端末における第２の情報の再生時刻を示す第２のタイムスタンプと前記第２の情報とを含む第２の受信情報、前記第１の端末における第３の情報の再生時刻を示す第３のタイムスタンプと前記第３の情報とを含む第３の受信情報、前記第２の端末における第４の情報の再生時刻を示す第４のタイムスタンプと前記第４の情報とを含む第４の受信情報、第５のタイムスタンプ、および第６のタイムスタンプを受信する受信部と、
   前記第１の受信情報と前記第２の受信情報と前記第３の受信情報と前記第４の受信情報とをバッファリングするバッファ部と、
   前記第５のタイムスタンプに基づいて前記バッファ部がバッファリングしている前記第１の受信情報と前記第３の受信情報とのいずれか一方を選択し、前記第６のタイムスタンプに基づいて前記バッファ部がバッファリングしている前記第２の受信情報と前記第４の受信情報とのいずれか一方を選択する選択部と、
   選択された前記受信情報内の前記情報を合成して第１の合成情報と第２の合成情報とを生成する合成部と、
   前記第５のタイムスタンプに基づいて選択した受信情報が含む前記タイムスタンプと前記第１の合成情報とを含む第１の送信情報、および前記第６のタイムスタンプに基づいて選択した受信情報が含む前記タイムスタンプと前記第２の合成情報とを含む第２の送信情報を生成するタイムスタンプ付加部と、
   前記第１の送信情報を前記第１の端末宛に送信し、前記第２の送信情報を前記第２の端末宛に送信する送信部と、
   を備えた情報合成装置。
3. 前記選択部は、前記第１の受信情報と第３の受信情報とのうち前記第５のタイムスタンプが示す時刻に対して所定の許容時間内に入る時刻を示すタイムスタンプを含む前記受信情報を選択することを特徴とする請求項２記載の情報合成装置。
4. 前記第１の情報および前記第２の情報は音声情報であり、前記他の情報合成装置が扱う情報は映像情報であり、
   前記受信部は、第３の端末における音声情報としての第３の情報の再生時刻を示す第３のタイムスタンプと前記第３の情報とを含む第３の受信情報を受信し、
   前記合成部は、前記第３の情報を除き前記第１の受信情報内の前記第１の情報と前記第２の受信情報内の前記第２の情報とを合成して第３の合成情報を生成し、
   前記タイムスタンプ付加部は、前記第３の合成情報と前記第３のタイムスタンプとを含む第３の送信情報を生成し、
   前記送信部は、前記第３の送信情報を前記第３の端末宛に送信し、前記第３のタイムスタンプを他の情報合成装置宛に送信することを特徴とする請求項１記載の情報合成装置。
5. 前記第１の情報、前記第２の情報、前記第３の情報および前記第４の情報は音声情報であり、
   前記受信部は、第３の端末における音声情報としての第５の情報の再生時刻を示す第７のタイムスタンプと前記第５の情報とを含む第５の受信情報を受信し、前記第３の端末における音声情報としての第６の情報の再生時刻を示す第８のタイムスタンプと前記第６の情報とを含む第６の受信情報を受信し、第９のタイムスタンプを受信し、
   前記選択部は前記第９のタイムスタンプに基づいて前記バッファ部がバッファリングしている前記第５の受信情報と前記第６の受信情報とのいずれか一方を選択し、
   前記合成部は、選択された前記第５の受信情報または第６の受信情報を除き、選択された前記第１または第３の受信情報内の前記第１または第３の情報と、選択された前記第２または第４の受信情報内の前記第２または第４の情報とを合成して第３の合成情報を生成し、
   前記タイムスタンプ付加部は、前記第３の合成情報と、選択された前記第５の受信情報または前記第６の受信情報が含む前記第７または第８のタイムスタンプとを有する第３の送信情報を生成し、
   前記送信部は、前記第３の送信情報を前記第３の端末宛に送信することを特徴とする請求項２記載の情報合成装置。
6. 前記第１の情報および前記第２の情報は映像情報であり、前記他の情報合成装置が扱う情報は音声情報であることを特徴とする請求項１記載の情報合成装置。
7. 前記合成部は、あらかじめ与えられた端末毎の映像配置情報に基づいて合成を行うことを特徴とする請求項１ないし６のいずれかに記載の情報合成装置。
8. 第１の情報合成装置と第２の情報合成装置とを備えた情報合成システムであって、
   前記第１の情報合成装置は、
   第１の端末における第１の情報の再生時刻を示す第１のタイムスタンプと前記第１の情報とを含む第１の受信情報および第２の端末における第２の情報の再生時刻を示す第２のタイムスタンプと前記第２の情報とを含む第２の受信情報を受信する第１の受信部と、
   前記第１の受信情報内の前記第１の情報と前記第２の受信情報内の前記第２の情報とが入力されて第１の合成情報と第２の合成情報とを生成する第１の合成部と、
   前記第１の合成情報と前記第１のタイムスタンプとを含む第１の送信情報および前記第２の合成情報と前記第２のタイムスタンプとを含む第２の送信情報を生成する第１のタイムスタンプ付加部と、
   前記第１の送信情報を前記第１の端末宛に送信し、前記第２の送信情報を前記第２の端末宛に送信し、前記第１のタイムスタンプと前記第２のタイムスタンプとを前記第２の情報合成装置宛に送信する第１の送信部と、を有し、
   前記第２の情報合成装置は、
   前記第１の端末における第３の情報の再生時刻を示す第３のタイムスタンプと前記第３の情報とを含む第３の受信情報、前記第２の端末における第４の情報の再生時刻を示す第４のタイムスタンプと前記第４の情報とを含む第４の受信情報、前記第１の端末における第５の情報の再生時刻を示す第５のタイムスタンプと前記第５の情報とを含む第５の受信情報、前記第２の端末における第６の情報の再生時刻を示す第６のタイムスタンプと前記第６の情報とを含む第６の受信情報、前記第１のタイムスタンプ、および前記第２のタイムスタンプを受信する第２の受信部と、
   前記第３の受信情報と前記第４の受信情報と前記第５の受信情報と前記第６の受信情報とをバッファリングするバッファ部と、
   前記第１のタイムスタンプに基づいて前記バッファ部がバッファリングしている前記第３の受信情報と前記第５の受信情報とのいずれか一方を選択し、前記第２のタイムスタンプに基づいて前記バッファ部がバッファリングしている前記第４の受信情報と前記第６の受信情報とのいずれか一方を選択する選択部と、
   選択された前記受信情報内の前記情報を合成して第３の合成情報と第４の合成情報とを生成する第２の合成部と、
   前記第１のタイムスタンプに基づいて選択した受信情報が含む前記タイムスタンプと前記第３の合成情報とを含む第３の送信情報、および前記第２のタイムスタンプに基づいて選択した受信情報が含む前記タイムスタンプと前記第４の合成情報とを含む第４の送信情報を生成する第２のタイムスタンプ付加部と、
   前記第３の送信情報を前記第１の端末宛に送信し、前記第４の送信情報を前記第２の端末宛に送信する第２の送信部と、を有する、
   ことを特徴とする情報合成システム。
9. 第１の端末における第１の情報の再生時刻を示す第１のタイムスタンプと前記第１の情報とを含む第１の受信情報および第２の端末における第２の情報の再生時刻を示す第２のタイムスタンプと前記第２の情報とを含む第２の受信情報を受信し、
   前記第１の受信情報内の前記第１の情報と前記第２の受信情報内の前記第２の情報とから第１の合成情報と第２の合成情報とを生成し、
   前記第１の合成情報と前記第１のタイムスタンプとを含む第１の送信情報および前記第２の合成情報と前記第２のタイムスタンプとを含む第２の送信情報を生成し、
   前記第１の送信情報を前記第１の端末宛に送信し、前記第２の送信情報を前記第２の端末宛に送信し、
   前記第１のタイムスタンプと前記第２のタイムスタンプとを記憶し、
   前記第１の端末における第３の情報の再生時刻を示す第３のタイムスタンプと前記第３の情報とを含む第３の受信情報、前記第２の端末における第４の情報の再生時刻を示す第４のタイムスタンプと前記第４の情報とを含む第４の受信情報、前記第１の端末における第５の情報の再生時刻を示す第５のタイムスタンプと前記第５の情報とを含む第５の受信情報、前記第２の端末における第６の情報の再生時刻を示す第６のタイムスタンプと前記第６の情報とを含む第６の受信情報を受信し、
   前記第３の受信情報と前記第４の受信情報と前記第５の受信情報と前記第６の受信情報とをバッファリングし、
   バッファリングされている前記第３の受信情報と前記第５の受信情報とのいずれか一方を前記第１のタイムスタンプに基づいて選択し、バッファリングされている前記第４の受信情報と前記第６の受信情報とのいずれか一方を前記第２のタイムスタンプに基づいて選択し、
   選択された前記受信情報内の前記情報を合成して第３の合成情報と第４の合成情報とを生成し、
   前記第１のタイムスタンプに基づいて選択した受信情報が含む前記タイムスタンプと前記第３の合成情報とを含む第３の送信情報、および前記第２のタイムスタンプに基づいて選択した受信情報が含む前記タイムスタンプと前記第４の合成情報とを含む第４の送信情報を生成し、
   前記第３の送信情報を前記第１の端末宛に送信し、前記第４の送信情報を前記第２の端末宛に送信する、
   ことを特徴とする情報同期方法。
10. 第１の端末における第１の情報の再生時刻を示す第１のタイムスタンプと前記第１の情報とを含む第１の受信情報および第２の端末における第２の情報の再生時刻を示す第２のタイムスタンプと前記第２の情報とを含む第２の受信情報を受信するステップと、
    前記第１の受信情報内の前記第１の情報と前記第２の受信情報内の前記第２の情報とから第１の合成情報と第２の合成情報とを生成するステップと、
    前記第１の合成情報と前記第１のタイムスタンプとを含む第１の送信情報および前記第２の合成情報と前記第２のタイムスタンプとを含む第２の送信情報を生成するステップと、
    前記第１の送信情報を前記第１の端末宛に送信し、前記第２の送信情報を前記第２の端末宛に送信し、前記第１のタイムスタンプと前記第２のタイムスタンプとを他のコンピュータ宛に送信するステップと、
    をコンピュータに実行させるためのプログラム。
11. 第１の端末における第１の情報の再生時刻を示す第１のタイムスタンプと前記第１の情報とを含む第１の受信情報、第２の端末における第２の情報の再生時刻を示す第２のタイムスタンプと前記第２の情報とを含む第２の受信情報、第１の端末における第３の情報の再生時刻を示す第３のタイムスタンプと前記第３の情報とを含む第３の受信情報、第２の端末における第４の情報の再生時刻を示す第４のタイムスタンプと前記第４の情報とを含む第４の受信情報、第５のタイムスタンプ、および第６のタイムスタンプを受信するステップと、
    前記第１の受信情報と前記第２の受信情報と前記第３の受信情報と前記第４の受信情報とをバッファリングするステップと、
    バッファリングされている前記第１の受信情報と前記第３の受信情報とのいずれか一方を前記第５のタイムスタンプに基づいて選択し、バッファリングされている前記第２の受信情報と前記第４の受信情報とのいずれか一方を前記第６のタイムスタンプに基づいて選択するステップと、
    選択された前記受信情報内の前記情報を合成して第１の合成情報と第２の合成情報とを生成するステップと、
    前記第５のタイムスタンプに基づいて選択した受信情報が含む前記タイムスタンプと前記第１の合成情報とを含む第１の送信情報、および前記第６のタイムスタンプに基づいて選択した受信情報が含む前記タイムスタンプと前記第２の合成情報とを含む第２の送信情報を生成するステップと、
    前記第１の送信情報を前記第１の端末宛に送信し、前記第２の送信情報を前記第２の端末宛に送信するステップと、
    をコンピュータに実行させるためのプログラム。

Images