JP2010206555A - 通信システム、通信端末、バッファ制御方法及びプログラム - Google Patents

Abstract

【課題】 より精度の高いバッファ時間を決定することができる通信システムを得る。
【解決手段】 送信端末３の付加部３２は、音声通話と同期対象の他の通信のデータが送信部３１を用いて送信される時に他の通信のデータの属性値として少なくとも該データのデータ量を示す情報を含む情報を他の通信のデータと同期すべき音声データに付加して送信部３３を用いて送信する。受信端末４の決定部４２は、受信部４３で受信される音声データに付加された属性値を基に他の通信のデータが送信されてから受信されるまでの時間である通信遅延時間を推定して音声データのバッファ部４４へのバッファ時間を決定する。
【選択図】 図１

Description

本発明は通信システム、通信端末、バッファ制御方法及びプログラムに関し、特に端末間で音声通話を含む複数の通信アプリケーションソフトウェアを用いて通信を行う通信システムに関する。

広帯域な通信回線の低廉化により、ネットワークを介したコミュニケーションは従来の音声通話から、音声通話に共同作業用のホワイトボード、資料共有などのデータ共有アプリケーションを組み合わせた高度なコミュニケーションに進化している。このようなコミュニケーション環境では、ユーザは電話で話をしながら、共有ホワイトボード上で図を描いたり、必要に応じて資料をファイル転送で送ったりするなど、複数のメディアを同時に利用しながらコミュニケーションが行なわれている。

複数のメディアを同時に利用する場合にはメディア間の同期が重要であり、ズレが大きくなった場合にはユーザが違和感を覚えるだけでなく、コミュニケーションが成立しなくなることもある。非特許文献１では、音声と映像の２つのメディアを同時に利用する場合の同期ズレの検知限や許容限について述べられている。

メディア間の同期を実現するためには、端末において先に受信されたメディアのデータを出力前にバッファリングすることにより、メディアの受信時刻のズレを調整することが一般的である。一方、バッファリングはエンドトゥエンドでの遅延時間を増加させる。エンドトゥエンドでの遅延時間は短いほうがユーザの体感品質が高い（非特許文献２参照）ため、バッファ時間はメディア間のズレに応じて調整しなければならない。

複数メディアの同時利用時にバッファ時間が適切な長さになるように調整するための技術の一例が特許文献１に記載されている。特許文献１に記載の技術は、音声と映像を利用したコミュニケーションを対象としており、以下の手順により実現される。

１． 音声パケットの再生時に、同期すべき映像パケットの有無と映像のバッファ時間が確認される。
２． 同期すべき映像パケットが受信されていない場合や映像バッファ時間が指定より短い場合、音声パケットが無音であれば、同期すべき映像パケットが受信され、バッファ時間が指定された長さになるまで無音の音声パケットが繰り返し再生される。無音の音声パケットを利用することにより、同じ音声パケットを繰り返し再生した場合でも、ユーザが感じる品質の劣化を緩和することができる。
３． 映像のバッファ時間が指定より長い場合には、同期すべき映像パケット以前に受信した映像パケットは破棄される。

特許文献１に記載の技術では、音声の再生時に同期対象メディアのパケット到着を待つ場合、再生される音声パケットが無音でなければ該パケットの繰り返し再生によって後続の音声パケットの再生を遅らせて映像パケットの到着を待つことができない。その理由は、バッファ時間の調整タイミングが音声パケットの再生時であるため、繰り返し再生の対象が他に選択の余地がないためである。

これに対して、特許文献２には、タイムスタンプ付きメディアデータパケットをメディアシンクへ送出するメディアソースが再生時間オフセットを決定し、各メディアシンクはメディアデータパケットのタイムスタンプが表す時間に再生時間オフセットを加えてパケットの共通再生時間を決定することが記載されている。

特開２００７−３１８２８３号公報 特開２００４−１０４７９６号公報

「解説・報告 リップシンク〜映像と音声のタイミング〜」、<URL : http://www.nhk.or.jp/strl/publica/dayori/dayori9705/kaisetsu1-j.html> 「ＩＰネットワーク技術に関する研究会 報告書」、<URL : http://www.soumu.go.jp/s-news/2002/020222_3.html>

特許文献２に記載の技術では、バッファ時間に相当する再生時間オフセットは、メディアシンクと交渉を行うものの送信側であるメディアソースが決定するようにしている。しかし、より精度の高いバッファ時間の決定のためには受信側で決定が行われることが望ましい。また、特許文献２に記載の技術では、主に２つの音声データを対象としているので、バッファ時間の決定にデータサイズの変動が考慮されていない。データサイズの変動がある場合でも、精度の高いバッファ時間の決定を可能とすることが望ましい。

本発明の目的は、上述した課題を解決し、より精度の高いバッファ時間を決定することができる通信システム、通信端末、バッファ制御方法及びプログラムを提供することにある。

本発明による通信システムは、音声通話の音声データを送信する第１の送信手段と、前記音声通話と同期対象の他の通信のデータを送信する第２の送信手段と、前記他の通信のデータ送信時に前記他の通信のデータの属性値として少なくとも該データのデータ量を示す情報を含む情報を前記他の通信のデータと同期すべき前記音声データに付加し、前記属性値が付加された前記音声データを前記第１の送信手段に出力する付加手段とを含む送信端末と、前記第１の送信手段からの前記音声データを受信する第１の受信手段と、前記第１の受信手段により受信される前記音声データを蓄積するバッファ手段と、前記第２の送信手段からの前記他の通信のデータを受信する第２の受信手段と、前記第１の受信手段により受信される前記音声データに前記属性値が付加されている場合、前記属性値を基に前記他の通信のデータが前記送信端末により送信されてから自端末により受信されるまでの時間である通信遅延時間を推定して前記音声データの前記バッファ手段へのバッファ時間を決定する決定手段とを含む受信端末とを含むことを特徴とする。

本発明による通信端末は、他の通信端末へ音声通話の音声データを送信する第１の送信手段と、前記他の通信端末へ前記音声通話と同期対象の他の通信のデータを送信する第２の送信手段と、前記他の通信のデータ送信時に前記他の通信のデータの属性値として少なくとも該データのデータ量を示す情報を含む情報を前記他の通信のデータと同期すべき前記音声データに付加し、前記属性値が付加された前記音声データを前記第１の送信手段に出力する付加手段と、前記他の通信端末の前記第１の送信手段からの前記音声データを受信する第１の受信手段と、前記第１の受信手段により受信される前記音声データを蓄積するバッファ手段と、前記他の通信端末の前記第２の送信手段からの前記他の通信のデータを受信する第２の受信手段と、前記第１の受信手段により受信される前記音声データに前記属性値が付加されている場合、前記属性値を基に前記他の通信のデータが前記他の通信端末により送信されてから自端末により受信されるまでの時間である通信遅延時間を推定して前記音声データの前記バッファ手段へのバッファ時間を決定する決定手段とを含むことを特徴とする。

本発明によるバッファ制御方法は、通信端末のバッファ制御方法であって、他の通信端末へ音声通話の音声データを送信する第１の送信ステップと、前記他の通信端末へ前記音声通話と同期対象の他の通信のデータを送信する第２の送信ステップとを含み、前記第１の送信ステップは、前記他の通信のデータ送信時に前記他の通信のデータの属性値として少なくとも該データのデータ量を示す情報を含む情報を前記他の通信のデータと同期すべき前記音声データに付加する付加ステップを含み、前記他の通信端末の前記第１の送信ステップにて送信される前記音声データを受信する第１の受信ステップと、前記第１の受信ステップにて受信される前記音声データを自端末のバッファ手段に蓄積するステップと、前記他の通信端末の前記第２の送信ステップにて送信される前記他の通信のデータを受信する第２の受信ステップと、前記第１の受信ステップにて受信される前記音声データに前記属性値が付加されている場合、前記属性値を基に前記他の通信のデータが前記他の通信端末により送信されてから自端末により受信されるまでの時間である通信遅延時間を推定して前記音声データの前記バッファ手段へのバッファ時間を決定する決定ステップとを更に含むことを特徴とする。

本発明によるプログラムは、通信端末のバッファ制御方法をコンピュータに実行せしめるプログラムであって、他の通信端末へ音声通話の音声データを送信する第１の送信処理と、前記他の通信端末へ前記音声通話と同期対象の他の通信のデータを送信する第２の送信処理とを含み、前記第１の送信処理は、前記他の通信のデータ送信時に前記他の通信のデータの属性値として少なくとも該データのデータ量を示す情報を含む情報を前記他の通信のデータと同期すべき前記音声データに付加する処理を含み、前記他の通信端末の前記第１の送信処理にて送信される前記音声データを受信する第１の受信処理と、前記第１の受信処理にて受信される前記音声データを自端末のバッファ手段に蓄積する処理と、前記他の通信端末の前記第２の送信処理にて送信される前記他の通信のデータを受信する第２の受信処理と、前記第１の受信処理にて受信される前記音声データに前記属性値が付加されている場合、前記属性値を基に前記他の通信のデータが前記他の通信端末により送信されてから自端末により受信されるまでの時間である通信遅延時間を推定して前記音声データの前記バッファ手段へのバッファ時間を決定する決定処理とを更に含むことを特徴とする。

本発明によれば、より精度の高いバッファ時間を決定することができるという効果が得られる。

本発明の原理を説明するための通信システムの概略構成を示す図である。 本発明の原理を説明するための通信端末の概略構成を示す図である。 本発明の第１の実施の形態による通信端末の構成を示す図である。 本発明の第１の実施の形態による通信端末の送信側の動作を示すフローチャートである。 本発明の第１の実施の形態による通信端末の受信側の動作を示すフローチャートである。 本発明の第２の実施の形態におけるデータ種別の例を示す図である。 本発明の第２の実施の形態におけるＮＷ情報保存部に記憶される同期対象メディアのデータ送受信履歴の例を示す図である。 本発明の第２の実施の形態における同期方法保存部に記憶される通信遅延時間の推定ルールの例を示す図である。 本発明の第２の実施の形態における更新された同期対象メディアのデータ送受信履歴の例を示す図である。

本発明の実施の形態について説明する前に、本発明の理解を助けるために、本発明の原理について図面を参照して説明する。図１は本発明の原理を説明するための通信システムの概略構成を示す図である。

図１に示した通信システムは、送信端末３と、受信端末４とを含む。送信端末３は、音声通話の音声データを送信する第１の送信部３３と、音声通話と同期対象の他の通信のデータを送信する第２の送信部３１と、他の通信のデータ送信時に他の通信のデータの属性値として少なくとも該データのデータ量を示す情報を含む情報を他の通信のデータと同期すべき音声データに付加し、属性値が付加された音声データを第１の送信部３３に出力する付加部３２とを含む。

受信端末４は、第１の送信部３３からの音声データを受信する第１の受信部４３と、第１の受信部４３により受信される音声データを蓄積するバッファ部４４と、第２の送信部３１からの他の通信のデータを受信する第２の受信部４１と、第１の受信部４３により受信される音声データに属性値が付加されている場合、属性値を基に他の通信のデータが送信端末３により送信されてから自端末４により受信されるまでの時間である通信遅延時間を推定して音声データのバッファ部４４へのバッファ時間を決定する決定部４２とを含む。

このように、送信端末３は、他の通信のデータ送信時に他の通信のデータの属性値として少なくとも該データのデータ量を示す情報を含む情報を他の通信のデータと同期すべき音声データに付加して送信し、受信端末４は、受信される音声データに付加された属性値を基に他の通信のデータの通信遅延時間を推定して音声データのバッファ部４４へのバッファ時間を決定するようにしている。同期対象の一方のデータである音声データの受信完了後に受信端末４がバッファ時間を決定することになるので、より精度の高いバッファ時間の決定が可能である。また、データ量を示す情報を含む属性値を基にバッファ時間が決定されるので、データ量に応じた精度の高いバッファ時間の決定が可能である。

図２は本発明の原理を説明するための通信端末の概略構成を示す図である。図２に示した通信端末５は、他の通信端末へ音声通話の音声データを送信する第１の送信部５６と、他の通信端末へ音声通話と同期対象の他の通信のデータを送信する第２の送信部５１と、他の通信のデータ送信時に他の通信のデータの属性値として少なくとも該データのデータ量を示す情報を含む情報を他の通信のデータと同期すべき音声データに付加し、属性値が付加された音声データを第１の送信部５６に出力する付加部５７とを含む。

さらに、通信端末５は、他の通信端末の第１の送信部５６からの音声データを受信する第１の受信部５４と、第１の受信部５４により受信される音声データを蓄積するバッファ部５５と、他の通信端末の第２の送信部５１からの他の通信のデータを受信する第２の受信部５２と、第１の受信部５４により受信される音声データに属性値が付加されている場合、属性値を基に他の通信のデータが他の通信端末により送信されてから自端末５により受信されるまでの時間である通信遅延時間を推定して音声データのバッファ部５５へのバッファ時間を決定する決定部５３とを含む。

このように、通信端末５は、他の通信のデータ送信時に他の通信のデータの属性値として少なくとも該データのデータ量を示す情報を含む情報を他の通信のデータと同期すべき音声データに付加して他の通信端末へ送信する。また、通信端末５は、他の通信端末から受信される音声データに付加された属性値を基に他の通信のデータの通信遅延時間を推定して音声データのバッファ部５５へのバッファ時間を決定するようにしている。同期対象の一方のデータである音声データの受信完了後に受信側がバッファ時間を決定することになるので、より精度の高いバッファ時間の決定が可能である。また、データ量を示す情報を含む属性値を基にバッファ時間が決定されるので、データ量に応じた精度の高いバッファ時間の決定が可能である。

以下、本発明の実施の形態について図面を参照して説明する。

図３は本発明の第１の実施の形態による通信端末の構成を示す図である。図３において、通信端末１は、データ処理装置１１と、記憶装置１２とを含む。データ処理装置１１は、離散データ送信部１１１と、離散データ受信部１１２と、同期データ通知部１１３と、バッファ時間決定部１１６と、音声データ受信部１１７と、バッファ部１１８と、同期データ付加部１１Ｂと、音声データ送信部１１Ｃと、２つの入力部１１４及び１１Ａと、２つの出力部１１５及び１１９とを含む。記憶装置１２は、ＮＷ（ネットワーク）情報保存部１２１と、同期方法保存部１２２とを含む。なお、通信端末２の構成は通信端末１の構成と同一である。

通信端末１及び２が互いに通信することで、通信端末１及び２を利用するユーザ間で音声ともう一つの異なるメディアを利用したコミュニケーションを行うことができる。通信端末１及び２は直接通信する場合もあれば、何らかの中継装置を利用して通信する場合もある。音声以外のもう一つのメディアは、ユーザ間での資料共有やホワイトボード共有のように、ユーザの操作があった時に該操作に対応するデータを送受信することで成立するメディア（以降、離散型メディアと称する）である。

入力部１１４は、離散型メディアについてユーザによる操作があった場合に、対応する制御データやコンテンツデータを同期データ通知部１１３に送る。同期データ通知部１１３は入力部１１４からデータを受け取ると、データの種別やデータの大きさといった該データの属性値を取得して同期データ付加部１１Ｂに送信する。また、同期データ通知部１１３は、入力部１１４から受信されたデータを離散データ送信部１１１に送る。データの種別としてはコンテンツデータか制御データか、または画像かユーザによる書き込みかといったコンテンツの種類などが考えられる。

離散データ送信部１１１は、同期データ通知部１１３から受信されたデータにその時点の時刻情報をタイムスタンプとして付与し、通信相手の通信端末に対し送信する。通信相手の通信端末の離散データ送信部１１１から送信されたデータは、離散データ受信部１１２で受信される。離散データ受信部１１２は、受信データのタイムスタンプ（送信時刻）及び受信時刻、並びに受信データの属性値をＮＷ情報保存部１２１に保存する。また、離散データ受信部１１２は、受信データを出力部１１５に送る。出力部１１５は、受信データの内容を出力装置に出力する。

なお、離散データ受信部１１２は、同期データ通知部１１３と同様に受信データの属性値を取得するようにしてもよい。あるいは、同期データ通知部１１３が入力部１１４から受信されたデータに該データの属性値を付加して離散データ送信部１１１に送出するようにし、離散データ受信部１１２は受信データに付加された属性値を送受信時刻と共に抽出するようにしてもよい。

入力部１１Ａは、音声通話に関してマイクからのデータを受信し、パケット化して同期データ付加部１１Ｂに送る。同期データ付加部１１Ｂは、通常は入力部１１Ａから受け取ったパケットをそのまま音声データ送信部１１Ｃに送る。しかし、同期データ付加部１１Ｂは、同期データ通知部１１３より離散型メディアデータの属性値を受け取った場合には、その時点で入力部１１Ａから受け取った音声パケットに対し、離散型メディアデータの属性値を付加してから音声データ送信部１１Ｃに送る。音声データ送信部１１Ｃは、同期データ付加部１１Ｂからの音声パケットにその時点の時刻をタイムスタンプとして付与し、通信相手の通信端末に対し送信する。

通信相手の通信端末の音声データ送信部１１Ｃから送信された音声パケットは、音声データ受信部１１７で受信される。音声データ受信部１１７は通常、受信された音声パケットをそのままバッファ部１１８に送る。しかし、音声データ受信部１１７は、離散型メディアデータの属性値が付加された音声パケットを受信した場合には、受信パケットをバッファ部１１８に送ると共に、バッファ時間決定部１１６に受信パケットのタイムスタンプ（送信時刻）及び受信時刻、並びに受信パケットに付加されていた属性値を送る。

バッファ時間決定部１１６は、同期方法保存部１２２に保存された推定ルールに従って、音声データ受信部１１７から受け取ったデータと、ＮＷ情報保存部１２１に蓄積された過去の離散型メディアデータのデータ量、データ種別及び通信遅延時間の情報とを用いて、受信パケットに付加された属性値に対応する離散型メディアデータの通信遅延時間を推定する。通信遅延時間は、データの送信時刻と受信時刻の差であり、通信相手の通信端末によりデータが送信されてから自端末により受信されるまでの時間を意味する。

同期方法保存部１２２に保存された推定ルールについて述べる。基本的に通信遅延時間の推定にはデータ量と通信遅延時間の関係が利用される。しかし、情報の利用範囲は、ＮＷ情報保存部１２１に存在する全ての情報を利用することや、現状の状態だけを知るために現在からある一定時間の範囲の過去の情報だけを利用することが考えられる。また、ＮＷの変動が曜日・日付（月初や月末、企業における給料日や５・１０のつく日など）・時刻に依存することを利用して、現在と類似の状況での過去情報だけを利用することも考えられる。また、音声パケットの通信遅延時間の情報を併せて利用することも考えられる。

バッファ時間決定部１１６は、これらのルールのうちいずれかを常に用いてもよいし、属性値を基にルールを選択してもよい。また、バッファ時間決定部１１６は、属性値を基に通信遅延時間の推定を行うか否かを決定してもよい。

バッファ時間決定部１１６は、推定された離散型メディアデータの通信遅延時間を基に音声パケットのバッファ時間を決定し、バッファ部１１８に通知する。バッファ時間は、同期対象である離散型メディアのデータと完全に同期して音声を出力できるバッファ時間でもよいし、メディア間の同期ズレに対する人間の検知限を利用して、人間には両者が全く同期していると感じる範囲で音声が先に出力されるようにバッファ時間が決定されてもよい。

バッファ部１１８は、バッファ時間決定部１１６からバッファ時間の通知を受けると、その時点でのバッファ時間と異なる場合には、通知されたバッファ時間になるようにバッファ時間の変更を行なう。バッファ時間を延ばす場合には、既にバッファ部１１８にバッファ済の音声パケットの中に無音音声パケットがあれば、その無音パケットを繰り返し再生することによりバッファ時間が調整される。また、バッファ時間を短縮する場合には、無音パケットの再生を行なわないことによりバッファ時間が調整される。バッファ部１１８に送られた音声パケットは、バッファ部１１８で一時的にバッファリングされた後、出力部１１９を通じて音声として出力される。

次に、本発明の第１の実施の形態の動作について図３〜図５を参照して説明する。図４は本発明の第１の実施の形態による通信端末の送信側の動作を示すフローチャートであり、図５は本発明の第１の実施の形態による通信端末の受信側の動作を示すフローチャートである。

通信端末１及び２間の通信中は、常に音声通話による音声データが端末１及び２間で送受信されている。音声パケットは、入力部１１Ａから同期データ付加部１１Ｂを経て音声データ送信部１１Ｃから送信される。この際に、同期データ付加部１１Ｂは後述する離散型メディアのデータ送受信がない限り、音声パケットの転送処理以外は何も処理を行なわない。通信相手の通信端末の音声データ送信部１１Ｃから送信されたデータは音声データ受信部１１７で受信され、受信データはバッファ部１１８において指定されたバッファ時間だけバッファリングされた後に、出力部１１９より出力される。

図４において、通信中にユーザが離散型メディアで操作を行なった場合（ステップＳ１）、該操作に対応するデータが同期データ通知部１１３に入力される。同期データ通知部１１３は、入力されたデータの属性値を取得して同期データ付加部１１Ｂに送信すると共に、入力されたデータを離散データ送信部１１１に送る（ステップＳ２）。

離散型メディアデータの属性値を受け取った同期データ付加部１１Ｂは、その時点で入力部１１Ａから受け取った音声パケットに対して離散型メディアデータの属性値を付加し、属性値が付加された音声パケットを音声データ送信部１１Ｃに送る（ステップＳ３）。音声データ送信部１１Ｃは、音声パケットにその時点の時刻情報をタイムスタンプとして付与して通信相手の通信端末に送信する（ステップＳ４）。送信された音声パケットは、通信相手の通信端末の音声データ受信部１１７で受信される。

これらの動作と平行して、離散データ送信部１１１は、離散型メディアのデータを通信相手の通信端末に送信する（ステップＳ５）。送信された離散型メディアのデータは、通信相手の通信端末の離散データ受信部１１２で受信される。

図５において、音声データ受信部１１７で受信された音声パケットに離散型メディアデータの属性値が付加されている場合（ステップＳ１１）、音声データ受信部１１７は、音声パケットに付加された属性値を音声パケットの送信時刻及び受信時刻と共にバッファ時間決定部１１６に送り、音声パケット自体はバッファ部１１８に送る（ステップＳ１２）。なお、この音声パケットの受信時点では、同期対象の離散型メディアのデータは未だ受信されていないものとする。

バッファ時間決定部１１６は、音声データ受信部１１７から受け取ったデータと、ＮＷ情報保存部１２１に蓄積された過去の離散型メディアデータのデータ量、データ種別及び通信遅延時間の情報と、同期方法保存部１２２に保存された推定ルールとを用いて、音声パケットに付加された属性値に対応する離散型メディアデータの通信遅延時間を推定する。そして、バッファ時間決定部１１６は、推定された通信遅延時間を基に音声パケットのバッファ時間を決定し、バッファ部１１８に通知する（ステップＳ１３）。

バッファ部１１８は、通知されたバッファ時間になるようにバッファ時間の変更を行う（ステップＳ１４）。音声パケットは変更された時間分バッファリングされた後、出力部１１９により音声として出力される（ステップＳ１５）。これらの動作と並行して、同期対象の離散型メディアのデータが離散データ受信部１１２で受信される（ステップＳ１６）。離散データ受信部１１２は、受信データの送信時刻、受信時刻及び属性値をＮＷ情報保存部１２１に保存する（ステップＳ１７）。また、受信データは出力部１１５に送られ、出力される（ステップＳ１８）。

なお、音声データ受信部１１７で受信された音声パケットに離散型メディアデータの属性値が付加されていない場合は（ステップＳ１１）、音声データ受信部１１７は、受信パケットをバッファ部１１８に送り（ステップＳ１９）、受信パケットはバッファ部１１８において予め指定されたバッファ時間だけバッファリングされた後に、出力部１１９より出力される（ステップＳ２０）。

以上説明したように、本発明の第１の実施の形態では、通信端末１及び２各々は、離散型メディアのデータ送信時に離散型メディアのデータの属性値を該データと同期すべき音声データに付加して通信相手の通信端末へ送信する。また、通信端末１及び２各々は、通信相手の通信端末から受信される音声データに付加された属性値を基に離散型メディアのデータの通信遅延時間を推定して音声データのバッファ時間を決定するようにしている。

本発明の第１の実施の形態では、同期対象の一方のデータである音声データの受信完了後、離散型メディアデータの受信前に、受信側が離散型メディアデータの通信遅延時間を推定してバッファ時間を決定するので、より精度の高いバッファ時間の決定が可能である。また、属性値は少なくともデータ量を示す情報を含み、この属性値を基にバッファ時間が決定されるので、データ量に応じた精度の高いバッファ時間の決定が可能である。

また、本発明の第１の実施の形態では、バッファ時間の調整タイミングが音声パケットの再生時でなく、音声パケットの受信直後からバッファ時間の変更を行なうようにしているので、既に受信済でバッファ部１１８にバッファされている無音音声データをバッファ時間の変更に利用することが可能になる。

また、本発明の第１の実施の形態では、離散型メディアデータの受信とは関係無しに音声パケットの受信直後にバッファ時間を決定するようにしているので、離散型メディアデータの受信前でもメディア間の同期ズレに対する人間の検知限を利用してユーザには同期しているように感じさせながら音声を先行して出力することが可能である。

次に、本発明の第２の実施の形態について図３〜図９を参照して説明する。図６は本発明の第２の実施の形態におけるデータ種別の例をしめす図である。図７は本発明の第２の実施の形態におけるＮＷ情報保存部に記憶される同期対象メディアのデータ送受信履歴の例を示す図である。図８は本発明の第２の実施の形態における同期方法保存部に記憶される通信遅延時間の推定ルールの例を示す図である。図９は本発明の第２の実施の形態における更新された同期対象メディアのデータ送受信履歴の例を示す図である。

本発明の第２の実施の形態は、図３に示した通信端末１及び２としてＰＣ（パーソナルコンピュータ）を想定し、データ処理装置１１として中央演算装置とメモリ、記憶装置１２としてハードディスクを想定する。メモリ上のコンピュータプログラムが中央演算装置で実行されることにより、図３の各部の機能が実現される。さらに、通信端末１及び２はＩＰ（インターネットプロトコル）ネットワークにより結ばれている。

また、通信端末１及び２において音声通話と同時に利用される通信アプリケーションは資料共有アプリケーション（ＡＰ）であり、コミュニケーションを行なっているユーザ間で複数ページからなる資料を表示し、表示ページを同期させたり、資料上に図形や文字をユーザが追記したりすることが可能なＡＰである。ＩＰネットワーク上では、音声通話はＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）を、資料共有ＡＰは独自プロトコルを用いてデータが送受信される。また、遅延に弱い音声パケットを優先して送信する制御がＩＰネットワークでは設定されている。

ＰＣ１及び２間の通信中、すなわち２人のユーザが資料を見ながら音声通話をしているとき、資料共有ＡＰ上でユーザが操作をしない限りは資料共有ＡＰのデータは流れず、音声通話のパケットだけがＰＣ１及び２間で送受信されている。一方のユーザが資料の重要な部分を示すために資料共有ＡＰ上で円を描くと（図４のステップＳ１）、円に対応するデータが生成される。この生成されたデータの属性値として、データ量＝１．１２Ｋｂｙｔｅとデータの種別を示すＩＤ＝１（図６参照、図形に相当）が、その時点で通信相手ＰＣに送信するために生成された音声のＲＴＰパケットの拡張ヘッダ部に挿入される（図４のステップＳ２及びＳ３）。

拡張ヘッダ部に属性値が挿入されたＲＴＰパケットは、他のＲＴＰパケット同様に、拡張ヘッダ部にさらにその時点の時刻１２：１１：４３．２３５をタイムスタンプとして挿入された後、通信相手ＰＣに対して送信される（図４のステップＳ４）。一方、資料共有ＡＰにより生成された円に対応したデータも、その時点の時刻１２：１１：４３．２３０をタイムスタンプとしてヘッダ部に挿入された後、通信相手ＰＣに対して送信される（図４のステップＳ５）。

通信相手ＰＣでは、音声パケットが時刻１２：１１：４３．２５０に受信される。ＩＰネットワークでの優先制御により、音声パケットが先に受信され、資料共有ＡＰのデータは通信相手ＰＣで未だ受信されていない。受信された音声パケットの拡張ヘッダ部に挿入されていた資料共有ＡＰのデータの属性値（データ種別ＩＤ＝１及びデータ量＝１．１２Ｋｂｙｔｅ）と、過去の資料共有ＡＰのデータ送受信履歴（図７参照）と、推定ルール（図８参照）とに基づいて、資料共有ＡＰの円に対応するデータの通信遅延時間が推定される（図５のステップＳ１１〜Ｓ１３）。

ここで、図８の推定ルールから、通信遅延時間は図７のデータ種別ＩＤ＝１に関する過去のデータ２件を利用して算出される。まず、図８の「平均スループット」は、それぞれのデータについて「データ量÷送信時刻と受信時刻の差」により算出されるスループットの平均を用いる。したがって、通信遅延時間＝データ量÷平均スループット＝１１２０÷（（９５０÷（１８０−１００）＋１０４５÷（６８０−５６０））÷２）≒１０９ｍｓと推定される。

音声パケットが送信されてから受信されるまでに通信遅延で既に１５ｍｓ経過しているため、人間の検知限を４０ｍｓ見込んだ場合、音声のバッファ時間は１０９ｍｓ−１５ｍｓ−４０ｍｓ＝５４ｍｓとなる（図５のステップＳ１３）。現在のバッファ時間が６０ｍｓであるとすると、既にバッファされている音声パケットの中で無音のものを再生せずにスキップすることで、バッファ時間が６ｍｓ短縮される（図５のステップＳ１４）。５４ｍｓのバッファリングの後、音声パケットは音声として出力される（図５のステップＳ１５）。

一方、通信相手ＰＣにおいて、資料共有ＡＰの円に対応するデータが１２：１１：４３．３４５に受信されると（図５のステップＳ１６）、該データの送信時刻、受信時刻及び属性値（データ種別ＩＤ＝１及びデータ量＝１．１２Ｋｂｙｔｅ）が資料共有ＡＰのデータ送受信履歴に追加される（図５のステップＳ１７、履歴は図７から図９に遷移）。また、受信された資料共有ＡＰのデータはすぐに出力され、資料上に円として表示され（図５のステップＳ１８）、したがって、対応する音声との同期が実現される。

本発明の第２の実施の形態においても、本発明の第１の実施の形態と同様の効果が得られることは勿論である。

本発明は、音声通話と他のメディアを組み合わせて行なうコミュニケーションにおける通信端末での品質制御に適用可能である。

１，２，５ 通信端末
３ 送信端末
４ 受信端末
１１ データ処理装置
１２ 記憶装置
３１，５１ 第２の送信部
３２，５７ 付加部
３３，５６ 第１の送信部
４１，５２ 第２の受信部
４２，５３ 決定部
４３，５４ 第１の受信部
４４，５５，１１８ バッファ部
１１１ 離散データ送信部
１１２ 離散データ受信部
１１３ 同期データ通知部
１１４，１１Ａ 入力部
１１５，１１９ 出力部
１１６ バッファ時間決定部
１１７ 音声データ受信部
１１Ｂ 同期データ付加部
１１Ｃ 音声データ送信部
１２１ ＮＷ情報保存部
１２２ 同期方法保存部

Claims (25)

1. 音声通話の音声データを送信する第１の送信手段と、前記音声通話と同期対象の他の通信のデータを送信する第２の送信手段と、前記他の通信のデータ送信時に前記他の通信のデータの属性値として少なくとも該データのデータ量を示す情報を含む情報を前記他の通信のデータと同期すべき前記音声データに付加し、前記属性値が付加された前記音声データを前記第１の送信手段に出力する付加手段とを含む送信端末と、
   前記第１の送信手段からの前記音声データを受信する第１の受信手段と、前記第１の受信手段により受信される前記音声データを蓄積するバッファ手段と、前記第２の送信手段からの前記他の通信のデータを受信する第２の受信手段と、前記第１の受信手段により受信される前記音声データに前記属性値が付加されている場合、前記属性値を基に前記他の通信のデータが前記送信端末により送信されてから自端末により受信されるまでの時間である通信遅延時間を推定して前記音声データの前記バッファ手段へのバッファ時間を決定する決定手段とを含む受信端末と、
   を含むことを特徴とする通信システム。
2. 前記第２の送信手段は、前記他の通信のデータに時刻情報を付与して送信し、前記受信端末は、前記第２の受信手段により受信される前記他の通信のデータの送信時刻、受信時刻及び前記属性値を記憶する記憶手段を更に含み、前記決定手段は、前記第１の受信手段により受信される前記音声データに付加された前記属性値と前記記憶手段の内容とを基に前記通信遅延時間を推定することを特徴とする請求項１記載の通信システム。
3. 前記決定手段は、前記第１の受信手段により受信される前記音声データに付加された前記属性値を基に前記通信遅延時間の推定ルールを決定することを特徴とする請求項１または２記載の通信システム。
4. 前記他の通信のデータの前記属性値は該データのデータ種別を示す情報を更に含み、前記推定ルールは前記データ種別毎に予め定められていることを特徴とする請求項３記載の通信システム。
5. 前記決定手段は、前記第１の受信手段により受信される前記音声データに付加された前記属性値を基に前記通信遅延時間の推定の実行の可否を決定することを特徴とする請求項１〜４いずれか記載の通信システム。
6. 前記決定手段は、推定された前記通信遅延時間と、前記音声データと前記他の通信のデータとの間の同期ずれに対する人間の検知限に基づいて予め定められた時間とを基に前記バッファ時間を決定することを特徴とする請求項１〜５いずれか記載の通信システム。
7. 前記第１の送信手段は、前記音声データに時刻情報を付与して送信し、前記決定手段は、前記推定された通信遅延時間と前記予め定められた時間に加えて更に、前記第１の受信手段により受信される前記音声データの送信時刻と受信時刻の差である該音声データの通信遅延時間をも基に前記バッファ時間を決定することを特徴とする請求項６記載の通信システム。
8. 前記他の通信は、ユーザ操作に応答して生成される該操作に応じたデータを端末間で送受信する通信機能であることを特徴とする請求項１〜７いずれか記載の通信システム。
9. 他の通信端末へ音声通話の音声データを送信する第１の送信手段と、
   前記他の通信端末へ前記音声通話と同期対象の他の通信のデータを送信する第２の送信手段と、
   前記他の通信のデータ送信時に前記他の通信のデータの属性値として少なくとも該データのデータ量を示す情報を含む情報を前記他の通信のデータと同期すべき前記音声データに付加し、前記属性値が付加された前記音声データを前記第１の送信手段に出力する付加手段と、
   前記他の通信端末の前記第１の送信手段からの前記音声データを受信する第１の受信手段と、
   前記第１の受信手段により受信される前記音声データを蓄積するバッファ手段と、
   前記他の通信端末の前記第２の送信手段からの前記他の通信のデータを受信する第２の受信手段と、
   前記第１の受信手段により受信される前記音声データに前記属性値が付加されている場合、前記属性値を基に前記他の通信のデータが前記他の通信端末により送信されてから自端末により受信されるまでの時間である通信遅延時間を推定して前記音声データの前記バッファ手段へのバッファ時間を決定する決定手段とを含むことを特徴とする通信端末。
10. 前記第２の送信手段は、前記他の通信のデータに時刻情報を付与して送信し、前記通信端末は、前記第２の受信手段により受信される前記他の通信のデータの送信時刻、受信時刻及び前記属性値を記憶する記憶手段を更に含み、前記決定手段は、前記第１の受信手段により受信される前記音声データに付加された前記属性値と前記記憶手段の内容とを基に前記通信遅延時間を推定することを特徴とする請求項９記載の通信端末。
11. 前記決定手段は、前記第１の受信手段により受信される前記音声データに付加された前記属性値を基に前記通信遅延時間の推定ルールを決定することを特徴とする請求項９または１０記載の通信端末。
12. 前記他の通信のデータの前記属性値は該データのデータ種別を示す情報を更に含み、前記推定ルールは前記データ種別毎に予め定められていることを特徴とする請求項１１記載の通信端末。
13. 前記決定手段は、前記第１の受信手段により受信される前記音声データに付加された前記属性値を基に前記通信遅延時間の推定の実行の可否を決定することを特徴とする請求項９〜１２いずれか記載の通信端末。
14. 前記決定手段は、推定された前記通信遅延時間と、前記音声データと前記他の通信のデータとの間の同期ずれに対する人間の検知限に基づいて予め定められた時間とを基に前記バッファ時間を決定することを特徴とする請求項９〜１３いずれか記載の通信端末。
15. 前記第１の送信手段は、前記音声データに時刻情報を付与して送信し、前記決定手段は、前記推定された通信遅延時間と前記予め定められた時間に加えて更に、前記第１の受信手段により受信される前記音声データの送信時刻と受信時刻の差である該音声データの通信遅延時間をも基に前記バッファ時間を決定することを特徴とする請求項１４記載の通信端末。
16. 前記他の通信は、ユーザ操作に応答して生成される該操作に応じたデータを端末間で送受信する通信機能であることを特徴とする請求項９〜１５いずれか記載の通信端末。
17. 通信端末のバッファ制御方法であって、
    他の通信端末へ音声通話の音声データを送信する第１の送信ステップと、
    前記他の通信端末へ前記音声通話と同期対象の他の通信のデータを送信する第２の送信ステップとを含み、
    前記第１の送信ステップは、前記他の通信のデータ送信時に前記他の通信のデータの属性値として少なくとも該データのデータ量を示す情報を含む情報を前記他の通信のデータと同期すべき前記音声データに付加する付加ステップを含み、
    前記他の通信端末の前記第１の送信ステップにて送信される前記音声データを受信する第１の受信ステップと、
    前記第１の受信ステップにて受信される前記音声データを自端末のバッファ手段に蓄積するステップと、
    前記他の通信端末の前記第２の送信ステップにて送信される前記他の通信のデータを受信する第２の受信ステップと、
    前記第１の受信ステップにて受信される前記音声データに前記属性値が付加されている場合、前記属性値を基に前記他の通信のデータが前記他の通信端末により送信されてから自端末により受信されるまでの時間である通信遅延時間を推定して前記音声データの前記バッファ手段へのバッファ時間を決定する決定ステップとを更に含むことを特徴とするバッファ制御方法。
18. 前記第２の送信ステップは、前記他の通信のデータに時刻情報を付与して送信し、前記第２の受信ステップは、前記第２の受信ステップにて受信される前記他の通信のデータの送信時刻、受信時刻及び前記属性値を自端末の記憶手段に記憶するステップを含み、前記決定ステップは、前記第１の受信ステップにて受信される前記音声データに付加された前記属性値と前記記憶手段の内容とを基に前記通信遅延時間を推定することを特徴とする請求項１７記載のバッファ制御方法。
19. 前記決定ステップは、前記第１の受信ステップにて受信される前記音声データに付加された前記属性値を基に前記通信遅延時間の推定ルールを決定することを特徴とする請求項１７または１８記載のバッファ制御方法。
20. 前記他の通信のデータの前記属性値は該データのデータ種別を示す情報を更に含み、前記推定ルールは前記データ種別毎に予め定められていることを特徴とする請求項１９記載のバッファ制御方法。
21. 前記決定ステップは、前記第１の受信ステップにて受信される前記音声データに付加された前記属性値を基に前記通信遅延時間の推定の実行の可否を決定することを特徴とする請求項１７〜２０いずれか記載のバッファ制御方法。
22. 前記決定ステップは、推定された前記通信遅延時間と、前記音声データと前記他の通信のデータとの間の同期ずれに対する人間の検知限に基づいて予め定められた時間とを基に前記バッファ時間を決定することを特徴とする請求項１７〜２１いずれか記載のバッファ制御方法。
23. 前記第１の送信ステップは、前記音声データに時刻情報を付与して送信し、前記決定ステップは、前記推定された通信遅延時間と前記予め定められた時間に加えて更に、前記第１の受信ステップにて受信される前記音声データの送信時刻と受信時刻の差である該音声データの通信遅延時間をも基に前記バッファ時間を決定することを特徴とする請求項２２記載のバッファ制御方法。
24. 前記他の通信は、ユーザ操作に応答して生成される該操作に応じたデータを端末間で送受信する通信機能であることを特徴とする請求項１７〜２３いずれか記載のバッファ制御方法。
25. 通信端末のバッファ制御方法をコンピュータに実行せしめるプログラムであって、
    他の通信端末へ音声通話の音声データを送信する第１の送信処理と、
    前記他の通信端末へ前記音声通話と同期対象の他の通信のデータを送信する第２の送信処理とを含み、
    前記第１の送信処理は、前記他の通信のデータ送信時に前記他の通信のデータの属性値として少なくとも該データのデータ量を示す情報を含む情報を前記他の通信のデータと同期すべき前記音声データに付加する処理を含み、
    前記他の通信端末の前記第１の送信処理にて送信される前記音声データを受信する第１の受信処理と、
    前記第１の受信処理にて受信される前記音声データを自端末のバッファ手段に蓄積する処理と、
    前記他の通信端末の前記第２の送信処理にて送信される前記他の通信のデータを受信する第２の受信処理と、
    前記第１の受信処理にて受信される前記音声データに前記属性値が付加されている場合、前記属性値を基に前記他の通信のデータが前記他の通信端末により送信されてから自端末により受信されるまでの時間である通信遅延時間を推定して前記音声データの前記バッファ手段へのバッファ時間を決定する決定処理とを更に含むことを特徴とするプログラム。

Images