JP2005252344A

JP2005252344A - 多地点通信における品質改善方法及び多地点通信用端末、多地点間通信における品質改善プログラム

Info

Publication number: JP2005252344A
Application number: JP2004056090A
Authority: JP
Inventors: Yuichi Rokuto; 雄一六藤; Takaaki Kurita; 孝昭栗田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2004-03-01
Filing date: 2004-03-01
Publication date: 2005-09-15

Abstract

【課題】多地点から送られて来る映像及び音声等を伝送回線の遅延時間に左右されずに同一タイミングで再生し、通信品質を高める。
【解決手段】各端末１００、２００、３００の受信部１１０、２１０、３１０に各回線用の可変遅延手段１２１、１２２、２２１、２２２、３２１、３２２を設け、この可変遅延手段の遅延時間を相手端末からの信号の遅延時間に応じて適正値に設定し、複数の端末から送られて来る信号の再生タイミングを合致させ、通信品質を高める。
【選択図】図５

Description

本発明は、ネットワ−クを用いて多地点間通信を行う技術に関し、特に多地点間通信における品質改善方法及びこれに用いる多地点間通信用端末、コンピュータにこれを実行させる多地点間通信における品質改善プログラムを提案しようとするものである。

ネットワークを利用して多地点間通信を行う方法として、端末から複数の対地点端末へ直接映像・音声を送受信する方法（特許文献１）と、複数の端末から送信された映像・音声を多地点接続装置により合成し各端末は多地点接続装置から合成された映像・音声を受信する方法（特許文献２）がある。
特開２０００−２２８３３号公報特開２００２−２０９１９７号公報

従来の技術では、ネットワークの状態や端末処理能力等の原因により、端末から複数の対地点端末へ同時に送信された映像・音声信号が届く伝送時間や、各端末から多地点接続装置へ同時に送信された映像・音声信号が届く伝送時間や、各端末から多地点接続装置へ同時に送信された映像・音声信号が届く伝送時間にばらつきが出るため、同時刻に送信された複数の映像・音声信号を受信した端末で同時刻に再生することが出来なかった。そのため、多地点間通信システムを利用して複数の利用者で会話を行うと、伝送時間や処理時間などのばらつきのために再生された複数地点の映像・音声の時刻同期が乱れ、会話に違和感を覚え、通信品質が悪化するという問題があった。
本発明はこの通信品質の悪化を改善することを目的とするものである。

本発明は上記目的を達成するために、映像・音声をやり取りしている対地点間の遅延時間における最大遅延時間および遅延時間差と、遅延時間に対する会話の開始者と会話の応答者の品質評価値である主観値ＭＯＳの関係を与え、対地点間の遅延時間を把握した場合、その最大遅延時間における主観値ＭＯＳが最大となる遅延時間差を決定し、実際の遅延時間差をその決定した遅延時間差となるように映像および音声の出力タイミングを調整することにより、多地点間通信の全体品質を改善する。
主観値ＭＯＳは、最大遅延時間と遅延時間差を入力すると求められるように、予め主観品質評価試験によって求めておく。

本発明によれば、多地点間通信を行う時に遅延が生じる際、対地点間の遅延時間を把握し、対地点間ごとの遅延時間を最適化することで、遅延差を小さくすることができ、通信品質を改善することができるという効果が得られる。

以下、図面を用いて本発明の実施形態を説明する。
図１のように、地点１にて会話の中心となって発話する開始者１名と、地点２と地点３にて開始者に応答する応答者２名で、多地点間通信を行う場合の実施形態を説明する。地点１と地点２の間の遅延時間をＤｅｌａｙＡ、地点１と地点３の間の遅延時間をＤｅｌａｙＢ、地点２と地点３の間の遅延時間をＤｅｌａｙＣとする。
本発明において、最大遅延時間および遅延時間差と遅延時間に対する開始者と応答者の品質評価値である主観値ＭＯＳの関係を用いるために、予め、主品質評価実験により遅延時間と主観値ＭＯＳの関係を求める。具体的には、映像信号の解像度、符号化条件および音声信号の音量、符号化条件が一定の条件のもとで、遅延時間ＤｅｌａｙＡ、ＤｅｌａｙＢとの関係を示す。

図２に示す等高線Ａ、Ｂ、Ｃ及びＡ′、Ｂ′、Ｃ′は全地点間の遅延時間ＤｅｌａｙＡ、ＤｅｌａｙＢ、ＤｅｌａｙＣが最短時間（例えば１６７ｍｓｅｃ）の品質を基準とした場合の開始者の主観評価値との偏差値ΔＭＯＳを表わす。等高線Ａ及びＡ′は基準値に対して偏差値ΔＭＯＳは−０．４、等高線Ｂ及びＢ′は偏差値ΔＭＯＳは−０．６、等高線Ｃ及びＣ′は偏差値ΔＭＯＳは−０．８を示す。この図２から、遅延時間ＤｅｌａｙＡ及びＤｅｌａｙＢが長くなるに従って主観評価値ＭＯＳが悪化することが解る。
主観評価値ＭＯＳは、式２で定義される最大遅延時間（Ｘ１）と、式３で定義される地点間遅延時間差（Ｘ２）を用い、式１の関数で推定される。

主観評価値ＭＯＳ＝α１・Ｘ１＋β１・Ｘ２＋γ１（式１）
最大遅延時間Ｘ１＝ｍａｘ［ＤｅｌａｙＡ，ＤｅｌａｙＢ］（式２）
地点間遅延時間差Ｘ２＝｜ＤｅｌａｙＡ−ＤｅｌａｙＢ｜（式３）
α１、β１、γ１は、重回帰分析から得られる係数、α１＜０、β１＜０、γ１＜０である。
開始者の主観評価値ＭＯＳと式１の関数を用いた推定ＭＯＳとの相関関係を図３に示す。この図３から明らかなように式１の関数を用いた推定ＭＯＳの値と、開始者の主観評価値ＭＯＳとの値は相関がとれており、式１の推定が主観評価値ＭＯＳの値に近似していることが解る。

同様に、応答者（地点２と３）の主観評価値ＭＯＳは式４の関数で推定される。式５で定義される最大遅延時間Ｘ３は、最も応答の遅い応答者の応答時間となり、式１のＸ１と同じになる。ただし、地点間遅延時間差Ｘ４は、応答者（地点２）の場合、式６−２で定義される。つまり開始者（地点１）の発声が地点３に届き、これに応答して応答者（地点３）が発声するタイミングと、地点１の発生に応答した応答者（地点２）の発声が地点３に届くタイミングの時間差となる。
主観評価値ＭＯＳ＝α２・Ｘ３＋β２・Ｘ４＋γ２（式４）
最大遅延時間Ｘ３＝ｍａｘ［ＤｅｌａｙＡ，ＤｅｌａｙＢ］（式５）
地点間遅延時間差Ｘ４（地点２の場合）＝｜（ＤｅｌａｙＢ＋ＤｅｌａｙＣ）−ＤｅｌａｙＡ｜（式６−１）
地点間遅延時間差Ｘ４（地点３の場合）＝｜（ＤｅｌａｙＡ＋ＤｅｌａｙＣ）−ＤｅｌａｙＢ｜（式６−２）
α２、β２、γ２は重回帰分析から得られる係数。α２＜０、β２＜０、γ２＜０である。

応答者（地点２と３）の主観評価値ＭＯＳと式４の関数を用いた推定ＭＯＳの値との相関関係を図４に示す。図４からも明らかなように、応答者の主観評価値ＭＯＳと、式４の関数を用いた推定ＭＯＳの値との値はよく相関がとれており、式４の推定が主観評価値ＭＯＳに近似していることが解る。

図５に本発明の実施例を示す。端末１００は開始者（地点１）が、端末２００は応答者（地点２が）、３００は応答者（地点３）がそれぞれ使用する。端末１００、２００、３００は、回線１０、２０、３０で接続されている。端末１００、２００、３００はそれぞれ、送信部１１０、２１０、３１０と、受信部１２０、２２０、３２０、遅延時間計測手段１３０、２３０、３３０及び制御手段１４０、２４０、３４０を有する。
受信部１２０は他端末２００及び３００からの信号を受信する受信経路毎に回線１０用の可変遅延手段１２１と回線２０用の可変遅延手段１２２を有し、受信部２２０は回線１０用の可変遅延手段２２１と回線３０用の可変遅延手段２２２を有し、受信部３２０は回線２０用の可変遅延手段３２１と、回線３０用の可変遅延手段３２２を有する。これら可変遅延手段１２１、１２２及び２２１、２２２及び３２１、３２２はそれぞれ受信信号がディジタル信号である場合はレジスタ等で構成されるバッファを用いることができ、バッファの段数を変化させて遅延時間を制御する。初期状態では各可変遅延手段１２１、１２２、２２１、２２２、３２１、３２２の遅延時間は「０」に設定される。

図６に各端末１００、２００、３００の各部の内部構成を詳細に示す。図６では端末１００の内部構成について示すが、他の端末２００及び３００も同様に構成される。
受信部１２０は他端末からの信号をそれぞれ受信する信号経路を具備し、各信号経路に回線１０用の可変遅延手段１２１と回線２０用の可変遅延手段１２２が設けられる。これら可変遅延手段１２１と１２２で遅延時間を制御し、ミキシングの後、再生器１２３で音声及び映像として再生される。
遅延時間計測手段１３０は遅延時間計測部１３１と、最大遅延時間保持部１３２と、最小遅延時間保持部１３３と、遅延時間差保持部１３４とを備える。遅延時間計測部１３１は自己から相手の端末に信号を送りこみ、その応答信号が自己に戻り再生されるまでの時間を計測するか、又は相手の端末からタイムスタンプ付の信号を送信させ、その信号が再生されるまでの時間をタイムスタンプを用いて測定して各回線１０、２０、３０の各遅延時間を計測する。

最大遅延時間保持部１３２は回線１０又は２０の大きい方の遅延時間を最大遅延時間として保持する。最小遅延時間保持部１３３は回線１０か２０の小さい方の遅延時間を最小遅延時間として保持する。遅延時間差保持手段１３４は回線１０と回線２０の遅延時間差を求め、その遅延時間差を保持して記憶する。
制御手段１４０は主制御部１４１と、判定部１４２と、通知部１４３、受動制御部１４４とを備える。主制御部１４１は遅延時間差保持部１３４に保持されている遅延時間差を回線１０又は回線２０用の可変遅延手段１２１又は１２２に印加し、遅延時間を制御する。つまり、遅延時間が短い側の回路に接続されている可変遅延手段に遅延時間差分の遅延時間を設定する。この遅延時間の設定により回線１０と回線２０を通じて受信した信号は再生器１２３で同一時刻で再生される。

判定部１４２は回線１０と回線２０の何れの遅延時間が短いか又は長いかを判定する。この判定により遅延時間差を加える可変遅延手段を決定することができる。
通知部１４３は主制御部１４１が自己の可変遅延手段に下した制御指令を相手の端末に通知する動作を実行する。つまり、例えば回線１０用の可変遅延手段１２１に遅延時間差を加える制御指令を下した場合は、通知部１４３は相手となる端末２００に遅延時間差の値を通知する。各端末の制御手段１４０には受動制御部１４４が設けられており、この受動制御部１４４により相手から遅延時間を増加させる制御指令を受け取ると、その制御指令を解読し、その制御指令を実行する。この制御指令の実行により対応する可変遅延手段の遅延時間が制御される。この制御により、端末１００と２００は同一遅延時間の条件に設定される。また、端末１００と３００の間も同様の制御により同一の遅延時間の条件に揃えられ、更に端末２００と３００の間も同様に遅延時間の条件に揃えられる。

図７は、本発明の多地点間通信における品質改善プログラムの概要を示すフローチャート例である。
制御手段１４０および２４０は、遅延時間計測手段１３０及び２３０にて計測された回線１０における遅延時間ＤｅｌａｙＡを把握して保持し、制御手段１４０および３４０は、遅延時間計測手段１３０及び３３０にて計測された回線２０における遅延時間ＤｅｌａｙＢを把握して保持し、制御部２４０および３４０は、遅延時間計測手段２３０および３３０にて計測された回線３０における遅延時間ＤｅｌａｙＣを把握して保持する（ステップ６０１）。

端末１００の制御手段１４０は、遅延時間ＤｅｌａｙＡ及びＤｅｌａｙＢから、最大遅延時間Ｘ１、地点間遅延時間差Ｘ２を算出する（ステップ６０２）。
端末１００の制御手段１４０は、ＤｅｌａｙＡ＜ＤｅｌａｙＢの場合は判定部１４２の判定に従って回線１０用の可変遅延手段１２１の遅延時間をＸ２増加させることを決定し（ステップ６０３及び６０４）、ＤｅｌａｙＡ＞ＤｅｌａｙＢの場合は判定部１４２の判定に従って回線２０用の可変遅延手段１２２の遅延時間をＸ２増加させることを決定する（ステップ６０３及び６０５）。

次に、端末１００の制御手段１４０は、通知部１４３を通じて端末２００の制御手段２４０と端末３００の制御手段３４０へ、最大遅延時間Ｘ１の通知及び、ＤｅｌａｙＡ＜ＤｅｌａｙＢの場合は回線１０用の可変遅延手段２２１の遅延時間をＸ２増加することを通知し（ステップ６０６）、ＤｅｌａｙＡ＞ＤｅｌａｙＢの場合は回線２０用の可変遅延手段３２１の遅延時間をＸ２増加するように通知する（ステップ６０７）。
通知後、制御手段１４０は、ＤｅｌａｙＡ＜ＤｅｌａｙＢの場合は回線１０用の可変遅延手段１２１の遅延時間をＸ２増加させ（ステップ６０８）、ＤｅｌａｙＡ＞ＤｅｌａｙＢの場合は回線２０用の可変遅延手段１２２の遅延時間をＸ２増加させる（ステップ６０９）。

これらによりＤｅｌａｙＡ＝ＤｅｌａｙＢとなり、同時刻に端末２００と端末３００から送信された映像及び音声を、端末１００にて同時に出力することができ、Ｘ２＝０となる。式１より、開始者の主観評価ＭＯＳが最大となる。
制御手段２４０は、制御手段１４０からの回線１０用の可変遅延手段２２１の遅延時間をＸ２増加するよう通知を受けた場合、受動制御部が作動して可変遅延手段２２１の遅延時間をＸ２増加する（ステップ６１０）。
これらにより応答者（地点２）及び応答者（地点３）における主観評価値ＭＯＳの和は、式５より応答時間Ｘ３＝Ｘ１、式６−１及び式６−２より地点間遅延時間差Ｘ４＝ＤｅｌａｙＣとなり、最大にすることができる。

以上のように可変遅延手段の遅延時間を決定することで、開始者（地点１）と応答者（地点２）と応答者（地点３）における主観評価値ＭＯＳの和を最大にすることができ、全体の通信品質を改善することができる。
本発明による多地点間通信における品質改善プログラムはコンピュータが解釈可能なプログラム言語によって記述され、コンピュータにインストールされて実行される。プログラムは磁気ディスク或はＣＤ−ＲＯＭ等の記憶媒体からコンピュータにインストールされるか、又は通信回線を通じてインストールされる。

この発明による多地点間通信における品質改善方法及び多地点間通信用端末は例えば多地点会議装置に適用することができる。

多地点間通信を説明するための図。図１に示した開始者（地点１）の主観評価値の一例を説明するための図。図１に示した開始者における主観評価値ＭＯＳと実験計測値の相関関係を説明するための図。図１に示した応答者における主観評価値ＭＯＳと実験計測値の相関関係を説明するための図。本発明の実施例を説明するためのブロック図。図５に示した実施例の各端末の内部構成を詳細に説明するためのブロック図。この発明のプログラムの概要を説明するためのフローチャート。

符号の説明

１０、２０、３０回線１３１遅延時間計測部
１００、２００、３００端末１３２最大遅延時間保持部
１１０、２１０、３１０送信部１３３最小遅延時間保持部
１２０、２２０、３２０受信部１３４遅延時間差保持部
１３０、２３０、３３０遅延時間計測手段１４１主制御部
１４０、２４０、３４０制御手段１４２判定部
１２１、２２１回線１０用の可変遅延手段１４３通知部
１２２、３２１回線２０用の可変遅延手段１４４受動制御部
２２２，３２２回線３０用の可変遅延手段

Claims

複数の端末からの信号を受信し、受信した信号を再生し、応答信号を各端末に送信する多地点間通信において、
各端末からの信号を受信する各受信経路に可変遅延手段を設け、この可変遅延手段の遅延時間を制御し、複数の端末からの信号の再生タイミングを調整して通信品質を改善することを特徴とする多地点間通信における品質改善方法。
請求項１記載の多地点間通信における品質改善方法において、上記複数の端末からの信号の再生タイミングは可及的に小さい時間差に収束するように上記可変遅延手段の遅延時間を制御することを特徴とする多地点間通信における品質改善方法。
他端末からの信号を受信し、受信信号を再生する複数の受信経路と、
これら複数の受信経路に設けられ、各受信信号のそれぞれに遅延時間を与える可変遅延手段と、
上記他端末から送られて来る信号の送信タイミングから再生タイミングまでの遅延時間を計測し保持する遅延時間計測手段と、
この遅延時間計測手段に保持された遅延時間に従って上記可変遅延手段の遅延時間を制御する制御手段と、
を具備することを特徴とする多地点間通信用端末。
請求項３記載の多地点間通信用端末において、
上記遅延時間計測手段は上記遅延時間の最大遅延時間と、最小遅延時間及びその遅延時間差を保持し、上記制御手段は上記遅延時間差を最小値に収束させる制御指令を上記可変遅延手段に与える主制御手段を備えることを特徴とする多地点間通信用端末。
請求項３又は４記載の多地点間通信用端末の何れかにおいて、
上記制御手段は上記遅延時間計測手段が保持する遅延時間差に応じて何れの受信経路に挿入した可変遅延手段に遅延を付加するかを判定する判定手段に備え、この判定手段に上記遅延時間差に相当する遅延時間を付加する制御を実行することを特徴とする多地点間通信用端末。
請求項３乃至５記載の多地点間通信用端末の何れかにおいて、
上記制御手段は自己の可変遅延手段に対する制御指令を相手の端末に通知する通知手段を具備することを特徴とする多地点間通信用端末。
請求項３乃至６記載の多地点間通信用端末の何れかにおいて、
上記制御手段は相手の端末から送られて来た制御内容に従って、各自の可変遅延手段の遅延時間を制御する受動制御手段を具備していることを特徴とする多地点間通信端末。
コンピュータが解読可能なプログラム言語によって記述され、コンピュータに上記請求項１又は２記載の多地点間通信における品質改善方法を実行させる多地点間通信における品質改善プログラム。