JP2005159536A - 情報通信システム、情報送信装置及び情報送信方法 - Google Patents

Abstract

【課題】 短い遅延時間を置いて情報を再送してバースト誤り耐性が高い情報通信システム、情報送信装置及び情報送信方法を提供する。
【解決手段】 情報通信システムは、情報送信装置と情報受信装置からなり、情報送信装置は複数の種類の情報をＲＴＰ送信部１１ａがＲＴＰパケットとして送信する。情報受信装置のＲＴＰ受信部１２ｂは、ＲＴＰパケットを受信し、かつ、複数の種類の情報毎に、所定時間間隔で、消失したＲＴＰパケットの累積数を情報送信装置に送信する。情報送信装置のＲＴＣＰ受信部１２ｃは、複数の種類の情報のＲＴＰパケットが消失した時間帯に共通な時間帯を求め、その時間帯からバースト誤りの長さの最大値を求め、その最大値を送信する時間を最大バースト誤り時間１３ａに記憶する。情報送信装置の遅延部１１ｂは、最大バースト誤り時間１３ａの遅延時間を置いて、複数の種類の情報を再送する。
【選択図】 図２

Description

本発明は、情報通信システム、情報送信装置及び情報送信方法に係り、特に、遅延時間を置いて情報を再送信してバースト誤り耐性を高める処理に関する。

ＭＰＥＧ方式などによって符号化された動画像及び音声情報を、通信回線を介して実時間に送受信する情報通信システムにおいて、符号化された動画像及び符号化された音声情報がそれぞれ情報送信装置から情報受信装置に送られる。動画像および音声の送信プロトコルとして、例えばインタネットで用いられているＲＴＰ（Real-time Transport Protocol）を利用することができる。

ここで、例えば、移動通信端末装置を用いて構成される情報通信システムでは、情報の伝送中に長時間に渡る伝送誤りが混入することによって、符号化された動画像及び符号化された音声情報の双方に情報の消失や破棄（以後、消失と破棄を総称して消失と称する。）が生じる可能性がある（以後、符号化された動画像及び符号化された音声情報の双方に連続的な情報の消失が生じる伝送誤りをバースト誤りと称する。）。

動画像や音声などの情報を伝送する場合は、情報が正確すなわち誤り無く正しい順序で受信されることと同時に、規定の時間内に受信されることが重要である。そのためＲＴＰプロトコルは、ＴＣＰ（Transmission Control Protocol）等の、情報が正確に伝送されるが伝送時間の上限を規定できないプロトコルとは併用することができない。ＲＴＰプロトコルは、情報が正確に伝達される保証の無く、再送を行わないＵＤＰ（User Datagram Protocol）等のプロトコルと併用し、情報の欠落については別途対策を行う必要がある。

送信装置において情報の欠落に対処する方法として、ＲＴＰプロトコルに従ったパケット（以後、ＲＴＰパケットと称する。）を所定のインターリーブ長によってインターリーブして送信する処理が知られている。また、情報を送信して、所定の遅延時間を置いてその情報を再度送信する処理が知られている（例えば、特許文献１参照。）。更に、受信装置はＲＴＣＰ（RTP Control Protocol）プロトコルを用いてＲＴＰパケットなどの情報の受信状況を送信装置に送信し、送信装置はその受信状況に従って、送信した情報の一部を再度送信する処理が知られている。（例えば、特許文献２参照。）。
特開２００２−７７１０９号公報（第２頁、図１） 特開２００３−１６９０４０号公報（第２−５頁、図１）

しかしながら、上述した特許文献１に開示されている方法では、遅延時間の設定が困難である問題点があった。即ち、遅延時間が短いと１回目に送信された情報及び再送された同じ情報のいずれもが１回のバースト誤りによって消失することがある。また、遅延時間が長いと受信装置で遅延時間以上のバッファを必要とするため情報を受信してからその情報を再生するまでに長時間を必要とする問題点があった。

また、上述した特許文献２に開示されている方法では、受信装置から送信装置への通信量が増加する問題点があった。この問題点は、１台の送信装置が複数台の受信装置に情報を送信する通信システムにおいて顕著である。

本発明は、上記問題点を解決するためになされたもので、必要かつ十分な遅延時間を置いて情報を再送することによってバースト誤り耐性が高い情報通信システム、情報送信装置及び情報送信方法を提供することを目的とする。

上記目的を達成するために、本発明の情報通信システムは、同期した複数の種類の情報を送信する情報送信装置と、前記情報送信装置から送信された前記複数の種類の情報を受信する１つ以上の情報受信装置とが通信回線を介して接続された情報通信システムであって、前記情報受信装置は、前記複数の種類の情報を受信する受信手段と、前記受信手段による前記情報の受信状況を前記種類毎に所定の時間間隔で作成する受信状況作成手段と、前記受信状況作成手段によって作成された受信状況を前記情報送信装置に送信する受信状況送信手段とを有し、前記情報送信装置は、前記複数の種類の情報を送信する送信手段と、
前記受信状況を受信して記憶する受信状況受信手段と、前記受信状況受信手段によって受信され、または、記憶された前記種類の情報の受信状況から前記情報の所定値以上の伝送誤りが発生した伝送誤り時間帯を検出し、前記情報受信装置および種類に関する規定数以上の前記情報の伝送誤り時間帯に共通な時間帯であるバースト誤り発生時間帯を検出するバースト誤り発生時間帯検出手段と、前記バースト誤り発生時間帯に発生した前記各情報の伝送誤り数をバースト誤り長と推定するバースト誤り長推定手段とを有することを特徴とする。

また、本発明の情報通信システムは、情報を送信する情報送信装置と、前記情報送信装置から送信された前記情報を受信する複数の情報受信装置とが通信回線を介して接続された情報通信システムであって、前記情報受信装置は、前記情報を受信する受信手段と、前記受信手段による前記情報の受信状況を所定の時間間隔毎に作成する受信状況作成手段と、前記受信状況作成手段によって作成された受信状況を前記情報送信装置に送信する受信状況送信手段とを有し、前記情報送信装置は、前記情報を送信する送信手段と、前記受信状況を受信して記憶する受信状況受信手段と、前記受信状況受信手段によって受信され、または、記憶された前記情報受信装置の受信状況から前記情報受信装置への所定値以上の伝送誤りが発生した伝送誤り時間帯を検出し、前記情報受信装置に関する規定値以上の前記伝送誤り時間帯に共通な時間帯であるバースト誤り発生時間帯を検出するバースト誤り発生時間帯検出手段と、前記バースト誤り発生時間帯に発生した前記各情報受信装置の伝送誤り数をバースト誤り長と推定するバースト誤り長推定手段とを有することを特徴とする。

本発明によれば、必要かつ十分な遅延時間を置いて情報を再送することによって、バースト誤り耐性を高めることができる。

以下に、本発明による情報通信システム、情報送信装置及び情報送信方法の実施の形態を、図面を参照して説明する。図１は、本発明の実施の形態に係る情報通信システムの情報送信装置及び情報送信方法が適用され、また、本発明の実施の形態に係る情報通信システムの情報受信装置である移動通信端末装置の構成を示すブロック図である。

この移動通信端末装置は、装置全体の制御を行う制御装置１と、アンテナ２ａと、通信装置２ｂと、送受信装置３と、利用者からの操作指示を入力する入力装置４と、動画像及び音声の符号化及び復号を行う符号化復号装置５と、カメラ６ａと、マイク６ｂと、表示装置６ｃと、スピーカ６ｄとにより構成される。

通信装置２ｂは、アンテナ２ａが受信した高周波信号を送受信装置３へ出力し、また、送受信装置３から出力される高周波信号をアンテナ２ａより送信する。

符号化復号装置５は、カメラ６ａから出力された動画像を受信して、その動画像を符号化して、符号化された動画像情報ストリームを送受信装置３に出力する。また、マイク６ｂから出力された音声信号を受信して、その音声信号を符号化して、符号化された音声情報ストリームを送受信装置３に出力する。

更に、符号化復号装置５は、送受信装置３から出力された符号化された動画像情報ストリームを受信して、その動画像情報ストリームを復号して、復号された動画像を表示装置６ｃに送信して表示させる。また、送受信装置３から出力された符号化された音声情報ストリームを受信して、その音声情報ストリームを復号して、復号された音声信号をスピーカ６ｄに送信して発音させる。

図２は、送受信装置３の構成を示すブロック図である。送受信装置３は、制御装置１、通信装置２ｂ及び符号化復号装置５と接続される送信部１１と、制御装置１、通信装置２ｂ及び符号化復号装置５と接続される受信部１２と、最大バースト誤り時間記憶部１３とにより構成される。

送信部１１は、符号化復号装置５と接続されるＲＴＰ送信部１１ａと、最大バースト誤り時間記憶部１３と接続される遅延部１１ｂと、受信部１２、制御装置１及び通信装置２ｂと接続される変調部１１ｃとにより構成される。

受信部１２は、制御装置１及び通信装置２ｂと接続される復調部１２ａと、符号化復号装置５及び送信部１１と接続されるＲＴＰ受信部１２ｂと、最大バースト誤り時間記憶部１３と接続されるＲＴＣＰ受信部１２ｃとにより構成される。最大バースト誤り時間記憶部１３には、最大バースト誤り時間１３ａが記憶される。

上記のように構成された、本発明の実施形態に係る移動通信端末装置の動作を、送信部１１の動作から説明する。まず、ＲＴＰ送信部１１ａの動作を説明する。ＲＴＰ送信部１１ａは、符号化復号装置５から出力される符号化された動画像情報ストリーム及び符号化された音声情報ストリームを受信する。そして、受信した上記２つのストリームからそれぞれのＲＴＰパケットを作成する。

図３は、ＲＴＰパケットの構成を示す。ＲＴＰパケット２１は、ＲＴＰ送信部１１ａによって受信されたストリームから所定の大きさに切り取られたストリームデータ２１ａと、ストリーム識別子２１ｂと、パケット番号２１ｃとからなる。ストリーム識別子２１ｂは、ストリームデータ２１ａが動画像情報ストリームから切り取られたものである場合、「画像」なる情報であり、また、ストリームデータ２１ａが音声情報ストリームから切り取られたものである場合、「音声」なる情報である。

パケット番号２１ｃは、このＲＴＰパケット２１が、ＲＴＰ送信部１１ａによって受信されたストリームから作成されたパケットの中で、何番目のパケットであるかを示す自然数である。パケット番号２１ｃは、動画像情報ストリーム及び音声情報ストリームのそれぞれについて、独立して付けられた１、２、３、…なる一連番号である。

ＲＴＰ送信部１１ａは、作成したＲＴＰパケット２１をストリーム識別子２１ｂが「画像」である第１の所定個数のパケットをパケット番号２１ｃ順に、そして、ストリーム識別子２１ｂが「音声」である第２の所定個数のパケットをパケット番号２１ｃ順に整列し、パケットを第１のＲＴＰセッションのパケットとして変調部１１ｃに送る。ＲＴＰ送信部１１ａは、また、変調部１１ｃに送ったＲＴＰパケット２１を遅延部１１ｂに送る。

遅延部１１ｂは、ＲＴＰ送信部１１ａから送信されたＲＴＰパケット２１を最大バースト誤り時間１３ａの遅延を置いて、第２のＲＴＰセッションのパケットとして変調部１１ｃに送る。

変調部１１ｃは、ＲＴＰ送信部１１ａから送信されたＲＴＰパケット２１と、遅延部１１ｂから送信されたＲＴＰパケット２１と、ＲＴＰ受信部１２ｂから送信されたＲＴＣＰプロトコルに従ったパケット（以後、ＲＴＣＰパケットと称する。）と、更に、制御装置１から送信された制御信号とを変調、周波数変換及び増幅し、高周波信号を得てそれを通信装置２ｂに送る。なお、ＲＴＣＰパケットについては、後述する。

次に、受信部１２の動作を説明する。まず、復調部１２ａの動作を説明する。復調部１２ａは、通信装置２ｂからの高周波信号を増幅、周波数変換及び復調し、それによって得られたＲＴＰパケット２１をＲＴＰ受信部１２ｂに送り、ＲＴＣＰパケットをＲＴＣＰ受信部１２ｃに送り、更に、制御信号を制御装置１に送る。

次に、ＲＴＰ受信部１２ｂの動作を説明する。ＲＴＰ受信部１２ｂは、復調部１２ａから出力されたＲＴＰパケット２１を受信し、そのＲＴＰパケット２１に含まれるストリームデータ２１ａを符号化復号装置５へ送り、更に、ＲＴＰパケット２１の受信状況を表
すＲＴＣＰパケットを作成し、作成したＲＴＣＰパケットを変調部１１ｃに送る装置である。

なお受信状況の報告には、ＲＴＣＰパケットの一種であるＲＲ（Receiver Report）パケットまたはＳＲ（Sender Report）パケットが使用されるが、以下の説明ではこれらを総称してＲＴＣＰパケットとする。

まず、ＲＴＰ受信部１２ｂの動作のうち、ＲＴＰパケット２１を受信し、そのＲＴＰパケット２１に含まれるストリームデータ２１ａを符号化復号装置５へ送る動作を説明する。

ＲＴＰ受信部１２ｂは、復調部１２ａから出力されたＲＴＰパケット２１を受信し、受信したＲＴＰパケット２１が第１のＲＴＰセッションのパケットである場合、そのパケットをストリーム識別子２１ｂに従って、動画像情報と音声情報とを判別し、かつ、これらの情報に属するストリームデータ２１ａをそれぞれのパケット番号２１ｃに従ってソートしてＲＴＰ受信部１２ｂ内の所定の記憶部に記憶する。

更に、ＲＴＰ受信部１２ｂは、第１のＲＴＰセッションのパケットの中で、ストリーム識別子２１ｂが「画像」であるＲＴＰパケット２１に消失があるか否かを調べ、消失したパケットの累積個数を記憶する。即ち、受信したＲＴＰパケット２１で、ストリーム識別子２１ｂが「画像」であるＲＴＰパケット２１のパケット番号２１ｃが直前に受信したストリーム識別子２１ｂが「画像」であるＲＴＰパケット２１のパケット番号２１ｃに１を加えた値であるかを調べる。

そして、上記受信したパケット番号２１ｃが上記直前に受信したパケット番号２１ｃに１を加えた値でない場合、上記受信したＲＴＰパケット２１と上記直前に受信したＲＴＰパケット２１との間のＲＴＰパケット２１が消失したと判断する。そして、消失したＲＴＰパケット２１の個数をＲＴＰ受信部１２ｂ内の所定の記憶部に記憶された消失した画像パケットの累積個数に加算して、上記所定の記憶部に更新記憶する。

また、ＲＴＰ受信部１２ｂは、第１のＲＴＰセッションのパケットの中で、ストリーム識別子２１ｂが「音声」であるＲＴＰパケット２１に消失があるか否かを調べ、消失した音声パケットの累積個数を記憶する。その動作は、上記説明したストリーム識別子２１ｂが「画像」であるＲＴＰパケット２１に消失があるか否かを調べ、消失したパケットの累積個数を更新記憶する動作と同一であり、説明を省略する。

また、ＲＴＰ受信部１２ｂは、受信したＲＴＰパケット２１が第２のＲＴＰセッションのパケットである場合、そのパケットをストリーム識別子２１ｂに従って、動画像情報と音声情報とに分離し、かつ、受信したＲＴＰパケット２１のストリームデータ２１ａが既に第１のＲＴＰセッションのパケットによって受信され、ＲＴＰ受信部１２ｂ内の所定の記憶部に記憶されているか否かを調べる。

そして、ＲＴＰ受信部１２ｂは、上記ストリームデータ２１ａが既に上記所定の記憶部に記憶されている場合、受信した第２のＲＴＰセッションのパケットを廃棄する。一方、記憶されていない場合、受信した第２のＲＴＰセッションのパケットのストリームデータ２１ａを、上記所定の記憶部に記憶されたストリームデータ２１ａと共に、そのパケットのパケット番号２１ｃに従ってソートして上記所定の記憶部に記憶する。

更に、ＲＴＰ受信部１２ｂは、ＲＴＰ受信部１２ｂ内の上記所定の記憶部にパケット番号２１ｃに従ってソートされて記憶されたストリームデータ２１ａから所定の長さの動画像情報ストリームと所定の長さの音声情報ストリームとを作成し、これらのストリームを符号化復号装置５に送る。

次に、ＲＴＰ受信部１２ｂのＲＴＣＰパケットを作成し、作成したＲＴＣＰパケットを変調部１１ｃに送る動作の説明をする。ＲＴＣＰパケットを作成し、作成したＲＴＣＰパケットを変調部１１ｃに送る動作は、ストリーム識別子２１ｂが「画像」であるＲＴＰパケット２１の受信状況と、ストリーム識別子２１ｂが「音声」であるＲＴＰパケット２１の受信状況とに対して、独立して行われる。

まず、ＲＴＰ受信部１２ｂのストリーム識別子２１ｂが「画像」であるＲＴＰパケット２１の受信状況を表す画像情報のＲＴＣＰパケットを作成し、作成したＲＴＣＰパケットを変調部１１ｃに送る動作は、所定の時間間隔を置いて起動されて動作を開始する。上記所定の時間間隔は、例えば５秒から１０秒の間であって、乱数によってその都度設定された間隔である。上記乱数は一様乱数であるが、これに限るものではなく、その他の乱数であっても良い。

図４は、ＲＴＣＰパケットの構成を示す。ＲＴＣＰパケット２２は、累積消失パケット数２２ａと、ストリーム識別子２２ｂからなる。累積消失パケット数２２ａは、ＲＴＰ受信部１２ｂ内の所定の記憶部に記憶された消失した画像パケットの累積個数である。

また、ストリーム識別子２２ｂは、「画像」なる情報である。ＲＴＣＰパケット２２は、更に、そのＲＴＣＰパケット２２が作成された時刻を有しても良い。

ＲＴＰ受信部１２ｂは、上記ＲＴＣＰパケット２２を作成し、作成されたＲＴＣＰパケット２２を変調部１１ｃに送る。そして、上記ＲＴＣＰパケット２２の累積消失パケット数２２ａをＲＴＰ受信部１２ｂ内の所定の記憶部に記憶する。

また、ＲＴＰ受信部１２ｂは、ストリーム識別子２１ｂが「音声」であるＲＴＰパケット２１の受信状況を表す音声情報のＲＴＣＰパケット２２を作成し、作成したＲＴＣＰパケット２２を変調部１１ｃに送る。

この音声情報のＲＴＣＰパケット２２を作成し、作成したＲＴＣＰパケット２２を変調部１１ｃに送る動作は、ＲＴＣＰパケット２２の累積消失パケット数２２ａは、ＲＴＰ受信部１２ｂ内の所定の記憶部に記憶された消失した音声パケットの累積個数であり、ストリーム識別子２２ｂは「音声」なる情報である。しかし、その他は上記説明したストリーム識別子２１ｂが「画像」であるＲＴＰパケット２１の受信状況を表す画像情報のＲＴＣＰパケット２２を作成し、作成したＲＴＣＰパケット２２を変調部１１ｃに送る動作と同一であり、説明を省略する。

なお、ストリーム識別子２１ｂが「音声」であるＲＴＰパケット２１の受信状況を表すＲＴＣＰパケット２２を作成し、作成したＲＴＣＰパケット２２を変調部１１ｃに送る動作が起動される時刻と、ストリーム識別子２１ｂが「画像」であるＲＴＰパケット２１の受信状況を表すＲＴＣＰパケット２２を作成し、作成したＲＴＣＰパケット２２を変調部１１ｃに送る動作が起動される時刻とはそれぞれが乱数に基づいて独立に決定され、依存関係はない。

次に、ＲＴＣＰ受信部１２ｃの動作を説明する。ＲＴＣＰ受信部１２ｃは、復調部１２ａから送信されたＲＴＣＰパケット２２をＲＴＣＰ受信部１２ｃ内の所定の記憶部に記憶し、記憶された複数のＲＴＣＰパケット２２からバースト誤りが発生したか否かを判断し、バースト誤りが発生したと判断される場合には、その誤りの長さおよびその誤りが継続した時間を推定する装置である。

更に、推定されたバースト誤りの長さを追加記憶し、記憶された複数の推定されたバースト誤りの長さの最大値を求め、求めた最大値の送信時間をもって最大バースト誤り時間１３ａを更新する。これによって、最大バースト誤り時間１３ａを小さい値とし、遅延部１１ｂが置く遅延時間を適切な範囲で短縮させる装置である。

ＲＴＣＰ受信部１２ｃは、受信したＲＴＣＰパケット２２に、パケット消失の有無を付加して記憶する。パケット消失の有無は、今回受信したＲＴＣＰパケット２２の累積消失パケット数２２ａの、前回受信したＲＴＣＰパケット２２からの増分が、所定値を超えていた場合に「消失有」と設定し、所定値以下の場合は「消失無」と設定する。該所定値を０に設定した場合はすべてのパケット消失をバーストエラーとして扱い、１以上に設定した場合は一度に少数のパケットが消失してもバーストエラーとして扱わないことを意味する。

以上の方法により連続するＲＴＣＰパケット２２間の時間帯（以下ＲＴＣＰ区間と表記する。）についてパケット消失の有無を判定すると、消失有または消失無のＲＴＣＰ区間が連続する場合がある。図５は、連続する消失有および消失無のＲＴＣＰパケットを何回か交互に受信した後にこれを記憶する方法を図示したものである。

連続する消失無のＲＴＣＰ区間の最終時刻をＴ４とした場合、時刻Ｔ４以前で最後に消失有と報告されたＲＴＣＰパケット２２の時刻をＴ３する。時刻Ｔ３以前で、最後に消失無と報告されたＲＴＣＰパケット２２の時刻をＴ２とする。Ｔ２以前で、最後に消失有と報告されたＲＴＣＰパケット２２の時刻（該当するものがなければ送信開始時刻。）をＴ１とする。

消失有のＲＴＣＰ区間の最終時刻をＴ３とした場合は上記と同様に、時刻Ｔ２およびＴ１を定義する。このとき時刻Ｔ４は無効とする。

なお一度も消失有ＲＴＣＰパケット２２を受信していない場合はＴ２およびＴ３を定義できない。またＲＴＰパケット２１の送信開始後、最初に受信したＲＴＣＰパケット２２が消失有であった場合は、その後消失無ＲＴＣＰパケット２２を受信するまでＴ１を定義できない。このような場合はＲＴＣＰ区間集合３１全体を無効とする。

すべてのＲＴＣＰパケット２２についてＲＴＣＰ区間集合３１の組み合わせを保存することも可能であるが、記憶領域の使用を抑えるため、実際にはＲＴＣＰ区間集合３２に示すように最新の２組を保存すれば十分である。図５の時刻Ｔａ、Ｔｂ、Ｔｃ、Ｔｄはそれぞれ時刻Ｔ１、Ｔ２、Ｔ３、Ｔ４と同じであり、Ｔｃ、Ｔｄ、ＴｅはそれぞれＴ１、Ｔ２、Ｔ３と同じ意味である。

最新のＲＴＣＰパケット２２が消失有の場合は最新のＲＴＣＰパケット２２の時刻をＴｅとし、消失無の場合は最新のＲＴＣＰパケット２２の時刻をＴｄとしてＴｅは無効とする。それ以前のＲＴＣＰパケット２２の時刻について、Ｔａ、Ｔｂ、Ｔｃ、Ｔｄを算出して記憶する。またＴｂ−Ｔｃ間およびＴｄ−Ｔｅ間にある各ＲＴＣＰパケット２２を保存することにより、各消失有ＲＴＣＰ区間を記憶する。ＲＴＣＰ区間集合３２は、各ストリームごとに保存する。

上記受信したＲＴＣＰパケット２２のストリーム識別子２２ｂは、「画像」または「音声」なる情報のいずれかであるが、その受信した情報を「第１のメディア」と称し、他方の情報を「第２のメディア」と称して、以下の動作を説明する。「第１のメディア」が「画像」情報であり、「第２のメディア」が「音声」情報である場合の動作と、「第１のメディア」が「音声」情報であり、「第２のメディア」が「画像」情報である場合の動作は同一である。

ＲＴＣＰパケット２２を受信した際に、前記の方法によって、今回のＲＴＣＰパケット２２の時刻を終端とするＲＴＣＰ区間が消失有か消失無かを判定し、ＲＴＣＰ区間集合３２を更新する。このときに全ストリームに関するＲＴＣＰ区間集合３２について、ＲＴＣＰ区間集合３２を構成するＲＴＣＰ区間集合３１に対して図６から図１２に示すＲＴＣＰパケット２２の受信状況を適用することにより、バースト誤り発生時間帯があるかどうかを判定する。この判定においては、全メディアのパケット消失は常に同時刻に発生するため、あるストリームの消失無ＲＴＣＰ区間では他のストリームのパケット消失も発生しないことを仮定している。

図６および図７は、第１のメディアおよび第２のメディアのＲＴＣＰパケット集合３３（時刻Ｔ２１−Ｔ３１およびＴ２２−Ｔ３２）がそれぞれ単一のＲＴＣＰ区間から構成される場合に、バースト誤り発生時間帯を検出する状況である。時刻Ｔ１１＜Ｔ２２、Ｔ１２＜Ｔ２１＜Ｔ３２、Ｔ２２＜Ｔ３１＜Ｔ４２、Ｔ３２＜Ｔ４１のすべての式が成立する場合にＲＴＣＰパケット２２の受信状況を適用できる。

図６においては、Ｔ２２−Ｔ３１の区間をバースト誤り発生時間帯とする。このとき該時間帯で、第１のメディアについてはＴ２１−Ｔ３１のＲＴＣＰパケット２２の消失パケット数をバースト誤り長と推定し、第２のメディアについてはＴ２２−Ｔ３２のＲＴＣＰパケット２２の消失パケット数をバースト誤り長と推定する。

図７においては、Ｔ２２−Ｔ３２の区間をバースト誤り発生時間帯とする。このとき該時間帯で図６の場合と同様に、第１のメディアについてはＴ２１−Ｔ３１のＲＴＣＰパケット２２の消失パケット数をバースト誤り長と推定し、第２のメディアについてはＴ２２−Ｔ３２のＲＴＣＰパケット２２の消失パケット数をバースト誤り長と推定する。

図８および図９は、第１のメディアのＲＴＣＰパケット集合３３（時刻Ｔ２１−Ｔ３１）が単一のＲＴＣＰ区間から構成され、第２のメディアのＲＴＣＰパケット集合３３（時刻Ｔ２２−Ｔ３２）が単一のＲＴＣＰ区間から構成され、時刻Ｔ３２以降に第２のメディアに関するＲＴＣＰパケット２２が到着していない場合に、バースト誤り発生時間帯を検出する状況である。時刻Ｔ１１＜Ｔ２２、Ｔ１２＜Ｔ２１＜Ｔ３２、Ｔ２２＜Ｔ３１＜Ｔ３２、Ｔ３２＜Ｔ４１のすべての式が成立する場合にＲＴＣＰパケット２２の受信状況を適用できる。

第２のメディアに関する最新のＲＴＣＰパケット２２は時刻Ｔ３２に報告され、その直前のＲＴＣＰパケット２２は時刻Ｔ２２に報告されているとする。第２のメディアの時刻Ｔ３２以降のパケット消失状況は未報告のため不明である。Ｔ３２−Ｔ４１において第２のメディアのパケット消失は発生していないと想定できるため、図８の場合は図６と、図９の場合は図７と同じ方式で、バースト誤り発生時間帯およびバースト誤り長を推定することができる。

図１０は、第１のメディアの消失有ＲＴＣＰパケット集合３３（時刻Ｔ２１−Ｔ３１）が複数のＲＴＣＰ区間から構成される場合にバースト誤り発生時間帯を検出する状況である。第２のメディアのＲＴＣＰパケット集合３３（時刻Ｔ２２−Ｔ３２）が単一のＲＴＣＰ区間から構成され、第一のメディアのＴ２１−Ｔ３１中の最新のＲＴＣＰ区間をＴ５１−Ｔ３１としたときに、時刻Ｔ１２＜Ｔ５１＜Ｔ２２＜Ｔ３１＜Ｔ３２＜Ｔ４１が成立する場合に受信状況を適用できる。

このとき第２のメディアの消失無ＲＴＣＰ区間Ｔ１２−Ｔ２２では、第１のメディアでもパケット消失が発生していないと想定できる。そこでＴ２２−Ｔ３１の区間をバースト誤り発生時間帯とする。このとき該時間帯で、第１のメディアについてはＴ５１−Ｔ３１のＲＴＣＰパケット２２の消失パケット数をバースト誤り長と推定し、第２のメディアについてはＴ２２−Ｔ３２のＲＴＣＰパケット２２の消失パケット数をバースト誤り長と推定する。

図１１は、第１のメディアのＲＴＣＰパケット集合３３（時刻Ｔ２１−Ｔ３１）が単一のＲＴＣＰ区間から構成され、第２のメディアのＲＴＣＰパケット集合３３（時刻Ｔ２２−Ｔ３２）が複数のＲＴＣＰ区間から構成される場合にバースト誤り発生時間帯を検出する状況である。時刻Ｔ１１＜Ｔ５２、Ｔ５２＜Ｔ２１＜Ｔ３２、Ｔ５２＜Ｔ３１＜Ｔ４２、Ｔ３２＜Ｔ４１のすべての式が成立する場合にＲＴＣＰパケット２２の受信状況を適用できる。

第２のメディアのＴ２２−Ｔ３２における最新のＲＴＣＰ区間をＴ５２−Ｔ３２とする。このとき第１のメディアの消失無ＲＴＣＰ区間Ｔ１１−Ｔ２１では、第２のメディアでもパケット消失が発生していないと想定できる。そこでＴ２１−Ｔ３１の区間をバースト誤り発生時間帯とする。このとき該時間帯で、第１のメディアについてはＴ２１−Ｔ３１のＲＴＣＰパケット２２の消失パケット数をバースト誤り長と推定し、第２のメディアについてはＴ５２−Ｔ３２のＲＴＣＰパケット２２の消失パケット数をバースト誤り長と推定する。

図１２は、第１のメディアのＲＴＣＰパケット集合３３（時刻Ｔ２１−Ｔ３１）が２個のＲＴＣＰ区間から構成され、第２のメディアのＲＴＣＰパケット集合３３（時刻Ｔ２２−Ｔ３２）が単一のＲＴＣＰ区間から構成される場合にバースト誤り発生時間帯を検出する状況である。Ｔ１１＜Ｔ２２、Ｔ１２＜Ｔ２１＜Ｔ３２、Ｔ２２＜Ｔ３１＜Ｔ４２、Ｔ３２＜Ｔ４１、Ｔ２２＜Ｔ５１＜Ｔ３２のすべての式が成立する場合にＲＴＣＰパケット２２の受信状況を適用できる。

このとき｛時刻Ｔ２１とＴ２２の遅い方｝からＴ５１間と、Ｔ５１から｛時刻Ｔ３１とＴ３２の早い方｝間のそれぞれをバースト誤り発生時間帯とする。このときそれぞれ時間帯で、第１のメディアについてはＴ２１−Ｔ５１およびＴ５１−Ｔ３１のＲＴＣＰパケット２２の消失パケット数をバースト誤り長と推定する。第２のメディアの各バースト誤り発生時間帯については、Ｔ２２−Ｔ３２のＲＴＣＰパケット２２の消失パケット数を、第１のメディアのバースト誤り長で比例配分する。

また、上記の説明では、ＲＴＣＰ受信部１２ｃがバースト誤りの長さをＲＴＣＰパケット２２を受信した時刻を用いて推定したが、これに限るものではない。ＲＴＣＰパケット２２がそのＲＴＣＰパケット２２が作成された時刻を含んでいるなら、ＲＴＣＰパケット２２に含まれる時刻を用いて推定しても良い。これによれば、ＲＴＣＰパケット２２が伝送されるために必要な時間のばらつきに起因するバースト誤りの長さの推定誤差の削減が可能である。

また、ＲＴＣＰパケット２２が伝送中に消失することがある。しかしこれはＲＴＣＰパケット２２の送信間隔が長くなったことと等しい。ＲＴＣＰパケット２２には累積消失パケット数２２ａが記載されているため、その増分によって求められる消失パケット数の情報そのものが失われることはないからである。

また、上記の説明では、伝送される情報は、画像情報と音声情報の２つの情報であるとしたが、これに限るものではなく、３以上の情報であるとしても良い。例えば、文字情報を加えた３つの情報であるとしても良い。この場合、ＲＴＣＰ受信部１２ｃは、第１〜３のメディアのＲＴＣＰパケット２２が共通してＲＴＰパケット２１の消失を示す時間帯でバースト誤りが発生したと判断し、バースト誤りの長さを推定すれば良い。これによって、推定に用いるバースト誤り発生時間帯は、更に短縮が可能となる。

更に、ＲＴＰ受信部１２ｂは、第２のＲＴＰセッションの画像情報と音声情報についてはＲＴＣＰパケット２２を送信しないとしたが、これに限るものではない。これらの情報について、または、これらの情報の１つについてもＲＴＣＰパケット２２を送信するとしても良い。この場合、ＲＴＣＰ受信部１２ｃは、上記第２のＲＴＰセッションに対するＲＴＣＰパケット２２を第３、第４のメディアのＲＴＣＰパケット２２として、第１、第２のメディアのＲＴＣＰパケット２２と同様に扱うことによって、バースト誤り発生時間帯を更に短縮でき、バースト誤りの長さをより適切に推定することが可能となる。

また、メディアの数が多くなるに従って、１回のバースト誤りによって全てのメディアにはＲＴＰパケット２１の消失が発生しないことがある。特にテキストのように送信頻度の低いメディアでは消失が発生しにくい傾向がある。そこで、全てのメディアのＲＴＣＰパケット２２が共通してＲＴＰパケット２１の消失を示す時間帯でバースト誤りが発生したと判断することなく、所定数以上のメディアのＲＴＣＰパケット２２が共通してＲＴＰパケット２１の消失を示す時間帯でバースト誤りが発生したと判断しても良い。

更に、上記の説明では、１台の移動通信端末装置が情報送信装置としても動作し、また、情報受信装置としても動作するものとしたが、これに限るものではない。移動通信端末装置が情報送信装置としてのみ動作するのであれば、表示装置６ｃ、スピーカ６ｄ、及び、ＲＴＰ受信部１２ｂは不要である。更に、符号化復号装置５の復号の部分は不要である。

一方、移動通信端末装置が情報受信装置としてのみ動作するのであれば、カメラ６ａ、マイク６ｂ、ＲＴＰ送信部１１ａ、及び、遅延部１１ｂは不要である。更に、符号化復号装置５の符号化の部分は不要である。

また本発明は、情報送信装置と情報受信装置の間で情報を中継するルータ等の機器に適用することも可能である。その場合には、カメラ６ａ、マイク６ｂ、表示装置６ｃ、スピーカ６ｄ、及び、符号化復号装置５は不要である。

本実施形態では、移動通信端末装置は、基地局を経由して通信するものとしたが、これに限るものではない。移動通信端末装置間で直接に通信しても良い。例えば、移動通信端末装置が近距離無線通信装置（図示せず）を備え、近距離無線通信装置は、ブルートゥース（登録商標）方式、または、無線ＬＡＮ方式を用いて近距離の無線送受信を行っても良い。

この場合、１台の移動通信端末装置が近距離無線通信装置を用いて送信した情報を、複数の移動通信端末装置が近距離無線通信装置を用いて受信することができる。そして、情報を受信した複数の移動通信端末装置が作成した受信状況を表すＲＴＣＰパケット２２を、近距離無線通信装置を用いて情報を送信した移動通信端末装置に送信することができる。

そこで、通信回線の特性上、バースト誤りによって全ての移動通信端末装置への伝送に誤りが混入する場合、情報を送信した移動通信端末装置は、情報を受信した全ての移動通信端末装置から送信されたＲＴＣＰパケット２２が共通してＲＴＰパケット２１の消失を示す時間帯で、バースト誤りが発生したと判断することができる。

前記全ての移動通信端末装置から送信されたＲＴＣＰパケット２２が共通してＲＴＰパケット２１の消失を示すバースト誤り発生時間帯は短い。そこで、バースト誤りの長さをより正確に推定することができる。また、所定数以上の移動通信端末装置から送信されたＲＴＣＰパケット２２が共通してＲＴＰパケット２１の消失を示す時間帯で、バースト誤りが発生したと判断しても良い。本発明は以上の構成に限定されるものではなく、種々の変形が可能である。

また、以上の説明は、本発明を移動通信端末装置に適用した形態を例にとって行ったが、本発明は、無線通信機能を有する、または、付加された情報端末装置、例えば、パソコンや、ＰＤＡ（Personal Digital Assistants）に適用することも当然に可能である。

本発明の実施形態に係る移動通信端末装置の構成を示すブロック図。 本発明の実施形態に係る送受信装置の構成を示すブロック図。 本発明の実施形態に係るＲＴＰパケットのデータ構造を示す図。 本発明の実施形態に係るＲＴＣＰパケットのデータ構造を示す図。 本発明の実施形態に係るＲＴＣＰパケットの集合を示す図。 本発明の実施形態に係るＲＴＣＰパケットの受信状況を示す図（その１）。 本発明の実施形態に係るＲＴＣＰパケットの受信状況を示す図（その２）。 本発明の実施形態に係るＲＴＣＰパケットの受信状況を示す図（その３）。 本発明の実施形態に係るＲＴＣＰパケットの受信状況を示す図（その４）。 本発明の実施形態に係るＲＴＣＰパケットの受信状況を示す図（その５）。 本発明の実施形態に係るＲＴＣＰパケットの受信状況を示す図（その６）。 本発明の実施形態に係るＲＴＣＰパケットの受信状況を示す図（その７）。

符号の説明

３ 送受信装置
１１ 送信部
１１ａ ＲＴＰ送信部
１１ｂ 遅延部
１１ｃ 変調部
１２ 受信部
１２ａ 復調部
１２ｂ ＲＴＰ受信部
１２ｃ ＲＴＣＰ受信部
１３ 最大バースト誤り時間記憶部
１３ａ 最大バースト誤り時間
２１ ＲＴＰパケット
２１ａ ストリームデータ
２１ｂ、２２ｂ ストリーム識別子
２１ｃ パケット番号
２２ ＲＴＣＰパケット
２２ａ 累積消失パケット数
３１、３２ ＲＴＣＰ区間集合
３３ ＲＴＣＰパケット集合
Ｔ１〜Ｔ４、Ｔ１１〜Ｔ５２、Ｔａ〜Ｔｅ 時刻

Claims (16)

1. 同期した複数の種類の情報を送信する情報送信装置と、前記情報送信装置から送信された前記複数の種類の情報を受信する１つ以上の情報受信装置とが通信回線を介して接続された情報通信システムであって、
   前記情報受信装置は、
   前記複数の種類の情報を受信する受信手段と、
   前記受信手段による前記情報の受信状況を前記種類毎に所定の時間間隔で作成する受信状況作成手段と、
   前記受信状況作成手段によって作成された受信状況を前記情報送信装置に送信する受信状況送信手段とを有し、
   前記情報送信装置は、
   前記複数の種類の情報を送信する送信手段と、
   前記受信状況を受信して記憶する受信状況受信手段と、
   前記受信状況受信手段によって受信され、または、記憶された前記種類の情報の受信状況から前記情報の所定値以上の伝送誤りが発生した伝送誤り時間帯を検出し、前記情報受信装置および種類に関する規定数以上の前記情報の伝送誤り時間帯に共通な時間帯であるバースト誤り発生時間帯を検出するバースト誤り発生時間帯検出手段と、
   前記バースト誤り発生時間帯に発生した前記各情報の伝送誤り数をバースト誤り長と推定するバースト誤り長推定手段と
   を有することを特徴とする情報通信システム。
2. 前記バースト誤り長推定手段は、前記情報を前記バースト誤り長分送信する時間を推定してバースト誤り時間とすることを特徴とする請求項１に記載の情報通信システム。
3. 前記情報送信装置は、前記バースト誤り時間分以上の遅延処理を行う遅延手段と、
   前記遅延手段によって遅延処理された前記複数の種類の情報を再送信する再送手段とを更に有することを特徴とする請求項２に記載の情報通信システム。
4. 前記バースト誤り長推定手段は、前記バースト誤り長の推定に使用する前記バースト誤り発生時間帯の時間長に上限を設けることを特徴とする請求項１に記載の情報通信システム。
5. 前記複数の種類の情報は、符号化された動画像情報と符号化された音声情報とである
   ことを特徴とする請求項１に記載の情報通信システム。
6. 前記送信手段は、前記情報をパケット化して送信し、
   前記受信状況は、前記情報受信装置が正しく受信できなかった前記種類毎の前記パケットの累積数を含み、
   前記伝送誤りは、前記種類の情報の受信状況に含まれる前記パケットの累積数と、その受信状況の受信の直前に受信されたその種類の情報の受信状況に含まれる前記パケットの累積数との差が０以上の所定値を超えることであり、
   前記伝送誤り時間帯は、前記２つの受信状況の属性である時刻の間である
   ことを特徴とする請求項１に記載の情報通信システム。
7. 情報を送信する情報送信装置と、前記情報送信装置から送信された前記情報を受信する複数の情報受信装置とが通信回線を介して接続された情報通信システムであって、
   前記情報受信装置は、
   前記情報を受信する受信手段と、
   前記受信手段による前記情報の受信状況を所定の時間間隔毎に作成する受信状況作成手段と、
   前記受信状況作成手段によって作成された受信状況を前記情報送信装置に送信する受信状況送信手段とを有し、
   前記情報送信装置は、
   前記情報を送信する送信手段と、
   前記受信状況を受信して記憶する受信状況受信手段と、
   前記受信状況受信手段によって受信され、または、記憶された前記情報受信装置の受信状況から前記情報受信装置への所定値以上の伝送誤りが発生した伝送誤り時間帯を検出し、前記情報受信装置に関する規定値以上の前記伝送誤り時間帯に共通な時間帯であるバースト誤り発生時間帯を検出するバースト誤り発生時間帯検出手段と、
   前記バースト誤り発生時間帯に発生した前記各情報受信装置の伝送誤り数をバースト誤り長と推定するバースト誤り長推定手段と
   を有することを特徴とする情報通信システム。
8. 前記送信手段は、前記情報をパケット化して送信し、
   前記受信状況は、前記情報受信装置が正しく受信できなかった前記パケットの累積数を含み、
   前記伝送誤りは、前記情報受信装置から送信された受信状況に含まれる前記パケットの累積数と、その受信状況の受信の直前に受信されたその情報受信装置から送信された受信状況に含まれる前記パケットの累積数との差が０以上の所定値を超えることであり、
   前記伝送誤り時間帯は、前記２つの受信状況の属性である時刻の間である
   ことを特徴とする請求項７に記載の情報通信システム。
9. 前記受信状況作成手段は、前記所定の時間間隔を乱数に基いて決定する
   ことを特徴とする請求項１または請求項７に記載の情報通信システム。
10. 前記送信手段は、前記情報をＲＴＰパケットとして送信し、
    前記受信状況送信手段は、前記受信状況をＲＴＣＰパケットとして送信する
    ことを特徴とする請求項１または請求項７に記載の情報通信システム。
11. 前記受信状況の属性である時刻は、前記受信状況作成手段が前記受信状況を作成した時刻である
    ことを特徴とする請求項６または請求項８に記載の情報通信システム。
12. 前記受信状況の属性である時刻は、前記受信状況受信手段が前記受信状況を受信した時刻である
    ことを特徴とする請求項６または請求項８に記載の情報通信システム。
13. 同期した複数の種類の情報を受信して、その情報の受信状況を前記種類毎に所定の時間間隔で作成して、その作成された受信状況を送信する１つ以上の情報受信装置と通信回線を介して接続された情報送信装置であって、
    前記複数の種類の情報を送信する送信手段と、
    前記受信状況を受信して記憶する受信状況受信手段と、
    前記受信状況受信手段によって受信され、または、記憶された前記種類の情報の受信状況から前記情報の所定値以上の伝送誤りが発生した伝送誤り時間帯を検出し、前記情報受信装置および種類に関する規定数以上の前記情報の伝送誤り時間帯に共通な時間帯であるバースト誤り発生時間帯を検出するバースト誤り発生時間帯検出手段と、
    前記バースト誤り発生時間帯に発生した前記各情報の伝送誤り数をバースト誤り長と推定するバースト誤り長推定手段と
    を有することを特徴とする情報送信装置。
14. 情報を受信して、その情報の受信状況を所定の時間間隔毎に作成して、その受信状況を送信する複数の情報受信装置と通信回線を介して接続された情報送信装置であって、
    前記情報を送信する送信手段と、
    前記受信状況を受信して記憶する受信状況受信手段と、
    前記受信状況受信手段によって受信され、または、記憶された前記情報受信装置の受信状況から前記情報受信装置への所定値以上の伝送誤りが発生した伝送誤り時間帯を検出し、前記情報受信装置に関する規定値以上の前記伝送誤り時間帯に共通な時間帯であるバースト誤り発生時間帯を検出するバースト誤り発生時間帯検出手段と、
    前記バースト誤り発生時間帯に発生した前記各情報受信装置の伝送誤り数をバースト誤り長と推定するバースト誤り長推定手段と
    を有することを特徴とする情報送信装置。
15. 同期した複数の種類の情報を受信して、その情報の受信状況を前記種類毎に所定の時間間隔で作成して、その作成された受信状況を送信する１つ以上の情報受信装置と通信回線を介して接続された情報送信装置の情報送信方法であって、
    前記複数の種類の情報を送信し、
    前記受信状況を受信して記憶し、
    前記受信され、または、記憶された前記種類の情報の受信状況から前記情報の所定値以上の伝送誤りが発生した伝送誤り時間帯を検出し、
    前記情報受信装置および種類に関する規定数以上の前記情報の伝送誤り時間帯に共通な時間帯であるバースト誤り発生時間帯を検出し、
    前記バースト誤り発生時間帯に発生した前記各情報の伝送誤り数をバースト誤り長と推定する
    ことを特徴とする情報送信方法。
16. 情報を受信して、その情報の受信状況を所定の時間間隔毎に作成して、その受信状況を送信する複数の情報受信装置と通信回線を介して接続された情報送信装置の情報送信方法であって、
    前記情報を送信し、
    前記受信状況を受信して記憶し、
    前記受信され、または、記憶された前記情報受信装置の受信状況から前記情報受信装置への所定値以上の伝送誤りが発生した伝送誤り時間帯を検出し、
    前記情報受信装置に関する規定値以上の前記伝送誤り時間帯に共通な時間帯であるバースト誤り発生時間帯を検出し、
    前記バースト誤り発生時間帯に発生した前記各情報受信装置の伝送誤り数をバースト誤り長と推定する
    ことを特徴とする情報送信方法。

Images