JP2004032225A

JP2004032225A - 双方向通信システム

Info

Publication number: JP2004032225A
Application number: JP2002183815A
Authority: JP
Inventors: Yoshihiro Machida; 町田　芳広; Akira Sasaki; 佐々木　昭; Koji Kamogawa; 鴨川　浩二; Takeshi Kamiyama; 神山　健; Hideharu Omori; 大森　英晴; Masayuki Nishikawa; 西川　雅之
Original assignee: Hitachi Ltd; KDDI Corp
Current assignee: Hitachi Ltd; KDDI Corp
Priority date: 2002-06-25
Filing date: 2002-06-25
Publication date: 2004-01-29
Anticipated expiration: 2022-06-25
Also published as: JP4057356B2

Abstract

【課題】データ伝送帯域を大幅に増やしたり、冗長性を大にすることなく、データが欠落してもほとんど気にならない程度に、映像と音声の途切れを少なくすることができる双方向通信システムを提供する。
【解決手段】ネットワークを介して双方向にデータ伝送可能に接続された各ユーザ宅の通信装置にそれぞれ、送信処理部と受信処理部を備える双方向通信システムであって、送信処理部においてエンコーダ出力、音声二重化、パケット分割、ＲＴＰ送信などのデータ処理を行い、受信処理部においてＲＴＰ受信、データ取出、デコーダ入力などのデータ処理を行うことにより、受信した音声データ／映像データのパケットに欠落がある場合には、欠落していない二重化・分割した別のパケットを用いたり、欠落していないパケットのヘッダ情報のデータサイズを変更して、音声データ／映像データのパケットを再生する。
【選択図】　　　　図５

Description

【０００１】
【発明の属する技術分野】
本発明は、ネットワークを介した双方向通信システムに関し、特に映像と音声の品質低下を少なくすることを可能とする双方向通信システムに適用して有効な技術に関する。
【０００２】
【従来の技術】
本発明者が検討したところによれば、ＩＰ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ）ネットワークを介した双方向の音声・映像通信システムに関しては、以下のような技術が考えられる。以下においては、本発明者が本発明の前提として検討した双方向通信システム、およびこの双方向通信システムにおける送信／受信処理について説明する。
【０００３】
たとえば、双方向通信システムは、ＩＰネットワーク上に接続される複数のユーザ宅の通信装置などから構成される。各ユーザ宅の通信装置には、相手装置に対して映像および音声のデータパケットを送信する送信処理部と、相手装置からの映像および音声のデータパケットを受信する受信処理部などが備えられている。このような双方向通信システムにおいて、送信処理部、受信処理部におけるパケットのデータ処理は、たとえば図１３のようにして行われる。
【０００４】
まず、送信処理部による送信処理においては、映像データＶ１〜Ｖ７と音声データＡ１，Ａ２の各パケットのエンコーダ出力、エンコーダ出力とＩＰネットワークのパケットサイズを整合するための映像データＶ１〜Ｖ７と音声データＡ１，Ａ２の各パケットの映像データＶ１ａ，Ｖ１ｂ〜Ｖ７ａ，Ｖ７ｂと音声データＡ１ａ，Ａ１ｂ，Ａ２ａ，Ａ２ｂの各パケットへのパケット分割、分割された映像データＶ１ａ，Ｖ１ｂ〜Ｖ７ａ，Ｖ７ｂと音声データＡ１ａ，Ａ１ｂ，Ａ２ａ，Ａ２ｂの各パケットをＲＴＰ１〜ＲＴＰ１８のパケットとしてのＲＴＰ（Ｒｅａｌｔｉｍｅ　Ｔｒａｎｓｐｏｒｔ　Ｐｒｏｔｏｃｏｌ）送信などの処理が順に行われる。
【０００５】
また、受信処理部による受信処理においては、送信されてきたＲＴＰ１〜ＲＴＰ１８のパケットのＲＴＰ受信、ＲＴＰ１〜ＲＴＰ１８からの分割された映像データＶ１ａ，Ｖ１ｂ〜Ｖ７ａ，Ｖ７ｂと音声データＡ１ａ，Ａ１ｂ，Ａ２ａ，Ａ２ｂの各パケットのデータ取出、分割された映像データＶ１ａ，Ｖ１ｂ〜Ｖ７ａ，Ｖ７ｂと音声データＡ１ａ，Ａ１ｂ，Ａ２ａ，Ａ２ｂの各パケットの結合による映像データＶ１〜Ｖ７と音声データＡ１，Ａ２のデコーダ入力、データの生成などの処理が順に行われる。
【０００６】
なお、このようなネットワークを介した双方向通信システムに関する技術としては、たとえば特開２００２−７７２６４号公報に記載される技術などが挙げられる。この公報には、通話中にＩＰパケット損失により欠落した音声データを完全に補完して録音するようにしたＩＰ電話録音システムに関する技術が開示されている。
【０００７】
【発明が解決しようとする課題】
ところで、前記のようなネットワークを介した双方向通信システムに関して、本発明者が検討した結果、以下のようなことが明らかとなった。
【０００８】
たとえば、前述した図１３に示す、本発明者が本発明の前提として検討した双方向通信システムにおける送信／受信処理において、ＩＰネットワーク上でＲＴＰパケットの消失が発生すると、以下のように映像データ、音声データの再生が精度良く行われないという問題がある。
【０００９】
（１）映像データの後半が欠落した場合、パケットのヘッダ情報に記載されているデータサイズと実際のサイズが異なるため、正常にデコードできない。この結果、映像のコマ落ちが発生することにつながる。
【００１０】
（２）音声データの後半が欠落した場合、パケットのヘッダ情報に記載されているデータサイズと実際のサイズが異なるため、正常にデコードできない。この結果、音声の途切れが発生することにつながる。
【００１１】
（３）音声データの後半と映像データの前半が連続して欠落した場合、音声データの前半と映像データの後半を結合してデコードするため、異常音が発生することがある。
【００１２】
特に、映像データ、音声データを用いた双方向通信システムにおいては、リアルタイム性を重視するため、データ再送信制御を行わない場合がある。このとき、データが欠落すると、映像にはブロック状のノイズやコマ落ち、音声には途切れが発生し、コミュニケーションに影響を及ぼすことが考えられる。
【００１３】
なお、データ欠落時の補正方法としては、たとえば前記特開２００２−７７２６４号公報の音声データのみに関する補完の技術や、ＣＲＣを用いる方法などがあるが、冗長性が大になり、データ伝送帯域を圧迫するなどの問題があるので、良好に適用できない。
【００１４】
そこで、本発明の目的は、データ伝送帯域を大幅に増やしたり、冗長性を大にすることなく、データが欠落してもほとんど気にならない程度に、映像と音声の途切れなどの品質低下を少なくすることができる双方向通信システムを提供することにある。
【００１５】
【課題を解決するための手段】
本発明は、前記目的を達成するために、ネットワークを介して双方向にデータ伝送可能に接続された複数の通信装置のそれぞれに、以下のような手段を有することを特徴とするものである。
【００１６】
（１）音声データまたは／および映像データのパケットを多重化し、この多重化した音声データまたは／および映像データのパケットを送信する送信処理手段と、前記多重化した音声データまたは／および映像データのパケットを受信し、この受信した多重化した音声データまたは／および映像データのパケットに欠落がある場合には、欠落していない多重化した別のパケットを用いて音声データまたは／および映像データのパケットを再生する受信処理手段と、を有する。これにより、受信した多重化した音声データまたは／および映像データのパケットに欠落がある場合には、欠落していない多重化した別のパケットを用いて、音声データまたは／および映像データのパケットを再生することができるようになる。
【００１７】
（２）音声データまたは／および映像データのパケットを多重化し、この多重化した音声データまたは／および映像データのパケットを分割し、この多重化・分割した音声データまたは／および映像データのパケットを送信する送信処理手段と、前記多重化・分割した音声データまたは／および映像データのパケットを受信し、この受信した多重化・分割した音声データまたは／および映像データのパケットに欠落がある場合には、欠落していない多重化・分割した別のパケットを用いて音声データまたは／および映像データのパケットを再生する受信処理手段と、を有する。さらに、前記受信処理手段は、欠落していない多重化・分割したヘッダ情報を含む音声データまたは／および映像データのパケットと、欠落していない多重化・分割したヘッダ情報を含まない音声データまたは／および映像データのパケットとを結合して、元のヘッダ情報を含む音声データまたは／および映像データのパケットを再生するものである。これにより、受信した多重化・分割した音声データまたは／および映像データのパケットに欠落がある場合には、欠落していない多重化・分割した別のパケットを用い、さらには欠落していない多重化・分割したヘッダ情報を含む音声データまたは／および映像データのパケットと、欠落していない多重化・分割したヘッダ情報を含まない音声データまたは／および映像データのパケットとを結合して、音声データまたは／および映像データのパケットを再生することができるようになる。
【００１８】
（３）音声データまたは／および映像データのパケットを多重化し、この多重化した音声データまたは／および映像データのパケットを分割し、この多重化・分割した音声データまたは／および映像データのパケットを送信する送信処理手段と、前記多重化・分割した音声データまたは／および映像データのパケットを受信し、この受信した多重化・分割した音声データまたは／および映像データのパケットに欠落がある場合には、欠落していない多重化・分割したヘッダ情報を含む音声データまたは／および映像データのパケットのヘッダ情報のデータサイズを変更して音声データまたは／および映像データのパケットを再生する受信処理手段と、を有する。これにより、受信した多重化・分割した音声データまたは／および映像データのパケットに欠落がある場合には、欠落していない多重化・分割したヘッダ情報を含む音声データまたは／および映像データのパケットのヘッダ情報のデータサイズを変更して、音声データまたは／および映像データのパケットを再生することができるようになる。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一機能を有する部材には同一の符号を付し、その繰り返しの説明は省略する。
【００２０】
図１および図２により、本発明の一実施の形態の双方向通信システムの構成の一例を説明する。図１は本実施の形態の双方向通信システムの構成図、図２は別の双方向通信システムの構成図をそれぞれ示す。
【００２１】
本実施の形態の双方向通信システムは、特に限定されるものではないが、たとえばテレビ電話、テレビ会議などに用いられ、図１に示すように、ネットワーク１上に接続される複数のユーザ宅の通信装置２，３（図１ではユーザ宅（Ａ）と（Ｂ）の２つの場合を例示）などから構成され、各ユーザ宅の通信装置２，３はネットワーク１を介して双方向にデータ伝送可能に接続されている。
【００２２】
各ユーザ宅の通信装置２，３にはそれぞれ、映像を表示する画像表示装置１１と、音声を入出力する音声入出力装置１２と、映像を入力する画像入力装置１３と、映像・音声データを伝送するネットワーク端末１４などが備えられている。たとえば、画像表示装置１１にはテレビ、音声入出力装置１２にはヘッドセット、画像入力装置１３にはカメラがそれぞれ用いられる。
【００２３】
また、本実施の形態の別の双方向通信システムは、図２に示すように、前記図１の構成に対して、ネットワーク１上にゲートキーパ４とＭＣＵ５が追加され、複数地点における双方向通信が可能な構成となっている。ゲートキーパ４には、発呼、受信などの呼制御やＩＰアドレスと電話番号の対応付けなどを管理するプロトコル制御サーバが備えられている。ＭＣＵ５には、発信者の音声や映像のデータを複数地点に配信したり、複数地点の音声や映像のデータを混合配信するストリーム処理サーバが備えられている。
【００２４】
次に、図３および図４により、前記各ユーザ宅の通信装置を構成するネットワーク端末の構成の一例を説明する。図３はネットワーク端末の構成図、図４は別のネットワーク端末の構成図をそれぞれ示す。
【００２５】
ネットワーク端末１４は、特に限定されるものではないが、たとえば図３に示すように、自装置の通信装置２（３）の画像入力装置１３から出力された映像データ、音声入出力装置１２から出力された音声データをそれぞれ入力とし、相手装置の通信装置３（２）に映像・音声データを送信する送信処理部（送信処理手段）２１と、相手装置の通信装置３（２）から送信されてきた送信データを入力とし、自装置の通信装置２（３）の画像表示装置１１に映像データ、音声入出力装置１２に音声データをそれぞれ出力する受信処理部（受信処理手段）２２から構成される。
【００２６】
送信処理部２１には、入力された映像データを圧縮する映像圧縮装置３１と、入力された音声データを圧縮する音声圧縮装置３２と、映像圧縮装置３１および音声圧縮装置３２により圧縮された映像・音声データを送信するためにデータ処理する送信データ処理装置３３と、送信データ処理装置３３によりデータ処理された送信データを送信する送信装置３４などが備えられている。たとえば、映像圧縮装置３１にはＭＰＥＧ２方式のエンコーダ、音声圧縮装置３２にはＭＰＥＧ１方式のエンコーダなどがそれぞれ用いられ、また送信データ処理装置３３はＣＰＵなどのプログラム制御によるソフトウェアにより実現される。
【００２７】
受信処理部２２には、送信されてきた送信データを受信する受信装置３５と、受信装置３５により受信された受信データを解凍するためにデータ処理する受信データ処理装置３６と、受信データ処理装置３６によりデータ処理された映像データを解凍し、この解凍された映像データを出力する映像解凍装置３７と、受信データ処理装置３６によりデータ処理された音声データを解凍し、この解凍された音声データを出力する音声解凍装置３８などが備えられている。たとえば、映像解凍装置３７にはＭＰＥＧ２方式のデコーダ、音声解凍装置３８にはＭＰＥＧ１方式のデコーダなどがそれぞれ用いられ、また受信データ処理装置３６はＣＰＵなどのプログラム制御によるソフトウェアにより実現される。
【００２８】
また、別のネットワーク端末は、図４に示すように、前記図３の構成に対して、受信処理部２２側にプロトコル制御装置３９と切替制御装置４０と映像データのファイル４１が追加され、待ち受け画面を有する構成となっている。プロトコル制御装置３９は、受信装置３５における受信をモニタしてプロトコルを制御し、この制御信号を切替制御装置４０に出力する。切替制御装置４０は、プロトコル制御装置３９からの制御信号に基づいて接続経路を切り替える。たとえば、プロトコル制御装置３９からの制御信号が双方向通信不可能を示す場合には、ファイル４１の映像データを映像解凍装置３７に送信して、たとえば「接続処理中」などのメッセージを表示する。そして、プロトコル制御装置３９からの制御信号が双方向通信可能を示した時点で、受信データ処理装置３６と映像解凍装置３７、音声解凍装置３８との間を接続し、双方向通信を実行可能にする。
【００２９】
次に、図５により、前記送信処理部、受信処理部におけるパケットのデータ処理の一例を説明する。図５は送信処理部、受信処理部におけるパケットのデータ処理の説明図を示す。なお、ここでは、音声データを二重化する例を示すが、映像データについても同様に適用可能である。また、二重化に限らず、三重化以上の多重化とすることも可能であることはいうまでもない。
【００３０】
送信処理部２１においては、エンコーダ出力、音声二重化、パケット分割、ＲＴＰ送信などのデータ処理が行われる。これに限定されるものではないが、図５においては、エンコーダ出力は（２ＫＢ／ｐａｃｋｅｔ）、ＲＴＰ送信は（１ＫＢ／ｐａｃｋｅｔ）を例に示している。
【００３１】
この送信処理部２１では、まず、エンコーダ出力として、映像データのＶ１、Ｖ２、Ｖ３を、音声データのＡ１を、映像データのＶ４、Ｖ５、Ｖ６を、音声データのＡ２を、さらに映像データのＶ７を、それぞれ出力する。
【００３２】
そして、音声二重化において、音声データのＡ１、Ａ２をそれぞれ、Ａ１，Ａ１、Ａ２，Ａ２に二重化する。
【００３３】
その後、パケット分割において、映像データのＶ１、Ｖ２、Ｖ３をそれぞれＶ１ａとＶ１ｂ、Ｖ２ａとＶ２ｂ、Ｖ３ａとＶ３ｂに、音声データのＡ１，Ａ１をそれぞれＡ１ａとＡ１ｂ，Ａ１ａとＡ１ｂに、映像データのＶ４、Ｖ５、Ｖ６をそれぞれＶ４ａとＶ４ｂ、Ｖ５ａとＶ５ｂ、Ｖ６ａとＶ６ｂに、音声データのＡ２，Ａ２をそれぞれＡ２ａとＡ２ｂ，Ａ２ａとＡ２ｂに、さらに映像データのＶ７をＶ７ａとＶ７ｂに、それぞれ分割する。
【００３４】
そして、ＲＴＰ送信において、映像データのＶ１ａをＲＴＰ１、Ｖ１ｂをＲＴＰ２、…、Ｖ３ａをＲＴＰ５、Ｖ３ｂをＲＴＰ６とし、音声データのＡ１ａをＲＴＰ７、Ａ１ｂをＲＴＰ８、Ａ１ａをＲＴＰ９、Ａ１ｂをＲＴＰ１０とし、映像データのＶ４ａをＲＴＰ１１、Ｖ４ｂをＲＴＰ１２、…、Ｖ６ａをＲＴＰ１５、Ｖ６ｂをＲＴＰ１６とし、音声データのＡ２ａをＲＴＰ１７、Ａ２ｂをＲＴＰ１８、Ａ２ａをＲＴＰ１９、Ａ２ｂをＲＴＰ２０とし、さらに映像データのＶ７ａをＲＴＰ２１、Ｖ７ｂをＲＴＰ２２として、それぞれ送信する。
【００３５】
受信処理部２２においては、ＲＴＰ受信、データ取出、デコーダ入力などのデータ処理が行われる。図５においては、前述した送信処理部２１に対応して、ＲＴＰ受信は（１ＫＢ／ｐａｃｋｅｔ）、デコーダ入力は（２ＫＢ／ｐａｃｋｅｔ）を例に示している。
【００３６】
この受信処理部２２では、映像データのＲＴＰ２と、音声データのＲＴＰ８、ＲＴＰ１８、ＲＴＰ１９に欠落があり、これらの部分が不連続となる場合を示している。たとえば、映像データを４Ｍｂｐｓ、音声データを１２８Ｋｂｐｓとした場合に、映像データ：音声データの欠落発生頻度の割合は３１：１となる。
【００３７】
まず、ＲＴＰ受信として、映像データのＲＴＰ１、ＲＴＰ３、…、ＲＴＰ６を、音声データのＲＴＰ７、ＲＴＰ９、ＲＴＰ１０を、映像データのＲＴＰ１１、…、ＲＴＰ１５、ＲＴＰ１６を、音声データのＲＴＰ１７、ＲＴＰ２０を、さらに映像データのＲＴＰ２１、ＲＴＰ２２を、それぞれ受信する。
【００３８】
その後、データ取出において、映像データのＲＴＰ１からＶ１ａ、ＲＴＰ３からＶ２ａ、…、ＲＴＰ６からＶ３ｂを、音声データのＲＴＰ７からＡ１ａ、ＲＴＰ９からＡ１ａ、ＲＴＰ１０からＡ１ｂを、映像データのＲＴＰ１１からＶ４ａ、ＲＴＰ１２からＶ４ｂ、…、ＲＴＰ１６からＶ６ｂを、音声データのＲＴＰ１７からＡ２ａ、ＲＴＰ２０からＡ２ｂを、さらに映像データのＲＴＰ２１からＶ７ａ、ＲＴＰ２２からＶ７ｂを、それぞれ取り出す。
【００３９】
そして、デコーダ入力において、映像データのＶ１ａはヘッダ（データ量）を変更してパケットを半再生してＶ１’とし、音声データのＡ１ａとＡ１ａとＡ１ｂは二重化した後半のパケットを採用してＡ１とし、音声データのＡ２ａとＡ２ｂは前半の半分と後半の半分を結合してパケットを再生してＡ２として、それぞれ入力する。他の映像データのＶ２ａとＶ２ｂはＶ２、…、Ｖ７ａとＶ７ｂはＶ７としてそれぞれ入力する。
【００４０】
次に、図６により、前記送信処理部における送信処理を詳細に説明する。図６は送信処理部における送信処理手順のフロー図を示す。
【００４１】
送信処理は、まず、映像データと音声データを入力し（ステップＳ１１）、それぞれのデータを圧縮する（ステップＳ１２）。その後、圧縮したデータのパケットを受け取り（ステップＳ１３）、音声データか否かを判定する（ステップＳ１４）。
【００４２】
この判定の結果、音声データの場合（ＹＥＳ）は、この音声データを二重化した後に（ステップＳ１５）、データを分割する（ステップＳ１６）。一方、判定の結果が音声データでない場合（ＮＯ）には、そのままデータを分割する処理に進む。
【００４３】
その後、シーケンス番号を付加し（ステップＳ１７）、ＲＴＰ送信のためにパケット化して（ステップＳ１８）、このＲＴＰパケットを送信する（ステップＳ１９）。
【００４４】
以上の処理を、全てのパケットに対して繰り返して行うことにより、全ての映像データと音声データの入力から全てのＲＴＰパケットを送信するまでの送信処理が終了する。
【００４５】
次に、図７〜図１２により、前記受信処理部における受信処理を詳細に説明する。図７は受信処理部で受信する、送信処理部からの前提となる送信データの説明図、図８は受信処理部における映像データの各パターンの説明図、図９〜図１１は受信処理部における音声データの各パターンの説明図、図１２は受信処理部における受信処理手順のフロー図をそれぞれ示す。
【００４６】
図７に示すように、受信処理部２２で受信する、送信処理部２１からの前提となる送信データに関して、ＭＰＥＧ方式（今回の事例では２ＫＢ／ｐａｃｋｅｔ）のヘッダ情報を含む映像データは、分割後のＲＴＰ送信（今回の事例では１ＫＢ／ｐａｃｋｅｔ）において、シーケンス番号１でヘッダ情報を含む分割映像データとシーケンス番号２でヘッダ情報を含まない分割映像データとする。
【００４７】
また、ＭＰＥＧ方式の繰り返しにより二重化されたヘッダ情報を含む音声データは、分割後のＲＴＰ送信において、一方がシーケンス番号３でヘッダ情報を含む分割音声データとシーケンス番号４でヘッダ情報を含まない分割音声データとし、他方がシーケンス番号５でヘッダ情報を含む分割音声データとシーケンス番号６でヘッダ情報を含まない分割音声データとする。
【００４８】
図８に示すように、受信処理部２２における映像データのパターンに関しては、（ａ）のような正常なパターン１、（ｂ）のような１個欠落のパターン２などがある。
【００４９】
（ａ）のような正常なパターン１の場合には、シーケンス番号１でヘッダ情報を含む分割映像データとシーケンス番号２でヘッダ情報を含まない分割映像データとを結合して、元のヘッダ情報を含む映像データを再生する。
【００５０】
（ｂ）のような１個欠落のパターン２の場合、シーケンス番号２でヘッダ情報を含まない分割映像データが欠落した場合には、シーケンス番号１でヘッダ情報を含む分割映像データを用い、ヘッダ（データサイズ）を変更し、パケットを半再生して、ヘッダ情報を含む映像データを再生する。
【００５１】
図９〜図１１に示すように、受信処理部２２における音声データのパターンに関しては、（ａ）のような正常なパターン１、（ｂ）のような前半１個欠落のパターン２、（ｃ）のような前半２個欠落のパターン３、（ｄ）のような後半１個欠落のパターン４、（ｅ）のような後半２個欠落のパターン５、（ｆ）のような３個欠落のパターン６、（ｇ）のような真中２個欠落のパターン７などがある。
【００５２】
（ａ）のような正常なパターン１の場合には、シーケンス番号３でヘッダ情報を含む分割音声データとシーケンス番号４でヘッダ情報を含まない分割音声データとを結合して、元のヘッダ情報を含む音声データを再生する。この場合に、後半のシーケンス番号５とシーケンス番号６の分割音声データは無視する。
【００５３】
（ｂ）のような前半１個欠落のパターン２の場合には、シーケンス番号３でヘッダ情報を含む分割音声データは無視し、後半を採用し、シーケンス番号５でヘッダ情報を含む分割音声データとシーケンス番号６でヘッダ情報を含まない分割音声データとを結合して、元のヘッダ情報を含む音声データを再生する。
【００５４】
（ｃ）のような前半２個欠落のパターン３の場合には、後半を採用し、シーケンス番号５でヘッダ情報を含む分割音声データとシーケンス番号６でヘッダ情報を含まない分割音声データとを結合して、元のヘッダ情報を含む音声データを再生する。
【００５５】
（ｄ）のような後半１個欠落のパターン４の場合には、前述した（ａ）の正常なパターン１の場合と同様であり、この場合には後半のシーケンス番号６の分割音声データは無視する。
【００５６】
（ｅ）のような後半２個欠落のパターン５の場合には、前述した（ａ）の正常なパターン１の場合と同様である。
【００５７】
（ｆ）のような３個欠落のパターン６の場合には、シーケンス番号３でヘッダ情報を含む分割音声データを用い、ヘッダ（データサイズ）を変更し、パケットを半再生して、ヘッダ情報を含む音声データを再生する。
【００５８】
（ｇ）のような真中２個欠落のパターン７の場合には、前半の半分のシーケンス番号３でヘッダ情報を含む分割音声データと、後半の半分のシーケンス番号６でヘッダ情報を含まない分割音声データとを結合して、元のヘッダ情報を含む音声データを再生する。
【００５９】
図１２に示すように、受信処理部２２における受信処理手順は、以下のようになる。ここでは、代表的にパターン７における受信処理手順を示すが、他のパターンについても、同様の考え方により受信処理を行うことができる。
【００６０】
パターン７における受信処理は、まず、１パケット目を受信し（ステップＳ２１）、続く２パケット目を受信する（ステップＳ２２）。その後、１パケット目と２パケット目は不連続データか否か、すなわち欠落の有無を判定する（ステップＳ２３）。
【００６１】
このステップＳ２３の判定の結果、１パケット目と２パケット目が不連続データの場合（ＹＥＳ：欠落あり）には、続けて１パケット目のデータは音声データか否かを判定する（ステップＳ２４）。一方、判定の結果が不連続データでない場合（ＮＯ：欠落なし）は、他のパターンにおける受信処理に進む。
【００６２】
このステップＳ２４の判定の結果、１パケット目のデータが音声データの場合（ＹＥＳ）には、続けて１パケット目と２パケット目のシーケンス番号差は３か否かを判定する（ステップＳ２５）。一方、判定の結果が音声データでない場合（ＮＯ）は、他のパターンにおける受信処理に進む。
【００６３】
このステップＳ２５の判定の結果、１パケット目と２パケット目のシーケンス番号差が３の場合（ＹＥＳ）には、１パケット目と２パケット目のデータを結合する（ステップＳ２６）。一方、判定の結果が３でない場合（ＮＯ）は、他のパターンにおける受信処理に進む。
【００６４】
そして、音声データをデコードする（ステップＳ２７）。以上により、パターン７における、１パケット目と２パケット目の受信から音声データのデコードまでの受信処理が終了する。
【００６５】
以上説明したように、本実施の形態の双方向通信システムによれば、映像圧縮装置３１、音声圧縮装置３２、送信データ処理装置３３および送信装置３４などからなる送信処理部２１においてエンコーダ出力、音声二重化、パケット分割、ＲＴＰ送信などのデータ処理を行い、受信装置３５、受信データ処理装置３６、映像解凍装置３７および音声解凍装置３８などからなる受信処理部２２においてＲＴＰ受信、データ取出、デコーダ入力などのデータ処理を行うことにより、以下のような効果を得ることができる。
【００６６】
（１）受信した音声データのパケットに欠落がある場合には、欠落していない二重化・分割した別のパケットを用いることにより、音声データのパケットを再生することができる。
【００６７】
（２）受信した音声データのパケットに欠落がある場合には、欠落していないパケットのヘッダ情報のデータサイズを変更することにより、音声データのパケットを再生することができる。
【００６８】
（３）前記（１）と同様に、映像データに適用した場合にも、受信した映像データのパケットに欠落がある場合には、欠落していない二重化・分割した別のパケットを用いることにより、映像データのパケットを再生することができる。
【００６９】
（４）前記（２）と同様に、映像データに適用した場合にも、受信した映像データのパケットに欠落がある場合には、欠落していないパケットのヘッダ情報のデータサイズを変更することにより、映像データのパケットを再生することができる。
【００７０】
なお、前記実施の形態においては、パケットを多重化した後に分割する場合を例に説明したが、たとえば単にパケットを多重化して送信／受信することも可能である。この場合にも、受信した音声データまたは／および映像データのパケットに欠落がある場合には、欠落していない多重化した別のパケットを用いることにより、音声データまたは／および映像データのパケットを再生することができるようになる。
【００７１】
【発明の効果】
（１）本発明によれば、受信した多重化した音声データまたは／および映像データのパケットに欠落がある場合には、欠落していない多重化した別のパケットを用いることにより、音声データまたは／および映像データのパケットを再生することが可能となる。
【００７２】
（２）本発明によれば、受信した多重化・分割した音声データまたは／および映像データのパケットに欠落がある場合には、欠落していない多重化・分割した別のパケットを用い、さらには欠落していない多重化・分割したヘッダ情報を含む音声データまたは／および映像データのパケットと、欠落していない多重化・分割したヘッダ情報を含まない音声データまたは／および映像データのパケットとを結合することにより、音声データまたは／および映像データのパケットを再生することが可能となる。
【００７３】
（３）本発明によれば、受信した多重化・分割した音声データまたは／および映像データのパケットに欠落がある場合には、欠落していない多重化・分割したヘッダ情報を含む音声データまたは／および映像データのパケットのヘッダ情報のデータサイズを変更することにより、音声データまたは／および映像データのパケットを再生することが可能となる。
【００７４】
（４）前記（１），（２），（３）により、データ伝送帯域を大幅に増やしたり、冗長性を大にすることなく、データが欠落してもほとんど気にならない程度に、映像と音声の途切れを少なくすることができる双方向通信システムを実現することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施の形態の双方向通信システムを示す構成図である。
【図２】本発明の一実施の形態の別の双方向通信システムを示す構成図である。
【図３】本発明の一実施の形態において、ネットワーク端末を示す構成図である。
【図４】本発明の一実施の形態において、別のネットワーク端末を示す構成図である。
【図５】本発明の一実施の形態において、送信処理部、受信処理部におけるパケットのデータ処理を示す説明図である。
【図６】本発明の一実施の形態において、送信処理部における送信処理手順を示すフロー図である。
【図７】本発明の一実施の形態において、受信処理部で受信する、送信処理部からの前提となる送信データを示す説明図である。
【図８】（ａ），（ｂ）は本発明の一実施の形態において、受信処理部における映像データの各パターンを示す説明図である。
【図９】（ａ），（ｂ），（ｃ）は本発明の一実施の形態において、受信処理部における音声データの各パターンを示す説明図である。
【図１０】（ｄ），（ｅ），（ｆ）は本発明の一実施の形態において、受信処理部における音声データの別の各パターンを示す説明図である。
【図１１】（ｇ）は本発明の一実施の形態において、受信処理部における音声データのさらに別の各パターンを示す説明図である。
【図１２】本発明の一実施の形態において、受信処理部における受信処理手順を示すフロー図である。
【図１３】本発明の前提として検討した双方向通信システムにおいて、送信処理部、受信処理部におけるパケットのデータ処理を示す説明図である。
【符号の説明】
１…ネットワーク、２，３…通信装置、４…ゲートキーパ、５…ＭＣＵ、１１…画像表示装置、１２…音声入出力装置、１３…画像入力装置、１４…ネットワーク端末、２１…送信処理部、２２…受信処理部、３１…映像圧縮装置、３２…音声圧縮装置、３３…送信データ処理装置、３４…送信装置、３５…受信装置、３６…受信データ処理装置、３７…映像解凍装置、３８…音声解凍装置、３９…プロトコル制御装置、４０…切替制御装置、４１…映像データのファイル。

Claims

ネットワークを介して双方向にデータ伝送可能に接続された複数の通信装置を有し、
前記複数の通信装置のそれぞれは、
音声データまたは／および映像データのパケットを多重化し、この多重化した音声データまたは／および映像データのパケットを送信する送信処理手段と、
前記多重化した音声データまたは／および映像データのパケットを受信し、この受信した多重化した音声データまたは／および映像データのパケットに欠落がある場合には、欠落していない多重化した別のパケットを用いて音声データまたは／および映像データのパケットを再生する受信処理手段と、を有することを特徴とする双方向通信システム。
ネットワークを介して双方向にデータ伝送可能に接続された複数の通信装置を有し、
前記複数の通信装置のそれぞれは、
音声データまたは／および映像データのパケットを多重化し、この多重化した音声データまたは／および映像データのパケットを分割し、この多重化・分割した音声データまたは／および映像データのパケットを送信する送信処理手段と、
前記多重化・分割した音声データまたは／および映像データのパケットを受信し、この受信した多重化・分割した音声データまたは／および映像データのパケットに欠落がある場合には、欠落していない多重化・分割した別のパケットを用いて音声データまたは／および映像データのパケットを再生する受信処理手段と、を有することを特徴とする双方向通信システム。
請求項２記載の双方向通信システムにおいて、
前記受信処理手段は、欠落していない多重化・分割したヘッダ情報を含む音声データまたは／および映像データのパケットと、欠落していない多重化・分割したヘッダ情報を含まない音声データまたは／および映像データのパケットとを結合して、元のヘッダ情報を含む音声データまたは／および映像データのパケットを再生することを特徴とする双方向通信システム。
ネットワークを介して双方向にデータ伝送可能に接続された複数の通信装置を有し、
前記複数の通信装置のそれぞれは、
音声データまたは／および映像データのパケットを多重化し、この多重化した音声データまたは／および映像データのパケットを分割し、この多重化・分割した音声データまたは／および映像データのパケットを送信する送信処理手段と、
前記多重化・分割した音声データまたは／および映像データのパケットを受信し、この受信した多重化・分割した音声データまたは／および映像データのパケットに欠落がある場合には、欠落していない多重化・分割したヘッダ情報を含む音声データまたは／および映像データのパケットのヘッダ情報のデータサイズを変更して音声データまたは／および映像データのパケットを再生する受信処理手段と、を有することを特徴とする双方向通信システム。
請求項１、２、３または４記載の双方向通信システムにおいて、
前記音声データまたは／および映像データのパケットの送信および受信は、ＲＴＰを使用することを特徴とする双方向通信システム。