JP2002152181A - マルチメディアデータ通信方法およびマルチメディアデータ通信装置 - Google Patents

Abstract

(57)【要約】 【課題】 通信回線の誤り発生率が高い場合において
も、高品質な復号データを得ることができるマルチメデ
ィアデータ通信方法及びマルチメディアデータ通信装置
を提供することを課題とする。 【解決手段】 符号化データの重要度を送信データ解析
部７０１で解析し、送信データ解析部７０１から通知さ
れる重要データ情報と受信データ解析部１１７から通知
される誤り発生率情報に基づいて求められた通信回線の
誤り発生率とに応じて、復号に重要であるデータを含む
パケットデータをＮ個（Ｎは2以上の自然数）多重する
ように多重部１０６を制御する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、マルチメディアデ
ータ通信方法及びマルチメディアデータ通信装置に関
し、特に、対局装置における復号データの品質を極端に
劣化させないためのマルチメディアデータ通信方法及び
その通信方法を用いたマルチメディアデータ通信装置に
関するものである。

【０００２】

【従来の技術】従来の画像、音声、またはデータの少な
くとも１つを含むマルチメディアデータを通信するため
のマルチメディア通信方法及びマルチメディアデータ通
信装置では、通信回線の誤りの発生度合いに応じて誤り
訂正符号化や誤りが伝播しがたいマルチメディアデータ
符号化方法の変更を行なっている。このうち、誤り訂正
符号化は、通信すべき情報に冗長な情報を付加すること
によってなされており、対局装置において受信したデー
タに誤りがあり、対局装置より再送の要求が出された時
は、自局端末は誤り訂正のための冗長な情報を付加した
情報を再送することになる。

【０００３】

【発明が解決しようとする課題】しかし、無線通信のよ
うな劣悪な通信路では、誤り訂正能力以上の誤りが起こ
る可能性が高く、再送が頻繁に行われる可能性が高くな
る。そのとき、一般的に誤り訂正能力を強くする場合に
は冗長度が高くなるため再送の情報量が多くなり、本来
伝送すべき情報の通信効率が劣化させることになり、対
局装置における復号データの品質が劣化することにな
る。したがって、常に誤り訂正能力を高くすると、高品
質な復号データが得られないという問題点があった。

【０００４】また、通信回線の誤りの発生度合いに応じ
て誤り訂正能力を変更できるようにした場合において
も、誤り訂正能力を高くした部分のデータに関しては上
述したように復号データの品質が低下してしまうという
問題点がある。

【０００５】さらに、通信回線の誤りの発生度合いに応
じて誤り訂正能力や符号化方法を変更できるようにする
ためには、自局装置と対局装置とにおいて同一かつ複数
の種類の誤り訂正符号化・復号化処理装置およびマルチ
メディアデータ符号化・復号化装置を持たなければなら
ず、通信方法を実現するための装置の構成が複雑化して
しまうという問題点があった。

【０００６】本発明は前記のような問題点を解決するた
めになされたものであり、通信回線の誤り発生率が高い
場合においても、高品質な復号データを得ることができ
るマルチメディアデータ通信方法及びマルチメディアデ
ータ通信装置を提供することを目的とする。

【０００７】

【課題を解決するための手段】この発明に係るマルチメ
ディアデータ通信方法は、画像、音声、またはデータの
少なくとも１つを含むマルチメディアデータを符号化し
て、単独で復号可能な第1のデータと、該第１のデータ
を用いて復号可能な第２のデータとを備えた符号化デー
タストリームを作成し、該符号化データストリームを任
意のビット長に分割し、該分割データに対してそれぞれ
誤り検出情報を求め、前記分割データと前記求めた誤り
検出情報とをパケット化し、前記パケットデータを多重
化し、該多重化したデータを通信回線を介して送信し、
該通信回線を介して前記多重化したデータを受信し、該
多重化データをパケットデータに分離し、該分離したパ
ケットデータを復号するマルチメディアデータ通信方法
であって、前記符号化データストリームを生成する際
に、前記通信回線の誤り発生率に応じて前記第１のデー
タの挿入間隔を調整するようにしたものである。

【０００８】また、前記マルチメディアデータ通信方法
において、前記第1のデータとして、画像フレームをイ
ントラ符号化した画像符号化データを含み、前記第２の
データとして、フレーム間差分データを符号化した画像
符号化データを含むものである。また、前記マルチメデ
ィアデータ通信方法において、前記パケットデータに誤
りが検出された場合に、該誤りが検出されたパケットデ
ータの再送を行うとともに、前記通信回線の誤り発生率
に応じて前記符号化データストリームを作成する際の、
符号化率を調整するようにしたものである。

【０００９】また、この発明に係るマルチメディアデー
タ通信方法は、画像、音声、またはデータの少なくとも
１つを含むマルチメディアデータを符号化して、符号化
データストリームを作成し、該符号化データストリーム
を任意のビット長に分割し、該分割データに対してそれ
ぞれ誤り検出情報を求め、前記分割データと前記求めた
誤り検出情報とをパケット化し、前記パケットデータを
多重化し、該多重化したデータを通信回線を介して送信
し、該通信回線を介して前記多重化したデータを受信
し、該多重化データをパケットデータに分離し、該分離
したパケットデータを復号するとともに、前記パケット
データに誤りが検出された場合に、該誤りが検出された
パケットデータの再送を行うマルチメディアデータ通信
方法であって、前記符号化データストリームを作成する
際の符号化率を、前記通信回線の誤り発生率に応じて調
整するようにしたものである。

【００１０】また、この発明に係るマルチメディアデー
タ通信方法は、画像、音声、またはデータの少なくとも
１つを含むマルチメディアデータを符号化して、符号化
データストリームを作成し、該符号化データストリーム
を任意のビット長に分割し、該分割データに対してそれ
ぞれ誤り検出情報を求め、前記分割データと前記求めた
誤り検出情報とをパケット化し、前記パケットデータを
多重化し、該多重化したデータを通信回線を介して送信
し、該通信回線を介して前記多重化したデータを受信
し、該多重化データをパケットデータに分離し、該分離
したパケットデータを復号するとともに、前記パケット
データに誤りが検出された場合に、該誤りが検出された
パケットデータの再送を要求し、再送が要求されたパケ
ットデータの再送を行うマルチメディアデータ通信方法
であって、前記再送を要求されたパケットデータのデー
タ量を求め、該求めたデータ量に基づいて、前記符号化
データストリームを作成する際の符号化率を調整するよ
うにしたものである。

【００１１】また、前記マルチメディアデータ通信方法
において、前記通信回線の誤り発生率に応じて、前記多
重化データのうちの前記復号の際に重要となるデータを
Ｎ回（Ｎは２以上の自然数）送信するようにしたもので
ある。

【００１２】また、この発明に係るマルチメディアデー
タ通信方法は、画像、音声、またはデータの少なくとも
１つを含むマルチメディアデータを符号化して符号化デ
ータストリームを作成し、該符号化データストリームを
任意のビット長に分割し、該分割データに対してそれぞ
れ誤り検出情報を求め、前記分割データと前記求めた誤
り検出情報とをパケット化し、前記パケットデータを多
重化し、該多重化したデータを通信回線を介して送信
し、該通信回線を介して前記多重化したデータを受信
し、該多重化データをパケットデータに分離し、該分離
したパケットデータを復号するマルチメディアデータ通
信方法であって、前記符号化データストリームを作成し
た後、該符号化データストリーム中の符号化データにつ
いて、復号の際の重要度を解析し、該解析により重要で
あると解析された符号化データを、その重要度と前記通
信回線の誤り発生率とに応じて、Ｎ回（Ｎは２以上の自
然数）送信するようにしたものである。

【００１３】また、前記マルチメディアデータ通信方法
において、前記多重化して送信した符号化データに対し
ての再送を要求する再送要求データを受信し、前記通信
回線の誤り発生率を、前記再送要求データを用いて求め
るようにしたものである。

【００１４】また、この発明に係るマルチメディアデー
タ通信装置は、画像、音声、またはデータの少なくとも
いずれか１つを含むマルチメディアデータをそれぞれ符
号化し、単独で復号可能な第１のデータと、該第1のデ
ータを用いて復号可能な第２のデータとを備えた符号化
データストリームを作成する符号化手段と、該符号化手
段により符号化した各符号化データストリームをパケッ
ト化し、各パケットに対して誤り検出符号化を行なう誤
り検出符号化手段と、該誤り検出符号化手段により誤り
検出符号化して得られた各データを多重化して通信回線
を介して対局装置に送信する送信手段と、前記通信回線
を介して対局装置から送信されるデータを受信する受信
手段と、該受信手段により受信されたデータから前記通
信回線の誤り発生率を求め、前記符号化手段を制御し
て、前記符号化データストリームを作成する際の、前記
第１のデータの前記符号化データストリーム内における
挿入間隔を、前記誤り発生率に応じて調整する符号化部
制御手段とを備えるようにしたものである。

【００１５】また、前記マルチメディアデータ通信装置
において、前記第1のデータとして、画像フレームをイ
ントラ符号化した画像符号化データを含み、前記第２の
データとして、フレーム間差分データを符号化した画像
符号化データを含むものである。

【００１６】また、この発明に係るマルチメディアデー
タ通信装置は、画像、音声、またはデータの少なくとも
いずれか１つを含むマルチメディアデータをそれぞれ符
号化し符号化データストリームを作成する符号化手段
と、該符号化手段により符号化した各符号化データスト
リームをパケット化し、各パケットに対して誤り検出符
号化を行なう誤り検出符号化手段と、該誤り検出符号化
手段により誤り検出符号化して得られた各データを多重
化して通信回線を介して対局装置に送信する送信手段
と、前記通信回線を介して対局装置から送信されるデー
タを受信する受信手段と、該受信手段により受信された
データから前記通信回線の誤り発生率を求め、前記符号
化手段が作成する符号化データストリームの符号化率
を、前記通信回線の誤り発生率に応じて調整するととも
に、前記受信手段が受信したデータが送信データの再送
を要求する再送要求データである場合に、前記符号化手
段を制御して、前記符号化手段に符号化データストリー
ムを作成させる制御手段とを備えるようにしたものであ
る。

【００１７】また、この発明に係るマルチメディアデー
タ通信装置は、画像、音声、またはデータの少なくとも
いずれか1つを含むマルチメディアデータをそれぞれ符
号化し符号化データストリームを作成する符号化手段
と、該符号化手段により符号化した各符号化データスト
リームをパケット化し、各パケットに対して誤り検出符
号化を行なう誤り検出符号化手段と、該誤り検出符号化
手段により誤り検出符号化して得られた各データを多重
化して通信回線を介して対局装置に送信する送信手段
と、前記通信回線を介して対局装置から送信される再送
要求データを受信する受信手段と、該受信手段により受
信された再送要求データに基づいて、再送するデータの
送信データ量を解析し、前記符号化手段が作成する符号
化データストリームの符号化率を、前記再送するデータ
の送信データ量に応じて調整するとともに、前記符号化
手段を制御して、前記符号化手段に符号化データストリ
ームを作成させる制御手段とを備えるようにしたもので
ある。

【００１８】また、この発明に係るマルチメディアデー
タ通信装置は、画像、音声、またはデータの少なくとも
いずれか1つを含むマルチメディアデータをそれぞれ符
号化し符号化データストリームを作成する符号化手段
と、前記符号化データストリーム中の符号化データの復
号の際の重要度を解析するデータ解析手段と、前記符号
化手段により符号化した各符号化データストリームをパ
ケット化し、各パケットに対して誤り検出符号化を行な
う誤り検出符号化手段と、該誤り検出符号化手段により
誤り検出符号化して得られた各データを多重化して、通
信回線を介して対局装置に送信する送信手段と、前記通
信回線を介して対局装置から送信されるデータを受信す
る受信手段と、該受信手段により受信されたデータから
前記通信回線の誤り発生率を求め、前記データ解析手段
により復号の際の重要が高いと解析された符号化された
データを含むパケットデータを、該重要度と前記誤り発
生率とに基づき、前記送信手段によりＮ回（Ｎは２以上
の自然数）送信させる制御手段とを備えるようにしたも
のである。

【００１９】

【発明の実施の形態】（実施の形態１）図１は、本発明
の実施の形態１に係るマルチメディアデータ通信装置の
構成を示すブロック図であり、画像入力部１３１は、ビ
デオカメラ、ＶＴＲなどの画像情報を入力する装置、音
声入力部１３２はマイク、ハンドセットなどの音声情報
を入力する装置、データ入力部１３３はハードディスク
やディジタルカメラなどテキストデータや静止画データ
などのデータを入力する装置である。マルチメディアデ
ータ通信装置の送信部１００において、画像符号化部１
０１は、画像入力部１３１から入力される画像情報を符
号化する。また同様に、音声符号化部１０２は音声入力
部１３２から入力される音声情報を、データ符号化部１
０３ではデータ入力部１３３から入力されるデータをそ
れぞれ符号化する。送信部１００内の送信パケット符号
化部１０４では、各符号化部１０１、１０２，１０３よ
り入力された符号化データにより構成される符号化デー
タストリームを符号化データごとに分割し、この分割デ
ータ毎に識別子を付加し、この分割データに識別子を付
加して得られる識別子付加データや、後述する再送制御
部１１５より入力される自局装置からの再送要求情報で
ある自局再送要求情報や対局装置１５０からの再送要求
を拒否するための対局再送要求拒否情報に対して、誤り
検出符号化を行ない、前記識別子付加データや前記自局
再送要求情報や前記対局再送拒否情報と、前記誤り検出
符号とをパケット化して各データごとにパケットデータ
を作成する。送信部１００内の符号化部制御部１０５で
は、後述する受信データ解析部１１７から通知される誤
り発生率情報から符号化データストリーム中に符号化デ
ータ自身のみで復号可能な符号化データの挿入位置を算
出し、各符号化部１０１〜１０３の符号化を制御する。
この符号化データ自身のみで復号可能な符号化データと
は、例えば画像データをイントラ符号化したＩ(intra)
ピクチャ等を指す。送信部１００内の多重部１０６で
は、送信パケット符号化部１０４から入力された各パケ
ットデータを多重化し、多重化データを作成する。ま
た、多重部１０６では、対局装置１５０から再送要求が
なされた時のために前記自局再送要求情報や前記対局再
送拒否情報を基に作成されたパケットデータを除くその
他の各パケットデータをそれぞれある一定の数だけ保存
し、再送制御部１１５から通知される対局再送情報に従
って、対局装置１５０より再送を要求されているパケッ
トデータをその他のパケットデータと共に多重化し、多
重化データを作成する。そしてこの多重化データを通信
回線インターフェース１２０に送る。

【００２０】通信回線インタフェース１２０では、対局
装置１５０に多重化データを通信回線（図示せず）を介
して送信すると共に、対局装置１５０より送信されてき
た多重化データを受信する。

【００２１】マルチメディアデータ通信装置の受信部１
１０において、分離部１１６は、通信回線インタフェー
ス１２０を介して受信した多重化データを画像、音声、
データの各パケットデータに分離する。受信パケット復
号化部１１４では、分離部１１６より入力されたパケッ
トデータに対して誤り検出復号を行ない、誤り検出結果
およびパケットデータを受信データ解析部１１７に入力
する。受信データ解析部１１７では、誤り検出の結果か
ら通信回線の誤り発生率を求め、この誤り発生率を送信
部１００の符号化部制御部１０５に誤り発生率情報とし
て通知すると共に、誤り検出結果が誤りが発生したこと
を示す時、誤りであるパケットデータの再送を要求する
ために自局再送要求情報を再送制御部１１５に入力す
る。一方、誤りでない時は受信したパケットデータより
誤り検出符号を除去し符号化データのみ取出し、対局装
置１５０からの再送要求情報か否かの解析を行ない、再
送要求であれば再送制御部１１５に再送情報を通知し、
再送要求でなければ画像符号化データを画像復号化部１
１１に、音声符号化データを音声復号化部１１２に、符
号化してある他のデータをデータ復号化部１１３に、そ
れぞれ入力する。再送制御部１１５では、受信データ解
析部１１７より入力される対局装置１５０からの再送要
求情報を解析し、要求されているパケットデータが多重
部１０６に存在すれば多重部１０６に対局再送情報を通
知し、存在しなければ対局再送拒否情報を送信パケット
符号化部１０４に入力する。また、再送制御部１１５で
は、受信データ解析部１１７より入力される自局再送要
求情報を送信パケット符号化部１０４に入力する。画像
復号化部１１１、音声復号化部１１２、データ復号化部
１１３では、入力された符号化データを復号し、画像情
報をモニタ等の画像出力部１４１、音声情報をスピーカ
等の音声出力部１４２、データ情報をデータ出力部１４
３に出力する。

【００２２】対局装置１５０の内部の構成については、
送信部１００、受信部１１０、及び通信回線インターフ
ェース１２０を備えた自局装置の構成と同様であるた
め、ここでは説明を省略する。なお、対局装置１５０
を、自局装置から送信される多重化データの再生だけ目
的とする装置とする場合には、必要に応じて自局装置の
各符号化部１０１〜１０３等を省略した構成の装置を用
いるようにしても良い。

【００２３】続いて、本発明の実施の形態１に係るマル
チメディアデータ通信装置におけるマルチメディアデー
タ通信方法の処理の流れについて説明する。図２は本発
明の実施の形態１に係るマルチメディアデータ通信装置
におけるマルチメディアデータ送信方法を説明するため
の流れ図である。

【００２４】図２のステップＳ２０１において、画像入
力部１３１より画像情報が画像符号化部１０１に入力さ
れ、符号化される。また、音声入力部１３２より音声情
報が音声符号化部１０２に、データ入力部１３３よりデ
ータがデータ符号化部１０３にそれぞれ入力され、符号
化される。この符号化は、符号化部制御部１０５により
制御される。画像符号化部１０１は、符号化により得ら
れる画像符号化データストリームを送信パケット符号化
部１０４に入力する。また同様に、音声符号化部１０２
は音声符号化データストリームを、データ符号化部１０
３はデータ符号化データストリームを送信パケット符号
化部１０４に入力する。図２のステップＳ２０２におい
て、送信パケット符号化部１０４は入力された画像符号
化データを分割しステップＳ２０３において分割して得
られた画像分割データに対して識別子を付加し、この識
別子を付加して得られた画像識別子付加データに対して
ステップＳ２０４で誤り検出符号化を行ない、ステップ
Ｓ２０５で画像識別子付加データとステップＳ２０４で
得られた誤り検出符号をパケット化して画像パケットデ
ータとして多重部１０６に出力する。音声符号化データ
およびデータ符号化データに対しても同様に分割、識別
子の付加、誤り検出符号化を行なった後、パケット化を
行ない、音声パケットデータおよびデータパケットデー
タとして多重部１０６に出力する。

【００２５】また、再送制御部１１５より入力されるデ
ータの再送を対局装置１５０に要求するための自局再送
要求情報と、対局再送要求拒否情報とに対しては、ステ
ップＳ２０４で誤り検出符号化を行ない、ステップＳ２
０５でパケット化してそれぞれ自局再送要求パケットデ
ータ、対局再送要求拒否パケットデータとして多重部１
０６に出力される。ステップＳ２０６において、多重部
１０６で送信パケット符号化部１０４から入力された各
パケットデータを多重化して多重化データを作成し、ス
テップＳ２０７で通信回線インタフェース１２０を介し
て対局装置１５０に多重化データを送信すると共に、対
局装置１５０から再送要求がなされた時のために自局再
送要求パケットデータや対局再送拒否パケットデータを
除くその他の各パケットデータをそれぞれある一定の数
だけ多重部１０６に保存する。

【００２６】図３は本発明の実施の形態１に係るマルチ
メディアデータ通信装置におけるマルチメディアデータ
受信方法を説明するための流れ図である。マルチメディ
アデータ通信装置の受信部１１０では、ステップＳ３１
１において対局装置１５０より送信されてきた多重化デ
ータを通信回線インタフェース１２０を介して受信す
る。ステップＳ３１２で、分離部１１６は受信した多重
化データを各パケットデータに分離し、分離した各パケ
ットデータを受信パケット復号化部１１４に入力する。
ステップＳ３１３において、受信パケット復号化部１１
４は分離部１１６より入力されたパケットデータに対し
て誤り検出復号を行なう。図３のステップＳ３１３の誤
り復号の結果、パケットデータに誤りがなければ、「誤
りなし」とする誤り発生情報とパケットデータとを受信
データ解析部１１７に入力する。またパケットデータに
誤りがあれば、「誤りあり」とする誤り発生情報を受信
データ解析部１１７に入力し、受信データ解析部１１７
はステップＳ３１４で再送制御部１１５に誤りのあるパ
ケットデータの再送が必要であることを示す自局再送要
求情報を通知し、再送制御部１１５は自局再送要求情報
を送信パケット符号化部１０４に入力する。

【００２７】図３のステップＳ３１３の誤り検出の結
果、受信したパケットデータに誤りがない時は、ステッ
プＳ３１５で受信データ解析部１１７により対局装置１
５０からの再送要求情報か否かを解析する。この解析の
結果、受信データが対局装置１５０からの再送要求情報
である時は、受信した対局装置１５０からの再送要求情
報を再送制御部１１５に入力する。ステップＳ３１６に
おいて、再送制御部１１５は再送要求情報が入力される
と、要求されているパケットデータが多重部１０６に存
在すれば再送処理を行ない、存在しなければ対局再送拒
否情報を送信パケット符号化部１０４に入力する。

【００２８】一方、受信データ解析部１１７によるステ
ップＳ３１５の解析の結果、パケットデータ内の符号化
データが対局装置１５０からの再送要求情報でなけれ
ば、ステップＳ３１７で識別子のチェックを行なう。識
別子のチェックの結果、誤りがなければ、パケットデー
タより誤り検出符号および識別子を除去し、得られた符
号化データをそれぞれの対応した復号化部に入力する。

【００２９】また識別子のチェックの結果、誤りがあれ
ば、ステップＳ３１４で再送制御部１１５に誤りのある
データを含むパケットデータの再送を要求する自局再送
要求情報を送信し、再送制御部１１５はこの自局再送要
求情報を送信パケット符号化部１０４に入力する。

【００３０】受信データ解析部１１７では、ステップＳ
３１８で受信パケット復号化部１１４より入力される誤
り発生情報から通信回線の誤り発生率を求め、ステップ
Ｓ３１９で送信部１００の符号化部制御部１０５に誤り
発生率情報として通知する。画像復号化部１１１、音声
復号化部１１２、及びデータ復号化部１１３では、ステ
ップＳ３２０で入力された符号化データをそれぞれ復号
し、画像情報を画像出力部１４１、音声情報を音声出力
部１４２、データ情報をデータ出力部１４３に出力す
る。

【００３１】本実施の形態１においては、符号化部制御
部１０５が、図３において示したステップＳ３１９で通
知される誤り発生率情報を元に、符号化データストリー
ム中に符号化データ自身のみで復号可能な符号化データ
の挿入位置を求め、各符号化処理部１０１、１０２、１
０３に対して、この符号化データ自身のみで復号可能な
符号化データの挿入位置を変更するように符号化を行う
ように符号化の制御を行なう。

【００３２】図４は本発明の実施の形態１に係るマルチ
メディアデータ通信装置における、符号化制御部１０５
による画像符号化部の制御方法を説明するための、送信
及び受信される画像データの構成を示す図であり、図４
（ａ），図４（ｃ）において画像の各フレームを太い黒
線で示している。また、図４（ｂ）において各フレーム
を符号化して得られた各符号化データを四角形として示
している。以下、図４を用いて具体的に画像符号化部の
制御方法について説明する。

【００３３】ここでは、例として、画像データについ
て、その画像符号化方法がＩＴＵ−ＴＨ．２６３である
場合について考える。Ｈ．２６３は、フレーム間差分デ
ータを符号化する方法で、所定のフレーム数だけ間隔を
隔てて位置するフレームを、符号化データ自身のみで復
号可能な符号化データとして符号化、いわゆるイントラ
符号化し、これらのフレーム間のフレームについては、
前、または後ろのフレームとの間の差分データを符号化
することで画像データを符号化する。したがって、各フ
レームを復号するためには復号するフレームの前または
後のフレームデータが必要になる。図４(ａ)に示すよう
に画像入力部１３１より１秒間に１５フレームの画像デ
ータが入力され、図４（ｂ）に示すように符号化された
画像符号化ストリームが得られるものとする。画像符号
化レートを３２ｋｂｐｓとすると、１５フレームを符号
化したときは、フレームあたり約２０００ｂｉｔの符号
化データ量となる。

【００３４】ここで、受信データ解析部１１７より通知
される誤り発生率が３００００ｂｉｔに１ｂｉｔの割合
であったとき、図４（ｂ）のいずれかの符号化データに
誤りが乗っていることになる。例えば図４（ａ)のフレ
ーム４０１を符号化した図４（ｂ）の画像符号化データ
４１１に誤りが乗っていたとすると、図４（ｂ）の画像
符号化データ４１１を復号した結果である図４（ｃ）の
フレーム４２１が正常に復号できなくなり、フレーム４
２１以降の、差分データを符号化したフレーム４２２、
４２３などにも誤りが伝播し画質が劣化することにな
る。この誤りの伝播は、フレーム４２１以降に最初に現
れるイントラ符号化した画像符号化データまで続くこと
となる。しかしながら、本実施の形態１においては、符
号化部制御部１０５が受信データ解析部１１７より通知
される誤り発生率に基づいて画像符号化部１０１の符号
化を制御して、符号化ストリームのデータ量が３０００
０ｂｉｔをこえる位置に配置されると予想されるフレー
ムを、符号化した符号化データだけで復号可能となるよ
うにイントラ符号化して、符号化ストリーム中に挿入す
ることで誤りの伝播を防ぎ画質の劣化を防止する。例え
ば、図４（ａ）における左端から１６枚目のフレーム４
０４をイントラ符号化するといったように、トータルの
符号化データ量が約３００００ｂｉｔになる１５フレー
ムおきにイントラ符号化した画像符号化データを挿入し
画像符号化ストリームを作成することになる。

【００３５】同様に、通信中に受信データ解析部１１７
より通知される通信回線の誤り発生率が１００００ｂｉ
ｔに１ｂｉｔの割合に変化した場合、トータルの符号化
データ量が約１００００ｂｉｔになる５フレームおきに
イントラ符号化した画像符号化データを挿入するように
符号化部制御部１０５が画像符号化部１０１を制御す
る。すなわち、通信回線の誤り発生率の上昇に伴ってイ
ントラ符号化するフレームの頻度を高くしてやること
で、誤りの伝播を防ぎ画質の劣化を防止する。

【００３６】このとき、イントラ符号化した画像符号化
データの挿入頻度を高くすると、データ量が増大するた
め、符号化の際に、画質を落としてデータ量を減らして
やる必要があるが、本実施の形態１においては、通信回
線の誤り発生率が高い場合においてのみイントラ符号化
した画像符号化データの挿入頻度を高くするため、常に
画質を落とす必要がなく、画質の低下を必要最低限に抑
えることができる。なお、ここでは、画像データについ
て説明したが、音声データやデータ等についても同様の
符号化の制御が符号化制御部１０５により行われる。

【００３７】このように本実施の形態１においては、受
信パケット復号化部１１４により得られる誤り検出結果
から受信データ解析部１１７で通信回線の誤り発生率を
求め、符号化部制御部１０５により、通信回線の誤り発
生率の変動に応じて、符号化データストリーム中に符号
化データ自身のみで復号可能な符号化データの最適な挿
入位置を求め、この挿入位置に符号化データ自身のみで
復号可能な符号化データの挿入位置を変更するよう、各
符号化処理部１０１、１０２、１０３を制御するため、
復号データの品質を極端に落とすことなく符号化データ
を送信することができ、通信回線の誤り発生率が高い場
合においても、対局装置においてより高品質な復号デー
タを得ることができる効果がある。

【００３８】なお、本実施の形態１においては、画像符
号化方法がＩＴＵ−Ｔ Ｈ．２６３である場合について
説明したが、本発明は、画像符号化方法が差分データの
符号化を行う符号化方法であれば、例えばＭＰＥＧ１、
ＭＰＥＧ２、ＭＰＥＧ４、ＩＴＵ−Ｔ Ｈ．２６１、Ｗ
ａｖｅｌｅｔ変換などその他の方法であっても、前記実
施の形態１と同様の効果を奏する。

【００３９】また、本発明においては、画像符号化レー
ト、１秒間に入力されるフレームの枚数、イントラ符号
化されるフレームの位置は前記実施の形態１に記載され
る数に限られるものではない。また、本実施の形態１に
おいては、音声符号化部１０２の入力を音声情報として
いるが、音声に限るものではなくオーディオであっても
良い。

【００４０】また、画像符号化データまたは音声符号化
データまたはデータ符号化データが存在しなければ、こ
の存在しないデータに関しては、パケットデータを作成
せずに多重化を行なっても良い。

【００４１】さらに、本実施の形態１においては誤りが
発生した場合でも、誤りの伝播を防ぎ画質の劣化を防止
することが可能であるため、再送要求を必ずしも行なわ
ないようにしてもよく、このような場合においては装置
を簡略化することができる。また、本実施の形態１にお
いては、誤り発生率を誤り検出復号の結果を用いて算出
していたが、対局装置からの再送要求情報を利用して算
出してもよい。

【００４２】（実施の形態２）図１２は、本発明の実施
の形態２に係るマルチメディアデータ通信装置の構成を
示すブロック図であり、図において、図１と同一符号は
同一または相当する部分を示しており、符号化部制御部
１０５ａは、受信データ解析部１１７から得られる通信
回線の誤り発生率に基づいて再送が必要となるデータ量
を、内部の送信データ量解析部５０５０により予測し、
この予測したデータ量に基づいて、各符号化部１０１〜
１０３の符号化を制御して、各符号化データの符号化率
の変更を行う。

【００４３】以下、本発明の実施の形態２に係るマルチ
メディアデータ通信装置のマルチメディアデータ通信方
法について説明する。本実施の形態２に係るマルチメデ
ィアデータ通信方法は、前記実施の形態1において説明
したマルチメディアデータ通信方法において、各符号化
データを作成する際に、通信回線の誤り発生率に応じて
符号化率を変更するようにしたものであり、符号化の制
御以外の処理については、前期実施の形態１と同様であ
るので、ここでは説明を省略する。

【００４４】本実施の形態２において、符号化部制御部
１０５ａには、前記実施の形態１において図３のステッ
プＳ３１９で説明した誤り発生率情報が符号化部制御部
１０５ａに入力される。符号化部制御部１０５ａは、内
部の送信データ量解析部５０５０によりこの誤り発生率
情報に基づいて、再送が必要になると考えられるデータ
量を予測する。通常、データの再送が発生した場合に
は、再送するデータ量だけ、送信部１００から送信する
データ量が増加してしまうため、符号化部制御部１０５
ａは、この再送が予測されたデータ量だけ、各符号化デ
ータのデータ量を減らすように、各符号化部１０１〜１
０３の符号化率を変更する。即ち、符号化の結果得られ
る符号化データ量が小さくなるように、符号化率を変更
する。

【００４５】以下、符号化の制御方法に関して、具体的
に画像符号化部１０１の制御方法を例として以下に説明
する。例えば、通信レートが６４ｋｂｐｓで１０ｍｓで
送信可能なパケットデータを作成するとした時、１０ｍ
ｓで送信可能なバケット長は８０Ｂｙｔｅ、即ち６４０
ｂｉｔとなる。

【００４６】また、画像符号化レートを３２ｋｂｐｓ、
画像入力部１３１より１秒間１５フレームの画像データ
が入力されるとした時、１フレーム分の画像符号化デー
タ長は約２０００ｂｉｔとなる。したがって、１フレー
ム分の画像符号化データは３分割して対局装置に送信さ
れることになる。

【００４７】ここで、受信データ解析部１１７より通知
される誤り発生率が１０００ｂｉｔに１ｂｉｔであった
とすると、３分の１の画像パケットデータが再送になる
可能性が高い。このとき、符号化部制御部１０５ａは、
送信データ量解析部５０５０により再送が予測されるデ
ータ量、ここでは通常送信される画像パケットデータの
うちの、３分の１の画像パケットデータのデータ量を算
出し、この算出した値に基づいて、画像符号化レートを
調整して、符号化の結果得られるデータのデータ量が例
えば３分の２になるように画像符号化部１０１による符
号化を制御する。この結果、データの再送が必要となっ
た場合においても、再送データと、データ量を３分の２
にした画像データとを合わせたデータ量が、データ量を
変更する前の画像データのデータ量と同じとなる。

【００４８】なお、本実施の形態２においては、画像デ
ータについて説明したが、音声データやデータ等につい
ても同様の符号化の制御が符号化制御部１０５ａにより
行われる。

【００４９】このようにして、誤り発生率の変動に応じ
て各符号化部１０１〜１０３から出力される符号化デー
タ量を変動させるように制御することで、再送データが
加わることにより本来伝送すべき符号化データの通信レ
ートが変化しても符号化されたすべての符号化データを
送信することができるために、対局装置１５０において
滑らかに復号することが可能となるように符号化データ
を送信することが可能となり、対局装置においてより高
品質な復号データを得ることができる効果がある。

【００５０】なお、本発明においては、通信レート、画
像符号化レート、１秒間に入力されるフレームの枚数は
前記実施の形態２に記載される数に限られるものではな
い。また、本実施の形態２においては、誤り発生率を誤
り検出復号の結果を用いて算出していたが、対局装置か
らの再送要求情報を利用して算出してもよい。

【００５１】（実施の形態３）図５は、本発明の実施の
形態３に係るマルチメディアデータ通信装置の構成を示
すブロック図であり、図において、図１と同一符号は同
一または相当する部分を示している。

【００５２】本実施の形態３に係るマルチメディア通信
装置は、再送制御部５１１と符号化部制御部１０５ｂと
の間で再送データ情報の送信および受信が可能になって
いる点および符号化部制御部１０５ｂが内部に送信デー
タ量解析部５０５１を有する点が前記実施の形態１のマ
ルチメディア通信装置と異なっている。

【００５３】以下、本発明の実施の形態３に係るマルチ
メディアデータ通信装置の構成について、図５に基づい
て説明する。なお、本発明の実施の形態１に係るマルチ
メディアデータ通信装置と同一ブロックについての説明
は省略する。

【００５４】本実施の形態３において、再送制御部５１
１は受信データ解析部１１７からの情報に従って自局再
送要求情報や対局再送拒否情報や対局装置より要求され
たパケットデータのうち対局装置に送信するデータを選
定するが、この時、再送するデータのデータ量などの再
送データ情報を符号化部制御部１０５ｂに通知する。符
号化部制御部１０５ｂ内のブロック送信データ量解析部
５０５１では、再送制御部５１１から送られる再送デー
タ情報から、送信するデータ量を解析する。符号化部制
御部１０５ｂでは、この送信するデータ量の解析結果お
よび受信データ解析部１１７から通知される誤り発生率
情報を元に符号化データの符号量を調整するように各符
号化部１０１〜１０３の制御を行なう。

【００５５】図６は本発明の実施の形態３に係るマルチ
メディアデータ通信方法におけるマルチメディアデータ
受信方法の処理の流れ図であり、図において、図３と同
一符号は同一または相当するステップを示している。本
実施の形態３におけるマルチメディアデータ受信方法
は、前記実施の形態１において説明したマルチメディア
受信方法において、対局装置１５０に再送するデータの
情報に基づいて各符号化部１０１〜１０３による符号化
レートを調整するようにしたものである。

【００５６】以下、本発明の実施の形態３に係るマルチ
メディアデータ通信装置におけるマルチメディアデータ
通信方法の処理の流れについて図６を用いて説明する。
なお、前記実施の形態１と同一または相当する処理につ
いての説明は省略する。

【００５７】マルチメディアデータ通信装置の送信部１
００の処理の流れは、前記実施の形態１において図２に
示すマルチメディアデータ通信方法の処理の流れと同一
である。

【００５８】また、マルチメディア通信装置の受信部１
１０における、図６に示した通信回線インターフェース
１２０による受信処理ステップＳ３１１から再送制御部
５１１による自局再送要求情報の通知処理ステップＳ３
１４までは本発明の実施の形態１と同一の処理である。

【００５９】ここで、図６のステップＳ３１４とステッ
プＳ３１８との間に、ステップＳ６１１として、送信パ
ケット符号化部１０４に入力した自局再送要求情報に関
して、その再送が要求されているデータについてのデー
タ量などの再送データ情報を、再送制御部５１１が符号
化部制御部１０５に通知する処理を有している。

【００６０】また、ステップＳ３１５による解析の結
果、受信データが対局装置１５０からの再送要求情報で
ある時は、受信した再送要求情報を再送制御部５１１に
入力する。再送制御部５１１は再送要求情報が入力され
ると、ステップＳ３１６において、要求されているパケ
ットデータが多重部１０６に存在すれば再送処理を行な
い、存在しなければ対局再送拒否情報を送信パケット符
号化部１０４に入力する。この後、ステップＳ６１２と
して、対局装置１５０に対して再送するデータ、即ち、
再送が要求されているパケットデータ及び対局再送拒否
情報等、に関するデータのデータ長などの再送データ情
報を符号化部制御部１０５に通知する。

【００６１】本実施の形態３においては、符号化部制御
部１０５ｂが、ステップＳ６１１およびステップＳ６１
２で通知される再送データ情報を元に、符号化データの
符号量を調整するように各符号化部１０１〜１０３の符
号化レートの制御を行なう。この符号化の制御方法に関
して、具体的に画像符号化部の制御方法を例として以下
に説明する。

【００６２】ステップＳ６１１およびステップＳ６１２
で通知される再送データ情報が符号化部制御部１０５ｂ
に入力されると、送信データ量解析部５０５１がこの再
送データ情報から再送される画像の符号化データ量を算
出する。この算出した符号化データ量が仮に通常1秒間
に送信される画像符号化データ量の３分の１であったと
すると、符号化部制御部１０５ｂはこの送信データ量解
析部５０５１により算出された再送が必要なデータ量に
基づいて、画像符号化レートを調整して、符号化の結果
得られるデータのデータ量が例えば３分の２になるよう
に画像符号化部１０１による符号化を制御する。この結
果、再送データと、データ量を３分の２にした画像デー
タとを合わせたデータ量が、データ量を変更する前の画
像データのデータ量と同じとなる。なお、ここでは、画
像データについて説明したが、音声データやデータ等に
ついても同様の符号化の制御が符号化制御部１０５ｂに
より行われる。

【００６３】このようにして、再送データ情報から送信
データ量解析部５０５１により再送データ量を算出し、
再送データ量の変動に応じて各符号化部１０１〜１０３
から出力される符号化データ量を変動させるように制御
することで、再送データが加わることにより本来伝送す
べき符号化データの通信レートが変化しても符号化され
たすべての符号化データを送信することができるため
に、対局装置１５０において滑らかに復号することが可
能となるように符号化データを送信することが可能とな
り、対局装置においてより高品質な復号データを得るこ
とができる効果がある。

【００６４】なお、本発明においては、通信レート、画
像符号化レート、１秒間に入力されるフレームの枚数は
前記実施の形態３に記載される数に限られるものではな
い。また、本実施の形態３においては、誤り発生率を誤
り検出復号の結果を用いて算出していたが、対局装置か
らの再送要求情報を利用して算出してもよい。

【００６５】（実施の形態４）図７は、本発明の実施の
形態４に係るマルチメディアデータ通信装置の構成を示
すブロック図であり、図において図１と同一符号は同一
または相当する部分を示している。本実施の形態４に係
るマルチメディアデータ通信装置の構成は、前記実施の
形態１において説明したマルチメディアデータ通信装置
において、符号部制御部を省略し、通信回線の誤り発生
率に応じた符号化の制御を省略するとともに、受信デー
タ解析部１１７が多重部１０６へ誤り発生率情報を入力
するようにし、さらに、各符号化部１０１〜１０３と、
送信パケット符号化部１０４との間に、送信データ解析
部７０１を設けるようにしたものである。

【００６６】以下、本実施の形態４に係るマルチメディ
アデータ通信装置の構成について図７を用いて説明す
る。なお、図１と同一ブロックについての説明はここで
は省略する。送信データ解析部７０１では、各符号化デ
ータを復号する時に重要となるデータ部分を抽出し、こ
の重要データ部分位置を指定するための符号化データ内
における開始位置と終了位置とを重要データ情報として
送信パケット符号化部１０４に通知する処理を行なう。

【００６７】図８は本発明の実施の形態４に係るマルチ
メディアデータ通信方法における送信方法を説明するた
めの流れ図であり、図８において図２と同一の符号を付
した処理ステップは、図２と同一または相当する処理ス
テップを示している。

【００６８】本実施の形態４に係るマルチメディアデー
タ通信方法は、前記実施の形態１に係るマルチメディア
データ通信方法において、送信処理に関しては各符号化
データから、復号する時に重要となるデータ部分を抽出
し、この重要データ部分に関する重要データ情報を作成
し、この重要データ情報を元に多重化を制御する処理を
加えるようにしたものである。

【００６９】以下、本発明の実施の形態４に係るマルチ
メディアデータ通信装置におけるマルチメディアデータ
通信方法について説明する。ここでは、まず、マルチメ
ディアデータを送信する場合について説明する。なお、
前記実施の形態１において説明したマルチメディアデー
タ通信方法と同一の処理についての詳細な説明は省略す
る。

【００７０】図８に示すように、マルチメディアデータ
通信装置の送信部１００において、ステップＳ２０１で
画像入力部１３１より画像情報が画像符号化部１０１、
音声入力部１３２より音声情報が音声符号化部１０２
に、データ入力部１３３よりデータがデータ符号化部１
０３に、それぞれ入力され、符号化され、送信データ解
析部７０１に入力される。ステップＳ８０１において、
送信データ解析部７０１は各符号化データに対して符号
化データを復号する時に重要となるデータ部分を抽出
し、ステップＳ８０２において前記重要データ部分の符
号化データにおける開始位置と終了位置とを重要データ
情報として送信パケット符号化部１０４に通知する。送
信パケット符号化部１０４では、ステップＳ２０２で入
力された符号化データを前記重要データ情報を元に分割
し、ステップＳ２０３で識別子の付加を行なう。次に送
信データ解析部７０１からの重要データ情報を利用し
て、ステップＳ８０３で識別子を付加して得られた識別
子付加データが重要か否かを判定し、もし重要であると
きはステップＳ８０４においてこの識別子付加データの
識別子を記憶保持する。重要でないときは次のステップ
Ｓ２０４に進む。この判定を行なった後、ステップＳ２
０４で誤り検出符号化を行い、さらに、ステップＳ２０
５でパケット化を行ない、得られたデータをパケットデ
ータとして多重部１０６に出力する。また、再送制御部
１１５より入力される自局再送要求情報と対局再送要求
拒否情報とに対しては、ステップＳ２０４で誤り検出符
号化した後、ステップＳ２０５でパケット化して、それ
ぞれ自局再送要求パケットデータ、対局再送要求拒否パ
ケットデータとして多重部１０６に出力される。多重部
１０６では、送信データ解析部７０１からの重要データ
情報と受信部１１０の受信データ解析部１１７からの誤
り発生率情報を元にステップＳ８０５で多重化を行な
う。

【００７１】図９は図８におけるステップＳ８０５の多
重処理内の処理の流れ図であり、ステップＳ８０５にお
いて、多重部１０６は、ステップＳ９０１で送信データ
解析部７０１から通知される重要データ情報を解析す
る。ステップＳ９０１の解析の結果、送信パケット符号
化部１０４から入力されたパケットデータが重要なとき
は、ステップＳ９０２で受信データ解析部１１７から通
知される通信回線の誤り発生率情報を解析し、この解析
の結果誤り発生率が大きければ、ステップＳ９０３でこ
のパケットデータをＮ個（Ｎは２以上の自然数）多重す
るように多重部１０６を制御し、入力されたほかのパケ
ットデータと共に多重化データを作成する。この多重す
る数Ｎは、誤り発生率や重要度が大きいほど値が大きく
なるように設定しても良い。また、ステップＳ９０１の
解析の結果、前記パケットデータが重要でないとき、及
びパケットデータは重要であるが、ステップＳ９０２の
解析の結果、通信回線の誤り発生率が小さいときは、ス
テップＳ９０４でこのパケットデータ１個多重するよう
に多重部１０６を制御し、入力されたほかのパケットデ
ータと共に多重化データを作成する。

【００７２】多重化データを作成後、ステップＳ２０７
で通信回線インタフェース１２０を介して対局装置１５
０に多重化データを送信すると共に、対局装置１５０か
ら再送要求がなされた時のために上述した自局再送要求
パケットデータや対局再送拒否パケットデータを除くそ
の他の各パケットデータをそれぞれある一定の数だけ多
重部１０６に保存する。

【００７３】図１０は、本発明の実施の形態４に係るマ
ルチメディアデータ通信方法における受信方法の再送処
理内の処理を示す流れ図であり、この再送処理ステップ
Ｓ３１６ａは、前記実施の形態１において図３に示した
受信方法における再送処理ステップＳ３１６の代わりに
実行される処理である。

【００７４】本実施の形態４に係るマルチメディアデー
タ通信方法は、前記実施の形態１に係るマルチメディア
データ通信方法において、受信処理に関しては、対局装
置へのパケットデータの再送方法が異なるようにしたも
のである。

【００７５】以下、本発明の実施の形態４に係るマルチ
メディアデータ通信装置におけるマルチメディアデータ
通信方法について、マルチメディアデータを送信する場
合について説明する。なお、再送処理ステップＳ３１６
ａ以外の処理については、前記実施の形態１において図
３を用いて説明したマルチメディアデータ通信方法と同
一または相当する処理が行われるため、ここでは説明は
省略する。

【００７６】上述した図３のステップＳ３１５に示すよ
うに、受信部１１０が受信した受信データが対局装置１
５０からの再送要求情報であると判定された時は、図１
０に示すステップＳ１００１により受信した再送要求情
報を解析し、上述した図８のステップＳ８０４で記憶保
持された識別子情報を比較して自局装置の送信部１００
の送信データ解析部７０１において復号の際に重要であ
ると判定されたパケットデータであるか否かを判定す
る。この判定の結果、重要であるパケットデータの再送
を要求されているときは、ステップＳ１００２により要
求されているパケットデータの多重化された個数（Ｎ
個）と、この要求されているパケットデータの再送要求
回数との比較を行なう。この再送要求回数は再送制御部
１１５内に含まれる再送要求回数カウンタでカウントさ
れる。この比較の結果、再送要求回数より多重された個
数が小さいときは、ステップＳ１００３により要求され
ているパケットデータの再送要求回数カウンタを１イン
クリメントする。また、比較の結果、再送要求回数と多
重された個数とが等しいときは、図１０のステップＳ１
００４において再送要求されているパケットデータの再
送要求カウンタを１に初期化すると共に再送要求されて
いるパケットデータが多重部１０６に存在すれば再送処
理を行ない、存在しなければ対局再送拒否情報を送信パ
ケット符号化部１０４に入力する。

【００７７】また図１０のステップＳ１００１の判定の
結果、重要でないパケットデータを要求されているとき
は、前記要求されているパケットデータが多重部１０６
に存在すれば再送処理を行ない、存在しなければ対局再
送拒否情報を送信パケット符号化部１０４に入力する。

【００７８】図１１は、本実施の形態４に係るマルチメ
ディアデータ符号化装置を説明するための画像符号化デ
ータ（図１１（ａ））、画像識別子付加データ（図１１
（ｂ））、画像パケットデータ（図１１（ｃ））、誤り
発生率が高い場合の多重データ（図１１（ｄ））、及び
誤り発生率が小さい時の多重データ（図１１（ｅ））の
構造を示す図である。以下、本実施の形態４における、
送信データ解析部７０１の動作、送信データ解析部７０
１から通知される重要データ情報を元に行なわれる多重
部１０６による多重制御について画像データを例として
図１１を用いて具体的に説明する。ここでは例えば画像
符号化方法をＩＴＵ−Ｔ Ｈ．２６３、多重分離方法Ｉ
ＴＵ−Ｔ Ｈ．２２３とする。

【００７９】画像符号化データの構成は図１１（ａ）に
示すようにヘッダ情報１１０１、動きベクトル情報１１
０２、その他の情報１１０３の繰り返しとなっている。
この符号化方法では、ヘッダ情報と動きベクトル情報が
あれば、画質は少々劣化するが復号が可能となる。送信
データ解析部７０１では、図１１（ａ）に示すようにヘ
ッダ情報１１０１や動きベクトル情報１１０２などの復
号に重要な情報を抽出し（ステップＳ８０１）、抽出デ
ータの画像符号化データ内での開始位置と終了位置を重
要データ情報として送信パケット符号化部１０４に出力
する（ステップＳ８０２）。送信データ解析部７０１か
ら通知される重要データ情報に基づいて、ヘッダ情報１
１０１や動きベクトル情報１１０２等の重要情報部分に
ついては、ヘッダ情報のみ、あるいは動きベクトル情報
のみからなる部分に分割し、この重要情報部分を除く部
分については、その他の情報部分として分割する（ステ
ップＳ２０２）。次の処理として、これらの各分割デー
タに識別子を付加するが、図１１（ｂ）に示すように、
Ｈ．２２３では各符号化データ毎に分割された順番を示
すシーケンス番号を付加する（ステップＳ２０３）。こ
の識別子付加処理の後、送信データ解析部７０１から通
知される重要データ情報をもとに、識別子を付加した識
別子付加データが重要か否かを判定し（ステップＳ８０
３）、もし図１１（ｂ）に示すヘッダ識別子付加データ
１１１１、動きベクトル識別子付加データ１１１２のよ
うな重要であるデータであると判定されたときは、ステ
ップＳ８０４において、そのデータの種類とシーケンス
番号とを記憶保持する。この識別子付加処理の後、各識
別子付加データに対して誤り検出符号化（ステップＳ２
０４）を行ない、図１１（ｃ）に示すようにパケットデ
ータを作成する（ステップＳ２０５）。音声符号化デー
タおよびデータ符号化データに関しても画像符号化デー
タと同様の処理を施し、パケットデータを作成する。パ
ケットデータ作成後、前記重要データ情報、及び受信部
１１０の受信データ解析部１１７からの誤り発生率情報
を元に多重を行なう（ステップＳ８０５）。このとき、
パケットデータ内の符号化データが重要でありかつ通信
回線の誤り発生率が大きいときは（ステップＳ９０１、
Ｓ９０２）、図１１（ｄ）に示すようにヘッダパケット
データ１１２１、動きベクトルパケットデータ１１２２
をそれぞれ、Ｎ個、ここでは２個多重する（ステップＳ
９０３）。また、パケットデータ内の符号化データが重
要であるが誤り発生率が小さいとき（ステップＳ９０
１、Ｓ９０２）、または重要でないとき（ステップＳ９
０１）は、図１１（ｅ）に示すように各パケットデータ
を１個多重する（図９のステップＳ９０４）。

【００８０】以上のような動作により、誤り発生率の変
動と符号化データの復号時の重要性とに応じて、復号に
重要な情報をＮ個（Ｎは２以上の自然数）送信するよう
に多重部の制御を行なうことで、復号に重要なデータを
確実に送信でき、再送を行なわなくても、対局装置１５
０において復号効率を極端に落とすことなく復号するこ
とが可能となるように符号化データを送信することが可
能となる。

【００８１】なお、本実施の形態４においては、復号に
重要なデータを複数個送信することになるが、通常は、
復号に重要なデータはその他のデータに比べてデータ量
が小さいために複数個多重して送信しても、通信効率を
極端に落とすことはない。

【００８２】なお、本実施の形態４においては、誤り発
生率と符号化データの重要度に基づいて復号に重要な情
報はＮ個（Ｎは２以上の自然数）送信するようにした
が、本発明においては、予め、復号に重要な情報はＮ個
（Ｎは２以上の自然数）送信しておき、誤り発生率に応
じて、その多重化数を増加させてもよい。

【００８３】また、画像符号化方法は前記方法に限るも
のではなく、ＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４、Ｉ
ＴＵ−Ｔ Ｈ．２６１、Ｗａｖｅｌｅｔ変換などその他
の方法であってもよい。

【００８４】また、本実施の形態４において説明した画
像パケットデータの構成は一例であり、本発明において
は、画像パケットデータの構成は、前記構成に限るもの
ではなく、その他の構成であってもよい。

【００８５】また、本実施の形態４においては、復号に
重要なデータとしてヘッダ情報や動きベクトル情報を例
として説明したが、本発明においては、復号に重要なデ
ータをヘッダ情報や動きベクトル情報に限るものではな
く他のデータであってもよい。

【００８６】なお、本実施の形態４においては、重要デ
ータ情報として、復号に重要なデータ部分の、符号化デ
ータ内における開始位置と終了位置との位置情報を用い
るようにしたが、本発明においては、符号化データ内の
重要データ部分を特定できる情報であれば、重要データ
の開始位置とデータ長など他の構成であってもよい。ま
た、本発明においては、復号に重要な情報以外でも再送
要求を行なってもよい。

【００８７】なお、本実施の形態４においては、画像符
号化方法がＩＴＵ−Ｔ Ｈ．２６３である場合について
説明したが、本発明は、画像符号化方法が差分データの
符号化を行う符号化方法であれば、例えばＭＰＥＧ１、
ＭＰＥＧ２、ＭＰＥＧ４、ＩＴＵ−Ｔ Ｈ．２６１、Ｗ
ａｖｅｌｅｔ変換などその他の方法であっても、前記実
施の形態１と同様の効果を奏する。

【００８８】また、本発明においては、画像符号化レー
ト、１秒間に入力されるフレームの枚数、イントラ符号
化されるフレームの位置は前記実施の形態４に記載され
る数に限られるものではない。

【００８９】また、本実施の形態４においては、音声符
号化部の入力を音声情報としているが、音声に限るもの
ではなくオーディオであっても良い。

【００９０】また、本発明においては、画像符号化デー
タまたは音声符号化データまたはデータ符号化データが
存在しなければ、この存在しないデータに関しては、パ
ケットデータを作成せずに多重化を行なっても良い。

【００９１】さらに、本実施の形態４においては誤りが
発生して再送要求があった場合においても、必ずしも再
送を行なわないようにしてもよく、このような場合にお
いては装置を簡略化することができる。

【００９２】また、本実施の形態４においては、誤り発
生率を誤り検出復号の結果を用いて算出していたが、対
局装置からの再送要求情報を利用して算出してもよい。

【００９３】

【発明の効果】以上のように、この発明によれば、画
像、音声、またはデータの少なくとも１つを含むマルチ
メディアデータを符号化して、単独で復号可能な第１の
データと、該第１のデータを用いて復号可能な第2のデ
ータとを備えた符号化データストリームを作成し、該符
号化データストリームを任意のビット長に分割し、該分
割データに対してそれぞれ誤り検出情報を求め、前記分
割データと前記求めた誤り検出情報とをパケット化し、
前記パケットデータを多重化し、該多重化したデータを
通信回線を介して送信し、該通信回線を介して前記多重
化したデータを受信し、該多重化データをパケットデー
タに分離し、該分離したパケットデータを復号するマル
チメディアデータ通信方法であって、前記符号化データ
ストリームを生成する際に、前記通信回線の誤り発生率
に応じて前記第１のデータの挿入間隔を調整するように
したから、復号データの品質を極端に落とすことなく符
号化データを送信することができ、高品質な復号データ
を得ることができる効果がある。

【００９４】また、この発明によれば、前記マルチメデ
ィアデータ通信方法において、前記第１のデータとし
て、画像フレームをイントラ符号化した画像符号化デー
タを含み、前記第２のデータとして、フレーム間差分デ
ータを符号化した画像符号化データを含むようにしたか
ら、高品質な復号データを得ることができる効果があ
る。

【００９５】また、この発明によれば、前記マルチメデ
ィアデータ通信方法において、前記パケットデータに誤
りが検出された場合に、該誤りが検出されたパケットデ
ータの再送を行うとともに、前記通信回線の誤り発生率
に応じて前記符号化データストリームを作成する際の、
符号化率を調整するようにしたから、再送データが加わ
ることにより本来伝送すべき符号化データの通信レート
が変化しても符号化されたすべての符号化データを送信
することができ、高品質な復号データを得ることができ
る効果がある。

【００９６】また、この発明によれば、この発明に係る
マルチメディアデータ通信方法は、画像、音声、または
データの少なくとも１つを含むマルチメディアデータを
符号化して、符号化データストリームを作成し、該符号
化データストリームを任意のビット長に分割し、該分割
データに対してそれぞれ誤り検出情報を求め、前記分割
データと前記求めた誤り検出情報とをパケット化し、前
記パケットデータを多重化し、該多重化したデータを通
信回線を介して送信し、該通信回線を介して前記多重化
したデータを受信し、該多重化データをパケットデータ
に分離し、該分離したパケットデータを復号するととも
に、前記パケットデータに誤りが検出された場合に、該
誤りが検出されたパケットデータの再送を行うマルチメ
ディアデータ通信方法であって、前記符号化データスト
リームを作成する際の符号化率を、前記通信回線の誤り
発生率に応じて調整するようにしたから、再送データが
加わることにより本来伝送すべき符号化データの通信レ
ートが変化しても符号化されたすべての符号化データを
送信することができ、高品質な復号データを得ることが
できる効果がある。

【００９７】また、この発明によれば、この発明に係る
マルチメディアデータ通信方法は、画像、音声、または
データの少なくとも１つを含むマルチメディアデータを
符号化して、符号化データストリームを作成し、該符号
化データストリームを任意のビット長に分割し、該分割
データに対してそれぞれ誤り検出情報を求め、前記分割
データと前記求めた誤り検出情報とをパケット化し、前
記パケットデータを多重化し、該多重化したデータを通
信回線を介して送信し、該通信回線を介して前記多重化
したデータを受信し、該多重化データをパケットデータ
に分離し、該分離したパケットデータを復号するととも
に、前記パケットデータに誤りが検出された場合に、該
誤りが検出されたパケットデータの再送を要求し、再送
が要求されたパケットデータの再送を行うマルチメディ
アデータ通信方法であって、前記再送を要求されたパケ
ットデータのデータ量を求め、該求めたデータ量に基づ
いて、前記符号化データストリームを作成する際の符号
化率を調整するようにしたから、再送データが加わるこ
とにより本来伝送すべき符号化データの通信レートが変
化しても符号化されたすべての符号化データを送信する
ことができ、高品質な復号データを得ることができる効
果がある。

【００９８】また、この発明によれば、前記マルチメデ
ィアデータ通信方法において、前記通信回線の誤り発生
率に応じて、前記多重化データのうちの前記復号の際に
重要となるデータをＮ回（Ｎは２以上の自然数）送信す
るようにしたから、復号に重要なデータを確実に送信で
き、対局装置において復号効率を極端に落とすことなく
復号することが可能となり、高品質な復号データを得る
ことができる効果がある。

【００９９】また、この発明によれば、画像、音声、ま
たはデータの少なくとも１つを含むマルチメディアデー
タを符号化して符号化データストリームを作成し、該符
号化データストリームを任意のビット長に分割し、該分
割データに対してそれぞれ誤り検出情報を求め、前記分
割データと前記求めた誤り検出情報とをパケット化し、
前記パケットデータを多重化し、該多重化したデータを
通信回線を介して送信し、該通信回線を介して前記多重
化したデータを受信し、該多重化データをパケットデー
タに分離し、該分離したパケットデータを復号するマル
チメディアデータ通信方法であって、前記符号化データ
ストリームを作成した後、該符号化データストリーム中
の符号化データについて、復号の際の重要度を解析し、
該解析により重要であると解析された符号化データを、
その重要度と前記通信回線の誤り発生率とに応じて、Ｎ
回（Ｎは２以上の自然数）送信するようにしたから、復
号に重要なデータを確実に送信でき、復号効率を極端に
落とすことなく復号することが可能となり、高品質な復
号データを得ることができる効果がある。

【０１００】また、この発明によれば、前記マルチメデ
ィアデータ通信方法において、前記多重化して送信した
符号化データに対しての再送を要求する再送要求データ
を受信し、前記通信回線の誤り発生率を、前記再送要求
データを用いて求めるようにしたから、高品質な復号デ
ータを得ることができる効果がある。

【０１０１】また、この発明によれば、画像、音声、ま
たはデータの少なくともいずれか１つを含むマルチメデ
ィアデータをそれぞれ符号化し、単独で復号可能な第１
のデータと、該第１のデータを用いて復号可能な第２の
データとを備えた符号化データストリームを作成する符
号化手段と、該符号化手段により符号化した各符号化デ
ータストリームをパケット化し、各パケットに対して誤
り検出符号化を行なう誤り検出符号化手段と、該誤り検
出符号化手段により誤り検出符号化して得られた各デー
タを多重化して通信回線を介して対局装置に送信する送
信手段と、前記通信回線を介して対局装置から送信され
るデータを受信する受信手段と、該受信手段により受信
されたデータから前記通信回線の誤り発生率を求め、前
記符号化手段を制御して、前記符号化データストリーム
を作成する際の、前記第１のデータの前記符号化データ
ストリーム内における挿入間隔を、前記誤り発生率に応
じて調整する符号化部制御手段とを備えるようにしたか
ら、復号データの品質を極端に落とすことなく符号化デ
ータを送信することができ、対局装置においてより高品
質な復号データを得ることができる効果がある。

【０１０２】また、この発明によれば、前記マルチメデ
ィアデータ通信装置において、前記第１のデータとし
て、画像フレームをイントラ符号化した画像符号化デー
タを含み、前記第２のデータとして、フレーム間差分デ
ータを符号化した画像符号化データを含むようにしたか
ら、高品質な復号データを得ることができる効果があ
る。

【０１０３】また、この発明によれば、画像、音声、ま
たはデータの少なくともいずれか１つを含むマルチメデ
ィアデータをそれぞれ符号化し符号化データストリーム
を作成する符号化手段と、該符号化手段により符号化し
た各符号化データストリームをパケット化し、各パケッ
トに対して誤り検出符号化を行なう誤り検出符号化手段
と、該誤り検出符号化手段により誤り検出符号化して得
られた各データを多重化して通信回線を介して対局装置
に送信する送信手段と、前記通信回線を介して対局装置
から送信されるデータを受信する受信手段と、該受信手
段により受信されたデータから前記通信回線の誤り発生
率を求め、前記符号化手段が作成する符号化データスト
リームの符号化率を、前記通信回線の誤り発生率に応じ
て調整するとともに、前記受信手段が受信したデータが
送信データの再送を要求する再送要求データである場合
に、前記符号化手段を制御して、前記符号化手段に符号
化データストリームを作成させる制御手段とを備えるよ
うにしたから、再送データが加わることにより本来伝送
すべき符号化データの通信レートが変化しても符号化さ
れたすべての符号化データを送信することができ、高品
質な復号データを得ることができる効果がある。

【０１０４】また、この発明によれば、画像、音声、ま
たはデータの少なくともいずれか１つを含むマルチメデ
ィアデータをそれぞれ符号化し符号化データストリーム
を作成する符号化手段と、該符号化手段により符号化し
た各符号化データストリームをパケット化し、各パケッ
トに対して誤り検出符号化を行なう誤り検出符号化手段
と、該誤り検出符号化手段により誤り検出符号化して得
られた各データを多重化して通信回線を介して対局装置
に送信する送信手段と、前記通信回線を介して対局装置
から送信される再送要求データを受信する受信手段と、
該受信手段により受信された再送要求データに基づい
て、再送するデータの送信データ量を解析し、前記符号
化手段が作成する符号化データストリームの符号化率
を、前記再送するデータの送信データ量に応じて調整す
るとともに、前記符号化手段を制御して、前記符号化手
段に符号化データストリームを作成させる制御手段とを
備えるようにしたから、再送データが加わることにより
本来伝送すべき符号化データの通信レートが変化しても
符号化されたすべての符号化データを送信することがで
き、高品質な復号データを得ることができる効果があ
る。

【０１０５】また、この発明によれば、画像、音声、ま
たはデータの少なくともいずれか１つを含むマルチメデ
ィアデータをそれぞれ符号化し符号化データストリーム
を作成する符号化手段と、前記符号化データストリーム
中の符号化データの復号の際の重要度を解析するデータ
解析手段と、前記符号化手段により符号化した各符号化
データストリームをパケット化し、各パケットに対して
誤り検出符号化を行なう誤り検出符号化手段と、該誤り
検出符号化手段により誤り検出符号化して得られた各デ
ータを多重化して、通信回線を介して対局装置に送信す
る送信手段と、前記通信回線を介して対局装置から送信
されるデータを受信する受信手段と、該受信手段により
受信されたデータから前記通信回線の誤り発生率を求
め、前記データ解析手段により復号の際の重要が高いと
解析された符号化されたデータを含むパケットデータ
を、該重要度と前記誤り発生率とに基づき、前記送信手
段によりＮ回（Ｎは２以上の自然数）送信させる制御手
段とを備えるようにしたから、復号に重要なデータを確
実に送信でき、対局装置において復号効率を極端に落と
すことなく復号することが可能となり、高品質な復号デ
ータを得ることができる効果がある。

【図面の簡単な説明】

【図１】本発明の実施の形態１に係るマルチメディアデ
ータ通信装置の構成を示すブロック図である。

【図２】本発明の実施の形態１に係るマルチメディアデ
ータ通信装置におけるデータ送信方法を説明するための
流れ図である。

【図３】本発明の実施の形態１に係るマルチメディアデ
ータ通信装置におけるデータ受信方法を説明するための
流れ図である。

【図４】本発明の実施の形態１に係るマルチメディアデ
ータ通信装置を説明するための画像データの構成図であ
る。

【図５】本発明の実施の形態３に係るマルチメディアデ
ータ通信装置の構成を示すブロック図である。

【図６】本発明の実施の形態３に係るマルチメディアデ
ータ通信装置におけるデータ受信方法を説明するための
流れ図である。

【図７】本発明の実施の形態４に係るマルチメディアデ
ータ通信装置の構成を示すブロック図である。

【図８】本発明の実施の形態４に係るマルチメディアデ
ータ通信装置におけるデータ送信方法を説明するための
流れ図である。

【図９】本発明の実施の形態４に係るマルチメディアデ
ータ通信装置における多重処理を説明するための流れ図
である。

【図１０】本発明の実施の形態４に係るマルチメディア
データ通信装置における再送処理を説明するための流れ
図である。

【図１１】本発明の実施の形態４に係るマルチメディア
データ通信装置を説明するための送信データの構成図で
ある。

【図１２】本発明の実施の形態２に係るマルチメディア
データ通信装置の構成を示すブロック図である。

【符号の説明】

１００ 送信部 １０１ 画像符号化部 １０２ 音声符号化部 １０３ データ符号化部 １０４ 送信パケット符号化部 １０５、１０５ａ，１０５ｂ 符号化部制御部 １０６ 多重部 １１０ 受信部 １１１ 画像復号化部 １１２ 音声復号化部 １１３ データ復号化部 １１４ 受信パケット復号化部 １１５ 再送制御部 １１６ 分離部 １１７ 受信データ解析部 １３１ 画像入力部 １３２ 音声入力部 １３３ データ入力部 １４１ 画像出力部 １４２ 音声出力部 １４３ データ出力部 １５０ 対局装置 ４０１〜４０４ 画像フレームデータ ４１１ 画像符号化データ ４２１〜４２３ 復号された画像フレームデータ ７０１ 送信データ解析部 １１０１ ヘッダ情報 １１０２ 動きベクトル情報 １１０３ その他の情報 １１１１ ヘッダ識別子付加データ １１１２ 動きベクトル識別子付加データ １１１３ その他の情報識別子付加データ １１２１ ヘッダパケットデータ １１２２ 動きベクトルパケットデータ １１３３ その他の情報パケットデータ ５０５０，５０５１ 送信データ量解析部

フロントページの続き Ｆターム(参考） 5C059 KK01 KK34 MA00 MA04 MA05 MA24 PP05 RB02 RB19 RC00 RF01 RF05 RF14 RF15 RF20 RF23 SS06 SS30 TA60 TA76 TB04 TC21 TC22 TD14 UA02 UA05 5K014 AA01 DA02 FA03 FA11 HA10 5K028 AA01 EE03 EE07 KK01 KK03 KK32 LL11 PP12 RR04 5K030 GA11 HB02 HB12 HB21 HB28 JA01 LA01 MB05

Claims (13)

【特許請求の範囲】
1. 【請求項１】 画像、音声、またはデータの少なくとも
   １つを含むマルチメディアデータを符号化して、単独で
   復号可能な第１のデータと、該第１のデータを用いて復
   号可能な第２のデータとを備えた符号化データストリー
   ムを作成し、該符号化データストリームを任意のビット
   長に分割し、該分割データに対してそれぞれ誤り検出情
   報を求め、前記分割データと前記求めた誤り検出情報と
   をパケット化し、前記パケットデータを多重化し、該多
   重化したデータを通信回線を介して送信し、該通信回線
   を介して前記多重化したデータを受信し、該多重化デー
   タをパケットデータに分離し、該分離したパケットデー
   タを復号するマルチメディアデータ通信方法であって、 前記符号化データストリームを生成する際に、前記通信
   回線の誤り発生率に応じて前記第１のデータの挿入間隔
   を調整することを特徴とするマルチメディアデータ通信
   方法。
2. 【請求項２】 請求項１に記載のマルチメディアデータ
   通信方法において、 前記第１のデータとして、画像フレームをイントラ符号
   化した画像符号化データを含み、 前記第２のデータとして、フレーム間差分データを符号
   化した画像符号化データを含むことを特徴とするマルチ
   メディアデータ通信方法。
3. 【請求項３】 請求項１または請求項２に記載のマルチ
   メディアデータ通信方法において、 前記パケットデータに誤りが検出された場合に、該誤り
   が検出されたパケットデータの再送を行うとともに、 前記通信回線の誤り発生率に応じて前記符号化データス
   トリームを作成する際の、符号化率を調整することを特
   徴とするマルチメディアデータ通信方法。
4. 【請求項４】 画像、音声、またはデータの少なくとも
   １つを含むマルチメディアデータを符号化して、符号化
   データストリームを作成し、該符号化データストリーム
   を任意のビット長に分割し、該分割データに対してそれ
   ぞれ誤り検出情報を求め、前記分割データと前記求めた
   誤り検出情報とをパケット化し、前記パケットデータを
   多重化し、該多重化したデータを通信回線を介して送信
   し、該通信回線を介して前記多重化したデータを受信
   し、該多重化データをパケットデータに分離し、該分離
   したパケットデータを復号するとともに、前記パケット
   データに誤りが検出された場合に、該誤りが検出された
   パケットデータの再送を行うマルチメディアデータ通信
   方法であって、 前記符号化データストリームを作成する際の符号化率
   を、前記通信回線の誤り発生率に応じて調整することを
   特徴とするマルチメディアデータ通信方法。
5. 【請求項５】 画像、音声、またはデータの少なくとも
   １つを含むマルチメディアデータを符号化して、符号化
   データストリームを作成し、該符号化データストリーム
   を任意のビット長に分割し、該分割データに対してそれ
   ぞれ誤り検出情報を求め、前記分割データと前記求めた
   誤り検出情報とをパケット化し、前記パケットデータを
   多重化し、該多重化したデータを通信回線を介して送信
   し、該通信回線を介して前記多重化したデータを受信
   し、該多重化データをパケットデータに分離し、該分離
   したパケットデータを復号するとともに、前記パケット
   データに誤りが検出された場合に、該誤りが検出された
   パケットデータの再送を要求し、再送が要求されたパケ
   ットデータの再送を行うマルチメディアデータ通信方法
   であって、 前記再送を要求されたパケットデータのデータ量を求
   め、 該求めたデータ量に基づいて、前記符号化データストリ
   ームを作成する際の符号化率を調整することを特徴とす
   るマルチメディアデータ通信方法。
6. 【請求項６】 請求項１ないし請求項５のいずれか１つ
   に記載のマルチメディアデータ通信方法において、 前記通信回線の誤り発生率に応じて、前記多重化データ
   のうちの前記復号の際に重要となるデータをＮ回（Ｎは
   ２以上の自然数）送信することを特徴とするマルチメデ
   ィアデータ通信方法。
7. 【請求項７】 画像、音声、またはデータの少なくとも
   １つを含むマルチメディアデータを符号化して符号化デ
   ータストリームを作成し、該符号化データストリームを
   任意のビット長に分割し、該分割データに対してそれぞ
   れ誤り検出情報を求め、前記分割データと前記求めた誤
   り検出情報とをパケット化し、前記パケットデータを多
   重化し、該多重化したデータを通信回線を介して送信
   し、該通信回線を介して前記多重化したデータを受信
   し、該多重化データをパケットデータに分離し、該分離
   したパケットデータを復号するマルチメディアデータ通
   信方法であって、 前記符号化データストリームを作成した後、該符号化デ
   ータストリーム中の符号化データについて、復号の際の
   重要度を解析し、該解析により重要であると解析された
   符号化データを、その重要度と前記通信回線の誤り発生
   率とに応じて、Ｎ回（Ｎは２以上の自然数）送信するこ
   とを特徴とするマルチメディアデータ通信方法。
8. 【請求項８】 請求項１ないし請求項７のいずれか１つ
   に記載のマルチメディアデータ通信方法において、 前記多重化して送信した符号化データに対しての再送を
   要求する再送要求データを受信し、 前記通信回線の誤り発生率を、前記再送要求データを用
   いて求めることを特徴とするマルチメディアデータ通信
   方法。
9. 【請求項９】 画像、音声、またはデータの少なくとも
   いずれか1つを含むマルチメディアデータをそれぞれ符
   号化し、単独で復号可能な第１のデータと、該第１のデ
   ータを用いて復号可能な第２のデータとを備えた符号化
   データストリームを作成する符号化手段と、 該符号化手段により符号化した各符号化データストリー
   ムをパケット化し、各パケットに対して誤り検出符号化
   を行なう誤り検出符号化手段と、 該誤り検出符号化手段により誤り検出符号化して得られ
   た各データを多重化して通信回線を介して対局装置に送
   信する送信手段と、 前記通信回線を介して対局装置から送信されるデータを
   受信する受信手段と、 該受信手段により受信されたデータから前記通信回線の
   誤り発生率を求め、前記符号化手段を制御して、前記符
   号化データストリームを作成する際の、前記第１のデー
   タの前記符号化データストリーム内における挿入間隔
   を、前記誤り発生率に応じて調整する符号化部制御手段
   とを備えたことを特徴とするマルチメディアデータ通信
   装置。
10. 【請求項１０】 請求項９に記載のマルチメディアデー
    タ通信装置において、 前記第１のデータとして、画像フレームをイントラ符号
    化した画像符号化データを含み、 前記第２のデータとして、フレーム間差分データを符号
    化した画像符号化データを含むことを特徴とするマルチ
    メディアデータ通信装置。
11. 【請求項１１】 画像、音声、またはデータの少なくと
    もいずれか１つを含むマルチメディアデータをそれぞれ
    符号化し符号化データストリームを作成する符号化手段
    と、 該符号化手段により符号化した各符号化データストリー
    ムをパケット化し、各パケットに対して誤り検出符号化
    を行なう誤り検出符号化手段と、 該誤り検出符号化手段により誤り検出符号化して得られ
    た各データを多重化して通信回線を介して対局装置に送
    信する送信手段と、 前記通信回線を介して対局装置から送信されるデータを
    受信する受信手段と、 該受信手段により受信されたデータから前記通信回線の
    誤り発生率を求め、前記符号化手段が作成する符号化デ
    ータストリームの符号化率を、前記通信回線の誤り発生
    率に応じて調整するとともに、前記受信手段が受信した
    データが送信データの再送を要求する再送要求データで
    ある場合に、前記符号化手段を制御して、前記符号化手
    段に符号化データストリームを作成させる制御手段とを
    備えたことを特徴とするマルチメディアデータ通信装
    置。
12. 【請求項１２】 画像、音声、またはデータの少なくと
    もいずれか１つを含むマルチメディアデータをそれぞれ
    符号化し符号化データストリームを作成する符号化手段
    と、 該符号化手段により符号化した各符号化データストリー
    ムをパケット化し、各パケットに対して誤り検出符号化
    を行なう誤り検出符号化手段と、 該誤り検出符号化手段により誤り検出符号化して得られ
    た各データを多重化して通信回線を介して対局装置に送
    信する送信手段と、 前記通信回線を介して対局装置から送信される再送要求
    データを受信する受信手段と、 該受信手段により受信された再送要求データに基づい
    て、再送するデータの送信データ量を解析し、前記符号
    化手段が作成する符号化データストリームの符号化率
    を、前記再送するデータの送信データ量に応じて調整す
    るとともに、前記符号化手段を制御して、前記符号化手
    段に符号化データストリームを作成させる制御手段とを
    備えたことを特徴とするマルチメディアデータ通信装
    置。
13. 【請求項１３】 画像、音声、またはデータの少なくと
    もいずれか１つを含むマルチメディアデータをそれぞれ
    符号化し符号化データストリームを作成する符号化手段
    と、 前記符号化データストリーム中の符号化データの復号の
    際の重要度を解析するデータ解析手段と、 前記符号化手段により符号化した各符号化データストリ
    ームをパケット化し、各パケットに対して誤り検出符号
    化を行なう誤り検出符号化手段と、 該誤り検出符号化手段により誤り検出符号化して得られ
    た各データを多重化して、通信回線を介して対局装置に
    送信する送信手段と、 前記通信回線を介して対局装置から送信されるデータを
    受信する受信手段と、 該受信手段により受信されたデータから前記通信回線の
    誤り発生率を求め、前記データ解析手段により復号の際
    の重要が高いと解析された符号化されたデータを含むパ
    ケットデータを、該重要度と前記誤り発生率とに基づ
    き、前記送信手段によりＮ回（Ｎは２以上の自然数）送
    信させる制御手段とを備えたことを特徴とするマルチメ
    ディアデータ通信装置。