JP2002247578A - ビデオパケットの受信復号システムおよび送信システム - Google Patents

Abstract

(57)【要約】 【課題】 動画像符号化データをビデオパケットとして
送受信するシステムにおいて、パケットの欠落や遅延に
よる画質劣化を可能な限り速やかに軽減する。 【解決手段】 パケット受信部１１で受信したビデオパ
ケット１０１を復号器１３により連続して復号している
ときに、パケット受信部１１で受信したビデオパケット
１０１に欠落が生じたとき、該欠落したパケットより後
の受信パケットをパケット蓄積部１２に蓄積するととも
に、欠落したパケットの復号に必要な参照データを復号
参照データ蓄積部１４に記憶しておく。そして、欠落し
たパケットが遅れて受信された時に前記記憶しておいた
一連のデータを利用して復号処理を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像符号化デー
タをパケット化して送受信するシステムであって、伝送
過程でパケットが欠落あるいは遅延して復号画像に画質
劣化が生じることがある場合に、欠落したパケットの後
の受信パケットを予め定めた一定期間だけ記憶すること
により、欠落したパケットが再送あるいは遅延して到着
した場合に、早期に画質劣化を回復する方法に関する。

【０００２】

【従来の技術】一般に、動画像符号化データなどのデー
タを、インターネットなどを経由して伝送する場合、デ
ータをパケット化してＴＣＰ／ＩＰというプロトコルに
従い伝送する方法が広く知られている。ＴＣＰ／ＩＰで
はパケットを受信するたびに送信側へ受信確認を送信す
る。

【０００３】送信側では予め定めた一定期間にわたり受
信確認が返されないと、該当するパケットは伝送過程で
廃棄されたと考えて再送信を行う。こうすることで全て
のパケットは欠落することなく確実に送受信することが
可能となる。

【０００４】しかしながら、ＴＣＰ／ＩＰによるパケッ
ト伝送では全てのパケット毎に受信確認を行うため、伝
送制御が複雑となり伝送遅延も生じる。また欠落したパ
ケットは再送されるものの、その到着時刻は保証されな
い。こうした理由からＴＣＰ／ＩＰは本質的に実時間伝
送用途には不向きである。即ち、監視映像伝送やテレビ
電話のようにできるだけ遅延を抑制しつつ連続的に伝送
する必要がある用途では、別の方法を用いる必要があ
る。

【０００５】ＲＴＰ／ＵＤＰ／ＩＰ（Real-time Proces
sing/User Datagram Protocol/Internet Protocol）は
実時間伝送用途に向いたデータ伝送のプロトコルとして
知られている。これはＴＣＰ／ＩＰに較べてパケットの
オーバーヘッドを少なくし、且つ、パケットの受信確認
は行わないことで伝送効率と伝送遅延を大幅に改善でき
る方式である。このため動画像符号化データのインター
ネット伝送向けの方式として最近注目を集めている。

【０００６】ＲＴＰ／ＵＤＰ／ＩＰでは受信確認は行わ
ず、伝送途中で廃棄されたパケットの特定はできないの
で、パケット再送は一般的には行われない。インターネ
ット伝送では伝送路の輻輳の程度に応じて一定比率でパ
ケットが欠落するので、ＲＴＰ／ＵＤＰ／ＩＰはパケッ
ト欠落を許容する応用目的に供されるか、あるいは送信
側で予想したパケット欠落率に応じたエラー訂正符号を
パケットデータに重畳してから送信することがある。

【０００７】ＲＴＰ／ＵＤＰ／ＩＰ伝送では伝送路が動
的に変化することもあるので、順番に送信されたパケッ
トが受信側では順番が入れ替わって到着したりあるい
は、一部のパケットがかなり遅れて到着する可能性もあ
る。また伝送路が込み合うと一部のパケットが途中で廃
棄され、受信側ではパケットが欠落してしまうこともあ
る。

【０００８】上記のようにパケットの欠落や遅延がある
場合、実時間で受信できたパケットだけを復号処理する
と復号画像に画質劣化が生じる。なぜなら、動画像符号
化データは連続したフレーム間で予測処理を行い、フレ
ーム間の差分信号を符号化しているため、パケットの欠
落により差分データの一部が欠損するとそれ以降のフレ
ームは正しく復号できないためである。

【０００９】

【発明が解決しようとする課題】ＲＴＰ／ＵＤＰ／ＩＰ
ではエラー訂正符号をパケットに重畳することで、ある
程度のパケット欠落に対応することが可能である。しか
しエラー訂正能力を十分に高めようとすると、エラー訂
正用の符号量が実際の動画像符号化データを圧迫し、符
号化効率が著しく悪くなる。このため、多少のパケット
欠落は許容せざるを得ない。

【００１０】廃棄またＲＴＰ／ＵＤＰ／ＩＰは実時間伝
送用途に向いてはいるものの、各パケットは様々な伝送
経路に分かれて伝送されるため、パケットの到着順序が
送信時の順序と大きく異なることがある。僅かな到着遅
延であれば、パケット受信部のバッファで一旦蓄積し、
順番を並び替えて後段の処理に供すればよい。しかし、
動画像信号の実時間伝送用途ではバッファによる処理待
ち時間を短くする必要があるため、大きく遅延して到着
したパケットは廃棄せざるを得ない。

【００１１】以上のように、ＲＴＰ／ＵＤＰ／ＩＰでは
パケットの欠落や遅延が避けがたい。動画像符号化では
フレーム間予測を用いているため、悪影響はそのパケッ
トに留まらずフレーム間予測により時間的に伝搬し、深
刻な画質劣化を引き起こすことがある。

【００１２】これを解決する方法として、特開平１−１
３７８９２号公報記載の「動画像信号復号化方式」では
欠落したパケットにはダミーとしてゼロデータを挿入し
て復号しておき、後で欠落していたパケットが遅延到着
したときにこれを単純に復号して加算すれば、画質劣化
が解消できるとしている。

【００１３】しかしこの方法が有効なのは、単純なフレ
ーム間予測符号化を用いた場合に限られる。実際の動画
像符号化では動き補償を用いたフレーム間予測処理を行
うため、欠落パケットの位置で生じた画質劣化はフレー
ム間で周囲へと伝搬する。こうした場合は前記従来技術
の方法では画質劣化を回復できないという課題がある。

【００１４】本発明の目的は、ＲＴＰ／ＵＤＰ／ＩＰの
枠組みによる実時間伝送を可能とする効果は維持しつ
つ、パケットの欠落や遅延による画質劣化を可能な限り
速やかに軽減する方法を供することにある。

【００１５】

【課題を解決するための手段】本発明の請求項１に係る
ビデオパケットの受信復号システムは、動画像符号化デ
ータをビデオパケットとして受信し、これを復号して復
号画像を出力するシステムであって、ビデオパケットを
受信して復号処理に供給するとともに、ビデオパケット
の受信状況を監視してパケットの欠落や遅延到着がある
と制御信号を出力するパケット受信手段と、欠落パケッ
トの後の受信パケットを前記制御信号に従い予め定めた
一定期間以内の範囲で記憶し、且つ遅延到着したパケッ
トがパケット受信手段から出力されると前記記憶したパ
ケットを再出力するパケット蓄積手段と、パケット受信
手段あるいはパケット蓄積手段から供給されたビデオパ
ケットを復号して復号画像を出力する復号手段と、復号
処理に必要な復号手段内部の参照データを前記制御信号
に従い読み出して記憶し、遅延到着したパケットの復号
処理に際して復号手段内部に書き込むことを行う復号参
照データ蓄積手段とを有することを特徴とする。

【００１６】本発明の請求項２に係るビデオパケットの
受信復号システムは、動画像符号化データをビデオパケ
ットとして受信し、これを復号して復号画像を出力する
システムであって、ビデオパケットを受信して復号処理
に供給するとともに、ビデオパケットの受信状況を監視
してパケットの欠落や遅延到着があると制御信号を出力
し、且つ欠落したパケットの再送信をビデオパケットの
送信側に要求する信号を出力するパケット受信手段と、
欠落パケットの後の受信パケットを前記制御信号に従い
予め定めた一定期間以内の範囲で記憶し、且つ遅延到着
したパケットがパケット受信手段から出力されると前記
記憶したパケットを再出力するパケット蓄積手段と、パ
ケット受信手段あるいはパケット蓄積手段から供給され
たビデオパケットを復号して復号画像を出力する復号手
段と、復号処理に必要な復号手段内部の参照データを前
記制御信号に従い読み出して記憶し、遅延到着したパケ
ットの復号処理に際して復号手段内部に書き込むことを
行う復号参照データ蓄積手段とを有することを特徴とす
る。

【００１７】本発明の請求項３に係るビデオパケットの
受信復号システムは、請求項１または請求項２のビデオ
パケットの受信復号システムであって、少なくとも遅延
到着したパケットおよびパケット蓄積手段から供給され
たビデオパケットを復号する際は、一連のビデオパケッ
トを連続して高速に復号し、パケット受信部から次に供
給されるビデオパケットの復号処理に繋ぐことを特徴と
する。

【００１８】本発明の請求項４に係るビデオパケットの
受信復号システムは、請求項１または請求項２のビデオ
パケットの受信復号システムであって、復号参照データ
蓄積手段が記憶する参照データは、少なくとも欠落した
パケットの復号時のフレーム間予測処理に用いる参照画
像データを含むことを特徴とする。

【００１９】本発明の請求項５に係るビデオパケットの
受信復号システムは、請求項１または請求項２のビデオ
パケットの受信復号システムであって、欠落したビデオ
パケットの後の受信パケットを記憶するに際し、そのパ
ケットの復号画像がフレーム間予測処理の被参照フレー
ムにはならないパケットは、パケット蓄積手段に記憶し
ないことを特徴とする。

【００２０】本発明の請求項６に係るビデオパケットの
受信復号システムは、請求項１または請求項２のビデオ
パケットの受信復号システムであって、画像全体がフレ
ーム内符号化されたフレームのビデオパケットを受信す
るか、欠落したビデオパケットに関連する画像フレーム
部分全体をフレーム内符号化したビデオパケットを受信
した場合は、パケット蓄積手段に記憶したそれ以前のフ
レームのパケットを廃棄することを特徴とする。

【００２１】本発明の請求項８に係るビデオパケットの
送信システムは、ビデオパケットの再送要求を行うこと
ができる受信復号システムに動画像符号化データをパケ
ット化して送信するシステムであって、ビデオパケット
を出力するとともに、出力パケットの符号化モードに応
じた制御信号を出力するパケット送信手段と、送信した
パケットを予め定めた一定期間だけ記憶し、受信側から
の再送要求に従い指定されたパケットを読み出して再送
信するパケット蓄積手段を有し、前記パケット蓄積手段
は、蓄積しようとするパケットが画像全体をフレーム内
符号化したフレームのパケットである場合はそれ以前の
フレームの蓄積されたパケットを廃棄し、パケットの符
号化モードが被参照フレームにならないフレームの符号
化モードの場合は該パケットを蓄積しないことを特徴と
する。

【００２２】本発明は、動画像符号化データをビデオパ
ケットとして送受信するシステムにおいて、受信したビ
デオパケットに欠落があると、欠落したパケットより後
の受信パケットと欠落したパケットの復号に必要な参照
データを一時的に記憶しておき、欠落したパケットが遅
れて受信された時に前記記憶しておいた一連のデータを
利用して復号処理を行うことで、パケットの欠落や到着
遅延による画質劣化を可能な限り速やかに軽減する方法
を提供するものである。

【００２３】

【発明の実施の形態】図１は、本発明におけるパケット
受信手段の第１の実施形態を示すブロック図である。

【００２４】図１において、パケット受信部１１は、パ
ケット化された動画像符号化データを受信してビデオパ
ケット１０１として復号の順序に従い出力する。このと
きパケット受信部１１は、内部に一定数のパケットを保
持できるバッファを持ってもよく、僅かの時間差で順番
が入れ替わって到着したパケットを、復号処理の順序に
並べ替えて出力してもよい。

【００２５】またパケット受信部１１は、パケット受信
状況を監視して、前記バッファの機能では吸収しきれな
いパケット到着の遅延やパケットの欠落があると、それ
らを外部に知らせる制御信号１０２を出力する。

【００２６】パケット蓄積部１２は、パケット欠落を知
らせる制御信号１０２に従い、欠落したパケットの後に
受信したパケットを予め定めた一定期間だけ連続して記
憶する。この一定期間は、リアルタイムシステムの場合
には、復号部における復号再生画像が途切れない範囲の
比較的短い期間に設定する必要があるが、リアルタイム
を要求されないシステムではパケット蓄積部の容量の範
囲内で適宜の長さに設定することが可能である。

【００２７】また、パケット蓄積部１２は、過去に欠落
していたパケットが遅延到着したことを知らせる制御信
号１０２を受けると、それまでに蓄積されたパケットを
この遅延到着したパケットに続ける形で再出力する。

【００２８】復号器１３は、パケット受信部１１から供
給されたビデオパケット１０１を順次復号して復号画像
を出力すると共に、遅延到着したパケットとそれに続い
てパケット蓄積部１２から供給されたパケットを順次復
号して復号画像を出力する。

【００２９】また復号器１３は、パケット欠落を知らせ
る制御信号に従い、欠落したパケットの復号に必要とな
る復号器内部の参照データを復号参照データ蓄積部１４
に一時的に記憶させる。

【００３０】そして過去に欠落していたパケットが遅延
到着したことを知らせる制御信号１０２に従い、遅延到
着したパケットの復号処理に先立って、復号参照データ
蓄積部１４に一時的に記憶しておいた参照データを復号
器１３の内部に書き込む。

【００３１】パケット蓄積部１２や復号参照データ蓄積
部１４にそれぞれ記憶されたパケットや参照データは、
予め定めた一定期間内に欠落パケットが遅延到着しなか
った場合には、これらの蓄積パケット及び参照データは
利用しないで廃棄する。

【００３２】図４は、図１に示す本発明の第１の実施形
態における基本的な処理の流れを示すフローチャートで
ある。以下、図１及び図４を参照して本実施形態の動作
について説明する。

【００３３】まずパケット受信部１１は、ビデオパケッ
トを受信すると、そのパケットが正規の順序で到着した
かを判別する。一例として、ＲＴＰ／ＵＤＰ／ＩＰの枠
組みではパケットのヘッダにパケットの送信順序を示す
番号がついている。この番号が連続した昇順になってい
れば、受信したパケットは正規順序で到着したと判別で
きる。正規順序で到着したビデオパケット１０１はその
まま復号器１３に供され、次の受信パケットの処理に戻
る。

【００３４】受信したビデオパケットが正規順序でなか
った場合は、パケット受信部１１はビデオパケットが欠
落しているか否かを判別する。この判別はパケットヘッ
ダの番号が昇順ではあるが不連続に飛んでいるか否かで
わかる。パケット受信部１１がパケットの欠落を判定す
ると、パケット受信部１１からパケット蓄積部１２及び
復号参照データ蓄積部１４に対して制御信号１０２が出
力される。

【００３５】この制御信号１０２により、パケット蓄積
部１２は、欠落パケット後の受信パケットの蓄積処理を
開始して当該パケットをパケット蓄積部１２に一時的に
蓄積する。この蓄積処理は後述の蓄積解除が行われるま
で、全ての受信パケットに対して行う。

【００３６】また復号参照データ蓄積部１４もこの制御
信号１０２を受けて、欠落したパケットを復号するのに
必要となる参照データを一時的に記憶する。記憶する参
照データは、パケット欠落が判明した時点での復号器１
３の内部に蓄積されているデータで、少なくともフレー
ム間予測処理に用いる参照画像データを含む。また復号
処理において状態遷移処理や量子化係数間予測を用いて
いる場合は、これらの処理の参照データも併せて記憶す
る。

【００３７】パケット蓄積部１２に対する後続パケット
の蓄積を開始してから一定期間の間に上記欠落パケット
が受信部１１に到達（遅延到着）しなかった場合には、
当該パケットは欠落したものとはみなし、この蓄積パケ
ットは廃棄され、復号器１３において復号された欠落パ
ケットを除く欠落パケット以後の復号データが出力され
た後、次の受信パケットの処理に戻る。

【００３８】この時、欠落したパケットの影響で復号画
像に画質劣化が生じることがあるが、この画質劣化を補
償するために架空のデータを挿入する等何らかの画質劣
化隠蔽処理を行うことは可能である。その点は任意であ
り本発明では特に限定しない。

【００３９】一方、パケット蓄積部１２に対する後続パ
ケットの蓄積を開始してから一定期間経過前に、当該欠
落パケットがパケット受信部１１により受信されると、
パケット受信部１１はこの受信パケットを遅延パケット
として復号器１３に送出するとともに、パケット蓄積部
１２及び復号参照データ蓄積部１４に対して、パケット
の遅延到達を示す制御信号１０２を出力する。

【００４０】この制御信号１０２により、先に記憶され
ていた参照データが復号参照データ蓄積部１４から復号
器１３内部に書き戻され、遅延到着したビデオパケット
の復号処理が行われる。次いで前記蓄積開始時点から遅
延パケット到達時点までに蓄積されたビデオパケットが
パケット蓄積部１２から読み出され、復号器１３で連続
して復号処理された後、次の受信パケットの処理に戻
る。

【００４１】パケット蓄積部１２に蓄積されていたビデ
オパケットの復号に際しては、ビデオパケットのヘッダ
に記載された時刻情報は無視して高速に復号することが
可能である。特に、次の画像フレームに属する最初のビ
デオパケットの復号時刻前までに高速に復号完了できれ
ば、次の画像フレームからは画質劣化がなく、本来の時
刻情報に従った同期復号処理に復帰することができる。

【００４２】また必ずしも十分高速に復号できなくて
も、画質劣化のない復号画像を回復することはできる。
パケット蓄積部１２に蓄積されていたビデオパケットの
復号処理が終れば蓄積解除され、次の受信パケットの処
理に戻る。

【００４３】なお、図４に示す動作説明では、一つのビ
デオパケットだけが欠落して遅延到着した場合を想定し
ているが、複数の連続したビデオパケットが欠落し、且
つ連続して遅延到着した場合には、これら複数の遅延到
着したパケットの処理をまとめて行うことができる。

【００４４】さらに、不連続に複数のビデオパケットが
欠落した場合や、該複数の欠落パケットの遅延到着順序
が入れ替わった場合は、図５に示すような処理の流れに
より実現することができる。

【００４５】図５においては、遅延到着したビデオパケ
ットを直ぐに復号するのではなく、一旦、既に蓄積して
いるビデオパケットの列の正規順序位置に挿入蓄積す
る。その後、欠落していたビデオパケットが全て到着し
て揃った時点で、先に記憶しておいた参照データを復号
処理手段内部に書き戻し、蓄積されている一連のビデオ
パケットを順次連続して復号する。

【００４６】ただし、図５に示す動作の場合、一定時間
内に全ての欠落パケットが到達しなかったときには、図
４の場合と同様に、パケット欠落として処理された後、
次の受信パケットの処理に戻る。

【００４７】図２は、本発明におけるパケット受信手段
の第２の実施形態を示すブロック図である。

【００４８】本実施の形態は、パケット受信部２２に、
パケットの欠落を判別したときに、該欠落したパケット
の再送信を送信側へ要求する信号を出力する手段を備え
ている点で、図１に示した第１の実施形態と異なるが、
その他の構成は第１の実施形態と同様である。

【００４９】図６は、図２に示す本発明の第２の実施形
態における基本的な処理を示すフローチャートである。
以下、図２及び図６を参照して本実施形態の動作につい
て説明するが、第１の実施形態と共通する動作の詳細な
説明は省略する。

【００５０】パケット受信部２１は、受信パケットの欠
落を判別すると、欠落したビデオパケットを再送信する
ように送信側へ要求１０４を送信するとともに、パケッ
ト蓄積部２２及び復号参照データ蓄積部２４に対して受
信パケットの欠落が生じたことを示す制御信号１０２を
出力して、欠落したビデオパケット以降の受信パケット
の蓄積と欠落パケット発生時点の復号参照データの蓄積
を指示する。

【００５１】その後、送信側から欠落ビデオパケットが
再送信されると、パケット受信部２１はこの受信パケッ
トを遅延パケットとして復号器２３に送出し、復号器２
３では、復号参照データ蓄積部２４から書き戻された参
照データを用いて再送信されたビデオパケットの復号処
理を行う。

【００５２】次いで前記蓄積開始時点から再送信パケッ
ト到達時点までに蓄積されたビデオパケットがパケット
蓄積部２２から読み出され、復号器２３で連続して復号
処理された後、次の受信パケットの処理に戻る。

【００５３】ビデオパケットが伝送の過程で完全に遺失
し、ただ待っていても遅延パケットが到着しない場合に
は、このように再送要求することで欠落パケットの遅延
到着を期待できるようになる。再送要求はパケット欠落
の判別後の何時出してもよいが、早く出すほど画質劣化
を早く回復できる。

【００５４】本実施の形態においても、復号手段は、遅
延到着した再送信パケットとそれに続けてパケット蓄積
手段から供給されたビデオパケットを復号する際は、ビ
デオパケット内に記載された時刻情報に依存せず一連の
ビデオパケットを連続して高速に復号することができ
る。

【００５５】即ち、パケット蓄積手段から供給されるこ
れら一連のパケットは既に受信済みなので、復号手段の
演算能力だけを高くすることで高速に復号することが可
能となり、復号された一連の復号画像における最後の画
像フレームを、未だ復号されていない次のフレームの復
号処理に繋ぐことで、画質劣化の解消された画像をスム
ーズに再生することが可能となる。

【００５６】なお、第１及び第２の実施形態において、
復号手段は、パケット欠落を知らせる制御信号に従い、
欠落したパケットの復号に必要となる復号手段内部の参
照データを復号参照データ蓄積手段に一時的に記憶させ
るが、この時に少なくともフレーム間予測処理に用いる
参照画像データが記憶される。この参照画像データは、
欠落したパケットがフレーム間予測処理を用いて符号化
されている場合には、そのパケットの復号処理に必要と
なるデータである。

【００５７】また、第１及び第２の実施形態におけるパ
ケット蓄積手段は、欠落したパケットの後に受信したパ
ケットを記憶する際に、個々の受信パケットの符号化モ
ードに応じて記憶するか否かを判別するように構成する
ことができる。

【００５８】即ち、フレーム間予測処理の被参照フレー
ムにはなり得ないパケットは、蓄積しておいて後で復号
しても本発明における画質劣化の回復には効果がないの
で、注目するパケットの復号画像がフレーム間予測処理
の被参照フレームにはなり得ないパケットは記憶せず、
それ以外のパケットを蓄積することにより、無駄なパケ
ットの蓄積を省略して蓄積容量の低減を図ることができ
る。

【００５９】図７は、図４で説明した一連の処理に加え
て、欠落パケットが判別された後のパケット蓄積を継続
している状態で、受信したビデオパケットが被参照フレ
ームではなく、当該パケットの蓄積を行わない場合の一
連の処理を示すフローチャートである。

【００６０】例えばパケット化されている動画像符号化
データがＭＰＥＧ方式で圧縮されたデータの場合、復号
された受信ビデオパケットがＢピクチャのデータであれ
ば被参照フレームにはなり得ないと判断できる。Ｂピク
チャか否かはビデオパケット内部の符号化データに記載
されたピクチャタイプによって判別できる。

【００６１】被参照フレームとならないフレームのデー
タは後続のビデオパケットの復号処理には必要なく、且
つこのフレームで生じた画質劣化も伝搬しない。従って
本発明の目的である、パケットの欠落により生じた画質
劣化を回復するためには必要ないので蓄積しない。

【００６２】また、パケット欠落後の受信パケットが画
像全体をフレーム内符号化した画像フレームのパケット
であれば、パケット欠落により生じた画質劣化がフレー
ム間予測を通じて伝搬するのをリセットする効果があ
る。

【００６３】従って、画像全体をフレーム内符号化した
画像フレームのパケットを受信したあとは、もはや遅延
到着したパケットや蓄積しておいたパケットを復号して
画質劣化を回復する必要はない。また画像フレームの一
部だけをフレーム内符号化したパケットを受信した場合
も、当該パケットがパケット欠落により生じた画質劣化
の伝搬範囲を網羅するならば、同様にパケット蓄積手段
に記憶したパケットを廃棄することができる。

【００６４】図８は、図４で説明した一連の処理に加え
て、画像全体をフレーム内符号化した画像フレームのパ
ケットが受信された場合の一連の処理を示すフローチャ
ートである。

【００６５】図１または図２のパケット蓄積手段は、欠
落パケットが判別された後のパケット蓄積を継続してい
る状態で、画像全体がフレーム内符号化された所謂イン
トラピクチャのビデオパケットを受信するか、欠落した
ビデオパケットに関連する画像フレーム部分全体をフレ
ーム内符号化したビデオパケットを受信した場合に、パ
ケット蓄積手段に蓄積されたパケットを廃棄する。

【００６６】パケット欠落により画質劣化した画像の部
分がイントラモードで符号化されると、フレーム間で伝
搬していた画質劣化は解消される。このためビデオパケ
ットを蓄積しておく必要はもはやない。このとき復号参
照データ蓄積手段に記憶した参照データも必要ないので
廃棄してもよい。

【００６７】図３は、本発明におけるパケット送信手段
の実施形態を示すブロック図である。

【００６８】図３において、パケット送信部３１は、入
力の動画像符号化データをパケット化し、ビデオパケッ
ト１０１として受信側に向けて出力する。また出力した
パケットの符号化モードに応じた制御信号１０５を出力
する。パケット蓄積部３２は、パケット送信部３１が出
力したパケットを一定期間だけ記憶する。そして受信側
からの再送要求１０４があると、記憶したパケットの中
から再送要求で指定されたパケットを読み出して再送信
する。

【００６９】またパケット蓄積部３２では、前記制御信
号１０５が、パケット送信部３１から出力されたパケッ
トの符号化モードが画像全体をフレーム内符号化したこ
とを示している場合には、それ以前に蓄積されたパケッ
トを廃棄し、パケット送信部３１から出力されたパケッ
トの符号化モードが被参照フレームになり得ないモード
を示している場合には、当該パケットは蓄積しない。

【００７０】次に、本発明におけるパケット送信手段の
動作について、図３を参照して詳細に説明する。

【００７１】本発明の送信システムでは、パケット送信
部３１において動画像符号化データを復号処理の順番に
パケット化し、受信側に向けて出力する。パケット化の
一例として、ＲＴＰ／ＵＤＰ／ＩＰの枠組みではパケッ
トのヘッダにパケットの送信順序を示す番号をつける。

【００７２】また同時に、出力したパケット１０１の符
号化モードに従う制御信号１０５を出力する。この符号
化モードは画像フレーム単位でのピクチャモードでよ
い。例えば、ＭＰＥＧ方式で符号化された符号化データ
であれば、Ｉピクチャ（イントラピクチャ）やＰピクチ
ャ、Ｂピクチャなどである。出力されたパケット１０１
は予め定めた一定期間だけパケット蓄積部３２によって
記憶される。

【００７３】このときパケット１０１の符号化モードが
イントラピクチャであれば、それ以前のフレームの蓄積
されたパケット１０１は全て廃棄することができる。な
ぜならば、過去のフレームのパケットを再送信しなくて
も現在のイントラピクチャのパケットを送ることで、受
信側でのパケット欠落に伴う画質劣化をリセットできる
からである。

【００７４】またパケット１０１の符号化モードが被参
照フレームになり得ない場合、例えばＢピクチャであれ
ば該パケットは蓄積する必要がない。以上のように、パ
ケット毎にその符号化モードに合せてパケット蓄積時の
制御を適応的に行う。

【００７５】なお上記制御によらず、所定の期間が過ぎ
たパケットは廃棄される。この一定期間は前記説明した
受信システムにおけるビデオパケットの蓄積期間と必ず
しも一致させる必要はない。例えば伝送路のエラー発生
率に応じた長さとしてもよく、動画像符号化データその
もののエラー強度に応じた値を設定してもよい。あるい
は動画像符号化データの中でイントラピクチャやイント
ラモードが周期的に挿入されている場合には、その周期
に比例した期間を設定することができる。

【００７６】次に、受信側からあるビデオパケットの再
送要求１０４があると、パケット蓄積部３２に蓄積した
ビデオパケットの中から指定されたビデオパケットを読
み出して受信側へ出力する。再送要求のあったビデオパ
ケットが既に廃棄された場合には要求に応えなくてよ
い。

【００７７】以上のように、一旦送信したビデオパケッ
トを一定期間蓄積しておくことで、受信側からの再送要
求に即座に応答でき、且つ不必要に長い期間にわたりパ
ケットのデータを取り置く必要がない。また符号化モー
ドに応じたパケット蓄積状況を管理し、パケット再送に
よる画質改善に効果があるパケットだけ蓄積することに
より、蓄積効率のよいシステムを構築できる。

【００７８】

【発明の効果】本発明によれば、動画像符号化データを
ビデオパケットとして送受信するシステムにおいて、受
信したビデオパケットに欠落がある場合、該欠落したパ
ケットより後の受信パケットと欠落したパケットの復号
に必要な参照データを一時的に記憶しておき、欠落した
パケットが遅れて受信された時に前記記憶しておいた一
連のデータを利用して復号処理を行うことができるの
で、パケットの欠落や到着遅延による画質劣化を可能な
限り速やかに軽減することが可能となる。

【図面の簡単な説明】

【図１】本発明におけるパケット受信手段の第１の実施
形態を示すブロック図である。

【図２】本発明におけるパケット受信手段の第２の実施
形態を示すブロック図である。

【図３】本発明におけるパケット送信手段の実施形態を
示すブロック図である。

【図４】図１に示す実施形態における基本的な処理を示
すフローチャートである。

【図５】図１に示す実施形態における他の処理を示すフ
ローチャートである。

【図６】図２に示す実施形態における基本的な処理を示
すフローチャートである。

【図７】本発明における更に他の処理例を示すフローチ
ャートである。

【図８】本発明における更に他の処理例を示すフローチ
ャートである。

【符号の説明】

１１，２１ パケット受信部 １２，２２，３２ パケット蓄積部 １３，２３ 復号器 １４，２４ 復号参照データ蓄積部 ３１ パケット送信部 １０１ ビデオパケット １０２ 制御信号 １０３ 参照データ １０４ 再送要求信号 １０５ 制御信号

Claims (8)

【特許請求の範囲】
1. 【請求項１】 動画像符号化データをビデオパケットと
   して受信し、これを復号して復号画像を出力するシステ
   ムであって、 ビデオパケットを受信して復号処理に供給するととも
   に、前記ビデオパケットの受信状況を監視してパケット
   の欠落や遅延到着を検出して制御信号を出力するパケッ
   ト受信手段と、 前記パケット受信手段から前記パケットの欠落を示す制
   御信号を受けたときに、該欠落パケット以後の受信パケ
   ットを予め定めた一定期間以内において記憶するととも
   に、前記欠落パケットが遅延到着したことを示す制御信
   号を受けたとき、前記記憶したパケットを再出力して復
   号処理に供給するとともにパケットの蓄積を解除するパ
   ケット蓄積手段と、 前記パケット受信手段あるいは前記パケット蓄積手段か
   ら供給されたビデオパケットを復号して復号画像を出力
   する復号手段と、 前記パケット受信手段から前記パケットの欠落を示す制
   御信号を受けたときに、前記欠落したパケットの復号処
   理に必要な前記復号手段内部の参照データを読み出して
   記憶し、前記欠落パケットが遅延到着したことを示す制
   御信号を受けたとき、前記記憶している参照データを前
   記復号手段内部に書き込む復号参照データ蓄積手段と、
   を有することを特徴とするビデオパケットの受信復号シ
   ステム。
2. 【請求項２】 動画像符号化データをビデオパケットと
   して受信し、これを復号して復号画像を出力するシステ
   ムであって、 ビデオパケットを受信して復号処理に供給するととも
   に、前記ビデオパケットの受信状況を監視してパケット
   の欠落や遅延到着を検出して制御信号を出力し、且つ欠
   落したパケットの再送信をビデオパケットの送信側に要
   求する信号を出力するパケット受信手段と、 前記パケット受信手段から前記パケットの欠落を示す制
   御信号を受けたときに、該欠落パケット以後の受信パケ
   ットを予め定めた一定期間以内において記憶するととも
   に、前記欠落パケットが遅延到着したことを示す制御信
   号を受けたとき、前記記憶したパケットを再出力して復
   号処理に供給するとともにパケットの蓄積を解除するパ
   ケット蓄積手段と、 前記パケット受信手段あるいは前記パケット蓄積手段か
   ら供給されたビデオパケットを復号して復号画像を出力
   する復号手段と、 前記パケット受信手段から前記パケットの欠落を示す制
   御信号を受けたときに、前記欠落したパケットの復号処
   理に必要な前記復号手段内部の参照データを読み出して
   記憶し、前記欠落パケットが遅延到着したことを示す制
   御信号を受けたとき、前記記憶している参照データを前
   記復号手段内部に書き込む復号参照データ蓄積手段と、 を有することを特徴とするビデオパケットの受信復号シ
   ステム。
3. 【請求項３】 前記遅延到着したパケットおよびパケッ
   ト蓄積手段から供給されたビデオパケットの復号処理
   は、一連のビデオパケットを連続して高速に復号し、前
   記パケット受信手段から次に供給されるビデオパケット
   の復号処理に繋ぐことを特徴とする請求項１または請求
   項２に記載のビデオパケットの受信復号システム。
4. 【請求項４】 前記復号参照データ蓄積手段が記憶する
   参照データは、少なくとも欠落したパケットの復号時の
   フレーム間予測処理に用いる参照画像データを含むこと
   を特徴とする請求項１または請求項２に記載のビデオパ
   ケットの受信復号システム。
5. 【請求項５】 前記パケット蓄積手段は、欠落したビデ
   オパケットの後の受信パケットを記憶するに際し、その
   パケットの復号画像がフレーム間予測処理の被参照フレ
   ームにはならないパケットを除外して記憶することを特
   徴とする請求項１または請求項２に記載のビデオパケッ
   トの受信復号システム。
6. 【請求項６】 前記パケット受信手段が、画像全体がフ
   レーム内符号化されたフレームのビデオパケットを受信
   するか、または前記欠落したビデオパケットに関連する
   画像フレーム部分全体をフレーム内符号化したビデオパ
   ケットを受信した場合には、前記パケット蓄積手段に記
   憶したそれ以前のフレームのパケットを廃棄することを
   特徴とする請求項１または請求項２に記載のビデオパケ
   ットの受信復号システム。
7. 【請求項７】 前記一定期間内に、前記欠落したビデオ
   パケットが受信されなかったときには、前記パケット蓄
   積手段に記憶したそれ以前のフレームのパケットを廃棄
   することを特徴とする請求項１または請求項２に記載の
   ビデオパケットの受信復号システム。
8. 【請求項８】 ビデオパケットの再送要求を行うことが
   できる受信復号システムに動画像符号化データをパケッ
   ト化して送信するシステムであって、 ビデオパケットを出力するとともに、出力パケットの符
   号化モードに応じた制御信号を出力するパケット送信手
   段と、 送信したパケットを予め定めた一定期間だけ記憶し、受
   信側からの再送要求に従い指定されたパケットを読み出
   して再送信するパケット蓄積手段を有し、 前記パケット蓄積手段は、蓄積しようとするパケットが
   画像全体をフレーム内符号化したフレームのパケットで
   ある場合はそれ以前のフレームの蓄積されたパケットを
   廃棄し、パケットの符号化モードが被参照フレームにな
   らないフレームの符号化モードの場合は該パケットを蓄
   積しないことを特徴とするビデオパケットの送信システ
   ム。