JP2000307672A - 符号化情報受信復号装置 - Google Patents

Abstract

(57)【要約】 【課題】 復号装置の構成を小型にする。復号装置での
処理量や処理時間を削減する。復号装置でのエラー耐性
を高める。 【解決手段】 本発明は、伝送レイヤの処理を行う受信
装置と符号化レイヤの処理を行う復号装置とでなる。受
信装置は、伝送エラー検出を実行するエラー検出手段を
有する。復号装置は、受信装置のエラー検出手段の検出
結果を、当該復号装置から出力される復号結果に反映さ
せる伝送エラー復号反映手段を有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、符号化画像情報や
符号化音声情報を受信して復号する符号化情報受信復号
装置に関し、例えば、動画像伝送システムにおけるデー
タ誤りや欠落等に起因した画像品質の低下を、動画像伝
送システムにおける受信装置で改善する機能に適用し得
るものである。

【０００２】

【従来の技術】近年、テレビ電話システムやテレビ会議
システム、ビデオオンデマンド（ＶＯＤ：Ｖｉｄｅｏ
Ｏｎ Ｄｅｍａｎｄ）システム等といった動画像伝送シ
ステムの実現に向け、動画像符号化方法の国際標準化が
進められており、代表的な国際標準規格として、ＩＴＵ
−Ｔ勧告Ｈ．２６１やＨ．２６３、ＩＳＯ標準ＭＰＥＧ
（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇ
ｒｏｕｐ）−１，２，４等が知られている。

【０００３】また、符号化された画像データは、音声デ
ータ等の他のデータと一緒に多重化されたり、複数のパ
ケットに分割されたりして伝送される。このような伝送
方法も、国際標準化や業界標準化が進められており、イ
ンターネット向けのパケット伝送規定であるＲＴＰ／Ｕ
ＤＰ／ＩＰや、ＴＣＰ／ＩＰ、低レート端末向けの多重
化規定であるＩＴＵ−Ｔ勧告Ｈ．２２３等が知られてい
る。

【０００４】これらの伝送レイヤでは、上位の動画像符
号化レイヤから受けた有限長の符号データを、下位の物
理レイヤに係るネットワークの性質に合せて、他のデー
タと合せながら有限長のパケット、又は連続したデータ
を生成し、ネットワークヘ送出する処理を行う。

【０００５】ところで、ネットワークを介してデータを
伝送すると、その伝送中にデータが変化する伝送エラー
が発生することがある。無線ネットワークでは有線ネッ
トワークと比べて、高い頻度で伝送エラーが発生する。
また、インターネットでは、ネットワークの輻輳によ
り、パケットデータが欠落するパケットロスも発生す
る。なお、以下で、「伝送エラー」又は「エラー」と表
す場合には、パケットロスも含めたものとする。

【０００６】動画像を符号化して伝送した場合におい
て、伝送エラーが発生すると、受信側では符号データを
正しく復号できなくなる。そのため、動画像符号化レイ
ヤでは伝送エラーに対する耐性を高める工夫がいくつか
施される。

【０００７】例えば、国際標準で定められている動画像
符号化方式の多くは可変長符号を用いているため、エラ
ーが発生すると符号語の境界位置がわからなくなり、エ
ラーが発生した符号だけでなく、その後に連続する符号
語も正しく復号できなくなる。これを回避するために、
符号語の組み合わせでは発生しないユニークな符号語
（以下、同期符号と呼ぶ）を定期的に挿入している。復
号器では、エラーにより復号できなくなると同期符号を
検出し、そこから正しい復号を再開することができる。
動画像は通常１枚のフレームを１つの単位として符号化
するが、フレームよりも小さい単位（ＧＯＢやスライ
ス、ビデオパケット等と呼ばれているが、以下、スライ
スと呼ぶ）で符号化して同期符号を挿入することで、エ
ラーの及ぶ範囲を小さくすることもできる。

【０００８】また、エラーが発生したことを発見するた
めには、符号化ルールからの逸脱を利用する。例えば、
符号テーブルに存在しない符号語が現れたり、規定範囲
外の値に復号された場合に、復号器はエラーであると判
断する。

【０００９】エラーを検出した場合、エラーの含まれる
スライスを全て廃棄し、その部分（又はフレーム全体）
に前フレームの画像を利用することが、最も簡単なエラ
ー隠蔽技術として知られており、また、スライス全てを
廃棄するのではなく、部分的に利用する方法も適用され
ている。例えば、得られた動き情報を利用して、前フレ
ームの画像を動きに合せてスライドさせた画像を表示す
ることで、エラーによる劣化が緩和される。また、エラ
ーを検出するまでに復号した結果は廃棄せず、そのまま
（あるいは数ビットだけ廃棄して）表示することで、エ
ラーによる影響をスライスサイズよりも小さくすること
ができる。

【００１０】動画像受信装置では、上位の動画像符号化
レイヤだけでなく、下位の伝送レイヤでも伝送エラーに
対する処理を行っている。

【００１１】例えば、動画像データに誤り訂正符号を付
加して伝送し、受信側で、誤り訂正符号に基づいて誤り
検出を行い、エラーの発生したビットを訂正している。
ビットエラー率が低い場合には、少ない冗長付加でほと
んどのデータを訂正することが可能である。

【００１２】また、パケット毎に通し番号を付加した
り、ＣＲＣ等の誤り検出符号を利用して、パケットロス
が発生したか否かや、パケットデータにエラーが含まれ
るか否かをチェックしている。伝送エラーが発生した場
合には、送信側へ再送要求を行い、全てのデータが揃っ
てから上位の動画像符号化レイヤヘ渡すこともできる。
このとき、伝送経路の違いや再送等によってデータの到
着順序が送信時と異なることがあるが、その場合、通し
番号を利用してデータを順序良く並べ直して上位レイヤ
ヘ渡している。また、エラーが含まれるデータは全て廃
棄して、正しいデータだけを動画像符号化レイヤヘ渡し
ても良いし、エラーを含むデータも動画像符号化レイヤ
に渡し、エラーが含まれていることを示すエラー指示情
報を合せて渡すこともできる。

【００１３】

【発明が解決しようとする課題】これまで通信の階層構
造は、隣接する上下のレイヤに依存しない処理を行い、
どのような方式と組み合わせても動作するように設計す
ることが理想とされてきた。そのため、上述したよう
に、上位の動画像符号化レイヤだけでなく、下位の伝送
レイヤでも伝送エラーに対する処理を独立して行ってい
る。

【００１４】例えば、伝送レイヤではパケット毎にエラ
ーを含むか否かのエラー含有情報の検出や、通し番号に
よるパケットロスの検出を行っているが、その情報を上
位の動画像符号化レイヤでは有効に利用していない。

【００１５】しかしながら、動画像受信装置では、最終
的な表示画像の画質を良好にすることが求められている
が、画質を良好にするためのエラーに対する処理が各レ
イヤで独立に行われているため、受信装置全体で見た場
合の処理効率が悪いということができる。勿論、処理量
が多ければ、ハードウェア構成であれば消費電力の増大
や構成要素数の増大を招き、また、ソフトウェア構成で
あれば処理時間の長大化を招く等の不都合が生じてい
る。

【００１６】また、動画像符号化レイヤの復号処理でエ
ラー検出漏れなどがあっても、各レイヤで独立した検出
処理のために検出漏れを動画像符号化レイヤで認識する
ことは当然にできない。すなわち、動画像符号化レイヤ
の検出エラーに対する救済も、基本的には、復号処理で
エラー検出の単位に基づいて実行され、そのため、エラ
ー耐性が必ずしも高いとは言い難い。

【００１７】以上のような伝送レイヤと、符号化レイヤ
とで独立したエラー検出を行い、独立したエラー隠蔽を
行うことに伴う課題は、静止画伝送システムや音声伝送
システムでも同様に生じている。

【００１８】そのため、エラーに対する処理効率が良い
装置を構成することができる、しかも、符号化レイヤで
のエラー耐性をより高めることができる符号化情報受信
復号装置が望まれている。

【００１９】

【課題を解決するための手段】かかる課題を解決するた
めに、本発明は、到来する伝送単位毎の受信信号に対し
て伝送レイヤの受信処理をして、受信信号を、伝送単位
と所定の関係にある符号化単位の符号データに変換して
出力すると共に、伝送エラー検出を実行するエラー検出
手段を有する受信装置と、符号化単位の符号データを復
号する復号手段を有する復号装置とを有する符号化情報
受信復号装置において、復号装置が、受信装置のエラー
検出手段の検出結果を、当該復号装置から出力される復
号結果に反映させる伝送エラー復号反映手段を有するこ
とを特徴とする。

【００２０】

【発明の実施の形態】以下、本発明による符号化情報受
信復号装置の種々の実施形態を図面を参照しながら説明
する。

【００２１】なお、以下で説明する各実施形態の符号化
情報受信復号装置は、動画像を処理する装置である。ま
た、以下で説明する各実施形態の符号化情報受信復号装
置は、伝送レイヤでの受信処理を行う装置と動画像復号
装置とでなるが、伝送レイヤでの受信処理を行う装置
は、従来のものとほぼ同様であるので、各実施形態の説
明では、動画像復号装置の説明を中心として行う。

【００２２】（Ａ）第１の実施形態 （Ａ−１）第１の実施形態の特徴 第１の実施形態に係る動画像復号装置は、符号化単位毎
のエラー含有情報を利用して、符号化単位毎のエラー処
理を適応的に切り替えることを特徴とするものである。

【００２３】（Ａ−２）第１の実施形態の構成 図１は、この第１の実施形態に係る動画像復号装置１０
０の機能的構成を示すブロック図である。

【００２４】図１において、動画像復号装置１００は、
符号データ入力部１０１、復号部１０２、動画像出力部
１０３、エラー含有情報入力部１０４、エラー処理切替
部１０５、復号異常検出修正部１０６、符号化単位内エ
ラー隠蔽部１０７及び前符号化単位エラー隠蔽部１０８
から構成されている。

【００２５】符号データ入力部１０１は、フレーム単位
又はスライス単位で符号化されている動画像符号データ
（以下、単に符号データと呼ぶ）を、下位の伝送レイヤ
装置（以下、単に下位の伝送レイヤと呼ぶ）から符号化
単位毎に受けるものであり、入力された符号データを符
号化単位毎に復号部１０２へ与えるものである。

【００２６】復号部１０２は、入力された符号データを
符号化単位毎に復号するものであり、復号処理により得
られた画素データを動画像出力部１０３へ与えるもので
ある。また、復号部１０２は、復号の際、エラー処理切
替部１０５の指示に従い、各フィールド（符号化単位に
おける種類の異なるデータが挿入されている領域）毎の
復号結果をエラー処理切替部１０５を介して復号異常検
出修正部１０６へ渡し、修正結果を受けるものである。
さらに、復号部１０２は、復号異常検出修正部１０６か
ら復号中止の指示を受けた場合や、エラー処理切替部１
０５からエラー隠蔽の指示を受けた場合には、それまで
に得られた復号結果をエラー処理切替部１０５を介して
符号化単位内エラー隠蔽部１０７へ渡し、エラー隠蔽さ
れた復号結果を受けるものである。さらにまた、復号部
１０２は、符号化単位がフレームの場合にはフレームの
時間を表す情報を、また、符号化単位がスライスの場合
にはフレームの時間を表す情報及びスライスの位置を表
す情報を、エラー処理切替部１０５の指示に従い、前符
号化単位エラー隠蔽部１０８へ渡し、エラー隠蔽された
前符号化単位の復号結果を受けるものである。また、復
号部１０２は、入力された符号データが空の場合には、
エラー処理切替部１０５へその旨を通知するものであ
る。

【００２７】動画像出力部１０３は、復号部１０２から
与えられた復号データ（画素データでなる動画像デー
タ）をモニタ用の表示装置等に出力するものである。

【００２８】エラー含有情報入力部１０４は、符号化単
位毎にエラーを含むか否かのエラー含有情報を、下位の
伝送レイヤから受けるものであり、入力されたエラー含
有情報をエラー処理切替部１０５へ渡すものである。

【００２９】下位の伝送レイヤは、例えば、伝送単位に
付加されている誤り訂正符号を用いて誤り検出訂正処理
を行い、誤り検出された伝送単位（ここでは誤り訂正で
きた伝送単位は含まないとする）に係る符号化単位に関
連して、エラー含有情報をアクティブにする。また、下
位の伝送レイヤは、例えば、パケットロスを検出した場
合にもエラー含有情報をアクティブにする。なお、誤り
検出された伝送単位についても、下位の伝送レイヤから
符号データは出力され、パケットロスの伝送単位につい
ては、下位の伝送レイヤから符号データは出力されな
い。このような誤り検出訂正処理やパケットロスの検出
処理は、伝送レイヤの処理として一般的な処理である。

【００３０】なお、パケットは、伝送単位のデータに、
送信先情報や送信元情報等のオーバーヘッドを付加した
ものであり、伝送単位のデータが本来送信したいユーザ
データ部分である。

【００３１】ここで、第１の実施形態は、基本的には、
伝送単位と符号化単位とが１対１で対応している場合を
意図している。

【００３２】エラー処理切替部１０５は、エラー含有情
報を利用して、符号化単位毎にエラー処理を切り替える
ものである。エラー処理切替部１０５は、例えば、符号
データが存在し、かつ、エラーが含まれる符号化単位で
は、復号異常検出修正部１０６と符号化単位内エラー隠
蔽部１０７を動作するが、エラーが含まれない符号化単
位では動作させない。また、エラー処理切替部１０５
は、下位の伝送レイヤがパケットロスを検出した場合
等、符号データが存在せず、エラー含有情報のみ受けた
場合は、復号異常検出修正部１０６は動作させず、符号
化単位内エラー隠蔽部１０７だけを動作させる。さら
に、エラー処理切替部１０５は、復号部１０２から受け
たフレーム時間情報やスライス位置情報から、一つ前に
復号した符号化単位と現復号中の符号化単位の位置が離
れており、直前の１又は複数の符号化単位データがパケ
ットロス等で得られていなかったと判断した場合には、
前符号化単位エラー処理部１０８を動作させる。

【００３３】復号異常検出修正部１０６は、符号テーブ
ルに存在しない符号語が現れたか否かや、復号された各
フィールドの値が規定の範囲内に収まっているか否か等
をチェックし、符号化ルールから逸脱したことでエラー
を検出する。ここで、復号異常検出修正部１０６は、前
後の復号結果等、現復号結果以外の情報から修正可能な
場合には修正して復号部１０２へ渡す。また、復号異常
検出修正部１０６は、そのまま復号を続けると大きく劣
化した画像しか復号できないと判断した場合には、復号
中止の指示を復号部１０２へ渡す。

【００３４】符号化単位内エラー隠蔽部１０７は、復号
が中止されるまでに得られた復号結果を利用して、エラ
ーを隠蔽する。符号化単位内エラー隠蔽部１０７は、例
えば、前フレームの画像をそのまま表示させるようにし
ても良く、また、得られた動き情報を利用して、前フレ
ームの画像を動きに合せてスライドさせて画像を表示さ
せるようにしても良い。また、符号化単位内エラー隠蔽
部１０７は、エラーを検出するまでに復号した結果を、
そのまま（あるいは数ビットだけ廃棄して）表示させる
ようにしても良い。

【００３５】前符号化単位エラー隠蔽部１０８は、前の
１又は複数の符号化単位がパケットロス等により復号さ
れていない場合に、ロスした符号化単位に戻ってエラー
隠蔽処理を行う。また、前符号化単位エラー隠蔽部１０
８は、２個のフレームにまたがってパケットロスが発生
していた場合には、前フレームのエラー隠蔽を完了した
後に、一旦そのフレームの復号画素を動画像出力部１０
３へ渡し、さらに新しいフレームで、現符号化単位まで
のエラー隠蔽処理を行う。ここで、現フレームの復号を
開始する前に、復号画素を展開するメモリ上に、前フレ
ームの復号画像をコピーしてから復号を行うと、復号し
なかった符号化単位の領域では前フレームの画素がコピ
ーされたままになっているので、自動的にエラー隠蔽を
行ったと同じことになる。このような処理を適用してい
る場合には、現符号化単位と同一フレームのエラー隠蔽
処理を省略することができる。

【００３６】なお、復号異常検出修正部１０６、符号化
単位内エラー隠蔽部１０７及び前符号化単位エラー隠蔽
部１０８によるエラー隠蔽処理等は、上述した方法に限
定されず、既存のいかなる方法を適用しても良い。例え
ば、特開昭６１−２０４７８号公報や特開平１０−７９
９４９号公報記載の方法を適用できる。

【００３７】（Ａ−３）第１の実施形態の動作 図２は、第１の実施形態の動画像復号装置１００の動作
を表わすフローチャートである。なお、図２は、１個の
符号化単位についての処理を示している。

【００３８】動画像復号装置１００は、下位の伝送レイ
ヤから符号化単位毎に符号データとエラー含有情報の組
を受け取り、符号データが存在するか否かを確認する
（ステップＳ１１）。

【００３９】符号データが存在する場合には、まずフレ
ーム時間情報及び又はスライス位置情報を復号し、一つ
前に復号した符号化単位の終端位置（その符号化単位に
係る画像上での終端位置）と現符号化単位の先頭位置
（その符号化単位に係る画像上での先頭位置）とを比較
することで（ステップＳ１２）、前符号化単位との間に
パケットロスが発生していたか否かを確認する（ステッ
プＳ１３）。例えば、マクロブロック番号同士を比較す
る。パケットロスが発生していた場合には、前符号化単
位の復号結果を利用し、ロスした符号化単位のエラー隠
蔽処理を行う（ステップＳ１４）。さらに、エラー含有
情報に基づいて、現符号化単位はエラーを含まれないか
否かを確認し（ステップＳ１５）、エラーが含まれない
場合には、各フィールドでの復号異常検出等のエラー処
理を行わない復号を行い（ステップＳ１６）、符号化単
位の復号画像を生成する。

【００４０】現符号化単位にエラーが含まれている場合
（ステップＳ１５で否定結果）には、各フィールドを復
号する毎に符号ルール等に従って復号結果の異常を確認
しながら復号を行い（ステップＳ１７）、復号結果に異
常があって可能な場合には修正も行う。途中で復号の継
続が不可能になった時点（ステップＳ１８で肯定結果）
でエラー隠蔽処理を行い（ステップＳ１９）、復号画像
を生成する。最後まで致命的な復号異常がなく復号でき
た場合（ステップＳ１８で否定結果）は、エラー隠蔽処
理を行わずに復号画像を生成する。なお、パケットロス
等で伝送レイヤから符号データが送られてこなかった場
合（ステップＳ１１で否定結果）にも、符号化単位の位
置が符号データ以外の情報から特定できる場合に限り、
エラー隠蔽処理を行い（ステップＳ１９）、復号画像を
生成する。

【００４１】以上の動作により、下位の伝送レイヤで符
号化単位毎にエラー検出した結果を利用することで、エ
ラーを含まない符号化単位では大部分のエラー処理を省
略できる。

【００４２】（Ａ−４）第１の実施形態の効果 以上のように、第１の実施形態によれば、エラーを含ま
ない符号化単位では大部分のエラー処理を省略できるの
で、復号処理時間を大幅に短縮することができる。ま
た、ハードウェアで構成している場合には、処理回数が
減少するので、消費電力の低下にもつながる。

【００４３】（Ａ−５）第１の実施形態の変形例 第１の実施形態において、下位の伝送レイヤからエラー
を含む符号データとエラー含有情報を受ける例を示した
が、これに限定するものではない。エラーを含む符号デ
ータを全て廃棄してしまう伝送レイヤでも動作する。こ
の場合、受けたデータは全てエラーを含まないはずなの
で、エラー含有情報の受け渡しも省略できる。すなわ
ち、符号データが入力されたか否かを確認し（図２のス
テップＳ１１参照）、符号データが入力されると、前符
号化単位のパケットロスの確認を行って必要ならば前符
号化単位でのエラー隠蔽処理を行い（図２のステップＳ
１２〜Ｓ１４参照）、その後、エラー処理なしの復号を
行う（図２のステップＳ１６参照）。また、符号データ
が入力されない場合には、符号化単位の位置が符号デー
タ以外の情報から特定できる場合に限り、エラー隠蔽処
理を行う（図２のステップＳ１９参照）。

【００４４】また、上記の説明では、パケットロスの場
合には、下位の伝送レイヤから空の符号データとエラー
含有情報を受ける例を示したが、これに限定するもので
はない。パケットロスの場合には伝送レイヤから何も受
けない場合でも動作する。この場合、符号データの存在
確認（ステップＳ１１）が不要になる。

【００４５】また、一つの符号化単位のデータを一つの
伝送単位とする例を示したが、これは物理的な伝送単位
を限定するものではない。例えば、データサイズや他の
データとの関係から、又は、さらに下位の物理レイヤの
状況により、一つのデータを複数のパケットに分割して
伝送したり、複数のデータを一つのパケットに多重化し
て伝送しても良い。この場合、伝送レイヤ（Ｈ．２２３
のａｄａｐｔａｔｉｏｎ ｌａｙｅｒ等）でデータの再
構築を行い、符号化レイヤヘ渡す段階で一つのデータに
なっていれば、問題なく動作する。なお、下位の伝送レ
イヤが複数の伝送単位から１個の符号化単位を組み立て
る場合には、例えば、符号化単位に係る複数の伝送単位
のうち１個でも誤り検出された場合やパケットロスが生
じた場合に、その符号化単位に係るエラー含有情報をア
クティブにする。

【００４６】（Ｂ）第２の実施形態 （Ｂ−１）第２の実施形態の特徴 第２の実施形態に係る動画像復号装置は、第１の実施形
態の動画像復号装置に対して、さらに符号化単位毎の通
し番号を下位の伝送レイヤから受ける手段を追加したも
のである。

【００４７】これにより、エラー処理の切り替えが簡素
化されると共に、正確なエラー処理を行える。

【００４８】（Ｂ−２）第２の実施形態の構成 図３は、第２の実施形態の動画像復号装置２００の構成
を示す機能ブロック図であり、図１と同一又は同様な機
能を有するものには同一符号を付してある。以下では、
第１の実施形態の構成と異なる部分についてのみ説明す
る。

【００４９】第２の実施形態の動画像復号装置２００
は、第１の実施形態の動画像復号装置１００に通し番号
入力部２０１を追加したものである。

【００５０】通し番号入力部２０１は、符号化単位毎に
下位の伝送レイヤで付加された通し番号を受けるもので
あり、入力された通し番号をエラー処理切替部２０２へ
渡すものである。例えば、Ｈ．２２３やＴＣＰ／ＩＰで
は、伝送単位毎に送信側で通し番号を付加することが可
能であり、受信した伝送単位に付加されていた通し番号
を、下位の伝送レイヤは通し番号入力部２０１に与え
る。

【００５１】エラー処理切替部２０２は、第１の実施形
態のエラー処理切替部１０５と同等なエラー処理を切り
替える機能を有し、さらに、通し番号入力部２０１から
得た伝送単位の通し番号（この第２の実施形態も伝送単
位と符号化単位との１対１の関係を想定しており、従っ
て、符号化単位の通し番号）を利用して、符号化単位毎
のエラー処理を切替えるものである。エラー処理切替部
２０２は、例えば、通し番号が連続している場合には、
前符号化単位エラー処理部１０８での処理を省略するよ
うにエラー処理を切り替える。

【００５２】（Ｂ−３）第２の実施形態の動作 図４は、第２の実施形態の動画像復号装置２００の動作
を表わすフローチャートである。図４において、図２と
同一の動作ステップには同一符号を付してある。ここで
は、第１の実施形態の動作と異なる部分についてのみ説
明する。

【００５３】第１の実施形態では、フレーム時間情報及
び又はスライス位置情報を復号し、一つ前に復号した符
号化単位の終端位置と現符号化単位の先頭位置とを比較
して（ステップＳ１２）、パケットロスの確認を行って
いたが、この第２の実施形態では、復号データを復号す
ることなく、下位の伝送レイヤから受けた通し番号を比
較して（ステップＳ２０）、パケットロスの確認を行
う。

【００５４】以上の動作により、パケットロス検出のた
めにフレーム時間情報やスライス位置情報等を予め復号
する必要がなくなり、比較処理が簡素化される。

【００５５】また、第１の実施形態では符号データにエ
ラーが含まれている場合には、復号したフレーム時間情
報やスライス位置情報が誤りである可能性があり、前符
号化単位及び現符号化単位の位置を正しく特定すること
ができなかった。そのため、パケットロスの検出を誤っ
たり、前符号化単位のエラー隠蔽処理を誤る可能性があ
った。第２の実施形態では、符号データを利用せずにパ
ケットロスを検出するため、正確な検出が可能となる。

【００５６】（Ｂ−４）第２の実施形態の効果 以上のように、第２の実施形態によれば、第１の実施形
態で説明したのと同様の効果が得られるのに加え、パケ
ットロス検出処理が簡素化される。また、符号データに
エラーが含まれる場合でも、正確にパケットロスを検出
でき、適切なエラー隠蔽処理を行うことが可能となる。

【００５７】（Ｂ−５）第２の実施形態の変形例 上記の説明では、パケットロスの検出のために符号化単
位の通し番号を、下位の伝送レイヤから動画像復号装置
に渡すものを示したが、下位の伝送レイヤが通し番号等
に基づいてパケットロスそのものを検出することもで
き、パケットロス情報自体を下位の伝送レイヤから動画
像復号装置に与えるようにしても良い。この場合には、
図４のステップＳ２０での処理は、与えられたパケット
ロス情報のチェックを行う処理となる。

【００５８】（Ｃ）第３の実施形態 （Ｃ−１）第３の実施形態の特徴 第３の実施形態に係る動画像復号装置は、エラーを含む
符号データを最後まで復号できた場合に、エラー含有情
報を利用して、復号異常の検出漏れを判定し、劣化して
いる可能性のある画像を出力しないことを特徴とする。

【００５９】（Ｃ−２）第３の実施形態の構成 図５は、第３の実施形態の動画像復号装置３００の構成
を示す機能ブロック図である。

【００６０】図５において、第３の実施形態の動画像復
号装置３００は、符号データ入力部１０１、復号部３０
１、動画像出力部１０３、エラー含有情報入力部１０
４、復号異常検出漏れ判定部３０２、復号異常隠蔽部３
０３とを有している。なお、図５において、図１と同一
の機能を有するものには同一符号を付してある。以下で
は、第１の実施形態の構成と異なる部分についてのみ説
明する。

【００６１】復号部３０１は、入力された符号データを
符号化単位毎に復号するものであり、復号された画素デ
ータを復号異常隠蔽部３０３へ与える。復号部３０１
は、復号の際、符号テーブルに存在しない符号語が現れ
たか否かや、復号された各フィールドの値が規定の範囲
内に収まっているか否か等をチェックし、符号化ルール
から逸脱したことでエラーを検出する。復号部３０１
は、前後の復号結果等、現復号結果以外の情報から修正
可能な場合には修正するようにしても良い。また、復号
部３０１は、そのまま復号を続けると大きく劣化した画
像しか復号できないと判断した場合には、復号を中止し
エラー隠蔽処理を行う。すなわち、第３の実施形態の復
号部３０１は、第１の実施形態の復号部１０２、復号異
常検出修正部１０６、符号化単位内エラー隠蔽部１０７
及び前符号化単位エラー隠蔽部１０８の機能を兼ね備え
たものである。

【００６２】復号異常検出漏れ判定部３０１は、エラー
含有情報入力部１０４から受けたエラー含有情報を利用
して、符号化単位毎に復号異常の検出漏れの有無を判定
するものであり、判定結果を復号異常隠蔽部３０３へ渡
す。

【００６３】例えば、エラーが含まれている符号データ
に対して、復号異常が検出されずに最後まで復号できて
しまった場合、大きく劣化した画像が出力される可能性
がある。そこで、復号結果をそのまま出力するか、前フ
レームの画像を表示する等のエラー隠蔽処理を行うかを
判定する。判定方法としては、例えば、エラー含有情報
がエラーを含むことを指示している場合には、エラーを
含んだ符号データが最後まで復号されても、復号異常の
検出漏れがあったと判定する。

【００６４】また例えば、エラー含有情報がエラーを含
むことを指示しており、そのエラーを含んだ符号データ
が最後まで復号された場合において、周囲や前フレーム
との画素レベルとの差異を測定し、予め定めたしきい値
よりも差が大きい場合にのみ復号異常の検出漏れがあっ
たと判定し、エラー隠蔽処理を施すものとし、差が小さ
い場合にはエラー含有情報がエラーを含むことを指示し
ても復号異常の検出漏れがなかったと判定し、復号結果
をそのまま表示するようにしても良い。

【００６５】復号異常隠蔽部３０３は、復号異常検出漏
れ判定部３０２から受けた復号異常検出漏れを指示する
判定結果に従って、復号部３０１が復号した結果を修正
するものである。復号異常隠蔽部３０３は、例えば、前
フレームを表示させたり動き情報によるエラー隠蔽を施
したりする。

【００６６】（Ｃ−３）第３の実施形態の動作 図６は、第３の実施形態の動画像復号装置３００の動作
を表わすフローチャートである。

【００６７】動画像復号装置３００は、下位の伝送レイ
ヤから符号化単位毎に符号データとエラー含有情報の組
を受け取り、符号化ルールの逸脱等、復号異常を検出し
ながら復号を行う（ステップＳ３１）。符号化単位の最
後まで復号できなかった場合（ステップＳ３２で否定結
果）は、エラー隠蔽処理をしてから復号結果を出力する
（ステップＳ３６）。

【００６８】符号化単位の最後まで復号できた場合（ス
テップＳ３２）には、エラー含有情報を用いてエラーを
含まないか否かを確認する（ステップＳ３３）。エラー
を含まない場合には、復号結果をそのまま出力する（ス
テップＳ３４）。

【００６９】エラーを含む場合（ステップＳ３３で否定
結果）には、復号異常検出漏れの有無を判定し（ステッ
プＳ３５）、検出漏れがなければ復号結果をそのまま出
力する（ステップＳ３４）。一方、検出漏れがある場合
には、復号結果の全てを出力せず、エラー隠蔽処理をし
たものを出力する（ステップＳ３６）。

【００７０】以上の動作により、復号異常が検出されず
に復号されてしまった場合に、エラーを含む符号化単位
では復号結果をそのまま出力できるか否かを再確認して
から出力するため、著しく劣化した復号結果を出力する
ことがなくなる。

【００７１】例えば、フレーム内符号化とフレーム間符
号化等の符号化の種類や、フレーム時間情報、量子化ス
テップサイズ等の各フィールドデータは、エラーが発生
すると出力画像が著しく劣化する重要な情報であるにも
関わらず、一般的には、固定長符号化を行っているため
には、エラーが発生しても復号異常として検出すること
が困難な場合が多い。例えば、量子化ステップサイズが
「１０」（２進数では「１０１０」）のものに１ビット
エラーがのって「２」（２進数では「００１０」）にな
る可能性があるが、符号化ルールからは逸脱していない
ため復号異常であると検出することができない。量子化
ステップサイズを「２」として復号した画素値が規定範
囲（例えば、「０」から「２５５」）を超えた場合のみ
復号異常の検出が可能となるが、復号異常の検出の見落
としが発生する。

【００７２】このような場合、画素値が正しい値からず
れている可能性が高く、周囲のブロックや前フレームの
画素値との変化度合いを、復号結果の有効性の判定基準
とすることができる。

【００７３】また、最も単純には、エラーを含む符号化
単位において最後まで復号できてしまった場合には全て
修正の対象とすることで、見落としの確率を大幅に下げ
ることができる。

【００７４】（Ｃ−４）第３の実施形態の効果 以上のように、第３の実施形態によれば、復号異常の検
出漏れがあった場合でも、下位の伝送レイヤからのエラ
ー含有情報を利用して検出漏れ判定を行うので、著しく
劣化した復号画像を出力することを防ぐことができる。
また、エラー含有情報を利用して、エラーの含まない符
号化単位に対しては復号異常の検出漏れ判定を行わない
ので、復号処理時間を抑えることができる。

【００７５】（Ｄ）第４の実施形態 （Ｄ−１）第４の実施形態の特徴 第４の実施形態に係る動画像復号装置は、符号化装置側
において、フレーム時間情報等の重要な情報を２重化又
は多重化（以下、単に２重化と呼ぶ）して誤り耐性を高
めて伝送してきた場合に、エラー含有情報を利用して２
重化された本来同一であるはずの複数の情報のうちどれ
が正しいかを特定し、さらに誤った情報を正しい情報に
修正することを特徴とする。

【００７６】例えば、Ｈ．２６３やＭＰＥＧ−４では、
ピクチャヘッダの情報の一部を、各スライスヘッダにも
挿入できるようになされている。そのため、重要な情報
は、各フレームの先頭の符号化単位（伝送単位）だけで
なく、それ以降の符号化単位（伝送単位）にも持たせる
ことができる。

【００７７】例えば、先頭の符号化単位（伝送単位）
が、ピクチャ同期符号、フレーム時間情報、画像サイ
ズ、量子化ステップサイズ、……というフィールド構成
であり、それ以降の符号化単位（伝送単位）が、スライ
ス同期符号、フレーム時間情報、量子化ステップサイ
ズ、……というフィールド構成の場合には、フレーム時
間情報及び量子化ステップサイズは多重化された情報で
ある（ただし、量子化ステップサイズは、スライス毎に
変化する符号化もあるが、その場合は２重化情報ではな
い）。なお、実際上は、どの情報が２重化されているか
を示すフラグが別途に必要なるが、ここでは省略してい
る。

【００７８】第４の実施形態の動画像復号装置は、以上
のような２重化情報の存在を前提としている。

【００７９】（Ｄ−２）第４の実施形態の構成 図７は、第４の実施形態の動画像復号装置４００の構成
を示す機能ブロック図である。

【００８０】図７において、第４の実施形態の動画像復
号装置４００は、符号データ入力部１０１、復号部４０
１、動画像出力部１０３、エラー含有情報入力部１０
４、２重化情報比較修正部４０２及び再復号部４０３と
を有している。なお、図７において、図１と同一の機能
を有するものには同一符号を付してある。以下では、第
１の実施形態の構成と異なる部分についてのみ説明す
る。

【００８１】復号部４０１は、入力された符号データを
符号化単位毎に復号するものであり、入力された符号デ
ータと復号された画素データを再復号部４０３へ与える
と共に、２重化された情報を２重化情報比較修正部４０
２へ渡すものである。また、復号部４０１は、２重化情
報比較修正部４０２から修正結果が戻ってきた場合に
は、その修正値を使用して復号を続ける。復号部４０１
は、復号の際、符号テーブルに存在しない符号語が現れ
たか否かや、復号された各フィールドの値が規定の範囲
内に収まっているか否か等をチェックし、符号化ルール
から逸脱したことでエラーを検出する。復号部４０１
は、前後の復号結果等、現復号結果以外の情報から修正
可能な場合には修正するようにしても良い。また、復号
部４０１は、そのまま復号を続けると大きく劣化した画
像しか復号できないと判断した場合には、復号を中止し
エラー隠蔽処理を行う。

【００８２】２重化情報比較修正部４０２は、エラー含
有情報入力部１０４から受けたエラー含有情報を利用し
て、符号化単位毎に２重化された重要な情報を比較、修
正するものであり、現符号化単位の情報に対して修正を
行った場合には修正結果を復号部４０１へ返すものであ
る。また、過去の符号化単位の情報に対して修正を行っ
た場合には再復号部４０３へ修正結果を渡す。また、２
重化情報比較修正部４０２は、過去の符号化単位のエラ
ー含有情報や２重化された各情報は必要に応じて内蔵す
るメモリに記憶しておくものである。

【００８３】再復号部４０３は、２重化情報比較修正部
４０２において過去の符号化単位の情報に対する修正が
行われた場合に、その情報を用いて過去の符号化単位を
再復号するものである。再復号部４０３は、再復号に際
して、一部の復号値を入れ替えるだけで良い場合には、
復号部４０１の復号結果を利用するが、修正により全て
の復号結果に影響が出る場合には、もう一度符号データ
から復号し直すものである。

【００８４】（Ｄ−３）第４の実施形態の動作 図８は、第４の実施形態の動画像復号装置４００の動作
を表わすフローチャートである。

【００８５】動画像復号装置４００は、下位の伝送レイ
ヤから符号化単位毎に符号データとエラー含有情報の組
を受け取り、まずヘッダ情報（ここでは画像データ以外
のものをヘッダ情報と呼んでいる）を復号する（ステッ
プＳ４１）。その後、ヘッダ情報から２重化情報を取り
出し、取り出した２重化情報を、同一フレーム内等の２
重化された情報が同じであるべき過去の符号化単位の２
重化情報と比較する（ステップＳ４２）。

【００８６】そして、過去の符号化単位と２重化情報に
差異がない場合（ステップＳ４３で否定結果）には、２
重化情報にはエラーが含まれていないと判定して、現符
号化単位を通常のエラー処理を施しながら復号する（ス
テップＳ４４）。

【００８７】一方、過去の符号化単位と２重化情報に差
異がある場合（ステップＳ４３で肯定結果）には、双方
の符号化単位のエラー含有情報を確認する（ステップＳ
４５）。現符号化単位にのみエラーが含まれる場合に
は、現符号化単位の情報を修正して通常のエラー処理を
施しながら復号を続ける（ステップＳ４６）。また、前
符号化単位にのみエラーが含まれる場合には、過去の符
号化単位に遡って該当する情報の修正を行い、再度エラ
ー処理を施しながら復号を行うと共に（ステップＳ４
７）、さらに、現符号化単位の復号も行う（ステップＳ
４８）。両方の符号化単位に共にエラーが含まれている
場合には、どちらが正しい情報かが判定できないので、
どちらの符号化単位にも修正を行わず、現符号化単位を
通常のエラー処理を施しながら復号する（ステップＳ４
４）。

【００８８】以上の動作により、２重化された情報を正
確に利用することが可能となった。例えば、フレーム時
間情報、符号化の種類（フレーム内／フレーム間符号化
等）やモード情報（周辺予測の利用方法、動きベクトル
の種類や範囲、オプション符号化の有無等）、量子化ス
テップサイズ等、エラーが発生すると出力結果が著しく
劣化する情報は、フレームのヘッダだけでなく、各スラ
イスのヘッダにも挿入して情報を２重化することが一般
に行われているが、各符号化単位ではその符号化単位で
得られた復号値を使用して各符号化単位の復号を行うこ
とが一般的であった。

【００８９】例えば、図９（ａ）に示すように、フレー
ム時間情報を４ビットで表現するシステムにおいて、２
つのスライスから構成されるフレーム時間「１０」（２
進数で「１０１０」）のフレームがある場合、２番目の
スライスでエラーが発生してフレーム時間が「１４」
（２進数で「１１１０」）となると、従来の動画像復号
装置では２つのフレームが存在して、間のスライスがロ
スしたのだと判断して図９（ｂ）に示すように、復号す
る可能性もある。

【００９０】しかし、第４の実施形態の動画像復号装置
４００では、エラー含有情報を利用して、図９（ｃ）に
示すように、エラーを含まないスライスのフレーム時間
情報に合せて修正できるので、２つのフレームに分裂す
ることなく、正しい復号結果を出力することが可能とな
る。

【００９１】（Ｄ−４）第４の実施形態の効果 以上のように、第４の実施形態によれば、２重化された
情報にエラーが発生した場合に高い確率で正しい値に修
正できるので、著しく劣化した画像を出力することを防
ぐことができる。

【００９２】（Ｄ−５）第４の実施形態の変形例 第４の実施形態において、過去の符号化単位の情報を修
正した場合、過去の符号化単位を再復号する例を示した
が、これに限定するものではない。一つのフレームを構
成するスライスのうち、エラーを含まないスライスのヘ
ッダを先読みし、２重化情報を修正した後に、各スライ
スの復号を行うようにしても良い。この場合、各フレー
ム毎にエラーを含まないスライスを受信するまで先頭の
スライスを復号できなくなるため、僅かに遅延が発生す
るが、復号処理を戻って行うことがないので、処理量が
少なくなると共に、処理が簡素化される。

【００９３】また、符号化単位をスライスとし、同一フ
レーム内の各スライスヘッダに２重化情報が挿入される
例を示したが、本発明は、これに限定されるものではな
い。画像サイズやどのオプションを使用しているかを表
わすモード情報等は、頻繁に変化する情報でないにも関
わらず、毎フレームのヘッダに挿入されることがある。
符号化単位をフレームとし、フレーム毎に変化すること
のない情報も２重化された情報と同じように扱い、修正
を行うことができる。

【００９４】また、第１の実施形態に示したように、パ
ケットロスの場合でも下位の伝送レイヤから符号化単位
毎に空のデータを受けるようにしたり、第２の実施形態
に示したように、下位の伝送レイヤから符号化単位毎の
通し番号を受けるようにして、パケットロスを確認しな
がら２重化情報が及ぶ範囲を判定するようにしても良
い。

【００９５】また、過去の一つの符号化単位と現符号化
単位を比較する例を示したが、本発明は、これに限定さ
れるものではない。同一の２重化情報を持つ過去の全符
号化単位と比較しても良い。さらに過去の符号化単位を
修正する場合には、これら過去の全符号化単位に対して
修正を施すようにしても良い。

【００９６】（Ｅ）第５の実施形態 （Ｅ−１）第５の実施形態の特徴 第５の実施形態に係る動画像復号装置は、復号誤りによ
り隣接する符号化単位の復号結果が同じ位置の画像を生
成していた場合に、エラー含有情報を利用してどちらの
復号結果が正しいかを特定し、さらに誤った符号化単位
に対して適切なエラー隠蔽処理を施すことを特徴とす
る。

【００９７】（Ｅ−２）第５の実施形態の構成 図１０は、第５の実施形態の動画像復号装置５００の構
成を示す機能ブロック図である。

【００９８】図１０において、動画像復号装置５００
は、符号データ入力部１０１、復号部５０１、動画像出
力部１０３、エラー含有情報入力部１０４、復号画像位
置比較修正部５０２、再エラー隠蔽部５０３とを有して
いる。なお、図１０において、図１と同一の機能を有す
るものには同一符号を付してある。以下では、第１の実
施形態の構成と異なる部分についてのみ説明する。

【００９９】復号部５０１は、入力された符号データを
符号化単位毎に復号するものであり、復号された画素デ
ータと再エラー隠蔽処理に必要な情報を再エラー隠蔽部
５０３へ与えると共に、現符号化単位の先頭位置（その
符号化単位の画像上での先頭位置）及び終端位置（その
符号化単位の画像上での終端位置）情報を復号画像位置
比較修正部５０２へ渡すものである。また、復号部５０
１は、復号画像位置情報比較修正部５０２から修正結果
が戻ってきた場合には、その修正値を使用して復号を続
けるものである。復号部５０１は、復号の際、符号テー
ブルに存在しない符号語が現れたか否かや、復号された
各フィールドの値が規定の範囲内に収まっているか否か
等をチェックし、符号化ルールから逸脱したことでエラ
ーを検出する。復号部５０１は、前後の復号結果等、現
復号結果以外の情報から修正可能な場合には修正するよ
うにしても良い。また、復号部５０１は、そのまま復号
を続けると大きく劣化した画像しか復号できないと判断
した場合には、復号を中止し、エラー隠蔽処理を行う。

【０１００】復号画像位置情報比較修正部５０２は、過
去の符号化単位の終端位置と現符号化単位の先頭位置と
を比較し、過去の符号化単位の終端位置と現符号化単位
の先頭位置とが重なっていた場合には、エラー含有情報
入力部１０４から受けたエラー含有情報を利用して、過
去に復号した符号化単位の終端位置及び又は現符号化単
位の先頭位置を修正するものであり、現符号化単位の情
報に対して修正を行った場合には修正結果を復号部５０
１へ返すものである。また、復号画像位置情報比較修正
部５０２は、過去の符号化単位の情報に対して修正を行
った場合には再エラー隠蔽部５０３へ修正結果を渡すも
のである。さらに、復号画像位置情報比較修正部５０２
は、過去の符号化単位の終端位置と現符号化単位の先頭
位置が離れていた場合には、間の領域をエラー隠蔽する
指示を再エラー隠蔽部５０３へ渡すものである。なお、
復号画像位置情報比較修正部５０２は、過去の符号化単
位のエラー含有情報や終端位置情報を内蔵するメモリに
記憶しておく。

【０１０１】再エラー隠蔽部５０３は、復号画像位置情
報比較修正部５０２において過去の符号化単位の情報に
対する修正が行われた場合に、その情報を用いて過去の
符号化単位に対して再度エラー隠蔽処理を施すものであ
る。また、再エラー隠蔽部５０３は、過去の符号化単位
の終端位置と現符号化単位の先頭位置の間の領域をエラ
ー隠蔽する指示を受けた場合には、その領域に対してエ
ラー隠蔽処理を施すものである。

【０１０２】（Ｅ−３）第５の実施形態の動作 図１１は、第５の実施形態の動画像復号装置５００の動
作を表わすフローチャートである。

【０１０３】動画像復号装置５００は、下位の伝送レイ
ヤから符号化単位毎に符号データとエラー含有情報の組
を受け取り、まずヘッダ情報を復号する（ステップＳ５
１）。ヘッダから先頭位置情報を取り出し、一つ前の符
号化単位の終端位置と比較する（ステップＳ５２）。２
つの符号化単位の画像位置が正しく隣接する場合（ステ
ップＳ５３）には、復号画像位置情報にはエラーが含ま
れていないと判定して、現符号化単位を通常のエラー処
理を施しながら復号する（ステップＳ５４）。

【０１０４】これに対して、２つの符号化単位の画像位
置が重なっている場合（ステップＳ５３）には、双方の
符号化単位のエラー含有情報を確認する（ステップＳ５
５）。そして、現符号化単位にのみエラーが含まれる場
合には、現符号化単位の先頭位置情報を修正して通常の
エラー処理を施しながら復号を続ける（ステップＳ５
６）。また、前符号化単位にのみエラーが含まれる場合
には、前符号化単位に遡って終端位置情報の修正を行
い、再度エラー隠蔽処理を施こすと共に（ステップＳ５
７）、さらに、現符号化単位の復号も行う（ステップＳ
５８）。両方の符号化単位に共にエラーが含まれている
場合には、どちらが正しい情報かを判定できないので、
どちらの符号化単位にも修正を行わず、現符号化単位を
通常のエラー処理を施しながら復号する（ステップＳ５
４）。

【０１０５】以上の動作により、２つの符号化単位の復
号画像位置が重なった場合でも、正しい方の符号化単位
の復号結果を確実に出力することができ、さらに誤った
符号化単位の修正も可能になった。

【０１０６】従来装置では、復号画像位置が重なった場
合には、どちらの画像位置が正しいのかを正確に判定す
ることができなかったので、予めどちらかを信用するよ
うに決めておく必要があった。例えば、常に前の符号化
単位を残し、後の符号化単位を全て、又は重なり合った
部分だけ廃棄するようにしたり、その逆を行うものが一
般的であった。又は、重なり合った場合には復号画像が
著しく劣化していることが多いので、両方の符号化単位
を廃棄するものもあった。

【０１０７】しかし、第５の実施形態の動画像復号装置
５００ではエラー含有情報を利用して、エラーを含まな
い符号化単位を正確に選んで出力することができる。

【０１０８】（Ｅ−４）第５の実施形態の効果 以上のように、第５の実施形態によれば、２つの符号化
単位の復号画像位置が重なった場合にも、下位の伝送レ
イヤからのエラー含有情報を利用することにより、正し
い方の符号化単位の復号画像を確実に出力することがで
き、また、誤った符号化単位の復号画像も修正又は隠蔽
することが可能となる。

【０１０９】これにより、著しく劣化した画像を出力す
る確率か極めて低くできると共に、正しい復号結果を確
実に出力できるので、劣化する範囲を狭く抑えることが
できる。

【０１１０】（Ｅ−５）第５の実施形態の変形例 第５の実施形態の説明においては、符号化単位がスライ
スであり、スライスの位置が重なる例を意識して説明し
たが、本発明は、これに限定されるものではない。符号
化単位をフレームとし、フレーム時間情報の重なりに対
して同じように扱い、修正を行うこともできる。

【０１１１】また、第１の実施形態に示したように、パ
ケットロスの場合でも下位の伝送レイヤから符号化単位
毎に空のデータを受けるようにしたり、第２の実施形態
に示したように、下位の伝送レイヤから符号化単位毎の
通し番号を受けるようにし、パケットロスを確認しなが
ら復号画像位置の重なりを判定するようにしても良い。
例えば、直前の符号化単位がパケットロスしている場合
には、一つ前に復号した符号化単位の終端位置と現符号
化単位の先頭位置は必ず離れているはずであり、隣接し
ている結果になった場合には、エラーがあったと判定し
て修正処理を行うことができる。

【０１１２】（Ｆ）第６の実施形態 （Ｆ−１）第６の実施形態の特徴 第６の実施形態に係る動画像復号装置は、エラー含有情
報を利用して複数のフレームにかかるパケットロスを検
出し、符号化単位がどのフレームに属するかを特定する
ことを特徴とする。なお、この第６の実施形態の場合、
符号化単位がスライスであることを想定している。

【０１１３】（Ｆ−２）第６の実施形態の構成 図１２は、第６の実施形態の動画像復号装置６００の構
成を示す機能ブロック図である。

【０１１４】図１２において、動画像復号装置６００
は、符号データ入力部１０１、復号部６０１、動画像出
力部１０３、エラー含有情報入力部１０４、フレーム時
間更新検出部６０２、符号化単位数算出部６０３とを有
している。なお、図１２において、図１と同一の機能を
有するものには同一符号を付してある。以下では、第１
の実施形態の構成と異なる部分についてのみ説明する。

【０１１５】復号部６０１は、入力された符号データを
符号化単位毎に復号するものであり、復号された画素デ
ータを動画像出力部１０３へ与えると共に、フレーム時
間情報やスライスの位置情報等、符号化単位の時間を特
定できる情報を符号化単位数算出部６０３へ渡すもので
ある。また、復号部６０１は、フレーム時間更新検出部
５０２からフレーム時間更新の情報が戻ってきた場合に
は、その情報を使用して復号を続けるものである。復号
部６０１は、復号の際、符号テーブルに存在しない符号
語が現れたか否かや、復号された各フィールドの値が規
定の範囲内に収まっているか否か等をチェックし、符号
化ルールから逸脱したことでエラーを検出する。復号部
６０１は、前後の復号結果等、現復号結果以外の情報か
ら修正可能な場合には修正するようにしても良い。ま
た、復号部６０１は、そのまま復号を続けると大きく劣
化した画像しか復号できないと判断した場合には、復号
を中止しエラー隠蔽処理を行う。

【０１１６】フレーム時間更新検出部６０２は、符号化
単位数算出部６０３から得られた一つのフレームに含ま
れる符号化単位数とエラー含有情報入力部１０４から得
られたエラー含有情報の数を利用して、現符号化単位が
現フレームに含まれているか、次のフレームに含まれて
いるかを検出するものであり、フレーム時間の更新を検
出した場合にはその情報を復号部６０１へ渡すものであ
る。なお、符号化単位がパケットロスで失われた場合で
も、下位の伝送レイヤから空のデータとエラー含有情報
は得られるものとする。フレーム時間更新検出の方法
は、例えば、フレーム当たりの符号化単位数が常に
「５」の場合であれば、４番目のスライスを受けた後、
空のデータとエラー含有情報を２回連続で受けたとき、
次のデータは次のフレームに含まれていると判断する方
法である。

【０１１７】符号化単位数算出部６０３は、過去の符号
化状況等を利用して、一つのフレームに含まれる符号化
単位の数を算出するものであり、算出した符号化単位数
をフレーム時間更新検出部６０２へ渡すものである。

【０１１８】一つのフレームに含まれる符号化単位の数
に関しては、通信開始時での端末間の能力交換において
明らかになるシステム（Ｈ．３２４等）や、フレーム毎
に符号化単位の数が固定されている符号化方式（Ｈ．２
６３／Ａｎｎｅｘ Ｒ等）も存在するため、それらの情
報を利用すると確実な結果が得られる。また、各符号化
単位の符号量が一定になるように符号化単位を決定する
システムでは、動きの少ない映像ではほぼ符号化単位の
数が一定になるので、過去数フレームの平均符号化単位
数を使用することもできる。フレーム毎に符号化単位数
の変動が激しい場合には、符号化単位数算出部６０３
は、算出した符号化単位数の信頼性が低いことを合せて
フレーム時間更新検出部６０２へ渡すようにしても良
い。

【０１１９】（Ｆ−３）第６の実施形態の動作 図１３は、第６の実施形態の動画像復号装置６００の動
作を表わすフローチャートである。

【０１２０】動画像復号装置６００は、下位の伝送レイ
ヤから符号化単位毎に符号データとエラー含有情報の組
を受け取り、フレーム当たりの符号化単位数を算出する
（ステップＳ６１）。システムや符号化方式によりスラ
イス数が確定している場合には、この算出処理（や符号
化単位数算出部６０３）を省略しても良い。

【０１２１】現フレームになってからのエラー含有情報
の数が、フレーム当たりの符号化単位数と同じか小さい
場合（ステップＳ６２で肯定結果）には、現符号化単位
は現フレームに含まれると判定して復号する（ステップ
Ｓ６３）。但し、フレーム時間情報や符号化単位の位置
情報を符号化した結果、次のフレームに含まれることが
判明した場合にはそれを優先する。また、ステップＳ６
２の比較において、フレーム当たりの符号化単位数がフ
レーム毎に変動している場合には、それを考慮したα値
（オフセット値）を加えた値で比較を行っても良い。な
お、図１３はオフセット値αを加えた値との比較で示し
ている。

【０１２２】現フレームになってからのエラー含有情報
の数が、フレーム当たりの符号化単位数（＋α）よりも
大きい場合（ステップＳ６２）は、現符号化単位は次の
フレームに含まれると判定して復号する（ステップＳ６
３）。但し、フレーム時間情報や符号化単位の位置情報
を符号化した結果、現フレームに含まれることが判明し
た場合にはそれを優先する。

【０１２３】以上の動作により、２つのフレームにまた
がってパケットロスが連続発生した場合でも、正しいフ
レーム時間で復号が可能となる。例えば、図１４（ａ）
に示すように、フレーム時間情報は各フレームの先頭ス
ライスにのみ含まれている符号化を行っている場合に、
フレーム時間「１０」の第２、第３スライス、及びフレ
ーム時間「１５」の第１スライスがロスしたとする。従
来のシステムでは、フレーム時間「１０」の第１スライ
スの次にフレーム時間「１５」の第２スライスを受ける
と、それが次のフレームに含まれているか否かを判断す
ることができないので、一般に同じフレームだと思って
復号してしまう。この場合、図１４（ｂ）に示すよう
に、２つのフレームを合せた奇妙なフレームが生成され
るだけでなく、フレーム数も減少してしまう。

【０１２４】しかし、第６の実施形態では、エラー含有
情報の数とフレーム当たりの符号化単位数とを比較する
ことで、次のフレームに含まれることが判定でき、仮
に、パケットロスに対するエラー隠蔽処理を実行しない
場合には、図１４（ｃ）に示すようなロスしたスライス
が欠落した画像が得られる。この画像は、欠落している
だけであり、奇妙なフレーム画像とはならない。エラー
隠蔽処理を施した場合には、画質劣化を押さえることが
できる。

【０１２５】（Ｆ−４）第６の実施形態の効果 以上のように、第６の実施形態によれば、パケットロス
が複数のフレームにまたがって発生した場合でも、エラ
ー含有情報を利用して符号化単位でのフレーム時間を推
測するようにしたので、各符号化単位の復号結果をほぼ
正しいフレーム時間に出力することができる。

【０１２６】（Ｆ−５）第６の実施形態の変形例 第２の実施形態に示したように、下位の伝送レイヤから
符号化単位毎の通し番号を受けるようにし、パケットロ
スを確認しながら復号画像位置の重なりを判定するよう
にしても良い。例えば、パケットロスが連続した場合
に、伝送レイヤが間違った数のエラー含有情報を渡して
しまっても、通し番号からフレーム時間の判定を行うこ
とができる。また、パケットロスの場合には空のデータ
とエラー含有情報を受けなくても、通し番号さえあれ
ば、パケットロスがいくつ連続したかを判定できるの
で、フレーム時間の判定を行うことができる。

【０１２７】（Ｇ）第７の実施形態 （Ｇ−１）第７の実施形態の特徴 第７の実施形態の動画像復号装置は、エラー含有情報を
利用してエラーを含む符号化単位の復号結果を、次のフ
レームの参照画像として使用しないことを特徴とする。

【０１２８】動画像符号化方式として予測符号化方式等
の参照画像を利用する方式があり、第７の実施形態の動
画像復号装置は、そのような符号化方式を採用している
伝送システムを想定している。

【０１２９】（Ｇ−２）第７の実施形態の構成 図１５は、第７の実施形態の動画像復号装置７００の構
成を示す機能ブロック図である。

【０１３０】図１５において、動画像復号装置７００
は、符号データ入力部１０１、復号部７０１、動画像出
力部１０３、エラー含有情報入力部１０４、参照画像選
択部７０２、参照画像記憶部７０３とを有している。な
お、図１５において、図１と同一の機能を有するものに
は同一符号を付してある。以下では、第１の実施形態の
構成と異なる部分についてのみ説明する。

【０１３１】復号部７０１は、参照画像記憶部７０３に
記憶されている参照画像を利用しつつ、入力された符号
データを符号化単位毎に復号するものであり、復号され
た画素データを動画像出力部１０３へ与えると共に、参
照画像選択部７０２で選択された符号化単位の復号結果
を、参照画像として記憶するために参照画像記憶部７０
３へ渡すものである。復号部７０１は、復号の際、符号
テーブルに存在しない符号語が現れたか否かや、復号さ
れた各フィールドの値が規定の範囲内に収まっているか
否か等をチェックし、符号化ルールから逸脱したことで
エラーを検出する。復号部７０１は、前後の復号結果
等、現復号結果以外の情報から修正可能な場合には修正
するようにしても良い。また、復号部７０１は、そのま
ま復号を続けると大きく劣化した画像しか復号できない
と判断した場合には、復号を中止しエラー隠蔽処理を行
う。

【０１３２】参照画像選択部７０２は、エラー含有情報
入力部１０４から受けたエラー含有情報を利用して、エ
ラーを含まない符号化単位の復号結果だけを参照画像と
するように選択するものであり、選択結果を復号部７０
１へ渡すものである。

【０１３３】参照画像記憶部７０３は、選択された参照
画像だけを記憶するものである。参照画像記憶部７０３
は、符号化単位がスライスの場合、符号化単位の位置や
形状はフレーム毎に異なる符号化を行う場合もあるが、
その場合も前フレームでのスライス形状に関係なく、最
新の復号結果を正しい位置に上書きしていく。

【０１３４】（Ｇ−３）第７の実施形態の動作 図１６は、第７の実施形態の動画像復号装置７００の動
作を表わすフローチャートである。

【０１３５】動画像復号装置７００は、下位の伝送レイ
ヤから符号化単位毎に符号データとエラー含有情報の組
を受け取り、現符号化単位を、参照画像記憶部７０３に
記憶されている参照画像を利用しつつしかも通常のエラ
ー処理を施しながら復号し、復号画像を出力する（ステ
ップＳ７１）。次に、エラー含有情報に基づいて、現符
号化単位にエラーが含まれていないか否かを確認し（ス
テップＳ７２）、エラーを含まない符号化単位の復号結
果を、今後のフレーム間復号の際の参照画像とするため
に記憶する（ステップＳ７３）。エラーを含む場合に
は、参照画像として記憶しない（ステップＳ７４）。こ
の場合、現符号化単位の領域は、前フレームまでに記憶
された参照画像がそのまま記憶維持されるので、次フレ
ーム以降でも使用されることとなる。

【０１３６】以上の動作より、エラーを含み著しく劣化
した可能性のある復号結果を、参照画像としないので、
エラーによる劣化の時間的伝播を抑制することができ
る。

【０１３７】（Ｇ−４）第７の実施形態の効果 以上のように、第７の実施形態によれば、エラー含有情
報を利用して、エラーを含み著しく劣化した可能性のあ
る復号結果を次の参照画像としないので、次のフレーム
では現符号化単位の劣化画像ではなく、前フレームの正
しい符号化結果を参照してフレーム間復号を行うため、
エラーによる劣化の時間的伝播を抑制することができ
る。

【０１３８】（Ｈ）第８の実施形態 （Ｈ−１）第８の実施形態の特徴 第８の実施形態の動画像復号装置は、下位の伝送レイヤ
が伝送エラー時に符号化装置側から再送させる機能を有
する場合に、再送パケットにもエラーが含まれている場
合、初回と２回目以降の全てのデータを復号し、正しく
復号できた部分を表示することを特徴とする。

【０１３９】（Ｈ−２）第８の実施形態の構成 図１７は、第８の実施形態の動画像復号装置８００の構
成を示す機能ブロック図である。

【０１４０】図１７において、動画像復号装置８００
は、符号データ重複入力部８０１、復号部８０２、動画
像出力部１０３、エラー含有情報入力部１０４、通し番
号入力部２０１、通し番号重複検出部８０３、重複復号
結果選択部８０４とを有している。なお、図１７におい
て、図１、図３と同一の機能を有するものには同一符号
を付してある。以下では、第１及び第２の実施形態の構
成と異なる部分についてのみ説明する。

【０１４１】符号データ重複入力部８０１は、フレーム
単位又はスライス単位で符号化された動画像データを、
下位の伝送レイヤから符号化単位毎に受けるものであ
り、入力された符号データを符号化単位毎に復号部８０
２へ与えるものである。また、符号データ重複入力部８
０１は、下位の伝送レイヤにおいて再送が行われた場合
には、エラーの発生している初回のデータと、再送され
たその後のデータを全て受けるものとする。逆に言え
ば、この第８の実施形態では、下位の伝送レイヤは、初
回のデータと、再送されたその後のデータの双方を動画
像復号装置８００に与えるものである。

【０１４２】復号部８０２は、入力された符号データを
符号化単位毎に復号するものであり、復号結果を重複復
号結果選択部８０３へ与えるものである。復号部８０２
は、復号の際、符号テーブルに存在しない符号語が現れ
たか否かや、復号された各フィールドの値が規定の範囲
内に収まっているか否か等をチェックし、符号化ルール
から逸脱したことでエラーを検出する。復号部８０２
は、前後の復号結果等、現復号結果以外の情報から修正
可能な場合には修正するようにしても良い。また、復号
部８０２は、そのまま復号を続けると大きく劣化した画
像しか復号できないと判断した場合には、復号を中止し
エラー隠蔽処理を行う。

【０１４３】通し番号重複検出部８０３は、エラー含有
情報入力部１０４から受けたエラー含有情報を利用して
現符号化単位がエラーを含むものかを確認し、エラーを
含む場合に通し番号入力部２０１から受けた通し番号が
過去に受けたものと重複しているか否かを検出するもの
である。通し番号重複検出部８０３は、重複している場
合には、その旨を重複復号結果選択部８０４へ渡す。

【０１４４】なお、通し番号が重複することは再送され
たことを意味し、その通し番号が初めて入力された符号
化単位は再送を起動した符号化単位であるので、当然に
その符号化単位につてのエラー含有情報はアクティブに
なっている。

【０１４５】重複復号結果選択部８０４は、通し番号重
複検出部８０２から重複通知を受けた場合に、同一符号
化単位に対して重複して得られた複数の復号結果を比較
し、いずれかを出力画像として選択するものである。重
複復号結果選択部８０４は、選択に際しては、例えば、
周辺ブロックや前フレームと復号画像を比較し、画素値
や動き情報の差が小さい方を採用する。また、重複復号
結果選択部８０４は、符号化単位全体を一つと扱って、
いずれかの復号結果を選択するようにしても良いし、さ
らに小さいブロック毎に復号画像を選択するようにして
も良い。

【０１４６】（Ｈ−３）第８の実施形態の動作 図１８は、第８の実施形態の動画像復号装置８００の動
作を表わすフローチャートである。

【０１４７】動画像復号装置８００は、下位の伝送レイ
ヤから符号化単位毎に符号データとエラー含有情報の組
を受け取り、現符号化単位を通常のエラー処理を施しな
がら復号する（ステップＳ８１）。次に、エラー含有情
報に基づいて現符号化単位にエラーが含まれているか否
かを確認し（ステップＳ８２）、エラーを含まない符号
化単位の復号結果はそのまま出力する（ステップＳ８
３）。なお、現符号化単位が再送によるものであって
も、エラーを含まなければ、上述の処理の流れにより、
再送された符号化単位での復号結果が出力される。

【０１４８】現符号化単位がエラーを含む場合には、通
し番号が過去のものと重複しているかを確認し（ステッ
プＳ８４）、重複している場合には同一符号化単位に対
して得られた複数の復号結果を比較し、いずれかを出力
画像として選択する（ステップＳ８５）。重複していな
い場合には、後に再送データが送られてくる可能性があ
るので、一定時間だけ記憶した後、一定時間経過しても
再送に係る符号化単位が入力されない場合には出力する
（ステップＳ８６）。

【０１４９】以上の動作より、再送により重複して得ら
れた同一符号化単位の符号データに対して、周辺画像と
の調和の高いものを出力画像に選択するので、エラーに
よる劣化を抑えることができる。

【０１５０】従来は、エラーを検出して再送要求を行う
場合、最初に受けたデータを廃棄するシステムが多く、
受け取ったデータを無駄にしていた。また、再送された
データに再度エラーが含まれている場合には、後から受
けた方を優先するシステムが多く、再送データの方がエ
ラーが多く含まれた場合では、エラーによる画質劣化が
大きくなるという欠点もあった。

【０１５１】しかし、この第８の実施形態では、受信し
た複数のデータを利用して、良い復号結果を示している
方を採用するので、エラーによる画質劣化を最低限に抑
えることが可能となる。

【０１５２】なお、伝送レイヤに、再送に係る符号化単
位は初回、それ以降の選択動作を問わず全て符号化レイ
ヤに引き渡すような機能を設けることは、選択動作や廃
棄動作を伴わないので、そのような機能の実現構成を容
易に構築できるので、その構成の図示を省略している。

【０１５３】（Ｈ−４）第８の実施形態の効果 以上のように、第８の実施形態によれば、下位の伝送レ
イヤが再送を行い、かつ、再送されたデータにもエラー
が含まれていた場合、受信した複数のデータを有効に利
用して周囲画像や前画像との整合性の高い画像を選択す
るので、エラーによる画質劣化を最低限に抑えることが
可能となる。

【０１５４】（Ｈ−５）第８の実施形態の変形例 第８の実施形態では、常に下位の伝送レイヤから通し番
号を受け、その番号重複を検出して再送を認識する例を
説明したが、これに限定するものではない。通し番号を
受信せず、復号結果のフレーム時間情報やスライス位置
情報等をもとに再送を認識するようにしても良い。

【０１５５】なお、図１８は、再送が１回のみ行われる
場合を想定して記述しているが、再送が２回以上行われ
る場合であっても、第８の実施形態で説明した技術思想
を適用することができる。例えば、エラーを含む同一の
通し番号の符号化単位に対する復号結果を、所定時間以
内であれば全て記憶し、その所定時間を経過したとき
に、複数の復号結果からの選択を行うようにすれば良
い。因みに、再送は所定時間以内であれば数回認めるも
のや、時間を限らず再送の上限回数を定めている伝送シ
ステムが存在する。

【０１５６】（Ｉ）第９の実施形態 （Ｉ−１）第９の実施形態の特徴 第９の実施形態の動画像復号装置は、第８の実施形態の
動画像復号装置と同様に、伝送レイヤが再送機能を有す
るものに関し、さらに初回と２回目以降の全ての符号デ
ータを比較し、２回目以降はデータに差がある部分だけ
を復号し、正しく復号できた部分を表示することを特徴
とする。

【０１５７】（Ｉ−２）第９の実施形態の構成 図１９は、第９の実施形態の動画像復号装置９００の構
成を示す機能ブロック図である。なお、図１９におい
て、第８の実施形態に係る図１７と同一の機能を有する
ものには同一符号を付してある。以下では、第８の実施
形態の構成と異なる部分についてのみ説明する。

【０１５８】第９の実施形態の動画像復号装置９００
は、機能ブロック的には、第８の実施形態の動画像復号
装置８００に重複データ差異抽出部９０１を追加したも
のである。この追加と関連して、他の機能部の機能も第
８の実施形態とは多少異なっている。

【０１５９】重複データ差異抽出部９０１は、通し番号
重複検出部８０３から重複情報を得た場合、同一符号化
単位の複数の受信データを比較し、差異のある部分を抽
出するものであり、差異を含む部分データを復号部９０
２へ渡すものである。

【０１６０】復号部９０２は、入力された符号データを
符号化単位毎に復号するものであり、復号結果を重複復
号結果選択部８０３へ与えるものである。また、復号部
９０２は、重複データに対して差異のある部分だけを重
複データ差異抽出部９０１から受けた場合には、前回の
復号結果を利用してその部分だけを再度復号するもので
ある。復号部９０２は、復号の際、符号テーブルに存在
しない符号語が現れたか否かや、復号された各フィール
ドの値が規定の範囲内に収まっているか否か等をチェッ
クし、符号化ルールから逸脱したことでエラーを検出す
る。復号部９０２は、前後の復号結果等、現復号結果以
外の情報から修正可能な場合には修正するようにしても
良い。また、復号部９０２は、そのまま復号を続けると
大きく劣化した画像しか復号できないと判断した場合に
は、復号を中止しエラー隠蔽処理を行う。さらに、復号
部９０２は、重複データでは、差異のない部分はエラー
が発生していないとして、復号結果を確実に利用するよ
うにしても良い。

【０１６１】（Ｉ−３）第９の実施形態の動作 図２０は、第９の実施形態の動画像復号装置９００の動
作を表わすフローチャートである。

【０１６２】動画像復号装置９００は、下位の伝送レイ
ヤから符号化単位毎に符号データとエラー含有情報の組
を受け取り、現符号化単位にエラーが含まれているか否
かを確認する（ステップＳ９１）。エラーを含まない場
合には、現符号化単位を通常のエラー処理を施しながら
復号し（ステップＳ９２）、復号結果をそのまま出力す
る（ステップＳ９３）。

【０１６３】エラーを含む場合には、通し番号が過去の
ものと重複しているかを確認し（ステップＳ８４）、重
複している場合には、データに差異がある部分を取り出
し（ステップＳ９５）、その部分だけを復号する（ステ
ップＳ９６）。さらに、同一符号化単位に対して得られ
た複数の復号結果を比較し、いずれかを出力画像として
選択する（ステップＳ９７）。

【０１６４】重複していない場合には、現符号化単位を
通常のエラー処理を施しながら復号し（ステップＳ９
８）、後に再送データが送られてくる可能性があるの
で、一定時間だけ記憶した後、再送されない場合に出力
する（ステップＳ９９）。

【０１６５】重複データにおいて、差異がある部分はエ
ラーがどちらかのデータで発生していることを表わして
いる。また、差がない部分は、データが共に正しいか、
又は、共に間違っていることを表わしている。無線通信
等では、エラーがほぼ連続して発生する傾向が強いた
め、図２１に示すように、差異のある部分がある間隔以
内でバースト的に生じ、そのため、ステップＳ９５の処
理では、差異が所定時間内で高頻度で発生しているる部
分を差異データとして抽出し、ステップＳ９６ではその
差異データ部分を復号する。

【０１６６】以上の動作より、重複データに対しては差
異のある部分だけを復号するので、処理量を軽減するこ
とができる。また、エラーが発生していない部分を確定
することができるので、その部分の復号結果には劣化画
像が含まれないとして、安心して出力することができ
る。

【０１６７】（Ｉ−４）第９の実施形態の効果 以上のように、第９の実施形態によれば、第８の実施形
態で説明したのと同様の効果が得られるのに加え、処理
量を軽減することができる。また、エラーが発生してい
ない部分を特定することができるので、復号異常を検出
する直前でもその部分の復号結果には劣化画像が含まれ
ないとして、安心して出力することができるので、エラ
ーによる劣化範囲を最小化することができる。

【０１６８】（Ｉ−５）第９の実施形態の変形例 第９の実施形態に対しても、第８の実施形態の変形例で
説明したと同様な変形例を挙げることができる。すなわ
ち、符号化単位の重複判定方法や、再送が２回以上行わ
れる場合において最終的な出力段階で選択処理する方法
を適用することができる。

【０１６９】（Ｊ）他の実施形態 上記説明では、各実施形態はそれぞれ独立に動作する例
を示したが、各実施形態の技術思想を組み合わせて動画
像復号装置を構成するようにしても良い。

【０１７０】また、上述の各実施形態において説明した
動画像復号装置のそれぞれは、ハードウェアによって実
現してもソフトウェアによって実現しても良い。

【０１７１】さらにまた、上記各実施形態は、動画像伝
送システムの受信側に本発明を適用したものであった
が、静止画伝送システムの受信側に本発明を適用しても
良い。また、画像伝送システムだけでなく、符号化音声
の伝送システムの受信側に本発明を適用することができ
る。要は、伝送単位と符号化単位とは所定の関係にあ
り、伝送レイヤの受信機能の中にエラー検出機能があ
り、符号化単位でのエラー特定を行うことができる伝送
システムに広く適用することができる。なお、符号化音
声を処理する場合においては、復号画像の位置（フレー
ム位置又は時間軸での位置）を問題としていた各実施形
態に対しては、時間軸での位置と置き換えれば良い。特
許請求の範囲における復号結果の位置という表現は、こ
のような時間軸上での位置をも意味する。

【０１７２】また、本発明は、有線、無線を介する狭義
の伝送システムに適用できるだけでなく、記憶媒体への
記録、読出しを行い、その読出し信号を処理するような
システムをも含む広義の伝送システムにも適用できるも
のである。例えば、ＤＶＤから読み出すようなシステム
の場合、セクタからの読出しデータ（狭義の伝送システ
ムのパケットデータに相当する）からオーバーヘッドを
除去したものが伝送単位のデータであり、上記各実施形
態を適用することができる。特許請求の範囲では、狭義
の伝送システムにおける用語を用いて表現しているが、
広義の伝送システムに対しても、特許請求の範囲の表現
で権利を求めている。

【０１７３】

【発明の効果】以上のように、本発明によれば、到来す
る伝送単位毎の受信信号に対して伝送レイヤの受信処理
をして、受信信号を、伝送単位と所定の関係にある符号
化単位の符号データに変換して出力すると共に、伝送エ
ラー検出を実行するエラー検出手段を有する受信装置
と、符号化単位の符号データを復号する復号手段を有す
る復号装置とを有する符号化情報受信復号装置におい
て、復号装置が、受信装置のエラー検出手段の検出結果
を、当該復号装置から出力される復号結果に反映させる
伝送エラー復号反映手段を有するので、復号装置の構成
を小型化できたり、復号装置での処理量や処理時間を削
減できたり、復号装置でのエラー耐性を高めたりなどで
きる。

【図面の簡単な説明】

【図１】第１の実施形態における機能ブロック図であ
る。

【図２】第１の実施形態におけるフローチャートであ
る。

【図３】第２の実施形態における機能ブロック図であ
る。

【図４】第２の実施形態におけるフローチャートであ
る。

【図５】第３の実施形態における機能ブロック図であ
る。

【図６】第３の実施形態におけるフローチャートであ
る。

【図７】第４の実施形態における機能ブロック図であ
る。

【図８】第４の実施形態におけるフローチャートであ
る。

【図９】第４の実施形態における２重化情報の復号例で
ある。

【図１０】第５の実施形態における機能ブロック図であ
る。

【図１１】第５の実施形態におけるフローチャートであ
る。

【図１２】第６の実施形態における機能ブロック図であ
る。

【図１３】第６の実施形態におけるフローチャートであ
る。

【図１４】第６の実施形態における２重化情報の復号例
である。

【図１５】第７の実施形態における機能ブロック図であ
る。

【図１６】第７の実施形態におけるフローチャートであ
る。

【図１７】第８の実施形態における機能ブロック図であ
る。

【図１８】第８の実施形態におけるフローチャートであ
る。

【図１９】第９の実施形態における機能ブロック図であ
る。

【図２０】第９の実施形態におけるフローチャートであ
る。

【図２１】第９の実施形態における重複データの差異部
分抽出例である。

【符号の説明】

１００、２００、３００、４００、５００、６００、７
００、８００、９００…動画像復号装置、 １０１…符号データ入力部、 １０２、３０１、４０１、５０１、６０１、７０１、８
０２、９０２…復号部、 １０３…動画像出力部、 １０４…エラー含有情報入力部、 １０５、２０２…エラー処理切替部、 １０６…復号異常検出修正部、 １０７…符号化単位内エラー隠蔽部、 １０８…前符号化単位エラー隠蔽部、 ２０１…通し番号入力部、 ３０２…復号異常検出漏れ判定部、 ３０３…復号異常隠蔽部、 ４０２…２重化情報比較修正部、 ４０３…再復号部、 ５０２…復号画像位置情報比較修正部、 ５０３…再エラー隠蔽部、 ６０２…フレーム時間更新検出部、 ６０３…符号化単位数算出部、 ７０２…参照画像選択部、 ７０３…参照画像記憶部、 ８０１…符号データ重複入力部、 ８０３…通し番号重複検出部、 ８０４…重複復号結果選択部、 ９０１…重複データ差異抽出部。

Claims (22)

【特許請求の範囲】
1. 【請求項１】 到来する伝送単位毎の受信信号に対して
   伝送レイヤの受信処理をして、受信信号を、伝送単位と
   所定の関係にある符号化単位の符号データに変換して出
   力すると共に、伝送エラー検出を実行するエラー検出手
   段を有する受信装置と、符号化単位の符号データを復号
   する復号手段を有する復号装置とを有する符号化情報受
   信復号装置において、 上記復号装置は、上記受信装置の上記エラー検出手段の
   検出結果を、当該復号装置から出力される復号結果に反
   映させる伝送エラー復号反映手段を有することを特徴と
   する符号化情報受信復号装置。
2. 【請求項２】 上記受信装置は、エラー検出結果や伝送
   単位毎の受信信号の到来状況に応じて、符号化単位毎
   に、エラーの有無を指示するエラー含有情報を形成する
   エラー含有情報形成手段を有し、 上記復号装置の上記伝送エラー復号反映手段は、符号デ
   ータに対する符号化単位毎のエラー含有情報を取り込む
   エラー含有情報入力手段と、少なくともエラー含有情報
   の指示内容に応じて、符号化単位毎の符号データに対す
   る所定処理を実行させるエラー含有情報利用手段とを備
   えることを特徴とする請求項１に記載の符号化情報受信
   復号装置。
3. 【請求項３】 上記エラー含有情報利用手段は、エラー
   含有情報がエラーを指示しているか否かによって、エラ
   ー処理を切り替えることを特徴とする請求項２に記載の
   符号化情報受信復号装置。
4. 【請求項４】 上記エラー含有情報利用手段は、エラー
   を含む符号化単位だけを復号異常検出処理の対象とさせ
   ることを特徴とする請求項３に記載の符号化情報受信復
   号装置。
5. 【請求項５】 上記エラー含有情報利用手段は、少なく
   ともエラー含有情報を利用して、復号異常の検出漏れを
   判定する復号異常検出漏れ判定部と、検出漏れと判定さ
   れた符号化単位に対してエラー隠蔽処理を施す復号異常
   隠蔽部とを有することを特徴とする請求項２に記載の符
   号化情報受信復号装置。
6. 【請求項６】 上記復号異常検出漏れ判定部は、エラー
   を含む符号化単位だけを、復号異常の検出漏れの判定対
   象とすることを特徴とする請求項５に記載の符号化情報
   受信復号装置。
7. 【請求項７】 上記復号異常検出漏れ判定部は、最後ま
   で復号異常が検出されずに復号された符号化単位だけ
   を、復号異常の検出漏れの判定対象とすることを特徴と
   する請求項５又は６に記載の符号化情報受信復号装置。
8. 【請求項８】 上記エラー含有情報利用手段は、複数の
   符号化単位において重複して挿入されている２重化情報
   の復号結果の一致、不一致、及び、エラー含有情報に基
   づいて、エラーを含まない符号化単位の２重化情報につ
   いての復号結果を認識し、１又は複数の符号化単位の全
   体復号で適用する２重化情報の復号結果を調整する２重
   化情報調整部を有することを特徴とする請求項２に記載
   の符号化情報受信復号装置。
9. 【請求項９】 上記２重化情報調整部は、復号を既に終
   了した過去の符号化単位の２重化情報の復号結果を調整
   により修正した場合に、該符号化単位に戻って再度全体
   に対する復号を実行させ、その後、現符号化単位に対す
   る復号を実行させることを特徴とする請求項８に記載の
   符号化情報受信復号装置。
10. 【請求項１０】 上記２重化情報調整部は、現符号化単
    位がエラーを含む場合、エラーを含まない時間的に新し
    い符号化単位の２重化情報の復号結果を利用して現符号
    化単位の２重化情報を修正して、現符号化単位に対する
    全体復号を実行させること特徴とする請求項８に記載の
    符号化情報受信復号装置。
11. 【請求項１１】 上記エラー含有情報利用手段は、連続
    する符号化単位間で復号結果の位置を比較し、エラーを
    含まない符号化単位の復号位置に合せてエラーを含む符
    号化単位の復号位置を修正する復号位置修正部を有する
    ことを特徴とする請求項２に記載の符号化情報受信復号
    装置。
12. 【請求項１２】 上記エラー含有情報利用手段は、上記
    復号位置修正部が復号を既に終了した符号化単位の復号
    位置を修正した場合に、該符号化単位に戻って再度エラ
    ー隠蔽処理を施す再エラー隠蔽部を有することを特徴と
    する請求項１１に記載の符号化情報受信復号装置。
13. 【請求項１３】 符号化方式として参照情報を利用する
    予測符号化方式を適用している請求項２に記載の符号化
    情報受信復号装置において、 上記エラー含有情報利用手段は、エラーを含まない符号
    化単位の復号結果のみを参照情報として記憶する参照情
    報記憶部を有することを特徴とする符号化情報受信復号
    装置。
14. 【請求項１４】 上記受信装置は、再送機能を実行する
    と共に、当初及び再送による同一符号化単位の全ての符
    号データを上記復号装置に出力させる再送手段を備え、 上記復号装置は、同一符号化単位に対して再送された複
    数の符号データを取り込む符号データ重複入力手段を備
    えると共に、 上記復号装置の上記エラー含有情報利用手段は、エラー
    含有情報に応じ、再送による複数の符号データに対する
    複数の復号結果から、出力する復号結果を形成する複数
    復号結果調整部を有することを特徴とする請求項２に記
    載の符号化情報受信復号装置。
15. 【請求項１５】 上記複数復号結果調整部は、再送に係
    る複数の符号データに対する複数の復号結果のうち、再
    送符号化単位に近い位置の符号化単位の復号結果との相
    違が少ない復号結果を出力する復号結果とすることを特
    徴とする請求項１４に記載の符号化情報受信復号装置。
16. 【請求項１６】 上記復号装置の上記復号手段は、再送
    による複数の符号データを復号する場合において、複数
    の符号データの差異を抽出し、差異のある部分だけを復
    号することを特徴とする請求項１４又は請求項１５に記
    載の符号化情報受信復号装置。
17. 【請求項１７】 上記複数復号結果調整部は、再送によ
    る複数の符号データで差異のない部分にはエラーが含ま
    れないと判断することを特徴とする請求項１４〜１６の
    いずれかに記載の符号化情報受信復号装置。
18. 【請求項１８】 上記復号装置の上記伝送エラー復号反
    映手段は、エラーを含まない符号化単位の符号データだ
    けを上記復号手段による復号対象とさせ、上記復号手段
    は、復号異常検出処理を伴わない復号処理を行うことを
    特徴とする請求項１に記載の符号化情報受信復号装置。
19. 【請求項１９】 上記受信装置は、パケットロスを検出
    した場合には符号化単位毎に空のデータを出力する空デ
    ータ出力手段を備え、 上記復号装置は、パケットロス検出時の空のデータを受
    信する空データ受信手段を備え、上記復号装置の上記伝
    送エラー復号反映手段は、空のデータの符号化単位にも
    エラー処理の対象とさせることを特徴とする請求項１に
    記載の符号化情報受信復号装置。
20. 【請求項２０】 上記受信装置は、符号化単位毎の通し
    番号を出力する通し番号出力手段を備え、 上記復号装置は、符号化単位毎の通し番号を受信する通
    し番号受信手段を備え、上記復号装置の上記伝送エラー
    復号反映手段は、符号化単位毎の通し番号をも利用し
    て、上記受信装置の上記エラー検出手段の検出結果を、
    当該復号装置から出力される復号結果に反映させること
    を特徴とする請求項１に記載の符号化情報受信復号装
    置。
21. 【請求項２１】 画像フレームの部分領域を符号化単位
    としている請求項２の符号化情報受信復号装置におい
    て、 上記受信装置は、パケットロスを検出した場合には符号
    化単位毎に空のデータを出力する空データ出力手段を備
    え、 上記復号装置は、パケットロス検出時の空のデータを受
    信する空データ受信手段をさらに備え、 上記復号装置の上記エラー含有情報利用手段は、エラー
    含有情報の数とフレーム当たりの符号化単位数を比較す
    ることで該符号化単位が属する画像フレームを判定する
    画像フレーム判定部を有することを特徴とする符号化情
    報受信復号装置。
22. 【請求項２２】 画像フレームの部分領域を符号化単位
    としている請求項２の符号化情報受信復号装置におい
    て、 上記受信装置は、符号化単位毎の通し番号を出力する通
    し番号出力手段を備え、 上記復号装置は、符号化単位毎の通し番号を受信する通
    し番号受信手段をさらに備え、 上記復号装置の上記エラー含有情報利用手段は、通し番
    号とフレーム当たりの符号化単位数を比較することで該
    符号化単位が属する画像フレームを判定する画像フレー
    ム判定部を有することを特徴とする符号化情報受信復号
    装置。