JP2003032686A - 復号装置、復号方法およびその方法をコンピュータに実行させるプログラム - Google Patents

Abstract

(57)【要約】 【課題】 正常に復号されたマクロブロックの画像デー
タとエラーに起因して正常に復号されなかったマクロブ
ロックの画像データとを円滑にかみ合わせて、動画像間
の連続性を十分に維持することを課題とする。 【解決手段】 エラーに起因して正常に復号されなかっ
たマクロブロックの画像データがビデオバッファ１９ａ
において記憶される領域を示すエラー情報を記憶するエ
ラーバッファ１９ｂと、ビデオバッファ１９ａに記憶さ
れた画像データのうち、エラーバッファ１９ｂにより記
憶されたエラー情報に対応するマクロブロックを含んだ
所定の領域の画像データを平滑化するフィルタ２１とを
備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、画像をマクロブ
ロック単位に分割して各マクロブロックの画像データを
符号化した符号化ストリームを受け入れて、各マクロブ
ロックごとに復号した画像データをビデオバッファの対
応する領域に記憶して出力するとともに、エラーを含ん
だマクロブロックについては画像データを修復しつつ復
号する復号装置、復号方法およびその方法をコンピュー
タに実行させるプログラムに関し、特に、動画像間の連
続性を十分に維持することができる復号装置、復号方法
およびプログラムに関する。

【０００２】

【従来の技術】従来より、ＭＰＥＧ（エムペグ：Moving
Picture Experts Group）と呼ばれる圧縮符号化方式に
より動画像を符号化して得られた符号化ストリームを復
号する復号装置がある。すなわち、画像をマクロブロッ
ク単位に分割して、各マクロブロックの画像データを可
変長符号化するとともに画像間で動き補償予測をおこな
って形成される符号化ストリームを受け入れて、各マク
ロブロックごとに可変長復号や動き補償をおこなって画
像データを復号し、復号した各マクロブロックの画像デ
ータをビデオバッファの対応する領域に記憶した後にビ
デオ信号として出力する復号装置である。

【０００３】ところで、かかる復号装置においては、復
号された画像データを用いて動き補償をおこなって画像
データを復号するため、仮にマクロブロックにエラーが
含まれる場合には、このエラーを含んだマクロブロック
が表示されると画像が劣化してしまう。さらに、このエ
ラーを含んだマクロブロックが参照されて動き補償がお
こなわれてしまうこととなるが、このような動き補償が
おこなわれると、エラーが時間方向に伝搬して極端に画
像が劣化するおそれがある。そこで、復号装置において
は、エラーによる画像劣化を軽減するために、エラーに
対する各種処理が一般的に施されている。

【０００４】かかるマクロブロックのエラーに対する処
理としては、エラーを含んだ画面をスキップしながらビ
デオ信号を出力するという処理があるが、エラーが多い
場合には、多くの画像がスキップされてしまうため、動
画像間の連続性を維持することが困難である。

【０００５】このようなことから、最近では、エラーを
含んだマクロブロックの真上または左に位置するマクロ
ブロックの予測ベクトルを用いて参照されるマクロブロ
ックの画像データをはめ込むことによって、エラーを含
んだマクロブロックの画像データを修復するという処理
が一般的におこなわれている。

【０００６】

【発明が解決しようとする課題】しかしながら、上記の
従来技術は、正常に復号されたマクロブロックの画像デ
ータとエラーに起因して正常に復号されなかったマクロ
ブロックの画像データとのかみ合わせが円滑ではなく、
動画像間の連続性を維持するには不十分であるという問
題点があった。

【０００７】すなわち、上記の従来技術においては、エ
ラーを含んだマクロブロックの真上または左に位置する
マクロブロックの予測ベクトルを用いて参照されるマク
ロブロックの画像データをはめ込むことにより画像デー
タを修復するものであるため、エラーを含んだマクロブ
ロックに対応する領域の画像データが他の領域の画像デ
ータと円滑にかみ合わず、ビデオバッファから画像デー
タを出力した場合に、画像の一部が大きくずれて見苦し
い画像になるおそれがある。

【０００８】このような画像の一部が大きくずれて見苦
しい画像が続いた場合には、動画像間の連続性が十分に
維持されなくなってしまうという問題点がある。特に、
エラーを含んだマクロブロックの画像データが他の領域
の画像データと円滑にかみ合わない状態で修復され、こ
の修復されたマクロブロックが参照されて動き補償がお
こなわれた場合には、画像の一部が大きくずれて見苦し
い画像が大量に発生してしまい、動画像間の連続性の維
持は困難である。

【０００９】そこで、この発明は、上述した従来技術に
よる問題点を解消するためになされたものであり、正常
に復号されたマクロブロックの画像データとエラーに起
因して正常に復号されなかったマクロブロックの画像デ
ータとを円滑にかみ合わせて、動画像間の連続性を十分
に維持することができる復号装置、復号方法およびその
方法をコンピュータに実行させるプログラムを提供する
ことを目的とする。

【００１０】

【課題を解決するための手段】上述した課題を解決し、
目的を達成するため、請求項１の発明に係る復号装置
は、画像をマクロブロック単位に分割して各マクロブロ
ックの画像データを符号化した符号化ストリームを受け
入れて、各マクロブロックごとに復号した画像データを
ビデオバッファの対応する領域に記憶して出力するとと
もに、エラーを含んだマクロブロックについては画像デ
ータを修復しつつ復号する復号装置であって、前記エラ
ーに起因して正常に復号されなかったマクロブロックの
画像データが前記ビデオバッファにおいて記憶される領
域を示すエラー情報を記憶する記憶手段と、前記ビデオ
バッファに記憶された画像データのうち、前記記憶手段
により記憶されたエラー情報に対応するマクロブロック
を含んだ所定の領域の画像データを平滑化する平滑化手
段と、を備えたことを特徴とする。

【００１１】また、請求項２の発明に係る復号装置は、
請求項１に記載の発明において、前記記憶手段は、前記
画像データの修復がおこなわれたマクロブロックおよび
当該画像データの修復がおこなわれたマクロブロックを
参照して動き補償がおこなわれたマクロブロックについ
て、該マクロブロックの画像データが前記ビデオバッフ
ァにおいて記憶される領域を示すエラー情報を記憶する
ことを特徴とする。

【００１２】また、請求項３の発明に係る復号装置は、
請求項１または２に記載の発明において、各マクロブロ
ックを可変長復号する際に、エラーが含まれるか否かを
判定する第１の判定手段と、各マクロブロックを動き補
償する際に、前記第１の判定手段によりエラーが含まれ
るものと判定されたマクロブロックを参照するか否かを
判定する第２の判定手段とをさらに備え、前記記憶手段
は、前記第１の判定手段によりエラーが含まれるものと
判定されたマクロブロックおよび前記第２の判定手段に
よりエラーが含まれるものと判定されたマクロブロック
を参照するものと判定されたマクロブロックについて、
該マクロブロックの画像データが前記ビデオバッファに
おいて記憶される領域を示すエラー情報を記憶すること
を特徴とする。

【００１３】また、請求項４の発明に係る復号装置は、
請求項１、２または３に記載の発明において、前記平滑
化手段は、前記記憶手段により記憶されたエラー情報に
対応するマクロブロックの全領域および当該マクロブロ
ックに隣接するマクロブロックの一部領域の画像データ
を平滑化することを特徴とする。

【００１４】また、請求項５の発明に係る復号装置は、
請求項１〜４のいずれか一つに記載の発明において、前
記平滑化手段は、画像データにおける所定の高周波成分
を除去することを特徴とする。

【００１５】また、請求項６の発明に係る復号方法は、
画像をマクロブロック単位に分割して各マクロブロック
の画像データを符号化した符号化ストリームを受け入れ
て、各マクロブロックごとに復号した画像データをビデ
オバッファの対応する領域に記憶して出力するととも
に、エラーを含んだマクロブロックについては画像デー
タを修復しつつ復号する復号方法であって、前記エラー
に起因して正常に復号されなかったマクロブロックの画
像データが前記ビデオバッファにおいて記憶される領域
を示すエラー情報を記憶する記憶工程と、前記ビデオバ
ッファに記憶された画像データのうち、前記記憶工程に
より記憶されたエラー情報に対応するマクロブロックを
含んだ所定の領域の画像データを平滑化する平滑化工程
と、を含んだことを特徴とする。

【００１６】また、請求項７の発明に係るプログラム
は、画像をマクロブロック単位に分割して各マクロブロ
ックの画像データを符号化した符号化ストリームを受け
入れて、各マクロブロックごとに復号した画像データを
ビデオバッファの対応する領域に記憶して出力するとと
もに、エラーを含んだマクロブロックについては画像デ
ータを修復しつつ復号する復号方法をコンピュータに実
行させるプログラムであって、前記エラーに起因して正
常に復号されなかったマクロブロックの画像データが前
記ビデオバッファにおいて記憶される領域を示すエラー
情報を記憶する記憶工程と、前記ビデオバッファに記憶
された画像データのうち、前記記憶工程により記憶され
たエラー情報に対応するマクロブロックを含んだ所定の
領域の画像データを平滑化する平滑化工程と、をコンピ
ュータに実行させることを特徴とする。

【００１７】

【発明の実施の形態】以下に添付図面を参照して、この
発明に係る復号装置、復号方法、およびその方法をコン
ピュータに実行させるプログラムの好適な実施の形態を
詳細に説明する。なお、本実施の形態では、本発明をＭ
ＰＥＧ２方式により符号化されたＭＰＥＧ２ビットスト
リームという符号化ストリームを復号する復号装置に適
用した場合を説明するが、ＭＰＥＧ１やＭＰＥＧ４な
ど、あらゆる画像符号化方式により符号化された符号化
ストリームを復号する場合にも同様に適用することがで
きる。

【００１８】（ＭＰＥＧ２ビットストリームのデータ構
造）まず、本実施の形態に係る復号装置の復号対象であ
るＭＰＥＧ２ビットストリームのデータ構造について図
１〜図３を用いて説明する。図１は、ＭＰＥＧ２ビット
ストリームのデータ構造を説明するための図であり、図
２は、ＭＰＥＧ２ビットストリームと画面との対応関係
を説明するための図であり、図３は、ＭＰＥＧ２ビット
ストリームのスタートコードを説明するための図であ
る。

【００１９】ＭＰＥＧ２ビットストリームのデータは、
復号装置側で正しく受け取ることができるように、その
データ構造が細かく決められており、具体的には、図１
に示すように、シーケンス、ＧＯＰ（Group of Pictur
e）、ピクチャ、スライス、マクロブロック、ブロック
という階層構造を有する。

【００２０】このうち、シーケンスは、１つ以上のＧＯ
Ｐから構成され、一般に１つのビデオプログラム全体の
符号化信号に相当する。このシーケンスは、シーケンス
ヘッダで始まり、シーケンスエンドで終了するが、シー
ケンスヘッダには、画像の大きさを表す情報、１秒間に
符号化するフレームの数、通信速度など、シーケンス全
体に関連する情報が含まれる。また、シーケンスヘッダ
に続いて、ＭＰＥＧ２の符号化信号であることを表す機
能拡張情報が挿入され、入力画像信号形式などが指定さ
れる。

【００２１】ＧＯＰは、フレーム内符号化が可能なＩピ
クチャ、過去のフレームのみを用いて前方向の動き補償
をおこなうＰピクチャ、および過去と未来の両方のフレ
ームを用いて双方向の動き補償をおこなうＢピクチャの
うち、１つ以上のピクチャから構成される。なお、各Ｇ
ＯＰの最初のピクチャとしては、必ずＩピクチャが挿入
され、ＧＯＰヘッダには、画像復元時に音声などとの時
間合わせを可能とするためのタイムスタンプ情報などが
含まれる。

【００２２】ピクチャは、１つ以上のスライスから構成
され、図２に示すように、動画像信号を構成する１枚の
画面（ｍ画素×ｎライン）に相当する。このピクチャの
ピクチャヘッダには、Ｉ、Ｐ、Ｂピクチャを識別するた
めの情報や、各ピクチャの表示順序を指定する情報など
が含まれる。また、ピクチャヘッダに続く機能拡張情報
には、フレーム構造／フィールド構造の設定など、ＭＰ
ＥＧ２で導入されている機能を指定する情報が含まれ
る。

【００２３】スライスは、左から右への１つ以上のマク
ロブロックから構成され、スライス情報には、量子化特
性を表す情報など、このスライス内で使用される符号化
情報が含まれる。なお、マクロブロックの並びは、通信
回線でのエラーの影響が画面上で縦方向に及ばないよう
に、左から右へ延びるだけで、さらに上から下へ延びる
ことは許されていない。

【００２４】マクロブロックは、図２に示すように、
４：２：０のフォーマット時には、８×８のＹ信号ブロ
ック４個と、８×８のＣｒ信号ブロック１個と、８×８
のＣｂ信号ブロック１個とから構成される。なお、マク
ロブロック情報には、マクロブロック単位で符号化制御
をおこなうための情報などが含まれる。

【００２５】ブロックは、図２に示すように、４：２：
０のフォーマット時には、８×８のＹ信号、Ｃｒ信号、
Ｃｂ信号いずれかのＤＣＴ係数データから構成される。
なお、このＤＣＴ係数データは、連続する可変長の符号
化データとして構成されるが、各ブロックは、ＥＯＢ
（End of Block）コードで終了する。

【００２６】このように、ＭＰＥＧ２ビットストリーム
のデータは、６層からなる階層構造を有するが、シーケ
ンス、ＧＯＰ、ピクチャ、スライスの各層には、バイト
単位で配置（先頭から８の倍数のビット位置に配置）さ
れた３２ビットのスタートコードが挿入されている。す
なわち、図３に示すようなスタートコードが順に挿入さ
れる。

【００２７】このスタートコードのビットパターンは、
ＭＰＥＧ２ビットストリーム内では、スタートコード位
置以外の位置では決して発生しないものである。このた
め、ＭＰＥＧ２ビットストリームを受け取った復号装置
は、かかるスタートコードを検出しながら各層に対応し
た復号処理をおこなうことができる。

【００２８】なお、図２には、４：２：０のフォーマッ
ト時のデータ構成を示したが、本発明はこれに限定され
るものではなく、４：２：２などのフォーマット時にお
いても同様に適用することができる。

【００２９】（復号装置の構成）次に、本実施の形態に
係る復号装置の構成について説明する。図４は、本実施
の形態に係る復号装置の構成を示すブロック図である。
同図に示すように、本実施の形態に係る復号装置は、ス
トリーム入力部１０と、クロック発生部１１と、ストリ
ームバッファ制御部１２と、ストリームバッファ１３
と、スタートコード検出部１４と、エラー検出部１６を
含んだデコーダ１５と、エラー処理部１８を含んだ動き
補償部１７と、ビデオバッファ１９ａおよびエラーバッ
ファ１９ｂからなるバッファ１９と、フィルタ２１を含
んだ表示出力部２０とを備える。

【００３０】概略的に、本実施の形態に係る復号装置
は、画像をマクロブロック単位に分割して、各マクロブ
ロックの画像データを可変長符号化するとともに画像間
で動き補償予測をおこなって形成される符号化ストリー
ム（ＭＰＥＧ２ビットストリーム）を装置外部から受け
入れる。そして、各マクロブロックごとに可変長復号や
動き補償をおこなって画像データを復号し、復号した各
マクロブロックの画像データをビデオバッファ１９ａの
対応する領域に記憶した後に表示出力部２０の制御によ
りビデオ信号として装置外部に出力する。さらに、エラ
ーを含んだマクロブロックについては、デコーダ１５の
指示により動き補償部１７により画像データを修復しつ
つ復号する。

【００３１】ここで、本実施の形態に係る復号装置は、
表示出力部２０による処理に特徴があり、具体的には、
エラーに起因して正常に復号されなかったマクロブロッ
クの画像データがビデオバッファ１９ａにおいて記憶さ
れる領域を示すエラー情報をエラーバッファ１９ｂに記
憶し、表示出力部２０のフィルタ２１は、ビデオバッフ
ァ１９ａに記憶された画像データのうち、エラーバッフ
ァ１９ｂにより記憶されたエラー情報に対応するマクロ
ブロックを含んだ所定の領域の画像データを平滑化する
ことにより、動画像間の連続性を十分に維持することが
できるよう構成している。

【００３２】次に、図４に示した復号装置における各部
の処理を説明する。ストリーム入力部１０は、ＤＶＤな
どの記録媒体やインターネットなどのネットワークを介
して、装置外部から入力された符号化ストリーム（ＭＰ
ＥＧ２ビットストリーム）をストリームバッファ制御部
１２に供給する処理部である。

【００３３】ストリームバッファ制御部１２は、クロッ
ク発生部１１から供給される基本クロックにしたがっ
て、ストリーム入力部１０から入力された符号化ストリ
ームをストリームバッファ１３に供給する処理部であ
る。ストリームバッファ１３は、ストリームバッファ制
御部１２から入力された符号化ストリームを蓄積するＤ
ＲＡＭ（Dynamic Randam Access Memory）などのメモリ
であり、例えば、４：２：２Ｐ＠ＨＬの符号化ストリー
ムを復号化する場合には、かかる復号化に要求されるＶ
ＢＶバッファサイズである４７，１８５，９２０ビット
の容量を有する。

【００３４】ストリームバッファ１３に保存されている
符号化ストリームは、ストリームバッファ制御部１２の
制御によって、先に書き込まれたデータから順に読み出
されて、スタートコード検出部１４に供給される。スタ
ートコード検出部１４は、ストリームバッファ制御部１
２を介して入力された符号化ストリームから、図３に示
したスタートコードを検出し、検出したスタートコード
および入力された符号化ストリームをデコーダ１５に供
給する処理部である。

【００３５】デコーダ１５は、スタートコード検出部１
４から入力された符号化ストリームをＭＰＥＧシンタッ
クスに基づいてデコードする処理部である。具体的に
は、スタートコード検出部１４から入力されたスタート
コードに基づいてピクチャ層のヘッダパラメータをデコ
ードする。続いて、デコードされたヘッダパラメータに
基づいてスライス層をマクロブロックに分離し、各マク
ロブロックを可変長復号し、この結果得られる各マクロ
ブロックの予測ベクトルおよび画像データを動き補償部
１７に供給する。

【００３６】ここで、上記のデコーダ１５による可変長
復号処理に際して、エラー検出部１６は、各マクロブロ
ックにエラーが含まれるか否かを判定する。具体的に
は、予測ベクトルおよび画像データを正常に復号できな
かったマクロブロックについては、エラーが含まれるマ
クロブロックであるものと判定して、エラーを含んだマ
クロブロックである旨を示すエラー情報を動き補償部１
７に出力する。

【００３７】動き補償部１７は、デコーダ１５から入力
された各マクロブロックの画像データおよび予測ベクト
ルに基づいて動き補償をおこない、動き補償が施された
各マクロブロックの画像データをビデオバッファ１９ａ
の対応する領域に書き込む処理部である。

【００３８】具体的には、デコーダ１５から入力された
マクロブロックが動き補償を使用していない場合、入力
された画像データをバッファ１９のビデオバッファ１９
ａに書き込む。一方、デコーダ１５から入力されたマク
ロブロックが動き補償を使用している場合には、デコー
ダ１５から入力された予測ベクトルに対応するマクロブ
ロックの画像データをビデオバッファ１９ａから参照
し、参照した画像データとデコーダ１５から入力された
画像データに加算することにより動き補償をおこなって
画像データをビデオバッファ１９ａに書き込む。

【００３９】ここで、動き補償部１７による動き補償処
理に際して、エラー処理部１８は、デコーダ１５のエラ
ー検出部１６によりエラーが検出されたマクロブロック
の画像データを修復するとともに、エラーに起因して正
常に復号されなかったマクロブロックの画像データがビ
デオバッファ１９ａにおいて記憶される領域を示すエラ
ー情報をエラーバッファ１９ｂに出力する。

【００４０】具体的には、エラー処理部１８は、処理対
象となるマクロブロックが予測ベクトルおよび画像デー
タを正常に復号できなかったエラーブロックであるか否
かをデコーダ１５から入力されたエラー情報に基づいて
判定する。そして、エラーブロックであるものと判定し
た場合には、当該マクロブロックの真上または左に位置
するマクロブロックの予測ベクトルを用いて参照される
マクロブロックの画像データをはめ込むことによってエ
ラーブロックの画像データを修復する。さらに、この修
復されたマクロブロックの画像データがビデオバッファ
１９ａにおいて記憶される領域を示すエラー情報を生成
してエラーバッファ１９ｂに出力する。

【００４１】また、エラー処理部１８は、処理対象とな
るマクロブロックが動き補償を使用している場合には、
上記のように画像データの修復がおこなわれたマクロブ
ロック（エラーブロック）を参照して動き補償をおこな
うものであるか否かを判定する。そして、エラーブロッ
クを参照して動き補償がおこなうものと判定されたマク
ロブロックについても、当該マクロブロックの動き補償
後の画像データがビデオバッファ１９ａにおいて記憶さ
れる領域を示すエラー情報を生成してエラーバッファ１
９ｂに出力する。

【００４２】バッファ１９のビデオバッファ１９ａは、
動き補償部１７から入力された各マクロブロックの画像
データを各マクロブロックの画像位置に対応する領域に
記憶するメモリである。また、エラーバッファ１９ｂ
は、動き補償部１７から入力されたエラー情報、すなわ
ち、エラーに起因して正常に復号されなかったマクロブ
ロックの画像データがビデオバッファ１９ａにおいて記
憶される領域を示すエラー情報を記憶するメモリであ
る。

【００４３】表示出力部２０は、ビデオバッファ１９ａ
に記憶した画像データを出力するための同期タイミング
信号を発生し、この同期タイミング信号に基づいてビデ
オバッファ１９ａから画像データを読み出して復号ビデ
オ信号として出力する処理部である。

【００４４】ここで、表示出力部２０による復号ビデオ
信号の出力に際して、フィルタ２１は、ビデオバッファ
１９ａに記憶された画像データのうち、エラーバッファ
１９ｂに記憶されたエラー情報に対応するマクロブロッ
クを含んだ所定の領域の画像データを平滑化する処理を
おこなう。

【００４５】具体的には、ビデオバッファ１９から画像
データを出力する際に、エラーバッファ１９ｂのエラー
情報を参照し、エラーに起因して正常に復号されなかっ
たマクロブロックの画像データおよび当該マクロブロッ
クに隣接するマクロブロックの一部領域の画像データの
所定の高周波成分を除去することにより、画像データを
平滑化する。

【００４６】より詳細には、図７（ａ）に示すように、
動き補償部１７による動き補償がおこなわれた画像（ピ
クチャ）のブロックｆがエラーに起因して正常に復号さ
れなかったマクロブロックである場合には、同図（ｂ）
に示すように、ブロックｆの画像データおよびブロック
ｆに隣接する８個のマクロブロックの各隣接領域の画像
データに対して、所定の高周波成分を除去するフィルタ
リング処理を実行する。これにより、正常に復号された
隣接ブロックの画像データの劣化を最小限に押さえつ
つ、ブロックｆを含んだ所定の領域の画像データが程良
くぼかされて、ブロックｆの画像データと隣接ブロック
の画像データとが円滑にかみ合わされる。

【００４７】（動き補償部による処理）次に、図４に示
した動き補償部１７による処理手順について説明する。
図５は、図４に示した動き補償部１７による処理手順を
示すフローチャートである。同図に示すように、まず最
初に、動き補償部１７のエラー処理部１８は、処理対象
となるマクロブロックが予測ベクトルおよび画像データ
を正常に復号された正常ブロックであるか否かをデコー
ダ１５から入力されたエラー情報に基づいて判定する
（ステップＳ５０１）。

【００４８】この判定により、正常に復号された正常ブ
ロックではないと判定された場合、すなわちエラーブロ
ックであると判定された場合には（ステップＳ５０１否
定）、エラー処理部１８は、当該エラーブロックの真上
または左に位置するマクロブロックの予測ベクトル、ま
たはゼロベクトルなどの所定の予測ベクトルを用いて参
照されるマクロブロックの画像データをはめ込むことに
よってエラーブロックの画像データを修復し、動き補償
部１７は、修復した画像データをバッファ１９のビデオ
バッファ１９ａに書き込む（ステップＳ５０６）。

【００４９】そして、エラー処理部１８は、ステップＳ
５０６において修復されたエラーブロックの画像データ
がビデオバッファ１９ａにおいて記憶される領域を示す
エラー情報を生成してエラーバッファ１９ｂに出力する
（ステップＳ５０５）。

【００５０】これとは反対に、ステップＳ５０１におい
て、正常に復号された正常ブロックであるものと判定さ
れた場合には（ステップＳ５０１肯定）、動き補償部１
７は、当該マクロブロックが動き補償を使用しているか
否かを判定する（ステップＳ５０２）。この判定によ
り、動き補償を使用していないと判定された場合には
（ステップＳ５０２否定）、エラー処理部１８は処理を
終了し、動き補償部１７は、デコーダ１５から入力され
た画像データをバッファ１９のビデオバッファ１９ａに
書き込む。

【００５１】これとは反対に、ステップＳ５０２におい
て、動き補償を使用していると判定された場合には（ス
テップＳ５０２肯定）、動き補償部１７は、デコーダ１
５から入力された予測ベクトルに対応するマクロブロッ
クの画像データをビデオバッファ１９ａから参照し、参
照した画像データとデコーダ１５から入力された画像デ
ータに加算することにより動き補償をおこなって画像デ
ータをビデオバッファ１９ａに書き込む（ステップＳ５
０３）。

【００５２】続いて、エラー処理部１８は、ステップＳ
５０３において参照した画像データのマクロブロックが
エラーブロックであるか否かを判定する（ステップＳ５
０４）。この判定により、参照したブロックがエラーブ
ロックではないと判定された場合には（ステップＳ５０
４否定）、エラー処理部１８は処理を終了する。

【００５３】これとは反対に、ステップＳ５０４におい
て、参照したブロックがエラーブロックであると判定さ
れた場合には（ステップＳ５０４肯定）、エラー処理部
１８は、ステップＳ５０３において動き補償がされたマ
クロブロックの画像データがビデオバッファ１９ａにお
いて記憶される領域を示すエラー情報を生成してエラー
バッファ１９ｂに出力する（ステップＳ５０５）。

【００５４】上記した一連の処理を処理対象となる全て
のマクロブロックに対しておこなうことにより、ビデオ
バッファ１９ａには、各マクロブロックごとに復号され
た画像データや修復された画像データが対応する領域に
記憶される。また、エラーバッファ１９ｂには、エラー
に起因して正常に復号されなかったマクロブロック、す
なわち、画像データの修復がおこなわれたマクロブロッ
クおよび当該画像データの修復がおこなわれたマクロブ
ロックを参照して動き補償がおこなわれたマクロブロッ
クについて、当該マクロブロックの画像データがビデオ
バッファ１９ａにおいて記憶される領域を示すエラー情
報が記憶される。

【００５５】ここで、図４に示した動き補償部１７によ
る処理の具体例を上記したフローチャートに即して説明
する。図６は、図４に示した動き補償部１７による処理
の具体例を説明するための図である。

【００５６】同図に示すブロックａ〜ｅのマクロブロッ
クに対する処理を順に説明すると、まず、同図（ａ）に
示すブロックａは、正常に復号され、かつ、動き補償を
使用していないため、図５においては、「ステップＳ５
０１、ステップＳ５０２、エンド」の順で処理がおこな
われる。このため、図６（ｂ）に示すように、ブロック
ａについては、エラー情報の生成をおこなうことなく、
デコーダ１５から入力された画像データがビデオバッフ
ァ１９ａに書き込まれる。

【００５７】図６（ａ）に示すブロックｂおよびブロッ
クｃは、正常に復号され、かつ、動き補償を使用してい
るため、図５においては、「ステップＳ５０１、ステッ
プＳ５０２、ステップＳ５０３、ステップＳ５０４」の
順で処理がおこなわれる。ここで、ブロックｂの参照ブ
ロックがエラーブロックではないとすると、図５におい
ては、「エンド」に進むため、図６（ｂ）に示すよう
に、ブロックｂについては、エラー情報の生成をおこな
うことなく、動き補償がおこなわれた画像データがビデ
オバッファ１９ａに書き込まれる。

【００５８】一方、ブロックｃの参照ブロックがエラー
ブロックであるとすると、図５においては、「ステップ
Ｓ５０５」に進むため、図６（ｂ）に示すように、ブロ
ックｃについては、エラーブロックを参照して動き補償
がおこなわれた画像データ（エラー画像データ）がビデ
オバッファ１９ａに書き込まれ、さらに、この画像デー
タがビデオバッファ１９ａにおいて記憶される領域を示
すエラー情報が生成されてエラーバッファ１９ｂに出力
される。

【００５９】図６（ａ）に示すブロックｄおよびブロッ
クｅは、正常に復号されていないため、動き補償を使用
しているか否かとは無関係に、図５においては、「ステ
ップＳ５０１、ステップＳ５０６、ステップＳ５０５」
の順で処理がおこなわれる。このため、図６（ｂ）に示
すように、ブロックｄおよびブロックｅについては、各
ブロックの真上または左に位置するマクロブロックの予
測ベクトルを用いて参照されるマクロブロックの画像デ
ータ（エラー画像データ）がはめ込まれ、さらに、この
画像データがビデオバッファ１９ａにおいて記憶される
領域を示すエラー情報が生成されてエラーバッファ１９
ｂに出力される。

【００６０】なお、図６（ｂ）においては、ブロック
ｃ、ブロックｄおよびブロックｅがエラーバッファ１９
ｂに記憶されたエラー情報に対応するマクロブロックと
なるため、表示出力部２０のフィルタ２１は、ブロック
ｃ、ブロックｄおよびブロックｅに対して、図７（ｂ）
に示したようなフィルタリング処理を実行することとな
る。

【００６１】上述してきたように、本実施の形態によれ
ば、エラーに起因して正常に復号されなかったマクロブ
ロックの画像データがビデオバッファ１９ａにおいて記
憶される領域を示すエラー情報をエラーバッファ１９ｂ
に記憶し、表示出力部２０のフィルタ２１は、ビデオバ
ッファ１９ａに記憶された画像データのうち、エラーバ
ッファ１９ｂにより記憶されたエラー情報に対応するマ
クロブロックを含んだ所定の領域の画像データを平滑化
することとしたので、動画像間の連続性を十分に維持す
ることができる。

【００６２】すなわち、従来技術においては、正常に復
号されたマクロブロックの画像データとエラーに起因し
て正常に復号されなかったマクロブロックの画像データ
とのかみ合わせが円滑でなかったため、動画像間の連続
性を維持するには不十分であった。一方、本実施の形態
に係る復号装置によれば、エラーに起因して正常に復号
されなかったマクロブロックを含んだ所定の領域の画像
データを平滑化するところ、正常に復号されたマクロブ
ロックの画像データとエラーに起因して正常に復号され
なかったマクロブロックの画像データとを円滑にかみ合
わせることができ、もって動画像間の連続性を十分に維
持することができる。

【００６３】なお、本実施の形態では、フィルタ２１
が、エラーに起因して正常に復号されなかったマクロブ
ロックの全領域の画像データと当該マクロブロックに隣
接するマクロブロックの一部領域の画像データを平滑化
する場合を示したが、本発明はこれに限定されるもので
はなく、正常に復号されなかったマクロブロックの全領
域の画像データのみを平滑化する場合や、当該マクロブ
ロックに隣接するマクロブロックの全領域の画像データ
を平滑化する場合など、エラーに起因して正常に復号さ
れなかったマクロブロックを含んだ所定の領域の画像デ
ータを平滑化するあらゆる場合に同様に適用することが
できる。

【００６４】また、本実施の形態では、フィルタ２１
が、画像データにおける所定の高周波成分を除去する場
合を示したが、本発明はこれに限定されるものではな
く、局所平均フィルタ、局所加重平均フィルタ、メディ
アンフィルタなど、あらゆる平滑化手法を用いて画像デ
ータをぼかす場合に同様に適用することができる。

【００６５】また、本実施の形態では、フィルタ２１
が、ビデオバッファ１９ａから装置外部に画像データを
出力する際に画像データを平滑化する場合を示したが、
本発明はこれに限定されるものではなく、ビデオバッフ
ァ１９ａとは別のビデオバッファに出力する際に画像デ
ータを平滑化する場合にも同様に適用することができ
る。すなわち、この場合には、ビデオバッファ１９ａと
は別のビデオバッファに平滑化後の画像データが記憶さ
れた後に、この記憶された画像データが装置外部に出力
されることとなる。

【００６６】また、本実施の形態では、デコーダ１５に
より、符号化ストリームを逐次的に復号する場合を示し
たが、本発明はこれに限定されるものではなく、符号化
ストリームを所定単位ごとに複数の処理系（デコーダ）
に振り分けることにより、復号処理を並行しておこなう
場合にも同様に適用することができる。図８は、スライ
ス単位で並列的に復号する場合の復号装置の構成を示す
ブロック図である。

【００６７】同図に示す復号装置においては、スタート
コード検出部１４により、符号化ストリームを構成する
各スライスのスタートコードが検出され、スタートコー
ドバッファ２２には、この検出したスタートコードがス
トリームバッファ１３において書き込まれる位置をスタ
ートコード情報として記憶される。そして、ピクチャデ
コーダ２３およびスライスデコーダ制御部２４の制御に
より、スタートコードバッファ２２に書き込まれたスタ
ートコード情報を参照して、ストリームバッファ１３に
書き込まれた符号化ストリームをスライス単位ごとに各
スライスデコーダ２５〜２７に順次入力する。

【００６８】続いて、各スライスデコーダ２５〜２７
は、図４に示したデコーダ１５と同様、入力されたスラ
イスを順次デコードし、各マクロブロックの予測ベクト
ルおよび画像データを動き補償部１７に供給する。ま
た、各スライスデコーダ２５〜２７の各エラー検出部２
８〜３０も、図４に示したエラー検出部１６と同様の処
理をおこなう。このように符号化ストリームを所定単位
ごとに複数の処理系（デコーダ）に振り分けることによ
り、復号処理を高速におこないつつ、動画像間の連続性
を十分に維持することができる。

【００６９】また、本実施の形態では、バッファ１９お
よび表示出力部２０がＩＣ内部にある場合を示したが
（図４参照）、本発明はこれに限定されるものではな
く、バッファ１９および表示出力部２０の両方またはい
ずれか一方をＩＣ外部に別回路で構成する場合にも同様
に適用することができる。

【００７０】なお、本実施の形態で説明した復号方法
は、あらかじめ用意されたプログラムをパーソナル・コ
ンピュータやワークステーションなどのコンピュータで
実行することによって実現することができる。このプロ
グラムは、インターネットなどのネットワークを介して
配布することができる。また、このプログラムは、ハー
ドディスク、フロッピー（登録商標）ディスク、ＣＤ−
ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可
能な記録媒体に記録され、コンピュータによって記録媒
体から読み出されることによって実行することもでき
る。

【００７１】

【発明の効果】以上説明したように、請求項１の発明に
よれば、エラーに起因して正常に復号されなかったマク
ロブロックの画像データがビデオバッファにおいて記憶
される領域を示すエラー情報を記憶し、ビデオバッファ
に記憶された画像データのうち、エラー情報に対応する
マクロブロックを含んだ所定の領域の画像データを平滑
化することとしたので、正常に復号されたマクロブロッ
クの画像データとエラーに起因して正常に復号されなか
ったマクロブロックの画像データとを円滑にかみ合わせ
て、動画像間の連続性を十分に維持することが可能な復
号装置が得られるという効果を奏する。

【００７２】また、請求項２の発明によれば、画像デー
タの修復がおこなわれたマクロブロックおよび当該画像
データの修復がおこなわれたマクロブロックを参照して
動き補償がおこなわれたマクロブロックについて、該マ
クロブロックの画像データがビデオバッファにおいて記
憶される領域を示すエラー情報を記憶することとしたの
で、エラーを含んだマクロブロックだけでなく、このエ
ラーが伝搬するマクロブロックについても、エラーに起
因して正常に復号されなかったマクロブロックとして処
理することができ、もって動画像間の連続性を十分に維
持することが可能な復号装置が得られるという効果を奏
する。

【００７３】また、請求項３の発明によれば、各マクロ
ブロックを可変長復号する際に、エラーが含まれるか否
かを判定し、各マクロブロックを動き補償する際に、エ
ラーが含まれるものと判定されたマクロブロックを参照
するか否かを判定し、エラーが含まれるものと判定され
たマクロブロックおよび当該マクロブロックを参照する
ものと判定されたマクロブロックについて、該マクロブ
ロックの画像データがビデオバッファにおいて記憶され
る領域を示すエラー情報を記憶することとしたので、エ
ラーを含んだマクロブロックおよびこのエラーが伝搬す
るマクロブロックを確実に検出することができ、もって
動画像間の連続性を十分に維持することが可能な復号装
置が得られるという効果を奏する。

【００７４】また、請求項４の発明によれば、エラー情
報に対応するマクロブロックの全領域および当該マクロ
ブロックに隣接するマクロブロックの一部領域の画像デ
ータを平滑化することとしたので、正常に復号されたマ
クロブロックの画像データの劣化を最小限に押さえつ
つ、正常に復号されたマクロブロックとエラーに起因し
て正常に復号されなかったマクロブロックとを円滑にか
み合わせることが可能な復号装置が得られるという効果
を奏する。

【００７５】また、請求項５の発明によれば、画像デー
タにおける所定の高周波成分を除去することとしたの
で、エラーに起因して正常に復号されなかったマクロブ
ロックを含んだ所定の領域の画像データを程良くぼかす
ことが可能な復号装置が得られるという効果を奏する。

【００７６】また、請求項６の発明によれば、エラーに
起因して正常に復号されなかったマクロブロックの画像
データがビデオバッファにおいて記憶される領域を示す
エラー情報を記憶し、ビデオバッファに記憶された画像
データのうち、エラー情報に対応するマクロブロックを
含んだ所定の領域の画像データを平滑化することとした
ので、正常に復号されたマクロブロックの画像データと
エラーに起因して正常に復号されなかったマクロブロッ
クの画像データとを円滑にかみ合わせて、動画像間の連
続性を十分に維持することが可能な復号方法が得られる
という効果を奏する。

【００７７】また、請求項７の発明によれば、エラーに
起因して正常に復号されなかったマクロブロックの画像
データがビデオバッファにおいて記憶される領域を示す
エラー情報を記憶し、ビデオバッファに記憶された画像
データのうち、エラー情報に対応するマクロブロックを
含んだ所定の領域の画像データを平滑化することとした
ので、正常に復号されたマクロブロックの画像データと
エラーに起因して正常に復号されなかったマクロブロッ
クの画像データとを円滑にかみ合わせて、動画像間の連
続性を十分に維持することが可能なプログラムが得られ
るという効果を奏する。

【図面の簡単な説明】

【図１】ＭＰＥＧ２ビットストリームのデータ構造を説
明するための図である。

【図２】ＭＰＥＧ２ビットストリームと画面との対応関
係を説明するための図である。

【図３】ＭＰＥＧ２ビットストリームのスタートコード
を説明するための図である。

【図４】本実施の形態に係る復号装置の構成を示すブロ
ック図である。

【図５】図４に示した動き補償部による処理手順を示す
フローチャートである。

【図６】図４に示した動き補償部による処理の具体例を
説明するための図である。

【図７】図４に示した表示出力部による処理の具体例を
説明するための図である。

【図８】スライス単位で並列的に復号する場合の復号装
置の構成を示すブロック図である。

【符号の説明】

１０ ストリーム入力部 １１ クロック発生部 １２ ストリームバッファ制御部 １３ ストリームバッファ １４ スタートコード検出部 １５ デコーダ １６ エラー検出部 １７ 動き補償部 １８ エラー処理部 １９ バッファ １９ａ ビデオバッファ １９ｂ エラーバッファ ２０ 表示出力部 ２１ フィルタ

フロントページの続き Ｆターム(参考） 5C059 KK01 MA00 MA05 MA23 ME01 NN01 NN11 PP04 RF02 RF07 RF09 SS20 TA01 TB03 TC43 TD13 UA05 UA12 UA18 UA37 UA38 UA39 5J064 BA15 BB08 BC02 BC11 BC21 BD04

Claims (7)

【特許請求の範囲】
1. 【請求項１】 画像をマクロブロック単位に分割して各
   マクロブロックの画像データを符号化した符号化ストリ
   ームを受け入れて、各マクロブロックごとに復号した画
   像データをビデオバッファの対応する領域に記憶して出
   力するとともに、エラーを含んだマクロブロックについ
   ては画像データを修復しつつ復号する復号装置であっ
   て、 前記エラーに起因して正常に復号されなかったマクロブ
   ロックの画像データが前記ビデオバッファにおいて記憶
   される領域を示すエラー情報を記憶する記憶手段と、 前記ビデオバッファに記憶された画像データのうち、前
   記記憶手段により記憶されたエラー情報に対応するマク
   ロブロックを含んだ所定の領域の画像データを平滑化す
   る平滑化手段と、 を備えたことを特徴とする復号装置。
2. 【請求項２】 前記記憶手段は、前記画像データの修復
   がおこなわれたマクロブロックおよび当該画像データの
   修復がおこなわれたマクロブロックを参照して動き補償
   がおこなわれたマクロブロックについて、該マクロブロ
   ックの画像データが前記ビデオバッファにおいて記憶さ
   れる領域を示すエラー情報を記憶することを特徴とする
   請求項１に記載の復号装置。
3. 【請求項３】 各マクロブロックを可変長復号する際
   に、エラーが含まれるか否かを判定する第１の判定手段
   と、各マクロブロックを動き補償する際に、前記第１の
   判定手段によりエラーが含まれるものと判定されたマク
   ロブロックを参照するか否かを判定する第２の判定手段
   とをさらに備え、前記記憶手段は、前記第１の判定手段
   によりエラーが含まれるものと判定されたマクロブロッ
   クおよび前記第２の判定手段によりエラーが含まれるも
   のと判定されたマクロブロックを参照するものと判定さ
   れたマクロブロックについて、該マクロブロックの画像
   データが前記ビデオバッファにおいて記憶される領域を
   示すエラー情報を記憶することを特徴とする請求項１ま
   たは２に記載の復号装置。
4. 【請求項４】 前記平滑化手段は、前記記憶手段により
   記憶されたエラー情報に対応するマクロブロックの全領
   域および当該マクロブロックに隣接するマクロブロック
   の一部領域の画像データを平滑化することを特徴とする
   請求項１、２または３に記載の復号装置。
5. 【請求項５】 前記平滑化手段は、画像データにおける
   所定の高周波成分を除去することを特徴とする請求項１
   〜４のいずれか一つに記載の復号装置。
6. 【請求項６】 画像をマクロブロック単位に分割して各
   マクロブロックの画像データを符号化した符号化ストリ
   ームを受け入れて、各マクロブロックごとに復号した画
   像データをビデオバッファの対応する領域に記憶して出
   力するとともに、エラーを含んだマクロブロックについ
   ては画像データを修復しつつ復号する復号方法であっ
   て、 前記エラーに起因して正常に復号されなかったマクロブ
   ロックの画像データが前記ビデオバッファにおいて記憶
   される領域を示すエラー情報を記憶する記憶工程と、 前記ビデオバッファに記憶された画像データのうち、前
   記記憶工程により記憶されたエラー情報に対応するマク
   ロブロックを含んだ所定の領域の画像データを平滑化す
   る平滑化工程と、 を含んだことを特徴とする復号方法。
7. 【請求項７】 画像をマクロブロック単位に分割して各
   マクロブロックの画像データを符号化した符号化ストリ
   ームを受け入れて、各マクロブロックごとに復号した画
   像データをビデオバッファの対応する領域に記憶して出
   力するとともに、エラーを含んだマクロブロックについ
   ては画像データを修復しつつ復号する復号方法をコンピ
   ュータに実行させるプログラムであって、 前記エラーに起因して正常に復号されなかったマクロブ
   ロックの画像データが前記ビデオバッファにおいて記憶
   される領域を示すエラー情報を記憶する記憶工程と、 前記ビデオバッファに記憶された画像データのうち、前
   記記憶工程により記憶されたエラー情報に対応するマク
   ロブロックを含んだ所定の領域の画像データを平滑化す
   る平滑化工程と、 をコンピュータに実行させることを特徴とするプログラ
   ム。