JP2005051816A - 動画像復号化方法、動画像復号化装置、及びプログラム記録媒体 - Google Patents

Abstract

【課題】 復号画像データの修整処理による大きな画質劣化を招くことなく、該修復処理によりエラーに起因する画質劣化を排除して、復号画像の画質を向上する。
【解決手段】 入力ストリームをマクロブロック毎に復号化して復号画像データを生成する復号化器１と、入力ストリームの伝送エラーを検出する伝送エラー検出器３と、入力ストリームのストリームエラーを検出するストリームエラー検出器６とを備え、伝送エラーが検出されたとき、復号画像データをマクロブロック単位で修整し、ストリームエラーが検出されたとき、復号画像データをビデオパケット単位で修整するようにした。
【選択図】 図１

Description

本発明は、動画像復号化方法、動画像復号化装置、及びプログラムを記録した記録媒体に関し、特に、エラーを含むビットストリームの復号化により得られる復号画像データを、復号画像が視覚的に好ましい画像となるよう修整する処理に関するものである。

近年、音声，画像，その他の表現メディアを統合的に扱うマルチメディア時代を迎え、従来からの情報メディア，つまり新聞，雑誌，テレビ，ラジオ，電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式により表すことが必須条件となる。

ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の情報量（１文字当たり）は１〜２バイトであるのに対し、電話品質の音声については１秒当たり６４Ｋbits、さらに現行テレビ受信品質の動画については１秒当たり１００Ｍbits以上の情報量が必要となり、上記電話やテレビなどの情報メディアではディジタル形式の膨大な情報をそのまま扱うことは現実的ではない。例えば、テレビ電話は、６４kbps〜１．５Mbpsの伝送速度を持つサービス総合ディジタル網（ＩＳＤＮ:Integrated Services Digital Network）によってすでに実用化されているが、テレビカメラにより得られる映像情報をデジタルデータとしてそのままＩＳＤＮで送ることは不可能である。

そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）で国際標準化されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ−１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を格納することも可能となる。

ここで、ＭＰＥＧ（Moving Picture Experts Group)とは、動画データの圧縮処理に関する国際規格であり、ＭＰＥＧ−１は、動画データを１．５Ｍbpsまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ−１規格を対象とする伝送速度が主として約１．５Ｍbpsに制限されていることから、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ−２では、動画データが２〜１５Ｍbpsに圧縮される。

さらに現状では、ＭＰＥＧ−１，ＭＰＥＧ−２と動画データの圧縮処理の標準化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11) によって、物体単位での画像データの符号化及び画像データの操作を可能とし、マルチメディア時代に必要な新しい機能を実現するＭＰＥＧ−４が規格化されつつある。ＭＰＥＧ−４では、当初、低ビットレートの符号化処理の標準化を目指してきたが、現在では、標準化の対象が、インタレース画像に対応した高ビットレートのより汎用的な符号化処理に拡張されている。

ところで、ＭＰＥＧ−４の特徴の１つに、複数の画像系列（つまり複数の動画像）に対応する画像データを同時に符号化して伝送する仕組みがある。この仕組みは、複数の画像の合成によって１つのシーンを構成可能にするものである。なお、ここで、画像は、画像系列（動画像）の各画面の画像（静止画）であり、１シーンは、複数の画像を含む合成画像である。

例えば、ＭＰＥＧ−４では、１つのシーンを構成する前景と背景を別の画像系列の画像（物体）として分離し、各画像系列毎に独立してフレーム周波数，画質，ビットレートなどを変更することが可能である。また、ＭＰＥＧ−４では、複数の画像系列の画像をマルチ画面のように水平もしくは垂直方向に並べて、ユーザが所望の画像系列の画像のみを抽出したり拡大表示したりすることができる。

背景については、ＭＰＥＧ−２と同様に輝度及び色合いを示す画素値信号（テキスチャー信号）のみに対する符号化処理が一般的であるが、前景については、物体の輝度及び色合いを示す画素値信号のみでなく、物体の形状を示す形状信号も同時に符号化する処理が行われる。一般に、この前景に対する符号化処理は物体単位の符号化処理として知られている。

なお、このＭＰＥＧ−４では、表示される画像全体（合成画像）は、複数の画像系列の画像（物体）により構成されることから、各画像系列の、各表示時刻における画面をＶＯＰ(Video Object Plane)と呼び、ＭＰＥＧ−１，２におけるフレームと区別している。なお、表示画像の全体が1つの画像系列の画像により構成される場合には、ＶＯＰとフレームは一致することとなる。

図８はＭＰＥＧ−４における物体単位の符号化処理を説明するための模式図である。
ＭＰＥＧ−４にて規定されている画像信号は、物体（ＶＯＰ）の形状Ｓob（図８(a)）を表す形状信号と、物体（ＶＯＰ）の絵柄Ｔob（図８(b)）を表す、輝度信号と色差信号からなる画素値信号（テキスチャー信号）から構成されている。

上記物体単位の符号化処理では、物体の形と物体の位置を、画像表示のための基準の座標系に対して定める必要があり、このため、物体Ｏｂを包含する、複数のマクロブロックにより構成される矩形領域（バウンディングボックス）Ｂox（図８(c)）が上記基準座標系にて設定される。なお、マクロブロックは符号化処理の単位となる画像空間であり、１６×１６画素から構成されている。また、上記矩形領域Ｂoxは複数のマクロブロックにより構成されるため、該矩形領域の水平方向及び垂直方向の画素数は１６の倍数となっている。

そして、１つの画像系列の個々の矩形領域Ｂoxに対して、画像信号をマクロブロック毎に符号化する符号化処理が施される。
例えば、図８(c)では、上記矩形領域Ｂoxは５×４個のマクロブロックから構成されており、マクロブロックＭＢ１，ＭＢ２は物体Ｏｂの外側に位置する物体外マクロブロック、マクロブロックＭＢ３は物体Ｏｂの境界上に位置する境界マクロブロック、マクロブロックＭＢ１３は物体Ｏｂの内側に位置する物体内マクロブロックである。ＭＰＥＧ−４では物体外の画素は復号化後には表示されないため、復号化後に表示される物体内の画素を含むマクロブロック，つまり境界マクロブロック及び物体内マクロブロックに対してのみ符号化処理が行われる。

図９はＭＰＥＧ−４対応のビットストリームにおける種々の処理単位について説明するための模式図である。
なお、物体（ＶＯＰ）を含む矩形領域（バウンディングボックス）Ｂoxは、該物体と一対一に対応するため、以下の説明では、矩形領域（バウンディングボックス）Ｂoxと物体（ＶＯＰ）とを区別せずに、これらをＶＯＰとして説明する。

一般に、可変長符号により構成される符号列（ビットストリーム）では、その復号時のエラー伝播を阻止するため、特定のビットパターンにより構成される固定長符号が配置されている。ＭＰＥＧ−４ではこの固定長符号はResync Marker（以下単にマーカと略記する。）と呼ばれており、１つの同期信号となっている。そして、このマーカとこれに続く可変長符号により構成される符号列は、ビデオパケットと呼ばれる１つの符号化単位となっている。

ＭＰＥＧ−４では、図９(a)に示すように、１つのＶＯＰ１０に対応する符号列（ＶＯＰビットストリーム）Ｓvopは、複数のビデオパケットから構成可能であり、ここでは、ＶＯＰビットストリームＳvopは４つのビデオパケットＳvp１〜Ｓvp４から構成されている。ここで、各ビデオパケットＳvp１〜Ｓvp４には、ＶＯＰ１０における各領域Ｒvp１〜Ｒvp４に対応する符号化データが格納されている。また、上記各ビデオパケットＳvp１〜Ｓvp４には、複数のマクロブロックに対応する符号化データを格納可能である。

なお、ここでは上記ビデオパケットＳvp１に対応する領域Ｒvp１は、図９(b)に示すように５つのマクロブロックＭＢ１〜ＭＢ５から構成されており、他のビデオパケットＳvp２〜Ｓvp４に対応する領域Ｒvp２〜Ｒvp４も、上記ビデオパケットＳvp１に対応する領域Ｒvp１と同様、５つのマクロブロックから構成されている。また、上記各マクロブロックは、上述したように１６画素×１６画素からなる画像空間であり、４つのブロックから構成されている。各ブロックは８画素×８画素からなる画像空間である。例えば、マクロブロックＭＢ１は、図９(c)に示すように、ブロックＢ１〜Ｂ４からなり、また、ブロックＢ１は、図９(d)に示すように、８画素×８画素からなる。

また、１つのマクロブロックに対応する符号化データ（以下マクロブロック情報ともいう。）には、１つのマクロブロックを構成する４つのブロックに対応する輝度情報（Ｙ），及び１つのマクロブロックに対応する色差情報（Ｕ），（Ｖ）が含まれている。さらに、物体が形状を有する場合には、１つのマクロブロックに対応する符号化データには、上記輝度情報（Ｙ）及び色差情報（Ｕ），（Ｖ）とともに、１つのマクロブロックに対応する形状情報が含まれることとなる。

ここで、１つのマクロブロックの輝度情報（Ｙ）は、１つのマクロブロックを構成する４つのブロックの画素値信号を符号化してなるもの、１つのマクロブロックの色差情報（Ｕ）及び色差情報（Ｖ）はそれぞれ、１マクロブロックを構成する８×８画素の色差信号（Ｕ），（Ｖ）を符号化してなるもの、１つのマクロブロックの形状情報は、１マクロブロックを構成する１６×１６画素の形状信号を符号化してなるものである。

なお、上記ＶＯＰ１０におけるビデオパケット対応領域を構成するマクロブロックの数は、図９(a)に示すように一定である必要はなく、例えば、図９(e)に示すように、ＶＯＰビットストリームＳvopaにおける各ビデオパケットＳvp1a〜Ｓvp5aの符号量が一定となるよう、ＶＯＰ１０ａにおけるビデオパケット対応領域Ｒvp1a〜Ｒvp5aを構成するマクロブロックの数を決定してもよい。この場合は、各ビデオパケット対応領域Ｒvp1a〜Ｒvp5aに含まれるマクロブロックの数は一定にはならない。

図１０はＭＰＥＧ−４における物体単位の符号化処理を説明するための模式図であり、図８に示す形状を有する物体（ＶＯＰ）に対応する画像信号の符号化処理を示している。

ここで、物体ＯｂとしてのＶＯＰ１０（厳密には物体を含むＢＢＯＸ）は、それぞれ５つのマクロブロックからなる、４つのビデオパケット領域Ｒvp１〜Ｒvp４から構成されている。例えば、上記ビデオパケット領域Ｒvp１は、マクロブロックＭＢ１〜ＭＢ５により構成されている。

上記マクロブロックＭＢ１及びＭＢ２は物体外に位置しているから、これらのマクロブロックＭＢ１，ＭＢ２に対しては、形状信号の符号化処理として、該マクロブロックが物体外に位置していることを示す形状信号を符号化する処理が行われ、画素値信号の符号化処理は省略される。また、マクロブロックＭＢ３に対しては、このマクロブロックは物体内の画素を含むマクロブロックであるから、形状信号に対する符号化処理と画素値信号の符号化処理が行われる。

一般に、形状を有する前景としての物体には、背景としての物体とは異なり、時々刻々とその形や大きさが変化するものが多い。また、ＭＰＥＧ−４では、形状信号や画素値信号の符号化アルゴリズムが符号化処理の対象となる画像の形状に大きく依存する。例えば、物体が形状を有する場合、形状信号により物体外に位置することが示される部分（マクロブロック）については、画素値信号の符号化処理が省略されるため、１つの画像系列の１画面（ＶＯＰ）に対応する、画素値信号の符号化処理が施されたマクロブロックの数が変わる場合がある。このため、ＭＰＥＧ−４対応の復号化処理は、ＭＰＥＧ−２のように形や大きさが変化しない画像の符号化処理に対する復号化処理と比べて、ビットストリームの伝送誤りに弱く、さらに、この復号化処理では、画面間の相関を利用した画像修復や画像処理などの画像修整も困難である。この結果、ＭＰＥＧ−４対応の復号システムでは、伝送誤りが発生すると、復号画像における画質が大きく劣化することとなる。

図１１(a)ないし(c)は、ＭＰＥＧ−４対応のビットストリームの構成を詳しく説明するための模式図である。
ＶＯＰビットストリームＳvopは、図１０に示す、物体ＯｂとしてのＶＯＰ１０に対応する符号化データを含むものであり、このＶＯＰビットストリームＳvopの先頭には、ＶＯＰ全体に関連する重要なデータであるＶＯＰヘッダＳvophが配置され、該ＶＯＰヘッダＳvophに続いてビデオパケットＳvp１〜Ｓvp４が配置されている（図１１(a)参照)。

また、上記ビデオパケットＳvp１では、その先頭にビデオパケット全体に関連する重要なデータであるビデオパケットヘッダＳvphが配置され、該ビデオパケットヘッダＳvphに続いて、マクロブロックＭＢ１〜ＭＢ５に対応する符号化データ（マクロブロック情報）Ｓmb１〜Ｓmb５が配置されている（図１１(b)参照)。

さらに、上記マクロブロック情報Ｓmb１の先頭には、マクロブロック全体に関連する重要なデータであるマクロブロックヘッダＳmbhが配置されており、該マクロブロックヘッダＳmbhに続いて、対応するマクロブロックの形状情報Ｓsb、対応するマクロブロックを構成する４つのブロックの輝度情報Ｓpb１〜Ｓpb４、及び対応するマクロブロックの色差情報（Ｕ）Ｓpbu，色差情報（Ｖ）Ｓpbvが配置されている（図１１(c)参照)。

このようにＶＯＰビットストリームＳvopでは、符号化単位としてのマクロブロックに相当するマクロブロック情報が第１の処理単位となり、さらに複数のマクロブロック情報からなるビデオパケットが第２の処理単位となっており、ＶＯＰビットストリームは、これに含まれる符号化データが第１及び第２の処理単位により区分された２階層のデータ構造を有している。

ここで，上記ＶＯＰヘッダＳvoph及びビデオパケットヘッダＳvphにはビットストリームの復号化処理の同期をとるための同期信号が含まれている。このため、ビットストリームのエラービットによりビットストリームの復号化処理が中断した場合は、ＶＯＰヘッダＳvophもしくはビデオパケットヘッダＳvphから復号化処理を再開することができる。一方、マクロブロックヘッダＳmbhには復号化処理における同期をとるための同期信号は含まれていない。なお、ビデオパケットヘッダＳvphにおける同期信号は上記固定長符号（Resync Marker）である。

ところで、一般に、動画像復号化処理におけるビットストリームのエラーには、ストリームエラーと伝送エラーの２種類がある。
このストリームエラーは、ストリームに文法上正しくない符号が含まるエラー（シンタックスエラー）、使用可能な値の範囲を越えた不正な値の符号が含まれるエラー（セマンティックエラー）などである。また、伝送エラーは、記録媒体からビットストリームを読み出す際もしくは通信媒体を介してビットストリームを伝送する際にデータ欠落等によりビットストリームが破損するエラーである。

通常、各ＶＯＰに対応する符号化された画像データは、ヘッダ情報を有する伝送パケットに格納して伝送パケット単位でＶＯＰビットストリームとして伝送されるため、パケットの欠落等の伝送エラーが発生した場合には、受信側では、ビットストリームにおける伝送パケットの欠落位置が検出可能である。このため、伝送エラーについては、ビットストリームにおける復号化処理が破綻した位置（エラー発生位置）もほとんど特定することができる。

なお、復号化処理におけるエラー発生位置を特定するための具体的な方法として、ビットストリームにおけるパケットの欠落を検出して、ビットストリームの、パケットの欠落位置にパケット欠落を示すマーク（マーカ符号）を付加する方法が考えられる。

このような伝送エラーに対し、ストリームエラーは、例えば、可変長符号化の際に発生するシンタックスエラー等に起因するものであるため、可変長復号化処理等の復号化過程が破綻した時点で初めて復号エラーとして検出できるものである。言いかえると、ストリームエラーは、本質的に、ビットストリーム（符号化データ）の復号化過程が破綻しない限り、これを検出することはできないものである。

但し、１つのビデオパケットの先頭には同期信号が配置されており、またこのビデオパケット直後には、後続のビデオパケットの同期信号が配置されているため、これら２つの同期信号の間に位置するビットストリームの構造および内容を厳密に復号化過程で検査すれば、ビットストリームの復号化過程の破綻によらずに、ストリームエラーを含むビデオパケットのみを検出できる。このようにビットストリームの構造および内容を厳密に復号化過程で検査する場合、ビットストリームの復号化過程の破綻を検出する場合に比べて、ストリームエラーを検出できる可能性は非常に高くなる。

以下、従来の動画像復号化装置について具体的に説明する。
図１２は従来の一般的な動画像復号化装置を説明するためのブロック図である。
この動画像復号化装置１００は、記録媒体から読み出されたビットストリームあるいは伝送媒体を介して送信されてきたビットストリームを入力ストリームＶinとして受信し、該入力ストリームＶinに対する復号化処理を行うものである。ここで、上記ビットストリームは、動画像の画像信号に対して該動画像を構成する複数の画像系列毎に別々に符号化処理を施して得られる画像符号化データを含むものである。また、上記１つの画像系列の画像信号に対する符号化処理は、該画像系列の１画面（ＶＯＰ）毎に行われ、かつ各ＶＯＰに対応する画像信号は該ＶＯＰを構成するマクロブロックを単位として符号化される。また、形状を有しない物体の画像信号は輝度信号及び色差信号のみを含み、形状を有する物体の画像信号は、上記輝度情報及び色差情報とともに形状信号を含んでいることは言うまでもない。

なお、上記動画像に対応するビットストリームには、通常、各物体に対応する画像符号化データが多重化されて含まれているが、以下の説明では、該ビットストリームは、画像情報として１つの物体に対応する画像符号化データのみ含むものとする。

以下詳述すると、上記動画像復号化装置１００は、処理対象となる被処理ＶＯＰに対応する入力ストリームＶinの復号化処理を、復号化処理が完了した処理済ＶＯＰにおける参照領域の復号画像データ（参照画像データ）Ｖrefを参照してマクロブロック毎に行って、復号画像データＶｄを出力する復号化器１０１と、上記参照画像データＶrefを、被処理ＶＯＰにおける処理対象となるマクロブロック（対象マクロブロック）に対する復号化処理と同期させて出力するとともに、処理済ＶＯＰに対する相対位置が、被処理ＶＯＰに対する対象マクロブロックの相対位置と等しい処理済ＶＯＰのマクロブロックに対応する復号画像データ（置換画像データ）Ｖrepを上記対象マクロブロックに対する復号化処理と同期させて出力するメモリ１０２とを有している。

また、上記動画像復号化装置１００は、上記入力ストリームＶinに基づいて、該入力ストリームＶinのエラー及びその位置を検出してエラー通知信号Ｔerrを出力するエラー検出器１２０と、上記対象マクロブロックに対応する復号画像データＶｄと置換画像データＶrepの一方を、制御信号Ｃmbに基づいて選択し、選択された画像データ（ＭＢ選択画像データ）Ｅmbを対象マクロブロックの再生画像データＶoutとして出力する選択スイッチ１０５と、上記エラー通知信号Ｔerrに基づいて上記選択スイッチ１０５に対する制御信号Ｃmbを発生するマクロブロック単位修整器１０４とを有している。

ここで、上記エラー検出器１２０は、上記入力ストリームＶinのエラーの検出を、入力ストリームＶinのアナログ信号としてのレベルや入力ストリームに含まれる誤り訂正符号により行う構成となっている。従って、このエラー検出器１２０では、伝送エラーの検出が行われるようになっている。

また、上記マクロブロック単位修整器１０４は、上記エラー通知信号Ｔerrに基づいて、上記入力ストリームＶinのエラー部分を含むマクロブロック情報からその後の同期信号までの間のマクロブロック情報を復号化して得られる復号画像データＶｄに代えて、この復号画像データに対応する処理済ＶＯＰの復号画像データ（置換画像データ）Ｖrepが再生画像データＶoutとして出力されるよう、上記選択スイッチ１０５を制御する構成となっている。

次に動作について説明する。
記録媒体から読み出されたビットストリームあるいは伝送媒体を介して送信されてきたビットストリームが入力ストリームＶinとして、この動画像復号化装置１００に入力されると、この動画像復号化装置１００では、該入力ストリームに対する復号化処理がマクロブロックを単位として、各ＶＯＰ毎に行われる。なお、この動画像復号化装置１００では、復号化処理の際、上記復号化器１０１，メモリ１０２，及びマクロブロック単位修整器１０４は、これらの間で、各マクロブロックに対する処理が同期して行われるよう、本装置１００の制御部（図示せず）により制御される。

すなわち、上記復号化器１０１では、被処理ＶＯＰにおける対象マクロブロックの符号化データに対して、該対象マクロブロックに対応する参照画像データＶrefを参照する復号化処理が施され、対象マクロブロックの復号画像データＶｄが出力される。なお、入力ストリームＶinにエラーが含まれている場合は、上記復号化器１０１からは、符号化データの復号化が可能なマクロブロックに対応する復号画像データＶｄのみが出力される。

またこのとき、メモリ１０２からは、対象マクロブロックに対応する参照画像データＶrefとともに、対象マクロブロックに対応する置換画像データＶrepが出力される。

また、エラー検出器１２０では、入力ストリームＶinに基づいて伝送エラーを検出するエラー検出処理が行われる。そして、入力ストリームのエラーが検出されたとき、該エラー検出器１２０からは、該入力ストリームのエラー部分の位置として、該エラー部分を含むマクロブロック情報を示すエラー通知信号Ｔerrがマクロブロック単位修整器１０４に出力される。

すると、マクロブロック単位修整器１０４では、エラー通知信号Ｔerrに基づいて、上記対象マクロブロックの復号画像データＶｄと該対象マクロブロックに対応する置換画像データＶrepの一方を選択する選択スイッチ１０５にその制御信号Ｃmbが出力される。つまり該選択スイッチ１０５は、上記エラー通知信号Ｔerrにより示されるマクロブロック情報からその後の同期信号までの間の各マクロブロック情報に対応するマクロブロックに対しては、復号化器１０１からの復号画像データＶｄに代えて、メモリ１０２からの置換画像データＶrepが選択され、その他のマクロブロックに対しては、復号化器１０１から出力される復号画像データＶｄが選択されるよう制御される。

そして、上記選択スイッチ１０５により選択された選択画像データＥmbが、被処理ＶＯＰの対象マクロブロックに対応する再生画像データＶoutとして出力される。また、上記選択画像データＥmbは、該被処理ＶＯＰの次のＶＯＰに対する参照画像データとして上記メモリ１０２に記録される。

このとき、エラーマクロブロック（マクロブロック情報がビットストリームのエラー部分を含むマクロブロック）の復号画像データだけでなく、ビデオパケット内の該エラーマクロブロック以降の全てのマクロブロックの復号画像データＶｄを、処理済ＶＯＰにおける対応するマクロブロックの復号画像データ（置換画像データ）Ｖrepと置き換えるようにしているのは、入力ストリームが、画像データの可変長符号化処理により得られたものであるためである。つまり、入力ストリームの可変長復号化処理では、入力ストリームにエラーが含まれる場合、エラーの影響が、入力ストリームにおけるエラー発生位置から同期信号までの間の全てのマクロブロック情報に対する復号化処理に及ぶためである。

図１３は従来のその他の動画像復号化装置を説明するためのブロック図である。
この動画像復号化装置１１０は、エラーを含む入力ストリームの復号化処理により得られる復号画像データを、上記動画像復号化装置１００のようにマクロブロック単位で修整するのではなく、ビデオパケット単位で修整するようにしたものである。

すなわち、この動画像復号化装置１１０は、図１２に示す動画像復号化装置１００と同様、被処理ＶＯＰに対応する入力ストリームＶinの復号化処理を参照画像データＶrefを参照して行って、各マクロブロックに対応する復号画像データＶｄを出力する復号化器１０１と、対象マクロブロックに対する参照画像データＶref及び置換画像データＶrepを、対象マクロブロックの復号化処理と同期させて出力するメモリ１０２とを有している。

そして、この動画像復号化装置１１０は、上記動画像復号化装置１００における選択スイッチ１０５に代えて、復号画像データＶｄを、処理対象となっているビデオパケットの復号化処理に要する時間だけ遅延する第１の遅延回路１０３と、メモリ１０２から各マクロブロックの復号化処理に同期して出力される置換画像データＶrepを、処理対象となっているビデオパケットの復号化処理に要する時間だけ遅延する第２の遅延回路１０４と、該第１の遅延回路１０３の出力（遅延復号データ）ＤＶｄ及び第２の遅延回路１０４の出力（遅延置換データ）ＤＶrepの一方を制御信号Ｃvpに基づいて選択する選択スイッチ１０８とを有している。

また、この動画像復号化装置１１０は、上記動画像復号化装置１００におけるエラー検出器１２０に代えて、復号化器１０１の内部信号Ｓｉに基づいて、該復号化器での正常な復号化処理が破綻したことを検出し、エラー検出を示すエラー通知信号Ｎerrを出力するエラー検出器１２１を有している。なお、このエラー検出器１２１は、正常な復号化処理の破綻を検出する処理に代えて、ビデオパケット内のビットストリームの構造及び内容を厳密に検査する処理によって、ビットストリームの異常を検出し、エラー検出を示すエラー通知信号Ｎerrを出力する構成としてもよい。

さらに、この動画像復号化装置１１０は、上記動画像復号化装置１００におけるマクロブロック単位修整器１０４に代えて、上記選択スイッチ１０８を、これが第１の遅延回路１０３からの遅延復号データＤＶｄと第２の遅延回路１０４からの遅延置換データＤＶrepの一方を各マクロブロック毎に選択するよう、エラー通知信号Ｎerrに基づいて制御するビデオパケット単位修整器１０７を備えている。

このビデオパケット単位修整器１０７は、具体的には、上記エラー通知信号Ｎerrに基づいて、上記復号化器１０１での復号化処理が破綻したビデオパケット（エラービデオパケット）に対応する遅延復号データＤＶｄに代えて、該エラービデオパケットに対応する処理済ＶＯＰのビデオパケットの遅延置換データＤＶrepが再生画像データＶoutとして出力されるよう、上記選択スイッチ１０８を制御する構成となっている。

なお、図１３に示す動画像復号化装置１１０における復号化器１０１及びメモリ１０２は、図１２に示す動画像復号化装置１００における復号化器１０１及びメモリ１０２と同一の構成となっている。

次に動作について説明する。
この動画像復号化装置１１０では、復号化器１０１における入力ストリームＶinの復号化処理、及びメモリ１０２からの参照画像データＶref，置換画像データＶrepの出力は、上記動画像復号化装置１００と同様に行われる。

そして、この動画像復号化装置１１０では、復号化器１０１からの復号画像データＶｄが第１の遅延回路１０３にて、復号化処理の対象となる対象ビデオパケットに対する復号化処理に要する時間だけ遅延され、またメモリ１０２からの置換画像データＶrepが第２の遅延回路１０４にて、上記対象ビデオパケットに対する復号化処理に要する時間だけ遅延される。

また、エラー検出器１２１では、復号化器１０１における内部信号Ｓｉに基づいて、入力ストリームに対する復号化処理の破綻を検出する処理が行われ、復号化処理の破綻が検出されたとき、該エラーの検出を示すエラー通知信号Ｎerrがビデオパケット単位修整器１０７に出力される。このビデオパケット単位修整器１０７では該エラー通知信号Ｎerrに応じて上記選択スイッチ１０８へ制御信号Ｃvpが出力される。該選択スイッチ１０８では、この制御信号Ｃvpに基づいて、上記第１の遅延回路１０３からの遅延復号データＤＶｄと第２の遅延回路１０４からの遅延置換データＤＶrepの一方が選択され、選択されたデータ（ＶＰ単位選択データ）Ｅvpが再生画像データＶoutとして出力される。

具体的には、上記選択スイッチ１０８は、エラーが検出されたビデオパケット（エラービデオパケット）に対応する遅延復号データＤＶｄに代えて、該エラービデオパケットに対応する処理済ＶＯＰのビデオパケットの遅延置換データＤＶrepが再生画像データＶoutとして出力されるよう、上記ビデオパケット単位修整器１０７により制御される。
そして、上記被処理ＶＯＰの再生画像データＶoutは、該被処理ＶＯＰの次のＶＯＰに対する参照画像データとして上記メモリ１０２に記録される。

このような構成の動画像復号化装置１１０では、復号化処理の破綻を検出し、復号化処理が破綻したビデオパケットの復号画像データＶｄを処理済ＶＯＰにおける対応するビデオパケットの復号画像データに置き換えるので、上記復号化処理が通常入力ストリームにエラーが含まれていれば破綻するものであることから、伝送エラーあるいはストリームエラーを含むビットストリームが入力されたときには、復号画像データの修整が行われることとなる。

ところが、上述した従来の動画像復号化装置、つまり復号画像データをマクロブロック単位で修整する従来の動画像復号化装置１００（図１２参照）、及び復号画像データをビデオパケット単位で修整する従来の画像復号化装置１１０（図１３参照）では、それぞれ以下のような問題があった。

すなわち、図１２に示す動画像復号化装置１００では、エラーを、入力ストリームのアナログ信号レベルや誤り訂正符号により検出し、復号画像データをマクロブロック単位で修整するので、復号画像データの修整をきめこまかく行うことができるが、入力ストリームのアナログ信号レベルや誤り訂正符号によってストリームエラーの検出を行うことはできず、このためストリームエラーに起因する復号画像の画質劣化を改善することができなかった。

また、図１３に示す動画像復号化装置１１０では、エラーを、復号化処理における破綻の発生により検出し、復号画像データをビデオパケット単位で修整するので、エラーマクロブロック以前の、エラー部分を含まない正常なマクロブロック情報に対応する復号画像データも、処理済ＶＯＰの復号画像データと置き換えられてしまうこととなる。このため、復号画像データの修整に起因する復号画像の画質劣化が顕著になり、伝送エラーやストリームエラーに対する復号画像の修整を効果的に行うことができないという問題点があった。

従って、従来は、用途に応じて、図１２に示すマクロブロック単位で復号画像の修整を行う動画像復号化装置と、図１３に示すビデオパケット単位で復号画像の修整を行う動画像復号化装置を使い分けるようにしていた。

また、上述した従来の動画像復号化装置はいずれも、復号画像の修整処理を、入力ストリームが形状情報を有する場合と、入力ストリームが形状情報を有しない場合とで区別せずに行う構成となっているため、入力ストリームが形状情報を有する場合には、画像修整を行っても良好な画質が得られないという問題点があった。

つまり、物体単位の符号化処理の対象となる物体は、その形状が時々刻々と大幅に変化する場合が多いものであるため、被処理ＶＯＰの一部の画像を、処理済ＶＯＰ内の画像を利用して修整すると、被処理ＶＯＰにおける修整された部分と、修整されていない部分との間で、該被処理ＶＯＰ内での形状の連続性が損われることが多い。このように形状の連続性が損なわれると、修整部分が目立つこととなって、大幅な画質劣化を招くこととなる。

本発明は、上記のような問題点を解消するためになされたものであり、入力ストリームの復号化処理により得られる復号画像における、伝送エラーやストリームエラーに起因する画質劣化を、復号画像の修整処理により効果的に改善することができる動画像復号化方法及び動画像復号化装置、並びに該動画像復号化方法をソフトウエアにより実現するための動画像復号化プログラムを記録した記録媒体を提供することを目的とする。

本発明に係る動画像復号化方法は、動画像に対応する画像データを該動画像の１画面を構成する単位領域毎に順次符号化してなる符号化データを含むビットストリームに対して、該符号化データを上記単位領域毎に復号化して復号画像データを生成する復号化処理を施す動画像復号化方法であって、上記ビットストリームのエラーを検出するエラー検出処理と、上記ビットストリームが、上記動画像の形状を示す形状情報を有するか否かを判定する形状有無判定処理と、上記ビットストリームのエラーが検出され、かつ上記ビットストリームが形状情報を有すると判定されたとき、上記復号画像データの修整を、上記動画像の１画面を修整単位として行い、上記ビットストリームのエラーが検出され、かつ上記ビットストリームが形状情報を有していないと判定されたとき、上記復号画像データの修整を、上記単位領域を１以上含む、上記画面より小さい処理領域を修整単位として行う修整処理とを含むものである。

本発明は、上記動画像復号化方法において、上記ビットストリームは、上記単位領域に対応する第１の処理単位を複数含む第２の処理単位毎に、上記符号化データにその復号時のエラー伝搬が阻止されるよう付与された同期信号を含むものとし、上記エラー検出処理は、上記ストリームの伝送時に発生した、その発生位置を特定可能な第１のエラーと、該第１のエラー以外の、その発生位置を特定不可能な第２のエラーとを区別して検出するものとし、上記修整処理は、上記形状情報を有していないストリームの第１のエラーが検出されたとき、上記復号画像データの修整を、上記第１の処理単位を修整単位として行い、上記形状情報を有していないストリームの第２のエラーが検出されたとき、上記復号画像データの修整を、上記第２の処理単位を修整単位として行うものとしたものである。

本発明に係る動画像復号化装置は、動画像に対応する画像データを該動画像の１画面を構成する単位領域毎に順次符号化してなる符号化データを含むビットストリームに対して復号化処理を施す動画像復号化装置であって、上記ビットストリームに含まれる符号化データを上記単位領域毎に復号化して復号画像データを生成する復号化器と、上記ビットストリームのエラーを検出するエラー検出部と、上記ビットストリームが、上記動画像の形状を示す形状情報を有するか否かを判定する形状有無判定部と、上記ビットストリームのエラーが検出され、かつ上記ビットストリームが形状情報を有すると判定されたとき、上記復号画像データの修整を、上記動画像の１画面を修整単位として行い、上記ビットストリームのエラーが検出され、かつ上記ビットストリームが形状情報を有していないと判定されたとき、上記復号画像データの修整を、上記単位領域を１つ以上含む、上記画面より小さい処理領域を修整単位として行う復号画像修整部とを備えたものである。

本発明は、上記動画像復号化装置において、上記ビットストリームは、上記単位領域に対応する第１の処理単位を複数含む第２の処理単位毎に、上記符号化データにその復号時のエラー伝搬が阻止されるよう付与された同期信号を含むものとし、上記エラー検出部は、上記ビットストリームの伝送時に発生した、その発生位置を特定可能な第１のエラーを検出する第１のエラー検出器と、該第１のエラー以外の、その発生位置を特定不可能な第２のエラーを検出する第２のエラー検出器とを有するものとし、上記復号画像修整部は、上記形状情報を有していないストリームの第１のエラーが検出されたとき、上記復号画像データの修整を、上記第１の処理単位を修整単位として行う第１の修整器と、上記形状情報を有していないストリームの第２のエラーが検出されたとき、上記復号画像データの修整を、上記第２の処理単位を修整単位として行う第２の修整器と、上記形状情報を有するビットストリームの第１のエラーあるいは第２のエラーが検出されたとき、上記復号画像データの修整を、上記動画像の１画面を修整単位として行う第３の修整器とを有するものとしたものである。

本発明に係るプログラム記録媒体は、動画像に対応する画像データを該動画像の１画面を構成する単位領域毎に順次符号化してなる符号化データを含むビットストリームに対するデータ処理をコンピュータにより行うためのプログラムを格納したプログラム記録媒体であって、上記データ処理は、上記ビットストリームに含まれる符号化データを上記単位領域毎に復号化して復号画像データを生成する復号化処理と、上記ビットストリームに含まれるエラーを検出するエラー検出処理と、上記ビットストリームが、上記動画像の形状を示す形状情報を有するか否かを判定する形状有無判定処理と、上記ビットストリームのエラーが検出され、かつ上記ビットストリームが形状情報を有すると判定されたとき、上記復号画像データの修整を、上記動画像の１画面を修整単位として行い、上記ビットストリームのエラーが検出され、かつ上記ビットストリームが形状情報を有していないと判定されたとき、上記復号画像データの修整を、上記単位領域を１つ以上含む、上記画面より小さい処理領域を修整単位として行う修整処理とを含むものである。

本発明に係る動画像復号化方法によれば、動画像に対応する符号化データを含むビットストリームに対する復号化処理を行う際、上記ビットストリームの伝送時に発生した第１のエラーと、該第１のエラー以外の第２のエラーとを区別して検出し、上記第１のエラーが検出されたとき、上記復号化処理により得られた復号画像データを、符号化処理単位である第１の処理単位で修整し、上記第２のエラーが検出されたとき、上記復号画像データを、１つの同期信号が付与された、上記第１の処理単位を複数含む第２の処理単位で修整するので、伝送エラーとストリームエラーのいずれのエラーに対しても復号画像データの修整を行うことが可能となる。

また、伝送エラーが発生した場合には、伝送エラーの影響を受ける第１の処理単位に対応する復号画像データのみが修整されることとなり、伝送エラーの影響を受けていない第１の処理単位に対応する復号画像データを修整することによる復号画像の画質劣化を回避できる。また、伝送エラー以外のストリームエラーが発生した場合には、１つの同期信号が付与された第２の処理単位に対応する復号画像データが修整されることとなり、ストリームエラーの影響を受けている第１の処理単位に対応する復号画像データが出力されることによる復号画像の画質劣化を防止することができる。

この結果、入力ビットストリームのエラーを検出した場合には、復号画像データの修整処理を効果的に行って復号画像の画質劣化を大きく低減することができる効果が得られる。

この発明に係る動画像復号化方法によれば、動画像に対応する符号化データを含むビットストリームに対する復号化処理を行う際、上記ビットストリームのエラーを検出するとともに、上記ビットストリームが、上記動画像の形状を示す形状情報を有するか否かを判定し、上記エラーが検出され、かつ上記ビットストリームが形状情報を有していないと判定されたとき、上記復号画像データの修整を、符号化処理の単位領域を修整単位として行い、上記エラーが検出され、かつ上記ストリームが形状情報を有するとき、上記復号画像データの修整を、上記動画像を構成する画面を修整単位として行うので、上記ビットストリームが形状情報を含む場合には、復号画像の修整処理による大きな画質劣化を招くことなく、エラーに起因する画質劣化を排除することができ、しかも、上記ストリームが形状情報を含まない場合には簡単な修整処理によりエラーに起因する画質劣化を排除することができる。

この発明によれば、上記動画像復号化方法において、上記ビットストリームの伝送時に発生した第１のエラーと、該第１の伝送エラー以外の第２のエラーとを区別して検出し、上記形状情報を有していないビットストリームの第１のエラーが検出されたとき、上記復号画像データを、符号化処理の単位領域に対応する第１の処理単位で修整し、上記形状情報を有していないビットストリームの第２のエラーが検出されたとき、上記復号画像データを、１つの同期信号が付与された、上記第１の処理単位を複数含む第２の処理単位で修整するので、形状情報を有するストリームの復号化処理により得られる復号画像における、伝送エラーあるいはストリームエラーに起因する画質劣化を、復号画像データの修整に伴う画質劣化を抑えつつ排除することができる効果に加えて、ビットストリームが形状情報を有しない場合には、エラーに対する復号画像データの修整処理を、エラーの種類に応じて効果的に行って、復号画像の画質を向上することができる効果が得られる。

この発明に係る動画像復号化装置によれば、動画像に対応する符号化データと、同期信号とを含むビットストリームに対する復号化処理により復号画像データを生成する復号化器と、上記ビットストリームの伝送時に発生した第１のエラーを検出する第１のエラー検出器と、上記第１の伝送エラー以外の第２のエラーを検出する第２のエラー検出器とを備え、上記第１のエラーが検出されたとき、上記復号画像データを、符号化処理の単位である第１の処理単位で修整し、上記第２のエラーが検出されたとき、上記復号画像データを、１つの同期信号が付与された、上記第１の処理単位を複数含む第２の処理単位で修整するので、上記の動画像復号化方法と同様、エラーが伝送エラーであるかストリームエラーであるかに応じて、復号画像データの修整を適切な処理単位で行うことが可能となり、入力ビットストリームのエラーを検出したときには復号画像データの修整処理を効果的に行って復号画像の画質劣化を大きく低減することができる効果が得られる。

この発明に係る動画像復号化装置によれば、動画像に対応する符号化データと、同期信号とを含むビットストリームに対する復号化処理により復号画像データを生成する復号化器と、上記ビットストリームに含まれるエラーを検出するエラー検出部と、上記ビットストリームが、上記動画像の形状を示す形状情報を有するか否かを判定する形状有無判定部とを備え、上記ビットストリームのエラーが検出され、かつ上記ビットストリームが形状情報を有すると判定されたとき、上記復号画像データの修整を、上記動画像を構成する画面を修整単位として行い、上記ビットストリームのエラーが検出され、かつ上記ビットストリームが形状情報を有していないと判定されたとき、上記復号画像データの修整を、符号化処理の単位領域を１つ以上含む処理領域を修整単位として行うようにしたので、上記の動画像復号化方法と同様、上記ストリームが形状情報を含む場合には、復号画像の修整処理による大きな画質劣化を招くことなく、エラーに起因する画質劣化を排除することができ、しかも、上記ストリームが形状情報を含まない場合には簡単な修整処理によりエラーに起因する画質劣化を排除することができる。

この発明によれば、上記動画像復号化装置において、上記エラー検出部では、上記ビットストリームの伝送時に発生した第１のエラーと、該第１のエラー以外の第２のエラーとを区別して検出し、上記復号画像修整部では、上記第１のエラーが検出され、かつ上記ビットストリームが形状情報を有していないと判定されたとき、上記復号画像データを、符号化処理の単位領域に対応する第１の処理単位で修整し、上記第２のエラーが検出され、かつ上記ビットストリームが形状情報を有していないと判定されたとき、上記復号画像データを、１つの同期信号が付与された、上記第１の処理単位を複数含む第２の処理単位で修整するので、上記の動画像復号化方法と同様、形状を有する復号画像における、伝送エラーあるいはストリームエラーに起因する画質劣化を、復号画像データの修整に伴う画質劣化を抑えつつ排除することができる効果に加えて、ビットストリームが形状情報を有しない場合には、エラーに対する復号画像データの修整処理を、エラーの種類に応じて効果的に行って、復号画像の画質を向上することができる効果が得られる。

この発明に係るプログラム記録媒体によれば、動画像に対応する符号化データと、同期信号とを含むビットストリームに対する処理をコンピュータにより行うためのプログラムとして、上記ビットストリームの復号化処理の際、上記ビットストリームの伝送時に発生した第１のエラーと、該第１のエラー以外の第２のエラーとを区別して検出し、上記第１のエラーが検出されたとき、上記復号画像データを、符号化処理単位である第１の処理単位で修整し、上記第２のエラーが検出されたとき、上記復号画像データを、１つの同期信号が付与された、上記第１の処理単位を複数含む第２の処理単位で修整するプログラムを格納したので、エラーが伝送エラーであるかストリームエラーであるかに応じて復号画像データの修整処理を効果的に行って、復号画像の画質を向上することができる動画像復号化方法を、ソフトウエアにより実現できる。

この発明に係るプログラム記録媒体によれば、動画像に対応する符号化データと、同期信号とを含むビットストリームに対する処理をコンピュータにより行うためのプログラムとして、上記ビットストリームの復号化処理の際、上記ストリームのエラーを検出するとともに、上記ビットストリームが、上記動画像の形状を示す形状情報を有するか否かを判定し、上記ビットストリームのエラーが検出され、かつ上記ビットストリームが形状情報を有すると判定されたとき、上記復号画像データの修整を、上記動画像を構成する画面を修整単位として行い、上記ビットストリームのエラーが検出され、かつ上記ビットストリームが形状情報を有していないと判定されたとき、上記復号画像データの修整を、符号化処理の単位領域を１つ以上含む処理領域を修整単位として行うプログラムを格納したので、上記ビットストリームが形状情報を含む場合には、復号画像の修整処理による大きな画質劣化を招くことなく、エラーに起因する画質劣化を排除することができ、しかも、上記ビットストリームが形状情報を含まない場合には簡単な修整処理によりエラーに起因する画質劣化を排除することができる動画像復号化方法を、ソフトウエアにより実現できる。

以下、本発明の実施の形態について説明する。
実施の形態1．
図１は本発明の実施の形態１による動画像復号化装置を説明するための図であり、図１(a)は該動画像復号化装置の構成を示し、図１(b)は該動画像復号化装置に入力されるＶＯＰビットストリームのデータ構造を示している。
この実施の形態１の動画像復号化装置１００ａは、画像符号化情報として入力されたビットストリームを復号化して復号画像データを生成する復号化処理を行い、該復号化処理では、伝送エラーを検出したとき上記復号画像データをマクロブロック単位で修整し、伝送エラー以外のストリームエラーを検出したとき上記復号画像データをビデオパケット単位で修整するものである。

ここで、上記ビットストリームを構成する、１つの画像系列の各ＶＯＰに対応するＶＯＰビットストリームは、同期信号としての特定ビットパターンの固定長符号（マーカ符号）とこれに続く符号化情報とからなる複数のデータ単位（ビデオパケット）に区分されており、各ビデオパケットの符号化情報には、マクロブロックに対応するデータ単位であるマクロブロック情報が複数含まれている。このようにＶＯＰビットストリームは、ビデオパケットに対応するデータ処理単位（第２の処理単位）、及びマクロブロックに対応するデータ処理単位（第１の処理単位）により区分された、２階層のデータ構造を有している。

以下、詳述すると、この実施の形態１の動画像復号化装置１００ａは、画像符号化情報として入力されたビットストリーム（以下入力ストリームという。）Ｖinを構成するＶＯＰビットストリームに対して、可変長復号化処理を含む復号化処理を施す復号化器１と、復号化処理が完了した処理済ＶＯＰに対応する復号画像データＶoutを一時的に格納し、該格納された復号画像データの一部を、上記復号化処理の際に参照される参照画像データＶref及び修整処理に用いられる置換画像データＶrepとして出力するメモリ２とを有している。ここで、上記復号化器１及びメモリ２は、従来の動画像復号化装置１００及び１１０における復号化器１０１及びメモリ１０２と全く同一の構成となっている。

また、この動画像復号化装置１００ａは、上記復号化器１からの復号画像データＶｄと、上記メモリ２からの置換画像データVrepの一方をＭＢ選択制御信号Ｃmbに基づいて選択し、該選択した画像データをＭＢ選択画像データＥmbとして出力するＭＢ選択スイッチ５と、該ＭＢ選択画像データＥmbを、処理対象となっているビデオパケットの復号化処理に要する時間だけ遅延する第１のＶＰ遅延回路１ａと、メモリ２から各マクロブロックの復号化処理に同期して出力される置換画像データＶrepを、処理対象となっているビデオパケットの復号化処理に要する時間だけ遅延する第２のＶＰ遅延回路２ａと、該第１の遅延回路１ａの出力（ＭＢ遅延選択データ）ＤＥmb及び第２の遅延回路２ａの出力（遅延置換データ）ＤＶrepの一方をＶＰ選択制御信号Ｃvpに基づいて選択し、選択した画像データをＶＰ選択画像データＥvpとして出力するＶＰ選択スイッチ８とを有している。

ここで、上記ＭＢ選択スイッチ５は、上記復号化器１からの復号画像データＶｄが供給される第１入力端子５ａと、上記メモリ２からの置換画像データＶrepが供給される第２入力端子５ｂと、上記ＭＢ選択画像データＥmbを出力するための出力端子５ｃとを有しており、上記ＭＢ選択制御信号Ｃmbにより、上記第１入力端子５ａが出力端子５ｃに接続された状態と、上記第２入力端子５ｂが出力端子５ｃに接続された状態とが切り替えられるようになっている。また、上記ＶＰ選択スイッチ８は、上記第１のＶＰ遅延回路１ａからのＭＢ遅延選択データＤＥmbが供給される第１入力端子８ａと、上記第２のＶＰ遅延回路２ａからの遅延置換データＤＶrepが供給される第２入力端子８ｂと、上記ＶＰ選択画像データＥvpを出力するための出力端子８ｃとを有しており、上記ＶＰ選択制御信号Ｃvpにより、上記第１入力端子８ａが出力端子８ｃに接続された状態と、上記第２入力端子８ｂが出力端子８ｃに接続された状態とが切り替えられるようになっている。

また、この動画像復号化装置１００ａは、入力ストリームＶinの伝送エラーを検出して伝送エラー通知信号Ｔerrを出力する伝送エラー検出器３と、上記伝送エラー検出器３からの伝送エラー通知信号Ｔerr及び上記復号化器１の内部信号Ｓｉに基づいて、入力ストリームＶinのストリームエラーを検出し、ストリームエラー通知信号Ｓerrを出力するストリームエラー検出器６とを有している。
ここで、上記伝送エラー検出器３は、従来の動画像復号化装置１００におけるエラー検出器１２０と同様、入力ストリームＶinにおけるパケット欠落を示すマーカ符号に基づいて、伝送エラーを検出する構成となっている。なお、上記マーカ符号は、この動画像復号化装置１００ａ前段に設けられたエラーチェック部（図示せず）により入力ストリームに挿入されたものである。このエラーチェック部は、入力ストリームのアナログ信号レベルやエラー訂正符号に基づいて、入力ストリームにおける伝送エラーに起因する欠陥個所を特定し、この欠陥個所に上記マーカ符号を挿入するものである。

また、上記ストリームエラー検出器６は、具体的には、上記復号化器１の内部信号Ｓｉに基づいて、入力ストリームＶinに対する復号化処理の破綻を検出し、かつ伝送エラー通知信号Ｔerrにより伝送エラーが発生していないことを検出したときのみ、上記ストリームエラー通知信号Ｓerrを、ストリームエラーを検出したことを示す信号として出力する構成となっている。なお、ストリームエラー検出器６は、上記復号化処理の破綻に代えて、ビデオパケット内のビットストリームの構造及び内容を厳密に検査し、ビットストリームの異常が検出され、かつ伝送エラーが発生していないことを検出したときのみ、ストリームエラー通知信号Ｓerrを出力する構成としてもよい。

さらに、上記動画像復号化装置１００ａは、上記伝送エラー通知信号Ｔerrに基づいて、上記ＭＢ選択スイッチ５をＭＢ選択制御信号Ｃmbにより制御して、被処理ＶＯＰの復号画像データＶｄにおける伝送エラーの影響を受けている部分を、マクロブロック単位で、処理済ＶＯＰの復号画像データ（置換画像データ）Ｖrepと置き換えるマクロブロック単位修整器４と、上記ストリームエラー通知信号Ｓerrに基づいて、上記ＶＰ選択スイッチ８をＶＰ選択制御信号Ｃvpにより制御して、被処理ＶＯＰの遅延画像データＤＶｄにおけるストリームエラーの影響を受けている部分を、ビデオパケット単位で、処理済ＶＯＰの遅延置換データＤＶrepと置き換えるビデオパケット単位修整器７とを有している。
なお、上記マクロブロック単位修整器４は、図１２に示す従来の動画像復号化装置１００におけるマクロブロック単位修整器１０４と同一の構成となっている。

次に動作について説明する。
まず本実施の形態１の動画像復号化装置による復号化処理の概略を説明する。
図２は上記実施の形態１の動画像復号化装置による復号化処理のフローを示す図である。
この実施の形態１の動画像復号化装置１００ａに画像信号の符号化情報としてビットストリーム（入力ストリーム）Ｖinが入力されると、被処理ＶＯＰのストリームに対して、処理済ＶＯＰの復号画像データＶrefを参照する復号化処理がマクロブロック毎に施されて、各マクロブロックに対応する復号画像データＶｄが生成される（ステップＳ１ａ）。

次に入力ストリームＶinの伝送エラーを検出する処理が行われる（ステップＳ２ａ）。
この伝送エラー検出処理により伝送エラーが検出された場合、復号画像データの修整処理がマクロブロック単位に行われる（ステップＳ３ａ）。つまり、伝送エラーを含むマクロブロック情報から得られるエラーマクロブロックの復号画像データは、処理済ＶＯＰにおける、該エラーマクロブロックに対応するマクロブロックの復号画像データＶrepと置き換えられる。一方、上記エラー検出処理の結果、伝送エラーが検出されない場合、入力ストリームＶinのストリームエラーを検出する処理が行われる（ステップＳ４ａ）。
このストリームエラー検出処理により、ストリームエラーが検出された場合のみ、復号画像データの修整処理がビデオパケット単位で行われる。つまり、ストリームエラーを含むエラービデオパケットに対応する遅延復号データＤＶｄが、該エラービデオパケットに対応する遅延置換データＤＶrepと置き換えられる（ステップＳ５ａ）。

以下、動作について詳しく説明する。
記録媒体から読み出されたビットストリームあるいは伝送媒体を介して送信されてきたビットストリームが入力ストリームＶinとして、この動画像復号化装置１００ａに入力されると、この動画像復号化装置１００ａでは、復号化器１により入力ストリームＶinの復号化処理が、メモリ２からの処理済ＶＯＰの復号画像データＶrefを参照して行われる。このとき、伝送エラー検出器３では、入力ストリームＶinに基づいて伝送エラーの検出が行われ、入力ストリームにおけるマーカ符号が検出されたとき、伝送エラー通知信号Ｔerrがマクロブロック単位修整器４及びストリームエラー検出器６に出力される。
上記マクロブロック単位修整器４では、伝送エラー通知信号Ｔerrに基づいて上記ＭＢ選択スイッチ５にＭＢ選択制御信号Ｃmbが出力される。これにより該ＭＢ選択スイッチ５では、復号化器１からの被処理ＶＯＰの復号画像データＶｄとメモリ２からの処理済ＶＯＰの復号画像データＶrepの一方がマクロブロック毎に選択され、該選択された画像データがＭＢ選択画像データＥmbとして出力される。

具体的には、上記伝送エラーが検出されたときは、ＶＯＰビットストリームにおける先頭のマクロブロック情報から、上記マーカ符号を含むエラーマクロブロック情報直前のマクロブロック情報までのマクロブロック情報に対応する復号画像データＶｄは、上記ＭＢ選択スイッチ５により選択され、ＭＢ選択画像データＥmbとして出力される。そして、上記エラーマクロブロック情報から次の同期信号の手前までのマクロブロック情報に対応する復号画像データＶｄは、上記ＭＢ選択スイッチ５では選択されず、該復号画像データＶｄに対応する処理済ＶＯＰの復号画像データＶrepが置換画像データとして上記ＭＢ選択スイッチ５にて選択されて、選択されたデータが上記ＭＢ選択画像データＥmbとして出力される。

以下図１(b)を用いて、上記ＭＢ選択スイッチ５の動作をさらに具体的に説明する。ここでは、入力されたＶＯＰビットストリームＳvopのｋ番目のビデオパケットＳvp(k)におけるｉ番目のマクロブロック情報Ｓmb(i)にマーカ符号Ｃｍが含まれている場合、つまりビデオパケットＳvp(k)におけるマクロブロック情報Ｓmb(i)に伝送エラーによる欠陥がある場合について説明する。

この場合、ｋ番目のビデオパケットＳvp(k)の第１番目のマクロブロック情報Ｓmb(1)から第（ｉ−１）番目のマクロブロック情報Ｓmb(i-1)までの各マクロブロック情報に対応する復号画像データは、上記ＭＢ選択スイッチ５にて選択される。第ｋ番目のビデオパケットＳvp(k)の第ｉ番目のマクロブロック情報Ｓmb(i)以降のマクロブロック情報に対応する復号画像データは、上記ＭＢ選択スイッチ５にて選択されず、該ＭＢ選択スイッチ５では、これらのマクロブロックの復号画像データＶｄに対応する、処理済ＶＯＰにおけるマクロブロックの復号画像データＶrepが置換画像データとして選択される。ここで、第ｋ番目のビデオパケットＳvp(k)の第（ｉ＋１）番目のマクロブロック情報は、伝送エラーのために欠落している。また、第ｋ番目のビデオパケットＳvp(k)の第（ｉ＋２）番目，第（ｉ＋３）番目，・・・，第（ｎ）番目のマクロブロック情報Ｓmb(i+2)，Ｓmb(i+3)，・・・，Ｓmb(n)は、第ｋ番目のビデオパケットＳvp(k)の第（ｉ＋２）番目，第（ｉ＋３）番目，・・・，第（ｎ）番目のマクロブロック情報であり、ここでは、これらのマクロブロック情報Ｓmb(i+2)〜Ｓmb(n)は、伝送エラーなく受信できたものとなっている。但し、第（ｉ＋１）番目のマクロブロック情報が正しく復号化できなければ、第（ｉ＋２）番目，第（ｉ＋３）番目，・・・，第（ｎ）番目のマクロブロック情報も正しく復号化できないため、第（ｉ＋１）番目から第（ｎ）番目までの全てのマクロブロック情報に対応する復号画像データＶrepが置換画像データにより置き換えられる。

なお、図１(b)中、ＳvophはＶＯＰビットストリームのヘッダで同期信号が含まれている。また、Ｓvp(1)，Ｓvp(k+1)，Ｓvp(m)はそれぞれ、ＶＯＰビットストリームＳvophを構成する、第１番目，第（ｋ＋１）番目，最後のビデオパケットであり、Ｓvph(1)，Ｓvph(k)，Ｓvph(k+1)，Ｓvph(m)は、各ビデオパケットＳvp(1)，Ｓvp(k)，Ｓvp(k+1)，Ｓvp(m)のヘッダである。

また、ストリームエラー検出器６では、上記伝送エラー検出器３からの伝送エラー通知信号Ｔerrに基づいて、入力ストリームに伝送エラーが含まれているか否かの判定が行われ、復号化器１の内部信号Ｓｉにより入力ストリームに対する復号化処理が破綻したか否かが判定される。そして、これらの判定に基づいて、入力ストリームＶinのストリームエラーを検出する処理が行われる。

例えば、入力ストリームに対する復号化処理が破綻した場合、上記ストリームエラー検出器６では、上記復号化処理の破綻が復号化器１の内部信号Ｓｉにより検出される。そしてこのとき、伝送エラー通知信号Ｔerrにより伝送エラーの検出が通知されておれば、復号化処理の破綻は伝送エラーに起因するものである。従って、この場合は、ストリームエラー通知信号Ｓerrは出力されない。一方、伝送エラー通知信号Ｔerrによる伝送エラーの発生の通知がなければ、復号化処理の破綻はストリームエラーに起因するものである。従って、この場合には、ストリームエラーが入力ストリームに含まれていると判定され、ストリームエラー通知信号Ｓerrがビデオパケット単位修整器７に出力される。
なお、ストリームエラー検出器６では、伝送エラー検出器３が伝送エラーを検出した状態では、伝送エラーを含むビデオパケットに対してはストリームエラーの検出処理は行わないようにしてもよい。

そして、上記ビデオパケット単位修整器７では、ストリームエラー通知信号Ｓerrに基づいて上記ＶＰ選択スイッチ８にＶＰ選択制御信号Ｃvpが出力される。これによりＶＰ選択スイッチ８では、第１のＶＰ遅延回路１ａからの被処理ＶＯＰの遅延選択データＤＥｍｂと、第２のＶＰ遅延回路２ａからの処理済ＶＯＰの遅延置換データＤＶrepの一方がビデオパケット毎に選択され、該ＶＰ選択スイッチ８からは、ＶＰ選択画像データＥvpが再生画像データＶoutとして出力される。

具体的には、入力ストリームＶinにストリームエラーが含まれている場合、ＶＯＰビットストリームにおける復号化処理が破綻したエラービデオパケットに対応する遅延復号データＤＶｄは、上記ＶＰ選択スイッチ８により選択されず、該遅延復号データＤＶｄに対応する遅延置換データ（処理済ＶＯＰのビデオパケットの復号画像データ）ＤＶrepが上記ＶＰ選択スイッチ８にて選択され、選択された画像データが上記ＶＰ選択画像データＥvpとして出力される。一方、ＶＯＰストリームにおける、復号化処理が破綻したビデオパケット以外のビデオパケットに対応する遅延復号データＤＶｄは、上記ＶＰ選択スイッチ８により選択され、選択された画像データがＶＰ選択画像データＥvpとして出力される。

そして、このＶＰ選択画像データＥvpは、再生画像データＶoutとして出力されるとともに、被処理ＶＯＰに続く後続ＶＯＰに対する参照画像データとして上記メモリ２に格納される。

このように本実施の形態１では、入力ストリームをマクロブロック毎に復号化して復号画像データを生成する復号化器１と、入力ストリームに含まれる伝送エラーを検出する伝送エラー検出器３と、入力ストリームに含まれるストリームエラーを検出するストリームエラー検出器６とを備え、伝送エラーの影響を受けるマクロブロックの復号画像データを、処理済ＶＯＰの対応するマクロブロックの復号画像データと置き換え、ストリームエラーを含むビデオパケットに対応する復号画像データを、処理済ＶＯＰにおける対応するビデオパケットの復号画像データと置き換えるようにしたので、伝送エラーに対する復号画像データの修整がマクロブロック単位で行われ、ストリームエラーに対する復号画像データの修整がビデオパケット単位で行われることとなる。

これにより、伝送エラーが発生した場合には、伝送エラーの影響を受けるマクロブロックの復号画像データのみが修整されることとなり、伝送エラーの影響を受けていないマクロブロックの復号画像データを修整することによる復号画像の画質劣化を回避できる。また、ストリームエラーが発生した場合には、ストリームエラーが含まれるビデオパケットに対応するすべてのマクロブロックの復号画像データが修整されることとなり、ストリームエラーの影響を受けているマクロブロックの復号画像データが出力されることによる復号画像の画質劣化を防止することができる。この結果、入力ストリームに含まれるエラーに対する復号画像データの修整処理を効果的に行って、復号画像の画質を向上することができる

なお、上記実施の形態１では、入力ストリームが２階層のデータ構造を有する場合、つまり入力ストリームを構成するＶＯＰビットストリームがビデオパケット単位で区分され、さらにビデオパケットが符号化処理の単位であるマクロブロックを単位として区分されている場合について説明したが、入力ストリームの２階層データ構造は上記実施の形態１のものに限らない。

例えば、上記入力ストリームは、ＶＯＰビットストリームがビデオパケットを単位として区分され、さらにビデオパケットが、上記マクロブロックではなく、符号化処理の最小単位であるブロック（８×８画素）を単位として区分されているデータ構造を有するものであってもよい。この場合、伝送エラーに対する復号画像データの修整は、ブロック単位で行うことにより、上記実施の形態１と同様な効果が得られる。

このように、上記入力ストリームの２階層データ構造は、画像系列の１画面（ＶＯＰ）に対応するＶＯＰビットストリームが、同期信号とこれに続く符号化情報からなるデータ単位毎に区分され、このデータ単位が、ＶＯＰを区画する、符号化処理の単位となる領域に対応するよう区分されたデータ構造であれば、どのような２階層のデータ構造であってもよい。この場合、伝送エラーに対する復号画像データの修整を、符号化処理の単位に相当するデータ単位（第１の処理単位）で行い、ストリームエラーに対する復号画像データの修整を、上記同期信号を含むデータ単位（第２の処理単位）で行うことにより、上記実施の形態１と同様の効果が得られる。

さらに、上記実施の形態１では、入力ストリームとして２階層のデータ構造を有するものを示したが、入力ストリームにおけるデータの階層構造は、３階層以上のデータ構造であってもよく、入力ストリームが、同期信号とこれに続く符号化情報からなるデータ単位（第２の処理単位）毎に区分され、このデータ単位が、符号化処理の単位に相当するデータ単位（第１の処理単位）に対応するよう区分されているものであれば、どのような多階層のデータ構造を有するものでもよい。

また、上記実施の形態１では、ビデオパケットを区分するデータ単位（第１の処理単位）に相当するマクロブロックを１６×１６画素からなる画像空間として説明したが、マクロブロックを構成する水平方向及び垂直方向の画素数は動画像の符号化方法に応じて変更してもよい。

実施の形態２．
図３は本発明の実施の形態２による動画像復号化装置を説明するためのブロック図である。
この実施の形態２の動画像復号化装置１００ｂは、形状を有しない物体に対応するビットストリームの復号化処理では、上記実施の形態１と同様、伝送エラーを検出したとき復号画像データの修整をマクロブロック単位で行い、またストリームエラーを検出したとき復号画像データの修整をビデオパケット単位で行い、形状を有する物体に対応するビットストリームの復号化処理では、エラーを検出したときには、復号画像データをＶＯＰ単位で修整するようにしたものである。
この実施の形態２の動画像復号化装置１００ｂは、上記実施の形態１の動画像復号化装置１００ａの構成に加えて、上記ＶＯＰ単位での復号画像データの修整を行うための回路構成を備えたものである。

以下詳述すると、この実施の形態２の動画像復号化装置１００ｂは、上記実施の形態１と同様、上記復号化器１，メモリ２，検出器３及び６，修整器４及び７，選択スイッチ５及び８，遅延回路１ａ及び２ａを有している。
そして、この実施の形態２の動画像復号化装置１００ｂは、上記伝送エラー検出器３からの伝送エラー通知信号Ｔerrとストリームエラー検出器６からのストリームエラー通知信号Ｓerrとの論理和演算により、入力ストリームに伝送エラーあるいはストリームエラーが含まれていることを示すエラー検出信号ＴＳerrを出力する論理和回路９と、入力ストリームＶinに基づいて、該入力ストリームが形状情報を有するか否かを判定し、この判定結果に応じて形状有無通知信号Ｓdetを出力する形状有無検出器１０とを有している。

また、この動画像復号化装置１００ｂは、上記ＶＰ選択スイッチ８から出力されるＶＰ選択画像データＥvpを、処理対象となっている被処理ＶＯＰの復号化処理に要する時間だけ遅延してＶＯＰ遅延選択データＤＥvpを出力する第１のＶＯＰ遅延回路１ｂと、上記第２のＶＰ遅延回路２ａから出力されたＶＰ遅延置換データ（第１の遅延置換データ）ＤＶrep1を、１ＶＯＰの復号化処理に要する時間だけ遅延してＶＯＰ遅延置換データ（第２の遅延置換データ）ＤＶrep2を出力する第２のＶＯＰ遅延回路２ｂとを有している。

さらに、この動画像復号化装置１００ｂは、上記第１のＶＯＰ遅延回路１ｂからのＶＯＰ遅延選択データＤＥvpと、第２のＶＯＰ遅延回路２ｂからのＶＯＰ遅延置換データＤＶrep2の一方を、ＶＯＰ選択制御信号Ｃvopに基づいて選択し、選択した画像データをＶＯＰ選択画像データＥvopとして出力するＶＯＰ選択スイッチ１３と、上記エラー検出信号ＴＳerrと形状有無通知信号Ｓdetとの論理積演算により、形状情報を有する入力ストリームにエラーが含まれていることを示すストリーム情報Ｉstrを出力する論理積回路１１と、該ストリーム情報Ｉstrに基づいて、形状情報を有する入力ストリームに含まれるエラーが検出されたとき、上記第１のＶＯＰ遅延回路１ｂからのＶＯＰ遅延選択データＤＥvpが、ＶＯＰ単位で修整されるよう、上記ＶＯＰ選択スイッチ１３を制御するＶＯＰ単位修整器１２とを有している。

ここで、上記ＶＯＰ選択スイッチ１３は、上記第１のＶＯＰ遅延回路１ｂからのＶＯＰ遅延選択データＤＥvpが供給される第１入力端子１３ａと、上記第２のＶＯＰ遅延回路２ｂからのＶＯＰ遅延置換データＤＶrep2が供給される第２入力端子１３ｂと、上記ＶＯＰ選択画像データＥvopを出力するための出力端子１３ｃとを有しており、上記ＶＯＰ選択制御信号Ｃvopにより、上記第１入力端子１３ａが出力端子１３ｃに接続された状態と、上記第２入力端子１３ｂが出力端子１３ｃに接続された状態とが切り替えられるようになっている。

次に作用効果について説明する。
まず、本発明の実施の形態２の基本原理について説明する。
通常、物体の形状情報を有する復号画像データを、マクロブロック単位あるいはビデオパケット単位で修整すると、画面内における物体形状の連続性が損われる。このため、ビットストリームが形状情報を有する場合には、エラーを含むビットストリームに対応する復号画像データを、マクロブロック単位あるいはビデオパケット単位で修整するよりも、ＶＯＰ単位で修整する方が、視覚的に好ましい復号画像が得られる場合が多い。

一方、形状情報を有しない画像では、形状の時間的な変化が少なくしかも画素値の画面間相関が強い場合が多いので、復号画像データの修整を、処理済ＶＯＰの復号画像データを用いて、マクロブロック単位もしくはビデオパケット単位で行うことが好ましい。

そこで、本実施の形態２では、入力ストリームＶinに基づいて、入力ストリームが形状情報を有するか否かを判定し、入力ストリームが形状情報を有する場合は、その復号画像データに対してＶＯＰ単位の修整処理を施し、入力ストリームが形状情報を有しない場合は、その復号画像データに対しては、マクロブロック単位もしくはビデオパケット単位で修整処理を施すようにしている。

まず、本実施の形態２に係る動画像復号化装置による復号化処理の概略を説明する。
図４はこの本実施の形態２の動画像復号化装置による復号化処理の流れを示す図である。
この実施の形態２の動画像復号化装置１００ｂに、動画像に対応する符号化情報を含むビットストリームが入力ストリームＶinとして入力されると、復号化器１では、入力ストリームにおける被処理ＶＯＰに対応する符号化情報（被処理ＶＯＰビットストリーム）をマクロブロック毎に復号化する処理が順次行われる（ステップＳ１ｂ）。

次に、上記入力ストリームＶinが形状信号を含むものであるか否かが形状有無検出器１０にて判定される（ステップＳ２ｂ）。この判定の結果、上記入力ストリームＶinが形状情報を含まないビットストリームである場合は、上記実施の形態１におけるステップＳ２ａないしＳ５ａの処理と同様の処理が、それぞれ対応するステップＳ３ｂないしＳ６ｂにて行われる。一方、上記入力ストリームが形状情報を含むビットストリームである場合、入力ストリームＶinに伝送エラーが含まれているか否かの判定（ステップＳ７ｂ）及び入力ストリームＶinにストリームエラーが含まれているか否かの判定（ステップＳ８ｂ）が行われる。

そして、上記入力ストリームＶinに伝送エラーとストリームエラーのいずれかが含まれている場合には、入力ストリームＶinの復号化処理により得られる復号画像データをＶＯＰ単位で修整する処理が行われる（ステップＳ９ｂ）。

具体的には、この被処理ＶＯＰビットストリームにエラーが含まれている場合には、この被処理ＶＯＰビットストリームの復号化処理により得られる復号画像データＤＥvpが、処理済ＶＯＰに対応する復号画像データＤＶrep2と置き換えられ、復号画像データＤＶrep2が再生画像データＶoutとしてこの動画像復号化装置１００ｂから出力される。

一方、ステップＳ７ｂ及びステップＳ８ｂでの判定の結果、入力ストリームＶinのエラーが検出されない場合には、この被処理ＶＯＰビットストリームの復号化処理により得られる復号画像データＶｄが、再生画像データＶoutとしてこの動画像復号化装置１００ｂから出力される。

以下、動作について詳しく説明する。
上記実施の形態１の動画像復号化装置１００ａと同様の入力ストリームＶinが、この実施の形態２の動画像復号化装置１００ｂに入力されると、この動画像復号化装置１００ｂでは、復号化器１により入力ストリームＶinの復号化処理、エラー検出器３による伝送エラーの検出、及びエラー検出器６によるストリームエラーの検出が行われる。

このとき、復号化器１では、入力ストリームＶinに対する復号化処理がマクロブロック毎に行われ、復号画像データＶｄがマクロブロック毎に出力される。また、メモリ２からは、復号化器１にて処理対象となる被処理ＶＯＰにおけるマクロブロックに対応する、処理済ＶＯＰにおけるマクロブロックの復号画像データ（置換画像データ）Ｖrepが、上記被処理ＶＯＰの各マクロブロックの復号画像データＶｄと同期して出力される。さらに、マクロブロック単位修整器４には上記エラー検出器３からの伝送エラー通知信号Ｔerrが、ビデオパケット単位修整器６には上記エラー検出器６からのストリームエラー通知信号Ｓerrが出力され、論理和回路９には、上記伝送エラー通知信号Ｔerr及びストリームエラー通知信号Ｓerrが出力される。

また、形状有無検出器１０では、上記入力ストリームＶinに基づいて、該入力ストリームＶinに形状情報が含まれているか否かが判定され、判定結果を示す形状有無通知信号Ｓdetが論理積回路１１に出力される。

通常、形状情報を含むＶＯＰビットストリームでは、そのシーケンスヘッダ等に形状情報を含むことを示すフラグ情報等が付加されているため、このフラグ情報に基づいて形状情報が含まれるか否かの判定が行われる。

すると、ＭＢ選択スイッチ５の開閉制御がマクロブロック単位修整器４により行われ、ＶＰ選択スイッチ８の開閉制御がビデオパケット単位修整器６により行われる。また、論理和回路９では、伝送エラー通知信号Ｔerr及びストリームエラー通知信号Ｓerrの論理和演算により、入力ストリームに伝送エラー及びストリームエラーのいずれかが含まれていることを示すエラー通知信号ＴＳerrが上記論理積回路１１に出力される。

この論理積回路１１では、エラー通知信号ＴＳerr及び上記形状有無通知信号Ｓdetの論理積演算により、入力ストリームが形状情報を有するビットストリームであってエラーを含んでいることを示すストリーム情報ＩstrがＶＯＰ単位修整器１２に出力される。

そして、ＭＢ選択スイッチ５では、マクロブロック単位修整器４からのＭＢ選択制御信号Ｃmbに基づいて、上記復号画像データＶｄと置換画像データＶrepの一方が選択され、選択された画像データがＭＢ選択画像データＥmbとして出力される。

上記ＭＢ選択スイッチ５からのＭＢ選択画像データＥmb及びメモリ２からの置換画像データＶrepはそれぞれ、第１，第２のＶＰ遅延回路１ａ，２ａにて、被処理ビデオパケットに対応する復号化処理時間だけ遅延され、ＶＰ遅延選択データＤＥmb，ＶＰ遅延置換データ（第１の遅延置換データ）ＤＶref1として出力される。

さらに、ＶＰ選択スイッチ８では、ビデオパケット単位修整器７からのＶＰ選択制御信号Ｃvpに基づいて、上記ＶＰ遅延選択データＤＥmbとＶＰ遅延置換データＤＶrep1の一方が選択され、選択された遅延データがＶＰ選択画像データＥvpとして出力される。

上記ＶＰ選択スイッチ８からのＶＰ選択画像データＥvp及び第２のＶＰ遅延回路２ａからのＶＰ遅延置換データＤＶrep1はそれぞれ、第１，第２のＶＯＰ単位遅延回路１ｂ，２ｂにて、被処理ＶＯＰに対応する復号化処理時間だけ遅延され、ＶＯＰ遅延選択データＤＥvp，ＶＯＰ遅延置換データ（第２の遅延置換データ）ＤＶrep2として出力される。

そして、ＶＯＰ選択スイッチ１３では、ＶＯＰ単位修整器１２からのＶＯＰ選択制御信号Ｃvopに基づいて、上記ＶＯＰ遅延選択データＤＥvpとＶＯＰ遅延置換データＤＶrep2の一方が選択され、選択された遅延データがＶＯＰ選択画像データＥvopとして出力される。このＶＯＰ選択画像データＥvopは、上記メモリ２に格納されるとともに、再生画像データＶoutとして出力される。

具体的には、上記ＶＯＰ選択スイッチ１３は、入力ストリームが形状情報を含まないものである場合、もしくは入力ストリームにエラーが含まれていない場合には、第１のＶＯＰ遅延回路１ｂからのＶＰ遅延選択データＥvpがそのまま出力され、入力ストリームが形状情報を有し、かつエラーが含まれている場合には、第１のＶＯＰ遅延回路１ｂからのＶＰ遅延選択データＥvpが、第２のＶＯＰ遅延回路２ｂからのＶＯＰ遅延置換データＤＶrep2により置き換えられるよう、ＶＯＰ単位修整器１２により制御される。

このように本実施の形態２では、上記実施の形態１の構成に加えて、入力ストリームＶinが形状情報を有するものであるか否かを判定する形状有無検出器１０を備え、入力ストリームＶinが形状情報を有する場合には、入力ストリームＶinに伝送エラーあるいはストリームエラーが含まれているとき、該入力ストリームＶinの復号化処理により得られた復号画像データを、ＶＯＰ単位で修整し、一方、上記入力ストリームＶinが形状情報を有していないときには、上記実施の形態１と同様に入力ストリームＶinに含まれるエラーの種類に応じて、マクロブロック単位もしくはビデオパケット単位で復号画像データの修整を行うようにしたので、上記実施の形態１の効果だけでなく、形状情報を有する入力ストリームＶinから得られる復号画像における、エラーに起因する画質劣化を、復号画像データの修整に伴う画質劣化を抑えつつ排除することができる効果が得られる。

なお、上記実施の形態１及び２では、伝送エラー検出器３として、ビットストリームに挿入されているパケット欠落を示すマーク（マーカ符号）を検出することにより伝送エラーを検出する構成のものを示したが、上記伝送エラー検出器は、伝送システムから別の方法で、入力ストリームにおける伝送エラー発生位置に関する情報を取得して、伝送エラー通知信号Ｔｅｒｒを出力する構成のものでもよい。

実施の形態３．
図５は本発明の実施の形態３による動画像復号化装置を説明するためのブロック図である。
この実施の形態３の動画像復号化装置１００ｃは、形状を有しない物体に対応するビットストリームの復号化処理では、入力ストリームのエラーを検出したとき、復号画像データをビデオパケット単位で修整し、形状を有する物体に対応するビットストリームの復号化処理では、入力ストリームのエラーを検出したとき、復号画像データをＶＯＰ単位で修整するようにしたものである。

この実施の形態３の動画像復号化装置１００ｃは、上記実施の形態２の動画像復号化装置１００ｂと同様、上記復号化器１と、メモリ２と、修整器７及び１２と、遅延回路１ａ，２ａ，１ｂ，２ｂと、選択スイッチ８及び１３と、論理積回路１１と、形状有無検出器１０とを有している。

そして、この動画像復号化装置１００ｃは、上記実施の形態２の動画像復号化装置１００ｂにおける伝送エラー検出器３，ストリームエラー検出器６，論理和回路９に代えて、入力ストリームＶｉｎ及び復号化器１の内部信号Ｓｉに基づいて伝送エラー及びストリームエラーを検出する処理を行い、いずれかのエラーが検出されたときエラー通知信号Ａerrを出力するエラー検出器１８を備えている。

また、この動画像復号化装置１００ｃでは、上記ビデオパケット単位修整器７には該エラー通知信号Ａerrが入力され、上記論理積回路１１には該エラー通知信号Ａerrが上記形状有無検出器１０からの形状有無通知信号Ｓdetとともに入力されるようになっている。

さらに、この動画像復号化装置１００ｃでは、上記実施の形態２の動画像復号化装置１００ｂにおけるマクロブロック単位修整器４及びＭＢ選択スイッチ５が省略されており、上記復号化器１の出力Ｖｄが直接第１のＶＰ遅延回路１ａに入力されるようになっている。

次に作用効果について説明する。
上記実施の形態２では、形状を有しない物体に対応するビットストリームの復号化処理では、伝送エラーが検出されたときの修整処理をマクロブロック単位で行い、ストリームエラーが検出されたときの修整処理をビデオパケット単位で行うようにしているが、ビデオパケットに対応するマクロブロック数が少ない場合、つまりビデオパケットに含まれるマクロブロック情報の個数が少ない場合には、形状情報を有していない復号画像データに対する修整処理を常にビデオパケット単位で行うようにしても、復号画像における修整処理に伴う画質の劣化が少ない。

また、復号画像データに対するマクロブロック単位の修整処理を省略することにより、修整処理を簡単化することができる。
そこで、本実施の形態３では、上記実施の形態２とは異なり、入力ストリームが形状情報を有していない場合には、入力ストリームのエラーとして伝送エラーとストリームエラーのいずれのエラーが検出されたときでも、復号画像に対する修整処理をビデオパケット単位で行うようにしている。

まず、本実施の形態３の動画像復号化装置による復号化処理の概略を説明する。
図６はこの本実施の形態３の動画像復号化装置による復号化処理の流れを示す図である。
動画像に対応する符号化情報を含むビットストリームがこの動画像復号化装置１００ｃに入力ストリームＶinとして入力されると、復号化器１では、入力ストリームにおける被処理ＶＯＰに対応する部分（被処理ＶＯＰビットストリーム）をマクロブロック毎に復号化する処理が順次行われる（ステップＳ１ｃ）。

次に、上記入力ストリームＶinが形状信号を含むものであるか否かが形状有無検出器１０にて判定される（ステップＳ２ｃ）。
この判定の結果、上記入力ストリームＶinが形状情報を含まないビットストリームである場合は、入力ストリームＶinのエラーを検出する処理が、エラー検出器１８にて行われる（ステップＳ３ｃ）。そして、上記入力ストリームＶinのエラーが検出されたときには、入力ストリームＶinの復号化処理により得られる復号画像データをビデオパケット単位で修整する処理が行われる（ステップＳ４ｃ）。

一方、上記ステップＳ２ｃでの判定の結果、上記入力ストリームが形状情報を含むビットストリームである場合、入力ストリームＶinの伝送エラーを検出する処理が上記エラー検出器１８にて行われる（ステップＳ５ｃ）。そして、上記入力ストリームＶinのエラーが検出されたときには、入力ストリームＶinの復号化処理により得られる復号画像データをＶＯＰ単位で修整する処理が行われる（ステップＳ６ｃ）。

上記ステップＳ３ｃ及びステップＳ６ｃでの判定の結果、入力ストリームＶinのエラーが検出されない場合には、被処理ＶＯＰストリームの復号化処理により得られた復号画像データＶｄが、再生画像データＶoutとしてこの動画像復号化装置１００ｃから出力される。

以下、動作について詳しく説明する。
上記実施の形態１の動画像復号化装置１００ａと同様の入力ストリームＶinが、この実施の形態３の動画像復号化装置１００ｃに入力されると、この動画像復号化装置１００ｃでは、形状有無検出器１０により実施の形態２と同様、入力ストリームＶｉｎが形状情報を含むか否かを検出する処理が行われ、形状有無通知信号Ｓdetが出力される。また、この動画像復号化装置１００ｃの復号化器１では、実施の形態２と同様に、入力ストリームＶinの復号化処理が行われ、被処理ＶＯＰに対応する復号画像データが各マクロブロック毎に出力される。このとき、メモリ２からは、復号化器１にて処理対象となる被処理ＶＯＰにおけるマクロブロックに対応する、処理済ＶＯＰにおけるマクロブロックの復号画像データ（置換画像データ）Ｖrepが、上記被処理ＶＯＰの各マクロブロックの復号画像データＶｄと同期して出力される。

そして、この実施の形態３のエラー検出器１８では、上記入力ストリームＶin及び復号化器１の内部信号Ｓｉに基づいて、入力ストリームＶinのエラーを検出する処理が行われ、エラーが検出されたときエラー通知信号Ａerrがビデオパケット単位修整器７及び論理積回路１１に出力される。この論理積回路１１では、エラー通知信号Ａerr及び上記形状有無通知信号Ｓdetの論理積演算が行われれ、入力ストリームが形状情報を有するビットストリームであってエラーを含んでいることを示すストリーム情報ＩstrがＶＯＰ単位修整器１２に出力される。

また、上記復号化器１からの復号画像データＶｄ及びメモリ２からの置換画像データＶrepはそれぞれ、第１，第２のＶＰ単位遅延回路１ａ，２ａにて、被処理ビデオパケットに対応する復号化処理時間だけ遅延され、ＶＰ遅延復号データＤＶｄ，ＶＰ遅延置換データＤＶrep1として出力される。

上記ＶＰ選択スイッチ８では、ビデオパケット単位修整器７からのＶＰ選択制御信号Ｃvpに基づいて、上記ＶＰ遅延復号データＤＶｄとＶＰ遅延置換データＤＶrep1の一方が選択され、選択された遅延データがＶＰ選択画像データＥvpとして出力される。

さらに、上記ＶＰ選択スイッチ８からのＶＰ選択画像データＥvp及び第２のＶＰ遅延回路２ａからのＶＰ遅延置換データＶrep1はそれぞれ、第１，第２のＶＯＰ遅延回路１ｂ，２ｂにて、被処理ＶＯＰに対応する復号化処理時間だけ遅延され、ＶＯＰ遅延選択データＤＥvp，ＶＯＰ遅延置換データＤＶrep2として出力される。

そして、ＶＯＰ選択スイッチ１３では、ＶＯＰ単位修整器１２からのＶＯＰ選択制御信号Ｃvopに基づいて、上記ＶＯＰ遅延選択データＤＥvpとＶＯＰ遅延置換データＤＶrep2の一方が選択され、選択された遅延データがＶＯＰ遅延選択データＥvopとして出力される。このＶＯＰ遅延選択データＥvopは、上記メモリ２に格納されるとともに、再生画像データＶoutとして出力される。

ここで、上記ＶＯＰ選択スイッチ１３は、入力ストリームが形状情報を含まないものと判定されたとき、もしくは入力ストリームのエラーが検出されないときには、第１のＶＯＰ遅延回路１ｂからのＶＯＰ遅延選択データＤＥvpがそのまま出力され、入力ストリームが形状情報を有するものと判定され、かつ入力ストリームのエラーが検出されたときには、第１のＶＯＰ遅延回路１ｂからのＶＯＰ遅延選択データＤＥvpが、第２のＶＯＰ遅延回路２ｂからのＶＯＰ遅延置換データＤＶrep2により置き換えられるよう、ＶＯＰ単位修整器１２により制御される。

このように本実施の形態３では、形状情報を含む入力ストリームＶｉｎの復号化処理により得られる復号画像データに対してはＶＯＰ単位で復号画像の修整処理を施し、形状情報を含まない入力ストリームＶｉｎの復号化処理により得られる復号画像データに対しては、ビデオパケット単位で復号画像の修整処理を施すようにしたので、入力ストリームＶｉｎが形状情報を含む場合には、復号画像の修整処理による大きな画質劣化を招くことなく、エラーに起因する画質劣化を排除することができ、しかも、入力ストリームＶｉｎが形状情報を含まない場合には簡単な修整処理によりエラーに起因する画質劣化を排除することができる。

なお、上記実施の形態３では、入力ストリームＶｉｎが形状情報を含まない場合、ビデオパケット単位で復号画像の修整を行うようにしたものについて説明したが、入力ストリームＶｉｎが形状情報を含まない場合の復号画像の修整処理は、マクロブロック単位で行うようにしてもよい。

また、上記実施の形態３では、エラー検出器１８を、伝送エラーとストリームエラーの両方を検出する構成としているが、上記エラー検出器は、伝送エラーとストリームエラのいずれか一方のみを検出する構成としてもよい。

また、上記実施の形態２及び３では、マクロブロック単位の画像修整やビデオパケット単位の画像修整を行った後にＶＯＰ単位の画像修整を行うようにしているが、ＶＯＰ単位の画像修整をマクロブロック単位の画像修整やビデオパケット単位の画像修整よりも先に行うようにしてもよい。

さらに、上記各実施の形態では、復号画像の具体的な修整処理として、復号化処理の対象となる被処理ＶＯＰに対応する復号画像データを、該被処理ＶＯＰより以前に復号化処理が完了した処理済ＶＯＰの復号画像データにより置換する処理を示したが、復号画像の修整処理は上記各実施の形態におけるものに限らない。

例えば、上記復号画像の修整処理は、上記のように被処理ＶＯＰの復号画像データを、処理済ＶＯＰの復号画像データに動き補償処理を施して得られる参照画像データにより置き換えることにより行ってもよい。また、上記復号画像の修整処理は、被処理ＶＯＰの復号画像データに対して画面内の内挿補間処理を施すことにより行ってもよい。

また、上記各実施の形態では、符号化処理及び復号化処理としてＭＰＥＧ−４規格対応のものを示したが、上記符号化処理及び復号化処理は、ＭＰＥＧ−４規格対応以外のものであってもよい。

またさらに、上記各実施の形態の動画像復号化処理をコンピュータにより行うための動画像復号化プログラムを、フレキシブルディスク等のデータ記憶媒体に記録するようにすることにより、上記各実施の形態の動画像復号化処理を、独立したコンピュータシステムにおいて簡単に行うすることが可能となる。

図７は、上記各実施の形態における動画像復号化処理を、上記動画像復号化プログラムを格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合を説明するための図である。

図７(a)は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスク本体を示し、図７(b)は、該フレキシブルディスク本体の物理フォーマットの例を示している。

上記フレキシブルディスクＦＤは、上記フレキシブルディスク本体ＤをフレキシブルディスクケースＦＣ内に収容した構造となっており、該フレキシブルディスク本体Ｄの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックＴｒは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクＦＤでは、上記フレキシブルディスク本体Ｄは、その上に割り当てられた領域（セクタ）Ｓｅに、上記プログラムとしてのデータが記録されたものとなっている。

また、図７(c)は、フレキシブルディスクＦＤに対する上記動画像復号化プログラムの記録、及びフレキシブルディスクＦＤに格納した動画像復号化プログラムを用いたソフトウエアによる動画像復号化処理を行うためのシステム構成を示している。

上記動画像復号化プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記動画像復号化プログラムとしてのデータを、フレキシブルディスクドライブＦDDを介してフレキシブルディスクＦＤに書き込む。また、フレキシブルディスクＦＤに記録されたプログラムにより、上記動画像復号化装置をコンピュータシステムＣｓ中に構築する場合は、フレキシブルディスクドライブＦDDによりプログラムをフレキシブルディスクＦＤから読み出し、コンピュータシステムＣｓにロードする。

なお、上記図７では、プログラムの記憶媒体としてフレキシブルディスクを示したが、プログラムの記録媒体として光ディスクを用いてもよく、この場合も上記フレキシブルディスクの場合と同様にソフトウェアによる動画像復号化処理を行うことができる。さらに、上記プログラム記憶媒体は上記光ディスクやフレキシブルディスクに限るものではなく、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであればどのようなものでもよく、これらのデータ記録媒体を用いる場合でも、上記フレキシブルディスク等を用いる場合と同様にソフトウェアによる各実施の形態の動画像復号化処理を実施することができる。

本発明は、入力ストリームの復号化処理により得られる復号画像における、伝送エラーやストリームエラーに起因する画質劣化を、復号画像の修整処理により効果的に改善することができるものであり、符号化された画像データの復号化処理を行う上で有用なものである。

本発明の実施の形態１による動画像復号化装置を説明するための図であり、該動画像復号化装置の構成（図(a)）及び該動画像復号化装置に入力されるＶＯＰビットストリームのデータ構造（図(b)）を示している。 上記実施の形態１の動画像復号化装置により入力ストリームを復号化する処理のフローを示す図である。 本発明の実施の形態２による動画像復号化装置を説明するためのブロック図である。 上記実施の形態２の動画像復号化装置による復号化処理の流れを示す図である。 本発明の実施の形態３による動画像復号化装置を説明するためのブロック図である。 上記実施の形態３の動画像復号化装置による復号化処理の流れを示す図である。 上記各実施の形態における動画像復号処理を、動画像復号プログラムを格納したフレキシブルディスク（図(a)，図(b)）を用いて、コンピュータシステム（図(c)）により実施する場合を説明するための図である。 上記ＭＰＥＧ−４対応の符号化処理における種々の処理単位について説明するための模式図であり、物体の形状（図(a)），物体の絵柄（図(b)），及び物体を包含する矩形領域（図(c)）を示している。 ＭＰＥＧ−４対応のビットストリームにおける種々の処理単位を説明するための模式図であり、ビデオパケット（図(a)），ＶＯＰにおけるビデオパケット対応領域（図(b)），マクロブロック（図(c)），ブロック（図(d)），及びビデオパケットの変形例（図(e)）を示している。 ＭＰＥＧ−４における物体単位の符号化処理を説明するための模式図である。 ＭＰＥＧ４におけるビットストリームの構成を詳しく説明するための模式図であり、ＶＯＰストリーム（図(a)），ビデオパケット（図(b)），及びマクロブロック情報（図(c)）を示している。 従来の一般的な動画像復号化装置を説明するためのブロック図である。 従来のその他の動画像復号化装置を説明するためのブロック図である。

符号の説明

１ 復号化器
１ａ，２ａ 第１，第２のＶＰ遅延回路
１ｂ，２ｂ 第１，第２のＶＯＰ遅延回路
２ メモリ
３ 伝送エラー検出器
４ マクロブロック単位修整器
５ ＭＢ選択スイッチ
６ ストリームエラー検出器
７ ビデオパケット単位修整器
８ ＶＰ選択スイッチ
９ 論理和回路
１０ 形状有無検出器
１１ 論理積回路
１２ ＶＯＰ単位修整器
１３ ＶＯＰ選択スイッチ
１８ エラー検出器
１００ａ，１００ｂ，１００ｃ 動画像復号化装置
Ａerr，ＴＳerr エラー通知信号
Ｃｍ マーカ符号
Ｃmb ＭＢ単位置換制御信号
Ｃｓ コンピュータシステム
Ｃvp ＶＰ単位置換制御信号
Ｃvop ＶＯＰ単位置換制御信号
Ｄ フレキシブルディスク本体
ＤＥmb ＶＰ遅延選択データ
ＤＶｄ ＶＰ遅延復号データ
ＤＶref1 ＶＰ遅延置換データ
ＤＥvp ＶＯＰ遅延選択データ
ＤＶref2 ＶＯＰ遅延置換データ
Ｅmb ＭＢ単位選択画像データ
Ｅvp ＶＰ単位選択画像データ
Ｅvop ＶＯＰ単位選択画像データ
ＦＣ フレキシブルディスクケース
ＦＤ フレキシブルディスク
ＦDD フレキシブルディスクドライブ
Ｓｅ セクタ
Ｓerr ストリームエラー通知信号
Ｓmb(1)，Ｓmb(i-1)，Ｓmb(i)，Ｓvp(i+1)，Ｓvp(m) ビデオパケット
Ｓvop ＶＯＰビットストリーム
Ｓvp(1)，Ｓvp(k)，Ｓvp(k+1)，Ｓvp(m) ＶＯＰビットストリーム
Ｓvph(1)，Ｓvph(k)，Ｓvph(k+1)，Ｓvph(m) ＶＯＰヘッダ
Ｔerr 伝送エラー通知信号
Ｔｒ トラック
Ｖｄ 復号画像データ
Ｖin 入力ストリーム
Ｖref 参照画像データ
Ｖrep 置換画像データ

Claims (5)

1. 動画像に対応する画像データを該動画像の１画面を構成する単位領域毎に順次符号化してなる符号化データを含むビットストリームに対して、該符号化データを上記単位領域毎に復号化して復号画像データを生成する復号化処理を施す動画像復号化方法であって、
   上記ビットストリームのエラーを検出するエラー検出処理と、
   上記ビットストリームが、上記動画像の形状を示す形状情報を有するか否かを判定する形状有無判定処理と、
   上記ビットストリームのエラーが検出され、かつ上記ビットストリームが形状情報を有すると判定されたとき、上記復号画像データの修整を、上記動画像の１画面を修整単位として行い、上記ビットストリームのエラーが検出され、かつ上記ビットストリームが形状情報を有していないと判定されたとき、上記復号画像データの修整を、上記単位領域を１以上含む、上記画面より小さい処理領域を修整単位として行う修整処理とを含むことを特徴とする動画像復号化方法。
2. 請求項１記載の動画像復号化方法において、
   上記ビットストリームは、上記単位領域に対応する第１の処理単位を複数含む第２の処理単位毎に、上記符号化データにその復号時のエラー伝搬が阻止されるよう付与された同期信号を含むものであり、
   上記エラー検出処理は、上記ストリームの伝送時に発生した、その発生位置を特定可能な第１のエラーと、該第１のエラー以外の、その発生位置を特定不可能な第２のエラーとを区別して検出するものであり、
   上記修整処理は、上記形状情報を有していないストリームの第１のエラーが検出されたとき、上記復号画像データの修整を、上記第１の処理単位を修整単位として行い、上記形状情報を有していないストリームの第２のエラーが検出されたとき、上記復号画像データの修整を、上記第２の処理単位を修整単位として行うものであることを特徴とする画像復号化方法。
3. 動画像に対応する画像データを該動画像の１画面を構成する単位領域毎に順次符号化してなる符号化データを含むビットストリームに対して復号化処理を施す動画像復号化装置であって、
   上記ビットストリームに含まれる符号化データを上記単位領域毎に復号化して復号画像データを生成する復号化器と、
   上記ビットストリームのエラーを検出するエラー検出部と、
   上記ビットストリームが、上記動画像の形状を示す形状情報を有するか否かを判定する形状有無判定部と、
   上記ビットストリームのエラーが検出され、かつ上記ビットストリームが形状情報を有すると判定されたとき、上記復号画像データの修整を、上記動画像の１画面を修整単位として行い、上記ビットストリームのエラーが検出され、かつ上記ビットストリームが形状情報を有していないと判定されたとき、上記復号画像データの修整を、上記単位領域を１つ以上含む、上記画面より小さい処理領域を修整単位として行う復号画像修整部とを備えたことを特徴とする動画像復号化装置。
4. 請求項３記載の動画像復号化装置において、
   上記ビットストリームは、上記単位領域に対応する第１の処理単位を複数含む第２の処理単位毎に、上記符号化データにその復号時のエラー伝搬が阻止されるよう付与された同期信号を含むものであり、
   上記エラー検出部は、
   上記ビットストリームの伝送時に発生した、その発生位置を特定可能な第１のエラーを検出する第１のエラー検出器と、
   該第１のエラー以外の、その発生位置を特定不可能な第２のエラーを検出する第２のエラー検出器とを有するものであり、
   上記復号画像修整部は、
   上記形状情報を有していないストリームの第１のエラーが検出されたとき、上記復号画像データの修整を、上記第１の処理単位を修整単位として行う第１の修整器と、
   上記形状情報を有していないストリームの第２のエラーが検出されたとき、上記復号画像データの修整を、上記第２の処理単位を修整単位として行う第２の修整器と、
   上記形状情報を有するビットストリームの第１のエラーあるいは第２のエラーが検出されたとき、上記復号画像データの修整を、上記動画像の１画面を修整単位として行う第３の修整器とを有するものであることを特徴とする動画像復号化装置。
5. 動画像に対応する画像データを該動画像の１画面を構成する単位領域毎に順次符号化してなる符号化データを含むビットストリームに対するデータ処理をコンピュータにより行うためのプログラムを格納したプログラム記録媒体であって、
   上記データ処理は、
   上記ビットストリームに含まれる符号化データを上記単位領域毎に復号化して復号画像データを生成する復号化処理と、
   上記ビットストリームに含まれるエラーを検出するエラー検出処理と、
   上記ビットストリームが、上記動画像の形状を示す形状情報を有するか否かを判定する形状有無判定処理と、
   上記ビットストリームのエラーが検出され、かつ上記ビットストリームが形状情報を有すると判定されたとき、上記復号画像データの修整を、上記動画像の１画面を修整単位として行い、上記ビットストリームのエラーが検出され、かつ上記ビットストリームが形状情報を有していないと判定されたとき、上記復号画像データの修整を、上記単位領域を１つ以上含む、上記画面より小さい処理領域を修整単位として行う修整処理とを含むことを特徴とするプログラム記録媒体。

Images