JP2005303487A - 動画像復号装置及び動画像復号プログラム - Google Patents

Abstract

【課題】動き補償予測符号化がなされた画像信号にエラーがある場合に、可能な限り相関性の高い参照ピクチャ内のマクロブロック（ＭＢ）を用いてエラー隠蔽を行うことで画像劣化を防止する必要がある。
【解決手段】ＭＢの復号エラーが検出されると、エラーモード設定手段２０が逆直交変換器１４と動き補償予測器１８をエラーモードに設定し、予測誤差を０とし、動きベクトルを０として処理する。参照画像選択部１７bは、参照インデックスリスト（ＲＩＬ）情報の各参照ピクチャに係る使用数をカウントしており、前記エラーモードが設定されると、画像メモリ１６がセーブしている再生ピクチャの内から使用数が最大になっているものを参照ピクチャとして選択し、その参照ピクチャを動き補償予測器１８へ読み出す。従って、エラーに係るＭＢは実際に最も相関性が高い参照ピクチャの対応ＭＢに置き換えられる。
【選択図】図１

Description

本発明は、動き補償予測を施した符号化信号を対象とする動画像復号装置及び動画像復号プログラムに係り、特に、伝送・再生時等に画像信号にエラーが発生しても画像劣化を招くことなくエラー隠蔽（error concealment）を行うための処理技術に関する。

動画像の画像データはそのデータ量が膨大であるため、一般的には符号化（圧縮）して記録又は伝送されるが、代表的な符号化方式として動き補償予測符号化方式がある。
この動き補償予測符号化方式は、従来からＭＰＥＧ（Moving Picture Expert Group）−１，２，４やＩＴＵ（International Telegraph Union）勧告Ｈ.２６３等の動画像符号化に係る国際標準で広く用いられており、所定ブロック毎に符号化対象画像と既に符号化された参照ピクチャとの間で画像間予測を行う際に、動画像の動きに合わせて画像の各ブロックを移動させてから予測する方法であり、その移動において最も差分が小さくなる位置（動きベクトル）と、そのときの差分が求められる。

ところで、ＭＰＥＧ−１，２，４では画像を、フレーム内（又はフィールド内）符号化画像であるＩピクチャ（Intra-Picture）と、前方向予測符号化画像であるＰピクチャ（Predictive-Picture）と、双方向予測符号化画像であるＢピクチャ（Bidirectionally predictive-Picture）の３種の画像タイプを規定している。
また、ＭＰＥＧ−１，２，４におけるＧＯＰ（Group of Pictures）内のピクチャの並びは、一例として図７のようになっており、同図の各矢印付き円弧はＰピクチャとＢピクチャを所定ブロック単位で動き補償予測符号化する際の参照関係を示している。尚、動き補償予測符号化は、輝度の場合にはマクロブロック（以下、「ＭＢ」という）［１６（水平方向）×１６（垂直方向）の画素］単位で行われる。

そして、前記参照関係に基づいた符号化手順によれば、先ず、PIC(3)［P］は、PIC(0)［I］を参照ピクチャとして、ＭＢ単位で前方向予測符号化又はイントラ符号化のいずれかの符号化方法によって動き補償予測符号化される。（但し、［ ］内は画像タイプを示し、以下、各ピクチャについて同様の表現とする。）
前記動き補償予測符号化において、いずれの符号化方法を採るかの選択は符号化効率に基づいて判断される。
次に、PIC(1)［B］は、PIC(0)［I］とPIC(3)［P］を参照ピクチャとして、ＭＢ単位で前方向予測符号化、後方向予測符号化、両方向予測符号化、又はイントラ符号化のいずれかの方法により動き補償予測符号化され、その選択は前記と同様に符号化効率に基づいて判断される。
また、PIC(2)［B］は、PIC(0)［I］とPIC(3)［P］を参照ピクチャとして、ＭＢ単位での動き補償予測符号化がなされるが、このPIC(2)［B］については両方向予測符号化方法によることとされる。
以下、PIC(6)［P］はPIC(3)［P］を参照ピクチャとしたＭＢ単位での前方向予測符号化方法により、PIC(4)［B］及びPIC(5)［B］はそれぞれPIC(3)［P］とPIC(6)［P］を参照ピクチャとしたＭＢ単位での両方向符号化方法によりそれぞれ動き補償予測符号化され、それ以降の各ピクチャに関しても同様に、PIC(9)［P］・PIC(7)［B］・PIC(8)［B］・・・の順で動き補償予測符号化される。

一方、２００３年にＩＴＵ−Ｔで標準化された次世代画像符号化方式である勧告Ｈ.２６４（下記非特許文献１を参照）では、予測に用いるブロックのサイズが従来のＭＰＥＧ−１，２，４やＩＴＵ勧告Ｈ.２６３がＭＢ又は８×８画素であったのに対して、ＭＢ内に複雑な部分と平坦な部分がある場合には柔軟にブロックのサイズを変化させるようにしている。
即ち、前記以外に１６×８画素，８×１６画素，８×４画素，４×８画素，４×４画素の各サイズを選択でき、予測に用いるブロックのサイズをＭＢ単位又は各種のＭＢパーティション単位で指定できるようになっている。
また、最大で５つまでの参照ピクチャを用いることができることも規定されており、演算量とメモリ容量は増大するが、より類似したブロックが参照できるようになるために符号量の削減が可能になる。
特に、Ｂピクチャの動き補償予測に関しては、複数の参照ピクチャの中から１つ又は２つの参照ピクチャを選択して、片方向予測符号化又は両方向予測符号化の符号化方式で動き補償予測を行うことができると共に、両方向予測符号化の場合には、現在の符号化対象画像に対して時間的に前後の組み合わせに限らず、前２つの参照ピクチャ、又は後２つの参照ピクチャというような組み合わせも可能になっている。

今、図７と同様に、勧告Ｈ.２６４に基づいたピクチャの並びの一例とＰピクチャとＢピクチャを動き補償予測符号化する際の参照関係を示すと図８のようになる。
同図において、先ず、PIC(0)［I］，PIC(3)［P］，PIC(1)［B］，PIC(2)［B］については、図７の場合と同様の参照ピクチャに基づいて動き補償予測符号化がなされる。
次に、PIC(9)［P］は、PIC(0)［I］，PIC(3)［P］を参照ピクチャとして、選択ブロックサイズで片方向予測符号化又はイントラ符号化のいずれかの方法によって動き補償予測符号化される。
また、PIC(6)［P］が、PIC(0)［I］，PIC(3)［P］，PIC(9)［P］を参照ピクチャとして、選択ブロックサイズで片方向予測符号化又はイントラ符号化のいずれかの方法によって動き補償予測符号化される。
更に、PIC(4)［B］は、PIC(0)［I］，PIC(3)［P］，PIC(6)［P］，PIC(9)［P］を参照ピクチャとして、選択ブロックサイズで片方向予測符号化、両方向予測符号化、又はイントラ符号化のいずれかの方法で動き補償予測符号化される。即ち、PIC(4)［B］は、PIC(0)［I］を参照ピクチャとする片方向予測符号化、PIC(3)［P］を参照ピクチャとする片方向予測符号化、PIC(6)［P］を参照ピクチャとする片方向予測符号化、PIC(9)［P］を参照ピクチャとする片方向予測符号化、PIC(0)［I］及びPIC(3)［P］を参照ピクチャとする両方向予測符号化、PIC(0)［I］及びPIC(6)［P］を参照ピクチャとする両方向予測符号化、PIC(0)［I］及びPIC(9)［P］を参照ピクチャとする両方向予測符号化、PIC(3)［P］及びPIC(6)［P］を参照ピクチャとする両方向予測符号化、PIC(3)［P］及びPIC(9)［P］を参照ピクチャとする両方向予測符号化、PIC(6)［P］及びPIC(9)［P］を参照ピクチャとする両方向予測符号化、若しくはイントラ符号化のいずれかの符号化方式で動き補償予測符号化される。
以降のPIC(5)［B］・PIC(7)［B］・PIC(8)［B］についても、PIC(0)［I］、PIC(3)［P］、PIC(6)［P］、又はPIC(9)［P］を参照ピクチャとして、同様に動き補償予測符号化される。

次に、動き補償予測符号化において、いずれの参照ピクチャが用いられたのかを示す参照インデックスについて説明する。
Ｈ．２６４では多数の参照ピクチャが複雑な参照関係で用いられることから、動き補償予測符号化の際に利用される参照ピクチャは参照インデックスにより指定され、１つの参照インデックスが１つの参照ピクチャに割り当てられる。
また、参照インデックスをリストとして並べられたものが参照インデックスリストと称されている。
参照インデックスリストはピクチャよりも低位のレイヤであるスライス単位で定義することができる。但し、ここでは説明を簡略化するために１ピクチャは１スライスで構成されているものとし、ＩスライスをＩピクチャ、ＰスライスをＰピクチャ、ＢスライスはＢピクチャと等価であると仮定して表現する。

次の表１は図８の場合におけるデフォルトの参照インデックスリストを示し、同表の［ ］の前にある数字00〜03，10〜13が参照インデックスに相当し、［ ］内は各参照インデックスが示すピクチャである。

ここで、Ｐピクチャについては１つの参照インデックスリスト（ＲＩＬ［０］）を、またＢピクチャについては２つの参照インデックスリスト（ＲＩＬ［０］及びＲＩＬ［１］）を動き補償予測に用いる。

先ず、Ｐピクチャに係る並び替え順序を説明する。
Ｐピクチャでは符号化順序に基づいて並び替えを行う。例えば、ＰＩＣ６の動き補償予測符号化の際には、参照ピクチャとしてPIC(0)［I］とPIC(3)［P］とPIC(9)［P］が存在するが、これを符号化の新しい順序で並べるとPIC(9)［P］→PIC(3)［P］→PIC(0)［I］となり、ＲＩＬ［０］ではその順序で並べられている。
次に、Ｂピクチャに係る並び替え順序を説明する。
Ｂピクチャでは出力順序に基づいて並び替えを行う。即ち、ＲＩＬ［０］に関しては、現在符号化しているピクチャの出力順序よりも早く出力される参照ピクチャの中で最も遅く出力される参照ピクチャから順に並べてから、現在符号化しているピクチャの出力順序よりも遅く出力される参照ピクチャの中で最も早く出力される参照ピクチャから順に並べる。一方、ＲＩＬ［１］に関しては、現在符号化しているピクチャの出力順序よりも遅く出力される参照ピクチャの中で最も早く出力される参照ピクチャから順に並べてから、現在符号化しているピクチャの出力順序よりも早く出力される参照ピクチャの中で最も遅く出力される参照ピクチャから順に並べる。
例えば、PIC(4)［B］の動き補償予測符号化の際には、参照ピクチャとしてPIC(0)［I］とPIC(3)［P］とPIC(6)［P］とPIC(9)［P］が存在するが、ＲＩＬ［０］に関しては、上記の規則どおりにPIC(4)［B］の出力順序よりも早く出力される参照ピクチャの中で最も遅く出力される参照ピクチャから順に並べると、PIC(3)［P］→PIC(0)［I］となり、PIC(4)［B］の出力順序よりも遅く出力される参照ピクチャの中で最も早く出力される参照ピクチャから順に並べると、PIC(6)［P］→PIC(9)［P］となる。一方、ＲＩＬ［１］に関しては、PIC(4)［B］の出力順序よりも遅く出力される参照ピクチャの中で最も早く出力される参照ピクチャから順に並べるとPIC(6)［P］→PIC(9)［P］となり、PIC(4)［B］の出力順序よりも早く出力される参照ピクチャの中で最も遅く出力される参照ピクチャから順に並べるとPIC(3)［P］→PIC(0)［I］となる。従って、ＲＩＬ［０］ではPIC(3)［P］→PIC(0)［I］→PIC(6)［P］→PIC(9)［P］の並びになり、ＲＩＬ［１］ではPIC(6)［P］→PIC(9)［P］→PIC(3)［P］→PIC(0)［I］となる。

また一方、動き補償予測符号化に際しては、一般的に、参照インデックスリストにおける参照ピクチャの順序を符号化ピクチャに対して相関性の高いピクチャから順に設定しておいた方が符号化効率の向上が図れるという性質がある。
そのため、例えば、PIC(6)［P］に関して、一番相関性の高い参照ピクチャがPIC(0)［I］であり、次に相関の高い参照ピクチャがPIC(9)［P］で、最も相関の低い参照ピクチャがPIC(3)［P］である場合には、動き補償予測に使用される参照インデックスは、一般的にPIC(0)［I］→PIC(9)［P］→PIC(3)［P］の順で使用頻度が高くなる。
このような場合には、前記のＲＩＬ［０］及びＲＩＬ［１］は次の表２のようになり、ＲＩＬ［０］におけるPIC(6)［P］の参照ピクチャは前記相関順序に基づいて並べられる。

ところで、動画像を符号化して得られる符号化画像信号を伝送する場合、例えば伝送路の途中やディスクからの読み出し過程でエラーが発生し、データの一部が欠落することがある。
前記の画像タイプの並びでの動き補償予測符号化は、データの圧縮という観点では極めて有効であるが、動きベクトル情報が欠落すると、データの受信再生側では致命的な画質劣化を生じさせてしまうことになる。
例えば、任意のＰピクチャの画像信号は直前にあるＰピクチャ又はＩピクチャを参照した動き補償予測符号化によって生成されるため、あるブロックについての動きベクトル情報が失われると、そのブロックでの動き補償が不可能になって画像の一部が欠落すると共に、その画像劣化がそれ以降のＧＯＰ内のピクチャに対して伝播する。

そのような問題点に対して、従来から、動画像信号の復号装置側においてエラー隠蔽（Error Concealment）を行うことが有効とされ、そのための各種の方法が検討されている。
例えば、図９の（Ａ）及び（Ｂ）に示すように、現在復号対象とされているＰピクチャのＭＢ１０１が欠落した場合に、直前のＰピクチャにおける同一位置のＭＢ１０２をそのままコピーするエラー隠蔽処理方法や、欠落したＭＢ１０１の上側と左側のＭＢ１０３，１０４の各動きベクトルの平均値をＭＢ１０１の動きベクトル情報としてするエラー隠蔽処理方法を開示している。
また、後者のエラー隠蔽処理方法に類似した技術として、下記特許文献１には、エラーを有する損失ブロックを検出し、復元元フレームの損失ブロックに対する複数の隣接ブロックの画素値及び隣接ブロックに対応する動きベクトルを求め、それら隣接ブロックに対する動きベクトルに基づいて求めた補償ブロックを前記損失ブロックに対する置き換えブロックとする提案がなされている。
その他、下記特許文献２には、復号手段の復号動作中にエラーの検出があったときに、エラーが検出された符号化データから復号されたＤＣ値が基準値に対して所定範囲内にあるか否かに基づいて、前画像を参照したエラーの隠蔽処理を行うか、復号されたＤＣ値に基づくエラーの隠蔽処理を行うかを決定する復号装置が提案されている。

特開平９−１８７０１６号公報 特開２００１−６９５１４号公報 ＩＴＵ−Ｔ勧告Ｈ．２６４

前記の従来技術で説明したエラー隠蔽処理方法は、隣接するＭＢは空間的に相関性が高いという性質を利用したものであり、エラーが発生したブロックを含む画像が直前の参照ピクチャと類似した絵柄の画像である場合には有効に働く。
例えば、図１０において、PIC(1)［B］とPIC(2)［B］とPIC(3)［P］は直前のＩピクチャであるPIC(0)［I］を用いて、PIC(4)［B］とPIC(5)［B］とPIC(6)［P］は直前のＰピクチャであるPIC(3)［P］を用いて、PIC(7)［B］とPIC(8)［B］とPIC(9)［P］は直前のＰピクチャであるPIC(6)［P］を用いて、それぞれエラー隠蔽処理がなされるため、それらの利用関係にあるピクチャ間で絵柄が類似していれば自然な画像として補正されることになる。
しかしながら、前記従来技術においては、直前のＩピクチャやＰピクチャを用いるという規則性に基づいているだけであって、エラー隠蔽処理に利用するピクチャが最も相関性の高いものであるとは限らない。
従って、エラーが生じたＭＢが最適なピクチャのＭＢで置き換えられているとは限らず、絵柄の隔たりが大きいときには画像の劣化を招くことになる。
特に、シーンチェンジ等のように絵柄が全く異なってしまうような場合においては、従来技術のエラー隠蔽処理方法によると、処理後の画像内には異質なブロックが混在することになって著しい画像の劣化を招く。

そこで、本発明は、画像信号の伝送過程等でエラーが発生した際に、できる限り相関性の高いピクチャ内のＭＢを利用してエラー隠蔽を行うようにして高品質な復号画像がえられるようにし、また更には、シーンチェンジ等があっても本来の画像に殆ど影響を与えないエラー隠蔽処理を行える動画像復号装置を提供することを目的として創作された。

第１の発明は、ＧＯＰ（Group of Pictures）内で非イントラピクチャの各符号化単位ブロックを他の１又は２以上の参照ピクチャ内のブロックを用いて動き補償予測符号化し、その予測誤差信号を直交変換・量子化する方法によって符号化がなされた符号化データ列であり、スライスヘッダ情報に、符号化スライス毎の情報であって前記参照ピクチャに対応付けたインデックスを符号化ピクチャに対して相関性が高い参照ピクチャ順に並べた参照インデックスリスト情報を有し、前記符号化単位ブロック毎の符号化データに、その符号化単位ブロックを符号化する際に用いた参照ピクチャを示す参照インデックスと動きベクトル情報とを有する符号化データ列を復号対象とし、各符号化単位ブロックの復号に際しては、逆量子化・逆直交変換手段で予測誤差信号を復号し、先に再生処理されたピクチャを一時的に記憶手段に記憶させておき、参照画像選択手段が前記参照インデックスリスト情報と前記参照インデックスとに基づいて前記記憶手段から参照ピクチャを選択して動き補償予測手段へ読み出し、前記動き補償予測手段が前記動きベクトル情報と前記参照ピクチャとから予測信号を生成し、加算手段が前記復号した予測誤差信号と前記予測信号とを加算することにより再生画像信号を得る動画像復号装置において、符号化単位ブロックの復号エラーが検出された場合に、前記逆量子化・逆直交変換手段と前記動き補償予測手段と前記参照画像選択手段とをエラーモードに設定するエラーモード設定手段を設け、前記エラーモードが設定された場合に、前記逆量子化・逆直交変換手段は予測誤差を０とすると共に、前記動き補償予測手段は動きベクトルを０として処理し、前記参照画像選択手段は復号対象となっている符号化ピクチャに対応した前記参照インデックスリスト情報における最先順位の参照インデックスに対応する参照ピクチャを選択して前記動き補償予測手段へ読み出すことを特徴とする動画像復号装置に係る。
また、この発明においては、符号化単位ブロックの復号エラーが検出された場合に前記逆量子化・逆直交変換手段と前記動き補償予測手段をエラーモードに設定し、前記エラーモードにおいて、前記逆量子化・逆直交変換手段が予測誤差を０として出力し、前記動き補償予測手段が動きベクトルを０として処理するように、それらの各手段を制御する機能と、前記エラーモードが設定された場合に、前記参照画像選択手段が復号対象となっている符号化ピクチャに対応した前記参照インデックスリスト情報における最先順位の参照インデックスに対応する参照ピクチャを選択して前記動き補償予測手段へ読み出す機能とをコンピュータによって実行させることができる。

前記第１の発明によれば、符号化単位ブロックの復号エラーが発生した場合に、参照インデックスリスト情報の構成に基づいて、そのエラーが発生したブロックを復号中の符号化ピクチャに対する参照ピクチャの内で最も相関性が高いとみなされている参照ピクチャの対応ブロックに置き換えることができる。

第２の発明は、ＧＯＰ内で非イントラピクチャの各符号化単位ブロックを他の１又は２以上の参照ピクチャ内のブロックを用いて動き補償予測符号化し、その予測誤差信号を直交変換・量子化する方法によって符号化がなされた符号化データ列であり、スライスヘッダ情報に、符号化スライス毎の情報であって前記参照ピクチャに対応付けたインデックスを符号化スライスに対して所定順に並べた参照インデックスリスト情報を有し、前記符号化単位ブロック毎の符号化データに、その符号化単位ブロックを符号化する際に用いた参照ピクチャを示す参照インデックスと動きベクトル情報とを有する符号化データ列を復号対象とし、各符号化単位ブロックの復号に際しては、逆量子化・逆直交変換手段で予測誤差信号を復号し、先に再生処理されたピクチャを一時的に記憶手段に記憶させておき、参照画像選択手段が前記参照インデックスリスト情報と前記参照インデックスとに基づいて前記記憶手段から参照ピクチャを選択して動き補償予測手段へ読み出し、前記動き補償予測手段が前記動きベクトル情報と前記参照ピクチャとから予測信号を生成し、加算手段が前記復号した予測誤差信号と前記予測信号とを加算することにより再生画像信号を得る動画像復号装置において、前記参照画像選択手段が、前記参照インデックスリスト情報に基づいて各参照ピクチャに対応する使用数情報の格納領域を設け、参照ピクチャを選択する度にその参照ピクチャに対応する使用数情報をインクリメントするようにし、符号化単位ブロックの復号エラーが検出された場合に、前記逆量子化・逆直交変換手段と前記動き補償予測手段と前記参照画像選択手段とをエラーモードに設定するエラーモード設定手段を設け、前記エラーモードが設定された場合に、前記逆量子化・逆直交変換手段は予測誤差を０とすると共に、前記動き補償予測手段は動きベクトルを０として処理し、前記参照画像選択手段は前記使用数情報が最大になっている参照ピクチャを選択して前記動き補償予測手段へ読み出すことを特徴とする動画像復号装置に係る。
また、この発明においては、符号化単位ブロックの復号エラーが検出された場合に前記逆量子化・逆直交変換手段と前記動き補償予測手段をエラーモードに設定し、前記エラーモードにおいて、前記逆量子化・逆直交変換手段が予測誤差を０として出力し、前記動き補償予測手段が動きベクトルを０として処理するように、それらの各手段を制御する機能と、前記参照画像選択手段による、前記参照インデックスリスト情報に基づいて各参照ピクチャに対応する使用数情報の格納領域を設け、参照ピクチャを選択する度に対応した使用数情報をインクリメントする機能、及び、前記エラーモードが設定された場合に、前記使用数情報が最大になっている参照ピクチャを選択して前記動き補償予測手段へ読み出す機能とをプログラムに基づいてコンピュータによって実行させることができる。

前記第２の発明によれば、符号化単位ブロックの復号エラーが発生した場合に、前記使用数情報に基づいて、復号中の符号化ピクチャに対して最も多く使用されている参照ピクチャの対応ブロックを用いることになり、実際の画像の相関性が反映されるために、シーンチェンジ等のように絵柄が全く異なってしまうようなときにおいても、最適な参照ブロック内の対応ブロックを選択して置き換えることができる。
尚、前記第１及び第２の発明に係るコンピュータプログラムは、記録媒体に記録されて提供されてコンピュータに取り込まれるものか、通信回線を介したダウンロードによってコンピュータに取り込まれるものであるかは問わない。

本発明の動画像復号装置及び動画像復号プログラムは、エラーが発生したブロックを含む画像について、参照インデックスリスト情報と参照インデックスを参考にして、また、参照インデックスリスト情報に示されている参照ピクチャに係る使用頻度情報に基づいて、現在復号中のブロックを含む符号化ピクチャと最も相関性の高い参照ピクチャの対応ブロックを用いて前記エラーブロックを置き換えることにより、画質劣化が目立たないようにしたエラー隠蔽処理を可能にする。
特に、前記使用頻度情報に基づく場合においては、シーンチェンジ等のように絵柄が大きく変わるようなシーンが発生した直後の画像にエラーが発生しても、殆ど画像劣化が生じないエラー隠蔽処理を可能にする。
また、本発明では、動画像復号に関する規格外の特別な条件が課されず、データの処理量も殆ど増大させることなく実現できる。

以下、本発明の動画像復号装置の各実施例について、図面を参照しながら詳細に説明する。
各実施例に係る動画像復号装置においては、エラーが発生したブロックを含む画像についてエラー隠蔽処理を施した場合に、画質劣化を目立たなくするという目的を、動画像復号に関する規格外の特別な情報を用いることなく、また処理量も増加することなしに実現している。

この実施例に係る動画像復号装置はＨ.２６４に基づく画像符号化方式によって符号化された動画像データを復号するものであり、そのブロック回路図は図１に示される。
先ず、符号化された動画像信号は多重分離器１１へ入力されるが、多重分離器１１では、スライスヘッダに含まれるスライスタイプ（Ｉスライス，Ｐスライス，Ｂスライス）と、参照インデックスリスト情報（以下、「ＲＩＬ情報」という）と、ＭＢに関するエントロピー符号列の情報とに分離される。
但し、従来技術の欄で仮定したように、この実施例においても、説明を簡略化するために、１ピクチャは１スライスで構成されており、ＩスライスをＩピクチャ、ＰスライスをＰピクチャ、ＢスライスはＢピクチャと等価であると仮定して表現する。
そして、多重分離器１１は、ＲＩＬ情報を参照画像選択部１７aへ送り、ピクチャタイプとＭＢに関するエントロピー符号列の情報とをエントロピー復号器１２へ送る。

エントロピー復号器１２では、符号化規格で定められたシンタックス情報に基づいて、入力されたエントロピー符号列を、ＭＢ毎に符号化されているＭＢアドレス（ＭＢの位置情報）と参照インデックスと動きベクトル情報と可変長符号列等に分離する。
また、エントロピー復号器１２は、可変長符号列を固定長符号列に変換して逆量子化器１３へ出力させると共に、動きベクトル情報を動き補償予測器１８へ、参照インデックスを参照画像選択部１７aへ、ＭＢアドレスをバッファメモリ１５aのリードライト部へそれぞれ転送する。

逆量子化器１３ではＭＢ毎に固定長符号列を変換係数に置き換え、次段の逆直交変換器１４で符号化側の直交変換処理に対応した逆変換処理が行われ、その結果としてＭＢ毎の予測誤差信号が生成されて加算器１９へ出力される。
また、動き補償予測器１８では、エントロピー復号器１２からの動きベクトル情報と参照画像選択部１７aから得られる参照ピクチャを用いてＭＢ毎の予測信号を生成し、その予測信号を加算器１９へ出力する。
ここで、参照画像選択部１７aでは、多重分離器１１から符号化ピクチャ毎にＲＩＬ情報が転送されるためにそれをセーブし、その後に転送されるＭＢ毎の参照インデックスをＲＩＬ情報に対照させることで画像メモリ１６の各再生ピクチャから参照ピクチャを選択し、選択した参照ピクチャを動き補償予測器１８へ読み出す。

逆直交変換器１４の予測誤差信号と動き補償予測器１８の予測信号とは加算器１９で加算されてＭＢ毎の再生画像信号となり、そのＭＢ毎の再生画像信号はＭＢアドレスに基づいて一旦バッファメモリ１５aへ書き込まれ、１ピクチャ分の信号が書き込まれた段階でループフィルタ１５へ読み出され、ブロックノイズを除去するためのフィルタ処理が施される。
そして、フィルタ処理後の再生ピクチャは前記のように動き補償予測処理で参照ピクチャとして利用される場合には画像メモリ１６に一旦セーブされ、その利用が終了した後に画像メモリ１６から出力されることになる。

ところで、前記のように、参照画像選択部１７aはＲＩＬ情報と参照インデックスを用いて画像メモリ１６の参照ピクチャを選択するが、ＲＩＬ情報は符号化ピクチャ単位で構成された情報であり、表２に示したＲＩＬ［０］とＲＩＬ［１］における参照インデックスと参照ピクチャの対応情報として構成されている。
これは、前記の表２において、符号化ピクチャに対応した行方向のデータに相当し、例えば、符号化ピクチャP(4)［B］のＲＩＬ情報であれば00[PIC(3)]，01[PIC(0)]，02[PIC(6)]，03[PIC(9)]，10[PIC(6)]，11[PIC(9)]，12[PIC(3)]，13[PIC(0)]となる。

従って、参照画像選択部１７aでは、ＲＩＬ情報をセーブさせた後にＭＢ毎の参照インデックスが入力されると、ＲＩＬ情報からその参照インデックスに対応した画像メモリ１６内の参照ピクチャを選択することができる。即ち、選択された参照ピクチャは符号化装置側で各ＭＢを符号化する際に用いられた参照ピクチャに相当する。
読み出された参照ピクチャは動き補償予測器１８へ出力され、前記のように動き補償予測器１８が動きベクトル情報とその参照ピクチャを用いてＭＢ毎の予測信号を生成させることになるが、その予測信号は逆直交変換器１４が出力するＭＢの予測誤差信号に対応するものであり、加算器１９による予測信号と予測誤差信号を加算するとＭＢの再生画像信号が得られることになる。

ところで、以上は通常の動き補償予測復号を行う際の動作であるが、この動画像復号装置はエラー隠蔽機能を備えており、エラーモード設定部２０が設けられている。
そして、エントロピー復号器１２においてエントロピー符号列のＭＢの復号を行っている状態でエラーが検出されると、エラー発生信号（ＭＢアドレスも含む）がエラーモード設定部２０へ出力され、エラーモード設定部２０はエラーモード設定信号を出力して逆直交変換器１４と動き補償予測器１８と参照画像選択部１７aをエラーモードにする。

そのエラーモードの場合、逆直交変換器１４は、復号中のＭＢに係る予測誤差の如何に拘わらず、予測誤差信号を０として加算器１９へ出力させる。
また、動き補償予測器１８は、復号中のＭＢに係る動きベクトル情報の如何に拘わらず、動きベクトルを（０，０）として処理して参照画像選択部１７aから得られる参照ピクチャとから予測信号を出力する。
即ち、予測誤差信号が０で動きベクトルも（０，０）となるため、エラーが検出された復号中のＭＢは、参照画像選択部１７aが画像メモリから読み出した参照ピクチャの対応するＭＢにそのまま置き換えられることになる。

従って、参照画像選択部１７aでの参照ピクチャの選択基準が問題となるが、この実施例では符号化側で用いた参照インデックスリスト：ＲＩＬ［０］，ＲＩＬ［１］が表２で与えられている。
前記のように、エントロピー復号器１２におけるＭＢの復号時にエラーが発生していない状態では、表２に基づいたＲＩＬ情報がそのまま選択基準に用いられ、参照画像選択部１７aはＲＩＬ情報において参照インデックスで指定されているピクチャを参照ピクチャとして選択する。

しかし、エラーモードが設定されると、参照画像選択部１７aは次のような基準で参照ピクチャの選択を実行する。
先ず、復号中のＭＢがＰピクチャ［即ち、PIC(3)，PIC(6)，PIC(9)］に係るものである場合には、参照ピクチャはＲＩＬ［０］だけに存在するため、一義的にそのリストＲＩＬ［０］が利用され、参照インデックスが00である参照ピクチャを選択する。
一方、復号中のＭＢがＢピクチャ［即ち、PIC(1)，PIC(2)，PIC(4)，PIC(5)，PIC(7)，PIC(8)］に係るものである場合には、ＲＩＬ［０］の参照インデックス00の参照ピクチャの出力タイミングとＲＩＬ［１］の参照インデックス10の参照ピクチャの出力タイミングとを比較して、現在復号しているＢピクチャの出力タイミングと時間的に近い方の参照ピクチャを選択する。
例えば、復号中のＭＢが含まれている符号化ピクチャがPIC(1)であった場合に、ＲＩＬ［０］側の00［PIC(0)］とＲＩＬ［１］側の10［PIC(3)］の出力タイミングをPIC(1)の出力タイミングと比較すると、図８から明らかなように、PIC(0)の出力時間が近いため、00［PIC(0)］側が選択される。
また、復号中のＭＢが含まれている符号化ピクチャがPIC(8)であった場合に、ＲＩＬ［０］側の00［PIC(6)］とＲＩＬ［１］側の10［PIC(9)］の出力タイミングをPIC(8)の出力タイミングと比較すると、PIC(9)の出力時間が近いため、10［PIC(9)］側が選択される。

換言すれば、この実施例では、エラーモードが設定されると、参照画像選択部１７aが現在復号中のＭＢを含む符号化ピクチャに対する参照ピクチャの内でその符号化ピクチャと最も相関性が高い参照ピクチャ（表２であれば参照インデックスが00又は10の参照ピクチャ）を選択することとし、且つ、前記符号化ピクチャがＢピクチャであり、２つのリスト：ＲＩＬ［０］，ＲＩＬ［１］の何れかから参照ピクチャを選択しなければならない場合（参照インデックスが00又は10の何れかの参照ピクチャを選択しなければならない場合）には、前記符号化ピクチャの出力タイミングとの比較でより時間的に近い方のタイミングで出力される参照ピクチャをより相関性が高いものとみなして、その参照ピクチャを選択するようにしている。

その結果、エラーモードでは、エラーが検出された復号中のＭＢに対して、最も相関性の高いとされている参照ピクチャにおける対応位置のＭＢが強制的に置き換えられてエラー隠蔽処理がなされることになる。
今、従来技術で説明した図９の（Ａ）のエラー隠蔽方法によると、直前のＰピクチャにおける同一位置のＭＢ１０２をそのままコピーすることになるが、そのエラー隠蔽方法でエラーを生じたＭＢを含む復号ピクチャに対して適用されるピクチャとこの実施例で適用される参照ピクチャとを対比させると次の表３のようになる。

同表から明らかなように、エラーが発生したＭＢを含む復号ピクチャがP(2)，P(5)，P(6)，P(8)，P(9)の場合にエラー隠蔽のために用いられるピクチャが異なっており、この実施例による方が、より相関性の高いピクチャ内のＭＢで置き換えられるために、より適切なエラー隠蔽画像が適用されることになる。

前記の実施例１の動画像復号装置が参照インデックスリストでの参照ピクチャの並び順を利用してエラー隠蔽を行っているのに対して、この実施例は参照ピクチャの利用頻度情報を利用してエラー隠蔽を行う動画像復号装置に係るものである。
この実施例の動画像復号装置も図１のブロック回路図と同様の基本的構成を有するが、その内の参照画像選択部の機能だけが相違しており、この実施例では実施例１の場合と区別するために、参照画像選択部の符号を１７bとして表現してある。
そして、他の部分に関しては全て機能が同様であるために、ここではそれらの説明を省略し、主にこの実施例の特徴である参照画像選択部１７bの動作について説明する。

この実施例における参照画像選択部１７bは参照ピクチャの使用頻度情報を記憶するための内蔵メモリを備えており、エントロピー復号器１２から復号を開始する符号化ピクチャに係るＲＩＬ情報が転送されてくると、直ちにそのＲＩＬ情報に含まれている参照ピクチャ毎に使用数格納領域を構成し、後に転送されるＭＢ毎の参照インデックスに基づいて前記使用数格納領域の数をインクリメントさせてゆく。

例えば、Ｐピクチャである符号化ピクチャPIC(6)を復号中には、上記の表２に基づいて、次の表４に示すような使用数格納領域が構成され、各参照インデックス00，01，02の何れかの転送がある度に、その参照インデックスに対応した使用数Ａ，Ｂ，Ｃの何れかが＋１ずつインクリメントされて、符号化ピクチャPIC(6)［P］についての参照ピクチャであるPIC(0)，PIC(9)，PIC(3)の使用頻度情報が累計値として格納される。

尚、他のＰピクチャPIC(3)，PIC(9)についてもPIC(6)の場合に準じた使用頻度情報の累計処理となるが、PIC(3)については参照ピクチャがPIC(0)の一種類だけであって、後述のエラー隠蔽処理においてはPIC(0)しか用いないことから、使用頻度情報の累計処理を行わなくても足りる。

また、例えば、Ｂピクチャである符号化ピクチャPIC(4)を復号中には、次の表５に示すような使用数格納領域が構成される。

Ｂピクチャの場合には上記のようにＲＩＬ情報はＲＩＬ［０］とＲＩＬ［１］の２つのリスト情報として転送されるが、ＲＩＬ［０］とＲＩＬ［１］のそれぞれに含まれる参照ピクチャは同一であり、順序が異なっていると共に異なる参照インデックスが与えられているだけである。
従って、表５のように、参照ピクチャ毎に参照インデックスをまとめておき、各参照インデックス00又は12，01又は13，02又は10，03又は11のいずれかが得られる度に対応した使用数Ａ，Ｂ，Ｃ，Ｄの何れかが＋１ずつインクリメントされて、符号化ピクチャPIC(4)［B］についての参照ピクチャであるPIC(3)，PIC(0)，PIC(6)，PIC(9)の使用頻度情報が累計値として格納されるようになっている。
尚、他のＢピクチャPIC(1)，PIC(2)，PIC(5)，PIC(7)，PIC(8)についてもPIC(4)の場合に準じた使用頻度情報の累計処理が行われる。

この実施例の動画像復号装置においては、以上の使用頻度情報の累計処理を前提として、エラー隠蔽処理を以下のような動作で実行する。
先ず、エントロピー復号器１２においてエントロピー符号列のＭＢの復号を行っている状態でエラーが検出されると、エラー発生信号がエラーモード設定部２０へ出力され、エラーモード設定部２０がエラーモード設定信号を出力して逆直交変換器１４と動き補償予測器１８と参照画像選択部１７bをエラーモードに設定することは実施例１の場合と同様である。
また、そのエラーモードにおいて、逆直交変換器１４が復号中のＭＢに係る予測誤差の如何に拘わらず予測誤差信号を０として加算器１９へ出力させ、動き補償予測器１８が、復号中のＭＢに係る動きベクトル情報の如何に拘わらず動きベクトルを（０，０）として参照画像選択部１７bから得られる参照ピクチャとから予測信号を求め、復号エラーが生じたＭＢを参照画像選択部１７bから得られた参照ピクチャの対応するＭＢに置き換えることも実施例１の場合と同様である。

この実施例の特徴は、エラーモードが設定された場合における参照画像選択部１７bによる参照ピクチャの選択基準にある。
即ち、エラーモードが設定されると、参照画像選択部１７bは直ちに内蔵メモリの使用頻度情報を確認し、その使用数格納領域に格納されている使用数の内で最大値になっている参照ピクチャを選択する。
例えば、復号エラーが生じたＭＢを含むピクチャがPIC(6)［P］であった場合には、表４における使用数Ａ，Ｂ，Ｃの内の最大値に対応した参照ピクチャが選択され、また、PIC(4)［B］であった場合には、表５における使用数Ａ，Ｂ，Ｃ，Ｄの内の最大値に対応した参照ピクチャが選択される。

ところで、前記の参照ピクチャの使用頻度情報は、復号中の符号化ピクチャの各ＭＢに対して各参照ピクチャがどのような頻度で参照されていたかを示す累計情報であり、各表における使用数は復号エラーが生じたＭＢを含むピクチャに対する相関性の高さを表す。
従って、前記の最大使用数に対応した参照ピクチャは前記復号エラーに係るピクチャと最も相関性が高いものであり、その参照ピクチャから復号エラーが発生したＭＢに対応する位置のＭＢを読み出して、前記エラーに係るＭＢと置き換えることにより、実際の画像において最も相関性の高い参照ピクチャのＭＢを用いたエラー隠蔽処理が実行できることになる。

前記のエラー隠蔽処理について具体的な画像表示内容で説明すると図２と図３のようになる。
各図において、PIC(m)〜PIC(m+3)はピクチャを出力時系列で示したものであり、Ｐピクチャ→Ｂピクチャ→Ｂピクチャ→Ｐピクチャの順になっている。
また、各図においては、PIC(m)とPIC(m+1)の間でシーンチェンジが発生している。
今、ＢピクチャであるPIC(m+1)内のＭＢ（斜線方形領域）でエラーが発生した場合、従来技術の前記エラー隠蔽方法によると、図２に示すように、エラーブロックに対して直前のＰピクチャであるPIC(m)内の同一位置のＭＢが置き換えられる。
そのため、図２におけるエラー隠蔽後のPICec(m+1)にはシーンチェンジ前の符号化ピクチャPIC(m)の対応ＭＢである異質な画像が含まれることになり、不自然なピクチャが介在して画質の劣化を招く。
一方、図３はこの実施例によるエラー隠蔽処理を施す場合を示す。
この実施例では、参照ピクチャの使用頻度情報に基づいて復号中の符号化ピクチャと最も相関性の高い参照ピクチャが選択され、その中の対応ＭＢがエラーブロックと置き換えられることになる。
即ち、従来技術のエラー隠蔽方法の場合のように全く絵柄の異なるPIC(m)が選択されることはなく、PIC(m+2)又はPIC(m+3)が選択される。（この図３ではPIC(m+3)が選択されている。）
従って、エラー隠蔽後のPICec(m+1)は、殆ど元の画像に近いものになり、画質の劣化を招かない。

尚、以上に説明したエラー隠蔽処理における参照ピクチャの選択においては、符号化ピクチャのＭＢの復号中にエラーが発生した場合に、その符号化ピクチャにおける復号済みの全てのＭＢを対象として、参照ピクチャの使用頻度情報を用いているが、復号済みのＭＢの内でエラーが発生したＭＢの近傍に位置するＭＢについてだけの参照ピクチャの使用頻度情報を用いてもよい。
これは、エラーが発生したＭＢの近傍のＭＢに対して高い相関性を有するＭＢを含む参照ピクチャであれば、エラーが発生したＭＢに対応する位置のＭＢも高い相関性を有する可能性はきわめて高く、むしろ前記のように全ての復号済のＭＢを対象とするよりも適切な参照ピクチャを選択できる場合が少なくないからである。

また、この実施例では符号化ピクチャ毎に参照ピクチャの使用頻度情報を作成して用いるため、各符号化ピクチャについて復号開始時から幾つかのＭＢが復号されるまでの期間は使用頻度情報が無いか又は十分でないことになるが、その間にエラーが発生した時には、実施例１や従来技術のエラー隠蔽方法を補完的に適用する等の方法が採用できる。

この実施例は、実施例１の動画像復号装置においてエラー隠蔽処理を実行する際の主要部をマイクロコンピュータ回路（以下、「マイコン回路」という）で構成し、エラー隠蔽処理をプログラム制御によって実行させる場合に関する。
従って、この実施例の動画像復号装置は図４に示すような回路構成となり、実施例１における参照画像選択部１７aとエラーモード設定部２０の機能をマイコン回路３０が予め格納されたプログラムに基づいて実行する。
以下、図５のフローチャートを参照しながらプログラムに基づいた実行手順を説明する。

先ず、マイコン回路３０は、多重分離器１１から復号対象の符号化ピクチャのＲＩＬ情報を受信すると、そのＲＩＬ情報を内蔵メモリにセーブする（S1,S2）。
多重分離器１１は符号化ピクチャ単位でその復号開始に先立ってＲＩＬ情報を転送するため、ＲＩＬ情報の受信はその符号化ピクチャのエントロピー符号列の復号が開始されることを意味する。

符号化ピクチャについてＭＢ単位での復号が開始されると、マイコン回路３０はエントロピー復号器１２から参照インデックスを受信することになるが、ＲＩＬ情報において参照インデックスに対応する参照ピクチャを画像メモリ１６から選択し、その選択した参照ピクチャを補償予測器１８へ読み出す（S4,S5）。

そして、以上のステップS3〜S5の手順は符号化ピクチャの各ＭＢの復号においてエラーが発生していない状態で繰り返されるが（S6→S14→S3〜S5）、エラーが発生した場合には、エントロピー復号器１２からエラー発生信号が得られるため、マイコン回路３０は逆直交変換器１４と動き補償予測器１８に対してエラーモード設定信号を出力させて、それらをエラーモードに設定する。
エラーモードに切り換えられた場合、逆直交変換器１４が復号中のＭＢに係る予測誤差の如何に拘わらず予測誤差信号を０として加算器１９へ出力し、また、動き補償予測器１８が復号中のＭＢに係る動きベクトル情報の如何に拘わらず動きベクトルを（０，０）として処理する。
そして、マイコン回路３０がこの実施例に係るプログラムに基づいて画像メモリ１６の参照ピクチャからエラー隠蔽用に使用するものを選択し、その選択した参照ピクチャと前記動きベクトルとから求めた予測信号を出力することになる。

ところで、実施例１で説明したように、ＲＩＬ情報の構成は符号化ピクチャの画像タイプによって異なる。
従って、エラーモードにおけるマイコン回路３０による前記の参照ピクチャの選択と読み出しに係る手順は、符号化ピクチャの画像タイプ毎に異なっている。
先ず、復号エラーが発生した符号化ピクチャがＩピクチャであった場合には、そのピクチャの性質上、上記の表２に示したようにＲＩＬ情報は存在せず、エラー隠蔽が不可能であることからＧＯＰ全体を破棄する処理で終了する（S8,S9）。

次に、復号エラーが発生した符号化ピクチャがＰピクチャであった場合には、画像メモリ１６にセーブされている参照ピクチャの内で、ＲＩＬ情報の参照インデックス00に対応するものを選択し、その参照ピクチャを動き補償予測器１８へ読み出す（S10,S11）。
また、復号エラーが発生した符号化ピクチャがＢピクチャであった場合には、ＲＩＬ［０］とＲＩＬ［１］に基づいた２つのＲＩＬ情報があるため、画像メモリ１６にセーブされている参照ピクチャの内で、ＲＩＬ情報の参照インデックス00又は10に対応するものであって、エラーが発生した符号化ピクチャに時間的に近い方を選択して動き補償予測器１８へ読み出す（S12,S13）。
即ち、何れも符号化ピクチャに対して相関性がより高いとされる参照ピクチャを選択している。

そして、エラーモードでは逆直交変換器１４と動き補償予測器１８を上記の動作状態に設定しているため、復号中の符号化ピクチャにおけるエラーが生じたＭＢに対して前記手順で読み出されたＭＢを置き換えることにより、画質劣化を招かないエラー隠蔽処理が可能になる。

以降、符号化ピクチャの全てのＭＢを復号するまで前記ステップS3〜S13の手順が繰り返され、全てのＭＢが復号された段階で次の符号化ピクチャの処理が開始される（S14→S3〜S14,S14→S1）。

この実施例は、実施例２の動画像復号装置においてエラー隠蔽処理を実行する際の主要部をマイコン回路で構成し、エラー隠蔽処理をプログラム制御によって実行させる場合に関する。
従って、この実施例の動画像復号装置も実施例３の場合と同様に図４で示した回路構成となり、実施例２における参照画像選択部１７bとエラーモード設定部２０の機能をマイコン回路３０が予め格納されたプログラムに基づいて実行することになるが、実施例１と実施例２の場合とでエラー隠蔽処理方式が相違しているため、そのプログラムは実施例３の場合と異なっている。
以下、図６のフローチャートを参照しながらそのプログラムに基づいた実行手順を説明する。

先ず、マイコン回路３０が、多重分離器１１から符号化ピクチャのＲＩＬ情報を受信した場合に、そのＲＩＬ情報を内蔵メモリにセーブすることは実施例３の場合と同様である。（S21,S22）。
但し、この実施例においては、マイコン回路３０がＲＩＬ情報を受けると、直ちにそのＲＩＬ情報が示す参照ピクチャに対応した使用数格納領域を構成する（S23）。
この場合の使用数格納領域の設け方については、実施例２の場合と同様に、ＰピクチャについてはＲＩＬ情報がＲＩＬ［０］だけであるため、表４に例示したように参照ピクチャと参照インデックスが１対１の関係になるが、ＢピクチャについてはＲＩＬ情報がＲＩＬ［０］側とＲＩＬ［１］側の２種類になるため、表５に例示したように、ＲＩＬ［０］側とＲＩＬ［１］側において同一の参照ピクチャに対して２つの参照インデックスが対応付けられる。

次に、符号化ピクチャのＭＢ単位での復号が開始された後、復号エラーが生じなければ、実施例３の場合と同様に、マイコン回路３０は、参照インデックスの受信に基づいてＲＩＬ情報における参照インデックスに対応した画像メモリ１６の参照ピクチャを選択し、その参照ピクチャを動き補償予測器１８へ読み出す（S24〜S26）。

そして、この実施例では、参照インデックスに基づいて選択した参照ピクチャに対応する使用数格納領域の数を＋１だけインクリメントしておく(S27)。
従って、ＭＢの復号エラーが発生せずに、ステップS24〜S27の手順が繰り返されてゆくと、参照ピクチャが選択される度にそのピクチャの使用数格納領域の数が増加しゆき、その数値は復号中の符号化ピクチャに係る参照ピクチャの使用頻度情報を表していることになる。

ところで、符号化ピクチャのＭＢについて復号エラーが発生すると、実施例３の場合と同様に、エントロピー復号器１２からＭＢアドレスを含むエラー発生信号がマイコン回路３０へ出力され、マイコン回路３０が逆直交変換器１４と動き補償予測器１８を実施例エラーモードに設定する（S28,S29）。
このエラーモード設定状態での逆直交変換器１４と動き補償予測器１８の機能制御も実施例３の場合と同様である。

この実施例の主たる特徴は、前記のように参照ピクチャの使用頻度情報が得られるようにしていることに基づいて、符号化ピクチャのＭＢについて復号エラーが発生してエラーモードを設定した場合に、マイコン回路３０が、画像メモリ１６の参照ピクチャの内で、使用数格納領域での使用数が最大になっているものを選択し、その選択した参照ピクチャを動き補償予測器１８へ読み出す点にある（S30）。
そして、逆直交変換器１４と動き補償予測器１８がエラーモードでの動作状態に設定されているため、復号中の符号化ピクチャにおけるエラーが生じたＭＢに対して前記ステップ30で読み出された参照ピクチャの対応するＭＢが置き換えられることになる。

その場合、置き換えられるＭＢは使用頻度情報に基づいて選択された参照ピクチャから読み出されたものであり、その参照ピクチャは復号中の符号化ピクチャに対して実際上の相関性が最も高いものであるため、エラーが生じたＭＢに対してより類似したＭＢが置き換えられることになる。
特に、実施例３のようにＲＩＬ情報の規則性に基づいて参照ピクチャを選択するのではなく、使用頻度情報に基づいた実際上の相関性による選択であるため、実施例２においても説明したようにシーンチェンジのような絵柄の大きな変化に対しても画質劣化を招かないエラー隠蔽処理が可能になる。

以降、符号化ピクチャの全てのＭＢを復号するまで前記ステップS24〜S30の手順が繰り返され、全てのＭＢが復号された段階で次の符号化ピクチャの処理が開始される（S31→S24〜S30,S31→S21）。

尚、実施例２において復号済みのＭＢの内でエラーが発生したＭＢの近傍に位置するＭＢだけの参照ピクチャの使用頻度情報を用いてもよいこととしたが、この実施例ではマイコン回路３０のプログラムを変更するだけでそのような条件にも対応できるという利点がある。
また、各符号化ピクチャについて復号開始後の初期において使用頻度情報が無いか又は十分でない場合に従来技術や実施例３のエラー隠蔽方法を補完的に適用ことに関しても、この実施例によれば前記と同様の理由で対応が容易である。

本発明は、動画像復号装置において画質劣化を招かないエラー隠蔽処理を実行するために有効に活用できる。

本発明の実施例１及び実施例２に係る動画像復号装置のブロック回路図である。 従来技術のエラー隠蔽処理の結果を具体的な画像表示内容で説明した図である。 実施例２でのエラー隠蔽処理の結果を具体的な画像表示内容で説明した図である。 本発明の実施例３及び実施例４に係る動画像復号装置のブロック回路図である。 実施例３におけるエラー隠蔽処理手順を示すフローチャートである。 実施例４におけるエラー隠蔽処理手順を示すフローチャートである。 ＭＰＥＧ−１，２，４における画像タイプの並び、及びＰピクチャとＢピクチャを動き補償予測符号化する際の参照関係を示す図である。 ＩＴＵ−Ｔ勧告Ｈ.２６４に基づいた画像タイプの並び、及びＰピクチャとＢピクチャを動き補償予測符号化する際の参照関係を示す図である。 従来技術のエラー隠蔽処理方法の説明図である。 従来技術においてエラー隠蔽処理に用いる画像タイプの利用関係を示す図である。

符号の説明

１１…多重分離器、１２…エントロピー復号器、１３…逆量子化器、１４…逆直交変換器、１５a…バッファメモリ、１５…ループフィルタ、１６…画像メモリ、１７a，１７b…参照画像選択部、１８…動き補償予測器、１９…加算器、２０…エラーモード設定部、３０…マイクロコンピュータ回路。

Claims (4)

1. ＧＯＰ（Group of Pictures）内で非イントラピクチャの各符号化単位ブロックを他の１又は２以上の参照ピクチャ内のブロックを用いて動き補償予測符号化し、その予測誤差信号を直交変換・量子化する方法によって符号化がなされた符号化データ列であり、
   スライスヘッダ情報に、符号化スライス毎の情報であって前記参照ピクチャに対応付けたインデックスを符号化スライスに対して相関性が高い参照ピクチャ順に並べた参照インデックスリスト情報を有し、前記符号化単位ブロック毎の符号化データに、その符号化単位ブロックを符号化する際に用いた参照ピクチャを示す参照インデックスと動きベクトル情報とを有する符号化データ列を復号対象とし、
   各符号化単位ブロックの復号に際しては、逆量子化・逆直交変換手段で予測誤差信号を復号し、先に再生処理されたピクチャを一時的に記憶手段に記憶させておき、参照画像選択手段が前記参照インデックスリスト情報と前記参照インデックスとに基づいて前記記憶手段から参照ピクチャを選択して動き補償予測手段へ読み出し、前記動き補償予測手段が前記動きベクトル情報と前記参照ピクチャとから予測信号を生成し、加算手段が前記復号した予測誤差信号と前記予測信号とを加算することにより再生画像信号を得る動画像復号装置において、
   符号化単位ブロックの復号エラーが検出された場合に、前記逆量子化・逆直交変換手段と前記動き補償予測手段と前記参照画像選択手段とをエラーモードに設定するエラーモード設定手段を設け、
   前記エラーモードが設定された場合に、前記逆量子化・逆直交変換手段は予測誤差を０とすると共に、前記動き補償予測手段は動きベクトルを０として処理し、前記参照画像選択手段は復号対象となっている符号化ピクチャに対応した前記参照インデックスリスト情報における最先順位の参照インデックスに対応する参照ピクチャを選択して前記動き補償予測手段へ読み出すことを特徴とする動画像復号装置。
2. ＧＯＰ内で非イントラピクチャの各符号化単位ブロックを他の１又は２以上の参照ピクチャ内のブロックを用いて動き補償予測符号化し、その予測誤差信号を直交変換・量子化する方法によって符号化がなされた符号化データ列であり、
   スライスヘッダ情報に、符号化スライス毎の情報であって前記参照ピクチャに対応付けたインデックスを符号化スライスに対して相関性が高い参照ピクチャ順に並べた参照インデックスリスト情報を有し、前記符号化単位ブロック毎の符号化データに、その符号化単位ブロックを符号化する際に用いた参照ピクチャを示す参照インデックスと動きベクトル情報とを有する符号化データ列を復号対象とし、
   各符号化単位ブロックの復号に際しては、逆量子化・逆直交変換手段で予測誤差信号を復号し、先に再生処理されたピクチャを一時的に記憶手段に記憶させておき、参照画像選択手段が前記参照インデックスリスト情報と前記参照インデックスとに基づいて前記記憶手段から参照ピクチャを選択して動き補償予測手段へ読み出し、前記動き補償予測手段が前記動きベクトル情報と前記参照ピクチャとから予測信号を生成し、加算手段が前記復号した予測誤差信号と前記予測信号とを加算することにより再生画像信号を得る動画像復号装置をコンピュータに実現させるための動画像復号プログラムであって、
   符号化単位ブロックの復号エラーが検出された場合に前記逆量子化・逆直交変換手段と前記動き補償予測手段をエラーモードに設定し、前記エラーモードにおいて、前記逆量子化・逆直交変換手段が予測誤差を０として出力し、前記動き補償予測手段が動きベクトルを０として処理するように、それらの各手段を制御する機能と、
   前記エラーモードが設定された場合に、前記参照画像選択手段が復号対象となっている符号化ピクチャに対応した前記参照インデックスリスト情報における最先順位の参照インデックスに対応する参照ピクチャを選択して前記動き補償予測手段へ読み出す機能と
   をコンピュータによって実行させることを特徴とする動画像復号プログラム。
3. ＧＯＰ内で非イントラピクチャの各符号化単位ブロックを他の１又は２以上の参照ピクチャ内のブロックを用いて動き補償予測符号化し、その予測誤差信号を直交変換・量子化する方法によって符号化がなされた符号化データ列であり、
   スライスヘッダ情報に、符号化スライス毎の情報であって前記参照ピクチャに対応付けたインデックスを符号化スライスに対して所定順に並べた参照インデックスリスト情報を有し、前記符号化単位ブロック毎の符号化データに、その符号化単位ブロックを符号化する際に用いた参照ピクチャを示す参照インデックスと動きベクトル情報とを有する符号化データ列を復号対象とし、
   各符号化単位ブロックの復号に際しては、逆量子化・逆直交変換手段で予測誤差信号を復号し、先に再生処理されたピクチャを一時的に記憶手段に記憶させておき、参照画像選択手段が前記参照インデックスリスト情報と前記参照インデックスとに基づいて前記記憶手段から参照ピクチャを選択して動き補償予測手段へ読み出し、前記動き補償予測手段が前記動きベクトル情報と前記参照ピクチャとから予測信号を生成し、加算手段が前記復号した予測誤差信号と前記予測信号とを加算することにより再生画像信号を得る動画像復号装置において、
   前記参照画像選択手段が、前記参照インデックスリスト情報に基づいて各参照ピクチャに対応する使用数情報の格納領域を設け、参照ピクチャを選択する度にその参照ピクチャに対応する使用数情報をインクリメントするようにし、
   符号化単位ブロックの復号エラーが検出された場合に、前記逆量子化・逆直交変換手段と前記動き補償予測手段と前記参照画像選択手段とをエラーモードに設定するエラーモード設定手段を設け、
   前記エラーモードが設定された場合に、前記逆量子化・逆直交変換手段は予測誤差を０とすると共に、前記動き補償予測手段は動きベクトルを０として処理し、前記参照画像選択手段は前記使用数情報が最大になっている参照ピクチャを選択して前記動き補償予測手段へ読み出すことを特徴とする動画像復号装置。
4. ＧＯＰ内で非イントラピクチャの各符号化単位ブロックを他の１又は２以上の参照ピクチャ内のブロックを用いて動き補償予測符号化し、その予測誤差信号を直交変換・量子化する方法によって符号化がなされた符号化データ列であり、
   スライスヘッダ情報に、符号化スライス毎の情報であって前記参照ピクチャに対応付けたインデックスを符号化スライスに対して所定順に並べた参照インデックスリスト情報を有し、前記符号化単位ブロック毎の符号化データに、その符号化単位ブロックを符号化する際に用いた参照ピクチャを示す参照インデックスと動きベクトル情報とを有する符号化データ列を復号対象とし、
   各符号化単位ブロックの復号に際しては、逆量子化・逆直交変換手段で予測誤差信号を復号し、先に再生処理されたピクチャを一時的に記憶手段に記憶させておき、参照画像選択手段が前記参照インデックスリスト情報と前記参照インデックスとに基づいて前記記憶手段から参照ピクチャを選択して動き補償予測手段へ読み出し、前記動き補償予測手段が前記動きベクトル情報と前記参照ピクチャとから予測信号を生成し、加算手段が前記復号した予測誤差信号と前記予測信号とを加算することにより再生画像信号を得る動画像復号装置をコンピュータに実現させるための動画像復号プログラムであって、
   符号化単位ブロックの復号エラーが検出された場合に前記逆量子化・逆直交変換手段と前記動き補償予測手段をエラーモードに設定し、前記エラーモードにおいて、前記逆量子化・逆直交変換手段が予測誤差を０として出力し、前記動き補償予測手段が動きベクトルを０として処理するように、それらの各手段を制御する機能と、
   前記参照画像選択手段による、前記参照インデックスリスト情報に基づいて各参照ピクチャに対応する使用数情報の格納領域を設け、参照ピクチャを選択する度に対応した使用数情報をインクリメントする機能、及び、前記エラーモードが設定された場合に、前記使用数情報が最大になっている参照ピクチャを選択して前記動き補償予測手段へ読み出す機能と
   をコンピュータによって実行させることを特徴とする動画像復号プログラム。
   

Images