JP2008187446A - 復号エラー補正方法及び装置 - Google Patents

Abstract

【課題】イントラマクロブロックが画面内の大半を占めるフレームや動きベクトルが実際の動きと必ずしも一致しないフレームでエラーが発生した場合でも視覚的違和感が残ることのない復号方法を提供する。
【解決手段】符号化データを復号する際にエラーが発生した場合、復号された画像データから再生画像の動きを示す動き特徴値を算出し、算出した動き特徴値に基づいてエラー補正を行う。その際、復号画像データを１つ又は複数の分割領域に分割し、分割領域毎に動き特徴値を算出する。エラー補正を行うには、エラーにより復号できなかった分割領域に対し、動き特徴値を補正ベクトルとして用い、復号された画像データから補正先ベクトルに基づき画素データを複製することでエラー補正を行う。
【選択図】図２

Description

本発明は、動画データの復号エラー補正方法及び装置に関し、特に、ＭＰＥＧ（Moving Picture Expert Group）等の高能率符号化に好適な動画データの復号エラー補正方法及び装置に関するものである。

従来、ＭＰＥＧ−２に代表される高能率符号化を用いた圧縮符号化動画データの復号再生装置において、通信路や蓄積媒体等に起因する復号エラーが発生した際のエラー補正処理として、多くの方法が提案されている。

例えば、エラー発生マクロブロック（以下ＭＢ）周辺のＭＢが持つ動きベクトルの平均値を使用して動き予測を行う方法がある（特許文献１）。また、前フレームの同位置ＭＢをコピーする方法（特許文献２）、エラー発生ＭＢの直下（または上）にあるスライスのＭＢから画素データを複製する方法等がある（特許文献３）。
特開平６−１６２６９３号公報 特開２００２−３７４５３５号公報 特開平９−１５４１３５号公報

特許文献１の方法では、Ｉピクチャのようなフレーム内符号化を行ったイントラフレームでエラーが発生した場合には、動きベクトルを持たないためエラー補正が十分に行えない課題がある。

特許文献２の方法では、前フレームの同位置ＭＢを複製するため、イントラフレームにおいても適用可能であるが、実際の画面内の動きを反映できないため、動きが速いケースでは補正処理が十分でない可能性がある。

特許文献３の方法においても、同様に画面内の動きが多く、エラーが多い場合には十分な補正効果が得られない。

このことは、イントラフレームに関するものだけでなく、ＰピクチャやＢピクチャ等のフレーム間予測フレーム（インターフレーム）についても同様である。例えば、高画質を目的とした高ビットレートの符号化を行う場合、フレーム当たりの発生符号量が多くなる。そのため、ＰピクチャやＢピクチャ等のインターフレームにおいても、動きベクトルによる予測を行うよりもＳＮ比や符号化効率の点からイントラマクロブロックになりやすいため、動きベクトルが発生しにくくなる。

また、一般に符号化処理における動き予測は、参照フレーム全画素について探索すると処理量及び処理時間とも膨大になってしまうため、固定の探索エリアを設定し、その探索エリア内での動き予測を行う。その場合には、サーチエリア内に限定されたベクトル値を採用することになるため、必ずしも実際の動きと一致した「最適のベクトル」になるとは限らない。

従って、上述のような「最適のベクトル」ではないベクトルを元に従来のエラー補正を行う場合には、画面内の動きが大きな映像では視覚的な違和感が残ったままになる可能性が高い。

本発明の目的は、イントラマクロブロックが画面内の大半を占めるフレームや動きベクトルが実際の動きと必ずしも一致しないフレームでエラーが発生した場合でも、視覚的違和感が残ることのない復号エラー補正方法及び装置を提供することにある。

本発明は、符号化データ中にエラーが発生した場合、復号後の再生画像についてフィールド間またはフレーム間の動きを示す動き特徴量を取得し、エラーが発生した画像領域に対して動き特徴量に基づいてエラー補正処理を行う。

動き特徴量を算出するには、再生画像を１つまたは複数領域に分割する。そして、例えば、分割領域毎に特開２００５−３５４５２８号公報に記載されているグローバルベクトル決定方法を用いて動き特徴量を取得する。

エラー補正方法としては、動き特徴値をエラー発生箇所での補間ベクトルとして用い、マクロブロック単位の画素データを、補間ベクトルを用いて復号済み再生画像からコピーする。エラー発生箇所が分割領域の境界近傍或いは境界を跨ぐ場合には、エラー発生箇所に接する分割領域の特徴量をもとに発生位置からの空間的距離に応じて重み付けを行う。その重み付けによって算出した値を補間ベクトルとして用い、それに基づいてエラー補正を行う。

また特徴値による補正ベクトルを、エラー発生フレームのみから算出する方法だけでなく、既に復号済みの再生画像（主に、ＩピクチャやＰピクチャの参照フレーム）の特徴値を使用しても良い。この時、エラー発生フレームと再生画像との時間方向の距離に応じてそれぞれの特徴量から重み付けを行った値を補正ベクトルとしても良い。

また、補正ベクトルの算出方法としては、エラー発生フレームの特徴値を採用する方法と、前後の復号済みフレームの特徴量を採用する方法の両方を、適応的に使用しても良いものとする。

本発明によれば、イントラマクロブロックが画面内の大半を占めるフレーム、或いは動きベクトルが実際の動きと必ずしも一致しないフレームでエラーが発生した場合でも、正確にエラー補正を行うことが可能となる。そのため、画面乱れによるストレスや視覚的違和感が残ることのない出力画像を得ることができる。

次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。

（第１の実施形態）
図１は本発明を適用したエラー補正装置を具備する再生システムの一実施形態を示すブロック図である。本発明に係る復号装置は、復号器１０２、エラー補正器１０４、特徴量算出器１０６、これら各ブロックと連結して画像データの読み書きを行う画像メモリ１０７によって構成されている。

データの流れは、符号化された圧縮動画像データ１０１が復号器１０２において復号され、復号画像データが画像メモリ１０７に出力される。復号処理における参照フレームデータは画像メモリ１０７にアクセスすることで、既にデコード済みの画像データを参照するものとする。復号処理時にエラーが発生した時は複合器１０２からエラーＭＢ位置を示すエラー情報１０３をエラー補正器１０４に送信する。

特徴量算出器１０６は、復号画像データを画像メモリ１０７から読み出し、動き特徴量を計算した後、エラー補正器１０４に動き特徴値データ１０５を送信する。動き特徴量に関しては詳しく後述する。

エラー補正器１０４は、復号器１０２から受け取ったエラー情報１０３と、特徴量算出器１０６から受け取った動き特徴値１０５をもとに補正ベクトルを求める。そして、詳しく後述するように補正ベクトルに基づき画像メモリ１０７上に格納されるエラー発生画像データのエラー補正処理を行う。以上の処理を経た後、エラー発生をした再生画像１０８は表示出力される。

次に、本発明のエラー補正方法について図２を用いて説明する。図２（ａ）は１フレーム期間前に表示出力された復号済みの再生画像、図２（ｂ）はエラー発生をした復号画像を示す。フレーム期間はＮＴＳＣ信号であれば約３３ミリ秒、ＰＡＬ信号であれば約４０ミリ秒の時間に相当する。

エラー補正処理としては、まず、復号画像を１つ以上の複数の領域に分割し、特徴量算出器１０６において分割領域毎に動き特徴量の計算を行う。動き特徴量は復号後の再生画像についてフィールド間またはフレーム間の動きを示す指標であり、エラーが発生した画像領域に対して動き特徴量に基づいてエラー補正を行う。

動き特徴量を算出するための具体的な手法としては、例えば、本願出願人が、先に提案している特開２００５−３５４５２８号公報に記載されているグローバルベクトル決定方法を採用することが好ましい。即ち、同公報の段落００２２〜００３２（図９のＳ１０３〜Ｓ１０５）に記載されているように現画像と参照画像に基づいてグローバルベクトルを決定するというものである。その場合、分割領域毎にグローバルベクトル決定方法を用いて動きベクトルを算出する。

本実施形態では、図２に示すように９分割とする。勿論、本発明はこれに限ることは無い。図２（ｂ）の数値は便宜上分割領域毎に付与した分割領域番号を示す。動き特徴量はフレーム間若しくはフィールド間の画素値差分に基づいて算出するもので、符号処理時の動きベクトルとの相関は無い。

但し、動き特徴値は再生画像の中でどのような動きが発生しているかを示す情報量であるため、符号化データの動きベクトルよりも、そして動きベクトルが発生していなくても、実際の動きを高精度に観測できる指標となる。但し、エラー発生部分については計算対象から除外するものとする。

この動き特徴量をベクトルとして図示したのが、図２（ｂ）に示すように復号再生フレームの分割領域毎に示す矢印に相当する。尚、分割領域９の丸印は動きがない領域であることを表す。

次に、エラー補正器１０４は特徴量算出器１０６からの動き特徴値と復号器１０２からのエラー情報に基づいてエラー補正処理を行う。例えば、図２（ｂ）に示すように分割領域５と６に渡って斜線で示すマクロブロック単位の領域でエラーが発生した場合には、この動き特徴量を補正ベクトルとして、図２（ａ）の復号済み再生画像から画素データを複製する。

図２（ｂ）の場合には、分割領域５の動き特徴量は左上を指しているため、図２（ａ）に示すように前フレームの左上の画素領域からマクロブロック単位で複製する。分割領域６の動き特徴量は上を指しているため、図２（ａ）に示すように前フレームの上領域から画素データを複製する。このようにして復号画像にエラーが発生する毎にエラー補正処理を行う。

なお、上述の特開２００５−３５４５２８号公報のグローバルベクトル決定方法においては参照画像と現画像の間で計算しているが、本発明は一つ以上の復号画像間で計算するものとする。つまり、過去及び未来の復号画像のフレーム内のフィールド間における復号画像間をいう。

（第２の実施形態）
第２の実施形態は、上述の第１の実施形態の構成を基本構成とし、エラー発生位置によって動き特徴量を用いて重み付けを行った値を、補正ベクトルとして導出するものである。図３を用いて説明する。図３は図２（ｂ）と同様にエラーの発生した復号画像を示す。同様に復号画像を９分割している。

第１の実施形態では、上述のように分割領域毎に算出した動き特徴量を、そのままエラー発生領域での補正ベクトルとして使用している。この方法では、エラー発生領域が複数の分割領域に跨る場合には、分割領域の位置によらずすべて同じ補正ベクトルとなる。その場合、隣接する分割領域での動き特徴量が正反対の方向であると、分割領域境界近傍の隣接画素同士が、まったく相関が無くなってしまう可能性がある。

本実施形態では、この課題を解決するため、エラー発生位置によって隣接する分割領域の動き特徴量に重み付けを行って補正ベクトルを求め、より精度の高いエラー補正を可能とするものである。

図３は分割領域４から６を跨いでエラーが発生した例を示す。分割領域４と５について注目すると、各領域における第１の実施形態の方法で求めた動き特徴量は互いに左右対称の方向を向いている。

本実施形態では、このようなケースにおいて分割領域４と５の境界部分に存在するエラーＭＢに対して分割領域４と５の動き特徴量（白抜きの矢印）をそのまま補正ベクトルとして使用しない。即ち、図３において黒矢印で示すように上方向を向いた、次に説明する計算式で計算したエラー位置に応じた重み付けを行って補正ベクトルを求め、その補正ベクトルを用いてエラー補正を行う。

図４を用いて具体的に説明する。まず、図４に示すようにエラー発生位置の座標を（Ｅｘ，Ｅｙ）、エラーが発生した隣接する分割領域（図４の分割領域Ａ、分割領域Ｂ）の動き特徴量をそれぞれベクトル表記でＭ_Ａ、Ｍ_Ｂとする。なお、Ｍ_ＡとＭ_Ｂの水平方向と垂直方向成分を、
Ｍ_Ａ＝（Ｍａｘ，Ｍａｙ）
Ｍ_Ｂ＝（Ｍｂｘ，Ｍｂｙ）
とする。

また、分割領域の中心座標をそれぞれ（Ａｘ，Ａｙ）、（Ｂｘ，Ｂｙ）とする（図４参照）。エラー発生位置の座標とは、本実施形態では、例えば、マクロブロック単位の中心座標とする。

補正ベクトルＤ（水平方向成分ｄｘ、垂直方向成分ｄｙ）は、それぞれ以下の式により得られる。

例えば、（Ａｘ，Ａｙ）＝（５，５）、（Ｂｘ、Ｂｙ）＝（１５，５）、（Ｅｘ，Ｅｙ）＝（７，７）、Ｍ_Ａ＝（−１，−２）、Ｍ_Ｂ＝（２，−２）とする。その場合には、上記計算式から、
ｄｘ＝｛（１５−７）×（−１）＋（５−７）×（２）｝／（｜１５−７｜＋｜５−７｜）＝−１２／１０＝−１．２
となる。また、
ｄｙ＝｛（５−７）×（−２）＋（５−７）×（−２）｝／（｜５−７｜＋｜５−７｜）＝８／４＝２
となる。

従って、以上の結果から補正ベクトルＤは（−１．２，２）となる。得られた補正ベクトルＤに基づいて第１の実施形態と同様に過去の復号済み再生画像から画素データを複製する。

（第３の実施形態）
第３の実施形態は、第１の実施形態の構成を基本構成とするが、動き特徴量をエラー発生フレーム内（１画面のフィールド内）において取得するのではなない。つまり、時間方向で前後に存在する再生画像（例えば参照フレーム等）中の動き特徴量を利用して補正ベクトルを導出する。

図５を用いて説明する。第１の実施形態では動き特徴量をエラー発生フレームの画素データを使用して導出している。そのため、エラー発生頻度が高く、分割領域中の大部分のＭＢデータが欠落してしまうような場合には、特徴量を求めるために必要な有効なＭＢデータのサンプル数が少なくなってしまい、正確に補正ベクトルを求めることが難しくなる可能性がある。

本実施形態では、この課題を解決するため、補正ベクトルを導出するための動き特徴量を、エラー発生フレームの画素データからではなく、エラー発生フレームの表示時間の前後に位置する既に復号済みの再生画像（１画面のフィールド内）からの値を使用する。この方法によって、エラー発生率が多い場合でも、時間方向の相関性を考慮した、より精度の高いエラー補正が可能となる。

エラー発生フレームの表示時間の前後に位置する既に復号済みの再生画像から動き特徴量を算出するには、同様に特開２００５−３５４５２８号公報のグローバルベクトル決定方法を用いて算出する。

図５は分割領域２から３を跨いでエラーが発生した例を示す。図５（ａ）は前方向参照フレームに代表される過去の復号済み画像、図５（ｂ）はエラーの発生したフレーム画像、図５（ｃ）は後方向参照フレームに代表される未来の復号済み再生画像を示す。この場合も復号画像を９分割している。エラー復号画像と前後の復号画像との時間距離は、それぞれａ（フレーム期間）、ｂ（フレーム期間）とする。

本実施形態では、このエラーフレーム画像の補正ベクトルを導出する際、エラー発生領域に相当する分割領域における前後の復号画像（１画面のフィールド内）から動き特徴量を求める。この二つの動き特徴量をもとに次の計算式による重み付けを行い、補正ベクトルを求める。図５では分割領域２を例とする。

前方向復号フレームの動き特徴量をＭｐｒｅ、後方向復号フレームの動き特徴量をＭｐｏｓｔとすると、補正ベクトルｄは以下の数式で得られる。

ｄ＝（ａ×Ｍｐｒｅ＋ｂ×Ｍｐｏｓｔ）／（ａ＋ｂ）
ａとｂは上述のようにフレーム期間である。

この方法で求めた補正ベクトルをもとに前方向復号済みフレームから画素データを複製する。なお、エラーフレームのエラー発生頻度に応じて、本実施形態によるエラー補正方法と第１の実施形態によるエラー補正方法とを適応的に切り替えて、エラー補正を行っても良い。

本発明の一実施形態を示すブロック図である。 本発明の第１の実施形態のエラー補正方法を説明する図である。 本発明の第２の実施形態のエラー補正方法を説明する図である。 本発明の第２の実施形態のエラー補正方法を説明するための分割領域の座標やベクトル等を示す図である。 本発明の第３の実施形態のエラー補正方法を説明する図である。

符号の説明

１０１ 圧縮動画データ
１０２ 復号器
１０３ エラー情報データ
１０４ エラー補正器
１０５ 動き特徴情報データ
１０６ 特徴量算出器
１０７ 再生画像格納メモリ
１０８ 出力画像データ

Claims (7)

1. 符号化された動画データを復号する方法において、前記符号化データを復号する際にエラーが発生した場合、復号された画像データから再生画像の動きを示す動き特徴値を算出するステップと、算出した動き特徴値に基づいてエラー補正を行うステップとを具備することを特徴とする復号エラー補正方法。
2. 前記動き特徴量を算出するステップにおいて、復号画像データを１つ又は複数の分割領域に分割し、前記分割領域毎に前記動き特徴値を算出することを特徴とする請求項１に記載の復号エラー補正方法。
3. 前記動き特徴値を算出するステップにおいて、フレーム間若しくはフィールド間の画素値差分に基づいて前記動き特徴値を算出することを特徴とする請求項１又は２に記載の復号エラー補正方法。
4. 前記動き特徴量を算出するステップにおいて、エラー発生領域が複数の分割領域に跨る場合には、エラー発生位置に応じて重み付けを行うことによって前記動き特徴値を補正することを特徴とする請求項１〜３のいずれか１項に記載の復号エラー補正方法。
5. 前記動き特徴量を算出するステップにおいて、エラー発生フレームの時間方向に前後する復号済み画像の動き特徴量を算出し、得られた前後の復号画像の動き特徴量をもとに、当該前後の復号画像と前記エラー発生フレームとの時間距離に応じて重み付けを行うことによって前記動き特徴値を補正することを特徴とする請求項１〜４のいずれか１項に記載の復号エラー補正方法。
6. 前記エラー補正を行うステップにおいて、エラーにより復号できなかった分割領域に対し、前記動き特徴値を補正ベクトルとして用い、前記復号された画像データから補正ベクトルに基づき画素データを複製することによってエラー補正を行うことを特徴とする請求項１〜５のいずれか１項に記載の復号エラー補正方法。
7. 符号化された動画データを復号する装置において、前記符号化データを復号する際にエラーが発生した場合、復号された画像データから再生画像の動きを示す動き特徴値を算出する算出手段と、算出された動き特徴値に基づいてエラー補正を行う補正手段とを備えたことを特徴とする復号エラー補正装置。