JP2006203597A

JP2006203597A - ディジタル画像復号装置及び方法

Info

Publication number: JP2006203597A
Application number: JP2005013549A
Authority: JP
Inventors: Yukio Hayashi; 幸雄林
Original assignee: Pioneer Electronic Corp
Current assignee: Pioneer Corp
Priority date: 2005-01-21
Filing date: 2005-01-21
Publication date: 2006-08-03

Abstract

【課題】エラーブロックに対するコンシールメントの性能を向上させることができるディジタル画像復号装置及び方法を提供する。
【解決手段】エラー検出手段によって符号化画像データのエラーが検出されたときに画像データが示す映像のシーンチェンジを判定するシーンチェンジ判定手段と、エラー検出手段によって符号化画像データのエラーが検出されかつシーンチェンジ判定手段によってシーンチェンジ映像ではないと判定されたときに符号化画像データが示す映像のパーンを判定するパーン判定手段と、シーンチェンジ映像であると判定された場合、パーン映像であることが判定された場合、及びパーン映像ではないことが判定された場合の各々に対応して異なるエラー隠蔽処理を行ってエラーが検出されたブロックについての復号画像データを生成するエラー処理手段とを備えた。
【選択図】図２

Description

本発明は、符号化された画像データをフレーム毎に複数のブロックに分割してブロック毎に復号するディジタル画像復号装置及び方法に関する。

ＭＰＥＧ等の符号化方式で符号化された画像データをフレーム毎に複数のブロックに分割してブロック毎に復号するディジタル画像復号装置においては、画像データのエラーの有無をブロック毎に検出し、エラーが検出されたブロックについてはエラーコンシールメント（エラー隠蔽処理）によって復号画像データを生成することが行われる。エラーコンシールメントではエラーブロック用の動きベクトルを設定し、その動きベクトルによって前フレームの画像等の参照画像に対して動き補償することが行われる（特許文献１参照）。
特許第３４９６３７８号公報

しかしながら、画像のシーンチェンジ時やパーン時のように画像の変化が大きい時にエラーが発生した場合には、従来のディジタル画像復号装置のエラーコンシールメントでは十分に対応することができず、エラーコンシールメントした結果、画像が著しく乱れることがあるという問題点があった。

本発明が解決しようとする課題には、上記の欠点が一例として挙げられ、エラーブロックに対するコンシールメントの性能を向上させることができるディジタル画像復号装置及び方法を提供することが本発明の目的である。

請求項１に係る発明のディジタル画像復号装置は、フレーム毎に画像データを複数のブロックに分割してブロック毎に符号化された符号化画像データを当該ブロック毎に復号するディジタル画像復号装置であって、前記符号化画像データのエラーの有無をブロック毎に検出するエラー検出手段と、前記エラー検出手段によって前記符号化画像データのエラーが検出されたときに前記符号化画像データが示す映像のシーンチェンジを判定するシーンチェンジ判定手段と、前記エラー検出手段によって前記符号化画像データのエラーが検出されかつ前記シーンチェンジ判定手段によってシーンチェンジ映像ではないと判定されたときに前記符号化画像データが示す映像のパーンを判定するパーン判定手段と、前記シーンチェンジ判定手段によってシーンチェンジ映像であると判定された場合、前記パーン判定手段によってパーン映像であることが判定された場合、及び前記パーン判定手段によってパーン映像ではないことが判定された場合の各々に対応して異なるエラー隠蔽処理を行って前記エラー検出手段によってエラーが検出されたブロックについての復号画像データを生成するエラー処理手段と、を備えたことを特徴としている。

請求項６に係る発明のディジタル画像復号方法は、フレーム毎に画像データを複数のブロックに分割してブロック毎に符号化された符号化画像データを当該ブロック毎に復号するディジタル画像復号方法であって、前記符号化画像データのエラーの有無をブロック毎に検出するエラー検出ステップと、前記エラー検出ステップにおいて前記符号化画像データのエラーが検出されたときに前記画像データが示す映像のシーンチェンジを判定するシーンチェンジ判定ステップと、前記エラー検出ステップにおいて前記符号化画像データのエラーが検出されかつ前記シーンチェンジ判定ステップにおいてシーンチェンジ映像ではないと判定されたときに前記符号化画像データが示す映像のパーンを判定するパーン判定ステップと、前記シーンチェンジ判定ステップにおいてシーンチェンジ映像であると判定された場合、前記パーン判定ステップにおいてパーン映像であることが判定された場合、及び前記パーン判定ステップにおいてパーン映像ではないことが判定された場合の各々に対応して異なるエラー隠蔽処理を行って前記エラー検出ステップによってエラーが検出されたブロックについての復号画像データを生成するエラー処理ステップと、を備えたことを特徴としている。

以下、本発明の実施例を図面を参照しつつ詳細に説明する。

図１は、本発明によるディジタル画像復号装置の構成を示すブロック図である。

図１に示す如く、かかるディジタル画像復号装置は、復号部１１、エラー検出部１２、エラー処理判定部１３、エラー処理制御部１４、動き補償復号部１５、加算器１６、フレームメモリ１７及びフレーム内補間部１８を備えている。

復号部１１は入力した符号化画像データの復号処理を行って復号画像データを出力する。データの符号化方式は１フレームを複数のブロックに分割してそれぞれのブロック毎に符号化し、かつ時間的に近傍のフレーム間で動き補償予測をブロック毎に行う方式（例えば、H.261, MPEG1/2やベクトル量子化など）とする。復号部１１は復号処理においてブロック毎に前フレームと現フレームとの差分値を算出し、それを差分復号データとして加算器１６に出力する。また、復号部１１はエラー解析用符号化データをエラー検出部１２に出力する。エラー解析用符号化データは符号化画像データのうちのヘッダデータのみ、或いは符号化画像データそのものでも良く、エラーの検出を可能にする情報を有するデータであれば良い。復号部１１は、現在復号化しているブロックの動き補償復号ベクトルをエラー処理判定部１３へ出力する。

エラー検出部１２は復号部１１からのエラー解析用符号化データに基づいて復号部１１における復号中のブロックにエラーがあるか否かを検出する。例えば、入力した符号化画像データを可変長復号している最中にエラー解析用符号化データを解析してエラーの検出を行う。解析としては、規格書で規定されているシンタッスクスとの不一致や規定された可変長符号語にない符号語を検出することが行われる。エラー検出部１２は、エラーを検出した場合には復号部１１及びエラー処理判定部１３にエラーフラグを出力する。復号部１１はエラーフラグが供給された場合にはエラー処理制御部１４に対してエラー処理制御をするように指示信号を発し、上記の差分復号データを０として加算器１６に出力する。

エラー処理判定部１３にはエラーフラグの他に、復号部１１から得られる復号画像データ及び動きベクトル等の情報が供給される。エラー処理判定部１３はシーンチェンジ判定部１３ａ、パーン判定部１３ｂ及び動きベクトル推定部１３ｃを有する。

シーンチェンジ判定部１３ａは現フレームの平均輝度と前フレームの平均輝度との輝度差に応じて画像のシーン（場面）が変化したことを判定する。パーン判定部１３ｂは映像のフレーム全体、すなわちカメラの撮影映像が一定方向（例えば、左方向）に動いているパーン(pan)映像を判定するために、エラーブロック以外の正常ブロックの動きベクトルの頻度分布を作成し、頻度分布が所定の条件を満たす場合は画像がパーンしていると判定する。所定の条件は、頻度分布の最大頻度の動きベクトル値の頻度が全体の所定割合（例えば、５０％）以上を占めることである。また、頻度分布を作成した動きベクトルのうちの最も頻度の多い動きベクトル値を選択して記憶する。動きベクトル推定部１３ｃはエラーブロックに対応する動きベクトル値を推定し、その推定動きベクトル値が適切であるか否かを判定する。これにより、当該エラーブロックを、前フレームの同一位置のブロックを推定動きベクトル値を用いて動き補償したもので置き換えることが適切であるか否かが判別される。エラー処理判定部１３においては、シーンチェンジ判定部１３ａ、パーン判定部１３ｂ及び動きベクトル推定部１３ｃによる判定がその順に行われ、その判定結果はエラー処理制御部１４に供給される。

なお、パーン判定部１３ｂによるパーン判定では、頻度分布が所定の条件を満たすならば、フレーム全体が移動している映像に限らず、静止画や、フレームの一部、例えば、静止した背景中に小さな物体が移動しているような映像もパーンと判定しても良い。

エラー処理制御部１４は、エラー処理判定部１３の判定結果に対応したエラー処理を制御する。エラー処理としては、シーンチェンジ用のエラー処理、パーン用のエラー処理、推定動きベクトル用のエラー処理及びベクトル値０のエラー処理があり、エラー処理判定部１３の判定結果に対応してエラー処理制御部１４によって後述するように選択される。エラー処理した結果は復号部１１に供給され、復号部１１においてはエラー処理結果を用いてエラーブロックに対する復号画像データが生成される。

エラー処理制御部１４は、エラー処理結果に対応してエラーコンシールメント処理を行うように動き補償復号部１５又はフレーム内補間部１８を制御する。動き補償復号部１５はエラー処理制御部１４から供給された動きベクトルに従い、時間的に近傍な前フレームを格納するフレームメモリ１７から読み出された前フレームの画像データをブロック単位で動き補償して予測参照画像データとして加算器１６へ出力する。加算器１６は復号部１１内で生成された現フレームと前フレームとの差分値である差分復号データと動き補償復号部１５より出力された予測参照画像データとをブロック単位で加算する。その加算結果は復号画像データとして出力されると共にフレームメモリ１７へ出力される。フレームメモリ１７は次フレームで参照画像として用いるために加算器１６から出力される復号画像データを記憶する。フレーム内補間部１８はフレームメモリ１７に記憶されたフレーム内の画像データを用いて補間画像データを生成し、それを復号画像データとして出力する。

なお、エラー処理制御部１４、動き補償復号部１５、加算器１６、フレームメモリ１７及びフレーム内補間部１８がエラー処理手段に相当する。

かかる構成のディジタル画像復号装置においては、現ブロックがエラーブロックである場合には、エラー検出部１２からエラーフラグが復号部１１及びエラー処理判定部１３に供給される。復号部１１はエラーフラグが供給された場合には現ブロックの符号化画像データに対する復号処理よる動きベクトルの生成を行わず、エラー処理制御部１４において復号画像データが生成される。

かかるエラーフラグが供給された場合のエラー処理判定部１３及びエラー処理制御部１４によるエラー隠蔽動作を次に図２のフローチャートを用いて説明する。

エラー処理判定部１３においては、エラーフラグに応答して先ず、シーンチェンジ判定部１３ａが現フレームがシーンチェンジの画像であるか否かを判別する（ステップＳ１）。現フレームの平均輝度と前フレームの平均輝度との輝度差が例えば、所定値以上であるならば、シーンチェンジ判定部１３ａによって現フレームはシーン変化した画像であると判定される。平均輝度はフレーム内のエラーブロック以外の正常ブロック全ての画素の輝度の平均値である。シーンチェンジ判定部１３ａによってシーンチェンジの画像であるという判定結果はエラー処理制御部１４に供給される。エラー処理制御部１４はそのシーンチェンジの判定結果に応じてフレーム内補間部１８にフレーム内補間（又はフィールド内補間）を指令する。フレーム内補間部１８はエラーブロックの近傍ブロックの画素平均値を用いてフレーム内補間（又はフィールド内補間）を行うことによりエラーブロックについての復号画像データを生成するエラーコンシールメント処理を行う（ステップＳ２）。

ステップＳ１において現フレームはシーンチェンジした画像ではないと判定された場合には、パーン判定部１３ｂがエラーブロックのブロックラインより１つ上のブロックラインの正常ブロックの動きベクトルの分布を作成し、最も頻度の多い動きベクトル値を検出し、その頻度が所定数以上であれば、画像がパーンしていると判定する（ステップＳ３）。また、その最も頻度の多い動きベクトル値を記憶する。パーン判定部１３ｂによってパーンの画像であるという判定結果は、記憶した動きベクトル値と共にエラー処理制御部１４に供給される。エラー処理制御部１４はパーンという判定結果を受けると、動き補償復号部１５に対してその動きベクトル値を供給し、動き補償復号部１５は供給された動きベクトル値に応じてフレームメモリ１７から前フレームの画像データ読み出して動き補償した予測参照画像データを出力するエラーコンシールメント処理を行う（ステップＳ４）。

ステップＳ３において現フレームはパーンした画像ではないと判定された場合には、動きベクトル推定部１３ｃがエラーブロックに対応する動きベクトル値を推定し、その推定動きベクトル値が適切であるか否かを判定する（ステップＳ５）。例えば、エラーブロックの真上に位置するブロックの動きベクトルを推定動きベクトルとし、その推定動きベクトル値がエラーブロックのブロックラインの正常ブロックの動きベクトル値との比較によって適切か否かを判定する。適切な推定動きベクトル値であるという判定結果ならば、その判定結果は推定動きベクトル値と共にエラー処理制御部１４に供給される。エラー処理制御部１４は適切な推定動きベクトル値という判定結果を受けると、動き補償復号部１５に対してその推定動きベクトル値を供給し、動き補償復号部１５はステップＳ４と同様に、その推定動きベクトル値に応じてフレームメモリ１７から前フレームの画像データ読み出して動き補償した予測参照画像データを出力するエラーコンシールメント処理を行う（ステップＳ６）。

ステップＳ５において適切な推定動きベクトル値ではないという判定結果ならば、エラー処理制御部１４は動きベクトル値を０として動き補償復号部１５に対してその動きベクトル値を供給する。動き補償復号部１５はステップＳ４と同様に、その０の動きベクトル値に応じてフレームメモリ１７から前フレームの画像データ読み出して動き補償した予測参照画像データを出力するエラーコンシールメント処理を行う（ステップＳ７）。

このように、エラーブロックが検出された場合には、先ず、そのエラーがシーンチェンジ時に発生した否かが判定され、シーンチェンジ時ならば、フレーム内補間によるエラーコンシールメント処理が行われる。シーンチェンジ時ではないならば、エラーがパーン時に発生した否かが判定され、パーン時ならば、現フレーム内のエラーブロックより上のブロックラインの正常ブロックの動きベクトルのうちの最も頻度の多い動きベクトル値が検出され、その動きベクトル値に応じて前フレームの復号画像データを読み出して動き補償することによってエラーコンシールメント処理が行われる。パーン時ではないならば、推定動きベクトル値が適切であるか否かが判定される。適切な推定動きベクトル値であるならば、推定動きベクトル値に応じて前フレームの復号画像データを読み出して動き補償することによってエラーコンシールメント処理が行われる。適切な推定動きベクトル値ではないならば、前フレームの復号画像データを用いることによってエラーコンシールメント処理が行われる。

よって、シーンチェンジ時及びパーン時各々のエラーブロックに対応して適切なエラーコンシールメント処理が行われるので、シーンチェンジ時及びパーン時に著しく画像が劣化することを防止することができる。

なお、ステップＳ１のシーンチェンジの判定方法としては、上記したように、復号後の画像データを用いてフレーム毎、あるいはフィールド毎に正常なブロックの輝度の平均画素値(DC値)を算出し、フレーム間或いはフィールド間の２つの平均画素値の差がある閾値を越えた場合をシーンチェンジと判別することが行われるが、これに限定されない。シンタックスに符号化されている情報(パラメータ)を用いることもできる。Ｐピクチャについては、イントラで符号化されているブロックが全体のブロックに占める割合が所定の閾値を越えた場合をシーンチェンジしたと判別することができる。Ｂピクチャについては、後方予測で符号化されているブロックの全体のブロックに占める割合が所定の閾値を越えた場合をシーンチェンジしたと判別することができる。或いは、Ｂピクチャについては、前方予測で符号化されているブロックの全体のブロックに占める割合が所定の閾値より少ない場合をシーンチェンジしたと判別しても良い。更に、Ｂピクチャについては、後方予測で符号化されているブロックが前方予測で符号化されたブロックに占める割合が所定の閾値を越えた場合をシーンチェンジしたと判別しても良い。

各ピクチャの符号化ビット量を用いてシーンチェンジを判定することができる。例えば、各ピクチャ毎(Ｉ，Ｐ，Ｂ)に割り当てられている符号化ビット量の過去の平均と現ピクチャに割り当てられている符号化ビット量の差が所定の閾値を越えた場合をシーンチェンジしたと判別しても良い。

また、ステップＳ２のシーンチャンジ時に適したエラーコンシールメント処理としては、上記の実施例ではエラーブロックの近傍ブロックの画素平均値を用いてエラーコンシールメントを行うフレーム/フィールド内補間法を示したが、エラーブロックの近傍の画素値を用いて線形補間処理(フィルタ処理)を行っても良い。また、未来の参照フレーム/フィールドからの補間法を用いることもできる。現フレーム/フィールドと未来の参照フレーム/フィールド間でシーンチェンジでない場合には未来の参照フレーム/フィールドからのみエラーコンシールメントを行うのである。ただし、この方法は双方向予測が存在するＢピクチャにおいてのみ適用可能である。

以上のように、本発明によれば、エラー検出手段によって符号化画像データのエラーが検出されたときに画像データが示す映像のシーンチェンジを判定するシーンチェンジ判定手段と、エラー検出手段によって符号化画像データのエラーが検出されかつシーンチェンジ判定手段によってシーンチェンジ映像ではないと判定されたときに符号化画像データが示す映像のパーンを判定するパーン判定手段と、シーンチェンジ映像であると判定された場合、パーン映像であることが判定された場合、及びパーン映像ではないことが判定された場合の各々に対応して異なるエラー隠蔽処理を行ってエラーが検出されたブロックについての復号画像データを生成するエラー処理手段とを備えているので、シーンチェンジ時及びパーン時に著しく画像が劣化することを防止することができ、エラーブロックに対するコンシールメントの性能を向上させることができる。

本発明の実施例を示すブロック図である。図１のエラー隠蔽動作を示すフローチャートである。

符号の説明

１１復号部
１２エラー検出部
１３エラー処理判定部
１４エラー処理制御部

Claims

フレーム毎に画像データを複数のブロックに分割してブロック毎に符号化された符号化画像データを当該ブロック毎に復号するディジタル画像復号装置であって、
前記符号化画像データのエラーの有無をブロック毎に検出するエラー検出手段と、
前記エラー検出手段によって前記符号化画像データのエラーが検出されたときに前記符号化画像データが示す映像のシーンチェンジを判定するシーンチェンジ判定手段と、
前記エラー検出手段によって前記符号化画像データのエラーが検出されかつ前記シーンチェンジ判定手段によってシーンチェンジ映像ではないと判定されたときに前記符号化画像データが示す映像のパーンを判定するパーン判定手段と、
前記シーンチェンジ判定手段によってシーンチェンジ映像であると判定された場合、前記パーン判定手段によってパーン映像であることが判定された場合、及び前記パーン判定手段によってパーン映像ではないことが判定された場合の各々に対応して異なるエラー隠蔽処理を行って前記エラー検出手段によってエラーが検出されたブロックについての復号画像データを生成するエラー処理手段と、を備えたことを特徴とするディジタル画像復号装置。
前記エラー検出手段によって前記符号化画像データのエラーが検出されかつ前記パーン判定手段によってパーン映像ではないと判定されたときに現ブロックの動きベクトルを推定し、その推定動きベクトルが適切であるか否かを判定する動きベクトル判定手段を備え、
前記エラー処理手段は、前記動きベクトル判定手段によって前記推定動きベクトルが適切であると判定された場合及び前記動きベクトル判定手段によって前記推定動きベクトルが適切ではないと判定された場合の各々に対応して異なるエラー隠蔽処理を行うことを特徴とする請求項１記載のディジタル画像復号装置。
前記エラー処理手段は、前記シーンチェンジ判定手段によってシーンチェンジの映像であると判定された場合には、前記エラー隠蔽処理としてフレーム又はフィールド内補間を行うことを特徴とする請求項１記載のディジタル画像復号装置。
前記エラー処理手段は、前記パーン判定手段によってパーン映像であると判定された場合には、前記エラー隠蔽処理として現フレーム内のエラーブロックより上のブロックラインの正常ブロックの動きベクトルのうちの最も頻度の多い動きベクトル値を検出し、その動きベクトル値と前フレームの復号画像データとを用いて動き補償することを特徴とする請求項１記載のディジタル画像復号装置。
前記エラー処理手段は、前記動きベクトル判定手段によって前記推定動きベクトルが適切であると判定された場合には、前記エラー隠蔽処理として前記推定動きベクトル値と前フレームの復号画像データとを用いて動き補償し、前記動きベクトル判定手段によって前記推定動きベクトルが適切ではないと判定された場合には、前記エラー隠蔽処理として前フレームの復号画像データを用いることを特徴とする請求項２記載のディジタル画像復号装置。
フレーム毎に画像データを複数のブロックに分割してブロック毎に符号化された符号化画像データを当該ブロック毎に復号するディジタル画像復号方法であって、
前記符号化画像データのエラーの有無をブロック毎に検出するエラー検出ステップと、
前記エラー検出ステップにおいて前記符号化画像データのエラーが検出されたときに前記画像データが示す映像のシーンチェンジを判定するシーンチェンジ判定ステップと、
前記エラー検出ステップにおいて前記符号化画像データのエラーが検出されかつ前記シーンチェンジ判定ステップにおいてシーンチェンジ映像ではないと判定されたときに前記符号化画像データが示す映像のパーンを判定するパーン判定ステップと、
前記シーンチェンジ判定ステップにおいてシーンチェンジ映像であると判定された場合、前記パーン判定ステップにおいてパーン映像であることが判定された場合、及び前記パーン判定ステップにおいてパーン映像ではないことが判定された場合の各々に対応して異なるエラー隠蔽処理を行って前記エラー検出ステップによってエラーが検出されたブロックについての復号画像データを生成するエラー処理ステップと、を備えたことを特徴とするディジタル画像復号方法。