JP2009010492A - 画像復号化装置及び画像変換回路 - Google Patents

Abstract

【課題】標準解像度で符号化されたストリームを復号して高精細画像に変換する際、より高画質の画像を得ること。
【解決手段】フィールド内画素補間部３３は、同一フィールド内の画素を用いて補間画素を生成する。フィールド間画素補間部３４は、別フィールドの画素を用いて補間画素を生成する。加重平均部３５は、符号化ストリームの予測符号化時の予測モードを参照し、予測モードがフィールド予測モードである場合はフィールド内画素補間部３３による補間画素の混合比を大きくし、予測モードがフレーム予測モードである場合はフィールド間画素補間部３４による補間画素の混合比を大きくして混合する。
【選択図】図３

Description

本発明は、符号化ストリームを復号化する画像復号化装置、及び復号化する際インターレース画像をプログレッシブ画像等に解像度変換する画像変換回路に関する。

デジタル放送やＤＶＤなど、標準解像度で符号化されたストリームを復号して高精細のＴＶモニタで視聴する場合には、解像度を変換（インターレース画像をプログレッシブ画像へ変換）して画質を向上させる必要がある。従来のプログレッシブ変換では、フィールド内処理で生成した補間走査線信号とフィールド間処理で生成した補間走査線信号とを画像の動き情報に応じて加算し、補間する走査線信号を生成するものであった。

これに関連する技術として、特許文献１には、飛び越し走査の画像信号系列のフィールド内信号処理で生成する動画補間走査線信号とフィールド間信号処理で生成する静止画補間走査線信号の混合比率の値を、画素単位の動きベクトルのスカラー量に応じて変化させて、飛び越し走査で抜けた走査線の信号を生成する技術が記載される。

特許文献２には、復号された符号化動きベクトルを用いて評価値を求め、評価値に基づいてフィールド内補間信号と動き補償補間信号を所定の混合比で加算し、補間前の復号画像と合併出力する技術が記載される。

特許文献３には、動き補償のフレーム間差分信号の絶対値が閾値未満は復号した動きベクトル、閾値以上は零の動きベクトルで生成する動き補償の補間信号と、フィールド内の信号処理で生成する動画像の補償信号とを、動き補償のフレーム間差分信号の絶対値の大小に応じて、動き補償補間信号とフィールド内補間信号との混合比を変化させて補間走査線の生成を行うことが記載される。

特開平１１−２６６４４０号公報 特開２００１−８６５０８号公報 特開２００４−３３６８１７号公報

上記各特許文献に記載の技術は、動きベクトルを利用してプログレッシブ変換を行うことにより、変換処理を軽減させることを狙ったものである。そして、フィールド内補間信号とフィールド間補間信号との混合比を、動きベクトルや動き補償のフレーム間差分信号の大きさにより制御するものである。しかしながら、動きベクトルや動き補償差分信号の大きさは、必ずしもフィールド内画素間の相関とフィールド間画素間の相関のいずれが強いかを示す指標ではなく、よって最適な混合比が選ばれない場合がある。

さらに、上記技術は、動き補償による補間がかかっている予測画素から作った復号画素のみを用いて補間信号を作成している。この予測画素は、小数ベクトルによる動き補償による解像度劣化を伴っている。したがって、復号画素のみで補間信号を作成する上記従来技術では、解像度の向上が得られないという問題点があった。

本発明の目的は、標準解像度で符号化されたストリームを復号して高精細画像に変換する際、より高画質の画像を得ることである。

本発明の画像符号化装置は、符号化ストリームから画素ブロック毎の直交変換係数と予測情報を抽出するエントロピー符号復号部と、画素ブロック毎に上記直交変換係数を逆変換して差分画を復元する逆直交変換部と、予測情報に基づいて参照画に動き補償を行った予測画を作成し、差分画と加算して復号画を作成する復号画作成部と、差分画及び参照画に対し、同一フィールド内の画素を用いるフィールド内補間処理と別フィールドの画素を用いるフィールド間補間処理を混合して補間画素を生成し高解像度の画像に変換した表示画を作成する画像変換部と、復号画を参照画として格納する参照画メモリと、表示画を格納する表示画メモリとを備える。画像変換部は、符号化ストリームの動き補償フレーム間予測符号化時の予測モードを参照し、補間画素の位置を含む画素ブロックの予測モードがフィールド予測モードである場合はフィールド内補間処理による補間画素の混合比を大きくし、予測モードがフレーム予測モードである場合はフィールド間補間処理による補間画素の混合比を大きくする。

本発明の画像変換回路は、同一フィールド内の画素を用いて補間画素を生成するフィールド内画素補間部と、別フィールドの画素を用いて補間画素を生成するフィールド間画素補間部と、フィールド内画素補間部による補間画素とフィールド間画素補間部による補間画素とを所定の比で混合する加重平均部とを備え、加重平均部は、符号化ストリームの動き補償フレーム間予測符号化時の予測モードを参照し、補間画素の位置を含む画素ブロックの予測モードがフィールド予測モードである場合はフィールド内画素補間部による補間画素の混合比を大きくし、予測モードがフレーム予測モードである場合はフィールド間画素補間部による補間画素の混合比を大きくする。

また本発明の画像変換回路は、符号化ストリームは動きベクトルが小数画素精度の動き補償フレーム間予測符号化により符号化されたストリームであり、動き補償前の参照画像データを用いて補間画素を生成する画素補間部を備える。

本発明によれば、フィールド内補間とフィールド間補間の混合比の精度を上げることができ、高解像度変換時の画質が向上する。また、動きベクトルが小数ベクトルの場合の動き補償に伴う解像度劣化の影響を受けなくできるので、画質が向上する。

以下、本発明の実施の形態を図面を用いて説明する。
図１は、本発明による画像変換機能を含む画像復号化装置の一実施例を示す構成図である。エントロピー符号復号部１には、デジタル放送やＤＶＤなどの標準解像度で符号化されたストリーム（インターレース方式）が入力する。入力するストリームは、動き補償フレーム間予測符号化により符号化されており、このストリームから画素ブロック毎の直交変換係数と予測情報を抽出して出力する。逆直交変換部２は、画素ブロック毎に直交変換係数を逆変換して差分画Ｆを復元する。

復号及び画像変換部３は、参照画メモリ４から参照画Ｒを読み出し、予測情報に基づいて動き補償を行った予測画を作り、逆直交変換部２からの差分画Ｆと加算して復号画Ｄを生成し、復号したインターレース画像として参照画メモリ４に格納する。これと同時に、復号及び画像変換部３は、フィールド内補間処理とフィールド間補間処理を混合した画素補間により高解像度のプログレッシブ画像に変換した表示画Ｅを作成し、表示画メモリ５に格納する。表示画メモリ５に書き込んだ表示画Ｅは、図示しない表示装置（高精細のＴＶモニタなど）に出力される。このように復号及び画像変換部３は、復号画作成機能と解像度変換機能を有する。

図２は、本実施例の装置における画像フレーム毎の復号処理を示すタイミングチャートである。図２において各画像フレームを入力順に示し、フレームに付けた記号は、ＩはＩピクチャ、ＰはＰピクチャ、ＢはＢピクチャを示し、それに続く数字は、フレームで数えた場合の表示順を示している。

始めに、ＩピクチャＩ０の符号化データが入力される。エントロピー符号復号部１は、入力されたストリームを解析し、直交変換係数と予測情報を出力する。逆直交変換部２は、直交変換係数を逆変換して差分画Ｆを復元する。ＭＰＥＧ２のＩピクチャの場合は、逆変換したものがそのまま復号画Ｄとなる。復号及び画像変換部３は、復号画Ｄを参照画メモリ４に書き込む。それと同時に、画素補間を行った高精細の表示画Ｅを作成し（図２ではフレームのサイズを拡大して示す）、表示画メモリ５に書き込む。

次に、Ｐ３が入力されると、同様にして差分画Ｆが生成され、参照画メモリ４から参照画Ｒとして直前のＩまたはＰピクチャであるＩ０の画像データが読み出される。図２では、参照画メモリ４内の復号画Ｄ（ここではＩ０）が参照画Ｒとして利用されることを矢印で示す。復号及び画像変換部３は、予測情報に基づいて参照画Ｒから動き補償を行った予測画を作り、差分画Ｆと加算して復号画Ｄを生成し参照画メモリ４に書き込む。それと同時に、高精細の表示画Ｅを作成し表示画メモリ５に書き込む。

次に、Ｂ１が入力されると、同様にして差分画Ｆが生成され、参照画メモリ４から参照画ＲとしてＩ０およびＰ３の画像データが読み出される。復号及び画像変換部３は、この場合も予測情報に基づいて参照画Ｒから動き補償を行った予測画を作り、差分画Ｆと加算して復号画Ｄを生成する。それと同時に、高精細の表示画Ｅを作成し表示画メモリ５に書き込む。ＭＰＥＧ２ではＢピクチャが参照されることはないので、Ｂピクチャの復号画Ｄは参照画メモリ４に書き込まない。

次にＢ２が入力されるが、その処理はＢ１の場合と同様である。次にＰ６が入力されると、今度は直前のＩまたはＰピクチャであるＰ３を参照画Ｒとして、Ｐ３と同様の処理が行われる。以下、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの処理が繰り返される。

復号及び画像変換部３による画像変換の一例として、差分画Ｆ、参照画Ｒ、復号画Ｄの画像サイズ（水平７２０画素×垂直４８０画素）を、表示画Ｅの画像サイズ（水平１９２０画素×垂直１０８０画素）に拡大する（解像度変換）。最終的な表示出力は、表示画メモリ５から表示画Ｅを読み出し、図２に示すように表示順にプログレッシブ方式で出力される。すなわち、トップフィールド（ｔ）とボトムフィールド（ｂ）が交互に出力される。

図３は、復号及び画像変換部（画像変換回路）３の詳細ブロック図である。
まず、解像度変換なしに復号画Ｄを作成するブロックとして、予測情報を用いて参照画Ｒから予測画を作成する動き補償部３１、予測画と差分画Ｆを加算して復号画Ｄを作成する加算部３２を有する。動き補償部３１は、予測情報に含まれる予測モードｍ、動きベクトルの水平成分ｈ、動きベクトルの垂直成分ｖを用いて、参照画Ｒから規格に従った処理により予測画を作成し、加算部３２において差分画Ｆと加算して復号画Ｄを生成するものである。

次に解像度変換した表示画Ｆを作成するため、差分画Ｆ及び参照画Ｒに対してそれぞれ画像変換ブロックを備える。
差分画Ｆに対する画像変換ブロックとして、同一フィールド内の画素を用いて差分画Ｆの画素補間を行って垂直方向に画像を拡大するフィールド内垂直画素補間部３３、別フィールドの画素を用いて差分画Ｆの画素補間を行って垂直方向に画像を拡大するフィールド間垂直画素補間部３４、フィールド内垂直画素補間部３３で作成した補間画素とフィールド間垂直画素補間部３４で作成した補間画素とを、予測情報（予測モードｍ）に応じて加重平均して補間画素を生成して垂直方向に拡大された差分画Ｆを生成する加重平均部３５、垂直方向に拡大された差分画Ｆに対して水平方向の画素補間およびスケーリングを行って垂直・水平方向に拡大された差分画Ｆを生成する水平画素補間部３６を有する。

さらに参照画Ｒに対する画像変換ブロックとして、参照画Ｒから予測情報（ｖ）に応じて垂直方向にずらした位置の補間画素を生成すると同時に、同一フィールド内の画素を用いて画素補間を行って垂直方向に画像を拡大するフィールド内垂直画素補間部３８、予測情報（ｖ）に応じて垂直方向にずらした位置の補間画素を生成すると同時に、別フィールドの画素を用いて画素補間を行って垂直方向に画像を拡大するフィールド間垂直画素補間部３９、フィールド内垂直画素補間部３８で作成した補間画素とフィールド間垂直画素補間部３９で作成した補間画素とを、予測情報（予測モードｍ）に応じて加重平均して補間画素を生成して垂直方向に拡大された予測画を生成する加重平均部４０、垂直方向に拡大された予測画に対して予測情報（ｈ）に応じて水平方向にずらした位置の補間画素を生成すると同時に、水平方向の画素補間およびスケーリングを行って垂直・水平方向に拡大された予測画を生成する水平画素補間部４１を有する。
そして表示画Ｆを作成するため、水平画素補間部３６により垂直・水平方向に拡大された差分画Ｆと、水平画素補間部４１により垂直・水平方向に拡大された予測画とを加算して、垂直・水平方向に拡大された表示画Ｆを作成する加算部３７を有する。

ここで、復号及び画像変換部３における画像変換処理について説明する。
図４は、差分画Ｆに対する垂直画素補間部３３，３４による補間処理（プログレッシブ変換）を説明する図である。インターレース画像における空間的・時間的な画素位置を模式的に示しており、プログレッシブ変換のため補間画素ｐｉを作成する場合である。フィールド内垂直画素補間部３３は、垂直方向に近接する画素ｐｓ０およびｐｓ１から補間画素ｐｉの位置の画素データを生成する。一方フィールド間垂直画素補間部３４は、時間軸方向に近接する画素ｐｏ０およびｐｏ１から補間画素ｐｉの位置の画素データを生成する。

加重平均部３５は、これらの画素補間部３３，３４にて作成した２つの画素データを加重平均（混合）して補間画素ｐｉのデータとする。この時、加重平均の重み（混合比）を、補間画素ｐｉが含まれるマクロブロックの予測モードｍ（「フィールド予測」又は「フレーム予測」）に従い決定する。すなわち、予測モードｍが「フィールド予測」である場合には、近傍の画像データがフィールド間の相関が小さく、各フィールドを別々に予測したほうが効率が良いことを意味しているので、フィールド内垂直画素補間部３３で作成した画素データの重みを大きくし、フィールド間垂直画素補間部３４で作成した画素データの重みを小さく（またはゼロに）する。逆に、予測モードｍが「フレーム予測」である場合には、フィールド間の相関が大きいことを意味しているので、フィールド間垂直画素補間部３４で作成した画素データの重みを大きくし、フィールド内垂直画素補間部３３で作成した画素データの重みを小さく（又はゼロに）する。

なお、図４ではフィールド間垂直画素補間のために垂直位置が同じ位置の画素ｐｏ０、ｐｏ１を用いているが、時間的に動きのある画像の場合には、動き量だけ垂直方向にずらした位置から補間することで、補間データの精度がより向上する。

プログレッシブ変換の後、水平画素補間部３６で水平方向の画素補間および必要に応じて水平垂直のスケーリングを行う。すなわち、７２０画素×４８０ラインを１９２０画素×１０８０ラインに変換する場合は、例えば、トップフィールド２４０ラインをプログレッシブ変換した４８０ラインから、トップフィールド５４０ラインを生成すればよい。

次に、参照画Ｒに対する垂直画素補間部３８，３９による補間処理（プログレッシブ変換）を説明する。基本的には図４で説明した差分画Ｆに対する処理と同様であるが、さらに動き補償の処理が追加される。そのため、予測情報に含まれる動きベクトルの垂直成分ｖに応じて、垂直方向にずらした位置の補間画素を作成する。加重平均部４０では、加重平均部３５の場合と同様に、加重平均の重みを予測モードｍが「フィールド予測」か「フレーム予測」かによって制御する。続いて、水平画素補間部４１で水平方向の画素補間および水平垂直のスケーリングを行う。

水平画素補間部４１では動き補償が必要であるので、予測情報に含まれる動きベクトルの水平成分ｈに応じて、水平方向にずらした位置の補間画素を作成する。最後に、加算部３７において画素補間後の差分画と加算して表示画Ｅとする。

次に、本実施例の処理による効果を説明する。
本実施例の特徴の１つは、フィールド内垂直画素補間とフィールド間垂直画素補間の加重平均の制御に予測モードｍを用いることであるが、それにより画質向上の効果をもたらす。従来方式では、動きベクトルの大きさによりフィールド内垂直画素補間とフィールド間垂直画素補間の加重平均の重みを制御している。その場合、画像圧縮における動きベクトルは、一般に予測誤差が最も小さくなる画素データとのずれ量を検出しており、必ずしも画像の動きの量そのものと一致していない。すなわち、画像の動きが大きいのにもかかわらず、小さな動きベクトルで一致度の高いパターンが見つかれば、動きベクトルとして小さなベクトルが選ばれる可能性がある。

図５は、本実施例と従来方式の補間処理により得られる画素値を比較した一例である。（ａ）は注目しているフィールド内の画素ｐｓに対する画素値、（ｂ）は時間的に近接するフィールドの画素ｐｏに対する画素値である。ここでは画像の動きが大きい場合を示し、あるフィールドの画素ｐｓと同一フレームを形成する隣のフィールドの画素ｐｏとの相関が小さくなり、符号化時の予測モードｍとして「フィールド予測」が選ばれることになる。

（ｃ）は本実施例による補間処理の結果を示し、「フィールド予測」が選ばれている場合にはフィールド内垂直画素補間部３３，３８で作成した画素データ、すなわちｐｓに基づく補間の重みを大きくするので、補間処理後の画素データは滑らかに連続したものになる。これに対し、（ｄ）は従来方式による補間処理の結果を示し、動きベクトルとして小さい値が選ばれた場合には、フィールド間の相関が小さい場合でもｐｏに基づく補間の重みを大きくしてしまうので、画素データが暴れて画質劣化を生じてしまう。このように本実施例によれば、予測モードｍを用いることでフィールド内補間とフィールド間補間の混合比の精度を上げ、画質の向上を図ることができる。

本実施例のもう１つの特徴は、表示画の画像拡大のために参照画の状態で画素補間処理を行うことであり、これにより画質向上の効果をもたらす。ちなみに、従来方式による表示画の画像拡大は、参照画の状態では画素補間処理を行わず、復号画に対して行っていた。すなわち、図３における参照画Ｒに対する垂直画素補間部３８，３９や水平画素補間部４１による処理系統が存在せず、加算部３２から出力される復号画Ｄに対して処理するものであった。

図６は、本実施例と従来方式の補間処理により得られる表示画を比較した一例である。説明を簡単にするため、差分画Ｆがゼロの場合、すなわち復号画Ｄ＝予測画の場合とする。また、図６では、動きベクトル成分が小数画素である例としてハーフペル（すなわち０．５画素）の位置を指した場合について示している。（ａ）は参照画Ｒの画素値の例である。（ｂ）は予測画（復号画Ｄ）であり、ハーフペルなので予測画は１：１の線形補間で生成され、これがそのまま復号画Ｄとなる。このとき、動きベクトルの小数点以下の成分に応じて補間処理の重心位置をシフトさせる。

（ｃ）は本実施例により得られる表示画で、（ａ）のハーフペル処理前の参照画Ｒのデータを用いて（ｂ）の予測画（復号画Ｄ）に対し補間画素を生成する。その結果、補間処理後の表示画Ｅは原画像を良く復元しつつ解像度を向上することができる。これに対し（ｄ）は従来方式の場合で、（ｂ）の復号画Ｄを補間処理して表示画Ｅを作るので、補間画素の画素値は原画像の値からの外れが大きくなり解像度を劣化させる。ここでは１：２の補間の場合を示している。多タップのフィルタを用いればある程度解像度を改善するが、ハーフペルを作成した時点で画素値情報が失われており、完全に復元することは不可能である。

このように本実施例によれば、動き補償前の参照画Ｒから補間画素を作成することにより、ハーフペルを含む小数ベクトルによる動き補償に伴う解像度劣化の影響を受けなくできるので、画質が向上する。

本実施例の画像変換処理は、デジタル放送やＤＶＤなど、標準解像度のコンテンツを高精細のディスプレイに表示する場合に広く適用できる。

本発明による画像変換機能を含む画像復号化装置の一実施例を示す構成図。 画像フレーム毎の復号処理を示すタイミングチャート。 復号及び画像変換部（画像変換回路）の詳細ブロック図。 差分画Ｆに対する補間処理を説明する図。 本実施例と従来方式の補間処理により得られる画素値を比較した一例。 本実施例と従来方式の補間処理により得られる表示画を比較した一例。

符号の説明

１…エントロピー符号復号部
２…逆直交変換部
３…復号及び画像変換部（画像変換回路）
４…参照画メモリ
５…表示画メモリ
３１…動き補償部
３２，３７…加算部
３３，３８…フィールド内垂直画素補間部
３４，３９…フィールド間垂直画素補間部
３５，４０…加重平均部
３６，４１…水平画素補間部。

Claims (5)

1. 符号化ストリームを復号化し、復号化した画像を補間画素により高解像度の画像に変換する画像復号化装置において、
   上記符号化ストリームから画素ブロック毎の直交変換係数と予測情報を抽出するエントロピー符号復号部と、
   画素ブロック毎に上記直交変換係数を逆変換して差分画を復元する逆直交変換部と、
   上記予測情報に基づいて参照画に動き補償を行った予測画を作成し、上記差分画と加算して復号画を作成する復号画作成部と、
   上記差分画及び上記参照画に対し、同一フィールド内の画素を用いるフィールド内補間処理と別フィールドの画素を用いるフィールド間補間処理を混合して補間画素を生成し高解像度の画像に変換した表示画を作成する画像変換部と、
   上記復号画を上記参照画として格納する参照画メモリと、
   上記表示画を格納する表示画メモリとを備え、
   上記画像変換部は、上記符号化ストリームの動き補償フレーム間予測符号化時の予測モードを参照し、上記補間画素の位置を含む画素ブロックの予測モードがフィールド予測モードである場合は上記フィールド内補間処理による補間画素の混合比を大きくし、予測モードがフレーム予測モードである場合は上記フィールド間補間処理による補間画素の混合比を大きくすることを特徴とする画像復号化装置。
2. 符号化ストリームを復号化し、復号化した画像を補間画素により高解像度の画像に変換する画像復号化装置において、
   上記符号化ストリームから画素ブロック毎の直交変換係数と予測情報を抽出するエントロピー符号復号部と、
   画素ブロック毎に上記直交変換係数を逆変換して差分画を復元する逆直交変換部と、
   上記予測情報に基づいて参照画に動き補償を行った予測画を作成し、上記差分画と加算して復号画を作成する復号画作成部と、
   上記差分画及び上記参照画に対し、同一フィールド内の画素を用いるフィールド内補間処理と別フィールドの画素を用いるフィールド間補間処理を混合して補間画素を生成し高解像度の画像に変換した表示画を作成する画像変換部と、
   上記復号画を上記参照画として格納する参照画メモリと、
   上記表示画を格納する表示画メモリとを備え、
   上記符号化ストリームは動きベクトルが小数画素精度の動き補償フレーム間予測符号化により符号化されたストリームであり、上記画像変換部は、動き補償前の参照画像データを用いて上記参照画に対する補間画素を生成することを特徴とする画像復号化装置。
3. 符号化ストリームを復号化した画像を補間画素により高解像度の画像に変換する画像変換回路において、
   同一フィールド内の画素を用いて補間画素を生成するフィールド内画素補間部と、
   別フィールドの画素を用いて補間画素を生成するフィールド間画素補間部と、
   上記フィールド内画素補間部による補間画素と上記フィールド間画素補間部による補間画素とを所定の比で混合する加重平均部とを備え、
   該加重平均部は、上記符号化ストリームの動き補償フレーム間予測符号化時の予測モードを参照し、上記補間画素の位置を含む画素ブロックの予測モードがフィールド予測モードである場合は上記フィールド内画素補間部による補間画素の混合比を大きくし、予測モードがフレーム予測モードである場合は上記フィールド間画素補間部による補間画素の混合比を大きくすることを特徴とする画像変換回路。
4. 符号化ストリームを復号化した画像を補間画素により高解像度の画像に変換する画像変換回路において、
   上記符号化ストリームは動きベクトルが小数画素精度の動き補償フレーム間予測符号化により符号化されたストリームであり、
   動き補償前の参照画像データを用いて補間画素を生成する画素補間部を備えることを特徴とする画像変換回路。
5. 請求項４記載の画像変換回路において、
   前記画素補間部は、動きベクトルの小数点以下の成分に応じて補間処理の重心位置を変えることを特徴とする画像変換回路。

Images