JP2011217020A - 動画像復号装置及び動画像復号方法 - Google Patents

Abstract

【課題】ダウンデコード時に縮小画像にノイズが発生することを抑制する。
【解決手段】ＩＤＣＴ部１１は、逆量子化後のＤＣＴ係数を入力し、高周波数成分の係数を削減したＩＤＣＴ出力ｆ１と、高周波数成分の係数を含むＩＤＣＴ出力ｆ２とを生成し、動き補償部１２は、ＩＤＣＴ出力ｆ１とＩＤＣＴ出力ｆ２のそれぞれを用いて動き補償を行い、復号画像ｍ１，ｍ２を生成し、判定部１３は、復号画像ｍ１，ｍ２から、画像縮小時のノイズの発生可能性を判定し、選択部１４は判定部１３での判定結果に基づき、メモリ書き込み時に縮小対象となる復号画像を、復号画像ｍ１，ｍ２の何れか一方から選択する。
【選択図】図１

Description

本発明は、動画像復号装置及び動画像復号方法に関する。

動画像復号装置に入力されたビデオストリーム（符号化された動画像データ）を復号及び表示する際、入力ビデオストリームの画像サイズに対して要求される出力画像が小さい（たとえば、表示装置の解像度が低い）場合、画像サイズを縮小する必要がある。

その方法の１つとして、入力ビデオストリームの画像サイズに対して、規格で定められた通りそのままの解像度で復号し、最終的に得られた復号フレームを要求される出力画像サイズに縮小して表示する方法がある。

もう１つの方法として、ダウンデコードがある。ダウンデコードは、入力ビデオストリームに対して、入力ビデオストリームの画像サイズより小さいサイズで復号処理を行い、最終的に得られた復号フレームを、要求される画像サイズに変換して表示するものである。

後者の手法では、通常のデコード処理に比べて、フレームメモリサイズを小さくすることができるため、動画像復号装置とフレームメモリとの間のメモリ帯域及びメモリ容量を削減することができる。

ダウンデコード方法の１つとして、復号したフレーム画像をフレーム間予測のために一旦メモリに保持する際に、フレーム画像をダウンサンプリングして縮小し、読み出し時にフレーム画像を元の画像サイズに拡大する手法がある。この手法では、逆離散コサイン変換（ＩＤＣＴ：Inverse Discrete Cosine Transform）、動き補償（ＭＣ：Motion Compensation）は通常の入力ビデオストリームの画像サイズで行われる。

特開２００２−１１２１９５号公報

しかしながら、前述した従来のダウンデコード方法では、フレーム画像をメモリに書き出す際、フレーム画像を縮小するが、その際に高周波数成分の影響で、縮小画像に折り返しノイズが含まれてしまう場合があった。そのため、ＩＤＣＴ時に高周波数成分の係数をカットすることが考えられる。ただし、一様に高周波数成分の係数をカットすると、エッジが強い部分（文字の輪郭や輝度差の大きい境界付近）においては、エッジ周辺の本来平坦な部分にリンギングノイズやモスキートノイズなどが発生する問題があった。

上記の点を鑑みて、本発明は、ダウンデコード時のノイズの発生を抑制可能な動画像復号装置及び動画像復号方法を提供することを目的とする。

上記目的を達成するために、以下のような動画像復号装置が提供される。
この動画像復号装置は、逆量子化後の離散コサイン変換係数を入力し、高周波数成分の係数を削減した第１の逆離散コサイン変換出力と、高周波数成分の係数を含む第２の逆離散コサイン変換出力とを生成する逆離散コサイン変換部と、前記第１の逆離散コサイン変換出力と前記第２の逆離散コサイン変換出力のそれぞれを用いて動き補償を行い、第１の復号画像と第２の復号画像を生成する動き補償部と、前記第１の復号画像及び前記第２の復号画像から、画像縮小時のノイズの発生可能性を判定する判定部と、前記判定部での判定結果に基づき、メモリ書き込み時に縮小対象となる復号画像を、前記第１の復号画像または前記第２の復号画像の何れか一方から選択する選択部と、を有する。

開示の動画像復号装置及び動画像復号方法によれば、ダウンデコード時のノイズの発生を抑制できる。

第１の実施の形態に係る動画像復号装置の主要部の構成を示す図である。 ダウンデコードを行う動画像復号装置の一例の全体構成を示す図である。 ダウンデコード時のＩＤＣＴ／ＭＣ部及び縮小部の処理の流れを示す一例のフローチャートである。 変換行列Ｔを示す図である。 ＩＤＣＴの具体的な処理の流れを示す模式図である。 判定処理の一例を示すフローチャートである。 第２の実施の形態に係る動画像復号装置における、ＩＤＣＴ／ＭＣ部の一例の構成を示す図である。 マクロブロックの２行に対して動き補償を行う様子を示す図である。 評価画像に対するダウンデコード結果を示す図である。 図９の線分Ａ上の輝度値を示すグラフである。 別の評価画像に対するダウンデコード結果を示す図である。 図１１の線分Ｂ上の輝度値を示すグラフである。

以下、本発明の動画像復号装置及び動画像復号方法の実施の形態を、図面を参照しつつ説明する。
（第１の実施の形態）
図１は、第１の実施の形態に係る動画像復号装置の主要部の構成を示す図である。

また、図２は、ダウンデコードを行う動画像復号装置の一例の全体構成を示す図である。
なお、以下ではＭＰＥＧ（Moving Picture Experts Group）−２規格を前提に説明を行うが、これに限定されることはなく、たとえば、ＭＰＥＧ−１でも同様に適用が可能である。

まず、図２を用いて動画像復号装置１０の全体構成を説明する。動画像復号装置１０は、図２に示すように、全体制御部２１、可変長符号復号部２２、逆量子化部２３、フレーム内／フレーム間予測部２４、ＩＤＣＴ／ＭＣ部２５、拡大部２６、縮小部２７を有している。

全体制御部２１は、動画像復号装置１０の各部を制御する。可変長符号復号部２２は、可変長符号化されている入力ストリームを復号する。逆量子化部２３は、可変長符号復号部２２から出力される量子化データを逆量子化する。フレーム内／フレーム間予測部２４は、フレーム内／フレーム間予測を行い、予測画像をＩＤＣＴ／ＭＣ部２５に供給する。ＩＤＣＴ／ＭＣ部２５は、逆量子化後の画像データに対してＩＤＣＴと動き補償を行い、復号データを出力する。縮小部２７は復号データを縮小してメモリ３０に書き込む。拡大部２６は、メモリ３０に書き込まれた縮小画像を拡大して、フレーム間予測のための参照画像としてフレーム内／フレーム間予測部２４に供給する。

実際に携帯端末などにおける表示装置に動画像を表示させる際には、スケーラ３１がメモリ３０に格納された画像のサイズを、表示装置の表示サイズに合わせて変更し、図示しない表示装置に出力する。

図１に示す各部は、たとえば、ＩＤＣＴ／ＭＣ部２５に含まれる。図１に示すように、本実施の形態の動画像復号装置１０は、ＩＤＣＴ部１１、動き補償部１２、判定部１３、選択部１４を有している。

ここで、ＩＤＣＴ部１１は逆量子化後のＤＣＴ係数を入力し、高周波数成分の係数を削減した（高周波数成分係数カット有の）ＩＤＣＴ出力ｆ１と、高周波数成分の係数を含む（高周波数成分係数カット無の）ＩＤＣＴ出力ｆ２とを生成する。

動き補償部１２は、図２に示したフレーム内／フレーム間予測部２４から予測画像を入力して、ＩＤＣＴ出力ｆ１，ｆ２のそれぞれを用いて動き補償を行い、ＩＤＣＴ出力ｆ１から復号画像ｍ１、ＩＤＣＴ出力ｆ２から復号画像ｍ２を生成する。

判定部１３は、復号画像ｍ１，ｍ２を検証し、画像縮小時にノイズが発生する可能性があるか否かを判定する。
選択部１４は、判定部１３での判定結果に基づき、メモリ３０への書き込み時に縮小部２７で縮小対象となる復号画像を、復号画像ｍ１，ｍ２の何れか一方から選択し、出力する。

このように動画像復号装置１０は、高周波数成分係数カット有のＩＤＣＴ出力ｆ１から得られる復号画像ｍ１と、高周波数成分係数カット無のＩＤＣＴ出力ｆ２から得られる復号画像ｍ２から縮小時のノイズ発生可能性を判定し、縮小する復号画像を選択している。これによって、図示しないディスプレイに表示する縮小画像に、折り返しノイズやリンギングノイズ、モスキートノイズなどが発生することを抑制することができる。

以下、図１、図２で示した動画像復号装置１０を用いた動画像復号方法を、より具体的に説明する。
図３は、ダウンデコード時のＩＤＣＴ／ＭＣ部及び縮小部の処理の流れを示す一例のフローチャートである。

図１に示したＩＤＣＴ部１１に逆量子化後のＤＣＴ係数が入力されると、ＩＤＣＴが行われ、２種のＩＤＣＴ出力ｆ１，ｆ２が生成される（ステップＳ１）。
ＩＤＣＴ処理は、以下の式で表される。

ｆ＝^tＴ×Ｆ×Ｔ （１）
ここでｆはＩＤＣＴ出力、Ｆは入力されたＤＣＴ係数、Ｔは変換行列、^tＴはＴの転置行列であり、いずれも８×８の行列である。たとえば、ＭＰＥＧ−２の場合、変換行列Ｔは以下の値となる。

図４は、変換行列Ｔを示す図である。
ここで、Ａ＝√２／２×ｃｏｓ（π／４）、Ｂ＝√２／２×ｃｏｓ（π／１６）、Ｃ＝√２／２×ｃｏｓ（π／８）、Ｄ＝√２／２×ｃｏｓ（３π／１６）、Ｅ＝√２／２×ｃｏｓ（π／４）である。また、Ｆ＝√２／２×ｃｏｓ（５π／１６）、Ｇ＝√２／２×ｃｏｓ（３π／８）、Ｈ＝√２／２×ｃｏｓ（７π／１６）である。

式（１）は、水平方向１次元でのＩＤＣＴ演算（Ｆ１＝Ｆ×Ｔ）と、垂直方向１次元でのＩＤＣＴ演算（ｆ＝^tＴ×Ｆ１）に分解して求められる。
入力されるＤＣＴ係数Ｆのうち、第０列から第３列の成分をＦｌ、第４列から第７列の成分をＦｈとすると、以下の式が成り立つ。

Ｆ＝Ｆｌ＋Ｆｈ （２）
ここで、Ｆｌは第４列から第７列の係数値を０とし高周波数成分の係数をカットしたＤＣＴ係数に相当する。Ｆｈは第０列から第３列の係数値を０としたものである。式（２）を式（１）に代入すると、以下のようになる。

ｆ＝^tＴ×｛（Ｆｌ×Ｔ）＋（Ｆｈ×Ｔ）｝ （３）
前述した高周波数成分係数カット無のＩＤＣＴ出力ｆ２は、式（３）で表される。高周波数成分係数カット有のＩＤＣＴ出力ｆ１は、以下の式（４）で表される。

ｆ１＝^tＴ×（Ｆｌ×Ｔ） （４）
したがって、式（３），（４）より、高周波数成分係数カット有のＩＤＣＴ出力ｆ１と高周波数成分カット無のＩＤＣＴ出力ｆ２は、以下のような処理フローで算出される。

図５は、ＩＤＣＴの具体的な処理の流れを示す模式図である。
８×８画素のＩＤＣＴ係数ＦがＩＤＣＴ部１１に入力されると、まず、水平方向１次元でのＩＤＣＴが行われ、式（３）の行列Ｆｌ×Ｔ及び行列Ｆｈ×Ｔが出力される（ステップＳ１１）。

続いて、ＩＤＣＴ部１１は、行列Ｆｌ×Ｔに対して転置を行い（ステップＳ１２）、垂直方向１次元でのＩＤＣＴを行う（ステップＳ１３）。これにより、式（４）が演算され、高周波数成分係数カット有のＩＤＣＴ出力ｆ１が得られる。

一方、ＩＤＣＴ部１１は、行列Ｆｈ×Ｔに対して転置を行い（ステップＳ１４）、行列Ｆｌ×Ｔの転置の結果と加算し（ステップＳ１５）、垂直１次元方向でのＩＤＣＴを行う（ステップＳ１６）。これにより、式（３）が演算され、高周波数成分係数カット無のＩＤＣＴ出力ｆ２が得られる。

以上が、図３で示したＩＤＣＴ処理（ステップＳ１）の内容である。次に、動き補償部１２は、ＩＤＣＴ出力ｆ１，ｆ２のそれぞれを用いて動き補償を行い、２種の復号画像ｍ１，ｍ２を生成する（ステップＳ２）。ここでは、動き補償部１２は、フレーム内／フレーム間予測部２４から出力される予測画像の各画素値に対して、ＩＤＣＴ出力ｆ１，ｆ２の各係数値を加算することで、復号画像ｍ１，ｍ２を得る。

なお、入力されるマクロブロックが、画面内予測で処理するものである場合には、動き補償は不要であるので、ステップＳ２の処理はスキップされる。
次に、判定部１３は、復号画像ｍ１，ｍ２から、画像縮小時のノイズの発生可能性を判定する（ステップＳ３）。

たとえば、復号画像ｍ１，ｍ２にエッジが強い部分があると、高周波数成分の係数をカットした復号画像ｍ１では、エッジ周辺の本来平坦な部分にリンギングノイズやモスキートノイズが発生する可能性がある。そのため、判定部１３は、高周波数成分の係数をカットしない復号画像ｍ２を選択部１４に選択させるようにする。

また、縮小部２７で縮小した画像に折り返しノイズやモアレなどが発生する可能性を判定するため、判定部１３は、メモリ３０に書き出す画素の変動値（画素間の差分の絶対値）を算出する。変動値が大きいと、高周波数成分の影響で縮小した画像に折り返しノイズやモアレなどが発生する可能性がある。その場合、たとえば、判定部１３は、高周波数成分の係数をカットした復号画像ｍ１を選択部１４に選択させるようにする。

縮小部２７で、復号画像を水平方向１／２、垂直方向１／１で縮小する場合、判定部１３は以下のような判定処理を行う。
図６は、判定処理の一例を示すフローチャートである。

判定部１３は、まず、８×８画素の復号画像ｍ１，ｍ２から、判定対象として、水平ラインの８画素を入力する（ステップＳ２１）。次に、判定部１３は、復号画像ｍ１の水平ラインの８画素に対して、画素レベル範囲Ｒを算出する（ステップＳ２２）。ここでは、判定部１３は、水平８画素の画素レベルの最大値−画素レベルの最小値を、画素レベル範囲Ｒとして算出する。画素レベル範囲Ｒは、エッジが強いかどうかを判定するための情報である。エッジが強い部分では、画素値の変動が大きいため、画素レベル範囲Ｒが大きくなる傾向がある。

さらに、判定部１３は、復号画像ｍ１の水平８画素の画素間のレベル差の絶対値がβ（たとえば、１０程度）以上の数ｃｎｔ１を算出する（ステップＳ２３）。
同様に、判定部１３は、復号画像ｍ２の水平８画素の画素間のレベル差の絶対値がβ以上の数ｃｎｔ２を算出する（ステップＳ２４）。

そして、判定部１３は、画素レベル範囲Ｒの最大値Ｒ＿ｍａｘ、ｃｎｔ１の最大値ｃｎｔ１＿ｍａｘ及び、ｃｎｔ２の最大値ｃｎｔ２＿ｍａｘを更新し（ステップＳ２５）、判定対象の全ての水平ラインについて処理を終えたか否かを判定する（ステップＳ２６）。全ての水平ラインについて処理を終えていない場合、判定部１３は、復号画像ｍ１，ｍ２の次の水平８画素を入力してステップＳ２１〜Ｓ２６の処理を繰り返す。

全ての水平ラインについての処理が終了すると、判定部１３は、Ｒ＿ｍａｘが所定の閾値α（たとえば、８０程度）よりも大きいか否かを判定する（ステップＳ２７）。ここで、Ｒ＿ｍａｘが所定の閾値αよりも大きい場合には、判定部１３は、復号画像ｍ１，ｍ２ではエッジが強いと判定し、復号画像ｍ２を選択させる選択信号を選択部１４に対して出力する（ステップＳ２８）。

ステップＳ２７の処理で、Ｒ＿ｍａｘが所定の閾値αより大きくない場合、判定部１３は、ｃｎｔ１＿ｍａｘがｃｎｔ２＿ｍａｘより小さいか否かを判定する（ステップＳ２９）。ここで、ｃｎｔ１＿ｍａｘがｃｎｔ２＿ｍａｘより小さい場合、判定部１３は、画素間変動が小さい復号画像ｍ１を選択させる選択信号を選択部１４に対して出力する（ステップＳ３０）。また、ｃｎｔ１＿ｍａｘがｃｎｔ２＿ｍａｘより小さくない場合、判定部１３は、復号画像ｍ２を選択させる選択信号を選択部１４に対して出力する。

以上が、図３で示したステップＳ３のノイズ発生可能性の判定処理の内容である。その後、選択部１４は、判定部１３からの選択信号をもとに、復号画像ｍ１，ｍ２の何れか１つを選択して縮小部２７へ供給する（ステップＳ４）。縮小部２７は、選択部１４から供給された復号画像ｍ１，ｍ２の何れかに対して、たとえば、ダウンサンプリングにより、画素を間引くことで縮小して（ステップＳ５）、メモリ３０に書き込む。

その後、メモリ３０に書き込まれた縮小画像は、フレーム間予測における参照画像として読み出される際には、拡大部２６にてアップサンプリングされ、フレーム内／フレーム間予測部２４に供給される。

このように、本実施の形態の動画像復号装置１０及び動画像復号方法では、復号画像ｍ１，ｍ２から縮小時のノイズ発生可能性を判定し、縮小する復号画像を選択している。これによって、縮小画像に、折り返しノイズやリンギングノイズ、モスキートノイズなどが発生することを抑制することができる。

（第２の実施の形態）
図７は、第２の実施の形態に係る動画像復号装置における、ＩＤＣＴ／ＭＣ部の一例の構成を示す図である。ＩＤＣＴ／ＭＣ部以外の構成については、図２で示した動画像復号装置１０の構成と同じであり、図示を省略している。

ＩＤＣＴ／ＭＣ部２５ａは、制御部５０、１次元ＩＤＣＴ部５１、Ｆｌ転置ＲＡＭ（Random Access Memory）５２、Ｆｈ転置ＲＡＭ５３、加算器５４、選択回路５５、１次元ＩＤＣＴ部５６、加算器５７、ＲＡＭ５８、判定回路５９を有している。

制御部５０は、１次元ＩＤＣＴ部５１，５６や判定回路５９などを制御するとともに、選択回路５５に対して選択信号を供給する。１次元ＩＤＣＴ部５１は、水平方向の１次元ＩＤＣＴ処理を行う。Ｆｌ転置ＲＡＭ５２は、高周波数成分の係数をカットしたＤＣＴ係数Ｆｌに対して１次元ＩＤＣＴ処理を行った結果を格納し、読み出す時に転置を行う。Ｆｈ転置ＲＡＭ５３は、低周波数成分の係数をカットしたＤＣＴ係数Ｆｈに対して１次元ＩＤＣＴ処理を行った結果を格納し、読み出す時に転置を行う。加算器５４は、Ｆｌ転置ＲＡＭ５２とＦｈ転置ＲＡＭ５３からそれぞれ転置された出力を加算した結果を出力する。

選択回路５５は、制御部５０の選択信号に応じて、Ｆｌ転置ＲＡＭ５２の出力か、加算器５４の出力の何れかを選択して、後段の１次元ＩＤＣＴ部５６に出力する。１次元ＩＤＣＴ部５６は、垂直方向の１次元ＩＤＣＴ処理を行う。加算器５７は、フレーム内／フレーム間予測部２４から供給される予測画像の各画素に対して、１次元ＩＤＣＴ部５６から出力されるＩＤＣＴ出力の各ＩＤＣＴ係数を加算して動き補償を行う。ＲＡＭ５８は、動き補償によって生成された復号画像を保持する。判定回路５９は、ＲＡＭ５８に記憶される高周波数成分係数カット有のＩＤＣＴ出力から生成された復号画像と、高周波数成分係数カット無のＩＤＣＴ出力から生成された復号画像を検証し、どちらを復号画像として出力すべきか判定する。

上記の選択回路５５は、図１で示した選択部１４と同様に、判定回路５９（図１の判定部１３と対応）での判定結果に基づき、縮小部２７で縮小対象となる復号画像を選択させるためのものである。ただし、選択回路５５は、２種の１次元ＩＤＣＴの結果の何れかを選択して後段の１次元ＩＤＣＴを行わせることで、最終的な復号画像を選択するものである。このような構成とすることにより、後述の理由によりＩＤＣＴ処理の演算量を削減できる。

以下、ＩＤＣＴ／ＭＣ部２５ａの動作を説明する。
８×８のＩＤＣＴ係数Ｆが１次元ＩＤＣＴ部５１に入力されると、水平方向の１次元でのＩＤＣＴが行われ、式（３）の行列Ｆｌ×Ｔ及び行列Ｆｈ×Ｔが出力され、それぞれ、Ｆｌ転置ＲＡＭ５２、Ｆｈ転置ＲＡＭ５３に書き込まれる。

続いて、Ｆｌ転置ＲＡＭ５２から行列Ｆｌ×Ｔが転置されて読み出され、選択回路５５の一方の入力端子に入力される。また、Ｆｈ転置ＲＡＭ５３から行列Ｆｈ×Ｔが転置されて読み出され、加算器５４によってＦｌ転置ＲＡＭ５２の出力と足し合わされて選択回路５５の他方の入力端子に入力される。

その後、選択回路５５は、制御部５０からの選択信号により、Ｆｌ転置ＲＡＭ５２からの出力か、加算器５４での加算結果の何れか一方の１次元ＩＤＣＴ出力を選択して、１次元ＩＤＣＴ部５６に供給する。１次元ＩＤＣＴ部５６は、選択回路５５で選択された１次元ＩＤＣＴ出力に対して垂直方向の１次元でのＩＤＣＴを行う。なお、このとき、１次元ＩＤＣＴ部５６は、ｉ行ｊ列（ｉ＝８，ｊ＝８）行列のうち、ノイズ判定に必要な一部、たとえば、第０行と第４行の２行に対して１次元ＩＤＣＴ処理を行う。１次元ＩＤＣＴ部５６からのＩＤＣＴ出力は加算器５７で予測画像と足し合わされ、ＲＡＭ５８に記憶される。

次に、制御部５０は、選択回路５５に対して他方の１次元ＩＤＣＴ出力を選択させ、同様に、１次元ＩＤＣＴ部５６で垂直方向の１次元でのＩＤＣＴを行わせる。１次元ＩＤＣＴ部５６からのＩＤＣＴ出力は加算器５７で予測画像と足し合わされ、ＲＡＭ５８に記憶される。

図８は、マクロブロックの２行に対して動き補償を行う様子を示す図である。
ここで、白抜きのブロック（第０行と第４行）が処理対象のＩＤＣＴ係数及び画素を示し、斜線のブロックが処理対象としないＩＤＣＴ係数及び画素を示している。

高周波数成分係数カット有のＩＤＣＴ出力及び高周波数成分係数カット無ＩＤＣＴ出力の第０行及び第４行に対して、予測画像の第０行及び第４行の画素を加算して、復号画像ｍ１，ｍ２を得ている。

以上の処理によって、ＲＡＭ５８には、高周波数成分係数カット有のＩＤＣＴ出力から求められた復号画像ｍ１と、高周波数成分係数カット無のＩＤＣＴ出力から求められた復号画像ｍ２が保持される。ここで判定回路５９は、図８に示すように、それぞれの復号画像ｍ１，ｍ２の第０行及び第４行の画素を用いて、図６に示したような判定処理を行い、復号画像ｍ１，ｍ２のどちらを出力させるか判定する。

この判定結果をもとに、制御部５０は、選択回路５５に対して、Ｆｌ転置ＲＡＭ５２からの出力か、加算器５４での加算結果の何れか一方の１次元ＩＤＣＴ出力を選択させる。なお、このとき１次元ＩＤＣＴ部５１，５６は、最初のＩＤＣＴ処理で選択されなかった残りの部分（第１〜３行と第５〜７行）についてのＩＤＣＴ処理を行う。そして、同様に加算器５７により動き補償が行われ、ＲＡＭ５８に復号画像が保持され、予め保持されていた第２、第４行の復号画像と合わせて出力される。

上記のように、第２の実施の形態では、１次元ＩＤＣＴ部５６において、８行×２でＩＤＣＴ処理を行わず、２行×２＋６行でＩＤＣＴ処理を行う。これにより、８行全てに対して、高周波数成分係数カット有のＩＤＣＴ出力と、高周波数成分係数カット無のＩＤＣＴ出力を演算する場合よりも、全体の演算量を削減することができる。

次に、以上説明してきた第１及び第２の実施の形態の動画像復号装置の効果を説明する。
ここでは、ある評価画像に対して、高周波数成分係数カット無でのＩＤＣＴ処理を行った場合、高周波数成分係数カット有でのＩＤＣＴ処理を行った場合、本実施の形態の処理でのＩＤＣＴ処理を行った場合の３種のダウンデコード結果を比較する。

図９は、評価画像に対するダウンデコード結果を示す図である。左から、高周波数成分係数カット無でのＩＤＣＴ処理を行った場合、高周波数成分係数カット有でのＩＤＣＴ処理を行った場合、本実施の形態の処理でのＩＤＣＴ処理を行った場合のダウンデコード結果を示している。

また、図１０は、図９の線分Ａ上の輝度値を示すグラフである。横軸が線分Ａ上の画素、縦軸が輝度値を示している。
図９、図１０に示すように、高周波数成分係数カット有の場合には、エッジ境界付近（図１０の画素２〜５付近）においてリンギングノイズが発生していることが分かる。これに対して、本実施の形態の動画像復号装置では、判定処理によって、エッジが強い部分がある復号画像については、高周波数成分係数カット無でＩＤＣＴ処理された復号画像が選択される。そのため、図９、図１０に示すように、リンギングノイズの発生が抑制される。この場合、本実施の形態の動画像復号装置では、高周波数数成分係数カット無のダウンデコード結果と同等の結果が得られる。

図１１は、別の評価画像に対するダウンデコード結果を示す図である。左から、高周波数成分係数カット無でのＩＤＣＴ処理を行った場合、高周波数成分係数カット有でのＩＤＣＴ処理を行った場合、本実施の形態の処理でのＩＤＣＴ処理を行った場合のダウンデコード結果を示している。

また、図１２は、図１１の線分Ｂ上の輝度値を示すグラフである。横軸が線分Ｂ上の画素、縦軸が輝度値を示している。
図１１、図１２に示すように、高周波数成分係数カット無の場合には、折り返しノイズが見られる。これに対して、本実施の形態の動画像復号装置では、判定処理によって、画素の変動値が大きい場合、折り返しノイズの発生を抑制可能な高周波数成分係数カット有でＩＤＣＴ処理された復号画像が選択される。そのため、図１１、図１０に示すように、折り返しノイズの発生が抑制される。この場合、本実施の形態の動画像復号装置では、高周波数成分カット有のダウンデコード結果と同等の結果が得られる。

以上のように、本実施の形態の動画像復号装置を用いることで、ダウンデコード対象の画像に応じたノイズの発生を抑制できる。
以上、実施の形態に基づき、本発明の動画像復号装置及び動画像復号方法の一観点について説明してきたが、これらは一例にすぎず、上記の記載に限定されるものではない。

以上説明した複数の実施の形態に関し、さらに以下の付記を開示する。
（付記１） 逆量子化後の離散コサイン変換係数を入力し、高周波数成分の係数を削減した第１の逆離散コサイン変換出力と、高周波数成分の係数を含む第２の逆離散コサイン変換出力とを生成する逆離散コサイン変換部と、
前記第１の逆離散コサイン変換出力と前記第２の逆離散コサイン変換出力のそれぞれを用いて動き補償を行い、第１の復号画像と第２の復号画像を生成する動き補償部と、
前記第１の復号画像及び前記第２の復号画像から、画像縮小時のノイズの発生可能性を判定する判定部と、
前記判定部での判定結果に基づき、メモリ書き込み時に縮小対象となる復号画像を、前記第１の復号画像または前記第２の復号画像の何れか一方から選択する選択部と、
を有することを特徴とする動画像復号装置。

（付記２） 前記逆離散コサイン変換部は、それぞれ水平方向または垂直方向の１次元逆離散コサイン変換を行う２段の１次元逆離散コサイン変換部を有し、前記選択部は、前記判定結果に基づき、後段の前記１次元逆離散コサイン変換部に対して、前記第１の逆離散コサイン変換出力と、前記第２の逆離散コサイン変換出力の何れを生成させるか選択することを特徴とする付記１記載の動画像復号装置。

（付記３） 前記逆離散コサイン変換部は、入力される前記離散コサイン変換係数の一部を用いて前記第１の逆離散コサイン変換出力または前記第２の逆離散コサイン変換出力を生成し、前記判定部は、当該第１の逆離散コサイン変換出力及び当該第２の逆離散コサイン変換出力をもとに生成された前記第１の復号画像及び前記第２の復号画像から、前記ノイズの発生可能性を判定することを特徴とする付記１または２に記載の動画像復号装置。

（付記４） 前記逆離散コサイン変換部は、前記判定結果をもとに、前記第１の逆離散コサイン変換出力または前記第２の逆離散コサイン変換出力の何れか一方を、残りの前記離散コサイン変換係数を用いて生成することを特徴とする付記３記載の動画像復号装置。

（付記５） 前記判定部は、前記第１の復号画像において判定対象ラインごとに算出した前記判定対象ラインの画素の画素レベル範囲において、全判定対象ラインの前記画素レベル範囲の最大値が閾値を上回る場合には、前記選択部に前記第２の復号画像を選択させるための選択信号を出力することを特徴とする付記１乃至４の何れか一項に記載の動画像復号装置。

（付記６） 前記判定部は、前記第１の復号画像の判定対象ラインごとに算出した所定の画素間のレベル差が閾値以上の画素数において、全判定対象ラインの前記画素数の最大値が、前記第２の復号画像における前記最大値よりも小さい場合に、前記選択部に前記第１の復号画像を選択させるための選択信号を出力することを特徴とする付記１乃至５の何れか一項に記載の動画像復号装置。

（付記７） 逆量子化後の離散コサイン変換係数を入力し、高周波数成分の係数を削減した第１の逆離散コサイン変換出力と、高周波数成分の係数を含む第２の逆離散コサイン変換出力とを生成し、
前記第１の逆離散コサイン変換出力と前記第２の逆離散コサイン変換出力のそれぞれを用いて動き補償を行い、第１の復号画像と第２の復号画像を生成し、
前記第１の復号画像及び前記第２の復号画像から、画像縮小時のノイズの発生可能性を判定し、
判定結果に基づき、メモリ書き込み時に縮小対象となる復号画像を、前記第１の復号画像または前記第２の復号画像の何れか一方から選択することを特徴とする動画像復号方法。

１０ 動画像復号装置
１１ ＩＤＣＴ部
１２ 動き補償部
１３ 判定部
１４ 選択部
ｆ１，ｆ２ ＩＤＣＴ出力
ｍ１，ｍ２ 復号画像

Claims (5)

1. 逆量子化後の離散コサイン変換係数を入力し、高周波数成分の係数を削減した第１の逆離散コサイン変換出力と、高周波数成分の係数を含む第２の逆離散コサイン変換出力とを生成する逆離散コサイン変換部と、
   前記第１の逆離散コサイン変換出力と前記第２の逆離散コサイン変換出力のそれぞれを用いて動き補償を行い、第１の復号画像と第２の復号画像を生成する動き補償部と、
   前記第１の復号画像及び前記第２の復号画像から、画像縮小時のノイズの発生可能性を判定する判定部と、
   前記判定部での判定結果に基づき、メモリ書き込み時に縮小対象となる復号画像を、前記第１の復号画像または前記第２の復号画像の何れか一方から選択する選択部と、
   を有することを特徴とする動画像復号装置。
2. 前記逆離散コサイン変換部は、それぞれ水平方向または垂直方向の１次元逆離散コサイン変換を行う２段の１次元逆離散コサイン変換部を有し、前記選択部は、前記判定結果に基づき、後段の前記１次元逆離散コサイン変換部に対して、前記第１の逆離散コサイン変換出力と、前記第２の逆離散コサイン変換出力の何れを生成させるか選択することを特徴とする請求項１記載の動画像復号装置。
3. 前記逆離散コサイン変換部は、入力される前記離散コサイン変換係数の一部を用いて前記第１の逆離散コサイン変換出力または前記第２の逆離散コサイン変換出力を生成し、前記判定部は、当該第１の逆離散コサイン変換出力及び当該第２の逆離散コサイン変換出力をもとに生成された前記第１の復号画像及び前記第２の復号画像から、前記ノイズの発生可能性を判定することを特徴とする請求項１または２に記載の動画像復号装置。
4. 前記逆離散コサイン変換部は、前記判定結果をもとに、前記第１の逆離散コサイン変換出力または前記第２の逆離散コサイン変換出力の何れか一方を、残りの前記離散コサイン変換係数を用いて生成することを特徴とする請求項３記載の動画像復号装置。
5. 逆量子化後の離散コサイン変換係数を入力し、高周波数成分の係数を削減した第１の逆離散コサイン変換出力と、高周波数成分の係数を含む第２の逆離散コサイン変換出力とを生成し、
   前記第１の逆離散コサイン変換出力と前記第２の逆離散コサイン変換出力のそれぞれを用いて動き補償を行い、第１の復号画像と第２の復号画像を生成し、
   前記第１の復号画像及び前記第２の復号画像から、画像縮小時のノイズの発生可能性を判定し、
   判定結果に基づき、メモリ書き込み時に縮小対象となる復号画像を、前記第１の復号画像または前記第２の復号画像の何れか一方から選択することを特徴とする動画像復号方法。

Images