JP2000175194A - 画像復号装置及び画像復号方法 - Google Patents

Abstract

(57)【要約】 【課題】 飛び越し走査画像が有するインタレース性を
損なうことなくフィールドＤＣＴモードとフレームＤＣ
Ｔモードとによる画素の位相ずれをなくし、処理量を削
減する。 【解決手段】 縮小逆離散コサイン変換装置１４は、Ｄ
ＣＴモードがフィールドモードの場合、４×４の縮小Ｉ
ＤＣＴを行う。縮小逆離散コサイン変換装置１５は、Ｄ
ＣＴモードがフレームモードの場合、ＤＣＴブロックの
垂直方向の周波数成分の一部の係数を０とし、一部の係
数を０としたＤＣＴブロックの全係数に対してＩＤＣＴ
をして飛び越し走査に対応した２つの画素ブロックに分
離し、分離した２つの画素ブロックに対してそれぞれＤ
ＣＴをする。そして、この２つの画素ブロックの低周波
係数に対してＩＤＣＴをし、２つの画素ブロックを合成
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、所定の画素ブロッ
ク（マクロブロック）単位で動き予測をすることによる
予測符号化、及び、所定の画素ブロック（直交変換ブロ
ック）単位で直交変換することによる圧縮符号化をした
第１の解像度の圧縮画像データを、復号する画像復号装
置及び画像復号方法に関し、特に、第１の解像度の圧縮
画像データを復号して、この第１の解像度よりも低い第
２の解像度の動画像データに縮小する画像復号装置及び
画像復号方法に関するものである。

【０００２】

【従来の技術】ＭＰＥＧ２（Moving Picture Experts G
roup phase2）等の画像圧縮方式を用いたデジタルテレ
ビジョン放送の規格化が進められている。デジタルテレ
ビジョン放送の規格には、標準解像度画像（例えば垂直
方向の有効ライン数が５７６本）に対応した規格、高解
像度画像（例えば垂直方向の有効ライン数が１１５２
本）に対応した規格等がある。そのため、近年、高解像
度画像の圧縮画像データを復号するとともにこの圧縮画
像データを１／２の解像度に縮小することにより、標準
解像度画像の画像データを生成して、この画像データを
標準解像度に対応したテレビジョンモニタに表示するダ
ウンデコーダが求められている。

【０００３】高解像度画像に対して動き予測による予測
符号化及び離散コサイン変換による圧縮符号化をしたＭ
ＰＥＧ２等のビットストリームを、復号するとともに標
準解像度画像にダウンサンプリングするダウンデコーダ
が、文献「低域ドリフトのないスケーラブル・デコー
ダ」（岩橋・神林・貴家：信学技報 CS94-186,DSP94-10
8,1995-01）に提案されている（以下、この文献を文献
１と呼ぶ。）。この文献１には、以下の第１から第３の
ダウンデコーダが示されている。

【０００４】第１のダウンデコーダは、図３８に示すよ
うに、高解像度画像のビットストリームに対して８（水
平方向のＤＣ成分から数えた係数の数）×８（垂直方向
のＤＣ成分から数えた係数の数）の逆離散コサイン変換
をする逆離散コサイン変換装置１００１と、離散コサイ
ン変換がされた高解像度画像と動き補償がされた参照画
像とを加算する加算装置１００２と、参照画像を一時記
憶するフレームメモリ１００３と、フレームメモリ１０
０３が記憶した参照画像に１／２画素精度で動き補償を
する動き補償装置１００４と、フレームメモリ１００３
が記憶した参照画像を標準解像度の画像に変換するダウ
ンサンプリング装置１００５とを備えている。

【０００５】この第１のダウンデコーダでは、逆離散コ
サイン変換を行い高解像度画像として復号した出力画像
を、ダウンサンプリング装置１００５で縮小して標準解
像度の画像データを出力する。

【０００６】第２のダウンデコーダは、図３９に示すよ
うに、高解像度画像のビットストリームのＤＣＴ（Disc
rete Cosine Transform）ブロックの高周波成分の係数
を０に置き換えて８×８の逆離散コサイン変換をする逆
離散コサイン変換装置１０１１と、離散コサイン変換が
された高解像度画像と動き補償がされた参照画像とを加
算する加算装置１０１２と、参照画像を一時記憶するフ
レームメモリ１０１３と、フレームメモリ１０１３が記
憶した参照画像に１／２画素精度で動き補償をする動き
補償装置１０１４と、フレームメモリ１０１３が記憶し
た参照画像を標準解像度の画像に変換するダウンサンプ
リング装置１０１５とを備えている。

【０００７】この第２のダウンデコーダでは、ＤＣＴブ
ロックの全ての係数のうち高周波成分の係数を０に置き
換えて逆離散コサイン変換を行い高解像度画像として復
号した出力画像を、ダウンサンプリング装置１００５で
縮小して標準解像度の画像データを出力する。

【０００８】第３のダウンデコーダは、図４０に示すよ
うに、高解像度画像のビットストリームのＤＣＴブロッ
クの低周波成分の係数のみを用いて例えば４×４の逆離
散コサイン変換をして標準解像度画像に復号する縮小逆
離散コサイン変換装置１０２１と、縮小逆離散コサイン
変換がされた標準解像度画像と動き補償がされた参照画
像とを加算する加算装置１０２２と、参照画像を一時記
憶するフレームメモリ１０２３と、フレームメモリ１０
２３が記憶した参照画像に１／４画素精度で動き補償を
する動き補償装置１０２４とを備えている。

【０００９】この第３のダウンデコーダでは、ＤＣＴブ
ロックの全ての係数のうち低周波成分の係数のみを用い
て逆離散コサイン変換を行い、高解像度画像から標準解
像度画像として復号する。

【００１０】ここで、上記第１のダウンデコーダでは、
ＤＣＴブロック内の全ての係数に対して逆離散コサイン
変換を行い高解像度画像を復号しているため、高い演算
処理能力の逆離散コサイン変換装置１００１と高容量の
フレームメモリ１００３とが必要となる。また、上記第
２のダウンデコーダでは、ＤＣＴブロック内の係数のう
ち高周波成分を０として離散コサイン変換を行い高解像
度画像を復号しているため、逆離散コサイン変換装置１
０１１の演算処理能力は低くて良いが、やはり高容量の
フレームメモリ１０１３が必要となる。これら第１及び
第２のダウンデコーダに対し、第３のダウンデコーダで
は、ＤＣＴブロック内の全ての係数うち低周波成分の係
数のみを用いて逆離散コサイン変換をしているため逆離
散コサイン変換装置１０２１の演算処理能力が低くてよ
く、さらに、標準解像度画像の参照画像を復号している
のでフレームメモリ１０２３の容量も少なくすることが
できる。

【００１１】ところで、テレビジョン放送等の動画像の
表示方式には、順次走査方式と飛び越し走査方式とがあ
る。順次走査方式は、フレーム内の全ての画素を同じタ
イミングでサンプリングした画像を、順次表示する表示
方式である。飛び越し走査方式は、フレーム内の画素を
水平方向の１ライン毎に異なるタイミングでサンプリン
グした画像を、交互に表示する表示方式である。

【００１２】この飛び越し走査方式では、フレーム内の
画素を１ライン毎に異なるタイミングでサンプリングし
た画像のうちの一方を、トップフィールド（第１フィー
ルドともいう。）といい、他方をボトムフィールド（第
２のフィールドともいう。）という。フレームの水平方
向の先頭ラインが含まれる画像がトップフィールドとな
り、フレームの水平方向の２番目のラインが含まれる画
像がボトムフィールドとなる。従って、飛び越し走査方
式では、１つのフレームが２つのフィールドから構成さ
れることとなる。

【００１３】ＭＥＰＧ２では、飛び越し走査方式に対応
した動画像信号を効率良く圧縮するため、画面の圧縮単
位であるピクチャにフレームを割り当てて符号化するだ
けでなく、ピクチャにフィールドを割り当てて符号化す
ることもできる。

【００１４】ＭＰＥＧ２では、ピクチャにフィールドが
割り当てられた場合には、そのビットストリームの構造
をフィールド構造と呼び、ピクチャにフレームが割り当
てられた場合には、そのビットストリームの構造をフレ
ーム構造と呼ぶ。また、フィールド構造では、フィール
ド内の画素からＤＣＴブロックが形成され、フィールド
単位で離散コサイン変換がされる。このフィールド単位
で離散コサイン変換を行う処理モードのことをフィール
ドＤＣＴモードと呼ぶ。また、フレーム構造では、フレ
ーム内の画素からＤＣＴブロックが形成され、フレーム
単位で離散コサイン変換がされる。このフレーム単位で
離散コサイン変換を行う処理モードのことをフレームＤ
ＣＴモードと呼ぶ。さらに、フィールド構造では、フィ
ールド内の画素からマクロブロックが形成され、フィー
ルド単位で動き予測がされる。このフィールド単位で動
き予測を行う処理モードのことをフィールド動き予測モ
ードと呼ぶ。また、フレーム構造では、フレーム内の画
素からマクロブロックが形成され、フレーム単位で動き
予測がされる。フレーム単位で動き予測を行う処理モー
ドのことをフレーム動き予測モードと呼ぶ。

【００１５】

【発明が解決しようとする課題】ところで、上記文献１
に示された第３のダウンデコーダを利用して、飛び越し
走査方式に対応した圧縮画像データを復号する画像復号
装置が、例えば文献「ACompensation Method of Drift
Errors in Scalability」（N.OBIKANE,K.TAHARAand J.Y
ONEMITSU,HDTV Work Shop'93）に提案されている（以
下、この文献を文献２と呼ぶ）。

【００１６】この文献２に示された従来の画像復号装置
は、図４１に示すように、高解像度画像をＭＰＥＧ２で
圧縮したビットストリームが供給され、このビットスト
リームを解析するビットストリーム解析装置１０３１
と、データの発生頻度に応じた符号長を割り当てる可変
長符号化がされたビットストリームを復号する可変長符
号復号装置１０３２と、ＤＣＴブロックの各係数に量子
化ステップを掛ける逆量子化装置１０３３と、ＤＣＴブ
ロックの全ての係数のうち低周波成分の係数のみを用い
て例えば４×４の逆離散コサイン変換をして標準解像度
画像を復号する縮小逆離散コサイン変換装置１０３４
と、縮小逆離散コサイン変換がされた標準解像度画像と
動き補償がされた参照画像とを加算する加算装置１０３
５と、参照画像を一時記憶するフレームメモリ１０３６
と、フレームメモリ１０３６が記憶した参照画像に１／
４画素精度で動き補償をする動き補償装置１０３７とを
備えている。

【００１７】この文献２に示された従来の画像復号装置
の縮小逆離散コサイン変換装置１０３４は、ＤＣＴブロ
ック内の全ての係数のうち低周波成分の係数のみを用い
て逆離散コサイン変換をするが、フレームＤＣＴモード
とフィールドＤＣＴモードとで、逆離散コサイン変換を
行う係数の位置が異なっている。

【００１８】具体的には、縮小逆離散コサイン変換装置
１０３４は、フィールドＤＣＴモードの場合には、図４
２に示すように、ＤＣＴブロック内の８×８個のうち、
低域の４×４個の係数のみに逆離散コサイン変換を行
う。それに対し、縮小逆離散コサイン変換装置１０３４
は、フレームＤＣＴモードの場合には、図４３に示すよ
うに、ＤＣＴブロック内の８×８個の係数のうち、４×
２個＋４×２個の係数のみに逆離散コサイン変換を行
う。

【００１９】また、この文献２に示された従来の画像復
号装置の動き補償装置１０３７は、高解像度画像に対し
て行われた動き予測の情報（動きベクトル）に基づき、
フィールド動き予測モード及びフレーム動き予測モード
のそれぞれに対応した１／４画素精度の動き補償を行
う。すなわち、通常ＭＰＥＧ２では１／２画素精度で動
き補償が行われることが定められているが、高解像度画
像から標準解像度画像を復号する場合には、ピクチャ内
の画素数が１／２に間引かれるため、動き補償装置１０
３７では動き補償の画素精度を１／４画素精度として動
き補償を行っている。

【００２０】従って、動き補償装置１０３７では、高解
像度画像に対応した動き補償を行うため、標準解像度の
画像としてフレームメモリ１０３６に格納された参照画
像の画素に対して線形補間して、１／４画素精度の画素
を生成している。

【００２１】具体的に、フィールド動き予測モード及び
フレーム動き予測モードの場合の垂直方向の画素の線形
補間処理を、図４４及び図４５を用いて説明する。な
お、図面中には、縦方向に垂直方向の画素の位相を示
し、表示画像の各画素が位置する位相を整数で示してい
る。

【００２２】まず、フィールド動き予測モードで動き予
測がされた画像の補間処理について、図４４を用いて説
明する。高解像度画像（上位レイヤー）に対しては、図
４４（ａ）に示すように、各フィールドそれぞれ独立
に、１／２画素精度で動き補償がされる。これに対し、
標準解像度画像（下位レイヤー）に対しては、図４４
（ｂ）に示すように、整数精度の画素に基づきフィール
ド内で線形補間をして、垂直方向に１／４画素、１／２
画素、３／４画素分の位相がずれた画素を生成し、動き
補償がされる。すなわち、標準解像度画像（下位レイヤ
ー）では、トップフィールドの整数精度の各画素に基づ
きトップフィールドの１／４画素精度の各画素が線形補
間により生成され、ボトムフィールドの整数精度の各画
素に基づきボトムフィールドの１／４画素精度の各画素
が線形補間により生成される。例えば、垂直方向の位相
が０の位置にあるトップフィールドの画素の値をａ、垂
直方向の位相が１の位置にあるトップフィールドの画素
の値をｂとする。この場合、垂直方向の位相が１／４の
位置にあるトップフィールドの画素は（３ａ＋ｂ）／４
となり、垂直方向の位相が１／２の位置にあるトップフ
ィールドの画素は（ａ＋ｂ）／２となり、垂直方向の位
相が３／４の位置にあるトップフィールドの画素は（ａ
＋３ｂ）／４となる。

【００２３】続いて、フレーム動き予測モードで動き予
測がされた画像の補間処理について、図４５を用いて説
明する。高解像度画像（上位レイヤー）に対しては、図
４５（ａ）に示すように、各フィールド間で補間処理が
され、すなわち、ボトムフィールドとトップフィールド
との間で補間処理がされ、１／２画素精度で動き補償が
される。標準解像度画像（下位レイヤー）に対しては、
図４５（ｂ）に示すように、トップフィールド及びボト
ムフィールドの２つのフィールドの整数精度の各画素に
基づき、垂直方向に１／４画素、１／２画素、３／４画
素分の位相がずれた画素が線形補間により生成され、動
き補償がされる。例えば、垂直方向の位相が−１の位置
にあるボトムフィールドの画素の値をａ、垂直方向の位
相が０の位置にあるトップフィールドの画素の値をｂ、
垂直方向の位相が１の位置にあるボトムフィールドの画
素の値をｃ、垂直方向の位相が２の位置にあるトップフ
ィールドの画素の値をｄ、垂直方向の位相が３の位置に
あるボトムフィールドの画素の値をｅとする。この場
合、垂直方向の位相が０〜２の間にある１／４画素精度
の各画素は、以下のように求められる。

【００２４】垂直方向の位相が１／４の位置にある画素
は（ａ＋４ｂ＋３ｃ）／８となる。垂直方向の位相が１
／２の位置にある画素は（ａ＋３ｃ）／４となる。垂直
方向の位相が３／４の位置にある画素は（ａ＋２ｂ＋３
ｃ＋２ｄ）／８となる。垂直方向の位相が５／４の位置
にある画素は（２ｂ＋３ｃ＋２ｄ＋ｅ）／８となる。垂
直方向の位相が３／２の位置にある画素は（３ｃ＋ｅ）
／４となる。垂直方向の位相が７／４の位置にある画素
は（３ｃ＋４ｄ＋ｅ）／８となる。

【００２５】以上のように上記文献２に示された従来の
画像復号装置は、飛び越し走査方式に対応した高解像度
画像の圧縮画像データを、標準解像度画像データに復号
することができる。

【００２６】しかしながら、上記文献２に示された従来
の画像復号装置では、フィールドＤＣＴモードで得られ
る標準解像度画像の各画素と、フレームＤＣＴモードで
得られる標準解像度の各画素との位相がずれる。具体的
には、フィールドＤＣＴモードでは、図４６に示すよう
に、下位レイヤーのトップフィールドの各画素の垂直方
向の位相が１／２、５／２・・・となり、下位レイヤー
のボトムフィールドの各画素の垂直方向の位相が１、３
・・・となる。それに対して、フレームＤＣＴモードで
は、図４７に示すように、下位レイヤーのトップフィー
ルドの各画素の垂直方向の位相が０、２・・・となり、
下位レイヤーのボトムフィールドの各画素の垂直方向の
位相が１、３・・・となる。そのため、位相が異なる画
像がフレームメモリ１０３６に混在し、出力する画像の
画質が劣化する。

【００２７】また、上記文献２に示された従来の画像復
号装置では、フィールド動き予測モードとフレーム動き
予測モードとで位相ずれの補正がされていない。そのた
め、出力する画像の画質が劣化する。

【００２８】本発明は、このような実情を鑑みてなされ
たものであり、飛び越し走査画像が有するインタレース
性を損なうことなくフィールド直交変換モードとフレー
ム直交変換モードとによる画素の位相ずれをなくし、処
理量を削減した高解像度画像の圧縮画像データから標準
解像度の画像データを復号する画像復号装置及び画像復
号方法を提供することを目的とする。

【００２９】

【課題を解決するための手段】本発明にかかる画像復号
装置は、所定の画素ブロック（マクロブロック）単位で
動き予測をすることによる予測符号化、及び、所定の画
素ブロック（直交変換ブロック）単位で直交変換をする
ことによる圧縮符号化をした第１の解像度の圧縮画像デ
ータから、上記第１の解像度より低い第２の解像度の動
画像データを復号する画像復号装置であって、飛び越し
走査に対応した直交変換方式（フィールド直交変換モー
ド）により直交変換がされた上記圧縮画像データの直交
変換ブロックに対して、逆直交変換をする第１の逆直交
変換手段と、順次走査に対応した直交変換方式（フレー
ム直交変換モード）により直交変換がされた上記圧縮画
像データの直交変換ブロックに対して、逆直交変換をす
る第２の逆直交変換手段とを備え、上記第２の逆直交変
換手段は、上記直交変換ブロックの垂直方向の周波数成
分の一部の係数を０とし、一部の係数を０とした直交変
換ブロックの全周波数成分の係数に対して逆直交変換を
し、逆直交変換をした直交変換ブロックの各画素を飛び
越し走査に対応した２つの画素ブロックに分離し、分離
した２つの画素ブロックに対してそれぞれ直交変換を
し、直交変換をした２つの画素ブロックの各係数のうち
低周波成分の係数に対して逆直交変換をし、逆直交変換
をした２つの画素ブロックを合成して直交変換ブロック
を生成することを特徴とする。

【００３０】この画像復号装置では、直交変換ブロック
の垂直方向の周波数成分の一部の係数を０として、縮小
逆離散コサイン変換を行う。

【００３１】本発明にかかる画像復号方法は、所定の画
素ブロック（マクロブロック）単位で動き予測をするこ
とによる予測符号化、及び、所定の画素ブロック（直交
変換ブロック）単位で直交変換をすることによる圧縮符
号化をした第１の解像度の圧縮画像データから、上記第
１の解像度より低い第２の解像度の動画像データを復号
する画像復号方法であって、飛び越し走査に対応した直
交変換方式（フィールド直交変換モード）により直交変
換がされた上記圧縮画像データの直交変換ブロックに対
して逆直交変換をし、順次走査に対応した直交変換方式
（フレーム直交変換モード）により直交変換がされた上
記圧縮画像データの直交変換ブロックに対して逆直交変
換をし、フレーム直交変換モードにより直交変換がされ
た上記直交変換ブロックの垂直方向の周波数成分の一部
の係数を０とし、一部の係数を０とした直交変換ブロッ
クの全周波数成分の係数に対して逆直交変換をし、逆直
交変換をした直交変換ブロックの各画素を飛び越し走査
に対応した２つの画素ブロックに分離し、分離した２つ
の画素ブロックに対してそれぞれ直交変換をし、直交変
換をした２つの画素ブロックの各係数のうち低周波成分
の係数に対して逆直交変換をし、逆直交変換をした２つ
の画素ブロックを合成して直交変換ブロックを生成する
ことを特徴とする。

【００３２】この画像復号方法では、直交変換ブロック
の垂直方向の周波数成分の一部の係数を０として、縮小
逆離散コサイン変換を行う。

【００３３】

【発明の実施の形態】以下、本発明の実施の形態とし
て、本発明を適用した画像復号装置について、図面を参
照しながら説明する。

【００３４】（第１の実施の形態）まず、本発明の第１
の実施の形態の画像復号装置について説明する。

【００３５】図１に示すように、本発明の第１の実施の
形態の画像復号装置１０は、垂直方向の有効ライン数が
例えば１１５２本の高解像度画像をＭＰＥＧ２で画像圧
縮したビットストリームが入力され、この入力されたビ
ットストリームを復号するとともに１／２の解像度に縮
小して、垂直方向の有効ライン数が例えば５７６本の標
準解像度画像を出力する装置である。

【００３６】なお、以下、本発明の実施の形態の説明を
するにあたり、高解像度画像のことを上位レイヤーとも
呼び、標準解像度画像のことを下位レイヤーとも呼ぶも
のとする。また、通常、８×８の離散コサイン係数を有
するＤＣＴブロックを逆離散コサイン変換した場合８×
８の画素から構成される復号データを得ることができる
が、例えば、８×８の離散コサイン係数を復号して４×
４の画素から構成される復号データを得るような、逆離
散コサイン変換をするとともに解像度を縮小する処理
を、縮小逆離散コサイン変換という。

【００３７】この画像復号装置１０は、圧縮された高解
像度画像のビットストリームが供給され、このビットス
トリームを解析するビットストリーム解析装置１１と、
データの発生頻度に応じた符号長を割り当てる可変長符
号化がされた上記ビットストリームを復号する可変長符
号復号装置１２と、ＤＣＴブロックの各係数に量子化ス
テップを掛ける逆量子化装置１３と、フィールドＤＣＴ
モードで離散コサイン変換がされたＤＣＴブロックに対
して縮小逆離散コサイン変換をして標準解像度画像を生
成するフィールドモード用縮小逆離散コサイン変換装置
１４と、フレームＤＣＴモードで離散コサイン変換がさ
れたＤＣＴブロックに対して縮小逆離散コサイン変換を
して標準解像度画像を生成するフレームモード用縮小逆
離散コサイン変換装置１５と、縮小逆離散コサイン変換
がされた標準解像度画像と動き補償がされた参照画像と
を加算する加算装置１６と、参照画像を一時記憶するフ
レームメモリ１７と、フレームメモリ１７が記憶した参
照画像にフィールド動き予測モードに対応した動き補償
をするフィールドモード用動き補償装置１８と、フレー
ムメモリ１７が記憶した参照画像にフレーム動き予測モ
ードに対応した動き補償をするフレームモード用動き補
償装置１９と、フレームメモリ１７が記憶した画像に対
してポストフィルタリングをすることにより、画枠変換
をするとともに画素の位相ずれを補正してテレビジョン
モニタ等に表示するための標準解像度の画像データを出
力する画枠変換・位相ずれ補正装置２０とを備えてい
る。

【００３８】可変長符号復号装置１２は、入力されたＤ
ＣＴブロックのスキャン方式に応じて、ＤＣＴブロック
内の各係数を逆スキャンして可変長符号の復号処理を行
う。ＤＣＴブロック内のスキャン方式には、例えばジグ
ザグスキャン、オルタネートスキャンがある。このスキ
ャン方式は、前段のビットストリーム解析装置１１によ
り解析される。

【００３９】なお、この可変長符号復号装置１２の処理
については、その詳細を後述する。

【００４０】フィールドモード用縮小逆離散コサイン変
換装置１４は、入力されたビットストリームのマクロブ
ロックが、フィールドＤＣＴモードで離散コサイン変換
されている場合に用いられる。フィールドモード用縮小
逆離散コサイン変換装置１４は、フィールドＤＣＴモー
ドで離散コサイン変換がされたマクロブロック内の８×
８個の係数が示されたＤＣＴブロックに対して、図４２
で示したような、低域の４×４の係数のみに逆離散コサ
イン変換を行う。すなわち、水平方向及び垂直方向の低
域の４点の離散コサイン係数に基づき縮小逆離散コサイ
ン変換を行う。このフィールドモード用縮小逆離散コサ
イン変換装置１４では、以上のような縮小逆離散コサイ
ン変換を行うことにより、１つのＤＣＴブロックが４×
４の画素から構成される標準解像度画像を復号すること
ができる。この復号された画像データの各画素の位相
は、図２に示すように、トップフィールドの各画素の垂
直方向の位相が１／２、５／２・・・となり、ボトムフ
ィールドの各画素の垂直方向の位相が１、３・・・とな
る。すなわち、復号された下位レイヤーのトップフィー
ルドでは、先頭画素（位相が１／２の画素）の位相が上
位レイヤーのトップフィールドの先頭から１番目と２番
目の画素（位相が０と２の画素）の中間位相となり、先
頭から２番目の画素（位相が５／２の画素）の位相が上
位レイヤーのトップフィールドの先頭から３番目と４番
目の画素（位相が４と６の画素）の中間位相となる。ま
た、復号された下位レイヤーのボトムフィールドでは、
先頭画素（位相が１の画素）の位相が上位レイヤーのボ
トムフィールドの先頭から１番目と２番目の画素（位相
が１と３の画素）の中間位相となり、先頭から２番目の
画素（位相が３の画素）の位相が上位レイヤーのボトム
フィールドの先頭から３番目と４番目の画素（位相が５
と７の画素）の中間位相となる。

【００４１】フレームモード用縮小逆離散コサイン変換
装置１５は、入力されたビットストリームのマクロブロ
ックが、フレームＤＣＴモードで離散コサイン変換され
ている場合に用いられる。フレームモード用縮小逆離散
コサイン変換装置１５は、フレームＤＣＴモードで離散
コサイン変換がされたマクロブロック内の８×８個の係
数が示されたＤＣＴブロックに対して、縮小逆離散コサ
イン変換を行う。そして、フレームモード用縮小逆離散
コサイン変換装置１５では、１つのＤＣＴブロックが４
×４の画素から構成される解像度画像を復号するととも
に、フィールドモード用縮小逆離散コサイン変換装置１
４で生成した標準解像度画像の画素の位相と同位相の画
像を生成する。すなわち、フレームモード用縮小逆離散
コサイン変換装置１５で復号された画像データの各画素
の位相は、図２に示すように、トップフィールドの各画
素の垂直方向の位相が１／２、５／２・・・となり、ボ
トムフィールドの各画素の垂直方向の位相が１、３・・
・となる。

【００４２】なお、このフレームモード用縮小逆離散コ
サイン変換装置１５の処理については、その詳細を後述
する。

【００４３】加算装置１６は、フィールドモード用縮小
逆離散コサイン変換装置１４又はフレームモード用縮小
逆離散コサイン変換装置１５により縮小逆離散コサイン
変換されたマクロブロックがイントラ画像の場合には、
そのイントラ画像をそのままフレームメモリ１７に格納
する。また、加算装置１６は、フィールドモード用縮小
逆離散コサイン変換装置１４又はフレームモード用縮小
逆離散コサイン変換装置１５により縮小逆離散コサイン
変換されたマクロブロックがインター画像である場合に
は、そのインター画像に、フィールドモード用動き補償
装置１８或いはフレームモード用動き補償装置１９によ
り動き補償がされた参照画像を合成して、フレームメモ
リ１７に格納する。

【００４４】フィールドモード用動き補償装置１８は、
マクロブロックの動き予測モードがフィールド動き予測
モードの場合に用いられる。フィールドモード用動き補
償装置１８は、フレームメモリ１７に記憶されている標
準解像度画像の参照画像に対して、トップフィールドと
ボトムフィールドとの間の位相ずれ成分を考慮した形で
１／４画素精度で補間処理を行い、フィールド動き予測
モードに対応した動き補償をする。このフィールドモー
ド用動き補償装置１８により動き補償がされた参照画像
は、加算装置１６に供給され、インター画像に合成され
る。

【００４５】フレームモード用動き補償装置１９は、マ
クロブロックの動き予測モードがフレーム動き予測モー
ドの場合に用いられる。フレームモード用動き補償装置
１９は、フレームメモリ１７に記憶されている標準解像
度画像の参照画像に対して、トップフィールドとボトム
フィールドとの間の位相ずれ成分を考慮した形で１／４
画素精度で補間処理を行い、フレーム動き予測モードに
対応した動き補償をする。このフレームモード用動き補
償装置１９により動き補償がされた参照画像は、加算装
置１６に供給され、インター画像に合成される。

【００４６】画枠変換・位相ずれ補正装置２０は、フレ
ームメモリ１７が記憶した標準解像度の参照画像或いは
加算装置１６が合成した画像が供給され、この画像をポ
ストフィルタリングにより、トップフィールドとボトム
フィールドとの間の位相ずれ成分を補正するとともに画
枠を標準解像度のテレビジョンの規格に合致するように
変換する。すなわち、画枠変換・位相ずれ補正装置２０
は、トップフィールドの各画素の垂直方向の位相が１／
２、５／２・・・となり、ボトムフィールドの各画素の
垂直方向の位相が１、３・・・となる標準解像度画像
を、例えば、トップフィールドの各画素の垂直方向の位
相が０、２、４・・・となり、ボトムフィールドの各画
素の垂直方向の位相が１、３、５・・・となるように補
正する。また、画枠変換・位相ずれ補正装置２０は、高
解像度のテレビジョン規格の画枠を、１／４に縮小して
標準解像度のテレビジョン規格の画枠に変換する。

【００４７】本発明の第１の実施の形態の画像復号装置
１０では、以上のような構成を有することにより、高解
像度画像をＭＰＥＧ２で画像圧縮したビットストリーム
を、復号するとともに解像度を１／２に縮小して、標準
解像度画像を出力することができる。

【００４８】フレームモード用縮小逆離散コサイン変換
装置１５には、図３に示すように、高解像度画像を圧縮
符号化したビットストリームが、１つのＤＣＴブロック
単位で入力される。

【００４９】まず、ステップＳ１において、この１つの
ＤＣＴブロックの離散コサイン係数ｙ（ＤＣＴブロック
の全ての離散コサイン係数のうち垂直方向の係数をｙ₁
〜ｙ₈として図中に示す。）に対して、８×８の逆離散
コサイン変換（ＩＤＣＴ８×８）を行う。逆離散コサイ
ン変換をすることにより、８×８の復号された画素デー
タｘ（ＤＣＴブロックの全ての画素データのうち垂直方
向の画素データをｘ₁〜ｘ₈として図中に示す。）を得る
ことができる。

【００５０】続いて、ステップＳ２において、この８×
８の画素データｘを、垂直方向に１ライン毎交互に取り
出して、飛び越し走査に対応した４×４のトップフィー
ルドの画素ブロックと、飛び越し走査に対応した４×４
のボトムフィールドの画素ブロックの２つの画素ブロッ
クに分離する。すなわち、垂直方向に１ライン目の画素
データｘ₁と、３ライン目の画素データｘ₃と、５ライン
目の画素データｘ₅と、７ライン目の画素データｘ₇とを
取り出して、トップフィールドに対応した画素ブロック
を生成する。また、垂直方向に２ライン目の画素データ
ｘ₂と、４ライン目の画素データｘ₄と、６ライン目の画
素データｘ₆と、８ライン目の画素データｘ₈とを取り出
して、ボトムフィールドに対応した画素ブロックを生成
する。なお、ＤＣＴブロックの各画素を飛び越し走査に
対応した２つの画素ブロックに分離する処理を、以下フ
ィールド分離という。

【００５１】続いて、ステップＳ３において、フィール
ド分離した２つの画素ブロックそれぞれに対して４×４
の離散コサイン変換（ＤＣＴ４×４）をする。

【００５２】続いて、ステップＳ４において、４×４の
離散コサイン変換をして得られたトップフィールドに対
応する画素ブロックの離散コサイン係数ｚ（トップフィ
ールドに対応する画素ブロックの全ての係数のうち垂直
方向の離散コサイン係数をｚ₁，ｚ₃，ｚ₅，ｚ₇として図
中に示す。）の高域成分を間引き、２×２の離散コサイ
ン係数から構成される画素ブロックとする。また、４×
４の離散コサイン変換をして得られたボトムフィールド
に対応する画素ブロックの離散コサイン係数ｚ（ボトム
フィールドに対応する画素ブロックの全ての係数のうち
垂直方向の離散コサイン係数をｚ₂，ｚ₄，ｚ₆，ｚ₈とし
て図中に示す。）の高域成分を間引き、２×２の離散コ
サイン係数から構成される画素ブロックとする。

【００５３】続いて、ステップＳ５において、高域成分
の離散コサイン係数を間引いた画素ブロックに対して、
２×２の逆離散コサイン変換（ＩＤＣＴ２×２）を行
う。２×２の逆離散コサイン変換をすることにより、２
×２の復号された画素データｘ′（トップフィールドの
画素ブロックの全ての画素データのうち垂直方向の画素
データをｘ′₁，ｘ′₃として図中に示し、また、ボトム
フィールドに対応する画素ブロックの全ての画素データ
のうち垂直方向の画素データをｘ′₂，ｘ′₄として図中
に示す。）を得ることができる。

【００５４】続いて、ステップＳ６において、トップフ
ィールドに対応する画素ブロックの画素データと、ボト
ムフィールドに対応する画素ブロックの画素データと
を、垂直方向に１ラインずつ交互に合成して、４×４の
画素データから構成される縮小逆離散コサイン変換をし
たＤＣＴブロックを生成する。なお、トップフィールド
とボトムフィールドに対応した２つの画素ブロックの各
画素を垂直方向に交互に合成する処理を、以下フレーム
合成という。

【００５５】以上のステップＳ１〜ステップＳ６で示し
た処理を行うことにより、フレームモード用縮小逆離散
コサイン変換装１５では、図２で示したような、フィー
ルドモード用縮小逆離散コサイン変換装置１４で生成し
た標準解像度画像の画素の位相と同位相の画素から構成
される４×４のＤＣＴブロックを生成することができ
る。

【００５６】このような画像復号装置１０では、フィー
ルドモード用縮小逆離散コサイン変換装置１４の４×４
の縮小逆離散コサイン変換処理、及び、フレームモード
用縮小逆離散コサイン変換装置１５の上記ステップＳ１
〜ステップＳ６による処理による縮小逆離散コサイン変
換処理を、高速アルゴリズムを用いて処理してもよい。

【００５７】例えば、Ｗａｎｇのアルゴリズム（参考文
献：Zhong DE Wang.,"Fast Algorithms for the Discre
te W Transform and for the Discrete Fourier Transf
orm",IEEE Tr.ASSP-32,NO.4,pp.803-816, Aug.1984）を
用いることにより、処理を高速化することができる。

【００５８】フィールドモード用縮小逆離散コサイン変
換装置１４が演算をする行列を、Ｗａｎｇのアルゴリズ
ムを用いて分解すると、以下の式（１）に示すように分
解される。

【００５９】

【数１】

【００６０】また、図４にフィールドモード用縮小逆離
散コサイン変換装置１４の処理にＷａｎｇのアルゴリズ
ムを適用した場合の処理フローを示す。この処理フロー
に示すように、第１から第５の乗算器１４ａ〜１４ｅ及
び第１から第９の加算器１４ｆ〜１４ｎを用いて、高速
化を実現することができる。

【００６１】フレームモード用縮小逆離散コサイン変換
装置１５が演算をする行列［ＦＳ′］を、Ｗａｎｇのア
ルゴリズムを用いて分解すると、以下の式（２）に示す
ように分解される。

【００６２】

【数２】

【００６３】但し、この式（２）において、Ａ〜Ｊは、
以下の通りである。

【００６４】

【数３】

【００６５】また、図５にフレームモード用縮小逆離散
コサイン変換装置１５の処理にＷａｎｇのアルゴリズム
を適用した場合の処理フローを示す。この処理フローに
示すように、第１から第１０の乗算器１５ａ〜１５ｊ及
び第１から第１３の加算器１５ｋ〜１５ｗを用いて、高
速化を実現することができる。

【００６６】以上のように本発明の第１の実施の形態の
画像復号装置１０では、フィールドＤＣＴモードでは、
トップフィールドとボトムフィールドとのそれぞれに４
×４の縮小逆離散コサイン変換を行い標準解像度画像を
復号し、フレームＤＣＴモードでは、フレーム分離をし
て縮小逆離散コサイン変換を行い標準解像度画像を復号
する。この画像復号装置１０では、このようにフィール
ドＤＣＴモードとフレームＤＣＴモードとで異なる処理
を行うため、飛び越し走査画像が有するインタレース性
を損なうことなく、かつ、フィールドＤＣＴモードとフ
レームＤＣＴモードとで復号した画像の位相を同一とす
ることができ、出力する画像の画質を劣化させない。

【００６７】つぎに、上記可変長符号復号装置１２の処
理内容について、さらに詳細に説明する。

【００６８】ＭＰＥＧ２では、ＤＣＴブロック内の２次
元配列された離散コサイン係数をビットストリームに格
納するために、このＤＣＴブロックをスキャンして１次
元情報に変換し、そして、可変長符号化処理がされる。
例えば、ＭＥＰＥ２では、図６に示すように８×８のＤ
ＣＴ係数をスキャンするジグザグスキャン、及び、図７
に示すように８×８のＤＣＴ係数をスキャンするオルタ
ネートスキャンが規定されている。可変長符号復号装置
１２は、このようなＤＣＴブロックのスキャン方式に応
じて、ＤＣＴブロック内の各係数を逆スキャンして可変
長符号の復号処理を行う。

【００６９】ところで、画像復号装置１０におけるフィ
ールドモード用縮小離散コサイン変換装置１４では、逆
離散コサイン変換をするにあたり、上述したように８×
８のＤＣＴ係数のうち、低域の４×４の係数のみしか用
いていない。すなわち、入力されたＤＣＴブロックがフ
ィールドＤＣＴモードで離散コサイン変換されている場
合には、４×４個のＤＣＴ係数しか用いていない。ま
た、画像復号装置１０におけるフレームモード用縮小離
散コサイン変換装置１５では、逆離散コサイン変換をす
るにあたり、上述したように８×８のＤＣＴ係数のう
ち、低域の４×８の係数のみしか用いていない。すなわ
ち、入力されたＤＣＴブロックがフレームＤＣＴモード
で離散コサイン変換されている場合には、４×８個のＤ
ＣＴ係数しか用いていない。

【００７０】そのため、可変長符号復号装置１２では、
入力されたＤＣＴブロックがフィールドＤＣＴモードで
離散コサイン変換されている場合には、４×４のＤＣＴ
係数のみの逆スキャンを行って４×４の最高周波数成分
の係数まで可変長復号し、それ以後の高周波係数につい
ては可変長復号しないようにしている。また、可変長符
号復号装置１２では、入力されたＤＣＴブロックがフレ
ームＤＣＴモードで離散コサイン変換されている場合に
は、４×８のＤＣＴ係数のみの逆スキャンを行って４×
８の最高周波数成分の係数まで可変長復号し、それ以後
の高周波係数については可変長復号しないようにしてい
る。

【００７１】具体的に、可変長符号復号装置１２では、
入力されたＤＣＴブロックがフィールドＤＣＴモードで
離散コサイン変換されており、スキャン方式がジグザグ
スキャンである場合には、図８に示すように、スキャン
番号で０番目から２４番目までのＤＣＴ係数については
逆スキャンをして可変長復号をし、２５番目以降のＤＣ
Ｔ係数についてはＥＯＢ（End Of Block）信号が検出さ
れるまで処理を行わない。（なお、図８には、ＤＣＴブ
ロック内の各係数のスキャン番号を示している。図９〜
図１５についても同様である。）また、可変長符号復号
装置１２では、入力されたＤＣＴブロックがフレームＤ
ＣＴモードで離散コサイン変換されており、スキャン方
式がオルタネートスキャンである場合には、図９に示す
ように、スキャン番号で０番目から２５番目までのＤＣ
Ｔ係数については逆スキャンをして可変長復号をし、２
６番目以降のＤＣＴ係数についてはＥＯＢ信号が検出さ
れるまで処理を行わない。また、可変長符号復号装置１
２では、入力されたＤＣＴブロックがフレームＤＣＴモ
ードで離散コサイン変換されており、スキャン方式がジ
グザグスキャンである場合には、図１０に示すように、
スキャン番号で０番目から４９番目までのＤＣＴ係数に
ついては逆スキャンをして可変長復号をし、５０番目以
降のＤＣＴ係数についてはＥＯＢ信号が検出されるまで
処理を行わない。また、可変長符号復号装置１２では、
入力されたＤＣＴブロックがフレームＤＣＴモードで離
散コサイン変換されており、スキャン方式がオルタネー
トスキャンである場合には、図１１に示すように、スキ
ャン番号で０番目から３３番目までのＤＣＴ係数につい
ては逆スキャンをして可変長復号をし、３４番目以降の
ＤＣＴ係数についてはＥＯＢ信号が検出されるまで処理
を行わない。

【００７２】可変長符号復号装置１２では、以上のよう
に後段の処理で用いられない冗長な高周波係数の処理を
削除することにより、画質の劣化なく処理量を削減する
ことができる。

【００７３】また、可変長符号復号装置１２では、画像
復号装置１０の処理能力に応じて、以下のようにさらに
処理量の削減をすることができる。

【００７４】例えば、可変長符号復号装置１２では、入
力されたＤＣＴブロックがフィールドＤＣＴモードで離
散コサイン変換されており、スキャン方式がジグザグス
キャンである場合には、図８で示した逆スキャン処理に
代えて、図１２に示すように、スキャン番号で０番目か
ら１３番目までのＤＣＴ係数については逆スキャンをし
て可変長復号をし、１４番目以降のＤＣＴ係数について
はＥＯＢ（End Of Block）信号が検出されるまで処理を
行わない。このとき、逆スキャンを行わなかったＤＣＴ
係数のうち可変長符号復号装置１２の出力となる４×４
係数内に含まれるＤＣＴ係数（この場合、１７番目、１
８番目、２４番目のＤＣＴ係数）に関してはその値を０
に置き換える。

【００７５】このように処理することにより、図８で示
した逆スキャン処理でのスキャン数（２５個）に対し
て、図１２で示した逆スキャン処理でのスキャン数（１
４個）は、非常に少なくなっている。それにも拘わら
ず、４×４のＤＣＴ係数のうち逆スキャンをしなかった
ＤＣＴ係数（１７番目、１８番目、２４番目）の数は３
個である。すなわち、４×４のＤＣＴ係数のうち逆スキ
ャンをしなかったＤＣＴ係数の数に対してその処理量が
大幅に処理が減少する。従って、可変長符号復号装置１
２では、画質の劣化を最小限に抑えながら、処理量を大
幅に減少させることができる。

【００７６】同様に、入力されたＤＣＴブロックがフィ
ールドＤＣＴモードで離散コサイン変換されており、ス
キャン方式がオルタネートスキャンである場合には、可
変長符号復号装置１２では、図９で示した逆スキャン処
理に代えて、図１３に示すように、スキャン番号で０番
目から２０番目までのＤＣＴ係数については逆スキャン
をして可変長復号をし、２１番目以降のＤＣＴ係数につ
いてはＥＯＢ信号が検出されるまで処理を行わない。こ
のとき、逆スキャンを行わなかったＤＣＴ係数のうち可
変長符号復号装置１２の出力となる４×４係数内に含ま
れるＤＣＴ係数（この場合、２１番目、２４番目、２５
番目のＤＣＴ係数）に関してはその値を０に置き換え
る。

【００７７】また、入力されたＤＣＴブロックがフレー
ムＤＣＴモードで離散コサイン変換されており、スキャ
ン方式がジグザグスキャンである場合には、可変長符号
復号装置１２では、図１０で示した逆スキャン処理に代
えて、図１４に示すように、スキャン番号で０番目から
２４番目までのＤＣＴ係数については逆スキャンをして
可変長復号をし、２５番目以降のＤＣＴ係数については
ＥＯＢ信号が検出されるまで処理を行わない。このと
き、逆スキャンを行わなかったＤＣＴ係数のうち可変長
符号復号装置１２の出力となる４×８係数内に含まれる
ＤＣＴ係数（この場合、２１番目、３２番目、３３番
目、３４番目、３５番目、３６番目、３７番目、３８番
目、４７番目、４８番目、４９番目のＤＣＴ係数）に関
してはその値を０に置き換える。

【００７８】また、入力されたＤＣＴブロックがフレー
ムＤＣＴモードで離散コサイン変換されており、スキャ
ン方式がオルタネートスキャンである場合には、図１１
に示した逆スキャン処理に代えて、可変長符号復号装置
１２では、図１５に示すように、スキャン番号で０番目
から２５番目までのＤＣＴ係数については逆スキャンを
して可変長復号をし、３０番目以降のＤＣＴ係数につい
てはＥＯＢ信号が検出されるまで処理を行わない。この
とき、逆スキャンを行わなかったＤＣＴ係数のうち可変
長符号復号装置１２の出力となる４×８係数内に含まれ
るＤＣＴ係数（この場合、３０番目、３１番目、３２番
目、３３番目のＤＣＴ係数）に関してはその値を０に置
き換える。

【００７９】なお、スキャン番号でどこまでのＤＣＴ係
数を逆スキャンするかは、画像復号装置１０の処理能力
と画質の劣化量とに応じて定めれば良く、上述の例に限
られない。

【００８０】また、可変長符号復号装置１２では、例え
ば当該ＤＣＴブロックがイントラ画像に属するものであ
るかインター画像に属するものか、或いは、イントラマ
クロブロックに属するものであるかインターマクロブロ
ックに属するものであるかを検出し、その検出した情報
に基づき、スキャン番号でどこまでのＤＣＴ係数を逆ス
キャンするかを可変して制御しても良い。これらのビッ
トストリームの情報はビットストリーム解析装置１１に
より解析されて供給される。

【００８１】例えば、可変長符号復号装置１２は、復号
するＤＣＴブロックがイントラ画像或いはイントラマク
ロブロックに属するものである場合には、そのＤＣＴブ
ロックの高周波成分まで復号できるように、図８に示す
ように４×４係数内に含まれるＤＣＴ係数を全て可変長
復号する。そして、可変長符号復号装置１２は、復号す
るＤＣＴブロックがインター画像或いはインターマクロ
ブロックに属するものである場合には、そのＤＣＴブロ
ックの全ての周波数成分を復号せずに、図１２に示すよ
うに４×４係数内に含まれるＤＣＴ係数のうち一部の高
周波成分を除き可変長復号する。

【００８２】このように画像復号装置１０では、可変長
符号復号装置１２がスキャン番号でどこまでのＤＣＴ係
数を逆スキャンするかを可変することにより、画質の劣
化を最小限に抑えながら処理量を減少させることができ
る。

【００８３】なお、処理量の削減のための切換のパラメ
ータとしては、例えば、処理されるデータが輝度信号に
属するものか或いは色差信号に属するものかという情報
に基づいて切り換えても良いし、処理されるデータがＩ
ピクチャに属するものかＰピクチャに属するものか或い
はＢピクチャに属するものかという情報に基づいて切り
換えても良い。

【００８４】つぎに、上記フレームモード用縮小逆離散
コサイン変換装置１５の処理についてさらに説明する。

【００８５】フィールドモード用縮小逆離散コサイン変
換装置１４では４×４係数の縮小逆離散コサイン変換を
行うのに対して、フレームモード用縮小逆離散コサイン
変換装置１５では４×８係数の縮小逆離散コサイン変換
を行う。そのため、画像復号装置１０では、入力された
ビットストリームにフレームＤＣＴモードのＤＣＴブロ
ックを多く含んでいると演算量が増大する。このことか
ら、この画像復号装置１０では、フレームモード用縮小
逆離散コサイン変換装置１５を、その処理能力に応じて
以下のように処理させて演算量を削減してもよい。

【００８６】フレームモード用縮小逆離散コサイン変換
装置１５では、例えば、図１６に示すように、４×８の
ＤＣＴ係数のうち、垂直方向の高周波成分の４×２係数
（例えば図１６中白丸で示した位置の係数）を０に置き
換えた後、図３に示したステップＳ１からステップＳ６
までの処理を行う。処理する係数の一部を０と置き換え
ることにより演算量が削減できる。なお、係数の一部を
０と置き換えても置き換えなくても処理工程は同じであ
るので、出力画素の位相は変わらず位相の違いに基づく
誤差要因とはならない。

【００８７】また、フレームモード用縮小逆離散コサイ
ン変換装置１５では、図１６に示したような係数の置き
換えではなく、例えば、図１７に示すように垂直方向の
中間周波数成分の４×２係数（例えば図１７中白丸で示
した位置の係数）を０と置き換えても良いし、図１８に
示すように垂直方向の中間周波数成分の４×４係数（例
えば図１８中白丸で示した位置の係数）を０と置き換え
ても良い。これは、入力された上位レイヤーの画像が飛
び越し走査画像である場合、離散コサイン係数の高周波
成分にフィールド間の差分情報が含まれていることがあ
るからである。例えば、被写体を横方向にパンニングし
た場合など、フィールド間の差分情報が高周波成分に含
まれる。そのため、飛び越し走査画像である場合には、
図１６に示したように垂直方向の高周波成分の４×２係
数を０に置き換えるよりも、この図１７及び図１８に示
したように垂直方向の中間周波数成分の係数を０と置き
換えた方が、画質の劣化が少なくなる。

【００８８】また、フレームモード用縮小逆離散コサイ
ン変換装置１５では、ビットストリーム解析装置１１に
より、例えば処理するＤＣＴブロックがＩピクチャ又は
Ｐピクチャに属するものであるか、或いは、Ｂピクチャ
に属するものであるかを検出し、その検出した情報に基
づき、４×８の全ての係数を縮小逆離散コサイン変換を
するか或いは一部の係数を０と置き換えて縮小逆離散コ
サイン変換をするかを切り換えても良い。

【００８９】例えば、フレームモード用縮小逆離散コサ
イン変換装置１５では、Ｉピクチャ及びＰピクチャは画
質の劣化が他の画像に伝搬することから、Ｉピクチャ及
びＰピクチャに対しては４×８係数内の全ての係数を縮
小逆離散コサイン変換を行い、Ｂピクチャは画質の劣化
が他の画像に伝搬しないことから、Ｂピクチャに対して
は一部の係数を０と置き換えて縮小離散コサイン変換を
するようにして演算量を削減する。また、演算量の削減
のための切換のパラメータとしては、例えば、処理され
るデータが輝度信号に属するものか或いは色差信号に属
するものかという情報に基づいて切り換えても良いし、
処理されるデータがイントラマクロブロックに属するも
のか或いはインターマクロブロックに属するものかとい
う情報に基づいて切り換えても良い。

【００９０】このように画像復号装置１０では、フレー
ムモード用縮小逆離散コサイン変換装置１５が逆離散コ
サイン変換をする一部の係数を０と置き換えることによ
り、画質の劣化を最小限に抑え、演算量を削減すること
ができる。

【００９１】また、この画像復号装置１０では、フレー
ムモード用縮小逆離散コサイン変換装置１５が高速アル
ゴリズムを用いて処理を行った場合、その回路規模を簡
素化することができる。例えば、図１８に示したような
垂直方向の中間周波数成分の４×４の係数を０と置き換
えた場合には、図５に示した処理フローが、図１９に示
すような第１から第６の乗算器１５′ａ〜１５′ｆ及び
第１から第９の加算器１５′ｇ〜１５′ｏからなる処理
フローに簡素化することができる。この図１９に示す処
理フローは、図４で示したフィールドモード用縮小逆離
散コサイン変換装置１４の高速アルゴリズムの処理フロ
ーと相似性が高いので共通の回路を用いることができ、
さらに回路規模を削減することができる。

【００９２】また、この画像復号装置１０では、上記可
変長符号復号装置１２で行われる処理量の削減動作と上
記フレームモード用縮小逆離散コサイン変換装置１５の
演算量の削減動作とを組み合わせて用いることにより、
効率的に全体の処理量を削減することができる。例え
ば、可変長符号復号装置１２は、フレームモード用縮小
逆離散コサイン変換装置１５が０と置く係数に併せて各
ＤＣＴ係数を逆スキャンを行い、また、フレームモード
用縮小逆離散コサイン変換装置１５が０と置く係数に併
せて逆スキャンする係数の数を可変することにより、効
率的に処理を行うことができる。

【００９３】例えば、可変長符号復号装置１２は、フレ
ームモード用縮小逆離散コサイン変換装置１５が図１６
に示したような垂直方向の高周波成分の２×２係数を０
と置いた縮小逆離散コサイン変換をする場合には、図２
０に示すように、スキャン番号で０番目から３８番目ま
でのＤＣＴ係数については逆スキャンをし可変長復号を
して、３９番目以降のＤＣＴ係数についてはＥＯＢ信号
が検出されるまで処理を行わないようにする。また、例
えば、可変長符号復号装置１２は、図２１に示すよう
に、スキャン番号で０番目から２４番目までのＤＣＴ係
数については逆スキャンをして可変長復号し、２５番目
以降のＤＣＴ係数についてはＥＯＢ信号が検出されるま
で処理を行わないようにしてもよい。なお、図２０及び
図２１にはジグザグスキャンの場合を示したが、オルタ
ネートスキャンに適用しても良い。

【００９４】（第２の実施の形態）つぎに、本発明の第
２の実施の形態の画像復号装置について説明する。な
お、この第２の実施の形態の画像復号装置の説明にあた
り、上記第１の画像復号装置１０と同一の構成要素につ
いては図面中に同一の符号を付け、その詳細な説明を省
略する。

【００９５】図２２に示すように、本発明の第２の実施
の形態の画像復号装置３０は、垂直方向の有効ライン数
が例えば１１５２本の高解像度画像をＭＰＥＧ２で画像
圧縮したビットストリームが入力され、この入力された
ビットストリームを復号するとともに１／２の解像度に
縮小して、垂直方向の有効ライン数が例えば５７６本の
標準解像度画像を出力する装置である。

【００９６】この画像復号装置３０は、圧縮された高解
像度画像のビットストリームが供給され、このビットス
トリームを解析するビットストリーム解析装置１１と、
データの発生頻度に応じた符号長を割り当てる可変長符
号化がされた上記ビットストリームを復号する可変長符
号復号装置１２と、ＤＣＴブロックの各係数に量子化ス
テップを掛ける逆量子化装置１３と、フィールドＤＣＴ
モードで離散コサイン変換がされたＤＣＴブロックに対
して縮小逆離散コサイン変換をして標準解像度画像を生
成するフィールドモード用位相補正縮小逆離散コサイン
変換装置３１と、フレームＤＣＴモードで離散コサイン
変換がされたＤＣＴブロックに対して縮小逆離散コサイ
ン変換をして標準解像度画像を生成するフレームモード
用位相補正縮小逆離散コサイン変換装置３２と、縮小逆
離散コサイン変換がされた標準解像度画像と動き補償が
された参照画像とを加算する加算装置１６と、参照画像
を一時記憶するフレームメモリ１７と、フレームメモリ
１７が記憶した参照画像にフィールド動き予測モードに
対応した動き補償をするフィールドモード用動き補償装
置１８と、フレームメモリ１７が記憶した参照画像にフ
レーム動き予測モードに対応した動き補償をするフレー
ムモード用動き補償装置１９と、フレームメモリ１７に
記憶した画像に対して、画枠変換をしてモニタ等に表示
するための標準解像度の画像データを出力する画枠変換
装置３３とを備えている。

【００９７】可変長符号復号装置１２は、入力されたＤ
ＣＴブロックのスキャン方式に応じて、ＤＣＴブロック
内の各係数を逆スキャンして可変長符号の復号処理を行
う。ＤＣＴブロック内のスキャン方式には、例えばジグ
ザグスキャン、オルタネートスキャンがある。このスキ
ャン方式は、前段のビットストリーム解析装置１１によ
り解析される。

【００９８】フィールドモード用位相補正縮小逆離散コ
サイン変換装置３１は、入力されたビットストリームの
マクロブロックが、フィールドＤＣＴモードで離散コサ
イン変換されている場合に用いられる。フィールドモー
ド用位相補正縮小逆離散コサイン変換装置３１は、フィ
ールドＤＣＴモードで離散コサイン変換がされたマクロ
ブロック内の８×８個の係数が示されたＤＣＴブロック
の全ての係数のうち４×８の係数のみに対して、トップ
フィールドとボトムフィールドの垂直方向の画素の位相
ずれを補正した逆離散コサイン変換を行う。すなわち、
水平方向に対して低域の４点の離散コサイン係数に基づ
き逆離散コサイン変換を行い、垂直方向に対して８点の
離散コサイン係数に基づき位相ずれを補正した逆離散コ
サイン変換を行う。具体的には、トップフィールドの垂
直方向の各画素に対しては、１／４画素分の位相補正を
行い、ボトムフィールドの垂直方向の各画素に対して
は、３／４画素分の位相補正を行う。そして、以上のよ
うな縮小逆離散コサイン変換を行うことにより、図２３
に示すような、トップフィールドの各画素の垂直方向の
位相が１／４、９／４・・・となり、ボトムフィールド
の各画素の垂直方向の位相が５／４、１３／４・・・と
なる標準解像度画像（下位レイヤー）を生成する。

【００９９】フレームモード用位相補正縮小逆離散コサ
イン変換装置３２は、入力されたビットストリームのマ
クロブロックが、フレームＤＣＴモードで離散コサイン
変換されている場合に用いられる。フレームモード用位
相補正縮小逆離散コサイン変換装置３２は、フレームＤ
ＣＴモードで離散コサイン変換がされたマクロブロック
内の８×８個の係数が示されたＤＣＴブロックに対し
て、詳細を後述する処理により、トップフィールドとボ
トムフィールドの垂直方向の画素の位相ずれを補正した
縮小逆離散コサイン変換を行う。そして、フィールドモ
ード用位相補正縮小逆離散コサイン変換装置３１で生成
した標準解像度画像の画素の位相と同位相の画像を生成
する。すなわち、縮小逆離散コサイン変換を行うことに
より、図２３に示すような、トップフィールドの各画素
の垂直方向の位相が１／４、９／４・・・となり、ボト
ムフィールドの各画素の垂直方向の位相が５／４、１３
／４・・・となる標準解像度画像（下位レイヤー）を生
成する。

【０１００】フィールドモード用動き補償装置１８は、
マクロブロックの動き予測モードがフィールド動き予測
モードの場合に用いられる。フィールドモード用動き補
償装置１８は、フレームメモリ１７に記憶されている標
準解像度画像の参照画像に対して、１／４画素精度で補
間処理を行い、フィールド動き予測モードに対応した動
き補償をする。このフィールドモード用動き補償装置１
８により動き補償がされた参照画像は、加算装置１６に
供給され、インター画像に合成される。

【０１０１】フレームモード用動き補償装置１９は、マ
クロブロックの動き予測モードがフレーム動き予測モー
ドの場合に用いられる。フレームモード用動き補償装置
１９は、フレームメモリ１７に記憶されている標準解像
度画像の参照画像に対して、１／４画素精度で補間処理
を行い、フレーム動き予測モードに対応した動き補償を
する。このフレームモード用動き補償装置１９により動
き補償がされた参照画像は、加算装置１６に供給され、
インター画像に合成される。

【０１０２】画枠変換装置３３は、フレームメモリ１７
が記憶した標準解像度の参照画像が供給され、この参照
画像をポストフィルタリングにより、画枠を標準解像度
のテレビジョンの規格に合致するように変換する。すな
わち、画枠変換装置３３は、高解像度のテレビジョン規
格の画枠を、１／４に縮小した標準解像度のテレビジョ
ン規格の画枠に変換する。なお、この画枠変換装置３３
は、フレームメモリ１７に格納されている画像がトップ
フィールドとボトムフィールドとの間に位相ずれが生じ
ていないので、上述した第１の実施の形態の画枠変換・
位相ずれ補正装置２０と異なり、画素の位相ずれの補正
は行わなくて良い。

【０１０３】本発明の第２の実施の形態の画像復号装置
３０では、以上のような構成を有することにより、高解
像度画像をＭＰＥＧ２で画像圧縮したビットストリーム
を、復号するとともに１／２の解像度に縮小して、標準
解像度画像を出力することができる。

【０１０４】つぎに、上記フィールドモード用位相補正
縮小逆離散コサイン変換装置３１の処理内容について、
さらに詳細に説明する。

【０１０５】フィールドモード用位相補正縮小逆離散コ
サイン変換装置３１には、図２４に示すように、高解像
度画像を圧縮符号化したビットストリームが、１つのＤ
ＣＴブロック単位で入力される。

【０１０６】まず、ステップＳ２１において、この１つ
のＤＣＴブロックの離散コサイン係数ｙ（ＤＣＴブロッ
クの全ての離散コサイン係数のうち垂直方向の係数をｙ
₁〜ｙ₈として図中に示す。）に対して、８×８の逆離散
コサイン変換（ＩＤＣＴ８×８）を行う。逆離散コサイ
ン変換をすることにより、８×８の復号された画素デー
タｘ（ＤＣＴブロックの全ての画素データのうち垂直方
向の画素データをｘ₁〜ｘ₈として図中に示す。）を得る
ことができる。

【０１０７】続いて、ステップＳ２２において、この８
×８の画素データを、４×８の位相補正フィルタ行列に
よりＤＣＴブロック内で閉じた変換を行い、位相補正し
た画素データｘ′（全ての画素データのうち垂直方向の
画素データをｘ′₁，ｘ′₂，ｘ′₃，ｘ′₄として図中に
示す。）を得る。

【０１０８】以上のステップＳ２１〜ステップＳ２２の
処理を行うことにより、フィールドモード用位相補正縮
小逆離散コサイン変換装置３１では、トップフィールド
とボトムフィールドとの間で、画素の位相ずれがない画
像を生成することができる。

【０１０９】また、フィールドモード用位相補正縮小逆
離散コサイン変換装置３１では、図２５に示すように、
以上の処理を１つの行列（４×８位相補正ＩＤＣＴ行
列）を用いて演算してもよい。

【０１１０】つぎに、上記フィールドモード用位相補正
縮小逆離散コサイン変換装置３１により演算が行われる
４×８位相補正ＩＤＣＴ行列の設計手順を図２６に示
し、この４×８位相補正ＩＤＣＴ行列について説明す
る。この４×８位相補正ＩＤＣＴ行列は、プロトタイプ
フィルタをポリフェーズ分解して作成される。

【０１１１】ここで、画像復号装置３０では、図２７
（ａ）に示すような周波数特性の高解像度画像を、図２
７（ｂ）に示すような信号帯域がローパスフィルタによ
り半分とされた周波数特性の１／２の解像度の標準解像
度画像に、ダウンデコードする。そのため、プロトタイ
プフィルタに求められる周波数特性は、標準解像度画像
の１／４位相の画素値を得ることができるように、図２
７（ｃ）に示すような４倍のオーバーサンプリングを行
った周波数特性となる。

【０１１２】まず、ステップＳ３１において、ナイキス
ト周波数以下を等間隔に｛（Ｎ−１）／２｝分割し、そ
の周波数サンプルからゲインリストを作成する。例え
ば、図２８に示すように、ナイキスト周波数以下の周波
数を等間隔に（５７−１）／２＝２８分割して、２９個
のゲインリストを作成する。

【０１１３】続いて、ステップＳ３２において、周波数
サンプリング法により、５７個のインパルス応答を作成
する。すなわち、２９個のゲインリストを逆離散フーリ
エ変換して、５７個のＦＩＲフィルタのインパルス応答
を作成する。この５７個のインパルス応答を図２９に示
す。

【０１１４】続いて、ステップＳ３３において、このイ
ンパルス応答に窓関数をかけて、５７タップのフィルタ
係数ｃ１〜ｃ５７を作成する。

【０１１５】このステップＳ３３で作成されたフィルタ
がプロトタイプフィルタとなる。

【０１１６】続いて、ステップＳ３４において、５７個
のフィルタ係数ｃ１〜ｃ５７を有するプロトタイプフィ
ルタをポリフェーズ分解して、１／４位相補正特性を有
する１４個のフィルタ係数ｃ′１〜ｃ′１４のみを取り
出し、ポリフェーズフィルタを作成する。

【０１１７】ここで、ポリフェーズフィルタとは、図３
０に示すように、入力信号をＮ倍にオーバーサンプリン
グし、オーバーサンプリングして得られた信号からＮ画
素間隔で画素を抜き出すポリフェーズ分解を行い、入力
信号と１／Ｎ位相のずれをもった信号を出力するフィル
タである。例えば、入力信号に対して１／４位相ずれた
信号を得るためには、図３１に示すように、入力信号を
４倍にオーバサンプリングして、この信号から１／４位
相ずれた信号を取り出せばよい。

【０１１８】具体的に、５７個の係数を有するプロトタ
イプフィルタｃ１〜ｃ５７から作成された１４個のフィ
ルタ係数ｃ′１〜ｃ′１４は、例えば、以下の式（３）
で示すような係数となる。

【０１１９】

【数４】

【０１２０】このようにポリフェーズフィルタを作成し
た後、トップフィールド用の４×８位相補正ＩＤＣＴ行
列と、ボトムフィールド用の４×８位相補正ＩＤＣＴ行
列とで、設計処理が分割する。

【０１２１】まず、トップフィールド用の４×８位相補
正ＩＤＣＴ行列を作成する場合には、ステップＳ３５に
おいて、フィルタ係数が１／４位相補正特性となるよう
に、ポリフェーズ分解された１４個のフィルタ係数ｃ′
１〜ｃ′１４から、群遅延が１／４、９／４、１７／
４、２５／４位相となる８個の係数を取り出し、４×８
位相補正フィルタ行列を作成する。このように作成され
た４×８位相補正フィルタを、図３２に示す。

【０１２２】例えば、上記式（３）の１４個のフィルタ
係数ｃ′１〜ｃ′１４から、以下の式（４）で示すよう
な係数が取り出される。

【０１２３】

【数５】

【０１２４】式（４）の係数から４×８位相補正フィル
タ行列を求めると、以下の式（５）で示すような行列と
なる。

【０１２５】

【数６】

【０１２６】この式（５）で示した４×８位相補正フィ
ルタ行列を正規化すると、以下の式（６）に示すような
行列となる。

【０１２７】

【数７】

【０１２８】そして、ステップＳ３６において、８×８
のＩＤＣＴ行列と、この４×８位相補正フィルタ行列と
を掛け合わせ、トップフィールド用の４×８位相補正Ｉ
ＤＣＴ行列を作成する。

【０１２９】８×８のＩＤＣＴ行列と上記式（６）で示
す４×８の位相補正フィルタとを掛け合わせた４×８位
相補正ＩＤＣＴ行列は、以下の式（７）に示すような行
列となる。

【０１３０】

【数８】

【０１３１】一方、ボトムフィールド用の４×８位相補
正ＩＤＣＴ行列を作成する場合には、ステップＳ３７に
おいて、フィルタ係数が３／４位相補正特性となるよう
に、ポリフェイズ分解された１４個のフィルタ係数ｃ′
１〜ｃ′１４を、左右反転させる。

【０１３２】続いて、ステップＳ３８において、左右反
転させた１４個のフィルタ係数ｃ′１〜ｃ′１４から、
群遅延が３／４、１１／４、１９／４、２７／４位相と
なる８個の係数を取り出し、４×８位相補正フィルタ行
列を作成する。

【０１３３】そして、ステップＳ３９において、８×８
のＩＤＣＴ行列と、この４×８位相補正フィルタ行列と
を掛け合わせ、ボトムフィールド用の４×８位相補正Ｉ
ＤＣＴ行列を作成する。

【０１３４】このようにステップＳ３１〜ステップＳ３
９の各処理を行うことによって、フィールドモード用位
相補正縮小逆離散コサイン変換装置３１が演算を行う４
×８位相補正ＩＤＣＴ行列を作成することができる。

【０１３５】以上のように、フィールドモード用位相補
正縮小逆離散コサイン変換装置３１では、この４×８位
相補正ＩＤＣＴ行列と、入力されたフィールドＤＣＴモ
ードで離散コサイン変換がされたＤＣＴブロックの係数
とを行列演算することにより、トップフィールドとボト
ムフィールドとの間の位相ずれがない、標準解像度の画
像を復号することができる。すなわち、このフィールド
モード用位相補正縮小逆離散コサイン変換装置３１で
は、図２３に示すような、トップフィールドの各画素の
垂直方向の位相が１／４、９／４・・・となり、ボトム
フィールドの各画素の垂直方向の位相が５／４、１３／
４・・・となる標準解像度画像（下位レイヤー）を生成
することができる。

【０１３６】つぎに、上記フレームモード用位相補正縮
小逆離散コサイン変換装置３２の処理内容について、さ
らに詳細に説明する。

【０１３７】フレームモード用位相補正縮小逆離散コサ
イン変換装置３２には、図３３に示すように、高解像度
画像を圧縮符号化したビットストリームが、１つのＤＣ
Ｔブロック単位で入力される。

【０１３８】まず、ステップＳ４１において、この１つ
のＤＣＴブロックの離散コサイン係数ｙに対して、８×
８の逆離散コサイン変換を行う。続いて、ステップＳ４
２において、この８×８の画素データをフィールド分離
する。続いて、ステップＳ４３において、フィールド分
離した２つの画素ブロックそれぞれに対して４×４の離
散コサイン変換をする。続いて、ステップＳ４４におい
て、各画素ブロックの離散コサイン係数ｚの高域成分を
間引き、２×２の離散コサイン係数から構成される画素
ブロックとする。以上のステップＳ４１からステップＳ
４４までの処理は、図３に示す処理におけるステップＳ
１からステップＳ４までの処理と同一である。

【０１３９】続いて、ステップＳ４５において、トップ
フィールドに対応する画素ブロックに対しては、１／４
画素分の位相補正をする２×４位相補正ＩＤＣＴ行列を
用いて、垂直方向の画素の位相ずれを補正した逆離散コ
サイン変換を行う。また、ボトムフィールドに対応する
画素ブロックに対しては、３／４画素分の位相補正をす
る２×４位相補正ＩＤＣＴ行列を用いて、垂直方向の画
素の位相ずれを補正した逆離散コサイン変換を行う。以
上のような縮小逆離散コサイン変換を行うことにより、
２×２の画素データｘ′（トップフィールドに対応する
画素ブロックの全ての画素データのうち垂直方向の画素
データをｘ′₁，ｘ′₃として図中に示し、また、ボトム
フィールドに対応する画素ブロックの全ての画素データ
のうち垂直方向の画素データをｘ′₂，ｘ′₄として図中
に示す。）を得ることができる。この画素データｘ′
は、トップフィールドの各画素の垂直方向の位相が１／
４、９／４となり、ボトムフィールドの各画素の垂直方
向の位相が５／４、１３／４となる標準解像度画像（下
位レイヤー）を生成する。なお、この２×４位相補正Ｉ
ＤＣＴ行列の設計方法については詳細を後述する。

【０１４０】続いて、ステップＳ４６において、トップ
フィールドに対応する画素ブロックの画素データとボト
ムフィールドの画像ブロックの画素データとをフレーム
合成する。このステップＳ４６の処理は、図３に示す処
理におけるステップＳ６の処理と同一である。

【０１４１】以上のステップＳ４１〜ステップＳ４６の
処理を行うことにより、フレームモード用位相補正縮小
逆離散コサイン変換装置３２では、画素間の位相ずれが
ない画像を生成することができる。また、上記フィール
ドモード用位相補正縮小逆離散コサイン変換装置３１で
復号した画像と位相ずれが生じない画像を生成すること
ができる。

【０１４２】また、フレームモード用位相補正縮小逆離
散コサイン変換装置３２では、以上のステップＳ４１か
らステップＳ４６までの処理を１つの行列を用いて演算
してもよい。

【０１４３】つぎに、フレームモード用位相補正縮小逆
離散コサイン変換装置３２のステップＳ４５で演算が行
われる２×４位相補正ＩＤＣＴ行列の設計手順を図３４
に示し、この２×８位相補正ＩＤＣＴ行列について説明
する。

【０１４４】まず、ステップＳ５１において、ナイキス
ト周波数以下を等間隔に｛（Ｎ−１）／２｝分割し、そ
の周波数サンプルからゲインリストを作成する。例え
ば、図３５に示すように、ナイキスト周波数以下の周波
数を等間隔に（２５−１）／２＝１２分割して、１３個
のゲインリストを作成する。

【０１４５】続いて、ステップＳ５２において、周波数
サンプリング法により、２５個のインパルス応答を作成
する。すなわち、１３個のゲインリストを逆離散フーリ
エ変換して、２５個のＦＩＲフィルタのインパルス応答
を作成する。この２５個のインパルス応答を図３６に示
す。

【０１４６】続いて、ステップＳ５３において、このイ
ンパルス応答に窓関数をかけて、２５タップのフィルタ
係数ｃ１〜ｃ２５を作成する。

【０１４７】このステップＳ５３で作成されたフィルタ
がプロトタイプフィルタとなる。

【０１４８】続いて、ステップＳ５４において、２５個
のフィルタ係数ｃ１〜ｃ２５を有するプロトタイプフィ
ルタをポリフェーズ分解して、１／４位相補正特性を有
する６個のフィルタ係数ｃ′１〜ｃ′６のみを取り出
し、ポリフェーズフィルタを作成する。

【０１４９】具体的に、５７個の係数を有するプロトタ
イプフィルタｃ１〜ｃ２５から作成された１４個のフィ
ルタ係数ｃ′１〜ｃ′６は、例えば、以下の式（８）で
示すような係数となる。

【０１５０】

【数９】

【０１５１】このようにポリフェーズフィルタを作成し
た後、トップフィールド用の２×４位相補正ＩＤＣＴ行
列と、ボトムフィールド用の２×４位相補正ＩＤＣＴ行
列とで、設計処理が分割する。

【０１５２】まず、トップフィールド用の２×４位相補
正ＩＤＣＴ行列を作成する場合には、ステップＳ５５に
おいて、ポリフェーズ分解された６個のフィルタ係数
ｃ′１〜ｃ′６から、群遅延が１／４、９／４位相とな
るように、それぞれ２個の係数を取り出し、２×４位相
補正フィルタ行列を作成する。このように作成された２
×４位相補正フィルタを、図３７に示す。

【０１５３】例えば、上記式（８）の６個のフィルタ係
数ｃ′１〜ｃ′６から、以下の式（９）で示すような係
数が取り出される。

【０１５４】

【数１０】

【０１５５】式（９）の係数から２×４位相補正フィル
タ行列を求めると、以下の式（１０）で示すような行列
となる。

【０１５６】

【数１１】

【０１５７】この式（１０）で示した２×４位相補正フ
ィルタ行列を正規化すると、以下の式（１１）に示すよ
うな行列となる。

【０１５８】

【数１２】

【０１５９】そして、ステップＳ５６において、４×４
のＩＤＣＴ行列と、この２×４位相補正フィルタ行列と
を掛け合わせ、トップフィールド用の２×４位相補正Ｉ
ＤＣＴ行列を作成する。

【０１６０】２×４のＩＤＣＴ行列と上記式（１１）で
示す２×４の位相補正フィルタとを掛け合わせた２×４
位相補正ＩＤＣＴ行列は、以下の式（１２）に示すよう
な行列となる。

【０１６１】

【数１３】

【０１６２】一方、ボトムフィールド用の２×４位相補
正ＩＤＣＴ行列を作成する場合には、ステップＳ５７に
おいて、フィルタ係数が３／４位相補正特性となるよう
に、ポリフェイズ分解された６個のフィルタ係数ｃ′１
〜ｃ′６を、左右反転させる。

【０１６３】続いて、ステップＳ５８において、左右反
転させた６個のフィルタ係数ｃ′１〜ｃ′６から、群遅
延が３／４、１１／４位相となるように、それぞれ２個
の係数を取り出し、２×４位相補正フィルタ行列を作成
する。

【０１６４】そして、ステップＳ５９において、４×４
のＩＤＣＴ行列と、この２×４位相補正フィルタ行列と
を掛け合わせ、ボトムフィールド用の２×４位相補正Ｉ
ＤＣＴ行列を作成する。

【０１６５】以上のようにステップＳ５１〜ステップＳ
５９の各処理を行うことによって、フレームモード用位
相補正縮小逆離散コサイン変換装置３２が上記ステップ
Ｓ４５で演算を行う２×４位相補正ＩＤＣＴ行列を作成
することができる。

【０１６６】以上のように本発明の第２の実施の形態の
画像復号装置３０では、フィールドＤＣＴモードでは、
トップフィールドとボトムフィールドとのそれぞれに４
×４の縮小逆離散コサイン変換を行うとともに位相補正
をして標準解像度画像を復号し、フレームＤＣＴモード
では、フレーム分離をして縮小逆離散コサイン変換を行
うとともに位相補正をして標準解像度画像を復号する。
この画像復号装置３０では、このようにフィールドＤＣ
ＴモードとフレームＤＣＴモードとでそれぞれで処理を
行うため飛び越し走査画像が有するインタレース性を損
なうことなく、かつ、縮小逆離散コサイン変換を行うと
きに生じるトップフィールドとボトムフィールドとの間
の位相ずれをなくし、出力する画像の画質を劣化させな
い。即ち、この画像復号装置３０では、フレームメモリ
１７に格納された復号画像を出力する際に、位相補正を
する必要が無く、処理が簡易化するとともに画質の劣化
を生じさせない。

【０１６７】つぎに、上記フレームモード用位相補正縮
小逆離散コサイン変換装置３２の処理についてさらに説
明する。

【０１６８】フィールドモード用位相補正縮小逆離散コ
サイン変換装置３１では４×４係数の縮小逆離散コサイ
ン変換を行うのに対して、３２では４×８係数の縮小逆
離散コサイン変換を行う。そのため、画像復号装置３０
では、入力されたビットストリームにフレームＤＣＴモ
ードのＤＣＴブロックを多く含んでいると処理量が増大
する。このことから、この画像復号装置３０では、フレ
ームモード用位相補正縮小逆離散コサイン変換装置３２
を、上述した第１の実施の形態の画像復号装置１０のフ
レームモード用縮小逆離散コサイン変換装置１５と同様
に、その処理能力に応じて、その処理量を削減してもよ
い。

【０１６９】フレームモード用位相補正縮小逆離散コサ
イン変換装置３２では、例えば、図１６に示すように、
４×８のＤＣＴ係数のうち、垂直方向の高周波成分の４
×２係数を０に置き換えた後、図３３に示したステップ
Ｓ４１からステップＳ４６までの処理を行う。処理する
係数の一部を０と置き換えることにより処理量が削減で
きる。なお、係数の一部を０と置き換えても置き換えな
くても処理工程は同じであるので、出力画素の位相は変
わらず位相の違いに基づく誤差要因とはならない。

【０１７０】また、フレームモード用位相補正縮小逆離
散コサイン変換装置３２では、図１６に示したような係
数の置き換えではなく、例えば、図１７に示すように垂
直方向の中間周波数成分の４×２係数を０と置き換えて
も良いし、図１８に示すように垂直方向の中間周波数成
分の４×４係数を０と置き換えても良い。

【０１７１】また、フレームモード用位相補正縮小逆離
散コサイン変換装置３２では、ビットストリーム解析装
置１１により、例えば処理するＤＣＴブロックがＩピク
チャ又はＰピクチャに属するものであるか、或いは、Ｂ
ピクチャに属するものであるかを検出し、その検出した
情報に基づき、４×８の全ての係数を縮小逆離散コサイ
ン変換をするか或いは一部の係数を０と置き換えて縮小
逆離散コサイン変換をするかを切り換えても良い。

【０１７２】例えば、フレームモード用位相補正縮小逆
離散コサイン変換装置３２では、Ｉピクチャ及びＰピク
チャは画質の劣化が他の画像に伝搬することから、Ｉピ
クチャ及びＰピクチャに対しては４×８係数内の全ての
係数を縮小逆離散コサイン変換を行い、Ｂピクチャは画
質の劣化が他の画像に伝搬しないことから、Ｂピクチャ
に対しては一部の係数を０と置き換えて縮小離散コサイ
ン変換をするようにして処理量を削減する。また、処理
量の削減のための切換のパラメータとしては、例えば、
処理されるデータが輝度信号に属するものか或いは色差
信号に属するものかという情報に基づいて切り換えても
良いし、処理されるデータがイントラマクロブロックに
属するものか或いはインターマクロブロックに属するも
のかという情報に基づいて切り換えても良い。

【０１７３】このように画像復号装置３０では、フレー
ムモード用位相補正縮小逆離散コサイン変換装置３２が
逆離散コサイン変換をする一部の係数を０と置き換える
ことにより、画質の劣化を最小限に抑え、処理量を削減
することができる。

【０１７４】また、この画像復号装置３０では、上記第
１の実施の形態と同様に、上記可変長符号復号装置１２
で行われる処理量の削減動作と上記フレームモード用位
相補正縮小逆離散コサイン変換装置３２の処理量の削減
動作とを組み合わせて用いることにより、効率的に全体
の処理量を削減することができる。例えば、可変長符号
復号装置１２は、フレームモード用位相補正縮小逆離散
コサイン変換装置３２が０と置く係数に併せて各ＤＣＴ
係数を逆スキャンを行い、また、フレームモード用縮小
逆離散コサイン変換装置１５が０と置く係数に併せて逆
スキャンする係数の数を可変することにより、効率的に
処理を行うことができる。

【０１７５】以上本発明の第１〜第２の実施の形態の画
像復号装置について説明したが、本発明で処理されるデ
ータは、ＭＰＥＧ２方式の画像データに限られない。す
なわち、所定の画素ブロック単位で動き予測をすること
による予測符号化、及び、所定の画素ブロック単位で直
交変換することによる圧縮符号化をした第１の解像度の
圧縮画像データであればどのようなデータであってもよ
い。例えば、ウェーブレット方式等を用いた圧縮画像デ
ータであってもよい。

【０１７６】

【発明の効果】本発明にかかる画像復号装置及び画像復
号方法では、直交変換ブロックの垂直方向の周波数成分
の一部の係数を０として、縮小逆離散コサイン変換を行
う。このことにより、画質の劣化を最小限に抑えなが
ら、演算の量の削減をすることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態の画像復号装置のブ
ロック図である。

【図２】上記第１の実施の形態の画像復号装置のフレー
ムメモリに格納される参照画像の垂直方向の画素の位相
を説明するための図である。

【図３】上記第１の実施の形態の画像復号装置のフレー
ムモード用縮小逆離散コサイン変換装置の処理の内容を
説明するための図である。

【図４】Ｗａｎｇのアルゴリズムを上記第１の実施の形
態の画像復号装置のフィールドモード用縮小逆離散コサ
イン変換装置の処理に適用した場合の演算フローを示す
図である。

【図５】Ｗａｎｇのアルゴリズムを上記第１の実施の形
態の画像復号装置のフレームモード用縮小逆離散コサイ
ン変換装置の処理に適用した場合の演算フローを示す図
である。

【図６】ジグザグスキャンを説明するための図である。

【図７】オルタネートスキャンを説明するための図であ
る。

【図８】ＤＣＴブロックがフィールドＤＣＴモードで離
散コサイン変換されており、スキャン方式がジグザグス
キャンである場合に、可変長符号復号装置がスキャンす
る係数の一例を示す図である。

【図９】ＤＣＴブロックがフィールドＤＣＴモードで離
散コサイン変換されており、スキャン方式がオルタネー
トスキャンである場合に、可変長符号復号装置がスキャ
ンする係数の一例を示す図である。

【図１０】ＤＣＴブロックがフレームＤＣＴモードで離
散コサイン変換されており、スキャン方式がジグザグス
キャンである場合に、可変長符号復号装置がスキャンす
る係数の一例を示す図である。

【図１１】ＤＣＴブロックがフレームＤＣＴモードで離
散コサイン変換されており、スキャン方式がオルタネー
トスキャンである場合に、可変長符号復号装置がスキャ
ンする係数の一例を示す図である。

【図１２】ＤＣＴブロックがフィールドＤＣＴモードで
離散コサイン変換されており、スキャン方式がジグザグ
スキャンである場合に、可変長符号復号装置がスキャン
する係数の他の一例を示す図である。

【図１３】ＤＣＴブロックがフィールドＤＣＴモードで
離散コサイン変換されており、スキャン方式がオルタネ
ートスキャンである場合に、可変長符号復号装置がスキ
ャンする係数の他の一例を示す図である。

【図１４】ＤＣＴブロックがフレームＤＣＴモードで離
散コサイン変換されており、スキャン方式がジグザグス
キャンである場合に、可変長符号復号装置がスキャンす
る係数の他の一例を示す図である。

【図１５】ＤＣＴブロックがフレームＤＣＴモードで離
散コサイン変換されており、スキャン方式がオルタネー
トスキャンである場合に、可変長符号復号装置がスキャ
ンする係数の他の一例を示す図である。

【図１６】フレームモード用縮小逆離散コサイン変換装
置が逆縮小離散コサイン変換を行う４×８のＤＣＴ係数
のうち、垂直方向の高周波成分の４×２係数を０に置き
換えた例を示す図である。

【図１７】フレームモード用縮小逆離散コサイン変換装
置が逆縮小離散コサイン変換を行う４×８のＤＣＴ係数
のうち、垂直方向の中域周波数成分の４×２係数を０に
置き換えた例を示す図である。

【図１８】フレームモード用縮小逆離散コサイン変換装
置が逆縮小離散コサイン変換を行う４×８のＤＣＴ係数
のうち、垂直方向の中域周波数成分の４×４係数を０に
置き換えた例を示す図である。

【図１９】上記図１６で示した係数により逆縮小離散コ
サイン変換を行う場合において、Ｗａｎｇのアルゴリズ
ムをフィールドモード用縮小逆離散コサイン変換装置の
処理に適用した場合の演算フローを示す図である。

【図２０】上記フレームモード用縮小逆離散コサイン変
換装置に対応させて処理する際の、可変長符号復号装置
がスキャンする係数の一例を示す図である。

【図２１】フレームモード用縮小逆離散コサイン変換装
置に対応させて処理する際の、可変長符号復号装置がス
キャンする係数の一例を示す図である。

【図２２】本発明の第２の実施の形態の画像復号装置の
ブロック図である。

【図２３】上記第２の実施の形態の画像復号装置のフレ
ームメモリに格納される参照画像の垂直方向の画素の位
相を説明するための図である。

【図２４】上記第２の実施の形態の画像復号装置のフィ
ールドモード用位相補正縮小逆離散コサイン変換装置の
処理内容を説明するための図である。

【図２５】１つの行列により処理を行う場合の上記フィ
ールドモード用位相補正縮小逆離散コサイン変換装置の
処理内容を説明するための図である。

【図２６】上記フィールドモード用位相補正縮小逆離散
コサイン変換装置により演算が行われる４×８位相補正
ＩＤＣＴ行列の設計手順を説明するためのフローチャー
トである。

【図２７】上記４×８位相補正ＩＤＣＴ行列の設計に必
要となるプロトタイプフィルタの周波数特性を説明する
ための図である。

【図２８】ナイキスト周波数以下を等間隔に｛（Ｎ−
１）／２｝分割し、その周波数サンプルから作成された
ゲインのリストを説明するための図である。

【図２９】上記ゲインリストを逆離散フーリエ変換して
作成されたインパルス応答を説明するための図である。

【図３０】ポリフェイズフィルタを説明するための図で
ある。

【図３１】入力信号に対して１／４位相ずれた信号を出
力するポリフェイズフィルタを説明するための図であ
る。

【図３２】上記フィールドモード用位相補正縮小逆離散
コサイン変換装置により演算が行われる４×８位相補正
ＩＤＣＴ行列を説明するための図である。

【図３３】上記第２の実施の形態の画像復号装置のフレ
ームモード用位相補正縮小逆離散コサイン変換装置の処
理の内容を説明するための図である。

【図３４】フレームモード用位相補正縮小逆離散コサイ
ン変換装置により演算が行われる２×４位相補正ＩＤＣ
Ｔ行列の設計手順を説明するためのフローチャートであ
る。

【図３５】ナイキスト周波数以下を等間隔に｛（Ｎ−
１）／２｝分割し、その周波数サンプルから作成された
ゲインのリストを説明するための図である。

【図３６】上記ゲインリストを逆離散フーリエ変換して
作成されたインパルス応答を説明するための図である。

【図３７】上記フレームモード用位相補正縮小逆離散コ
サイン変換装置により演算が行われる２×４位相補正Ｉ
ＤＣＴ行列を説明するための図である。

【図３８】従来の第１のダウンデコーダを示すブロック
図である。

【図３９】従来の第２のダウンデコーダを示すブロック
図である。

【図４０】従来の第３のダウンデコーダを示すブロック
図である。

【図４１】従来の画像復号装置のブロック図である。

【図４２】上記従来の画像復号装置のフィールドＤＣＴ
モードにおける縮小逆離散コサイン変換処理を説明する
ための図である。

【図４３】上記従来の画像復号装置のフィールドＤＣＴ
モードにおける縮小逆離散コサイン変換処理を説明する
ための図である。

【図４４】上記従来の画像復号装置のフィールド動き予
測モードにおける線形補間処理を説明するための図であ
る。

【図４５】上記従来の画像復号装置のフレーム動き予測
モードにおける線形補間処理を説明するための図であ
る。

【図４６】上記従来の画像復号装置のフィールドＤＣＴ
モードの結果得られる画素の位相を説明するための図で
ある。

【図４７】上記従来の画像復号装置のフレームＤＣＴモ
ードの結果得られる画素の位相を説明するための図であ
る。

【符号の説明】

１０，３０ 画像復号装置、１２ 可変長符号復号装
置、１４ フィールドモード用縮小逆離散コサイン変換
装置、１５ フレームモード用縮小逆離散コサイン変換
装置、１６ 加算装置、１７ フレームメモリ、１８
フィールドモード用動き補償装置、１９ フレームモー
ド用動き補償装置、２０ 画枠変換・位相ずれ補正装
置、３１ フィールドモード用位相補正縮小逆離散コサ
イン変換装置、３２ フレームモード用位相補正縮小逆
離散コサイン変換装置、３３ 画枠変換装置

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK07 KK15 LA05 MA00 MA02 MA05 MA23 MA32 MC11 MC38 ME01 NN02 NN29 TA41 TA42 TB07 TC04 TD02 UA05 UA33

Claims (8)

【特許請求の範囲】
1. 【請求項１】 所定の画素ブロック（マクロブロック）
   単位で動き予測をすることによる予測符号化、及び、所
   定の画素ブロック（直交変換ブロック）単位で直交変換
   をすることによる圧縮符号化をした第１の解像度の圧縮
   画像データから、上記第１の解像度より低い第２の解像
   度の動画像データを復号する画像復号装置において、 飛び越し走査に対応した直交変換方式（フィールド直交
   変換モード）により直交変換がされた上記圧縮画像デー
   タの直交変換ブロックに対して、逆直交変換をする第１
   の逆直交変換手段と、 順次走査に対応した直交変換方式（フレーム直交変換モ
   ード）により直交変換がされた上記圧縮画像データの直
   交変換ブロックに対して、逆直交変換をする第２の逆直
   交変換手段とを備え、 上記第２の逆直交変換手段は、上記直交変換ブロックの
   垂直方向の周波数成分の一部の係数を０とし、一部の係
   数を０とした直交変換ブロックの全周波数成分の係数に
   対して逆直交変換をし、逆直交変換をした直交変換ブロ
   ックの各画素を飛び越し走査に対応した２つの画素ブロ
   ックに分離し、分離した２つの画素ブロックに対してそ
   れぞれ直交変換をし、直交変換をした２つの画素ブロッ
   クの各係数のうち低周波成分の係数に対して逆直交変換
   をし、逆直交変換をした２つの画素ブロックを合成して
   直交変換ブロックを生成することを特徴とする画像復号
   装置。
2. 【請求項２】 上記第２の逆直交変換手段は、水平方向
   及び垂直方向の画素が８×８画素ブロックからなる直交
   変換ブロックの各係数うち、垂直方向で高域２画素分、
   垂直方向で中域２画素分、又は、垂直方向で中域４画素
   分の係数を０とすることを特徴とする請求項１に記載の
   画像復号装置。
3. 【請求項３】 上記第２の逆直交変換手段は、復号する
   直交変換ブロックの内容に応じて、垂直方向の周波数成
   分の一部の係数を０とすることを特徴とする請求項１に
   記載の画像復号装置。
4. 【請求項４】 上記直交変換ブロック内の各係数を所定
   のスキャン方式により逆スキャンして、可変長符号化さ
   れた上記第１の解像度の圧縮画像データを可変長復号す
   る可変長復号手段を備え、 上記可変長復号手段は、逆直交変換がされる低周波成分
   の係数のうちの最高周波数成分の係数まで可変長復号
   し、それ以上の周波数成分の係数を可変長復号しないこ
   とを特徴とする請求項１に記載の画像復号装置。
5. 【請求項５】 所定の画素ブロック（マクロブロック）
   単位で動き予測をすることによる予測符号化、及び、所
   定の画素ブロック（直交変換ブロック）単位で直交変換
   をすることによる圧縮符号化をした第１の解像度の圧縮
   画像データから、上記第１の解像度より低い第２の解像
   度の動画像データを復号する画像復号方法において、 飛び越し走査に対応した直交変換方式（フィールド直交
   変換モード）により直交変換がされた上記圧縮画像デー
   タの直交変換ブロックに対して逆直交変換をし、 順次走査に対応した直交変換方式（フレーム直交変換モ
   ード）により直交変換がされた上記圧縮画像データの直
   交変換ブロックに対して逆直交変換をし、 フレーム直交変換モードにより直交変換がされた上記直
   交変換ブロックの垂直方向の周波数成分の一部の係数を
   ０とし、一部の係数を０とした直交変換ブロックの全周
   波数成分の係数に対して逆直交変換をし、逆直交変換を
   した直交変換ブロックの各画素を飛び越し走査に対応し
   た２つの画素ブロックに分離し、分離した２つの画素ブ
   ロックに対してそれぞれ直交変換をし、直交変換をした
   ２つの画素ブロックの各係数のうち低周波成分の係数に
   対して逆直交変換をし、逆直交変換をした２つの画素ブ
   ロックを合成して直交変換ブロックを生成することを特
   徴とする画像復号方法。
6. 【請求項６】 フレーム直交変換モードにより直交変換
   がされた水平方向及び垂直方向の画素が８×８画素ブロ
   ックからなる直交変換ブロックの各係数うち、垂直方向
   で高域２画素分、垂直方向で中域２画素分、又は、垂直
   方向で中域４画素分の係数を０とすることを特徴とする
   請求項５に記載の画像復号方法。
7. 【請求項７】 復号する直交変換ブロックの内容に応じ
   て、垂直方向の周波数成分の一部の係数を０とすること
   を特徴とする請求項５に記載の画像復号方法。
8. 【請求項８】 上記直交変換ブロック内の各係数を所定
   のスキャン方式により逆スキャンして、可変長符号化さ
   れた上記第１の解像度の圧縮画像データを可変長復号
   し、 逆直交変換がされる低周波成分の係数のうちの最高周波
   数成分の係数まで可変長復号し、それ以上の周波数成分
   の係数を可変長復号しないことを特徴とする請求項５に
   記載の画像復号方法。