JP2000041252A - 画像復号装置及び画像復号方法 - Google Patents

画像復号装置及び画像復号方法

Info

Publication number
JP2000041252A
JP2000041252A JP20838498A JP20838498A JP2000041252A JP 2000041252 A JP2000041252 A JP 2000041252A JP 20838498 A JP20838498 A JP 20838498A JP 20838498 A JP20838498 A JP 20838498A JP 2000041252 A JP2000041252 A JP 2000041252A
Authority
JP
Japan
Prior art keywords
pixel
macroblock
image data
motion
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP20838498A
Other languages
English (en)
Other versions
JP2000041252A5 (ja
JP4026238B2 (ja
Inventor
Kazufumi Sato
数史 佐藤
Kenji Komori
健司 小森
Tetsuo Kaneko
哲夫 金子
Satoshi Mihashi
聡 三橋
Shozo Goseki
正三 五関
Takao Terao
隆雄 寺尾
Hisafumi Yanagihara
尚史 柳原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP20838498A priority Critical patent/JP4026238B2/ja
Priority to US09/358,451 priority patent/US6539056B1/en
Publication of JP2000041252A publication Critical patent/JP2000041252A/ja
Publication of JP2000041252A5 publication Critical patent/JP2000041252A5/ja
Application granted granted Critical
Publication of JP4026238B2 publication Critical patent/JP4026238B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals

Abstract

(57)【要約】 【課題】 動き補償の際の画素の位相ずれをなくし、動
き補償に起因する画質の劣化を防止するＭＰＥＧダウン
デコーダを提供する。 【解決手段】 縮小逆離散コサイン変換装置１４，１５
は、高解像度画像のＭＰＥＧデータに対して、４×４の
縮小ＩＤＣＴを行い、標準解像度画像データの復号をす
る。動き補償装置１８は、フィールド動き予測モードの
場合、フレームメモリ１７が記憶している参照画像デー
タのマクロブロックの各画素に対して補間をして、１／
４画素精度の画素から構成されるマクロブロックを生成
する。動き補償装置１９は、フレーム動き予測モードの
場合、フレームメモリ１７が記憶している参照画像デー
タのマクロブロックの各画素に対して補間をして、１／
４画素精度の画素から構成されるマクロブロックを生成
する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、所定の画素ブロッ
ク（マクロブロック）単位で動き予測をすることによる
予測符号化、及び、所定の画素ブロック（直交変換ブロ
ック）単位で直交変換することによる圧縮符号化をした
第１の解像度の圧縮画像データを、復号する画像復号装
置及び画像復号方法に関し、特に、第１の解像度の圧縮
画像データを復号して、この第１の解像度よりも低い第
２の解像度の動画像データに縮小する画像復号装置及び
画像復号方法に関するものである。
【０００２】
【従来の技術】ＭＰＥＧ２（Moving Picture Experts G
roup phase2）等の画像圧縮方式を用いたデジタルテレ
ビジョン放送の規格化が進められている。デジタルテレ
ビジョン放送の規格には、標準解像度画像（例えば垂直
方向の有効ライン数が５７６本）に対応した規格、高解
像度画像（例えば垂直方向の有効ライン数が１１５２
本）に対応した規格等がある。そのため、近年、高解像
度画像の圧縮画像データを復号するとともにこの圧縮画
像データを１／２の解像度に縮小することにより、標準
解像度画像の画像データを生成して、この画像データを
標準解像度に対応したテレビジョンモニタに表示するダ
ウンデコーダが求められている。
【０００３】高解像度画像に対して動き予測による予測
符号化及び離散コサイン変換による圧縮符号化をしたＭ
ＰＥＧ２等のビットストリームを、復号するとともに標
準解像度画像にダウンサンプリングするダウンデコーダ
が、文献「低域ドリフトのないスケーラブル・デコー
ダ」（岩橋・神林・貴家：信学技報 CS94-186,DSP94-10
8,1995-01）に提案されている（以下、この文献を文献
１と呼ぶ。）。この文献１には、以下の第１から第３の
ダウンデコーダが示されている。
【０００４】第１のダウンデコーダは、図３４に示すよ
うに、高解像度画像のビットストリームに対して８（水
平方向のＤＣ成分から数えた係数の数）×８（垂直方向
のＤＣ成分から数えた係数の数）の逆離散コサイン変換
をする逆離散コサイン変換装置１００１と、離散コサイ
ン変換がされた高解像度画像と動き補償がされた参照画
像とを加算する加算装置１００２と、参照画像を一時記
憶するフレームメモリ１００３と、フレームメモリ１０
０３が記憶した参照画像に１／２画素精度で動き補償を
する動き補償装置１００４と、フレームメモリ１００３
が記憶した参照画像を標準解像度の画像に変換するダウ
ンサンプリング装置１００５とを備えている。
【０００５】この第１のダウンデコーダでは、逆離散コ
サイン変換を行い高解像度画像として復号した出力画像
を、ダウンサンプリング装置１００５で縮小して標準解
像度の画像データを出力する。
【０００６】第２のダウンデコーダは、図３５に示すよ
うに、高解像度画像のビットストリームのＤＣＴ（Disc
rete Cosine Transform）ブロックの高周波成分の係数
を０に置き換えて８×８の逆離散コサイン変換をする逆
離散コサイン変換装置１０１１と、離散コサイン変換が
された高解像度画像と動き補償がされた参照画像とを加
算する加算装置１０１２と、参照画像を一時記憶するフ
レームメモリ１０１３と、フレームメモリ１０１３が記
憶した参照画像に１／２画素精度で動き補償をする動き
補償装置１０１４と、フレームメモリ１０１３が記憶し
た参照画像を標準解像度の画像に変換するダウンサンプ
リング装置１０１５とを備えている。
【０００７】この第２のダウンデコーダでは、ＤＣＴブ
ロックの全ての係数のうち高周波成分の係数を０に置き
換えて逆離散コサイン変換を行い高解像度画像として復
号した出力画像を、ダウンサンプリング装置１００５で
縮小して標準解像度の画像データを出力する。
【０００８】第３のダウンデコーダは、図３６に示すよ
うに、高解像度画像のビットストリームのＤＣＴブロッ
クの低周波成分の係数のみを用いて例えば４×４の逆離
散コサイン変換をして標準解像度画像に復号する縮小逆
離散コサイン変換装置１０２１と、縮小逆離散コサイン
変換がされた標準解像度画像と動き補償がされた参照画
像とを加算する加算装置１０２２と、参照画像を一時記
憶するフレームメモリ１０２３と、フレームメモリ１０
２３が記憶した参照画像に１／４画素精度で動き補償を
する動き補償装置１０２４とを備えている。
【０００９】この第３のダウンデコーダでは、ＤＣＴブ
ロックの全ての係数のうち低周波成分の係数のみを用い
て逆離散コサイン変換を行い、高解像度画像から標準解
像度画像として復号する。
【００１０】ここで、上記第１のダウンデコーダでは、
ＤＣＴブロック内の全ての係数に対して逆離散コサイン
変換を行い高解像度画像を復号しているため、高い演算
処理能力の逆離散コサイン変換装置１００１と高容量の
フレームメモリ１００３とが必要となる。また、上記第
２のダウンデコーダでは、ＤＣＴブロック内の係数のう
ち高周波成分を０として離散コサイン変換を行い高解像
度画像を復号しているため、逆離散コサイン変換装置１
０１１の演算処理能力は低くて良いが、やはり高容量の
フレームメモリ１０１３が必要となる。これら第１及び
第２のダウンデコーダに対し、第３のダウンデコーダで
は、ＤＣＴブロック内の全ての係数うち低周波成分の係
数のみを用いて逆離散コサイン変換をしているため逆離
散コサイン変換装置１０２１の演算処理能力が低くてよ
く、さらに、標準解像度画像の参照画像を復号している
のでフレームメモリ１０２３の容量も少なくすることが
できる。
【００１１】ところで、テレビジョン放送等の動画像の
表示方式には、順次走査方式と飛び越し走査方式とがあ
る。順次走査方式は、フレーム内の全ての画素を同じタ
イミングでサンプリングした画像を、順次表示する表示
方式である。飛び越し走査方式は、フレーム内の画素を
水平方向の１ライン毎に異なるタイミングでサンプリン
グした画像を、交互に表示する表示方式である。
【００１２】この飛び越し走査方式では、フレーム内の
画素を１ライン毎に異なるタイミングでサンプリングし
た画像のうちの一方を、トップフィールド（第１フィー
ルドともいう。）といい、他方をボトムフィールド（第
２のフィールドともいう。）という。フレームの水平方
向の先頭ラインが含まれる画像がトップフィールドとな
り、フレームの水平方向の２番目のラインが含まれる画
像がボトムフィールドとなる。従って、飛び越し走査方
式では、１つのフレームが２つのフィールドから構成さ
れることとなる。
【００１３】ＭＥＰＧ２では、飛び越し走査方式に対応
した動画像信号を効率良く圧縮するため、画面の圧縮単
位であるピクチャにフレームを割り当てて符号化するだ
けでなく、ピクチャにフィールドを割り当てて符号化す
ることもできる。
【００１４】ＭＰＥＧ２では、ピクチャにフィールドが
割り当てられた場合には、そのビットストリームの構造
をフィールド構造と呼び、ピクチャにフレームが割り当
てられた場合には、そのビットストリームの構造をフレ
ーム構造と呼ぶ。また、フィールド構造では、フィール
ド内の画素からＤＣＴブロックが形成され、フィールド
単位で離散コサイン変換がされる。このフィールド単位
で離散コサイン変換を行う処理モードのことをフィール
ドＤＣＴモードと呼ぶ。また、フレーム構造では、フレ
ーム内の画素からＤＣＴブロックが形成され、フレーム
単位で離散コサイン変換がされる。このフレーム単位で
離散コサイン変換を行う処理モードのことをフレームＤ
ＣＴモードと呼ぶ。さらに、フィールド構造では、フィ
ールド内の画素からマクロブロックが形成され、フィー
ルド単位で動き予測がされる。このフィールド単位で動
き予測を行う処理モードのことをフィールド動き予測モ
ードと呼ぶ。また、フレーム構造では、フレーム内の画
素からマクロブロックが形成され、フレーム単位で動き
予測がされる。フレーム単位で動き予測を行う処理モー
ドのことをフレーム動き予測モードと呼ぶ。
【００１５】
【発明が解決しようとする課題】ところで、上記文献１
に示された第３のダウンデコーダを利用して、飛び越し
走査方式に対応した圧縮画像データを復号する画像復号
装置が、例えば文献「ACompensation Method of Drift
Errors in Scalability」（N.OBIKANE,K.TAHARAand J.Y
ONEMITSU,HDTV Work Shop'93）に提案されている（以
下、この文献を文献２と呼ぶ）。
【００１６】この文献２に示された従来の画像復号装置
は、図３７に示すように、高解像度画像をＭＰＥＧ２で
圧縮したビットストリームが供給され、このビットスト
リームを解析するビットストリーム解析装置１０３１
と、データの発生頻度に応じた符号長を割り当てる可変
長符号化がされたビットストリームを復号する可変長符
号復号装置１０３２と、ＤＣＴブロックの各係数に量子
化ステップを掛ける逆量子化装置１０３３と、ＤＣＴブ
ロックの全ての係数のうち低周波成分の係数のみを用い
て例えば４×４の逆離散コサイン変換をして標準解像度
画像を復号する縮小逆離散コサイン変換装置１０３４
と、縮小逆離散コサイン変換がされた標準解像度画像と
動き補償がされた参照画像とを加算する加算装置１０３
５と、参照画像を一時記憶するフレームメモリ１０３６
と、フレームメモリ１０３６が記憶した参照画像に１／
４画素精度で動き補償をする動き補償装置１０３７とを
備えている。
【００１７】この文献２に示された従来の画像復号装置
の縮小逆離散コサイン変換装置１０３４は、ＤＣＴブロ
ック内の全ての係数のうち低周波成分の係数のみを用い
て逆離散コサイン変換をするが、フレームＤＣＴモード
とフィールドＤＣＴモードとで、逆離散コサイン変換を
行う係数の位置が異なっている。
【００１８】具体的には、縮小逆離散コサイン変換装置
１０３４は、フィールドＤＣＴモードの場合には、図３
８に示すように、ＤＣＴブロック内の８×８個のうち、
低域の４×４個の係数のみに逆離散コサイン変換を行
う。それに対し、縮小逆離散コサイン変換装置１０３４
は、フレームＤＣＴモードの場合には、図３９に示すよ
うに、ＤＣＴブロック内の８×８個の係数のうち、４×
２個＋４×２個の係数のみに逆離散コサイン変換を行
う。
【００１９】また、この文献２に示された従来の画像復
号装置の動き補償装置１０３７は、高解像度画像に対し
て行われた動き予測の情報（動きベクトル）に基づき、
フィールド動き予測モード及びフレーム動き予測モード
のそれぞれに対応した１／４画素精度の動き補償を行
う。すなわち、通常ＭＰＥＧ２では１／２画素精度で動
き補償が行われることが定められているが、高解像度画
像から標準解像度画像を復号する場合には、ピクチャ内
の画素数が１／２に間引かれるため、動き補償装置１０
３７では動き補償の画素精度を１／４画素精度として動
き補償を行っている。
【００２０】従って、動き補償装置１０３７では、高解
像度画像に対応した動き補償を行うため、標準解像度の
画像としてフレームメモリ１０３６に格納された参照画
像の画素に対して線形補間して、１／４画素精度の画素
を生成している。
【００２１】具体的に、フィールド動き予測モード及び
フレーム動き予測モードの場合の垂直方向の画素の線形
補間処理を、図４０及び図４１を用いて説明する。な
お、図面中には、縦方向に垂直方向の画素の位相を示
し、表示画像の各画素が位置する位相を整数で示してい
る。
【００２２】まず、フィールド動き予測モードで動き予
測がされた画像の補間処理について、図４０を用いて説
明する。高解像度画像（上位レイヤー）に対しては、図
４０（ａ）に示すように、各フィールドそれぞれ独立
に、１／２画素精度で動き補償がされる。これに対し、
標準解像度画像（下位レイヤー）に対しては、図４０
（ｂ）に示すように、整数精度の画素に基づきフィール
ド内で線形補間をして、垂直方向に１／４画素、１／２
画素、３／４画素分の位相がずれた画素を生成し、動き
補償がされる。すなわち、標準解像度画像（下位レイヤ
ー）では、トップフィールドの整数精度の各画素に基づ
きトップフィールドの１／４画素精度の各画素が線形補
間により生成され、ボトムフィールドの整数精度の各画
素に基づきボトムフィールドの１／４画素精度の各画素
が線形補間により生成される。例えば、垂直方向の位相
が０の位置にあるトップフィールドの画素の値をａ、垂
直方向の位相が１の位置にあるトップフィールドの画素
の値をｂとする。この場合、垂直方向の位相が１／４の
位置にあるトップフィールドの画素は（３ａ＋ｂ）／４
となり、垂直方向の位相が１／２の位置にあるトップフ
ィールドの画素は（ａ＋ｂ）／２となり、垂直方向の位
相が３／４の位置にあるトップフィールドの画素は（ａ
＋３ｂ）／４となる。
【００２３】続いて、フレーム動き予測モードで動き予
測がされた画像の補間処理について、図４１を用いて説
明する。高解像度画像（上位レイヤー）に対しては、図
４１（ａ）に示すように、各フィールド間で補間処理が
され、すなわち、ボトムフィールドとトップフィールド
との間で補間処理がされ、１／２画素精度で動き補償が
される。標準解像度画像（下位レイヤー）に対しては、
図４１（ｂ）に示すように、トップフィールド及びボト
ムフィールドの２つのフィールドの整数精度の各画素に
基づき、垂直方向に１／４画素、１／２画素、３／４画
素分の位相がずれた画素が線形補間により生成され、動
き補償がされる。例えば、垂直方向の位相が−１の位置
にあるボトムフィールドの画素の値をａ、垂直方向の位
相が０の位置にあるトップフィールドの画素の値をｂ、
垂直方向の位相が１の位置にあるボトムフィールドの画
素の値をｃ、垂直方向の位相が２の位置にあるトップフ
ィールドの画素の値をｄ、垂直方向の位相が３の位置に
あるボトムフィールドの画素の値をｅとする。この場
合、垂直方向の位相が０〜２の間にある１／４画素精度
の各画素は、以下のように求められる。
【００２４】垂直方向の位相が１／４の位置にある画素
は（ａ＋４ｂ＋３ｃ）／８となる。垂直方向の位相が１
／２の位置にある画素は（ａ＋３ｃ）／４となる。垂直
方向の位相が３／４の位置にある画素は（ａ＋２ｂ＋３
ｃ＋２ｄ）／８となる。垂直方向の位相が５／４の位置
にある画素は（２ｂ＋３ｃ＋２ｄ＋ｅ）／８となる。垂
直方向の位相が３／２の位置にある画素は（３ｃ＋ｅ）
／４となる。垂直方向の位相が７／４の位置にある画素
は（３ｃ＋４ｄ＋ｅ）／８となる。
【００２５】以上のように上記文献２に示された従来の
画像復号装置は、飛び越し走査方式に対応した高解像度
画像の圧縮画像データを、標準解像度画像データに復号
することができる。
【００２６】しかしながら、上記文献２に示された従来
の画像復号装置では、フィールドＤＣＴモードで得られ
る標準解像度画像の各画素と、フレームＤＣＴモードで
得られる標準解像度の各画素との位相がずれる。具体的
には、フィールドＤＣＴモードでは、図４２に示すよう
に、下位レイヤーのトップフィールドの各画素の垂直方
向の位相が１／２、５／２・・・となり、下位レイヤー
のボトムフィールドの各画素の垂直方向の位相が１、３
・・・となる。それに対して、フレームＤＣＴモードで
は、図４３に示すように、下位レイヤーのトップフィー
ルドの各画素の垂直方向の位相が０、２・・・となり、
下位レイヤーのボトムフィールドの各画素の垂直方向の
位相が１、３・・・となる。そのため、位相が異なる画
像がフレームメモリ１０３６に混在し、出力する画像の
画質が劣化する。
【００２７】また、上記文献２に示された従来の画像復
号装置では、フィールド動き予測モードとフレーム動き
予測モードとで位相ずれの補正がされていない。そのた
め、出力する画像の画質が劣化する。
【００２８】本発明は、このような実情を鑑みてなされ
たものであり、復号に必要な演算量及び記憶容量を少な
くすることができ、フィールド動き予測モードとフレー
ム動き予測モードとによる動き補償の際の画素の位相ず
れをなくし、動き補償に起因する画質の劣化を防止する
ことが可能な、高解像度画像の圧縮画像データから標準
解像度の画像データを復号する画像復号装置及び画像復
号方法を提供することを目的とする。
【００２９】
【課題を解決するための手段】本発明に係る画像復号装
置は、所定の画素ブロック（マクロブロック）単位で動
き予測をすることによる予測符号化、及び、所定の画素
ブロック（直交変換ブロック）単位で直交変換をするこ
とによる圧縮符号化をした第１の解像度の圧縮画像デー
タから、上記第１の解像度より低い第２の解像度の動画
像データを復号する画像復号装置であって、直交変換が
された上記圧縮画像データの直交変換ブロックの各係数
のうち低周波成分の係数に対して逆直交変換をする逆直
交変換手段と、上記逆直交変換手段により逆直交変換が
された圧縮画像データと動き補償がされた参照画像デー
タとを加算して、第２の解像度の動画像データを出力す
る加算手段と、上記加算手段から出力される動画像デー
タを参照画像データとして記憶する記憶手段と、飛び越
し走査に対応した動き予測方式（フィールド動き予測モ
ード）により動き予測がされた参照画像データのマクロ
ブロックに対して動き補償をする第１の動き補償手段
と、順次走査に対応した動き予測方式（フレーム動き予
測モード）により動き予測がされた参照画像データのマ
クロブロックに対して動き補償をする第２の動き補償手
段とを備え、上記第１の動き補償手段及び上記第２の動
き補償手段は、上記記憶手段が記憶している参照画像デ
ータのマクロブロックの各画素に対して補間をし、上記
記憶手段が記憶している参照画像データに対して１／４
画素精度の画素から構成されるマクロブロックを生成
し、この生成したマクロブロックに対して動き補償をす
ることを特徴とする。
【００３０】この画像復号装置では、記憶している参照
画像データのマクロブロックの各画素に対して補間をし
て、１／４画素精度の画素から構成されるマクロブロッ
クを生成する。そして、この画像復号装置では、第１の
解像度より低い第２の解像度の動画像データを出力す
る。
【００３１】本発明に係る画像復号装置では、上記第１
の動き補償手段及び第２の動き補償手段が、上記記憶手
段が記憶している参照画像データのマクロブロックの各
画素に対して補間をするためのフィルタのタップ数を、
所定単位毎に切り換えて、上記記憶手段が記憶している
参照画像データに対して１／４画素精度の画素から構成
されるマクロブロックを生成することを特徴とする。
【００３２】この画像復号装置では、フィルタのタップ
数を切り換えて、記憶している参照画像データのマクロ
ブロックの各画素に対して補間をして、１／４画素精度
の画素から構成されるマクロブロックを生成する。
【００３３】本発明に係る画像復号方法は、所定の画素
ブロック（マクロブロック）単位で動き予測をすること
による予測符号化、及び、所定の画素ブロック（直交変
換ブロック）単位で直交変換をすることによる圧縮符号
化をした第１の解像度の圧縮画像データから、上記第１
の解像度より低い第２の解像度の動画像データを復号す
る画像復号方法であって、直交変換がされた上記圧縮画
像データの直交変換ブロックの各係数のうち低周波成分
の係数に対して逆直交変換をし、逆直交変換がされた圧
縮画像データと動き補償がされた参照画像データとを加
算し、加算して得られた動画像データを参照画像データ
として記憶し、飛び越し走査に対応した動き予測方式
（フィールド動き予測モード）により動き予測がされた
参照画像データのマクロブロックに対して動き補償を
し、順次走査に対応した動き予測方式（フレーム動き予
測モード）により動き予測がされた参照画像データのマ
クロブロックに対して動き補償をし、フィールド動き予
測モード又はフレーム予測モードにより動き予測がされ
た参照画像データのマクロブロックの各画素に対して補
間をし、記憶している参照画像データに対して１／４画
素精度の画素から構成されるマクロブロックを生成し、
この生成したマクロブロックに対して動き補償をするこ
とを特徴とする。
【００３４】この画像復号方法では、記憶している参照
画像データのマクロブロックの各画素に対して補間をし
て、１／４画素精度の画素から構成されるマクロブロッ
クを生成する。そして、この画像復号方法では、第１の
解像度より低い第２の解像度の動画像データを出力す
る。
【００３５】本発明に係る画像復号方法は、フィールド
動き予測モード又はフレーム動き予測モードにより動き
予測がされた参照画像データのマクロブロックの各画素
に対して補間をするためのフィルタのタップ数を、所定
単位毎に切り換えて、記憶している参照画像データに対
して１／４画素精度の画素から構成されるマクロブロッ
クを生成することを特徴とする。
【００３６】この画像復号方法では、フィルタのタップ
数を切り換えて、記憶している参照画像データのマクロ
ブロックの各画素に対して補間をして、１／４画素精度
の画素から構成されるマクロブロックを生成する。
【００３７】
【発明の実施の形態】以下、本発明の実施の形態とし
て、本発明を適用した画像復号装置について、図面を参
照しながら説明する。
【００３８】（第１の実施の形態）まず、本発明の第１
の実施の形態の画像復号装置について説明する。
【００３９】図１に示すように、本発明の第１の実施の
形態の画像復号装置１０は、垂直方向の有効ライン数が
例えば１１５２本の高解像度画像をＭＰＥＧ２で画像圧
縮したビットストリームが入力され、この入力されたビ
ットストリームを復号するとともに１／２の解像度に縮
小して、垂直方向の有効ライン数が例えば５７６本の標
準解像度画像を出力する装置である。
【００４０】なお、以下、本発明の実施の形態の説明を
するにあたり、高解像度画像のことを上位レイヤーとも
呼び、標準解像度画像のことを下位レイヤーとも呼ぶも
のとする。また、通常、８×８の離散コサイン係数を有
するＤＣＴブロックを逆離散コサイン変換した場合８×
８の画素から構成される復号データを得ることができる
が、例えば、８×８の離散コサイン係数を復号して４×
４の画素から構成される復号データを得るような、逆離
散コサイン変換をするとともに解像度を縮小する処理
を、縮小逆離散コサイン変換という。
【００４１】この画像復号装置１０は、圧縮された高解
像度画像のビットストリームが供給され、このビットス
トリームを解析するビットストリーム解析装置１１と、
データの発生頻度に応じた符号長を割り当てる可変長符
号化がされた上記ビットストリームを復号する可変長符
号復号装置１２と、ＤＣＴブロックの各係数に量子化ス
テップを掛ける逆量子化装置１３と、フィールドＤＣＴ
モードで離散コサイン変換がされたＤＣＴブロックに対
して縮小逆離散コサイン変換をして標準解像度画像を生
成するフィールドモード用縮小逆離散コサイン変換装置
１４と、フレームＤＣＴモードで離散コサイン変換がさ
れたＤＣＴブロックに対して縮小逆離散コサイン変換を
して標準解像度画像を生成するフレームモード用縮小逆
離散コサイン変換装置１５と、縮小逆離散コサイン変換
がされた標準解像度画像と動き補償がされた参照画像と
を加算する加算装置１６と、参照画像を一時記憶するフ
レームメモリ１７と、フレームメモリ１７が記憶した参
照画像にフィールド動き予測モードに対応した動き補償
をするフィールドモード用動き補償装置１８と、フレー
ムメモリ１７が記憶した参照画像にフレーム動き予測モ
ードに対応した動き補償をするフレームモード用動き補
償装置１９と、フレームメモリ１７が記憶した画像に対
してポストフィルタリングをすることにより、画枠変換
をするとともに画素の位相ずれを補正してテレビジョン
モニタ等に表示するための標準解像度の画像データを出
力する画枠変換・位相ずれ補正装置２０とを備えてい
る。
【００４２】フィールドモード用縮小逆離散コサイン変
換装置１４は、入力されたビットストリームのマクロブ
ロックが、フィールドＤＣＴモードで離散コサイン変換
されている場合に用いられる。フィールドモード用縮小
逆離散コサイン変換装置１４は、フィールドＤＣＴモー
ドで離散コサイン変換がされたマクロブロック内の８×
８個の係数が示されたＤＣＴブロックに対して、図３８
で示したような、低域の４×４の係数のみに逆離散コサ
イン変換を行う。すなわち、水平方向及び垂直方向の低
域の４点の離散コサイン係数に基づき縮小逆離散コサイ
ン変換を行う。このフィールドモード用縮小逆離散コサ
イン変換装置１４では、以上のような縮小逆離散コサイ
ン変換を行うことにより、１つのＤＣＴブロックが４×
４の画素から構成される標準解像度画像を復号すること
ができる。この復号された画像データの各画素の位相
は、図２に示すように、トップフィールドの各画素の垂
直方向の位相が１／２、５／２・・・となり、ボトムフ
ィールドの各画素の垂直方向の位相が１、３・・・とな
る。すなわち、復号された下位レイヤーのトップフィー
ルドでは、先頭画素（位相が１／２の画素）の位相が上
位レイヤーのトップフィールドの先頭から１番目と２番
目の画素（位相が０と２の画素）の中間位相となり、先
頭から２番目の画素（位相が５／２の画素）の位相が上
位レイヤーのトップフィールドの先頭から３番目と４番
目の画素（位相が４と６の画素）の中間位相となる。ま
た、復号された下位レイヤーのボトムフィールドでは、
先頭画素（位相が１の画素）の位相が上位レイヤーのボ
トムフィールドの先頭から１番目と２番目の画素（位相
が１と３の画素）の中間位相となり、先頭から２番目の
画素（位相が３の画素）の位相が上位レイヤーのボトム
フィールドの先頭から３番目と４番目の画素（位相が５
と７の画素）の中間位相となる。
【００４３】フレームモード用縮小逆離散コサイン変換
装置１５は、入力されたビットストリームのマクロブロ
ックが、フレームＤＣＴモードで離散コサイン変換され
ている場合に用いられる。フレームモード用縮小逆離散
コサイン変換装置１５は、フレームＤＣＴモードで離散
コサイン変換がされたマクロブロック内の８×８個の係
数が示されたＤＣＴブロックに対して、縮小逆離散コサ
イン変換を行う。そして、フレームモード用縮小逆離散
コサイン変換装置１５では、１つのＤＣＴブロックが４
×４の画素から構成される解像度画像を復号するととも
に、フィールドモード用縮小逆離散コサイン変換装置１
４で生成した標準解像度画像の画素の位相と同位相の画
像を生成する。すなわち、フレームモード用縮小逆離散
コサイン変換装置１５で復号された画像データの各画素
の位相は、図２に示すように、トップフィールドの各画
素の垂直方向の位相が１／２、５／２・・・となり、ボ
トムフィールドの各画素の垂直方向の位相が１、３・・
・となる。
【００４４】なお、このフレームモード用縮小逆離散コ
サイン変換装置１５の処理については、その詳細を後述
する。
【００４５】加算装置１６は、フィールドモード用縮小
逆離散コサイン変換装置１４又はフレームモード用縮小
逆離散コサイン変換装置１５により縮小逆離散コサイン
変換されたマクロブロックがイントラ画像の場合には、
そのイントラ画像をそのままフレームメモリ１７に格納
する。また、加算装置１６は、フィールドモード用縮小
逆離散コサイン変換装置１４又はフレームモード用縮小
逆離散コサイン変換装置１５により縮小逆離散コサイン
変換されたマクロブロックがインター画像である場合に
は、そのインター画像に、フィールドモード用動き補償
装置１８或いはフレームモード用動き補償装置１９によ
り動き補償がされた参照画像を合成して、フレームメモ
リ１７に格納する。
【００４６】フィールドモード用動き補償装置１８は、
マクロブロックの動き予測モードがフィールド動き予測
モードの場合に用いられる。フィールドモード用動き補
償装置１８は、フレームメモリ１７に記憶されている標
準解像度画像の参照画像に対して、トップフィールドと
ボトムフィールドとの間の位相ずれ成分を考慮した形で
１／４画素精度で補間処理を行い、フィールド動き予測
モードに対応した動き補償をする。このフィールドモー
ド用動き補償装置１８により動き補償がされた参照画像
は、加算装置１６に供給され、インター画像に合成され
る。
【００４７】フレームモード用動き補償装置１９は、マ
クロブロックの動き予測モードがフレーム動き予測モー
ドの場合に用いられる。フレームモード用動き補償装置
１９は、フレームメモリ１７に記憶されている標準解像
度画像の参照画像に対して、トップフィールドとボトム
フィールドとの間の位相ずれ成分を考慮した形で１／４
画素精度で補間処理を行い、フレーム動き予測モードに
対応した動き補償をする。このフレームモード用動き補
償装置１９により動き補償がされた参照画像は、加算装
置１６に供給され、インター画像に合成される。
【００４８】画枠変換・位相ずれ補正装置２０は、フレ
ームメモリ１７が記憶した標準解像度の参照画像或いは
加算装置１６が合成した画像が供給され、この画像をポ
ストフィルタリングにより、トップフィールドとボトム
フィールドとの間の位相ずれ成分を補正するとともに画
枠を標準解像度のテレビジョンの規格に合致するように
変換する。すなわち、画枠変換・位相ずれ補正装置２０
は、トップフィールドの各画素の垂直方向の位相が１／
２、５／２・・・となり、ボトムフィールドの各画素の
垂直方向の位相が１、３・・・となる標準解像度画像
を、例えば、トップフィールドの各画素の垂直方向の位
相が０、２、４・・・となり、ボトムフィールドの各画
素の垂直方向の位相が１、３、５・・・となるように補
正する。また、画枠変換・位相ずれ補正装置２０は、高
解像度のテレビジョン規格の画枠を、１／４に縮小して
標準解像度のテレビジョン規格の画枠に変換する。
【００４９】本発明の第１の実施の形態の画像復号装置
１０では、以上のような構成を有することにより、高解
像度画像をＭＰＥＧ２で画像圧縮したビットストリーム
を、復号するとともに解像度を１／２に縮小して、標準
解像度画像を出力することができる。
【００５０】つぎに、上記フレームモード用縮小逆離散
コサイン変換装置１５の処理内容について、さらに詳細
に説明する。
【００５１】なお、このフレームモード用縮小逆離散コ
サイン変換装置１５では、以下に説明する１ブロック処
理及び２ブロック処理のいずれか或いは両者の処理を行
うことができる。フレームモード用縮小逆離散コサイン
変換装置１５は、必要に応じて、１ブロック処理又は２
ブロック処理を切り換えて用いても良いし、或いは、い
ずれか一方の処理のみを行っても良い。
【００５２】まず、１ブロック処理について説明する。
図３に、１ブロック処理の内容を説明するための図を示
す。
【００５３】フレームモード用縮小逆離散コサイン変換
装置１５には、図３に示すように、高解像度画像を圧縮
符号化したビットストリームが、１つのＤＣＴブロック
単位で入力される。
【００５４】まず、ステップＳ１において、この１つの
ＤＣＴブロックの離散コサイン係数ｙ（ＤＣＴブロック
の全ての離散コサイン係数のうち垂直方向の係数をｙ1
〜ｙ8として図中に示す。）に対して、８×８の逆離散
コサイン変換（ＩＤＣＴ８×８）を行う。逆離散コサイ
ン変換をすることにより、８×８の復号された画素デー
タｘ（ＤＣＴブロックの全ての画素データのうち垂直方
向の画素データをｘ1〜ｘ8として図中に示す。）を得る
ことができる。
【００５５】続いて、ステップＳ２において、この８×
８の画素データｘを、垂直方向に１ライン毎交互に取り
出して、飛び越し走査に対応した４×４のトップフィー
ルドの画素ブロックと、飛び越し走査に対応した４×４
のボトムフィールドの画素ブロックの２つの画素ブロッ
クに分離する。すなわち、垂直方向に１ライン目の画素
データｘ1と、３ライン目の画素データｘ3と、５ライン
目の画素データｘ5と、７ライン目の画素データｘ7とを
取り出して、トップフィールドに対応した画素ブロック
を生成する。また、垂直方向に２ライン目の画素データ
ｘ2と、４ライン目の画素データｘ4と、６ライン目の画
素データｘ6と、８ライン目の画素データｘ8とを取り出
して、ボトムフィールドに対応した画素ブロックを生成
する。なお、ＤＣＴブロックの各画素を飛び越し走査に
対応した２つの画素ブロックに分離する処理を、以下フ
ィールド分離という。
【００５６】続いて、ステップＳ３において、フィール
ド分離した２つの画素ブロックそれぞれに対して４×４
の離散コサイン変換（ＤＣＴ４×４）をする。
【００５７】続いて、ステップＳ４において、４×４の
離散コサイン変換をして得られたトップフィールドに対
応する画素ブロックの離散コサイン係数ｚ（トップフィ
ールドに対応する画素ブロックの全ての係数のうち垂直
方向の離散コサイン係数をｚ1，ｚ3，ｚ5，ｚ7として図
中に示す。）の高域成分を間引き、２×２の離散コサイ
ン係数から構成される画素ブロックとする。また、４×
４の離散コサイン変換をして得られたボトムフィールド
に対応する画素ブロックの離散コサイン係数ｚ（ボトム
フィールドに対応する画素ブロックの全ての係数のうち
垂直方向の離散コサイン係数をｚ2，ｚ4，ｚ6，ｚ8とし
て図中に示す。）の高域成分を間引き、２×２の離散コ
サイン係数から構成される画素ブロックとする。
【００５８】続いて、ステップＳ５において、高域成分
の離散コサイン係数を間引いた画素ブロックに対して、
２×２の逆離散コサイン変換（ＩＤＣＴ２×２）を行
う。２×２の逆離散コサイン変換をすることにより、２
×２の復号された画素データｘ′（トップフィールドの
画素ブロックの全ての画素データのうち垂直方向の画素
データをｘ′1，ｘ′3として図中に示し、また、ボトム
フィールドに対応する画素ブロックの全ての画素データ
のうち垂直方向の画素データをｘ′2，ｘ′4として図中
に示す。）を得ることができる。
【００５９】続いて、ステップＳ６において、トップフ
ィールドに対応する画素ブロックの画素データと、ボト
ムフィールドに対応する画素ブロックの画素データと
を、垂直方向に１ラインずつ交互に合成して、４×４の
画素データから構成される縮小逆離散コサイン変換をし
たＤＣＴブロックを生成する。なお、トップフィールド
とボトムフィールドに対応した２つの画素ブロックの各
画素を垂直方向に交互に合成する処理を、以下フレーム
合成という。
【００６０】以上のステップＳ１〜ステップＳ６で示し
た１ブロック処理を行うことにより、フレームモード用
縮小逆離散コサイン変換装１５では、図２で示したよう
な、フィールドモード用縮小逆離散コサイン変換装置１
４で生成した標準解像度画像の画素の位相と同位相の画
素から構成される４×４のＤＣＴブロックを生成するこ
とができる。
【００６１】また、フレームモード用縮小逆離散コサイ
ン変換装置１５では、以上のステップＳ１からステップ
Ｓ６までの１ブロック処理を１つの行列を用いて演算す
る。具体的には、フレームモード用縮小逆離散コサイン
変換装置１５では、以上の処理を加法定理を用いて展開
計算することにより得られる以下の式１に示す行列［Ｆ
Ｓ′］と、１つのＤＣＴブロックの離散コサイン係数ｙ
（ｙ1〜ｙ8）とを行列演算することにより、縮小逆離散
コサイン変換したＤＣＴブロックの画素データｘ′
（ｘ′1〜ｘ′4）を得ることができる。
【００６２】
【数１】
【００６３】但し、この式（１）において、Ａ〜Ｊは以
下の通りである。
【００６４】
【数２】
【００６５】つぎに、２ブロック処理について説明す
る。図４に、２ブロック処理の内容を説明するための図
を示す。
【００６６】フレームモード用縮小逆離散コサイン変換
装置１５には、図４に示すように、高解像度画像を圧縮
符号化したビットストリームが、２つのＤＣＴブロック
単位で入力される。例えば、マクロブロックが４つの輝
度成分のＤＣＴブロックと２つの色差成分のＤＣＴブロ
ックとから構成されるいわゆる４２０フォーマットから
なる場合には、垂直方向に隣接した２つの輝度成分
（Ｙ）のＤＣＴブロックが入力される。マクロブロック
が図５に示すように構成されている場合には、輝度成分
（Ｙ）のＤＣＴブロック０とＤＣＴブロック２とが対と
なって入力され、また、ＤＣＴブロック１とＤＣＴブロ
ック３とが対となって入力される。
【００６７】まず、ステップＳ１１において、２つのＤ
ＣＴブロックの離散コサイン係数ｙ（時間的に前のＤＣ
Ｔブロックの全ての離散コサイン係数のうち垂直方向の
係数をｙ1〜ｙ8として図中に示し、時間的に後のＤＣＴ
ブロックの全ての離散コサイン係数のうち垂直方向の係
数をｙ9〜ｙ16として図中に示す。）に対して、それぞ
れ独立に８×８の逆離散コサイン変換（ＩＤＣＴ８×
８）を行う。逆離散コサイン変換をすることにより、８
×８の復号された画素データｘ（時間的に前のＤＣＴブ
ロックの全ての画素データのうち垂直方向の画素データ
をｘ1〜ｘ8として図中に示し、時間的に後のＤＣＴブロ
ックの全ての画素データのうち垂直方向の画素データを
ｘ9〜ｘ16として図中に示す。）を得ることができる。
【００６８】続いて、ステップＳ１２において、２つの
ＤＣＴブロックの８×８の画素データｘを、垂直方向に
１ライン毎交互に取り出して、飛び越し走査に対応した
トップフィールドの８×８の画素ブロックと、飛び越し
走査に対応したボトムフィールドの８×８の画素ブロッ
クの２つの画素ブロックにフィールド分離する。すなわ
ち、時間的に前のＤＣＴブロックから、垂直方向に１ラ
イン目の画素データｘ1と、３ライン目の画素データｘ3
と、５ライン目の画素データｘ5と、７ライン目の画素
データｘ7とを取り出し、時間的に後のＤＣＴブロック
から、垂直方向に１ライン目の画素データｘ9と、３ラ
イン目の画素データｘ11と、５ライン目の画素データｘ
13と、７ライン目の画素データｘ15とを取り出して、ト
ップフィールドに対応した８×８の画素ブロックを生成
する。また、時間的に前のＤＣＴブロックから、垂直方
向に２ライン目の画素データｘ2と、４ライン目の画素
データｘ4と、６ライン目の画素データｘ6と、８ライン
目の画素データｘ8とを取り出し、時間的に後のＤＣＴ
ブロックから、垂直方向に２ライン目の画素データｘ10
と、４ライン目の画素データｘ12と、６ライン目の画素
データｘ14と、８ライン目の画素データｘ16とを取り出
して、ボトムフィールドに対応した画素ブロックを生成
する。
【００６９】続いて、ステップＳ１３において、フィー
ルド分離した２つの８×８の画素ブロックそれぞれに対
して８×８の離散コサイン変換（ＤＣＴ８×８）をす
る。
【００７０】続いて、ステップＳ１４において、８×８
の離散コサイン変換をして得られたトップフィールドに
対応する画素ブロックの離散コサイン係数ｚ（トップフ
ィールドに対応する画素ブロックの全ての係数のうち垂
直方向の離散コサイン係数をｚ1，ｚ3，ｚ5，ｚ7，
ｚ9，ｚ11，ｚ13，ｚ15として図中に示す。）の高域成
分を間引いて、４×４の離散コサイン係数から構成され
る画素ブロックとする。また、８×８の離散コサイン変
換をして得られたボトムフィールドに対応する画素ブロ
ックの離散コサイン係数ｚ（ボトムフィールドに対応す
る画素ブロックの全ての係数のうち垂直方向の離散コサ
イン係数をｚ2，ｚ4，ｚ6，ｚ8，ｚ10，ｚ12，ｚ14，ｚ
16として図中に示す。）の高域成分を間引き、４×４の
離散コサイン係数から構成される画素ブロックとする。
【００７１】続いて、ステップＳ１５において、高域成
分の離散コサイン係数を間引いた４×４の画素ブロック
それぞれに対して、４×４の逆離散コサイン変換（ＩＤ
ＣＴ４×４）を行う。４×４の逆離散コサイン変換をす
ることにより、４×４の復号された画素データｘ′（ト
ップフィールドに対応する画素ブロックの全ての画素デ
ータのうち垂直方向の画素データをｘ′1，ｘ′3，ｘ′
5，ｘ′7として図中に示し、また、ボトムフィールドに
対応する画素ブロックの全ての画素データのうち垂直方
向の画素データをｘ′2，ｘ′4，ｘ′6，ｘ′8として図
中に示す。）を得ることができる。
【００７２】続いて、ステップＳ１６において、トップ
フィールドに対応する画素ブロックの画素データと、ボ
トムフィールドに対応する画素ブロックの画素データと
を、垂直方向に１ラインずつ交互にフレーム合成して、
８×８の画素データから構成される縮小逆離散コサイン
変換をしたＤＣＴブロックを生成する。
【００７３】以上のステップＳ１１〜ステップＳ１６で
示した２ブロック処理を行うことにより、フレームモー
ド用縮小逆離散コサイン変換装１５では、図２で示した
ような、フィールドモード用縮小逆離散コサイン変換装
置１４で生成した標準解像度画像の画素の位相と同位相
の画素から構成されるＤＣＴブロックを生成することが
できる。
【００７４】また、フレームモード用縮小逆離散コサイ
ン変換装置１５では、以上のステップＳ１１〜ステップ
Ｓ１６までの２ブロック処理を１つの行列を用いて演算
する。具体的には、フレームモード用縮小逆離散コサイ
ン変換装置１５では、以上の処理を加法定理を用いて展
開計算することにより得られる以下の式（２）に示す行
列［ＦＳ′′］と、２つのＤＣＴブロックの離散コサイ
ン係数ｙ（ｙ1〜ｙ16）とを行列演算して、縮小逆離散
コサイン変換したＤＣＴブロックの画素データｘ′
（ｘ′1〜ｘ′8）を得ることができる。
【００７５】
【数３】
【００７６】但し、この式（２）において、Ａ〜Ｄは、
以下の通りである。
【００７７】
【数４】
【００７８】
【数５】
【００７９】
【数６】
【００８０】
【数７】
【００８１】また、この式（２）において、ａ〜ｇは、
以下の通りである。
【００８２】
【数８】
【００８３】なお、上記フレームモード用縮小逆離散コ
サイン変換装置１５では、図５で示したいわゆる４２０
フォーマットのマクロブロックが入力された場合には、
輝度成分に対しては上記ステップＳ１１〜ステップＳ１
６に示した２ブロック処理を行って縮小逆離散コサイン
変換を行い、色差成分に対しては、上記ステップＳ１〜
ステップＳ６に示した１ブロック処理を行って縮小逆離
散コサイン変換を行っても良い。
【００８４】以上のように本発明の第１の実施の形態の
画像復号装置１０では、フィールドＤＣＴモードでは、
トップフィールドとボトムフィールドとのそれぞれに４
×４の縮小逆離散コサイン変換を行い標準解像度画像を
復号し、フレームＤＣＴモードでは、フレーム分離をし
て縮小逆離散コサイン変換を行い標準解像度画像を復号
する。この画像復号装置１０では、このようにフィール
ドＤＣＴモードとフレームＤＣＴモードとで異なる処理
を行うため、飛び越し走査画像が有するインタレース性
を損なうことなく、かつ、フィールドＤＣＴモードとフ
レームＤＣＴモードとで復号した画像の位相を同一とす
ることができ、出力する画像の画質を劣化させない。
【００８５】なお、上記画像復号装置１０では、フィー
ルドモード用縮小逆離散コサイン変換装置１４の４×４
の縮小逆離散コサイン変換処理、及び、フレームモード
用縮小逆離散コサイン変換装置１５の上記ステップＳ１
〜ステップＳ６による１ブロック処理による縮小逆離散
コサイン変換処理を、高速アルゴリズムを用いて処理し
てもよい。
【００８６】例えば、Ｗａｎｇのアルゴリズム（参考文
献：Zhong DE Wang.,"Fast Algorithms for the Discre
te W Transform and for the Discrete Fourier Transf
orm",IEEE Tr.ASSP-32,NO.4,pp.803-816, Aug.1984）を
用いることにより、処理を高速化することができる。
【００８７】フィールドモード用縮小逆離散コサイン変
換装置１４が演算をする行列を、Ｗａｎｇのアルゴリズ
ムを用いて分解すると、以下の式（３）に示すように分
解される。
【００８８】
【数９】
【００８９】また、図６にフィールドモード用縮小逆離
散コサイン変換装置１４の処理にＷａｎｇのアルゴリズ
ムを適用した場合の処理フローを示す。この処理フロー
に示すように、第１から第５の乗算器１４ａ〜１４ｅ及
び第１から第９の加算器１４ｆ〜１４ｎを用いて、高速
化を実現することができる。
【００９０】フレームモード用縮小逆離散コサイン変換
装置１５が演算をする行列［ＦＳ′］を、Ｗａｎｇのア
ルゴリズムを用いて分解すると、以下の式（４）に示す
ように分解される。
【００９１】
【数１０】
【００９２】但し、この式（４）において、Ａ〜Ｊは、
以下の通りである。
【００９３】
【数１１】
【００９４】また、図７にフレームモード用縮小逆離散
コサイン変換装置１５の処理にＷａｎｇのアルゴリズム
を適用した場合の処理フローを示す。この処理フローに
示すように、第１から第１０の乗算器１５ａ〜１５ｊ及
び第１から第１３の加算器１５ｋ〜１５ｗを用いて、高
速化を実現することができる。
【００９５】（第２の実施の形態）つぎに、本発明の第
２の実施の形態の画像復号装置について説明する。な
お、この第２の実施の形態の画像復号装置の説明にあた
り、上記第１の画像復号装置１０と同一の構成要素につ
いては図面中に同一の符号を付け、その詳細な説明を省
略する。また、第３の実施の形態以後もそれ以前の実施
の形態と同一の構成要素については図面中に同一の符号
を付け、その詳細な説明を省略する。
【００９６】図８に示すように、本発明の第２の実施の
形態の画像復号装置３０は、垂直方向の有効ライン数が
例えば１１５２本の高解像度画像をＭＰＥＧ２で画像圧
縮したビットストリームが入力され、この入力されたビ
ットストリームを復号するとともに１／２の解像度に縮
小して、垂直方向の有効ライン数が例えば５７６本の標
準解像度画像を出力する装置である。
【００９７】この画像復号装置３０は、圧縮された高解
像度画像のビットストリームが供給され、このビットス
トリームを解析するビットストリーム解析装置１１と、
データの発生頻度に応じた符号長を割り当てる可変長符
号化がされた上記ビットストリームを復号する可変長符
号復号装置１２と、ＤＣＴブロックの各係数に量子化ス
テップを掛ける逆量子化装置１３と、フィールドＤＣＴ
モードで離散コサイン変換がされたＤＣＴブロックに対
して縮小逆離散コサイン変換をして標準解像度画像を生
成するフィールドモード用位相補正縮小逆離散コサイン
変換装置３１と、フレームＤＣＴモードで離散コサイン
変換がされたＤＣＴブロックに対して縮小逆離散コサイ
ン変換をして標準解像度画像を生成するフレームモード
用位相補正縮小逆離散コサイン変換装置３２と、縮小逆
離散コサイン変換がされた標準解像度画像と動き補償が
された参照画像とを加算する加算装置１６と、参照画像
を一時記憶するフレームメモリ１７と、フレームメモリ
１７が記憶した参照画像にフィールド動き予測モードに
対応した動き補償をするフィールドモード用動き補償装
置１８と、フレームメモリ１７が記憶した参照画像にフ
レーム動き予測モードに対応した動き補償をするフレー
ムモード用動き補償装置１９と、フレームメモリ１７に
記憶した画像に対して、画枠変換をしてモニタ等に表示
するための標準解像度の画像データを出力する画枠変換
装置３３とを備えている。
【００９８】フィールドモード用位相補正縮小逆離散コ
サイン変換装置３１は、入力されたビットストリームの
マクロブロックが、フィールドＤＣＴモードで離散コサ
イン変換されている場合に用いられる。フィールドモー
ド用位相補正縮小逆離散コサイン変換装置３１は、フィ
ールドＤＣＴモードで離散コサイン変換がされたマクロ
ブロック内の８×８個の係数が示されたＤＣＴブロック
の全ての係数のうち４×８の係数のみに対して、トップ
フィールドとボトムフィールドの垂直方向の画素の位相
ずれを補正した逆離散コサイン変換を行う。すなわち、
水平方向に対して低域の４点の離散コサイン係数に基づ
き逆離散コサイン変換を行い、垂直方向に対して８点の
離散コサイン係数に基づき位相ずれを補正した逆離散コ
サイン変換を行う。具体的には、トップフィールドの垂
直方向の各画素に対しては、１／４画素分の位相補正を
行い、ボトムフィールドの垂直方向の各画素に対して
は、３／４画素分の位相補正を行う。そして、以上のよ
うな縮小逆離散コサイン変換を行うことにより、図９に
示すような、トップフィールドの各画素の垂直方向の位
相が１／４、９／４・・・となり、ボトムフィールドの
各画素の垂直方向の位相が５／４、１３／４・・・とな
る標準解像度画像（下位レイヤー）を生成する。
【００９９】フレームモード用位相補正縮小逆離散コサ
イン変換装置３２は、入力されたビットストリームのマ
クロブロックが、フレームＤＣＴモードで離散コサイン
変換されている場合に用いられる。フレームモード用位
相補正縮小逆離散コサイン変換装置３２は、フレームＤ
ＣＴモードで離散コサイン変換がされたマクロブロック
内の８×８個の係数が示されたＤＣＴブロックに対し
て、詳細を後述する１ブロック処理或いは２ブロック処
理により、トップフィールドとボトムフィールドの垂直
方向の画素の位相ずれを補正した縮小逆離散コサイン変
換を行う。そして、フィールドモード用位相補正縮小逆
離散コサイン変換装置３１で生成した標準解像度画像の
画素の位相と同位相の画像を生成する。すなわち、１ブ
ロック処理或いは２ブロック処理で縮小逆離散コサイン
変換を行うことにより、図９に示すような、トップフィ
ールドの各画素の垂直方向の位相が１／４、９／４・・
・となり、ボトムフィールドの各画素の垂直方向の位相
が５／４、１３／４・・・となる標準解像度画像（下位
レイヤー）を生成する。
【０１００】フィールドモード用動き補償装置１８は、
マクロブロックの動き予測モードがフィールド動き予測
モードの場合に用いられる。フィールドモード用動き補
償装置１８は、フレームメモリ１７に記憶されている標
準解像度画像の参照画像に対して、１／４画素精度で補
間処理を行い、フィールド動き予測モードに対応した動
き補償をする。このフィールドモード用動き補償装置１
８により動き補償がされた参照画像は、加算装置１６に
供給され、インター画像に合成される。
【０１０１】フレームモード用動き補償装置１９は、マ
クロブロックの動き予測モードがフレーム動き予測モー
ドの場合に用いられる。フレームモード用動き補償装置
１９は、フレームメモリ１７に記憶されている標準解像
度画像の参照画像に対して、１／４画素精度で補間処理
を行い、フレーム動き予測モードに対応した動き補償を
する。このフレームモード用動き補償装置１９により動
き補償がされた参照画像は、加算装置１６に供給され、
インター画像に合成される。
【０１０２】画枠変換装置３３は、フレームメモリ１７
が記憶した標準解像度の参照画像が供給され、この参照
画像をポストフィルタリングにより、画枠を標準解像度
のテレビジョンの規格に合致するように変換する。すな
わち、画枠変換装置３３は、高解像度のテレビジョン規
格の画枠を、１／４に縮小した標準解像度のテレビジョ
ン規格の画枠に変換する。なお、この画枠変換装置３３
は、フレームメモリ１７に格納されている画像がトップ
フィールドとボトムフィールドとの間に位相ずれが生じ
ていないので、上述した第１の実施の形態の画枠変換・
位相ずれ補正装置２０と異なり、画素の位相ずれの補正
は行わなくて良い。
【０１０３】本発明の第２の実施の形態の画像復号装置
３０では、以上のような構成を有することにより、高解
像度画像をＭＰＥＧ２で画像圧縮したビットストリーム
を、復号するとともに１／２の解像度に縮小して、標準
解像度画像を出力することができる。
【０１０４】つぎに、上記フィールドモード用位相補正
縮小逆離散コサイン変換装置３１の処理内容について、
さらに詳細に説明する。
【０１０５】フィールドモード用位相補正縮小逆離散コ
サイン変換装置３１には、図１０に示すように、高解像
度画像を圧縮符号化したビットストリームが、１つのＤ
ＣＴブロック単位で入力される。
【０１０６】まず、ステップＳ２１において、この１つ
のＤＣＴブロックの離散コサイン係数ｙ（ＤＣＴブロッ
クの全ての離散コサイン係数のうち垂直方向の係数をｙ
1〜ｙ8として図中に示す。）に対して、８×８の逆離散
コサイン変換（ＩＤＣＴ８×８）を行う。逆離散コサイ
ン変換をすることにより、８×８の復号された画素デー
タｘ（ＤＣＴブロックの全ての画素データのうち垂直方
向の画素データをｘ1〜ｘ8として図中に示す。）を得る
ことができる。
【０１０７】続いて、ステップＳ２２において、この８
×８の画素データを、４×８の位相補正フィルタ行列に
よりＤＣＴブロック内で閉じた変換を行い、位相補正し
た画素データｘ′（全ての画素データのうち垂直方向の
画素データをｘ′1，ｘ′2，ｘ′3，ｘ′4として図中に
示す。）を得る。
【０１０８】以上のステップＳ２１〜ステップＳ２２の
処理を行うことにより、フィールドモード用位相補正縮
小逆離散コサイン変換装置３１では、トップフィールド
とボトムフィールドとの間で、画素の位相ずれがない画
像を生成することができる。
【０１０９】また、フィールドモード用位相補正縮小逆
離散コサイン変換装置３１では、図１１に示すように、
以上の処理を１つの行列（４×８位相補正ＩＤＣＴ行
列）を用いて演算してもよい。
【０１１０】つぎに、上記フィールドモード用位相補正
縮小逆離散コサイン変換装置３１により演算が行われる
４×８位相補正ＩＤＣＴ行列の設計手順を図１２に示
し、この４×８位相補正ＩＤＣＴ行列について説明す
る。この４×８位相補正ＩＤＣＴ行列は、プロトタイプ
フィルタをポリフェーズ分解して作成される。
【０１１１】ここで、画像復号装置３０では、図１３
（ａ）に示すような周波数特性の高解像度画像を、図１
３（ｂ）に示すような信号帯域がローパスフィルタによ
り半分とされた周波数特性の１／２の解像度の標準解像
度画像に、ダウンデコードする。そのため、プロトタイ
プフィルタに求められる周波数特性は、標準解像度画像
の１／４位相の画素値を得ることができるように、図１
３（ｃ）に示すような４倍のオーバーサンプリングを行
った周波数特性となる。
【０１１２】まず、ステップＳ３１において、ナイキス
ト周波数以下を等間隔に｛（Ｎ−１）／２｝分割し、そ
の周波数サンプルからゲインリストを作成する。例え
ば、図１４に示すように、ナイキスト周波数以下の周波
数を等間隔に（５７−１）／２＝２８分割して、２９個
のゲインリストを作成する。
【０１１３】続いて、ステップＳ３２において、周波数
サンプリング法により、５７個のインパルス応答を作成
する。すなわち、２９個のゲインリストを逆離散フーリ
エ変換して、５７個のＦＩＲフィルタのインパルス応答
を作成する。この５７個のインパルス応答を図１５に示
す。
【０１１４】続いて、ステップＳ３３において、このイ
ンパルス応答に窓関数をかけて、５７タップのフィルタ
係数ｃ１〜ｃ５７を作成する。
【０１１５】このステップＳ３３で作成されたフィルタ
がプロトタイプフィルタとなる。
【０１１６】続いて、ステップＳ３４において、５７個
のフィルタ係数ｃ１〜ｃ５７を有するプロトタイプフィ
ルタをポリフェーズ分解して、１／４位相補正特性を有
する１４個のフィルタ係数ｃ′１〜ｃ′１４のみを取り
出し、ポリフェーズフィルタを作成する。
【０１１７】ここで、ポリフェーズフィルタとは、図１
６に示すように、入力信号をＮ倍にオーバーサンプリン
グし、オーバーサンプリングして得られた信号からＮ画
素間隔で画素を抜き出すポリフェーズ分解を行い、入力
信号と１／Ｎ位相のずれをもった信号を出力するフィル
タである。例えば、入力信号に対して１／４位相ずれた
信号を得るためには、図１７に示すように、入力信号を
４倍にオーバサンプリングして、この信号から１／４位
相ずれた信号を取り出せばよい。
【０１１８】具体的に、５７個の係数を有するプロトタ
イプフィルタｃ１〜ｃ５７から作成された１４個のフィ
ルタ係数ｃ′１〜ｃ′１４は、例えば、以下の式（５）
で示すような係数となる。
【０１１９】
【数１２】
【０１２０】このようにポリフェーズフィルタを作成し
た後、トップフィールド用の４×８位相補正ＩＤＣＴ行
列と、ボトムフィールド用の４×８位相補正ＩＤＣＴ行
列とで、設計処理が分割する。
【０１２１】まず、トップフィールド用の４×８位相補
正ＩＤＣＴ行列を作成する場合には、ステップＳ３５に
おいて、フィルタ係数が１／４位相補正特性となるよう
に、ポリフェーズ分解された１４個のフィルタ係数ｃ′
１〜ｃ′１４から、群遅延が１／４、９／４、１７／
４、２５／４位相となる８個の係数を取り出し、４×８
位相補正フィルタ行列を作成する。このように作成され
た４×８位相補正フィルタを、図１８に示す。
【０１２２】例えば、上記式（５）の１４個のフィルタ
係数ｃ′１〜ｃ′１４から、以下の式（６）で示すよう
な係数が取り出される。
【０１２３】
【数１３】
【０１２４】式（６）の係数から４×８位相補正フィル
タ行列を求めると、以下の式（７）で示すような行列と
なる。
【０１２５】
【数１４】
【０１２６】この式（７）で示した４×８位相補正フィ
ルタ行列を正規化すると、以下の式（８）に示すような
行列となる。
【０１２７】
【数１５】
【０１２８】そして、ステップＳ３６において、８×８
のＩＤＣＴ行列と、この４×８位相補正フィルタ行列と
を掛け合わせ、トップフィールド用の４×８位相補正Ｉ
ＤＣＴ行列を作成する。
【０１２９】８×８のＩＤＣＴ行列と上記式（８）で示
す４×８の位相補正フィルタとを掛け合わせた４×８位
相補正ＩＤＣＴ行列は、以下の式（９）に示すような行
列となる。
【０１３０】
【数１６】
【０１３１】一方、ボトムフィールド用の４×８位相補
正ＩＤＣＴ行列を作成する場合には、ステップＳ３７に
おいて、フィルタ係数が３／４位相補正特性となるよう
に、ポリフェイズ分解された１４個のフィルタ係数ｃ′
１〜ｃ′１４を、左右反転させる。
【０１３２】続いて、ステップＳ３８において、左右反
転させた１４個のフィルタ係数ｃ′１〜ｃ′１４から、
群遅延が３／４、１１／４、１９／４、２７／４位相と
なる８個の係数を取り出し、４×８位相補正フィルタ行
列を作成する。
【０１３３】そして、ステップＳ３９において、８×８
のＩＤＣＴ行列と、この４×８位相補正フィルタ行列と
を掛け合わせ、ボトムフィールド用の４×８位相補正Ｉ
ＤＣＴ行列を作成する。
【０１３４】このようにステップＳ３１〜ステップＳ３
９の各処理を行うことによって、フィールドモード用位
相補正縮小逆離散コサイン変換装置３１が演算を行う４
×８位相補正ＩＤＣＴ行列を作成することができる。
【０１３５】以上のように、フィールドモード用位相補
正縮小逆離散コサイン変換装置３１では、この４×８位
相補正ＩＤＣＴ行列と、入力されたフィールドＤＣＴモ
ードで離散コサイン変換がされたＤＣＴブロックの係数
とを行列演算することにより、トップフィールドとボト
ムフィールドとの間の位相ずれがない、標準解像度の画
像を復号することができる。すなわち、このフィールド
モード用位相補正縮小逆離散コサイン変換装置３１で
は、図９に示すような、トップフィールドの各画素の垂
直方向の位相が１／４、９／４・・・となり、ボトムフ
ィールドの各画素の垂直方向の位相が５／４、１３／４
・・・となる標準解像度画像（下位レイヤー）を生成す
ることができる。
【０１３６】つぎに、上記フレームモード用位相補正縮
小逆離散コサイン変換装置３２の処理内容について、さ
らに詳細に説明する。
【０１３７】なお、フレームモード用位相補正縮小逆離
散コサイン変換装置３２では、以下に説明する１ブロッ
ク処理及び２ブロック処理のいずれか或いは両者の処理
を行うことができる。必要に応じて、１ブロック処理又
は２ブロック処理を切り換えて用いても良いし、或い
は、いずれか一方の処理のみを行っても良い。
【０１３８】まず、１ブロック処理について説明する。
図１９に、１ブロック処理の内容を説明するための図を
示す。
【０１３９】フレームモード用位相補正縮小逆離散コサ
イン変換装置３２には、図１９に示すように、高解像度
画像を圧縮符号化したビットストリームが、１つのＤＣ
Ｔブロック単位で入力される。
【０１４０】まず、ステップＳ４１において、この１つ
のＤＣＴブロックの離散コサイン係数ｙに対して、８×
８の逆離散コサイン変換を行う。続いて、ステップＳ４
２において、この８×８の画素データをフィールド分離
する。続いて、ステップＳ４３において、フィールド分
離した２つの画素ブロックそれぞれに対して４×４の離
散コサイン変換をする。続いて、ステップＳ４４におい
て、各画素ブロックの離散コサイン係数ｚの高域成分を
間引き、２×２の離散コサイン係数から構成される画素
ブロックとする。以上のステップＳ４１からステップＳ
４４までの処理は、図３に示す１ブロック処理における
ステップＳ１からステップＳ４までの処理と同一であ
る。
【０１４１】続いて、ステップＳ４５において、トップ
フィールドに対応する画素ブロックに対しては、１／４
画素分の位相補正をする２×４位相補正ＩＤＣＴ行列を
用いて、垂直方向の画素の位相ずれを補正した逆離散コ
サイン変換を行う。また、ボトムフィールドに対応する
画素ブロックに対しては、３／４画素分の位相補正をす
る２×４位相補正ＩＤＣＴ行列を用いて、垂直方向の画
素の位相ずれを補正した逆離散コサイン変換を行う。以
上のような縮小逆離散コサイン変換を行うことにより、
２×２の画素データｘ′（トップフィールドに対応する
画素ブロックの全ての画素データのうち垂直方向の画素
データをｘ′1，ｘ′3として図中に示し、また、ボトム
フィールドに対応する画素ブロックの全ての画素データ
のうち垂直方向の画素データをｘ′2，ｘ′4として図中
に示す。）を得ることができる。この画素データｘ′
は、トップフィールドの各画素の垂直方向の位相が１／
４、９／４となり、ボトムフィールドの各画素の垂直方
向の位相が５／４、１３／４となる標準解像度画像（下
位レイヤー）を生成する。なお、この２×４位相補正Ｉ
ＤＣＴ行列の設計方法については詳細を後述する。
【０１４２】続いて、ステップＳ４６において、トップ
フィールドに対応する画素ブロックの画素データとボト
ムフィールドの画像ブロックの画素データとをフレーム
合成する。このステップＳ４６の処理は、図３に示す１
ブロック処理におけるステップＳ６の処理と同一であ
る。
【０１４３】以上のステップＳ４１〜ステップＳ４６の
処理を行うことにより、フレームモード用位相補正縮小
逆離散コサイン変換装置３２では、画素間の位相ずれが
ない画像を生成することができる。また、上記フィール
ドモード用位相補正縮小逆離散コサイン変換装置３１で
復号した画像と位相ずれが生じない画像を生成すること
ができる。
【０１４４】また、フレームモード用位相補正縮小逆離
散コサイン変換装置３２では、以上のステップＳ４１か
らステップＳ４６までの処理を１つの行列を用いて演算
してもよい。
【０１４５】つぎに、フレームモード用位相補正縮小逆
離散コサイン変換装置３２のステップＳ４５で演算が行
われる２×４位相補正ＩＤＣＴ行列の設計手順を図２０
に示し、この２×８位相補正ＩＤＣＴ行列について説明
する。
【０１４６】まず、ステップＳ５１において、ナイキス
ト周波数以下を等間隔に｛（Ｎ−１）／２｝分割し、そ
の周波数サンプルからゲインリストを作成する。例え
ば、図２１に示すように、ナイキスト周波数以下の周波
数を等間隔に（２５−１）／２＝１２分割して、１３個
のゲインリストを作成する。
【０１４７】続いて、ステップＳ５２において、周波数
サンプリング法により、２５個のインパルス応答を作成
する。すなわち、１３個のゲインリストを逆離散フーリ
エ変換して、２５個のＦＩＲフィルタのインパルス応答
を作成する。この２５個のインパルス応答を図２２に示
す。
【０１４８】続いて、ステップＳ５３において、このイ
ンパルス応答に窓関数をかけて、２５タップのフィルタ
係数ｃ１〜ｃ２５を作成する。
【０１４９】このステップＳ５３で作成されたフィルタ
がプロトタイプフィルタとなる。
【０１５０】続いて、ステップＳ５４において、２５個
のフィルタ係数ｃ１〜ｃ２５を有するプロトタイプフィ
ルタをポリフェーズ分解して、１／４位相補正特性を有
する６個のフィルタ係数ｃ′１〜ｃ′６のみを取り出
し、ポリフェーズフィルタを作成する。
【０１５１】具体的に、５７個の係数を有するプロトタ
イプフィルタｃ１〜ｃ２５から作成された１４個のフィ
ルタ係数ｃ′１〜ｃ′６は、例えば、以下の式（１０）
で示すような係数となる。
【０１５２】
【数１７】
【０１５３】このようにポリフェーズフィルタを作成し
た後、トップフィールド用の２×４位相補正ＩＤＣＴ行
列と、ボトムフィールド用の２×４位相補正ＩＤＣＴ行
列とで、設計処理が分割する。
【０１５４】まず、トップフィールド用の２×４位相補
正ＩＤＣＴ行列を作成する場合には、ステップＳ５５に
おいて、ポリフェーズ分解された６個のフィルタ係数
ｃ′１〜ｃ′６から、群遅延が１／４、９／４位相とな
るように、それぞれ２個の係数を取り出し、２×４位相
補正フィルタ行列を作成する。このように作成された２
×４位相補正フィルタを、図２３に示す。
【０１５５】例えば、上記式（１０）の６個のフィルタ
係数ｃ′１〜ｃ′６から、以下の式（１１）で示すよう
な係数が取り出される。
【０１５６】
【数１８】
【０１５７】式（１１）の係数から２×４位相補正フィ
ルタ行列を求めると、以下の式（１２）で示すような行
列となる。
【０１５８】
【数１９】
【０１５９】この式（１２）で示した２×４位相補正フ
ィルタ行列を正規化すると、以下の式（１３）に示すよ
うな行列となる。
【０１６０】
【数２０】
【０１６１】そして、ステップＳ５６において、４×４
のＩＤＣＴ行列と、この２×４位相補正フィルタ行列と
を掛け合わせ、トップフィールド用の２×４位相補正Ｉ
ＤＣＴ行列を作成する。
【０１６２】２×４のＩＤＣＴ行列と上記式（１３）で
示す２×４の位相補正フィルタとを掛け合わせた２×４
位相補正ＩＤＣＴ行列は、以下の式（１４）に示すよう
な行列となる。
【０１６３】
【数２１】
【０１６４】一方、ボトムフィールド用の２×４位相補
正ＩＤＣＴ行列を作成する場合には、ステップＳ５７に
おいて、フィルタ係数が３／４位相補正特性となるよう
に、ポリフェイズ分解された６個のフィルタ係数ｃ′１
〜ｃ′６を、左右反転させる。
【０１６５】続いて、ステップＳ５８において、左右反
転させた６個のフィルタ係数ｃ′１〜ｃ′６から、群遅
延が３／４、１１／４位相となるように、それぞれ２個
の係数を取り出し、２×４位相補正フィルタ行列を作成
する。
【０１６６】そして、ステップＳ５９において、４×４
のＩＤＣＴ行列と、この２×４位相補正フィルタ行列と
を掛け合わせ、ボトムフィールド用の２×４位相補正Ｉ
ＤＣＴ行列を作成する。
【０１６７】以上のようにステップＳ５１〜ステップＳ
５９の各処理を行うことによって、フレームモード用位
相補正縮小逆離散コサイン変換装置３２が上記ステップ
Ｓ４５で演算を行う２×４位相補正ＩＤＣＴ行列を作成
することができる。
【０１６８】つぎに、２ブロック処理について説明す
る。図２４に、２ブロック処理の内容を説明するための
図を示す。
【０１６９】フレームモード用位相補正縮小逆離散コサ
イン変換装置３２には、図２４に示すように、高解像度
画像を圧縮符号化したビットストリームが、２つのＤＣ
Ｔブロック単位で入力される。例えば、マクロブロック
が４つの輝度成分のＤＣＴブロックと２つの色差成分の
ＤＣＴブロックとから構成される場合には、垂直方向に
隣接した２つのＤＣＴブロックが入力される。例えば、
マクロブロックが上述した図５に示すように構成されて
いる場合には、輝度成分（Ｙ）のＤＣＴブロック０とＤ
ＣＴブロック２とが対となって入力され、また、ＤＣＴ
ブロック１とＤＣＴブロック３とが対となって入力され
る。
【０１７０】まず、ステップＳ６１において、２つのＤ
ＣＴブロックの離散コサイン係数ｙに対して、それぞれ
独立に８×８の逆離散コサイン変換を行う。逆離散コサ
イン変換をすることにより、８×８の復号された画素デ
ータｘを得ることができる。続いて、ステップＳ６２に
おいて、２つの８×８の画素データをフィールド分離す
る。続いて、ステップＳ６３において、フィールド分離
した２つの８×８の画素ブロックそれぞれに対して８×
８の離散コサイン変換をする。続いて、ステップＳ６４
において、８×８の離散コサイン変換をして得られたト
ップフィールドに対応する画素ブロックの離散コサイン
係数ｚの高域成分を間引いて、４×４の離散コサイン係
数から構成される画素ブロックとする。また、８×８の
離散コサイン変換をして得られたボトムフィールドに対
応する画素ブロックの離散コサイン係数ｚの高域成分を
間引き、４×４の離散コサイン係数から構成される画素
ブロックとする。
【０１７１】以上のステップＳ６１からステップＳ６４
までの処理は、図４に示す２ブロック処理におけるステ
ップＳ１１からステップＳ１４までの処理と同一であ
る。
【０１７２】続いて、ステップＳ６５において、トップ
フィールドの画素ブロックに対しては、１／４画素分の
位相補正をする４×８位相補正ＩＤＣＴ行列を用いて、
垂直方向の画素の位相ずれを補正した逆離散コサイン変
換を行う。また、ボトムフィールドの画素ブロックに対
しては、３／４画素分の位相補正をする４×８位相補正
ＩＤＣＴ行列を用いて、垂直方向の画素の位相ずれを補
正した逆離散コサイン変換を行う。以上のような縮小逆
離散コサイン変換を行うことにより、４×４の画素デー
タｘ′（トップフィールドに対応する画素ブロックの全
ての画素データのうち垂直方向の画素データをｘ′1，
ｘ′3，ｘ′5，ｘ′7として図中に示し、また、ボトム
フィールドに対応する画素ブロックの全ての画素データ
のうち垂直方向の画素データをｘ′2，ｘ′4，ｘ′6，
ｘ′8として図中に示す。）を得ることができる。この
画素データｘ′は、トップフィールドの各画素の垂直方
向の位相が１／４、９／４・・・となり、ボトムフィー
ルドの各画素の垂直方向の位相が５／４、１３／４・・
・となる標準解像度画像（下位レイヤー）を生成する。
なお、この４×８位相補正ＩＤＣＴ行列の設計方法は、
上述したフィールドモード用位相補正縮小逆離散コサイ
ン変換装置３１で演算される行列と同一である。
【０１７３】続いて、ステップＳ６６において、トップ
フィールドに対応する画素ブロックの画素データと、ボ
トムフィールドに対応する画素ブロックの画素データと
を、垂直方向に１ラインずつ交互にフレーム合成して、
８×８の画素データから構成される縮小逆離散コサイン
変換をしたＤＣＴブロックを生成する。
【０１７４】以上のステップＳ６１〜ステップＳ６６の
２ブロック処理を行うことにより、フレームモード用位
相補正縮小逆離散コサイン変換装置３２では、画素間の
位相ずれがない画像を生成することができる。また、上
記フィールドモード用位相補正縮小逆離散コサイン変換
装置３１で復号した画像と位相ずれが生じない画像を生
成することができる。
【０１７５】また、フレームモード用位相補正縮小逆離
散コサイン変換装置３２では、以上のステップＳ６１か
らステップＳ６６までの処理を１つの行列を用いて演算
してもよい。
【０１７６】以上のように本発明の第２の実施の形態の
画像復号装置３０では、フィールドＤＣＴモードでは、
トップフィールドとボトムフィールドとのそれぞれに４
×４の縮小逆離散コサイン変換を行うとともに位相補正
をして標準解像度画像を復号し、フレームＤＣＴモード
では、フレーム分離をして縮小逆離散コサイン変換を行
うとともに位相補正をして標準解像度画像を復号する。
この画像復号装置３０では、このようにフィールドＤＣ
ＴモードとフレームＤＣＴモードとでそれぞれで処理を
行うため飛び越し走査画像が有するインタレース性を損
なうことなく、かつ、縮小逆離散コサイン変換を行うと
きに生じるトップフィールドとボトムフィールドとの間
の位相ずれをなくし、出力する画像の画質を劣化させな
い。即ち、この画像復号装置３０では、フレームメモリ
１７に格納された復号画像を出力する際に、位相補正を
する必要が無く、処理が簡易化するとともに画質の劣化
を生じさせない。
【０１７７】（第３の実施の形態）つぎに、本発明の第
３の実施の形態の画像復号装置について説明する。
【０１７８】図２５に示すように、本発明の第３の実施
の形態の画像復号装置４０は、垂直方向の有効ライン数
が例えば１１５２本の高解像度画像をＭＰＥＧ２で画像
圧縮したビットストリームが入力され、この入力された
ビットストリームを復号するとともに１／２の解像度に
縮小して、垂直方向の有効ライン数が例えば５７６本の
標準解像度画像を出力する装置である。
【０１７９】この画像復号装置４０は、圧縮された高解
像度画像のビットストリームが供給され、このビットス
トリームを解析するビットストリーム解析装置１１と、
データの発生頻度に応じた符号長を割り当てる可変長符
号化がされた上記ビットストリームを復号する可変長符
号復号装置１２と、ＤＣＴブロックの各係数に量子化ス
テップを掛ける逆量子化装置１３と、フィールドＤＣＴ
モードで離散コサイン変換がされたＤＣＴブロックに対
して縮小逆離散コサイン変換をして標準解像度画像を生
成するフィールドモード用縮小逆離散コサイン変換装置
１４と、フレームＤＣＴモードで離散コサイン変換がさ
れたＤＣＴブロックに対して縮小逆離散コサイン変換を
して標準解像度画像を生成するフレームモード用縮小逆
離散コサイン変換装置１５と、縮小逆離散コサイン変換
がされた標準解像度画像と動き補償がされた参照画像と
を加算する加算装置１６と、参照画像を一時記憶するフ
レームメモリ１７と、フレームメモリ１７が記憶した参
照画像にフィールド動き予測モードに対応した動き補償
をするフィールドモード用動き補償装置４１と、フレー
ムメモリ１７が記憶した参照画像にフレーム動き予測モ
ードに対応した動き補償をするフレームモード用動き補
償装置４２と、フレームメモリ１７に記憶した画像に対
してポストフィルタリングをすることにより、画枠変換
をするとともに画素の位相ずれを補正してテレビジョン
モニタ等に表示するための標準解像度の画像データを出
力する画枠変換・位相ずれ補正装置２０とを備えてい
る。
【０１８０】フィールドモード用縮小逆離散コサイン変
換装置１４は、入力されたビットストリームのマクロブ
ロックが、フィールドＤＣＴモードで離散コサイン変換
されている場合に用いられる。フィールドモード用縮小
逆離散コサイン変換装置１４は、フィールドＤＣＴモー
ドで離散コサイン変換がされたマクロブロック内の８×
８個の係数が示されたＤＣＴブロックに対して、図３８
で示したような、低域の４×４の係数のみに逆離散コサ
イン変換を行う。すなわち、水平方向及び垂直方向の低
域の４点の離散コサイン係数に基づき縮小逆離散コサイ
ン変換を行う。このフィールドモード用縮小逆離散コサ
イン変換装置１４では、以上のような縮小逆離散コサイ
ン変換を行うことにより、１つのＤＣＴブロックが４×
４の画素から構成される標準解像度画像を復号すること
ができる。この復号された画像データの各画素の位相
は、図２に示すように、トップフィールドの各画素の垂
直方向の位相が１／２、５／２・・・となり、ボトムフ
ィールドの各画素の垂直方向の位相が１、３・・・とな
る。
【０１８１】フレームモード用縮小逆離散コサイン変換
装置１５は、入力されたビットストリームのマクロブロ
ックが、フレームＤＣＴモードで離散コサイン変換され
ている場合に用いられる。フレームモード用縮小逆離散
コサイン変換装置１５は、フレームＤＣＴモードで離散
コサイン変換がされたマクロブロック内の８×８個の係
数が示されたＤＣＴブロックに対して、縮小逆離散コサ
イン変換を行う。そして、フレームモード用縮小逆離散
コサイン変換装置１５では、１つのＤＣＴブロックが４
×４の画素から構成される解像度画像を復号するととも
に、フィールドモード用縮小逆離散コサイン変換装置１
４で生成した標準解像度画像の画素の位相と同位相の画
像を生成する。すなわち、フレームモード用縮小逆離散
コサイン変換装置１５で復号された画像データの各画素
の位相は、図２に示すように、トップフィールドの各画
素の垂直方向の位相が１／２、５／２・・・となり、ボ
トムフィールドの各画素の垂直方向の位相が１、３・・
・となる。
【０１８２】フィールドモード用動き補償装置４１は、
マクロブロックの動き予測モードがフィールド動き予測
モードの場合に用いられる。フィールドモード用動き補
償装置４１は、フレームメモリ１７に記憶されている標
準解像度画像の参照画像に対して、トップフィールドと
ボトムフィールドとの間の位相ずれ成分を考慮した形で
１／４画素精度で補間処理を行い、フィールド動き予測
モードに対応した動き補償をする。このフィールドモー
ド用動き補償装置４１により動き補償がされた参照画像
は、加算装置１６に供給され、インター画像に合成され
る。
【０１８３】フレームモード用動き補償装置４２は、マ
クロブロックの動き予測モードがフレーム動き予測モー
ドの場合に用いられる。フレームモード用動き補償装置
４２は、フレームメモリ１７に記憶されている標準解像
度画像の参照画像に対して、トップフィールドとボトム
フィールドとの間の位相ずれ成分を考慮した形で１／４
画素精度で補間処理を行い、フレーム動き予測モードに
対応した動き補償をする。このフレームモード用動き補
償装置４２により動き補償がされた参照画像は、加算装
置１６に供給され、インター画像に合成される。
【０１８４】本発明の第３の実施の形態の画像復号装置
４０では、以上のような構成を有することにより、高解
像度画像をＭＰＥＧ２で画像圧縮したビットストリーム
を、復号するとともに解像度を１／２に縮小して、標準
解像度画像を出力することができる。
【０１８５】つぎに、フィールドモード用動き補償装置
４１及びフレームモード用動き補償装置４２について、
さらに詳細に説明する。
【０１８６】まず、フィールドモード用動き補償装置４
１が行う補間処理について説明する。このフィールドモ
ード用動き補償装置４１では、以下に説明するように、
高解像度画像の１／２画素精度の動き補償に対応するよ
うに、フレームメモリ１７に記憶されている標準解像度
画像の画素を補間して、１／４画素精度の画素を生成す
る。
【０１８７】水平方向の画素に対しては、まず、２倍補
間フィルタを用いて、フレームメモリ１７に記憶された
整数精度の画素から１／２画素精度の画素を生成する。
フィールドモード用動き補償装置４１は、例えば、ハー
フバンドフィルタを用いて、１／２画素精度の画素を生
成する。続いて、線形補間フィルタを用いて、２倍補間
フィルタを用いて生成した１／２画素精度の画素から１
／４画素精度の画素を生成する。フィールドモード用動
き補償装置４１では、ハーフバンドフィルタのような２
倍補間フィルタを用いることで、タップ数に応じた積和
演算を行うことなく、フレームメモリ１７に記憶した標
準解像度画像の画素と同位相の画素を高解像度画像に対
応した参照画像として出力することができる。そのた
め、このフィールドモード用動き補償装置４１では、高
速な処理を行うことができる。また、このフィールドモ
ード用動き補償装置４１では、以上の処理を１つの行列
を用いて演算してもよく、また、４倍補間フィルタを用
いて整数精度の画素から１／４精度の画素を生成しても
良い。
【０１８８】垂直方向の画素に対しては、まず、図２６
（ａ）に示すように、トップフィールドの各画素の垂直
方向の位相が１／２、５／２・・・となり、ボトムフィ
ールドの各画素の垂直方向の位相が１、３・・・となる
ような、トップフィールドとボトムフィールドとのフィ
ールド間で位相ずれを含む標準解像度画像の整数精度の
画素を、フレームメモリ１７から取り出す。
【０１８９】続いて、垂直方向の画素に対しては、図２
６（ｂ）に示すように、ハーフバンドフィルタのような
２倍補間フィルタを用いて、フィールド内で、フレーム
メモリ１７から取り出した整数精度の画素から１／２画
素精度の画素を生成する。すなわち、トップフィールド
の整数精度の画素に基づきトップフィールドの１／２画
素精度の画素を生成し、ボトムフィールドの整数精度の
画素に基づきボトムフィールドの１／２画素精度の画素
を生成する。例えば、この図２６（ｂ）に示すように、
垂直方向の位相が７／２の位置にあるトップフィールド
の画素は、・・・１／２，５／２，９／２，１３／２・
・・の位置にあるトップフィールドの画素から２倍補間
をされて生成される。また、垂直方向の位相が４の位置
にあるボトムフィールドの画素は、・・・１，３，５，
７・・・の位置にあるボトムフィールドの画素から２倍
補間をされて生成される。
【０１９０】続いて、垂直方向の画素に対しては、図２
６（ｃ）に示すように、線形補間フィルタを用いて、フ
ィールド内で、２倍補間フィルタを用いて生成した１／
２画素精度の画素から１／４画素精度の画素を生成す
る。すなわち、トップフィールドの１／２画素精度の画
素に基づきトップフィールドの１／４画素精度の画素を
生成し、ボトムフィールドの１／２画素精度の画素に基
づきボトムフィールドの１／４画素精度の画素を生成す
る。例えば、この図２６（ｃ）に示すように、垂直方向
の位相が９／４の位置にあるトップフィールドの画素
は、２，５／２の位置にあるトップフィールドの画素か
ら線形補間をされて生成される。また、垂直方向の位相
が１０／４の位置にあるボトムフィールドの画素は、９
／４，１１／４の位置にあるボトムフィールドの画素か
ら線形補間をされて生成される。
【０１９１】このように垂直方向の補間を行うことによ
りフィールドモード用動き補償装置４１では、ハーフバ
ンドフィルタのような２倍補間フィルタを用いること
で、タップ数に応じた積和演算を行うことなく、フレー
ムメモリ１７に記憶した標準解像度画像の画素と同位相
の画素を高解像度画像に対応した参照画像として出力す
ることができる。そのため、このフィールドモード用動
き補償装置４１では、高速な処理を行うことができる。
また、このフィールドモード用動き補償装置４１では、
以上の処理を１つの行列を用いて演算してもよく、ま
た、４倍補間フィルタを用いて整数精度の画素から１／
４精度の画素を生成しても良い。
【０１９２】つぎに、フレームモード用動き補償装置４
２が行う補間処理について説明する。このフレームモー
ド用動き補償装置４２では、以下に説明するように、高
解像度画像の１／２画素精度の動き補償に対応するよう
に、フレームメモリ１７に記憶されている標準解像度画
像の画素を補間して、１／４画素精度の画素を生成す
る。
【０１９３】水平方向の画素に対しては、まず、２倍補
間フィルタを用いて、フレームメモリ１７に記憶された
整数精度の画素から１／２画素精度の画素を生成する。
フレームモード用動き補償装置４２は、例えば、ハーフ
バンドフィルタを用いて、１／２画素精度の画素を生成
する。続いて、線形補間フィルタを用いて、２倍補間フ
ィルタを用いて生成した１／２画素精度の画素から１／
４画素精度の画素を生成する。フレームモード用動き補
償装置４２では、ハーフバンドフィルタのような２倍補
間フィルタを用いることで、タップ数に応じた積和演算
を行うことなく、フレームメモリ１７に記憶した標準解
像度画像の画素と同位相の画素を高解像度画像に対応し
た参照画像として出力することができる。そのため、こ
のフレームモード用動き補償装置４２では、高速な処理
を行うことができる。また、このフレームモード用動き
補償装置４２では、以上の処理を１つの行列を用いて演
算してもよく、また、４倍補間フィルタを用いて整数精
度の画素から１／４精度の画素を生成しても良い。
【０１９４】垂直方向の画素に対しては、まず、図２７
（ａ）に示すように、トップフィールドの各画素の垂直
方向の位相が１／２、５／２・・・となり、ボトムフィ
ールドの各画素の垂直方向の位相が１、３・・・となる
ような、トップフィールドとボトムフィールドとのフィ
ールド間で位相ずれを含む標準解像度画像の整数精度の
画素を、フレームメモリ１７から取り出す。
【０１９５】続いて、垂直方向の画素に対しては、図２
７（ｂ）に示すように、ハーフバンドフィルタのような
２倍補間フィルタを用いて、フィールド内で、フレーム
メモリ１７から取り出した整数精度の画素から１／２画
素精度の画素を生成する。すなわち、トップフィールド
の整数精度の画素に基づきトップフィールドの１／２画
素精度の画素を生成し、ボトムフィールドの整数精度の
画素に基づきボトムフィールドの１／２画素精度の画素
を生成する。例えば、この図２７（ｂ）に示すように、
垂直方向の位相が７／２の位置にあるトップフィールド
の画素は、・・・１／２，５／２，９／２，１３／２・
・・の位置にあるトップフィールドの画素から２倍補間
をされて生成される。また、垂直方向の位相が４の位置
にあるボトムフィールドの画素は、・・・１，３，５，
７・・・の位置にあるボトムフィールドの画素から２倍
補間をされて生成される。
【０１９６】続いて、垂直方向の画素に対しては、図２
７（ｃ）に示すように、線形補間フィルタを用いて、ト
ップフィールドとボトムフィールドの２つのフィールド
間で、２倍補間フィルタを用いて生成した１／２画素精
度の画素から１／４画素精度の画素を生成する。例え
ば、この図２７（ｃ）に示すように、垂直方向の位相が
１／４の位置にある画素は、０の位置にあるトップフィ
ールドの画素と、１／２の位置にあるボトムフィールド
の画素から線形補間をされて生成される。また、垂直方
向の位相が３／４の位置にある画素は、１／２の位置に
あるボトムフィールドの画素と１の位置にあるトップフ
ィールドの画素から線形補間をされて生成される。
【０１９７】このように垂直方向の補間を行うことによ
りフレームモード用動き補償装置４２では、ハーフバン
ドフィルタのような２倍補間フィルタを用いることで、
タップ数に応じた積和演算を行うことなく、フレームメ
モリ１７に記憶した標準解像度画像の画素と同位相の画
素を高解像度画像に対応した参照画像として出力するこ
とができる。そのため、このフィールドモード用動き補
償装置４１では、高速な処理を行うことができる。ま
た、トップフィールドとボトムフィールドとの間で位相
ずれが生じず、いわゆるフィールド反転やフィールドミ
ックスを防ぐことができ、画質の劣化を防止することが
できる。また、このフレームモード用動き補償装置４２
では、以上の処理を１つの行列を用いて演算してもよ
く、また、４倍補間フィルタを用いて整数精度の画素か
ら１／４精度の画素を生成しても良い。
【０１９８】以上のように本発明の第３の実施の形態の
画像復号装置４０では、フィールドＤＣＴモードでは、
トップフィールドとボトムフィールドとのそれぞれに４
×４の縮小逆離散コサイン変換を行い標準解像度画像を
復号し、フレームＤＣＴモードでは、フレーム分離をし
て縮小逆離散コサイン変換を行い標準解像度画像を復号
する。この画像復号装置４０では、このようにフィール
ドＤＣＴモードとフレームＤＣＴモードとでそれぞれで
処理を行うため飛び越し走査画像が有するインタレース
性を損なうことなく、かつ、フィールドＤＣＴモードと
フレームＤＣＴモードとで復号した画像の位相を同一と
することができ、出力する画像の画質を劣化させない。
さらに、この画像復号装置４０では、動き補償に起因す
る画質の劣化を防止する。また、この画像復号装置４０
では、動き補償の際に、２倍補間フィルタを用いてフレ
ームメモリ１７に記憶した画像の補間をすることで、タ
ップ数に応じた積和演算を行うことなく、高速に処理が
できる。
【０１９９】なお、この画像復号装置４０では、入力さ
れたビットストリーム中の動きベクトルの値に応じて、
必要な画素のみを生成しても良い。また、水平方向と垂
直方向の動きベクトルの値に応じたフィルタ係数を予め
用意しておき、垂直方向と水平方向の補間を１度に行っ
ても良い。
【０２００】ところで、この第３の実施の形態の画像復
号装置４０のフレームモード用動き補償装置４２は、以
下に説明するように垂直方向の画素に対して、トップフ
ィールドとボトムフィールドとを区別せずに補間処理を
行っても良い。
【０２０１】まず、図２８（ａ）に示すように、トップ
フィールドの各画素の垂直方向の位相が１／２、５／２
・・・となり、ボトムフィールドの各画素の垂直方向の
位相が１、３・・・となるような、トップフィールドと
ボトムフィールドとのフィールド間で位相ずれを含む標
準解像度画像の整数精度の画素を、フレームメモリ１７
から取り出す。なお、この図２８には、トップフィール
ドとボトムフィールドとを区別せずに画素値を記載して
いる。
【０２０２】続いて、垂直方向の画素に対して、不等間
隔のサンプリング点から補間値を生成するフィルタを用
いて、トップフィールドとボトムフィールドとの間で補
間を行い、図２８（ｃ）に示すような１／４画素精度の
画素を生成する。この不等間隔のサンプリング点から補
間値を生成するフィルタは、例えば、Ｎ次元曲線近似方
式等を用いて設計することが可能である。Ｎ次元曲線近
似等を用いて設計されたフィルタを用いることにより、
フレームメモリ１７から取り出された画素をそのまま出
力する場合には、演算を行う必要がなく、処理を高速化
することができる。
【０２０３】また、垂直方向の画素に対しては、図２８
（ｂ）に示すようにトップフィールドとボトムフィール
ドとの間で画素の補間を行って１／２画素精度の画素を
生成し、図２８（ｃ）に示すように、線形補間フィルタ
を用いてトップフィールドとボトムフィールドの２つの
フィールド間で１／４画素精度の画素を生成してもよ
い。この場合、２段階のフィルタ処理に相当する係数を
予め用意しておき、その係数をフレームメモリ１７から
取り出した画素値に直接演算することにより、動き補償
の処理を高速化することができる。
【０２０４】フレームモード用動き補償装置４２は、図
２７で示したフィールド内で２倍補間を行う補間処理
と、図２８で示したフィールドを区別せずに行う補間処
理とを、所定の条件で切り換えて、画像の内容等に応じ
た最適な補間処理を行っても良い。
【０２０５】（第４の実施の形態）つぎに、本発明の第
４の実施の形態の画像復号装置について説明する。
【０２０６】図２９に示すように、本発明の第４の実施
の形態の画像復号装置５０は、垂直方向の有効ライン数
が例えば１１５２本の高解像度画像をＭＰＥＧ２で画像
圧縮したビットストリームが入力され、この入力された
ビットストリームを復号するとともに１／２の解像度に
縮小して、垂直方向の有効ライン数が例えば５７６本の
標準解像度画像を出力する装置である。
【０２０７】この画像復号装置５０は、圧縮された高解
像度画像のビットストリームが供給され、このビットス
トリームを解析するビットストリーム解析装置１１と、
データの発生頻度に応じた符号長を割り当てる可変長符
号化がされた上記ビットストリームを復号する可変長符
号復号装置１２と、ＤＣＴブロックの各係数に量子化ス
テップを掛ける逆量子化装置１３と、フィールドＤＣＴ
モードで離散コサイン変換がされたＤＣＴブロックに対
して縮小逆離散コサイン変換をして標準解像度画像を生
成するフィールドモード用位相補正縮小逆離散コサイン
変換装置３１と、フレームＤＣＴモードで離散コサイン
変換がされたＤＣＴブロックに対して縮小逆離散コサイ
ン変換をして標準解像度画像を生成するフレームモード
用位相補正縮小逆離散コサイン変換装置３２と、縮小逆
離散コサイン変換がされた標準解像度画像と動き補償が
された参照画像とを加算する加算装置１６と、参照画像
を一時記憶するフレームメモリ１７と、フレームメモリ
１７が記憶した参照画像にフィールド動き予測モードに
対応した動き補償をするフィールドモード用動き補償装
置５１と、フレームメモリ１７が記憶した参照画像にフ
レーム動き予測モードに対応した動き補償をするフレー
ムモード用動き補償装置５２と、フレームメモリ１７に
記憶した画像に対して、画枠変換をしてモニタ等に表示
するための標準解像度の画像データを出力する画枠変換
装置３３とを備えている。
【０２０８】フィールドモード用位相補正縮小逆離散コ
サイン変換装置３１は、入力されたビットストリームの
マクロブロックが、フィールドＤＣＴモードで離散コサ
イン変換されている場合に用いられる。フィールドモー
ド用位相補正縮小逆離散コサイン変換装置３１は、フィ
ールドＤＣＴモードで離散コサイン変換がされたマクロ
ブロック内の８×８個の係数が示されたＤＣＴブロック
の全ての係数のうち４×８の係数のみに対して、トップ
フィールドとボトムフィールドとの間の垂直方向の画素
の位相ずれを補正した逆離散コサイン変換を行う。すな
わち、水平方向に対して低域の４点の離散コサイン係数
に基づき逆離散コサイン変換を行い、垂直方向に対して
８点の離散コサイン係数に基づき位相ずれを補正した逆
離散コサイン変換を行う。具体的には、トップフィール
ドの垂直方向の各画素に対しては、１／４画素分の位相
補正を行い、ボトムフィールドの垂直方向の各画素に対
しては、３／４画素分の位相補正を行う。そして、以上
のような縮小逆離散コサイン変換を行うことにより、図
９に示すような、トップフィールドの各画素の垂直方向
の位相が１／４、９／４・・・となり、ボトムフィール
ドの各画素の垂直方向の位相が５／４、１３／４・・・
となる標準解像度画像（下位レイヤー）を生成する。
【０２０９】フレームモード用位相補正縮小逆離散コサ
イン変換装置３２は、入力されたビットストリームのマ
クロブロックが、フレームＤＣＴモードで離散コサイン
変換されている場合に用いられる。フレームモード用位
相補正縮小逆離散コサイン変換装置３２は、フレームＤ
ＣＴモードで離散コサイン変換がされたマクロブロック
内の８×８個の係数が示されたＤＣＴブロックに対し
て、１ブロック処理或いは２ブロック処理により、トッ
プフィールドとボトムフィールドとの間の垂直方向の画
素の位相ずれを補正した縮小逆離散コサイン変換を行
う。そして、フィールドモード用位相補正縮小逆離散コ
サイン変換装置３１で生成した標準解像度画像の画素の
位相と同位相の画像を生成する。すなわち、１ブロック
処理或いは２ブロック処理で縮小逆離散コサイン変換を
行うことにより、図９に示すような、トップフィールド
の各画素の垂直方向の位相が１／４、９／４・・・とな
り、ボトムフィールドの各画素の垂直方向の位相が５／
４、１３／４・・・となる標準解像度画像（下位レイヤ
ー）を生成する。
【０２１０】フィールドモード用動き補償装置５１は、
マクロブロックの動き予測モードがフィールド動き予測
モードの場合に用いられる。フィールドモード用動き補
償装置５１は、フレームメモリ１７に記憶されている標
準解像度画像の参照画像に対して、１／４画素精度で補
間処理を行い、フィールド動き予測モードに対応した動
き補償をする。このフィールドモード用動き補償装置５
１により動き補償がされた参照画像は、加算装置１６に
供給され、インター画像に合成される。
【０２１１】フレームモード用動き補償装置５２は、マ
クロブロックの動き予測モードがフレーム動き予測モー
ドの場合に用いられる。フレームモード用動き補償装置
５２は、フレームメモリ１７に記憶されている標準解像
度画像の参照画像に対して、１／４画素精度で補間処理
を行い、フレーム動き予測モードに対応した動き補償を
する。このフレームモード用動き補償装置５２により動
き補償がされた参照画像は、加算装置１６に供給され、
インター画像に合成される。
【０２１２】本発明の第４の実施の形態の画像復号装置
５０では、以上のような構成を有することにより、高解
像度画像をＭＰＥＧ２で画像圧縮したビットストリーム
を、復号するとともに１／２の解像度に縮小して、標準
解像度画像を出力することができる。
【０２１３】つぎに、フィールドモード用動き補償装置
５１及びフレームモード用動き補償装置５２について、
さらに詳細に説明する。
【０２１４】まず、フレームモード用動き補償装置５２
が行う補間処理について説明する。このフレームモード
用動き補償装置５２では、以下に説明するように、高解
像度画像の１／２画素精度の動き補償に対応するよう
に、フレームメモリ１７に記憶されている標準解像度画
像の画素を補間して、１／４画素精度の画素を生成す
る。
【０２１５】水平方向の画素に対しては、まず、２倍補
間フィルタを用いて、フレームメモリ１７に記憶された
整数精度の画素から１／２画素精度の画素を生成する。
フィールドモード用動き補償装置５１は、例えば、ハー
フバンドフィルタを用いて、１／２画素精度の画素を生
成する。続いて、線形補間フィルタを用いて、２倍補間
フィルタを用いて生成した１／２画素精度の画素から１
／４画素精度の画素を生成する。フィールドモード用動
き補償装置５１では、ハーフバンドフィルタのような２
倍補間フィルタを用いることで、タップ数に応じた積和
演算を行うことなく、フレームメモリ１７に記憶した標
準解像度画像の画素と同位相の画素を高解像度画像に対
応した参照画像として出力することができる。そのた
め、このフィールドモード用動き補償装置５１では、高
速な処理を行うことができる。また、このフィールドモ
ード用動き補償装置５１では、以上の処理を１つの行列
を用いて演算してもよく、また、４倍補間フィルタを用
いて整数精度の画素から１／４精度の画素を生成しても
良い。
【０２１６】垂直方向の画素に対しては、まず、図３０
（ａ）に示すように、トップフィールドの各画素の垂直
方向の位相が１／２、５／２、９／２・・・となり、ボ
トムフィールドの各画素の垂直方向の位相が３／２、７
／２、１１／２・・・となるような、トップフィールド
とボトムフィールドとのフィールド間で位相ずれが補正
された標準解像度画像の整数精度の画素を、フレームメ
モリ１７から取り出す。
【０２１７】続いて、垂直方向の画素に対しては、図３
０（ｂ）に示すように、ハーフバンドフィルタのような
２倍補間フィルタを用いて、フィールド内で、フレーム
メモリ１７から取り出した整数精度の画素から１／２画
素精度の画素を生成する。すなわち、トップフィールド
の整数精度の画素に基づきトップフィールドの１／２画
素精度の画素が生成され、ボトムフィールドの整数精度
の画素に基づきボトムフィールドの１／２画素精度の画
素が生成される。例えば、この図３０（ｂ）に示すよう
に、垂直方向の位相が７／２の位置にあるトップフィー
ルドの画素は、・・・１／２，５／２，９／２，１３／
２・・・の位置にあるトップフィールドの画素から２倍
補間をされて生成される。また、垂直方向の位相が９／
２の位置にあるボトムフィールドの画素は、・・・３／
２，７／２，１１／２，１５／２・・・の位置にあるボ
トムフィールドの画素から２倍補間をされて生成され
る。
【０２１８】続いて、垂直方向の画素に対しては、図３
０（ｃ）に示すように、線形補間フィルタを用いて、フ
ィールド内で、２倍補間フィルタを用いて生成した１／
２画素精度の画素から１／４画素精度の画素を生成す
る。すなわち、トップフィールドの１／２画素精度の画
素に基づきトップフィールドの１／４画素精度の画素を
生成し、ボトムフィールドの１／２画素精度の画素に基
づきボトムフィールドの１／４画素精度の画素を生成す
る。例えば、この図３０（ｃ）に示すように、垂直方向
の位相が９／４の位置にあるトップフィールドの画素
は、２，５／２の位置にあるトップフィールドの画素か
ら線形補間をされて生成される。また、垂直方向の位相
が１１／４の位置にあるボトムフィールドの画素は、１
０／４，３の位置にあるボトムフィールドの画素から線
形補間をされて生成される。
【０２１９】このように垂直方向の補間を行うことによ
りフィールドモード用動き補償装置５１では、ハーフバ
ンドフィルタのような２倍補間フィルタを用いること
で、タップ数に応じた積和演算を行うことなく、フレー
ムメモリ１７に記憶した標準解像度画像の画素と同位相
の画素を高解像度画像に対応した参照画像として出力す
ることができる。そのため、このフィールドモード用動
き補償装置５１では、高速な処理を行うことができる。
また、このフィールドモード用動き補償装置５１では、
以上の処理を１つの行列を用いて演算してもよく、ま
た、４倍補間フィルタを用いて整数精度の画素から１／
４精度の画素を生成しても良い。
【０２２０】つぎに、フレームモード用動き補償装置５
２が行う補間処理について説明する。このフレームモー
ド用動き補償装置５２では、以下に説明するように、高
解像度画像の１／２画素精度の動き補償に対応するよう
に、フレームメモリ１７に記憶されている標準解像度画
像の画素を補間して、１／４画素精度の画素を生成す
る。
【０２２１】水平方向の画素に対しては、まず、２倍補
間フィルタを用いて、フレームメモリ１７に記憶された
整数精度の画素から１／２画素精度の画素を生成する。
フレームモード用動き補償装置５２は、例えば、ハーフ
バンドフィルタを用いて、１／２画素精度の画素を生成
する。続いて、線形補間フィルタを用いて、２倍補間フ
ィルタを用いて生成した１／２画素精度の画素から１／
４画素精度の画素を生成する。フレームモード用動き補
償装置５２では、ハーフバンドフィルタのような２倍補
間フィルタを用いることで、タップ数に応じた積和演算
を行うことなく、フレームメモリ１７に記憶した標準解
像度画像の画素と同位相の画素を高解像度画像に対応し
た参照画像として出力することができる。そのため、こ
のフレームモード用動き補償装置５２では、高速な処理
を行うことができる。また、このフレームモード用動き
補償装置５２では、以上の処理を１つの行列を用いて演
算してもよく、また、４倍補間フィルタを用いて整数精
度の画素から１／４精度の画素を生成しても良い。
【０２２２】垂直方向の画素に対しては、まず、図３１
（ａ）に示すように、トップフィールドの各画素の垂直
方向の位相が１／２、５／２、９／２・・・となり、ボ
トムフィールドの各画素の垂直方向の位相が３／２、７
／２、１１／２・・・となるような、トップフィールド
とボトムフィールドとのフィールド間で位相ずれが無い
標準解像度画像の整数精度の画素を、フレームメモリ１
７から取り出す。
【０２２３】続いて、垂直方向の画素に対しては、図３
１（ｂ）に示すように、一方のフィールドに対しては、
ハーフバンドフィルタのような２倍補間フィルタを用い
て、フレームメモリ１７から取り出した整数精度の画素
から１／２画素精度の画素を生成する。また、他方のフ
ィールドに対しては、フィルタを用いて、フレームメモ
リ１７から取り出した整数精度の画素から、１／４及び
３／４位相ずれた画素を生成する。例えば、トップフィ
ールドの整数精度の画素に基づきトップフィールドの１
／２画素精度の画素を生成し、ボトムフィールドの整数
精度の画素に基づきボトムフィールドの１／４、３／４
画素分の位相がずれた画素を生成する。具体的には、こ
の図３１（ｂ）に示すように、垂直方向の位相が７／２
の位置にあるトップフィールドの画素は、・・・１／
２，５／２，９／２，１３／２・・・の位置にあるトッ
プフィールドの画素から２倍補間をされて生成される。
また、垂直方向の位相が４及び５の位置にあるボトムフ
ィールドの画素は、・・・３／２，７／２，１１／２，
１５／２・・・の位置にあるボトムフィールドの画素か
ら１／４又は３／４位相がずれた補間がされて生成され
る。
【０２２４】続いて、垂直方向の画素に対しては、図３
１（ｃ）に示すように、線形補間フィルタを用いて、ト
ップフィールドとボトムフィールドの２つのフィールド
間で、生成した１／２画素精度の画素から１／４画素精
度の画素を生成する。例えば、この図３１（ｃ）に示す
ように、垂直方向の位相が１／４の位置にある画素は、
０の位置にあるトップフィールドの画素と、１／２の位
置にあるボトムフィールドの画素から線形補間をされて
生成される。また、垂直方向の位相が３／４の位置にあ
る画素は、１／２の位置にあるボトムフィールドの画素
と１の位置にあるトップフィールドの画素から線形補間
をされて生成される。
【０２２５】このように垂直方向の補間を行うことによ
りフレームモード用動き補償装置５２では、ハーフバン
ドフィルタのような２倍補間フィルタを用いることで、
タップ数に応じた積和演算を行うことなく、フレームメ
モリ１７に記憶した標準解像度画像の画素と同位相の画
素を高解像度画像に対応した参照画像として出力するこ
とができる。そのため、このフィールドモード用動き補
償装置５１では、高速な処理を行うことができる。ま
た、トップフィールドとボトムフィールドとの間で位相
ずれが生じず、いわゆるフィールド反転やフィールドミ
ックスを防ぐことができ、画質の劣化を防止することが
できる。また、このフレームモード用動き補償装置５２
では、以上の処理を１つの行列を用いて演算してもよ
く、また、４倍補間フィルタを用いて整数精度の画素か
ら１／４精度の画素を生成しても良い。
【０２２６】以上のように本発明の第３の実施の形態の
画像復号装置５０では、フィールドＤＣＴモードでは、
トップフィールドとボトムフィールドとのそれぞれに４
×４の縮小逆離散コサイン変換を行うとともに位相ずれ
を補正した標準解像度画像を復号し、フレームＤＣＴモ
ードでは、フレーム分離をして縮小逆離散コサイン変換
を行い位相ずれを補正した標準解像度画像を復号する。
この画像復号装置５０では、このようにフィールドＤＣ
ＴモードとフレームＤＣＴモードとでそれぞれで処理を
行うため飛び越し走査画像が有するインタレース性を損
なうことなく、かつ、フィールドＤＣＴモードとフレー
ムＤＣＴモードとで復号した画像の位相を同一とするこ
とができ、出力する画像の画質を劣化させない。さら
に、この画像復号装置５０では、動き補償に起因する画
質の劣化を防止する。また、この画像復号装置５０で
は、動き補償の際に、２倍補間フィルタを用いてフレー
ムメモリ１７に記憶した画像の補間をすることで、タッ
プ数に応じた積和演算を行うことなく、高速に処理がで
きる。
【０２２７】なお、この画像復号装置５０では、入力さ
れたビットストリーム中の動きベクトルの値に応じて、
必要な画素のみを生成しても良い。また、水平方向と垂
直方向の動きベクトルの値に応じたフィルタ係数を予め
用意しておき、垂直方向と水平方向の補間を１度に行っ
ても良い。
【０２２８】ところで、この第４の実施の形態の画像復
号装置５０のフレームモード用動き補償装置５２は、以
下に説明するように垂直方向の画素に対して、トップフ
ィールドとボトムフィールドとを区別せずに補間処理を
行っても良い。
【０２２９】まず、図３２（ａ）に示すように、トップ
フィールドの各画素の垂直方向の位相が１／２、５／２
・・・となり、ボトムフィールドの各画素の垂直方向の
位相が３／２、７／２・・・となるような、トップフィ
ールドとボトムフィールドとのフィールド間で位相ずれ
が無い標準解像度画像の整数精度の画素を、フレームメ
モリ１７から取り出す。なお、この図３２には、トップ
フィールドとボトムフィールドとを区別せずに画素値を
記載している。
【０２３０】続いて、垂直方向の画素に対して、ハーフ
バンドフィルタ等の２倍補間フィルタ等を用いて、トッ
プフィールドとボトムフィールドとの間で補間を行い、
図３２（ｂ）に示すような１／２画素精度の画素を生成
する。このハーフバンドフィルタ等を用いることによ
り、フレームメモリ１７から取り出された画素をそのま
ま出力する場合には、演算を行う必要がなく、処理を高
速化することができる。
【０２３１】続いて、２倍補間をした画素を、フィール
ド間で線形補間フィルタを用いて補間を行い、図３２
（ｃ）に示すような１／４画素精度の画素を生成する。
【０２３２】フレームモード用動き補償装置５２は、こ
のような２段階のフィルタ処理に相当する係数を予め用
意しておき、その係数をフレームメモリ１７から取り出
した画素値に直接演算することにより、動き補償の処理
を高速化することができる。
【０２３３】また、フレームモード用動き補償装置５２
は、１／４補間フィルタを用いて、図３２（ａ）に示す
整数精度の画素から、図３２（ｃ）に示す１／４画素精
度の画素を直接生成してもよい。
【０２３４】また、 フレームモード用動き補償装置５
２は、図３１で示したフィールド内で２倍補間を行う補
間処理と、図３２で示したフィールドを区別せずに行う
補間処理とを、所定の条件で切り換えて、画像の内容等
に応じた最適な補間処理を行っても良い。
【０２３５】（第５の実施の形態）つぎに、本発明の第
５の実施の形態の画像復号装置について説明する。
【０２３６】図３３に示すように、本発明の第５の実施
の形態の画像復号装置６０は、垂直方向の有効ライン数
が例えば１１５２本の高解像度画像をＭＰＥＧ２で画像
圧縮したビットストリームが入力され、この入力された
ビットストリームを復号するとともに１／２の解像度に
縮小して、垂直方向の有効ライン数が例えば５７６本の
標準解像度画像を出力する装置である。
【０２３７】この画像復号装置６０は、圧縮された高解
像度画像のビットストリームが供給され、このビットス
トリームを解析するビットストリーム解析装置１１と、
データの発生頻度に応じた符号長を割り当てる可変長符
号化がされた上記ビットストリームを復号する可変長符
号復号装置１２と、ＤＣＴブロックの各係数に量子化ス
テップを掛ける逆量子化装置１３と、フィールドＤＣＴ
モードで離散コサイン変換がされたＤＣＴブロックに対
して縮小逆離散コサイン変換をして標準解像度画像を生
成するフィールドモード用縮小逆離散コサイン変換装置
１４と、フレームＤＣＴモードで離散コサイン変換がさ
れたＤＣＴブロックに対して縮小逆離散コサイン変換を
して標準解像度画像を生成するフレームモード用縮小逆
離散コサイン変換装置１５と、縮小逆離散コサイン変換
がされた標準解像度画像と動き補償がされた参照画像と
を加算する加算装置１６と、参照画像を一時記憶するフ
レームメモリ１７と、フレームメモリ１７が記憶した参
照画像にフィールド動き予測モードに対応した動き補償
をするフィールドモード用動き補償装置６１と、フレー
ムメモリ１７が記憶した参照画像にフレーム動き予測モ
ードに対応した動き補償をするフレームモード用動き補
償装置６２と、フィールドモード用動き補償装置６１の
フィルタリングのタップ数を決定するフィールドモード
用フィルタ決定装置６３と、フレームモード用動き補償
装置６２のフィルタリングのタップ数を決定するフレー
ムモード用フィルタ決定装置６４と、フレームメモリ１
７に記憶した画像に対してポストフィルタリングをする
ことにより、画枠変換をするとともに画素の位相ずれを
補正してテレビジョンモニタ等に表示するための標準解
像度の画像データを出力する画枠変換・位相ずれ補正装
置２０とを備えている。
【０２３８】フィールドモード用縮小逆離散コサイン変
換装置１４は、入力されたビットストリームのマクロブ
ロックが、フィールドＤＣＴモードで離散コサイン変換
されている場合に用いられる。フィールドモード用縮小
逆離散コサイン変換装置１４は、フィールドＤＣＴモー
ドで離散コサイン変換がされたマクロブロック内の８×
８個の係数が示されたＤＣＴブロックに対して、図３８
で示したような、低域の４×４の係数のみに逆離散コサ
イン変換を行う。すなわち、水平方向及び垂直方向の低
域の４点の離散コサイン係数に基づき縮小逆離散コサイ
ン変換を行う。このフィールドモード用縮小逆離散コサ
イン変換装置１４では、以上のような縮小逆離散コサイ
ン変換を行うことにより、１つのＤＣＴブロックが４×
４の画素から構成される標準解像度画像を復号すること
ができる。この復号された画像データの各画素の位相
は、図２に示すように、トップフィールドの各画素の垂
直方向の位相が１／２、５／２・・・となり、ボトムフ
ィールドの各画素の垂直方向の位相が１、３・・・とな
る。
【０２３９】フレームモード用縮小逆離散コサイン変換
装置１５は、入力されたビットストリームのマクロブロ
ックが、フレームＤＣＴモードで離散コサイン変換され
ている場合に用いられる。フレームモード用縮小逆離散
コサイン変換装置１５は、フレームＤＣＴモードで離散
コサイン変換がされたマクロブロック内の８×８個の係
数が示されたＤＣＴブロックに対して、縮小逆離散コサ
イン変換を行う。そして、フレームモード用縮小逆離散
コサイン変換装置１５では、１つのＤＣＴブロックが４
×４の画素から構成される解像度画像を復号するととも
に、フィールドモード用縮小逆離散コサイン変換装置１
４で生成した標準解像度画像の画素の位相と同位相の画
像を生成する。すなわち、フレームモード用縮小逆離散
コサイン変換装置１５で復号された画像データの各画素
の位相は、図２に示すように、トップフィールドの各画
素の垂直方向の位相が１／２、５／２・・・となり、ボ
トムフィールドの各画素の垂直方向の位相が１、３・・
・となる。
【０２４０】フィールドモード用動き補償装置６１は、
マクロブロックの動き予測モードがフィールド動き予測
モードの場合に用いられる。フィールドモード用動き補
償装置６１は、フレームメモリ１７に記憶されている標
準解像度画像の参照画像に対して、位相ずれ成分を考慮
した形で１／４画素精度で補間処理を行い、フィールド
動き予測モードに対応した動き補償をする。このフィー
ルドモード用動き補償装置６１により動き補償がされた
参照画像は、加算装置１６に供給され、インター画像に
合成される。このフィールドモード用動き補償装置６１
は、所定のタップ数のフィルタリングをして補間処理を
行うが、このフィルタリングのタップ数は、フィールド
モード用フィルタ決定装置６３により決定される。
【０２４１】フレームモード用動き補償装置６２は、マ
クロブロックの動き予測モードがフレーム動き予測モー
ドの場合に用いられる。フレームモード用動き補償装置
６２は、フレームメモリ１７に記憶されている標準解像
度画像の参照画像に対して、位相ずれ成分を考慮した形
で１／４画素精度で補間処理を行い、フレーム動き予測
モードに対応した動き補償をする。このフレームモード
用動き補償装置６２により動き補償がされた参照画像
は、加算装置１６に供給され、インター画像に合成され
る。このフレームモード用動き補償装置６２は、所定の
タップ数のフィルタリングをして補間処理を行うが、こ
のフィルタリングのタップ数は、フレームモード用フィ
ルタ決定装置６４により決定される。
【０２４２】フィールドモード用フィルタ決定装置６３
は、入力された高解像度画像のビットストリームの中の
マクロブロックに関する情報に基づき、上記フィールド
モード用動き補償装置６１がフィルタリングをする際の
タップ数を決定する。
【０２４３】ここで、高解像度画像を標準解像度の画像
に縮小する場合、出力する標準解像度画像の画質と、フ
ィルタリングを行う際のタップ数とは、トレードオフの
関係が成り立つ。すなわち、フィルタリングのタップ数
を増やすことにより出力する標準解像度画像の画質は向
上するが、フィルタリングのタップ数を増やすことによ
り演算量が増加する。つまり、演算能力の低いフィール
ドモード用動き補償装置６１を用いている場合には、フ
ィルタリングのタップ数を増やして画質を向上させる
と、リアルタイムに動作しなくなる可能性が生じる。反
対に、フィルタリングのタップ数を減らしてリアルタイ
ム性を確保している場合には、画質が劣化する。
【０２４４】このフィールドモード用フィルタ決定装置
６３では、マクロブロックに関する情報に基づき、フィ
ールドモード用動き補償装置６１のタップ数を切り換
え、出力する標準解像度画像の画質を向上させるととも
にリアルタイム性も確保している。
【０２４５】フレームモード用フィルタ決定装置６４
は、入力された高解像度画像のビットストリームの中の
マクロブロックに関する情報に基づき、上記フレームモ
ード用動き補償装置６２がフィルタリングをする際のタ
ップ数を決定する。
【０２４６】このフレームモード用フィルタ決定装置６
４では、マクロブロックに関する情報に基づき、フィー
ルドモード用フィルタ決定装置６３のタップ数を切り換
え、出力する標準解像度画像の画質を向上させるととも
にリアルタイム性も確保している。
【０２４７】本発明の第５の実施の形態の画像復号装置
６０では、以上のような構成を有することにより、高解
像度画像をＭＰＥＧ２で画像圧縮したビットストリーム
を、復号するとともに解像度を１／２に縮小して、標準
解像度画像を出力することができる。
【０２４８】つぎに、フィールドモード用フィルタ決定
装置６３及びフレームモード用フィルタ決定装置６４に
より行われるフィルタのタップ数の決定処理について説
明する。フィールドモード用フィルタ決定装置６３及び
フレームモード用フィルタ決定装置６４は、例えば、例
えば、ビットストリーム解析装置１１により解析された
入力されたビットストリーム中の情報を基に、フィルタ
のタップ数を決定する。
【０２４９】フィルタのタップ数の決定のための情報
は、例えば、次の６通りの情報及びこれらの組み合わせ
となる。
【０２５０】第１に、処理されるデータが輝度信号であ
るか、色差信号であるかによりフィルタのタップ数を決
定する。この理由は、以下の通りである。
【０２５１】画質の主観的な評価は、輝度信号により大
きく影響する。また、デジタルテレビジョン放送で用い
られる４２０フォーマットにおいては、輝度信号は色差
信号の４倍の情報を持つ。さらに、ＭＰＥＧ２では、符
号化時に、輝度信号を用いて検出された動きベクトルが
色差信号にも用いられる。このため、輝度信号のための
動き補償には多くのタップ数を用いたフィルタリングを
施し、色差信号のための動き補償には線形補間、若しく
はそれに近い、少ないタップ数によるフィルタリングを
施すことで、見た目の画質を落とすことなく演算量を減
らすことが可能である。
【０２５２】第２に、処理されるデータが、Ｐピクチャ
に属するものであるか、Ｂピクチャに属するものである
かによりフィルタのタップ数を決定する。この理由は、
以下の通りである。
【０２５３】上記画像復号装置６０のようなＭＰＥＧ等
のビットストリームのＤＣＴ係数の低域のみを復号する
装置においては、動き補償に起因する誤差の蓄積による
画質の劣化が生じる。Ｐピクチャにおける誤差は、次の
Ｐピクチャ及びＢピクチャに影響を及ぼす。しかしなが
ら、Ｂピクチャにおける誤差は、伝搬しない。このた
め、Ｐピクチャに属する画素の動き補償には多くのタッ
プ数を用いたフィルタリングを施し、Ｂピクチャに属す
る画素の動き補償には線形補間、若しくはそれに近い、
少ないタップ数によるフィルタリングを施すことで、画
質を落とすことなく演算量を減らすことが可能である。
【０２５４】第３に、処理されるデータの動き補償モー
ドが、前方向予測モード／後方向予測モードであるか、
双方向予測モードであるかによりフィルタのタップ数を
決定する。この理由は、以下の通りである。
【０２５５】第２の場合と同様の理由により、前方向予
測モード若しくは後方向予測モードの場合の動き補償に
は多くのタップ数を用いたフィルタリングを施し、双方
向予測モードの場合の動き補償には線形補間、若しく
は、それに近い、少ないタップ数によるフィルタリング
を施すことで、画質を落とすことなく演算量を減らすこ
とが可能である。
【０２５６】第４に、処理されるデータを含むマクロブ
ロックの動きベクトルの値がどのような値であるかによ
りフィルタのタップ数を決定する。この理由は、以下の
通りである。
【０２５７】例えば、動き補償装置が、動きベクトルの
値により１／２画素精度の位相に相当する画素値を出力
する場合に比べて、１／４画素精度の位相に相当する画
素値を出力する場合の方が、少ないタップ数で補間を行
っても画質劣化が目立ちにくい。そのため、動きベクト
ルの値に応じてフィルタのタップ数を切り換えること
で、画質を落とすことなく演算量を減らすことが可能で
ある。
【０２５８】第５に、水平方向の補間処理であるか、垂
直方向の補間処理であるかによりフィルタのタップ数を
決定する。この理由は、以下の通りである。
【０２５９】特に飛び越し走査画像の場合、フィルタの
タップ数の減少による画質の劣化は、水平方向よりも垂
直方向により顕著である。そのため、垂直方向に対する
動き補償には多くのタップ数を用いたフィルタリングを
施し、水平方向に対する動き補償には線形補間、若しく
はそれに近い、少ないタップ数によるフィルタリングを
施すことで、画質を落とすことなく演算量を減らすこと
が可能である。
【０２６０】第６に、処理されるデータが、フィールド
動き補償モードであるか、フレーム動き補償モードであ
るかによりフィルタのタップ数を決定する。この理由
は、以下の通りである。
【０２６１】一般的な画像符号化装置においては。フィ
ールド間の差分の大きいマクロブロックに対してはフィ
ールド動き補償モードで処理が施され、小さいマクロブ
ロックに対してはフレーム動き補償モードで処理が施さ
れる。そのため、フィールド動き補償モードに多くのタ
ップ数を割り当て、フレーム動き補償モードに少ないタ
ップ数を割り当てることで画質を落とすことなく演算量
を減らすことが可能である。
【０２６２】以上のように本発明の第５の実施の形態の
画像復号装置６０では、フィールドＤＣＴモードでは、
トップフィールドとボトムフィールドとのそれぞれに４
×４の縮小逆離散コサイン変換を行い標準解像度画像を
復号し、フレームＤＣＴモードでは、フレーム分離をし
て縮小逆離散コサイン変換を行い標準解像度画像を復号
する。この画像復号装置６０では、このようにフィール
ドＤＣＴモードとフレームＤＣＴモードとでそれぞれで
処理を行うため飛び越し走査画像が有するインタレース
性を損なうことなく、かつ、フィールドＤＣＴモードと
フレームＤＣＴモードとで復号した画像の位相を同一と
することができ、出力する画像の画質を劣化させない。
さらに、この画像復号装置６０では、マクロブロックに
関する情報に基づき、フィールドモード用フィルタ決定
装置６３のタップ数を切り換えることにより、動き補償
に起因する画質の劣化を防止するとともに、動き補償の
演算量を削減することができる。
【０２６３】なお、この本発明の第５の実施の形態の画
像復号装置６０のフィールドモード用フィルタ決定装置
６３及びフレームモード用フィルタ決定装置６４を、上
述した第３、第４の実施の形態の画像復号装置４０，５
０に適用しても良い。
【０２６４】以上本発明の第１〜第５の実施の形態の画
像復号装置について説明したが、本発明で処理されるデ
ータは、ＭＰＥＧ２方式の画像データに限られない。す
なわち、所定の画素ブロック単位で動き予測をすること
による予測符号化、及び、所定の画素ブロック単位で直
交変換することによる圧縮符号化をした第１の解像度の
圧縮画像データであればどのようなデータであってもよ
い。例えば、ウェーブレット方式等を用いた圧縮画像デ
ータであってもよい。
【０２６５】
【発明の効果】本発明では、記憶している参照画像デー
タのマクロブロックの各画素に対して補間をして、１／
４画素精度の画素から構成されるマクロブロックを生成
する。そして、この画像復号方法では、第１の解像度よ
り低い第２の解像度の動画像データを出力する。
【０２６６】このことにより、本発明では、復号に必要
な演算量及び記憶容量を少なくすることができ、フィー
ルド動き予測モードとフレーム動き予測モードとによる
動き補償の際の画素の位相ずれをなくし、動き補償に起
因する画質の劣化を防止することができる。
【０２６７】本発明では、フィルタのタップ数を切り換
えて、記憶している参照画像データのマクロブロックの
各画素に対して補間をして、１／４画素精度の画素から
構成されるマクロブロックを生成する。
【０２６８】このことにより、本発明では、画質を劣化
させずに動き補償の際の演算量を少なくすることがで
き、処理の高速化を図ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の画像復号装置のブ
ロック図である。
【図２】上記第１の実施の形態の画像復号装置のフレー
ムメモリに格納される参照画像の垂直方向の画素の位相
を説明するための図である。
【図３】上記第１の実施の形態の画像復号装置のフレー
ムモード用縮小逆離散コサイン変換装置の１ブロック処
理の内容を説明するための図である。
【図４】上記第１の実施の形態の画像復号装置のフレー
ムモード用縮小逆離散コサイン変換装置の２ブロック処
理の内容を説明するための図である。
【図５】４２０フォーマットのマクロブロック内の輝度
成分及び色差成分のＤＣＴブロックについて説明をする
図である。
【図６】Ｗａｎｇのアルゴリズムを上記第１の実施の形
態の画像復号装置のフィールドモード用縮小逆離散コサ
イン変換装置の処理に適用した場合の演算フローを示す
図である。
【図７】Ｗａｎｇのアルゴリズムを上記第１の実施の形
態の画像復号装置のフレームモード用縮小逆離散コサイ
ン変換装置の１ブロック処理に適用した場合の演算フロ
ーを示す図である。
【図８】本発明の第２の実施の形態の画像復号装置のブ
ロック図である。
【図９】上記第２の実施の形態の画像復号装置のフレー
ムメモリに格納される参照画像の垂直方向の画素の位相
を説明するための図である。
【図１０】上記第２の実施の形態の画像復号装置のフィ
ールドモード用位相補正縮小逆離散コサイン変換装置の
処理内容を説明するための図である。
【図１１】１つの行列により処理を行う場合の上記フィ
ールドモード用位相補正縮小逆離散コサイン変換装置の
処理内容を説明するための図である。
【図１２】上記フィールドモード用位相補正縮小逆離散
コサイン変換装置により演算が行われる４×８位相補正
ＩＤＣＴ行列の設計手順を説明するためのフローチャー
トである。
【図１３】上記４×８位相補正ＩＤＣＴ行列の設計に必
要となるプロトタイプフィルタの周波数特性を説明する
ための図である。
【図１４】ナイキスト周波数以下を等間隔に｛（Ｎ−
１）／２｝分割し、その周波数サンプルから作成された
ゲインのリストを説明するための図である。
【図１５】上記ゲインリストを逆離散フーリエ変換して
作成されたインパルス応答を説明するための図である。
【図１６】ポリフェイズフィルタを説明するための図で
ある。
【図１７】入力信号に対して１／４位相ずれた信号を出
力するポリフェイズフィルタを説明するための図であ
る。
【図１８】上記フィールドモード用位相補正縮小逆離散
コサイン変換装置により演算が行われる４×８位相補正
ＩＤＣＴ行列を説明するための図である。
【図１９】上記第２の実施の形態の画像復号装置のフレ
ームモード用位相補正縮小逆離散コサイン変換装置の１
ブロック処理の内容を説明するための図である。
【図２０】フレームモード用位相補正縮小逆離散コサイ
ン変換装置により演算が行われる２×４位相補正ＩＤＣ
Ｔ行列の設計手順を説明するためのフローチャートであ
る。
【図２１】ナイキスト周波数以下を等間隔に｛（Ｎ−
１）／２｝分割し、その周波数サンプルから作成された
ゲインのリストを説明するための図である。
【図２２】上記ゲインリストを逆離散フーリエ変換して
作成されたインパルス応答を説明するための図である。
【図２３】上記フレームモード用位相補正縮小逆離散コ
サイン変換装置により演算が行われる２×４位相補正Ｉ
ＤＣＴ行列を説明するための図である。
【図２４】上記第２の実施の形態の画像復号装置のフレ
ームモード用位相補正縮小逆離散コサイン変換装置の２
ブロック処理の内容を説明するための図である。
【図２５】本発明の第３の実施の形態の画像復号装置の
ブロック図である。
【図２６】上記第３の実施の形態の画像復号装置のフィ
ールドモード用動き補償装置における補間処理を説明す
るための図である。
【図２７】上記第３の実施の形態の画像復号装置のフレ
ームモード用動き補償装置における補間処理を説明する
ための図である。
【図２８】上記第３の実施の形態の画像復号装置のフレ
ームモード用動き補償装置における他の補間処理を説明
するための図である。
【図２９】本発明の第４の実施の形態の画像復号装置の
ブロック図である。
【図３０】上記第４の実施の形態の画像復号装置のフィ
ールドモード用動き補償装置における補間処理を説明す
るための図である。
【図３１】上記第４の実施の形態の画像復号装置のフレ
ームモード用動き補償装置における補間処理を説明する
ための図である。
【図３２】上記第４の実施の形態の画像復号装置のフレ
ームモード用動き補償装置における他の補間処理を説明
するための図である。
【図３３】本発明の第５の実施の形態の画像復号装置の
ブロック図である。
【図３４】従来の第１のダウンデコーダを示すブロック
図である。
【図３５】従来の第２のダウンデコーダを示すブロック
図である。
【図３６】従来の第３のダウンデコーダを示すブロック
図である。
【図３７】従来の画像復号装置のブロック図である。
【図３８】上記従来の画像復号装置のフィールドＤＣＴ
モードにおける縮小逆離散コサイン変換処理を説明する
ための図である。
【図３９】上記従来の画像復号装置のフィールドＤＣＴ
モードにおける縮小逆離散コサイン変換処理を説明する
ための図である。
【図４０】上記従来の画像復号装置のフィールド動き予
測モードにおける線形補間処理を説明するための図であ
る。
【図４１】上記従来の画像復号装置のフレーム動き予測
モードにおける線形補間処理を説明するための図であ
る。
【図４２】上記従来の画像復号装置のフィールドＤＣＴ
モードの結果得られる画素の位相を説明するための図で
ある。
【図４３】上記従来の画像復号装置のフレームＤＣＴモ
ードの結果得られる画素の位相を説明するための図であ
る。
【符号の説明】
１０，３０，４０，５０，６０ 画像復号装置、１４
フィールドモード用縮小逆離散コサイン変換装置、１５
フレームモード用縮小逆離散コサイン変換装置、１６
加算装置、１７ フレームメモリ、１８，４１，６１
フィールドモード用動き補償装置、１９，４２，６２
フレームモード用動き補償装置、２０画枠変換・位相
ずれ補正装置、３１ フィールドモード用位相補正縮小
逆離散コサイン変換装置、３２ フレームモード用位相
補正縮小逆離散コサイン変換装置、３３ 画枠変換装置
───────────────────────────────────────────────────── フロントページの続き (72)発明者 金子 哲夫 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 三橋 聡 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 五関 正三 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 寺尾 隆雄 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 柳原 尚史 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C059 LB05 LB11 LC03 MA00 MA04 MA05 MA23 MC22 MC31 MC38 ME01 NN14 PP05 PP06 PP07 PP14 TA69 TB07 TC12 TD05 UA05 UA11 UA12 UA33 UA38

Claims (34)

    【特許請求の範囲】
  1. 【請求項１】 所定の画素ブロック（マクロブロック）
    単位で動き予測をすることによる予測符号化、及び、所
    定の画素ブロック（直交変換ブロック）単位で直交変換
    をすることによる圧縮符号化をした第１の解像度の圧縮
    画像データから、上記第１の解像度より低い第２の解像
    度の動画像データを復号する画像復号装置において、 直交変換がされた上記圧縮画像データの直交変換ブロッ
    クの各係数のうち低周波成分の係数に対して逆直交変換
    をする逆直交変換手段と、 上記逆直交変換手段により逆直交変換がされた圧縮画像
    データと動き補償がされた参照画像データとを加算し
    て、第２の解像度の動画像データを出力する加算手段
    と、 上記加算手段から出力される動画像データを参照画像デ
    ータとして記憶する記憶手段と、 飛び越し走査に対応した動き予測方式（フィールド動き
    予測モード）により動き予測がされた参照画像データの
    マクロブロックに対して動き補償をする第１の動き補償
    手段と、 順次走査に対応した動き予測方式（フレーム動き予測モ
    ード）により動き予測がされた参照画像データのマクロ
    ブロックに対して動き補償をする第２の動き補償手段と
    を備え、 上記第１の動き補償手段及び上記第２の動き補償手段
    は、上記記憶手段が記憶している参照画像データのマク
    ロブロックの各画素に対して補間をし、上記記憶手段が
    記憶している参照画像データに対して１／４画素精度の
    画素から構成されるマクロブロックを生成し、この生成
    したマクロブロックに対して動き補償をすることを特徴
    とする画像復号装置。
  2. 【請求項２】 上記第１の動き補償手段及び上記第２の
    動き補償手段は、上記記憶手段が記憶している参照画像
    データのマクロブロックの水平方向の各画素に対して２
    倍補間をし、２倍補間をした各画素に対して線形補間を
    することによって、上記記憶手段が記憶している参照画
    像データに対して水平方向が１／４画素精度の画素から
    構成されるマクロブロックを生成することを特徴とする
    請求項１に記載の画像復号装置。
  3. 【請求項３】 上記第１の動き補償手段及び上記第２の
    動き補償手段は、上記記憶手段が記憶している参照画像
    データのマクロブロックの水平方向の各画素の行列と１
    つの行列とを演算することによって、上記記憶手段が記
    憶している参照画像データに対して水平方向が１／４画
    素精度の画素から構成されるマクロブロックを生成する
    ことを特徴とする請求項２に記載の画像復号装置。
  4. 【請求項４】 上記第１の動き補償手段及び上記第２の
    動き補償手段は、上記記憶手段が記憶している参照画像
    データのマクロブロックの水平方向の各画素に対して４
    倍補間をすることによって、上記記憶手段が記憶してい
    る参照画像データに対して水平方向が１／４画素精度の
    画素から構成されるマクロブロックを生成することを特
    徴とする請求項１に記載の画像復号装置。
  5. 【請求項５】 上記第１の動き補償手段は、上記記憶手
    段が記憶している参照画像データのマクロブロックの垂
    直方向の各画素に対して、１つのフィールド内で２倍補
    間をし、１つのフィールド内で２倍補間をした各画素に
    対して線形補間をすることによって、上記記憶手段が記
    憶している参照画像データに対して垂直方向が１／４画
    素精度の画素から構成されるマクロブロックを生成する
    ことを特徴とする請求項１に記載の画像復号装置。
  6. 【請求項６】 上記第１の動き補償手段は、上記記憶手
    段が記憶している参照画像データのマクロブロックの垂
    直方向の各画素の行列と１つの行列とを演算することに
    よって、上記記憶手段が記憶している参照画像データに
    対して垂直方向が１／４画素精度の画素から構成される
    マクロブロックを生成することを特徴とする請求項５に
    記載の画像復号装置。
  7. 【請求項７】 上記第１の動き補償手段は、上記記憶手
    段が記憶している参照画像データのマクロブロックの垂
    直方向の各画素に対して４倍補間をすることによって、
    上記記憶手段が記憶している参照画像データに対して垂
    直方向が１／４画素精度の画素から構成されるマクロブ
    ロックを生成することを特徴とする請求項１に記載の画
    像復号装置。
  8. 【請求項８】 上記第２の動き補償手段は、上記記憶手
    段が記憶している参照画像データのマクロブロックの垂
    直方向の各画素に対して、１つのフィールド内で２倍補
    間をし、１つのフィールド内で２倍補間をした各画素に
    対してトップフィールドとボトムフィールドとの間で線
    形補間をすることによって、上記記憶手段が記憶してい
    る参照画像データに対して垂直方向が１／４画素精度の
    画素から構成されるマクロブロックを生成することを特
    徴とする請求項１に記載の画像復号装置。
  9. 【請求項９】 上記第２の動き補償手段は、上記記憶手
    段が記憶している参照画像データのマクロブロックの垂
    直方向の各画素の行列と１つの行列とを演算することに
    よって、上記記憶手段が記憶している参照画像データに
    対して垂直方向が１／４画素精度の画素から構成される
    マクロブロックを生成することを特徴とする請求項８に
    記載の画像復号装置。
  10. 【請求項１０】 上記第１の動き補償手段及び第２の動
    き補償手段は、ハーフバンドフィルタを用いて上記記憶
    手段が記憶している参照画像データのマクロブロックの
    各画素に対して補間をし、上記記憶手段が記憶している
    参照画像データに対して１／４画素精度の画素から構成
    されるマクロブロックを生成することを特徴とする請求
    項１に記載の画像復号装置。
  11. 【請求項１１】 上記第１の動き補償手段及び第２の動
    き補償手段は、上記記憶手段が記憶している参照画像デ
    ータのマクロブロックの各画素に対して補間をするため
    のフィルタのタップ数を、所定単位毎に切り換えて、上
    記記憶手段が記憶している参照画像データに対して１／
    ４画素精度の画素から構成されるマクロブロックを生成
    することを特徴とする請求項１に記載の画像復号装置。
  12. 【請求項１２】 上記第１の動き補償手段及び第２の動
    き補償手段は、上記記憶手段が記憶している参照画像デ
    ータのマクロブロックの各画素に対して補間をするため
    のフィルタのタップ数を、輝度成分のマクロブロックと
    色差成分のマクロブロックとで切り換えることを特徴と
    する請求項１１に記載の画像復号装置。
  13. 【請求項１３】 上記第１の動き補償手段及び第２の動
    き補償手段は、上記記憶手段が記憶している参照画像デ
    ータのマクロブロックの各画素に対して補間をするため
    のフィルタのタップ数を、Ｐピクチャに属するマクロブ
    ロックとＢピクチャに属するマクロブロックとで切り換
    えることを特徴とする請求項１１に記載の画像復号装
    置。
  14. 【請求項１４】 上記第１の動き補償手段及び第２の動
    き補償手段は、上記記憶手段が記憶している参照画像デ
    ータのマクロブロックの各画素に対して補間をするため
    のフィルタのタップ数を、水平方向の補間と垂直方向の
    補間とで切り換えることを特徴とする請求項１１に記載
    の画像復号装置。
  15. 【請求項１５】 上記第１の動き補償手段及び第２の動
    き補償手段は、上記記憶手段が記憶している参照画像デ
    ータのマクロブロックの各画素に対して補間をするため
    のフィルタのタップ数を、前方向予測により動き予測が
    されたマクロブロックと後方向予測により動き予測がさ
    れたマクロブロックと双方向予測により動き予測がされ
    たマクロブロックとで切り換えることを特徴とする請求
    項１１に記載の画像復号装置。
  16. 【請求項１６】 上記第１の動き補償手段及び第２の動
    き補償手段は、上記記憶手段が記憶している参照画像デ
    ータのマクロブロックの各画素に対して補間をするため
    のフィルタのタップ数を、フィールド動き予測モードに
    より動き予測がされたマクロブロックとフレーム動き予
    測モードにより動き予測がされたマクロブロックとで切
    り換えることを特徴とする請求項１１に記載の画像復号
    装置。
  17. 【請求項１７】 上記第１の動き補償手段及び第２の動
    き補償手段は、上記記憶手段が記憶している参照画像デ
    ータのマクロブロックの各画素に対して補間をするため
    のフィルタのタップ数を、動きベクトルの値に応じて切
    り換えることを特徴とする請求項１１に記載の画像復号
    装置。
  18. 【請求項１８】 所定の画素ブロック（マクロブロッ
    ク）単位で動き予測をすることによる予測符号化、及
    び、所定の画素ブロック（直交変換ブロック）単位で直
    交変換をすることによる圧縮符号化をした第１の解像度
    の圧縮画像データから、上記第１の解像度より低い第２
    の解像度の動画像データを復号する画像復号方法におい
    て、 直交変換がされた上記圧縮画像データの直交変換ブロッ
    クの各係数のうち低周波成分の係数に対して逆直交変換
    をし、 逆直交変換がされた圧縮画像データと動き補償がされた
    参照画像データとを加算し、 加算して得られた動画像データを参照画像データとして
    記憶し、 飛び越し走査に対応した動き予測方式（フィールド動き
    予測モード）により動き予測がされた参照画像データの
    マクロブロックに対して動き補償をし、 順次走査に対応した動き予測方式（フレーム動き予測モ
    ード）により動き予測がされた参照画像データのマクロ
    ブロックに対して動き補償をし、 フィールド動き予測モード又はフレーム予測モードによ
    り動き予測がされた参照画像データのマクロブロックの
    各画素に対して補間をし、記憶している参照画像データ
    に対して１／４画素精度の画素から構成されるマクロブ
    ロックを生成し、この生成したマクロブロックに対して
    動き補償をすることを特徴とする画像復号方法。
  19. 【請求項１９】 フィールド動き予測モード又はフレー
    ム予測モードにより動き予測がされた参照画像データの
    マクロブロックの水平方向の各画素に対して２倍補間を
    し、２倍補間をした各画素に対して線形補間をすること
    によって、記憶している参照画像データに対して水平方
    向が１／４画素精度の画素から構成されるマクロブロッ
    クを生成することを特徴とする請求項１８に記載の画像
    復号方法。
  20. 【請求項２０】 フィールド動き予測モード又はフレー
    ム予測モードにより動き予測がされた参照画像データの
    マクロブロックの水平方向の各画素の行列と１つの行列
    とを演算することによって、記憶している参照画像デー
    タに対して水平方向が１／４画素精度の画素から構成さ
    れるマクロブロックを生成することを特徴とする請求項
    １９に記載の画像復号方法。
  21. 【請求項２１】 フィールド動き予測モード又はフレー
    ム予測モードにより動き予測がされた参照画像データの
    マクロブロックの水平方向の各画素に対して４倍補間を
    することによって、記憶している参照画像データに対し
    て水平方向が１／４画素精度の画素から構成されるマク
    ロブロックを生成することを特徴とする請求項１８に記
    載の画像復号方法。
  22. 【請求項２２】 フィールド動き予測モードにより動き
    予測がされた参照画像データのマクロブロックの垂直方
    向の各画素に対して、１つのフィールド内で２倍補間を
    し、１つのフィールド内で２倍補間をした各画素に対し
    て線形補間をすることによって、記憶している参照画像
    データに対して垂直方向が１／４画素精度の画素から構
    成されるマクロブロックを生成することを特徴とする請
    求項１８に記載の画像復号方法。
  23. 【請求項２３】 フィールド動き予測モードにより動き
    予測がされた参照画像データのマクロブロックの垂直方
    向の各画素の行列と１つの行列とを演算することによっ
    て、記憶している参照画像データに対して垂直方向が１
    ／４画素精度の画素から構成されるマクロブロックを生
    成することを特徴とする請求項２２に記載の画像復号方
    法。
  24. 【請求項２４】 フィールド動き予測モードにより動き
    予測がされた参照画像データのマクロブロックの垂直方
    向の各画素に対して４倍補間をすることによって、記憶
    している参照画像データに対して垂直方向が１／４画素
    精度の画素から構成されるマクロブロックを生成するこ
    とを特徴とする請求項１８に記載の画像復号方法。
  25. 【請求項２５】 フレーム予測モードにより動き予測が
    された参照画像データのマクロブロックの垂直方向の各
    画素に対して、１つのフィールド内で２倍補間をし、１
    つのフィールド内で２倍補間をした各画素に対してトッ
    プフィールドとボトムフィールドとの間で線形補間をす
    ることによって、記憶している参照画像データに対して
    垂直方向が１／４画素精度の画素から構成されるマクロ
    ブロックを生成することを特徴とする請求項１８に記載
    の画像復号方法。
  26. 【請求項２６】 フレーム予測モードにより動き予測が
    された参照画像データのマクロブロックの垂直方向の各
    画素の行列と１つの行列とを演算することによって、記
    憶している参照画像データに対して垂直方向が１／４画
    素精度の画素から構成されるマクロブロックを生成する
    ことを特徴とする請求項２５に記載の画像復号方法。
  27. 【請求項２７】 ハーフバンドフィルタを用いて、フィ
    ールド動き予測モード又はフレーム予測モードにより動
    き予測がされた参照画像データのマクロブロックの各画
    素に対して補間をし、記憶している参照画像データに対
    して１／４画素精度の画素から構成されるマクロブロッ
    クを生成することを特徴とする請求項１８に記載の画像
    復号方法。
  28. 【請求項２８】 フィールド動き予測モード又はフレー
    ム動き予測モードにより動き予測がされた参照画像デー
    タのマクロブロックの各画素に対して補間をするための
    フィルタのタップ数を、所定単位毎に切り換えて、記憶
    している参照画像データに対して１／４画素精度の画素
    から構成されるマクロブロックを生成することを特徴と
    する請求項１８に記載の画像復号方法。
  29. 【請求項２９】 参照画像データのマクロブロックの各
    画素に対して補間をするためのフィルタのタップ数を、
    輝度成分のマクロブロックと色差成分のマクロブロック
    とで切り換えることを特徴とする請求項２８に記載の画
    像復号方法。
  30. 【請求項３０】 参照画像データのマクロブロックの各
    画素に対して補間をするためのフィルタのタップ数を、
    Ｐピクチャに属するマクロブロックとＢピクチャに属す
    るマクロブロックとで切り換えることを特徴とする請求
    項２８に記載の画像復号方法。
  31. 【請求項３１】 参照画像データのマクロブロックの各
    画素に対して補間をするためのフィルタのタップ数を、
    水平方向の補間と垂直方向の補間とで切り換えることを
    特徴とする請求項２８に記載の画像復号方法。
  32. 【請求項３２】 参照画像データのマクロブロックの各
    画素に対して補間をするためのフィルタのタップ数を、
    前方向予測により動き予測がされたマクロブロックと後
    方向予測により動き予測がされたマクロブロックと双方
    向予測により動き予測がされたマクロブロックとで切り
    換えることを特徴とする請求項２８に記載の画像復号方
    法。
  33. 【請求項３３】 参照画像データのマクロブロックの各
    画素に対して補間をするためのフィルタのタップ数を、
    フィールド動き予測モードにより動き予測がされたマク
    ロブロックとフレーム動き予測モードにより動き予測が
    されたマクロブロックとで切り換えることを特徴とする
    請求項２８に記載の画像復号方法。
  34. 【請求項３４】 参照画像データのマクロブロックの各
    画素に対して補間をするためのフィルタのタップ数を、
    動きベクトルの値に応じて切り換えることを特徴とする
    請求項２８に記載の画像復号方法。
JP20838498A 1998-07-23 1998-07-23 画像復号装置及び画像復号方法 Expired - Fee Related JP4026238B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP20838498A JP4026238B2 (ja) 1998-07-23 1998-07-23 画像復号装置及び画像復号方法
US09/358,451 US6539056B1 (en) 1998-07-23 1999-07-21 Picture decoding method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP20838498A JP4026238B2 (ja) 1998-07-23 1998-07-23 画像復号装置及び画像復号方法

Publications (3)

Publication Number Publication Date
JP2000041252A true JP2000041252A (ja) 2000-02-08
JP2000041252A5 JP2000041252A5 (ja) 2005-09-08
JP4026238B2 JP4026238B2 (ja) 2007-12-26

Family

ID=16555383

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20838498A Expired - Fee Related JP4026238B2 (ja) 1998-07-23 1998-07-23 画像復号装置及び画像復号方法

Country Status (2)

Country Link
US (1) US6539056B1 (ja)
JP (1) JP4026238B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1432249A1 (en) * 2001-09-18 2004-06-23 Matsushita Electric Industrial Co., Ltd. Image encoding method and image decoding method
JP2009296605A (ja) * 2002-07-15 2009-12-17 Panasonic Corp メモリ管理装置及びその方法
US7773677B2 (en) 2004-02-26 2010-08-10 Lg Electronics Inc. Image block error concealing apparatus and method using weight filtering in mobile communication system
US7876976B2 (en) 2006-02-23 2011-01-25 Seoul National University Industry Foundation Method and apparatus for resizing images using discrete cosine transform
JP2011045128A (ja) * 2003-07-16 2011-03-03 Samsung Electronics Co Ltd ビデオ符号化／復号化用の動き補償装置及びその方法

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020044692A1 (en) * 2000-10-25 2002-04-18 Goertzen Kenbe D. Apparatus and method for optimized compression of interlaced motion images
JP2001204026A (ja) * 2000-01-21 2001-07-27 Sony Corp 画像情報変換装置及び方法
US7266150B2 (en) 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US7003035B2 (en) * 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
US7620109B2 (en) * 2002-04-10 2009-11-17 Microsoft Corporation Sub-pixel interpolation in motion estimation and compensation
US7116831B2 (en) * 2002-04-10 2006-10-03 Microsoft Corporation Chrominance motion vector rounding
US7110459B2 (en) * 2002-04-10 2006-09-19 Microsoft Corporation Approximate bicubic filter
US7305034B2 (en) * 2002-04-10 2007-12-04 Microsoft Corporation Rounding control for multi-stage interpolation
US20030206184A1 (en) * 2002-05-06 2003-11-06 Reshetov Alexander V. Displaying content in different resolutions
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US7280700B2 (en) * 2002-07-05 2007-10-09 Microsoft Corporation Optimization techniques for data compression
US7154952B2 (en) * 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US7426308B2 (en) * 2003-07-18 2008-09-16 Microsoft Corporation Intraframe and interframe interlace coding and decoding
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US7738554B2 (en) 2003-07-18 2010-06-15 Microsoft Corporation DC coefficient signaling at small quantization step sizes
US7499495B2 (en) * 2003-07-18 2009-03-03 Microsoft Corporation Extended range motion vectors
US7609763B2 (en) * 2003-07-18 2009-10-27 Microsoft Corporation Advanced bi-directional predictive coding of video frames
US20050013498A1 (en) 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US7599438B2 (en) * 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US8254455B2 (en) * 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
JP5359302B2 (ja) * 2008-03-18 2013-12-04 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4656190B2 (ja) * 2008-06-10 2011-03-23 ソニー株式会社 情報処理装置および方法
JP4780172B2 (ja) * 2008-10-10 2011-09-28 ソニー株式会社 情報処理装置および方法
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
JP5158000B2 (ja) * 2009-04-07 2013-03-06 ソニー株式会社 情報処理装置および方法
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US9942560B2 (en) 2014-01-08 2018-04-10 Microsoft Technology Licensing, Llc Encoding screen capture data
US9774881B2 (en) 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
CN106254719B (zh) * 2016-07-25 2018-11-30 清华大学深圳研究生院 一种基于线性变换和图像插值的光场图像压缩方法
EP3516876A4 (en) * 2016-10-14 2020-07-22 MediaTek Inc. METHOD AND DEVICE FOR SMOOTHING A FILTER FOR THE REMOVAL OF RING ARTIFACTS

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4322343C2 (de) * 1992-07-06 1996-10-02 Mitsubishi Electric Corp Mittel zum Erfassen eines Bewegungsvektors und Verfahren zum Bestimmen eines Bewegungsvektors
KR960010487B1 (ko) * 1993-08-18 1996-08-01 엘지전자 주식회사 움직임 벡터를 이용한 순차주사식 영상포맷변환장치
KR0126657B1 (ko) * 1993-10-28 1997-12-29 구자홍 디지탈 영상 복원을 위한 움직임 보상장치
TW283289B (ja) * 1994-04-11 1996-08-11 Gen Instrument Corp

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1432249A1 (en) * 2001-09-18 2004-06-23 Matsushita Electric Industrial Co., Ltd. Image encoding method and image decoding method
EP1432249A4 (en) * 2001-09-18 2007-12-05 Matsushita Electric Ind Co Ltd Image Coding Methods and Image Decoding Methods
US9479790B2 (en) 2002-07-15 2016-10-25 Godo Kaisha Ip Bridge 1 Moving picture coding apparatus and moving picture decoding apparatus
JP2009296605A (ja) * 2002-07-15 2009-12-17 Panasonic Corp メモリ管理装置及びその方法
US7760803B2 (en) 2002-07-15 2010-07-20 Panasonic Corporation Moving picture encoding device and moving picture decoding device
US10230971B2 (en) 2002-07-15 2019-03-12 Godo Kaisha Ip Bridge 1 Moving picture coding apparatus and moving picture decoding apparatus
US9942561B2 (en) 2002-07-15 2018-04-10 Godo Kaisha Ip Bridge 1 Moving picture coding apparatus and moving picture decoding apparatus
US9936210B2 (en) 2002-07-15 2018-04-03 Godo Kaisha Ip Bridge 1 Moving picture coding apparatus and moving picture decoding apparatus
US8139637B2 (en) 2002-07-15 2012-03-20 Panasonic Corporation Moving picture coding apparatus and moving picture decoding apparatus
US8989264B2 (en) 2002-07-15 2015-03-24 Panasonic Intellectual Property Corporation Of America Moving picture coding apparatus and moving picture decoding apparatus
US9001891B2 (en) 2002-07-15 2015-04-07 Panasonic Intellectual Property Corporation Of America Moving picture coding apparatus and moving picture decoding apparatus
US9398305B2 (en) 2002-07-15 2016-07-19 Godo Kaisha Ip Bridge 1 Moving picture coding apparatus and moving picture decoding apparatus
US9402081B2 (en) 2002-07-15 2016-07-26 Godo Kaisha Ip Bridge 1 Moving picture coding apparatus and moving picture decoding apparatus
US9420301B2 (en) 2002-07-15 2016-08-16 Godo Kaisha Ip Bridge 1 Moving picture coding apparatus and moving picture decoding apparatus
US9473781B2 (en) 2002-07-15 2016-10-18 Godo Kaisha Ip Bridge 1 Moving picture coding apparatus and moving picture decoding apparatus
US7742523B2 (en) 2002-07-15 2010-06-22 Panasonic Corporation Moving picture coding apparatus and moving picture decoding apparatus
US9906806B2 (en) 2002-07-15 2018-02-27 Godo Kaisha Ip Bridge 1 Moving picture coding apparatus and moving picture decoding apparatus
JP2011045128A (ja) * 2003-07-16 2011-03-03 Samsung Electronics Co Ltd ビデオ符号化／復号化用の動き補償装置及びその方法
US7773677B2 (en) 2004-02-26 2010-08-10 Lg Electronics Inc. Image block error concealing apparatus and method using weight filtering in mobile communication system
US7876976B2 (en) 2006-02-23 2011-01-25 Seoul National University Industry Foundation Method and apparatus for resizing images using discrete cosine transform

Also Published As

Publication number Publication date
US6539056B1 (en) 2003-03-25
JP4026238B2 (ja) 2007-12-26

Similar Documents

Publication Publication Date Title
JP4026238B2 (ja) 画像復号装置及び画像復号方法
JP3975629B2 (ja) 画像復号装置及び画像復号方法
JP2000059793A (ja) 画像復号装置及び画像復号方法
JP3631642B2 (ja) ２：１間引きにおける効果的なダウンコンバージョン
JP4082525B2 (ja) Ｄｃｔ領域で効率性を改善した動き予測を実行するシステムと方法
KR100192270B1 (ko) 에이치디티브이 비데오 디코더 회로
US7630566B2 (en) Method and apparatus for improved estimation and compensation in digital video compression and decompression
JPH0865681A (ja) 動きベクトル検出装置およびそれを使用した動き補償予測符号化システム
JP2001285863A (ja) 画像情報変換装置及び方法
EP0683612A2 (en) HDTV raster converter and interpolation filter with section overlap
JP3937599B2 (ja) 画像復号装置及び画像復号方法
JP4051772B2 (ja) 画像復号装置及び画像復号方法
JP2000041248A (ja) 画像復号装置及び画像復号方法
JP3611461B2 (ja) 映像信号符号化装置
JP2000175194A (ja) 画像復号装置及び画像復号方法
JP4016166B2 (ja) 画像復号装置及び画像復号方法
JP2000032463A (ja) 映像情報をサイズ変更する方法及び装置
JP4051799B2 (ja) 画像復号装置及び画像復号方法
JP2000041253A (ja) 画像復号装置及び画像復号方法
JP2000059777A (ja) 画像復号装置及び画像復号方法
JP2000041254A (ja) 画像復号装置及び画像復号方法
JP2001086508A (ja) 動画像復号方法及び動画像復号装置
JP3937632B2 (ja) 画像復号装置及び画像復号方法
JP4556286B2 (ja) 動きベクトル変換装置及び方法
KR0129214B1 (ko) 고화질 티브이의 디코더

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050315

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070507

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070730

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070918

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071001

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101019

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101019

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111019

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121019

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees