JP2001218211A

JP2001218211A - 画像処理装置及び方法並びに記憶媒体

Info

Publication number: JP2001218211A
Application number: JP2000027651A
Authority: JP
Inventors: Kazumi Suga; 和巳須賀
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2000-02-04
Filing date: 2000-02-04
Publication date: 2001-08-10

Abstract

(57)【要約】【課題】任意の倍率の画素数変換を可能にする。【解決手段】バッファ２０はＭＰＥＧビデオストリー
ムデータを一時記憶し、可変長復号化回路２２は、バッ
ファ２０からのデータを可変長復号化し、逆量子化回路
２４は、可変長復号化回路２２の出力を逆量子化する。
画像処理回路２６は、逆量子化回路２４から出力される
直交変換係数データに対して直交変換ブロックのサイズ
を水平方向及び垂直方向で変更し、直交変換ブロックの
サイズをＭ（自然数）にするブロックを画面中央に配置
し、Ｎ（自然数）にするブロックを画面周囲に配置す
る。Ｍ＞Ｎである。逆ＤＣＴ回路２８は、画像処理回路
２６の出力データを、対応するサイズの基底マトリクス
で逆ＤＣＴ変換する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置及び
方法並びに記憶媒体に関し、より具体的には、ＭＰＥＧ
２ビデオトランスポートストリームのような圧縮画像情
報を伸長しつつ、その解像度を変換する画像処理装置及
び方法並びに記憶媒体に関する。

【０００２】

【従来の技術】近年のディジタル技術の進展に伴い、テ
レビジョン放送方式もこれまでのアナログＮＴＳＣ／Ｐ
ＡＬ／ＳＥＣＡＭ方式からディジタル方式に移行しつつ
ある。例えば、地上波デジタル放送に関しては、日本、
米国及び欧州でそれぞれ異なった放送方式が開発又は運
用中である。

【０００３】例えば、米国では、１９８７年から地上波
ディジタル放送ＡＴＶ（ＡｄｖａｎｃｅｄＴＶ）の開発
が進められており、方式規格は１９９５年にＡＴＳＣ
（ＡｄｖａｎｃｅｄＴｅｌｅｖｉｓｉｏｎＳｙｓｔ
ｅｍｓＣｏｍｍｉｔｔｅｅ）からＦＣＣ（Ｆｅｄｅｒ
ａｌＣｏｍｍｕｎｉｃａｔｉｏｎｓＣｏｍｍｉｓｓ
ｉｏｎ）に提出され、有効走査線数及び水平画素数等の
規格を除いた部分が１９９６年に決定されている。欧州
では１９９６年にＤＶＢ−Ｔ（ＤｉｇｉｔａｌＶｉｄｅ
ｏＢｒｏａｄｃａｓｔｉｎｇＴｅｒｒｅｓｔｒｉａ
ｌ）が欧州共通方式として決定されている。

【０００４】両方式の大きな違いは変調方式である。米
国方式は８値ＶＳＢ（ＶｅｓｔｉｇｉａｌＳｉｄｅ
Ｂａｎｄｓ）方式と呼ばれ、単一の搬送波の振幅を８段
階に分け、振幅の大きさで信号を伝達する方式である。
欧州方式はＯＦＤＭ（ＯｒｔｈｏｇｏｎａｌＦｒｅｑ
ｕｅｎｃｙＤｉｖｉｓｉｏｎＭｕｌｔｉｐｌｅｘｉ
ｎｇ）方式と呼ばれ、数百の搬送波を用い、１波当たり
の信号伝送速度を単一搬送波の場合より少なくして、ゴ
ースト妨害の耐性を向上させた方式である。米国方式及
び欧州両方式とも、その対象は固定受信であり、移動体
での受信は困難である。

【０００５】日本では、規格化に向け現在議論が進めら
れているが、固定受信だけでなく、移動体でも受信可能
な方式も検討されている。特に、日本放送協会（ＮＨ
Ｋ）は、ＢＳＴ（ＢａｎｄＳｅｇｍｅｎｔｅｄＴｒ
ａｎｓｍｉｓｓｉｏｎ）ＯＦＤＭという新しいディジ
タル変調伝送方式を検討している。このＢＳＴＯＦＤ
Ｍ方式は、１つの帯域の中で複数の種類の変調方式を指
定できるので、放送局は、固定受信用のハイビジョン信
号、並びに移動体受信用の画像及びデータサービスな
ど、複数種類のデータ伝送サービスが可能となる。

【０００６】一方、ディジタル放送の画面構成、即ち水
平垂直画素数に関しては様々なフォーマットが想定され
ている。例えば高品位のＨＤ（Ｈｉｇｈｄｅｆｉｎｉ
ｔｉｏｎ）画像では、１９２０×１０８０Ｉ、１４４０
×１０８０Ｉ、及び７２０×４８０Ｐ（水平画素数×垂
直画素数を意味し、最後の‘Ｉ’及び‘Ｐ’はそれぞれ
飛越し走査及び順次走査を示す。以下、同じ。）があ
り、標準品位のＳＤ（Ｓｔａｎｄａｒｄｄｅｆｉｎｉ
ｔｉｏｎ）画像では、７２０×４８０Ｉ、５４４×４８
０Ｉ及び４８０×４８０Ｉがある。現在、これら複数フ
ォーマットの全て又は一部が標準フォーマットとして規
格化されつつある。

【０００７】また、入力信号と表示装置との間水平垂直
画素数が異なる場合、入力信号の画素数を表示装置の画
素数に変換することが必要となる。例えば、１９２０×
１０８０Ｉのハイビジョン信号を標準解像度（画素がス
クエアでアスペクト比が１６：９の場合で例えば８５２
×４８０Ｉ）の表示装置で表示する場合、水平垂直方向
ともに４／９倍する必要がある。この種の画素数変換方
式としては、隣内挿法（ＮｅａｒｅｓｔＮｅｉｇｈｂ
ｏｒ）、線形補間法（Ｂｉ−Ｌｉｎｅａｒ）、及び３次
畳み込み補間法（ＣｕｂｉｃＣｏｎｖｏｌｕｔｉｏ
ｎ）等が一般的に用いられている。これらの方式では、
基本的に、時間空間領域における離散的なサンプリング
データからＦＩＲ（ＦｉｎｉｔｅＩｍｐｕｌｓｅＲ
ｅｓｐｏｎｓｅ）フィルタにより連続的なエンベロープ
を再生し、このエンベロープ上に補間画素を見出す方法
を採用する。このようにＦＩＲフィルタを用いる方式で
は、如何に理想的なローパス特性に近いＦＩＲフィルタ
を用いるかが鍵となる。一般的には、フィルタのタップ
数を増やして、ｆ＝ｓｉｎ（πｘ）／（πｘ）の特性、
所謂、Ｓｉｎｃ関数に近い特性を持つフィルタを有限長
で近似する。もちろんタップ数が多いほど、Ｓｉｎｃ関
数により近い特性が得られるが、それに伴いコストが増
加する。

【０００８】また、時間空間領域ではなく、ＭＰＥＧ
（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒ
ｏｕｐ）のＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅ
Ｔｒａｎｓｆｏｒｍ）領域において画素数を変換する方
式も提案されている（例えば、特平開６−２３３２７１
号公報）。この方式では、逆量子化器から出力されるＤ
ＣＴ係数を以下のように増加又は削減することで、最終
的な画素数を増加又は減少する。以下、簡単に説明す
る。ＤＣＴ係数は一般的には図１７に示すように８×８
のブロックを単位とする。右下ほど高周波成分となる。
この８×８のブロックにおいて、図１８に示すように右
側及び下側の斜線部分を削除して、図１９に示すように
５×５にし、その後、５×５の基底マトリクスで逆ＤＣ
Ｔ変換すると、５／８倍の縮小処理を行ったのと等価に
なる。逆に、図２０に示すように、右側に２要素、下側
に２要素だけ、０値を追加すると、図２１に示すように
１０×１０のブロックとなり、これを１０×１０の基底
マトリクスで逆ＤＣＴ変換すると、１０／８倍の拡大処
理を行ったのと等価になる。

【０００９】

【発明が解決しようとする課題】ＤＣＴ領域における画
素数の変換は、入力信号のブロックサイズが固定（通
常、８×８画素）であるという制約を受けるので、Ｎ／
８倍（Ｎは自然数）の変換しか行うことができない。従
って、例えば図２２に示す１９２０×１０８０（符号化
上は、１９２０画素×１０８８画素）の画像を図２３に
示す８５２×４８０画素へ変換することができない。水
平垂直共に４／９倍になるからである。

【００１０】本発明は、このような不都合を解消し、Ｄ
ＣＴ領域における画素数変換で任意の倍率を実現する画
像処理装置及び方法並びに記憶媒体を提示することを目
的とする。

【００１１】

【課題を解決するための手段】本発明に係る画像処理装
置は、所定サイズの直交変換ブロックで直交変換された
画像データを入力する入力手段と、当該画像データに対
応する直交変換係数データに対して当該直交変換ブロッ
クのサイズを変更し、当該直交変換ブロックのサイズを
Ｍ（自然数）にする第１ブロック及びＮ（自然数）にす
る第２ブロックを画面内に所定分布で配置する画像処理
手段と、当該画像処理手段から出力されるデータを、各
直交変換ブロックのサイズに応じた基底マトリクスに従
い逆直交変換する逆直交変換手段とを有することを特徴
とする。

【００１２】本発明に係る画像処理方法は、所定サイズ
の直交変換ブロックで直交変換された画像データを入力
する入力ステップと、当該画像データに対応する直交変
換係数データに対して当該直交変換ブロックのサイズを
変更し、当該直交変換ブロックのサイズをＭ（自然数）
にする第１ブロック及びＮ（自然数）にする第２ブロッ
クを画面内に所定分布で配置する画像処理ステップと、
当該画像処理ステップで得られるデータを、各直交変換
ブロックのサイズに応じた基底マトリクスに従い逆直交
変換する逆直交変換ステップとを有することを特徴とす
る。

【００１３】本発明に係る記憶媒体には、上述の画像処
理方法を実行するプログラムソフトウエアが格納され
る。

【００１４】

【実施例】以下、図面を参照して、本発明の実施例を詳
細に説明する。

【００１５】図１は、本発明の一実施例の概略構成ブロ
ック図を示す。実線はデータ線を示し、破線は制御線を
示すものとする。１０は、チューナ又はデータ記憶装置
からのＭＰＥＧビデオストリームデータを復号するデコ
ーダ、１２は全体を制御するシステム制御回路、１４
は、システム制御回路１２の制御下に、デコーダ１０か
らの復元された画像データを表示装置１６の画面上に表
示させる表示制御回路である。本実施例では、デコーダ
１０は、ＭＰＥＧデータの復号だけでなく、水平垂直画
素数も変換可能である。表示装置１６は、例えば、液晶
ディスプレイ及びプラズマディスプレイといった薄型軽
量のドットマトリクスディスプレイである。

【００１６】図２は、デコーダ１０の概略構成ブロック
図を示す。２０はＭＰＥＧビデオストリームデータを一
時記憶するバッファ、２２はバッファ２０からのデータ
を可変長復号化する可変長復号化回路、２４は可変長復
号化回路２２の出力を逆量子化する逆量子化回路、２６
はシステム制御回路１２からの指示に従い、逆量子化回
路２４の出力に画素数変換処理を施す画像処理回路、２
８は画像処理回路２６の出力データを逆ＤＣＴ変換する
逆ＤＣＴ回路、３０は逆ＤＣＴ回路２８の出力に動き補
償された局部復号値を加算する加算器、３２は加算器３
０から出力される画像データを記憶するビデオメモリ、
３４は、可変長復号化回路２２からのデータに従い、ビ
デオメモリ３２からの画像データに動きを補償し、動き
補償予測データを加算器３０に供給する動き補償予測回
路、３６は加算器３０の出力（復号画像データ）を所定
のフォーマットに変換して出力するフォーマット変換回
路である。

【００１７】図３を参照して、ＭＰＥＧビデオストリー
ムの構成を簡単に説明する。ＭＰＥＧビデオストリーム
は、図３に示すように、シーケンス層、ＧＯＰ（Ｇｒｏ
ｕｐｏｆＰｉｃｔｕｒｅ）層、ピクチャ層、スライス
層及びマクロブロック層からなる。シーケンス層は、シ
ーケンスヘッダ４０、シーケンス拡張４２並びに拡張及
びユーザデータ（０）４４からなる。ＧＯＰ層は、ＧＯ
Ｐヘッダ４６並びに拡張及びユーザデータ（１）４８か
らなる。ピクチャ層は、ピクチャヘッダ５０、ピクチャ
符号化拡張５２、拡張及びユーザデータ（２）５４、並
びにピクチャデータ５６からなる。ピクチャデータ５６
は１以上のスライスデータ６２からなる。スライス層
は、シーケンスエンド５８、シーケンスヘッダ６０、ス
ライス情報６４及び１以上のマクロブロックデータ６６
からなる。マクロブロック層は、マクロブロック情報６
８及び１以上のブロックデータ７０からなる。

【００１８】シーケンス層は、シーケンスヘッダで始ま
る。シーケンス拡張４２の拡張開始コード（ｅｘｔｅｎ
ｓｉｏｎｓｔａｒｔｃｏｄｅ）の有無でＭＰＥＧ−
１とＭＰＥＧ−２のビットストリームが区別される。一
般に、シーケンスは１つのビデオプログラム全体を示
し、シーケンス終了コード（ｓｅｑｕｅｎｃｅｅｎｄ
ｃｏｄｅ）で終了する。シーケンス層はまた、基本的に
１つ以上のＧＯＰから構成される。シーケンスヘッダに
は、符号化画像サイズ、アスペクト比、フレームレー
ト、ビットレート、ＶＢＶバッファサイズ及び量子化マ
トリクスなど、シーケンス単位で設定される情報が含ま
れる。

【００１９】ＧＯＰ層は、ＧＯＰヘッダに始まり、１つ
以上のピクチャから構成される。ＧＯＰ層の最初の符号
化ビデオ情報は、参照画面を用いずに画面（フレーム又
はフィールド）内で符号化されるＩピクチャである。Ｉ
ピクチャを用いることにより、ＧＯＰはＭＰＥＧデータ
からのランダムアクセスの単位となる。なお、通信など
のアプリケーションでは、低遅延特性が要求されるの
で、ＭＰＥＧ−２では、ＧＯＰ層を省略することが可能
である。この場合、例えば、後述するスライス単位に画
面内符号化（イントラ符号化）するイントラスライスを
用い、数画面に分けて各スライスのインドトラ符号化を
巡回させることにより、Ｉピクチャの代用とするととも
に、どの画面のバッファ占有量も平均的に低くすること
が可能になる。

【００２０】ピクチャ層は各画面に相当する。各ピクチ
ャ層は１つ以上のスライス層に分類される。ピクチャヘ
ッダ５０では、画面に関する符号化条件が設定される。
ピクチャ符号化拡張５２では、前後方向及び水平垂直方
向の動きベクトル範囲が指定され、フレーム構造及びフ
ィールド構造が設定される。また、イントラマクロブロ
ックのＤＣ係数精度が設定され、ＶＬＣ（可変長符号
化）タイプ、線形及び非線型量子化スケール、並びにジ
グザグ及びオルタネートスキャニングが選択される。

【００２１】スライス層は、画面内で横長の帯状の領域
を示す。画面を複数のスライスで構成することにより、
或るスライス層でエラーが発生しても、次のスライス層
のスタートからの同期でエラーを回復できる。スライス
層は１つ以上のマクロブロックから構成され、ラスタス
キャン順序で左から右及び上から下に並び、その長さ及
びスタート位置は自由で、画面ごとに変更可能である。
ただし、ＭＰＥＧ−２では、１つのスライスは下方向に
まで跨って伸びることはない。

【００２２】マクロブロックは、例えば、４：２：０フ
ォーマットの場合、４つの輝度ブロックと２つの色差ブ
ロックの合計６つのブロックから構成される。マクロブ
ロックデータでは、マクロブロックの位置及び符号化モ
ードが設定される。

【００２３】ブロック層は輝度信号または色差信号の８
画素×８ラインから構成される。ＤＣＴ（離散コサイン
変換）及び逆ＤＣＴ（逆離散コサイン変換）はこの単位
で行われる。ブロックデータは量子化ＤＣＴ係数から構
成される。イントラマクロブロックのＤＣ成分について
は、隣のブロックのＤＣ成分との差分値と差分情報が与
えられ、その他のＤＣＴ係数については非零の量子化Ｄ
ＣＴ係数までの０係数の長さとレベルに関する情報が与
えられ、ＥＯＢ（ＥｎｄｏｆＢｌｏｃｋ）で各ブロ
ックのＤＣＴ係数が終了する。

【００２４】図２の動作を簡単に説明する。可変長復号
化回路２２は、バッファ２０でバッファリングされた符
号化データを読み出し、マクロブロック符号化情報を可
変長復号化し、符号化モード、動きベクトル、量子化情
報及び量子化ＤＣＴ係数を分離する。なお、符号器側で
行われる可変長符号化は、出現頻度がより高いデータに
より短いコードを割り当てることにより行われ、可変長
復号化回路２２は、その処理とは逆の処理を実行する。

【００２５】逆量子化回路２４は、可変長復号化回路２
２により復号化された８×８の量子化ＤＣＴ係数を逆量
子化し、ＤＣＴ係数を復元する。なお、量子化は、符号
器側で人の視覚特性に応じて定められた量子化テーブル
を用いて空間的な情報を圧縮する処理であり、逆量子化
は、同じ量子化テーブルを使用して、その逆を行なう処
理である。実行する処理である。

【００２６】画像処理回路２６は、システム制御回路１
２の制御下で、逆ＤＣＴ変換後の画素数が表示装置１６
の水平垂直画素数に応じたものになるように、ＤＣＴ係
数を変換する。

【００２７】一例として、水平１９２０画素、垂直１０
８０画素（符号化のためには、水平１９２０画素、垂直
１０８８画素として扱われる。）のプログレッシブスキ
ャン画像（ノンインターレーススキャン画像）を、水平
８５２画素、垂直４８０画素のプログレッシブスキャン
画像に変換する場合、即ち、水平垂直ともに４／９倍す
る場合の画像処理回路２６の動作を説明する。図４は変
換前の画像サイズとブロック配置を示し、図５は、変換
後の画像サイズで見たブロック配置例を示す。

【００２８】入力画像では、８×８（入力信号のＤＣＴ
の基底マトリクスサイズ）を１ブロックとするブロック
数は、図４に示すように水平方向に２４０ブロック、垂
直方向に１３６ブロックである。本実施例では、水平及
び垂直方向のブロック数を変更せずに、個々のブロック
のサイズを変更することで、画素数を変換する。例え
ば、全ブロックのサイズを８×８から高域を除去して３
×３にすると、変換後の水平及び垂直画素数はそれぞれ
７２０画素及び４０８画素となり、それぞれ目標の８５
２画素及び４８０画素よりも少なくなり過ぎる。また、
全ブロックのサイズを８×８から高域を除去して４×４
にすると、変換後の水平及び垂直画素数はそれぞれ９６
０画素及び５４４画素となり、それぞれ目標の８５２画
素及び４８０画素よりも多すぎる。

【００２９】そこで、本実施例では、図５に示すよう
に、水平方向で、画像の中心部に位置する１３２ブロッ
ク（５２８画素）に対してそのサイズを８から４に減ら
し、画像両端の周辺部に位置する各５４ブロック（１６
２画素）に対してそのサイズを８から３に減らす。垂直
方向では、画像の中心部に位置する７２ブロック（２８
８画素）に対してそのサイズを８から４に減らし、画像
上下の周辺部に位置する各３２ブロック（９６画素）に
対してはそのサイズを８から３に減らす。これにより、
図５に示すように、水平８５２画素、垂直４８０画素の
画像に変換できる。画像の中心部のブロックに対して間
引きを少なくするのは、画像の中心部分が一般的に視聴
者が注目する部分であり、この部分を周辺よりも高域成
分を含んだ高精細な画像とするためである。

【００３０】図５では、各ブロックの水平方向及び垂直
方向の間引き要素数を３及び４としたが、間引き要素数
をこれ以上に増やしても良い。間引き要素数が変化する
位置は必要に応じて決定すればよいことは明らかであ
る。８から３及び８から４への２通りの間引き処理を切
り替える例を説明したが、もちろん、３通り又は４通り
以上の間引き処理を切り替えるようにしてもよい。この
ような縮小処理のみならず、例えば、８から１０及び８
から１２へ高域成分に０値を挿入する処理を切り替えて
拡大する場合にも、本実施例を適用できることは言うま
でもない。更には、２つの変換処理の切り替え方法につ
いても、後述するように種々の方法を採用し得る。

【００３１】インターレーススキャン画像の場合の画素
数変換を説明する。フレーム構造の画像データでは、フ
レームＤＣＴ符号化モードとフィールドＤＣＴ符号化モ
ードのどちらかをマクロブロック単位で選択できるが、
フィールド構造の画像データでは、マクロブロックが１
フィールドの信号のみで構成されるので、輝度信号と色
差信号の両者共に常にフィールドＤＣＴ変換となる。

【００３２】例えば、水平１９２０画素、垂直１０８０
画素（符号化の際には、水平１９２０画素、垂直１０８
８画素として扱われる。）のインターレーススキャン画
像（１フィールドの垂直画素数は５４４）を、水平８５
２画素、垂直４８０画素のインターレーススキャン画像
（１フィールドの垂直画素数は２４０）に変換する場
合、即ち、水平及び垂直ともに４／９倍する場合を、図
６及び図７を参照して、説明する。図６は変換前の画像
サイズとブロックサイズを示し、図７は、変換後の画像
サイズで見たブロック配置例を示す。但し、水平方向に
ついてはプログレッシブスキャンの場合と同じであるの
で、垂直方向についてのみ説明する。

【００３３】入力画像の、８画素を１ブロックとする垂
直ブロック数は６８である。例えば、全てのブロックの
垂直方向のサイズを８から３に減らした（上述したよう
に高域成分を取り除く）場合、変換後の垂直画素数は２
０４画素となり、目標の２４０画素よりも少な過ぎる。
全てのブロックの垂直方向のサイズを８から４に減らし
た場合、変換後の垂直画素数は２７２画素となり、目標
の２４０画素よりも多すぎる。

【００３４】そこで、本実施例では、図７に示すよう
に、垂直方向では、画像の中心部に位置する３６ブロッ
ク（１４４画素）に対してそのサイズを８から４に減ら
し、画像上下の周辺部に位置する各１６ブロック（４８
画素）に対してはそのサイズを８から３に減らす。これ
により、垂直方向の画素数が２４０画素になる。

【００３５】このように、本実施例では、拡大縮小を問
わず、且つ、入出力信号の走査方式がプログレッシブ方
式であるかインターレース方式であるかを問わず、所望
の画素数に変換できる。

【００３６】逆ＤＣＴ回路２８は、画像処理回路２６か
ら出力されるＤＣＴ係数を、その各ブロックサイズに応
じたＤＣＴ基底マトリクスを用いて逆ＤＣＴ変換し、画
素空間データに変換し、例えば８ビット精度の整数値デ
ータにオフセット及び丸め込み処理したデータを出力す
る。ＤＣＴ演算及び逆ＤＣＴ演算は実数演算で定義され
ているが、その間に量子化処理が入るので、逆ＤＣＴ演
算結果はＤＣＴ演算の入力値とは必ずしも一致せず、し
かも整数になるとも限らない。すなわち、演算結果の小
数点以下の値が０．５となる場合に、整数化で切り上げ
になるケースと、切り下げになるケースが生じる。この
ミスマッチは、演算精度を如何に高く規定しても解決で
きない。その対策として、本実施例では、逆ＤＣＴ回路
２８は、逆量子化後の係数値を微小に変化させて、誤差
を伴わない逆ＤＣＴ演算結果の小数点以下の値が０．５
となる確率を減らす。

【００３７】図８は動き補償予測回路３４の概略構成ブ
ロック図を示す。図８を参照して、動き補償予測回路３
４の構成と動作を説明する。

【００３８】８０はビットストリームデータからベクト
ル予測値を算出するベクトル予測値算出回路、８２はベ
クトル復号化回路、８４は追加デュアルプライム演算回
路、８６は色成分のスケーリング回路、８８は予測フィ
ールド／フレーム選択回路、９０はフレームストアアド
レス指定回路、９２はフレームメモリ、９４は半画素予
測フィルタ、９６は予測結合回路、９８は予測結合回路
９６の出力ｐ（ｘ，ｙ）にｆ（ｘ，ｙ）を積算する積算
回路、１００は飽和処理回路である。

【００３９】動き補償予測回路３４は、動き補償予測モ
ードの場合に、動き補償予測されたブロックデータｐ
（ｘ，ｙ）を逆ＤＣＴ回路２８の出力ｆ（ｘ，ｙ）に加
算する。ただし、イントラ符号化（画面内符号化モー
ド）の場合には、この加算処理は不要であるので、ｐ
（ｘ，ｙ）を０とする。符号化モードは各マクロブロッ
ク単位に決定される。動き補償予測モードは、時間的な
相関が高い場合に高い符号化効率を期待できる。イント
ラ符号化モードは、シーンの大きな変化などにより時間
的な相関が期待できない場合に用いられる。ブロックが
符号化されない場合、マクロブロック全体がスキップさ
れているか、又は特定のブロックが復号化されていない
かの何れかの理由により、係数データは存在しない。こ
の場合、ｆ（ｘ，ｙ）はゼロであり、復号画素値は、単
純に予測値ｐ（ｘ，ｙ）に等しい。ｆ（ｘ，ｙ）がゼロ
にならないように、飽和処理回路１００が必要となる。

【００４０】先ず、動き補償予測モードを説明する。予
測モードは、フィールド予測とフレーム予測の２種類に
大別される。フィールド予測では、先に復号化された１
又は複数のフィールドからのデータを使用し、各フィー
ルドについて独立に予測を行う。フレーム予測は、先に
復号化された１又は複数のフレームから別のフレームを
予測する。予測のもととなるフィールド及びフレーム
は、それ自体、フィールド画像及びフレーム画像として
それぞれ復号化されたものである。フィールド画像内で
は、予測は全てフィールド予測であるが、フレーム画像
では、フィールド予測及びフレーム予測の何れかを使用
できる（マクロブロックごとに選択される）。

【００４１】フィールド予測又はフレーム予測のほか
に、１６×８動き補償及びデュアルプライムの２種類の
特別予測モードが使用される。１６×８動き補償では、
マクロブロック単位に２組の動きベクトルが使用され
る。最初のベクトルは１６×８領域の上部に使用され、
２番目のベクトルは１６×８領域の下部に使用される。
双方向に予測されるマクロブロックの場合、前方予測に
対して２組のベクトル、後方予測に対して２組のベクト
ルの合計４組のベクトルが使用される。デュアルプライ
ム補償方式では、ビットストリーム内で、１個のベクト
ルが小さな差分ベクトルと共に符号化される。フィール
ド画像の場合、この情報から２組の動きベクトルを生成
できる。これらのベクトルは、２つの参照フィールド
（１つはトップ、１つはボトム）からの予測を形成する
ために使用され、平均化されて最終的な予測を形成す
る。フレーム画像の場合、合計で４フィールドからの予
測が行われるように、２つのフィールドについてこの処
理が繰り返される。この予測モードはＰピクチャに対し
てのみ使用可能であり、それは、予測される画像と参照
フィールドまたはフレームとの間にＢピクチャが無い場
合である。

【００４２】予測フィールド／フレーム選択回路８８
は、予測形成のために使用すべきフィールド又はフレー
ムを選択する。Ｐピクチャにおけるフィールド予測は、
最も直前に符号化された参照トップフィールド及び参照
ボトムフィールドを用いて行われる。Ｂピクチャにおけ
るフィールド予測は、直前に復元された２つの参照フレ
ームの２つのフィールドから行われる。Ｐピクチャにお
けるフレーム予測は、直前に復元された参照フレームか
ら行われる。同様に、Ｂピクチャにおけるフレーム予測
は、直前に復元された２つの参照フレームから行われ
る。

【００４３】色成分スケーリング回路８６は、輝度信号
の動きベクトルをスケーリングして、色差信号の動きベ
クトルを得る。例えば、４：２：０フォーマットの画像
データの場合、動きベクトルを水平垂直方向ともに半分
にする。半画素予測フィルタ９４は、動きベクトルを２
倍する。これは、参照画面での各画素間を１：１で直線
補間した０．５画素精度を用いて、予測精度を向上する
ためである。

【００４４】動きベクトル符号化を説明する。画像の近
傍領域における動き量は相関が高いという特性を利用す
る。動きベクトルに対しては、前に符号化したマクロブ
ロックの動きベクトル量を予測ベクトルＰＭＶとして、
その予測ベクトルＰＭＶとの差分ベクトルδを符号化す
る。すなわち、動きベクトルｖ’（ｒ，ｓ，ｔ）は下記
式のように表現される。すなわち、ｖ’（ｒ，ｓ，ｔ）＝ＰＭＶ（ｒ，ｓ，ｔ）＋δ （１）ここで、ｒはマクロブロックの第１／第２動きベクト
ル、ｓは前方／後方動きベクトル、ｔは水平／垂直成分
をそれぞれ示す。

【００４５】差分ベクトルδは、下記式に示すように、
基本差分ベクトルｖ_ｓをスケールファクタｆによりスケ
ーリングし、残差ベクトルｖ_ｒを加えた値である。すな
わち、 δ＝Sign（ｖ_ｓ）×｛（（Abs（ｖ_ｓ）−１）×ｆ）＋ｖ_ｒ＋１｝（２）ただし、Ｓｉｇｎは符号を示す関数、Ａｂｓは絶対値を
示す関数である。基本差分ベクトルｖ_ｓは−１６から＋
１６までの整数値をとり、可変長符号化コード（１〜１
１ビット）としてマクロブロックに与えられる。スケー
ルファクタｆは、動き補償範囲を決定するスケールファ
クタコードｆ＿ｃｏｄｅ（ｓ，ｔ）から、ｆ＝１＜＜（ｆ＿ｃｏｄｅ（ｓ，ｔ）−１）（３）により算出される。＜＜は左ビットシフトを示す。ま
た、残差ベクトルｖ_ｒはマクロブロックに与えられ、
（ｆ＿ｃｏｄｅ−１）のビット長を持つ。

【００４６】従って、動きベクトル情報としてマクロブ
ロックで符号化されるのは、基本差分ベクトルｖ_ｓと残
差ベクトルｖ_ｒである。例えば、スケールファクタｆ＿
ｃｏｄｅ＝８、基本差分ベクトルｖ_ｓ＝−１６、残差ベ
クトルｖ_ｒ＝１２７の場合、式（２），（３）から、差
分ベクトルδ＝−２０４８となる。このように、スケー
ルファクタコード、３３個の動きベクトルを持つ基本差
分ベクトルテーブル、及び残差ベクトルによって、差分
ベクトルδを広い範囲で効率的に符号化することが可能
になる。ちなみにＭＰ＠ＭＬでは、フレーム構造のフレ
ーム動き補償予測の場合、動きベクトルの範囲は、垂直
方向で（−１２８．０，１２７．５）、水平方向で（−
１０２４．０，１０２３．５）となり、ｆ＿ｃｏｄｅが
それぞれ８と５となる。

【００４７】本実施例では、逆ＤＣＴ回路２８から出力
されるデータは、画像処理手段２６によりスケーリング
（画素数の変換）されているので、動き補償予測回路３
４は、システム制御回路１２の制御下に、スケーリング
後の水平垂直画素数を考慮した上で動きを補償する。即
ち、例えば、４／８倍にスケーリングした場合、マクロ
ブロックのサイズは、輝度信号の場合で１６×１６から
８×８へ水平垂直ともに半分になり、動き補償に用いる
参照Ｉピクチャ及び参照Ｐピクチャのサイズも半分にな
っている。従って、当然に、上述の動きベクトルｖ’
（ｒ，ｓ，ｔ）の量も水平垂直ともに半分にする必要が
ある。

【００４８】ビデオメモリ３２は、加算器３０の出力の
内、復号処理で用いる参照画素としてＩピクチャ及びＰ
ピクチャの画像データを一時記憶する。

【００４９】フォーマット変換回路３６は、符号化効率
を上げるために符号化器側で並べ替えられたＩ（Ｉｎｔ
ｒａｃｏｄｅｄ）ピクチャ、Ｐ（Ｐｒｅｄｉｃｔｉｖ
ｅｃｏｄｅｄ）ピクチャ及びＢ（Ｂｉｄｉｒｅｃｔｉｏ
ｎａｌｌｙｐｒｅｄｉｃｔｉｖｅｃｏｄｅｄ）ピク
チャを、元の入力順序に並べ替える。フォーマット変換
回路３６はまた、必要に応じて画像サイズを変換する。

【００５０】逆ＤＣＴ回路２８の出力はスケーリング
（画素数変換）されているので、フォーマット変換回路
３６もまた、システム制御回路１２の制御下に、スケー
リング後の水平垂直画素数を考慮した上で並べ替えを実
行する。

【００５１】図９に示すフローチャートを参照して、シ
ステム制御回路１２の動作を説明する。システム制御回
路１２は、デコーダ１０に入力する符号化ビットストリ
ームのシーケンスヘッダ及びシーケンス拡張から入力信
号の水平画素数ｉｎ＿ｘ及び垂直画素数ｉｎ＿ｙを取り
込む（Ｓ１）。ただし、水平画素数ｉｎ＿ｘ及び垂直画
素数ｉｎ＿ｙは共に、その下位１２ビットがシーケンス
ヘッダにあり、上位２ビットがシーケンス拡張にある。
図１０は、シーケンスヘッダの構造体の内容を示し、図
１１は、シーケンス拡張の構造体の内容を示す。表示装
置１６の水平画素数ｏｕｔ＿ｘ及び垂直画素数ｏｕｔ＿
ｙをそれぞれ入力信号の水平画素数ｉｎ＿ｘ及び垂直画
素数ｉｎ＿ｙで除算し、水平スケーリング（画素数変
換）比ｓｒ＿ｘ及び垂直スケーリング（画素数変換）比
ｓｒ＿ｙを算出する（Ｓ２）。

【００５２】ｓｒ＿ｘ及びｓｒ＿ｙがともにＮ／８（Ｎ
は自然数）の場合、システム制御回路１２は、ＤＣＴ係
数ブロックを８×８からＮ×Ｎへ変換する（縮小時には
高域成分を捨て、拡大時には高域成分に０値を挿入す
る）ように画像処理回路２６を設定する（Ｓ４）。シス
テム制御回路１２は更に、逆ＤＣＴ回路２８における逆
ＤＣＴ変換の基底マトリクスサイズをＮ×Ｎに設定する
（Ｓ５）。

【００５３】ｓｒ＿ｘ及びｓｒ＿ｙのどちらか又は両方
がＮ／８（Ｎは自然数）でない場合、システム制御回路
１２は、ＤＣＴ係数ブロックを８×８からＮ×Ｎへ変換
するブロックとＭ×Ｍへ変換するブロックに分けてブロ
ックサイズを変換するように画像処理回路２６を設定す
る（６）。８からＮへの変換と８からＭへの変換の組み
合わせは上述の通りである。システム制御回路１２は更
に、画像処理回路２６でのブロックサイズの変換に対応
して逆ＤＣＴ変換の基底マトリクスとしてＮ×Ｎのもの
を適用するブロックとＭ×Ｍのものを適用するブロック
に分けて逆ＤＣＴを行なうように逆ＤＣＴ回路２８を設
定する（Ｓ７）。

【００５４】そして、システム制御回路１２は、水平垂
直画素数をそれぞれスケーリング後のｏｕｔ＿ｘ，ｏｕ
ｔ＿ｙとし、動きベクトル量をｖ（ｒ，ｓ，０）をｓｒ
＿ｘでスケーリングし、ｖ（ｒ，ｓ，１）をｓｒ＿ｙで
スケーリングした値で動き補償予測処理を行なうよう
に、動き補償予測回路３４を設定する（Ｓ８）。

【００５５】システム制御回路１２は更に、水平画素数
ｏｕｔ＿ｘ及び垂直画素数ｏｕｔ＿ｙでフレーム又はフ
ィールドの並び替え処理を行うようにフォーマット変換
回路３６を設定し（Ｓ９）、水平画素数ｏｕｔ＿ｘ及び
垂直画素数ｏｕｔ＿ｙで表示装置１６への表示を制御す
るように表示制御回路１４を設定する（Ｓ９）。

【００５６】以上の処理は、フレーム構造の入力画像と
フィールド構造の入力画像のどちらにも対応可能であ
る。

【００５７】以上の説明では、８×８を１ブロックとし
て構成される入力画像のＤＣＴ係数を、例えば画像の中
心部のブロックに対しては要素数を８からＭ（Ｍは８未
満の自然数）に、画像の周辺部のブロックに対しては要
素数を８からＮ（Ｎは８未満の自然数で、且つＭ＞Ｎ）
に間引くことにより、逆ＤＣＴ後の出力画像の画素数を
入力画像信号の４／９倍に変換する。

【００５８】要素数を８からＭに間引くブロック（Ｍサ
イズブロック）と８からＮに間引くブロック（Ｎサイズ
ブロック）の組み合わせ及び配置は、上述した例に限定
されない。例えば、ＭサイズブロックとＮサイズブロッ
クとを図１２及び図１３に例示するように交互に配置し
ても良い。図１２は、プログレッシブ画像に対するブロ
ック配置例を示し、図１３はインターレース画像に対す
るブロック配置例を示す。

【００５９】例えば、入力画像の水平垂直画素数がそれ
ぞれ１９２０及び１０８０（符号化上は１０８８）であ
る場合、Ｍを４、Ｎを３とすると、変換後の出力画像の
水平垂直画素数はそれぞれ８４０及び４７６となり、丁
度、４／９倍に当たる８５２及び４８０よりも少し小さ
い。しかし、異なる周波数成分を有するブロックが交互
に並ぶことになり、画面の中央と周囲に区分する先の例
に比べ、周辺部の画像歪みを無くすことができる。

【００６０】もちろん、この構成でも、先の場合と同様
に、プログレッシブ構造のデータ及びインターレース構
造のデータの両方に対応可能である。

【００６１】ＭサイズブロックとＮサイズブロックの組
み合わせ方を、画像の中心部ではＭサイズブロックが多
くなり、画像の周辺部ではＮサイズブロックが多くなる
なるように各ブロックを配置し、この変化がリニアにな
るようにしてもよい。そのブロック配置例を図１４に示
す。図１４では、この変化を画像の中心から左右に６段
階ずつ（水平２４０ブロックを２０ブロックづつに分け
る。）にした例を示す。

【００６２】水平方向を説明するが、垂直方向について
も同様である。画像の一番端、即ち、ブロック＃０から
＃１９対しては、図１４（ａ）に示すように、全て、要
素数を８からＮに間引く。その次に端に位置する２０ブ
ロック、即ちブロック＃２０から＃３９に対しては、図
１４（ｂ）に示すように、４個のブロックのみが８から
Ｍに間引かれ、残りの１６個のブロックは８からＮに間
引かれる。同様にして、画像の中心部に向かうに従って
Ｍサイズブロックの割合を増やし、画像の中心部のブロ
ック＃１００から＃１１９に対しては、図１４（ｆ）に
示すように、全てのブロックをＭサイズブロックとす
る。図１４では、例としてＭ＝４、Ｎ＝３としている。

【００６３】また、図１４では、変化のステップが２０
ブロックずつ左右対称の６段階の場合を示しているが、
１２ブロックずつ左右対称の１０段階であってもよく、
更に場合によっては、左右対称でなくてもよい。この変
化の態様が本発明を制限しないことは明らかである。

【００６４】図１４に例示するようなブロック配分は、
プログレッシブ構造の画像データ及びインターレース構
造の画像データの両方に対応可能である。

【００６５】ＭサイズブロックとＮサイズブロックと
を、図１５及び図１６に例示するように、画面を上下左
右に４等分した各領域内にランダムに配置しても良い。
図１５はプログレッシブ画像に対するブロック配置例を
示し、図１６はインターレース画像に対するブロック配
置例を示す。但し、水平方向に関しては、Ｍ（この場
合、Ｍ＝４）サイズブロックが６６個（２６４画素）、
Ｎ（この場合、３）サイズブロックが５４個（１６２画
素）になるようにすると共に、垂直方向に関しては、Ｍ
サイズブロックが３６個（１４４画素）、Ｎサイズブロ
ックが３２個（９６画素）になるようにする。４つの各
領域内の配置は、同じでもよいし、異なってもよい。

【００６６】このような配置により、サイズ（要素数）
の異なるブロックをマクロ的に均等に配置することがで
き、出力画像の均一性を向上させることができる。ま
た、この配置を各フレーム又はフィールドにおいて全て
共通にすることにより、動画として落ち着きのある画像
を得ることができる。一方、この配置を各フレーム又は
フィールドにおいて共通化せずにランダムにした場合、
動画として若干のばたつきが生じるものの、空間的のみ
ならず時間軸方向にも配置をランダム化できるので、画
像の均一性をより向上させることができる。

【００６７】このようなブロック配置は、先の実施例と
同様、プログレッシブ構造のデータ及びインターレース
構造のデータの両方に対応可能である。

【００６８】上述した実施例の機能を実現するように各
種のデバイスを動作させるべく当該各種デバイスと接続
された装置又はシステム内のコンピュータに、上記実施
例の機能を実現するためのソフトウェアのプログラムコ
ードを供給し、その装置又はシステムのコンピュータ
（ＣＰＵ又はＭＰＵ）を格納されたプログラムに従って
動作させ、前記各種デバイスを動作させることによって
実施したものも、本願発明の範囲に含まれる。

【００６９】この場合、前記ソフトウエアのプログラム
コード自体が、前述した実施例の機能を実現することに
なり、そのプログラムコード自体、及びそのプログラム
コードをコンピュータに供給するための手段、例えば、
かかるプログラムコードを格納した記憶媒体は、本発明
を構成する。かかるプログラムコードを格納する記憶媒
体としては、例えば、フロッピーディスク、ハードディ
スク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁
気テープ、不揮発性のメモリカード及びＲＯＭ等を用い
ることが出来る。

【００７０】また、コンピュータが供給されたプログラ
ムコードを実行することにより、前述の実施例の機能が
実現されるだけではなく、そのプログラムコードがコン
ピュータにおいて稼働しているＯＳ（オペレーティング
システム）又は他のアプリケーションソフトウエア等と
共同して上述の実施例の機能が実現される場合にも、か
かるプログラムコードが本出願に係る発明の実施例に含
まれることは言うまでもない。

【００７１】更には、供給されたプログラムコードが、
コンピュータの機能拡張ボード又はコンピュータに接続
された機能拡張ユニットに備わるメモリに格納された
後、そのプログラムコードの指示に基づいて、その機能
拡張ボード又は機能拡張ユニットに備わるＣＰＵ等が実
際の処理の一部または全部を行い、その処理によって上
述した実施例の機能が実現される場合も、本出願に係る
発明に含まれることは言うまでもない。

【００７２】

【発明の効果】以上の説明から容易に理解できるよう
に、本発明によれば、変換係数空間での画素数変換に対
してＮ／８（Ｎは自然数）倍以外の倍率での拡大縮小が
可能になった。

【図面の簡単な説明】

【図１】本発明の一実施例の概略構成ブロック図であ
る。

【図２】デコーダ１０の概略構成ブロック図である。

【図３】ＭＰＥＧビデオストリームの構成図である。

【図４】本実施例によりプログレッシブ画像を４／９
倍変換する前の画像サイズとブロックサイズの例であ
る。

【図５】本実施例によりプログレッシブ画像を４／９
倍変換した後の画像サイズとブロックサイズの例であ
る。

【図６】本実施例によりインターレース画像を４／９
倍変換する前の画像サイズとブロックサイズの例であ
る。

【図７】本実施例によりインターレース画像を４／９
倍変換した後の画像サイズとブロックサイズの例であ
る。

【図８】動き補償予測回路３４の概略構成ブロック図
である。

【図９】システム制御回路１２の動作フローチャート
である。

【図１０】シーケンスヘッダの構造例である。

【図１１】シーケンス拡張の構造例である。

【図１２】プログレッシブ画像に対するブロック配置
の変更例である。

【図１３】インターレース画像に対するブロック配置
の変更例である。

【図１４】画像の中心部でＭサイズブロックが多くな
り、画像の周辺部でＮサイズブロックが多くなるなるブ
ロック配置例である。

【図１５】プログレッシブ画像に対するブロック配置
の別の変更例である。

【図１６】インターレース画像に対するブロック配置
の別の変更例である。

【図１７】ＤＣＴ係数の一般的なブロックサイズであ
る。

【図１８】ブロックサイズの縮小例である。

【図１９】ブロックサイズの縮小結果である。

【図２０】ブロックサイズの拡張例である。

【図２１】ブロックサイズの拡張結果である。

【図２２】変換前の画像サイズ例である。

【図２３】従来例では実現できない変換後の画像サイ
ズ例である。

【符号の説明】１０：デコーダ１２：システム制御回路１４：表示制御回路１６：表示装置２０：バッファ２２：可変長復号化回路２４：逆量子化回路２６：画像処理回路２８：逆ＤＣＴ回路３０：加算器３２：ビデオメモリ３４：動き補償予測回路３６：フォーマット変換回路４０：シーケンスヘッダ４２：シーケンス拡張４４：拡張及びユーザデータ（０）４６：ＧＯＰヘッダ４８：拡張及びユーザデータ（１）５０：ピクチャヘッダ５２：ピクチャ符号化拡張５４：拡張及びユーザデータ（２）５６：ピクチャデータ５８：シーケンスエンド６０：シーケンスヘッダ６２：スライスデータ６４：スライス情報６６：マクロブロックデータ６８：マクロブロック情報７０：ブロックデータ８０：ベクトル予測値算出回路８２：ベクトル復号化回路８４：追加デュアルプライム演算回路８６：色成分スケーリング回路８８：予測フィールド／フレーム選択回路９０：フレームストアアドレス指定回路９２：フレームメモリ９４：半画素予測フィルタ９６：予測結合回路９８：積算回路１００：飽和処理回路

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 7/32 Ｈ０４Ｎ 7/137 ＺＦターム(参考） 5B057 AA20 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB18 CC01 CD05 CE08 CG02 5C059 KK01 LB05 LC03 MA00 MA23 MC11 ME01 NN15 PP05 PP06 PP07 PP16 SS02 SS20 UA02 UA05 UA33 5C063 AA06 AB03 AC01 BA03 BA04 BA12 CA11 CA12 5C076 AA21 AA22 BA07 BA09 BB13

Claims

【特許請求の範囲】

【請求項１】所定サイズの直交変換ブロックで直交変
換された画像データを入力する入力手段と、当該画像データに対応する直交変換データに対して当該
直交変換ブロックのサイズを変更し、当該直交変換ブロ
ックのサイズをＭ（自然数）にする第１ブロック及びＮ
（自然数）にする第２ブロックを画面内に所定分布で配
置する画像処理手段と、当該画像処理手段から出力されるデータを、各直交変換
ブロックのサイズに応じた基底マトリクスに従い逆直交
変換する逆直交変換手段とを有することを特徴とする画
像処理装置。
【請求項２】当該画像処理手段は、当該第１のブロッ
クを画面中央に配置し、当該第２のブロックを画面周囲
に配置する請求項１に記載の画像処理装置。
【請求項３】当該画像データが、水平画素数が１９２
０、垂直画素数が１０８８のプログレッシブ走査画像信
号を直交変換されたものであり、画素数変換後の画像信
号を、その水平画素数が８５２、垂直画素数が４８０の
プログレッシブ走査信号とする場合に、Ｍ＝４、Ｎ＝３
である請求項２に記載の画像処理装置。
【請求項４】水平方向には、当該第１のブロックを画
面中央に１３２ブロック配置すると共に、両側部に当該
第２のブロックをそれぞれ５４ブロック配置し、垂直方向には、当該第１のブロックを画面中央に７２ブ
ロック配置すると共に、両側部に当該第２のブロックを
それぞれ３２ブロックずつ配置する請求項３に記載の画
像処理装置。
【請求項５】当該画像データが、水平画素数が１９２
０、垂直画素数が１０８８で、１フィールドの垂直画素
数が５４４のインターレース走査画像信号を直交変換さ
れたものであり、画素数変換後の画像信号を、その水平
画素数が８５２、垂直画素数が４８０で、１フィールド
の垂直画素数が２４０のインターレース走査信号とする
場合に、Ｍ＝４、Ｎ＝３である請求項２に記載の画像処
理装置。
【請求項６】水平方向には、当該第１のブロックを画
面中央に１３２ブロック配置すると共に、両側部に当該
第２のブロックをそれぞれ５４ブロック配置し、垂直方向には、当該第１のブロックを画面中央に３６ブ
ロック配置すると共に、両側部に当該第２のブロックを
それぞれ１６ブロックずつ配置する請求項５に記載の画
像処理装置。
【請求項７】当該画像処理手段は、当該第１のブロッ
クと当該第２のブロックを交互に配置する請求項１に記
載の画像処理装置。
【請求項８】当該画像データが、水平画素数が１９２
０、垂直画素数が１０８８のプログレッシブ走査画像信
号を直交変換されたものであり、画素数変換後の画像信
号を、その水平画素数が８４０、垂直画素数が４７６の
プログレッシブ走査信号とする場合に、Ｍ＝４、Ｎ＝３
である請求項７に記載の画像処理装置。
【請求項９】当該画像データが、水平画素数が１９２
０、垂直画素数が１０８８で、１フィールドの垂直画素
数が５４４のインターレース走査画像信号を直交変換さ
れたものであり、画素数変換後の画像信号を、その水平
画素数が８４０、垂直画素数が４７６で、１フィールド
の垂直画素数が２３８のインターレース走査信号とする
場合に、Ｍ＝４、Ｎ＝３である請求項７に記載の画像処
理装置。
【請求項１０】当該画像処理手段は、画面中央部では
当該第１のブロックを当該第２のブロックより多く配置
し、画面周辺部では当該第２のブロックを当該第１のブ
ロックより多く配置するように、当該第１のブロックと
当該第２のブロックの比率を画面中央から画面周辺部に
向かうに従い変更する請求項１に記載の画像処理装置。
【請求項１１】当該画像データが、水平画素数が１９
２０、垂直画素数が１０８８のプログレッシブ走査画像
信号を直交変換されたものであり、画素数変換後の画像
信号を、その水平画素数が８５２、垂直画素数が４８０
のプログレッシブ走査信号とする場合に、Ｍ＝４、Ｎ＝
３である請求項１０に記載の画像処理装置。
【請求項１２】当該画像データが、水平画素数が１９
２０、垂直画素数が１０８８で、１フィールドの垂直画
素数が５４４のインターレース走査画像信号を直交変換
されたものであり、画素数変換後の画像信号を、その水
平画素数が８５２、垂直画素数が４８０で、１フィール
ドの垂直画素数が２４０のインターレース走査信号とす
る場合に、Ｍ＝４、Ｎ＝３である請求項１０に記載の画
像処理装置。
【請求項１３】当該画像処理手段は、当該第１のブロ
ックと当該第２のブロックをランダムに配置する請求項
１に記載の画像処理装置。
【請求項１４】当該画像処理手段は、画面をその上下
左右に２Ｋ（Ｋは自然数）分割した各領域毎に、当該第
１のブロック及び当該第２のブロックをランダムに配置
する請求項１３に記載の画像処理装置。
【請求項１５】当該画像処理手段は、連続する画面間
で当該第１のブロック及び当該第２のブロックを同じ位
置に配置する請求項１３又は１４に記載の画像処理装
置。
【請求項１６】当該画像処理手段は、連続する画面間
で当該第１のブロック及び当該第２のブロックの配置が
異なる請求項１３又は１４に記載の画像処理装置。
【請求項１７】当該画像データが、水平画素数が１９
２０、垂直画素数が１０８８のプログレッシブ走査画像
信号を直交変換されたものであり、画素数変換後の画像
信号を、その水平画素数が８５２、垂直画素数が４８０
のプログレッシブ走査信号とする場合に、Ｍ＝４、Ｎ＝
３である請求項１３に記載の画像処理装置。
【請求項１８】当該画像データが、水平画素数が１９
２０、垂直画素数が１０８８のプログレッシブ走査画像
信号を直交変換されたものであり、画素数変換後の画像
信号を、その水平画素数が８５２、垂直画素数が４８０
のプログレッシブ走査信号とする場合に、Ｍ＝４、Ｎ＝３、Ｋ＝１であり、水平方向には、各領域において６６個の当該第１のブロ
ック及び５４個の当該第２のブロックをランダムに配置
し、垂直方向には、各領域において３６個の当該第１のブロ
ック及び３２個の当該第２のブロックをランダムに配置
する請求項１４に記載の画像処理装置。
【請求項１９】当該画像データが、水平画素数が１９
２０、垂直画素数が１０８８で、１フィールドの垂直画
素数が５４４のインターレース走査画像信号を直交変換
されたものであり、画素数変換後の画像信号を、その水
平画素数が８５２、垂直画素数が４８０で、１フィール
ドの垂直画素数が２４０のインターレース走査信号とす
る場合に、Ｍ＝４、Ｎ＝３である請求項１３に記載の画
像処理装置。
【請求項２０】当該画像データが、水平画素数が１９
２０、垂直画素数が１０８８で、１フィールドの垂直画
素数が５４４のインターレース走査画像信号を直交変換
されたものであり、画素数変換後の画像信号を、その水
平画素数が８５２、垂直画素数が４８０で、１フィール
ドの垂直画素数が２４０のインターレース走査信号とす
る場合に、Ｍ＝４、Ｎ＝３、Ｋ＝１であり、水平方向には、各領域において６６個の当該第１のブロ
ック及び５４個の当該第２のブロックをランダムに配置
し、垂直方向には、各領域において１８個の当該第１のブロ
ック及び１６個の当該第２のブロックをランダムに配置
する請求項１４に記載の画像処理装置。
【請求項２１】更に、画像表示手段と、当該画像表示手段の水平垂直画素数、及び当該入力画像
データの水平垂直画素数に従い、当該画像表示手段の水
平画素数及び垂直画素数をそれぞれ当該入力画像データ
の水平画素数及び垂直画素数で除算して水平スケーリン
グ比及び垂直スケーリング比を算出し、当該画像処理手
段に第１のブロックと当該当該第２のブロックの各サイ
ズと位置を設定し、当該逆直交変換手段に当該第１のブ
ロック及び当該第２のブロックに対する基底マトリクス
を設定する制御手段とを具備する請求項１乃至２０の何
れか１項に記載の画像処理装置。
【請求項２２】当該入力手段によって入力される画像
データは圧縮符号化されたデータであり、当該入力手段
は、当該画像データを直交変換係数データに復号化する
復号化手段を含む請求項１乃至２１の何れか１項に記載
の画像処理装置。
【請求項２３】当該入力手段によって入力された画像
データは、ＭＰＥＧ２の規格に準拠して圧縮符号化され
たデータである請求項２２に記載の画像処理装置。
【請求項２４】所定サイズの直交変換ブロックで直交
変換された画像データを入力する入力ステップと、当該画像データに対応する直交変換係数データに対して
当該直交変換ブロックのサイズを変更し、当該直交変換
ブロックのサイズをＭ（自然数）にする第１ブロック及
びＮ（自然数）にする第２ブロックを画面内に所定分布
で配置する画像処理ステップと、当該画像処理ステップで得られるデータを、各直交変換
ブロックのサイズに応じた基底マトリクスに従い逆直交
変換する逆直交変換ステップとを有することを特徴とす
る画像処理方法。
【請求項２５】当該画像処理ステップは、当該第１の
ブロックを画面中央に配置し、当該第２のブロックを画
面周囲に配置する請求項２４に記載の画像処理方法。
【請求項２６】当該画像データが、水平画素数が１９
２０、垂直画素数が１０８８のプログレッシブ走査画像
信号を直交変換されたものであり、画素数変換後の画像
信号を、その水平画素数が８５２、垂直画素数が４８０
のプログレッシブ走査信号とする場合に、Ｍ＝４、Ｎ＝
３である請求項２５に記載の画像処理方法。
【請求項２７】水平方向には、当該第１のブロックを
画面中央に１３２ブロック配置すると共に、両側部に当
該第２のブロックをそれぞれ５４ブロック配置し、垂直方向には、当該第１のブロックを画面中央に７２ブ
ロック配置すると共に、両側部に当該第２のブロックを
それぞれ３２ブロックずつ配置する請求項２６に記載の
画像処理方法。
【請求項２８】当該画像データが、水平画素数が１９
２０、垂直画素数が１０８８で、１フィールドの垂直画
素数が５４４のインターレース走査画像信号を直交変換
されたものであり、画素数変換後の画像信号を、その水
平画素数が８５２、垂直画素数が４８０で、１フィール
ドの垂直画素数が２４０のインターレース走査信号とす
る場合に、Ｍ＝４、Ｎ＝３である請求項２５に記載の画
像処理方法。
【請求項２９】水平方向には、当該第１のブロックを
画面中央に１３２ブロック配置すると共に、両側部に当
該第２のブロックをそれぞれ５４ブロック配置し、垂直方向には、当該第１のブロックを画面中央に３６ブ
ロック配置すると共に、両側部に当該第２のブロックを
それぞれ１６ブロックずつ配置する請求項２８に記載の
画像処理方法。
【請求項３０】当該画像処理ステップは、当該第１の
ブロックと当該第２のブロックを交互に配置する請求項
２４に記載の画像処理方法。
【請求項３１】当該画像データが、水平画素数が１９
２０、垂直画素数が１０８８のプログレッシブ走査画像
信号を直交変換されたものであり、画素数変換後の画像
信号を、その水平画素数が８４０、垂直画素数が４７６
のプログレッシブ走査信号とする場合に、Ｍ＝４、Ｎ＝
３である請求項３０に記載の画像処理方法。
【請求項３２】当該画像データが、水平画素数が１９
２０、垂直画素数が１０８８で、１フィールドの垂直画
素数が５４４のインターレース走査画像信号を直交変換
されたものであり、画素数変換後の画像信号を、その水
平画素数が８４０、垂直画素数が４７６で、１フィール
ドの垂直画素数が２３８のインターレース走査信号とす
る場合に、Ｍ＝４、Ｎ＝３である請求項３０に記載の画
像処理方法。
【請求項３３】当該画像処理ステップは、画面中央部
では当該第１のブロックを当該第２のブロックより多く
配置し、画面周辺部では当該第２のブロックを当該第１
のブロックより多く配置するように、当該第１のブロッ
クと当該第２のブロックの比率を画面中央から画面周辺
部に向かうに従い変更する請求項２４に記載の画像処理
方法。
【請求項３４】当該画像データが、水平画素数が１９
２０、垂直画素数が１０８８のプログレッシブ走査画像
信号を直交変換されたものであり、画素数変換後の画像
信号を、その水平画素数が８５２、垂直画素数が４８０
のプログレッシブ走査信号とする場合に、Ｍ＝４、Ｎ＝
３である請求項３３に記載の画像処理方法。
【請求項３５】当該画像データが、水平画素数が１９
２０、垂直画素数が１０８８で、１フィールドの垂直画
素数が５４４のインターレース走査画像信号を直交変換
されたものであり、画素数変換後の画像信号を、その水
平画素数が８５２、垂直画素数が４８０で、１フィール
ドの垂直画素数が２４０のインターレース走査信号とす
る場合に、Ｍ＝４、Ｎ＝３である請求項３３に記載の画
像処理方法。
【請求項３６】当該画像処理手段は、当該第１のブロ
ックと当該第２のブロックをランダムに配置する請求項
２４に記載の画像処理方法。
【請求項３７】当該画像処理手段は、画面をその上下
左右に２Ｋ（Ｋは自然数）分割した各領域毎に、当該第
１のブロック及び当該第２のブロックをランダムに配置
する請求項３６に記載の画像処理方法。
【請求項３８】当該画像処理手段は、連続する画面間
で当該第１のブロック及び当該第２のブロックを同じ位
置に配置する請求項３６又は３７に記載の画像処理方
法。
【請求項３９】当該画像処理手段は、連続する画面間
で当該第１のブロック及び当該第２のブロックの配置が
異なる請求項３６又は３７に記載の画像処理方法。
【請求項４０】当該画像データが、水平画素数が１９
２０、垂直画素数が１０８８のプログレッシブ走査画像
信号を直交変換されたものであり、画素数変換後の画像
信号を、その水平画素数が８５２、垂直画素数が４８０
のプログレッシブ走査信号とする場合に、Ｍ＝４、Ｎ＝
３である請求項３６に記載の画像処理方法。
【請求項４１】当該画像データが、水平画素数が１９
２０、垂直画素数が１０８８のプログレッシブ走査画像
信号を直交変換されたものであり、画素数変換後の画像
信号を、その水平画素数が８５２、垂直画素数が４８０
のプログレッシブ走査信号とする場合に、Ｍ＝４、Ｎ＝３、Ｋ＝１であり、水平方向には、各領域において６６個の当該第１のブロ
ック及び５４個の当該第２のブロックをランダムに配置
し、垂直方向には、各領域において３６個の当該第１のブロ
ック及び３２個の当該第２のブロックをランダムに配置
する請求項３７に記載の画像処理方法。
【請求項４２】当該画像データが、水平画素数が１９
２０、垂直画素数が１０８８で、１フィールドの垂直画
素数が５４４のインターレース走査画像信号を直交変換
されたものであり、画素数変換後の画像信号を、その水
平画素数が８５２、垂直画素数が４８０で、１フィール
ドの垂直画素数が２４０のインターレース走査信号とす
る場合に、Ｍ＝４、Ｎ＝３である請求項３６に記載の画
像処理方法。
【請求項４３】当該画像データが、水平画素数が１９
２０、垂直画素数が１０８８で、１フィールドの垂直画
素数が５４４のインターレース走査画像信号を直交変換
されたものであり、画素数変換後の画像信号を、その水
平画素数が８５２、垂直画素数が４８０で、１フィール
ドの垂直画素数が２４０のインターレース走査信号とす
る場合に、Ｍ＝４、Ｎ＝３、Ｋ＝１であり、水平方向には、各領域において６６個の当該第１のブロ
ック及び５４個の当該第２のブロックをランダムに配置
し、垂直方向には、各領域において１８個の当該第１のブロ
ック及び１６個の当該第２のブロックをランダムに配置
する請求項３７に記載の画像処理方法。
【請求項４４】更に、画像表示手段の水平垂直画素数、及び当該入力画像デー
タの水平垂直画素数を取り込み、当該画像表示手段の水
平画素数及び垂直画素数をそれぞれ当該入力画像データ
の水平画素数及び垂直画素数で除算して水平スケーリン
グ比及び垂直スケーリング比を算出し、当該画像処理ス
テップにおける第１のブロックと当該当該第２のブロッ
クの各サイズと位置を設定し、当該逆直交変換ステップ
における当該第１のブロック及び当該第２のブロックに
対する基底マトリクスを設定する設定ステップとを具備
する請求項２４乃至４３の何れか１項に記載の画像処理
方法。
【請求項４５】当該入力ステップにより入力された画
像データは圧縮符号化されたデータであり、当該入力ス
テップは、当該画像データを直交変換係数データに復号
化する復号化ステップを含む請求項２４乃至４４の何れ
か１項に記載の画像処理方法。
【請求項４６】当該画像データは、ＭＰＥＧ２の規格
に準拠して圧縮符号化されたデータである請求項２４乃
至４５の何れか１項に記載の画像処理方法。
【請求項４７】請求項２４乃至４６の何れか１項に記
載の画像処理方法を実行するプログラムソフトウエアを
記憶することを特徴とする記憶媒体。