JP2007249791A - 画像処理装置および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】消費電力の増加を抑制しつつ、精度の高い補間を行う。
【解決手段】セレクタ５１は、画素値を取得する。RAM６１は、独立に制御可能であり、画素値を記憶する。書き込み制御部５４は、セレクタ５１により取得される画素値に対応する画素の位置に基づいて、その画素値からなる画素値群の各画素値のそれぞれが異なるRAM６１に記憶されるように、RAM６１を制御する。読み出し制御部５５は、RAM６１を制御し、６４個のRAM６１のそれぞれから、画素値を同時に読み出すことにより、画素値群を同時に読み出す。補間演算部は、画素値群を用いて補間処理を行う。本発明は、例えばGPUに適用することができる。
【選択図】図２

Description

本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、消費電力の増加を抑制しつつ、精度の高い補間を行うことができるようにした画像処理装置および画像処理方法、並びにプログラムに関する。

従来、補間処理を行うLSI（Large Scale Integration）は、複数の画素の画素値から構成される補間処理前の画像データを、外部に設けられた専用のメモリ（ＩＣ（Integrated Circuit））に格納していた。

LSIの外部に設けられるメモリには、LSIに内蔵されるメモリに比べて、数倍の速度で動作するものもあるが、１つのLSIで、補間処理前の画素値を多く用いる、精度の高い補間処理に必要とされる帯域幅を、確保することは困難であった。また、メモリが高速で動作する場合、メモリの消費電力が増加してしまう。

そこで、精度の高い補間処理に必要とされる帯域幅を確保するために、複数のメモリを外部に設け、LSIと並列に接続することが考えられている。

しかしながら、この場合、メモリとLSIの接続に用いられる配線の数は膨大となるため、その接続は困難である。また、１つのメモリが接続される場合に比べて、部品数が増大し、配線領域が拡大するため、メモリとLSIから構成される回路の規模が増加してしまう。

一方、大容量の内蔵メモリを設け、処理回路と内蔵メモリとを、多ビットの伝送が可能な配線で接続することにより、低い動作周波数で、高い帯域幅を確保するLSIも考えられている。また、小容量の複数の内蔵メモリを設けたLSIも考えられている（例えば、特許文献１参照）。

特開２０００−１１１９０号公報

しかしながら、メモリへのアクセスは、１つのアドレスに対してだけ行うことができるため、高い帯域幅が確保されていても、補間処理に用いる補間前の画素値同士が同一のメモリの異なるアドレスに記憶されている場合、補間処理に用いるすべての画素値を同時に読み出すことはできない。従って、消費電力の増加を抑制しつつ、精度の高い補間を行うことは困難であった。

本発明は、このような状況に鑑みてなされたものであり、消費電力の増加を抑制しつつ、精度の高い補間を行うことができるようにするものである。

本発明の一側面の画像処理装置は、所定の数の画素の画素値である画素値群を用いて、補間対象とする画素の画素値を補間する補間処理を行う画像処理装置において、前記画素値を取得する取得手段と、前記画素値を記憶する、独立に制御可能な前記所定の数の記憶手段と、前記取得手段により取得される画素値に対応する画素の位置に基づいて、その画素値からなる画素値群の各画素値のそれぞれが異なる前記記憶手段に記憶されるように、前記記憶手段を制御する記憶制御手段と、前記所定の数の記憶手段を制御して、前記所定の数の記憶手段のそれぞれから、前記画素値を同時に読み出すことにより、前記画素値群を同時に読み出す読出手段と、前記読出手段により読み出された画素値群を用いて、前記補間処理を行う補間手段とを備える。

前記画像処理装置は、前記読出手段により読み出された画素値群の各画素値を、前記補間処理に対応する順番に並び替える並び替え手段をさらに設け、前記補間手段は、前記並び替え手段により並び替えられた画素値群を用いて、前記補間処理を行うことができる。

前記画像処理装置は、画像を構成する各画素の画素値を入力する入力手段と、前記補間手段により補間された画素により構成される画像を出力する出力手段とをさらに設け、前記取得手段は、前記入力手段により入力された画像値を取得することができる。

前記画像処理装置は、画像を構成する各画素の画素値を記録する記録手段と、前記記録手段から前記画素値を再生する再生手段とをさらに設け、前記取得手段は、前記再生手段により再生された画素値を取得することができる。

本発明の一側面の画像処理方法は、所定の数の画素の画素値である画素値群を用いて、補間対象とする画素の画素値を補間する補間処理を行う画像処理装置の画像処理方法において、前記画素値を取得し、その取得された画素値に対応する画素の位置に基づいて、その画素値からなる画素値群の各画素値のそれぞれが、前記画素値を記憶する、独立に制御可能な前記所定の数の記憶手段のうちの異なる記憶手段に記憶されるように、前記記憶手段を制御し、前記所定の数の記憶手段を制御して、前記所定の数の記憶手段のそれぞれから、前記画素値を同時に読み出すことにより、前記画素値群を同時に読み出し、その読み出された画素値群を用いて、前記補間処理を行うステップを含む。

本発明の一側面のプログラムは、所定の数の画素の画素値である画素値群を用いて、補間対象とする画素の画素値を補間する補間処理を、コンピュータに行わせるプログラムにおいて、前記画素値を取得し、その取得された画素値に対応する画素の位置に基づいて、その画素値からなる画素値群の各画素値のそれぞれが、前記画素値を記憶する、独立に制御可能な前記所定の数の記憶手段のうちの異なる記憶手段に記憶されるように、前記記憶手段を制御し、前記所定の数の記憶手段を制御して、前記所定の数の記憶手段のそれぞれから、前記画素値を同時に読み出すことにより、前記画素値群を同時に読み出し、その読み出された画素値群を用いて、前記補間処理を行うステップを含む。

本発明の一側面においては、画素値が取得され、その取得された画素値に対応する画素の位置に基づいて、その画素値からなる、所定の数の画素の画素値である画素値群の各画素値のそれぞれが、画素値を記憶する、独立に制御可能な所定の数の記憶手段のうちの異なる記憶手段に記憶されるように、記憶手段が制御され、所定の数の記憶手段が制御されて、所定の数の記憶手段のそれぞれから、画素値が同時に読み出されることにより、画素値群が同時に読み出され、その読み出された画素値群を用いて、補間対象とする画素の画素値を補間する補間処理が行われる。

以上のように、本発明の一側面によれば、補間処理を行うことができる。

また、本発明の一側面によれば、消費電力の増加を抑制しつつ、精度の高い補間を行うことができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面の画像処理装置は、第１に、
所定の数の画素の画素値である画素値群(例えば、図８の画素値群１０１)を用いて、補間対象とする画素の画素値を補間する補間処理を行う画像処理装置(例えば、図１のDME１１)において、
前記画素値を取得する取得手段(例えば、図２のセレクタ５１)と、
前記画素値を記憶する、独立に制御可能な前記所定の数の記憶手段(例えば、図２のRAM６１−０乃至RAM６１−６３)と、
前記取得手段により取得される画素値に対応する画素の位置に基づいて、その画素値からなる画素値群の各画素値のそれぞれが異なる前記記憶手段に記憶されるように、前記記憶手段を制御する記憶制御手段(例えば、図２の書き込み制御部５４)と、
前記所定の数の記憶手段を制御して、前記所定の数の記憶手段のそれぞれから、前記画素値を同時に読み出すことにより、前記画素値群を同時に読み出す読出手段（例えば、図２の読み出し制御部５５）と、
前記読出手段により読み出された画素値群を用いて、前記補間処理を行う補間手段(例えば、図１の補間演算部２６)と
を備える。

本発明の一側面の画像処理装置は、第２に、
前記読出手段により読み出された画素値群の各画素値を、前記補間処理に対応する順番に並び替える並び替え手段(例えば、図２の並び替え部５３)
をさらに備え、
前記補間手段は、前記並び替え手段により並び替えられた画素値群を用いて、前記補間処理を行う(例えば、図９のステップＳ１１の処理)。

本発明の一側面の画像処理装置は、第３に、
画像を構成する各画素の画素値を入力する入力手段(例えば、図１２の通信部２０９)と、
前記補間手段により補間された画素により構成される画像を出力する出力手段(例えば、図１２の出力部２０７)と
をさらに備え、
前記取得手段は、前記入力手段により入力された画像値を取得する。

本発明の一側面の画像処理装置は、第４に、
画像を構成する各画素の画素値を記録する記録手段（例えば、図１３の記録部３０５）と、
前記記録手段から前記画素値を再生する再生手段(例えば、図１３の記録再生制御部３０４)と
をさらに備え、
前記取得手段は、前記再生手段により再生された画素値を取得する。

本発明の一側面の画像処理方法は、所定の数の画素の画素値である画素値群(例えば、図８の画素値群１０１)を用いて、補間対象とする画素の画素値を補間する補間処理を行う画像処理装置(例えば、図１のDME１１)の画像処理方法において、
前記画素値を取得し(例えば、図９のステップＳ８)、
その取得された画素値に対応する画素の位置に基づいて、その画素値からなる画素値群の各画素値のそれぞれが、前記画素値を記憶する、独立に制御可能な前記所定の数の記憶手段のうちの異なる記憶手段に記憶されるように、前記記憶手段を制御し(例えば、図１０のステップＳ３３)、
前記所定の数の記憶手段を制御して、前記所定の数の記憶手段のそれぞれから、前記画素値を同時に読み出すことにより、前記画素値群を同時に読み出し(例えば、図１１のステップＳ５２)、
その読み出された画素値群を用いて、前記補間処理を行う(例えば、図９のステップＳ１１)
ステップを含む。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

図１は、本発明を適用した画像処理システム１の構成例を示すブロック図である。

図１の画像処理システム１は、デジタル画像特殊効果装置(Digital Multi Effects（DME）)１１、外部メモリ１２、および外部メモリ１３から構成される。画像処理システム１は、入力されたフィールド単位の画像である入力画像を縮小、拡大、型の変更、回転、左右反転もしくは上下反転、または移動させたり、入力画像に特殊効果(例えば、モザイク、ポスタリゼーション、ネガポジ反転、水平方向または垂直方向のデフォーカスなど)を施すことにより、入力画像を変形し、その結果得られるフレーム単位の画像を出力する。

なお、入力画像は、各画素の輝度信号、色差信号、およびキーイングに用いられるキー信号を表す値である画素値から構成される。また、画像処理システム１の各部は、外部メモリ１３に記憶されているプログラムにしたがって、各種の処理を実行する。

DME１１は、例えばIC（Integrated Circuit）やLSIなどにより構成される。DME１１は、前処理部２１、水平フィルタ２２、垂直フィルタ２３、ＩＰ（Interlace Progressive）変換部２４、RAM（Random Access Memory）モジュール２５、補間演算部２６、付加部２７、メモリ制御部２８、および処理制御部２９から構成される。

DME１１には、テクスチャマッピングにおいて貼り付けられる画像である入力画像とタイミング信号が供給される。入力画像は、前処理部２１に供給される。タイミング信号は、DME１１の各部に供給され、各部はタイミング信号に応じて処理を行う。

前処理部２１は、処理制御部２９から供給される指示信号に応じて、入力画像に対して、モザイク、ポスタリゼーション、ネガポジ反転などの特殊効果を施す。具体的には、前処理部２１は、入力画像を構成する画素のうちの、所定の画素に対して画素単位でフィルタ処理を行うことにより、入力画像にモザイクを施す。また、前処理部２１は、入力画像を構成する各画素の画素値の階調数を変更することにより、入力画像にポスタリゼーションを施す。さらに、前処理部２１は、入力画像を構成する各画素の画素値の階調を反転することにより、入力画像にネガポジ反転を施す。前処理部２１は、特殊効果を施した結果得られる、フィールド単位の画像を、水平フィルタ２２に供給する。

水平フィルタ２２は、処理制御部２９から供給される水平方向の縮小率に応じて、画像を縮小する場合に生じる水平方向のエリアシング成分を除去するために、前処理部２１からのフィールド単位の画像に対して、水平方向の縮小率に対応するフィルタ処理を行う。また、水平フィルタ２２は、処理制御部２９から供給される指示信号に応じて、特殊効果として、水平方向のデフォーカスを施す。水平フィルタ２２は、フィルタ処理や水平方向のデフォーカスを施した結果得られる、フィールド単位の画像を、メモリ制御部２８を介して、外部メモリ１２に供給させ、記憶させる。

垂直フィルタ２３は、処理制御部２９から供給される垂直方向の縮小率に応じて、画像を縮小する場合に生じる垂直方向のエリアシング成分を除去するために、メモリ制御部２８から供給される、外部メモリ６２から垂直方向に読み出されたフィールド単位の画像に対して、垂直方向の縮小率に対応するフィルタ処理を行う。また、垂直フィルタ２３は、処理制御部２９から供給される指示信号に応じて、特殊効果として、垂直方向のデフォーカスを施す。垂直フィルタ２３は、フィルタ処理や垂直方向のデフォーカスを施した結果得られる、フィールド単位の画像を、ＩＰ変換部２４に供給するとともに、メモリ制御部２８を介して外部メモリ１２に供給させ、記憶させる。

ＩＰ変換部２４は、垂直フィルタ２３から供給される、フィールド単位の画像(インタレース画像)を、メモリ制御部２８から供給される、その画像の直前のフィールド単位の画像と、直前の前のフィールド単位の画像とを参照してＩＰ変換する。ＩＰ変換部２４は、ＩＰ変換の結果得られるフレーム単位の画像（プログレッシブ画像）を、RAMモジュール２５に供給する。

RAMモジュール２５は、ＩＰ変換部２４からのフレーム単位の画像を記憶する。また、RAMモジュール２５は、処理制御部２９から供給される、補間演算部２６による補間演算の対象とする画素(以下、補間画素という)の入力画像上の座標における水平方向の座標値の整数部RXAddrおよび垂直方向の座標値の整数部RYAddrに基づいて、既に記憶されているフレーム単位の画像を構成する各画素の画素値から、補間に用いる複数の画素の画素値を画素値群として読み出し、補間演算部２６に供給する。

なお、入力画像上の座標において、入力画像の左上端の画素の中心が原点とされる。また、１画素の辺の長さは１であるものとし、１画素の中心の座標値を、その画素の座標値とする。即ち、入力画像上の座標において、入力画像を構成する画素の座標値は整数値となる。

補間演算部２６は、処理制御部２９から供給される、補間画素の入力画像上の座標における水平方向および垂直方向の座標値の小数部、並びにRAMモジュール２５から供給される画素値群に基づいて、補間演算（フィルタ演算）を行い、補間画素の画素値を補間することにより、テクスチャマッピングを行う。補間演算部２６は、補間後のフレーム単位の画像を、縮小、拡大、型の変更、回転、左右反転もしくは上下反転、または移動後の画像として、メモリ制御部２８を介して外部メモリ１２に供給させ、記憶させる。

付加部２７は、処理制御部２９から供給される補間画素ごとのライティング係数を用いて陰影を付加する。付加部２７は、付加後の画像を変形後の画像として出力する。

メモリ制御部２８は、外部メモリ１２に対する書き込みおよび読み出しを制御する。具体的には、メモリ制御部２８は、外部メモリ１２への書き込みを制御するための制御信号を外部メモリ１２に供給するとともに、水平フィルタ２２、垂直フィルタ２３、または補間演算部２６から供給される画像を外部メモリ１２に供給し、その画像を外部メモリ１２に書き込ませる。

また、メモリ制御部２８は、外部メモリ１２からの画像の読み出しを制御するための制御信号を外部メモリ１２に供給することにより読み出しを制御し、これにより外部メモリ１２から読み出された画像を、垂直フィルタ２３、ＩＰ変換部２４、および付加部２７に供給する。

処理制御部２９は、ユーザからの指令に応じて、各部を制御し、入力画像を変形する。なお、処理制御部２９は、演算の途中結果や演算結果を、適宜、外部メモリ１３に記憶させる。

具体的には、処理制御部２９は、モザイク、ポスタリゼーション、またはネガポジ反転を指示するための指示信号を、前処理部２１に供給する。また、処理制御部２９は、水平方向のデフォーカスを指示するための指示信号を水平フィルタ２２に供給したり、垂直方向のデフォーカスを指示するための指示信号を垂直フィルタ２３に供給する。

さらに、処理制御部２９は、ユーザからの指令に応じて、付加部２７から出力される画像がテクスチャマッピングされる３次元の物体の３次元座標上の座標値を演算する演算処理、その３次元座標上の座標値を２次元座標の座標値に射影する射影処理などの処理を行う。そして、処理制御部２９は、これらの処理の結果に基づいて、縮小、拡大、型の変更、回転、左右反転もしくは上下反転、または移動後の画像の水平方向および垂直方向の縮小率、並びに各画素の水平方向および垂直方向の座標値を決定することにより、入力画像を縮小、拡大、型の変更、回転、左右反転もしくは上下反転、または移動させる。

処理制御部２９は、水平方向の縮小率を水平フィルタ２２に供給するとともに、垂直方向の縮小率を垂直フィルタ２３に供給する。また、処理制御部２９は、縮小、拡大、型の変更、回転、左右反転もしくは上下反転、または移動後の各画素の水平方向および垂直方向の座標値を、補間画素の水平方向および垂直方向の座標値として、その座標値の整数部RXAddrとRYAddrをRAMモジュール２５に供給し、小数部を補間演算部２６に供給する。

また、処理制御部２９は、外部メモリ１３に対する書き込みおよび読み出しを制御する。具体的には、処理制御部２９は、外部メモリ１３への書き込みを制御するための制御信号を外部メモリ１２に供給するとともに、演算途中結果や演算結果を外部メモリ１３に供給し、外部メモリ１３に書き込ませる。

さらに、処理制御部２９は、外部メモリ１３からの読み出しを制御するための制御信号を外部メモリ１３に供給することにより読み出しを制御し、これにより、ライトの方向を表す情報を読み出す。処理制御部２９は、その情報を用いて、補間画素ごとのライティング係数を演算し、付加部２７に供給する。さらに、処理制御部２９は、縮小、拡大、型の変更、回転、左右反転もしくは上下反転、または移動後の画像の画素の深さを表す情報を出力する。

図２は、図１のRAMモジュール２５の詳細構成例を示すブロック図である。

図２のRAMモジュール２５は、セレクタ５１、テクスチャメモリ５２、並び替え部５３、書き込み制御部５４、および読み出し制御部５５から構成される。なお、以下では、画素値群は、水平方向と垂直方向に８個並んだ８×８の６４個の画素の画素値から構成されるものとする。

セレクタ５１には、ＩＰ変換部２４からＩＰ変換後の画像を構成する各画素の画素値が１つずつ供給される。セレクタ５１は、ＩＰ変換部２４から１つずつ供給される画素値と無効のライトイネーブル信号を、テクスチャメモリ５２を構成するすべてのRAM６１−０乃至６１−６３に供給する。なお、以下では、RAM６１−０乃至６１−６３を区別する必要がない場合、それらをまとめてRAM６１という。

また、セレクタ５１は、書き込み制御部５４から供給される選択信号に応じて、テクスチャメモリ５２の６４個のRAM６１のうちのいずれか１つを選択し、その選択したRAM６１に供給するライトイネーブル信号を有効にする。

テクスチャメモリ５２は、画素値群の画素値の数である６４個の独立に制御可能なRAM６１−０乃至６１−６３から構成され、１フレーム分の画像を記憶する。RAM６１は、書き込み制御部５４から供給される書き込みアドレスRamWrAddrと有効のライトイネーブル信号に基づいて、その書き込みアドレスRamWrAddrに、セレクタ５１から供給される画素値を記憶する。また、６４個のRAM６１は、読み出し制御部５５からそれぞれに供給される読出アドレスRamReAddrに基づいて、その読出アドレスRamReAddrに記憶されている画素値を、画素値群として同時に読み出し、並び替え部５３に供給する。

並び替え部５３は、読み出し制御部５５から供給される制御信号に基づいて、６４個のRAM６１から供給される６４個の画素値から構成される画素値群を並び替える。具体的には、並び替え部５３は、制御信号に基づいて、画素値群を構成する６４個の画素値の順番と、その画素値に対応する画素の、補間画素に対する位置が所定の関係となるように、６４個の画素値の順番を並び替える。そして、並び替え部５３は、並び替え後の６４個の画素値を、補間演算部２６に供給する。

書き込み制御部５４には、DME１１に供給されるタイミング信号が供給される。書き込み制御部５４は、タイミング信号に基づいて、RAMモジュール２５に入力される画素値に対応する画素の、入力画像上の座標における水平方向の座標値WXAddrおよび垂直方向の座標値WYAddrを認識する。書き込み制御部５４は、その座標値WXAddrとWYAddrに基づいて、セレクタ５１に入力される画素値を記憶させるRAM６１とアドレスを決定し、そのRAM６１の番号RamNoを表す選択信号と、そのアドレスを表す書き込みアドレスRamWrAddrを生成する。なお、番号RamNoは、RAM６１−０乃至６１−６３に０から順に付与された値である。

そして、書き込み制御部５４は、選択信号をセレクタ５１に供給するとともに、書き込みアドレスRamWrAddrをRAM６１に供給することにより、RAM６１の書き込みを制御する

読み出し制御部５５は、処理制御部２９から供給される整数部RXAddrとRYAddrに基づいて、画素値群の画素値が記憶されている各RAM６１のアドレスをそれぞれ決定し、そのアドレスを表す読出アドレスRamReAddrを生成する。そして、読み出し制御部５５は、その読出アドレスRamReAddrをRAM６１−０乃至６１−６３にそれぞれ供給することにより、各RAM６１の読み出しを制御する。

また、読み出し制御部５５は、処理制御部２９から供給される整数部RXAddrとRYAddrを制御信号として生成し、その制御信号を並び替え部５３に供給する。

次に、図３と図４を参照して、補間演算の前後の画素値の流れについて詳細に説明する。

図３に示すように、ＩＰ変換部２４は、フィールド単位の画像を、その画像の直前のフィールド単位の画像と、直前の前のフィールド単位の画像とを参照してＩＰ変換し、その結果得られるフレーム単位の画像を構成する各画素の画素値を、１つずつ、シーケンシャル（走査順）に、セレクタ５１を介してテクスチャメモリ５２に供給する。

テクスチャメモリ５２では、ＩＰ変換部２４から画素値が１つ供給されるごとに、セレクタ５１により有効のライトイネーブル信号が供給されたRAM６４が、書き込み制御部５４から供給される書き込みアドレスRamWrAddrに、その画素値を記憶する。即ち、テクスチャメモリ５２は、ＩＰ変換部２４から供給される画素値をシーケンシャルに１つずつ記憶する。

そして、テクスチャメモリ５２の６４個のRAM６１−０乃至６１−６３は、読み出し制御部５５から供給される読出アドレスRamReAddrに基づいて、補間演算部２６から補間画素の画素値がシーケンシャル（走査順）に出力されるように、その補間に用いられる６４個の画素値から構成される画素値群をランダムに読み出し、補間演算部２６に供給する。

補間演算部２６は、テクスチャメモリ５２から供給される画素値群を用いて、補間画素の画素値を１つずつ求め、外部メモリ１２に供給する。その結果、外部メモリ１２には、補間画素の画素値が、シーケンシャルに供給される。

外部メモリ１２は、スクリーンメモリとして、補間演算部２６から供給される画素値を、１つずつシーケンシャルに記憶する。そして、外部メモリ１２は、記憶している補間画素の画素値をシーケンシャルに出力する。

即ち、図４の左側に示すように、テクスチャメモリ５２には、ＩＰ変換部２４から１つずつシーケンシャルに供給される画素値が書き込まれる。そして、テクスチャメモリ５２は、補間演算部２６から補間画素の画素値が１つずつシーケンシャル（走査順）に出力されるように、その補間に用いられる画素値群をランダムに読み出す。

補間演算部２６は、この画素値群を用いて補間を行うことにより、補間画素の画素値を１つずつシーケンシャルに出力し、図４の右側に示すように、外部メモリ１２には、補間画素の画素値が１つずつシーケンシャルに書き込まれる。

次に、図５と図６を参照して、図２の書き込み制御部５４が生成する書き込みアドレスRamWrAddrについて説明する。

まず最初に、書き込み制御部５４は、タイミング信号に基づいて、セレクタ５１に入力される画素値に対応する画素の座標値WXAddr[n:0]とWYAddr[m:0]を求める。例えば、入力画像の水平方向の画素数が1920個であり、垂直方向の画素数が1080個である場合、n=m=10となる。

次に、書き込み制御部５４は、座標値WXAddr[n:0]と座標値WYAddr[m:0]に基づいて、以下の式（１）により、セレクタ５１に入力される画素値を書き込むRAM６１の番号RamNoを求める。

RamNo[5:0]={WYAddr[2:0],WXAddr[2:0]}
・・・（１）

式（１）によれば、図５に示すように、８×８個のマトリクス７１−１，７１−２，７１−３,７１−４，７１−５，７１−６・・・に分割されたＩＰ変換後の画像を構成する各画素の画素値を書き込むRAM６１の番号は、マトリクス７１−１，７１−２，７１−３，７１−４，７１−５，７１−６・・・内の位置が同一である場合、同一の番号RamNoとなる。即ち、ＩＰ変換後の画像は、８×８個のマトリクス７１に分割され、同一のマトリクス内の画素の画素値が異なるRAM６１に記憶される。

なお、図５において、マトリクス７１内の正方形は画素を表し、正方形内の番号は番号RamNoを表している。また、以下では、マトリクス７１−１，７１−２，７１−３，７１−４，７１−５，７１−６・・・を区別する必要がない場合、それらをまとめて、マトリクス７１という。

書き込み制御部５４は、式（１）により求められた番号RamNoを選択信号として生成し、セレクタ５１に供給する。

以上のように、書き込み制御部５４は、ＩＰ変換後の画像を、画素値群と同一のサイズである８×８個のマトリクス７１に分割して、同一のマトリクス７１内の各画素の画素値が異なるRAM６１に記憶させるように、選択信号を生成するので、画素値群を構成する各画素値は、画素値群単位で、画素ごとに異なるRAM６１に記憶される。即ち、書き込み制御部５４は、画素値群を構成する各画素値のそれぞれを異なるRAM６１に記憶させるように、RAM６１を制御する。

その結果、テクスチャメモリ５２を構成する６４個のRAM６１は、画素値群１０１を構成する各画素値をRAM６１から同時に読み出すことができ、これにより、DME１１では、消費電力や回路規模の増大を抑制しつつ、精度の高い補間を行うことが可能となる。

また、書き込み制御部５４は、座標値WXAddr[n:0]およびWYAddr[m:0]と、入力画像を構成する水平方向のマトリクス７１の総数HMatrixNoとに基づいて、以下の式（２）により、書き込みアドレスRamWrAddrを求める。なお、総数HMatrixNoは、入力画像の水平方向の画素数に基づいて予め設定されており、例えば、入力画像の水平方向の画素数が1920個である場合、総数HMatrixNoは240（=1920/8）に設定されている。

RamWrAddr[k:0]=(WYAddr[m:2]×HMatrixNo[ｌ:0])+WXAddr[n:2]
・・・（２）

式（２）によれば、マトリクス７１内の位置が同一の画素のうち、左上の画素から右下の画素に向かって、その画素の画素値の書き込みアドレスRamWrAddrが大きくなるように、書き込みアドレスRamWrAddrが０から順に設定される。即ち、マトリクス７１の位置が左上から右下に向かって大きくなるように、マトリクス７１に番号を付与する場合、書き込みアドレスRamWrAddrは、マトリクス７１の番号となる。なお、以下では、マトリクス７１の位置が左上から右下に向かって大きくなるように、マトリクス７１に番号が付与されているものとする。

以上のようにして生成された選択信号と書き込みアドレスRAMWrAddrを用いて、画素値が記憶されたテクスチャメモリ５２の概念図を、図６を参照して説明する。

図６において、６４個の直方体８１−０乃至８１−６３は、RAM６１−０乃至６１−６３を表している。なお、以下では、直方体８１−０乃至８１−６３を区別する必要がない場合、それらをまとめて直方体８１という。また、直方体８１の、図６の奥行き方向（図中奥側から手前側に向かう方向）の長さは、RAM６１のアドレスを表している。

図６に示すように、テクスチャメモリ５２の各RAM６１は、マトリクス７１を構成する各画素の、マトリクス７１内の水平方向と垂直方向の位置に対応しており、画素値を記憶するRAM６１は、その画素値に対応する画素の、マトリクス７１内の水平方向と垂直方向の位置によって選択される。例えば、水平方向の位置が０であり、垂直方向の位置が１である画素の画素値は、その水平方向と垂直方向の位置に対応する直方体８１−８が表すRAM６１−８に記憶される。

また、各RAM６１は、ＩＰ変換後の画像を構成するすべてのマトリクス７１内の、自分自身に対応する水平方向と垂直方向の位置の画素の画素値を、その画素を含むマトリクス７１の番号である書き込みアドレスRamWrAddrにそれぞれ記憶する。例えば、マトリクス７１の番号が１であるマトリクス７１−１を構成する各画素の画素値は、直方体８１−０乃至８１−６３が表すRAM６１−０乃至６１−６３のアドレスが１の領域に書き込まれる。

次に、図７を参照して、図２の読み出し制御部５５が生成する読出アドレスRamReAddrについて説明する。

読み出し制御部５５には、処理制御部２９から整数部RXAddrおよびRYAddrが供給される。この整数部分RXAddrとRYAddrについて、図７を参照して説明する。

ここで、図７を参照して、整数部RXAddr[n:0]とRYAddr[m:0]について説明する。

図７の例において、補間画素の座標値は、補間画素の中心点Ａ（1.5,0.5）であり、整数部RXAddrが１、RYAddrが０であるものとする。

図７に示すように、整数部分RXAddrとRYAddrが表す座標値(1,0)は、補間画素の中心点Ａの周辺に位置する４個の画素９１乃至９４のうちの左上の画素９１の座標値となる。

読み出し制御部５５は、整数部RXAddrとRYAddr、並びに総数HMatrixNoに基づいて、以下の式（３）により、整数部RXAddrとRYAddrが表す座標値の画素９１が含まれるマトリクス７１の番号Mt11Addrを求める。

Mt11Addr[k:0]=(RYAddr[m:2]×HMatrixNo[l:0])+RXAddr[n:2]
・・・（３）

ここで、図８に示すように、番号Mt11Addrのマトリクス７１がマトリクス７１−５である場合、補間画素の補間に用いる画素値群１０１は、マトリクス７１−５を含む、そのマトリクス７１−５の周辺の最大４個のマトリクス７１−１，７１−２，７１−４、および７１−５、マトリクス７１−２、７１−３,７１−５、および７１−６、マトリクス７１−４,７１−５,７１−７、および７１−８、またはマトリクス７１−５,７１−６,７１−８、および７１−９内の画素から構成される。即ち、画素値群１０１は、９個のマトリクス７１−１乃至７１−９のうちの、マトリクス７１−５を含む最大４個のマトリクス内の画素から構成される。

そこで、読み出し制御部５５は、マトリクス７１−１乃至７１−４の番号Mt01Addr乃至Mt04Addr、およびマトリクス７１−６乃至７１−９の番号Mt06Addr乃至Mt09Addrを、以下の式（４）により求める。

Mt01Addr[k:0]=Mt11Addr[k:0]-HMatrixNo[l:0]-1
Mt02Addr[k:0]=Mt11Addr[k:0]-HMatrixNo[l:0]
Mt03Addr[k:0]=Mt11Addr[k:0]-HMatrixNo[l:0]+1
Mt04Addr[k:0]=Mt11Addr[k:0]-1
Mt06Addr[k:0]=Mt11Addr[k:0]+1
Mt07Addr[k:0]=Mt11Addr[k:0]+HMatrixNo[l:0]-1
Mt08Addr[k:0]=Mt11Addr[k:0]+HMatrixNo[l:0]
Mt09Addr[k:0]=Mt11Addr[k:0]+HMatrixNo[l:0]+1
・・・（４）

ここで、番号RAMNoと、その番号RAMNoのRAM６１に対応する画素の、その画素を含むマトリクス７１上の水平方向の位置HPositionと垂直方向の位置VPositionの関係は、以下の式（５）で表される。なお、位置HPositionとVPositionは、マトリクス７１の左上端の画素の中心を原点とする座標上の座標値である。

HPosition[2:0]=RamNo[2:0]
VPosition[2:0]=RamNo[5:3]
・・・（５）

読み出し制御部５５は、整数部RXAddrとRYAddrの値に基づいて、位置HPositionとVPositionに位置する画素に対応するRAM６１に対して、以下の式（６）にしたがう水平方向のパラメータHparameterと、式（７）にしたがう垂直方向のパラメータVparameterの値を設定する。

RXAddr[2:0]=０の時 HPositionが０乃至４のRAM６１にはHparameter=1
HPositionが５乃至７のRAM６１にはHparameter=0
RXAddr[2:0]=１の時 HPositionが０乃至５のRAM６１にはHparameter=1
HPositionが６と７ のRAM６１にはHparameter=0
RXAddr[2:0]=２の時 HPositionが０乃至６のRAM６１にはHparameter=1
HPositionが７ のRAM６１にはHparameter=0
RXAddr[2:0]=３の時 HPositionが０乃至７のRAM６１にはHparameter=1
RXAddr[2:0]=４の時 HPositionが０ のRAM６１にはHparameter=2
HPositionが１乃至７のRAM６１にはHparameter=1
RXAddr[2:0]=５の時 HPositionが０と１のRAM６１にはHparameter=2
HPositionが２乃至７のRAM６１にはHparameter=1
RXAddr[2:0]=６の時 HPositionが０乃至２のRAM６１にはHparameter=2
HPositionが３乃至７のRAM６１にはHparameter=1
RXAddr[2:0]=７の時 HPositionが０乃至３のRAM６１にはHparameter=2
HPositionが４乃至７のRAM６１にはHparameter=1
・・・（６）

RYAddr[2:0]=０の時 VPositionが０乃至４のRAM６１にはVparameter=1
VPositionが５乃至７のRAM６１にはVparameter=0
RYAddr[2:0]=１の時 VPositionが０乃至５のRAM６１にはVparameter=1
VPositionが６と７ のRAM６１にはVparameter=0
RYAddr[2:0]=２の時 VPositionが０乃至６のRAM６１にはVparameter=1
VPositionが７ のRAM６１にはVparameter=0
RYAddr[2:0]=３の時 VPositionが０乃至７のRAM６１にはVparameter=1
RYAddr[2:0]=４の時 VPositionが０ のRAM６１にはVparameter=2
VPositionが１乃至７のRAM６１にはVparameter=1
RYAddr[2:0]=５の時 VPositionが０と１ のRAM６１にはVparameter=2
VPositionが２乃至７のRAM６１にはVparameter=1
RYAddr[2:0]=６の時 VPositionが０乃至２のRAM６１にはVparameter=2
VPositionが３乃至７のRAM６１にはVparameter=1
RYAddr[2:0]=７の時 VPositionが０乃至３のRAM６１にはVparameter=2
VPositionが４乃至７のRAM６１にはVparameter=1
・・・（７）

なお、式（６）と式（７）において、パラメータHparameterは、それが設定されたRAM６１に対応する、画素値群１０１を構成する画素が含まれるマトリクス７１と、番号Mt11Addrのマトリクス７１（図８の例では、マトリクス７１−５）との水平方向の位置関係を表し、パラメータVparameterは、その垂直方向の位置関係を表している。

即ち、パラメータHparameterが０である場合、それが設定されたRAM６１に対応する画素が含まれるマトリクス７１は、番号Mt11Addrのマトリクス７１の左隣に位置することを表し、パラメータHparameterが１である場合、それが設定されたRAM６１に対応する画素が含まれるマトリクス７１と、番号Mt11Addrのマトリクス７１とが同一の位置にあることを表す。また、パラメータHparameterが２である場合、それが設定されたRAM６１に対応する画素が含まれるマトリクス７１は、番号Mt11Addrのマトリクス７１の右隣に位置することを表す。

また、パラメータVparameterが０である場合、それが設定されたRAM６１に対応する画素が含まれるマトリクス７１は、番号Mt11Addrのマトリクス７１の直上に位置することを表し、パラメータVparameterが１である場合、それが設定されたRAM６１に対応する画素が含まれるマトリクス７１と、番号Mt11Addrのマトリクス７１とが同一の位置にあることを表す。また、パラメータVparameterが２である場合、それが設定されたRAM６１に対応する画素が含まれるマトリクス７１は、番号Mt11Addrのマトリクス７１の直下に位置することを表す。

従って、読み出し制御部５５は、パラメータHparameterとVparameterの値に基づいて、それが設定されたRAM６１に対して、以下の式（８）にしたがう読出アドレスRamReAddrを生成し、RAM６１に供給する。

Vparameter=0,Hparameter=0のRAM６１に与える読出アドレスRamReAddr=Mt01Addr[k:0]
Vparameter=0,Hparameter=1のRAM６１に与える読出アドレスRamReAddr=Mt02Addr[k:0]
Vparameter=0,Hparameter=2のRAM６１に与える読出アドレスRamReAddr=Mt03Addr[k:0]
Vparameter=1,Hparameter=0のRAM６１に与える読出アドレスRamReAddr=Mt04Addr[k:0]
Vparameter=1,Hparameter=1のRAM６１に与える読出アドレスRamReAddr=Mt05Addr[k:0]
Vparameter=1,Hparameter=2のRAM６１に与える読出アドレスRamReAddr=Mt06Addr[k:0]
Vparameter=2,Hparameter=0のRAM６１に与える読出アドレスRamReAddr=Mt07Addr[k:0]
Vparameter=2,Hparameter=1のRAM６１に与える読出アドレスRamReAddr=Mt08Addr[k:0]
Vparameter=2,Hparameter=2のRAM６１に与える読出アドレスRamReAddr=Mt09Addr[k:0]
・・・（８）

次に、図２の読み出し制御部５５が生成する制御信号について説明する。

ここで、並び替え部５３には、RAM６１−０乃至６１−６３から画素値が入力される端子である入力端子に、０乃至６３の番号が順に付与されているものとする。また、並び替え部５３には、画素値が出力される端子である出力端子にも、０乃至６３の番号が順に付与されており、その番号は、画素値群１０１を構成する画素の位置に対応するものとする。

読み出し制御部５５は、制御信号として、整数部RXAddrとRYAddrを生成し、並び替え部５３に供給する。

並び替え部５３は、入力端子の番号CPSinNoから入力された画素値を、出力端子の番号CPSoutNoから出力する。

具体的には、番号CPSinNo[2:0]は、整数部RXADDrと番号CPSoutNo[2:0]に基づいて、以下の式（９）により定義される。なお、式（９）において、ｉ→ｊは、番号CPSinNoの上位３ビットがｉの入力端子から入力された画素値を、番号CPSoutNoの上位３ビットがｊの出力端子から出力されることを表す。

RXAddr[2:0]=0の時 0→3,1→4,2→5,3→6,4→7,5→0,6→1,7→2
RXAddr[2:0]=1の時 0→4,1→5,2→6,3→7,4→0,5→1,6→2,7→3
RXAddr[2:0]=2の時 0→5,1→6,2→7,3→0,4→1,5→2,6→3,7→4
RXAddr[2:0]=3の時 0→6,1→7,2→0,3→1,4→2,5→3,6→4,7→5
RXAddr[2:0]=4の時 0→7,1→0,2→1,3→2,4→3,5→4,6→5,7→6
RXAddr[2:0]=5の時 0→0,1→1,2→2,3→3,4→4,5→5,6→6,7→7
RXAddr[2:0]=6の時 0→1,1→2,2→3,3→4,4→5,5→6,6→7,7→0
RXAddr[2:0]=7の時 0→2,1→3,2→4,3→5,4→6,5→7,6→0,7→1
・・・（９）

また、番号CPSinNo[5:3]は、整数部RXADDｒと番号CPSoutNo[5:3]に基づいて、以下の式（１０）により定義される。なお、式（１０）において、ｉ→ｊは、番号CPSinNoの下位３ビットがｉの入力端子から入力された画素値を、番号CPSoutNoの下位３ビットがｊの出力端子から出力されることを表す。

RYAddr[2:0] = 0 の時 0→3,1→4,2→5,3→6,4→7,5→0,6→1,7→2
RYAddr[2:0] = 1 の時 0→4,1→5,2→6,3→7,4→0,5→1,6→2,7→3
RYAddr[2:0] = 2 の時 0→5,1→6,2→7,3→0,4→1,5→2,6→3,7→4
RYAddr[2:0] = 3 の時 0→6,1→7,2→0,3→1,4→2,5→3,6→4,7→5
RYAddr[2:0] = 4 の時 0→7,1→0,2→1,3→2,4→3,5→4,6→5,7→6
RYAddr[2:0] = 5 の時 0→0,1→1,2→2,3→3,4→4,5→5,6→6,7→7
RYAddr[2:0] = 6 の時 0→1,1→2,2→3,3→4,4→5,5→6,6→7,7→0
RYAddr[2:0] = 7 の時 0→2,1→3,2→4,3→5,4→6,5→7,6→0,7→1
・・・（１０）

式（９）と式（１０）によれば、図８に示すように、整数部RXAddrとRYAddrが表す、補間画素の中心点Ｂの左上に位置する画素１１１、即ち画素値群１０１の中心の左上の画素１１１の、その画素１１１を含むマトリクス７１−５上の位置と、そのマトリクス７１−５上の中心点Ｃの左上の画素１１２の位置との差分だけ、入力端子の番号CPSinNo[2:0]とCPSinNo[5:3]をそれぞれ増加させた番号が、出力端子の番号CPSoutNo[2:0]とCPSoutNo[5:3]となる。なお、増加させた番号が７を超す場合には、その番号から７を減算した番号となる。

次に、図９を参照して、図１の画像処理システム１が入力画像を変形する画像変形処理について説明する。この画像変形処理は、例えば、画像処理システム１に入力画像が入力されたとき開始される。

ステップＳ１において、前処理部２１は、処理制御部２９から供給される指示信号に応じて、入力画像に対して、モザイク、ポスタリゼーション、またはネガポジ反転を施す。そして、前処理部２１は、その結果得られるフィールド単位の画像を水平フィルタ２２に供給し、ステップＳ２に進む。なお、処理制御部２９から指令信号が供給されない場合、処理はステップＳ１をスキップして、ステップＳ２に進む。

ステップＳ２において、水平フィルタ２２は、処理制御部２９から供給される水平方向の縮小率に応じて、前処理部２１からのフィールド単位の画像に対して、水平方向の縮小率に対応するフィルタ処理を行う。また、水平フィルタ２２は、処理制御部２９から供給される指示信号に応じて、特殊効果として、水平方向のデフォーカスを施す。そして、水平フィルタ２２は、フィルタ処理や水平方向のデフォーカスを施した結果得られる、フィールド単位の画像を、メモリ制御部２８に供給する。

ステップＳ２の処理後は、ステップＳ３に進み、メモリ制御部２８は、外部メモリ１２への書き込みを制御するための制御信号とともに、水平フィルタ２２から供給されるフィールド単位の画像を、外部メモリ１２に供給し、その画像を記憶させる。ステップＳ３の処理後は、ステップＳ４に進み、メモリ制御部２８は、外部メモリ１２からの画像の読み出しを制御するための制御信号を外部メモリ１２に供給することにより、ステップＳ３で記憶されるフィールド単位の画像を垂直方向に、外部メモリ１２から読み出し、垂直フィルタ２３に供給する。

ステップＳ４の処理後は、ステップＳ５に進み、垂直フィルタ２３は、処理制御部２９から供給される垂直方向の縮小率に応じて、メモリ制御部２８から供給されるフィールド単位の画像に対して、垂直方向の縮小率に対応するフィルタ処理を行う。また、垂直フィルタ２３は、処理制御部２９から供給される指示信号に応じて、特殊効果として、垂直方向のデフォーカスを施す。そして、垂直フィルタ２３は、フィルタ処理や垂直方向のデフォーカスを施した結果得られる、フィールド単位の画像をＩＰ変換部２４に供給するとともに、メモリ制御部２８に供給する。

ステップＳ５の処理後は、ステップＳ６に進み、メモリ制御部２８は、外部メモリ１２への書き込みを制御するための制御信号とともに、垂直フィルタ２３から供給されるフィールド単位の画像を、外部メモリ１２に供給し、その画像を記憶させる。ステップＳ６の処理後は、ステップＳ７に進み、メモリ制御部２８は、外部メモリ１２からの画像の読み出しを制御するための制御信号を外部メモリ１２に供給することにより、直前のステップＳ６の処理で記憶させたフィールド単位の画像の直前のフィールド単位の画像と、直前の前のフィールド単位の画像を、外部メモリ１２から読み出し、ＩＰ変換部２４に供給する。

ステップＳ７の処理後は、ステップＳ８に進み、ＩＰ変換部２４は、ステップＳ５で垂直フィルタ２３から供給されるフィールド単位の画像を、ステップＳ７でメモリ制御部２８から供給される２個の画像を参照してＩＰ変換する。そして、ＩＰ変換部２４は、ＩＰ変換の結果得られるフレーム単位の画像を、RAMモジュール２５に供給する。

ステップＳ９において、RAMモジュール２５は、テクスチャメモリ５２のRAM６１(図２)に画素値を書き込む書き込み処理を行う。この書き込み処理は、後述する図１０を参照して説明する。

ステップＳ９の処理後は、ステップＳ１０に進み、RAMモジュール２５は、テクスチャメモリ５２のRAM６１から、画素値群１０１を読み出す読み出し処理を行う。この読み出し処理は、後述する図１１を参照して説明する。

ステップＳ１０の処理後は、ステップＳ１１に進み、補間演算部２６は、処理制御部２９から供給される、補間画素の入力画像上の座標における水平方向および垂直方向の座標値の小数部と、並びにRAMモジュール２５から供給される画素値群１０１とに基づいて、補間演算を行い、補間画素の画素値を補間する。そして、補間演算部２６は、補間後のフレーム単位の画像をメモリ制御部２８に供給する。

ステップＳ１１の処理後は、ステップＳ１２に進み、メモリ制御部２８は、外部メモリ１２への書き込みを制御するための制御信号とともに、補間演算部２６からの画像を外部メモリ１２に供給し、その画像を記憶させる。ステップＳ１２の処理後は、ステップＳ１３に進み、メモリ制御部２８は、外部メモリ１２からの画像の読み出しを制御するための制御信号を外部メモリ１２に供給することにより、ステップＳ１２で記憶される画像を読み出し、ステップＳ１４に進む。

ステップＳ１４において、付加部２７は、処理制御部２９から供給される補間画素ごとのライティング係数を用いて陰影を付加する。そして、付加部２７は、付加後の画像を変形後の画像として出力し、処理は終了する。

なお、上述した図９の画像変形処理のステップＳ１乃至Ｓ９の処理は、補間前の画素単位で行われ、ステップＳ１０乃至Ｓ１４の処理は、補間画素単位で行われる。

次に、図１０を参照して、図９のステップＳ９の書き込み処理について説明する。

ステップＳ３１において、RAMモジュール２５のセレクタ５１は、ＩＰ変換部２４から供給されるＩＰ変換後の画像の画素値と、無効のライトイネーブル信号とをテクスチャメモリ５２の各RAM６１に供給し、ステップＳ３２に進む。

ステップＳ３２において、書き込み制御部５４は、タイミング信号に基づいて、RAMモジュール２５に供給される画素値に対応する画素の、入力画像上の座標における水平方向の座標値WXAddrおよび垂直方向の座標値WYAddrを認識し、それらに基づいて番号RAMNoを表す選択信号と書き込みアドレスRamWrAddrを生成する。そして、書き込み制御部５４は、選択信号をセレクタ５１に供給するとともに、書き込みアドレスRamWrAddrをRAM６１に供給する。

ステップＳ３２の処理後は、ステップＳ３３に進み、セレクタ５１は、ステップＳ３２で書き込み制御部５４から供給される選択信号に応じて、テクスチャメモリ５２の６４個のRAM６１のうちの、選択信号が表す番号RAMNoのRAM６１を選択し、その選択したRAM６１に供給するライトイネーブル信号を有効にする。

ステップＳ３３の処理後は、ステップＳ３４に進み、RAM６１は、書き込み制御部５４から供給される書き込みアドレスRamWrAddrと有効のライトイネーブル信号に基づいて、その書き込みアドレスRamWrAddrに、セレクタ５１から供給される画素値を記憶し、図９のステップＳ９に戻り、ステップＳ１０に進む。

次に、図１１を参照して、図９のステップＳ１０の読み出し処理について説明する。

ステップＳ５１において、読み出し制御部５５は、処理制御部２９から供給される整数部RXAddrとRYAddrに基づいて、画素値群１０１の画素値が記憶されている各RAM６１のアドレスをそれぞれ決定し、そのアドレスを表す読出アドレスRamReAddrを生成する。そして、読み出し制御部５５は、その読出アドレスRamReAddrをRAM６１−０乃至６１−６３にそれぞれ供給する。

ステップＳ５１の処理後は、ステップＳ５２に進み、各RAM６１は、読出アドレスRamReAddrに基づいて、その読出アドレスRamReAddrに記憶されている画素値を、画素値群１０１として同時に読み出し、並び替え部５３に供給して、ステップＳ５３に進む。

ステップＳ５３において、読み出し制御部５５は、処理制御部２９から供給される整数部RXAddrとRYAddrを制御信号として生成し、その制御信号を並び替え部５３に供給して、ステップＳ５４に進む。

ステップＳ５４において、並び替え部５３は、読み出し制御部５５から供給される制御信号に基づいて、６４個のRAM６１から供給される６４個の画素値から構成される画素値群１０１を並び替え、ステップＳ５５に進む。ステップＳ５５において、並び替え部５３は、並び替え後の画素値群１０１を、補間演算部２６に供給して、図９のステップＳ１０に戻り、ステップＳ１１に進む。

次に、図１２を参照して、DME１１が組み込まれた画像処理装置２０１の例について説明する。

図１２のCPU（Central Processing Unit）２０１とDME１１は、ROM（Read Only Memory）２０２、または記録部２０８に記録されているプログラムにしたがって各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータなどが適宜記憶される。これらのDME１１、CPU２０１、ROM２０２、およびRAM２０３は、バス２０４により相互に接続されている。

CPU２０１にはまた、バス２０４を介して入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、キーボード、マウス、マイクロホン、図示せぬリモートコントローラから送信されてくる指令を受信する受信部などよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。

例えば、CPU２０１は、入力部２０６から入力される指令に対応して、DME１１を制御し、入力画像を縮小、拡大、型の変更、回転、左右反転もしくは上下反転、または移動させたり、入力画像に特殊効果を施す。そして、CPU２０１は、DME１１から出力される画像に基づいて、画像を出力部２０７に表示させる。

入出力インターフェース２０５に接続されている記録部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。例えば、通信部２０９は、外部の装置から画像を取得し、その画像を入力画像としてDME１１に供給する。なお、記録部２０８に記録されるプログラムは、通信部２０９を介して取得されるようにしてもよい。

入出力インターフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部２０８に転送され、記録される。

次に、図１３を参照して、DME１１が組み込まれた記録再生装置３００の例について説明する。

図１３のCPU３０１とDME１１は、ROM３０６または記録部３０５に記録されているプログラムにしたがって各種の処理を実行する。RAM３０７には、CPU３０１が実行するプログラムやデータなどが適宜記憶される。これらのDME１１、CPU３０１、ROM３０６、およびRAM３０７は、バスにより相互に接続されている。

CPU３０１にはまた、バスを介して入力I/F（Interface）３０９と出力制御部３０１が接続されている。入力I/F３０９には、キーボード、マウス、マイクロホン、図示せぬリモートコントローラから送信されてくる指令を受信する受信部、被写体を撮像する撮像部などよりなる入力部３０８が接続され、出力制御部３０１には、ディスプレイ、スピーカなどよりなる出力部３１１が接続されている。CPU３０１は、入力部３０８から入力I/F３０９を介して入力される指令に対応して、各種の処理を実行する。そして、CPU３０１は、処理の結果を、出力制御部３０１を介して出力部３１１に出力する。

例えば、CPU３０１は、入力部３０８から入力される指令に対応して、DME１１を制御し、入力画像を縮小、拡大、型の変更、回転、左右反転もしくは上下反転、または移動させたり、入力画像に特殊効果を施す。そして、CPU３０１は、DME１１から出力される画像に基づいて、画像を出力制御部３１０を介して、出力部３１１に表示させる。

さらに、CPU３０１には、バスを介して、符号化/復号回路３０２と記録再生制御部３０４が接続されている。符号化/復号回路３０２は、CPU３０１の制御により、例えば入力部３０８により撮像された結果得られる画像を、必要に応じて、バッファメモリ３０３に保持させながら、JPEG（Joint Photographic Experts Group）、MPEG(Moving Picture Experts Group)などの所定の符号化方式で符号化する。そして、符号化/復号回路３０２は、符号化の結果得られる画像を、記録再生制御部３０４を介して、記録部３０５に記録させる。

記録再生制御部３０４は、CPU３０１の制御により、記録部３０５に対する記録と再生を制御する。即ち、記録再生制御部３０４は、符号化/復号回路３０２から供給される画像を記録部３０５に記録させたり、記録部３０５から再生した画像を、符号化/復号回路３０２に供給する。符号化/復号回路３０２は、CPU３０１の制御により、記録再生制御部３０４からの画像を復号し、その結果得られる画像を、例えば入力画像としてDME１１に供給する。

また、上述した説明では、画素値群１０１は６４個の画素値から構成されるようにしたが、画素値群１０１を構成する画素値の数は、これに限定されない。

本発明は、例えばGPU（Graphics Processing Unit）に適用することができる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した画像処理システムの構成例を示すブロック図である。 図１のRAMモジュールの詳細構成例を示すブロック図である。 補間演算の前後の画素値の流れについて詳細に説明する図である。 補間演算の前後の画素値の流れについて詳細に説明する他の図である。 書き込みアドレスRamWrAddrについて説明する図である。 書き込みアドレスRamWrAddrについて説明する他の図である。 読出アドレスRamReAddrについて説明する図である。 画素群について説明する図である。 画像変形処理について説明するフローチャートである。 書き込み処理について説明するフローチャートである。 読み出し処理について説明するフローチャートである。 DMEが組み込まれた画像処理装置の例について説明するブロック図である。 DMEが組み込まれた記録再生装置の例について説明するブロック図である。

符号の説明

１ 画像処理システム， １１ DME， １３ 外部メモリ， ２５ RAMモジュール， ２６ 補間演算部， ５１ セレクタ， ５２ テクスチャメモリ， ５３ 並び替え部， ５４ 書き込み制御部， ５５ 読み出し制御部， １０１ 画素群， ２０２ ROM， ２０３ RAM， ２０８ 記録部， ２１１ リムーバブルメディア， ３０５ 記録部， ３０６ ROM， ３０７ RAM

Claims (6)

1. 所定の数の画素の画素値である画素値群を用いて、補間対象とする画素の画素値を補間する補間処理を行う画像処理装置において、
   前記画素値を取得する取得手段と、
   前記画素値を記憶する、独立に制御可能な前記所定の数の記憶手段と、
   前記取得手段により取得される画素値に対応する画素の位置に基づいて、その画素値からなる画素値群の各画素値のそれぞれが異なる前記記憶手段に記憶されるように、前記記憶手段を制御する記憶制御手段と、
   前記所定の数の記憶手段を制御して、前記所定の数の記憶手段のそれぞれから、前記画素値を同時に読み出すことにより、前記画素値群を同時に読み出す読出手段と、
   前記読出手段により読み出された画素値群を用いて、前記補間処理を行う補間手段と
   を備える画像処理装置。
2. 前記読出手段により読み出された画素値群の各画素値を、前記補間処理に対応する順番に並び替える並び替え手段
   をさらに備え、
   前記補間手段は、前記並び替え手段により並び替えられた画素値群を用いて、前記補間処理を行う
   請求項１に記載の画像処理装置。
3. 画像を構成する各画素の画素値を入力する入力手段と、
   前記補間手段により補間された画素により構成される画像を出力する出力手段と
   をさらに備え、
   前記取得手段は、前記入力手段により入力された画像値を取得する
   請求項１に記載の画像処理装置。
4. 画像を構成する各画素の画素値を記録する記録手段と、
   前記記録手段から前記画素値を再生する再生手段と
   をさらに備え、
   前記取得手段は、前記再生手段により再生された画素値を取得する
   請求項１に記載の画像処理装置。
5. 所定の数の画素の画素値である画素値群を用いて、補間対象とする画素の画素値を補間する補間処理を行う画像処理装置の画像処理方法において、
   前記画素値を取得し、
   その取得された画素値に対応する画素の位置に基づいて、その画素値からなる画素値群の各画素値のそれぞれが、前記画素値を記憶する、独立に制御可能な前記所定の数の記憶手段のうちの異なる記憶手段に記憶されるように、前記記憶手段を制御し、
   前記所定の数の記憶手段を制御して、前記所定の数の記憶手段のそれぞれから、前記画素値を同時に読み出すことにより、前記画素値群を同時に読み出し、
   その読み出された画素値群を用いて、前記補間処理を行う
   ステップを含む画像処理方法。
6. 所定の数の画素の画素値である画素値群を用いて、補間対象とする画素の画素値を補間する補間処理を、コンピュータに行わせるプログラムにおいて、
   前記画素値を取得し、
   その取得された画素値に対応する画素の位置に基づいて、その画素値からなる画素値群の各画素値のそれぞれが、前記画素値を記憶する、独立に制御可能な前記所定の数の記憶手段のうちの異なる記憶手段に記憶されるように、前記記憶手段を制御し、
   前記所定の数の記憶手段を制御して、前記所定の数の記憶手段のそれぞれから、前記画素値を同時に読み出すことにより、前記画素値群を同時に読み出し、
   その読み出された画素値群を用いて、前記補間処理を行う
   ステップを含むプログラム。

Images